典型交通场景设计及可疑车辆识别技术研究.docx

1、交通科技大赛论文报告典型交通场景设计及可疑车辆识别技术研究组长：何逸组员：潘煜斌 吴进 谢覃禹 谢忻玥 指导老师：赵池航目录第一章 绪论11.1背景意义11.2车辆自动识别技术11.3国内外研究现状41.4研究内容51.5研究流程5第二章 车牌定位技术研究62.1车牌定位技术简介62.2基于纹理特征和垂直投影的车牌定位算法研究62.3基于数学形态学的车牌定位方法8第三章 利用Opencv、MFC函数 /类库的应用程序开发133.1 Opencv和MFC综述133.2 程序设计综述13第四章 模拟过程214.1模拟背景214.2软件实施的步骤22第五章 技术展望及创新点255.1技术展望255.

2、2创新点25参考文献26 第一章 绪论1.1背景意义随着我国国民经济的迅速发展，机动车辆的拥有量日益增加，城市交通问题越来越受到人们的重视。如何有效的实现现代交通管理，更好的实现高速公路的自动收费、停车场自动管理、交叉路口交通监视、交通事故自动检测、失窃可疑车辆的稽查和海关出入境车辆管理、军队车辆管理等成为政府和相关部门关注的焦点。 此外，由于基于视觉的机动车辆自动识别方法工程量小、检测范围大。系统安装相对灵活，是一种很有前景的方法。因此，高效、可靠的车辆自动识别技术的研究已经成为现代交通管理中研究的热点。车辆自动识别技术可以应用在各个交通管理方面，但现有的识别技术多用于高速公路的自动收费，停

3、车场自动管理以及门禁等交通管理场合，在常见的道路交叉路口这样的自动识别技术很少见，还没有普及。而公安交通系统中对于可疑车辆的检测目前仍是通过路段摄像头获取的视频或图像信息，再通过人工的方式锁定、分析出车辆的特征和车牌等信息。而在大量的交通视频资源中，以这样人工的方式去查找某些特定的车辆监控信息犹如大海捞针，费时费力。因此，本项目小组致力于开发一套典型交通场景（交叉口）可疑车辆检索模拟系统，搭建交通场景硬件模型，并根据交通场景模型开发交通场景模型中可疑车辆的检索软件。虽说这样的系统可能仅仅是浅层次的模拟该系统的功能，但为交通安全管理提供了很好的思路。1.2车辆自动识别技术1.2.1车辆自动识别技

4、术简介车辆自动识别（Automatic Vehicle Identification，AVI）是指利用现有的自动化检测技术和手段，采用现代化的仪器设备，结合科学的算法，将通过特定地点的行驶车辆身份自动的识别出来，以备上述交通管理应用。AVI系统主要由车载电子单元OBU（On Board Unit）、路测单元（Road Side Unit）和数据处理单元PDU（Processing Date Unit）组成，运用现代通信技术和计算机技术结合的手段，自动、高效、全天候地收集目标地点或地段的行驶车辆信息自动识别。 将AVI 技术与现代交通管理系统中的车辆信息数据库相结，配合相关的支持系统，可以实现智

5、能化交通管理，对国民交通事业的发展有重大的意义。行驶车辆的自动识别可分为车型自动识别和车牌自动识别。 车型自动识别主要的信息是车辆的物理特性、外部特征，包括车辆颜色、形状、长度、高度、车辆轴距、前轮距等特征，是AVI的基础，可用于确定车辆的类型。车牌自动识别主要是识别机动车车牌编号，由于我国目前有较为完善的机动车牌照制度，实现了统一牌照、一车一牌管理制度，机动车牌照作为机动车辆的合法、有效的标识，与机动车辆一一对应，因此成为AVI 技术的重要依据。 车牌自动识别可分为有源型和无源型自动识别，有源型车牌自动识别技术需要在机动车上安装专用于发送车牌信号的发生装置（如：无线、微波、红外、超声波等）及

6、电源，通过该装置将机动车号牌信息转换为可自动识别的电子信号。无源型车牌自动识别技术无需在机动车上安装信号发生装置及电源，对机动车辆车牌号码进行非接触性信息采集（如：获取车辆视频图像等），利用智能识别技术分离出车辆号牌信息。 采用无源系统节省了设备安置资金，应用最先进的计算机技术，提高了识别速度。1.2.2车型自动识别技术简介（1）压力传感器技术采用压力传感器技术的车辆自动识别系统是依据力的平衡原理，利用荷重传感器测量出在车轮荷载下测量钢梁端点支反力的大小，经电信号及数据信号的计算机处理，计算出车辆轮距或轴距来对行驶车辆进行分类统计， 该系统结构简单、成本较低、可全天候使用。（2）红外检测技术红

7、外检测技术是利用红外传感器获得机动车辆的车型图像，以车头部分为车辆外型识别的主要依据，并辅以其它部位长度、高度、车辆轴距、前轮距的识别、红外检测系统计算机内建立相应类别的数据库，将各类标准车型绘制成图形，并辅以一项或几项特征参数，分类储存，作为比较对象，系统利用布置在车道两侧的红外传感器阵列，采用非均匀布阵，利用检测对象汽车运行的特点，从车头到车尾不断地把汽车尺寸取出来，当整个车身经过传感器阵列后，从单片机得到一幅汽车侧面几何轮廓特征， 经模数转换后，送入计算机处理，识别出车辆的车型，该系统识别率高，但安装不方便，容易损坏。（3）超声波检测技术超声波检测系统利用路面做反射面，在路面和检测单元之

8、间无任何遮挡物时，有检测单元检测出的经路面反射的回波，系统在每次发射超声波前，能根据检测到的回波信号到达时间确定本周期有无收到路面发射的回波信号，然后根据有无路面回波信号确定并记录在路面与检测单元之间有无遮挡物，最后由信息融合单元按融合方案和模糊识别技术确认所测量到的遮挡物是否为机动车。机动车反射的回波信号经计算机处理计算出车辆外形特征，从而进行车辆的分型，该系统精确度一般不高。（4）视频图像技术利用安装在高处的摄像机监视路面，在摄像机前方检测点设置一传感器，当车辆经过检测点时，传感器向主机发出信号，系统自动摄得车辆侧面视频图像送入计算机，然后从视频图像中提取车辆颜色、长度、高度、长高比、顶长

9、比等特征信息，然后进行模式识别，对车型进行判定。系统识别过程分三步：通过移动目标图像分割获取车辆外轮廓特征； 摄像机定标；运动目标的跟踪和车型判定。系统有泛的应用前景，缺点是图像清晰度易受天气条件干扰而影响识别效果， 通过模糊神经网络技术实现自适应模式识别可以提高系统的稳定性和准确性。1.2.3车牌自动识别技术简介（1）图像模式识别技术图像模式识别技术除用于车型自动识别，也可用于车牌的自动识别。车牌自动识别系统可通过摄像机采集行驶车辆正前方的含有车牌照的局部图像，然后送入计算机图像处理单元进行处理，该技术主要可分为三个步骤：图像获取；车牌的定位；车牌字符分割及识别。其中车牌的定位是关键，直接影

10、响整个系统识别准确率， 目前采用的定位方法主要有：直接法、神经网络法及基于矢量量化的方法。 由于我国的车牌的首字符为省份汉字，增加了字符识别的难度，目前对于解析度较高且图像比较清晰的车牌的字符识别可采用基于神经网络， 字符笔划特征和模糊识别等方法，这些方法需要对牌照进行二值化处理，然后进行字符分割识别，依赖于字符的独立分割，对解析度低和比较模糊的字符识别困难。（2）无线识别卡技术该AVI系统由微波或射频询问器、无源识别卡组成协同式二次雷达系统对目标车辆进行识别。 该技术在目标车辆上安装信号发生装置，但由于该装置不用主动向外发送信号， 不需要发射信号时所需要的电源，因此是一种无源型的AVI系统，

11、系统在识别卡收到雷达询问信号后，启动卡内的调制电路，并把事先存入的数据通过微波或射频调制电路对卡内的无源偶极子印刷天线加以调制，后向散射信号形成有调制信号的频谱，询问器通过读出识别卡中的代码和数据识别携卡车辆牌号或种类。该技术的最大优点是同时收发、没有距离盲区、收发采用不同频率来保证收发隔离。（3）条形码识别技术条形码识别技术是一种新的信息存储和传递技术，也是用于车牌识别的新方法，该技术在机动车的侧面印刷条形码（其中包括地区、车型、车牌号码等信息），当车辆经过检测点时，条形码扫描器扫描出车辆信息，从而完成识别任务。 该技术识别速度快、准确率高、成本低、但是要求全国有统一的编码方法，对数据库、扫

12、描器等的要求高。（4）人工神经网络技术该技术将摄像机获取的含有汽车车牌的图像送入计算机，经图像分割技术，得到车牌图像，经过图像分割、预处理及字符分割，得到单个待识别的字符，经编码后用神经网络识别。 神经网络训练可采用BP算法，该算法采用误差逆传播学习方式，避免了繁重的数据分析和数学建模工作。 可将信息存储与处理并行起来，充分利用了神经网络的自适应性，具有学习速度快、收敛性好等特点。以上是目前国内外对于车辆自动识别技术的研究方法简述。项目小组以实现车牌自动识别为目标，基于图像模式识别技术，来对实物模型中的小车牌照进行图像获取、车牌定位和车牌字符分割及识别。1.3国内外研究现状正因为汽车牌照识别系

13、统具有良好的发展前景，所以车牌识别系统的开发和研究工作在国内外皆受到相当大的关注。如今，发达国家的车牌自动识别系统在实际交通系统中已取得了成功的应用。这不仅仅和其技术领先有关，还与这些国家的车牌比较单一，易于识别有关。以下是一些国外公司研制的系统：(1)英国IPI公司研发了RTVNPR(Real Time Vehicle Number Plate Recogonition)系统。这是一种便携式设备，外部仅需要一个12V电源和一个摄像头，只需车辆图像视频输入，无须其他的触发引擎，能在各种天气情况下的白天和夜晚工作，有较高的识别正确率。这个系统应用在道路收费站、停车场入口、道路免税点、交通检测口和

14、限制入口等场所。(2)交通检测系统VNPR(Vehicle Number Plate Recognition)。它主要应用于寻找被盗的汽车、停车场的控制和交通流量的统计方面。VNPR的主要工作是车牌的定位、字符的切割和字符的识别，这几部分的工作是紧密结合在一起的。(3)新加坡Optasia公司自行研发了车牌识别系统IMPS(Integrated MultiPassSystem)。它能在各种天气条件下的白天和黑夜，自动定位车牌和正确识别出数字，给出一致结果。该系统应用了先进的图像处理技术和人工智能技术，例如神经网络识别器、组件连接、模糊逻辑和图像处理工具集等。(4)CARINA软件开发包是FOR

15、NIX公司开发的一个自动可视监测识别汽车牌照的图像识别软件包。它能监测定位和识别世界上不同国家的汽车牌照，可集成汽车牌照识别(ANPR)技术到系统和应用中去，使方案提供者、开发者、系统集成商共同受益。CARINA的核心图像处理软件模块可显示初始的可视图像，并小于1秒的时间内提取到用计算机可理解的模式表示的重要信息。(5)LPR(License Plate Recognition)是HSTOL公司开发的系统，该系统能应到停车场、入口控制、交通监测等场所，能检测和识别汽车车牌。它可以作WINDOWS的一个动态链接库方便地集成到应用系统中去。除了以上介绍的几家公司研究的系统以外，还有很多国外公司都有

16、相应的牌识别系统产品，他们的产品都提高了车辆管理的自动化。通过对这些公司的牌识别系统进行分析可以了解到，车牌识别系统一般包含有PC机、摄像头、像采集设备、相应的图像处理软件等，有的还有汽车到来检测装置。系统的应场所大都为停车场、收费站、交通路口等，采用的技术主要包括了传感器、数采集、图像分割识别和数据库管理等。在实际应用中，系统的核心技术为图像位、校正、分割和识别。 与一些发达国家已经成功应用的车牌识别系统相比，我国的开发应用进展得缓慢。这是因为我国的实际情况与国外有所区别，国外车牌规格比较统一，我国车牌规范不够，较为多样化。不同汽车类型的车牌有不同的规格、大小和色，所以车牌的颜色多，且字符位

17、数不统一，对处理造成了一定的困难。 虽然很多研究人员已对车牌识别系统进行了较为深入的研究，但目前在车牌图像获取、车牌定位、字符分割和字符识别这几个关键环节都还存在着有待解决的难题，其中，车牌的精确定位问题是最棘手、最艰巨的问题。本文将在总结前人的算法的基础上，针对车牌定位这个关键环节进行研究以及相应功能软件的开发。这是实现车牌字符分割和识别以及可疑车辆车牌检索最基础的环节。1.4研究内容（1）硬件模型的搭建：以南京典型交叉路口为基础，搭建典型交通系统模拟场景。该模拟场景以典型的交叉路口为基准，对路口周围的场景设施进行实物模拟，包括人行道、十字路口、斑马线、公园以及小区等，已达到模拟现实中典型交

18、通场景的效果。通过设置在路口或路段上的摄像头来捕捉经过的车辆的图片。 （2）软件开发：实现了图像模式自动识别技术中比较艰巨的一步：车牌定位。通过摄像头获取车辆图像，再经过计算机软件的处理，达到车牌的精确定位。（3）软硬件模型的综合调试：软硬件模型搭建和设计完成之后就是对整体模型的综合调试和检测，已达到比较好的功能效果。1.5研究流程研究现状分析理论基础积累实地调研软件规划硬件模型搭建软件开发软硬件综合模拟第二章 车牌定位技术研究2.1车牌定位技术简介车牌定位从根源上说属于图像分割的一种。图像分割可以分为基于边缘提取、曲线检测的图像分割技术、基于闽值(门限)的图像分割技术、基于区域增长的图像分割

19、技术、基于数学形态学的图像分割技术等等。因为车牌图像具有一些特殊的规律和性质，所以车牌定位算法与图像分割算法稍有不同。从上述得知，车辆牌照定位就是利用车牌特征把图像中含车牌的区域从复杂的背景中精确地提取出来的一个过程，所以关键是寻找到可有效利用车牌特征的方法。车牌的特征包括其独特的纹理特征、灰度特征、颜色特征、特定的几何形状特征等。具体以下几个方面:(1)车牌区域内的边缘灰度直方图统计特征，车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心。(2)车牌的几何特征，即车牌的高、宽和高宽比在一定范围内。(3)车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续的峰一谷一峰的分布。(4)车牌

20、区域水平或垂直投影特征，车牌区域水平或垂直投影呈现连续的峰、谷、峰的分布。(5)频谱特征，即对车辆图像做离散傅立叶变换(DFT)、.离散余弦变换(DCT)和小波变换等正交变换，其频谱图中包含车牌的位置信息。(6)车牌的颜色特征，目前我国的汽车牌照有黄底黑字、蓝底白字、黑底白字、白底黑字红字、黑底红字5种颜色的车牌，常见的是民用的黄底黑字和蓝底白字两种车牌。(7)车牌区域内底色像素数目比字符颜色像素数目大，并且车牌区域字符颜色和底色呈交叉变换。所以车牌定位从利用特征方面可分为基于边界的定位算法和基于颜色特征的定位算法;从采用的技术方面，传统的定位算法有边缘检测、闽值法、直方图投影法、区域法、颜色

21、特征提取等，还有运用数学形态学、神经网络、小波分析、模糊技术、遗传算法等来分析车牌图像。2.2基于纹理特征和垂直投影的车牌定位算法研究2.2.1图像预处理对于采集的原始彩色图像需要转换成灰度图像,由于噪声、光照等原因还要对图像进行平滑、去噪、滤波等处理。（1）边缘检测图像的边缘是图像的最基本特征,是图像分割、纹理特征提取和形状特征提取等图像分析的基础。根据车牌区域的特征,在利用车牌区域存在较丰富的竖向纹理特征进行车牌定位时,需要提取车牌区域的边缘信息。物体的边缘是由灰度不连续所形成的。经典的边缘提取方法是考察图像的每个象素在某个领域内的变化,利用边缘邻近一阶或二阶方向导数来提取。由于受多种因素

22、的影响,车牌图像可能存在对比度低、图像模糊等现象,但实验证明Sobel 垂直算子7 可以有效地提取车牌垂直边缘,Sobel 垂直算子的形式如下:1 0 1 2 0 2 1 0 1（2）图像二值化在数字图像处理中,二值图像占有非常重要的地位,可以说图像的二值化效果直接影响着根据车牌区域特征进行车牌定位及后续工作,而二值化的关键在于阈值的选择。根据阈值选取情况,可分为全局阈值、局部阈值和动态阈值。全局阈值法算法简单,对于较好的图像效果良好(指直方图呈双峰的图像) ,局部阈值法能适应较为复杂的情况,动态阈值法是一种自适应的二值化方法。由于车牌图像的质量受光照、环境等因素的影响较大,故本文使用了一种迭

23、代求图像分割阈值的算法 。算法步骤如下:(1) 求出图像中的最小灰度值Zmin 和最大灰度值Zmax ,令阈值初值:T0 =Zmin + Zmax2 （1）(2) 根据阈值T K 将图像分割成目标和背景两部分，求出两部分的平均灰度值ZO和ZG : ZO= z ( i , j) TKz ( i , j)N ( i , j)z ( i , j) TKz ( i , j) （2） ZG= z ( i , j) TKz ( i , j)N ( i , j)z ( i , j) height;image_width = ipl-width;if(!ipl)return;if(TheImage)cvZer

24、o(TheImage);if(TheImagecopy)cvZero(TheImagecopy);ResizeImage( ipl );Show_picture();cvReleaseImage( &ipl);UpdateData(false);功能2 车牌定位初步定位对载入的图像进行预处理，例如：灰度化、二值化、中值滤波等操作。最后对预处理后的图像从上往下进行扫描，统计每一行的灰度值为255的像素数，当某一行统计值大于某一值时，终止扫描，并返回此时的行数，作为粗略确定的车牌区域的顶部坐标。依此法，再分别由下往上、由左往右、由右往左分别对图像进行扫描，从而粗略确定车牌区域的底部坐标、左部坐标、

25、右部坐标。初步定位initialfind()具体代码：IplImage*gray=cvCreateImage(cvSize(TheImage-width,TheImage-height),IPL_DEPTH_8U,1);cvCvtColor(TheImage,gray,CV_BGR2GRAY);int itop = 0,ibottom = 0 ,iright = 0,ileft = 0;BYTE *data = new bytegray-height*gray-width*sizeof(byte);for(int i =0;iwidth;i+)for(int j =0;jheight;j+)*

26、(data+i*gray-width + j) = CV_IMAGE_ELEM(gray,unsigned char,i,j);itop = topvalue(data,TheImage-width,TheImage-height,itop);ibottom = bottomvalue(data,TheImage-width,TheImage-height,ibottom);ileft = leftvalue(data,TheImage-width,TheImage-height,ileft);iright = rightvalue(data,TheImage-width,TheImage-height,iright);m_1 = itop;m_2 = ileft;m_3 = ibottom;m_4 = iright;x = ileft;y = itop;CvPoint pt1,pt2;pt1.x = ileft; pt1.y = itop;pt2.x = iright; pt2.y = ibottom;cvRectangle(TheImage,pt1,pt2,CV_RGB(88,99,55),10,8,0);UpdateData(FALSE);delete data;cvSetImageROI(TheImagecopy,cvRect(ile