您的论文得到两院院士关注
文章编号:1008-0570(2008)10-2-0029-03
嵌入式系统应用
基于机器视觉的车道偏离预警系统的实现
ArchitecturalImplementationofALaneDepartureWarningSystemBasedOnMachineVision
（国防科技大学）陈清阳
李健安向京贺汉根
ＣＨＥＮＱｉｎｇ－ｙａｎｇＬＩＪｉａｎＡＮＸｉａｎｇ－ｊｉｎｇＨＥＨａｎ－ｇｅｎ
摘要:目前高速公路上由于车道偏离而导致的交通事故造成了巨大的损失,从而使得车道偏离预警系统的研究成为了社会
的一大热点。本文基于DSP计算和FPGA计算,构造出一套基于视觉的车道偏离预警系统。本文给出了系统的框架结构以及硬件实现方式,并基于所提出的系统详细研究了视觉系统中大容量数据的传输、存储和处理等问题。最后,基于构造的系统,通过一系列典型的视觉处理算法和应用于车道跑偏决策的软件算法,验证了系统的可行性。关键词:车道偏离预警;机器视觉;外围设备传输
文献标识码:A中图分类号:TP391
Abstract:Duetothetrafficaccidentscausedbylanedepartureonthehighway,designoflanedeparturewarningsystem(LDWS)hasbeenpaiedtremendousemphasis.Inthispaper,avision-basedLDWSisintroducedbaseontheDSPcomputingandFPGAcomput-ing.ThearchitectureofLDWSweproposedanditshardwareimplementationarepresentedinthispaper.Researchandexperimentsonimagedatatransportation,storageandprocessingarealsointroduced.Intheend,sometypicalimageprocessingalgorithmsarechosenfortheLDWStocertifythefeasibilityofthesystem.Keywords:LaneDepartureWarning;MachineVision;PeripheralDeviceTransportation(PDT)
1引言
汽车驾驶是涉及驾驶员、汽车、道路三方面因素的动作行为。驾驶员通过眼睛等一系列生理器官感受道路信息，通过对道路信息的理解和判断，及对汽车行驶状况的跟踪，做出一系列的驾驶决策。但是由于驾驶员长时间驾驶、粗心大意等一系列因素及驾驶员对道路信息的感知和车辆状况的了解存在一
“盲区”，导致的交通事故越来越成为社会的一大主要安全定的
隐患。本文从驾驶员、汽车、道路三方面入手，研究一套模拟人的驾驶行为来提高车辆行驶安全性的汽车主动安全系统，实现车道偏离预警等主动安全技术。
在基于机器视觉的系统中，实时性一直是一个主要的问题，尤其是像车道偏离预警这样的系统来说，要实现的算法更是覆盖了从图像预处理到高层视觉计算的整个视觉计算流程，既有底层的可高度并行实现的大数据量的卷积、灰度变换等规整算法，也包含有中层的特征提取等模式识别算法及高层的一些视觉处理方法，用以实现对道路的理解等。一直以来，嵌入式系统的通用性与效率一直是难以调和的一对矛盾，如何构造一套较通用的视觉处理系统，对于视觉各个层次的并行及串行算法，都具有较高的实现效率是本文要解决的一个问题，高速的DSP处理芯片和大规模可重构芯片的出现为我们提供了一个很好的解决方案。
大规模的可重构芯片，诸如FPGA等，内部集成了大容量
陈清阳:在读硕士研究生
基金项目:国家自然科学基金委员会(60234030)
项目名称:未知环境中移动机器人导航控制的理论与方法研究《ＰＬＣ技术应用２００例》
的基于查找表结构的门电路系统，非常适合构造细粒度的
SIMD处理阵列或者流水线结构，而这对于如图2所示的典型的底层图像处理算法，具有着天然的适应性。TI公司的C6000系列的DSP计算芯片，采用哈佛结构，内部具有8个处理单元，还集成了专用的硬件乘法器，适合于完成一些串行的视觉处理算法，对于高层的数据量较少的但运算过程较复杂的道路理解等，具有较好的实现效果。
技
术创新
ÁÂÃÄÅÁÆÇÈÉÉÁÂÃÄÅÂÆÇÈÉÉÁÂÃÄÅÃÆÇÈÉÉ图1典型的底层并行图像处理算法
基于上面的分析，本文结合高速的DSP计算芯片和可重构的FPGA芯片构造一套高速的嵌入式视觉处理系统，FPGA作为辅助逻辑控制和前端处理模块，主要完成图像的前期采集和一些类似直方图统计、卷积等底层的高密度图像处理工作，可在硬件结构上灵活的配置，通过实现一系列的并行结构或流水线结构完成底层的算法，避免由DSP完成这些细粒度的算法而造成资源的浪费和时间上的损耗；DSP作为主要的计算中心，完成高层的串行为主的视觉处理任务，诸如道路理解和解释、车道跑偏决策等，DSP的高速处理能力能较好的完成这些串行度高的算法。系统的基本框图如图2所示。
2系统设计与实现
实现图2的基于视觉的汽车主动安全系统，数据的存储和
邮局订阅号：８２－９４６３６０元／年-
29
-
嵌入式系统应用
中文核心期刊《微计算机信息》（嵌入式与ＳＯＣ）２００８年第２４卷第１０－２期
传输是一个主要的问题，尤其是对于汽车主动安全这样的实时
由原始采集性要求非常高的应用背景。如何在最短的时间内，
到的图像数据，经过一系列的存储器数据搬移及信号处理过程，获得最终的对道路的理解判断，并对车辆是否跑偏做出正确的决策，是本系统主要的实现目标。本文将依据数据在系统
“流动”顺序对本系统进行详细的介绍。中的
FPGADSPÁÂÁÃÄÅÆÇÈSDRAM技术创新
图3数据传输方案
首先，前端的采集模块输出的图像数据是8位的，而对于FPGAWarning DSPSensorSignal数据总线都是我们采用的SDRAM存储芯片和DSP处理芯片，
在FPGA对图像进行预处理位的。为了不造成资源的浪费，
的过程中，我们同时将8位的图像数据拼接成的数据输出，
ÁÂÃÄÁÂÃÄ这样可充分利用系统的资源。ÁÅÂÃÄÁÅÂÃÄ其次，在FPGA中经过一系列并行预处理的图像数据，存储于FPGA内部开辟的FIFO中。FPGA给出握手信号，通知DSP图2系统基本框图
可以开始由FIFO向SDRAM传输数据，数据的传输过程则完全2.1数据采集模块
由DSP通过EDMA传输方式来控制完成。当核心处理器DSP在本系统中，图像数据是主要的传感器信号，获得高质量
完成当前操作的情况下，再从SDRAM中读入最新的数据进行的图像数据对后期的处理和功能的实现具有较大的意义。但是
处理，这可充分利用DSP芯片丰富的外设资源。对于实际的应用环境，由于天气、光照等因素的影响，甚至是一
同时，由图3的数据流图我们发现数据在由FPGA向系列特殊情况的出现，一般的图像传感器在各种条件下难以具
SDRAM传输的过程中，相对于DSP来说，FPGA中开辟的用来保证有较好的鲁棒性。为了较好的适应各种道路和天气状况，
存储数据的FIFO模块和外部主存储器SDRAM模块是挂接于驾驶的安全性，我们采用了适合道路使用的CMOS数字摄像头
在这种源设备和目DSP上的相同的地址总线和数据总线上的，芯片自主开发了视觉采集模块，该摄像头芯片通过159位SPI
的设备挂接于相同外部总线上的传输形式下，我们采用的DSP控制字可完全编程控制，较好的实现对曝光时间、增益和噪声等
的调节。同时，该摄像头芯片采用了一种多斜率的曝光模式输出，芯片支持一种优化的EDMA传输模式－PDT传输，它优化了数
据的传输过程，使得DSP的EDMA传输模式可在数据不经过在不同的曝光模式下，控制曝光的时间也是不一样的，保证在光照
DSP内的缓存区的情况下，直接由源设备FIFO传输到目的设过强或者光照条件非常弱的情况下，都可获得较好的图像。
备SDRAM中，从而可在一个周期内完成数据的传输。相比于传对于摄像头芯片的SPI控制，本文为了自适应的调整在不
统的传输模式，先由FPGA传输到DSP内部的缓存区，再由同背景下的工作模式，由DSP根据最后对图像的理解和判断的
DSP写入到SDRAM中，PDT传输模式基本上可缩短一半的数结果，给予FPGA一定的通信信号完成对摄像头芯片的顶层的
据传输时间，对于像图像这样的大容量数据传输来说，是具有系统级的控制，而底层的真正的SPI控制字的修改和调整则由
非常大的意义的。FPGA来完成，这样可避免SPI的工作频率和DSP外部总线频
完成了前端预处理模块到主存储器SDRAM的数据搬移过率的不一致而导致的DSP工作效率的浪费，而FPGA来完成这
程，接下来主要是后端的高速数据传输过程。DSP与SDRAM之样的工作则比较容易。
间的数据传输可达到100MHz以上的高速速率，尤其是DSP支存储模块2.2数据传输、
持的EDMA传输方式，更是允许不在CPU干涉的情况下，就可在本系统中，从前端的图像采集模块，到最后的报警信号
完成外部数据与DSP内部的Cache之间的传输，这样可提高的输出，数据是不停的在FPGA、SDRAM及DSP之间进行传输
第二级缓CPU工作的效率。另外，DSP芯片内部有两级的缓存，和搬移，接下来主要讨论如何在这三者之间进行高速有效的搬
存L2更是可达到1MB，因此我们考虑采用现在流行的ping-移和处理，这也正是本文的主要模块。系统中的数据流程主要
当CPU在处理缓存中的ping或pong内部的数pong传输方式，有以下几个方面：
据时，在可以预测剩余处理时间的前提下，我们可预先将接下在FPGA中经过预处理的图像数据，首先必须存储到Ⅰ、
来要处理的数据通过EDMA方式传输到对应的pong或ping存主存储芯片SDRAM中，这是后端高层处理的基础。
储区中，这样便将数据传输的时间蕴含在了处理过程中，节省并将Ⅱ、DSP从SDRAM中读取最新的图像数据进行处理，
了相应的传输时间，提高了效率。处理的中间结果存于SDRAM中，，这样的读写过程很可能是循
综合了上面对整个数据传输流程的分析，我们可以得出如环进行的，SDRAM的分块存储特性正适合这样的性能要求。
图4所示的数据搬移过程。由图中可以看出，从Sensor出来的为了系统调试的方便，很可能要求显示中间处理的结Ⅲ、
数据到FPGA中的预处理，与DSP内部的数据处理过程，在果，因此我们在FPGA上挂接了一块显示调试模块，调试时
SDRAM的缓存处理下，是可以以流水线的方式传输处理的，FPGA可从SDRAM中读取中间的处理结果进行显示。
完成大容量数据的处理过程，对于FPGA作为前端预处理模块，还有一种情况，某些情况下我们可能要求DSP和FPGAⅣ、
系统效率的提高具有非常大的作用。之间直接进行图像数据的传输，这也是我们必须考虑的范畴。综合上面的种种可能情况，考虑我们采用的DSP芯片同时
支持FIFO和SDRAM芯片的无缝连接，我们设计了图3的数据传输方案：
-
3系统软件算法
关于前端图像预处理方法及车道偏离决策算法的介绍性
《现场总线技术应用２００例》
30-３６０元／年邮局订阅号：８２－９４６
您的论文得到两院院士关注
嵌入式系统应用
博士，国防科技大学副教授，研究方向为模式识别与图像处理。贺汉根（1943－），男，汉族，国防科技大学教授，博士生导师，主要从事移动机器人、虚拟现实与机器学习的研究。
文章比较多，在本文中就不做过多的描述，主要的实现流程如
我们验证了本文所设图5所示。通过文献中的一些典型算法，
计的汽车主动安全系统是完全满足汽车驾驶这种应用条件下的实时性要求的，而且该系统是具有较强的扩展性的。
Sensor !Æ$ÇÂÆÉÃÁÂÁÃÃÇÁÂÁÈà !ÉBiography：CHENQing-yang（1982-），male，Han，CollegeofMechatronicsEngineeringandAutomation，NationalUniversityofFPGADSPDefenseTechnology，master，majoringinimage-processingandCachepattern-recognition !ÆÄÁ(410073湖南湖南长沙国防科技大学三院六队)陈清阳ÄÅÆÅ李健安向京贺汉根
通讯地址：(410073湖南长沙国防科技大学三院六队)陈清阳
(收稿日期:2008.08.23)(修稿日期:2008.10.05)
Æ\"\"\"\"ÇÈÉ####SRAMSDRAM图4系统详细数据流程
FPGASensorDSPHOUGHCRAL(上接第120页)其部分汇编源程序如下：
传送一个字节8位DSOUT：MOVRO，#8；；左移DSLOOP：RLCA
送数据到数据口MOVDAT，C；；送一时钟SETBCLK
CLRCLK
DJNZR0，DSLOOP
；返回调用RET
５结束语
本系统经实验验证，在温度正常的范围内，完全符合系统
系统读数显示正确并设计的要求。在温度升高超过设定值时，
且蜂鸣器产生报警声音。由于该系统，硬件简单、成本低、集成度高、稳定性好、调试方便以及抗干扰能力强，并且能实现温度的远程自动控制，具有一定的实用价值。
本文作者创新点：本系统以ATS52单片机作为内核，采
将采集到的温度直用DS18B20单线数字温度传感器采集温度，
接以数字形式输出到单片机，无须经过变换电路，具有精度高、稳定性好和抗干扰性能强等特点；该系统利用串口通信，实现了远程的温度控制。参考文献
刘建群、李仕勇等.基于ATS52单片机的温度控制[1]刘绿山、
系统.微计算机信息，2007，6-2：98-99.
[2]蔡文学等.远程温度监控系统的设计.重庆文理学报(自然科学版),2006.
[3]郑争兵.基于单片机与AD590的温度测量报警系统.理论与方法,2008.
杨世忠.ADT75型数字温度传感器的原理和应用.2006.[4]邢丽娟、
作者简介:黄小波,男,1968-,实验师,本科.研究方向:计算机网
图5信号处理流程
4结论
本文详细介绍了一套基于DSP计算和FPGA逻辑计算的
车道偏离预警系统的实现方案，主要解决了大容量图像数据在系统中的高速传输和存储、处理等。在设计的过程中，本文充分运用了FPGA的逻辑资源对底层视觉算法的适应性及DSP芯
通过一片的高速处理能力来满足高层的串行度高的视觉算法。
系列的实验，验证了该系统满足汽车安全这种应用背景下的高实时性要求。
本文创新点：（1）结合驾驶员、汽车与道路环境的关系，模拟人的驾驶行为来设计汽车主动安全系统，在系统设计的原理上更有现实意义；（2）针对计算机视觉系统设计中对多个层次算法的适应性，采用DSP计算和FPGA逻辑计算相结合的方式，满足系统算法各个层次的要求；（3）对计算机视觉系统中数据传输、存储和处理的流程进行了详细的分析，采用优化的EDMA传输方式-PDT来满足系统实时性的要求。参考文献
国防科[1]李健.可重构并行中低层视觉计算结构研究[D].湖南：
学技术大学工学硕士学位论文，2006
[2]吴沫.基于计算机视觉的车辆跑偏告警系统方法研究[D].湖南：国防科学技术大学工学硕士学位论文，2005
地面机器人结构光道路识别方法的研究[J]，微计算机[3]张洪涛，
信息，2005，21－4，15－17
国防科学[4]裘伟.高速公路车道偏离告警系统的研究[D].湖南：
技术大学工学硕士学位论文，2006作者简介:陈清阳（1982－），男，汉族，国防科技大学在读硕士研究生。研究方向为模式识别与图像处理;李健（1981－），男，汉族，国防科技大学在读博士研究生，研究方向为模式识别、图像处理与机器学习等;安向京（1973－），男，汉族，国防科技大学工学
《ＰＬＣ技术应用２００例》
技
术创新
络技术实验教学与研究.
Biography:HUANGXiao-bo,male,bornin1968,theHannationality,Experimentaltechnician,Undergraduate.Thesearchdomain:ExperimentalTeachingofComputernetworktechnologyandResearch.（510090广东广州广东工业大学自动化学院）黄小波
(FacultyofAutomation,GuangdonguniversityofTechnology,Guangzhou,Guangdong510090,P.R.China)HUANGXiao-bo
通讯地址:（510057广东省广州市越秀中路125号大院广东省
电影公司印刷厂）江倩瑶转黄小波
(收稿日期:2008.08.23)(修稿日期:2008.10.05)
邮局订阅号：８２－９４６３６０元／年-31
-
