视觉技术是近几十年来发展的一门新兴技术。机器视觉可以代替人类的视觉从事检验、目标跟踪、机器人导向等方面的工作,特别是在那些需要重复、迅速的从图象中获取精确信息的场合。尽管在目前硬件和软件技术条件下,机器视觉功能还处于初级水平,但其潜在的应用价值引起了世界各国的高度重视,发达国家如美国、日本、德国、法国等都投入了大量的人力物力进行研究,近年来已经在机器视觉的某些方面获得了突破性的进展,机器视觉在车辆安全技术、自动化技术等应用中也越来越显示出其重要价值。本文根据最新的CMOS图像采集芯片设计了一种通用的视觉系统模块,经过编制不同的图像处理、模式识别算法程序本模块可以应用到足球机器人,无人车辆等各种场合。     

　　二、设计原理

　　系统原理框图如图1所示。

　　系统包含5个主要芯片：图像采集芯片OV7620,高速微处理器SH4,大规模可编程阵列FPGA,和串口通讯控制芯片MAX232。FPGA内部编程设立两个双口RAM,产生图像传感器所需的点频,行场同步等信号,以及控制双口RAM的存储时序。SH4负责对OV7620通过I2C进行配置,读取双口RAM的图像数据,进行处理,并通过串口实现图像资料的上传或控制步进电机等其他设备。

　　三、图像采集模块

　　系统模块以CMOS图像传感器OV7620为核心,还包括一个聚光镜头和其他一些辅助元器件比如27MHZ的晶振,电阻电容等。

　　COMS图像传感器是近几年发展较快的新型图像传感器,由于采用了相同COMS技术,因此可以将像素阵列与外围支持电路集成在同一块芯片上,是一个完整的图像系统(Camera on Chip)。本系统采用的是Ommnvision公司推出的一块CMOS彩色图像传感器OV7620,分辨率为640x480。它能工作在逐行扫描方式下,也能工作在隔行扫描方式下。它不仅能输出彩色图像,也可用作黑白图像传感器。这块芯片支持的图像输出格式有很多种：1)YCrCb4:2:2 16 bit/8 bit格式;2)ZV端口输出格式;3)RGB原始数据16 bit/8 bit;4)CCIR601/CCIR656格式。其功能包括有对比度、亮度、饱和度、白平衡及自动曝光、同步信号位置及极性输出,帧速率和输出格式等都可以通过I2C 总线进行编程配置片内寄存器控制。

　　聚光镜头选用桑来斯公司生产的DSL103镜头。此镜头体积小,适合嵌入式视觉传感器的应用场合。

　　四、FPGA接口模块

　　FPGA采用Xilinx公司的xc2s100,这款芯片内部集成了10000个逻辑门。接口程序采用VHDL(Very High Speed Integrated Circuit Hardware Description Language)书写。为了提高数据的传输速率,在xc2s100 内部分配了2个双口RAM缓冲区,其大小为127KB,每个双口RAM存储1行的图像数据。两组双口RAM进行奇偶行计数器进行切换。当一行存储完毕后,立即向SH4传生一个读取该行数据的中断的申请信号。FPGA内部结构如图2所示。

　　这里主要问题在于FPGA内部的双口RAM读写操作共用同一数据总线和地址总线,当同时进行读写操作的时候就会产生时序问题导致写入或读出的数据错误。在这两个过程中为了防止数据和地址总线冲突,在FPGA内部设计了一个中央总线仲裁器。根据公共数据传输的先后顺序,中央仲裁器先接受图像传感器的总线请求,当图像存储到RAM之中后,中央仲裁器才响应单片机系统的读信号请求。

　　这里给出双口RAM的构造及读写控制程序：

    Entity dual_port_ram is
　　Generic(d_width:integer:=2;
　　Mem_depth:integer:=8);
　　Port(clk:in STD_LOGIC;
　　CS:in STD_LOGIC;
　　We: in STD_LOGIC;
　　Indata: in STD_LOGIC_VECTOR(7 downto 0);
　　Outdata:out STD_LOGIC_VECTOR(7 downto 0);
　　Raddr,waddr:in STD_LOGIC_VECTOR(1 downto 0));
　　End dual_port_ram ;
　　Architecture data of dual_port_ram is
　　Type mem_type is array(3 downto 0) of
　　STD_LOGIC_VECTOR(7 downto 0);
　　Signal mem:mem_type;
　　Begin
　　Process(clk,we,waddr)
　　Begin
　　If(rising_edge(clk))then
　　If(we=''1'')then
　　Mem(conv_integer(waddr))<=indata;
　　End if;
　　End process;
　　Process(raddr,clk)
　　Begin
　　If(rising_edge(clk))then
　　If(CS=''0'')then
　　Outdata<=mem(conv_integer(raddr));
　　End if;
　　End if;
　　End process;
　　End data;

　　在MAX Plux II中的波形仿真图如图3所示：

　　五、单片机模块

　　本系统采用SH4芯片作为处理器：SH4单片机是日立公司推出的一款低功耗、高性能,RISC(精简指令集计算机)结构的全32位单片机。其处理速度可高达60M IPS一100MIPS,能在2.25v电压下工作,功耗仅400MW片内集成有32位乘法器、4路5KB CACHE、存取器管理单元MMU和其它一些通用接口及时钟电路等。日立公司为SH4系列单片机提供了c及c++语言集成编译工具HIM(Hitachi IntegrationManag)。利用它可以将日立C、C++格式的源程序编译链接为汇编程序或目标机器码.

　　图像传感器芯片OV7620具有灵活的可编程功能,可通过I2C总线对其进行编程来设置各功能寄存器。由于单片机没有内部硬件I2C总线接口,所以只有采用软件模拟的方法实现I2C总线接口功能。取作为SH4的两个I/O引脚作为I2C总线的SCL和SDA总线器件接口,示例程序如下：

　　unsigned char rdiic (unsigned char addr);读取数据
　　void iic_init();初始化
　　void iic_start();起始信号
　　void iic_stop ();结束信号
　　void delay4u();延时

　　举例

iic_init();/*初始化总线寄存器*/
　　rstcamera ();/*复位OV7620内部寄存器*/
　　wriic (0x11,0x15); /*设置OV7620内部寄存器0x11 的值为0x15*/
　　delay4ux6();
　　wriic (0x28,0x60);   /*设置OV7620内部寄存器0x28 的值为0x60 */
　　delay4ux6();

　　本模块采用了人类可以识别的ASCII串口通讯协议从而可以通过上位机方便的和人进行交互通信。当连接到一台计算机上,本模块可通过串口上传整幅原始图像数据,用来进行系统调试或更高级得图像处理。

　　六、结束语

　　本文采用大规模集成电路芯片组成了一个简洁,低价的图像采集处理系统。本系统经过编制不同的图像处理算法程序可以应用在足球机器人,农产品检查机器人等不同场合。但其也有些不足,比如SH4处理器,运算速度不够快,只能运行一些相对简单的算法,不支持以太网接口等。下一步工作计划采用双CPU结构,其中DSP专职处理图像数据,ARM负责网络通信,以及对机器人行为的控制等。这样就可将机器人的“眼睛”通过以太网连接成一个复杂的协同处理的视觉系统,以适应更为复杂的场景的需要。

1．DSP芯片的运算速度。运算速度是DSP芯片的一个最重要的性能指标，也是选择DSP芯片时所需要考虑的一个主要因素。DSP芯片的运算速度可以用以下几种性能指标来衡量：

(1) 指令周期：即执行一条指令所需的时间，通常以ns（纳秒）为单位。如TMS320LC549-80在主频为80MHz时的指令周期为12.5ns；

(2) MAC时间：即一次乘法加上一次加法的时间。大部分DSP芯片可在一个指令周期内完成一次乘法和加法操作，如TMS320LC549-80的MAC时间就是12.5ns；

(3) FFT执行时间：即运行一个N点FFT程序所需的时间。由于FFT运算涉及的运算在数字信号处理中很有代表性，因此FFT运算时间常作为衡量DSP芯片运算能力的一个指标；

(4) MIPS：即每秒执行百万条指令。如TMS320LC549-80的处理能力为80 MIPS，即每秒可执行八千万条指令；

(5)             MOPS：即每秒执行百万次操作。如TMS320C40的运算能力为275 MOPS；

(6) MFLOPS：即每秒执行百万次浮点操作。如TMS320C31在主频为40MHz时的处理能力为40 MFLOPS；

(7)  BOPS：即每秒执行十亿次操作。如TMS320C80的处理能力为2 BOPS。

2．DSP芯片的价格。DSP芯片的价格也是选择DSP芯片所需考虑的一个重要因素。如果采用价格昂贵的DSP芯片，即使性能再高，其应用范围肯定会受到一定的限制，尤其是民用产品。因此根据实际系统的应用情况，需确定一个价格适中的DSP芯片。当然，由于DSP芯片发展迅速，DSP芯片的价格往往下降较快，因此在开发阶段选用某种价格稍贵的DSP芯片，等到系统开发完毕，其价格可能已经下降一半甚至更多。

3．DSP芯片的硬件资源。不同的DSP芯片所提供的硬件资源是不相同的，如片内RAM、ROM的数量，外部可扩展的程序和数据空间，总线接口，I/O接口等。即使是同一系列的DSP芯片（如TI的TMS320C54X系列），系列中不同DSP芯片也具有不同的内部硬件资源，可以适应不同的需要。

4．DSP芯片的运算精度。一般的定点DSP芯片的字长为16位，如TMS320系列。但有的公司的定点芯片为24位，如Motorola公司的MC56001等。浮点芯片的字长一般为32位，累加器为40位。

5．DSP芯片的开发工具。在DSP系统的开发过程中，开发工具是必不可少的。如果没有开发工具的支持，要想开发一个复杂的DSP系统几乎是不可能的。如果有功能强大的开发工具的支持，如C语言支持，则开发的时间就会大大缩短。所以，在选择DSP芯片的同时必须注意其开发工具的支持情况，包括软件和硬件的开发工具。

6．DSP芯片的功耗。在某些DSP应用场合，功耗也是一个需要特别注意的问题。如便携式的DSP设备、手持设备、野外应用的DSP设备等都对功耗有特殊的要求。目前，3.3V供电的低功耗高速DSP芯片已大量使用。

7．其他。除了上述因素外，选择DSP芯片还应考虑到封装的形式、质量标准、供货情况、生命周期等。有的DSP芯片可能有DIP、PGA、PLCC、PQFP等多种封装形式。有些DSP系统可能最终要求的是工业级或军用级标准，在选择时就需要注意到所选的芯片是否有工业级或军用级的同类产品。如果所设计的DSP系统不仅仅是一个实验系统，而是需要批量生产并可能有几年甚至十几年的生命周期，那么需要考虑所选的DSP芯片供货情况如何，是否也有同样甚至更长的生命周期等。

在上述诸多因素中，一般而言，定点DSP芯片的价格较便宜，功耗较低，但运算精度稍低。而浮点DSP芯片的优点是运算精度高，且C语言编程调试方便，但价格稍贵，功耗也较大。例如TI的TMS320C2XX/C54X系列属于定点DSP芯片，低功耗和低成本是其主要的特点。而TMS320C3X/C4X/C67X属于浮点DSP芯片，运算精度高，用C语言编程方便，开发周期短，但同时其价格和功耗也相对较高。

octet 8位8位数保证传递过程中不变（char不是）

IDL提供两个模板类型：sequence（序列）和string（字符串）。象数组一样，要用typedef指定sequence和string类型的名字

一个序列是一个可变长度成员清单，成员可以为任何IDL类型。它象一维数组，但长度是不定的。它可以是有界的也可以是无界的，要看序列类型定义时指定的最大长度。例如，下面定义一个有界序列类型：

typedef sequence UpToTenByte；

这个类型的实例是一个长度小于等10的字节序列。

下一行定义了一个无界限的字节序列类型：

typedef sequence SomeBytes;

这个类型的实例可以是任意长度的字节序列。

string是一个字符序列。象序列一样，它可以是有界的：

typedef string<15> Moniker;

或无界的：

typedef string Description;

当定义一个有界字符串类型时，记住任何null结束符不算在串长度之内。使用string面不要用字符数组。字符数组中未初始化的成员在翻译过程中可能引起问题。

结构类型

IDL文件也可以定义结构类型，用关键字struct, union和enum。

下边有一个结构类型定义的例子：

struct StructName {

char charMember;

unsigned short AnotherMember;

};

注意：这里没有typedef。对struct用typedef是不好的习惯，因为它会定义两个类型名字。

enum（枚举）类型定义示例：

enum Pet {cat, dog, fish, bird, rat, horse, gerbil};

IDL中的union必须是可区分（discriminated）的。即，用一个标记字段(tag field)说明联合的哪些成员是当前被赋值的：

union Reference switch (short) {

case 1 : { Title: string; Author: string; }

case 2: URL: string;

case 3: TopicID: long;

};

常量

IDL文件可以定义常量，这些常量可用于界面和类型的定义。用关键字const定义常量：

const unsigned long LengthOfNameString = 15;

IDL文件可以定义类型为long, unsigned long, unsigned short,char boolean,float,double,string的常量。注意，IDL不支持octet型的常量。

整数常量可以用10、8、16进制形式说明。界面

IDL文件中的界面描述了CORBA对象提供的功能。它封装客户使用界面所需的全部信息。每个界面对应CORBA服务器上的一个类，其定义近似于类的定义：

interface Example1 {

readonly attribute string Name;

attribute long Value;

long AddToValue(in long Summand, out long Result);

};

界面用关键字interface定义。在界面定义内部是一个属性和方法的清单。所有的属性和方法都是公开的（public）。这里没有私有(private)或保护(protected)的概念，因为这些应该在实现部分处理而不应在对象的公开界面里。

属性

界面没有成员变量。属性（Attributes）象Cbuilder的property（这种说法并不暗示值的存储方法相同）而不象成员变量。用关键字attribute定义。

如果不允许客户写属性，定义时要加readonly前缀。

Readonly attribute float Balance;

注意：尽管attribute的行为表现得象properties，但它们并不是用Cbuilder的properties（不可移植）实现的。相反，属性（attributes）被编译成与属性同名的getter（及可选的setter）方法。

方法

方法定义必须包括返回值类型。

另外，它们必须在每个参数中用关键字in,out,inout提供用法说明，每个参数都必须命名。

通常，方法调用在服务器对象处理调用时是阻塞的(blocked)。然而，IDL语法允许一个方法申明为oneway，如果调用者确实不需要等待响应的话。

Oneway void SendInformation(long Value);

重复的方法名是非法的，因为CORBA是可用于支持方法重载的编程语言的。

注释：

界面中可以加注释，用和C++相同的//。

// this is a comment

类型定义

界面可以包括类型定义：

interface Example2 {

struct Example2Struct {

string Name;

long Value;

};

// …其它定义部分

};

在同一界面中的定义可以用名字(Example2Struct)引用这些类型，但该界面外的定义必须使用范围限定符（Example2::Example2Struct）。

异常

除了attributes, methods, types, 界面还可以包括用户定义异常处理：

interface ExceptionExample {

exception ValueOutOfBounds {

long value;

void SetValue(in long Value)

raises (ValueOutOfBounds);

}

}

SetValue方法指出它可能抛出ValueOutOfBounds异常。这个例子显示一个成员的一个异常，它可以帮助调试。然而，界面也可以包括无成员包括的花括号{}里的异常。

上下文（Contexts）

方法可以附带context子句。客户可以维护一个或多个CORBA上下文对象，它提供标识符（indentifier）到字符串(string)值的映射。一个IDL方法可以用关键字context申明对特定标识符的映射必须提供给它的客户：

interface ContextExample {

long SomeMethod(in long Value, in char Letter)

raises (/* */)

context(“value1”, “value2”);

};

};

ContextExample的调用者必须传送一个context对象作为参数。

模块（Modules）

IDL文件将一些定义结合成模块。模块的概念和名字空间（namespace）是一样的：它允许定义组合成逻辑单元并预防命名空间冲突。一个模块定义一个名字空间，就象这样：

module SyntaxExamples {

interface Example1 {

// definitions here

};

interface Example2 {

// definitions here

};

};

模块外的定义访问模块内的定义必须加范围界定符（SyntaxExamples::Example1）。

继承(Inheritance)

正如C++类，IDL界面可以作为其它类的后代而建立。子代界面继承祖先界面的属性和方法：

interface Ancestor{

//definitions here

};

interface Desendant:Ancestor {

// more definitions here

};

注意：因为没有界面相关的实现部分，衍生界面重载相应类方法时不得再在成员函数中列出。

界面支持多继承，但所有祖先界面都不能有包含相同名字的定义。

所有的IDL界面都是隐含继承了CORBA界面Object。这意味着一个类型为Object的参数可以接受任何CORBA对象。

提前引用（Forward references）

如果两个界面互相引用，IDL文件必须一个包含对其中一个的提前引用，即一个界面可以引用IDL文件中其后部分的定义。如下所示：

interface Example2; // forwar reference

interface Example1 {

//definitions

readonly attribute Example2 TheOtherOne;

};

interface Example2 {

//definitions

Example1 ReturnTheOtherOne();

};

    在进行开发时，开发部确定一名项目负责人协调和监督项目整体开发。具体的项目开发如下：

1、需求分析

    项目负责人与市场部等相关部门的有关人员或客户讨论，确定需求。包括以下几方面：

A)需求与规格说明

    项目负责人向客户或市场部了解需求。需求包括功能需求和非功能需求。非功能包括性能、价格、系统尺寸重量以及功耗等。

B)确认需求

    了解需求之后，对开发的进行可行性分析与风险评估。与客户或市场部确认需求。

C)需求说明

    完成以下两个步骤后，由项目负责人编写《需求说明书》。需求说明书必须包括：项目名称、目的、功能、性能等。

D)需求的内部一致性

    在写完需求分析以后，对其内部一致进行检查。检查是否有遗忘或不切实际的需求。

2、体系结构设计

    由项目负责人组建项目开发组进行讨论，提出《体系结构说明书》。《体系结构说明书》内容如下：

u        将系统分解成模块。一个系统的开发可能包括：硬件开发、软件开发和结构设计。不同部分可由不同的人完成，也可能由项目负责人独立完成。项目负责人主要职责是协调监督开发组成员的开发工作。

u        规定各模块设计以及它们之间的衔接标准。一方面是软件、硬件和结构之间的衔接。如结构设计中机柜或机壳的大小、固定点等对印刷电路板的影响，硬件环境对软件开发的影响。另一方面是软件、硬件或结构自身各部分的衔接。对于硬件开发，规定芯片、总线以及电路板等。对于软件开发，规定软件架构、数据库、开发语言、界面、通讯协议等。对于结构设计，规定机柜或机壳的大小、固定点、工艺性、接插件等。

u        规定需要编写具体的设计文档的类型，要求文档能作为开发组成员之间沟通的方式和其他人接手开发工作的资料。

3、开发进度规划

    对开发项目进行阶段分解和人员安排，提交《开发进度安排表》。项目负责人规划、监督、控制和汇报项目开发进度。根据《开发进度安排表》把各个模块的开发任务分配给项目组成员，并分发《开发任务表》给项目组成员。

4、设计硬件构件和软件构件

    硬件设计。包括原理图设计和PCB图绘制。硬件设计需结合结构设计。在原理图设计过程中，要进行必要试验。完成原理图设计后，通过会审才进入PCB图绘制。完成PCB绘制后，通过会审后才发往厂家制板。厂家寄回电路板后进行焊接，在测试可用后交软件开发人员。要求提交开发软件名称、原理图、PCB图、接线图、元器件清单、性能指标等。如果有程序编写工作，还要提交程序结构说明和流程图。

    软件设计。不仅要编写代码，而且还要有必要的详细设计文档、开发环境说明。对于程序编写，要有主要的数据结构说明、程序结构说明、接口说明等。对于数据库设计，要有数据库设计说明。对于界面开发，要有界面设计说明、使用说明。在完成设计后，会审通过以后才编写代码。

    结构设计。设计系统的盒子、机柜等。设计完成通过会审后，联系并监督合作厂家进行制作。

    每个人对自已开发工作进行自查、自测后才提交工作成果。如果开发与使用有关的部分，要写使用说明。

    在开发过程中，如果发现前期的需求分析、体系结构设计或进度安排需要修改或补充，要提交书面的修改说明或补充说明。可能以单独的修改说明或补充说明形式，也可能把修改或补充内容直接加入原来的文档中。如果把修改或补充内容直接加入原来的文档中，文档要注明版本或最后修改时间。

6、系统集成

    将软硬件构件组装在一起，形成一个能运转的系统。项目负责人将开发组成员提交的使用说明等汇总成系统使用说明书。

7、系统测试

    测试完成后，要提交测试报告。测试报告要包括测试项目、测试数据、测试手段、测试结果等。测试按测试人的不同可分成：

A)      由开发者本人对自已的开发工作进行测试。测试是否有错误，是否满足本模块的功能要求。

B)       项目组内或部门内测试。包括对其它开发人员开发的模块进行测试和进行整体测试。整体测试检查是否有错误，是否满足需求说明书中要求。

C)      支持部测试。由支持部进行测试，查找问题，确认是否可投入生产、进行试用。主要进行功能测试和稳定性测试。

8、补齐资料

    开发完毕后，补齐资料。如：图纸、安装程序、镜像文件、使用说明、器件选型、元件选择原则等。

9、系统试用

    将与生产维护有关资料交支持部，比如：生产图纸、安装程序、镜像文件器件选型、元件选择原则等。指导支持部进行生产维护。把系统安装在现场实际使用，支持部记录实际使用情况。记录内容包括：系统安装时间、版本、系统启动时间、重启时间、参数设置、出现问题及解决方法等。支持部将试用阶段中遇到问题及解决办法汇总成《常见问题及解决方法》。

10、移交并签字确认

A)将有关文档资料、图纸和源程序等开发资料交公司存档。

B)生产图纸、安装程序、镜像文件、使用说明、常见问题、器件选型、元件选择原则等与生产维护有关资料交支持部。

二、产品或项目的改进

1、       填写改进表格。

2、       安排相关人员进行改进。

3、       提出修改方案

4、       进行产品或项目的改进

5、       在自测的基础上，交支持部进行测试。测试内容包括：改进功能测试、原有功能是否还能正常、稳定性测试。

6、       修改相关的技术资料。并且注明版本或最后修改时间。

7、       反馈给改进提出者。将修改的资料进行移交并签字确认。