高速图像采集系统的研究及FPGA实现

第30卷第11期

2010年11月

文章编号:1001-9081(2010) 11-3094-03

计算机应用

Journal o f Computer A pp licati ons

V o. l 30N o . 11

N ov . 2010

高速图像采集系统的研究及FPGA 实现

何振琦, 李光明, 张慧琳, 李颀

(hq774@sohu. co m )

(1. 陕西科技大学电气与信息工程学院, 西安710021; 2. 西北工业大学自动化学院, 西安710072)

摘要:针对图像采集速度慢和图像品质低等问题, 设计并实现了一种基于N i os 双核的高速图像采集系统。该

系统利用现场可编程门阵列(FPGA ) 对图像传感器进行控制, 并通过乒乓操作原理对图像进行采集。然后采用面积换速度的原则进行图像处理, 在图像处理过程中采用BP 网络图像压缩的算法保存并传输给上位机。对采集数据进行仿真表明:与传统图像采集方法相比较, 该系统的图像采集速度和图像采集质量都得到了极大的提高。

关键词:面积换速度; 乒乓操作; BP 神经网络; 现场可编程门阵列中图分类号:T P391. 41; TP274 文献标志码:A

H igh speed i m age acquisiti on syste m and FPGA i m ple m entati on

HE Zhen qi , LI Guang m i n g , Z HANG H ui li n , L I Q i

(1. C olle g e of E le c t ric and Infor m a ti on E ngineeri ng, S haanxi University of S cie nce and T ec hnology , X i an Shaanx i 710021, Ch ina ;

2. C ollege of Au t o m a ti on, N ort hw e stern P ol ytec hn ic a l Un i versit y, X i an Shaanxi 710072, Ch i na )

Abstract :T o so l ve the proble m of low speed and poor quality o f i m age acqu i sition , a syste m o f high speed i m age

acquisiti on based on N ios w as introduced . F irst o f a l, l F i e l d Progra mm able G a te A rray (FPGA ) w as used for contro lli ng

m age sensor i , and t he i m age w as cap t ured through p i ng pang ope ration . T hen , the pr i nci p le o f area exchang e rate was used f o r i age processi ng m . A fter t hat , t he da ta w as kept and trans m itted to the upper dev i ce by i m age co m pressi on algorith m of BP neura l ne t w ork . Through t he si m u lati on expe ri m en ts fro m the acqu ired data , the s i m u l ation results de m onstrate that this syste m prov i des i m age acquisiti on of h i ghe r speed and qua lity t han trad iti onal system .

K ey words :area exchang e rate ; p i ng pang opera ti ng ; BP neura l net wo rk ; F ield P rogra mmable G ate A rray (FPGA )

0 引言

在图像处理的整个过程中, 图像采集是图像处理的基础和前提, 特别是高速的图像采集部分更是关键所在。随着近年来科学技术的高速发展, 对图像采集的速度和图像品质提出了更高的要求, 在传统的数据采集系统中, 多数采用单片机或者DSP 进行控制, 已不能满足图像采集这种高速数据采集场合。

由于现场可编程门阵列(F i e l d Progra mm able G ate A rray , FPGA ) 技术在数字电路系统设计领域发展中发展迅速, 而FPGA 的SOPC(可编程片上系统) 能够满足系统对体积、灵活性, 以及稳定性的要求, 在图像采集和图像处理系统中得到了广泛的应用[1]。本文正是基于FPGA 技术提出了一种高速图像采集设计。在图像采集方面采用了乒乓操作, 它是FPGA 设计中最常用的一种数据缓冲方法之一, 简单、实用; 图像处理方面采用的面积换速度原则可以通过面积的复制换取速度方面的优势, 基本可以满足工业过程控制中对图像采集的速率要求。

因此, 依靠FPGA 技术设计一种高速图像采集系统就具有体积小, 功耗低, 以及采集速率高的优点, 且具有很强的实用价值。

收稿日期:2010-05-18; 修回日期:2010-07-21。

1 N ios 双软核构架

N i os 嵌入式处理器是ALTERA 公司推出的采用哈佛结构、具有32位指令集的第二代片上可编程的软核处理器, 是一种模块化的硬件结构, 具有灵活性和可裁减的优点。相对于传统的处理器, N ios 系统可以在设计阶段根据实际的需

求来增减外设的数量和种类。使用ALTERA 提供的开发工具SOPC Buil der , 在可编程逻辑器件(P rog ra mm able Log ic D ev i ce , PLD ) 上创建软硬件开发的基础平台, 也即用S O PC Bu il der 创建软核CPU 和参数化的接口总线A valon 。在此基础上, 可以很快地将硬件系统(包括处理器、存储器、外设接口和用户逻辑电路) 与常规软件集成在单一可编程芯片中。而且, SOPC Bu ilder 还提供了标准的接口方式, 以便用户将自己的外围电路做成N ios 软核可以添加的外设模块。这种设计方式, 更加方便了各类系统的调试[2]。

实现N i o s 双核架构的最大难点是信息处理和存储器争用问题, 互斥信号量(MUTEX ) 是解决多处理器争用存储器的关键, 它的位宽为2 32b it 。而在多核环境也可用信箱(Ma il box) 在多核之间进行通信, 本系统结合了两者优点, 在互斥信号量的基础上用信箱方式来解决双处理器争用存储器的问题。使用SOPC Bu il der 开发平台可以方便地构建片上系统。在SOPC Bu il der 提供了众多的片内资源, 用户只需根据

基金项目:陕西省科技厅工业攻关项目(2006K05 G17); 西安市科学技术局工业发展项目(YF07031)。

作者简介:何振琦(1981-), 男, 陕西咸阳人, 硕士研究生, 主要研究方向:嵌入式系统; 李光明(1963-), 男, 陕西西安人, 教授, 主要研究方向:嵌入式系统、图像处理; 张慧琳(1984-), 女, 河北邢台人, 助理工程师, 硕士研究生, 主要研究方向:系统工程、嵌入式系统; 李颀(1973-), 女, :

第11期何振琦等:高速图像采集系统的研究及FPGA 实现 3095

设计要求进行裁剪, 具体添加的IP 核如图1

所示。

2 系统总体设计

系统采用A lter 公司Cyc l one 系列的EP2C20F 256C8芯

片, 配置了双N i os 软核CPU 的设计架构, 其中一个处理器负责图像采集, 另一个处理器负责图像处理(图像压缩) 以及图像传输, 两个N ios 核之间通信方式采用邮箱(M ail box ), 这样做可有效地提高处理器处理能力。两个CPU 软核之间采用A va l on 总线和MUTEX 硬件互斥进行连接, 交互信息在S RAM 中进行交换。由于采用了同一片FPGA 配置了两个软

图1 添加的IP 核

核CPU 的方式, 信号传输可以实现无缝连接, 大大提高了系统信息传递的速度和能力。详细的系统硬件结构见图2

。

图2 系统硬件结构

2. 1 图像采集模块

选择N i os CPU 0软核为图像采集模块的操作系统, 具体采用乒乓操作原理实现。采用乒乓操作最大的特点是数据无缝缓冲与处理, 通过! 输出数据选择开关∀和! 输入数据选择开关∀互相配合的切换, 数据在经过SRAM 时没有时间停顿就被送到数据处理单元, 同时这种方式还具有S RAM 随机存取的优点, 易于得到较大容量的高速S RAM 且价格适中。图像采集模块原理如图3

。

[3]

每一路的处理结果再进行并串转换成为高频的输出数据。详细的图像处理模块原理如图4所示。

2. 2. 2 BP 神经网络图像压缩算法

该系统采用了BP 神经网络压缩算法, BP 神经网络模型拓扑结构包括输入层、隐含层和输出层。BP 神经网络结构如图5所示, 图中, P 为输入矢量, R 为输入维数, S i 为输入各个神经元数, W i 神经元层数, n i 为输入节点, a i 为节点输出, w ij 为各个神经元连接权值, f i 为激励函数, b i 为神经元阈值。BP 神经网络图像压缩的基本思想是:强迫原始数据通过细腰型网络瓶颈, 并期望在网络的瓶颈处能获得较为紧凑的数据表示, 以达到压缩目的[8]。一般来说采用不同数目的隐含层神经元就能实现不同的压缩比。

图3 图像采集模块原理

压缩比=输入层节点数(n ) /隐含层节点数(m)

在图3中, OV 7620为图像传感器, 采集到的图像通过图像采集芯片传给输入数据选择开关, 输入数据选择开关是用来控制两片SRAM 存储的关键。输入的图像数据经过选择开关后, 分别进入S RAM 1和S RAM 2。当图像数据读写入SRAM 1时, 数据处理单元从S RAM 2中读取数据; 当图像数据写入SRAM 2时, 数据处理单元从SRAM 1读取数据, 然后, 反复交替切换就构建了一个完整的乒乓操作。

2. 2 图像处理模块

选择N i os CPU 1软核为图像处理模块的操作系统, 采用了面积换速度的原则, 面积的复制可以换取速度的提高, 支持的速度越高, 就意味着可以实现更高的产品性能, 可以提高图像处理及传输的速度。最终, 将处理后的数据传送给上位机(PC)

。

2. 2. 1 面积换速度的原理

首先, 使用串并转换来实现多路的速度降频, 图4中将总的频率分为3路, 则每路经

图5 BP 神经网络结构

BP 神经网络训练步骤如下:

1) 用较小的随机数对权值和偏差初始化, 并设定以下参数或初始化:期望误差、最大循环数、修正权值学习速率。

2) 将原始图像分为4 4的块, 并选取其中一块的像素值作为训练样本送入输入层, 计算各层输出:

y j =f (net j )

net j =

(1) (2) (3)

i=1m

x i + , 2∃, m j ; j =1

过1/3的频率; 然后, 在每一路

中用相同的算法, 使各处理模块进行相对低频的处理; 最后将

图4 图像处理模块原理

o k =f (net k ) net k =

j =y j + , 2, ∃, l k ; k =1

(4)

3096 计算机应用第30卷

其中f (%) 为传输函数。

3) 计算输出与期望输出之间的误差, 判断是否小于期望误差, 是则训练结束; 否则继续下一步。其误差的计算公式如下:

112

E =(d -o ) =(d k -o k ) 2

22k =1

统结构简单, 硬件流程清晰, 具有高集成度、高信噪比、低功

耗、低成本, 以及速度快等优点。通过验证本系统可以稳定工作, 图像采集速率可达到29f ps 左右, 基本达到高速图像采集的要求, 可广泛应用于工业、农业等,

具有较高的实用价值。

4) 计算各层反传信号, 调整权值和阈值。

5) 检查是否完成一次训练, 是则返回2); 否则继续下一步。

6) 检查是否达到最大循环次数, 是则结束训练; 否则返回2) 。

经过多次训练后得到最后一组权值和阈值, 组成前馈神经网络, 然后进行FPGA 的设计。

图7

图像采集读取仿真波形图

3 实例仿真

在设计中采用了M ode l S i m 仿真器对部分节点进行了仿真测试, 图像采集在时钟cl k 下能够完成图像数据采集, 并通过D M A 把采集到的图像数据写入相应的存储地址, 最后完成图像数据的输出。图6为乒乓操作的功能仿真图, 图7~8为图像采集读取和写

入仿真波形图。

参考文献:

[1] 姚远, 韦宏卫. FPGA 应用开发入门与典型实例[M].北京:人民

邮电出版社, 2008:1-9.

[2] 孙凯, 程世恒. N i os 系统开发设计与应用实例[M].北京:北京

航空航天大学出版社, 2007:23-41.

[3] 李成, 贺洋. 基于FPGA 的图像采集模块的设计[J].电子设计工

程, 2009, 17(3):34-3.

[4] 凌朝东, 杨亮亮, 李国刚. 基于N i os 多核驾驶疲劳检测系统设

图6 乒乓操作仿真波形图

计[J].计算机工程与设计, 2009, 30(6):1410-1412.

[5] 何明星, 路巍. 基于多软核技术的数字示波器的实现[J].微计算

机信息, 2009, 25(8):40-41.

[6] 候忠, 阎保定, 候韶剑, 等. 基于双N i os 软核处理器的机器人控

制器设计[J].工业控制计算机, 2008, 21(10):25-26.

[7] 王海滨, 杨晓非. 基于FPGA 的高速图像采集系统设计[J].单片

机与嵌入式系统应用, 2009, 13(3):28-30.

[8] 杨隽, 周诠, 张敏瑞. BP 神经网络图像压缩算法乘累加单元的

FPGA 设计[J].现代电子技术, 2009, 38(4):38-41.

图8 图像采集写入仿真波形图

4 结语

该系统采用了双N ios 软核CPU 构架和模块化设计方

法, 大大地提高了FPGA 的使用效率, 在图像采集和处理模块中, 分别采用了乒乓选择方式和面积换速度的原理, 极大地提高了数据处理的速率, BP 神经网络压缩算法可较好地保存图像品质。最后, 采用ver ilogHDL 硬件描述语言实现, 具有系

(上接第3093页

)

[4] HAN S M, PARK S K, J UNG J H, et al . M ob il e robot nav i gati on

by circu l ar path plann i ng al gori thm us i ng ca m era and u l trason ic s en s or [C]//I EEE I n tern ati on al Sy m pos i um on Industrial E l ectron i cs . W ashington, DC :IEEE, 2009:1749-1754.

[5] J OO J H, HONG D H, K I M Y G , et al . An enhanced pat h p l an

n i ng of f ast mob il e robot b ased on data f u si on of i m age sensor and GPS [C]//I CROS S I CE. W ash i ngt on, DC:IEEE, 2009:5679-5684.

[6] YU M, LI S Q . A m ethod of robot navi gati on bas ed on them u l tis en

sor f u sion [C]//Intelli gen t Syste m s and App li cati on. W as h i ngton, DC:I EEE, 2010:1-4.

[7] LU T , YUAN K, ZOU W, e ta l . S tudy on navi gati on strategy of i ntel

图9 运动轨迹对比

li gent wheel ch ai r i n narrow s paces [C]//Th e S i xth W orl d C ongress on Intelligen t Control and Au t omati on. W as h i ngton, DC:2006:9252-9256.

[8] 黄明登, 肖晓明, 蔡自兴, 等. 环境特征提取在移动机器人导航中

的应用[J].控制工程, 2007, 14(3):332-335.

[9] 罗元, 张百胜, 李玲. 基于粒子群算法的单目移动机器人地图创

建[J].微计算机信息, 2009, 25(14):221-222.

[10]陈东. 三维激光和单目视觉间的联合标定与数据融合[D].大

:, 2009.

I EEE,

参考文献:

[1] 贺锋, 秦晓丽, 方勇纯. 一种基于遗传算法的移动机器人自定位

方法[J].模式识别与人工智能, 2009, 22(1):142-147.

[2] 马斌良, 黄玉美, 史恩秀, 等. 基于信息融合的移动机器人侧向定

位的研究[J].传感器与微系统, 2008, 27(11):24-27.

[3] 刘国良, 谢箭, 颜世佐, 等. 狭窄环境地形图建立的融合算法研究

, , ):6-8.

第30卷第11期

2010年11月

文章编号:1001-9081(2010) 11-3094-03

计算机应用

Journal o f Computer A pp licati ons

V o. l 30N o . 11

N ov . 2010

高速图像采集系统的研究及FPGA 实现

何振琦, 李光明, 张慧琳, 李颀

(hq774@sohu. co m )

(1. 陕西科技大学电气与信息工程学院, 西安710021; 2. 西北工业大学自动化学院, 西安710072)

摘要:针对图像采集速度慢和图像品质低等问题, 设计并实现了一种基于N i os 双核的高速图像采集系统。该

关键词:面积换速度; 乒乓操作; BP 神经网络; 现场可编程门阵列中图分类号:T P391. 41; TP274 文献标志码:A

H igh speed i m age acquisiti on syste m and FPGA i m ple m entati on

HE Zhen qi , LI Guang m i n g , Z HANG H ui li n , L I Q i

(1. C olle g e of E le c t ric and Infor m a ti on E ngineeri ng, S haanxi University of S cie nce and T ec hnology , X i an Shaanx i 710021, Ch ina ;

2. C ollege of Au t o m a ti on, N ort hw e stern P ol ytec hn ic a l Un i versit y, X i an Shaanxi 710072, Ch i na )

Abstract :T o so l ve the proble m of low speed and poor quality o f i m age acqu i sition , a syste m o f high speed i m age

acquisiti on based on N ios w as introduced . F irst o f a l, l F i e l d Progra mm able G a te A rray (FPGA ) w as used for contro lli ng

K ey words :area exchang e rate ; p i ng pang opera ti ng ; BP neura l net wo rk ; F ield P rogra mmable G ate A rray (FPGA )

0 引言

因此, 依靠FPGA 技术设计一种高速图像采集系统就具有体积小, 功耗低, 以及采集速率高的优点, 且具有很强的实用价值。

收稿日期:2010-05-18; 修回日期:2010-07-21。

1 N ios 双软核构架

基金项目:陕西省科技厅工业攻关项目(2006K05 G17); 西安市科学技术局工业发展项目(YF07031)。

第11期何振琦等:高速图像采集系统的研究及FPGA 实现 3095

设计要求进行裁剪, 具体添加的IP 核如图1

所示。

2 系统总体设计

系统采用A lter 公司Cyc l one 系列的EP2C20F 256C8芯

图1 添加的IP 核

核CPU 的方式, 信号传输可以实现无缝连接, 大大提高了系统信息传递的速度和能力。详细的系统硬件结构见图2

。

图2 系统硬件结构

2. 1 图像采集模块

。

[3]

每一路的处理结果再进行并串转换成为高频的输出数据。详细的图像处理模块原理如图4所示。

2. 2. 2 BP 神经网络图像压缩算法

图3 图像采集模块原理

压缩比=输入层节点数(n ) /隐含层节点数(m)

2. 2 图像处理模块

。

2. 2. 1 面积换速度的原理

首先, 使用串并转换来实现多路的速度降频, 图4中将总的频率分为3路, 则每路经

图5 BP 神经网络结构

BP 神经网络训练步骤如下:

1) 用较小的随机数对权值和偏差初始化, 并设定以下参数或初始化:期望误差、最大循环数、修正权值学习速率。

2) 将原始图像分为4 4的块, 并选取其中一块的像素值作为训练样本送入输入层, 计算各层输出:

y j =f (net j )

net j =

(1) (2) (3)

i=1m

x i + , 2∃, m j ; j =1

过1/3的频率; 然后, 在每一路

中用相同的算法, 使各处理模块进行相对低频的处理; 最后将

图4 图像处理模块原理

o k =f (net k ) net k =

j =y j + , 2, ∃, l k ; k =1

(4)

3096 计算机应用第30卷

其中f (%) 为传输函数。

3) 计算输出与期望输出之间的误差, 判断是否小于期望误差, 是则训练结束; 否则继续下一步。其误差的计算公式如下:

112

E =(d -o ) =(d k -o k ) 2

22k =1

统结构简单, 硬件流程清晰, 具有高集成度、高信噪比、低功

具有较高的实用价值。

4) 计算各层反传信号, 调整权值和阈值。

5) 检查是否完成一次训练, 是则返回2); 否则继续下一步。

6) 检查是否达到最大循环次数, 是则结束训练; 否则返回2) 。

经过多次训练后得到最后一组权值和阈值, 组成前馈神经网络, 然后进行FPGA 的设计。

图7

图像采集读取仿真波形图

3 实例仿真

入仿真波形图。

参考文献:

[1] 姚远, 韦宏卫. FPGA 应用开发入门与典型实例[M].北京:人民

邮电出版社, 2008:1-9.

[2] 孙凯, 程世恒. N i os 系统开发设计与应用实例[M].北京:北京

航空航天大学出版社, 2007:23-41.

[3] 李成, 贺洋. 基于FPGA 的图像采集模块的设计[J].电子设计工

程, 2009, 17(3):34-3.

[4] 凌朝东, 杨亮亮, 李国刚. 基于N i os 多核驾驶疲劳检测系统设

图6 乒乓操作仿真波形图

计[J].计算机工程与设计, 2009, 30(6):1410-1412.

[5] 何明星, 路巍. 基于多软核技术的数字示波器的实现[J].微计算

机信息, 2009, 25(8):40-41.

[6] 候忠, 阎保定, 候韶剑, 等. 基于双N i os 软核处理器的机器人控

制器设计[J].工业控制计算机, 2008, 21(10):25-26.

[7] 王海滨, 杨晓非. 基于FPGA 的高速图像采集系统设计[J].单片

机与嵌入式系统应用, 2009, 13(3):28-30.

[8] 杨隽, 周诠, 张敏瑞. BP 神经网络图像压缩算法乘累加单元的

FPGA 设计[J].现代电子技术, 2009, 38(4):38-41.

图8 图像采集写入仿真波形图

4 结语

该系统采用了双N ios 软核CPU 构架和模块化设计方

(上接第3093页

)

[4] HAN S M, PARK S K, J UNG J H, et al . M ob il e robot nav i gati on

[5] J OO J H, HONG D H, K I M Y G , et al . An enhanced pat h p l an

n i ng of f ast mob il e robot b ased on data f u si on of i m age sensor and GPS [C]//I CROS S I CE. W ash i ngt on, DC:IEEE, 2009:5679-5684.

[6] YU M, LI S Q . A m ethod of robot navi gati on bas ed on them u l tis en

sor f u sion [C]//Intelli gen t Syste m s and App li cati on. W as h i ngton, DC:I EEE, 2010:1-4.

[7] LU T , YUAN K, ZOU W, e ta l . S tudy on navi gati on strategy of i ntel

图9 运动轨迹对比

li gent wheel ch ai r i n narrow s paces [C]//Th e S i xth W orl d C ongress on Intelligen t Control and Au t omati on. W as h i ngton, DC:2006:9252-9256.

[8] 黄明登, 肖晓明, 蔡自兴, 等. 环境特征提取在移动机器人导航中

的应用[J].控制工程, 2007, 14(3):332-335.

[9] 罗元, 张百胜, 李玲. 基于粒子群算法的单目移动机器人地图创

建[J].微计算机信息, 2009, 25(14):221-222.

[10]陈东. 三维激光和单目视觉间的联合标定与数据融合[D].大

:, 2009.

I EEE,

参考文献:

[1] 贺锋, 秦晓丽, 方勇纯. 一种基于遗传算法的移动机器人自定位

方法[J].模式识别与人工智能, 2009, 22(1):142-147.

[2] 马斌良, 黄玉美, 史恩秀, 等. 基于信息融合的移动机器人侧向定

位的研究[J].传感器与微系统, 2008, 27(11):24-27.

[3] 刘国良, 谢箭, 颜世佐, 等. 狭窄环境地形图建立的融合算法研究

, , ):6-8.

高速图像采集系统的研究及FPGA实现

相关文章