设为首页 | 加入收藏夹

八文网 - 汇聚八方文档 - 做最优秀的免费文档下载网站

体影像之边缘适应性内插法与VLSI实现

文档类型：

Adobe Acrobat PDF 文档文档大小：396.03KB

1 体影像之边缘适应性内插法与VLSI实现VLSI Implementation and Edge Adaptive Interpolation Algorithm of Stereo Image钟汉章吴先晃许明华翁炳国巫颖毅国云科技大学电子工程研究所中山科学研究院光电所摘要在娱,游戏及模拟上, 体影像在各种同应用中已经显现出许多的优势.本文提出一套应用於体影像之内插法,使用似解交错演算法中相同场方式内插遗失的像素值,此方法考虑多角的边缘方向及特性以避免错误内插造成锯齿边缘和模糊现象,此外,我们使用UMC 0.18 um制程技术实现所提出的演算法.实验结果证明所提出方法能够比传统ELA方法有好的主观或客观影像品质以及拥有低硬体复杂.
1. 简介体影像对一般是经由相距很小距的台摄影机在相同景像但相差很小的视觉角所取得,之后经由眼各别的观看得到三空间的感受.但是由於体设备的校准与架设成本过高,因此并是取得体影像对最好的方法.因此有人提出藉由结合反射镜,棱镜及透镜,可以仅使用一台摄影机取得体影像通常称为Catadioptric stereo,图(一)表示所使用之体镜适配器做为取像的光学设备.使用单一摄影机建构体设备有许多好处, 如输入影像的取得方以及许多体设备所需校准的如焦距、解析,光谱响应须再做密的调整.虽然此方法有许多优点、但是所取得的影像格式将偶场储存右影像及奇场储存左影像,此影像低垂直方向的解析,因此必须将影像解析恢成完整资讯.之后,得到完整解析的影像对就能够直接在双萤幕上直接观看或以偏极化方式投影并以偏极化眼镜观看.将交错扫描格式转换为循序扫描的方法称为解交错演算法.由於我们所提的方法相似於解交错演算法中的相同场方式[6,所以介绍几种常的相同场方式.BOB[6]是一种低复杂的方法,使用考线的平均重建遗失的像素值.虽然此方法简单且低成本,但在边缘处会产生锯齿现象或是在高频处产生模糊.Line-doubling[6]也是一种低复杂的相同场方法,直接使用上一的像素值内插遗失的.此方法虽然简单但有和BOB一样的缺点.为改善这些缺点、[7]被提出、ELA是最普遍的空间域内插方法,它使用条考线邻近的像素关系内插遗失的像素值并且能够容地减轻锯齿效
应.然而、虽然ELA演算法在大部分的情况下能够有好的判断能,但是当边缘判断正确时ELA 演算法就会产生人工化结果.因此,为改善以上缺点、我们提出藉由判断多边缘方向之方法确保能够正确侦测边缘的存在.在这篇文中、提出应用於改善体视觉解析之边缘适应性内插演算法与硬体架构,此方法基於解交错演算法中的相同场方式仅简单并且容实现在硬体上.这篇文的架构如下.在第二节中我们描述所提出的演算法.在第三节中介绍VLSI架构和硬体实现.第四节介绍模拟结果与硬体实现,最后一节为结.
2. 提出的演算法为改善传统ELA演算法容造成模糊现象与锯齿效应、我们提出边缘适应性内插的方法,整个演算法的程如图(二)所示.此演算法共分为
2 四个步骤,分别为Interpolation of by basic Interpolation and Median and 图(一) Catadioptric stereo取像方式图(二) 边缘适应性内插演算法程图以下分别介绍边缘适应性内插演算法之每个
步骤的功能:
1. Interpolation of Homogeneous Area 首先使用一个3x2 window 判断所需内插点是否为同质区、如果3个续的垂直差对小於我们所设定的界值,则使用所需内插点上和下的像素值内插.举,如图(三)所示、如果|AD |BE |CF 同时小於界值α,则X=(BE)2,否则,X将被下一个演算法所决定.图(三) 同质区判断之示意图|; jreturnelse next moduleα<=
2. Interpolation by ELA algorithm 如果所需插补点并符合上述同质区的测试,则此像素有可能是边缘像素.为减少边缘区域发生锯齿或模糊的现象,我们需考虑边缘方向的内插方法.在这所采用的方法是Edge-based 的方法,但加入一额外的条件去检查是否方向性的差够小.此ELA的方法所判断的角分别为°°°),如图(四)所示.图(四) ELA判断之示意图(,)= <(, )aXij XijbXijXi jcXij Xi jXij Xijifminabca and aXijXi jXijifminabcb and bXijX( ,)= 3
3. Extended edge-adaptive interpolation ELA演算法虽然有考虑到边缘方向的特性,但如果边缘方向是在°°°)时会出现边缘误判的情形.因此,我们提出延伸边缘方向的方法,也就是考虑14组角的边缘方向,如图(五)所示.图(五)表示在m-6时,其中条实线分别表示组对角像素的差值,必须小於界值ω.其次,影像之主要边缘方向的决定使用一组相对方向之像素差做检查,其差值必须大於γ.如果符合我们所设定的条件,则所需内插点即可定义为条实线上之四个像素的平均值.
(| <|)^ = ;^ ( , )[ ( -1for mif Ximωγ^jXimjXimj Xim jendnext module图(五) m-6时之延伸边缘适应性插补示意图
4.Median and average interpolation 经由前面几个步骤之后,因为我们所设定的限制条件,所以还会剩下一些像素未被决定.此像素最后经由2倍中间波器所产生的值与上下点像素值作平均.mXijXij Xi Xij
3. VLSI架构根据上述之演算法,边缘方向适应性插补之架构设计如图所示、其中包含同质区的内插,边缘为基础的线平均,延伸边缘适应性内插和中间值与平均值之内插这些模组.此架构由於我们考虑色彩资讯,单纯的只取出Y资讯.此架构之输入端为考线,分别为前一考线与下一考线,输出端为经由此考线所计算之内插像素值. 暂存器p0~p13,n0~n13分别表示之前考线和下一考线的暂存器,用储存考线的像素值,且由於我们所提出的方法最大判断共15个方向,所以使用共28个暂存器储存所需考的像素值.因为整个架构中有4个主要的演算法判断电,所以选择以4个判断电同步执, 符合电判断则把所内插像素结果输出、并且使用致能信号给最后优先权编码器作输入判断、否则,电的输出与致能信号将为.此优先权编码器的功能在於有某一需要被插捕的像素在做判断时,因为4个判断电是同步执,所以有可能在做判断时所设定的条件会符合个以上的电,此时我们使用致能信号做为优先权编码器的输入,藉此决定最后4输入之多工器最后的选择输出.图边缘适应性内插电架构图我们所提出的边缘适应性内插架构一共包含4块电,以下分别介绍每个区块的架构.在同质区的架构中、一共需要6个像素值作判断、因此我们从p0~p13,n0~n13的暂存器中取出p6,p7,p8以及n6,n7,n8共6个值传递给同质区方块.考虑资源共用的情况,其中m=0为经由延伸
4 边缘架构中已计算后的结果,如果此6笔资经过电判断成,则致能信号将选择p7,n7作相加再右移2bit输出、否则,致能信号为并选择0输出、如图(七)所示.图(七) 同质区内插架构图在ELA的方法中因为我们的硬体设计是采用4个判断电同步执,所以在ELA运算时,是45 ,90 或135 方向的计算可在延伸边缘适应性内插电中之运算结果保重复使用,且O_ho.也可由同质区的计算结果重复使用.如图(八)所示、图中ELA encoder的输入自於延伸边缘适应性内插电中的m=0-1与1电图(八) ELA架构图由於传统ELA演算法的边缘判断角有限,只用3x2 mask将边缘方向区分成45 ,90,135 作判断、当边缘角在此3个方向时,容造成错误的内插判断、因此我们需要考多角判断边缘方向.此延伸边缘适应性插补之架构共考14组边缘方向.由於每一diagonal_count电进6个像素值,分别为4个判断边缘的像素及2个用检查是否为主要边缘方向之像素,如图(九)所示.在diagonal_count电中、由於我们采用同步判断这14组边缘方向,所以设计14个相同的diagonal_count电同时作判断.而在Dominantedge decision方块中、因为所设定的条件可能造成组以上的diagonal_count电同时成,所以需要选择其中之一输出、此处的作法是采用2组比较树,m=0 ~ -6为一组由左往右倾斜之差值比较树,主要是判断每个diagonal_count电以求得最大值,第二组比较树为m=1~7,其为由右往左倾斜之差比较树,当者比完后再以一比较树选择最大值输出图(九) 14组延伸边缘角判断之架构图之前所设定之判断条件符合时,才会使用中间与平均值之内插方法.此硬体架构使用称为Batchers sorting network方法[8,图(十) 为基本的处单元、其中输入为a与b,内部则是做比较与交换的动作,输出上,下方分别表示a与b中的最小值与最大值.图(十一) 为6输入输出之sorting network,图中输入部分为n6~n8与p6~p8,输出部分之O3与O4为所需的中间值,之后并与p7,n7做相加以及右移2bit.图(十) Batcher comparator 之基本处单元图(十一) 中间值和平均值内插架构图
5 当4个判断电判断完成后需要选择最适当的输出值,我们将会依优先权做为最后输出.下图(十二)、(十三)为优先权编码器真值表及选择电图.图(十二) 优先权编码器真值表图(十三) 优先权编码器及选择电图
4. 实验结果
4.1 主观与客观品质的比较为评估所提出演算法的效能,我们在此节提出模拟结果.首先,使用普遍的测试影像Foreman sequence 做主观与客观上的评估.在客观的评估上,为模拟左右输入影像,我们先把测试影像做次取样,之后分别经由Line doubling ,Bilinear,ELA与所提出的方法恢成原始解析
.图(十四)显示50张续之Foreman影像,由图中可看出所提出的方法有较高的PSNR值.对於主观上的比较、图(十五)为Foreman sequence之局部放大图,可以明显看所提出的方法在墙壁边缘处比其他方法能够减少锯齿效应使得影像加平.图(十)(a)(b)为经由体设备所取得之原始左右输入影像,图(十)(c)(d)为经由所提出方法内插后的结果.图(十七)是图(十)(c)经由各种方法内插后之局部放大,图中可清楚看是Line 或ELA,这些方法在边缘处会产生明显的锯齿效应与模糊现象,容造成的观看品质.比较这些传统方法与所提出的方法发现后者能改善观看的视觉品质.
32.535
37.540 Frame number of foreman 图(十四) 50张Foreman测试影像之PSNR值(a) Original (b) Line doubling (c) Bilinear(d) ELA (e) Proposed图(十五) Foreman 测试影像之比较图(十) 体影像之实验结果图(十七) 体影像之局部放大结果
4.2 硬体实现此VLSI使用UMC 0.18mcell library 实现,晶片的面积为1147041um ,工作频与功消耗分别为109.7MHZ与20.5158mW, 辑闸为22110.图(十七)晶片布局图结在本篇文章中、我们提出应用於体影像之适应性边缘内插演算法与VLSI实现,所提出的方法与传统方法比较起,在边缘的判断上加正确,因此能拥有好的视觉品质.藉由使用具有明显边缘的测试影像可以看出所提方法的优点.此外,所设计的硬体架构仅简单并且容实现,实现IC后的辑闸为22110闸.对於应用在体视觉上,我们发现沿著边缘方向的内插能够获得比二维视觉上多的深刻体验.本文的研究可以得到高品质的体影像并且有助於体影像的应用.考文献[1]A.Goshtasby andW.A. Gruver, Design ofasingle-lens stereo camera system, vol. 26, pp[2]S.Nene andS.Nayar, Stereo with mirrors,[3] J,Gluckman and S.K. Nayar, Planar Catadioptric
and Calibration, Proc. 1999pp[4] Based onaSingle Camera Mechanism, Proc. Intl Conf.
[5] Z.Y. Zhang and H.T. Tsui, 3D View of an Object and Its Image ina Plane Mirror, Proc. Intl Conf. vol.2, ppnew algorithm for interlaced to progressive scanconversion based on directional correlations andits IC design, IEEE Trans. Consumer[8] Chun-Yueh Huang; Gwo-Jeng Yu; Bin-Da Liu;AHardware Design Approach for IEEE International Symposium onCircuits and Systems volume4,pp志谢本研究承蒙中科院计画BV94G09P的经费补助,特此志谢.

pdf文档的标签：插法与边缘影像 VLSI 实现适应性

更多推荐标签：初级安全主任文员实习心得抢生处罚条例假日联盟校园暴力康乐经理好词名句空乘仪容规范职工流动配送协议网上报名程序广告意识形态论叙物流成本鸦片战争影响语文电子教案用工合同宁波银行年报师生礼仪实例酒店业分析内部危机公关网上认证本报消息经管类论文企业进驻程序工伤如何定级劳动光荣物流课程综诉仓库表格组织机构表数据结构程序