基于机器视觉的平板显示屏

第二章 显示屏检测系统设计及软件开发环境
2.1系统设计整体方案和软硬件构成
2.1.1系统检测流程
系统开始经过图像采集系统拍摄显示屏图像,之后利用图像处理的方法对缺陷进行检测,主要有四个步骤:

　　
　　图2.1.1 检测流程图
　　（1）图像标定作为初始化界面，用于输入摄像头参数，计算摄像机畸变系数，求取摄像机的有效焦距，为后续的目标识别提供真实度量的数据做好准备。为了对标定算法进行更好的认识，后续章节会通过设计的标定界面对系统进行标定实验，详细的介绍标定方法的标定过程；
（2) 在图像预处理中,通过中值滤波去除图像采集和传输过程中导入的噪声同时保持了缺陷形态；
　　　(3) 根据像素的几何特征确定所有角点像素,以角点为界限提取若干模板图像,在几张不同的模板上迭代通过差影法初步提取缺陷像素;
　　　(4) 缺陷检测识别模块:该模块是本系统的核心部分,针对不同的检测环境切换检测的算法,并将检测结果显示出来。在本系统中加入了中间数据显示环节,方便程序流程的观测。
2.1.2系统软硬件构建
　　　图2.1.2是本文完成显示屏检测系统的示意图,整个系统由图像采集,图像处理,结果显示,以及机构执行部分组成,包含FZ-SC彩色摄像机、白色光源、图像采集卡、FZ3-350控制器、PC机等。检测系统的系统框图如图所示,系统平台实物图如图：
　　　 图2.1.2 系统软硬件架构
该系统的硬件组成主要包括:
欧姆龙FZ3视觉控制器[22]：最快 Quad Processing （4通道处理），2.4GHz；通过配置多核，甚至单个处理，也可以通过分布式实现高速化；分辨率越高，效果更为明显；处理速度是过去的2倍。提高质量的同时不延长生产时间，5百万像素的高分辨率图像处理速度。多通道输入功能先行拍摄、检查采用并行处理可进一步提高速度，高速连拍最多32 张。
CCD摄像头：读取所有象素行间转移、2/3英寸CCD图像元件
　　彩色/黑白：黑白/彩色
　　有效像素：2448(H) × 2044 (V)
　　像素大小：3.45 (μm) × 3.45(μm)
　　快门功能：电子快门， 可从1/10~1/50000s中选择快门速度
　　局部功能： 12~ 2044 行
　　帧频(图像读取时间)：16fps (62.5 ms)
配置Labview和vision builder软件开发环境的PC计算机。

图2.1.3欧姆龙FZ3视觉控制器

2.2 软件开发环境
2.2.1图形化编程开发平台Labview
　　　LabVIEW（Laboratory Virtual Instrument Engineering Workbench）是一类用图标取代文字项编写应用程序的图形化编程语言。传统文本编程语言按照指令的先后顺序决定程序执行的先后， LabVIEW则根据数据流模式、程序框图节点间的数据流来确定执行VI顺序和功能[23]。VI代表虚拟仪器，是一个LabVIEW程序模块。
　　　虚拟仪器（Virtual Instrument）是一种基于微机的仪器。微机与仪器的集成是当前仪器发展的一个重点方向。虚拟仪器本质上是一个数据采集系统，根据仪器需求集成。当下，在这一领域内普遍使用NI 公司的 LabVIEW作为计算机语言。虚拟仪器起源于二十世纪70年代，当时计算机测控技术在国防、航空航天等领域已有了长足的发展[24]。PC电脑出现之后，仪器级的集成化成为可能，甚至在微软公司的 Windows 诞生以前，美国国家仪器（National Instruments）公司已经在苹果的Macintosh（最早的图形操作界面电脑）上推出了LabVIEW早期的版本。在虚拟仪器方面长时间系统的研发和对LabVIEW不断的有效升级使得NI公司成为该行业公认的权威。现在LabVIEW 的最新版本为 LabVIEW2013，增添了多线程功能等更多特性。LabVIEW平台提供的软件环境，由于其数据流运行特点、LabVIEW Real-Time 工具的多核支持，和从高向低的专门为多核定制的软件层次，是进行并行编程的首选[25]。
　　　跟 C 、BASIC 一样，LabVIEW也是适用性很高的编程工具，配备了可以完成任何编程的庞大函数库[26]。LabVIEW的功能库涵盖了数据采集、GPIB、串口控制、数据分析、数据显示及数据存储等等方面。LabVIEW也使用了过去常用的程序调试工具，比如设置断点、以动画形式显示数据及其子模块（子VI）的结果、单步运行等等，方便程序的调试。开发人员可以绘制导线通过节点连接不同应用的程序，程序的图形化框图（LV源代码）结构决定了VI的执行。G语言天生具备并行运行能力，内置的调度算法在多处理器和多线程硬件之间自由执行，可以跨平台地同时使用多个节点、运行线程。图形化的方法还允许开发人员借助拖放虚拟化形式的VI的办法来创建程序，使用他们原来熟悉的实验室设备。在LabVIEW编程环境下，使用已经提供的大量模块和函数，能够很轻松地创建简易的应用程序。此外，LabVIEW还可以创建分布式程序，应用客户机/服务器模式互相通信[26]。笔者认为，图形化编程工具Labview是一场工业领域的革命，使得研究人员把主要的精力都集中在目标的分析和结论上。图形化编程必将取代传统编程工具。
　　　LABVIEW被广泛应用于各种领域，在如下领域其特点尤其被突出利用：
　　　1、测试测量：LABVIEW最开始就是为做测试测量而产生的，所以测试测量自然成为现在LABVIEW应用最多的领域。经历多年的实践，LABVIEW在测试测量领域的地位是公认的。目前，LabVIEW为几乎所有主流的测试仪器、采集设备都准备了驱动程序，使用LabVIEW可以非常方便的支配这些硬件设备。并且开发人员也能够非常便捷地找出各项适合测试测量领域的LabVIEW工具包。所有这些工具几乎覆盖用户的所有要求，用户根据这些工具包开发过程更加容易。甚至于可能有时只直接调用若干个工具包中的函数，就能够组成一个完整的应用程序用于测试测量。
　　　2、控制：控制与测量是两个相辅相成的领域，从测试领域起家的LabVIEW继而拓展至控制领域。LabVIEW创建了专门用于控制方面的工具—LabVIEWDSC。除此之外，LabVIEW普遍适用于在工业控制领域常见的设备、机构等。通过LabVIEW能够十分便捷地创建各种控制程序。
　　　3、仿真：LabVIEW包扩了各式各样的函数，尤其适合进行理论验证、原理设计、仿真等工作。例如要设计一套机电系统，不妨先用LabVIEW仿真模型，验证系统的合理性，发现可能存在的问题。在LabVIEW平台上仿真特别适合高等教育领域，有时能够起到同样的效果，让学生在计算机上就可以得到实践。
　　　4、高效开发：实现一个应用类似的大型软件的功能，利用LabVIEW进行开发需要的时间，一般仅仅是C程序员用时的五分之一左右。因此，项目安排时间上紧张的情况下，选择使用LabVIEW节省时间应该是一个优先的考虑。
　　　5、跨平台：假如系统需要同时运行多个硬件设备，也可以优先选用LabVIEW开发。LabVIEW具备杰出的平台一致性。LabVIEW的程序不需任何转换就可以在常用的Windows、Mac OS 和 Linux三大操作系统上运行。另外，LabVIEW还支持多种多样的实时系统和嵌入式设备，例如PDA、FPGA和运行VxWorks还有PharLap系统的RT工具[23]。
　　　NI公司还配置了Labview平台上专门用于图像分析、处理和机器视觉的内置开发组件IMAQ Vision， IMAQ Vision Builder，涵盖完备的函数库，囊括了在LabVIEW开发平台上构建机器视觉系统所用到的各种子模块，例如系统标定、图像采集、图像处理、几何测量等。
2.2.2 Labview机器视觉开发包
Labview视觉组件包含IMAQ Vision、IMAQ Vision Builder、NI Vision Builder for Automated Inspection。NI 的 IMAQ Vision 软件包包括了全面的图像处理功能，把400多种功能集成到 LabVIEW 和 Measurement Studio(LabWindows/CVI,Visual C++及Visual Basic)开发环境中。Vision Builder是一个系统级的交互式机器视觉开发工具，可以在系统软件设计的每一步看见输出的中间结果，并可以随时修改。开发完成后可以自动生成LabVIEW程序代码[27]。

IMAQ Vision
　　　IMAQ Vision是Nl专门对于机器视觉方面推出的专用开发包,它把机器视觉和图像处理功能加入到LabVIEW中,主要用在工厂和实验室等自动化操作需要稳定性高、速度快的视觉系统中.使用IMAQ Vision能够快速对工业视觉和科学图像应用软件进行开发。IMAQ Vision库用来处理的范围包括了三种类型:灰度、彩色和复合图像[11]。

LabviEW平台上的IMAQ Vision Assistant:
　　　IMAQ图像处理包主要含有4个函数库,依次是技术驱动程序库，可视化工具函数库，图像处理库，机器视觉函数库。对图像进行处理和解析所用到的一些控件，包含了图像的类型，图像处理的方式和不同形态算子以及颜色选择的类型等等。视觉应用模块用作对图像进行一些初步的整体操作。图像处理模块-灰度和彩色图像的处理。机器视觉应用模块，主要是一些在工程中常用的模块，如坐标系的确定，图像匹配和边缘检测等。此模块中绝大多数都是一个完成特定功能的子程序，由前面介绍的基本模块构成[28]。

Vision Builder for Automated Inspection：
NI Vision Builder AI软件是LabvIEW的附加模块,基于互动模式和“环境假设”,可高效开发机器视觉系统[28]。工程人员可以根据基准配置一系列步骤虚拟检测，也可用于基于虚拟检测系统的自动检测。
Vision Builder AI有如下几个功能特点:
l)获取图像：自动检测视觉环境，驱动摄像头，采集或选择图像。

图2.2.1图像获取功能库
2)图像的分析和处理：支持对灰度、彩色及二进制图像处理、滤波、分割、提取和校正。

图2.2.2颜色分类
3)划分边缘和模型匹配：包含已知的定位在一个对象图像检验相关的步骤。功能包括点，直线，或圆形边缘；灰度，颜色，或几何图案；或相似的聚类像素强度或颜色值。

图2.2.3模型匹配
4）测量兴趣对象特征：

图2.2.4 测量孔半径
4）交互式联合开发环境：Vision Builder Al能生成一个LabVIEW图框,并且能用Labview的G语言和Imaq库进行联合编程。此外，还能够生成Visual Basie和C语言脚本。

图2.2.5 G语言描述

图2.2.6 联合编程
第三章 检测算法和技术分析
3.1摄像机标定和图像校正
图像采集和校正是机器视觉系统中不可忽视的关键一环。在采集过程中不可避免会地发生图像几何畸变失真，必须要进行标定实验。图像畸变指的是在成像过程中图像发生失真，物体的几何位置，形状，大小，方向和在图像上原型对象是不一致的。在全视场范围内图像与实物不能够完全满足针孔成像模型是导致中心投影发生弯曲从而造成图像畸变的原因。在采集图像的实际操作中，因为摄像机的光学系统成像不可能做到投影一致，因此采集到的图像无法避免地发生某些程度的几何畸变或失真[29]。所以，首先要对系统标定并将采集到的图像中进行图像校正[17]。
目前常用的标定技术为张正友标定法[30]，而在图像校正中的灰度插值法通常进行线性插值法。本文在张的基础上，结合具体项目的检测需求，加入切向畸变模型并简化了标定步骤，使用一种简单的平面模板法改善了图像失真度。
3.1.1 摄像机标定
　　 摄像机标定是一个确定三维物体空间与摄像机图像之间关系以及计算摄像机内外参数的过程，因为高精度的测量系统需要高精度的标定参数。由于成像中的镜头不可回避地产生畸变，寻找简单而且精度满足的摄像机标定方法，是提高视觉测量精度的主要途径[17]。
摄像机的标定技术目前主要分为三类：传统的标定方法、摄像机的自标定方法和主动视觉摄像机标定方法[17]。主动视觉摄像机标定方法是根据摄像机的某些运动信息线性求解摄像机内部参数，鲁棒性很高，但不适用于未知摄像机运动情况下。摄像机的自标定比较简单，只要按照多幅图像之间的对应关系求解摄像机内部参数，因为是非线性求解，标定的鲁棒性不高。传统的标定方法应用广泛，其优点是精度高，适用于各种摄像机，缺点是需要一定精度的标定块。

5.5本章小结
本章着手于检测智能电表LCD显示问题的解决，主要从三个方面来进行说明，首先分析智能电表屏的检测需求，第二步建立平台和设计检测流程，然后结合第四章已做的工作，使用二值化和差影法实现，最后通过实验给予验证。
总结与展望
为了(进一步)提高平板显示器件的出厂质量和生产效率,减少成本和劳动强度,将机器视觉应用到平板显示检测中具有重要的意义。机器视觉作为一项信息科学技术领域先进的自动化检测技术,能够提高生产效率和工业制造水平。本文着重以智能电表LCD显示问题为研究对象,设计了合理的电能表显示检测系统硬件环境,并研究了用于液晶显示缺陷检测和专门针对于电能表显示检测的图像处理算法,最终开发了基于机器视觉的电能表显示检测系统，具有可视化的效果。理论分析和实验结果表明,本课题研究的基于机器视觉的电表LCD显示检测系统能够较好的完成工作。本文的主要工作包括以下几个方面:
说明了本课题研究的意义、目的和手段，介绍了机器视觉系统目前的应用现状。
设计了针对于检测需求的软硬件架构，硬件方面主要是检测平台的搭建，软件方面主要介绍了软件开发环境。
主要研究应用于显示屏缺陷检测的理论算法，包括摄像机的标定与图像校正，图像去噪、滤波，模式匹配，提出一种考虑两种畸变的简易的平面模板改善图像失真度。
在Labview平台及视觉检测NI vision builder AI软件开发环境下，综合进行面向液晶显示屏缺陷检测的系统开发和技术实现，依次实现了标定、点缺陷检测、线缺陷检测的关键步骤。
分析智能电表屏的检测需求，第二步建立平台和设计检测流程，使用二值化和差影法实现，最后通过实验给予验证。
　　　综上所述,本文对液晶显示检测系统进行了较为全面而深入的研究,完成了检测系统总体设计。但是要运用于生产实践，本文还需要在一下几个方面进行改进：
作为一套自动化系统，本文仅是从视觉系统方面对系统进行了软硬件设计，还需要补充传动、机械等设备，实现全自动化。
在系统构建上面，由于并没有使用NI公司图像板卡，第三方硬件与上位机软件没有完全兼容，因此增加处理时间和消耗资源。
在缺陷检测方面,本课题尽管实现了缺陷的判定和标定,但是缺陷的判别方式还不够细致,因此,下一步需要考虑的是进一步分析缺陷并细分缺陷,使得缺陷检测功能更加完善。