TWI713907B - 基於cpu、gpu及fpga架構的自動光學檢測系統 - Google Patents

基於cpu、gpu及fpga架構的自動光學檢測系統 Download PDF

Info

Publication number
TWI713907B
TWI713907B TW107135049A TW107135049A TWI713907B TW I713907 B TWI713907 B TW I713907B TW 107135049 A TW107135049 A TW 107135049A TW 107135049 A TW107135049 A TW 107135049A TW I713907 B TWI713907 B TW I713907B
Authority
TW
Taiwan
Prior art keywords
image
data
module
unit
camera
Prior art date
Application number
TW107135049A
Other languages
English (en)
Other versions
TW201919000A (zh
Inventor
沈亞非
歐昌東
鄧標華
汪舟
梅林海
董文忠
唐文天
李波
Original Assignee
大陸商武漢精測電子集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to ??201711049462.2 priority Critical
Priority to CN201711049462.2 priority
Priority to CN201711049462.2A priority patent/CN107817216B/zh
Application filed by 大陸商武漢精測電子集團股份有限公司 filed Critical 大陸商武漢精測電子集團股份有限公司
Publication of TW201919000A publication Critical patent/TW201919000A/zh
Application granted granted Critical
Publication of TWI713907B publication Critical patent/TWI713907B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428Safety, monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2656Instrumentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本發明揭露了一種基於CPU、GPU及FPGA架構的自動光學檢測系統。它包括影像儲存單元、影像計算單元和影像擷取單元,所述影像儲存單元具有第一通訊連接埠和第二通訊連接埠,所述影像計算單元具有第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠,所述影像擷取單元具有第三通訊連接埠和相機連接埠;所述影像計算單元藉由第一光纖連接埠接收影像儲存單元發送的配置參數及測試命令、向影像儲存單元發送測試結果,藉由第二光纖連接埠接收影像擷取單元的數據、向影像擷取單元發送配置參數及測試命令,藉由第三光纖連接埠控制點屏訊號產生,藉由第四光纖連接埠控制IO光源。本發明具有結構簡單、成本低、穩定性好、協調能力好及計算處理能力強等優點。

Description

基於CPU、GPU及FPGA架構的自動光學檢測系統
本發明屬自動光學檢測技術領域,具體涉及一種基於中央處理器(Central Processing Unit,CPU)、圖形處理器(Graphics Processing Unit,GPU)及現場可程式邏輯門陣列(Field-Programmable Gate Array,FPGA)架構的自動光學檢測系統。
自動光學檢測(Automatic Optic Inspection,AOI)涉及到光學系統、機構控制系統、點屏控制系統、軟體控制系統及影像處理系統等。傳統AOI設備基於影像擷取卡及個人電腦(Personal Computer,PC)的方式,擷取卡及PC多、成本高、協調困難、系統穩定性差、擴展不方便及難以用於大尺寸模組檢測;並且各TFT-LCD AOI自動光學檢測設備廠商僅在一兩個領域有技術積累和研發能力,基本上不能完全覆蓋全部領域,只能藉由2至3家的產品組合在一起搭建成一套完整的AOI自動光學測試系統,該設備的總體負責通常為掌握基於機器視覺影像處理算法的單位。因此,他們均採用的是基於計算機網絡的分散控制方案,利用區域網路將各設備單元簡單整合在一起,如為了滿足產線檢測TT(Total Time,每片面板檢測的總時間),均採用多台計算機陣列分擔負荷進行運算處理,數量一般都會達到十多台。因此,這種簡單的系統整合方案不僅系統複雜及成本高,而且穩定性差及效率低,實際達不到預期效果,且幾乎不具備可擴展性,已越來越不受面板生產廠商的青睞。
習知技術中點屏訊號與影像擷取處理單元是兩個不同系統方案,需要有另外的主控單元,協同控制點屏訊號與影像擷取處理單元,這樣帶來整體系統效率下降;每張影像擷取卡只能連接一路相機,目前大部分影像擷取卡,使用高速串行電腦擴展總線標準(peripheral component interconnect express,PCIe)連接埠方式與點屏通訊,這樣一台PC能同時支持的擷取卡數量有限,會使用大量的影像擷取卡及增加PC的數量,不同的PC之間藉由主控PC協調與控制,複雜度及系統穩定性都較難以控制,且各PC影像計算處理能力都較差;同時習知AOI檢測設備方案,點屏訊號、光源與AOI檢測系統之間均是獨立的系統單元,需要總控制單元協調控制點屏訊號產生、光源、AOI檢測系統影像擷取與處理,控制過程複雜,節拍時間長。
本發明的目的就是為了解決上述先前技術存在的不足,提供一種能夠支持多相機,並實現點屏訊號產生、光源控制、影像擷取及影像計算處理一體化的基於CPU、GPU及FPGA架構的自動光學檢測系統。
本發明採用的技術方案是:一種基於CPU、GPU及FPGA架構的自動光學檢測系統,包括影像儲存單元、影像計算單元和影像擷取單元,所述影像儲存單元具有第一通訊連接埠和第二通訊連接埠,所述影像計算單元具有第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠,所述影像擷取單元具有第三通訊連接埠和相機連接埠;所述影像儲存單元藉由第一通訊連接埠向影像計算單元下發配置參數和測試命令並接收影像計算單元發送的測試結果,藉由第二通訊連接埠接收擷取單元的數據; 所述影像計算單元藉由第一光纖連接埠接收影像儲存單元發送的配置參數及測試命令並向影像儲存單元發送測試結果,藉由第二光纖連接埠接收影像擷取單元的數據、向影像擷取單元發送配置參數及測試命令,藉由第三光纖連接埠控制點屏訊號產生,藉由第四光纖連接埠控制輸入/輸出(Input/Output,IO)光源;所述影像擷取單元藉由第三通訊連接埠輸出影像數據並接收配置參數及測試命令,藉由相機連接埠接收相機數據並向相機發送配置參數和測試命令。
進一步地,所述影像儲存單元包括:主控PC,用於藉由人機交互進行參數配置、輸出配置參數及測試命令,用於接收FPGA儲存平台的測試結果並上報;FPGA儲存平台,用於接收影像擷取單元數據並將接收的數據進行無損壓縮後發送至磁碟陣列,用於接收影像計算單元的測試結果並輸出,用於將接收的配置參數輸出至影像擷取單元,用於根據儲存的數據進行影像數據檢索;以及磁碟陣列,用於儲存數據。
進一步地,所述FPGA儲存平台包括:數據交互模組,用於接收主控PC發送的配置參數,用於將接收的影像計算單元的測試結果反饋至主控PC;影像數據接收/發送模組,用於接收影像擷取單元數據並輸出至數據無損壓縮模組,用於接收配置參數並發送至影像擷取模組,用於接收影像計算單元的測試結果; 數據無損壓縮模組,用於對接收的數據進行無損壓縮後經磁碟儲存管理單元儲存至磁碟陣列;以及數據磁碟儲存管理模組,用於管理磁碟陣列的儲存及讀取功能。
進一步地,所述FPGA儲存平台進一步包括:影像檢索管理模組,用於控制讀磁碟陣列;以及影像數據交換控制模組,具有第四通訊連接埠,用於與外部服務器通訊,實現影像檢索數據交換及數據通訊控制。
進一步地,所述影像計算單元包括FPGA計算平台和計算PC,所述第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠均設置於FPGA計算平台上,FPGA計算平台進一步具有與所述計算PC連接的第五光纖連接埠,以及實現FPGA計算平台級聯擴展的擴展連接埠。
進一步地,所述FPGA計算平台包括中央控制器、影像處理加速器、數據匯總發送模組和雙倍資料率同步動態隨機存取記憶體(Double Data Rate,DDR)內存,所述中央控制器用於根據設定的指令分別向計算PC和影像處理加速器發送控制命令;所述計算PC,用於根據控制命令從DDR內存中讀取部分影像數據進行計算處理並將處理結果發送至數據匯總發送模組;所述影像處理加速器用於根據控制命令從DDR內存中讀取部分影像進行計算處理,將計算結果發送至數據匯總發送模組;所述數據匯總發送模組用於將計算PC和影像處理加速器的處理結果進行匯總形成最終的測試結果發送至影像儲存模組; 所述DDR內存用於儲存需要處理的影像數據及測試結果。
進一步地,所述FPGA計算平台進一步包括接收配置參數模組、數據接收/參數配置模組、訊號擴展模組和IO控制模組,所述接收配置參數模組用於接收配置參數及測試命令並發送至中央控制器;所述中央控制器進一步用於將接收的配置參數發送至數據接收/參數配置模組,將接收的測試命令分別分配至數據接收/參數配置模組、IO控制模組和訊號擴展模組;所述數據接收/參數配置模組用於接收影像擷取單元影像數據並儲存至DDR內存中,將接收的配置參數及測試命令發送至影像擷取單元;所述訊號擴展模組用於根據測試命令實現點屏訊號產生與控制;所述IO控制模組用於根據測試命令實現點屏訊號產生與控制。
進一步地,所述影像擷取單元包括:協議解析模組,用於接收相機測試數據,並將相機測試數據按照協議解析出有效的影像數據發送至DDR物理內存中儲存為原始影像數據;DDR物理內存,用於儲存原始影像數據和處理影像數據;影像質量評估與前處理模組,用於根據主控單元控制命令從DDR物理內存中讀取原始影像數據,對原始影像數據進行影像前處理,將前處理後的數據發送至DDR物理內存中儲存為處理影像數據;主控單元,根據設定的指令向影像質量評估與前處理和讀DDR數據格式轉換發送控制命令; 讀DDR數據格式轉換模組,用於根據主控單元的配置命令從DDR物理內存中讀取原始影像數據和/或處理影像數據發送至高速連接埠數據封包模組;以及高速連接埠數據封包模組,用於將接收的原始影像數據和/或處理影像數據發送至影像儲存單元和影像計算單元。
進一步地,所述影像擷取單元進一步包括自動對位對焦曝光模組和相機配置模組,所述高速連接埠數據封包模組進一步用於接收配置參數及測試命令並發送至主控單元;所述協議解析模組進一步用於接收相機調試數據,並將相機測試數據按照協議解析出有效的影像數據發送至DDR物理內存;將相機配置參數發送至相機;所述影像質量評估與前處理模組進一步用於根據主控單元控制命令對相機調試數據進行影像擷取質量評估,將質量評估結果發送至主控單元,所述主控單元進一步用於將接收的配置參數、測試命令及質量評估結果發送至自動對位對焦曝光模組;所述自動對位對焦曝光模組,用於根據配置參數及質量評估結果實現相機參數設置,並將配置參數及測試命令發送至相機配置模組;所述相機配置模組,用於將相機配置參數及測試命令發送至協議解析模組。
更進一步地,所述協議解析模組包括Camera link協議解析模組、GigE協議解析模組和CLHS協議解析模組,所述相接連接埠包括複數個Camera Link連接埠、複數個GigE連接埠和複數個CLHS連接埠,所述複數個Camera Link 連接埠與Camera link協議解析模組連接,所述複數個GigE連接埠與GigE協議解析模組連接,所述複數個CLHS連接埠與CLHS協議解析模組連接。
本發明的有益效果是:影像儲存單元、影像計算單元及影像擷取單元之間相互配合,能實現影像的儲存與檢索,兼具人機交互、主控與顯示、處理結果分析與上報等功能;能夠實現點屏訊號產生與訊號擴展、光源、影像擷取及相機一體化控制功能,節拍時間短,各單元之間藉由光纖方式進行通訊與數據交互,數據傳輸速度快;影像計算單元進一步可以藉由級聯方式擴展計算處理能力;且影像計算單元使用CPU、GPU及FPGA架構,充分擴展CPU及GPU單元,增強GPU的處理能力;以FPGA為中心控制器,將需要處理數據分發到不同的GPU處理單元中,分佈時處理架構;同時FPGA本身實現影像加速處理器,充分利用FPGA的並行處理能力,將影像處理分割與FPGA及各GPU之間進行協調處理,有效提高了影像處理計算能力;能支持多種相機連接埠,支持自動對位、對焦及自動進行曝光參數設置,具有影像質量評估及影像前處理等功能。整個系統架構具有結構簡單、成本低、穩定性好、協調能力好及計算處理能力強等優點。
1:影像儲存單元
1.1:主控PC
1.2:FPGA儲存平台
1.3:磁碟陣列
1.4:數據交互模組
1.5:影像數據接收/發送模組
1.6:數據無損壓縮模組
1.7:數據磁碟儲存管理模組
1.8:影像檢索管理模組
1.9:影像數據交換控制模組
2:影像計算單元
2.1:FPGA計算平台
2.2:計算PC
2.3:數據接收/參數配置模組
2.4:寫DDR數據格式轉換模組
2.5:訊號擴展模組
2.6:IO控制模組
2.7:中央控制器
2.8:影像處理加速器
2.9:接收配置參數模組
2.10:配置暫存器
2.11:數據匯總發送模組
2.12:讀DDR數據格式轉換模組
2.13:數據發送模組
2.14:AXI總線互聯模組
2.15:DDR控制器
2.16:DDR內存
3:影像擷取單元
3.1:協議解析模組
3.2:有效數據提取模組
3.3:寫DDR數據格式轉換模組
3.4:AXI總線互聯
3.5:DDR控制模組
3.6:DDR物理內存
3.7:影像質量評估與前處理模組
3.8:主控單元
3.9:暫存器配置模組
3.10:讀DDR數據格式轉換模組
3.11:高速連接埠數據封包模組
3.12:自動對位對焦曝光模組
3.13:相機配置模組;
4:客戶MCMQ
5:PLC
6:CIM
7:訊號擴展單元
8:十六口KVM
9:光源
第1圖為本發明的原理方塊圖。
第2圖為本發明調機的流程圖。
第3圖為本發明測試的流程圖。
第4圖為本發明影像儲存單元的原理方塊圖。
第5圖為本發明影像儲存單元工作的流程圖。
第6圖為本發明影像計算單元的原理方塊圖。
第7圖為本發明影像計算單元工作的流程圖。
第8圖為本發明影像擷取單元的原理方塊圖。
第9圖為本發明影像擷取單元工作的流程圖。
下面結合圖式和具體實施例對本發明作進一步的詳細說明,便於清楚地瞭解本發明,但它們不對本發明構成限定。
如第1圖所示,本發明包括影像儲存單元1、影像計算單元2和影像擷取單元3,所述影像儲存單元1具有第一通訊連接埠和第二通訊連接埠,所述影像計算單元2具有第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠,所述影像擷取單元3具有第三通訊連接埠和相機連接埠;所述影像儲存單元1藉由人機交互進行參數配置,藉由第一通訊連接埠向影像計算單元下發配置參數和測試命令並接收影像計算單元發送的測試結果並上報,影像儲存單元發送的配置參數包括Pattern列表、點屏參數、相機參數及檢測參數等;藉由第二通訊連接埠接收該影像擷取單元的數據並儲存;所述影像計算單元2藉由第一光纖連接埠接收影像儲存單元發送的配置參數及測試命令並向影像儲存單元發送測試結果,藉由第二光纖連接埠接收影像擷取單元的數據並向影像擷取單元發送配置參數及測試命令,藉由第三光纖連接埠控制點屏訊號產生(控制訊號擴展單元7點亮模組),藉由第四光纖連接埠控制IO光源(相關光源9[背光及測光]); 所述影像擷取單元藉由第三通訊連接埠輸出影像數據並接收配置參數及測試命令,藉由相機連接埠接收相機數據並向相機發送配置參數和測試命令。
本發明的系統工作時,先進行調機,調機是指相機工作距離、對焦參數、曝光參數、增益參數、白平衡參數及背光源亮度等調節,調機流程如第2圖所示:
1)設備初始化,包括相機及鏡頭參數、Panel參數、Panel透光率參數及背光源參數等。
2)人機界面發送調機開始命令。
3)將點屏Pattern設置為白畫面。
4)點屏訊號產生及點亮模組。
5)觸發相機取圖。
6)對所取圖進行質量評估,評估維度包括:亮度、清晰度及銳利度、有效區域大小及摩爾紋等。
7)若所取影像符合檢測標準,則結束調機。
8)若所取影像不符合檢測標準,則根據評估的結果調整相機的工作距離、對焦參數及背光源亮度。
9)重複步驟5到8的過程,直到影像滿足要求為止。
此自動調機設備與方案,通常只需要數分鐘時間,即可完成相機調節工作;而傳統調節方式通常需要數小時甚至數天的時間;並且藉由此自動調節設備方案,影像的一致性更高。
調機完成後,再進行測試,測試流程如第3圖所示:
1)設備初始化。
2)主控單元設置一鍵測試開始命令。
3)根據設置的Pattern順序,產生點屏訊號及完成切圖命令。
4)根據設置的光源順序,藉由IO控制端,點亮不同的光源訊號。
5)設置相機的曝光、增益及白平衡參數。
6)觸發相機。
7)接收相機數據。
8)影像前處理,包括亮度矯正、暗角矯正、ROI區域提取與切割、背景抑制、摩爾紋去除及灰度拉伸等。
9)進行影像後處理,缺陷檢測、識別及判斷。
10)檢測結果上報,上報包括資料儲存部分發送到客戶MCMQ(客戶的數據儲存系統)系統以及即時顯示部分藉由可程式化邏輯控制器(Programmable Logic Controller,PLC)5發送到客戶訊息管理平台(Customer Interaction Management,CIM)6系統。
11)原始影像壓縮與儲存。
上述方案中,如第4圖所示,影像儲存單1元包括主控PC 1.1、FPGA儲存平台(基於FPGA的儲存處理板卡)1.2和磁碟陣列1.3,FPGA儲存平台1.2包括數據交互模組1.4、影像數據接收/發送模組1.6、數據無損壓縮模組1.6、數據磁碟儲存管理模組1.7、影像檢索管理模組1.8和影像數據交換控制模組1.9,影像儲存單元一方面負責影像的儲存與檢索,另外進一步兼具人機交互、主控與顯示、處理結果分析與上報等功能。主控PC與FPGA儲存平台之間藉由PCIe x8方式進行數據通訊與交互,第一通訊連接埠和第二通訊連接埠均設在於FPGA儲 存平台上,即FPGA儲存平台與影像計算單元、影像擷取單元之間均藉由光纖進行數據通訊與交互,使用光纖連接布網方式,方便影像儲存與檢索。
儲存單元主要用於儲存影像擷取單元發送的原始影像數據和/或處理影像數據,影像計算單元的處理結果數據不保存到本地服務器,會直接上傳到客戶MCMQ 4的系統。保存到本地的圖片用於後續的數據分析與檢索,對儲存空間、儲存及檢索效率有較高要求。
影像儲存單元的各模組的功能如下:主控PC 1.1,用於藉由人機交互進行參數配置、輸出配置參數及測試命令,用於接收FPGA儲存平台1.2的測試結果並上報,用於與客戶MCMQ連接,缺陷資料上報、缺陷圖片上報及檢測結果XML資料上報。
磁碟陣列1.3,用於儲存數據。
數據交互模組1.4,用於接收主控PC發送的配置參數,用於將接收的影像計算單元的測試結果反饋至主控PC。
影像數據接收/發送模組1.5,用於接收影像擷取單元數據並輸出至數據無損壓縮模組,用於接收配置參數並發送至影像擷取模組,用於接收影像計算單元的測試結果。
數據無損壓縮模組1.6,用於對接收的數據進行無損壓縮後經磁碟儲存管理單元儲存至磁碟陣列;對數據進行無損壓縮後可以極大地提升儲存空間利用率以及對檢索帶寬需求壓力。
數據磁碟儲存管理模組1.7,用於管理磁碟陣列的儲存及讀取功能。
影像檢索管理模組1.8,用於控制讀磁碟陣列。
影像數據交換控制模組1.9,具有第四通訊連接埠,用於與外部服務器通訊,在外部服務器命令下實現影像檢索數據交換及數據通訊控制。檢索時先從本地讀出需要的影像數據,藉由光纖交換網絡傳輸到檢索服務器端,檢索服務器端對影像進行無損解壓後方可以使用。
如第5圖所示,影像儲存單元的數據處理流程如下:1)、初始化;2)、參數配置;3)、發送一鍵測試命令;4)、等待接收原始影像數據;5)、對原始影像數據進行壓縮;6)、壓縮有的影像數據進行儲存;7)、等待接收檢測結果;8)、檢測結果分析並上報;9)、結束。
上述方案中,如第6圖所示,影像計算單元2包括FPGA計算平台2.1(基於FPGA的計算處理板卡)和計算PC 2.2,第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠均設置於FPGA計算平台上,FPGA計算平台進一步具有與所述計算PC連接的第五光纖連接埠,以及實現FPGA計算平台級聯擴展的擴展連接埠。所述FPGA計算平台2.1包括數據接收/參數配置模組2.3、寫DDR數據格式轉換模組2.4、訊號擴展模組2.5、IO控制模組2.6、中央控制器2.7、影像處理加速器2.8、接收配置參數模組2.9、配置暫存器2.10、數據匯總發送模組2.11、數據發送模組2.13、AXI(Advanced eXtensible Interface,總線協 議)總線互聯模組2.14、DDR控制器2.15和DDR內存2.16,計算PC 2.2由CPU和GPU組成。影像計算單元除了影像計算加速之外,其中的FPGA計算平台進一步具備點屏訊號產生與訊號擴展、光源一體化控制功能。一個FPGA計算平台包括十二個QSFP及光纖連接埠,可以連接多達六台計算PC,多台計算PC之間可以藉由十六口多電腦切換器(Keyboard Video Mouse,KVM)8設備進行切換控制,FPGA計算平台與計算PC、影像儲存單元、影像擷取單元、訊號擴展單元7及IO光源控制單元之間均藉由光纖方式進行通訊與數據交互;FPGA計算平台支持藉由光纖連接埠級聯擴展,擴展計算處理能力。FPGA計算平台與構成計算PC的CPU和GPU一起形成CPU、GPU及FPGA計算架構,根據影像數據流方式,Pipeline結構處理,FPGA影像前處理,CPU及GPU影像後處理,充分提升計算速度。
影像計算單元的各模組的功能如下:計算PC 2.2,用於根據控制命令從DDR內存中讀取部分影像數據進行計算處理並將處理結果發送至數據匯總發送模組。
數據接收/參數配置模組2.3,用於接收影像擷取單元影像數據,經寫DDR數據格式轉換模組轉換後儲存至DDR內存中,用於將接收的配置參數及測試命令發送至影像擷取單元。
寫DDR數據格式轉換模組2.4,對接收的數據進行格式轉換。
訊號擴展模組2.5,用於根據測試命令實現點屏訊號產生與控制。
IO控制模組2.6,用於根據測試命令實現IO光源控制。
中央控制器2.7,用於根據設定的指令分別向計算PC和影像處理加速器發送控制命令;用於將接收的配置參數發送至數據接收/參數配置模組, 將接收的測試命令分別分配至數據接收/參數配置模組、IO控制模組和訊號擴展模組。
影像處理加速器2.8,用於根據控制命令從DDR內存中讀取部分影像進行計算處理,將計算結果發送至數據匯總發送模組。
接收配置參數模組2.9,用於接收影像儲存單元的配置參數及測試命令並發送至中央控制器。
配置暫存器2.10,完成相關暫存器配置。
數據匯總發送模組2.11,用於將計算PC和影像處理加速器的處理結果進行匯總形成最終的測試結果發送至影像儲存模組。
讀DDR數據格式轉換模組2.12,對接收的數據進行格式轉換。
數據發送模組2.13,用於將部分需要計算處理的數據發送至計算PC;AXI總線互聯模組2.14,用於在中央控制器的控制下向DDR內存讀寫影像數據。
DDR控制器2.15,用於控制讀寫影像數據及測試結果。
DDR內存2.16,用於儲存需要處理的影像數據及測試結果。
如第7圖所示,影像計算單元的數據處理流程如下:1)、初始化;2)、接收一鍵測試命令;3)、判斷當前處理pattern數是否與設置pattern總數相等,若相等,則認為處理一鍵測試完成,結束流程;4)、若一鍵測試未完成,根據pattern列表,點亮被測模組; 5)、根據pattern配置列表,點亮光源;6)、觸發相機進行影像擷取;7)、接收擷取單元影像數據,同時返回進行觸發次數判斷;8)、對收到數據進行處理,判斷被測模組是否有缺陷,及判斷缺陷等級;9)、檢測結果上報;上述方案中,如第8圖所示,影像擷取單元3包括協議解析模組3.1、有效數據提取模組3.2、寫DDR數據格式轉換模組3.3、AXI總線互聯3.4、DDR控制模組3.5、DDR物理內存3.6、影像質量評估與前處理模組3.7、主控單元3.8、暫存器配置模組3.9、讀DDR數據格式轉換模組3.10、高速連接埠數據封包模組3.11、自動對位對焦曝光模組3.12和相機配置模組3.13,影像擷取單元使用Xilinx的SOC芯片作為主控單元,支持八個Cameralink連接埠、八個GigE連接埠及四個CLHS連接埠;與FPGA計算平台之間藉由光纖連接埠方式連接,藉由自定制協議進行數據通訊和交互。影像擷取單支持多種相機連接埠,支持多隻相機,支持自動對位、對焦及自動進行曝光參數設置,能進行影像質量評估,影像一致性更佳[根據背光亮度、面板透光率及鏡頭畸變]自動調整曝光時間及增益,藉由亮度矯正及暗角矯正,提升影像質量及一致性;能進行影像前處理,包括:亮度矯正、暗角矯正、ROI區域提取與切割、背景抑制、摩爾紋去除及灰度拉伸等。
影像擷取單元3的各模組的功能如下:協議解析模組3.1,用於接收相機測試數據,並將相機測試數據按照協議解析出有效的影像數據,經有效數據提取模組、寫DDR數據格式轉換模 組後發送至DDR物理內存中儲存為原始影像數據;用於接收相機調試數據,並將相機測試數據按照協議解析出有效的影像數據經有效數據提取模組、寫DDR數據格式轉換模組後發送至DDR物理內存,解析之後的影像數據包括24bit的影像數據以及幀控制訊號VS/HS/DE;用於將相機配置參數發送至相機。
協議解析模組包括Camera link協議解析模組、GigE協議解析模組和CLHS協議解析模組,上述相接連接埠包括複數個Camera Link連接埠、複數個GigE連接埠和複數個CLHS連接埠,所述複數個Camera Link連接埠與Camera link協議解析模組連接,所述複數個GigE連接埠與GigE協議解析模組連接,所述複數個CLHS連接埠與CLHS協議解析模組連接。
有效數據提取模組3.2,根據主控單元配置參數,提取有效的影像數據部分;從協議解析模組出來是24bit數據,根據主控單元配置,提取有效的資料位元。
寫DDR數據格式轉換模組3.3,將接收數據保存到物理內存中;將相機有效的影像數據進行格式轉換,轉換為AXI4寫Memory的數據格式。
AXI總線互聯3.4,用於在主控單元的控制下向DDR物理內存讀寫影像數據。
DDR控制模組3.5,用於控制讀寫影像數據。
DDR物理內存3.6,用於儲存原始影像數據和處理影像數據。
影像質量評估與前處理模組3.7,用於根據CPU控制命令從DDR物理內存中讀取原始影像數據,對原始影像數據進行影像前處理,將前處理後的數據發送至DDR物理內存中儲存為處理影像數據,前處理包括暗角矯正、亮度矯正、AOI區域自動提取與切割、透視變換及morie紋去除等影像處理功能; 用於根據主控單元控制命令對相機調試數據進行質量評估,將質量評估結果發送至主控單元。
主控單元3.8,根據設定的指令向影像質量評估與前處理和讀DDR數據格式轉換發送控制命令;用於將接收的配置參數、測試命令及質量評估結果發送至自動對位對焦曝光模組。
暫存器配置模組3.9,完成相關暫存器配置。
讀DDR數據格式轉換模組3.10,用於根據主控單元的配置命令從DDR物理內存中讀取原始影像數據和/或處理影像數據發送至高速連接埠數據封包模組。
高速連接埠數據封包模組3.11,用於將接收的原始影像數據和/或處理影像數據發送至影像儲存單元和影像計算單元。用於接收配置參數及測試命令並發送至主控單元。
自動對位對焦曝光模組3.12,用於根據配置參數及質量評估結果實現相機參數設置,並將配置參數及測試命令發送至相機配置模組。
相機配置模組3.13,用於將相機配置參數及測試命令發送至協議解析模組。
如第9圖所示,影像計算單元的數據處理流程如下:
1)、上電初始化:設備初始化、相機初始化設置及對位對焦電機等的初始化。
2)、接收主控單元配置參數:包括相機參數、Panel尺寸及分辨率及透光率信息、背光亮度及工作模式等參數。
3)、接收主控單元觸發命令:命令包括調機命令及取像命令;接收調機命令則會進入到調機模式,接收到取像命令,則會進入到正常的取像模式。
4)、調機模式,此處調機是指相機工作距離、對焦參數、曝光參數、增益參數、白平衡參數及背光源亮度等調節:a)首先觸發相機拍圖;b)對所得影像進行評估,判斷是否符合檢測標準;c)若符合檢測標準,則記錄當前調節參數並退出流程;d)若不符合檢測標準,則根據配置參數,先調節相機的工作距離即對位,然後調節相機的焦距、曝光時間、增益及白平衡等參數;然後重複上述動作,直到判斷所拍影像滿足檢測標準。
5)、取像模式:a)配置相機參數,包括曝光時間、增益及白平衡;b)觸發相機;c)接收相機數據;d)影像前處理,包括亮度矯正、暗角矯正、AOI區域提取及切割、背景抑制及摩爾紋去除等影像前處理;e)從DDR內存中獨處數據並藉由光纖發送到前端,進行下一步處理。
本發明具備管理多達二十個相機同時進行數據擷取及處理的能力,極大的最佳化高分辨率及大尺寸面板自動檢測系統的系統複雜度、壓縮影像擷取的Tact Time及提升系統穩定性;同時,集相機自動對位、對焦及影像質 量檢測與一體,自動實現相機影像質量管理,極大的方便現場調機;藉由自主開發的影像質量評估系統,可以快速實現線體調機,影像一致性好;基於FPGA影像儲存管理系統,提升影像儲存效率,方便影像檢索;為機器學習與智慧型檢測提供必要的源圖片。
使用CPU、GPU及FPGA的星形網路並行加速計算系統,充分發揮GPU與FPGA的並行處理特徵,提升系統的整體計算能力;根據數據流的方向,利用pipeline結構,在FPGA端加速影像前處理,然後在CPU及GPU端實現影像後處理;使用此加速系統,影像計算處理能力提升達到50%以上。
本說明書中未作詳細描述的內容屬本領域具有通常知識者習知的習知技術。
1:影像儲存單元
3:影像擷取單元
4:客戶MCMQ
5:PLC
6:CIM
7:訊號擴展單元
8:十六口KVM
9:光源

Claims (10)

  1. 一種基於CPU、GPU及FPGA架構的自動光學檢測系統,其包括影像儲存單元、影像計算單元和影像擷取單元,該影像儲存單元具有第一通訊連接埠和第二通訊連接埠;該影像計算單元具有第一光纖連接埠、第二光纖連接埠、第三光纖連接埠和第四光纖連接埠;以及該影像擷取單元具有第三通訊連接埠和相機連接埠;該影像儲存單元藉由該第一通訊連接埠向該影像計算單元下發配置參數和測試命令並接收該影像計算單元發送的測試結果,藉由該第二通訊連接埠接收該影像擷取單元的數據;該影像計算單元藉由該第一光纖連接埠接收該影像儲存單元發送的配置參數及測試命令並向該影像儲存單元發送測試結果,藉由該第二光纖連接埠接收該影像擷取單元的數據並向該影像擷取單元發送配置參數及測試命令,藉由該第三光纖連接埠控制點屏訊號產生,藉由該第四光纖連接埠控制IO光源,該影像計算單元包括FPGA計算平台及計算PC,該FPGA計算平台、該計算PC、該影像儲存單元、該影像擷取單元之間均藉由光纖方式進行通信與數據交換,該FPGA計算平台加速影像前處理,該計算PC實現影像後處理;以及該影像擷取單元藉由該第三通訊連接埠輸出影像數據並接收配置參數及測試命令,藉由該相機連接埠接收相機數據並向相機發送配置參數和測試命令。
  2. 如申請專利範圍第1項所述的自動光學檢測系統,其中該影像儲存單元包括: 主控PC,用於藉由人機交互進行參數配置、輸出配置參數及測試命令,用於接收FPGA儲存平台的測試結果並上報;該FPGA儲存平台,用於接收該影像擷取單元數據並將接收的數據進行無損壓縮後發送至磁碟陣列,用於接收該影像計算單元的測試結果並輸出,用於將接收的配置參數輸出至該影像擷取單元,用於根據儲存的數據進行影像數據檢索;以及該磁碟陣列,用於儲存數據。
  3. 如申請專利範圍第2項所述的自動光學檢測系統,其中該FPGA儲存平台包括:數據交互模組,用於接收該主控PC發送的配置參數,用於將接收的該影像計算單元的測試結果反饋至該主控PC;影像數據接收/發送模組,用於接收該影像擷取單元數據並輸出至數據無損壓縮模組,用於接收配置參數並發送至一影像擷取模組,用於接收該影像計算單元的測試結果;數據無損壓縮模組,用於對接收的數據進行無損壓縮後經磁碟儲存管理單元儲存至該磁碟陣列;以及數據磁碟儲存管理模組,用於管理該磁碟陣列的儲存及讀取功能。
  4. 如申請專利範圍第2項所述的自動光學檢測系統,其中該FPGA儲存平台進一步包括:影像檢索管理模組,用於控制讀該磁碟陣列;以及影像數據交換控制模組,具有第四通訊連接埠,用於與外部服務器通訊,實現影像檢索數據交換及數據通訊控制。
  5. 如申請專利範圍第1項所述的自動光學檢測系統,其中該影像計算單元包括FPGA計算平台和計算PC,該第一光纖連接埠、該第二 光纖連接埠、該第三光纖連接埠和該第四光纖連接埠均設置於該FPGA計算平台上,該FPGA計算平台進一步具有與該計算PC連接的第五光纖連接埠,以及實現該FPGA計算平台級聯擴展的擴展連接埠。
  6. 如申請專利範圍第1項或第5項所述的自動光學檢測系統,其中該FPGA計算平台包括中央控制器、影像處理加速器、數據匯總發送模組和DDR內存,該中央控制器用於根據設定的指令分別向該計算PC和該影像處理加速器發送控制命令;該計算PC,用於根據控制命令從該DDR內存中讀取部分影像數據進行計算處理並將處理結果發送至該數據匯總發送模組;該影像處理加速器用於根據控制命令從該DDR內存中讀取部分影像進行計算處理,將計算結果發送至該數據匯總發送模組;該數據匯總發送模組用於將該計算PC和該影像處理加速器的處理結果進行匯總形成最終的測試結果發送至影像儲存模組;以及該DDR內存用於儲存需要處理的影像數據及測試結果。
  7. 如申請專利範圍第6項所述的自動光學檢測系統,其中該FPGA計算平台進一步包括接收配置參數模組、數據接收/參數配置模組、訊號擴展模組和IO控制模組,該接收配置參數模組用於接收配置參數及測試命令並發送至該中央控制器;該中央控制器還用於將接收的配置參數發送至該數據接收/參數配置模組,將接收的測試命令分別分配至該數據接收/參數配置模組、該IO控制模組和該訊號擴展模組; 該數據接收/參數配置模組用於接收影像擷取單元影像數據並儲存至DDR內存中,將接收的配置參數及測試命令發送至該影像擷取單元;該訊號擴展模組用於根據測試命令實現該點屏訊號產生與控制;該IO控制模組用於根據測試命令實現該點屏訊號產生與控制。
  8. 如申請專利範圍第1項所述的自動光學檢測系統,其中該影像擷取單元包括:協議解析模組,用於接收相機測試數據,並將相機測試數據按照協議解析出有效的影像數據發送至DDR物理內存中儲存為原始影像數據;該DDR物理內存,用於儲存原始影像數據和處理影像數據;影像質量評估與前處理模組,用於根據主控單元控制命令從該DDR物理內存中讀取原始影像數據,對原始影像數據進行影像前處理,將前處理後的數據發送至該DDR物理內存中儲存為處理影像數據;該主控單元,根據設定的指令向影像質量評估與前處理和讀DDR數據格式轉換發送控制命令;讀DDR數據格式轉換模組,用於根據該主控單元的配置命令從該DDR物理內存中讀取原始影像數據和/或處理影像數據發送至高速連接埠數據封包模組;以及該高速連接埠數據封包模組,用於將接收的原始影像數據和/或處理影像數據發送至該影像儲存單元和該影像計算單元。
  9. 如申請專利範圍第8項所述的自動光學檢測系統,其中該影像擷取單元進一步包括自動對位對焦曝光模組和相機配置模組,該高速連接埠數據封包模組進一步用於接收配置參數及測試命令並發送至該主控單元; 該協議解析模組進一步用於接收相機調試數據,並將相機測試數據按照協議解析出有效的影像數據發送至該DDR物理內存;將相機配置參數發送至相機;該影像質量評估與前處理模組進一步用於根據主控單元控制命令對相機調試數據進行影像擷取質量評估,將質量評估結果發送至該主控單元,該主控單元進一步用於將接收的配置參數、測試命令及質量評估結果發送至該自動對位對焦曝光模組;該自動對位對焦曝光模組,用於根據配置參數及質量評估結果實現相機參數設置,並將配置參數及測試命令發送至該相機配置模組;該相機配置模組,用於將相機配置參數及測試命令發送至該協議解析模組。
  10. 如申請專利範圍第8項或第9項所述的自動光學檢測系統,其中,該協議解析模組包括Camera link協議解析模組、GigE協議解析模組和CLHS協議解析模組;所述相接連接埠包括複數個Camera Link連接埠、複數個GigE連接埠和複數個CLHS連接埠;該複數個Camera Link連接埠與該Camera link協議解析模組連接;該複數個GigE連接埠與該GigE協議解析模組連接;以及該複數個CLHS連接埠與該CLHS協議解析模組連接。
TW107135049A 2017-10-31 2018-10-04 基於cpu、gpu及fpga架構的自動光學檢測系統 TWI713907B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
??201711049462.2 2017-10-31
CN201711049462.2 2017-10-31
CN201711049462.2A CN107817216B (zh) 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统

Publications (2)

Publication Number Publication Date
TW201919000A TW201919000A (zh) 2019-05-16
TWI713907B true TWI713907B (zh) 2020-12-21

Family

ID=61603472

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107135049A TWI713907B (zh) 2017-10-31 2018-10-04 基於cpu、gpu及fpga架構的自動光學檢測系統

Country Status (6)

Country Link
US (1) US11080840B2 (zh)
JP (1) JP6867555B2 (zh)
KR (1) KR102243499B1 (zh)
CN (1) CN107817216B (zh)
TW (1) TWI713907B (zh)
WO (1) WO2019085605A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817216B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN108804376A (zh) * 2018-06-14 2018-11-13 山东航天电子技术研究所 一种基于gpu和fpga的小型异构处理系统
CN109286749B (zh) * 2018-09-18 2020-12-08 中国科学院自动化研究所 高带宽图像采集、预处理和分发系统及图像处理系统
TWI693386B (zh) * 2019-05-09 2020-05-11 聯策科技股份有限公司 取像參數最佳化調整系統與方法
CN110766600B (zh) * 2019-12-26 2020-05-22 武汉精立电子技术有限公司 一种分布式架构的图像处理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7385694B2 (en) * 2002-06-04 2008-06-10 Lockheed Martin Corporation Tribological debris analysis system
JP4616864B2 (ja) * 2007-06-20 2011-01-19 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置および画像処理評価システム
US20120133920A1 (en) * 2009-09-22 2012-05-31 Skunes Timothy A High speed, high resolution, three dimensional printed circuit board inspection system
US8872912B2 (en) * 2009-09-22 2014-10-28 Cyberoptics Corporation High speed distributed optical sensor inspection system
US8670031B2 (en) * 2009-09-22 2014-03-11 Cyberoptics Corporation High speed optical inspection system with camera array and compact, integrated illuminator
KR101597024B1 (ko) * 2014-03-25 2016-02-23 구충열 액정디스플레이 검사용 이미지패턴 업로딩장치와 그 방법
JP6543070B2 (ja) * 2015-04-01 2019-07-10 株式会社ニューフレアテクノロジー 検査方法および検査装置
CN105260339A (zh) * 2015-08-17 2016-01-20 中南大学 一种基于Xilinx Zynq技术的大规模PLC系统
CN105607312A (zh) * 2016-01-22 2016-05-25 武汉精测电子技术股份有限公司 用于lcd液晶模组缺陷检测的光学自动检测装置及方法
US10429321B2 (en) * 2016-08-29 2019-10-01 Kla-Tencor Corporation Apparatus for high-speed imaging sensor data transfer
CN107144992B (zh) * 2017-06-23 2020-07-10 武汉精测电子集团股份有限公司 基于aoi技术的全自动化lcd检测控制系统及方法
CN107273331A (zh) * 2017-06-30 2017-10-20 山东超越数控电子有限公司 一种基于cpu+gpu+fpga架构的异构计算系统和方法
CN107817216B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统

Also Published As

Publication number Publication date
TW201919000A (zh) 2019-05-16
CN107817216B (zh) 2020-06-02
JP2021501330A (ja) 2021-01-14
JP6867555B2 (ja) 2021-04-28
US20200258210A1 (en) 2020-08-13
KR102243499B1 (ko) 2021-04-21
KR20200080295A (ko) 2020-07-06
CN107817216A (zh) 2018-03-20
WO2019085605A1 (zh) 2019-05-09
US11080840B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
TWI713907B (zh) 基於cpu、gpu及fpga架構的自動光學檢測系統
CN102202171B (zh) 一种嵌入式高速多通道图像采集与存储系统
CN102148922B (zh) 一种电子设备、图像采集装置及图像采集控制方法
CN101710256A (zh) 基于Camera Link接口的高速图像数据采集处理卡
CN107817217B (zh) 一种适用于lcm自动光学检测的图像加速处理系统
CN201199315Y (zh) 多目相机
CN107830990A (zh) 一种基于fpga平台的自动光学检测系统
CN103533317A (zh) 数字电影放映系统及方法
CN103856761A (zh) 基于Zynq-7000的图像监控系统
CN102055894A (zh) 一种模块化ccd工业相机
CN105120235A (zh) 基于usb3.0接口的工业图像采集系统及其图像采集处理方法
CN109714621A (zh) 一种时序可配置的多路动态视频模拟方法及其处理系统
CN101753833A (zh) 一种摄像头模组调焦检测方法、装置、系统及检测设备
CN109167994A (zh) 一种图像采集系统
CN101355777A (zh) 基于总线截取及视频采集的远程手机测试系统及方法
CN205142402U (zh) 基于usb3.0接口的工业图像采集系统
CN106454023A (zh) Usb3.0cmos线阵工业相机
CN108171106B (zh) 一种用于光测设备的数据整合装置
CN103595926B (zh) 一种分布式图像边缘融合处理系统
CN206164677U (zh) Usb3.0cmos线阵工业相机
CN209517379U (zh) 模拟384×288探测器输出信号的装置
CN211505255U (zh) 显示面板检测装置及系统
CN209895383U (zh) 一种数字图像大数据的高速传输装置
CN103702020A (zh) 线阵压缩摄像机
CN201286171Y (zh) 基于总线截取及视频采集的远程手机测试系统