TWI776275B

TWI776275B - 影像辨識裝置以及影像辨識方法

Info

Publication number: TWI776275B
Application number: TW109139263A
Authority: TW
Inventors: 吳懷恩; 蕭佩琪; 李政昕; 姜皇成; 林俊逸
Original assignee: 中強光電股份有限公司
Priority date: 2020-10-29
Filing date: 2020-11-11
Publication date: 2022-09-01
Also published as: CN114428412A; TW202217659A

Abstract

提出一種影像辨識裝置以及影像辨識方法，適用於辨識液晶顯示模組上的瑕疵，其中液晶顯示模組的表面覆蓋保護膜。影像辨識方法包含：提供至少一側光源以照射液晶顯示模組；取得未顯示狀態下的液晶顯示模組在至少一側光源下的至少一黑屏影像，當至少一黑屏影像具有瑕疵時，從至少一黑屏影像中取得標記區域；取得顯示狀態下的液晶顯示模組在暗房中的多個影像；以及根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵。

Description

影像辨識裝置以及影像辨識方法

本發明是有關於一種電子裝置以及應用此電子裝置的辨識方法，且特別是有關於一種適用於辨識液晶顯示模組上的瑕疵的影像辨識裝置以及影像辨識方法。

隨著人們對例如電視、電子看板、筆記型電腦、手機或車用顯示器等等不同種類的顯示面板之需求的增加，顯示面板逐漸發展為具有多樣的尺寸、解析度以及規格。在眾多顯示技術中，液晶顯示模組（liquid crystal display module，LCM）是發展最成熟的且應用面向最廣的顯示面板技術。液晶顯示模組並不是借由其液晶顯示面板發光，而是借由後方的背光模組投射光源以提供亮度。背光模組主要是由光學薄膜、導光板、擴散片、反射片、發光二極體（light-emitting diode，LED）光條、背板及膠框等元件所組成。雖然液晶顯示模組的組裝通常在無塵室中進行，但仍然無法完全地避免封裝過程中有灰塵或毛髮等異物干擾。此外，電子元件本身容易吸附小灰塵，且元件本身有缺陷或組裝過程造成的瑕疵等因素都使得最終組裝好的液晶顯示模組存在瑕疵。

針對這些瑕疵，多數的液晶顯示模組廠仰賴以人力目視檢測抓出半成品面板的瑕疵與缺陷。然而，人力檢查存在人員專業素質不一以及人為疏失等問題。另一方面，LCM在組裝階段為避免受外在的損害，會貼附透明塑膠保護膜以防止在搬動時刮傷液晶顯示模組的顯示面板。部分的保護膜上的刮痕、氣泡、殘膠、油漬或灰塵等異物在背光模組點亮時仍然會成像於顯示面板。因此，這些異物可能會造成顯示面板在進行自動光學檢測（automated optical inspection，AOI）或人力目視檢測時被判定為瑕疵品。尤其是AOI僅能取得單一視角的半成品面板的影像，故保護膜上的異物會使得AOI更加的困難。

AOI技術運用機器視覺作為檢測技術以替代人力檢測。AOI技術通常是非接觸式的。在固定環境下，AOI技術可以高速且高精度的光學取像技術來取得及分析影像。為達檢測過程的自動化並且提升正確率，過去在開發AOI技術時技術人員多著重在參數的調整。技術人員必須對演算法有一定的理解能力才會知道如何調整參數。再者，當檢測品項被更換時，技術人員往往需耗費大量的時間重新調整AOI的參數。在產品多元化的時代，檢測LCM面臨以下列挑戰：（1）存在近百種瑕疵類型，且不同等級與型號的顯示面板對於瑕疵的規格定義不一。（2）存在多種尺寸的LCM，其外觀尺寸、像素的解析度以及LCM相對於AOI的影像擷取裝置之間的距離，這三者之間的關係影響了AOI技術的通用性。（3）漫長的檢測時間與不穩定的檢測能力。為因應上述之挑戰，需要提出一種能快速且準確地進行影像辨識的技術。

本發明提供一種影像辨識裝置以及影像辨識方法，可準確地辨識出表面覆蓋一保護膜的液晶顯示模組是否具有瑕疵。

本發明的一種影像辨識裝置，適用於辨識液晶顯示模組上的瑕疵，其中液晶顯示模組的表面覆蓋保護膜，並且影像辨識裝置包括影像擷取裝置、至少一發光元件、收發器、儲存媒體以及處理器。至少一發光元件用於提供至少一側光源以照射液晶顯示模組。收發器通訊連接至液晶顯示模組，其中處理器借由收發器配置液晶顯示模組以進行顯示。儲存媒體儲存多個模組。處理器耦接儲存媒體、收發器、影像擷取裝置和至少一發光元件，並且存取和執行多個模組，其中多個模組包括影像處理模組以及瑕疵辨識模組，其中影像處理模組借由影像擷取裝置來取得未顯示狀態下的液晶顯示模組在至少一側光源下的至少一黑屏影像，當至少一黑屏影像具有瑕疵時，從至少一黑屏影像中取得標記區域，並且借由影像擷取裝置來取得顯示狀態下的液晶顯示模組在暗房中的多個影像，其中瑕疵辨識模組根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的影像處理模組過濾多個影像的準週期雜訊以產生多個經過濾影像，其中瑕疵辨識模組從多個經過濾影像中擷取出多個候選瑕疵區域，並且根據標記區域對至少一候選瑕疵區域進行過濾以產生瑕疵區域。

在本發明的一實施例中，上述的瑕疵辨識模組將多個影像的每一者的瑕疵區域輸入到至少一卷積神經網路以辨識液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的至少一卷積神經網路包括第一卷積神經網路和第二卷積神經網路，其中瑕疵辨識模組根據第一卷積神經網路和第二卷積神經網路的投票結果來辨識液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的多個模組還包括MURA瑕疵偵測模組。MURA瑕疵偵測模組將多個經過濾影像的每一者分割為多個區域，計算多個區域的每一者的背景影像灰階值，並且根據背景影像灰階值判斷多個區域的每一者是否具有MURA瑕疵。

在本發明的一實施例中，上述的多個影像包括白屏影像，並且多個模組還包括輝度偵測模組。輝度偵測模組根據白屏影像以及影像擷取裝置與液晶顯示模組之間的距離來辨識出至少一瑕疵中的輝度瑕疵。

在本發明的一實施例中，上述的多個影像包括特殊圖樣影像，並且多個模組還包括線瑕疵偵測模組。線瑕疵偵測模組基於斑點檢測技術以根據特殊圖樣影像來辨識出至少一瑕疵中的線瑕疵。

在本發明的一實施例中，上述的特殊圖樣影像使液晶顯示模組的像素與相鄰於像素的周圍像素的顏色相異。

在本發明的一實施例中，上述的多個影像包括外框影像，並且多個模組還包括框瑕疵偵測模組。框瑕疵偵測模組基於影像二值化技術以根據外框影像來辨識出至少一瑕疵中的框瑕疵。

本發明的一種影像辨識方法，適用於辨識液晶顯示模組上的瑕疵，其中液晶顯示模組的表面覆蓋一保護膜，並且影像辨識方法包括：提供至少一側光源以照射液晶顯示模組；取得未顯示狀態下的液晶顯示模組在至少一側光源下的至少一黑屏影像，當至少一黑屏影像具有瑕疵時，從至少一黑屏影像中取得標記區域；取得顯示狀態下的液晶顯示模組在暗房中的多個影像；以及根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟包括：過濾多個影像的準週期雜訊以產生多個經過濾影像；從多個經過濾影像中擷取出多個候選瑕疵區域；以及根據標記區域對至少一候選瑕疵區域進行過濾以產生瑕疵區域。

在本發明的一實施例中，上述的根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟還包括：將多個影像的每一者的瑕疵區域輸入到至少一卷積神經網路以辨識液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的至少一卷積神經網路包括第一卷積神經網路和第二卷積神經網路，其中將多個影像的每一者的瑕疵區域輸入到至少一卷積神經網路以辨識液晶顯示模組上的至少一瑕疵的步驟包括：根據第一卷積神經網路和第二卷積神經網路的投票結果來辨識液晶顯示模組上的至少一瑕疵。

在本發明的一實施例中，上述的根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟包括：將多個經過濾影像的每一者分割為多個區域；計算多個區域的每一者的背景影像灰階值；以及根據背景影像灰階值判斷多個區域的每一者是否具有MURA瑕疵。

在本發明的一實施例中，上述的多個影像包括由影像擷取裝置取得的白屏影像，其中根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟包括：根據白屏影像以及影像擷取裝置與液晶顯示模組之間的距離來辨識出至少一瑕疵中的輝度瑕疵。

在本發明的一實施例中，上述的多個影像包括特殊圖樣影像，其中根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟包括：基於斑點檢測技術以根據特殊圖樣影像來辨識出至少一瑕疵中的線瑕疵。

在本發明的一實施例中，上述的多個影像包括外框影像，其中根據多個影像以及標記區域來辨識出液晶顯示模組上的至少一瑕疵的步驟包括：基於影像二值化技術以根據外框影像來辨識出至少一瑕疵中的框瑕疵。

基於上述，本發明可借由發光元件取得未顯示狀態下的液晶顯示模組的黑屏影像，並且借由對所述黑屏影像以及顯示狀態下的液晶顯示模組的影像進行比較而在保護膜上可能存在異物的情況下準確地判斷液晶顯示模組是否存在瑕疵。此外，本發明還可以對液晶顯示模組的影像進行辨識，藉以判斷液晶顯示模組是否具有例如MURA瑕疵、輝度瑕疵、線瑕疵或框瑕疵等瑕疵。如此，可自動且準確地判斷液晶顯示模組是否為瑕疵品。

圖1根據本發明的實施例繪示一種影像辨識裝置100的示意圖，其中影像辨識裝置100適用於辨識液晶顯示模組（例如：如圖2所示的液晶顯示模組200）上的瑕疵。瑕疵例如包括：刮痕、氣泡、殘膠、油漬或灰塵等。

影像辨識裝置100可包含處理器110、儲存媒體120、收發器130、影像擷取裝置140以及第一發光元件150。在一實施例中，影像辨識裝置100還可包含第二發光元件160。然而，影像辨識裝置100的發光元件的數量可由使用者依需求而配置，本發明不限於此。

處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數字信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120、收發器130、影像擷取裝置140、第一發光元件150以及第二發光元件160，並且存取和執行儲存於儲存媒體120中的多個模組和各種應用程式。

儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。在本實施例中，儲存媒體120可儲存包含輝度偵測模組121、線瑕疵偵測模組122、框瑕疵偵測模組123、雲斑(MURA)瑕疵偵測模組124、瑕疵辨識模組125以及影像處理模組126等多個模組，其功能將於後續說明。

收發器(transceiver)130以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。收發器130可通訊連接至液晶顯示模組200。處理器110可借由收發器130控制液晶顯示模組200以進行顯示（或關掉液晶顯示模組200）。

影像擷取裝置(image capturing device)140例如為攝影機或照相機。處理器110可借由影像擷取裝置140取得液晶顯示模組200在顯示狀態或未顯示狀態下的影像。

當液晶顯示模組200的表面覆蓋了保護膜時，目前的影像辨識技術可能會將保護膜上的異物（或瑕疵）誤判為液晶顯示模組200的瑕疵。保護膜上的異物（例如：刮痕、髒汙、殘膠或灰塵）通常形成不規律的形狀，。為了辨識出保護膜上的異物，處理器110可借由收發器130將液晶顯示模組200調整為未顯示狀態(未開啟)，並且控制第元件150及/或第二發光元件160以提供用以照射液晶顯示模組200的側光源。

圖2根據本發明的實施例繪示利用發光元件（即：第一發光元件150以及第二發光元件160）與影像擷取裝置擷取液晶顯示模組200的表面210上的保護膜300上的異物的示意圖。如圖2所示，第一發光元件150以及第二發光元件160為側光源，可被配置在液晶顯示模組200的側邊，並且分別配置在不同的高度(以液晶顯示模組200為參考平面)以提供液晶顯示模組200不同角度的入射光。舉例來說，第一發光元件150照射在液晶顯示模組200的入射光的入射角

可大於第二發光元件160照射在液晶顯示模組200的入射光的入射角

。由第一發光元件150及第二發光元件160所提供的入射光可使保護膜300上的異物更加明顯。當第一發光元件150的光束以及第二發光元件160的光束分別照射液晶顯示模組200時，處理器110可借由收發器130將液晶顯示模組200調整為未顯示狀態。接著，影像處理模組126可借由影像擷取裝置140來取得未顯示狀態下的液晶顯示模組200在側光源下的至少一黑屏影像。當液晶顯示模組200形成黑屏影像，影像處理模組126判斷黑屏影像中是否有瑕疵存在，也就是在黑屏影像中是否有不均勻的亮度區域存在。

圖3A根據本發明的實施例繪示在未顯示狀態下的液晶顯示模組200的黑屏影像20的示意圖，圖3B根據習知技術繪示在顯示狀態下的液晶顯示模組200的影像24的示意圖。在黑屏影像20中，箭號所指向的區域為保護膜300上的異物或瑕疵，而並非為液晶顯示模組200上的異物或瑕疵。亦即，在側光源的照射下，未顯示狀態下的液晶顯示模組200的黑屏影像20可使保護膜300上的異物或瑕疵更加明顯；於圖3B中，習知技術在暗房中(環境區域內無光線)，顯示狀態(開啟背光)下的液晶顯示模組200的影像24，在影像24中並沒有辨識到液晶顯示模組200的異物或瑕疵，但有時仍會顯現出保護膜300上的異物或瑕疵，而造成液晶顯示模組200的誤判的可能性。換句話說，本發明是透過側光源的照射下，未顯示狀態下的液晶顯示模組200的黑屏影像20中，清楚地識別保護膜300上的異物或瑕疵。

在擷取了液晶顯示模組200的黑屏影像20後，影像處理模組126可借由例如影像二值化（image binarization）技術等影像辨識技術來對黑屏影像20進行辨識，從而找出保護膜300上的異物。接著，影像處理模組126可將異物所在的區域定義為標記區域21，如圖3A或圖3B所示。

另一方面，處理器110可借由收發器130控制液晶顯示模組200，在第一發光元件150以及第二發光元件160為關閉的情況下，進行顯示(開啟液晶顯示模組200的背光)。影像處理模組126可借由影像擷取裝置140來取得顯示狀態下的液晶顯示模組200在環境光源下的多個影像，其中所述多個影像例如包含開啟背光且顯示黑色畫面的影像（例如：開啟液晶顯示模組200的背光模組發光，液晶顯示模組200的液晶組件不讓背光通過，其中液晶組件包括液晶面板以及偏極性片）、白屏影像（例如：液晶顯示模組200的液晶組件讓背光通過）以及呈現灰階影像（例如：液晶顯示模組200的液晶組件讓部分背光通過，例如通過30%的背光）。影像處理模組126可根據所述多個影像來辨識出液晶顯示模組200的瑕疵。圖4A根據本發明的實施例繪示具有瑕疵40的液晶顯示模組200的影像22的示意圖。如圖4A所示，影像22中的網格及莫列波紋使得瑕疵40並不容易被辨識出來。瑕疵40例如為液晶顯示模組200上的刮痕或液晶顯示模組200中的異物等。

目前，應用液晶顯示模組的電子產品非常多樣，故液晶顯示模組的尺寸也非常多樣。當使用影像擷取裝置140檢視液晶顯示模組200時，液晶顯示模組200的尺寸、液晶顯示模組200的像素的解析度以及影像擷取裝置140與液晶顯示模組200之間的距離三者之間的相對關係將會影響到影像擷取裝置140所取得之液晶顯示模組200的影像22所呈現的網格及莫列波紋之頻率。因此，影像處理模組126並無法借由預設的濾波功能來過濾一影像的網格及莫列波紋。因此，下述內容提出如何過濾具有網格及莫列波紋的影像。圖5A和5B根據本發明的實施例繪示具有網格和莫列波紋的影像10和12的示意圖，其中箭頭11指示影像10的莫列波紋的方向，並且箭頭13和14指示影像12的莫列波紋的方向。

為了消除網格和莫列波紋，影像處理模組126可借由過濾準週期雜訊（quasi-periodic noise）的技術來過濾影像擷取裝置140所取得的多個影像，藉以產生多個經過濾影像。具體來說，影像處理模組126可偵測所取得之影像的頻率域峰値，並將其中頻率最低的峰値與其倍頻的峰値視為組成莫列波紋的晶格頻率。影像處理模組126可借由消除頻率域中的晶格頻率的能量來削減莫列波紋的能量，進而過濾莫列波紋，如圖6所示。圖6根據本發明的實施例繪示液晶顯示模組200的經過濾影像31、32和33的示意圖，其中經過濾影像31為液晶顯示模組200顯示黑色畫面時的影像經過濾後而產生的、經過濾影像32為影像22在液晶顯示模組200的白屏影像經過濾後而產生的，再者經過濾影像33為液晶顯示模組200的灰階影像經過濾後而產生的。影像處理模組126可根據如“ Sur, Frédéric, and Michel Grediac. "Automated removal of quasiperiodic noise using frequency domain statistics." Journal of Electronic Imaging 24.1 (2015): 013003”所揭露的方法來進行準週期雜訊的過濾。

在取得多個經過濾影像31、32和33後，瑕疵辨識模組125可根據標記區域21以及多個經過濾影像31、32和33來辨識出液晶顯示模組上的瑕疵，但不包括保護膜300上的異物或瑕疵。具體來說，瑕疵辨識模組125可從多個經過濾影像31、32和33中取得至少一瑕疵候選區域或多個瑕疵候選區域，並且根據標記區域21對所述至少一瑕疵後選區域進行過濾以產生液晶顯示模組200的瑕疵區域。以影像22以及經過濾影像32為例，圖4A中還包括液晶顯示模組200的候選瑕疵區域50。圖4B根據本發明的實施例繪示液晶顯示模組200的經過濾影像32中具有瑕疵40的示意圖。參照圖4A和4B，在影像處理模組126過濾了影像22的準週期雜訊而產生經過濾影像32之後，原本在影像22中難以辨識的瑕疵40將可清楚地呈現在經過濾影像32中。據此，瑕疵辨識模組125可基於機器視覺或動態閾值（參照 " Kang, Wenxiong, Yang, Qing-Qiang, and Liang, Run-Peng, "The Comparative Research on Image Segmentation Algorithms." First International Workshop on Education Technology and Computer Science, 2009"）等技術來辨識出經過濾影像32中的瑕疵40，並且從影像22中擷取出對應於瑕疵40的候選瑕疵區域50。

在取得候選瑕疵區域50後，瑕疵辨識模組125可響應於標記區域21與候選瑕疵區域50並不相同，而判斷標記區域21對應於保護膜300上的瑕疵或異物，並且候選瑕疵區域50對應於液晶顯示模組200的瑕疵。瑕疵辨識模組125可響應於判斷候選瑕疵區域50對應於液晶顯示模組200的瑕疵40而將候選瑕疵區域50定義為瑕疵區域。

在取得影像的每一者的瑕疵區域後，瑕疵辨識模組125可借由神經網路來辨識液晶顯示模組200的瑕疵40。圖7根據本發明的實施例繪示借由卷積神經網路71和72辨識液晶顯示模組200上的瑕疵40的示意圖。瑕疵辨識模組125可將影像22例如為黑色畫面的影像、灰階的影像、白屏影像的每一者的瑕疵區域輸入至卷積神經網路71和72。以圖4A中影像22的候選瑕疵區域50為例，瑕疵辨識模組125可將候選瑕疵區域50的影像以及對應候選瑕疵區域50位置的至少一黑屏影像輸入至卷積神經網路71和72。在卷積神經網路71和72分別產生並判斷候選瑕疵區域50是否包含瑕疵的多個辨識結果後，瑕疵辨識模組125可根據所述辨識結果，以投票模式產生判斷候選瑕疵區域50中存在瑕疵40的判斷結果。值得注意的是，瑕疵辨識模組125所使用的卷積神經網路的數量可以根據使用需求而調整，本發明不限於此。相較於將整個影像22輸入至卷積神經網路71和72，僅將候選瑕疵區域50的影像輸入至卷積神經網路71和72將可顯著地降低卷積神經網路71和72所消耗的運算量。

由於液晶顯示模組200的背光模組是利用導光板、擴散板或反射板等元件以使側邊的LED光條所發出的光線擴散至整個顯示面板。在其他實施例中，液晶顯示模組200的背光模組為直下式背光模組。因此，上述的元件的材料若存在缺陷將可能使背光變得不均勻。此外，輝度偵測模組121可用以辨識液晶顯示模組200的背光是否維持良好的亮度品質以及均勻性。具體來說，輝度偵測模組121可根據液晶顯示模組200的影像22(白屏影像)以及影像擷取裝置140與液晶顯示模組200之間的距離來辨識液晶顯示模組200的輝度瑕疵。在取得白屏影像22以及所述距離後，輝度偵測模組121可從預存於儲存媒體120中的輝度與距離的映射關係來取得白屏影像22的特定區域對應於所述距離的預設輝度。特定區域可為預設的區域，例如影像的中間區域或邊緣區域。若預設輝度與白屏影像22的特定區域的輝度匹配，則輝度偵測模組121可判斷白屏影像22的所述特定區域不具輝度瑕疵。相對來說，若預設輝度與白屏影像22的特定區域的輝度不匹配，則輝度偵測模組121可判斷白屏影像22的所述特定區域具有輝度瑕疵。輝度偵測模組121可基於如美國申請案US6982744B2“Multi-point calibration method for imaging light and color measurement device”所揭露的內容而根據影像擷取裝置140與輝度量測的校正參數來進行輝度瑕疵的辨識。

線瑕疵偵測模組122用以辨識液晶顯示模組200的線瑕疵。具體來說，影像處理模組126可借由影像擷取裝置140來取得顯示狀態下的液晶顯示模組200在暗房中的多個影像，其中多個影像可包含特殊圖樣影像。特殊圖樣影像可使液晶顯示模組200的像素與相鄰於所述像素的周圍像素的顏色相異。在取得特殊圖樣影像後，線瑕疵偵測模組122可基於斑點檢測（blob detection）技術以根據特殊圖樣影像來辨識出液晶顯示模組200的線瑕疵。液晶的線缺陷，通常是垂直線或水平線，我們將斑點檢測(blob detection)中常用的高斯拉普拉斯函數(Laplacian of Gaussian)進行變化，以濾波的方式分別偵側垂直線或水平線。

框瑕疵偵測模組123可用以辨識液晶顯示模組200的框瑕疵（WAKU defect）。具體來說，影像處理模組126可借由影像擷取裝置140來取得顯示狀態下的液晶顯示模組200在環境光源下的多個影像，其中多個影像可包含液晶顯示模組200的外框（frame）影像。在取得外框影像後，框瑕疵偵測模組123可基於影像二值化技術以根據外框影像來辨識出液晶顯示模組200的框瑕疵。

MURA瑕疵偵測模組124可用以辨識液晶顯示模組200的MURA瑕疵。具體來說，MURA瑕疵偵測模組124可將經過濾影像31、32和33的每一者分割為多個區域。以經過濾影像32為例，圖8根據本發明的實施例繪示將經過濾影像32分割成多個區域61和62的示意圖。在對經過濾影像32進行分割而產生區域61和區域62之後，MURA瑕疵偵測模組124可分別計算區域61和區域62的背景影像灰階值。接著，MURA瑕疵偵測模組124可對區域61的背景影像灰階值進行自動閾值分割而判斷區域61之中是否存在MURA瑕疵，並可對區域62的背景影像灰階值進行自動閾值分割而判斷區域62之中是否存在MURA瑕疵。MURA瑕疵偵測模組124可基於“ Fan, Shu-Kai S., and Yu-Chiang Chuang. "Automatic detection of MURA defect in TFT-LCD based on regression diagnostics." Pattern recognition letters 31.15 (2010): 2397-2404”所揭露的內容來對背景影像灰階值進行自動閾值分割。

圖9根據本發明的實施例繪示一種影像辨識方法的流程圖，其中所述影像辨識方法可用於辨識表面包覆有保護膜的液晶顯示模組是否具有瑕疵，並且所述影像辨識方法可由如圖1所示的影像辨識裝置100實施。在步驟S901中，取得液晶顯示模組的多個影像，其中多個影像包含黑屏影像、具有背光且顯示黑色畫面的影像、灰階的影像、白屏影像、特殊圖樣影像以及外框影像。在步驟S902中，根據白屏影像以辨識液晶顯示模組的輝度瑕疵。在步驟S903中，根據特殊圖樣影像以辨識液晶顯示模組的線瑕疵。在步驟S904中，根據外框影像以辨識液晶顯示模組的框瑕疵。在步驟S905中，過濾多個影像以產生經過濾影像。在步驟S906中，根據經過濾影像辨識液晶顯示模組的MURA瑕疵。在步驟S907-1中，液晶顯示模組200形成黑屏影像，而影像處理模組先行初步判斷黑屏影像中是否有瑕疵存在，也就是在黑屏影像中是否有不均勻的亮度區域存在。其中黑屏影像是借由影像擷取裝置來取得未顯示狀態下的液晶顯示模組在至少一側光源下的影像。若無，則進入步驟S910中。若有，則進入步驟S907中。在步驟S907中，根據黑屏影像將保護膜上的異物所在的區域定義為標記區域，並且從經過濾影像中擷取出對應於瑕疵的候選瑕疵區域。在步驟S908中，根據標記區域對候選瑕疵區域進行過濾以產生瑕疵區域。在步驟S909中，將瑕疵區域輸入至多個一或多個卷積神經網路以辨識液晶顯示模組的瑕疵。在步驟S910中，判斷辨識液晶顯示模組是否具有任何的瑕疵。若液晶顯示模組不具有任何的瑕疵，則進入步驟S911。若液晶顯示模組具有至少一瑕疵，則進入步驟S912。在步驟S911中，將液晶顯示模組判斷為良品。在步驟S912中，將液晶顯示模組判斷為瑕疵品。

綜上所述，本發明可借由發光元件取得未顯示狀態下的液晶顯示模組的黑屏影像，並且借由對所述黑屏影像以及顯示狀態下的液晶顯示模組的影像進行比較而在保護膜上可能存在異物的情況下準確地判斷液晶顯示模組是否存在瑕疵。此外，本發明還可以根據背景影像灰階值來判斷液晶顯示模組是否具有MURA瑕疵。再者，本發明還可借由影像擷取裝置以及液晶顯示模組之間的距離判斷出液晶顯示模組是否具有輝度瑕疵。另一方面，本發明可利用液晶顯示模組來顯示出能輔助處理器進行線瑕疵的辨識的特殊圖樣影像。本發明還可以基於影像二值化技術來判斷液晶顯示模組是否具有框瑕疵。惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，本說明書或申請專利範圍中提及的「第一」、「第二」等用語僅用以命名元件的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。

10、12:具有網格和莫列波紋的影像 100:影像辨識裝置 11、13、14:箭頭 110:處理器 120:儲存媒體 121:輝度偵測模組 122:線瑕疵偵測模組 123:框瑕疵偵測模組 124:MURA瑕疵偵測模組 125:瑕疵辨識模組 126:影像處理模組 130:收發器 140:影像擷取裝置 150:第一發光元件 160:第二發光元件 20:黑屏影像 200:液晶顯示模組 21:標記區域 22:影像 24:影像 210:表面 300:保護膜 31、32、33:經過濾影像 40:瑕疵 50:候選瑕疵區域 61、62:經過濾影像的區域 71、72:卷積神經網路 S901、S902、S903、S904、S905、S906、S907-1、S907、S908、S909、S910、S911、S912:步驟

圖1根據本發明的實施例繪示一種影像辨識裝置的示意圖。圖2根據本發明的實施例繪示利用發光元件與影像擷取裝置擷取液晶顯示模組的表面上的保護膜上的異物的示意圖。圖3A根據本發明的實施例繪示在未顯示狀態下的液晶顯示模組的黑屏影像的示意圖。圖3B根據習知技術繪示在顯示狀態下的液晶顯示模組的影像的示意圖。圖4A根據本發明的實施例繪示具有瑕疵的液晶顯示模組的影像的示意圖。圖4B根據本發明的實施例繪示液晶顯示模組的經過濾影像中具有瑕疵的示意圖。圖5A和5B根據本發明的實施例繪示具有網格和莫列波紋的影像的示意圖。圖6根據本發明的實施例繪示液晶顯示模組的經過濾影像的示意圖。圖7根據本發明的實施例繪示借由卷積神經網路（convolutional neural network，CNN）辨識液晶顯示模組上的瑕疵的示意圖。圖8根據本發明的實施例繪示將經過濾影像分割成多個區域的示意圖。圖9根據本發明的實施例繪示一種影像辨識方法的流程圖。

S901、S902、S903、S904、S905、S906、S907-1、S907、S908、S909、S910、S911、S912:步驟

Claims

一種影像辨識裝置，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識裝置包括：影像擷取裝置；至少一發光元件，用於提供至少一側光源，以照射所述液晶顯示模組；收發器，通訊連接至所述液晶顯示模組，其中所述處理器借由所述收發器控制所述液晶顯示模組以進行顯示；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體、所述收發器、所述影像擷取裝置和所述至少一發光元件，並且存取和執行所述多個模組，其中所述多個模組包括影像處理模組以及瑕疵辨識模組，其中所述影像處理模組借由所述影像擷取裝置來取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域，並且借由所述影像擷取裝置來取得顯示狀態下的所述液晶顯示模組在暗房中的多個影像，其中所述瑕疵辨識模組根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵，其中所述影像處理模組過濾所述多個影像的準週期雜訊以產生多個經過濾影像，其中所述瑕疵辨識模組從所述多個經過濾影像中擷取出至少一候選瑕疵區域，並且根據所述標記區域對所述至少一候選瑕疵區域進行過濾以產生瑕疵區域。
如請求項1所述的影像辨識裝置，其中所述瑕疵辨識模組將所述多個影像的每一者的所述瑕疵區域輸入到至少一卷積神經網路以辨識所述液晶顯示模組上的所述至少一瑕疵。
如請求項2所述的影像辨識裝置，其中所述至少一卷積神經網路包括第一卷積神經網路和第二卷積神經網路，其中所述瑕疵辨識模組根據所述第一卷積神經網路和所述第二卷積神經網路的投票結果來辨識所述液晶顯示模組上的所述至少一瑕疵。
如請求項1所述的影像辨識裝置，其中所述多個模組還包括：雲斑瑕疵偵測模組，將所述多個經過濾影像的每一者分割為多個區域，計算所述多個區域的每一者的背景影像灰階值，並且根據所述背景影像灰階值判斷所述多個區域的所述每一者是否具有雲斑瑕疵。
如請求項1所述的影像辨識裝置，其中所述多個影像包括白屏影像，並且所述多個模組還包括：輝度偵測模組，根據所述白屏影像以及所述影像擷取裝置與所述液晶顯示模組之間的距離來辨識出所述至少一瑕疵中的輝度瑕疵。
如請求項1所述的影像辨識裝置，其中所述多個影像包括特殊圖樣影像，並且所述多個模組還包括：線瑕疵偵測模組，基於斑點檢測技術以根據所述特殊圖樣影像來辨識出所述至少一瑕疵中的線瑕疵。
如請求項6所述的影像辨識裝置，其中所述特殊圖樣影像使所述液晶顯示模組的像素與相鄰於所述像素的周圍像素的顏色相異。
如請求項1所述的影像辨識裝置，其中所述多個影像包括外框影像，並且所述多個模組還包括：框瑕疵偵測模組，基於影像二值化技術以根據所述外框影像來辨識出所述至少一瑕疵中的框瑕疵。
一種影像辨識方法，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識方法包括：提供至少一側光源以照射所述液晶顯示模組；取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域；取得顯示狀態下的所述液晶顯示模組在環境光源下的多個影像；以及根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵，包括：過濾所述多個影像的準週期雜訊以產生多個經過濾影像；從所述多個經過濾影像中擷取出至少一候選瑕疵區域；以及根據所述標記區域對所述至少一候選瑕疵區域進行過濾以產生瑕疵區域。
如請求項9所述的影像辨識方法，其中根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的所述至少一瑕疵的步驟還包括：將所述多個影像的每一者的所述瑕疵區域輸入到至少一卷積神經網路以辨識所述液晶顯示模組上的所述至少一瑕疵。
如請求項10所述的影像辨識方法，其中所述至少一卷積神經網路包括第一卷積神經網路和第二卷積神經網路，其中將所述多個影像的所述每一者的所述瑕疵區域輸入到所述至少一卷積神經網路以辨識所述液晶顯示模組上的所述至少一瑕疵的步驟包括：根據所述第一卷積神經網路和所述第二卷積神經網路的投票結果來辨識所述液晶顯示模組上的所述至少一瑕疵。
如請求項10所述的影像辨識方法，其中根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的所述至少一瑕疵的步驟還包括：將所述多個經過濾影像的每一者分割為多個區域；計算所述多個區域的每一者的背景影像灰階值；以及根據所述背景影像灰階值判斷所述多個區域的所述每一者是否具有雲斑瑕疵。
如請求項9所述的影像辨識方法，其中所述多個影像包括由影像擷取裝置取得的白屏影像，其中根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的所述至少一瑕疵的步驟還包括：根據所述白屏影像以及所述影像擷取裝置與所述液晶顯示模組之間的距離來辨識出所述至少一瑕疵中的輝度瑕疵。
如請求項9所述的影像辨識方法，其中所述多個影像包括特殊圖樣影像，其中根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的所述至少一瑕疵的步驟還包括：基於斑點檢測技術以根據所述特殊圖樣影像來辨識出所述至少一瑕疵中的線瑕疵。
如請求項14所述的影像辨識方法，其中所述特殊圖樣影像使所述液晶顯示模組的像素與相鄰於所述像素的周圍像素的顏色相異。
如請求項9所述的影像辨識方法，其中所述多個影像包括外框影像，其中根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的所述至少一瑕疵的步驟還包括：基於影像二值化技術以根據所述外框影像來辨識出所述至少一瑕疵中的框瑕疵。
一種影像辨識裝置，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識裝置包括：影像擷取裝置；至少一發光元件，用於提供至少一側光源，以照射所述液晶顯示模組；收發器，通訊連接至所述液晶顯示模組，其中所述處理器借由所述收發器控制所述液晶顯示模組以進行顯示；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體、所述收發器、所述影像擷取裝置和所述至少一發光元件，並且存取和執行所述多個模組，其中所述多個模組包括影像處理模組以及瑕疵辨識模組，其中所述影像處理模組借由所述影像擷取裝置來取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域，並且借由所述影像擷取裝置來取得顯示狀態下的所述液晶顯示模組在暗房中的多個影像，其中所述多個影像包括特殊圖樣影像，其中所述特殊圖樣影像使所述液晶顯示模組的像素與相鄰於所述像素的周圍像素的顏色相異，其中所述瑕疵辨識模組根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵。
一種影像辨識裝置，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識裝置包括：影像擷取裝置；至少一發光元件，用於提供至少一側光源，以照射所述液晶顯示模組；收發器，通訊連接至所述液晶顯示模組，其中所述處理器借由所述收發器控制所述液晶顯示模組以進行顯示；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體、所述收發器、所述影像擷取裝置和所述至少一發光元件，並且存取和執行所述多個模組，其中所述多個模組包括影像處理模組、瑕疵辨識模組以及框瑕疵偵測模組，其中所述影像處理模組借由所述影像擷取裝置來取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域，並且借由所述影像擷取裝置來取得顯示狀態下的所述液晶顯示模組在暗房中的多個影像，其中所述多個影像包括外框影像，其中所述瑕疵辨識模組根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵，其中所述框瑕疵偵測模組基於影像二值化技術以根據所述外框影像來辨識出所述至少一瑕疵中的框瑕疵。
一種影像辨識方法，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識方法包括：提供至少一側光源以照射所述液晶顯示模組；取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域；取得顯示狀態下的所述液晶顯示模組在環境光源下的多個影像，其中所述多個影像包括特殊圖樣影像，其中所述特殊圖樣影像使所述液晶顯示模組的像素與相鄰於所述像素的周圍像素的顏色相異；以及根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵。
一種影像辨識方法，適用於辨識液晶顯示模組上的瑕疵，其中所述液晶顯示模組的表面覆蓋保護膜，並且所述影像辨識方法包括：提供至少一側光源以照射所述液晶顯示模組；取得未顯示狀態下的所述液晶顯示模組在所述至少一側光源下的至少一黑屏影像，當所述至少一黑屏影像具有瑕疵時，從所述至少一黑屏影像中取得標記區域；取得顯示狀態下的所述液晶顯示模組在環境光源下的多個影像，其中所述多個影像包括外框影像；以及根據所述多個影像以及所述標記區域來辨識出所述液晶顯示模組上的至少一瑕疵，包括：基於影像二值化技術以根據所述外框影像來辨識出所述至少一瑕疵中的框瑕疵。