TWI737447B

TWI737447B - 影像處理方法、電子裝置和存儲介質

Info

Publication number: TWI737447B
Application number: TW109127632A
Authority: TW
Inventors: 楊承儒; 唐婉馨; 吳沛宸
Original assignee: 新加坡商鴻運科股份有限公司
Priority date: 2020-08-13
Filing date: 2020-08-13
Publication date: 2021-08-21
Also published as: TW202207078A

Abstract

本申請提供一種影像處理方法，所述方法包括：獲取待識別圖像中的第一文本區域；獲取標準圖像中的第二文本區域，根據所述第二文本區域提取文本視窗，其中，所述文本視窗包括多個子視窗；獲取待識別圖像中的目標文本區域；根據多個子視窗分割目標文本區域，得到第一文本子區域集，及根據多個子視窗分割第二文本區域，得到第二文本子區域集；當第一文本子區域集之中所有第一文本子區域與第二文本子區域集之中對應的第二文本子區域都相同，標記所述待識別圖像為合格圖像。本申請還提供一種電子裝置和存儲介質，可以提高生產效率。

Description

影像處理方法、電子裝置和存儲介質

本申請涉及圖像技術領域，尤其涉及一種影像處理方法、電子裝置和存儲介質。

自動光學檢查(Automated Optical Inspection，AOI)是對印刷電路板製造的自動視覺檢查。為高速高精度光學影像檢測系統，通過運用機器視覺以比對待測物與標準影像是否有差異，來判斷待測物是否符合標準。AOI機台普遍應用於SMT(Surface Mount Technology)組裝線上檢測電路板上的零件焊錫組裝(PCB Assembly)後的品質狀況，或是檢查錫膏印刷後是否符合標準。一般而言，AOI機台工程師會設定每個待測物的檢測標準。若檢測標準設定太嚴格，則假警報率過高；若檢測標準設定太寬鬆，則可能會漏檢產品瑕疵。目前通過AOI檢測為瑕疵的產品，需進一步透過人工目檢(Visual Inspection)來複判待測物(如電路板)是否真的有問題，並以人工目檢的結果為準。

例如，現行的AOI機台在檢測IC類元件時，會以元件上的文字為判斷依據來確認所述元件是否合格。通常檢測元件上的文字的檢測標準較嚴格。相同的IC類元件，刻出來的文字是相同的，但可能因為元件由不同廠商所供應，相同文字字體型態上可能有所不同，導致經AOI機台檢驗後被判定為瑕疵。此時需要工程師重新確認檢測標準，或是新增標準圖像，來調整不同的字體所造成AOI機台的誤判，導致整體產線效率降低。

有鑑於此，有必要提供一種影像處理方法、電子裝置和存儲介質，可以提升產線生產效率。

本申請第一方面提供了一種影像處理方法，所述方法包括：獲取待識別圖像和標準圖像；獲取所述待識別圖像中的第一文本區域；獲取所述標準圖像中的第二文本區域，根據所述第二文本區域提取文本視窗，其中，所述文本視窗包括多個子視窗；基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域；根據所述多個子視窗分割所述目標文本區域，得到第一文本子區域集，及根據所述多個子視窗分割所述第二文本區域，得到第二文本子區域集；判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同；及當所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同，標記所述待識別圖像為合格圖像。

本申請的一些實施方式，所述基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域包括：截取所述標準圖像中的第二文本區域；利用所述第二文本區域與所述第一文本區域進行匹配，找到所述第二文本區域中與所述第一文本區域圖元點相似度最高的區域；及利用所述文本視窗在所述第一文本區域中框選出所述圖元點相似度最高的區域，得到所述目標文本區域。

本申請的一些實施方式，判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同包括：計算所述第一文本子區域集之中的第一文本子區域與對應所述第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集；判斷所述圖元點相似度集中的每個圖元點相似度是否都大於或等於預設值；當所述圖元點相似度集中的每個圖元點相似度都大於或等於預設值時，確認所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同；當所述圖元點相似度集中的存在有圖元點相似度小於所述預設值時，確認所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同。

本申請的一些實施方式，得到所述圖元點相似度集的方法包括：通過預設分類器萃取所述第一文本子區域集之中的每個第一文本子區域的第一特徵值，以及通過所述預設分類器萃取所述第二文本子區域集之中每個第二文本子區域的第二特徵值；及計算所述第一特徵值與所述第二特徵值之間的圖元點相似度，得到圖元點相似度集。

本申請的一些實施方式，所述得到所述圖元點相似度集的方法還包括：將所述第一文本子區域集之中的每一第一文本子區域輸入到預設分類器中，以識別每個第一文本子區域。

本申請的一些實施方式，所述方法還包括：當所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同時，標記所述待識別圖像為瑕疵圖像。

本申請的一些實施方式，所述方法還包括預處理所述待識別圖像，所述預處理所述待識別圖像包括：通過濾波器濾除所述待識別圖像中的雜訊；通過影像增強技術增強所述第一文本區域；及二值化處理所述待識別圖像。

本申請的一些實施方式，所述方法還包括：標記所述待識別圖像為合格圖像後，輸出提示資訊提示所述待識別圖像為合格圖像；或者標記所述待識別圖像為瑕疵圖像後，輸出提示資訊提示所述待識別圖像為瑕疵圖像。

本申請第二方面提供了一種電子裝置，所述電子裝置包括：處理器；以及記憶體，所述記憶體中存儲有多個程式模組，所述多個程式模組由所述處理器載入並執行如上所述影像處理方法。

本申請第三方面提供了一種存儲介質，其上存儲有至少一條電腦指令，所述指令由處理器載入並執行如上所述影像處理方法。

相較於習知技術，本申請的實施方式提供的一種影像處理方法、電子裝置和存儲介質，通過運用影像處理方法及分類器萃取待識別圖像的特徵，使得相同的文字雖然有不同的字體型態皆能萃取出相似特徵，再與標準圖像的文字特徵做比對，以判斷所述待識別圖像是否為合格圖像。本申請能使機台誤判率大幅降低，大幅提升整體產線效率。

1:電子裝置

10:通信單元

11:記憶體

12:處理器

30:文本視窗

301:子視窗

R_A、R_B、R_C:第一文本區域

R:區域

20:影像處理系統

201:獲取模組

202:處理模組

203:判斷模組

204:標記模組

圖1是根據本申請一實施方式的電子裝置的示意圖。

圖2是根據本申請一實施方式的影像處理方法的流程圖。

圖3是根據本申請標準圖像示意圖。

圖4是根據本申請待識別圖像與標準圖像進行匹配得到第二文本子區域的示意圖。

圖5A至圖5F為本申請中待識別圖像的示意圖。

圖6是根據本申請一實施方式的影像處理系統的功能模組圖。

圖7是根據本申請一實施方式的混淆矩陣的示意圖。

下面將結合本申請實施方式中的附圖，對本申請實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本申請一部分實施方式，而不是全部的實施方式。

請參閱圖1，影像處理系統20運行於電子裝置1中。所述電子裝置1包括，但不僅限於，通信單元10、記憶體11和至少一個處理器12。所述通信單元10、記憶體11和至少一個處理器12之間電性連接。

在本實施方式中，所述通信單元10用於給所述電子裝置1提供網路通信。所述網路可以是有線網路，也可以是無線網路，例如無線電、無線保真(Wireless Fidelity，WIFI)、蜂窩、衛星、廣播等。

所述電子裝置1通過所述通信單元10與AOI機台(圖中未示出)通信連接。

在一實施方式中，所述電子裝置1可以為安裝有影像處理程式的電子裝置，例如電腦、智慧手機、個人電腦、伺服器等。

本領域技術人員應該瞭解，圖1示出的電子裝置1的結構並不構成本發明實施例的限定，所述電子裝置1還可以包括比圖1更多或更少的其他硬體或者軟體，或者不同的部件佈置。

需要說明的是，所述電子裝置1僅為舉例，其他現有的或今後可能出現的電子設備如可適應於本發明，也應包含在本發明的保護範圍以內，並以引用方式包含於此。

請參閱圖2，圖2為根據本申請一實施方式的影像處理方法的流程圖。所述影像處理方法應用在電子裝置1中。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。

步驟S11：獲取待識別圖像和標準圖像。

在本實施方式中，當使用AOI機台檢測IC類元件的時候，會以所述IC類元件上的文字作為判斷IC產品是否為同一類產品的依據。可以理解的是，相同類型的IC類元件中的每一個元件中的文字都會貼在相同的預設位置。所述AOI機台在檢測IC類元件時可以獲取所述預設位置資訊，從而可以得到包括有文字區域的待識別圖像和標準圖像。所述待識別圖像和所述標準圖像為根據同一類產品獲取的圖像。所述待識別圖像為從所述AOI機台獲取的圖像。需要說明的是，所述標準圖像上的每個文字皆清晰完整且無破損，文字無歪斜或大幅度偏移，光源正常且圖片清晰。

可以理解的是，所述待識別圖像和標準圖像都包括多個圖元點。所述圖元點是指將某一圖像分割成若干個小方格，每個小方格被稱為一個圖元點。電子裝置可以通過表示這些圖元點的位置、顏色和亮度等資訊，來表示整副圖像。

步驟S12：預處理所述待識別圖像，並獲取所述待識別圖像中的第一文本區域。在本實施方式中，為了突出所述待識別圖像中文本區域，先對所述待識別圖像進行預處理。

具體地，所述預處理所述待識別圖像包括：

(1)通過濾波器濾除所述待識別圖像中的雜訊。在本實施方式中，盡可能保留所述待識別圖像的主要特徵的同時，去掉影響後續處理的無用雜訊資訊。

(2)通過影像增強技術增強所述第一文本區域。

在本實施方式中，通過濾波器去除雜訊後的所述待識別圖像中的文本可能會變得相對模糊，需要採用影像增強技術強化所述第一文本區域，讓所述第一文本區域中的文字更加明顯。例如，如強化所述待識別圖像中的高頻分量，可使圖像中第一文本區域輪廓清晰，細節明顯。

(3)二值化處理所述待識別圖像。

在本實施方式中，通過二值化處理所述待識別圖像，可以將所述待識別圖像轉化為黑白圖像，以利區分出所述第一文本區域及背景區域。

(4)獲取所述待識別圖像中的第一文本區域。

在本實施方式中，通過八鄰域連線物件(8-connected component)方法識別所述待識別圖像，得到多個連線物件，計算所述多個連線物件的面積，並刪除面積小於預設面積的連線物件，切分出所述待識別圖像上的文字，並且用最小外接矩形將所有文字框出，即為所述待識別圖像中的第一文本區域。可以理解的是，獲取所述待識別圖像中的第一文本區域的方法不限於上述方法。

在本實施方式中，為了確保每張待識別圖像都能將雜訊去除並且增強文字區域，可以交替使用上述步驟(1)和步驟(2)。

步驟S13：獲取所述標準圖像中的第二文本區域，根據所述第二文本區域提取文本視窗，其中，所述文本視窗包括多個子視窗。

在本實施方式中，獲取所述標準圖像中的第二文本區域的方法，與獲取所述待識別圖像中的第一文本區域的方法相同，在此不再贅述。

需要說明的是，所述文本視窗為從所述圖像中提取的包含全部第一文本區域圖元點的面積最小的外接矩形。所述文本視窗包括多個子視窗，每個子視窗為所述第一文本區域中的每一字元區域圖元點的面積最小的外接矩形。例如，如圖3所示，所述標準影像中第二文本區域包含文本“SW3”，即所述標準影像中包含全部第二文本“SW3”對應的區域的圖元點的面積最小的外接矩形。所述文本視窗30包括三個子視窗301，每個子視窗301分別對應字母“S”、“W”和數字“3”。

步驟S14：基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域。

在本實施方式中，所述第一文本區域可以包括比所述標準圖像中的第二文本區域更多的文本資訊，為了從所述第一文本區域中找到與標準圖像中相同的文本資訊，需要利用所述文本視窗30在所述待識別圖像中的第一文本區域中滑動尋找與標準圖像中相同的文本資訊。

具體地，基於所述第一文本區域和所述文本視窗30，得到所述待識別圖像中的目標文本區域包括：

(1)截取所述標準圖像中的第二文本區域。

(2)利用所述第二文本區域與所述第一文本區域進行匹配，找到所述第二文本區域中與所述第一文本區域圖元點相似度最高的區域。在本實施方式中，利用所述第二文本區域中的每個圖元點從左至右，從上之下與所述第一文本區域的每個圖元點進行匹配，以找到所述第二文本區域中與所述第一文本區域圖元點相似度最高的區域。

本申請所定義的圖元點相似度指標，包含常用於計算不同樣本間的相似性度量，如距離倒數(含歐氏距離、曼哈頓距離、漢明距離等等)、相關係數(Correlation coefficient)、結構相似性(SSIM,Structural Similarity)、複小波結構相似性(CW-SSIM,Complex Wavelet SSIM)及余弦相似性(Cosine similarity)等，根據不同的情境會使用不同的圖元點相似度指標，以利後續做文字偵測及比對。

(3)利用所述文本視窗30在所述第一文本區域中框選出所述圖元點相似度最高的區域，得到所述目標文本區域。

例如，如圖4所示，待識別圖像A中的第一文本區域R_A包括字元“GSW30”，待識別圖像B中的第一文本區域R_B中包括字元“LBJ23”，待識別圖像C中的第一文本區域R_C，所述標準圖像中的第二文本區域R包括字元“SW3”。截取所述標準圖像中的第二文本區域得到包括文本“SW3”的區域R，利用所述區域R與所述第一文本區域R_A進行匹配，找到所述第一文本區域R_A中的字元區域“SW3”，利用所述文本視窗在所述第一文本區域R_A中框選所述字元區域“SW3”，得到目標字元區域包括字元“SW3”。利用所述區域R與所述第一文本區域R_B進行匹配，找到所述第一文本區域R_B中的字元區域“BJ23”，利用所述文本視窗30在所述第一文本區域R_B中框選所述字元區域“BJ23”，得到目標字元區域包括字元“BJ23”。利用所述區域R₀與所述第一文本區域R_C進行匹配，找到所述第一文本區域R_C中的字元區域包括部分字母“E”和字元“Oti3”，利用所述文本視窗30在所述第一文本區域R_C中框選包括部分字母“E”和字元“Oti3”的字元區域，得到目標字元區域包括部分字母“E”和字元“Oti3”。

需要說明的是，所述目標文本區域不一定包括有完整的字元，而是依據所述文本視窗30的大小來框選所述第一文本區域，得到目標文本區域。

步驟S15：根據所述多個子視窗分割所述目標文本區域，得到第一文本子區域集，及根據所述多個子視窗分割所述第二文本區域，得到第二文本子區域集。

在本實施方式中，為了更準確地比對所述目標文本區域與所述標準圖像中的第二文本區域是否一致，需要將所述目標文本區域進行分割後進行一一比對。具體地，根據所述文本視窗中的多個子視窗分割所述目標文本區域，得到第一文本子區域集。例如，如圖4所示，所述標準圖像的文本視窗包括三個子視窗，利用所述三個子視窗分割待識別圖像A中的目標文本區域，可以得到第一文本子區域集，所述第一文本子區域集包括一個子視窗框選的字母“S”、一個子視窗框選的字母“W”和一個子視窗框選的數位“3”；利用所述三個子視窗分割待識別圖像B中的目標文本區域，可以得到第一文本子區域集，所述第一文本子區域集包括一個子視窗框選的字母“B”、一個子視窗框選的字母和數位元“J2”和一個子視窗框選的數位“3”；利用所述三個子視窗分割待識別圖像C中的目標文本區域，可以得到第一文本子區域集，所述第一文本子區域集包括一個子視窗框選的部分字母“E”和部分字母“O”、一個子視窗框選的部分字母“O”和字母“ti”、和一個子視窗框選的數位“3”。

在本實施方式中，利用所述三個子視窗分割標準圖像中的第二文本區域，可以得到第二文本子區域集。所述第二文本子區域集包括一個子視窗框選的字母“S”、一個子視窗框選的字母“W”和一個子視窗框選的數位“3”。

需要說明的是，所述第一文本子區域集和所述第二文本子區域集之中不一定包括的都是完整的字元。所述第一文本子區域集和所述第二文本子區域集之中的子區域大小由所述文本視窗30中的子視窗的大小決定。

步驟S16：判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同。

在本實施方式中，通過比對所述第一文本子區域集之中第一文本子區域與對應所述第二文本子區域集之中的第二文本子區域是否相同，來確認所述待識別圖像是否為合格圖像。當所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域相同時，流程進入步驟S17；當所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同時，流程進入步驟S18。

在本實施方式中，判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同包括：

(a)計算所述第一文本子區域集之中的第一文本子區域與對應所述第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集。

具體地，得到所述圖元點相似度集的方法包括：

(1)將所述第一文本子區域集之中的每一第一文本子區域輸入到預設分類器中，以識別每個第一文本子區域。在本實施方式中，所述預設分類器為根據所述待處理圖像預處理後得到的單一字元資料集，以及額外搜集各式英文字母及數位元資料集，進行訓練得到的分類器。

(2)通過所述預設分類器萃取所述第一文本子區域集之中的每個第一文本子區域的第一特徵值，以及通過所述預設分類器萃取所述第二文本子區域集之中每個第二文本子區域的第二特徵值。例如，通過所述預設分類器萃取所述待識別圖像A中包括字元“S”的第一文本子區域的第一特徵值T₁₀，通過所述預設分類器萃取所述待識別圖像A中包括字元“W”的第一文本子區域的第一特徵值T₁₁，以及通過所述預設分類器萃取所述待識別圖像A中包括字元“3”的第一文本子區域的第一特徵值T₁₂；通過所述預設分類器萃取所述待識別圖像B中包括字元“B”的第一文本子區域的第一特徵值T₂₀，通過所述預設分類器萃取所述待識別圖像B中包括字元“J2”的第一文本子區域的第一特徵值T₂₁，以及通過所述預設分類器萃取所述待識別圖像B中包括字元“3”的第一文本子區域的第一特徵值T₂₂；以及通過所述預設分類器萃取所述待識別圖像C中包括部分字母“E”和部分字母“O”的第一文本子區域的第一特徵值T₃₀，通過所述預設分類器萃取所述待識別圖像C中包括部分字母“O”和字母“ti”的第一文本子區域的第一特徵值T₃₁，以及通過所述預設分類器萃取所述待識別圖像C中包括字元“3”的第一文本子區域的第一特徵值T₃₂。

通過所述預設分類器萃取所述標準圖像中包括字元“S”的第二文本子區域的第二特徵值T₀₀，通過所述預設分類器萃取所述標準圖像中包括字元“W”的第二文本子區域的第二特徵值T₀₁，以及通過所述預設分類器萃取所述標準圖像中包括字元“3”的第二文本子區域的第二特徵值T₀₂。

(3)計算所述第一特徵值與所述第二特徵值之間的圖元點相似度，得到圖元點相似度集。例如，計算所述待識別圖像A中的第一文本子區域集之中的第一文本子區域，與對應所述標準圖像第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集。具體地，計算所述第一特徵值T₁₀與所述第二特徵值T₀₀之間的圖元點相似度，得到圖元點相似度S₀₀，計算所述第一特徵值T₁₁與所述第二特徵值T₀₁之間的圖元點相似度，得到圖元點相似度S₀₁，以及所述第一特徵值T₁₂與所述第二特徵值T₀₂之間的圖元點相似度，得到圖元點相似度S₀₂。所述圖元點相似度集為{S₀₀，S₀₁，S₀₂}。或者計算所述待識別圖像B中的第一文本子區域集之中的第一文本子區域，與對應所述標準圖像第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集。具體地，計算所述待識別圖像B與所述標準圖像的圖元點相似度，如計算所述第一特徵值T₂₀與所述第二特徵值T₀₀之間的圖元點相似度，得到圖元點相似度S₁₀，計算所述第一特徵值T₂₁與所述第二特徵值T₀₁之間的圖元點相似度，得到圖元點相似度S₁₁，以及所述第一特徵值T₂₂與所述第二特徵值T₀₂之間的圖元點相似度，得到圖元點相似度S₁₂。所述圖元點相似度集為{S₁₀，S₁₁，S₁₂}。同樣可以計算所述待識別圖像C中的第一文本子區域集之中的第一文本子區域，與對應所述標準圖像第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集。

(b)判斷所述圖元點相似度集中的每個圖元點相似度是否都大於或等於預設值。當所述圖元點相似度集中的每個圖元點相似度都大於或等於預設值時，確認所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同，即確認待識別圖像中的第一文本區域與標準圖像中的第二文本區域相同，流程進入步驟S17；當所述圖元點相似度集中的存在有圖元點相似度小於所述預設值時，確認所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同，即確認待識別圖像中的第一文本區域與標準圖像中的第二文本區域不相同，流程進入步驟S18。

例如，所述圖元點相似度集中的圖元點相似度S₀₀，圖元點相似度S₀₁和圖元點相似度S₀₂都大於或等於所述預設值，流程進入步驟S17；若所述圖元點相似度集中的圖元點相似度S₀₀或圖元點相似度S₀₁，或圖元點相似度S₀₂小於所述預設值，流程進入步驟S18。

步驟S17：標記所述待識別圖像為合格圖像。

在本實施方式中，當所述圖元點相似度集中的每個圖元點相似度都大於或等於預設值時，判定待識別圖像中的目標文本區域中的所有文字皆被判定為與標準圖像中的第二文本區域中的所有文字相同，則標記所述待識別圖像為合格圖像。例如，待識別圖像A中的目標文本區域中的所有文字皆被判定為與標準圖像中的第二文本區域中的所有文字相同，可以標記所述待識別圖像A為合格圖像。

在一實施方式中，所述影像處理方法還可以輸出提示資訊提示所述待識別圖像為合格圖像。例如，輸出“Pass”資訊提示所述待識別圖像為合格圖像。也就是說，所述待識別圖像A對應的待測物為合格的待測物。

步驟S18：標記所述待識別圖像為瑕疵圖像。

在本實施方式中，當所述圖元點相似度集中的存在有圖元點相似度小於所述預設值時，即所述待識別圖像的目標文本區域中存在有文字被判定與標準圖像中的第二文本區域中文字不同，表示此待識別圖像的文字特徵與標準圖像的文字特徵不同，則標記所述待識別圖像為瑕疵圖像。例如，待識別圖像B中的目標文本區域中有文字與標準圖像中的第二文本區域中的文字不同，可以標記所述待識別圖像B為瑕疵圖像。也就是說，所述待識別圖像B對應的待測物為不合格的待測物。

在一實施方式中，所述待識別圖像被標記為瑕疵圖像包括多種可能情況。例如，所述待識別圖像上的文字與標準影像上的文字不同，如圖5A，此時可以確認所述待識別圖像對應的待測物與標準圖像對應的待測物不是同一類。例如，所述待識別圖像對應的待測物與標準圖像對應的待測物為不同廠商生產的IC類組件；所述待識別圖像上的文字大幅度偏移，如圖5B，此時可以確認所述待識別圖像對應的待測物發生位移，在後續使用中容易出現錯誤。例如，當所述待識別圖像對應的待測物為正方形元件時，需要焊接所述正方形元件的四個頂點在電路板上，若所述正方形元件對應的待識別圖像出現圖5B的情況，則無法準備地焊接在電路板上；所述待識別圖像上的文字缺失，如圖5C，此時無法確認所述待識別圖像對應的待測物是否與標準圖像對應的待測物為同類；所述待識別圖像上的文字模糊不清，如圖5D，此時也無法確認所述待識別圖像對應的待測物是否與標準圖像對應的待測物為同類；所述待識別圖像上的文字被異物遮蓋或光源異常，如圖5E，此時確認所述待識別圖像對應的待測物上可能有異物，可能影響待測物的性能；及所述待識別圖像出現歪斜，如圖5F，此時確認所述待識別圖像對應的待測物可能出現歪斜。

在一實施方式中，所述影像處理方法還可以輸出提示資訊提示所述待識別圖像為瑕疵圖像。例如，輸出“Fail”資訊提示所述待識別圖像為瑕疵圖像。

綜上所述，本申請提供的影像處理方法，通過運用影像處理方法及分類器萃取待識別圖像的特徵，使得相同的文字雖然有不同的字體型態皆能萃取出相似特徵，再與標準圖像的文字特徵做比對，以判斷所述待識別圖像是否為合格圖像。本申請能使機台誤判率大幅降低，大幅提升整體產線效率。

請參閱圖6，在本實施方式中，所述影像處理系統20可以被分割成一個或多個模組，所述一個或多個模組可存儲在所述處理器12中，並由所述處理器12執行本申請實施例的影像處理方法。所述一個或多個模組可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述影像處理系統20在所述電子裝置1中的執行過程。例如，所述影像處理系統20可以被分割成圖6中的獲取模組201、處理模組202、判斷模組203以及標記模組204。

所述獲取模組201用於獲取待識別圖像和標準圖像；所述獲取模組201還用於獲取所述待識別圖像中的第一文本區域；所述獲取模組201還用於獲取所述標準圖像中的第二文本區域，根據所述第二文本區域提取文本視窗，其中，所述文本視窗包括多個子視窗；所述處理模組202用於基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域；所述處理模組202還用於根據所述多個子視窗分割所述目標文本區域，得到第一文本子區域集，及根據所述多個子視窗分割所述第二文本區域，得到第二文本子區域集；所述判斷模組203用於判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同；及所述標記模組204用於當所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同，標記所述待識別圖像為合格圖像。

由於產線資料的多變性，本申請還製定了一套系統更新機制，透過持續累積的資料使所述影像處理系統20可以自動更新，確保模型精準，以達到適應各種產品的效果。

在一實施方式中，可以將待識別圖像經過本系統判定之結果，與人工處理標記之結果做比對，可以計算出準確率、漏檢率及過殺率等檢測指標。當所述檢測指標達到產線所設定之標準，代表整體系統穩定，產線的新資料(即待識別圖像)會持續透過本申請的影像處理系統20判斷是否有瑕疵。

若檢測指標沒有達到產線所設定之標準，啟動系統更新機制，針對該產線資料(即待識別圖像)重新訓練所述預設分類器，加強預設分類器對於產線資料之適應性，重新訓練後的結果再與人工資料標記之結果做比對，並計算檢測指標，如此反復直到檢測指標達到產線設定的要求，則完成系統更新。

舉例而言，本申請搜集SMT產線上AOI機台判斷為瑕疵之IC類文字元件的待識別圖像共699張，其中分為386張訓練資料用於開發所述影像處理系統，以及313張為驗證資料用於系統開發完成後的驗證與測試，根據影像處理系統的混淆矩陣結果如圖7所示。圖7中左邊的混淆矩陣記錄的是開發所述影像處理系統時的訓練資料的結果。通過人工檢測的真實結果為252張圖像是合格的，標記為“PASS”，134張圖像是不合格的，標記為“FAIL”。而通過所述影像處理系統的預測結果為246張圖像是合格的，標記為“PASS”，140張圖像是不合格的，標記為“FAIL”，其中有6張圖片被所述影像處理系統誤判為不合格的圖像。由此可以計算得到訓練資料中的漏檢率為0/(0+134)=0%，過殺率為6/(246+6)=2.3%。

圖7中右邊的混淆矩陣記錄的是開發所述影像處理系統時的驗證資料的結果。通過人工檢測的真實結果為183張圖像是合格的，標記為“PASS”，130張圖像是不合格的，標記為“FAIL”。而通過所述影像處理系統預測的結果為179張圖像是合格的，其中1張圖像為不合格誤判為合格，134張圖像是不合格的，其中5張圖像為不合格誤判為合格。由此可以計算得到驗證資料中的漏檢率為1/(1+129)=0.7%，過殺率為5/(178+5)=2.7%。由此可知，在驗證資料中，經過本申請的影像處理系統，準確率高達98%，將此系統應用於SMT產線上可大幅降低人工目檢所需的時間，並且能減少產線工程師調整AOI機台參數的頻率，大幅提升效率及整體產線穩定性。

在一實施方式中，所述處理器12可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器12也可以是其它任何常規的處理器等。

所述影像處理系統20中的模組如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、U盤、移動硬碟、磁片、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。需要說明的是，所述電腦可讀介質包含的內容可以根據司法管轄區內立法和專利實踐的要求進行適當的增減，例如在某些司法管轄區，根據立法和專利實踐，電腦可讀介質不包括電載波信號和電信信號。

可以理解的是，以上所描述的模組劃分，為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。另外，在本申請各個實施例中的各功能模組可以集成在相同處理單元中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同單元中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。

在另一實施方式中，所述電子裝置1還可包括記憶體(圖未示)，所述一個或多個模組還可存儲在記憶體中，並由所述處理器12執行。所述記憶體可以是電子裝置1的內部記憶體，即內置於所述電子裝置1的記憶體。在其他實施例中，所述記憶體也可以是電子裝置1的外部記憶體，即外接於所述電子裝置1的記憶體。

在一些實施例中，所述記憶體用於存儲程式碼和各種資料，例如，存儲安裝在所述電子裝置1中的影像處理系統20的程式碼，並在電子裝置1的運行過程中實現高速、自動地完成程式或資料的存取。

所述記憶體可以包括隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟、智慧存儲卡(Smart Media Card，SMC)、安全數位(Secure Digital，SD)卡、快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。

對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將本申請上述的實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。

Claims

一種影像處理方法，所述方法包括：獲取待識別圖像和標準圖像；獲取所述待識別圖像中的第一文本區域；獲取所述標準圖像中的第二文本區域，根據所述第二文本區域提取文本視窗，其中，所述文本視窗包括多個子視窗；基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域；根據所述多個子視窗分割所述目標文本區域，得到第一文本子區域集，及根據所述多個子視窗分割所述第二文本區域，得到第二文本子區域集；判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同；及當所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同，標記所述待識別圖像為合格圖像。
如請求項1所述之影像處理方法，所述基於所述第一文本區域和所述文本視窗，得到所述待識別圖像中的目標文本區域包括：截取所述標準圖像中的第二文本區域；利用所述第二文本區域與所述第一文本區域進行匹配，找到所述第二文本區域中與所述第一文本區域圖元點相似度最高的區域；及利用所述文本視窗在所述第一文本區域中框選出所述圖元點相似度最高的區域，得到所述目標文本區域。
如請求項1所述之影像處理方法，判斷所述第一文本子區域集之中所有第一文本子區域是否與所述第二文本子區域集之中對應的第二文本子區域相同包括：計算所述第一文本子區域集之中的第一文本子區域與對應所述第二文本子區域集之中第二文本子區域之間的圖元點相似度，得到圖元點相似度集；判斷所述圖元點相似度集中的每個圖元點相似度是否都大於或等於預設值；當所述圖元點相似度集中的每個圖元點相似度都大於或等於預設值時，確認所述第一文本子區域集之中所有第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域都相同；當所述圖元點相似度集中的存在有圖元點相似度小於所述預設值時，確認所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同。
如請求項3所述之影像處理方法，得到所述圖元點相似度集的方法包括：通過預設分類器萃取所述第一文本子區域集之中的每個第一文本子區域中字元的第一特徵值，以及通過所述預設分類器萃取所述第二文本子區域集之中每個第二文本子區域中字元的第二特徵值；及計算所述第一特徵值與所述第二特徵值之間的圖元點相似度，得到圖元點相似度集。
如請求項4所述之影像處理方法，所述得到所述圖元點相似度集的方法還包括：將所述第一文本子區域集之中的每一第一文本子區域輸入到所述預設分類器中，以識別每個第一文本子區域。
如請求項1所述之影像處理方法，所述方法還包括：當所述第一文本子區域集之中存在第一文本子區域與所述第二文本子區域集之中對應的第二文本子區域不相同時，標記所述待識別圖像為瑕疵圖像。
如請求項6所述之影像處理方法，所述方法還包括預處理所述待識別圖像，所述預處理所述待識別圖像包括：通過濾波器濾除所述待識別圖像中的雜訊；通過影像增強技術增強所述第一文本區域；及二值化處理所述待識別圖像。
如請求項7所述之影像處理方法，所述方法還包括：標記所述待識別圖像為合格圖像後，輸出提示資訊提示所述待識別圖像為合格圖像；或者標記所述待識別圖像為瑕疵圖像後，輸出提示資訊提示所述待識別圖像為瑕疵圖像。
一種電子裝置，所述電子裝置包括：處理器；以及記憶體，所述記憶體中存儲有多個程式模組，所述多個程式模組由所述處理器載入並執行如請求項1至請求項8中任意一項所述影像處理方法。
一種存儲介質，其上存儲有至少一條電腦指令，所述指令由處理器載入並執行如請求項1至請求項8中任意一項所述影像處理方法。