TWI786484B - 用於影像標記標準化的方法、電子裝置及電腦程式產品 - Google Patents

用於影像標記標準化的方法、電子裝置及電腦程式產品 Download PDF

Info

Publication number
TWI786484B
TWI786484B TW109143375A TW109143375A TWI786484B TW I786484 B TWI786484 B TW I786484B TW 109143375 A TW109143375 A TW 109143375A TW 109143375 A TW109143375 A TW 109143375A TW I786484 B TWI786484 B TW I786484B
Authority
TW
Taiwan
Prior art keywords
image
defect
marking
result
defective
Prior art date
Application number
TW109143375A
Other languages
English (en)
Other versions
TW202223832A (zh
Inventor
盧廷傑
陳慶明
蔡昀原
陳世祥
張家泓
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Publication of TW202223832A publication Critical patent/TW202223832A/zh
Application granted granted Critical
Publication of TWI786484B publication Critical patent/TWI786484B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Character Discrimination (AREA)

Abstract

一種影像標記標準化的方法，包括：接收一缺陷態樣；依據缺陷態樣，對一影像進行標記，產生一第一判斷結果；依據缺陷態樣，對影像進行標記，而產生第二判斷結果；比較第一判斷結果及第二判斷結果，而得到一比較結果；依據比較結果更新缺陷態樣，用以標準化缺陷態樣。本揭露的影像標記方法係可使得經訓練的影像辨識演算法的訓練資料的標記穩定性提高，進而提升經訓練的影像辨識演算法的影像辨識的正確率。

Description

用於影像標記標準化的方法、電子裝置及電腦程式產品
本揭露係有關於影像標記方法，特別有關於利用卷積神經網路進行影像辨識的影像標記方法。
在現有工業生產的人工智慧機器學習範疇中，由於專業分工及資料量龐大，通常由一專業標記人員執行資料標記，由研發人員執行影像辨識模型的訓練，並確認效果，再由產線上的技術人員比對由專業標記人員及影像辨識模型各別的標記結果進行對比。研發人員確認效果的目的在於確認影像辨識模型是否成功達到智識轉移(knowledge transfer)，用以達到取代人類思考與決策的效果。因此，儘管現有人工智慧機器學習通常已足以滿足其預期目的，但它們並不是在每一方面都完全令人滿意。
依據本揭露實施例之影像標記標準化的方法，包括：接收一缺陷態樣；依據缺陷態樣對一影像進行標記，產生一第一判斷結果；依據缺陷態樣，對影像進行標記，產生一第二判斷結果；比較第一判斷結果及第二判斷結果，得到一比較結果；依據比較結果，更新缺陷態樣，用以標準化缺陷態樣。
如上所述之方法，其中，對影像進行標記包括：接收來自一使用者介面(user interface：UI)的一控制訊號，並且依據控制訊號，將影像標記為缺陷影像或非缺陷影像，或將影像刪除。
如上所述之方法，其中，對影像進行標記更包括：接收來自使用者介面的控制訊號，依據控制訊號將影像儲存至對應的一儲存空間。
如上所述之方法，其中，產生第一判斷結果包括：於不同時間點，接收依據缺陷態樣對影像進行判斷而判斷出的第一判斷結果及一複判結果；當複判結果相同於第一判斷結果時，則依據第一判斷結果對影像進行標記；其中，第一判斷結果記錄影像是否為一缺陷圖像。
如上所述之方法，更包括：取得缺陷態樣的一規格版本；其中，規格版本記錄了缺陷態樣的更新日期。
如上所述之方法，其中，產生第二判斷結果包括：以影像做為訓練資料而生成經訓練的一影像辨識演算法；利用影像辨識演算法，判斷影像是否為一缺陷圖像，而得到該第二判斷結果。
如上所述之方法，更包括：對標記結果進行稽核；其中，對標記結果進行稽核包括：於不同時間點，接收一第一稽核結果及一第二稽核結果；第一稽核結果及第二稽核結果記錄不同時間點時，同一群複數影像中所包括缺陷影像及非缺陷影像的數目；當第一稽核結果相異於第二稽核結果的機率比例低於第一閾值，則判定標記結果為合格。
如上述之方法，其中，更新缺陷態樣的規格版本包括：增加或減少對應於至少一缺陷態樣的影像數目；或增加或減少缺陷設定檔中所定義缺陷態樣的種類數目。
依據本揭露實施例之電子裝置，用於影像標記標準化，包括：一使用者介面及一處理器。使用者介面接收一缺陷態樣，並且接收依據缺陷態樣對一影像進行標記而產生的一第一判斷結果。處理器接收來自使用者介面的缺陷態樣及第一判斷結果，並且依據缺陷態樣對影像進行標記，而產生一第二判斷結果。處理器比較第一判斷結果及第二判斷結果，而得到一比較結果。處理器依據比較結果，更新缺陷態樣，用以標準化缺陷態樣。
依據本揭露實施例之電腦程式產品，用於影像標記標準化，適用於具有一處理器的電腦中，包括：一第一接收指令、一第二接收指令、一判斷指令、一比較指令，及一更新指令。第一接收指令使得處理器接收一缺陷態樣。第二接收指令使得處理器接收依據缺陷態樣對一影像進行標記而產生的一第一判斷結果。判斷指令使得處理器依據缺陷態樣，對影像進行標記，而產生一第二判斷結果。比較指令使得處理器比較第一判斷結果及第二判斷結果，而得到一比較結果。更新指令使得處理器依據比較結果，更新缺陷態樣，用以標準化缺陷態樣。
本發明係參照所附圖式進行描述，其中遍及圖式上的相同參考數字標示了相似或相同的元件。上述圖式並沒有依照實際比例大小描繪，其僅僅提供對本發明的說明。一些發明的型態描述於下方作為圖解示範應用的參考。這意味著許多特殊的細節，關係及方法被闡述來對這個發明提供完整的了解。無論如何，擁有相關領域通常知識的人將認識到若沒有一個或更多的特殊細節或用其他方法，此發明仍然可以被實現。以其他例子來說，眾所皆知的結構或操作並沒有詳細列出以避免對這發明的混淆。本發明並沒有被闡述的行為或事件順序所侷限，如有些行為可能發生在不同的順序亦或同時發生在其他行為或事件之下。此外，並非所有闡述的行為或事件都需要被執行在與現有發明相同的方法之中。
本揭露實施例之影像標記標準化的方法係適用於生產複數產品的複數產線中。在一些實施例中，該等產品為一電子裝置，例如一筆記型電腦、一智慧行動裝置，或一平板電腦。在產線中，複數自動光學檢查(automated optical inspection：AOI)設備利用光學儀器取得產品的成品或半成品的表面狀態(例如以影像的形式表示)，再以電腦影像處理技術來檢出異物或圖案異常等瑕疵。由於自動光學檢查屬於非接觸式檢查，因此可於中間工程檢查產品的半成品。換句話說，本揭露的影像標記標準化的方法利用來自於自動光學檢查設備所拍攝到的影像來做後續處理，用以達到將影像標記為缺陷影像或非缺陷影像的目的。
第1圖為本揭露實施例之影像標記標準化的方法的流程圖。如第1圖所示，本揭露實施例之影像標記標準化的方法首先接收一缺陷設定檔，缺陷設定檔定義缺陷影像的一缺陷態樣(步驟S100)。在一些實施例中，本揭露實施例之影像標記標準化的方法更取得缺陷態樣的一規格版本，規格版本記錄了缺陷態樣的更新日期。接著，本揭露實施例之影像標記標準化的方法依據步驟S100中所接收的缺陷態樣，對一影像進行標記，而產生一第一判斷結果(步驟S102)。更詳細地說，在步驟S102中，本揭露實施例之影像標記標準化的方法於不同時間點，接收依據缺陷態樣對影像進行判斷而判斷出的一第一判斷結果及一複判結果。當複判結果相同於第一判斷結果時，依據第一判斷結果及複判結果，對影像進行標記。第一判斷結果複判記錄影像是否為缺陷影像。接著，本揭露實施例之影像標記標準化的方法再度依據步驟S100中所接收的缺陷態樣，對同一影像進行標記，而產生一第二判斷結果(步驟S104)。更詳細地說，在步驟S104中，本揭露實施例之影像標記標準化的方法以影像做為訓練資料而生成經訓練的一 影像辨識演算法，並且利用影像辨識演算法，判斷影像是否為缺陷影像，而得到第二判斷結果。之後，本揭露實施例之影像標記標準化的方法比較步驟S102中所得到的第一判斷結果與步驟S104中所得到的第二判斷結果，而得到一比較結果(步驟S106)。最後，依據第二判斷結果及第一判斷結果的比較結果(例如，比較結果為第二判斷結果相異於第一判斷結果)更新缺陷態樣(例如更新缺陷態樣的規格版本)，並重新定義缺陷影像的缺陷態樣，用以標準化缺陷態樣(步驟S108)。
在一些實施例中，第1圖步驟S100中影像的缺陷設定檔中的缺陷態樣(或缺陷項目)可例如包括元件歪斜、元件破損、元件缺件、元件空焊、元件位移、元件周圍異物、通孔異物堵塞、殘膠、缺膠、溢膠、組裝未對齊…等，但本揭露不限於此。在一些實施例中，本揭露影像標記標準化的方法可依據不同的產線製程，定應地定義不同的缺陷態樣。舉例來說，上述元件歪斜、元件破損、元件缺件、元件空焊係屬於表面貼焊技術(SMT)製程中常見的缺陷態樣。上述殘膠、缺膠、溢膠、組裝未對齊係屬於組裝製程中常見的缺陷態樣。在一些實施例中，為了滿足步驟S108中的影像辨識演算法佈署於產線後可以取代原人工判定，在步驟S100中，本揭露實施例之影像標記標準化的方法係根據產品缺陷定義與機器語言邏輯，構築出完整的資料矩陣。在一些實施例中，缺陷設定檔包括複數缺陷態樣，以及對應於該等缺陷態樣的影像。舉例來說，缺陷設定檔記錄了元件歪斜、元件破損及元件周圍異物的缺陷態樣。缺陷設定檔也記錄了對應於元件歪斜的複數影像、對應於元件破所的複數影像，以及對應於元件周圍異物的複數影像。在一些實施例中，缺陷設定檔包括複數文件夾，每一文件夾分別對應於一缺陷態樣，並且每一文件夾分別儲存了對應於缺陷態樣的複數影像。
舉例來說，以AOI為例，若僅使用一檢測框代碼作為對影像分類的依據，例如以檢測框代碼A表示元件歪斜、以檢測框代碼B表示元件缺件，以及以檢測框代碼C表示元件周圍異物，在實務上常發現檢測框代碼與實際元件不良現象不一定吻合，因而造成實際影像(影像)與檢測框代碼不符的情況，而造成後續步驟S108中的影像辨識演算法無法達到預期的影像識別的水準。在一些實施例中，本揭露影像標記標準化的方法將產品的缺陷項目結合產品規範資訊，而形成視覺化文件(亦即包括各種缺陷態樣及對應各種缺陷態樣的影像的缺陷設定檔)，並且依據上述視覺化文件作為執行後續步驟的基礎。
在一些實施例中，步驟S100中的缺陷態樣係儲存在一缺陷設定檔中。缺陷設定檔記錄了產品的缺陷項目以及產品規範資訊。產品的規範資訊可例如為元件外觀長度的可接受範圍。在一些實施例中，缺陷設定檔更記錄了缺陷項目的更新版本。舉例來說，缺陷設定檔記錄了缺陷項目A係於一時間a加入或更新於缺陷設定檔中，並且缺陷項目A在時間a時由原先的版本1.2更新為版本1.3，以及缺陷項目B係於一時間b加入或更新於缺陷設定檔中，並且缺陷項目B在時間點b時由原先的版本2.0更新為3.0。在一些實施例中，缺陷設定檔更記錄了各個缺陷項目在儲存空間(例如一記憶體)中的儲存位置。在一些實施例中，步驟S100中的缺陷態樣係定義自AOI設備所擷取的產品影像，但本揭露不限於此。例如，本揭露亦可從任何影像擷取設備所擷取的影像中定義產品的缺陷態樣。
在一些實施例中，本揭露實施例之影像標記標準化的方法在步驟S100之後先取得缺陷態樣的一規格版本。換句話說，缺陷設定檔更包括缺陷態樣的規格版本，規格版本記錄了缺陷態樣的更新或導入日期。舉例來說，假設元件歪斜的缺陷態樣係於一第一日期時導入或更新於缺陷設定檔中，因此在缺陷設定檔中，元件歪斜的缺陷態樣即會被標記為「元件歪斜(第一日期)」。缺陷設定檔中的缺陷態樣的規格版本可有效管控每一缺陷態樣的導入時間，當在步驟S106中影像辨識演算法所判斷出的第二判斷結果相異於步驟S102中的第一判斷結果時，以便找出造成第一判斷結果與第二判斷結果相異的對應於缺陷態樣的影像(即影像辨識演算法的訓練資料)，用以對對應於缺陷態樣的影像訂立新的缺陷標準，亦即對缺陷態樣訂立新的缺陷標準，最終用以標準化缺陷態樣。
在一些實施例中，在步驟S102中，本揭露實施例之影像標記標準化的方法更於不同時間點，接收依據缺陷態樣所判斷出的一第一判斷結果及一複判結果。換句話說，步驟S102更對所接收的第一判斷結果及複判結果的一致性進行考核。換句話說，步驟S102更對(依據相同缺陷標準)產生第一判斷結果及複判結果的一物件(例如一電腦或一人員)的標記能力進行考核。當複判結果相異於第一判斷複判結果，則本揭露實施例之影像標記的方法對影像進行標記。第一判斷結果複判記錄影像是否為缺陷影像或非缺陷影像。在一些實施例中，本揭露實施例之影像標記標準化的方法是由影像標記技術員(Annotation Technician：AT)操作一使用者介面(user interface：UI)，使得產線中的電腦得以於不同時間點，接收依據缺陷態樣對影像進行判斷而判斷出的第一判斷結果及複判結果。在一些實施例中，影像標記技術員只負責影像規格的歸納與影像標記的執行，但不參與影像規格的制定。一般來說，影像規格的制定係由工廠端各單位根據產品規格書與生產實務來執行。舉例來說，工廠端各單位可包括產品設計工程師、製程工程師、人工智慧研發工程師、產品組裝及測試人員、供貨商管理工程師，以及品質工程師，但本揭露不限於此。在一些實施例中，本揭露影像標記標準化的方法是由一至多台電腦讀取步驟S100中的缺陷設定檔，並且依據缺陷設定檔中所定義的缺陷態樣，判定(輸入)影像是否為缺陷影像。
當影像標記技術員在判斷影像是否為缺陷影像上遇到產品製程規格變化或者爭議時，本揭露影像標記的方法將啟動一標記會議的機制，由上述產品設計工程師、製程工程師、人工智慧研發工程師、產品組裝及測試人員、供貨商管理工程師，以及品質工程師針對有爭議的目標特徵影像進行討論，並且對該次標記會議的會議結果建立一規格版本號，因而可針對標記判斷標準(或標記標準)進行精準調整。在一些實施例中，在標記會議中若目標特徵影像具有爭議時，在本揭露影像標記的方法會執行目標特徵影像的關聯性分析(依據目標特徵影像關聯於何種缺陷，由對應的工廠單位執行規格判定)，並且會由參與標記會議的產品設計工程師或品質工程師根據產品規格下最後結論。舉例來說，若關聯於SMT置件缺陷的影像具有爭議，則由SMT製程工程師來進行規格判定。在一些實施例中，標記會議的結果會被更新至缺陷設定檔中，使得缺陷影像的缺陷態樣可得到同步更新。
在一些實施例中，本揭露實施例之影像標記方法可透過增加或減少對應於至少一缺陷態樣的影像數目，或增加或減少缺陷設定檔中所定義缺陷態樣的種類數目…等方式，用以更新缺陷影像的缺陷態樣及缺陷態樣的規格版本。例如，當一影像被判斷為元件歪斜時，則影像會被加入於元件歪斜的缺陷態樣(儲存於元件歪斜的缺陷態樣的文件夾)中，並且該影像會被標記導入日期(例如儲存於對應於元件歪斜的文件夾的日期)。
在一些實施例中，步驟S102中，當一第一影像於一時間點C被影像標記技術員判斷為缺陷影像，影像標記技術員透過使用者介面將第一判斷結果輸入予產線電腦，因此第一判斷結果中會記載第一影像為缺陷影像。當相同的第一影像於一時間點D被判斷為非缺陷影像，則複判結果中會記載第一影像為非缺陷影像。
在步驟S102中，當時間點D的複判結果相同於時間點C的第一判斷結果，亦即第一判斷結果記載第一影像為缺陷影像，並且複判結果記載第一影像也為缺陷影像；或第一判斷結果記載第一影像為非缺陷影像，並且複判結果記載第一影像也為非缺陷影像，則本揭露實施例的影像標記標準化方法對第一影像進行標記動作。在一些實施例中，影像標記技術員透過使用者介面對第一影像進行標記。換句話說，本揭露的影像標記方法在步驟S102中最終認定影像(例如第一影像)為缺陷影像或非缺陷影像。在一些實施例中，本揭露影像標記方法在步驟S102中的接收複判結果的過程中，對上述影像標記技術員或一至多台電腦的標記能力進行考核。
舉例來說，一影像標記技術員甲依據於步驟S100所定義的缺陷態樣，首先在時間點C判定一第二影像為缺陷影像。影像標記技術員透過使用者介面將「第二影像為缺陷影像」的判斷結果輸入至產線電腦。接著，在步驟S102中，由影像標記技術員甲再對相同的第二影像進行複判，並且影像標記技術員再透過使用者介面將第二影像的複判結果輸入至產線電腦。在複判結果中，當第二影像同樣為缺陷影像時，則本揭露實施例之影像標記標準化方法認定影像標記技術員甲的標記能力為合格，則會讓影像標記技術員甲繼續留在產線中。相反地，當影像標記技術員甲在步驟S102中判定第二影像為非缺陷影像時，亦即步驟S102的第一判斷結果相異於複判結果，則本揭露實施例的影像標記標準化方法則認定影像標記技術員甲不合格，會請影像標記技術員甲暫時離開產線。
第2圖為本揭露實施例之影像標記標準化方法一使用者介面(user interface：UI)的示意圖。上述實施例中的影像標記技術員甲即操作如第2圖的使用者介面，用以將影像標記為該缺陷影像或該非缺陷影像，或將影像刪除。如第2圖所示，使用者介面200係可顯示於產線中的一至多台電腦所連接的顯示幕中。在一些實施例中，使用者介面200亦可顯示於影像標記技術員所隨身攜帶的行動裝置中，用以隨時對不同的影像進行標記。使用者介面200包括影像顯示202、影像標記物件204及206、影像刪除物件208、影像標記顯示210、影像開啟物件212、標記完成物件214、標記進度顯示216、上一頁物件218及下一頁物件220。在一些實施例中，影像顯示202係用以顯示影像(例如上述第一影像、第二影像，及第三影像)。影像標記技術員透過影像顯示202觀察到影像的缺陷態樣，使得影像標記技術員可依據影像的缺陷態樣，對影像進行標記。
在一些實施例中，影像標記物件204係用以將影像顯示202中即時顯示的影像標記為缺陷影像，而影像標記物件206係用以將影像顯示202中即時顯示的影像標記為非缺陷影像。當影像標記技術員按下使用者介面200中的影像標記物件204及206時，影像顯示202中即時顯示的影像會自動地被儲存至一儲存空間。舉例來說，當一第四影像顯示於影像顯示202中時，影像標記技術員按下影像標記物件204，則第四影像會被儲存至一缺陷資料夾中。影像標記技術員按下影像標記物件206，則第四影像會被儲存至一非缺陷資料夾中。
影像刪除物件208係用以刪除影像顯示202中即時顯示的影像。舉例來說，影像標記技術員從影像顯示202中即時顯示的影像並非屬於本條產線中所生產產品的影像，影像標記技術員可透過影像刪除物件208將影像顯示202中即時顯示的影像刪除。影像標記顯示210可顯示即時的缺陷影像或非缺陷影像的統計個數。在一些實施例中，影像開啟物件212可讀取儲存空間中的影像，並且將所讀取的影像顯示於影像顯示202中。當影像標記技術員完成所有影像的標記後，可透過標記完成物件214而結束標記流程。在一些實施例中，標記進度顯示216可顯示當前的標記進度。舉例來說，影像標記技術員透過影像開啟物件212從一儲存空間(例如一資料夾)中讀取複數影像。標記進度顯示216可顯示所讀取資料夾中的影像的個數，並且顯示未完成標記的影像的個數。在一些實施例中，影像標記技術員可透過上一頁物件218及下一頁物件220用以切換影像顯示202中即時顯示的影像。本揭露實施例之影像標記方法的使用者介面200的版面配置及功能僅為例示，不做為本揭露的限制。
在一些實施例中，本揭露的影像標記方法更會對影像的標記結果進行稽核。當對影像的標記作業是由影像標記技術員所執行時，影像標記技術員對同一影像的標記結果會受到人性的影響而會有波動，或是影像本身就具備高爭議的特性。若是以高度爭議的影像作為步驟S104中的影像辨識演算法的訓練資料，會使得影像辨識演算法的判斷精準度受到影響。因此，本揭露的影像標記方法會對每一影像標記技術員的標記結果進行稽核。
舉例來說，本揭露實施例的影像標記方法對影像標記技術員甲的標記結果進行稽核。首先，影像標記技術員甲會(例如於時間點E)判斷複數影像中的一第五影像是否為缺陷影像(第一次判斷)，並且透過使用者介面將其判斷結果輸出予產線電腦。產線電腦接收使用者介面的控制訊號，而得到一第一稽核結果。接著，影像標記技術員甲(例如於時間點F)再次判斷複數影像中的第五影像是否為缺陷影像(第二次判斷)，並且透過使用者介面將其判斷結果輸出予產線電腦。產線電腦接收使用者介面的控制訊號，而得到一第二稽核結果。換句話說，本揭露的影像標記方法讓同一位影像標記技術員於不同時間點判斷同一張影像，並且比較兩次的稽核結果是否相同。在一些實施例中，第一稽核結果及第二稽核結果記錄不同時間點(例如時間點E、F)時，同一群複數影像中所包括缺陷影像及非缺陷影像的數目。當第一稽核結果相異於該第二稽核結果的比例(moving rate)，或稱一移動率，低於一第一閾值，本揭露的影像標記方法則判定影像標記技術員甲的標記結果為合格。在一些實施例中，第一閾值為20%。在一些實施例中，第一閾值可依據先前測試中不同的步驟S102中第一判斷結果與步驟S104中第二判斷結果的比較結果(亦即在步驟S106中比較第一判斷結果與第二判斷結果是否相同)，做動態調整，用以有效管控影像同一標記技術員對同一影像的標記能力。
舉例來說，本揭露實施例的影像標記標準化方法對影像標記技術員甲所標記的5643個影像進行稽核。依據上述稽核步驟，本揭露的影像標記標準化方法發現有508個影像在第一次判斷中為非缺陷影像，而在第二次判斷中為缺陷影像。此外，有1063個影像在第一次判斷中為缺陷影像，而在第二次判斷中為非缺陷影像。因此，可得到第一稽核結果相異於第二稽核結果的比例為(508+1063)/5643=27.84%。由於27.84%大於第一閾值(例如20%)，因此本揭露實施例的影像標記標準化方法判定影像標記技術員甲的標記結果不合格。在一些實施例中，當影像標記技術員甲的標記結果不合格時，影像標記技術員甲必須先離開產線，直到其所測試的第一稽核結果及第二稽核結果的移動率低於20%。
在一些實施例中，本揭露的影像標記標準化方法會讓不同影像標記技術員判斷同一份複數影像，用以對不同影像標記技術員的標記結果進行稽核。舉例來說，影像標記技術員甲判斷複數影像中的一第六影像是否為缺陷影像，並且透過使用者介面將其判斷結果輸出予產線電腦。產線電腦接收使用者介面的控制訊號，而得到一第三稽核結果。影像標記技術員乙判斷複數影像中的第六影像是否為缺陷影像，並且透過使用者介面將其判斷結果輸出予產線電腦。產線電腦接收使用者介面的控制訊號，而得到一第四稽核結果。本揭露實施例的影像標記標準化方法比較第三稽核結果及第四稽核結果。當第三稽核結果相異於第四稽核結果的比例低於一第二閾值，則本揭露的影像標記方法判定影像標記技術員甲、乙的標記結果為合格。在一些實施例中，第二閾值為5%。在一些實施例中，第二閾值可依據先前測試中不同的步驟S102中第一判斷結果與步驟S104中第二判斷結果的比較結果(亦即在步驟S106中比較第一判斷結果與第二判斷結果是否相同)，做動態調整，用以有效管控不同影像標記技術員對同一影像的標記能力。
接著，本發明的影像標記方法以影像(例如上述經標記後的第一影像、第二影像、第三影像、第四影像、第五影像，及第六影像)做為訓練資料而生成經訓練的一影像辨識演算法。在一些實施例中，影像辨識演算法為一卷積神經網路(Convolution Neural Network：CNN)。在一些實施例中，卷積神經網路更為一深度殘差網路(RestNet)。第3圖為本揭露實施例之影像標記標準化方法的深度殘差網路的結構示意圖。如第3圖所示，深度殘差網路300包括一卷積層302、一殘差層304、一全局池化層(global pooling)306，以及一全連接層(dense)308。在一些實施例中，卷積層302係以7*7大小的特徵濾波器對所輸入的影像310進行特徵擷取。由於卷積層302的特徵濾波器的大小較大(例如7*7)，卷積層302可將影像310的局部特徵擷取出來，並且將影像310的局部特徵輸入至殘差層304。在一些實施例中，殘差層304是由複數卷積區塊及複數身分區塊彼此交疊串聯而成。在一些實施例中，影像310可為224*224大小的方形影像或336*112大小的矩形影像。
第4圖為本揭露實施例之影像標記標準化方法的深度殘差網路的卷積區塊(convolution block)400及身分區塊(identify block)410的結構示意圖。如第4圖所示，卷積區塊400包括一卷積層402、一卷積層404、一卷積層406，以及一卷積層408。卷積層402、406、408具有1*1大小的特徵濾波器，卷積層404具有3*3大小的特徵濾波器，用以擷取特徵影像420的細部特徵。在一些實施例中，特徵影像420為從第3圖影像310所擷取出的特徵。特徵影像420經過卷積層402、404、406的特徵擷取，而產生特徵影像422。另一方面，特徵影像420直接經過卷積層408的特徵擷取，而產生特徵影像424。接著，卷積區塊400將特徵影像422及特徵影像424進行疊加，而產生特徵影像426，並且將特徵影像輸出至下一層。
身分區塊410包括卷積層412、卷積層414，及卷積層416。卷積層412、416具有1*1大小的特徵濾波器，卷積層414具有3*3大小的特徵濾波器。在一些實施例中，特徵影像430為從第3圖的影像310所擷取出的特徵。在一些實施例中，特徵影像430經過卷積層412、414、416的特徵擷取，而產生特徵影像432。身分區塊410係將特徵影像432輸出至下一層。在一些實施例中，特徵影像432係作為殘差層304的最終輸出，並且被輸出予第3圖的全局池化層306。當影像310為224*224的方形影像時，全局池化層306以1344個特徵影像值描述影像310。當影像310為336*112的矩形影像時，全局池化層306以2048個特徵影像值描述影像310。在一些實施例中，當影像310為224*224的方形影像時，全連接層308以1344個特徵影像值拼湊為缺陷影像及非缺陷影像所對應的數值，而得到數值312。
最後，本揭露的影像標記標準化方法以softmax函數將數值312轉換為機率。舉例來說，數值312能以(-2.6,3.1)表示，其中-2.6為深度殘差網路300將影像310判斷為非缺陷影像的數值，而3.1為深度殘差網路300將影像310判斷為缺陷影像的數值。本揭露的影像標記標準化方法透過softmax函數將數值312轉換為機率(0.003,0.997)。換句話說，深度殘差網路300將影像310判斷為非缺陷影像的機率為0.3%，而將影像310判斷為缺陷影像的機率為99.7%。因此，深度殘差網路300遂將影像310判斷為缺陷影像。softmax函數是邏輯回歸(logistic regression)的推廣，因此適用於多元分類的問題，例如將影像分類為缺陷影像或非缺陷影像。
回到第1圖，當本揭露的影像標記標準化方法將影像(例如上述經標記後的第一影像、第二影像、第三影像、第四影像、第五影像、第六影像，或第3圖的影像310)做為訓練資料而生成經訓練的卷積神經網路(例如深度殘差網路300)之後，於步驟S104中，本揭露實施例的影像標記標準化方法再利用經訓練的影像辨識演算法(例如卷積神經網路)，判斷同一影像是否為缺陷影像，而得到一第二判斷結果。本揭露實施例的影像標記標準化方法接著於步驟S106中比較步驟S102的第一判斷結果及步驟S104的第二判斷結果，並且於步驟S108中，依據步驟S102的第一判斷結果及步驟S104的第二判斷結果，更新步驟S100中所定義的缺陷設定檔，用以更新缺陷態樣的規格版本，並且重新定義缺陷影像的缺陷態樣，使得缺陷態樣得以被標準化，而有一致的標準。值得注意的是，步驟S100所接收的缺陷設定檔的缺陷態樣、步驟S102所接收的第一判斷結果，及步驟S106中第一判斷結果與第二判斷結果的比較結果皆是由同一物件依據相同的缺陷標準所產生。
舉例來說，影像標記技術員乙在標記會議中確認了影像的缺陷態樣及缺陷標準，並且透過使用者介面將缺陷態以缺陷設定檔的形式輸入於產線電腦中。影像標記技術員乙在通過標記能力考核後(亦即步驟S102中的第一判斷結果相同於複判結果)，依據標記會議中的缺陷標準對一影像進行判斷，並透過使用者介面將其判斷結果輸入於產線電腦中，而形成步驟S102中的第一判斷結果。在步驟S108中，影像標記技術員乙再以相同的缺陷標準確認步驟S106的第一判斷結果及第二判斷結果的比較結果。因此，由於步驟S100的缺陷設定檔、步驟S102的第一判斷結果，及步驟S106中第一判斷結果與第二判斷結果的比較結果都是影像標記技術員乙依據標記會議中所訂定的缺陷標準而產生，使得影像辨識演算法的訓練資料的標記穩定性提高，進而提升經訓練的影像辨識演算法的影像辨識的正確率。
舉例來說，一第七影像在步驟S102中被判斷為缺陷影像，但在步驟S104中被判斷為非缺陷影像。因此，本揭露實施例的影像標記標準化方法必須修正缺陷設定檔內對於缺陷態樣的規格設定。舉例來說，本揭露實施例的影像標記標準化方法可增加或減少對應於至少一缺陷態樣的影像數目，或增加或減少缺陷設定檔中所定義缺陷態樣的種類數目。在一些實施例中，第七影像在步驟S102中被判斷為缺陷影像，並且在步驟S104中也被判斷為缺陷影像。因此，本揭露的影像標記標準化方法判斷步驟S104中所生成的影像辨識演算法(例如卷積神經網路、深度殘差網路300)的影像辨識的正確率係適用於實際產線中。舉例來說，可透過網路將經訓練的卷積神經網路傳送至產線中的複數電腦中。
第5A、5B、5C圖為本揭露實施例之影像標記標準化方法的卷積神經網路的驗證流程圖。在某些實施例中，將步驟S104所生成的卷積神經網路導入於實際產線中時，產線所生產的產品已經進入量產階段。因此，以影像對卷積神經網路(例如深度殘差網路300)進行驗證時，不得影響產線原有的運作方式，且不得施加干擾，直到本揭露的影像標記標準化方法完成卷積神經網路的驗證。舉例來說，第5A圖為採用全人工輔助判定的驗證方法。
如第5A圖所示，在步驟S500中，本揭露的影像標記方法以一自動光學檢查(AOI)設備對產線中所生產的產品進行影像擷取。接著，AOI設備在步驟S502中判斷所擷取的影像是否為缺陷影像。當AOI設備判斷影像為非缺陷影像，則本揭露的影像標記標準化方法將對應於非缺陷影像的產品直接傳送至下一測試站(例如透過產線輸送帶)(步驟S508)。當AOI設備判斷影像為缺陷影像，則由影像標記技術員於步驟S504中對影像進行二次複判。
若影像標記技術員確認影像為缺陷影像，影像標記技術員透過使用者介面將其判斷結果輸入至產線電腦，使得產線電腦接收使用者介面的控制訊號而確認影像為缺陷影像(步驟S506)，則本揭露實施例的影像標記標準化方法可將對應於缺陷影像的產品挑出，並針對其缺陷態樣進行維修。若影像標記技術員確認影像為非缺陷影像，影像標記技術員透過使用者介面將其判斷結果輸入至產線電腦，使得產線電腦接收使用者介面的控制訊號而確認影像為非缺陷影像，則進入步驟S508。本揭露的影像標記標準化方法將對應於非缺陷影像的產品直接傳送至下一測試站。第5A圖所示的驗證方法為尚未導入卷積神經網路做輔助驗證前的方法。
第5B圖為導入卷積神經網路做輔助驗證時的驗證方法。如第5B圖所示，在步驟S510中，本揭露的影像標記方法以AOI設備對產線中所生產的產品進行影像擷取。接著，AOI設備在步驟S512中判斷所擷取的影像是否為缺陷影像。當AOI設備判斷影像為非缺陷影像，則本揭露的影像標記標準化方法將對應於非缺陷影像的產品直接傳送至下一測試站(步驟S520)。當AOI設備判斷影像為缺陷影像，則由卷積神經網路(CNN)(其為人工智慧(AI)的一種)於步驟S514中對影像進行二次複判。
由於在步驟S514中尚未確認卷積神經網路的影像辨識的正確性，因此在第5B圖中，不管卷積神經網路的複判結果為何，都必須進到步驟S516，由影像標記技術員再次對影像進行複判。若影像標記技術員仍確認影像為缺陷影像，影像標記技術員透過使用者介面將其判斷結果輸入至產線電腦，使得產線電腦接收使用者介面的控制訊號而確認影像為缺陷影像(步驟S518)，則本揭露實施例的影像標記標準化方法可將對應於缺陷影像的產品挑出，並針對其缺陷態樣進行維修。若影像標記技術員確認影像為非缺陷影像，影像標記技術員透過使用者介面將其判斷結果輸入至產線電腦，使得產線電腦接收使用者介面的控制訊號而確認影像為非缺陷影像則進入步驟S520，本揭露實施例的影像標記標準化方法將對應於非缺陷影像的產品直接傳送至下一測試站。
第5C圖為導入卷積神經網路做正式驗證時的驗證方法。在第5C圖中，本揭露的影像標記方法以經訓練的卷積神經網路完全取代人工的驗證。如第5C圖所示，在步驟S530中，本揭露的影像標記標準化方法以AOI設備對產線中所生產的產品進行影像擷取。接著，AOI設備在步驟S532中判斷所擷取的影像是否為缺陷影像。當AOI設備判斷影像為非缺陷影像，則本揭露的影像標記方法將對應於非缺陷影像的產品直接傳送至下一測試站(步驟S538)。當AOI設備判斷影像為缺陷影像，則以卷積神經網路做正式驗證，而由卷積神經網路於步驟S534中對影像進行二次複判。第5C圖的步驟S534與第5B圖的步驟S514的不同之處在於，在步驟S514中，由於卷積神經網路的影像辨識的正確性尚未被確認，因此在第5B圖中，不管卷積神經網路的複判結果為何，都必須進到步驟S516，由影像標記技術員再次對影像進行複判。而在步驟S534中，卷積神經網路的影像辨識的正確性已被驗證，因此可由卷積神經網路正式執行影像辨識的工作。
若卷積神經網路確認影像為缺陷影像(步驟S536)，則本揭露的影像標記標準化方法可將對應於缺陷影像的產品挑出，並針對其缺陷態樣進行維修。若卷積神經網路確認影像為非缺陷影像，則本揭露的影像標記標準化方法將對應於非缺陷影像的產品直接傳送至下一測試站，以供後續測試。
第6圖為本揭露實施例之影像標記標準化方法應用於產線時的配置圖。如第6圖所示，產線600中配置了一電腦604、一路由器606、一AOI設備608、一電腦610，及一邊緣計算裝置612。電腦604耦接於一公司內網602與路由器606之間，路由器606係耦接於電腦604與AOI設備608之間、電腦604與電腦610之間，及電腦604與邊緣計算裝置612之間。本揭露的影像標記標準化方法的卷積神經網路(例如深度殘差網路300)係執行於電腦610、邊緣計算裝置612上。電腦610及邊緣運算裝置612透過路由器606得到AOI設備所擷取關於產品的影像。
舉例來說，當電腦610及邊緣運算裝置612透過路由器606從AOI設備608接收一第八影像，電腦610判斷第八影像是否為缺陷影像，並且由邊緣運算裝置612對第八影像進行複判。在一些實施例中，邊緣運算裝置612將對第八影像的一複判結果透過路由器606傳輸給電腦610，並且電腦610依據自身對第八影像的判斷結果與邊緣運算裝置612的判斷結果將第八影像標記為缺陷影像或非缺陷影像。除此之外，電腦604可透過一邊緣運算(edge computing)的方式，將電腦610及邊緣計算裝置612對第八影像的標記結果，透過公司內網602彙整至一伺服器(未圖式)。換句話說，伺服器中可儲存各產線所生產產品的缺陷態樣(例如儲存於一缺陷設定檔中)。本揭露第6圖的產線配置僅作為例示，不作為本揭露的限制。本揭露亦可使用其他的產線配置方法以達成第1圖步驟S100~S108的效果。
本揭露亦揭露用於影像標記標準化的一電子裝置。電子裝置包括一使用者介面及一處理器。在一些實施例中，使用者介面用以接收第1圖步驟S100中的一缺陷態樣。此外，使用者介面可接收第1圖步驟S102中依據缺陷態樣對一影像進行標記而產生的一第一判斷結果。在一些實施例中，處理器可接收來自使用者介面的缺陷態樣，並且接收同樣來自使用者介面的第一判斷結果。處理器可依據缺陷態樣對影像進行標記，而產生第1圖步驟S104中的一第二判斷結果。處理器接著比較第一判斷結果及第二判斷結果，而得到第1圖步驟S106中的一比較結果。最後，處理器依據比較結果，更新缺陷態樣，用以標準化該缺陷態樣(可對應第1圖的步驟S108)。
本揭露亦揭露用於影像標記標準化的一電腦程式產品。上述電腦程式產品係適用於於具有一處理器的電腦中。上述電腦程式產品包括一第一接收指令、一第二接收指令、一判斷指令、一比較指令及一更新指令。當電腦的處理器執行第一接收指令時，處理器接收第1圖步驟S100中的一缺陷態樣。當處理器執行第二接收指令時，處理器接收第1圖步驟S102中依據缺陷態樣對一影像進行標記而產生的一第一判斷結果。當處理器執行判斷指令時，處理器依據缺陷態樣，對影像進行標記，而產生第1圖步驟S104的一第二判斷結果。當處理器執行比較指令時，處理器比較第一判斷結果及第二判斷結果，得到第1圖步驟S106中的一比較結果。當處理器執行更新指令時，處理器依據比較結果，更新缺陷態樣，用以標準化缺陷態樣(可對應第1圖的步驟S108)。
本揭露的影像標記標準化方法應用於實際產線中時，可有效降低影像辨識時的過殺(overkill)率及遺漏(leak)率。在一些實施例中，過殺率表示將應該為非缺陷影像的影像判斷為缺陷影像的機率。遺漏率表示將應該為缺陷影像的影像判斷為非缺陷影像的機率。第7圖為本揭露實施例之影像標記標準化方法應用於產線後的產品過殺(overkill)率及複判移動率(moving rate)的曲線圖。如第7圖所示，曲線700為本揭露影像標記方法應用於產線後的複判移動率。曲線702為本揭露影像標記方法應用於產線後的產品過殺率。將本揭露影像標記標準化方法應用於實際產線中的時間點為t1。依據曲線700、702，可明顯觀察到時間點t1後，複判移動率降至17.10%，產品過殺率降至2.44%，並且於時間點t1之後複判移動率及產品過殺率持續下降。換句話說，本揭露的影像標記標準化方法可有效改善產線生產產品時的過殺率、遺漏率，及複判移動率，使得產線的生產效能更為穩定。本揭露的影像標記標準化方法係可使得經訓練的卷積神經網路的訓練資料的標記穩定性提高，進而提升經訓練的卷積神經網路的影像辨識的正確率。
第8A、8B圖為本揭露實施例之影像標記標準化方法的缺陷態樣的示意圖。同時參考第6圖及第8A、8B圖，第6圖的電腦610接收屬於AOI測試站的共12種缺陷態樣，包括態樣一、表面平整度；態樣二、扁式連接桿間隙不良；態樣三、針腳缺失；態樣四、卡勾變形；態樣五、卡勾破損；態樣六、卡扣破損；態樣七、扁式連接桿寬度不良；態樣八、卡勾未卡到位；態樣九、卡扣未卡到位；態樣十、扁式連接桿缺失；態樣十一、針腳破損；以及態樣十二、邊角或孔洞破損堵孔。本揭露的影像標記標準化方法的卷積神經網路(例如深度殘差網路300)係執行於電腦610、邊緣計算裝置612上。
舉例來說，當電腦610判定來自AOI設備608的影像符合態樣一及態樣二的缺陷時，電腦610會產生“FP Flatness”及“Link Bar Gap”的機器錯誤代碼，上述機器錯誤代碼係與預先設定的規格表代碼相同。由於態樣一及態樣二被設定為無需複判，因此無需經過邊緣計算裝置612的複判，本揭露的影像標記標準化方法直接採用電腦610的判定結果。在一些實施例中，當電腦610判定來自AOI設備608的影像符合態樣三的缺陷時，電腦610會產生機器錯誤代碼“SC Pin Missing”，並且在電腦610的顯示裝置(例如第2圖的使用者介面200)中顯示缺陷子態樣類型，例如 “PIN-MISSING 1-10”等共10個缺陷子態樣。由於態樣三被設定為需複判，因此仍需經過邊緣計算裝置612的複判，並且當電腦610及邊緣計算裝置612的判定結果相同時，本揭露的影像標記標準化方法才採用電腦610的判定結果。
同理，當電腦610判定來自AOI設備608的影像符合態樣四的缺陷時，電腦610會產生“FP Hook deformation”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “FP_DEFORMATION”、“FP_DEFORMATION2-6”、“FP_WARP”、“FP_WARP1-5”等共12個缺陷子態樣。當電腦610判定來自AOI設備608的影像符合態樣五的缺陷時，電腦610會產生“Hook Broken”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “HK_BROKEN1-7”等共7個缺陷子態樣。
在一些實施例中，當電腦610判定來自AOI設備608的影像符合態樣六的缺陷時，電腦610會產生“Snap Broken”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “SNAP-BROKEN”、 “SNAP-BROKEN1-7”等共8個缺陷子態樣。當電腦610判定來自AOI設備608的影像符合態樣七的缺陷時，電腦610會產生“Link Bar Width Fail”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “LINK_BAR_WIDTH_RB”、 “LINK_BAR_WIDTH_LT”、 “LINK_BAR_WIDTH_LB”、 “LINK_BAR_WIDTH_RT”、 “LINK_BAR_WIDTH_1-2”等共6個缺陷子態樣。
在一些實施例中，當電腦610判定來自AOI設備608的影像符合態樣八的缺陷時，電腦610會產生“Hook not engaged”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “HOOK NOT ENGAGE”、 “HOOK NOT ENGAGE1-4”等共5個缺陷子態樣。當電腦610判定來自AOI設備608的影像符合態樣九的缺陷時，電腦610會產生“Snap not engaged”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “SNAP NOT ENGAGE”、 “SNAP NOT ENGAGE1-3”等共4個缺陷子態樣。當電腦610判定來自AOI設備608的影像符合態樣十的缺陷時，電腦610會產生“Link Bar Missing”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “LINK_BAR_MISSING”、 “LINK_BAR_MISSING1-2”等共3個缺陷子態樣。
在一些實施例中，當電腦610判定來自AOI設備608的影像符合態樣十一的缺陷時，電腦610會產生“SC Pin Broken”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “PIN-BROKEN”、 “PIN-BROKEN2-3”、“SC-PIN-BROKEN”、“SC-PIN-BROKEN1”等共5個缺陷子態樣。當電腦610判定來自AOI設備608的影像符合態樣十二的缺陷時，電腦610會產生“FP HOLE BROKEN”的機器錯誤代碼，並且會在其顯示裝置中顯示缺陷子態樣類型，例如 “HOLE BROKEN”的缺陷子態樣。本揭露的影像標記標準化方法可透過第8圖中測試視窗所顯示的資訊，得知來自AOI設備608的影像的實際缺陷態樣。
雖然本發明的實施例如上述所描述，我們應該明白上述所呈現的只是範例，而不是限制。依據本實施例上述示範實施例的許多改變是可以在沒有違反發明精神及範圍下被執行。因此，本發明的廣度及範圍不該被上述所描述的實施例所限制。更確切地說，本發明的範圍應該要以以下的申請專利範圍及其相等物來定義。
儘管上述發明已被一或多個相關的執行來圖例說明及描繪，等效的變更及修改將被依據上述規格及附圖且熟悉這領域的其他人所想到。此外，儘管本發明的一特別特徵已被相關的多個執行之一所示範，上述特徵可能由一或多個其他特徵所結合，以致於可能有需求及有助於任何已知或特別的應用。
除非有不同的定義，所有本文所使用的用詞(包含技術或科學用詞)是可以被屬於上述發明的技術中擁有一般技術的人士做一般地了解。我們應該更加了解到上述用詞，如被定義在眾所使用的字典內的用詞，在相關技術的上下文中應該被解釋為相同的意思。除非有明確地在本文中定義，上述用詞並不會被解釋成理想化或過度正式的意思。
S100,S102,S104,S106, S108:步驟 200:使用者介面 202:影像顯示 204,206:影像標記物件 208:影像刪除物件 210:影像標記顯示 212:影像開啟物件 214:標記完成物件 216:標記進度顯示 218:上一頁物件 220:下一頁物件 300:深度殘差網路 302:卷積層 304:殘差層 306:全局池化層 308:全連接層 310:影像 312:數值 400:卷積區塊 402,404,406,408:卷積層 410:身分區塊 412,414,416:卷積層 420,422,424,430,432:特徵影像 S500,S502,S504,S506,S508:步驟 S510,S512,S514,S516,S518,S520:步驟 S530,S532,S534,S536,S538:步驟 600:產線 602:公司內網 604,610:電腦 606:路由器 608:AOI設備 612:邊緣計算裝置 700,702:曲線 FP Flatness,Link Bar Gap, SC Pin Missing,FP Hook deformation,Hook Broken,Snap Broken,Link Bar Width Fail,Hook not engaged,Snap not engaged,Link Bar Missing,SC Pin Broken,FP HOLE BROKEN:機器錯誤代碼,規格表錯誤代碼 PIN-MISSING1-10,FP_DEFORMATION, FP_DEFORMATION2-6,FP_WARP,FP_WARP1-5, HK-BROKEN1-7,SNAP-BROKEN, SNAP-BROKEN1-7, LINK_BAR_WIDTH_RB,LINK_BAR_WIDTH_LT LINK_BAR_WIDTH_LB,LINK_BAR_WIDTH_RT LINK_BAR_WIDTH_1-2,HOOK NOT ENGAGED, HOOK NOT ENGAGED1-4,SNAP NOT ENGAGED, SNAP NOT ENGAGED1-3,LINK_BAR_MISSING, LINK_BAR_MISSING1-2,PIN_BROKEN,PIN_BROKEN2-3, SC-PIN-BROKEN,SC-PIN-BROKEN1,HOLE BROKEN:缺陷子態樣
第1圖為本揭露實施例之影像標記標準化的方法的流程圖。 第2圖為本揭露實施例之影像標記標準化方法的使用者介面的示意圖。 第3圖為本揭露實施例之影像標記標準化方法的深度殘差網路的結構示意圖。 第4圖為本揭露實施例之影像標記標準化方法的深度殘差網路的卷積區塊(convolution block)及身分區塊(identify block)的結構示意圖。 第5A、5B、5C圖為本揭露實施例之影像標記標準化方法的卷積神經網路的驗證流程圖。 第6圖為本揭露實施例之影像標記標準化方法應用於產線時的配置圖。 第7圖為本揭露實施例之影像標記標準化方法應用於產線後的產品過殺(overkill)率及複判移動率(moving rate)的曲線圖。 第8A、8B圖為本揭露實施例之影像標記標準化方法的缺陷態樣的示意圖。
S100,S102,S104,S106,S108:步驟

Claims (10)

  1. 一種影像標記標準化的方法，適用於具有一使用者介面的一電子裝置，包括：該電子裝置接收一缺陷設定檔；該缺陷設定檔包括至少一缺陷態樣；該電子裝置依據該缺陷設定檔，對一影像進行標記，產生一第一判斷結果；其中，該電子裝置將該影像標記為一缺陷影像或一非缺陷影像；該電子裝置依據該缺陷設定檔，對該影像進行標記，產生一第二判斷結果；該電子裝置比較該第一判斷結果及該第二判斷結果，得到一比較結果；該電子裝置依據該比較結果，更新該至少一缺陷態樣，用以標準化該缺陷態樣；於不同時間點，該電子裝置接收一第一稽核結果及一第二稽核結果；其中，該第一稽核結果及該第二稽核結果記錄不同時間點時，同一群複數影像中所包括該缺陷影像及該非缺陷影像的數目；以及當該第一稽核結果相異於該第二稽核結果的比例(moving rate)低於一第一閾值，則判定該標記結果為合格；其中，該電子裝置產生該第二判斷結果，包括：以該影像做為訓練資料而生成經訓練的一影像辨識演算法；利用該影像辨識演算法，判斷該影像是否為一缺陷圖像，而 得到該第二判斷結果；其中，該影像辨識演算法包括：一卷積層，擷取該影像的局部特徵，產生複數特徵影像；一殘差層，擷取該等特徵影像的細部特徵，產生複數細部特徵影像；一全局池化層，基於該影像的像素大小，以一預設數目的該等細部特徵影像描述該影像；一全連接層，基於該影像的像素大小，以該預設數目的該等細部特徵影像所對應的數值拼湊為該缺陷影像及該非缺陷影像所對應的數值；該影像標記標準化的方法，更包括：以一softmax函數將該缺陷影像及該非缺陷影像所對應的數值轉換為機率，而得到該影像為該缺陷影像或該非缺陷影像的機率。
  2. 如請求項1之影像標記標準化的方法，其中，該電子裝置對該影像進行標記包括：接收來自一使用者介面(user interface：UI)的一控制訊號，並且依據該控制訊號，將該影像標記為該缺陷影像或該非缺陷影像，或將該影像刪除。
  3. 如請求項2之影像標記標準化的方法，其中，該電子裝置對該影像進行標記更包括：接收來自該使用者介面的該控制訊號，依據該控制訊號將該影像儲存至對應的一儲存空間。
  4. 如請求項1之影像標記標準化的方法，其中，該電子裝置產生該第一判斷結果，包括：於不同時間點，接收依據該至少一缺陷態樣對該影像進行判 斷而判斷出的該第一判斷結果及一複判結果；當該複判結果相同於該第一判斷結果時，則依據該第一判斷結果對該影像進行標記；其中，該第一判斷結果記錄該影像是否為一缺陷圖像。
  5. 如請求項1之影像標記標準化的方法，更包括：該電子裝置取得該至少一缺陷態樣的一規格版本；其中，該規格版本記錄了該至少一缺陷態樣的更新日期。
  6. 如請求項5之影像標記標準化的方法，其中，該電子裝置更新該至少一缺陷態樣的該規格版本包括：增加或減少對應於該至少一缺陷態樣的影像數目；或增加或減少該缺陷設定檔中所定義該至少一缺陷態樣的種類數目。
  7. 如請求項1之影像標記標準化的方法，更包括：當該第二判斷結果相同於該第一判斷結果，該電子裝置透過網路將經訓練的一卷積神經網路傳送至產線中的複數電腦中。
  8. 如請求項7之影像標記標準化的方法，其中，該卷積神經網路為一深度殘差網路(RestNet)。
  9. 一種電子裝置，用於影像標記標準化，包括：一使用者介面，接收一缺陷態樣，並且接收依據該缺陷態樣對一影像進行標記而產生的一第一判斷結果；一處理器，接收來自該使用者介面的該缺陷態樣及該第一標記結果，並且依據該缺陷態樣對該影像進行標記，而產生一第二判斷結果；該處理器將該影像標記為一缺陷影像或一非缺陷影像； 其中，該處理器比較該第一判斷結果及該第二判斷結果，而得到一比較結果；該處理器依據該比較結果，更新該缺陷態樣，用以標準化該缺陷態樣；其中，該處理器於不同時間點，接收一第一稽核結果及一第二稽核結果；該第一稽核結果及該第二稽核結果記錄不同時間點時，同一群複數影像中所包括該缺陷影像及該非缺陷影像的數目；以及當該第一稽核結果相異於該第二稽核結果的比例(moving rate)低於一第一閾值，則該處理器判定該標記結果為合格；其中，該處理器產生該第二判斷結果，包括：該處理器以該影像做為訓練資料而生成經訓練的一影像辨識演算法；該處理器執行該影像辨識演算法，判斷該影像是否為一缺陷圖像，而得到該第二判斷結果；其中，該影像辨識演算法包括：一卷積層，擷取該影像的局部特徵，產生複數特徵影像；一殘差層，擷取該等特徵影像的細部特徵，產生複數細部特徵影像；一全局池化層，基於該影像的像素大小，以一預設數目的該等細部特徵影像描述該影像；一全連接層，基於該影像的像素大小，以該預設數目的該等細部特徵影像所對應的數值拼湊為該缺陷影像及該非缺陷影像所對應的數值；其中，該處理器以一softmax函數將該缺陷影像及該非缺陷 影像所對應的數值轉換為機率，而得到該影像為該缺陷影像或該非缺陷影像的機率。
  10. 一種電腦程式產品，用於影像標記標準化，適用於具有一處理器的電腦中，包括：一第一接收指令，使得該處理器接收一缺陷態樣；一第二接收指令，使得該處理器接收依據該缺陷態樣對一影像進行標記而產生的一第一判斷結果；一判斷指令，使得該處理器依據該缺陷態樣，對影像進行標記，而產生一第二判斷結果；其中，該第二接收指令及該判斷指令使得該處理器將該影像標記為一缺陷影像或一非缺陷影像；一比較指令，使得該處理器比較該第一判斷結果及該第二判斷結果，得到一比較結果；一更新指令，使得該處理器依據該比較結果，更新該缺陷態樣，用以標準化該缺陷態樣；一第三接收指令，使得該處理器於不同時間點，接收一第一稽核結果及一第二稽核結果；該第一稽核結果及該第二稽核結果記錄不同時間點時，同一群複數影像中所包括該缺陷影像及該非缺陷影像的數目；當該第一稽核結果相異於該第二稽核結果的比例(moving rate)低於一第一閾值，則該第三接收指令使得該處理器判定該標記結果為合格；其中，該判斷指令使得該處理器產生該第二判斷結果，包括：該電腦程式產品使得該處理器以該影像做為訓練資料而生成經訓練的一影像辨識演算法；該電腦程式產品使得該處理器執行該影像辨識演算法，判斷 該影像是否為一缺陷圖像，而得到該第二判斷結果；其中，該影像辨識演算法包括：一卷積層，擷取該影像的局部特徵，產生複數特徵影像；一殘差層，擷取該等特徵影像的細部特徵，產生複數細部特徵影像；一全局池化層，基於該影像的像素大小，以一預設數目的該等細部特徵影像描述該影像；一全連接層，基於該影像的像素大小，以該預設數目的該等細部特徵影像所對應的數值拼湊為該缺陷影像及該非缺陷影像所對應的數值；其中，該電腦程式產品使得該處理器以一softmax函數將該缺陷影像及該非缺陷影像所對應的數值轉換為機率，而得到該影像為該缺陷影像或該非缺陷影像的機率。
TW109143375A 2020-11-30 2020-12-09 用於影像標記標準化的方法、電子裝置及電腦程式產品 TWI786484B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011371754.X 2020-11-30
CN202011371754.XA CN114638773A (zh) 2020-11-30 2020-11-30 用于影像标记标准化的方法、电子装置及计算机程序产品

Publications (2)

Publication Number Publication Date
TW202223832A TW202223832A (zh) 2022-06-16
TWI786484B true TWI786484B (zh) 2022-12-11

Family

ID=81751529

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143375A TWI786484B (zh) 2020-11-30 2020-12-09 用於影像標記標準化的方法、電子裝置及電腦程式產品

Country Status (3)

Country Link
US (1) US11797646B2 (zh)
CN (1) CN114638773A (zh)
TW (1) TWI786484B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM604031U (zh) * 2020-07-03 2020-11-11 兆米智慧檢測股份有限公司 基於人工智能的光學檢測系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
JP5537282B2 (ja) * 2009-09-28 2014-07-02 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
US10209628B2 (en) * 2016-05-26 2019-02-19 Kla-Tencor Corporation System and method for defect classification based on electrical design intent
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法
TW202001795A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 瑕疵分類標記系統及瑕疵分類標記方法
CN109118482B (zh) 2018-08-07 2019-12-31 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
TWI698806B (zh) 2018-08-10 2020-07-11 財團法人資訊工業策進會 動作資料標記裝置、方法及非暫態電腦可讀取記錄媒體
TWM573475U (zh) 2018-11-16 2019-01-21 洽吧智能股份有限公司 Image recognition assistant system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM604031U (zh) * 2020-07-03 2020-11-11 兆米智慧檢測股份有限公司 基於人工智能的光學檢測系統

Also Published As

Publication number Publication date
TW202223832A (zh) 2022-06-16
CN114638773A (zh) 2022-06-17
US11797646B2 (en) 2023-10-24
US20220171993A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US11763443B2 (en) Method for monitoring manufacture of assembly units
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
US10937138B2 (en) Crack information detection device, method of detecting crack information, and crack information detection program
US11449980B2 (en) System and method for combined automatic and manual inspection
EP3480735B1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US20190213725A1 (en) Board defect filtering method and device thereof and computer-readable recording medium
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
JP2009068946A (ja) 欠陥分類装置および方法並びにプログラム
JP2021119341A (ja) 生産ラインスマート監視システム及び監視方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
JP7414797B2 (ja) 製造管理方法
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
TWI786484B (zh) 用於影像標記標準化的方法、電子裝置及電腦程式產品
KR20220085115A (ko) 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법
CN115379197A (zh) 用于在生产线上检测摄像头产品的镜头表面的方法和装置
CN114429441A (zh) 一种异常检测方法及装置、设备、存储介质
JP7218791B2 (ja) 製造管理方法
Nahlbach et al. Leveraging Unstructured Image Data for Product Quality Improvement
CN117853399A (zh) 用于使用光学检查自动地检测故障的机器学习模型
CN116894965A (zh) 教师数据收集方法以及收集装置
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
CN117853492A (zh) 一种基于融合模型的智能化工业缺陷检测方法及系统
CN116204878A (zh) 一种基于计算机视觉辅助的硬件木马自动排查判读方法
CN115953353A (zh) Pcb板缺陷智能检测系统架构与流程