TWI786827B

TWI786827B - 測試資料產生方法以及測試資料產生裝置

Info

Publication number: TWI786827B
Application number: TW110134389A
Authority: TW
Inventors: 許巍懷
Original assignee: 和碩聯合科技股份有限公司
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2022-12-11
Also published as: CN115809952A; TW202314277A

Abstract

一種測試資料產生方法以及測試資料產生裝置，適用於一影像檢查設備。測試資料產生方法包括下列步驟。獲得多個檢查圖像；依據所述檢查圖像產生至少一長條圖像；依據一設定值依序地從所述至少一長條圖像中擷取多個幀圖像，多個所述幀圖像的數量大於所述多個檢查圖像的數量；以及將多個所述幀圖像輸入至所述所述影像檢查設備以作為所述影像檢查設備的測試資料。

Description

測試資料產生方法以及測試資料產生裝置

本發明是有關於一種影像處理技術，且特別是有關於一種用於影像檢查設備的測試資料產生方及其裝置。

自動光學檢查（Automated optical inspection；AOI）是現在工業製程不可或缺的一環。自動光學檢查運用機器視覺做為檢測標準技術，從而改善以人力使用光學儀器進行檢測的缺點。

在進行AOI的開發與更新時，需要請生產線操作人員協助蒐集位於生產線上的大量照片來作為AOI的測試資料。換句話說，無論是電腦影像處理技術的訓練或是驗證皆需要對生產線及相應成品、半成品拍攝大量照片才方便順利進行。然則，可能因某些原因導致前述照片難以大量取得，從而間接地延緩了AOI的開發進度。在其他電腦影像處理技術的應用中，也可能有所需圖像難以取得的問題。

本發明實施例提供一種測試資料產生方法以及測試資料產生裝置，藉由有限數量的檢查圖像即可產生大量圖像資料，從而順利地進行自動化光學檢查的開發。

本發明實施例的測試資料產生方法包括下列步驟。獲得多個檢查圖像；依據所述檢查圖像產生至少一長條圖像；依據一設定值依序地從所述至少一長條圖像中擷取多個幀圖像，多個所述幀圖像的數量大於所述多個檢查圖像的數量；以及，將多個所述幀圖像輸入至所述影像檢查設備以作為所述影像檢查設備的測試資料。

本發明實施例的測試資料產生裝置適用於影像檢查設備。測試資料產生裝置包括處理器以及儲存媒體。儲存媒體耦接所述處理器，所述處理器執行以下步驟。獲得多個檢查圖像；依據所述檢查圖像產生至少一長條圖像；依據一設定值依序地從所述至少一長條圖像中擷取多個幀圖像，多個所述幀圖像的數量大於所述多個檢查圖像的數量；以及，將所述幀圖像輸入至所述影像檢查設備以作為所述影像檢查設備的測試資料。

基於上述，本發明實施所述的測試資料產生方法以及測試資料產生裝置藉由有限數量的檢查圖像來串接成長條圖像，並從此長條圖像中擷取不同的幀圖像，這些幀圖像用以作為影像檢查設備的測試資料。這些幀圖像是依據一設定值從所述至少一長條圖像的長度方向上依序擷取以產生大量的幀圖像。藉此，本發明藉由有限數量的檢查圖像即可產生大量圖像資料，從而順利地進行影像檢查設備的開發。

在AOI技術或是電腦影像處理技術的相應應用中，需要大量資料、圖像進行訓練才能獲得更為準確的結果。然則，前述圖像可能因各種因素而難以取得。因此，為了解決AOI技術中需要測試用的大量照片但前述照片可能難以取得的問題，本發明實施例透過有限數量的照片（或稱為，檢查圖像）組成長條圖像，進而產生大量的幀圖像(或稱為畫面圖像)，從而讓AOI技術能夠取得足夠的訓練樣本或資料數量。因此，可讓AOI技術的開發人員能夠藉由有限數量的照片即可續行開發，不需要多次透過生產線上的實際操作人員額外蒐集大量的照片。

圖1是依照本發明一實施例的一種測試資料產生裝置100的示意圖。本實施例的測試資料產生裝置100適用於影像檢查設備175(例如是自動光學影像檢查AOI)，其用於依據有限數量的照片（如，檢查圖像來源105中的多個檢查圖像）來產生大量的幀圖像，並將這些幀圖像提供給影像檢查設備175，從而順利地進行影像檢查設備175的開發或測試。詳細來說，本實施例在實際應用中主要是希望讓影像檢查設備175能夠識別生產線上產品的品質，從而降低以人力識別產品的不穩定性。就檢查圖像的取得而言，可能因為生產線的環境因素或其他因素，導致檢查圖像來源105中的檢查圖像難以大量獲得，或是若要大量獲得的話需要耗費更多時間與精力，從而可能影響到自動光學檢查的研發與調適進程。因此，本發明實施例將有限數量的檢查圖像整合成長條圖像，並透過此長條圖像以產生大量的幀圖像，從而讓這些幀圖像作為影像檢查設備的測試資料，進而加速影像檢查設備的開發或測試。

測試資料產生裝置100主要包括處理器110以及儲存媒體120。儲存媒體120直接或間接地耦接處理器110。儲存媒體120用於暫存本實施例中所需存取的圖像。儲存媒體120可以是動態隨機存取記憶體、快閃記憶體或其他可儲存/暫存資料的記憶體元件。測試資料產生裝置100用以實現測試資料產生方法，請見下述說明。

圖2是依照本發明一實施例中測試資料產生方法的示意圖。圖3是依照本發明一實施例中測試資料產生方法的流程圖。測試資料產生方法適用於影像檢查設備175。請同時參照圖2與圖3，於步驟S310中，圖1處理器110從圖像來源105獲得多個檢查圖像210-1~210-5。圖像來源105可以是從在生產線上的操作人員或從其他來源透過向相機等影像擷取裝置而獲得的圖像。本實施例以5個檢查圖像210-1~210-5作為有限數量之檢查圖像的舉例，但不以此為限。

於步驟S320中，圖1處理器110依據檢查圖像210-1~210-5產生至少一個長條圖像220。本實施例圖2中的長條圖像220即是將檢查圖像210-1~210-5相互串接而成。於部分實施例中，檢查圖像210-1~210-5是依照時間先後順序所擷取的多張圖像。於部分實施例中，可依據應用本實施例者的需求將檢查圖像210-1~210-5進行任意的排列組合，且可增加檢查圖像210-1~210-5的數量來進行長條圖像220的產生，舉例來說，可由三個檢查圖像210-1、兩個檢查圖像210-2、五個檢查圖像210-4以及各一個檢查圖像210-3、210-5來組合出不同型態的長條圖像。

於本發明實施例中，檢查圖像210-1~210-5還可區分為僅包括生產線環境（例如，第一生產線環境）而不包括產品外觀的第一檢查圖像210-1、210-3、210-5以及包括生產線環境（例如，第二生產線環境）與產品外觀的第二檢查圖像210-2、210-4。本實施例的生產線環境為一輸送帶，產品外觀可以是印刷電路板的外觀，應用本實施例者可依據影像檢查設備175的需求變更產品外觀的應用類別。

在區分成這兩種檢查圖像後，也就是，檢查圖像被區分為第一檢查圖像210-1、210-3、210-5與第二檢查圖像210-2、210-4後，圖1處理器110可依據設定串接第一檢查圖像以及第二檢查圖像(例如是隨機串接或交錯串接等)，以產生不同的、多樣化的長條圖像220。相關實施例請見後續圖4的說明。由於圖像擷取的時間點及各種參數（如，曝光、光圈…等）的不同，第一檢查圖像210-1、210-3、210-5中的第一生產線環境與第二檢查圖像210-2、210-4中的第二生產線環境可能會產生色差等情形，本發明實施例仍會將檢查圖像進行串接，可以不針對前述色差進行處理。

於步驟S330中，圖1處理器110依據一設定值依序地從長條圖像220中擷取多個幀圖像240-1~240-6，被擷取的這些幀圖像240-1~240-6的數量將會大於檢查圖像210-1~210-5的數量。本實施例所述「設定值」可用於調整或設定後續以幀圖像240-1~240-6形成之影片的每秒顯示影格數（frame per second；FPS）、幀圖像240-1~240-6呈現速度或圖像解析度…等參數。

詳細來說，步驟S330會從長條圖像220的長度方向上以擷取多個幀圖像240-1~240-6。長條圖像220的長度方向是本實施例中圖2中的Y軸方向，也就是長條圖像220的長邊方向。為了要產生大量的幀圖像240-1~240-6，圖1處理器110可從長條圖像220中長度方向上的起始像素（例如，起始像素的設定值為『1』，即第一個像素）開始，以特定數量的像素為單位逐次移動取樣框架，並在頭尾相連的長條圖像中擷取對應的幀圖像。前述之「特定數量」可為預設之數值，在此以『10』或『20』作為前述特定數量作為舉例。換句話說，前述特定數量用來設定取樣框架在取得畫面之後的下移像素距離。例如，圖2的取樣框架230-1位於長條圖像220中長度方向上的起始像素（第一個像素），取樣框架230-1等同於影像檢查設備175所需的解析度格式（如，720×480、1280×720等，可依據應用需求而透前述設定值加以設定），並且利用取樣框架230-1所框到的範圍擷取對應的畫面來作為幀圖像240-1。然後，圖1處理器110將取樣框架230-1從長條圖像220中長度方向上下移特定數量個像素單位（例如，下移前述特定數量『10』或『20』個像素單位）而成為取樣框架230-2，並且利用取樣框架230-2所框到的範圍擷取對應畫面來作為幀圖像240-2，並且依此類推，以特定數量個像素單位為單位逐步移動取樣框架230-1~230-6，從而擷取對應的幀圖像240-1~240-6。應用本實施例者可依其需求調整前述設定值，以從長條圖像220中長度方向上的不同像素數量而依序擷取對應的多個幀圖像240-1~240-6。

於一實施例中，在調整前述設定值以修改每秒顯示影格數（FPS）或多個幀圖像之呈現速度的時候，將會影響到前述特定數量的數值。例如，當每秒顯示格數（FPS）的數值被調大或呈現速度被調快時，前述特定數量的數值將會降低（如，從『20』降低為『10』），從而在相同單位時間內可以呈現更多的幀圖像。

此外，當取樣框架（在此以取樣框架230-P作為舉例）的下方部分超出長條圖像220的最底像素區（如，像素區222）時，本實施例將會把長條圖像220的像素區222銜接到長條圖像220的最頂像素區（如，像素區221），讓取樣框架230-P在首尾相連的長條圖像220中擷取對應畫面來作為幀圖像240-P。藉此，由於長條圖像220的首尾相連，便可藉由取樣框架的下移而循環不斷地產生大量的幀圖像。從另一角度來看，當取樣框架230-P的下方部分超出長條圖像220的最底像素區（如，像素區222）時，本實施例複製出相同的長條圖像220-P，讓取樣框架230-P下方超出長條圖像220的部分會框到長條圖像220-P的最頂像素區（如，像素區221-P），從而藉由取樣框架的下移而循環不斷地產生大量的幀圖像。

並且，本實施例可將這些幀圖像240-1~240-6至240-P依序處理成一個視訊串流的影片，例如，將幀圖像240-1~240-6依照順序播放以形成影片。此影片可以是從幀圖像240-1依序地播放到幀圖像240-P後結束播映，也可以是在播放到幀圖像240-P後續行重新播放幀圖像240-1~240-6至240-P，使得影片成為循環播放形式，從而可無限輪播幀圖像240-1~240-6至240-P。

於步驟S340中，圖1處理器110將步驟S330中所產生的大量幀圖像240-1~240-6作為圖1中影像檢查設備175的測試資料。如前所述，本實施例可將這些幀圖像240-1~240-6、240-P依序且持續性地顯示這些幀圖像，因此這些幀圖像240-1~240-6、240-P可視為視訊串流的影片。在使用情境中，如圖5中的（A）部分至（C）部分所示，客戶端裝置可從特定網址中顯示由這些幀圖像（圖5中以幀圖像240-1~240-3分別呈現在（A）部分至（C）部分的瀏覽器的頁面中）依序構成作為視訊串流的影片，並且此視訊串流會依序將這些幀圖像無限輪播。本實施例中視訊串流的影片作為可無限輪播的生產線模擬影片。

圖4是圖3步驟S320中產生長條圖像220-1~220-3的示意圖。依據前述步驟S320，為方便產生長條圖像，本實施例還會將檢查圖像210-1~210-5區分為前述的第一檢查圖像與第二檢查圖像。藉此，本實施例便可依照影像檢查設備175的需求來產生所需的長條圖像，進而生大量的幀圖像。圖4中長條圖像220-1便是如同圖2長條圖像220一般，為檢查圖像210-1~210-5連續串接而成。

圖4中長條圖像220-2的產生則是，從第一檢查圖像210-1、210-3、210-5中隨機擇一（如，選擇到第一檢查圖像210-3）作為長條圖像220-2的第一張圖像，然後從第二檢查圖像210-2、210-4中隨機擇一（如，選擇到第二檢查圖像210-4）作為長條圖像220-2的第二張圖像，然後再從第一檢查圖像210-1、210-5中隨機擇一（如，選擇到第一檢查圖像210-5）作為長條圖像220-2的第三張圖像，並依此類推，將第二檢查圖像210-2作為長條圖像220-2的第四張圖像，且將從第一檢查圖像210-1作為長條圖像220-2的第五張圖像。藉此，長條圖像220-2就有會依據第一與第二檢查圖像而具備多種組合方式。

圖4中長條圖像220-3的產生則是，按照圖1的影像檢查設備175需求，將第一與第二檢查圖像210-1~210-2多重複一次，且將下一組第一與第二檢查圖像210-3~210-4多重複一次，從而組合成不同的長條圖像220-3。或是，於符合本發明的實施例中，也可以將第一檢查圖像2多重複一次而交錯地串接隨機選擇的單張第二檢查圖像，從而產生不同的長條圖像，進而產生多樣化的長條圖樣，進而可提供大量的幀圖像240-1~240-3給圖1的影像檢查設備175。

綜上所述，本發明實施的自動化光學檢查的測試資料產生方法以及測試資料產生裝置藉由有限數量的檢查圖像來串接成長條圖像，並從此長條圖像中擷取不同的幀圖像，這些幀圖像用以作為自動光學檢查的測試資料。這些幀圖像是從一長條圖像中的長邊方向上的第一像素開始，以特定數量的像素為單位逐次移動取樣框架，並在頭尾相連的長條圖像中擷取大量的幀圖像。藉此，本發明實施例藉由有限數量的檢查圖像即可產生大量圖樣資料，從而順利地進行自動化光學檢查的開發。

100:測試資料產生裝置 105:檢查圖像來源 110:處理器 120:儲存媒體 175:影像檢查設備 210-1、210-3、210-5:第一檢查圖像 210-2、210-4:第二檢查圖像 220、220-P:長條圖像 221、221-P:像素區 230-1~230-6、230-P:取樣框架 240-1~240-6、240-P:幀圖像 S310~S340:步驟 X:X軸方向 Y:Y軸方向

圖1是依照本發明一實施例的一種測試資料產生裝置的示意圖。圖2是依照本發明一實施例中測試資料產生方法的示意圖。圖3是依照本發明一實施例中測試資料產生方法的流程圖。圖4是圖3步驟S320中產生長條圖像220-1~220-3的示意圖。圖5是依照本發明一實施例中處理器顯示幀圖像的示意圖。

S310~S340:步驟

Claims

一種測試資料產生方法，適用於一影像檢查設備，所述方法包括：獲得多個檢查圖像；依據所述檢查圖像產生至少一長條圖像；依據一設定值依序地從所述至少一長條圖像中擷取多個幀圖像，多個所述幀圖像的數量大於所述多個檢查圖像的數量；以及將多個所述幀圖像輸入至所述影像檢查設備以作為所述影像檢查設備的測試資料。
如請求項1所述的測試資料產生方法，其中多個所述檢查圖像包括多個第一檢查圖像和多個第二檢查圖像，多個所述第一檢查圖像包括一第一生產線環境，多個所述第二檢查圖像包括一第二生產線環境以及產品外觀。
如請求項2所述的測試資料產生方法，依據所述檢查圖像產生至少一長條圖像的步驟包括：交錯地串接所述第一檢查圖像以及所述第二檢查圖像，以產生所述至少一長條圖像。
如請求項1所述的測試資料產生方法，依據所述設定值依序地從所述至少一長條圖像中擷取多個幀圖像的步驟包括：從所述至少一長條圖像的長度方向上擷取多個所述幀圖像。
如請求項1所述的測試資料產生方法，還包括：以視訊串流方式將所述幀圖像形成一影片，從而在一特定網址中依序顯示多個所述幀圖像，其中所述設定值用以調整或設定所述影片的一每秒顯示影格數、所述幀圖像的呈現速度或一圖像解析度。
一種測試資料產生裝置，適用於一影像檢查設備，所述測試資料產生裝置包括：處理器，以及；儲存媒體，耦接所述處理器，所述處理器執行以下步驟：獲得多個檢查圖像；依據所述檢查圖像產生至少一長條圖像；依據一設定值依序地從所述至少一長條圖像中擷取多個幀圖像，多個所述幀圖像的數量大於所述多個檢查圖像的數量；以及將所述幀圖像輸入至所述影像檢查設備以作為所述影像檢查設備的測試資料。
如請求項6所述的測試資料產生裝置，其中多個所述檢查圖像包括多個第一檢查圖像和多個第二檢查圖像，多個所述第一檢查圖像包括一第一生產線環境，多個所述第二檢查圖像包括一第二生產線環境以及產品外觀。
如請求項7所述的測試資料產生裝置，其中所述處理器交錯地串接所述第一檢查圖像以及所述第二檢查圖像，以產生所述至少一長條圖像。
如請求項6所述的測試資料產生裝置，其中所述處理器從所述至少一長條圖像的長度方向上擷取多個所述幀圖像。
如請求項6所述的測試資料產生裝置，其中所述處理器以視訊串流方式將所述幀圖像形成一影片，從而在一特定網址中依序顯示多個所述幀圖像，其中所述設定值用以調整或設定所述影片的一每秒顯示影格數、所述幀圖像的呈現速度或一圖像解析度。