TWI526982B

TWI526982B - 區域分割方法、電腦程式產品及檢查裝置

Info

Publication number: TWI526982B
Application number: TW103105765A
Authority: TW
Inventors: Yoshihisa Minato; Yukiko Yanagawa; Yasuyuki Ikeda; Yutaka Kiuchi; Yutaka Kato
Original assignee: Omron Tateisi Electronics Co
Priority date: 2013-03-29
Filing date: 2014-02-21
Publication date: 2016-03-21
Also published as: KR101719088B1; JP2014197358A; TW201447811A; JP6089886B2; EP2980755A1; EP2980755A4; WO2014156425A1; KR20150121164A; EP2980755B1; US9672628B2; US20160300358A1; CN105122306B; CN105122306A

Description

區域分割方法、電腦程式產品及檢查裝置

本發明係有關於一種用以從影像抽出所期望之區域的技術。

已知一種藉由電腦之數位影像處理，將所供給之影像分離成前景(想抽出之部分)與背景(前景以外之部分)之稱為區域分割(分段)的技術。自以往就提案有各式各樣的區域分割之演算法，但是大致區分為：按各像素判別是前景或是背景之根據像素的方法、及探索前景與背景之邊界之根據輪廓的方法。以前者而言，有藉由單純之二值化、色域抽出、或分群之顏色分割等。又，在專利文獻1，提案一種透過對藉由色域抽出所得之像素群進一步分群，而仔細地辨別對象色(人之膚色等)之像素與對象色以外之顏色的像素的方法。以後者的方法而言，已知有主動輪廓偵測模型(Snakes)、等位集合(Level Sets)、圖形切割演算法(Graph Cuts)等(例如參照非專利文獻1)。這些方法係將前景區域之輪廓(前景與背景之邊界)的最佳解當作能量最小化的問題來求解的方法。

在區域分割方面，為了簡化演算法與提高分割精度，以採用使用者教導前景與背景各自之代表性顏色的方法(稱為交談式分段)居多。例如，在非專利文獻 1，揭示使用者對顯示影像分別將線描繪於前景之一部分與背景之一部分後，從該線上將前景與背景之代表色取樣的方法。

交談式分段在前景或背景之顏色係未知、或在影像中含有多種顏色或花樣、或前景與背景之顏色相似等之難以自動分割前景與背景的情況很有效。但可能因使用者而異，有對指定前景與背景之雙方的作業覺得麻煩，或為了尋找適當之背景而費工夫的情形。又，就一般人的感覺而言，亦有很多使用者在指定所關心之對象物(前景)的一部分是憑直覺，但在指定不關心(背景)之區域的操作並非憑直覺而有感到不協調。

在簡化使用者之指定作業的方法方面，專利文獻2中，提案一種預先設定對象物之大小(可存在之範圍)作為事前知識，而當使用者指定對象物(前景)的一點時，從該點之座標與對象物之大小推定存在於對象物之外側的點(背景)，並抽出前景與背景各自之顏色的方法。可是，此方法具有無法應用在對象物之大小未知的情況而欠缺通用性的課題。

又，以Adobe公司之photo retouch soft(影像加工編輯軟體)Photoshop所搭載的「自動選擇工具」及「快選工具」而言，當使用者指定影像之一部分後，會自動選擇位於該指定位置的周圍之類似色的像素。即，光指定前景之一部分就可進行區域抽出，省略指定背景之工夫。可是，因為該軟體僅評估與指定位置之顏色(前景之代表色)的類似性，所以抽出結果之精度不太高。例如，在前景與背景之顏色相似的情況、或前景部分之顏色的變化平緩地持續的情況等，使用者所期望之範圍不會被選擇，而需要進行範圍之追加或刪除等之修正作業。

先行專利文獻專利文獻

專利文獻1 特開2007-193553號公報

專利文獻2 特開2008-245719號公報

非專利文獻

非專利文獻1 Y.Boykov and M.-P.Jolly：“Interactive

Graph Cuts for Optimal Boundary & Region Segmentation

of Objects in N-D images”，ICCV2001，01，p.105(2001)

本發明係有鑑於上述實情而完成者，其目的在於提供一種使用者光是教導前景之一部分就可將影像精度佳地分割成前景與背景的技術。

為了達成該目的，本發明之重點在於：根據由使用者所指定之前景指定像素的顏色，推定前景的顏色分布與背景的顏色分布，再將這些顏色分布作為條件，進行區域分割。

具體而言，本發明係將影像分割成前景與背景之區域分割方法，其包含：前景指定步驟，係電腦讓使用者指定該影像中應作為前景之區域內之一部分的像素，作為前景指定像素；推定步驟，係電腦根據由使用者所指定之該前景指定像素的顏色，推定前景的顏色分布與背景的顏色分布；及區域分割步驟，係電腦將所推定之前景的顏色分布與背景的顏色分布用作條件，將該影像分割成前景區域與背景區域；該推定步驟係包含：分群步驟，係將該影像的顏色分布分成複數個群；及選擇步驟，係從該複數個群中選擇與由使用者所指定之該前景指定像素的關聯性大之一個以上的群，作為該前景的顏色分布，並選擇與該前景指定像素的關聯性小之一個以上的群，作為該背景的顏色分布。

依據本構成，因為使用者係僅指定前景之一部分即可(不必指定背景)，所以使用者之操作變成直覺性且簡單。而且，因為根據使用者所指定之前景指定像素的顏色，推定前景的顏色分布與背景的顏色分布，並使用前景與背景之雙方的顏色分布，作為條件，進行區域分割，所以與僅使用前景之條件的方法相比，可進行高精度之區域分割。又，因為不必提供對象物(前景)的大小等之事前知識，所以亦具有在通用性優異的優點。

在該區域分割步驟，藉由對屬於前景區域之候選解的複數個候選區域，評估相對於該前景的顏色分布之候選區域的內側之各像素之顏色的前景相似度與相對於該背景的顏色分布之候選區域的外側之各像素之顏色的背景相似度，從該複數個候選區域中求得該前景區域之最佳解較佳。依據這種最佳解探索，可實覝高精度之區域分割。

較佳為，在該區域分割步驟，以包含由使用者所指定之該前景指定像素的方式設定該複數個候選區域。依此方式，藉由不僅由使用者所指定之該前景指定像素的顏色資訊，而且位置資訊亦利用作起始條件，因為可縮小探索範圍，所以可期待提高最佳解探索之精度與縮短處理時間。

在該推定步驟，對該複數個群之各個，根據對群所含之該前景指定像素計數的結果，評估與該前景指定像素之關聯性的大小較佳。在對群所含的前景指定像素計數時，亦可直接計數前景指定像素的個數，亦可賦與因應於前景指定像素之位置的加權並計數。

在該推定步驟，可選擇與該前景指定像素之關聯性是臨限值以上的群，或者與該前景指定像素之關聯性大者起算既定數的群，作為該前景的顏色分布。又，在該推定步驟，可選擇不含該前景指定像素的群、與該前景指定像素之關聯性小於臨限值的群，或者與該前景指定像素之關聯性小者起算既定數的群，作為該背景的顏色分布。在此，臨限值或既定數可採用1以上之任意值，亦可作成可由使用者變更，亦可電腦動態地變更。

在該前景步驟，藉由將圖形描繪於顯示裝置所顯示之該影像上的操作，指定該前景指定像素較佳。藉由使用這種使用者介面，可直覺且簡單地指定前景指定像素。在此，所描繪之圖形的形式係任何圖形都可。例如，該圖形係直線、曲線、圓、橢圓、多角形或封閉圖形。

此外，本發明係亦可理解成是包含該處理之至少任一者的區域分割方法，亦可理解成是具有該處理(功能)之至少任一者的區域分割裝置或影像處理裝置。又，本發明係亦可理解成是透過將藉該處理所抽出之前景區域設定於檢查區域，並分析該檢查區域內之影像，以檢查檢查對象物的影像檢查裝置或檢查方法。再者，本發明亦可理解成是用以使電腦執行該區域分割方法或檢查方法之各步驟的程式或已記錄該程式的記錄媒體。該處理及功能係只要無技術性矛盾，可任意地組合，而構成本發明。

依據本發明，使用者僅教導前景之一部分，就可將影像高精度地分割成前景與背景。

1‧‧‧影像檢查裝置

2‧‧‧檢查對象物(筐體元件)

10‧‧‧裝置本體

11‧‧‧影像感測器

12‧‧‧顯示裝置

13‧‧‧記憶裝置

14‧‧‧輸入裝置

101‧‧‧檢查處理部

102‧‧‧檢查區域抽出部

103‧‧‧設定工具

20‧‧‧鉸鏈部分

21‧‧‧按鈕部分

30‧‧‧檢查區域

31‧‧‧檢查區域影像

50‧‧‧影像窗

51‧‧‧影像取入按鈕

52‧‧‧工具按鈕

53‧‧‧區域分割按鈕

54‧‧‧確定按鈕

55‧‧‧設定變更按鈕

71~76‧‧‧群

第1圖係以表示影像檢查裝置之構成的模式圖。

第2圖係表示檢查處理之流程的流程圖。

第3圖係用以說明檢查處理中之檢查區域之抽出過程的圖。

第4圖係表示使用設定工具103設定檢查區域的處理之流程的流程圖。

第5圖係表示檢查區域設定畫面之一例的圖。

第6圖(a)~(e)係表示前景指定圖形的描繪之一例的圖。

第7圖(a)~(c)係用以說明前景之顏色分布與背景之顏色分布之推定處理的圖。

本發明在有關需要使用者之教導的交談式分段方面，透過使用者僅指定前景之一部分，推定前景與背景之雙方的顏色分布，並將這些顏色分布用作條件，可實現高精度之區域分割。本發明之區域分割方法係可利用作各種數位影像處理、電腦視覺、機器視覺之基本技術。例如，可想到在影像檢查裝置中從原影像抽出應作為檢查對象之區域的處理、從靜止影像或動態影像檢測出臉、人體、手指(姿勢)之區域或輪廓的處理、從車載相機之映像檢測出道路之白線或標幟或既定物體的處理、在構築影像處理用之學習用資料庫時設定成為輸入對象的處理、在影像編輯進行背景合成時從原影像中僅修整前景部分的處理、從醫用影像中僅抽出診斷對象之臟器或部位的處理等各種的應用例。在以下所述之實施形態，作為一個應用例，說明將本發明之區域分割方法組裝於影像檢查裝置中之檢查區域設定功能(設定工具)的例子。

(影像檢查裝置)

第1圖係表示影像檢查裝置之構成的模式圖。此影像檢查裝置1係進行在搬運路徑上搬運之檢查對象物2之外觀檢查的系統。

如第1圖所示，影像檢查裝置1由裝置本體10、影像感測器11、顯示裝置12、記憶裝置13及輸入裝置14等之硬體所構成。影像感測器11係用以將彩色或黑白之靜止影像取入裝置本體10的組件，例如適合使用數位相機。其中，在利用可見光像以外之特殊影像(X射線影像、熱影像等)作檢查的情況，只要使用配合該影像之感測器即可。顯示裝置12係用以顯示藉影像感測器11取入之影像、檢查結果、關於檢查處理或設定處理之GUI畫面的裝置，例如可使用液晶顯示器等。記憶裝置13係儲存檢查裝置在檢查處理中所參照之各種設定資訊(檢查區域定義資訊、檢查邏輯等)或檢查結果等的裝置，例如可利用HDD、SSD、快閃記憶體、網路儲存裝置等。輸入裝置14係使用者為了對裝置本體10輸入指示所操作之裝置，例如可利用滑鼠、鍵盤、觸控面板、專用控制台等。

裝置本體10在硬體方面，係可由包括CPU(中央運算處理裝置)、主記憶裝置(RAM)及輔助記憶裝置(ROM、HDD、SSD等)的電腦所構成，而在其功能方面，具有檢查處理部101、檢查區域抽出部102及設定工具103。檢查處理部101與檢查區域抽出部102係關於檢查處理的功能，設定工具103係支援檢查處理所需之設定資訊之由使用者之設定作業的功能。這些功能係輔助記憶裝置或記憶裝置13所儲存之電腦程式被下載至主記憶裝置，透過CPU執行而實現。此外，第1圖係只不過是表示裝置構成的一例而已，亦可將影像感測器11、顯示裝置12、記憶裝置13及輸入裝置14全部或一部分與裝置本體10一體化。此外，裝置本體10亦可由如個人電腦或平板終端機之電腦所構成，或者由專用晶片或機載電腦等所構成。

(檢查處理)

參照第2圖及第3圖，說明關於影像檢查裝置1之檢查處理的動作。第2圖係表示檢查處理之流程的流程圖，第3圖係用以說明檢查處理中之檢查區域之抽出過程的圖。此處，為便於說明，列舉手機之筐體元件之面板面的檢查(傷痕、顏色不均之檢測)，說明檢查處理之流程。

在步驟S20，藉影像感測器11拍攝檢查對象物2，將影像資料取入裝置本體10。在此所取入的影像(原影像)係視需要顯示於顯示裝置12。第3圖之上段表示原影像之一例。在原影像之中央映現成為檢查對象的筐體元件2，在其左右映現在搬運路徑上相鄰之筐體元件的一部分。

在步驟S21，檢查區域抽出部102從記憶裝置13讀入所需之設定資訊。設定資訊至少包含檢查區域定義資訊與檢查邏輯。檢查區域定義資訊係定義從原影像應抽出之檢查區域之位置、形狀的資訊。檢查區域定義資訊之形式係任意，例如可使用檢查區域之內側與外側改變了標籤的位元遮罩、或以輪廓貝齊爾曲線或樣條(spline)曲線表達檢查區域的向量資料等。檢查邏輯係定義檢查處理之內容的資訊，例如，相當於檢查所使用之特徵量的種類、判定方法、特徵量抽出或判定處理所使用之參數或臨限值等。

在步驟S22，檢查區域抽出部102根據檢查區域定義資訊，從原影像抽出作為檢查區域的部分。第 3圖之中段表示將以檢查區域定義資訊所定義之檢查區域(以剖面線表示)30與原影像重疊後的狀況。得知檢查區域30剛好重疊在筐體元件2之面板面之上。第3圖之下段表示從原影像抽出檢查區域30之部分的影像(檢查區域影像31)的狀況。在檢查區域影像31，刪除在筐體元件之周圍所拍到的搬運路徑或相鄰的元件。又，亦刪除從表面檢查之對象部位排除的鉸鏈部分20或按鈕部分21。依此方式所得之檢查區域影像31係被交給檢查處理部101。

在步驟S23，檢查處理部101根據檢查邏輯，分析檢查區域影像31並抽出所需的特徵量。在本例，抽出檢查區域影像31之各像素的顏色與其平均值作為用以檢查表面之傷痕、顏色不均的特徵量。

在步驟S24，檢查處理部101根據檢查邏輯，判定有無傷痕、顏色不均。例如，在檢測出色差相對於步驟S23所得之平均值是超過臨限值之像素群的情況，可將該像素群判定為傷痕或顏色不均。

在步驟S25，檢查處理部101將檢查結果顯示於顯示裝置12，並記錄於記憶裝置13。截至以上，結束對一個檢查對象物2之檢查處理。在生產線，以與將檢查對象物2搬運至影像感測器11之視角內的時序同步的方式重複第2圖之步驟S20~S25的處理。

關於外觀檢查，以僅適量地分割出應作為檢查對象之像素而作為檢查區域影像31較佳。原因是在檢查區域影像31中包含有背景部分或多餘部分(在第3圖之例子為鉸鏈部分20或按鈕部分21)時，該像素成為雜訊，而可能降低檢查精度，反之，檢查區域影像31比應作為檢查對象物之範圍更小時，可能發生檢查的遺漏。因此，在本實施形態之影像檢查裝置1中準備用以簡單地製作用以分割出正確的檢查區域影像之檢查區域定義資訊的設定工具103。

(檢查區域之設定處理)

按照第4圖之流程圖，說明設定工具103的功能及動作。第4圖係表示使用設定工具103設定檢查區域的處理之流程的流程圖。又，亦適當地參照第5圖之檢查區域設定畫面例。

當設定工具103一起動，第5圖之設定畫面顯示於顯示裝置12。此設定畫面設置有影像窗50、影像取入按鈕51、工具按鈕52、區域分割按鈕53、確定按鈕54及設定變更按鈕55。按鈕之選擇、對顯示於影像窗50之影像的圖形描繪(前景指定)等係可藉使用輸入裝置14之既定操作(例如滑鼠之點擊或拖曳、按壓既定鍵等)來進行。此外，此設定畫面終究只是一例，只要可進行以下所述之輸入操作或影像之確認等，則亦可使用任何的UI。

使用者按壓影像取入按鈕51時，設定工具103係藉影像感測器11拍攝檢查對象物的樣品(步驟S40)。樣品方面，是使用良品之檢查對象物，在與實際之檢查處理的情況相同之狀態(影像感測器11與樣品之相對位置、照明等)進行拍攝即可。所得之樣品影像資料被取入於裝置本體10。此外，在所預先拍攝之樣品影像是存在於裝置本體10之輔助記憶裝置或記憶裝置13中的情況，亦可為設定工具103從輔助記憶裝置或記憶裝置13讀入樣品影像的資料。

在步驟S40所取入的樣品影像係如第5圖所示，顯示於設定畫面之影像窗50(步驟S41)。如第5圖所示，在對象物係具有複雜的形狀者，或前景(作為檢查區域應抽出之部分)與背景(前景以外的部分)之顏色或亮度的差不太大的情況，電腦難自動地解釋並決定檢查區域應設定在哪。因此，在本實施形態，使用者教導電腦將樣品影像中應作為前景之區域內的一部分作為起始值。

(前景之指定)

在本實施形態，藉由將圖形描繪於樣品影像上之任意位置的操作而進行指定前景(以下，將此圖形稱為前景指定圖形)。設定工具103係準備直線描繪工具、曲線描繪工具、圓描繪工具、矩形描繪工具、封閉圖形描繪工具及橡皮摖工具，作為用以描繪圖形的工具。藉由選擇工具按鈕52中符合的圖示，可切換工具。

當利用直線描繪工具時，如第6圖(a)所示，可在顯示於影像窗50之樣品影像上描繪直線線段或連續直線(折線)。線之粗細係可任意地變更。關於直線之輸入操作，因為只要利用在CAD或畫圖軟體等所使用之操作(例如，起點與終點之點擊、起點之點擊與拖曳的組合等)即可，所以在此省略說明。關於其他的圖形輸入亦相同。當利用曲線描繪工具時，如第6圖(b)所示，可在影像上描繪自由曲線或貝齊爾曲線或樣條曲線。當利用圓描繪工具時，如第6圖(c)所示，可描繪圓或橢圓。當利用矩形描繪工具時，如第6圖(d)所示，可描繪正方形或長方形。當利用封閉圖形描繪工具時，如第6圖(e)所示，可描繪以自由曲線所定義之任意的封閉圖形。在第6圖(a)~第6圖(e)，只表示一個圖形，但是亦可描繪複數個圖形。在圓描繪工具、矩形描繪工具及封閉圖形描繪工具的情況，亦可將圓、矩形、或封閉圖形之內側的區域作為前景指定圖形，亦可與直線描繪工具、曲線描繪工具一樣地將圖形之輪廓部分作為前景指定圖形。橡皮摖工具係用以擦掉已描繪的圖形的工具。此外，這些工具係舉例，只要能以線或多角形等其他的封閉圖形指定影像上之一部分，則亦可使用任何的工具。

當利用任一種工具，在影像上描繪前景指定圖形時(步驟S42)，可選擇區域分割按鈕53。然後，使用者按壓區域分割按鈕53時，設定工具103係從樣品影像取得重疊有前景指定圖形之部分的像素(將其稱為前景指定像素)的資料(步驟S43)。然後，設定工具103係根據這些前景指定像素的顏色，藉以下所述之方法，推定前景與背景各自之代表色的顏色分布。

(前景與背景之顏色分布的推定)

首先，設定工具103將樣品影像之洜像素的值(顏色)映射至既定的色空間(步驟S44)。關於色空間方面，亦可以是與樣品影像之顏色通道相同的色空間(例如 RGB色空間)，亦可使用如L*a*b*或XYZ之類的其他色空間。又，為了簡化計算，亦可使用二維或一維之色空間。第7圖(a)係在模式上表示映射結果之一例(為了便於圖示，表示二維之色空間的例子)。×記號表示被映射之像素。雖實際之影像存在有從數十萬至數百萬左右之像素，但在第7圖(a)簡化地表示。

接著，設定工具103係根據顏色之類似性將被映射至色空間的像素群(即取樣影像的顏色分布)分割成複數個群(步驟S45)。，關於分群演算法，亦可使用GMM(Gaussian Mixture Model；高斯混合模型)分群、K-means(K-平均數分群)法、平均位移演算法(mean-shift法)、無限混合狄利克雷(Dirichlet)分布，但是在本實施形態的情況，使用GMM分群較佳。原因是在後段之最佳解探索的相似度計算會利用GMM，具有可在最佳解探索直接沿用GMM分群之計算結果的優點。此外，群之個數(分割數)係亦可動態地決定，亦可由使用者設定。第7圖(b)係作為分群結果之一例，在模式上表示分割成6個群71~76的例子。

接著，設定工具103係對6個群71~76的各群，評估與在步驟S43所取得的前景指定像素之關聯性的大小(步驟S46)。具體而言，設定工具103係計數各個群所含的前景指定像素，再根據其計數結果，計算表示與前景指定像素之關聯性之大小的得分。在第7圖(c)，以○記號所示者係前景指定像素。得知在群71、72、73包含前景指定像素，在剩餘的群74、75、76中未包含前景指定像素。在本實施形態，使用對一個前景指定像素逐次計數的結果(即，群內之前景指定像素的總數)作為得分。在此情況，群73之得分成為「5」，群71與72之得分成為「2」，群74、75、76之得分成為「0」，得到與前景指定像素之關聯性係群73最大，而群74、75、76最小之評估結果。

此外，表示關聯性之大小的指標(得分)之計算方法不受限於上述的例子。例如，亦可為設定工具103係賦與因應於前景指定像素之位置的加權，進行前景指定像素之計數。例如，可使位於由使用者所描繪之前景指定圖形的中心部之像素的加權比位於周邊部之像素的加權更大。原因是使用者以認為是典型之前景部分的位置為中心描繪圖形的可能性高。若預先使周邊部之像素的加權變小，亦具有即使圖形之端超出前景而覆蓋背景部分，亦可減少對得分之影響的優點。在其他方法方面，亦可在描繪複數個前景指定圖形時，按各圖形改變像素的加權。例如，可考慮愈是接近中心之圖形加權愈大、或是面積愈小的圖形加權愈大、或讓使用者指定各圖形的加權等。此外，迄至目前為止，是因應於前景指定像素之影像內的位置之加權控制，但亦可進行因應於前景指定像素之色空間內(群內)的位置之加權控制。例如，可使位於群的中心部之像素的加權比位於群的周邊部之像素的加權更大。原因是可謂前景指定像素愈集中於群的中心，該群表示前景之顏色的可能性高。

然後，設定工具103係從6個群71~76中選擇與前景指定像素之關聯性大之一個以上的群，並將由這些群所合成之GMM決定成前景的顏色分布(步驟S47)。在本實施形態，得分為1以上的群(即，包含一個以上之前景指定像素的群)全被選擇。在第7圖(c)之例子，由3個群71、72、73所構成之GMM成為前景的顏色分布。

此外，在步驟S47之群的選擇方法不限於上述的例子。例如，亦可將判定與前景指定像素之關聯性(得分)是否是大的臨限值設定成大於1的值，亦可作成可由使用者變更臨限值。因應於前景指定像素之總數或前景指定像素之分布等動態地改變臨限值亦佳。或者，亦可為不是根據得分與臨限值的比較來決定，而按照與前景指定像素之關聯性(得分)大的順序將群排序，將與前景指定像素之關聯性大者起算既定數之群選擇成前景的顏色分布。既定數可設定成1以上之任意值，亦可作成可由使用者變更。因應於前景指定像素之總數或群之分割數等，動態地改變選擇作為前景的顏色分布之群的個數亦佳。

接著，設定工具103係從6個群71~76中選擇與前景指定像素之關聯性小之一個以上的群，並將由這些群所合成之GMM決定成背景的顏色分布(步驟S48)。在本實施形態，得分小於1的群(即，連一個前景指定像素都未包含)全被選擇。在第7圖(c)之例子，由3個群74、75、76所構成之GMM成為背景的顏色分布。

關於在步驟S48之群的選擇方法亦想到各種變化。例如，亦可將判定與前景指定像素之關聯性(得分)是否小的臨限值設定成大於1的值，亦可作成可由使用者變更臨限值。因應於前景指定像素之總數或前景指定像素之分布等而動態地改變臨限值亦較佳。或者，亦可為不是根據得分與臨限值的比較來決定，而是按照與前景指定像素之關聯性(得分)小的順序將群排序，將與前景指定像素之關聯性小者起算既定數之群選擇成前景的顏色分布。既定數可設定成1以上之任意值，亦可作成可由使用者變更。因應於前景指定像素之總數或群之分割數等，動態地改變作為背景的顏色分布所選擇之群的個數亦佳。

此外，不必將全部之群選擇為前景的顏色分布或背景的顏色分布。反之，亦可容許在前景之顏色分布與背景之顏色分布的雙方選擇相同的群。原因是有包含與前景與背景相似之顏色的情況。進而，在步驟S47、S48，不僅考慮與前景指定像素之關聯性，而且考慮群間的距離(在色空間的距離)亦較佳。例如，在預先得知前景與背景之顏色差異明確的情況，且背景之群的候選存在多個的情況，優先將與作為前景的顏色分布所選擇之群的距離較遠的群地選擇成背景的群即可。或者，為了網羅背景之顏色進行取樣，亦可以儘量加大群間的距離之方式選擇背景之群。前景之群的情況亦相同。

(區域分割)

接著，設定工具103係使用在步驟S44~S48所推定之前景的顏色分布與背景的顏色分布，作為起始條件，對樣品影像執行區域分割(分段)(步驟S49)。關於區域分割，亦可利用任何的演算法，但是以使用探索前景與背景之最佳的邊界之根據輪廓的演算法較佳。例如，可適合利用圖形切割演算法或等位集合等的演算法。在這些演算法，對前景區域的候選解(候選區域)，藉由評估候選區域之內側的像素之顏色的前景相似度與候選區域之外側的像素之顏色的背景相似度，從複數個候選區域中探索前景區域之最佳解。在此，各像素之顏色的前景相似度係可使用在步驟S47所得之屬前景的顏色分布之GMM作為機率密度函數來計算。又，各像素之顏色的背景相似度係可使用在步驟S48所得之屬背景的顏色分布之GMM作為機率密度函數來計算。例如，在使用圖形切割演算法的情況，只要使用評估候選區域之內側之各像素的前景相似度與候選區域之外側之各像素的背景相似度之合計值的數學式作為目的函數的資料項即可。在該情況之平滑化項，例如可使用評估各像素之4附近之邊緣加權的數學式等。因為圖形切割演算法係公知的手法(參照非專利文獻1等)，所以在此省略詳細的說明。

此外，關於步驟S49之最佳解探索，以將由使用者所指定的前景指定像素全部包含的方式設定前景區域之候選區域即可。原因是，如此藉由前景指定像素的位置資訊亦作為起始條件利用，可縮小探索範圍，而可期待提高最佳解探索之精度與縮短處理時間。

設定工具103係將步驟S49之作為區域分割的結果所抽出之前景區域(或前景區域與背景區域的邊界)重疊在樣品影像上作顯示(步驟S50)。使用者係藉由觀察此顯示，可確認是否已抽出所期望之區域作為前景。然後，使用者按確定按鈕54時，設定工具103係將前景區域確定成檢查區域，並產生檢查區域定義資訊，儲存於記憶裝置13(步驟S51)。

此外，在步驟S49所抽出之前景區域不適當的情況，從影像之取入(步驟S40)或前景指定(步驟S42)重做即可。或者，亦可藉由按設定變更按鈕55，顯示設定變更對話，調整關於前景指定或區域分割的設定參數。在設定參數方面，例如作成可調整描繪前景指定圖形時之線(刷子)的粗細、群之分割數、前景與背景各自之顏色分布的決定方法或臨限值等即可。

(本實施形態之優點)

依據上述之設定工具103，因為使用者係僅指定前景之一部分(不必指定背景)即可，所以使用者之操作變得直覺且簡單。而且，因為根據使用者所指定之前景指定像素的顏色，推定前景的顏色分布與背景的顏色分布，並使用前景與背景雙方的顏色分布，作為條件，進行區域分割，所以與僅使用前景之條件的方法相比，可進行高精度之區域分割。又，因為不必提供對象物(前景)的大小等之事前知識，所以亦具有在通用性優異的優點。尤其，在本實施形態，因為利用圖形切割演算法或等位集合等的區域分割演算法，求得前景區域的最佳解，所以可高精度地決定前景與背景的邊界。而且，因為以包含由使用者所指定之前景指定像素的方式設定探索範圍，所以可兼顧提高探索精度及縮短處理時間。

上述之實施形態係表示本發明的一具體例，並非意味本發明之範圍受限於該些具體例。例如，在上述之實施形態，因為是假設彩色影像作為樣品影像，所以利用了影像之顏色資訊，但是在使用黑白影像的情況，只要使用亮度(濃度)資訊，替代顏色資訊即可。又，如同上述，本發明之區域分割方法不限於外觀檢查裝置，可通用地利用於各種數位影像處理、電腦視覺、機器視覺之基本技術。

Claims

一種區域分割方法，係將影像分割成前景與背景之區域分割方法，其特徵為包含以下的步驟：前景指定步驟，係電腦讓使用者指定該影像中應作為前景之區域內之一部分的像素，作為前景指定像素；推定步驟，係電腦根據由使用者所指定之該前景指定像素的顏色，推定前景的顏色分布與背景的顏色分布；及區域分割步驟，係電腦使用所推定之前景的顏色分布與背景的顏色分布作為條件，將該影像分割成前景區域與背景區域；該推定步驟包含：分群步驟，係將該影像的顏色分布分成複數個群；及選擇步驟，係選擇該複數個群中與由使用者所指定之該前景指定像素的關聯性大的一個以上的群，作為該前景的顏色分布，並選擇與該前景指定像素的關聯性小的一個以上的群，作為該背景的顏色分布，在該推定步驟，對該複數個群的各群，根據對群所含之該前景指定像素計數的結果，評估與該前景指定像素之關聯性的大小。
如請求項1之區域分割方法，其中在該區域分割步驟，藉由對屬前景區域之候選解的複數個候選區域，評估相對於該前景的顏色分布之候選區域的內側之各像素之顏色的前景相似度與相對於該背景的顏色分布之候選區域的外側之各像素之顏色的背景相似度，從該複數個候選區域中求得前景區域之最佳解。
如請求項2之區域分割方法，其中在該區域分割步驟，以包含由使用者所指定之該前景指定像素的方式設定該複數個候選區域。
如請求項1之區域分割方法，其中在該推定步驟，在對群所含之該前景指定像素計數時，賦與因應於該前景指定像素之位置的加權並計數。
如請求項1之區域分割方法，其中在該推定步驟，選擇與該前景指定像素之關聯性是臨限值以上的群、或者與該前景指定像素之關聯性大者起算既定數的群，作為該前景的顏色分布。
如請求項1之區域分割方法，其中在該推定步驟，選擇不含該前景指定像素的群、與該前景指定像素之關聯性小於臨限值的群、或者與該前景指定像素之關聯性小者起算既定數的群，作為該背景的顏色分布。
如請求項1之區域分割方法，其中在該前景步驟，藉由在顯示裝置所顯示之該影像上描繪圖形的操作，而進行指定該前景指定像素。
如請求項7之區域分割方法，其中該圖形係直線、曲線、圓、橢圓、多角形或封閉圖形。
一種電腦程式產品，其特徵為：使電腦執行如請求項1至8中任一項之區域分割方法的各步驟。
一種檢查裝置，係在拍攝檢查對象物所得之原影像的一部分上設定檢查區域，並分析該檢查區域內之影像，藉此，檢查該檢查對象物，該影像檢查裝置的特徵為：使用如請求項1至8中任一項之區域分割方法，將該原影像分割成前景區域與背景區域，並將該前景區域設定為該檢查區域。