TWI512687B - 加標籤方法、加標籤裝置以及缺陷檢查裝置 - Google Patents

Description

加標籤方法、加標籤裝置以及缺陷檢查裝置

本發明是有關於一種對將二進制圖像數據進行進程長度化(run lengthening)製作而成的多個進程(line)賦予標籤的加標籤技術以及應用該加標籤技術的缺陷檢查裝置。

在半導體基板或印刷基板等的製造技術領域中，為了對製品中所含的缺陷進行檢測並對其進行分析‧評估，而經由顯微鏡等對評估對象物進行攝像，且從所獲得的圖像中抽出包含缺陷部的圖像、所謂的缺陷圖像。然後，根據該缺陷圖像的二進制圖像數據來計測缺陷部的個數、面積或重心等。此時，為了自動地進行該計測，而廣泛利用加標籤(labeling)(連結區域抽出)處理。例如，在日本專利特開2008-186123號公報中，對將二進制圖像數據按照每一列而進行進程長度化(run-lengthening)所生成的進程執行2段(pass)的標籤賦予處理，從而實現了加標籤處理的高速化。

然而，在所述日本專利特開2008-1186123號公報中記載的發明(以下稱作“現有發明”)中，是以從上位的進程數據開始依次進行調查為前提，從而這成為妨礙進一步高速化的因素之一。而且，所述現有發明中，必須另外設置記錄被提供了不同標籤的進程數據彼此是否屬於相同的連結成分的標籤表、以及針對每一標籤而與該標籤對應的進程數據的數目建立關聯的進程數表。因此，根據進程的數目的增大或連結狀態的複雜化而所述標籤表及進程數表的要素數增大，這也成為妨礙加標籤處理的高速化的另一因素。

本發明鑒於所述課題而完成，其目的在於提供一種能夠實現二進制圖像數據的加標籤處理的高速化的技術，以及使用該技術而有效率地進行缺陷檢查的技術。

本發明的加標籤方法對將二進制圖像數據進行進程長度化製作而成的多個進程實施加標籤處理，所述加標籤方法的特徵在於包括：初始標籤設定工程，對各進程設定相互不同的標籤；更新工程，針對每一進程，將所述進程作為處理對象進程，並且判定是否存在與所述處理對象進程連接的第1連結進程，當存在第1連結進程時，進行將處理對象進程及第1連結進程中的一者的標籤更新為另一者的標籤的個別更新處理；以及搜索工程，在更新工程後，根據多個標籤來搜索多個進程中的相互連接的進程並賦予同一標籤，且在更新工程中，將多個進程劃分為多組，並 且將各組中執行的個別更新處理作為更新線程(thread)，基於排他控制一邊允許利用多個更新線程中的一個更新線程進行標籤的改寫，並且禁止由一個更新線程改寫的標籤的利用其他更新線程進行的改寫，一邊並行地執行多個更新線程。

而且，本發明的加標籤裝置對將二進制圖像數據進行進程長度化製作而成的多個進程實施加標籤處理，所述加標籤裝置的特徵在於包括：記憶部，記憶各進程的標籤；處理器部，具有多個進行運算處理的處理器核心；以及控制部，在對多個標籤初始設定相互不同的值後，針對每一進程，將所述進程作為處理對象進程，並且判定是否存在與所述處理對象進程連接的第1連結進程，當存在第1連結進程時，進行將處理對象進程及第1連結進程中的一者的標籤更新為另一者的標籤的個別更新處理，並進一步根據多個標籤來搜索多個進程中的相互連接的進程而賦予同一標籤，多個進程根據處理器核心的個數而劃分為多組，各處理器核心針對所劃分的一個或多個進程而將所述個別更新處理作為更新線程來執行，控制部基於排他控制，一邊允許利用多個更新線程中的一個更新線程進行標籤的改寫，並且禁止由一個更新線程改寫的標籤的利用其他更新線程進行的改寫，一邊並行地執行多個更新線程，由此進行針對每一進程的個別更新處理。

此外，本發明的缺陷檢查裝置的特徵在於包括：圖像獲取部，獲取檢查對象圖像；圖像抽出部，對檢查對象圖像進行檢查而抽出包含缺陷部位的缺陷圖像；二進制化處理部，對缺陷圖 像進行二進制化處理而生成二進制圖像數據；進程生成部，將二進制圖像數據進程長度化而生成多個進程；以及加標籤單元，具有與所述加標籤裝置相同的構成，且對多個進程中的相互連接的進程賦予同一標籤。

在如此構成的發明中，初始設定針對每一進程而具有相互不同的值的標籤。而且，針對每一進程執行個別更新處理，並根據是否存在與處理對象進程連接的連結進程來執行標籤的更新。然後，根據多個標籤來搜索多個進程中的相互連接的進程，並對其賦予同一標籤。就這樣利用更新工程與搜索工程這2段方式來進行加標籤處理的方面而言，與現有發明相同，但本發明中，利用與進程的個數為相同數量的標籤來進行二進制圖像數據的加標籤處理，而不需要現有發明中所使用的標籤表及進程數表，從而加標籤處理的高速化成為可能。

並且，在本發明的更新工程中，將多個進程劃分為多組並且將各組中執行的個別更新處理作為更新線程，且並行地執行這些更新線程。即，針對每個進程的個別更新處理得以並行地執行。因此，關於標籤更新，雖在更新線程間受到排他控制，但與從上位的進程開始依次賦予標籤的現有發明相比，可大幅縮短加標籤處理所需的總時間。

此處，在更新工程中，禁止由一個更新線程改寫的標籤的利用其他更新線程進行的改寫，但也可對該標籤以外的標籤，即不衝突的標籤允許利用其他更新線程進行的改寫。由此，可提 高處理效率而進一步縮短加標籤處理所需的時間。

而且，在個別更新處理中，也可構成為在已更新第1連結進程的標籤時，判定是否存在除與第1連結進程連接的處理對象進程以外的第2連結進程，當存在第2連結進程時，將第1連結進程及第2連結進程中的一者的標籤更新為另一者的標籤。這樣不僅對第1連結進程進行標籤更新，也對經由該第1連結進程而連接於處理對象進程的第2連結進程進行標籤更新，由此可縮短在針對處理對象進程的個別更新處理之後執行的針對第2連結進程的個別更新處理所需的時間。結果，可縮短總的處理時間。

而且，也可將具有與第1連結進程的標籤更新前的更新前標籤為同一標籤的進程來作為第2連結進程，可通過利用更新前標籤而容易且確實地找出第2連結進程，從而優選。

而且，也可將二進制圖像數據針對每一列而進程長度化，該情況下，可將與處理對象進程的下列連接的進程判定為第1連結進程。

而且，也可在2段中的搜索工程(搜索多個進程中的相互連接的進程並賦予同一標籤的工程)中，針對每一進程而執行個別搜索處理。該“個別搜索處理”是指如下的處理，即，將一個進程作為處理對象進程，並且根據多個標籤來找出與該處理對象進程連接的連結進程而將處理對象進程及連結進程的標籤改寫為相同。可這樣通過針對每個進程的個別搜索處理來合理地進行搜索工程。並且，與所述針對每一進程的個別更新處理同樣地， 將多個進程劃分為多組並且將各組中執行的個別搜索處理作為搜索線程(thread)，基於排他控制而一邊允許利用多個搜索線程中的一個搜索線程進行標籤的改寫，並且禁止由一個搜索線程改寫的標籤的利用其他搜索線程進行的改寫，一邊並行地執行多個搜索線程。由此，搜索工程中也可提高處理速度並進一步推進加標籤處理的高速化。

根據本發明，能夠並行地執行用以執行加標籤處理的處理的一部分，從而可縮短二進制圖像數據的加標籤處理所需的總時間。

1‧‧‧檢查系統

2‧‧‧攝像裝置

3‧‧‧控制裝置

4‧‧‧裝置控制部

5‧‧‧圖像獲取部

6‧‧‧圖像處理部

7‧‧‧記憶部

8‧‧‧輸入受理部

9‧‧‧顯示部

21‧‧‧攝像部

22‧‧‧平臺(stage)

23‧‧‧平臺(stage)驅動部

61‧‧‧濾波部

62‧‧‧差分抽出部(圖像抽出部)

63‧‧‧二進制化處理部

64‧‧‧加標籤部

65‧‧‧孤立去除處理部

211‧‧‧照明部

212‧‧‧光學系統

213‧‧‧攝像元件

641‧‧‧處理器核心

642‧‧‧GPU

643‧‧‧個別更新處理部

644‧‧‧個別搜索處理部

645‧‧‧加標籤用記憶部

646‧‧‧運算處理部(控制部)

647‧‧‧進程生成部

648‧‧‧並行處理控制部

649‧‧‧數據初始設定部

M‧‧‧基板檢測裝置

S‧‧‧基板

S1~S4-n、S11~S21、S31~S38‧‧‧步驟

圖1是表示使用配備有本發明的加標籤裝置的一實施方式的缺陷檢查裝置的檢查系統的概略構成的圖。

圖2是表示圖像處理部的概略構成的方塊圖。

圖3是表示與本發明的加標籤裝置的一實施方式相當的加標籤部的概略構成的方塊圖。

圖4是表示加標籤部的加標籤動作的流程圖。

圖5是表示提供給加標籤部的二進制圖像數據的一例的圖。

圖6(a)~圖6(c)是表示對圖5的二進制圖像數據執行進程長度化處理所得的進程的進程數據及表示進程彼此的連結關係 的進程連接數據的初始值的圖。

圖7是表示由各處理器核心執行的個別更新處理的流程圖。

圖8是表示由各處理器核心執行的個別更新處理的一例的示意圖。

圖9是表示由各處理器核心執行的個別搜索處理的流程圖。

圖10是表示由各處理器核心執行的個別搜索處理的一例的示意圖。

圖1是表示使用配備有本發明的加標籤裝置的一實施方式的缺陷檢查裝置的檢查系統的概略構成的圖。該檢查系統1是進行在作為檢查對象的半導體基板(以下稱作“基板”)S的外觀上所呈現的針孔或異物等缺陷檢查的檢查系統。檢查系統1包括對基板S上的檢查對象區域進行攝像的攝像裝置2，以及根據來自攝像裝置2的圖像數據進行缺陷檢查的控制裝置3。

如果相對於本系統而另外設置於基板S的生產線上的基板檢測裝置M發現基板S上有缺陷，則將該缺陷的位置座標提供給該檢查系統1。裝在生產線上的基板檢測裝置M利用預先規定的處理演算法來對基板S整體進行檢查，如果基板表面有滿足作為缺陷的要件的區域，則獲取該區域的位置座標並加以輸出。因此，該基板檢測裝置M所具有的攝像部為相對低的解析度，而處理演算法也為固定。

另一方面，該檢查系統1經由未圖示的接口而與基板檢測裝置M連接，並利用具有更高解析度的攝像裝置2對作為缺陷而由基板檢測裝置M報告位置座標的區域進行攝像，由控制裝置3對該圖像進行細查而更詳細判定缺陷有無或其種類等，並且將缺陷部分的圖像顯示於顯示部。

攝像裝置2包括：通過對基板S上的檢查對象區域進行攝像而獲取圖像數據的攝像部21，保持基板S的平臺(stage)22，及使平臺22對於攝像部21相對移動的平臺驅動部23。而且，攝像部21包括出射照明光的照明部211，向基板S導引照明光並且供來自基板S的光入射的光學系統212，及將由光學系統212成像的基板S的像轉換為電信號的攝像元件213。平臺驅動部23包含滾珠螺桿(ball screw)、導軌及馬達，設置於控制裝置3的裝置控制部4通過對平臺驅動部23及攝像部21進行控制，而對基板S上的檢查對象區域進行攝像。

控制裝置3具有裝置控制部4，該裝置控制部4執行預先讀入的控制程序，由此以如下方式使圖1所示的控制裝置各部動作。控制裝置3除所述的裝置控制部4外，還包括圖像獲取部5及圖像處理部6。圖像獲取部5將從攝像部21輸出的電信號數據化，而獲取與攝像圖像對應的圖像數據。圖像處理部6對圖像獲取部5所獲取的圖像數據實施適當的圖像處理，從而檢測圖像中所含的缺陷或製作缺陷部分的圖像(以下稱作“缺陷圖像”)。另外，該圖像處理部6包含作為本發明的加標籤裝置的一實施方式 的加標籤部，可高速地執行針對缺陷圖像的加標籤處理。以後將對圖像處理部6特別是加標籤部的構成及動作進行詳述。

此外，控制裝置3包括用以記憶各種數據的記憶部7、受理來自使用者的操作輸入的鍵盤及滑鼠等輸入受理部8及顯示操作順序或處理結果等面向使用者的視覺資訊的顯示部9等。而且，雖省略圖示，但具有從光碟、磁碟、光磁碟等電腦可讀取的記錄媒體讀取資訊的讀取裝置，且與在檢查系統1的其他構成之間收發信號的通訊部適當地經由接口(I/F)等而連接。

圖2是表示圖像處理部的概略構成的方塊圖。圖像處理部6包括濾波部61、差分抽出部62、二進制化處理部63、加標籤部64及孤立去除處理部65。濾波部61中從圖像獲取部5發送來攝像圖像，並且從記憶部7發送來參照圖像。所述兩圖像中的攝像圖像為由攝像裝置2攝像的基板S的圖像，相當於作為缺陷檢測檢查的對象的檢查對象圖像。而且，參照圖像是與無缺陷的理想的基板對應的圖像，該實施方式中，如以下說明那樣，利用檢查對象圖像與參照圖像的比較而對檢查對象圖像進行缺陷檢測。所述缺陷圖像及參照圖像被記憶在記憶部7中，且視需要而參照，但也可為視需要而讀入記憶在外部的記憶媒體中的圖像數據的形態。

濾波部61針對檢查對象圖像及參照圖像的各個，進行用以去除圖像噪聲及與缺陷無關的輕微的圖像的差異的濾波處理，並將各圖像發送至差分抽出部62。該差分抽出部62相當於本 發明的“圖像抽出部”的一例，通過求出濾波處理後的檢查對象圖像及參照圖像的差分而抽出圖像內容相互不同的區域，並將該差分圖像發送至二進制化處理部63。而且，二進制化處理部63利用適宜的閾值將差分圖像二進制化而生成二進制圖像數據BFI，並發送至加標籤部64。該加標籤部64將二進制圖像數據BFI進行進程(line)長度化(run lengthening)而生成多個進程，對該多個進程賦予標籤。此外，孤立去除處理部65從已加標籤的二進制圖像中去除殘留的孤立點。由此，製作所求出的缺陷位置圖像，並從圖像處理部6輸出。

圖3是表示相當於本發明的加標籤裝置的一實施方式的加標籤部的概略構成的方塊圖。該加標籤部64包括具有多個處理器核心641的圖形處理器(Graphics Processing Unit，GPU)642。該GPU642中，各處理器核心641作為個別更新處理部643及個別搜索處理部644而發揮功能，並將針對每個進程的個別更新處理及個別搜索處理分別作為一個線程(thread)而加以執行。本實施方式中，針對每個進程的個別更新處理相當於本發明的“更新線程”的一例，針對每個進程的個別搜索處理相當於本發明的“搜索線程”的一例。另外，關於個別更新處理及個別搜索處理，將於以後進行詳述。

而且，加標籤部64包括加標籤用記憶部645，該加標籤用記憶部645記憶二進制圖像數據BFI、用以指定進程r[m]的數據(以下稱作“進程數據”)、及進程連接數據id[m]。關於這些 數據，以後將一邊表示具體例一邊進行詳述。

此外，加標籤部64中設置著包含中央處理器(Central Processing Unit，CPU)或記憶器等的運算處理部646。運算處理部646中包括：進程生成部647，通過CPU依據規定的程序進行運算處理，將二進制圖像數據BFI進行進程長度化而生成進程r[m]；並行處理控制部648，對GPU642內的各處理器核心641所執行的線程一邊進行排他控制一邊並行地執行；以及數據初始設定部649，將進程r[m]及進程連接數據id[m]中所含的標籤編號初始化。這樣，運算處理部646作為本發明的“控制部”而發揮功能。

然後，一邊參照圖4至圖10一邊對如所述般構成的加標籤部64的加標籤動作進行說明。圖4是表示加標籤部的加標籤動作的流程圖。如果由二進制化處理部63製作的二進制圖像數據BFI被提供給加標籤部64，則加標籤部64的運算處理部646對加標籤部64的各部進行控制而執行加標籤處理。首先，該二進制圖像數據BFI被暫時地記錄到加標籤用記憶部645中。而且，對二進制圖像數據BFI，由進程生成部647執行進程長度化處理而生成多個進程r[m](步驟S1)，且記憶在加標籤用記憶部645中。另外，關於進程長度化處理，現有周知技術中已提出有許多，本實施方式中也直接使用普通的進程長度化處理。因此，省略進程長度化處理的說明。

圖5是表示提供給加標籤部的二進制圖像數據的一例的 圖。而且，圖6(a)~圖6(c)是表示對圖5的二進制圖像數據執行進程長度化處理所得的進程的進程數據及表示進程彼此的連結關係的進程連接數據的初始值的圖。圖5及圖6(a)中的縱方向及橫方向的數值(0、1、2、…)表示矩陣排列的像素的列方向及行方向的座標位置，即列索引(index)及行索引。而且，圖5中，被附加影線的像素表示為具有“1”的像素數據的像素，另一方面，未被附加影線的像素表示為具有“0”的像素數據的像素。如果對具有此種像素數據的二進制圖像數據BFI施加針對每列的進程長度化處理，則獲得圖6(a)所示的進程。具體來說，在第0列及第4列中，因不存在“1”的像素，所以不製作進程，在第1列至第3列中，分別製作2個、2個及1個進程。該說明書中，以“m”來表示由進程長度化處理製作而成的各進程的進程編號，按照進程的製作順序取0、1、2、…的值，且以r[m]來表示進程編號m的進程。

而且，圖6(b)中圖示了將進程r[0]~進程r[4]的進程數據按照進程編號順序記憶在加標籤用記憶部645的進程數據記憶區域中的狀態，該進程r[0]~進程r[4]是將圖5的二進制圖像數據BFI進行進程長度化處理製作而成。該圖6(b)中，“標籤編號”表示賦予至該進程的標籤，“始端像素位置”表示如下的行索引，即該行索引表示二進制圖像數據BFI中的該進程的始端像素位置，“終端像素位置”表示如下的行索引，即該行索引表示二進制圖像數據BFI中的該進程的終端像素位置，“列索引”表 示二進制圖像數據BFI中的該進程的列索引。這些之中的“標籤編號”是表示該進程與該進程以外的進程的連結關係的值，通過執行以後將要說明的更新處理(步驟S3)及搜索處理(步驟S4)，而對圖5所示的二進制圖像數據BFI中相互連結的進程彼此賦予相同的值。另外，本實施方式中，為了有效率地執行搜索處理(步驟S4)，而具有表示進程彼此的連結關係的進程連接表。該進程連接表中，設置進程連接數據id[m]來作為表示進程r[m]的連接狀態的數據，且由標籤編號來表示進程r[m]與其他進程的連接狀態，例如以圖6(c)所示的表形式而記憶在加標籤用記憶部645的進程連接數據記憶區域中。

回到圖4中繼續說明加標籤處理。本實施方式中，在根據二進制圖像數據BFI製作進程時，針對每一進程，設定相互不同的標籤編號來作為表示該進程與該進程以外的進程的連結關係的標籤(步驟S2)。本實施方式中，使進程r[m]的標籤編號及進程連接數據id[m]的標籤編號與進程編號m一致。即，將進程r[0]、進程r[1]、…的標籤編號分別初始設定為“0”、“1”、…，並且對進程連接數據id[0]、進程連接數據id[1]、…的標籤編號也分別初始設定為“0”、“1”、…。

在下一步驟S3中執行更新處理(步驟S3)。該更新處理中，針對每一進程而執行個別更新處理。該“個別更新處理”是如下的處理：將一個進程作為處理對象進程，並且判定是否存在在該處理對象進程的下列且在縱方向及斜方向上連接的連結進 程，當存在連結進程時，將處理對象進程及連結進程中的進程連接數據的標籤編號中的較大的標籤編號更新為較小的標籤編號，本實施方式中對多個(例如n個)進程的各個執行個別更新處理。此處，也可連串地、例如按照進程編號順序來進行所述n個個別更新處理，但該情況下，更新處理要耗費大量時間。

因此，本實施方式中，將針對每個進程的個別更新處理作為一個線程，由GPU642內的各處理器核心641並行地執行線程。即，如圖3所示，第0處理器核心641中將進程r[0]作為處理對象進程而執行個別更新處理，且與其並列地在第1處理器核心641中將進程r[1]作為處理對象進程而執行個別更新處理。而且，關於其他進程r[2]、進程r[3]、…、進程r[n]，也與所述個別更新處理並列地執行。其中，在各個別更新處理中，因如後述那樣伴有進程連接數據中的標籤編號的更新作業，所以本實施方式中並行處理控制部648進行處理器核心641間的排他控制。

圖7是表示由各處理器核心執行的個別更新處理的流程圖。而且，圖8是表示由各處理器核心執行的個別更新處理的一例的示意圖。此處，首先一邊參照圖7一邊說明針對進程編號p(p=0、1、2、…或n)的進程r[p]的個別更新處理的基本動作，然後，一邊參照圖8的具體例一邊說明標籤編號的更新例。

進程r[p]的個別更新處理是由第p處理器核心641按照以下的順序來執行。步驟S11中，將進程r[p]作為處理對象進程，並將與該處理對象進程r[p]的下列連接的進程作為第1連結進程 而抽出。而且，在未抽出第1連結進程的情況下(步驟S12中“否(NO)”的情況下)，結束該線程中的個別更新處理。

另一方面，在已抽出第1連結進程的情況下(步驟S12中“是(YES)”的情況下)，執行以下的步驟S13~步驟S21而進行標籤編號的更新。另外，此處，繼續說明將位於進程r[p]的下列的進程r[q]作為第1連結進程而抽出的情況。

下一步驟S13中，從加標籤用記憶部645中讀取與進程r[p]、進程r[q]分別對應的進程連接數據id[p]、進程連接數據id[q]。此處，在進程連接數據id[p]、進程連接數據id[q]設定為相同值，即同一標籤編號，而設定了連結關係的情況下(步驟S14中“YES”的情況下)，結束該個別更新處理。

另一方面，在步驟S14中判定為“NO”，即進程連接數據id[p]、進程連接數據id[q]不同(設定相互不同的標籤編號)的情況下，進行進程連接數據的更新。如此般進程連接數據id[p]、進程連接數據id[q]相互不同是指在進程[p]與進程[q]之間連結關係不成立。然而，實際上連接關係成立，因而根據進程連接數據id[p]、進程連接數據id[q]的大小關係而將一者的標籤編號更新為另一者的標籤編號(步驟S15~步驟S19)。

步驟S15中對比進程連接數據id[p]、進程連接數據id[q]，在根據該對比結果而判明進程連接數據id[p]為大於進程連接數據id[q]的標籤編號的情況下，將進程連接數據id[p]改寫為進程連接數據id[q]，將進程連接數據id[p]更新為更小的標籤編號(步 驟S16)。而且，將如此般經過變更的進程r[p]的標籤編號作為值(old_dum)而記錄，將變更前的進程連接數據id[p]作為值(old_id)而記錄，並且將變更後的進程連接數據id[p]作為值(new_id)而記錄(步驟S17)。

相反，在判明進程連接數據id[q]為比進程連接數據id[p]大的標籤編號的情況下，將進程連接數據id[q]改寫為進程連接數據id[p]，將進程連接數據id[q]更新為更小的標籤編號(步驟S18)。而且，將如此般為經過變更的進程r[q]的標籤編號作為值(old_dum)而記錄，將變更前的進程連接數據id[q]作為值(old_id)而記錄，並且將變更後的進程連接數據id[q]作為值(new_id)而記錄(步驟S19)。

而且，在值(old_dum)與值(old_id)一致的情況下(步驟S20中為“YES”的情況下)，結束該個別更新處理。另一方面，在兩者不一致的情況下(步驟S10中為“NO”的情況下)，作為更新了標籤編號側的進程(以下稱作“更新進程”)與處理對象進程及所述第1連結進程以外的進程(以下稱作“第2連結進程”)連結。因此，在存在此種第2連結進程的情況下，執行步驟S21後回到步驟S13。也就是，步驟S21中將進程編號p改寫為值(old_id)並且將進程編號q改寫為值(new_id)。由此，更新進程設定為新的進程r[p]，且第2連結進程設定為新的進程r[q]，回到步驟S13中，檢查更新進程與第2連結進程之間標籤編號的異同(步驟S14)，在標籤編號不同的情況下將較大的標籤編 號更新為較小的標籤編號(步驟S15~步驟S19)。

如此在個別更新處理中，不僅對與處理對象進程直接連接的直接連結進程更新標籤編號，也對經由該直接連結進程而與處理對象進程間接連接的間接連結進程更新標籤編號。

然後，一邊參照對圖6(a)及圖6(b)所示的進程r[0]~進程r[4]執行更新處理的情況下的一例(圖8)，一邊對更新處理(步驟S3)的內容進行更詳細說明。另外，圖8中的縱軸表示時間經過，在開始時間點進程連接數據id[0]~進程連接數據id[4]分別設定為初始值，即0~4。進程連接數據id[0]~進程連接數據id[4]中的附上陰影線者表示更新變更後的標籤編號。而且，在“第0線程”~“第4線程”的下方排列的項目(“連結進程：存在”，“禁止改寫”等)表示由各處理器核心641執行的處理內容。

在n個處理器核心641中的5個處理器核心641中，分別並行地執行進程r[0]~進程r[4]的個別更新處理。這些之中的進程r[3]、進程r[4]的個別更新處理分別作為第3線程及第4線程而執行，但因均無下列，且不存在第1連結進程，所以提前結束線程(步驟S3-3、步驟S3-4)，從而完成個別更新處理。另一方面，確認進程r[0]~進程r[2]的個別更新處理中存在連結進程，進行與這些進程對應的進程連接數據的讀取、對比、改寫等。此處，例如第2線程(進程r[2]的個別更新處理)中，讀取作為處理對象進程的進程r[2]、及與其連接的連結進程r[4]的進程連接數據id[2]、 進程連接數據id[4]的值，即標籤編號。此處，id[2]=2，id[4]=4。

將他們進行對比的結果為，進程連接數據id[4]為大於進程連接數據id[2]的值，因而必須將進程連接數據id[4]的標籤編號改寫為進程連接數據id[2]的標籤編號。這樣一來，如果第2線程中的改寫準備最先完成，則在由並行處理控制部648暫時禁止第0線程及第1線程的個別更新處理中的數據改寫的狀態下，執行進程連接數據id[4]的改寫，進程連接數據id[4]的標籤編號從“4”更新為“2”。而且，作為已更新的進程r[4]的標籤編號的值(old_dum)與作為變更前的進程連接數據id[4]的值(old_id)均為“4”，因為是相同的值，所以結束第2線程(步驟S3-2)。

然後，如該圖所示，如果在第1線程中改寫準備完成，則在由並行處理控制部648暫時禁止第0線程的個別更新處理中的數據改寫的狀態下，執行進程連接數據id[2]、進程連接數據id[3]的改寫。更具體來說，第1線程(進程r[1]的個別更新處理)中，作為處理對象進程的進程r[1]在下列與進程r[2]、進程r[3]連結，從而將進程r[2]、進程r[3]認定為第1連結進程。而且，讀取處理對象進程r[1]的進程連接數據id[1]、及連結進程r[2]、連結進程r[3]的進程連接數據id[2]、進程連接數據id[3]。他們成為id[1]=1，id[2]=2， id[3]=3。

對他們進行對比的結果為，進程連接數據id[2]、進程連接數據id[3]均為大於進程連接數據id[1]的值，因而進程連接數據id[2]、進程連接數據id[3]的標籤編號均改寫為進程連接數據id[1]的標籤編號。而且，關於已更新的進程r[2]，作為其標籤編號的值(old_dum)及作為變更前的進程連接數據id[2]的值(old_id)均為“2”。而且，關於已更新的進程r[3]，作為其標籤編號的值(old_dum)與作為變更前的進程連接數據id[3]的值(old_id)均為“3”。這樣，關於進程r[2]、進程r[3]中的任一個，值(old_dum)與值(old_id)為相同的值，因而結束第1線程(步驟S3-1)。

最後剩餘的第0線程(進程r[0]的個別更新處理)中，作為處理對象進程的進程r[0]在下列與進程r[2]連接，將進程r[2]作為連結進程而與所述第1線程及第2線程同樣地將進程連接數據id[2]的標籤編號改寫為進程連接數據id[0]的標籤編號。其中，所更新的進程連接數據id[2]已被改寫1次而從初始值(進程r[2]的初始標籤編號=2)變為“1”，作為該進程r[2]的標籤編號的值(old_dum)與作為變更前的進程連接數據id[2]的值(old_id)分別為“2”、“1”而不同。因此，如圖7的步驟S21中執行那樣，進行進程連接數據id[0]、進程連接數據id[1]的讀取、對比、改寫，且如圖8的下部分所示，將進程連接數據id[1]的標籤編號改寫為進程連接數據id[0]的標籤編號。這樣，作為已更新的進程r[1]的標籤編號的值(old_dum)與作為變更前的進程連接數據id[1]的值 (old_id)均為“1”，因為是相同的值所以結束第0線程(步驟S3-0)。這樣，進程r[1]不與處理對象進程r[0]直接連接，而經由進程r[2]間接連接，從而對其也進行進程連接數據的更新。

這樣一來，如果所有線程結束，則更新處理(步驟S3)完成，通過對圖6(a)及圖6(b)所示的進程r[0]~進程r[4]執行更新處理而進程連接數據id[0]~進程連接數據id[4]從(0、1、2、3、4)更新為(0、0、0、1、2)。另外，根據所述說明可知，因由1線程、1進程進行並列處理，所以更新處理後的進程連接數據id[0]~進程連接數據id[4]的標籤編號根據哪一進程先受到處理而取不同的值。

然後，回到圖4中繼續說明加標籤處理。當所述更新處理(步驟S3)結束時，執行搜索處理(步驟S4)。該搜索處理也與更新處理同樣地，將針對每個進程的個別搜索處理作為一個線程，由並行處理控制部648一邊控制改寫時機一邊由GPU642內的各處理器核心641並行地執行線程。即，如圖3所示，第0處理器核心641中將進程r[0]作為處理對象進程而執行個別搜索處理，與其並列地在第1處理器核心641中將進程r[1]作為處理對象進程而執行個別搜索處理。而且，關於其他進程r[2]、進程r[3]、…、進程r[n]，也與所述個別搜索處理並列地執行。另外，“個別搜索處理”是將一個進程作為處理對象進程並且根據數據連接表(進程連接數據id[0]、進程連接數據id[1]、…、進程連接數據id[n])來找出與該處理對象進程連接的連結進程，而將處理 對象進程及連結進程的標籤編號改寫為相同。以下，一邊參照圖9及圖10一邊對個別搜索處理進行詳述。

圖9是表示由各處理器核心執行的個別搜索處理的流程圖。而且，圖10是表示由各處理器核心執行的個別搜索處理的一例的示意圖。此處，也與個別更新處理的情況同樣地，首先一邊參照圖9一邊說明針對進程r[p]的個別搜索處理的基本動作，然後一邊參照圖10的具體例一邊說明標籤編號的改寫例。

進程r[p]的個別搜索處理由第p處理器核心641按照以下的順序來執行。步驟S31中，將進程r[p]作為處理對象進程，從進程連接表中讀取並獲取與該處理對象進程r[p]對應的進程連接數據id[p]。然後，判定該進程連接數據id[p]是否與處理對象進程r[p]的標籤編號的初始值相等(步驟S32)。此處，在判定為相同的情況下，直接完成個別搜索處理。另一方面，在判定為不同的情況下(步驟S32中為“NO”的情況下)，執行步驟S33~步驟S38而進行標籤編號的改寫。

步驟S33中將進程連接數據id[p]作為值(new_dum)而記錄後，從進程連接表中讀取進程連接數據id[new_dum](步驟S34)。而且，判定進程連接數據id[new_dum]與值(new_dum)是否相等(步驟S35)，在判定為他們並不相等的期間，將值(new_dum)改寫為進程連接數據id[new_dum](步驟S36)，回到步驟S34而重複進行新的進程連接數據id[new_dum]的讀取。

然後，在進程連接數據id[new_dum]與值(new_dum) 一致的時間點(步驟S35中判定為“YES”的時間點)，將進程編號p的進程r[p]的標籤編號改寫為值(new_dum)(步驟S37)。而且，對於進程連接數據id[p]，也同樣地改寫為值(new_dum)(步驟S38)，從而結束該個別搜索處理。另外，該改寫與個別更新處理的情況同樣地在由並行處理控制部648控制改寫時機的狀態下執行。

然後，一邊參照在由如圖8所示的更新處理將進程連接表從初始狀態更新後繼而執行搜索處理的情況下的一例(圖10)，一邊更詳細說明搜索處理(步驟S4)的內容。另外，此處，一邊參照圖10一邊說明將進程r[4]作為處理對象進程的個別搜索處理。圖10中的縱軸表示時間經過，進程r[0]~進程r[4]的標籤編號的初始值分別設定為0~4。標籤編號中的附上梨皮花紋者表示成為搜索對象的標籤編號。而且，在“第4線程”的下方排列的項目(“id[4]的獲取→id[4]=2”等)表示由第4處理器核心641執行的處理內容。

第4處理器核心641中，將進程r[4]作為處理對象進程，從進程連接表中讀取與該處理對象進程r[4]對應的進程連接數據id[4]，在將該值(=2)與進程r[4]的標籤編號的初始值(=4)進行對比後，確認兩者不一致。於是，將讀取對象移動至進程連接數據id[4]所示的標籤編號(new_dum)的進程連接數據id[new_dum]、即進程連接數據id[2]，並從進程連接表中讀取進程連接數據id[2]，將該值(=0)與進程r[2]的標籤編號的初始值(=2) 進行對比。然後，如果確認兩者不一致，則再次將讀取對象移動至進程連接數據id[2]所示的標籤編號(new_dum)的進程連接數據id[new_dum]、即進程連接數據id[0]，並從進程連接表中讀取進程連接數據id[0]，將該值(=0)與進程r[0]的標籤編號的初始值(=0)進行對比。於是，確認兩者一致，將處理對象進程r[4]的標籤編號改寫為該值，從而結束該線程。另外，關於其他線程也執行相同的個別搜索處理，其結果，搜索相互連接的進程並賦予同一標籤。例如對於將圖5所示的二進制圖像數據進行進程長度化處理所得的進程r[0]~進程r[4](參照圖6(a)~圖6(c))賦予同一標籤(=0)。

如以上，本實施方式中，在初始設定針對每個進程r[m]而具有相互不同的值的標籤編號後，執行更新處理(步驟S3)及搜索處理(步驟S4)這2段工程。在這些之中的更新處理(步驟S3)中，針對每個進程r[m]，執行個別更新處理(步驟S3-0、步驟S3-1、…)並根據是否存在與處理對象進程連接的連結進程而更新標籤編號。而且，搜索處理(步驟S4)中，針對每個進程r[m]，執行個別搜索處理(步驟S4-0、步驟S4-1、…)並根據更新後的標籤編號來找出與處理對象進程連接的連結進程，將處理對象進程及連結進程的標籤改寫為相同。這樣，可由與進程的個數m為相同數量的標籤編號進行二進制圖像數據BFI的加標籤處理，從而可使加標籤處理高速化。

而且，更新處理(步驟S3)及搜索處理(步驟S4)均 由1進程、1線程並行地進行針對每個進程的個別更新處理及個別搜索處理，因而可大幅縮短加標籤處理所需的總時間。

此外，個別更新處理(步驟S3-0、步驟S3-1、…)中，構成為在已更新與處理對象進程直接連接的第1連結進程的標籤編號時，不僅對該第1連結進程進行標籤更新，在存在除與第1連結進程連接的處理對象進程以外的第2連結進程的情況下，也對第2連結進程進行標籤更新。因此，可縮短在針對處理對象進程的個別更新處理後執行的針對第2連結進程的個別更新處理所需的時間。結果，可縮短總的處理時間。

另外，本發明並不限於所述實施方式，只要不脫離其主旨則除所述以外還可進行各種變更。例如，所述實施方式中，由1進程、1線程並行地進行個別更新處理，但多個進程r[m]的劃分形態不限於此。即，也可根據處理器核心641的個數而適當變更多個進程r[m]的劃分形態，還可構成為根據處理器核心641的個數將多個進程r[m]劃分為多組，各處理器核心對經劃分的一個或多個進程將個別更新處理作為更新線程而執行。就這些方面而言，在個別搜索處理中也完全相同。

而且，所述實施方式中，為了執行個別更新處理及個別搜索處理而使用具有多個處理器核心641的GPU642，但也可構成為代替GPU而設置多個CPU，由各CPU執行一個線程。而且，還可在GPU642內設置運算處理部646或加標籤用記憶部645。

而且，所述實施方式中，位於第0處理器核心641~第 n處理器核心641的上位的並行處理控制部648進行加標籤用記憶部645的訪問(access)管理，在更新處理及搜索處理的任一個中，根據利用一個線程進行的數據改寫而暫時地禁止利用其他線程進行的數據改寫。即，在由一個線程例如進行進程連接數據id[m](其中0≦m≦n)的改寫的情況下，不僅暫時地禁止其他線程改寫進程連接數據id[m]而避免標籤更新的衝突，而且除此以外的進程連接數據的改寫也暫時禁止。所述訪問管理未必為最佳，尚有改善的餘地。例如為了實現處理速度的進一步的提高，理想的是以如下方式執行並行處理控制部648對加標籤用記憶部645的訪問管理。也就是，在由一個線程進行進程連接數據id[m]的改寫時，優選暫時禁止其他線程改寫進程連接數據id[m]而避免標籤更新的衝突，另一方面，使對進程連接數據id[m]以外的進程連接數據的訪問自由化而允許數據改寫。

而且，所述實施方式中，將二進制圖像數據BFI針對每一列進行進程長度化而獲得進程r[m]，並且將在處理對象進程的下列且在縱方向及斜方向上連接的進程判定為連結進程，但進程長度化的形態、連結進程的判定形態均不限定於此，例如可對針對每行而進行進程長度化，且對由該進程長度化處理製作而成的進程應用本發明的加標籤方法。而且，所述實施方式中，如所述般由針對下列的進程的8鄰域搜索來決定連結進程，但也可由其他搜索方法，例如4鄰域搜索來決定連結進程。而且，所述實施方式的進程長度化處理中由圖像整體一次性生成進程，但也可將 圖像切分為適當尺寸區域，在各切分範圍內生成進程。然而，該情況下，必須在切分區域彼此的邊界處進行進程的連接判定處理。

而且，所述實施方式中，連續的標籤編號(0、1、2、…)被用作本發明的“標籤”，但也可將與其不同的編號或編號以外的值用作本發明的“標籤”。而且，是改寫為更小的編號而進行標籤更新，但標籤更新的形態並不限定於此。

此外，所述實施方式中，是在裝置內部將二進制圖像數據BFI進行進程長度化後，對由該進程長度化處理製作而成的進程實施加標籤處理，但本發明中應用對象並不限定於此，本發明也可應用於例如對將由外部裝置製作而成的進程加標籤的裝置或方法。

本發明可優選應用於對將二進制圖像數據進行進程長度化製作而成的多個進程賦予標籤的加標籤技術。

S1~S4‧‧‧步驟

S3-0~S3-n‧‧‧步驟

S4-0~S4-n‧‧‧步驟

Claims (11)

1. 一種加標籤方法，對將二進制圖像數據進行進程長度化製作而成的多個進程實施加標籤處理，所述加標籤方法的特徵在於包括：初始標籤設定工程，對各進程設定相互不同的標籤；更新工程，針對每一所述進程，將所述進程作為處理對象進程，並且判定是否存在與所述處理對象進程連接的第1連結進程，當存在所述第1連結進程時，進行將所述處理對象進程及所述第1連結進程中的一者的標籤更新為另一者的標籤的個別更新處理；以及搜索工程，在所述更新工程後，根據所述多個標籤來搜索所述多個進程中的相互連接的進程並賦予同一標籤，且在所述更新工程中，將所述多個進程劃分為多組，並且將各組中執行的所述個別更新處理作為更新線程，基於排他控制一邊允許利用所述多個更新線程中的一個更新線程進行標籤的改寫，並且禁止由所述一個更新線程改寫的所述標籤的利用其他更新線程進行的改寫，一邊並行地執行所述多個更新線程。
2. 如申請專利範圍第1項所述的加標籤方法，其中在所述更新工程中，允許由所述一個更新線程改寫的所述標籤以外的標籤的利用所述其他更新線程進行的改寫。
3. 如申請專利範圍第1項或第2項所述的加標籤方法，其中在所述個別更新處理中，將所述處理對象進程及所述第1連結進程 中的更新了標籤的進程作為更新進程，判定是否對所述更新進程連接有除所述處理對象進程及所述第1連結進程以外的第2連結進程，當存在所述第2連結進程時，進一步將所述更新進程及所述第2連結進程中的一者的標籤更新為另一者的標籤。
4. 如申請專利範圍第1項或第2項所述的加標籤方法，其中所述多個進程是將所述二進制圖像數據針對每一列而進行所述進程長度化所得的進程，在所述個別更新處理中，將與所述處理對象進程的下列連接的進程判定為所述第1連結進程。
5. 如申請專利範圍第1項或第2項所述的加標籤方法，其中在所述搜索工程中，針對每一所述進程執行如下的個別搜索處理，將所述進程作為所述處理對象進程，並且根據所述多個標籤來找出與所述處理對象進程連接的連結進程，將所述處理對象進程及所述連結進程的標籤改寫為相同。
6. 如申請專利範圍第5項所述的加標籤方法，其中在所述搜索工程中，將所述多個進程劃分為多組，並且將各組中執行的所述個別搜索處理作為搜索線程，基於所述排他控制一邊允許利用所述多個搜索線程中的一個搜索線程進行標籤的改寫，並且禁止由所述一個搜索線程改寫的所述標籤的利用其他搜索線程進行的改寫，一邊並行地執行所述多個搜索線程。
7. 如申請專利範圍第6項所述的加標籤方法，其中在所述搜索工程中，允許由所述一個搜索線程改寫的所述標籤以外的標籤的 利用所述其他搜索線程進行的改寫。
8. 一種加標籤裝置，對將二進制圖像數據進行進程長度化製作而成的多個進程實施加標籤處理，所述加標籤裝置的特徵在於包括：記憶部，記憶各進程的標籤；處理器部，具有多個進行運算處理的處理器核心；以及控制部，在對所述多個標籤初始設定相互不同的值後，針對每一所述進程，將所述進程作為處理對象進程，並且判定是否存在與所述處理對象進程連接的第1連結進程，當存在所述第1連結進程時，進行將所述處理對象進程及所述第1連結進程中的一者的標籤更新為另一者的標籤的個別更新處理，並進一步根據所述多個標籤來搜索所述多個進程中的相互連接的進程而賦予同一標籤，所述多個進程根據所述處理器核心的個數而劃分為多組，各處理器核心針對所劃分的一個或多個進程而將所述個別更新處理作為更新線程來執行，所述控制部基於排他控制，一邊允許利用所述多個更新線程中的一個更新線程進行標籤的改寫，並且禁止由所述一個更新線程改寫的所述標籤的利用其他更新線程進行的改寫，一邊並行地執行所述多個更新線程，由此進行針對每一所述進程的所述個別更新處理。
9. 如申請專利範圍第8項所述的加標籤裝置，其中所述控制部 針對每一所述進程執行如下的個別搜索處理，將所述進程作為所述處理對象進程，並且根據所述多個標籤來找出與所述處理對象進程連接的連結進程，將所述處理對象進程及所述連結進程的標籤改寫為相同。
10. 如申請專利範圍第9項所述的加標籤裝置，其中所述各處理器核心針對所劃分的一個或多個進程將所述個別搜索處理作為搜索線程來執行，所述控制部基於所述排他控制，一邊允許利用所述多個搜索線程中的一個搜索線程進行標籤的改寫，並且禁止由所述一個搜索線程改寫的所述標籤的利用其他搜索線程進行的改寫，一邊並行地執行所述多個搜索線程，由此進行針對每一所述進程的所述個別搜索處理。
11. 一種缺陷檢查裝置，其特徵在於包括：圖像獲取部，獲取檢查對象圖像；圖像抽取部，對所述檢查對象圖像進行檢查而抽出包含缺陷部位的缺陷圖像；二進制化處理部，對所述缺陷圖像進行所述二進制化處理而生成二進制圖像數據；進程生成部，將所述二進制圖像數據進行進程長度化而生成多個進程；以及加標籤單元，具有與根據權利要求8至10中任一項所述的加標籤裝置相同的構成，且對所述多個進程中的相互連接的進程賦 予同一標籤。