TW201331572A - 檢查結果之目視確認作業之支援用之系統及裝置和方法 - Google Patents

Abstract

對於完成自動外觀檢查的目標(基板)，儲存在檢查中使用的影像，儲存藉由檢查中的測量處理所獲得的測量資料，測量資料與測量目標區域的位置資訊相關聯，並藉由使用這些儲存的資訊，顯示用於對目視確認一特定檢查目標區域(組件100)的實際狀態的操作進行支援的影像。此影像與等效於基板的一部分的區對應，並包括確認目標組件100。對於影像中的確認目標組件100，實施由框架UW以及線L1和L2進行的標記。而且，擷取目視可識別且具有固有特徵的特徵區域(組件101、102、103等)以便包圍確認目標組件100的週邊。

Description

檢查結果之目視確認作業之支援用之系統及裝置和方法

本發明有關於一種用於對藉由目視識別實際檢查目標來確認藉由使用影像的自動外觀檢查所獲得的檢查結果的操作進行支援的系統，有關於一種用於該支援的裝置，以及有關於一種用於該支援的方法。

在組件安裝基板(component-mounted board)的製造現場中，藉由自動外觀檢查裝置檢查組件的存在、焊料填角(solder fillet)的狀態等，之後，操作員目視確認最終確定為有缺陷的組件。而且，對於定義為有缺陷的組件中可校正的組件，操作員可以在確認其狀態的同時手動地校正這些組件。

作為進行目視識別有缺陷部位的操作的裝置的現有示例，存在一種在支撐作為檢查目標的每一個基板的平臺上方佈置有放大鏡的裝置。對於該裝置，例如，在日本未審查專利公開第2001-165860號中描述：藉由從外觀檢查裝置獲取確定為有缺陷的部位的位置資訊，並基於此位置資訊控制平臺的移動，確定為有缺陷的部位可定位於放大鏡的視野的中心處。

日本未審查專利公開第H08-195554號揭露一種用於焊接缺陷部位的校正操作的裝置，該裝置包括放大鏡、XY表、 雷射光源等。在此裝置中，雷射光束照射到放大鏡的視野中，並基於從焊接檢查裝置獲得的缺陷部位的位置資料使缺陷部位與雷射光束的照射位置對齊，藉此明確指出有缺陷區域。

在製造要求確保高品質的基板的現場，採用了這樣的系統：其中嚴格設定自動外觀檢查的檢查標準，並且操作員小心地目視確認來確定為有缺陷的組件，手動校正有缺陷部位，並認真確認缺陷的消除。近些年，在組件安裝基板中，組件的安裝密度係高的，因此，要求目視確認和校正的組件的數量也增加，並且進行目視確認的操作員的工夫變得巨大。另外，由於許多基板是在多個部位安裝有相同類型的組件，並且許多基板是與具有相同配置的多個單獨的基板彼此耦接，這使得尋找作為確認目標的區域需要極大的負荷。而且，不熟悉該操作的人會在尋找此確認目標區域中出差錯。

根據如在日本未審查專利公開第2001-165860號和第H08-195554號中描述的具有這種配置的裝置，實際物件的有缺陷部位在被放大或標識的同時被顯示，因此，能夠減少操作負荷，並能夠防止錯誤。然而，裝置的尺度都很大，並且其成本高。而且，每一個這種裝置的安裝都需要廣闊的空間之事實也阻礙了裝置的採用。

此外，還構思了這樣一種方法：其中從用於自動外觀檢查的檢查目標基板的影像裁出以有缺陷部位作為中心的部分 範圍之顯示此範圍的放大影像的方式通知確認目標區域。然而，如上所述，每一基板具有配置相似的多個部位。因此，為了立即指定有缺陷部位與實際基板的哪一部位對應，僅顯示以有缺陷部位作為中心的範圍的影像是不夠的。結果是，操作員的操作效率會降低，也會對整體生產效率產生極大的影響。

考慮到前述問題，本發明的目的是進行能夠藉由使用在自動外觀檢查中使用的影像並使用檢查結果來容易地指定確認目標區域的支援。

根據本發明的用於支援目視確認作業的系統為用於對確認具有使用影像進行了自動外觀檢查的多個區域的檢查目標的至少一個檢查目標區域的狀態的操作進行支援的系統，該操作藉由目視識別一實際檢查目標的方法進行。如下文所描述的，該系統包括影像儲存單元、測量資料儲存單元、影像讀取單元、特徵區域擷取單元、影像編輯單元以顯示單元。

影像儲存單元儲存檢查目標的影像(其藉由用於自動外觀檢查的成像而產生)，及測量資料儲存單元儲存藉由自動外觀檢查的測量處理所獲得的測量資料，測量資料與藉由測量處理所測量的目標區域的位置資訊相關聯。基於確認目標區域的位置資訊或標識資訊，影像讀取單元從影像儲存單元讀 取包括確認目標區域且與檢查目標的一部分對應的區(area)的影像。

特徵區域擷取單元分析與包含於與由影像讀取單元讀取的影像對應的區域中的位置資訊相關聯地之儲存在測量資料儲存單元中的測量資料，並擷取具有單獨目視可識別的固有特徵且分佈在確認目標區域周圍的一個或多個特徵區域。影像編輯單元將由影像讀取單元讀取的影像編輯成這樣的狀態，在該狀態下影像中的各個特徵區域以及確認目標區域以彼此不同的模式進行標記，並且顯示單元顯示由影像編輯單元所編輯的影像。

根據上述配置，操作員能夠基於顯示螢幕中的標記來確認出哪一區域為確認目標，還能夠基於分佈在確認目標區域周圍的多個特徵區域的特徵並從它們之間的相對位置關係來指定實際檢查目標的確認目標區域。每一個特徵區域具有目視可識別的固有特徵，因此，即使存在具有相似配置的其它部位，也能夠防止弄錯確認目標區域。

在上述系統的第一實施例中，藉由使用在自動外觀檢查的測量處理中所獲得的測量值相對於最佳測量值的偏差程度作為關鍵，特徵區域擷取單元擷取除確認目標區域之外的檢查目標區域(其包含於處理目標的區中)中偏差程度相對較大的區域。例如，如果將在自動外觀檢查中確定為無缺陷但測定中使用的測量值與最佳值偏差極大的區域擷取作為特 徵區域，即使存在其中以相似的位置關係佈置有與確認目標區域和各個特徵區域相同類型的區域的其它部位，也仍然可以藉由其外觀辨別所擷取的特徵區域。

在第二實施例的系統中，用於檢測位於除檢查目標區域之外的地點處的外來物件的測量包含於自動外觀檢查的測量處理中，並且特徵區域擷取單元擷取在作為處理目標的區中的確認目標區域周圍獲得表示外來物件的測量資料的部位作為特徵區域。以此方式，藉由使用外來物件作為標記，操作員能夠容易地指定確認目標區域。要注意，也可以佈置將第一實施例和第二實施例合併於其中的系統。

第三實施例的系統還包括標記圖案儲存單元，該標記圖案儲存單元儲存用於指定一標記圖案的資訊，該標記圖案在自動外觀檢查中被作為標記以統一設定給相同類型的檢查目標。基於儲存在標記圖案儲存單元中的資訊，影像編輯單元將該區中包含的標記圖案的地點指定作為處理目標，並編輯該影像，使得所指定的地點以與至少確認目標區域不同的模式進行標記。

根據上述實施例，標記該標記圖案的地點以及特徵區域，因此，能夠更容易地指定確認目標區域。要注意，對於標記圖案，可理想地實施根據與用於確認目標區域和特徵區域兩者的標記均不同的第三模式進行的標記；然而，也可以實施根據與用於特徵區域的標記相同的模式進行的標記。

上述系統能夠包括：伺服器，藉由與外觀檢查裝置通信而接收包括在外觀檢查中使用的影像以及測量資料的檢查結果資訊；以及能夠包括終端裝置，具有用於確認操作的顯示單元。這種情況下，至少影像儲存單元和測量資料儲存單元係設置在該伺服器中，並且該終端裝置的顯示單元充當該顯示單元的功能。其它單元可以被設置在伺服器和終端裝置的任何一個中，或者部分單元可以被設置在伺服器中，其餘單元可以被設置在終端裝置中。可替代地，可以允許伺服器和終端裝置彼此合作地用作一個單元。

影像儲存單元和測量資料儲存單元不僅能夠被設置在伺服器中，而且能夠被設置在外觀檢查裝置中。而且，可以消除伺服器與終端裝置之間的差異，並且各個單元(即，影像儲存單元、測量資料儲存單元、影像讀取單元、特徵區域擷取單元、影像編輯單元以及顯示單元)可以被設置在單一電腦中。

根據本發明的用於支援目視確認作業的裝置包括上述各個單元中的至少影像讀取單元、特徵區域擷取單元、影像編輯單元，且包括輸出由影像編輯單元所編輯的影像的影像資料以便顯示影像資料的輸出單元。而且，影像儲存單元和測量資料儲存單元能夠被設置在這一支援裝置中，然而，這些儲存單元也可以被設置在外部電腦或外觀檢查裝置中。

一種根據本發明的用於對檢查結果的目視確認作業進行 支援的方法，包括以下步驟：回應於該自動外觀檢查，儲存檢查目標的影像於影像儲存單元中，該影像藉由對自動外觀檢查之成像而產生，以及儲存測量資料在測量資料儲存單元中，其中測量資料藉由自動外觀檢查的測量處理所獲得，測量資料與藉由測量處理所測量的目標區域的位置資訊相關聯地；基於確認目標區域的位置資訊或標識資訊，從影像儲存單元讀取一區的影像，該區包括確認目標區域且與檢查目標的一部分對應；分析測量資料，該測量資料與包含於與從影像儲存單元所讀取的影像對應的區中的位置資訊被相關聯地儲存到測量資料儲存單元中，並擷取具有單獨目視可識別的固有特徵且分佈在確認目標區域周圍的一個或多個特徵區域；以及將由影像儲存單元所讀取的影像編輯成這樣的狀態，在影像中的各個特徵區域以及確認目標區域以彼此不同的模式進行標記，以及顯示該編輯影像。

如上所述的，藉由伺服器與終端裝置的組合或藉由單一電腦能夠實施上述方法。而且，當影像儲存單元和測量資料儲存單元被設置在外觀檢查裝置中時，另外，當顯示單元被合併在外觀檢查裝置中時，可以在外觀檢查裝置中實施上述方法。

而且，在各個步驟中，對於讀取影像的步驟以及擷取特徵區域的步驟，可以首先執行上述步驟的任何一個，並且可以並存地執行這些步驟。

目視確認的目標區域不局限於外觀檢查中確定為有缺陷的區域。例如，可以將在外觀檢查中確定為無缺陷但其中測量值與最佳值相差的偏差程度較大的區域當作確認目標區域。而且，為了雙重確認的目的，具有重要功能的區域可以始終被設定為目視確認的目標區域。

而且，至於哪區域要被確認，例如，可以藉由檢查結果和測量結果的分析自動地選擇確認目標區域，或者可以顯示應該有必要進行確認的區域的清單並允許操作員從中選擇區域。

根據本發明，基於顯示螢幕中的標記特徵，能夠容易地標識與所標記的部位對應的實際檢查目標，從而能夠指定確認目標區域。因此，可以有效進行目視確認作業，而不會在尋找確認目標區域中出現錯誤。

圖1為示出用於檢查組件安裝基板的系統的配置示例的功能方塊圖。

該實施例為這樣的實施例：對作為經由各個步驟(即，焊料印刷步驟、組件安裝步驟以及回流步驟)完成的組件安裝基板(在下文中，簡稱為「基板」)的物件進行自動外觀檢查，之後允許操作員目視確認藉由該檢查來確定為有缺陷的區域。此實施例包括外觀檢查裝置1、管理伺服器2以及用於確認操作的終端裝置3(在下文中，稱為「確認終端3」)。 各個裝置1、2以及3經由局域網路(LAN)線路4彼此連接；然而，確認終端3和外觀檢查裝置1彼此不直接通信，而外觀檢查裝置1和管理伺服器2之間交換資訊，且確認終端3和管理伺服器2之間交換資訊。包括管理伺服器2、確認終端3以及LAN線路4的網路系統充當用於支援目視確認作業的系統。

外觀檢查裝置1包括成像單元11、檢查執行單元12、通信處理單元13等。根據預定的檢查標準，檢查執行單元12致動(actuate)成像單元11產生影像，並藉由使用該產生影像，針對每一個組件來檢查該組件是否安裝在基板上、該組件是否具有位置偏移或旋轉偏移、焊料填角的形狀和大小是否合適等。而且，檢查執行單元12可以從影像中的某一處檢測外來物件(例如，橋和焊球)，該處未有組件安裝其上。各種檢查中使用的影像和檢查結果資訊從通信處理單元13被發送到管理伺服器2。

在管理伺服器2中，提供了這些功能：儲存單元，包括檢查結果資料庫21、影像資料庫22、檢查標準資料庫23等；儲存處理單元24；通信處理單元25；以及定向終端處理單元26。從外觀檢查裝置1發送的資訊由通信處理單元25接收，之後，藉由儲除處理單元24被儲存到檢查結果資料庫21和影像資料庫22中。

在檢查標準資料庫23中，為每種類型的基板登記用於外 觀檢查的檢查標準。例如，對於組件單元檢查標準來說，登記檢查區的配置資料、二位數化(binarization)的臨界值等，並且還為要對組件實施的每一個測量項目來登記表示「無缺陷的」的測量值的範圍。而且，對於外來物件的檢測，作為檢查標準，登記用於檢測中使用的二位數化臨界值、要與關於檢測到的特徵的測量值比較的臨界值等。

而且，在該實施例中，將一個基板多次成像，並且藉由將被多次成像的影像彼此連接以產生整個基板的影像。在將成像單元11的視野與各個成像目標區對齊的控制中使用的一組資訊，以及在將這些影像彼此連接的處理中使用的一組資訊也被儲存到檢查標準資料庫23中。在該處理中使用的該組資訊包括用於指定在基板上用作標記的圖案的資訊(在下文中，稱為「標記圖案」)。

從外觀檢查裝置1發送的檢查結果資訊被分層，使得能夠針對每一個基板以及基板中的每一個組件讀取測量值以及有缺陷的/無缺陷的測定結果。在缺陷資訊包含於基板單元檢查結果資訊中的情況下，儲存處理單元24分析檢查結果資訊，並建立一分析資料表(後文要描述的)。分析資料表被配置成能夠針對基板的單元進行讀取，並與檢查結果資訊結合作為原始資訊而儲存到檢查結果資料庫21中。

定向終端處理單元26經由通信處理單元25接收來自確認終端3的發送請求，根據該請求從相應的資料庫讀取資訊， 並將該資訊發送到確認終端3。而且，在從確認終端3獲取包含由已經在確認終端3上進行操作的操作員所輸入的測定資料的檢查結果資訊時，定向終端處理單元26利用所獲取的資訊在檢查結果資料庫21中更新現存的檢查結果資訊。

檢查標準資料庫23中的檢查標準根據需要也被發送到外觀檢查裝置1。

確認終端3包括輸入單元31、顯示單元32、分析處理單元33、顯示處理單元34、通信處理單元35等。輸入單元31和顯示單元32包括硬體，以及其它處理單元為藉由軟體在CPU中設定的功能。

輸入單元31為用於接收作為確認目標的基板的標識代碼(在下文中，稱為「基板代碼」)、確認結果等的輸入的單元，並且能夠包括基板代碼的讀取裝置(條碼閱讀器等)以及鍵盤和滑鼠。顯示單元32包括能夠顯示影像的配置(諸如液晶監視器)。要注意，在一些情況下，顯示單元32被放置作為確認終端3的外部裝置。

回應於每一個基板代碼的輸入以啟動分析處理單元33，之後，經由通信處理單元35與管理伺服器2通信，並針對與該輸入基板代碼對應的基板獲取各條資訊(即，影像、檢查結果資訊以及檢查標準)。基於藉由分析處理單元33的處理結果，顯示處理單元34建立用於對與外觀資訊中確定為 有缺陷的組件(在下文中，稱為「有缺陷組件」)有關的資訊進行確認的確認螢幕的資料，並在顯示單元32上顯示此確認螢幕。

圖2示出確認螢幕的佈局的示例。

在此示例的確認螢幕上，分別在其左側和右側顯示影像和資訊，而不只是影像。首先，在顯示影像的左側區上，設置較大區300，並且在區300的下方左右並排佈置了兩個較小區301和302。

在區300上，顯示將作為每一個確認目標的組件置於中心的一範圍(基板的一部分)的放大影像。在該放大影像G的左上角，以重疊的方式顯示整個基板的地圖影像MP。在區301上，進一步放大顯示只包括確認目標組件的範圍的影像，以及在區302上，顯示確認目標組件的取樣影像(示出理想安裝狀態)。

如上文提到的，在該實施例的外觀檢查中，將基板分成多個區之後對該基板成像，並且藉由對多個區成像所產生的影像(在下文中，稱為「分割影像」)彼此連接，從而產生整個基板的影像。藉由將包括作為確認目標的組件的分割影像g0與其週邊附近的八個分割影像g1至g8連接而產生確認螢幕30上的放大影像G。

同時，地圖影像MP並不是藉由在處理情況下對基板成像所產生的影像，而是藉由提前將基板成像為模型所產生的影 像，或者為藉由CAD資料的示意圖等。地圖影像MP為用於允許操作員獲得整個基板中確認目標組件的大概位置的影像，並且放大影像G為用於將確認目標組件的詳細配置及其週邊通知給操作員的影像。

在螢幕的右側，垂直地佈置有三個區311、312以及313。在最上層區311上，顯示有關作為確認目標的基板的一般資訊(基板代碼、表示檢查標準的程式名稱、有缺陷組件的數量等)。在中間區312上，顯示待確認的有缺陷組件的列表。在最下層區313上，顯示有關作為當前確認目標的組件的檢查結果連同每一個測量項目的測量值。

圖3示出區300中的放大影像G和地圖影像MP的具體示例。位於放大影像G的中心部分的組件100為該示例的確認目標組件。

地圖影像MP包括背景部分(灰色部分，其實際上著色為支撐基板於其上的平臺的表面的顏色)以及基板的整體影像(中空部分)。雖然圖3中未示出，然而，在地圖影像MP中的基板上，以縮小的方式顯示基板上的各種組件。而且，在此實施例的地圖影像MP上，分別用高亮度顏色(諸如黃色和白色)顯示表示確認目標組件的中心的X座標和Y座標的兩條線m1和m2。

而且，在放大影像G上，藉由與線m1和m2相同的顏色來設定分別表示確認目標組件100的X座標和Y座標的兩 條線L1和L2。然而，這些線L1和L2沒有設定在確認目標組件100的安裝範圍上，並且確認目標組件100由具有顏色與線L1和L2相同的矩形框架UW所包圍。

而且，在放大影像G上，設定多個紅色框架RW和多個藍色框架BW(在圖3中，紅色由交替的長短虛線來表示，藍色由點線來表示)。在下文中，這些顏色框架RW和BW分別稱為「紅色框架RW」和「藍色框架BW」。

為從諸如組件和電極接腳等結構中選擇的那些來進行外觀檢查的結構以設定紅色框架RW。在圖3的示例中，針對位於確認目標組件100上方相對大的晶片組件101、位於其右下方區域相對小的晶片組件102以及位於其左下方區域的IC組件103係單獨設定紅色框架RW。這些組件的每一個在外觀檢查中被確定為「無缺陷的」。然而，在晶片組件101中，用於電極之一的焊接區(solder area)變得略微有些大，並且晶片組件102被安裝得略微有些傾斜。而且，由紅色框架包圍的IC組件103的一個電極接腳具有稍微扭曲的形狀。

在外觀檢查中進行了諸如影像的位置偏移的校正以及各個分割影像的位置對齊等處理的情況下，為用作標記的圖案來設定藍色框架BW。這些標記圖案是由圖案的位置資訊和形狀指定的圖案，並且各條指定資訊被登記到管理伺服器2的檢查標準資料庫23中。在圖3的示例中，藍色框架BW 被設定為單獨包圍基板上絲印圖案的突出部分a、通孔的陣列b、絲印圖案的邊角部分的通孔c、以及表示如此安裝的組件的組件代碼的字元圖案。

由外觀檢查裝置1進行的檢查而確定為存在有缺陷組件的基板被容置在堆疊機(stacker)中，由傳送機進行傳送等，以及從而被供應到坐在確認終端3前面的操作員處。操作員在觀看包括上述放大影像G和地圖影像MP的確認螢幕的同時按如圖4所示的過程執行確認操作。

首先，操作員拾取一個基板，並將其基板代碼輸入至確認終端3(步驟S1)。在此實施例的基板上，表示基板代碼的條碼被印刷在其端部邊緣的邊限等上，因此，能夠使用條碼閱讀器藉由讀取處理來輸入基板代碼。

確認終端3回應於基板代碼的輸入與管理伺服器2通信，獲取目標基板的檢查結果資訊和檢查標準，並據此，啟動初始確認螢幕(後文描述的圖7的步驟S202)。在此階段，在區300上沒有顯示放大影像G，並且僅在其上顯示不具有線m1和m2的地圖影像MP。而且，雖然顯示確認目標組件的影像和資訊的區301、302以及313也轉變成空白狀態，然而在區311和312上顯示基板資訊和有缺陷組件的列表。

操作員確認此一缺陷組件清單的顯示，並在列表中選擇一個有缺陷組件(步驟S2)。回應於此選擇，在確認終端3中，實施圖7的步驟S203至S212，在確認螢幕的左側區300上 顯示如圖3所示的放大影像G，並在區300的左上角的地圖影像MP上設定表示該選擇組件的位置的線m1和m2。在區300下方的兩個區301和302上分別顯示該選擇組件的放大影像和取樣影像，並在右下方區313上顯示該選擇組件的檢查結果。

操作員藉由地圖影像M中的線m1和m2確定確認目標組件的大概位置(步驟S3)。接下來，參考不同標記的組件的特徵和分佈以及放大影像G的標記圖案，操作員確定與放大影像G對應的實際基板的範圍(步驟S4)。而且，基於各個標記部位中的位置關係等，操作員指定確認目標組件(步驟S5)。

之後，操作員目視確認該實際確認目標組件，確定其品質，並輸入測定資料(OK或NG)(步驟S6)。

在有缺陷組件仍處於第一有缺陷組件清單的情況下(步驟S7中為「否」)，操作員選擇下一個組件(返回到步驟S2)，之後，以相似的方式繼續該操作。在確認所有的有缺陷組件的情況下，並且存在作為確認目標的另一個基板(步驟S8中為「否」)，則操作員拾取下一個基板，並執行與以上類似的操作。

如上文提到的，將用於指定由藍色框架BW所包圍的標記圖案的資訊存儲到管理伺服器2的檢查標準資料庫23中。同時，藉由使用檢查結果資料庫21中的分析資料表來指定 由紅色框架RW所包圍的組件和電極。該分析資料表為其中將基板上具有容易標識的特徵的組件列出的表，並且是針對檢測到有缺陷組件的每一個基板而建立的。

圖5示出分析資料表的配置示例。

該示例的分析資料表儲存測定時確定為「無缺陷的」組件中在對所有項目的品質測定中所使用的測量值相對於最佳測量值的偏差度為10%或更大的組件的資訊。在所示示例中，儲存有：目標組件的標識代碼(組件代碼)；目標組件的中心部分的X座標和Y座標；獲得10%或更大的偏差程度的測量項目；在有關測量項目的測量中獲得的測量值和偏差程度等。

雖然表示組件的中心位置的X座標和Y座標為測量值，然而也可以擷取包含於檢查標準中的標準位置資訊。而且，至於要對組件的每一個電極執行的測量項目，在此對其賦以分支編號，每一個分支編號表示測量項目所對應的電極(參考圖5中的「IC006」的測量項目「填角-1」)。藉由這些分支編號的每一個，能夠指定組件中與測量值對應的電極的相對位置。

上述分析資料表建立於管理伺服器2中，儲存於檢查結果資料庫21中，之後，回應於來自確認終端3的發送請求與相應的檢查結果資訊一起被讀取，並被發送到確認終端3。

圖6示出用於藉由管理伺服器2建立分析資料表的處理的 過程。

每當從外觀檢查裝置1接收基板的單元的檢查結果資訊的發送時，藉由管理伺服器2的儲存處理單元24執行該處理。然而，本發明不限於此，也可以在檢查結果資訊被儲存到檢查結果資料庫21中之後當已逝去一預定時間時執行該處理。

首先，在第一步驟S101中，從外觀檢查裝置1獲取檢查結果資訊，並確認有關有缺陷組件的資訊是否包含於該資訊中。在不包括有缺陷組件的情況下(步驟S102中為「否」)，跳過下面的步驟，並結束該處理。

在有缺陷組件存在的情況下(步驟S102中為「是」)，依次關注除了有缺陷組件之外的組件(即，確定為「無缺陷的」組件)，並執行迴圈(loop)LP中的處理。

在迴圈LP中，藉由使用與所關注的組件相關的檢查結果資訊，對於對目標組件實施的每一個測量項目，藉由以下算術運算來獲得實際測量值相對於確定為無缺陷的測量值的範圍的最佳值的偏差程度(步驟S103)。

當計算出每一個測量值的偏差程度時，確認其中最大的偏差程度是否為10%或更大。如果最大的偏差程度為10%或 更大(步驟S104中為「是」)，則將獲得偏差程度的測量項目、測量值以及偏差程度與所關注的組件的組件代碼和位置資訊一起存儲到分析資料表中(步驟S105)。在與諸如電極的浮動檢查和焊角檢查等檢查相關的測量項目(對每一個電極都實施)成為此儲存的目標的情況下，表示相應的電極的分支編號也被儲存。

藉由上述處理，在確定為「無缺陷的」組件中，目標被縮小到測量值相對於最佳值的偏差程度係大的組件，並建立其中登記各個目標組件的彼此相關聯地偏差程度和位置資訊的分析資料表。

接下來，圖7示出回應於基板代碼的輸入而要在確認終端3中執行的處理的過程(圖4中的步驟S1)。

首先，在步驟S201中，藉由使用該輸入基板代碼，將該發送請求輸出到管理伺服器2，從而獲取目標基板的檢查結果資訊、分析資料表以及檢查標準。雖然有關於檢查標準沒有必要獲取所有條目的資訊，然而有必要獲取對於建立和編輯顯示目標的放大影像G所需的資訊，諸如：用於指定標記圖案的資訊、有關分割影像的位置對齊的定義資訊、以及表示各個組件與分割影像之間的對應關係的資訊(對應資訊表示哪一組件包含於哪一分割影像中)。

在步驟S202中，基於檢查結果資訊，在顯示單元32上顯示初始確認螢幕。之後，每當操作員進行選擇有缺陷組件的 操作時，執行迴圈LP1，從而在更新確認螢幕時接收由操作員輸入的測定。

下面將詳細說明迴圈LP1的處理。

首先，在步驟S203中，讀取有關該選擇有缺陷組件(確認目標組件)的檢查結果資訊。在下一個步驟S204中，基於該讀取資訊中的位置資訊，指定該選擇有缺陷組件包含於哪一分割影像，並藉由與管理伺服器2通信來獲取該指定分割影像g0及其週邊附近的八個分割影像g1至g8。而且，在步驟S205中，如此獲取的各個分割影像彼此連接，從而產生要在區300上顯示的放大影像G。

在該選擇有缺陷組件跨越多個分割影像的情況下，將有缺陷組件在其中佔據的比例成為最大的分割影像定義為佈置在中心的影像g0。而且，在基板上的各個組件藉由其單獨的組件代碼與分割影像相關聯的情況下，然後在步驟S204中，可以基於該選擇有缺陷組件的組件代碼來指定要佈置在中心的影像g0。

之後，對放大影像G執行步驟S206至S211。

在步驟S206中，從起點(其為該選擇有缺陷組件的位置)設定檢索範圍(以預定的特定方向作為參考)。例如，可以將從以特定方向為中心以延伸預定角度θ的範圍作為檢索範圍。

在步驟S207中，從分析資料表登記的組件中擷取包含於 該設定檢索範圍的組件。在擷取多個組件的情況下，擷取其中偏差程度最大的一個組件。

對多個預定方向執行步驟S206和S207，從而擷取偏差程度相對較大的多個組件。

當對所有方向的擷取處理結束時(步驟S208中為「是」)，然後在步驟S209中，藉由使用檢查標準來擷取放大影像G中的標記圖案。

在步驟S210中，由紅色框架RW標記步驟S207中基於偏差程度來擷取的組件，由藍色框架BW標記步驟S209中擷取的標記圖案。在步驟S211中，對放大影像中的有缺陷組件設定用於標識的框架UW和表示X座標和Y座標的線L1和L2。

在由紅色框架RW進行的標記中，大體上將包圍整個組件的範圍作為設定目標來進行標記，然而，在電極的單元的測量值出現大的偏差程度的情況下，基於相應的測量項目的分支編號，紅色框架RW可以僅包圍獲得偏差程度較大的測量值的那個電極。藉由此方法，設定為圖3的IC組件103的一個電極的紅色框架RW。

藉由步驟S210和S211的處理，將放大影像編輯成處於這一狀態下的影像：該選擇有缺陷組件和偏差程度較大的組件以及位於有缺陷組件週邊的標記圖案由彼此不同的顏色來標記。在步驟S212中，藉由經編輯的此放大影像來更新 確認螢幕的顯示。雖然省略了具體過程，然而對顯示的這一更新中，在地圖影像MP上同樣設定用於位置標識的線m1和m2，而在圖2所示的區301、302以及313上分別顯示影像和檢查結果資訊。

另外，在步驟S213中，接收藉由操作員輸入的測定資料(OK或NG)的輸入(圖4中的步驟S6)，並且將該輸入測定資料添加到該選擇有缺陷組件的檢查結果資訊。

對確定為有缺陷的所有組件來執行迴圈LP1，從而基於在自動外觀檢查中確定為有缺陷的組件的檢查結果資訊來添加測定資料。當處理所有的有缺陷組件時，在最後一個步驟S214中，將完成測定資料的添加的檢查結果資訊檔發送到管理伺服器。以此方式，結束該處理。

在上述示例中，總是藉由操作員進行品質的測定輸入，並將該輸入測定資料添加到檢查結果資訊。然而，此代替，可以只在操作員確定該選擇組件為無缺陷的時才重寫在確認螢幕中的區313的檢查結果。

在許多情況下，與類似於外觀檢查的方式將組件安裝基板的生產線自動化。然而，焊膏的施加量和回流步驟中的加熱溫度並不一致，並且藉由貼裝機(mounter)來進行組件的安裝也並非統一處理。因此，即使在相同類型的組件中，也會在組件的位置和姿態、焊角的形狀和大小等中出現變化。在待安裝於相同類型的基板的相同處的組件的狀態中也可看到 類似的變化。

在目視可識別區域上進行外觀檢查中的每一個測量處理。因此，在獲得與最佳值極大不同的測量值的區域中，在已經成為測量目標的外觀上出現與相同類型的其它區域中顯著不同的特徵是非常可能的。關注於這一點，在上述實施例中，將實際測量值相對於最佳測量值的偏差程度大的組件擷取作為由紅色框架RW標記的目標，以及因此，可以標記具有藉由肉眼可辨別的特徵的組件。

而且，根據圖7的處理，在具有作為確認目標的有缺陷組件的多個方位(orientation)上設定由紅色框架RW進行的標記作為參考，另外，藉由有缺陷組件週邊的多個部位的藍色框架BW來明確示出標記圖案。因此，基於該標記部位的外觀特徵和分佈，操作員能夠容易地在實際基板上找到與其對應的部位。因此，能夠無誤地指定作為確認目標的有缺陷組件，並能夠確定其品質。

要注意，在擷取較大偏差程度的組件的情況下的檢索方向沒有特別限制。然而，檢索方向可被理想地設定為使確認目標組件能夠由該擷取組件所包圍。例如，在圖3的示例的情況下，相對於有缺陷組件朝三個方向(正上方、斜右下方、斜左下方)執行檢索。而且，可以相對於確認目標組件朝四個方向(即，上、下、左、右)進行檢索，而且，也可以朝總共八個方向(藉由將斜上方和斜下方與上述四個方向相加獲 得)進行檢索。

而且，在圖7所示的過程中，對於每一個檢索範圍，擷取該範圍中具有偏差程度最大的一個組件。然而，本發明不限於此，可以擷取偏差程度超過依預定值的所有組件。而且，可以在從作為目標的整個放大影像擷取偏差程度超過預定值的組件而無設定檢索方向的條件下，來選擇添加有紅色框架RW的組件，並且使所擷取的一些組件分佈以包圍確認目標組件。而且，在該擷取組件的偏差程度大大超過作為擷取條件的最小值(10%)的情況下，藉由檢索待擷取的組件的數量可以變為一個。

標記的方法不限於框架，然而，必須避免在影像中的標記目標的特徵不能夠被確認的一模式進行的標記。

而且，由紅色框架RW標記的目標不限於該組件，及例如，外來物件檢查中所檢測的焊球和橋檢查中所擷取的橋可以採用作為標記目標。例如，藉由檢查來測量其大小超過預定值的焊球和橋能夠由肉眼容易地識別，及因此，適合作為紅色框架RW的標記目標。

將說明有關上述系統的其它修改示例。

首先，在上述實施例中，輸入作為確認目標的基板的基板代碼，從而讀取包括用於檢查的影像的各種資訊，並設定確認螢幕。然而，在外觀檢查裝置1中檢查的基板按照檢查順序連續流動到確認終端3並且能夠唯一指定待確認的基板 的情況下，可根據檢查順序將所述資訊發送到確認終端3而無須輸入基板代碼。這種情況下，該資訊可以直接從外觀檢查裝置1發送到確認終端3，而無須經過管理伺服器2。

而且，確認目標不限於有缺陷組件，雖組件被確定為無缺陷的，但測量值的偏差程度係大的組件也可以包含於確認目標中。

從影像資料庫22讀取包括確認目標組件的區的影像且將該影像編輯成進行了標記的放大影像G的功能也可以設置在管理伺服器2中，而不限制於確認終端3。這種情況下，在確認終端3中，設定有：從管理伺服器2接收包括放大影像G的確認螢幕30的資訊之供應，且在顯示單元32上顯示該資訊的功能；以及接收藉由操作員輸入的測定資料且將該測定資料發送到管理伺服器2的功能。

在上述實施例中，從影像資料庫22讀取影像，產生放大影像G，之後，指定添加有紅色框架RW和藍色框架BW的部位。然而，可以顛倒這些處理的順序，並且可以並行地實施各處理。

在上述實施例中，指定包括確認目標組件的分割影像，並藉由該影像及其週邊附近的8個影像產生放大影像G。然而，本發明不限於此，基於確認目標組件的位置資訊，可以指定預定大小的區(在該區中該組件被置於中心)，並可以從基板的整體影像裁出所指定的區的影像。

而且，放大影像G的比例因數(scaling factor)未受到一致限制。在偏差程度較大的組件(添加有紅色框架RW)位於確認目標組件附近的情況下，可以增加比例因數，而在添加有紅色框架RW的組件位於遠離確認目標組件的情況下，可以減小比例因數。例如，考慮確認目標組件與作為偏差程度較大的組件而被擷取的組件中位於確認目標組件最近的組件之間的距離，及將放大影像G的比例因數決定為使該放大影像G的比例因數能夠與該距離成反比。

可替代地，可以設定兩個比例因數，即：一標準比例因數，由九個分割影像形成的整體影像以該比例因數顯示；以及一增大比例因數，其大於標準比例因數。在預定數量或更多的偏差程度較大的組件係包含於增大比例因數的一顯示範圍中的情況下，可以採用增大比例因數，反之，可以採用標準比例因數。而且，比例因數的切換不限於兩級，而是還可以採用三級或更多的級別。

在上述實施例中，經由最終步驟完成的基板作為目視確認的目標。然而，同樣在中間步驟結束的階段，能夠在基板(其中自動外觀檢查在該步驟中結束)上進行目視確認作業，另外，顯示相似的標記影像，從而能夠支援確認操作。

最後，應用了本發明的檢查目標不限於組件安裝基板，並且本發明也能夠應用於其它結構，其中每一個包括藉由自動外觀檢查進行檢查的多個目標區域，並且在這些區域的外觀 上可以出現目視可識別的固有特徵。

1‧‧‧外觀檢查裝置

2‧‧‧管理伺服器

3‧‧‧確認終端

4‧‧‧局域網路(LAN)線路

11‧‧‧成像單元

12‧‧‧檢查執行單元

13‧‧‧通信處理單元

21‧‧‧檢查結果資料庫

22‧‧‧影像資料庫

23‧‧‧檢查標準資料庫

24‧‧‧儲存處理單元

25‧‧‧通信處理單元

26‧‧‧定向終端處理單元

30‧‧‧確認螢幕

31‧‧‧輸入單元

32‧‧‧顯示單元

33‧‧‧分析處理單元

34‧‧‧顯示處理單元

35‧‧‧通信處理單元

100‧‧‧組件

101‧‧‧晶片組件

102‧‧‧晶片組件

103‧‧‧IC組件

300‧‧‧區

301‧‧‧區

302‧‧‧區

311‧‧‧最上層區

312‧‧‧中間區

313‧‧‧最下層區

a‧‧‧突出部分

BW‧‧‧藍色框架

c‧‧‧通孔

G‧‧‧放大影像

L1‧‧‧線

L2‧‧‧線

m1‧‧‧線

m2‧‧‧線

MP‧‧‧地圖影像

RW‧‧‧紅色框架

UW‧‧‧框架

圖1為示出用於檢查組件安裝板的系統的配置的功能方塊圖；圖2為用於確認有缺陷組件的資訊的確認螢幕的佈局圖；圖3為示出要在圖2的區300上顯示的影像的示例的視圖；圖4為示出確認操作的過程的流程圖；圖5為示出分析資料表的資料配置示例的表；圖6為示出分析資料表的建立處理的過程的流程圖；以及圖7為示出要在確認終端中執行的處理的過程的流程圖。

100‧‧‧組件

101‧‧‧晶片組件

102‧‧‧晶片組件

103‧‧‧IC組件

a‧‧‧突出部分

BW‧‧‧藍色框架

c‧‧‧通孔

G‧‧‧放大影像

L1‧‧‧線

L2‧‧‧線

m1‧‧‧線

m2‧‧‧線

MP‧‧‧地圖影像

RW‧‧‧紅色框架

UW‧‧‧框架

Claims (7)

1. 一種檢查結果之目視確認作業之支援用之系統，該系統為用於對確認具有使用一影像進行一自動外觀檢查的複數個區域的一檢查目標的至少一個檢查目標區域的狀態的操作進行支援的一系統，藉由目視識別一實際檢查目標的方法進行該操作，該系統包括：一影像儲存單元，配置成儲存該檢查目標的一影像，該影像藉由對該自動外觀檢查成像而產生；一測量資料儲存單元，配置成儲存藉由該自動外觀檢查的測量處理所獲得的測量資料，該測量資料與藉由該測量處理所測量的一目標區域的位置資訊相關聯；一影像讀取單元，配置成基於一確認目標區域的位置資訊或標識資訊從該影像儲存單元讀取一區的一影像，該區包括該確認目標區域且與該檢查目標的一部分對應；一特徵區域擷取單元，配置成分析儲存在該測量資料儲存單元中的該測量資料，該測量資料與包含於與由該影像讀取單元讀取的該影像對應的該區中的該位置資訊相關聯，並擷取具有單獨目視可識別的固有特徵且分佈在該確認目標區域附近的一個或多個特徵區域；一影像編輯單元，配置成將由該影像讀取單元讀取的該影像編輯成一狀態，在該狀態下該影像中的該各個特徵區域與該確認目標區域以彼此不同的模式進行標記；以及 一顯示單元，配置成顯示由該影像編輯單元編輯的該影像。
2. 如申請專利範圍第1項之檢查結果之目視確認作業之支援用之系統，其中，藉由使用在該自動外觀檢查的該測量處理中獲得的一測量值相對於一最佳測量值的偏差程度作為一關鍵，該特徵區域擷取單元擷取除該確認目標區域之外的檢查目標區域中偏差程度相對較大的區域，該檢查目標區域包含于該區中。
3. 如申請專利範圍第1或2項之檢查結果之目視確認作業之支援用之系統，其中，用於檢測位於除該檢查目標區域之外的地點處的外來物件的測量包含於該自動外觀檢查的該測量處理中，以及該特徵區域擷取單元擷取在該區的該確認目標區域附近獲得表示該外來物件的測量資料的部位以作為該特徵區域。
4. 如申請專利範圍第1項之檢查結果之目視確認作業之支援用之系統，更包括：一標記圖案儲存單元，其儲存用於指定一標記圖案的資訊，該標記圖案在該自動外觀檢查中被作為一標記以統一設定給相似類型的該檢查目標，其中該影像編輯單元基於儲存在該標記圖案儲存單元中的該資訊指定包含於該區中的該標記圖案的地點，並編輯該影像，使得該指定地點以與至少該確認目標區域不同的模式進 行標記。
5. 如申請專利範圍第1項之檢查結果之目視確認作業之支援用之系統，其中，該系統包括：一伺服器，藉由與一外觀檢查裝置通信來接收包括在該外觀檢查中使用的該影像以及該測量資料的檢查結果資訊；以及包括一終端裝置，具有用於該確認操作的一顯示單元，以及至少該影像儲存單元和該測量資料儲存單元設置在該伺服器中，以及該終端裝置的該顯示單元充當該顯示單元。
6. 一種檢查結果之目視確認作業之支援用之裝置，該裝置為用於對確認具有使用一影像進行一自動外觀檢查的複數個區域的一檢查目標的至少一個檢查目標區域的狀態的操作進行支援的裝置，藉由目視識別一實際檢查目標的方法進行該操作，該裝置包括：一影像讀取單元，配置成基於一確認目標區域的位置資訊或標識資訊從儲存有該檢查目標的一影像的一影像儲存單元讀取一區的一影像，該區包括該確認目標區域且與該檢查目標的一部分對應；一特徵區域擷取單元，配置成從一測量資料儲存單元讀取並分析測量資料，以及擷取具有單獨目視可識別的固有特徵且分佈在該確認目標區域附近的一個或多個特徵區域；該測量資料與包含於與由該影像讀取單元讀取的該影像對應的 該區中的該位置資訊相關聯，該測量資料儲存單元配置成儲存藉由該自動外觀檢查的測量處理所獲得的該測量資料，該測量資料與藉由該測量處理所測量的目標區域的位置資訊相關聯；一影像編輯單元，配置成將由該影像讀取單元讀取的該影像編輯成一狀態，在該狀態下該影像中的該各個特徵區域以及該確認目標區域以彼此不同的模式進行標記；以及一輸出單元，配置成輸出由該影像編輯單元編輯的該影像的影像資料，以便顯示該影像資料。
7. 一種檢查結果之目視確認作業之支援用之方法，該方法為用於對確認具有使用一影像進行一自動外觀檢查的複數個區域的一檢查目標的至少一個檢查目標區域的狀態的操作進行支援的方法，藉由目視識別一實際檢查目標的方法進行該操作，該方法包括以下步驟：回應於該自動外觀檢查來儲存該檢查目標的一影像於一影像儲存單元中，該影像藉由對該自動外觀檢查成像而產生，以及在一測量資料儲存單元中儲存藉由該自動外觀檢查中的測量處理所獲得的測量資料，該測量資料與藉由該測量處理所測量的一目標區域的位置資訊相關聯；基於一確認目標區域的位置資訊或標識資訊從該影像儲存單元讀取一區的一影像，該區包括該確認目標區域且與該檢查目標的一部分對應； 分析測量資料，與包含於與從該影像儲存單元讀取的該影像對應的該區中的位置資訊相關聯地之該測量資料被儲存在該測量資料儲存單元中，以及擷取具有單獨目視可識別的固有特徵且分佈在該確認目標區域附近的一個或多個特徵區域；以及將從該影像儲存單元讀取的該影像編輯成一狀態，在該狀態下該影像中的該各個特徵區域以及該確認目標區域以彼此不同的模式進行標記，以及顯示該編輯影像。