TWI500925B - Check the device, check the method and check the program - Google Patents
Check the device, check the method and check the program Download PDFInfo
- Publication number
- TWI500925B TWI500925B TW102131561A TW102131561A TWI500925B TW I500925 B TWI500925 B TW I500925B TW 102131561 A TW102131561 A TW 102131561A TW 102131561 A TW102131561 A TW 102131561A TW I500925 B TWI500925 B TW I500925B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- inspection
- registered
- difference
- feature points
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本發明係關於一種檢查裝置、檢查方法及檢查程式。本發明特別是關於藉由影像進行檢查之檢查裝置、檢查方法及檢查程式。
調查印刷於紙面或零件之文字是否正確印刷,或是零件是否正確裝設在基板上之檢查中,多半使用藉由以相機拍攝檢查對象所取得之影像。使用檢查對象之影像,判定於檢查對象有無缺陷(亦即,檢查對象是否依設計完成),藉此進行這種檢查。作為其判定方法,例如有藉由比較:預先登記之無缺陷的檢查對象之影像,與自被判定有無缺陷之檢查對象所取得之影像,而檢測差異之方法。為了能以此方法高精度地檢測差異,登記無缺陷之檢查對象的影像之際的影像取得環境,與取得被檢查有無缺陷之檢查對象的影像之際的影像取得環境,兩者必須同一,這點相當重要。影像取得環境係例如相機及光源。影像取得環境同一係例如拍攝此等影像之際,相機及相機參數、光源、相機與光源之位置關係等同一。且分別取得影像之際,相對於影像取得環境之檢查對象的配置亦須相同。為了於生產線實現這樣的檢查環境,需於生產線內構築檢查環境。拍攝或保存無缺陷之檢查對象的影像之登記作業,或自所檢測出之差異而檢測缺陷的基準之調整作業中,需時間或勞力。另一方面,檢查環境構築完成後,以檢查環境進行之檢查較以人力進行之檢查高速許多。
生產線係少種類大量生產線時,一旦前述調整完成,即長時間無須再
調整。此時,再調整用的時間變得不再需要,故檢查每一個檢查對象所須的時間較以人力逐一對檢查對象進行檢查時所須的時間短許多。另一方面,生產線係近年來增加之少量多種類生產線時,每當檢查對象種類變更即須調整檢查環境。此時,以人力進行之目視檢查其檢查效率有時也可能較高。然而,以人力進行之目視檢查中,有可能發生因疏忽或誤會引起看漏不良品之難以完全避免的錯誤。且以人力進行之目視檢查中,有可能每一檢查者之判斷基準不同,導致發生品質不穩定的情形。因此,業界希望可提供即使在少量多種類生產線中,亦不須很多的調整作業之檢查環境。
專利文獻1中記載一外觀檢查裝置,藉由比較:拍攝比較對象即被檢查物之影像,與拍攝檢查對象之被檢查物之影像,而進行缺陷檢查。專利文獻1之外觀檢查裝置以拍攝比較對象即被檢查物之影像,與拍攝檢查對象之被檢查物之影像分別不同的兩處以上之對應的圖案部分,對準雙方影像。換言之,外觀檢查裝置將自比較對象即晶片的影像之兩處以上切出之基準影像所對應的檢查對象,亦即被檢查物之晶片所拍攝的影像上的區域之位置,以次畫素單位檢測出。又,外觀檢查裝置重疊兩張影像,俾比較對象即晶片的影像上之基準影像重疊於檢查對象之晶片的影像上的前述檢測的位置。又,外觀檢查裝置藉由比較圖案進行缺陷檢查。具體而言,外觀檢查裝置產生兩張影像之差分影像,自產生之差分影像而檢測晶片缺陷。
專利文獻2之圖案檢查裝置藉由比較半導體晶圓上鄰接之晶片影像,而檢測晶片缺陷。圖案檢查裝置將比較鄰接之晶片影像之際,鄰接之兩個晶片同一部分在影像上的位置之偏離,使用該部分之影像而檢測。圖案檢查裝置以檢測出之偏離為基礎,導出兩個晶片影像重疊時,相互對應之畫素之灰階差。圖案檢查裝置自導出之結果產生灰階差影像。圖案檢查裝置自產生之灰階差影像,檢測存在於晶片之缺陷選項之位置。圖案檢查裝置更自產生灰階差影像之兩個晶片中一方之影像,與接近該晶片之其他晶片影像,同樣地檢測缺陷選項之位置。圖案檢查裝置在自於前一檢查檢測到的缺陷選項起既定距離以內之位置,於下一檢查亦檢測到缺陷選項時,判定在於兩次檢查皆檢測到作為檢查對象之晶片的缺陷選項之位置存在缺
陷。
專利文獻3中記載一表面檢查裝置,使用兩台相機判別鋼板之凹凸瑕疵與髒污。安裝此等兩台相機,俾光軸沿垂直於鋼板表面之方向。又,表面檢查裝置在開始檢查前,以兩台相機拍攝三角形校正片。表面檢查裝置自獲得之兩張影像中校正片之頂點座標,算出表示兩張影像間之座標變換之仿射變換(affine transformation)之座標變換參數。檢查時,表面檢查裝置以兩台相機同時拍攝鋼板。表面檢查裝置藉由使用前述座標變換參數之座標變換,而進行影像變換,俾獲得之兩張影像之座標系為相同。表面檢查裝置對變換後之兩張影像,算出各畫素的畫素值之差分。表面檢查裝置依獲得之差分,檢測凹凸瑕疵。
【先前技術文獻】
【專利文獻】
【專利文獻1】日本特開2000-323541號公報
【專利文獻2】日本特開2004-273850號公報
【專利文獻3】日本特開2006-177852號公報
專利文獻1至3之技術中,每當檢查對象物種類,或相對於對象物之相機的配置被變更,即須進行檢查用調整作業。專利文獻1及專利文獻2之技術中,檢查用調整作業係例如取得用來檢測對象物位置偏離,對象物一部分之影像,與無缺陷之對象物影像之登記。專利文獻3之技術中,檢查用調整作業係例如使用三角形校正片之座標變換參數之算出。
本發明之目的之一在於提供一種檢查裝置,檢測缺陷之檢查對象物之種類、或相對於檢查對象物之相機的配置改變時,可減輕檢查用調整作業之負擔。
本發明之檢查裝置包含:登記影像記憶機構,記憶著:複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點;對準機構,進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及差異檢測機構,檢測該對準後該檢查影像與該登記影像之差異。
本發明之檢查方法,將複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點,記憶於登記影像記憶機構;進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及檢測該對準後該檢查影像與該登記影像之差異。
本發明之檢查程式使電腦實現以下機構:
登記影像記憶機構,記憶著:複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點;對準機構,進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及差異檢測機構,檢測該對準後該檢查影像與該登記影像之差異。
又,本發明亦可藉由儲存有上述檢查程式之電腦可讀取的有形記錄媒體來實現。
本發明具有下列效果:當檢查對象物之種類、或取得檢查用影像之相機與檢查對象物之間的配置經常被改變時,可減輕檢查用調整之負擔,縮短包含檢查用調整的時間之檢查時間。
1‧‧‧檢查裝置
2‧‧‧攝影裝置
3‧‧‧輸出裝置
4‧‧‧檢查對象
10‧‧‧輸入部
11‧‧‧登記影像記憶部
12‧‧‧對準部
13‧‧‧差異檢測部
14‧‧‧輸出部
40‧‧‧檢查台
100‧‧‧檢查系統
1000‧‧‧電腦
1001‧‧‧處理器
1002‧‧‧記憶體
1003‧‧‧記憶裝置
1004‧‧‧I/O介面
1005‧‧‧記錄媒體
圖1係顯示第1、第2、第3實施形態之檢查系統100之構成方塊圖。
圖2係顯示各實施形態之檢查裝置1之將登記影像儲存於登記影像記憶部11時之動作流程圖。
圖3係顯示第1實施形態之檢查裝置1之由檢查影像檢測檢查對象4之缺陷之動作流程圖。
圖4係顯示檢查影像之例圖。
圖5係顯示登記影像之例圖。
圖6係顯示對準時之檢查裝置1之動作流程圖。
圖7係顯示由檢查影像與登記影像抽出之特徵點之例圖。
圖8係顯示變形前後之檢查影像之例圖。
圖9係顯示登記影像與變形後的檢查影像作為缺陷被檢測出之差異的例圖。
圖10係顯示第2實施形態之檢查裝置1之由檢查影像檢測檢查對象4的缺陷之動作流程圖。
圖11係顯示第4實施形態之檢查裝置1的校正之方塊圖。
圖12係顯示第1實施形態之構成例的攝影裝置2與檢查對象4之配置圖。
圖13係顯示以遮罩檢測缺陷之檢測結果的例圖。
圖14係顯示以遮罩檢測缺陷之檢測結果的例圖。
圖15係顯示為實現檢查裝置1而使用之電腦1000之構成的一例圖。
其次,參照圖式詳細說明關於本發明實施形態。
圖1係顯示本發明第1實施形態之檢查系統100構成之方塊圖。
參照圖1即知,本實施形態之檢查系統100包含檢查裝置1、攝影裝置2與輸出裝置3。檢查系統100檢測檢查對象4之缺陷。
檢查裝置1包含輸入部10、登記影像記憶部11、對準部12、差異檢測部13與輸出部14。
攝影裝置2係例如拍攝檢查對象4之影像的相機。
輸出裝置3係顯示器等顯示裝置,亦可為列印裝置等其他裝置,只要是電腦系統中一般的輸出裝置即可。
輸入部10自攝影裝置2取得檢查對象4之被拍攝的影像。以下,將檢測缺陷之檢查的對象、即檢查對象4,之拍攝的影像稱為檢查影像。輸入部10亦可將由攝影裝置2預先拍攝,儲存於後述登記影像記憶部11或未圖示之其他記憶部的檢查對象4之被拍攝影像,作為檢查影像取得之。
登記影像記憶部11,記憶無缺陷之檢查對象4的影像。以下,將為了檢測缺陷而與檢查影像比較之影像稱為登記影像。將儲存於登記影像記憶部11之無缺陷的檢查對象4之影像作為登記影像使用之。
對準部12算出:表示使登記影像與取得之檢查影像其中一方,和另一方最一致的變換之變換參數。對準部12使用算出之變換參數進行影像變換。
差異檢測部13,檢測影像變換後之登記影像與檢查影像的差異。
輸出部14,將檢測出之差異輸出予輸出裝置3。
其次,參照圖式詳細說明:將登記影像儲存於登記影像記憶部11時檢查裝置1之動作。
圖2係顯示本實施形態之檢查裝置1將登記影像儲存於登記影像記憶部11時之動作流程圖。以下,將登記影像儲存於登記影像記憶部11亦稱為登記「登記影像」。且後述其他實施形態之檢查裝置1將登記影像儲存於登記影像記憶部11時之動作係同於圖2所示者。
參照圖2即知,首先,輸入部10自攝影裝置2取得登記影像(步驟S101)。
攝影裝置2拍攝預先經確認無缺陷之檢查對象4的影像即可。確認於檢查對象4無缺陷之方法可為已知的任意方法。例如,檢查人員藉由目視,
確認於檢查對象4無缺陷即可。或是亦可為下列方法:首先,攝影裝置2拍攝不同之三個以上的檢查對象4。輸入部10取得攝影裝置2拍攝之影像。對準部12及差異檢測部13對於拍攝之影像中兩張影像的所有組合,以組合中任一方為登記影像,以另一方為檢查影像,進行後述之動作,藉此檢測差異。對無缺陷之檢查對象4的影像組合,差異檢測部13不檢測差異。另一方面,對有缺陷之檢查對象4的影像,與無缺陷之檢查對象4的影像之組合,差異檢測部13檢測差異。有缺陷之檢查對象4的影像之組合時,缺陷若相同,差異檢測部13不檢測差異;缺陷若不相同,差異檢測部13即檢測差異。無缺陷之檢查對象4的數量較有缺陷之檢查對象4的數量多的話,對無缺陷之檢查對象4的影像檢測差異之次數即應較對有缺陷之檢查對象4的影像檢測差異之次數少。輸入部10自差異檢測部13取得差異之檢測結果,以檢測出差異的次數最少之影像為登記影像即可。
其次,輸入部10將登記影像儲存於登記影像記憶部11(步驟S102)。
其次,參照圖式詳細說明:由檢查影像檢測檢查對象4之缺陷時,檢查裝置1之動作。
圖3係顯示本實施形態之檢查裝置1由檢查影像檢測檢查對象4之缺陷時之動作流程圖。
參照圖3即知,首先,輸入部10取得檢查影像(步驟S103)。如前述,檢查影像係檢測有無缺陷之檢查的對象、即檢查對象4所拍攝的影像。
其次,對準部12自登記影像記憶部11讀取登記影像(步驟S104)。如前述,將無缺陷之檢查對象4所拍攝的影像,作為登記影像使用之。於登記影像記憶部11登記有複數種類的檢查對象4之登記影像時,例如檢查人員對檢查影像指定登記影像即可。或是,對準部12亦可藉由已知之任意影像辨識方法,判定映現於檢查影像之檢查對象4之種類。又,對準部12亦可自登記影像記憶部11讀取經判定之種類的檢查對象4之登記影像。
對準部12對準取得之檢查影像,與讀取之登記影像(步驟S105)。此對準係使檢查影像上之檢查對象4之尺寸或形狀符合登記影像上之檢查對象4之尺寸或形狀而進行之修正。對準部12,例如進行根據登記影像而變換檢查影像之修正,藉以進行對準。對準時,對準部12將表示消除登記影像與檢查影像在影像上檢查對象4之尺寸或位置或方向之不同,或因拍攝方向不同造成的檢查對象4形變之不同的變換之變換參數加以算出。此等不同係因登記影像拍攝時與檢查影像拍攝時攝影裝置2種類之不同,或拍攝對象4與攝影裝置2位置關係之不同產生。又,對準部12藉由使用算出之變換參數之變換,修正檢查影像。對準亦可根據檢查影像而變換登記影像。關於對準,於後詳細說明。
接著,差異檢測部13藉由比較對準後之檢查影像與登記影像檢測差異(步驟S106)。關於差異之檢測,於後詳細說明。
最後,輸出部14將該差異對輸出裝置3輸出(步驟S107)。
其次,參照圖式詳細說明關於步驟S105對準時檢查裝置1之動作。
圖4係登記影像之一例。
圖5係檢查影像之一例。圖4之登記影像係用於圖5之檢查影像的登記影像。
圖4及圖5之文字係檢查對象4表面上之文字。本實施形態中,存在此等文字,檢查對象4之表面係平面。圖4之文字與圖5之文字分別存在於同一平面上。本實施形態之檢查裝置1檢測之缺陷係檢查對象4之表面上文字的差異。比較圖4與圖5即知,對應圖5右下文字列「abc812」中之「8」的部分與圖4不同。對應圖5之「8」的部分於圖4係為「0」。本實施形態中,圖5之文字列「abc812」之「8」的部分係為缺陷。
拍攝相同平面之兩張影像中,拍攝對象平面上相同點之像、即兩點的座標間之關係,以自一個影像上的點之座標,朝另一個影像上的點之座標的射影變換表示。表示射影變換之數學式,在一個影像上的座標為x1,另一個影像上的座標為x2時,x2=Hx1。x1與x2係第3元素非為零之3維向量。作為此等向量之以第3元素除以第1元素與第2元素的兩個值,以兩個元素表示之2維向量表示平面上的座標。矩陣H係表示射影變換的3×3矩陣。矩陣H之常數倍的矩陣亦表示相同的射影變換。亦即,矩陣H之自由度為8。此表示射影變換之矩陣H亦稱為單應性矩陣(homography matrix)。
相同平面所拍攝的兩張影像間之單應性矩陣若為已知,即可算出映現於一個影像的所有點位於另一個影像之哪一位置。藉此,可自一個影像與單應性矩陣,獲得:以拍攝一個影像之攝影裝置來拍攝另一個影像中的拍攝對象而攝得的影像,所相當的影像。該計算之際,不須導出拍攝兩張影像之攝影裝置2相對於拍攝對象4之位置。且拍攝兩張影像之攝影裝置2亦可非相同攝影裝置。
拍攝無缺陷之檢查對象4而獲得之檢查影像上之檢查對象4的像,係藉由將檢查影像變換為登記影像之單應性矩陣而變換檢查影像,應與登記影像上之檢查對象4的像一致。同樣地,登記影像上之檢查對象4的像,係藉由將登記影像變換為檢查影像之單應性矩陣而變換登記影像,應與檢查影像上之檢查對象4的像一致。以表示變換之矩陣對影像進行變換,意味對變換對象之影像的各畫素之變換。關於其具體處理之說明於後詳述。
例如於非專利文獻1所記載,已知若於兩張影像間獲得4組對應點的座標,即可將表示自一個影像往另一個影像之變換,使用單應性矩陣(H)之影像變換式加以導出。亦即,於檢查影像與登記影像若有4組對應點的座標,即可進行修正前述尺寸、旋轉、射影形變之檢查影像與登記影像之間之對準。
(非專利文獻1)金澤靖、金谷健一:兩影像間之特徵點對應之自動探索,影像laboratory, pp.20-23 (2004)
圖6係顯示對準時檢查裝置1動作之流程圖。
參照圖6即知,首先,對準部12由檢查影像與登記影像雙方抽出特徵點(步驟S301)。對準部12亦可預先自登記影像抽出特徵點,將抽出之特徵點的座標儲存於,例如登記影像記憶部11。此時,對準部12將對應檢查影像之登記影像之各特徵點的座標自登記影像記憶部11讀取即可。
對準部12藉由指定符合既定條件之畫素的座標,而抽出特徵點即可。對準部12,例如算出影像縱方向、橫方向雙方之畫素值的梯度即可。又,對準部12將縱方向梯度與橫方向梯度雙方為極值之點抽出作為特徵點即可。特徵點之抽出方法亦可為其他方法。並且,對準部12可以例如記載於非專利文獻2之方法抽出特徵點。
(非專利文獻2)David G. Lowe; Object recognition from local scale-invariant features, Proc. of Intl. Conf. on Computer Vision. 2. pp.1150-1157 (1999).
檢查影像或登記影像若係如圖4及圖5之例的文字影像,對準部12亦可以適當的閾值使影像二值化,並求取連結區域,以各連結區域的重心點為特徵點之方法抽出特徵點。此時,對準部12首先根據檢查影像或登記影像、即原影像之各畫素的畫素值與既定閾值之比較結果,產生各畫素的畫素值為兩個值其中之一的二值影像。例如,對準部12於原影像之某畫素的畫素值在閾值以上時,以位於對應該畫素位置之位置的二值影像畫素之畫素值為第一值。且對準部12於原影像之某畫素的畫素值未達閾值時,以位於對應該畫素位置之位置的二值影像畫素之畫素值為第二值。第一值與第二值例如為0與1。第一值與第二值若分別為不同值,則可為任何值。又,對準部12自二值影像抽出同一畫素值連續之區域、即連結區域。檢查影像
或登記影像為文字影像,已知文字所包含之畫素的畫素值是否對應第一值與第二值其中之一時,對準部12僅對於二值中對應文字畫素的畫素值之值,抽出連結區域即可。又,對準部12將各連結區域之重心抽出作為特徵點即可。
圖7係顯示由檢查影像與登記影像抽出之特徵點之例圖。
其次,對準部12使用自雙方影像抽出之特徵點,將表示使檢查影像上的檢查對象4符合登記影像上的檢查對象4之變換的變換參數算出(步驟S302)。
如前述,此變換以單應性矩陣表示時,變換參數係單應性矩陣各元素之值。此時,對準部12算出單應性矩陣、即變換矩陣H。如前述,為了計算變換矩陣H,需4組以上的對應點組。對應點組係:可視為拍攝對象上之相同點的像之檢查影像上的點與登記影像上的點之組。
計算變換矩陣H之際,對準部12首先檢測4組以上的對應點組。對準部12藉由以單純的樣板匹配進行之方法,或記載於非專利文獻1之方法等已知的任意方法檢測對應點組即可。
對準部12依檢測出之4組以上的對應點組之座標,計算變換矩陣H。對準部12,藉由例如以最小平方法(least square method)算出變換矩陣H各元素之方法等已知的任意方法,計算變換矩陣H即可。
對準部12亦可藉由「減輕對應點組的座標中偏離值之影響的穩健估計」,算出變換矩陣H。其係作為對應點組檢測,但實際上並非對應點組之「檢查影像上的點與登記影像上的點之組」的座標。對應點組的座標之偏離值,係由於例如特徵點之誤抽出或對應點組之誤檢測等而產生。作為穩健估計之方法,例如有以LMedS(Least Median of Squares,最小平方中值法)估計,或M估計量(M-estimator)進行之估計方法。對準部12
藉由例如此等方法或其他種類之穩健估計而算出變換矩陣H。
對準部12,以例如記載於非專利文獻3之方法計算變換矩陣H即可。記載於非專利文獻3之方法係:一邊將由檢查影像與登記影像雙方抽出之特徵點進行對應,一邊計算變換矩陣H。
(非專利文獻3)Martin A. Fischler and Robert C. Bolles; Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Comm. of the ACM 24(6), pp.381-395 (1981).
對準部12亦可例如使用記載於非專利文獻4之方法計算變換矩陣H。此方法係在抽出特徵點後,計算對應點組,再由算出之對應點組的座標計算變換矩陣H之方法。
(非專利文獻4)秋山、西脇:使用投影不變量與單應性矩陣之文字列影像檢索方式之提議,第9次資訊科技論壇(FIT2010), H-011 (2011.9).
其次,對準部12使用變換矩陣H進行檢查影像之變換(步驟S304)。
變換檢查影像之際,對準部12,例如首先對檢查影像的各畫素進行使用變換矩陣H之座標的變換。其次,對準部12,根據檢查影像之各畫素的畫素值與變換後之座標,以補足方式算出登記影像之各畫素的座標中、變換後之檢查影像的畫素值。或是其次對準部12亦可以補足方式算出檢查影像之各畫素變換後的座標中、登記影像之畫素值。
圖8係顯示以變換矩陣H進行變換之變換前後的檢查影像圖。本實施形態中,變換亦稱為變形。藉由本變換,前述相對於登記影像之檢查影像的檢查對象4尺寸的不同、檢查對象4方向的不同、射影形變等,均會消除。
以上說明:對準部12變換檢查影像,俾檢查影像所包含之檢查對象4的像符合登記影像所包含之檢查對象4的像之情形。相反地,對準部12亦可變換登記影像,俾登記影像所包含之檢查對象4的像符合檢查影像所包含之檢查對象4的像。
其次,詳細說明關於步驟S106:以差異檢測部13檢測差異。
於步驟S106,差異檢測部13將以算出之變換參數表示的「變換後登記影像與檢查影像之差異」加以計算。上述例中,差異檢測部13計算:登記影像與使用算出之變形矩陣H而變形的檢查影像兩者的差異。具體而言,差異檢測部13計算「登記影像與使用算出之變形矩陣H而變形的檢查影像於相同座標中畫素值的差」即可。差異檢測部13亦可計算由雙方影像的畫素值所算出之特徵量的差,作為雙方影像的差異。
差異檢測部13,將檢測出之差異輸出予輸出部14,作為表示檢測出之缺陷的資訊。差異檢測部13,例如將指定檢查影像或是登記影像所包含、經算出差異之各座標的資訊,與表示該各座標中之差異的值輸出即可。座標可為變換前檢查座標中的座標,亦可為登記影像中的座標。差異檢測部13,亦可指定算出之差異超過既定閾值S的座標,輸出指定之座標。差異檢測部13,除該指定之座標外,亦可輸出該座標中之差異。此等情形下,閾值S由例如系統之設計者或檢查人員預先設定即可。
於步驟S107,輸出部14將表示自差異檢測部13接收之差異的資訊輸出予輸出裝置3。
輸出部14,例如產生:各畫素的畫素值表示該畫素座標中的差異之差分影像。又,輸出部14將產生之差分影像顯示於輸出裝置3即可。輸出部14亦可例如,對應檢測出之差異大小而變更檢查影像的各畫素之顏色或濃淡值。又,輸出部14亦可將經變更之檢查影像顯示於輸出裝置3。或是,輸出部14亦可變更:檢查影像之差異超過閾值S之區域所包含的畫素顏色
或濃淡值。又,輸出部14亦可將經變更之檢查影像顯示於輸出裝置3。輸出部14亦可變更:檢查影像之差異超過閾值S之區域的連結區域之例如外接矩形所包含的畫素顏色或濃淡值。又,輸出部14亦可將經變更之檢查影像顯示於輸出裝置3。輸出部14亦可不對檢查影像而對登記影像變更顏色或濃淡值。又,輸出部14亦可將經變更之登記影像顯示於輸出裝置3。輸出部14亦可以文字顯示差異。輸出部14亦可對檢查影像及登記影像其中一方或雙方施加如前述,變更顏色或濃淡值等,可指定差異存在之部分的變更。又,輸出部14亦可將變更後之檢查影像及登記影像排列顯示於輸出裝置3。輸出部14顯示於輸出裝置3之差異形式不限於以上。
如前述,輸出裝置3係例如顯示器或印表機般,電腦系統中一般的輸出裝置。
圖9係顯示登記影像與變形後之檢查影像作為缺陷檢測出之差異圖。
本實施形態中,有下列效果:當檢查對象物之種類、或取得檢查用影像之相機與檢查對象物之間的配置經常被改變時,可減輕檢查用調整之負擔,縮短包含檢查用調整之時間的檢查時間。
其理由在於對準部12對檢查影像或是登記影像進行檢查影像上的檢查對象4、檢查影像上的檢查對象4之大小、方向與射影形變變得相同之變換。又,差異檢測部13檢測變換後之檢查影像與登記影像的差異。因此,登記影像取得時與檢查影像取得時,檢查對象4與攝影裝置2之位置關係雖宜近,但不須相同。藉此,攝影裝置2與檢查對象4之配置不須嚴密調整。且攝影裝置2與檢查對象4之配置即使變化,亦不須校正。
且對準部12使用自檢查對象4之影像抽出之特徵點的座標,算出上述變換之參數。因此,於檢查對象4不須用以對準之標記。且不須用以校正之特別工具。檢查對象4之種類即使變更,亦不須檢查用調整。
且本實施形態之檢查系統100亦可使用於多半以目視檢查,少量多種類之檢查。因此,藉由以檢查系統100進行檢查,亦可抑制少量多種類檢查時進行之目視檢查中有可能發生之失靈導致看漏,或每一檢查者檢查基準不同所導致的品質差異。
其次,參照圖式詳細說明關於本發明第2實施形態。
本實施形態之檢查系統100之構成與圖1之第1實施形態檢查系統100之構成相同。
本實施形態之登記影像記憶部11記憶複數種類檢查對象4之登記影像。
對準部12對於登記影像記憶部11記憶之所有登記影像,進行與攝影裝置2取得之檢查影像之對準。
差異檢測部13對於登記影像記憶部11記憶之所有登記影像,於對準後檢測登記影像與檢查影像之差異。差異檢測部13選擇最小的差異,以選擇之差異為相對於檢查影像之差異。
本實施形態之檢查系統100各構成元素在其他點上,與第1實施形態之賦予同一符號之構成元素相同,故省略說明。
其次,參照圖式詳細說明關於本實施形態之檢查裝置1之動作。
圖10係顯示本實施形態之檢查裝置1由檢查影像檢測檢查對象4之缺陷之動作流程圖。
首先,輸入部10取得檢查影像(步驟S103)。
對準部12在登記影像記憶部11記憶之登記影像中,存在未檢測出與取得的檢查影像之間的差異之登記影像時(步驟S201,Yes),自此等登記影像選擇一張登記影像(步驟S202)。
對準部12對選擇之登記影像,與第1實施形態之對準部12相同,檢測差異(步驟S104、步驟S105、步驟S106)。
對登記影像記憶部11記憶之所有登記影像,檢測登記影像與取得之檢查影像之差異結束時(步驟S201,No),差異檢測部13選擇最小的差異(步驟S203)。
差異檢測部13選擇最小的差異,相當於差異檢測部13將選擇之差異所導出的登記影像加以選擇,作為取得之檢查影像所對應的登記影像。
輸出部14將選擇之差異朝顯示裝置3輸出(步驟S107)。
登記影像與檢查影像之差異大小之算出方法可為:算出影像間差異大小之評估值的已知任意方法。差異檢測部13,例如將前述變換後,相對於登記影像與檢查影像的各畫素,位於相互對應的座標之登記影像畫素與檢查影像畫素的畫素值差之絕對值之和加以算出即可。差異檢測部13以算出之和為差異大小即可。差異檢測部13亦可以前述變換後、登記影像與檢查影像之畫素值的差超過前述閾值S,位於相互對應的座標之登記影像畫素與檢查影像畫素組之數量為差異大小。
本實施形態中,除與第1實施形態相同之效果外,更有可更減輕檢查負擔之效果。且本實施形態中,有下列效果:即使不同種類之檢查對象4以隨機順序混雜,亦可不進行用來辨識種類對各檢查對象4之標記,或伴隨著檢查對象4種類變更之調整而進行檢查。
其理由在於差異檢測部13依由登記影像記憶部11儲存之各登記影像
與檢查影像之差異選擇最小的差異。自與檢查影像之檢查對象4不同種類之檢查對象4之登記影像所導出的差異通常較自與檢查影像之檢查對象4相同種類之檢查對象4之登記影像所導出的差異大。因此,與檢查影像之檢查對象4相同種類之檢查對象4之登記影像若由登記影像記憶部11儲存,差異檢測部13選擇之上述最小的差異即係自與檢查影像之檢查對象4相同種類之檢查對象4之登記影像所導出的差異。因此,檢查時,不須指定登記影像。且檢查對象4之種類改變時,不須進行檢查用調整。
其次,參照圖式詳細說明關於本發明第3實施形態。
本實施形態之檢查系統100之構成與圖1第1實施形態之檢查系統100之構成相同。
惟差異檢測部13不算出影像變換後登記影像與檢查影像畫素值之差異,而自此等影像畫素值算出特徵量。又,差異檢測部13將此特徵量之差作為登記影像與檢查影像之差異輸出予輸出部14。
其次,參照圖式詳細說明關於本實施形態之檢查裝置1之動作。
本實施形態之檢查對象4係平面狀表面上1種類以上既定圖案之圖形。作為如此之圖形,例如有文字。如此之圖形亦可為圓、多角形、線段之組合等文字以外之圖形。
圖3係顯示本實施形態之檢查裝置1根據檢查影像檢測檢查對象4之缺陷之動作流程圖。
本實施形態之檢查裝置1步驟S103至步驟S105之動作與第1實施形態檢查裝置1相同符號步驟之動作相同,故省略說明。
於步驟S106,差異檢測部13自影像變換後登記影像與檢查影像雙方抽
出表示圖形之特徵量。差異檢測部13亦指定表示該圖形位置之座標。表示圖形之特徵量係例如表示圖形形狀之向量。如前述,圖形係例如文字。差異檢測部13例如以檢測出之圖形之重心之座標為圖形位置之座標即可。差異檢測部13例如亦可以檢測出之圖形外接矩形重心之座標,或預先決定之任一頂點之座標為圖形位置座標。
表示登記影像上圖形之特徵量,或該特徵量經抽出之位置座標亦可預先由登記影像記憶部11儲存。此時,差異檢測部13將表示登記影像上圖形之特徵量與該圖形檢測出之位置座標自登記影像記憶部11讀取即可。
其次,差異檢測部13將自登記影像與檢查影像檢測到的圖形中,具有登記影像與檢查影像重疊時,與自另一個影像檢測到的圖形重疊之區域之圖形加以抽出。差異檢測部13對於各有相互重疊區域,自登記影像檢測到的圖形與由檢查影像檢測到的圖形之組合,算出相對於一方圖形區域之面積相互重疊之區域面積之比例。圖形區域亦可為圖形之外接矩形。差異檢測部13使相互重複之面積比例最大,自登記影像抽出之圖形,與由檢查影像抽出之圖形相關聯。
又,差異檢測部13將相互相關聯之兩個圖形特徵量之差,與此等圖形經抽出之位置之座標差加以算出。特徵量若係向量,差異檢測部13將兩個特徵量之間預先定義之距離作為特徵量差算出即可。差異檢測部13例如將以兩個圖形經抽出之位置座標表示之2點間之距離作為座標差算出即可。差異檢測部13作為相關聯之圖形不存在之圖形之特徵量差與位置座標間之距離,設定例如大於後述各閾值之既定值即可。
差異檢測部13對於各圖形,比較相互相關聯之兩個圖形特徵量之距離,與相對於特徵量距離之閾值S2。且差異檢測部13對於各圖形,比較相互相關聯之兩個圖形檢測出之位置座標間之距離,與相對於座標間距離之閾值S3。差異檢測部13將特徵量距離,與兩個圖形檢測出之位置座標間之距離至少一方超過各閾值之圖形作為缺陷檢測。
差異檢測部13例如將表示作為缺陷檢測到的圖形區域之資訊朝輸出部14發送即可。差異檢測部13亦可更將超過閾值之前述任一距離朝輸出部14發送。
輸出部14與第1實施形態相同,以可指定檢測到缺陷之處之形,顯示缺陷之檢測結果。
又,本實施形態之檢測裝置1亦可與第2實施形態之檢測裝置1相同,對於登記影像記憶部11記憶之所有登記影像,檢測登記影像與檢查影像之差異。又,本實施形態之檢測裝置1亦可在檢測出之最小的差異超過閾值時,將該差異作為缺陷輸出。
本實施形態中,有與第1實施形態相同之效果。
其次,參照圖式詳細說明關於本發明第4實施形態。
圖11係顯示本實施形態之檢查裝置1之構成圖。
本實施形態之檢查裝置1包含:登記影像記憶機構11,記憶著:複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點;對準機構12,進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及
差異檢測機構13,檢測該對準後該檢查影像與該登記影像之差異。
圖11係顯示本實施形態之檢查裝置1之構成圖。
其次,參照圖式詳細說明關於第1實施形態之具體構成例。
本構成例之構成與圖1第1實施形態之構成相同。
圖12係顯示本構成例之攝影裝置2與檢查對象4之配置圖。
參照圖12即知,本構成例之攝影裝置2拍攝由檢查台40載置,平面狀之檢查對象4。
圖12之x方向及y方向皆係與檢查台40表面及檢查對象4平行之方向。z方向係檢查台40之表面及檢查對象4之法線方向。檢查對象4與於攝影裝置2內影像投影之影像面之距離為d。相對於檢查台40表面及檢查對象4之法線方向攝影裝置2光軸之偏角以θ與γ表示。只要檢查對象4包含於攝影裝置2景深內,由攝影裝置2拍攝之影像內檢查對象4之像整體呈合焦狀態,距離d、偏角θ與γ可為任何值。
檢查裝置1連接攝影裝置2。檢查裝置1與攝影裝置2藉由USB(Universal Serial Bus)或IEEE1394(The Institute of Eelctrical and Electoronics Engineers)等通用介面連接即可。檢查裝置1亦可使用搭載影像擷取板之電腦構成。此時,檢查裝置1與攝影裝置2藉由可發送影像信號之發送線連接即可。又,檢查裝置1亦可藉由此影像擷取板,將由攝影裝置2發送之影像信號作為經數位化之影像取得。
其次,說明關於檢查鍵盤時之效果。
作為鍵盤檢查方法之一,已知利用遮罩之方法。遮罩可使用於以濃淡
圖案構成之檢查對象之檢查。遮罩係檢查對象之圖案濃淡反轉之圖案之薄片。藉由將遮罩重疊於檢查對象進行使用遮罩之檢查對象之檢查。遮罩對應檢查對象顏色黑的部分之部分透明。如此之遮罩以乙烯基薄片等製作。於無缺陷之檢查對象重疊遮罩時,在遮罩上不出現白色部分。若於檢查對象原來黑色區域有白色缺陷,於該檢查對象重疊遮罩時,在遮罩上會出現白色部分。檢查人將因於檢查對象重疊遮罩而出現之白色部分作為缺陷檢測。
例如,用來檢查背景色為白色,文字色為黑色之鍵盤之遮罩係背景色為黑色,文字部分透明之薄片。
圖13係顯示以遮罩檢測缺陷之檢查結果一例圖。圖13中顯示作為檢查對象之鍵盤圖案、遮罩與重疊遮罩於鍵盤之檢查結果。
圖13鍵盤中,有於應印刷W之處印刷V之缺陷。因於此鍵盤重疊遮罩,在誤將W印刷為V之部分呈白色出現於白色W重疊黑色V之圖形。檢查人將出現白色圖形之處作為缺陷檢測。
然而,重疊遮罩時存在於由遮罩遮蔽的部分之缺陷有時以遮罩檢測會檢測不出缺陷。
圖14係顯示以遮罩檢測缺陷之檢查結果一例圖。圖14所示之鍵盤中,有於應印刷C處印刷O之缺陷。圖14所示之例之情形下,即使於鍵盤重疊遮罩,於缺陷存在處亦不出現白色圖形。因此,檢查人無法檢測缺陷。誤於鍵盤印刷F處印刷E時,以遮罩檢查亦無法檢測出缺陷。
本發明各實施形態之檢查裝置1檢測比較對象影像之差異。因此,本發明各實施形態之檢查裝置1可檢測以遮罩檢查時因被遮罩遮蔽而檢測不出之前述缺陷。
檢查裝置1可分別藉由電腦及控制該電腦之程式、專用硬體,或電腦及控制該電腦之程式與專用硬體之組合實現。
圖15係顯示為實現檢查裝置1而使用之電腦1000之構成一例圖。參照圖15即知,電腦1000包含處理器1001、記憶體1002、記憶裝置1003與I/O(Input/Output)介面1004。且電腦1000可對記錄媒體1005存取。記憶體1002與記憶裝置1003係例如RAM(Random Access Memory)、硬碟等記錄裝置。記錄媒體1005係例如RAM、硬碟等記憶裝置、ROM(Read Only Memory)、可攜式記錄媒體。記憶裝置1003亦可為記錄媒體1005。處理器1001可對記憶體1002與記憶裝置1003讀取與寫入資料或程式。處理器1001可經由I/O介面1004接收例如由攝影裝置2拍攝檢查對象之影像資料。處理器1001可對記錄媒體1005存取。記錄媒體1005中,儲存使電腦1000作為檢查裝置1動作之程式。
處理器1001將由記錄媒體1005儲存,使電腦1000作為檢查裝置1動作之程式裝載於記憶體1002。又,因處理器1001實行裝載於記憶體1002之程式,電腦1000作為檢查裝置1動作。
輸入部10、對準部12、差異檢測部13、輸出部14可藉由例如自記憶程式之記錄媒體1005讀取至記憶體1002,用來實現各部功能之專用程式,與實行該程式之處理器1001實現。且登記影像記憶部11可藉由電腦1000包含之記憶體1002或例如作為硬碟裝置之記憶裝置1003實現。或是,輸入部10、登記影像記憶部11、對準部12、差異檢測部13、輸出部14的一部分或全部亦可藉由實現各部功能之專用電路實現。
以上,雖已參照實施形態說明本發明,但本發明不由上述實施形態限定。熟悉該技藝者可於本發明範圍內對本發明之構成或詳細內容進行可理解之各種變更。
本申請案主張以於2012年9月18日申請之日本申請案特願
2012-204834為基礎之優先權,將其所有揭示導入於此。
【產業上利用性】
依本發明,可適用於檢查印刷有文字或圖形等之平面。本發明亦可適用於鍵盤等快捷鍵之配置檢查等。
1‧‧‧檢查裝置
2‧‧‧攝影裝置
3‧‧‧輸出裝置
4‧‧‧檢查對象
10‧‧‧輸入部
11‧‧‧登記影像記憶部
12‧‧‧對準部
13‧‧‧差異檢測部
14‧‧‧輸出部
100‧‧‧檢查系統
Claims (8)
- 一種檢查裝置,包含:登記影像記憶機構,記憶著:複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點;對準機構,進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及差異檢測機構,檢測該對準後該檢查影像與該登記影像之差異;該登記影像記憶機構記憶自該登記影像抽出之至少既定個數之該特徵點的座標,該對準機構自該檢查影像抽出至少既定個數之該特徵點,對對應自該檢查影像及該登記影像其中一個影像所檢測出之至少既定個數之複數特徵點,自另一個影像抽出之該特徵點進行檢測,依相互相對應之自該檢查影像抽出之該特徵點與自該登記影像抽出之該特徵點之複數組合,使用對於該複數特徵點的座標中,減輕偏離值對該變換參數造成的影響之該特徵點的座標之穩健估計(robust estimation),算出該變換參數。
- 如申請專利範圍第1項之檢查裝置,其中該登記影像記憶機構記憶包含1種類以上該檢查對象之該登記影像之複數該登記影像,與該登記影像之各複數該特徵點組,該對準機構對於由該登記影像記憶機構儲存之各複數該登記影像,對準該登記影像與該檢查影像,該差異檢測機構對於該對準後各該登記影像與該檢查影像之組合,檢測該差異,將檢測之各該差異中,表示該差異大小之值最小之該差異,作 為對於該檢查影像之該差異而檢測出。
- 如申請專利範圍第1或2項之檢查裝置,其中該差異檢測機構由該檢查影像至少一部分區域,與對應該區域之該登記影像區域,分別算出特徵量,將算出之特徵量的差作為該差異而檢測出。
- 如申請專利範圍第1項之檢查裝置,其中該對準機構產生以既定閾值使該檢查影像二值化之二值影像,對於該二值影像其中一方或雙方之畫素值,抽出作為具有該畫素值之畫素連續之區域的連結區域,將該連結區域之重心點作為該特徵點而抽出。
- 一種檢查系統,包含:拍攝該檢查影像之攝影裝置;及如申請專利範圍第1項之檢查裝置與自該檢查裝置接收並顯示該差異之顯示裝置。
- 一種檢查方法,將複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點,記憶於登記影像記憶機構;進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及檢測該對準後該檢查影像與該登記影像之差異;以該登記影像記憶機構記憶自該登記影像抽出之至少既定個數之該特 徵點的座標,自該檢查影像抽出至少既定個數之該特徵點,對對應自該檢查影像及該登記影像其中一個影像所檢測出之至少既定個數之複數特徵點,自另一個影像抽出之該特徵點進行檢測,依相互相對應之自該檢查影像抽出之該特徵點與自該登記影像抽出之該特徵點之複數組合,使用對於該複數特徵點的座標中,減輕偏離值對該變換參數造成的影響之該特徵點的座標之穩健估計(robust estimation),算出該變換參數。
- 一種電腦可讀取記錄媒體,記錄有檢查程式,該檢查程式使電腦實現以下機構:登記影像記憶機構,記憶著:複數之形狀為平面之檢查對象中所拍攝的無缺陷之該檢查對象的影像、即登記影像;與自該登記影像抽出之符合既定條件之點、即特徵點;對準機構,進行對準,該對準包含:從與拍攝該登記影像的拍攝方向不同之方向拍攝該檢查對象的影像、即檢查影像,抽出複數該特徵點;算出表示一射影變換之變換參數,該射影變換根據該檢查影像之複數該特徵點及該登記影像之複數該特徵點,對於像包含於該檢查影像及該登記影像雙方之該檢查對象上的複數點,使該檢查影像及該登記影像其中一個影像上該點之像的座標,與該另一個影像上該點之像的座標一致;及以該變換參數對該一個影像進行該射影變換;及差異檢測機構,檢測該對準後該檢查影像與該登記影像之差異;該登記影像記憶機構記憶自該登記影像抽出之至少既定個數之該特徵點的座標,該對準機構自該檢查影像抽出至少既定個數之該特徵點,對對應自該檢查影像及該登記影像其中一個影像所檢測出之至少既定個數之複數特徵點,自另一個影像抽出之該特徵點進行檢測,依相互相對應之自該檢查影像抽出之該特徵點與自該登記影像抽出之該特徵點之複數組合,使用對於該複數特徵點的座標中,減輕偏離值對該變換參數造成的影響之該特徵點的座標之穩健估計(robust estimation),算出該變換參數。
- 如申請專利範圍第7項之電腦可讀取記錄媒體,其中該檢查程式使電腦實現以下機構:該登記影像記憶機構,記憶包含1種類以上該檢查對象之該登記影像之複數該登記影像,與該登記影像之各複數該特徵點組;該對準機構,對於由該登記影像記憶機構儲存之各複數該登記影像,對準該登記影像與該檢查影像;及該差異檢測機構,對於該對準後各該登記影像與該檢查影像之組合,檢測該差異,將檢測之各該差異中,表示該差異大小之值最小之該差異,作為對於該檢查影像之該差異而檢測出。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012204834 | 2012-09-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201415010A TW201415010A (zh) | 2014-04-16 |
TWI500925B true TWI500925B (zh) | 2015-09-21 |
Family
ID=50340850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102131561A TWI500925B (zh) | 2012-09-18 | 2013-09-02 | Check the device, check the method and check the program |
Country Status (2)
Country | Link |
---|---|
TW (1) | TWI500925B (zh) |
WO (1) | WO2014045508A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI627588B (zh) * | 2015-04-23 | 2018-06-21 | 日商思可林集團股份有限公司 | 檢查裝置及基板處理裝置 |
CN106645209B (zh) * | 2016-12-29 | 2020-06-02 | 百富计算机技术(深圳)有限公司 | 一种按键丝印的检测方法及系统 |
US10147178B2 (en) * | 2017-01-12 | 2018-12-04 | Nanya Technology Corporation | Method of recognizing wafer |
JP7077807B2 (ja) * | 2018-06-12 | 2022-05-31 | オムロン株式会社 | 画像検査システム及びその制御方法 |
CN109738450B (zh) * | 2019-01-09 | 2021-06-29 | 合肥联宝信息技术有限公司 | 笔记本键盘的检测方法和装置 |
TWI702493B (zh) * | 2019-09-09 | 2020-08-21 | 英業達股份有限公司 | 插槽檢測方法及系統 |
JP7354790B2 (ja) * | 2019-11-25 | 2023-10-03 | オムロン株式会社 | 画像検査装置 |
JP7555310B2 (ja) * | 2021-07-14 | 2024-09-24 | 株式会社日立ハイテク | 試料観察装置、試料観察方法、およびコンピュータシステム |
TWI810623B (zh) * | 2021-08-04 | 2023-08-01 | 中國信託商業銀行股份有限公司 | 文件校對方法及裝置、電腦可讀取的記錄媒體 |
CN116309573B (zh) * | 2023-05-19 | 2023-07-25 | 成都工业学院 | 一种牛奶包装盒印刷字符的缺陷检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201234134A (en) * | 2010-12-14 | 2012-08-16 | Nikon Corp | Surface inspection apparatus, method for inspecting surface, exposure system, and method for producing semiconductor device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1114324A (ja) * | 1997-06-27 | 1999-01-22 | Hitachi Ltd | パターン欠陥検査方法及びその装置 |
JPH11183393A (ja) * | 1997-10-13 | 1999-07-09 | Mitsubishi Electric Corp | パターン欠陥検査装置及びパターン欠陥検査方法 |
JP4121605B2 (ja) * | 1998-03-10 | 2008-07-23 | 大日本印刷株式会社 | 撮像画像複合歪み検出装置 |
JP2000082141A (ja) * | 1998-09-07 | 2000-03-21 | Dainippon Printing Co Ltd | 撮像画像幾何歪み検出装置 |
JP2000105199A (ja) * | 1998-09-29 | 2000-04-11 | Minolta Co Ltd | 円筒容器の印刷検査方法 |
JP5028014B2 (ja) * | 2006-02-08 | 2012-09-19 | 株式会社日立ハイテクノロジーズ | パターン検査方法及びその装置 |
JP5207820B2 (ja) * | 2008-05-13 | 2013-06-12 | 株式会社Pfu | 図面情報管理装置および照合検査方法 |
JP5441372B2 (ja) * | 2008-07-28 | 2014-03-12 | 株式会社ブリヂストン | 外観検査装置、及び被検査物の外観検査方法 |
JP2010286256A (ja) * | 2009-06-09 | 2010-12-24 | Jfe Techno Research Corp | 印刷物の検査方法 |
-
2013
- 2013-07-31 WO PCT/JP2013/004625 patent/WO2014045508A1/ja active Application Filing
- 2013-09-02 TW TW102131561A patent/TWI500925B/zh active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201234134A (en) * | 2010-12-14 | 2012-08-16 | Nikon Corp | Surface inspection apparatus, method for inspecting surface, exposure system, and method for producing semiconductor device |
Also Published As
Publication number | Publication date |
---|---|
WO2014045508A1 (ja) | 2014-03-27 |
TW201415010A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI500925B (zh) | Check the device, check the method and check the program | |
CN106856003B (zh) | 轴类工件侧表面缺陷检测图像的展开校正方法 | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4001162B2 (ja) | 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置 | |
JP5051493B2 (ja) | 三次元計測用マーカとこれを用いた三次元計測方法 | |
JP5388921B2 (ja) | 3次元距離計測装置及びその方法 | |
JP5015721B2 (ja) | 欠陥検査装置、欠陥検査プログラム、図形描画装置および図形描画システム | |
JP5773436B2 (ja) | 情報端末装置 | |
JP2005072888A (ja) | 画像投影方法、及び画像投影装置 | |
JP2017032548A (ja) | 自動工業検査における3dビジョンの使用 | |
JP2015194477A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2011198330A (ja) | 3次元位置合わせにおける照合方法およびそのプログラム | |
WO2014156429A1 (ja) | 目視照合支援装置およびその制御方法 | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
JP5274173B2 (ja) | 車両検査装置 | |
Wang et al. | Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production. | |
US20130148912A1 (en) | Band-based patch selection with a dynamic grid | |
CN115375608A (zh) | 检测方法及装置、检测设备和存储介质 | |
JP7470511B2 (ja) | 情報処理システム、情報処理方法、情報処理プログラム | |
TW201234235A (en) | Method and system for calculating calibration information for an optical touch apparatus | |
JP5486403B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2021124330A (ja) | 液面検出方法及び液面検出装置 |