TWI638157B - Inspection device and inspection method - Google Patents

Inspection device and inspection method Download PDF

Info

Publication number
TWI638157B
TWI638157B TW105143296A TW105143296A TWI638157B TW I638157 B TWI638157 B TW I638157B TW 105143296 A TW105143296 A TW 105143296A TW 105143296 A TW105143296 A TW 105143296A TW I638157 B TWI638157 B TW I638157B
Authority
TW
Taiwan
Prior art keywords
image data
inspection
data
unit
output
Prior art date
Application number
TW105143296A
Other languages
English (en)
Other versions
TW201821788A (zh
Inventor
宮澤一之
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201821788A publication Critical patent/TW201821788A/zh
Application granted granted Critical
Publication of TWI638157B publication Critical patent/TWI638157B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896—Circuits specially adapted for system specific signal conditioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

在習知檢查裝置中，對每一像素進行運算及判定異常有無，必須利用所有像素進行高精確度定位，因此會招致導入成本增加及電腦計算時間增加的問題。
本發明構成為設置有：解析部(12a)，藉由將不含異常的對象物資料進行減少資料次元的次元壓縮，算出表示不含異常的對象物資料的性質之參數，使用參數次元壓縮檢查對象物資料；復原部(14a)，產生復原利用解析部(12a)次元壓縮的檢查對象物資料之復原資料；判定部(14a)，依據檢查對象物資料與復原資料的差分大小，輸出顯示檢查對象物是否異常之判定結果；及輸出部(15)，輸出判定部(14a)所輸出的判定結果。

Description

檢查裝置及檢查方法
本發明為有關一種從已取得的對象物資料，檢查對象物之缺損、錯誤配置、缺陷等異常有無之檢查裝置及檢查方法者。
利用攝像機拍攝對象物，從已取得的影像資料由機械自動檢查異常有無乙事，對於例如在工業製品的製造過程所進行之目視檢查或外觀檢查的自動化或省力化，其為重要的技術。
在習知，對象物之缺損、錯誤配置、缺陷等異常有無的檢查，例如在專利文獻1的檢查裝置中，記憶多個拍攝對象物後取得的影像資料，從該多個影像資料對於具有同一座標的每一像素算出判定對象物無異常的亮度值範圍，設定為對象物的異常有無之檢查基準。檢查裝置藉由對於具有同一座標之每一像素，判定拍攝檢查對象物後取得的影像資料之亮度值是否為已設定之判定對象物無異常之亮度值範圍內，檢查對象物之缺損、錯誤配置、缺陷等異常有無。
先前技術文獻 專利文獻
專利文獻1：日本特開2013-32995號公報
然而，在上述習知檢查裝置中，對於每一像素算出判定對象物無異常之亮度值範圍，對於每一像素判定對象物的缺損、錯誤配置、缺陷等異常有無以進行檢查。為此，拍攝時之對象物與攝像機的位置關係通常是固定的，對於所有像素必須要進行高精確度定位的處理。伴隨著檢查裝置的導入，也必須導入為了對於所有像素進行高精確度定位之用以固定攝像機及對象物之夾具、定位裝置等。因此，會招致導入成本增加及電腦計算時間增加之問題。
本發明為用以解決上述問題而開發出來者，與習知檢查裝置相比，以提供一種緩和對象物與攝像機的確實固定、及對於拍攝對象物而取得的影像資料之每一像素進行高精確度定位之制約，同時檢查對象物的缺損、錯誤配置、缺陷等異常有無之檢查裝置及檢查方法為目的。
關於本發明之檢查裝置，其包括：解析部，藉由將不含異常的對象物資料進行減少資料次元的次元壓縮，算出表示不含異常的對象物資料之性質的參數，使用參數次元壓縮檢查對象物資料；復原部，產生復原利用解析部次元壓縮的檢查對象物資料之復原資料；判定部，依據檢查對象物資料與復原資料的差分大小，輸出顯示檢查對象物是否異常之判定結果；及輸出部，輸出判定部所輸出的判定結果。
根據本發明，由於藉由將不含異常的對象物資料進行減少資料次元的次元壓縮，算出表示不含異常的對象物資料之性質的參數，使用參數次元壓縮檢查對象物資料，產生復原次元壓縮後的檢查對象物資料之復原資料，依據檢查對象物資料與復原資料的差分大小，輸出顯示檢查對象物是否異常之判定結果，與習知的檢查裝置相比，可以緩和對象物與攝像機的確實固定、及對於拍攝對象物而取得的影像資料之每一像素進行高精確度定位之制約，同時檢查對象物的缺損、錯誤配置、缺陷等異常有無。
1、200、300‧‧‧檢查裝置
2‧‧‧攝像機
3‧‧‧對象物
4‧‧‧輸出/輸入裝置
10‧‧‧控制部
11‧‧‧輸入部
12a、12b‧‧‧解析部
13a、13b‧‧‧記憶部
14a、14b、14c‧‧‧判定部
15‧‧‧輸出/輸入部
16‧‧‧補正部
100‧‧‧輸出/輸入IF
101‧‧‧處理器
102‧‧‧記憶體
103‧‧‧記憶媒體
104‧‧‧匯流排
圖1為有關本發明實施形態1之包含檢查裝置之檢查系統的機能方塊圖。
圖2為有關本發明實施形態1之檢查裝置的硬體構成圖。
圖3為顯示有關本發明實施形態1之檢查裝置之學習模式的動作之流程圖。
圖4為主成分分析之概念圖。
圖5為顯示有關本發明實施形態1之檢查裝置之檢查模式的動作之流程圖的一部分。
圖6為顯示有關本發明實施形態1之檢查裝置之檢查模式的動作之流程圖的一部分。
圖7為以印刷基板為對象物，檢查基板上是否無異常之例示。
圖8為構成檢查對象物之基板的一部分有缺損的情況之例示。
圖9為臨界值處理的結果。
圖10為用以限定檢查對象區域之2次元光罩的例示。
圖11為輸出/輸入裝置在其構成包含顯示器的情況下，輸出/輸入部對於輸出/輸入裝置進行指示之顯示內容的例示。
圖12為輸出/輸入裝置在其構成中包含顯示器的情況下，輸出/輸入部對於輸出/輸入裝置進行指示之顯示內容的其他例示。
圖13為輸出/輸入裝置在其構成中包含顯示器的情況下，輸出/輸入部對於輸出/輸入裝置進行指示之顯示內容的另一例示。
圖14為有關本發明實施形態2之包含檢查裝置之檢查系統的機能方塊圖。
圖15為顯示有關本發明實施形態2之檢查裝置之學習模式的動作之流程圖。
圖16為將神經作為多輸入1輸出的節點進行模式化的圖面。
圖17為沙漏型神經網路的例示。
圖18為顯示變更自我編碼器的隱藏層總數時之樣態的一例。
圖19為顯示有關本發明實施形態2之檢查裝置之檢查模式的動作之流程圖的一部分。
圖20為顯示有關本發明實施形態2之檢查裝置之檢查模 式的動作之流程圖的一部分。
圖21為有關本發明實施形態3之包含檢查裝置之檢查系統的機能方塊圖。
圖22為顯示有關本發明實施形態3之檢查裝置之檢查模式的動作之流程圖的一部分。
圖23為顯示有關本發明實施形態3之檢查裝置之檢查模式的動作之流程圖的一部分。
實施形態1.
圖1為有關本發明實施形態1之包含檢查裝置1之檢查系統的機能方塊圖。
檢查系統，包括：檢查對象物3之檢查裝置1、拍攝對象物3之攝像機2、及檢查內容的輸入與輸出檢查結果之輸出/輸入裝置4。檢查裝置1接收利用攝像機2所拍攝之對象物3的影像資料作為輸入資料，進行解析後將其結果傳送到輸出/輸入裝置4。
檢查裝置1，包括：控制各部之控制部10、輸入影像資料之輸入部11、解析從輸入部11所輸入的影像資料之解析部12a、記錄已解析的結果之記憶部13a、從已解析的結果與已取得的影像資料，輸出顯示對象物3是否異常之判定結果之判定部14a、及輸出判定部14a所輸出的判定結果之輸出/輸入部15。
控制部10藉由與輸入部11、解析部12a、記憶部13a、判定部14a、與輸出/輸入部15傳送/接收指示，控制各 部。
輸入部11從攝像機2接收對象物3的影像資料。影像資料為對象物3資料之一例，但不限於影像，顯示波形、立體等資料亦可。又，在實施形態1中，雖然前提是輸入的影像資料為數位資料，但是類比資料亦可。
解析部12a依據從控制部10所傳送的指示，切換執行2個不同的動作模式。其中，所謂2個動作模式為學習模式與檢查模式。在學習模式中，使用1張以上之不含異常的正常對象物3影像資料，藉由利用將不含異常的正常對象物3影像資料進行減少對象物3影像資料的次元之次元壓縮，算出表示不含異常的正常對象物3資料之性質的參數，學習正常狀態是怎樣的狀態。因此，在學習模式中，檢查裝置1不進行對象物3的異常有無之檢查。異常有無之檢查是利用在學習模式結束後所實施之檢查模式予以進行。其中，即使不含異常的正常對象物3影像資料為多個，但算出來的表示正常對象物3資料之性質的參數只有1個。又，在學習模式中，前提是對象物3為不含異常之正常狀態。但是，若對象物3為相同種類的物體時，從多個不同物體取得影像資料亦可。在以下，將利用拍攝不含異常的對象物3而取得的影像資料記載為正常影像資料。
在檢查模式中，將檢查對象物3影像資料進行與在學習模式學習之算出表示正常對象物3資料的性質之參數時所進行的次元壓縮相同之次元壓縮。
記憶部13a依據來自控制部10的指示，記憶學習結果與讀出學習結果，傳送到解析部12a。其中，讀出的學習 結果為與在學習模式中使用的次元壓縮方法對應之學習結果。
判定部14a利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3影像資料，依據經復原後的影像資料也就是復原資料與檢查對象物3影像資料的差分大小，將顯示檢查對象物3是否異常之判定結果輸出到輸出/輸入部15。又，判定部14a為結合復原部與判定部之構件的一例。
輸出/輸入部15依據來自控制部10的指示，將顯示學習的進度狀況等資訊從輸出/輸入裝置4輸出到外部。又，其中，雖然預想作業員會在外部確認輸出/輸入裝置4，但是不一定如此，即使不須特意透過作業員將訊號輸出到外部的控制裝置等亦可。又，輸出/輸入部15依據來自控制部10的指示，將從判定部14a接收到的判定結果從輸出/輸入裝置4輸出到外部。又，其中，雖然預想作業員會在外部確認輸出/輸入裝置4，但是不一定如此，即使不須特意透過作業員將訊號輸出到外部的控制裝置等亦可。又，輸出/輸入部15為輸出部的一例，在實施形態1中，於輸出部進一步也包括輸入部。
攝像機2藉由拍攝對象物3並保存為影像資料而取得對象物3影像資料。攝像機2將對象物3影像資料傳送到檢查裝置1。攝像機2為一例，只要是能夠取得對象物3資料不限於此。
輸出/輸入裝置4輸入檢查裝置1的檢查內容，輸出檢查裝置1所送出的檢查結果。考量輸出/輸入裝置4為利用例如顯示器、揚聲器、鍵盤、滑鼠等予以構成。又，顯示器為顯示部的一例。
圖2為有關本發明實施形態1之檢查裝置1的硬體構成圖。使用圖2，針對有關本發明實施形態1之檢查裝置1的構成進行說明。
在實施形態1中，檢查裝置1利用電腦予以構成。構成檢查裝置1的電腦，包括：匯流排104；傳送/接收資料之輸出/輸入介面100；記憶體102；記憶程式、學習資料等之記憶媒體103；及讀入、執行裝載到記憶體102之記憶媒體103的程式之處理器101之所謂的硬體。又，在以下，輸出/輸入介面100記載為輸出/輸入IF100。
匯流排104為電氣連接各裝置之間，進行資料的交換之訊號路徑。
輸出/輸入IF100為傳送/接收資料。例如當輸出/輸入IF100接收到來自輸出/輸入裝置4之檢查裝置1的啟動訊號與設定訊號時，傳送到控制部10。又，例如當輸出/輸入IF100接收到從控制部10對解析部12a的指示訊號時，將指示訊號傳送到解析部12a。輸入部11、與輸出/輸入部15都是藉由輸出/輸入IF100予以實現。
記憶體102的機能是作為裝載記憶在記憶媒體103的程式之工作區。記憶體102例如是RAM(Random Access Memory；隨機存取記憶體)。
記憶媒體103記憶實現學習模式程式、檢查模式程式的機能之程式。又，記憶媒體103記憶學習資料等。記憶媒體103例如是ROM(Read Only Memory；唯讀記憶體)、快閃記憶體、或是HDD(Hard Disk Drive；硬碟裝置)。記憶媒體103 也記憶OS(Operating System；作業系統)。記憶部13a藉由記憶媒體103予以實現。
處理器101透過匯流排104與其他裝置連接，控制此等其他裝置及各部。處理器101讀入、執行裝載到記憶體102之記憶媒體103的程式。處理器101將記憶在記憶媒體103的OS之至少一部分裝載到記憶體102，一邊執行OS，一邊執行程式。處理器101為進行處理的IC(Integrated Circuit；積體電路)。處理器101例如是CPU(Central Processing Unit；中央處理單元)。控制部10、解析部12a、判定部14a都是藉由處理器101讀入、執行裝載到記憶體102之記憶媒體103的程式予以實現。
又，顯示各裝置的結果之資訊、資料、訊號值、變數值等記憶在記憶體102、記憶媒體103、或是處理器101內的暫存器或快取記憶體。
又，記憶體102與記憶媒體103不是分開的裝置而為同一裝置亦可。
再者，將程式記憶在磁碟、軟碟、光碟、壓縮光碟、DVD(Digital Versatile Disc；數位多功能影音光碟)之所謂可攜式記錄媒體亦可。
其次，針對有關本發明實施形態1之檢查裝置1的動作進行說明。
圖3為顯示有關本發明實施形態1之檢查裝置1之學習模式的動作之流程圖。使用圖3，在以下說明檢查裝置1之學習模式的動作。
在步驟S10中，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收啟動訊號及設定訊號。接著，依據該設定訊號將指示傳給輸入部11。輸入部11從攝像機2接收對象物3的正常影像資料。此時，接收正常影像資料的時點例如像是1秒30次之預先決定亦可，依據來自控制部10的指示決定亦可。控制部10將學習模式的處理開始之指示傳給解析部12a。解析部12a藉由從記憶體102讀出裝載到記憶體102之記憶媒體103之與學習模式對應的程式，並利用處理器101予以執行而切換到學習模式。解析部12a從輸入部11接收攝像機3所拍攝之對象物3的正常影像資料。
在步驟S11中，解析部12a判定是否進一步接收正常影像資料、或是結束正常影像資料的接收。其中，正常影像資料接收的結束判定由解析部12a決定亦可，依據來自控制部10的指示決定亦可。在解析部12a決定的情況下，考量例如在已接收到的正常影像資料之張數已達預先指定的張數之時點就結束正常影像資料的接收。預先指定的張數例如是100張、1000張等。依據來自控制部10的指示決定之情況下，考量例如控制部10經由輸出/輸入部15從輸出/輸入裝置4接收正常影像資料的接收結束指示，將其傳送到解析部12a。
在步驟S12中，解析部12a依據步驟S11的判定結果回到正常影像資料的接收、或是朝下個步驟前進。在正常影像資料接收結束判定的結果，判斷為進一步需要正常影像資料的接收之情況，成為步驟S12：NO，再次回到步驟S10。在判定為正常影像資料接收結束之情況，成為步驟S12：YES， 朝下個步驟前進。
在步驟S13中，解析部12a使用接收到的正常影像資料進行次元壓縮。其中，所謂次元壓縮意指將3次元立體資料等高次元資料轉換為低次元資料乙事。解析部12a在學習模式中使用正常影像資料進行學習，獲得正常影像資料最佳的資料轉換方法。
就次元壓縮方法而言，主成分分析、線形判別分析、典型(正準)相關分析、離散餘弦轉換、隨機投影、根據神經網路之自我編碼器等為悉知的。在此等之中，就線形的次元壓縮方法而言主成分分析為最常使用的方法之一。以下，針對使用主成分分析的情況進行說明。
所謂主成分分析，從分散在多次元空間之多個學習用正常影像資料，求出顯示分布特徵之低次元的空間之方法。該低次元的空間稱為部分空間。當將步驟S10接收到的多個正常影像資料的像素值直接繪製在空間時，固定分布在極低次元的部分空間之情況為多。
圖4為主成分分析之概念圖。如圖4所示，例如分布在3次元空間的正常影像資料顯示為侷限在面之中的集合。在主成分分析中，求出顯示該集合的特徵之如圖4所示的2次元平面。其中，所謂次元並不具有物理性意義，其為資料所包含的要素者。換言之，所謂次元數為包含在資料之要素個數者。因此，1像素=1次元，例如當有縱軸10像素、橫軸10像素之影像資料時，因為該影像資料具有10×10等於100個像素，形成「100次元的資料」。也就是說，以100次元空間中 的1個點予以表示。圖4為將主成分分析可視化的方式以3次元圖示之模式圖。圖4之一個個楕圓為與1張影像資料對應。在圖4中，由於以3次元表示，影像資料為3像素的影像資料。在該例示中，將實際上分布在3次元的空間之影像資料以2次元的部分空間表示，也就是顯示次元壓縮的樣態。
將步驟S10接收到的正常影像資料總數為N，每張正常影像資料的像素數總數為K。例如N值為100、1000等，若正常影像資料的尺寸為32像素×32像素時K值為1024，若為640像素×640像素時K值為409600等。此時，當將正常影像資料的張數為n，正常影像資料xn為向量可以式(1)予以表示。但是，T為轉置向量。
[數1] x n =(x n1 ,x n2 ,…,x nK ) T ,n=1,2,…,N‧‧‧(1)
其次，利用式(2)、式(3)求出該平均向量M與變異數共變異數矩陣S。
在主成分分析中，對於正常影像資料之空間中的分布，通過成為平均值之點，求出寬幅最大方向的直線也就是第1主成分。其次，求出與該第1主成分正交且通過平均之寬 幅第2大方向的第2主成分之直線。如此持續地求出主成分。所謂通過平均之寬幅大的方向，與求出變異數共變異數矩陣S的固有向量之問題相同。
換言之，使用計算出來的變異數共變異數矩陣S，求出滿足式(4)之固有值λj與固有向量uj。其中，j為次元個數。
[數4] Su j =λ j u j ‧‧‧(4)
當從固有值λj為大者選出d個與其對應之固定向量uj時，求出d次元的主成分(u1、u2、...、ud)。所謂固有值λj為大者，表示主成分分析之中主要的成分。藉由抽出主要的成分依序排序主成分分析的重要參數。但是，d≦K，一般而言d比K小很多。uj稱為第j主成分。主成分相互正交，也被稱為基底。d次元的主成分(u1、u2、...、ud)之值為表示對象物3資料的性質之參數的一例。
次元壓縮前之原本的正常影像資料可以利用該主成分的線形結合予以表示。藉由採用到d次元，捨去除此之外也就是d+1次元以上，可以將原來是K次元的正常影像資料壓縮成d次元。
其中，d值為能夠影響有關實施形態1之檢查裝置1的性能之重要參數。藉由適當設定d值，可以只擷取出在步驟S10接收到之正常影像資料共同出現的重要成分。另一方面，可以排除在相同種類的對象物3間的誤差，由於拍攝時點不同造成之影像資料的誤差、攝像機的雜訊等不要成分。
但是，當d值設定過小時會使重要的成分被排除， 又，當d值設定過大時會殘留下不要的成分。
考量d值例如是依據來自控制部10的指示予以決定。在該情況下，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收d值，傳送到解析部12a。
又，解析部12a讀出記憶在記憶體102或記憶媒體103之d值予以使用亦可。在該情況下預先記憶的d值考量設定為例如是影像資料的像素數總數K之10分之1程度、5分之1程度等。
又，解析部12a也考量依據學習用的正常影像資料之性質適應性決定d值。在該情況下，使用式(5)所計算的累積貢獻率P為有效的。
累積貢獻率P為表示藉由將使用直至d次元的成分進行次元壓縮前之原本正常影像資料所具有的資訊能夠表現特徵到哪種程式之指標，在解析部12a中藉由求出P值超過臨界值之最小d值，可以進行因應正常影像資料的性質之適當的次元壓縮。
對於累積貢獻值P之臨界值考量依據來自控制部10之指示予以決定。在該情況下，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收臨界值，傳送到解析部12a。
又，解析部12a讀出記憶在記憶體102或記憶媒 體103之臨界值予以使用亦可。在該情況下預先記憶的臨界值考量設定為例如80、100等。
回到圖3，在步驟S14中，進行次元壓縮後，解析部12a將d次元的主成分(u1、u2、...、ud)作為已學習正常影像資料的結果也就是表示對象物3資料的性質之參數，傳送到記憶部13a。記憶部13a依據來自控制部10的指示，將從解析部12a所輸出的學習結果之表示對象物3資料的性質之參數保存在記憶媒體103。又，雖然記憶部13a是依據來自控制部10的指示，將從解析部12a所輸出的學習結果之表示對象物3資料的性質之參數保存在記憶媒體103，但是保存處為記憶體102亦可。
學習模式的情況下，控制部10在解析部12a的處理結束後，對輸出/輸入部15傳給處理開始的指示。輸出/輸入部15依據來自控制部10的指示，將表示學習的進度狀等資訊從輸出/輸入裝置4輸出到外部。又，其中，雖然預想作業員會在外部確認輸出/輸入裝置4，但是不一定如此，即使不須特意透過作業員將訊號輸出到外部的控制裝置等亦可。
圖5為顯示有關本發明實施形態1之檢查裝置1之檢查模式的動作之流程圖的一部分。使用圖5，在以下說明檢查裝置1之檢查模式的動作。
在步驟S20中，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收啟動訊號及設定訊號。接著，依據該設定訊號將指示傳給輸入部11。輸入部11從攝像機2接收對象物3的檢查影像資料。此時，接收影像資料的時點例如是1秒 30次，預先決定亦可，依據來自控制部10的指示予以決定亦可。控制部10對解析部12a傳給檢查模式的處理開始指示。解析部12a根據從記憶體102讀出裝載到記憶體102之記憶媒體103的對應檢查模式之程式，並利用處理器101予以執行，而切換成檢查模式。解析部12a從輸入部11接收攝像機2所拍攝的對象物3的影像資料。又，對象物3的檢查影像資料為檢查對象物資料之一例。
在步驟S21中，解析部12a判定進一步接收影像資料、或是結束影像資料的接收。其中，影像資料接收的結束判定由解析部12a決定亦可，依據來自控制部10的指示決定亦可。在由解析部12a決定的情況下，考量例如在接收到的影像資料張數已達預先指定的張數之時點就結束影像資料的接收。預先指定的張數，例如是1張、10張等。在依據來自控制部10的指示決定的情況下，考量例如控制部10經由輸出/輸入部15從輸出/輸入裝置4接收影像資料的接收結束指示，再將其傳送到解析部12a。
在步驟S22中，解析部12a依據步驟S21的判定結果，回到影像資料的接收、或是朝下個步驟前進。在影像資料接收結束判定的結果，判斷為進一步需要影像資料的接收之情況，成為步驟S22：NO，再回到S20。在判斷為影像資料取得結束的情況，成為步驟S22：YES，朝下個步驟前進。
在步驟S23中，解析部12a為了讀出在學習模式所學習的結果，而對控制部10傳送讀出要求。記憶部13a依據來自控制部10的指示，從記憶媒體103讀出必要的學習結 果，輸入到解析部12a。其中，讀出的學習結果為與在學習模式使用的次元壓縮方法步驟S13對應之學習結果。也就是，在實施形態1中，因為使用主成分分析作為例示，因此其為讀出表示主成分之向量，也就是d次元的主成分(u1、u2、...、ud)之值的學習結果。
在步驟S24中，解析部12a依據讀出的學習結果，進行接收到的檢查影像資料之次元壓縮。次元壓縮的方法為與在學習模式使用的次元壓縮方法步驟S13對應之次元壓縮的方法。由於在學習模式中可以得到表示主成分之向量，也就是d次元的主成分(u1、u2、...、ud)之值，因此藉由將檢查影像資料投影成d次元的向量進行次元壓縮。解析部12a將檢查影像資料、與次元壓縮檢查影像資料後的結果也就是向量，傳送到判定部14a。其中，A為下個處理，在之後詳細敘述。
圖6為顯示有關本發明實施形態1之檢查裝置1之檢查模式的動作之流程圖的一部分。使用圖6，在以下說明檢查裝置1之檢查模式的接續動作。
在步驟S30中，作為步驟S24之後之A接續處理，控制部10在解析部12a的處理結束後，對判定部14a傳給處理開始的指示。判定部14a依據來自控制部10的指示，從記憶體102讀出裝載在記憶體102之記憶媒體103的程式並利用處理器101予以執行。判定部14a首先將從解析部12a接收到之次元壓縮檢查影像資料後的結果也就是向量作為影像資料進行復原。其中，復原影像資料的方法為進行與步驟S24的次元壓縮所使用的方法相同的復原。換言之，在實施形態1中， 使用主成分分析進行復原。
在次元壓縮使用主成分分析的情況下，由於將接收到的檢查影像資料進行次元壓縮的結果也就是向量，以如圖4所示之低次元的部分空間予以表示，因此藉由將此等投影在與原本影像資料相同次元的原本空間，可以進行影像資料的復原。
在步驟S31中，判定部14a計算復原後的影像資料與檢查影像資料的差分。此時的差分為對於每一像素計算差分。又，差分為絕對值差分亦可。其中，在以下將復原後的影像資料記載為復原資料。
圖7為以印刷基板為對象物3，檢查基板上是否無異常之例示。圖7之左圖為檢查影像資料，中央圖為復原資料，右圖為表示檢查影像資料與復原資料的差分之資料。在右圖之表示檢查影像資料與復原資料的差分之資料中，越黑表示差分越小，越白表示差分越大。現在，若成為檢查對象物3之基板為正常的情況下，即使進行次元壓縮也可以復原出與檢查影像資料大致相同的影像資料。此為由於在學習模式中先學習有效顯示正常影像資料的特徵之方法，即使在檢查模式中，若檢查對象物3為正常時，與學習所使用之正常影像資料極類似的影像資料成為檢查影像資料。
因此，如圖7所示，即使計算出復原資料與檢查影像資料的差分，涵蓋整個影像資料差分值也是大致為0。
另一方面，在檢查對象物3有異常的情況下，當使用以正常影像資料所學習的結果進行次元壓縮時，與正常影 像資料有明顯不同的部分就無法正確復原。
圖8為在構成檢查對象物3之基板的一部分有缺損的情況之例示。圖8的左圖為檢查影像資料，中央圖為復原資料，右圖為表示檢查影像資料與復原資料的差分之資料。在右圖之表示檢查影像資料與復原資料的差分之資料中，越黑表示差分越小，越白表示差分越大。在該情況下，針對正常部分在復原資料中正確復原，但是針對缺損部分由於依據在學習模式所使用的正常影像資料予以復原，因此無法正確復原。
因此，如圖8所示，當計算復原資料與檢查影像資料的差分時，只有在成為異常部分之與正常影像資料的不同處，使差分變大。
回到圖6，在步驟S32中，判定部14a依據復原資料與檢查影像資料的差分，將顯示檢查影像資料是否存在異常之判定結果輸出到輸出/輸入部15。判定部14a對於復原資料與檢查影像資料的差分進行臨界值處理，在差分值未滿臨界值的像素之值為0，臨界值以上的像素之值為1。其中，將0與1交換、或是使用其他值亦可。
考量臨界值是例如依據來自控制部10的指示決定。在該情況下，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收臨界值，傳送到解析部12a。
又，判定部14a讀出記憶在記憶體102或記憶媒體103之臨界值予以使用亦可。在該情況下預先記憶的臨界值之值例如為100、200等。
再者，判定部14a因應差分值的分布而決定適應 性臨界值亦可。在決定某一臨界值時，當將具有該臨界值以上的像素值之像素集合為群組1、除此之外的像素集合為群組2時，從群組1與群組2的像素值求出群組間的變異數與群組內的變異數，以從此等值計算出的分離度為最大的方式決定臨界值。
圖9為臨界值處理的結果。根據臨界值處理得到如圖9所示的結果。但是在圖9中，以黑色表示的區域為未滿臨界值的區域，以白色表示的區域為臨界值以上的區域。
判定部14a如圖9的虛線所示，求出與白色區域外接的矩形，將在該位置有異常存在乙事傳送到輸出/輸入部15。其中，在以下將與白色區域外接的矩形記載為定界框。又，就傳送的資訊而言，其為定界框的左上座標、垂直寬度、寬度等。又，判定部14a不將定界框傳送到輸出/輸入部15，而是將所有異常的像素位置傳送到輸出/輸入部15亦可。
又，判定部14a將計算出來的差分影像資料傳送到輸出/輸入部15亦可。
又，對於定界框的位置或大尺設定條件，針對沒有滿足該條件的定界框予以忽視亦可。藉由如此一來，可以防止影像資料中之對象區域外的錯誤檢測、或防止根據雜訊之錯誤檢測。
對於定界框的條件考量例如是依據來自控制部10的指示予以決定。在該情況下，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收條件，傳送到解析部12a。
又，判定部14a讀出記憶在記憶體102或記憶媒 體103的條件予以使用亦可。在該情況下預先記憶的條件舉例如定界框的垂直寬度為3像素以上、定界框的寬度為3像素以上、位於用以限定檢查對象區域2次元光罩內等。
圖10為用以限定檢查對象區域之2次元光罩的例示。圖10之左圖為檢查影像資料，右圖為2次元光罩。判定部14a將右圖之2次元光罩適應於左圖的檢查影像資料。在圖10之右圖的2次元光罩中，以白色表示的區域為檢查對象區域，以黑色表示的區域為定界框。因此，在將右圖的2次元光罩適應於左圖的檢查影像資料之情況下，即使在對應於右圖之2次元光罩之以黑色表示的定界框內之左圖的區域內有異常也予以忽視。
回到圖6，在檢查模式的情況下，控制部10在判定部14a的處理結束後，將處理開始的指示傳給輸出/輸入部15。輸出/輸入部15，依據來自控制部10的指示，將從判定部14a接收到的判定結果從輸出/輸入裝置4輸出到外部。又，其中雖然預想作業員會在外部確認輸出/輸入裝置4，但是不一定如此，即使不須特意透過作業員將訊號輸出到外部的控制裝置等亦可。
圖11為輸出/輸入裝置4在其構成中包含顯示器的情況下，輸出/輸入部15對於輸出/輸入裝置4進行指示之顯示內容的例示。
圖11為顯示利用判定部14a沒有檢測到異常的情況。在該情況下，簡單直接顯示檢查影像資料，而且顯示用以通知沒有異常的訊息。用以通知沒有異常的訊息舉例如顯示在 圖11之左上之OK標記。又，不是OK標記，沒異常、正常、○標記等之標記亦可。
圖12為輸出/輸入裝置4在其構成中包含顯示器的情況下，輸出/輸入部15對於輸出/輸入裝置4進行指示之顯示內容的其他例示。
圖12為顯示利用判定部14a檢測到2處異常的情況。在該情況下，對於檢查影像資料以虛線重疊顯示檢測到的異常處，而且顯示用以通知檢測到異常的訊息。用以通知檢測到異常的訊息舉例如顯示在圖12左上之NG標記。又，不是NG標記，以異常、非正常、×標記等標記亦可。又，在異常處標註「CHECK！」標記作為訊息亦可。異常處依據從判定部14a接收到的定界框予以特定。依據定界框特定異常處乙事由判定部14a或輸出/輸入部15的任一個進行皆可。又，顯示或不顯示定界框皆可。
圖13為輸出/輸入裝置4在其構成中包含顯示器的情況下，輸出/輸入部15對於輸出/輸入裝置4進行指示之顯示內容的另一例示。
圖13與圖12相同，顯示利用判定部14a檢測到2處異常的情況。但是，並非直接顯示被檢測到的異常處，在左側顯示檢查影像資料，在右側顯示對於檢查影像資料合成利用判定部14a計算的差分影像資料之差分合成影像資料。針對差分合成影像資料，越黑表示差分越小，越白表示差分越大。如此一來，由於在圖13之右側的差分合成影像資料白色顯著的部分成為在檢查影像資料中從正常狀態的差分變大之處而明 而易見，因此使進行異常檢查的作業員易於掌握所有該注意之處。與圖12相同，依據定界框特定異常處乙事，由判定部14a或輸出/輸入部15的任一個進行皆可。
又，圖11、圖12、圖13所示之利用輸出/輸入裝置4之顯示方法不過是例示，實際上也考量使用此等的組合或與此等不同的顯示方法。又，也有輸出/輸入裝置4不是顯示器，而是以揚聲器構成的情況，在該情況下也考量根據聲音、音樂等將資訊輸出到外部。
藉由反覆進行上述之學習模式的處理與檢查模式的處理，直到有關閉(OFF)電源或是結束操作等處理結束的觸發，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每一像素進行高精確度定位之制約，同時可以檢查對象物3之缺損、錯誤配置、缺陷等異常有無。又，雖然是反覆進行學習模式的處理與檢查模式的處理，但是不重覆進行學習模式的處理，只進行1次亦可。同樣，不重覆進行檢查模式的處理，只進行1次亦可。
如以上所述，包含在本實施形態1之檢查系統的檢查裝置l，由於藉由次元壓縮不含異常的對象物3資料，算出表示不含異常的對象物3資料之性質的參數，使用參數次元壓縮檢查對象物3資料，產生復原次元壓縮後之檢查對象物3資料之復原資料，依據檢查對象物3資料與復原資料的差分大小，將顯示檢查對象物3是否異常之判定結果輸出到輸出/輸入裝置15，與習知的檢查裝置相比，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每 一像素進行高精確度定位之制約，同時可以檢查對象物的缺損、錯誤配置、缺陷等異常有無。
又，包含在本實施形態1之檢查系統的檢查裝置1，藉由使用主成分分析之次元壓縮，可以得到只擷取出在正常影像資料共同出現之表示對象物3資料性質的參數之有效的特徵。由於在該過程中捨去除相同種類之對象物3間的誤差、由於拍攝時點的不同造成的影像資料之誤差、攝像機的雜訊等所謂不要的資訊，使資料尺寸變小而可以縮減記憶媒體103所必要的記憶容量。
再者，包含在本實施形態1之檢查系統的檢查裝置1，由於從正常影像資料學習正常狀態之對象物3影像資料，並進行檢查，因此對於異常狀態，使用者、開發者等無須加以定義。為此，不會有對於異常狀態的定義有缺漏而沒發現異常的情況，無論怎樣的異常都可以擴及適用。
又，在上述之本實施形態1的檢查系統中，雖然是將檢查裝置1、攝像機2、及輸出/輸入裝置4分開構成，佰是將攝像機2或輸出/輸入裝置4或攝像機2與輸出/輸入裝置4兩者包含在檢查裝置1之中予以構成亦可。即使是如此構成的檢查系統，也可以得到上述實施形態1的效果。
在上述之本實施形態1的檢查系統中，判定部14a利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3的影像資料，依據復原後之影像資料也就是復原資料與檢查對象物3的影像資料之差分大小，將顯示檢查對象物3是否有異常之判定結果輸出到輸出/輸入部15。接著，判定 部14a為結合復原部與判定部之構件的一例。但是將利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3的影像資料之復原部獨立出來包括在檢查裝置1亦可，使解析部12a包括復原部的機能亦可。即使是如此構成的檢查系統，也可以得到上述實施形態1的效果。
在上述之本實施形態1的檢查系統中，雖然解析部12a在對象物3的次元壓縮使用主成分分析，記憶部13a記憶主成分分析的結果，判定部14a使用主成分分析進行復原，但是在對象物3存在有多種類的情況下，對於對象物3的每一種類變更次元壓縮方法亦可。例如，對於第1種類的對象物3，解析部12a在第1種類的對象物3之次元壓縮使用主成分分析，記憶部13a記憶主成分分析的結果，判定部14a使用主成分分析進行復原，對於第2種類的對象物3，解析部12a在第2種類的對象物3之次元壓縮使用線形判別分析，記憶部13a記憶線形判別分析的結果，判定部14a使用線形判別分析進行復原等亦可。又，對象物3的種類為幾種皆可，對象物3的種類與次元壓縮方法的組合為任意。但是，相同種類的對象物3之情況下，使用相同的次元壓縮方法。即使是如此構成的檢查系統，也可以得到上述實施形態1的效果。
實施形態2.
在實施形態1中，解析部12a在對象物3的次元壓縮使用主成分分析，記憶部13a記憶主成分分析的結果，判定部14a使用主成分分析進行復原。主成分分析為線形的次元壓縮方法之代表例。在有關實施形態2之解析部12b、記憶部13b及判 定部14b如圖14~圖20所示，在次元壓縮使用採取神經網路的自我編碼器。使用神經網路的自我編碼器作為可進行非線形之次元壓縮之方法而被悉知。因此，與線形的次元壓縮方法之主成分分析相比，由於可以進行非線形的次元壓縮，可以更有效率獲得特徵。除此之外，其他與實施形態1相同。
圖14為有關本發明實施形態2之包含檢查裝置200之檢查系統的機能方塊圖。在以下的說明中針對已經說明的構成與動作附予相同的符號而省略重複的說明。
在實施形態2中，增加解析部12b、記憶部13b及判定部14b作為機能方塊圖的構成以取代實施形態1之圖1的解析部12a、記憶部13a及判定部14a。
解析部12b使用採取神經網路的自我編碼器進行次元壓縮以取代實施形態1之解析部12a的次元壓縮中使用的主成分分析。除此之外，其他與解析部12a相同。
記憶部13b記憶採用神經網路之自我編碼器的學習結果及讀出採用神經網路之自我編碼器的學習結果，輸入到解析部12b以取代實施形態1之記憶部13a所記憶之記憶主成分分析的學習結果及讀出主成分分析的學習結果，輸入到解析部12a。除此之外，其他與記憶部13a相同。
判定部14b使用採取神經網路的自我編碼器進行復原以取代實施形態1之判定部14b的復原中所使用的主成分分析。除此之外，其他與判定部14a相同。
有關本發明實施形態2之檢查裝置200的硬體構成圖與實施形態1的圖2相同。解析部12b的硬體構成與解析 部12a相同，記憶部13b的硬體構成與記憶部13a相同，判定部14b的硬體構成與判定部14a相同。
其次，針對有關本發明實施形態2之檢查裝置200的學習模式之動作進行說明。
圖15為顯示有關本發明實施形態2之檢查裝置200之學習模式的動作之流程圖。使用圖15，在以下說明檢查裝置200之學習模式的動作。
步驟S40、步驟S41、步驟S42與實施形態1之步驟S10、步驟S11、步驟S12相同。但是由解析部12b進行處理取代解析部12a。
在步驟S43中，解析部12b使用接收到的正常影像資料進行次元壓縮。其中，所謂次元壓縮與實施形態1相同，其意指將影像資料、3次元立體資料等高次元資料轉換為低次元資料。解析部12b在學習模式中使用正常影像資料進行學習，獲得正常影像資料最佳的資料轉換方法。在以下，作為次元壓縮的方法，針對使用根據神經網路之自我編碼器的情況進行說明。
所謂神經網路，其為利用計算機模仿透過突觸使集結成網絡的神經利用通過其之電流強弱進行學習、圖案辨識等所謂人腦的機制者，最簡單的模組稱為感知器。
圖16為使神經成為多輸入1輸出的節點進行模式化的圖面。
感知器如圖16所示，使神經成為多輸入1輸出的節點進行模式化的圖面。與實施形態1相同，將步驟S40接收 到的每1張正常影像資料的像素數總數為K、次元個數為j。例如若正常影像資料的尺寸為32像素×32像素時K值為1024，若為640像素×640像素時K值為409600等。感知器由對於輸入資料也就是正常影像資料的像素xj利用加權wj進行加權後減去偏差b的線性加權和、及根據該線性加權和的正負輸出1與0之臨界值邏輯函數z(u)構成。又，輸入資料也就是正常影像資料的像素xj集合成為正常影像資料的向量x、加權wj集合成為加權向量w。當y為輸出資料時，感知器以式(6)表示。又，圖16為對於1張影像資料之計算，在影像資料為1000張的情況下，相同的計算進行1000次。
式(6)為藉由輸入資料也就是正常影像資料的像素xj之臨界值邏輯函數z(u)是屬於群組c1或群組c2，構成1或0之2群組的辨識函數。所謂辨識函數，例如預先準備集合有狗影像資料之群組c1與集合有貓影像資料之群組c2，對於各自的影像資料分別標註狗影像資料、貓影像資料的標籤。當將沒有標註標籤之狗影像資料作為輸入資料置入到辨識函數時，從群組c1之狗影像資料與群組c2之貓影像資料判定作為輸入資料沒有標註標籤之影像資料為群組c1之狗影像資料或群組c2之貓影像資料，判定作為輸入資料沒有標註標籤之狗影像資料為群組c1之狗影像資料。又，感知器之臨界值邏輯函數z(u)能夠置換為更一般被稱為活化函數的其他各種函 數。舉例如S函數、ReLU(修正線性單元)等。
在式(6)中，預先準備多個屬於群組c1的資料與屬於群組c2的資料。其中，將預先準備之屬於群組c1的資料與屬於群組c2的資料記載為學習資料。藉由以對於學習資料能夠辨識是屬於群組c1或屬於群組c2之方式學習加權向量w，在輸入新的資料時可以辨識其群組。加權向量w之值為表示對象物3資料的性質之參數的一例。
圖17為沙漏型神經網路的例示。
所謂自我編碼器如圖17所示，其為使位於輸入資料的輸入層與輸出資料的輸出層之中間的隱藏層之節點數比輸入層與輸出層的節點數更小之沙漏型神經網路。又，圖17所示之網路左端為輸入層、圖17所示之網路右端為輸出層、圖17所示之網路中間為隱藏層。其中，與圖16相同，步驟S40接收到的每1張正常影像資料的像素數總數為K、次元個數為j。例如若正常影像資料的尺寸為32像素×32像素時K值為1024，若為640像素×640像素時K值為409600等。輸入資料為正常影像資料的像素xj集合也就是正常影像資料的向量x、加權wj集合為加權向量w。又，隱藏層的向量為aj。輸出資料大致與正常影像資料的像素xj集合也就是正常影像資料的向量x相同，即像素yj集合也就是影像資料的向量y，加權cj集合為加權向量v。當對輸入資料也就是正常影像資料的像素xj集合之正常影像資料的向量x進行加權wj集合之加權向量w的加權時，構成隱藏層的向量aj，當對隱藏層的向量aj進行加權vj集合之加權向量v的加權時，構成大致與正常影 像資料的像素xj集合也就是正常影像資料的向量x相同，即像素yj集合也就是影像資料的向量y。隱藏層的向量aj以影像資料顯示主要成分，加權向量w之值及加權向量v之值表示對象物3資料的性質之參數的一例。又，圖17為對於1張影像資料的計算，在影像資料為1000張的情況下，相同的計算進行1000次。
自我編碼器以對於學習資料使輸入資料與輸出資料大約一致的方式學習各節點的加權。如此一來，可以在隱藏層儘可能保存輸入資料的資訊，同時可以得到低次元化的特徵為悉知的。
回到圖15，在步驟S43中，將步驟S40取得的正常影像資料為輸入資料，藉由學習使輸入資料與輸出資料大約一致之自我編碼器，可以在隱藏層中只擷取出在正常影像資料共同出現之重要成分。換言之，學習使作為輸入資料所輸入的正常影像資料與復原通過隱藏層輸出之輸入資料的影像資料對於在正常影像資料共同出現之重要成分為一致之自我編碼器。另一方面，可以排除相同種類之物體間的誤差、由於拍攝時點不同造成的影像誤差、攝像機的雜訊等所謂不要的成分。
圖18為顯示變更自我編碼器的隱藏層總數時之樣態的一例。
圖17所示之自我編碼器的隱藏層為1層，但是該總數可自由變更。總數變更為容易的，如圖18之(1)所示，首先，使圖17所示的隱藏層學習1層的自我編碼器。之後，如圖18之(2)所示，藉由去除自我編碼器的輸出層，只留下輸入層與隱藏層，得到壓縮輸入資料的次元之網路。其次，如圖18之(3)所示，將該次元壓縮後的資料作為輸入資料，藉由重新學習構成與圖18之(1)不同的加權向量之自我編碼器，可以進一步壓縮次元。
其中，自我編碼器之層數為影響有關實施形態2之檢查裝置200性能的重要參數。藉由適當設定層數，可以只擷取出在S40取得之正常影像資料共同出現的重要成分。另一方面，可以排除相同種類之對象物3間的誤差、由於拍攝時點不同造成的影像資料誤差、攝像機的雜訊等所謂不要的成分。
但是，當層數設定過大時會使重要成分被排除，又層數設定過小時會殘留不要的成分。
層數可考量例如依據來自控制部10的指示決定。在該情況下，控制部10經由輸出/輸入部15從輸出/輸入裝置4接收層數，傳送到解析部12b。
又，解析部12b讀出記憶在記憶體102或記憶媒體103之層數值予以使用亦可。在該情況下預先記憶的層數值可考量例如是5左右、10左右等。
回到圖15，在步驟S44中，進行次元壓縮後，解析部12b將各節點的加權向量值作為學習正常影像資料之結果傳送到記憶部13b。又，因應層數記憶的加權向量值之個數也不同。記憶部13b依據來自控制部10的指示，將從解析部12b輸出的學習結果保存在記憶媒體103。又，記憶部13b雖然是依據來自控制部10的指示將從解析部12b輸出的學習結果保存在記憶媒體103，但是保存處為記憶體102亦可。
學習模式的情況下，控制部10在解析部12a的處理結束後，對輸出/輸入部15傳給處理開始的指示。輸出/輸入部15依據自控制部10的指示，將表示學習的進度狀況等資訊從輸出/輸入裝置4輸出到外部。又，其中雖然預想作業員會在外部確認輸出/輸入裝置4，但是不一定如此，即使不須特意透過作業員將訊號輸出到外部的控制裝置等亦可。
圖19為顯示有關本發明實施形態2之檢查裝置200之檢查模式的動作之流程圖的一部分。使用圖19，在以下說明檢查裝置200之檢查模式的動作。
步驟S50、步驟S51、步驟S52與實施形態1之步驟S20、步驟S21、步驟S22相同。但是由解析部12b進行處理來取代解析部12a。
在步驟S53中，解析部12b為了讀出在學習模式學習的結果而對於控制部10傳送讀出要求。記憶部13b依據來自控制部10的指示，從記憶媒體103讀出必要的學習結果，輸入到解析部12b。其中，讀出的學習結果為與在學習模式中使用的次元壓縮方法步驟S43對應的學習結果。換言之，在實施形態2中，因為使用根據神經網路之自我編碼器作為例示，因此使各節點的加權向量值成為讀出的學習結果。
在步驟S54中，解析部12b依據讀出的學習結果，進行接收到的檢查影像資料之次元壓縮。次元壓縮方法為與在學習模式中使用的次元壓縮方法步驟S43對應的次元壓縮方法。由於在學習模式中得到各節點的加權向量值，因此藉由在使用相同加權的神經網路輸入檢查影像資料可以進行次元壓縮。解析部12b將檢查影像資料、與次元壓縮檢查影像資料的結果也就是向量傳送到判定部14b。所謂次元壓縮檢查影像資料的結果也就是向量，其構成為輸出層之值也就是輸出資料。其中，B為下個處理，其詳細在之後敘述。
圖20為顯示有關本發明實施形態2之檢查裝置200之檢查模式的動作之流程圖的一部分。使用圖20，在以下說明檢查裝置200之檢查模式的接續動作。
在步驟S60中，作為步驟S54之後之B接續處理，控制部10在解析部12b的處理結束後，對判定部14b傳給處理開始的指示。判定部14b依據來自控制部10的指示，從記憶體102讀出裝載在記憶體102之記憶媒體103的程式並利用處理器101予以執行。判定部14b首先將從解析部12b接收到之次元壓縮檢查影像資料的結果也就是向量作為影像資料進行復原。其中，復原影像資料的方法為與在步驟S54的次元壓縮使用的方法相同之復原。換言之，在實施形態2中，使用根據神經網路之自我編碼器進行復原。
在次元壓縮使用神經網路的情況下，由於神經網路的輸出為1次元向量，因此藉由將此重新整理排列為2次元配列就可以進行影像資料的復原。又，根據使用的神經網路種類，也會有神經網路的輸出為2次元的影像資料之情況。在該情況下，就不需要影像資料的復原處理。
步驟S61、步驟S62與實施形態1之步驟S31、步驟S32相同。但是，由解析部12b取代解析部12a、記憶部13b取代記憶部13a、判定部14b取代判定部14a進行處理。
藉由反覆進行上述之學習模式的處理與檢查模式的處理，直到有關閉(OFF)電源或是結束操作等處理結束的觸發，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每一像素進行高精確度定位之制約，同時可以檢查對象物3之缺損、錯誤配置、缺陷等異常有無。又，雖然是反覆進行學習模式的處理與檢查模式的處理，但是不重覆進行學習模式的處理，只進行1次亦可。同樣，不重覆進行檢查模式的處理，只進行1次亦可。
如以上所述，包含在本實施形態2之檢查系統的檢查裝置200，由於藉由次元壓縮不含異常的對象物3資料，算出表示不含異常的對象物3資料之性質的參數，使用參數次元壓縮檢查對象物3資料，產生復原次元壓縮後之檢查對象物3資料之復原資料，依據檢查對象物3資料與復原資料的差分大小，將顯示檢查對象物3是否異常之判定結果輸出到輸出/輸入裝置15，與習知的檢查裝置相比，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每一像素進行高精確度定位之制約，同時可以檢查對象物的缺損、錯誤配置、缺陷等異常有無。
又，包含在本實施形態2之檢查系統的檢查裝置200，藉由使用根據神經網路的自我編碼器之次元壓縮，可以得到只擷取出在正常影像資料共同出現的參數之有效特徵。由於在該過程中捨去相同種類之對象物3間的誤差、由於拍攝時點的不同造成的影像資料之誤差、攝像機的雜訊等所謂不要的資訊，使資料尺寸變小而可以縮減記憶媒體103所必要的記憶 容量。
再者，包含在本實施形態2之檢查系統的檢查裝置200，由於從正常影像資料學習正常狀態之對象物3的影像資料並進行檢查，因此對於異常狀態，使用者、開發者等無須加以定義。為此，不會有對於異常狀態的定義有缺漏而沒發現異常的情況，無論怎樣的異常都可以擴及適用。
包含在本實施形態2之檢查系統的檢查裝置200，自我編碼器與線形次元壓縮方法之主成分分析相比，由於可以進行非線形的次元壓縮而可以進一步達到有效特徵的獲得。
又，在上述之本實施形態2的檢查系統中，雖然是將檢查裝置200、攝像機2、及輸出/輸入裝置4分開構成，但是將攝像機2或輸出/輸入裝置4或攝像機2與輸出/輸入裝置4兩者包含在檢查裝置200之中予以構成亦可。即使是如此構成的檢查系統，也可以得到上述實施形態2的效果。
在上述之本實施形態2的檢查系統中，判定部14b利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3影像資料，依據復原後的影像資料也就是復原資料與檢查對象物3的影像資料之差分大小，將顯示檢查對象物3是否有異常之判定結果輸出到輸出/輸入部15。接著，判定部14b為結合復原部與判定部的構件之一例。但是將利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3影像資料之復原部獨立出來包括在檢查裝置200亦可，使解析部12b包括復原部的機能亦可。即使是如此構成的檢查系統，也可以得到上述實施形態2的效果。
在上述之本實施形態2的檢查系統中，雖然解析部12b在對象物3的次元壓縮使用根據神經網路的自我編碼器，記憶部13b記憶根據神經網路的自我編碼器的結果，判定部14b使用根據神經網路的自我編碼器進行復原，但是在對象物3存在有多種類的情況下，對於對象物3的每一種類變更次元壓縮方法亦可。例如，對於第1種類的對象物3，解析部12b在第1種類的對象物3之次元壓縮使用根據神經網路的自我編碼器，記憶部13b記憶根據神經網路的自我編碼器的結果，判定部14b使用根據神經網路的自我編碼器進行復原，對於第2種類的對象物3，解析部12b在第2種類的對象物3之次元壓縮使用線形判別分析，記憶部13b記憶線形判別分析的結果，判定部14b使用線形判別分析進行復原等亦可。又，對象物3的種類為幾種皆可，對象物3的種類與次元壓縮方法的組合為任意。但是，同一種類的對象物3之情況下，使用相同的次元壓縮方法。即使是如此構成的檢查系統，也可以得到上述實施形態2的效果。
在上述之本實施形態2的檢查系統中，雖然解析部12b在對象物3的次元壓縮使用根據神經網路的自我編碼器，但是由於自我編碼器在依據神經網路之次元壓縮方法之中為最簡單的方式，因此使用更複雜的方式亦可，即使是如此構成的檢查系統，除了上述之實施形態2的結果，可以進一步得到所謂提升性能的效果。就更複雜的方式之例示而言，有使用卷積神經網絡(Convolutional Neural Network)、生成式對抗網絡(Generative Adversarial Network)等的方法。在有關實施形態2的檢查裝置200中，使用此等各種次元壓縮方法的任一個皆可，因應使用的方法，只要將圖15的步驟S43、步驟S44、圖19的步驟S53、步驟S54、圖20的步驟S60之根據神經網路的自我編碼器之處理方法變更為卷積神經網絡或生成式對抗網絡(Generative Adversarial Network)即可。
實施形態3.
在實施形態1中，藉由次元壓縮不含異常的對象物3資料，算出表示不含異常之對象物3資料的性質之參數，使用參數次元壓縮檢查對象物3資料，產生復原次元壓縮後之檢查對象物3資料之復原資料，依據檢查對象物3資料與復原資料的差分大小，將表示對象物3是否異常之判定結果輸出到輸出/輸入部15。在實施形態3中，如圖21~圖23所示，新追加補正部16，其為設計使復原資料與檢查影像資料之間的誤差變小之濾波器與使用設計的濾波器過濾復原資料，並包括判定部14c取代判定部14a。為此，例如由於在學習模式中使用的學習用之正常影像資料的不足等，而在復原資料與檢查影像資料之間產生明顯誤差的情況也可以藉由在補正部16中減低兩者的誤差，而持續提高判定部14c的判定精確度。除此之外，其他與實施形態1相同。
圖21為有關本發明實施形態3之包含檢查裝置300之檢查系統的機能方塊圖。在以下的說明中針對已經說明的構成與動作附予相同符號而省略重複的說明。
在實施形態3中，增加判定部14c取代實施形態1之圖1的判定部14a，再新增補正部16作為機能方塊圖的構成。
補正部16利用與次元壓縮使用的方法相同的方法復原次元壓縮後之檢查對象物3的影像資料，設計補正復原資料與檢查影像資料之間的誤差之濾波器及使用該設計的濾波器過濾復原資料，產生補正資料。補正資料為使用補正復原資料與檢查影像資料之間的誤差之濾波器，過濾復原資料之補正後的復原資料。又，補正部16為結合復原部與補正部之構件的一例。
判定部14c依據利用補正部16復原與補正之影像資料也就是補正資料與檢查對象物3的影像資料之差分大小，將顯示檢查對象物3是否異常之判定結果輸出到輸出/輸入部15。又，判定部14c與包括復原部的14a不同，復原是由補正部16進行，因此判定部14c是不進行復原。除此之外，其他與判定部14a相同。
有關本發明實施形態3之檢查裝置300的硬體構成圖與實施形態1之圖2相同。判定部14c的硬體構成與判定部14a相同。又，補正部16可藉由處理器101讀入、執行裝載在記憶體102的記憶媒體103之程式予以實現。
顯示有關本發明實施形態3之檢查裝置300之學習模式的動作之流程圖與實施形態1的圖3相同。
顯示有關本發明實施形態3之檢查裝置300之檢查模式的動作之流程圖的一部分與實施形態1的圖5相同。
圖22為顯示有關本發明實施形態3之檢查裝置300之檢查模式的動作之流程圖的一部分。使用圖22，在以下說明檢查裝置300之檢查模式的接續動作。
在步驟S70，作為步驟S24之後之A接續處理，控制部10在解析部12a的處理結束後，對補正部16傳給處理開始的指示。補正部16依據來自控制部10的指示，從記憶體102讀出裝載在記憶體102之記憶媒體103的程式，利用處理器101予以執行。補正部16首先從解析部12a接收次元壓縮接收到的檢查影像資料之結果也就是向量、及檢查影像資料，將次元壓縮接收到的檢查影像資料之結果也就是向量作為影像資料進行復原。影像資料的復原方法與實施形態1之圖6的步驟S30中判定部14a所採行的方法相同。
在步驟S71中，補正部16設計復原後的復原資料與檢查影像資料之間的誤差變小之濾波器。藉此，在例如由於學習模式中使用的學習用正常影像資料的不足等，而在復原資料與檢查影像資料之間產生明顯誤差的情況下，藉由在補正部16減低兩者的誤差，可以持續提高判定部14c的判定精確度。
在某個訊號由於雜訊而劣化的情況下，就用以將其復原的濾波器而言，有反向濾波器、維納濾波器、適應性濾波器、雜訊去除濾波器等。其中，在本發明實施形態3中，由於劣化前的原訊號也就是檢查影像資料為既知的，因此使用維納濾波器為最佳效果。在以下針對以維納濾波器的設計方法為例進行說明。
考量用以從劣化的訊號g復原出原訊號f之空間濾波器k。此時，在頻率帶域中，劣化訊號的傅立葉轉換G以原訊號的傅立葉轉換F與點散布函數的傅立葉轉換H之乘積予以表示。其中，在點散布函數為既知的情況下，如式(7)所示，藉 由使用反向濾波器Kinv過濾劣化訊號，如式(8)所示，可以求出原訊號的傅立葉轉換F。
其中，考量頻率帶域中的雜訊之劣化過程則如式(9)所示。但是N表示雜訊的傅立葉轉換。
[數9] G=FH+N‧‧‧(9)
此時，使復原資料f’與成為原訊號之檢查影像資料也就是元資料f之間的誤差為最小之濾波Kw可以如式(10)所示。
式(10)所示之濾波Kw稱為維納濾波器。
回到圖22，在步驟S72中，補正部16對於復原資料使用濾波Kw進行過濾並進行補正之後，將檢查影像資料與補正資料傳送到判定部14c。其中，C為下個處理，詳細則在之後敘述。
圖23為顯示有關本發明實施形態3之檢查裝置300之檢查模式的動作之流程圖的一部分。使用圖23，在以下說明檢查裝置300之檢查模式的接續動作。
在步驟S80中，作為步驟S72之後之C接續處理，控制部10對判定部14c傳給處理開始指示。判定部14c依據來自控制部10的指示，從記憶體102讀出裝載到記憶體102之記憶媒體103的程式並利用處理器101予以執行。判定部14c首先從補正部16接收檢查影像資料與補正資料。判定部14c計算補正資料與檢查影像資料的差分。除了上述之外，判定部14c與圖6步驟S31的判定部14a進行相同的處理。
步驟S81與實施形態1的步驟S32相同。但是由判定部14c取代判定部14a進行處理。
藉由反覆進行上述之學習模式的處理與檢查模式的處理，直到有關閉(OFF)電源或是結束操作等處理結束的觸發，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每一像素進行高精確度定位之制約，同時可以檢查對象物3之缺損、錯誤配置、缺陷等異常有無。又，雖然是反覆進行學習模式的處理與檢查模式的處理，但是不重覆進行學習模式的處理，只進行1次亦可。同樣，不重覆進行檢查模式的處理，只進行1次亦可。
如以上所述，包含在本實施形態3之檢查系統的檢查裝置300，由於藉由次元壓縮不含異常的對象物3資料，算出表示不含異常的對象物3資料之性質的參數，使用參數次元壓縮檢查對象物3資料，產生復原次元壓縮後之檢查對象物3資料之復原資料，依據檢查對象物3資料與復原資料的差分大小，將顯示檢查對象物3是否異常之判定結果輸出到輸出/ 輸入裝置15，與習知的檢查裝置相比，可以緩和對象物3與攝像機2的確實固定、及對於拍攝對象物3而取得的影像資料之每一像素進行高精確度定位之制約，同時可以檢查對象物的缺損、錯誤配置、缺陷等異常有無。
又，包含在本實施形態3之檢查系統的檢查裝置300，藉由使用主成分分析之次元壓縮，可以得到只擷取出表示在正常影像資料共同出現之對象物3資料的性質之參數的有效特徵。由於在該過程中捨去相同種類之對象物3間的誤差、由於拍攝時點的不同造成的影像資料之誤差、攝像機的雜訊等所謂不要的資訊，使資料尺寸變小而可以縮減記憶媒體103所必要的記憶容量。
再者，包含在本實施形態3之檢查系統的檢查裝置300，由於從正常影像資料學習正常狀態之對象物3的影像資料，並進行檢查，因此對於異常狀態，使用者、開發者等無須加以定義。為此，不會有對於異常狀態的定義有缺漏而沒發現異常的情況，無論怎樣的異常都可以擴及適用。
包含在本實施形態3之檢查系統的檢查裝置300，新增補正部16，其為設計將從次元壓縮後的檢查對象物3的影像資料進行復原之復原資料與檢查影像資料之間的誤差變小的濾波器、以及使用該設計的濾波器過濾復原資料，並包括判定部14c取代判定部14a。為此，例如由於在學習模式中使用的學習用之正常影資料的不足等，而在復原資料與檢查影像資料之間產生明顯誤差的情況下，也可以藉由在補正部16中減低兩者的誤差，可以持續提高判定部14c的判定精確度。
又，在上述之本實施形態3的檢查系統中，雖然是將檢查裝置300、攝像機2、及輸出/輸入裝置4分開構成，或是將攝像機2或輸出/輸入裝置4或攝像機2與輸出/輸入裝置4兩者包含在檢查裝置300之中予以構成亦可。即使是如此構成的檢查系統，也可以得到上述實施形態3的效果。
在上述之本實施形態3的檢查系統中，補正部16設計補正復原資料與檢查影像資料之間的誤差之濾波器、及使用該設計的濾波器過濾復原資料。接著，補正部16為結合復原部與補正部之構件的一例。但是將利用與次元壓縮使用的方法相同的方法，復原次元壓縮後之檢查對象物3的影像資料之復原部獨立出來包括在檢查裝置300亦可，使解析部12a包括復原部的機能亦可。即使是如此構成的檢查系統，也可以得到上述實施形態3的效果。
在上述之本實施形態3的檢查系統中，雖然解析部12a在對象物3的次元壓縮使用主成分分析，記憶部13a記憶主成分分析的結果，補正部16使用主成分分析進行復原，但是在對象物3存在有多種類的情況下，對於對象物3的每一種類變更次元壓縮方法亦可。例如，對於第1種類的對象物3，解析部12a在第1種類的對象物3之次元壓縮使用主成分分析，記憶部13a記憶主成分分析的結果，補正部16使用主成分分析進行復原，對於第2種類的對象物3，解析部12a在第2種類的對象物3之次元壓縮使用線形判別分析，記憶部13a記憶線形判別分析的結果，補正部16使用線形判別分析進行復原等亦可。又，對象物3的種類為幾種皆可，對象物3的種 類與次元壓縮方法的組合為任意。但是，同一種類的對象物3之情況下，使用相同的次元壓縮方法。即使是如此構成的檢查系統，也可以得到上述實施形態3的效果。
在上述之本實施形態3的檢查系統中，雖然解析部12a在對象物3的次元壓縮使用主成分分析，但是使用根據神經網路之自我編碼器或卷積神經網絡(Convolutional Neural Network)、生成式對抗網絡(Generative Adversarial Network)等比根據神經網路之自我編碼器更複雜的方式亦可。即使是如此構成的檢查系統，除了上述實施形態3的效果，可以得到能夠進一步提升性能的效果。在有關實施形態3之檢查裝置300中，使用此等各種次元壓縮方法的任一種皆可。
然而，包括上述實施形態所示的檢查裝置之檢查系統不過是一例，只要是可以適當組合構成者，不限於實施形態單獨的構成。

Claims (13)

  1. 一種檢查裝置，包括：解析部，藉由將不含異常的對象物的影像資料進行減少資料次元的次元壓縮，算出表示前述不含異常的對象物的影像資料之性質的參數，使用前述參數次元壓縮檢查對象物的影像資料；復原部，產生復原利用前述解析部次元壓縮的前述檢查對象物的影像資料之復原資料；補正部，使用補正前述復原部復原的前述復原資料與前述檢查對象物的影像資料的誤差之濾波器過濾前述復原資料，產生補正後的復原資料；判定部，依據前述檢查對象物的影像資料與補正後的前述復原資料的每一像素的差分大小，輸出顯示前述檢查對象物是否異常之判定結果；及輸出部，輸出前述判定部輸出的前述判定結果。
  2. 如申請專利範圍第1項之檢查裝置，其中，包括：記憶部，記憶前述解析部所算出之前述參數，前述解析部使用記憶在前述記憶部之前述參數，次元壓縮前述檢查對象物的影像資料。
  3. 如申請專利範圍第1或2項之檢查裝置，其中，前述濾波器為維納濾波器。
  4. 如申請專利範圍第1或2項之檢查裝置，其中，前述判定部在前述差分為臨界值以上時，輸出顯示前述檢查對象物為異常之判定結果。
  5. 如申請專利範圍第1或2項之檢查裝置，其中，前述次元壓縮為使用主成分分析。
  6. 如申請專利範圍第1或2項之檢查裝置，其中，前述次元壓縮為使用採取神經網路之自我編碼器。
  7. 如申請專利範圍第6項之檢查裝置，其中，前述復原部為使用前述參數產生前述復原資料。
  8. 如申請專利範圍第4項之檢查裝置，其中，前述判定部算出定界框，其為與輸出顯示前述檢查對象物為異常的判定結果之前述差分為臨界值以上之區域外接的矩形，前述輸出部將前述判定部算出的前述定界框作為前述判定結果予以輸出。
  9. 如申請專利範圍第8項之檢查裝置，其中，前述輸出部將依據前述定界框特定之前述檢查對象物的影像資料的異常處以虛線重疊顯示在前述檢查對象物的影像資料的方式予以輸出。
  10. 如申請專利範圍第8項之檢查裝置，其中，前述輸出部輸出對於前述檢查對象物的影像資料合成前述差分的影像資料之差分合成影像資料。
  11. 如申請專利範圍第1或2項之檢查裝置，其中，在前述判定部輸出顯示前述檢查對象物為異常之判定結果的情況下，前述輸出部輸出顯示用以通知檢測到異常之訊息。
  12. 如申請專利範圍第1或2項之檢查裝置，其中，包括：顯示部，顯示前述輸出部輸出的前述判定結果。
  13. 一種檢查方法，包括以下步驟：藉由將不含異常的對象物的影像資料進行減少資料次元的次元壓縮，算出表示前述不含異常的對象物的影像資料的性質之參數，使用記憶在記憶媒體之前述參數次元壓縮檢查對象物的影像資料；產生復原次元壓縮後的前述檢查對象物的影像資料之復原資料；使用補正復原的前述復原資料與前述檢查對象物的影像資料的誤差之濾波器過濾前述復原資料，產生補正後的復原資料；依據前述檢查對象物的影像資料與補正的前述復原資料的每一像素的差分大小，輸出顯示前述檢查對象物是否異常之判定結果；及輸出前述判定結果。
TW105143296A 2016-12-06 2016-12-27 Inspection device and inspection method TWI638157B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法
??PCT/JP2016/086138 2016-12-06

Publications (2)

Publication Number Publication Date
TW201821788A TW201821788A (zh) 2018-06-16
TWI638157B true TWI638157B (zh) 2018-10-11

Family

ID=60570330

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105143296A TWI638157B (zh) 2016-12-06 2016-12-27 Inspection device and inspection method

Country Status (7)

Country Link
US (1) US11645744B2 (zh)
JP (1) JP6241576B1 (zh)
KR (1) KR102011628B1 (zh)
CN (1) CN110036279B (zh)
DE (1) DE112016007498B4 (zh)
TW (1) TWI638157B (zh)
WO (1) WO2018105028A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195119A (ja) * 2017-05-18 2018-12-06 住友電装株式会社 異変検出装置及び異変検出方法
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
JP2021042955A (ja) * 2017-12-27 2021-03-18 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20190205360A1 (en) * 2017-12-29 2019-07-04 University Of Southern California Method for prioritizing candidate objects
US11386538B2 (en) 2018-01-29 2022-07-12 Nec Corporation Image processing apparatus, image processing method, and storage medium
KR102206698B1 (ko) * 2018-03-29 2021-01-22 미쓰비시덴키 가부시키가이샤 이상 검사 장치 및 이상 검사 방법
JP2019178941A (ja) * 2018-03-30 2019-10-17 リコーエレメックス株式会社 検査システムおよび検査方法
JP6424309B1 (ja) * 2018-08-15 2018-11-14 裕樹 有光 採寸値に基づく３次元モデルを生成するプログラム及び装置
JP6760503B2 (ja) * 2018-08-31 2020-09-23 東芝三菱電機産業システム株式会社 製造プロセス監視装置
WO2020110224A1 (ja) * 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
JP2020139905A (ja) 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
WO2020202352A1 (ja) 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路及びペン状態検出方法
JP6683960B1 (ja) * 2019-05-20 2020-04-22 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP6737487B1 (ja) * 2019-05-20 2020-08-12 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020201800A (ja) * 2019-06-12 2020-12-17 株式会社日立製作所 自動点検システム及び無線子機
JP2021009441A (ja) * 2019-06-28 2021-01-28 ルネサスエレクトロニクス株式会社 異常検知システム及び異常検知プログラム
JP2021089219A (ja) * 2019-12-05 2021-06-10 東洋製罐グループホールディングス株式会社 画像検査システム、及び画像検査方法
KR20220146666A (ko) * 2020-04-27 2022-11-01 미쓰비시덴키 가부시키가이샤 화상 검사 장치 및 화상 검사 방법
US20230196548A1 (en) * 2020-04-28 2023-06-22 Mitsubishi Electric Corporation Appearance inspection apparatus and appearance inspection method
JP6989860B2 (ja) * 2020-05-02 2022-01-12 Ａｒｉｔｈｍｅｒ株式会社 画像検査装置、画像検査方法及びプログラム
KR102437115B1 (ko) * 2020-06-04 2022-08-29 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
EP4318391A1 (en) 2021-03-26 2024-02-07 Konica Minolta, Inc. Information processing device, control program, and control method
JP2022191966A (ja) * 2021-06-16 2022-12-28 株式会社日立製作所 異常判定用計算機及び異常判定方法
TWI803353B (zh) * 2022-04-19 2023-05-21 南亞科技股份有限公司 晶圓檢測方法
JP7386287B1 (ja) 2022-05-09 2023-11-24 Ｊｆｅテクノリサーチ株式会社 検査方法及び検査装置
CN114782445B (zh) * 2022-06-22 2022-10-11 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
TWI819698B (zh) * 2022-07-14 2023-10-21 友達光電股份有限公司 判斷瑕疵的方法及電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020033449A1 (en) * 2000-06-27 2002-03-21 Mamoru Nakasuji Inspection system by charged particle beam and method of manufacturing devices using the system
TW201026419A (en) * 2008-11-13 2010-07-16 Olympus Corp Defect correction device
CN102881029A (zh) * 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
TW201638654A (zh) * 2015-04-30 2016-11-01 力晶科技股份有限公司 偵測微影熱點的方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1209693A (en) * 1983-06-02 1986-08-12 Craig C. Todd Helical scan recording and playback systems
JPS60251771A (ja) * 1984-05-29 1985-12-12 Ricoh Co Ltd 画像デ−タ圧縮再生方法及び装置
JPH0695728B2 (ja) * 1984-05-29 1994-11-24 株式会社リコー 画像データ圧縮再生装置
CA1288516C (en) * 1987-07-31 1991-09-03 Leendert M. Bijnagte Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
JPH06281592A (ja) 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
AUPN002594A0 (en) * 1994-12-13 1995-01-12 Dunn, Alexander Atkinson Improvements in software for the protection of executable programs, libraries and their data
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
JP2000346627A (ja) * 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
KR100425447B1 (ko) * 2001-05-10 2004-03-30 삼성전자주식회사 명도 보정 및 선택적 결함 검출 방법 및 이를 기록한 기록매체
JP3904419B2 (ja) * 2001-09-13 2007-04-11 株式会社日立製作所 検査装置および検査システム
CN100582753C (zh) * 2001-11-28 2010-01-20 应用材料有限公司 探测缺陷的方法
JP2005156516A (ja) 2003-11-05 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP4550559B2 (ja) 2004-11-24 2010-09-22 シャープ株式会社 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP4637642B2 (ja) 2005-05-18 2011-02-23 株式会社日立ハイテクノロジーズ パターン間の欠陥検査装置および方法
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
TW200916764A (en) * 2007-09-05 2009-04-16 Nikon Corp Monitoring apparatus, monitoring method, inspecting apparatus and inspecting method
JP2009032273A (ja) 2008-08-29 2009-02-12 Olympus Corp 分類装置
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP5695924B2 (ja) * 2010-02-01 2015-04-08 株式会社ニューフレアテクノロジー 欠陥推定装置および欠陥推定方法並びに検査装置および検査方法
JP5804834B2 (ja) * 2011-08-03 2015-11-04 株式会社オービット 検査プログラム、同プログラムを格納した記録媒体及び検査装置
DE102012101242A1 (de) * 2012-02-16 2013-08-22 Hseb Dresden Gmbh Inspektionsverfahren
JP5944850B2 (ja) * 2013-03-11 2016-07-05 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
JP5759085B2 (ja) * 2013-03-28 2015-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
JP6389651B2 (ja) * 2013-09-10 2018-09-12 Juki株式会社 検査方法、実装方法、及び実装装置
US9710728B2 (en) * 2014-10-28 2017-07-18 Kla-Tencor Corporation Image based signal response metrology
JP2016091359A (ja) 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2016139467A (ja) * 2015-01-26 2016-08-04 株式会社日立ハイテクノロジーズ 試料観察方法および試料観察装置
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
CN105426902B (zh) 2015-09-16 2019-06-25 西安印钞有限公司 基于形变复原技术的钞券质量检测系统及方法
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US9915625B2 (en) * 2016-01-04 2018-03-13 Kla-Tencor Corp. Optical die to database inspection
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
WO2018039904A1 (zh) * 2016-08-30 2018-03-08 深圳大学 一种基于块稀疏压缩感知的红外图像重构方法及其系统
US10031997B1 (en) * 2016-11-29 2018-07-24 Taiwan Semiconductor Manufacturing Co., Ltd. Forecasting wafer defects using frequency domain analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020033449A1 (en) * 2000-06-27 2002-03-21 Mamoru Nakasuji Inspection system by charged particle beam and method of manufacturing devices using the system
TW201026419A (en) * 2008-11-13 2010-07-16 Olympus Corp Defect correction device
CN102881029A (zh) * 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
TW201638654A (zh) * 2015-04-30 2016-11-01 力晶科技股份有限公司 偵測微影熱點的方法

Also Published As

Publication number Publication date
WO2018105028A1 (ja) 2018-06-14
TW201821788A (zh) 2018-06-16
JP6241576B1 (ja) 2017-12-06
KR20190065457A (ko) 2019-06-11
CN110036279B (zh) 2022-03-15
JPWO2018105028A1 (ja) 2018-12-06
US11645744B2 (en) 2023-05-09
KR102011628B1 (ko) 2019-08-16
CN110036279A (zh) 2019-07-19
US20210295485A1 (en) 2021-09-23
DE112016007498B4 (de) 2020-11-26
DE112016007498T5 (de) 2019-08-29

Similar Documents

Publication Publication Date Title
TWI638157B (zh) Inspection device and inspection method
JP6547275B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Fang et al. No reference quality assessment for screen content images with both local and global feature representation
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
Yang et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
Sankur et al. Statistical evaluation of image quality measures
JP5290227B2 (ja) 対象物検知装置及びその学習装置
JP5146797B2 (ja) パターン欠陥検査のための装置、その方法及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
US20160196634A1 (en) Information processing apparatus, control method of the same, and video camera
JP2020047010A (ja) 情報推定装置及び情報推定方法
CN117274258A (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
JP2018124990A (ja) モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
JP7409606B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
AU2021240188B1 (en) Face-hand correlation degree detection method and apparatus, device and storage medium
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
Shang et al. Image quality assessment based on joint quality-aware representation construction in multiple domains
CN115619698A (zh) 电路板缺陷的检测方法、装置及模型训练方法
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
JP7386287B1 (ja) 検査方法及び検査装置
Khosravi et al. A content recognizability measure for image quality assessment considering the high frequency attenuating distortions
JP7409607B2 (ja) 画像処理装置、画像処理方法およびプログラム