TWI719357B - 異常檢查裝置以及異常檢查方法 - Google Patents

Abstract

包括圖像取得部(11)，取得拍攝檢查對象的對象物(3)的判定對象圖像；學習結果取得部(123)，取得以拍攝正常狀態的對象物(3)的正常圖像作為教師資料實行圖像的範圍順轉換或圖像的範圍逆轉換的機械學習結果；判定對象圖像解析部(122)，對於判定對象圖像，利用機械學習結果，依序實行範圍順轉換以及範圍逆轉換，取得範圍轉換後圖像；以及判定部(14)，比較判定對象圖像以及範圍轉換後圖像，對於判定對象圖像中拍攝的對象物(3)，判定是否發生異常。

Description

異常檢查裝置以及異常檢查方法

此發明，係關於檢查物體是否發生異常的異常檢查裝置以及異常檢查方法。

藉由解析以攝影機等拍攝物體得到的圖像，機械自動檢查物體是否發生異常的技術，例如，為了自動化或省力化根據工業製品的製造過程中進行的目視的外觀檢查，係重要的技術。

例如，專利文件1中，揭示檢查裝置，關於相同規格的複數的對象物中從既定數個別取得的數位圖像，具有相同座標的每一畫素算出特性的統計量，作成設定良畫素範圍，對於從要檢查的對象物取得的數位圖像，判定每一畫素特性是否屬於設定良畫素範圍。

[先行技術文件]

[專利文件]

[專利文件1]日本專利第2013-32995號公開公報

專利文件1揭示的技術代表習知技術中，拍攝對象物之際，對象物與攝影機的位置關係必須總是固定。又，全部的圖像必須高精度位置相合。因此，進行異常判定之際，具有以下的課題，受到攝影條件不同，或者，正常 範圍內的不均引起的圖像間的差異產生的影響。

因為此發明係用以解決如上述的課題而形成，目的的在於提供不會受到攝影條件不同，或者正常範圍內的不均引起的圖像間的差異產生的影響，可以檢查對象物的異常之檢查裝置以及異常檢查方法。

根據本發明的異常檢查裝置，包括圖像取得部，取得拍攝檢查對象的對象物的判定對象圖像；學習結果取得部，取得以拍攝正常狀態的對象物的正常圖像作為教師資料實行之圖像的範圍順轉換或圖像的範圍逆轉換的機械學習結果；判定對象圖像解析部，對於圖像取得部取得的判定對象圖像，利用學習結果取得部取得的機械學習結果，依序實行範圍順轉換以及範圍逆轉換，取得範圍轉換後圖像；以及判定部，比較圖像取得部取得的判定對象圖像以及判定對象圖像解析部取得的範圍轉換後圖像，對於判定對象圖像中拍攝的對象物，判定是否發生異常。

根據本發明，不會受到攝影條件不同，或者，正常範圍內的不均引起的圖像間的差異產生的影響，可以檢查對象物的異常。

1、1a‧‧‧異常檢查裝置

2‧‧‧攝影機

3‧‧‧對象物

4‧‧‧輸出入裝置

10‧‧‧控制部

11‧‧‧圖像取得部

12‧‧‧圖像解析部

13‧‧‧記憶部

14‧‧‧判定部

15‧‧‧輸出入部

16‧‧‧異常解析部

121‧‧‧正常圖像解析部

122‧‧‧判定對象圖像解析部

123‧‧‧學習結果取得部

901‧‧‧區域

1101‧‧‧處理電路

1102‧‧‧HDD(硬碟驅動器)

1103‧‧‧輸入界面裝置

1104‧‧‧輸出界面裝置

1105‧‧‧CPU(中央處理單元)

1106‧‧‧記憶體

211‧‧‧區域範圍的圖像

2101‧‧‧基板區域

2102‧‧‧配線區域

2103‧‧‧IC區

2014‧‧‧接合盒

[第1圖]係顯示根據第一實施形態的異常檢查裝置的構成例圖；[第2圖]係用以說明關於圖像的範圍轉換之圖；[第3圖]係顯示照片範圍與區域範圍以外的範圍圖像實例圖；[第4圖]係顯示利用神經網路進行圖像的範圍轉換狀態圖；[第5圖]係第一實施形態中，用以說明關於判定對象圖像解析部對於判定對象圖 像進行的範圍轉換圖；[第6圖]係顯示第一實施形態中，判定對象圖像發生異常時，判定對象圖像與範圍轉換後圖像的一實例圖；[第7圖]係第一實施形態中，判定對象圖像是正常圖像時，用以說明關於判定對象圖像與範圍轉換後圖像的差異絕對值圖；[第8圖]係用以說明第一實施形態中，判定對象圖像發生異常時，用以說明關於判定對象圖像與範圍轉換後圖像的差異絕對值圖；[第9圖]係用以說明第一實施形態中，判定部對於差異圖像進行臨界值處理得到的結果的一實例圖；[第10圖]係用以說明第一實施形態中，記憶部中記憶作為接合條件的2次元光罩的一實例圖，第10B圖顯示2次元光罩的圖像，第10A圖，顯示重疊第10B圖所示的2次元光罩在判定對象圖像上的圖像。

[第11圖]第11A、11B圖，顯示發明的第一實施形態的異常檢查裝置的硬體構成的一實例圖；[第12圖]係第一實施形態中，用以說明「學習模式」中的異常檢查裝置的動作之流程圖；[第13圖]係第一實施形態中，詳細說明正常圖像解析部以第12圖的步驟ST1202實施的範圍轉換學習處理之流程圖；[第14圖]係第一實施形態中，用以說明「檢查模式」中的異常檢查裝置的動作之流程圖；[第15圖]係第一實施形態中，詳細說明判定對象圖像解析部以第14圖的步驟ST1402實施的範圍轉換後圖像取得處理之流程圖；[第16圖]係第一實施形態中，詳細說明判定部以第14圖的步驟ST1403實施的異常判定處理之流程圖； [第17圖]係第一實施形態中，輸出入裝置接收從輸出入部傳送之關於判定結果的資訊，顯示器顯示的顯示畫面的圖像之一實例圖。

[第18圖]係第一實施形態中，用以說明輸出入裝置接收從輸出入部傳送之關於判定結果的資訊，顯示器上顯示的顯示畫面的圖像的另一實例圖；[第19圖]係第一實施形態中，用以說明輸出入裝置接收從輸出入部傳送之關於判定結果的資訊，顯示器上顯示的顯示畫面的圖像的另一實例圖；[第20圖]係顯示第二實施形態的異常檢查裝置的構成例圖；[第21圖]係第二實施形態中，異常解析部，顯示重疊接合盒與區域範圍的圖像之圖像的一實例圖像圖；[第22圖]係第二實施形態中，用以說明「檢查模式」中的異常檢查裝置的動作之流程圖；以及[第23圖]係第二實施形態中，詳細說明異常解析部以第22圖的步驟ST2204實施的異常解析處理之流程圖。

以下，關於此發明的實施形態，邊參照圖面，邊詳細說明。

[第一實施形態]

以下的說明中，成為第一實施形態的異常檢查裝置1判定異常的對象之判定對象圖像(詳細後述)中，拍攝的檢查對象物體，稱作「對象物」。對象物，例如，包含電路基板或配線等，至少可以外觀檢查的所有物體。

第1圖係顯示根據第一實施形態的異常檢查裝置1的構成例圖。

異常檢查裝置1，例如，經由網路，與攝影機2以及輸出入裝置4連接。

異常檢查裝置1，從攝影機2，取得拍攝對象物3拍攝的圖像，判定對象物是否發生異常，輸出判定結果至輸出入裝置4。以下，拍攝對象物3的圖像，稱作 「拍攝圖像」。

輸出入裝置4，例如，包括顯示器、揚聲器、鍵盤或滑鼠等。

又，第一實施形態中，如第1圖所示，異常檢查裝置1，形成經由網路連接攝影機2以及輸出入裝置4的構成，但這不過是一例，異常檢查裝置1，形成包括攝影機2以及輸出入裝置4的構成也可以。

異常檢查裝置1，包括控制部10、圖像取得部11、圖像解析部12、記憶部13、判定部14以及輸出入部15。

圖像解析部12，具有正常圖像解析部121、判定對象圖像解析部122以及學習結果取得部123。

控制部10，控制圖像取得部11、圖像解析部12、判定部14以及輸出入部15的動作。

圖像取得部11，經由網路，從攝影機2取得拍攝圖像。

圖像取得部11，從攝影機2接收拍攝圖像的時機，例如1秒30次等，可以是預定的，也可以是根據控制部10的指示決定的。又，在此，以數位化圖像取得部11取得的拍攝圖像為前提，但不一定限於此。

圖像取得部11，輸出取得的拍攝圖像至圖像解析部12。

圖像解析部12，進行對應2個動作模式的處理。

第一實施形態中，異常檢查裝置1，實施2個動作模式。異常檢查裝置1實施的2個動作模式分別為「學習模式」與「檢查模式」。

異常檢查裝置1，在「學習模式」中，根據拍攝不包含異常的正常狀態的對象物3之1枚以上的拍攝圖像，利用機械學習，學習應怎樣做對象物3在正常狀態中的範圍轉換。後述關於範圍轉換。

以下，拍攝圖像中，拍攝不包含異常的正常狀態的對象物3之拍攝圖像稱作「正常圖像」。

又，異常檢查裝置1，「檢查模式」中，根據拍攝對象物3的拍攝圖像，判定上述拍攝圖像中拍攝的對象物3是否發生異常。以下，拍攝圖像中，成為判定異常是否發生的對象之拍攝圖像，稱作「判定對象圖像」。

異常檢查裝置1中，「檢查模式」，在「學習模式」的動作結束後進行。

又，「學習模式」中，以對象物3不包含異常的正常狀態為前提。因此，「學習模式」中，圖像取得部11取得的拍攝圖像全部是正常圖像。

異常檢查裝置1，如果是相同種類的物體的話，以複數的不同物體為對象物3，從攝影機2儘量取得在正常狀態下拍攝不同的複數的對象物3的正常圖像，學習對象物3的正常狀態也可以。

又，「學習模式」中，攝影機2，作為機械學習用，除了正常圖像之外，還取得對應上述正常圖像的其他圖像的圖像。後述關於其他範圍的圖像的細節。

圖像解析部12的正常圖像解析部121，進行對應「學習模式」的處理，圖像解析部12的判定對象圖像解析部122以及學習結果取得部123，進行對應「檢查模式」的處理。

圖像解析部12的正常圖像解析部121，在「學習模式」中，從圖像取得部11，取得指定的張數(例如，1000張)的正常圖像，根據取得的正常圖像實施範圍轉換學習處理。

所謂範圍轉換學習，學習應怎樣進行對象物3在正常狀態中的範圍轉換之機械學習。

正常圖像解析部121進行範圍轉換學習之際使用的正常圖像張數，預先指定也可以，由控制部10指定也可以。

具體而言，例如，如果正常圖像張數是預先指定的張數時，正常圖像解析部121，從圖像取得部11取得的正常圖像張數，達到預先指定的張數時，結束正常圖像的取得。

又，例如，如果是正常圖像張數是根據控制部10指示的張數時，正常圖像解析部121，直到從控制部10輸出圖像取得結束指示為止，可以繼續取得從圖像取得部11輸出的正常圖像。正常圖像解析部121，當控制部10輸出圖像取得結束指示時，結束正常圖像的取得。控制部10，從使用者接受圖像取得結束指示。具體而言，例如，使用者，從輸出入裝置4，輸入圖像取得結束指示。控制部10，接受輸入的圖像取得結束指示，對於正常圖像解析部121，輸出圖像取得結束指示。

在此，說明關於圖像的範圍轉換。

第2圖係用以說明關於圖像的範圍轉換之圖。

所謂圖像的範圍，是圖像的類型，所謂圖像的範圍轉換，係將某範圍的圖像轉換為與上述某範圍不同範圍的圖像。

第2圖中，作為範圍的實例，顯示以一般攝影機拍攝電路基板得到的圖像(照片範圍的圖像。參照第2圖的201)、以及分離電路基板上每一元件的區域範圍的圖像(參照第2圖的202)。第一實施態中，圖像取得部11從攝影機2取得的拍攝圖像，係照片範圍的圖像。

第2圖的區域範圍的圖像的實例中，顯示電路基板上的基板區域(參照第2圖的2021)、配線區域(參照第2圖的2022)、IC區域(參照第2圖的2023)。

範圍轉換中，轉換照片範圍的圖像，取得區域範圍的圖像後，也可以再度轉換上述區域範圍的圖像，取得照片範圍的圖像。

如第2圖所示，例如，從照片範圍的圖像到區域範圍的圖像的範圍轉換，稱作「範圍順轉換」，從區域範圍的圖像到照片範圍的圖像的範圍轉換，稱作「範圍逆轉換」。

又，第2圖中，雖然敘述關於照片範圍的圖像與區域範圍的圖像，但可以舉出各種範圍，作為圖像的範圍。

第3圖，係顯示照片範圍與區域範圍以外的範圍圖像實例。

第3圖所示的邊緣範圍的圖像(參照第3圖的301)，係從照片範圍的圖像只抽出邊緣的圖像。又，第3圖所示的CAD(電腦輔助設計)範圍的圖像(參照第3圖的302)，利用CAD軟體描繪的圖像。

上述圖像的範圍轉換，可以根據利用神經網路的機械學習高精度實行係眾所周知的(例如，參照非專利文件1)。

[非專利文件1]Phillip Isola, Jun-Yan Zhu, Tinghui, Zhou, and Alexei A. Efros, “Image-to-Image Translation with Conditional Adversarial Nets，(利用條件產生對抗網路的圖像翻譯)” Conference on Computer Vision and Pattern Recognition(電腦視覺和圖形辨識會議)(2017).

在此，第4圖，顯示利用神經網路進行圖像的範圍轉換的狀態圖。

第4圖，例如，顯示利用神經網路，在照片範圍的圖像與區域範圍的圖像之間進行圖像的範圍轉換的狀態。

又，第4圖中顯示，神經網路中，也使用熟知特別發揮高效圖像處理的疊入神經網路，進行圖像的範圍轉換的狀態。

疊入神經網路，是神經網路的一種，重複疊入多數的過濾器至輸入圖像，使空間方向的次元數或頻道數改變的同時，最後得到所希望的結果。

第4圖中，例如，表示過濾器的橫方向長度為W，高度為H，頻道數為C。

考慮各種神經網路的構成。第4圖所示的範圍轉換中使用的神經網路實例中，首先，邊重複疊入邊削減空間方向的次元的同時，使頻道數增加後，削減頻道數的同時使空間方向的次元增加。根據此變換，最後，得到具有輸入圖像的次元數與頻道數一致的次元數與頻道數之輸出圖像。

又，第4圖所示的範圍轉換的狀態始終是一實例，範圍轉換，不限於使用神經網路進行。

又，使用範圍轉換神經網路時，使用的神經網路，不限於疊入神經網路。作為範圍轉換使用的神經網路，例如，可以任意使用全結合神經網路，或者組合疊入神經網路與全結合神經網路的神經網路等。

正常圖像解析部121，分別關於範圍轉換學習使用的1以上的正常圖像，取得對應的其他範圍的圖像，使神經網路進行用以進行範圍順轉換及範圍逆轉換的學習。因為正常圖像是照片範圍的圖像，所謂上述其他範圍的圖像，成為照片範圍以外的範圍的圖像。第4圖的實例中，其他範圍的圖像，係區域範圍的圖像。

正常圖像解析部121，使用正常圖像與其他範圍的圖像作為教師資料，使神經網路實行用以進行從照片範圍的圖像的正常圖像到區域範圍的圖像之範圍順轉換以及從區域範圍的圖像到正常圖像之範圍逆轉換的學習。

在此，所謂神經網路的學習，係對於學習用的資料，為了得到所希望的結果，最優化網路的各邊緣中的重疊，疊入神經網路時，相當於最優化過濾器的係數。範圍順轉換中，為了接近轉換輸入的正常圖像的結果對應之區域範圍的圖像，進行學習，逆轉換中，為了接近轉換輸入的區域範圍的圖像的結果對應之正常圖像，進行學習。又，用以順轉換的神經網路與用以逆轉換的神經網路，可以是完全相同的構成，不同的構成也沒關係。

又，正常圖像解析部121，可以以對圖像的過濾處理等，取得對應的其他範圍的圖像。例如，對應的其他範圍的圖像，假設為邊緣的圖像時，對於轉換源的圖像的正常圖像，由於應用邊緣檢出過濾器，可以取得轉換器的圖像的其他範圍的圖像。另外，例如，使用者，預先產生對應的其他範圍的圖像，使正常圖像解析部121取得預先產生的其他範圍的圖像也可以。例如，對應的其他範圍的圖像，假設是每一區域分割正常圖像的圖像時，使用者對於正常圖像使用圖像編集軟體等進行區域分割，可以產生其他的範圍的圖像。

正常圖像解析部121，範圍轉換學習後，作為學習結果，使記憶部13記憶規定進行範圍順轉變以及範圍逆轉變的神經網路的構成之資訊。

圖像解析部12使記憶部13記憶。所謂規定神經網路的構成之資訊，重現學習時的神經網路的輸出入充分需要的資訊。如此的資訊中，具體而言，神經網路的隱藏層數或各層中的單元數等，包含關於神經網路構造的資訊與經由學習得到的資訊分量。

圖像解析部12的判定對象圖像解析部122，「檢查模式」中，從圖像取得部11，取得指定的張數(例如，1張)的拍攝圖像，根據各個上述拍攝圖像，實施範圍轉換後圖像取得處理。以下，判定對象圖像解析部122從圖像取得部11取得的拍攝圖像之中，在「檢查模式」中，為了判定成為異常判定對象的對象物3的異常取得的圖像，稱作「判定對象圖像」。判定對象圖像，是使用者拍攝作為檢查對象的對象物3之拍攝圖像。範圍轉換後圖像取得處理中，判定對象圖像解析部122，關於各判定對象圖像，產生判定上述判定對象圖像中拍攝的對象物3是否發生異常之際使用的範圍轉換後圖像。之後敘述關於範圍轉換後圖像。

具體而言，首先，判定對象圖像解析部122，從圖像取得部11，取得指定張數的判定對象圖像。

判定對象圖像解析部122，為了範圍轉換後圖像取得處理取得的判定對象圖像的張數，預先指定也可以，由控制部10指定也可以。判定對象圖像解析部122，取得指定張數的判定對象圖像的具體方法，與正常圖像解析部121在「學習模式」中取得指定張數的正常圖像之具體方法相同。

其次，判定對象圖像解析部122，使用記憶部13中記憶的規定神經網路構成的資訊，進行對於判定對象圖像的範圍轉換。

具體而言，後述的學習結果取得部123，取得記憶在記憶部13中的規定神經 網路構成的資訊，輸出取得的資訊至判定對象圖像解析部122。判定對象圖像解析部122，使用從學習結果取得部123輸出的資訊，進行對於判定對象圖像的範圍轉換。

學習結果取得部123從記憶部13取得的規定神經網路構成的資訊，在「學習模式」中，係正常圖像解析部121使記憶作為學習結果的資訊。

在此，第5圖係第一實施形態中，用以說明關於判定對象圖像解析部122對於判定對象圖像進行的範圍轉換圖。

如第5圖所示，判定對象圖像解析部122，首先，以範圍順轉換轉換判定對象圖像，取得區域範圍的圖像。以下，判定對象圖像解析部122，在「檢查模式」中，對於判定對象圖像進行範圍順轉變取得的區域範圍的圖像，也稱作「範圍順轉換圖像」。又，如上述，第一實施例中，因為圖像取得部11從攝影機2取得的圖像係照片範圍的圖像，判定對象圖像也是照片範圍的圖像。

接著，判定對象圖像解析部122，根據範圍逆轉換再度轉換範圍順轉換圖像的圖像，取得照片範圍的圖像。

又，第一實施形態中，判定對象圖像解析部122，如第5圖所示，進行轉換照片範圍的圖像為區域範圍的圖像之範圍轉換。但是，這不過是一例，判定對象圖像解析部122，可以進行轉換照片範圍的圖像為任意範圍的圖像之範圍轉換。

於是，判定對象圖像解析部122，輸出從圖像取得部11取得的判定對象圖像以及對於上述判定對象圖像依序進行範圍順轉換以及範圍逆轉換取得的照片範圍的圖像至判定部14。

以下，判定對象圖像解析部122，在「檢查模式」中，對於判定對象圖像依序進行範圍順轉換以及範圍逆轉換取得的照片範圍的圖像，稱作「範圍轉換後圖像」。

又，第一實施例中，判定對象圖像解析部122，對範圍順轉換以及範圍逆轉換雙方使用神經網路，但這不過是一例。判定對象圖像解析部122，不一定對範圍順轉換以及範圍逆轉換雙方使用神經網路，只對範圍順轉換以及範圍逆轉換其中一方使用神經網路也可以。

圖像解析部12的學習結果取得部123，在「檢查模式」中，取得記憶部13中記憶的學習結果。所謂記憶部13中記憶的學習結果，係在「學習模式」中，正常圖像解析部121使記憶作為學習結果之規定進行範圍順轉換以及範圍逆轉換的神經網路的構成之資訊等。

又，圖像解析部12，根據來自控制部10的指示，轉換正常圖像解析部121的「學習模式」中的動作與判定對象圖像解析部122以及學習結果取得部123的「檢查模式」中的動作。

記憶部13，記憶正常圖像解析部121在「學習模式」中進行範圍轉換學習的學習結果之規定進行範圍順轉換以及範圍逆轉換的神經網路的構成之資訊等。

又，第一實施例中，如第1圖所示，記憶部13，包括在異常檢查裝置1內，但不限於此，記憶部13，也可以包括在異常檢查裝置1的外部之異常檢查裝置1可參照之場所。

判定部14，在「檢查模式」中，取得從判定對象圖像解析部122輸出的判定對象圖像以及範圍轉換後圖像，比較取得的判定對象圖像與範圍轉換後圖像，進行判定判定對象圖像中拍攝的對象物3是否發生異常之異常判定處理。

在此，說明關於使用範圍轉換的異常檢查的原理。

首先，「學習模式」中，正常圖像解析部121，使用正常圖像以及對應上述正常圖像的其他範圍的圖像，使神經網路學習。因此，在「檢查模式」，判定 對象圖像是正常圖像時，根據上述判定對象圖像的範圍轉換後圖像，與從圖像取得部11取得的判定對象圖像大致一致(參照第5圖)。

另一方面，「檢查模式」中，判定對象圖像中拍攝的對象物3發生異常時，上述判定對象圖像，與正常圖像解析部121使神經網路學習之際使用的正常圖像，成為拍攝的對象物3的狀態不同的圖像。因此，對於判定對象圖像進行範圍順轉換時，關於對象物3中的異常部分不進行正確的範圍順變化。又，最後得到的範圍轉換後圖像，好像正常圖像似地成為復原的圖像。即，在判定對象中拍攝的對象物3中的異常處，判定對象物圖像與範圍轉換後圖像，會產生差異(參照第6圖)。

判定部14，利用使用如上述的範圍轉換的異常檢查的原理，判定是否判定對象圖像中拍攝的對象物3發生異常。

判定部14，由於比較判定對象圖像與範圍轉換後圖像，可以檢出判斷對象圖像中拍攝的對象物3有無異常以及異常處。

判定部14，說明關於判定是否判定對象圖像中拍攝的對象物3發生異常的具體方法。

首先，判定部14，在從判定對象圖像解析部122取得的判定對象圖像與範圍轉換後圖像之間，算出畫素值的差異絕對值。

具體而言，判定部14，在分別構成判定對象圖像與範圍轉換後圖像的複數的畫素中，算出在互相對應的位置的複數的畫素中的各畫素的畫素值間的差異絕對值。又，第一實施形態中，所謂畫素值，明亮度(亮度值)。

判定對象圖像是正常圖像時，因為判定對象圖像與範圍轉換後圖像之間幾乎沒差異，判定對象圖像與範圍轉換後圖像之間的差異絕對值，在圖像全體大致為零(參照第7圖)。

另一方面，判定對象圖像中拍攝的對象物3發生異常時，因為判定對象圖像 與範圍轉換後圖像之間異常處出現差異，判定對象圖像與範圍轉換後圖像之間的差異絕對值，只有異常處變大(參照第8圖)。

判定部14，根據算出的判定對象圖像與範圍轉換後圖像之間的差異絕對值，產生以上述差異絕對值顯示判定對象圖像的圖像。

以下，以上述判定對象圖像與範圍轉換後圖像之間的差異絕對值，顯示判定對象圖像的各畫素的圖像，稱作「差異圖像」。

判定部14，根據產生的差異圖像，如以下說明，對於判定對象圖像中拍攝的對象物3進行是否發生異常的判定。

判定部14，對於差異圖像進行臨界值處理，以差異絕對值未達臨界值的畫素值為0，以差異絕對值在臨界值以上的畫素值為1。又，這不過是一例，判定部14，以差異絕對值未達臨界值的畫素值為1，以差異絕對值在臨界值以上的畫素值為0也可以，差異絕對值未達臨界值的畫素值與差異絕對值在臨界值以上的畫素值，分別使用1或0以外的值也可以。

判定部14，進行對於差異圖像的臨界值處理之際的臨界值，只要以適當的方法決定即可。例如，判定部14，根據來自控制部10的指示決定臨界值。具體而言，例如，使用者，從輸出入裝置4輸入臨界值，控制部10接收輸入的臨界值。判定部14，將控制部10接收的臨界值，決定為在進行臨界值處理之際使用的臨界值。

又，使用者等，使記憶部13先記憶臨界值，判定部14利用記憶部13記憶的臨界值進行臨界值處理也可以。

又，判定部14，根據差異值的分佈等決定適當的差異值也可以。又，適當決定臨界值的方法，例如，由以下的非專利文件2揭示。

[非專利文件2]Nobuyuki Otsu, “A Threshold Selection Method from Gray-Level Histograms(根據灰階直方圖的臨界選擇法)，” IEEE Trans. on Systems, Man, and cybernetics(系統、人、電腦控制學)，1979.

非專利文件2揭示的方法中，決定某臨界值時，假設具有其臨界值以上的畫素值之畫素集合為等級1，除此以外的畫素集合為等級2，根據等級1與等級2的畫素值，求出等級間分散與等級內分散，並決定臨界值，使根據這些值計算的分離度成為最大。

判定部14，將進行臨界值處理的結果，分區為由差異絕對值未達臨界值的畫素集合形成的區域及由差異絕對值在臨界值以上的畫素集合形成的區域，求出外接臨界值以上的區域的矩形(以下稱作「接合盒」)。於是，判定部14，判定接合盒存在之處為判定對象圖像中存在異常的區域。

又，判定部14，進行臨界值處理的結果，由差異絕對值在臨界值以上的畫素集合形成的區域不存在時，判定為判定對象圖像中拍攝的對象物3中未發生異常。

以此方式，判定部14，對於比較從判定對象圖像解析部122輸出的判定對象圖像與範圍轉換後圖像產生的差異圖像進行臨界值處理，判定是否判定對象圖像拍攝的對象物3發生異常。

在此，第9圖，在第一實施形態中，用以說明判定部14對於差異圖像進行臨界值處理得到的結果的一實例圖。

第9圖的901所示的區域，在差異圖像中，顯示判定部14判定未達臨界值的區域，第9圖的902所示的區域，在差異圖像中，顯示判定部14判定臨界值以上的區域。

第9圖的903所示的矩形，係接合盒。判定對象圖像中，接合盒存在的位置，將稱作攝影的對象物3發生異常的位置。

判定部14，如上述，將關於判定是否判定對象圖像中拍攝的對象物3發生異常之判定結果的資訊輸出至輸出入部15。

關於判定結果的資訊中，至少包含，有異常或無異常等，特定是否發生異常的資訊以及判定對象圖像的資訊。

又，判定為判定對象圖像中拍攝的對象物3發生異常時，判定部14將關於接合盒的資訊包含在關於判定結果內，輸出至輸出入部15。

所謂關於接合盒的資訊，例如，顯示接合盒的圖像上，左上的點座標、接合盒的縱寬或接合盒的橫寬等的資訊。

判定部14，輸出差異圖像至輸出入部15也可以。

又，判定部14，無視有關對於接合盒的位置或大小不滿足預定的條件(以下稱作「接合盒條件」)的接合盒，不判定為發生異常之處也可以。在此情況下，判定部14，輸出至輸出入部15，關於判定結果的資訊中，儘量包含無異常的主旨的資訊，且不包含關於接合盒的資訊。藉此，差異圖像中，可以防止應成為判定是否發生異常的對象之對象區域範圍外的異常誤偵知或雜訊引起的異常誤偵知

又，判定部14，只要以適當的方法決定接合盒條件即可。

例如，判定部14，根據來自控制部10的指示，可以決定接合盒條件。具體而言，使用者從輸出入裝置4輸入接合盒條件，控制部10接受輸入的接合條件，指示判定部14。

又，例如，使用者等預先使記憶部13記憶接合條件，判定部14根據記憶部13記憶的接合條件，判定接合盒存在異常也可以。

記憶部13內記憶的接合條件，例如，以下的條件。

．接合盒的縱寬在10畫素以上

．接合盒的橫寬在10畫素以上

．用以限定對象區域的2次元光罩

在此，第10圖，係第一實施例中，用以說明記憶部13中記憶作為 接合條件的2次元光罩的一實例圖。第10B圖顯示2次元光罩的圖像，第10A圖顯示重疊第10B圖中所示的2次元光罩的圖像至判定對象圖像之圖像。

第10B圖的2次元光罩中，第10B圖的1001所示的區域顯示對象區域。判定部14，根據判定對象圖像產生的差異圖像中，無視第10B圖的1002所示的對象區域外檢出的接合盒。

回到第1圖的說明。

輸出入部15，傳送從判定部14輸出之關於判定結果的資訊至輸出入裝置4。

輸出入裝置4，接收從輸出入部15傳送的資訊，在例如顯示器顯示接收的資訊。

使用者，確認輸出入裝置4的顯示器，檢查對象物3是不是不在異常狀態。

第一實施形態中，作為一例，輸出入裝置4是例如具有顯示器的PC(個人電腦)。

關於輸出入裝置4中使顯示器顯示關於判定結果的資訊時的畫面例，在後述的動作說明中，利用圖面說明。

又，第一實施形態中，輸出入部15，傳送關於判定結果的資訊至輸出入裝置4，這不過是一例，輸出入部15，將關於判定結果的資訊，傳送給例如外部的控制裝置等也可以。

第11A、11B圖，係顯示第一實施形態的異常檢查裝置1的硬體構成的一實例圖。

此發明的第一實施形態中，控制部10、圖像取得部11、圖像解析部12、判定部14的機能，以處理電路1101實現。即，異常檢查裝置1，包括處理電路1101，根據取得的圖像，判定上述圖像映現的對象物3是否發生異常，並進行輸出判定結果的控制。

處理電路1101，第11A圖所示即使是專用硬體，也可以是CPU(中央處理單 元)1105，如第11B圖所示實行收納在記憶體1106內的程式。

處理電路1101是專用硬體時，處理電路1101，相當於例如單一電路、複合電路、程式化的處理器、並聯程式化的處理器、ASIC(特殊應用積體電路)、FPGA(現場可程式化閘陣列)、或是這些的組合。

處理電路1101是CPU(中央處理單元)1105時，控制部10、圖像取得部11、圖像解析部12、判定部14的機能，以軟體、韌體或軟體與韌體的組合實現。即，控制部10、圖像取得部11、圖像解析部12、判定部14，由實行記憶在HDD(硬碟驅動器)1102、記憶體1106等的程式之CPU(中央處理單元)1105、系統LSI(大型積體)等的處理電路實現。又，也可以說記憶在HDD(硬碟驅動器)1102、記憶體1106等的程式，使電腦實行控制部10、圖像取得部11、圖像解析部12、判定部14的程序、方法。在此，所謂記憶體1106，例如，相當於RAM(隨機存取記憶體)、ROM(唯讀記憶體)、快閃記憶體、EPROM(可拭可程式化唯讀記憶體)、EEPROM(電氣可拭可程式化唯讀記憶體)等非揮發性或揮發性的半導體記憶體、磁碟、軟碟、光碟(Optical Disc)、光碟(Compact Disc)、小型碟片、DVD(數位多功能碟片)等。

又，關於控制部10、圖像取得部11、圖像解析部12、判定部14的機能，一部分以專用的硬體實現，一部分以軟體或韌體實現也可以。例如，關於控制部10，以作為專用硬體的處理電路1101實現其機能，關於圖像取得部11、圖像解析部12、判定部14，處理電路藉由讀出記憶體1106內收納的程式並實行，可以實現其機能。

記憶部13，例如，使用HDD(硬碟驅動器)1102。又，這不過是一例，記憶部13，以DVD或記憶體1106等構成也可以。記憶部13，以各種記憶媒體構成。

又，異常檢查裝置1，具有與攝影機2或輸出入裝置4等的裝置進行通訊的輸入界面裝置1103以及輸出界面裝置1104。

輸出入部15，以輸入界面裝置1103以及輸出界面裝置1104構成。

其次，說明第一實施形態的異常檢查裝置1的動作。

以下的動作說明中，分開為「學習模式」中的異常檢查裝置1的動作與「檢查模式」中的異常檢查裝置1的動作，分別說明。

首先，說明「學習模式」中的異常檢查裝置1的動作。

第12圖係第一實施形態中，用以說明「學習模式」中的異常檢查裝置1的動作之流程圖。

圖像取得部11，經由網路，從攝影機2取得拍攝圖像(步驟ST1201)。

如上述，「學習模式」中圖像取得部11取得的拍攝圖像，全部是「正常圖像」。

又，實行步驟ST1201的處理，係由控制部10從輸出入裝置4接收啟動信號及設定信號，控制使圖像取得部11取得拍攝圖像。具體而言，例如，使用者，在輸出入裝置4中，使異常檢查裝置1啟動，設定為「學習模式」。輸出入裝置4，根據來自使用者的指示，傳送異常檢查裝置1的啟動信號以及設定異常檢查裝置1為「學習模式」的設定信號至異常檢查裝置1。控制部10，接收使用者輸入的啟動信號及設定信號。

圖像取得部11，輸出取得的正常圖像至圖像解析部12的正常圖像解析部121。

正常圖像解析部121，從圖像取得部11，取得指定張數的正常圖像，根據取得的正常圖像實施範圍轉換學習處理(步驟ST1202)。

步驟ST1202的處理，係藉由控制部10對圖像解析部12指示「學習模式」中的動作實行。

在此，第13圖，在第一實施形態中，係詳細說明正常圖像解析部121以第12圖的步驟ST1202實施的範圍轉換學習處理之流程圖。正常圖像解析部 121，在第12圖的步驟ST1201中取得從圖像取得部11輸出的正常圖像時(步驟ST1301)，進行圖像取得結束判定(步驟ST1302)。

具體而言，正常圖像解析部121，判定是否取得預先指定張數之用於進行範圍轉換學習之際使用的正常圖像。

正常圖像解析部121，判定未取得預先指定張數的正常圖像時(步驟ST1303的”NO”的情況)，回到步驟ST1301，繼續取得從圖像取得部11輸出的正常圖像。

正常圖像解析部121，判定取得預先指定張數的正常圖像時(步驟ST1303的”YES”的情況)，結束正常圖像的取得，前進至步驟ST1304。

正常圖像解析部121，關於步驟ST1301中從圖像取得部11取得的各個正常圖像，取得對應的其他範圍的圖像，使神經網路實行用以進行範圍順轉換及範圍逆轉換的學習(步驟ST1304)。

正常圖像解析部121，在步驟ST1304中使神經網路學習後，作為學習結果，使記憶部13記憶規定進行範圍順變換以及範圍逆變換的神經網路的構成之資訊(步驟ST1305)。

具體而言，正常圖像解析部121，經由控制部10，使記憶部13記憶規定神經網路的構成之資訊。控制部10，對於記憶部13，給予記憶規定神經網路的構成之資訊的指示。

以此方式，「學習模式」中，異常檢查裝置1，根據從攝影機2取得的正常圖像，使之後實施的「檢查模式」使用的神經網路學習，先使規定學習的神經網路構成的資訊記憶。

其次，說明「檢查模式」中的異常檢查裝置1的動作。

第14圖係第一實施形態中，用以說明「檢查模式」中的異常檢查裝置1的動作之流程圖。

圖像取得部11，經由網路，從攝影機2取得判定對象圖像(步驟ST1401)。

進行步驟ST1401的處理，係控制部10從輸出入裝置4接收啟動信號以及設定信號，控制使圖像取得部11取得拍攝圖像。具體而言，例如，使用者在輸出入裝置4中，使異常檢查裝置1啟動，設定為「檢查模式」。輸出入裝置4，根據來自使用者的指示，傳送異常檢查裝置1的啟動信號以及設定異常檢查裝置1為「檢查模式」的設定信號至異常檢查裝置1。控制部10，接收使用者輸入的啟動信號以及設定信號。

圖像取得部11，輸出取得的判定對象圖像至圖像解析部12的判定對象圖像解析部122。

判定對象圖像解析部122，從圖像取得部11，取得指定張數的判定對象圖像，根據取得的判定對象圖像，實施範圍轉換後圖像取得處理(步驟ST1402)。

步驟ST1402的處理，係藉由控制部10對判定對象圖像解析部122指示「檢查模式」中的動作進行。

在此，第15圖，係第一實施例中，詳細說明判定對象圖像解析部122在第14圖的步驟ST1402中實施的範圍轉換後圖像取得處理之流程圖。

判定對象圖像解析部122，在步驟ST1401中取得從圖像取得部11輸出的判定對象圖像時(步驟ST1501)，進行圖像取得結束判定(步驟ST1502)。

具體而言，判定對象圖像解析部122，判定是否取得指定張數之用以判定異常的判定對象圖像。

判定對象圖像解析部122，判定未取得指定張數之判定對象圖像時，(步驟ST1503的”NO”的情況)，回到步驟ST1501，繼續取得從圖像取得部11輸出的判定對象圖像。

判定對象圖像解析部122，判定取得指定張數的判定對象圖像時(步驟ST1503的”YES”的情況)，結束判定對象圖像的取得，前進至步驟ST1504。

學習結果取得部123，記憶在記憶部13中，取得規定神經網路構成的資訊(步驟ST1504)。

學習結果取得部123，輸出取得資訊至判定對象圖像解析部122。

判定對象圖像解析部122，利用步驟ST1504中學習結果取得部123取得的資訊，進行判定對象圖像的範圍轉換(步驟ST1505)。

具體而言，判定對象圖像解析部122，對判定對象圖像依序進行範圍順轉換以及範圍逆轉換，得到範圍轉換後圖像。

於是，判定對象圖像解析部122，輸出在步驟ST1501中從圖像取得部11取得的判定對象圖像以及在步驟ST1505中得到的範圍轉換後圖像至判定部14。

回到第14圖所示的流程圖。

判定部14，在步驟ST1402中取得判定對象圖像解析部122輸出的判定對象圖像以及範圍轉換後圖像，比較取得的判定對象圖像與範圍轉換後圖像，進行異常判定處理(步驟ST1403)。

在此，第16圖係第一實施形態中詳細說明判定部14以第14圖的步驟ST1403實施的異常判定處理之流程圖。

判定部14，在第14圖的步驟ST1402中從判定對象圖像解析部122取得的判定對象圖像與範圍轉換後圖像之間，算出差異絕對值，產生差異圖像(步驟ST1601)。

判定部14，對於比較判定對象圖像與範圍轉換後圖像產生的差異圖像，進行臨界值處理，判定是否判定對象圖像中拍攝的對象物3發生異常(步驟ST1602)。

判定部14，輸出關於判定是否判定對象圖像中拍攝的對象物3發生異常之判定結果之資訊至輸出入部15。

回到第14圖所示的流程圖。

輸出入部15，在步驟ST1403中傳送從判定部14輸出之關於判定結果之資訊 至輸出入裝置4(步驟ST1404)。

「檢查模式」時，控制部10，在判定部14的異常判定處理後，對於輸出入部15，給予動作指示。

輸出入部15，傳送關於判定結果的資訊時，輸出入裝置4接收從輸出入部15傳送的資訊，在例如顯示器顯示接收的資訊。

在此，第17~19圖，係在第一實施形態中，輸出入裝置4接收從輸出入部15傳送之關於判定結果的資訊，用以說明在顯示器上顯示的顯示畫面的圖像的一實例圖。

第17圖，係從輸出入部15傳送判定部14判定判定對象圖像中拍攝的對象物3未發生異常的結果時，顯示輸出入裝置4使顯示畫面顯示的圖像的一實例。

在此情況下，輸出入裝置4，只是維持原狀在顯示器顯示判定對象圖像的同時，使顯示器顯示用以通知無異常的訊息(參照第17圖的1701)。

第17圖中，作為用以通知無異常的訊息的一實例，係顯示「OK」的文字。又，這不過是一例，輸出入裝置4只要使可以對使用者通知無異常之適當訊息顯示即可。

第18圖，顯示從輸出入部15傳送判定部14判定判定對象圖像中拍攝的對象物3發生1處異常的結果時，輸出入裝置4使顯示畫面的圖像顯示的一例。

在此情況下，輸出入裝置4，使判定對象圖像，重疊顯示異常之處(參照第18圖的1801)的同時，使顯示器顯示用以通知發生異常的訊息(參照第18圖的1802)。第18圖中，例如，輸出入裝置4，使「NG」顯示作為用以通知發生異常的訊息。

又，輸出入裝置4，使判定對象圖像，重疊顯示異常之處的同時，使顯示器於異常之處顯示用以促使注意的訊息(參照第18圖的1803)。第18圖中，例如，輸 出入裝置4，使顯示「CHECK！」，作為用以促使注意異常之處的訊息。又，輸出入裝置4，異常之處包含在關於輸出入部15傳送的判定結果的資訊內，只要根據接合盒的資訊特定即可。

又，第18圖中，作為用以通知異常發生的訊息的一例，係顯示「NG」的文字，但是這不過是一例。只要輸出入裝置4使可以通知使用者異常發生之適當訊息顯示即可。又，第18圖中，作為用以促使注意異常之處的訊息的一例，顯示「CHECK！」的文字，但是這不過是一例，只要輸出入裝置4使可以促使使用者注意異常之處之適當訊息顯示即可。

第19圖，係顯示另一例，當輸出入部15傳送判定部14判定在判定對象圖像中拍攝的對象物3發生1處異常的結果時，輸出入裝置4使顯示畫面的圖像顯示。

判定對象圖像中拍攝的對象物3發生異常時，輸出入裝置4，不是如第18圖所示地直接顯示異常之處，如第19圖所示，使顯示器顯示對判定對象圖像合成差異圖像的合成圖像也可以。

第19圖中，輸出入裝置4，例如使判定對象圖像在左側，上述合成圖像在右側並列顯示。

合成圖像中，為了顯著顯示判定對象圖像中與正常狀態的差異變大之處(參照第19圖的1901)，使用者進行異常檢查之際，可以容易把握應注目之處。

又，合成圖像的產生方法，考慮各種方法，輸出入裝置4，只要以適當的方法，產生合成圖像即可。

例如，輸出入裝置4，產生顯示差異小的部分暗、差異大的部分亮之合成圖像也可以(參照第19圖)，以藍色顯示差異小的部分，隨著差異變大，顏色顯示變紅也可以。

又，第17~19圖所示的顯示畫面的圖像不過是一例，輸出入裝置 4，使其他顯示畫面顯示也可以。例如，輸出入裝置4，使第17~19圖所示的顯示畫面組合顯示也可以。又，輸出入裝置4不是顯示器而是以揚聲器等聲音輸出裝置構成時，輸出入裝置4，例如，利用聲音或音樂等，輸出從輸出入部15傳送之關於判定結果的資訊也可以。

以此方式，「檢查模式」中，異常檢查裝置1，關於從攝影機2取得的判定對象圖像，利用預先學習之規定神經網路的構成之資訊，藉由進行範圍轉換，取得範圍轉換後圖像。於是，異常檢查裝置1，對於根據判定對象圖像與範圍轉換後圖像的比較產生的差異圖像，進行臨界值處理，判定是否判定對象圖像發生異常。

作為判定是否判定對象圖像中拍攝的對象物3發生異常的方法，例如，也考慮保存著過去拍攝的正常圖像，比較保存著的正常圖像與新取得的判定對象圖像的方法。但是，在那情況下，應檢出的異常之外，也出現如下所示的各種要因成為圖像間的差異。

．照明條件的不同

．攝影機2與對象物3間的位置關係不同

．正常範圍內的對象物3的不均(不應判定為異常的顏色不同，或者不應判定為異常的表面缺陷等)

區分由於上述要因產生的正常圖像與判定對象圖像的差異以及由於對象物3發生異常引起的正常圖像與判定對象圖像的差異是困難的。因此，只單純比較過去拍攝的正常圖像與判定對象圖像，不能高精度檢出異常。

為了使正常圖像與判定對象圖像的差異檢出精度提高，例如，對攝影系統花心思，也考慮照明條件以及儘量保持攝影機2與對象物3間的位置關係。但是，即使那樣，也需要用以覆蓋攝影機2或對象物3周圍的遮光板，或用以高精度決定攝影機2或對象物3位置的治具等，具有招致攝影系統的高成本化的問題。

相對於此，第一實施形態的異常檢查裝置1的圖像解析部12，使用預先學習的神經網路，直接利用判定對象圖像取得範圍轉換後圖像，判定部14，根據判定對象圖像與範圍轉換後圖像的比較，判定上述判定對象圖像是否發生異常。

因此，不受如上述的拍攝條件不同或者正常範圍內的不均引起的圖像間的差異影響的高精度異常判定成為可能。

又，異常檢查裝置1，因為不必對象物與攝影機的確實固定或高精度的位置決定裝置等，可以制止導入成本的增加。

如上述，根據此第一實施形態，異常檢查裝置1，構成為包括圖像取得部11，取得拍攝檢查對象的對象物3的判定對象圖像；學習結果取得部123，取得以拍攝正常狀態的對象物3的正常圖像作為教師資料實行的圖像的範圍順轉換或圖像的範圍逆轉換的機械學習結果；判定對象圖像解析部122，對於圖像取得部11取得的判定對象圖像，利用學習結果取得部123取得的機械學習結果，依序實行範圍順轉換以及範圍逆轉換，取得範圍轉換後圖像；以及判定部14，比較圖像取得部11取得的判定對象圖像以及判定對象圖像解析部122取得的範圍轉換後圖像，判定是否判定對象圖像中拍攝的對象物3發生異常。因此，不受攝影條件的不同，或者，正常範圍內的不均引起的圖像間差異產生的影響，可以檢查對象物的異常。

又，使用者等，例如，在判定對象圖像中，不必詳細定義異常是怎樣的狀態，也可以廣泛應用於任何異常。

又，學習模式中，使用對象物與攝影機的位置關係不固定的複數的圖像，也可以進行機械學習。進行如此的機械學習時，檢查模式中，達到可以以任意的圖像為對象，不必確實固定對象物與攝影機或高精度位置決定的效果。

第二實施形態

第一實施形態中，異常檢查裝置1，根據正常圖像預先使神經網路的構成學習，利用學習結果，判定是否判定對象圖像中拍攝的對象物3發生異常。

第二實施形態中，說明關於異常檢查裝置1a更進行解析在判定對象圖像中拍攝的對象物3發生的異常的實施形態。

第20圖係第二實施形態的異常檢查裝置1a的構成例圖。

第20圖所示的異常檢查裝置1a，與在第一實施形態利用第1圖說明的異常檢查裝置1，不同點為包括異常解析部16。異常檢查裝置1a，除了異常解析部16以外的構成，因為與第一實施形態的異常檢查裝置1相同，相同的構成附上相同的符號，省略重複的說明。

第二實施形態的異常檢查裝置1a，在「檢查模式」中，圖像解析部12的判定對象圖像解析部122，對於判定部14，除了判定對象圖像以及範圍轉換後圖像之外，還輸出藉由範圍順轉換判定對象圖像取得的範圍順轉換圖像(參照第5、6圖)。

判定部14，在「檢查模式」中，取得判定對象圖像解析部122輸出的判定對象圖像、範圍順轉換圖像以及範圍轉換後圖像。判定部14，比較判定對象圖像與範圍轉換後圖像進行異常判定處理時，輸出關於判定結果的資訊至異常解析部16。此時，判定部14，隨著關於判定結果的資訊，輸出從判定對象圖像解析部122取得的範圍順轉換圖像至異常解析部16。

又，判定部14的異常判定處理的具體內容，因為與第一實施形態說明相同，省略重複的說明。

異常解析部16，在「檢查模式」中，根據關於從判定部14輸出的判定結果的資訊與範圍順轉換圖像，進行異常解析處理，輸出關於異常解析結果的資訊至輸出入部15。

具體而言，異常解析部16，從判定部14，輸出關於判定對象圖像中拍攝的 對象物3發生異常的宗旨之判定結果的資訊時，例如，藉由重疊接合盒與範圍順轉換圖像，解析異常在判定對象圖像中的哪個區域發生。

又，關於接合盒的資訊，包含在從判定部14輸出之關於判定結果的資訊內。

例如，第二實施例中，範圍順轉換圖像，假設為範圍順轉換判定對象圖像取得的區域範圍的圖像，異常解析部16，重疊接合盒與區域範圍的圖像(參照第21圖)。

第21圖中，第21圖的211是區域範圍的圖像，分別顯示第21圖的2101是基板區域，第21圖的2102是配線區域，第21圖的2103是IC區，第21圖的2014是接合盒。

第21圖所示的實例中，在配線區域發生異常。此時，異常解析部16，解析為配線發生異常，將指示配線有異常的資訊，輸出至輸出入部15，作為關於異常解析結果的資訊。

此時，異常解析部16，隨著關於異常解析結果的資訊，輸出從判定部14取得之關於判定結果的資訊至輸出入部15。

又，從判定部14，輸出關於判定對象圖像中拍攝的對象物中3未發生異常的宗旨的判定結果之資訊時，異常解析部16，不進行異常解析，原封不動輸出關於判定結果的資訊至輸出入部15。

異常解析部16，例如，根據配線區域發生異常的資訊，讀出記憶部13內預先記憶的任意資訊，輸出讀出的資訊至輸出入部15作為關於異常解析結果的資訊也可以。

異常解析部16，從記憶部13讀出的任意資訊，例如是對於對應發生的異常之錯誤碼或發生的異常之處理指南等。

其次，說明關於第二實施形態的異常檢查裝置1a的動作。

第二實施形態的異常檢查裝置1a中，也與實施第一實施形態的異常檢查裝 置1相同，實施「學習模式」與「檢查模式」。

異常檢查裝置1a中的「學習模式」中的具體動作，因為與第一實施形態中，利用第12及13圖說明之異常檢查裝置1中的「學習模式」中的具體動作相同，省略重複的說明。

以下，說明關於第二實施形態的異常檢查裝置1a中的「檢查模式」中的動作。

第22圖係第二實施形態中，用以說明「檢查模式」中的異常檢查裝置1a的動作之流程圖。

圖像取得部11，經由網路，從攝影機2取得判定對象圖像(步驟ST2201)。步驟ST2201中的圖像取得部11的具體動作，與第一實施形態說明的第14圖的步驟ST1401中的圖像取得部11的具體動作相同。

圖像取得部11，輸出取得的判定對象圖像至圖像解析部12的判定對象圖像解析部122。

判定對象圖像解析部122，從圖像取得部11取得指定張數的判定對象圖像，根據取得的判定對象圖像，實施範圍轉換後圖像取得處理(步驟ST2202)。

步驟ST2202中，判定對象圖像解析部122，進行在第一實施形態中利用第15圖說明的動作。但是，步驟ST2202中，判定對象圖像解析部122對於判定部14，除了判定對象圖像以及範圍轉換後圖像，還輸出範圍順轉換圖像。

判定部14，在步驟ST2202中取得從判定對象圖像解析部122輸出的判定對象圖像、範圍轉換後圖像以及範圍順轉換圖像，比較取得的判定對象圖像與範圍轉換後圖像，進行異常判定處理(步驟ST2203)。

在步驟ST2203中，判定部14，進行在第一實施形態中利用第16圖說明的異常判定處理。

判定部14，隨著關於判定結果的資訊，輸出在步驟ST2202中從判定對象圖像解析部122取得的範圍順轉換圖像至異常解析部16。

異常解析部16，根據在步驟ST2203中從判定部14輸出之關於判定結果的資訊與範圍順轉換圖像，進行異常解析處理(步驟ST2204)。

「檢查模式」時，控制部10，在判定部14的異常判定處理後，對於異常解析部16給予動作指示。

在此，第23圖，係第二實施形態中，詳細說明異常解析部16以第22圖的步驟ST2204實施的異常解析處理之流程圖。

異常解析部16，在第22圖的步驟ST2203中，判定是否從判定部14輸出關於判定對象圖像中拍攝的對象物3發生異常之宗旨的判定結果的資訊(步驟ST2301)。

步驟ST2301中，異常解析部16，判定從判定部14輸出關於判定對象圖像中拍攝的對象物3中未發生異常之宗旨的判定結果的資訊時(步驟ST2301的”NO”的情況)，結束第23圖所示的處理，前進至第22圖的步驟ST2205。又，此時，異常解析部16，原封不動輸出從判定部14輸出之關於判定結果的資訊至輸出入部15。

步驟ST2301中，判定從判定部14輸出關於判定對象圖像中拍攝的對象物3發生異常之宗旨的判定結果的資訊時(步驟ST2301的”YES”的情況)，異常解析部16，重疊接合盒與範圍順轉換圖像，解析異常在判定對象圖像中的哪個區域發生(步驟ST2302)。於是，異常解析部16，隨著從判定部14輸出之關於判定結果的資訊，輸出關於異常解析結果至輸出入部15。

回到第22圖所示的流程圖。

輸出入部15，步驟ST2204中，傳送從異常解析部16輸出之關於判定結果的資訊至輸出入裝置4(步驟ST2205)。

輸出入部15，從異常解析部16輸出關於異常解析結果的資訊時，將關於異 常解析結果的資訊，隨著關於判定結果的資訊，傳送至輸出入裝置4。

輸出入裝置4，接收從輸出入部15傳送的資訊，在例如顯示器上顯示接收的資訊。

例如，從輸出入部15輸出關於異常解析結果的資訊時，輸出入裝置4，根據關於上述異常解析結果的資訊，顯示關於對象物3中的異常發生之處、錯誤碼或處理指南的資訊等在顯示器上。

如上述，根據第二實施形態，異常檢查裝置1a，與第一實施形態相同，不受攝影條件不同或正常範圍內的不均引起的圖像間的差異產生的影響，可以檢查對象物的異常。

又，根據第二實施形態，異常檢查裝置1a構成為更包括異常解析部16，判定對象圖像解析部122對於圖像取得部11取得的判定對象圖像，進行使用以正常圖像作為教師資料實行的機械學習結果之範圍順轉換，輸出取得的範圍順轉換圖像至判定部14，判定部14判定圖像取得部11取得的判定對象圖像中拍攝的對象物3發生異常時，利用範圍順轉換圖像，進行異常解析。因此，判定為判定對象圖像發生異常時，因為利用範圍順轉換圖像，解析判定為發生的異常，判定為異常發生時，可以提供關於上述異常的分類或處理方法之資訊。

又，以上的第一實施形態以及第二實施形態中，異常檢查裝置1、1a，在「學習模式」中，正常圖像解析部121，進行使用正常圖像的機械學習，使上述機械學習結果記憶後，「檢查模式」中學習結果取得部123取得正常圖像解析部121使記憶的機械學習結果，判定對象圖像解析部122，利用上述機械學習結果，取得範圍轉換圖像。

但是，不限於此，只要預先在異常檢查裝置1、1a的「檢查模式」的實施前，進行使用正常圖像的機械學習即可，例如，預先進行機械學習，記憶上述機械學習結果的狀態時，異常檢查裝置1、1a，形成不包括正常圖像解析部121的構 成，學習結果取得部123，也可以取得預先記憶的機械學習結果。

又，本申請發明在其發明範圍內，有可能各實施形態的自由組合，或是各實施形態的任意構成要素的變形，或是省略各實施形態中任意的構成要素。

[產業上的利用可能性]

根據此發明的異常檢查裝置，因為構成為不受拍攝條件的不同，或是正常範圍內的不均引起的圖像間的差異產生的影響，可以檢查對象物的異常，根據拍攝檢查對象的物體的圖像，可以應用於檢查上述物體有無異常的異常檢查裝置。

1‧‧‧異常檢查裝置

2‧‧‧攝影機

3‧‧‧對象物

4‧‧‧輸出入裝置

10‧‧‧控制部

11‧‧‧圖像取得部

12‧‧‧圖像解析部

13‧‧‧記憶部

14‧‧‧判定部

15‧‧‧輸出入部

121‧‧‧正常圖像解析部

122‧‧‧判定對象圖像解析部

123‧‧‧學習結果取得部

Claims (6)

1. 一種異常檢查裝置，包括：圖像取得部，取得拍攝檢查對象的對象物的判定對象圖像；學習結果取得部，取得以拍攝正常狀態的上述對象物的正常圖像作為教師資料實行圖像範圍順轉換或圖像範圍逆轉換的機械學習結果；判定對象圖像解析部，對於上述圖像取得部取得的上述判定對象圖像，利用上述學習結果取得部取得的機械學習結果，依序實行範圍順轉換以及範圍逆變換，取得範圍變換後圖像；以及判定部，比較上述圖像取得部取得的上述判定對象圖像以及上述判定對象圖像解析部取得的上述範圍轉換後圖像，判定上述判定對象圖像中拍攝的上述對象物是否異常發生；其中，上述判定對象圖像解析部，對於上述圖像取得部取得的上述判定對象圖像，進行使用以上述正常圖像為教師資料實行的機械學習結果之範圍順轉換，取得範圍順轉換圖像；上述異常檢查裝置，更包括：異常解析部，當上述判定部判定上述圖像取得部取得的上述判定對象圖像中拍攝的上述對象物發生上述異常時，利用上述範圍順轉換圖像，進行上述異常的解析。
2. 如申請專利範圍第1項所述的異常檢查裝置，其中，上述圖像取得部，除了上述判定對象圖像，還可以取得拍攝正常狀態的上述對象物之正常圖像，上述異常檢查裝置，更包括：正常圖像解析部，以上述圖像取得部取得的正常圖像作為教師資料，進行 上述機械學習；上述學習結果取得部，取得上述正常圖像解析部進行的上述機械學習結果。
3. 如申請專利範圍第1項所述的異常檢查裝置，其中，上述判定部，利用神經網路，進行上述範圍順轉換或上述範圍逆轉換。
4. 如申請專利範圍第1項所述的異常檢查裝置，其中，上述判定部，在分別構成上述判定對象圖像與上述範圍轉換後圖像的複數的畫素中，產生以絕對值表示在互相對應的位置上的複數的畫素中的各畫素的畫素值間的差異之差異圖像，判定以上述差異圖像的複數畫素中上述絕對值在臨界值以上的畫素集合形成的區域，為上述判定對象圖像中拍攝的上述對象物發生異常的區域。
5. 如申請專利範圍第1項所述的異常檢查裝置，包括：輸出入部，輸出根據上述判定部之關於上述判定對象圖像中拍攝的上述對象物是否發生異常的判定結果之資訊至顯示裝置。
6. 一種異常檢查方法，包括：圖像取得部，取得拍攝檢查對象的對象物的判定對象圖像之步驟；學習結果取得部，取得以拍攝正常狀態的上述對象物的正常圖像作為教師資料實行圖像範圍順轉換或圖像範圍逆轉換的機械學習結果之步驟；判定對象圖像解析部，對於上述圖像取得部取得的上述判定對象圖像，利用上述學習結果取得部取得的機械學習結果，依序實行範圍順轉換以及範圍逆變換，取得範圍變換後圖像之步驟；以及判定部，比較上述圖像取得部取得的上述判定對象圖像以及上述判定對象圖像解析部取得的上述範圍轉換後圖像，判定上述判定對象圖像中拍攝的上述對象物是否異常發生之步驟； 其中，上述判定對象圖像解析部，對於上述圖像取得部取得的上述判定對象圖像，進行使用以上述正常圖像為教師資料實行的機械學習結果之範圍順轉換，取得範圍順轉換圖像；上述異常檢查方法，更包括：異常解析部，當上述判定部判定上述圖像取得部取得的上述判定對象圖像中拍攝的上述對象物發生上述異常時，利用上述範圍順轉換圖像，進行上述異常的解析之步驟。

Images