TWI844868B - 異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法 - Google Patents

異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法 Download PDF

Info

Publication number
TWI844868B
TWI844868B TW111122007A TW111122007A TWI844868B TW I844868 B TWI844868 B TW I844868B TW 111122007 A TW111122007 A TW 111122007A TW 111122007 A TW111122007 A TW 111122007A TW I844868 B TWI844868 B TW I844868B
Authority
TW
Taiwan
Prior art keywords
abnormality detection
unit
input image
image
abnormality
Prior art date
Application number
TW111122007A
Other languages
English (en)
Other versions
TW202303449A (zh
Inventor
花元敦思
田中隆治
Original Assignee
日商利普麥德股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商利普麥德股份有限公司 filed Critical 日商利普麥德股份有限公司
Publication of TW202303449A publication Critical patent/TW202303449A/zh
Application granted granted Critical
Publication of TWI844868B publication Critical patent/TWI844868B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本發明之異常顯示裝置具備：開始資訊獲取部，其獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之像所具有之異常進行檢測；輸入圖像獲取部，其獲取上述輸入圖像；異常檢測部，其基於獲取之上述開始資訊，將獲取之上述輸入圖像與預先記憶之正常圖像進行比較，藉此執行上述異常檢測；及顯示部，其將基於由上述異常檢測部檢測到之資訊的資訊，重疊顯示於上述輸入圖像。

Description

異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法
本發明係關於一種異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法。 本申請案係基於2021年6月29日於日本提出專利申請之日本特願2021-108017而主張優先權，並援用該申請案中所記載之全部記載內容者。
習知，在製造現場希望利用生產線之自動化提高生產效率。尤其是於藉由檢查生產之製品之外觀而分揀不良品之工序中，應用使用圖像處理之異常檢測技術。作為此種技術之一例，已知使用機械學習之異常檢測技術（例如，參照專利文獻1）。 [現有技術文獻] [專利文獻]
[專利文獻1]日本專利特開2021-064356號公報
[發明所欲解決之問題]
然而，根據此種習知技術，於製造現場拍攝製品而得之圖像經由網際網路等通訊網路傳輸至設置於與製造現場不同之場所之伺服器。 此處，根據製造現場中製造之製品，存在檢查圖像自身為機密資訊之情形，存在不想向外部進行圖像傳輸之情形。又，於將檢查圖像向外部傳輸之情形時，有根據網路線路而無法忽視傳輸時間，無法進行有效率之檢查之問題。
因此，本發明之目的在於提供一種可容易地進行異常檢測之異常檢測程式、異常檢測裝置、異常檢測系統及異常檢測方法。 [解決問題之手段]
本發明之一態樣之異常顯示裝置具備：開始資訊獲取部，其獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之像所具有之異常進行檢測；輸入圖像獲取部，其獲取上述輸入圖像；異常檢測部，其基於獲取之上述開始資訊，將獲取之上述輸入圖像與基於預先記憶之正常圖像之資訊進行比較，藉此執行上述異常檢測；及顯示部，其將基於由上述異常檢測部檢測到之資訊的資訊，重疊顯示於上述輸入圖像。
又，於本發明之一態樣之異常顯示裝置中，上述開始資訊中包含表示記憶有上述輸入圖像之場所之路徑，上述輸入圖像獲取部獲取記憶於上述路徑所示之場所中之上述輸入圖像。
又，於本發明之一態樣之異常顯示裝置中，上述開始資訊中包含用於使拍攝部拍攝上述像之拍攝開始訊號，上述輸入圖像獲取部獲取由拍攝部拍攝上述像而得之上述輸入圖像。
又，本發明之一態樣之異常顯示裝置進而具備：圖像校正部，其校正上述輸入圖像；上述異常檢測部藉由將由上述圖像校正部校正之上述輸入圖像與預先記憶之正常圖像進行比較，而執行上述異常檢測。
又，本發明之一態樣之異常顯示裝置進而具備：校正選擇資訊獲取部，其獲取選擇上述圖像校正部所執行之校正處理之種類之校正選擇資訊。
又，於本發明之一態樣之異常顯示裝置中，上述異常檢測部藉由既定之正常圖像預先學習。
又，於本發明之一態樣之異常顯示裝置中，上述開始資訊包含表示上述異常檢測部是進行基於既定之正常圖像之學習、還是執行上述異常檢測中之任一者之學習執行選擇資訊，上述異常檢測部基於上述開始資訊中包含之上述學習執行選擇資訊，執行上述學習或上述異常檢測之任一者。
又，於本發明之一態樣之異常顯示裝置中，上述基於預先記憶之正常圖像之資訊包含上述正常圖像之平均值向量及方差之資訊，上述異常檢測部對應於作為上述輸入圖像被分割之區域之複數個分割區域而進行異常檢測，上述顯示部將由上述異常檢測部檢測到之資訊與上述分割區域建立對應關係而重疊顯示於上述輸入圖像。
又，本發明之一態樣之異常顯示程式使電腦執行如下步驟：開始資訊獲取步驟，其獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之像所具有之異常進行檢測；輸入圖像獲取步驟，其獲取上述輸入圖像；異常檢測步驟，其基於獲取之上述開始資訊，將獲取之上述輸入圖像與預先記憶之正常圖像進行比較，藉此執行上述異常檢測；及顯示步驟，其將基於由上述異常檢測步驟檢測到之資訊的資訊，重疊顯示於上述輸入圖像。
又，本發明之一態樣之異常顯示系統具備：拍攝部，其拍攝上述像；及上述異常顯示裝置，其執行由上述拍攝部拍攝之上述輸入圖像之上述異常檢測，顯示執行結果所得之資訊。
又，本發明之一態樣之異常顯示方法具有：開始資訊獲取工序，其獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之像所具有之異常進行檢測；輸入圖像獲取工序，其獲取上述輸入圖像；異常檢測工序，其基於獲取之上述開始資訊，將獲取之上述輸入圖像與預先記憶之正常圖像進行比較，藉此執行上述異常檢測；及顯示工序，其將基於由上述異常檢測工序檢測到之資訊的資訊，重疊顯示於上述輸入圖像。 [發明之效果]
根據本發明，可容易地自圖像資訊進行異常檢測。
以下，參照圖式對本發明之實施形態進行說明。以下所說明之實施形態僅為一例，應用本發明之實施形態並不限定於以下實施形態。
[習知技術之問題點] 首先，對習知技術之問題點進行說明。 圖12係用於對習知技術之製品檢查系統之問題點進行說明之圖。參照該圖對習知技術之製品檢查系統90進行說明。習知技術之製品檢查系統90配置於製品之製造工廠，檢測所製造之製品外觀上是否產生不良，將檢測到不良之製品自生產線去除。 習知技術之製品檢查系統90具備製品搬送帶91、拍攝部93、把持裝置94及圖像處理伺服器95。
製品搬送帶91搬送所製造之製品98。製品搬送帶91可為帶式輸送機等。製品98載置於製品搬送帶91，於製造工廠內搬送。製品98可為製造工廠中製造之完成品，亦可為製造途中之零件。又，製品98不限於工業製品，亦可為材料、食品、醫藥品等。拍攝部93配置於可拍攝製品搬送帶91上搬送之製品98之位置，拍攝製品98之外觀。所拍攝之圖像經由既定之通訊網路NW傳輸至圖像處理伺服器95。
圖像處理伺服器95配置於與配備有習知技術之製品檢查系統90之製造工廠不同之現場。圖像處理伺服器95對所傳輸之圖像進行圖像處理，判定該圖像是正常圖像還是異常圖像。圖像處理伺服器95例如具有利用機械學習之異常檢測算法並可預先學習異常檢測算法。圖像處理伺服器95將所傳輸之圖像是正常圖像還是異常圖像之判定結果經由既定之通訊網路NW傳輸至習知技術之配置於製造工廠之既定機器，例如把持裝置94。
把持裝置94基於由圖像處理伺服器95判定之結果，把持檢測為異常圖像之製品98，並自生產線去除。把持裝置94亦可藉由與把持不同之其他方法，將檢測為異常圖像之製品98自生產線去除。所謂其他方法，例如可為改變作為帶式輸送機之製品搬送帶91之路徑等。
於圖12所示之一例中，於製品搬送帶91上搬送製品98-1、製品98-2、製品98-3及製品98-4，關於製品98-2判定為外觀異常。因此，把持裝置94把持製品982而自生產線去除。
此處，根據習知技術之製品檢查系統90，需要將拍攝之圖像同時經由通訊網路NW傳輸至製造工廠外部。因此，根據連接通訊網路NW及製造工廠之網路線路之線路速度，存在傳輸耗費時間之情形。製品搬送帶91有時會高速搬送製品98，此種情形時尤其需要迅速進行外觀異常檢測。 因此，需要能夠迅速判斷外觀中是否有異常之異常檢測系統。
又，根據習知技術之製品檢查系統90，由於需要將拍攝之圖像傳輸至製造工廠外部，因此於傳輸途中之線路或圖像處理伺服器95中，可能會被第三方獲取機密資訊。製品98可能為尚未於市場流通之製品，於此種情形時尤其需要抑制機密資訊之洩漏。又，製造工序或加工工序自身有時亦為機密資訊。 因此，需要可判定異常圖像而不向製造工廠外部傳輸圖像之異常檢測系統。 本實施形態之異常檢測系統1解決上述問題。
[異常檢測系統之概要] 圖1係表示實施形態之異常檢測系統之功能構成之一例的功能構成圖。參照該圖對本實施形態之異常檢測系統1進行說明。在以下之說明中，對本實施形態之異常檢測系統1配置於製造工廠，進行所製造之製品或零件之異常檢測之情形時之一例進行說明。然而，異常檢測系統1並不限定於配置於製造工廠之情形時之一例，例如異常檢測系統1可設置於食品加工工廠等，藉由檢測食品或材料等之異常而用於出貨檢查。 又，異常檢測系統1可設於由電池等驅動之邊緣設備，作為一例可設於數位相機、或智慧型手機等可攜式電子機器之內部。
又，本實施形態之異常檢測系統1並不限定於進行工廠內拍攝之圖像之異常檢測之情形時之一例。異常檢測系統1例如亦可使用預先拍攝之圖像作為輸入圖像。
異常檢測系統1具備拍攝裝置50、推斷部（推斷裝置）10、異常檢測部（異常檢測裝置）30及資訊處理裝置60。 再者，異常檢測系統1中所包含之各區塊由未圖示之主機處理器集成控制。該主機處理器藉由執行事先記憶於未圖示之記憶體中之程式而控制各區塊。再者，亦可構成為藉由執行記憶於記憶體之程式，主機處理器實現異常檢測系統1之一部分功能。
拍攝裝置50拍攝物體。拍攝裝置50藉由拍攝物體，獲取關於製品外觀之資訊。拍攝裝置50將拍攝之圖像作為輸入圖像P傳輸給推斷部10。拍攝裝置50例如為設置於生產線之固定式照相機。 再者，於異常檢測系統1使用預先拍攝之圖像作為輸入圖像P之情形時，異常檢測系統1可具備未圖示之記憶裝置代替拍攝裝置50。
推斷部10自拍攝裝置50獲取輸入圖像P，自輸入圖像P提取1個以上之特徵圖F。具體而言，推斷部10包含以預測輸入圖像P中所包含之物體類別及似然度之方式學習之神經網路。自推斷部10之中間層提取複數個特徵圖F作為基於複數個特徵運算之結果。 再者，根據設置異常檢測系統1之機器，有與神經網路相關之運算處理負荷變得過大之虞。於此種情形時，於與神經網路相關之運算處理中，希望以包含量化運算之方式構成神經網路。作為一例，可於神經網路設置量化運算部，該量化運算部將進行與神經網路相關之運算處理中所包含之卷積運算的激活量化為8位元以下（例如2位元或4位元），將權重量化為4位元以下（例如1位元或2位元）。
此處，輸入至推斷部10之輸入圖像P之尺寸可為任意。 再者，希望輸入至推斷部10之輸入圖像P之尺寸與推斷部10之學習時使用之圖像之尺寸相同。為了使輸入至推斷部10之圖像與學習時為相同條件，由未圖示之校正部對輸入圖像P之尺寸或條件等進行校正後，可將校正之輸入圖像P輸入至推斷部10。
作為推斷部10，具體而言可使用VGG16。VGG16係由共16層構成之卷積神經網路（所謂之CNN：Convolutional Neural Network）。作為學得模型，可使用既有之學得模型，亦可使用對既有之學得模型進行追加學習之模型。再者，於進行追加學習之情形時，較佳為使用成為異常檢測基準之正常圖像作為輸入圖像P。 此處，推斷部10中所包含之神經網路之學習中有時需要大量圖像。於此種情形時，難以準備用照相機等拍攝之自然圖像之情形亦較多。另一方面，由於本實施形態之推斷部10中所包含之神經網路用於異常檢測，因此用於學習之圖像不一定需要為自然圖像。作為一例，亦可使用藉由既定算法而生成之分形圖像進行學習。分形圖像係於任意方向包含邊緣或特徵之圖像，因此適合用於進行特徵檢測之異常檢測用之神經網絡。
再者，推斷部10並不限定於為VGG16之情形時之一例。推斷部10例如可使用RESNET50代替VGG16。RESNET50係具有共50層卷積層而構成之CNN。推斷部10可由單個CNN構成，亦可由複數個CNN構成。於推斷部10由複數個CNN構成之情形時，推斷部10可根據檢測對象自複數個深度學習模型中選擇性切換，亦可組合複數個深度學習模型而構成。
圖2係表示實施形態之正常輸入圖像及異常輸入圖像之一例之圖。參照該圖對輸入圖像P之一例進行說明。 圖2（A）示出輸入圖像P1作為正常之輸入圖像之一例。輸入圖像P1係拍攝堅果而得者。圖2（B）示出輸入圖像P2作為異常之輸入圖像之一例。輸入圖像P2與輸入圖像P1同樣地亦為拍攝堅果而得者，但輸入圖像P2中之堅果產生龜裂。因此，異常檢測系統1將產生龜裂之堅果檢測為異常。
返回圖1，異常檢測部30自推斷部10獲取至少1個以上之特徵圖F。異常檢測部30基於獲取之特徵圖F進行異常檢測。異常檢測部30將進行異常檢測之結果作為異常檢測結果R輸出至資訊處理裝置60。 異常檢測部30所進行之異常檢測可為輸入圖像P上拍攝之物體之外觀是否有瑕疵（即二值）之檢測，亦可為推測物體外觀中存在瑕疵之場所者。物體存在瑕疵表示與推斷部10預先學習之正常圖像有特定之差異。 又，異常檢測部30亦可對輸入圖像P上拍攝之物體之外觀存在之瑕疵之程度、或瑕疵之似然度進行檢測。
再者，推斷部10及異常檢測部30之各功能之全部或一部分可使用ASIC（特殊應用積體電路，Application Specific Integrated Circuit）、PLD（可程式邏輯元件，Programmable Logic Device）或FPGA（場域可程式閘陣列，Field-Programmable Gate Array）等硬體實現。 例如，為了構成推斷部10及異常檢測部30之各功能，可將執行程式處理之處理器、及執行與神經網路相關之運算之加速器進行組合。具體而言，可將用於重複執行卷積運算或量化運算之神經網路運算用加速器與處理器組合使用。 再者，於以後之說明中，有時將推斷部10記載為骨幹，將異常檢測部30記載為頭部。
推斷部10及異常檢測部30分別藉由執行推斷程式、異常檢測程式，而作為推斷部10及異常檢測部30發揮功能。推斷程式及異常檢測程式可記錄於電腦可讀取之記錄媒體中。電腦可讀取之記錄媒體例如係軟碟、磁光碟、ROM、CD-ROM等可攜型媒體、內置於電腦系統之硬碟等記憶裝置。顯示畫面控制程式可經由電訊線路發送。
資訊處理裝置60自異常檢測部30獲取異常檢測結果R。資訊處理裝置60可顯示基於獲取之異常檢測結果R之圖像，亦可基於獲取之異常檢測結果R，針對對應之物體進行既定之動作。所謂既定之動作，例如可為將有瑕疵之製品自生產線去除之動作等，亦可為保存基於異常檢測結果R之檢查日誌等之動作等。
圖3係用於對實施形態之異常檢測系統之概念進行說明之圖。參照該圖對異常檢測系統1之概念進行說明。 首先，於圖3所示之一例中，自推斷部10所具備之複數個中間層中不同之中間層提取特徵圖71-1、特徵圖71-2及特徵圖71-3作為特徵圖71。 此處，自不同中間層獲取之複數個特徵圖71之尺寸有時分別不同。
再者，於本實施形態中，異常檢測系統1只要基於1個以上之特徵圖進行運算即可，但藉由基於複數個特徵圖可更高精度地進行異常檢測。再者，於參照圖2進行之說明中，對基於複數個特徵圖之情形時之一例進行說明。特徵圖之視野或檢測方向等特性因獲取之中間層而不同。因此，異常檢測系統1藉由利用複數個特徵圖，可進行基於各種特徵之異常檢測。
其次，異常檢測系統1將獲取之複數個特徵圖71進行壓縮。 此處，特徵圖71為多維資料。具體而言，特徵圖71為具有要素（i、j、c、n）作為構成要素之四維張量。i方向及j方向為輸入圖像P之圖像方向、即輸入圖像P之縱向及橫向。c方向為通道方向。通道方向包含例如像素所具有之色彩（R、G、B）方向。n為表示複數個特徵圖中之哪一個特徵圖之資訊。
異常檢測系統1對i方向及j方向（即輸入圖像P之縱向及橫向）進行壓縮。 此處，所獲取之特徵圖71之尺寸分別不同。因此，異常檢測系統1以獲取之複數個特徵圖71之i方向及j方向之尺寸變得相同之方式壓縮特徵圖71。 再者，異常檢測系統1較佳為根據i方向及j方向最小之尺寸之特徵圖71進行壓縮。然而，異常檢測系統1亦可根據i方向及j方向最大之尺寸之特徵圖71進行壓縮，亦可不壓縮。
適宜異常檢測之特徵圖71之尺寸有時根據檢測對象而不同。例如，關於大量生產之螺絲或電子零件等工業製品，正常品中之每一個體之外觀大致相同，差異相對較小。另一方面，關於便當或冷凍食品等食品、或者面料或衣服等纖維製品等，即便為正常品有時每一個體之外觀亦不同，差異相對較大。 例如，若對外觀上之差異較小之檢測對象增大特徵圖之尺寸，則有時會導致將實際上非異常之外觀上之較小差異誤檢測為異常。又，若對外觀上之差異較大之檢測對象減小特徵圖之尺寸，則有時會導致雖然實際上為異常但誤檢測為非異常。 因此，於異常檢測系統1中，可根據檢測對象（即拍攝之圖像內想要進行檢測之對象或狀態）使特徵圖71之尺寸不同。例如外觀上之差異較小之工業製品可減小特徵圖之尺寸，外觀上之差異較大之食品或纖維製品可增大特徵圖之尺寸。又，於對原本差異較小之工廠製品檢測機械安裝或機械加工後之狀態之情形時，可增大特徵圖71之尺寸。藉由根據想要檢測之對象使特徵圖71之尺寸不同，可提高檢測精度。又，作為適宜之特徵圖71之尺寸之結果，於特徵圖71之尺寸較小之情形時，由於運算量減少，因此可加快運算動作。即，根據本實施形態，可使檢測精度良好，且可加快運算動作。 再者，可於學習時判定與檢測對象相應之特徵圖71之大小。例如於學習時，可學習能高精度地檢測複數個不同特徵圖之尺寸中哪一個尺寸。又，亦可輸出與複數個不同特徵圖71之尺寸相應之精度等，可構成為可藉由UI（User Interface）設定與檢測對象相應之特徵圖71之大小作為參數。
例如，異常檢測系統1藉由平均池化或最大池化等方法將獲取之複數個特徵圖71進行壓縮。 於以下之說明中，將壓縮後之特徵圖71記載為特徵圖72。
其次，異常檢測系統1沿i方向及j方向分割特徵圖72。此處，異常檢測系統1可將特徵圖72沿i方向分割為奇數個，沿j方向分割為奇數個。例如，異常檢測系統1將特徵圖72分割為i方向上7個、j方向上7個合計49個。 此處，較佳為藉由使壓縮之特徵圖72之i方向及j方向之要素數與各自之分割數一致，使分割後之特徵圖73之i方向及j方向之要素數為1，但本實施形態並不限定於此。藉由將特徵圖72沿i方向或j方向分割，可降低異常檢測之運算負荷。 於以下之說明中，將分割後之特徵圖72記載為特徵圖73。
其次，異常檢測系統1針對每一特徵圖73計算輸入圖像P、與預先學習之正常圖像之距離。具體而言，異常檢測系統1藉由基於特徵圖73中所包含之要素之值，算出馬氏距離而非歐氏距離，而計算與預先學習之正常圖像之距離。特徵圖73中所包含之各要素並非為分別獨立之值，尤其是c方向之要素係基於相同圖像之輸出而獲取之特徵量，因此可期待某些相關性。藉此，即便於作為總體之正常圖像中存在特徵性擴增之情形時，異常檢測系統1亦可高精度地算出正常圖像與異常圖像之距離。
於本實施形態中，由於針對每一分割後之特徵圖73計算馬氏距離而非輸入圖像P整體之馬氏距離，因此可容易地進行運算。 此處，分割特徵圖之原因在於，藉由用分割減少特徵圖內所包含之要素數，可減少運算量。尤其是藉由使壓縮之特徵圖72之i方向及j方向之要素數與各方向之分割數一致，可使分割後之特徵圖73之i方向及j方向之要素數為1。就運算馬氏距離方面而言，藉由使i方向及j方向之要素數為1，可大幅度減少運算負荷。
圖4係用於對實施形態之推斷部所具備之層級進行說明之圖。參照該圖對推斷部10所具備之層級進行說明。 推斷部10例如具有層級L1至層級L9之9層。於圖4所示之一例中，層級L1、層級L3、層級L4、層級L5及層級L7為池化層，層級L2、層級L6、層級L8及層級L9為卷積層。異常檢測系統1自複數個不同之層級提取特徵圖71。
於圖4所示之一例中，異常檢測系統1基於自層級L1提取之特徵圖F 1算出馬氏距離M 1，基於自層級L2提取之特徵圖F 2算出馬氏距離M 2，…，基於自層級L9提取之特徵圖F 9算出馬氏距離M 9。
此處，異常檢測系統1由於將提取之特徵圖F分割後算出馬氏距離M，因此對於1個特徵圖F，算出與分割之數量相應數量之馬氏距離。 異常檢測系統1將算出之馬氏距離M 1至馬氏距離M 9相加。 再者，異常檢測系統1不需要將對各層算出之馬氏距離全部相加。例如，異常檢測系統1可選擇性地將算出之馬氏距離較大之值相加，亦可施加權重以加權方式相加。 又，異常檢測系統1可以算出平均值或標準偏差等分布資訊代替相加之方式構成。根據本實施形態，藉由在分割後算出馬氏距離，可特定出檢測對象之圖像內檢測到異常之位置。
再者，異常檢測系統1由於將提取之特徵圖F沿圖像方向分割，因此藉由將對應之圖像位置中之馬氏距離M相加，可進行該圖像位置之異常檢測。
[異常檢測部之功能構成] 圖5係表示實施形態之異常檢測部之功能構成之一例的功能構成圖。參照該圖對異常檢測部30之功能構成之一例進行說明。異常檢測部30具備特徵圖獲取部310、壓縮部320、分割部330、運算部340及輸出部350。
特徵圖獲取部310自推斷部10獲取自輸入圖像P提取之特徵圖F。特徵圖獲取部310藉由推斷部10獲取自輸入圖像P提取之複數個特徵圖F中之自不同中間層提取之複數個特徵圖F。特徵圖獲取部310將獲取之特徵圖F傳輸至壓縮部320。
壓縮部320將獲取之特徵圖F進行壓縮。特徵圖F具有至少具有縱向及橫向之圖像方向、及通道方向作為特徵量。壓縮部320於特徵圖所具有之要素中之圖像方向上壓縮。 再者，本實施形態之壓縮部320未於通道方向上壓縮。因此，根據壓縮部320，可以維持通道方向之資訊量之狀態壓縮資訊量。 壓縮部320將壓縮之特徵圖F作為特徵圖F1傳輸至分割部330。 再者，壓縮部320亦可於c方向上壓縮以適當削減資料量。
分割部330將壓縮之特徵圖F1進行分割。具體而言，分割部330將特徵圖F1沿圖像方向分割。 再者，分割部330較佳為將特徵圖F於縱向及橫向上分別分割為奇數個。分割部330藉由將特徵圖F分割為奇數個，可於運算時獲得中位數，因此運算變得容易。但是，不一定需要分割為奇數，根據應檢測之資料或應用，亦可分割為偶數個。
圖6係用於對實施形態之分割進行說明之圖。參照該圖對特徵圖F1之分割進行說明。圖像P3為輸入圖像P，且為表示藉由分割部330將特徵圖F1沿圖像方向分割之情形時與輸入圖像P之位置關係之一例。於圖6所示之一例中，分割部330將特徵圖F1分割為縱向7個、橫向7個合計49個。也就是說，分割部330將作為輸入圖像之圖像P3分割為縱向7個、橫向7個合計49個，異常檢測系統1相當於針對由分割部330分割之每一區域進行異常檢測用之運算。 此處，自中間層獲取之特徵圖藉由卷積運算等，包含超過分割後之區域之資訊。因此，與僅分割輸入圖像進行異常檢測相比，可以高精度進行檢測。 分割部330將分割之特徵圖F作為特徵圖F2傳輸至運算部340。
返回圖5，運算部340針對每一分割後之特徵圖F2，進行事先決定之基於平均值向量及方差之運算。所謂基於平均值向量及方差之運算，具體而言為馬氏距離之運算。即，運算部340針對每一分割後之特徵圖F2運算馬氏距離作為基於平均值向量及方差之運算。 又，運算部基於獲取之複數個特徵圖F2，進行基於平均值向量及方差之運算。
圖7係表示實施形態之運算部之功能構成之一例的功能構成圖。參照該圖對運算部340之功能構成進行說明。運算部340針對每一分割後之特徵圖F2，進行基於平均值向量及方差之運算，進行輸入圖像P中之異常檢測。運算部340將進行運算之結果作為異常檢測結果R傳輸至輸出部350。 運算部340具備算出部341及相加部342。
算出部341針對每一分割後之複數個特徵圖F2，進行基於平均值向量及方差之運算。所謂基於平均值向量及方差之運算，具體而言，為基於以下之式（1）運算馬氏距離M。
[數1] 其中： D 2＝馬氏距離（Mahalanobis distance） x＝資料向量（Vector of data） m＝自變量平均值向量（Vector of mean values of independent variables） C -1＝自變量之逆協方差矩陣（Inverse Covariance matrix of independent variables） T＝應轉置指示向量（Indicates vector should be transposed）
此時，D 2表示馬氏距離，x表示包含作為運算對象之分割後之複數個特徵圖F2之要素之向量，m表示事先決定之平均值之向量，C -1表示事先決定之共變數矩陣之逆矩陣，T表示轉置運算。此處，馬氏距離自身可自0至無窮大取值，但可將8位元或16位元等值作為上限，亦可標準化。再者，為了簡化運算而以平方之形式即D 2表示馬氏距離，但亦可為非冪之形式。 算出部341基於以上之式（1），算出每一分割後之複數個特徵圖F2之馬氏距離D 2，將作為算出結果之馬氏距離D 2作為馬氏距離M傳輸至相加部342。
再者，作為共方差之逆矩陣，可使用模擬逆矩陣。
相加部342藉由基於既定之條件將算出之複數個結果相加，獲得異常檢測結果R。既定之條件例如可為算出之馬氏距離M中之上位3個值等。 又，相加部342可將由算出部341算出之值中基於既定閾值而選擇之值相加。又，相加部342可藉由取平均值代替將算出之複數個結果相加，而獲得異常檢測結果R。又，相加部342亦可組合方差代替將算出之複數個結果相加，而獲得異常檢測結果R。
以下，對自算出之複數個結果中獲得異常檢測結果R之方法之具體例進行說明。異常檢測結果R例如可藉由將算出之複數個結果進行統計運算而獲得。作為統計運算之一例，可提取算出之複數個結果中之上位m個（m為1以上之自然數），而算出所提取之值之合計值、平均值、中位數（中值）或眾數等。進行統計運算之對象不限定於自上位m個提取之一例，可自上位及下位分別各提取m個，可提取除既定值（閾值）以下之結果以外之剩餘之值，亦可提取方差為既定值（例如3σ）以上之值。又，可藉由進行基於複數次結果之統計運算代替自算出之複數個結果中提取統計運算對象而獲得異常檢測結果R。又，亦可藉由進行基於算出之複數個結果之最大值及最小值之運算代替對算出之複數個結果進行統計運算而獲得異常檢測結果R。例如，可基於算出之複數個結果之最大值與最小值之差獲得異常檢測結果R。自算出之複數個結果獲得異常檢測結果R之方法不限定於上述一例，可應用各種已知之方法。
再者，相加部342可生成馬氏距離之結果之分布，將生成之分布作為異常檢測結果R，代替將算出之複數個結果相加。
返回圖5，輸出部350將由運算部340運算之結果即異常檢測結果R輸出。輸出部350例如將異常檢測結果R輸出至資訊處理裝置60。
[異常檢測部之變形例] 圖8係表示實施形態之異常檢測部之功能構成之變形例的功能構成圖。參照該圖對作為異常檢測部30之變形例之異常檢測部30A進行說明。異常檢測部30A基於由運算部340運算之異常檢測結果R，算出輸入圖像P所具有之異常之程度。輸入圖像P所具有之異常之程度可為與預先學習之正常圖像之距離。 異常檢測部30A於具備比較部360及閾值資訊記憶部361之方面與異常檢測部30不同。關於與異常檢測部30相同之構成，有時藉由標註相同之符號而省略說明。於圖8中之說明中，將由運算部340運算之異常檢測結果R記載為異常檢測結果R1。
比較部360自運算部340獲取異常檢測結果R1。又，比較部360自閾值資訊記憶部361獲取既定之閾值TH。 比較部360將獲取之異常檢測結果R1及既定之閾值TH進行比較。例如，關於比較部360所比較之結果，若獲取之異常檢測結果R1大於既定之閾值TH，則輸入圖像P上拍攝之物體具有某種異常。輸出部350將由比較部360比較之結果即異常檢測結果R2輸出。
此處，記憶於閾值資訊記憶部361之既定之閾值TH有時分為複數個階段。於該情形時，比較部360藉由將由運算部340運算之結果即異常檢測結果R1、及複數個既定之閾值TH進行比較，按層級區分異常檢測結果R1。比較部360藉由按層級區分異常檢測結果R1，可算出輸入圖像P所具有之異常之程度。比較部360將按層級區分之結果作為異常檢測結果R2輸出至輸出部350。 輸出部350將區分之結果即異常檢測結果R2輸出。
再者，記憶於閾值資訊記憶部361之既定之閾值TH可於開始檢測前由用戶設定，亦可以下述學習處理之結果之形式獲取。
圖9係表示實施形態之輸出部之輸出結果之一例的圖。參照該圖對基於由比較部360按層級區分之結果即異常檢測結果R2之顯示結果進行說明。 圖9（A）中示出以顏色區分與輸入圖像P之位置相應之異常程度之顯示圖像的一例。圖9（B）中示出顏色區分中之凡例之一例。於圖9中，推測為異常之部位用較濃之顏色表示，推測為正常之部位用較淡之顏色表示。符號A表示之部分由於推測為異常，因此用較濃之顏色表示。
再者，比較部360可藉由將異常檢測結果R1及既定之閾值TH進行比較，判定是否將輸入圖像P上拍攝之物體自生產線去除。於該情形時，異常檢測系統1可藉由設定複數個階段之閾值，將輸入圖像P上拍攝之物體和與異常之程度相應之複數個部位區別開而去除。
[異常檢測系統之一系列動作] 其次，參照圖10及圖11對關於實施形態之異常檢測系統之「檢測」及「學習」之一系列動作進行說明。
圖10係用於對實施形態之異常檢測系統之「檢測」處理中之一系列動作進行說明的流程圖。參照該圖對異常檢測系統1之一系列動作進行說明。 （步驟S110）首先，異常檢測系統1獲取輸入圖像P。異常檢測系統1例如自拍攝裝置50獲取輸入圖像P。 （步驟S120）異常檢測系統1將獲取之圖像輸入至DL（Deep Learning）模型，即推斷部10。
（步驟S130）異常檢測部30所具備之特徵圖獲取部310自DL模型所具有之複數個中間層各者獲取特徵圖F。 （步驟S140）異常檢測部30所具備之壓縮部320將獲取之特徵圖F於圖像方向上壓縮。 （步驟S150）異常檢測部30所具備之分割部330將壓縮之特徵圖於圖像方向上分割。
（步驟S160）異常檢測部30所具備之運算部340針對每一分割後之特徵圖算出馬氏距離M。 （步驟S170）異常檢測部30所具備之運算部340將針對每一特徵圖求出之馬氏距離M相加。
（步驟S180）比較部360將相加而得之值與既定之閾值進行比較。 （步驟S190）比較部360於相加而得之值大於既定閾值之情形時（即，步驟S190；YES），使處理進入步驟S200。 又，比較部360於相加而得之值不大於既定閾值之情形時（即，步驟S190；NO），使處理進入步驟S210。 （步驟S200）判斷輸入圖像P具有異常，輸出部350將該結果輸出至資訊處理裝置60。 （步驟S210）判斷輸入圖像P正常，輸出部350將該結果輸出至資訊處理裝置60。
圖11係用於對實施形態之異常檢測系統之「學習」處理中之一系列動作進行說明的流程圖。參照該圖對異常檢測系統1之學習動作進行說明。 （步驟S210）首先，異常檢測系統1獲取輸入圖像P。異常檢測系統1例如自拍攝裝置50獲取輸入圖像P。此處，以於進行學習動作之情形時僅挑選並獲取正常圖像之方式控制。換言之，異常檢測系統1將進行學習動作之情形時賦予之圖像作為正常圖像，算出來自正常圖像之背離作為馬氏距離，藉此檢測輸入圖像P中存在之異常。 （步驟S220）異常檢測系統1將獲取之圖像輸入至DL模型，即推斷部10。
（步驟S230）異常檢測部30所具備之特徵圖獲取部310自DL模型所具有之複數個中間層各者獲取特徵圖F。 （步驟S240）異常檢測部30所具備之壓縮部320將獲取之特徵圖F於圖像方向上壓縮。 （步驟S250）異常檢測部30所具備之分割部330將壓縮之特徵圖於圖像方向上分割。
（步驟S260）配置於異常檢測部30之未圖示之參數算出部基於分割後之特徵圖之各要素算出運算部340於運算中使用之參數。此處，具體而言，運算部340於運算中使用之參數為正常圖像中之平均值向量及共變數矩陣。再者，此處分割了正常圖像中之平均值向量及共變數矩陣，但為了降低運算負荷，可省略步驟S250，而以圖像整體求出。 即，特徵圖獲取部310獲取自至少1張正常圖像提取之複數個特徵圖，參數算出部基於自正常圖像提取之複數個特徵圖算出參數。參數可包含平均值向量及共變數矩陣。 （步驟S270）將輸入圖像P中之平均值向量及共變數矩陣輸出。輸出之平均值向量及共變數矩陣為事先自正常圖像生成之參數，作為事先決定之參數用於檢測動作。
此處，為了簡化說明，示出基於1張輸入圖像P進行學習動作之例，但異常檢測系統1較佳為使用數十張圖像求出平均值向量及共變數矩陣。又，於異常檢測系統1用於製品檢查系統等之情形時，較佳為根據輸入圖像P中所包含之對象之像進行該學習動作。與輸入圖像P中所包含之對象之像相應之學習動作可按製品線、或檢查種類劃分等。 又，該學習動作需要於圖10所示之檢測動作前進行。進而，該學習動作較佳為定期進行。於該情形時，異常檢測系統1可於進行學習動作至經過既定期間後，促進重新學習。
又，於本實施形態之學習動作中，未進行骨幹之學習。藉由另外進行學習時需要大量圖像之骨幹學習，可用較少之圖像張數及學習時間完成與異常檢測相關之學習。但是，於可確保學習時間之情形時，對於骨幹可藉由正常圖像進行追加學習等。
再者，於步驟S260中，可於算出正常圖像中之平均值向量及共變數矩陣時算出用於檢測異常之閾值。具體而言，可基於執行學習處理時算出之正常圖像中之馬氏距離之差異，而自動決定。
[異常檢測系統之總結] 根據以上所說明之實施形態，異常檢測系統1藉由具備異常檢測部30，基於自輸入圖像P提取之特徵圖F進行異常檢測。具體而言，異常檢測部30藉由具備特徵圖獲取部310而獲取特徵圖F，藉由具備壓縮部320而壓縮所獲取之特徵圖F，藉由具備分割部330而分割壓縮後之特徵圖F，藉由具備運算部340而針對壓縮及分割後之每一特徵圖F進行基於平均值向量及方差之運算。異常檢測部30由於針對壓縮及分割後之每一特徵圖F進行基於平均值向量及方差之運算，因此可容易地進行運算。因此，根據異常檢測系統1，可自輸入圖像P所具有之圖像資訊容易地檢測存在於物體之異常之有無。
又，根據以上所說明之實施形態，壓縮部320將特徵圖F於圖像方向上壓縮。因此，異常檢測部30藉由具備壓縮部320，可減少運算部340之處理負擔。 此處，於物體之異常檢測技術中，相比於存在異常之部位之特定精度，有時更要求處理速度。根據本實施形態，由於在圖像方向上壓縮，因此藉由與存在異常之部位之特定精度之折中，可高速地進行異常檢測。
又，根據以上所說明之實施形態，分割部330將特徵圖F分割為奇數個。此處，於特徵圖F之分割數為偶數之情形時，由於不存在中位數，因此存在運算變得複雜之情形。根據本實施形態，由於分割部330將特徵圖F分割為奇數個，因此運算部340可容易地進行異常檢測用之運算。
又，根據以上所說明之實施形態，壓縮部320未於通道方向上壓縮特徵圖F。因此，根據壓縮部320，可以維持關於通道方向之資訊量之狀態，於圖像方向上壓縮。運算部340由於基於壓縮後之特徵圖F進行運算，因此可以維持關於通道方向之精度之狀態，減少對圖像方向之處理負擔。 此處，於物體之異常檢測技術中，相比於存在異常之部位之特定精度，有時更要求異常之有無之精度。又，相比於存在異常之部位之特定精度，有時更要求處理速度。根據本實施形態，由於在圖像方向上壓縮，因此可藉由與存在異常之部位之特定精度之折中，而以維持異常之有無之精度之狀態，高速地進行異常檢測。
又，根據以上所說明之實施形態，運算部340針對每一分割後之特徵圖F，運算馬氏距離作為基於平均值向量及方差之運算。具體而言，運算部340進行基於上述式（1）之運算。因此，根據運算部340，可容易地進行運算。
又，根據以上所說明之實施形態，特徵圖獲取部310獲取自輸入圖像P提取之複數個特徵圖F中之自不同中間層提取之複數個特徵圖F。又，運算部340基於所獲取之複數個特徵圖F，進行基於平均值向量及方差之運算。 因此，根據本實施形態，於重視精度之情形時只要自許多中間層獲取特徵圖F即可，於重視速度之情形時只要自較少之中間層獲取特徵圖F即可。因此，根據本實施形態，於異常檢測之精度與處理速度之折中時，可設定重視任一個。
又，根據以上所說明之實施形態，運算部340藉由具備算出部341，而對自不同中間層提取之複數個特徵圖F各者進行基於平均值向量及方差之運算。又，運算部340藉由具備相加部342，而將針對每一特徵圖F算出之值相加。因此，根據本實施形態，運算部340由於可進行基於針對每一不同之複數個特徵量算出之值之運算，因此可更高精度地進行異常檢測。
又，根據以上所說明之實施形態，相加部342將由算出部341算出之值中之基於既定閾值而選擇之值相加。即，根據本實施形態，基於算出之值中特定之值進行異常檢測。因此，根據本實施形態，關於無助於異常檢測之特徵量，可自運算中去除。因此根據本實施形態，可高速且高精度地進行異常檢測。
又，根據以上所說明之實施形態，藉由具備比較部360，將由運算部340運算之值與既定之閾值進行比較。因此，根據本實施形態，可輸出進行異常檢測之結果。
又，根據以上所說明之實施形態，比較部360按層級區分由運算部340運算之結果。輸出部350輸出按層級區分之結果。因此，根據本實施形態，可輸出視覺上容易判別異常部位之顯示圖像。
又，根據以上所說明之實施形態，推斷部10係以預測輸入圖像P中所包含之物體之類別及似然度之方式學習之神經網路。因此，根據推斷部10，可自輸入圖像P高速地提取特徵圖F。又，藉由使用預先學習之神經網路作為推斷部10，即便不進行與作為異常檢測對象之物體一致之學習，異常檢測系統1亦可進行異常檢測。
[異常顯示系統之概要] 其次，參照圖13至圖23對異常顯示系統8進行說明。異常顯示系統8係使用異常檢測系統1，顯示輸入圖像P上存在之異常部位之系統。 於以下之說明中，異常顯示系統8例如由維護基礎設施等對象物之作業人員使用。本實施形態中之基礎設施例如可為給排水管道、燃氣管道、輸電設備、通訊設備、汽車用道路、鐵路用線路等。又，作業人員可為進行住宅或汽車等對象物之檢查者。
又，作為被作業人員使用之情形時之一例之代替，異常顯示系統8亦可由無人機或AGV（無人搬運車，Automated guided vehicle）等移動體使用。於該情形時，異常顯示系統8可基於移動體所拍攝之像進行異常檢測，將異常部位顯示給對控制器或中央控制裝置進行控制之操作員。
異常顯示系統8不限定於由作業人員或無人機等移動體用於設備或檢查之情形時之一例，亦可固定於製造工廠。配置於製造工廠之異常顯示系統8可對製造之製品或零件存在之外觀上之異常進行檢測，對操作員顯示檢測之結果。又，異常顯示系統8亦可設置於食品加工工廠等，對食品或材料等存在之外觀上之異常進行檢測，對操作員顯示檢測結果，藉此用於出貨檢查。
異常顯示系統8進行「學習」及「檢查」。「學習」係基於正常圖像學習正常圖像之範圍，「檢查」係基於所學習之正常圖像之範圍，進行作為檢查對象之輸入圖像P之外觀上之異常檢測。首先，參照圖13對「學習」進行說明，其次參照圖14對「檢查」進行說明。
圖13係用於對實施形態之異常顯示裝置之學習處理進行說明之圖。參照該圖對異常顯示系統8所進行之「學習」進行說明。異常顯示系統8具備異常檢測模型830。於異常檢測模型830中輸入學得骨幹820及學習用圖像P11。異常檢測模型830基於學得骨幹820及學習用圖像P11學習，輸出學習結果頭部834作為學習結果。 學得骨幹820為推斷部10之一例，學習用圖像P11為輸入圖像P之一例。
異常檢測模型830具備預處理831、CNN（Convolutional Neural Network）832及後處理833。異常檢測模型830為異常檢測部30之一例。 異常檢測模型830之全部或一部分處理可安裝為硬體加速器。
預處理831算出表示預測輸入圖像P上存在物體之範圍之位置座標、及與該位置座標對應之類別之似然度。預處理831針對每一輸入圖像P沿圖像方向分割之要素矩陣進行處理。即，預處理831針對每一要素矩陣，輸出表示預測存在物體之範圍之位置座標、及與該位置座標對應之類別之似然度。
CNN832關於由預處理831輸出之位置座標及似然度進行卷積運算。CNN832可針對每一要素矩陣進行運算，將針對每一要素矩陣進行之複數個運算結果輸出。例如於輸入圖像P具有224[像素]×224[像素]之圖像尺寸之情形時，要素矩陣可具有作為分割為32×32之結果之7[像素]×7[像素]之圖像尺寸。又，輸入圖像P可於輸入至異常檢測模型830之時點具有包含R（紅）、G（綠）、B（藍）之3[ch（通道）]×8[位元]之色彩資訊。
後處理833基於每一由CNN832輸出之複數個要素矩陣之運算結果，學習輸入圖像P中之平均值向量及共變數矩陣。後處理833輸出學習之結果作為學習結果頭部834。學習結果頭部834即學得模型。再者，較佳為於學習處理中使用複數張圖像作為輸入圖像P。作為學習處理中使用之輸入圖像P，較佳為正常圖像（包含可容許為正常之圖像）。
再者，預處理831可進行既定之圖像處理，代替算出表示預測輸入圖像P上存在物體之範圍之位置座標、及與該位置座標對應之類別之似然度。作為一例，包含用於輸入圖像P之畫質改善之處理、或圖像自身之加工處理、其他資料處理等。用於畫質改善之處理可為亮度/顏色轉換、黑位準調整、雜訊改善或光學像差之修正等。圖像自身之加工處理可為圖像之剪裁、放大/縮小/變形等處理。其他資料處理可為灰度降低、壓縮編碼/解碼、或資料複製等資料處理等。
圖14係用於對實施形態之異常顯示裝置之檢查處理進行說明之圖。參照該圖對異常顯示系統8所進行之「檢查」進行說明。於異常顯示系統8中，於異常檢測模型830中輸入學得骨幹820、於「學習」階段學到之學習結果頭部834及檢查用圖像P12。異常檢測模型830輸出檢查結果熱圖圖像R1或檢查結果得分R2之至少一者作為異常檢測結果R。
檢查結果熱圖圖像R1可為異常檢測系統1中說明之異常檢測結果R。再者，檢查結果熱圖圖像R1係將基於異常檢測之結果之資訊重疊顯示於輸入圖像P之圖像。檢查結果熱圖圖像R1為實施形態之一例，可藉由熱圖以外之方法顯示。 檢查結果得分R2可為檢查所需之合計處理時間、或檢查之圖像之張數、表示檢查結果之保存場所之路徑等。
圖15係表示實施形態之異常顯示裝置之功能構成之一例的功能構成圖。參照該圖對本實施形態之異常顯示系統8及異常顯示裝置80之功能構成之一例進行說明。再者，異常顯示系統8中所包含之各區塊由未圖示之處理器控制。又，可藉由處理器執行記憶於未圖示之記憶體之程式實現各區塊之至少一部分。 異常顯示系統8具備記憶裝置81、輸入裝置82及異常顯示裝置80。記憶裝置81記憶輸入圖像P（學習用圖像P11及檢查用圖像P12）等。記憶裝置81將輸入圖像P輸出至異常顯示裝置80。異常顯示裝置80基於作為正常圖像之輸入圖像P而「學習」，「檢查」作為檢查對象之輸入圖像P，並顯示其結果。輸入裝置82基於來自用戶之操作，將自用戶獲取之資訊輸入至異常顯示裝置80。輸入裝置82例如可為鍵盤、觸控面板、聲音輸入裝置等輸入裝置。 再者，輸入裝置82亦可不基於來自用戶之操作。例如，可定期輸入資訊，亦可將物體檢測等作為觸發而輸入資訊。
異常顯示裝置80具備開始資訊獲取部810、輸入圖像獲取部805、校正選擇資訊獲取部806、圖像校正部807、推斷部10、異常檢測部30及顯示部840。關於與異常檢測系統1相同之構成，有時藉由標註相同之符號而省略說明。
開始資訊獲取部810獲取開始資訊IS。開始資訊IS包含用於使異常檢測部30開始異常檢測之資訊。所謂異常檢測，係對輸入圖像P中所包含之像所具有之外觀上之異常進行檢測。例如，開始資訊獲取部810可藉由使用異常顯示系統8之用戶之操作獲取開始資訊IS。
又，開始資訊IS可包含表示異常檢測部30是進行基於既定之正常圖像之「學習」、還是執行「檢查（異常檢測）」中之任一者之資訊。亦將表示進行「學習」或「檢查」之何者之資訊記載為學習執行選擇資訊。即，開始資訊IS可包含學習執行選擇資訊。 異常檢測部30基於開始資訊IS中所包含之學習執行選擇資訊，執行「學習」或「檢查」之任一者。
輸入圖像獲取部805獲取輸入圖像P。例如，由開始資訊獲取部810獲取之開始資訊IS中包含表示記憶有輸入圖像P之場所之路徑，輸入圖像獲取部805獲取該路徑所示之場所中記憶之輸入圖像P。輸入圖像P可記憶於記憶裝置81。 再者，本實施形態中示出了輸入圖像P係由路徑指定之例，但亦可於保持有複數個圖像之檔案夾等中選擇性指定而獲取。
圖像校正部807藉由圖像處理對由輸入圖像獲取部805獲取之輸入圖像P進行校正。圖像校正部807將校正後之輸入圖像P作為輸入圖像P'輸出至推斷部10。亦將圖像校正部807所進行之圖像處理記載為校正處理。
校正選擇資訊獲取部806獲取校正選擇資訊ISEL。校正選擇資訊ISEL係選擇圖像校正部807所執行之校正處理之種類之資訊。圖像校正部807進行與校正選擇資訊ISEL所示之校正處理之種類相應之校正處理。 再者，於校正選擇資訊ISEL包含表示不校正之資訊之情形時，校正選擇資訊獲取部806可不校正輸入圖像P。
再者，異常顯示系統8可具備未圖示之拍攝部（拍攝裝置）。於異常顯示系統8具備拍攝部之情形時，開始資訊IS中可包含用於使拍攝部拍攝像之拍攝開始訊號。開始資訊獲取部810隨著用戶操作未圖示之拍攝按鍵，可獲取開始資訊IS。 於異常顯示系統8具備拍攝部之情形時，輸入圖像獲取部805獲取由拍攝部拍攝像而得之輸入圖像P。
推斷部10獲取開始資訊IS後，自校正後之輸入圖像P'提取特徵圖F。推斷部10將所提取之特徵量圖F輸出。推斷部10自複數個中間層輸出複數個特徵圖F。
異常檢測部30基於獲取之開始資訊IS，將獲取之輸入圖像P或校正後之輸入圖像P'、及基於預先記憶之正常圖像之資訊進行比較，藉此執行異常檢測。基於預先記憶之正常圖像之資訊可為基於學習用圖像P11學習之資訊。 異常檢測部30可為藉由既定之正常圖像預先學習之神經網路。
顯示部840將基於由異常檢測部30檢測之資訊的資訊，重疊顯示於輸入圖像P。例如，顯示部840藉由將既定之濾色器重疊顯示於輸入圖像P，而顯示檢查結果熱圖圖像R1。既定之濾色器可進行顏色區分以能夠視覺上判斷檢測為異常之部位。 此外，顯示部840亦可藉由可識別輸入圖像P中存在異常之概率較高之部分之方法顯示。
圖16係表示實施形態之異常顯示裝置之顯示畫面之畫面構成之一例的圖。參照該圖對異常顯示裝置80所顯示之顯示畫面D1之畫面構成之一例進行說明。異常顯示裝置80由用戶操作。用戶藉由進行基於顯示畫面D1上顯示之資訊之操作，而操作異常顯示裝置80。 顯示畫面D1表示異常顯示裝置80所顯示之顯示畫面之畫面構成之一例。異常顯示裝置80所顯示之顯示畫面具有資料集顯示部D10、模式顯示部D20、圖像顯示部D30及日誌資訊顯示部D40作為畫面構成。
資料集顯示部D10係用於對輸入圖像P之校正進行選擇之畫面構成。資料集顯示部D10具備符號D11、符號D12及符號D13作為畫面構成。符號D11、符號D12及符號D13分別具備選擇按鍵D111、選擇按鍵D121及選擇按鍵D131。於未區分選擇按鍵D111、選擇按鍵D121及選擇按鍵D131中之哪一選擇按鍵之情形時，有時簡單記載為選擇按鍵。
用戶藉由選擇任一個選擇按鍵，而選擇是否對輸入圖像P進行校正。異常顯示裝置80對輸入圖像P進行所選擇之校正後，進行「學習」或「檢查」。於圖16所示之一例中，作為校正之一例，具有「原始圖像」、「曝光不足圖像」及「清晰圖像」。 「原始圖像」未對輸入圖像P進行校正。「曝光不足圖像」對輸入圖像P進行曝光校正處理。「清晰圖像」對輸入圖像P進行圖像清晰處理。
再者，異常顯示裝置80對輸入圖像P進行之校正處理由圖像校正部807進行。圖像校正部807可校正之處理種類不限定於上述一例，可為「對比度校正」、「亮度校正」、「顏色校正」等柱狀圖轉換處理，亦可為「去雜訊」、「邊緣強化」等濾色處理，亦可為仿射轉換等。
模式顯示部D20係用於供用戶選擇「學習」或「檢查」之任一者之畫面構成。模式顯示部D20具備符號D21、符號D22及執行按鍵D23作為畫面構成。符號D21及符號D22分別具備選擇按鍵D211及選擇按鍵D221。用戶藉由對選擇按鍵D211進行選擇而選擇「學習」，藉由對選擇按鍵D221進行選擇而選擇「檢查」。用戶藉由操作執行按鍵D23，執行所選擇之「學習」或「檢查」之任一者。此處，藉由選擇執行按鍵D23，開始資訊獲取部810可獲取包含選擇按鍵之選擇狀況之資訊之開始資訊IS。
再者，「檢查」可具有「一併處理模式」及「逐次處理模式」。於「一併處理模式」中，將複數張輸入圖像P一併進行處理。於「逐次處理模式」中，對輸入圖像P逐張進行處理。
圖像顯示部D30顯示「學習」中使用之輸入圖像P、或「檢查」之結果異常檢測之異常檢測結果R中之至少一者。圖像顯示部D30具備圖像顯示框D31、左滾動按鍵D321及右滾動按鍵D322。圖像顯示框D31於符號D311、符號D312及符號D313之3個部位顯示圖像。於顯示3個以上之圖像之情形時，用戶藉由操作左滾動按鍵D321或右滾動按鍵D322，可看到4個以上之圖像中之任意3張圖像。於該一例中，圖像顯示框D31顯示3張圖像，但圖像顯示框D31所顯示之圖像之張數並不限定於該一例。
日誌資訊顯示部D40顯示「學習」或「檢查」之結果。例如，於「學習」之情形時，日誌資訊顯示部D40顯示學習圖像張數、每張圖像之處理時間、合計處理時間、學習結果頭部等。例如，於「檢查」之情形時，日誌資訊顯示部D40輸出檢查圖像張數、每張圖像之處理時間、合計處理時間、檢查結果、檢查結果圖像之記憶場所（路徑）等。
其次，參照圖17至圖19，對圖像顯示部D30所顯示之輸入圖像P之一例進行說明。 圖17係顯示實施形態之輸入圖像之圖像校正之一例的圖。參照該圖對「學習」處理中圖像顯示部D30所顯示之輸入圖像P之一例進行說明。圖像顯示部D30顯示作為學習對象之複數個輸入圖像P（於以下之說明中，亦記載為資料集）中不同之3張輸入圖像P。 圖17（A）至圖17（C）所示之圖像均為瓷磚之圖像，為基於相同輸入圖像P之圖像。
圖17（A）係選擇符號D111之情形時之輸入圖像P'，即未校正之圖像。圖17（B）係選擇符號D121之情形時之輸入圖像P'，即由圖像校正部807進行曝光校正之情形時之圖像。圖16（C）係選擇符號D131之情形時之輸入圖像P'，即由圖像校正部807進行圖像清晰處理之情形時之圖像。
再者，作為其他實施例，圖像顯示部D30將採用不同濾色器之情形時之同一照片（例如圖17（A）至圖17（C））顯示於圖像顯示部D30，可使用戶選擇濾色器之種類。 再者，於選擇既定濾色器之種類之情形時，較佳為於「學習」及「檢查」之兩個處理中使用相同濾色器。於該情形時，可將關於在「學習」處理時選擇何種濾色器之種類之資訊與學習結果一起記憶。又，可使用複數個濾色器進行「學習」及「檢查」，然後進行選擇。例如異常檢測部30可以預先使用複數個濾色器而針對每一濾色器「學習」，使用與「檢查」時選擇之濾色器相應之學習模型並進行「檢查」之方式構成。
圖18係表示實施形態之正常圖像之一例之圖。參照該圖對「學習」處理中圖像顯示部D30所顯示之輸入圖像P之一例進行說明。圖像顯示部D30顯示資料集中不同之3張輸入圖像P。圖18（A）至圖18（C）所示之圖像均為瓷磚之圖像，為不同之輸入圖像P之圖像。圖18（A）至圖18（C）均為未經圖像校正部807校正之圖像。 圖像顯示部D30例如於符號D311顯示圖18（A）所示之圖，於符號D312顯示圖18（B）所示之圖，於符號D313顯示圖18（C）所示之圖。
圖19係表示實施形態之異常顯示裝置之檢查結果之一例的圖。參照該圖對「檢查」處理中圖像顯示部D30所顯示之圖像之一例進行說明。圖像顯示部D30顯示作為檢查對象之輸入圖像P或輸入圖像P'、及與輸入圖像P相應之異常檢測結果R。 圖19（A）示出輸入圖像P之一例。圖19（B）示出與圖19（A）所示之輸入圖像P相應之異常檢測結果R之一例。圖19（C）示出與圖19（B）對應之凡例之一例。於圖19中，推測為異常之部位用較濃之顏色表示，推測為正常之部位用較淡之顏色表示。
由於圖19（A）所示之輸入圖像P產生龜裂，因此龜裂部分為異常。因此，於圖19（B）所示之異常檢測結果R中，龜裂部分之顏色顯示得較濃。用戶可知於存在較濃部分之部位有異常。 於圖像顯示框D31中，例如可於符號D311顯示輸入圖像P，於符號D313顯示異常檢測結果R。符號D312可不顯示任何，亦可顯示企業標誌或廣告、操作方法等其他資訊。
圖20係用於對實施形態之異常顯示裝置之學習處理之一系列動作進行說明的流程圖。參照該圖對異常顯示裝置80之「學習」處理之一系列動作進行說明。 （步驟S310）開始資訊獲取部810若檢測到「學習」按鍵被按下，則將開始資訊IS輸出至推斷部10，使處理進入步驟S320。所謂按下「學習」按鍵，可為未直接按下「學習」按鍵，例如包含對選擇按鍵D211進行選擇，而按下執行按鍵D23。又，開始資訊獲取部810亦可將藉由拍攝部拍攝作為觸發而輸出開始資訊IS。
（步驟S320）校正選擇資訊獲取部806獲取資料集之選擇資訊，即校正選擇資訊ISEL。 （步驟S330）推斷部10獲取基於校正選擇資訊ISEL進行校正之輸入圖像P作為輸入圖像P'。 （步驟S340）異常檢測部30基於校正後之輸入圖像P'學習。 （步驟S350）顯示部840將學習需要之時間或處理圖像之張數等作為學習結果顯示於日誌資訊顯示部D40。
圖21係用於對實施形態之異常顯示裝置之檢查處理之一系列動作進行說明的流程圖。參照該圖對異常顯示裝置80之「檢查」處理之一系列動作進行說明。 （步驟S410）開始資訊獲取部810若檢測到「檢查」按鍵被按下，則將開始資訊IS輸出至推斷部10，使處理進入步驟S420。所謂按下「檢查」按鍵，可為未直接按下「檢查」按鍵，例如包含對選擇按鍵D221進行選擇，而按下執行按鍵D23。 又，開始資訊獲取部810亦可將藉由拍攝部拍攝作為觸發而輸出開始資訊IS。
（步驟S420）校正選擇資訊獲取部806獲取資料集之選擇資訊，即校正選擇資訊ISEL。 （步驟S430）推斷部10獲取基於校正選擇資訊ISEL進行校正之輸入圖像P作為輸入圖像P'。 （步驟S440）異常檢測部30基於校正後之輸入圖像P'進行異常檢測。 （步驟S450）顯示部840將異常檢測結果R、或記憶有異常檢測結果R之場所之路徑、異常檢測所需之時間或處理圖像之張數等作為檢查結果顯示於日誌資訊顯示部D40。
[模式顯示部之變形例] 圖22係用於對實施形態之異常顯示裝置之第1變形例進行說明之圖。參照該圖對模式顯示部D20A進行說明。模式顯示部D20A為模式顯示部D20之變形例。於模式顯示部D20A之說明中，關於與模式顯示部D20相同之構成，有時藉由標註相同之符號而省略說明。
模式顯示部D20A於具備拍攝按鍵D24代替執行按鍵D23之方面與模式顯示部D20不同。藉由用戶之操作按下拍攝按鍵D24後，配置於異常顯示系統8之拍攝部進行拍攝，將拍攝之圖像作為輸入圖像P。 再者，異常顯示系統8可採用例如藉由在應用啟動中進行既定動作而進行拍攝之構成，而代替具備拍攝按鍵D24之構成。
[圖像顯示部之變形例] 圖23係用於對實施形態之異常顯示裝置之第2變形例進行說明之圖。參照該圖對圖像顯示部D30A進行說明。圖像顯示部D30A為圖像顯示部D30之變形例。於圖像顯示部D30A之說明中，關於與圖像顯示部D30相同之構成，有時藉由標註相同之符號而省略說明。
圖像顯示部D30A於進而具備符號D314至符號D316作為正常/異常選擇按鍵之方面與圖像顯示部D30不同。正常/異常選擇按鍵可藉由用戶之操作選擇正常或異常之任一者。異常檢測部30於「學習」時，僅基於選擇為正常之圖像進行學習。
[異常顯示系統之總結] 根據以上所說明之實施形態，異常顯示系統8藉由具備開始資訊獲取部810而獲取用於開始異常檢測之資訊即開始資訊IS，藉由具備輸入圖像獲取部805而獲取輸入圖像P，藉由具備異常檢測部30而基於開始資訊IS執行異常檢測，藉由具備顯示部840而顯示基於檢測結果之資訊。異常顯示裝置80自獲取開始資訊IS至執行異常檢測並顯示其結果期間，可不經由通訊網路與外部裝置進行通訊。 因此根據本實施形態，異常顯示裝置80所進行之異常檢測之處理速度不依賴於通訊網路之線路速度、或外部裝置之處理速度，可高速地進行異常檢測。又，根據本實施形態，由於異常顯示裝置80不經由通訊網路將輸入圖像P傳輸至外部裝置，因此可抑制機密資訊洩露之類之事態。
此處，根據本實施形態，異常檢測部30基於由推斷部10提取之特徵圖學習。自1張輸入圖像P提取複數個特徵圖。例如於圖4所示之一例中，推斷部10具有9層級，自1張輸入圖像P提取32＋16＋24＋40＋80＋112＋192＋320＋1280＝2096之特徵圖。即，由於基於自1張輸入圖像P提取之大量特徵圖進行學習，因此即便輸入圖像P之張數較少，亦可充分地學習。異常顯示裝置80例如即便為40張左右之輸入圖像P，亦可充分地學習。 因此，根據異常顯示裝置80，即便為難以收集輸入圖像P之現場，亦可進行異常檢測用之學習。 又，根據本實施形態，由於輸入圖像P之張數可較少，因此異常顯示裝置80可高速地學習。
又，根據以上所說明之實施形態，開始資訊IS中包含表示記憶有輸入圖像P之場所之路徑，輸入圖像獲取部805獲取路徑所示之場所中記憶之輸入圖像P。因此，根據本實施形態，用戶可容易地學習異常顯示裝置80。
又，根據以上所說明之實施形態，開始資訊IS中包含用於使拍攝部拍攝像之拍攝開始訊號，輸入圖像獲取部805獲取由拍攝部拍攝像而得之輸入圖像P。因此，根據本實施形態，即便未預先準備輸入圖像P，用戶亦可基於現場拍攝之圖像學習異常顯示裝置80。
又，根據以上所說明之實施形態，進而具備校正輸入圖像P之圖像校正部807，異常檢測部30基於由圖像校正部807校正之輸入圖像P'，執行異常檢測。因此，根據本實施形態，異常顯示裝置80即便於輸入圖像P之對比度不清晰之情形時等，亦可基於校正後之輸入圖像P'進行「學習」或「檢查」。
又，根據以上所說明之實施形態，藉由具備校正選擇資訊獲取部806，獲取校正選擇資訊ISEL。圖像校正部807基於獲取之校正選擇資訊ISEL進行校正處理。校正選擇資訊ISEL係用戶選擇之資訊。即，用戶可選擇校正種類。 因此，根據本實施形態，異常顯示裝置80即便於輸入圖像P不清晰之情形時，亦可基於以圖像變得清晰之方式校正之輸入圖像P'進行「學習」或「檢查」。
又，根據以上所說明之實施形態，異常檢測部30藉由既定之正常圖像預先學習。因此，用戶可容易地使用異常顯示裝置80。 又，異常顯示裝置80可高精度地進行異常檢測。
又，根據以上所說明之實施形態，開始資訊IS包含表示「學習」或「檢查」之任一者之學習執行選擇資訊，異常檢測部30基於開始資訊IS中所包含之學習執行選擇資訊，執行「學習」或「檢查」之任一者。 因此，根據異常顯示裝置80，可藉由1個GUI即顯示畫面D1執行「學習」或「檢查」之兩者。因此，用戶可容易地使用異常顯示裝置80。
又，異常檢測部30將自輸入圖像生成之特徵圖進行分割，對應於分割後之區域即複數個分割區域而進行基於平均值向量及方差之異常檢測。而且，顯示部840藉由將針對每一該分割區域算出之結果與輸入圖像建立對應關係並顯示，可使用戶容易地發現於輸入圖像內之哪一位置產生異常。其結果，用戶可容易地識別輸入圖像中所包含之異常部位。
再者，顯示畫面D1之畫面構成不限定於上述一例。例如，作為「學習」處理用，可包含作為學習對象之正常圖像之選擇部、學習參數之設定部、判定自學習結果算出之異常之閾值之顯示部。進而，作為「檢查」處理用，可設置用於判定異常之閾值設定部、檢查結果之顯示設定部、正常或異常等判定結果之顯示部等。
再者，關於上述實施形態中之圖像檢測系統1及異常顯示系統8所具備之各部之全部功能或其功能之一部分，可藉由將用於實現該等功能之程式記錄於可由電腦讀取之記錄媒體中，使電腦系統讀入記錄於該記錄媒體之程式並執行而實現。再者，此處所言之「電腦系統」包含OS或周邊裝置等硬體。
又，「可由電腦讀取之記錄媒體」係指磁光碟、ROM、CD-ROM等可攜型媒體、內置於電腦系統之硬碟等記憶部。進而，所謂「可由電腦讀取之記錄媒體」，亦可包含如經由網際網路等網路發送程式之情形時之通訊線那樣於短時間內動態保持程式者、如成為該情形時之伺服器或用戶端之電腦系統內部之揮發性記憶體那樣將程式保持一定時間者。又，上述程式可為用於實現上述功能之一部分者，亦可為可進而藉由與已經記錄於電腦系統之程式之組合而實現上述功能者。
以上使用實施形態對用於實施本發明之形態進行了說明，但本發明不受此種實施形態任何限定，可於不脫離本發明主旨之範圍內加以各種變形及置換。
1:圖像檢測系統 8:異常顯示系統 10:推斷部 30:異常檢測部 50:拍攝裝置 60:資訊處理裝置 80:異常顯示裝置 81:記憶裝置 82:輸入裝置 90:習知技術之製品檢查系統 91:製品搬送帶 93:拍攝部 94:把持裝置 95:圖像處理伺服器 98:製品 310:特徵圖獲取部 320:壓縮部 330:分割部 340:運算部 350:輸出部 341:算出部 342:相加部 360:比較部 361:閾值資訊記憶部 805:輸入圖像獲取部 806:校正選擇資訊獲取部 807:圖像校正部 810:開始資訊獲取部 820:學得骨幹 830:異常檢測模型 831:預處理 832:CNN 833:後處理 834:學習結果頭部 840:顯示部 D1:顯示畫面 D10:資料集顯示部 D20:模式顯示部 D23:執行按鍵 D30:圖像顯示部 D31:圖像顯示框 D40:日誌資訊顯示部 IS:開始資訊 ISEL:校正選擇資訊 NW:通訊網路 P:輸入圖像 P11:學習用圖像 P12:檢查用圖像 R:異常檢測結果 R1:檢查結果熱圖圖像 R2:檢查結果得分
[圖1]係表示實施形態之異常檢測系統之功能構成之一例的功能構成圖。 [圖2]係表示實施形態之正常輸入圖像及異常輸入圖像之一例之圖。 [圖3]係用於對實施形態之異常檢測系統之概念進行說明之圖。 [圖4]係用於對實施形態之推斷部所具備之層級進行說明之圖。 [圖5]係表示實施形態之異常檢測部之功能構成之一例的功能構成圖。 [圖6]係用於對實施形態之分割進行說明之圖。 [圖7]係表示實施形態之運算部之功能構成之一例的功能構成圖。 [圖8]係表示實施形態之異常檢測部之功能構成之變形例的功能構成圖。 [圖9]係表示實施形態之輸出部之輸出結果之一例的圖。 [圖10]係用於對實施形態之異常檢測系統之「檢測」處理中之一系列動作進行說明的流程圖。 [圖11]係用於對實施形態之異常檢測系統之「學習」處理中之一系列動作進行說明的流程圖。 [圖12]係用於對習知技術之製品檢查系統之問題點進行說明之圖。 [圖13]係用於對實施形態之異常顯示裝置之學習處理進行說明之圖。 [圖14]係用於對實施形態之異常顯示裝置之檢查處理進行說明之圖。 [圖15]係表示實施形態之異常顯示裝置之功能構成之一例的功能構成圖。 [圖16]係表示實施形態之異常顯示裝置之顯示畫面之畫面構成之一例的圖。 [圖17]係表示實施形態之輸入圖像之圖像校正之一例的圖。 [圖18]係表示實施形態之正常圖像之一例之圖。 [圖19]係表示實施形態之異常顯示裝置之檢查結果之一例的圖。 [圖20]係用於對實施形態之異常顯示裝置之學習處理之一系列動作進行說明的流程圖。 [圖21]係用於對實施形態之異常顯示裝置之檢查處理之一系列動作進行說明的流程圖。 [圖22]係用於對實施形態之異常顯示裝置之第1變形例進行說明之圖。 [圖23]係用於對實施形態之異常顯示裝置之第2變形例進行說明之圖。
8:異常顯示系統
10:推斷部
30:異常檢測部
80:異常顯示裝置
81:記憶裝置
82:輸入裝置
805:輸入圖像獲取部
806:校正選擇資訊獲取部
807:圖像校正部
810:開始資訊獲取部
840:顯示部
F:特徵圖
IS:開始資訊
ISEL:校正選擇資訊
P、P':輸入圖像
R:異常檢測結果

Claims (11)

  1. 一種異常顯示裝置，其具備：開始資訊獲取部，其獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之圖像所具有之異常進行檢測；輸入圖像獲取部，其獲取上述輸入圖像；異常檢測部，其基於獲取之上述開始資訊，將獲取之上述輸入圖像與基於預先記憶之正常圖像之資訊進行比較，藉此執行上述異常檢測；及顯示部，其將基於由上述異常檢測部檢測到之資訊的資訊，重疊顯示於上述輸入圖像；上述開始資訊包含表示上述異常檢測部是在上述異常顯示裝置內進行基於既定之正常圖像之學習、還是在上述異常顯示裝置內執行上述異常檢測中之任一者之學習執行選擇資訊；上述異常檢測部基於上述開始資訊中包含之上述學習執行選擇資訊，執行上述學習或上述異常檢測之任一者。
  2. 如請求項1之異常顯示裝置，其中，上述開始資訊中包含表示記憶有上述輸入圖像之場所之路徑；上述輸入圖像獲取部獲取記憶於上述路徑所示之場所中之上述輸入圖像。
  3. 如請求項1之異常顯示裝置，其中，上述開始資訊中包含用於使拍攝部拍攝上述圖像之拍攝開始訊號；上述輸入圖像獲取部獲取由拍攝部拍攝上述圖像而得之上述輸入圖像。
  4. 如請求項1至3中任一項之異常顯示裝置，其進而具備：圖像校正部，其校正上述輸入圖像；上述異常檢測部藉由將由上述圖像校正部校正之上述輸入圖像與預先記憶之正常圖像進行比較，而執行上述異常檢測。
  5. 如請求項4之異常顯示裝置，其進而具備：校正選擇資訊獲取部，其獲取選擇上述圖像校正部所執行之校正處理之種類之校正選擇資訊。
  6. 如請求項1至3中任一項之異常顯示裝置，其中，上述異常檢測部藉由既定之正常圖像預先學習。
  7. 如請求項1至3中任一項之異常顯示裝置，其中，上述基於預先記憶之正常圖像之資訊包含上述正常圖像之平均值向量及方差之資訊；上述異常檢測部對應於作為上述輸入圖像被分割之區域之複數個分割區域而進行異常檢測；上述顯示部將由上述異常檢測部檢測到之資訊與上述分割區域建立對應關係而重疊顯示於上述輸入圖像。
  8. 如請求項1至3中任一項之異常顯示裝置，其中，上述異常檢測部，藉由基於從上述輸入圖像獲得之特徵圖中所包含之要素之值來算出馬氏距離，來計算與預先學習之正常圖像之距離。
  9. 一種異常顯示程式，其使電腦執行如下步驟：開始資訊獲取步驟，其藉由開始資訊獲取部，獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之圖像所具有之異常進行檢測；輸入圖像獲取步驟，其藉由輸入圖像獲取部，獲取上述輸入圖像；異常檢測步驟，其藉由異常檢測部，基於獲取之上述開始資訊，將獲取之上述輸入圖像與預先記憶之正常圖像進行比較，藉此執行上述異常檢測；及顯示步驟，其藉由顯示部，將基於由上述異常檢測步驟檢測到之資訊的資訊，重疊顯示於上述輸入圖像； 上述開始資訊包含表示上述異常檢測部是在具有上述開始資訊獲取部、上述輸入圖像獲取部、上述異常檢測部、以及上述顯示部之裝置內進行基於既定之正常圖像之學習、還是在上述裝置內執行上述異常檢測中之任一者之學習執行選擇資訊；上述異常檢測部基於上述開始資訊中包含之上述學習執行選擇資訊，執行上述學習或上述異常檢測之任一者。
  10. 一種異常顯示系統，其具備：拍攝部，其拍攝輸入圖像；及如請求項3之異常顯示裝置，其執行由上述拍攝部拍攝之上述輸入圖像之上述異常檢測，顯示執行結果所得之資訊。
  11. 一種異常顯示方法，其具有：開始資訊獲取工序，其藉由開始資訊獲取部，獲取包含用於開始異常檢測之資訊之開始資訊，該異常檢測對輸入圖像中包含之圖像所具有之異常進行檢測；輸入圖像獲取工序，其藉由輸入圖像獲取部，獲取上述輸入圖像；異常檢測工序，其藉由異常檢測部，基於獲取之上述開始資訊，將獲取之上述輸入圖像與預先記憶之正常圖像進行比較，藉此執行上述異常檢測；及顯示工序，其藉由顯示部，將基於由上述異常檢測工序檢測到之資訊的資訊，重疊顯示於上述輸入圖像；上述開始資訊包含表示上述異常檢測部是在具有上述開始資訊獲取部、上述輸入圖像獲取部、上述異常檢測部、以及上述顯示部之裝置內進行基於既定之正常圖像之學習、還是在上述裝置內執行上述異常檢測中之任一者之學習執行選擇資訊；上述異常檢測部基於上述開始資訊中包含之上述學習執行選擇資訊，執行 上述學習或上述異常檢測之任一者。
TW111122007A 2021-06-29 2022-06-14 異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法 TWI844868B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021108017 2021-06-29
JP2021-108017 2021-06-29

Publications (2)

Publication Number Publication Date
TW202303449A TW202303449A (zh) 2023-01-16
TWI844868B true TWI844868B (zh) 2024-06-11

Family

ID=84692652

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111122007A TWI844868B (zh) 2021-06-29 2022-06-14 異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法

Country Status (4)

Country Link
US (1) US20240303802A1 (zh)
JP (1) JPWO2023276595A1 (zh)
TW (1) TWI844868B (zh)
WO (1) WO2023276595A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205071A (ja) * 2012-03-27 2013-10-07 Hioki Ee Corp 外観検査装置及び外観検査方法
JP2019158500A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、画像処理装置、撮像装置および検査方法
TWI707137B (zh) * 2020-01-13 2020-10-11 憶象有限公司 智能產線監測系統及監測方法
CN112001903A (zh) * 2020-08-21 2020-11-27 深圳市华汉伟业科技有限公司 缺陷检测网络构建方法、异常检测方法及系统、存储介质
CN112418353A (zh) * 2020-12-11 2021-02-26 中山瑞恒网络科技有限公司 用于电池隔膜异常检测的神经网络的训练方法
TWM611949U (zh) * 2021-02-09 2021-05-11 麗臺科技股份有限公司 自動化視覺檢測的ai流程管理系統

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
JP6833452B2 (ja) * 2016-10-28 2021-02-24 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム
JP6822093B2 (ja) * 2016-11-21 2021-01-27 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
US20220067434A1 (en) * 2018-10-01 2022-03-03 System Square Inc. Training data generation device and training data generation program
JP7215886B2 (ja) * 2018-12-04 2023-01-31 株式会社ニューフレアテクノロジー 検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205071A (ja) * 2012-03-27 2013-10-07 Hioki Ee Corp 外観検査装置及び外観検査方法
JP2019158500A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、画像処理装置、撮像装置および検査方法
TWI707137B (zh) * 2020-01-13 2020-10-11 憶象有限公司 智能產線監測系統及監測方法
CN112001903A (zh) * 2020-08-21 2020-11-27 深圳市华汉伟业科技有限公司 缺陷检测网络构建方法、异常检测方法及系统、存储介质
CN112418353A (zh) * 2020-12-11 2021-02-26 中山瑞恒网络科技有限公司 用于电池隔膜异常检测的神经网络的训练方法
TWM611949U (zh) * 2021-02-09 2021-05-11 麗臺科技股份有限公司 自動化視覺檢測的ai流程管理系統

Also Published As

Publication number Publication date
TW202303449A (zh) 2023-01-16
WO2023276595A1 (ja) 2023-01-05
US20240303802A1 (en) 2024-09-12
JPWO2023276595A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
WO2020031984A1 (ja) 部品の検査方法及び検査システム
KR102150673B1 (ko) 외관불량 검사방법 및 외관불량 검사 시스템
CN112906649B (zh) 视频分割方法、设备、计算机设备及介质
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN110022674B (zh) 用于在作物图像中检测马铃薯病毒的方法、介质和系统
US20140286527A1 (en) Systems and methods for accelerated face detection
JP6993852B2 (ja) 建物被害推定装置
US20230222645A1 (en) Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program
CN113283541B (zh) 一种地板自动分选方法
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN111652297B (zh) 用于图像检测模型训练的故障图片生成方法
Korus et al. Content authentication for neural imaging pipelines: End-to-end optimization of photo provenance in complex distribution channels
CN113642576A (zh) 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
WO2020175666A1 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
CN111178445A (zh) 图像处理方法及装置
TWI844868B (zh) 異常顯示裝置、異常顯示程式、異常顯示系統及異常顯示方法
JP4649498B2 (ja) 画像データの色補正方法及びシステム
JP7404817B2 (ja) 学習装置、検出装置、学習方法、及び学習プログラム
JP2023005822A (ja) 異常検知プログラム、異常検知装置、異常検知システム及び異常検知方法
KR20230082346A (ko) 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법
CN114581536A (zh) 基于特征感知和多通道学习的图像色差检测方法
CA2997335C (en) Automatically generating image datasets for use in image recognition and detection
CN112529030A (zh) 学习模型生成装置、图像校正装置及其方法、记录媒体
TWI842292B (zh) 自動化產線產品外觀瑕疵檢驗方法及系統