TWI807414B

TWI807414B - 檢查裝置、檢查方法以及儲存介質

Info

Publication number: TWI807414B
Application number: TW110133549A
Authority: TW
Inventors: 成瀬洋介
Original assignee: 日商歐姆龍股份有限公司
Priority date: 2020-09-17
Filing date: 2021-09-09
Publication date: 2023-07-01
Also published as: JP2022049874A; TW202212814A; WO2022059402A1

Abstract

本發明的目的在於提供一種檢查裝置、檢查方法及儲存介質，可減少計算量或記憶體的負荷而設計適當的照明圖案。檢查裝置包括：攝像部(141)，使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關；計算部(142)，基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態；以及變換部(143)，將參數變換為照明指令值。

Description

檢查裝置、檢查方法以及儲存介質

[相關申請案的相互參照]

本申請案基於2020年9月17日提出申請的日本專利申請案編號2020-156139，將其記載內容援用於此。

本揭示是有關於一種檢查裝置、檢查方法以及檢查程式。

製造現場的製品的外觀檢查為用機械來替換人員最不發達的領域之一，為面向將來的勞動人口減少而必須研究的自動化的重要課題。近年來，由於深度學習(deep learning)所代表的人工智能、機械學習技術的發展，檢查的自動化技術正飛躍性地提高。然而，於外觀檢查及機器視覺(machine vision)中，構築檢查系統時最費力的製程通常為包含照明圖案的最佳化設計的、攝像系統的設計，該領域的自動化不太發達。於人以手動作業來進行所述最佳化設計的情形時，為了一方面應對工件(檢查對象)的個體偏差一方面可靠地檢測工件中產生的損傷等缺陷，攝像系統的設計需要很大的勞力。即，為了獲得所需的檢測性能，一方面更換成為對象的各種工件，一方面交替反覆進行照明的由手動調整所得的最佳化與檢查算法的研究、調整必不可少，因此需要非常多的工時。

為了應對所述問題，例如專利文獻1中記載有一種圖像獲取方法，藉由攝像機構來拍攝經光度可變更的光源所照明的被攝物，獲取用以確定最適光度的圖像資料，並且所述圖像獲取方法改變光源的光度而將被攝物拍攝多次，基於該些圖像的圖像資料之差，生成藉由使光度以單位量變化從而變化的圖像資料，對該圖像資料重合其複製資料，藉此生成相當於使光源的光度自低光度以單位量變化至高光度而拍攝的多個實際圖像的、多個虛擬圖像資料。

[先前技術文獻] [專利文獻]

專利文獻1：日本專利特開2006-228789號公報

然而，專利文獻1所記載的方法中，由於針對多個照明指令值的組合來拍攝工件的圖像，因而有時組合變得龐大而計算量或記憶體的負荷變大。

因此，本揭示的目的在於提供一種檢查裝置、檢查方法以及檢查程式，可減少計算量或記憶體的負荷而設計適當的照明圖案。

本揭示的一態樣的檢查裝置包括：攝像部，使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關；計算部，基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態；以及變換部，將參數變換為照明指令值。

根據所述態樣，可將作為離散值的照明指令值的組合最佳化問題替換為連續值的參數的最佳化問題，可減少計算量或記憶體的負荷而設計適當的照明圖案。

所述態樣中，計算部亦可藉由多個評價用工件圖像的重合來生成合成圖像，並利用既定的評價函數來評價合成圖像，藉此算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態，而所述多個評價用工件圖像經具有與多個評價用工件圖像的個數相等的維度的參數進行加權。

根據所述態樣，使作為連續值的圖像合成權重而非作為離散值的照明指令值最佳化，並將圖像合成權重變換為照明指令值，藉此可使檢查的照明發光圖案最佳化。

所述態樣中，參數的維度數亦可少於多個評價用發光圖案的個數。

根據所述態樣，可針對維度較多個評價用發光圖案的個數更少的參數進行最佳化，可有效率地執行最佳化。

所述態樣中，變換部亦可基於使照明指令值與參數對應的表，將參數變換為照明指令值。

根據所述態樣，即便於存在照明指令值的灰階限制的情形時，亦可減少量化誤差所引起的合成圖像與實攝圖像的偏離，防止照明的最佳化性能的降低。

所述態樣中，變換部亦可根據拍攝多個評價用工件圖像時的曝光時間及增益的至少任一個來對表的值進行標度變換。

根據所述態樣，可根據拍攝評價用工件圖像時的曝光時間或增益來算出適當的照度。

所述態樣中，變換部亦可基於表將參數變換為發光強度參數，並將發光強度參數變換為與發光強度對應的照明指令值，所述發光強度與由發光強度參數所表示的發光強度類似，而所述發光強度參數表示光源所含的多個照明要素的發光強度。

根據所述態樣，可在能以實際的照明灰階實現的範圍內獲得適當的照明指令值。

所述態樣中，變換部亦可基於發光強度參數來決定拍攝檢查用工件圖像時的曝光時間及增益的至少任一個。

根據所述態樣，可適當設定曝光時間或增益，一方面表現欲實現的畫素值，一方面無浪費地活用照明指令值的範圍。

所述態樣中，攝像部亦可使曝光時間及增益的至少任一個變化來拍攝多個評價用工件圖像。

所述態樣中，攝像部亦可藉由高動態範圍(High Dynamic Range，HDR)合成來拍攝多個評價用工件圖像。

所述態樣中，變換部亦可於輸入有參數的情形時，反覆進行將參數變換為照明指令值與將照明指令值變換為參數直至收斂為止，算出所輸入的參數、及對應的照明指令值。

根據所述態樣，可獲得與所輸入的參數接近且可實現的參數及照明指令值的對。

所述態樣中，變換部亦可於輸入有照明指令值的情形時，反覆進行將照明指令值變換為參數與將參數變換為照明指令值直至收斂為止，算出所輸入的照明指令值、及對應的參數。

根據所述態樣，可獲得與所輸入的照明指令值接近且可實現的照明指令值及參數的對。

本揭示的另一態樣的檢查方法使用包括攝像部、計算部及變換部的檢查裝置來檢查工件，且所述檢查方法包括：攝像部使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關；計算部基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態；以及變換部將參數變換為照明指令值。

本揭示的另一態樣的儲存介質儲存有檢查程式，所述檢查程式對包括攝像部、計算部及變換部的檢查裝置進行控制，使該檢查裝置檢查工件，且所述檢查程式使檢查裝置執行：攝像部使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關；計算部基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態；以及變換部將參數變換為照明指令值。

根據所述態樣，可將作為離散值的照明指令值的組合最佳化問題替換為連續值的參數的最佳化問題，可減少計算量或記憶體的負荷來設計適當的照明圖案。

再者，本揭示中，所謂「部」及「裝置」，並非僅意指物理手段，亦包括藉由軟體來實現該「部」及「裝置」所具有的功能的構成。另外，一個「部」及「裝置」所具有的功能亦可藉由兩個以上的物理手段或裝置來實現，或者，兩個以上的「部」及「裝置」的功能亦可藉由一個物理手段或裝置來實現。進而，所謂「部」及「裝置」，例如為亦可改稱為「手段」及「系統」的概念。

根據本揭示，可將作為離散值的照明指令值的組合最佳化問題替換為連續值的參數的最佳化問題，可減少計算量或記憶體的負荷而設計適當的照明圖案。藉由使用適當的照明圖案，例如可強調工件的損傷等缺陷(增大良品與缺陷的差異而使缺陷顯而易見)，並且亦可抑制工件的背景圖像所引起的、隨機的良品偏差或個體偏差的影響(減少良品偏差)。藉此，可減少工件缺陷的看漏或誤判定，可實現工件的檢查性能及檢查效率的提高。另外，藉由所述有效率的檢查處理，可提高包含檢查裝置的系統總體的處理速度(處理量(throughput))，另外可節約記憶容量，且可減少通訊的資料量，並且可提高檢查的可靠性。

1:檢查系統

2:帶式傳輸機

4:工件

6:拍攝視野

8:上位網路

10:PLC

12:資料庫裝置

100:控制裝置

102:攝像機

104:顯示器

106:鍵盤

108:滑鼠

110:處理器

112:主記憶體

114:攝像機介面

116:輸入介面

118:顯示介面

120:通訊介面

122:內部匯流排

130:貯存器

132:檢查程式

134:照明參數

136:照度LUT

138:評價用工件圖像

140:檢查用工件圖像

141:攝像部

142:計算部

143:變換部

144:記憶部

LS:光源

LSi:通道照明

S100~S104、S200~S204、S300~S304、S400~S404:步驟

圖1為示意性地表示本揭示的實施形態的檢查裝置的構成例的圖。

圖2為示意性地表示本揭示的實施形態的檢查裝置所用的光源的配置的一例的俯視圖。

圖3為示意性地表示本揭示的實施形態的檢查裝置所含的控制裝置的硬體構成的圖。

圖4為示意性地表示本揭示的實施形態的檢查裝置的功能構成的一例的圖。

圖5為表示本揭示的使用多通道照明的單發(single-shot)檢查中的、以直線性(linearity)成立為前提的圖像合成模型的示意圖。

圖6為表示由本揭示的實施形態的檢查裝置所使用的照度LUT的一例的圖。

圖7為將由本揭示的實施形態的檢查裝置所使用的照度LUT的一部分區間放大表示的圖。

圖8為示意性地表示由本揭示的實施形態的檢查裝置相互變換的圖像合成權重及照明指令值的空間的圖。

圖9為由本揭示的實施形態的檢查裝置執行的第一處理的流程圖。

圖10為示意性地表示由本揭示的實施形態的檢查裝置相互變換的圖像合成權重及照明指令值的空間的圖。

圖11為示意性地表示由本揭示的實施形態的檢查裝置算出的曝光時間與畫素值的關係的圖。

圖12為由本揭示的實施形態的檢查裝置執行的第二處理的流程圖。

圖13為由本揭示的實施形態的檢查裝置執行的第三處理的流程圖。

圖14為由本揭示的實施形態的檢查裝置執行的第四處理的流程圖。

以下，參照圖式對本揭示的一例的實施形態進行說明。然而，以下說明的實施形態亦僅為例示，並非意在將以下明示的各種變形或技術的適用除外。即，本揭示的一例可於不偏離其主旨的範圍進行各種變形而實施。另外，以下圖式的記載中，對相同或類似的部分標註相同或類似的符號，圖式為示意性，未必與實際的尺寸或比率等一致。進而，有時於圖式相互間亦包含彼此的尺寸關係或比率不同的部分。另外，以下說明的實施形態為本揭示的一部分實施形態，且當然並非所有的實施形態。進而，本領域技術人員基於本揭示的實施形態無需進行創造性行為所得的其他實施形態均包含於本揭示的保護範圍。

§1 適用例

本揭示中，檢查裝置以基於作為離散值的照明指令值的檢查用發光圖案將作為檢查對象的工件(檢查對象物)照明，並藉由適當的感測器來拍攝工件而獲取檢查用工件圖像。而且，藉由對該檢查用工件圖像進行圖像處理，從而識別工件的狀態(例如有無損傷等缺陷)。

檢查裝置為了決定最適於工件檢查的發光圖案，預先拍攝與至少一個工件有關的多個評價用工件圖像。繼而，檢查裝置藉由多個評價用工件圖像的重合來生成合成圖像，並利用既定的評價函數來評價合成圖像，藉此算出表示發光圖案的參數，所述發光圖案適於識別工件的狀態，而所述多個評價用工件圖像經連續值的參數進行加權。檢查裝置基於使照明指令值與參數對應的表，將參數變換為照明指令值。

如此，檢查裝置將作為連續值的圖像合成權重而非作為離散值的照明指令值最佳化，並將圖像合成權重變換為照明指令值，藉此使檢查的照明發光圖案最佳化。

在預先未知使照明如何點亮便可獲得何種拍攝圖像的情形時，想到下述方法，即：實際將工件載置於平台，一方面進行多數次換載一方面反覆拍攝，探索最適的照明的點亮狀態。然而，尤其於多通道照明裝置般點亮狀態的組合數非常大的情形時，產生無法充分確保用以求出最適解的試行次數的根本問題。為了解決該問題，想到將改變照明的點亮狀態的情形時拍攝的圖像合成，將照明的最佳化問題作為計算機上的最佳化問題來進行處理。

於如此般藉由計算機上的模擬使照明的點亮狀態最佳化的情形時，提高使圖像合成的結果與實際拍攝一致的精度成為重要課題。因此，成為課題的是照明指令值的灰階。一般而言，光源進行脈寬調製(Pulse Width Modulation，PWM)調光，因而並非可取任意連續值的亮度，而是僅可取離散值。進而，相關於硬體的構成，亦不保證所有光源的照度的灰階等間隔地量化。

於欲在此種狀況下使照明條件最佳化的情形時，最簡單可想到使作為離散值的照明指令值直接變化而最佳化的方法。但是，此時成為對組合最佳化問題求解，有時耗費很大的計算成本。另外，於拍攝評價用工件圖像時的發光圖案未成為標準基底(多個光源中僅一個點亮)的情形時，有難以根據離散的照明指令值來求出評價式的問題。

本實施形態的檢查裝置藉由將照明指令值的組合最佳化問題替換為作為連續值的參數的最佳化問題，從而可減少計算量或記憶體的負荷。另外，藉由使用下文將詳細說明的照度查找表(Look Up Table，LUT)的、照明指令值與照度的對應，即便於光源的照度的灰階未等間隔地量化的情形時，亦能以相對較高的精度使照明的點亮狀態最佳化。

此處，首先使用圖1及圖2對適用本揭示的一例的場景的一例進行說明。圖1為示意性地表示本揭示的實施形態的檢查裝置的構成例的圖。另外，圖2為示意性地表示本揭示的實施形態的檢查裝置所用的光源的配置的一例的俯視圖。

檢查系統1例如藉由對拍攝工件4所得的輸入圖像執行圖像分析處理，從而實現工件4的外觀檢查，所述工件4為於帶式傳輸機(belt conveyor)2上搬送的檢查對象。以下，作為圖像分析處理的典型例，以工件4的表面有無缺陷的檢查等作為應用例進行說明，但不限於此，例如亦可應用於缺陷的各種確定或外觀形狀的測量等。

於帶式傳輸機2的上部，配置有使光源LS一體化的、作為感測器的攝像機102，攝像機102的拍攝視野6以包含帶式傳輸機2的既定區域的方式構成。此處，作為光源LS，例如可列舉多方向多色(Multi Direction Multi Color，MDMC)照明等多通道照明，更具體而言，可例示本申請人提出的例如日本專利申請案2018-031747所記載的照明。作為多通道照明的光源LS具有多個通道照明LSi。更具體而言，例如光源LS如圖2所示，具有平面視呈圓形狀的一個通道照明LSi、及於其周圍配置成同心圓狀的呈扇帶狀的12個通道照明LSi。此時，光源LS包含合計13個通道照明LSi，於各通道照明LSi發出三色光的情形時，單色且單通道的既定照明發光圖案成為13×3=39圖案。進而，藉由攝像機102的拍攝所生成的評價用工件圖像的資料向控制裝置100發送。攝像機102進行的拍攝是週期性或事件性地執行。

控制裝置100使光源LS基於作為離散值的照明指令值以多個評價用發光圖案發光，拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關。另外，控制裝置100基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態。此處，參數為用以將多個評價用工件圖像重合來生成合成圖像的權重參數。進而，控制裝置100基於照度LUT將參數變換為照明指令值。

控制裝置100使用所算出的照明指令值來拍攝作為檢查對象的工件4的檢查用圖像。另外，控制裝置100可包括學習器，該學習器具有用於工件4的外觀檢查的、卷積類神經網路(Convolutional Neural Network，CNN)引擎。使用CNN引擎根據檢查用圖像生成每個類(class)的特徵檢測圖像。基於所生成的單個或多個特徵檢測圖像，識別作為檢查對象的工件4的狀態(有無缺陷，缺陷的大小或缺陷的位置等)。

控制裝置100經由上位網路8與可程式邏輯控制器 (Programmable Logic Controller，PLC)10及資料庫裝置12等連接。控制裝置100中的運算結果及檢測結果亦可向PLC10及/或資料庫裝置12發送。再者，對於上位網路8，亦可除了PLC10及資料庫裝置12，還連接有任意的裝置。另外，控制裝置100亦可連接有作為用以顯示處理中的狀態或檢測結果等的輸出部的顯示器104、以及作為受理用戶進行的操作的輸入部的例如鍵盤106及滑鼠108。

§2 構成例

[硬體構成]

繼而，使用圖3對作為本揭示的一實施形態的檢查裝置的、檢查系統1所含的控制裝置100的硬體構成的一例進行說明。圖3為示意性地表示控制裝置100的硬體構成的圖。

作為一例，控制裝置100亦可使用按照通用的電腦架構(computer architecture)所構成的通用電腦來實現。控制裝置100包含處理器(processor)110、主記憶體(main memory)112、攝像機介面114、輸入介面116、顯示介面118、通訊介面120及貯存器(storage)130。該些組件典型而言經由內部匯流排122相互可通訊地連接。

處理器110藉由將保存於貯存器130的各種程式於主記憶體112展開並執行，從而實現後述那樣的功能及處理。主記憶體112包含揮發性記憶體，作為由處理器110執行程式所需要的工作記憶體(work memory)發揮功能。

攝像機介面114與攝像機102連接，獲取由攝像機102所拍攝的評價用工件圖像138或檢查用工件圖像140。攝像機介面114亦可對攝像機102指示拍攝時機等。

輸入介面116與鍵盤106及滑鼠108等輸入部連接，獲取表示用戶對輸入部的操作等的指令。

顯示介面118向顯示器104輸出藉由處理器110執行程式從而生成的各種處理結果。

通訊介面120負責用以經由上位網路8與PLC10及資料庫裝置12等進行通訊的處理。

貯存器130保存操作系統(Operating System，OS)或檢查程式132等用以使電腦作為控制裝置100發揮功能的程式。貯存器130亦可更保存照明參數134、照度LUT136、多個評價用工件圖像138及多個檢查用工件圖像140。照明參數134為具有與多個評價用工件圖像的個數相等的維度的、連續值的參數，且為用以將多個評價用工件圖像138重合來生成合成圖像的權重參數。照度LUT136為使照明指令值與照度對應的表。

保存於貯存器130的檢查程式132亦可經由數位多功能光碟(Digital Versatile Disc，DVD)等光學記錄媒體或通用串列匯流排(Universal Serial Bus，USB)記憶體等半導體記錄媒體等而安裝於控制裝置100。或者，檢查程式132亦可自網路上的伺服器裝置等下載。

於如此使用通用電腦來實現的情形時，亦可藉由以既定的順序及/或時機調出OS所提供的軟體模組中必要的軟體模組進行處理，從而實現本實施形態的功能的一部分。即，本實施形態的檢查程式132亦可不含用以實現本實施形態的功能的、所有軟體模組，而是藉由與OS協作從而提供必要的功能。

另外，檢查程式132亦可組入至其他程式的一部分而提供。此時，檢查程式132自身中亦不含所述般組合的其他程式所含的模組，而是藉由與該其他程式協作從而執行處理。如此，本實施形態的檢查程式132亦可為組入至其他程式的形態。

再者，圖3中表示使用通用電腦來實現控制裝置100的示例，但不限定於此，亦可使用專用電路(例如特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或現場可程式閘陣列(Field-Programmable Gate Array，FPGA)等)來實現其全部或一部分功能。進而，亦可使經網路連接的外部裝置負責一部分處理。

如以上般，自硬體構成的觀點而言，檢查系統1相當於本揭示的「檢查裝置」的一例。另外，工件4相當於本揭示的「工件」的一例。進而，光源LS相當於本揭示的「光源」的一例，攝像機102相當於本揭示的「攝像機」的一例。

[功能構成]

繼而，使用圖4對作為本揭示的實施形態的檢查裝置的、檢查系統1的功能構成的一例進行說明。圖4為示意性地表示作為本揭示的實施形態的檢查裝置的、檢查系統1的功能構成的一例的圖。檢查系統1的控制裝置100可包含攝像部141、計算部142、變換部143及記憶部144。

控制裝置100的攝像部141、計算部142及變換部143可藉由通用處理器來實現，本揭示中並無限定，亦可使用專用電路(例如ASIC或FPGA等)來實現該些零件的全部或一部分功能。進而，亦可使經網路連接的外部裝置負責一部分處理。

攝像部141使光源LS基於作為離散值的照明指令值以多個評價用發光圖案發光，並藉由攝像機102來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經多個評價用發光圖案照明的至少一個工件有關。攝像部141可拍攝N張評價用工件圖像。

計算部142基於多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態。計算部142藉由多個評價用工件圖像的重合來生成合成圖像，並利用既定的評價函數來評價合成圖像，藉此算出表示發光圖案的參數，所述發光圖案用於識別工件的狀態，而所述多個評價用工件圖像經具有與多個評價用工件圖像的個數相等的維度的參數進行加權。

變換部143將所算出的參數變換為照明指令值。變換部143基於使照明指令值與參數對應的照度LUT，將參數變換為照明指令值。

記憶部144於照明最佳化階段中，記憶由攝像部141所得的多個評價用工件圖像，於檢查階段中，記憶由攝像部141所得的檢查用工件圖像。另外，記憶部144記憶由計算部142所得的照明參數。進而，記憶部144記憶由變換部143所使用的照度LUT。記憶部144是藉由記憶檢查系統1的動作所需要的程式或資料的、上文所述的貯存器130來實現。再者，控制裝置100亦可不含記憶部144，亦可使用外部(裝置)的貯存器代替記憶部144。

如以上般，自功能模組的觀點而言，控制裝置100與光源LS及攝像機102一起，相當於本揭示的「攝像部」的一例。另外，控制裝置100作為本揭示的「計算部」及「變換部」的一例發揮功能。

§3 動作例

以下的動作例的說明中，數式中使用的各記號的含意如表1所示。粗體的小寫字符表示向量，粗體的大寫字符表示矩陣(文中以非粗體表示)。除此以外的記號為標量(scalar)。另外，設_{∥ ∥}表示針對向量的L2範數，[X]_i，j表示矩陣X的i列j行的要素。

(藉由多通道照明進行的拍攝與內積運算的等價性)

本揭示的檢查系統1中，使用利用多通道照明的攝像部141作為光源LS，但此處假設檢查系統1的感測器側的直線性(亮度與QL值之間的直線性)成立。這一情況即意指，於包括彩色濾光片的去馬賽克(demosaicing)等信號處理或伽馬修正(Gamma correct)、暗電流偏移修正等拍攝修正全部的系統中，直線性成立等。為了避免畫素飽和所致的非線性，圖像的拍攝中亦可使用HDR合成等。此時，考慮對經K個通道照明LSi照射的工件4進行拍攝的狀況，將各通道照明的發光強度表述為下述式(1)的向量。

此時，若如u₁=1、u_j=0(j≠i)般僅使第i個照明以既定強度點亮，使其他照明熄滅，將所拍攝的圖像作為列向量(column vector)進行排列而設為f_i，則任意的照明條件u下的拍攝圖像g可如以下的式(2)般藉由圖像合成而模型化。

此處，f'為下述式(3)所定義的、將K張圖像沿縱向排列匯總的多通道圖像(大的一個行向量)。

另外，所述式(2)及式(3)中的各運算符等的定義如下。

如此，多通道照明的最佳化與下述情況等價，即：藉由對原圖像基於f'進行內積運算從而生成特徵向量g，即，進行射影矩陣u^T×I(「×」為克羅內克(Kronecker)積)中的線性射影方向u的最適設計。

(利用既定發光圖案的評價圖像的獲取)

以下，通常於安裝有K個照明的狀況下，想到針對一個工件使照明發光圖案變化來拍攝N個圖案，決定(示教)最適照明。

如下述式(5)般定義第n(1≦n≦N)張拍攝的發光圖案。

藉由利用該些發光圖案來拍攝工件，從而可重構以任意的發光圖案照射的情形時的、工件的拍攝圖像。這一情況與進行光傳輸(Light Transport，LT)矩陣的推定等價。通常為了獲取LT 矩陣的全部的自由度，較理想為以h_n成為線性獨立的方式來決定發光圖案。為了將K個照明的自由度全部不留地活用，至少需要N=K，此時H的秩rank(H)=min(N，K)成為滿秩(full rank)。

另一方面，於N<K的情形時，雖無法充分活用照明個數的自由度，但於縮短工件的拍攝時間的方面為有效方法。作為實現這一情況的方法，想到各種方法，具代表性的可列舉進行LT矩陣推定的方法，所述LT矩陣推定使用壓縮感知(Compressed Sensing)。

另外，亦想到N>K的情況，這意味著充分活用照明的自由度，拍攝張數為必要以上而造成浪費，但於爭取訊雜比(Signal to Noise ratio，SN比)或動態範圍(dynamic range)等其他目的時可選擇。

將以該些發光圖案拍攝的圖像作為列向量進行排列而設為f_i，如下述式(6)般定義將該些進一步縱向排列N張匯總而得的多通道圖像向量。此處，e_i表述R^N的標準基底。

由各照明通道所得的亮度u及此時的拍攝圖像g是如下述式(7)般表現。

式(7)

此處，w_i為圖像合成權重(照明參數)。再者，發光強度的指令值是基於圖像合成權重而算出，並非該值本身。圖像合成權重通常亦允許取負值，但照明通道的發光強度必須為非負，因而附加下述式(8)的條件。

此處，設針對向量或矩陣的不等號為對所有要素的不等號。於H=I時，即，於使照明逐一點亮而拍攝K(=N)張的情形時，u與w等價。以下，處理下述問題，即：藉由求出最適的圖像合成權重w，從而求出此時的最適照明u。

(照明灰階的量化誤差問題)

作為最佳化問題的難點，可列舉照明灰階的量化問題。照明的發光強度大多情況下藉由PWM進行調光，故而無法取連續值而是進行量化。若量化誤差的影響小，則連續鬆弛，即便對最佳化問題求解亦不成問題。然而，於照明最佳化的情形時，若將曝光設定得大或工件的反射率大時，離散灰階的影響無法忽視。於多通道照明的情形時，根據工件的雙向反射分佈函數(Bidirectional Reflectance Distribution Function，BRDF)特性，相關於照明的安裝角而反射率發生大的偏離，故而若使曝光對準暗通道則亮通道的灰階不足，於藉由連續鬆弛進行的最佳化中，引起受到量化誤差的影響大而最佳化的精度降低的問題。

若假設照明灰階的量化為等間隔，評價函數為二次函數，則該問題成為非凸混合整數二次規劃(Nonconvex Mixed Integer Quadratic Programming，Nonconvex MIQP)，若為照明的要素數相對較少的情形，則可利用MIQP求解器(數值最佳化庫)來求解。然而，實際問題中，照明灰階於每個通道成為非等間隔，評價函數亦成為複雜定義。因此，通常成為計算量大的組合最佳化問題。本揭示中提出下述方法，即：首先作為連續鬆弛的問題找出最適解後，求出有效率地考慮到照明灰階的照明指令值。

(照明最佳化的評價基準)

此處，對照明最佳化的意義及其評價基準進行概述後，一方面參照圖式等，一方面對具體的處理順序進行說明。首先，工件等的外觀檢查中的照明設計的目的在於，正確判別良品(正常品)與不良品(缺陷品)。該問題先前是藉由熟練者的人手來解決，但於欲系統性(Systematic)地解決的情形時，必須預先決定「判定基準」及「照明設計的控制自由度」而進行限定。

此處，關於給予既定的判別算法作為判定基準且給予MDMC照明等多通道照明作為控制自由度的情形時的、照明最佳化問題，作為使良品/不良品的分類與正解一致的「交叉熵(cross entropy)最小化問題」來定式化。再者，於工件的標籤判定的判定器為機械學習器的情形時，亦可同時進行照明最佳化與判定器的學習，自動進行對彼此而言發揮最佳性能的調優(tuning)。

然而，於欲進行交叉熵最小化的情形時，成為大問題的在於下述方面，即：大量需要附加有良品/不良品的標籤的樣本。尤其於欲使具有大的自由度的照明最佳化的情形時，難以利用僅判別少數的良品/不良品標籤的基準來唯一地決定最適的照明。此種問題於無法獲得大量的評價用工件圖像(樣本圖像)的、檢查裝置的啟動時，成為特別應擔憂的大的課題。

因此，本揭示中，為了解決該問題，提出了基於圖像自身的評價基準(對比度、亮度、近度)使照明最佳化的方法。此時，作為工件等的外觀檢查中的最佳化照明設計所要求的要件，大致列舉以下所示的兩個。

[要件1]容易看到易進行良品(標籤)與不良品(標籤)的識別的特徵(即容易看到缺陷)

[要件2]容易看到良品偏差(個品偏差)

然而，兩要件通常為相悖的性質，因而進行取得了該些性質的平衡的照明設計成為照明最佳化的難題。以下，為了使用滿足該些條件的評價基準，於照明的發光強度成為正值般的限制條件下求解，而對評價基準進行判別分析，以二次形式來表現圖像的評價基準。此時，所述問題可藉由半定規劃(Semidefinite Programming，SDP)來求解。

無論使用哪一評價基準，照明最佳化的評價函數均可如下述式(9)般，表現為以M個工件拍攝圖像作為輸入的函數F 的最小化。藉由該最佳化所求出的是表述為w_i的圖像合成權重(照明參數)。這意指第i個基底發光圖案的光量，因原本照明指令值離散故而為離散量，但此處連續鬆弛而視為連續量進行處理。

圖5為表示本揭示的使用多通道照明的單發檢查中的、以直線性成立為前提的圖像合成模型的示意圖。

所述最佳化問題能以w而非u的少維度的連續量進行探索，因而可有效率地實施。以下，將最適的圖像合成權重w_opt表述為w。

(感測器模型與圖像合成的通式(曝光固定的情形))

於攝像系統中，作為對從照明指令值到感測器畫素值為止的灰階變化賦予特徵的函數，可列舉：(1)用以根據照明指令值求出亮度(=此時照度)的函數、及(2)用以根據亮度求出感測器畫素值的函數(=攝像機響應函數(Camera Response Function，CRF))。關於(1)，後述的照度LUT相當於該函數。關於(2)，假設若為特定範圍內的畫素值則感測器的直線性充分成立來進行討論。另外，設鉗位水平(clamp level，=亮度零的畫素值)為一定值，但於該些假設不成立的情形時，需要導入針對該些的修正處理。

(照度LUT)

所謂照度LUT，為記錄照明指令值與相對照度的關係的LUT，為保持照明的灰階資訊的表。關於LUT的定義，於將k設為照明通道的索引，將c設為拍攝感測器的彩色濾光片的索引，將k通道的照明指令值設為T_k時，將LUT所示的照度表示為L_k,c(T_k)。照度僅使用相對資訊，故而不論絕對值如何。LUT是藉由在事先的校準(calibration)中以全灰階將各照明通道照亮並測定畫素值從而獲得，記憶於檢查系統1的記憶部。於測定照度時，需要預先將感測器的曝光或增益設定為不發生畫素飽和或灰階不足的適當值。LUT一旦測定便保存於記憶裝置，於特性不變化的期間中可再利用。

圖6為表示由本揭示的實施形態的檢查裝置所使用的照度LUT的一例的圖。根據圖6的縱軸所示的照度LUT的值L_k,c(T)(相對照度的值)，於橫軸所示的指令值T的值自0變化至127的情形時，照度LUT的值相對於指令值T而幾乎線性變化。然而，如下一圖所示，更準確而言，相對照度的值相對於指令值的變化而非線性地變化。

圖7為將由本揭示的實施形態的檢查裝置所使用的照度LUT的一部分區間放大表示的圖。圖7中，表示圖6所示的照度LUT中的、指令值T的值為0至18的區間。如圖7所示，照度LUT的值(相對照度的值)相對於指令值T而非線性地變化。

(由圖像合成權重向照明指令值的變換(曝光固定的情形))

圖8為示意性地表示由本揭示的實施形態的檢查裝置相互變換的圖像合成權重及照明指令值的空間的圖。連續改變照明圖案所得的N張圖像的集合成為圖像合成權重的向量空間{w｜w

R^N，0≦w_i≦w_max}的基礎。然而，圖像合成權重的向量空間所表示的合成圖像並非全部可於現實中實現，而是限於能以照明灰階實現的範圍、即以照明指令值為基礎的向量空間{T｜T

I^K，0≦T_k≦T_max}的範圍。圖8中，將該範圍表示為可根據基底圖像推定的照明指令值空間。

此處，若規定圖像的近度的基準，則於適當決定圖像合成權重向量時，可選擇一個實現與所述向量最接近的圖像的、照明指令值向量。反之，於適當決定照明指令值向量時，可選擇一個實現與所述向量最接近的圖像的、圖像合成權重向量。即，於圖像最接近的含意下，存在圖像合成權重向量與照明指令值向量的對。

表示圖像的近度的基準可任意規定，以下作為具體實施例，表示進行下述定義的情形時的實裝例，即：從多通道照明的各照明通道進入攝像機的各彩色濾光片的亮度值向量(表述為u)在二乘誤差的含意下最接近。數式中使用的各記號的含意如表2所示。

以下，針對每個拍攝圖像顏色通道構成圖像合成向量g_c，如下述式(10)般考慮暗偏移值的修正。此處，暗偏移值d_c相關於曝光時間及增益。

圖像合成權重向量w與u的關係成為下述式(11)所示的關係。

其中，u為下述式(12)所表示的向量，A為下述式(13)所表示的矩陣。

式(12)

以下，對如式(11)般不相關於顏色的情形進行說明，但於w相關於顏色的情形時，如下述式(14)般表示。

此處，所謂(1)顏色相關於權重，意指相關於感測器的彩色濾光片(顏色通道)而改變圖像合成權重的處理，所謂(2)顏色共通權重，為對感測器的彩色濾光片使用共通的圖像合成權重的情形。於無特別問題的情形時，使用參數的個數少的(2)。

於由照明指令值T求出圖像合成權重w時，藉由式(12)由T求出u，使用下述式(15)由u求出w。其中，於由u求出w的情形時，可如式(15)所示般，藉由利用A的廣義反矩陣的最小二乘法高效率地計算。

另一方面，於由圖像合成權重w求出照明指令值T時，可藉由式(11)由w求出u，如下述式(16)所示般反查找照度LUT，求出最接近的指令值，藉此高效率地計算。

檢查裝置的變換部143基於照度LUT，將圖像合成權重w(照明參數)變換為發光強度參數u，將發光強度參數u變換為與發光強度對應的照明指令值T，所述發光強度與由發光強度參數表示的發光強度類似，而所述發光強度參數u表示光源LS所含的多個照明要素(通道照明LSi)的發光強度。

如以上般，基於圖像合成權重w與照明指令值T的相互變換，假設於由用戶給出W₀作為欲以多通道照明實現的圖像的情形時，能以之為基準反覆進行相互變換直至收斂為止，求出w與T的對。於圖8中，此種對表示為w₁及T₁。

如此，檢查裝置的變換部143於輸入有圖像合成權重參數的情形時，反覆進行將圖像合成權重參數變換為照明指令值與將照明指令值變換為圖像合成權重參數直至收斂為止，算出所輸入的圖像合成權重參數及對應的照明指令值。藉此，用戶可自圖像合成權重空間獲得與所輸入的圖像合成權重參數W₀最接近且可實現的合成圖像，可獲得對應的照明指令值T。

另一方面，於自用戶給出欲實現的照明指令值T₀，且該值並非由預先拍攝的基底圖像所表現的範圍的情形時，能以之為基準反覆進行相互變換直至收斂為止，求出w與T的對。於圖8中，此種對表示為w₂及T₂。

如此，檢查裝置的變換部143於輸入有照明指令值的情形時，可反覆進行將照明指令值變換為圖像合成權重參數與將圖像合成權重參數變換為照明指令值直至收斂為止，算出所輸入的照明指令值及對應的圖像合成權重參數。藉此，用戶可藉由參數w₂而獲得與所輸入的照明指令值T₀最接近且可實現的合成圖像，可獲得對應的照明指令值作為T₂。

此處，基底圖像的個數(多個評價用工件圖像的個數)亦較可由多通道照明實現的多個評價用發光圖案的個數更少。此時，可於能以多通道照明實現的範圍，於較照明指令值T更低維度的圖像合成權重參數w的空間中探索所需的圖像。即，可使用更低維度的連續量有效率且高速地探索解。

另外，於直接使照明指令值T最佳化的情形時，需要離散最佳化，而於使圖像合成權重w最佳化的情形時，可使用更容易的連續最佳化的方法，最佳化算法的選項變廣。另外，可不經由照明最佳化的評價函數，而將連續量的圖像合成權重最適地變換為離散量的照明指令值。

圖9為由本揭示的實施形態的檢查裝置執行的第一處理的流程圖。第一處理包含：決定(示教)最適照明的階段(phase)；以及進行工件的檢查的階段。

示教階段中，檢查裝置針對M個工件，以表現為矩陣H的N個評價用照明發光圖案分別將工件照明，獲得N×M張評價用工件圖像{f'_m}_m=1 ^M(S100)。

繼而，檢查裝置執行照明最佳化處理。即，檢查裝置自用戶受理用於最佳化的評價函數F的輸入，將評價用工件圖像f'重合而生成合成圖像，以使評價函數F最小化的方式算出圖像合成權重w(S101)。

然後，檢查裝置決定照明指令值。檢查裝置使用照度LUT將所算出的圖像合成權重w變換為照明指令值T(S102)。如此，針對多個評價用工件圖像獲得經最佳化的照明指令值T。

於檢查階段中，設置成為檢查對象的工件，檢查裝置拍攝檢查用工件圖像。此處，檢查裝置使用示教階段中算出的照明指令值T將工件照明，拍攝檢查用工件圖像(S103)。

繼而，檢查裝置將所拍攝的檢查用工件圖像輸入至檢查判定器(例如使用CNN等的判定器)，獲得判定結果(S104)。

§5 變形例

以上，對作為本揭示的一例的實施形態進行詳細說明，但上文所述的說明於所有方面僅表示本揭示的一例，當然可於不偏離本揭示的範圍進行各種改良或變形，例如可進行以下所示般的變更。再者，以下的說明中，關於與所述實施形態相同的構成要素，使用相同符號，針對與所述實施形態相同的方面，適當省略說明。另外，所述實施形態及以下的各變形例可適當組合而構成。

<5.1：第一變形例>

到此為止的說明中，假設感測器的曝光時間或增益一定，但實際的問題設定中，若能推定於改變曝光時間或增益時可獲取何種圖像，則非常便利。第一變形例的檢查系統中，假設可將改變曝光時間時的感測器模型如下述式(17)所示般，作為相對於去掉暗電流偏移的成分的、曝光時間的正比例而模型化，進行討論。若為不遵循所述模型的情形，則必須導入修正處理。

此處，包含τ及τ'的各記號的含意如表3所示。

(由圖像合成權重向照明指令值的變換(曝光可變的情形))

本變形例中，設基底圖像分別以不同的曝光時間τ_n拍攝。即，攝像部141使曝光時間(或增益)變化來拍攝多個評價用工件圖像。再者，τ_n亦可全部為相同的曝光時間。另外，攝像部141亦可藉由HDR合成來拍攝多個評價用工件圖像。此時，曝光時間可為HDR放大拍攝的基準曝光時間。藉由在各照明通道改變曝光時間τ_n，從而可確保各照明通道有更多亮度的灰階。進而，藉由進行HDR放大拍攝，從而即便於工件的亮度的動態範圍廣的情形時，亦可確保充分的灰階。

以下，設合成圖像的曝光時間τ'與基底圖像的曝光時間τ_n可取不同值。此種問題設定下的圖像合成可藉由適當變更式(10)~式(16)從而進行。具體而言，亮度值向量u的定義為，成為基準曝光時間τ的亮度值且如下述式(18)般表示的點、及包含以A矩陣的各係數拍攝基底圖像時的曝光時間τ_n且如下述式(19)般表示的點。

式(19)

關於此時的圖像合成權重w與照明指令值T的變換規則，使w與u相對應，使u與(T,τ')相對應，以組(set)來處理照明指令值與曝光時間。如此，變換部143根據拍攝多個評價用工件圖像時的曝光時間及增益的至少任一個對LUT表的值進行標度變換。

於由圖像合成權重w求出照明指令值T時，由w求出u後，如下述式(20)般反查找照度LUT，求出最接近的指令值。

圖10為示意性地表示由本揭示的實施形態的檢查裝置相互變換的圖像合成權重及照明指令值的空間的圖。一般而言，為了獲得相同圖像所需要的照明指令值與曝光時間的對應並非唯一地決定。例如，若將曝光時間設為2倍，則將照明指令值設為1/2倍亦可獲得相同圖像。因此，u與(T,τ')的變換成立的T及τ'的組合存在非常多。再者，由於指令值T為離散值，故而u與(T,τ')的變換成立的T及τ'的組合有限。

(圖像合成的比率與照明指令值的灰階限制的問題)

一般而言，u與(T,τ')的變換成立的T及τ'的組合存在非常多，但就最有效地活用照明指令值的灰階的觀點而言，考慮求出最佳的(T,τ')的基準。

圖11為示意性地表示由本揭示的實施形態的檢查裝置算出的曝光時間與畫素值的關係的圖。圖像的畫素值反映亮度，但畫素值視工件的反射率而變化。工件的反射率視照明通道(入射角或顏色)而變化，照明灰階相對於亮度的步幅視照明通道而不同。再者，圖11中灰階成為等間隔，但實際上因發光二極體(Light Emitting Diode，LED)元件或PWM調變的限制而未必成為等間隔。若存在照明指令值的灰階限制，則引起無法任意實現所需的圖像合成權重的比率的問題，而有大幅度地降低照明最佳化的性能的問題。於未適當設定曝光時間的情形時，由量化誤差導致藉由圖像合成所設想的圖像與實攝圖像偏離，照明的最佳化性能降低。

圖11中，於左側表示曝光時間過小的示例。此時，關於第二通道(CH2)及第三通道(CH3)，可藉由適當選擇照明指令值從而表示欲實現的畫素值(=亮度×曝光)U_k,c。然而，關於第一通道(CH1)，成為即便將照明指令值設為最大值亦無法表現欲實現的畫素值U_k,c的狀態。

圖11中，作為相反例，於右側表示曝光時間過多的示例。此時，關於第一通道(CH1)、第二通道(CH2)及第三通道(CH3)，可藉由適當選擇照明指令值從而表現欲實現的畫素值 U_k,c。然而，對於所有通道，將照明指令值設為最大值的情形的畫素值超過欲實現的畫素值U_k,c的最大值，存在並未活用的照明指令值的範圍。

於圖11的中央表示適當設定曝光時間的示例。此時，關於第一通道(CH1)，將照明指令值設為最大值的情形的畫素值與欲實現的畫素值U_k,c的最大值一致，可有效地活用照明指令值的範圍。

檢查裝置以可最佳地活用照明指令值的灰階的方式，將合成圖像的曝光時間(=拍攝圖像的曝光時間)τ'調整為最適。檢查裝置算出分別以最大的照明指令值實現各照明通道中需要的亮度所需的曝光時間，根據其最大值來決定合成圖像的曝光時間τ'。具體而言，藉由下述式(21)來決定合成圖像的曝光時間τ'。

如此，檢查裝置的變換部143基於發光強度參數u，決定拍攝檢查用工件圖像時的曝光時間τ'(或增益)。藉由該方法，可避免下述現象，即：曝光時間浪費地變得過大，未充分使用照明指令值的灰階。另外，可避免曝光時間過小而無法表現欲實現的畫素值的現象。如此，藉由將曝光時間適當最佳化，可藉由照明指令值的灰階容易地實現並補助圖像合成權重。

實際上，由於曝光時間影響動體或節拍，故而並非可任意設定，而成為僅可於某範圍內調整的量，但此時，只要自限制範圍內探索上文所述的曝光的最佳化即可。

調整曝光時間而有效活用照明灰階的示例不限於到此為止所說明的方法。例如亦想到下述方法，即：著眼於因工件反射率大故而灰階幅度大、尤其容易產生量化誤差的通道(例如圖11的CH2)，以使該量化誤差優先不顯眼的方式調整曝光時間等。於設定多個此種著眼的通道的情形時，預先需要以明確的評價基準來實現如何取捨。

圖12為由本揭示的實施形態的檢查裝置執行的第二處理的流程圖。第二處理包含：決定(示教)包含曝光時間的最佳化的最適照明的階段；以及進行工件的檢查的階段。本處理中，拍攝評價用工件圖像時的曝光時間為基準值且設為一定。

示教階段中，檢查裝置針對M個工件，以表現為矩陣H的N個評價用照明發光圖案分別將工件照明，獲得N×M張評價用工件圖像{f'_m}_m=1 ^M(S200)。

繼而，檢查裝置執行照明最佳化處理。即，檢查裝置自用戶受理用於最佳化的評價函數F的輸入，將評價用工件圖像f'重合生成合成圖像，以使評價函數F最小化的方式算出圖像合成權重w(S201)。

然後，檢查裝置決定照明指令值。檢查裝置使用照度LUT將所算出的圖像合成權重w變換為照明指令值T及曝光時間τ'(或增益)(S202)。如此，針對多個評價用工件圖像獲得經最佳化的照明指令值T及曝光時間τ'(或增益)的對。

檢查階段中，設置成為檢查對象的工件，檢查裝置拍攝檢查用工件圖像。此處，檢查裝置使用示教階段中算出的照明指令值T及曝光時間τ'(或增益)將工件照明，拍攝檢查用工件圖像(S203)。

繼而，檢查裝置將所拍攝的檢查用工件圖像輸入至檢查判定器(例如使用CNN等的判定器)，獲得判定結果(S204)。

圖13為由本揭示的實施形態的檢查裝置執行的第三處理的流程圖。第三處理包含：決定(示教)包含曝光時間的最佳化的最適照明的階段；以及進行工件的檢查的階段。本處理中，設拍攝評價用工件圖像時的曝光時間各不相同。

示教階段中，檢查裝置針對M個工件，以各不相同的曝光時間，以表現為矩陣H的N個評價用照明發光圖案將工件照明，獲得N×M張評價用工件圖像{f'_m，τ_n,m}_m=1 ^M(S300)。

繼而，檢查裝置執行照明最佳化處理。即，檢查裝置自用戶受理用於最佳化的評價函數F的輸入，考慮曝光時間τ_n將評價用工件圖像f'重合而生成合成圖像，以使評價函數F最小化的方式算出圖像合成權重w(S301)。

然後，檢查裝置決定照明指令值。檢查裝置使用照度LUT將所算出的圖像合成權重w及評價用工件圖像的曝光時間τ_n變換為照明指令值T及曝光時間τ'(或增益)(S302)。如此，針對多個評價用工件圖像獲得經最佳化的照明指令值T及曝光時間 τ'(或增益)的對。

於檢查階段中，設置成為檢查對象的工件，檢查裝置拍攝檢查用工件圖像。此處，檢查裝置使用示教階段中算出的照明指令值T及曝光時間τ'(或增益)將工件照明，拍攝檢查用工件圖像(S303)。

繼而，檢查裝置將所拍攝的檢查用工件圖像輸入至檢查判定器(例如使用CNN等的判定器)，獲得判定結果(S304)。

圖14為由本揭示的實施形態的檢查裝置執行的第四處理的流程圖。第四處理包含：決定(示教)包含曝光時間的最佳化的最適照明的階段；以及進行工件的檢查的階段。本處理中，設對評價用工件圖像進行HDR拍攝。

於示教階段中，檢查裝置針對M個工件，進行自動曝光控制，以表現為矩陣H的N個評價用照明發光圖案將工件照明，獲得N×M張評價用工件圖像{f'_m}_m=1 ^M，τ(S400)。

繼而，檢查裝置執行照明最佳化處理。即，檢查裝置自用戶受理用於最佳化的評價函數F的輸入，將評價用工件圖像f'重合而生成合成圖像，以使評價函數F最小化的方式算出圖像合成權重w(S401)。

然後，檢查裝置決定照明指令值。檢查裝置使用照度LUT，將所算出的圖像合成權重w及HDR拍攝的基準曝光時間τ變換為照明指令值T及曝光時間τ'(或增益)(S402)。如此，針對多個評價用工件圖像獲得經最佳化的照明指令值T及曝光時間 τ'(或增益)的對。

於檢查階段中，設置成為檢查對象的工件，檢查裝置拍攝檢查用工件圖像。此處，檢查裝置使用示教階段中算出的照明指令值T及曝光時間τ'(或增益)將工件照明，拍攝檢查用工件圖像(S403)。

繼而，檢查裝置將所拍攝的檢查用工件圖像輸入至檢查判定器(例如使用CNN等的判定器)，獲得判定結果(S404)。

§6 附記

以上說明的實施形態及變形例是為了使本發明的理解容易，並非用於限定解釋本發明。實施形態及變形例所包括的各要素及其配置、材料、條件、形狀及尺寸等不限定於例示，可適當變更。另外，亦可將不同實施形態及變形例所示的構成彼此局部地置換或組合。

即，於以軟體功能單元的形態來實現上文所述的設定進行對象物的檢查時的照明條件的裝置、系統或其一部分，並作為單獨的製品銷售或使用的情形時，可記憶於電腦可讀取的記憶媒體。藉此，能以軟體製品的形態來實現本發明的技術案的本質或對先前技術有貢獻的部分或者該技術案的全部或一部分，可將於電腦機器(可為個人電腦、伺服器或網路機器等)中包含實現本發明的各實施例所記載的方法的步驟中的全部或一部分的命令的、該電腦-軟體製品，記憶於記憶媒體。所述記憶媒體為USB、讀出專用記憶體(Read-Only Memory，ROM)、隨機存取記憶體 (Random Access Memory，RAM)、可移動硬碟(mobile hard disc)、軟性磁碟(floppy disk)或光盤等可記憶程式碼的各種媒體。

此處，本揭示亦可根據各實施形態而如以下般表現。

(附記1)

一種檢查裝置，包括：攝像部(141)，使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經所述多個評價用發光圖案照明的至少一個工件有關的；計算部(142)，基於所述多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的所述參數，所述發光圖案用於識別所述工件的狀態；以及變換部(143)，將所述參數變換為所述照明指令值。

(附記2)

如附記1所記載的檢查裝置，其中所述計算部(142)藉由所述多個評價用工件圖像的重合來生成合成圖像，並利用既定的評價函數來評價所述合成圖像，藉此算出表示發光圖案的所述參數，所述發光圖案用於識別所述工件的狀態，而所述多個評價用工件圖像經具有與所述多個評價用工件圖像的個數相等的維度的所述參數進行加權。

(附記3)

如附記1或附記2所記載的檢查裝置，其中所述參數的維度數少於所述多個評價用發光圖案的個數。

(附記4)

如附記1至附記3中任一項所記載的檢查裝置，其中所述變換部(143)基於使所述照明指令值與所述參數對應的表，將所述參數變換為所述照明指令值。

(附記5)

如附記4所記載的檢查裝置，其中所述變換部(143)根據拍攝所述多個評價用工件圖像時的曝光時間及增益的至少任一個對所述表的值進行標度變換。

(附記6)

如附記4或附記5所記載的檢查裝置，其中所述變換部(143)基於所述表，將所述參數變換為發光強度參數，並將所述發光強度參數變換為與發光強度對應的所述照明指令值，所述發光強度與由所述發光強度參數表示的發光強度類似，而所述發光強度參數表示所述光源所含的多個照明要素的發光強度。

(附記7)

如附記6所記載的檢查裝置，其中所述變換部(143)基於所述發光強度參數來決定拍攝檢查用工件圖像時的曝光時間及增益的至少任一個。

(附記8)

如附記1至附記7中任一項所記載的檢查裝置，其中所述攝像部使曝光時間及增益的至少任一個變化來拍攝所述多個評價用工件圖像。

(附記9)

如附記1至附記8中任一項所記載的檢查裝置，其中所述攝像部藉由HDR合成來拍攝所述多個評價用工件圖像。

(附記10)

如附記1至附記9中任一項所記載的檢查裝置，其中所述變換部(143)於輸入有所述參數的情形時，反覆進行將所述參數變換為所述照明指令值與將所述照明指令值變換為所述參數直至收斂為止，算出所輸入的所述參數及對應的所述照明指令值。

(附記11)

如附記1至附記10中任一項所記載的檢查裝置，其中所述變換部(143)於輸入有所述照明指令值的情形時，反覆進行將所述照明指令值變換為所述參數與將所述參數變換為所述照明指令值直至收斂為止，算出所輸入的所述照明指令值及對應的所述參數。

(附記12)

一種檢查方法，使用包括攝像部(141)、計算部(142)及變換部(143)的檢查裝置來檢查工件，且所述檢查方法包括：所述攝像部(141)使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經所述多個評價用發光圖案照明的至少一個工件有關；所述計算部(142)基於所述多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的所述參數，所述發光圖案用於識別所述工件的狀態；以及所述變換部(143)將所述參數變換為所述照明指令值。

(附記13)

一種儲存介質，儲存有檢查程式，所述檢查程式對包括攝像部(141)、計算部(142)及變換部(143)的檢查裝置進行控制，使所述檢查裝置檢查工件，且所述檢查程式使所述檢查裝置執行：所述攝像部(141)使光源基於作為離散值的照明指令值以多個評價用發光圖案發光，藉由攝像機來拍攝多個評價用工件圖像，所述多個評價用工件圖像與經所述多個評價用發光圖案照明的至少一個工件有關；所述計算部(142)基於所述多個評價用工件圖像，藉由使連續值的參數變化從而模擬發光圖案，算出表示發光圖案的所述參數，所述發光圖案用於識別所述工件的狀態；以及所述變換部(143)將所述參數變換為所述照明指令值。