WO2022059402A1

WO2022059402A1 - 検査装置、検査方法及び検査プログラム

Info

Publication number: WO2022059402A1
Application number: PCT/JP2021/029963
Authority: WO
Inventors: 洋介成瀬
Original assignee: オムロン株式会社
Priority date: 2020-09-17
Filing date: 2021-08-17
Publication date: 2022-03-24
Also published as: TW202212814A; JP2022049874A; TWI807414B

Abstract

計算量やメモリの負荷を低減して適切な照明パターンを設計することができる検査装置、検査方法及び検査プログラムを提供するべく、検査装置は、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部（１４１）と、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する算出部（１４２）と、パラメータを照明指令値に変換する変換部（１４３）と、を備える。

Description

検査装置、検査方法及び検査プログラム

関連出願の相互参照

　本出願は、２０２０年９月１７日に出願された日本特許出願番号２０２０－１５６１３９に基づくもので、ここにその記載内容を援用する。

　本開示は、検査装置、検査方法及び検査プログラムに関する。

　製造現場における製品の外観検査は、機械による人員の置き換えが最も進んでいない分野の１つであり、将来の労働人口減少に向けて取り組まなければならない自動化の重要課題である。近年、ディープラーニングに代表される人工知能・機械学習技術の発展によって、検査の自動化技術は飛躍的に向上しつつある。しかしながら、外観検査及びマシンビジョン一般において、検査システムを構築する際に最も手間がかかるプロセスは、照明パターンの最適化設計を含む撮像系の設計であり、この分野の自動化はあまり進んでいない。人が手作業でこの最適化設計を行う場合、ワーク（検査対象）の個体ばらつきに対応しつつ、ワークに生じたキズ等の欠陥を確実に検出するための撮像系の設計には、多大な労力が必要となる。すなわち、所望の検出性能を得るには、対象となる種々のワークを交換しつつ、照明の手調整による最適化と検査アルゴリズムの検討・調整を交互に繰り返すことが不可欠であり、そのために、非常に多くの工数が必要になる。

　この問題に対応するべく、例えば、特許文献１には、光度が変更可能な光源によって照明された被撮像物を撮像手段により撮像し、最適な光度を特定するための画像データを取得する画像取得方法において、光源の光度を変えて被撮像物を複数撮像し、これらの画像の画像データの差に基づいて、光度を単位量だけ変化させることにより変化する画像データを生成し、この画像データにその複製データを重ね合わせることによって、光源の光度を低光度から高光度まで単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する画像取得方法が記載されている。

特開２００６－２２８７８９号公報

　しかしながら、特許文献１に記載の方法では、複数の照明指令値の組み合わせについてワークの画像を撮像するため、組み合わせが膨大になって計算量やメモリの負荷が大きくなることがあった。

　そこで、本開示は、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる検査装置、検査方法及び検査プログラムを提供することを目的とする。

　本開示の一態様に係る検査装置は、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部と、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する算出部と、パラメータを照明指令値に変換する変換部と、を備える。

　この態様によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。

　上記態様において、算出部は、複数の評価用ワーク画像の数に等しい次元を有するパラメータにより重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するための発光パターンを表すパラメータを算出してもよい。

　この態様によれば、離散値である照明指令値ではなく、連続値である画像合成重みを最適化し、画像合成重みを照明指令値に変換することで、検査における照明発光パターンを最適化することができる。

　上記態様において、パラメータの次元数は、複数の評価用発光パターンの数よりも少なくてもよい。

　この態様によれば、複数の評価用発光パターンの数よりも少ない次元のパラメータについて最適化を行うことができ、効率的に最適化を実行することができる。

　上記態様において、変換部は、照明指令値をパラメータに対応付けるテーブルに基づいて、パラメータを照明指令値に変換してもよい。

　この態様によれば、照明指令値の階調制約が存在する場合であっても、量子化誤差に起因する合成画像と実写画像との乖離を低減し、照明の最適化性能の低下を防止することができる。

　上記態様において、変換部は、複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じてテーブルの値をスケール変換してもよい。

　この態様によれば、評価用ワーク画像を撮像した際の露出時間又はゲインに応じて適切な照度を算出することができる。

　上記態様において、変換部は、テーブルに基づいて、パラメータを、光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、発光強度パラメータを、発光強度パラメータにより表される発光強度に類似する発光強度に対応する照明指令値に変換してもよい。

　この態様によれば、実際の照明の階調で実現できる範囲内で適切な照明指令値を得ることができる。

　上記態様において、変換部は、発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定してもよい。

　この態様によれば、露出時間又はゲインが適切に設定され、実現したい画素値を表しつつ、照明指令値の範囲を無駄なく活用することができる。

　上記態様において、撮像部は、露出時間及びゲインの少なくともいずれかを変化させて複数の評価用ワーク画像を撮像してもよい。

　上記態様において、撮像部は、ＨＤＲ（High Dynamic Range）合成により複数の評価用ワーク画像を撮像してもよい。

　上記態様において、変換部は、パラメータが入力された場合に、パラメータを照明指令値に変換することと、照明指令値をパラメータに変換することとを収束するまで繰り返して、入力されたパラメータと、対応する照明指令値とを算出してもよい。

　この態様によれば、入力されたパラメータと近くて実現可能なパラメータ及び照明指令値のペアを得ることができる。

　上記態様において、変換部は、照明指令値が入力された場合に、照明指令値をパラメータに変換することと、パラメータを照明指令値に変換することとを収束するまで繰り返して、入力された照明指令値と、対応するパラメータとを算出してもよい。

　この態様によれば、入力された照明指令値と近くて実現可能な照明指令値及びパラメータのペアを得ることができる。

　本開示の他の態様に係る検査方法は、撮像部、算出部及び変換部を備える検査装置を用いて、ワークを検査する方法であって、撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、算出部が、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出することと、変換部が、パラメータを照明指令値に変換することと、を含む。

　本開示の他の態様に係る検査プログラムは、撮像部、算出部及び変換部を備える検査装置を制御して、ワークを検査させる検査プログラムであって、撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、算出部が、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出することと、変換部が、パラメータを照明指令値に変換することと、を検査装置に実行させる。

　なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。

　本開示によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。適切な照明パターンを用いることで、例えば、ワークにおけるキズ等の欠陥を強調する（良品と欠陥の差異を大きくして欠陥を見え易くする）ことができるとともに、ワークの背景画像に起因するランダムな良品ばらつきや個体ばらつきの影響を抑制する（良品ばらつきを低減する）こともできる。これにより、ワークの欠陥の見逃しや誤判定を低減することができ、ワークの検査性能及び検査効率の向上を実現可能となる。また、かかる効率的な検査処理により、検査装置を含むシステム全体の処理速度（スループット）を向上させ、また、記憶容量を節約でき、かつ、通信のデータ量を減らすことができるとともに、検査の信頼性を高めることができる。

本開示の実施形態に係る検査装置の構成例を模式的に示す図である。本開示の実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。本開示の実施形態に係る検査装置に含まれる制御装置のハードウェア構成を模式的に示す図である。本開示の実施形態に係る検査装置の機能構成の一例を模式的に示す図である。本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。本開示の実施形態に係る検査装置により用いられる照度ＬＵＴの一例を示す図である。本開示の実施形態に係る検査装置により用いられる照度ＬＵＴの一部の区間を拡大して示す図である。本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。本開示の実施形態に係る検査装置によって実行される第１処理のフローチャートである。本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。本開示の実施形態に係る検査装置によって算出される露出時間と画素値の関係を模式的に示す図である。本開示の実施形態に係る検査装置によって実行される第２処理のフローチャートである。本開示の実施形態に係る検査装置によって実行される第３処理のフローチャートである。本開示の実施形態に係る検査装置によって実行される第４処理のフローチャートである。

　以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。

　§１　適用例
　本開示においては、検査装置は、離散値である照明指令値に基づく検査用発光パターンで検査対象のワーク（検査対象物）を照明し、適宜のセンサによってワークを撮像して検査用ワーク画像を取得する。そして、その検査用ワーク画像を画像処理することによって、ワークの状態（例えば、キズ等の欠陥の有無）を識別する。

　検査装置は、ワークの検査に最適化された発光パターンを決めるため、少なくとも１つのワークに関する複数の評価用ワーク画像を予め撮像する。そして、検査装置は、連続値のパラメータによって重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するために適した発光パターンを表すパラメータを算出する。検査装置は、照明指令値をパラメータに対応付けるテーブルに基づいて、パラメータを照明指令値に変換する。

　このように、検査装置は、離散値である照明指令値ではなく、連続値である画像合成重みを最適化し、画像合成重みを照明指令値に変換することで、検査における照明発光パターンを最適化する。

　どのように照明を点灯させるとどのような撮影画像が得られるのかが予め分からない場合、実際にワークをステージに載せて、多数の載せ替えを行いつつ撮影を繰り返し、最適な照明の点灯状態を探索する方法が考えられる。しかしながら、特にマルチチャネル照明装置のように、点灯状態の組み合わせ数が非常に大きい場合においては、最適解を求めるための試行回数が十分に確保できないという根本的な問題が発生する。この問題を解決するために、照明の点灯状態を変えた場合に撮影される画像を合成して、照明の最適化問題を計算機上の最適化問題として扱えるようにすることが考えられる。

　このように計算機上のシミュレーションによって照明の点灯状態を最適化する場合、画像合成の結果を実写と一致させる精度を高めることが重要な課題となる。そこで課題となるのが、照明指令値の階調である。一般に光源はＰＷＭ(Pulse Width Modulation)調光されているため、任意の連続値の明るさがとれるわけではなく、離散値しかとることができない。さらにハードウェアの構成に依存して、全ての光源の照度の階調が等間隔に量子化されている保証もない。

　そのような状況下で照明条件を最適化させたい場合、最も単純には、離散値である照明指令値を直接変化させて最適化する手法が考えられる。しかしながら、この場合には組み合わせ最適化問題を解くことになってしまい、多大な計算コストがかかることがある。また、評価用ワーク画像を撮影する際の発光パターンが標準基底（複数の光源のうち１つだけ点灯）になっていない場合には、離散の照明指令値から評価式を求めるのが困難であるという問題があった。

　本実施形態に係る検査装置は、照明指令値の組み合わせ最適化問題を、連続値であるパラメータの最適化問題に置き換えることで、計算量やメモリの負荷を低減することができる。また、後に詳細に説明する照度ＬＵＴ（Look Up Table）を用いた照明指令値と照度の対応付けによって、光源の照度の階調が等間隔に量子化されていない場合であっても、比較的高い精度で照明の点灯状態を最適化することができる。

　ここでは、まず、図１及び図２を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本開示の実施形態に係る検査装置の構成例を模式的に示す図である。また、図２は、本開示の実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。

　検査システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像分析処理を実行することで、ワーク４の外観検査を実施する。以下においては、画像分析処理の典型例として、ワーク４の表面における欠陥の有無の検査等を応用例として説明するが、これに限らず、例えば欠陥の種類の特定や外観形状の計測等にも応用が可能である。

　ベルトコンベア２の上部には、光源ＬＳが一体化されたセンサとしてのカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。ここで、光源ＬＳとしては、例えばＭＤＭＣ（Multi Direction Multi Color）照明等のマルチチャネル照明が挙げられ、より具体的には、本出願人による例えば特願２０１８－０３１７４７に記載の照明を例示することができる。マルチチャネル照明としての光源ＬＳは、複数のチャネル照明ＬＳｉを有している。より具体的には、光源ＬＳは、例えば図２に示すように、平面視において円形状を成す１つのチャネル照明ＬＳｉと、その周りに同心円状に配置された扇帯状を成す１２個のチャネル照明ＬＳｉを有している。この場合、光源ＬＳは、合計１３個のチャネル照明ＬＳｉから構成され、各チャネル照明ＬＳｉが３色発光する場合、単色且つ単チャネルの既定照明発光パターンは１３×３＝３９パターンとなる。さらに、カメラ１０２の撮像により生成された評価用ワーク画像のデータは、制御装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント的に実行される。

　制御装置１００は、光源ＬＳを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像を撮像する。また、制御装置１００は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。ここで、パラメータは、複数の評価用ワーク画像を重ね合わせて合成画像を生成するための重みパラメータである。さらに、制御装置１００は、照度ＬＵＴに基づいて、パラメータを照明指令値に変換する。

　制御装置１００は、算出した照明指令値を用いて、検査対象のワーク４の検査用画像を撮像する。また、制御装置１００は、ワーク４の外観検査のためのＣＮＮ（畳み込みニューラルネットワーク）エンジンを有する学習器を備えてよい。ＣＮＮエンジンを用いて検査用画像からクラス毎の特徴検出画像が生成される。生成された単数又は複数の特徴検出画像に基づいて、検査対象のワーク４の状態（欠陥の有無、欠陥の大きさ又は欠陥の位置等）が識別される。

　制御装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。制御装置１００における演算結果及び検出結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。また、制御装置１００は、処理中の状態や検出結果等を表示するための出力部としてのディスプレイ１０４と、ユーザによる操作を受け付ける入力部としての例えばキーボード１０６及びマウス１０８とが接続されていてもよい。

　§２　構成例
　［ハードウェア構成］
　次に、図３を用いて、本開示の一実施形態に係る検査装置である検査システム１に含まれる制御装置１００のハードウェア構成の一例について説明する。図３は、制御装置１００のハードウェア構成を模式的に示す図である。

　制御装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。制御装置１００は、プロセッサ１１０と、メインメモリ１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。

　プロセッサ１１０は、ストレージ１３０に格納されている各種プログラムをメインメモリ１１２に展開して実行することで、後述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。

　カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された評価用ワーク画像１３８や検査用ワーク画像１４０を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。

　入力インターフェイス１１６は、キーボード１０６及びマウス１０８といった入力部と接続されて、ユーザによる入力部に対する操作等を示す指令を取得する。

　表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。

　通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。

　ストレージ１３０は、ＯＳ（Operating System）や検査プログラム１３２等のコンピュータを制御装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、照明パラメータ１３４、照度ＬＵＴ１３６、複数の評価用ワーク画像１３８及び複数の検査用ワーク画像１４０を格納していてもよい。照明パラメータ１３４は、複数の評価用ワーク画像の数に等しい次元を有する連続値のパラメータであり、複数の評価用ワーク画像１３８を重ね合わせて合成画像を生成するための重みパラメータである。照度ＬＵＴ１３６は、照明指令値を照度に対応付けるテーブルである。

　ストレージ１３０に格納される検査プログラム１３２は、ＤＶＤ（Digital Versatile Disc）等の光学記録媒体又はＵＳＢ（Universal Serial Bus）メモリ等の半導体記録媒体等を介して、制御装置１００にインストールされてもよい。或いは、検査プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。

　このように汎用コンピュータを用いて実現する場合には、ＯＳが提供するソフトウェアモジュールのうち、必要なソフトウェアモジュールを所定の順序及び／又はタイミングで呼び出して処理することで、本実施形態に係る機能の一部を実現するものであってもよい。すなわち、本実施形態に係る検査プログラム１３２は、本実施形態に係る機能を実現するための全てのソフトウェアモジュールを含んでおらず、ＯＳと協働することで、必要な機能が提供されるようにしてもよい。

　また、検査プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、検査プログラム１３２自体には、上記のような組み合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る検査プログラム１３２は、他のプログラムに組込まれた形態であってもよい。

　なお、図３には、汎用コンピュータを用いて制御装置１００を実現する例を示すが、これに限定されず、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

　以上のとおり、ハードウェア構成の観点から、検査システム１は、本開示における「検査装置」の一例に相当する。また、ワーク４は、本開示における「ワーク」の一例に相当する。さらに、光源ＬＳは、本開示における「光源」の一例に相当し、カメラ１０２は、本開示における「カメラ」の一例に相当する。

　［機能構成］
　次に、図４を用いて、本開示の実施形態に係る検査装置である検査システム１の機能構成の一例を説明する。図４は、本開示の実施形態に係る検査装置である検査システム１の機能構成の一例を模式的に示す図である。検査システム１の制御装置１００は、撮像部１４１、算出部１４２、変換部１４３及び記憶部１４４を含むことができる。

　制御装置１００における撮像部１４１、算出部１４２及び変換部１４３は、汎用プロセッサによって実現することができ、本開示においては限定されず、これらの部品の全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

　撮像部１４１は、光源ＬＳを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラ１０２によって撮像する。撮像部１４１は、Ｎ枚の評価用ワーク画像を撮像してよい。

　算出部１４２は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。算出部１４２は、複数の評価用ワーク画像の数に等しい次元を有するパラメータにより重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するための発光パターンを表すパラメータを算出する。

　変換部１４３は、算出されたパラメータを照明指令値に変換する。変換部１４３は、照明指令値をパラメータに対応付ける照度ＬＵＴに基づいて、パラメータを照明指令値に変換する。

　記憶部１４４は、照明最適化段階において、撮像部１４１によって得られた複数の評価用ワーク画像を記憶し、検査段階において、撮像部１４１によって得られた検査用ワーク画像を記憶する。また、記憶部１４４は、算出部１４２によって得られた照明パラメータを記憶する。さらに、記憶部１４４は、変換部１４３によって用いられる照度ＬＵＴを記憶する。記憶部１４４は、検査システム１の動作に必要なプログラム又はデータを記憶する上述したストレージ１３０によって実現される。なお、制御装置１００は、記憶部１４４を含まなくてもよく、記憶部１４４に替えて、外部（装置）のストレージを用いてもよい。

　以上のとおり、機能モジュールの観点から、制御装置１００は、光源ＬＳ及びカメラ１０２とともに、本開示における「撮像部」の一例に相当する。また、制御装置１００は、本開示における「算出部」及び「変換部」の一例として機能する。

　§３　動作例

　以下の動作例の説明において、数式中で使用する各記号の意味は表１に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す（文中においては非ボールドで示す。）。それ以外の記号はスカラーである。また、_∥ _∥ はベクトルに対するＬ２ノルムを示し、［Ｘ］_ｉ，ｊは行列Ｘのｉ行ｊ列の要素を示すものとする。

（マルチチャネル照明による撮影と内積演算の等価性）
　本開示による検査システム１では、光源ＬＳとしてマルチチャネル照明を用いた撮像部１４１を用いるが、ここでは、検査システム１におけるセンサ側のリニアリティ（輝度とＱＬ値の間のリニアリティ）が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはＨＤＲ（High dynamic range）合成等を用いてもよい。このとき、Ｋ個のチャネル照明ＬＳｉで照らしたワーク４を撮像する状況を考え、各チャネル照明の発光強度を、下記式（１）のベクトルとして表記する。

　このとき、ｕ_ｉ＝１，ｕ_ｊ＝０（ｊ≠ｉ）のようにｉ番目の照明のみを所定の強度で点灯させ、その他は消灯させて撮像された画像をコラムベクトルとして並べたものをｆ_ｉとすると、任意の照明条件ｕにおける撮影画像ｇは、以下の式（２）のように画像合成によりモデル化できる。

　ここで、ここで、ｆ′は下記式（３）で定義されるＫ枚分の画像を縦に並べてまとめたマルチチャネル画像（大きな１つのコラムベクトル）である。

　また、上記式（２）及び（３）における各演算子等の定義は以下のとおりである。

　このように、マルチチャネル照明の最適化は元画像のｆ′からの内積演算による特徴ベクトルｇの生成、つまり射影行列ｕ^Ｔ×Ｉ（「×」はクロネッカー積）における線形射影方向ｕの最適設計をしていることと等価である。

（既定の発光パターンによる評価画像の取得）
　以下では一般に、Ｋ個の照明が実装されている状況において、１つのワークについて照明発光パターンを変化させてＮパターンの撮影を行ない、最適照明を決定する（ティーチングする）ことを考える。

　ｎ（１≦ｎ≦Ｎ）枚目の撮影における発光パターンを下記式（５）のように定義する。

　これらの発光パターンによってワークを撮影することで、任意の発光パターンで照らした場合のワークの撮影画像を再構成することが可能となる。これはＬＴ（Light Transport)行列の推定を行っていることと等価となる。一般にＬＴ行列の全ての自由度を取得するためには、ｈ_ｎが線形独立となるように発光パターンを決定することが望ましい。Ｋ個の照明の自由度を全て余すことなく活用させるためには、少なくともＮ＝Ｋであり、その際にＨのランクｒａｎｋ（Ｈ）＝ｍｉｎ（Ｎ，Ｋ）は、フルランクとなっている必要がある。

　一方、Ｎ＜Ｋの場合、照明個数の自由度を十分に活用できないが、ワークの撮影時間を短縮させるためには有効な手法である。これを実現する手法としてはさまざまなものが考えられるが、代表的なものとしてCompressed Sensingを用いたＬＴ行列推定を行う手法が挙げられる。

　また、Ｎ＞Ｋとするケースも考えられ、これは照明の自由度を十分に活用させるという意味では必要以上であり無駄な撮影枚数となるが、ＳＮ比やダイナミックレンジを稼ぐなどの別目的で選択されうる。

　これらの発光パターンで撮影された画像をコラムベクトルとして並べたものをｆ_ｉとして、これらをさらにＮ枚分縦に並べてまとめたマルチチャネル画像ベクトルを下記式（６）のように定義する。ここで、ｅ_ｉはＲ^Ｎの標準基底を表す。

　各照明チャネルによる輝度ｕとその際の撮影画像ｇは下記式（７）のように表現される。

　ここで、ｗ_ｉは画像合成重み（照明パラメータ）である。なお、発光強度の指令値は画像合成重みを元に算出されるが、この値そのものではない。画像合成重みは一般に負の値をとることも許されるが、照明チャネルの発光強度は非負でなければならないため、下記式（８）の条件が課せられる。

　ここで、ベクトルや行列に対する不等号は、全ての要素についての不等号であるとする。Ｈ＝Ｉであるとき、つまり、照明を１つずつ点灯させてＫ（＝Ｎ）枚撮影した場合には、ｕとｗは等価となる。以下では、最適な画像合成重みｗを求めることによって、その際の最適照明ｕを求める問題を扱う。

（照明階調の量子化誤差問題）
　最適化問題を難しくする点として、照明階調の量子化問題が挙げられる。照明の発光強度は多くの場合ＰＷＭ(Pulse Width Modulation)により調光されているため連続値をとることができず量子化されている。量子化誤差の影響が小さければ連続緩和して最適化問題を解いても問題ない。しかしながら、照明最適化の場合、もし露出が大きく設定されていたり、ワークの反射率が大きい場合であったりすると、離散階調の影響は無視できない。マルチチャネル照明の場合、ワークのＢＲＤＦ（Bidirectional Reflectance Distribution Function）特性によって、照明の取り付け角に依存して反射率に大きな乖離が生じるため、暗いチャネルに露出を合わせてしまうと明るいチャネルの階調が不足してしまい、連続緩和による最適化では量子化誤差の影響を大きく受けてしまい最適化の精度が低下するという問題が起こる。

　仮に照明階調の量子化が等間隔であり、評価関数が２次関数であったなら、この問題はＮｏｎｃｏｎｖｅｘ　ＭＩＱＰ（Nonconvex Mixed Integer Quadratic Programming）となり、照明の要素数が比較的少ない場合ならば、ＭＩＱＰソルバー（数値最適化ライブラリ）を利用して解くことが可能である。しかしながら、実際の問題では照明階調はチャネルごとに非等間隔となり評価関数も複雑な定義となってしまう。そのため、一般に計算量の大きな組み合わせ最適化問題となってしまう。本開示では、最初に連続緩和された問題として最適解を見つけてから効率的に照明階調を考慮した照明指令値を求める方法を提案する。

（照明最適化の評価基準）
　ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品（正常品）と不良品（欠陥品）が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。

　ここで、判定基準として既定の判別アルゴリズムが与えられ、制御自由度としてＭＤＭＣ照明等のマルチチャネル照明が与えられた場合の照明最適化問題は、良品／不良品のカテゴリ分けを正解と一致させる「クロスエントロピー最小化問題」として定式化される。なお、ワークのラベル判定における判定器が機械学習器であった場合、照明最適化と判定器の学習を同時に行い、お互いにとって最も性能を発揮するチューニングを自動的にさせることも可能となる。

　しかしながら、クロスエントロピー最小化を行わせようとする場合に大きな問題となるのが、良品／不良品のラベルが付加されたサンプルが大量に必要になる点にある。特に大きな自由度を有する照明を最適化させようとする場合、少数の良品／不良品ラベルを判別させるだけという基準では、最適な照明を一意に決めることが困難となってしまう。このような問題は、多くの評価用ワーク画像（サンプル画像）が得られない検査装置の立ち上げ時に特に憂慮すべき大きな課題となる。

　そこで、本開示においては、この問題を解決するために、画像自体の評価基準（コントラスト、明るさ、近さ）をベースとして照明を最適化する手法を提案する。この場合、ワーク等の外観検査における最適化照明設計に求められる要件としては、大きく以下に示す２つを挙げることができる。

　［要件１］良品（ラベル）と不良品（ラベル）の識別を行い易くする特徴を見えやすくすること（つまり欠陥を見え易くすること）
　［要件２］良品ばらつき（個品ばらつき）を見え難くすること

　但し、両要件は一般に相反する性質であるため、それらのバランスの取れた照明設計を行うことが照明最適化の難課題となる。以下では、これらの条件を満たす評価基準を用いて、照明の発光強度が正の値となるような制約条件下で解を求めるため、評価基準を判別分析であるととらえ、画像の評価基準を２次形式で表現されるとする。その場合、この問題はＳＤＰ(Semidefinite Programming)で解くことができる。

　いずれの評価基準を用いたとしても、照明最適化の評価関数は、下記式（９）のようにＭ個のワーク撮影画像を入力とした関数Ｆの最小化として表現することができる。この最適化で求められるのは、ｗ_ｉと表記される画像合成重み（照明パラメータ）である。これはｉ番目の基底発光パターンの光量を意味し、本来は照明指令値が離散的であることに起因して離散量であるが、ここでは連続緩和して連続量であるとして扱う。

　図５は、本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。

　この最適化問題は、ｕではなくｗの少ない次元の連続量で探索することができるため効率的に実施することができる。以降では最適な画像合成ウェイトｗ_ｏｐｔをｗと表記する。

（センサモデルと画像合成の一般式（露出固定の場合））
　撮像システムにおいて、照明指令値からセンサ画素値に至るまでの階調の変化を特徴づけるものとして、（１）照明指令値から輝度（＝この場合照度）を求めるための関数と、（２）輝度からセンサ画素値を求めるための関数（＝Camera Response Function; CRF）を挙げることができる。（１）については後述する照度ＬＵＴがそれにあたる。（２）については、特定範囲内の画素値であればセンサのリニアリティが十分に成立していると仮定して議論を進める。また、クランプレベル（＝輝度ゼロの画素値）は一定値であるとするが、これらの仮定が成立しなくなった場合には、それらに対する補正処理を導入する必要がある。

（照度ＬＵＴ）
　照度ＬＵＴ（Look Up Table）とは、照明指令値と相対照度の関係を記録したＬＵＴであり、照明の階調の情報を保持するテーブルである。ＬＵＴの定義は、ｋを照明チャネルのインデックスとし、ｃを撮像センサのカラーフィルタのインデックスとして、ｋチャネルにおける照明指令値をＴ_ｋとするとき、ＬＵＴの示す照度をＬ_ｋ，ｃ（Ｔ_ｋ）と表す。照度は相対的な情報のみを用いるため、絶対値は問わない。ＬＵＴは、事前のキャリブレーションにおいて、各照明チャネルを全階調で照らして画素値を測定することによって得られ、検査システム１の記憶部に記憶される。照度を測定する際は、センサの露出やゲインを、画素飽和や階調不足が発生しない適切な値に設定しておく必要がある。ＬＵＴは、一度測定してしまえば記憶装置に保存しておき、特性が変化しない期間は再利用することが可能である。

　図６は、本開示の実施形態に係る検査装置により用いられる照度ＬＵＴの一例を示す図である。図６の縦軸に示す照度ＬＵＴの値Ｌ_ｋ，ｃ（Ｔ）（相対照度の値）によれば、横軸に示す指令値Ｔの値が０から１２７まで変化する場合に、照度ＬＵＴの値は、指令値Ｔに対してほとんど線形に変化する。しかしながら、次図に示すように、より正確には、相対照度の値は指令値の変化に対して非線形に変化している。

　図７は、本開示の実施形態に係る検査装置により用いられる照度ＬＵＴの一部の区間を拡大して示す図である。図７では、図６に示す照度ＬＵＴのうち、指令値Ｔの値が０から１８までの区間を示している。図７に示すように、照度ＬＵＴの値（相対照度の値）は、指令値Ｔに対して非線形に変化する。

（画像合成ウェイトから照明指令値への変換（露出固定の場合））
　図８は、本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。照明パターンを連続的に変えて得られるＮ枚の画像の集合は、画像合成重みのベクトル空間｛ｗ｜ｗ∈Ｒ^Ｎ，０≦ｗ_ｉ≦ｗ_ｍａｘ｝の元となる。もっとも、画像合成重みのベクトル空間で表される合成画像が全て現実に実現可能なのではなく、照明の階調で実現できる範囲、つまり照明指令値を元とするベクトル空間｛Ｔ｜Ｔ∈Ｉ^Ｋ，０≦Ｔ_ｋ≦Ｔ_ｍａｘ｝の範囲に限られている。図８では、この範囲を基底画像から推定可能な照明指令値空間として示している。

　ここで、画像の近さの基準を定めれば、画像合成重みベクトルを適当に決めたとき、そのベクトルに最も近い画像を実現する照明指令値ベクトルを１つ選ぶことができる。逆に、照明指令値ベクトルを適当に決めたとき、そのベクトルに最も近い画像を実現する画像合成重みベクトルを１つ選ぶことができる。つまり、最も画像が近くなるという意味で、画像合成重みベクトルと照明指令値ベクトルのペアが存在する。

　画像の近さを表す基準は任意に定めることができるが、以降では具体的な実施例として、マルチチャネル照明の各照明チャネルからカメラの各カラーフィルタに入る輝度値ベクトル（ｕと表記）が、二乗誤差の意味で最も近いという定義をした場合の実装例を示す。数式中で使用する各記号の意味は表２に示すとおりである。

　以下では、撮影画像色チャネル毎に画像合成ベクトルｇ_ｃを構成し、下記式（１０）のように暗オフセット値の補正を考慮する。ここで、暗オフセット値ｄ_ｃは、露出時間及びゲインに依存する。

　画像合成重みベクトルｗとｕの関係は、下記式（１１）で示す関係になっている。

　ただし、ｕは、下記式（１２）で表されるベクトルであり、Ａは、下記式（１３）で表される行列である。

　以下では、式（１１）のようにｗが色依存しない場合について説明するが、ｗが色依存する場合、下記式（１４）のように表される。

　ここで、（１）色依存重みとは、センサのカラーフィルタ（色チャネル）に依存して画像合成重みを変える処理を意味して、（２）色共通重みとは、センサのカラーフィルタに共通の画像合成重みを用いる場合である。特に問題がない場合にはパラメータ数が少ない（２）を用いるものとする。

　照明指令値Ｔから画像合成重みｗを求める際には、式（１２）によりＴからｕを求め、下記式（１５）を用いてｕからｗを求めることになる。このうちｕからｗを求める場合、式（１５）に示すようにＡの一般逆行列による最小二乗法で効率よく計算することができる。

　一方、画像合成重みｗから照明指令値Ｔを求める際には、式（１１）によりｗからｕを求め、下記式（１６）に示すように照度ＬＵＴを逆引きして、最も近い指令値を求めることで効率よく計算することができる。

　検査装置の変換部１４３は、照度ＬＵＴに基づいて、画像合成重みｗ（照明パラメータ）を、光源ＬＳに含まれる複数の照明要素（チャネル照明ＬＳｉ）の発光強度を表す発光強度パラメータｕに変換し、発光強度パラメータｕを、発光強度パラメータにより表される発光強度に類似する発光強度に対応する照明指令値Ｔに変換する。

　以上のように、画像合成重みｗと照明指令値Ｔの相互変換に基づき、仮にユーザからマルチチャネル照明で実現したい画像としてｗ_０が与えられた場合には、それを元に相互変換を収束するまで繰り返し、ｗとＴのペアを求めることができる。このようなペアは、図８においてｗ_１及びＴ_１として示されている。

　このように、検査装置の変換部１４３は、画像合成重みパラメータが入力された場合に、画像合成重みパラメータを照明指令値に変換することと、照明指令値を画像合成重みパラメータに変換することとを収束するまで繰り返して、入力された画像合成重みパラメータと、対応する照明指令値とを算出する。これにより、ユーザは、入力された画像合成重みパラメータｗ_０と最も近くて実現可能な合成画像を画像合成重み空間より得ることができ、対応する照明指令値Ｔを得ることができる。

　一方、ユーザから実現したい照明指令値Ｔ_０が与えられ、その値が予め撮影された基底画像で表現される範囲ではなかった場合、それを元に相互変換を収束するまで繰り返し、ｗとＴのペアを求めることができる。このようなペアは、図８においてｗ_２及びＴ_２として示されている。

　このように、検査装置の変換部１４３は、照明指令値が入力された場合に、照明指令値を画像合成重みパラメータに変換することと、画像合成重みパラメータを照明指令値に変換することとを収束するまで繰り返して、入力された照明指令値と、対応する画像合成重みパラメータとを算出する。これにより、ユーザは、入力された照明指令値Ｔ_０と最も近くて実現可能な合成画像をパラメータｗ_２により得ることができ、対応する照明指令値をＴ_２として得ることができる。

　ここで、基底画像の数（複数の評価用ワーク画像の数）は、マルチチャネル照明で実現可能な複数の評価用発光パターンの数よりも少なくてよい。その場合、マルチチャネル照明で実現可能な範囲で、照明指令値Ｔよりも低次元の画像合成重みパラメータｗの空間で所望の画像を探索することができる。すなわち、より低い次元の連続量を用いて効率的かつ高速に解を探索できる

　また、照明指令値Ｔを直接最適化する場合、離散最適化を必要とするが、画像合成重みｗを最適化する場合、より容易な連続最適化の手法を用いることができ、最適化アルゴリズムの選択肢が広がる。また、照明最適化の評価関数を介さずに、連続量の画像合成重みを離散量の照明指令値に最適に変換することができる。

　図９は、本開示の実施形態に係る検査装置によって実行される第１処理のフローチャートである。第１処理は、最適照明を決定する（ティーチングする）フェーズと、ワークの検査を行うフェーズとを含む。

　ティーチングフェーズにおいて、検査装置は、Ｍ個のワークについて、行列Ｈとして表現される、それぞれＮ個の評価用照明発光パターンでワークを照明して、Ｎ×Ｍ枚の評価用ワーク画像｛ｆ′_ｍ｝_ｍ＝１ ^Ｍが得られる（Ｓ１００）。

　次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Ｆの入力をユーザから受け付けて、評価用ワーク画像ｆ′を重ね合わせて合成画像を生成し、評価関数Ｆを最小化するような画像合成重みｗを算出する（Ｓ１０１）。

　その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みｗを、照度ＬＵＴを用いて照明指令値Ｔに変換する（Ｓ１０２）。このようにして、複数の評価用ワーク画像について最適化された照明指令値Ｔが得られる。

　検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値Ｔを用いてワークを照明し、検査用ワーク画像を撮影する（Ｓ１０３）。

　そして、検査装置は、撮影した検査用ワーク画像を検査判定器（例えばＣＮＮ等を用いた判定器）に入力し、判定結果を得る（Ｓ１０４）。

　§５　変形例
　以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。

　＜５．１：第１変形例＞
　これまでの説明ではセンサの露出時間やゲインは一定であると仮定してきたが、実際の問題設定においては露出時間やゲインを変えた際にどのような画像が取得できるのかを推定できると大変便利である。第１変形例の検査システムでは、露出時間を変えた際のセンサモデルを、下記式（１７）で示されるように暗電流オフセットを除いた成分に対する露出時間の正比例としてモデル化できると仮定して議論を進める。もし、このモデルに従わない場合には補正処理を導入する必要がある。

　ここで、τ及びτ′を含む各記号の意味は表３に示すとおりである。

（画像合成ウェイトから照明指令値への変換（露出可変の場合））
　本変形例では、基底画像のそれぞれが、異なる露出時間τ_ｎで撮影されているものとする。すなわち、撮像部１４１は、露出時間（又はゲイン）を変化させて複数の評価用ワーク画像を撮像する。なお、τ_ｎが全て同じ露出時間であってもよい。また、撮像部１４１は、ＨＤＲ（High Dynamic Range）合成により複数の評価用ワーク画像を撮像してもよい。その場合、露出時間は、ＨＤＲ拡大撮影の基準露出時間であってよい。露出時間τ_ｎを各照明チャネルで変えることによって、各照明チャネルにおける輝度の階調を多く確保できる。さらにＨＤＲ拡大撮影することによって、ワークの輝度のダイナミックレンジが広い場合においても十分な階調を確保することができる。

　以下では、合成画像の露出時間τ′と基底画像の露出時間τ_ｎとが異なる値をとり得るものとする。このような問題設定での画像合成は、式（１０）～（１６）を適宜変更することで行うことができる。具体的には、輝度値ベクトルｕの定義が、基準露出時間τにおける輝度値となり、下記式（１８）のように表される点と、Ａ行列の各係数に基底画像を撮影した際の露出時間τ_ｎが含まれ、下記式（１９）のように表される点である。

　この場合における画像合成重みｗと照明指令値Ｔの変換規則は、ｗとｕが対応付けられ、ｕと（Ｔ，τ′）が対応付けられ、照明指令値と露出時間がセットで扱われることになる。このように、変換部１４３は、複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じてＬＵＴテーブルの値をスケール変換する。

　画像合成重みｗから照明指令値Ｔを求める際には、ｗからｕを求めた後、下記式（２０）に示すように照度ＬＵＴを逆引きして、最も近い指令値を求める。

　図１０は、本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。一般に、同じ画像を得るために必要となる照明指令値と露出時間の対応は一意には決まらない。例えば、露出時間を２倍にできるなら、照明指令値を１／２倍にしても同じ画像が得られる。そのため、ｕと（Ｔ，τ′）の変換が成立するＴ及びτ′の組み合わせは大変多く存在する。なお、指令値Ｔが離散値のため、ｕと（Ｔ，τ′）の変換が成立するＴ及びτ′の組み合わせは有限である。

（画像合成の比率と照明指令値の階調制約の問題）
　一般にｕと（Ｔ，τ′）の変換が成立するＴ及びτ′の組み合わせは大変多く存在するが、最適となる（Ｔ，τ′）を求める基準として考えられるのが、照明指令値の階調を最も有効に活用させるという観点である。

　図１１は、本開示の実施形態に係る検査装置によって算出される露出時間と画素値の関係を模式的に示す図である。画像の画素値は輝度を反映したものであるが、画素値はワークの反射率によって変化する。ワークの反射率は照明チャネル（入射角や色）によって変化するため、照明階調の輝度に対する刻み幅は照明チャネルによって異なっている。なお、図１１では階調は等間隔となっているが、実際はＬＥＤ素子やＰＷＭ変調の制約によって等間隔になるとは限らない。照明指令値の階調制約が存在すると、所望の画像合成重みの比率が任意に実現できないという問題が起きてしまい、これが照明最適化の性能を大きく下げてしまうという問題がある。露出時間を適切に設定しない場合、量子化誤差によって画像合成で想定した画像と、実写画像とが乖離してしまい、照明の最適化性能が低下してしまう。

　図１１では、左側に露出時間が小さすぎる例を示している。この場合、第２チャネル（ＣＨ２）及び第３チャネル（ＣＨ３）については、実現したい画素値（＝輝度×露出）ｕ_ｋ，ｃを、照明指令値を適切に選択することで表すことができる。しかし、第１チャネル（ＣＨ１）については、照明指令値を最大値としても、実現したい画素値ｕ_ｋ，ｃが表せない状態となっている。

　図１１では、逆の例として、右側に露出時間が多きすぎる例を示している。この場合、第１チャネル（ＣＨ１）、第２チャネル（ＣＨ２）及び第３チャネル（ＣＨ３）について、照明指令値を適切に選択することで実現したい画素値ｕ_ｋ，ｃを表すことができる。しかし、全てのチャネルについて、照明指令値を最大値とした場合の画素値が、実現したい画素値ｕ_ｋ，ｃの最大値を超えており、活用されない照明指令値の範囲が存在する。

　図１１の中央には、露出時間を適切に設定した例を示している。この場合、第１チャネル（ＣＨ１）について、照明指令値を最大値とした場合の画素値が、実現したい画素値ｕ_ｋ，ｃの最大値に一致しており、照明指令値の範囲を無駄なく活用することができる。

　検査装置は、照明指令値の階調を最も活用できるように合成画像の露出時間（＝撮影画像の露出時間）τ′を最適に調整する。検査装置は、各照明チャネルにおいて必要となる輝度を、それぞれ最大の照明指令値で実現するために必要な露出時間を算出し、その最大値によって、合成画像の露出時間τ′を決定する。具体的には、下記式（２１）によって合成画像の露出時間τ′を決定する。

　このように、検査装置の変換部１４３は、発光強度パラメータｕに基づいて、検査用ワーク画像を撮像する際の露出時間τ′（又はゲイン）を決定する。この手法によって、露出時間が無駄に大きすぎてしまい、照明指令値の階調が十分に使われない現象を避けることができる。また、露出時間が小さすぎて、実現したい画素値が表現できない現象を避けることができる。このように、露出時間を適切に最適化することによって、画像合成重みを、照明指令値の階調によって実現しやすく補助することができる。

　実際には、露出時間は動体やタクトに影響するため任意に設定できるわけではなく、ある範囲内でしか調整できない量となるが、その場合には上述した露出の最適化を制約範囲内から探索するようにすればよい。

　露出時間を調整して照明階調を有効活用する例は、これまでに説明した方法に限られない。例えば、ワーク反射率が大きいため階調幅が大きく、量子化誤差が特に生じやすいチャネル（例えば図１１のＣＨ２）に注目して、その量子化誤差を優先的に目立たなくするように露出時間を調整するという手法も考えられる。そのような注目するチャネルを複数設定する場合には、どのようにトレードオフさせるのかを明確な評価基準で実現させておく必要がある。

　図１２は、本開示の実施形態に係る検査装置によって実行される第２処理のフローチャートである。第２処理は、露出時間の最適化を含む最適照明を決定する（ティーチングする）フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像を撮影する際の露出時間は、基準値で一定とする。

　ティーチングフェーズにおいて、検査装置は、Ｍ個のワークについて、行列Ｈとして表現される、それぞれＮ個の評価用照明発光パターンでワークを照明して、Ｎ×Ｍ枚の評価用ワーク画像｛ｆ′_ｍ｝_ｍ＝１ ^Ｍが得られる（Ｓ２００）。

　次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Ｆの入力をユーザから受け付けて、評価用ワーク画像ｆ′を重ね合わせて合成画像を生成し、評価関数Ｆを最小化するような画像合成重みｗを算出する（Ｓ２０１）。

　その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みｗを、照度ＬＵＴを用いて照明指令値Ｔ及び露出時間τ′（又はゲイン）に変換する（Ｓ２０２）。このようにして、複数の評価用ワーク画像について最適化された照明指令値Ｔ及び露出時間τ′（又はゲイン）のペアが得られる。

　検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値Ｔ及び露出時間τ′（又はゲイン）を用いてワークを照明し、検査用ワーク画像を撮影する（Ｓ２０３）。

　そして、検査装置は、撮影した検査用ワーク画像を検査判定器（例えばＣＮＮ等を用いた判定器）に入力し、判定結果を得る（Ｓ２０４）。

　図１３は、本開示の実施形態に係る検査装置によって実行される第３処理のフローチャートである。第３処理は、露出時間の最適化を含む最適照明を決定する（ティーチングする）フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像を撮影する際の露出時間がそれぞれ異なるものとする。

　ティーチングフェーズにおいて、検査装置は、Ｍ個のワークについて、それぞれ異なる露出時間で、行列Ｈとして表現されるＮ個の評価用照明発光パターンでワークを照明して、Ｎ×Ｍ枚の評価用ワーク画像｛ｆ′_ｍ，τ_ｎ，ｍ｝_ｍ＝１ ^Ｍが得られる（Ｓ３００）。

　次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Ｆの入力をユーザから受け付けて、露出時間τ_ｎを考慮して評価用ワーク画像ｆ′を重ね合わせて合成画像を生成し、評価関数Ｆを最小化するような画像合成重みｗを算出する（Ｓ３０１）。

　その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みｗ及び評価用ワーク画像の露出時間τ_ｎを、照度ＬＵＴを用いて照明指令値Ｔ及び露出時間τ′（又はゲイン）に変換する（Ｓ３０２）。このようにして、複数の評価用ワーク画像について最適化された照明指令値Ｔ及び露出時間τ′（又はゲイン）のペアが得られる。

　検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値Ｔ及び露出時間τ′（又はゲイン）を用いてワークを照明し、検査用ワーク画像を撮影する（Ｓ３０３）。

　そして、検査装置は、撮影した検査用ワーク画像を検査判定器（例えばＣＮＮ等を用いた判定器）に入力し、判定結果を得る（Ｓ３０４）。

　図１４は、本開示の実施形態に係る検査装置によって実行される第４処理のフローチャートである。第４処理は、露出時間の最適化を含む最適照明を決定する（ティーチングする）フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像をＨＤＲ撮影するものとする。

　ティーチングフェーズにおいて、検査装置は、Ｍ個のワークについて、自動露出制御を行って、行列Ｈとして表現されるＮ個の評価用照明発光パターンでワークを照明して、Ｎ×Ｍ枚の評価用ワーク画像｛ｆ′_ｍ｝_ｍ＝１ ^Ｍ，τが得られる（Ｓ４００）。

　次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Ｆの入力をユーザから受け付けて、評価用ワーク画像ｆ′を重ね合わせて合成画像を生成し、評価関数Ｆを最小化するような画像合成重みｗを算出する（Ｓ４０１）。

　その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みｗ及びＨＤＲ撮影の基準露出時間τを、照度ＬＵＴを用いて照明指令値Ｔ及び露出時間τ′（又はゲイン）に変換する（Ｓ４０２）。このようにして、複数の評価用ワーク画像について最適化された照明指令値Ｔ及び露出時間τ′（又はゲイン）のペアが得られる。

　検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値Ｔ及び露出時間τ′（又はゲイン）を用いてワークを照明し、検査用ワーク画像を撮影する（Ｓ４０３）。

　そして、検査装置は、撮影した検査用ワーク画像を検査判定器（例えばＣＮＮ等を用いた判定器）に入力し、判定結果を得る（Ｓ４０４）。
　§６　付記
　以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。

　すなわち、上述した対象物の検査を行う時の照明条件を設定する装置、システム又はその一部をソフトウェア機能ユニットの形態で実現して単独の製品として販売したり使用したりする場合、コンピュータが読み取り可能な記憶媒体に記憶することができる。これにより、本発明の技術案の本質又は既存技術に貢献のある部分あるいは該技術案の全部又は一部をソフトウェア製品の形態で実現して、コンピュータ機器（パーソナルコンピュータ、サーバ又は、ネットワーク機器等であることができる）に本発明の各実施例に記載の方法のステップの中の全部又は一部を実現させる命令を含むそのコンピューターソフトウェア製品を、記憶媒体に記憶することができる。上述した記憶媒体は、ＵＳＢ、読み出し専用メモリ（ＲＯＭ：Read-Only Memory）、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、モバイルハードディスク、フロッピーディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体である。

　ここで、本開示は、各実施形態に即して以下のように表現することもできる。

（付記１）
　光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部（１４１）と、
　前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する算出部（１４２）と、
　前記パラメータを前記照明指令値に変換する変換部（１４３）と、
　を備える検査装置。

（付記２）
　前記算出部（１４２）は、前記複数の評価用ワーク画像の数に等しい次元を有する前記パラメータにより重み付けした前記複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、前記合成画像を所定の評価関数により評価することで、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する、
　付記１に記載の検査装置。

（付記３）
　前記パラメータの次元数は、前記複数の評価用発光パターンの数よりも少ない、
　付記１又は２に記載の検査装置。

（付記４）
　前記変換部（１４３）は、前記照明指令値を前記パラメータに対応付けるテーブルに基づいて、前記パラメータを前記照明指令値に変換する、
　付記１から３のいずれか一項に記載の検査装置。

（付記５）
　前記変換部（１４３）は、前記複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じて前記テーブルの値をスケール変換する、
　付記４に記載の検査装置。

（付記６）
　前記変換部（１４３）は、前記テーブルに基づいて、前記パラメータを、前記光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、前記発光強度パラメータを、前記発光強度パラメータにより表される発光強度に類似する発光強度に対応する前記照明指令値に変換する、
　付記４又は５に記載の検査装置。

（付記７）
　前記変換部（１４３）は、前記発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定する、
　付記６に記載の検査装置。

（付記８）
　前記撮像部は、露出時間及びゲインの少なくともいずれかを変化させて前記複数の評価用ワーク画像を撮像する、
　付記１から７のいずれか一項に記載の検査装置。

（付記９）
　前記撮像部は、ＨＤＲ（High Dynamic Range）合成により前記複数の評価用ワーク画像を撮像する、
　付記１から８のいずれか一項に記載の検査装置。

（付記１０）
　前記変換部（１４３）は、前記パラメータが入力された場合に、前記パラメータを前記照明指令値に変換することと、前記照明指令値を前記パラメータに変換することとを収束するまで繰り返して、入力された前記パラメータと、対応する前記照明指令値とを算出する、
　付記１から９のいずれか一項に記載の検査装置。

（付記１１）
　前記変換部（１４３）は、前記照明指令値が入力された場合に、前記照明指令値を前記パラメータに変換することと、前記パラメータを前記照明指令値に変換することとを収束するまで繰り返して、入力された前記照明指令値と、対応する前記パラメータとを算出する、
　付記１から１０のいずれか一項に記載の検査装置。

（付記１２）
　撮像部（１４１）、算出部（１４２）及び変換部（１４３）を備える検査装置を用いて、ワークを検査する方法であって、
　前記撮像部（１４１）が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
　前記算出部（１４２）が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
　前記変換部（１４３）が、前記パラメータを前記照明指令値に変換することと、
　を含む検査方法。

（付記１３）
　撮像部（１４１）、算出部（１４２）及び変換部（１４３）を備える検査装置を制御して、ワークを検査させる検査プログラムであって、
　前記撮像部（１４１）が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
　前記算出部（１４２）が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
　前記変換部（１４３）が、前記パラメータを前記照明指令値に変換することと、
　を前記検査装置に実行させる検査プログラム。

　１…検査システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…制御装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…検査プログラム、１３４…照明パラメータ、１３６…照度ＬＵＴ、１３８…評価用ワーク画像、１４０…検査用ワーク画像、１４１…撮像部、１４２…算出部、１４３…変換部、１４４…記憶部、ＬＳ…光源、ＬＳｉ…チャネル照明

Claims

　光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部と、
　前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する算出部と、
　前記パラメータを前記照明指令値に変換する変換部と、
　を備える検査装置。
　前記算出部は、前記複数の評価用ワーク画像の数に等しい次元を有する前記パラメータにより重み付けした前記複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、前記合成画像を所定の評価関数により評価することで、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する、
　請求項１に記載の検査装置。
　前記パラメータの次元数は、前記複数の評価用発光パターンの数よりも少ない、
　請求項１又は２に記載の検査装置。
　前記変換部は、前記照明指令値を前記パラメータに対応付けるテーブルに基づいて、前記パラメータを前記照明指令値に変換する、
　請求項１から３のいずれか一項に記載の検査装置。
　前記変換部は、前記複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じて前記テーブルの値をスケール変換する、
　請求項４に記載の検査装置。
　前記変換部は、前記テーブルに基づいて、前記パラメータを、前記光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、前記発光強度パラメータを、前記発光強度パラメータにより表される発光強度に類似する発光強度に対応する前記照明指令値に変換する、
　請求項４又は５に記載の検査装置。
　前記変換部は、前記発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定する、
　請求項６に記載の検査装置。
　前記撮像部は、露出時間及びゲインの少なくともいずれかを変化させて前記複数の評価用ワーク画像を撮像する、
　請求項１から７のいずれか一項に記載の検査装置。
　前記撮像部は、ＨＤＲ（High Dynamic Range）合成により前記複数の評価用ワーク画像を撮像する、
　請求項１から８のいずれか一項に記載の検査装置。
　前記変換部は、前記パラメータが入力された場合に、前記パラメータを前記照明指令値に変換することと、前記照明指令値を前記パラメータに変換することとを収束するまで繰り返して、入力された前記パラメータと、対応する前記照明指令値とを算出する、
　請求項１から９のいずれか一項に記載の検査装置。
　前記変換部は、前記照明指令値が入力された場合に、前記照明指令値を前記パラメータに変換することと、前記パラメータを前記照明指令値に変換することとを収束するまで繰り返して、入力された前記照明指令値と、対応する前記パラメータとを算出する、
　請求項１から１０のいずれか一項に記載の検査装置。
　撮像部、算出部及び変換部を備える検査装置を用いて、ワークを検査する方法であって、
　前記撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
　前記算出部が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
　前記変換部が、前記パラメータを前記照明指令値に変換することと、
　を含む検査方法。
　撮像部、算出部及び変換部を備える検査装置を制御して、ワークを検査させる検査プログラムであって、
　前記撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
　前記算出部が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
　前記変換部が、前記パラメータを前記照明指令値に変換することと、
　を前記検査装置に実行させる検査プログラム。