JP6931552B2

JP6931552B2 - 画像検査装置

Info

Publication number: JP6931552B2
Application number: JP2017093363A
Authority: JP
Inventors: 木戸　学; 学木戸
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2021-09-08
Anticipated expiration: 2037-05-09
Also published as: JP2018189565A

Description

本発明は画像検査装置に関する。

商品（ワーク）が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。

特開平０９−１２６８９０号公報

マルチスペクトルイメージングは、それぞれ点灯色が異なる多数の光源を個別に発光させて複数の分光画像を取得し、複数の分光画像から画像検査のための検査画像を作成する。このような検査画像はユーザが指定した登録色を基準として生成されるため、ユーザがどのような登録色を選択するかは重要である。そのため、ユーザは画像検査装置において識別したい二つの登録色が色空間上でどの程度分離されているかを把握し、必要に応じて登録色の分布を調整したり、登録色を再選択したりしなければならない。ここで、二つの登録色を三次元座標空間にマッピングしてその距離（分離度合）を確認できれば、ユーザには便利であろう。しかし、三次元座標空間を定義する三つの座標軸にどの点灯色を割り当てるかによって、分離度合の確認のしやすさは異なる。この三つの座標軸に適切な三つの点灯色を割り当てることはユーザにとって困難であろう。そこで、本発明は、登録色の指定に関するユーザの負担を軽減することで、画像検査の結果のばらつきを小さくすることを目的とする。

本発明の画像検査装置は、たとえば、
互いに異なるＮ個（Ｎは４以上の整数）の点灯色の照明光を発生する複数の発光素子を点灯色ごとに順番に点灯させることで、互いに異なるＮ個の点灯色それぞれに対応した照明光を対象物に照射する照明部と、
前記照明部により前記点灯色ごとに照明光が照射され前記対象物により反射された反射光を受光して、前記Ｎ個の点灯色のそれぞれに対応する前記対象物の分光画像を生成する撮像部と、
前記照明部と前記撮像部を制御する制御部と、
前記撮像部により取得されたＮ個の分光画像に基づく画像を表示する表示部と、
前記表示された画像に対して前景色を抽出するための前景領域および背景色を抽出するための背景領域の指定を受け付ける受付部と、
前記受付部により指定された前記前景領域における色の分布を含む色情報を前景色として抽出するとともに、前記受付部により指定された前記背景領域における色の分布を含む色情報を背景色として抽出する抽出色指定部と、
前記抽出色指定部により指定された前記前景色の分布および前記背景色の分布との間の分離の程度が強調される三つの点灯色を決定し、三次元座標空間に前記前景色の分布と前記背景色の分布を描画する際の座標軸として、該決定された前記三つの点灯色を選択する選択部と、
前記選択部により選択された前記三つの点灯色を座標軸とする三次元座標空間に前記前景色の分布と前記背景色の分布を描画し、前記表示部に表示させる描画部と、
前記抽出色指定部により抽出された前記前景色の分布または前記背景色の分布にしたがって前記Ｎ個の分光画像を合成して検査画像を生成する生成部と、
前記検査画像を用いて前記対象物を検査する検査部と
を有することを特徴とする。

本発明によれば、登録色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなる。

画像検査装置を示す図照明装置を示す図照明装置を構成する部品を示す図照明装置の電気的な構成を示す図画像処理装置の機能を示す図マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図登録色の調整を補助するＵＩを示す図三つの点灯色の選択を補助するＵＩを示す図抽出色の指定を補助するＵＩを示す図色抽出処理を含む画像検査を示すフローチャート色抽出処理を示すフローチャート

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１は外観検査システム（画像検査装置８）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から同時または順番に照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査画像を用いて画像検査を実行する検査部を有する。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。

＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。

図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。

制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施形態では四方向から照明光を照射するために四つのＬＥＤ基板３２が設けられている。つまり、一つのＬＥＤ基板３２が一つの照明ブロックを形成している。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージング（ＭＳＩ）だけでなく、フォトメトリックステレオのために利用されてもよい。一つのＬＥＤ基板３２には四つのＬＥＤ３３が配置されている場合、光源群は１６個の発光素子により構成される。ただし、より多数の発光素子が設けられてもよい。たとえば、一つＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った二つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った二つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った二つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った二つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。以上の図面によれば、複数のＬＥＤ３３が、ある円周上に並べられているが、半径の異なる別の円周上にも複数のＬＥＤ３３が配置されていてもよい。これにより、波長ごとのＬＥＤ３３の数が増えるため、照明光量を増加させることが可能となる。また、第一の円周上にはマルチスペクトルイメージング用のＬＥＤ３３が配置され、第二の円周上には白色ＬＥＤが配置されていてもよい。第一の円周の半径と第二の円周の半径とは異なっている。

＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示している。四つのＬＥＤ３３ａ〜ＬＥＤ３３ｄは直列に接続されている。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ〜２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ〜１Ａ）となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ〜スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ〜スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ〜スイッチ４３ｄを接続することで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ〜スイッチ４３ｄを制御する。なお、一つの照明ブロックが８つのＬＥＤ３３により構成される場合、８個のスイッチ４３が設けられ、８個のスイッチ４３は点灯制御部４５によって制御される。８つのＬＥＤ３３は、たとえば、ＵＶからＩＲ２までの８つの波長に対応している。ＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。

＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群５０１が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、カメラ４の撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像（分光画像）を生成する撮像部として機能する。

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像から検査画像を作成したりする。グレー画像自体が検査画像であってもよい。ＭＳＩ処理部５１１は、複数の分光画像から一つのカラー画像を作成してもよい。照明制御部５１２は、照明制御基板４０に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミング、照明強度などを制御する。撮像制御部５１３は、撮影条件（露光時間、ゲインなど）に従ってカメラ４を制御する。

ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報に従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４は色抽出に関する制御パラメータを設定するためのＵＩを表示部７に表示する。画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。たとえば、画像選択部５１５はＵＩを通じて色抽出の対象となるカラー画像のデータを記憶装置５２０から取得する。

領域指定部５１６は表示された画像に対して検査ツールの検査領域ＩＷなどの指定をユーザから受け付ける。また、領域指定部５１６は表示されたカラー画像のうち色クラスタリングが施される複数の画素を含むクラスタ化領域の指定を受け付ける。領域指定部５１６は、表示された画像に対して前景領域や背景領域の指定をユーザから受け付けてもよい。前景領域とは、ワーク２の表面領域のうち、色抽出の対象となる特徴を含む領域である。背景領域とは、前景領域の周囲に存在する領域であり、色抽出の対象となる特徴を含まない領域である。なお、前景領域は、色抽出の対象となる特徴を含むため、検査領域ＩＷの少なくとも一部になることが多い。検査領域、前景領域、背景領域などの領域はユーザにより指定されることが多いため、指定領域と呼ばれてもよい。また、領域指定部５１６は、これらの指定領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて指定領域を示す枠線の形状をＵＩに反映させてもよい。

抽出色指定部５１７は、領域指定部５１６により指定された領域（例：前景領域、背景領域）から色情報（例：前景色、背景色）を抽出する。抽出色指定部５１７は、表示部７に表示された色分割画像などのフォルスカラー画像において抽出対象となる抽出色の指定を受け付けてもよい。抽出色指定部５１７は、フォルスカラー画像において前景領域の色である前景色と背景領域の色である背景色とのうち少なくとも一方の指定を受け付ける前景背景指定部を有していてもよい。なお、抽出色指定部５１７は、表示部７に表示されたフォルスカラー画像において複数のクラスタのうちいずれかのクラスタの代表色を注目色とするための指定を受け付ける抽出色指定部を有していてもよい。クラスタは複数の画素からなる画素群であり、グループと呼ばれてもよい。フォルスカラー画像はワーク２の分光画像から作成される画像であり、ユーザによる抽出色の指定を補助するための画像である。クラスタ数指定部５１８は複数のクラスタの数の指定を受け付ける。クラスタ化領域に属する各画素の色は、指定された数のクラスタのいずれかに所属する。

調整部５１９は、表示部７に表示された、三次元の色空間に投影された注目色の分布を囲む楕円の長軸、短軸および分布の中心座標のうち少なくとも一つの調整をユーザの指示に従って受け付ける。注目色は、一般には前景色である。分布描画部５７１は三つに点灯色を座標軸とする三次元座標空間に登録色の分布（例：前景色の分布と背景色の分布）を描画し、表示部に表示させる。８個の点灯色が用いられて８個の分光画像が形成されるケースではカラー画像は８次元の要素を有している。

分布描画部５７１は８次元の要素のうち三次元の要素の分布を表示する。このような分布を確認することでユーザは、複数の登録色の分布間の距離を確認したり、特定の点灯色の反射光の強度を確認したりすることが容易となろう。カスタマイズ部５７２は、三次元座標空間を定義する三つの座標軸に割り当てられる三つの点灯色の組み合わせを、ユーザの指示にしたがってカスタマイズする。

検査画像生成部５６０は、検査対象物（ライン１を搬送されるワーク２など）の分光画像から画像検査用の検査画像を生成する。検査画像はグレー画像であってもよいし、グレー画像に対してさらに画像処理（例：二値化など）を適用された画像であってもよい。検査画像生成部５６０は様々な機能を備えている。取得部５６１は、画像選択部５１５を通じてユーザにより指定された画像を記憶装置５２０やカメラ４から取得する。つまり、画像選択部５１５は取得部５６１を通じて画像データを取得する。クラスタリング部５６２は領域指定部５１６により指定された各領域に含まれる複数の画素の色空間座標における位置に応じて、分光画像を構成する各画素を、複数のクラスタのうちのいずれかのクラスタに所属させる。たとえば、クラスタリング部５６２は、色クラスタリングなどの手法を用いて各画素をいずれかのクラスタに所属させる。また、クラスタリング部５６２は、クラスタ数指定部５１８により指定された数のクラスタに、分光画像を構成する各画素を所属させてもよい。フォルスカラー画像生成部５６３は、複数のクラスタのそれぞれについて代表色を決定し、分光画像を構成する各画素の色を、各画素が属するクラスタの代表色に変換することでフォルスカラー画像を生成する。変換部５６４は、検査対象物の分光画像の各画素の色と抽出色との色空間内での距離に基づいて分光画像の各画素の色情報を一次元の色情報に変換することで検査画像を生成する。たとえば、変換部５６４は、カラーグレー変換を実行することで検査画像を生成したり、検査画像の元になるグレー画像を生成したりしてもよい。なお、クラスタリングの対象となる分光画像は、一般に複数の分光画像（例：ＵＶ画像、Ｒ画像、Ｇ画像、Ｂ画像、ＩＲ画像など）から構成される分光画像群である。選択部５６５は照明装置３が照射可能な照明光の色であるＮ個の点灯色のうち、Ｎ個の分光画像における前景色の分布と背景色の分布との間の分離の程度が強調される三色を選択する。Ｎ個の点灯色を使用することで一つの画素はＮ個の要素を有することになる。このＮ個の要素のすべてを用いて表示された前景色の分布と背景色の分布とを見てもユーザには分離の程度などを確認しにくいことがある。そこで、分離の程度が強調されるような三つの点灯色（要素）を選択して三次元座標空間に前景色の分布と背景色の分布とを描画することで、ユーザは分離の程度を確認しやすくなる。

ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。ＵＩ管理部５１４は照明条件や撮像条件を設定する設定部として機能したり、検査ツールを設定する設定部として機能したりしてもよい。

画像処理部５３０は検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。検査部５３１は、見つかった特徴の位置に応じて検査領域（計測領域）の位置を補正する。画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。

判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

記憶装置５２０は、カメラ４によって取得された分光画像のデータである分光画像データ５２１、フォルスカラー画像生成部５６３により生成されたフォルスカラー画像のデータであるフォルスカラー画像データ５２２、検査画像の画像データである検査画像データ５２４や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。

＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像（分光画像）が取得される。たとえば、８種類の点灯色の照明光が照射される場合、８個の画像（分光画像）が取得される。この場合に、一つの画素は８次元の要素から構成されることになる。一般的なＲＧＢ形式の画像がＲ，Ｇ，Ｂの三次元の要素から構成されていることと比較すると、一つの画素がより多くの情報を有していることを理解できよう。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の点灯色の照明光を出力する四つのＬＥＤ３３が同時に点灯するため、四つの方向から同一点灯色の照明光がワーク２に照射される。８種類の点灯色は、たとえば、紫外波長から近赤外波長までの８種類の狭帯域波長の点灯色であってもよい。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な点灯色の照明光だけがワーク２に照射される。一般に、８個の分光画像がそのまま画像検査に利用されることは少なく、８個の分光画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対してさらに二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。

図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。

まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。

次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。

なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成されてもよいし、単一のグレー画像が作成されてもよい。

また、ＲＧＢ画像などのカラー画像をグレー画像に変換する際にも上述したカラーグレー変換は採用可能である。この場合にもある登録色（ユーザにより指定された色）を基準として各画素の色情報が濃淡情報に変換されてグレー画像が生成される。また、分散共分散行列は明度を示す行列と色度を示す行列とに分解されてもよい。また、明度行列を調整するための明度スケール（係数Ｓｙ）が明度行列に乗算されてもよい。同様に色度行列を調整するための色度スケール（係数Ｓｚ）が色度行列に乗算されてもよい。これらのスケールは抽出色の分布を調整することで変更されてもよい。

＜前景背景画像＞
カラー濃淡変換は、背景色と前景色とが分離された前景背景画像を作成するためにも使用される。たとえば、前景色がエビや貝であり、背景色が乾麺や乾燥ネギであったと仮定する。この場合に複数の前景色と複数の背景色とが登録されることになろう。また、エビや貝の数を画像検査によりカウントするには、エビや貝が背景から適切に分離されることが必要となる。

図７は検査画像の一種である前景背景画像ＦＢｉｍｇの作成工程を示している。検査画像生成部５６０は前景グループＦＧに属する前景色ＦＣ１〜ＦＣ９それぞれとワーク２のカラー画像の各画素の色との距離（マハラノビス距離）を演算し、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を作成する。まず、変換部５６４は距離画像生成部を有していてもよい。距離画像生成部は前景色ＦＣ１とワーク２のカラー画像の各画素の色との距離を演算し、前景色ＦＣ１に対応する１個の距離画像を作成する。同様に、距離画像生成部は前景色ＦＣ２とワーク２のカラー画像の各画素の色との距離を演算し、前景色ＦＣ２に対応する１個の距離画像を作成する。距離画像生成部は残りの前景色ＦＣ３〜ＦＣ９についてもそれぞれ距離画像を作成する。さらに、距離画像生成部は、背景グループＢＧに属する背景色ＢＣ１〜ＢＣ３それぞれとワーク２のカラー画像の各画素の色との距離（マハラノビス距離）を演算し、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を作成する。上述したように距離画像を構成する各画素の値は距離である。また、前景色や背景色などの登録色に対する距離は、登録色の分布における代表色（分布の中心座標）を基準とした距離である。

変換部５６４は前景画像生成部や背景画像生成部、前景背景画像生成部を有していてもよい。前景画像生成部は、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を比較し、各座標についての九個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる前景距離画像Ｆｉｍｇを作成する。たとえば、九個の距離画像から注目座標（ｘｉ，ｙｉ）の距離を読み出し、読み出された九個の距離のうちで最小の距離が、前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）の画素の値に採用される。同様に、背景画像生成部は、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を比較し、各座標についての三個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる背景距離画像Ｂｉｍｇを作成する。

前景背景画像生成部は、背景距離画像Ｆｉｍｇと背景距離画像Ｂｉｍｇとの差分演算を実行して前景背景画像ＦＢｉｍｇを作成する。たとえば、前景背景画像ＦＢｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値をＧ（ｘｉ，ｙｉ）は次式から演算される。
Ｇ（ｘｉ，ｙｉ）＝ｇ（ｄｂ（ｘｉ，ｙｉ）−ｄｆ（ｘｉ，ｙｉ））＋Ｇｍｉｄ・・・（１）
ここでｇは調整タブ７２０においてユーザにより調整されるゲインである。ｄｂ（ｘｉ，ｙｉ）は背景距離画像Ｂｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。ｄｆ（ｘｉ，ｙｉ）は前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。Ｇｍｉｄは中間階調である。たとえば、最大階調が２５５であれば、Ｇｍｉｄは１２８である。

このような過程をたどることで検査画像の一種である前景背景画像ＦＢｉｍｇが作成される。ここで、画像検査の精度を決定するのは、前景色や背景色の精度である。つまり、ユーザは適切に前景色や背景色を抽出して登録しなければならない。一般に、前景色と背景色とを適切に登録することは困難である。これはユーザの肉眼による区別できないような複数の前景色や背景色を登録しないとよりよい検査画像を生成できないことがあるからである。したがって、複数の登録色が色空間上でどの程度離れているかをユーザが容易に確認できるようなユーザインタフェース（ＵＩ）が有用である。本実施形態では、複数の登録色の分離度を確認するためのＵＩとして三次元ＵＩが提案される。三次元ＵＩは三つの座標軸によって定義されるが、各座標軸にどの点灯色を割り当てるかが問題となる。三次元ＵＩの目的は、複数ある登録色のうち特に距離の近い二つの登録色の関係をユーザに視覚的に把握させることである。８つの点灯色が使用される場合、８個から３個を選択する組み合わせのうちで、二つの登録色の関係が視覚的に強調される３個の点灯色の組み合わせが決定されなければならない。たとえば、複数の前景色のうちの一つと複数の背景色うちの一つとから形成される前景色と背景色との組み合わせにおいて、前景色と背景色との距離が最短となる組み合わせが決定される。決定された組み合わせを形成している前景色の分布と背景色の分布との距離が視覚的に強調されるような３個の点灯色が選択される。

＜三次元表示＞
図８は登録色の色分布を三次元表示する三次元ＵＩ８００を示している。基準画像表示領域８０１はユーザにより表示された基準画像を表示する領域である。基準画像とは、ワーク２から取得された８個の分光画像を要素とするカラー画像である。つまり、一画素は８次元の要素からなるベクトルで表現される。色分割画像表示領域８０２は、基準画像を色分割して作成された色分割画像を表示する領域である。分布表示領域８０３は、一つ以上の登録色の分布を三次元表示する領域である。なお、分布表示領域８０３は、各登録色の分布を近似した楕円体８０４を表示してもよい。ポインタ８０５は、登録色を選択したり、分布を調整したりするためのＵＩである。前景色選択部８０６は、予めユーザにより登録された複数の登録色のうちから前景色となる登録色を選択するためのＵＩである。前景色選択部８０６には、前景色として選択された登録色を示す表示部や前景色の識別番号の表示部、色分割画像において登録色に代えて表示されるインデックス色の表示部などが含まれてもよい。背景色選択部８０７は、予めユーザにより登録された複数の登録色のうちから背景色となる登録色を選択するためのＵＩである。背景色選択部８０７には、背景色として選択された登録色を示す表示部や背景色の識別番号の表示部、色分割画像において登録色に代えて表示されるインデックス色の表示部などが含まれてもよい。ＵＩ管理部５１４は、背景色の自動選択をユーザにより指示されると、ユーザにより登録された前景色に対して色空間内での距離が近い他の登録色（前景色を除く）を背景色として選択してもよい。おすすめボタン８０８は、分布表示領域８０３における三つの座標軸を選択するためのＵＩを呼び出すためのボタンである。点灯色表示部８０９は、分布表示領域８０３に表示されたＸ軸、Ｙ軸、Ｚ軸に割り当てられた点灯色を表示するＵＩである。なお、点灯色表示部８０９はプルダウンメニューにより実現されてもよい。ＵＩ管理部５１４は、プルダウンメニューを通じて各座標軸に割り当てられている点灯色の変更または指定を受け付けてもよい。

図９はおすすめ点灯色を更新するための更新ＵＩ９００を示している。ＵＩ管理部５１４は、おすすめボタン８０８が押されたことを検知すると、更新ＵＩ９００を表示部７に表示する。自動選択ボタン９０１は、相互に近傍色となる前景色と背景色を決定し、決定された前景色と背景色との分離度が最大となるように三つの点灯色を自動的に選択させるためのボタンである。近傍色とは色空間における距離が最も近い前景色と背景色をいう。選択色表示部９０２は、自動選択ボタン９０１を押すことで各座標軸ごとに選択された点灯色を示すラジオボタンである。ユーザはポインタ８０５を操作していずれかのラジオボタンを押すことで、選択部５６５により選択された点灯色を別の点灯色へとカスタマイズしてもよい。キャンセルボタン９０３は、更新ＵＩ９００を通じて決定された三つの点灯色の組み合わせを破棄して、三次元ＵＩ８００に戻るためのボタンである。更新ボタン９０４は、更新ＵＩ９００を通じて決定された三つの点灯色の組み合わせを確定して、三次元ＵＩ８００に戻るためのボタンである。ＵＩ管理部５１４は、確定した点灯色の組み合わせを設定情報５２３に格納する。ＵＩ管理部５１４は、三つの点灯色の組み合わせが変更されると、分布表示領域８０３に表示される座標軸に割り当てられた点灯色を変更し、変更された後の三つの座標軸に対する前景色の分布と背景色の分布のマッピングを更新する。

＜色抽出＞
色抽出とは、ワーク２の画像から前景色や背景色として選択可能な色を抽出して登録することをいう。この作業により抽出された色が登録色である。

図１０はユーザによる色抽出を補助するためにＵＩ管理部５１４が表示部７に表示する色抽出ＵＩ１０００を示している。画像表示領域１００１は、プルダウンメニュー１０１１により選択された画像を表示する領域である。プルダウンメニュー１０１１は、記憶装置５２０に記憶されているカラー画像やカメラ４により取得されたカラー画像などを指定するためのＵＩである。プルダウンメニュー１０１１に登録されていない画像はプルダウンメニュー１０１１内の"参照"を選択することにより、指定可能となっている。画像選択部５１５はプルダウンメニュー１０１１により選択された画像を画像表示領域１００１に表示する。クラスタ化領域１００４は、色クラスタリング（色分割）が実行される矩形や円形、楕円形などの規定形状の領域である。クラスタ化領域１００４の形状は、ユーザが領域形状を選択するためのプルダウンメニュー１０１２を操作することにより選択される。テキストボックス１０１３は、クラスタ数の入力を受け付ける。クラスタ数指定部５１８は、テキストボックス１０１３に入力された数値をクラスタ数として受け付ける。クラスタ数とは、クラスタ化領域１００４内の色をいくつの色（クラスタ）に分割するかを示す。クラスタ化ボタン１０１４は、クラスタ化領域１００４により囲まれた画像について色クラスタリングの実行を指示するボタンである。画像表示領域１００２は、画像表示領域１００１をクラスタリングすることで作成された色分割画像を表示する領域である。抽出ボタン１０１５は、色抽出の実行を指示するボタンである。ＵＩ管理部５１４は、抽出ボタン１０１５が押されると、ポインタ８０５のアイコンをスポイト１００３に変更する。抽出色指定部５１７は、色分割画像においてスポイト１００３により指定された位置の色を抽出し、抽出した色の色情報を登録色として設定情報５２３に格納する。ＵＩ管理部５１４は、三次元ＵＩ８００において、前景色選択部８０６や背景色選択部８０７において選択候補としてここで抽出された登録色を表示する。確定ボタン１０１７は、色抽出結果の確定を指示するボタンである。キャンセルボタン１０１６は、色抽出結果を破棄するボタンである。

●色抽出処理のフローチャート
図１１は色抽出処理を含む画像検査を示すフローチャートである。Ｓ１１０１からＳ１１０７までの処理は設定モードにおいて実行され、Ｓ１１０８からＳ１１１０までの処理は運転モード（検査モード）において実行されうる。

Ｓ１１０１でプロセッサ５１０（取得部５６１）は設定対象物のカラー画像を取得する。取得部５６１は照明制御部５１２を通じて照明制御基板４０に照明条件（点灯すべき発光素子や照明強度など）を設定し、光源群５０１を点灯させ、照明光を設定対象物に照射する。取得部５６１は撮像制御部５１３を通じてカメラ４に撮像条件（露光時間や絞りなど）を設定して撮像を指示する。カメラ４は設定対象物のカラー画像の画像データを記憶装置５２０に格納する。プロセッサ５１０は記憶装置５２０からカラー画像の画像データを読み出す。なお、取得部５６１は、ユーザにより指定されたカラー画像を記憶装置５２０から取得してもよい。

Ｓ１１０２でプロセッサ５１０（領域指定部５１６）はユーザからクラスタ化領域１００４の指定を受け付ける。ＵＩ管理部５１４は色抽出ＵＩ１０００を表示部７に表示し、クラスタ化領域１００４の指定を受け付ける。画像表示領域１００１には記憶装置５２０から取得されたカラー画像が表示される。

Ｓ１１０３でプロセッサ５１０（クラスタ数指定部５１８）はユーザからクラスタ数Ｍの指定を受け付ける。クラスタ数Ｍはテキストボックス１０１３に入力された数値である。テキストボックス１０１３はプルダウンメニューなどの他の形式のコントロールオブジェクトであってもよい。

Ｓ１１０４でプロセッサ５１０（クラスタリング部５６２）はカラー画像に設定されたクラスタ化領域内の各画素をＭ個のクラスタ領域に分類する。ここでは、Ｋ−ｍｅａｎｓやＧＭＭ（ガウシアン・ミクスチャ・モデル）などの既知の色クラスタリングアルゴリズムが採用可能である。

Ｓ１１０５でプロセッサ５１０（クラスタリング部５６２またはフォルスカラー画像生成部５６３に設けられる代表色決定部）は各クラスタの代表色を決定する。代表色は、各クラスタ内に属している画素の色についての平均色、強調平均色またはインデックス色などである。

Ｓ１１０６でプロセッサ５１０（フォルスカラー画像生成部５６３）は各クラスタの代表色に基づきカラー画像をフォルスカラー画像に変換することでフォルスカラー画像を作成する。たとえば、プロセッサ５１０はあるクラスタに属している各画素の色をそのクラスタの代表色に置換する。この置換処理はすべてのクラスタで実行される。

Ｓ１１０７でプロセッサ５１０（抽出色指定部５１７）は登録色の指定を受け付ける。図１０などに示しようにＵＩ管理部５１４は色分割画像表示領域８０２にフォルスカラー画像を表示し、スポイト１００３により指定された画素の色（代表色）を登録色に設定する。登録色は一つ以上の前景色や一つ以上の背景色などである。なお、色クラスタリングにより抽出された色がユーザの意図とは異なることもあろう。この場合、ユーザは、三次元ＵＩ８００を表示部７に表示させ、登録色の分布を調整してもよい。三次元座標空間を用いた登録色の調整処理の詳細については後述される。

Ｓ１１０８でプロセッサ５１０（取得部５６１）は検査対象物のカラー画像を取得する。プロセッサ５１０の照明制御部５１２は照明制御基板４０に照明条件（点灯すべき発光素子や照明強度など）を設定し、光源群５０１を点灯させ、照明光を検査対象物に照射する。プロセッサ５１０の撮像制御部５１３はカメラ４に撮像条件（露光時間や絞りなど）を設定して撮像を指示する。カメラ４は検査対象物のカラー画像の画像データを記憶装置５２０に格納する。プロセッサ５１０は記憶装置５２０からカラー画像の画像データを読み出す。

Ｓ１１０９でプロセッサ５１０（変換部５６４）は登録色と検査対象物のカラー画像とに基づき検査画像を作成する。検査画像は検査ツールごとに異なってもよい。たとえば、変換部５６４は色空間における前景領域の登録色（前景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（前景画像）に変換してもよい。また、変換部５６４は色空間における背景領域の登録色（背景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（背景画像）に変換してもよい。これらの画像はさらに二値化などのさらなる画像処理が施されてもよい。

Ｓ１１１０でプロセッサ５１０（検査部５３１）は検査画像に対して検査ツールを適用して画像検査を実行する。一例として、検査対象物が樹脂板に設けられた金属端子であり、検査部５３１が備えるエリア検査ツールにより金属端子の面積と、その周囲の面積を求めることを考える。前景色は金属端子の代表色であり、背景色は樹脂板の代表色である。検査部５３１は、前景画像を二値化することで樹脂板の色を白に変換し、金属端子の色を黒に変換し、黒の画素の数をカウントすることで金属端子の面積を算出する。同様に、検査部５３１は、背景画像を二値化することで樹脂板の色を黒に変換し、金属端子の色を白に変換し、黒の画素の数をカウントすることで金属端子の周囲の樹脂板の面積を算出する。判定部５４０は金属端子の面積を公差などの閾値と比較して合否を判定する。また、判定部５４０は金属端子の周囲の面積を公差などの閾値と比較して合否を判定する。また、プロセッサ５１０は、前景領域の色情報と背景領域の色情報との色差を抽出し、色差が公差内かどうかに応じて検査対象物の合否を判定してもよい。

●調整処理のフローチャート
図１２は三次元座標空間を用いた登録色の調整処理を示している。ここではすでに一つ以上の登録色が色抽出ＵＩ１０００を通じて登録されているものとする。

Ｓ１２０１で選択部５６５はＮ個の点灯色から選択された三つの点灯色を含む組み合わせを形成し、形成された組み合わせのうちで評価値の算出が終わっていない一つの組み合わせを選択する。Ｎは４以上の整数である。Ｎ＝８であれば、組み合わせの数は５６である。そのため、各組合せを区別するために１から５６の識別番号が付与されてもよい。

Ｓ１２０２で選択部５６５は選択した点灯色の組み合わせについての評価値を算出する。評価値とは、色空間において前景色の分布と背景色の分布との分離の程度を示す値である。なお、複数の前景色と一つ以上の背景色とが登録されている場合、どの前景色とどの背景色との間の評価値を算出するかが問題となる。前景色と背景色とは本来ユーザが分離を求める二つの登録色である。したがって、前景色と背景色との組み合わせのうちで色空間における距離が最小となる組み合わせについて評価値が求められるものとする。選択部５６５は、複数の前景色のうちの一つと、複数の背景色のうちの一つとの組み合わせのうちで色空間における距離が最小となる前景色と背景色とを決定する前景背景決定部を有していてもよい。また、選択部５６５は、前景背景決定部により決定された前景色の分布と背景色の分布との間の分離の程度を示す評価値を算出する算出部を有していてもよい。

Ｓ１２０３で選択部５６５は、Ｓ１２０２で算出された評価値がこれまでに得られた評価値の最大値を超えている場合に、Ｓ１２０２で算出された評価値を最大値に代入することで最大値を更新する。なお、最大値の初期値はゼロである。なお、選択部５６５は、最大値を更新する際には、最大値をもたらした三つの点灯色の識別情報を記憶装置５２０に一時的に格納してもよい。

Ｓ１２０４で選択部５６５は、すべての点灯色の組み合わせについて評価値の算出が完了したかどうかを判定する。上述したように８個ある点灯色から三つの点灯色を選択するケースでは５６個の組み合わせが存在するため、５６個の評価値が求められる。まだ、評価値を算出されていない組み合わせが存在する場合、選択部５６５はＳ１２０１に戻り、次の組み合わせを選択する。一方、すべての組み合わせについて評価値の算出が完了すると、選択部５６５はＳ１２０５に進む。

Ｓ１２０５で選択部５６５は、評価値が最大となった組み合わせを形成している三つの点灯色を三つの座標軸に割り当てる。

Ｓ１２０６でカスタマイズ部５７２は座標軸のカスタマイズを受け付ける。上述したように選択部５６５は評価値に基づいて三つの点灯色を選択する。しかし、ユーザは、選択された三つの点灯色のうちのいくつかを他の点灯色に置換することを希望するかもしれない。したがって、カスタマイズ部５７２は選択色表示部９０２を通じて点灯色の変更を受け付けたり、点灯色表示部８０９を通じて点灯色の変更を受け付けたりしてもよい。

このようにカスタマイズ部５７２は、選択部５６５により選択された点灯色の組み合わせとは異なる他の組み合わせの選択を受け付けてもよい。なお、カスタマイズ部５７２は、評価値が最大となった組み合わせの他に、ユーザによって形成された点灯色の組み合わせを保持していてもよい。この場合に、カスタマイズ部５７２は、これらの組み合わせをプルダウンメニューに表示し、プルダウンメニューを通じて組み合わせの変更を受け付けてもよい。なお、カスタマイズ部５７２は、点灯色表示部８０９を通じて三つの点灯色と三つの座標軸との割り当て関係の変更を受け付けてもよい。図８では、選択部５６５により三つの点灯色としてＲ，Ｇ，Ｂが選択され、かつ、Ｘ軸にＲが割り当てられ、Ｙ軸にＧが割り当てられ、Ｚ軸にＢが割り当てられている。ユーザは点灯色表示部８０９を通じてＸ軸にＧを割り当て、Ｙ軸にＢを割り当て、Ｚ軸にＲを割り当ててもよい。このように、選択部５６５により三つの点灯色を変更せずに、点灯色と座標軸との割り当て関係が変更されてもよい。

Ｓ１２０７で分布描画部５７１は選択部５６５により選択された三つの点灯色をそれぞれ座標軸とする三次元座標空間に各登録色の分布を描画することで、三次元座標空間を表示部７に表示する。つまり、分布表示領域８０３に複数の登録色の分布が三次元表示される。分布描画部５７１は、登録色の分布を近似した楕円体８０４についても三次元座標空間に対して描画する。この楕円体８０４は登録色の分布を微調整する際に役立つ。ただし、このような調整機能はオプションである。

Ｓ１２０８で調整部５１９は登録色の色情報の調整を受け付ける。たとえば、調整部５１９は表示部７に表示された三次元座標空間における前景色の分布または背景色の分布の長軸または短軸の調整を受け付ける。

上述したように各分布を近似する楕円体８０４が分布表示領域８０３に表示されるため、調整部５１９は、ポインタ８０５による楕円体８０４の長軸または短軸の調整を受け付ける。その後、Ｓ１１０９で、変換部５６４は、調整部５１９により長軸または短軸を調整された登録色の分布（前景色の分布または前記背景色の分布）にしたがってＮ個の分光画像を合成して検査画像を生成する。

＜まとめ＞
図１ないし図５を用いて説明したように、照明装置３は互いに異なるＮ個（Ｎは４以上の整数）の点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を対象物に照射する照明部の一例である。カメラ４は対象物からの反射光を受光して対象物の分光画像を生成する撮像部の一例である。プロセッサ５１０は照明部と撮像部を制御する制御部の一例である。表示部７は撮像部により取得されたＮ個の分光画像に基づく画像を表示する表示部の一例である。領域指定部５１６は表示された画像に対して前景色を抽出するための前景領域の指定を受け付ける受付部として機能してもよい。選択部５６５は、Ｎ個の点灯色のうち、Ｎ個の分光画像における前景色の分布と、前景色とは異なる背景色の分布との間の分離の程度が強調される三色を選択する選択部の一例である。分布描画部５７１は選択部５６５により選択された三色を座標軸とする三次元座標空間に前景色の分布と背景色の分布を描画し、表示部７に表示させる描画部の一例である。変換部５６４は、前景色の分布または背景色の分布にしたがってＮ個の分光画像を合成して検査画像を生成する生成部として機能する。検査部５３１は、変換部５６４により生成された検査画像を用いて対象物を検査する。このように本実施形態によれば、ユーザは、前景色や背景色などの登録色の分布が三次元空間に表示されるため、登録色を再度抽出したり、登録色の分布を調整したりする必要があるかどうかを視覚的に判断しやすくなろう。つまり、登録色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなる。調整部５１９は、表示部７に表示された三次元座標空間における前景色の分布または背景色の分布の長軸または短軸の調整を受け付けてもよい。変換部５６４は、調整部５１９により長軸または短軸を調整された前景色の分布または背景色の分布にしたがってＮ個の分光画像を合成して検査画像を生成してもよい。これにより、ユーザは、三次元空間に表示された分布を見ることで調整が必要と判断すると、調整部５１９を通じて分布を調整できるようになる。

選択部５６５は、複数の前景色のうちの一つと、複数の背景色のうちの一つとの組み合わせのうちで色空間における距離が最小となる前景色と背景色とを決定する前景背景決定部を有していてもよい。このように距離の短い前景色と背景色とでは分離が困難となるため、分布の調整が必要になることがある。また、選択部５６５は、前景背景決定部により決定された前景色の分布と背景色の分布との間の分離の程度が最大となる三つの点灯色の組み合わせを決定する点灯色決定部を有していてもよい。このように前景色の分布と背景色の分布との間の分離の程度が最大となる三つの点灯色を座標軸に割り当てることで、ユーザは分布の調整をしやすくなるであろう。

カスタマイズ部５７２は、分離の程度が最大となる組み合わせと、当該組み合わせとは異なる他の組み合わせとのうちいずれかの組み合わせの選択を受け付ける組み合わせ受付部の一例である。分布描画部５７１は、カスタマイズ部５７２により受け付けられた組み合わせによる三色を座標軸とする三次元座標空間に前景色の分布と背景色の分布を描画し、表示部７に表示させてもよい。ユーザは、分離の程度が強調されるような三次元座標空間を常に望んでいるわけではない。たとえば、各点灯色ごとの反射光の強度を知りたいこともある。このよう場合には、選択部５６５が選択した組み合わせとは異なる他の組み合わせをユーザが選択できるようにするためのＵＩが提供されてもよい。

ところで、色クラスタリングはユーザによる色抽出を補助することができる。クラスタリング部５６２はＮ個の分光画像に基づく画像をＭ個の色領域に分割する分割部として機能する。図１０などに示したように、表示部７は、Ｍ個の色領域に分割された画像を表示してもよい。領域指定部５１６は、Ｍ個の色領域に分割された画像に対して前景領域の指定を受け付けてもよい。領域指定部５１６は、背景色を抽出するための背景領域の指定を受け付けてもよい。あるいは、抽出色指定部５１７は、色分割画像において前景色や背景色などの抽出対象となる登録色の指定を受け付けてもよい。領域指定部５１６と抽出色指定部５１７はスポイト１００３によって描画された矩形や円形などの指定領域から色を抽出してもよい。

上述した実施形態では前景色と背景色といった少なくとも二色の登録色が使用されている。しかし、実施形態の技術思想は登録色が一つの場合にも適用可能であり、また、一つ以上の登録色から形成された色グループに対して適用されてもよい。この場合、選択部５６５はＮ個の点灯色のうち、Ｎ個の分光画像における第一色グループに属する一つの色の分布と、第二色グループに属する一つの色の分布との間の分離の程度が強調される三色を選択する。分布描画部５７１は、選択部５６５により選択された三色を座標軸とする三次元座標空間に第一色グループに属する色の分布と、第二色グループに属する色の分布を描画し、表示部７に表示させてもよい。調整部５１９は、表示部７に表示された三次元座標空間における第一色グループに属する色の分布または第二色グループに属する色の分布の長軸もしくは短軸の調整を受け付けてもよい。変換部５６４は、調整部５１９により長軸もしくは短軸を調整された第一色グループに属する色の分布または第二色グループに属する色の分布にしたがってＮ個の分光画像を合成して検査画像を生成してもよい。選択部５６５は、Ｎ個の点灯色のうち、Ｎ個の分光画像における第一色グループに属する一つの色の分布と、第二色グループに属する一つの色の分布と、第三色グループに属する一つの色の分布とのうち、色空間における色分布間の距離が最小となる、それぞれ異なる色グループに属する二つの色の組み合わせを決定し、決定された二つの色の分布間の分離の程度が強調される三色を選択してもよい。このように色クループの数が３以上であってもよい。

なお、選択部５６５は、Ｎ個の点灯色のうちから選択される三つの点灯色の組み合わせごとに所定の登録色について評価値を算出する算出部を有していてもよい。この場合に、選択部５６５は、算出部により求められた複数の組み合わせのうちで評価値が最大となった組み合わせに属する三つの点灯色を選択してもよい。

●評価値の計算方法
前景色や背景色など二つ以上の登録色についての評価値Ｓ２は次式により求めることが可能である。

Ｓ２＝max_eigen｛Ｓｗ^-１Ｓｂ｝ ...（１）
ここでmax_eigen｛｝は行列の固有値の最大値を求める関数である。Ｓｂは次式により求められる。

Ｓｂ＝Σｎ_ｋ（ｕ_ｋ−ｕ）（ｕ_ｋ−ｕ）^Ｔ ...（２）
ここでｋは１からｃまでの整数である。つまり、Σはｋが１からｃまでの値をとるときの総和を求める演算記号である。ｃはクラス（登録色または色グループ）の総数である。ｎ_ｋはｋ番目のクラスの色情報を抽出された領域に含まれている画素の数である。ｕ_ｋはｋ番目のクラスにおける平均画素ベクトルである。ｕは全クラスにおける平均画素ベクトルである。Ｓｗが次式により定義される。

Ｓｗ＝Σ（ｎ_ｋσ_ｋ） ...（３）
ここでσ_ｋはｋ番目のクラスの分散共分散行列を示している。なお、各ベクトルを構成する要素は三つの点灯色に相当する要素だけである。

つまり、評価値Ｓ２は三つの点灯色の組み合わせごとに算出される。点灯色の総数が８であれば、５６個の評価値Ｓ２が算出されることになる。選択部５６５は、５６個の評価値Ｓ２のうちで最大となる評価値Ｓ２が得られた点灯色の組み合わせを選択する。このような評価値Ｓ２を採用することで、色空間における距離が最小となる二つの登録色についてその距離が最大となるような三つの点灯色が決定される。

なお、登録色が一つの場合の評価値Ｓ１は次式から算出可能である。

Ｓ１＝max_eigen｛Ｓｃ｝ ...（４）
ここでＳｃはｋ番目のクラスの分散共分散行列であり、次式により定義される。

Ｓｃ＝Σ（ｖ_ｋ−ｕ）（ｖ_ｋ−ｕ）^Ｔ ...（５）
ここでΣはｋが１からｎまでの値をとるときの総和を求める演算記号である。ｎは登録色の色情報を求める時に使用された画素の数である。ｖ_ｋは登録色の色情報を求める際に用いられた画素の画素ベクトルである。ここで説明された評価値の算出方法は一例に過ぎない。

２...ワーク、３...照明装置、４...カメラ、５...画像処理装置、５１０...プロセッサ、５１１...ＭＳＩ処理部、５１２...照明制御部、５１３...撮像制御部、５３１...検査部

Claims

互いに異なるＮ個（Ｎは４以上の整数）の点灯色の照明光を発生する複数の発光素子を点灯色ごとに順番に点灯させることで、互いに異なるＮ個の点灯色それぞれに対応した照明光を対象物に照射する照明部と、
前記照明部により前記点灯色ごとに照明光が照射され前記対象物により反射された反射光を受光して、前記Ｎ個の点灯色のそれぞれに対応する前記対象物の分光画像を生成する撮像部と、
前記照明部と前記撮像部を制御する制御部と、
前記撮像部により取得されたＮ個の分光画像に基づく画像を表示する表示部と、
前記表示された画像に対して前景色を抽出するための前景領域および背景色を抽出するための背景領域の指定を受け付ける受付部と、
前記受付部により指定された前記前景領域における色の分布を含む色情報を前景色として抽出するとともに、前記受付部により指定された前記背景領域における色の分布を含む色情報を背景色として抽出する抽出色指定部と、
前記抽出色指定部により指定された前記前景色の分布および前記背景色の分布との間の分離の程度が強調される三つの点灯色を決定し、三次元座標空間に前記前景色の分布と前記背景色の分布を描画する際の座標軸として、該決定された前記三つの点灯色を選択する選択部と、
前記選択部により選択された前記三つの点灯色を座標軸とする三次元座標空間に前記前景色の分布と前記背景色の分布を描画し、前記表示部に表示させる描画部と、
前記抽出色指定部により抽出された前記前景色の分布または前記背景色の分布にしたがって前記Ｎ個の分光画像を合成して検査画像を生成する生成部と、
前記検査画像を用いて前記対象物を検査する検査部と
を有することを特徴とする画像検査装置。
前記表示部に表示された前記三次元座標空間における前記前景色の分布または前記背景色の分布の長軸または短軸の調整を受け付ける調整部をさらに有し、
前記生成部は、前記調整部により長軸または短軸を調整された前記前景色の分布または前記背景色の分布にしたがって前記Ｎ個の分光画像を合成して検査画像を生成することを特徴とする請求項１に記載の画像検査装置。
前記受付部は、前記表示された画像に対して複数の前景色を抽出するための複数の前景領域および複数の背景色を抽出するための複数の背景領域の指定を受け付け、
前記選択部は、
前記複数の前景色のうちの一つと、前記複数の背景色のうちの一つとの組み合わせのうちで色空間における距離が最小となる前景色と背景色とを決定する前景背景決定部と、
前記前景背景決定部により決定された前景色の分布と背景色の分布との間の分離の程度が最大となる三つの点灯色の組み合わせを決定する点灯色決定部と
を有することを特徴とする請求項１または２に記載の画像検査装置。
前記分離の程度が最大となる組み合わせと、当該組み合わせとは異なる他の組み合わせとのうちいずれかの組み合わせの選択を受け付ける組み合わせ受付部をさらに有し、
前記描画部は、前記選択部により選択された前記三つの点灯色に代えて前記組み合わせ受付部により受け付けられた組み合わせによる三色を座標軸とする三次元座標空間に前記前景色の分布と前記背景色の分布を描画し、前記表示部に表示させることを特徴とする請求項３に記載の画像検査装置。
前記Ｎ個の分光画像に基づく画像をＭ個の色領域に分割する分割部をさらに有し、
前記表示部は、前記Ｍ個の色領域に分割された画像を表示し、
前記受付部は、前記Ｍ個の色領域に分割された画像に対して前記前景領域の指定を受け付けることを特徴とする請求項１ないし４のいずれか一項に記載の画像検査装置。
前記互いに異なるＮ個の点灯色の照明光を発生する複数の発光素子には、白色光を発生する発光素子が含まれることを特徴とする請求項１ないし５のいずれか一項に記載の画像検査装置。
前記選択部は、
前記Ｎ個の点灯色のうちから選択される三つの点灯色の組み合わせごとに所定の登録色について評価値を算出する算出部を有し、
前記算出部により求められた複数の組み合わせのうちで前記評価値が最大となった組み合わせに属する三つの点灯色を前記三次元座標空間に前記前景色の分布と前記背景色の分布を描画する際の座標軸として選択することを特徴とする請求項１ないし６のいずれか一項に記載の画像検査装置。
互いに異なるＮ個（Ｎは４以上の整数）の点灯色の照明光を発生する複数の発光素子を点灯色ごとに順番に点灯させることで、互いに異なるＮ個の点灯色それぞれに対応した照明光を対象物に照射する照明部と、
前記照明部により前記点灯色ごとに照明光が照射され前記対象物により反射された反射光を受光して、前記Ｎ個の点灯色のそれぞれに対応する前記対象物の分光画像を生成する撮像部と、
前記照明部と前記撮像部を制御する制御部と、
前記撮像部により取得されたＮ個の分光画像に基づく画像を表示する表示部と、
前記表示された画像に対して第一色グループに属する色を抽出するための第一色領域および第二色グループに属する色を抽出するための第二色領域の指定を受け付ける受付部と、
前記受付部により指定された前記第一色領域における色の分布を含む色情報を第一色グループとして抽出するとともに、前記受付部により指定された前記第二色領域における色の分布を含む色情報を第二色グループとして抽出する抽出色指定部と、
前記抽出色指定部により指定された前記第一色グループに属する一つの色の分布および前記第二色グループに属する一つ色の分布との間の分離の程度が強調される三つの点灯色を決定し、三次元座標空間に前記第一色グループに属する色の分布と前記第二色グループに属する色の分布を描画する際の座標軸として、該決定された前記三つの点灯色を選択する選択部と、
前記選択部により選択された前記三つの点灯色を座標軸とする三次元座標空間に前記第一色グループに属する色の分布と前記第二色グループに属する色の分布を描画し、前記表示部に表示させる描画部と、
前記抽出色指定部により抽出された前記第一色グループに属する色の分布または前記第二色グループに属する色の分布にしたがって前記Ｎ個の分光画像を合成して検査画像を生成する生成部と、
前記検査画像を用いて前記対象物を検査する検査部と
を有することを特徴とする画像検査装置。
前記選択部は、前記Ｎ個の点灯色のうち、前記Ｎ個の分光画像における前記第一色グループに属する一つの色の分布と、前記第二色グループに属する一つの色の分布と、第三色グループに属する一つの色の分布とのうち、色空間における色分布間の距離が最小となる、それぞれ異なる色グループに属する二つの色の組み合わせを決定し、決定された二つの色の分布間の分離の程度が強調される三色を選択することを特徴とする請求項８に記載の画像検査装置。