JP7117420B2

JP7117420B2 - 画像検査装置

Info

Publication number: JP7117420B2
Application number: JP2021091445A
Authority: JP
Inventors: 卓力孫; 学木戸
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2017-05-09
Filing date: 2021-05-31
Publication date: 2022-08-12
Anticipated expiration: 2037-05-09
Also published as: JP6893826B2; JP2018189562A; JP2021128171A

Description

本発明は画像検査装置に関する。

商品（ワーク）が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。

特開平０９－１２６８９０号公報

色検査装置などの画像検査装置で、ユーザは、表示装置に表示されたカラー画像において抽出対象となる色をクリックするなどして選択する。ユーザの選択を容易にするために画像検査装置はスポイトツールなどを提供していることもある。画像検査装置は、スポイトツールにより選択された色とカラー画像における各画素の色との距離に応じてカラー画像をグレー画像（濃淡画像）に変換し、グレー画像を用いてワークの画像検査を実行することがある。また、画像検査装置は、ワークの表面のうち画像検査の対象となる特徴を含む前景領域と、このような特徴を含まない背景領域とのユーザによる指定を受け付けてそれぞれ色を抽出してもよい。これらの場合、ユーザが選択した一つの画素の色が抽出色となるため、ユーザが指定した画素に依存してグレー画像が異なってしまい、画像検査の結果にばらつきが生じてしまう。そこで、本発明は、抽出色の指定に関するユーザの負担を軽減することで、画像検査の結果のばらつきを小さくすることを目的とする。

本発明の画像検査装置は、たとえば、
互いに異なる波長の照明光を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部と、
前記各波長の照明光ごとに検査対象物からの反射光を受光して複数の分光画像を取得する撮像部と、
前記撮像部により取得された複数の分光画像から生成されたカラー画像、および分光画像を表示する表示部と、
前記表示部に表示されたカラー画像、または分光画像において複数の画素を含む領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された各領域に含まれる複数の画素の色空間座標における位置に応じて、前記分光画像を構成する各画素を、複数のクラスタのうちのいずれかのクラスタに所属させるクラスタリング部と、
前記複数のクラスタのそれぞれについて代表色を決定し、前記分光画像を構成する各画素の色を、各画素が属するクラスタの代表色に変換することでフォルスカラー画像を生成するフォルスカラー画像生成部と、
前記表示部に表示されたフォルスカラー画像において抽出対象となる抽出色の指定を受け付ける抽出色指定部と、
前記分光画像の各画素の色と前記抽出色との色空間内での距離に基づいて前記分光画像をグレー画像に変換する変換部と、
前記変換部により生成されたグレー画像を用いて画像検査を実行する検査部と
を有することを特徴とする。

本発明によれば、抽出色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなる。

画像検査装置を示す図照明装置を示す図照明装置を構成する部品を示す図照明装置の電気的な構成を示す図画像処理システムの機能を示す図マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図自由形状の指定による色抽出手法を示す図クラスタ化領域の設定を補助するＵＩを示す図クラスタ化領域の設定を補助するＵＩを示す図抽出色の指定を補助するＵＩを示す図抽出色の調整を補助するＵＩを示す図抽出色の調整を補助するＵＩを示す図抽出色の調整を補助するＵＩを示す図色抽出処理を含む画像検査を示すフローチャート画像処理システムの機能を示す図画像処理システムの機能を示す図画像処理システムの機能を示す図

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１は外観検査システム（画像検査装置８）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から同時または順番に照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査画像を用いて画像検査を実行する検査部を有する。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。

＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。

図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。

制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施例では四方向から照明光を照射するために四つのＬＥＤ基板３２が設けられている。つまり、一つのＬＥＤ基板３２が一つの照明ブロックを形成している。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージング（ＭＳＩ）だけでなく、フォトメトリックステレオのために利用されてもよい。一つのＬＥＤ基板３２には四つのＬＥＤ３３が配置されている場合、光源群は１６個の発光素子により構成される。ただし、より多数の発光素子が設けられてもよい。たとえば、一つのＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った二つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った二つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った二つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った二つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。以上の図面によれば、複数のＬＥＤ３３が、ある円周上に並べられているが、半径の異なる別の円周上にも複数のＬＥＤ３３が配置されていてもよい。これにより、波長ごとのＬＥＤ３３の数が増えるため、照明光量を増加させることが可能となる。また、第一の円周上にはマルチスペクトルイメージング用のＬＥＤ３３が配置され、第二の円周上には白色ＬＥＤが配置されていてもよい。第一の円周の半径と第二の円周の半径とは異なっている。

＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示している。四つのＬＥＤ３３ａ～ＬＥＤ３３ｄは直列に接続されている。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ～２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ～１Ａ）となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ～ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ～スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ～スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ～ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ～ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ～スイッチ４３ｄを接続することで、ＬＥＤ３３ａ～ＬＥＤ３３ｄのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ～スイッチ４３ｄを制御する。なお、一つの照明ブロックが８つのＬＥＤ３３により構成される場合、８個のスイッチ４３が設けられ、８個のスイッチ４３は点灯制御部４５によって制御される。８つのＬＥＤ３３は、たとえば、ＵＶからＩＲ２までの８つの波長に対応している。ＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。

＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群５０１が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

照明装置３には記憶装置５０２が内蔵されており、ユーザにより設定された光源群５０１の点灯タイミングや照明パターンが記憶されている。照明制御基板４０は、画像処理装置５からトリガー信号を受け取り、記憶装置５０２に記憶されている内容に応じて、光源群５０１を制御することができる。このような構成により、画像処理装置５は、トリガー信号を送信するだけで照明装置３を制御することができるので、画像処理装置５と照明装置３を接続する信号線の数を少なくすることができ、ケーブルの取り回しがよくなる。

カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、カメラ４の撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像（分光画像）を生成する撮像部として機能する。

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像から検査画像を作成したりする。グレー画像自体が検査画像であってもよい。ＭＳＩ処理部５１１は、複数の分光画像から一つのカラー画像を作成してもよい。照明制御部５１２は、照明制御基板４０に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミング、照明強度などを制御する。撮像制御部５１３は、撮影条件（露光時間、ゲインなど）に従ってカメラ４を制御する。

ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報に従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４は色抽出に関する制御パラメータを設定するためのＵＩを表示部７に表示する。画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。たとえば、画像選択部５１５はＵＩを通じて色抽出の対象となるカラー画像のデータを記憶装置５２０から取得する。領域指定部５１６は表示された画像に対して検査ツールの検査領域ＩＷなどの指定をユーザから受け付ける。また、領域指定部５１６は表示されたカラー画像のうち色クラスタリングが施される複数の画素を含むクラスタ化領域の指定を受け付ける。抽出色指定部５１７は、表示部７に表示されたフォルスカラー画像において抽出対象となる抽出色の指定を受け付ける。抽出色指定部５１７は、フォルスカラー画像において前景領域の色である前景色と背景領域の色である背景色とのうち少なくとも一方の指定を受け付ける前景背景指定部を有していてもよい。なお、領域指定部５１６は、表示された画像に対して前景領域や背景領域の指定をユーザから受け付けてもよい。前景領域とは、ワーク２の表面領域のうち、色抽出の対象となる特徴を含む領域である。背景領域とは、前景領域の周囲に存在する領域であり、色抽出の対象となる特徴を含まない領域である。なお、前景領域は、色抽出の対象となる特徴を含むため、検査領域ＩＷの少なくとも一部になることが多い。検査領域、前景領域、背景領域などの領域はユーザにより指定されることが多いため、指定領域と呼ばれてもよい。また、領域指定部５１６は、これらの指定領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて指定領域を示す枠線の形状をＵＩに反映させてもよい。抽出色指定部５１７は、表示部７に表示されたフォルスカラー画像において複数のクラスタのうちいずれかのクラスタの代表色を注目色とするための指定を受け付ける抽出色指定部を有していてもよい。クラスタは複数の画素からなる画素群であり、グループと呼ばれてもよい。フォルスカラー画像は分光画像から作成される画像であり、ユーザによる抽出色の指定を補助するための画像である。クラスタ数指定部５１８は複数のクラスタの数の指定を受け付ける。クラスタ化領域に属する各画素の色は、指定された数のクラスタのいずれかに所属する。調整部５１９は、表示部７に表示された、二次元または三次元の色空間に投影された注目色の分布を囲む楕円の長軸、短軸および分布の中心座標のうち少なくとも一つの調整をユーザの指示に従って受け付ける。

検査画像生成部５６０は、検査対象物（ライン１を搬送されるワーク２など）の分光画像から画像検査用の検査画像を生成する。検査画像はグレー画像であってもよいし、グレー画像に対してさらに画像処理（例：二値化など）を適用された画像であってもよい。検査画像生成部５６０は様々な機能を備えている。取得部５６１は、画像選択部５１５を通じてユーザにより指定された画像を記憶装置５２０やカメラ４から取得する。つまり、画像選択部５１５は取得部５６１を通じて画像データを取得する。クラスタリング部５６２は領域指定部５１６により指定された各領域に含まれる複数の画素の色空間座標における位置に応じて、分光画像を構成する各画素を、複数のクラスタのうちのいずれかのクラスタに所属させる。たとえば、クラスタリング部５６２は、色クラスタリングなどの手法を用いて各画素をいずれかのクラスタに所属させる。また、クラスタリング部５６２は、クラスタ数指定部５１８により指定された数のクラスタに、分光画像を構成する各画素を所属させてもよい。フォルスカラー画像生成部５６３は、複数のクラスタのそれぞれについて代表色を決定し、分光画像を構成する各画素の色を、各画素が属するクラスタの代表色に変換することでフォルスカラー画像を生成する。変換部５６４は、検査対象物の分光画像の各画素の色と抽出色との色空間内での距離に基づいて分光画像の各画素の色情報を一次元の色情報に変換することで検査画像を生成する。たとえば、変換部５６４は、カラーグレー変換を実行することで検査画像または検査画像の元になるグレー画像を生成してもよい。なお、クラスタリングの対象となる分光画像は、一般に複数の分光画像（例：ＵＶ画像、Ｒ画像、Ｇ画像、Ｂ画像、ＩＲ画像など）から構成される分光画像群である。

ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。ＵＩ管理部５１４は照明条件や撮像条件を設定する設定部として機能したり、検査ツールを設定する設定部として機能したりしてもよい。

画像処理部５３０は検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。検査部５３１は、見つかった特徴の位置に応じて検査領域（計測領域）の位置を補正する。画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。

判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

記憶装置５２０は、カメラ４によって取得された分光画像のデータである分光画像データ５２１、フォルスカラー画像生成部５６３により生成されたフォルスカラー画像のデータであるフォルスカラー画像データ５２２、検査画像の画像データである検査画像データ５２４や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。

図１５ないし図１７は、本発明の画像処理装置に係る他の構成例を示す図である。図１５は照明装置３とカメラ４が一体化され、カメラ４に照明装置３を制御するための照明制御基板４０が設けられている例を示す図である。この構成では照明装置３とカメラ４が一体に設けられているため、照明装置３とカメラ４を設置する際に、位置合わせをする必要がない。また、照明装置３側には光源群５０１を制御するための照明制御基板４０や記憶装置５０２は不要となり、これらを有さない汎用的な照明装置３も利用することができる。ユーザはカメラ４に接続されている照明装置３を取り外し、別の種類の照明装置に交換することができる。例えば、本発明におけるマルチスペクトルイメージングに用いる照明装置３に変えて、白色光のみを照射するリング照明など他の種類の照明装置を適宜に選択できる。カメラ４は接続された照明装置３の種類を認識し、設定ユーザインタフェースに反映することが好ましい。これにより、ユーザは接続されている照明装置３に設定が可能な項目に対応したユーザインタフェース上で、照明の設定を行うことができる。認識の方法としては、照明装置３が照明種別情報を記憶しており、カメラ４がその情報を参照する方法などが考えられる。また、画像処理装置５が有する照明制御部５１２と撮像制御部５１３を、カメラ４の内部に設ける構成とし、撮像・照明系の制御を画像処理装置５とは独立して実行させる構成としてもよい。

図１６は画像処理装置５の一部の機能を、カメラ４側に設けた構成例を示している。カメラ４は分光画像データ５２１、フォルスカラー画像データ５２２、検査画像データ５２４、設定情報５２３を記憶する記憶装置５２０を備え、カメラ４の内部で分光画像データ５２１からフォルスカラー画像データ５２２を生成する処理をＭＳＩ処理部５１１や検査画像生成部５６０などが実行する。また、カメラ４に設けられた検査画像生成部５６０が検査画像データ５２４を作成する。照明装置３はカメラ４の照明制御部５１２が制御する。検査設定時に、カメラ４は画像処理装置４に各波長で撮像された分光画像データ５２１と、ＭＳＩ処理部５１１により生成されたフォルスカラー画像データ５２２と、検査画像生成部５６０が作成した検査画像データ５２４を画像処理装置５に送信する。設定時には、各波長の照明強度や、各波長の分光画像データ５２１が検査に必要か否かをユーザが確認するために、画像処理装置５はカメラ４から分光画像データ５２１を取得し、表示部７に表示する。一方、検査運用時には、カメラ４から画像処理装置５への分光画像データ５２１の送信を行わず、検査対象である検査画像データ５２４のみを画像処理装置５に送信するようにしてもよい。このように、カメラ４に画像処理装置５の一部の機能を負担させることにより、カメラ４と画像処理装置５間の通信負荷が低減され、分散処理により処理が高速化する。

図１７は画像処理装置５の全ての機能をカメラ４に内蔵した構成例である。ユーザはカメラ４と照明装置３のみを設置するだけで良いため、設置時の手間がかからない。たとえば、カメラ４の大型化が許容され、高度な画像演算処理が不要な場合に、この構成は有利であろう。

＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像（分光画像）が取得される。たとえば、８種類の波長の照明光が照射される場合、８個の画像（分光画像）が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのＬＥＤ３３が同時に点灯するため、四つの方向から同一波長の照明光がワーク２に照射される。８種類の波長は、たとえば、紫外波長から近赤外波長までの８種類の狭帯域波長である。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク２に照射される。一般に、８個の画像がそのまま画像検査に利用されることは少なく、８個の画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。

図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。

まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。なお、色情報は、いわゆるスポイトツールにより抽出されてもよい。スポイトツールのＵＩは領域指定部５１６に実装されてもよい。

次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、必要に応じてオフセットaを加え、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。これは、Ｇ＝Ｇｍａｘ－（ｇ・ｄ（ｘ）＋ａ）と表記される。

なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成されてもよいし、単一のグレー画像が作成されてもよい。

また、ＲＧＢ画像などのカラー画像をグレー画像に変換する際にも上述したカラーグレー変換は採用可能である。この場合にもある登録色（ユーザにより指定された色）を基準として各画素の色情報が濃淡情報に変換されてグレー画像が生成される。また、分散共分散行列は明度を示す行列と色度を示す行列とに分解されてもよい。また、明度行列を調整するための明度スケール（係数Ｓｙ）が明度行列に乗算されてもよい。同様に色度行列を調整するための色度スケール（係数Ｓｚ）が色度行列に乗算されてもよい。これらのスケールは抽出色の分布を調整することで変更されてもよい。

＜抽出色の指定＞
図７（Ａ）はワーク２の表面にある特徴ｆを含むカラー画像（例：ＲＧＢ画像）を示している。ユーザが特徴ｆを画像検査するためには、まず、特徴ｆの色抽出を行う必要がある。人間の目には特徴ｆの色はいずれの位置でも同じ色に見えるかもしれないが、特徴ｆの画像を構成している複数の画素は必ずしも厳密に同じ色を有しているわけではない。

たとえば、画素ｐ１の色と画素ｐ２の色とは異なっている。画素ｐ１をポインタ７０６で選択して画素ｐ１の色を抽出しても、画素ｐ１は特徴ｆを構成している多数の画素のうちの一つの画素でしかない。そのため、画素ｐ１の色に基づきワーク２のカラー画像を、グレー画像などの検査画像に変換しても、検査画像は特徴ｆの色や形状を正確に表していないことがある。

図７（Ｂ）は特徴ｆのほぼ全体を囲むようにポインタ７０６により自由形状の領域を描画することを示している。画像検査装置８は自由形状の領域内の画素値の平均値を求め、この平均値に基づいてカラー画像を検査画像に変換する。これにより、検査画像のばらつきが小さくなる。しかし、特徴ｆの形状が複雑になればなるほど、ユーザが自由形状を描く負担が増加する。

そこで、本実施形態では、色クラスタリングによる色抽出を採用することでユーザの負担を軽減し、かつ、検査画像のばらつきを小さくする。

●色抽出を補助するユーザインタフェース
図８はユーザによる色抽出を補助するためにＵＩ管理部５１４が表示部７に表示するＵＩ８００を示している。ＵＩ８００は、画像表示領域８０１と各種の設定を行うための設定タブを有している。図８においては、色クラスタリング（色面分割）に関するパラメータを設定するためのクラスタ化タブ８１０が選択されている。抽出タブ８２０はクラスタリング結果を利用したユーザによる色抽出を補助するタブである。調整タブ８３０は抽出色を調整するためのタブである。

画像表示領域８０１は、プルダウンメニュー８１１により選択された画像を表示する領域である。プルダウンメニュー８１１は、記憶装置５２０に記憶されている複数の分光画像やカメラ４により取得された複数の分光画像などを指定するためのＵＩである。ここでは、複数の分光画像のうちの一つの分光画像や複数の分光画像を合成することで生成されたカラー画像やグレー画像が選択されてもよい。

プルダウンメニュー８１１に登録されていない画像はプルダウンメニュー８１１内の"参照"を選択することにより、指定可能となっている。画像選択部５１５はプルダウンメニュー８１１により選択された画像を画像表示領域８０１に表示する。クラスタ化領域８０２は、色クラスタリング（分類）が実行される矩形や円形、楕円形などの規定形状の領域である。クラスタ化領域８０２の形状は、ユーザが領域形状を選択するためのプルダウンメニュー８１２を操作することにより選択される。編集ボタン８１３はクラスタ化領域８０２のサイズ（例：縦、横、半径など）と位置を編集するためのボタンである。編集ボタン８１３が操作されると、ＵＩ管理部５１４の領域指定部５１６は、ポインタ７０６によるクラスタ化領域８０２のサイズの変更を受け付ける。テキストボックス８１４は、クラスタ数の入力を受け付ける。クラスタ数指定部５１８は、テキストボックス８１４に入力された数値をクラスタ数として受け付ける。クラスタ数とは、クラスタ化領域８０２内の色をいくつの色（クラスタ）に分割するかを示す。クラスタ化ボタン８１５は、クラスタ化領域８０２により囲まれた画像について色クラスタリングの実行を指示するボタンである。確定ボタン８１６は、色抽出結果の確定を指示するボタンである。キャンセルボタン８１７は、色抽出結果を破棄するボタンである。

図９は色クラスタリングが実行された後のＵＩ８００を示している。プロセッサ５１０（クラスタリング部５６２）は、ポインタ７０６によるクラスタ化ボタン８１５の押し下げを検知すると、クラスタ化領域８０２により囲まれた各画素を解析し、ユーザにより指定されたＮ個のクラスタのうちのいずれかのクラスタに各画素を所属させる。Ｎはクラスタ数である。さらに、プロセッサ５１０（フォルスカラー画像生成部５６３）は、元の分光画像におけるクラスタ化領域８０２内の各画素の色を、各画素が所属しているクラスタの代表色に置換することでフォルスカラー画像を生成する。

さらに、プロセッサ５１０（フォルスカラー画像生成部５６３）は、クラスタ化領域８０２内に表示されている画像をフォルスカラー画像に更新する。フォルスカラー画像とは、色クラスタリングが適用された画像である。クラスタ数が２であれば、クラスタ化領域８０２内の各画素の色は、第一クラスタの代表色と第二クラスタの代表色とのうち、いずれかの色となる。第一クラスタに分類されたすべての画素の色は第一クラスタの代表色に置換される。第二クラスタに分類されたすべての画素の色は第二クラスタの代表色に置換される。これにより、クラスタ化領域８０２内の画像は二色に分割されることになる。このようにクラスタ化領域８０２内が複数の領域（面）に分割されるため、クラスタリングは色面分割と呼ばれてもよい。

図９に示したクラスタ化領域８０２に表示されたフォルスカラー画像では、特徴ｆが第一クラスタの代表色により表現されており、特徴ｆの周囲は第二クラスタの代表色により表現されている。各クラスタの代表色はそのクラスタに所属する複数の画素の色の平均色、強調平均色、インデックス色などである。フォルスカラー画像は、分割化画像やクラスタ化画像、インデックス画像と呼ばれてもよい。

図１０は抽出タブ８２０を示す図である。なお、クラスタ化タブ８１０と抽出タブ８２０とは一つにタブに集約化されてもよいが、説明の便宜上、これらを二つのタブとして説明する。ＵＩ管理部５１４は、ポインタ７０６による抽出タブ８２０の選択を検知すると、ＵＩ８００に抽出タブ８２０の内容を表示する。プルダウンメニュー１０１１は、色抽出手法の選択を補助するＵＩである。ここでは色抽出手法の一例として前景背景抽出が選択されている。前景背景抽出とは、前景領域の色（前景色）と背景領域の色（背景色）とを抽出することを示している。前景色や背景色などの抽出色は登録色とよばれてもよい。ラジオボタン１０１２は複数の前景色が存在するときにどの前景色を登録するかを指定するためのボタンである。この例では、前景色用のラジオボタン１０１２が二つ存在するため、最大で二つの前景色が登録可能となっている。なお、前景領域の数を一つに制限する場合、ラジオボタン１０１２は不要である。抽出色指定部５１７はポインタ７０６により指定された画素の色を前景色に決定し、前景色を前景色表示領域１０１３に表示する。ラジオボタン１０１４は複数の背景色が存在するときにどの背景色を登録するかを指定するためのボタンである。抽出色指定部５１７はポインタ７０６により指定された画素の色を背景色に決定し、背景色を背景色表示領域１０１５に表示する。

チェックボックス１０１６は近傍色（比較色）の自動選択を有効にするためのチェックボックスである。プロセッサ５１０（抽出色指定部５１７）は、チェックボックス１０１６にチェックが付与されると、色空間内で前景色に近い背景色を選択する。なお、プロセッサ５１０（抽出色指定部５１７）は、ユーザによって背景色が指定された場合には、色空間内でこの背景色に近い前景色を選択する。このように複数の背景色のうち一つの背景色がユーザによって指定されると、抽出色指定部５１７は複数の前景色から一つの前景色を指定（選択）する。また、複数の前景色のうち一つの前景色（指定色）がユーザによって指定されると、抽出色指定部５１７は複数の背景色のうち指定色に最も近い一つの背景色（近傍色）を指定（選択）する。このように近傍色が選択されるのは、色空間上で近傍にある注目色（前景色／背景色）と比較色（背景色／前景色）とを分離することが調整の目的だからである。

抽出色指定部５１７は指定色（前景色／背景色）に対する近傍色（背景色／前景色）の計算を実行する近傍色決定部を有していてもよい。これによりユーザによる近傍色の指定負担が軽減される。プロセッサ５１０（変換部５６４）は、抽出タブ８２０に設けられた確定ボタン８１６の押し下げを検知すると、抽出色に従って検査画像を作成する。検査部５３１は、ワーク２の特徴ｆについての画像検査を実行する。

図１１、図１２は調整タブ８３０を示す図である。ＵＩ管理部５１４は、ポインタ７０６により調整タブ８３０が選択されると、ＵＩ８００において調整タブ８３０の内容を表示するとともに、画像表示領域８０１に二つの画像を表示する。左側の画像は色クラスタリングが施されたカラー画像（フォルスカラー画像）である。右側の画像は、カラー画像の色空間における注目色の分布と比較色の分布との間の分離の程度を示す分布画像である。

注目色とは、前景色や背景色のうちラジオボタン１０１２、１０１４により選択された色である。抽出色指定部５１７は複数ある前景色や複数ある背景色のうちラジオボタン１０１２、１０１４により選択された色を注目色に決定する。比較色は、ユーザがポインタ７０６を操作することでフォルスカラー画像から選択した色である。近傍色（比較色）の自動選択が有効化されている場合、抽出色指定部５１７が比較色を自動的に選択する。

このように抽出色指定部５１７は比較色の指定を受け付けてもよい。一般に、ユーザは注目色に対して分離したい色を比較色として選択する。たとえば、クラスタ化領域８０２が５個のクラスタに分割されるケースでは、注目色を含むクラスタに対して色空間内でのユークリッド距離が最も近いクラスタが選択される。なお、プロセッサ５１０（抽出色指定部５１７）は、注目色を含むクラスタの代表色と、複数の他のクラスタの代表色との間の距離を求め、求めた距離のうちで最小の距離となった他のクラスタの代表色を比較色（近傍色）に選択してもよい。距離は、たとえば、各クラスタの中心位置（重心位置）間の距離である。

プロセッサ５１０（調整部５１９または検査画像生成部５６０）は、注目色の分布と比較色の分布とを二次元の色空間に投影することで分布画像を作成する。なお、プロセッサ５１０（調整部５１９または検査画像生成部５６０）は、注目色の分布と比較色の分布とを三次元の色空間に投影することで分布画像を作成してもよい。１１１１は注目色の分布を示している。調整部５１９は、注目色の分布１１１１を取り囲むように楕円形の枠１１１２を配置する。枠１１１２はポインタ７０６により長径と短径を変更可能な枠である。長径は長軸（明度軸）に相当し、短径は短軸（色度軸）に相当する。なお、一般には、複数ある軸のうち最長軸が主軸と呼ばれ、最長軸以外の軸が副軸と呼ばれる。

調整部５１９は、ユーザによる枠１１１２のサイズの変更に応じて、注目色の分布を左右する明度のスケールと色度のスケールとを変更する。

１１１３は比較色の分布を示している。調整部５１９は、比較色の分布１１１３を取り囲むように楕円形の枠１１１４を配置する。楕円形の枠１１１４はポインタ７０６により長径と短径を変更可能な枠であってもよい。枠１１１４のサイズを変更することで比較色の分布を左右する明度のスケールと色度のスケールとが変更される。あるいは、比較色の分布１１１３は変更できずに固定であってもよい。

調整タブ８３０には、注目色を示す表示領域１１２１と比較色を示す表示領域１１２２とが設けられている。ＵＩ管理部５１４（比較色指定部）は、画像表示領域８０１に表示されているフォルスカラー画像の任意の位置で右クリックされたことを検知すると、その位置の色（登録色）を比較色として指定してもよい。あるいはＵＩ管理部５１４（比較色指定部）はラジオボタンにより選択された登録色を比較色として選択してもよい。上述したように、ＵＩ管理部５１４（比較色指定部）は、色空間において注目色の近傍に位置する色を比較色に登録してもよい。

テキストボックス１１２３は注目色の明度に乗算されるスケールを示している。調整部５１９は、楕円形の枠１１１２の調整に応じて注目色の明度のスケールを変更する。テキストボックス１１２４は注目色の色度に乗算されるスケールを示している。調整部５１９は、楕円形の枠１１１２の調整に応じて注目色の色度のスケールを変更する。これらのスケールは上述した分散共分散行列を分解することで得られる明度行列のスケールと色度行列のスケールと連動してもよい。テキストボックス１１２５は、注目色の色分布の中心座標を示す。ユーザは注目色の色分布の中心付近をポインタ７０６によりドラックすることで注目色の色分布の中心座標を調整してもよい。調整部５１９は、ポインタ７０６のドラック量に応じて注目色の色分布の中心座標を更新し、テキストボックス１１２５に反映する。

図１１に示した事例では注目色と比較色とが十分に分離されていることが分かる。注目色が前景色であり、比較色が背景色であれば、前景色と背景色との距離（分離の程度）を十分に確保することで、特徴ｆがその周囲から十分に分離された検査画像が作成される。一方で、図１２が示す事例では注目色（前景色）と比較色（背景色）とが十分に分離されていない。したがって、図１３の点線が示すように、注目色の分布に連動する枠１１１２のサイズを調整することにより明度が変更されると、注目色の色分布が変更され、注目色と比較色の分離の程度が拡大する。この例では注目色の明度が変更されている。

●フローチャート
図１４は色抽出処理を含む画像検査を示すフローチャートである。Ｓ１４０１からＳ１４０７までの処理は設定モードにおいて実行され、Ｓ１４０８からＳ１４１０までの処理は運転モード（検査モード）において実行されうる。

Ｓ１４０１でプロセッサ５１０（取得部５６１）は設定対象物のカラー画像を取得する。取得部５６１は照明制御部５１２を通じて照明制御基板４０に照明条件（点灯すべき発光素子や照明強度など）を設定し、光源群５０１を点灯させ、照明光を設定対象物に照射する。取得部５６１は撮像制御部５１３を通じてカメラ４に撮像条件（露光時間や絞りなど）を設定して撮像を指示する。カメラ４は設定対象物のカラー画像の画像データを記憶装置５２０に格納する。プロセッサ５１０は記憶装置５２０からカラー画像の画像データを読み出す。なお、取得部５６１は、ユーザにより指定されたカラー画像を記憶装置５２０から取得してもよい。

Ｓ１４０２でプロセッサ５１０（領域指定部５１６）はユーザからクラスタ化領域８０２の指定を受け付ける。ＵＩ管理部５１４はＵＩ８００を表示部７に表示し、クラスタ化領域８０２の指定を受け付ける。画像表示領域８０１には記憶装置５２０から取得されたカラー画像が表示される。

Ｓ１４０３でプロセッサ５１０（クラスタ数指定部５１８）はユーザからクラスタ数Ｎの指定を受け付ける。クラスタ数Ｎはテキストボックス８１４に入力された数値である。テキストボックスはプルダウンメニューなどの他の形式のコントロールオブジェクトであってもよい。

Ｓ１４０４でプロセッサ５１０（クラスタリング部５６２）はカラー画像に設定されたクラスタ化領域内の各画素をＮ個のクラスタに分類する。ここでは、Ｋ－ｍｅａｎｓやＧＭＭ（ガウシアン・ミクスチャ・モデル）などの既知の色クラスタリングアルゴリズムが採用可能である。

Ｓ１４０５でプロセッサ５１０（クラスタリング部５６２またはフォルスカラー画像生成部５６３に設けられる代表色決定部）は各クラスタの代表色を決定する。代表色は、各クラスタ内に属している画素の色についての平均色、強調平均色またはインデックス色などである。

Ｓ１４０６でプロセッサ５１０（フォルスカラー画像生成部５６３）は各クラスタの代表色に基づきカラー画像をフォルスカラー画像に変換することでフォルスカラー画像を作成する。たとえば、プロセッサ５１０はあるクラスタに属している各画素の色をそのクラスタの代表色に置換する。この置換処理はすべてのクラスタで実行される。

Ｓ１４０７でプロセッサ５１０（抽出色指定部５１７）は登録色の指定を受け付ける。図１０などに示しようにＵＩ管理部５１４は画像表示領域８０１にフォルスカラー画像を表示し、ポインタ７０６により指定された画素の色（代表色）を登録色に設定する。登録色は一つ以上の前景色や一つ以上の背景色などである。なお、色クラスタリングにより抽出された色がユーザの意図とは異なることもあろう。この場合、ユーザは、図１１ないし図１３に示したような調整タブ８３０を開いて抽出色の色分布を微調整してもよい。

Ｓ１４０８でプロセッサ５１０（取得部５６１）は検査対象物のカラー画像を取得する。プロセッサ５１０の照明制御部５１２は照明制御基板４０に照明条件（点灯すべき発光素子や照明強度など）を設定し、光源群５０１を点灯させ、照明光を検査対象物に照射する。プロセッサ５１０の撮像制御部５１３はカメラ４に撮像条件（露光時間や絞りなど）を設定して撮像を指示する。カメラ４は検査対象物のカラー画像の画像データを記憶装置５２０に格納する。プロセッサ５１０は記憶装置５２０からカラー画像の画像データを読み出す。

Ｓ１４０９でプロセッサ５１０（変換部５６４）は登録色と検査対象物のカラー画像とに基づき検査画像を作成する。検査画像は検査ツールごとに異なってもよい。たとえば、変換部５６４は色空間における前景領域の登録色（前景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（前景画像）に変換してもよい。また、変換部５６４は色空間における背景領域の登録色（背景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（背景画像）に変換してもよい。これらの画像はさらに二値化などのさらなる画像処理が施されてもよい。また、プロセッサ５１０（変換部５６４）は、前景画像と背景画像との差分画像を検査画像として作成してもよい。

Ｓ１４１０でプロセッサ５１０（検査部５３１）は検査画像に対して検査ツールを適用して画像検査を実行する。一例として、検査対象物が樹脂板に設けられた金属端子であり、検査部５３１が備えるエリア検査ツールにより金属端子の面積と、その周囲の面積を求めることを考える。前景色は金属端子の代表色であり、背景色は樹脂板の代表色である。検査部５３１は、前景画像を二値化することで樹脂板の色を白に変換し、金属端子の色を黒に変換し、黒の画素の数をカウントすることで金属端子の面積を算出する。同様に、検査部５３１は、背景画像を二値化することで樹脂板の色を黒に変換し、金属端子の色を白に変換し、黒の画素の数をカウントすることで金属端子の周囲の樹脂板の面積を算出する。判定部５４０は金属端子の面積を公差などの閾値と比較して合否を判定する。また、判定部５４０は金属端子の周囲の面積を公差などの閾値と比較して合否を判定する。

＜まとめ＞
以上で説明したように取得部５６１や画像選択部５１５は各画素が多次元の色情報を有するカラー画像を取得する取得部の一例である。また、取得部５６１や画像選択部５１５は検査対象物についての分光画像を取得する取得部の一例である。カラー画像は、たとえば、検査対象物（ライン１を搬送されるワーク２）や設定対象物（ワーク２の良品やリファレンス品）の画像であり、複数の分光画像のうちの一つの分光画像（例：ＵＶ画像）や、複数の分光画像から合成されて生成されたトゥルーカラー画像やグレー画像であってもよい。ＵＩ管理部５１４や表示部７は取得部５６１などにより取得された分光画像などを表示する表示部の一例である。領域指定部５１６は表示部７に表示された分光画像において複数の画素を含む領域の指定を受け付ける。クラスタリング部５６２は領域指定部５１６により指定された各領域に含まれる複数の画素の色空間座標における位置に応じて、分光画像を構成する各画素を、複数のクラスタのうちのいずれかのクラスタに所属させる。図８ではクラスタ化領域８０２が一つだけ指定されているが、複数のクラスタ化領域８０２が指定されてもよい。この場合に、クラスタリング部５６２は複数のクラスタ化領域８０２のそれぞれについてクラスタリングを実行する。フォルスカラー画像生成部５６３は複数のクラスタのそれぞれについて代表色を決定し、分光画像を構成する各画素の色を、各画素が属するクラスタの代表色に変換することでフォルスカラー画像を生成する。代表色は、平均色など、そのクラスタを構成する複数の画素の色を代表する色であればよい。抽出色指定部５１７は表示部７に表示されたフォルスカラー画像において抽出対象となる抽出色の指定を受け付ける。元のカラー画像におけるクラスタ内の各画素の色は一様でないことが多い。そのため、ユーザがどの画素をスポイトで選択するかに依存して抽出色がばらつく。一方で、フォルスカラー画像においてクラスタに属する各画素の色はいずれも同じ色であるため、抽出力のばらつきが生じない。変換部５６４は検査対象物の分光画像の各画素の色と抽出色との、色空間内での距離に基づいて分光画像の各画素の色情報を一次元の色情報に変換することでグレー画像（検査画像）を生成する。たとえば、ＲＧＢ色空間の色情報がグレー（濃淡）のみの色空間の色情報に変換される。検査ツールに依存してさらに二値化処理やエッジ抽出処理などの画像処理が追加で実行されてもよい。検査部５３１は変換部５６４により生成された検査画像を用いて画像検査を実行する。このような本実施形態によればフォルスカラー画像を用いることで、抽出色の指定に関するユーザの負担が軽減される。また、色抽出のばらつきが小さくなるため、画像検査の結果のばらつきも小さくなる。

画像検査装置８は複数のクラスタの数の指定を受け付けるクラスタ数指定部５１８をさらに有していてもよい。クラスタリング部５６２は、クラスタ数指定部５１８により指定された数のクラスタのうちのいずれかに、分光画像を構成する各画素を所属させる。これによりクラスタ数についてユーザの意思を反映させることが可能となる。

図１０などに関連して説明したように、抽出色指定部５１７は、フォルスカラー画像において前景領域の色である前景色と背景領域の色である背景色とのうち少なくとも一方の指定を受け付ける前景背景指定部を有していてもよい。変換部５６４は前景色に基づいて分光画像を、検査画像の一つである前景画像に変換してもよい。変換部５６４は背景色に基づいて分光画像を、検査画像の一つである背景画像に変換してもよい。検査部５３１は前景画像と背景画像とを用いて検査対象物の合否を判定するように構成されてもよい。検査ツールによってはワーク２の画像を前景画像と背景画像とに分割し、前景画像と背景画像との差分画像などを求めて画像検査を実行することがある。この場合に抽出色指定部５１７は前景領域の指定を受け付けて前景領域から前景色を抽出したり、または、表示されている画像に対して前景色の指定を受け付けたりしてもよい。背景色に関しても同様である。たとえば、図１０に示したように、前景背景指定部は、前景色の指定と背景色の指定とを個別に受け付けてもよい。また、前景背景指定部は、複数のクラスタの代表色のうち色空間において前景色に近い代表色を背景色に設定してもよい。一般に、背景色は前景色から分離される色であることが多く、背景色は前景色の近傍色であることも多い。つまり、色空間において前景色のクラスタの近傍に位置するクラスタの代表色が背景色となることが多い。よって、前景背景指定部は、色空間内でのクラスタ間のユークリッド距離を求めて比較することで、前景色の近傍色を自動的に背景色に決定してもよい。なお、図１０に示したように、前景背景指定部は、複数の前景色の指定を受け付けてもよい。たとえば、ワーク２に含まれている複数のエビの色は個体ごとに微妙に異なっていることがある。この場合に、複数のエビの色を複数の前景色として指定することで様々なエビの個体を画像検査により抽出することが可能となる。同様に複数の背景色が指定されてもよい。図１０に示したように、前景背景指定部は、複数の背景色の指定を受け付けてもよい。

図１１などに示したようにＵＩ管理部５１４や表示部７は、フォルスカラー画像における前景色の分布と、背景色の分布とを二次元または三次元の色空間に投影することで、前景色と背景色との分離の程度を表示してもよい。これによりユーザは前景色と背景色とが十分に分離されているかどうかを確認できる。図１３などに示したように調整部５１９は二次元の色空間における前景色の分布を囲む楕円の長軸と短軸とをユーザ操作に応じて調整してもよい。これにより、前景色と背景色との間の分離の程度を大きくすることが可能となる。たとえば、調整部５１９は、直軸と短軸の調整量に応じて登録色の色情報の一つである分散共分散行列Σにおける明度スケールと色度スケールを調整する。分散共分散行列Σは明度の行列ＹＹ^Ｔと色度行列ＺＺ^Ｔとに分解できる。さらに、スケールを導入すると、Σ＝ｓｙ・ＹＹ^Ｔ＋ｓｚ・ＺＺ^Ｔと表現できる。したがって、明度スケールである係数ｓｙと色度スケールである係数ｓｚを個別に調整することで、分散共分散行列Σにおける明度と色度を個別に調整することが可能となる。

フォルスカラー画像生成部５６３は、調整部５１９により調整された楕円の長軸の調整量と短軸の調整量とに応じてグレー画像を再生成する。調整部５１９は、再生成（更新された）グレー画像を画像表示領域８０１に表示してもよい。これによりユーザはグレー画像を確認しながら調整量を決定できるようになる。

図１０や図１１などに関連して説明したように、ラジオボタン１０１２、１０１４やポインタ７０６などは表示部７に表示されたフォルスカラー画像において複数のクラスタのうちいずれかのクラスタの代表色を注目色として指定する注目色指定部の一例である。たとえば、ラジオボタン１０１２、１０１４やポインタ７０６などは、フォルスカラー画像における前景領域の色である前景色と背景領域の色である背景色を含む複数の登録色から注目色を指定する注目色指定部の一例である。これによりユーザは任意の登録色を注目色や比較色に指定することが可能となる。調整部５１９は、表示部７に表示された、二次元または三次元の色空間に投影された注目色の分布を囲む楕円の長軸、短軸および分布の中心座標のうち少なくとも一つを調整する。また、表示部７は、注目色の色分布とともに、注目色と比較される比較色の色分布も表示してもよい。注目色指定部は、注目色として前景色が指定されると、比較色として背景色の指定を受け付けるように構成されていてもよい。また、注目色指定部は、注目色として背景色が指定されると、比較色として前景色の指定を受け付けるように構成されていてもよい。上述したように、比較色は注目色に基づいて自動的に選択されてもよい。

２...ワーク、３...照明装置、４...カメラ、５...画像処理装置、５１０...プロセッサ、５１１...ＭＳＩ処理部、５１２...照明制御部、５１３...撮像制御部、５３１...検査部

Claims

互いに異なる波長の照明光を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部と、
前記各波長の照明光ごとに検査対象物からの反射光を受光して複数の分光画像を取得する撮像部と、
前記撮像部により取得された複数の分光画像から生成されたカラー画像、および分光画像を表示する表示部と、
前記表示部に表示されたカラー画像、または分光画像において複数の画素を含む領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された各領域に含まれる複数の画素の色空間座標における位置に応じて、前記分光画像を構成する各画素を、複数のクラスタのうちのいずれかのクラスタに所属させるクラスタリング部と、
前記複数のクラスタのそれぞれについて代表色を決定し、前記分光画像を構成する各画素の色を、各画素が属するクラスタの代表色に変換することでフォルスカラー画像を生成するフォルスカラー画像生成部と、
前記表示部に表示されたフォルスカラー画像において抽出対象となる抽出色の指定を受け付ける抽出色指定部と、
前記分光画像の各画素の色と前記抽出色との色空間内での距離に基づいて前記分光画像をグレー画像に変換する変換部と、
前記変換部により生成されたグレー画像を用いて画像検査を実行する検査部と
を有することを特徴とする画像検査装置。
前記複数のクラスタの数の指定を受け付けるクラスタ数指定部をさらに有し、
前記クラスタリング部は、前記クラスタ数指定部により指定された数のクラスタのいずれかに前記分光画像を構成する各画素を所属させることを特徴とする請求項１に記載の画像検査装置。
前記抽出色指定部は、前記フォルスカラー画像において前景領域の色である前景色と背景領域の色である背景色とのうち少なくとも一方の指定を受け付ける前景背景指定部を有し、
前記変換部は前記前景色に基づいて前記分光画像を前景画像に変換するとともに、前記背景色に基づいて前記分光画像を背景画像に変換するように構成されており、
前記検査部は前記前景画像と前記背景画像とを用いて前記検査対象物の合否を判定するように構成されていることを特徴とする請求項１または２に記載の画像検査装置。
前記前景背景指定部は、前記前景色の指定と前記背景色の指定とを個別に受け付けることを特徴とする請求項３に記載の画像検査装置。
前記前景背景指定部は、前記複数のクラスタの代表色のうち色空間において前記前景色に近い代表色を前記背景色に設定することを特徴とする請求項３に記載の画像検査装置。
前記前景背景指定部は、複数の前景色の指定を受け付けることを特徴とする請求項３ないし５のいずれか一項に記載の画像検査装置。
前記前景背景指定部は、複数の背景色の指定を受け付けることを特徴とする請求項３または４に記載の画像検査装置。
前記表示部は、前記フォルスカラー画像における前記前景色の分布と、前記背景色の分布とを二次元または三次元の色空間に投影することで、前記前景色と前記背景色との分離の程度を表示することを特徴とする請求項３ないし７のいずれか一項に記載の画像検査装置。
前記二次元の色空間における前記前景色の分布を囲む楕円の長軸と短軸とを調整する調整部をさらに有することを特徴とする請求項８に記載の画像検査装置。
前記変換部は、前記調整部により調整された前記楕円の長軸の調整量と短軸の調整量とに応じて前記グレー画像を再生成することを特徴とする請求項９に記載の画像検査装置。
前記フォルスカラー画像における前景領域の色である前景色と背景領域の色である背景色を含む複数の登録色から注目色を指定する注目色指定部と、
前記表示部は、二次元または三次元の色空間に投影された前記注目色の色分布とともに、前記注目色と比較される比較色の色分布を表示することを特徴とする請求項１に記載の画像検査装置。
前記注目色指定部は、前記注目色として前記前景色が指定されると、前記比較色として前記背景色の指定を受け付けるように構成されていることを特徴とする請求項１１に記載の画像検査装置。
前記注目色指定部は、前記注目色として前記背景色が指定されると、前記比較色として前記前景色の指定を受け付けるように構成されていることを特徴とする請求項１１に記載の画像検査装置。