JP6917762B2

JP6917762B2 - 画像検査装置

Info

Publication number: JP6917762B2
Application number: JP2017093358A
Authority: JP
Inventors: 木戸　学; 学木戸
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2021-08-11
Anticipated expiration: 2037-05-09
Also published as: JP2018189560A; US20180330489A1

Description

本発明は、マルチスペクトルイメージングを用いた画像検査装置に関する。

商品（ワーク）が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。

特開平０９−１２６８９０号公報

ところで所望の色情報は、カメラ側のカラーフィルタによる波長の選別または照明光の波長の選択により実現される。たとえば、前者は、白色光源により白色光をワークに照射し、ワークからの反射光のうち所望の波長の反射光を分光光学系により選択する。これは、それぞれ通過波長の異なる複数のカラーフィルタを備えた撮像素子を用いることで実現されてもよい。ＲＧＢのカラーフィルタを用いれば、Ｒ画像、Ｇ画像およびＢ画像が得られる。後者は、たとえば、赤色ＬＥＤにより赤色の照明光をワークに照射することでＲ画像を取得し、緑色ＬＥＤにより緑色の照明光をワークに照射することでＧ画像を取得し、青色ＬＥＤにより青色の照明光をワークに照射することでＢ画像を取得する。後者の撮像手法はマルチスペクトルイメージングと呼ばれており、基本的に、各色のＬＥＤは択一的に点灯される。さらに多数の波長の異なる光源を採用すれば、多数の分光画像が得られるため、微妙な色差も判別可能となる。

このように波長が異なる複数の光源を備えた画像検査装置は、照明光の波長を変えながら多数の分光画像を取得する。そのため、一つ目の画像から最後の画像を取得するまでに長時間を要する。一般にワークはベルトコンベイヤーによって搬送されながら検査されるため、一つ目の画像におけるワークの位置と最後の画像におけるワークの位置はずれてしまう。ワークの位置を補正せずに、多数の分光画像から検査用画像を生成すると、正しい検査用画像が得られず、画像検査の精度が低下しうる。そこで、本発明は、波長（点灯色）が異なる複数の光源を備えた画像検査装置において移動するワークについての画像検査の精度を向上させることを目的とする。

本発明は、たとえば、
検査領域を一方向に移動するワークの外観を検査するための画像検査装置であって、
互いに異なる３つ以上の点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を対象物に照射する照明部と、
一つ以上の点灯色の照明光ごとに前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することでそれぞれ点灯色が異なる複数の照明光を対象物に照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の検査用画像を一定の時間間隔で生成させるとともに、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された画像を第一の移動補正用画像とし、当該第一の移動補正用画像よりも後に、前記第一の移動補正用画像と同一の点灯色の照明光の下で取得され、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された第二の移動補正用画像を生成させる制御部と、
前記第一の移動補正用画像と、前記第二の移動補正用画像とのそれぞれについて特徴パターンの位置をサーチするサーチ部と、
前記第一の移動補正用画像における前記特徴パターンの位置と前記第二の移動補正用画像における前記特徴パターンの位置との変化量に基づき前記複数の検査用画像における各画素の座標の対応関係を補正する補正部と、
前記補正部により各画素の座標の対応関係が補正された前記複数の検査用画像に基づき前記対象物の画像検査を実行する検査部と、
前記制御部が前記照明部および前記撮像部を制御して、互いに異なる３つ以上の点灯色の照明光ごとに生成された前記対象物の画像を同時または切り替え可能に表示部に表示させながら、前記第一の移動補正用画像および前記第二の移動補正用画像を生成するための点灯色の選択を受け付けるＵＩ管理部と、を備え、
前記制御部は、前記ＵＩ管理部にて選択された点灯色の照明光により前記第一の移動補正用画像および前記第二の移動補正用画像を生成させることを特徴とする画像検査装置を提供する。

本発明によれば、点灯色が異なる複数の光源を備えた画像検査装置において移動するワークについての画像検査の精度が向上する。

画像検査装置を示す図照明装置を示す図照明装置を構成する部品を示す図照明装置の電気的な構成を示す図画像処理システムの機能を示す図マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図ワークが移動することの問題点を説明する図マルチスペクトルイメージングにおける移動補正の原理を説明する図移動補正に関するユーザインタフェースを示す図移動補正に関するユーザインタフェースを示す図移動補正に関するユーザインタフェースを示す図画像検査を示すフローチャート点灯パターンを示す図画像処理システムの機能を示す図画像処理システムの機能を示す図画像処理システムの機能を示す図照明装置を示す図

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１は外観検査システム（画像検査装置）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。ワーク２は検査領域を一方向に移動する。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査用画像を用いて画像検査を実行する検査部を有する検査装置である。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査用画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。

＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。

図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。

制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施例では四方向から照明光を照射するために４つのＬＥＤ基板３２が設けられている。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージングだけでなく、フォトメトリックステレオのために利用されてもよい。１つのＬＥＤ基板３２には４つのＬＥＤ３３が配置されているものとする。これにより光源群は１６個の発光素子により構成されている。ただし、より多数の発光素子が設けられてもよい。たとえば、一つのＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った２つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った２つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った２つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った２つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。

図１６は照明装置３の模式平面図である。照明装置３のＬＥＤ基板３２の上には互いに異なる波長の光を発する複数のＬＥＤ３３が環状に配置されている。制御基板３１に設けられた照明制御基板（図４）は同一波長の複数のＬＥＤ３３を同時に点灯させる。同一波長の複数のＬＥＤ３３はＬＥＤ基板３２上にそれぞれ等間隔に配置されている。各波長の複数のＬＥＤ３３が同時に点灯することで、ワーク２の斜め上方から略均一な照明光がワーク２に照射される。これにより、カメラ４は照射方向に依存しない各波長に対応したワーク２の全方向照明画像を撮影することができる。

照明装置３はそれぞれ複数のＬＥＤ３３を有する４つの照明ブロックＴＢ１〜ＴＢ４から構成されている。各照明ブロックには互いに異なる波長の光を発する複数のＬＥＤ３３が配置される。各照明ブロックには、照明装置３が有する全ての波長種別のＬＥＤ３３が含まれている。各照明ブロックには光量フィードバック制御用の受光素子ＰＤ１〜ＰＤ４が配置されている。照明制御基板は受光素子ＰＤ１〜ＰＤ４が受光した光の受光量に基づいて、各照明ブロックの光量が予め設定された光量に維持されるように、各ＬＥＤ３３に流す電流値を制御する。

各波長のＬＥＤ３３は各照明ブロック内において同数かつ等間隔に配置される。図１６が示す例では、各照明ブロックには８波長のＬＥＤ３３がそれぞれ１つずつ等間隔に配置されている。各照明ブロックが同一波長のＬＥＤ３３を２つ以上備えてもよい。この場合、波長数の倍数、例えば１６個（８波長×２個）、２４個（８波長×３個）、あるいは３２個（８波長×４個）のＬＥＤ３３が各照明ブロックに設けられる。同一波長の複数のＬＥＤ３３は各照明ブロック内において等間隔に配置される。上述したＬＥＤ３３の配置は全ての照明ブロックで共通である。複数の照明ブロックを環状に配置することでリング型の照明が構成される。つまり、同一波長のＬＥＤ３３が環状に等間隔に配列される。

照明制御基板は、照明装置３を波長単位で個別に点灯制御することができる。単一波長、例えば赤色のＬＥＤ３３が点灯される場合、照明制御基板は、全ての照明ブロックに含まれる赤色のＬＥＤ３３を同時に点灯させる。照明制御基板は各波長のＬＥＤ３３を順次に点灯させることにより、ワーク２に対して異なる波長の光を順次に照射することができる。また、照明制御基板は、各照明ブロックを個別に点灯制御することもできる。例えば、照明制御基板は照明ブロックＴＢ１に含まれるＬＥＤ３３を点灯させ、照明ブロックＴＢ２〜ＴＢ４に含まれるＬＥＤ３３を消灯させてもよい。また、照明制御基板は、照明ブロックＴＢ１からＴＢ４を順次に点灯させることもできる（ＴＢ１−＞ＴＢ２−＞ＴＢ３−＞ＴＢ４）。照明制御基板が点灯させる照明ブロックを切り替えることにより、それぞれ異なる方向から照明されたワーク２についての複数の輝度画像が取得され、検査に用いられてもよい。更に、照明制御基板は、波長単位および照明ブロック単位でＬＥＤ３３を個別に点灯制御することもできる。照明制御基板は、例えば、照明ブロックＴＢ１に含まれる赤色のＬＥＤ３３のみを点灯させることができる。

このように、照明装置３は各波長単位でＬＥＤ３３を点灯制御することで、異なる波長の光をワーク２に照射する。また、各照明ブロック単位でＬＥＤ３３を点灯制御することで、異なる照射方向から光をワーク２に照射することができる。

制御基板３１には単色のＬＥＤ３３だけではなく、複数の波長の光が混じりあった白色光を出射する白色ＬＥＤ３３を配置してもよい。照明制御基板は白色ＬＥＤ３３のみを選択的に点灯させることで、通常の白色リング照明と同じように本実施の形態における照明装置３を機能させてもよい。更に、照明制御基板は全ての波長のＬＥＤ３３を同時に点灯させて、ワーク２に対して実質的に白色光を照射することもできる。

本明細書において、照明制御基板が単色波長の照明光をワーク２に照射して得られた画像は分光画像と呼ばれる。また、全ての波長のＬＥＤ３３を点灯させるか、白色ＬＥＤ３３を点灯させて得られた画像は分光画像とは区別され、白色画像と呼ばれる。分光画像と白色画像は輝度画像と総称されうる。輝度画像の各画素はカメラ４から得られた輝度値を示す。

各照明ブロックにはそれぞれ照明制御基板が設けられている。各照明ブロックが同一波長の複数のＬＥＤ３３を含む場合、各照明制御基板には同一波長のＬＥＤ３３が直列に接続され、異なる波長のＬＥＤ３３が並列に接続されている。

＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する４つの照明ブロックのうち１つの照明ブロックを示しており、各照明ブロックは同一波長のＬＥＤが４つ（ＬＥＤ３３ａ〜ＬＥＤ３３ｄ）設けられている。４つのＬＥＤ３３ａ〜ＬＥＤ３３ｄは直列に接続されている。異なる波長のＬＥＤが同様に直列接続されたものが、図４の回路構成と並列に接続されているが、図４からは省略してある。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ〜２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ〜１Ａ）となるようにＬＥＤグループに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ〜スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ〜スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ〜スイッチ４３ｄを接続することで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのいずれか１つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで１つのＬＥＤグループ単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ〜スイッチ４３ｄを制御する。

＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で１つのセグメントが構成され、さらに複数のセグメントによって光源群５０１が構成されていてもよい。セグメントの数は一般的には４つであるが、３つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各セグメントにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

照明装置３には記憶装置５０２が内蔵されており、ユーザにより設定された光源群５０１の点灯タイミングや照明パターンが記憶されている。照明制御基板４０は、画像処理装置５からトリガー信号を受け取り、記憶装置５０２に記憶されている内容に応じて、光源群５０１を制御することができる。このような構成により、画像処理装置５は、トリガー信号を送信するだけで照明装置３を制御することができるので、画像処理装置５と照明装置３を接続する信号線の数を少なくすることができ、ケーブルの取り回しがよくなる。

より具体的には、記憶装置５０２は、各波長の光源群５０１の点灯タイミング情報（点灯時間、点灯間隔）、照明強度情報、照明パターン情報（点灯させる波長の識別情報）、照明ブロック情報（点灯させるブロックの識別情報）を含む照明設定データを記憶している。この照明設定データはいずれも、照明設定用のユーザインタフェースを表示部７に表示し、ユーザによる調整を照明設定手段が受け付ける。

点灯タイミング情報とは、各波長に対応する光源群を周期的に点灯させる際の各波長の点灯タイミングを規定する情報であり、各波長の光源群を点灯させる点灯時間（パルス幅）と、点灯させる波長を切り替える際に、前の波長の光源群を消灯させてから次の波長の光源群を点灯させるまでの点灯間隔（インターバル）とからなる。例えば、ユーザが赤色と緑色の光を発する光源群を用いて検査を行う場合、赤色波長の光源群の点灯時間、緑色波長の光源群の点灯時間と、両点灯時間の間隔をユーザが設定できる。点灯時間の設定は、ユーザが各波長の点灯時間を個別に設定できるようにしてもよいし、全ての波長において共通としてもよい。点灯間隔の設定は、ユーザが直接点灯間隔を指定するようにしてもよいし、検査に用いる全ての波長の光源群を順次点灯させる１つの点灯サイクルの長さと、各波長の点灯時間とから、点灯間隔が自動的に算出されるようにしてもよい。

照明強度情報とは、各波長の照明強度を示す情報である。本実施の形態では、各波長の照明強度を個別に設定することができるため、各波長で最適な照明強度でワークに光を照射することができる。

照明パターン情報とは、点灯させる波長の種別を示す識別情報であり、各点灯タイミングにおいて、どの波長に対応した光源群を点灯させるべきかを決定する情報である。例えば、ユーザが赤色と緑色と紫色の３色を用いて検査を行う設定を行っている場合、記憶装置５０２は、これらの３波長を示す識別情報を各点灯タイミング（点灯パルス）の情報と関連付けて記憶する。記憶装置５０２は、例えば、最初の点灯パルスでは赤色の光源群を点灯させ、次の点灯パルスでは緑色の光源群を点灯させ、最後の点灯パルスでは紫色の光源群が点灯されるように、照明パターン情報を点灯タイミング情報と関連付けて記憶している。照明パターン情報には、点灯波長の順序を示す情報が含まれていてもよい。上記の例では、赤、緑、紫の順序がユーザにより設定されてもよいし、予め設定可能な波長の点灯順序は固定して決められていてもよい。画像処理装置５の記憶装置５２０は照明パターン情報を照明装置３と共有する。上記の例では、最初に取得した画像を赤色波長で得られた画像として処理し、次に取得した画像を緑色波長で得られた画像として処理し、最後に取得した画像を紫色波長で得られた画像として処理する。

照明ブロック情報とは、点灯させる照明ブロックの識別情報である。本実施の形態では、波長単位での点灯を個別に制御できることに加えて、照明ブロック単位での点灯を個別に制御できる。ユーザは、点灯させる照明ブロックを任意に選択することにより、偏斜照明による検査が実行できる。また全ての照明ブロックを順次に点灯させて、異なる照明方向から光を照明して得られた複数の輝度画像に基づいて、フォトメトリックステレオの原理を用いた形状画像を生成することもできる。ユーザが点灯させる照明ブロックの順序を設定することもできる。各点灯タイミングにおいて点灯させる照明ブロックを任意に指定できるようにしてもよいし、点灯の回転方向（時計回り、または反時計回り）が固定されており、最初に点灯する照明ブロックをユーザが指定できるようにしてもよい。

上記の照明設定手段による照明設定データは、照明装置３に接続されたＰＣ（パーソナルコンピュータ）などの入力部から設定されてもよいし、照明装置３に接続された画像処理装置５から設定されてもよい。また、画像処理装置５とは別体に設けられた照明用のコントローラを介して照明装置３が設定を受け付けてもよい。また、カメラ４、照明装置３、画像処理装置５が一体に設けられた検査装置の場合は、入力部６を介して検査装置に直接照明の設定を行うことも可能である。

上記の例では、記憶装置５０２は照明装置３に設けられているが、画像処理装置５に設けられていてもよい。また照明装置３とカメラ４が一体に設けられている場合は、カメラ４に設けられていてもよい。照明装置３、カメラ４、画像処理装置５が一つのハウジングに一体に設けられた検査装置の場合は、ハウジング内に記憶装置５０２が設けられる。

カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像を生成する撮像部として機能する。

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像から検査画像を作成したりする。すなわち、照明制御部５１２は照明装置３に照明開始のトリガー信号を送信する。撮像制御部５１３は、照明制御部５１２から発せられるトリガー信号と同期した撮像開始のためのトリガー信号をカメラ４に送信し、カメラ４を制御する。

ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４はマルチスペクトルイメージングや移動補正に関する制御パラメータを設定するためのＵＩを表示部７に表示する。画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。領域指定部５１６は表示された画像に対して検査ツールの検査領域（測定領域）、パターン領域ＰＷ、サーチ領域ＳＷ、追跡領域ＴＷなどの指定をユーザから受け付ける。なお、パターン領域ＰＷや追跡領域ＴＷは移動補正のための特徴パターンを登録するための領域である。サーチ領域ＳＷは特徴パターンがサーチされる領域である。また、領域指定部５１６は、これらの指定領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて指定領域を示す枠線の形状をＵＩに反映させたりする。点灯色設定部５１７は、ユーザの指示に従って移動補正用の照明光の波長を設定する。ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。

画像処理部５３０はマルチスペクトルイメージングにより取得された検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。移動補正部５３３は、移動補正用の画像から見つかった特徴の位置の変化量に基づきマルチスペクトルイメージング用の複数の分光画像の座標系またはワーク２の座標（位置）を補正する。この補正作業は、補正のための変換式（補正式）を作成する工程と、変換式を用いて座標を変換する工程とに分かれていてもよい。これらの二つの工程はいずれも移動補正部５３３により実行されてもよいし、前者が移動補正部５３３により実行され、後者がＭＳＩ処理部５１１により実行されてもよいし、両者ともがＭＳＩ処理部５１１により実行されてもよい。なお、画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。たとえば、移動補正に関する一部の演算を画像処理部５３０が担当し、残りの演算をプロセッサ５１０が担当してもよい。

判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

記憶装置５２０は、カメラ４によって取得された分光画像のデータである分光画像データ５２１、ＭＳＩ処理部５１１により生成されたグレー画像のデータであるグレー画像データ５２２や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。

図１３ないし図１５は、本発明の画像処理装置に係る他の構成例を示す図である。図１３は照明装置３とカメラ４が一体化され、カメラ４に照明装置３を制御するための照明制御基板４０が設けられている例を示す図である。この構成では照明装置３とカメラ４が一体に設けられているため、照明装置３とカメラ４を設置する際に、位置合わせをする必要がない。また、照明装置３側には光源群５０１を制御するための照明制御基板４０や記憶装置５０２は不要となり、これらを有さない汎用的な照明装置３も利用することができる。ユーザはカメラ４に接続されている照明装置３を取り外し、別の種類の照明装置に交換することができる。例えば、本発明におけるマルチスペクトルイメージングに用いる照明装置３に変えて、白色光のみを照射するリング照明など他の種類の照明装置を適宜に選択できる。カメラ４は接続された照明装置３の種類を認識し、設定ユーザインタフェースに反映することが好ましい。これにより、ユーザは接続されている照明装置３に設定が可能な項目に対応したユーザインタフェース上で、照明の設定を行うことができる。認識の方法としては、照明装置３が照明種別情報を記憶しており、カメラ４がその情報を参照する方法などが考えられる。また、画像処理装置５が有する照明制御部５１２と撮像制御部５１３を、カメラ４の内部に設ける構成とし、撮像・照明系の制御を画像処理装置５とは独立して実行させる構成としてもよい。

図１４は画像処理装置５の一部の機能を、カメラ４側に設けた構成例を示している。カメラ４は分光画像データ５２１、グレー画像データ５２２、設定情報５２３を記憶する記憶装置５０２を備え、カメラ４内部で分光画像データ５２１からグレー画像データ５２２を生成する処理をＭＳＩ処理部５１１が実行する。照明装置３はカメラ４の照明制御部５１２が制御する。検査設定時に、カメラ４は画像処理装置５に各波長で撮像された分光画像データ５２１と、ＭＳＩ処理部５１１により生成されたグレー画像データ５２２を画像処理装置５に送信する。設定時には、各波長の照明強度や、各波長の分光画像データ５２１が検査に必要か否かをユーザが確認するために、画像処理装置５はカメラ４から分光画像データ５２１を取得し、表示部７に表示する。一方、検査運用時には、カメラ４から画像処理装置５への分光画像データ５２１の送信を行わず、検査対象であるグレー画像データ５２２のみを画像処理装置５に送信するようにしてもよい。このように、カメラ４に画像処理装置５の一部の機能を負担させることにより、カメラ４と画像処理装置５間の通信負荷が低減され、分散処理により処理が高速化する。なお、グレー画像データ５２２をカメラ４で生成するためにサーチ部５３２や移動補正部５３３がカメラ４に設けられてもよい。

図１５は画像処理装置５の全ての機能をカメラ４に内蔵した構成例である。ユーザはカメラ４と照明装置３のみを設置するだけで良いため、設置時の手間がかからない。たとえば、カメラ４の大型化が許容され、高度な画像演算処理が不要な場合に、この構成は有利であろう。

＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像が取得される。たとえば、８種類の波長の照明光が照射される場合、８個の画像（分光画像）が取得される。８種類の波長は、紫外波長から近赤外波長までの８種類の狭帯域波長である。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク２に照射される。一般に、８個の画像がそのまま画像検査に利用されることは少なく、８個の画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。

図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。

まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。なお、色情報は、いわゆるスポイトツールにより抽出されてもよい。スポイトツールのＵＩは領域指定部５１６に実装されてもよい。

次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、必要に応じてオフセットaを加え、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。これは、Ｇ＝Ｇｍａｘ − （ｇ・ｄ（ｘ）＋ａ）と表記される。

なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成される。

＜移動補正＞
マルチスペクトルイメージングでは多数の点灯色の照明光が一つずつワーク２に照射されて、多数の分光画像が生成される。たとえば、図７が示すようにＵＶからＩＲ２までの８種類の点灯色の照明光が順次にワーク２に照射されて８枚の分光画像が得られ、８枚の分光画像を合成することで一枚のグレー画像が作成される。ワーク２がライン１を搬送される場合、一枚目のＵＶ画像におけるワーク２の位置と８枚目のＩＲ２画像におけるワーク２の位置はずれている。点灯色の数が増加するほど、また、ライン１の搬送速度が増加するほど、ワーク２の位置のずれ量は大きくなる。このずれを無視してグレー画像Ｇ１を作成すると、正しいグレー画像が得られないため、画像検査の精度が低下してしまう。従って、ワーク２について移動補正を行ってからグレー画像が作成されれば、正しいグレー画像が作成される。

図８は移動補正の概念を示している。この例では、マルチスペクトルイメージング用の８種類の分光画像を取得する前と取得した後に移動補正のための画像ＭＣ１、ＭＣ２が取得される。ライン１におけるワーク２の搬送速度は一定であるため、各画像内でのワーク２の位置は線形の軌跡を描く。従って、各分光画像におけるワーク２を構成する画素の座標の対応関係（ｘ方向のずれ量とｙ方向のずれ量）を求めておけば、各分光画像におけるワーク２の位置を重ねて、グレー画像Ｇ２を作成することができる。

より具体的には、補正画像ＭＣ１、ＭＣ２においてワーク２の特徴ｆがパターンサーチにより検知され、それぞれ特徴ｆの位置ｐ１、ｐ２が求められる。特徴ｆはパターンサーチにより検知可能な形状やエッジ（二つの特徴的なエッジ間の間隔）などであればよい。位置ｐ１、ｐ２の変化を示す直線の方程式を求めれば、各分光画像におけるワーク２の位置を補正することができる。つまり、各分光画像における座標系の対応関係を示す座標の変換式が決定される。

なお、ワーク２が線形に移動する場合は二つの移動補正用画像により移動補正が可能である。ワーク２が非線形に移動する場合は三つ以上の移動補正用画像が必要となる。ここでは、説明の簡明化のために、二つの移動補正用画像が使用されるケースが主に説明される。

●ユーザインタフェース
図９Ａ、図９Ｂおよび図１０は移動補正に関するパラメータを設定するためのユーザインタフェースを示している。図９Ａは設定モードにおいて登録パターンが登録されるパターンサーチモード（事前登録モード）の設定ＵＩを示している。図９Ａにおいて設定ＵＩ９００は、画像検査を実行する前に、ＵＩ管理部５１４によって表示部７に表示される。図９Ｂは運転モードにおいて登録パターンを動的に登録する追跡モードの設定ＵＩを示している。図９Ｂが示すように、追跡モードでは、移動補正の基準となる特徴パターンが、画像検査を実行する運転モードにおいて登録される。ＵＩ管理部５１４は、設定ＵＩ９００のうち特徴パターンの登録ＵＩを運転モードにおいて表示部７に表示する。ユーザは運転モードにおいて登録パターンを抽出するための追跡領域ＴＷを配置（設定）する。これにより追跡領域ＴＷ内の特徴が抽出される。図９Ａと図９Ｂにおいて共通する事項には同一の参照符号が付与されている。

画像選択ボタン９０２は、画像表示領域９０１に表示される画像を選択するためのＵＩであり、画像選択部５１５に選択結果を渡す。

図９Ａ、図９ＢにおいてＣは複数の分光画像から合成して作成されたカラー画像を示している。ＡＬは８種類あるすべての分光画像を示している。

ＡＬがポインタ９０６によって操作されると、図１０が示すように、画像選択部５１５はすべての分光画像を並べて画像表示領域９０１に表示する。このように並べて表示された複数の分光画像の中から複数の移動補正用画像がポインタ９０６によりクリックされることで選択されてもよい。ＵＩ管理部５１４や設定ＵＩ９００は第一の移動補正用画像と第二の移動補正用画像との選択を受け付ける受付部として機能してもよい。

図９Ａ、図９Ｂおよび図１０においてＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。ＭＣ１は第一の移動補正用画像である。ＭＣ２は第一の移動補正用画像である。図９Ａ、図９Ｂにおいては画像表示領域９０１にはワーク２の画像が表示されている。

画像名の表示欄９１１は画像表示領域９０１に表示される画像の名称を表示するテキストボックスである。画像選択部５１５が画像の名称をテキストボックスに入力する。

図９Ａにおいて編集ボタン９１２はパターンサーチの対象となる特徴を含む領域であるパターン領域ＰＷのサイズと位置を編集するためのボタンである。

編集ボタン９１３は第一の移動補正用画像ＭＣ１において移動補正用の特徴ｆをサーチする範囲（サーチ領域ＳＷ）のサイズと位置を編集するためのボタンである。

図９Ｂにおいて編集ボタン９１４は第二の移動補正用画像ＭＣ２において移動補正用の特徴ｆを動的に登録するための範囲（追跡領域ＴＷ）のサイズと位置を編集するためのボタンである。なお、パターン領域ＰＷと追跡領域ＴＷとはそれぞれ移動補正ための特徴ｆを抽出する領域であり、機能としては共通している。

このようにワーク２の位置を検出するために利用される特徴ｆは設定モードにおいて事前登録されてもよいし、運転モードにおいて動的に登録されてもよい。

サーチ領域ＳＷやパターン領域ＰＷの登録は、原則として、設定モードにおいて実行される。これの編集ボタンがポインタ９０６によって押し下げられたことを検知すると、領域指定部５１６はポインタ９０６の動きに応じて各領域を設定する。また、画像処理部５３０は、パターン領域ＰＷまたは追跡領域ＴＷ内の特徴を抽出して設定情報５２３に書き込む。抽出される特徴は画像そのものであってもよいし、輪郭であってもよいし、複数のエッジであってもよい。

点灯色選択部９１５は移動補正用画像を取得するために使用される照明光の波長（点灯色）を選択するためのプルダウンメニューである。点灯色設定部５１７は点灯色選択部９１５のプルダウンメニューから選択された点灯色の識別情報を照明光用の点灯色を指定する識別情報として設定情報５２３に書き込む。

照明装置３が白色ＬＥＤを搭載している場合、点灯色選択部９１５において、照明光の点灯色として、白色ＬＥＤを示すＷが選択されうる。また、すべての点灯色の発光素子を点灯させることを意味するＡＬが点灯色選択部９１５において選択されてもよい。ＷまたはＡＬが選択されることで移動補正用の特徴のサーチが安定することが多い。なお、ＵＶからＩＲ２までのいずれかの狭帯域波長が選択される場合、移動補正用画像と検査用画像を作成するための分光画像とが兼用されてもよい。たとえば、ＵＶが選択されると、ＵＶ画像は移動補正用画像として使用されるだけでなく、検査用画像を作成するための要素画像としても使用される。これにより、取得される画像の数が削減され、移動補正に関する作業時間が短縮される。

編集ボタン９１６は詳細設定を編集するためのボタンである。詳細設定としては、複数ある移動補正手法のうちから一つの移動補正手法を選択すること、パターンサーチにおけるサーチ角度を設定することなどが含まれてもよい。確定ボタン９１７は、移動補正に関する設定を確定するためのボタンである。キャンセルボタン９１８は今回の設定を取り消し、直前の設定やデフォルト設定に戻すためのボタンである。

●フローチャート
図１１はプロセッサ５１０が実行する画像検査（運転モード）を示すフローチャートである。なお、ここでは移動補正のためのサーチモードはパターンサーチモードが適用されるものとする。そのため、移動補正に関する制御パラメータは設定モードにおいて既に決定されているものとする。なお、Ｓ１１０１ないしＳ１１０３の順番は、移動補正を実現できる限り、自由に入れ替え可能である。ただし、Ｓ１１０３はＳ１１０１の後に実行されるものとする。

Ｓ１１０１でプロセッサ５１０は第一の移動補正用画像を取得する。プロセッサ５１０は、設定情報５２３に従って第一の移動補正用画像の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。

照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第一の移動補正用画像を取得し、記憶装置５２０に書き込む。

Ｓ１１０２でプロセッサ５１０（ＭＳＩ処理部５１１）はマルチスペクトルイメージング用の分光画像を取得する。ＭＳＩ処理部５１１は設定情報５２３に従って照明光の点灯色を照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。

プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である分光画像を取得し、記憶装置５２０に書き込む。なお、分光画像は、原則として８種類の点灯色のすべてについて取得されてもよいし、一部の点灯色について取得されてもよい。分光画像を取得するために使用される点灯色は設定情報５２３に依存する。設定情報５２３により指定されたすべての分光画像が取得されると、プロセッサ５１０はＳ１１０３に進む。

Ｓ１１０３でプロセッサ５１０は第二の移動補正用画像を取得する。プロセッサ５１０は、設定情報５２３に従って第二の移動補正用画像の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第二の移動補正用画像を取得し、記憶装置５２０に書き込む。

Ｓ１１０４でプロセッサ５１０は画像処理部５３０に移動補正のためのパラメータを算出させ、当該パラメータを用いて各分光画像に移動補正を適用する。

たとえば、パターンサーチモードにおいて、移動補正部５３３は、サーチ部５３２に第一の移動補正用画像における特徴をサーチさせるとともに、第二の移動補正用画像における特徴をサーチさせる。なお、追跡モードで、移動補正部５３３は、第一の移動補正用画像から登録した特徴を第二の移動補正用画像においてサーチ部５３２にサーチさせる。移動補正部５３３は、第一の移動補正用画像における特徴の位置と第二の移動補正用画像における特徴の位置との変化量を算出する。

移動補正部５３３は、この変化量に基づき複数の分光画像における各画素の座標の対応関係を補正する。たとえば、ＵＶ画像におけるワーク２の座標と、ＩＲ１画像におけるワーク２の座標との対応関係とが求められる。求められた対応関係（座標変換式）を用いて各分光画像における座標を補正することで、図８に示したように各分光画像におけるワーク２の位置が重なり、正確なグレー画像が作成される。

Ｓ１１０５でプロセッサ５１０（ＭＳＩ処理部５１１）は移動補正された複数の分光画像を変換してグレー画像（検査用画像）を作成する。なお、グレー画像に対していくつかの画像処理が適用されて検査用画像が作成されてもよい。

Ｓ１１０６でプロセッサ５１０は検査部５３１に画像検査を実行させる。検査部５３１は、ＭＳＩ処理部５１１により作成された検査用画像に対して設定情報５２３により指定された検査ツールを用いて画像検査を実行する。判定部５４０は、検査部５３１から画像検査の結果を受け取り、ワーク２が良品条件を満たしているかどうかを判定する。

●点灯パターン
図８によれば、移動補正を行いながら分光画像を取得するための発光素子の点灯パターンの一例が示されている。この例によれば、第一の移動補正用画像に対して指定された点灯色の発光素子が点灯する。その後、ＵＶ、Ｂ、Ｇ、ＡＭ、ＯＲ、Ｒ、ＩＲ１、ＩＲ２の各発光素子が点灯する。最後に、第二の移動補正用画像に対して指定された点灯色の発光素子が点灯する。

図１２は６つの点灯パターンを示している。ここではマルチスペクトルイメージングには４つの点灯色Ｒ、Ｇ、Ｂ、Ｙが使用されるものとする。ＹはＲＧＢ以外のいずれかの点灯色である。ＭＣは移動補正用の共通の点灯色である。なお、図１２は複数の分光画像が等間隔（一定の時間間隔）で取得されることを暗示している。

ケース（１）、（２）は線形補正のため点灯パターンである。ケース（１）はマルチスペクトルイメージングの前後において移動補正用の点灯色の発光素子が点灯し、２つの移動補正用画像が取得されることを示している。ケース（２）はマルチスペクトルイメージングの前に移動補正用の点灯色の発光素子が点灯し、２つの移動補正用画像が取得されることを示している。

ケース（３）ないし（５）は非線形補正のための点灯パターンを示している。上述したように非線形補正を実行するためには少なくとも三つの移動補正用画像が必要となる。移動補正用画像の枚数が増加すればするほど、移動補正の精度が高まるが、撮像時間が長くなる。なお、ケース（３）、（５）のように移動補正用画像が分散して取得されると、移動補正の精度が高まるであろう。

ケース（６）は、マルチスペクトルイメージング用の分光画像を移動補正用画像として兼用するケースである。これによりトータルでの画像枚数が削減され、撮像時間が短縮される。つまり、短時間でより多くの画像検査を実行可能となる。

＜まとめ＞
図１などが示すように、照明装置３は、互いに異なる点灯色の照明光を発生する複数の発光素子（ＬＥＤ３３）を有し、各点灯色の照明光を個別に対象物（例：ワーク２の良品）に照射する照明部の一例である。

カメラ４は、一つ以上の点灯色の照明光ごとに対象物からの反射光を受光して対象物の画像を生成する撮像部の一例である。プロセッサ５１０（照明制御部５１２、撮像制御部５１３など）は照明装置３を制御することでそれぞれ点灯色が異なる複数の照明光を対象物に照射させるとともに、カメラ４を制御することでそれぞれ照明光の点灯色が同一または異なる複数の画像を生成させる制御部の一例である。なお、プロセッサ５１０は、撮像制御部５１３を介してカメラ４を制御し、カメラ４に複数の分光画像を一定の時間間隔で生成させる。このように、プロセッサ５１０は、照明部を制御することでそれぞれ点灯色が異なる複数の照明光を対象物に照射させるとともに、撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の検査用画像を一定の時間間隔で生成させるとともに、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された画像を第一の移動補正用画像とし、当該第一の移動補正用画像よりも後に、第一の移動補正用画像と同一の点灯色の照明光の下で取得され、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された第二の移動補正用画像を生成させる制御部として機能する。

サーチ部５３２は、複数の画像のうち同一の点灯色の照明光の下で取得された第一の移動補正用画像と、当該第一の移動補正用画像よりも後に生成された第二の移動補正用画像とのそれぞれについて特徴パターンの位置をサーチする。

ＭＳＩ処理部５１１や移動補正部５３３などは、第一の移動補正用画像における特徴パターンの位置と第二の移動補正用画像における特徴パターンの位置との変化量に基づき複数の画像における各画素の座標の対応関係を補正する。

検査部５３１は補正部により各画素の座標の対応関係が補正された複数の画像に基づき対象物の画像検査を実行する。たとえば、検査部５３１はＭＳＩ処理部５１１が複数の分光画像を合成することでグレー画像を生成し、グレー画像を用いて、またはグレー画像をさらに画像処理して得られる検査画像を用いて画像検査を実行する。

これにより、点灯色が異なる複数の光源を備えた画像検査装置において移動するワークについての画像検査の精度が向上する。

上述したように、第一の移動補正用画像を生成するために対象物に照射された照明光の点灯色と、第二の移動補正用画像を生成するために対象物に照射された照明光の点灯色とは同一の点灯色である。これにより、移動補正の精度が向上する。つまり、移動補正用の少なくとも２つの画像については同一の点灯色を使用することで照明条件が整合するため、特徴パターンが精度よく検出され、移動補正の精度が向上する。

なお、複数の画像のうち、第一の移動補正用画像と第二の移動補正用画像とを除いた残りの複数の画像を生成するために対象物に照射された照明光の点灯色はそれぞれ異なっている。このように、残りの複数の画像はマルチスペクトルイメージング用の分光画像であってもよい。

プロセッサ５１０は、第一の移動補正用画像と第二の移動補正用画像を生成する際に複数の発光素子を同時に点灯してもよい。これにより疑似的に白色光に近い照明光が実現される。つまり、白色光源を省略することができる。

もちろん、照明装置３は、さらに白色の照明光を発生する白色発光素子（白色ＬＥＤなど）を有していてもよい。プロセッサ５１０は、第一の移動補正用画像と第二の移動補正用画像を生成する際に白色発光素子を点灯する。白色光により明確化される特徴パターンもある。このような特徴については白色光が適している。

第一の移動補正用画像を生成するために対象物に照射された照明光の点灯色と、第二の移動補正用画像を生成するために対象物に照射された照明光の点灯色とは、それぞれ同一の狭帯域波長（狭波長帯域）に属する点灯色であってもよい。たとえば、第一の移動補正用画像と第二の移動補正用画像との双方がＵＶの照明光により取得されてもよい。

ただし、移動補正の精度が十分に確保できるのであれば、第一の移動補正用画像の点灯色と第二の移動補正用画像の点灯色とが異なっていてもよい。たとえば、第一の移動補正用画像と第二の移動補正用画像がそれぞれＩＲ１やＩＲ２などの照明光により取得されてもよい。

第一の移動補正用画像においても第二の移動補正用画像においてもサーチされるのは同一の特徴パターンである。そのため、同一または類似した点灯色が使用されると、特徴パターンのサーチ精度が向上しよう。

表示部７は複数の画像を並べて表示してもよい。ＵＩ管理部５１４は、表示部７に表示された複数の画像から第一の移動補正用画像と第二の移動補正用画像との選択を受け付ける受付部して機能してもよい。このように複数の画像が並べて表示されることで、ユーザは、移動補正用画像に適した画像を容易に選択できるようになろう。

ＵＩ管理部５１４や領域指定部５１６は、画像検査に関する設定を実行する設定モードにおいて、表示された対象物の画像に対してユーザにより指定された領域の特徴を特徴パターンとして登録する登録部として機能してもよい。画像検査を実行する運転モードにおいて、サーチ部５３２は、登録部により予め登録された特徴パターンをサーチする。このように特徴パターンは検査モード（運転モード）の前に実行される設定モードにおいて登録されてもよい。

ＵＩ管理部５１４は、設定モードにおいて生成された第一の移動補正用画像に対してユーザにより指定された領域の特徴を特徴パターンとして登録する。また、ＵＩ管理部５１４や領域指定部５１６は、設定モードにおいて生成された第一の移動補正用画像または第二の移動補正用画像に対してユーザにより指定されたサーチ領域を受け付けてもよい。サーチ領域の座標は、一般に、ワーク２の位置に依存しない座標であり、たとえば、画像の左上を基準とした座標である。この場合に、サーチ部５３２は、運転モードにおいて、サーチ領域内で特徴パターンをサーチする。

サーチ部５３２は、運転モードにおいて、第一の移動補正用画像のサーチ領域において特徴パターンをサーチするとともに、第二の移動補正用画像についても当該サーチ領域において特徴パターンをサーチする。

なお、特徴パターンは画像検査を実行する運転モードにおいて動的に登録されてもよい。ただし、特徴パターンをサーチするためのサーチ領域については設定モードにおいて設定される。

ＵＩ管理部５１４や領域指定部５１６は、画像検査が実行される運転モードにおいて動的に検査対象物の特徴が取得される追跡領域の指定を受け付ける領域受付部として機能する。ＵＩ管理部５１４や領域指定部５１６は、運転モードにおいて取得された第一の移動補正用画像の追跡領域内に存在する特徴を特徴パターンとして登録する登録部としても機能する。この時点で第一の移動補正用画像における特徴の座標が確定する。

さらに、サーチ部５３２は、運転モードにおいて取得された第二の移動補正用画像において、登録部により登録された特徴パターンをサーチする。これにより、第二の移動補正用画像における特徴の座標が確定する。つまり、線形補正に必要となるパラメータが確定する。

なお、領域受付部は、第一の移動補正用画像または第二の移動補正用画像とのうち当該第二の移動補正用画像に対してユーザにより指定された追跡領域を受け付けてもよい。この時点で第二の移動補正用画像における特徴の座標が確定する。

サーチ部５３２は、運転モードにおいて生成された第一の移動補正用画像において、登録部により登録された特徴パターンをサーチする。これにより、第一の移動補正用画像における特徴の座標が確定する。つまり、線形補正に必要となるパラメータが確定する。

第一の移動補正用画像は、複数の画像のうち最初に生成された画像であってもよい。また、第二の移動補正用画像は、複数の画像のうち最後に生成された画像であってもよい。このように、複数の分光画像を取得する前と後において移動補正用画像が取得されることで、移動補正の精度が向上しよう。これは、内挿による特徴の位置の推定精度は、外挿による特徴の位置の推定精度よりも高いからである。

サーチ部５３２は、さらに、第二の移動補正用画像よりも後に生成された第三の移動補正用画像について特徴パターンの位置をサーチしてもよい。移動補正部５３３は、第一の移動補正用画像における特徴パターンの位置と第二の移動補正用画像における特徴パターンの位置との変化量に基づき、第一の移動補正用画像から記第二の移動補正用画像までの複数の画像における各画素の座標の対応関係を補正する。また、移動補正部５３３は、第二の移動補正用画像における特徴パターンの位置と第三の移動補正用画像における特徴パターンの位置との変化量に基づき、第二の移動補正用画像から記第三の移動補正用画像までの複数の画像における各画素の座標の対応関係を補正する。このように３つ以上の移動補正用画像を使用することで、ワーク２の位置が非線形に変化するケースにおいても精度よく移動補正が実現されよう。

２...ワーク、３...照明装置、４...カメラ、５...画像処理装置、５１１...ＭＳＩ処理部、５１２...照明制御部、５１３...撮像制御部、５３１...検査部

Claims

検査領域を一方向に移動するワークの外観を検査するための画像検査装置であって、
互いに異なる３つ以上の点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を対象物に照射する照明部と、
一つ以上の点灯色の照明光ごとに前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することでそれぞれ点灯色が異なる複数の照明光を対象物に照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の検査用画像を一定の時間間隔で生成させるとともに、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された画像を第一の移動補正用画像とし、当該第一の移動補正用画像よりも後に、前記第一の移動補正用画像と同一の点灯色の照明光の下で取得され、当該複数の検査用画像の内のいずれか、またはいずれかの点灯色の照明光を別途に対象物に照射して取得された第二の移動補正用画像を生成させる制御部と、
前記第一の移動補正用画像と、前記第二の移動補正用画像とのそれぞれについて特徴パターンの位置をサーチするサーチ部と、
前記第一の移動補正用画像における前記特徴パターンの位置と前記第二の移動補正用画像における前記特徴パターンの位置との変化量に基づき前記複数の検査用画像における各画素の座標の対応関係を補正する補正部と、
前記補正部により各画素の座標の対応関係が補正された前記複数の検査用画像に基づき前記対象物の画像検査を実行する検査部と、
前記制御部が前記照明部および前記撮像部を制御して、互いに異なる３つ以上の点灯色の照明光ごとに生成された前記対象物の画像を同時または切り替え可能に表示部に表示させながら、前記第一の移動補正用画像および前記第二の移動補正用画像を生成するための点灯色の選択を受け付けるＵＩ管理部と、を備え、
前記制御部は、前記ＵＩ管理部にて選択された点灯色の照明光により前記第一の移動補正用画像および前記第二の移動補正用画像を生成させることを特徴とする画像検査装置。
前記画像検査装置はさらに、グレー画像を生成するための処理部を備え、
前記ＵＩ管理部は、前記表示部に前記対象物の画像を表示させて、該対象物の画像において検査領域の指定を受け付け、
前記補正部は、前記ＵＩ管理部にて選択された点灯色の照明光により生成された前記第一の移動補正用画像における前記特徴パターンの位置と前記第二の移動補正用画像における前記特徴パターンの位置との変化量に基づき前記複数の検査用画像における各画素の座標の対応関係を補正し、
前記処理部は、前記対象物の画像において指定された前記検査領域に含まれる画素から色情報を抽出して、該色情報を登録色とするとともに、前記補正部にて補正された前記複数の検査用画像それぞれの各画素の色情報と該登録色の色情報との色空間上における距離に基づいて算出したグレー階調を各画素の階調とするグレー画像を生成し、
前記検査部は、前記グレー画像に基づいて画像検査を実行することを特徴とする請求項１に記載の画像検査装置。
前記処理部は、前記第一の移動補正用画像および前記複数の検査用画像それぞれの各画素の色情報と前記登録色の色情報との色空間上における距離に基づいて算出したグレー階調を各画素の階調とするグレー画像を生成し、
前記検査部は、前記グレー画像に基づいて画像検査を実行することを特徴とする請求項２に記載の画像検査装置。
前記複数の検査用画像のうち、前記第一の移動補正用画像と前記第二の移動補正用画像とを除いた残りの複数の検査用画像を生成するために前記対象物に照射された照明光の点灯色はそれぞれ異なっていることを特徴とする請求項１ないし３のいずれか一項に記載の画像検査装置。
前記第一の移動補正用画像を生成するために前記対象物に照射された照明光の点灯色と、前記第二の移動補正用画像を生成するために前記対象物に照射された照明光の点灯色とは、それぞれ同一の狭帯域波長に属する点灯色であることを特徴とする請求項１に記載の画像検査装置。
前記画像検査に関する設定を実行する設定モードにおいて、前記ＵＩ管理部は、前記表示部に表示された前記対象物の画像において領域の指定を受け付け、該指定された領域の特徴を特徴パターンとして登録し、
前記画像検査を実行する運転モードにおいて、前記サーチ部は、前記登録された特徴パターンをサーチすることを特徴とする請求項１ないし５のいずれか一項に記載の画像検査装置。
前記ＵＩ管理部は、前記設定モードにおいて生成された前記第一の移動補正用画像に対してユーザにより指定された領域の特徴を特徴パターンとして登録することを特徴とする請求項６に記載の画像検査装置。
前記ＵＩ管理部は、前記設定モードにおいて生成された前記第一の移動補正用画像または前記第二の移動補正用画像に対してユーザにより指定されたサーチ領域を受け付け、
前記サーチ部は、前記運転モードにおいて、前記サーチ領域で前記特徴パターンをサーチすることを特徴とする請求項６に記載の画像検査装置。
前記ＵＩ管理部は、前記画像検査が実行される運転モードにおいて動的に検査対象物の特徴が取得される追跡領域の指定を受け付け、該運転モードにおいて取得された前記第一の移動補正用画像の該追跡領域内に存在する特徴を取得して特徴パターンとして登録し、
前記サーチ部は、前記運転モードにおいて取得された前記第二の移動補正用画像に対して、前記登録された特徴パターンをサーチすることを特徴とする請求項１ないし５のいずれか一項に記載の画像検査装置。
前記ＵＩ管理部は、前記画像検査が実行される運転モードにおいて動的に検査対象物の特徴が取得される追跡領域の指定を受け付け、該運転モードにおいて取得された前記第二の移動補正用画像の該追跡領域内に存在する特徴を取得して特徴パターンとして登録し、
前記サーチ部は、前記運転モードにおいて取得された前記第一の移動補正用画像に対して、前記登録された特徴パターンをサーチすることを特徴とする請求項１ないし５のいずれか一項に記載の画像検査装置。
前記第一の移動補正用画像は、前記複数の検査用画像のうち最初に生成された画像である請求項１ないし１０のいずれか一項に記載の画像検査装置。
前記第二の移動補正用画像は、前記複数の検査用画像のうち最後に生成された画像である請求項１ないし１１のいずれか一項に記載の画像検査装置。
前記サーチ部は、さらに、前記第二の移動補正用画像よりも後に生成された第三の移動補正用画像について前記特徴パターンの位置をサーチし、
前記補正部は、前記第一の移動補正用画像における前記特徴パターンの位置と前記第二の移動補正用画像における前記特徴パターンの位置との変化量に基づき、前記第一の移動補正用画像から記第二の移動補正用画像までの複数の検査用画像における各画素の座標の対応関係を補正し、前記第二の移動補正用画像における前記特徴パターンの位置と前記第三の移動補正用画像における前記特徴パターンの位置との変化量に基づき、前記第二の移動補正用画像から記第三の移動補正用画像までの複数の検査用画像における各画素の座標の対応関係を補正する
ことを特徴とする請求項１ないし１２のいずれか一項に記載の画像検査装置。