JP6981775B2

JP6981775B2 - 画像検査装置および画像検査方法

Info

Publication number: JP6981775B2
Application number: JP2017093362A
Authority: JP
Inventors: 学木戸
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2021-12-17
Anticipated expiration: 2037-05-09
Also published as: JP2018189564A

Description

本発明は、マルチスペクトルイメージングを用いた画像検査装置および画像検査方法に関する。

商品（ワーク）が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。

特開平０９−１２６８９０号公報

画像検査装置は適切に調整された照明装置によりワークを照明してワークの画像を取得し、ワークが合格基準を満たしているかどうかを判定する。画像検査装置はワークが照明装置により照明されることを前提としているため、外乱光がワークに照射されてしまうと検査精度が低下する。とくにマルチスペクトルイメージングでは、それぞれ点灯色の異なる照明光が個別にワークに照射されて複数の分光画像が生成されるため、点灯色とは異なる色の外乱光は検査精度を低下させる大きな要因となりうる。画像検査装置はワークを製造する工場に設置されるため、工場内に設置された蛍光灯の光や工場の窓から入射する太陽光などは外乱光となりうる。これらの外乱光は時間の経過とともに変化することがある。たとえば、午前には太陽光が入射するが、午後には太陽光が入射しないような設置環境も存在するだろう。そこで、本発明は、点灯色が異なる複数の光源を備えた画像検査装置において外乱光の影響を低減することで画像検査の精度が向上させることを目的とする。

本発明の画像検査装置は、たとえば、
互いに異なる３つ以上の点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を対象物に照射する照明部と、
前記対象物からの反射光を受光して前記３つ以上の点灯色それぞれに対応する複数の前記対象物の分光画像を生成する撮像部と、
前記照明部と前記撮像部を制御して、前記複数の発光素子が消灯した状態で前記撮像部に外乱光による前記対象物からの反射光を受光させて前記対象物の外乱光画像を取得させる制御部と、
複数の分光画像のそれぞれから前記外乱光画像を減算する減算部と、
前記外乱光画像を減算された複数の分光画像に基づいて生成される前記対象物のカラー画像を表示する表示部と、
前記表示部に表示された対象物のカラー画像に対して登録色を抽出するための抽出領域の指定を受け付ける受付部と、
前記外乱光画像を減算された複数の分光画像のそれぞれから前記抽出領域に含まれる画素の色の分布に基づく登録色を抽出する抽出部と、
前記外乱光画像を減算された複数の分光画像の各画素の色情報と前記登録色の色情報との色空間上における距離に基づいてグレー画像を生成する合成部と
前記グレー画像を用いて前記対象物を検査する検査部と
を有する画像検査装置を提供する。

本発明によれば、点灯色が異なる複数の光源を備えた画像検査装置において外乱光の影響が低減されるため、画像検査の精度が向上する。

画像検査装置を示す図照明装置を示す図照明装置を構成する部品を示す図照明装置の電気的な構成を示す図画像処理装置の機能を示す図マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図前景背景画像の作成工程を示す図色抽出ＵＩを示す図外乱光の低減処理を含む色抽出処理を示す図画像検査を示すフローチャートワークが移動することの問題点を説明する図マルチスペクトルイメージングにおける移動補正の原理を説明する図移動補正に関するユーザインタフェースを示す図移動補正に関するユーザインタフェースを示す図移動補正に関するユーザインタフェースを示す図画像検査を示すフローチャート点灯パターンを示す図

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１は外観検査システム（画像検査装置）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査用画像を用いて画像検査を実行する検査部を有する検査装置である。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査用画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。

＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。

図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。

制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施例では四方向から照明光を照射するために４つのＬＥＤ基板３２が設けられている。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージングだけでなく、フォトメトリックステレオのために利用されてもよい。１つのＬＥＤ基板３２には４つのＬＥＤ３３が配置されているものとする。これにより光源群は１６個の発光素子により構成されている。ただし、より多数の発光素子が設けられてもよい。たとえば、一つＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った２つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った２つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った２つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った２つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。

＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する４つのＬＥＤグループのうち１つのグループを示している。４つのＬＥＤ３３ａ〜ＬＥＤ３３ｄは直列に接続されている。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ〜２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ〜１Ａ）となるようにＬＥＤグループに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ〜スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ〜スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ〜スイッチ４３ｄを接続することで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのいずれか１つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで１つのＬＥＤグループ単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ〜スイッチ４３ｄを制御する。

＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で１つのセグメントが構成され、さらに複数のセグメントによって光源群５０１が構成されていてもよい。セグメントの数は一般的には４つであるが、３つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各セグメントにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像を生成する撮像部として機能する。

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像から検査画像を作成したりする。減算部５６１は、複数の分光画像のそれぞれから外乱光画像を減算する。外乱光画像は、照明装置３が有する複数の発光素子のすべてを消灯し、外乱光だけが照射されているワーク２を撮像することで取得された画像である。合成部５６２は外乱光画像を減算された複数の分光画像を合成して検査画像を生成する。色抽出部５６３は複数の分光画像のそれぞれから抽出領域に含まれる画素の色の分布に基づく登録色を抽出する。合成部５６２は登録色を使用して複数の分光画像をグレー画像（カラー濃淡画像）に変換する変換部５６４を有していてもよい。照明制御部５１２は、照明制御基板４０に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミングなどを制御する。撮像制御部５１３は、カメラ４を制御する。

ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４はマルチスペクトルイメージングや移動補正に関する制御パラメータを設定するためのＵＩを表示部７に表示する。画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。領域指定部５１６は表示された画像に対して検査ツールの検査領域（測定領域）、パターン領域ＰＷ、サーチ領域ＳＷ、追跡領域ＴＷなどの指定をユーザから受け付ける。なお、パターン領域ＰＷや追跡領域ＴＷは移動補正のための特徴パターンを登録するための領域である。サーチ領域ＳＷは特徴パターンがサーチされる領域である。また、領域指定部５１６は、これらの指定領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて指定領域を示す枠線の形状をＵＩに反映させたりする。点灯色設定部５１７は、ユーザの指示に従って移動補正用の照明光の波長（点灯色）を設定する。ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。

画像処理部５３０はマルチスペクトルイメージングにより取得された検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。移動補正部５３３は、移動補正用の画像から見つかった特徴の位置の変化量に基づきマルチスペクトルイメージング用の複数の分光画像の座標系またはワーク２の座標（位置）を補正する。この補正作業は、補正のための変換式（補正式）を作成する工程と、変換式を用いて座標を変換する工程とに分かれていてもよい。これらの二つの工程はいずれも移動補正部５３３により実行されてもよいし、前者が移動補正部５３３により実行され、後者がＭＳＩ処理部５１１により実行されてもよいし、両者ともがＭＳＩ処理部５１１により実行されてもよい。なお、画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。たとえば、移動補正に関する一部の演算を画像処理部５３０が担当し、残りの演算をプロセッサ５１０が担当してもよい。

判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

記憶装置５２０は、カメラ４によって取得された分光画像のデータである分光画像データ５２１、ＭＳＩ処理部５１１により生成されたグレー画像のデータであるグレー画像データ５２２や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。

＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像が取得される。たとえば、８種類の波長の照明光が照射される場合、８個の画像（分光画像）が取得される。８種類の波長は、紫外波長から近赤外波長までの８種類の狭帯域波長である。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク２に照射される。一般に、８個の画像がそのまま画像検査に利用されることは少なく、８個の画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。

図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。

まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。

次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。

なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成される。

＜前景背景画像＞
カラー濃淡変換は、背景色と前景色とが分離された前景背景画像を作成するためにも使用される。たとえば、前景色がエビや貝であり、背景色が乾麺や乾燥ネギであったと仮定する。この場合に複数の前景色と複数の背景色とが登録されることになろう。また、エビや貝の数を画像検査によりカウントするには、エビや貝が背景から適切に分離されることが必要となる。

図７は検査画像の一種である前景背景画像ＦＢｉｍｇの作成工程を示している。検査画像生成部として機能するＭＳＩ処理部５１１は前景グループＦＧに属する前景色ＦＣ１〜ＦＣ９それぞれとワーク２のカラー画像の各画素の色との距離（マハラノビス距離）を演算し、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を作成する。上述した変換部５６４は距離画像生成部を有していてもよい。距離画像生成部は前景色ＦＣ１とワーク２のカラー画像の各画素の色との距離を演算し、前景色ＦＣ１に対応する１個の距離画像を作成する。同様に、距離画像生成部は前景色ＦＣ２とワーク２のカラー画像の各画素の色との距離を演算し、前景色ＦＣ２に対応する１個の距離画像を作成する。距離画像生成部は残りの前景色ＦＣ３〜ＦＣ９についてもそれぞれ距離画像を作成する。さらに、距離画像生成部は、背景グループＢＧに属する背景色ＢＣ１〜ＢＣ３それぞれとワーク２のカラー画像の各画素の色との距離（マハラノビス距離）を演算し、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を作成する。上述したように距離画像を構成する各画素の値は距離である。また、前景色や背景色などの登録色に対する距離は、登録色の分布における代表色（分布の中心座標）を基準とした距離である。

変換部５６４は前景画像生成部や背景画像生成部、前景背景画像生成部を有していてもよい。前景画像生成部は、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を比較し、各座標についての九個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる前景距離画像Ｆｉｍｇを作成する。たとえば、九個の距離画像から注目座標（ｘｉ，ｙｉ）の距離を読み出し、読み出された九個の距離のうちで最小の距離が、前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）の画素の値に採用される。同様に、背景画像生成部は、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を比較し、各座標についての三個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる背景距離画像Ｂｉｍｇを作成する。

前景背景画像生成部は、背景距離画像Ｆｉｍｇと背景距離画像Ｂｉｍｇとの差分演算を実行して前景背景画像ＦＢｉｍｇを作成する。たとえば、前景背景画像ＦＢｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値をＧ（ｘｉ，ｙｉ）は次式から演算される。
Ｇ（ｘｉ，ｙｉ）＝ｇ（ｄｂ（ｘｉ，ｙｉ）−ｄｆ（ｘｉ，ｙｉ））＋Ｇｍｉｄ・・・（１）
ここでｇは調整タブ７２０においてユーザにより調整されるゲインである。ｄｂ（ｘｉ，ｙｉ）は背景距離画像Ｂｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。ｄｆ（ｘｉ，ｙｉ）は前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。Ｇｍｉｄは中間階調である。たとえば、最大階調が２５５であれば、Ｇｍｉｄは１２８である。

＜色抽出＞
色抽出とは、ワーク２の画像から前景色や背景色として選択可能な色を抽出して登録することをいう。この作業により抽出された色が登録色である。

図８はユーザによる色抽出を補助するためにＵＩ管理部５１４が表示部７に表示する色抽出ＵＩ８００を示している。画像表示領域８０１は、プルダウンメニュー８１１により選択された画像を表示する領域である。プルダウンメニュー８１１は、記憶装置５２０に記憶されているカラー画像やカメラ４により取得されたカラー画像などを指定するためのＵＩである。プルダウンメニュー８１１に登録されていない画像はプルダウンメニュー８１１内の"参照"を選択することにより、指定可能となっている。画像選択部５１５はプルダウンメニュー８１１により選択された画像を画像表示領域８０１に表示する。プルダウンメニュー８１２は登録色が抽出される抽出領域８０２の形状を選択するためのＵＩである。形状の選択肢としては、たとえば、矩形や円形、楕円形などがある。抽出ボタン８１３は、色抽出の実行を指示するボタンである。ＵＩ管理部５１４は、抽出ボタン８１３が押されると、ポインタのアイコン（矢印形状）をスポイト８０３に変更する。領域指定部５１６は、スポイト８０３によって指定された領域を抽出領域８０２として受け付ける。色抽出部５６３は、抽出領域８０２内の画素の色に基づき登録色の色情報を作成し、記憶装置５２０に格納する。なお、前景色を抽出するための抽出ボタン８１３と背景色を抽出するための抽出ボタン８１３とが個別に設けられていてもよい。確定ボタン８１５は、色抽出結果の確定を指示するボタンである。キャンセルボタン８１４は、色抽出結果を破棄するボタンである。

＜外乱光の低減＞
上述したように複数の分光画像は予め定められた点灯色の照明光をワーク２に照射することでモノクロのカメラ４によって取得される。また、点灯色と分光画像とは一対一で対応している。したがって、ある分光画像を取得するために使用されることが定められている点灯色の照明光に、照明装置３とは異なる光源からの光（外乱光）が混合してしまうと、分光画像と点灯色との関係が崩れてしまう。そこで、本実施形態では、分光画像が取得される際には、外乱光画像も合わせて取得し、分光画像から外乱光画像を減算することで、分光画像における外乱光の影響が低減される。

図９は外乱光の低減処理を含む色抽出方法を示すフローチャートである。ここではワーク２の良品から取得された分光画像に基づき登録色が抽出される。ＭＳＩ処理部５１１はＰＬＣ（プログラマブルコントローラ）などの外部機器から入力されたトリガー信号に基づき外乱光画像や分光画像の取得を開始する。

Ｓ９０１でＭＳＩ処理部５１１は外乱光画像を取得する。照明制御部５１２に照明装置３を消灯させる。照明装置３がすでに消灯しているときは、消灯処理は省略される。これによりワーク２には照明装置３とは異なる光源から外乱光のみが照射される。ＭＳＩ処理部５１１は撮像制御部５１３に外乱光画像の撮像を指示する。撮像制御部５１３はカメラ４に撮像を指示する。これによりカメラ４により取得された画像は外乱光画像として記憶装置５２０に格納される。

Ｓ９０２でＭＳＩ処理部５１１は照明制御部５１２と撮像制御部５１３とを通じて分光画像を取得する。照明制御部５１２は照明装置３を制御することで一定のインターバルで点灯色を切り替えながらワーク２に照明光を照射させる。撮像制御部５１３も点灯色の切り替えタイミングと同期した一定のインターバルでカメラ４に分光画像を取得させる。撮像制御部５１３は取得した複数の分光画像を分光画像データ５２１として記憶装置５２０に格納する。これによりＵＶからＩＲ２までの点灯色に対応した分光画像が取得される。

Ｓ９０３でＭＳＩ処理部５１１の減算部５６１は、複数の分光画像のそれぞれに対して外乱光の低減処理を実行する。たとえば、減算部５６１は、複数の分光画像のそれぞれから外乱光画像を減算する。ＵＶの点灯色に対応する分光画像（ＵＶ画像）において各画素はＵＶの点灯色の照明光がワーク２で反射することで生じる反射光の輝度値を有している。ただし、この輝度値は外乱光が加算された輝度値である。外乱光画像において各画素は外乱光がワーク２で反射することで生じる反射光の輝度値を有している。したがって、外乱光が加算されているＵＶの輝度値から外乱光の輝度値を減算することで正味のＵＶの輝度値が得られる。他の点灯色についても同様に低減処理が実行される。

Ｓ９０４でＭＳＩ処理部５１１の色抽出部５６３は表示部７に外乱光の低減された分光画像に基づく良品のカラー画像を表示し、ユーザにより指定された抽出領域８０２から登録色を抽出する。

このように登録色が抽出される前に複数の分光画像から外乱光の影響が低減されるため、登録色の精度が向上する。

図１０は外乱光の低減処理を含む画像検査方法を示すフローチャートである。なお、図１０においてＳ９０１からＳ９０３までは図９のＳ９０１からＳ９０３と同じ処理である。ただし、被写体は検査対象物となるワーク２である。検査対象となるワーク２についてＳ９０１からＳ９０３までの処理が完了すると、ＭＳＩ処理部５１１はＳ１００１に進む。

Ｓ１００１でＭＳＩ処理部５１１の変換部５６４は登録色と検査対象物のカラー画像とに基づき検査画像を作成する。検査対象物のカラー画像とは、外乱光が低減された複数の分光画像のことである。検査画像は検査ツールごとに異なってもよい。たとえば、変換部５６４は色空間における前景領域の登録色（前景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（前景画像）に変換してもよい。また、変換部５６４は色空間における背景領域の登録色（背景色）とカラー画像の各画素の色とのマハラノビス距離に応じてカラー画像をグレー画像（背景画像）に変換してもよい。これらの画像はさらに二値化などのさらなる画像処理が施されてもよい。

Ｓ１００２で検査部５３１は検査画像に対して検査ツールを適用して画像検査を実行する。一例として、検査対象物が樹脂板に設けられた金属端子であり、検査部５３１が備えるエリア検査ツールにより金属端子の面積と、その周囲の面積を求めることを考える。前景色は金属端子の代表色であり、背景色は樹脂板の代表色である。検査部５３１は、前景画像を二値化することで樹脂板の色を白に変換し、金属端子の色を黒に変換し、黒の画素の数をカウントすることで金属端子の面積を算出する。同様に、検査部５３１は、背景画像を二値化することで樹脂板の色を黒に変換し、金属端子の色を白に変換し、黒の画素の数をカウントすることで金属端子の周囲の樹脂板の面積を算出する。判定部５４０は金属端子の面積を公差などの閾値と比較して合否を判定する。また、判定部５４０は金属端子の周囲の面積を公差などの閾値と比較して合否を判定する。

このように検査対象物から取得された複数の分光画像から外乱光の影響が低減されるため、検査画像の精度が向上する。これは画像検査の精度を向上させる。

＜移動補正＞
マルチスペクトルイメージングでは多数の点灯色の照明光が一色ずつ順番にワーク２に照射されて、多数の分光画像が生成される。たとえば、図１１が示すようにＵＶからＩＲ２までの８種類の点灯色の照明光が順次にワーク２に照射されて８枚の分光画像が得られ、８枚の分光画像を合成することで一枚のグレー画像が作成される。ワーク２がライン１を搬送される場合、一枚目のＵＶ画像におけるワーク２の位置と８枚目のＩＲ２画像におけるワーク２の位置はずれている。点灯色の数が増加するほど、また、ライン１の搬送速度が増加するほど、ワーク２の位置のずれ量は大きくなる。このずれを無視してグレー画像Ｇ１を作成すると、正しいグレー画像が得られないため、画像検査の精度が低下してしまう。従って、ワーク２について移動補正を行ってからグレー画像が作成されれば、正しいグレー画像が作成される。

なお、外乱光画像も一連の分光画像を取得する過程において取得されなければならない。つまり、ワーク２が移動するため外乱光画像についてもワーク２の位置を補正する必要がある。

ワーク２が静止している場合や、ライン１におけるワーク２の搬送速度が極めて遅い場合は移動補正が省略されてもよい。

図１２は外乱光画像ＡＢの取得を伴う移動補正の概念を示している。この例では、マルチスペクトルイメージング用の８種類の分光画像を取得する前と取得した後に移動補正用画像（補正画像ＭＣ１、ＭＣ２）が取得される。また、補正画像ＭＣ１を取得するタイミングと、補正画像ＭＣ２を取得するタイミングとの間で外乱光画像ＡＢが取得される。図１２では補正画像ＭＣ１とＵＶ画像との間で外乱光画像ＡＢが取得される。

ライン１におけるワーク２の搬送速度は一定である。また、カメラ４が画像を取得するインターバルも一定である。そのため、各画像におけるワーク２の位置は異なり、これらの位置は線形の軌跡を描く。従って、各分光画像におけるワーク２を構成する画素の座標の対応関係（ｘ方向のずれ量とｙ方向のずれ量）を求めておけば、各分光画像におけるワーク２の位置を重ねて、グレー画像Ｇ２を作成することができる。ここで各分光画像は移動補正された外乱光画像ＡＢにより外乱光が低減されているものとする。

移動補正では、補正画像ＭＣ１、ＭＣ２においてワーク２の特徴ｆがサーチ部５３２によるパターンサーチにより検知され、それぞれ特徴ｆの位置ｐ１、ｐ２が求められる。特徴ｆはパターンサーチにより検知可能な形状やエッジ（二つの特徴的なエッジ間の間隔）などであればよい。位置ｐ１、ｐ２の変化を示す直線の方程式を求めれば、各分光画像におけるワーク２の位置を補正することができる。つまり、各分光画像における座標系の対応関係を示す座標の変換式が決定される。

なお、ワーク２が線形に移動する場合は二つの補正画像により移動補正が可能である。ワーク２が非線形に移動する場合は三つ以上の補正画像が必要となる。ここでは、説明の簡明化のために、二つの補正画像が使用されるケースが主に説明される。

●ユーザインタフェース
図１３、図１４および図１５は移動補正に関するパラメータを設定するためのユーザインタフェースを示している。図１３は設定モードにおいて登録パターンが登録されるパターンサーチモード（事前登録モード）の設定ＵＩを示している。図１３において設定ＵＩ９００は、画像検査を実行する前に、ＵＩ管理部５１４によって表示部７に表示される。図１４は運転モードにおいて登録パターンを動的に登録する追跡モードの設定ＵＩを示している。図１４が示すように、追跡モードでは、移動補正の基準となる特徴パターンが、画像検査を実行する運転モードにおいて登録される。ＵＩ管理部５１４は、設定ＵＩ９００のうち特徴パターンの登録ＵＩを運転モードにおいて表示部７に表示する。ユーザは運転モードにおいて登録パターンを抽出するための追跡領域ＴＷを配置（設定）する。これにより追跡領域ＴＷ内の特徴が抽出される。図１３と図１４において共通する事項には同一の参照符号が付与されている。

画像選択ボタン９０２は、画像表示領域９０１に表示される画像を選択するためのＵＩであり、画像選択部５１５に選択結果を渡す。図１３、図１４においてＣは複数の分光画像から合成して作成されたカラー画像を示している。ＡＬは８種類あるすべての分光画像を示している。ＡＬがポインタ９０６によって操作されると、図１５が示すように、画像選択部５１５はすべての分光画像を並べて画像表示領域９０１に表示する。このように並べて表示された複数の分光画像の中から複数の補正画像がポインタ９０６によりクリックされることで選択されてもよい。ＵＩ管理部５１４や設定ＵＩ９００は第一の補正画像と第二の補正画像との選択を受け付ける受付部として機能してもよい。

図１３、図１４および図１５においてＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。ＭＣ１は第一の補正画像である。ＭＣ２は第二の補正画像である。ＡＢは外乱光画像を示している。図１３、図１４においては画像表示領域９０１にはワーク２の画像が表示されている。

画像名の表示欄９１１は画像表示領域９０１に表示される画像の名称を表示するテキストボックスである。画像選択部５１５が画像の名称をテキストボックスに入力する。図１３において編集ボタン９１２はパターンサーチの対象となる特徴を含む領域であるパターン領域ＰＷのサイズと位置を編集するためのボタンである。編集ボタン９１３は第一の補正画像ＭＣ１において移動補正用の特徴ｆをサーチする範囲（サーチ領域ＳＷ）のサイズと位置を編集するためのボタンである。図１４において編集ボタン９１４は第二の補正画像ＭＣ２において移動補正用の特徴ｆを動的に登録するための範囲（追跡領域ＴＷ）のサイズと位置を編集するためのボタンである。なお、パターン領域ＰＷと追跡領域ＴＷとはそれぞれ移動補正ための特徴ｆを抽出する領域であり、機能としては共通している。このようにワーク２の位置を検出するために利用される特徴ｆは設定モードにおいて事前登録されてもよいし、運転モードにおいて動的に登録されてもよい。サーチ領域ＳＷやパターン領域ＰＷの登録は、原則として、設定モードにおいて実行される。これの編集ボタンがポインタ９０６によって押し下げられたことを検知すると、領域指定部５１６はポインタ９０６の動きに応じて各領域を設定する。また、画像処理部５３０は、パターン領域ＰＷまたは追跡領域ＴＷ内の特徴を抽出して設定情報５２３に書き込む。抽出される特徴は画像そのものであってもよいし、輪郭であってもよいし、複数のエッジであってもよい。

点灯色選択部９１５は補正画像を取得するために使用される照明光の波長（点灯色）を選択するためのプルダウンメニューである。点灯色設定部５１７は点灯色選択部９１５のプルダウンメニューから選択された点灯色の識別情報を照明光用の点灯色を指定する識別情報として設定情報５２３に書き込む。照明装置３が白色ＬＥＤを搭載している場合、点灯色選択部９１５において、照明光の点灯色として、白色ＬＥＤを示すＷが選択されうる。また、すべての点灯色の発光素子を点灯させることを意味するＡＬが点灯色選択部９１５において選択されてもよい。ＷまたはＡＬが選択されることで移動補正用の特徴のサーチが安定することが多い。なお、ＵＶからＩＲ２までのいずれかの狭帯域波長が選択される場合、補正画像と検査用画像を作成するための分光画像とが兼用されてもよい。たとえば、ＵＶが選択されると、ＵＶ画像は補正画像として使用されるだけでなく、検査用画像を作成するための要素画像としても使用される。これにより、取得される画像の数が削減され、移動補正に関する作業時間が短縮される。

編集ボタン９１６は詳細設定を編集するためのボタンである。詳細設定としては、複数ある移動補正手法のうちから一つの移動補正手法を選択すること、パターンサーチにおけるサーチ角度を設定することなどが含まれてもよい。確定ボタン９１７は、移動補正に関する設定を確定するためのボタンである。キャンセルボタン９１８は今回の設定を取り消し、直前の設定やデフォルト設定に戻すためのボタンである。

●フローチャート
図１６はプロセッサ５１０が実行する画像検査（運転モード）を示すフローチャートである。なお、ここでは移動補正のためのサーチモードはパターンサーチモードが適用されるものとする。そのため、移動補正に関する制御パラメータは設定モードにおいて既に決定されているものとする。なお、Ｓ１６０１ないしＳ１６０４の順番は、移動補正を実現できる限り、自由に入れ替え可能である。ただし、Ｓ１６０４はＳ１６０１の後に実行されるものとする。ＭＳＩ処理部５１１はＰＬＣ（プログラマブルコントローラ）などの外部機器から入力されたトリガー信号に基づき以下の処理を開始する。

Ｓ１６０１でプロセッサ５１０は第一の補正画像を取得する。プロセッサ５１０は、設定情報５２３に従って第一の補正画像の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第一の補正画像を取得し、記憶装置５２０に書き込む。

Ｓ１６０２でＭＳＩ処理部５１１は外乱光画像を取得する。ＭＳＩ処理部５１１は照明制御部５１２を通じて照明装置３を消灯させる。これによりワーク２には外乱光のみが照射される。ＭＳＩ処理部５１１は撮像制御部５１３に外乱光画像の撮像を指示する。撮像制御部５１３はカメラ４に撮像を指示する。これによりカメラ４により取得された画像は外乱光画像として記憶装置５２０に格納される。

Ｓ１６０３でＭＳＩ処理部５１１はマルチスペクトルイメージング用の分光画像を取得する。ＭＳＩ処理部５１１は設定情報５２３に従って照明光の点灯色を照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である分光画像を取得し、記憶装置５２０に書き込む。なお、分光画像は、原則として８種類の点灯色のすべてについて取得されてもよいし、一部の点灯色について取得されてもよい。分光画像を取得するために使用される点灯色は設定情報５２３に依存する。設定情報５２３により指定されたすべての分光画像が取得されると、プロセッサ５１０はＳ１１０３に進む。

Ｓ１６０４でプロセッサ５１０は第二の補正画像を取得する。プロセッサ５１０は、設定情報５２３に従って第二の補正画像の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第二の補正画像を取得し、記憶装置５２０に書き込む。

Ｓ１６０５でプロセッサ５１０は画像処理部５３０に移動補正のためのパラメータを算出させ、当該パラメータを用いて外乱光画像と各分光画像に移動補正を適用する。たとえば、パターンサーチモードにおいて、移動補正部５３３は、サーチ部５３２に第一の補正画像における特徴をサーチさせるとともに、第二の補正画像における特徴をサーチさせる。なお、追跡モードで、移動補正部５３３は、第一の補正画像から登録した特徴を第二の補正画像においてサーチ部５３２にサーチさせる。移動補正部５３３は、第一の補正画像における特徴の位置と第二の補正画像における特徴の位置との変化量を算出する。移動補正部５３３は、この変化量に基づき複数の分光画像と外乱光画像とにおける各画素の座標の対応関係を補正する。たとえば、ＵＶ画像におけるワーク２の座標と、ＩＲ１画像におけるワーク２の座標との対応関係とが求められる。求められた対応関係（座標変換式）を用いて各分光画像と外乱光画像における座標を補正することで、図１２に示したように各分光画像におけるワーク２の位置が重なり、正確に外乱光が低減されるとともに、正確なグレー画像が作成される。

Ｓ１６０６でＭＳＩ処理部５１１の減算部５６１は、複数の分光画像のそれぞれに対して外乱光の低減処理を実行する。ここで使用される複数の分光画像と外乱光画像はそれぞれ移動補正されたものである。減算部５６１は、複数の分光画像のそれぞれから外乱光画像を減算する。

Ｓ１６０７でＭＳＩ処理部５１１は移動補正と外乱光の低減処理が適用された複数の分光画像を変換してグレー画像（検査用画像）を作成する。なお、グレー画像に対していくつかの画像処理が適用されて検査用画像が作成されてもよい。

Ｓ１６０８でプロセッサ５１０は検査部５３１に画像検査を実行させる。検査部５３１は、ＭＳＩ処理部５１１により作成された検査用画像に対して設定情報５２３により指定された検査ツールを用いて画像検査を実行する。判定部５４０は、検査部５３１から画像検査の結果を受け取り、ワーク２が良品条件を満たしているかどうかを判定する。

●点灯パターン
図１２を用いて、移動補正を行いながら分光画像を取得するための発光素子の点灯パターンの一例について説明したが、これは一例にすぎない。図１２に示した例によれば、第一の補正画像に対して指定された点灯色の発光素子が点灯する。その後、外乱光画像を取得するために照明装置３が備えるすべての発光素子が消灯する。さらにその後で、ＵＶ、Ｂ、Ｇ、ＡＭ、ＯＲ、Ｒ、ＩＲ１、ＩＲ２の各発光素子が点灯する。最後に、第二の補正画像に対して指定された点灯色の発光素子が点灯する。

図１７は６つの点灯パターンを示している。ここではマルチスペクトルイメージングには４つの点灯色Ｒ、Ｇ、Ｂ、Ｙが使用されるものとする。ＹはＲＧＢ以外のいずれかの点灯色である。ＭＣは移動補正用の共通の点灯色である。なお、図１２は複数の分光画像が等間隔（一定の時間間隔）で取得されることを暗示している。

ケース（１）、（２）は線形補正のため点灯パターンである。ケース（１）はマルチスペクトルイメージングの前後において移動補正用の点灯色の発光素子が点灯し、２つの補正画像が取得されることを示している。なお、ＯＦＦは外乱光画像を取得するために照明装置３が備えるすべての発光素子が消灯されることを意味する。ケース（１）は図１２に示された事例である。ケース（２）は外乱光画像とマルチスペクトルイメージング用の分光画像とを取得する前に移動補正用の点灯色の発光素子が点灯し、２つの補正画像が取得されることを示している。

ケース（３）ないし（５）は非線形補正のための点灯パターンを示している。上述したように非線形補正を実行するためには少なくとも三つの補正画像が必要となる。補正画像の枚数が増加すればするほど、移動補正の精度が高まるが、撮像時間が長くなる。なお、ケース（３）、（５）のように補正画像が分散して取得されると、移動補正の精度が高まるであろう。

ケース（６）は、マルチスペクトルイメージング用の分光画像を補正画像として兼用するケースである。これによりトータルでの画像枚数が削減され、撮像時間が短縮される。つまり、短時間でより多くの画像検査を実行可能となる。

＜まとめ＞
図１などが示すように、照明装置３は、互いに異なる点灯色の照明光を発生する複数の発光素子（ＬＥＤ３３）を有し、各点灯色の照明光を個別に対象物（例：ワーク２の良品）に照射する照明部の一例である。カメラ４は、一つ以上の点灯色の照明光ごとに対象物からの反射光を受光して対象物の画像を生成する撮像部の一例である。なお、カメラ４はモノクロカメラであるため、カラーフィルタを有するカメラと比較して感度が良い。プロセッサ５１０（ＭＳＩ処理部５１１、照明制御部５１２、撮像制御部５１３など）は照明装置３を制御することでそれぞれ点灯色が異なる複数の照明光を対象物に照射させるとともに、カメラ４を制御することでそれぞれ照明光の点灯色が同一または異なる複数の画像を生成させる制御部の一例である。なお、プロセッサ５１０は、撮像制御部５１３を介してカメラ４を制御し、カメラ４に複数の分光画像を一定の時間間隔で生成させる。なお、ＭＳＩ処理部５１１は撮像部により取得された複数の分光画像を合成して検査画像を生成する生成部の一例である。ＭＳＩ処理部５１１は、複数の発光素子を消灯させ、撮像部に外乱光による対象物からの反射光を受光させて対象物の外乱光画像を取得させる。ＭＳＩ処理部５１１は複数の分光画像のそれぞれから外乱光画像を減算する減算部５６１と、外乱光画像を減算された複数の分光画像を合成して検査画像を生成する合成部５６２とを有してる。したがって、本実施形態によれば、点灯色が異なる複数の光源を備えた画像検査装置において外乱光の影響が低減されるため、画像検査の精度が向上する。

表示部７は外乱光画像を減算された複数の分光画像を表示してもよい。また、表示部７は外乱光画像を減算された複数の分光画像から生成されたトゥルーカラー画像またはフォルスカラー画像を表示してもよい。フォルスカラー画像はトゥルーカラー画像に対して色クラスタリングを施すことで生成されるカラー画像である。領域指定部５１６は表示部７に表示された画像に対して登録色を抽出するための抽出領域８０２の指定を受け付ける受付部として機能する。色抽出部５６３は複数の分光画像のそれぞれから抽出領域８０２に含まれる画素の色の分布に基づく登録色を抽出する。合成部５６２は、抽出領域８０２から抽出された登録色にしたがって複数の分光画像をカラーグレー変換することで検査画像を生成する変換部５６４を有しもよい。複数の分光画像は外乱光画像を減算されている。このように、登録色は、外乱光の低減処理を施された複数の分光画像から抽出される色情報であるため、登録色の精度が向上する。

領域指定部５１６は前景色が抽出される前景領域の指定と、背景色が抽出される背景領域の指定とを受け付けてもよい。色抽出部５６３は、登録色として、前景領域から前景色を抽出し、背景領域から背景色を抽出する。変換部５６４は、前景色に対する複数の分光画像における各画素の色の距離を求め、各画素ごとに求められた距離を各画素の値とした前景距離画像を生成する。変換部５６４は、背景色に対する複数の分光画像における各画素の色の距離を求め、各画素ごとに求められた距離を各画素の値とした背景距離画像を生成する。変換部５６４は、前景距離画像と背景距離画像との差分画像を検査画像として生成してもよい。

ＭＳＩ処理部５１１は、ＰＬＣなどから単一のトリガー信号を入力されると、照明部と撮像部とを制御し、外乱光画像と複数の分光画像とを連続的に取得してもよい。これにより外乱光画像の取得時刻と分光画像の取得時刻とが近接するため、外乱光画像における外乱光成分と分光画像における外乱光成分とはほぼ同じものとなろう。つまり、外乱光の低減精度が向上する。

上述したように外乱光の低減処理は移動補正と組み合わされてもよい。ＭＳＩ処理部５１１および移動補正部５３３は、複数の分光画像と外乱光画像における各画素の座標を補正するために、一定の搬送速度で移動している対象物についての第一補正画像と第二補正画像とを撮像部に取得させる。ＭＳＩ処理部５１１および移動補正部５３３は、第一補正画像における補正目標物の位置と第二補正画像における当該補正目標物との位置とから、複数の分光画像と外乱光画像における各画素の座標を補正する座標補正部を有してもよい。とりわけ、移動補正部５３３は座標補正部の一例である。減算部５６１は、移動補正部５３３により各座標を補正された複数の分光画像それぞれから、移動補正部５３３により各座標を補正された外乱光画像を減算する。これによりワーク２が高速に搬送されているケースにおいても適切に外乱光の影響が低減される。

カメラ４は、一定のタイムインターバルで第一補正画像、第二補正画像、複数の分光画像および外乱光画像を連続的に取得してもよい。これにより移動補正の計算が非常に容易となる。また、移動補正の精度も向上するため、外乱光の低減処理の精度も向上しよう。

カメラ４は、第一補正画像を最初に取得し、第二補正画像を最後に取得してもよい。つまり、第一補正画像が取得された後であって、第二補正画像が取得される前に、外乱光画像と分光画像が取得される。これは、外乱光画像と分光画像におけるワーク２の座標が内挿により補正されることを意味する。一般に外挿と内挿とでは内挿が有利である。したがって、内挿を採用することで、外乱光画像と分光画像の移動補正の精度が向上する。

照明装置３は、第一補正画像と第二補正画像とを取得する際に同一の点灯色の照明光を対象物に照射してもよい。また、このときの点灯色は白色であっても。これらはいずれも移動補正の精度を向上させることに寄与する。

第一補正画像と第二補正画像とのうちいずれか一つが複数の分光画像のうちの一つの分光画像と兼用されてもよい。これによりカメラ４によって取得され画像の枚数が削減されるため、処理の効率化が達成される。また、第一補正画像を取得した時刻と第二補正画像が取得した時刻との間の時間差が小さくなるため、移動補正の精度が向上する。

ところで、サーチ部５３２は、複数の画像のうち同一の点灯色の照明光の下で取得された第一の補正画像と、当該第一の補正画像よりも後に生成された第二の補正画像とのそれぞれについて特徴パターンの位置をサーチする。ＭＳＩ処理部５１１や移動補正部５３３などは、第一の補正画像における特徴パターンの位置と第二の補正画像における特徴パターンの位置との変化量に基づき複数の画像における各画素の座標の対応関係を補正する。検査部５３１は補正部により各画素の座標の対応関係が補正された複数の画像に基づき対象物の画像検査を実行する。たとえば、検査部５３１はＭＳＩ処理部５１１が複数の分光画像を合成することでグレー画像を生成し、グレー画像を用いて、またはグレー画像をさらに画像処理して得られる検査画像を用いて画像検査を実行する。これにより、点灯色が異なる複数の光源を備えた画像検査装置において移動するワークについての画像検査の精度が向上する。

上述したように、第一の補正画像を生成するために対象物に照射された照明光の点灯色と、第二の補正画像を生成するために対象物に照射された照明光の点灯色とは同一の点灯色である。これにより、移動補正の精度が向上する。つまり、移動補正用の少なくとも２つの画像については同一の点灯色を使用することで照明条件が整合するため、特徴パターンが精度よく検出され、移動補正の精度が向上する。なお、複数の画像のうち、第一の補正画像と第二の補正画像とを除いた残りの複数の画像を生成するために対象物に照射された照明光の点灯色はそれぞれ異なっている。このように、残りの複数の画像はマルチスペクトルイメージング用の分光画像であってもよい。

プロセッサ５１０は、第一の補正画像と第二の補正画像を生成する際に複数の発光素子を同時に点灯してもよい。これにより疑似的に白色光に近い照明光が実現される。つまり、白色光源を省略することができる。

もちろん、照明装置３は、さらに白色の照明光を発生する白色発光素子（白色ＬＥＤなど）を有していてもよい。プロセッサ５１０は、第一の補正画像と第二の補正画像を生成する際に白色発光素子を点灯する。白色光により明確化される特徴パターンもある。このような特徴については白色光が適している。

第一の補正画像を生成するために対象物に照射された照明光の点灯色と、第二の補正画像を生成するために対象物に照射された照明光の点灯色とは、それぞれ同一の狭帯域波長（狭波長帯域）に属する点灯色であってもよい。たとえば、第一の補正画像と第二の補正画像との双方がＵＶの照明光により取得されてもよい。ただし、移動補正の精度が十分に確保できるのであれば、第一の補正画像の点灯色と第二の補正画像の点灯色とが異なっていてもよい。たとえば、第一の補正画像と第二の補正画像がそれぞれＩＲ１やＩＲ２などの照明光により取得されてもよい。
第一の補正画像においても第二の補正画像においてもサーチされるのは同一の特徴パターンである。そのため、同一または類似した点灯色が使用されると、特徴パターンのサーチ精度が向上しよう。

表示部７は複数の画像を並べて表示してもよい。ＵＩ管理部５１４は、表示部７に表示された複数の画像から第一の補正画像と第二の補正画像との選択を受け付ける受付部して機能してもよい。このように複数の画像が並べて表示されることで、ユーザは、補正画像に適した画像を容易に選択できるようになろう。

ＵＩ管理部５１４や領域指定部５１６は、画像検査に関する設定を実行する設定モードにおいて、表示された対象物の画像に対してユーザにより指定された領域の特徴を特徴パターンとして登録する登録部として機能してもよい。画像検査を実行する運転モードにおいて、サーチ部５３２は、登録部により予め登録された特徴パターンをサーチする。このように特徴パターンは検査モード（運転モード）の前に実行される設定モードにおいて登録されてもよい。ＵＩ管理部５１４は、設定モードにおいて生成された第一の補正画像に対してユーザにより指定された領域の特徴を特徴パターンとして登録する。また、ＵＩ管理部５１４や領域指定部５１６は、設定モードにおいて生成された第一の補正画像または第二の補正画像に対してユーザにより指定されたサーチ領域を受け付けてもよい。サーチ領域の座標は、一般に、ワーク２の位置に依存しない座標であり、たとえば、画像の左上を基準とした座標である。この場合に、サーチ部５３２は、運転モードにおいて、サーチ領域内で特徴パターンをサーチする。サーチ部５３２は、運転モードにおいて、第一の補正画像のサーチ領域において特徴パターンをサーチするとともに、第二の補正画像についても当該サーチ領域において特徴パターンをサーチする。

なお、特徴パターンは画像検査を実行する運転モードにおいて動的に登録されてもよい。ただし、特徴パターンをサーチするためのサーチ領域については設定モードにおいて設定される。ＵＩ管理部５１４や領域指定部５１６は、画像検査が実行される運転モードにおいて動的に検査対象物の特徴が取得される追跡領域の指定を受け付ける領域受付部として機能する。ＵＩ管理部５１４や領域指定部５１６は、運転モードにおいて取得された第一の補正画像の追跡領域内に存在する特徴を特徴パターンとして登録する登録部としても機能する。この時点で第一の補正画像における特徴の座標が確定する。さらに、サーチ部５３２は、運転モードにおいて取得された第二の補正画像において、登録部により登録された特徴パターンをサーチする。これにより、第二の補正画像における特徴の座標が確定する。つまり、線形補正に必要となるパラメータが確定する。なお、領域受付部は、第一の補正画像または第二の補正画像とのうち当該第二の補正画像に対してユーザにより指定された追跡領域を受け付けてもよい。この時点で第二の補正画像における特徴の座標が確定する。サーチ部５３２は、運転モードにおいて生成された第一の補正画像において、登録部により登録された特徴パターンをサーチする。これにより、第一の補正画像における特徴の座標が確定する。つまり、線形補正に必要となるパラメータが確定する。

第一の補正画像は、複数の画像のうち最初に生成された画像であってもよい。また、第二の補正画像は、複数の画像のうち最後に生成された画像であってもよい。このように、複数の分光画像を取得する前と後において補正画像が取得されることで、移動補正の精度が向上しよう。これは、内挿による特徴の位置の推定精度は、外挿による特徴の位置の推定精度よりも高いからである。

サーチ部５３２は、さらに、第二の補正画像よりも後に生成された第三の補正画像について特徴パターンの位置をサーチしてもよい。移動補正部５３３は、第一の補正画像における特徴パターンの位置と第二の補正画像における特徴パターンの位置との変化量に基づき、第一の補正画像から記第二の補正画像までの複数の画像における各画素の座標の対応関係を補正する。また、移動補正部５３３は、第二の補正画像における特徴パターンの位置と第三の補正画像における特徴パターンの位置との変化量に基づき、第二の補正画像から記第三の補正画像までの複数の画像における各画素の座標の対応関係を補正する。このように３つ以上の補正画像を使用することで、ワーク２の位置が非線形に変化するケースにおいても精度よく移動補正が実現されよう。

２…ワーク、３…照明装置、４…カメラ、５…画像処理装置、５１１…ＭＳＩ処理部、５１２…照明制御部、５１３…撮像制御部、５３１…検査部

Claims

互いに異なる３つ以上の点灯色の照明光を発生する複数の発光素子を有し、各点灯色の照明光を対象物に照射する照明部と、
前記対象物からの反射光を受光して前記３つ以上の点灯色それぞれに対応する複数の前記対象物の分光画像を生成する撮像部と、
前記照明部と前記撮像部を制御して、前記複数の発光素子が消灯した状態で前記撮像部に外乱光による前記対象物からの反射光を受光させて前記対象物の外乱光画像を取得させる制御部と、
複数の分光画像のそれぞれから前記外乱光画像を減算する減算部と、
前記外乱光画像を減算された複数の分光画像に基づいて生成される前記対象物のカラー画像を表示する表示部と、
前記表示部に表示された対象物のカラー画像に対して登録色を抽出するための抽出領域の指定を受け付ける受付部と、
前記外乱光画像を減算された複数の分光画像のそれぞれから前記抽出領域に含まれる画素の色の分布に基づく登録色を抽出する抽出部と、
前記外乱光画像を減算された複数の分光画像の各画素の色情報と前記登録色の色情報との色空間上における距離に基づいてグレー画像を生成する合成部と
前記グレー画像を用いて前記対象物を検査する検査部と
を有する画像検査装置。
前記受付部は、前景色が抽出される前景領域の指定と、背景色が抽出される背景領域の指定とを受け付け、
前記抽出部は、前記登録色として、前記前景領域から前景色を抽出し、前記背景領域から背景色を抽出し、
前記合成部は、前記前景色に対する前記複数の分光画像における各画素の色の距離を求め、各画素ごとに求められた距離を各画素の値とした前景距離画像を生成し、前記背景色に対する前記複数の分光画像における各画素の色の距離を求め、各画素ごとに求められた距離を各画素の値とした背景距離画像を生成し、前記前景距離画像と前記背景距離画像との差分画像を前記グレー画像として生成することを特徴とする請求項１に記載の画像検査装置。
前記撮像部はモノクロカメラであることを特徴とする請求項１ないし２のいずれか一項に記載の画像検査装置。
前記制御部は、単一のトリガー信号を入力されると、前記照明部と前記撮像部とを制御し、前記外乱光画像と前記複数の分光画像とを連続的に取得することを特徴とする請求項１ないし３のいずれか一項に記載の画像検査装置。
前記制御部は、前記複数の分光画像と前記外乱光画像における各画素の座標を補正するために、一定の搬送速度で移動している前記対象物についての第一補正画像と第二補正画像とを前記撮像部に取得させ、前記第一補正画像における補正目標物の位置と前記第二補正画像における当該補正目標物との位置とから、前記複数の分光画像と前記外乱光画像における各画素の座標を補正する座標補正部を有し、
前記減算部は、前記座標補正部により各座標を補正された前記複数の分光画像それぞれから、前記座標補正部により各座標を補正された前記外乱光画像を減算することを特徴とする請求項４に記載の画像検査装置。
前記撮像部は、一定のタイムインターバルで前記第一補正画像、前記第二補正画像、前記複数の分光画像および前記外乱光画像を連続的に取得することを特徴とする請求項５に記載の画像検査装置。
前記撮像部は、前記第一補正画像を最初に取得し、前記第二補正画像を最後に取得することを特徴とする請求項６に記載の画像検査装置。
前記照明部は、前記第一補正画像と前記第二補正画像とを取得する際に同一の点灯色の照明光を前記対象物に照射することを特徴とする請求項５ないし７のいずれか一項に記載の画像検査装置。
前記点灯色は白色であることを特徴とする請求項８に記載の画像検査装置。
前記第一補正画像と前記第二補正画像とのうちいずれか一つが前記複数の分光画像のうちの一つの分光画像と兼用されることを特徴とする請求項５ないし８のいずれか一項に記載の画像検査装置。
互いに異なる３つ以上の点灯色の照明光を対象物に照射しながら各点灯色に対応する前記対象物についての複数の分光画像を取得する工程と、
前記３つ以上の点灯色の照明光が照射されないことで外乱光のみが照射されている前記対象物の外乱光画像を取得する工程と、
前記複数の分光画像のそれぞれから前記外乱光画像を減算する工程と、
前記外乱光画像を減算された複数の分光画像に基づいて生成される前記対象物のカラー画像を表示部に表示する工程と、
前記表示部に表示された対象物のカラー画像に対して登録色を抽出するための抽出領域の指定を受け付ける工程と、
前記外乱光画像を減算された複数の分光画像のそれぞれから前記抽出領域に含まれる画素の色の分布に基づく登録色を抽出する工程と、
前記外乱光画像を減算された複数の分光画像の各画素の色情報と前記登録色の色情報との色空間上における距離に基づいてグレー画像を生成する工程と、
前記グレー画像を用いて前記対象物を検査する工程と
を有することを特徴とする画像検査方法。