JP5168049B2 - 画像処理方法および画像処理装置 - Google Patents

Description

この発明は、画像処理方法および画像処理装置に関し、特に、少なくとも２種類の異なる波長範囲の光のそれぞれに基づく画像を提供する撮像装置を用いた画像処理方法および当該撮像装置から提供される画像を用いて画像処理を実行する画像処理装置に関する。

ＦＡ（Factory Automation）分野などにおいては、ワークなどの被測定物に生じる欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。

このような視覚センサを用いて検査や計測を行なう場合には、被測定物を適切に撮影する必要がある。一般的に、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどからなる撮像装置のダイナミックレンジ（輝度を表現可能な階調範囲）は有限である。そのため、撮影時の露光量が多くなると、全面的もしくは部分的に白飛び（ハレーション）を生じてしまい、被測定物の輝度情報および色情報を正確に取得できない。逆に、撮影時の露光量が少なくなると、全面的もしくは部分的に黒つぶれを生じてしまい、有効な輝度情報を取得できない。さらに、局所的に反射率が異なる部分をもつ被測定物や曲率の大きな部分をもつ被測定物では、照明などの影響を受けて、部分的な白飛びや黒つぶれが発生し得る。

このように、同一の被測定物から放射される光パワー（単位時間当たりに入射する光エネルギー）の最小値と最大値との差が、撮像装置のダイナミックレンジの範囲を超える場合には、被測定物の全体を適切に撮影することができないという問題があった。

そこで、同一の被測定物を異なる露光量で複数回撮影し、これによって得られる複数の画像データを合成することで、ダイナミックレンジを拡大させる技術が知られている。このような処理は、ハイダイナミック合成処理やスーパーラチチュード処理（Super Latitude process；ＳＬ処理）とも称される。たとえば特開２００２−３３４３２６号公報（特許文献１）には、ダイナミックレンジ拡大を少ない計算処理負荷によって実現する視覚センサが開示されている。
特開２００２−３３４３２６号公報

なお、撮影時の露光量が全体として適切であっても、被測定物と照明などの光源との位置関係によってハレーションが生じる場合がある。このことを、図１６および図１７を参照して説明する。

図１６（Ａ）では、撮像装置９０８は、照明９０９から発せられる光を受けた被測定物９０２の画像を撮影する。図１６（Ｂ）には、撮影される画像の一例を示す。

ここで、被測定物９０２にがたつき等が生じ、図１６（Ｃ）において被測定物９０２Ａとして示されるように照明９０９との位置関係が変化した場合、図１６（Ｄ）に示されるように、撮影される画像において、被測定物９０２Ａの表面の一部にハレーションが生じる場合がある。図１６（Ｄ）では、ハレーションが生じた部分が領域Ｘで示されている。

図１７（Ａ）には、被測定物９０３が、長く連続した研磨目をもった仕上げを施されたいわゆるヘアラインを有する場合に、撮像装置９０８によって当該被測定物９０３の画像を撮影される様子が示されている。図１７（Ｂ）には、図１７（Ａ）に示された状態で撮影された画像の一例を示す。

図１７（Ｂ）では、領域Ｙ１に、被測定物９０３に対応する画像が示されている。
ここで、被測定物９０３が、図１７（Ｃ）において被測定物９０３Ａとして示されるように、図１７（Ａ）における照明９０９との相対的な位置関係が９０°回転するような状態で、カメラ９０２によって撮影される位置に送られてきた場合を想定する。このような場合に、撮像装置９０８によって撮影される画像の一例を図１７（Ｄ）に示す。

図１７（Ｃ）に示される被測定物９０３Ａは、がたつきが生じていなくとも、図１７（Ａ）に示された被測定物９０３に対して９０°回転した状態にあることから、図１７（Ｄ）では、被測定物９０３Ａに対応する領域Ｙ２では、ハレーションが発生している。

そして、撮像装置から供給される被測定物についての画像において上記のようにハレーションが発生していると、画像処理装置では、当該ハレーションが発生している領域についての被測定物の輝度情報や色情報が正確に取得できず、被測定物の検査や計測に支障をきたすおそれがあった。

本発明は、かかる実情に鑑み考え出されたものであり、その目的は、被検査物と照明の相対的な位置関係が変化しても、確実に被測定物の検査や計測が可能な画像処理方法および画像処理装置を提供することである。

本発明に従った画像処理方法は、被測定物に対して少なくとも異なる２つの方向からそれぞれ異なる波長範囲の光を照射するステップと、前記異なる波長範囲ごとに、前記被測定物からの反射光についての受光光量を検出するステップと、画素毎に前記異なる波長範囲の受光光量を比較するステップと、前記異なる波長範囲の受光光量を、前記比較の結果に基づいて重み付けをして合成することにより、前記被測定物に関する受光光量についての画像を生成するステップとを備える。

また、本発明に従った画像処理方法では、前記重み付けは、前記異なる波長範囲の受光光量のうち反射光量が大きい受光光量を小さい受光光量に対して低い割合で合成するためのものであることが好ましい。

また、本発明に従った画像処理方法は、前記波長範囲ごとに、受光光量の検出の結果の増幅度合いを変更する情報の入力を受付けるステップをさらに備え、前記受光光量を比較するステップは、前記受付けた情報に基づいて前記波長範囲ごとの受光光量を増幅して、前記異なる波長範囲の受光光量を比較することが好ましい。

また、本発明に従った画像処理方法では、前記異なる波長範囲の光は、赤色の光と青色の光を含むことが好ましい。

また、本発明に従った画像処理方法では、前記異なる２つの方向は、直交する方向であることが好ましい。

本発明に従った画像処理装置は、少なくとも２種類の異なる波長範囲の光を互いに異なる方向で被測定物に照射し、前記被測定物からの各波長範囲の反射光についての受光光量を検出する撮像装置が提供する画像を利用した画像処理装置であって、画素毎に前記異なる波長範囲の受光光量を比較する比較手段と、前記異なる波長範囲の受光光量を、前記比較手段による比較の結果に基づいて重み付けをして合成することにより、前記被測定物に関する受光光量についての画像を生成する画像生成手段と、前記画像生成手段が生成した画像を表示させる表示手段と、前記波長範囲ごとに、受光光量の検出の結果の増幅度合いを変更する情報の入力を受付ける受付手段とを備え、前記比較手段は、前記受付手段に前記情報が入力された場合には、当該情報に基づいて前記波長範囲ごとに増幅された受光光量を比較し、前記画像生成手段は、前記受付手段に前記情報が入力された場合には、前記比較手段が前記情報に基づいて前記波長範囲ごとに受光光量を増幅した後での当該受光光量についての比較結果に基づいて、前記異なる波長範囲の受光光量を合成することにより前記画像を生成し、前記表示手段は、前記受付手段に前記情報が入力された場合には、当該情報の入力後に前記画像生成手段によって生成された画像を表示させる。

本発明の画像処理方法によれば、被測定物に対して異なる複数の方向から照射された光のそれぞれについての反射光が検出されることにより、これらの反射光の中の少なくとも１つにハレーションが生じていないことを期待できる。つまり、本発明の画像処理方法によれば、被測定物と当該被測定物に対してある方向から光を照射する光源との相対的な位置関係が変化してハレーションが生じた場合でも、併せて検出される当該被測定物に対して他の方向から照射される光についての受光強度を利用することによって上記ハレーションの影響を抑えることができ、したがって、被測定物の検査や計測が可能となる。

また、本発明の画像処理方法によれば、上記したような、被測定物に対して複数の方向から照射される光は、互いに異なる波長範囲の光とされることにより、それぞれの方向から照射された光についての反射光が同時に検出されても、それぞれの方向から照射された光による反射光を波長範囲に基づいて分離して受光強度を検出することができる。したがって、被測定物に対して複数の方向から照射される光についての反射光を、照射される方向ごとに異なるタイミングで検出する場合に比べて、処理時間の短縮化を図ることができる。

本発明の画像処理装置によれば、被測定物と当該被測定物に対してある方向から光を照射する光源との相対的な位置関係が変化してハレーションが生じた場合でも、撮像装置において当該ある方向から光を照射された被測定物の受光光量と併せて検出される当該被測定物に対して他の方向から照射される光についての受光光量を利用することにより、被測定物の検査や計測が可能となる。

また、本発明の画像処理装置によれば、被測定物に対して複数の方向から光を照射したことによる受光光量を方向ごとに波長範囲を区別することにより一括して扱えることにより、撮像装置に被測定物に対して照射される光の方向ごとに当該被測定物の受光光量を検出させる場合に比べて、処理時間の短縮化を図ることができる。

また、本発明の画像処理装置によれば、異なる方向から光を照射したことに基づく複数の受光光量について、当該複数の受光光量の比較結果に基づいてそれぞれを重み付けされて生成された画像を表示させることができる。さらに、本発明の画像処理装置によれば、当該画像の生成の元となる、各方向から光を照射したことに基づく受光光量について、光の照射方向ごとに増幅する度合いを変更する情報が入力されれば、入力された度合いに応じて受光光量を増幅して、再度、上記画像を生成し、表示させることができる。これにより、ユーザが上記画像を視認しながら光の照射方向ごとに受光光量の増幅度合いを調整できる。

＜全体装置構成＞
図１は、この発明の実施の形態に従う画像処理装置を含む視覚センサシステム１の全体構成を示す概略図である。

図１を参照して、視覚センサシステム１は、代表的に生産ラインなどに組込まれ、被測定物（以下「ワーク」とも称す。）における欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする。一例として、この発明の実施の形態においては、ワーク２は、ベルトコンベヤなどの搬送機構６によって搬送され、搬送されたワーク２は、撮像装置８によって順次撮影される。撮像装置８によって撮影された画像データ（以下「入力画像データ」とも称す。）は、本実施の形態に従う画像処理装置を実現する代表例であるコンピュータ１００へ伝送される。本実施の形態においては、主として、カラーの入力画像データを扱う処理について説明する。

なお、撮像装置８で撮影されるワーク２に対して光を照射する照明機構をさらに設けてもよい。

また、ワーク２が撮像装置８の撮影範囲に到達したことは、搬送機構６の両端に配置された光電センサによって検出される。具体的には、光電センサは、同一の光軸上に配置された受光部４ａと投光部４ｂとからなり、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。なお、搬送機構６の制御自体は、図示しないＰＬＣ（Programmable Logic Controller）などによって制御される。

撮像装置８は、上述した光電センサによってワーク２の到着が検出されると、これに応じてワーク２の撮影を開始する。あるいは、撮像装置８は、連続的に撮影を行っておき、ワーク２の到着が検出されると、後述するワーク２の検査や計測のための入力画像データとして伝送し、または、コンピュータ１００は、撮像装置８に当該入力画像データの伝送を要求したりしてもよい。

一例として、撮像装置８は、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。各画素に対応する撮像素子は、入射する光に対して１つまたは複数の分光感度を有している。

より具体的には、撮像装置８の撮像素子は、一例として、各画素について、光の三原色に基づく「赤色」「緑色」「青色」のそれぞれに分光感度を有している。そして、撮像装置８の撮像素子は、入射する光についての「赤色」「緑色」「青色」の３色の検出値（Ｒ輝度、Ｇ輝度、Ｂ輝度）を出力する。ここで、たとえば、Ｒ輝度（以降、「Ｒ濃度値」ともいう）は、撮像素子に入射する光のうち、赤色の分光感度に含まれる波長成分に相当する光のエネルギー（光強度）の大きさを示す。Ｇ輝度およびＢ輝度（以降、それぞれ「Ｇ濃度値」「Ｂ濃度値」ともいう）についても、それぞれ対応の分光感度に含まれる波長成分に相当する光のエネルギー（光強度）の大きさを示す。また、本実施の形態においては、Ｒ輝度、Ｇ輝度、Ｂ輝度は、いずれも８ビット（０〜２５５階調）の範囲で規定されるものとする。

なお、撮像素子が有する分光感度は３つ（３バンド）に限定されることなく、より多くの色に分光感度をもつようにしてもよい。このようなマルチバンドの撮像素子を用いることで、より撮像可能な色域を拡大させることができる。あるいは、光の三原色の補色である「シアン」「マゼンダ」「黄色」の３色の検出値（Ｃ輝度、Ｍ輝度、Ｙ輝度）を分光感度として有していてもよい。また、単板式のＣＣＤなどを用いる場合には、各画素が「赤色」「緑色」「青色」のうち１色だけについて受光感度を有している場合がある。このような場合には、図示しない補間部によって、「赤色」「緑色」「青色」の各々についての輝度をもつ入力画像データを生成してもよい。

本実施の形態に従う撮像装置８は、後述する赤色照明９Ｒと青色照明９Ｂ（図３参照）のように、少なくとも異なる２つの波長範囲の光を照射されたワーク（被測定物）２の画像を撮影し、それぞれの波長範囲についての輝度データを生成して画像処理装置に出力する。したがって、撮像素子は、ワーク２に照射された少なくとも２種類の波長範囲について受光感度を有する必要がある。

本実施の形態に従う撮像装置８は、撮影時の露光量を変更可能である。この露光量とは、各撮像時において撮像素子に入射する光エネルギーを調整するための値であり、代表的に、光学系のしぼり量や機械的または電子的なシャッター速度によって調整される。本実施の形態では、露光量の代表例として「露光時間」を調整する構成について例示するが、露光時間に限られず、しぼり量などを調整するようにしてもよい。

一方、コンピュータ１００は、ＦＤ（Flexible Disk）駆動装置１１１およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１１３を搭載するコンピュータ本体１０１と、モニタ１０２と、キーボード１０３と、マウス１０４とを含む。そして、コンピュータ本体１０１は、予め格納されたプログラムを実行することで、本実施の形態に従う画像処理装置を実現する。

＜ハードウェア構成＞
図２は、コンピュータ１００のハードウェア構成を示す概略構成図である。

図２を参照して、コンピュータ本体１０１は、図１に示すＦＤ駆動装置１１１およびＣＤ−ＲＯＭ駆動装置１１３に加えて、相互にバスで接続された、ＣＰＵ（Central Processing Unit）１０５と、メモリ１０６と、固定ディスク１０７と、カメラインターフェイス部１０９と、ＰＬＣインターフェイス部１１５と、センサインターフェイス部１１７とを含む。

ＦＤ駆動装置１１１にはＦＤ１１２が装着可能であり、ＣＤ−ＲＯＭ駆動装置１１３にはＣＤ−ＲＯＭ１１４が装着可能である。上述したように、本実施の形態に従う画像処理装置は、ＣＰＵ１０５がメモリ１０６などのコンピュータハードウェアを用いて、プログラムを実行することで実現される。一般的に、このようなプログラムは、ＦＤ１１２やＣＤ−ＲＯＭ１１４などの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなプログラムは、ＦＤ駆動装置１１１やＣＤ−ＲＯＭ駆動装置１１３などにより記録媒体から読取られて、記憶装置である固定ディスク１０７に一旦格納される。さらに、固定ディスク１０７からメモリ１０６に読出されて、ＣＰＵ１０５により実行される。

ＣＰＵ１０５は、プログラムされた命令を順次実行することで、各種の演算を実施する演算処理部である。メモリ１０６は、ＣＰＵ１０５でのプログラム実行に応じて、各種の情報を一時的に記憶する。

カメラインターフェイス部１０９は、コンピュータ本体１０１と撮像装置８との間のデータ通信を仲介するための装置であり、画像バッファ１０９ａと設定部１０９ｂを含む。

画像バッファ１０９ａは、撮像装置８で撮影され順次伝送される入力画像データを一旦蓄積し、１回の撮影分の入力画像データが蓄積されると、その蓄積されたデータをメモリ１０６または固定ディスク１０７へ転送する。

設定部１０９ｂは、ＣＰＵ１０５からの内部コマンドに従って、撮影前に撮像装置８にコマンドを送信し、撮像装置８における露光時間等の各種の内容を設定する。

ＰＬＣインターフェイス部１１５は、コンピュータ本体１０１と図示しないＰＬＣとの間のデータ通信を仲介するための装置である。また、センサインターフェイス部１１７は、上述した光電センサなどからの検出信号を受信して、ＣＰＵ１０５へ伝達する。

固定ディスク１０７は、ＣＰＵ１０５が実行するプログラムや入力画像データなどを記憶する不揮発性の記憶装置である。

コンピュータ本体１０１に接続されるモニタ１０２は、ＣＰＵ１０５が出力する情報を表示するための表示装置であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。後述するように、本実施の形態に従うモニタ１０２は、ワーク２を撮影して生成される合成画像、１回あたりの処理に要する見込みの処理時間、合成画像を構成する画素の輝度についてのヒストグラムなどを表示する。

マウス１０４は、クリックやスライドなどの動作に応じたユーザからの指令を受付ける。キーボード１０３は、入力されるキーに応じたユーザからの指令を受付ける。

また、コンピュータ１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

図３（Ａ）〜図３（Ｃ）は、撮像装置８の撮像素子の構成の一例を模式的に示す図である。

図３（Ａ）は、赤色の分光感度を有する撮像素子の配列を示し、図３（Ｂ）は、緑色の分光感度を有する撮像素子の配列を示し、図３（Ｃ）は、青色の分光感度を有する撮像素子の配列を示す。

図３（Ａ）〜図３（Ｃ）を参照して、撮像装置８は、行列状の画素に区画された撮像素子を含み、各画素は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の分光感度が割り当てられている。図３（Ａ）〜図３（Ｃ）を通してＲ，Ｇ，Ｂのそれぞれに付された数字が同じ区画は、同じ画素に対応することを意味する。そのため、撮像装置８の各画素からは、これらの分光感度に含まれる波長成分に相当する光のエネルギー量（光強度）を示す値（輝度または濃度値）が出力される。

＜撮影原理＞
図４は、図１に示した撮像装置８による被測定物の撮影の原理を模式的に示す図である。

図４を参照して、この実施の形態の視覚センサシステム１では、ワーク２に対して、赤色照明９Ｒと青色照明９Ｂが備えられている。撮像装置８は、これらの照明に照らされたワーク２を撮影する。赤色照明９Ｒは、赤色の波長範囲（たとえば、625〜740nm）の光を照射する照明であり、また、青色照明９Ｂは、青色の波長範囲（たとえば、450〜485nm）の光を照射する照明である。これらは、たとえば、白色光の光源に特定波長範囲をカットする色フィルタを設置して用いることにより構成できる。軸９０Ｒと軸９０Ｂは、それぞれ、赤色照明９Ｒと青色照明９Ｂが照射する光の光軸を示す。

なお、赤色照明９Ｒと青色照明９Ｂでは、ワーク２に対向する角度が異なる。したがって、視覚センサシステム１では、ワーク２は、異なる複数の方向から、それぞれ異なる波長範囲の光を照射された状態で、その画像を撮像装置８に撮影される。

＜画像処理装置における制御構造＞
図５は、この発明の実施の形態に従う画像処理装置の制御構造を示す機能ブロック図である。

図５を参照して、この発明の実施の形態に従う画像処理装置は、撮影制御部３００と、画像メモリ３０２と、Ｒメモリ３０５Ｒと、Ｇメモリ３０５Ｇと、Ｂメモリ３０５Ｂと、輝度情報更新部３０４と、輝度情報合成部３０８と、画像生成部２１２を含む。

なお、画像メモリ３０２、Ｒメモリ３０５Ｒ、Ｇメモリ３０５Ｇ、およびＢメモリ３０５Ｂは、本実施の形態に従う画像処理装置の記憶部であるメモリ１０６または固定ディスク１０７にそれぞれの領域が確保されることで、実現される。画像メモリ３０２は、撮像装置８の撮像素子の画素サイズに対応した２次元配列を３プレーン分（Ｒ，Ｇ，Ｂ）含む構成となっており、その他のメモリの各々は、撮像装置８の撮像素子の画素サイズに対応した２次元配列になっている。

図５を参照して、撮影制御部３００は、撮像装置８に赤色照明９Ｒと青色照明９Ｂからの光を受けたワーク２を撮影させることにより入力画像データを生成させる。より具体的には、撮影制御部２００は、撮像装置８にワーク２を撮影させる。撮像装置８が撮影することによって生成した入力画像データは、カメラインターフェイス部１０９の画像バッファ１０９ａ（図２）に一旦蓄積された後、画像メモリ３０２へ転送される。上述したように、画像メモリ３０２は、１つの入力画像データを格納できるサイズに構成されている。新たな入力画像データが画像メモリ３０２に格納されると、輝度情報更新部３０４は、その中の、Ｒ濃度値のデータでＲメモリ３０５Ｒを、Ｇ濃度値のデータでＧメモリ３０５Ｇを、Ｂ濃度値のデータでＢメモリ３０５Ｂを、それぞれの記憶内容を更新する。

なお、入力画像データが画像メモリ３０２に格納された後、撮像装置８によって引き続く撮影が行なわれて入力画像データが新たに生成されると、当該入力画像データは画像メモリ３０２に上書きして格納される。そのため、輝度情報更新部３０４における１つの入力画像データについての処理は、撮像装置８による撮影とは独立して並行処理され、新たな入力画像データが生成されるまでに完了するように構成される。

輝度情報合成部３０８は、入力画像データ中のＲメモリ３０５ＲとＢメモリ３０５Ｂの受光濃度値（受光光量）を後述するように合成して、合成画像データを生成する。

＜合成画像データの生成＞
本実施の形態の画像処理装置では、赤色照明９Ｒと青色照明９Ｂからの光を受けたワーク２を撮影することによって生成された画像データが入力画像データとして入力されるため、入力画像データは、赤色の反射光についての受光濃度値（Ｒ濃度値）と青色の反射光についての受光濃度値（Ｂ濃度値）から主に構成される。

図６（Ａ），図６（Ｂ），図６（Ｃ）に、入力画像データ，入力画像データ中のＲ濃度値，入力画像データ中のＢ濃度値に基づいて表示される画像（それぞれ、入力画像，Ｒプレーン画像，Ｂプレーン画像）の一例を示す。

まず図６（Ａ）を参照して、入力画像Ｗ１では、領域Ｚ１等にハレーションが生じている。

次に、図６（Ｂ）および図６（Ｃ）を参照して、Ｒプレーン画像Ｗ２では、ハレーションが生じていないのに対して、Ｂプレーン画像Ｗ３では、領域Ｚ３等においてハレーションが生じている。

これにより、入力画像Ｗ１においてハレーションが生じていたのは、Ｂプレーン画像Ｗ３においてハレーションが生じていたことが起因していたものであり、また、Ｒプレーン画像Ｗ２にハレーションが生じていないのにＢプレーン画像Ｗ３にハレーションが生じているのは、図４を参照して説明したように、赤色照明９Ｒと青色照明９Ｂとで、ワーク２に対して光を照射する向きが異なることに起因していると考えられる。

本実施の形態では、輝度情報合成部３０８は、入力画像データを、画素毎に、そして、各色についての受光濃度値ごとに、処理することによって、合成画像データを生成する。具体的には、画素毎に、Ｒ濃度値とＢ濃度値を比較し、比較結果に基づいてＲ濃度値とＢ濃度値を重み付けをして合成することにより、合成画像データを生成する。さらに具体的には、入力画像データの各画素について、Ｒ濃度値とＢ濃度値の中で、高い方の濃度値（反射光量が大きい方の濃度値）を他方の濃度値に対して低い割合で合成して、または、当該他方の濃度値のみで当該画素の濃度値を構成させることにより、合成画像データを生成する。

図６（Ｄ）は、輝度情報合成部３０８によって生成された合成画像データに基づく画像の一例である合成画像Ｗ４を示す。上記のように合成画像データが生成されることにより、合成画像Ｗ４では、ハレーションが見られなくなっている。

＜合成画像データ生成の具体的な処理内容＞
次に、上記のような合成画像データを生成するために、輝度情報合成部３０８が実行する具体的な処理（合成画像データ生成処理）の内容について、当該処理のフローチャートである図７を参照して説明する。

合成画像データ生成処理では、輝度情報合成部３０８は、まずステップＳ１０で、Ｒメモリ３０５Ｒに記憶された第１番目の画素の濃度値（図３（Ａ）の「Ｒ１」）とＢメモリ３０５Ｂに記憶された第１番目の画素の濃度値（図３（Ｃ）の「Ｂ１」）を読込んで、ステップＳ２０へ処理を進める。

ステップＳ２０では、輝度情報合成部３０８は、直前のステップＳ１０（または、後述するステップＳ６０）で読込んだＲ濃度値とＢ濃度値とを比較して、ステップＳ３０へ処理を進める。

ステップＳ３０では、輝度情報合成部３０８は、ステップＳ２０における比較の結果、低い方の濃度値をＤ１とし、高い方の濃度値をＤ２として、ステップＳ４０へ処理を進める。

ステップＳ４０では、輝度情報合成部３０８は、次の式（１）に従って、現在処理対象とされている画素についての合成データＤＣを算出して、ステップＳ５０へ処理を進める。

DC=[D1×{R1/(R1+R2)}]+[D2×{R2/(R1+R2)}] …（１）
式（１）は、Ｒ濃度値とＢ濃度値を、これらの濃度値の大小関係に基づいて重み付けをして合成することにより合成データＤＣを生成するものである。式（１）中で、Ｒ１とＲ２は重み付けのために用いられる定数であって、次の式（２）の関係がある。

R1>R2 …（２）
つまり、処理対象となっている画像について、Ｒ濃度値とＢ濃度値の中で、濃度値の低い方が高い割合で合成されて合成データＤＣが生成される。

ステップＳ５０では、輝度情報合成部３０８は、入力画像データ中のすべての画素について合成データＤＣを生成したか否かを判断し、まだ生成していないと判断するとステップＳ６０へ処理を進める。

ステップＳ６０では、輝度情報合成部３０８は、処理対象とする画素を現在処理対象としていた画素の次の画素とし、当該次の画素のＲ濃度値とＢ濃度値を読込んで、処理をステップＳ２０へ戻す。

一方、ステップＳ５０においてすべての画素について合成データＤＣを生成したと判断すると、輝度情報合成部３０８は、ステップＳ７０へ処理を進める。

ステップＳ７０では、輝度情報合成部３０８は、すべての画素についての合成データＤＣによって合成画像データを生成し、これを、ワーク２の検査や計測のために利用するために出力して、合成画像データ生成処理を終了させる。

以上説明した合成画像データ生成処理では、各画素についてのＲ濃度値とＢ濃度値とを、式（１）を用いて、大小関係に基づいた重み付けをして合成するにより、合成データＤＣが生成された。

ここで、Ｒ１とＲ２は、式（２）の関係を満たす限り、予め設定されていてもよいし、ユーザによって入力された情報に基づいて適宜変更されてもよい。

図８に、合成画像データ生成処理の変形例のフローチャートを示す。図８に示された処理は、基本的に図７に示された処理と同様であるが、ステップＳ３０の後、（ステップＳ４０の代わりに）ステップＳ４１の処理が実行される点が異なる。ステップＳ４１では、輝度情報合成部３０８は、処理対象となっている画素について、Ｒ濃度値とＢ濃度値のうち、濃度値が低い方の濃度値を、合成データＤＣとしている。つまり、この変形例では、Ｒ濃度値とＢ濃度値が、上記式（１）におけるＲ２の値が「０」とされて合成されて合成データＤＣが生成されていることになり、結果として、各画素の合成画像データは、異なる波長範囲ごとの受光光量の中の最も少ない受光光量が当該画素の受光光量とされる。

＜合成画像データに基づく画像の具体例＞
次に、本実施の形態の視覚センサシステム１によって生成された合成画像データに基づいて表示される画像の具体例を、図９および図１０を参照して説明する。

図９を参照して、本実施の形態の視覚センサシステム１による処理の前後の画像の一例を示す。

図９（Ａ）は、入力画像データに基づく画像であり、図９（Ｂ）は、上記したような合成画像データ生成処理によって生成された合成データに基づく画像の一例である。なお、図９（Ａ）および図９（Ｂ）は、ビニール素材でできた菓子の個包装を撮影して得られた画像である。

図９（Ａ）では、領域Ｚ１０では、赤色のハレーションが生じ、また、領域Ｚ１１では、青色のハレーションが生じている。つまり、領域Ｚ１０に対応する領域では、赤色照明９Ｒから照射された光についてハレーションが生じており、また、領域Ｚ１１に対応する領域では、青色照明９Ｂから照射される光によってワーク２上でハレーションが生じていることになる。

図９（Ｂ）では、図９（Ａ）の画像において領域Ｚ１０および領域Ｚ１１で生じていたハレーションが、消滅している。

これは、合成画像データにおいて、赤色のハレーションが生じていた領域Ｚ１０の各画素については、Ｂ濃度値が高い割合で合成されて（または、Ｂ濃度値のみで）合成データが生成され、また、青色のハレーションが生じていた領域Ｚ１１の各画素については、Ｒ濃度値が高い割合で合成されて（または、Ｒ濃度値のみで）合成データが生成されたことに基づくと考えられる。

図１０（Ａ）は、入力画像データに基づく画像を示し、図１０（Ｂ）は、図１０（Ａ）の画像に対応する入力画像データを本実施の形態の合成画像データ生成処理によって処理することにより生成された合成データに基づく画像の一例を示している。なお、図１０（Ａ）および図１０（Ｂ）は、テーピングされた電子部品を撮影して得られた画像である。

図１０（Ａ）に示された画像では、被測定物に対応する画像Ｚ２１上に青色の光によるハレーションが生じているとともに、画像Ｚ２１の下方には被測定物とは無関係の格子状のハレーションが生じている。

本実施の形態の合成画像データ生成処理によれば、図１０（Ｂ）に示すように、これらのハレーションを除去することができる。

＜照明の構成＞
本実施の形態の視覚センサシステム１では、撮像装置８で撮影されるワーク２に対して光を照射する照明機構は、撮像装置８と一体的に設けられてもよいし、図４に模式的に示されたように撮像装置８とは別体で設けられてもよい。

なお、本実施の形態では、互いに異なる波長範囲の光をワーク２に対して照射する少なくとも２つの照明が必要とされる。これらの照明は、ワーク２に対して互いに異なる方向で光を照射するために、離間して設置される。

また、いずれの照明も、ワーク２の、撮影対象となる面に対して均一に光を照射できるように配置等されることを必要とされる。

また、これらの照明の強度は同程度であることが好ましい。なお、照明の強度に差がある場合であっても、各照明によって得られる反射光についてのそれぞれの受光強度のバランス調整を行なうことにより、ある程度の照明強度の差は補填できると考えられる。

なお、本実施の形態では、色の異なる光を異なる方向からワーク２に照射して、それぞれの色の反射光の受光濃度に基づいて、ワーク２についての画像を生成する。したがって、本実施の形態の視覚センサシステムの被測定物としては、照明の色が変化しても反射特性に大きな差を生じないような、色味のない（無彩色の）物体であることが好ましい。

また、ワーク２に照射される、互いに異なる波長範囲の光は、ワーク２に対して異なる向きとされる。ここで、向きが異なるとは、図４において軸９０Ｒと軸９０Ｂとして示したように、ワーク２に対する光軸が互いに交わることを意味する。光軸の交わる角度は、９０°が好ましいが、特にこれに限定されない。

図１１に、撮像装置８０の底面に赤色照明９Ｒと青色照明９Ｂとが設けられる場合の、これらの配置のパターンを、図１１（Ａ）〜図１１（Ｄ）に例示する。なお、図１１（Ａ）〜図１１（Ｄ）では、矩形状に示された赤色照明ＬＲ１〜ＬＲ６および青色照明ＬＢ１〜ＬＢ６は、それぞれ赤色または青色の光を発する領域として示されている。

図１１（Ａ）では、赤色照明ＬＲ１と青色照明ＬＢ１とは、ほぼ正方形で示された撮像装置８の底面において、当該正方形の対向する２辺にそれらの長手方向が沿うように、配置されている。この配置により、撮像装置８のほぼ真下に配置されたワーク２に対して、赤色照明ＬＲ１と青色照明ＬＢ１がワーク２に対して照射する光の光軸は、向きが異なるものとなる。

図１１（Ｂ）では、赤色照明ＬＲ２と青色照明ＬＢ２とが、撮像装置８の底面において、これらの長手方向が直交するように、配置されている。この配置により、撮像装置８のほぼ真下に配置されたワーク２に対して、赤色照明ＬＲ２と青色照明ＬＢ２がワーク２に対して照射する光の光軸は、向きが異なるものとなる。

図１１（Ｃ）では、撮像装置８の底面において、赤色照明ＬＲ３は、その長手方向が青色照明ＬＢ３および青色照明ＬＢ４の長手方向に対して直交するように配置され、また、赤色照明ＬＲ４も、同様に、その長手方向が、これらの長手方向に直交するように配置されている。この配置により、撮像装置８のほぼ真下に配置されたワーク２に対して、赤色照明ＬＲ３，ＬＲ４と青色照明ＬＢ３，ＬＢ４がワーク２に対して照射する光の光軸は、向きが異なるものとなる。

図１１（Ｄ）では、赤色照明ＬＲ５は、その長手方向を、青色照明ＬＢ５の長手方向に対して直交するように配置され、また、赤色照明ＬＲ６は、その長手方向を、青色照明ＬＢ６の長手方向に直交するように配置されている。この配置により、赤色照明ＬＲ５と赤色照明ＬＲ６を一体として赤色照明と考え、また、青色照明ＬＢ５と青色照明ＬＢ６とを一体として青色照明と考えた場合、撮像装置８のほぼ真下に配置されたワーク２に対して、赤色照明と青色照明がワーク２に対して照射する光の光軸は、向きが異なるものとなる。

＜操作画面の説明＞
図１２〜図１５は、モニタ１０２において表示される、合成画像データ生成処理によって生成された合成画像データによる画像を含む画面の一例を示す。

まず、図１２を参照して、画面４００には、表示欄４０１，４０１Ａ、表示切替ボタン４０２、スライドバー４０３、数値入力欄４０４およびＯＫボタン４０５が含まれる。

表示欄４０１には、入力画像データが入力されて初めて生成された合成画像データに基づく画像が表示される。

表示欄４０１Ａには、表示欄４０１に表示された画像が縮小して表示される。
スライドバー４０３は、合成画像データ生成処理において用いられる、入力画像データにおけるＲ濃度値やＢ濃度値の増幅度合いを０％から２００％に変更するための情報を入力するためのものである。

図１２では、スライドバー４０３のスライドボタンは中央に位置している。これは、Ｒ濃度値とＢ濃度値の増幅度がいずれも１００％であることに対応している。

スライドボタンが左側に移動されるほど、Ｂ濃度値の増幅度が１％ずつ増加するとともに同じ割合だけＲ濃度値の増幅度が減少する。スライドボタンが左端に移動されると、Ｂ濃度値の増幅度が２００％とされ（図１２では「＋１００％」と記載）、Ｒ濃度値の増幅度が０％とされる。

スライドボタンが右側に移動されるほど、Ｒ濃度値の増幅度が１％ずつ増加するとともに同じ割合だけＢ濃度値の増幅度が減少する。スライドボタンが右端に移動されると、Ｒ濃度値の増幅度が２００％とされ（図１２では「＋１００％」と記載）、Ｂ濃度値の増幅度が０％とされる。

数値入力欄４０４は、入力画像データ全体についてのゲイン調整値を入力するものである。

表示切替ボタン４０２は、表示欄４０１および表示欄４０１Ａに表示された画像を更新するために操作される。この更新により、表示欄４０１および表示欄４０１Ａに表示されている画像は、スライドバー４０３および数値入力欄４０４に入力された情報に基づいてＲ濃度値とＢ濃度値を増幅した後で実行された合成画像データ生成処理において生成された合成画像データに基づく画像に更新される。

つまり、表示切替ボタン４０２に対して操作されると、スライドバー４０３におけるその時点での上記のスライドボタンの位置と、数値入力欄４０４におけるゲイン調整値の値に基づいて、Ｒ濃度値とＢ濃度値が変更されて、合成画像データ生成処理が実行されて、合成画像データが生成される。そして、モニタ１０２中の画面４００において、表示欄４０１に表示されていた画像は、当該生成された合成画像データに基づく画像に更新される。

たとえば、スライドボタンが右側に移動されて、Ｒ濃度値が＋２０％となるように設定された場合、Ｂ濃度値は−２０％となるように設定されていることになる。そして、さらに、ゲイン調整値が、入力画像データの濃度値全体を１５０％に増幅するように設定されていたとする。

このような場合、Ｒ濃度値に対しての増幅率は、次の式（３）から、１．８倍と算出される。なお、式（３）において、１．２（１２０％）は、スライドボタンの位置に基づく値であり、１．５（１５０％）は、数値入力欄４０４におけるゲイン調整値の値に基づく値である。

１．２（１２０％）×１．５（１５０％）＝１．８（１８０％） …（３）
また、このような場合、Ｂ濃度値に対しての増幅率は、次の式（４）から、１．８倍と算出される。なお、式（３）において、１．２（１２０％）は、スライドボタンの位置に基づく値であり、１．５（１５０％）は、数値入力欄４０４におけるゲイン調整値の値に基づく値である。

０．８（８０％）×１．５（１５０％）＝１．２（１２０％） …（４）
そして、このような場合、表示切替ボタン４０２が操作されると、輝度情報更新部３０４は、入力画像データ中のＲ濃度値を１．８倍し、そして、入力画像データ中のＢ濃度値を１．２倍して、それぞれＲメモリ３０５Ｒ，Ｂメモリ３０５Ｂに格納し、合成画像データ生成処理に利用する。

スライドバー４０３、数値入力欄４０４および表示切替ボタン４０２に対する操作は、たとえば、キーボード１０３および／またはマウス１０４を介して入力される。

図１３〜図１５は、上記のようにスライドバー４０３および／または数値入力欄４０４に対して入力された情報に基づいてＲ濃度値およびＢ濃度値の値が変更された際の、合成画像データに基づく画像を表示する画面を示す図である。

なお、図１３には、画面４００に対して、数値入力欄４０４中のゲイン調整がなされず、スライドバー４０３のスライドボタンが中央から左側に（Ｂ濃度値の増幅率をＲ濃度値の増幅率よりも高くするように）移動された場合の、変更後の合成画像データに基づく画像を表示欄４１１，４１１Ａに示す画面４１０が示されている。

また、図１４には、画面４００に対して、スライドバー４０３のスライドボタンの位置を中央のままとされ、数値入力欄４０４にゲインを上げる（入力画像データ中の濃度値を全体的に上げる）ような数値が入力された場合の、変更後の合成画像データに基づく画像を表示欄４２１，４２１Ａに示す画面４２０が示されている。

また、図１５には、画面４００に対して、数値入力欄４０４中のゲイン調整がなされず、スライドバー４０３のスライドボタンが中央から右側に（Ｒ濃度値の増幅率をＢ濃度値の増幅率よりも高くするように）移動された場合の、変更後の合成画像データに基づく画像を表示欄４３１，４３１Ａに示す画面４３０が示されている。

＜その他の変形例等＞
以上説明した本実施の形態では、少なくとも２つの異なる波長範囲の光を被測定物に照射して、被測定物の画像を撮影する。なお、２つの異なる波長範囲の光は、本実施の形態のように、赤色の光と青色の光を含むことが好ましい。可視光の中では、これらの光の組合せは、たとえば、赤色の光と緑色（たとえば、500〜565nm）の光の組合せや青色の光と緑色の光の組合せと比較して互いの波長範囲が離れている。したがって、一方の反射光の受光光量が他方の反射光の受光光量に与える影響が少ないものと考えられる。なお、視覚センサシステム１において、被測定物の画像に利用される光は可視光に限定されない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態に従う画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。 図１の視覚センサシステムのコンピュータのハードウェア構成を示す概略構成図である。 図１の視覚センサシステムの撮像装置の撮像素子の構成の一例を模式的に示す図である。 図１の撮像装置による被測定物の撮影の原理を模式的に示す図である。 この発明の実施の形態に従う画像処理装置の制御構造を示す機能ブロック図である。 この発明の実施の形態に従う画像処理装置における合成画像データの生成について説明するための図である。 図５の輝度情報合成部が実行する合成画像データ生成処理のフローチャートである。 図７の合成画像データ生成処理の変形例のフローチャートである。 この発明の実施の形態に従う画像処理装置による画像処理の結果の一例を説明するための図である。 この発明の実施の形態に従う画像処理装置による画像処理の結果の他の例を説明するための図である。 図１の視覚センサシステムにおける照明の配置の具体例を説明するための図である。 図１の視覚センサシステム１のモニタに表示される画面の一例を示す図である。 図１の視覚センサシステム１のモニタに表示される画面の他の例を示す図である。 図１の視覚センサシステム１のモニタに表示される画面のさらに他の例を示す図である。 図１の視覚センサシステム１のモニタに表示される画面の別の例を示す図である。 従来の画像処理装置に画像データを提供する撮像装置における被測定物の撮影についての問題点を説明するための図である。 従来の画像処理装置に画像データを提供する撮像装置における被測定物の撮影についての問題点を説明するための図である。

符号の説明

１ 視覚センサシステム、２ ワーク（被測定物）、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８ 撮像装置、１００ コンピュータ、１０１ コンピュータ本体、１０２ モニタ、１０３ キーボード、１０４ マウス、１０５ ＣＰＵ、１０９ メモリ、１０７ 固定ディスク、１０９ カメラインターフェイス部、１１１ ＦＤ駆動装置、１１３ ＣＤ−ＲＯＭ駆動装置、１１５ ＰＬＣインターフェイス部、１１７ センサインターフェイス部、３００ 撮影制御部、３０２ 画像メモリ、３０４ 輝度情報更新部、３０５Ｒ Ｒメモリ、３０５Ｇ Ｇメモリ、３０５Ｂ Ｂメモリ、３０８ 輝度情報合成部、２１２ 画像生成部。

Claims (6)

1. 被測定物に対して少なくとも異なる２つの方向からそれぞれ異なる波長範囲の光を照射するステップと、
   前記異なる波長範囲ごとに、前記被測定物からの反射光についての受光光量を検出するステップと、
   画素毎に前記異なる波長範囲の受光光量を比較するステップと、
   前記異なる波長範囲の受光光量を、前記比較の結果に基づいて重み付けをして合成することにより、前記被測定物に関する受光光量についての画像を生成するステップとを備える、画像処理方法。
2. 前記重み付けは、前記異なる波長範囲の受光光量のうち反射光量が大きい受光光量を小さい受光光量に対して低い割合で合成するためのものである、請求項１に記載の画像処理方法。
3. 前記波長範囲ごとに、受光光量の検出の結果の増幅度合いを変更する情報の入力を受付けるステップをさらに備え、
   前記受光光量を比較するステップは、前記受付けた情報に基づいて前記波長範囲ごとの受光光量を増幅して、前記異なる波長範囲の受光光量を比較する、請求項１または請求項２に記載の画像処理方法。
4. 前記異なる波長範囲の光は、赤色の光と青色の光を含む、請求項１〜請求項３のいずれかに記載の画像処理方法。
5. 前記異なる２つの方向は、直交する方向である、請求項１〜請求項４のいずれかに記載の画像処理方法。
6. 少なくとも２種類の異なる波長範囲の光を互いに異なる方向で被測定物に照射し、前記被測定物からの各波長範囲の反射光についての受光光量を検出する撮像装置が提供する画像を利用した画像処理装置であって、
   画素毎に前記異なる波長範囲の受光光量を比較する比較手段と、
   前記異なる波長範囲の受光光量を、前記比較手段による比較の結果に基づいて重み付けをして合成することにより、前記被測定物に関する受光光量についての画像を生成する画像生成手段と、
   前記画像生成手段が生成した画像を表示させる表示手段と、
   前記波長範囲ごとに、受光光量の検出の結果の増幅度合いを変更する情報の入力を受付ける受付手段とを備え、
   前記比較手段は、前記受付手段に前記情報が入力された場合には、当該情報に基づいて前記波長範囲ごとに増幅された受光光量を比較し、
   前記画像生成手段は、前記受付手段に前記情報が入力された場合には、前記比較手段が前記情報に基づいて前記波長範囲ごとに受光光量を増幅した後での当該受光光量についての比較結果に基づいて、前記異なる波長範囲の受光光量を合成することにより前記画像を生成し、
   前記表示手段は、前記受付手段に前記情報が入力された場合には、当該情報の入力後に前記画像生成手段によって生成された画像を表示させる、画像処理装置。