JP5234211B2 - 画像処理装置 - Google Patents

Description

この発明は、被測定物を異なる露光条件で複数回撮影して得られる複数の画像データを用いて、ダイナミックレンジを拡大した合成画像データを生成可能な画像処理装置に関するものである。

ＦＡ（Factory Automation）分野などにおいては、ワークなどの被測定物に生じる欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。

このような視覚センサを用いて検査や計測を行なう場合には、被測定物を適切に撮影する必要がある。一般的に、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子によって画像を取得する撮像装置
のダイナミックレンジ（輝度を表現可能な階調範囲）は有限である。そのため、撮影時の露光量が多くなると、撮影される画像は全面的もしくは部分的に白飛び（ハレーション）を生じてしまい、被測定物の輝度情報および色情報を正確に取得できない。逆に、撮影時の露光量が少なくなると、全面的もしくは部分的に黒つぶれを生じてしまい、有効な輝度情報を取得できない。さらに、局所的に反射率が異なる部分をもつ被測定物や鏡面に近い凹凸をもつ被測定物では、照明などの影響を受けて、部分的な白飛びや黒つぶれが発生し得る。

このように、撮像素子上に結像される被測定物の像に含まれる最も明るい部分と最も暗い部分との明るさの差が大きく、本来得られるべき画像のダイナミックレンジが撮像素子のダイナミックレンジを超える場合には、被測定物の全体を適切に撮影することができないという問題があった。

そこで、同一の被測定物を異なる露光条件で複数回撮影し、これによって得られる複数の画像データを合成することで、ダイナミックレンジを拡大させる技術が知られている。このような処理は、ハイダイナミック合成処理やスーパーラチチュード処理（Super Latitude process；ＳＬ処理）とも称される。たとえば特開２００２−３３４３２６号公報（特許文献１）には、ダイナミックレンジ拡大を少ない計算処理負荷によって実現する視覚センサが開示されている。

特開２００２−３３４３２６号公報

被測定物のうち高い精度で表示すべき領域、あるいは検査対象とすべき領域が撮影範囲に比較して小さい場合には、撮影される画像データのすべての領域に対して輝度範囲が最適となるように合成処理を行なう必要はなく、必要な領域について輝度範囲を最適化して合成処理を行なえば十分である。

そこで、この発明は、これらの問題を解決するためになされたものであり、その目的は、必要な領域について輝度範囲を最適化した合成画像を生成できる画像処理装置を提供することである。

この発明の一実施態様によれば、被測定物を撮影して画像データを生成する撮像部に接続され、撮像部を制御するための制御指令を出力し、撮像部で撮影された画像データが入力されるカメラインターフェイス部と、表示部に接続され、表示部に表示させる表示用画像データを出力する表示画面出力部と、外部から入力を受付ける入力部と、処理を実行する処理部と、を備え、入力部から受付けた入力に基づいて設定を行なう設定モードと、設定に従う処理を実行する稼動モードとを有する画像処理装置であって、処理部は、設定モードにおいて、カメラインターフェイス部を通じて、入力される画像データの輝度を異ならせる複数の撮影条件からなる第１の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを
取得し、各画像データを構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が前記第1
の階調数よりも階調数が増加された第2の階調数で表わされた合成画像データを生成し、
合成画像データを構成する画素の輝度を表わす第2の階調数が第３の階調数となるように
必要に応じて各画素の輝度を変換することにより、表示用画像データを生成して、表示画面出力部により当該表示用画像データを出力し、入力部を通じて、表示用画像データに対する領域の指定を受付けて指定領域を設定し、および、規格化輝度の範囲毎に対応する撮影条件を予め定めた対応関係に従って、合成画像データ内の前記指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲に対応する１または複数の撮影条件を第２の撮影条件として設定する処理を行ない、稼動モードにおいて、設定モードにおいて設定された第２の撮影条件が複数の撮影条件である場合には、カメラインターフェイス部を通じて、当該設定された複数の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、各画像データを構成する画素の輝
度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が第1の階調数よりも階調数が増加された合成画像デ
ータを生成し、および、当該合成画像データ内の指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲が第４の階調数となるように各画素の輝度を変換する輝度階調変換により当該合成画像データの全領域を構成する画素の合成された規格化輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行ない、設定モードにおいて設定された第２の撮影条件が１の撮影条件である場合には、カメラインターフェイス部を通じて、当該設定された１の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による撮影条件に対応した１の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた画像データを取得し、当該画像
データを構成する画素の輝度について、当該画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、および、当該画像データ内の指定領域を構成する画素の規格化輝度の上限値および下限値により定まる指定領域内の規格化輝度の範囲が第４の階調数となるように各画素の輝度を変換する輝度階調変換により、当該画像データの全領域を構成する画素の輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行なうものである。

ここでいう規格化は、同じ被測定物を撮影しても、撮影条件が異なると各撮影条件に対
応して撮像素子に入射する光パワーの割合が異なるため、取得される画像データの画素の輝度も異なるところ、この撮影条件の違いにより撮像素子に入射する光パワーの変化の割合を補正し、共通化された輝度の尺度によって各画像の画素の輝度を表す規格化である。

第３の階調数は、表示画面出力部により出力する表示用画像データを構成する画素の輝度を表わす階調数であり、第2の階調数と等しい場合には、合成画像データを構成する画
素の輝度変換を行なう必要はなく、合成画像データがそのまま表示用画像データとなる。

本発明のこの態様によれば、設定時において、複数の撮影条件により取得された画像データをもとに合成された画像データは、１の撮像条件で取得された画像データよりも白飛びや黒つぶれが生じにくいので、この合成画像データを表示させて、正確に表示すべき領域、あるいは検査、計測すべき領域等の重要な領域の指定を受付ければ、当該領域を的確に設定し易い。

また、稼動時において、重要な領域について、限られた輝度階調の表示装置で精度良く表示したり、限られた輝度階調の画像を処理する画像処理によって精度良く検査、計測を行なうことが可能になる。重要な領域以外の領域の画像については黒つぶれや白飛び等が生じる可能性があるものの、撮像対象領域全体を共通の輝度階調変換であらわした画像を得ることから、撮像対象領域全体のおおまかな情報を保持しつつ、その中の一部である重要な領域については精度が良い画像の生成が可能となる。

また、この発明の他の実施態様によれば、被測定物を撮像して画像データを生成する撮像部に接続され、撮像部を制御するための制御指令を出力し、撮像部で撮影された画像データが入力されるカメラインターフェイス部と、表示部に接続され、表示部に表示させる表示用画像データを出力する表示画面出力部と、外部から入力を受付ける入力部と、処理を実行する処理部と、を備え、入力部から受付けた入力に基づいて設定を行なう設定モードと、設定に従う処理を実行する稼動モードとを有する画像処理装置であって、処理部は、設定モードにおいて、カメラインターフェイス部を通じて、入力される画像データの輝度を異ならせる複数の撮影条件からなる第１の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像
データを取得し、各画像データを構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、各画像データの互いに対応する座標位置にある各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成することで、画像を構成する画素の合成された規格化輝度が第1の階調数よりも階調数が増加された第2の階調数で表わされた合成画像データを生成し、合成画像データを構成する画素の輝度を表わす第2の階調数が第３の階調数となるよう
に必要に応じて各画素の輝度を変換することにより、表示用画像データを生成して、表示画面出力部により当該表示用画像データを出力し、入力部を通じて、表示用画像データに対する領域の指定を受付けて指定領域を設定し、および、規格化輝度の範囲毎に対応する撮影条件を予め定めた対応関係に従って、合成画像データ内の指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲に対応する１または複数の撮影条件を第２の撮影条件として設定する処理を行ない、稼動モードにおいて、設定モードにおいて設定された第２の撮影条件が複数の撮影条件である場合には、カメラインターフェイス部を通じて、当該設定された複数の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による複数の撮影条件に対応した複数の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた複数の画像データを取得し、指定領域に対しては、各画像データ
内の指定領域を構成する画素の輝度について、それぞれ画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、各画像データの互いに対応する座標位置にある
各画素の規格化輝度を、撮影条件に応じて予め定められた規格化輝度に対する重み付けに従って合成し、指定領域を構成する画素の合成された規格化輝度の上限値および下限値により定まる指定領域内の合成された規格化輝度の範囲が第４の階調数となるように各画素の輝度を変換する輝度階調変換により、指定領域を構成する画素の合成された規格化輝度について輝度階調変換を行った指定領域の処理対象画像データを算出し、指定領域外の領域に対しては、複数の撮影条件のうちの１の撮影条件により生成された画像データ内の前記指定領域外の領域を構成する画素の輝度について、当該画像データに対応する撮影条件に基づいて規格化した規格化輝度を算出し、輝度階調変換により、指定領域外の領域を構成する画素の規格化輝度について輝度階調変換を行った指定領域外の処理対象画像データを算出し、および、指定領域の処理対象画像データと指定領域外の処理対象画像データとからなる全領域の処理対象画像データをその後の画像処理に供するために作成する処理を行ない、設定モードにおいて設定された前記第２の撮影条件が１の撮影条件である場合には、カメラインターフェイス部を通じて、当該設定された１の撮影条件により撮像部に被測定物を撮影させるための制御指令を出力し、当該制御指令による撮影条件に対応した１の画像データの入力を受け、構成する画素の輝度について第1の階調数で表わされた画像
データを取得し、および、当該画像データ内の前記指定領域を構成する画素の規格化輝度の上限値および下限値により定まる指定領域内の輝度範囲が第４の階調数となるように各画素の輝度を変換する輝度階調変換により、画像データの全領域を構成する画素の輝度について輝度階調変換を行ない、その後の画像処理に供するための処理対象画像データを算出する処理を行なうものである。

この態様によれば、稼動時において、重要な領域以外の領域の画像を簡易に生成することができるので、処理が軽くなる。

好ましくは、第１の撮影条件に含まれる複数の撮影条件のうち、入力される画像データの輝度が最も高くなる撮影条件は、当該撮影条件に対応して入力される画像データに輝度が飽和した画素が含まれない撮影条件とされる。

これにより、設定時において指定領域を設定する際に、確実に輝度が飽和しない画像が表示されるので、ユーザは画像を確認しつつ領域の指定をより正確に行なうことができる。

好ましくは、カメラインターフェイス部を通じて入力される画像データは、色情報を含む画像データであり、処理部は、前記画素の輝度を、当該画素の色情報を構成する各成分の輝度の総和に基づいて算出し、いずれの合成画像データにおいても、合成画像データの画素の色情報を、合成画像データを生成するために用いる複数の画像データの互いに対応する座標位置にある各画素の色情報を当該画素の前記規格化輝度に対して撮影条件に応じて予め定められた重み付けに従って合成することにより算出し、いずれの処理対象画像データにおいても、処理対象画像データの画素の色情報を、輝度階調変換する前の画像データの対応する画素が有する色情報として、色情報を含む処理対象画像データを算出する。

これにより、色情報を含む処理対象画像データを算出することができる。
この発明の好ましい態様においては、撮影条件は撮像部の露光時間を含む。
また、この発明の好ましい態様においては、撮影条件はしぼり量を含む。
また、この発明の好ましい態様においては、被測定物に光を照射する照明部にさらに接続され、撮影条件は、前記照明部の照明強度を含む。

この発明によれば、設定時に合成画像データを表示させて、正確に表示すべき領域、あるいは検査、計測すべき領域等の重要な領域の指定を受付けるので、当該領域を的確に設
定し易い。稼動時に、当該重要な領域を、限られた輝度階調の表示装置で精度良く表示したり、限られた輝度階調の画像を処理する画像処理によって精度良く検査、計測を行なうことが可能になる。重要な領域以外の領域の画像については黒つぶれや白飛び等が生じる可能性があるものの、撮像対象領域全体を共通の輝度階調変換であらわした画像を得ることから、撮像対象領域全体のおおまかな情報を保持しつつ、その中の一部である重要な領域については精度が良い画像の提供が可能となる。

この発明の実施の形態１に従う画像処理装置を含む視覚センサシステム１の全体構成を示す概略図である。 コンピュータのハードウェア構成を示す概略構成図である。 ワークとして腕時計の裏面を撮影した場合の入力画像データを示す図である。 この発明の実施の形態１に従う画像処理装置の制御構造を示す機能ブロック図である。 撮像装置に設定される露光時間と撮影に適した「明るさ」との対応関係の一例を示す図である。 重み関数および応答関数の特性の一例を示す図である。 トーンマッピング部による割り当て処理を説明するための図である。 この発明の実施の形態１に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。 この発明の実施の形態１に従う画像処理装置の稼動モードにおける制御動作を説明するための図である。 この発明の実施の形態１に従う画像処理装置における「明るさ」上下限値と合成画像との関係の一例を示す図である。 この発明の実施の形態１に従う画像処理装置において処理時間の算出方法の一例を説明するための図である。 この発明の実施の形態１に従う撮影条件の変更処理を説明するための図である。 この発明の実施の形態１に従う撮影条件の変更処理の第１変形例を説明するための図である。 この発明の実施の形態１に従う撮影条件の変更処理の第２変形例に用いられる露光時間と「明るさ」との対応関係の一例を示す図である。 稼動モードの一例であるサーチ処理の表示例を示す図である。 稼動モードの一例であるエッジスキャン処理の表示例を示す図である。 この発明の実施の形態１に従う画像処理装置における全体処理を示すフローチャートである。 この発明の実施の形態１に従う画像処理装置における撮影条件の変更処理を示すフローチャートである。 図１７および図１８に示す画像合成処理サブルーチンにおける処理を示すフローチャートである。 この発明の実施の形態２に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。 この発明の実施の形態２に従う画像処理装置の制御構造を示す機能ブロック図である。 この発明の実施の形態２に従う動き適応表示モードが有効化された場合の動作を示すタイムチャートである。 この発明の実施の形態２に従う画像処理装置における「設定モード」における合成画像の表示に係るフローチャートである。 この発明の実施の形態３に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。 この発明の実施の形態３に従う画像処理装置のモニタに表示される「稼動モード」における画面表示例を示す図である。 この発明の実施の形態３に従う画像処理装置の制御構造を示す機能ブロック図である。 この発明の実施の形態４に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。 図２７において指定領域が設定された後の画面表示例を示す図である。 この発明の実施の形態４に従う画像処理装置の制御構造を示す機能ブロック図である。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

［実施の形態１］
＜全体装置構成＞
図１は、この発明の実施の形態１に従う画像処理装置を含む視覚センサシステム１の全体構成を示す概略図である。

図１を参照して、視覚センサシステム１は、代表的に生産ラインなどに組込まれ、被測定物（以下「ワーク」とも称す。）における欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする。一例として、この発明の実施の形態１においては、ワーク２は、ベルトコンベヤなどの搬送機構６によって搬送され、搬送されたワーク２は、撮像装置８によって順次撮影される。撮像部８によって撮影された画像データ（以下「入力画像データ」とも称す。）は、本実施の形態に従う画像処理装置を実現する代表例であるコンピュータ１００へ伝送される。なお、撮像部８で撮影されるワーク２に対して光を照射する照明機構をさらに設けてもよい。

また、ワーク２が撮像部８の撮影範囲に到達したことは、搬送機構６の両端に配置された光電センサによって検出される。具体的には、光電センサは、同一の光軸上に配置された受光部４ａと投光部４ｂとからなり、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。なお、搬送機構６の制御自体は、図示しないＰＬＣ（Programmable Logic Controller）などによっ
て制御される。

撮像部８は、上述した光電センサによってワーク２の到着が検出されると、これに応じてワーク２を撮影する。あるいは、連続的に撮影を行っておき、ワーク２の到着が検出されると、後述するワーク２の検査や計測を行なうようにしてもよい。

一例として、撮像部８は、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数
の画素に区画された撮像素子を含んで構成される。各画素に対応する撮像素子は、入射する光に対して複数の分光感度を有している。

より具体的には、撮像部８の撮像素子は、一例として、各画素について、光の三原色に基づく「赤色」「緑色」「青色」のそれぞれに分光感度を有している。そして、撮像装置８の撮像素子は、入射する光についての「赤色」「緑色」「青色」の３色の検出値（Ｒ輝度、Ｇ輝度、Ｂ輝度）を出力する。ここで、たとえば、Ｒ輝度は、撮像素子に入射する光のうち、赤色の分光感度に含まれる波長成分に相当する光のエネルギー（光強度）の大き
さを示す。Ｇ輝度およびＢ輝度についても、それぞれ対応の分光感度に含まれる波長成分に相当する光のエネルギー（光強度）の大きさを示す。また、本実施の形態では、Ｒ輝度、Ｇ輝度、Ｂ輝度は、いずれも８ビット（０〜２５５階調）の範囲で規定されるものとする。

なお、撮像素子が有する分光感度は３つ（３バンド）に限定されることなく、より多くの色に分光感度をもつようにしてもよい。このようなマルチバンドの撮像素子を用いることで、より撮像可能な色域を拡大させることができる。あるいは、光の三原色の補色である「シアン」「マゼンダ」「黄色」の３色の検出値（Ｃ輝度、Ｍ輝度、Ｙ輝度）を分光感度として有していてもよい。また、単板式のＣＣＤなどを用いる場合には、各画素が「赤色」「緑色」「青色」のうち１色だけについて受光感度を有している場合がある。このような場合には、図示しない補間部によって、「赤色」「緑色」「青色」の各々についての輝度をもつ入力画像データを生成してもよい。

特に、本実施の形態に従う撮像部８は、撮影時の撮影条件を変更可能である。この撮影条件には、露光条件すなわち撮像素子に入射する光エネルギーを調整するための値が含まれ、代表的に、光学系のしぼり量や機械的または電子的なシャッター速度、照明強度によって調整される。本実施の形態では、露光条件の代表例として「露光時間」を調整する構成について例示するが、露光時間に限られず、しぼり量などを調整するようにしてもよい。また、露光条件の変更に代えて、照明光の強度の調整によって同様に撮像素子に入射する光エネルギーを調整するようにしてもよい。

一方、コンピュータ１００は、ＦＤ（Flexible Disk）駆動装置１１１およびＣＤ−Ｒ
ＯＭ（Compact Disk-Read Only Memory)駆動装置１１３を搭載するコンピュータ本体１０１と、モニタ１０２と、キーボード１０３と、マウス１０４とを含む。そして、コンピュータ本体１０１は、予め格納されたプログラムを実行することで、本実施の形態に従う画像処理装置を実現する。

＜ハードウェア構成＞
図２は、コンピュータ１００のハードウェア構成を示す概略構成図である。

図２を参照して、コンピュータ本体１０１は、図１に示すＦＤ駆動装置１１１およびＣＤ−ＲＯＭ駆動装置１１３に加えて、相互にバスで接続された、ＣＰＵ（Central Processing Unit）１０５と、メモリ１０６と、固定ディスク１０７と、カメラインターフェイ
ス部１０９と、ＰＬＣインターフェイス部１１５と、センサインターフェイス部１１７とを含む。

ＦＤ駆動装置１１１にはＦＤ１１２が装着可能であり、ＣＤ−ＲＯＭ駆動装置１１３にはＣＤ−ＲＯＭ１１４が装着可能である。上述したように、本実施の形態に従う画像処理装置は、ＣＰＵ１０５がメモリ１０６などのコンピュータハードウェアを用いて、プログラムを実行することで実現される。一般的に、このようなプログラムは、ＦＤ１１２やＣＤ−ＲＯＭ１１４などの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなプログラムは、ＦＤ駆動装置１１１やＣＤ−ＲＯＭ駆動装置１１３などにより記録媒体から読取られて、記憶装置である固定ディスク１０７に一旦格納される。さらに、固定ディスク１０７からメモリ１０６に読出されて、ＣＰＵ１０５により実行される。

ＣＰＵ１０５は、プログラムされた命令を順次実行することで、各種の演算を実施する処理部である。メモリ１０６は、ＣＰＵ１０５でのプログラム実行に応じて、各種の情報を一時的に記憶する。処理に用いられる各種設定も記憶部であるメモリ１０６に記憶され
、もしくは一旦固定ディスク１０７やその他の記録媒体に格納された上でメモリ１０６へ読み出され、ＣＰＵ１０５が演算を実施する際に参照される。

カメラインターフェイス部１０９は、コンピュータ本体１０１と撮像部８との間のデータ通信を仲介するための装置であり、撮像部８で撮影された入力画像データを示す電気信号を受信してＣＰＵ１０５が処理可能なデータ形式に変換するとともに、ＣＰＵ１０５が出力した指令などを電気信号に変換して撮像部８へ送出する。特に、撮像部８によって撮影された入力画像データは、カメラインターフェイス部１０９を介して、メモリ１０６または固定ディスク１０７へ格納される。

ＰＬＣインターフェイス部１１５は、コンピュータ本体１０１と図示しないＰＬＣとの間のデータ通信を仲介するための装置である。また、センサインターフェイス部１１７は、上述した光電センサなどからの検出信号を受信して、ＣＰＵ１０５へ伝達する。

固定ディスク１０７は、ＣＰＵ１０５が実行するプログラムや入力画像データなどを記憶する不揮発性の記憶装置である。

コンピュータ本体１０１に図示しない表示画面出力部を介して接続されるモニタ１０２は、ＣＰＵ１０５が出力する情報を表示するための表示部であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。後述するように、本実施の形態に従うモニタ１０２は、ワーク２を撮影して生成される合成画像、１回あたりの処理に要する見込みの処理時間、合成画像を構成する画素の輝度についてのヒストグラムなどを表示する。

マウス１０４は、クリックやスライドなどの動作に応じたユーザからの指令を受付け、キーボード１０３は、入力されるキーに応じたユーザからの指令を受付ける入力部である。

また、コンピュータ１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

＜動作モード＞
本実施の形態に従う視覚センサシステム１は、ワーク２を撮影することで生成される合成画像データを用いて実際に検査や計測を実行する「稼動モード」と、ワーク２についての合成処理に係る設定を行なうための「設定モード」とを選択することが可能である。

ユーザは、「設定モード」において、モニタ１０２に表示される合成画像データに基づく合成画像を参照しながら、適切な撮影条件を設定する。また、「稼動モード」では、実際に生産ラインを流れるワーク２を撮影して得られる合成画像データを生成し、この合成画像データに対して検査や計測が行われる。

＜画像合成処理＞
次に、合成画像データを生成するための画像合成処理について説明する。本実施の形態に従う画像合成処理は、主として撮像部８のダイナミックレンジを拡大させるためのものである。

図３は、ワークとして腕時計の裏面を撮影した場合の入力画像データを示す図である。
図３（ａ）は、露光時間が相対的に長い条件下で１回の撮影により得られた撮影画像を示し、図３（ｂ）は、露光時間が相対的に短い条件下で１回の撮影により得られた撮影画像を示す。なお、図３（ａ）および図３（ｂ）において、撮像部へ入射する光の強度は同
じ条件、すなわちしぼり量、照明強度は同じ条件である。図３に示すワークは、金属製の時計本体部と皮革製のバンド部とを含む。両者の反射率は大きく異なるので、各部分毎に放射され（反射され）撮像部の撮像素子へ入射する光パワー（単位時間当たりに放射される光エネルギー）にも大きな差がある。

そのため、露光時間が長くなると、相対的に反射率の高い時計本体部は白飛びを生じてしまい、輝度情報を取得することができない。すなわち、図３（ａ）に示すように、時計本体部に記された文字が識別できなくなっていることがわかる。これに対して、露光時間が短くなると、相対的に反射率の低いバンド部から十分な光エネルギーを受光することができず、有効な輝度情報を取得することができない。すなわち、図３（ｂ）に示すように、バンド部は黒つぶれを生じており、ステッチなどの欠陥が識別できなくなっていることがわかる。

そこで、本実施の形態に従う画像処理装置は、同一のワークに対して取得される画像データの輝度を異ならせた撮影条件で複数回撮影し、撮影された複数の入力画像データから合成画像データを生成する。入力画像データは、撮像部８の撮像素子の各画素に入射する光エネルギーに相当する値（各色の輝度）を含んでおり、本実施の形態に従う画像処理装置は、各画素に対応するそれぞれの入力画像データの光エネルギーに相当する値（各色の輝度）と、対応する入力画像データの撮影時の撮影条件とに基づいて、合成画像データの各画素の色情報（以下、「合成色情報」とも称す。）および被測定物から各画素に入射する光パワーと所定の対応関係にある（あるいは、各画素に入射する光パワーから一意に決定される）輝度情報（以下、「合成輝度情報」とも称す。）を算出する。そして、合成色情報及び合成輝度情報に基づいて、合成画像データが生成される。

概略すると、この合成輝度情報の算出処理では、入力画像データそれぞれにおける対応する画素における光エネルギーに相当する値（輝度）を撮影条件で規格化した上で、その輝度が適切であるものが優先的に採用される。同じ被測定物を撮影しても、撮影条件が異なると、各撮影条件に対応して撮像素子に入射する光パワーの割合が異なるため、取得される画像データの画素の輝度も異なることになるが、この撮影条件の違いにより撮像素子に入射する光パワーの変化の割合を、撮影条件に基づいて補正し、共通化された輝度の尺度である規格化輝度によって各画像の画素の輝度を表している。ワークを表現する合成画像データの各画素の合成輝度情報は、主として、ワークから放射（反射を含む）される光が撮像素子によって撮影されたときに撮像素子の有するダイナミックレンジに適切におさまる撮影条件で撮影された画素がもつ情報により算出される。このような処理によって、適切な撮影条件で撮影された輝度をもつ画素の集合として、合成画像データを生成できる。図３（ｃ）は、本実施の形態に従う画像合成処理によって生成された合成画像データの一例を示す図である。図３（ｃ）に示すように、上述の画像合成処理を行なうことで、図３（ａ）のような白飛びや図３（ｂ）に示すような黒つぶれを含まない合成画像データを生成できる。

本実施の形態に従う画像合成処理は、主として以下の４つの処理によって実現される。
（１）ワークを異なる露光条件で複数回撮影する処理（撮影処理）
（２）撮影された入力画像データの輝度情報から合成輝度情報を算出する処理（輝度合成処理）
（３）撮影された入力画像データの色情報から合成色情報を算出する処理（色合成処理）
（４）合成色情報と合成輝度情報とから合成画像データを生成する処理（生成処理）
＜制御構造＞
図４は、この発明の実施の形態１に従う画像処理装置の制御構造を示す機能ブロック図である。

図４を参照して、本実施の形態に従う画像処理装置は、上述の（１）撮影処理を実現するための制御構造として、撮影制御部２００と、選択部２０２と、画像バッファ２０４ａ〜２０４ｈと、画像情報抽出部２０６ａ〜２０６ｈとを含む。また、本実施の形態に従う画像処理装置は、上述の（２）輝度合成処理を実現するための制御構造として、輝度合成部２１０と、トーンマッピング部２１４と、明るさ上下限設定部２１６と、ヒストグラム生成部２１８とを含み、上述の（３）色合成処理を実現するための制御構造として、色合成部２０８を含む。また、本実施の形態に従う画像処理装置は、上述の（４）生成処理を実現するための制御構造として、画像生成部２１２を含む。さらに、本実施の形態に従う画像処理装置は、処理時間算出部２２２を含む。尚、上記撮影制御部２００、選択部２０２、画像情報抽出部２０６ａ〜２０６ｈ、輝度合成部２１０、トーンマッピング部２１４、明るさ上下限設定部２１６、ヒストグラム生成部２１８、色合成部２０８、画像生成部２１２と処理時間算出部２２２は、処理部であるＣＰＵ１０５によりその制御及び処理が行なわれる。画像バッファ２０４ａ〜２０４ｈは、記憶部であるメモリ１０６により構成されている。

以下、上述の画像合成処理に係る各処理の内容を各機能ブロックの動作とともに説明する。

＜（１）撮影処理＞
図４を参照して、撮影制御部２００は、撮像部８に同一のワークを異なる露光条件で複数回撮影させることにより複数の入力画像データを生成する。撮影制御部２００は、ユーザ設定に応じて、どのように露光条件を変更するかについて決定する。より具体的には、本実施の形態に従う撮像部８は、一例として、シャッター速度を任意に設定可能な電子シャッターを有しており、これにより露光時間を任意に変更可能となる。その変更可能な露光時間は、一例として「１／１０秒」，「１／２０秒」，「１／４０秒」，「１／８０秒」，「１／１６０秒」，「１／３２０秒」，「１／６４０秒」，「１／１２８０秒」の８通りを標準として含む。この変更可能な露光時間群は、「１／１０秒」を基準（最も遅い値）として、２のべき乗で順次早くなるように設定されている。

特に、撮影制御部２００は、１回の合成処理に割り当てることのできる許容時間をユーザ設定として受付け、合成処理がこの許容時間を超過しないように、撮像部８による撮影回数および各撮影における露光条件（露光時間）を決定または変更する。このとき、撮影制御部２００は、上述の８通りに含まれない露光時間を採用することも可能である。なお、撮影制御部２００による撮影回数および各撮影における露光条件（以下、「撮影条件」とも称す。）の変更処理については、後述する。

撮影制御部２００は、撮影回数および各撮影における露光条件を決定すると、この決定内容に従って、撮像部８に撮影条件についての指令を与えることで、ワークを順次撮影して入力画像データを順次生成する。撮影制御部２００は、露光時間別の撮影に同期して、選択部２０２に選択指令を与える。基本的には、１つの合成画像データを生成するための一連の撮影（たとえば、露光時間が「１／１０秒」〜「１／１２８０秒」までの８回分の撮影）は、循環的に繰返される。

選択部２０２は、撮像部８と、複数の画像バッファ２０４ａ〜２０４ｈとの間に配置され、撮影制御部２００からの選択指令に応じて、画像バッファ２０４ａ〜２０４ｈのいずれか１つと撮像部８とを電気的に接続する。以下では、画像バッファ２０４ａ〜２０４ｈを総称して「画像バッファ２０４」とも記す。これにより、撮像部８で撮影された入力画像データは、撮影制御部２００からの選択指令に応じた特定の画像バッファ２０４へ伝送される。

画像バッファ２０４ａ〜２０４ｈは、撮像部８からの入力画像データを一時的に格納する記憶部であり、撮像装置における露光時間に対応付けて構成される。すなわち、各画像バッファ２０４は、対応する特定の露光時間において撮影された入力画像データのみを選択的に格納するように構成される。たとえば、画像バッファ２０４ａに露光時間「１／１０秒」が割り当てられている場合には、画像バッファ２０４ａは、露光時間が「１／１０秒」である露光条件で撮影された入力画像データのみを格納する。このような機能は、撮影制御部２００が、撮像部８に対して撮影条件についての指令を出力するのと同期して、選択部２０２に対して当該撮影条件に対応する選択指令を出力することで実現される。

上述したように、１つの合成画像データを生成するための一連の撮影が循環的に繰返されるので、各画像バッファ２０４に格納される入力画像データは、この一連の撮影に要する周期毎に更新されることになる。なお、後述するように、撮像部８に設定可能なすべての露光時間についての撮影が常に実行されるわけではなく、その一部の必要な露光時間の組においてのみ撮影が実行される場合もある。

また、後述するように、撮影制御部２００が上述の８通りに含まれない露光時間を採用する場合には、各画像バッファ２０４に対応付けられる露光時間も任意に変更され得る。

画像情報抽出部２０６ａ〜２０６ｈは、それぞれ画像バッファ２０４ａ〜２０４ｈに対応付けられており、対応の画像バッファ２０４に格納された入力画像データから、色情報および輝度情報をそれぞれ抽出する。代表的に、入力画像データは、各画素に入射する光エネルギーに相当する値である３色の輝度（Ｒ輝度、Ｇ輝度、Ｂ輝度）からなる。入力画像データの色情報は、これらの３色の輝度を規格化した上で、各輝度の相対関係（相対比）を表わしたものであり、入力画像データの輝度情報は、各画素に入射する光エネルギーに相当する値を総合的に表わしたものであり、３色の輝度の平均値（あるいは、総和）に相当する。なお、本実施の形態では、Ｒ輝度、Ｇ輝度、Ｂ輝度の各々は、いずれも８ビット（０〜２５５階調値）の範囲で規定されるとする。そのため、輝度情報についても８ビット（０〜２５５階調値）の範囲で規定される。

なお、この輝度情報および色情報を抽出する前処理として、入力画像データに対するホワイトバランス補正を行なってもよい。

そして、画像情報抽出部２０６ａ〜２０６ｈは、抽出した色情報を色合成部２０８へ出力するとともに、抽出した輝度情報を色合成部２０８および輝度合成部２１０へ出力する。

＜（２）輝度合成処理＞
図４を参照して、輝度合成部２１０は、撮像部８によって撮影された各入力画像データの光エネルギーに相当する値（輝度情報）を対応する露光条件によってそれぞれ規格化した上で、各画素の合成輝度を算出する。上述したように、露光時間を変更することで、撮影に適した光パワーの範囲が変動する。すなわち、露光時間が相対的に短ければ、光パワーのより大きな範囲の撮影に適し、露光時間が相対的に長ければ、光パワーのより小さな範囲の撮影に適する。

そこで、本明細書においては、ワークから放射される光パワーの大きさを示す「明るさ」という指標を用いる。なお、「明るさ」は、撮像部８の性能に依存する相対的な値であり、同じ「明るさ」であっても、撮像素子の感度や光学系の開放値などが異なれば、実際の光パワーは異なったものとなる。

一般的に、撮像部８の撮像素子に入射する光エネルギーの大きさは、露光時間に比例すると考えられる。そのため、本明細書における「明るさ」としては、代表的に、撮像装置８で検出された輝度を露光時間で割り、その値について対数をとったものを採用する。したがって、本明細書における「明るさ」は、単位露光時間あたりの光エネルギー（光パワー）の大きさを示す指標である。このような「明るさ」を用いることで、撮像部８に設定可能な各露光時間に対応させて、撮像部８による撮影に適した「明るさ」範囲を予め規定することができる。

より具体的には、本実施の形態に従う撮像部８に設定可能な８つの露光時間は、２のべき乗で順次短くなるようになっているので、各露光時間と「明るさ」との対応関係を図５のように定めることができる。

図５は、撮像部８に設定される露光時間と撮影に適した「明るさ」との対応関係の一例を示す図である。

図５を参照して、露光時間が「１／１０秒」である場合に撮影に適した「明るさ」の代表値を「２０」に設定すると、露光時間を１／２倍した「１／２０秒」である場合には、撮影に適した「明るさ」の代表値を「１０」だけ加算した「３０」に設定できる。このように順次設定することで、露光時間を「１／１０秒」〜「１／１２８０秒」の範囲に対応付けて、「明るさ」の代表値を「２０」〜「９０」にそれぞれ設定できる。さらに、各露光時間がカバーする範囲を「明るさ」の代表値を中心として、−側に「１０」から＋側に「１０」であると設定すると、露光時間が「１／１０秒」である場合に撮影に適した「明るさ」範囲を「１０〜３０」に設定できる。同様にして、残りの撮影時間についても、「明るさ」の代表値を中心とした「±１０」の範囲を「明るさ」範囲として採用する。

また、いずれの「明るさ」についても、複数の露光時間の「明るさ」範囲によってカバーされるように設定することが好ましい。図５に示す例においては、「明るさ」範囲が１０〜９０の範囲では、いずれの「明るさ」についても、少なくとも２つの露光時間によってカバーするように設定されている。すなわち、たとえば「５０」の「明るさ」には、「１／４０秒」、「１／８０秒」、「１／１６０秒」の３つの露光時間が対応し、この３つの露光時間によってカバーされていることを示す。ユーザが入力する「明るさ」上下限値の範囲（後述する）が狭い場合であっても、異なる露光時間で複数回の撮影が選択されるようになる。

この図５に示す露光時間と「明るさ」範囲との関係は、撮像部８で撮影可能な「明るさ」範囲のうち、ユーザによって必要な「明るさ」範囲が設定されると、当該設定に対応する複数の露光時間の各々での撮影が行なわれるようになる。すなわち、図５に示す露光時間のすべてにおいて撮影が行なわれるのではなく、特定の露光時間における撮影のみを行なうことで、画像合成処理に係る処理時間を短縮することもできる。

より具体的には、ユーザによって、「明るさ」範囲が「３０〜６０」に設定された場合には、例えば、その範囲内に含まれる「１／２０秒」，「１／４０秒」，「１／８０秒」の露光時間で１処理あたり３回の撮影が行なわれる。

再度、図４を参照して、輝度合成部２１０は、ワークを複数回撮影して得られる複数の入力画像データを用いて、合成画像データの各画素の輝度である合成輝度を算出する。より具体的には、輝度合成部２１０は、合成画像データの各画素（座標位置ｉ）に対応するｐ個の入力画像データにおけるそれぞれの画素の輝度を露光時間で規格化することで、各画素の合成輝度Ｅ_ｉを算出する。輝度合成部２１０による合成輝度Ｅ_ｉの算出式は以下のようになる。

上式において、「ｌｏｇ_２（ｇ（Ｚ_ｉ，ｊ）／Ｔ_ｊ）」の項が、各入力画像データにおける輝度を露光時間で規格化した上で、「明るさ」として評価した値に相当する。これは、たとえば同じ輝度「１２８」であっても、露光時間が相対的に短ければ、その実際の「明るさ」はより大きな値として評価すべきであり、露光時間が相対的に長ければ、その実際の「明るさ」はより小さな値として評価すべきであるという技術思想に基づくものである。すなわち、対応の入力画像データの撮影時の露光条件に応じた係数１／Ｔ_ｊを乗じることで露光時間による規格化を行ない、この規格化した値を累積加算することで合成輝度Ｅ_ｉが算出される。

代表的に、合成輝度Ｅ_ｉは、図５に示す各露光時間と「明るさ」範囲との関係に従って、０〜１００の範囲の値として算出される。なお、理解を容易にするために、０〜１００の範囲で表しているが、合成して得られる画像の「明るさ」の階調は、１回の撮影で得られる画像がもつ階調（たとえば、８ビット）よりも大きくなることから、データとしては、小数点以下の桁も有する値である（たとえば、１６ビットのデータを用いて小数点以下４桁までの値として取扱う）。

上式においては、さらに、重み関数ｗ（Ｚ）と撮像部８の撮像素子の応答関数ｇ（Ｚ）を導入している。図６を参照して、これらの関数について説明する。

図６は、重み関数および応答関数の特性の一例を示す図である。図６（ａ）は、重み関数ｗ（Ｚ）の特性を示し、図６（ｂ）は、応答関数ｇ（Ｚ）の特性を示す。

図６（ａ）を参照して、重み関数ｗ（Ｚ）は、撮像部８から出力される輝度の値に応じて、その信頼度を反映するための関数である。すなわち、ある露光条件において、撮像装置８から出力される輝度のうち、その下限値（０）または上限値（２５５）に近い値は、その中間値（１２８）に近い値に比較して信頼度が低いと考えられる。換言すれば、仮に撮像部８がある露光条件において最も適した「明るさ」をもつ被測定物を撮影すると、その輝度はほぼ中間値になると考えられる。

そこで、このような特性を考慮して、重み関数ｗ（Ｚ）としては、輝度階調値の中間値の近傍に比較して、下限値または上限値の近傍の値がより小さくなるような関数を用いることが好ましい。一例として、本実施の形態では、輝度階調値の中間値が最大値（１２８）となるとともに、下限値および上限値でそれぞれゼロとなるような三角形状の重み関数
を採用する。このような重み関数を採用することで、露光時間毎の入力画像データのうち、その輝度が所定範囲内にあるものを優先的に採用して合成輝度が算出される。

また、図６（ｂ）を採用して、応答関数ｇ（Ｚ）は、撮像部８から出力される輝度と実際に撮像部８に入力する光エネルギーとの間の非線形性を補償するための関数である。たとえば、ＣＣＤなどの撮像素子では、入力する光エネルギーあるいは光量と出力される電圧信号との関係は非線形となる。このような非線形特性はガンマ特性などとも称される。応答関数ｇ（Ｚ）は、このようなガンマ特性を補償して、撮像部８から出力される輝度を、実際に撮像部８に入力する光エネルギーに比例するように補正するものである。なお、図６（ｂ）には、簡単化のため、撮像部８から出力される輝度が入力する光エネルギーと比例関係にある場合の応答関数ｇ（Ｚ）を示す。

なお、上式中の定数項の「−８」は、各露光時間と「明るさ」範囲との関係を図５のように定めた場合に生じるオフセットを補償するための項であり、各露光時間と「明るさ」範囲との関係に応じて適宜設定することができる。

また、上式中では、「２」を底にした対数を用いているが、必ずしも「２」に限定されるものではなく、ネイピア数「ｅ」を底にした自然対数や「１０」を底にした常用対数などを用いてもよい。

（トーンマッピング）
再度、図４を参照して、輝度合成部２１０は、算出した合成輝度Ｅ_ｉをトーンマッピング部２１４へ出力する。トーンマッピング部２１４は、合成輝度Ｅ_ｉに基づいて合成画像データを生成するための輝度情報を生成する。具体的には、トーンマッピング部２１４は、各合成輝度Ｅ_ｉ（輝度範囲：０〜１００；但し、２５６階調より大きな階調をもつ）を合成画像データの輝度範囲（たとえば、０〜２５５階調値）に割り当てることで、合成画像データの輝度情報を生成する。なお、各合成輝度Ｅ_ｉの分解能（ダイナミックレンジ）は、入力画像データより高くなるので、合成画像データの輝度範囲を入力画像データより多階調化することで、より精度の高い合成画像データを生成できる。

特に、トーンマッピング部２１４は、後述するようにユーザによる「明るさ」上下限の設定に応じて、合成輝度Ｅ_ｉのうち所定範囲を合成画像データの輝度範囲に割り当てる。

図７は、トーンマッピング部２１４による割り当て処理を説明するための図である。
図７を参照して、説明を簡素化するために、トーンマッピング部２１４が線形の割り当て処理を行なう場合について例示する。最も簡単な例としては、輝度範囲が０〜１００である合成輝度Ｅ_ｉの比例関係を保ったまま、０〜２５５の範囲の階調値への割り当てである。これにより、モニタが持つ表示能力より大きな階調をもつデータを、モニタの持つ表示能力に合わせた階調（たとえば、８ビット表示）で表示することができる。

上述したように、ユーザによって「明るさ」上限値Ｂ_ｍａｘと「明るさ」下限値Ｂ_ｍｉｎが設定された場合には、トーンマッピング部２１４は、以下のような式に従って、輝度Ｙ_ｉへの割り当てを行なう。

Ｙ_ｉ＝２５５×（Ｅ_ｉ−Ｂ_ｍｉｎ）／（Ｂ_ｍａｘ−Ｂ_ｍｉｎ）
（計算例）
一例として、それぞれ３つの露光時間「１／２０秒」，「１／４０秒」，「１／８０秒」において撮影が行なわれることで入力画像データが取得された場合において、３つの入力画像データの座標位置ｉにおける輝度が、それぞれ「１９０」，「１００」，「５０」であるとする。この場合において、当該座標位置ｉに対応する画素の合成輝度Ｅ_ｉは以下
のように算出される。但し、Ｗ（１９０）＝６５，Ｗ（１００）＝１００，Ｗ（５０）＝５０である。

Ｅ_ｉ＝１０×｛６５×（ｌｏｇ１９０＋ｌｏｇ２０−８）＋１００×（ｌｏｇ１００＋ｌｏｇ４０−８）＋５０×（ｌｏｇ５０＋ｌｏｇ８０−８）｝／（６５＋１００＋５０）＝４０
そして、ユーザによって、「明るさ」上限値Ｂ_ｍａｘが「６０」で、「明るさ」下限値Ｂ_ｍｉｎが「３０」に設定された場合には、合成画像データの輝度Ｙ_ｉは以下のように算出される。

Ｙｉ＝２５５×（４０−３０）／（６０−３０）＝８５
（ヒストグラム生成）
再度、図４を参照して、輝度合成部２１０は、算出した合成輝度Ｅ_ｉをヒストグラム生成部２１８へも出力する。ヒストグラム生成部２１８は、合成輝度Ｅ_ｉについてのヒストグラムを生成する。すなわち、ヒストグラム生成部２１８は、各画素の合成輝度Ｅ_ｉを所定幅の階級に区分した上で画素数を積算していく。これは、ユーザが、輝度合成部２１０によって算出される合成輝度Ｅ_ｉのうち相対的に比率の高い範囲を参照しながら、上述の「明るさ」上限値および「明るさ」下限値を設定することを助ける。

また、ヒストグラム生成部２１８は、後述するユーザ設定に応じて、ヒストグラムの生成処理を中断または再開可能に構成される。

＜（３）色合成処理＞
図４を参照して、色合成部２０８は、複数の入力画像データの色情報から合成色情報を算出する。後述するように、合成画像データの各画素は、色合成部２０８で算出される合成色情報に、輝度合成部２１０およびトーンマッピング部２１４によって算出される合成輝度情報を乗じて得られるため、色合成部２０８から出力される合成色情報は、「赤色」、「緑色」、「青色」の相対的な比を示す値となる。

また、色合成部２０８は、上述の輝度合成部２１０と同様に、各座標位置に対応する複数の入力画像データにおけるそれぞれの画素の色情報に基づいて、合成画像データの各画素の合成色情報を算出する。より具体的には、色合成部２０８は、各入力画像データの色情報と、その信頼度に応じた重みとを乗算した値を累積加算することで、合成色情報を生成する。

ここで、ｊ番目の入力画像データの座標位置ｉにおける色情報を（ｒ_ｉ，ｊ，ｇ_ｉ，ｊ，ｂ_ｉ，ｊ）とする。但し、色合成部２０８は、画像情報抽出部２０６ａ〜２０６ｈから出力される色情報を、ｒ_ｉ，ｊ＋ｇ_ｉ，ｊ＋ｂ_ｉ，ｊ＝１が成立するように規格化する。また、ｊ番目の入力画像データの座標位置ｉにおける輝度をＺ_ｉ，ｊとする。この規格化された色情報および輝度を用いると、合成色情報（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）の算出式は以下のようになる。

ここで、重み関数ｗ（Ｚ）は、図６（ａ）と同様の特性を有する。すなわち重み関数ｗ（Ｚ）は、撮像部８から出力される輝度の値に応じて、その信頼度を反映するための関数である。この重み関数ｗ（Ｚ）の技術的な意味については、上述したので詳細な説明は繰返さない。

そして、色合成部２０８は、算出した合成色情報を画像生成部２１２へ出力する。
＜（４）生成処理＞
画像生成部２１２は、輝度合成部２１０およびトーンマッピング部２１４によって生成された輝度Ｙ_ｉを、対応する合成色情報（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）に順次乗じることによって、座標位置ｉの画素の画像情報を順次算出し、これによって合成画像データを生成する。

すなわち、合成画像データの座標位置ｉの座標における絶対的な色情報（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）は、以下のように表わすことができる。

（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）＝Ｙ_ｉ×（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）
以上のような（１）〜（４）の手順に従って、合成画像データが生成される。なお、（１）の撮影処理では一連の撮影動作が繰返し実行され、この撮影処理の繰返し実行に同期して、（２）〜（４）の処理も実行される。

＜処理時間算出＞
再度、図４を参照して、処理時間算出部２２２は、１つの合成画像データの生成に要する見込みの処理時間を算出する。より具体的には、処理時間算出部２２２は、撮影制御部２００からの情報に基づいて、撮像部８による撮影回数、各撮影における露光時間、画像合成処理の処理量などを考慮して、処理時間を推定する。この処理時間は、１つの合成画像データの生成に要する、撮像部８による撮影開始から合成画像データの生成完了までの時間に相当する。処理時間算出部２２２によって算出された処理時間は、ユーザに向けて表示されるとともに、撮影制御部２００へ出力されて、撮影条件の変更処理に用いられる
。

＜画面表示例＞
図８は、この発明の実施の形態１に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。

図８を参照して、「設定モード」が選択されると、モニタ１０２には設定モード画面３００が表示される。なお、ＣＰＵ１０５および図示しないグラフィックボードなどが協働することで、表示画面出力部として機能し、モニタ１０２に設定モード画面３００を表示させる。このような画面表示は、ＯＳ（Operating System）の一部として組込まれるＧＵＩ（Graphical User Interface）プログラムによって実現され、またＧＵＩは、ユーザがキーボード１０３やマウス１０４により操作される画面上のカーソルを用いて、さまざまなユーザ設定を行なうための環境も提供する。

設定モード画面３００には、設定値入力エリア３１０と、ヒストグラム表示エリア３２０と、合成画像表示エリア３３０と、撮影情報表示エリア３４０と、表示モード選択エリア３５０とを含む。

設定値入力エリア３１０には、「明るさ」上限値を設定するためのスライドバー３１２、「明るさ」下限値を設定するためのスライドバー３１４、および「許容時間」を設定するためのスライドバー３１６が配置される。このスライドバー３１２および３１４の操作によって設定される「明るさ」上下限値は、上述した明るさ上下限設定部２１６（図４）に入力される。そして、この「明るさ」上下限値に応じて、図５に示す関係に基づいて必要な露光時間が選択され、撮像部８における撮影回数および露光時間が変更される。

また、スライドバー３１６の操作によって設定される「許容時間」は、１つの合成画像データの生成に要する処理時間の許容される最大値を設定するものである。すなわち、ユーザは、本実施の形態に従う視覚センサシステム１が配置される生産ラインなどのタクトタイムなどに基づいて、１つの合成画像データの生成処理に割り当てることのできる最大の処理時間を「許容時間」として設定する。この「許容時間」は、撮影制御部２００（図４）へ与えられる。

ヒストグラム表示エリア３２０には、ヒストグラム生成部２１８（図４）で生成されたヒストグラムが視覚的に表示される。さらに、このヒストグラム上には、上述のスライドバー３１２，３１４の操作によって設定される「明るさ」上下限値に対応する位置に、それぞれの値に対応する位置表示がなされる。

合成画像表示エリア３３０には、設定された「明るさ」上下限値に応じて生成される合成画像データに基づく合成画像が表示される。この合成画像表示エリア３３０に表示される合成画像は、稼動モードにおいて検査や計測に用いられる合成画像データを表示するものであり、ユーザは、この合成画像表示エリア３３０の表示を参照して、ワークに対する照明条件や「明るさ」上下限値などの設定を調整する。

また、合成画像表示エリア３３０の表示画像は、画像生成部２１２（図４）によって合成画像データが生成される毎に更新される。そのため、ユーザに対して、実質的に合成画像を動画のように表示することができる。なお、この合成画像表示の更新周期は、撮像装置８による撮影回数、各撮影における露光条件、および画像合成処理に要する時間に依存するため、本実施の形態に従う画像処理装置は、この更新周期をユーザ設定に応じて変更可能に構成されている。

撮影情報表示エリア３４０には、「撮影時間」、「撮影回数」、「シャッター速度」が表示される。「撮影時間」は、処理時間算出部２２２（図４）によって算出される、１つの合成画像データの生成に要する見込みの処理時間である。また、「撮影回数」は、合成画像データの生成に必要な撮影回数（すなわち、入力画像データの枚数）を表示し、「シャッター速度」は、撮像部８に設定されている（あるいは、設定可能な）露光時間の最大値と最小値とを表示する。すなわち、表示される「撮影時間」は、１つの合成画像データの生成に用する処理周期を示す。

表示モード選択エリア３５０には、ヒストグラム表示エリア３２０におけるヒストグラムの表示／非表示を選択するラジオボタン３５４が表示される。ラジオボタン３５４によって、ヒストグラムの非表示が選択されると、ヒストグラム表示エリア３２０におけるヒストグラム表示が行なわれない。

さらに、設定モード画面３００には、「ＯＫ」ボタン３６２と、「ＣＡＮＣＥＬ」ボタン３６４とが配置されており、ユーザが「ＯＫ」ボタン３６２を選択すると、各項目において設定された値が固定ディスク１０７などに格納された上で「稼動モード」に移行する。一方、ユーザが「ＣＡＮＣＥＬ」ボタン３６４を選択すると、各項目において設定された値が固定ディスク１０７などに格納されずに「稼動モード」に移行する。

＜稼動モードにおける制御構造＞
図９は、この発明の実施の形態１に従う画像処理装置の稼動モードにおける制御動作を説明するための図である。

図９を参照して、一例として、合成画像データが３つの入力画像データから合成できる場合には、撮像部８をそれぞれ３つの露光条件に順次設定した上で撮影が行なわれる。これに伴って、８つの画像バッファ２０４のうち、３つの画像バッファ２０４のみから入力画像データが出力される。このように、「稼動モード」では、撮像部８による露光条件（撮影時間）および画像合成処理時間を効率化して、全体の処理時間を短くすることができる。

図８に示す設定モード画面３００において、ヒストグラムを表示するためには、基本的に撮像部８に設定可能なすべての露光条件において撮影を行なう必要がある。これは、ユーザが「明るさ」上下限値を適切に設定できるように、すべての露光条件を反映したヒストグラムを表示する必要があるためである。

これに対して、ユーザがヒストグラムを非表示に選択した場合には、上記のような考慮を行なわなくてもよいので、合成画像データの生成に必要な入力画像データだけを撮影するようにすればよい。すなわち、設定された「明るさ」上下限値に応じて、必要な撮影回数および各撮影時のおける露光条件に応じてワークを撮影すれば十分である。したがって、図９に示すような、必要な入力画像データのみを取得する制御動作に切り替えることで、「設定モード」時の合成画像表示エリア３３０に表示される合成画像の更新をより高速に行なうこともできる。

＜「明るさ」上下限値の設定＞
撮影制御部２００（図４）は、ユーザが設定する「明るさ」上下限値に応じて、図５に示す関係を参照して、撮影回数および各撮影における露光時間を決定する。このとき、トーンマッピング部２１４が、合成輝度の対応する範囲を合成画像データの輝度範囲に割り当てるので、ワークのうち任意の「明るさ」をもつ領域に着目した合成画像を表示することもできる。

たとえば、指定された「明るさ」の下限値を「０」とし、上限値を「２５５」に割り当てて、０〜２５５階調の画像として表示することができる。

図１０は、この発明の実施の形態１に従う画像処理装置における「明るさ」上下限値と合成画像との関係の一例を示す図である。なお、ワークは、図３と同一の腕時計の裏面とした。

図１０（ａ）に示すように、ヒストグラムに有効な画素が現れる範囲を「明るさ」上下限値に設定することで、反射率が大きく異なる金属製の時計本体部および皮革製のバンド部が明瞭に撮影されていることがわかる。

一方、図１０（ｂ）に示すように、主として皮革製のバンド部に相当する画素の範囲を「明るさ」上下限値に設定すると、皮革製のバンド部はより明瞭に撮影されるが、金属製の時計本体部については、白飛びが生じていることがわかる。逆に、図１０（ｃ）に示すように、主として金属製の時計本体部に相当する画素の範囲を「明るさ」上下限値に設定すると、金属製の時計本体部はより明瞭に撮影されるが、皮革製のバンド部については、黒つぶれが生じていることがわかる。

また、図１０（ｄ）に示すように、ヒストグラムの全範囲を「明るさ」上下限値に設定すると、画像全体について明瞭に撮影されているが、図１０（ａ）に比較すると、コントラストが低下していることがわかる。

このように、ユーザは対象とするワークに応じて、適切な「明るさ」上下限値を調整することで、検査や計測に適した合成画像データを生成させることができる。

＜処理時間の算出＞
上述したように、処理時間算出部２２２（図４）は、１つの合成画像データの生成に要する見込みの処理時間を算出し、その算出された処理時間は、撮影情報表示エリア３４０に「撮影時間」として表示される。以下では、図１１を用いて、この処理時間算出部２２２による処理時間の算出方法の一例について説明を行なう。

図１１は、この発明の実施の形態１に従う画像処理装置において処理時間の算出方法の一例を説明するための図である。

図１１を参照して、１つの合成画像データの生成に要する処理時間は、各撮影についての撮影に要する時間（露光時間）、各撮影についての撮像部８で撮影された入力画像データの読み出すに要する時間、および画像合成処理に要する時間の合計として算出することができる。

なお、１つの合成画像データを生成するための一連の撮影（図１１の場合には、露光時間Ｔ１，Ｔ２，Ｔ３の３回分の撮影）は、循環的に繰返されるので、１つの合成画像データの生成に係る１処理周期は、露光時間Ｔ１での撮影が開始されてから同じ露光時間Ｔ１での撮影が再度開始されるまでの期間に相当する。

撮影に要する時間は、設定される露光時間から推定することができる。また、入力画像データの読み出しに要する時間はハードウェアのスペックに依存するほぼ一定値であり、予め取得することができる。また、画像合成処理に要する時間は、対象とする入力画像の枚数によって処理量が定まるので、この時間についても推定することができる。したがって、処理時間算出部２２２は、撮影回数および各撮影における露光条件などに基づいて、合成画像データの生成に要する見込みの処理時間を算出することができる。

＜撮影条件の変更処理＞
撮影制御部２００（図４）は、ユーザによる「明るさ」上下限値の設定がなされると、初期設定として、予め定められた露光時間と「明るさ」との対応関係（図５）を参照して、「稼動モード」における１回の合成画像データの生成に要する撮影回数および各撮影における露光条件（撮影条件）を決定する。ここで、ユーザが「許容時間」を設定している場合には、撮影制御部２００は、この初期設定した撮影条件における見込みの処理時間が「許容時間」を超過しているか否かを判断し、超過していると判断した場合には、見込みの処理時間が「許容時間」内に収まるように、撮影条件を変更する。以下、図１２を参照して、撮影条件の変更処理について例示する。

図１２は、この発明の実施の形態１に従う撮影条件の変更処理を説明するための図である。

図１２を参照して、図５に示す露光時間と「明るさ」代表値との対応関係は、「明るさ」代表値を横軸とし、露光時間を縦軸（ｌｏｇスケール）とすると、一次関数の関係として表わすことができる。すなわち、図５に示す対応関係は、図１２に示す一次関数上において、「明るさ」代表値を「２０」，「３０」，・・・，「９０」とした場合の対応する各露光時間を規定したものに相当する。

撮影制御部２００は、この図１２に示す対応関係を参照して、見込みの処理時間が「許容時間」内に収まるように撮影条件を変更または決定する。

本実施の形態に従う画像処理装置では、ユーザが入力する「明るさ」範囲に応じて検出すべき「明るさ」範囲が定まるので、撮影制御部２００は、このユーザが入力する「明るさ」範囲に含まれる露光時間の範囲から、撮影回数および各撮影における露光時間を決定する。

より具体的には、ユーザによって「明るさ」下限値Ｂ_ｍｉｎおよび「明るさ」上限値Ｂ_ｍａｘが設定されると、撮影制御部２００は、「明るさ」下限値Ｂ_ｍｉｎから「明るさ」上限値Ｂ_ｍａｘまでの範囲（明るさ範囲）に割り当てる撮影回数を適宜変更していき、その見込みの処理時間が「許容時間」以下となる割り当てパターンを決定する。

図１２に示すように、一例として、「明るさ」下限値Ｂ_ｍｉｎ＝３０、「明るさ」上限値Ｂ_ｍａｘ＝７０が設定されると、撮影制御部２００は、「明るさ」代表値が「３０」，「４０」，・・・，「７０」（「明るさ」代表値Ｂ^（１） _１，Ｂ^（１） _２，・・・，Ｂ^（１） _５＝３０，４０，・・・，７０）である合計５回の撮影を初期設定として決定する。なお、「明るさ」代表値Ｂ_ｋに対応する露光時間Ｔ_ｋは、以下に示す関係式によって算出される。

上述の撮影条件において見込みの処理時間が「許容時間」を超過していると判断された場合には、撮影制御部２００は、撮影回数を初期設定の５回から１回分減じて、４回に設定する。そして、撮影制御部２００は、上述の「明るさ」下限値Ｂ_ｍｉｎから「明るさ」上限値Ｂ_ｍａｘまでの範囲（明るさ範囲）に４回分の撮影を割り当てる。このとき、少な
くとも、「明るさ」下限値Ｂ_ｍｉｎおよび「明るさ」上限値Ｂ_ｍａｘに撮影を割り当てることが望ましい。

図１２に示す例において、４回の撮影が割り当てられた場合には、「明るさ」代表値Ｂ^（２） _１，Ｂ^（２） _２，Ｂ^（２） _３，Ｂ^（２） _４＝３０，４３，５７，７０となる。さらに、撮影制御部２００は、この割り当てられた「明るさ」代表値Ｂ^（２） _１，Ｂ^（２） _２，Ｂ^（２） _３，Ｂ^（２） _４に対応する露光時間をそれぞれ算出するとともに、この撮影条件における見込みの処理時間が「許容時間」以下となるか否かを判断する。

以下同様にして、撮影制御部２００は、その見込みの処理時間が「許容時間」以下となるまで撮影回数を順次減じていき、見込みの処理時間が「許容時間」以下となる最大の撮影回数をもつ撮影条件を決定する。なお、本実施の形態に従う画像合成処理は、複数の入力画像データに基づいて合成画像データを生成するので、撮影回数が２回である場合の見込みの処理時間が「許容時間」を超過している場合には、合成画像データの生成処理が実行不可能である旨をユーザに通知するようにしてもよい。

＜撮影条件の変更処理の第１変形例＞
上述の図１２に示す撮影条件の変更処理では、各露光時間に対応する「明るさ」代表値が、ユーザ入力された「明るさ」範囲に含まれるように露光条件が設定される構成について例示したが、各露光時間がカバーする「明るさ」範囲を考慮して露光条件を設定してもよい。

図１３は、この発明の実施の形態１に従う撮影条件の変更処理の第１変形例を説明するための図である。

図１３を参照して、一例として、図１２と同様に「明るさ」下限値Ｂ_ｍｉｎ＝３０、「明るさ」上限値Ｂ_ｍａｘ＝７０が設定されている場合を考える。図５に示すように、各露光時間がカバーする範囲を「明るさ」の代表値を中心とする「±１０」とすると、その「明るさ」範囲に「明るさ」下限値Ｂ_ｍｉｎを含む「明るさ」代表値のうち最小のものは、「４０」となる。同様に、その「明るさ」範囲に「明るさ」上限値Ｂ_ｍａｘを含む「明るさ」代表値のうち最大のものは、「６０」となる。そこで、ユーザ入力された「明るさ」範囲から各露光時間がカバーする範囲を除いた範囲に対して、撮影回数を割り当ててもよい。

図１３に示す例において、上述の範囲に５回の撮影が割り当てられた場合には、「明るさ」代表値Ｂ^（１） _１，Ｂ^（１） _２，・・・，Ｂ^（１） _５＝４０，４５，５０，５５，６０となる。また、４回の撮影が割り当てられた場合には、「明るさ」代表値Ｂ^（２） _１，Ｂ^（２） _２，Ｂ^（２） _３，Ｂ^（２） _４＝４０，４６，５３，６０となる。

＜撮影条件の変更処理の第２変形例＞
上述の図１２および図１３に示す撮影条件の変更処理では、露光時間と「明るさ」代表値との対応関係を示す関数に基づいて、撮影回数および各撮影における露光時間を連続的に決定する構成について例示したが、図５に示すようなテーブル形式を基づいて撮影回数および各撮影における露光時間を決定してもよい。

図１４は、この発明の実施の形態１に従う撮影条件の変更処理の第２変形例に用いられる露光時間と「明るさ」との対応関係の一例を示す図である。

図１４に示す露光時間と「明るさ」範囲との対応関係には、図５に比較してより多くの組合せが規定されている。これは、ユーザが入力する「明るさ」範囲に応じて、撮影条件
をより高い自由度で変更できるようにするためである。

図１４を参照して、一例として、図１２と同様に「明るさ」下限値Ｂ_ｍｉｎ＝３０、「明るさ」上限値Ｂ_ｍａｘ＝７０が設定されている場合を考える。このとき、図１４に示す露光時間と「明るさ」範囲との組合せのうち、その「明るさ」範囲の一部または全部がユーザ設定である「３０」〜「７０」の範囲に含まれるものを、露光条件として決定される候補として抽出する。図１４に示す例では、９通りの組合せが露光条件として決定される候補となる。そして、これらの候補を任意に組み合わせることで、見込みの処理時間が「許容時間」内に収まるような撮影条件を決定することができる。

＜撮影条件の変更処理のさらに別の変形例＞
上述したような撮影制御部２００が自動的に撮影条件を変更する構成に代えて、図１２または図１３に示すような露光時間と「明るさ」との対応関係をモニタ１０２上に視覚的に表示するとともに、この対応関係を参照してユーザが撮影条件を直接的に設定するようにしてもよい。

＜稼動モード＞
以下、稼動モードにおける処理の一例について説明する。生成された合成画像データを用いてワークの検査や計測を行なう方法は従来から様々なものが提案されているが、本実施の形態においては、代表的に、予め登録された画像パターンに一致する部分を探索するサーチ処理と、ワークのエッジを検出してエッジ間の距離を計測するエッジスキャン処理とについて例示する。なお、稼動モードにおける処理は、これらの処理に限られない。

図１５は、稼動モードの一例であるサーチ処理の表示例を示す図である。
図１６は、稼動モードの一例であるエッジスキャン処理の表示例を示す図である。

図１５を参照して、「稼動モード」においてサーチ処理が選択されると、モニタ１０２には稼動モード画面４００Ａが表示される。この稼動モード画面４００Ａにおいて、ユーザは、対象領域４０２を予め設定するとともに、検出すべき画像パターンを登録する。すると、ＣＰＵ１０５は、上述の画像合成処理によって合成画像データのうち、対象領域４０２に対して登録パターンとの相関値を順次算出することで、登録パターンと一致するエリア４０４を特定する。さらに、ＣＰＵ１０５は、特定したエリア４０４の位置情報などをモニタ１０２に表示する。

このようなサーチ処理によれば、特定種類のワークが連続的に生産されている場合に、異なる種類の混入ワークなどを検出することができる。

図１６を参照して、「稼動モード」においてエッジスキャン処理が選択されると、モニタ１０２には稼動モード画面４００Ｂが表示される。この稼動モード画面４００Ｂにおいて、ユーザは、対象領域４１２を予め設定する。すると、ＣＰＵ１０５は、上述の画像合成処理によって合成画像データのうち、対象領域４１２に対して色差が所定のしきい値以上である２つの箇所（エッジ位置）を特定する。そして、ＣＰＵ１０５は、この特定した２点の間を結ぶ直線４１４を規定し、この２点間の図面上の距離（たとえば、ピクセル値）を算出する。

このようなエッジスキャン処理によれば、エッジ間距離を規定値と比較することで、ワークの製造不良などを検出することができる。

上述した処理以外にも、特定の色範囲をもつ画素数の数をカウントする色面積算出処理などを行なってもよい。

＜処理手順＞
図１７は、この発明の実施の形態１に従う画像処理装置における全体処理を示すフローチャートである。図１７に示すフローチャートは、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。なお、初期モードは「稼動モード」であるとする。

図１７を参照して、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ１００）。モード切替えの指令が与えられていない場合（ステップＳ１００においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ１０２からステップＳ１１４までの検査計測処理を実行する。

すなわち、ＣＰＵ１０５は、光電センサによるワーク２の到着が検出された否かを判断する（ステップＳ１０２）。ワーク２が到着していない場合（ステップＳ１０２においてＮＯの場合）には、ステップＳ１０２の処理を繰返す。

ワーク２が到着した場合（ステップＳ１０２においてＹＥＳの場合）には、ＣＰＵ１０５は、固定ディスク１０７に予め格納された設定に従って、設定された露光時間でワーク２を撮影する（ステップＳ１０４）。そして、ＣＰＵ１０５は、設定された回数の撮影が完了したか否かを判断する（ステップＳ１０６）。設定された回数の撮影が完了していない場合（ステップＳ１０６においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ１０４の処理を繰返す。

設定された回数の撮影が完了している場合（ステップＳ１０６においてＹＥＳの場合）には、ＣＰＵ１０５は、画像合成処理サブルーチンを実行し、撮影された入力画像データから合成画像データを生成する（ステップＳ１０８）。

続いて、ＣＰＵ１０５は、生成された合成画像データに基づいて検査計測処理を実行する（ステップＳ１１０）。そして、ＣＰＵ１０５は、その検査計測処理の結果をモニタ１０２などに表示する（ステップＳ１１２）とともに、ＰＬＣなどの外部装置へ出力する（ステップＳ１１４）。そして、処理は最初に戻る。

これに対して、モード切替えの指令が与えられた場合（ステップＳ１００においてＹＥＳの場合）には、ＣＰＵ１０５は、「設定モード」へ移行する（ステップＳ１１８）。

図１８は、この発明の実施の形態１に従う画像処理装置における撮影条件の変更処理を示すフローチャートである。図１８に示すフローチャートは、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。

図１８を参照して、「設定モード」が選択されると、ＣＰＵ１０５は、設定モード画面３００（図８）上でユーザによって入力された「明るさ」上下限値を取得する（ステップＳ２００）。そして、ＣＰＵ１０５は、ステップＳ２００において取得した「明るさ」上下限値に基づいて、予め定められた露光時間と「明るさ」との対応関係（図５）を参照して、「稼動モード」における１回の合成画像データの生成に要する撮影回数および各撮影における露光条件（撮影条件）の初期値を決定する（ステップＳ２０２）。

続いて、ＣＰＵ１０５は、設定モード画面３００（図８）上でユーザによって入力された「許容時間」を取得する（ステップＳ２０４）とともに、ステップＳ２０２で決定した現時点の撮影条件に基づいて、１回あたりの画像合成処理に要する見込みの処理時間を算
出する（ステップＳ２０６）。そして、ＣＰＵ１０５は、ステップＳ２０６において算出した見込みの処理時間がステップＳ２０４において取得した「許容時間」を超過しているか否かを判断する（ステップＳ２０８）。

見込みの処理時間が「許容時間」を超過している場合（ステップＳ２０８においてＹＥＳの場合）には、ＣＰＵ１０５は、現時点の撮影回数が２回であるか否かを判断する（ステップＳ２１０）。現時点の撮影回数が２回でない場合（ステップＳ２１０においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ２００において取得した「明るさ」上下限値によって指定される「明るさ」範囲に、現時点の撮影回数から１回分を減じた撮影回数の撮影を割り当てる（ステップＳ２１２）。さらに、ＣＰＵ１０５は、割り当てられた各撮影の「明るさ」に対応する露光時間をそれぞれ算出することで、新たな撮影条件を決定する（ステップＳ２１４）。そして、ＣＰＵ１０５は、変更後の撮影条件に基づいて、１回あたりの画像合成処理に要する見込みの処理時間を算出し（ステップＳ２０６）、ステップＳ２０８以下の処理を再度実行する。すなわち、１回あたりの画像合成処理に要する見込みの処理時間が許容時間を超過しなくなるまで、ステップＳ２０６〜Ｓ２１４の処理が繰返される。

また、現時点の撮影回数が２回である場合（ステップＳ２１０においてＹＥＳの場合）には、ＣＰＵ１０５は、設定モード画面３００（図８）上に、入力された許容時間の条件下では合成画像データの生成処理が実行不可能である旨を表示し（ステップＳ２１６）、処理を終了する。

一方、見込みの処理時間が「許容時間」を超過していない場合（ステップＳ２０８においてＮＯの場合）には、ＣＰＵ１０５は、設定モード画面３００（図８）上に、現時点の撮影条件における「撮影時間」、「撮影回数」、「シャッター速度」などを表示する（ステップＳ２１８）。

さらに、ＣＰＵ１０５は、設定モード画面３００（図８）上の「ＯＫ」ボタン３６２または「ＣＡＮＣＥＬ」ボタン３６４が選択されたか否かを判断する（ステップＳ２２０）。

「ＯＫ」ボタン３６２が選択された場合（ステップＳ２２０において「ＯＫ」）には、ＣＰＵ１０５は、現在の撮影条件（撮影回数および各撮影における露光条件）を固定ディスク１０７に格納する（ステップＳ２２２）。そして、ＣＰＵ１０５は、「稼動モード」へ移行する（ステップＳ２２４）。また、「ＣＡＮＣＥＬ」ボタン３６４が選択された場合（ステップＳ２２０において「ＣＡＮＣＥＬ」）には、ＣＰＵ１０５は、現在の設定を廃棄して「稼動モード」へ移行する（ステップＳ２２４）。

一方、設定モード画面３００（図８）上の「ＯＫ」ボタン３６２または「ＣＡＮＣＥＬ」ボタン３６４のいずれも選択されていない場合（ステップＳ２２０においてＮＯの場合）には、ＣＰＵ１０５は、「明るさ」上下限値または「許容時間」の設定が変更されたか否かを判断する（ステップＳ２２６）。「明るさ」上下限値または「許容時間」の設定が変更された場合（ステップＳ２２６においてＹＥＳの場合）には、ＣＰＵ１０５は、ステップＳ２００以下の処理を繰返す。また、「明るさ」上下限値または「許容時間」の設定が変更されていない場合（ステップＳ２２６においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ２２０以下の処理を繰返す。

図１９は、図１７および図１８に示す画像合成処理サブルーチンにおける処理を示すフローチャートである。図１９に示すフローチャートは、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現さ
れる。

図１９を参照して、ＣＰＵ１０５は、座標位置ｉを初期値（ｉ＝１）に設定し（ステップＳ３００）、複数の入力画像データから、座標位置ｉに対応する画素の輝度情報および色情報を抽出する（ステップＳ３０２）。

ＣＰＵ１０５は、座標位置ｉに対応する画素の輝度に基づいて、座標位置ｉの合成輝度を算出する（ステップＳ３０４）。そして、ＣＰＵ１０５は、設定された「明るさ」上下限値に従ってトーンマッピングを行って、合成画像データの座標位置ｉに対応する画素の輝度を算出する（ステップＳ３０６）。

また、ＣＰＵ１０５は、座標位置ｉに対応する画素の色情報に基づいて、座標位置ｉに対応する画素の合成色情報を算出する（ステップＳ３０８）。

さらに、ＣＰＵ１０５は、ステップＳ３０６で算出した輝度と、ステップＳ３０８で算出した合成色情報とに基づいて、合成画像データの座標位置ｉに対応する画素の色情報を算出する（ステップＳ３１０）。

そして、ＣＰＵ１０５は、座標位置ｉが入力画像データに含まれる最後の座標であるか否かを判断する（ステップＳ３１２）。座標位置ｉが入力画像データに含まれる最後の座標でなければ（ステップＳ３１２においてＮＯの場合）には、ＣＰＵ１０５は、現在の座標位置ｉに「１」を加算して（ステップＳ３１４）、ステップＳ３０２以下の処理を繰返す。

座標位置ｉが入力画像データに含まれる最後の座標であれば（ステップＳ３１２においてＹＥＳの場合）には、ＣＰＵ１０５は、ステップＳ３１０で算出した各座標位置に対応する色情報に基づいて、合成画像データを生成する（ステップＳ３１６）。そして、メインルーチンに戻る。

＜本実施形態の変形例＞
上述の実施の形態１では、ユーザが「明るさ」上下限値の範囲を設定する構成について例示したが、輝度合成部２１０によって算出される合成輝度のヒストグラムに基づいて、自動的に設定するようにしてもよい。また、このように自動設定する場合には、より精度を高めるために、単一ではなく複数の合成画像データの合成輝度についてのヒストグラムに基づいて、「明るさ」上下限値の範囲を設定してもよいし、合成画像データのうち一部の領域についてのヒストグラムに基づいて、「明るさ」上下限値の範囲を設定してもよい。

また、図１８に示す撮影条件の変更処理に係るフローチャートでは、初期設定される撮影回数から徐々に撮影回数を減じて適切な撮影条件を探索する処理について例示したが、初期設定として撮影回数を２回とし、徐々に撮影回数を増加させて適切な撮影条件を探索してもよい。あるいは、選択可能なすべての撮影条件を予め取得し、各撮影条件についての見込みの処理時間をそれぞれ算出した上で、適切なものを選択するようにしてもよい。

＜本実施形態の作用効果＞
従来の技術によれば、一般的に、撮影回数が多くなるほど、ダイナミックレンジの拡大および合成画像の精度向上を期待できるが、撮影回数の増大に伴って１つの合成画像の生成に要する処理時間が長くなる。すなわち、ダイナミックレンジの拡大と処理時間とはトレードオフの関係にある。実際の生産現場では、ベルトコンベヤなどの搬送装置上を順次搬送される被測定物を対象として検査や計測を行なう必要があるため、各被測定物に割り
当て可能な処理時間には上限がある。そのため、このような製造上の制限時間内に一連の処理が完了するように、撮影条件（露光条件や撮影回数など）を試行錯誤により適切に設定しなければならなかったという課題があったところ、この実施の形態によれば、１回の合成処理に対する許容時間に従って、撮影条件を適切に設定できる。

すなわち、この発明の実施の形態１によれば、ユーザが設定モード画面において許容時間を入力すると、１つの合成画像データの生成に要する見込みの処理時間がユーザ入力された設定時間を超過しないように、撮影回数および各撮影における露光時間が自動的に決定される。そのため、予備知識を持たないユーザであっても、生産ラインのタクトタイムなどに応じた「許容時間」を入力するだけで、適切な撮影条件を設定することができる。

［実施の形態２］
ユーザが設定モードにおいて撮影条件を設定する場合には、ワークの搬送速度などに応じて照明などを試行錯誤で調整するケースが多いと考えられる。この場合、ワークの単位時間当たりの移動量（動き量）が相対的に大きな場合には、合成画像データの生成に要する処理時間を短くしなければ、ワークの動きを表示することはできない。そこで、実施の形態２に従う画像処理装置として、予備知識を持たないユーザであっても、このような被測定物の動きを見ながら撮影条件を設定できる構成について説明する。

この発明の実施の形態２に従う画像処理装置を含む視覚センサシステム１の全体構成については、図１と同様であるので詳細な説明は繰返さない。また、この発明の実施の形態２に従う画像処理装置のハードウェア構成については、図２と同様であるので詳細な説明は繰返さない。

＜画面表示例＞
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。

図２０は、この発明の実施の形態２に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。

図２０を参照して、設定モード画面３００Ａは、設定値入力エリア３１０Ａと、ヒストグラム表示エリア３２０と、合成画像表示エリア３３０と、撮影情報表示エリア３４０と、表示モード選択エリア３５０Ａとを含む。

設定値入力エリア３１０Ａには、「明るさ」上限値を設定するためのスライドバー３１２および「明るさ」下限値を設定するためのスライドバー３１４が配置される。このスライドバー３１２および３１４の操作によって設定される「明るさ」上下限値は、明るさ上下限設定部２１６（図２１）に入力される。

ヒストグラム表示エリア３２０には、ヒストグラム生成部２１８（図２１）で生成されたヒストグラムが視覚的に表示される。

合成画像表示エリア３３０には、設定された「明るさ」上下限値に応じて生成される合成画像データに基づく合成画像が表示される。合成画像表示エリア３３０に表示される合成画像データに基づく合成画像の更新周期は、合成画像データの生成に要する時間に相当する。この合成画像の更新周期は、後述する「動き適応表示モード」が有効化されている場合には、撮像部８により撮像される被測定物の動き量に応じて最適化される。そのため、撮影範囲における被測定物の動き量が相対的に大きな場合には、合成画像データの生成に要する時間を短縮して表示をスムース化し、撮影範囲における被測定物の動き量が相対
的に小さい場合には、撮影回数を増加させてダイナミックレンジの拡大および合成画像の精度を高めることができる。

撮影情報表示エリア３４０には、「撮影時間」、「撮影回数」、「シャッター速度」が表示される。

表示モード選択エリア３５０Ａには、「動き適応表示モード」の有効化（ＯＮ）または無効化（ＯＦＦ）を選択するためのラジオボタン３５２と、ヒストグラム表示エリア３２０におけるヒストグラムの表示／非表示を選択するラジオボタン３５４とが表示される。ラジオボタン３５２によって、「動き適応表示モード」が有効化されると、上述したように、撮影範囲内のワークの動き量に応じて、合成画像表示エリア３３０に表示される合成画像の更新周期が最適化される。

さらに、設定モード画面３００Ａには、「ＯＫ」ボタン３６２と、「ＣＡＮＣＥＬ」ボタン３６４とが配置されており、ユーザが「ＯＫ」ボタン３６２を選択すると、各項目において設定された値が固定ディスク１０７などに格納された上で「稼動モード」に移行する。一方、ユーザが「ＣＡＮＣＥＬ」ボタン３６４を選択すると、各項目において設定された値が固定ディスク１０７などに格納されずに「稼動モード」に移行する。

＜制御構造＞
図２１は、この発明の実施の形態２に従う画像処理装置の制御構造を示す機能ブロック図である。

図２１を参照して、本実施の形態に従う画像処理装置の制御構造は、図４に示す実施の形態１に従う画像処理装置の制御構造において、撮影制御部２００に代えて撮影制御部２００Ａを配置するとともに、動き量判断部２２０をさらに設けたものである。その他の部位および動作については、上述した実施の形態１とほぼ同様であるので、詳細な説明は繰返さない。

動き量判断部２２０は、撮像部８により撮像される被測定物体の動き量を算出し、この算出した動き量を評価する。より具体的には、動き量判断部２２０は、撮像部８により撮影された、同一の露光条件をもつ連続する２つ以上の入力画像データ同士を比較することで、ワークの動き量を算出する。このような動き量の算出方法の一例として、連続する２つの入力画像データに含まれる対応する画素同士の輝度情報または色情報の差分をとり、すべての画素についての差分の総和を動き量として算出することができる。あるいは、オプティカルフロー手段を用いて、ワークの動き量を算出してもよい。

なお、図２１においては、動き量判断部２２０が画像バッファ２０４ａに格納される１つの入力画像データに基づいて、動き量を算出する構成について例示するが、より多くの入力画像データに基づいて動き量を算出してもよいし、画像生成部２１２から出力される合成画像データに基づいて動き量を算出してよい。

さらに、動き量判断部２２０は、この算出したワークの動き量が所定値を超過している場合には、合成画像データの生成処理に要する時間を低減するための指令を、撮影制御部２００Ａへ出力する。さらに、動き量判断部２２０は、この算出したワークの動き量が小さい場合には、合成画像データの生成処理に要する時間を延長可能であることを、撮影制御部２００Ａへ通知してもよい。

撮影制御部２００Ａは、動き量判断部２２０から合成画像データの生成処理に要する時間を低減するための指令を受信すると、１つの合成画像データを生成するための撮影回数
をより少なくするように撮影条件を変更する。これにより、１つの合成画像データが生成される周期が短縮されるため、合成画像表示エリア３３０には、合成画像データに基づく合成画像の更新周期が短縮され、よりスムースな動画表示が行なわれる。これにより、ワークの移動速度が相対的に速い場合であっても、ユーザは、このようなワークの挙動を視認することができる。

より具体的には、合成画像表示エリア３３０は、動き量判断部２２０から合成画像データの生成処理に要する時間を低減するための指令を受信すると、現在の撮影回数から１回分減じた撮影回数を新たな撮影条件として設定する。なお、この新たな撮影条件における各撮影における露光条件の決定方法については、上述の実施の形態１において図１２〜図１４を用いて説明した方法と同様の方法を用いることができる。

また、撮影制御部２００Ａは、動き量判断部２２０から合成画像データの生成処理に要する時間を延長可能であることを通知されると、１つの合成画像データを生成するための撮影回数をより多くするように撮影条件を変更してもよい。撮影回数を多くすることで、１つの合成画像データを生成するための情報量を増大させることができる。これにより、合成画像表示エリア３３０に、ダイナミックレンジをより拡大した合成画像を表示することができる。なお、撮影回数を増加させた場合の各撮影における露光条件の決定方法についても、上述の実施の形態１において図１２〜図１４を用いて説明した方法と同様の方法を採用できる。

なお、このようなワークの動き量に応じて撮影条件を変更する制御は、合成画像データの生成処理と並行して実行される。

＜タイムチャート＞
図２２は、この発明の実施の形態２に従う動き適応表示モードが有効化された場合の動作を示すタイムチャートである。

図２２を参照して、まず、時刻ｔ１１においては、時刻ｔ１１以前の処理によって合成画像データ１が生成され、この合成画像データ１に基づく合成画像１が合成画像表示エリア３３０（図２０）に表示されているものとする（図２２（ｄ））。

時刻ｔ１１〜ｔ２１の期間において、１つの合成画像データの生成処理が実行される。すなわち、時刻ｔ１１〜ｔ１２の期間において、撮像部８が予め定められている撮影条件１に従ってワークを撮影する（図２２（ｂ）および（ｃ））。なお、撮影条件１は、高ダイナミックレンジを実現するためのものであるとする。そして、引き続く時刻ｔ１２〜ｔ２１の期間において、この撮影された入力画像データに基づいて合成画像データ２が生成される（画像合成処理）。

さらに、時刻ｔ２１において、この生成された合成画像データ２に基づいて、合成画像表示エリア３３０の表示が合成画像２に更新される。同時に、動き量判断部２２０が、合成画像データ２を生成するために用いた入力画像データと、合成画像データ１を生成するために用いた入力画像データとを比較して、ワークの動き量を判断する。時刻ｔ２１での画像比較においては、ワークの動き量が適正範囲内であったとする。

続いて、時刻ｔ２１〜ｔ２２の期間において、撮像部８が撮影条件１に従ってワークを撮影する（図２２（ｂ）および（ｃ））。そして、引き続く時刻ｔ２２〜ｔ３１の期間において、この撮影された入力画像データに基づいて合成画像データ３が生成される。さらに、時刻ｔ３１において、この生成された合成画像データ３に基づいて、合成画像表示エリア３３０の表示が合成画像３に更新される。同時に、動き量判断部２２０が、合成画像
データ３を生成するために用いた入力画像データと、合成画像データ２を生成するために用いた入力画像データとを比較して、ワークの動き量を判断する。

ここで、時刻ｔ３１での画像比較においては、ワークの動き量が所定量を超過したものとする。すると、撮影制御部２００Ａは、合成画像の更新周期を短縮する必要があると判断し、撮影条件１の撮影回数から１回分減じた撮影回数を新たな撮影条件２として設定する（図２２（ｂ））。この撮影条件２は、合成画像の更新速度を優先するモードである。

続いて、時刻ｔ３１〜ｔ３２の期間において、撮像部８が撮影条件２に従ってワークを撮影する（図２２（ｂ）および（ｃ））。ここで、撮影条件２は、合成画像の表示速度を優先するモードであるため、ワークの撮影に要する時間は撮影条件１における時間に比較して短縮される（ｔ１２−ｔ１１＞ｔ３２−ｔ３１）。そして、引き続く時刻ｔ３２〜ｔ４１の期間において、この撮影された入力画像データに基づいて合成画像データ４が生成されるが、入力画像データの数が低減されているので、この画像合成処理に係る時間も短縮される。このように、合成画像の更新周期が短縮され、合成画像をよりスムースに表示することができる。

＜処理手順＞
この発明の実施の形態２に従う画像処理装置における全体処理については、図１７に示すフローチャートと同様であるので、詳細な説明は繰返さない。

図２３は、この発明の実施の形態２に従う画像処理装置における「設定モード」における合成画像の表示に係るフローチャートである。図２３に示すフローチャートは、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。

図２３を参照して、「設定モード」が選択されると、ＣＰＵ１０５は、撮影回数および各撮影における露光条件の初期値を設定する（ステップＳ４００）。そして、ＣＰＵ１０５は、現時点の撮影回数および各撮影における露光条件に従って、ワークを順次撮影する（ステップＳ４０２）。さらに、ＣＰＵ１０５は、設定された撮影回数の撮影が完了したか否かを判断する（ステップＳ４０４）。設定された撮影回数の撮影が完了していない場合（ステップＳ４０４においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ４０２の処理を繰返す。

設定された撮影回数の撮影が完了した場合（ステップＳ４０４においてＹＥＳの場合）には、ＣＰＵ１０５は、図１９に示す画像合成処理サブルーチンを実行し、撮影された入力画像データから合成画像データを生成する（ステップＳ４０６）。そして、ＣＰＵ１０５は、ステップＳ４０６において生成した合成画像データに基づくデータ合成画像をモニタ１０２に表示する（ステップＳ４０８）。

このステップＳ４０６およびＳ４０８の処理と並行して、ＣＰＵ１０５は、今回の撮影によって生成された入力画像データと前回の撮影によって生成された入力画像データとを比較して、ワークの動き量を算出する（ステップＳ４１０）。そして、ＣＰＵ１０５は、ステップＳ４１０において算出したワークの動き量が所定量α１を超過しているか否かを判断する（ステップＳ４１２）。なお、所定量α１は、撮像部８の撮影範囲内におけるワークの動き量が相対的に大きいと判断できる量に相当し、撮像部８の撮影範囲の大きさなどに基づいて定められる。

ワークの動き量が所定量α１を超過している場合（ステップＳ４１２においてＹＥＳの場合）には、ＣＰＵ１０５は、現在の撮影回数から１回分減じた撮影回数を新たな撮影回
数に設定するとともに、新たな撮影回数における各撮影におけるそれぞれの露光条件を算出して設定する（ステップＳ４１４）。

一方、ワークの動き量が所定量α１を超過していない場合（ステップＳ４１２においてＮＯの場合）には、ＣＰＵ１０５は、ステップＳ４１０において算出したワークの動き量が所定量α２（α２＜α１）を下回っているか否かを判断する（ステップＳ４１６）。なお、所定量α２は、撮影範囲内におけるワークの移動量が非常に小さく、合成画像データの生成処理に要する時間を延長可能と判断できる量に相当する。

ワークの動き量が所定量α２を下回っている場合（ステップＳ４１６においてＹＥＳの場合）には、ＣＰＵ１０５は、現在の撮影回数から１回分増加させた撮影回数を新たな撮影回数に設定するとともに、新たな撮影回数における各撮影におけるそれぞれの露光条件を算出して設定する（ステップＳ４１８）。

一方、ワークの動き量が所定量α２を下回っていない場合（ステップＳ４１６においてＮＯの場合）、あるいはステップＳ４１４またはＳ４１８の実行後、ＣＰＵ１０５は、今回の撮影によって生成された入力画像データをメモリ１０６などに一時的に格納する（ステップＳ４２０）。

ステップＳ４０８およびＳ４２０の実行後、ステップＳ４０２以降の処理が再度繰返され、これらの処理は「設定モード」の選択中において繰返される。

＜本実施形態の作用効果＞
合成画像の生成処理は繰返され、この生成に伴って合成画像を順次更新することで、合成画像を動画像として表示できる。このとき、このような合成画像の更新周期は、１つの合成画像の生成に要する処理時間に相当する。そのため、撮影範囲内での被測定物の単位時間当たりの移動量（すなわち、動き量）が比較的大きな場合には、この合成画像の生成に要する処理時間を短くしなければ、被測定物の動きを表示することはできない。一方、被測定物の動き量が比較的小さな場合には、より多くの処理時間を割り当てて、より精度の高い合成画像を生成することが好ましい。このように、被測定物の動き量に応じて、撮影条件（露光条件や撮影回数など）を適切に設定する必要があるという課題が存在したが、 この発明の実施の形態２によれば、撮像装置によって撮影される被測定物の動き量に応じて、１回の合成画像データの生成に要する処理時間が自動的に変更され、合成画像の更新周期が適切に設定される。そのため、予備知識を持たないユーザであっても、被測定物の動きを見ながら撮影条件を設定できる。

［実施の形態３］
上述したように、本発明に係る画像合成処理は、複数の入力画像データの輝度情報および色情報を用いて、画素毎に合成輝度情報および合成色情報を算出する。そのため、画像合成処理に要する時間は、処理対象の画素数および入力画像データ数に比例することになる。

一方、検査対象のワークの大きさは撮像装置の撮影範囲に比較して小さい場合が多く、このような場合には、検査対象の画素についてのみ画像合成処理を行なうことで、より処理時間を短縮することができる。そこで、実施の形態３に従う画像処理装置として、処理対象とすべき領域に含まれる各画素についてのみの画像合成処理が可能な構成について説明する。

この発明の実施の形態３に従う画像処理装置を含む視覚センサシステム１の全体構成については、図１と同様であるので詳細な説明は繰返さない。また、この発明の実施の形態
３に従う画像処理装置のハードウェア構成については、図２と同様であるので詳細な説明は繰返さない。

＜画面表示例＞
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。

図２４は、この発明の実施の形態３に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。図２５は、この発明の実施の形態３に従う画像処理装置のモニタに表示される「稼動モード」における画面表示例を示す図である。

図２４を参照して、設定モード画面３００Ｂは、設定値入力エリア３１０Ａと、ヒストグラム表示エリア３２０と、合成画像表示エリア３３０Ｂと、撮影情報表示エリア３４０と、表示モード選択エリア３５０とを含む。

設定値入力エリア３１０Ａには、「明るさ」上限値を設定するためのスライドバー３１２および「明るさ」下限値を設定するためのスライドバー３１４が配置される。このスライドバー３１２および３１４の操作によって設定される「明るさ」上下限値は、明るさ上下限設定部２１６（図２６）に入力される。

ヒストグラム表示エリア３２０には、ヒストグラム生成部２１８（図２６）で生成されたヒストグラムが視覚的に表示される。

合成画像表示エリア３３０Ｂには、設定された「明るさ」上下限値に応じて生成される合成画像データに基づく合成画像が表示される。この合成画像表示エリア３３０Ｂに対して、合成画像データのうち処理対象とすべき領域を設定するための対象領域枠３３２が設定可能になっている。この対象領域枠３３２は、ユーザによるマウス１０４（図２）操作に応じて移動可能なカーソル３７２などによって指定される。

図２５を参照して、「稼動モード」においては、この対象領域枠３３２に含まれる画素のみについて、上述したような画像合成処理が実行される。そのため、対象領域枠３３２（図２４）が設定された場合には、「稼動モード」において対象領域枠３３２（図２４）に含まれる領域についての合成画像が表示されるとともに、その他の領域については、より処理時間の短い処理によって生成された画像（もしくは背景）が表示される。なお、図２５には、理解を容易にするために、対象領域枠３３２（図２４）に含まれる領域以外を背景として表示する例を示す。

なお、図２４においては、理解を容易にするために、１つの対象領域枠３３２が設定されている場合を例示するが、複数の対象領域枠３３２が設定されるようにしてもよい。

撮影情報表示エリア３４０には、「撮影時間」、「撮影回数」、「シャッター速度」が表示される。

表示モード選択エリア３５０には、ヒストグラム表示エリア３２０におけるヒストグラムの表示／非表示を選択するラジオボタン３５４とが表示される。

さらに、設定モード画面３００Ｂには、「ＯＫ」ボタン３６２と、「ＣＡＮＣＥＬ」ボタン３６４とが配置されており、ユーザが「ＯＫ」ボタン３６２を選択すると、各項目において設定された値が固定ディスク１０７などに格納された上で「稼動モード」に移行する。一方、ユーザが「ＣＡＮＣＥＬ」ボタン３６４を選択すると、各項目において設定さ
れた値が固定ディスク１０７などに格納されずに「稼動モード」に移行する。

＜制御構造＞
図２６は、この発明の実施の形態３に従う画像処理装置の制御構造を示す機能ブロック図である。

図２６を参照して、本実施の形態に従う画像処理装置の制御構造は、図４に示す実施の形態１に従う画像処理装置の制御構造において、撮影制御部２００に代えて撮影制御部２００Ｂを配置するとともに、領域指定受付部２３０をさらに設けたものである。その他の部位および動作については、上述した実施の形態１とほぼ同様であるので、詳細な説明は繰返さない。

領域指定受付部２３０は、入力画像データ（もしくは、合成画像データ）のうち処理対象とすべき領域の設定を受付け、この処理対象とすべき領域を特定するための情報を画像情報抽出部２０６ａ〜２０６ｈへ出力する。すなわち、領域指定受付部２３０は、合成画像表示エリア３３０Ｂ（図２４）上で、ユーザが指定した対象領域枠３３２に応じた設定内容を受付ける。

画像情報抽出部２０６ａ〜２０６ｈの各々は、この領域指定受付部２３０からの特定情報に基づいて、撮像部８によって順次撮影される入力画像データのうち、処理対象とすべき領域に含まれる各画素についての色情報および輝度情報をそれぞれ抽出し、色合成部２０８および輝度合成部２１０へ出力する。

色合成部２０８は、画像情報抽出部２０６ａ〜２０６ｈによって抽出された部分的な色情報および輝度情報に基づいて、合成色情報を生成する。同様に、輝度合成部２１０は、画像情報抽出部２０６ａ〜２０６ｈによって抽出された部分的な輝度情報に基づいて、合成輝度情報を生成する。さらに、トーンマッピング部２１４および明るさ上下限設定部２１６などによる処理の後、画像生成部２１２は、対象領域枠３３２に含まれる領域についての合成画像を生成し、当該合成画像データに基づく合成画像を合成画像表示エリア３３０Ｂに表示する。

このように入力画像データのうち、処理対象とすべき領域に含まれる画素についてのみ合成画像処理を実行するので、１回の画像合成データの生成に要する処理時間を短縮することができる。

なお、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素の各々については、入力画像データのうち１つに基づいて、合成画像データの対応する画素の色情報および輝度情報を算出してもよい。より具体的には、色合成部２０８および輝度合成部２１０が、いずれか１つの入力画像データ（たとえば、画像バッファ２０４ａに格納される入力画像データ）の処理対象とすべき領域に含まれる画素を除く残りの画素の各々についての色情報および輝度情報を、対応する合成色情報および合成輝度情報として出力する。これにより、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素については、いずれか１つの入力画像データの対応する画素で代用されることになる。

また、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素の各々については、「白色」や「黒色」といった特定の背景色で代用することも可能である。より具体的には、画像生成部２１２は、合成色情報および合成輝度情報の入力がなかった画素について、特定の背景色で補完することで、合成画像データを生成する。

また、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素の各々については、処理対象とすべき領域に含まれる画素の更新周期（生成周期）に比較して長い周期で更新するようにしてもよい。すなわち、撮像部８による異なる露光条件でのワークの複数回撮影が繰返し実行され、これに伴って、合成画像データが順次生成される。この合成画像データに生成に伴って、処理対象とすべき領域に含まれる画素については毎回その画素情報が算出（更新）されるが、処理対象とすべき領域に含まれる画素を除く残りの画素の各々については、合成画像データが複数回生成される毎にその画素情報を算出（更新）するようにしてもよい。言い換えれば、処理対象とすべき領域に含まれる画素についての更新周期に比較して、処理対象とすべき領域に含まれる画素を除く残りの画素についての更新周期を遅くしてもよい。

＜本実施形態の作用効果＞
この発明の実施の形態３によれば、撮像装置の撮影範囲の一部分に存在する被測定物の領域を指定することで、検査や計測の対象となる被測定物についての、必要な合成画像をより効率的に生成できる。これにより、画像合成に係る処理時間をより短縮化することでできるので、生産ラインのタクトタイムへの影響を低減できる。

［実施の形態４］
上述したように、本発明に係る画像合成処理は、複数の入力画像データから算出した各画素の合成輝度を、所定の対応関係に従って割り当てることで、合成画像データの対応する画素の輝度情報を生成する。より具体的には、合成輝度のうち「明るさ」下限値から「明るさ」上限値までの範囲が、合成画像データの輝度範囲と対応するように、割り当てが行なわれる。上述の実施の形態１〜３では、ユーザが「明るさ」上限値および「明るさ」下限値を入力する構成について例示した。

このような割り当ては、撮像装置によって撮影される被測定物のうち、所定範囲の「明るさ」をもつ領域をより高い精度で表示するために実行される。そのため、ユーザは、撮像された入力画像データのうち、特定の領域を高い精度で表示したいと望む場合も多いと考えられる。このような場合には、所望する領域を指定し、この指定した領域の表示に適した「明るさ」上限値および「明るさ」下限値が自動的に決定されると、よりユーザフレンドリである。

そこで、実施の形態４に従う画像処理装置として、ユーザが注目する領域の表示に適した明るさ範囲の設定が可能な構成について説明する。

この発明の実施の形態４に従う画像処理装置を含む視覚センサシステム１の全体構成については、図１と同様であるので詳細な説明は繰返さない。また、この発明の実施の形態４に従う画像処理装置のハードウェア構成については、図２と同様であるので詳細な説明は繰返さない。

＜画面表示例＞
まず、理解を容易にするため、本実施の形態に従う画像処理装置のモニタに表示される「設定モード」における画面表示例について説明する。

図２７は、この発明の実施の形態４に従う画像処理装置のモニタに表示される「設定モード」における画面表示例を示す図である。図２８は、図２７において指定領域が設定された後の画面表示例を示す図である。

図２７を参照して、設定モード画面３００Ｃは、設定値入力エリア３１０Ａと、ヒストグラム表示エリア３２０と、合成画像表示エリア３３０Ｃと、撮影情報表示エリア３４０
と、表示モード選択エリア３５０Ｃとを含む。

設定値入力エリア３１０Ａには、「明るさ」上限値を設定するためのスライドバー３１２および「明るさ」下限値を設定するためのスライドバー３１４が配置される。このスライドバー３１２および３１４の操作によって設定される「明るさ」上下限値は、明るさ上下限設定部２１６（図２９）に入力される。

ヒストグラム表示エリア３２０には、ヒストグラム生成部２１８（図２９）で生成されたヒストグラムが視覚的に表示される。

表示モード選択エリア３５０Ｃには、ヒストグラム表示エリア３２０におけるヒストグラムの表示／非表示を選択するラジオボタン３５４と、「明るさ自動設定」の有効化（ＯＮ）または無効化（ＯＦＦ）を選択するためのラジオボタン３５６とが表示される。ラジオボタン３５４によって、ヒストグラムの非表示が選択されると、ヒストグラム表示エリア３２０におけるヒストグラム表示が行なわれない。また、「明るさ自動設定」が有効化（ＯＮ）されると、合成画像表示エリア３３０Ｃに表示される合成画像データに基づく合成画像のうち、処理対象とすべき領域を設定するための指定領域枠３８４が設定可能になる。

図２７に示すように、合成画像表示エリア３３０Ｃには、まず、初期の「明るさ」上限値および「明るさ」下限値（たとえば、「明るさ」が０〜１００）に応じた合成画像が表示される。上述したように、「明るさ自動設定」が有効化（ＯＮ）されると、この合成画像表示エリア３３０Ｃに対して、ユーザによる指定領域枠３８４の設定が可能になっている。この指定領域枠３８４は、ユーザによるマウス１０４（図２）操作に応じて移動可能なカーソル３７２などによって指定される。これにより、指定領域の位置、大きさをユーザは目的に応じて設定することができる。この指定領域枠３８４に含まれる画素がもつ合成輝度に応じて、「明るさ」上限値および「明るさ」下限値が自動的に設定される。すなわち、指定領域枠３８４に含まれる画素の合成輝度の最大値を抽出して「明るさ」上限値に設定し、最小値を抽出して「明るさ」下限値に設定する。そして、図２８に示すように、合成画像表示エリア３３０Ｃには、この設定された「明るさ」上限値および「明るさ」下限値（たとえば、「明るさ」が４０〜７０）に変更された後の合成画像が表示される。

すなわち、図２７では、被測定物である腕時計の皮革製のバンド部分が指定領域として設定されている場合を示し、図２８では、この指定領域に含まれる画素がより高い精度（コントラスト）で表示される場合を示す。なお、図２８に示す例では、指定領域に含まれる画素がもつ合成輝度に比較してより高い合成輝度をもつ画素については、白飛びまたは白飛びに近い状態で表示されていることがわかる。

なお、図２７においては、理解を容易にするために、１つの指定領域枠３８４が設定されている場合を例示するが、複数の指定領域枠３８４が設定されるようにしてもよい。

撮影情報表示エリア３４０には、「撮影時間」、「撮影回数」、「シャッター速度」が表示される。なお、指定領域枠３８４の設定に応じて、「明るさ」上限値および「明るさ」下限値が変更された場合には、「撮影時間」、「撮影回数」、「シャッター速度」についても変更される。そのため、撮影情報表示エリア３４０には、変更後の値が表示される。

さらに、設定モード画面３００Ｃには、「ＯＫ」ボタン３６２と、「ＣＡＮＣＥＬ」ボタン３６４とが配置されており、ユーザが「ＯＫ」ボタン３６２を選択すると、各項目において設定された値が固定ディスク１０７などに格納された上で「稼動モード」に移行す
る。一方、ユーザが「ＣＡＮＣＥＬ」ボタン３６４を選択すると、各項目において設定された値が固定ディスク１０７などに格納されずに「稼動モード」に移行する。

＜制御構造＞
図２９は、この発明の実施の形態４に従う画像処理装置の稼動モードにおける制御構造を示す機能ブロック図である。

図２９を参照して、本実施の形態に従う画像処理装置の制御構造は、図４に示す実施の形態１に従う画像処理装置の制御構造において、撮影制御部２００に代えて撮影制御部２００Ｂを配置するとともに、輝度情報抽出部２４０をさらに設けたものである。その他の部位および動作については、上述した実施の形態１とほぼ同様であるので、詳細な説明は繰返さない。

輝度情報抽出部２４０は、合成画像データのうちユーザによって設定される指定領域を受付け、輝度合成部２１０から出力される各画素の合成輝度のうち、当該指定領域に含まれる各画素の合成輝度の値を抽出する。そして、輝度情報抽出部２４０は、これらの抽出した合成輝度の値に基づいて、「明るさ」上限値および「明るさ」下限値を決定する。一例として、輝度情報抽出部２４０は、指定領域に含まれる画素がもつ合成輝度の最大値を「明るさ」上限値として決定し、指定領域に含まれる画素がもつ合成輝度の最小値を「明るさ」下限値として決定する。そして、輝度情報抽出部２４０は、このように決定した「明るさ」上下限値を、明るさ上下限設定部２１６へ出力する。

明るさ上下限設定部２１６は、ユーザによるスライドバー３１２および３１４（図２７，図２８）の操作によって設定される「明るさ」上下限値に代えて、輝度情報抽出部２４０から入力される「明るさ」上下限値を優先し、トーンマッピング部２１４へ出力する。

トーンマッピング部２１４は、「明るさ」下限値から「明るさ」上限値までの範囲が、合成画像データの輝度範囲と対応するように、一次関数輝度合成部２１０から出力される各画素についての割り当て処理を実行することで、合成画像データを生成する。なお、この割り当ては、図７に示すような輝度情報についての１次関数として表される対応関係に従って行なわれる。

このように合成画像データのうち、ユーザが表示したいと望む指定領域の表示に適した「明るさ」上限値および「明るさ」下限値が自動的に決定されるので、当該指定領域に含まれる被測定物の画像をより高い精度で表示することができる。

なお、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素の各々については、入力画像データのうち１つに基づいて、合成画像データの対応する画素の色情報および輝度情報を算出してもよい。より具体的には、色合成部２０８および輝度合成部２１０が、いずれか１つの入力画像データ（たとえば、画像バッファ２０４ａに格納される入力画像データ）の処理対象とすべき領域に含まれる画素を除く残りの画素の各々についての色情報および輝度情報を、対応する合成色情報および合成輝度情報として出力する。これにより、合成画像データのうち、処理対象とすべき領域に含まれる画素を除く残りの画素については、いずれか１つの入力画像データの対応する画素で代用されることになる。

指定領域に含まれる画素がもつ合成輝度の最大値および最小値をそれぞれ合成輝度の最小値を「明るさ」上限値および下限値とする処理について例示したが、それ以外の処理として、指定領域に含まれる画素がもつ合成輝度の最頻度値を中心として、所定範囲を「明るさ」上下限値と決定する方法や、指定領域に含まれる画素がもつ合成輝度の分散値に基
づいて「明るさ」上下限値を決定する方法などを採用することができる。

＜本実施形態の作用効果＞
この発明の実施の形態４によれば、被測定物のうち、高い精度で表示すべき領域、あるいは検査対象とすべき領域をユーザが視覚的に指定することで、このような領域の表示に適した「明るさ」上限値および「明るさ」下限値が自動的に決定されるので、ユーザによる設定調整に要する時間を短縮することができる。これにより、予備知識を持たないユーザであっても、被測定物に応じた適切な設定条件を決定することができる。

［実施の形態５］
上述の実施の形態１では、１回の合成画像データの生成に要する見込みの処理時間が、ユーザ設定される許容時間に収まるように撮影条件を変更する構成について例示し、上述の実施の形態２では、撮影範囲におけるワークの動き量に応じて、ワークの動きを適切に動画表示できるように撮影条件を変更する構成について例示し、上述の実施の形態３では、処理対象とすべき領域に含まれる画素についてのみ画像合成処理を行なって、１回の画像合成データの生成に要する処理時間を短縮する構成について例示した。

これらの各実施の形態における構成のうち、任意の構成を組み合わせて単一の画像処理装置に組み込んでもよい。すなわち、上述の各実施の形態に従う構成は、互いに併存可能な構成であり、任意に組み合わせることが可能である。

なお、上述の実施の形態１〜４における説明では、主としてカラー画像データを用いる場合について例示したが、本発明は、モノクロ画像データに対しても同様に適用できる。

［その他の実施の形態］
本発明に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明に係るプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記録媒体とを含む。

さらに、本発明に係るプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 視覚センサシステム、２ ワーク、４ａ 受光部、４ｂ 投光部、６ 搬送機構、
８ 撮像装置、１００ コンピュータ、１０１ コンピュータ本体、１０２ モニタ、１０３ キーボード、１０４ マウス、１０５ ＣＰＵ、１０６ メモリ、１０７ 固定ディスク、１０９ カメラインターフェイス部、１１１ ＦＤ駆動装置、１１３ ＣＤ−ＲＯＭ駆動装置、１１５ ＰＬＣインターフェイス部、１１７ センサインターフェイス部、２００，２００Ａ，２００Ｂ 撮影制御部、２０２ 選択部、２０４，２０４ａ〜２０４ｈ 画像バッファ、２０６ａ-２０６ｈ 画像情報抽出部、２０８ 色合成部、２１０
輝度合成部、２１２ 画像生成部、２１４ トーンマッピング部、２１６ 上下限設定部、２１８ ヒストグラム生成部、２２０ 動き量判断部、２２２ 処理時間算出部、２３０ 領域指定受付部、２４０ 輝度情報抽出部。

Claims (6)

1. 露光量を変更可能な撮像装置に接続された画像処理装置であって、
   前記撮像装置は、複数の画素に区画された撮像素子を含み、
   前記画像処理装置は、
   前記撮像装置に、異なる露光量で被測定物を複数回撮影させることにより、前記露光量毎に、前記撮像素子の各画素に入射した光エネルギーに相当する値を含む画像データを複数生成する撮影制御手段と、
   前記複数の画像データから合成画像データを生成する合成手段とを備え、
   前記合成手段は、
   各画像データの前記光エネルギーに相当する値を対応する画像データの撮影時の露光量でそれぞれ規格化した上で、各画素の合成輝度を算出する手段と、
   前記算出された各画素の合成輝度を所定の対応関係に従って割り当てることで、前記合成画像データの対応する画素の輝度情報を算出する手段と、
   前記画像データのうち指定領域の設定を受付ける手段とを含み、
   前記対応関係は、前記指定領域に含まれる画素の前記合成輝度の大きさに基づいて決定される、画像処理装置。
2. 前記対応関係は、前記輝度情報が第１の値である場合に、前記輝度情報の最小値に対応し、前記輝度情報が前記第１の値より大きい第２の値である場合に、前記輝度情報の最大値に対応するものであり、
   前記第１の値は、前記指定領域に含まれる画素がもつ前記合成輝度の最小値であり、
   前記第２の値は、前記指定領域に含まれる画素がもつ前記合成輝度の最大値である、請求項１に記載の画像処理装置。
3. 前記対応関係は、前記輝度情報についての１次関数である、請求項２に記載の画像処理装置。
4. 前記合成手段は、前記光エネルギーに相当する値のそれぞれに対応する画像データの撮影時の露光量に応じた係数をそれぞれ乗じることで規格化した値を、累積加算することで、前記輝度情報を算出する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、露光量による規格化後の前記光エネルギーに相当するそれぞれの値のうち、所定範囲内にあるものを優先的に採用して、前記輝度情報を算出する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像処理装置は、さらに表示装置に接続されており、
   前記合成画像データに基づく合成画像を前記表示装置に表示させる表示手段をさらに備える、請求項１〜５のいずれか１項に記載の画像処理装置。