JP6494313B2 - 画像処理方法、装置システム、プログラム、記憶媒体 - Google Patents

Description

本発明は、カメラの撮影パラメータを変更して検討用の画像を撮影し、必要に応じて撮影パラメータを調整する画像処理方法および装置システムに関する。

対象物の画像を撮影し、画像処理を行い、対象物の位置や位相の計測、有り無し検知、表面状態の良品検査などを行う画像処理方法は広く知られている。

このような画像処理方法ではまず、適切な画像処理結果を得るために、好適な輝度分布や色濃度分布、輝度勾配などを持つ画像データを取得する必要がある。そのためには、撮影時の露光時間や信号の増幅度（ゲイン）、レンズ絞りなど、様々な撮影パラメータの調整が重要である。しかしながら経時的な照明の劣化、室内や室外環境の変化、一時的な遮光（例えば人や装置動作により生じる影）など、種々の外部環境の変動要因により、好適な画像データが撮影できなくなることがある。また、工業生産を行う場合など、一定の規格の形状の対象物を検査する場合おいても、個体ごとの表面品質や形状、材質の変動などがあり、この点も好適な画像データが撮影できなくなる原因になりうる。

しかし、画像処理の結果に不具合があった場合、装置の稼働を停止して、撮影パラメータの調整の機会を別途設けると、装置の稼働率が落ちるという問題が生じる。

上記課題に対し、特許文献１では撮影された画像データにおける予め設定した領域の輝度値を算出し、その輝度値が輝度閾値の範囲にあるかどうか判定する技術が記載されている。さらに、算出された輝度値が輝度閾値の範囲外であれば撮影パラメータを変更し、再度画像データを撮影することを繰り返し、画像データの設定された領域内の輝度が予め設定してある輝度範囲に入るように調整する。

このような調整工程を経て、その後に得られた画像データに対して調整後の輝度範囲を新たな基準にし、所定の画像処理を行う。これは装置の稼働中においても、画像データの所定の領域内の輝度値に基づいて撮影パラメータが好適であるかを判定し、直接に調整することで、画像処理に適切な画像データを撮影することを期待するものである。

しかしながら特許文献１のような、直接的な撮影パラメータの調整方法では、所定の輝度値が得られるように撮影パラメータを調整し、画像処理を行う。そのため、画像処理の結果自体が適切でなくなる場合があった。

その原因が照明不良の場合、対象物に対して好適な輝度分布で画像データを撮影することができず、画像処理の結果が不適切となる場合がある。例えば対象物のもつ輝度勾配や輝度分布、色分布などの特徴情報が小さくなり、位置や位相の計測精度が低下したり、有り無し判定を誤ったりすることが生じえる。

他方で直接的に調整が行われることに起因して、実際の生産現場では使用者が誤って調整することで対象物の計測精度が低下し、良品を不良と判定する過検出や、不良品を良品と判定する誤検出の発生などを生じることがある。

特開２００９−１３９２３９

本発明は上記事情に鑑みてなされたものであり、一時的な撮影対象や外的要因の変動に影響を受けることに起因する装置の稼働に対する影響を抑えた画像処理方法および装置システムを提供する。

本願発明は上述の課題に対応するものであり、
通信可能な、制御装置と画像処理装置と撮影装置を用いて、撮影された画像を処理する画像処理方法であって、
前記撮影装置が予め定められた本撮影パラメータを用いて対象物を撮影して本撮影画像を得て、前記画像処理装置が前記本撮影画像に対する画像処理を施す工程と、
前記本撮影画像に対する前記画像処理の結果が前記制御装置に送信される工程と、
前記撮影装置が副撮影パラメータを用いて前記対象物を撮影して副撮影画像を得て、前記画像処理装置が前記副撮影画像に対する前記画像処理を施す工程と、
前記本撮影画像に対する前記画像処理の結果と前記副撮影画像に対する前記画像処理の結果とを比較して、前記副画像処理結果が良好な場合には前記副撮影パラメータを新しい本撮影パラメータに更新し、前記副画像処理結果が良好でない場合は更新しない判断工程と、
を備えた画像処理方法、を提供する。

本願発明によると撮影パラメータを適切に調整するとともに装置の稼働率の低下を抑制できる。

（ａ）は本発明の第１実施形態における画像処理方法を物流装置に適用した場合の撮影パラメータ調整処理の流れを示したシステム図である。（ｂ）はその制御シーケンスである。 本発明の画像処理方法を実施する画像処理装置の構成を示したブロック図である。 本発明の第１実施形態における撮影パラメータを調整するプログラムのフローチャート図である。 本発明の第１実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。 本発明の第１実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。 本発明の第２実施形態における画像処理方法を物流装置に適用した場合の撮影パラメータ調整処理の流れを示した制御シーケンスである。 本発明の第２実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。 本発明の第２実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。

（第１実施形態）
本発明は通信可能な、制御装置と画像処理装置と撮影装置を用いて、撮影された画像を処理する画像処理方法である。以下、図１（ａ）および図１（ｂ）を用いて本発明の第１実施形態に関して詳しく説明する。

以下では、まず本撮影パラメータを用いて本撮影および本画像処理を行い、処理結果を外部の機器に返信する点を説明する。続いて副撮影パラメータを用いて、本画像処理中に副撮影を行い、副画像処理の結果を抽出しながら撮影パラメータを検討したり調整したりする工程について順次説明する。

撮影パラメータとしては撮影時の露光時間や信号の増幅度（ゲイン）、レンズ絞りなどが挙げられる。

なお説明のため、画像処理方法を適用する装置全体の構成や動作目的、画像処理の内容、制御する各種装置、処理結果や制御結果などを例に挙げる。

しかし、これら装置の構成や動作目的、画像処理の内容、処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成してよい。

またユーザインターフェースを介して装置の利用者が任意にパラメータを設定できる処理アルゴリズム及びプログラムなどを用いた形態で、本実施形態にかかる装置システムを提供してもよい。

図１（ａ）は、本発明の画像処理方法を実行する装置システムを表しており、画像処理装置５を制御装置１や搬送装置２などと組み合わせて物流装置として構成したものである。

制御装置１は、搬送装置２やロボットアーム３、画像処理装置５と信号授受が可能となるように構成されており、これらの機器を制御してピックアンドプレイス等の所定の作業内容を実行させる。

その作業内容や順序、タイミングなどは、制御装置１にプログラムとしてストックされていたり、制御アプリケーションが読みこむ設定ファイルに記述されていたりする。

この装置システム（物流装置）は対象物４を搬送したり、設けられているロボットアーム３にて対象物４を拾い上げたり、配置したりする。制御装置１は搬送装置２やロボットアーム３の作業状況と併せ、予め定義された任意のタイミングにおいて、画像処理装置５へ制御指令を送信することで、画像計測を指令したりする。すなわち制御装置１は装置システムを構成するそれぞれの機器の動作タイミングや指令等を全体として統括する。一方、指令内容に応じて、搬送装置２やロボットアーム３、画像処理装置５等は所定の処理を行って、その制御結果や処理結果を制御装置１に返信するように通信可能に構成されている。

また、画像処理装置５は撮影装置６や表示装置７などと連結されている。画像処理装置５は制御装置１の指令を受けつけたら、予め設定された撮影パラメータを用いて撮影装置６に撮影指令に関する信号を送信し、撮像装置６は対象物４の撮影をおこなう。

撮影によって取得した画像データを画像処理装置５に入力し、画像処理を行い、画像処理が完了したら、その結果を制御装置１に返信したり、必要に応じて表示装置７に表示したりする。なお、制御装置１や入力装置８などの指示に応じて、画像処理装置５の設定の変更を随時受けつけたりすることができる構成としても良い。

上述の例では制御装置１と画像処理装置５とがそれぞれ構成されている例を説明したが、それらが一体となって一つのシステム制御装置が構成されるなど、本発明を実行するために使用者は適宜、所望の構成を採用してよい。

図１（ｂ）は上述のような構成において、一連の制御シーケンスを例示したものである。

図１（ｂ）は制御装置１の画像処理装置５への制御指令をスタートとする制御シーケンスである。

画像処理装置５への制御指令に始まり、画像処理装置５が画像処理を受けつけてから、その処理結果を返信したり、表示したり、撮影パラメータを更新したりするまでを描いている。

紙面向かって下方向の矢印は各種処理の実行、紙面向かって左方向（あるいは右方向）の矢印は装置間の通信制御を表しており、下方向に時間や工程が進捗しているものとして説明する。

また、ここでは通信に要する時間は他の各種処理に要する時間に対して十分小さいものとして図に表さないこととする。まず制御装置１はプログラムなどで指定されたタイミング１１において、通信手段を用いて、画像処理装置５に対して画像処理の指令を行う。画像処理装置５はタイミング５１において、その画像処理の指令を受けつけ、指令内容に対応した各種設定ファイルなどを読み込んだりする工程が行われる。

次にタイミング５２において、あらかじめ定められた本撮影パラメータを伴って、撮影指令を撮影装置６に送信する。撮影指令をうけた撮影装置はタイミング６１において撮影を開始する。その後、撮影が終了するタイミング６２において、画像処理装置５は撮影装置６の内部記憶領域などに保持された画像データを入力（ダウンロード）する。

画像処理装置５はタイミング５３で画像データを入力（ダウンロード）し、さらにタイミング５４−５５の区間で本画像処理を行う。本画像処理が終わると、その結果を制御装置１に任意のタイミングで処理結果を返信（通常は装置全体の動作を妨げないように、できる限り短時間で返信する）する。制御装置１はその処理結果を受けつけたタイミング１２を起点に、その処理結果を用いて以降の別の処理や制御指令等を行う。

さて、図１（ｂ）のような本発明の撮影及び画像処理方法では以下の点に特徴がある。

すなわちタイミング５３において画像処理装置は本撮影された画像データを入力（ダウンロード）した後に、本撮影パラメータ（撮影区間６１〜６２で用いられた）とは異なる副撮影パラメータで撮影装置６へ撮影指令を送信する。例えば、図１（ｂ）では、画像処理装置は本撮影画像データを入力し、タイミング５４でその画像データを使用して本画像処理を開始する。それとともに、本撮影パラメータと異なる副撮影パラメータで撮影装置６へ撮影指令を送信し、撮影装置６はタイミング６３において副撮影を開始し、タイミング６４で終了する。

撮影装置６の立場でいうと、本撮影と副撮影の合計で二度の撮影が行われ、露光時間等の撮影パラメータが異なる２つの画像データを取得することになる。

なお、画像処理装置５は装置全体の動作に遅延をもたらすような処理は後回しにすることが適切である。

そのため、図１（ｂ）に示すとおり制御装置１へ本画像処理結果を返信することを優先し、本画像処理結果の返信が終わったタイミング５５以降の、例えばタイミング５６において、画像処理装置５は取得した副撮影画像を入力（ダウンロード）する。その後、画像処理装置５は副撮影画像データに対してタイミング５４−５５の区間で、以前に実行した本画像処理と同様の画像処理を行う（副画像処理）。

副撮影画像データの処理が終わったタイミング５７で副画像処理結果を表示装置７等に表示したりして出力してもよい（このタイミング５７で本画像処理結果も併せて表示装置に対して画像処理装置の側から通信してもよい）。また、その出力された副画像処理結果が適切である場合、入力装置８等を用いて、タイミング８１で、画像処理装置における撮影パラメータを更新する。すなわち、この副撮影パラメータを新しい本撮影パラメータとして更新し、次回以降の本撮影に用いるように調整することができる。

また、適切な画像処理結果が得られなければ、引き続き制御装置１などからの制御指令を待ったりして、次回以降も同様にして副撮影パラメータの変更を行いながら検討を行ったりしても良い。

図２に本実施形態の画像処理および撮影パラメータの調整を実施可能な画像処理装置５の構成例を示す。図１（ａ）および図２の画像処理装置５は、画像を表示する陰極管や液晶パネルなどにより構成された表示装置７、および入力装置８を含む。入力装置は例えばキーボードやマウス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置などにより構成される各種操作入力用の装置が挙げられる。これら表示装置７および入力装置８は、主にユーザインターフェースを構成する。

また、画像処理装置５は、画像データ入力手段の１つとしてデジタルカメラなどで構成された撮影装置６と接続される。また、図１（ａ）では省略しているが、必要に応じてハロゲン照明や発光ダイオード照明などで構成された照明装置１０を撮影のために併設したり、外部記憶装置を記憶領域拡大のために接続したりしてもよい。さらに、画像処理装置５には、ネットワークやケーブルなどを介して、制御装置１が接続される。上記各部は、画像処理装置５の内部バス上に配置されたインターフェース５２を介して接続される。各インターフェース５２は上記各部を通信するのに適した規格に基づき構成される。各インターフェース５２は、使用する接続対象に応じて、例えば、ネットワークインターフェース、シリアル通信インターフェースなどから構成される。

画像処理装置５は、画像処理の主体となる制御装置として、汎用マイクロプロセッサとして構成されたＣＰＵ素子や、画像処理プロセッサなどにより構成された演算手段５１を有する。演算手段５１は画像処理装置５の内部バス（データバス、アドレスバス、他の制御線など）を介して、図２の左側に図示した記憶手段５３と接続される。記憶手段５３は、例えばＲＯＭやＲＡＭ、あるいはＥ（Ｅ）ＰＲＯＭなどの不揮発メモリデバイスや、外部記憶装置（不図示のＨＤＤや半導体素子で構成された記憶装置で構成される。また、あるいは接続手段５２と接続することができる外部記憶装置など）上のファイル領域や仮想記憶領域などによって構成してもよい。

また、記憶手段５３の処理データ保存領域５３２は、記憶手段５３中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域などによって構成される。処理データ保存領域５３２には、処理データを一時記憶させる他、画像処理の設定パラメータなどの記憶に用いられる。また、外部記憶装置に画像データをロギングする場合、処理データ保存領域５３２は、例えば、外部記憶装置のデータキャッシュなどとして用いられる。

さらに、記憶手段５３には、本実施例の画像処理を実施するための画像処理プログラム５３１を記憶させておく。画像処理プログラム５３１は、入力装置８などによって行われた各種操作に応じて、画像処理の設定などを変更したり、画像処理を実行したりする。また、変更内容について、処理データ保存領域５３２に保存したり削除したりすることができる。

画像処理プログラム５３１は、例えば次のような機能を実現するソフトウェアから構成される。まず、画像処理５３１１は後述の画像処理を実現する画像処理プログラムの本体部分である。画像処理５３１１には、画像処理ライブラリ５３１２が用いられる。画像処理ライブラリ５３１２は、例えば静的ないし動的にリンクされるライブラリとして記憶手段５３に実装される。画像処理プログラム５３１の振舞いを決定する画像処理設定５３１４のプログラムの実行は、入力装置８などによって行われた各種操作に応じて行われる。

さらに、画像処理プログラム５３１には、次のような機能を実現するＩ／Ｏ（入出力）ルーチンが含まれる。上記の各機能は、アプリケーション（ユーティリティ）プログラムや、あるいは静的ないし動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶手段５３に実装される。

画像処理装置５は、画像処理プログラム５３１における外部デバイス制御５３１３のプログラムを実行することにより、例えば撮像装置６や照明装置１０を制御したり、画像処理装置の演算手段を利用して画像処理を実行したりすることができる。また、指令受付５３１６のプログラムが実行されることにより、入力装置８よりユーザ操作を受けつけたり、外部の制御装置１などから指令を受けつけたりすることができる。これらの操作や指令に応じて、演算手段５１は画像処理プログラム５３１の上記各機能やライブラリを呼び出し、各種演算処理を行い、画像処理結果を制御装置１に送信することができる。また、保存データ生成５３１５のプログラムを実行することにより画像処理結果を外部記憶装置に蓄積（ロギング）したりしても良い。さらに、保存データ出力５３１７と表示画面生成５３２０のプログラムを実行することにより、プログラムとして予め記憶されている画面構成と画像処理の結果を画面として合成し、表示装置７に表示することもできる。

以下では図３のフローチャートを用いて、装置の稼働中に画像処理プログラム５３１によって、画像の撮影パラメータを調整される際の処理の流れを説明する。なお、以下では説明を容易にするために、画像処理の内容や処理結果、撮影パラメータの調整方法、入力操作や表示出力方法あるいは装置の構成などについては限定された具体的な内容で行うものとする。

また、画像処理に係る処理内容や、調整する撮影パラメータや撮影パラメータの調整方法、調整のタイミング等はユーザが予め任意に設定できる設定画面を設けたり、別の処理アルゴリズムなどを用いて動的に決定したりしても良い。また、ここでは調整対象の撮影パラメータを本撮影に用いる初期ゲイン値との相対的な倍率（例えば１．０であれば、本撮影パラメータの初期ゲイン値の１．０倍であり、以下増幅倍率と呼ぶこととする）として説明する。

一般的な制御可能な構成であれば本実施形態は実施できるので、露光時間や絞り、ピント、照明装置の輝度など、撮影条件に関わるものであれば適宜に適用可能である。

まずステップＳ０では記憶手段５３に記憶されている画像処理の設定データを一時記憶領域５３１９のプログラムを実行して不図示の一時記憶領域に入力する。このステップは画像処理の設定を読込む操作に相当する。

画像処理の設定データには、該当する画像処理において撮影装置６で撮影の際に用いる撮影パラメータや、照明装置１０の照度（もしくはＯＮ・ＯＦＦ設定など）が記載されている。さらに、画像処理の処理対象領域の数や、処理領域の位置やサイズ及び形状、パターンマッチングや輪郭検出、輝度分布計算などの処理内容、処理に用いる数値パラメータなども記載されている。ここでは説明のために、ある特定の情報をもつ対象物より検出されたパターン情報（そのような探索パターン情報は、輝度勾配や座標などの情報であったり、輝度分布の情報であったり、その組み合わせであったりする）を予め登録しておく。

ステップＳ１では撮影装置６に対して、本撮影パラメータを設定する。ここでの本撮影パラメータはステップＳ０で読み込まれた設定データにおいて事前に定められている。なお撮影を含む、計測開始トリガは前述のような制御装置１より行われてもよいし、ユーザなどが任意のタイミングで入力装置８などを用いて行う形態でもよい。ステップＳ２では、ステップＳ１で設定された本撮影パラメータを用いて、撮影装置６に撮影指令を出す。ステップＳ３では、撮影装置６が撮影を終了するのを待って、撮影された本画像データをプログラムに入力（ダウンロード）する。ステップＳ４では、ステップＳ０で指定された画像処理の内容に従い、本画像データを用いて本画像処理を実行する。

この本画像処理を実行するステップＳ４では、取得した画像データにおける類似するパターン情報を探索するパターンマッチング処理を行う。

具体的にはまず、探索パターンと画像データをマッチングさせ、対象物の検出位置座標（Ｘ，Ｙ）と位相（θ）等の情報の一致率をマッチングスコアとして出力する。以降、このような探索パターン情報の一致率をマッチングスコアもしくは単にスコアと呼ぶこととする。画像処理装置５は、マッチングスコアを０〜１．０の範囲内として出力するようなパターンマッチング処理を行い、その結果を制御装置１に返信したり、表示装置７に表示したりすることもできる。

ステップＳ５では本画像処理の結果を出力する。

ステップＳ６〜Ｓ８は、ステップＳ４と並行して行われる副撮影パラメータに関する処理を示している。演算手段５１の構成によっては、ステップＳ６〜Ｓ８をステップＳ３とＳ４の間の期間に置き、それぞれの処理をシーケンシャルに、行ったりしてもよい。ステップＳ６は副撮影パラメータで検討処理を行うかを判断する。たとえば、画像処理プログラム５３１が撮影パラメータを調整中であればステップＳ７に進み、調整不要であればそのまま以下の処理をスキップして終了する。

ステップＳ７では副撮影パラメータを撮影装置６に設定する。このとき、副撮影パラメータはＧＵＩなどの形態で、表示装置７や入力装置８を介してユーザなどにより直接設定してもよいし、予め用意された調整テーブルなどを用いて導かれた調整値を設定したりしてもよい。

ステップＳ８では、ステップＳ７で設定された副撮影パラメータを用いて、撮影装置６に撮影指令を出す。出された指令に基づいて副撮影が実行される。

ステップＳ９では、本画像処理結果の出力及び副撮影を実行済み（もしくは検討していない）であるかを判断する。本画像処理結果の出力が終了しており、かつ副撮影が実行済みである場合にはステップＳ１０に進む。副撮影を行っていない場合は以降の処理は不要であると判断し、ステップＳ１５の終了処理に進む。

ステップＳ１０では撮影装置６が撮影を終了するのを待って、撮影された副画像データをプログラムに入力（ダウンロード）する。

ステップＳ１１ではステップＳ０で指定された画像処理の内容に従い、副画像データを用いて副画像処理を実行する。

ステップＳ１２では副画像処理の結果を抽出する。先ほど述べたようなパターン探索結果である位置や位相及びマッチングスコアを表示装置７に表示したりしても良いし、画像処理プログラム５３１より別途判断プログラムなどに送信しても良い。また、制御装置１など外部に判断を任せるような装置の制御プロトコルであれば、外部へ副画像処理結果を送信しても良い。

ステップＳ１３では、本撮影パラメータを更新するかの判断を行う。副画像処理結果を抽出する方法が表示装置７に表示したりするような方法であれば、その表示結果をユーザが確認し、判断する。また予め定められた目標となるマッチングスコアの値や許容幅などに応じて撮影パラメータを更新するかを判断するプログラムを予め準備しておいて、そのプログラムを実行し、判断する構成を採用してもよい。また、前述のように制御装置１が判断するような構成であれば、制御装置１の判断を受信しても良い。さらに予め設定された回数以上、適切な画像処理結果が得られた場合のみ撮影パラメータを更新するように、撮影パラメータを更新する条件を設けたりしても良い。また、抽出された画像処理結果（例えば位置や位相）が所定の範囲内に存在しない場合や、所定のスコア範囲に存在しない場合には、これらの撮影パラメータの参考値から除外するような仕組みを含んでもよい。これらの判断方法によって、本撮影パラメータを副撮影パラメータによって更新すると判断されればステップＳ１４へ進む。判断されなければステップＳ１５の終了処理へ進む。

ステップＳ１４では、副撮影パラメータを新たな本撮影パラメータとする更新を行う。具体的には画像処理プログラム内で保持している本撮影パラメータの値を、副撮影パラメータに上書きするのみである。しかし、例えば同時にステップＳ０で読み込んでいるような記憶領域に保存されている設定データへ書き込んだり、撮影装置６の保持するパラメータを更新したりしても良い。

ステップＳ１５では調整処理を終了する。不要になった一時記憶領域を解放して、画像処理を終了しても良いし、再利用可能なデータを保持し、再度ステップＳ０やステップＳ１に戻り、画像処理の指示を待ちうけても良い。

以上のように、本撮影画像に対する画像処理の結果が前記制御装置に送信され、撮影装置が副撮影パラメータを用いて対象物を撮影して副撮影画像を得て、画像処理装置が前記副撮影画像に対する前記画像処理を施す処理がまず実行される。

その後、本撮影画像と副撮影画像、それぞれに対する画像処理の結果とを比較して、副画像処理の結果が良好な場合には副撮影パラメータを新しい本撮影パラメータに更新し、副画像処理の結果が良好でない場合は更新しない。

本実施形態によると副画像処理結果を抽出し、その処理結果が適切であれば本撮影パラメータを更新する。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制した。

図４は本発明の第１実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。

図５は、本発明の第１実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。

画像処理結果及びパラメータ更新の関係を図５に数値で例示している。これらを用いて第１実施形態の効果について、より具体的なシーンに基づいて説明する。

なお図４は、撮影対象４１−４４（形状規格は同一のもの）に対する本撮影画像と副撮影画像の出力イメージを示している。図１（ａ）で詳細に示したそのほかの構成と同一のものは同様の符番を付して、一部は図示と説明を省略してある。また制御のフローは図３に示されたものと同様である。

使用者が採用する画像処理はパターンマッチングに限らず、エッジ抽出及びその位置や位相、サイズ、閾値二値化処理後の面積、所定の領域の輝度情報や色情報などを検出してその値を利用しても良い。

さらには、複数の領域内でそれぞれ個別の画像処理をしたりしても良い。

また、説明の簡易化のために調整対象となる撮影パラメータは、図３を参照して説明した処理フローと同様に、初期のゲイン値（初期の本撮影パラメータ）の増幅倍率に限って説明する。したがってゲイン値の増幅倍率以外のさまざまな撮影パラメータを調整することができる。

ここでは、パターンマッチングのスコアが閾値０．６以上であれば成功判定：ＯＫ、下回れば失敗判定：ＮＧとした。

パターンマッチングの手法を用いて画像データ内より探索し、その探索結果を位置座標（Ｘ，Ｙ）や位相（θ）、パターンマッチングのスコア、スコアに基づいた判定結果、を出力し制御装置１へ返信する。

またパターンマッチングのスコアは閾値０．６としているが、閾値ぎりぎりのラインで動作させるのではなく、パターンマッチングのスコアが０．８以上で安定して動作するように初期調整されている。

このとき、図５を見ると撮影対象４１は、マッチングスコア０．６５であり本画像処理自体は成功しているが、使用者の目標値（ここではマッチングスコア０．８）には到達していないことがわかる。

再び図４を参照すると、本撮影画像４１１及び処理結果を表示装置７で表示される画面７１などで確認すると、撮影対象４１が好適な明るさで撮影されておらず、使用者は撮影パラメータの調整が必要であると推測できる。そのため、使用者は副撮影パラメータを増幅倍率２．０倍などに上げ、本画像処理中の時間を用いて画像を撮影し、副撮影画像４１２を得る。その上で本画像処理と同様の画像処理を副撮影画像に施し（副画像処理）、その結果を画面７２上で表示する。この処理は図５における撮影対象４１の本画像処理結果、副画像処理結果に対応している。

このとき、増幅倍率を上げ過ぎたために副撮影画像４１２は撮影対象４１が画像上で飽和してしまい、パターンマッチングなどを含んだ副画像処理は失敗してしまった（判定：ＮＧ）。

前述したように本発明ではこの時点において制御装置１に返信するための本撮影パラメータをただちに調整することはしない。そのため、本画像処理の結果（図５の撮影対象４１に対応する本画像処理結果）が返信され、装置は停止したりすることなく動作する。制御装置１はその処理結果を受け取り、撮影対象４１の搬送を進め、続いて撮影対象４２を計測するように画像処理装置５に制御指令を送信した。このとき、副撮影パラメータを増幅倍率１．７倍にして副画像撮影すると、副撮影画像４２２が得られ、副画像処理は成功（ＯＫと判定される）するとともに、撮影対象４２の位置や位相は本画像処理とほぼ同等の結果が得られた。しかしながら、図５における撮影対象４２の欄を参照すると、パターンマッチングのスコアは、まだ目標値（０．８０）以上を達成していないので、使用者は調整を続けることとする。

撮影対象４２の搬送を進め、続いて撮影対象４３を計測するように画像処理装置５に制御指令を送信した。このとき、副撮影パラメータを増幅倍率１．４倍とすると、副撮影画像４３２が得られた。この副画像処理は成功（ＯＫと判定される）するとともに、撮影対象４３の位置や位相は本画像処理とほぼ同等の結果が得られた。さらに、パターンマッチングのスコアも０．９１と目標値０．８以上を得ることができたので、この副処理画像処理における撮影パラメータを新しい本撮影パラメータとして更新した。

撮影対象４３の搬送を進め、続いて撮影対象４４を撮影した。このとき、画像処理装置５は新しい本撮影パラメータである増幅倍率１．４倍で撮影した。

その結果、４４１のような本撮影画像が得られ、本画像処理は成功するとともに、撮影対象４４のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果が得られた。

本発明では本画像処理中に本撮影パラメータと異なる副撮影パラメータで撮影画像を取得することができ、その画像処理結果を抽出して検討することができると言える。

そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることなく、随時好適な撮影パラメータの検討と調整を行うことができる。

さらに、対象物に不良（材質や形状など不良ワーク）が混在したり、対象物の位置決めのバラツキが大きいような場合においても有効である。すなわち、そのようなワークより抽出される副画像処理結果を検討対象とせず、無視したりすることもできるので、撮影パラメータを過調整したり、誤調整したりして装置へ悪影響を及ぼすことを回避できる。

また、稼働中に撮影パラメータを調整することができるので、装置を停止したりして撮影パラメータの調整の機会を別途設けることなども不要になる。

また、本画像処理中の処理時間を用いて、副画像撮影を行ったり、本画像処理の結果を外部に返信した後に副画像処理を行って、その結果を抽出したりすることができる。そのため、本画像処理にかかる処理時間に遅延などの影響を与えずに、副撮影パラメータの検討及び調整を行うこともできる。

さらに、本撮影パラメータによる画像処理結果は外部に返信されつつ、検討中の副撮影パラメータに基づいた副画像処理結果の抽出および確認が行える。そのため、撮影パラメータの調整アルゴリズムの不備や、ユーザインターフェースの操作ミス、撮影パラメータの調整操作に関して習熟度の低いユーザの誤調整等による人的な外部への悪影響も回避することもできる。

（第２実施形態）
以下、図６を用いて本発明の第２実施形態の特徴である複数の副撮影パラメータを比較検討して本撮影パラメータを更新する本撮影パラメータ調整工程について説明する。本実施形態は複数の副撮影パラメータを用いて副画像をそれぞれ撮影する。そして、副画像データ群を取得する副画像群取得工程と、前記取得した副画像群に対して副画像処理を行い、その処理結果を抽出する副画像処理工程に特徴がある。

この複数の副撮影パラメータから本撮影パラメータを選択して更新する本撮影パラメータ調整される。

その他の点で、第１実施形態と重複する構成は一部説明を省略する。

図６に、第２実施形態にかかる、制御シーケンスを示した。第１実施形態と同様に、制御装置１が各種装置へ制御指令を出したり、その指令先や指令内容に応じて、搬送装置２やロボットアーム３、画像処理装置５等は所定の処理を行う。その後、その制御結果や処理結果を制御装置１に返信したりするもので、装置の構成自体は第１実施形態と同様である。

図６の９ａは上述のような構成において、制御シーケンスを例示したものである。本撮影画像データを入力し、その画像データを使用して本画像処理を開始するタイミング５４とともに、本撮影パラメータと異なる複数の副撮影パラメータで撮影装置６へ連続撮影指令を送信する。撮影装置６はタイミング６３ａより撮影パラメータを切り替えながら副撮影を行い、その撮影画像データを内部メモリなどに蓄積し、本画像処理が終了する以前の６３ｆで終了する。なお、ここでは副撮影パラメータで撮影できる画像枚数（撮影回数）は画像処理設定を構築する際の撮影時間と画像処理時間の関係によって予め算出、検討及び記憶していることとして説明する。処理の手順として、実施形態１同様に制御装置１へ本画像処理結果を返信することを優先している。本画像処理結果の返信が終わったタイミング５５以降の、例えばタイミング５６ａにおいて、撮影装置６の撮影できた副撮影画像データ群を入力（ダウンロード）する。画像処理装置５はタイミング５４−５５の区間で実行した本画像処理と同様の画像処理を副処理画像群に行う。処理が終わったタイミング５７ａで副画像処理結果群を合成したり、データ配列に格納したりして表示を切り替えられるようにして、表示装置７等に表示したりして出力してもよい。また、その出力された副画像処理結果のいずれかがが適切であると判断されれば、入力装置８等を用いたりして、例えばタイミング８１ａで、適切と判断された副画像処理結果と対応する副撮影パラメータを新しい本撮影パラメータとして更新する。また、適切な画像処理結果が得られない場合は、引き続き制御装置１などからの制御指令を待ったりして、次回以降も同様にして複数の副撮影パラメータの変更を行ったり同様の副撮影パラメータを用いても良い。

以上、第２実施形態によれば、予め設定された本撮影パラメータを用いて本撮影、本画像処理及び本画像処理結果を制御装置１に返信するとともに、本画像処理中に複数の副撮影パラメータを用いて撮影装置に撮影指令を行う。そして、それぞれの副画像処理結果を抽出し、その処理結果が適切であれば対応した副撮影パラメータを用いて本撮影パラメータを更新することができる。そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制することができる。

好適な撮影パラメータの検討と調整を行うことができるほか、本画像処理中に複数の副撮影パラメータを用いて副撮影画像データを撮影し、複数の副画像処理結果を抽出して検討することができる。したがって、より好適な撮影パラメータを短時間で検出することができる。

図７は撮影パラメータの調整動作に関するイメージ図である。また、そのときの画像処理結果及び撮影パラメータ更新の関係を図８に数値で例示している。これらを用いて第２実施形態の効果について説明する。

図７の例は図４と同様に制御装置１が搬送装置２を用いていくつかの撮影対象を搬送したり、所定の搬送量が送りだされた時点で、画像処理装置５に画像処理の制御指令を送信したりする装置形態である。また、画像処理の内容も、説明が無い限りは第１実施形態と同様とする。また、本画像処理中に副撮影可能な画像枚数は前記同様に３枚（３回）として説明する。副撮影パラメータはいずれもユーザが入力装置より設定できることとし、今回の例では以前の画像処理結果などを確認し、増幅倍率をそれぞれ２．０倍、１．７倍、１．４倍で検討することとして入力した。画像処理装置５は制御指令を受けつけると、撮影装置６に撮影指令を送り、所定の本撮影パラメータで、設置された撮影対象４１を撮影し、撮影画像４１１を取得する。その撮影画像を用いて図８のような画像処理結果（判定、位置、位相、マッチングスコア）を制御装置１に返信する。撮影対象４２を撮影した撮影画像を４２１とする。

図８を見ると、撮影対象４１は、マッチングスコア０．６５であり本画像処理自体は成功しているが、目標値０．８には到達していないことがわかる。また、本撮影画像４１１及び処理結果を表示装置７で表示される画面７１ａなどで確認すると、撮影対象４１やそれ以前の撮影対象が好適な明るさで撮影されておらず、撮影パラメータの調整が必要であると推測できる。副撮影パラメータ（初期ゲイン値の増幅倍率）は前述の通り２．０倍、１．７倍、１．４倍を検討することとした。このとき、本画像処理中の時間においてそれぞれの副撮影パラメータで副画像データを撮影し、画像処理プログラム５３１は副撮影画像４１２ａ、４１２ｂ、４１２ｃへ入力する。また、本画像処理と同様に副画像処理を行った結果を画面７２ａ上で表示することとする。

このとき、３つの異なる副撮影パラメータで撮影された副撮影画像の処理結果は図８のように副撮影パラメータが増幅倍率２．０倍では画像処理が成功せず、増幅倍率１．７倍では画像処理は成功したが目標値０．８に到達しなかった。増幅倍率１．４倍では画像処理が成功し、かつスコアが目標値０．８を上回ったため、この増幅倍率を本撮影パラメータとして更新することとする。制御装置１は処理結果を受け取ったので、撮影対象４１の搬送を進め、続いて撮影対象４２を計測するように画像処理装置５に制御指令を送信した。このとき、画像処理装置５は本撮影パラメータを先ほど更新された増幅倍率１．４倍で撮影するので、４２１のような本撮影画像が得られる。この本画像処理は成功するとともに、撮影対象４２のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果（０．９）が得られた。このように第２実施形態では、本画像処理中に本撮影パラメータと異なる複数の副撮影パラメータで撮影画像を取得することができ、それぞれの副画像処理結果を抽出して比較検討することができると言える。

そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることが抑制された。したがって好適な撮影パラメータの検討と調整を行うことができるほか、複数の撮影パラメータを検証することができるので、より短時間で好適な撮影パラメータを検出することができると言える。

本発明に記載の画像処理方法によれば、装置が稼働している最中においても、事前に設定された本撮影パラメータを用いて対象物の撮影と本画像データの取得、本画像処理の実行および処理結果の外部への返信を行うことができる。本画像処理の実行中に本撮影パラメータと異なる副撮影パラメータで撮影し、さらに任意のタイミングにおいて副画像データを取得し、副画像処理を行ってもよい。その処理結果を抽出したり、抽出された結果如何で副撮影パラメータを本撮影パラメータへ更新したりすることができる。そのため、本撮影パラメータを直接更新したりすることなく、少なくとも一つ以上の異なる撮影パラメータを用いて画像処理結果を別途抽出したり、確認したりすることができる。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたりするなどの悪影響を与えることなく、好適な撮影パラメータの検討や調整を行うことができる。

このように、制御装置と画像処理装置と撮影装置を備えた装置システムであって、各工程を実行するプログラムを前記ロボットシステムの制御部に備えている装置システムを構成した。すなわち、装置稼働率の高い優れた装置システムを提供できる。

また、図１に示したようにさらにロボットアームを備えるなど、使用者は用途に応じて、装置システムを構成してよい。

以上のように第２実施形態では、副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して副撮影画像群を用いる点に特徴がある。

１ 制御装置
５ 画像処理装置
６ 撮影装置

Claims (9)

1. 通信可能な、制御装置と画像処理装置と撮影装置を用いて、撮影された画像を処理する画像処理方法であって、
   前記撮影装置が予め定められた本撮影パラメータを用いて対象物を撮影して本撮影画像を得て、前記画像処理装置が前記本撮影画像に対する画像処理を施す工程と、
   前記本撮影画像に対する前記画像処理の結果が前記制御装置に送信される工程と、
   前記撮影装置が副撮影パラメータを用いて前記対象物を撮影して副撮影画像を得て、前記画像処理装置が前記副撮影画像に対する前記画像処理を施す工程と、
   前記本撮影画像に対する前記画像処理の結果と前記副撮影画像に対する前記画像処理の結果とを比較して、前記副画像処理の結果が良好な場合には前記副撮影パラメータを新しい本撮影パラメータに更新し、前記副画像処理の結果が良好でない場合は更新しない判断工程と、
   を備えた画像処理方法。
2. 前記副撮影パラメータを用いた前記対象物の撮影は、前記本撮影画像が前記撮影装置から前記画像処理装置に送信された後に実行されることを特徴とする請求項１記載の画像処理方法。
3. 前記副撮影パラメータを用いた前記対象物の撮影は、前記本撮影画像に対する画像処理が行われるのと並行して行われることを特徴とする請求項２記載の画像処理方法。
4. 前記副撮影画像は、前記本撮影画像に対する画像処理が完了し、前記画像処理の結果が前記制御装置に送信された後に、前記撮影装置から前記画像処理に装置に送信されることを特徴とする請求項２または３記載の画像処理方法。
5. 前記副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して副撮影画像群であることを特徴とする請求項１乃至４のいずれか一項記載の画像処理方法。
6. 制御装置と画像処理装置と撮影装置を備えた装置システムであって、
   請求項１記載の各工程を実行するプログラムを前記装置システムの制御部に備えていることを特徴とする装置システム。
7. 前記装置システムはさらにロボットアームを備えていることを特徴とする請求項６に記載の装置システム。
8. 制御装置と画像処理装置と撮影装置を備えた装置システムにおけるコンピュータが、読み込み実行することで請求項１に記載の各工程を実行可能とするプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images