JP5353154B2 - 画像処理装置およびそれにおける画像処理方法 - Google Patents

Description

この発明は、被測定物を光学的に処理可能な画像処理装置およびそれにおける画像処理方法に関し、特に被測定物を撮影する撮像部の設置場所が制約されるような状況に適した構成に関するものである。

ＦＡ（Factory Automation）分野などにおいては、ワークなどの被測定物に生じる欠陥などを光学的に検査したり、その大きさなどを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。また、このような視覚センサを用いて、ワーク上の製品番号やシリアル番号を文字認識して、製品管理や流通管理などに利用する形態も実用化されている。

このような視覚センサを用いて検査や計測を行なう場合には、ワークを撮影して得られる画像がワークの大きさなどを正確に反映していることが好ましい。たとえば、撮影された画像に基づいて、ワークの特定部分の距離計測などを行なう場合や、ワークに印刷等された文字を認識するような場合には、その影響は特に顕著である。

しかしながら、実際の生産ラインの周辺には、様々な装置が設置されており、ワークを正面から撮影することができない場合も多い。このような場合には、撮像部により撮影された画像は、ワークを斜めから見た状態に相当し、ワークの実際の大きさを正確に計測するようなことは難しくなる。

このような状況を鑑みて、特開２００２−１６３６０９号公報（特許文献１）には、文字・絵等の認識対象画像を複数の基準画像と照合することにより、認識対象画像の認識判定を行なう画像認識装置が開示されている。この画像認識装置によれば、基準画像の必要最低限の教示でより高い認識精度の確保を図ることができる。
特開２００２−１６３６０９号公報

上述の特開２００２−１６３６０９号公報（特許文献１）に開示された方法によれば、対象画像毎の不規則な個別変動に柔軟に対応することを目的とするものである。ところで、撮像部の撮影面とワークの正面とが大きく離れている場合、すなわち撮像部の光軸とワークの垂直軸との間のなす角が相対的に大きな場合には、撮影されるワークの画像が大きく歪み得る。

このような場合には、上述の特開２００２−１６３６０９号公報（特許文献１）に開示される方法に代えて、あるいはこの方法に加えて、撮影される画像自体を補正することが有効である。このような画像補正を行なう場合には、適切な変換関数を予め設定する必要がある。また、ワークの距離計測などを行なう場合にも、やはり画像補正を行なう必要がある。

このような変換関数は、視覚センサの設置状態に応じて、試行錯誤的に決定せざるを得なかった。すなわち、経験の少ないユーザなどが画像補正に係る設定を行なうことは容易ではなかった。

そこで、この発明は、これらの問題を解決するためになされたものであり、その目的は、画像補正に係る設定を、撮像部の設置状況に応じて適切かつ容易に行なうことのできる画像処理装置およびそれにおける画像処理方法を提供することである。

この発明のある局面に従えば、被測定物を光学的に処理可能な画像処理装置を提供する。画像処理装置は、表示装置と、被測定物を撮影するための撮像部と、撮像部で撮影された入力画像を所定の変換関数により変換して補正画像を生成する変換手段と、入力画像を表示装置に表示する表示制御手段と、表示中の入力画像上で設定される複数の第１基準点を受付ける第１入力手段と、複数の第１基準点にそれぞれ対応付けられる、補正画像上の複数の第２基準点を受付ける第２入力手段とを含む。変換手段は、複数の第１基準点と複数の第２基準点との対応関係に基づいて、当該変換関数を決定する手段を含み、表示制御手段は、設定される複数の第１基準点の位置を入力画像に重ねて表示する。

好ましくは、表示制御手段は、ユーザ操作に応答して、入力画像および補正画像を選択的に表示装置に表示する。

好ましくは、変換手段は、複数の第１基準点および複数の第２基準点のいずれかの更新に応答して、補正画像を再生成する。

好ましくは、画像処理装置は、レファレンス画像を取得する手段をさらに含む。表示制御手段は、ユーザ操作に応答して、レファレンス画像を表示装置にし、第２入力手段は、表示中のレファレンス画像上で設定される複数の座標を複数の第２基準点として受付ける。

好ましくは、表示制御手段は、複数の第１基準点の位置で囲まれる領域を入力画像に重ねて表示する。

この発明の別の局面に従えば、被測定物を光学的に処理可能な画像処理装置における画像処理方法を提供する。画像処理方法は、被測定物を撮影した入力画像を表示するステップと、表示中の入力画像上で順次指定される複数の座標を複数の第１基準点として受付けるステップと、被測定物の表示されるべき状態を示すレファレンス画像を表示するステップと、表示中のレファレンス画像上で順次指定される複数の座標を複数の第２基準点として受付けるステップと、複数の第１基準点および複数の第２基準点に基づいて、変換関数を決定するステップと、決定された変換関数に従って、入力画像を補正画像に変換するステップと、変換画像を表示するステップとを含む。

この発明のある局面によれば、画像補正に係る設定を撮像部の設置状況に応じて適切かつ容易に行なうことができる。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜全体装置構成＞
図１は、この発明の実施の形態に従う画像処理装置１の全体構成を示す概略図である。本実施の形態に従う画像処理装置１は、視覚センサとして機能する。

図１を参照して、画像処理装置１は、代表的に生産ラインなどに組込まれ、被測定物（以下「ワーク」とも称す。）を光学的に処理することができる。この光学的な処理としては、ワークの表面における欠陥検査、ワークの所定範囲の距離計測、およびワークの表面に記載の文字認識などが含まれる。

一例として、本実施の形態においては、ワーク２は、ベルトコンベヤなどの搬送機構６によって搬送され、搬送されたワーク２は、撮像部８によって逐次撮影される。撮像部８によって撮影された画像データ（以下「入力画像」とも称す。）は、画像処理装置として機能するコンピュータ１００へ伝送される。なお、以下の説明では、主として、カラーの入力画像を扱う場合の処理について説明するが、入力画像の種類は特に制限されることなく、モノクロ（グレイスケール）画像を用いてもよい。

ワーク２が撮像部８の撮影範囲に到達したことは、搬送機構６の両端に配置された光電センサによって検出される。具体的には、光電センサは、同一の光軸上に配置された受光部４ａと投光部４ｂとからなり、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。なお、搬送機構６の制御自体は、図示しないＰＬＣ（Programmable Logic Controller）などによって制御される。

撮像部８は、上述した光電センサによってワーク２の到着が検出されると、これに応じてワーク２の撮影を開始する。あるいは、連続的に撮影を行っておき、ワーク２の到着が検出されたタイミングで、後述するワーク２の検査や計測を開始するようにしてもよい。

一例として、撮像部８は、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＩＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサといった、複数の画素に区画された撮像素子を含んで構成される。各画素に対応する撮像素子は、入射する光に対して１つまたは複数の分光感度を有している。

コンピュータ１００は、ＦＤ（Flexible Disk）駆動装置１１１およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１１３を搭載するコンピュータ本体１０１と、モニタ１０２と、キーボード１０３と、マウス１０４とを含む。そして、コンピュータ本体１０１は、予め格納されたプログラムを実行することで、本実施の形態に従う画像処理方法を提供する。

＜ハードウェア構成＞
図２は、この発明の実施の形態に従うコンピュータ１００のハードウェア構成を示す概略構成図である。

図２を参照して、コンピュータ本体１０１は、図１に示すＦＤ駆動装置１１１およびＣＤ−ＲＯＭ駆動装置１１３に加えて、相互にバスで接続された、ＣＰＵ（Central Processing Unit）１０５と、メモリ１０６と、固定ディスク１０７と、カメラインターフェイス部１０９と、ＰＬＣインターフェイス部１１５と、センサインターフェイス部１１７とを含む。

ＦＤ駆動装置１１１にはＦＤ１１２が装着可能であり、ＣＤ−ＲＯＭ駆動装置１１３にはＣＤ−ＲＯＭ１１４が装着可能である。上述したように、本実施の形態に従う画像処理装置は、ＣＰＵ１０５がメモリ１０６などのコンピュータハードウェアを用いて、プログラムを実行することで実現される。一般的に、このようなプログラムは、ＦＤ１１２やＣＤ−ＲＯＭ１１４などの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなプログラムは、ＦＤ駆動装置１１１やＣＤ−ＲＯＭ駆動装置１１３などにより記録媒体から読取られて、記憶装置である固定ディスク１０７に一旦格納される。さらに、固定ディスク１０７からメモリ１０６に読出されて、ＣＰＵ１０５により実行される。

ＣＰＵ１０５は、プログラムされた命令を逐次実行することで、各種の演算を実施する演算処理部である。メモリ１０６は、ＣＰＵ１０５でのプログラム実行に応じて、各種の情報を一時的に格納する。

カメラインターフェイス部１０９は、コンピュータ本体１０１と撮像部８との間のデータ通信を仲介する。カメラインターフェイス部１０９は、画像バッファを含むことが好ましい。画像バッファは、撮像部８で撮影され逐次伝送される入力画像データを一旦蓄積し、１回の撮影分の入力画像データが蓄積されると、その蓄積されたデータをメモリ１０６または固定ディスク１０７へ転送する。

ＰＬＣインターフェイス部１１５は、コンピュータ本体１０１と図示しないＰＬＣとの間のデータ通信を仲介するための装置である。また、センサインターフェイス部１１７は、上述した光電センサなどからの検出信号を受信して、ＣＰＵ１０５へ伝達する。

固定ディスク１０７は、ＣＰＵ１０５が実行するプログラムや入力画像データなどを格納する不揮発性の記憶装置である。

コンピュータ本体１０１に接続されるモニタ１０２は、ＣＰＵ１０５が出力する情報を表示するための表示装置であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。

マウス１０４は、クリックやスライドなどの動作に応じたユーザからの指令を受付ける。キーボード１０３は、入力されるキーに応じたユーザからの指令を受付ける。

また、コンピュータ１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

＜画像補正処理の概要＞
再度図１を参照して、本実施の形態に従う画像補正処理は、撮影対象の被測定物（ワーク２）の正面に対して、撮像部８の撮影面が斜めになっている構成に向けられる。すなわち、撮像部８の光軸とワーク２の垂直軸との間のなす角が相対的に大きな場合に向けられる。

たとえば、図１に示す例においては、撮像部８の撮影視野ＶＡが搬送機構６の搬送面において台形に歪んでいることがわかる。したがって、撮像部８で撮影される入力画像におけるワーク２の像も同様に歪む。このように撮影されるワーク２の像が歪むことで、ワーク２に対して光学的な処理を正確に行なうことができない。

そこで、本実施の形態に従う画像処理装置１では、処理対象のワークの表面に現れている特徴的な形状をユーザが任意に指定して対応付けることで、画像補正に係る設定を行なうものである。より具体的には、ユーザは、補正前の入力画像上に複数の基準点を設定した後、当該複数の基準点が補正後の画像上でどのように対応関係するのかを指定する。すると、コンピュータ１００が画像補正に係る変換関数を決定する。すなわち、ユーザは、表示される入力画像を見ながら、補正前および補正後の基準点のみをそれぞれ設定すればよく、その結果、画像補正に係る設定を容易に行なうことができる。なお、以下の説明では、複数の基準点として４個の基準点を用いて、各基準点を頂点とする四角形状の領域を定義する場合について例示する。なお、変換係数を高い精度で決定するためには、より多くの基準点を用いることが好ましい。そのため、より多くの基準点で囲まれる領域を用いるようにしてもよい。

＜動作モード＞
本実施の形態に従う画像処理装置１は、ワーク２を撮影することで得られる入力画像を補正画像に変換し、この補正画像を用いて光学的な処理を実行する「稼動モード」と、ワーク２についての画像補正処理に係る設定を行なうための「設定モード」とを選択することが可能である。

ユーザは、「設定モード」において、モニタ１０２に表示される入力画像および補正画像を参照しながら画像補正処理に係る設定を行なう。また、「稼動モード」では、実際に生産ラインを流れるワーク２を撮影して入力画像を取得した後に、補正画像データを生成し、この補正画像に基づいて、検査・計測・認識などの光学的な処理が実行される。

＜画面表示および操作手順＞
以下、図３〜図７を参照して、本実施の形態に従う画像補正処理に係る画面表示および操作手順の一例について説明する。

図３〜図７は、この発明の実施の形態に従う画像処理装置１のモニタ１０２に表示される、画像補正処理における設定モードの画面表示例を示す図である。なお、ＣＰＵ１０５および図示しないグラフィックボードなどが協働することで、図３〜図７に示すような設定画面を表示させる。このような画面表示は、ＯＳ（Operating System）の一部として組込まれるＧＵＩ（Graphical User Interface）プログラムによって実現され、またＧＵＩは、ユーザがキーボード１０３やマウス１０４により操作される画面上のカーソルを用いて、さまざまなユーザ設定を行なうための環境も提供する。

図３を参照して、ユーザが「画像変換設定」タブ３１０を選択すると、画像変換設定画面３００が表示される。ユーザは、この画像変換設定画面３００において、画像補正を行なうための全体的なパラメータを設定および確認することができる。

具体的には、画像変換設定画面３００では、パラメータ設定エリア３２０と、変換先基準設定エリア３３０と、変換元基準設定エリア３４０と、表示設定エリア３５０と、画像表示エリア３６０と、全体表示エリア３７０と、表示制御アイコン群３８０とを含む。

パラメータ設定エリア３２０は、画像補正処理に係る一般的なパラメータを設定および確認が可能である。

変換先基準設定エリア３３０では、補正画像における基準点の設定および確認が可能である。より具体的には、変換先基準設定エリア３３０には、現在設定中の４個の基準点（基準座標）が表示される。これら４個の基準点は、「編集」ボタン３３２が選択されることで表示される変換先基準設定画面３０４（図５）にて設定・変更が可能である。

変換元基準設定エリア３４０では、入力画像における基準点の設定および確認が可能である。より具体的には、変換元基準設定エリア３４０には、現在設定中の４個の基準点（基準座標）が表示される。これら４個の基準点は、「編集」ボタン３４２が選択されることで表示される変換元基準設定画面３０２（図４）にて設定・変更が可能である。

表示設定エリア３５０では、後述するように、画像表示エリア３６０および全体表示エリア３７０に表示する内容の設定が可能である。具体的には、「変換画像表示」のチェックボックスが選択されると、画像表示エリア３６０および全体表示エリア３７０には、入力画像に代えて補正画像が表示される。

また、「基準位置表示」のチェックボックスが選択されると、画像表示エリア３６０および全体表示エリア３７０には、表示中の画像の上に、補正画像における基準点の位置が重ねて表示される。同様に、「計測位置表示」のチェックボックスが選択されると、画像表示エリア３６０および全体表示エリア３７０には、表示中の画像の上に、入力画像における基準点の位置が重ねて表示される。なお、いずれの場合にも、基準点の位置に加えて、基準点で囲まれる領域についても画像に重ねて表示される。

画像表示エリア３６０には、変換元基準設定エリア３４０におけるユーザ設定に応じて、入力画像および補正画像が選択的に表示される。さらに、画像表示エリア３６０には、入力画像における基準点および補正画像における基準点のいずれかまたは両方が選択的に表示可能である。さらに、表示制御アイコン群３８０に対するユーザ操作に応じて、画像表示エリア３６０に表示される画像のサイズが変更可能となっている。

全体表示エリア３７０には、画像表示エリア３６０に表示される内容が表示される。但し、全体表示エリア３７０には、画像表示エリア３６０での表示サイズとは独立して、表示対象の画像の全体が常に表示される。すなわち、全体表示エリア３７０には、画像表示エリア３６０に表示中の画像が画像全体のうちいずれの領域にあるのかを表示する。

入力画像および補正画像におけるそれぞれの基準点については、編集ボタン３４２および３３２がそれぞれ選択されることで、設定の入力画面が表示される。すなわち、変換元基準設定エリア３４０のボタン３４２が選択されると、図４に示す変換元基準設定画面３０２が表示される。

図４を参照して、変換元基準設定画面３０２では、画像表示エリア３６０に表示される入力画像上で基準点の設定が可能である。ユーザは、キーボード１０３やマウス１０４（いずれも図１，図２）により操作される画面上のカーソルを用いて、基準点を順次設定していく。ユーザは、これらの基準点として、予めその形状が既知であるワーク表面の領域を指定する。たとえば、図４に示すように、ワーク表面に貼付された長方形のラベルに着目する。この場合、ユーザは、入力画像に表示されるラベルの外周を覆うように、入力画像上で基準点３４８を順次設定する。このように設定された４個の基準点３４８が設定されると、この基準点３４８によって囲まれる基準領域を示す境界線３４６も入力画像上に表示される。

また、変換元基準設定エリア３４０には、画像表示エリア３６０内の座標系における各基準点３４８の座標値が表示される。

このような手順によって、ユーザが４個の基準点３４８の設定が完了し、閉じるボタン３４４が選択されると、設定が有効化され、図３に示す画像変換設定画面３００に戻る。

次に、ユーザは、このように変換元基準設定画面３０２（図４）において設定した基準点にそれぞれ対応付けられる、補正画像における基準点を設定する。すなわち、ユーザは、変換元基準設定画面３０２において設定した基準点（すなわち、基準領域）をどのように補正表示すべきかを指定する。

変換先基準設定エリア３３０のボタン３３２（図３）が選択されると、図５に示す変換先基準設定画面３０４が表示される。図５を参照して、変換先基準設定画面３０４においても、画像表示エリア３６０に表示される入力画像上で基準点の設定が可能である。ユーザは、キーボード１０３やマウス１０４（いずれも図１，図２）により操作される画面上のカーソルを用いて、基準点を順次設定していく。

ユーザは、変換元基準設定画面３０２（図４）において先に設定した基準点３４８（基準領域）と対応すべき補正画像上の基準点３３８（基準領域）を順次設定する。上述したように、図４に示すように、ワーク表面に貼付された長方形のラベルに着目した場合には、これらのラベルを表示させるべき領域を指定する。特に、その縦横比が既知であるラベルに着目した場合には、その比率を維持するように補正画像の基準点を設定すればよい。また、図４に示す変換元基準設定画面３０２と同様に、この基準点３３８によって囲まれる基準領域を示す境界線３３６も表示される。

また、変換先基準設定エリア３３０には、画像表示エリア３６０内の座標系における各基準点３３８の座標値が表示される。

このような手順によって、ユーザによる４個の基準点３３８の設定が完了し、閉じるボタン３３４が選択されると、設定が有効化され、図３に示す画像変換設定画面３００に戻る。

以上のように、入力画像上の基準点および対応する補正画像上の基準点の設定が完了すると、変換関数が決定される。そして、この決定された変換関数に従って、入力画像から補正画像が生成される。なお、入力画像上の基準点および対応する補正画像上の基準点のいずれか一方が更新された場合には、変換関数が再計算され、この再計算後の変換関数に従って、入力画像から補正画像が再生成される。

さらに、図３に示す画像変換設定画面３００において、表示設定エリア３５０中の「変換画像表示」のチェックボックスが選択されると、画像表示エリア３６０および全体表示エリア３７０には、変換関数に従って生成された補正画像が表示される。

図６および図７には、図３に示す入力画像から生成された補正画像が表示される画面表示の一例を示す。図６および図７に示すように、入力画像における歪みが補正され、ワーク表面に貼付された長方形のラベルが本来の形状で表示されていることがわかる。

また、図６に示す画像変換設定画面３０６Ａでは、表示設定エリア３５０中の「基準位置表示」のチェックボックスが選択されている。この選択により、補正画像上に、入力画像についての基準点３３８および基準点３３８によって囲まれる基準領域（境界線３３６）が重ねて表示される。

一方、図７に示す画像変換設定画面３０６Ｂでは、表示設定エリア３５０中の「計測位置表示」のチェックボックスが選択されている。この選択により、補正画像上に、補正画像についての基準点３４８および基準点３４８によって囲まれる基準領域（境界線３４６）が重ねて表示される。

さらに、表示設定エリア３５０中の「基準位置表示」および「計測位置表示」のチェックボックスがいずれも選択されると、表示される画像上に、入力画像についての基準点３３８および基準点３３８によって囲まれる基準領域（境界線３３６）、ならびに、補正画像についての基準点３４８および基準点３４８によって囲まれる基準領域（境界線３４６）を重ねて表示することも可能である。

＜補正画像における基準点の設定に係る別形態＞
ワークの正面画像が取得できる場合には、この正面画像を用いて、補正画像における基準点を設定してもよい。あるいは、このような正面画像（ワークを実際に正面から撮影して得られる画像）に代えて、設計図やＣＡＤデータなどを用いてもよい。

このように、ワークの本来表示すべき状態を示すレファレンス画像が取得できる場合には、このレファレンス画像に基づいて、補正画像における基準点を設定することが、よりユーザフレンドリである。

図８は、この発明の実施の形態に従う画像処理装置１においてレファレンス画像を用いて基準点を設定する画面表示の一例を示す図である。

図８を参照して、変換先基準設定画面３０４Ａでは、画像表示エリア３６０および全体表示エリア３７０に、入力画像に代えてレファレンス画像が表示される。図８に示す例では、予めワークを正面から撮影して得られた画像を用いる場合を示す。

ユーザは、このレファレンス画像上で、補正画像における基準点３３８を順次設定していく。すなわち、図４に示すように、ワーク表面に貼付された長方形のラベルに合わせて入力画像における基準点３４８を先に設定しておき、続いて、図８に示すように、このレファレンス画像上でこの長方形のラベルに合わせて補正画像における基準点３３８を順次設定する。

このように、レファレンス画像上から補正画像における基準点３３８を設定できるので、ユーザは画像補正に係る設定をより容易に行なうことができる。

＜稼動モードにおける画面表示例＞
「稼動モード」においては、上述したような「設定モード」において決定される変換関数に基づいて、入力画像から補正画像が逐次生成される。そして、生成された補正画像に対して、検査・計測・認識などの光学的な処理が実行される。

ところで、入力画像から補正画像への変換によって、表示の座標系についても変換されることになる。そのため、位置検出処理などの検出結果としては、入力画像における座標系の値、および補正画像における座標系の値の２つが得られる。これらの値は、その用途によって適宜選択して用いられる。したがって、本実施の形態に従う画像処理装置１では、以下に説明するように、いずれの座標系における値であっても、ユーザ操作に応じて、選択的に出力可能である。

図９および図１０は、この発明の実施の形態に従う画像処理装置１のモニタ１０２に表示される、画像補正処理における稼動モードの画面表示例を示す図である。なお、ＣＰＵ１０５および図示しないグラフィックボードなどが協働することで、図９および図１０に示すような設定画面を表示させる。このような画面表示は、ＯＳの一部として組込まれるＧＵＩプログラムによって実現され、またＧＵＩは、ユーザがキーボード１０３やマウス１０４により操作される画面上のカーソルを用いて、さまざまなユーザ設定を行なうための環境も提供する。

図９は、撮影されたワークの画像に対して、パターンマッチング処理の結果の一例を示す図である。図９（ａ）には、パターンマッチング処理により検出された領域４２２を、補正前（生）の入力画像上に重ねて表示する例を示す。また、図９（ｂ）には、パターンマッチング処理により検出された領域４２４を、補正画像上に重ねて表示する例を示す。

このようなパターンマッチング処理自体は、補正画像に対して実行される。そして、この実行により得られた領域の座標が、画像補正処理に用いられた変換関数に基づいて、補正前の入力画像における座標系の値として算出される。また、図１０に示すように、それぞれの座標系における値を数値表示することも可能である。

図１０（ａ）の詳細結果エリアには、図９（ａ）に対応する検出領域の座標が、入力画像の座標系における値として表示されている。また、図１０（ｂ）の詳細結果エリアには、図９（ｂ）に対応する検出領域の座標が、補正画像の座標系における値として表示されている。

本実施の形態に従う画像処理装置１では、ユーザ操作に応じて、図９（ａ）および図９（ｂ）、ならびに図１０（ａ）および図１０（ｂ）に示す表示が任意に選択できる。

＜制御構造＞
以下、図１１および図１２を参照して、上述のような画像補正処理を提供するための制御構造について説明する。

図１１は、この発明の実施の形態に従う画像処理装置１における「設定モード」を提供するための制御構造を示すブロック図である。

図１１を参照して、本実施の形態に従う画像処理装置１は、画像補正処理に係る「設定モード」を提供するための制御構造として、表示制御部２０２と、画像バッファ２０４，２１０，２１４と、変換部２０６と、入力部２１２と、メモリ２１６とを含む。

表示制御部２０２は、モニタ１０２上にＧＵＩを提供する。具体的には、表示制御部２０２は、入力画像および補正画像を受付けて、ユーザ操作に応じて、これらを選択的にモニタ１０２に表示する。この際、上述したように、各種の設定や確認が可能なウィンドウなどを表示する。表示制御部２０２は、メモリ２１６と接続されており、モニタ１０２での表示を行なうための描画データをこのメモリ２１６などに一時的に格納する。また、メモリ２１６には、ウィンドウ表示用のデータなどが予め格納されており、表示制御部２０２は、これらのデータを適宜読み出して、表示データを生成する。

画像バッファ２０４は、撮像部８で撮像された入力画像を一時的に格納する。この入力画像は、カメラインターフェイス部１０９（図２）を介して画像バッファ２０４へ伝送される。なお、画像バッファ２０４自身をカメラインターフェイス部１０９へ組み込んでもよい。この画像バッファ２０４へ一時的に格納された入力画像は、表示制御部２０２および変換部２０６から任意にアクセス可能である。また、画像バッファ２０４に格納される入力画像は、撮像部８の撮像動作に応じて、逐次更新される。

変換部２０６は、画像バッファ２０４に格納されている入力画像を、ユーザ設定に基づいて決定される変換関数に従って変換することで、補正画像を生成する。生成された補正画像は、画像バッファ２１０へ一時的に格納される。また、変換部２０６は、変換関数算出部２０８を含んでいる。

変換関数算出部２０８は、ユーザ設定される入力画像における基準点および補正画像における基準点に基づいて、変換関数を決定する。この変換関数Ｆは、入力画像における任意の点（ｘ，ｙ）を補正画像における対応する点（Ｘ，Ｙ）に写像するものである。すなわち、任意の（ｘ，ｙ）について、以下のような関係が成立する。

（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
変換関数算出部２０８は、入力画像において設定される４個の基準点（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）と、補正画像において設定される４個の基準点（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）とを用いて、上記のような関係が成立する変換関数Ｆを決定する。このような変換関数Ｆの決定方法としては公知の様々な方法を用いることができる。たとえば、線形計画法などの最適化問題としての解法手段を用いることができる。

入力部２１２は、設定中の基準点の位置および当該基準点で囲まれる領域を入力画像、補正画像、あるいはレファレンス画像に重ねて表示するためのデータ（オーバーレイ画像）を表示制御部２０２へ出力する。また、入力部２１２は、ユーザによる操作入力に基づいて、ユーザ設定される入力画像もしくは補正画像における基準点をはじめとする各種パラメータを受付ける。そして、入力部２１２は、この受付けた各種パラメータを変換部２０６（変換関数算出部２０８）および表示制御部２０２へ出力する。

画像バッファ２１４は、入力されるレファレンス画像を一時的に格納する。このレファレンス画像は、適用先の生産ラインに配置する前に、対象となるワーク２を撮像部８で撮影して得ることができる。もしくは、ＣＤ−ＲＯＭなどの記憶媒体に予め格納された画像データを読み出してもよいし、設計図やＣＡＤデータなどを取得してもよい。この画像バッファ２１４へ一時的に格納されたレファレンス画像は、表示制御部２０２から任意にアクセス可能である。

図１２は、この発明の実施の形態に従う画像処理装置１における「稼動モード」を提供するための制御構造を示すブロック図である。

図１２を参照して、本実施の形態に従う画像処理装置１は、画像補正処理に係る「稼動モード」を提供するための制御構造として、表示制御部２０２と、画像バッファ２０４，２１０と、変換部２０６と、画像アプリ部２２２と、座標変換部２２４と、メモリ２１６とを含む。

画像アプリ部２２２は、ワークに対する光学的な処理を行なう。すなわち、画像アプリ部２２２は、補正画像に基づいて、ユーザが任意に選択する検査・計測・認識などを実行する。そして、画像アプリ部２２２は、その処理結果を表示制御部２０２および座標変換部２２４へ出力する。表示制御部２０２は、この画像アプリ部２２２からの処理結果に基づいて、検出された領域などを表示中の入力画像もしくは補正画像に重ねて表示する。

座標変換部２２４は、画像アプリ部２２２から出力された処理結果を入力画像における座標系の値に変換する。すなわち、画像アプリ部２２２から出力される処理結果は、補正画像に基づくものであるため、入力画像の座標系とは異なる座標系の値として出力される。そこで、座標変換部２２４は、この画像アプリ部２２２から出力される処理結果に対して、変換部２０６で用いた変換関数Ｆの逆関数Ｆ^−１を用いて座標変換を行なう。このような処理によって、座標変換部２２４からは、入力画像の座標系における結果が表示制御部２０２へ出力される。

＜処理手順＞
（設定モード）
図１３は、この発明の実施の形態に従う画像処理装置１における処理手順（設定モード）を示すフローチャートである。図１３に示す処理は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。なお、画像処理装置１（特に、撮像部８）が対象の生産ラインの所定位置に設置されてあり、ワーク２を所定の撮像位置に配置されているものとする。また、画像処理装置１は、初期モードとして「設定モード」が選択されているものとする。

図１３を参照して、ＣＰＵ１０５は、撮像部８にワーク２を撮影させて、入力画像を取得し（ステップＳ１００）、取得した入力画像をモニタ１０２に表示する（ステップＳ１０２）。

さらに、ＣＰＵ１０５は、ユーザによる入力画像における基準点の設定を受付ける（ステップＳ１０４）。すなわち、ユーザは、モニタ１０２に表示される変換元基準設定画面３０２（図４）において、入力画像上でそれぞれの基準点を設定する。

続いて、ＣＰＵ１０５は、ユーザによる補正画像における基準点の設定を受付ける（ステップＳ１０６）。すなわち、ユーザは、モニタ１０２に表示される変換先基準設定画面３０４（図５）において、それぞれの基準点を設定する。

入力画像における基準点および補正画像における基準点の設定が完了すると、ＣＰＵ１０５は、これらの基準点に基づいて、変換関数を決定する（ステップＳ１０８）。さらに、ＣＰＵ１０５は、決定した変換関数に従って入力画像を変換することで、補正画像を生成する（ステップＳ１１０）。

続いて、ＣＰＵ１０５は、補正画像を表示すべきとのユーザ設定がなされているか否かを判断する（ステップＳ１１２）。補正画像を表示すべきとのユーザ設定がなされている場合（ステップＳ１１２においてＹＥＳの場合）には、ＣＰＵ１０５は、補正画像をモニタ１０２に表示する（ステップＳ１１４）。これに対して、補正画像を表示すべきとのユーザ設定がなされていない場合（ステップＳ１１２においてＮＯの場合）には、ＣＰＵ１０５は、入力画像をモニタ１０２に表示する（ステップＳ１１６）。

続いて、ＣＰＵ１０５は、入力画像における基準点の位置を表示すべきとのユーザ設定がなされているか否かを判断する（ステップＳ１１８）。入力画像における基準点の位置を表示すべきとのユーザ設定がなされている場合（ステップＳ１１８においてＹＥＳの場合）には、ＣＰＵ１０５は、表示中の画像の上に、入力画像における基準点の位置および当該基準点で囲まれる領域を表示する（ステップＳ１２０）。

入力画像における基準点の位置を表示すべきとのユーザ設定がなされていない場合（ステップＳ１１８においてＮＯの場合）、もしくはステップＳ１２０の実行後、ＣＰＵ１０５は、補正画像における基準点の位置を表示すべきとのユーザ設定がなされているか否かを判断する（ステップＳ１２２）。補正画像における基準点の位置を表示すべきとのユーザ設定がなされている場合（ステップＳ１２２においてＹＥＳの場合）には、ＣＰＵ１０５は、表示中の画像の上に、補正画像における基準点の位置および当該基準点で囲まれる領域を表示する（ステップＳ１２４）。

補正画像における基準点の位置を表示すべきとのユーザ設定がなされていない場合（ステップＳ１２２においてＮＯの場合）、もしくはステップＳ１２４の実行後、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ１２６）。モード切替えの指令が与えられた場合（ステップＳ１２６においてＹＥＳの場合）には、ＣＰＵ１０５は、「稼動モード」へ移行する（ステップＳ１２８）。そして、図１４に示す処理が実行される。

一方、モード切替えの指令が与えられていない場合（ステップＳ１２６においてＮＯの場合）には、ＣＰＵ１０５は、入力画像における基準点および補正画像における基準点のいずれかが変更されたか否かを判断する（ステップＳ１３０）。入力画像における基準点および補正画像における基準点のいずれかが変更された場合（ステップＳ１３０においてＹＥＳの場合）には、ＣＰＵ１０５は、変換関数を更新する（ステップＳ１３２）。

入力画像における基準点および補正画像における基準点のいずれもが変更されていない場合（ステップＳ１３０においてＮＯの場合）、もしくはステップＳ１３２の実行後、ＣＰＵ１０５は、撮像部８から新たな入力画像を取得し（ステップＳ１３４）、さらに、変換関数に従って入力画像を変換することで、補正画像を生成する（ステップＳ１３６）。その後、ステップＳ１１２以下の処理が繰返される。

このように、ステップＳ１１２〜Ｓ１３６の処理が繰返されることで、ユーザは、基準点を更新する毎に、それが反映された補正画像をほぼリアルタイムで見ることができる。これにより、ユーザは、画像補正に係る設定をより短時間で完了させることができる。

（設定モード：レファレンス画像を用いる場合）
上述のように、レファレンス画像を用いることができる場合には、図１３に示すフローチャートに代えて、図１４に示すフローチャートに従って処理が実行される。

図１４は、この発明の実施の形態に従う画像処理装置１における処理手順（設定モード）の別形態を示すフローチャートである。図１４に示す処理は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。

図１４に示すフローチャートは、図１３に示すフローチャートにおいて、ステップＳ１０４とステップＳ１０６との間に、ステップＳ１４０およびＳ１４２を追加したものに相当する。

ステップＳ１４０では、ＣＰＵ１０５は、レファレンス画像を取得する。より具体的には、ＣＰＵ１０５は、レファレンス画像として予め設定されている画像ファイルを読出し、あるいはユーザに対して、レファレンス画像の入力もしくはファイル名の指定などを促す。この場合、ユーザは、任意の画像を入力もしくは指定する。

続いて、ＣＰＵ１０５は、取得したレファレンス画像をモニタ１０２に表示する（ステップＳ１４２）。ユーザは、モニタ１０２に表示されるレファレンス画像上から補正画像における基準点を順次設定する。

その他の処理については、図１３と同様であるので、詳細な説明は繰返さない。
（稼働モード）
図１５は、この発明の実施の形態に従う画像処理装置１における処理手順（稼働モード）を示すフローチャートである。図１５に示す処理は、ＣＰＵ１０５が固定ディスク１０７などに予め格納されたプログラムをメモリ１０６に読出して実行することにより実現される。

図１５を参照して、ＣＰＵ１０５は、光電センサによるワーク２の到着が検出された否かを判断する（ステップＳ２００）。ワーク２の到着が検出されていない場合（ステップＳ２００においてＮＯの場合）には、ステップＳ２００の処理を繰返す。

ワーク２の到着が検出された場合（ステップＳ２００においてＹＥＳの場合）には、ＣＰＵ１０５は、撮像部８にワーク２を撮影させて、入力画像を取得し（ステップＳ２０２）、取得した入力画像を設定モードにおいて決定されている変換関数に従って変換することで、補正画像を生成する（ステップＳ２０４）。

続いて、ＣＰＵ１０５は、生成された補正画像に基づいて、検査・計測・認識などの光学的な処理を実行する（ステップＳ２０６）。この光学的な処理によって、位置などの処理結果が出力される。

その後、ＣＰＵ１０５は、入力画像および補正画像のいずれを表示するモードがユーザ設定されているか否かを判断する（ステップＳ２０８）。

入力画像を表示するモードが設定されている場合（ステップＳ２０８において「入力画像」の場合）には、ＣＰＵ１０５は、変換関数の逆関数を用いて、ステップＳ２０６において出力された処理結果から入力画像の座標系における処理結果を算出する（ステップＳ２１０）。続いて、ＣＰＵ１０５は、入力画像をモニタ１０２に表示する（ステップＳ２１２）とともに、当該表示する入力画像に重ねて、入力画像の座標系における処理結果に基づく位置表示を行なう（ステップＳ２１４）。さらに、ＣＰＵ１０５は、算出した入力画像の座標系における処理結果を外部出力する（ステップＳ２１６）。

一方、補正画像を表示するモードが設定されている場合（ステップＳ２０８において「補正画像」の場合）には、ＣＰＵ１０５は、補正画像をモニタ１０２に表示する（ステップＳ２１８）とともに、当該表示する補正画像に重ねて、算出した処理結果に基づく位置表示を行なう（ステップＳ２２０）。さらに、ＣＰＵ１０５は、算出した処理結果を外部出力する（ステップＳ２２２）。

ステップＳ２１６またはＳ２２２の実行後、ＣＰＵ１０５は、モード切替えの指令が与えられたか否かを判断する（ステップＳ２２４）。モード切替えの指令が与えられた場合（ステップＳ２２４においてＹＥＳの場合）には、ＣＰＵ１０５は、「設定モード」へ移行する（ステップＳ２２６）。そして、図１３または図１４に示す処理が実行される。

一方、モード切替えの指令が与えられていない場合（ステップＳ２２４においてＮＯの場合）には、処理はリターンする。

＜本実施形態の作用効果＞
この発明の実施の形態によれば、被測定物を正面から撮影することができない状況であっても、当該撮影された画像に対して、予め定められた変換関数に従って補正を行なった上で、検査・計測・認識などの光学的な処理が実行される。これにより、変換関数を動的に決定するような方法に比較して、より短時間で正確な処理を実現することができる。

また、この発明の実施の形態によれば、ユーザは、入力画像上で基準点を順次設定した上で、さらに当該基準点に対応する補正画像における基準点を設定するだけで、補正関数が自動的に決定される。そのため、経験の少ないユーザであっても、被測定物（ワーク）の表面に現れている特徴的な形状に着目して、基準点を直感的に設定すれば十分であるので、容易に適切な変換関数を決定することができる。

さらに、この発明の実施の形態によれば、入力画像における基準点を入力画像上から直感的に設定できるとともに、レファレンス画像を用意できる場合には、レファレンス画像上から補正画像における基準点を直感的に設定できる。このようなユーザインターファイスにより、画像補正に係る設定をより容易かつ短時間に完了することができる。

［その他の実施の形態］
本発明に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明に係るプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記録媒体とを含む。

さらに、本発明に係るプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態に従う画像処理装置の全体構成を示す概略図である。 この発明の実施の形態に従うコンピュータのハードウェア構成を示す概略構成図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における設定モードの画面表示例（その１）を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における設定モードの画面表示例（その２）を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における設定モードの画面表示例（その３）を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における設定モードの画面表示例（その４）を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における設定モードの画面表示例（その５）を示す図である。 この発明の実施の形態に従う画像処理装置においてレファレンス画像を用いて基準点を設定する画面表示の一例を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における稼動モードの画面表示例（その１）を示す図である。 この発明の実施の形態に従う画像処理装置のモニタに表示される画像補正処理における稼動モードの画面表示例（その２）を示す図である。 この発明の実施の形態に従う画像処理装置における「設定モード」を提供するための制御構造を示すブロック図である。 この発明の実施の形態に従う画像処理装置における「稼動モード」を提供するための制御構造を示すブロック図である。 この発明の実施の形態に従う画像処理装置における処理手順（設定モード）を示すフローチャートである。 この発明の実施の形態に従う画像処理装置における処理手順（設定モード）の別形態を示すフローチャートである。 この発明の実施の形態に従う画像処理装置における処理手順（稼働モード）を示すフローチャートである。

符号の説明

１ 画像処理装置、２ ワーク、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８ 撮像部、１００ コンピュータ、１０１ コンピュータ本体、１０２ モニタ、１０３ キーボード、１０４ マウス、１０６ メモリ、１０７ 固定ディスク、１０９ カメラインターフェイス部、１１１ ＦＤ駆動装置、１１３ ＣＤ−ＲＯＭ駆動装置、１１５ インターフェイス部、１１７ センサインターフェイス部、２０２ 表示制御部、２０４，２１０，２１４ 画像バッファ、２０６ 変換部、２０８ 変換関数算出部、２１２ 入力部、２１６ メモリ、２２２ 画像アプリ部、２２４ 座標変換部、ＶＡ 撮影視野。

Claims (8)

1. 被測定物を光学的に処理可能な画像処理装置であって、
   表示装置と、
   前記被測定物を撮影するための撮像部と、
   前記撮像部で撮影された入力画像を所定の変換関数により変換して補正画像を生成する変換手段と、
   前記入力画像を前記表示装置に表示する表示制御手段と、
   表示中の前記入力画像上で設定される複数の第１基準点を受付ける第１入力手段と、
   前記複数の第１基準点にそれぞれ対応付けられる、前記補正画像上の複数の第２基準点を受付ける第２入力手段とを備え、
   前記変換手段は、前記複数の第１基準点と前記複数の第２基準点との対応関係に基づいて、前記変換関数を決定する手段を含み、
   前記表示制御手段は、設定される前記複数の第１基準点の位置を前記入力画像に重ねて表示する、画像処理装置。
2. 前記複数の第２基準点で囲まれる領域は、前記複数の第１基準点で囲まれる領域とは独立して入力可能である、請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記複数の第２基準点の位置を前記補正画像に重ねて表示する、請求項１または２に記載の画像処理装置。
4. 前記表示制御手段は、ユーザ操作に応答して、前記入力画像および前記補正画像を選択的に前記表示装置に表示する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記変換手段は、前記複数の第１基準点および前記複数の第２基準点のいずれかの更新に応答して、前記補正画像を再生成する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像処理装置は、レファレンス画像を取得する手段をさらに備え、
   前記表示制御手段は、ユーザ操作に応答して、前記レファレンス画像を前記表示装置に表示させ、
   前記第２入力手段は、表示中の前記レファレンス画像上で設定される複数の座標を前記複数の第２基準点として受付ける、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、前記複数の第１基準点の位置で囲まれる領域を前記入力画像に重ねて表示する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 被測定物を光学的に処理可能な画像処理装置における画像処理方法であって、
   前記被測定物を撮影した入力画像を表示するステップと、
   表示中の前記入力画像上で順次指定される複数の座標を複数の第１基準点として受付けるステップと、
   前記被測定物の表示されるべき状態を示すレファレンス画像を表示するステップと、
   表示中の前記レファレンス画像上で順次指定される複数の座標を複数の第２基準点として受付けるステップと、
   前記複数の第１基準点および前記複数の第２基準点に基づいて、変換関数を決定するステップと、
   決定された前記変換関数に従って、前記入力画像を補正画像に変換するステップと、
   前記補正画像を表示するステップとを含む、画像処理方法。