JP6314464B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、入力画像に含まれる図形要素を推定する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来からＦＡ（Factory Automation）分野などでは、測定対象物であるワークの欠陥検査、ワークの大きさや形状の計測、ワーク上の文字や図形などの認識といった処理を行う各種の画像処理装置が実用化されている。例として、ワーク上に予め印字された位置決め用マークなどの位置をパターンマッチングにより計測したり、ワークの輪郭線やワーク内のエッジの位置を計測したりすることにより、位置決めをするようなアプリケーションが知られている。

画像処理結果を位置決めアプリケーションに適用するためには、予め何らかの設定を行っておく必要がある。このような設定に関して、位置決めマークのパターンマッチングにより位置決めする方法において、登録用パターンを生成するために、特開２００６−２５２４００号公報（特許文献１）は、二段階のフィッティング方法を開示する。このアルゴリズムは、第一のフィッティングプロセスから、一定の幅をもたせた領域に存在する点を全部用いて第二のフィッティングを行うため、結果的に第一のフィッティングと結果があまり変わらず、ほぼ第一のフィッティングが支配的である。これでは一般に知られるロバスト最小二乗法などにおいて問題点として指摘されている課題が残る。

また、一般にこのような画像処理では、各種の外乱によるノイズの混入は避けられない。このようなノイズを除去して計測精度を高めるアルゴリズムとして、特開２００７−２４９５５５号公報（特許文献２）および特開２００９−１８６３３８号公報（特許文献３）が知られている。

特開２００７−２４９５５５号公報（特許文献２）は、座標群に含まれる座標から外れ値を効率的に取除いて、精度の高い近似直線を実現する技術を開示する。また、特開２００９−１８６３３８号公報（特許文献３）は、複雑な形状を有する物体であっても、複数のエッジ点に対して適切な基準線を設定し、該基準線からの各エッジ点の差異に基づいてバリ、欠け等の欠陥を正確に検出することができる技術を開示する。すなわち、これらの先行技術文献には、エッジ位置などから測定対象物の外形などを示す直線要素を決定する方法を開示する。

特開２００６−２５２４００号公報 特開２００７−２４９５５５号公報 特開２００９−１８６３３８号公報

一般的に、図形要素の推定結果を用いるアプリケーションは多種多様であり、アプリケーションごとに推定の精度が最も高くなるように設定することは容易ではない。特に、処理対象の入力画像に複数の図形要素が含まれるような場合には、予め意図された図形要素を選択し、その選択された図形要素に応じた画像処理を自動的に行うことは容易ではなかった。

そのため、図形要素を推定するアルゴリズムに対して、その性能を引出すためのより簡便な設定方法を提供する、画像処理装置、画像処理方法および画像処理プログラムが要望されている。

本発明のある局面の画像処理装置は、設定用画像に対するユーザからの図形要素の選択を受付ける選択手段と、選択された図形要素の特徴量を取得し格納する設定値取得手段と、格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し当該特定した図形要素を示すパラメータを出力する推定手段とを含む。

本発明の別の局面の画像処理方法は、設定用画像に対するユーザからの図形要素の選択を受付けるステップと、選択された図形要素の特徴量を取得し格納するステップと、格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し当該特定した図形要素を示すパラメータを出力するステップとを含む。

本発明の別の局面の画像処理プログラムは、コンピュータに、設定用画像に対するユーザからの図形要素の選択を受付けるステップと、選択された図形要素の特徴量を取得し格納するステップと、格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し当該特定した図形要素を示すパラメータを出力するステップとを実行させる。

本発明によれば、図形要素を推定するアルゴリズムに対して、その性能を引出すためのより簡便な設定方法を提供できる。

本実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略図である。 画像処理結果の一例を示す図である。 入力画像から抽出されたエッジ点の一例を示す図である。 図３に示すエッジ点から決定される直線要素の一例を示す図である。 本実施の形態の画像処理装置の基本的な処理手順を示す模式図である。 本実施の形態の画像処理装置の図形要素への分解処理を説明するための図である。 図６に示す分解処理によって生成される各図形要素の図形パラメータの一例を示す図である。 本実施の形態の画像処理装置によって提供される図形要素を選択するための表示画面の一例を示す図である。 図８に示す表示画面において直線要素をユーザが選択する場合の処理例を示す図である。 図８に示す表示画面において円要素をユーザが選択する場合の処理例を示す図である。 本実施の形態の画像処理装置によって提供される図形パラメータの利用例を説明するための図である。 本実施の形態の画像処理装置において計測処理を実現するための機能構成を示す模式図である。 本実施の形態の画像処理装置における処理手順を説明するためのフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．画像処理システムの構成＞
図１は、本実施の形態の画像処理装置１００を含む画像処理システム１の全体構成を示す概略図である。画像処理装置１００は、表面にマークが付与された測定対象物２（以下「ワーク２」とも称す。）を撮像し、撮像によって得られた画像に対する画像処理結果に基づいて、ワーク２を位置決めする。

図１を参照して、画像処理システム１は、主要なコンポーネントとして、視覚センサとも称される画像処理装置１００と、画像処理装置１００に接続された撮像部８と、画像処理装置１００と通信可能なＰＬＣ（Programmable Logic Controller）５と、可動ステージ６とを含む。図１には、一例として、表示部１０２と一体的に構成された画像処理装置１００を示す。

画像処理装置１００は、生産ラインなどに組み込まれ、撮像部８がワーク２を撮像して生成される撮像画像に対して、後述のような画像処理を行うことでワーク２の位置などを特定する。以下の説明においては、撮像部８が撮像することで生成される画像を「入力画像」とも称す。後述するように、本実施の形態においては、画像処理の設定を予め決定する処理（以下「設定処理」とも称す。）と、測定対象物を実際に撮像して画像処理を実行する処理（以下「計測処理」とも称す。）が実行される。設定処理に用いられる画像を「設定用画像」、および、計測処理に用いられる画像を「計測用画像」と称し、単に「入力画像」と記載する場合には両方を意味する。

ここで、「計測用画像」とは、典型的には、画像処理の対象となるワーク２を撮像等することで生成される画像を意味する。すなわち、「計測用画像」は、処理対象となるワーク２を被写体とする入力画像である。「設定用画像」とは、「計測用画像」に含まれると推定されている図形要素と同じ図形要素を含む画像を意味し、典型的には、画像処理におけるレファレンスとなる基準ワークを撮像等することで生成される画像を意味する。すなわち、「設定用画像」は、基準となるワークを被写体とする入力画像である。なお、推定されている図形要素と完全に同じ図形要素を含む画像でなくともよく、実質的に同じ図形要素を含む画像であればよい。

なお、画像処理装置１００において処理可能な入力画像としては、撮像部８の撮像によって生成される画像に限られることなく、例えば、何らかの撮像装置などによって予め取得された画像であってもよい。特に、設定用画像は、ワーク２の設計図面などから合成された画像であってもよい。

画像処理装置１００は、特定したワーク２の位置情報をＰＬＣ５へ出力する。ＰＬＣ５は、位置情報に基づいて、可動ステージ６へ指令を出力する。このように、画像処理装置１００は、対象の図形要素を示す推定されたパラメータに基づいて、被写体であるワーク２の位置を変化させる駆動装置へ指示を出力する手段を有していてもよい。

撮像部８は、被写体を撮像することで入力画像を生成する手段であり、一例として、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像部８による撮像によって生成された入力画像は、画像処理装置１００へ伝送される。撮像部８によって撮像されるワーク２に対して光を照射する照明装置をさらに設けてもよい。また、複数の撮像部８を接続できるように画像処理装置１００を構成してもよい。

画像処理装置１００として汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態の機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態の制御プログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および／またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態のプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される場合もある。したがって、本実施の形態の制御プログラムとしては、このような一部のモジュールを含まない形態であってもよい。

本実施の形態の制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態の制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。

代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

＜Ｂ．課題および背景技術＞
本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにおける処理や機能を説明する前提として、本画像処理にて対処しようとする課題および背景技術について説明する。

図２は、画像処理結果の一例を示す図である。図２に示す画像処理結果は、ワーク上に予め付加された位置決めマークを示す図である。この位置決めマークは、紙面縦方向および紙面横方向にそれぞれ平行な直線要素と、これらの直線要素間を結ぶ別の直線要素を含む。つまり、撮像部８によってワークを撮像することで生成される入力画像には、主として、３つの直線要素が含まれる。

典型的なアプリケーションとしては、このような位置決めマークの紙面縦方向および紙面横方向にそれぞれ平行な２つの直線要素の近似直線２２および２４の交点２５を決定し、この交点２５の座標値を用いて、位置決め制御がなされる。具体的な処理手順としては、入力画像に対して、近似直線２２を決定するために、計測対象領域であるエッジ探索領域２１が設定されるとともに、近似直線２４を決定するためにエッジ探索領域２３が設定される。このエッジ探索領域２１および２３の設定位置および大きさは、予め登録されている。エッジ探索領域２１および２３の各領域内において、エッジ点が抽出される。そして、エッジ探索領域２１および２３の各領域内において抽出されたエッジ点群から各直線要素を示す近似直線が決定される。図２の「＋」マークは、抽出されたエッジ点に基づく近似直線の交点２５を示す。

図２に示す画像処理では、エッジ探索領域２１および２３には、推定対象として意図された直線要素以外に、推定対象ではない直線要素２６が含まれていることがわかる。すなわち、直線要素２６について抽出されたエッジ点が近似直線２２および２４を決定する際に、用いられることになる。このように、計測対象領域内に、推定対象として意図された図形要素に加えて推定対象ではない図形要素が混入すると、推定精度が低下し得る。つまり、計測対象領域内に複数の図形要素が混入してしまうと精度が簡単に低下してしまう。このように、単一のエッジ探索領域内に複数の図形要素が存在することで、近似直線および交点の位置を正しく決定することができず、その位置ずれを修正できないこともある。

図３は、入力画像から抽出されたエッジ点の一例を示す図である。図４は、図３に示すエッジ点から決定される直線要素の一例を示す図である。

図３には、主として３つの図形要素が含まれている入力画像に対するエッジ点の抽出結果を示す。すなわち、図４に示すように、入力画像は図形要素１，２，３を含む。例えば、これらの図形要素のうち図形要素１を推定対象としている場合を考える。この場合には、図４に示す近似直線１を決定する必要がある。しかしながら、図形要素１，２，３のそれぞれから抽出されたエッジ点のすべてを用いると、近似直線２が決定されてしまう。そのため、図３および図４に示すようなエッジ点の抽出結果のうち、推定対象の図形要素についてのエッジ点に限定して近似直線を決定する必要がある。言い換えれば、複数の図形要素の成分を分離することができなければ、抽出されたすべてのエッジ点に対して平均的な直線近似とならざるを得ず、本来的に推定したい直線とは全く異なる直線が出力されてしまうという課題がある。

図３および図４に示すような、図形要素の推定結果を用いるアプリケーションは多種多様であり、アプリケーションごとに推定の精度が最も高くなるように設定することは容易ではない。特に、処理対象の入力画像に複数の図形要素が含まれるような場合には、予め意図された図形要素を選択し、その選択された図形要素に応じた画像処理を自動的に行うことは容易ではないという課題がある。

＜Ｃ．概要＞
上述のような課題に対して、本実施の形態の画像処理方法では、図形フィッティング（Shape Fitting）処理の対象となる図形要素をユーザに選択させるとともに、当該選択された図形要素を抽出および処理するために適した設定を自動的に学習する。

図５は、本実施の形態の画像処理装置１００の基本的な処理手順を示す模式図である。図５を参照して、画像処理装置１００では、各種のパラメータを決定するための設定処理２００と、実際に入力画像に対して画像処理を実行する計測処理３００が実行される。

まず、設定処理２００の内容について説明する。設定処理２００は、前処理２１０と、チューニング処理２２０と、設定格納処理２３０を含む。

前処理２１０では、入力画像として設定用画像２０を受付けるとともに、当該設定用画像２０から図形要素の推定に必要な画像特徴を抽出する。チューニング処理２２０では、設定用画像２０を１または複数の図形要素に分解し、ユーザが指定した図形要素と対応する図形要素を示すパラメータ（以下「図形パラメータ」とも称す。）を出力する。設定格納処理２３０では、チューニング処理２２０で出力された図形パラメータが順次格納される。

前処理２１０は、入力された設定用画像２０に含まれる画像特徴を抽出する画像特徴抽出モジュール２１２を含む。抽出する画像特徴としては、どのような種別の情報を用いてもよいが、本実施の形態においては、エッジ点を画像特徴として抽出する。エッジ点を抽出する構成として、画像特徴抽出モジュール２１２は、勾配算出モジュール２１４およびエッジピーク点算出モジュール２１６を含む。

勾配算出モジュール２１４は、設定用画像２０に対して任意に設定される探索方向に沿って、画素値の勾配を算出する。より具体的には、勾配算出モジュール２１４は、隣接した画素間の画素値の変化を順次算出する。エッジピーク点算出モジュール２１６は、勾配算出モジュール２１４によって算出された画素値の勾配からエッジ点を算出する。より具体的には、エッジピーク点算出モジュール２１６は、算出された勾配のある探索方向に沿ったプロファイルからピーク点を抽出し、その抽出したピーク点からエッジ点を決定する。前処理２１０によって抽出された画像特徴を含むエッジ画像２１８がチューニング処理２２０の処理対象となる。

チューニング処理２２０の機能として、図形認識モジュール２２２と、図形選択モジュール２２４とを含む。

図形認識モジュール２２２は、設定用画像２０を１または複数の図形要素に分解し、それぞれの図形要素および大まかに推定した図形パラメータを出力する。そして、図形認識モジュール２２２は、選択手段に相当し、計測用画像３０に含まれると推定される図形要素、または、所望の図形要素と同じ図形要素を含む設定用画像２０に対する、ユーザからの図形要素の選択を受付ける。このユーザによる図形要素の選択方法としては、設定用画像２０を表示し設定用画像２０に含まれる図形要素をユーザが直接的に選択してもよいし、あるいは、設定用画像２０に含まれる１つ以上の図形要素を推定し、この推定した図形要素を候補としてユーザが選択するようにしてもよい。ユーザによる図形要素の選択処理の詳細については後述する。

図形選択モジュール２２４は、設定値取得手段に相当し、複数の図形要素のうち選択された図形要素に対応する図形パラメータを設定記憶部２３２に格納する。決定される図形パラメータの詳細については後述する。図形選択モジュール２２４により決定された図形パラメータは、設定格納処理２３０において、設定記憶部２３２に格納される。

設定記憶部２３２に格納された図形パラメータは、計測処理３００において、計測用画像３０に対して画像処理を実行する際に利用される。

このような一連の処理によって、図形要素を推定するアルゴリズムに対して、その性能を引出すための図形パラメータをより簡便に決定できる。

計測処理３００の機能として、図形フィッティングモジュール３１０を含む。図形フィッティングモジュール３１０は、推定手段に相当し、設定記憶部２３２に格納された特徴量に基づいて、計測用画像３０に含まれる推定対象の図形要素を特定し、当該特定した図形要素を示す推定結果を出力する。図形フィッティングモジュール３１０における機能および処理の詳細については、後述する。

＜Ｄ．図形認識モジュール＞
次に、図５に示すチューニング処理２２０に含まれる図形認識モジュール２２２での図形要素の分解処理および選択処理についてより詳細に説明する。

図形認識モジュール２２２は、設定用画像２０を１または複数の図形要素に分解する。図６は、本実施の形態の画像処理装置の図形要素への分解処理を説明するための図である。図７は、図６に示す分解処理によって生成される各図形要素の図形パラメータの一例を示す図である。

一例として、設定用画像２０が図６（ａ）に示すような画像を含んでいるとする。図形認識モジュール２２２は、図６（ｂ）に示すように、この設定用画像２０を複数の図形要素３１〜３４に分解する。すなわち、図形要素３１は円要素であり、図形要素３２〜３４は直線要素である。以下の説明では、ユーザが認識したい図形要素は図形要素３４であるとする。ここで、図形要素３４の真の図形パラメータは、傾き＝−１．０，切片＝１５．０であるとする。

図形認識モジュール２２２は、分解した各図形要素の図形パラメータをそれぞれ算出する。算出されるそれぞれの図形パラメータを図７（ａ）に示す。そして、ユーザが図形要素３４を選択すると、それに対応する図形パラメータが選択される。つまり、計測用画像３０に含まれると推定される図形要素の選択、または、所望の図形要素と同じ図形要素を含む設定用画像２０に対する、ユーザからの図形要素の選択によって、対応する図形パラメータが決定される。すなわち、ユーザが所望する図形要素および大まかに推定された図形パラメータが決定される。

このユーザによる図形要素の選択は、以下に説明するように、分解処理によって得られた図形要素を選択候補として表示し、ユーザが明示的に選択するようにしてもよい。あるいは、分解処理によって得られた図形要素のうち、予め定められた選択基準に合致するものが選択されるようにしてもよい。例えば、選択基準が「直線要素」であって、かつ、「傾き＜０」であるならば、図形要素３４の直線要素が選択される。

以下、ユーザが所望する図形要素を選択するための指示を与える処理について図８〜図１０を参照しつつ説明する。

図８は、本実施の形態の画像処理装置１００によって提供される図形要素を選択するための表示画面２５０の一例を示す図である。図９は、図８に示す表示画面２５０において直線要素をユーザが選択する場合の処理例を示す図である。図１０は、図８に示す表示画面２５０において円要素をユーザが選択する場合の処理例を示す図である。

図８に示す表示画面２５０には、入力された設定用画像２０が表示される（画像表示エリア２５２）とともに、選択する図形要素の種別を選択するためのボタンが表示される（直線要素選択ボタン２５４および円要素選択ボタン２５６）。ユーザが直線要素選択ボタン２５４を選択すると、図９に示すような直線要素を選択するための表示画面へ遷移し、ユーザが円要素選択ボタン２５６を選択すると、図１０に示すような円要素を選択するための表示画面へ遷移する。

なお、図形要素の種別を選択するためのボタン（直線要素選択ボタン２５４および円要素選択ボタン２５６）を選択可能に表示する必要は必ずしもなく、ユーザが選択した図形要素からその種別を自動的に判定してもよい。

直線要素が選択されると、図９（ａ）に示すような表示画面２６０が表示される。表示画面２６０は、入力された設定用画像２０を表示するための画像表示エリア２５２と、選択された直線要素の情報を表示するための座標値設定エリア２６６とを含む。図９（ａ）に示すように、ユーザは、画像表示エリア２５２に表示されている設定用画像２０に対して選択すべき図形要素を指定する。例えば、図９（ａ）に示すように、マウスを操作して対象の図形要素の始点２６２および終点２６４を指定する。この始点および終点の指定によって、それぞれの点の座標値が設定される。すなわち、座標値設定エリア２６６には、指定された始点および終点の座標値が設定・表示される。

なお、図９（ａ）には、図形要素の始点および終点をマウスでドラッグすることで指定する操作例を示すが、これに限られることなく、指定対象の図形要素の周辺をマウスでなぞる操作や、指定対象の図形要素を代表するいくつかの点を含む領域を点・線・楕円などで囲む操作で、指定するようにしてもよい。

一方、円要素が選択されると、図１０（ａ）に示すような表示画面２８０が表示される。表示画面２８０は、入力された設定用画像２０を表示するための画像表示エリア２５２と、選択された円要素の情報を表示するための座標値設定エリア２８８とを含む。図１０（ａ）に示すように、ユーザは、画像表示エリア２５２に表示されている設定用画像２０に対して選択すべき図形要素を指定する。例えば、図１０（ａ）に示すように、マウスを操作して対象の図形要素の中心点２８２、中心点２８２からＸ方向の半径２８４、中心点２８２からＹ方向の半径２８６をそれぞれ指定する。この中心点および各軸方向の半径の指定によって、中心点の座標および各軸方向における半径が設定される（座標値設定エリア２８８）。

なお、図１０（ａ）には、図形要素の中心点および半径をマウスでドラッグすることで指定する操作例を示すが、これに限られることなく、指定対象の図形要素の周辺をマウスでなぞる操作や、指定対象の図形要素を代表するいくつかの点を含む領域を点・線・楕円などで囲む操作で、指定するようにしてもよい。

図９（ａ）および図１０（ａ）に示すように、ユーザは、取得したい図形要素を入力装置により直接指定することができる。つまり、図形認識モジュール２２２（図５）は、ユーザの取得したい図形要素を入力装置を介して直接指定可能に構成される。

このユーザによる選択可能な図形要素を予め設定用画像２０から推定しておくことが好ましい。すなわち、図形認識モジュール２２２（図５）は、計測用画像３０に含まれる特徴量から計測用画像３０に含まれる１つ以上の図形要素を選択候補として推定する機能を有することが好ましい。計測用画像３０から図形要素を推定する機能および処理は、後述の図形要素推定モジュール３１４（図１２）が提供する機能および処理と同様であるので、ここでは詳述しない。

また、図９および図１０においては、一例として、直線要素および円要素を選択する場合の表示画面を例示したが、これらに限らず任意の形状の図形要素を選択可能に構成してもよい。

このように、本実施の形態の画像処理装置１００では、設定用画像２０を用いて、ユーザが推定したい図形要素を選択できるようにしている。すなわち、図形認識モジュール２２２（図５）は、計測用画像３０を表示し、表示された計測用画像３０上に対するユーザ操作を受付ける機能を有している。

＜Ｅ．図形選択モジュール＞
次に、図５に示すチューニング処理２２０に含まれる図形選択モジュール２２４による図形パラメータの出力処理について説明する。図形パラメータは、計測処理３００において、（１）図形フィッティング処理の対象となる図形要素（以下、「代表図形要素」とも称す。）の選択、（２）異常点の除去、（３）平滑化、（４）図形要素のパラメータ決定などの処理を最適化するための情報として用いられる。

より具体的には、図形選択モジュール２２４は、ユーザが選択した図形要素の特徴量として、例えば、図形要素の角度、図形要素の長さ、図形要素の大きさ、図形要素の面積、図形要素のノイズの標準偏差、外れ値の多さ、図形要素を構成する線の強度、図形要素の画像内の相対位置、図形要素の色などの情報を取得する。そして、これらの図形要素の特徴量に基づいて、代表図形要素が選択される。

また、計測処理３００において実行される、異常点の除去、平滑化、図形要素のパラメータ決定などに用いられるパラメータを、選択された図形要素の特徴量に関連付けて動的に決定するための設定も行われる。例えば、上述の図９（ｂ）および図１０（ｂ）においては、ユーザが選択した図形要素に応じて、異常点の除去に用いられるパラメータをどのような特徴量に基づいて決定するのかを設定する表示画面を示す。

図９（ｂ）に示す表示画面２７０は、直線要素が選択された場合における、異常点の除去に用いられるパラメータを設定するための異常点除去設定エリア２７６を含む。異常点除去設定エリア２７６には、優先度付けされた３つの特徴量を設定することができるようになっている。

同様に、図１０（ｂ）に示す表示画面２９０は、円要素が選択された場合における、異常点の除去に用いられるパラメータを設定するための異常点除去設定エリア２９６を含む。異常点除去設定エリア２９６には、優先度付けされた３つの特徴量を設定することができるようになっている。

計測処理３００の実行時には、選択された代表図形要素の特徴量のうち、異常点除去設定エリア２７６または２９６において選択された特徴量を用いて、異常点の除去に用いられるパラメータが動的に決定される。このとき、３つの特徴量が優先度付けされており、この優先度に従って特徴量ごとに異常点として除去される対象が決定される。すなわち、図形認識モジュール２２２は、除去手段の動作のパラメータの決定に用いる特徴量の種別についてユーザからの指定を受付ける。

図９（ｂ）および図１０（ｂ）に示すように、ユーザは、取得したい図形要素の特徴量を指定することができる。つまり、図形認識モジュール２２２（図５）は、ユーザの取得したい図形要素の特徴量の指定を受付ける。

＜Ｆ．計測処理＞
次に、図１１を参照して、図形選択モジュール２２４から出力される図形パラメータの計測処理における使用例について説明する。図１１は、本実施の形態の画像処理装置によって提供される図形パラメータの利用例を説明するための図である。つまり、図１１には、選択処理で選択した図形要素について、その周囲のデータ点を利用して精密推定を行った図形パラメータの精密推定結果を示す。

図６に示す図形要素３４の図形パラメータの精密推定を行う場合を考える。図形要素３４の真の図形パラメータは、傾き＝−１．０，切片＝１５．０であるとする。

図１１（ａ）を参照して、上述したような図形パラメータを用いなければ、推定したい図形要素３４（直線要素）と推定対象外の図形要素とが混在しているため推定誤差が大きくなる。この場合の図形パラメータは、傾き＝−１．２，切片＝１５．８であったとする。これは、真の図形パラメータに対して誤差を有する値になっている。

これに対して、図１１（ｂ）を参照して、図形要素３４の周辺は、図形要素３４（直線要素）以外の他の図形要素である可能性が高いので、低い重みをつけたりデータ取得範囲を狭めることで推定精度を向上させる。このように、チューニング処理２２０によって出力される図形パラメータが計測処理に利用される。

図１２は、本実施の形態の画像処理装置１００において計測処理３００を実現するための機能構成を示す模式図である。図１２を参照して、計測処理３００の図形フィッティングモジュール３１０（図５）は、画像特徴抽出モジュール３１１と、図形要素推定モジュール３１４と、代表図形選択モジュール３１５と、ノイズ除去モジュール３１６と、図形パラメータ推定モジュール３２０とを含む。

画像特徴抽出モジュール３１１は、計測用画像３０に対する前処理を実行する。より具体的には、画像特徴抽出モジュール３１１は、入力された計測用画像３０に対して、それに含まれる画像特徴を抽出する。抽出する画像特徴としては、どのような種別の情報を用いてもよいが、本実施の形態においては、エッジ点を画像特徴として抽出する。エッジ点を抽出する構成として、画像特徴抽出モジュール３１１は、勾配算出モジュール３１２およびエッジピーク点算出モジュール３１３を含む。画像特徴抽出モジュール３１１における機能は、勾配算出モジュール２１４およびエッジピーク点算出モジュール２１６を含む画像特徴抽出モジュール２１２と同様であるので、詳細な説明は繰返さない。

図形要素推定モジュール３１４は、計測用画像３０に含まれる特徴量から計測用画像３０に含まれる１つ以上の図形要素を推定する。より具体的には、図形要素推定モジュール３１４は、画像特徴抽出モジュール３１１によって生成された計測用画像３０のエッジ画像を処理して、そのエッジ画像に含まれる図形要素を推定する。

代表図形選択モジュール３１５は、図形要素推定モジュール３１４において推定された１つ以上の図形要素から、上述の設定処理２００において設定された図形パラメータ（ユーザが選択した図形要素の特徴量）に基づいて、代表図形要素を選択する。

ノイズ除去モジュール３１６は、ノイズ除去手段に相当し、推定対象の図形要素（選択された代表図形要素）に応じて外乱となる情報を計測用画像３０から除去する。ノイズ除去モジュール３１６は、典型的には、異常点除去モジュール３１７およびデータ平滑化モジュール３１８を含む。ここで、ノイズ除去モジュール３１６は、推定対象の図形要素（選択された代表図形要素）に関連付けられた特徴量に基づいて決定されるパラメータに従って動作する。異常点除去モジュール３１７およびデータ平滑化モジュール３１８のいずれもが、特徴量に基づいて決定されるパラメータに従って動作するが、この処理例については後述する。

異常点除去モジュール３１７は、選択された代表図形要素には該当しない異常点を除去する。典型的には、異常点除去モジュール３１７は、計測用画像３０のエッジ画像に対して、代表図形要素には関連しないと判断されるエッジ点を異常点と判断し、当該異常点と判断されたエッジ点を除去する。

データ平滑化モジュール３１８は、選択された代表図形要素に応じてフィルタリングを実行する。典型的には、データ平滑化モジュール３１８は、各種の平滑化処理を適用して、計測用画像３０のエッジ画像に含まれるランダムなノイズなどを除去・低減する。

後述するように、異常点除去モジュール３１７およびデータ平滑化モジュール３１８は、選択された代表図形要素に応じて決定される図形パラメータに従って、処理を実行する。すなわち、選択された代表図形要素に応じて、それぞれの処理が最適化される。

図形パラメータ推定モジュール３２０は、選択された代表図形要素に対応する計測用画像３０内の領域の情報から、対象の図形要素を示すパラメータを推定する。より具体的には、図形パラメータ推定モジュール３２０は、代表図形選択モジュール３１５において選択された代表図形要素の情報から、ノイズ除去後のエッジ画像に対して図形フィッティングを行って、図形要素のパラメータを決定する。

図形パラメータ推定モジュール３２０による図形フィッティング処理としては、推定対象のパラメータ数が比較的少ない場合には、ハフ変換が有効である。但し、これらに限られることなく、最小二乗法を用いて決定してもよいし、推定対象の図形が線形性を有している場合には、主成分分析などのアルゴリズムを採用できる。図形パラメータ推定モジュール３２０による図形フィッティング処理においても、実行されるアルゴリズム特有のパラメータ設定が選択された代表図形要素に応じて決定される。すなわち、選択された代表図形要素に応じて、図形要素を示すパラメータの推定処理が最適化される。

図形パラメータ推定モジュール３２０による図形フィッティング処理の結果、推定結果が出力される。

＜Ｇ．図形パラメータ用いた処理の最適化＞
次に、設定処理２００において設定された図形パラメータを用いた処理の最適化の一例について説明する。

（ｇ１：代表図形要素の選択処理）
上述したように、計測処理３００の前処理とも言える設定処理２００において、ユーザが選択した代表図形要素の特徴量が格納される。この特徴量としては、図形要素の角度、図形要素の長さ、図形要素の大きさ、図形要素の面積、図形要素のノイズの標準偏差、外れ値の多さ、図形要素を構成する線の強度、図形要素の画像内の相対位置、図形要素の色などを含む。これらの各図形要素の特徴量を基準として、計測用画像３０に含まれる代表図形要素が選択される。

一例として、代表図形選択モジュール３１５は、図形要素推定モジュール３１４により推定された図形要素のうち、１または複数の基準（ここでは、各図形要素の特徴量）に最も適したものを選択するようにしてもよい。なお、複数の図形要素が代表図形要素として選択されてもよい。この場合、２つの直線といった同一種別の図形要素を複数選択するようにしてもよいし、１つの直線と１つの円といった異なる種別の図形要素をそれぞれ選択するようにしてもよいし、両者を混合したような選択方法を採用してもよい。基本的には、ユーザが選択した図形要素の別に特徴量が学習されるので、複数の図形要素を代表図形要素として選択することができる。また、予め定められた基準に対する適合度合いに応じて、１つ以上の図形要素のうち対象の図形要素を選択するようにしてもよい。例えば、特定の図形要素を１つだけ選択するような場合には、推定された複数の図形要素のうち、基準に最も適合しているものを選択すればよいし、単一種別の図形要素を複数選択する場合には基準への適合度合いが上位にあるものを必要な数だけ選択すればよい。

一方、異なる種別の図形要素をそれぞれ選択する場合には、第１の種別の図形要素の第１の基準と、第２の種別の図形要素の第２の基準とをそれぞれ用意しておき、第１の基準および第２の基準にそれぞれ最も適合している図形要素を選択するようにしてもよい。

代表図形要素の選択に用いられる基準としては、例えば、ユーザが予め選択した図形要素についての、長さ、大きさ、面積、構成する線の強度、フィッティング誤差、予め指定された角度／位置／大きさ／半径／中心位置に対する類似度や相違度、色などの特徴量が用いられる。

複数種別の特徴量（図形パラメータ）を設定した場合には、特徴量間の優先度をさらに設定してもよい。あるいは、複数種別の特徴量を組合せてもよいし、各特徴量に対してそれぞれ重み係数を与えて、これらの重み係数を反映して算出される適合度などに応じて、選択対象を決定してもよい。

（ｇ２：異常点除去のパラメータの最適化）
図１２に示す異常点除去モジュール３１７は、異常点として除去する対象を判断するためのパラメータを選択された代表図形要素に応じて決定する。

一例として、図９（ｂ）および図１０（ｂ）に示すように、異常点除去のパラメータを決定する図形要素の特徴量の種別が予め設定されており、この設定された特徴量を用いて、異常点として判断される基準を動的に決定してもよい。

この基準に代えて、あるいは、それに加えて、選択された代表図形要素に対応する図形要素についての設定処理２００においてユーザが選択した際の基準の距離からのずれの大きさに依存して、異常点として除去する点数を決定してもよい。つまり、設定処理２００においてユーザが選択した図形要素の位置を基準とし、この基準からのユーザ入力の距離に応じて、異常判定基準を決定してもよい。典型的には、設定処理２００においてユーザが選択した図形要素の基準位置から遠い位置にあるエッジ点ほど異常点として判断される可能性が高くなる。

（ｇ３：データ平滑化のパラメータの最適化）
図１２に示すデータ平滑化モジュール３１８は、平滑化のパラメータを選択された代表図形要素に応じて決定する。すなわち、データ平滑化モジュール３１８は、選択された図形要素（代表図形要素）に応じたフィルタリングを行う。より具体的には、ユーザが選択した図形要素の特徴量に応じて、平滑化回数および平滑化フィルタサイズが自動的に決定される。例えば、代表図形要素として選択された図形要素が相対的に大きければ、フィルタサイズも相対的に大きくすればよいし、平滑化回数も相対的に多くすればよい。逆に、代表図形要素として選択された図形要素を構成する線の強度が相対的に低ければ、フィルタサイズも相対的に小さくする必要がある。このように、代表図形要素として選択された図形要素の特徴量に応じて、データ平滑化のパラメータが最適化される。

（ｇ４：図形パラメータ推定のパラメータの最適化）
図１２に示す図形パラメータ推定モジュール３２０は、そのアルゴリズムのパラメータを選択された代表図形要素に応じて決定する。図形パラメータ推定モジュール３２０における図形パラメータの推定には、選択された代表図形要素の種別に応じて、複数のアルゴリズムから適切なアルゴリズムが選択される。そのため、選択されたアルゴリズム特有にパラメータが最適化される。つまり、図形パラメータ推定モジュール３２０は、複数のアルゴリズムのうち、推定対象の図形要素の種別に応じたアルゴリズムを実行可能に構成されている。そして、複数のアルゴリズムの各々の動作のパラメータは、推定対象の図形要素に関連付けられた特徴量に基づいて決定される。

例えば、パラメータ推定アルゴリズムとして、ランダムサンプリング方式の一例であるＲＡＮＳＡＣ（Random Sampling Consensus）法を用いる場合には、ユーザが選択した図形要素の特徴量に応じて、ランダムに選択される点の組合せ、収束条件、採用条件などが自動的に決定される。パラメータ推定アルゴリズムとしては、ＲＡＮＳＡＣ法に加えて、ロバスト推定法、ハフ変換（直線要素）、ハフ変換（円要素）、最小二乗法、主成分分析法、局所外れ値投票方式などを用いることができる。それぞれのアルゴリズムについて、選択された代表図形要素の特徴量に応じて決定されるパラメータは以下のようになる。

（ａ）ロバスト推定法：採用点数、重み
（ｂ）ハフ変換（直線要素）：採用点数、累積値に対するしきい値、中点座標
（ｃ）ハフ変換（円要素）：中心座標、探索半径
（ｄ）最小二乗法：採用点数、探索範囲（中点、傾き）
（ｅ）主成分分析：軸算出に用いる累積寄与率算出時の基底数
（ｆ）局所外れ値投票方式：点組合せ
図形要素のパラメータ推定アルゴリズムとしては、上述したものに限られず、任意のアルゴリズムを採用することができ、いずれのアルゴリズムを採用した場合であっても、実行に必要なパラメータを選択された代表図形要素の特徴量に応じて、最適化することができる。

＜Ｈ．処理手順＞
図１３は、本実施の形態の画像処理装置１００における処理手順を説明するためのフローチャートである。図１３に示す処理手順は、典型的には、画像処理装置１００のプロセッサが制御プログラムを実行することで実現される。制御プログラムは、入力画像に含まれる図形要素を推定する画像処理プログラムを含み、画像処理装置１００によって制御プログラムが実行されることで、入力画像に含まれる図形要素を推定する画像処理方法が実行される。

上述したように、画像処理装置１００では、各種の図形定パラメータを決定するための設定処理２００と、実際に入力画像に対して画像処理を実行する計測処理３００とが実行される。図１３において、設定処理２００は、ステップＳ１００〜Ｓ１０８に相当し、計測処理３００は、ステップＳ２００〜Ｓ２１０に相当する。

図１３を参照して、設定用画像２０を取得する（ステップＳ１００）。
続いて、設定用画像２０を表示し、設定用画像２０に対するユーザからの図形要素の選択を受付ける（ステップＳ１０２）。このとき、計測用画像３０に含まれる特徴量から計測用画像３０に含まれる１つ以上の図形要素を推定した上で、選択候補として表示してもよい。続いて、ユーザが図形要素を選択すると、設定用画像２０から選択された図形要素の特徴量を取得し格納する（ステップＳ１０４）。

そして、設定用画像２０に対してユーザから別の図形要素が選択されたか否かを判断する（ステップＳ１０６）。設定用画像２０に対してユーザから別の図形要素が選択された場合（ステップＳ１０６においてＹＥＳの場合）には、ステップＳ１０４の処理が繰返される。

これに対して、設定用画像２０に対してユーザから別の図形要素が選択されていない場合（ステップＳ１０６においてＮＯの場合）には、別の設定用画像２０がユーザから要求されたか否かを判断する（ステップＳ１０８）。別の設定用画像２０がユーザから要求された場合（ステップＳ１０８においてＹＥＳの場合）には、ステップＳ１００以下の処理が繰返される。

一方、別の設定用画像２０がユーザから要求されていない場合（ステップＳ１０８においてＮＯの場合）には、設定処理２００は終了する。

設定処理２００の完了後、任意のタイミングで、計測処理３００が開始される。
周期的または何らかのイベントに応答して、計測用画像３０を取得する（ステップＳ２００）。計測用画像３０の取得方法としては、画像処理装置１００に接続された撮像部８が被写体を撮像することで生成されるデータを取得する方法に加えて、外部の撮像装置を用いて被写体を撮像することで生成された入力画像を何らかの媒体を介して取得するようにしてもよい。

続いて、計測用画像３０に含まれる特徴量を抽出する（ステップＳ２０２）。具体的には、計測用画像３０に対して、勾配およびエッジピーク点を算出することで、計測用画像３０に含まれるエッジ点を示すエッジ画像を生成する。

続いて、設定処理２００において取得および格納された各図形要素の特徴量に基づいて、計測用画像３０に含まれる推定対象の図形要素を特定し、当該特定した図形要素を示すパラメータを出力する。計測用画像３０に対して図形フィッティング処理を実行する。

予め格納されている各図形要素の特徴量に基づいて、計測用画像３０に含まれる特徴量から計測用画像３０から代表図形要素を選択する（ステップＳ２０４）。計測用画像３０のエッジ画像に対して、ハフ変換、クラスタリングアルゴリズム、各種検出ロジックなどを適用することで、それに含まれる図形要素を推定する。

選択された代表図形要素に応じて外乱となる情報を除去する（ステップＳ２０６）。具体的には、選択された代表図形要素に従って、当該代表図形要素以外の図形要素によるノイズ要因を低減する。このノイズ要因の低減の処理としては、異常点の除去およびデータの平滑化が用いられる。このとき、異常点の除去およびデータの平滑化のパラメータを、選択された代表図形要素に関連付けられた特徴量に基づいて決定する。

続いて、図形フィッティング処理を実行する。すなわち、対象の代表図形要素を示すパラメータを推定する（ステップＳ２０８）。

このとき、図形要素を推定するアルゴリズムに応じて、選択された代表図形要素に関連付けられる特徴量から、その動作のパラメータを決定する。

最終的に、ステップＳ２０８において取得された代表図形要素の推定結果を出力する（ステップＳ２１０）。そして、処理は終了する。

本実施の形態の画像処理装置によれば、設定処理において、図形要素の推定の処理を最適に行うための情報を取得しておき、この予め取得した情報に基づいて、図形要素を推定するアルゴリズムに対して、その性能を引出すためのより適切なパラメータを決定できる。

また、図形要素の推定の対象となる代表図形要素の選択においても、設定処理において予め取得された情報が用いられるので、計測用画像に複数の図形要素が混入している場合であっても、目的の図形要素に絞って図形要素の推定を行うことができる、推定精度を高めることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理システム、２ 測定対象物、５ ＰＬＣ、６ 可動ステージ、８ 撮像部、２０ 設定用画像、３０ 計測用画像、１００ 画像処理装置、２００ 設定処理、２１０ 前処理、２１２，３１１ 画像特徴抽出モジュール、２１４，３１２ 勾配算出モジュール、２１６，３１３ エッジピーク点算出モジュール、２２０ チューニング処理、２２２ 図形認識モジュール、２２４ 図形選択モジュール、２３０ 設定格納処理、２３２ 設定記憶部、３００ 計測処理、３１０ 図形フィッティングモジュール、３１４ 図形要素推定モジュール、３１５ 代表図形選択モジュール、３１６ ノイズ除去モジュール、３１７ 異常点除去モジュール、３１８ データ平滑化モジュール、３２０ 図形パラメータ推定モジュール。

Claims (13)

1. 設定用画像に対するユーザからの、任意の形状を規定する図形要素の選択を受付ける選択手段と、
   前記選択された図形要素の特徴量を取得し格納する設定値取得手段と、
   前記格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し、当該特定した図形要素を示すパラメータを出力する推定手段と、
   前記推定対象の図形要素の特徴量に基づいて決定されるパラメータに従って、外乱となる情報を前記計測用画像から除去する除去手段とを備える、画像処理装置。
2. 前記選択手段は、前記設定用画像に含まれる特徴量と予め定められた選択基準とから当該設定用画像に含まれる１つ以上の図形要素を選択候補として推定する手段を含む、請求項１に記載の画像処理装置。
3. 前記選択手段は、ユーザが取得したい図形要素を入力装置を介して直接指定可能に構成される、請求項１または２に記載の画像処理装置。
4. 前記選択手段は、ユーザが取得したい図形要素の特徴量の指定を受付ける、請求項１または２に記載の画像処理装置。
5. 前記選択手段は、前記設定用画像を表示し、当該表示された設定用画像上に対するユーザ操作を受付ける手段を含む、請求項１または２に記載の画像処理装置。
6. 前記除去手段は、前記選択された図形要素には該当しない図形要素を異常点として除去する、もしくは、前記選択された図形要素には該当しない図形要素に対して低い重みを付ける手段を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記除去手段は、前記選択された図形要素の特徴量に応じたパラメータに従って、前記計測用画像をフィルタリングする手段を含む、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記選択手段は、前記除去手段の動作に係るパラメータの決定に用いる特徴量の種別についてユーザからの指定を受付ける、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記推定手段は、複数の推定アルゴリズムのうち、前記推定対象の図形要素の種別に応じた推定アルゴリズムを実行可能に構成されており、
   前記複数の推定アルゴリズムの各々の動作に係るパラメータは、前記推定対象の図形要素に関連付けられた特徴量に基づいて決定される、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記推定手段は、図形フィッティング（Shape Fitting）処理により前記計測用画像に含まれる図形要素を特定する、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 被写体を撮像することで前記計測用画像を生成する撮像手段と、
    前記特定した図形要素の位置を示すパラメータに基づいて、前記被写体の位置を変化させる駆動装置へ指示を出力する出力手段とをさらに備える、請求項１〜９のいずれか１項に記載の画像処理装置。
12. コンピュータにより実行される画像処理方法であって、
    前記コンピュータが、設定用画像に対するユーザからの、任意の形状を規定する図形要素の選択を受付けるステップと、
    前記コンピュータが、前記選択された図形要素の特徴量を取得し格納するステップと、
    前記コンピュータが、前記格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し、当該特定した図形要素を示すパラメータを出力するステップと、
    前記コンピュータが、前記推定対象の図形要素の特徴量に基づいて決定されるパラメータに従って、外乱となる情報を前記計測用画像から除去するステップとを備える、画像処理方法。
13. 画像処理プログラムであって、前記画像処理プログラムは、コンピュータに
    設定用画像に対するユーザからの、任意の形状を規定する図形要素の選択を受付けるステップと、
    前記選択された図形要素の特徴量を取得し格納するステップと、
    前記格納された特徴量に基づいて、計測用画像に含まれる推定対象の図形要素を特定し、当該特定した図形要素を示すパラメータを出力するステップと、
    前記推定対象の図形要素の特徴量に基づいて決定されるパラメータに従って、外乱となる情報を前記計測用画像から除去するステップとを実行させる、画像処理プログラム。