JP7324317B2

JP7324317B2 - 画像処理装置

Info

Publication number: JP7324317B2
Application number: JP2021575785A
Authority: JP
Inventors: 翔太郎小倉
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-02-04
Filing date: 2021-02-01
Publication date: 2023-08-09
Anticipated expiration: 2041-02-01
Also published as: JP2023119037A; JPWO2021157528A1; DE112021000890T5; US20230068692A1; CN115004246A; WO2021157528A1

Description

本発明は画像処理装置に関する。

撮像装置の視野内の画像の中から特定の対象物の像を検出する画像処理装置が知られている。このような画像処理装置では、対象物を表す基準情報（一般に、モデルパターン、テンプレート等と称される）と撮像装置で取得した入力画像との間で特徴量のマッチングを行い、一致度が所定のレベルを超えたときに対象物の検出に成功したと判定すること一般的である（例えば、特許文献１参照）。

また、特許文献２は、パラメタ制御装置の構成として、「照合第１段目照合１段目では、高速ではあるが低精度の照合処理によって登録データの絞込みを行う。続いて、照合２段目では、中速かつ中精度の照合処理によって、照合１段目からさらに登録データの絞り込みを行う。そして、照合ｍ段目では、前段の複数の照合処理で絞り込まれた少数の登録データに対して低速ではあるが高精度の照合処理を行い、一の登録データの特定を行う。各照合段階の登録データの絞り込みの精度及び速度を調整するパラメタを登録データに合わせて照合速度及び／又は照合精度が最適になるよう自動的に算出する。」と記載する（要約書）。

特開２０１７－９１０７９号公報特開２０１０－９２１１９号公報

特徴量のマッチングでは、例えば、モデルパターンの特徴点と、それに対応する入力画像中の対応点との距離の許容範囲が検出パラメータとして用いられる。このような検出パラメータを用いて対象物の検出を行う場合に、検出したい対象物の未検出が生じないようにする、或いは誤検出が出ないようにするといった所望の検出結果を得るためには操作者の試行錯誤による検出パラメータの調整が必要になる。所望の検出結果を得るのに適した検出パラメータの設定を自動化するこのできる画像処理装置が望まれる。

本開示の一態様は、対象物のモデルパターンに基づいて１以上の入力画像データ中の前記対象物の像を検出する画像処理装置であって、検出パラメータを用いて前記モデルパターンの特徴量と前記１以上の入力画像データから抽出された特徴量とのマッチングを行い前記１以上の入力画像データから前記対象物の像を検出する対象物検出部と、前記検出パラメータの値の設定前に予め準備された前記１以上の入力画像データに対する前記対象物検出部による検出結果と、前記１以上の入力画像データに対し前記対象物の像の検出を行った場合の所望の検出結果を表す情報とを比較することで、前記対象物検出部による前記対象物の検出における未検出率と誤検出率の少なくともいずれかを算出する検出率計算部と、前記未検出率と前記誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する目的関数値計算部と、前記目的関数の値が所定の条件を満たすか又は前記検出パラメータの探索回数が規定数に達するまで前記検出パラメータの値を変更して前記対象物検出部による前記対象物の検出、前記検出率計算部による前記未検出率と前記誤検出率の少なくともいずれかの算出、及び前記目的関数値計算部による前記目的関数の値の算出を繰り返すことにより前記検出パラメータの探索を行う検出パラメータ探索部と、を備える画像処理装置である。

上記構成によれば、所望の検出結果を得るのに適した検出パラメータの設定を自動化することができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係る画像処理装置の構成を表すブロック図である。画像処理装置を有する視覚センサ制御装置及び視覚センサにより対象物を検出する構成例を示す図である。ロボットのアーム先端部に設置した視覚センサの画像から対象物を検出する構成例を表す図である。検出パラメータ設定処理のフローチャートである。モデルパターンの作成手順を示すフローチャートである。対象物のモデルパターンの例を示す図である。撮像した画像におけるモデルパターン指定領域の例を示す図である。正解リストを作成するために検出された各像にラベル付けを行った状態を表す図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係る画像処理装置２１の構成を表すブロック図である。図１に示すように、画像処理装置２１には、視覚センサ１０、操作盤３１、及び表示装置３２が接続されている。画像処理装置２１は、視覚センサ１０の視野内の画像から特定の対象物の像を検出する機能を具備する。画像処理装置２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。操作盤３１及び表示装置３２は画像処理装置２１に一体に設けられていても良い。

視覚センサ１０は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や３次元点群を取得できるステレオカメラや３次元センサでもよい。本実施形態では、視覚センサ１０としてカメラを用い、視覚センサ１０が濃淡画像を出力するものとして説明を行う。カメラは、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を有する電子カメラであり、撮像面（ＣＣＤアレイ面上）で２次元画像を検出する機能を持つ周知の受光デバイスである。撮像面における２次元座標系を以下では画像座標系と呼ぶ。

図２は、画像処理装置２１を有する視覚センサ制御装置２０及び視覚センサ１０により対象物を検出する構成例を示す図である。図２に示すように、視覚センサ１０を対象物１が撮像できる位置に固定設置し、対象物１は作業台２に載置する。この構成において、視覚センサ１０により撮像された画像内で対象物１の検出を行う。

図３は、ロボット制御装置１３により制御されるロボット１１のハンド１２で、作業台２上の対象物１をハンドリングする場合に、ロボット１１のアーム先端部に設置した視覚センサ１０の画像から対象物１を検出する構成例を表す図である。図３の構成例では、視覚センサ１０で撮像された画像を視覚センサ制御装置２０に搭載した画像処理装置２１で処理して対象物１を検出し、検出した対象物１の位置情報をロボット制御装置１３に供給する。本構成例のように、視覚センサ１０は、ロボット１１のアーム先端部などの可動部に設置してもよい。

図１に示すように、画像処理装置２１は、画像処理部２２と、モデルパターン記憶部２６と、検出結果記憶部２７とを有する。画像処理部２２は、対象物検出部２２１と、対応点選択部２２２と、正解リスト作成部２２３と、検出結果リスト作成部２２４と、検出率計算部２２５と、目的関数値計算部２２６と、検出パラメータ探索部２２７とを有する。図１に示す画像処理装置２１が有する各機能は、画像処理装置２１のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。

対象物検出部２２１は、対象物が撮像された一乃至複数の入力画像（入力画像データ）のそれぞれについて、該入力画像から抽出した複数の第２の特徴点と、モデルパターンを構成する複数の第１の特徴点とのマッチングを行って対象物の一乃至複数の像を検出する。対応点選択部２２２は、一乃至複数の入力画像から検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点からモデルパターンを構成する複数の第１の特徴点に対応する第２の特徴点を選択し、該第２の特徴点を対応点として該第１の特徴点に関連付けて記憶する。

正解リスト作成部２２３は、検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出処理を行うことで取得された検出結果に対して、操作者による正しい検出結果か、間違った検出結果かを入力する操作を受け付け、正しい検出結果のみで構成される正解リスト（すなわち、操作者にとって所望の検出結果を表す情報）を作成する。検出結果リスト作成部２２４は、設定した検出パラメータを使って、検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出処理を行うことで取得された検出結果と、当該検出処理にかかった処理時間とを記録した検出結果リストを作成する。

検出率計算部２２５は、検出結果リスト作成部２２４が作成した検出結果リストと正解リストとを比較し、未検出率と誤検出率の少なくともいずれかを計算する。目的関数値計算部２２６は、未検出率と誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する。検出パラメータ探索部２２７は、目的関数の値が所定の条件を満たすか又は検出パラメータの探索回数が規定数に達するまで、検出パラメータの値を変更して、対象物の検出、未検出率及び誤検出率の計算、及び目的関数の値の計算を繰り返すことにより検出パラメータの探索を行う。

視覚センサ１０は、画像処理装置２１に通信ケーブルで接続されている。視覚センサ１０は、撮像した画像データを画像処理装置２１に供給する。操作盤３１は、画像処理装置２１に通信ケーブルで接続されている。操作盤３１は、画像処理装置２１で対象物１を検出するために必要な視覚センサ１０の設定を行うのに使用される。表示装置３２は、画像処理装置２１に通信ケーブルで接続されている。表示装置３２には、視覚センサ１０で撮像した画像や操作盤３１で設定する設定内容が表示される。

画像処理装置２１は、対象物を表す基準情報（モデルパターン、テンプレート等と称される）と視覚センサ１０によって取得した入力画像との間で特徴量のマッチングを行い、一致度が所定のレベル（閾値）を超えたときに対象物の検出に成功したと判断する構成をとる。例えば、特徴量のマッチングで、モデルパターンの特徴点と対応する入力画像の対応点との距離の範囲（以下、「対応点の許容距離」と記載する）を検出パラメータとして設定する場合を想定する。この場合、検出パラメータとして小さい値を設定すると一致度が低下し検出したい対象物が見つからなくなってしまうことがある。それとは逆に検出パラメータとして大きい値を設定すると、モデルパターンの特徴点に対応する特徴点として妥当でない入力画像の特徴点に誤対応し誤検出の原因となる場合がある。本実施形態に係る画像処理装置２１は、操作者の試行錯誤なしに、操作者が期待する検出結果を得るのに適した検出パラメータを自動的に設定する機能を有する。

画像処理装置２１は、以下のアルゴリズムで、操作者が期待した検出結果を得るのに適した検出パラメータを設定する。
（手順Ａ１１）検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。
（手順Ａ１２）新たに検出パラメータを設定し、上記（手順Ａ１１）で使用した入力画像（すなわち、検出パラメータの値の設定前に予め準備された一乃至複数の入力画像）に対して検出を行うことで、新たに検出結果を取得する。その際に、検出にかかった処理時間を記録する（検出リストの作成）。
（手順Ａ１３）新たに取得した検出結果を正解リストと比較することで、新たに設定した検出パラメータで上記（手順Ａ１１）で使用した入力画像に対して検出を行った時の未検出率、誤検出率を計算する。
（手順Ａ１４）計算した未検出率、誤検出率及び記録した検出にかかった処理時間から目的関数の値を計算する。目的関数は、未検出率、誤検出率及び検出にかかる処理時間を操作者が任意の値で重みづけしたものを使用する。
（手順Ａ１５）目的関数の値が設定した値より小さくなった時、または規定数の検出パラメータを探索した時に、検出パラメータの探索を終了する。条件を満たさない場合は、新しい検出パラメータの探索を行う（手順Ａ１２に戻る）。
（手順Ａ１６）探索した検出パラメータの中で、目的関数の値が最小の時の検出パラメータを画像処理装置に設定する。

目的関数を最小化する検出パラメータの探索には、当分野で知られたベイズ最適化、グリッドサーチ、ランダムサーチ等の各種探索法を用いることができる。ベイズ最適化では既に検討したパラメータから、良い目的関数の値を得られる可能性が高いパラメータの候補を確率的に求め、効率的にパラメータを探索するため、グリッドサーチやランダムサーチよりも少ない探索数で検出パラメータを最適化できる。ベイズ最適化はブラックボックス最適化手法の一つであり、入力に対する出力値は分かるが数式化の困難な関数（ブラックボックス関数）に対して、出力が最小となる入力を探索する手法である。なお、ランダムサーチは、検出パラメータの値をランダムに設定する探索手法である。本実施形態では、検出パラメータの探索にベイズ最適化を用いるものとする。

目的関数は、未検出率、誤検出率及び検出にかかる処理時間を重みづけしたものを使用する。操作者は重みづけの値を変えることで、未検出率、誤検出率及び検出にかかる処理時間のどの値を優先して最小化するかを決めることができる。例えば誤検出率の重みを大きくすると、未検出が発生したとしても誤検出をゼロにするフェールセーフな検出を行う検出パラメータを優先して探索する。他方、未検出率の重みを大きくすると、特に未検出の発生を抑制するのに適した検出パラメータを得ることができる。また、処理時間の重みを増加させることで、特に処理時間を低減させるのに適した検出パラメータを得ることができる。

正解リスト作成部２２３は、以下のアルゴリズムで、検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。
（手順Ａ２１）検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出を行い、検出結果を取得する。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。ここでは、誤検出が多くても未検出がないまたは少ないことが望ましいので、比較的多くの検出結果が得られるように検出パラメータを比較的緩い値に設定して検出を行う。
（手順Ａ２２）操作者による各検出結果に対するラベル付けの操作を受け付ける。通常は操作者が目視で確認して、正解／不正解（正しく検出できたか、誤検出だったか）のラベルを付ける。
（手順Ａ２３）検出結果から正解のラベルを付けた検出結果だけを抜き出し、入力画像に対する操作者の期待通りの検出結果のリスト（正解リスト）を作成する。

検出率計算部２２５は、以下のアルゴリズムで、新たに設定した検出パラメータで画像データセットに対して検出を行った時の未検出率、誤検出率を計算する。
（手順Ａ３１）入力画像に対し新たに取得した検出結果が、正解リストに含まれる検出結果と一致するかを判定する。検出位置、姿勢、サイズの差が設定した閾値内に収まっている時に、その検出結果が一致すると判定する。
（手順Ａ３２）全ての判定結果を合計し、未検出率、誤検出率を計算する。正解リストに含まれる全ての検出結果が新たに取得した検出結果のリストに含まれる場合に未検出率をゼロとし、正解リストに含まれない検出結果が新たに取得した検出結果のリストに一つも含まれない場合に誤検出率をゼロとする。操作者の期待したものが適切に検出される場合、未検出率、誤検出率は共にゼロになる。

このように、検出対象が写った画像が含まれる一乃至複数の入力画像に対する正解ラベルの付いた検出結果のリストを作成することで、検出パラメータを変更した時に、操作者による確認を必要とせず、入力画像に対して検出を行った時の未検出率及び誤検出率を計算できる。そして、一例として、誤検出率をゼロにし、かつ、未検出率及び検出にかかる処理時間を最小化することを目的とし、検出パラメータの値を入力としたベイズ最適化による探索を行うことで、操作者が意図したものだけが検出される最適な検出パラメータを操作者の試行錯誤なしに設定することができる。

図４は、操作者が期待する検出結果を得るのに適した検出パラメータを設定する上述のアルゴリズムを具体的に実現する処理（以下、検出パラメータ設定処理と記す）を表すフローチャートである。検出パラメータ設定処理は、画像処理装置２１のＣＰＵによる制御の下で実行される。検出パラメータとしては、上述の「対応点の許容距離」、及び、モデルパターンの特徴量と入力画像から抽出される特徴量との間の「一致度の閾値」を用いる。

はじめに、モデルパターンの教示を行う（ステップＳ１）。すなわち、ステップＳ１で、画像処理部２２がモデルパターンを作成し、作成したモデルパターンをモデルパターン記憶部２６に記憶する。

本実施形態におけるモデルパターンは複数の特徴点から構成される。特徴点としては様々な物が使用できるが、本実施形態ではエッジ点を特徴点として用いる。エッジ点は、画像中で輝度勾配が大きな点であり、対象物１の輪郭形状を取得するために使用できる。エッジ点を抽出する方法としては当分野で知られる各種手法を用いることができる。

エッジ点の物理量としては、そのエッジ点の位置、輝度勾配方向、輝度勾配の大きさなどがある。エッジ点の輝度勾配の方向を特徴点の姿勢と定義すると、位置とあわせて特徴点の位置姿勢を定義することができる。本実施形態では、特徴点の物理量としてエッジ点の物理量、すなわちエッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさを記憶する。

図６は、対象物１のモデルパターンの例を示す図である。図６に示されるように、対象物１のモデルパターンは複数の第１の特徴点P_i（i=1～NP）で構成される。モデルパターンを構成する第１の特徴点P_iの位置姿勢はどのような形式で表してもよいが、一例としては、モデルパターンに座標系１００を定義し（以下、モデルパターン座標系１００）、モデルパターンを構成する特徴点の位置t_Pi（i=1～NP）や姿勢v_Pi（i=1～NP）をモデルパターン座標系１００から見た位置ベクトルや方向ベクトルなどで表現する方法が挙げられる。

モデルパターン座標系１００の原点はどのように定義してもよい。例えば、モデルパターンを構成する第１の特徴点から任意の１点を選択して、その点を原点として定義してもよく、モデルパターンを構成するすべての特徴点の重心を原点として定義してもよい。

モデルパターン座標系１００の姿勢（軸の方向）もどのように定義してもよい。例えば、モデルパターンの作成を行った画像において画像座標系とモデルパターン座標系１００とが平行になるように定義してもよいし、モデルパターンを構成する特徴点から任意の２点を選択して、その一方から他方に向かう方向がＸ軸方向となるように定義してもよい。

モデルパターンを構成する第１の特徴点P_iは、モデルパターン記憶部２６に、例えば、下記表１のような形式（位置、姿勢、輝度勾配の大きさを含む）で記憶される。

図５は、図４のステップＳ１における画像処理部２２によるモデルパターンの作成手順を示すフローチャートである。ステップＳ２０１で、モデルパターンとして教示したい対象物１を視覚センサ１０の視野内に配置し、対象物１の画像を撮像する。この時の視覚センサ１０と対象物１の位置関係は、対象物１を検出するときと同じになるようにして行うことが望ましい。

ステップＳ２０２で、撮像した画像において対象物１が映った領域を矩形や円形でモデルパターン指定領域として指定する。図７は、撮像した画像におけるモデルパターン指定領域の例を示す図である。図７に示すように、撮像した画像において画像座標系２１０が定義され、その中で対象物１の像１Ａを含むようにモデルパターン指定領域（ここでは矩形領域）２２０が指定される。モデルパターン指定領域２２０は、使用者が表示装置３２で画像を見ながら操作盤３１により入力した指示を画像処理部２２が受けて設定しても、画像処理部２２が画像における輝度勾配の大きい箇所を像１Ａの輪郭として求め、像１Ａが内部に含まれるように自動的に指定してもよい。

次に、ステップＳ２０３で、モデルパターン指定領域２２０の範囲内でエッジ点を特徴点として抽出し、エッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさなどの物理量を求める。また、指定された領域内にモデルパターン座標系１００を定義し、エッジ点の位置や姿勢を、画像座標系２１０で表現された値から、モデルパターン座標系１００で表現された値に変換する。

次に、ステップＳ２０４で、抽出されたエッジ点の物理量を、モデルパターンを構成する第１の特徴点P_iとしてモデルパターン記憶部２６に記憶する。本実施形態では、特徴点としてエッジ点を用いたが、本実施形態で使用可能な特徴点がエッジ点に限定されるわけではなく、たとえば当分野で知られたＳＩＦＴ（Scale-Invariant Feature Transform）のような特徴点を使用してもよい。

また、対象物１の画像からエッジ点やＳＩＦＴ特徴点などを抽出して、モデルパターンを構成する第１の特徴点とするのではなく、画像に写った対象物の輪郭線に合うように線分、矩形、円などの幾何図形を配置することでモデルパターンを作成してもよい。その場合、輪郭線を構成する幾何図形上に適当な間隔で特徴点を設ければよい。さらに、CADデータなどに基づいてモデルパターンを作成することもできる。

図４のフローに戻り、次に、画像処理部２２は、ステップＳ２～Ｓ５において、検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。ステップＳ２～Ｓ５の処理は上述の正解リスト作成のアルゴリズム（手順Ａ２１～Ａ２３）に対応する。検出対象が写った画像が含まれる一乃至複数の入力画像を用意する。入力画像のそれぞれについて、適当な一致度の閾値及び対応点の許容距離を設定して対象物の検出を行い、検出結果を取得する。ここでは、誤検出が多くても未検出がないまたは少ないことが望ましいので、一致度の閾値を低く、対応点の許容距離を大きく設定する（ステップＳ２）。そして、検出対象が映った画像が含まれる一乃至複数の入力画像のそれぞれについて対象物１の像１Ａ（以下、単に対象物１と称する場合がある）の検出を行い、検出結果を取得する（ステップＳ３）。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。

ステップＳ３における対象物１の検出について詳細に説明する。対象物の検出は以下の手順で行う。
手順１０１：対象物の検出
手順１０２：対応点の選択
手順１０３：検出パラメータに基づく評価

以下、手順１０１～手順１０３を説明する。これらの手順は対象物検出部２２１による制御の下で実行される。手順１０１（対象物の検出）で、入力画像I_j（j=1～NI）のそれぞれについて対象物１の像１Ａ（以下、単に対象物１と称する場合がある）の検出を行う。まず、入力画像I_jから第２の特徴点を抽出する。第２の特徴点はモデルパターンを作成する際に第１の特徴点を抽出した方法と同じ方法で抽出すればよい。本実施形態では、入力画像からエッジ点を抽出し、第２の特徴点とする。説明のため、入力画像I_jから抽出されたNQ_j個の第２の特徴点をQ_jk（k=1～NQ_j）とする。第２の特徴点Q_jkは入力画像I_jに関連づけて検出結果記憶部２７に記憶する。この時点では、第２の特徴点Q_jkの位置や姿勢は画像座標系２１０で表現されている。

次に、入力画像I_jから抽出した第２の特徴点Q_jkとモデルパターンを構成する第１の特徴点P_iとのマッチングを行い、対象物1の検出を行う。対象物を検出する方法は様々なものがあるが、たとえば、当分野で知られた、一般化ハフ変換、ＲＡＮＳＡＣ（Random Sample Consensus）、ＩＣＰ（Iterative Closest Point）アルゴリズムなどが利用できる。

検出を行った結果、入力画像I_jから対象物の像がNT_j個検出されたとする。また、検出された像をT_jg（g=1～NT_j）、像T_jgの検出位置をR_Tjgとする。検出位置R_Tjgは、画像座標系２１０から見た対象物の像T_jgの位置姿勢、すなわち像T_jgにモデルパターンを重ね合わせた時の、画像座標系２１０から見たモデルパターン座標系１００の位置姿勢を表す同次変換行列であり、次の式で表される。

たとえば、対象物がカメラの光軸に対して傾くことがなく、画像に写る対象物の像の移動として合同変換だけを考えればよい場合には、a₀₀～a₁₂は以下のようになる。
a₀₀=cosθ
a₀₁=-sinθ
a₀₂=x
a₁₀=sinθ
a₁₁=cosθ
a₁₂=y
ただし、（x、y）は画像上での位置、θは画像上での回転移動量である。

また、対象物がカメラの光軸に対して傾くことはないが、対象物とカメラの距離が一定でない場合は、距離に応じて画像に映る対象物の像の大きさが変わるため、画像に写る対象物の像の移動としては相似変換となる。その場合、a₀₀～a₁₂は以下のようになる。
a₀₀=ｓ・cosθ
a₀₁=-ｓ・sinθ
a₀₂=x
a₁₀=ｓ・sinθ
a₁₁=ｓ・cosθ
a₁₂=y
ただし、sは教示されたモデルパターンの大きさと対象物の像T_jgの大きさの比である。

入力画像I_j(j=1～NI)のそれぞれについて同様の処理を行い、トータルでNT個の像が検出されたものとする。なお、トータルの個数NTは次の式で表される。

検出位置R_Tjgを、入力画像I_jに関連付けて検出結果記憶部２７に記憶しておく。

次に手順１０２（対応点の選択）について説明する。手順１０２の処理機能は、対応点選択部２２２により提供される。手順１０２において、各入力画像I_j(j=1～NI)から検出された対象物の像T_jg（j=1～NI、g=1～NT_j）の検出位置R_Tjgに基づいて、入力画像I_jから抽出された第２の特徴点Q_jk（j=1～NI, k=1～NQ_j）のうち、モデルパターンを構成する第１の特徴点P_iに対応するものを対応点として選択する。

説明のため、モデルパターンを構成する第１の特徴点P_iの位置姿勢をそれぞれ同次変換行列R_Piで表すことにする。R_Piは以下のように記述できる。

b₀₀= vx_Pi
b₀₁=-vy_Pi
b₀₂= tx_Pi
b₁₀= vy_Pi
b₁₁= vx_Pi
b₁₂= ty_Pi
ただし、t_Pi =（tx_Pi, ty_Pi）はモデルパターン座標系でのP_iの位置、v_Pi =（vx_Pi, vy_Pi）はモデルパターン座標系でのP_iの姿勢である。

なお、P_iの姿勢をベクトルではなく角度r_Piで表現することもできる。v_Piはr_Piを使って、v_Pi = (vx_Pi, vy_Pi) = (cos r_Pi, sin r_Pi)と表現できる。同様に、入力画像I_jから抽出した第２の特徴点_Q_jkの位置姿勢も、同次変換行列R_Qjkで表すことにする。

ここで、モデルパターンを構成する第１の特徴点P_iの位置姿勢R_Piはモデルパターン座標系で表現されており、入力画像I_jから抽出された第２の特徴点Q_jkの位置姿勢R_Qjkは画像座標系で表現されていることに注意が必要である。そこで、両者の関係を明確にしておく。

画像I_jに写った対象物の像T_jgにモデルパターンを重ねた時の、画像座標系から見た第１の特徴点P_iの位置姿勢をR_Pi’とすると、R_Pi’は、モデルパターン座標系からみた第１の特徴点P_iの位置姿勢R_Piと、画像座標系から見た像T_jgの検出位置R_Tjgを用いて、以下のように表せる。
R_Pi'=R_Tjg・R_Pi ・・・（１）

同様に、対象物の像T_jgにモデルパターンを重ねた時の、モデルパターン座標系から見た第２の特徴点Q_jkの位置姿勢をR_Qjk’とすると、R_Qjk’は、画像座標系から見たQ_jkの位置姿勢R_Qjkと、画像座標系から見た像T_jgの検出位置R_Tjgを用いて、以下のように表せる。
R_Qjk'=R_Tjg^-1・R_Qjk ・・・（２）

なお、後の説明のため、画像座標系から見たP_iの位置をt_Pi’、画像座標系から見たP_iの姿勢をv_Pi’、画像座標系から見たQ_jkの位置をt_Qjk、画像座標系から見たQ_jkの姿勢をv_Qjk、モデルパターン座標系から見たQ_jkの位置をt_Qjk’、モデルパターン座標系から見たQ_jkの姿勢をv_Qjk’とする。

以上を踏まえて、モデルパターンを構成する第１の特徴点P_iと、入力画像I_jから抽出された第２の特徴点Q_jk（j=1～NI, k=1～NQ_j）の対応付けを、以下の手順で行う。

Ｂ１．入力画像I_jから検出された対象物の像T_jgの検出位置R_Tjgに基づいて、モデルパターンを構成する第１の特徴点P_iの位置姿勢R_Piを、式（１）により、画像座標系から見た位置姿勢R_Pi’に変換する。

Ｂ２．第１の特徴点P_iのそれぞれについて、第２の特徴点Q_jkの中から最も近いものを探索する。探索には以下のような手法を使うことができる。
（ア）第１の特徴点の位置姿勢R_Pi’と全ての第２の特徴点の位置姿勢R_Qjkとの距離を計算し、最も距離が近い第２の特徴点Q_jkを選択する。
（イ）入力画像I_jの画素数と同じ要素数の２次元配列に、第２の特徴点の位置姿勢R_Qjkをその位置の画素に対応する２次元配列の要素に格納し、２次元配列の第１の特徴点の位置姿勢R_Piに対応する画素近傍を２次元的に探索し、最初に見つかった第２の特徴点Q_jkを選択する。

Ｂ３．選択された第２の特徴点Q_jkが、その第１の特徴点P_iの対応点として妥当であるか評価する。たとえば、第１の特徴点P_iの位置姿勢R_Pi’と第２の特徴点Q_jkの位置姿勢R_Qjkの距離を計算し、距離が閾値以下であれば、選択された第２の特徴点Q_jkはその第１の特徴点P_iの対応点として妥当であるとする。

さらに、第１の特徴点P_iと第２の特徴点Q_jkの姿勢や輝度勾配の大きさなどの物理量の差も合わせて評価して、それらも閾値以下または閾値以上であるときに選択された第２の特徴点Q_jkはその第１の特徴点P_iの対応点として妥当であると判断するようにしてもよい。

Ｂ４．選択された第２の特徴点Q_jkが、その第１の特徴点P_iの対応点として妥当であると判断した場合は、選択された第２の特徴点Q_jkをその第１の特徴点P_iの対応点O_imとして、P_iに関連付けて検出結果記憶部27に記憶する。対応点O_imの画像座標系から見た位置姿勢R_Oimとすると、R_Oim=R_Qjkであり、これは画像座標系から見た位置姿勢であるので、モデルパターン座標系から見た位置姿勢R_Oim’に変換してから記憶するようにする。R_Oim’は、式（２）により、以下のようにして計算できる。

以上の処理を、入力画像I_j(j=1～NI)から検出されたNT個の検出位置R_Tjg（j=1～NI、g=1～NQ_j）のそれぞれについて行うことにより、モデルパターンのi番目の特徴点P_iに対応すると判定された対応点がNO_i個見つかったものとする。また、モデルパターンのi番目の特徴点P_iに対応するm個目の対応点をO_im（m=1～NO_i）とする。なお、入力画像I_jから検出された対象物の像の総数がNTであるので、NO_i <= NTである。得られた対応点は下記表２のような形態でモデルパターン記憶部２６に記憶する。

次に、手順１０３（検出パラメータに基づく評価）について説明する。ここでは、上記手順１０２（対応点の選択）により選択された第２の特徴点が第１の特徴点P_iの対応点として妥当であるかを確認する。ここで検出パラメータとしての「対応点の許容距離」を用いる。像T_jgにモデルパターンを重ね合わせた時の、第１の特徴点P_iとそれに対応する第２の特徴点Q_jkとの距離が「対応点の許容距離」以下のときに当該対応点（第２の特徴点）は妥当であるとする。妥当である対応点はP_iの対応点O_iとして検出結果記憶部２７に記憶する。

上記手順１０２及び手順１０３を全ての第１の特徴点P_i（i=1～NP）に対して行うことで、NO個の対応点が選択できたものとする。モデルパターンを構成する第１の特徴点の総数NPと見つかった対応点の数NOを使用して、NO/NPを求めることで、モデルパターンと像T_xの一致度を0.0から1.0の間の値で表現できる。一致度が「一致度の閾値」未満の像T_xは検出結果から除外する。

図４のフローに戻り、次にステップＳ４では、検出結果にラベルを付ける。通常は操作者が目視で確認して、正解／不正解（正しく検出できたか、誤検出だったか）のラベルを付ける。図８は、上記ステップＳ３での検出処理（手順１０１～１０３）により、一例として、入力画像から８個の対象物の像Ａ１１－Ａ１８が検出され、表示装置３２に表示されている状態を表す。操作者は、検出された像の一つ一つに正解（ＯＫ）／不正解（ＮＧ）のラベルを付ける。ラベル付けは、画像上のラベル画像３０１の部分をクリック操作することでＯＫ／ＮＧが切り替わるようになっていても良い。図８の例では、操作者は、像Ａ１１、Ａ１３－Ａ１６、Ａ１８については正解とし、像Ａ１２、Ａ１７については不正解としている。

次に、ステップＳ５では、検出結果から正解のラベルを付けた検出結果だけを抜き出し、抜き出した検出結果を、入力画像に対する操作者の期待する検出結果（正解リスト）とする。図８の例の場合には、正解リストには、像Ａ１１、Ａ１３－Ａ１６、Ａ１８が含められる。

次に、ステップＳ６－Ｓ１１のループ処理では、ベイズ最適化により検出パラメータを探索する。まず、新たな検出パラメータ（一致度の閾値及び対応点の許容距離）を設定し（ステップＳ６）、正解リスト作成に用いた入力画像に対して上述の検出処理（手順１０１～１０３）を行うことで検出結果を取得する（ステップＳ７）。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。また、この際、検出にかかった処理時間を記録する。

次に、ステップＳ８では、検出率計算部２２５は、ステップＳ７で得られた検出結果を正解リストと比較することで、ステップＳ６で新たに設定した検出パラメータ（一致度の閾値及び対応点の許容距離）で入力画像に対して検出を行った時の未検出率、誤検出率を計算する。この際、検出率計算部２２５は、検出対象とされた画像が同じものであり（画像に付したＩＤ番号が同じであること）、かつ検出位置、姿勢、サイズの差が事前に設定した閾値内に収まっている時に、検出結果が一致したと判定する。

検出率計算部２２５は、正解リストに含まれる全ての検出結果が新たに取得した検出結果に含まれる場合に未検出率がゼロとなるように未検出率を算出する。また、検出率計算部２２５は、正解リストに含まれない検出結果が新たに取得した検出結果のリストに一つも含まれない場合に誤検出率がゼロとなるように誤検出率を算出する。具体的には、正解リストに含まれる像の数をＮ個、新たな検出パラメータにより検出された像のうち正解リストに含まれる像の数をｍ₀個とするとき、検出率計算部２２５は、以下の数式により未検出率を算出しても良い。

（未検出率）＝（Ｎ－ｍ₀）／Ｎ

また、正解リストに含まれる像の数をＮ個、新たな検出パラメータで検出にされた像のうち正解リストに含まれない像の数をｍ₁個とするとき、また、検出率計算部２２５は、以下の数式により誤検出率を算出しても良い。

（誤検出率）＝ｍ₁／Ｎ

次に、ステップＳ９では、目的関数値計算部２２６は、ステップＳ８で計算された未検出率、誤検出率と、ステップＳ７における検出にかかった処理時間とに対して、重み値入力操作によって入力された重み値によって重み付けした目的関数の値を計算する。この場合、目的関数値計算部２２６は、操作者による操作盤３１を介した操作による重み値の入力を受け付ける。ここで、ｘ₁、ｘ₂、ｘ₃をそれぞれ未検出率、誤検出率、処理時間とし、ｗ₁、ｗ₂、ｗ₃をそれぞれｘ₁、ｘ₂、ｘ₃に対する重み値とするとき、目的関数ｆは、以下の数式により表される。

以上のように目的関数を計算し、目的関数の値が予め設定した設定値より小さくなった時（Ｓ１０：ＹＥＳ）、または規定数の探索をした時（Ｓ１１：ＹＥＳ）、探索を終了する。目的関数が設定値以上であり未だ規定数の探索が終了していない場合（Ｓ１０：ＮＯ、Ｓ１１：ＮＯ）、新たな検出パラメータを設定して検出を行うステップＳ６からＳ１１の一連の処理を再び実行する。

上記のようにパラメータ探索処理では、上述のように目的関数を計算し、目的関数の値が最小化乃至は十分に低下したときに検出パラメータの探索を終了させる。以上説明したように、パラメータ設定処理によれば、操作者の試行錯誤なしに、操作者が期待する検出結果を得るのに最適な検出パラメータを自動的に設定することができる。

画像処理装置２１は、以上の処理により得られた検出パラメータを対象物の検出に用いる検出パラメータとして設定する。

以上説明したように、本実施形態によれば、所望の検出結果を得るのに適した検出パラメータの設定を自動化することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述の実施形態では、検出パラメータとして「対応点の許容距離」及び「一致度の閾値」を用いたが、これは例示であり、これらに代えて又はこれらに加えて他の検出パラメータが用いられても良い。例えば、検出パラメータとして、エッジ点の輝度勾配方向に許容範囲を設定したり、エッジ点の輝度勾配の大きさに許容範囲を設定しても良い。

図４に示した検出パラメータ設定処理におけるステップＳ６～Ｓ１１のループ処理（すなわち、ベイズ最適化における検出パラメータの探索処理）においては操作者が予めいくつかの検出パラメータと目的関数の値の計算値を与え、探索処理の時間（探索回数）を低減するようにしても良い。

上述の実施形態では、目的関数ｆとして未検出率、誤検出率、及び処理時間の３つの入力変数を有する関数を用いているが、これらの入力変数の少なくともいずれか一つを入力変数とする目的関数を用いても良い。例えば、未検出率を入力変数とする目的変数を用いた場合、未検出率の低減に適した検出パラメータを探索することができる。検出率計算部２２５は、未検出率、誤検出率のいずれか一方を算出する構成であっても良い。

上述した実施形態における検出パラメータ設定処理等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

１対象物
１０視覚センサ
１１ロボット
１２ハンド
２０視覚センサ制御装置
２１画像処理装置
２２画像処理部
３１操作盤
３２表示装置
２２１対象物検出部
２２２対応点選択部
２２３正解リスト作成部
２２４検出結果リスト作成部
２２５検出率計算部
２２６目的関数値計算部
２２７検出パラメータ探索部

Claims

対象物のモデルパターンに基づいて１以上の入力画像データ中の前記対象物の像を検出する画像処理装置であって、
検出パラメータを用いて前記モデルパターンの特徴量と前記１以上の入力画像データから抽出された特徴量とのマッチングを行い前記１以上の入力画像データから前記対象物の像を検出する対象物検出部と、
前記検出パラメータの値の設定前に予め準備された前記１以上の入力画像データに対する前記対象物検出部による検出結果と、前記１以上の入力画像データに対して前記対象物の像の検出を行った場合の所望の検出結果を表す情報とを比較することで、前記対象物検出部による前記対象物の検出における未検出率と誤検出率の少なくともいずれかを算出する検出率計算部と、
前記未検出率と前記誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する目的関数値計算部と、
前記目的関数の値が所定の条件を満たすか又は前記検出パラメータの探索回数が規定数に達するまで前記検出パラメータの値を変更して前記対象物検出部による前記対象物の検出、前記検出率計算部による前記未検出率と前記誤検出率の少なくともいずれかの算出、及び前記目的関数値計算部による前記目的関数の値の算出を繰り返すことにより前記検出パラメータの探索を行う検出パラメータ探索部と、
を備える画像処理装置。
前記目的関数は、前記未検出率、前記誤検出率、及び前記対象物検出部による前記対象物の像の検出に要した処理時間のそれぞれに対して重み値を乗じて加算した値として定義される請求項１に記載の画像処理装置。
前記対象物検出部は、前記モデルパターンの第１の特徴点と前記１以上の入力画像データから抽出される第２の特徴点との間でマッチングを行い、
前記検出パラメータは、前記第１の特徴点と当該第１の特徴点に対応する前記１以上の入力画像データ中の前記第２の特徴点との間の許容距離を含む、請求項１又は２に記載の画像処理装置。
前記検出パラメータは、前記モデルパターンの前記第１の特徴点の総数に対する、前記第１の特徴点に対応する前記第２の特徴点として前記許容距離内にあるものの数の比率として定義される一致度についての閾値を更に含む、請求項３に記載の画像処理装置。
前記所定の条件は、前記目的関数の値が予め設定した設定値よりも低くなることである、請求項１から４のいずれか一項に記載の画像処理装置。
前記検出パラメータ探索部は、前記検出パラメータの探索にベイズ最適化、ランダムサーチのいずれかを用いる、請求項１から５のいずれか一項に記載の画像処理装置。