JP7049983B2 - 物体認識装置および物体認識方法 - Google Patents

Description

本発明は、画像中の物体を認識する物体認識装置および物体認識方法に関する。

製造分野および物流分野では、物体のピッキング作業および組立作業の自動化が望まれている。これらの作業を自動化するためにロボットが用いられる。ロボットを用いて作業対象物体を扱う場合、作業対象物体の位置および姿勢を計測する手段が必要となる。そのために視覚センサが用いられる。

物体を扱う作業をロボットに行わせるためには、視覚センサにより計測された物体の種別を認識する必要がある。

物体の認識は、例えば、カメラで作業エリアの物体を計測し、予め準備されている対象モデルと計測結果を照合することにより行われる。例えば、作業エリアにおいて物体を計測する際には、計測結果に照明の光や影が映り込んでしまう虞がある。このように、計測結果に照明や影が映り込んでしまうと、モデルと計測結果との差が大きくなり、物体の認識が失敗してしまう虞がある。

これに対して、特許文献１には、所定対象物の鮮明度が互いに異なる複数の基準画像のそれぞれについての基準データを予め用意しておき、部分領域画像の鮮明度に応じた基準データを選択し、部分領域画像中に所定対象物が示されているか否かを判定する技術が開示されている。

特開２００５－３４６２８７号公報

特許文献１では、鮮明度に応じた画像を用いて比較することにより、所定対象物であるかを判定しているが、この技術を特徴点マッチングに適用する場合において、例えば、鮮明度が低い画像を用いるとすると、物体の認識精度が低下してしまう虞がある。

本発明は、上記事情に鑑みなされたものであり、その目的は、周囲の環境の影響によらず適切に物体を認識することのできる技術を提供することにある。

上記目的を達成するため、一観点に係る物体認識装置は、物体を認識するための物体認識装置であって、認識候補の物体の基準画像と、基準画像における特徴点と、各特徴点における特徴量とを記憶する記憶部と、認識処理対象の画像であるシーン画像を取得する画像取得部と、画像取得部が取得したシーン画像の各領域における、鮮明の度合いを示す鮮明度を検出する鮮明度計算部と、シーン画像における特徴点を検出し、特徴点のマッチングを行うマッチング計算部と、を備え、マッチング計算部は、鮮明度が第１範囲となるシーン画像の第１領域と、鮮明度が第１範囲よりも低い第２範囲となるシーン画像の第２領域と、における特徴点の検出方法、または、前記第１領域と前記第２領域とにおける特徴量の検出方法の少なくとも一方を異なる方法により実行する。

本発明によれば、周囲の環境の影響によらず適切に物体を認識することができる。

物体認識装置の機能構成を示すブロック図である。 物体認識装置の適用例を示す説明図である。 物体認識装置のハードウェア構成を示すブロック図である。 基準物体登録処理のフローチャートである。 物体認識処理のフローチャートである。 鮮明度に応じて異なる特徴量を用いて物体認識を行う処理の説明図である。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、例えば、認識候補の物体の基準画像（モデル画像）と、モデル画像における各単位領域（１以上の画素の領域）の特徴量とを対応付けて記憶しておき、認識処理対象の画像であるシーン画像を取得し、取得したシーン画像の各単位領域における、鮮明の度合いを示す鮮明度を検出し、モデル画像とシーン画像とにおける特徴点を検出し、特徴点のマッチングを行い、鮮明度が第１範囲となるシーン画像の第１領域における特徴点の検出と、鮮明度が第１範囲よりも低い第２範囲となる前記シーン画像の第２領域における特徴点の検出とを異なる方法により実行する。

ここで、鮮明度とは、画像の鮮明の度合いを示し、例えば、以下の（１）～（４）に示すものであってよい。
（１）単位領域の鮮明度は、単位領域内の画素での輝度勾配の大きさ又はヘッセ行列の最大固有値としてもよい。また、単位領域の鮮明度は、単位領域とその周囲の画素を含む画素群における輝度勾配の大きさ又はヘッセ行列の最大固有値の最大値としてもよい。
（２）単位領域の鮮明度は、単位領域内の輝度の分散或いは標準偏差としてもよい。
（３）予め定められた単位領域（例えば、格子状の分割領域）の鮮明度は、単位領域を２次元フーリエ変換して得られる空間周波数分布から算出される値（特開２００５－３４６２８７号公報参照）としてもよい。
（４）単位領域の鮮明では、単位領域内で特定の特徴点検出手法（ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）等）によって検出される特徴点の数としてもよい。

また、特徴点の検出方法が異なるとは、例えば、特徴点を検出するための処理自体が異なることや、特徴点を検出する方法において利用する特徴量の種類が異なることが含まれてもよい。

このような本実施形態に係る物体認識装置は、例えば、物体を認識するための物体認識装置であって、認識候補の物体の基準画像と、基準画像の特徴点と、各特徴点における特徴量とを記憶する記憶部と、認識処理対象の画像であるシーン画像を取得する画像取得部と、画像取得部が取得したシーン画像の各領域における、鮮明の度合いを示す鮮明度を検出する鮮明度計算部と、シーン画像における特徴点を検出し、特徴点のマッチングを行うマッチング計算部と、を備え、マッチング計算部は、鮮明度が第１範囲となるシーン画像の第１領域と鮮明度が第１範囲よりも低い第２範囲となるシーン画像の第２領域とにおける特徴点の検出方法、または、第１領域と第２領域とにおける特徴量の検出方法の少なくとも一方を異なる方法により実行する物体認識装置、と表現することもできる。

本実施形態に係る物体認識装置によれば、画像の鮮明度に応じて、その領域に適した特徴点の検出を行って特徴点マッチングを行うこと、または、その領域に適した特徴量の検出を行って特徴点マッチングを行うことができ、特徴点マッチングによる物体認識の精度を向上することができる。したがって、シーン画像に照明が映り込んで白くなってしまっている領域や、影が映り込んで黒くなってしまっている領域についても、適切に特徴点マッチングを行うことができ、物体認識精度を向上することができる。

図１～図６を用いて第１実施例を説明する。図１は、物体認識装置の機能構成を示すブロック図である。物体認識装置１は、例えば、後述の計算処理を行う計算部１１と、画像取得部１２と、認識結果を出力する出力部１３とを備える。画像取得部１２は、認識候補の物体が存在するか否かを判定する処理の対象となる画像（シーン画像）のデータを取得する。シーン画像のデータとしては、複数種類の特徴量を特定可能な情報を含んでいる。例えば、シーン画像のデータは、各画素の輝度情報や、視点に対する各画素までの３次元座標情報（３次元位置情報の一例）を含んでいてもよい。このシーン画像には、判定候補の物体が含まれる場合がある。物体としては、例えば、各種製造業で扱われる部品、物流産業で扱われる商品などがある。

計算部１１は、例えば、鮮明度計算部１１１、特徴選択部１１２、記憶部の一例としてのデータ保持部１１３、特徴取得部１１４、マッチング計算部１１５を備える。ここで、本実施例では、特許請求の範囲のマッチング計算部には、特徴取得部１１４が含まれる。

データ保持部１１３は、あらかじめ取得される複数種類の基準物体に関するデータ（基準物体の画像（モデル画像）のデータ）を記憶デバイス１０１（図３参照）に保持する。基準物体を教示物体と呼ぶこともできる。認識候補となる基準物体の画像は、物体認識装置１にあらかじめ登録されるためである。基準物体に関するデータとしては、基準物体に関する特徴点（特徴点の座標）や、その特徴点における複数種類の特徴量のデータが含まれる。基準物体に関する特徴点としては、複数種類の特徴点抽出方法のそれぞれにより抽出された特徴点であってもよい。特徴点抽出方法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いてもよく、ＯＲＢ等を用いてもよい。複数種類の特徴量としては、表現能力が高い特徴量（例えば、ＳＩＦＴ特徴量）や、頑健度合いが高い特徴量（例えば、局所バイナリパターン（ＬＢＰ）や、照明条件に影響されない特徴量（例えば、画素位置や、法線）のうちのいずれか複数であってもよい。

鮮明度計算部１１１は、画像取得部１２により取得されたシーン画像における各単位領域の鮮明度を計算する。本実施例では、各単位領域を１画素とし、鮮明度をその画素での輝度勾配の大きさとしている。本実施例では、鮮明度は、例えば、照明が映り込んでしまった領域や、影が映り込んでしまった領域については、低い値が算出される。

特徴選択部１１２は、鮮明度計算部１１１により計算された各単位領域の鮮明度に基づいて、シーン画像の各領域について。鮮明度が高い領域と、鮮明度が中の領域と、鮮明度が低い領域とのいずれであるかを特定し、鮮明度が高い領域について使用する特徴量を表現能力が高い特徴量（例えば、ＳＩＦＴ特徴量：高鮮明度用特徴量）とし、鮮明度が中間の領域について使用する特徴量を頑健度合いが高い特徴量（例えば、ＬＢＰ：中鮮明度用特徴量）とし、鮮明度が低い領域について使用する特徴量を照明条件に影響されない特徴量（３次元座標位置、法線等：低鮮明度用特徴量）とする。なお、本実施例では、シーン画像の鮮明度を固定のしきい値で、高い領域と、中間の領域と、低い領域とのいずれであるかを特定するので、シーン画像中にいずれかの領域として特定される単位領域が存在しないこともあり得る。

特徴取得部１１４は、画像取得部１２が取得したシーン画像のデータから、所定の特徴点抽出方法により特徴点を抽出（算出）し、各特徴点について選択された特徴量を取得（算出）する。これにより、シーン画像からは、各特徴点について、各単位領域の鮮明度に応じて選択された適切な特徴量が取得されることとなる。なお、特徴取得部１１４は、鮮明度計算部１１１により計算された各単位領域の鮮明度に基づいて、シーン画像から特徴点を抽出する特徴点抽出方法を切り替えるようにしてもよい。例えば、特徴取得部１１４は、鮮明度が高い領域においては、ＳＩＦＴを用いて特徴点を抽出し、鮮明度が高くない領域においては、ＯＲＢを用いてもよい。このようにすると、シーン画像から各単位領域の鮮明度に応じて適切な特徴点を抽出することができる。

マッチング計算部１５は、特徴取得部１１４により取得されたシーン画像の特徴量および特徴点と、データ保持部１１３のモデル画像の特徴量および特徴点とに基づいて、特徴点のマッチングを行い、シーン画像とモデル画像との類似度を算出し、類似度に基づいてマッチングの結果を判定し、判定結果を出力部１３に渡す。本実施例では、マッチング計算部１５は、シーン画像の特徴点の属する領域の鮮明度に応じて、比較するモデル画像の特徴量を切り替えている。具体的には、マッチング計算部１５は、シーン画像の鮮明度の高い領域における特徴点については、モデル画像についての高鮮明度用特徴量に基づく特徴点とのマッチングを行い、シーン画像の鮮明度の中間の領域における特徴点については、モデル画像についての中鮮明度用特徴量に基づく特徴点とのマッチングを行い、シーン画像の鮮明度の低い領域における特徴点については、モデル画像についての低鮮明度用特徴量に基づく特徴点とのマッチングを行う。この場合、モデル画像の特徴点ごとに、その特徴点の特徴量と最も近い特徴量のシーン画像の特徴点を対応付けるようにしてもよい。このように、シーン画像における鮮明度に応じて、マッチングの対象とするモデル画像の特徴量を切り替えているので、各単位領域の状態に応じて適切に特徴点のマッチングを行うことができ、特徴点のマッチング精度を向上することができる。マッチングによる類似度は、例えば、正しくマッチングした特徴点の数やその割合であってもよい。

ここで、上記した特徴量が最も近い特徴点同士を対応付けるマッチングでは、誤対応が含まれる可能性があるため、マッチング計算部１５において以下の処理（Ａ）～（Ｃ）を実行することで、マッチングの精度を向上するようにしてもよい。
（Ａ）特徴量に基づいて対応付けが行われた、モデル画像の特徴点（モデル特徴点）と、シーン画像の特徴点（シーン特徴点）との複数の組の中からランダムに数個の組を選択し、選択した組に基づいて、以下の式（１）に示す変換行列（候補変換行列）を取得する。

Ｘｓ＝ＲＸｍ＋Ｔ ・・・（１）
ここで、Ｘｓは、シーン画像の特徴点の座標を示し、Ｘｍは、モデル画像の特徴点の座標を示し、Ｒは、回転行列を示し、Ｔは、並進行列を示す。

この変換行列は、モデル特徴点に対応するシーン特徴点の位置がどこにあるかを示す行列である。

（Ｂ）全てのモデル特徴点について（Ａ）で得た変換行列により変換して、各モデル特徴点についてのシーン画像における対応位置を特定し、特定した対応位置と、各モデル特徴点と組になっているシーン特徴点の位置との幾何学的な距離を算出し、この距離が所定の閾値以下である場合に、モデル特徴点とシーン特徴点との組が、正しい対応付けがされている組として判定し、正しい対応付けがされている組の数をカウントする。

（Ｃ）（Ａ）および（Ｂ）の処理を繰り返し実行し、正しい対応付けがされている組の数が最多となっている場合に取得されていた変換行列を、最適な変換行列として特定する。そして、正しい対応付けがされている組が最多となっている場合の総数が所定の閾値以上であれば、シーン画像中にモデル画像の物体が存在する（物体あり）と判定し、閾値未満であれば、シーン画像中にモデル画像の物体が存在しない（物体なし）と判定する。

図２は、物体認識装置１を自動仕分け機１０に適用した場合の外観例を示す。認識対象（識別対象）の物体３１は、パレットなどの容器３に収容されて運搬される。容器３の上方には、カメラ２がアーム２０により取り付けられている。カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）カメラまたはＣＭＯＳカメラなどの撮像素子を有する撮像装置である。本実施例では、カメラ２は、例えば、カメラ２の視点から撮像される各部分までの３次元距離を測定する測距センサを備えている。カメラ２で撮影された画像データは、物体認識装置１へ送られる。なお、画像データには、測距センサにより測定された各部までの３次元距離のデータを含んでもよい。物体認識装置１の画像取得部１２は、カメラ２からの画像データを取得し、計算部１１へ送る。

物体認識装置１は、パーソナルコンピュータを用いて実現することができる。図３で後述するように、汎用のコンピュータに所定のコンピュータプログラムを記憶させ、実行させることにより、物体認識装置１を実現することができる。これに代えて、物体認識装置１を専用装置として構成してもよい。

物体認識装置１の認識結果は、例えば、図示せぬロボット制御装置へ送られ、特定の物体であると認識された物体は、ロボット等により取り出されて所定の場所に載置される。

図３は、物体認識装置１のハードウェア構成例を示す。物体認識装置１は、例えば、プロセッサ１００と、記憶デバイス１０１と、入力デバイス１０２と、出力デバイス１０３と、通信インターフェース（通信ＩＦ１０４）と、を有する。プロセッサ１００、記憶デバイス１０１、入力デバイス１０２、出力デバイス１０３、および通信ＩＦ１０４は、バス１０５を介して接続される。図３では、物体認識装置１の計算部１１を実現するための構成を中心に示しているが、図３に示す構成に対してさらに、画像取得部１２および出力部１３を実現するための入出力インターフェース（不図示）を備えることもできる。

プロセッサ１００は、物体認識装置１を統括制御する。プロセッサ１００は、記憶デバイス１０１に記憶されている物体認識処理プログラムＰ１を実行することにより、図１に示す計算部１１の各機能部を実現する。

記憶デバイス１０１は、プロセッサ１００の作業エリアとなる。記憶デバイス１０１は、物体認識処理プログラムＰ１および画像データ等を記憶する。記憶デバイス１０１は、データ保持部１１３を実現する。通信ＩＦ１０４を介して取得されたデータは、記憶デバイス１０１に一時的に記憶される。記憶デバイス１０１としては、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等がある。

入力デバイス１０２は、データを入力するための装置である。入力デバイス１０２としては、例えば、キーボード、マウス、タッチパネル、テンキー、スキャナ、音声認識装置等がある。出力デバイス１０３は、データを出力する装置である。出力デバイス１０３としては、例えば、ディスプレイ、プリンタ、音声合成装置等がある。

図４は、基準物体を物体認識装置１へ登録する処理（基準物体登録処理）のフローチャートである。例えば、オペレータは、カメラ１０の視野内に登録対象の基準物体を載置し、その基準物体をカメラ１０により撮影させる。カメラ１０により撮影された画像（画像データ）は、画像取得部１２により取得され、データ保持部１１３へ記憶される（Ｓ１）。

物体認識装置１の情報取得部１１４は、基準物体の画像データから、特徴点と、特徴点における複数種類の特徴量のそれぞれに対応する画像特徴パターンを抽出し（Ｓ２）、抽出された全ての画像特徴パターンと基準物体の属性情報とを対応付けてデータ保持部１１３へ保存する（Ｓ３）。基準物体の属性情報としては、例えば、基準物体の品種番号、製造番号、製造元、特徴量の種類等がある。

物体認識装置１は、基準物体の登録処理を完了したか判定する（Ｓ４）。例えば、オペレータが入力デバイス１０２から登録作業の完了を指示すると、物体認識装置１は、基準物体の登録処理が完了したものと判断し、本処理を終了する（Ｓ４：ＹＥＳ）。

このように、本実施例では、データ保持部１１３に、あらかじめ、認識候補となる基準物体を撮像した画像データから得られる、特徴点における複数種類の特徴量のそれぞれに対応する画像特徴パターンとその基準物体の属性情報とを対応付けて保持しておく。

画像特徴パターンとしては、例えば、画像そのものを用いることもできる。この場合、画像特徴要素は画像中の各画素に対応する。あるいは、Ｃａｎｎｙエッジ検出のようなエッジ検出により得たエッジを利用してもよい。この場合、画像特徴要素は検出された各エッジとなる。

図５は、物体認識処理を示すフローチャートである。

鮮明度計算部１１１は、画像取得部１２により取得されたシーン画像における各単位領域の鮮明度を計算する（Ｓ１０）。

次いで、特徴選択部１１２は、計算された各単位領域の鮮明度に基づいて、シーン画像を鮮明度が高い範囲（第１範囲）にある領域（第１領域）と、鮮明度が中間の範囲（第２範囲）にある領域（第２領域）と、鮮明度が低い範囲（第３範囲）にある領域（第３領域）とのいずれであるかを特定し、鮮明度が高い領域について使用する特徴量を表現能力が高い特徴量（例えば、ＳＩＦＴ特徴量：高鮮明度用特徴量：第１特徴量）とし、鮮明度が中間の領域について使用する特徴量を頑健度合いが高い特徴量（例えば、ＬＢＰ：中鮮明度用特徴量：第２特徴量）とし、鮮明度が低い領域について使用する特徴量を照明条件に影響されない特徴量（３次元座標位置、法線等：低鮮明度用特徴量：第３特徴量）とする（Ｓ２０）。

次いで、特徴取得部１１４は、画像取得部１２が取得したシーン画像のデータから、特徴点を抽出し、各特徴点について選択された特徴量を取得（算出）する（Ｓ３０）。

次いで、マッチング計算部１５は、特徴取得部１１４により取得されたシーン画像の特徴量および特徴点と、データ保持部１１３のモデル画像の特徴量および特徴点とに基づいて、特徴点のマッチングを行い、シーン画像とモデル画像との類似度を算出する（Ｓ４０）。本実施例では、マッチング計算部１５は、シーン画像の特徴点の属する領域の鮮明度に応じて、比較するモデル画像の特徴量を切り替えている。具体的には、マッチング計算部１５は、シーン画像の鮮明度の高い領域における特徴点については、モデル画像についての高鮮明度用特徴量に基づく特徴点とのマッチングを行い、シーン画像の鮮明度の中間の領域における特徴点については、モデル画像についての中鮮明度用特徴量に基づく特徴点とのマッチングを行い、シーン画像の鮮明度の低い領域における特徴点については、モデル画像についての低鮮明度用特徴量に基づく特徴点とのマッチングを行う。

次いで、マッチング計算部１１５は、算出した類似度が所定の閾値以上であるか否かを判定する（Ｓ５０）。この結果、類似度が所定の閾値以上でない場合（Ｓ５０：ＮＯ）には、シーン画像中には、認識候補の物体が存在しないことを示しているので、マッチング計算部１１５は、そのまま処理を終了する。

一方、類似度が所定の閾値以上である場合（Ｓ５０：ＹＥＳ）には、シーン画像中に認識候補の物体が存在していることを示しているので、マッチング計算部１１５は、認識候補の物体を示す情報を出力部１３に出力し、出力を受けた出力部１３は、認識結果として、認識候補の物体を示す情報を出力し（Ｓ６０）、処理を終了する。この認識結果の出力はディスプレイに表示させたり、図外のロボットまたは機械を操作するコントローラへ与えたりすることができる。

このように構成される本実施例によれば、シーン画像の領域の鮮明度に応じて、適切な特徴量の検出を行うことができ、適切に物体を認識することができる。したがって、物体認識装置は、シーン画像に照明や影が映り込んでしまっていた場合であっても、物体を適切に認識することができ、物体認識装置を利用する環境によらず、物体の認識精度を向上することができる。

次に、物体認識処理について具体的な例を挙げて説明する。

図６は、鮮明度に応じて異なる特徴量を用いて物体認識を行う処理の説明図である。

シーン画像６１には、図６（ａ）に示すように、照明が映り込んで白色化した映り込み領域６２が存在するものとする。このようなシーン画像６１については、鮮明度計算部１１１は、映り込み領域６２における鮮明度を中程度の値と算出し、それ以外の領域における鮮明度は高い値と算出することとなる。

このシーン画像６１に対して鮮明度計算部１１１により鮮明度が算出されると、図６（ｂ）に示すように、シーン画像６１は、高い鮮明度の領域６４と、中間の鮮明度の領域６５とに区分される。この場合には、特徴選択部１１２は、領域６４においては、高鮮明度用特徴量を使用するように選択し、領域６５に対して、中鮮明度用特徴量を使用するように選択する。この結果、特徴取得部１１４は、領域６４については、特徴点についての高鮮明度用特徴量を算出する一方、領域６５については、特徴点についての中鮮明度用特徴量を算出する。このように、特徴取得部１１４は、領域の鮮明度に応じて適切な特徴量を算出することができる。

特徴取得部１１４により、シーン画像６１の特徴量および特徴値が取得されると、マッチング計算部１１５は、図６（ｃ）に示すように、シーン画像６１の映り込み領域６２についての特徴点６７は、基準物体画像７１の中鮮明度用特徴量に基づいて特徴点７４との間でのマッチングを行い、白飛び領域６２以外の領域の特徴点６６は、基準物体画像７１の高鮮明度用特徴量に基づいて特徴点７３との間でのマッチングを行う。これにより、シーン画像と基準物体画像とで、シーン画像の鮮明度の状況に応じて、その鮮明度に適した特徴量に基づいて特徴点同士のマッチングを行うことができ、マッチングによる認識精度を向上することができる。

次に、第２実施例について説明する。なお、本実施例を含む以下の各実施例においては、第１実施例との差異を中心に説明する。

本実施例では、シーン画像は、照明や影が映り込んでいる領域（映り込み領域）はあるが、完全な白飛び領域や、黒つぶれ領域はないものとし、この映り込み領域は、中鮮明度の領域であると検出されるものとして説明する。

特徴量が最も近い特徴点同士を対応付けるマッチングにおいては、誤対応が含まれる可能性があるため、マッチング計算部１５は、第１実施例における処理（Ａ）～（Ｃ）に代えて、以下の処理（Ａ２）～（Ｃ２）を実行することで、マッチングの精度を向上するようにしてもよい。

（Ａ２）シーン画像における高鮮明度の領域から検出された特徴点（高鮮明度シーン特徴点）と、それに対応するモデル画像の特徴点との複数の組の中からランダムに数個の組を選択し、選択した組に基づいて、（１）に示す変換行列を取得する。

（Ｂ２）全てのモデル特徴点について（Ａ２）で得た変換行列により変換して、各モデル特徴点についてのシーン画像における対応位置を特定し、モデル特徴点が高鮮明度シーン特徴点と組になっている場合には、特定した位置と、組になっているシーン特徴点の位置との幾何学的な距離（例えば、２次元距離）を算出し、この距離が所定の閾値以下である場合に、モデル特徴点とシーン特徴点との組が、正しい対応付けがされている組として判定する一方、モデル特徴点が高鮮明度シーン特徴点と組になっていない場合（例えば、中鮮明度のシーン特徴点との組となっている場合）には、モデル特徴点の中鮮明度用特徴量と、シーン画像の特定した位置における中鮮明度用特徴量との差が所定の閾値以下である場合に、この特定した位置をシーン特徴点と認識し、モデル特徴点と認識したシーン特徴点との組が正しい対応付けがされている組として判定する。そして、正しい対応付けがされている組の数をカウントする。

（Ｃ２）（Ａ２）及び（Ｂ２）の処理を繰り返し実行し、正しい対応付けがされている組の数が最多となっている場合に取得されていた変換行列を、最適な変換行列として特定する。そして、正しい対応付けがされている組が最多となっている場合の総数が所定の閾値以上であれば、シーン画像中にモデル画像の物体が存在する（物体あり）と判定し、閾値未満であれば、シーン画像中にモデル画像の物体が存在しない（物体なし）と判定する。

第２実施例によると、物体認識装置は、シーン画像に照明や影が映り込んでしまっていた場合であっても、物体を適切に認識することができ、物体認識装置を利用する環境によらず、物体の認識精度を向上することができる。

次に、第３実施例について説明する。

本実施例では、シーン画像は、照明や影が映り込んでおり、完全な白飛び領域や、黒つぶれ領域（白飛び・黒つぶれ領域）が存在するものし、これら領域は、低鮮明度の領域であると検出されるものとして説明する。この白飛び・黒つぶれ領域においては、ＳＩＦＴ、ＬＢＰ等の特徴量は、取得できない。

このような場合には、マッチング計算部１５は、第１実施例における処理（Ａ）～（Ｃ）に代えて、以下の処理（Ａ３）～（Ｃ３）を実行することで、マッチングの精度を向上するようにしてもよい。

（Ａ３）シーン画像における高鮮明度の領域から検出された特徴点（高鮮明度シーン特徴点）と、それに対応するモデル画像の特徴点との複数の組の中からランダムに数個の組を選択し、選択した組に基づいて、（１）に示す変換行列を取得する。

（Ｂ３）全てのモデル特徴点について（Ａ３）で得た変換行列により変換して、各モデル特徴点についてのシーン画像における対応位置を特定し、モデル特徴点が高鮮明度シーン特徴点と組になっている場合には、特定した位置と、組になっているシーン特徴点の位置との３次元の幾何学的な距離（３次元幾何学距離）を算出し、この３次元幾何学距離が所定の閾値以下である場合に、モデル特徴点とシーン特徴点との組が、正しい対応付けがされている組として判定する一方、特定した位置が白飛び・黒つぶれ領域にある場合には、特定した位置と、シーン画像の点群のうちの特定した位置の最も近い位置にある点（最近傍点）との３次元幾何学距離を特定し、この３次元幾何学距離との差が所定の閾値以下である場合に、この最近傍点をシーン特徴点と認識し、モデル特徴点と認識したシーン特徴点との組が正しい対応付けがされている組として判定する。そして、正しい対応付けがされている組の数をカウントする。

（Ｃ３）（Ａ３）および（Ｂ３）の処理を繰り返し実行し、正しい対応付けがされている組の数が最多となっている場合に取得されていた変換行列を、最適な変換行列として特定する。そして、正しい対応付けがされている組が最多となっている場合の総数が所定の閾値以上であれば、シーン画像中にモデル画像の物体が存在する（物体あり）と判定し、閾値未満であれば、シーン画像中にモデル画像の物体が存在しない（物体なし）と判定する。

第３実施例によると、物体認識装置は、一部の種類の特徴量が取得できないような白飛び・黒つぶれ領域があった場合であっても、その領域における特徴点を特定し、物体を適切に認識することができ、物体認識装置を利用する環境によらず、物体の認識精度を向上することができる。

次に、第４実施例について説明する。

マッチング計算部１５は、第１実施例における処理（Ａ）～（Ｃ）に代えて、以下の処理（Ａ４）～（Ｃ４）を実行することで、マッチングの精度を向上するようにしてもよい。なお、処理（Ａ）～（Ｃ）と、処理（Ａ４）～（Ｃ４）とを状況に応じて切り替えて実行するようにしてもよい。

（Ａ４）シーン画像から検出された特徴点（シーン特徴点）と、それに対応するモデル画像の特徴点との複数の組の中からランダムに数個の組を選択し、選択した組に基づいて、（１）に示す変換行列を取得する。なお、シーン画像からの特徴点については、全体を同一の特徴点抽出方法により検出してもよいし、鮮明度に応じて異なる特徴点抽出方法により、検出してもよい。

（Ｂ４）全てのモデル特徴点について（Ａ４）で得た変換行列により変換して、各モデル特徴点についてのシーン画像における対応位置を特定し、特定した対応位置と、組になっているシーン特徴点の位置との幾何学的な距離を算出し、この距離が所定の閾値以下である場合に、モデル特徴点とシーン特徴点との組が、正しい対応付けがされている組として判定する。そして、正しい対応付けがされている組のシーン特徴点又はその点の付近の鮮明度の和を計算する。

（Ｃ４）（Ａ４）および（Ｂ４）の処理を繰り返し実行し、正しい対応付けがされている組の鮮明度の和が最大となっている場合に取得されていた変換行列を、最適な変換行列として特定する。そして、正しい対応付けがされている組の鮮明度の和の最大値が所定の閾値以上であれば、シーン画像中にモデル画像の物体が存在する（物体あり）と判定し、閾値未満であれば、シーン画像中にモデル画像の物体が存在しない（物体なし）と判定する。

第４実施例によると、鮮明度の高い特徴点について正しい対応付けがされていることを重視して物体の認識を行うことができ、物体の認識精度を向上することができる。

次に、第５実施例について説明する。

マッチング計算部１５は、第１実施例における処理（Ａ）～（Ｃ）に代えて、以下の処理（Ａ５）～（Ｃ５）を実行することで、マッチングの精度を向上するようにしてもよい。なお、処理（Ａ）～（Ｃ）と、処理（Ａ５）～（Ｃ５）とを状況に応じて切り替えて実行するようにしてもよい。

（Ａ５）シーン画像から検出された特徴点（シーン特徴点）と、それに対応するモデル画像の特徴点との複数の組の中から、シーン特徴点又はその付近の鮮明度により重み付けられた選択確率に基づいて、数個の組を選択し、選択した組に基づいて、（１）に示す変換行列を取得する。ここで、シーン特徴点又はその付近の鮮明度により重み付けられた選択確率に基づいて、組を選択するので、より鮮明度の高いシーン特徴点を含む組がより選択されやすくなる。ここで、鮮明度の高いシーン特徴点を含む組のみが選択されないで、他の鮮明度のシーン特徴点を含む組も選択される可能性があるようにしているのは、全体的に鮮明度の低いシーン画像であっても、支障なく処理が実行されるようにするためである。

（Ｂ５）全てのモデル特徴点について（Ａ５）で得た変換行列により変換して、各モデル特徴点についてのシーン画像における対応位置を特定し、特定した対応位置と、組になっているシーン特徴点の位置との幾何学的な距離を算出し、この距離が所定の閾値以下である場合に、モデル特徴点とシーン特徴点との組が、正しい対応付けがされている組として判定する。そして、正しい対応付けがされている組の数をカウントする。

（Ｃ５）（Ａ５）および（Ｂ５）の処理を繰り返し実行し、正しい対応付けがされている組の数が最多となっている場合に取得されていた変換行列を、最適な変換行列として特定する。そして、正しい対応付けがされている組が最多となっている場合の総数が所定の閾値以上であれば、シーン画像中にモデル画像の物体が存在する（物体あり）と判定し、閾値未満であれば、シーン画像中にモデル画像の物体が存在しない（物体なし）と判定する。

第５実施例によると、鮮明度の高い特徴点について正しい対応付けがされていることを重視して特徴点の対応付けが行われることとなるので、物体の認識精度を向上することができる。

なお、本発明は上記実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

例えば、上記各実施例では、シーン画像を、各単位領域の鮮明度により、高鮮明度、中鮮明度、低鮮明度の３つのいずれかに分けるようにしていたが、本発明はこれに限られず、高鮮明度と、低鮮明度の２つに分けるようにしてもよく、鮮明度により４つ以上に分けるようにしてもよい。

また、上記第１実施例では、各単位領域の鮮明度により、選択する特徴量を替えるようにしていたが、本発明はこれに限られず、例えば、各単位領域の鮮明度により、特徴点抽出方法を切り替える場合には、抽出された各特徴点に対する特徴量を同一の種類の特徴量としてもよい。この場合においては、各鮮明度に応じて、適切に特徴点を検出することができ、これにより、特徴点のマッチングを高精度に行うことができる。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉvｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組み合わせることができる。

１：物体認識装置、２：カメラ、３：容器、１０：自動仕分け機、１１：計算部、１２：画像取得部、１３：出力部、１１１：鮮明度計算部、１１２：特徴選択部、１１３：データ保持部、１１４：特徴取得部、１１５：マッチング計算部

Claims (11)

1. 物体を認識するための物体認識装置であって、
   認識候補の物体の基準画像と、前記基準画像における各特徴点と、各特徴点の特徴量とを記憶する記憶部と、
   認識処理対象の画像であるシーン画像を取得する画像取得部と、
   前記画像取得部が取得した前記シーン画像の各領域における、鮮明の度合いを示す鮮明度を検出する鮮明度計算部と、
   前記シーン画像における特徴点を検出し、前記特徴点のマッチングを行うマッチング計算部と、を備え、
   前記マッチング計算部は、前記鮮明度が第１範囲となる前記シーン画像の第１領域と、前記鮮明度が前記第１範囲よりも低い第２範囲となる前記シーン画像の第２領域と、における特徴点の抽出方法、または、前記第１領域と前記第２領域とにおける特徴量の検出方法の少なくとも一方を異なる方法により実行する
   物体認識装置。
2. 前記記憶部は、前記基準画像の各特徴点について、表現能力が高い第１特徴量と、頑健度合いが高い第２特徴量とを記憶し、
   前記マッチング計算部は、
   前記シーン画像の前記第１領域については、前記第１特徴量を用いて特徴点のマッチングを行い、前記第２領域については、前記第２特徴量を用いて特徴点のマッチングを行う
   請求項１に記載の物体認識装置。
3. 前記第１特徴量は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量であり、
   前記第２特徴量は、局所バイナリパターンである
   請求項２に記載の物体認識装置。
4. 前記記憶部は、前記基準画像の各領域について、画像の３次元位置情報を示す第３特徴量をさらに記憶し、
   前記マッチング計算部は、
   鮮明度が前記第２範囲よりも低い第３範囲となる前記シーン画像の第３領域については、前記第３特徴量を用いて、前記基準画像の特徴点とのマッチングを行う
   請求項２又は請求項３のいずれか一項に記載の物体認識装置。
5. 前記鮮明度は、
   所定の単位領域を構成する画素での輝度勾配の大きさ又はヘッセ行列の最大固有値、
   前記単位領域内の輝度分布又は標準偏差、
   前記単位領域を２次元フーリエ変換して得られる空間周波数分布、又は、
   前記単位領域内で、所定の特徴点検出手法により検出された特徴点の数の少なくともいずれか１つに基づく値である
   請求項１から請求項４のいずれか一項に記載の物体認識装置。
6. 前記マッチング計算部は、
   前記シーン画像の前記第１領域内の特徴点については、前記基準画像に対してＳＩＦＴを用いた第１の特徴点抽出方法により特徴点を検出し、
   前記シーン画像の前記２領域内の特徴点については、前記第１の特徴点抽出方法と異なる第２の特徴点抽出方法により特徴点を抽出する
   請求項１から請求項５のいずれか一項に記載の物体認識装置。
7. 前記マッチング計算部は、
   （Ａ２）前記シーン画像の前記第１領域における特徴点と、それに対応する候補となる前記基準画像の特徴点との複数の組の中から任意に選択された一部の組に基づいて、基準画像の特徴点の位置と前記シーン画像の特徴点の位置との関係を示す候補変換行列を計算し、
   （Ｂ２）前記候補変換行列に基づいて、前記基準画像の特徴点の位置に対応するシーン画像の位置である対応位置を特定し、前記対応位置が前記シーン画像の前記第１領域に属する位置である場合には、前記対応位置と、前記基準画像の特徴点と組になっている前記シーン画像の特徴点の位置との幾何的距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、前記対応位置が前記シーン画像の前記第２領域に属する位置である場合には、前記基準画像の前記特徴点における前記第２特徴量と、前記対応位置における前記第２特徴量との差が所定の閾値以下である場合に、前記対応位置を前記シーン画像の特徴点と認識し、これら特徴点の組の対応付けが正しく行われていると判定し、対応付けが正しく行われている特徴点の組の数を計測し、
   （Ｃ２）（Ａ２）および（Ｂ２）の処理を繰り返し実行し、対応付けが正しく行われている特徴点の組の総数が最多となる候補変換行列を、前記基準画像と前記シーン画像における変換行列であると決定する
   請求項２に記載の物体認識装置。
8. 前記マッチング計算部は、
   （Ａ３）前記シーン画像の前記第１領域における特徴点と、それに対応する候補となる前記基準画像の特徴点との複数の組の中から任意に選択された一部の組に基づいて、基準画像の特徴点の位置と前記シーン画像の特徴点の位置との関係を示す候補変換行列を計算し、
   （Ｂ３）前記候補変換行列に基づいて、前記基準画像の特徴点の位置に対応するシーン画像の位置である対応位置を特定し、前記対応位置が前記シーン画像の前記第１領域に属する位置である場合には、前記対応位置と、前記基準画像の特徴点と組になっている前記シーン画像の特徴点の位置との３次元の幾何的な距離である３次元幾何学距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、前記対応位置が前記シーン画像の前記第２領域に属する位置である場合には、前記対応位置と、前記シーン画像の点群のうちの前記位置に最も近い点である最近傍点との３次元幾何学距離が所定の閾値以下である場合に、この最近傍点を前記シーン画像の特徴点と認識し、これら特徴点の組の対応付けが正しく行われていると判定し、対応付けが正しく行われている特徴点の組の数を計測し、
   （Ｃ３）（Ａ３）および（Ｂ３）の処理を繰り返し実行し、対応付けが正しく行われている特徴点の組の総数が最多となる候補変換行列を、前記基準画像と前記シーン画像における変換行列であると決定する
   請求項２に記載の物体認識装置。
9. 前記マッチング計算部は、
   （Ａ４）前記シーン画像の前記第１領域における特徴点と、それに対応する候補となる前記基準画像の特徴点との複数の組の中から任意に選択された一部の組に基づいて、基準画像の特徴点の位置と前記シーン画像の特徴点の位置との関係を示す候補変換行列を計算し、
   （Ｂ４）前記候補変換行列に基づいて、前記基準画像の特徴点の位置に対応するシーン画像の位置である対応位置を特定し、前記対応位置が前記シーン画像の前記第１領域に属する位置である場合には、前記対応位置と、前記基準画像と組になっている前記シーン画像の特徴点の位置との３次元の幾何的な距離である３次元幾何学距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、前記対応位置が前記シーン画像の前記第２領域に属する位置である場合には、前記対応位置と、前記基準画像と組になっている前記シーン画像の特徴点の位置との３次元の幾何的な距離である３次元幾何学距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、対応付けが正しく行われている特徴点の組のシーン画像の特徴点又はその点の付近の鮮明度の和を計測し、
   （Ｃ４）（Ａ４）および（Ｂ４）の処理を繰り返し実行し、対応付けが正しく行われている特徴点の組のシーン画像の特徴点又はその点の付近の鮮明度の和が最大となる候補変換行列を、前記基準画像と前記シーン画像における変換行列であると決定する
   請求項２に記載の物体認識装置。
10. 前記マッチング計算部は、
    （Ａ５）前記シーン画像の前記第１領域における特徴点と、それに対応する候補となる前記基準画像の特徴点との複数の組の中からシーン特徴点又はその付近の鮮明度により重み付けられた選択確率に基づいて選択された一部の組に基づいて、基準画像の特徴点の位置と前記シーン画像の特徴点の位置との関係を示す候補変換行列を計算し、
    （Ｂ５）前記候補変換行列に基づいて、前記基準画像の特徴点の位置に対応するシーン画像の位置である対応位置を特定し、前記対応位置が前記シーン画像の前記第１領域に属する位置である場合には、前記対応位置と、前記基準画像の特徴点と組になっている前記シーン画像の特徴点の位置との３次元の幾何的な距離である３次元幾何学距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、前記対応位置が前記シーン画像の前記第２領域に属する位置である場合には、前記対応位置と、前記基準画像の特徴点と組になっている前記シーン画像の特徴点の位置との３次元の幾何的な距離である３次元幾何学距離が所定の閾値以下である場合に、これら特徴点の組の対応づけが正しく行われていると判定し、対応付けが正しく行われている特徴点の組の数を計測し、
    （Ｃ５）（Ａ５）および（Ｂ５）の処理を繰り返し実行し、対応付けが正しく行われている特徴点の組の総数が最多となる候補変換行列を、前記基準画像と前記シーン画像における変換行列であると決定する
    請求項２に記載の物体認識装置。
11. 物体を認識するための物体認識装置による物体認識方法であって、
    認識候補の物体の基準画像と、前記基準画像における各特徴点と、前記各特徴点の特徴量とを記憶部に記憶し、
    認識処理対象の画像であるシーン画像を取得し、
    取得した前記シーン画像の各領域における、鮮明の度合いを示す鮮明度を検出し、
    前記シーン画像における特徴点を検出し、前記特徴点のマッチングを行い、
    前記特徴点の検出および特徴点のマッチングにおいて、前記鮮明度が第１範囲となる前記シーン画像の第１領域と、前記鮮明度が前記第１範囲よりも低い第２範囲となる前記シーン画像の第２領域と、における特徴点の抽出方法、または、前記第１領域と前記第２領域とにおける特徴量の検出方法の少なくとも一方を異なる方法により実行する物体認識方法。
    

Images