JP7207862B2 - 物体認識装置および方法 - Google Patents

Description

本発明は、物体認識装置および方法に関する。

製造分野および物流分野では、物体のピッキング作業および組立作業の自動化が望まれている。これらの作業を自動化するためにロボットが用いられる。ロボットを用いて作業対象物体を扱う場合、作業対象物体の位置および姿勢を計測する手段が必要となる。そのために視覚センサが用いられる。

複数種類の物体を扱う作業をロボットに行わせるためには、視覚センサにより計測された物体の種別を認識する必要がある。特に、製造分野および物流分野では、多種多様な物体を扱っており、互いに類似した物体が同時に複数存在する場合がある。

類似する物体を含む認識候補の組から対象物体の種別を認識するために、類似する物体の間の差異に着目した研究が行われている。ここで、認識候補とは、物体認識装置の出力である認識結果となり得る物体である。

非特許文献１では、認識したい物体とその物体に類似する物体とから、それらの識別に強く寄与するテンプレート中の画素群を予め探索しておく。そして、非特許文献１では、物体の認識時に、事前の探索結果から得られる画素群において、対象物体と認識したい物体の間でマッチングする手法を提案する。

特許文献１では、各認識候補を特定の特徴ベクトルで表現する。特許文献１では、特徴ベクトル空間で近接する特徴ベクトル群に基づいて、対象物体の特徴ベクトルをそこに直行射影したときに局所的な散在性が最も大きくなるような部分空間を見つける手法を提案している。

なお、画像特徴パターンの抽出方法としては、非特許文献２が知られている。特徴点の抽出方法としては、非特許文献３が知られている。特徴量を算出する方法としては、非特許文献４が知られている。

特許第３８１４１４８１号明細書

櫻本康憲、橋本学、"対象物と類似物の識別に有効な画素群を用いたテンプレートマッチング"、精密工学会誌、8１巻7号、平成27年 Canny, John. "A computational approach to edge detection." IEEE Transactions on pattern analysis and machine intelligence 6 (1986): 679-698. Rosten, Edward, and Tom Drummond. "Machine learning for high-speed corner detection." Computer Vision ECCV 2006 (2006): 430-443. Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

非特許文献１では、選択された画素群の濃度値が、撮像画像とあらかじめ取得した対象物体の画像との間で大きく異なる場合がある。この場合、非特許文献１では、物体の識別が困難となり得る。撮影画像と対象物体の画像との間における画素群の濃度値の差異は、例えば、物体の汚れ、オクルージョン、センサのノイズにより発生する。オクルージョンとは、手前にある物体が背後にある物体を隠して見えないようにする状態を指す。さらに、非特許文献１では、対象とする物体ごとに、類似物体との識別に必要となる部分画像領域を探索する必要がある。

特許文献１では、類似する物体のそれぞれから得られる特徴量が異なることを前提としている。しかし、工業用部品のように、特徴の少ない物体、例えば模様の無い単色の物体では、類似する物体のそれぞれから抽出される特徴量がほぼ同一となる場合が多い。この場合、特許文献１では、物体の識別が困難となり得る。

本発明は、以上の問題を鑑みてなされたものであり、物体を正確に認識することができるようにした技術を提供することを目的とする。

上記課題を解決すべく、本発明の一つの観点に従う物体認識装置は、入力される物体である入力物体の画像を取得する画像取得部と、取得した入力物体の画像の認識候補となる複数の基準物体を選択することにより認識候補の組を生成する認識候補選択部と、認識候補の組に含まれる各基準物体について、入力物体の画像との類似度を計算する類似度計算部と、認識候補の組に含まれる基準物体の数が所定数になるまで、類似度計算部により計算される類似度に基づいて、認識候補の組に含まれる基準物体の中から所定の類似度の基準物体を取り除く識別部と、を備え、認識候補選択部は、識別部により所定の類似度の基準物体が取り除かれると認識候補の組を更新し、類似度計算部は、認識候補の組が更新されると、更新された認識候補の組に含まれる各基準物体について、入力物体の画像との類似度を再計算する。

本発明によれば、所定の類似度の基準物体を認識候補の組から取り除きながら類似度を再計算するため、認識候補の組に含まれる基準物体を段階的に絞り込むことができ、入力画像に類似する基準物体を抽出することができる。

物体認識装置の機能構成を示すブロック図である。 物体認識装置の適用例を示す説明図である。 物体認識装置のハードウェア構成を示すブロック図である。 教示物体を物体認識装置へ登録する処理を示すフローチャートである。 物体認識処理を示すフローチャートである。 重み計算処理を示すフローチャートである。 類似度の低い教示物体を除外しながら入力画像に最も似ている教示物体を判定する様子を示す説明図である。 第２実施例に係り、重み計算処理を示すフローチャートである。 特徴点を抽出する様子を示す説明図である。 第３実施例に係り、重み計算処理を示すフローチャートである。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、入力画像があらかじめ登録された複数の教示物体のうちのいずれに該当するかを判定するために、認識候補となる教示物体を段階的に減らしていきながら、各教示物体と入力画像との類似度を再計算する。例えば、類似度の低い教示物体から順番に認識候補の組から除外することにより、明らかに似ていない教示物体を外して判定することができる。これにより、認識候補の組を更新しながら、残った各教示物体間の特徴の差を強調することができる。したがって、各教示物体間における画像上の特徴の差が少ない場合でも、入力画像がどの教示物体に該当するか正確に判定することができる。

本実施形態に係る物体認識装置の一例は、画像中の局所的特徴を表す画像特徴要素と複数の画像特徴要素の組によって構成される画像特徴パターンとに対して、入力画像から得られる画像特徴パターンとあらかじめ与えられた特定の複数の基準物体に対応する基準物体画像から得られる画像特徴パターンとの類似度をそれぞれ算出する。そして、本実施形態に係る物体認識装置は、基準物体ごとの類似度を比較して、入力画像に対応する基準物体を認識する。

本実施形態に係る物体認識装置は、上述のように、認識候補の組に含まれる基準物体を段階的に絞り込んで更新することにより、その組に残った基準物体間の相違を更新前よりも強調することができる。したがって、本実施形態に係る物体認識装置は、似たような形状、色彩の物体を取り扱う産業（製造業、輸送業など）においても、正確に物体を識別することができる。

このような本実施形態に係る物体認識装置は、例えば、入力画像を取得する画像入力部と、認識結果の候補となる物体（基準物体）である認識候補を複数選択する認識候補選択部と、認識候補の組に基づき入力画像の画像特徴パターン内の画像特徴要素それぞれの重みを算出し、入力画像の画像特徴パターンと重みおよび認識候補の画像特徴パターンから類似度を計算する類似度計算部と、類似度計算部によって算出された認識候補それぞれの類似度に基づいて、認識候補から少なくとも１つを選択する識別部と、を有し、識別部において選択された認識候補が複数存在する場合は、選択された認識候補をもとに、重みおよび類似度を再度計算する装置、と表現することもできる。

本実施形態に係る物体認識装置によれば、例えば、入力画像に最も似ていない認識候補（基準物体）を除外して新たな認識候補の組を作成し、この新たに作成された認識候補の組に基づいて重みおよび類似度を再計算する。したがって、本実施形態に係る物体認識装置は、各段階での認識候補の認識に有用な画像特徴要素を抽出することができるため、物体の汚れ、ノイズあるいはオクルージョンが存在する状況下であっても入力画像（被写体物体）を認識することができる。

図１～図７を用いて第１実施例を説明する。図１は、物体認識装置１の機能構成の一例を示す。物体認識装置１は、例えば、後述の計算処理を行う計算部１１と、物体の画像データを取得する画像取得部１２と、認識結果を出力する出力部１３とを備える。

計算部１１は、例えば、データ保持部１１１、認識候補選択部１１２、類似度計算部１１３、識別部１１４を備える。

データ保持部１１１は、あらかじめ取得される複数種類の物体に関するデータ（基準物体画像に関するデータ）を記憶デバイス１０１（図３参照）に保持する機能である。基準物体を教示物体と呼ぶこともできる。認識候補となる基準物体の画像は、物体認識装置１にあらかじめ登録されるためである。

認識候補選択部１１２は、データ保持部１１１にデータが保持されている物体群の中から、複数の認識候補を選択する機能である。類似度計算部１１３は、画像取得部１２で取得された入力画像の画像特徴パターンと各認識候補の画像特徴パターンとから類似度を計算する機能である。識別部１１４は、各認識候補から得られた類似度から少なくとも１つの認識候補を選択する機能である。

ここで、図１の下側に示す認識候補の組３２Ｇとは、あらかじめ記憶された基準物体の画像３２のうち、画像の入力された物体（対象物体）に対応する（一致する）可能性があるとして選択された基準物体の画像３２からなるグループである。入力画像３１とは、判定対象の物体である。物体としては、例えば、各種製造業で扱われる部品、物流産業で扱われる商品などがある。

類似度計算部１１３は、重み計算部１１３１と、重み付き類似度計算部１１３２とを備える。重み計算部１１３１は、認識候補の組に基づいて、入力画像の画像特徴要素の重みをそれぞれ計算する機能である。重み付き類似度計算部１１３２は、重み計算部１１３１で算出された重みと入力画像の画像特徴パターン、および認識候補の画像特徴パターンとから、各認識候補の類似度を求める機能である。

図１の下側には、識別方法の一例が部分的に示されている。詳細な識別方法の例については、図５～図７で後述する。ここでは、識別方法の概略を簡単に述べる。判定対象の物体の画像３１は、図２で述べるカメラ２により撮像される。判定対象の物体の画像３１の全体を常時きれいに撮影できる保証はなく、油などの汚れが物体３１の表面に付着していたり、物体３１の一部が他の物体の陰に隠れてしまう場合もある。本実施例では、このような不安定な環境下において、色彩や模様に変化が少なく区別のしにくい物体を正確に判別する方法を提供する。

判定対象の物体の画像３１を入力画像３１とも呼ぶ。物体認識装置１の認識候補選択部１１２は、データ保持部１１１にあらかじめ記憶されている複数の基準物体の画像３２の中から、認識候補となり得る基準物体の画像３２（１）～３２（３）を選択する。これら選択された基準物体の画像３２（１）～３２（３）により、認識候補の組３２Ｇが形成される。認識候補として最初に選択される基準物体の画像数は複数である。なお、以下では、基準物体と基準物体の画像とを特に区別しない場合、両者に符号３２を与えて説明する場合がある。

物体認識装置１の類似度計算部１１３は、認識候補の組３２Ｇに含まれる各基準物体の画像３２（１）～３２（３）が入力画像３１に対してどれほど似ているかを示す類似度を計算する。類似度が最初に計算されたときの認識候補の組に符号３２Ｇ（１）を与え、２回目に類似度が計算されたときの認識候補の組に符号３２Ｇ（２）を与える。

物体認識装置１の識別部１１４は、一回目の計算で得られた類似度に基づいて、認識候補の組３２Ｇ（１）の中から最も類似度の低い基準物体の画像を一つ選択する。ここでは、基準物体の画像３２（３）の類似度が他の基準物体の画像３２（１），３２（２）の類似度よりも低いものとする。類似度が高いほど入力画像と基準物体の画像とは似ており、類似度が低いほど両者は似ていないものとする。

後述のように、類似度計算部１１３では、各基準物体の画像を比較して得られる特徴的な部分について、入力画像との類似度を計算する。すなわち、類似度計算部１１３は、他の物体の画像とは異なる特徴的な箇所の集合体である画像特徴パターンに基づいて、入力画像と基準物体の画像とを比較し、最も似ていない基準物体の画像を認識候補の組３２Ｇから取り除く。

識別部１１４により基準物体の画像３２（３）が認識候補の組３２Ｇから取り除かれると、類似度計算部１１３は、認識候補の組３２Ｇに残された基準物体の画像３１（１），３１（２）と入力画像３１との類似度を再計算する。

２回目の計算では、認識候補の組３２Ｇに基準物体の画像３２（１），３２（２）の２つだけが含まれているため、２回目の計算対象となる画像特徴パターンは、１回目の計算対象となる画像特徴パターンとは異なる。１回目の計算では、３個の基準物体の画像３２（１）～３２（３）を比較した場合の特徴的な部分に基づいて類似度を計算した。これに対し、２回目の計算では、２個の基準物体の画像３２（１），３２（２）を比較した場合の特徴的な部分に基づいて類似度を計算する。認識候補の組３２Ｇを構成する画像が異なれば、類似度計算の基礎となる特徴的な箇所も変化する。したがって、多数の基準物体の画像の中では埋もれてしまっていた特徴が、認識候補の組３２Ｇに含まれる基準物体の画像が変化するにしたがって（更新されるにしたがって）次第に強調されていき、入力画像との類似を判断する際の重要な特徴となる。

図１では省略するが、図７で後述するように、識別部１１４は、最終的に、基準物体の画像３２（１），３２（２）のうち、最も入力画像との類似度が高い基準物体画像３２（１）を選択する。選択された結果は、出力部１３から出力される。

図２は、物体認識装置１を自動仕分け機１０に適用した場合の外観例を示す。認識対象（識別対象）の物体３１は、パレットなどの容器３に収容されて運搬される。容器３の上方には、カメラ２がアーム２０により取り付けられている。カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）カメラまたはＣＭＯＳカメラなどの撮像素子を有する撮像装置である。カメラ２で撮影された画像データは、物体認識装置１へ送られる。物体認識装置１の画像取得部１２は、カメラ２からの画像データを取得し、計算部１１へ送る。

物体認識装置１は、パーソナルコンピュータを用いて実現することができる。図３で後述するように、汎用のコンピュータに所定のコンピュータプログラムを記憶させることにより、物体認識装置１を実現することができる。これに代えて、物体認識装置１を専用装置として構成してもよい。

物体認識装置１の認識結果は、例えば、図示せぬロボット制御装置へ送られ、ロボット等により取り出されて所定の場所に載置される。

図３は、物体認識装置１のハードウェア構成例を示す。物体認識装置１は、例えば、プロセッサ１００と、記憶デバイス１０１と、入力デバイス１０２と、出力デバイス１０３と、通信インターフェース（通信ＩＦ１０４）と、を有する。プロセッサ１００、記憶デバイス１０１、入力デバイス１０２、出力デバイス１０３、および通信ＩＦ１０４は、バス１０５により接続される。図３では、物体認識装置１の計算部１１を中心に示しているが、図３に示す構成に対してさらに、画像取得部１２および出力部１３を実現するための入出力インターフェース（不図示）を備えることもできる。

プロセッサ１００は、計算部１１を制御する。プロセッサ１００は、記憶デバイス１０１に記憶されている物体認識処理プログラムＰ１を実行することにより、図１で述べた各機能を実現する。

記憶デバイス１０１は、プロセッサ１００の作業エリアとなる。記憶デバイス１０１は、コンピュータプログラムＰ１および画像データ等を記憶する。記憶デバイス１０１は、データ保持部１１１を実現する。通信ＩＦ１０４を介して取得されたデータは、記憶デバイス１０１に一時的に記憶される。記憶デバイス１０１としては、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等がある。

入力デバイス１０２は、データを入力するための装置である。入力デバイス１０２としては、例えば、キーボード、マウス、タッチパネル、テンキー、スキャナ、音声認識装置等がある。出力デバイス１０３は、データを出力する装置である。出力デバイス１０３としては、例えば、ディスプレイ、プリンタ、音声合成装置等がある。

図４は、基準物体を物体認識装置１へ登録する処理（教示処理）を示すフローチャートである。例えば、オペレータは、カメラ２の視野内に登録対象の基準物体を載置し、その基準物体をカメラ２により撮影させる。カメラ２により撮影された画像は、画像取得部１２により取得され、データ保持部１１１へ記憶される（Ｓ１）。

物体認識装置１は、類似度計算部１１３を用いて、基準物体の画像３２から画像特徴パターンを抽出し（Ｓ２）、抽出された画像特徴パターンと基準物体の属性情報とを対応付けてデータ保持部１１１へ保存する（Ｓ３）。基準物体の属性情報としては、例えば、基準物体の品種番号、製造番号、製造元等がある。

物体認識装置１は、基準物体の登録処理を完了したか判定する（Ｓ４）。例えば、オペレータが入力デバイス１０２から登録作業の完了を指示すると、物体認識装置１は、基準物体の登録処理が完了したものと判断し、本処理を終了する（Ｓ４：ＹＥＳ）。

このように、本実施例では、データ保持部１１１に、あらかじめ、認識候補となる基準物体を撮像した画像３２から得られる画像特徴パターンとその基準物体の属性情報とを対応付けて保持しておく。

なお、例えば、基準物体の位置（姿勢）を変えたり、光の当て方を変えたりして、一つの基準物体から複数の画像３２を取得し、それぞれの画像３２から画像特徴パターンを抽出してもよい。この場合は、属性情報として、基準物体の撮影時の位置（姿勢）を示す情報と光の当て方を示す情報とを画像特徴パターンに対応付けて記憶させてもよい。

画像特徴パターンとしては、例えば、画像そのものを用いることもできる。この場合、画像特徴要素は画像中の各画素に対応する。あるいは、非特許文献２に詳述されている、Ｃａｎｎｙエッジ検出のようなエッジ検出により得たエッジを利用してもよい。この場合、画像特徴要素は検出された各エッジとなる。

図５は、物体認識処理を示すフローチャートである。ステップＳ１０では、重み計算部１１３１において、重み計算処理を実行する。重み計算処理の詳細は図６に示す。

重み計算処理では、認識候補選択部１１２で選択された認識候補の組となる基準物体の画像３２から得られる画像特徴パターンと、画像取得部１２で取得した入力画像３１から得られる画像特徴パターンとに基づいて、入力画像３１の画像特徴パターン中の各画像特徴要素ｔｉ（ｉ=１，・・・，Ｎｔ）に対する重みＷｉを求める。ここで、Ｎｔは、入力画像３１が持つ画像特徴要素の総数である。例えば、局所領域ｔｉとして座標（ｘ， ｙ）に位置する画素ｔｉ（ｘ， ｙ）を選択し、画像中の全画素に対応する重みＷｉ（ｘ， ｙ）を求めればよい。

図６は、重み計算部１１３１による重みの計算例を示すフローチャートである。先ず、重み計算部１１３１は、認識候補選択部１１２で選択された認識候補の組の中から候補となる基準物体画像３２を１つ選択し、それに対応する、種別、姿勢、画像特徴パターンなどのデータをデータ保持部１１１から取得する（Ｓ１０１）。

最初の認識候補として選択される基準物体は、データ保持部１１１に保持されている全ての基準物体としてもよい。または、画像取得部１２で取得される入力画像３１の種類が限られている場合、データ保持部１１１に保持されている基準物体のうちの一部の基準物体を最初の認識候補の組として選択してもよい。

ステップＳ１０２では、重み計算部１１３１は、画像取得部１２によって取得された入力画像３１に含まれる各画像特徴要素ｔｉに対して、以下の処理Ｓ１０３，Ｓ１０４を実行する。

先ず、ステップＳ１０３において、重み計算部１１３１は、選択された画像特徴要素ｔｉの特徴と、ステップＳ１０１で選択された候補ｍにおける各画像特徴要素ｍｊ（ｊ=１，・・・，Ｎｍ）との差ｄ（ｍ，ｉ，ｊ）を求める。Ｎｍは、選択した候補ｍに含まれる画像特徴要素の総数である。画像特徴要素として画素を使用した場合、Ｎｍは全画素数となる。例えば、画像がグレースケールで与えられる場合、下記数１によって差ｄ（ｍ，ｉ，ｊ）を算出すればよい。

（ｘｉ， ｙｉ）は、ｔｉの座標である。（ｘｊ， ｙｊ）は、ｍｊの座標である。Ｉｔ（ｘｉ， ｙｉ）、Ｉｍ（ｘｊ，ｙｊ）は、それぞれｔｉ、ｍｊの濃度値である。δは、ピクセルのずれの許容範囲である。画素の値がＲＧＢ色空間（ｒ，ｇ，ｂ）で表される場合は、ｒ、ｇ、ｂそれぞれの誤差の絶対値の和を使用してもよい。

続けて重み計算部１１３１は、算出された画像特徴要素の差ｄ（ｍ，ｉ，ｊ）とあらかじめ設定された閾値εとを比較し、ｄ（ｍ，ｉ，ｊ） （ｊ=１，・・・，Ｎｍ）のうち少なくとも一つは閾値内にあるかを調べる（Ｓ１０３）。

画像特徴要素の差の少なくとも一つが閾値以内であった場合は（Ｓ１０３：ＹＥＳ）、重み計算部１１３１は、画像特徴要素ｔｉと類似する画像特徴要素を持つ候補の数を表すｎ（ｉ）に１を加算する（Ｓ１０４）。なお、後述する重みの再計算のために、各認識候補ｍでのｎ（ｉ）への加算の有無に関する情報を保持してもよい。

全認識候補に対してステップＳ１０１からステップＳ１０４までの処理が終わると、続いて重みの計算を行う（Ｓ１０５）。各画像特徴要素ｔｉに対応する重みＷｉは、例えば下記数２により算出される。

これにより、特定の画像特徴要素と類似する画像特徴要素を持つ認識候補の数が多ければ多いほど、その画像特徴要素に対応する重みが小さくなり、後述する重みづき類似度に与える影響が小さくなる。

図５に戻る。ステップＳ２０では、各認識候補の重みづけ類似度Ｓ（ｔ，ｍ）を計算する。重みづけ類似度は、例えば、下記数３によって算出される。

ここで、Ｉ（ｃｏｎｄ）は、指示関数である。条件ｃｏｎｄが成立すれば１を、そうでないときには０を返す。

ステップＳ３０では、識別部１１４によって、例えば、類似度計算部１１３によって算出された各認識候補の類似度から、類似度の最も低い認識候補を組３２Ｇから除外し、残った認識候補を新たな認識候補として選択する。除外方法として、例えば、最も類似度の低い候補（基準物体）を１つ除外してもよいし、あるいは、ある閾値以下の類似度を持つ認識候補をすべて除外してもよい。

ステップＳ４０では、識別部１１４において、ステップＳ３０で選択された認識候補の数を調べる。選択された認識候補の数が２つ以上存在するときは（Ｓ４０：ＮＯ）、再度ステップＳ１０へ戻って、選択された認識候補のもとで、重みと重みづけ類似度とを再計算する。

これにより、入力画像３１とは明らかに異なる基準物体を認識候補の対象から除外することができる。したがって、類似する認識候補の間で異なっている画像特徴要素をより明確にし、物体の汚れやノイズ、オクルージョンが生じてもよりロバストに認識を行うことができる。

図７は、ステップＳ１０～Ｓ４０で行う認識候補の繰り返し選択処理の例を示す説明図である。図７に示すように、各認識候補３２（１）～３２（３）と画像取得部１２によって対象物を撮像した画像３１（入力画像３１）とは、物体の汚れＳＴやノイズ、オクルージョン３１０による影響を受ける。このため、類似度も、汚れＳＴ、ノイズ、オクルージョン３１０の影響を受ける。

したがって、認識候補とする基準物体（基準物体の画像）の組み合わせによっては、汚れやオクルージョン等の影響によって、誤った認識候補の重み付き類似度が最も高くなってしまい、誤った認識結果を出力してしまうおそれがある。

これに対し、本実施例に係る物体認識装置１では、明らかに異なる認識候補を除外しながら重み付き類似度を再計算するため、除外されずに残った認識候補の認識に有用である画像特徴要素を再度見つけなおすことが可能となる。

例えば、図７の（２）に示すように、識別２巡目では、認識候補である基準物体の画像３２（３）を除外したことで、残された認識候補である画像３２（１）と画像３２（２）との間で異なっている領域がより明確となる。このため、重み付き類似度が、物体の汚れやノイズ・オクルージョンに影響されにくくなる。汚れやオクルージョン等による影響に左右されにくくなる作用は、認識候補となる基準物体の画像の数が多いほど、より顕著となる。

図７をより詳しく説明する。図７の入力画像３１は、例えば３つの突起と切り欠き部ＣＴを有する。入力画像３１には、油や塵埃等の汚れＳＴも含まれている。さらに、入力画像３１の一部は他の物体により隠されてしまっている（オクルージョン３１０）。

最初に選択される認識候補の組３２Ｇには、３つの基準物体の画像３２（１）～３２（３）が含まれているものとする。基準物体画像３２（１），３２（３）は、切り欠き部ＣＴを有する。基準物体画像３２（２）は、汚れＳＴを含む。

図７の（１）に示す識別１巡目では、他の画像と最も異なる特徴要素３２１について、入力画像３１との類似度が判定される。画像３２（１）の特徴要素３２１（１）は、オクルージョン３１０のために、入力画像３１では発見できない。したがって、この特徴要素３２１（１）は入力画像３１とは似ていないと判定される。図７では、入力画像に似ていると判定される特徴要素に丸印を対応付け、似ていないと判定される特徴要素にバツ印を対応付けている。

画像３２（２）は、２つの特徴要素３２１（２ａ），３２１（２ｂ）を有する。特徴要素３２１（２ａ）は、図７の上側に延びる突起である。この特徴要素３２１（２ａ）は、入力画像３１には存在しないため、入力画像３１に似ていないと判定される。特徴要素３２１（２ｂ）は、汚れＳＴである。入力画像３１も同じような場所に汚れＳＴを持つため、特徴要素３２１（２ｂ）は入力画像３１に似ていると判定される。

画像３２（３）は、突起を備えていない滑らかな曲線部分が特徴要素３２１（３ａ），３２１（３ｂ）として抽出される。他の画像３２（１），３２（２）は、いずれも突起を有するためである。しかし、入力画像３１は２つの突起を有するため、特徴要素３２１（３ａ），３２１（３ｂ）は入力画像３１とは似ていないと判定される。

識別１巡目の結果、画像３２（１）では、１つの特徴要素３２１（１）について似ていないと判定される。画像３２（２）では、１つの特徴要素３２１（２ａ）については似ていないと判定されるが、他の１つの特徴要素３２１（２ｂ）については似ていると判定される。画像３２（３）では、２つの特徴要素３２１（３ａ），３２１（３ｂ）の両方について似ていないと判定される。この結果、最も似ていないとされた画像３２（３）は、認識候補の組３２Ｇから取り除かれる。

認識２巡目では、残された画像３２（１）と画像３２（２）とを対比することにより、両者の最も異なる点を特徴要素３２２として抽出する。

画像３２（１）は、滑らかな曲線部分の特徴要素３２２（１ａ）と、切り欠き部の特徴要素３２２（１ｂ）と、突起の特徴要素３２２（１ｃ）を有する。これら３つの特徴要素３２２のうち、特徴要素３２２（１ａ），３２２（１ｂ）とは、入力画像３１も備えているため、いずれも似ていると判定される。特徴要素３２２（１ｃ）は、入力画像３１が備えていないため、似ていないと判定される。

画像３２（２）は、突起の特徴要素３２２（２ａ）と、汚れのある突起の特徴要素３２２（２ｂ）と、滑らかな曲線部分の特徴要素３２２（２ｃ），３２２（２ｄ）を有する。これら４つの特徴要素３２２のうち、特徴要素３２２（２ａ），３２２（２ｃ），３２２（２ｄ）は、入力画像３１は備えていないため、似ていないと判定される。特徴要素３２２（２ｂ）は、入力画像３１も備えているため、似ていると判定される。

識別２巡目の結果、画像３２（２）の類似度は画像３２（１）の類似度よりも低いため、認識候補の組３２Ｇから取り除かれる。

識別３巡目では、認識候補の組３２Ｇには１つの画像３２（１）のみが含まれることになるため、その最後に残った画像３２（１）が入力画像３１に最も似ている画像として、すなわち、最終認識結果として出力される。

図５に戻る。ステップＳ１０～Ｓ４０の処理によって認識候補を繰り返し選択した結果、残った認識候補の数が１つとなったとき（Ｓ４０：ＹＥＳ）、物体認識装置１は、残った認識候補を認識結果として、認識結果出力部１３から出力させる（Ｓ５０）。この認識結果の出力はディスプレイに表示させたり、図外のロボットまたは機械を操作するコントローラへ与えたりすることができる。

このように構成される本実施例によれば、認識候補の組３２Ｇに含まれる基準物体を段階的に絞り込んで更新することにより、その組に残った基準物体間の相違を更新前よりも強調することができる。したがって、物体認識装置は、似たような形状、色彩の物体を取り扱う産業（製造業、輸送業など）においても、正確に物体を識別できる。

図７および図８を用いて第２実施例を説明する。本実施例を含む以下の各実施例は、第１実施例の変形例に相当するため、第１実施例との差異を中心に述べる。

本実施例は、上述したステップＳ１０およびステップＳ２０において、特徴点および特徴量を使用して、重みの計算と重み付き類似度とを計算する。

図８は、特徴点および特徴量を使用して、重みを計算する処理例を示すフローチャートである。

ステップＳ１１１では、入力画像３１から画像特徴要素として特徴点を抽出する。特徴点の抽出方法として、例えば、非特許文献３に詳述されている、ＦＡＳＴのような撮像画像中のコーナーを検出する手法を用いて特徴点を抽出すればよい。

特徴点を抽出するのと同時に、その特徴点での特徴量を取得してもよい。例えば、非特許文献４に記載されている、ＳＩＦＴのような特徴点まわりの輝度勾配などの情報を記述することにより特徴量を求めてもよい。

図９は、重み計算部１１３１による特徴点抽出例を示す説明図である。画像取得部１２により、入力画像３１から、例えば、コーナーやエッジなどの特徴をもつ局所領域を特徴点３２０として抽出し、その座標位置（ｘ， ｙ）を得る。図９では、特徴点に符号３２０を与える。図９では、特徴点を示す黒い丸印の一部に符号３２０を示している。特徴点の抽出に失敗した箇所には白丸印を付け、符号３２０Ｆを与えている。

特徴点３２０の抽出と同時に特徴量を取得して、その座標位置（ｘ，ｙ）における特徴量（ｘ，ｙ）を得てもよい。図９のように、特徴点３２０は１つの物体から複数取得することができる。図９に示すように、画像取得部１２によって取得された画像では、光源の影響や他の物体によるオクルージョン等の影響をうけるため、抽出される特徴点は常に同一のものであるとは限らない。

図８に戻る。ステップＳ１１２では、重み計算部１１３１は、認識候補から候補を１つ選択し、それに対応する、種別、姿勢、テンプレート画像、特徴点、特徴量などのデータをデータ保持部１１１から取得する。

ステップＳ１１３では、重み計算部１１３１は、ステップＳ１１１で選択した特徴点抽出手法および特徴量記述手法を使用して、選択された認識候補から特徴点および特徴量を計算する。あるいは、あらかじめ認識候補から求めた特徴点および特徴量をデータ保持部１１１に保持しておき、ステップＳ１１３では、選択した認識候補と対応する特徴点および特徴量をデータ保持部１１１から取得してもよい。

ステップＳ１１４では、重み計算部１１３１は、ステップＳ１１１で抽出された画像の各特徴点ｔｉに対して以下の処理Ｓ１１５，Ｓ１１６を実施する。

ステップＳ１１５では、重み計算部１１３１は、選択した特徴点ｔｉと、ステップＳ１１３で取得した候補ｍの各特徴点ｍｊ（ｊ=１，・・・，Ｎｍ）とから、特徴点の差ｄ（ｍ，ｉ，ｊ）を求める。Ｎｍは、候補ｍから取得された特徴点の個数を示す。例えば、差ｄ（ｍ，ｉ，ｊ）として、特徴点ｔｉの座標（ｘｉ，ｙｉ）と特徴点ｍｊの座標（ｘｊ，ｙｊ）のユークリッド距離を使用してもよいし、特徴点ｔｉの特徴量Ｆ（ｘｉ，ｙｉ）と特徴点ｍｊの特徴量Ｆ（ｘｊ，ｙｊ）の誤差の絶対値を使用してもよいし、あるいはそれらの組み合わせを使用してもよい。

続いて、重み計算部１１３１は、求めた特徴点の差ｄ（ｍ，ｉ，ｊ）とあらかじめ設定した閾値εとを比較し、ｄ（ｍ，ｉ，ｊ） （ｊ=１，・・・，Ｎｍ）のうち少なくとも一つは閾値内にあるかを調べる（Ｓ１１５）。重み計算部１１３１は、閾値内にあった場合（Ｓ１１５：ＹＥＳ）、特徴点ｔｉと類似する特徴点を持つ候補の数を表すｎ（ｉ）に１を加算する（Ｓ１１６）。

重み計算部１１３１は、全認識候補に対してステップＳ１１２～Ｓ１１６までの処理が終わると、重みを計算する（Ｓ１１７）。重みＷｉは特徴点ｔｉごとに求まる。

図５のステップＳ２０では、本実施例の物体認識装置１は、各認識候補の重みづけ類似度Ｓ（ｔ，ｍ）を計算する。重みづけ類似度も同様に特徴点を使用して計算する。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、重み計算および重み付き類似度計算の対象が、各物体の特徴的な箇所を捉えた特徴点となるため、第１実施例に比べて、より類似物との識別に有用となる領域を捉えやすくなる。

図１０を用いて第３実施例を説明する。本実施例では、ステップＳ１０およびステップＳ２０の計算に用いる画像特徴要素の数を低減する。

ステップＳ１０５で、重み計算部１１３１は、入力画像３１の各画像特徴要素ｔｉに対応する重みＷｉを算出する。重み計算部１１３１は、重みＷｉに応じてその画像特徴要素ｔｉを除外するか否か判断する。重み計算部１１３１は、例えば、類似する特徴を持つ候補の数を表すｎ（ｉ）が０となる画像特徴要素ｔｉを除外する（Ｓ１０６）。

続いて、重み計算部１１３１は、ステップＳ２０における重み付き類似度計算において、入力画像において除外されずに残った画像特徴要素のみからなる画像特徴パターンとステップＳ１０５で算出した重み、および各認識候補の画像特徴パターンを用いて重み付き類似度を計算する。

ステップＳ４０の分岐処理によって、再度ステップＳ１０における重みの計算を行う際は、重み計算部１１３１は、ステップＳ１０５で除外されずに残った画像特徴要素のみで、重みの計算と画像特徴要素の除外とを行う。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、重み計算と重み付き類似度計算に与える影響がない、あるいは少ない画像特徴要素の計算を省略できるため（Ｓ１０６）、処理の高速化を図ることができる。

なお、本発明は上記実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、本発明は必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉvｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組み合わせることができる。

１：物体認識装置、２：カメラ、３：容器、１０：自動仕分け機、１１：計算部、１２：画像取得部、１３：出力部、３１：入力画像、３２：基準物体画像、１１１：データ保持部、１１２：認識候補選択部、１１３：類似度計算部、１１４：識別部

Claims (8)

1. 物体を認識する装置であって、
   入力される物体である入力物体の画像を取得する画像取得部と、
   前記取得した入力物体の画像の認識候補となる複数の基準物体を選択することにより認識候補の組を生成する認識候補選択部と、
   前記認識候補の組に含まれる各基準物体について、前記入力物体の画像との類似度を計算する類似度計算部と、
   前記認識候補の組に含まれる前記基準物体の数が所定数になるまで、前記類似度計算部により計算される類似度と、予め設定された閾値とに基づいて、前記認識候補の組に含まれる前記基準物体の中から所定の類似度の基準物体を取り除く識別部と、
   を備え、
   前記認識候補選択部は、前記識別部により前記所定の類似度の基準物体が取り除かれると前記認識候補の組を更新し、
   前記類似度計算部は、
   前記認識候補選択部で選択された認識候補の組の中から候補となる基準物体画像を選択し、
   前記画像取得部によって取得された前記入力物体の画像に含まれる画像特徴要素の特徴と、前記選択された基準物体画像における各画像特徴要素との差を算出し、
   前記算出された画像特徴要素の差と、予め設定された閾値とを比較し、前記画像特徴要素の差のうち少なくとも一つが前記閾値内にある場合、前記認識候補の数を更新し、
   前記認識候補の組が更新されると、前記更新された認識候補の組に含まれる前記各基準物体について、前記入力物体の画像との類似度を再計算する、
   物体認識装置。
2. 前記所定数の基準物体を認識結果として出力する認識結果出力部をさらに備える、
   請求項１に記載の物体認識装置。
3. 前記所定数とは１である、
   請求項２に記載の物体認識装置。
4. 前記基準物体を撮像した基準物体画像に関するデータを記憶するデータ保持部をさらに備える、
   請求項１に記載の物体認識装置。
5. 前記データ保持部は、前記基準物体画像の持つ局所的特徴を表す画像特徴要素の組である基準物体画像特徴パターンを、前記基準物体画像に関するデータとして保持し、
   前記類似度計算部は、前記入力物体の画像の持つ局所的特徴を表す画像特徴要素の組である入力物体画像特徴パターンと前記基準物体画像特徴パターンとに基づいて、前記類似度を計算する、
   請求項４に記載の物体認識装置。
6. 前記類似度計算部は、
   前記基準物体画像特徴パターンに基づいて、前記入力物体画像特徴パターン内のそれぞれの前記画像特徴要素に対して重みを算出し、
   前記算出された重みと前記入力物体画像特徴パターンと前記基準物体画像特徴パターンとに基づいて、前記類似度を計算する、
   請求項５に記載の物体認識装置。
7. 前記類似度計算部は、
   前記画像特徴要素として特徴点および特徴量を算出し、
   前記基準物体の特徴点および特徴量に基づいて、前記入力物体画像から得られる前記特徴点または前記特徴量の少なくともいずれかについて前記重みを算出し、
   前記算出された重みと前記入力物体画像の持つ前記特徴点または前記特徴量のいずれかと前記基準物体の持つ前記特徴点または前記特徴量のいずれかとに基づいて、前記類似度を計算する、
   請求項６に記載の物体認識装置。
8. 前記類似度計算部は、
   前記基準物体画像特徴パターンに基づいて、前記入力物体画像特徴パターン内のそれぞれの前記画像特徴要素について重みを算出し、
   前記算出された重みに基づいて、前記入力物体画像特徴パターン内の所定の前記画像特徴要素を除外し、
   前記除外されずに残った前記入力物体画像特徴パターン内の前記画像特徴要素と前記重みと前記基準物体画像特徴パターンとに基づいて、前記類似度を計算する、
   請求項６に記載の物体認識装置。

Images