JP7608886B2 - テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム - Google Patents

Description

本発明は、テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラムに関する。

各姿勢の或る物体の特徴を示すテンプレートと、撮像装置が当該物体を撮像（計測）して取得した画像（計測画像）とを照合することによって、当該物体の位置姿勢を認識することが行われている。

特許文献１では、物体の形状を示すテンプレートを記憶して、計測画像における物体のうち最も大きい平面とテンプレートを照合することで、対象物の認識のための照合処理を効率化することが行われている。

特開２０１８－０９７８８９号公報

しかし、特許文献１では、最も大きい平面とテンプレートとを照合することにより照合処理の効率化を図れるものの、当該平面の一部が遮蔽物などに隠されて撮像装置によって撮像できなかった場合などに、照合の精度が低下してしまう。

そこで、本発明は、物体のテンプレートと画像とを照合する場合に、照合の精度を向上できる技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

すなわち、本発明の一側面に係るテンプレート生成装置は、所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成装置であって、前記所定の物体の３次元モデルに基づき、前記所定の物体を２次元画像として表す投影画像を生成する第１の生成手段と、前記３次元モデルまたは前記投影画像に基づき、前記３次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段と、前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第２の生成手段と、を有することを特徴とするテンプレート生成装置である。

このような構成によれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、領域の注目度に応じた適切な特徴量のテンプレートを用いて照合ができる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記３次元モデルにおいて、他の領域よりも注目度の低い第１の領域を設定する設定手段をさらに有し、前記特徴量取得手段は、前記第１の領域の特徴を抑制した特徴量を取得してもよい。これによれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、テンプレートのうち注目度の低い領域を重
視せずに照合できる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記設定手段は、ユーザが指定した領域を前記第１の領域として設定してもよい。

上記テンプレート生成装置において、前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第１の値以上である領域を前記第１の領域として設定してもよい。これによれば、所定の物体において普遍的に存在する領域を、照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記設定手段は、前記３次元モデルおいて、前記第１の領域よりも注目度の高い第２の領域を設定し、前記特徴量取得手段は、前記第２の領域の特徴を強調した特徴量を取得してもよい。これによれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、テンプレートのうち注目度の高い領域を重視して照合できる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記設定手段は、凹凸形状の領域を前記第２の領域として設定してもよい。これによれば、一般的に特徴的な領域である凹凸形状の領域を、照合において重視するようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第２の値以下である領域を前記第２の領域として設定してもよい。これによれば、所定の物体における特徴的な領域を、照合において重視するようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。

上記テンプレート生成装置において、前記計測画像は、被写体までの距離を各画素が表す距離画像であってもよい。

上記テンプレート生成装置において、前記第１の生成手段は、それぞれが互いに異なる姿勢の前記所定の物体を２次元画像として表す複数の前記投影画像を生成し、前記第２の生成手段は、前記複数の投影画像のそれぞれについて、前記テンプレートを生成してもよい。これによれば、様々な視点から見た所定の物体のテンプレートを生成することができるため、照合装置は、多くのパターンのテンプレートを用いた照合が可能になる。

上記テンプレート生成装置と、上記テンプレート生成装置が生成したテンプレートと、計測範囲を計測した結果を表す計測画像とを照合する照合装置と、を有することを特徴とする照合システムであってもよい。

上記照合システムにおいて、前記照合装置は、前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、を有していてもよい。これによれば、照合装置は、照合において重視すべきではない、他の物体によって所定の物体が隠れてしまう領域（いわゆるオクルージョン領域）を照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。

また、本発明の一側面に係る照合装置は、所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段と、前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、前記更新手段が更新したテンプレートと前記計測画像とを照合する照合手段と、を有することを特徴とする照合装置である。これによれば、照合装置は、照合において重視すべきではない、他の物体によって所定の物体が隠れてしまう領域（いわゆるオクルージョン領域）を照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。

本発明は、上記手段の少なくとも一部を有する装置として捉えてもよいし、電子機器や制御システム、情報処理システム、情報処理装置、認識装置、認識システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む制御方法、テンプレート生成方法、照合方法、認識方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体（記憶媒体）として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。

本発明によれば、物体のテンプレートと画像とを照合する場合に、照合の精度が向上する。

図１は、実施形態１に係る照合システムを説明する図である。 図２は、実施形態１に係るテンプレート生成装置と照合装置の構成図である。 図３は、実施形態１に係るテンプレート生成装置の処理のフローチャートである。 図４は、実施形態１に係る照合装置の処理をフローチャートである。 図５は、実施形態２に係る照合システムを説明する図である。

以下、本発明を実施するための実施形態について図面を用いて記載する。

＜適用例＞
以下では、或る物体の３次元モデルまたは２次元画像に基づく当該物体の特徴量を示すテンプレートと、撮像装置が当該物体を計測して得た画像（計測画像）とを照合する照合システム１は、注目度に応じて特徴量を補正したテンプレートを取得する。例えば、照合システム１は、注目度が低い領域の特徴を抑えるように特徴量を補正し、注目度が高い領域の特徴を強調するように特徴量を補正する。そして、照合システム１は、テンプレートと計測画像とを照合した結果を算出する。

ここで、注目度の高い領域とは、例えば、凹凸形状がある領域や、多色によって彩られている領域など特徴的な領域である。また、注目度の低い領域とは、同様の特徴を持つ領域が他にも多く存在する領域や、他の物体が重畳して隠れてしまう可能性が高い領域などである。なお、これらの領域は、ユーザの指示（操作；指定）によって設定することができる。

これによれば、照合システム１は、テンプレートのうち注目度の低い領域を重視せずに照合できる。このため、注目度の低い領域を重視せずに、注目度の高い領域を用いた照合によって、照合システム１は、計測画像とテンプレートとを適切に照合することができる。従って、テンプレートと計測画像とを精度高く照合することができる。

＜実施形態１＞
［照合システムの構成］
図１を参照して、実施形態１に係る照合システム１の構成を説明する。照合システム１は、物体２についてのテンプレートと物体２を計測した計測画像とを照合することによって、計測画像における物体２の位置姿勢を認識する。照合システム１は、撮像センサ１０、テンプレート生成装置２０、照合装置３０、記憶装置４０を有する。なお、位置姿勢とは、本実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。

撮像センサ１０は、物体２を含む計測範囲を計測することによって計測画像を取得する。本実施形態では、撮像センサ１０は、左レンズを介して被写体を撮像した画像と右レンズを介して被写体を撮像した画像を取得し、その２つの画像（左右画像）の差異を比較することによって、距離画像を計測画像として取得する３次元センサである。距離画像は、各画素が撮像センサ１０から被写体までの距離を示す。なお、撮像センサ１０は、三角測量計測やＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式など任意の方法によって、距離画像を取得してもよい。また、計測画像は、各画素が被写体の温度を示す温度画像であってもよいし、通常の光学画像（被写体の色や輝度を表現した画像）であってもよい。

テンプレート生成装置２０は、物体２を事前に計測した３次元モデル、または、物体２を設計する際に用いた物体２の３次元モデルに基づき、物体２の特徴量を示すテンプレートを生成する。３次元モデル（３次元データ）は、点群データによって物体２を表現するデータであり得る。

照合装置３０は、撮像センサ１０が取得した計測画像と、テンプレート生成装置２０が生成したテンプレートとを用いて、照合処理を行う。また、照合装置３０は、照合結果に基づき、物体２の現在の位置姿勢を認識する。従って、照合装置３０は、物体２の位置姿勢を認識する認識装置であるともいえる。

記憶装置４０は、物体２の３次元モデル、テンプレート生成装置２０が生成したテンプレート、照合装置３０が照合した照合結果、または／および照合装置３０が認識した物体２の位置姿勢の情報を記憶（記録）する。記憶装置４０は、ハードディスク（ＨＤＤ）やメモリ（ＲＡＭ；Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有するサーバなどであり得る。また、記憶装置４０は、テンプレート生成装置２０および照合装置３０に対して抜き差し可能な記憶媒体であってもよい。記憶装置４０には、互いに異なる姿勢の物体２（互いに異なる視点から見た物体２）の特徴量を表す複数のテンプレートが記憶される。

（テンプレート生成装置の内部構成）
図２を参照して、テンプレート生成装置２０の内部構成を説明する。テンプレート生成装置２０は、制御部２０１、情報取得部２０２、領域設定部２０３、投影画像生成部２０４、特徴量算出部２０５、テンプレート生成部２０６、情報出力部２０７を有する。

制御部２０１は、非一時的に記憶媒体に記憶されたプログラムに従って、テンプレート生成装置２０の各機能部を制御する。

情報取得部２０２は、物体２の３次元モデルを取得する。情報取得部２０２は、物体２の３次元モデルを、記憶装置４０から取得してもよいし、他の外部装置から取得してもよい。また、情報取得部２０２は、撮像センサ１０の撮像パラメータ（カメラ焦点距離、画像の中心座標、レンズ歪みの補正係数）を取得する。

領域設定部２０３は、３次元モデルに対して、注目度の高い領域（注目領域）や注目度の低い領域（非注目領域）を設定する。

投影画像生成部２０４は、３次元モデルを２次元画像に変換することによって投影画像を生成する。具体的には、投影画像生成部２０４は、撮像センサ１０で計測する場合における各姿勢の物体２を２次元画像によって表した投影画像を生成する。このとき、撮像センサ１０の撮像パラメータによって計測画像が変化するため、投影画像生成部２０４は、撮像パラメータによって補正した投影画像を生成する。

特徴量算出部２０５（特徴量取得部）は、３次元モデルまたは投影画像に基づき、投影画像における各画素（各領域）の特徴量を算出（取得）する。ここで、特徴量とは、エッジ特徴量（エッジ方向ヒストグラム）や、法線特徴量（法線方向ヒストグラム）でありえる。しかし、これに限らず、特徴量は、距離情報、温度情報、色彩情報であってもよい。そして、特徴量算出部２０５は、注目度の高い領域（注目領域）や注目度の低い領域（非注目領域）などが設定されている場合には、注目度に応じて補正した当該領域の特徴量を取得する。

テンプレート生成部２０６は、特徴量算出部２０５が算出（補正）した特徴量を各画素が示す２次元画像であるテンプレートを生成する。また、テンプレート生成部２０６は、テンプレートの基となった投影画像に対応する物体２の姿勢の情報を、当該テンプレートに付加する。

情報出力部２０７は、テンプレート生成部２０６が生成したテンプレートを記憶装置４０に出力する。

なお、本実施形態では、投影画像生成部２０４は、３次元モデルから複数の投影画像を生成する。このとき、複数の投影画像は、互いに異なる姿勢の物体２を（互いに異なる視点から見た物体２を）２次元画像によって表した画像である。その後、特徴量算出部２０５は、複数の投影画像のそれぞれに対して、特徴量を算出する。そして、テンプレート生成部２０６は複数の投影画像のそれぞれについてテンプレートを生成して、情報出力部２０７は、複数のテンプレートを記憶装置４０に出力する。

（照合装置の内部構成）
図２を参照して、照合装置３０の内部構成について説明する。照合装置３０は、制御部３０１、画像取得部３０２、情報取得部３０３、特徴量算出部３０４、領域設定部３０５、テンプレート更新部３０６、照合部３０７、認識部３０８、結果出力部３０９を有する。

制御部３０１は、非一時的に記憶媒体に記憶されたプログラムに従って、照合装置３０の各機能部を制御する。

画像取得部３０２は、撮像センサ１０から計測画像を取得する。なお、画像取得部３０２は、撮像センサ１０から計測画像を取得する必要はなく、例えば、記憶装置４０に記憶された計測画像を取得してもよい。

情報取得部３０３は、記憶装置４０から複数のテンプレートを取得する。

特徴量算出部３０４は、計測画像の各画素（各領域）の特徴量を算出する。

領域設定部３０５は、制御部３０１（認識部３０８）が大まかに推定した物体２の位置姿勢に応じて、計測画像において物体２の領域のうち他の物体によって隠されている領域（オクルージョン領域；重畳領域）を判定する。そして、領域設定部３０５は、オクルージョン領域を、注目度の低い非注目領域として設定する。

テンプレート更新部３０６は、複数のテンプレートにおける特徴量を更新する。具体的には、テンプレート更新部３０６は、領域設定部３０５が非注目領域（オクルージョン領域）として設定した領域について、テンプレートにおける特徴量を補正（更新）する。

照合部３０７は、複数のテンプレートのそれぞれと、計測画像との照合を行う。具体的には、照合部３０７は、テンプレートの特徴量と計測画像の特徴量との合致度（類似度）を算出する。そして、照合部３０７は、評価値が所定値よりも大きければ、照合が成功したと判定する。一方、照合部３０７は、評価値が所定値よりも以下であれば、照合が失敗したと判定する。なお、特徴量を用いた照合の方法には、任意の照合方法を用いてもよい。

認識部３０８は、照合部３０７によって照合が成功したと判定された際のテンプレートから、物体２を撮像した際の物体２の位置姿勢を認識する。具体的には、認識部３０８は、テンプレートに付加された物体２の位置姿勢の情報に基づき、撮像時の物体２の位置姿勢を認識することができる。また、認識部３０８は、後述するように、テンプレートを用いた位置姿勢を初期値とした物体２の３次元モデルを計測画像における物体２に合わせ込むことによって、さらに詳細に物体２の位置姿勢を認識してもよい。

結果出力部３０９は、照合結果や物体２の位置姿勢の認識結果を記憶装置４０や外部装置に出力する。例えば、物体２を駆動するためのロボットなどに結果出力部３０９が認識結果を出力すれば、ロボットは、物体２の位置姿勢に応じて、物体２を所定の位置姿勢にするための制御を行うことができる。また、結果出力部３０９は、更新したテンプレートの情報を記憶装置４０などに出力してもよい。

また、テンプレート生成装置２０および照合装置３０は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

また、テンプレート生成装置２０が、照合装置３０の各機能部を有していてもよい。つまり、テンプレート生成装置２０が、計測画像に応じてテンプレートを生成（更新）してもよいし、照合や認識の処理を行ってもよい。

［テンプレート生成装置の処理］
図３のフローチャートを用いて、テンプレート生成装置２０の処理を詳細に説明する。図３のフローチャートの各処理は、制御部２０１がプログラムに従って動作することによ
って実現される。

ステップＳ１００１において、制御部２０１は、情報取得部２０２を制御して、物体２の３次元モデルおよび、撮像センサ１０の撮像パラメータを取得する。ここで、３次元モデルは、上述のように、物体２を事前に計測した３次元モデル、または、物体２を設計する際に用いた物体２の３次元モデル（ＣＡＤデータ）であり得る。

ステップＳ１００２において、制御部２０１は、物体２において注目領域または非注目領域を識別することが可能か否かを判定する。例えば、ユーザによって、注目領域または非注目領域の情報が予め入力されていれば、制御部２０１は、物体２において注目領域または非注目領域を識別することが可能であると判定する。物体２において注目領域または非注目領域を識別することが可能であると判定された場合にはステップＳ１００３に進み、そうでない場合にはステップＳ１００５に進む。

また、ステップＳ１００２では、制御部２０１が、物体２の３次元モデルに基づき、注目領域または非注目領域を識別することが可能か否かを判定してもよい。具体的には、制御部２０１は、注目領域または非注目領域に設定すべき領域があれば、注目領域または非注目領域を識別することが可能と判定してもよい。例えば、制御部２０１は、物体２の３次元モデルにおいて、凹凸形状などの特殊な特徴（ユニークな特徴）の領域がある場合には、当該領域を注目領域すべきである。または、制御部２０１は、物体２の３次元モデルにおいて或る第１の特徴を有する領域の面積（表面積）が、３次元モデルの物体２全体の領域の面積（表面積）の第１の割合以上（例えば、７０％以上）であれば、第１の特徴を有する領域を非注目領域に設定すべきである。さらに、制御部２０１は、物体２の３次元モデルにおいて或る第２の特徴を有する領域の面積が、３次元モデルの物体２全体の領域の面積の第２の割合以下（例えば、１０％以下）であれば、第２の特徴を有する領域を注目領域に設定すべきである。

ステップＳ１００３において、制御部２０１は、領域設定部２０３を制御して、注目領域または／および非注目領域を設定する。具体的には、領域設定部２０３は、ユーザによって、予め注目領域または非注目領域の情報が入力されていれば、その情報に従って注目領域または非注目領域を設定する。また、ステップＳ１００２において制御部２０１が注目領域または非注目領域とすべき領域を判定していれば、領域設定部２０３は、その領域を注目領域または非注目領域に設定する。なお、領域設定部２０３は、注目領域または非注目領域を設定するのではなく、投影画像における各領域について注目度（重要度）を設定してもよい。

ステップＳ１００４において、制御部２０１は、投影画像生成部２０４を制御して、３次元モデルに基づき、物体２の各姿勢に応じた複数の２次元画像を投影画像として生成する。つまり、複数の投影画像は、物体２をその周囲の各視点から見た２次元画像である。ステップＳ１００５は、ステップＳ１００４と同様である。

ステップＳ１００６において、制御部２０１は、特徴量算出部２０５を制御して、３次元モデルまたは投影画像に基づき、各投影画像の各画素（領域）における特徴量を抽出（取得）する。ここで、特徴量は、法線ベクトルを表す法線特徴量、またはエッジベクトルを表すエッジ特徴量であり得るが任意の特徴量であってよい。

なお、ステップＳ１００６では、特徴量算出部２０５は、３次元モデルの各領域の注目度に応じて補正した特徴量を取得（算出）する。具体的には、特徴量算出部２０５は、非注目領域については、３次元モデルまたは投影画像から抽出した特徴を抑制するような補正（フィルタ処理）をして、特徴量を取得する。例えば、特徴量算出部２０５は、３次元
モデルまたは投影画像から抽出した特徴量に対して注目度に対応した所定の値（１未満の正の数）を掛けた量を取得することや、当該非注目領域の周囲の領域の平均の特徴量を取得することによって、補正した特徴量を取得する。または、特徴量算出部２０５は、３次元モデルにおける非注目領域に対して、ぼかす処理を行った後に、非注目領域から特徴量を抽出してもよい。

ここで、例えば、テンプレートと計測画像との照合においてエッジ特徴量を用いる場合、互いに類似し、かつ、顕著な（エッジ強度が強い）エッジ特徴量を有する領域（位置）同士を対応付けることによって、照合の処理が行われる。しかし、テンプレートの非注目領域のエッジ特徴量が顕著なものである場合には、本来的に対応付くべき領域（位置）でない計測画像における領域（位置）とテンプレートの当該非注目領域が対応付けられる可能性がある。つまり、照合の精度が下がってしまう可能性がある。これに対して、本実施形態のように、特徴量算出部２０５が非注目領域について特徴を抑制するような補正（フィルタ処理）をして、特徴量を取得すれば、非注目領域のエッジ特徴量が低くなる。このため、照合に非注目領域のエッジ特徴量が用いられる可能性が低減し、または、当該エッジ特徴量が照合に影響を及ぼす可能性が低減する。つまり、テンプレートを用いた照合の精度が向上する。

一方で、特徴量算出部２０５は、注目領域について、３次元モデルまたは投影画像から抽出した特徴を強調するような補正をして、特徴量を取得してもよい。これによれば、例えば、エッジ特徴量を照合に用いる場合に、照合において注目領域の特徴量が用いられやすくなる。このため、照合に好適な特徴量を用いた照合が可能になるため、テンプレートを用いた照合の精度が向上する。なお、この特徴の抑制度合いや強調度合いは、注目度に応じた度合いであるとよい。

ステップＳ１００７では、制御部２０１は、特徴量算出部２０５を制御して、注目度に応じた補正をすることなく、３次元モデルまたは投影画像に基づき、各投影画像の各画素（領域）における特徴量を抽出（取得）する。

ステップＳ１００８において、制御部２０１は、テンプレート生成部２０６を制御して、複数の投影画像それぞれについてテンプレートを生成する。具体的には、テンプレート生成部２０６は、複数の投影画像それぞれについて、各画素がステップＳ１００６において取得した特徴量を示すような２次元画像をテンプレートとして生成する。

ステップＳ１００９において、制御部２０１は、ステップＳ１００８と同様に、テンプレート生成部２０６を制御して、複数の投影画像それぞれに対して、互いに異なるテンプレートを生成する。

ステップＳ１０１０において、制御部２０１は、情報出力部２０７を制御して、テンプレート生成部２０６が生成した複数のテンプレートを記憶装置４０に出力する。これによって、記憶装置４０に、物体２についての複数のテンプレートが記憶される。

なお、制御部２０１は、ステップＳ１００４の後に、複数の投影画像ごとに、当該投影画像に現れる物体２の面積に対する同一の特徴を有する領域の面積の割合に応じて、非注目領域および注目領域を設定（判定）してもよい。つまり、制御部２０１は、投影画像に現れる物体２において或る第１の特徴を有する領域の面積が、投影画像に現れる物体２全体の領域の面積の第１の割合以上（例えば、７０％以上）であれば、第１の特徴を有する領域を非注目領域に設定してもよい。さらに、制御部２０１は、投影画像に現れる物体２において或る第２の特徴を有する領域の面積が、投影画像に現れる物体２全体の領域の面積の第２の割合以下（例えば、１０％以下）であれば、第２の特徴を有する領域を注目領
域に設定してもよい。

［照合装置の処理］
図４のフローチャートを用いて、照合装置３０の処理を詳細に説明する。図４のフローチャートの各処理は、制御部３０１がプログラムに従って動作することによって実現される。

ステップＳ２００１において、制御部３０１は、画像取得部３０２を制御して、撮像センサ１０から計測画像を取得する。具体的には、撮像センサ１０は、左右画像の２つの間の対応する画素を特定して、対応する画素の位置の差を算出する。そして、撮像センサ１０は、対応する画素の位置の差と、左右のレンズの位置の差とに基づき、三角測量の技術を用いて、被写体までの距離を計測する。これによって、撮像センサ１０は、例えば、点群データを有するような距離画像である計測画像を取得できる。

また、制御部３０１は、情報取得部３０３を制御して、記憶装置４０から物体２についての複数のテンプレートを取得する。なお、複数のテンプレートのそれぞれは、テンプレート生成装置２０において特徴量が補正されたテンプレートであってもよいし、テンプレート生成装置２０において特徴量が補正されていないテンプレートであってもよい。さらに、制御部３０１は、画像取得部３０２を制御して撮像センサ１０の撮像パラメータを取得してもよいし、情報取得部３０３を制御して物体２の３次元モデルを取得してもよい。

ステップＳ２００２において、制御部３０１は、特徴量算出部３０４を制御して、計測画像（距離画像）から特徴量を算出する。

ステップＳ２００３において、制御部３０１は、物体２の位置姿勢を推定する。例えば、制御部３０１は、照合部３０７および認識部３０８を制御して、非注目領域または注目領域の情報を考慮していない（特徴量の補正をしていない）テンプレートを用いた照合を計測画像に対して行って、物体２の位置姿勢を推定する。制御部３０１は、過去の物体２の位置姿勢の情報に基づき、物体２の位置姿勢を推定してもよい。ここでは、大まかな物体２の位置姿勢が推定できればよいため、任意の方法によって推定されてよい。

ステップＳ２００４において、制御部３０１は、計測画像において物体２が他の物体によって隠されている領域（オクルージョン領域；重畳領域）があるか否かを判定する。制御部３０１は、事前に設定された物体２の周囲の物体の位置情報、および推定した物体２の位置姿勢に基づき、オクルージョン領域を判定することができる。オクルージョン領域があると判定されればステップＳ２００５に進み、そうでなければＳ２００７に進む。

ステップＳ２００５において、制御部３０１は、領域設定部３０５を制御して、ステップＳ２００４において判定したオクルージョン領域を非注目領域として設定する。

ステップＳ２００６において、制御部３０１は、テンプレート更新部３０６を制御して、テンプレートを更新する。具体的には、テンプレート更新部３０６は、各テンプレートに対して、オクルージョン領域を非注目領域として、オクルージョン領域（非注目領域）の特徴を抑制するように特徴量を補正（更新）する。

このように、ステップＳ２００５，Ｓ２００６では、領域設定部３０５がテンプレートに対して非注目領域を設定し、テンプレート更新部３０６は、当該テンプレートの非注目領域の特徴量を補正する。しかし、ステップＳ２００５，Ｓ２００６では、領域設定部３０５が３次元モデルに対して非注目領域を設定し、テンプレート更新部３０６は、３次元モデルの非注目領域から改めて補正した特徴量を取得してもよい。

なお、ステップＳ２００３～Ｓ２００６の処理は行われなくてもよく、ステップＳ２００２の処理が終了すると、ステップＳ２００７に進んでもよい。

ステップＳ２００７において、制御部３０１は、照合部３０７を制御して、複数のテンプレートのそれぞれと計測画像との照合を行う。ここで、照合部３０７は、計測画像の特徴量とテンプレートの特徴量を照合（比較）することによって合致度（類似度）を取得する。例えば、照合部３０７は、テンプレートと計測画像との間において、互いに対応する各画素の特徴量の差分Ｄの総合計Ｓｕｍ（Ｄ）の逆数１／Ｓｕｍ（Ｄ）を合致度として取得してよい。

ステップＳ２００８において、制御部３０１は、認識部３０８を制御して、物体２の位置姿勢を認識する。具体的には、認識部３０８は、照合部３０７が取得した合致度が最も高くなるテンプレートに対応する姿勢を物体２の姿勢として認識し、計測画像において当該テンプレートと最も照合する位置に基づき物体２の位置を認識する。

また、認識部３０８は、テンプレートによって認識した物体２の位置姿勢をさらに精度よく認識するために、テンプレートによって認識した物体２の位置姿勢を初期値として、３次元モデルを計測画像における物体２に合わせ込むことによって、詳細な物体２の位置姿勢を認識してもよい。この場合には、認識部３０８は、３次元モデルの各点と計測画像の物体２の各点との対応関係を算出することによって、３次元モデルを計測画像に合わせ込むことが可能である。各点の対応関係の算出には、例えば、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを用いることができる。

ステップＳ２００９において、制御部３０１は、結果出力部３０９を制御して、物体２の位置姿勢の情報を、記憶装置４０に出力する。これによって、物体２の位置姿勢の情報が記憶装置４０に記憶される。

本実施形態によれば、照合装置３０は、注目度に応じて特徴量が補正されたテンプレートを用いて、照合を行うことができる。従って、照合装置３０は、重要な領域（注目すべき領域）については照合においてより重視し、重要でない領域については照合において重視しないようにできるので、より照合結果を正確に得ることができる。このため、照合装置３０は、より精度高く、物体２の位置姿勢を認識することができる。

＜実施形態２＞
実施形態２では、図５に示すように、把持物体３の位置姿勢をロボット６０が制御することによって、把持物体３を物体２に接続させるような照合システム１（ロボット制御システム）について説明する。照合システム１は、照合システム１の構成に加えて、ロボット制御装置５０とロボット６０を有する。本実施形態では、撮像センサ１０、テンプレート生成装置２０、照合装置３０、記憶装置４０の構成は、実施形態１に係る構成と同じである。

ロボット制御装置５０は、物体２（物体２および把持物体３）の位置姿勢の認識結果に基づき、ロボット６０の姿勢を制御する。ロボット制御装置５０は、ロボット６０の把持部６１によって把持された把持物体３を物体２に接続するようにロボット６０を制御する。

ロボット６０は、ロボット制御装置５０によって姿勢が制御される。ロボット６０は、把持物体３を把持する把持部６１を有する。また、把持部６１の一部において、撮像センサ１０が接続（固定）される。つまり、本実施形態では、ロボット６０の姿勢の変化に従
って、撮像センサ１０の位置姿勢が変化する。しかし、撮像センサ１０の位置姿勢は、ロボット６０の姿勢に関わらず、固定の位置姿勢であってもよい。

［テンプレート生成装置の処理］
実施形態２では、テンプレート生成装置２０は、実施形態１に係る処理と同様に物体２のテンプレートを生成する。そして、テンプレート生成装置２０は、物体２のテンプレートを生成する処理と同様の処理（図３のフローチャートに示す各処理）を把持物体３に対しても実行する。これによって、テンプレート生成装置２０は、把持物体３のテンプレートを生成する。

［照合装置の処理］
また、照合装置３０の処理が実施形態１とは異なるので、図４のフローチャートを用いて、実施形態２に係る照合装置３０の処理を詳細に説明する。なお、以下では、ステップＳ２００３，Ｓ２００４について説明する。ステップＳ２００５～Ｓ２００９については、実施形態１では「物体２」についてのみ処理をしていたのに対して、「物体２および把持物体３のそれぞれ」について処理を行えばよいので説明を省略する。また、ステップＳ２００１，Ｓ２００２については、実施形態１に係る同一符号のステップと同様であるため、説明を省略する。

ステップＳ２００３において、制御部３０１は、実施形態１と同様の方法によって、物体２および把持物体３の位置姿勢を推定する。

ステップＳ２００４において、制御部３０１は、計測画像において、物体２と把持物体３との間で一方が他方によって隠れている領域（オクルージョン領域；重畳領域）が存在するか否かを判定する。ここで、制御部３０１は、把持部６１によって、計測画像において物体２と把持物体３とのいずれかが隠されている領域がある場合にも、当該領域をオクルージョン領域として判定する。オクルージョン領域が存在する場合にはステップＳ２００５に進み、オクルージョン領域が存在しない場合にはステップＳ２００７に進む。

なお、本実施形態では、物体２と把持物体３とが接続するように、ロボット制御装置５０がロボット６０の姿勢を制御する必要がある。このため、物体２および把持物体３の位置姿勢の認識結果に基づき、照合装置３０によって物体２と把持物体３とが接続されたと判定されるまで、図４の処理（ステップＳ２００１～Ｓ２００９）の処理は繰り返される。

本実施形態では、照合装置３０は、物体２と把持物体３との間で生じるオクルージョン領域（非注目領域）を、物体２と把持物体３の推定位置姿勢に基づき判定（設定）できる。このため、物体２と把持物体３との間で生じるオクルージョン領域を照合において重視してしまうことを防ぐことができる。従って、照合装置３０は、より精度高く、物体２の位置姿勢を認識することができる。ひいては、照合システム１（物体移動システム）は、精度よく把持物体３を物体２に接続させることができる。

なお、上述の各実施形形態では、照合システム１は、ユーザによる指示や３次元モデル、オクルージョン領域などに基づき、非注目領域および注目領域（各領域の注目度）を設定したが、その他の方法により非注目領域および注目領域を設定してもよい。例えば、照合システム１は、複数回（網羅的に）、ランダムに非注目領域および注目領域を設定して物体２の位置姿勢を認識した結果のうち、実際の物体２の位置姿勢に近似する位置姿勢を認識した際の非注目領域および注目領域を、その後の認識にも用いるようにしてもよい。

なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定され
るものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。

（付記１）
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置（３０）に用いられる前記テンプレートを生成するテンプレート生成装置（２０）であって、
前記所定の物体の３次元モデルに基づき、前記所定の物体を２次元画像として表す投影画像を生成する第１の生成手段（２０４）と、
前記３次元モデルまたは前記投影画像に基づき、前記３次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段（２０５）と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第２の生成手段（２０６）と、
を有することを特徴とするテンプレート生成装置（２０）。

（付記２）
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段（３０２，３０３）と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段（３０１）と、
前記推定手段（３０１）が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段（３０１）と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段（３０６）と、
前記更新手段（３０６）が更新したテンプレートと前記計測画像とを照合する照合手段（３０８）と、
を有することを特徴とする照合装置（３０）。

（付記３）
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置（３０）に用いられる前記テンプレートを生成するテンプレート生成方法であって、
前記所定の物体の３次元モデルに基づき、前記所定の物体を２次元画像として表す投影画像を生成する第１の生成ステップ（Ｓ１００４）と、
前記３次元モデルまたは前記投影画像に基づき、前記３次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得ステップ（Ｓ１００６）と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第２の生成ステップ（Ｓ１００８）と、
を有することを特徴とするテンプレート生成方法。

（付記４）
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得ステップ（Ｓ２００１）と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定ステップ（Ｓ２００３）と、
前記推定ステップにおいて推定された前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定ステップ（Ｓ２００４）と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新ステップ（Ｓ２００６）と、
前記更新ステップにおいて更新されたテンプレートと前記計測画像とを照合する照合ステップ（Ｓ２００７）と、
を有することを特徴とする照合方法。

１：照合システム、２：物体、１０：撮像センサ、２０：テンプレート生成装置、
３０：照合装置、４０：記憶装置、２０１：制御装置、２０２：情報取得部、
２０３：領域設定部、２０４：投影画像生成部、２０５：特徴量算出部、
２０６：テンプレート生成部、２０７：情報出力部、３０１：制御部、
３０２：画像取得部、３０３：情報取得部、３０４：特徴量算出部、
３０５：領域設定部、３０６：テンプレート更新部、３０７：照合部、
３０８：認識部、３０９：結果出力部

Claims (16)

1. 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成装置であって、
   前記所定の物体の３次元モデルに基づき、前記所定の物体を２次元画像として表す投影画像を生成する第１の生成手段と、
   前記３次元モデルまたは前記投影画像に基づき、前記３次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段と、
   前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第２の生成手段と、
   を有することを特徴とするテンプレート生成装置。
2. 前記３次元モデルにおいて、他の領域よりも注目度の低い第１の領域を設定する設定手段をさらに有し、
   前記特徴量取得手段は、前記第１の領域の特徴を抑制した特徴量を取得する、
   ことを特徴とする請求項１に記載のテンプレート生成装置。
3. 前記設定手段は、ユーザが指定した領域を前記第１の領域として設定する、
   ことを特徴とする請求項２に記載のテンプレート生成装置。
4. 前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第１の値以上である領域を前記第１の領域として設定する、
   ことを特徴とする請求項２または３に記載のテンプレート生成装置。
5. 前記設定手段は、前記３次元モデルおいて、前記第１の領域よりも注目度の高い第２の領域を設定し、
   前記特徴量取得手段は、前記第２の領域の特徴を強調した特徴量を取得する、
   ことを特徴とする請求項２から４のいずれか１項に記載のテンプレート生成装置。
6. 前記設定手段は、凹凸形状の領域を前記第２の領域として設定する、
   ことを特徴とする請求項５に記載のテンプレート生成装置。
7. 前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第２の値以下である領域を前記第２の領域として設定する、
   ことを特徴とする請求項５または６に記載のテンプレート生成装置。
8. 前記計測画像は、被写体までの距離を各画素が表す距離画像である、
   ことを特徴とする請求項１から７のいずれか１項に記載のテンプレート生成装置。
9. 前記第１の生成手段は、それぞれが互いに異なる姿勢の前記所定の物体を２次元画像として表す複数の前記投影画像を生成し、
   前記第２の生成手段は、前記複数の投影画像のそれぞれについて、前記テンプレートを生成する、
   ことを特徴とする請求項１から８のいずれか１項に記載のテンプレート生成装置。
10. 請求項１から９のいずれか１項に記載のテンプレート生成装置と、
    前記テンプレート生成装置が生成したテンプレートと、前記計測画像とを照合する照合装置と、
    を有することを特徴とする照合システム。
11. 前記照合装置は、
    前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、
    前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、
    前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、
    を有する、
    ことを特徴とする請求項１０に記載の照合システム。
12. 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段と、
    前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、
    前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、
    前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、
    前記更新手段が更新したテンプレートと前記計測画像とを照合する照合手段と、
    を有することを特徴とする照合装置。
13. 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成方法であって、
    前記所定の物体の３次元モデルに基づき、前記所定の物体を２次元画像として表す投影画像を生成する第１の生成ステップと、
    前記３次元モデルまたは前記投影画像に基づき、前記３次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得ステップと、
    前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第２の生成ステップと、
    を有することを特徴とするテンプレート生成装置によるテンプレート生成方法。
14. 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を
    示すテンプレートとを取得する取得ステップと、
    前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定ステップと、
    前記推定ステップにおいて推定された前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定ステップと、
    前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新ステップと、
    前記更新ステップにおいて更新されたテンプレートと前記計測画像とを照合する照合ステップと、
    を有することを特徴とする照合装置による照合方法。
15. 請求項１３に記載のテンプレート生成方法の各ステップをコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の照合方法の各ステップをコンピュータに実行させるためのプログラム。

Images