JP6121302B2 - 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム - Google Patents

Description

本発明は、姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラムに関する。

従来、現実空間の映像に対してコンピュータにより情報を付加するＡＲ（拡張現実感）技術が提案されており、近年では、このＡＲ技術は、ＷＥＢカメラの接続されたＰＣ（Personal Computer）や、カメラ付き携帯電話端末などで実現されるようになっている。

ＡＲ技術においては、カメラといった撮像手段で撮影された入力画像内の認識対象物を識別し、認識対象物の姿勢パラメータをリアルタイムに推定する必要がある。そこで、姿勢パラメータを推定する技術が提案されている（例えば、特許文献１から３および非特許文献１参照）。

特許文献１には、認識対象物として予め定められたマーカを想定し、このマーカの姿勢パラメータを画像認識処理により推定する技術が示されている。

一方、特許文献２や非特許文献１には、連続的に入力される複数の画像内で特徴点を追跡する技術が示されている。特に非特許文献１には、入力画像をサブサンプリングして画像ピラミッドを生成し、画像ピラミッドの最上段の画像から最下段の画像まで１段ずつ順番に、特徴点を追跡する処理と、姿勢パラメータを推定する処理と、を繰り返す技術が示されている。この技術によれば、認識対象物や撮像手段の動きに対して頑健に姿勢パラメータを推定することができる。

また、特許文献３には、入力画像を複数のブロックに分割し、これらブロックごとに、予め定められた数ずつ特徴点を設定する技術が示されている。この技術によれば、特徴点が、入力画像中のある領域に偏って設定されてしまうのを防止できる。

特開２０１２−２１２４６０号公報 特表２０１３−５０８８４４号公報 特開２００７−３３４６２５号公報

D.Wagner, G. Reitmayr, A. Mulloni, T. Drummond and D. Schmalstieg, "Real-time detection and tracking for augmented reality on mobile phones." IEEE Trans. Visualization and Computer Graphics, vol.16, no.3, pp.355-368, 2010.

特許文献１で認識対象物として想定されている上述のマーカは、予め定められた形状および模様の平面画像である。このため、特許文献１に示されている技術では、認識対象物として、任意の平面画像や立体物といった任意の物体を扱うことができなかった。

これに対して、特許文献２、３や非特許文献１に示されている技術では、認識対象物として任意の物体を扱うことができる。しかし、特許文献２、３や非特許文献１に示されている技術では、オクルージョンの発生や光源の変化などによって追跡可能な特徴点の数が減少してしまうと、姿勢パラメータの推定精度が低下してしまうという課題があった。

そこで、特許文献２、３や非特許文献１に示されている技術において、追跡可能な特徴点の数が減少してしまう可能性があることを見越して、追跡する特徴点の数を予め増やしておくことが考えられる。これによれば、追跡可能な特徴点の数が減少してしまっても、追跡可能な特徴点を十分に確保することができ、姿勢パラメータの推定精度が低下してしまうのを抑制できる。しかし、この場合、追跡する特徴点の数を増やすことによって、処理負荷が増加してしまうという課題があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、追跡可能な特徴点の数が減少してしまっても、処理負荷を増加させることなく、姿勢パラメータの推定精度の低下を抑制することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置であって、予め定められた２種類以上の特徴点群（例えば、後述のＮｂ点の基本特徴点と、後述のＮｓ点の補助特徴点と、に相当）の中から特徴点を追跡用特徴点として選択する特徴点選択手段（例えば、図５の特徴点選択部１３３に相当）と、前記特徴点選択手段により選択された追跡用特徴点を追跡する特徴点追跡手段（例えば、図５の特徴点追跡部１３４に相当）と、前記特徴点追跡手段による追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める姿勢パラメータ更新手段（例えば、図５の姿勢パラメータ更新部１３５に相当）と、を備え、前記特徴点選択手段は、前記２種類以上の特徴点群のうち第１の特徴点群（例えば、後述のＮｂ点の基本特徴点に相当）の中から優先的に特徴点を前記追跡用特徴点として選択することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を追跡用特徴点として選択することとした。このため、追跡に適した特徴点で第１の特徴点群を構成しておくことで、姿勢パラメータの推定精度を向上させることができる。

この発明によれば、２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を追跡用特徴点として選択することとした。このため、第１の特徴点群の中から追跡用特徴点として選択した特徴点の中に、認識対象物が見切れていることによって入力画像内に存在しておらず（その画像の外側に存在しており）追跡できないものや、オクルージョンの発生や光源の変化により追跡できないものが存在する場合には、他の特徴点群の中から特徴点を追跡用特徴点として選択することができる。したがって、追跡する特徴点の数を予め増やすことなく、追跡可能な特徴点の数が減少してしまうのを防止できる。よって、処理負荷を増加させることなく、姿勢パラメータの推定精度の低下を抑制することができる。

（２） 本発明は、（１）の姿勢パラメータ推定装置について、前記特徴点選択手段は、前記第１の特徴点群として、配置の偏りを取り除かれた複数の特徴点を用いることを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）の姿勢パラメータ推定装置において、第１の特徴点群として、配置の偏りを取り除かれた複数の特徴点を用いることとした。このため、追跡用特徴点として、偏りなく配置された特徴点を選択することができるので、姿勢パラメータの推定精度を向上させることができる。

（３） 本発明は、（１）または（２）の姿勢パラメータ推定装置について、前記姿勢パラメータ更新手段により求められた前フレームにおける姿勢パラメータ、または、前記入力画像から求められる初期姿勢パラメータを用いて、前記認識対象物の姿勢パラメータの予測値を求める姿勢パラメータ予測手段（例えば、図５の姿勢パラメータ予測部１３１に相当）を備え、前記特徴点選択手段は、前記姿勢パラメータ予測手段により求められた姿勢パラメータの予測値を用いて、前記追跡用特徴点として選択した各特徴点の前記入力画像における位置を推定し、前記特徴点追跡手段は、前記特徴点選択手段により推定された位置を、特徴点追跡の初期位置として、前記追跡用特徴点の追跡を行うことを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）または（２）の姿勢パラメータ推定装置において、前フレームにおける姿勢パラメータまたは入力画像から求められる初期姿勢パラメータを用いて、姿勢パラメータの予測値を求め、求めた姿勢パラメータの予測値を用いて、特徴点を追跡する際の初期位置を求めることとした。このため、入力画像の中から特徴点を追跡する領域を限定することができるので、処理負荷を軽減させることができる。

（４） 本発明は、（１）から（３）のいずれかの姿勢パラメータ推定装置について、前記特徴点選択手段は、前記第１の特徴点群の中から前記追跡用特徴点として選択した特徴点の中に、前記入力画像に存在していない特徴点が存在すれば、当該追跡用特徴点から当該特徴点を除外するとともに、除外した特徴点の数だけ、前記２種類以上の特徴点群のうち当該第１の特徴点群を除くものの中から特徴点を選択して当該追跡用特徴点に追加することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）から（３）のいずれかの姿勢パラメータ推定装置において、第１の特徴点群の中から追跡用特徴点として選択した特徴点の中に、入力画像に存在していない特徴点が存在していれば、この特徴点の代わりに他の特徴点群の中の特徴点を同じ数だけ、追跡用特徴点とすることとした。このため、追跡する特徴点の数を一定に保つことができるので、姿勢パラメータの推定精度の低下を抑制することができる。

（５） 本発明は、（４）の姿勢パラメータ推定装置について、前記特徴点選択手段は、前記２種類以上の特徴点群のうち前記第１の特徴点群を除くものの中から特徴点を前記追跡用特徴点として選択する際に、当該追跡用特徴点として選択されている他の特徴点までの距離が大きいものから順に選択することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（４）の姿勢パラメータ推定装置において、２種類以上の特徴点群のうち第１の特徴点群を除くものの中から特徴点を追跡用特徴点として選択する際に、追跡用特徴点として選択されている他の特徴点までの距離が大きいものから順に選択することとした。このため、追跡する特徴点が偏ってしまうのを抑制できるので、姿勢パラメータの推定精度を向上させることができる。

（６） 本発明は、（１）から（５）のいずれかの姿勢パラメータ推定装置について、前記特徴点選択手段は、予め定められた数の特徴点を、フレームごとに前記追跡用特徴点として選択することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）から（５）のいずれかの姿勢パラメータ推定装置において、予め定められた数の特徴点を、フレームごとに追跡用特徴点として選択することとした。このため、追跡する特徴点の数は、フレームが切り替わっても一定になるので、処理負荷や姿勢パラメータの推定精度がフレームごとに変動してしまうのを抑制できる。

（７） 本発明は、（１）から（６）のいずれかの姿勢パラメータ推定装置について、前記特徴点選択手段は、予め定められた数以上のフレームで連続して追跡に失敗した特徴点については、以降のフレームにおいて予め定められた数のフレームだけ、前記追跡用特徴点として選択しないことを特徴とする姿勢パラメータ推定装置を提案している。

ここで、オクルージョンの発生や光源の変化による画像への影響は、連続するフレーム間で相関性を有することが期待される。このため、あるフレームにおいてオクルージョンの発生や光源の変化により追跡できなかった特徴点は、次のフレームでも追跡に失敗する可能性が高くなる。

そこで、この発明によれば、（１）から（６）のいずれかの姿勢パラメータ推定装置において、予め定められた数以上のフレームで連続して追跡に失敗した特徴点については、以降のフレームにおいて予め定められた数のフレームだけ、追跡用特徴点として選択しないこととした。このため、オクルージョンの発生や光源の変化によって追跡可能な特徴点の数が減少してしまうのを抑制できる。

（８） 本発明は、（１）から（７）のいずれかの姿勢パラメータ推定装置について、前記入力画像と、当該入力画像と同一の画像であって当該入力画像より解像度の低い１つ以上の画像と、を求める複数解像度画像取得手段（例えば、図５の画像ピラミッド生成部１３２に相当）を備え、前記複数解像度画像取得手段により求められた画像のうち解像度の低いものから高いものに向かって順番に、前記特徴点選択手段による特徴点の選択と、前記特徴点追跡手段による特徴点の追跡と、前記姿勢パラメータ更新手段による姿勢パラメータの取得と、を繰り返し、前記特徴点選択手段は、現在の処理対象である画像の解像度よりも１つ解像度の低い画像を用いて前記姿勢パラメータ更新手段により求められた姿勢パラメータを用いて、特徴点の選択を行うことを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）から（７）のいずれかの姿勢パラメータ推定装置において、解像度の低い画像から高い画像に向かって順番に、特徴点の選択と、特徴点の追跡と、姿勢パラメータの取得と、を繰り返すこととした。また、特徴点の選択の際には、現在の処理対象である画像の解像度よりも１つ解像度の低い画像を用いて求めた姿勢パラメータを、用いることとした。このため、認識対象物や撮像手段の動きに対して頑健な姿勢パラメータを推定することができる。

（９） 本発明は、（１）から（８）のいずれかの姿勢パラメータ推定装置について、前記認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを２種類以上の特徴点群のいずれかに登録する特徴点登録手段（例えば、図２の特徴点登録部２２に相当）を備えることを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１）から（８）のいずれかの姿勢パラメータ推定装置において、認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを２種類以上の特徴点群のいずれかに登録することとした。このため、偏りなく配置された特徴点を用いて姿勢パラメータを推定することができるので、姿勢パラメータの推定精度を向上させることができる。

（１０） 本発明は、（９）の姿勢パラメータ推定装置について、前記特徴点登録手段は、前記認識対象物の特徴点をクラスタリングして、配置に偏りなく特徴点を選択することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（９）の姿勢パラメータ推定装置において、認識対象物の特徴点をクラスタリングして、配置に偏りなく特徴点を選択することとした。このため、偏りなく配置された特徴点を用いて姿勢パラメータを推定することができるので、姿勢パラメータの推定精度を向上させることができる。

（１１） 本発明は、（１０）の姿勢パラメータ推定装置について、前記特徴点登録手段は、前記第１の特徴点群として登録する特徴点の数（例えば、後述のＮｂ個に相当）に、前記認識対象物の特徴点をクラスタリングし、各クラスから１点ずつ特徴点を選択することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１０）の姿勢パラメータ推定装置において、第１の特徴点群として登録する特徴点の数に、認識対象物の特徴点をクラスタリングし、各クラスから１点ずつ特徴点を選択することとした。このため、第１の特徴点群として登録する特徴点の数を設定することで、姿勢パラメータの推定に必要な数の特徴点を、第１の特徴群として登録することができる。

（１２） 本発明は、（１０）または（１１）の姿勢パラメータ推定装置について、前記特徴点登録手段は、前記認識対象物の特徴点をクラスタリングする際に、k-means型の手法を用いることを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（１０）または（１１）の姿勢パラメータ推定装置において、認識対象物の特徴点をクラスタリングする際に、k-means型の手法を用いることとした。このため、第１の特徴点群として、偏りなく配置された特徴点を登録することができる。

（１３） 本発明は、（９）から（１２）のいずれかの姿勢パラメータ推定装置について、前記特徴点登録手段は、前記第１の特徴点群として特徴点を登録した後に、第２の特徴点群として特徴点を登録し、前記第２の特徴点群には、前記認識対象物の特徴点のうち前記第１の特徴点群として登録された特徴点と前記第２の特徴点群として登録された特徴点とを除くものの中から、当該第１の特徴点群または当該第２の特徴点群として登録された特徴点からの距離が大きいものから順に登録することを特徴とする姿勢パラメータ推定装置を提案している。

この発明によれば、（９）から（１２）のいずれかの姿勢パラメータ推定装置において、認識対象物の特徴点のうち、第１の特徴点群として登録された特徴点と、第２の特徴点群として登録された特徴点と、を除くものの中から、第１の特徴点群または第２の特徴点群として登録された特徴点からの距離が大きいものから順に、第２の特徴点群として登録することとした。このため、第２の特徴点群として登録されている特徴点は、第２の特徴点群として登録されている他の特徴点や、第１の特徴点群として登録されている特徴点からできる限り離れていることになる。したがって、偏りなく配置された特徴点を用いて姿勢パラメータを推定することができるので、姿勢パラメータの推定精度を向上させることができる。

（１４） 本発明は、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定システム（例えば、図１の姿勢パラメータ推定システムＡＡに相当）であって、姿勢パラメータ推定装置（例えば、図１の姿勢パラメータ推定装置１に相当）と、前記姿勢パラメータ推定装置と通信可能に設けられたサーバ（例えば、図１のサーバ２に相当）と、を備え、前記サーバは、前記認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを２種類以上の特徴点群（例えば、後述のＮｂ点の基本特徴点と、後述のＮｓ点の補助特徴点と、に相当）のいずれかに登録する特徴点登録手段（例えば、図２の特徴点登録部２２に相当）を備え、前記姿勢パラメータ推定装置は、前記２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する特徴点選択手段（例えば、図５の特徴点選択部１３３に相当）と、前記特徴点選択手段により選択された追跡用特徴点を追跡する特徴点追跡手段（例えば、図５の特徴点追跡部１３４に相当）と、前記特徴点追跡手段による追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める姿勢パラメータ更新手段（例えば、図５の姿勢パラメータ更新部１３５に相当）と、を備え、前記特徴点選択手段により、前記２種類以上の特徴点群のうち第１の特徴点群（例えば、後述のＮｂ点の基本特徴点に相当）の中から優先的に特徴点を前記追跡用特徴点として選択することを特徴とする姿勢パラメータ推定システムを提案している。

この発明によれば、認識対象物の特徴点の中から、配置に偏りなく特徴点を選択して、選択した特徴点のそれぞれを２種類以上の特徴点群のいずれかに登録し、これら２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を追跡用特徴点として選択することとした。このため、上述した効果と同様の効果を奏することができる。

（１５） 本発明は、特徴点選択手段（例えば、図５の特徴点選択部１３３に相当）、特徴点追跡手段（例えば、図５の特徴点追跡部１３４に相当）、および姿勢パラメータ更新手段（例えば、図５の姿勢パラメータ更新部１３５に相当）を備え、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置における姿勢パラメータ推定方法であって、前記特徴点選択手段が、予め定められた２種類以上の特徴点群（例えば、後述のＮｂ点の基本特徴点と、後述のＮｓ点の補助特徴点と、に相当）の中から特徴点を追跡用特徴点として選択する第１のステップと、前記特徴点追跡手段が、前記第１のステップにより選択された追跡用特徴点を追跡する第２のステップと、前記姿勢パラメータ更新手段が、前記第２のステップによる追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める第３のステップと、を備え、前記第１のステップでは、前記特徴点選択手段が、前記２種類以上の特徴点群のうち第１の特徴点群（例えば、後述のＮｂ点の基本特徴点に相当）の中から優先的に特徴点を前記追跡用特徴点として選択することを特徴とする姿勢パラメータ推定方法を提案している。

この発明によれば、２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を追跡用特徴点として選択することとした。このため、上述した効果と同様の効果を奏することができる。

（１６） 本発明は、特徴点選択手段（例えば、図５の特徴点選択部１３３に相当）、特徴点追跡手段（例えば、図５の特徴点追跡部１３４に相当）、および姿勢パラメータ更新手段（例えば、図５の姿勢パラメータ更新部１３５に相当）を備え、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置における姿勢パラメータ推定方法を、コンピュータに実行させるためのプログラムであって、前記特徴点選択手段が、予め定められた２種類以上の特徴点群（例えば、後述のＮｂ点の基本特徴点と、後述のＮｓ点の補助特徴点と、に相当）の中から特徴点を追跡用特徴点として選択する第１のステップと、前記特徴点追跡手段が、前記第１のステップにより選択された追跡用特徴点を追跡する第２のステップと、前記姿勢パラメータ更新手段が、前記第２のステップによる追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める第３のステップと、をコンピュータに実行させ、前記第１のステップでは、前記特徴点選択手段が、前記２種類以上の特徴点群のうち第１の特徴点群（例えば、後述のＮｂ点の基本特徴点に相当）の中から優先的に特徴点を前記追跡用特徴点として選択するためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を追跡用特徴点として選択することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、処理負荷を増加させることなく、姿勢パラメータの推定精度の低下を抑制することができる。

本発明の一実施形態に係る姿勢パラメータ推定システムを備えるＡＲシステムのブロック図である。 前記実施形態に係る姿勢パラメータ推定システムが備えるサーバのブロック図である。 前記実施形態に係る姿勢パラメータ推定システムが備えるサーバが行う処理のフローチャートである。 前記実施形態に係る姿勢パラメータ推定システムが備える姿勢パラメータ推定装置のブロック図である。 前記実施形態に係る姿勢パラメータ推定システムが備える姿勢パラメータ推定装置に設けられた姿勢パラメータ追跡部のブロック図である。 前記実施形態に係る姿勢パラメータ推定システムが備える姿勢パラメータ推定装置が行う処理のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［ＡＲシステム１００の構成および動作］
図１は、本発明の一実施形態に係る姿勢パラメータ推定システムＡＡを備えるＡＲシステム１００のブロック図である。ＡＲシステム１００は、姿勢パラメータ推定システムＡＡ、撮像装置３、表示装置４、および付加情報記憶部５を備える。姿勢パラメータ推定システムＡＡは、姿勢パラメータ推定装置１およびサーバ２を備える。

撮像装置３は、認識対象物の画像を連続的に取得し、これら画像を入力画像として姿勢パラメータ推定装置１および表示装置４に送信する。この撮像装置３は、ＷＥＢカメラといった画像を連続的に取得できるもので構成され、例えば携帯端末に搭載されているカメラモジュールであってもよい。なお、認識対象物は、形状や模様の既知である任意の３次元物体または２次元物体（画像）であるものとする。

付加情報記憶部５は、認識対象物に紐付けられた付加情報を記憶している。付加情報は、例えば、ＣＧ（Computer Graphics）や２次元画像の情報で構成される。この付加情報記憶部５は、ＰＣや携帯端末に設けられたＨＤＤ（Hard Disk Drive）やメモリモジュールなどの記憶装置で構成される。

姿勢パラメータ推定システムＡＡは、撮像装置３から送信された入力画像に基づいて、認識対象物の姿勢パラメータを推定し、表示装置４に送信する。また、ＡＲシステム１００が複数の物体を認識対象物とする場合には、推定した姿勢パラメータに加えて、これら複数の認識対象物のうちどれの姿勢パラメータなのかを示す情報も、表示装置４に送信する。姿勢パラメータ推定システムＡＡの詳細については、後述する。

なお、認識対象物の姿勢パラメータは、撮像装置３の外部パラメータとも呼ばれ、認識対象物と撮像装置３との相対的な位置および姿勢の関係を表し、一般に６自由度の行列で表現される。この認識対象物の姿勢パラメータ（撮像装置３の外部パラメータ）と、撮像装置３固有の焦点距離および主軸の位置の情報が含まれる行列（撮像装置３の内部パラメータ）と、その他光学的歪みのパラメータと、によって、表示装置４の表示画面内での物体の見え方が決まる。本実施形態では、内部パラメータや歪みパラメータは、予め、撮像装置３のカメラキャリブレーションなどによって取得され、歪みが取り除かれているものとする。

表示装置４は、認識対象物に紐付けられた付加情報を付加情報記憶部５から読み出し、姿勢パラメータ推定システムＡＡで推定された姿勢パラメータに応じて表示位置や向きを補正して、表示する。この表示装置４は、例えば、携帯端末のディスプレイや、ヘッドマウントディスプレイ（ＨＭＤ）を含んで構成される。

表示装置４が、携帯端末のディスプレイや、ビデオシースルー型のＨＭＤである場合には、撮像装置３から送信された入力画像を表示するとともに、この入力画像に付加情報を重畳させて表示する。具体的には、認識対象物に紐付けられた付加情報を付加情報記憶部５から読み出し、姿勢パラメータ推定システムＡＡで推定された姿勢パラメータに応じて表示位置や向きを決定する。そして、入力画像に対して、読み出した付加情報を決定した表示位置および向きで重畳させ、表示画面に表示する。

また、表示装置４が、透過型のディスプレイや、光学シースルー型のＨＭＤである場合には、付加情報のみを表示する。具体的には、認識対象物に紐付けられた付加情報を付加情報記憶部５から読み出し、姿勢パラメータ推定システムＡＡで推定された姿勢パラメータに応じて表示位置や向きを決定する。そして、表示画面の決定した表示位置に、決定した向きで付加情報を表示して、表示画面を透過してユーザが見ている視界に付加情報を重畳させる。

以上の構成を備えるＡＲシステム１００には、例えば認識対象物が地球儀である場合、高度を視覚表示するように地表を重畳表示したり、過去の大陸形状を重畳表示したり、国境や国名に変更があった場合に新しい情報を重畳表示したり、ジェスチャー認識と組み合わせてユーザが指差した国名を重畳表示したり、といった利用例が想定される。

［姿勢パラメータ推定システムＡＡの構成および動作］
姿勢パラメータ推定システムＡＡは、上述のように、姿勢パラメータ推定装置１およびサーバ２を備える。この姿勢パラメータ推定システムＡＡは、サーバ２により、認識対象物の特徴点として、Ｎｂ点（Ｎｂは、Ｎｂ≧１を満たす整数）の基本特徴点と、Ｎｓ点（Ｎｓは、Ｎｓ≧Ｎｂを満たす整数）の補助特徴点と、の２種類の特徴点を予め決定しておく。そして、この認識対象物の画像が撮像装置３で取得されると、姿勢パラメータ推定装置１により、これらＮｂ点の基本特徴点およびＮｓ点の補助特徴点をサーバ２から読み出し、これらの中から追跡可能な特徴点をＮｂ点選択し、選択したＮｂ点の特徴点を用いて認識対象物の姿勢パラメータを推定する。

［サーバ２の構成および動作］
図２は、サーバ２のブロック図である。サーバ２は、姿勢パラメータ推定装置１と通信可能に接続されており、画像ピラミッド生成部２１、特徴点登録部２２、および特徴点記憶部２３を備える。

（画像ピラミッド生成部２１の動作）
画像ピラミッド生成部２１は、姿勢パラメータ推定システムＡＡが想定している全ての認識対象物のそれぞれについて、認識対象物を含む画像を用いて画像ピラミッド生成して出力する。ここで、画像ピラミッドとは、同一画像で解像度の異なる２つ以上の画像の集合のことであり、画像に対して画像縮小処理を１回以上行うことによって生成される。

ここで、画像縮小処理により画像を縮小する比率（スケールファクタとも呼ばれる）には、例えば１／２といった任意の値を設定することができる。画像縮小処理を行う回数をｎ回（ｎは、任意の正の整数）とすると、画像ピラミッドのレベル数は（ｎ＋１）になり、画像ピラミッドの最も低いレベル（plevel＝０）である１段目に解像度の最も高い画像（元の画像）が設定され、レベルが高くなるに従って、解像度の低い画像が設定されることになる。

（特徴点登録部２２の動作）
特徴点登録部２２は、姿勢パラメータ推定システムＡＡが想定している全ての認識対象物のそれぞれについて、画像ピラミッドのレベルごとに、Ｎｂ点の基本特徴点と、Ｎｓ点の補助特徴点と、の２種類の特徴点を取得し、特徴点記憶部２３に記憶させる。これら２種類の特徴点は、追跡に適した認識対象物の表面上の点（３次元座標）であり、キーフレーム上の特徴点の３次元座標とピクセル座標との組、または、認識対象物の３次元モデルの頂点の座標で指定される。キーフレームには、認識対象物の３次元モデルを予め平面に投影した画像や、認識対象物を予め撮影した画像を適用することができ、認識対象物が平面画像である場合には、その平面画像を適用してもよい。

特徴点登録部２２による基本特徴点および補助特徴点の取得について、姿勢パラメータ推定システムＡＡが想定している全ての認識対象物のうち認識対象物Ｘについて行う場合を例に、以下に詳述する。

まず、特徴点登録部２２は、認識対象物Ｘのキーフレームから、特徴点検出アルゴリズムを用いて認識対象物Ｘの特徴点を検出する。特徴点検出アルゴリズムには、例えばGoodFeaturesToTrackや、Ｈａｒｒｉｓ、Ｈｅｓｓｉａｎ、ＦＡＳＴなどを用いることができる。

次に、特徴点登録部２２は、画像ピラミッドのレベルごとに、検出した特徴点を、ピクセル座標に基づいてＮｂ個のクラスに分類する。特徴点の分類には、例えばk-means＋＋を用いることができる。なお、画像ピラミッドのレベルが低くなるに従って、「Ｎｂ」の値を大きくする。このため、画像ピラミッドのレベルが低くなるに従って、クラスの数が多くなり、後述の基本特徴点の数と、追跡する特徴点の数と、も多くなる。ただし、フレームが切り替わっても画像ピラミッドの同じレベル同士では、「Ｎｂ」の値を等しくする。

次に、特徴点登録部２２は、画像ピラミッドのレベルごとに、Ｎｂ個のクラスのそれぞれにおいて、１点ずつ特徴点を選択する。これによれば、画像ピラミッドのレベルごとに、Ｎｂ点の特徴点が選択されることになる。そこで、画像ピラミッドのレベルごとに、これらＮｂ点の特徴点を基本特徴点とする。特徴点の選択には、例えば特徴点のスコアを用いることができる。具体的には、各特徴点のスコア（例えば、ＦＡＳＴやＨａｒｒｉｓの応答値）を求め、スコアの最も高い特徴点を１つずつクラスごとに選択する。

次に、特徴点登録部２２は、画像ピラミッドのレベルごとに、検出した特徴点のうちＮｂ点の基本特徴点を除くものの中から、Ｎｓ点を選択し、補助特徴点とする。具体的には、まず、第１の処理において、検出した特徴点のうちＮｂ点の基本特徴点を除くもののそれぞれについて、最も近くに位置する基本特徴点までの距離を求める。次に、第２の処理において、最も近くに位置する基本特徴点までの距離が最も大きいものを１点、補助特徴点として選択する。次に、第３の処理において、検出した特徴点のうち、Ｎｂ点の基本特徴点と、補助特徴点と、を除くもののそれぞれについて、最も近くに位置する基本特徴点または補助特徴点までの距離を求める。次に、第４の処理において、最も近くに位置する基本特徴点または補助特徴点までの距離が最も大きいものを１点、補助特徴点として選択する。以降、補助特徴点としてＮｓ点の特徴点を選択するまで、第３の処理と第４の処理とを繰り返す。これによれば、Ｎｓ点の補助特徴点のそれぞれを、他の補助特徴点やＮｂ点の基本特徴点からできるだけ離して配置することができ、Ｎｓ点の補助特徴点を偏りなく配置することができる。

次に、特徴点登録部２２は、画像ピラミッドのレベルごとに、認識対象物Ｘの特徴点として、選択したＮｂ点の基本特徴点と、選択したＮｓ点の補助特徴点と、を特徴点記憶部２３に記憶させる。

（特徴点記憶部２３の動作）
特徴点記憶部２３は、特徴点登録部２２により選択されたＮｂ点の基本特徴点およびＮｓ点の補助特徴点を、姿勢パラメータ推定システムＡＡが想定している全ての認識対象物のそれぞれについて、画像ピラミッドのレベルごとに記憶する。また、特徴点記憶部２３は、姿勢パラメータ推定装置１から特徴点を要求されると、要求された認識対象物について記憶しているＮｂ点の基本特徴点およびＮｓ点の補助特徴点を、画像ピラミッドのレベルごとに、姿勢パラメータ推定装置１に送信する。

図３は、認識対象物Ｘについての基本特徴点および補助特徴点を決定する場合にサーバ２が行う処理のフローチャートである。

ステップＳ１において、サーバ２は、画像ピラミッド生成部２１により、認識対象物Ｘのキーフレームを用いて画像ピラミッドを生成し、ステップＳ２に処理を移す。

ステップＳ２において、サーバ２は、特徴点登録部２２により、ステップＳ１で生成した画像ピラミッドを用いて、画像ピラミッドのレベルごとに認識対象物の特徴点を検出し、ステップＳ３に処理を移す。

ステップＳ３において、サーバ２は、特徴点登録部２２により、画像ピラミッドのレベルごとに、ステップＳ２で検出した特徴点をＮｂ個にクラスタリングし、ステップＳ４に処理を移す。

ステップＳ４において、サーバ２は、特徴点登録部２２により、画像ピラミッドのレベルごとに、ステップＳ３におけるクラスタリングの結果を用いて、ステップＳ２で検出した特徴点の中から基本特徴点をＮｂ点選択し、ステップＳ５に処理を移す。

ステップＳ５において、サーバ２は、特徴点登録部２２により、画像ピラミッドのレベルごとに、ステップＳ２で検出した特徴点のうち、ステップＳ４で選択したＮｂ点の基本特徴点と、他の補助特徴点と、を除くもののそれぞれについて、最も近くに位置する基本特徴点または補助特徴点までの距離を求め、ステップＳ６に処理を移す。

ステップＳ６において、サーバ２は、画像ピラミッドのレベルごとに、特徴点登録部２２により、ステップＳ５で求めた距離の最も大きい特徴点を補助特徴点として１つ選択し、ステップＳ７に処理を移す。

ステップＳ７において、サーバ２は、特徴点登録部２２により、画像ピラミッドのレベルごとに、補助特徴点をＮｓ点ずつ選択したか否かを判別する。選択したと判別した場合には、図３の処理を終了し、選択していないと判別した場合には、ステップＳ５に処理を戻す。

［姿勢パラメータ推定装置１の構成および動作］
図４は、姿勢パラメータ推定装置１のブロック図である。姿勢パラメータ推定装置１は、対象物識別部１１、初期姿勢パラメータ推定部１２、および姿勢パラメータ追跡部１３を備える。

（対象物識別部１１の動作）
対象物識別部１１は、撮像装置３から送信された入力画像に基づいて、入力画像内の認識対象物の識別処理を行い、その結果を識別結果として出力する。識別処理では、認識対象物から特徴量が予め検出されていることを前提として、まず、入力画像から局所特徴量を検出する。次に、検出した局所特徴量と、予め検出されている特徴量と、の照合を行って、認識対象物を識別する。

なお、認識対象物が多数存在する場合には、上述の識別処理の処理負荷が高くなる。そこで、認識対象物が多数存在する場合には、姿勢パラメータ推定装置１は、外部に設けられた外部サーバに入力画像を送信し、外部サーバで上述の識別処理を行わせ、その結果を識別結果として受信するものとしてもよい。また、認識対象物の存在する数が少ない場合には、対象物識別部１１による処理を省くものとしてもよい。

（初期姿勢パラメータ推定部１２の動作）
初期姿勢パラメータ推定部１２は、撮像装置３から送信された入力画像と、対象物識別部１１から出力された識別結果と、に基づいて初期姿勢パラメータ推定処理を行い、その結果を初期姿勢パラメータとして出力する。初期姿勢パラメータ推定処理では、例えば特許文献２や非特許文献１に示されているアルゴリズムにより、入力画像に含まれる認識対象物の姿勢パラメータを推定する。

なお、後述の姿勢パラメータ追跡部１３は、上述の初期姿勢パラメータを、姿勢パラメータの初期値として認識対象物の追跡を開始する場合に用いる。このため、初期姿勢パラメータ推定部１２は、上述の初期姿勢パラメータ推定処理を、姿勢パラメータ追跡部１３が特徴点の追跡を開始する場合に行う。ただし、姿勢パラメータ追跡部１３は、特徴点の追跡に失敗する場合もある。そこで、姿勢パラメータ追跡部１３による追跡が失敗した場合にも、初期姿勢パラメータ推定部１２は、上述の初期姿勢パラメータ推定処理を行う。

（姿勢パラメータ追跡部１３の構成および動作）
姿勢パラメータ追跡部１３は、撮像装置３から送信された入力画像と、この入力画像に含まれる認識対象物に対してサーバ２の特徴点記憶部２３に記憶されている基本特徴点および補助特徴点と、後述の追跡処理の初期値と、に基づいて追跡処理を行って、認識対象物の姿勢パラメータを求めて出力する。追跡処理の初期値には、追跡処理の状況に応じたものを用いる。具体的には、認識対象物の追跡を開始する場合と、認識対象物の追跡に失敗した場合と、には、追跡処理の初期値として、初期姿勢パラメータ推定部１２から出力される初期姿勢パラメータを用いる。一方、認識対象物の追跡に成功している場合、すなわち前フレームから継続して認識対象物を追跡している場合には、追跡処理の初期値として、前フレームにおいて追跡処理により求めた姿勢パラメータを用いる。

図５は、姿勢パラメータ追跡部１３のブロック図である。姿勢パラメータ追跡部１３は、姿勢パラメータ予測部１３１、画像ピラミッド生成部１３２、特徴点選択部１３３、特徴点追跡部１３４、および姿勢パラメータ更新部１３５を備える。

（姿勢パラメータ予測部１３１の動作）
姿勢パラメータ予測部１３１は、上述の追跡処理の初期値、すなわち、初期姿勢パラメータ推定部１２から出力される初期姿勢パラメータと、前フレームにおいて求めた姿勢パラメータと、のいずれかに基づいて姿勢パラメータ予測処理を行い、その結果を姿勢パラメータ予測値として出力する。姿勢パラメータ予測処理では、上述の初期姿勢パラメータまたは前フレームにおける姿勢パラメータに基づいて、現在のフレームにおける姿勢パラメータ予測値を求める。

なお、認識対象物の追跡に成功している場合には、姿勢パラメータ予測処理で予測アルゴリズムを用いる。予測アルゴリズムには、様々なものを適用することが可能である。例えば、認識対象物と撮像装置３との線形な運動モデルを仮定し、２フレーム前の姿勢パラメータと前フレームの姿勢パラメータとの差分（移動量）を前フレームの姿勢パラメータに適用して、現在のフレームにおける姿勢パラメータ予測値とするという予測アルゴリズムを、適用してもよい。

また、姿勢パラメータ予測処理は、必ずしも行う必要はなく、前フレームにおいて追跡処理により求めた姿勢パラメータをそのまま出力するものとしてもよい。しかし、姿勢パラメータ予測処理を行うことによって、認識対象物や撮像装置３の動きに対する頑健性を向上させることができる場合がある。

（画像ピラミッド生成部１３２の動作）
画像ピラミッド生成部１３２は、画像ピラミッド生成部２１と同様の画像縮小処理を、画像ピラミッド生成部２１が行った回数と同じ回数だけ行って、撮像装置３から送信された入力画像を用いて画像ピラミッド生成して出力する。

画像縮小処理を行う回数をｎ回とすると、画像ピラミッドのレベル数は（ｎ＋１）になり、画像ピラミッドの最も低いレベル（plevel＝０）である１段目に撮像装置３から送信された入力画像が設定され、レベルが高くなるに従って、解像度の低い画像が設定されることになる。

（特徴点選択部１３３の動作）
特徴点選択部１３３は、画像ピラミッド生成部１３２から出力される画像ピラミッドに加えて、姿勢パラメータ予測部１３１から出力される姿勢パラメータ予測値と、姿勢パラメータ更新部１３５から出力される姿勢パラメータと、のいずれかを用いて、画像ピラミッドのレベルごとに、追跡する特徴点を選択するとともに、選択した特徴点を追跡する際の初期位置を決定して出力する。

具体的には、特徴点選択部１３３は、まず、特徴点を追跡する認識対象物についてのＮｂ点の基本特徴点およびＮｓ点の補助特徴点を、サーバ２の特徴点記憶部２３から読み出す。そして、読み出したＮｂ点の基本特徴点を、追跡する特徴点として選択する。

次に、特徴点を追跡する際の初期位置の決定を、画像ピラミッドの最も高いレベルの画像において行う場合には、特徴点選択部１３３は、姿勢パラメータ予測部１３１から出力される姿勢パラメータ予測値に基づいて、Ｎｂ点の基本特徴点のそれぞれを予測位置に投影する。具体的には、Ｎｂ点の基本特徴点のそれぞれの３次元座標を、撮像装置３の内部パラメータと、上述の姿勢パラメータ予測値と、を用いて画像ピラミッドの最も高いレベルの画像上に投影し、画像ピラミッドの最も高いレベルの画像における特徴点追跡の初期位置とする。なお、認識対象物が平面画像である場合には、特徴点追跡の初期位置は、ホモグラフィ変換によって決定される。

また、特徴点を追跡する際の初期位置の決定を、画像ピラミッドの最も高いレベル以外のレベルの画像において行う場合には、特徴点選択部１３３は、姿勢パラメータ更新部１３５から出力される姿勢パラメータ、すなわち画像ピラミッドの１つ上のレベルの画像における姿勢パラメータに基づいて、Ｎｂ点の基本特徴点のそれぞれを予測位置に投影する。具体的には、画像ピラミッドのｐ段目（ｐは、１≦ｐ≦ｎを満たす整数）の画像において追跡する特徴点の初期位置を決定する場合には、Ｎｂ点の基本特徴点のそれぞれの３次元座標を、撮像装置３の内部パラメータと、画像ピラミッドの（ｐ＋１）段目における姿勢パラメータと、を用いて画像ピラミッドのｐ段目の画像上に投影し、画像ピラミッドのｐ段目における特徴点追跡の初期位置とする。なお、認識対象物が平面画像である場合には、特徴点追跡の初期位置は、ホモグラフィ変換によって決定される。

次に、特徴点選択部１３３は、画像ピラミッドのレベルごとに、Ｎｂ点の基本特徴点の中に、認識対象物が見切れていることによってその画像に存在しておらず（その画像の外側に存在しており）追跡できないものや、オクルージョンの発生や光源の変化により追跡できないものが存在していないかを判断する。そして、追跡できないものがあると判断した場合には、追跡する特徴点から、追跡できない基本特徴点を除外するとともに、追跡する特徴点に、除外した基本特徴点の数だけ補助特徴点を追加する。これによれば、Ｎｂ点の基本特徴点の中に追跡できないものが存在してしまっても、追跡できる特徴点の数をＮｂ点に保つことができる。

Ｎｓ点の補助特徴点のうちどれを追加するかについては、サーバ２の特徴点登録部２２で補助特徴点を選択する際に求めた、最も近くに位置する基本特徴点または他の補助特徴点までの距離を用いる。具体的には、まず、Ｎｓ点の補助特徴点のそれぞれに対して、最も近くに位置する基本特徴点または他の補助特徴点までの距離が大きいものほど序列を高く設定する。次に、Ｎｓ点の補助特徴点の中から、序列の高いものから順に、追跡できない基本特徴点の数だけ補助特徴点を選択する。次に、選択した補助特徴点のそれぞれを、上述の基本特徴点と同様に画像に投影して特徴点追跡の初期位置を求める。そして、特徴点追跡の初期位置を求めた補助特徴点の中に、上述のように追跡できないものが存在していれば、追跡できる補助特徴点が見つかるまで、序列の高いものから順に、上述の選択および特徴点追跡の初期位置の取得を繰り返す。

なお、上述のオクルージョンの発生や光源の変化による画像への影響は、連続するフレーム間で相関性を有することが期待される。このため、あるフレームにおいてオクルージョンの発生や光源の変化により追跡できなかった特徴点は、次のフレームでも追跡に失敗する可能性が高くなる。そこで、予め定められた数以上のフレーム（例えば５フレーム）で連続して追跡に失敗した特徴点については、以降のフレームにおいて予め定められた数のフレーム（例えば２フレーム）だけ、追跡する特徴点として選択しないようにする。

（特徴点追跡部１３４の動作）
特徴点追跡部１３４は、画像ピラミッドのレベルごとに、特徴点選択部１３３から出力されるＮｂ点の特徴点のそれぞれを、特徴点追跡手法により追跡して出力する。

特徴点追跡手法については、例えば非特許文献１にPatch Trackerという名称で示されている。このマッチングは、まず、画像ピラミッドの最も高いレベルの画像に対して行われる。このため、探索範囲が狭くても、入力画像では広い範囲を探索したことに相当し、認識対象物や撮像手段の動きに対して頑健な特徴点追跡が可能になる。また、このマッチングは、画像ピラミッドの最も高いレベルの画像に対して行うことで得られた、比較的広い探索範囲（例えば５×５）で荒く推定した姿勢パラメータを初期値として、画像ピラミッドの低いレベルの画像に対して狭い探索範囲（例えば２×２）で行われる。このため、高精度な特徴点追跡を行うことができ、特徴点の追跡精度の低下を抑えることができる。

具体的には、特徴点追跡部１３４は、まず、特徴点選択部１３３から出力されるＮｂ点の特徴点のそれぞれについて、周囲の８×８の矩形領域の画素情報（輝度値）を、特徴点選択部１３３でその特徴点を投影する際に用いられたパラメータを用いてキーフレームから取得して、切り出し画像とする。

次に、特徴点追跡部１３４は、Ｎｂ個の切り出し画像のそれぞれを、画像ピラミッドの最も高いレベルの画像と比較して、Ｎｂ個の切り出し画像のそれぞれについて、一致する領域を画像ピラミッドの最も高いレベルの画像の中から推定する。これら画像の比較では、ＮＣＣ（Normalized Cross Correlation）や、ＺＮＣＣ（Zero-mean Normalized Cross Correlation）を用いたマッチングを行う。マッチングによって高い相関を有する領域を求めることができると、この領域を切り出し画像と一致する領域であると推定する。これによれば、この領域の中心のピクセル座標が、Ｎｂ個の特徴点のそれぞれの追跡位置になる。

なお、姿勢パラメータ予測部１３１による姿勢パラメータ予測処理が理想的に行われた場合には、切り出し画像と一致する領域の中心は、画像ピラミッドの最も高いレベルの画像のうち特徴点追跡の初期位置と一致する。そこで、上述のマッチングについては、Ｎｂ個の切り出し画像のそれぞれについて、画像ピラミッドの最も高いレベルの画像のうち、特徴点選択部１３３により決定されたこの画像における特徴点追跡の初期位置を中心として予め定められた領域（例えば、５×５の矩形領域）に限定して行う。

次に、特徴点追跡部１３４は、Ｎｂ個の切り出し画像のそれぞれを、画像ピラミッドの２番目に高いレベルの画像と比較して、Ｎｂ個の切り出し画像のそれぞれについて、一致する領域を画像ピラミッドの２番目に高いレベルの画像の中から推定する。なお、推定の際には、Ｎｂ個の切り出し画像のそれぞれについて、画像ピラミッドの２番目に高いレベルの画像のうち、特徴点選択部１３３により決定されたこの画像における特徴点追跡の初期位置、すなわち画像ピラミッドの最も高いレベルの画像において求めた追跡位置を中心として、予め定められた領域に限定して、上述のマッチングを行う。

以降、特徴点追跡部１３４は、上述のマッチングによる推定を、画像ピラミッドの（ｎ−ａ）段目（ａは、０≦ａ＜ｎ−１を満たす任意の整数）の画像に対して、画像ピラミッドの（ｎ−ａ＋１）段目の画像において求めた追跡位置を中心として予め定められた領域に限定して行うことを、画像ピラミッドの１段目の画像に対して行うまで、繰り返す。そして、画像ピラミッドの１段目の画像において求めたＮｂ点の追跡位置を、Ｎｂ点の特徴点の追跡結果として出力する。

（姿勢パラメータ更新部１３５の動作）
姿勢パラメータ更新部１３５は、画像ピラミッドのレベルごとに、姿勢パラメータ予測部１３１から出力される姿勢パラメータ予測値と、特徴点追跡部１３４による特徴点の追跡結果と、に基づいて、認識対象物の姿勢パラメータを推定する。これら追跡結果は、特徴点の３次元座標と、その特徴点の入力画像上のピクセル座標（追跡位置）と、の組で構成される。これら３次元座標とピクセル座標との関係は、以下の式（１）で表される。

式（１）において、［Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ］は、特徴点の３次元座標を示し、［ｕ_ｉ、ｖ_ｉ］は、特徴点の入力画像上におけるピクセル座標を示し、［・］^Ｔは、転置行列を示す。また、Ａは、撮像装置３の内部パラメータを示し、Ｗは、撮像装置３の外部パラメータ（姿勢パラメータ）を示す。姿勢パラメータの推定値Ｗ＾は、姿勢パラメータ予測部１３１から出力される姿勢パラメータ予測値を初期値として、非線形の最適化手法を用いて以下の式（２）で求めることができる。

式（２）において、ｍ’_ｉは、入力画像上の追跡位置を示し、ρ（・）は、ロバスト推定の重み係数を示す。

図６は、姿勢パラメータ追跡部１３が行う処理のフローチャートである。

ステップＳ１１において、姿勢パラメータ追跡部１３は、姿勢パラメータ予測部１３１により、上述の姿勢パラメータ予測処理を行って、姿勢パラメータ予測値を生成し、ステップＳ１２に処理を移す。

ステップＳ１２において、姿勢パラメータ追跡部１３は、画像ピラミッド生成部１３２により、入力画像を用いて画像ピラミッドを生成し、ステップＳ１３に処理を移す。

ステップＳ１３において、姿勢パラメータ追跡部１３は、特徴点選択部１３３により、画像ピラミッドの処理対象レベルの画像において追跡するＮｂ点の特徴点を、サーバ２に記憶されているＮｂ点の基本特徴点およびＮｓ点の補助特徴点の中から選択し、ステップＳ１４に処理を移す。

ステップＳ１４において、姿勢パラメータ追跡部１３は、特徴点追跡部１３４により、画像ピラミッドの処理対象レベルの画像において、ステップＳ１３で選択した特徴点を追跡し、ステップＳ１５に処理を移す。

ステップＳ１５において、姿勢パラメータ追跡部１３は、姿勢パラメータ更新部１３５により、ステップＳ１４における状態推定用特徴点の追跡結果に基づいて、画像ピラミッドの処理対象レベルにおける認識対象物の姿勢パラメータを推定し、ステップＳ１６に処理を移す。

ステップＳ１６において、姿勢パラメータ追跡部１３は、特徴点追跡部１３４により、処理対象レベルが最も低いレベルであるか否かを判別する。そして、処理対象レベルが最も低いレベルであると判別した場合には、図６に示す処理を終了し、処理対象レベルが最も低いレベルではないと判別した場合には、ステップＳ１３に処理を戻す。なお、本実施形態では、フレームが切り替わるたびに、姿勢パラメータ追跡部１３が最も高いレベルに処理対象レベルを設定する。

ステップＳ１７において、姿勢パラメータ追跡部１３は、特徴点追跡部１３４により、画像ピラミッドの処理対象レベルを１つ下の段に遷移させ、ステップＳ１３に処理を戻す。

以上の姿勢パラメータ推定システムＡＡによれば、以下の効果を奏することができる。

姿勢パラメータ推定システムＡＡは、Ｎｂ点の基本特徴点の中から優先的に、追跡する特徴点を選択する。このため、Ｎｂ点の基本特徴点の中に、認識対象物が見切れていることによって入力画像内に存在しておらず（その画像の外側に存在しており）追跡できないものや、オクルージョンの発生や光源の変化により追跡できないものが存在する場合には、Ｎｓ点の補助特徴点の中から、追跡する特徴点を追加することができる。したがって、追跡する特徴点の数を予め増やすことなく、追跡可能な特徴点の数が減少してしまうのを防止できる。よって、処理負荷を増加させることなく、姿勢パラメータの推定精度の低下を抑制することができる。

また、姿勢パラメータ推定システムＡＡは、前フレームにおける姿勢パラメータまたは入力画像から求められる初期姿勢パラメータを用いて、姿勢パラメータ予測値を求め、求めた姿勢パラメータ予測値を用いて、特徴点を追跡する際の初期位置を求める。このため、入力画像の中から特徴点を追跡する領域を限定することができるので、処理負荷を軽減させることができる。

また、姿勢パラメータ推定システムＡＡは、Ｎｂ点の基本特徴点の中に、入力画像に存在していない特徴点が存在していれば、この特徴点の代わりにＮｓ点の補助特徴点の中から同じ数だけ、追跡する特徴点に追加する。このため、追跡する特徴点の数を一定に保つことができるので、姿勢パラメータの推定精度の低下を抑制することができる。

また、姿勢パラメータ推定システムＡＡは、Ｎｓ点の補助特徴点の中から追跡する特徴点を選択する際に、既に選択されている他の特徴点までの距離が大きいものから順に選択する。このため、追跡する特徴点が偏ってしまうのを抑制できるので、姿勢パラメータの推定精度を向上させることができる。

また、解像度の低い画像においては、細かい模様が見えにくくなるので、追跡する特徴点の数が多くしても、特徴点の追跡処理の処理負荷が増加するにもかかわらず、特徴点の追跡精度はあまり向上しない。一方、解像度の高い画像においては、細かい画像も見えやすくなるので、追跡する特徴点の数を多くすると、特徴点の追跡精度が向上する。そこで、姿勢パラメータ推定システムＡＡは、画像ピラミッドのレベルが低くなるに従って、「Ｎｂ」の値を大きくする。このため、解像度の高い画像では、解像度の低い画像と比べて、多くの特徴点を追跡することができ、姿勢パラメータの推定精度を向上させることができる。

また、姿勢パラメータ推定システムＡＡは、Ｎｂ点の特徴点を、追跡する特徴点としてフレームごとに選択する。すなわち、姿勢パラメータ推定システムＡＡは、追跡する特徴点の数を、画像ピラミッドのレベルに応じて上述のように変化させるが、フレームが切り替わっても画像ピラミッドの同じレベル同士では等しくする。このため、追跡する特徴点の数は、上述のように画像ピラミッドのレベルに応じて変化するが、追跡する特徴点の総数は、フレームが切り替わっても一定になるので、処理負荷や姿勢パラメータの推定精度がフレームごとに変動してしまうのを抑制できる。

また、姿勢パラメータ推定システムＡＡは、予め定められた数以上のフレームで連続して追跡に失敗した特徴点については、以降のフレームにおいて予め定められた数のフレームだけ、追跡する特徴点として選択しない。このため、オクルージョンの発生や光源の変化によって追跡可能な特徴点の数が減少してしまうのを抑制できる。

また、姿勢パラメータ推定システムＡＡは、画像ピラミッドのレベルの高い画像からレベルの低い画像に向かって順番に、特徴点の選択と、特徴点の追跡と、姿勢パラメータの取得と、を繰り返す。また、特徴点の選択の際には、現在の処理対象レベルよりも１つレベルの高い画像を用いて求めた姿勢パラメータを、用いる。このため、認識対象物や撮像装置３の動きに対して頑健な姿勢パラメータを推定することができる。

また、姿勢パラメータ推定システムＡＡは、検出した認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを基本特徴点または補助特徴点として登録する。このため、偏りなく配置された特徴点を用いて姿勢パラメータを推定することができるので、姿勢パラメータの推定精度を向上させることができる。

また、姿勢パラメータ推定システムＡＡは、認識対象物の特徴点のうち基本特徴点および補助特徴点を除くものの中から、基本特徴点または他の補助特徴点からの距離が大きいものから順に、補助特徴点として登録する。このため、補助特徴点のそれぞれは、他の補助特徴点や基本特徴点からできる限り離れていることになる。したがって、偏りなく配置された特徴点を用いて姿勢パラメータを推定することができるので、姿勢パラメータの推定精度を向上させることができる。

なお、本発明の姿勢パラメータ推定システムＡＡの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを姿勢パラメータ推定システムＡＡに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、姿勢パラメータ推定システムＡＡに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した姿勢パラメータ推定システムＡＡから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を姿勢パラメータ推定システムＡＡにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、認識対象物の姿勢パラメータの推定を、姿勢パラメータ推定装置１およびサーバ２を備える姿勢パラメータ推定システムＡＡが行うものとしたが、これに限らず、例えば、姿勢パラメータ推定装置１が行うものとしてもよい。この場合には、姿勢パラメータ推定装置１は、図２の画像ピラミッド生成部２１、特徴点登録部２２、および特徴点記憶部２３も備えることになり、サーバ２は不要になる。

また、上述の実施形態では、画像ピラミッド生成部２１、１３２は、画像縮小処理を行うものとしたが、これに限らず、例えば画像縮小処理に加えて平滑化処理も行うものとしてもよい。

また、上述の実施形態において、画像ピラミッド生成部１３２は、入力画像と、この入力画像に対して画像縮小処理を行ったものと、で画像ピラミッドを構成するものとしたが、これに限らない。例えば、撮像装置３と、撮像装置３より有効画素数の少ない１つ以上の撮像装置と、で同じ画像を取得すると、同一の画像であって解像度の異なる画像を取得することができる。そこで、これら撮像装置３および撮像装置３により同一の画像で解像度の異なる画像を取得し、これら画像で画像ピラミッドを構成するものとしてもよい。

また、上述の実施形態では、画像ピラミッドを生成するものとしたが、これに限らず、画像ピラミッドを生成しないものとしてもよい。

また、上述の実施形態では、「Ｎｂ」の値を、画像ピラミッドのレベルが低くなるに従って大きくするものとしたが、これに限らず、画像ピラミッドのレベルによらず一定にしてもよい。また、「Ｎｓ」の値も、画像ピラミッドのレベルが低くなるに従って大きくするものとしてもよい。

１・・・姿勢パラメータ推定装置
２・・・サーバ
２１・・・画像ピラミッド生成部
２２・・・特徴点登録部
２３・・・特徴点記憶部
３・・・撮像装置
４・・・表示装置
５・・・付加情報記憶部
１１・・・対象物識別部
１２・・・初期姿勢パラメータ推定部
１３・・・姿勢パラメータ追跡部
１３１・・・姿勢パラメータ予測部
１３２・・・画像ピラミッド生成部
１３３・・・特徴点選択部
１３４・・・特徴点追跡部
１３５・・・姿勢パラメータ更新部
１００・・・ＡＲシステム
ＡＡ・・・姿勢パラメータ推定システム

Claims (14)

1. 入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置であって、
   予め定められた２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する特徴点選択手段と、
   前記特徴点選択手段により選択された追跡用特徴点を追跡する特徴点追跡手段と、
   前記特徴点追跡手段による追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める姿勢パラメータ更新手段と、を備え、
   前記特徴点選択手段は、前記２種類以上の特徴点群のうち第１の特徴点群の中から前記追跡用特徴点として選択した特徴点の中に、前記入力画像に存在していない特徴点が存在すれば、当該追跡用特徴点から当該特徴点を除外するとともに、除外した特徴点の数だけ、前記２種類以上の特徴点群のうち前記第１の特徴点群を除くものの中から特徴点を選択して当該追跡用特徴点に追加する際に、当該追跡用特徴点として選択されている他の特徴点までの距離が大きいものから順に選択することを特徴とする姿勢パラメータ推定装置。
2. 前記特徴点選択手段は、前記第１の特徴点群として、配置の偏りを取り除かれた複数の特徴点を用いることを特徴とする請求項１に記載の姿勢パラメータ推定装置。
3. 前記姿勢パラメータ更新手段により求められた前フレームにおける姿勢パラメータ、または、前記入力画像から求められる初期姿勢パラメータを用いて、前記認識対象物の姿勢パラメータの予測値を求める姿勢パラメータ予測手段を備え、
   前記特徴点選択手段は、前記姿勢パラメータ予測手段により求められた姿勢パラメータの予測値を用いて、前記追跡用特徴点として選択した各特徴点の前記入力画像における位置を推定し、
   前記特徴点追跡手段は、前記特徴点選択手段により推定された位置を、特徴点追跡の初期位置として、前記追跡用特徴点の追跡を行うことを特徴とする請求項１または２に記載の姿勢パラメータ推定装置。
4. 前記特徴点選択手段は、予め定められた数の特徴点を、フレームごとに前記追跡用特徴点として選択することを特徴とする請求項１から３のいずれかに記載の姿勢パラメータ推定装置。
5. 入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置であって、
   予め定められた２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する特徴点選択手段と、
   前記特徴点選択手段により選択された追跡用特徴点を追跡する特徴点追跡手段と、
   前記特徴点追跡手段による追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める姿勢パラメータ更新手段と、を備え、
   前記特徴点選択手段は、前記２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を前記追跡用特徴点として選択し、予め定められた数以上のフレームで連続して追跡に失敗した特徴点については、以降のフレームにおいて予め定められた数のフレームだけ、前記追跡用特徴点として選択しないことを特徴とする姿勢パラメータ推定装置。
6. 前記入力画像と、当該入力画像と同一の画像であって当該入力画像より解像度の低い１つ以上の画像と、を求める複数解像度画像取得手段を備え、
   前記複数解像度画像取得手段により求められた画像のうち解像度の低いものから高いものに向かって順番に、前記特徴点選択手段による特徴点の選択と、前記特徴点追跡手段による特徴点の追跡と、前記姿勢パラメータ更新手段による姿勢パラメータの取得と、を繰り返し、
   前記特徴点選択手段は、現在の処理対象である画像の解像度よりも１つ解像度の低い画像を用いて前記姿勢パラメータ更新手段により求められた姿勢パラメータを用いて、特徴点の選択を行うことを特徴とする請求項１から５のいずれかに記載の姿勢パラメータ推定装置。
7. 前記認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを２種類以上の特徴点群のいずれかに登録する特徴点登録手段を備えることを特徴とする請求項１から６のいずれかに記載の姿勢パラメータ推定装置。
8. 前記特徴点登録手段は、前記認識対象物の特徴点をクラスタリングして、配置に偏りなく特徴点を選択することを特徴とする請求項７に記載の姿勢パラメータ推定装置。
9. 前記特徴点登録手段は、前記第１の特徴点群として登録する特徴点の数に、前記認識対象物の特徴点をクラスタリングし、各クラスから１点ずつ特徴点を選択することを特徴とする請求項８に記載の姿勢パラメータ推定装置。
10. 前記特徴点登録手段は、前記認識対象物の特徴点をクラスタリングする際に、k-means型の手法を用いることを特徴とする請求項８または９に記載の姿勢パラメータ推定装置。
11. 前記特徴点登録手段は、
    前記第１の特徴点群として特徴点を登録した後に、第２の特徴点群として特徴点を登録し、
    前記第２の特徴点群には、前記認識対象物の特徴点のうち前記第１の特徴点群として登録された特徴点と前記第２の特徴点群として登録された特徴点とを除くものの中から、当該第１の特徴点群または当該第２の特徴点群として登録された特徴点からの距離が大きいものから順に登録することを特徴とする請求項７から１０のいずれかに記載の姿勢パラメータ推定装置。
12. 入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定システムであって、
    姿勢パラメータ推定装置と、
    前記姿勢パラメータ推定装置と通信可能に設けられたサーバと、を備え、
    前記サーバは、
    前記認識対象物の特徴点の中から、配置に偏りなく特徴点を選択し、選択した特徴点のそれぞれを２種類以上の特徴点群のいずれかに登録する特徴点登録手段を備え、
    前記特徴点登録手段は、前記認識対象物の特徴点をクラスタリングして、配置に偏りなく特徴点を選択し、前記認識対象物の特徴点をクラスタリングする際に、k-means型の手法を用い、
    前記姿勢パラメータ推定装置は、
    前記２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する特徴点選択手段と、
    前記特徴点選択手段により選択された追跡用特徴点を追跡する特徴点追跡手段と、
    前記特徴点追跡手段による追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める姿勢パラメータ更新手段と、を備え、
    前記特徴点選択手段により、前記２種類以上の特徴点群のうち第１の特徴点群の中から優先的に特徴点を前記追跡用特徴点として選択することを特徴とする姿勢パラメータ推定システム。
13. 特徴点選択手段、特徴点追跡手段、および姿勢パラメータ更新手段を備え、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置における姿勢パラメータ推定方法であって、
    前記特徴点選択手段が、予め定められた２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する第１のステップと、
    前記特徴点追跡手段が、前記第１のステップにより選択された追跡用特徴点を追跡する第２のステップと、
    前記姿勢パラメータ更新手段が、前記第２のステップによる追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める第３のステップと、を備え、
    前記第１のステップにおいて、前記特徴点選択手段は、前記２種類以上の特徴点群のうち第１の特徴点群の中から前記追跡用特徴点として選択した特徴点の中に、前記入力画像に存在していない特徴点が存在すれば、当該追跡用特徴点から当該特徴点を除外するとともに、除外した特徴点の数だけ、前記２種類以上の特徴点群のうち前記第１の特徴点群を除くものの中から特徴点を選択して当該追跡用特徴点に追加する際に、当該追跡用特徴点として選択されている他の特徴点までの距離が大きいものから順に選択することを特徴とする姿勢パラメータ推定方法。
14. 特徴点選択手段、特徴点追跡手段、および姿勢パラメータ更新手段を備え、入力画像内の認識対象物の姿勢パラメータを推定する姿勢パラメータ推定装置における姿勢パラメータ推定方法を、コンピュータに実行させるためのプログラムであって、
    前記特徴点選択手段が、予め定められた２種類以上の特徴点群の中から特徴点を追跡用特徴点として選択する第１のステップと、
    前記特徴点追跡手段が、前記第１のステップにより選択された追跡用特徴点を追跡する第２のステップと、
    前記姿勢パラメータ更新手段が、前記第２のステップによる追跡結果に基づいて、前記認識対象物の姿勢パラメータを求める第３のステップと、をコンピュータに実行させ、
    前記第１のステップにおいて、前記特徴点選択手段は、前記２種類以上の特徴点群のうち第１の特徴点群の中から前記追跡用特徴点として選択した特徴点の中に、前記入力画像に存在していない特徴点が存在すれば、当該追跡用特徴点から当該特徴点を除外するとともに、除外した特徴点の数だけ、前記２種類以上の特徴点群のうち前記第１の特徴点群を除くものの中から特徴点を選択して当該追跡用特徴点に追加する際に、当該追跡用特徴点として選択されている他の特徴点までの距離が大きいものから順に選択するためのプログラム。

Images