JP6827717B2 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。 観察者が仮想物体を現実空間に実在するように感じるための装置として、頭部搭載型のビデオシースルー型HMD（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが用いられる。

ビデオシースルー型HMDを利用するＭＲでは、HMDに内蔵されているカメラから画像が入力される毎に、画像撮影時のカメラの現実空間における位置姿勢を計測する。そしてこのカメラの位置姿勢と、焦点距離などのカメラの固有パラメータとに基づいてＣＧを描画し、そのＣＧを現実空間の画像上に重畳するという処理が一般的に行われる。その場合、仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が取れている必要があり、位置合わせの問題が生じる。ここでの位置合わせの問題は、HMDに内蔵したカメラの現実空間における位置姿勢を計測する問題となる。

カメラの位置姿勢の計測は、例えば磁気センサや超音波センサ、光学式センサなど6自由度の物理センサによって、計測することが可能である。一方で、ビデオシースルー型HMDを利用する場合には、ビデオシースルー型HMDに内蔵されているカメラからの画像情報（例えばエッジや輝度勾配などの自然特徴）を位置合わせのために利用することが可能である。非特許文献１では、自然特徴として特徴点を画像から検出し、当該特徴点を用いてカメラの位置姿勢を推定している。

Klein, G., Murray, D.: Parallel tracking and mapping for small AR workspaces. In: Intl. Symp. on Mixed and Augmented Reality (ISMAR), 2007

しかしながら、非特許文献１の技術では、カメラの位置姿勢を推定するために、画像上で自然特徴が多数検出できることが前提となっている。例えば、模様がない壁をカメラで撮影した場合に、その画角内で適当な自然特徴を検出できないと、カメラの位置姿勢を推定できないという課題がある。

また、角点、エッジ、輝度の勾配など、利用される自然特徴は、採用されるカメラ位置姿勢の推定手法に応じて異なる。したがって、カメラ位置姿勢の推定手法に関する前提知識を持たないユーザは、どのような自然特徴が安定したカメラ位置姿勢の推定に適しているかわからないという課題があった。

本発明は、上記の課題に鑑みてなされたものであり、カメラ位置姿勢の推定に適した自然特徴の情報を提供することを目的とする。

上記の目的を達成するために、本発明の一態様による情報処理装置は以下の構成を備える。即ち、
カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置であって、
現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段と、
前記保持手段により保持される複数の環境情報のうちユーザ指示に基づいて選択された環境情報を、体験する複合現実感に複合されるべき現実空間の環境を示す環境情報として取得する取得手段と、
前記取得手段により取得された環境情報に関連付けられて前記保持手段により保持される複数の特徴情報のうちユーザ指示に基づいて選択された特徴情報を、前記複合現実感を体験する現実空間に配置されるべき特徴情報として決定する決定手段と、
前記決定手段により決定された特徴情報を出力する出力手段と、
を備えることを特徴とする。

本発明によれば、カメラ位置姿勢の推定に適した自然特徴の情報を提供することが可能となる。

第１の実施形態に係る情報処理装置の構成例を示す図。 第１の実施形態に係る特徴情報の例を示す図。 第１の実施形態に係る複合現実感の体験環境情報と特徴情報とのデータ構造を表す図。 第１の実施形態に係る情報処理装置の処理手順を示すフローチャート。 第２の実施形態に係る情報処理装置の構成例を示す図。 第２の実施形態に係る情報処理装置が複合現実感の体験環境情報を決定する処理の手順を示すフローチャート。 本発明の一実施形態に係るハードウェア構成例を示すブロック図。 第３の実施形態に係る情報処理装置の構成例を示す図。 第３の実施形態に係る情報処理装置の処理手順を示すフローチャート。

以下、添付図面を参照して本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
第１の実施形態では、複合現実感を体験するために、自然特徴を用いたカメラ位置姿勢推定に適した特徴物体を、複合現実感の体験環境に応じて決定する例を説明する。図１は、本実施形態に係る情報処理装置１０００の構成例を示す図である。情報処理装置１０００は、環境情報取得部１０１０と、情報保持部１０２０と、データ管理部１０３０と、情報決定部１０４０とを備えている。情報処理装置１０００は、情報設定部１００５及び情報提示装置１００と接続されている。

情報処理装置１０００は、環境情報取得部１０１０により取得された複合現実感の体験環境情報（複合現実感を体験する環境に関する環境情報）と、情報保持部１０２０が保持する特徴情報とに基づいて、自然特徴を用いたカメラ位置姿勢の推定に適した特徴情報を決定する処理を行う。以下、各処理部の動作を詳細に説明する。

環境情報取得部１０１０は、複合現実感の体験環境情報を取得する。環境情報取得部１０１０は、例えば、ＧＵＩで表示した複合現実感の体験環境情報のリストからユーザが例えばマウスで選択することによって体験環境情報を取得する。

ここで、複合現実感の体験環境情報について説明する。複合現実感の体験環境情報は、複合現実感を体験する環境に関する情報であり、例えば、複合現実感を体験する場所のカテゴリ情報である。

例えば、設計製造分野で複合現実感システムを用いて設計レビューを行う場合、大型のモニタまたはスクリーンや、机や椅子などが置かれた会議室でレビューが行われる。これらの物体が存在する環境で複合現実感を体験する場合、複合現実感の体験環境情報として、場所のカテゴリ情報を「会議室」とする。

また、建築分野では、建設前や建設中の建物のデザインイメージについて複合現実感システムを用いてレビューを行う場合、建設機械や工事中の看板などが置かれた建設現場でレビューが行われる。これらの物体が存在する環境で複合現実感を体験する場合、複合現実感の体験環境情報として、場所のカテゴリ情報を「建設現場」とする。

また、例えば、製造分野において複合現実感システムを用いて製造機械の導入のレビューを行う場合、既存の製造装置や部品棚、組み立てロボットや調整工具などが置かれた工場でレビューが行われる。これらの物体が存在する環境で複合現実感を体験する場合、複合現実感の体験環境情報として、場所のカテゴリ情報を「工場」とする。なお、上記に限るものではなく、複合現実感を体験する場所に基づいて設定されるカテゴリ情報であれば、いずれの複合現実感の体験環境情報であってもよい。

情報保持部１０２０は、特複合現実感を体験する環境に関する環境情報と関連付けられた、カメラの位置姿勢の推定に使用される特徴情報を保持する。ここで、特徴情報について説明する。特徴情報は、自然特徴によるカメラ位置姿勢推定のために必要となる自然特徴が、十分かつ安定して検出可能なことを事前に確認された情報である。本実施形態では、特徴情報は、例えば印刷可能な特徴パターンを有する画像情報である。

データ管理部１０３０は、環境情報取得部１０１０が取得した複合現実感の体験環境情報と、情報保持部１０２０が保持する特徴情報とを管理する。データ管理部１０３０は、環境情報取得部１０１０が取得した複合現実感の体験環境情報を情報決定部１０４０に出力する。また、情報決定部１０４０からの要求に応じて、複合現実感の体験環境情報に対応する特徴情報を情報保持部１０２０から取得して情報決定部１０４０へ出力する。情報決定部１０４０は、データ管理部１０３０から取得した情報に基づいて特徴情報を決定する。

ここで、情報設定部１００５は、複合現実感を体験する場所のカテゴリ情報である複合現実感の体験環境情報と、特徴情報とを、ユーザ操作により対応付けて事前に設定する処理を行う。ここで、図２は、本実施形態に係る特徴情報の例である。図３は、本実施形態に係る複合現実感の体験環境情報と特徴情報とのデータ構造を表す図である。例えば、複合現実感の体験環境情報が「工場」である場合に、図２に示すような「安全第一」といった標語のポスターの自然特徴が十分かつ安定して検出可能な場合、このようなポスターの画像を、図３における画像１に設定する。

カテゴリ情報と、特徴パターンを有する画像とをマウスで選択することによってユーザが手動で設定する。カテゴリ情報と特徴情報との組み合わせは、複合現実感を体験する場所に馴染みがあり、違和感のない特徴物体を、ユーザの知識に基づいて情報処理装置１０００が動作する前に予め設定しておく。情報設定部１００５により設定された情報は、不図示のハードディスク等の記憶媒体ドライブに格納され、不図示のＣＰＵにより読み出される。情報提示装置１００は、ディスプレイであり、情報決定部１０４０により決定された特徴情報を提示する。提示は、表示又は投影により行うことができる。

図４は、本実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。図４は、より具体的には、複合現実感を体験するために、自然特徴を用いたカメラ位置姿勢の推定に適した特徴情報を、複合現実感の体験環境に応じて決定する処理の手順を示す。なお、同フローチャートに従ったプログラムコードは、本実施形態に係る情報処理装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出されて実行される。

Ｓ４０１０では、環境情報取得部１０１０が、複合現実感の体験環境情報を取得して、データ管理部１０３０へ出力する。本実施形態では、環境情報取得部１０１０は、ＧＵＩ表示された複合現実感の体験環境情報のリストからユーザが例えばマウスで選択することによって体験環境情報を取得する。

Ｓ４０２０では、データ管理部１０３０が、環境情報取得部１０１０が取得した複合現実感の体験環境情報を、情報決定部１０４０へ出力する。Ｓ４０３０では、情報決定部１０４０が、複合現実感の体験環境情報に対応する特徴情報を、データ管理部１０３０へ要求する。

Ｓ４０４０では、データ管理部１０３０が、複合現実感の体験環境情報を情報保持部１０２０へ出力し、情報保持部１０２０が保持している、複合現実感の体験環境情報と対応付けられた特徴情報を情報保持部１０２０から取得する。

Ｓ４０５０では、データ管理部１０３０は、複合現実感の体験環境情報と特徴情報との組を、情報決定部１０４０へ出力する。Ｓ４０６０では、情報決定部１０４０が、複合現実感の体験環境情報に対応する特徴情報を、所望の特徴情報として決定する。なお、複合現実感の体験環境情報に対応する特徴情報が複数存在する場合には、ユーザ操作により所望の特徴情報を選択することにより決定してもよい。

以上の処理により、複合現実感の体験環境情報に対応する特徴パターンを有する画像を、特徴情報として決定することができる。

そして、決定した特徴情報を、ディスプレイ等の情報提示装置１００に表示し、ディスプレイに表示された特徴パターンを有する画像を印刷して、複合現実感の体験環境に実際に配置する。この配置した特徴物体をカメラで撮影して得られた画像から特徴を検出し、自然特徴に基づくカメラの位置姿勢推定を行うことで、安定した複合現実感を提供可能となる。また、複合現実感を体験する場所に、馴染みがあり且つ違和感のない特徴物体が配置されるため、高い没入感を得ることができる。

[変形例１]
第１の実施形態では、複合現実感の体験環境情報は、場所のカテゴリ情報であるとしていた。しかし、複合現実感の体験環境情報は、これに限るものではなく、カメラ位置姿勢の推定に利用する自然特徴の種類であってもよい。角点、エッジ、輝度の勾配など、利用される自然特徴は、採用されるカメラ位置姿勢の推定手法に応じて異なる。したがって、どのような自然特徴が、安定したカメラ位置姿勢推定に適しているかを考慮して、特徴情報を設定することが望ましい。

環境情報取得部１０１０は、カメラ位置姿勢の推定に利用する自然特徴の種類に関する情報を取得する。取得した、カメラ位置姿勢の推定に利用する自然特徴の種類に関する情報をデータ管理部１０３０に出力する。例えば、角点検出を行ってカメラの位置姿勢の推定を行う場合には、自然特徴の種類である「角点」を複合現実感の体験環境情報として設定する。特徴情報としては、安定して角点検出可能な特徴パターンを、複合現実感の体験環境情報である「角点」と対応付けて設定してもよい。

このように、カメラ位置姿勢推定に利用する自然特徴の種類に関する情報を特徴情報と対応付けて予め設定しておき、自然特徴の種類に関する情報を複合現実感の体験環境情報として取得し、特徴情報を決定する。これにより、どのような形状が安定して自然特徴として検出されるかというアルゴリズムをユーザが知ることなく、安定して検出可能な特徴物体を決定することが可能になる。

[変形例２]
第１の実施形態では、特徴情報は、印刷可能な特徴パターンを有する画像であった。しかし、特徴情報は、自然特徴が検出可能な物体を決定できれば、これに限るものではない。例えば、複合現実感の体験環境情報として「会議室」という場所のカテゴリだった場合、椅子や机といった物体の特徴を利用することが可能であるため、それらの３次元モデル情報を特徴情報としてもよい。

物体の３次元モデル情報を特徴情報として決定し、複合現実感のユーザに提示することで、どのような物体を安定して自然特徴を検出可能な物体として環境中に追加すればよいかを、事前知識のないユーザに知らせることができる。

[変形例３]
第１の実施形態では、特徴情報は、印刷可能な特徴パターンを有する画像であった。また、変形例２では、３次元モデル情報を特徴情報としてもよいことを述べた。しかし、特徴情報は、自然特徴が検出可能な物体を決定できれば、これに限るものではない。例えば、複合現実感の体験環境情報として「会議室」という場所のカテゴリだった場合、椅子や机といった物体の特徴を利用することが可能であるため、物体の名称情報を特徴情報としてもよい。

物体の名称情報を特徴情報として決定し、複合現実感のユーザに提示することで、どのような物体を安定して自然特徴を検出可能な物体として環境中に追加すればよいかを、事前知識のないユーザに知らせることができる。

[変形例４]
第１の実施形態では、特徴情報は、印刷可能な特徴パターンを有する画像であった。また、変形例２では、３次元モデル情報を特徴情報としてもよいことを述べた。変形例３では、物体の名称情報を特徴情報としてもよいことを述べた。しかし、特徴情報は、自然特徴が検出可能な物体を決定できれば、これに限るものではなく立体物であってもよい。たとえば、３Ｄプリンタと呼ばれる立体模型を出力する装置で生成した立体物であってもよい。

特徴情報が立体物であった場合に、決定された特徴情報を、情報提示装置１００が提示する。このとき、情報提示装置１００は、立体物ごとに割り当てられた点灯制御可能なライトであってもよい。特徴情報として決定された立体物に装着した点灯制御可能なライトを点灯して提示してもよい。立体物を特徴情報として決定し、複合現実感のユーザに提示することで、どのような物体を安定して自然特徴を検出可能な物体として環境中に追加すればよいかを、事前知識のないユーザに知らせることができる。

[変形例５]
第１の実施形態では、ディスプレイ等の情報提示装置１００により表示していた。また、特徴情報は、特徴パターンの画像データを印刷して配置していた。しかし、情報提示装置１００はディスプレイに限るものではない。

例えば、複合現実感の体験環境に固定されたプロジェクタによって特徴情報を投影してもよい。当該投影された特徴パターンを検出することで、カメラの位置姿勢を安定して推定することができる。

[変形例６]
第１の実施形態では、特徴パターンを有する画像を特徴情報として、当該画像をマウスで選択することによってユーザが手動で複合現実感の体験環境情報と対応付ける設定を行っていた。しかし、特徴情報である特徴パターンを有する画像は、複合現実感の体験環境情報をキーワードとしてインターネット上で検索される画像を自動的に設定してもよい。このとき、情報設定部１００５は、インターネットに接続されており、検索可能であるものとする。

特徴情報である特徴パターンを有する画像をインターネット経由で検索して設定することにより、複合現実感の体験環境情報が増えた場合にも、特徴情報の設定を簡便に行うことが可能になる。

（第２の実施形態）
第１の実施形態では、複合現実感の体験環境情報を、ＧＵＩで表示した複合現実感の体験環境情報のリストからユーザがマウスで選択することにより決定する例を説明した。しかし、撮影した画像から検出される物体認識結果に基づいて、複合現実感の体験環境を識別することにより、複合現実感の体験環境情報を決定してもよい。

図５は、第２の実施形態に係る情報処理装置３０００の構成例を示す図である。情報処理装置３０００は、第１の実施形態と同様に、環境情報取得部１０１０と、情報保持部１０２０と、データ管理部１０３０と、情報決定部１０４０とを備えている。情報処理装置３０００は、さらに、情報提示装置１００と、画像取得部１０５０と、一般物体認識部１０６０と、環境情報決定部１０７０と、位置姿勢推定部１０８０とを備えている。

また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）３００に搭載されるカメラ２００は、画像取得部１０５０と接続されている。情報設定部１００５は、第１の実施形態と同様に、情報保持部１０２０と接続されている。

以下、本実施形態について、主に第１の実施形態と異なる部分について説明する。画像取得部１０５０は、カメラ２００によって撮影された画像を、情報処理装置３０００に入力する。画像取得部１０５０は、カメラ２００の出力が、ＩＥＥＥ１３９４などのデジタル出力であれば、例えば、ＩＥＥＥ１３９４インタフェースボードによって実現される。またカメラ２００の出力がＮＴＳＣ信号などのアナログ出力であれば、アナログビデオキャプチャボードによって実現される。また、予め記憶装置に記憶してある静止画や動画像のデジタルデータを読み出してもよい。

図６は、本実施形態に係る複合現実感の体験環境情報を決定する処理の手順を示すフローチャートである。Ｓ６０１０では、画像取得部は１０５０が、カメラ２００から画像を取得する。Ｓ６０２０では、一般物体認識部１０６０が、取得された画像から特徴量を抽出し、不図示の一般物体情報保持部で保持されるデータベースと照合して、物体の識別結果を環境情報決定部１０７０へ出力する。一般物体認識技術は、公知のいずれの認識技術を用いてもよい。

Ｓ６０２０では、環境情報決定部１０７０が、一般物体認識部１０６０により識別された物体の識別結果に基づいて、場所のカテゴリ情報を決定し、複合現実感の体験環境情報として決定する。ここで、例えば、一般物体認識部１０６０が物体をホワイトボードとして認識した場合、複合現実感の体験環境情報である場所のカテゴリとして「会議室」という分類に決定する。

このように、一般的にその場所に存在するであろう物体を、予め場所のカテゴリに分類しておき、一般物体認識によって識別された物体に対して、カテゴリ情報を付与して複合現実感の体験環境情報として環境情報決定部１０７０へ出力する。環境情報取得部１０１０は、環境情報決定部１０７０により決定された複合現実感の体験環境情報を取得する。

以上のようにして、本実施形態では、複合現実感の体験環境情報を一般物体認識に基づいて決定する。そして、第１の実施形態と同様にして決定した特徴情報を、情報提示装置１００により提示する。たとえば、プロジェクタなどで複合現実感体験環境に投影する。なお、プロジェクタに限らず、特徴情報を提示可能であれば、いずれの提示手法であってもよい。

また、位置姿勢推定部１０８０は、公知のカメラ位置姿勢の推定技術に基づいて、提示された特徴パターンを撮影した画像を取得し、当該画像に基づいて自然特徴を検出し、カメラ２００の位置姿勢を推定する。

以上説明したように、複合現実感の体験環境情報に対応する特徴情報を、特徴物体として決定することができる。自然特徴に基づくカメラの位置姿勢推定の際に、安定して自然特徴を検出可能であるため、安定した複合現実感を提供可能となる。また、複合現実感を体験する場所に、馴染みがあり、違和感のない特徴物体が配置されるため、高い没入感を得ることができる。

（第３の実施形態）
第１の実施形態では、複合現実感の体験環境情報を、ＧＵＩで表示した複合現実感の体験環境情報のリストからユーザがマウスで選択することにより取得する例を説明した。第２の実施形態では、撮影した画像から検出される物体認識結果に基づいて、複合現実感の体験環境を識別することにより、複合現実感の体験環境情報を取得する例を説明した。これに対して、本実施形態では、特徴情報の決定に際し、体験環境情報を取得することなく、１つ以上の特徴情報から、特徴検出に使用される特徴情報をユーザに選択させることにより、特徴情報を決定する例を説明する。

図８は、第３の実施形態に係る情報処理装置５０００の構成例を示す図である。情報処理装置５０００は、情報保持部５０１０と、データ管理部５０２０と、情報提示部５０３０と、入力受付部５０５０と、情報決定部５０６０と、情報出力部５０７０とを備えている。情報処理装置５０００は、さらに、情報出力装置５００と、入力装置５０４０と接続されている。

続いて、図９は、本実施形態に係る、複合現実感体験を行うために、ＨＭＤに装着された撮影装置で撮影された特徴検出の対象となる特徴情報を、ユーザの選択によって出力する処理の手順を示すフローチャートである。

Ｓ７０１０では、情報保持部５０１０が、１つ以上の特徴情報をデータ管理部５０２０へ出力する。

Ｓ７０２０では、データ管理部５０２０が、１つ以上の特徴情報を情報提示部５０３０に出力し、情報提示部５０３０が１つ以上の特徴情報を提示する。

Ｓ７０３０では、情報提示部５０３０が提示した１つ以上の特徴情報をユーザが確認して、特徴情報を選択する。マウスやキーボードまたはタッチパネルなどの入力装置５０４０を用いて入力情報を入力することで特徴情報を選択し、入力受付部５０５０が入力情報を受け付ける。

Ｓ７０４０では、入力受付部５０５０が受け付けた入力情報に基づいて、情報決定部５０６０が特徴情報を決定する。

Ｓ７０５０では、情報出力部５０７０が、情報決定部５０６０により決定された特徴情報をディスプレイなどの情報出力装置５００に出力する。物体情報出力部５００は、ディスプレイに限らず、物体特徴情報を出力することができれば、プロジェクタやプリンタであってもよい。

以上説明したように、本実施形態によれば、複合現実感の特徴情報を、ユーザが複数の特徴情報の中から適切な特徴情報を選択して決定することができる。これにより、自然特徴に基づくカメラの位置姿勢推定の際に、安定して自然特徴を検出可能であるため、安定した複合現実感を提供可能となる。また、複合現実感を体験する場所に、馴染みがあり、違和感のない特徴物体が配置されるため、高い没入感を得ることができる。

[変形例]
上記第１〜３の実施形態によれば、ＭＲを体験する環境に適した特徴パターンを出力することができる。これに対し、本変形例では、更に、決定された特徴パターンを現実空間のどの位置に配置すればよいかを示す配置情報（位置情報）もあわせて出力する。

具体的には、現実空間を撮影装置で撮影した画像から特徴を抽出する。抽出される特徴は公知のＳＩＦＴ（Scale-Invariant Feature Transform）やＦＡＳＴ（Features from Accelerated Segment Test）などを用いることができる。次に、画像の中で抽出された特徴の分布を評価する。例えば、画像を複数のブロックに分割し、分割されたブロックごとに抽出された特徴が入っているか否かを判定する。そして、特徴が入っていないと判定されたブロックの画像内での分散がより広がるように、すなわち、抽出された特徴が入るように制御する。例えば、画像内の端の領域に部屋の白い壁があればその領域には特徴が入っていないと判定されうる。本変形例では、先に説明した方法により特徴の分布を評価することによりその分布が広がるように特徴の配置情報（位置情報）もあわせて出力する。

本変形例によれば、特徴の配置についてノウハウや知識を持たないユーザに対しても、好適なパターンを好適な位置に配置させることが可能となる。

（第４の実施形態）
情報処理装置１０００、３０００、５０００を構成する各部はハードウェアまたはソフトウェアで構成してもよい。ハードウェアとして実装しているコンピュータに、このソフトウェアを実行させることで、このコンピュータは、上記実施形態で説明した情報処理装置の動作を行うことになる。

図７は、本実施形態におけるハードウェア構成例を示すブロック図である。ＣＰＵ７００１は、ＲＡＭ７００２やＲＯＭ７００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で情報処理装置が行うものとして説明した上述の各処理を実行する。

ＲＡＭ７００２は、外部記憶装置７００７や記憶媒体ドライブ７００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。ＲＡＭ７００２は、さらにＩ／Ｆ（インタフェース）７００９を介して外部から受信したデータを一時的に記憶するためのエリアを有する。このとき、外部とは例えばカメラ２００を指す。さらに、ＲＡＭ７００２は、ＣＰＵ７００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ７００２は、各種エリアを適宜提供することができる。

ＲＯＭ７００３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード７００４、マウス７００５は、操作入力装置の一例としてのものであり、ユーザが操作することで、各種の指示をＣＰＵ７００１に対して入力することができる。表示部７００６は、ディスプレイにより構成されており、ＣＰＵ７００１による表示制御に基づいて処理結果を画像や文字などで表示することができる。

外部記憶装置７００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置７００７には、ＯＳ（オペレーティングシステム）や、情報処理装置が行うものとして説明した上述の各処理をＣＰＵ７００１に実行させるためのプログラムやデータが格納されている。かかるプログラムには、情報処理装置を構成する各部に対応するプログラムが含まれている。

また、かかるデータには、仮想物体モデルデータや、上述の説明において、既知の情報として説明したものが含まれている。外部記憶装置７００７に保存されているプログラムやデータは、ＣＰＵ７００１による制御に従って適宜ＲＡＭ７００２にロードされる。ＣＰＵ７００１はこのロードされたプログラムやデータを用いて処理を実行することで、情報処理装置が行うものとして上述した各処理を実行することになる。

記憶媒体ドライブ７００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、かかる記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置７００７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいてもよい。記憶媒体ドライブ７００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置７００７やＲＡＭ７００２に対して出力される。

Ｉ／Ｆ７００９は、カメラ２００と接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、合成画像を情報提示装置１００に対して出力するためのＤＶＩポートなどによって構成される。Ｉ／Ｆ７００９を介して受信したデータは、ＲＡＭ７００２や外部記憶装置７００７に入力される。なお、図５に示した画像取得部１０５０の機能の一部は、Ｉ／Ｆ７００９によって実現される。７０１０は、上述の各部を繋ぐバスである。

以上説明したように、本発明によれば、自然特徴によるカメラ位置姿勢を推定する際に、複合現実感を体験する環境に適した特徴情報を提供することができる。そのため、どのような自然特徴がカメラの位置姿勢の推定に適するかを事前にユーザが知っておく必要がなくなる。すなわち、複合現実感を体験する前に、ユーザが前提となる知識を習得する必要がなくなるため、ユーザの負担を軽減し、簡便に複合現実感を体験できるようになる。

また、カメラ位置姿勢の推定手法で利用する自然特徴の特性に応じた特徴情報を、予め保持しておくことができるため、自然特徴を安定して検出することが可能な特徴情報を決定することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報提示装置、２００：カメラ、３００：ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、１０００：情報処理装置、１００５：情報設定部、１０１０：環境情報取得部、１０２０：情報保持部、１０３０：データ管理部、１０４０：情報決定部、１０５０：画像取得部、１０６０：一般物体認識部、１０７０：環境情報決定部、１０８０：位置姿勢推定部、３０００：情報処理装置

Claims (21)

1. カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置であって、
   現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段と、
   前記保持手段により保持される複数の環境情報のうちユーザ指示に基づいて選択された環境情報を、体験する複合現実感に複合されるべき現実空間の環境を示す環境情報として取得する取得手段と、
   前記取得手段により取得された環境情報に関連付けられて前記保持手段により保持される複数の特徴情報のうちユーザ指示に基づいて選択された特徴情報を、前記複合現実感を体験する現実空間に配置されるべき特徴情報として決定する決定手段と、
   前記決定手段により決定された特徴情報を出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記決定手段は、更に、前記特徴情報が配置されるべき位置情報を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記環境情報は、前記複合現実感を体験する場所に関するカテゴリ情報であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記場所に関するカテゴリ情報は、会議室、建設現場、又は工場を示すことを特徴とする請求項３に記載の情報処理装置。
5. カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置であって、
   現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段と、
   体験する複合現実感に複合されるべき現実空間の環境を示す環境情報を取得する取得手段と、
   前記取得手段により取得された環境情報に基づいて、前記複合現実感を体験する現実空間に配置されるべき特徴情報を決定する決定手段と、を有し、
   前記環境情報は、前記複合現実感を体験する場所に関するカテゴリ情報であり、
   前記場所に関するカテゴリ情報は、会議室、建設現場、又は工場を示すことを特徴とする情報処理装置。
6. 前記環境情報は、自然特徴の種類に関する情報であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記自然特徴の種類に関する情報は、角点、エッジ、又は輝度の勾配を示すことを特徴とする請求項６に記載の情報処理装置。
8. ユーザ指示に基づいて前記環境情報を選択する選択手段をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記環境情報に基づいてインターネットで検索された画像を前記特徴情報として設定する情報設定手段をさらに備え、
   前記保持手段は、前記環境情報と、前記情報設定手段により設定された特徴情報とを関連付けて保持することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置であって、
    現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段と、
    体験する複合現実感に複合されるべき現実空間の環境を示す環境情報を取得する取得手段と、
    前記取得手段により取得された環境情報に基づいて、前記複合現実感を体験する現実空間に配置されるべき特徴情報を決定する決定手段と、
    前記環境情報に基づいてインターネットで検索された画像を前記特徴情報として設定する情報設定手段と、を備え、
    前記保持手段は、前記環境情報と、前記情報設定手段により設定された特徴情報とを関連付けて保持することを特徴とする情報処理装置。
11. 画像を取得する画像取得手段と、
    前記取得された画像に基づいて物体を認識する物体認識手段と、
    前記認識された物体に基づいて、前記環境情報を決定する環境情報決定手段と、
    をさらに備えることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記画像取得手段により取得された画像から特徴を検出し、当該検出した特徴に基づいて、前記カメラの位置姿勢を推定する推定手段をさらに備えることを特徴とする請求項１１に記載の情報処理装置。
13. 前記出力手段は、表示するまたは印刷するために前記特徴情報を出力することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
14. 前記出力手段は、前記特徴情報を投影することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
15. 前記特徴情報は、特徴パターンを有する画像情報であることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 前記特徴情報は、物体の３次元モデル情報であることを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
17. 前記特徴情報は、物体の名称情報であることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
18. 現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段を備え、カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置の制御方法であって、
    取得手段が、前記保持手段により保持される複数の環境情報のうちユーザ指示に基づいて選択された環境情報を、体験する複合現実感に複合されるべき現実空間の環境を示す環境情報として取得する取得工程と、
    決定手段が、前記取得工程により取得された環境情報に関連付けられて前記保持手段により保持される複数の特徴情報のうちユーザ指示に基づいて選択された特徴情報を、前記複合現実感を体験する現実空間に配置されるべき特徴情報として決定する決定工程と、
    出力手段が、前記決定工程により決定された特徴情報を出力する出力工程と、
    を有することを特徴とする情報処理装置の制御方法。
19. 現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段を備え、カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置の制御方法であって、
    取得手段が、体験する複合現実感に複合されるべき現実空間の環境を示す環境情報を取得する取得工程と、
    決定手段が、前記取得工程により取得された環境情報に基づいて、前記複合現実感を体験する現実空間に配置されるべき特徴情報を決定する決定工程と、を有し、
    前記環境情報は、前記複合現実感を体験する場所に関するカテゴリ情報であり、
    前記場所に関するカテゴリ情報は、会議室、建設現場、又は工場を示すことを特徴とする情報処理装置の制御方法。
20. 現実空間の環境情報と、前記現実空間の環境情報に対応する特徴情報とを関連付けて保持する保持手段を備え、カメラの位置及び姿勢を推定するために用いる特徴情報を決定するための情報処理装置の制御方法であって、
    取得手段が、体験する複合現実感に複合されるべき現実空間の環境を示す環境情報を取得する取得工程と、
    決定手段が、前記取得工程により取得された環境情報に基づいて、前記複合現実感を体験する現実空間に配置されるべき特徴情報を決定する決定工程と、
    情報設定手段が、前記環境情報に基づいてインターネットで検索された画像を前記特徴情報として設定する情報設定工程と、
    前記保持手段が、前記環境情報と、前記情報設定手段により設定された特徴情報とを関連付けて保持する保持工程と、
    を有することを特徴とする情報処理装置の制御方法。
21. コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images