JP5790692B2 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

Description

本開示は、情報処理装置、情報処理方法および記録媒体に関する。

近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコンまたはアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ空間へのアノテーションの配置は、通常、画像に映る実空間の３次元構造の認識に基づいて行われる。

実空間の３次元構造を認識するための手法としては、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法およびＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）法が知られている。ＳｆＭ法では、視点を変えながら撮像される複数の画像から、それら画像に映る実空間の３次元構造が視差を利用して認識される。ＳＬＡＭ法についての説明は、下記非特許文献１においてなされている。下記特許文献１は、ＳＬＡＭ法において初期化の際に選択される特徴点の３次元位置をＳｆＭ法を用いて認識する手法を開示している。

特開２００９−２３７８４５号公報

Ａｎｄｒｅｗ Ｊ．Ｄａｖｉｓｏｎ，"Ｒｅａｌ−Ｔｉｍｅ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｖｏｌｕｍｅ ２， ２００３， ｐｐ．１４０３−１４１０

一般的に、実空間に付加される仮想オブジェクトの制御は、実オブジェクトの画像におけるサイズに基づいてなされ得る。しかし、実オブジェクトの画像におけるサイズは撮像部と実オブジェクトとの距離などに応じて変化し得る。そのため、実オブジェクトの画像におけるサイズを考慮しただけでは、実オブジェクトの実空間におけるサイズを十分に考慮したとは言えない。

そこで、本開示において、実オブジェクトの実空間におけるサイズを考慮して仮想オブジェクトの制御を行うことを可能とする技術を提供する。

本開示によれば、撮像部により撮像された画像を取得する画像取得部と、前記画像に映る実オブジェクトの認識結果に応じて、仮想オブジェクトを表示させる表示制御部と、を備え、前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御する、情報処理装置が提供される。

また、本開示によれば、撮像部により撮像された画像を取得することと、前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させることと、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、撮像部により撮像された画像を取得する画像取得部と、前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させる表示制御部と、を備え、前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御する、情報処理装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。

以上説明したように本開示によれば、実オブジェクトの実空間におけるサイズを考慮して仮想オブジェクトの制御を行うことが可能である。

本開示の第１の実施形態に係る情報処理装置の概要について説明するための図である。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。 撮像部により撮像された画像から実オブジェクトを認識する手法の例を説明するための図である。 実空間におけるサイズが異なる２種類の実オブジェクトそれぞれを認識する場合について説明するための図である。 実オブジェクトの実空間におけるサイズに基づいて仮想オブジェクトを選択する例を示す図である。 実オブジェクトの実空間におけるサイズに基づいて仮想オブジェクトの動きを制御する例を示す図である。 実オブジェクトの実空間におけるサイズに基づいて仮想オブジェクトの画像におけるサイズを制御する例を示す図である。 本開示の第１の実施形態に係る情報処理装置の動作の流れの例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。 実オブジェクトの実空間におけるサイズを算出する手法の例を説明するための図である。 実オブジェクトの実空間におけるサイズを算出する手法の例を説明するための図である。 実オブジェクトの実空間におけるサイズを算出する手法の例を説明するための図である。 実オブジェクトと床面との間の実空間における距離に基づいて仮想オブジェクトを制御する例を示す図である。 重力方向と所定の物体の姿勢との関係に基づいて仮想オブジェクトを制御する例を示す図である。 所定の物体の姿勢と床面の姿勢との関係に基づいて仮想オブジェクトを制御する例を示す図である。 本開示の第２の実施形態に係る情報処理装置の動作の流れの例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理装置の概要
２．第１の実施形態
２−１．情報処理装置の機能構成例
２−２．実オブジェクトの認識手法
２−３．表示制御の例
２−４．情報処理装置の動作例
３．第２の実施形態
３−１．情報処理装置の機能構成例
３−２．実オブジェクトの実空間におけるサイズ
３−３．表示制御の例
３−４．情報処理装置の動作例
４．ハードウェア構成例
５．むすび

＜＜１．情報処理装置の概要＞＞
最初に、本開示の実施形態に係る情報処理装置１０の概要について説明する。図１は、本開示の実施形態に係る情報処理装置１０の概要について説明するための図である。図１を参照すると、ユーザＵａが有する情報処理装置１０が示されている。情報処理装置１０は、実空間Ｅに向けられた撮像部１２０と操作部１４０と表示部１６０とを備える。撮像部１２０は、実空間Ｅを撮像することによって画像を生成する。

図１に示した例では、表示部１６０は、撮像部１２０によって撮像された画像Ｉｍを表示している。ユーザＵａは表示部１６０によって表示された画像Ｉｍに視点を当てることにより実空間Ｅを把握することが可能である。しかし、画像Ｉｍは必ずしも表示部１６０によって表示されなくてもよい。例えば、表示部１６０が透過型ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）である場合には、表示部１６０によって画像Ｉｍは表示されず、ユーザＵａは、画像Ｉｍの代わりに実空間Ｅに直接視点を当ててもよい。

また、画像Ｉｍには、実オブジェクトＡが映っている。例えば、画像Ｉｍから実オブジェクトＡが認識されると、情報処理装置１０は、実オブジェクトＡの認識結果に基づいて、仮想オブジェクトを実空間Ｅに対応するＡＲ空間に配置する。そうすれば、ユーザＵａは、情報処理装置１０によってＡＲ空間に配置された仮想オブジェクトを、表示部１６０を介して閲覧することができる。実オブジェクトＡの認識は、情報処理装置１０によってなされてもよいし、情報処理装置１０とは異なる装置（例えば、サーバなど）によってなされてもよい。

ここで、一般的に、実空間Ｅに付加される仮想オブジェクトの制御は、実オブジェクトＡの画像Ｉｍにおけるサイズに基づいてなされ得る。しかし、実オブジェクトＡの画像Ｉｍにおけるサイズは撮像部１２０と実オブジェクトＡとの距離などに応じて変化し得る。そのため、実オブジェクトＡの画像Ｉｍにおけるサイズを考慮しただけでは、実オブジェクトＡの実空間Ｅにおけるサイズを十分に考慮したとは言えない。

そこで、本開示において、実オブジェクトＡの実空間Ｅにおけるサイズを考慮して仮想オブジェクトの制御を行うことを可能とする技術を提案する。本開示の第１の実施形態においては、実オブジェクトＡの実空間Ｅにおけるサイズが既知である場合、本開示の第２の実施形態においては、実オブジェクトＡの実空間Ｅにおけるサイズを算出する場合について主に説明する。

なお、以下の説明においては、情報処理装置１０がカメラ機能付きのスマートフォンに適用される場合を例として説明するが、情報処理装置１０は、スマートフォン以外の装置に適用されてもよい。例えば、情報処理装置１０は、ビデオカメラ、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、望遠鏡、双眼鏡等に適用されてもよい。

以上、本開示の実施形態に係る情報処理装置１０の概要について説明した。続いて、本開示の第１の実施形態および本開示の第２の実施形態について順に説明する。なお、本開示の第１の実施形態および本開示の第２の実施形態それぞれにおいて説明する情報処理装置１０の機能は、すべてが組み合わされて用いられてもよいし、一部のみが組み合わされて用いられてもよい。

＜＜２．第１の実施形態＞＞
続いて、本開示の第１の実施形態について説明する。

［２−１．情報処理装置の機能構成例］
まず、本開示の第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明する。図２は、本開示の第１の実施形態に係る情報処理装置１０Ａの機能構成例を示す図である。図２に示すように、情報処理装置１０Ａは、制御部１１０、撮像部１２０、センサ部１３０、操作部１４０、記憶部１５０および表示部１６０を備える。

制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１５０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、画像取得部１１１、画像認識部１１３および表示制御部１１５などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。

撮像部１２０は、画像Ｉｍを撮像するカメラモジュールである。撮像部１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間Ｅを撮像し、画像Ｉｍを生成する。撮像部１２０により生成される画像Ｉｍは、制御部１１０に出力される。なお、図２に示した例では、撮像部１２０は情報処理装置１０Ａと一体化されているが、撮像部１２０は、情報処理装置１０Ａと別体に構成されていてもよい。例えば、情報処理装置１０Ａと有線または無線で接続される撮像装置が撮像部１２０として扱われてもよい。

センサ部１３０は、センサデータを取得する。例えば、センサ部１３０は、３軸加速度センサを含む。３軸加速度センサは、撮像部１２０に加わる重力加速度を測定し、重力加速度の大きさおよび方向を３次元的に表すセンサデータ（加速度データ）を生成する。追加的に、センサ部１３０は、地磁気センサを含んでもよい。地磁気センサは、撮像部１２０の座標系における地磁気の方向を表すセンサデータ（地磁気データ）を生成する。さらに、センサ部１３０は、測位センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ）を含んでもよい。測位センサは、実空間における情報処理装置１０Ａの緯度および経度を表すセンサデータ（測位データ）を生成する。なお、図２に示した例では、センサ部１３０は情報処理装置１０Ａと一体化されているが、センサ部１３０は、情報処理装置１０Ａと別体に構成されていてもよい。

操作部１４０は、ユーザによる操作を検出して制御部１１０に出力する。本明細書においては、操作部１４０がタッチパネルにより構成される場合を想定しているため、ユーザによる操作はタッチパネルをタップする操作に相当する。しかし、操作部１４０はタッチパネル以外のハードウェア（例えば、ボタン等）により構成されていてもよい。なお、図２に示した例では、操作部１４０は情報処理装置１０Ａと一体化されているが、操作部１４０は、情報処理装置１０Ａと別体に構成されていてもよい。

記憶部１５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１５０は、プログラムによって使用される各種のデータ（例えば、各種のセンサデータ、仮想オブジェクトなど）を記憶することもできる。なお、図２に示した例では、記憶部１５０は情報処理装置１０Ａと一体化されているが、記憶部１５０は情報処理装置１０Ａと別体に構成されていてもよい。

表示部１６０は、表示制御部１１５による制御に従って、各種情報の表示を行う。表示部１６０は、例えば、情報処理装置１０Ａにより生成されるＡＲアプリケーションの画像を表示する。表示部１６０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などにより構成される。なお、図２に示した例では、表示部１６０は情報処理装置１０Ａと一体化されているが、表示部１６０は情報処理装置１０Ａと別体に構成されていてもよい。例えば、情報処理装置１０Ａと有線または無線で接続される表示装置が表示部１６０として扱われてもよい。

以上、本開示の第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明した。

［２−２．実オブジェクトの認識手法］
まず、実オブジェクトＡを認識する手法について説明する。図３は、撮像部１２０により撮像された画像Ｉｍから実オブジェクトＡを認識する手法の例を説明するための図である。図３を参照すると、撮像部１２０によって撮像された画像Ｉｍには、実オブジェクトＡが映っている。また、画像認識部１１３によって実オブジェクトＡが認識され、認識結果に応じた仮想オブジェクトが表示制御部１１５によって実空間に対応するＡＲ空間に配置される。

より詳細には、画像認識部１１３によって実オブジェクトＡの位置および姿勢が認識されると、表示制御部１１５は、実オブジェクトＡの位置に従って仮想オブジェクトの位置を特定するとともに実オブジェクトＡの姿勢に従って仮想オブジェクトの姿勢を特定し、特定した位置および姿勢に従って仮想オブジェクトを配置する。実オブジェクトＡの位置と仮想オブジェクトの位置との関係は、あらかじめ定められていてよい。また、実オブジェクトＡの姿勢と仮想オブジェクトの姿勢との関係もあらかじめ定められていてよい。

例えば、画像認識部１１３は、画像Ｉｍに含まれる部分画像と、特徴データに含まれる各特徴点のパッチとを照合し、画像Ｉｍに含まれる特徴点を検出する。画像認識部１１３は、画像Ｉｍ内のある領域に実オブジェクトＡに属する特徴点が高い密度で検出された場合には、その領域に実オブジェクトＡが映っていると認識し得る。画像認識部１１３は、検出された特徴点の間の位置関係と３次元形状データとに基づいて、認識された実オブジェクトＡの位置および姿勢をさらに認識し得る。

図３に示した例では、床面の上に台が設置されており、台の上にテレビジョン装置が実オブジェクトＡの例として存在している。しかし、実オブジェクトＡの種類は特に限定されない。図３を参照すると、実オブジェクトＡの実空間ＥにおけるサイズがサイズＺａｒとして示され、実オブジェクトＡの画像ＩｍにおけるサイズがサイズＺａｉとして示されている。なお、図３に示した例では、実オブジェクトＡの縦の長さを実オブジェクトＡのサイズとしているが、実オブジェクトＡのサイズは実オブジェクトＡの縦の長さ以外の部分の長さであってもよい。

ここで、ユーザＵａが撮像部１２０を実オブジェクトＡにかざし、画像認識部１１３によって実オブジェクトＡが認識されると、認識結果に応じた仮想オブジェクトが、表示制御部１１５によって実空間Ｅに対応するＡＲ空間に配置される。そのとき、仮想オブジェクトの制御に際しては、一般的には、実オブジェクトＡの実空間ＥにおけるサイズＺａｒではなく、実オブジェクトＡの画像ＩｍにおけるサイズＺａｉが考慮される。

図４は、実空間Ｅにおけるサイズが異なる２種類の実オブジェクトＡそれぞれを認識する場合について説明するための図である。図４を参照すると、実空間Ｅ１には実オブジェクトＡ１が存在しており、実オブジェクトＡ１の実空間Ｅ１におけるサイズはサイズＺａｒ１であり、画像認識部１１３によって実オブジェクトＡ１の画像Ｉｍ１０におけるサイズはサイズＺａｉ１として認識されている。

一方、実空間Ｅ２には実オブジェクトＡ２が存在しており、実オブジェクトＡ２の実空間Ｅ２におけるサイズはサイズＺａｒ２であり、画像認識部１１３によって実オブジェクトＡ２の画像Ｉｍ２０におけるサイズはサイズＺａｉ２として認識されている。例えば、図４を参照すると、実オブジェクトＡ１の画像Ｉｍ１０におけるサイズＺａｒ１は実オブジェクトＡ２の画像Ｉｍ２０におけるサイズＺａｒ２と同程度となっている。

しかし、実際には、撮像部１２０と実オブジェクトＡ１との間の距離は、撮像部１２０と実オブジェクトＡ２との間の距離よりも長い。その代わりに、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１は、実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２よりも大きい。このように、実オブジェクトＡの画像Ｉｍにおけるサイズからだけでは、実オブジェクトＡの実空間Ｅにおけるサイズが直接的には把握され得ないのが通例である。

そこで、本開示の第１の実施形態においては、画像取得部１１１は、撮像部１２０により撮像された画像Ｉｍを取得し、表示制御部１１５は、画像Ｉｍに映る実オブジェクトＡの認識結果に応じて、仮想オブジェクトを表示させる。そのとき、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて、仮想オブジェクトを制御する。かかる構成により、実オブジェクトＡの実空間Ｅにおけるサイズを考慮して仮想オブジェクトの制御を行うことが可能となる。

本開示の第１の実施形態においては、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズを取得することが可能である。実オブジェクトＡの実空間Ｅにおけるサイズは、記憶部１５０にあらかじめ登録されていてもよいし、操作部１４０を介してユーザから入力されてもよいし、他の装置から受信されてもよい。

［２−３．表示制御の例］
ここで、仮想オブジェクトの制御の手法としては、様々な手法を採用することが可能である。図５は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトを選択する例を示す図である。まず、図５を参照しながら、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトを選択する例について説明する。

図５を参照すると、図４に示した場合と同様に、実オブジェクトＡ１の実空間Ｅ１におけるサイズはサイズＺａｒ１である。表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１に応じた仮想オブジェクトＶ１１を選択してよい。例えば、表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１が所定の閾値を上回る場合には、仮想オブジェクトＶ１１を選択してよい。仮想オブジェクトＶ１１は特に限定されない。

一方、図５を参照すると、図４に示した場合と同様に、実オブジェクトＡ２の実空間Ｅ２におけるサイズはサイズＺａｒ２である。表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２に応じた仮想オブジェクトＶ２１を選択してよい。例えば、表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２が所定の閾値を下回る場合には、仮想オブジェクトＶ２１を選択してよい。仮想オブジェクトＶ２１は特に限定されない。

以上、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトを選択する例について説明したが、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに応じて、仮想オブジェクトの表示態様を制御してもよい。例えば、表示制御部１１５は、実オブジェクトＡの実空間におけるサイズに応じて、仮想オブジェクトの動きを制御してもよい。

図６は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトの動きを制御する例を示す図である。図６を参照しながら、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトの動きを制御する例について説明する。

図６を参照すると、図４に示した場合と同様に、実オブジェクトＡ１の実空間Ｅ１におけるサイズはサイズＺａｒ１である。表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１に基づいて仮想オブジェクトＶ１２の動きを制御してよい。例えば、表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１が所定の閾値を上回る場合には、仮想オブジェクトＶ１２が所定の第１の動きを示すように制御してもよい。所定の第１の動きは特に限定されないが、図６に示した例では、仮想オブジェクトＶ１２が実オブジェクトＡ１から飛び出してくるような動きに相当している。

一方、図６を参照すると、図４に示した場合と同様に、実オブジェクトＡ２の実空間Ｅ２におけるサイズはサイズＺａｒ２である。表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２に基づいて仮想オブジェクトＶ２２の動きを制御してよい。例えば、表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２が所定の閾値を下回る場合には、仮想オブジェクトＶ２２が所定の第２の動きを示すように制御してもよい。所定の第２の動きは特に限定されないが、図６に示した例では、仮想オブジェクトＶ２２が実オブジェクトＡ１に留まっているような動きに相当している。

また、例えば、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに応じて、仮想オブジェクトの画像Ｉｍにおけるサイズを制御してもよい。例えば、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズが大きいほど、仮想オブジェクトの画像Ｉｍにおけるサイズが大きくなるように仮想オブジェクトの画像Ｉｍにおけるサイズを制御してもよい。

図７は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトの画像Ｉｍにおけるサイズを制御する例を示す図である。図７を参照しながら、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトの画像Ｉｍにおけるサイズを制御する例について説明する。

図７を参照すると、図４に示した場合と同様に、実オブジェクトＡ１の実空間Ｅ１におけるサイズはサイズＺａｒ１である。図４に示した場合と同様に、実オブジェクトＡ２の実空間Ｅ２におけるサイズはサイズＺａｒ２である。表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズＺａｒ１の方が実オブジェクトＡ２の実空間Ｅ２におけるサイズＺａｒ２よりも大きいため、仮想オブジェクトＶ１３の画像Ｉｍ１３におけるサイズを仮想オブジェクトＶ２３の画像Ｉｍ２３におけるサイズよりも大きくしてもよい。

以上、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトの表示態様を制御する例について説明した。なお、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて実オブジェクトＡの実空間Ｅにおける位置を算出することも可能である。具体的には、表示制御部１１５は、実オブジェクトＡの画像Ｉｍにおける位置と実オブジェクトＡの画像Ｉｍにおけるサイズに対する実オブジェクトＡの実空間Ｅにおけるサイズの割合とに基づいて、実オブジェクトＡの実空間Ｅにおける位置を算出し得る。

表示制御部１１５は、このようにして算出した実オブジェクトＡの実空間Ｅにおける位置に基づいて仮想オブジェクトを制御してもよい。あるいは、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおける位置に基づいて撮像部１２０と実オブジェクトＡとの距離を算出することも可能である。したがって、表示制御部１１５は、撮像部１２０と実オブジェクトＡとの距離に基づいて、仮想オブジェクトを制御してもよい。仮想オブジェクトの制御の手法は、上記したように、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトを制御する場合と同様になされてもよい。

［２−４．情報処理装置の動作例］
続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの動作の流れの例について説明する。図８は、本開示の第１の実施形態に係る情報処理装置１０Ａの動作の流れの例を示すフローチャートである。まず、撮像部１２０により画像が撮像され、画像取得部１１１によって画像が取得されると、画像認識部１１３は、画像取得部１１１により取得された画像から実オブジェクトＡを認識する（Ｓ１１）。表示制御部１１５は、実オブジェクトＡの認識結果に応じた仮想オブジェクトを特定し（Ｓ１２）、実オブジェクトＡの実空間Ｅにおけるサイズを取得する（Ｓ１３）。

続いて、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに基づいて仮想オブジェクトを制御し（Ｓ１４）、仮想オブジェクトを表示させる（Ｓ１５）。例えば、表示制御部１１５は、画像認識部１１３によって実オブジェクトＡの位置および姿勢が認識された場合には、認識された位置および姿勢に応じた位置および姿勢により仮想オブジェクトを表示させてもよい。

以上、本開示の第１の実施形態に係る情報処理装置１０Ａの動作の流れの例について説明した。

＜＜３．第２の実施形態＞＞
続いて、本開示の第２の実施形態について説明する。本開示の第１の実施形態においては、実オブジェクトＡの実空間Ｅにおけるサイズが既知である場合について説明したが、本開示の第２の実施形態においては、実オブジェクトＡの実空間Ｅにおけるサイズを算出する場合について主に説明する。

［３−１．情報処理装置の機能構成例］
続いて、本開示の第２の実施形態に係る情報処理装置１０Ｂの機能構成例について説明する。図９は、本開示の第２の実施形態に係る情報処理装置１０Ｂの機能構成例を示す図である。図９に示すように、情報処理装置１０Ｂは、制御部１１０、撮像部１２０、センサ部１３０、操作部１４０、記憶部１５０および表示部１６０を備える。制御部１１０は、画像取得部１１１、センサデータ取得部１１２、画像認識部１１３、環境認識部１１４および表示制御部１１５などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。

［３−２．実オブジェクトの実空間におけるサイズ］
まず、実オブジェクトＡの実空間Ｅにおける位置を算出する手法について説明する。図１０〜図１２は、実オブジェクトＡの実空間Ｅにおけるサイズを算出する手法の例を説明するための図である。図１０を参照すると、物体Ｂが床面Ｆに載置されている。図１０には、物体Ｂの実空間ＥにおけるサイズがサイズＺｂｒとして示されており、物体Ｂの実空間ＥにおけるサイズＺｂｒは既知である。したがって、物体Ｂの実空間ＥにおけるサイズＺｂｒは、記憶部１５０にあらかじめ登録されていてもよいし、操作部１４０を介してユーザＵａから入力されてもよい。

なお、物体ＢがＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のパッケージである場合を例として主に説明するが、物体Ｂは所定の物体の一例に過ぎないため、ＤＶＤのパッケージ以外の物体であってもよい。また、以下では、物体Ｂが床面Ｆに載置されている場合を例として主に説明するが、物体Ｂは床面Ｆに載置されていなくてもよい。また、物体Ｂが床面Ｆに載置される場合であっても、床面Ｆは、所定の平面の一例に過ぎないため、物体Ｂは床面Ｆ以外の平面に載置されていてもよい。

ユーザＵａが撮像部１２０を実空間Ｅにかざすと、撮像部１２０によって画像Ｉｍ１が撮像され、画像認識部１１３は、画像Ｉｍ１から物体Ｂを認識する。具体的には、画像認識部１１３は、物体Ｂの画像Ｉｍ１におけるサイズＺｂｉと物体Ｂの画像Ｉｍ１における位置Ｐｂｉと物体Ｂの姿勢Ｑｂｒとを認識する。表示制御部１１５は、物体Ｂの実空間ＥにおけるサイズＺｂｒと物体Ｂの画像Ｉｍ１におけるサイズＺｂｉと物体Ｂの画像Ｉｍ１における位置Ｐｂｉとに基づいて、物体Ｂの実空間Ｅにおける位置Ｐｂｒを算出する。

表示制御部１１５は、物体Ｂの実空間Ｅにおける位置Ｐｂｒおよび物体Ｂの姿勢Ｑｂｒに基づいて、床面Ｆの実空間Ｅにおける位置Ｐｆｒおよび床面Ｆの姿勢Ｑｆｒを特定することが可能である。例えば、表示制御部１１５は、物体Ｂの実空間Ｅにおける位置Ｐｂｒを床面Ｆの実空間Ｅにおける位置Ｐｆｒとし、物体Ｂの姿勢Ｑｂｒを床面Ｆの姿勢Ｑｆｒとして特定することが可能である。

なお、物体Ｂの実空間Ｅにおける位置Ｐｂｒを特定した旨は、ユーザＵａに知らせることができるとよい。例えば、表示制御部１１５は、物体Ｂの実空間Ｅにおける位置Ｐｂｒを特定した旨を表示させてもよい。図１０に示した例では、物体Ｂの実空間Ｅにおける位置Ｐｂｒを特定した旨が「サイズが既知の物体を認識しました。」といったメッセージＭとして示されているが、物体Ｂの実空間Ｅにおける位置Ｐｂｒを特定した旨は、かかる例に限定されない。

続いて、ユーザＵａが撮像部１２０に実オブジェクトＡを撮像させるために、撮像部１２０の位置および姿勢を変化させることがあり得る。そのため、表示制御部１１５は、撮像部１２０の位置および姿勢を追跡し、その追跡結果に基づいて物体Ｂの位置および姿勢を追跡するとよい。表示制御部１１５は、どのような手法によって撮像部１２０の位置および姿勢を追跡してもよいが、例えば、図１１に示すように、環境認識部１１４による環境認識の結果に基づいて、撮像部１２０の位置および姿勢を追跡してもよい。

環境認識部１１４による環境認識としては、ＳＬＡＭ法に従った演算を用いることが可能である。ＳＬＡＭ法に従った演算によれば、撮像部１２０により撮像される画像に映る実空間Ｅの三次元構造と撮像部１２０の位置および姿勢とを動的に認識することが可能である。ＳＬＡＭ法の状態変数の初期化には、物体Ｂの実空間Ｅにおける位置Ｐｂｒおよび物体Ｂの姿勢Ｑｂｒが利用され得る。

続いて、表示制御部１１５は、画像認識部１１３による物体Ｂの認識結果、環境認識部１１４による環境認識の結果および画像認識部１１３による実オブジェクトＡの認識結果に基づいて、実オブジェクトＡの実空間Ｅにおける位置Ｐａｒを算出し得る。具体的には、表示制御部１１５は、画像認識部１１３によって実オブジェクトＡが認識された場合には、画像認識部１１３により認識される特徴点と環境認識の結果として得られる特徴点とを照合し、照合の結果として実オブジェクトＡの実空間Ｅにおける位置Ｐａｒを算出し得る。

また、表示制御部１１５は、このようにして算出した実オブジェクトＡの実空間Ｅにおける位置Ｐａｒと実オブジェクトＡの画像Ｉｍ３におけるサイズＺａｉと物体Ｂの実空間Ｅにおける位置Ｐｂｒとに基づいて、実オブジェクトＡの実空間ＥにおけるサイズＺａｒを算出することも可能である。

以上、実オブジェクトＡの実空間Ｅにおける位置を算出する手法について説明した。

［３−３．表示制御の例］
続いて、仮想オブジェクトの表示制御の例について説明する。上記したように、床面Ｆの位置および姿勢が特定されるため、表示制御部１１５は、実オブジェクトＡと床面Ｆとの間の実空間Ｅにおける距離に基づいて、仮想オブジェクトを制御することが可能である。図１３は、実オブジェクトＡと床面Ｆとの間の実空間Ｅにおける距離に基づいて仮想オブジェクトを制御する例を示す図である。

図１３を参照すると、実オブジェクトＡ１と床面Ｆとの間の実空間Ｅ１における距離が距離Ｈａｒ１として示されている。表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１における位置Ｐａｒと床面Ｆの位置Ｐｆｒおよび姿勢Ｑｆｒに基づいて、実オブジェクトＡ１と床面Ｆとの間の実空間Ｅ１における距離Ｈａｒ１を算出することが可能である。表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズに応じた仮想オブジェクトＶ１４を距離Ｈａｒ１に応じて調整することが可能である。

例えば、表示制御部１１５は、実オブジェクトＡ１の実空間Ｅ１におけるサイズに応じた仮想オブジェクトＶ１４の位置を実空間Ｅ１において距離Ｈａｒ１だけ床面Ｆに近づけることが可能である。そうすれば、図１３に示すように、表示制御部１１５は、床面Ｆに接して存在するのが正常な状態である仮想オブジェクトＶ１４の配置を正常に行うことが可能となる。

また、図１３を参照すると、実オブジェクトＡ２と床面Ｆとの間の実空間Ｅ２における距離が距離Ｈａｒ２として示されている。表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２における位置Ｐａｒ２と床面Ｆの位置Ｐｆｒおよび姿勢Ｑｆｒに基づいて、実オブジェクトＡ２と床面Ｆとの間の実空間Ｅ２における距離Ｈａｒ２を算出することが可能である。表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズに応じた仮想オブジェクトＶ２４を距離Ｈａｒ２に応じて調整することが可能である。

例えば、表示制御部１１５は、実オブジェクトＡ２の実空間Ｅ２におけるサイズに応じた仮想オブジェクトＶ２４の位置を実空間Ｅ２において距離Ｈａｒ２だけ床面Ｆに近づけることが可能である。そうすれば、図１３に示すように、表示制御部１１５は、床面Ｆに接して存在するのが正常な状態である仮想オブジェクトＶ２４の配置を正常に行うことが可能となる。

なお、図１３に示した例では、実オブジェクトＡ１の実空間Ｅ１におけるサイズに応じて仮想オブジェクトＶ１４の画像Ｉｍ１４におけるサイズが制御されている。同様に、図１３に示した例では、実オブジェクトＡ２の実空間Ｅ２におけるサイズに応じて仮想オブジェクトＶ２４の画像Ｉｍ２４におけるサイズが制御されている。仮に、ＡＲ空間に仮想オブジェクトが実物大で配置された場合には、ユーザＵａに対して仮想オブジェクトの大きさをよりリアルに感じさせることが可能となる。

そこで、ＡＲ空間に仮想オブジェクトが実物大で配置されるように、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズと仮想オブジェクトの実物大に関する既知のデータとに基づいて、仮想オブジェクトを制御してもよい。例えば、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズと仮想オブジェクトの実物大に関する既知のデータとの関係に基づいて、実オブジェクトＡの画像におけるサイズに対する仮想オブジェクトの画像におけるサイズの割合を特定してよい。

例えば、表示制御部１１５は、実オブジェクトＡの実空間Ｅにおけるサイズに対する仮想オブジェクトの実物大に関する既知のデータの割合と、実オブジェクトＡの画像におけるサイズに対する仮想オブジェクトの画像におけるサイズの割合とが同じになるようにすればよい。そうすれば、実空間Ｅ１に配置される仮想オブジェクトＶ１４と実空間Ｅ２に配置される仮想オブジェクトＶ２４とが共に仮想オブジェクトの実物大となるため、ユーザＵａに対して仮想オブジェクトの大きさをよりリアルに感じさせることが可能となる。

また、表示制御部１１５は、各種のオブジェクトの傾きに基づいて、仮想オブジェクトを制御してもよい。例えば、表示制御部１１５は、センサ部１３０によって重力方向Ｇを検出することが可能である場合、センサ部１３０によって検出された重力方向Ｇと各種のオブジェクトとの関係に基づいて仮想オブジェクトを制御してもよい。重力方向Ｇは、例えば、加速度センサなどによって検出することが可能である。センサ部１３０によって検出された重力方向Ｇは、センサデータ取得部１１２によって取得され得る。

図１４は、重力方向Ｇと物体Ｂの姿勢との関係に基づいて仮想オブジェクトを制御する例を示す図である。表示制御部１１５は、重力方向Ｇと物体Ｂの姿勢との関係に基づいて、仮想オブジェクトを制御することが可能である。

図１４を参照すると、実空間Ｅ３０には、重力方向Ｇに合った姿勢の物体Ｂが床面Ｆに載置されている。かかる場合には、実オブジェクトＡの認識結果に応じた仮想オブジェクトＶ３０を床面Ｆに配置することが可能である。一方、実空間Ｅ３１には、重力方向Ｇとは合っていない姿勢の物体Ｂが床面Ｆに載置されている。かかる場合には、実オブジェクトＡの認識結果に応じた仮想オブジェクトＶ３１を床面Ｆに配置することが可能である。

図１４には、表示制御部１１５は、物体Ｂの姿勢が重力方向Ｇに合っている場合に、姿勢の床面Ｆに対して静止している状態を示す仮想オブジェクトＶ３０をＡＲ空間に配置している。一方、表示制御部１１５は、物体Ｂの姿勢が重力方向Ｇに合っていない場合に、床面Ｆに対して滑っている状態を示す仮想オブジェクトＶ３１をＡＲ空間に配置している。しかし、仮想オブジェクトＶ３０および仮想オブジェクトＶ３１それぞれはどのように制御されてもよい。

図１５は、重力方向Ｇと実オブジェクトＡの姿勢との関係に基づいて仮想オブジェクトを制御する例を示す図である。表示制御部１１５は、重力方向Ｇと実オブジェクトＡの姿勢との関係に基づいて、仮想オブジェクトを制御することも可能である。

図１５を参照すると、実空間Ｅ３０には、重力方向Ｇに合った姿勢の実オブジェクトＡが床面Ｆに載置されている。かかる場合には、実オブジェクトＡの認識結果に応じた仮想オブジェクトＶ３０を床面Ｆに配置することが可能である。一方、実空間Ｅ３２には、重力方向Ｇとは合っていない姿勢の実オブジェクトＡが床面Ｆに載置されている。かかる場合には、実オブジェクトＡの認識結果に応じた仮想オブジェクトＶ３２を床面Ｆに配置することが可能である。

図１５には、表示制御部１１５は、実オブジェクトＡの姿勢が重力方向Ｇに合っている場合に、姿勢の床面Ｆに対して静止している状態を示す仮想オブジェクトＶ３０をＡＲ空間に配置している。一方、表示制御部１１５は、実オブジェクトＡの姿勢が重力方向Ｇに合っていない場合に、床面Ｆに対して滑っている状態を示す仮想オブジェクトＶ３２をＡＲ空間に配置している。しかし、仮想オブジェクトＶ３０および仮想オブジェクトＶ３２それぞれはどのように制御されてもよい。

その他、表示制御部１１５は、床面Ｆの姿勢と実オブジェクトＡの姿勢との関係に基づいて、仮想オブジェクトを制御してもよい。図１５に示した場合と同様に、表示制御部１１５は、実オブジェクトＡの姿勢が床面Ｆの姿勢に合っている場合に、姿勢の床面Ｆに対して静止している状態を示す仮想オブジェクトＶ３０をＡＲ空間に配置してよい。一方、表示制御部１１５は、実オブジェクトＡの姿勢が床面Ｆの姿勢に合っていない場合に、床面Ｆに対して滑っている状態を示す仮想オブジェクトＶ３２をＡＲ空間に配置してよい。しかし、仮想オブジェクトＶ３０および仮想オブジェクトＶ３２それぞれはどのように制御されてもよい。

［３−４．情報処理装置の動作例］
続いて、本開示の第２の実施形態に係る情報処理装置１０Ｂの動作の流れの例について説明する。図１６は、本開示の第２の実施形態に係る情報処理装置１０Ｂの動作の流れの例を示すフローチャートである。まず、撮像部１２０により画像が撮像され、画像取得部１１１によって画像が取得されると、画像認識部１１３は、画像取得部１１１により取得された画像から物体Ｂを認識する（Ｓ２１）。表示制御部１１５は、物体Ｂの実空間Ｅにおける位置Ｐｂｒを特定し（Ｓ２２）、環境認識部１１４は、環境認識を開始する（Ｓ２３）。

続いて、画像認識部１１３は、画像取得部１１１により取得された画像から実オブジェクトＡを認識する（Ｓ２４）。表示制御部１１５は、実オブジェクトＡの認識結果に応じた仮想オブジェクトを特定し（Ｓ２５）、実オブジェクトＡの実空間Ｅにおける位置Ｐａｒを算出する（Ｓ２６）。さらに、表示制御部１１５は、実オブジェクトＡの実空間ＥにおけるサイズＺａｒを算出し（Ｓ２７）、実オブジェクトＡの実空間ＥにおけるサイズＺａｒに基づいて仮想オブジェクトを制御し（Ｓ２８）、仮想オブジェクトを表示させる（Ｓ２９）。

以上、本開示の第２の実施形態に係る情報処理装置１０Ｂの動作の流れの例について説明した。

＜＜４．ハードウェア構成例＞＞
続いて、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１７は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。ただし、図１７に示したハードウェア構成例は、情報処理装置１０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理装置１０のハードウェア構成は、図１７に示した例に限定されない。

図１７に示したように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。

ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

センサ８０４は、情報処理装置１０の状態を検知するための端末状態検知センサなどの各種検知用センサとその周辺回路からなる。センサ８０４としては、一例として、傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、情報処理装置１０の状態（傾き、加速度、方位、温度、湿度、照度など）を知ることができる。

入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置８０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置８１１は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。

ドライブ８１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。

撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワーク３０を介して他の装置と通信を行うことが可能である。

以上、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明した。

＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像部１２０により撮像された画像Ｉｍを取得する画像取得部１１１と、画像Ｉｍに映る実オブジェクトＡの認識結果に応じて、仮想オブジェクトを表示させる表示制御部１１５と、を備え、表示制御部１１５は、実オブジェクトＡの実空間ＥにおけるサイズＺａｒに基づいて、仮想オブジェクトを制御する、情報処理装置１０が提供される。かかる構成によれば、実オブジェクトＡの実空間Ｅにおけるサイズを考慮して仮想オブジェクトの制御を行うことが可能となる。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記した表示部は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。例えば、不透過型のＨＭＤが表示部として用いられる場合には、必ずしも画像は表示部に表示されなくてもよい。かかる場合には、表示部は、画像ではなく実空間に仮想オブジェクトを重畳させてもよい。

また、本開示の実施形態においては、情報処理装置１０によって仮想オブジェクトを制御した結果が、情報処理装置１０のＡＲ空間において反映される例を主に説明した。しかし、例えば、情報処理装置１０と当該他の装置との間で同一のＡＲ空間を共有している場合などには、情報処理装置１０によって仮想オブジェクトを制御した結果は、情報処理装置１０と通信可能な他の装置のＡＲ空間に反映されてもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された画像を取得する画像取得部と、
前記画像に映る実オブジェクトの認識結果に応じて、仮想オブジェクトを表示させる表示制御部と、を備え、
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御する、情報処理装置。
（２）
前記表示制御部は、所定の物体の実空間におけるサイズに関する既知のデータ、前記所定の物体の画像におけるサイズおよび前記所定の物体の画像における位置に応じて特定した前記所定の物体の実空間における位置と、前記実オブジェクトの画像におけるサイズと、前記実オブジェクトの実空間における位置とに基づいて、前記実オブジェクトの実空間におけるサイズを算出する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記実オブジェクトと所定の平面との間の実空間における距離に基づいて、前記仮想オブジェクトを制御する、
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、重力方向と前記所定の物体の姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
前記（２）に記載の情報処理装置。
（５）
前記表示制御部は、重力方向と前記実オブジェクトの姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
前記（２）に記載の情報処理装置。
（６）
前記表示制御部は、所定の平面の姿勢と前記実オブジェクトの姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
前記（２）に記載の情報処理装置。
（７）
前記表示制御部は、前記所定の物体が前記所定の平面に載置されている場合、前記所定の物体の実空間における位置および姿勢に基づいて、前記所定の平面の実空間における位置および姿勢を特定する、
前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、前記所定の物体の実空間における位置を特定した旨を表示させる、
前記（２）に記載の情報処理装置。
（９）
前記表示制御部は、前記実オブジェクトの実空間における位置に基づいて、前記仮想オブジェクトを制御する、
前記（１）に記載の情報処理装置。
（１０）
前記表示制御部は、前記撮像部と前記実オブジェクトとの距離に基づいて、前記仮想オブジェクトを制御する、
前記（１）に記載の情報処理装置。
（１１）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズと前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトを制御する、
前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズと前記仮想オブジェクトの実物大に関する既知のデータとの関係に基づいて、前記実オブジェクトの画像におけるサイズに対する前記仮想オブジェクトの画像におけるサイズの割合を特定する、
前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズを取得する、
前記（１）に記載の情報処理装置。
（１４）
前記表示制御部は、前記所定の物体の認識結果、環境認識の結果および前記実オブジェクトの認識結果に基づいて、前記実オブジェクトの実空間における位置を算出する、
前記（２）に記載の情報処理装置。
（１５）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを選択する、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに応じて、前記仮想オブジェクトの表示態様を制御する、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１７）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに応じて、前記仮想オブジェクトの動きを制御する、
前記（１６）に記載の情報処理装置。
（１８）
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに応じて、前記仮想オブジェクトの画像におけるサイズを制御する、
前記（１６）に記載の情報処理装置。
（１９）
撮像部により撮像された画像を取得することと、
前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させることと、
前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御することと、
を含む、情報処理方法。
（２０）
コンピュータを、
撮像部により撮像された画像を取得する画像取得部と、
前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させる表示制御部と、を備え、
前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを制御する、情報処理装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。

１０（１０Ａ、１０Ｂ） 情報処理装置
１１０ 制御部
１１１ 画像取得部
１１２ センサデータ取得部
１１３ 画像認識部
１１４ 環境認識部
１１５ 表示制御部
１２０ 撮像部
１３０ センサ部
１４０ 操作部
１５０ 記憶部
１６０ 表示部
Ａ（Ａ１、Ａ２） 実オブジェクト
Ｅ（Ｅ１、Ｅ２、Ｅ３０〜Ｅ３２） 実空間
Ｆ 床面
Ｇ 重力方向
Ｉｍ（Ｉｍ１〜Ｉｍ３、Ｉｍ１０、Ｉｍ１３、Ｉｍ１４、Ｉｍ２０、Ｉｍ２３、Ｉｍ２４） 画像
Ｖ１１〜Ｖ１４、Ｖ２１〜Ｖ２４、Ｖ３０〜Ｖ３２ 仮想オブジェクト

Claims (17)

1. 撮像部により撮像された画像を取得する画像取得部と、
   前記画像に映る実オブジェクトの認識結果に応じて、仮想オブジェクトを表示させる表示制御部と、を備え、
   前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトの動きを制御する、情報処理装置。
2. 前記表示制御部は、所定の物体の実空間におけるサイズに関する既知のデータ、前記所定の物体の画像におけるサイズおよび前記所定の物体の画像における位置に応じて特定した前記所定の物体の実空間における位置と、前記実オブジェクトの画像におけるサイズと、前記実オブジェクトの実空間における位置とに基づいて、前記実オブジェクトの実空間におけるサイズを算出する、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記実オブジェクトと所定の平面との間の実空間における距離に基づいて、前記仮想オブジェクトを制御する、
   請求項２に記載の情報処理装置。
4. 前記表示制御部は、重力方向と前記所定の物体の姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
   請求項２に記載の情報処理装置。
5. 前記表示制御部は、重力方向と前記実オブジェクトの姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
   請求項２に記載の情報処理装置。
6. 前記表示制御部は、所定の平面の姿勢と前記実オブジェクトの姿勢との関係に基づいて、前記仮想オブジェクトを制御する、
   請求項２に記載の情報処理装置。
7. 前記表示制御部は、前記所定の物体が前記所定の平面に載置されている場合、前記所定の物体の実空間における位置および姿勢に基づいて、前記所定の平面の実空間における位置および姿勢を特定する、
   請求項３〜６のいずれか一項に記載の情報処理装置。
8. 前記表示制御部は、前記所定の物体の実空間における位置を特定した旨を表示させる、
   請求項２に記載の情報処理装置。
9. 前記表示制御部は、前記実オブジェクトの実空間における位置に基づいて、前記仮想オブジェクトを制御する、
   請求項１に記載の情報処理装置。
10. 前記表示制御部は、前記撮像部と前記実オブジェクトとの距離に基づいて、前記仮想オブジェクトを制御する、
    請求項１に記載の情報処理装置。
11. 前記表示制御部は、前記実オブジェクトの実空間におけるサイズと前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトを制御する、
    請求項１〜１０のいずれか一項に記載の情報処理装置。
12. 前記表示制御部は、前記実オブジェクトの実空間におけるサイズと前記仮想オブジェクトの実物大に関する既知のデータとの関係に基づいて、前記実オブジェクトの画像におけるサイズに対する前記仮想オブジェクトの画像におけるサイズの割合を特定する、
    請求項１１に記載の情報処理装置。
13. 前記表示制御部は、前記実オブジェクトの実空間におけるサイズを取得する、
    請求項１に記載の情報処理装置。
14. 前記表示制御部は、前記所定の物体の認識結果、環境認識の結果および前記実オブジェクトの認識結果に基づいて、前記実オブジェクトの実空間における位置を算出する、
    請求項２に記載の情報処理装置。
15. 前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトを選択する、
    請求項１〜１４のいずれか一項に記載の情報処理装置。
16. 撮像部により撮像された画像を取得することと、
    前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させることと、
    前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトの動きを制御することと、
    を含む、情報処理方法。
17. コンピュータを、
    撮像部により撮像された画像を取得する画像取得部と、
    前記画像に映る実オブジェクトの認識結果に応じて仮想オブジェクトを表示させる表示制御部と、を備え、
    前記表示制御部は、前記実オブジェクトの実空間におけるサイズに基づいて、前記仮想オブジェクトの動きを制御する、情報処理装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
    
    
    

Images