JP6044079B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

撮像装置で撮像した画像に、その画像やその画像に含まれる被写体に関連した情報などを、重畳して表示することにより、実世界を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）に関する技術が、近年多数開示されている。

例えば、下記の特許文献１には、画像を撮像した位置及び方位に対応したタグを、画像に付与する技術が開示されている。また、下記の特許文献２には、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術を利用して表示画面外の空間領域を有効活用することが可能なユーザインターフェースに関する技術が開示されている。

特開２０１１−２４４０５８号公報 特開２０１１−２８３０９号公報

しかし、上記の文献には、ユーザが、実世界に存在する実オブジェクトを利用して、仮想情報や仮想オブジェクトを直接操作する方法については開示されていない。そこで、本技術は、上記のような事情を受けて考案されたものであり、実世界に存在する実オブジェクトを利用して、仮想情報や仮想オブジェクトを直接操作することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することを意図している。

本開示によれば、ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行部と、前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するステップと、前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させるステップと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行機能と、前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御機能と、を実現させるためのプログラムが提供される。

以上説明したように本開示によれば、実世界に存在する実オブジェクトを利用して、仮想情報や仮想オブジェクトを直接操作することが可能になる。

ＭＲを利用しない場合のユーザインターフェースを用いた操作方法について説明するための説明図である。 ＡＲ仮想デスクトップアプリケーションにおけるユーザインターフェースを用いた操作方法について説明するための説明図である。 ＡＲ仮想デスクトップアプリケーションを利用するために用いるデバイスの構成例について説明するための説明図である。 ＡＲ仮想デスクトップアプリケーションを利用するために用いるデバイスの構成例について説明するための説明図である。 実オブジェクトの認識方法について説明するための説明図である。 第１の実施形態に係る情報処理装置の機能構成について説明するための説明図である。 同実施形態に係るコマンド発行処理の流れの一例を示す流れ図である。 実オブジェクトと仮想オブジェクトとの位置関係に応じたコマンド発行処理について説明するための説明図である。 複数の実オブジェクト同士の位置関係に応じたコマンド発行処理について説明するための説明図である。 実オブジェクトと表示オブジェクトとの位置関係に応じたコマンド発行処理について説明するための説明図である。 複数の楽曲から所望の楽曲を選択する方法について説明するための説明図である。 複数の仮想オブジェクトの表示例について説明するための説明図である。 複数の仮想オブジェクトを利用した操作方法について説明するための説明図である。 同実施形態に係る技術の応用例について説明するための説明図である。 同実施形態に係る技術の応用例について説明するための説明図である。 同実施形態に係る技術の応用例について説明するための説明図である。 同実施形態に係る技術の応用例について説明するための説明図である。 第２の実施形態に係る情報処理装置の機能構成について説明するための説明図である。 同実施形態に係るコマンド発行処理の流れの一例を示す流れ図である。 ジャスチャーを利用した選択画面切替方法について説明するための説明図である。 ジャスチャーを利用した実行操作方法について説明するための説明図である。 本開示に係る情報処理装置の機能を実現可能なハードウェア構成について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。

１：はじめに
１−１：ＡＲ仮想デスクトップアプリケーションについて
１−２：物体認識技術について
２：第１実施例（オブジェクト間の位置関係を利用したユーザインターフェース）
２−１：システム構成例
２−２：情報処理装置１００の構成
２−３：情報処理装置１００の動作
２−４：操作方法について
２−５：応用例
３：第２実施例（ジェスチャーを考慮した操作インターフェース）
３−１：システム構成例
３−２：情報処理装置１００の構成
３−３：情報処理装置１００の動作
３−４：操作方法について
４：ハードウェア構成例
５：まとめ

＜１：はじめに＞
はじめに、本実施形態に関連する技術について紹介する。

［１−１：ＡＲ仮想デスクトップアプリケーションについて］
まず、本実施形態に関連する技術の一例として、ＡＲ仮想デスクトップアプリケーションについて紹介する。この技術は、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術を利用して表示画面外の空間領域を有効活用することが可能なユーザインターフェースに関する。以下、図１〜図４を参照しながら、当該技術について簡単に説明する。

図１は、通常（ＭＲを利用しない場合）のユーザインターフェースを用いた操作方法について説明するための説明図である。一方、図２は、ＡＲ仮想デスクトップアプリケーション（ＭＲを利用する場合）におけるユーザインターフェースを用いた操作方法について説明するための説明図である。また、図３は、ＡＲ仮想デスクトップアプリケーションを利用するために用いるデバイスの構成例について説明するための説明図である。

ＭＲを利用しない通常のユーザインターフェースの場合、図１に示すように、ユーザはマウスを操作することで、ディスプレイ装置ＤＳＰの表示画面内に表示された表示マウスカーソルＤ＿ＣＵＲを、当該表示画面内で移動させることが可能である。

ユーザは、マウスを移動させることにより、表示マウスカーソルＤ＿ＣＵＲを、ディスプレイ装置ＤＳＰの表示画面内に表示された表示オブジェクトＤ＿ＯＢＪ上に移動させる。その後、ユーザは、所定のマウス操作を行うことにより表示オブジェクトＤ＿ＯＢＪを指定し、マウスを移動させることにより、指定したオブジェクトをディスプレイ装置ＤＳＰの表示画面内で移動させることが可能である。

しかし、表示マウスカーソルＤ＿ＣＵＲや表示オブジェクトＤ＿ＯＢＪがディスプレイ装置ＤＳＰ表示画面の端部に位置する状態で、表示マウスカーソルＤ＿ＣＵＲを更に外側に移動させる向きにユーザが更にマウスを移動させても、表示マウスカーソルＤ＿ＣＵＲを表示画面外に移動させることはできない。

一方、ＭＲを利用するＡＲ仮想デスクトップアプリケーションにおけるユーザインターフェースの場合、図２に示すように、ディスプレイ装置ＤＳＰの表示画面外については、仮想マウスカーソルＶ＿ＣＵＲ及び仮想オブジェクトＶ＿ＯＢＪが表示される。

なお、本稿において仮想オブジェクトとは、ＭＲ技術に基づいてユーザが装着したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などに表示され、ユーザが視認可能なオブジェクトである。但し、仮想オブジェクトは、撮像装置で撮像されない。これに対し、実空間に存在する実オブジェクトや、ディスプレイ装置ＤＳＰに表示される表示オブジェクトは、撮像装置で撮像可能である。

また、ディスプレイ装置ＤＳＰの表示画面内については、通常のユーザインターフェースの場合と同様に、マウスカーソルＤ＿ＣＵＲ及び表示オブジェクトＤ＿ＯＢＪが表示される。表示マウスカーソルＤ＿ＣＵＲ及び表示オブジェクトＤ＿ＯＢＪの表示と、仮想マウスカーソルＶ＿ＣＵＲ及び仮想オブジェクトＶ＿ＯＢＪの表示とは連続性を持っており、図２に示すように、ディスプレイ装置ＤＳＰ外に表示マウスカーソルＤ＿ＣＵＲ及び表示オブジェクトＤ＿ＯＢＪを移動させると、ディスプレイ装置ＤＳＰ外において仮想マウスカーソルＶ＿ＣＵＲ及び仮想オブジェクトＶ＿ＯＢＪが表示される。

上記のように、ＡＲ仮想デスクトップアプリケーションにおけるユーザインターフェースの場合、ディスプレイ装置ＤＳＰ外の空間領域も利用できるため、利便性が高い。

ＭＲ技術を利用した上記のようなＡＲ仮想デスクトップアプリケーションは、例えば、図３に示すようなデバイスの構成により実現される。図３に示すように、ユーザＵは、カメラＣＡ及びヘッドマウントディスプレイＨＭＤを利用する。なお、これらと同等の機能を搭載したデバイスを利用してもよい。例えば、カメラ付き携帯電話やスマートフォンなどのデバイスは、撮像機能と表示機能とを併せ持っているため、これを代わりに利用することも可能である。但し、以下では説明の都合上、カメラＣＡ及びヘッドマウントディスプレイＨＭＤを組み合わせた構成を例に挙げて説明を進めることにする。

ヘッドマウントディスプレイＨＭＤは、カメラＣＡが捉えた被写体の画像を表示するとともに、仮想マウスカーソルＶ＿ＣＵＲや仮想オブジェクトＶ＿ＯＢＪを当該被写体の画像に重畳表示する。図３の例では、仮想オブジェクトＶ＿ＯＢＪとして仮想アプリケーションウインドウをヘッドマウントディスプレイＨＭＤに表示している。カメラＣＡは、例えば、ユーザの視線方向に合わせた向きでヘッドマウントディスプレイＨＭＤに設けられる。

ＡＲ仮想デスクトップアプリケーションでは、ユーザＵが操作する実オブジェクト（マウスカーソルなど）の位置は、撮像画像に重畳表示する仮想オブジェクトＶ＿ＯＢＪの位置を決定するために用いられる。そのため、ユーザは、マウスカーソルなどを利用したユーザインターフェースの操作手順を予め習得する必要がある。当然のことながら、ユーザは、何らかの操作を行う場合、マウスカーソルなどを動かす必要がある。

例えば、音楽コンテンツを再生する場合、ユーザは、音楽コンテンツのデータファイルが格納されたフォルダを探し出し、所望の音楽コンテンツをマウスカーソルで選択して再生操作を行う必要がある。この場合、ユーザはコンテンツファイルなどの仮想情報がある場所を予め把握しておく必要がある。これでは、せっかく仮想空間を利用できる環境があるにもかかわらず、結局はデスクトップを拡張しただけに過ぎないことになる。つまり、ＭＲ技術を十分に生かし切れていない。

そこで、本発明者は、ＭＲ技術を有効に活かすべく、マウスなどの操作デバイスとは異なる物品を操作に利用して直感的なユーザインターフェースを実現するアイデアを創出した。具体的には、図４に示すように、音楽コンテンツを再生する際、音楽コンテンツのデータファイルを選択するようなことはせず、再生しようとするコンパクトディスク（ＣＤ）の現物を操作体として利用し、当該ＣＤに対応する音楽コンテンツを再生できるようにする仕組みを考えた。もちろん、音楽コンテンツに限らず、映像コンテンツやブックリーダなどにも応用可能である。

上記のようなアイデアを具体的に実施するには、ＣＤの現物など、物品の位置、動き、種類、属性などを認識する技術（以下、物体認識技術）が必要になる。そこで、本実施形態に係る技術について詳細に説明するに先立ち、物体認識技術についても紹介する。なお、以下の説明において、ＣＤの現物などの物品も実オブジェクトと表現する。

［１−２：物体認識技術について］
物体認識は、図５に示すように、ユーザの装着したカメラＣＡの撮像画像に基づき、撮像画像に含まれる実オブジェクトの位置、姿勢、形状、種類などを物体認識装置により認識することで行われる。また、物体認識装置で用いられる物体認識技術としては、例えば、“Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）”などの技術が知られている。

ＳＵＲＦは、撮影画像に含まれる様々な実オブジェクトから特徴点を選択し、選択した特徴点の位置とカメラの位置や姿勢とを併せて検出する技術である。なお、ＳＵＲＦの基本的な処理については、“Ｈ．Ｂａｙ， Ａ． Ｅｓｓ， Ｔ． Ｔｕｙｔｅｌａａｒｓ ａｎｄ Ｌ．Ｖ．Ｇｏｏｌ， “Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−ＥＣＣＶ（２００６）．”などに記載がある。

ＳＵＲＦその他の技術を適用すると、実オブジェクトの形状、姿勢、位置、種類などを認識することが可能になる。例えば、図５に示すように、ユーザが手にＣＤケースを持っており、そのＣＤケースがカメラの撮像範囲に入っている場合、カメラにより撮像された撮像画像から、上記の物体認識技術を用いてＣＤケースの形状などを認識することが可能になる。そして、その認識結果を利用することで、実世界の物体（この場合はＣＤケース）と実オブジェクト又は仮想オブジェクトとの位置関係を検知することが可能になる。

以上、本実施形態に関連する技術について紹介した。ここでは、説明の都合上、ＨＭＤとカメラとを有する頭部装着型デバイスの形態を例に挙げて説明したが、本実施形態に係る技術の適用範囲は、これに限定されない。

＜２：第１実施例（オブジェクト間の位置関係を利用したユーザインターフェース）＞
本技術の第１実施例について説明する。同実施例は、オブジェクト間の位置関係を利用したユーザインターフェースの構成に関する。特に、ＣＤケースのような実オブジェクトを利用した直感的なユーザインターフェースを実現するための仕組みに関する。

［２−１：システム構成例］
まず、第１実施例に係る技術を実現可能なシステムの構成例について説明する。当該システムは、例えば、撮像部１０１、情報処理装置１００、表示部１０４、出力制御装置２００、及び出力装置２１０により構成される。但し、情報処理装置１００が撮像部１０１及び表示部１０４と一体に形成されていてもよい。また、出力装置２１０は、音声を出力する音声出力装置であってもよいし、画像を表示する表示装置であってもよい。また、情報処理装置１００が有する一部又は全部の機能は、クラウドコンピューティングシステムにより実現されてもよい。以下、情報処理装置１００の構成を中心に説明する。

［２−２：情報処理装置１００の構成（図６）］
図６を参照しながら、第１実施例に係る情報処理装置１００の構成について説明する。図６は、情報処理装置１００の機能構成について説明するための説明図である。図６に示すように、情報処理装置１００は、撮像部１０１と、三次元情報解析部１０２と、仮想オブジェクト管理部１０３と、表示部１０４と、位置関係解析部１０５と、コマンド発行部１０６と、通信部１０７とを主に備える。

撮像部１０１は、実オブジェクトから入射した光を集光するレンズや、受光した光量に応じた電気信号を生成する撮像素子などを含み、実オブジェクトの像を撮像する。撮像部１０１は、例えば、ユーザが装着したＨＭＤに設けられたカメラＣＡなどである。

なお、利用可能な撮像素子としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどがある。撮像部１０１は、実オブジェクトを撮像すると、撮像画像を三次元情報解析部１０２及び表示部１０４に出力する。

三次元情報解析部１０２は、撮像部１０１から入力された撮像画像に含まれる三次元情報を解析する。三次元情報解析部１０２は、位置・姿勢検出部１２１と、オブジェクト識別部１２２とを備える。

三次元情報解析部１０２の位置・姿勢検出部１２１は、入力された実オブジェクトの撮像画像を解析し、実オブジェクトの３次元空間内の位置及び姿勢を検出する。検出方法は、例えば、前述したＳＵＲＦなどの技術を用いる。位置・姿勢検出部１２１は、検出した実オブジェクトの位置及び姿勢を、仮想オブジェクト管理部１０３に出力する。

また、三次元情報解析部１０２のオブジェクト識別部１２２は、入力された実オブジェクトの撮像画像を解析し、実オブジェクトのＩＤを識別する。

オブジェクト識別部１２２は、例えば、入力された実オブジェクトの撮像画像から一又は複数の特徴点の位置を検出する。更に、オブジェクト識別部１２２は、入力された実オブジェクトの特徴点の位置と、メモリなどの記憶部（不図示）に記憶された複数の実オブジェクトの特徴点の位置とのマッチングを行う。

上記の記憶部には、複数の実オブジェクトそれぞれについて、当該実オブジェクトのＩＤと、各特徴点の位置が記憶されている。オブジェクト識別部１２２は、記憶部に特徴点の位置が記憶された複数の実オブジェクトのうち、入力された実オブジェクトの特徴点との距離が最も短い特徴点を有する実オブジェクトのＩＤを、入力された実オブジェクトのＩＤとする。特徴点は、例えば、多角形の角や円形の周上に位置する点などである。オブジェクト識別部１２２は、識別した実オブジェクトのＩＤを、仮想オブジェクト管理部１０３に出力する。

仮想オブジェクト管理部１０３は、識別された実オブジェクトのＩＤ及び位置に基づいて、当該実オブジェクトに対応する仮想オブジェクトの取得及び当該仮想オブジェクトを重畳表示する位置の制御を行なう。また、仮想オブジェクト管理部１０３は、仮想オブジェクト取得部１３１と、重畳位置制御部１３２とを備える。

仮想オブジェクト取得部１３１は、識別された実オブジェクトのＩＤに対応する仮想オブジェクトの表示情報を、予めメモリなどの記憶部に記憶されたデータベースなどから取得する。例えば、入力された実オブジェクトがＣＤであると識別された場合、対応する仮想オブジェクトとして、音符の形状をしたアイコンがデータベースから取得される。仮想オブジェクト取得部１３１は、取得した仮想オブジェクトの表示情報を、表示部１０４及び位置関係解析部１０５に出力する。

また、重畳位置制御部１３２は、検知された実オブジェクトの位置・姿勢に基づいて、仮想オブジェクト取得部１３１により取得された仮想オブジェクトを重畳表示する位置を制御する。例えば、重畳位置制御部１３２は、検知された実オブジェクトであるＣＤの中心の位置を算出し、算出した位置に仮想オブジェクトを重畳表示させる。重畳位置制御部１３２は、仮想オブジェクトを重畳表示させる位置を、表示部１０４及び位置関係解析部１０５に出力する。

表示部１０４は、実オブジェクトを含む撮像画像に、仮想オブジェクト管理部１０３から入力された仮想オブジェクトを重畳して表示する。

ここで、撮像部１０１による実オブジェクトの撮像、三次元情報解析部１０２による撮像画像の三次元情報解析、仮想オブジェクト管理部１０３による仮想オブジェクトの取得及び位置制御はリアルタイム処理される。そのため、ユーザが実オブジェクトを移動させると、当該実オブジェクトに対応する仮想オブジェクトも当該実オブジェクトに追従するように移動することとなる。

位置関係解析部１０５は、撮像部１０１により撮像された撮像画像に含まれたある実オブジェクト（以下、実オブジェクトＡ）と、オブジェクトＡ以外の所定のオブジェクト（以下、オブジェクトＢ）との位置関係を解析する。例えば、オブジェクトＡとして、ＣＤを考える。また、オブジェクトＢとして、ＣＤ再生用のアプリケーションウインドウを考える。

ここで、ＣＤ再生用のアプリケーションウインドウなどのオブジェクトＢは、ディスプレイ装置（例えば、図４に例示したディスプレイ装置ＤＳＰなど）に表示された表示オブジェクトでもよく、ＨＭＤなどの表示部１０４に表示された仮想オブジェクトでもよい。但し、オブジェクトＢの位置は、オブジェクトＡの位置に追従しないものとする。

オブジェクトＢがディスプレイ装置により表示されたアプリケーションウインドウなどの表示オブジェクトの場合、撮像部１０１により撮像された撮像画像には、実オブジェクトＡ及び表示オブジェクトＢが含まれる。当該撮像画像は、三次元情報解析部１０２により解析され、実オブジェクトＡの位置及び姿勢とともに、表示オブジェクトＢの位置及び姿勢が検出される。位置関係解析部１０５は、三次元情報解析部１０２により解析された実オブジェクトＡ及び表示オブジェクトＢの位置関係を解析する。

一方、オブジェクトＢが仮想アプリケーションウインドウなどの仮想オブジェクトの場合、例えば、重畳位置制御部１３２は、撮像部１０１により撮像された実オブジェクトＡの位置や姿勢によらず、オブジェクトＢの位置や姿勢を制御する。また、重畳位置制御部１３２は、撮像部１０１により撮像された実オブジェクトＡの初期位置及び姿勢に基づいて、オブジェクトＢの位置や姿勢を制御してもよい。

オブジェクトＢが仮想オブジェクトの場合、位置関係解析部１０５は、三次元情報解析部１０２により解析された実オブジェクトＡ及び仮想オブジェクト管理部１０３により制御された仮想オブジェクトＢの位置関係を解析する。

位置関係解析部１０５は、実オブジェクトＡとオブジェクトＢとが接近するなどの所定の位置関係であるか否かについての信号を、コマンド発行部１０６に出力する。

より具体的には、位置関係解析部１０５は、実オブジェクトＡとオブジェクトＢとの三次元空間上の距離を算出し、算出した距離が所定の閾値以下である場合、実オブジェクトＡとオブジェクトＢが接近したと判定して、所定の電気信号をコマンド発行部１０６に出力する。また、実オブジェクトＡとオブジェクトＢとの距離を算出する際に、所定の方向の距離のみを考慮してもよい。

但し、実オブジェクトＡとオブジェクトＢとの三次元空間上の距離を算出する際、オブジェクトＢが表示オブジェクトである場合、ディスプレイ装置の表示面を基準とした座標を、三次元空間座標に変換しておく必要がある。ディスプレイ装置の表示面を基準とした座標は、例えば、ディスプレイ装置の表示画面の一角を原点とするものである。また、当該角を形成する２辺の一方をｘ軸、他方をｙ軸としている。

コマンド発行部１０６は、実オブジェクトＡとオブジェクトＢとが所定の位置関係にあるという信号を位置関係解析部１０５から入力された場合、実オブジェクトＡに関連する所定のコマンドを発行する。また、所定のコマンドは、実オブジェクトＡに関連し、かつ、オブジェクトＢにも関連するコマンドであってもよい。

例えば、実オブジェクトＡがＣＤであり、当該ＣＤをＣＤ再生用のアプリケーションウインドウ（オブジェクトＢ）に接近させる場合、コマンド発行部１０６は、ＣＤ再生を行うためのコマンドを発行する。

ここで、情報処理装置１００は、有線又は無線のネットワークを介して出力制御装置２００と接続されている。発行されたコマンドは、通信部１０７を介して出力制御装置２００に送信される。出力制御装置２００は、受信したコマンドを実行して出力装置２１０を制御する。出力装置２１０は、音声再生装置や映像再生装置などである。

なお、出力制御装置２００は、情報処理装置１００の一部であってもよい。この場合、図６に示した情報処理装置１００の構成から通信部１０７を削除した構成をとり、コマンド発行部１０６から出力制御装置２００にコマンドが直接送信される。

以上、主に情報処理装置１００の構成について説明した。

［２−３：情報処理装置１００の動作（図７）］
次に、図７を参照しながら、第１実施例に係る情報処理装置１００の動作について説明する。図７は、第１実施例に係る情報処理装置１００の動作について説明するための流れ図である。

図７に示すように、情報処理装置１００は、まず、撮像画像から実オブジェクトを検出する（Ｓ１０１）。このとき、情報処理装置１００は、実オブジェクトの位置や姿勢などを検出する。次いで、情報処理装置１００は、撮像画像から実オブジェクトの種類を認識する（Ｓ１０２）。次いで、情報処理装置１００は、実オブジェクトの種類や位置などに応じて、仮想空間に表示すべき所定の仮想オブジェクトを取得する（Ｓ１０３）。例えば、実オブジェクトがＣＤケースの場合、情報処理装置１００は、仮想オブジェクトとして、音楽プレーヤの画面や、音符を模したアイコンを取得する。

次いで、情報処理装置１００は、ステップＳ１０３で取得した仮想オブジェクトを重畳表示させる（Ｓ１０４）。例えば、情報処理装置１００は、音楽プレーヤの画面を仮想空間に表示させたり、ＣＤケース上に音符を模したアイコンを重畳表示させたりする。次いで、情報処理装置１００は、実オブジェクトの位置や姿勢に基づいて仮想オブジェクトの表示位置を制御する（Ｓ１０５）。例えば、ユーザがＣＤケースを音楽プレーヤの画面に近づけた場合、情報処理装置１００は、ＣＤケースに重畳表示させているアイコンをＣＤケースの動きに追従するように移動させる。

次いで、情報処理装置１００は、実オブジェクトと所定のオブジェクト（例えば、音楽プレーヤの画面など；ウィンドウ）との位置関係を検出する（Ｓ１０６）。次いで、情報処理装置１００は、ステップＳ１０６で検出された位置関係が所定の位置関係を成すか否かを判定する（Ｓ１０７）。例えば、情報処理装置１００は、実オブジェクトと所定のオブジェクトとが接触するか否かを判定したり、或いは、実オブジェクトと所定のオブジェクトとの距離が所定の距離以下であるか否かを判定したりする。

実オブジェクトと所定のオブジェクトとが所定の位置関係を成す場合、情報処理装置１００は、処理をステップＳ１０８に進める。一方、実オブジェクトと所定のオブジェクトとが所定の位置関係を成していない場合、情報処理装置１００は、処理をステップＳ１０５に戻す。処理をステップＳ１０８に進めた場合、情報処理装置１００は、実オブジェクトの種類や、所定のオブジェクトの種類、或いは、位置関係に応じて予め設定されたコマンドを発行し（Ｓ１０８）、コマンド発行処理に係る一連の処理を終了する。なお、各オブジェクトの具体例、コマンドの具体例、及び具体的な操作方法については後述する。

以上、第１実施例に係る情報処理装置１００の動作について説明した。ここでは位置関係に基づくコマンドの発行に際して実行される基本的な処理の流れについて説明したが、必要に応じて一部の処理ステップを入れ替えたり、変形したりすることが可能である。また、ここで説明した基本的な処理の流れを応用して後述する各操作方法を実現可能なユーザインターフェースを構成することが可能である。

［２−４：操作方法について］
次に、図８〜図１２を参照しながら、第１実施例に係る情報処理装置１００の機能を用いて実現可能なユーザインターフェースの例及びその操作方法について説明する。

（実オブジェクトを仮想オブジェクト（ウィンドウ）に近づける操作（図８））
まず、図８を参照しながら、実オブジェクトを仮想オブジェクト（ウィンドウ）に近づける操作方法について説明する。図８は、実オブジェクトと仮想オブジェクトとの位置関係に応じたコマンド発行処理について説明するための説明図である。図８に示すように、カメラＣＡが設けられたＨＭＤを装着したユーザは、実オブジェクトＲ＿ＯＢＪとしてＣＤを所望の位置に移動させることが可能である。

また、ユーザが装着したＨＭＤは、カメラＣＡが撮像した画像（図８に示す例ではディスプレイ装置が含まれている。）に重畳して、仮想オブジェクトＶ＿ＯＢＪを表示する。図８に示す例では、仮想オブジェクトＶ＿ＯＢＪとして、実オブジェクトＲ＿ＯＢＪであるＣＤに対応したＣＤ再生用のアプリケーションウインドウが表示されている。

ユーザは、ＨＭＤに表示された画面を見ることにより、実オブジェクトＲ＿ＯＢＪと、仮想オブジェクトＶ＿ＯＢＪの位置関係を認識することができる。

ユーザは、実オブジェクトＲ＿ＯＢＪであるＣＤを移動させることにより、仮想オブジェクトＶ＿ＯＢＪであるアプリケーションウインドウに接近させる。このとき、実オブジェクトＲ＿ＯＢＪは、撮像部１０１により撮像され、三次元情報解析部１０２により位置が解析される。さらに、位置関係解析部１０５により、実オブジェクトＲ＿ＯＢＪ及び仮想オブジェクトＶ＿ＯＢＪが接近したことが検知され、所定の信号が出力される。

実オブジェクトＲ＿ＯＢＪと仮想オブジェクトＶ＿ＯＢＪが接近したことを示す信号が位置関係解析部１０５から出力されると、コマンド発行部１０６から所定のコマンドが発行される。

図８に示す例では、所定のコマンドとしてＣＤに含まれる楽曲の再生を行うためのコマンドが発行され、出力装置２１０であるスピーカから、ＣＤに含まれる楽曲が再生される。

上記のように、ユーザは実オブジェクトＲ＿ＯＢＪを直接操作することにより、ＨＭＤに表示された仮想オブジェクトＶ＿ＯＢＪと実オブジェクトＲ＿ＯＢＪとの位置関係を変化させるだけで、ＣＤに含まれる楽曲を再生させることが可能である。そのため、ユーザは所定のコマンドを発行させるための複雑な操作方法を習得する必要がない。また、ユーザは、楽曲のデータファイルを探す必要もない。さらに、現物を利用して操作しているため、操作自体が非常に直感的である。

（実オブジェクトを実オブジェクトに近づける操作＋アイコンの動作（図９））
次に、図９を参照しながら、実オブジェクトを実オブジェクト（図９の例ではＣＤプレーヤ）に近づける操作方法について説明する。図９は、実オブジェクトと実オブジェクトとの位置関係に応じたコマンド発行処理について説明するための説明図である。図９に示すように、カメラＣＡが設けられたＨＭＤを装着したユーザは、実オブジェクトＲ＿ＯＢＪ１としてＣＤを所望の位置に移動させることが可能である。

また、ユーザが装着したＨＭＤは、カメラＣＡが撮像した画像（図９に示す例ではディスプレイ装置が含まれている。）に重畳して、仮想オブジェクトＶ＿ＯＢＪを表示する。図９に示す例では、仮想オブジェクトＶ＿ＯＢＪとして、実オブジェクトＲ＿ＯＢＪ１であるＣＤに対応した音符のアイコンが表示されている。

ユーザは、ＨＭＤに表示された画面を見ることにより、実オブジェクトＲ＿ＯＢＪ１と、仮想オブジェクトＶ＿ＯＢＪの位置関係を認識することができる。

ユーザは、実オブジェクトＲ＿ＯＢＪ１であるＣＤを移動させることにより、実オブジェクトＲ＿ＯＢＪ２であるＣＤプレーヤに接近させる。このとき、実オブジェクトＲ＿ＯＢＪ１であるＣＤは、撮像部１０１により撮像され、三次元情報解析部１０２により位置が解析される。さらに、位置関係解析部１０５により、実オブジェクトＲ＿ＯＢＪ１であるＣＤが、Ｒ＿ＯＢＪ２であるＣＤプレーヤに接近したことが検知され、所定の信号が出力される。

実オブジェクトＲ＿ＯＢＪ１であるＣＤとＲ＿ＯＢＪ２であるＣＤプレーヤとが接近したことを示す信号が位置関係解析部１０５から出力されると、コマンド発行部１０６から所定のコマンドが発行される。図９に示す例では、所定のコマンドとしてＣＤに含まれる楽曲の再生を行うためのコマンドが発行され、出力装置２１０であるスピーカから、ＣＤに含まれる楽曲が再生される。

ところで、ＣＤとＣＤプレーヤとが所定の位置関係になったときに突然楽曲が再生されるのでは、ユーザが不安や驚きを覚えてしまう。このように唐突な感じを与えてしまうユーザインターフェースは、面白みを提供する面もあるが、不快感を与えてしまう恐れも否定できない。そこで、図９に示すように、例えば、ＣＤとＣＤプレーヤとが所定の位置関係になったときに、仮想オブジェクトＶ＿ＯＢＪがＣＤからＣＤプレーヤへと飛ぶように構成する方法を提案する。また、飛び出した仮想オブジェクトＶ＿ＯＢＪがＣＤプレーヤに到達したタイミングで楽曲が再生されるように構成する方法を提案する。このような方法を適用すると、視覚的にタイミングが認識できることで、ユーザの違和感が軽減され、より快適に操作できるユーザインターフェースが実現される。

上記のように、ユーザは実オブジェクトＲ＿ＯＢＪを直接操作することにより、ＣＤに含まれる楽曲を再生させることが可能になる。そのため、ユーザは所定のコマンドを発行させるための複雑な操作方法を習得する必要がない。また、ユーザは、楽曲のデータファイルを探す必要もない。さらに、現物を利用して操作しているため、操作自体が非常に直感的である。そして、仮想オブジェクトＶ＿ＯＢＪを併用することで、ユーザが快適に操作できるユーザインターフェースが実現される。

（実オブジェクトを実オブジェクト（表示オブジェクト）に近づける操作（図１０））
図８の例では、実オブジェクトＲ＿ＯＢＪを仮想オブジェクトＶ＿ＯＢＪに近づけて楽曲を再生するユーザインターフェースの例を挙げたが、図１０に示すように、仮想オブジェクトＶ＿ＯＢＪに代えて表示オブジェクトＤ＿ＯＢＪを用いる構成も考えられる。この場合も、図８の例を参照しながら説明した処理の流れと実質的に同じ処理によって、オブジェクト間の位置関係に基づく楽曲の再生が実行される。なお、表示オブジェクトＤ＿ＯＢＪは、カメラＣＡにより撮像される表示物であるから、実オブジェクトＲ＿ＯＢＪの一例である。

（実オブジェクトを近づける操作でトラックを選択する方法（図１１））
これまでは実オブジェクトＲ＿ＯＢＪの一例であるＣＤを、対象となるオブジェクト（ＣＤプレーヤやウィンドウなど）に近づけ、そのＣＤに対応する楽曲を再生するユーザインターフェースについて説明してきた。しかし、ＣＤに含まれる個々のトラックを指定して楽曲の再生を実行したい場合もあるだろう。そこで、図１１に示すように、複数のトラックの中から所望のトラックを１つ選択して再生できるようにするユーザインターフェースを提案する。

例えば、図１１に示すように、複数のトラックを示すアイコンが表示されたウィンドウを表示しておき、ユーザが実オブジェクトＲ＿ＯＢＪを近づけたトラックに対応する楽曲が再生されるようにする。なお、各トラックを示すアイコンと実オブジェクトＲ＿ＯＢＪとの位置関係が考慮される点が異なるが、トラックが選択された後の処理は、図８などの例を参照しながら説明した処理の流れと実質的に同じである。このような仕組みを適用することで、所望のトラックを素早く直感的に選択して再生することが可能になる。なお、選択に際してユーザが特別な操作をしていないため、操作工程が図８に示した例から増加していない点に注意されたい。

（複数アイコン表示を利用したトラック選択方法（図１２、図１３））
図１１の例では、ウィンドウに複数のトラックを示すアイコンを表示する方法を示した。しかし、仮想オブジェクトＶ＿ＯＢＪを表示できる環境があることから、図１２に示すように、実オブジェクトＲ＿ＯＢＪであるＣＤの側に複数のトラックを示す仮想オブジェクトＶ＿ＯＢＪを表示する方法も考えられる。例えば、ＣＤケースの四隅に、トラック＃１〜＃４をそれぞれ示す仮想オブジェクトＶ＿ＯＢＪを表示することが可能である。

この場合、図１３に示すように、ユーザが所望のトラックを示す仮想オブジェクトＶ＿ＯＢＪをウィンドウに近づける操作を行うことで、所望のトラックが再生される。なお、先に説明したように、仮想オブジェクトＶ＿ＯＢＪは、実オブジェクトＲ＿ＯＢＪの位置や姿勢に追従して表示させることが可能である。従って、図１３のような構成において、ＣＤケースをユーザが回転させた場合には仮想オブジェクトＶ＿ＯＢＪがＣＤケースの四隅の動きに追従して表示されるようにすればよい。

このような構成を適用すると、ユーザは、実オブジェクトＲ＿ＯＢＪの向きを調整してウィンドウに近づけることで、容易に所望のトラックを再生できるようになる。そのため、ユーザは、所望のトラックを素早く直感的に選択して再生することが可能になる。なお、図１１の例と同様、選択に際してユーザが特別な操作をしていないため、操作工程が図８に示した例から増加していない点に注意されたい。

［２−５：応用例］
上記の説明においては、ＣＤの楽曲を再生するためのユーザインターフェースを例に挙げて説明を進めてきたが、本実施形態に係る技術の適用範囲はこれに限定されない。例えば、以下に例示する操作形態及び当該操作形態から実施時点における技術常識を考慮して想到可能な変形例についても、当然に本実施形態に係る技術の適用範囲に含まれる。

（ブックリーダへの応用（図１４））
図１４は、書籍実施形態に係る技術の応用例について説明するための説明図である。以下では、図１４を参照しながら、ブックリーダへの応用例について説明する。この場合、書籍に関連する所定のコマンドを発行させたいユーザは、実オブジェクトである書籍をブックリーダのアプリケーションウインドウに近づけるなど、書籍とアプリケーションウインドウとを所定の位置関係にする。

なお、ブックリーダのアプリケーションウインドウは、ディスプレイ装置に表示された表示オブジェクトであってもよく、ＨＭＤに表示される仮想オブジェクトであってもよい。

ユーザは、例えば、書籍の表紙をカメラＣＡが撮像できるような向きで保持する。この場合、オブジェクト識別部１２２は、予め表紙の画像又は画像から抽出した特徴点に関する情報が記録された複数の書籍についてのデータベースと、撮像された書籍の表紙の画像とをマッチングさせる。データベースに記録された書籍のうち、撮像された書籍と最も類似する書籍が撮像されたと識別する。

撮像された書籍とアプリケーションウインドウが所定の位置関係になると、位置関係解析部１０５が当該位置関係を検出し、コマンド発行部１０６が所定のコマンドを発行する。ブックリーダの場合、コマンド発行部１０６は、例えば、アプリケーションウインドウに接近した書籍の内容を音声で読み上げたり、テキストの画面表示を行ったりするためのコマンドを発行する。

また、コマンド発行部１０６は、アプリケーションウインドウに接近した書籍に関連するデジタルデータをサーバから取得するためのコマンドを発行してもよい。書籍に関連するデジタルデータは、例えば、当該書籍のテキストデータ、当該書籍の出版情報、同一著者の書籍リスト、当該書籍から推測された推薦書籍のリストなどである。

また、予め書籍の各部分に対応したページの画像をデータベースに記録しておき、ユーザが所望の部分に対応したページを開きながらアプリケーションウインドウに近づけるようにしてもよい。

例えば、予め書籍の各章の最初のページの画像をデータベースに記録しておき、書籍の読み上げを開始してほしい章の最初のページを開いた状態で、ユーザが書籍をアプリケーションウインドウに接近させると、当該章から読み上げが開始される。

以上、図１６を参照しながら、本実施形態に係る技術の応用例について説明した。

（その他の応用例（図１５〜図１７））
以上では、主に操作対象となる実オブジェクト（以下、操作対象オブジェクト）がＣＤである場合について説明した。操作対象オブジェクトがＣＤである場合、制御対象コンテンツはＣＤに含まれる楽曲であり、出力先はＡＲ音楽プレーヤであり、コマンド発行部１０６により発行されるコマンドはＣＤに含まれる楽曲を再生するためのコマンドである。

図１５は、本実施形態に係る技術の応用例について説明するための説明図である。図１５は、操作対象オブジェクトが上述したＣＤ以外の場合について、操作対象オブジェクトと、制御対象コンテンツと、出力先と、コマンドとを対応付けて一覧にしたものである。

図１５に示すように、ユーザが、ＤＶＤとメディアプレーヤが所定の位置関係になるようにＤＶＤを操作すると、ＤＶＤに含まれる映像が再生される。

また、ユーザが、デジタルカメラとデジタルフォトフレームが所定の位置関係になるようにデジタルカメラを操作すると、デジタルカメラに含まれる写真が表示される。

また、ユーザが、書籍とスピーチプログラムが所定の位置関係になるように書籍を操作すると、書籍に含まれる文章が朗読される。

また、ユーザが、書籍とテキストエディタが所定の位置関係になるように書籍を操作すると、書籍に含まれる文章がテキストエディタにコピーアンドペーストされる。

また、ユーザが、書籍と画像編集ソフトが所定の位置関係になるように書籍を操作すると、書籍に含まれる写真が画像編集ソフトにコピーアンドペーストされる。

また、ユーザが、名刺と携帯電話又は各種情報端末が所定の位置関係になるように名刺を操作すると、名刺に含まれる連絡先が記録される。

また、ユーザが、食べ物と仮想空間上のアバターが所定の位置関係になるように食べ物を操作し、かつ、当該食べ物が当該アバターの好物であった場合には、アバターが当該食べ物を食べる仕草が表示される。なお、図１５中の制御対象コンテンツのうち、「好物」とは、アバターが当該食べ物を好きだという情報を意味する。

また、一つの操作対象オブジェクトに複数のコンテンツが含まれる場合、三次元情報解析部１０２又は仮想オブジェクト管理部１０３が複数のプレーヤそれぞれに対応した情報を解析又は管理する。

また、位置関係解析部１０５は、操作対象オブジェクトと、複数のプレーヤそれぞれとの位置関係を解析する。位置関係解析部１０５は、操作対象オブジェクトといずれかのプレーヤとが所定の位置関係になった場合、当該プレーヤに対応した信号を出力する。コマンド発行部１０６は、当該プレーヤに対応したコマンドを発行する。

例えば、楽曲及び映像が含まれるＤＶＤをＡＲ音楽プレーヤに接近させた場合、コマンド発行部１０６は、音楽再生のコマンドを発行する。また、当該ＤＶＤをメディアプレーヤに接近させた場合、コマンド発行部１０６は、映像再生のコマンドを発行する。

従来では、複数のコンテンツが含まれるオブジェクトに対応する所望のコマンドを発行する場合、ユーザは発行するコマンドを選択するためにＧＵＩなどを操作したりする必要があった。しかし、上記の方法では、ユーザは、ＧＵＩの操作方法などを予め習得せずに、直感的に操作を行うことが可能になる。

なお、特記した場合を除き、図１７において、出力先のオブジェクトは、実オブジェクトであってもよく、表示オブジェクトであってもよく、仮想オブジェクトであってもよい。

以下では、操作対象オブジェクトが食べ物である場合について、図１６及び図１７を参照しながら、より詳細に説明する。

図１６は、ユーザが仮想空間上のアバターの好物を接近させた場合の例について説明するための説明図である。図１７は、ユーザが仮想空間上のアバターの好物以外を接近させた場合の例について説明するための説明図である。

図１６に示すように、例えば、ユーザが仮想空間上のアバターに実オブジェクトＲ＿ＯＢＪとして好物のイチゴを接近させた場合、まず、撮像部１０１により撮像された実オブジェクトがイチゴであることが三次元情報解析部１０２により解析される。更に、仮想オブジェクト取得部１３１は、実オブジェクトであるイチゴに対応付けられた情報として、「イチゴがアバターの好物である」ことを取得する。

表示部１０４は、予め記憶された仮想オブジェクトＶ＿ＯＢＪとしてイチゴを表示し、さらに表示されたイチゴをアバターが食べる仕草をする表示をする。

一方、図１７に示すように、例えば、ユーザが仮想空間上のアバターに実オブジェクトＲ＿ＯＢＪとして好物でないリンゴを接近させた場合、まず、撮像部１０１により撮像された実オブジェクトがリンゴであることが三次元情報解析部１０２により解析される。更に、仮想オブジェクト取得部１３１は、実オブジェクトであるリンゴに対応付けられた情報として、「リンゴがアバターの好物でない」ことを取得する。

表示部１０４は、予め記憶された仮想オブジェクトＶ＿ＯＢＪとしてリンゴを表示し、さらに表示されたリンゴをアバターが食べるのを嫌がる仕草をする表示をする。

また、仮想オブジェクト取得部１３１は、予めアバターの好物のみの情報を記録したデータベースに取得した画像に含まれる実オブジェクトが含まれない場合（当該実オブジェクトがアバターの好物でない場合）、仮想オブジェクトを取得しないようにしてもよい。この場合、実オブジェクトを接近させても表示部１０４の表示が変化せず、ユーザから見ると、アバターが反応しないように見える。

上記のように、ユーザは実オブジェクトである食べ物を介して、仮想空間上のアバターに餌を与えるなどのコミュニケーションが可能であり、よりリアリティを追求したゲームの提供などへ応用することが可能である。

＜３：第２実施例（ジェスチャーを考慮した操作インターフェース）＞
次に、本技術の第２実施例について説明する。同実施例は、第１実施例の構成に加え、実オブジェクトを利用したジェスチャーを組み合わせて、より複雑な操作を実現するための仕組みに関する。

［３−１：システム構成例］
まず、第２実施例に係る技術を実現可能なシステムの構成例について説明する。当該システムは、例えば、撮像部１０１、情報処理装置１００、表示部１０４、出力制御装置２００、及び出力装置２１０により構成される。但し、情報処理装置１００が撮像部１０１及び表示部１０４と一体に形成されていてもよい。また、出力装置２１０は、音声を出力する音声出力装置であってもよいし、画像を表示する表示装置であってもよい。また、情報処理装置１００が有する一部又は全部の機能は、クラウドコンピューティングシステムにより実現されてもよい。以下、情報処理装置１００の構成を中心に説明する。

［３−２：情報処理装置１００の構成（図１８）］
図１８を参照しながら、第２実施例に係る情報処理装置１００の構成について説明する。図１８は、情報処理装置１００の機能構成について説明するための説明図である。図１８に示すように、情報処理装置１００は、撮像部１０１と、三次元情報解析部１０２と、仮想オブジェクト管理部１０３と、表示部１０４と、位置関係解析部１０５と、コマンド発行部１０６と、通信部１０７とを主に備える。

撮像部１０１は、実オブジェクトから入射した光を集光するレンズや、受光した光量に応じた電気信号を生成する撮像素子などを含み、実オブジェクトの像を撮像する。撮像部１０１は、例えば、ユーザが装着したＨＭＤに設けられたカメラＣＡなどである。

なお、利用可能な撮像素子としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどがある。撮像部１０１は、実オブジェクトを撮像すると、撮像画像を三次元情報解析部１０２及び表示部１０４に出力する。

三次元情報解析部１０２は、撮像部１０１から入力された撮像画像に含まれる三次元情報を解析する。三次元情報解析部１０２は、位置・姿勢検出部１２１と、オブジェクト識別部１２２と、動き認識部１２３とを備える。

三次元情報解析部１０２の位置・姿勢検出部１２１は、入力された実オブジェクトの撮像画像を解析し、実オブジェクトの３次元空間内の位置及び姿勢を検出する。検出方法は、例えば、前述したＳＵＲＦなどの技術を用いる。位置・姿勢検出部１２１は、検出した実オブジェクトの位置及び姿勢を、仮想オブジェクト管理部１０３に出力する。

また、三次元情報解析部１０２のオブジェクト識別部１２２は、入力された実オブジェクトの撮像画像を解析し、実オブジェクトのＩＤを識別する。

オブジェクト識別部１２２は、例えば、入力された実オブジェクトの撮像画像から一又は複数の特徴点の位置を検出する。更に、オブジェクト識別部１２２は、入力された実オブジェクトの特徴点の位置と、メモリなどの記憶部（不図示）に記憶された複数の実オブジェクトの特徴点の位置とのマッチングを行う。

上記の記憶部には、複数の実オブジェクトそれぞれについて、当該実オブジェクトのＩＤと、各特徴点の位置が記憶されている。オブジェクト識別部１２２は、記憶部に特徴点の位置が記憶された複数の実オブジェクトのうち、入力された実オブジェクトの特徴点との距離が最も短い特徴点を有する実オブジェクトのＩＤを、入力された実オブジェクトのＩＤとする。特徴点は、例えば、多角形の角や円形の周上に位置する点などである。オブジェクト識別部１２２は、識別した実オブジェクトのＩＤを、仮想オブジェクト管理部１０３に出力する。

また、動き認識部１２３は、位置・姿勢検出部１２１により検出された実オブジェクトの位置を監視し、実オブジェクトの動きを認識する。例えば、動き認識部１２３は、ある軌跡を描くように実オブジェクトが移動した場合に、当該軌跡が所定のパターンに該当するか否かを判定する。実オブジェクトの軌跡が所定のパターンに該当すると判定した場合、動き認識部１２３は、ジェスチャー有りと認識し、当該所定のパターンを示す情報（以下、ジェスチャー情報）を仮想オブジェクト管理部１０３、又は位置関係解析部１０５を介してコマンド発行部１０６に入力する。

なお、上記のジェスチャー情報は、ジェスチャーの種類に応じた仮想オブジェクトの表示制御や、コマンドの選択などに利用される。例えば、実オブジェクトを投げるジェスチャーが認識された場合、実オブジェクトに重畳表示されたアイコン（仮想オブジェクト）が飛ぶように表示制御される。また、実オブジェクトを左右に振るジェスチャーが認識された場合、表示オブジェクトや仮想オブジェクトの表示が切り替えられたり、或いは、コンテンツの再生停止などの所定コマンドが選択されたりする。

仮想オブジェクト管理部１０３は、識別された実オブジェクトのＩＤ及び位置に基づいて、当該実オブジェクトに対応する仮想オブジェクトの取得及び当該仮想オブジェクトを重畳表示する位置の制御を行なう。例えば、ジェスチャーに応じた仮想オブジェクトの表示制御なども、仮想オブジェクト管理部１０３の機能を利用して実現される。また、仮想オブジェクト管理部１０３は、仮想オブジェクト取得部１３１と、重畳位置制御部１３２とを備える。

仮想オブジェクト取得部１３１は、識別された実オブジェクトのＩＤに対応する仮想オブジェクトの表示情報を、予めメモリなどの記憶部に記憶されたデータベースなどから取得する。例えば、入力された実オブジェクトがＣＤであると識別された場合、対応する仮想オブジェクトとして、音符の形状をしたアイコンがデータベースから取得される。仮想オブジェクト取得部１３１は、取得した仮想オブジェクトの表示情報を、表示部１０４及び位置関係解析部１０５に出力する。

また、重畳位置制御部１３２は、検知された実オブジェクトの位置・姿勢に基づいて、仮想オブジェクト取得部１３１により取得された仮想オブジェクトを重畳表示する位置を制御する。例えば、重畳位置制御部１３２は、検知された実オブジェクトであるＣＤの中心の位置を算出し、算出した位置に仮想オブジェクトを重畳表示させる。重畳位置制御部１３２は、仮想オブジェクトを重畳表示させる位置を、表示部１０４及び位置関係解析部１０５に出力する。

表示部１０４は、実オブジェクトを含む撮像画像に、仮想オブジェクト管理部１０３から入力された仮想オブジェクトを重畳して表示する。

ここで、撮像部１０１による実オブジェクトの撮像、三次元情報解析部１０２による撮像画像の三次元情報解析、仮想オブジェクト管理部１０３による仮想オブジェクトの取得及び位置制御はリアルタイム処理される。そのため、ユーザが実オブジェクトを移動させると、当該実オブジェクトに対応する仮想オブジェクトも当該実オブジェクトに追従するように移動することとなる。

位置関係解析部１０５は、撮像部１０１により撮像された撮像画像に含まれたある実オブジェクト（以下、実オブジェクトＡ）と、オブジェクトＡ以外の所定のオブジェクト（以下、オブジェクトＢ）との位置関係を解析する。例えば、オブジェクトＡとして、ＣＤを考える。また、オブジェクトＢとして、ＣＤ再生用のアプリケーションウインドウを考える。

ここで、ＣＤ再生用のアプリケーションウインドウなどのオブジェクトＢは、外部のディスプレイ装置に表示された表示オブジェクトでもよく、ＨＭＤなどの表示部１０４に表示された仮想オブジェクトでもよい。但し、オブジェクトＢの位置は、オブジェクトＡの位置に追従しないものとする。

オブジェクトＢが外部のディスプレイ装置により表示されたアプリケーションウインドウなどの表示オブジェクトの場合、撮像部１０１により撮像された撮像画像には、実オブジェクトＡ及び表示オブジェクトＢが含まれる。当該撮像画像は、三次元情報解析部１０２により解析され、実オブジェクトＡの位置及び姿勢とともに、表示オブジェクトＢの位置及び姿勢が検出される。位置関係解析部１０５は、三次元情報解析部１０２により解析された実オブジェクトＡ及び表示オブジェクトＢの位置関係を解析する。

一方、オブジェクトＢが仮想アプリケーションウインドウなどの仮想オブジェクトの場合、例えば、重畳位置制御部１３２は、撮像部１０１により撮像された実オブジェクトＡの位置や姿勢によらず、オブジェクトＢの位置や姿勢を制御する。また、重畳位置制御部１３２は、撮像部１０１により撮像された実オブジェクトＡの初期位置及び姿勢に基づいて、オブジェクトＢの位置や姿勢を制御してもよい。

オブジェクトＢが仮想オブジェクトの場合、位置関係解析部１０５は、三次元情報解析部１０２により解析された実オブジェクトＡ及び仮想オブジェクト管理部１０３により制御された仮想オブジェクトＢの位置関係を解析する。

位置関係解析部１０５は、実オブジェクトＡとオブジェクトＢとが接近するなどの所定の位置関係であるか否かについての信号を、コマンド発行部１０６に出力する。

より具体的には、位置関係解析部１０５は、実オブジェクトＡとオブジェクトＢとの三次元空間上の距離を算出し、算出した距離が所定の閾値以下である場合、実オブジェクトＡとオブジェクトＢが接近したと判定して、所定の電気信号をコマンド発行部１０６に出力する。また、実オブジェクトＡとオブジェクトＢとの距離を算出する際に、所定の方向の距離のみを考慮してもよい。

但し、実オブジェクトＡとオブジェクトＢとの三次元空間上の距離を算出する際、オブジェクトＢが表示オブジェクトである場合、ディスプレイ装置の表示面を基準とした座標を、三次元空間座標に変換しておく必要がある。ディスプレイ装置の表示面を基準とした座標は、例えば、ディスプレイ装置の表示画面の一角を原点とするものである。また、当該角を形成する２辺の一方をｘ軸、他方をｙ軸としている。

コマンド発行部１０６は、実オブジェクトＡとオブジェクトＢとが所定の位置関係にあるという信号を位置関係解析部１０５から入力された場合、実オブジェクトＡに関連する所定のコマンドを発行する。また、所定のコマンドは、実オブジェクトＡに関連し、かつ、オブジェクトＢにも関連するコマンドであってもよい。さらに、所定のコマンドは、実オブジェクトＡ、オブジェクトＢ、認識されたジェスチャーの組み合わせに予め対応付けられたコマンドであってもよい。

例えば、実オブジェクトＡがＣＤであり、当該ＣＤをＣＤ再生用のアプリケーションウインドウ（オブジェクトＢ）に接近させる場合、コマンド発行部１０６は、ＣＤ再生を行うためのコマンドを発行する。また、ＣＤが左右に振られた場合、コマンド発行部１０６は、例えば、トラックを変更したり、ボリュームを増減させたりするコマンドを発行する。

ここで、情報処理装置１００は、有線又は無線のネットワークを介して出力制御装置２００と接続されている。発行されたコマンドは、通信部１０７を介して出力制御装置２００に送信される。出力制御装置２００は、受信したコマンドを実行して出力装置２１０を制御する。出力装置２１０は、音声再生装置や映像再生装置などである。

なお、出力制御装置２００は、情報処理装置１００の一部であってもよい。この場合、図１８に示した情報処理装置１００の構成から通信部１０７を削除した構成をとり、コマンド発行部１０６から出力制御装置２００にコマンドが直接送信される。

以上、主に情報処理装置１００の構成について説明した。

［３−３：情報処理装置１００の動作（図１９）］
次に、図１９を参照しながら、第２実施例に係る情報処理装置１００の動作について説明する。図１９は、第２実施例に係る情報処理装置１００の動作について説明するための流れ図である。

図１９に示すように、情報処理装置１００は、まず、撮像画像から実オブジェクトを検出する（Ｓ１１１）。このとき、情報処理装置１００は、実オブジェクトの位置や姿勢などを検出する。次いで、情報処理装置１００は、撮像画像から実オブジェクトの種類を認識する（Ｓ１１２）。次いで、情報処理装置１００は、実オブジェクトの種類や位置などに応じて、仮想空間に表示すべき所定の仮想オブジェクトを取得する（Ｓ１１３）。例えば、実オブジェクトがＣＤケースの場合、情報処理装置１００は、仮想オブジェクトとして、音楽プレーヤの画面や、音符を模したアイコンを取得する。

次いで、情報処理装置１００は、ステップＳ１１３で取得した仮想オブジェクトを重畳表示させる（Ｓ１１４）。例えば、情報処理装置１００は、音楽プレーヤの画面を仮想空間に表示させたり、ＣＤケース上に音符を模したアイコンを重畳表示させたりする。次いで、情報処理装置１００は、実オブジェクトの位置や姿勢に基づいて仮想オブジェクトの表示位置を制御する（Ｓ１１５）。例えば、ユーザがＣＤケースを音楽プレーヤの画面に近づけた場合、情報処理装置１００は、ＣＤケースに重畳表示させているアイコンをＣＤケースの動きに追従するように移動させる。

また、情報処理装置１００は、実オブジェクトの動きを監視し、実オブジェクトの動きにより形成される軌跡が所定のパターンを成す場合にジェスチャー有りと認定して、当該ジェスチャーに応じた表示制御を実施する（Ｓ１１６）。例えば、情報処理装置１００は、実オブジェクトが左右に振られた場合（所定のジェスチャー）にジェスチャー有りと認定し、仮想オブジェクトの種類を切り替える処理を実施する。なお、ジェスチャーの具体例及び具体的な表示制御方法については後述する。

次いで、情報処理装置１００は、実オブジェクトと所定のオブジェクト（例えば、音楽プレーヤの画面など；ウィンドウ）との位置関係を検出する（Ｓ１１７）。次いで、情報処理装置１００は、ステップＳ１１７で検出された位置関係が所定の位置関係を成すか否かを判定する（Ｓ１１８）。例えば、情報処理装置１００は、実オブジェクトと所定のオブジェクトとが接触するか否かを判定したり、或いは、実オブジェクトと所定のオブジェクトとの距離が所定の距離以下であるか否かを判定したりする。

実オブジェクトと所定のオブジェクトとが所定の位置関係を成す場合、情報処理装置１００は、処理をステップＳ１１９に進める。一方、実オブジェクトと所定のオブジェクトとが所定の位置関係を成していない場合、情報処理装置１００は、処理をステップＳ１１５に戻す。処理をステップＳ１１９に進めた場合、情報処理装置１００は、実オブジェクトの種類や、所定のオブジェクトの種類、或いは、位置関係に応じて予め設定されたコマンドを発行し（Ｓ１１９）、コマンド発行処理に係る一連の処理を終了する。なお、各オブジェクトの具体例、コマンドの具体例、及び具体的な操作方法については後述する。

以上、第２実施例に係る情報処理装置１００の動作について説明した。ここでは位置関係に基づくコマンドの発行に際して実行される、ジェスチャーを考慮した処理の流れについて説明したが、必要に応じて一部の処理ステップを入れ替えたり、変形したりすることが可能である。また、ここで説明した処理の流れを応用して後述する各操作方法を実現可能なユーザインターフェースを構成することが可能である。

［３−４：操作方法について］
次に、図２０及び図２１を参照しながら、第２実施例に係る情報処理装置１００の機能を用いて実現可能なユーザインターフェースの例及びその操作方法について説明する。

（ジェスチャーによる選択画面の切り替え操作（図２０））
ジェスチャーを併用することで、より複雑な操作が可能になる。その一例として、図２０に示すように、ウィンドウに表示された複数トラックに対応するアイコンの表示をジェスチャーにより切り替える操作が考えられる。例えば、実オブジェクトＲ＿ＯＢＪであるＣＤケースを左右に振ったり、回転させたりする操作に応じて、トラックの選択画面が切り替わるように構成することができる。より具体的には、実オブジェクトＲ＿ＯＢＪを右方向に振ったり、回転させたりすると、アイコンの列が右方向にスクロールするように表示制御する方法などが考えられる。

また、回転操作によりトラックが１つずつスクロールするようにし、上下に振る操作によりウィンドウに表示された複数トラックが一度に変更されるようにする方法なども有用であろう。この方法によると、図２０の例では、ＣＤケースを右方向に回転すると、トラック＃１〜＃３の表示がトラック＃２〜＃４などに切り替わり、ＣＤケースを上下に振ると、トラック＃１〜＃３の表示がトラック＃４〜＃６の表示に一度に切り替わる。

この方法を適用すると、実オブジェクトＲ＿ＯＢＪから手を離さずにトラックの選択画面を切り替えることが可能になるため、利便性が高い。さらに、操作工程も少なく、かつ、直感的なユーザインターフェースが実現される。もちろん、上記の第１実施例に係る全ての技術及びこれまで説明した第２実施例の技術と組み合わせることが可能である。

（ジェスチャーによるアイコン投げ操作（図２１））
図２０を参照しながら、ジェスチャーによりトラックの選択画面を切り替える操作について説明したが、ここでは実オブジェクトＲ＿ＯＢＪに付随する仮想オブジェクトＶ＿ＯＢＪの動きをジェスチャーで制御する方法を提案する。例えば、図２１に示すように、実オブジェクトＲ＿ＯＢＪを放る仕草をした場合に、実オブジェクトＲ＿ＯＢＪに付随して表示された仮想オブジェクトＶ＿ＯＢＪが飛ぶようにする仕組みが考えられる。この仕組みを適用すると、例えば、ＣＤとＣＤプレーヤとが遠く離れている場合に、ＣＤプレーヤに近づかなくてもＣＤの楽曲を再生することが可能になる。

また、仮想オブジェクトＶ＿ＯＢＪが実際に飛んで見えるため、ゲーム性があり、ユーザの遊び心を刺激することになる。この方法を適用すると、僅かな操作で楽曲を再生することが可能になり、利便性が高い。さらに、操作工程も少なく、かつ、直感的なユーザインターフェースが実現される。もちろん、上記の第１実施例に係る全ての技術及びこれまで説明した第２実施例の技術と自由に組み合わせることが可能である。

以上、第２実施例に係る情報処理装置１００の機能を用いて実現可能なユーザインターフェースの例及びその操作方法について説明した。

＜４：ハードウェア構成例（図２２）＞
上記の情報処理装置１００が有する各構成要素の機能は、例えば、図２２に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図２２に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図２２に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜５：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。例えば、下記（１）のように表現される情報処理装置は、オブジェクト間の位置関係に基づいてコマンドが発行されるため、コマンド発行に際して直感的な操作が可能になる。さらに、発行されるコマンドに関する仮想オブジェクトが第１又は第２のオブジェクトに重畳表示されるため、その後に実行されるであろう処理の内容が事前に認識可能となり、安心感を持って操作することが可能になる。

（１）
ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行部と、
前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御部と、
を備える、
情報処理装置。

（２）
前記所定のコマンドを実行可能な機器に対して前記コマンド発行部により発行された所定のコマンドを送信するコマンド送信部をさらに備える、
前記（１）に記載の情報処理装置。

（３）
前記コマンド発行部は、前記第２のオブジェクトに対応付けられ、かつ、前記第１のオブジェクトにも対応付けられた所定のコマンドを発行する、
前記（１）又は前記（２）に記載の情報処理装置。

（４）
複数の前記仮想オブジェクトを前記第２のオブジェクトに重畳表示させる場合に、前記第２のオブジェクトの位置及び形状に基づいて前記各仮想オブジェクトの表示位置を決定する位置決定部を更に備え、
前記表示制御部は、前記位置決定部により決定された表示位置に前記各仮想オブジェクトを表示させる、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。

（５）
前記表示制御部は、前記第１のオブジェクトと前記第２のオブジェクトとが前記所定の位置関係を成していない場合には第１の前記仮想オブジェクトを表示させ、前記第１のオブジェクトと前記第２のオブジェクトとが前記所定の位置関係を成している場合には当該第１の仮想オブジェクトとは異なる第２の前記仮想オブジェクトを表示させる、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。

（６）
前記コマンド発行部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値以下となった場合に、前記所定の位置関係を成すものと判定して前記所定のコマンドを発行する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（７）
前記コマンド発行部は、前記第２のオブジェクトの移動パターンが所定の軌跡を描く場合に前記所定のコマンドを発行する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（８）
前記コマンド発行部は、前記所定の軌跡の種類に応じた所定のコマンドを発行する、
前記（７）に記載の情報処理装置。

（９）
前記コマンド発行部は、前記第２のオブジェクトが前記第１のオブジェクトを基準とした所定の位置関係を成し、かつ、前記第２のオブジェクトの移動パターンが所定の軌跡を描く場合に前記所定のコマンドを発行する、
前記（７）又は（８）に記載の情報処理装置。

（１０）
前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられ、かつ、複数の前記仮想オブジェクトが前記第１のオブジェクトに重畳表示されている場合に、前記第２のオブジェクトと前記各仮想オブジェクトとの位置関係に応じて、発行する前記所定のコマンドを選択する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（１１）
前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられ、かつ、複数の前記仮想オブジェクトが前記第２のオブジェクトに重畳表示されている場合に、前記第１のオブジェクトと前記各仮想オブジェクトとの位置関係に応じて、発行する前記所定のコマンドを選択する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（１２）
前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられており、かつ、当該第２のオブジェクトが所定の軌跡を描く場合に、当該所定の軌跡に対応した前記所定のコマンドを発行する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（１３）
前記第１のオブジェクトは、仮想空間内のオブジェクトである、
前記（１）〜（１２）のいずれか１項に記載の情報処理装置。

（１４）
前記第１のオブジェクトは、前記ユーザが位置を移動可能である、
前記（１）〜（１３）のいずれか１項に記載の情報処理装置。

（１５）
前記表示制御部は、前記ユーザが頭部に装着可能であり、かつ、当該ユーザが表示情報を視認可能にする表示部を有する頭部搭載型デバイスを制御して前記仮想オブジェクトを当該表示部に表示させる、
前記（１）〜（１４）のいずれか１項に記載の情報処理装置。

（１６）
前記頭部搭載型デバイスは、撮像部又はセンサをさらに有し、
前記第２のオブジェクトの位置は、前記撮像部により撮像された前記第２のオブジェクトの画像又は前記センサにより検知された前記第２のオブジェクトの検知結果に基づいて検出される、
前記（１５）に記載の情報処理装置。

（１７）
ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するステップと、
前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させるステップと、
を含む、
情報処理方法。

（１８）
コンピュータに、
ユーザが視認している第１のオブジェクトと、当該ユーザが位置を移動可能な第２のオブジェクトと、が所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行機能と、
前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御機能と、
を実現させるためのプログラム。

（備考）
上記の位置関係解析部１０５及びコマンド発行部１０６は、コマンド発行部の一例である。上記の仮想オブジェクト管理部１０３は、表示制御部、位置決定部の一例である。上記の通信部１０７は、コマンド送信部の一例である。上記のＨＭＤは、頭部搭載型デバイスの一例である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

１００ 情報処理装置
１０１ 撮像部
１０２ 三次元情報解析部
１０３ 仮想オブジェクト管理部
１０４ 表示部
１０５ 位置関係解析部
１０６ コマンド発行部
１０７ 通信部
１２１ 位置・姿勢検出部
１２２ オブジェクト識別部
１２３ 動き認識部
１３１ 仮想オブジェクト取得部
１３２ 重畳位置制御部
２００ 出力制御装置
２１０ 出力装置

Claims (17)

1. 実世界の物体であって、ユーザが位置を移動可能な第２のオブジェクトを検出し、前記第２のオブジェクトの種類を認識する認識部と、
   前記第２のオブジェクトの種類に基づいて、前記ユーザが視認可能な、仮想空間内のオブジェクトである第１のオブジェクトを取得し、表示させる管理部と、
   前記ユーザが、前記第２のオブジェクトを前記第１のオブジェクトに近づけたことにより、前記第１のオブジェクトと前記第２のオブジェクトとが所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行部と、
   前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御部と、
   を備える、
   情報処理装置。
2. 前記所定のコマンドを実行可能な機器に対して前記コマンド発行部により発行された前記所定のコマンドを送信するコマンド送信部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記コマンド発行部は、前記第２のオブジェクトに対応付けられ、かつ、前記第１のオブジェクトにも対応付けられた前記所定のコマンドを発行する、
   請求項１又は２に記載の情報処理装置。
4. 複数の前記所定のコマンドに関する仮想オブジェクトを前記第２のオブジェクトに重畳表示させる場合に、前記第２のオブジェクトの位置及び形状に基づいて前記各所定のコマンドに関する仮想オブジェクトの表示位置を決定する位置決定部を更に備え、
   前記表示制御部は、前記位置決定部により決定された前記表示位置に前記各仮想オブジェクトを表示させる、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記表示制御部は、前記第１のオブジェクトと前記第２のオブジェクトとが前記所定の位置関係を成していない場合には第１の前記所定のコマンドに関する仮想オブジェクトを表示させ、
   前記第１のオブジェクトと前記第２のオブジェクトとが前記所定の位置関係を成している場合には当該第１の所定のコマンドに関する仮想オブジェクトとは異なる第２の前記所定のコマンドに関する仮想オブジェクトを表示させる、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記コマンド発行部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値以下となった場合に、前記第１のオブジェクトと前記第２のオブジェクトとが前記所定の位置関係を成すものと判定して前記所定のコマンドを発行する、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記コマンド発行部は、前記第２のオブジェクトの移動パターンが所定の軌跡を描く場合に前記所定のコマンドを発行する、
   請求項１から５のいずれか１項に記載の情報処理装置。
8. 前記コマンド発行部は、前記所定の軌跡の種類に応じた前記所定のコマンドを発行する、
   請求項７に記載の情報処理装置。
9. 前記コマンド発行部は、前記第２のオブジェクトが前記第１のオブジェクトを基準とした前記所定の位置関係を成し、かつ、前記第２のオブジェクトの前記移動パターンが前記所定の軌跡を描く場合に前記所定のコマンドを発行する、
   請求項７又は８に記載の情報処理装置。
10. 前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられ、かつ、複数の前記所定のコマンドに関する仮想オブジェクトが前記第１のオブジェクトに重畳表示されている場合に、前記第２のオブジェクトと前記各所定のコマンドに関する仮想オブジェクトとの位置関係に応じて、発行する前記所定のコマンドを選択する、
    請求項１から５のいずれか１項に記載の情報処理装置。
11. 前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられ、かつ、複数の前記所定のコマンドに関する仮想オブジェクトが前記第２のオブジェクトに重畳表示されている場合に、前記第１のオブジェクトと前記各所定のコマンドに関する仮想オブジェクトとの位置関係に応じて、発行する前記所定のコマンドを選択する、
    請求項１から５のいずれか１項に記載の情報処理装置。
12. 前記コマンド発行部は、複数の前記所定のコマンドが前記第２のオブジェクトに対応付けられており、かつ、当該第２のオブジェクトが所定の軌跡を描く場合に、当該所定の軌跡に対応した前記所定のコマンドを発行する、
    請求項１から５のいずれか１項に記載の情報処理装置。
13. 前記第１のオブジェクトは、前記ユーザが位置を移動可能である、
    請求項１から１２のいずれか１項に記載の情報処理装置。
14. 前記表示制御部は、前記ユーザの頭部に装着可能であり、かつ、当該ユーザによって表示情報を視認することが可能なように当該表示情報を表示する表示部を有する頭部搭載型デバイスを制御して前記所定のコマンドに関する仮想オブジェクトを当該表示部に表示させる、
    請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記頭部搭載型デバイスは、撮像部又はセンサをさらに有し、
    前記第２のオブジェクトの位置は、前記撮像部により撮像された前記第２のオブジェクトの画像又は前記センサにより検知された前記第２のオブジェクトの検知結果に基づいて検出される、
    請求項１４に記載の情報処理装置。
16. 実世界の物体であって、ユーザが位置を移動可能な第２のオブジェクトを検出し、前記第２のオブジェクトの種類を認識するステップと、
    前記第２のオブジェクトの種類に基づいて、前記ユーザが視認可能な、仮想空間内のオブジェクトである第１のオブジェクトを取得し、表示させるステップと、
    前記ユーザが、前記第２のオブジェクトを前記第１のオブジェクトに近づけたことにより、前記第１のオブジェクトと前記第２のオブジェクトとが所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するステップと、
    前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させるステップと、
    を含む、
    情報処理方法。
17. コンピュータに、
    実世界の物体であって、ユーザが位置を移動可能な第２のオブジェクトを検出し、前記第２のオブジェクトの種類を認識する認識機能と、
    前記第２のオブジェクトの種類に基づいて、前記ユーザが視認可能な、仮想空間内のオブジェクトである第１のオブジェクトを取得し、表示させる管理機能と、
    前記ユーザが、前記第２のオブジェクトを前記第１のオブジェクトに近づけたことにより、前記第１のオブジェクトと前記第２のオブジェクトとが所定の位置関係を成す場合に、前記第２のオブジェクトに対応付けられた所定のコマンドを発行するコマンド発行機能と、
    前記所定のコマンドに関する仮想オブジェクトを前記第１又は第２のオブジェクトに重畳表示させる表示制御機能と、
    を実現させるためのプログラム。
    

Images