JP6939801B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、３次元空間に存在するオブジェクトをユーザの視点位置に対して相対的に回転させる技術が知られている。ここで、ユーザの視点位置は、オブジェクトをユーザがどこから見ているかを示す位置（オブジェクトの位置を基準としたユーザの視野を形成する３次元的な相対位置）を意味し得る。視点位置に対するオブジェクトの相対的な回転によって、ユーザは視点位置を変更しながらオブジェクトを観測することが可能となる。

例えば、オブジェクトの例として、カメラによって撮像された画像を、ユーザによる回転操作に基づいて回転させながら表示する技術が開示されている（例えば、特許文献１参照。）。かかる技術においては、オブジェクトの回転中心は、あらかじめ決められているのが一般的である。一例として、オブジェクトの回転中心が、オブジェクトの中心にあらかじめ決められている場合などがある。

特開２０１６−１１５９６５号公報

しかし、ユーザの視点位置に対する相対的なオブジェクトの回転をよりユーザが望むように行う技術が提供されることが望ましい。

本開示によれば、３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、を備える、情報処理装置が提供される。

本開示によれば、３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定することと、プロセッサにより、前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させることと、を含む、情報処理方法が提供される。

本開示によれば、コンピュータを、３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザの視点位置に対する相対的なオブジェクトの回転をよりユーザが望むように行うことが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

オブジェクトの回転中心があらかじめ決められている場合におけるオブジェクト回転の例について説明するための図である。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第１の例を示す図である。 、本開示の第１の実施形態に係る情報処理装置の第１の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 本開示の第１の実施形態の第１の例においてユーザの視野に写る仮想オブジェクトの例を示す図である。 本開示の第１の実施形態の第１の例においてユーザの視野に写る仮想オブジェクトの例を示す図である。 視点カメラが全天周カメラである場合における視野の形成について説明するための図である。 エンベロープ面を用いて回転中心を決定する例を説明するための図である。 仮想オブジェクトと視点カメラとの位置関係の例を示す図である。 仮想オブジェクトが視点カメラに衝突してしまう場合の第１の解決策について説明するための図である。 仮想オブジェクトが視点カメラに衝突してしまう場合の第２の解決策について説明するための図である。 視点位置と仮想オブジェクトとの距離と回転速度との関係の例を説明するための図である。 視点位置と仮想オブジェクトとの距離と回転速度との関係の例を説明するための図である。 回転可能範囲を示す情報の出力例を示す図である。 仮想オブジェクトの回転が限界に達したことを示す情報の出力例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第２の例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第２の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第３の例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第３の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第４の例を示す図である。 本開示の第１の実施形態に係る情報処理装置の第５の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第１の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第１の例において実空間に存在する実オブジェクトの例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第２の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第２の例において実空間に存在する実オブジェクトの例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第３の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第３の例において実空間に存在する実オブジェクトの例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第４の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第５の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第５の例において実空間に存在する実オブジェクトの例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第６の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第６の例において実空間に存在する実オブジェクトの例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第７の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の第７の例において実空間に存在する実オブジェクトの例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態の説明
１．１．機能構成例
１．２．全体的な機能
２．第２の実施形態の説明
２．１．機能構成例
２．２．全体的な機能
３．ハードウェア構成例
４．むすび

まず、本開示の実施形態の前提構成について説明する。本開示の実施形態においては、３次元空間に存在するオブジェクトをユーザの視点位置に対して相対的に回転させる。ここで、ユーザの視点位置は、オブジェクトをユーザがどこから見ているかを示す位置（オブジェクトの位置を基準としたユーザの視野を形成する３次元的な相対位置）を意味し得る。視点位置に対するオブジェクトの相対的な回転によって、ユーザは視点位置を変更しながらオブジェクトを観測することが可能となる。

例えば、本開示の実施形態においては、操作オブジェクトとしてカメラによって撮像された画像が、ユーザによる回転操作に基づいて回転されながら表示される。、ユーザの回転操作に基づいてオブジェクトを回転させる場合、オブジェクトの回転中心は、通常はあらかじめ所定の位置に決められる。例えば、オブジェクトの回転中心は、オブジェクトの中心にあらかじめ決められうる。

オブジェクトの回転中心があらかじめ決められている場合におけるオブジェクト回転の例について、図１を参照して説明する。図１では、仮想オブジェクトが仮想空間に存在し、視点位置に仮想的に存在する視点カメラによって撮像される場合を想定する。図１を参照すると、このように撮像された画像によって、視野５３−１が提供されている。図１に示した例では、視野５３−１に提供される仮想オブジェクト６０−１の例として、脳の３次元モデル（以下、「３次元モデル」を単に「３Ｄモデル」とも言う。）が表示されている。

なお、本明細書においては、視点位置に現実的または仮想的に存在する視点カメラ５１によって撮像された画像の表示を介して、ユーザが仮想オブジェクトまたは実オブジェクトを間接的に観測する例を主に説明する。しかし、例えば、視点位置に直接的にユーザが存在する場合も想定される。かかる場合には、ユーザが直接的に仮想オブジェクトまたは実オブジェクトを観測してもよい。このとき、視点カメラ５１は、特に存在していなくてもよい。

ここで、視野５３−１を観測したユーザが、仮想オブジェクト６０−１において、ユーザの観測希望領域６１をさらに詳細に観測したいと考えた場合を想定する。図１に示した例では、観測希望領域６１が溝部であり、ユーザがこの溝部の左奥側を右手前側から覗き込みたいと考えた場合を想定する。かかる場合、ユーザは仮想オブジェクト６０−１に対して（上から見て時計回りに）回転させる操作を行うことによって、この溝部の左奥側を右手前側から覗き込むことが可能である。

ここで、仮想オブジェクト６０−１の中心位置が回転中心６２−１としてあらかじめ決められている場合、回転中心６２−１を基準として仮想オブジェクト６０−１が回転すると、観測希望領域６１がユーザの所望するように提供されない可能性がある。視野５３−２には、回転後の仮想オブジェクト６０−１が写っているが、観測希望領域６１が奥側に遠ざかり、かつ、視野５３−２の中央付近から大きく離れてしまっている。

かかる場合、ユーザは仮想オブジェクト６０−１を移動させる操作を行うことによって、観測希望領域６１を視野５３−２の中央付近に位置させることが可能である。視野５３−３には、移動後の仮想オブジェクト６０−１が写っている。また、ユーザは仮想オブジェクト６０−１を拡大させる操作を行うことによって、仮想オブジェクト６０−１を拡大させることが可能である。しかし、仮想オブジェクト６０−１を移動または拡大させる操作は、ユーザにとって煩雑である場合がある。

そこで、本明細書においては、ユーザの視点位置に対する相対的なオブジェクトの回転をよりユーザが望むように行う技術について主に説明する。なお、図１には、仮想空間に存在する仮想オブジェクト６０−１がオブジェクトの例としてユーザの視野５３−１に提供されている。しかし、後に説明するように、本開示の実施形態において、オブジェクトは、実空間に存在する実オブジェクトであってもよい。

以上、本開示の実施形態の背景について説明した。

＜１．第１の実施形態の説明＞
続いて、本開示の第１の実施形態について説明する。本開示の第１の実施形態においては、仮想空間に存在する仮想オブジェクトを回転させる例を主に説明する。

［１．１．機能構成例］
まず、本開示の第１の実施形態に係る情報処理装置の機能構成例について説明する。図２は、本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。図２に示したように、情報処理装置１０Ａは、制御部１１０、指示方向検出部１２０、操作検出部１３０、記憶部１５０Ａおよび出力部１６０を有している。

なお、本明細書においては、制御部１１０、指示方向検出部１２０、操作検出部１３０、記憶部１５０Ａおよび出力部１６０が、同一のデバイス（情報処理装置１０Ａ）の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。

制御部１１０は、情報処理装置１０Ａの各部の制御を実行する。図２に示したように、制御部１１０は、出力制御部１１１、データ取得部１１２、回転中心決定部１１３、回転制御部１１４、移動制御部１１５を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。

指示方向検出部１２０は、３次元空間におけるユーザによる指示方向（以下、単に「指示方向」とも言う。）を検出することが可能である。本明細書においては、指示方向としてユーザの視線を用いる場合を主に説明する。ここで、ユーザの視線は、どのようにして検出されてもよい。一例として、ユーザの視線は、指示方向検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に写る目領域に基づいて検出されてよい。しかし、指示方向は、ユーザの視線に限定されない。

例えば、指示方向は、ユーザの動きを検出するモーションセンサによる検出結果に基づいて検出されてもよい（モーションセンサによって検出された３次元空間における位置を先とする指示方向が検出されてもよい）。モーションセンサは、加速度センサによって加速度を検出してもよいし、ジャイロセンサ（例えば、指輪型ジャイロマウスなど）によって角速度を検出してもよい。あるいは、指示方向は、触感型デバイスによる検出結果に基づいて検出されてもよい。触感型デバイスの例としては、ペン型の触感デバイスが挙げられる。

あるいは、指示方向は、所定の物体が指し示す方向（例えば、棒の先端が指し示す方向など）であってもよいし、ユーザの指が指し示す方向であってもよい。所定の物体が指し示す方向およびユーザの指が指し示す方向は、指示方向検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に写る物体および指に基づいて検出されてよい。あるいは、指示方向は、ユーザの顔認識結果に基づいて検出されてもよい。例えば、指示方向検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に基づいて両目間の中心位置が認識され、両目間の中心位置から伸びる直線が指示方向として検出されてもよい。

あるいは、指示方向は、マーカの認識結果に基づいて検出されてもよい。例えば、３次元空間に２次元マーカが配置され、指示方向検出部１２０が可視光カメラを有する場合、可視光カメラによる撮像によって得られた画像に写る２次元マーカの位置に基づいて、指示方向が検出されてもよい。また、３次元空間に赤外線反射マーカが配置され、指示方向検出部１２０が赤外線カメラを有する場合、赤外線反射マーカにおける赤外線の反射光を赤外線カメラによって撮像し、撮像によって得られた画像に写る赤外線反射マーカの位置に基づいて、指示方向が検出されてもよい。

あるいは、指示方向は、音声認識結果に基づいて検出されてもよい。例えば、図１に示した例において、ユーザが指示方向の先として、仮想オブジェクト６０−１の中央を指定したい場合には、仮想オブジェクト６０−１の中央を表現する発話（例えば、「脳のセンタ」などといった発話）を行えばよい。そうすれば、かかる発話に対する音声認識結果として、テキストデータ「脳のセンタ」が得られ、このテキストデータ「脳のセンタ」に基づいて、仮想オブジェクト６０−１の中央を先とする指示方向が検出され得る。

あるいは、複数の手法によって同時に指示方向を検出可能である場合、複数の手法のいずれかが利用対象として選択されてもよい。例えば、複数の手法の中で最も指示方向の検出精度が高い手法（例えば、マーカの認識結果に基づく検出手法など）が利用対象として選択されてもよい。このとき、検出精度はあらかじめ決められていてもよいし、その時々で計算されてもよい。あるいは、複数の手法の中で最も方向指示が最も直感的な手法（例えば、視線の検出手法など）が利用対象として選択されてもよい。

操作検出部１３０は、ユーザによって入力される操作を検出することが可能である。なお、本明細書においては、ユーザによって入力される操作の例として、オブジェクトの回転操作および移動操作を主に説明する。ここで、オブジェクトの回転操作および移動操作は、どのようにして検出されてもよい。一例として、オブジェクトの回転操作および移動操作は、ユーザの動きに基づいて検出されてよい。例えば、ユーザの動きがある方向への回転を示す場合、当該方向への回転操作が検出されてよい。また、ユーザの動きがある方向への移動を示す場合、当該方向への移動操作が検出されてよい。

ユーザの動きの検出はどのようになされてもよい。例えば、操作検出部１３０が撮像装置を有する場合、撮像装置によって得られた画像からユーザの動きが検出されてもよい。あるいは、操作検出部１３０は、モーションセンサによってユーザの動きを検出してもよい。モーションセンサは、加速度センサによって加速度を検出してもよいし、ジャイロセンサによって角速度を検出してもよい。あるいは、ユーザの動きは、音声認識結果に基づいて検出されてもよい。

あるいは、オブジェクトの回転操作および移動操作は、スイッチ、レバーおよびボタンなどに対する操作であってもよい。また、オブジェクトの回転操作および移動操作は、ユーザの身体の位置（例えば、頭部の位置など）および姿勢（例えば、全身の姿勢など）などに基づいて検出されてもよい。また、オブジェクトの回転操作および移動操作は、筋電（例えば、顎の筋電、腕の筋電など）によって検出されてもよいし、脳波によって検出されてもよい。

記憶部１５０Ａは、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１５０Ａは、制御部１１０による演算のためにデータを一時的に記憶する。記憶部１５０Ａは、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。特に、本開示の第１の実施形態において、記憶部１５０Ａは、３次元モデルに関する情報（例えば、３次元モデルの形状、大きさ、位置、向きなどの情報）を、３Ｄモデル情報１５１として記憶している。

出力部１６０は、各種の情報を出力する。例えば、出力部１６０は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよく、ディスプレイは、プロジェクタであってもよいし、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。また、出力部１６０は、音声出力装置を含んでもよい。あるいは、出力部１６０は、ユーザに触覚を提示する触覚提示装置を含んでもよい。

以上、本開示の第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明した。

［１．２．全体的な機能］
続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの機能詳細について説明する。図３は、本開示の第１の実施形態に係る情報処理装置１０Ａの第１の例を示す図である。図４は、本開示の第１の実施形態に係る情報処理装置１０Ａの第１の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図３に示すように、情報処理装置１０Ａは、ユーザＵの頭部に装着され、指示方向検出部１２０および出力部１６０を有している。

図３に示すように、第１の例においては、情報処理装置１０ＡがＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である場合を主に想定する。しかし、情報処理装置１０Ａは、ＡＲ用のＨＭＤに限定されない。例えば、情報処理装置１０Ａは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用のＨＭＤであってもよいし、テレビジョン装置であってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、スマートフォンであってもよいし、他の電子機器であってもよい。

図４を参照すると、仮想空間２０−１に仮想オブジェクト４０−１が存在し、視点位置に視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０−１が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３−１が提供される。図３に示した例では、視野５３−１に写る仮想オブジェクト６０−１の例として、脳の３Ｄモデルが示されている。

ここで、視野５３−１を観測したユーザＵが、ユーザＵの観測希望領域６１をさらに詳細に観測したいと考えた場合を想定する。図３に示した例では、観測希望領域６１が溝部であり、ユーザＵがこの溝部の左奥側を右手前側から覗き込みたいと考えた場合を想定する。かかる場合、ユーザＵは仮想オブジェクト６０−１に対して（上から見て時計回りに）回転させる操作を行うことによって、この溝部の左奥側を右手前側から覗き込むことが可能である。

上記では、図１を参照して仮想オブジェクト６０−１の中心位置が回転中心６２−１としてあらかじめ決められている前提構成を説明した。一方、本開示の第１の実施形態においては、指示方向検出部１２０が、実空間におけるユーザＵの視線を検出し、実空間におけるユーザＵの視線に対応する仮想空間２０−１におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、仮想空間２０−１におけるユーザＵの視線５２を取得するとともに、３Ｄモデル情報１５１から仮想空間２０−１における仮想オブジェクト４０−１の位置を取得する。

このとき、回転中心決定部１１３は、仮想空間２０−１における仮想オブジェクト４０−１の位置と仮想空間２０−１におけるユーザＵの視線とに基づいて、回転中心を決定する。図４には、仮想空間２０−１におけるユーザＵの視線５２が示されており、回転中心決定部１１３が、仮想空間２０−１におけるユーザＵの視線５２と仮想オブジェクト４０−１の表面との交点を回転中心４２−２として決定する例が示されている。視野５３−１には、仮想空間２０−１における回転中心４２−２に対応する点として、回転中心６２−２が写っている。

回転制御部１１４は、回転中心４２−２に基づいて、仮想オブジェクト４０−１をユーザＵの視点位置（視点カメラ５１の位置）に対して相対的に回転させる。かかる構成によれば、ユーザＵの視点位置に対する相対的な仮想オブジェクト４０−１の回転をよりユーザＵが望むように行うことが可能となる。なお、本明細書においては、仮想オブジェクト４０−１の回転が、ユーザＵの回転操作に基づいて行われることを主に想定する。しかし、仮想オブジェクト４０−１の回転は、ユーザＵの回転操作によらずに自動的に行われてもよい。

また、本明細書において用いられる「回転」という用語は、回転中心からの距離を一定に保ちながらオブジェクト（仮想オブジェクトまたは実オブジェクト）の一部が動くことを意味する。したがって、回転中心には、オブジェクト（仮想オブジェクトまたは実オブジェクト）の一部が存在してもよいし、存在しなくてもよい。すなわち、本明細書において用いられる「回転」とは、３次元空間における実質的な位置の変化を伴わない特定の軸を基準とした運動である「自転」や、特定の円軌道上の運動である「公転」といった種々の運動態様を含みうる概念である。さらに、本明細書において、オブジェクトの回転角度は限定されない。例えば、オブジェクトの回転角度は、３６０度未満であってもよい。

さらに、本開示の第１の実施形態において、仮想オブジェクト４０−１は、ユーザＵの視点位置に対して相対的に回転されればよい。したがって、回転制御部１１４は、回転中心４２−２を基準として、仮想オブジェクト４０−１を直接的に回転させてもよいし、視点位置（視点カメラ５１の位置）を直接的に回転させてもよい。以下では、回転制御部１１４が、回転中心４２−２を基準として、視点位置（視点カメラ５１の位置）を直接的に回転させる例を主に説明する。

図５および図６は、本開示の第１の実施形態の第１の例においてユーザＵの視野に写る仮想オブジェクト６０−１の例を示す図である。図５に示したように、視野５３−１には、回転前の仮想オブジェクト６０−１が写っている。そして、視野５３−３には、回転後の仮想オブジェクト６０−１が写っている。このとき、仮想空間２０−１における仮想オブジェクト４０−１は、ユーザＵの視線５２と仮想オブジェクト４０−１の表面との交点を回転中心４２−２として回転するため、観測希望領域６１はさほど遠ざからず、かつ、視野５３−３の中央からさほど離れずに移動する。

ユーザＵは、視野５３−３に提供される仮想オブジェクト６０−１の向きが所望の向きに一致した場合には、仮想空間２０−１に存在する仮想オブジェクト４０−１に対する回転操作を停止すればよい。そうすれば、回転制御部１１４によって仮想オブジェクト４０−１の回転が停止される。このとき、回転操作の停止まで、回転中心４２−２は不変であってもよいし、変更されてもよい。回転中心４２−２の変更は、ユーザＵの視線５２の変更によって実現される。

移動制御部１１５は、回転中心４２−２が決定された場合、回転中心６２−２がユーザＵの視野５３−３の所定位置に合うように仮想オブジェクト６０−１を視野５３−３に対して相対的に並進移動させるとよい（仮想オブジェクト４０−１を視点カメラ５１に対して相対的に並進移動させるとよい）。そうすれば、ユーザＵにとってより観測しやすい仮想オブジェクト６０−１を提供することが可能になる。ここで、所定位置は特に限定されない。

例えば、回転中心６２−２が合わせられる所定位置は、視野５３−３の中央であってもよい。視野５３−４を参照すると、回転中心６２−２が視野５３−３の中央に合うように仮想オブジェクト６０−１が視野５３−３に対して相対的に移動されている。あるいは、回転中心６２−２が合わせられる所定位置は、視野５３−３の内側であってもよい。すなわち、移動制御部１１５は、回転中心６２−２が視野５３−３の外側に存在する場合、視野５３−３の内側に回転中心６２−２が存在するように視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。

視野５３−３に対する仮想オブジェクト６０−１の相対的な並進移動は、様々な手法によって実現され得る。例えば、移動制御部１１５は、仮想空間２０−１において視点カメラ５１を並進移動させてもよい。あるいは、移動制御部１１５は、視点カメラ５１のデジタルズーム機能によって視野５３−４を切り出すウィンドウ位置を変更してもよい。あるいは、移動制御部１１５は、視点カメラ５１が全天周カメラである場合には、撮像された映像から視野５３−４を形成する画像を選択すればよい。

図７は、視点カメラ５１が全天周カメラである場合における視野５３−４の形成について説明するための図である。図７に示すように、視点カメラ５１が全天周カメラである場合、例えば、視点カメラ５１は、水平方向３６０度、垂直方向１８０度に渡って撮像を行って全天周映像を得ることが可能である。そこで、移動制御部１１５は、視点カメラ５１の撮像方向を特定することによって、全天周映像から視野５３−４を形成するための画像を得ることが可能である。

図６に戻って説明を続ける。視野５３−３に対する仮想オブジェクト６０−１の相対的な並進移動のタイミングは限定されない。例えば、移動制御部１１５は、仮想オブジェクト６０−１の回転と同時に、視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。あるいは、移動制御部１１５は、仮想オブジェクト６０−１の回転の前または後に、視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。

また、移動制御部１１５は、無条件に視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよいが、条件付きで視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。例えば、移動制御部１１５は、事前設定がなされている場合に、視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。あるいは、移動制御部１１５は、仮想オブジェクト６０−１の種類が所定の種類である場合に、視野５３−３に対して仮想オブジェクト６０−１を相対的に並進移動させてもよい。

上記においては、ユーザの視線と（オブジェクトの位置に応じた所定の面の一例としての）オブジェクトの表面との交点が回転中心として決定される例を示した。しかし、オブジェクトの形状が複雑な場合などに、ユーザの視線とオブジェクトの表面との交点が回転中心になってしまうと、ユーザの所望するようにオブジェクトが回転しない場合が生じ得る。一例として、ユーザがオブジェクトの表面に存在する溝の手前側を観測している場合であっても、ユーザの視線とオブジェクトの表面との交点は、溝の奥側になってしまうため、溝の奥側が回転中心になってしまい、ユーザの所望するようにオブジェクトが回転しない場合があり得る。

そこで、以下では、よりユーザの所望するようにオブジェクトを回転させるための技術を説明する。オブジェクトの例として、仮想オブジェクトを回転させる場合を説明する。具体的には、仮想オブジェクトの位置に応じた所定の面の例として、仮想オブジェクトの全体または一部を覆う面（以下、「エンベロープ面」とも言う。）を想定する。そして、回転中心決定部１１３は、仮想空間における仮想オブジェクトのエンベロープ面と仮想空間における視線との交点を回転中心として決定する。

図８は、エンベロープ面を用いて回転中心を決定する例を説明するための図である。図８に示すように、仮想空間２０−１に仮想オブジェクト４０−１が存在する場合を想定する。また、回転中心決定部１１３は、仮想オブジェクト４０−１の全体を覆うエンベロープ面５４を算出する。このとき、回転中心決定部１１３は、仮想空間２０−１におけるユーザＵの視線５２とエンベロープ面５４との交点を回転中心４２−３として決定してよい。これによって、ユーザが実際に観測している溝の手前側が回転中心になるため、ユーザがより所望するように仮想オブジェクト４０−１が回転する可能性が高まる。

なお、ここでは、回転中心決定部１１３が、仮想オブジェクト４０−１の位置に応じた所定の面の例として、なだらかなエンベロープ面を算出する例を想定した。しかし、仮想オブジェクト４０−１の位置に応じた所定の面は、なだらかな面ではなく、仮想オブジェクト４０−１の表面の凹凸がある程度反映された面であってもよい。

例えば、回転中心決定部１１３は、仮想オブジェクト４０−１の位置に応じた所定の面の例として、仮想オブジェクト４０−１の表面をｖｏｘｅｌ単位（３次元空間における正規格子単位）で抽象化したｖｏｘｅｌ面を算出してもよい。これによって、ｖｏｘｅｌ面はエンベロープ面よりも単純化して表現されるため、仮想オブジェクト４０−１の位置に応じた所定の面の計算、および、当該所定の面とユーザの視線との交点の計算の負荷が低減される。

以上においては、仮想オブジェクト４０−１の位置に応じた所定の面の例として、仮想オブジェクト４０−１の表面、エンベロープ面、および、ｖｏｘｅｌ面について説明した。ここで、仮想オブジェクト４０−１の位置に応じた所定の面の例として、これらのいずれの面が利用されるかは限定されない。例えば、回転中心決定部１１３は、ユーザＵによる選択操作に従って、仮想オブジェクト４０−１の位置に応じた所定の面を選択してもよい。

あるいは、回転中心決定部１１３は、仮想オブジェクト４０−１の形状の複雑さに応じて、仮想オブジェクト４０−１の位置に応じた所定の面を選択してもよい。例えば、回転中心決定部１１３は、仮想オブジェクト４０−１の形状の複雑さが閾値を超える場合に、エンベロープ面またはｖｏｘｅｌ面を選択し、仮想オブジェクト４０−１の形状の複雑さが閾値以下の場合に、仮想オブジェクト４０−１の表面を選択してもよい。

なお、仮想オブジェクト４０−１の形状の複雑さはどのように算出されてもよい。一例として、回転中心決定部１１３は、仮想オブジェクト４０−１の形状の複雑さを、仮想オブジェクト４０−１の表面の各位置における深さの分散値によって算出してもよい。仮想オブジェクト４０−１の表面の各位置は、仮想オブジェクト４０−１の表面全体の各位置であってもよいし、仮想オブジェクト４０−１の表面の一部（例えば、視野に写る部分など）の各位置であってもよい。

以上においては、回転制御部１１４は、回転中心に基づいて、仮想オブジェクトをユーザの視点位置に対して相対的に回転させる場合について説明した。しかし、仮想オブジェクトをユーザの視点位置に対して相対的に回転させた場合、仮想オブジェクトが視点カメラに衝突してしまい、ユーザの視野に仮想オブジェクトの一部が写らない状況が起こり得る。そこで、回転制御部１１４は、回転中心と視点位置との位置関係に基づいて、視点位置の回転軌道を制御するとよい。かかる例について説明する。

図９は、仮想オブジェクトと視点カメラとの位置関係の例を示す図である。図９を参照すると、視点カメラ５１からユーザの視線５２が伸びており、視線５２と仮想オブジェクト４０−２との交点が回転中心４２−２として決定されている。かかる仮想オブジェクト４０−２と視点カメラ５１との位置関係を前提として、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまう場合の第１の解決策について、図１０を参照しながら説明し、第２の解決策について、図１１を参照しながら説明する。

図１０は、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまう場合の第１の解決策について説明するための図である。図１０には、図９に示した仮想オブジェクト４０−２と視点カメラ５１との位置関係が、上方から見下ろすような角度によって示されている。ここでは、回転中心４２−２を基準として、視点位置（視点カメラ５１の位置）を直接的に回転させる場合を想定する。図１０を参照すると、視点カメラ５１の軌道５５−１が示されている。

ここで、図１０に示した例では、視点カメラ５１の軌道５５−１の外側に仮想オブジェクト４０−２がはみ出すという状況が起きている。そのため、視点カメラ５１が軌道５５−１に沿って回転した場合、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまう。そこで、かかる状況において、回転制御部１１４は、軌道５５−２の内側に仮想オブジェクト４０−２が収まるように軌道５５−１を変形させるとよい。図１０には、変形後の軌道５５−２が楕円で示されているが、変形後の軌道５５−２の形状は特に限定されない。

このような軌道５５−１の制御によって、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまい、ユーザの視野に仮想オブジェクトの一部が写らなくなってしまう状況を防ぐことが可能となる。一方、このような軌道５５−１の制御によって、回転中心４２−２と視点カメラ５１との距離が一定ではなくなるため、ユーザの視野に写る仮想オブジェクトのサイズが変化してしまう。そこで、回転制御部１１４は、視点カメラ５１の回転と同時に、視点カメラ５１のズームを制御することによって、ユーザの視野に写る仮想オブジェクトのサイズを一定にしてもよい。

図１１は、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまう場合の第２の解決策について説明するための図である。図１１には、図９に示した仮想オブジェクト４０−２と視点カメラ５１との位置関係が、上方から見下ろすような角度によって示されている。図１０に示した例と同様に、回転中心４２−２を基準として、視点位置（視点カメラ５１の位置）を直接的に回転させる場合を想定する。図１１を参照すると、視点カメラ５１の軌道５５−１が示されている。

ここで、図１１に示した例においても、視点カメラ５１の軌道５５−１の外側に仮想オブジェクト４０−２がはみ出すという状況が起きている。そのため、視点カメラ５１が軌道５５−１に沿って回転した場合、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまう。そこで、かかる状況において、回転制御部１１４は、軌道５５−３の内側に仮想オブジェクト４０−２が収まるように軌道５５−１を拡大させるとよい。図１０には、拡大後の軌道５５−３が円で示されている。

図１１に示した例では、図１０に示した例と異なり、拡大前の軌道５５−１と拡大後の軌道５５−３とが不連続になっている。そのため、拡大前の軌道５５−１から拡大後の軌道５５−３に視点カメラ５１を移動させる必要がある。拡大前の軌道５５−１から拡大後の軌道５５−３への視点カメラ５１の移動は、回転制御部１１４によって自動的に制御されてもよいし、回転制御部１１４によってユーザに視点カメラ５１の移動指示がなされた場合には、ユーザの手動によってなされてもよい。

図１０に示した例と同様に、図１１に示した例においても、軌道５５−１の制御によって、仮想オブジェクト４０−２が視点カメラ５１に衝突してしまい、ユーザの視野に仮想オブジェクトの一部が写らなくなってしまう状況を防ぐことが可能となる。

以上においては、視点位置の回転軌道を制御する例について説明した。ここで、オブジェクトの回転速度は一定であってもよいし、可変であってもよい。オブジェクトの回転速度が可変である場合、回転速度はどのように制御されてもよい。例えば、回転制御部１１４は、オブジェクトに関するパラメータに応じた回転速度に従って、オブジェクトをユーザの視点位置に対して相対的に回転させてもよい。

ここで、オブジェクトに関するパラメータの種類は特に限定されない。例えば、オブジェクトに関するパラメータは、オブジェクトの形状の複雑さ、オブジェクトの大きさ、および、視点位置とオブジェクトとの距離の少なくともいずれか一つを含んでよい。

例えば、オブジェクトの形状の複雑さが高いほど、オブジェクトの観測に時間を要することが想定されるため、回転速度は遅いとよい。オブジェクトの形状の複雑さは、上記したように算出され得る。また、オブジェクトが大きいほど、オブジェクトの観測に時間を要することが想定されるため、回転速度は遅いとよい。

また、視点位置とオブジェクトとの距離が小さいほど、視野に写るオブジェクトが大きくなり、オブジェクトの観測に時間を要することが想定されるため、回転速度は遅いとよい。視点位置とオブジェクトとの距離と回転速度との関係の例について、オブジェクトが仮想オブジェクトである場合を想定して説明する。ただし、オブジェクトは仮想オブジェクではなく、実オブジェクトであってもよい。

図１２は、視点位置と仮想オブジェクトとの距離と回転速度との関係の例を説明するための図である。図１２を参照すると、視野５３−５には、視点位置からの距離が最も遠い仮想オブジェクト６０−１が写っている。このとき、視野５３−５には仮想オブジェクト６０−１が最も小さく写るため、ユーザは仮想オブジェクト６０−１の全体を大まかに観測することが想定される。そのため、回転制御部１１４は、回転速度を最も早くしてよい。

また、図１２を参照すると、視野５３−６には、視点位置からの距離が少し小さい仮想オブジェクト６０−１が写っている。このとき、視野５３−６には仮想オブジェクト６０−１が少し大きく写るため、ユーザは仮想オブジェクト６０−１を少し細かく観測するようになることが想定される。そのため、回転制御部１１４は、回転速度を少し遅くするとよい。

また、図１２を参照すると、視野５３−７には、視点位置からの距離が最も小さい仮想オブジェクト６０−１が写っている。このとき、視野５３−７には仮想オブジェクト６０−１が最も大きく写るため、ユーザは仮想オブジェクト６０−１をさらに細かく観測するようになることが想定される。そのため、回転制御部１１４は、回転速度を最も遅くするとよい。

以上においては、オブジェクトの回転速度を制御する例について説明した。ところで、上記においては、指示方向検出部１２０がユーザの視線を検出する例について説明したが、指示方向検出部１２０によってユーザの視線が検出されない場合もあり得る。例えば、指示方向検出部１２０が撮像装置を有する場合、撮像装置の撮像範囲に目領域が収まっていない場合もあれば、画像に目領域が不鮮明に写っており視線が検出されない場合もある。

そこで、出力制御部１１１は、視線が検出されない場合、視線が検出されないことを示す情報の出力を制御するとよい。視線が検出されないことを示す情報は、視覚情報としてディスプレイによって出力されてもよいし、音声情報として音声出力装置によって出力されてもよいし、触覚情報として触覚提示装置によって出力されてもよい。以下では、視線が検出されないことを示す情報が、視覚情報としてディプレイによって出力される例を説明する。なお、以下の説明においても、オブジェクトの例として仮想オブジェクトを想定する。

図１３は、視線が検出されないことを示す情報の出力例を示す図である。図１３を参照すると、視野５３−８に仮想オブジェクト６０−２が写っている。しかし、ユーザが仮想オブジェクト６０−２を見ておらず、ユーザの視線が検出されない場合を想定する。かかる場合、出力制御部１１１は、ユーザの視線が検出されないことを示す情報の出力を制御する。図１３に示した例では、出力制御部１１１によって、ユーザの視線が検出されないことを示す視覚情報（非検出情報５６）の出力が制御されている。非検出情報５６の形状、大きさ、色などは特に限定されない。

なお、ユーザの視線が検出されない場合には、視線以外の指示方向を検出可能である場合には、視線の代わりに視線以外の指示方向が利用されてよい。視線以外の指示方向は、上記した各種の指示方向であってよい。また、ユーザの視線が検出されない場合には、ユーザによる前回の指示方向に基づく回転中心が利用されてもよいし、ユーザによる指示方向が過去に検出されていない場合には、デフォルト設定がされている位置が回転中心として利用されてもよい。

以上においては、視線が検出されないことを示す情報の出力例について説明した。上記においては、オブジェクトの回転範囲に制限がない場合について説明した。しかし、何らかの要因でオブジェクトの回転範囲に制限がある場合もあり得る。例えば、オブジェクトが仮想オブジェクトである場合、仮想オブジェクトをある角度から撮像した画像しか用意されていない場合もあり得る。あるいは、オブジェクトが実オブジェクトである場合、カメラアームで視点カメラを回転させる場合などには、視点カメラの回転に制限がある場合もあり得る。あるいは、実オブジェクトの回転に制限がある場合もある。

そこで、出力制御部１１１は、視点位置に対するオブジェクトの相対的な回転可能範囲を示す情報の出力を制御するとよい。そうすれば、ユーザは、オブジェクトをどの程度回転させることが可能であるかを容易に理解することが可能となる。以下においては、オブジェクトが仮想オブジェクトである場合を想定して説明する。

図１４は、回転可能範囲を示す情報の出力例を示す図である。図１４を参照すると、視野５３−１に仮想オブジェクト６０−２が写っている。また、仮想オブジェクト６０−２の回転中心４２−２が示されている。例えば、仮想オブジェクト６０−２が水平方向および垂直方向に回転可能である場合を想定する。このとき、図１４に示すように、出力制御部１１１は、水平方向の回転可能範囲を示す情報５７−１と垂直方向の回転可能範囲を示す情報５７−２とを出力させるとよい。

なお、出力制御部１１１によって、現在の仮想オブジェクト６０−２の水平方向の回転角度を示すマーク５８−１の出力が制御されており、現在の仮想オブジェクト６０−２の垂直方向の回転角度を示すマーク５８−２の出力が制御されている。上から見て反時計回りに仮想オブジェクト６０−２が回転すると、その回転に対応する長さだけ水平方向の回転角度を示すマーク５８−１が左に移動する。一方、上から見て時計回りに仮想オブジェクト６０−２が回転すると、その回転に対応する長さだけ水平方向の回転角度を示すマーク５８−１が右に移動する。

また、右から見て反時計回りに仮想オブジェクト６０−２が回転すると、その回転に対応する長さだけ垂直方向の回転角度を示すマーク５８−２が上に移動する。一方、右から見て時計回りに仮想オブジェクト６０−２が回転すると、その回転に対応する長さだけ垂直方向の回転角度を示すマーク５８−２が下に移動する。

回転可能範囲を示す情報５７−１の左右端は、それぞれ仮想オブジェクト６０−２の水平方向の回転角度が限界に到達したときに水平方向の回転角度を示すマーク５８−１が到達する位置を示す。一方、回転可能範囲を示す情報５７−２の上下端は、それぞれ仮想オブジェクト６０−２の垂直方向の回転角度が限界に到達したときに垂直方向の回転角度を示すマーク５８−２が到達する位置を示す。

図１４に示した例では、仮想オブジェクト６０−２の前面が真正面に視野５３−９に写っている場合を基準角度としている。そこで、図１４においては、仮想オブジェクト６０−２の水平方向の回転角度が、その基準角度を基準として、＋４５度から＋４５度まで変化し得る場合を示している。また、図１４においては、現在の仮想オブジェクト６０−２の水平方向の回転角度が、その基準角度を基準として、＋３８度である場合を示している。

また、図１４においては、仮想オブジェクト６０−２の垂直方向の回転角度が、その基準角度を基準として、０度から＋３０度まで変化し得る場合を示している。また、図１４においては、現在の仮想オブジェクト６０−２の垂直方向の回転角度が、その基準角度を基準として、＋２３度である場合を示している。なお、仮想オブジェクト６０−２の基準角度および回転角度の範囲は、図１４に示した例に限定されない。

以上においては、オブジェクトの回転可能範囲を示す情報の出力例について説明した。しかし、出力制御部１１１は、回転可能範囲を示す情報の出力に追加して、または、回転可能範囲を示す情報の出力の代わりに、視点位置に対するオブジェクトの相対的な回転が回転可能範囲の限界に達した場合、視点位置に対するオブジェクトの相対的な回転が回転可能範囲の限界に達したことを示す情報の出力を制御してもよい。そうすれば、ユーザは、オブジェクトの回転が限界に達したことを容易に理解することが可能となる。

ここで、オブジェクトの回転が限界に達したことを示す情報は、視覚情報としてディスプレイによって出力されてもよいし、音声情報として音声出力装置によって出力されてもよいし、触覚情報として触覚提示装置によって出力されてもよい。以下では、オブジェクトの回転が限界に達したことを示す情報が、視覚情報としてディプレイによって出力される例を説明する。なお、以下の説明においても、オブジェクトが仮想オブジェクトである場合を想定して説明する。

図１５は、仮想オブジェクト６０―２の回転が限界に達したことを示す情報の出力例を示す図である。図１５を参照すると、視野５３−１０に仮想オブジェクト６０−２が写っている。ここで、ユーザが仮想オブジェクト６０−２に対して（上から見て反時計回りに）回転操作をするが、仮想オブジェクト６０−２の当該方向の回転が限界に達している場合を想定する。かかる場合、出力制御部１１１は、仮想オブジェクト６０−２の回転が限界に達したことを示す情報の出力を制御する。

図１５に示した例では、出力制御部１１１によって、仮想オブジェクト６０−２の回転が限界に達したことを示す情報を示す視覚情報（限界到達情報５９）の出力が制御されている。限界到達情報５９の形状、大きさ、色などは特に限定されない。しかし、仮想オブジェクト６０−２の手前側の面のうち奥側に回転する領域（図１５に示した例では、回転方向が上から見て反時計回りであれば、回転中心４２−２の右側領域が奥側に回転するため、回転中心４２−２の右側領域）に限界到達情報５９が表示されれば、ユーザは直感的に回転が限界に到達した方向を理解することが可能である。

なお、出力制御部１１１は、限界到達情報５９を一度出力させたら、仮想オブジェクト６０−２の回転角度の限界到達が解除されない限り、限界到達情報５９を出力させ続けてもよい。あるいは、出力制御部１１１は、限界到達情報５９を一度出力させたら、所定時間が経過した段階で、限界到達情報５９を自動的に消去してもよい。そうすれば、限界到達情報５９が出力され続けることによってユーザが感じる煩わしさを低減することが可能となる。

以上においては、オブジェクトの回転が限界に達したことを示す情報の出力例について説明した。以上においては、オブジェクトの回転中心が視点位置から遠い場合であっても、オブジェクトの回転軌道を特に変更しない例を説明した。しかし、オブジェクトの回転中心が視点位置から遠い場合には、オブジェクトの回転を把握しづらい場合がある（例えば、オブジェクトが並進移動しているように見えてしまう場合がある）。

そこで、回転中心決定部１１３は、回転中心が視点位置から所定の距離よりも遠くに存在する場合、回転中心を前記視点位置に近づけてもよい。そうすれば、ユーザにとってオブジェクトの回転が把握しやすくなる。所定の距離は、あらかじめ決められていてもよいし、ユーザによって設定可能であってもよい。

また、上記においては、オブジェクトが出力部１６０によって平面上に２次元的に表示される例を主に説明した。しかし、オブジェクトが空間上に３次元的に表示される場合もあり得る（３Ｄ表示される場合もあり得る）。あるいは、ユーザが視点位置に存在する場合、ユーザが実空間に存在する実オブジェクトを直接的に観測する場合もあり得る。かかる場合には、ユーザによって観測されるオブジェクトの位置が奥行きに依存して、ユーザの輻輳角が変化することが想定される。

そこで、回転中心決定部１１３は、オブジェクトが空間上に３次元的に表示される場合、ユーザの輻輳角に基づいて３次元空間におけるオブジェクトの奥行き情報を算出してもよい。そして、回転中心決定部１１３は、算出したオブジェクトの奥行き情報と指示方向とに基づいて、回転中心を決定してもよい。より具体的には、回転中心決定部１１３は、奥行き情報が示す面と指示方向との交点を回転中心として決定すればよい。例えば、回転中心決定部１１３は、撮像装置によって得られた画像からユーザの輻輳角を検出すればよい。

以上においては、本開示の第１の実施形態に係る情報処理装置１０Ａの第１の例を説明した。続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの第２の例を説明する。図１６は、本開示の第１の実施形態に係る情報処理装置１０Ａの第２の例を示す図である。図１７は、本開示の第１の実施形態に係る情報処理装置１０Ａの第２の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図１６に示すように、情報処理装置１０Ａは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図１７に示すように、第２の例においては、情報処理装置１０Ａがテレビジョン装置である場合を主に想定する。図１７を参照すると、仮想空間２０−１に仮想オブジェクト４０−１が存在し、視点位置に視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０−１が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３−１が提供される。図１６を参照すると、視野５３−１に写る仮想オブジェクト６０−１の例として、脳の３Ｄモデルが示されている。

第２の例においても、指示方向検出部１２０が、実空間におけるユーザＵの視線を検出し、実空間におけるユーザＵの視線に対応する仮想空間２０−１におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。このとき、第２の例において、指示方向検出部１２０は、実空間におけるユーザＵの視線に基づいて、視野５３−１におけるユーザＵの観測点を検出し、視野５３−１におけるユーザＵの観測点に対応する仮想空間２０−１におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。第２の例においても、第１の例と同様に、仮想オブジェクト４０−１が相対的に回転される。

図１８は、本開示の第１の実施形態に係る情報処理装置１０Ａの第３の例を示す図である。図１９は、本開示の第１の実施形態に係る情報処理装置１０Ａの第３の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図１８に示すように、情報処理装置１０Ａは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図１９に示すように、第３の例においても、情報処理装置１０Ａがテレビジョン装置である場合を主に想定する。図１９を参照すると、仮想空間２０−３に仮想オブジェクト４０−３が存在し、視点位置に視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０−３が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３−１１が提供される。図１８を参照すると、視野５３−１１に写る仮想オブジェクト６０−３の例として、部屋の３Ｄモデルが示されている。第３の例においても、第２の例と同様に、仮想オブジェクト４０−３が相対的に回転される。

図２０は、本開示の第１の実施形態に係る情報処理装置１０Ａの第４の例を示す図である。図２０に示すように、情報処理装置１０Ａは、ユーザＵ２の頭部に装着され、指示方向検出部１２０および出力部１６０を有している。ユーザＵ２とは異なるユーザＵ１は、コンピュータＣ１の画面を閲覧している。コンピュータＣ１は、３Ｄモデル情報を管理しており、３Ｄモデル情報に基づく仮想オブジェクトを画面に表示するとともに、３Ｄモデル情報を情報処理装置１０Ａに送信する。第４の例においても、第１の例と同様に、情報処理装置１０ＡがＡＲ用のＨＭＤである場合を主に想定する。

図２０を参照すると、仮想空間に仮想オブジェクト４０−４が存在し、視点位置に視点カメラが仮想的に存在している。そして、視点カメラによって仮想オブジェクト４０−４が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野が提供される。図２０を参照すると、仮想オブジェクト４０−４の例として、心臓が示されている。第４の例においても、第１の例と同様に、仮想オブジェクト４０−４が相対的に回転される。

図２１は、本開示の第１の実施形態に係る情報処理装置１０Ａの第５の例を示す図である。第５の例においても、情報処理装置１０Ａが、ユーザの頭部に装着される場合を想定する。第５の例においても、第１の例と同様に、情報処理装置１０ＡがＡＲ用のＨＭＤである場合を主に想定する。

第５の例においては、仮想空間に仮想オブジェクトとして風景写真が存在し、視点位置に視点カメラが仮想的に存在する。そして、視点カメラによって風景写真が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザに視野５３−１２が提供される。

例えば、視野５３−１２において、下部に写る建物に視線が当てられると、下部に写る建物の位置が回転中心４２−４として決定される。かかる状況において、ユーザによって風景写真を時計回りに回転させる操作が行われると、風景写真が時計回りに回転するとともに、下部に写る建物が視野５３−１２の中央に位置するように風景写真を移動する（視野５３−１３）。

一方、視野５３−１２において、上部に写る建物に視線が当てられると、上部に写る建物の位置が回転中心４２−３として決定される。かかる状況において、ユーザによって風景写真を時計回りに回転させる操作が行われると、風景写真が時計回りに回転するとともに、上部に写る建物が視野５３−１２の中央に位置するように風景写真を移動する（視野５３−１４）。

なお、図２１に示した例では、視点が当てられる対象が建物であったが、視点が当てられる対象は、建物以外であってもよく、区画であってもよい。また、図２１に示した例では、回転されるオブジェクトが風景写真であったが、回転されるオブジェクトは、風景写真以外であってもよく、地図であってもよい。また、ここでは、風景写真が２次元データである場合を想定したが、風景写真が３次元データである場合には、建物と視線との交点が回転中心として３次元的に決定され、風景写真が３次元的に回転されてもよい。

以上において、本開示の第１の実施形態について説明した。

＜２．第２の実施形態の説明＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態においては、実空間に存在する実オブジェクトを回転させる例を主に説明する。なお、本開示の第１の実施形態において既に説明した仮想オブジェクトの回転の機能は、実オブジェクトの回転の機能に対しても同様に適用され得る。そこで、本開示の第２の実施形態においては、実オブジェクトの回転の機能のうち、仮想オブジェクトの回転の機能と異なる点を主に説明する。

［２．１．機能構成例］
まず、本開示の第２の実施形態に係る情報処理装置の機能構成例について説明する。図２２は、本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。図２２に示したように、情報処理装置１０Ｂは、奥行き情報検出部１４０を有しており、記憶部１５０Ｂが３Ｄモデル情報１５１を記憶していない点が、本開示の第１の実施形態に係る情報処理装置１０Ｂと異なっている。以下では、これらの相違点について主に説明する。

なお、本明細書においては、制御部１１０、指示方向検出部１２０、操作検出部１３０、奥行き情報検出部１４０、記憶部１５０Ｂおよび出力部１６０が、同一のデバイス（情報処理装置１０Ｂ）の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。

奥行き情報検出部１４０は、実空間に存在する実オブジェクトの奥行き情報を検出する。ここで、実オブジェクトの奥行き情報の検出手法は特に限定されない。例えば、奥行き情報検出部１４０は、レーザ距離計によって実オブジェクトの奥行き情報を検出してもよいし、デプスセンサによって実オブジェクトの奥行き情報を検出してもよいし、ステレオカメラによって実オブジェクトの奥行き情報を検出してもよいし、カメラレンズの焦点距離、カメラによって撮像される画像サイズ、および、イメージセンサのサイズに基づいて、実オブジェクトの奥行き情報が検出されてもよい。

以上、本開示の第２の実施形態に係る情報処理装置１０Ｂの機能構成例について説明した。

［２．２．全体的な機能］
続いて、本開示の第２の実施形態に係る情報処理装置１０Ｂの機能詳細について説明する。図２３は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第１の例を示す図である。図２４は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第１の例において実空間に存在する実オブジェクトの例を示す図である。図２３に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図２３に示すように、第１の例においては、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図２４を参照すると、実空間２０−４に実オブジェクト４０−４が存在し、実オブジェクト４０−４を異なる位置からそれぞれ撮像する設置カメラ７１−１および設置カメラ７１−２が存在している。設置カメラ７１の数は特に限定されない。また、実空間２０−４には、現実的な視点位置に仮想的な視点カメラ５１が設置されている。そして、設置カメラ７１−１および設置カメラ７１−２それぞれによって実オブジェクト４０−４が撮像されて得られる映像が、出力制御部１１１によって繋ぎ合わされて、仮想的な視点カメラ５１によって撮像される自由視点映像が生成される。

出力制御部１１１によって生成した自由視点映像が出力部１６０によって表示されることによって、ユーザＵに視野５３−１５が提供される。図２３を参照すると、視野５３−１５に写る実オブジェクト６０−４の例として、サッカー競技場（選手達を含む）が示されている。なお、実オブジェクト６０−４は、サッカー競技場に限定されない。例えば、実オブジェクト６０−４は、音楽が演奏されるライブ会場であってもよいし、監視カメラによって撮像される監視対象領域であってもよい。

本開示の第２の実施形態においては、指示方向検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０−４におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−４におけるユーザＵの視線５２を取得するとともに、奥行き情報検出部１４０から実空間２０−４における実オブジェクト４０−４の位置を取得する。

このとき、回転中心決定部１１３は、実空間２０−４における実オブジェクト４０−４の奥行き情報に対応する面と実空間２０−４におけるユーザＵの視線とに基づいて、回転中心を決定する。図２４には、実空間２０−４におけるユーザＵの視線５２が示されており、回転中心決定部１１３が、実空間２０−４におけるユーザＵの視線５２と実オブジェクト４０−４の奥行き情報に対応する面との交点を回転中心４２−２として決定する例が示されている。視野５３−１５には、実空間２０−４における回転中心４２−２に対応する点として、回転中心６２−２が写っている。

回転制御部１１４は、回転中心４２−２に基づいて、実オブジェクト４０−４をユーザＵの視点位置（視点カメラ５１の位置）に対して相対的に回転させる。かかる構成によれば、ユーザＵの視点位置に対する相対的な実オブジェクト４０−４の回転をよりユーザＵが望むように行うことが可能となる。なお、本明細書においては、実オブジェクト４０−４の回転が、ユーザＵの回転操作に基づいて行われることを主に想定する。しかし、実オブジェクト４０−４の回転は、ユーザＵの回転操作によらずに自動的に行われてもよい。

さらに、本開示の第２の実施形態においても、実オブジェクト４０−４は、ユーザＵの視点位置に対して相対的に回転されればよい。したがって、回転制御部１１４は、回転中心４２−２を基準として、実オブジェクト４０−４を直接的に回転させてもよいし、視点位置（視点カメラ５１の位置）を直接的に回転させてもよい。以下では、回転制御部１１４が、回転中心４２−２を基準として、視点位置（視点カメラ５１の位置）を直接的に回転させる例を主に説明する。

移動制御部１１５は、回転中心４２−２が決定された場合、回転中心６２−２がユーザＵの視野５３−１５の所定位置に合うように実オブジェクト６０−４を視野５３−１５に対して相対的に並進移動させるとよい（実オブジェクト４０−４を視点カメラ５１に対して相対的に並進移動させるとよい）。そうすれば、ユーザＵにとってより観測しやすい実オブジェクト６０−４を提供することが可能になる。ここで、所定位置は特に限定されない。

例えば、回転中心６２−２が合わせられる所定位置は、視野５３−１５の中央であってもよい。また、回転中心６２−２に存在する選手は時々刻々と動くことが想定されるため、回転制御部１１４は、回転中心６２−２に存在する選手をトラッキングしてもよい。そして、回転制御部１１４は、トラッキングに基づいて、回転中心６２−２を選手に追従させてもよい。そうすれば、移動制御部１１５は、回転中心６２−２に存在する選手をユーザＵの視野５３−１５の所定位置（例えば、視野５３−１５の中央）に常に合わせることが可能である。

上記においては、ユーザの視線と（実オブジェクトの奥行き情報に応じた所定の面の一例としての）実オブジェクトの奥行き情報に対応する面との交点が回転中心として決定される例を示した。しかし、本開示の第１の実施形態と同様に、回転中心決定部１１３は、実空間における実オブジェクトのエンベロープ面と実空間における視線との交点を回転中心として決定してもよい。あるいは、回転中心決定部１１３は、実オブジェクトの奥行き情報に応じた所定の面の例として、実オブジェクトの表面をｖｏｘｅｌ単位で抽象化したｖｏｘｅｌ面を算出してもよい。

なお、実空間を撮像するカメラのフォーカス位置が適切に制御されるとよい。より具体的には、奥行き情報検出部１４０によって、回転中心４２−２の奥行き情報が得られる。そこで、出力制御部１１１は、回転中心４２−２の奥行き情報に基づいて、カメラのフォーカス位置を制御するとよい。より具体的には、出力制御部１１１は、回転中心４２−２の奥行き情報、カメラによって撮像される画像サイズ、および、イメージセンサのサイズに基づいて、カメラのフォーカス位置を制御するとよい。そうすれば、回転中心４２−２の周辺がより鮮明に写る視野がユーザに提供され得る。

図２５は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第２の例を示す図である。図２６は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第２の例において実空間に存在する実オブジェクトの例を示す図である。図２５に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図２５に示すように、第２の例においても、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図２６を参照すると、実空間２０−５に実オブジェクト４０−５が存在し、実オブジェクト４０−５を異なる位置からそれぞれ撮像する設置カメラ７１−１および設置カメラ７１−２が存在している。設置カメラ７１の数は特に限定されない。また、実空間２０−５には、現実的な視点位置に仮想的な視点カメラ５１が設置されている。そして、設置カメラ７１−１および設置カメラ７１−２それぞれによって実オブジェクト４０−５が撮像されて得られる映像が、出力制御部１１１によって繋ぎ合わされて、仮想的な視点カメラ５１によって撮像される自由視点映像が生成される。

出力制御部１１１によって生成した自由視点映像が出力部１６０によって表示されることによって、ユーザＵに視野５３−１６が提供される。図２５を参照すると、視野５３−１６に写る実オブジェクト６０−５の例として、車両が示されている。なお、実オブジェクト６０−５は、車両に限定されない。本例においても、本開示の第２の実施形態の第１の例と同様に、仮想オブジェクト４０−５が相対的に回転される。

図２７は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第３の例を示す図である。図２８は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第３の例において実空間に存在する実オブジェクトの例を示す図である。図２７に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図２７に示すように、第３の例においても、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図２８を参照すると、実空間２０−６に実オブジェクト４０−６が存在し、現実的な視点位置にステレオカメラ７２が存在している。そして、ステレオカメラ７２によって実オブジェクト４０−６が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３−１７が提供される。図２７を参照すると、視野５３−１７に写る実オブジェクト６０−６の例として、機械が示されている。なお、実オブジェクト６０−６は、機械に限定されない。

本例においては、指示方向検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０−６におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−６におけるユーザＵの視線５２を取得するとともに、ステレオカメラ７２から実空間２０−６における実オブジェクト４０−６の位置を取得する。

本例においては、ロボットアーム７３によってステレオカメラ７２が直接的に回転されることで、実オブジェクト４０−６が相対的に回転される。なお、ステレオカメラ７２を回転させるのは、ロボットアーム７３に限定されない。例えば、ロボットアーム７３の代わりに、移動可能なロボットがステレオカメラ７２を回転させてもよい。

図２９は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第４の例を示す図である。図２９に示すように、情報処理装置１０Ｂは、ユーザＵが存在する手術室内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。また、手術室内には、手術台７４が存在している。

図２９に示すように、第４の例においても、情報処理装置１０Ｂがモニタである場合を主に想定する。図２９を参照すると、実空間２０−７に実オブジェクト４０−７が存在し、現実的な視点位置にステレオカメラ７２が存在している。そして、ステレオカメラ７２によって実オブジェクト４０−７が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３−１８が提供される。図２９を参照すると、視野５３−１８に写る実オブジェクト６０−７の例として、被手術者が示されている。

本例においては、指示方向検出部１２０が、ユーザＵの視線を検出し、ユーザＵの視線に対応する実空間２０−７におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−７におけるユーザＵの視線５２を取得するとともに、ステレオカメラ７２から実空間２０−７における実オブジェクト４０−７の位置を取得する。

本例においては、ロボットアーム７３によってステレオカメラ７２が直接的に回転されることで、実オブジェクト４０−７が相対的に回転される。なお、ステレオカメラ７２を回転させるのは、ロボットアーム７３に限定されない。例えば、ロボットアーム７３の代わりに、移動可能なロボットがステレオカメラ７２を回転させてもよい。また、本例では、ロボットアーム７３によってステレオカメラ７２が直接的に回転される例を示したが、手術台７４が直接的に回転されることで、手術台７４の上に存在する実オブジェクト４０−７が回転されてもよい。

図３０は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第５の例を示す図である。図３１は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第５の例において実空間に存在する実オブジェクトの例を示す図である。図３０に示すように、情報処理装置１０Ｂは、ユーザＵが回転操作および移動操作などを入力可能なコントローラであり、指示方向検出部１２０および出力部１６０を有している。

図３１を参照すると、実空間２０−８に実オブジェクト４０−８が存在し、現実的な視点位置に視点カメラ５１が存在している。図３０および図３１に示す例では、視点カメラ５１がドローンに搭載されている。そして、視点カメラ５１によって実オブジェクト４０−８が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３−１９が提供される。図３０を参照すると、視野５３−１９に写る実オブジェクト６０−８の例として、ロボットが示されている。なお、実オブジェクト６０−８は、ロボットに限定されない。

本例においては、指示方向検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０−８におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−８におけるユーザＵの視線５２を取得するとともに、視点カメラ５１（例えば、デプスカメラ）から実空間２０−８における実オブジェクト４０−８の位置を取得する。

本例においては、視点カメラ５１を搭載するドローンが直接的に回転されることで、実オブジェクト４０−８が相対的に回転される。図３１には、視点カメラ５１を搭載するドローンの軌道５５が示されている。なお、図３０では、情報処理装置１０Ｂが、ユーザＵが操作するコントローラである場合を説明した。しかし、情報処理装置１０Ｂは、ユーザＵが操作するコントローラに限定されず、ウェアラブルデバイスであってもよい。そして、ウェアラブルデバイスが指示方向検出部１２０および出力部１６０を有していてもよい。

図３２は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第６の例を示す図である。図３３は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第６の例において実空間に存在する実オブジェクトの例を示す図である。図３０に示すように、情報処理装置１０Ｂは、ヘリコプターに搭乗しているユーザＵの頭部に装着されており、指示方向検出部１２０を有している。なお、情報処理装置１０Ｂは、出力部１６０を特に有していなくてよい。

図３３を参照すると、実空間２０−９に実オブジェクト４０−９が存在し、現実的な視点位置に視点カメラ５１が存在している。図３２および図３３に示す例では、視点カメラ５１がヘリコプターに搭載されている。本例では、ユーザＵがヘリコプターから見下ろして直接目にする風景によって、ユーザＵの視野が形成される。図３３を参照すると、視野に写る実オブジェクト４０−９の例として、ロボットが示されている。なお、実オブジェクト４０−９は、ロボットに限定されない。

本例においては、指示方向検出部１２０が、ユーザＵの視線と指示方向検出部１２０の向きとに基づいて、実空間２０−９におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−９におけるユーザＵの視線５２を取得するとともに、視点カメラ５１（例えば、デプスカメラ）から実空間２０−９における実オブジェクト４０−９の位置を取得する。

本例においては、視点カメラ５１を搭載するヘリコプターが直接的に回転されることで、実オブジェクト４０−９が相対的に回転される。図３３には、視点カメラ５１を搭載するヘリコプターの軌道５５が示されている。なお、図３２では、情報処理装置１０Ｂが、ユーザＵの頭部に装着される場合を説明した。しかし、情報処理装置１０Ｂは、据え置き型のデバイスであってもよい。そして、据え置き型のデバイスが指示方向検出部１２０を有していてもよい。

図３４は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第７の例を示す図である。図３５は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第７の例において実空間に存在する実オブジェクトの例を示す図である。図３４に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、指示方向検出部１２０および出力部１６０を有している。

図３４に示すように、第７の例においても、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図３５を参照すると、実空間２０−１０に実オブジェクト４０−１０が存在し、現実的な視点位置にステレオカメラ７２が存在している。そして、ステレオカメラ７２によって実オブジェクト４０−１０が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３−２０が提供される。図３４を参照すると、視野５３−２０に写る実オブジェクト６０−１０の例として、瓦礫が示されている。なお、実オブジェクト６０−１０は、瓦礫に限定されない。

本例においては、指示方向検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０−１０におけるユーザＵの視線５２をユーザＵによる指示方向の例として検出する。そして、データ取得部１１２が、実空間２０−１０におけるユーザＵの視線５２を取得するとともに、ステレオカメラ７２から実空間２０−１０における実オブジェクト４０−１０の位置を取得する。

本例においては、ロボットアーム７３によって実オブジェクト４０−１０が直接的に回転される。なお、実オブジェクト４０−１０を回転させるのは、ロボットアーム７３に限定されない。例えば、ロボットアーム７３の代わりに、移動可能なロボットが実オブジェクト４０−１０を回転させてもよい。

＜３．ハードウェア構成例＞
次に、図３６を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図３６は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。

図３６に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

＜４．むすび＞
以上説明したように、本開示の実施形態によれば、３次元空間におけるオブジェクトの位置と３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、回転中心に基づいて、オブジェクトをユーザの視点位置に対して相対的に回転させる回転制御部と、を備える、情報処理装置１０が提供される。かかる構成によれば、ユーザの視点位置に対する相対的なオブジェクトの回転をよりユーザが望むように行うことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記した情報処理装置１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、制御部１１０が有する各ブロック（出力制御部１１１、データ取得部１１２、回転中心決定部１１３、回転制御部１１４および移動制御部１１５）の一部または全部は、サーバなどに存在していてもよい。

例えば、出力制御部１１１がサーバに存在するとき、出力制御部１１１による出力制御は、サーバからクライアントへの出力情報の送信を含み得る。例えば、回転制御部１１４がサーバに存在するとき、回転制御部１１４による回転制御は、サーバからクライアントへの回転情報の送信を含み得る。さらに、移動制御部１１５がサーバに存在するとき、移動制御部１１５による移動制御は、サーバからクライアントへの移動情報の送信を含み得る。このように、情報処理装置１０はいわゆるクラウドコンピューティングによって達成され得る。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、
前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、
を備える、情報処理装置。
（２）
前記回転制御部は、前記回転中心を基準として、前記オブジェクトまたは前記視点位置を回転させる、
前記（１）に記載の情報処理装置。
（３）
前記回転制御部は、前記回転中心を基準として、前記視点位置を回転させ、前記回転中心と前記視点位置との位置関係に基づいて、前記視点位置の回転軌道を制御する、
前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、
前記回転中心が決定された場合、前記回転中心が前記ユーザの視野の所定位置に合うように前記オブジェクトを前記視野に対して相対的に移動させる移動制御部を備える、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記回転制御部は、前記オブジェクトに関するパラメータに応じた回転速度に従って、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる、
前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記パラメータは、前記オブジェクトの形状の複雑さ、前記オブジェクトの大きさ、および、前記視点位置と前記オブジェクトとの距離の少なくともいずれか一つを含む、
前記（５）に記載の情報処理装置。
（７）
前記指示方向は、前記ユーザの視線、モーションセンサによる検出結果、触感型デバイスによる検出結果、所定の物体が指し示す方向、前記ユーザの指が指し示す方向、前記ユーザの顔認識結果、マーカの認識結果および音声認識結果の少なくともいずれか一つを含む、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記回転中心決定部は、前記回転中心が前記視点位置から所定の距離よりも遠くに存在する場合、前記回転中心を前記視点位置に近づける、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記回転中心決定部は、前記ユーザの輻輳角に基づいて前記３次元空間における前記オブジェクトの奥行き情報を算出し、前記奥行き情報と前記指示方向とに基づいて、前記回転中心を決定する、
前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、
前記視点位置に対する前記オブジェクトの相対的な回転可能範囲を示す情報の出力を制御する出力制御部を備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記視点位置に対する前記オブジェクトの相対的な回転が回転可能範囲の限界に達した場合、前記相対的な回転が前記回転可能範囲の限界に達したことを示す情報の出力を制御する出力制御部を備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１２）
前記情報処理装置は、
前記視点位置に現実的または仮想的に存在するカメラによって得られる前記オブジェクトの画像の表示を制御する出力制御部を備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１３）
前記出力制御部は、前記回転中心の奥行き情報に基づいて、前記カメラのフォーカス位置を制御する、
前記（１２）に記載の情報処理装置。
（１４）
前記情報処理装置は、
前記指示方向が検出されない場合、前記指示方向が検出されないことを示す情報の出力を制御する出力制御部を備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１５）
前記３次元空間は、仮想空間であり、
前記オブジェクトは、仮想オブジェクトであり、
前記視点位置は、前記仮想空間に存在する仮想的な視点位置である、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記回転中心決定部は、前記仮想空間における前記仮想オブジェクトの位置に応じた所定の面と前記仮想空間における前記指示方向との交点を前記回転中心として決定する、
前記（１５）に記載の情報処理装置。
（１７）
前記３次元空間は、実空間であり、
前記オブジェクトは、実オブジェクトであり、
前記視点位置は、前記実空間に存在する現実的な視点位置である、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１８）
前記回転中心決定部は、前記実空間における前記実オブジェクトの奥行き情報に応じた所定の面と前記実空間における前記指示方向との交点を前記回転中心として決定する、
前記（１７）に記載の情報処理装置。
（１９）
３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定することと、
プロセッサにより、前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させることと、
を含む、情報処理方法。
（２０）
コンピュータを、
３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、
前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、
を備える情報処理装置として機能させるためのプログラム。

１０（１０Ａ，１０Ｂ） 情報処理装置
２０ 空間（実空間，仮想空間）
４０ オブジェクト（実オブジェクト，仮想オブジェクト）
４２ 回転中心
５１ 視点カメラ
５２ 視線
５３ 視野
５４ エンベロープ面
５５ 軌道
５６ 非検出情報
５７ 回転可能範囲
５８ マーク
５９ 限界到達情報
６０ オブジェクト（実オブジェクト，仮想オブジェクト）
６１ 観測希望領域
６２ 回転中心
７１ 設置カメラ
７２ ステレオカメラ
７３ ロボットアーム
７４ 手術台
１１０ 制御部
１１１ 出力制御部
１１２ データ取得部
１１３ 回転中心決定部
１１４ 回転制御部
１１５ 移動制御部
１２０ 指示方向検出部
１３０ 操作検出部
１４０ 情報検出部
１５０（１５０Ａ，１５０Ｂ）記憶部
１５１ ３Ｄモデル情報
１６０ 出力部

Claims (18)

1. ３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、
   前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、
   前記視点位置に現実的または仮想的に存在するカメラによって得られる前記オブジェクトの画像の表示を制御する出力制御部と、
   を備える、情報処理装置であって、
   前記指示方向は、前記出力制御部によって出力された複数の画像をそれぞれ視聴する複数のユーザのうち一の画像を視聴するユーザから検出される、当該ユーザの視線、モーションセンサによる検出結果、触感型デバイスによる検出結果、指が指し示す方向、顔認識結果、および音声認識結果の少なくともいずれか一つを含む、
   情報処理装置。
2. 前記回転制御部は、前記回転中心を基準として、前記オブジェクトまたは前記視点位置を回転させる、
   請求項１に記載の情報処理装置。
3. 前記回転制御部は、前記回転中心を基準として、前記視点位置を回転させ、前記回転中心と前記視点位置との位置関係に基づいて、前記視点位置の回転軌道を制御する、
   請求項２に記載の情報処理装置。
4. 前記情報処理装置は、
   前記回転中心が決定された場合、前記回転中心が前記複数の画像のうち一の画像を視聴するユーザの視野の所定位置に合うように前記オブジェクトを前記視野に対して相対的に移動させる移動制御部を備える、
   請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記回転制御部は、前記オブジェクトに関するパラメータに応じた回転速度に従って、前記オブジェクトを前記複数の画像のうち一の画像を視聴するユーザの視点位置に対して相対的に回転させる、
   請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記パラメータは、前記オブジェクトの形状の複雑さ、前記オブジェクトの大きさ、および、前記視点位置と前記オブジェクトとの距離の少なくともいずれか一つを含む、
   請求項５に記載の情報処理装置。
7. 前記回転中心決定部は、前記回転中心が前記視点位置から所定の距離よりも遠くに存在する場合、前記回転中心を前記視点位置に近づける、
   請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記回転中心決定部は、前記複数の画像のうち一の画像を視聴するユーザの輻輳角に基づいて前記３次元空間における前記オブジェクトの奥行き情報を算出し、前記奥行き情報と前記指示方向とに基づいて、前記回転中心を決定する、
   請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記出力制御部は、
   前記視点位置に対する前記オブジェクトの相対的な回転可能範囲を示す情報の出力を制御する、
   請求項１〜８のいずれか一項に記載の情報処理装置。
10. 前記出力制御部は、
    前記視点位置に対する前記オブジェクトの相対的な回転が回転可能範囲の限界に達した場合、前記相対的な回転が前記回転可能範囲の限界に達したことを示す情報の出力を制御する、
    請求項１〜９のいずれか一項に記載の情報処理装置。
11. 前記出力制御部は、前記回転中心の奥行き情報に基づいて、前記カメラのフォーカス位置を制御する、
    請求項１〜１０のいずれか一項に記載の情報処理装置。
12. 前記出力制御部は、
    前記指示方向が検出されない場合、前記指示方向が検出されないことを示す情報の出力を制御する、
    請求項１〜１１のいずれか一項に記載の情報処理装置。
13. 前記３次元空間は、仮想空間であり、
    前記オブジェクトは、仮想オブジェクトであり、
    前記視点位置は、前記仮想空間に存在する仮想的な視点位置である、
    請求項１〜１２のいずれか一項に記載の情報処理装置。
14. 前記回転中心決定部は、前記仮想空間における前記仮想オブジェクトの位置に応じた所定の面と前記仮想空間における前記指示方向との交点を前記回転中心として決定する、
    請求項１３に記載の情報処理装置。
15. 前記３次元空間は、実空間であり、
    前記オブジェクトは、実オブジェクトであり、
    前記視点位置は、前記実空間に存在する現実的な視点位置である、
    請求項１〜１２のいずれか一項に記載の情報処理装置。
16. 前記回転中心決定部は、前記実空間における前記実オブジェクトの奥行き情報に応じた所定の面と前記実空間における前記指示方向との交点を前記回転中心として決定する、
    請求項１５に記載の情報処理装置。
17. プロセッサにより、
    ３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定することと、
    前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させることと、
    前記視点位置に現実的または仮想的に存在するカメラによって得られる前記オブジェクトの画像の表示を制御することと、を含み、
    前記指示方向は、前記制御によって出力された複数の画像をそれぞれ視聴する複数のユーザのうち一の画像を視聴するユーザから検出される、当該ユーザの視線、モーションセンサによる検出結果、触感型デバイスによる検出結果、指が指し示す方向、顔認識結果、および音声認識結果の少なくともいずれか一つを含む、
    情報処理方法。
18. コンピュータを、
    ３次元空間におけるオブジェクトの位置と前記３次元空間におけるユーザによる指示方向とに応じた回転中心を決定する回転中心決定部と、
    前記回転中心に基づいて、前記オブジェクトを前記ユーザの視点位置に対して相対的に回転させる回転制御部と、
    前記視点位置に現実的または仮想的に存在するカメラによって得られる前記オブジェクトの画像の表示を制御する出力制御部と、
    を備える情報処理装置として機能させるためのプログラムであって、
    前記指示方向は、前記出力制御部によって出力された複数の画像をそれぞれ視聴する複数のユーザのうち一の画像を視聴するユーザから検出される、当該ユーザの視線、モーションセンサによる検出結果、触感型デバイスによる検出結果、指が指し示す方向、顔認識結果、および音声認識結果の少なくともいずれか一つを含む、
    プログラム。

Images