JP7392723B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、例えば仮想的なオブジェクトを表示するとき、ユーザにとって好ましい表示が行われるようにする情報処理装置、情報処理方法、およびプログラムに関する。

実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれる。アノテーションは、テキスト、アイコン、アニメーションなどさまざまな形態の仮想的なオブジェクトによって可視化される。

特許文献１では、仮想オブジェクトの表示を適切に制御し、仮想オブジェクトの表示の乱れによってユーザに混乱を与えないようにすることが提案されている。

特開２０１２－２２１２５０号公報

オブジェクトを表示するとき、ユーザとオブジェクトの位置関係が適切でなければ、適切な表示とはならない。例えば、オブジェクトがユーザの目の前（ユーザに近い位置）に表示されると、オブジェクトの一部しか見えないなど適切な表示とはならず、ユーザに不快感や違和感を与えてしまう可能性があった。

本技術は、このような状況に鑑みてなされたものであり、オブジェクトなどの表示を適切に行えるようにするものである。

本技術の一側面の情報処理装置は、現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定する設定部を備え、前記設定部は、前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向において奥に設定する。

本技術の一側面の情報処理方法は、情報処理装置が、現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向において奥に設定する。

本技術の一側面のプログラムは、コンピュータに、現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向において奥に設定するステップを含む処理を実行させる。

本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、オブジェクトのサイズに関するサイズ情報、およびオブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、オブジェクトを表示部に初期表示する初期位置が設定される。初期位置は、現実世界を基準とする座標系において、提示位置情報が表す位置よりも奥行方向において奥に設定される。

なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本開示に係わる情報処理システムの一実施の形態の構成を示す図である。 表示デバイスの一例を示す図である。 本開示に係る技術を適用したＡＲ－ＨＭＤの外観構成を示す図である。 情報処理装置としてのＡＲ－ＨＭＤの構成例を示すブロック図である。 ＡＲ－ＨＭＤの機能構成例を示すブロック図である。 仮想スクリーンサイズについて説明するための図である。 ユーザの動作の一例を示す図である。 表示される画面の一例を示す図である。 表示される画面の一例を示す図である。 表示される画面の一例を示す図である。 表示設定について説明するための図である。 表示される画面の一例を示す図である。 表示設定について説明するための図である。 表示設定について説明するための図である。 表示設定について説明するための図である。 情報処理装置の動作について説明するためのフローチャートである。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜ＡＲコンテンツの表示デバイスについて＞
図１は、本技術の一実施の形態に係る情報処理システムの構成例を示す図である。

図１の情報処理システムは、ＡＲ－ＨＭＤ１と情報処理装置２が、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク３を介して接続されることによって構成される。

図１に示すように、ＡＲ－ＨＭＤ１は、透過型の表示部を備えた眼鏡型のウェアラブル端末である。ＡＲ－ＨＭＤ１は、ネットワーク３を介して行われる情報処理装置２による制御に従って、キャラクタなどの各種のオブジェクトを含む映像を表示部に表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。

オブジェクトを含む映像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。

情報処理装置２は、ＡＲコンテンツを再生し、再生して得られた映像データをＡＲ－ＨＭＤ１に送信することによって、ＡＲコンテンツの映像をＡＲ－ＨＭＤ１において表示させる。情報処理装置２は、例えばＰＣ（Personal Computer）により構成される。

ＡＲ－ＨＭＤ１に代えて、図２のＡに示すビデオ透過型のＨＭＤであるＡＲ－ＨＭＤ１Ａや、図２のＢに示すスマートフォン１Ｂなどの携帯端末が、ＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。

表示デバイスとしてＡＲ－ＨＭＤ１Ａが用いられる場合、情報処理装置２が再生するＡＲコンテンツの映像は、ＡＲ－ＨＭＤ１Ａに設けられたカメラにより撮影された、ＡＲ－ＨＭＤ１Ａの前方の風景の画像に重ねて表示される。ＡＲ－ＨＭＤ１Ａを装着したユーザの目の前方には、カメラにより撮影された画像に重ねてＡＲコンテンツを表示するディスプレイが設けられている。

また、スマートフォン１Ｂが用いられる場合、情報処理装置２が再生するＡＲコンテンツの映像は、スマートフォン１Ｂの背面に設けられたカメラにより撮影された、スマートフォン１Ｂの前方の風景の画像に重ねて表示される。スマートフォン１Ｂの正面には、各種の画像を表示するディスプレイが設けられている。

実際のシーンに存在する物体の表面に映像を投影するプロジェクタがＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。タブレット端末、テレビジョン受像機などの各種のデバイスをＡＲコンテンツの表示デバイスとして用いることが可能である。

表示デバイスと情報処理装置２がネットワーク３を介して無線で接続されるのではなく、有線で接続されるようにしてもよい。

＜ＡＲ－ＨＭＤの外観構成＞
以下の説明においては、図３に示すように、本技術を適用した情報処理装置として、眼鏡型の形状を有するウェアラブル端末を例に挙げて説明する。

図３に示したＡＲ－ＨＭＤ１は、全体として眼鏡型の形状を採り、表示部１１およびカメラ１２を備えている。

表示部１１は、眼鏡のレンズ部分に対応し、例えばその全部が透過型のディスプレイとして構成される。したがって、表示部１１は、ユーザが直接視認している実世界の像（実オブジェクト）に、アノテーション（仮想オブジェクト）を透過的に重畳表示する。

カメラ１２は、ＡＲ－ＨＭＤ１を装着するユーザの左眼に対応する表示部１１の端に設けられ、そのユーザの視界に含まれる実空間の像を撮像する。カメラ１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を用いて構成される。なお、各センサは、それぞれ複数設けられていてもよい。すなわち、カメラ１２は、ステレオカメラとして構成されてもよい。

表示部１１には、カメラ１２により取得された画像を表示させるとともに、その画像に対してアノテーションを重畳表示させるようにすることもできる。

また、図示はしないが、ＡＲ－ＨＭＤ１において眼鏡のフレームに対応する筐体には、各種のセンサ類やボタン、スピーカなどが、収納または搭載されている。

なお、ＡＲ－ＨＭＤ１の形状は、図３に示される形状に限らず、帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状など、さまざまな形状を採ることができる。すなわち、本開示に係る技術は、ＨＭＤ全般に適用することができる。

＜情報処理装置としてのＡＲ－ＨＭＤの構成例＞
図４は、情報処理装置としてのＡＲ－ＨＭＤ１の構成例を示すブロック図である。

図４のＡＲ－ＨＭＤ１は、ＣＰＵ（Central Processor Unit）３１、メモリ３２、センサ部３３、入力部３４、出力部３５、および通信部３６を備えている。これらは、バス３７を介して相互に接続されている。

ＣＰＵ３１は、メモリ３２に記憶されているプログラムやデータなどに従って、ＡＲ－ＨＭＤ１が備える各種の機能を実現するための処理を実行する。

メモリ３２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ３１による処理のためのプログラムやデータを格納する。

センサ部３３は、図３のカメラ１２を始め、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部３３により取得された各種のセンサ情報もまた、ＣＰＵ３１による処理に用いられる。

入力部３４は、ボタンやキー、タッチパネルなどから構成される。出力部３５は、図３の表示部１１やスピーカなどから構成される。通信部３６は、各種の通信を仲介する通信インタフェースとして構成される。

＜ＡＲ－ＨＭＤの機能構成例＞
図５は、本開示に係る技術を適用したＡＲ－ＨＭＤ１の機能構成例を示すブロック図である。

図３のＡＲ－ＨＭＤ１は、制御部５１、センサ部５２、表示部５３、スピーカ５４、通信部５５、操作入力部５６、および記憶部５７から構成される。

制御部５１は、図４のＣＰＵ３１に対応し、ＡＲ－ＨＭＤ１が備える各種の機能を実現するための処理を実行する。

センサ部５２は、図３のセンサ部３３に対応し、各種のセンサ類から構成される。

具体的には、センサ部５２は、図３のカメラ１２に対応する外向きカメラ５２ａ、ＡＲ－ＨＭＤ１を装着するユーザを撮像する内向きカメラ５２ｂ、および、ＡＲ－ＨＭＤ１の周囲の音声を集音するマイクロフォン５２ｃを有している。特に、内向きカメラ５２ｂによれば、ユーザの視線を検出することが可能となる。

また、センサ部５２は、ＡＲ－ＨＭＤ１の角度（姿勢）や角速度を検出するジャイロセンサ５２ｄ、加速度を検出する加速度センサ５２ｅ、および、方角を検出する方位センサ５２ｆを有している。これらは、個別に構成されていてもよいし、一体となって構成されるようにしてもよい。

さらに、センサ部５２は、ＧＰＳ（Global Positioning System）システムなどの衛星測位システムにより位置を測位するための位置測位部５２ｇ、および、ＡＲ－ＨＭＤ１を装着しているユーザの生体情報（心拍数、体温、脳波など）を取得する生体センサ５２ｈを有している。

これらのセンサにより取得された各種のセンサ情報は、制御部５１により実行される処理に用いられる。

表示部５３は、図３の表示部１１に対応し、制御部５１の制御に従ってアノテーション表示したり、外向きカメラ５２ａにより取得された画像を表示したりする。

スピーカ５４は、ユーザに向けて出力される音声の音源となり、制御部５１の制御に従って音声を出力する。

通信部５５は、図４の通信部３６に対応し、他の装置、例えば、情報処理装置２（図１）との間で各種の通信を行う。

操作入力部５６は、図４の入力部３４に対応し、ＡＲ－ＨＭＤ１に対するユーザの操作入力を受け付ける。

制御部５１は、ＡＲ－ＨＭＤ１の表示部５３の表示領域と三次元空間中に配置された実オブジェクトまたは仮想オブジェクトとの間の位置関係、および、ユーザの動作を表すユーザ動作情報（以下、単に動作情報ともいう）に基づいて、その実オブジェクトまたは仮想オブジェクトの位置に関連付けられた出力を制御する。ここでいう三次元空間は、実空間とすることもできるし、仮想空間とすることもできる。

具体的には、制御部５１は、所定のプログラムを実行することにより、センサ情報取得部７１、頭部位置・方向検出部７２、オブジェクトサイズ設定部７３、レイアウトパラメータ計算部７４、レイアウト決定部７５、および出力制御部７６を実現する。

センサ情報取得部７１は、センサ部５２からセンサ情報を取得し、そのセンサ情報に基づいて、ＡＲ－ＨＭＤ１を装着するユーザの動作を表すユーザ動作情報を取得する。ユーザ動作情報には、ユーザの身体全体またはその各部位の動作、ユーザの視線の動き（視線位置の変化）、ユーザとオブジェクトとの距離の変化などに関する動的情報が含まれる。また、センサ情報取得部７１は、センサ部５２から取得したセンサ情報に基づいて、ＡＲ－ＨＭＤ１を装着するユーザの位置や姿勢を表すユーザ位置姿勢情報（以下、単に位置姿勢情報ともいう）を取得する。ユーザ位置姿勢情報には、ユーザの姿勢や位置、ユーザとオブジェクトとの距離などに関する静的情報が含まれる。

頭部位置・方向検出部７２は、センサ情報取得部７１により取得された情報から、ユーザの頭部の位置や、ユーザの頭部が向いている方向（ユーザが見ている方向）を検出する。

オブジェクトサイズ設定部７３は、表示するオブジェクトの大きさや、表示位置などを設定する。後述するように、表示するオブジェクトがあった場合、そのオブジェクトをユーザに違和感や不快感を与えることなく見せるために、ユーザとの位置関係を考慮して、オブジェクトの大きさや、表示位置が設定される。

レイアウトパラメータ計算部７４は、センサ情報取得部７１により取得されたセンサ情報、具体的には、そのセンサ情報から取得されたユーザ動作情報およびユーザ位置姿勢情報に基づいて、また、オブジェクトサイズ設定部７３により設定されたオブジェクトの大きさや表示位置に基づいて、ユーザの動作・位置・状態などを表すパラメータを計算する。

レイアウト決定部７５は、レイアウトパラメータ計算部７４により計算されたパラメータに基づいて、表示部５３の表示領域に表示するオブジェクトに関する出力の出力形態を決定する。

出力制御部７６は、レイアウト決定部７５により決定された出力形態で、表示部５３の表示領域においてオブジェクトに関する出力を制御する。

記憶部５７は、制御部５１が制御を行うのに必要な各種のデータを記憶している。記憶部５７と制御部５１の一部は、情報処理装置２（図１）が有する構成とすることもできる。

＜オブジェクトが画角切れする場合について＞
本技術を適用したＡＲ－ＨＭＤ１は、状況に応じて、表示するオブジェクトの大きさや表示位置を設定する。ここで、オブジェクトとは、例えば、テキスト、アイコン、アニメーションなどのコンテンツである。

図６を参照し、オブジェクトと、仮想スクリーンの大きさの関係について説明する。ＡＲ－ＨＤＭ１では、ＡＲ－ＨＤＭ１の装着者（図６ではユーザ１０１）とオブジェクト（図６ではオブジェクト１２１）の距離に応じて、表示可能なオブジェクトの最大サイズは異なる。表示可能なオブジェクトのサイズは、仮想スクリーンのサイズに依存する。

仮想スクリーンとは、表示部５３に仮想的に表示される画面である。仮想スクリーンのサイズについては、次式（１）に基づいて算出することができる。

式（１）において、ｄは、ユーザ１０１と仮想スクリーンまでの距離を表す。ＦＯＶ（ｈ）は、ＦＯＶの水平角度または垂直角度を表す。ＦＯＶは、Field Of Viewの略であり、視界を表す。一般的に、ＡＲ－ＨＤＭ１のＦＯＶは、水平角度が４０度、垂直角度が２０度である。以下の説明は、ＦＯＶの値として、この値が設定されている場合を例に挙げて説明を続ける。

式（１）を用いて、１００ｃｍ（１ｍ）の位置に表示できる最大コンテンツサイズ（仮想スクリーンサイズ）を算出すると、横７３ｃｍ、縦３５ｃｍとなる。また３００ｃｍ（３ｍ）の位置に表示できる最大コンテンツサイズ（仮想スクリーンサイズ）を算出すると、横１６０ｃｍ、縦１０５ｍとなる。また５００ｃｍ（５ｍ）の位置に表示できる最大コンテンツサイズ（仮想スクリーンサイズ）を算出すると、横２６７ｃｍ、縦１７６ｍとなる。

図６を参照するに、１００ｃｍ（１ｍ）の位置に表示される仮想スクリーンを、仮想スクリーン１２２とし、５００ｃｍ（５ｍ）の位置に表示される仮想スクリーンを、仮想スクリーン１２３とする。図６中、オブジェクト１２１を、円形で表す。

１ｍに位置する仮想スクリーン１２２で、オブジェクト１２１を表示すると、画角切れを起こしている。図６に示した状態では、オブジェクト１２１の中央部分しか表示されていない状態となる。なお、以下の説明において、画角切れとは、表示部５３にオブジェクトが収まらない状態で表示されていることを意味する。また、画角切れとは、ユーザの視界領域内にオブジェクトが収まらない状態で表示されていることを意味する。

５ｍに位置する仮想スクリーン１２３で、オブジェクト１２１を表示すると、垂直方向は画角切れを起こしている（視界領域内に収まっていない）が、水平方向は画角内に収まっている（視界領域内に収まっている）。よって、図６に示した状態では、オブジェクト１２１の垂直方向は一部見えないが、水平方向は全て見えている状態となる。

例えば、図６に示した仮想スクリーン１２２での表示状態の場合、ユーザは、何が表示されているのか理解できず、慌ててしまう、不快に感じてしまうなど、好ましくない状態となる可能性がある。また、状況が理解できずに、どのようにして良いかもわからず、動きが止まってしまう可能性もある。

図６に示した仮想スクリーン１２３での表示状態の場合も、画角切れしている部分はあるが、水平方向（図中左右方向）では、全体が見えているため、オブジェクト１２１の大きさをユーザは認識することができる。よって、例えば、ユーザは、後に下がれば、オブジェクト１２１全体を見ることができるといった判断を下すことができ、その判断に基づく動作を行うことができる。

このようなことから、図６に示した距離ｄ＝１ｍで画角切れが起きている仮想スクリーン１２２のような表示状態が発生しないようにすることが好ましい。このことについて、図７を参照して説明を加える。なお、以下の説明においては特に断りがない場合、座標、位置などは、ワールド座標系での座標や位置などである。

なお、オブジェクトを表示する位置は、現実世界を基準とした位置で定義されても良いし、仮想三次元空間を基準とした位置で定義されても良い。ここでは、仮想三次元空間に設定されているワールド座標系で定義される位置である場合を例に挙げて説明を続ける。

例えば、図７のＡに示すように、オブジェクトＡは、ワールド座標系で規定される位置Ｐ１で表示されるオブジェクトとして設定されている。ユーザ１５１が、位置Ｐ２に位置しているときにオブジェクトＡを見た場合、画角切れなく表示される。例えば、図８のＡに示すように、オブジェクトＡ（お化けのような形状のオブジェクトとする）が、画角切れなく表示部５３に表示される。

図７のＢに示すように、オブジェクトＡが表示される位置Ｐ１付近の位置Ｐ３に、ユーザ１５１は位置し、方向Ｄ２の方を向いている。方向Ｄ２は、ワールド座標系でＸ軸方向であり、オブジェクトＡが表示されるＺ軸方向とは異なる方向である。よって、ユーザ１５１が方向Ｄ２を向いているときに、オブジェクトＡが位置Ｐ１で表示されても、ユーザ１５１がそのオブジェクトＡを見える状態ではない。

ユーザ１５１が、方向Ｄ２を向いている状態から、方向Ｄ１に方向転換した場合、オブジェクトＡが目の前に表示される。例えば、図８のＢに示すように、表示部５３にオブジェクトＡが大きく表示され、画角切れを起こしている。このように、ユーザ１５１が振り返るなどしたときに、突然画面にオブジェクトＡの一部が表示されると、ユーザは、何が起きたのかわからず、慌ててしまったり、動作が止まってしまったりする。

オブジェクトＡが、図９に示すような不動物体である場合もある。不動物体として、例えば、看板を例に挙げて説明する。図９のＡは、図７のＡのように、オブジェクトＡとユーザ１５１が適切な位置関係にあるときに表示部５３に表示される画面であり、オブジェクトとしての看板の全体が表示されている。

図９のＢは、図７のＢのように、オブジェクトＡとユーザ１５１が適切ではない位置関係にあるときに、表示部５３に表示される画面であり、オブジェクトとしての看板の一部が表示されている。看板の一部のみが表示されているため、ユーザは、表示されているのが何であるのか認識しづらい状態である。

オブジェクトＡは、ユーザに何らかの情報をテキストで通知するオブジェクトである場合もある。例えば、図１０のＡに示したように、“目的のお店”というメッセージがオブジェクトＡとして表示部５３に表示される場合もある。図１０のＡは、図７のＡのように、オブジェクトＡとユーザ１５１が適切な位置関係にあるときに表示部５３に表示される画面であり、オブジェクトとしての通知されたメッセージ全体が表示されているため、ユーザは、そのメッセージを読むことができる。

図１０のＢは、図７のＢのように、オブジェクトＡとユーザ１５１が適切ではない位置関係にあるときに、表示部５３に表示される画面であり、オブジェクトとしての通知（メッセージ）の一部が表示されている。メッセージの一部のみが表示されているため、ユーザは、表示されているメッセージを読むことができない状態である。

このように、オブジェクトとユーザの位置関係が適切ではない場合、ユーザがオブジェクトを認識できないなどの不都合が発生する可能性がある。また、ユーザの動作によっても、オブジェクトが急に表示されたり、ユーザがオブジェクトを認識できない状態で表示されたりする。そこで、以下に説明するように、オブジェクトの属性により、オブジェクトの表示が制御される。

＜オブジェクトの表示位置、大きさの設定について＞
＜第１の表示設定＞
図８に示したように、オブジェクトＡがお化けのような可動物体である場合について説明する。オブジェクトＡが可動物体であり、何らかの動作を伴う表示がされた場合でも、ユーザに違和感を与えるようなことがないようなオブジェクトの場合、図１１に示すような表示が行われる。

図１１を参照するに、ユーザ１５１は、時刻ｔ１において、位置Ｐ３に位置する。また、位置Ｐ３は、オブジェクトＡが表示される位置Ｐ１の近傍である。この状態は、図７のＢを参照して説明した場合と同じく、オブジェクトＡが位置Ｐ１に表示されると、ユーザ１５１に提示される画面は、図８のＢのようになり、画角切れが起きている画面となる。

時刻ｔ１において、ユーザ１５１に提示したいオブジェクトＡがあるが、オブジェクトＡを表示する位置として設定されている位置Ｐ１で表示した場合、画角切れなど不都合な表示がされると判定された場合、時刻ｔ２において、位置Ｐ４にオブジェクトＡが表示される。位置Ｐ４は、位置Ｐ１よりもユーザ１５１から離れた位置である。そのようなユーザ１５１から離れた位置Ｐ４に、オブジェクトＡが表示される。

例えば、位置Ｐ４は、図８のＡに示したように、オブジェクトＡが画角切れすることなく、表示される位置である。換言すれば、オブジェクトＡがユーザの死や領域内に収まるように表示される位置である。一旦、オブジェクトＡ全体が表示される位置Ｐ４までオブジェクトを後退させる。その後の時刻ｔ３に、位置Ｐ１にオブジェクトＡを表示する。位置Ｐ４から位置Ｐ１まで、オブジェクトＡは、徐々にユーザ１５１に近づいてくるようなアニメーション表示がなされる。

このような表示がなされることで、ユーザ１５１には、例えば、図１２に示すような画面が提示される。時刻ｔ２においては、オブジェクトＡは、遠くの位置に表示されているため、オブジェクトＡ全体が表示されている状態である。時刻ｔ２から時刻ｔ３の間に、徐々にオブジェクトＡの表示は大きくなる。

時刻ｔ２の次の時刻ｔ２’のときのオブジェクトＡは、時刻ｔ２のときのオブジェクトＡよりも大きく表示される。さらに、時刻ｔ２’の次の時刻ｔ２”のときのオブジェクトＡは、時刻ｔ２’のときのオブジェクトＡよりも大きく表示される。そして、時刻ｔ２”の次の時刻ｔ３のときのオブジェクトＡは、時刻ｔ２”のときのオブジェクトＡよりも大きく表示される。

ユーザ１５１から見ると、オブジェクトＡが、徐々に自身に近づいてくるような表示である。

オブジェクトが表示される位置として設定されている位置Ｐ１を、適宜、提示予定位置と記載する。またオブジェクトが画角切れしない位置として、オブジェクトを最初に表示させる位置を、適宜、初期位置と記載する。

提示予定位置や初期位置などの位置とは、３次元空間において仮想オブジェクトを表示する位置であり、ＡＲ－ＨＭＤ１を装着したユーザが表示部５３（図５）に表示された画面を見たときに、重畳表示された実空間内において仮想オブジェクトが存在すると知覚する３次元的な位置を表す。

本技術を、図１乃至３に示したＡＲ－ＨＭＤ１に適用した場合、ＡＲ－ＨＤＭ１により、３次元空間中に配置された実オブジェクトや仮想オブジェクトが表示された画面がユーザに提示される。位置とは、ユーザに提示される画面において、ユーザが実オブジェクトや仮想オブジェクトを知覚（視認）する、３次元空間における位置である。

ＡＲ－ＨＭＤ１は、オブジェクトが、可動物体という属性を有している場合、初期位置を設定し、その初期位置にオブジェクトを一旦表示してから、予め設定されている提示予定位置まで、アニメーション表示する。

初期位置は、例えば、次式（２）により設定できる。

式（２）は、ユーザの位置を（０，０，０）としたときの初期位置を算出する式である。式（２）において、（ｘ，ｙ，ｚ）は、提示予定位置の座標を表し、（Ｘ、Ｙ、Ｚ）は、初期位置を表す。式（２）中、ｄは、奥行情報（Ｚ座標）であり、式（３）により求められる。

式（３）は、式（１）を変形した式である。すなわち、ｄは、ユーザと仮想スクリーンまでの距離である。式（２）と式（３）から、初期位置が設定される。以下の説明においても、初期位置は、式（２）と式（３）から算出されるとして説明を続ける。

なお、ここでは、位置Ｐ４（初期位置）でオブジェクトＡが表示される場合、オブジェクトＡの全体が表示されるとして説明をしたが、オブジェクトＡの水平方向または垂直方向の少なくとも一方において画角切れを起こしていなければ良い。換言すれば、オブジェクトＡの水平方向または垂直方向の少なくとも一方において画角切れを起こさない位置が、初期位置として設定される。

さらに換言するに、表示部５３の横方向とオブジェクトＡの横方向のサイズが調整されることで、オブジェクトＡが視界領域内に入るように調整されるか、表示部５３の縦方向とオブジェクトＡの縦方向のサイズが調整されることで、オブジェクトＡが視界領域内に入るように調整される。

視界領域内に収まるようにオブジェクトＡの初期位置が設定されるが、その奥行に制限を設けても良い。例えば、オブジェクトＡが可動できる範囲が設定されているような場合、その可動範囲内に収まるように初期位置が設定されるようにしても良い。

また、位置Ｐ４は、提示予定位置のＺ軸方向（奥行方向）の座標が変更されるとして説明を続けるが、例えば、上方向（または下方向）から、徐々に近づいてくるようなアニメーションを行うために、提示予定位置のＺ軸方向とＹ軸方向のそれぞれの座標が変更されるようにしても良い。

なお、視界領域は、視野角で、人間の視野角（例えば、１８０度）以下に設定されており、上記した処理を行うときに用いられる視界領域情報は、その設定されている視野角の情報となる。

＜第２の表示設定＞
オブジェクトＡが可動物体である場合の他の表示の仕方について図１３を参照して説明する。図１３の時刻ｔ１１のところに示した状態は、図１１の時刻ｔ１と同様の状態であり、オブジェクトＡが位置Ｐ１に表示されると、ユーザ１５１に提示される画面は画角切れが起きている画面となる状態である。よって、このような場合、図１１を参照して説明したように、オブジェクトＡは、画角切れが起きない位置Ｐ４の位置が初期位置として設定され、表示される。

しかしながら、図１３の時刻ｔ１１のところに示した状態は、位置Ｐ１と位置Ｐ４との間の位置Ｐ５に、壁などの障害物がある状態である。この障害物は、現実世界において存在する障害物である場合もあるし、仮想三次元空間内に設定されている障害物である場合もある。

このように、初期位置として設定したい位置と、ユーザが位置している位置Ｐ３との間に、壁などの障害物がある場合に、位置Ｐ４を初期位置として、オブジェクトＡを表示させることはできない。

このような場合、できるだけユーザ１５１から離れた位置が初期位置として設定される。図１３の時刻ｔ１１に示したような状況の場合、壁がある位置Ｐ５の位置が初期位置に設定される。図１３の時刻ｔ１２のところに示したように、位置Ｐ６が初期位置に設定される。位置Ｐ６は、正確には、位置Ｐ５よりも位置Ｐ１に近い側である。また、位置Ｐ６は、位置Ｐ５よりも奥行き方向で前側（ユーザ１５１側）であり、位置Ｐ６よりも所定の距離離れた位置である。

このように、奥行方向に障害物など、オブジェクトを表示することができない領域がある場合には、その障害物までの距離（深度）を検出し、その深度の手前側に初期位置が設定される。

時刻ｔ１２において、位置Ｐ６（初期位置）にオブジェクトＡが表示される。時刻ｔ１３に、位置Ｐ１（提示予定位置）にオブジェクトＡが表示される。位置Ｐ６から位置Ｐ１まで、オブジェクトＡは、徐々にユーザ１５１に近づいてくるようなアニメーション表示がなされる。

オブジェクトが、可動物体という属性を有している場合、初期位置を設定し、その初期位置にオブジェクトを一旦表示してから、予め設定されている提示予定位置まで、アニメーション表示される。また初期位置として設定したい場所と提示予定位置との間に、壁などの障害物がある場合、その障害物の位置を、初期位置として設定することができる。

図１３の時刻ｔ１２では、初期位置として設定された位置Ｐ６にオブジェクトＡが表示されるとしたが、この位置Ｐ６は、画角切れが発生する可能性がある位置である。そこで、設定した初期位置でも、画角切れが発生する可能性がある場合、図１４の時刻ｔ１２’→ｔ１３のところに示すように、オブジェクトＡを一旦小さく表示するようにしても良い。小さく表示するとは、オブジェクトＡのサイズ情報で示されるサイズよりも小さく表示することを意味する。

時刻ｔ１２’において、位置Ｐ６に、画角切れしないぐらいの大きさで、オブジェクトＡが表示される。換言すれば、位置Ｐ６に、小さくオブジェクトＡが表示される。その後、時刻ｔ１３になるまでの間に、オブジェクトＡは徐々に大きく、かつ徐々にユーザに近づくようなアニメーションが行われて表示される。

このような表示は、オブジェクトが、不動物体である場合にも適用することができる。オブジェクトが、図９に示したような不動物体である場合について説明する。オブジェクトＡが不動物体である場合、仮に、図１１、図１２を参照して説明した可動物体と同じような表示をした場合、動かない物体が動く表示がされることになり、ユーザに違和感を与えることになる。そこで、オブジェクトが不動物体の場合、図１４を参照して説明したように、一旦小さく表示してから、元の大きさ（サイズ情報で示されるサイズ）に表示されるようにしても良い。

ただし、不動物体である場合、可動物体のように、可動しているようなアニメーションが行われるのではなく、提示予定位置を初期位置とし、その初期位置で一旦小さく表示される。このような表示について、図１５を参照して説明する。

図１５の時刻ｔ２１のところに示した状態は、図１１の時刻ｔ１と同様の状態であり、オブジェクトＡが位置Ｐ１に表示されると、ユーザ１５１に提示される画面は画角切れが起きている画面となる状態である。オブジェクトＡが、不動物体との属性を付与されている場合、初期位置は、提示予定位置に設定される。

時刻ｔ２２において、位置Ｐ１に、オブジェクトＡが小さく表示される。時刻ｔ２３において、位置Ｐ１に、オブジェクトＡが、本来表示される大きさとして設定されている大きさで表示される。

時刻ｔ２２から時刻ｔ２３の間、オブジェクトＡが徐々に大きくなるアニメーションがされても良い。または、オブジェクトＡが不動物体である場合、アニメーションは行われずに、小さい表示から大きな表示に切り替えられるようにしても良い。

または、小さい表示のときには、薄く表示されるようにしても良い。または小さく表示するのではなく、薄く表示し、その後濃く表示されるようにしても良い。

不動物体が、位置Ｐ１にあるということを、ユーザに認識させることが１つの目的である。ユーザが不動物体の存在を認識することで、ユーザの意思により、不動物体の全体を見たければ、後に下がるなどの行動を行う。このようなユーザに自発的な行動を起こさせるために、一旦小さく表示したり、薄く表示したりする。

なお、オブジェクトＡが不動物体である場合、上記したような表示が行われることで、ユーザにより違和感を与えてしまうことも考えられる。オブジェクトＡが不動物体の場合には、画角切れが起こるような場合でも、位置変更や大きさの変更は行われずに提示予定位置に、設定されている大きさで表示されるようにするという設定もできる。

また、不動物体の場合、サブ属性を設け、上記したような表示を変えた表示を行う属性と、上記したような表示を変えた表示を行わない属性を設け、その属性により、表示が制御されるようにしてもよい。

＜第３の表示設定＞
不動物体のオブジェクトには、その不動物体をユーザが見たとき（ユーザの視界角内に不動物体が入ったとき）に、例えば話し出すといったアクションを開始するように設定されているオブジェクトもある。このようなオブジェクトの場合、例えば、図９のＢのように、画角切れを起こしている状態のときに、オブジェクトＡが発話すると、ユーザは、どこで声が発せられているのかわからずに、戸惑ってしまう可能性が高い。

そこで、上記したように、一旦小さく表示して、ユーザにオブジェクトＡの存在を認識させ、認識させた後、音を出すようにしても良い。

または、不動物体であり、ユーザの視界角内に入ったときに何らかのアクションを起こす物体である場合、画角切れを起こしているような状態で表示がされるときには、アクションを起こさないように設定してあっても良い。アクションが起こる条件として、以下の条件１と条件２が満たされるときと設定されていても良い。

条件１
オブジェクトがユーザの視界角内にある（表示部５３に全体が表示されている）
条件２
オブジェクトとユーザの距離が一定の範囲内（閾値以下）である

条件１は、オブジェクトがユーザに見えている状態のときに、また画角切れしていないときに、アクションが開始されるという条件である。上記したように、画角切れを起こしている状態のときに、アクションが開始されることがないようにするための条件である。条件１は、例えば以下の判定式（４）により判定することができる。

式（４）において、ｐｔ．ｗ、ｐｔ．ｘ、ｐｔ．ｙは、それぞれ式（５）で算出される幅を表す値、ｘ軸方向の値、ｙ軸方向の値を表す。また、式（４）は、正規化した計算式とするために、幅ｗで、ｘ軸方向の長さと、ｙ軸方向の長さを、それぞれ除算した値を用いている。

式（４）は、オブジェクトのｘ軸方向の長さと、ｙ軸方向の長さを２辺とする直角三角形の斜辺の長さが１以下に収まるか否かを判定する式であり、換言すれば、オブジェクトを囲む四角形の対角線が、１以下に収まるか否かを判定する式であり、この判定式が満たされるとき、オブジェクトは視界角内にあると判定される式である。

式（５）において、Ｍworldは、ワールド座標における行列、Ｍprojectionは、プロジェクションに関する行列、Ｍobjposは、オブジェクトに関する行列であり、視錐体にオブジェクトの座標を投影するための式である。

条件１を、上記した式が満たされるか否かで判定するようにしても良いし、他の方法で判定するようにしても良い。

条件１だけだと、ユーザから離れた位置にあるオブジェクトは、全て条件１を満たすと判定される可能性がある。そこで、条件２により、ユーザがオブジェクトに近い位置に居るか否かが判定されるようにする。換言すれば、アクションを起こすと設定されている範囲内に、ユーザが居るか否かが条件２として判定されるようにする。条件２があることで、ユーザから離れた位置にあるオブジェクトがアクションを起こすようなことを防ぐことができる。

条件２は、例えば、以下の判定式（６）により判定することができる。

式（６）において、Ｍobjposは、オブジェクトの位置を表し、Ｍcameraは、カメラの位置、すなわちユーザの位置を表す。式（６）は、オブジェクトとユーザの位置の差分が距離ｄとなり、この距離ｄが予め設定されている閾値Constより小さいか否かを判定する式となる。

条件２により、オブジェクトがアクションを発動するために設定されている範囲内に、ユーザが入ったと判定され、かつ、条件１により視界角内に画角切れすることなくオブジェクトが表示されると判定されたとき、オブジェクトに関連付けられているアクションが発動される。

＜第４の表示設定＞
図１５を参照して説明した表示の仕方は、図１０を参照して説明したオブジェクトＡがテキストなどの通知である場合にも適用できる。テキストの場合、図１０のＢを参照して説明したように、メッセージの一部が表示されても、ユーザにそのメッセージを伝えることは難しく、図１０のＡを参照して説明したように、メッセージ全体が見えるようにすることで、そのメッセージを伝えることができると考えられる。

そこで、図１０のＢのように、メッセージの一部しか表示されないような場合には、一旦、メッセージ（オブジェクトＡ）を小さく表示し、ユーザにオブジェクトＡの存在を認識させる。このとき、小さく表示されるメッセージをユーザが読み取れるか否かは問題とはならず、メッセージの存在を認識させることができれば良い。

図１５の時刻ｔ２１のところに示した状態は、図１１の時刻ｔ１と同様の状態であり、オブジェクトＡが位置Ｐ１に表示されると、ユーザ１５１に提示される画面は画角切れが起きている画面となる状態である。オブジェクトＡが、テキスト（メッセージ）との属性を付与されている場合、初期位置は、提示予定位置に設定される。即ちこの場合、初期位置は、提示予定位置として設定されている位置Ｐ１に設定される。

時刻ｔ２２において、位置Ｐ１に、オブジェクトＡが小さく表示される。時刻ｔ２３において、位置Ｐ１に、オブジェクトＡが、本来表示される大きさとして設定されている大きさで表示される。

時刻ｔ２２から時刻ｔ２３の間、オブジェクトＡ（メッセージ）が徐々に大きくなるアニメーションがされても良い。または、アニメーションは行われずに、小さい表示から大きな表示に切り替えられるようにしても良い。

メッセージが、位置Ｐ１にあるということを、ユーザに認識させることで、ユーザの意思により、メッセージの全体を見たければ、後に下がるなどの行動を行う。例えば、時刻ｔ２３において、図１０のＢに示したように、メッセージの一部が表示されている状態であっても、そこにメッセージがあることを認識していれば、ユーザは、後に下がり、図１０のＡに示したように、メッセージ全体が表示されている状態にすることができ、メッセージを読むことができる。

このように、オブジェクトの属性により、表示の仕方が設定されている。このように、表示の仕方が設定されているＡＲ－ＨＭＤ１の動作について説明する。

＜ＡＲ－ＨＭＤ１の動作について＞
このような表示を行うＡＲ－ＨＭＤ１の動作について図１６のフローチャートを参照して説明する。

ステップＳ１１において、環境情報が取得される。環境情報は、ユーザの周囲の環境情報であり、ＡＲ－ＨＭＤ１を介してユーザが見ている現実の風景に関する情報である。例えば、環境情報として、周囲の奥行情報、物体認識、認識した物体の形状、移動物体の有無などの情報が取得される。

ステップＳ１２において、ユーザの位置情報が取得される。ここでは、ユーザの身体情報、例えば頭部の位置や視線の方向が取得される。ステップＳ１１とステップＳ１２における処理は、センサ情報取得部７１が、センサ部５２からのセンサ情報を取得し、処理することで行われる。

ステップＳ１３において、表示するオブジェクトがあるか否かが判定される。ユーザの視界内に、表示すべき所定のオブジェクトがあるか否かが判定される。ステップＳ１３において、表示すべきオブジェクトはないと判定された場合、ステップＳ１１に処理が戻され、それ以降の処理が繰り返される。

一方、ステップＳ１３において、表示すべきオブジェクトがあると判定された場合、処理は、ステップＳ１４に進められる。ステップＳ１４において、オブジェクトサイズ情報が取得される。オブジェクトサイズ情報としては、表示するオブジェクトの提示位置情報（提示予定位置の情報）と、オブジェクトの大きさに関する情報（サイズ情報）が取得される。サイズ情報としては、３Ｄモデルデータを用いることができる。

ステップＳ１５において、ステップＳ１４において取得されたオブジェクトサイズ情報を用いて、画角切れが発生するか否か（視界領域内に収まるか否か）が判定される。ステップＳ１５において、画角切れは起きないと判定された場合、ステップＳ２０に処理は進められる。ステップＳ２０において、出力処理、この場合、オブジェクトの表示が行われる。

一方、ステップＳ１５において、画角切れが起きると判定された場合、処理はステップＳ１６に進められる。ステップＳ１６において、表示するオブジェクトの属性が参照される。属性は、画角切れを起こすときに、上記した第１乃至第４の表示設定のいずれの設定で表示するか判定するために用いられる情報である。

属性情報としては、上記したように、可動物体、不動物体、テキストなどの表示されるオブジェクトの特徴を表した情報としても良い。また属性情報は、第１乃至第４の表示設定のいずれかを直接表すような情報、例えば、第１の表示設定で表示する場合には“１”、第２の表示設定で表示する場合には“２”といった情報であっても良い。

また第１や第２の表示設定のように、初期位置を設定する表示を位置変更属性とし、第４の表示設定のように、提示予定位置でサイズを変更して表示するサイズ変更属性とし、このような情報が属性情報として用いられるようにしても良い。以下の説明では、属性情報として、位置変更属性とサイズ変更属性が用いられる場合を例に挙げて説明を続ける。

このような属性情報は、オブジェクトサイズ情報に付随する情報として、オブジェクトサイズ情報とともに取得されるようにしても良い。

ステップＳ１６において、表示するオブジェクトの属性は、位置変更属性であると判定された場合、処理はステップＳ１７に進められる。ステップＳ１７において、奥行方向に表示制限があるか否かが判定される。奥行方向とは、ワールド座標系においてＺ軸方向であり、そのＺ軸方向に表示制限があるか否かが判定される。

例えば、図１３を参照して説明したように、奥行方向に壁などの障害物があり、そのような障害物よりも先の位置にはオブジェクトを表示することができない場合、ステップＳ１７において、奥行方向に表示制限があると判定される。

ステップＳ１７において、奥行方向に表示制限はないと判定された場合、処理はステップＳ１８に進められる。ステップＳ１８において、オブジェクトのＺ方向の位置をずらした初期位置が設定される。ステップＳ１８の処理が実行されるのは、第１の表示設定が実行されるときであり、図１１を参照して説明したような表示を行う場合である。

ステップＳ１８においては、図１１を参照した説明において、位置Ｐ４と称した初期位置を設定する処理である。初期位置が設定されると、ステップＳ１９に処理は進められる。ステップＳ１９において、初期位置にオブジェクトを表示し、提示予定位置（図１１などで位置Ｐ１と称した位置）まで、アニメーション表示するための表示データが生成され、その生成された表示データに基づく表示が、ステップＳ２０において行われる。

一方、ステップＳ１７において、奥行方向に表示制限があると判定された場合、ステップＳ２１に処理は進められる。ステップＳ２１において、アクションがあるオブジェクトであるか否かが判定される。ステップＳ２１において、アクションがあるオブジェクトではないと判定された場合、ステップＳ２２に処理が進められる。

ステップＳ２２の処理が実行されるのは、第２の表示設定が実行されるときである。第２の表示設定については、図１３、図１４、図１５を参照して説明した。図１３、図１４を参照して説明したように、初期位置を障害物より奥行き方向で前側（ユーザと面している側）の位置、好ましくは障害物の奥行き方向の位置よりも所定の距離離れた前側の位置に設定し、その初期位置から、アニメーションにより提示予定位置まで表示する（第２－１の表示設定とする）ようにしても良い。または、図１５を参照して説明したように、提示予定位置を初期位置として、その初期位置で小さく表示してから大きく表示する（第２－２の表示設定とする）ようにしても良い。

奥行方向に表示制限があり、アクションを起こさないオブジェクトの場合、第２－１の表示設定により表示を行うか、第２－２の表示設定により表示を行うかも、属性情報としてオブジェクトに関連付けられて付与されているようにしても良い。また、可動物体の場合には、第２－１の表示設定により表示を行うとし、不動物体の場合には、第２－２の表示設定により表示を行うとしても良い。

また、奥行方向に表示制限がある場合、提示予定位置を初期位置に設定するという構成にすることもできる。このように構成された場合、提示予定位置にオブジェクトは表示される。

ステップＳ２２において、初期位置が、障害物より奥行き方向で前側の位置に設定、または提示予定位置に設定される。ステップＳ２３において、初期位置にオブジェクトを表示し、提示予定位置まで、アニメーション表示するための表示データが生成され、その生成された表示データに基づく表示が、ステップＳ２０において行われる。

なお、ステップ２３において、アニメーション表示を行うか否かは、オブジェクトに応じて設定されるようにすることができる。ステップＳ２３において、アニメーション表示を行わないという設定がされ、初期位置にオブジェクトが表示された後、提示予定位置での表示に切り替えられるようなデータが生成されるようにしても良い。

一方、ステップＳ２１において、アクションがあるオブジェクトであると判定された場合、ステップＳ２４に処理は進められる。ステップＳ２４の処理が実行されるのは、第３の表示設定が実行されるときである。

第３の表示設定は、ユーザがオブジェクトの近傍に位置し、ユーザの視界角内にオブジェクトの全体（水平方向または垂直方向の少なくとも一方の方向で画角切れが起きない状態）が表示されるときに、関連付けられているアクション（例えば発話するというアクション）が発動されるという表示である。

よって、初期位置は提示予定位置であるため、初期位置の設定は省略される（初期位置として提示予定位置が設定される処理が実行されるようにしてもよい）。ステップＳ２４においてはトリガーが設定される。このトリガーは、アクションを発動するための条件として事前に設定されているトリガーであり、上記したように、この場合、ユーザの視界角内にオブジェクトが表示されるという条件である。換言すれば、上記した条件１と条件２が満たされたときに、アクションを発動するというトリガーが設定される。

なお、条件２は、ステップＳ１３において、表示するオブジェクトがあると判定された時点で満たされている。すなわち、ユーザが設定されている範囲内に入ってきたとき、ステップＳ１３において、表示するオブジェクトがあると判定される。よって、ステップＳ２４において設定されるトリガーは、条件１に関するトリガーであれば良い。

なお、上記したように、第３の表示設定は、第２の表示設定と組み合わせてもよい。すなわち、一旦小さく表示されたり、表示位置が変更されたりした後に、トリガーが発生するまでの待機状態とされるようにすることもできる。

またここでは、アクションが関連付けられているオブジェクトの属性情報は、位置変更属性である場合を例に挙げて説明しているが、サイズ変更属性であっても良く、サイズ変更属性の場合には、図１６に示した処理のフローを入れ替えることで対応することができる。

ステップＳ２５において、トリガーが発生するまで待機状態とされ、トリガーが発生すると、ステップＳ２０に処理が進められ、オブジェクトに関連付けられているアクションが発動される。すなわち、アクションを発動させるための条件が、事前に複数設定されており、それらの条件のうちの少なくとも一部、この場合、トリガーとして設定されたユーザの視界内にオブジェクトが表示されるという条件が満たされたと判定されたとき、アクションが発動される。

一方、ステップＳ１６において、表示するオブジェクトは、位置変更属性ではないと判定された場合、ステップＳ２６に処理は進められる。ステップＳ２６において、サイズ変更属性であるか否かが判定される。ステップＳ２６において、サイズ変更属性であると判定された場合、ステップＳ２７に処理は進められる。

ステップＳ２７の処理が実行されるのは、第４の表示設定が実行されるときであり、図１５を参照して説明したような表示を行うときである。すなわち、テキストのようなオブジェクトは、提示予定位置で、一旦、提示予定位置で表示する大きさよりも小さなサイズで表示してから、提示予定の大きさまで大きくする表示が行われる。

ステップＳ２７において、初期出力サイズが変更される。ステップＳ２８において、初期出力サイズでオブジェクトを表示し、提示予定サイズになるまで、アニメーション表示するための表示データが生成され、その生成された表示データに基づく表示が、ステップＳ２０において行われる。

一方、ステップＳ２６において、サイズ変更属性ではないと判定された場合、ステップＳ２０に処理が進められる。この場合、オブジェクトが画角切れを起こした状態で表示される可能性があるが、そのような状態であっても、初期位置を変更したり、サイズを変更したりした表示は行われないと設定されているオブジェクトである。よって、ステップＳ２０において、オブジェクトは、提示予定位置で、提示予定サイズで表示される。

このように、画角切れが発生する可能性がある場合、初期位置を変更したり、サイズを変更したりして表示が制御される。このような表示が、画角切れが起こる前の時点で行われることで、ユーザは、一旦オブジェクト全体を確認することができるようになり、その後画角切れが起きても、その画角切れを意識してしまうようなことを防ぐことができる。

画角切れが発生し、ユーザが画角切れを意識してしまうと、ＡＲ体験への没入感が薄れてしまう可能性があるが、本技術によれば、没入感が薄れてしまうようなことを防ぎ、ＡＲ体験をより楽しませることが可能となる。

なお、上記した実施の形態において、属性情報を設定することで、より細かい表示設定を行うことができる。また属性情報や、表示設定は、設計者が設定することができる。

上記した実施の形態において、初期位置が設定され、その初期位置で表示され、その後、提示予定位置で表示された後に、再び初期位置で表示するような状況が発生した場合、再度初期位置を設定し、同じような表示が繰り返されるようにしても良いし、２度目以降のときには、初期位置は設定せずに、提示予定位置で表示するようにしても良い。

なお、上記した例えば、第１の表示設定のように、表示位置が変更されると、現実世界の位置や物体に、紐付けられているオブジェクトの場合、その紐付けが意味をなさなくなる可能性がある。そこで、現実世界の位置や物体に、紐付けられているオブジェクトには、表示位置の変更（調整）が行われることは禁止するという属性が付与され、表示位置の変更は行われないようにしても良い。

また、そのようなオブジェクトの場合には、紐付けが崩れない範囲内での表示サイズの変更は可能とし、そのような属性が付与されるようにしても良い。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、予めインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定する設定部を備え、
前記設定部は、前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向において奥に設定する
情報処理装置。
（２）
前記設定部は、前記オブジェクトを、前記提示位置に、前記サイズ情報が表すサイズで表示した場合に、前記視界領域内に前記オブジェクトの少なくとも一部が収まらないと判定したとき、前記初期位置を設定する
前記（１）に記載の情報処理装置。
（３）
前記設定部は、前記オブジェクトが前記視界領域内に収まる位置を前記初期位置として設定する
前記（１）または（２）に記載の情報処理装置。
（４）
前記設定部は、前記オブジェクトの横方向または縦方向の少なくとも一方向が、前記視界領域内に収まる位置を前記初期位置として設定する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記初期位置から前記提示位置まで前記オブジェクトを移動させるアニメーションを表示する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記設定部は、前記奥行方向に障害物がある場合、前記障害物の位置に基づいて、前記初期位置を設定する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記設定部は、前記奥行方向に障害物がある場合、前記奥行方向における前記障害物の位置よりも前の位置を前記初期位置に設定する
前記（６）に記載の情報処理装置。
（８）
前記設定部は、前記奥行方向に障害物がある場合、前記提示位置を前記初期位置として設定する
前記（６）または（７）に記載の情報処理装置。
（９）
前記設定部は、前記奥行方向に障害物がある場合、設定された前記初期位置に、前記オブジェクトを前記サイズ情報が示すサイズよりも小さく表示する
前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記設定部は、前記提示位置を前記初期位置として設定し、前記オブジェクトを、前記視界領域内に前記オブジェクトが収まるサイズに設定する
前記（１）乃至（９）のいずれか」に記載の情報処理装置。
（１１）
前記設定部は、前記オブジェクトに所定のアクションが関連付けられている場合、前記視界領域内に前記オブジェクトが収まったと判定されたとき、前記所定のアクションを発動させるための条件の少なくとも一部が満たされたと判定する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記オブジェクトの属性に基づいて、前記初期位置を設定する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記設定部は、前記オブジェクトの属性が可動物体の属性である場合、前記オブジェクトが前記視界領域に収まる位置を前記初期位置として設定する
前記（１２）に記載の情報処理装置。
（１４）
前記設定部は、前記オブジェクトの属性が不動物体の属性である場合、前記提示位置を前記初期位置として設定する
前記（１２）に記載の情報処理装置。
（１５）
前記設定部は、前記オブジェクトの属性がサイズ変更属性である場合、前記オブジェクトが表示されるサイズを変更する
前記（１２）に記載の情報処理装置。
（１６）
前記オブジェクトは、テキストである
前記（１４）に記載の情報処理装置。
（１７）
情報処理装置が、
現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、
前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向おいて奥に設定する
情報処理方法。
（１８）
コンピュータに、
現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、
前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向おいて奥に設定する
ステップを含む処理を実行させるためのプログラム。

１ ＡＲ－ＨＭＤ， ２ 情報処理装置， ３ ネットワーク， １１ 表示部， １２ カメラ， ３１ ＣＰＵ， ３２ メモリ， ３３ センサ部， ３４ 入力部， ３５ 出力部， ３６ 通信部， ３７ バス， ５１ 制御部， ５２ センサ部， ５３ 表示部， ５４ スピーカ， ５５ 通信部， ５６ 操作入力部， ５７ 記憶部， ７１ センサ情報取得部， ７２ 方向検出部， ７３ オブジェクトサイズ設定部， ７４ レイアウトパラメータ計算部， ７５ レイアウト決定部， ７６ 出力制御部， １０１ ユーザ， １２１ オブジェクト， １２２，１２３ 仮想スクリーン

Claims (18)

1. 現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定する設定部を備え、
   前記設定部は、前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向において奥に設定する
   情報処理装置。
2. 前記設定部は、前記オブジェクトを、前記提示位置に、前記サイズ情報が表すサイズで表示した場合に、前記視界領域内に前記オブジェクトの少なくとも一部が収まらないと判定したとき、前記初期位置を設定する
   請求項１に記載の情報処理装置。
3. 前記設定部は、前記オブジェクトが前記視界領域内に収まる位置を前記初期位置として設定する
   請求項１に記載の情報処理装置。
4. 前記設定部は、前記オブジェクトの横方向または縦方向の少なくとも一方向が、前記視界領域内に収まる位置を前記初期位置として設定する
   請求項１に記載の情報処理装置。
5. 前記初期位置から前記提示位置まで前記オブジェクトを移動させるアニメーションを表示する
   請求項１に記載の情報処理装置。
6. 前記設定部は、前記奥行方向に障害物がある場合、前記障害物の位置に基づいて、前記初期位置を設定する
   請求項１に記載の情報処理装置。
7. 前記設定部は、前記奥行方向に障害物がある場合、前記奥行方向における前記障害物の位置よりも前の位置を前記初期位置に設定する
   請求項６に記載の情報処理装置。
8. 前記設定部は、前記奥行方向に障害物がある場合、前記提示位置を前記初期位置として設定する
   請求項６に記載の情報処理装置。
9. 前記設定部は、前記奥行方向に障害物がある場合、設定された前記初期位置に、前記オブジェクトを前記サイズ情報が示すサイズよりも小さく表示する
   請求項６に記載の情報処理装置。
10. 前記設定部は、前記提示位置を前記初期位置として設定し、前記オブジェクトを、前記視界領域内に前記オブジェクトが収まるサイズに設定する
    請求項１に記載の情報処理装置。
11. 前記設定部は、前記オブジェクトに所定のアクションが関連付けられている場合、前記視界領域内に前記オブジェクトが収まったと判定されたとき、前記所定のアクションを発動させるための条件の少なくとも一部が満たされたと判定する
    請求項１に記載の情報処理装置。
12. 前記オブジェクトの属性に基づいて、前記初期位置を設定する
    請求項１に記載の情報処理装置。
13. 前記設定部は、前記オブジェクトの属性が可動物体の属性である場合、前記オブジェクトが前記視界領域に収まる位置を前記初期位置として設定する
    請求項１２に記載の情報処理装置。
14. 前記設定部は、前記オブジェクトの属性が不動物体の属性である場合、前記提示位置を前記初期位置として設定する
    請求項１２に記載の情報処理装置。
15. 前記設定部は、前記オブジェクトの属性がサイズ変更属性である場合、前記オブジェクトが表示されるサイズを変更する
    請求項１２に記載の情報処理装置。
16. 前記オブジェクトは、テキストである
    請求項１５に記載の情報処理装置。
17. 情報処理装置が、
    現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、
    前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向おいて奥に設定する
    情報処理方法。
18. コンピュータに、
    現実世界に重畳されて表示されるオブジェクトの仮想三次元空間内において提示する提示位置に関する提示位置情報、前記オブジェクトのサイズに関するサイズ情報、および前記オブジェクトを表示する表示部の視界領域に関する視界領域情報に基づいて、前記オブジェクトを前記表示部に初期表示する初期位置を設定し、
    前記初期位置を、前記現実世界を基準とする座標系において、前記提示位置情報が表す位置よりも奥行方向おいて奥に設定する
    ステップを含む処理を実行させるためのプログラム。

Images