WO2016088420A1

WO2016088420A1 - 表示制御装置、表示制御方法およびプログラム

Info

Publication number: WO2016088420A1
Application number: PCT/JP2015/075492
Authority: WO
Inventors: 博隆石川; 岩津　健
Original assignee: ソニー株式会社
Priority date: 2014-12-04
Filing date: 2015-09-08
Publication date: 2016-06-09
Also published as: EP3229104A4; JP2016110319A; EP3229104A1; US20170329480A1; KR20170089854A

Abstract

　ユーザの視野に表示されるオブジェクトの検索性を向上させる。　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、表示制御装置が提供される。

Description

表示制御装置、表示制御方法およびプログラム

　本技術は、表示制御装置、表示制御方法およびプログラムに関する。

　近年、ユーザの視野に対して現実空間に対応するオブジェクトを付加する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。例えば、ユーザが視認している外界に存在する対象物に関するオブジェクトを表示することが可能なヘッドマウントディスプレイが開示されている（特許文献１参照）。

特開２０１２－５３６４３号公報

　しかし、ユーザの視野に表示されるオブジェクトの検索性を向上させることが求められる。そこで、本技術では、ユーザの視野に表示されるオブジェクトの検索性を向上させることが可能な技術を提案する。

　本技術によれば、表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、表示制御装置が提供される。

　また、本技術によれば、表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させることを備え、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、表示制御方法が提供される。

　また、本技術によれば、コンピュータを、表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、表示制御装置として機能させるためのプログラムが提供される。

　以上説明したように本技術によれば、ユーザの視野に表示されるオブジェクトの検索性を向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本技術の一実施形態に係るヘッドマウントディスプレイの機能を説明する概略図である。上記ヘッドマウントディスプレイを示す全体図である。上記ヘッドマウントディスプレイを含むシステムの構成を示すブロック図である。上記ヘッドマウントディスプレイにおける制御ユニットの機能ブロック図である。上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。図５Ａに示す円筒座標の展開図である。図５Ｂに示す円筒座標の展開図である。上記円筒座標系における座標位置の説明図である。視野とオブジェクトとの関係を概念的に示す上記円筒座標の展開図である。円筒座標（ワールド座標）から視野（ローカル座標）への変換方法を説明する図である。円筒座標（ワールド座標）から視野（ローカル座標）への変換方法を説明する図である。上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。領域制限された円筒座標にオブジェクトを配置する手順を説明するシーケンス図である。上記システムの動作の概要を説明するフローチャートである。上記制御ユニットによるオブジェクトデータの受信手順の一例を示すフローチャートである。上記制御ユニットによる視野へのオブジェクトの描画手順の一例を示すフローチャートである。ヨー角、ピッチ角およびロール角の例を示す図である。ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させる例について説明するための図である。ロール角依存性ありが適した場面の一例を説明するための図である。ロール角依存性ありが適した場面の他の一例を説明するための図である。ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させない例について説明するための図である。ロール角依存性なしが適した場面の一例を説明するための図である。ＡＲオブジェクトの表示手法が、ロール角依存性ありの場合におけるＡＲオブジェクトの検索性について説明するための図である。ＡＲオブジェクトの表示手法が、ロール角依存性なしの場合におけるＡＲオブジェクトの検索性について説明するための図である。ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する手法の例を説明するための図である。ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する手法の詳細な例を説明するための図である。視野領域を制限する機能をロール角依存性なしと組み合わせた場合について説明するための図である。視野領域を制限する機能をロール角依存性なしと組み合わせた場合の詳細を説明するための図である。ロール角依存性ありにおいてロール角がロール制限角を超えた場合におけるＡＲオブジェクトの表示例を説明するための図である。ＡＲオブジェクトの表示手法がロール角依存性なしの場合にＡＲオブジェクトの向きをロール角に依存させる例について説明するための図である。ＡＲオブジェクトの表示手法がロール角依存性なしの場合において、ユーザの視野に対するＡＲオブジェクトの向きをロール角に依存させない詳細な例を説明するための図である。ロール制限角の更新の例を説明するための図である。ＡＲオブジェクトの描画動作の例を示すフローチャートである。ＡＲオブジェクトの描画動作の他の例を示すフローチャートである。ＡＲオブジェクトの表示手法がロール角依存性ありの場合におけるＡＲオブジェクトの表示例を示す図である。ＡＲオブジェクトの表示手法がロール角依存性なしの場合におけるＡＲオブジェクトの表示例を示す図である。ＡＲオブジェクトが２次元画像である場合および３次元オブジェクトである場合それぞれにおけるＡＲオブジェクトの表示例を示す図である。ＡＲオブジェクトが３次元オブジェクトである場合における詳細な表示例を示す図である。ＡＲオブジェクトが２次元画像である場合における詳細な表示例を示す図である。ＡＲオブジェクトの更新動作の例を示すフローチャートである。ＡＲオブジェクトの描画動作の基本的な例を示すフローチャートである。ＡＲオブジェクトと非ＡＲオブジェクトとの双方をユーザの視野に提供する例を示す図である。ＡＲオブジェクトと非ＡＲオブジェクトとの双方をユーザの視野に提供する他の例を示す図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。本実施形態では、画像表示装置としてヘッドマウントディスプレイに本技術を適用した例について説明する。

　＜第１の実施形態＞
　図１は、本技術の一実施形態に係るヘッドマウントディスプレイ（以下「ＨＭＤ」と称する。）の機能を説明する概略図である。まず図１を参照して、本実施形態に係るＨＭＤの基本的な機能の概要について説明する。

　ここで図１において、Ｘ軸方向及びＹ軸方向は相互に直交する水平方向を示し、Ｚ軸方向は鉛直軸方向を示している。これらＸＹＺ直交座標系は、ユーザの属する実空間の座標系（実３次元座標系）を表し、Ｘ軸の矢印は北方向を示し、Ｙ軸の矢印は東方向を示している。またＺ軸の矢印は重力方向を示している。

　［ＨＭＤの機能の概要］
　本実施形態のＨＭＤ１００は、ユーザＵの頭部に装着され、ユーザＵの実空間の視野Ｖ（表示視野）に仮想的な画像を表示することが可能に構成される。視野Ｖに表示される画像には、当該視野Ｖに存在する所定の対象物Ａ１，Ａ２，Ａ３，Ａ４に関連する情報が含まれる。所定の対象物としては、例えば、ユーザＵの周囲に存在する風景、店舗、商品等が該当する。

　ＨＭＤ１００は、ＨＭＤを装着したユーザＵを包囲する仮想上のワールド座標系に対応付けられた画像（以下、オブジェクトともいう。）Ｂ１，Ｂ２，Ｂ３，Ｂ４を予め記憶する。ワールド座標系は、ユーザの属する実空間と等価な座標系であって、ユーザＵの位置及び所定の軸方向を基準とした対象物Ａ１～Ａ４の位置を定める。本実施形態においてワールド座標は、鉛直軸を軸心とする円筒座標Ｃ０が採用されるが、これ以外にユーザＵを中心とする天球座標等の他の３次元座標が採用されてもよい。

　円筒座標Ｃ０の半径Ｒ、高さＨは任意に設定可能である。ここでは、半径Ｒは、ユーザＵから対象物Ａ１～Ａ４までの距離よりも短く設定されるが、上記距離よりも長くてもよい。また高さＨは、ＨＭＤ１００を介して提供されるユーザＵの視野Ｖの高さ（縦方向の長さ）Ｈｖ以上の大きさに設定される。

　オブジェクトＢ１～Ｂ４は、そのワールド座標系に存在する対象物Ａ１～Ａ４に関連する情報を表示する画像であって、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またオブジェクトは、２次元画像であってもよいし、３次元画像であってもよい。さらにオブジェクトの形状は、矩形、円形その他の幾何学的形状であってもよく、オブジェクトの種類によって適宜設定可能である。

　円筒座標Ｃ０上におけるオブジェクトＢ１～Ｂ４の座標位置は、例えば、対象物Ａ１～Ａ４を注視するユーザの目線Ｌと円筒座標Ｃ０との交差位置にそれぞれ対応付けられる。図示の例では、オブジェクトＢ１～Ｂ４各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトの周縁の一部（例えば四隅の一部）を上記交差位置に一致させてもよい。あるいは、オブジェクトＢ１～Ｂ４の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。

　円筒座標Ｃ０は、北方向を０°とした鉛直軸周りの角度を表す周方向の座標軸（θ）と、ユーザＵの水平方向の目線Ｌｈを基準とした上下方向の角度を表す高さ方向の座標軸（ｈ）とを有する。座標軸（θ）は、東周りを正方向とし、座標軸（ｈ）は、俯角を正方向、仰角を負方向としている。

　後述するように、ＨＭＤ１００は、ユーザＵの視点方向を検出するための検出部を有しており、当該検出部の出力に基づいて、ユーザＵの視野Ｖが円筒座標Ｃ０上のどの領域に対応するかを判定する。そしてＨＭＤ１００は、視野Ｖを形成するｘｙ座標系の対応領域に何れかのオブジェクト（例えばオブジェクトＢ１）が存在するときは、上記対応領域にオブジェクトＢ１を表示（描画）する。

　以上のように本実施形態のＨＭＤ１００は、実空間の対象物Ａ１に重畳してオブジェクトＢ１を視野Ｖに表示することで、ユーザＵに対して対象物Ａ１に関連する情報を提供する。またＨＭＤ１００は、ユーザＵの視点の方位あるいは方向に応じて、所定の対象物Ａ１～Ａ４に関するオブジェクト（Ｂ１～Ｂ４）をユーザＵに提供することができる。

　続いて、ＨＭＤ１００の詳細について説明する。図２は、ＨＭＤ１００を示す全体図であり、図３は、その構成を示すブロック図である。

　［ＨＭＤの構成］
　ＨＭＤ１００は、表示部１０と、表示部１０の姿勢を検出する検出部２０と、表示部１０の駆動を制御する制御ユニット３０とを有する。本実施形態においてＨＭＤ１００は、ユーザに実空間の視野Ｖを提供可能なシースルー型のＨＭＤで構成されている。

　（表示部）
　表示部１０は、ユーザＵの頭部に装着可能に構成される。表示部１０は、第１及び第２の表示面１１Ｒ，１１Ｌと、第１及び第２の画像生成部１２Ｒ，１２Ｌと、支持体１３とを有する。

　第１及び第２の表示面１１Ｒ，１１Ｌは、それぞれユーザＵの右眼及び左眼に実空間（外界視野）を提供可能な透明性を有する光学素子で構成される。第１及び第２の画像生成部１２Ｒ，１２Ｌは、それぞれ第１及び第２の表示面１１Ｒ，１１Ｌを介してユーザＵへ提示される画像を生成可能に構成される。支持体１３は、表示面１１Ｒ，１１Ｌ及び画像生成部１２Ｒ，１２Ｌを支持し、第１及び第２の表示面１１Ｌ，１１ＲがユーザＵの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。

　以上のように構成される表示部１０は、ユーザＵに対して、表示面１１Ｒ，１１Ｌを介して実空間に所定の画像（あるいは虚像）が重畳された視野Ｖを提供することが可能に構成される。この場合、右眼用の円筒座標Ｃ０と左眼用の円筒座標Ｃ０とがそれぞれ設定され、各円筒座標に描画されたオブジェクトが表示面１１Ｒ，１１Ｌに投影される。

　（検出部）
　検出部２０は、表示部１０の少なくとも一軸周りの方位あるいは姿勢変化を検出することが可能に構成される。本実施形態において検出部２０は、Ｘ，Ｙ及びＺ軸周りの表示部１０の方位あるいは姿勢変化をそれぞれ検出するように構成されている。

　ここで、表示部１０の方位とは、典型的には、表示部の正面方向を意味する。本実施形態では、表示部１０の方位は、ユーザＵの顔の向きと定義される。

　検出部２０は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部２０は、角速度センサ及び加速度センサの各々を３軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部１０の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。

　また、鉛直軸（Ｚ軸）周りの表示部１０の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い方位あるいは姿勢変化の検出が可能となる。

　検出部２０は、表示部１０の適宜の位置に配置されている。検出部２０の位置は特に限定されず、例えば画像生成部１２Ｒ，１２Ｌのいずれか一方、あるいは支持体１３の一部に配置される。

　（制御ユニット）
　制御ユニット３０（第１の制御ユニット）は、検出部２０の出力に基づいて、表示部１０（画像生成部１２Ｒ，１２Ｌ）の駆動を制御する制御信号を生成する。本実施形態において制御ユニット３０は、接続ケーブル３０ａを介して表示部１０と電気的に接続されている。勿論これに限られず、制御ユニット３０は表示部１０と無線通信回線を通じて接続されてもよい。

　図３に示すように制御ユニット３０は、ＣＰＵ３０１と、メモリ３０２（記憶部）と、送受信部３０３と、内部電源３０４と、入力操作部３０５とを有する。

　ＣＰＵ３０１は、ＨＭＤ１００全体の動作を制御する。メモリ３０２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有し、ＣＰＵ３０１によるＨＭＤ１００の制御を実行するためのプログラムや各種パラメータ、表示部１０で表示するべき画像（オブジェクト）、その他必要なデータを記憶する。送受信部３０３は、後述する携帯情報端末２００との通信のためのインターフェースを構成する。内部電源３０４は、ＨＭＤ１００の駆動に必要な電力を供給する。

　入力操作部３０５は、ユーザ操作によって表示部１０で表示される画像を制御するためのものである。入力操作部３０５は、メカニカルスイッチで構成されてもよいし、タッチセンサで構成されてもよい。入力操作部３０５は、表示部１０に設けられてもよい。

　ＨＭＤ１００はさらに、スピーカ等の音響出力部、カメラ等を備えていてもよい。この場合、上記音声出力部及びカメラは、典型的には表示部１０に設けられる。さらに制御ユニット３０には、表示部１０の入力操作画面等を表示する表示デバイスが設けられてもよい。この場合、入力操作部３０５は、当該表示デバイスに設けられたタッチパネルで構成されてもよい。

　（携帯情報端末）
　携帯情報端末２００（第２の制御ユニット）は、制御ユニット３０と無線通信回線を介して相互に通信可能に構成されている。携帯情報端末２００は、表示部１０で表示するべき画像を取得する機能と、取得した画像を制御ユニット３０へ送信する機能とを有する。携帯情報端末２００は、ＨＭＤ１００と有機的に組み合わされることで、ＨＭＤシステムを構築する。

　携帯情報端末２００は、表示部１０を装着するユーザＵによって携帯され、パーソナルコンピュータ（ＰＣ：Personal Computer）、スマートフォン、携帯電話機、タブレットＰＣ、ＰＤＡ（Personal Digital Assistant）等の情報処理装置で構成されるが、ＨＭＤ１００専用の端末装置であってもよい。

　図３に示すように携帯情報端末２００は、ＣＰＵ２０１と、メモリ２０２と、送受信部２０３と、内部電源２０４と、表示部２０５と、カメラ２０６と、位置情報取得部２０７とを有する。

　ＣＰＵ２０１は、携帯情報端末２００全体の動作を制御する。メモリ２０２は、ＲＯＭ及びＲＡＭ等を有し、ＣＰＵ２０１による携帯情報端末２００の制御を実行するためのプログラムや各種パラメータ、制御ユニット３０へ送信される画像（オブジェクト）、その他必要なデータを記憶する。内部電源２０４は、携帯情報端末２００の駆動に必要な電力を供給する。

　送受信部２０３は、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（IEEE802.11等）や移動通信用の３Ｇや４Ｇのネットワークを用いて、サーバＮや制御ユニット３０、近隣の他の携帯情報端末等と通信する。携帯情報端末２００は、送受信部２０３を介してサーバＮから、制御ユニット３０へ送信するべき画像（オブジェクト）やそれを表示するためのアプリケーションをダウンロードし、メモリ２０２へ格納する。

　サーバＮは、典型的にはＣＰＵ、メモリ等を含むコンピュータで構成され、ユーザＵの要求に応じて、あるいはユーザＵの意図に依らず自動的に、所定の情報を携帯情報端末２００へ送信する。

　表示部２０５は、例えばＬＣＤやＯＬＥＤで構成され、各種メニューやアプリケーションのＧＵＩ等を表示する。典型的には、表示部２０５は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。携帯情報端末２００は、表示部２０５のタッチ操作によって制御ユニット３０へ所定の操作信号を入力することが可能に構成されている。

　位置情報取得部２０７は、典型的にはＧＰＳ（Global Positioning System）受信機を含む。携帯情報端末２００は、位置情報取得部２０７を用いてユーザＵ（表示部１０）の現在位置（経度、緯度、高度）を測位し、サーバＮから必要な画像（オブジェクト）を取得することが可能に構成される。すなわちサーバＮは、ユーザの現在位置に関する情報を取得し、その位置情報に応じた画像データやアプリケーションソフトウェア等を携帯情報端末２００へ送信する。

　（制御ユニットの詳細）
次に、制御ユニット３０の詳細について説明する。

　図４は、ＣＰＵ３０１の機能ブロック図である。ＣＰＵ３０１は、座標設定部３１１と、画像管理部３１２と、座標判定部３１３と、表示制御部３１４とを有する。ＣＰＵ３０１は、メモリ３０２に格納されたプログラムに従って、これら座標設定部３１１、画像管理部３１２、座標判定部３１３及び表示制御部３１４における処理を実行する。

　座標設定部３１１は、ユーザＵ（表示部１０）を包囲する３次元座標を設定する処理を実行するように構成される。本例では、上記３次元座標は、鉛直軸Ａｚを中心とする円筒座標Ｃ０（図１参照）が用いられる。座標設定部３１１は、円筒座標Ｃ０の半径Ｒと高さＨをそれぞれ設定する。座標設定部３１１は、典型的には、ユーザＵに提示するべきオブジェクトの数や種類等に応じて円筒座標Ｃ０の半径Ｒ及び高さＨを設定する。

　円筒座標Ｃ０の半径Ｒは固定値でもよいが、表示するべき画像の大きさ（ピクセルサイズ）等に応じて任意に設定可能な可変値であってもよい。円筒座標Ｃ０の高さＨは、表示部１０によってユーザＵへ提供される視野Ｖの縦方向（垂直方向）の高さＨｖ（図１参照）の例えば１倍以上３倍以下の大きさに設定される。高さＨの上限は、Ｈｖの３倍に限られず、Ｈｖの３倍を超える大きさであってもよい。

　図５Ａは、視野Ｖの高さＨｖと同一の高さＨ１を有する円筒座標Ｃ０を示している。図５Ｂは、視野Ｖの高さＨｖの３倍の高さＨ２を有する円筒座標Ｃ０を示している。

　図６Ａ及び図６Ｂは、円筒座標Ｃ０を展開して示す模式図である。上述のように円筒座標Ｃ０は、北方向を０°とした鉛直軸周りの角度を表す周方向の座標軸（θ）と、ユーザＵの水平方向の目線Ｌｈを基準とした上下方向の角度を表す高さ方向の座標軸（ｈ）とを有する。座標軸（θ）は、東周りを正方向とし、座標軸（ｈ）は、俯角を正方向、仰角を負方向としている。高さｈは、視野Ｖの高さＨｖの大きさを１００％としたときの大きさを表し、円筒座標Ｃ０の原点ＯＰ１は、北方向の方位（０°）とユーザＵの水平方向の目線Ｌｈ（ｈ＝０％）との交点に設定される。

　座標設定部３１１は、表示部１０を方位する３次元座標における視野Ｖの一軸方向に沿った表示領域を制限することが可能な領域制限部としての機能を有する。本実施形態において座標設定部３１１は、表示部１０を包囲する円筒座標Ｃ０における視野Ｖの高さ方向の視野領域（Ｈｖ）を制限する。具体的には、座標設定部３１１は、高さ（Ｈ）の規定値が、視野Ｖの高さＨｖよりも大きいとき、当該円筒座標の高さ（Ｈ）を視野Ｖの高さ方向の領域に応じて制限する。さらに座標設定部３１１は、ユーザＵによる操作に応じて、例えば、円筒座標の高さをＨ２（図５Ｂ）からＨ１（図５Ａ）に制限する。なお、図５Ａおよび図６Ａに示したように、円筒座標の高さ（Ｈ１）を視野Ｖの高さと同じにした場合、－９０°～＋９０°の仰角において見える画像（オブジェクト）は、仰角（ピッチ角）０°において見える画像（オブジェクト）と同じになり、画像（オブジェクト）の検索性および視認性が向上され得る。このとき、違和感が少なく画像（オブジェクト）が見えるのは、－６０°～＋６０°の仰角であり得る。また、図５Ｂおよび図６Ｂに示したように、円筒の高さ（Ｈ）を視野Ｖの高さの３倍にした場合、視野Ｖの上辺が円筒の高さ（Ｈ２）に達する仰角までは、画像（オブジェクト）が動き、それを超える仰角からは、視野Ｖの上辺が円筒の高さ（Ｈ２）に達したときと同じ画像（オブジェクト）が見えるようにしてもよい。

　画像管理部３１２は、メモリ３０２に格納された画像を管理する機能を有し、例えば、表示部１０を介して表示される単数又は複数の画像をメモリ３０２へ格納し、及び、メモリ３０２に格納された画像を選択的に削除する処理を実行するように構成される。メモリ３０２へ格納される画像は、携帯情報端末２００から送信される。画像管理部３１２はまた、送受信部３０３を介して携帯情報端末２００に対して画像の送信を要求する。

　メモリ３０２は、視野Ｖに表示すべき単数又は複数の画像（オブジェクト）を円筒座標Ｃ０に対応付けて記憶することができるように構成される。すなわちメモリ３０２は、図１に示した円筒座標Ｃ０上の個々のオブジェクトＢ１～Ｂ４を円筒座標Ｃ０上の座標位置とともに記憶する。

　図７に示すように、円筒座標系（θ，ｈ）と直交座標系（Ｘ，Ｙ，Ｚ）とは、Ｘ＝ｒcosθ、Ｙ＝ｒsinθ、Ｚ＝ｈ、の関係を有する。図１に示したように視野Ｖの方位あるいは姿勢に対応して表示すべき個々のオブジェクトＢ１～Ｂ４は、それぞれ固有の円筒座標Ｃ０上の座標領域を占めており、その領域内の特定の座標位置Ｐ（θ，ｈ）とともにメモリ３０２に格納される。

　円筒座標Ｃ０上におけるオブジェクトＢ１～Ｂ４の座標（θ，ｈ）は、直交座標系（Ｘ，Ｙ，Ｚ）で各々定義される対象物Ａ１～Ａ４の位置とユーザの位置とを結ぶ直線と、円筒座標Ｃ０の円筒面との交点における円筒座標系の座標に対応付けられる。すなわちオブジェクトＢ１～Ｂ４の座標は、それぞれ、実３次元座標から円筒座標Ｃ０に変換された対象物Ａ１～Ａ４の座標に相当する。このようなオブジェクトの座標変換は、例えば、画像管理部３１２において実行され、当該座標位置とともに各オブジェクトがメモリ３０２へ格納される。ワールド座標系に円筒座標Ｃ０が採用されることにより、オブジェクトＢ１～Ｂ４を平面的に描画することができる。

　オブジェクトＢ１～Ｂ４の座標位置は、各オブジェクトＢ１～Ｂ４の表示領域内であればどの位置に設定されてもよく、１つのオブジェクトにつき特定の１点（例えば中心位置）に設定されてもよいし、２点以上（例えば対角の２点、あるいは四隅の点）に設定されてもよい。

　また図１に示したように、オブジェクトＢ１～Ｂ４の座標位置が対象物Ａ１～Ａ４を注視するユーザの目線Ｌと円筒座標Ｃ０との交差位置に対応付けられたとき、ユーザＵは、オブジェクトＢ１～Ｂ４を対象物Ａ１～Ａ４と重なる位置で視認する。これに代えて、オブジェクトＢ１～Ｂ４の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。これにより対象物Ａ１～Ａ４に対してオブジェクトＢ１～Ｂ４を所望の位置に表示あるいは描画することができる。

　座標判定部３１３は、検出部２０の出力に基づいてユーザＵの視野Ｖが円筒座標Ｃ０上のどの領域に対応するかを判定する処理を実行するように構成される。すなわち、視野Ｖは、ユーザＵ（表示部１０）の姿勢変化によって円筒座標Ｃ０上を移動し、その移動方向や移動量は、検出部２０の出力に基づいて算出される。座標判定部３１３は、検出部２０の出力に基づいて表示部１０の移動方向及び移動量を算出し、円筒座標Ｃ０上のどの領域に視野Ｖが属するかを判定する。

　図８は、円筒座標Ｃ０上における視野ＶとオブジェクトＢ１～Ｂ４との関係を概念的に示す円筒座標Ｃ０の展開図である。視野Ｖは略矩形状であり、その左上の隅部を原点ＯＰ２とするｘｙ座標（ローカル座標）を有する。ｘ軸は、原点ＯＰ２から水平方向に延びる軸であり、ｙ軸は、原点ＯＰ２から垂直方向に延びる軸である。そして座標判定部３１３は、視野Ｖの対応領域にオブジェクトＢ１～Ｂ４の何れかが存在するかどうかを判定する処理を実行するように構成される。

　表示制御部３１４は、検出部２０の出力（すなわち座標判定部３１３の判定結果）に基づいて表示部１０の方位に対応する円筒座標Ｃ０上のオブジェクトを視野Ｖに表示（描画）する処理を実行するように構成される。例えば図８に示すように、視野Ｖの現在の方位が、円筒座標Ｃ０上のオブジェクトＢ１，Ｂ２の表示領域にそれぞれ重なる場合、それらの重なる領域Ｂ１０，Ｂ２０に相当する画像を視野Ｖに表示する（ローカルレンダリング：Local Rendering）。

　図９Ａ及び図９Ｂは、円筒座標Ｃ０（ワールド座標）から視野Ｖ（ローカル座標）への変換方法を説明する図である。

　図９Ａに示すように円筒座標Ｃ０上における視野Ｖの基準点の座標を（θv，ｈv）とし、視野Ｖの領域内に位置するオブジェクトＢの基準点の座標を（θ0，ｈ0）とする。視野Ｖ及びオブジェクトＢの基準点はどの点に設定されてもよく、本例では矩形状である視野Ｖ及びオブジェクトＢの左上のコーナ部に設定される。αv［°］は、ワールド座標上における視野Ｖの幅角度であり、その値は表示部１０の設計あるいは仕様によって確定する。

　表示制御部３１４は、円筒座標系（θ，ｈ）をローカル座標系（ｘ，ｙ）に変換することで、視野ＶにおけるオブジェクトＢの表示位置を決定する。図９Ｂに示すようにローカル座標系における視野Ｖの高さ及び幅をそれぞれＨv及びＷvとし、ローカル座標系（ｘ，ｙ）におけるオブジェクトＢの基準点の座標を（ｘ0，ｙ0）とすると、変換式は、以下のとおりである。
ｘ0＝（θ0－θv）・Ｗv／αv …（１）
ｙ0＝（ｈ0－ｈv）・Ｈv／100 …（２）

　表示制御部３１４は、典型的には、表示部１０の方位あるいは姿勢の変化に追従して、視野Ｖ内でオブジェクトＢの表示位置を変化させる。この制御は、視野ＶにオブジェクトＢの少なくとも一部が存在する限り継続される。

　一方、近年においてはＨＭＤの小型化に伴ってその表示領域が狭くなる傾向にある。またシースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。このような場合、上述のように表示部１０の方位あるいは姿勢の変化に追従して視野Ｖ内でオブジェクトＢの表示位置が変化すると、オブジェクトＢが視野Ｖに入った状態を保つことが困難になるおそれがある。このような問題を解決するため、本実施形態のＨＭＤ１００は以下に説明するようなオブジェクト表示固定機能を有する。

　＜オブジェクト表示固定機能＞
　（１）ノンストリクト（Non Strict）属性の導入
　表示制御部３１４は、表示部１０の方位あるいは姿勢が所定角度以上変化したときは、上記方位あるいは姿勢の変化に応じてオブジェクトを視野Ｖ内で移動させ、上記方位あるいは姿勢の変化が上記所定角度未満のときは、視野Ｖにおけるオブジェクトの表示位置を固定する処理を実行可能に構成される。

　本実施形態では、オブジェクトにノンストリクト属性が導入されてもよい。すなわち、オブジェクトＢがワールド座標系（円筒座標Ｃ０）の１ヶ所に固定されるのではなく、ユーザＵが見ている方向がある角度範囲内の場合、表示部１０のローカル座標系（ｘ，ｙ）にオブジェクトが固定表示されてもよい。このような処理を実行することにより、視野Ｖにオブジェクトが入った状態を容易に維持することができる。したがって、ユーザＵの鉛直軸周り又は水平軸周りの不用意な姿勢変化に起因するオブジェクトの移動を規制して、オブジェクトの視認性を高めることができる。

　上記所定角度としては、鉛直軸（Ｚ軸）周りの角度でもよいし、水平軸（Ｘ軸及び／又はＹ軸）まわりの角度であってもよいし、それらの双方であってもよい。上記所定角度の値は適宜設定可能であり、例えば±１５°である。上記所定角度は、鉛直軸周りの角度（第１の所定角度）及び水平軸周り（第２の所定角度）で同一であってもよいし、相互に異なっていてもよい。

　（２）第１のグラブ機能
　表示制御部３１４は、検出部２０の出力変化が所定時間にわたって所定以下のときは、オブジェクトＢを視野Ｖの所定位置に移動させる処理を実行可能に構成される。

　本実施形態では、所定時間にわたって検出部２０の出力が変化しないときは視野Ｖに表示されたオブジェクトをユーザが参照している蓋然性が高いため、そのオブジェクトを視野Ｖの所定位置に移動させることでオブジェクトの視認性を高めるようにしてもよい。

　上記所定時間は特に限定されず、例えば５秒程度に設定される。上記所定位置も特に限定されず、例えば視野Ｖの中央部や隅部、あるいは上下左右の何れか偏った位置とされる。更に、移動後のオブジェクトは拡大等の誇張表示がされてもよい。

　当該機能は、例えば、オブジェクトが視野Ｖの中心に位置する状態で、所定時間検出部２０の出力変化が認められない場合に、当該オブジェクトＢを視野Ｖのローカル座標系（ｘ，ｙ）の所定位置に固定表示するようにしてもよい。この場合、検出部２０の出力が所定の値を超えたとき、当該オブジェクトの固定表示機能が解除される。このときの検出部２０の出力値は、上述した表示部１０の所定の軸周りへの所定角度以上の姿勢変化に相当する出力変化量であってもよいし、それ以外の出力変化量であってもよい。

　（３）第２のグラブ機能
　表示制御部３１４は、ユーザＵの操作により生成される所定信号の入力を検出したときは、オブジェクトを視野Ｖの所定位置に移動させる処理を実行可能に構成される。このような構成においても上述と同様にオブジェクトの視認性を高めることができるとともに、ユーザの意図に即して画像の表示を制御することが可能となる。

　この処理は、例えば、オブジェクトを視野Ｖの中心に合わせて、入力操作部３０５あるいは携帯情報端末２００へ所定の入力操作を行うことで、オブジェクトが視野Ｖのローカル座標系（ｘ，ｙ）に固定される。そして入力操作部３０５等を再度操作することで、オブジェクトがワールド座標系に復帰し、オブジェクトの固定表示機能が解除される。

　（４）顔ぶれ補正機能
　表示制御部３１４は、視野Ｖの所定位置にオブジェクトが表示されている状態において、検出部２０の出力変化が所定周波数以上のときは、検出部２０の出力のうち上記所定周波数以上の周波数成分を無効とする処理を実行可能に構成される。

　視野Ｖ内のオブジェクトが表示部１０の方位あるいは姿勢変化に追従して移動すると、ユーザＵの細かい顔のぶれにも追従してしまい、オブジェクトの視認性が悪化するおそれがある。この問題を防止するために、所定以上の高周波成分に対してはオブジェクトを表示部１０の姿勢変化に追従させず、所定未満の低周波成分に対してはオブジェクトの表示位置を視野Ｖ（ローカル座標系）に固定するようにしてもよい。上記所定周波数として、例えば、ユーザの顔ぶれに相当する周波数に設定される。これにより、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。

　図１０Ａ及び図１０Ｂは、顔ぶれ補正機能を説明する概念図である。同図において、Ｖ１はある時点におけるローカル座標系を示し、Ｖ２は、Ｖ１に対応する顔ぶれ補正座標系を示す。ＯＰ及びＯＰ'は、Ｖ１及びＶ２の原点を示す。

　顔ぶれ補正機能が有効とされた場合、顔ぶれ補正座標系にオブジェクトが置かれる。顔ぶれ補正座標系は、視野Ｖのローカル座標系（ｘ，ｙ）に対してＰＤ制御で追従制御される。ＰＤ制御とは、フィードバック制御の一種であり、一般に、比例制御（Proportional Control）及び微分制御（Differential
Control）を組み合わせて設定値に収束させる制御をいう。図１０Ａ，１０Ｂにおいて、視野Ｖと視野Ｖ'の間に各々接続されたバネ（ｐ）及びダンパ（ｄ）のうち、バネ（ｐ）がＰＤ制御のＰ成分に相当し、ダンパ（ｄ）がＰＤ制御のＤ成分に相当する。

　追従制御の計算方法の一例を挙げると、ある時点ｔでのローカル座標系Ｖ１にある点を（ｘ(t)，ｙ(t)）とし、それと対応する顔ぶれ補正座標系Ｖ２の点を（ｘ'(t)，ｙ'(t)）とする。さらにサンプル周期（Δｔ）前のローカル座標系Ｖ１の点を（ｘ(t－Δt)，ｙ(t－Δt)）とし、それと対応する顔ぶれ補正座標系Ｖ２の点を（ｘ'(t－Δt)，ｙ'(t－Δt)）とする。対応点の差分を（Δｘ(t)，Δｙ(t)）とすると、
Δｘ(t)＝ｘ'(t)－ｘ(t) …（３）
Δｙ(t)＝ｙ'(t)－ｙ(t) …（４）
　と表され、対応点の速度差分を（Δｖx(t)，Δｖy(t)）とすると、
Δｖx(t)＝｛Δｘ'(t)－Δｘ'（t－Δt）｝－｛Δｘ(t)－Δｘ（t－Δt）｝ …（５）
Δｖy(t)＝｛Δｙ'(t)－Δｙ'（t－Δt）｝－｛Δｙ(t)－Δｙ（t－Δt）｝ …（６）
　と表される。そのときに顔ぶれ補正座標系Ｖ１'がローカル座標系Ｖ１に追従移動すべき量（Δｐ(t)、Δｑ(t)）は、
Δｐ(t)＝Ｐx×Δｘ(t)＋Ｄx×Δｖx(t) …（７）
Δｑ(t)＝Ｐy×Δｙ(t)＋Ｄy×Δｖy(t) …（８）
　と表される。
　ここで、Ｐx、Ｐyはｘ、ｙに対する差分ゲイン定数、Ｄx、Ｄyはｘ、ｙに対する速度ゲイン定数である。

　ローカル座標系Ｖ１が回転した場合でも、顔ぶれ補正座標系Ｖ１'は回転成分には追従しない（図１０Ｂ）。すなわち、ユーザの前後方向の軸周りに顔を傾けた場合でもオブジェクトの傾きは規制されることになる。

　上述の各オブジェクト表示固定機能（１）～（４）は、それぞれ個別に適用されてもよいし、各機能を適宜組み合わせて適用されてもよい。例えば、上記（１）～（３）の何れか１つと上記（４）との組み合わせが適用可能である。

　＜領域制限機能＞
　続いて、ＨＭＤ１００の領域制限機能について説明する。

　近年、シースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。この場合、オブジェクト画像が視界に入りにくくなるおそれがある。そこで本実施形態では、オブジェクトの検索性を高める目的で、ワールド座標系の領域制限機能を有する。

　上述のように座標設定部３１１は、表示部１０を包囲する円筒座標Ｃ０におけるＺ軸方向に沿った領域（Ｈ）を視野Ｖの高さ方向の領域（Ｈｖ）に応じて制限することが可能な領域制限部としての機能を有する（図５Ａ参照）。円筒座標Ｃ０の高さＨを制限することにより、ユーザの水平視野内における画像の検索性及び視認性を向上させることができる。

　円筒座標Ｃ０の高さ方向の制限量は特に限定されず、本実施形態では、円筒座標Ｃ０の高さは、視野Ｖの高さＨｖと同一の高さ（Ｈ１）に制限される。表示制御部３１４は、当該領域制限機能が有効とされた場合には、領域制限された円筒座標Ｃ０内に各オブジェクトＢ１～Ｂ４が位置するように、円筒座標系（θ，ｈ）のうち少なくともｈ座標を変更してオブジェクトＢ１～Ｂ４を視野Ｖに表示することが可能に構成される。

　図１１Ａ及び図１１Ｂは、高さＨ１に領域制限された円筒座標Ｃ１に対応付けられたオブジェクトＢ１～Ｂ４と視野Ｖとの相対位置関係を示す概略図である。ユーザＵは、Ｚ軸（鉛直軸）周りの姿勢変更だけで全ての方位に対応付けられたオブジェクトＢ１～Ｂ４を視認することが可能となるため、オブジェクトＢ１～Ｂ４の検索性が飛躍的に向上することになる。

　図１１Ａの例では、全てのオブジェクトＢ１～Ｂ４を円筒座標Ｃ１内に配置されたが、これに限られず、必要に応じて、少なくとも１つのオブジェクトが円筒座標Ｃ１内に配置されてもよい。また円筒座標Ｃ１に配置されるオブジェクトＢ１～Ｂ４の高さは特に限定されず、各々任意に設定可能である。

　さらに図１１の例では、オブジェクトＢ１～Ｂ４の全体が円筒座標Ｃ１内に配置されたが、オブジェクトＢ１～Ｂ４の少なくとも一部が視野Ｖに表示されるように構成されてもよい。これにより一定の方位に存在する当該画像を容易に認識することができる。この場合、入力操作部３０５等へのユーザＵによる入力操作によって、円筒座標Ｃ１の高さＨ１をこれよりも大きい高さに変更可能に構成されてもよい。これにより当該オブジェクトの全体を視認することができる。

　上述の領域制限機能を有効にするか無効にするかは、ユーザＵによる設定によって選択可能に構成されてもよい。本実施形態のＨＭＤ１００は、通常モードとして、ワールド座標系を円筒座標Ｃ１とする領域制限機能が有効な状態に設定されており、ユーザによる自発的な設定変更によって当該領域制限機能の変更（例えば高さＨの変更）あるいは無効状態への切り替えが可能に構成される。

　一方、制御ユニット３０は、ユーザＵの操作により生成される所定信号の入力を検出したときは、円筒座標における高さ方向の領域を視野Ｖの高さ方向の領域（Ｈｖ）に合わせて制限し、視野Ｖに表示されるオブジェクトをすべて視野Ｖにおいて同一の高さに揃える処理を実行可能に構成されてもよい。

　すなわち、領域制限機能が無効状態である場合、あるいはワールド座標系が円筒座標Ｃ１以外の円筒座標に設定されている場合において、ユーザＵによる入力操作部３０５等への入力操作によって、ワールド座標系を円筒座標Ｃ１に強制的に切り替えられる。そして更に、全てのオブジェクトＢ１～Ｂ４が図１１Ｂに示すように視野Ｖにおいて同一の高さで表示される位置に各オブジェクトＢ１～Ｂ４が円筒座標Ｃ１内に配置される。これにより視野に表示された画像の視認性の更なる向上を図ることができる。

　＜画像管理機能＞
　続いて、ＨＭＤ１００の画像管理機能について説明する。

　上述のように本実施形態では、制御ユニット３０へのオブジェクトデータの送信に携帯情報端末２００が用いられる。携帯情報端末２００は、ユーザＵ（表示部１０）の位置を測位する位置情報取得部２０７と、制御ユニット３０のメモリ３０２へ格納すべき複数のオブジェクト（Ｂ１～Ｂ４）をサーバＮ等から取得可能な送受信部２０３等を含む画像取得部を備える。

　本実施形態において制御ユニット３０は、携帯情報端末２００に対して、複数のオブジェクトデータの中から選択された１つ以上のオブジェクトデータの送信を要求し、携帯情報端末２００は、制御ユニット３０へ要求されたオブジェクトデータを送信する。

　ここで、表示部１０の視野Ｖへオブジェクトを円滑に描画する上で、携帯情報端末２００と制御ユニット３０との間の通信速度とレイテンシ（送信要求から実際に画像が送信されるまでの時間）が問題になる。本実施形態では、上記通信速度やレイテンシの問題を回避する目的で、制御ユニット３０（本例では画像管理部３１２）は以下のように構成されている。

　まず、制御ユニット３０は、あらかじめ必要な複数のオブジェクトデータを携帯情報端末２００から取得するように構成される。これにより、視野Ｖへのオブジェクトの描画タイミングを制御ユニット３０側で制御できるようになり、通信環境等によらずにユーザＵへ必要なオブジェクトを適切なタイミングで提供できるようになる。

　また制御ユニット３０は、円筒座標Ｃ０上の、視野Ｖの表示領域により近い座標位置に対応付けられたオブジェクトの優先的な送信を携帯情報端末２００に対して要求するように構成される。このように視野Ｖへ提示される可能性の高いオブジェクトデータを優先的に取得しておくことで、視野Ｖへのオブジェクト表示の遅延を阻止することができる。

　この際、画像管理部３１２は、まずワールド座標上にオブジェクトの配置位置に相当する単数又は複数のフレームを設定し、次いで、当該フレームに、優先度の高いオブジェクトを配置する処理を実行可能に構成される。なお、「ワールド座標上にフレームあるいはオブジェクトを配置する」とは、ワールド座標上にフレームあるいはオブジェクトを対応付けることを意味する。

　一例として、高さＨ１に領域制限された円筒座標Ｃ１にオブジェクトＢ３及びＢ４を配置する手順を図１２Ａ、図１２Ｂ及び図１３に示す。なお以下の手順は、領域制限されていない円筒座標Ｃ０あるいは他の３次元座標で構成されたワールド座標系にも同様に適用可能である。本実施形態では、オブジェクトの画像データ（オブジェクトデータ）と当該オブジェクトの座標位置を定めるフレームデータの各々が、携帯情報端末２００から制御ユニット３０へ送信される。フレームデータは、オブジェクトデータよりもデータ量が少ないため、オブジェクトデータと比較して取得に時間を要さない。このため、先にフレームデータ取得の通信を行い、後から優先度順にオブジェクトデータ取得の通信を行う。

　（フレーム登録フェーズ）
　まず、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ３を配置するためのフレームＦ３の送信要否を確認し（ステップ１０１）、これに対して制御ユニット３０は、携帯情報端末２００へフレームＦ３の送信を要求する（ステップ１０２）。制御ユニット３０は、受信したフレームＦ３をメモリ３０２へ格納することで、フレームＦ３を円筒座標Ｃ１上の対応位置へ配置する。

　続いて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ４を配置するためのフレームＦ４の送信要否を確認し（ステップ１０３）、これに対して制御ユニット３０は、携帯情報端末２００へフレームＦ４の送信を要求する（ステップ１０４）。制御ユニット３０は、受信したフレームＦ４をメモリ３０２へ格納することで、フレームＦ４を円筒座標Ｃ１上の対応位置へ配置する。全フレームデータの送信後、携帯情報端末２００は制御ユニット３０へオブジェクトデータの送信許可を通知する（ステップ１０５）。

　（データ取得フェーズ）
制御ユニット３０は、上記オブジェクトデータの送信許可通知をトリガにデータ取得フェーズに移行する。具体的には例えば、制御ユニット３０は、検出部２０の出力に基づき、現在の視野Ｖ（表示部１０）の方位に最も近いフレーム（本例ではフレームＦ４）を判定し、そのフレームに属するオブジェクト（本例ではオブジェクトＢ４）の画像データの送信を要求する（ステップ１０６）。この要求を受けて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ４の画像データを送信する（ステップ１０７）。制御ユニット３０は、受信したオブジェクトＢ４の画像データをメモリ３０２へ格納することで、オブジェクトＢ４を円筒座標Ｃ１上のフレームＦ４内に配置する。

　続いて、制御ユニット３０は、フレームＦ４の次に視野Ｖの方位に近いフレーム（本例ではフレームＦ３）を判定し、そのフレームに属するオブジェクト（本例ではオブジェクトＢ３）の画像データの送信を要求する（ステップ１０８）。この要求を受けて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ３の画像データを送信する（ステップ１０９）。制御ユニット３０は、受信したオブジェクトＢ３の画像データをメモリ３０２へ格納することで、オブジェクトＢ３を円筒座標Ｃ１上のフレームＦ３内に配置する。

　以上のように、制御ユニット３０は、円筒座標Ｃ１上にあらかじめオブジェクトのフレームデータを登録しておくことで、現在の視野Ｖを基準とするオブジェクトの取得優先度を判定可能とし、その判定結果に基づいて、優先度の高い（視野Ｖに最も近い）オブジェクトから順次その画像データを取得するように構成される。

　ここで、オブジェクトがアニメーション画像の場合には、現在時刻とアニメーションフレーム時刻とを考慮して優先付けを行えばよい。例えば、制御ユニット３０は、当該アニメーション画像を構成する全画像の少なくとも一部の一括的な送信を携帯情報端末２００に対して要求するように構成される。このようにオブジェクトがアニメーション画像の場合であっても、そのフレームレートを考慮して必要な数の画像（例えば１秒後までの画像）をキャッシュしておくことで、動的に対応することができる。

　上述のようなシステムを構築するには、オブジェクトデータを保持するメモリ３０２の容量を大きくする必要が生じる。しかし、必要性が高いオブジェクトデータを優先的に保持し、必要性が低いデータを破棄する処理を動的に実施することで、全ては保持しきれないオブジェクトデータ量でも適切なオブジェクト表示が実現可能となる。なお破棄したデータは、必要性が出たら再取得すればよい。

　すなわち制御ユニット３０は、メモリ３０２に記憶されたオブジェクトのすべてについて、その座標位置と視野Ｖの表示領域との距離を定期的に評価し、視野Ｖの表示領域から最も遠い座標位置のオブジェクトをメモリ３０２から削除するように構成されてもよい。具体的には、円筒座標Ｃ１上の全オブジェクトと視野Ｖの現在方位との相対位置関係に基づいて、全オブジェクトの優先度を各々評価し、優先度の低いオブジェクトデータを消去する。これにより視野Ｖに近いオブジェクトデータの保存領域を確保することができる。

　優先度の評価方法は特に限定されず、例えば、円筒座標Ｃ１における視野Ｖの中心位置とオブジェクトの中心位置との間のピクセル数に基づいて評価することができる。またアニメーション画像の場合は、再生時刻に基づいた係数を評価値に乗じてもよい。

　［ＨＭＤの動作］
　次に、以上のように構成される本実施形態に係るＨＭＤ１００を備えたＨＭＤシステムの動作の一例について説明する。

　図１４は、本実施形態に係るＨＭＤシステムの動作の概要を説明するフローチャートである。

　まず、携帯情報端末２００の位置情報取得部２０７を用いて、ユーザＵ（表示部１０）の現在位置が測定される（ステップ２０１）。表示部１０の位置情報は、サーバＮに送信される。そして携帯情報端末２００は、サーバＮから、ユーザＵの周囲の実空間に存在する所定の対象物に関連するオブジェクトデータを取得する（ステップ２０２）。

　次に、携帯情報端末２００は、制御ユニット３０へオブジェクトデータの送信準備ができたことを通知する。制御ユニット３０（本例では座標設定部３１１）は、オブジェクデータの種類等に応じてワールド座標系としての円筒座標Ｃ０の高さ（Ｈ）及び半径（Ｒ）を設定する（ステップ２０３）。

　この場合、座標設定部３１１は、表示部１０によって提供される視野Ｖの高さ（Ｈｖ）に応じた領域制限機能が有効な場合には、ワールド座標系を例えば図１２Ａに示す円筒座標Ｃ１に設定する。

　続いて、制御ユニット３０は、検出部２０の出力に基づいて視野Ｖの方位を検出し（ステップ２０４）、携帯情報端末２００からオブジェクトデータを取得してメモリ３０２へ格納する（ステップ２０５）。

　図１５は、制御ユニット３０によるオブジェクトデータの受信手順の一例を示すフローチャートである。

　制御ユニット３０は、携帯情報端末２００からのオブジェクトデータの送信許可確認を受信した後（ステップ３０１）、全オブジェクトのフレーム登録が完了したかどうかを判定する（ステップ３０２）。全オブジェクトのフレーム登録が完了しないとオブジェクトの座標位置が定まらず、また、オブジェクトの優先度の評価が不可能となるからである。フレーム登録が未完の場合は処理を終了し、上述した未完フレームの登録処理を実行する。

　一方、全オブジェクトのフレーム登録が完了しているときは、受信していないオブジェクトの有無とメモリ３０２の容量を確認する（ステップ３０３）。未登録オブジェクトがあり、かつメモリ容量が十分である場合は、当該未登録オブジェクトを受信しメモリ３０２へ格納する（ステップ３０４）。

　なお制御ユニット３０は、定期的にメモリ３０２内のオブジェクトの優先度を評価し、評価値の低いものは必要に応じて削除する。

　制御ユニット３０は、円筒座標Ｃ０における視野Ｖの対応領域に何れかのオブジェクトデータが存在する場合には、当該オブジェクトを視野Ｖの対応位置に表示部１０を介して表示（描画）する（ステップ２０６）。視野Ｖへのオブジェクトの表示に際しては、上述したオブジェクト表示固定機能の何れかが適用されてもよい。

　図１６は、制御ユニット３０による視野Ｖへのオブジェクトの描画手順の一例を示すフローチャートである。

　制御ユニット３０は、検出部２０の出力に基づいて現在の視野Ｖの方位を算出する（ステップ４０１）。視野Ｖの方位は、ワールド座標系（θ，ｈ）に換算されて、円筒座標Ｃ０上のどの位置に対応するかモニタリングされる。

　次に制御ユニット３０は、メモリ３０２に格納された全オブジェクトのうち、スキャン（ステップ４０３以降の処理）が未完了のオブジェクトがあるかどうか判定する（ステップ４０２）。上記スキャンは、画面更新毎にメモリ３０２に格納された全オブジェクトに対して行われる。

　スキャン未完了のオブジェクトがある場合、当該オブジェクトがワールド座標系のオブジェクトがどうか判定し（ステップ４０３）、「Ｎｏ」の場合は視野Ｖに当該オブジェクトを描画する（ステップ４０４）。

　一方、ステップ４０３において判定が「Ｙｅｓ」の場合には、続いて当該オブジェクトについて上記オブジェクト表示固定機能の何れか（例えば第１のグラブ機能）が適用されているかどうかを判定する（ステップ４０５）。当該機能が適用されている場合、所期の条件を満たした時点で当該オブジェクトを視野Ｖに固定表示する（ステップ４０６）。一方、何れの表示固定機能の適用がない場合には、視野Ｖがオブジェクト位置に入った時点で視野Ｖに当該オブジェクトを描画する（ステップ４０７）。

　以後、上述の処理が繰り返される。これにより表示部１０を介してユーザＵの現在位置に則した最新のオブジェクトをユーザＵへ提供することが可能となる。

　（適用例）
　以下、本実施形態のＨＭＤ１００の適用例について説明する。

　（ロール角依存性ありモード）
　図１７は、ヨー角、ピッチ角およびロール角の例を示す図である。上記したように、本実施形態においては、表示部１０の鉛直軸（Ｚ軸）周りの方位ＲＹ（以下、「ヨー角」とも言う。）および表示部１０の左右軸（Ｙ軸）周りの俯角（または仰角）ＲＰ（以下、「ピッチ角」とも言う。）の少なくともいずれか一方に応じたオブジェクト（以下、「ＡＲオブジェクト」とも言う。）をユーザの視野に提供することが可能である。オブジェクトは、実世界の座標に対応付けられていてよい（表示部１０の周囲の対象物に対応付けられていてよい）。このとき、表示制御部３１４は、ユーザの視野に対するＡＲオブジェクトの位置および向きを、表示部１０の前後軸（Ｘ軸）周りの角ＲＯ（以下、「ロール角」とも言う。）にも依存させてよい。かかる例について説明する。

　図１８は、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させる例について説明するための図である。図１８に示すように、表示制御部３１４は、ユーザの視野Ｖ２－１に、ＡＲオブジェクトＡ、Ｂを表示させている。視野Ｖ２－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。水平軸Ｈａは、ユーザＵの水平方向の目線Ｌｈ（図１参照）と直交する水平軸である。

　続いて、視野Ｖ２－２に示すように、ユーザが首を傾げた場合には（ロール角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、表示制御部３１４は、視野Ｖ２－２に対するＡＲオブジェクトＡ、Ｂの位置および向きを、ロール角ＲＯに依存させてよい。

　より具体的には、表示制御部３１４は、ＡＲオブジェクトＡ、Ｂをロール角ＲＯとは逆向きにロール角ＲＯと同じ大きさだけ回転させて視野Ｖ２－２に表示させてよい。回転軸は、左右中心軸Ｄａと水平軸Ｈａとの交点であってよい。この例に示したように、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させる手法（以下、単に「ロール角依存性あり」とも言う。）が適した場面として様々な場面が想定される。

　図１９Ａは、ロール角依存性ありが適した場面の一例を説明するための図である。図１９Ａを参照すると、表示制御部３１４は、視野Ｖ３－１に３次元オブジェクトであるＡＲオブジェクトＢ３－１を表示させている。このとき、表示制御部３１４は、ロール角が変化した場合、視野Ｖ３－１におけるＡＲオブジェクトＢ３－１をロール角とは逆向きにロール角と同じ大きさだけ回転させて視野Ｖ３－２に表示させてよい。

　図１９Ａに示した例のように、表示制御部３１４は、３次元オブジェクトを表示させる場合などには、ＡＲオブジェクトの実在感を表現することを優先して（視野に対するＡＲオブジェクトの位置および向きを正確に表現することを優先して）、ロール角依存性ありによってＡＲオブジェクトを表示させるのがよい。なお、３次元オブジェクトには、３次元モデルが含まれ得る（例えば、左右に視差を付けて立体に見せるもの、見取り図（三面図）で定義されるものなども含まれ得る）。

　また、図１９Ｂは、ロール角依存性ありが適した場面の他の一例を説明するための図である。図１９Ｂを参照すると、表示制御部３１４は、表示されるオブジェクトの密集度合いが閾値を超える領域に存在するＡＲオブジェクト（ＡＲオブジェクトＢ４－１～Ｂ４－３）を視野Ｖ４－１に表示させている。このとき、表示制御部３１４は、ロール角が変化した場合、視野Ｖ４－１におけるＡＲオブジェクトＢ４－１～Ｂ４－３をロール角とは逆向きにロール角と同じ大きさだけ回転させて視野Ｖ４－２に表示させてよい。

　図１９Ｂに示した例のように、表示制御部３１４は、表示されるオブジェクトの密集度合いが閾値を超える領域に存在するＡＲオブジェクト（ＡＲオブジェクトＢ４－１～Ｂ４－３）を表示させる場合などには、視野に対するＡＲオブジェクトの位置を正確に表現することを優先して、ロール角依存性ありによってＡＲオブジェクトを表示させるのがよい。なお、視野に対するＡＲオブジェクトの位置を正確に表現することを重視する他のＡＲオブジェクトも同様に、ロール角依存性ありによって表示されるとよい。

　（ロール角依存性なしモード）
　以上に説明したように、ユーザの視野に対するＡＲオブジェクトの位置および向きはロール角に依存されてよい。しかし、例えば、図１８を参照すると、ＡＲオブジェクトＡ、Ｂそれぞれの一部がユーザの視野Ｖ２－２から外れてしまっており、ＡＲオブジェクトＡ、Ｂの検索性が低下してしまっている。そこで、以下では、ユーザの視野に表示されるＡＲオブジェクトの検索性を向上させることが可能な技術を主に提案する。具体的には、表示制御部３１４は、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させなくてよい。

　図２０は、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させない例について説明するための図である。図２０に示すように、表示制御部３１４は、ユーザの視野Ｖ６－１に、ＡＲオブジェクトＡ、Ｂを表示させている。視野Ｖ６－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。

　続いて、視野Ｖ６－２に示すように、ユーザが首を傾げた場合には（ロール角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、表示制御部３１４は、視野Ｖ６－２に対するＡＲオブジェクトＡ、Ｂの位置および向きを、ロール角ＲＯに依存させなくてよい。

　より具体的には、表示制御部３１４は、視野Ｖ６－２に対するＡＲオブジェクトＡ、Ｂの位置および向きを、ロール角の変化前後において不変としてよい。この例に示したように、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させない手法（以下、単に「ロール角依存性なし」とも言う。）が適した場面として様々な場面が想定される。なお、以下では、ユーザの視野に対するＡＲオブジェクトの位置および向きをロール角に依存させない例を主に説明するが、後に説明するように、ユーザの視野に対するＡＲオブジェクトの向きはロール角に依存させてもよい。

　図２１は、ロール角依存性なしが適した場面の一例を説明するための図である。図２１を参照すると、表示制御部３１４は、視野Ｖ７－１にＡＲオブジェクトＣ、Ｄを表示させている。ここで、ユーザがＡＲオブジェクトＢを選択したいと考え、ユーザが頭を回転させたとする（表示部１０を鉛直軸周りに回転させたとする）。すると、視野Ｖ７－２には、ＡＲオブジェクトＡ～Ｃが表示される。例えば、かかる状態において、ユーザによる所定の操作（例えば、ボタン押下操作など）が行われた場合、ＡＲオブジェクトＡ～Ｃのうち視野Ｖ７－２の中心に最も近いオブジェクトＢが選択される。

　この例のように、表示制御部３１４は、ユーザによる操作を受け付け可能であるＡＲオブジェクトを表示させている場合には、視野におけるＡＲオブジェクトの位置をロール角に依存させなくてよい。そうすれば、ＡＲオブジェクトが視野から外れてしまう可能性が低減されるため、ＡＲオブジェクトの操作性を向上させることが可能である。なお、ユーザによる操作を受け付け可能なＡＲオブジェクトは特に限定されないが、例えば、ユーザによる押下操作を受け付け可能なＡＲオブジェクトであってよく、１または複数のＡＲオブジェクトが配置されたメニュー画面の一部を構成してもよい。

　（検索性の相違）
　続いて、ＡＲオブジェクトの表示手法が、ロール角依存性ありの場合とロール角依存性なしの場合とにおけるＡＲオブジェクトの検索性の相違についてさらに説明する。図２２は、ＡＲオブジェクトの表示手法が、ロール角依存性ありの場合におけるＡＲオブジェクトの検索性について説明するための図である。また、図２３は、ＡＲオブジェクトの表示手法が、ロール角依存性なしの場合におけるＡＲオブジェクトの検索性について説明するための図である。

　ここで、図２２および図２３に示すように、ユーザが首を傾げた状態でユーザが頭を回転させた場合を想定する（ロール角を固定させた状態で表示部１０を鉛直軸周りに回転させた場合を想定する）。かかる場合、図２２を参照すると、表示制御部３１４は、ユーザの視野Ｖ８－１に、ＡＲオブジェクトＡをまだ表示させることができない。続いて、表示制御部３１４は、視野Ｖ８－２にはＡＲオブジェクトＡを表示させているが、続く視野Ｖ８－３にはＡＲオブジェクトＡを表示させることができない。

　一方、図２３を参照すると、表示制御部３１４は、ユーザの視野Ｖ９－１に、ＡＲオブジェクトＡを表示させることができる。また、表示制御部３１４は、視野Ｖ９－２にもＡＲオブジェクトＡを表示させることができており、続く視野Ｖ９－３にもＡＲオブジェクトＡを表示させることができる。このように、ＡＲオブジェクトの表示手法がロール角依存性なしの場合には、ＡＲオブジェクトの表示手法がロール角依存性ありの場合よりも、ＡＲオブジェクトＡが視野に入る時間が長いため、ＡＲオブジェクトＡの検索性を向上させることが可能となる。

　（ロール制限角）
　上記では、表示制御部３１４は、ＡＲオブジェクトの表示手法がロール角依存性ありの場合、視野におけるＡＲオブジェクトをロール角とは逆向きにロール角と同じ大きさだけ回転させて視野に表示させる例を説明した。しかし、ＡＲオブジェクトをロール角とは逆向きにロール角と同じ大きさだけ回転させてしまうと、視野にＡＲオブジェクトが収まらない状況が生じ得る。また、かかる状況においては、ユーザによってＡＲオブジェクトが視認されないといった状況が生じ得る。そのため、表示制御部３１４は、ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限してもよい。

　具体的な例について説明する。図２４は、ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する手法の例を説明するための図である。図２４に示すように、表示制御部３１４は、ユーザの視野Ｖ１０－１に、ＡＲオブジェクトＡ、Ｂを表示させている。視野Ｖ１０－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。

　続いて、視野Ｖ１０－２に示すように、ユーザが首を傾げた場合には（ロール角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、表示制御部３１４は、ロール角ＲＯが所定の角度（以下、「ロール制限角」とも言う。）ＲＯを超えるまでは、ＡＲオブジェクトＡ、Ｂをロール角ＲＯとは逆向きにロール角ＲＯと同じ大きさだけ回転させて視野Ｖ１０－２に表示させてよい。しかし、ロール制限角Ｒｒを超えても、同様にＡＲオブジェクトＡ、Ｂを回転させてしまうと、視野Ｖ１０－３にＡＲオブジェクトＡ、Ｂが収まらない状況が生じ得る。

　したがって、表示制御部３１４は、ロール角ＲＯがロール制限角Ｒｒを超えた場合、ＡＲオブジェクトＡ、Ｂの位置をロール角ＲＯとは逆向きにロール制限角Ｒｒと同じ大きさだけ回転させるとよい。そうすれば、視野Ｖ１０－３にＡＲオブジェクトＡ、Ｂが収まらない状況を防ぐことが可能となり、ＡＲオブジェクトＡ、Ｂの検索性の低下を抑制することが可能となる。

　ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する例についてさらに説明を続ける。図２５は、ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する手法の詳細な例を説明するための図である。図２５に示すように、表示制御部３１４は、ユーザの視野Ｖ１１－１の水平軸Ｈａに、ＡＲオブジェクトＢ１１（駅名が記述されたＡＲオブジェクト）を表示させている。視野Ｖ１１－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。

　続いて、視野Ｖ１１－２に示すように、ユーザが首を傾げた場合には（ロール角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、ロール角ＲＯがロール制限角Ｒｒを超えた場合を想定する。かかる場合、ロール角ＲＯとは逆向きにロール角ＲＯと同じ大きさだけＡＲオブジェクトＢ１１を回転させてしまうと、ＡＲオブジェクトＢ１１が位置Ｗａから位置Ｐａに移動されてしまうため、視野Ｖ１１－２にＡＲオブジェクトＢ１１が収まらない状況が生じ得る。

　したがって、かかる場合、表示制御部３１４は、ＡＲオブジェクトＢ１１の位置をロール角ＲＯとは逆向きにロール制限角Ｒｒと同じ大きさだけ回転させるとよい。そうすれば、視野Ｖ１１－３にＡＲオブジェクトＢ１１が収まらない状況を防ぐことが可能となり、ＡＲオブジェクトＢ１１の検索性の低下を抑制することが可能となる。

　（ロール角依存性なしと高さ制限との組み合わせ）
　以上、ＡＲオブジェクトの表示手法がロール角依存性ありの場合に、状況に応じてＡＲオブジェクトの回転を制限する例について説明した。ところで、上記では、表示制御部３１４がピッチ角に対応するオブジェクトを視野に表示させるとき、座標設定部３１１がオブジェクトに対応するピッチ角を所定の範囲内に制限する例を説明した。より具体的には、座標設定部３１１は、円筒座標Ｃ０における視野Ｖの高さ方向の視野領域（Ｈｖ）を制限することが可能である。ここで、視野Ｖの高さ方向の視野領域（Ｈｖ）を制限する機能をロール角依存性なしと組み合わせることによって、ＡＲオブジェクトの検索性をさらに向上させることが期待される。

　図２６は、視野領域を制限する機能をロール角依存性なしと組み合わせた場合について説明するための図である。図２６に示した例では、視野領域を制限する機能をロール角依存性なしと組み合わせた場合において、ユーザが首を傾けた状態で水平軸Ｈａの上を見た後、首を右に回転させた場合を想定している（視野Ｖ１２－１～視野Ｖ１２－４）。図２６の視野Ｖ１２－１～視野Ｖ１２－４を参照すると、ＡＲオブジェクトＡが視野の一端から他端まで移動している。

　この例のように、視野領域を制限する機能をロール角依存性なしと組み合わせた場合には、ユーザが頭を鉛直軸周りに３６０度回転させる間には、ＡＲオブジェクトが視野の一端から他端まで移動する可能性が高まるため、ＡＲオブジェクトの検索性がさらに向上することが期待される。なお、図２６に示した例では、円筒座標の高さが視野Ｖ１２－１～Ｖ１２－４の高さと同一に設定され、ＡＲオブジェクトＡに対応する３次元座標が水平軸Ｈａを含む水平面上に設定されている場合を想定している。また、ロール角依存性ありにおけるＡＲオブジェクトＡの表示位置が、位置Ｐａ－１～Ｐａ－４として示されている。

　視野領域を制限する機能をロール角依存性なしと組み合わせた場合についてさらに説明を続ける。図２７は、視野領域を制限する機能をロール角依存性なしと組み合わせた場合の詳細を説明するための図である。図２７に示すように、表示制御部３１４は、ユーザの視野Ｖ１３－１の水平軸Ｈａに、ＡＲオブジェクトＢ１３（駅名が記述されたＡＲオブジェクト）を表示させている。視野Ｖ１３－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。

　続いて、視野Ｖ１３－２に示すように、ユーザが水平軸Ｈａの上を見た場合には（ピッチ角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが上方に移動する。このとき、左右中心軸Ｄａの移動ＭＯの大きさが所定の移動Ｍｒの大きさを超えた場合を想定する。かかる場合、左右中心軸Ｄａの移動ＭＯと逆向きに左右中心軸Ｄａの移動ＭＯの大きさと同じ量だけＡＲオブジェクトＢ１３を移動させてしまうと、ＡＲオブジェクトＢ１３が位置Ｗａから位置Ｐａに移動されてしまうため、視野Ｖ１３－２にＡＲオブジェクトＢ１３が収まらない状況が生じ得る。

　したがって、かかる場合、表示制御部３１４は、ＡＲオブジェクトＢ１３の位置を左右中心軸Ｄａの移動ＭＯとは逆向きに所定の移動Ｍｒの大きさと同じ大きさだけ移動させるとよい。そうすれば、視野Ｖ１３－２にＡＲオブジェクトＢ１３が収まらない状況を防ぐことが可能となり、ＡＲオブジェクトＢ１３の検索性の低下を抑制することが可能となる。図２７には、左右中心軸Ｄａの移動ＭＯとは逆向きに所定の移動Ｍｒの大きさと同じ大きさだけ移動されたＡＲオブジェクトＢ１３がラインＬｎ上に存在している。

　（ＡＲオブジェクト位置の収束）
　以上、視野領域を制限する機能をロール角依存性なしと組み合わせた場合について説明した。ここで、上記では、表示制御部３１４は、ロール角依存性ありにおいてロール角がロール制限角を超えた場合、ＡＲオブジェクトの位置をロール角とは逆向きにロール制限角と同じ大きさだけ回転させる例を説明した。このとき、表示制御部３１４は、ロール角依存性ありにおいてロール角がロール制限角を超えた場合、ＡＲオブジェクトの位置をロール角とは逆向きにロール制限角と同じ大きさだけ回転させた位置に徐々に収束させてもよい。

　例えば、表示制御部３１４は、ロール角依存性ありにおいてロール角がロール制限角を超えた場合、視野におけるＡＲオブジェクトの位置を、ロール角とは逆向きにロール角と同じ大きさだけ回転させた位置（水平軸上の位置）から、ロール角とは逆向きにロール制限角と同じ大きさだけ回転させた位置へ、徐々に移動させてもよい。そうすれば、ロール角を零にしようとする動き（ＨＭＤ１００の左右中心軸Ｄａを水平軸Ｈａと平行にしようとする動き）をユーザに促すことが可能となる。

　図２８を参照しながら具体的に説明する。図２８は、ロール角依存性ありにおいてロール角がロール制限角を超えた場合におけるＡＲオブジェクトの表示例を説明するための図である。図２８に示すように、ＡＲオブジェクトを物体Ｘａとし、物体Ｘａにつながった２本のバネＳＰのうち、１本目のバネＳＰは水平軸Ｈａ（ロール角依存性ありにおけるＡＲオブジェクトの位置Ｐａ）に接続され、２本目のバネＳＰは左右中心軸Ｄａ（ロール角依存性なしにおけるＡＲオブジェクトの位置Ｗａ）に接続された場合を想定する。かかる場合において、ＡＲオブジェクトが収束する位置として、静的に釣り合う物体Ｘａの位置が算出されてもよい。このとき、２本目のバネＳＰそれぞれのバネ定数は同じであってもよいし、異なっていてもよい。

　あるいは、２本のバネＳＰの代わりに、バネおよびダンパが用いられてもよい。かかる場合、ＡＲオブジェクトが収束する位置は、バネおよびダンパによるＰＤ制御によって制御されてよい。また、摩擦が存在する系においてＡＲオブジェクトがバネを介してＨＭＤ１００の左右中心軸Ｄａに接続されている動的モデルによって、左右中心軸ＤａによってＡＲオブジェクトがロール方向に引っ張られた結果（または押された結果）として収束する位置がＡＲオブジェクトの収束する位置として算出されてもよい。

　また、単純にロール角依存性ありにおけるＡＲオブジェクトの位置Ｐａとロール角依存性なしにおけるＡＲオブジェクトの位置Ｗａとの間を結ぶ線分（あるいは左右中心軸Ｄａと水平軸Ｈａとの交点を中心とする円弧）における所定の比率による内分点が、ＡＲオブジェクトの収束する位置として算出されてもよい。ただし、視野からＡＲオブジェクトが外れてしまうことを防ぐため、ロール角がある程度を超えた場合には、ＡＲオブジェクトの位置を徐々に収束させずに直ちに視野内に移動させるのがよい。

　また、上記では、表示制御部３１４は、ＨＭＤ１００の左右中心軸の移動の大きさが所定の移動の大きさを超えた場合、ＡＲオブジェクトの位置を左右中心軸の移動とは逆向きに所定の移動の大きさと同じ大きさだけ移動させる例を説明した。しかし、表示制御部３１４は、ＨＭＤ１００の左右中心軸の移動の大きさが所定の移動の大きさを超えた場合、ＡＲオブジェクトの位置を左右中心軸の移動とは逆向きに所定の移動の大きさと同じ大きさだけ移動させた位置に徐々に収束させてもよい。

　例えば、表示制御部３１４は、ＨＭＤ１００の左右中心軸の移動の大きさが所定の移動の大きさを超えた場合、視野におけるＡＲオブジェクトの位置を、ＡＲオブジェクトの位置を左右中心軸の移動とは逆向きに所定の移動の大きさと同じ大きさだけ移動させた位置（水平軸上の位置）から、左右中心軸の移動とは逆向きに所定の移動の大きさと同じ大きさだけ移動させた位置へ、徐々に収束させてもよい。そうすれば、ピッチ角を零にしようとする動き（ＨＭＤ１００の左右中心軸Ｄａの中心を水平軸Ｈａに一致させようとする動き）をユーザに促すことが可能となる。

　さらに具体的に説明する。ＡＲオブジェクトを物体とし、物体につながった２本のバネのうち、１本目のバネは水平軸Ｈａ（高さ方向の視野領域が制限される場合におけるＡＲオブジェクトの位置）に接続され、２本目のバネは左右中心軸Ｄａ（高さ方向の視野領域が制限されない場合におけるＡＲオブジェクトの位置）に接続された場合を想定する。かかる場合において、ＡＲオブジェクトが収束する位置として、静的に釣り合う物体の位置が算出されてもよい。このとき、２本目のバネそれぞれのバネ定数は同じであってもよいし、異なっていてもよい。

　あるいは、２本のバネの代わりに、バネおよびダンパが用いられてもよい。かかる場合、ＡＲオブジェクトが収束する位置は、バネおよびダンパによるＰＤ制御によって制御されてよい。また、摩擦が存在する系においてＡＲオブジェクトがバネを介してＨＭＤ１００の左右中心軸に接続されている動的モデルによって、ＨＭＤ１００の左右中心軸によってＡＲオブジェクトが高さ方向に引っ張られた結果（または押された結果）として収束する位置がＡＲオブジェクトの収束する位置として算出されてもよい。

　また、単純に高さ方向の視野領域が制限される場合におけるＡＲオブジェクトの位置と高さ方向の視野領域が制限される場合におけるＡＲオブジェクトの位置との間を結ぶ線分における所定の比率による内分点が、ＡＲオブジェクトの収束する位置として算出されてもよい。ただし、視野からＡＲオブジェクトが外れてしまうことを防ぐため、ＨＭＤ１００の左右中心軸の移動の大きさがある程度を超えた場合には、ＡＲオブジェクトの位置を徐々に収束させずに直ちに視野内に移動させるのがよい。

　なお、以上に説明したような、ＡＲオブジェクトの位置を徐々に収束させる旨は、ロール角依存性ありに対する従属属性として設定されてよい。かかる場合、アプリケーションの機能によって従属属性が参照され、従属属性に応じたＡＲオブジェクトの描画処理が行われ得る。従属属性はどのように設定されてもよいが、例えば、アプリケーションの開発者によってＡＲオブジェクトごとに設定されてよい。

　（ロール角依存性の変形例）
　また、上記では、ＡＲオブジェクトの表示手法がロール角依存性なしの場合において、ユーザの視野に対するＡＲオブジェクトの向きをロール角に依存させない例を説明した。しかし、表示制御部３１４は、ＡＲオブジェクトの表示手法がロール角依存性なしの場合において、ユーザの視野に対するＡＲオブジェクトの向きをロール角に依存させてもよい。そうすれば、ＡＲオブジェクトの実在感を表現することが考慮されるとともに、ＡＲオブジェクトの検索性も向上させることが可能となる。かかる例について説明する。

　図２９は、ＡＲオブジェクトの表示手法がロール角依存性なしの場合にＡＲオブジェクトの向きをロール角に依存させる例について説明するための図である。図２９に示すように、表示制御部３１４は、ユーザの視野Ｖ１５－１に、ＡＲオブジェクトＡ、Ｂを表示させている。視野Ｖ１５－１に示すように、ユーザが首を傾げていない場合には（ロール角が零である場合には）、ＨＭＤ１００の左右中心軸Ｄａは、水平となっている。

　続いて、視野Ｖ１５－２に示すように、ユーザが首を傾げた場合には（ロール角が変化した場合には）、ＨＭＤ１００の左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、表示制御部３１４は、視野Ｖ１５－２に対するＡＲオブジェクトＡ、Ｂの位置をロール角ＲＯに依存させない一方、視野Ｖ１５－２に対するＡＲオブジェクトＡ、Ｂの向きをロール角ＲＯに依存させてよい。

　より具体的には、図２９に示すように、表示制御部３１４は、視野Ｖ１５－２に対するＡＲオブジェクトＡ、Ｂの位置をロール角の変化前後において不変としてよい。また、図２９に示すように、表示制御部３１４は、視野Ｖ１５－２に対するＡＲオブジェクトＡ、Ｂの向きをロール角とは逆向きにロール角と同じ大きさだけ回転させて視野Ｖ１５―２に表示させてよい。

　ＡＲオブジェクトの表示手法がロール角依存性なしの場合において、ユーザの視野に対するＡＲオブジェクトの向きをロール角に依存させる例についてさらに説明を続ける。図３０は、ＡＲオブジェクトの表示手法がロール角依存性なしの場合において、ユーザの視野に対するＡＲオブジェクトの向きをロール角に依存させない詳細な例を説明するための図である。

　図３０を参照すると、表示制御部３１４は、実物体（例えば、作業対象物Ｔ１６）と照らし合わされるＡＲオブジェクト（例えば、作業手順を図解するＡＲオブジェクトＢ１６－１）を視野Ｖ１６－１に表示させている。このとき、表示制御部３１４は、ロール角が変化した場合、視野Ｖ１６－１におけるＡＲオブジェクトＢ１６－１をロール角とは逆向きにロール角と同じ大きさだけ回転させて視野Ｖ１６－２に表示させてよい。

　図３０に示した例のように、表示制御部３１４は、実物体（例えば、作業対象物Ｔ１６）と照らし合わされるＡＲオブジェクト（例えば、作業手順を図解するＡＲオブジェクトＢ１６－１）を表示させる場合などには、視野に対するＡＲオブジェクトの向きを正確に表現することを優先して、ロール角依存性ありによってＡＲオブジェクトを表示させるのがよい。

　なお、以上に説明したような、ＡＲオブジェクトの向きをロール角に依存させる旨は、ロール角依存性なしに対する従属属性として設定されてよい。かかる場合、アプリケーションの機能によって従属属性が参照され、従属属性に応じたＡＲオブジェクトの描画処理が行われ得る。従属属性はどのように設定されてもよいが、例えば、アプリケーションの開発者によってＡＲオブジェクトごとに設定されてよい。

　（動作モードの選択）
　以上、ロール角依存性ありとロール角依存性なしについて説明した。ここで、ロール角依存性ありとロール角依存性なしとは、いずれか一方が永続的に用いられてもよいが、いずれか一方が適宜に選択されてもよい。以下では、表示制御部３１４が、ＡＲオブジェクトの表示手法として、ロール角依存性なしが用いられる第１のモード（以下、「ロール角依存性なしモード」とも言う。）とロール角依存性ありが用いられる第２のモード（以下、「ロール角依存性ありモード」とも言う。）とのうちいずれか一方を動作モードとして選択可能な例について説明する。

　まず、表示制御部３１４は、ユーザによる操作に基づいて、ロール角依存性なしモードおよびロール角依存性ありモードのいずれか一方を動作モードとして選択してもよい。例えば、表示制御部３１４は、ユーザによってロール角依存性なしモードを選択するための操作が入力された場合には、ロール角依存性なしモードを動作モードとして選択してよい。一方、例えば、表示制御部３１４は、ユーザによってロール角依存性ありモードを選択するための操作が入力された場合には、ロール角依存性ありモードを動作モードとして選択してよい。

　また、表示制御部３１４は、ＡＲオブジェクトがユーザによる操作を受け付け可能である場合、ロール角依存性なしモードを動作モードとして選択してもよい。ユーザによる操作を受け付け可能なＡＲオブジェクトが表示される場合には、ＡＲオブジェクトの実在感を表現することよりもＡＲオブジェクトの検索性を向上させることがより望ましいと考えられるからである。なお、上記したように、ユーザによる操作を受け付け可能なＡＲオブジェクトは特に限定されないが、例えば、ユーザによる押下操作を受け付け可能なＡＲオブジェクトであってよく、１または複数のＡＲオブジェクトが配置されたメニュー画面の一部を構成してもよい。

　また、表示制御部３１４は、ＡＲオブジェクトに関連付けられた情報に基づいて動作モードを選択してもよい。ＡＲオブジェクトに関連付けられた情報は、ロール角依存性なしモードを選択するか否かを示す情報（ロール角依存性があるか否かを示す情報）であってもよいし、他の情報（例えば、ＡＲオブジェクトが３次元オブジェクトであるか否かを示す情報など）であってもよい。

　例えば、表示制御部３１４は、ＡＲオブジェクトが３次元オブジェクトである場合、ロール角依存性ありモードを動作モードとして選択してもよい。ＡＲオブジェクトが３次元オブジェクトである場合には、ＡＲオブジェクトの検索性を向上させることよりもＡＲオブジェクトの実在感を表現することがより望ましいと考えられるからである。

　また、表示制御部３１４は、ＨＭＤ１００の能力に基づいて、ロール角依存性なしモードおよびロール角依存性ありモードのいずれか一方を動作モードとして選択してもよい。例えば、表示制御部３１４は、ＨＭＤ１００の能力が閾値より低い場合には、ロール角依存性なしモードを動作モードとして選択してよい。ＨＭＤ１００の能力が閾値より低い場合には、ＡＲオブジェクトを回転させる処理を行わないロール角依存性なしモードが選択されることによって、表示制御部３１４への処理負荷が低減されることが望ましいと考えられるからである。

　一方、例えば、表示制御部３１４は、ＨＭＤ１００の能力が閾値より高い場合には、ロール角依存性ありモードを動作モードとして選択してよい。ＨＭＤ１００の能力が閾値より高い場合には、ＡＲオブジェクトを回転させる処理を行うロール角依存性なしモードが選択され、表示制御部３１４への処理負荷が低減されなくてもよい可能性があると考えられるからである。

　なお、ＨＭＤ１００の能力は、表示制御部３１４によってＡＲオブジェクトの描画処理を行う能力であってもよい。ＡＲオブジェクトの描画処理を行う能力は、演算装置の能力であってもよいし、演算装置の能力からＡＲオブジェクトの描画処理以外の動作によって使用されている能力が除外された能力であってもよい。

　あるいは、ＨＭＤ１００の能力は、ＨＭＤ１００のバッテリ残量に基づいて動作モードを選択してもよい。例えば、表示制御部３１４は、ＨＭＤ１００のバッテリ残量が閾値より低い場合には、ロール角依存性なしモードを動作モードとして選択してよい。ＨＭＤ１００のバッテリ残量が閾値より低い場合には、ＡＲオブジェクトを回転させる処理を行わないロール角依存性なしモードが選択されることによって、表示制御部３１４による消費電力が低減されることが望ましいと考えられるからである。

　一方、例えば、表示制御部３１４は、ＨＭＤ１００のバッテリ残量が閾値より高い場合には、ロール角依存性ありモードを動作モードとして選択してよい。ＨＭＤ１００のバッテリ残量が閾値より高い場合には、ＡＲオブジェクトを回転させる処理を行うロール角依存性なしモードが選択され、表示制御部３１４による消費電力が低減されなくてもよい可能性があると考えられるからである。

　なお、動作モードが切り替わった場合、ＡＲオブジェクトの位置は徐々に遷移されてもよい（ＡＲオブジェクトがアニメーション表現により遷移されてもよい）。ここで、動作モードの切り替えは、アプリケーション機能によって実現されてよい。例えば、ＡＲオブジェクトの描画処理は動作モードの参照結果に基づいて行われるため、あるＡＲオブジェクトの描画処理における動作モードの切り替えは、次のＡＲオブジェクトの描画処理に反映され得る。

　ただし、ＡＲオブジェクトの位置が徐々に遷移される場合には、ＡＲオブジェクトの位置および向きを徐々に変化させる処理ブロックをアプリケーションとは別に用意してもよい。あるいは、アプリケーション機能によって徐々にＡＲオブジェクトの位置および向きが変化されてもよい。

　（ロール制限角の更新）
　以上、ロール角依存性なしモードおよびロール角依存性ありモードのいずれか一方を動作モードとして選択する例を説明した。ここで、ロール角依存性ありモードにおいて上記のロール制限角は固定値であってもよいが、状況に応じて更新されてもよい。以下、ロール制限角の更新について説明する。図３１は、ロール制限角の更新の例を説明するための図である。例えば、図３１において、ＡＲオブジェクトＡ～Ｅは、メニュー画面を構成していてよい。

　まず、視野Ｖ１７－１に示すように、ユーザが首を傾げている場合には、左右中心軸Ｄａが水平軸Ｈａに対して傾く。このとき、表示制御部３１４は、ロール角依存性ありモードでは、ロール角がロール制限角Ｒｒを超えるまで、ＡＲオブジェクトＡ～Ｅをロール角とは逆向きにロール角と同じ大きさだけ回転させて視野Ｖ１７－１に表示させてよい。

　そして、視野Ｖ１７－２に示すように、表示制御部３１４は、ロール角がロール制限角Ｒｒを超えた場合、ＡＲオブジェクトＡ～Ｅの位置をロール角とは逆向きにロール制限角Ｒｒと同じ大きさだけ回転させるとよい。しかし、ロール角の大きさが閾値（例えば、６０度）を超えた時間が所定時間（例えば、１０秒）継続した場合には、ユーザの姿勢自体が変化した可能性が高いため、ロール制限角Ｒｒを更新したほうが、ＡＲオブジェクトＡ～Ｅの検索性が向上すると考えられる。

　そこで、表示制御部３１４は、ロール角の大きさが閾値ｒ１を超えた時間が所定時間継続した場合、ロール制限角Ｒｒを更新するとよい。図３１に示した例では、ロール角の大きさが閾値ｒ１を超えた時間が所定時間継続したため、表示制御部３１４は、ロール制限角Ｒｒを小さくするようにして（例えば、ロール制限角Ｒｒを零にして）視野Ｖ１７－３にＡＲオブジェクトＡ～Ｅを表示させている。なお、ロール制限角Ｒｒの更新とともに、ＡＲオブジェクトＡ～Ｅの位置は徐々に遷移されてもよい（ＡＲオブジェクトＡ～Ｅがアニメーション表現により遷移されてもよい）。

　ここで、ロール制限角の更新は、アプリケーション機能によって実現されてよい。例えば、ＡＲオブジェクトの描画処理はロール制限角の参照結果に基づいて行われるため、あるＡＲオブジェクトの描画処理におけるロール制限角の更新結果は、次のＡＲオブジェクトの描画処理に反映され得る。ただし、ＡＲオブジェクトの位置が徐々に遷移される場合には、ロール制限角を徐々に変化させる処理ブロックをアプリケーションとは別に用意してもよい。あるいは、アプリケーション機能によって徐々にロール制限角が変化されてもよい。

　以上、ロール角の大きさに基づいてロール制限角の更新を行う例を説明したが、ロール制限角の更新はかかる例に限定されない。例えば、表示制御部３１４は、視野の形態が所定の条件を満たす場合、所定の角度を更新してもよい。より詳細には、表示制御部３１４は、視野が横長の場合（例えば、視野の縦の長さに相当するピッチ角が２０°より小さい場合、かつ、視野の横の長さが視野の縦の長さよりも長い場合）、視野からＡＲオブジェクトが外れてしまうことを防ぐため、ロール制限角をより小さくしてもよい。また、表示制御部３１４は、ＡＲオブジェクトが視野からはみ出ないようにすることによって（ロール制限角を狭くすることによって）、ＡＲオブジェクトに書かれた文字が全部ユーザに見えるようにしてもよい。あるいは、表示制御部３１４は、オブジェクトの一部が視野からはみ出すことを許容するが、最低限オブジェクトの端部を視野に入れ、オブジェクトの存在だけはユーザに認識されるようにロール制限角を広くしてもよい。

　また、例えば、表示制御部３１４は、ＨＭＤ１００の能力が所定の条件を満たす場合、ロール制限角を更新してもよい。より詳細には、表示制御部３１４は、ＨＭＤ１００の能力が閾値より低い場合には、ロール制限角をより小さくしてもよい（例えば、ロール制限角を零にしてもよい）。ＨＭＤ１００の能力が閾値より低い場合には、ＡＲオブジェクトを回転させる処理を行わないことによって、表示制御部３１４への処理負荷が低減されることが望ましいと考えられるからである。

　（ＡＲオブジェクトの描画動作）
　以上、ロール制限角の更新について説明した。続いて、ＡＲオブジェクトの描画動作の例について説明する。図３２は、ＡＲオブジェクトの描画動作の例を示すフローチャートである。なお、ここでは、ＡＲオブジェクトに対して、ロール角依存性なしモードを選択するか否かを示す情報（ロール角依存性があるか否かを示す情報）とロール制限角とが関連付けられている例を想定している。

　例えば、ロール角依存性があるか否かを示す情報とロール制限角とは、あらかじめアプリケーションの開発者によってユースケースに応じてＡＲオブジェクトに関連付けられてもよい。しかし、ロール角依存性があるか否かを示す情報とロール制限角とは、ＡＲオブジェクトに依存しない値として決められてもよい。まず、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあるか否かを判定する（ステップ６０１）。

　続いて、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがないと判定した場合には（ステップ６０１で「Ｎｏ」）、描画動作を終了する。一方、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあると判定した場合には（ステップ６０１で「Ｙｅｓ」）、そのＡＲオブジェクトにロール角依存性があるか否かを判定する（ステップ６０２）。

　続いて、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性があると判定した場合には（ステップ６０２で「Ｙｅｓ」）、ロール角依存性ありモードを選択し、ロール角に依存したＡＲオブジェクト描画処理を行い（Ｓ６０３）、Ｓ６０１に戻る。一方、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性がないと判定した場合には（ステップ６０２で「Ｎｏ」）、ロール角依存性なしモードを選択し、ロール角に依存しないＡＲオブジェクト描画処理を行い（Ｓ６０４）、Ｓ６０１に戻る。

　続いて、ＡＲオブジェクトの描画動作の他の例について説明する。図３３は、ＡＲオブジェクトの描画動作の他の例を示すフローチャートである。なお、ここでは、ＡＲオブジェクトに対して、ロール角依存性なしモードを選択するか否かを示す情報（ロール角依存性があるか否かを示す情報）とロール制限角とに加えて、視野領域の高さ制限を行うか否かを示す情報（高さ制限属性があるか否かを示す情報）が関連付けられている例を想定している。

　例えば、ロール角依存性があるか否かを示す情報とロール制限角に加えて、視野領域の高さ制限を行うか否かを示す情報も、あらかじめアプリケーションの開発者によってユースケースに応じてＡＲオブジェクトに関連付けられてもよい。しかし、ロール角依存性があるか否かを示す情報とロール制限角に加えて、視野領域の高さ制限を行うか否かを示す情報も、ＡＲオブジェクトに依存しない値として決められてもよい。まず、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあるか否かを判定する（ステップ７０１）。

　続いて、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがないと判定した場合には（ステップ７０１で「Ｎｏ」）、描画動作を終了する。一方、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあると判定した場合には（ステップ７０１で「Ｙｅｓ」）、そのＡＲオブジェクトに高さ制限属性があるか否かを判定する（ステップ７０２）。表示制御部３１４は、そのＡＲオブジェクトに高さ制限属性があると判定した場合には（ステップ７０２で「Ｙｅｓ」）、ステップ７０３に進み、そのＡＲオブジェクトに高さ制限属性がないと判定した場合には（ステップ７０２で「Ｎｏ」）、ステップ７０４に進む。

　ステップ７０３に進んだ場合、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性があるか否かを判定する（ステップ７０３）。表示制御部３１４は、そのＡＲオブジェクトにロール角依存性があると判定した場合（ステップ７０３で「Ｙｅｓ」）、高さ制限およびロール角を考慮したＡＲオブジェクト描画処理を行い（Ｓ７０３）、Ｓ７０１に戻る。一方、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性がないと判定した場合に（ステップ７０３で「Ｎｏ」）、高さ制限を考慮したＡＲオブジェクト描画処理を行い（Ｓ７０５）、Ｓ７０１に戻る。

　ステップ７０４に進んだ場合、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性があるか否かを判定する（ステップ７０４）。表示制御部３１４は、そのＡＲオブジェクトにロール角依存性があると判定した場合（ステップ７０４で「Ｙｅｓ」）、ロール角を考慮したＡＲオブジェクト描画処理を行い（Ｓ７０７）、Ｓ７０１に戻る。一方、表示制御部３１４は、そのＡＲオブジェクトにロール角依存性がないと判定した場合に（ステップ７０４で「Ｎｏ」）、高さ制限およびロール角を考慮したＡＲオブジェクト描画処理を行い（Ｓ７０８）、Ｓ７０１に戻る。

　（各動作モードの奏する効果）
　以上、ＡＲオブジェクトの描画動作の他の例について説明した。以下では、ＡＲオブジェクトの表示手法がロール角依存性ありの場合およびロール角依存性なしの場合それぞれが奏する効果についてさらに詳細に説明する。図３４は、ＡＲオブジェクトの表示手法がロール角依存性ありの場合におけるＡＲオブジェクトの表示例を示す図である。また、図３５は、ＡＲオブジェクトの表示手法がロール角依存性なしの場合におけるＡＲオブジェクトの表示例を示す図である。

　図３４に示した例では、ＡＲオブジェクトＡの表示手法がロール角依存性ありの場合において、ユーザが頭を傾けるたびに視野Ｖ１８－１と視野Ｖ１８－２との間で視野が変化する場面を想定する。かかる例では、視野に対してＡＲオブジェクトＡが動いてしまうため、ＡＲオブジェクトＡが視野から外れてしまうことが何度も発生し、ＡＲオブジェクトＡの視認性が低下する可能性がある（特に文字を含んだＡＲオブジェクトＡの視認性が低下する可能性がある）。

　しかし、例えば、表示画角がある程度よりも広い場合（例えば、視野の縦横の長さに相当するピッチ角がそれぞれ５０°より大きい場合）、ＡＲオブジェクトが視野から外れる可能性が低く、かつ、ＡＲオブジェクトＡのぶれが少なく見えるため、位置ロール角依存性ありが有用である可能性がある。

　一方、図３５に示した例では、ＡＲオブジェクトＡの表示手法がロール角依存性なしの場合において、ユーザが頭を傾けるたびに視野Ｖ１８－１と視野Ｖ１８－２との間で視野が変化する例を想定する。かかる例では、視野に対してＡＲオブジェクトＡが固定されるため、ＡＲオブジェクトＡが視野から外れてしまう可能性がなく、ＡＲオブジェクトＡの視認性を維持することが可能となる。

　例えば、表示画角がある程度よりも狭い場合、かつ、視野が横長の場合（例えば、視野の縦の長さに相当するピッチ角が２０°より小さい場合、かつ、視野の横の長さが視野の縦の長さよりも長い場合）、ロール角依存性なしが有用である可能性が高い。

　さらに、ＡＲオブジェクトＡの表示手法がロール角依存性なしの場合においては、ロール角に応じた画像処理をＡＲオブジェクトＡに施す必要がないため、演算装置に対する負荷を軽減することが可能となる。そのため、ロール角依存性なしは、グラフィックエンジンを積まないシステムにも適用され得る。また、演算装置に対する負荷が軽減されるため、演算装置による消費電力が低減され、バッテリ持続時間を長くすることが可能となり、バッテリの軽量化が可能となる。さらに、ロール角依存性なしでは、システムの簡易化を行なえるため、システム構築に要するコストも削減され得る。

　（ＡＲオブジェクトの変形）
　以上、ＡＲオブジェクトの表示手法がロール角依存性ありの場合およびロール角依存性なしの場合それぞれが奏する効果について説明した。ところで、ＡＲオブジェクトは、２次元画像である場合と３次元オブジェクトである場合とがある。このとき、ＡＲオブジェクトが２次元画像である場合と３次元オブジェクトである場合とによって、ＡＲオブジェクトの表示を変えてもよい。図３６を参照しながら具体的に説明する。

　図３６は、ＡＲオブジェクトが２次元画像である場合および３次元オブジェクトである場合それぞれにおけるＡＲオブジェクトの表示例を示す図である。例えば、表示制御部３１４は、ＡＲオブジェクトＡが３次元オブジェクトである場合、ＡＲオブジェクトＡに対して所定の画像処理を施し、所定の画像処理が施されたＡＲオブジェクトＡを視野Ｖ１９－１に表示させてよい。そうすれば、３次元ＡＲオブジェクトＡの立体感を出すことが可能となる。例えば、３次元ＡＲオブジェクトＡに対して、３次元ＡＲオブジェクトＡとＨＭＤ１００との位置関係に応じた画像処理（例えば、対応するヨー角、ピッチ角に応じた角度から見えるようにする画像処理）が施されてよい。

　図３６に示した例では、プレート型の３次元ＡＲオブジェクトＡが円筒座標Ｃ０に貼り付いているため、表示制御部３１４は、３次元ＡＲオブジェクトＡを単に視野Ｖ１９－１の縦方向に縮小し、縮小された３次元ＡＲオブジェクトＡを視野Ｖ１９－１に表示させている。このように、プレート型の３次元ＡＲオブジェクトＡが円筒座標Ｃ０に貼り付いている場合には、３次元ＡＲオブジェクトＡを単に視野Ｖ１９－１の縦方向に縮小する画像処理を施せばよいため、描画処理に要する処理負荷が低減される。

　なお、表示制御部３１４は、ＨＭＤ１００の能力が閾値より低い場合には、ＡＲオブジェクトＡが３次元オブジェクトであってもＡＲオブジェクトＡに対して画像処理（３次元ＡＲオブジェクトＡとＨＭＤ１００との位置関係に応じた画像処理（例えば、対応するヨー角、ピッチ角に応じた角度から見えるようにする画像処理））を施さなくてもよい。ＨＭＤ１００の能力は、表示制御部３１４によって３次元ＡＲオブジェクトＡの描画処理を行う能力であってもよい。３次元ＡＲオブジェクトＡの描画処理を行う能力は、演算装置の能力であってもよいし、演算装置の能力から３次元ＡＲオブジェクトＡの描画処理以外の動作によって使用されている能力が除外された能力であってもよい。

　一方、表示制御部３１４は、ＡＲオブジェクトＡが２次元画像である場合、画像処理が施されないＡＲオブジェクトＡを視野に表示させるのがよい。そうすれば、ＡＲオブジェクトＡが平面上に拡がっていることをユーザに把握させることが可能となる。図３６に示した例では、画像処理が施されないＡＲオブジェクトＡが視野Ｖ１９－２に表示されている。

　また、図３７は、ＡＲオブジェクトが３次元オブジェクトである場合における詳細な表示例を示す図である。図３７には、正面から見たＡＲオブジェクトＢ２０－１が視野Ｖ２０－１に表示されている。また、斜め上から見たＡＲオブジェクトＢ２０－２が視野Ｖ２０－１に表示されている。この例のように、表示制御部３１４は、ＡＲオブジェクトが３次元オブジェクトである場合、異なる角度から見たようにＡＲオブジェクトに対する画像処理を施し、画像処理が施されたＡＲオブジェクトを表示させてもよい。

　また、図３８は、ＡＲオブジェクトが２次元画像である場合における詳細な表示例を示す図である。図３８には、正面から見たＡＲオブジェクトＢ２１－１が視野Ｖ２１に表示されている。また、斜め上から見たＡＲオブジェクトＢ２１－２が視野Ｖ２１に表示されている。この例のように、表示制御部３１４は、ＡＲオブジェクトが２次元画像である場合、ＡＲオブジェクトに対する画像処理を施さずに、画像処理が施されないＡＲオブジェクトを表示させてもよい。

　例えば、表示制御部３１４は、アプリケーションの開発者によってＡＲオブジェクトに関連付けられた情報に基づいて、ＡＲオブジェクトが３次元オブジェクトであるか、２次元画像であるかを判定してよい。例えば、立体的なＡＲオブジェクトに対しては、３次元オブジェクトであることを示す情報がアプリケーションの開発者によって関連付けられてよい。また、例えば、所定の情報（例えば、文字情報、アイコンなど）を含むＡＲオブジェクトに対しては、２次元画像であることを示す情報がアプリケーションの開発者によって関連付けられてよい。

　（３次元オブジェクトの更新）
　以上に説明したように、ＨＭＤ１００との位置関係が変化した３次元オブジェクトは、更新される必要がある点において、２次元画像と異なっている。例えば、ＨＭＤ１００と３次元オブジェクトの位置関係が変化する場合としては、３次元オブジェクトが動く場合とユーザが動く場合とが想定される。以下では、続いて、ＡＲオブジェクトが３次元オブジェクトである場合におけるＡＲオブジェクトの更新動作（以下、単に「ＡＲオブジェクトの更新動作」とも言う。）の例について説明する。

　なお、以下では、かかるＡＲオブジェクトの更新動作は、ＡＲオブジェクトの描画動作とは別に行われる場合を想定する。図３９は、ＡＲオブジェクトの更新動作の例を示すフローチャートである。一方、図４０は、ＡＲオブジェクトの描画動作の基本的な例を示すフローチャートである。

　ＡＲオブジェクトの更新動作がなされる周期は限定されないが、例えば、ＡＲオブジェクトの更新動作は、１／３０秒に１回行われてもよい。一方、ＡＲオブジェクトの描画動作がなされる周期も限定されないが、例えば、ＡＲオブジェクトの描画動作は、ＡＲオブジェクトの更新動作と比較して周期が短くてよい。例えば、ＡＲオブジェクトの描画動作は、１／６０秒に１回行われてもよい。

　まず、ＡＲオブジェクトの描画動作の基本的な例について説明する。最初に、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあるか否かを判定する（ステップ９０１）。続いて、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがないと判定した場合には（ステップ９０１で「Ｎｏ」）、描画動作を終了する。一方、表示制御部３１４は、未描画で視野に入るＡＲオブジェクトがあると判定した場合には（ステップ９０１で「Ｙｅｓ」）、ＡＲオブジェクト描画処理を行い（ステップ９０２）、Ｓ９０１に戻る。

　続いて、ＡＲオブジェクトの更新動作の例について説明する。最初に、表示制御部３１４は、ＨＭＤ１００との位置関係が変化したＡＲオブジェクトがあるか否かを判定する（ステップ８０１）。表示制御部３１４は、ＨＭＤ１００との位置関係が変化したＡＲオブジェクトがないと判定した場合には（ステップ８０１で「Ｎｏ」）、次のＡＲオブジェクトの更新処理に動作を移行させる。

　一方、表示制御部３１４は、ＨＭＤ１００との位置関係が変化したＡＲオブジェクトがあると判定した場合には（ステップ８０１で「Ｙｅｓ」）、ＨＭＤとの位置関係が変化したＡＲオブジェクトの円筒座標ＣＯ上におけるＡＲオブジェクトの座標位置を更新する（ステップ８０２）。

　続いて、表示制御部３１４は、円筒座標ＣＯ上におけるＡＲオブジェクトの座標位置を更新したＡＲオブジェクトの中に３次元オブジェクトがあるか否かを判定する（ステップ８０３）。表示制御部３１４は、円筒座標ＣＯ上における座標位置を更新したＡＲオブジェクトの中に３次元オブジェクトがないと判定した場合には（ステップ８０３で「Ｎｏ」）、次のＡＲオブジェクトの更新処理に動作を移行させる。

　一方、表示制御部３１４は、円筒座標ＣＯ上における座標位置を更新したＡＲオブジェクトの中に３次元オブジェクトがあると判定した場合には（ステップ８０３で「Ｙｅｓ」）、該当するＡＲオブジェクトを３Ｄレンダリングしなおしたもので上書きして（ステップ８０４）、次のＡＲオブジェクトの更新処理に動作を移行させる。

　（ＡＲオブジェクトと非ＡＲオブジェクトとの混在）
　以上においては、ヨー角およびピッチ角の少なくともいずれか一方に応じたオブジェクトであるＡＲオブジェクトをユーザの視野に提供する例を主に説明した。一方、ヨー角にもピッチ角にも応じないオブジェクト（以下、「非ＡＲオブジェクト」とも言う。）もユーザの視野に提供され得る。以下では、ＡＲオブジェクトと非ＡＲオブジェクトとの双方をユーザの視野に提供する例を説明する。

　図４１は、ＡＲオブジェクトと非ＡＲオブジェクトとの双方をユーザの視野に提供する例を示す図である。図４１に示すように、例えば、表示制御部３１４は、ヨー角およびピッチ角に応じたＡＲオブジェクトＢ２２を視野Ｖ２２に表示させてよい。また、例えば、表示制御部３１４は、ヨー角およびピッチ角のいずれにも応じない非ＡＲオブジェクトＧ２２を視野Ｖ２２に表示させてよい。

　なお、ＡＲオブジェクトＢ２２は、ユーザから見た目的地の方向を示しており、ヨー角およびピッチ角のいずれかが変化すれば、その変化に応じてユーザの視野Ｖ２２におけるＡＲオブジェクトＢ２２の位置も変化し得る。一方、非ＡＲオブジェクトＧ２２は、目的地までの距離を示しており、ヨー角およびピッチ角が変化しても、ユーザの視野Ｖ２２における非ＡＲオブジェクトＧ２２の位置は固定され得る。

　図４２は、ＡＲオブジェクトと非ＡＲオブジェクトとの双方をユーザの視野に提供する他の例を示す図である。図４２に示すように、例えば、表示制御部３１４は、ヨー角およびピッチ角に応じたＡＲオブジェクトＡ～Ｆを視野Ｖ２３に表示させてよい。また、例えば、表示制御部３１４は、ヨー角およびピッチ角のいずれにも応じない非ＡＲオブジェクトＧ２３を視野Ｖ２３に表示させてよい。

　なお、ＡＲオブジェクトＡ～Ｆは、メニュー画面に含まれており、ヨー角およびピッチ角のいずれかが変化すれば、その変化に応じてユーザの視野Ｖ２３におけるＡＲオブジェクトＡ～Ｆの位置も変化し得る。一方、非ＡＲオブジェクトＧ２３は、選択ターゲット位置（所定の選択操作がなされると選択ターゲット位置にあるＡＲオブジェクトが選択される）を示しており、ヨー角およびピッチ角が変化しても、ユーザの視野Ｖ２３における非ＡＲオブジェクトＧ２３の位置は固定され得る。

　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

　例えば以上の実施形態では、ＨＭＤに本技術を適用した例を説明したが、ＨＭＤ以外の画像表示装置として、例えば、車両の運転席や航空機等のコックピットに搭載されるヘッドアップディスプレイ（ＨＵＤ）にも本技術は適用可能である。あるいは、コンタクトレンズ型表示装置にも本技術は適用可能であり、片目仕様のアイウェアにも本技術は適用可能であり、スマートフォンなどの端末にも本技術は適用可能である。

　また以上の実施形態では、シースルー型（透過型）のＨＭＤへの適用例を説明したが、非透過型のＨＭＤにも本技術は適用可能である。この場合、表示部に装着したカメラで撮像された外界視野に、本技術に係る所定のオブジェクトを表示すればよい。

　さらに以上の実施形態では、ＨＭＤ１００は、実空間に存在する所定の対象物に関連する情報を含むオブジェクトを視野Ｖに表示するように構成されたが、これに限られず、ユーザＵの現在位置や進行方向に基づいて行先案内表示等が視野Ｖに表示されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）
　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御装置。
（２）
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記ロール角に依存させる第２のモードとして動作可能である、
　前記（１）に記載の表示制御装置。
（３）
　前記表示制御部は、前記第１のモードおよび前記第２のモードのいずれか一方を動作モードとして選択する、
　前記（２）に記載の表示制御装置。
（４）
　前記表示制御部は、ユーザによる操作に基づいて、前記第１のモードおよび前記第２のモードのいずれか一方を前記動作モードとして選択する、
　前記（３）に記載の表示制御装置。
（５）
　前記表示制御部は、前記オブジェクトがユーザによる操作を受け付け可能である場合、前記第１のモードを前記動作モードとして選択する、
　前記（３）に記載の表示制御装置。
（６）
　前記表示制御部は、前記オブジェクトが３次元オブジェクトである場合、前記第２のモードを前記動作モードとして選択する、
　前記（３）に記載の表示制御装置。
（７）
　前記表示制御部は、前記表示制御装置の能力に基づいて、前記第１のモードおよび前記第２のモードのいずれか一方を前記動作モードとして選択する、
　前記（３）に記載の表示制御装置。
（８）
　前記表示制御部は、前記第１のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させない、
　前記（１）～（７）のいずれか一項に記載の表示制御装置。
（９）
　前記表示制御部は、前記第１のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させる、
　前記（１）～（８）のいずれか一項に記載の表示制御装置。
（１０）
　前記表示制御部は、前記第２のモードとして動作しているとき、前記視野における前記オブジェクトを前記ロール角とは逆向きに前記ロール角と同じ大きさだけ回転させる、
　前記（２）～（９）のいずれか一項に記載の表示制御装置。
（１１）
　前記表示制御部は、前記第２のモードとして動作しているとき、前記ロール角が所定の角度を超えた場合、前記視野における前記オブジェクトの位置を前記ロール角とは逆向きに前記所定の角度と同じ大きさだけ回転させる、
　前記（１０）に記載の表示制御装置。
（１２）
　前記表示制御部は、前記第２のモードとして動作しているとき、前記ロール角が所定の角度を超えた場合、前記視野における前記オブジェクトの位置を、前記ロール角とは逆向きに前記ロール角と同じ大きさだけ回転させた位置から、前記ロール角とは逆向きに前記所定の角度と同じ大きさだけ回転させた位置へ、徐々に移動させる、
　前記（１１）に記載の表示制御装置。
（１３）
　前記表示制御部は、前記ロール角の大きさが閾値を超えた時間が所定時間継続した場合、前記所定の角度を更新する、
　前記（１１）または（１２）に記載の表示制御装置。
（１４）
　前記表示制御部は、前記視野の形態が所定の条件を満たす場合、前記所定の角度を更新する、
　前記（１１）または（１２）に記載の表示制御装置。
（１５）
　前記表示制御部は、前記第２のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させる、
　前記（２）～（１４）のいずれか一項に記載の表示制御装置。
（１６）
　前記表示制御部は、少なくとも前記ピッチ角に対応する前記オブジェクトを前記視野に表示させ、
　前記オブジェクトに対応する前記ピッチ角は、所定の範囲内に制限される、
　前記（１）～（１５）のいずれか一項に記載の表示制御装置。
（１７）
　前記表示制御部は、前記オブジェクトが３次元オブジェクトである場合、画像処理が施されたオブジェクトを前記視野に表示させる、
　前記（１）～（１６）のいずれか一項に記載の表示制御装置。
（１８）
　前記表示制御部は、前記オブジェクトが２次元画像である場合、画像処理が施されないオブジェクトを前記視野に表示させる、
　前記（１）～（１７）のいずれか一項に記載の表示制御装置。
（１９）
　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させることを備え、
　前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御方法。
（２０）
　コンピュータを、
　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御装置として機能させるためのプログラム。

１０…表示部
１１Ｒ，１１Ｌ…表示面
１２Ｒ，１２Ｌ…画像生成部
２０…検出部
３０…制御ユニット
１００…ヘッドマウントディスプレイ（ＨＭＤ）
２００…携帯情報端末
３１１…座標設定部
３１２…画像管理部
３１３…座標判定部
３１４…表示制御部
Ａ１～Ａ４…対象物
Ｂ、Ｂ１～Ｂ４…オブジェクト
Ｃ０，Ｃ１…円筒座標（ワールド座標）
Ｖ…視野
Ｕ…ユーザ

Claims

　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御装置。
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記ロール角に依存させる第２のモードとして動作可能である、
　請求項１に記載の表示制御装置。
　前記表示制御部は、前記第１のモードおよび前記第２のモードのいずれか一方を動作モードとして選択する、
　請求項２に記載の表示制御装置。
　前記表示制御部は、ユーザによる操作に基づいて、前記第１のモードおよび前記第２のモードのいずれか一方を前記動作モードとして選択する、
　請求項３に記載の表示制御装置。
　前記表示制御部は、前記オブジェクトがユーザによる操作を受け付け可能である場合、前記第１のモードを前記動作モードとして選択する、
　請求項３に記載の表示制御装置。
　前記表示制御部は、前記オブジェクトが３次元オブジェクトである場合、前記第２のモードを前記動作モードとして選択する、
　請求項３に記載の表示制御装置。
　前記表示制御部は、前記表示制御装置の能力に基づいて、前記第１のモードおよび前記第２のモードのいずれか一方を前記動作モードとして選択する、
　請求項３に記載の表示制御装置。
　前記表示制御部は、前記第１のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させない、
　請求項１に記載の表示制御装置。
　前記表示制御部は、前記第１のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させる、
　請求項１に記載の表示制御装置。
　前記表示制御部は、前記第２のモードとして動作しているとき、前記視野における前記オブジェクトを前記ロール角とは逆向きに前記ロール角と同じ大きさだけ回転させる、
　請求項２に記載の表示制御装置。
　前記表示制御部は、前記第２のモードとして動作しているとき、前記ロール角が所定の角度を超えた場合、前記視野における前記オブジェクトの位置を前記ロール角とは逆向きに前記所定の角度と同じ大きさだけ回転させる、
　請求項１０に記載の表示制御装置。
　前記表示制御部は、前記第２のモードとして動作しているとき、前記ロール角が所定の角度を超えた場合、前記視野における前記オブジェクトの位置を、前記ロール角とは逆向きに前記ロール角と同じ大きさだけ回転させた位置から、前記ロール角とは逆向きに前記所定の角度と同じ大きさだけ回転させた位置へ、徐々に移動させる、
　請求項１１に記載の表示制御装置。
　前記表示制御部は、前記ロール角の大きさが閾値を超えた時間が所定時間継続した場合、前記所定の角度を更新する、
　請求項１１に記載の表示制御装置。
　前記表示制御部は、前記視野の形態が所定の条件を満たす場合、前記所定の角度を更新する、
　請求項１１に記載の表示制御装置。
　前記表示制御部は、前記第２のモードとして動作しているとき、前記視野における前記オブジェクトの向きを前記ロール角に依存させる、
　請求項２に記載の表示制御装置。
　前記表示制御部は、少なくとも前記ピッチ角に対応する前記オブジェクトを前記視野に表示させ、
　前記オブジェクトに対応する前記ピッチ角は、所定の範囲内に制限される、
　請求項１に記載の表示制御装置。
　前記表示制御部は、前記オブジェクトが３次元オブジェクトである場合、画像処理が施されたオブジェクトを前記視野に表示させる、
　請求項１に記載の表示制御装置。
　前記表示制御部は、前記オブジェクトが２次元画像である場合、画像処理が施されないオブジェクトを前記視野に表示させる、
　請求項１に記載の表示制御装置。
　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させることを備え、
　前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御方法。
　コンピュータを、
　表示部のヨー角およびピッチ角のうち少なくともいずれか一方に応じたオブジェクトをユーザの視野に表示させる表示制御部を備え、
　前記表示制御部は、前記視野における前記オブジェクトの位置を前記表示部のロール角に依存させない第１のモードとして動作可能である、
　表示制御装置として機能させるためのプログラム。