JP2024009171A - ヘッドマウントディスプレイ装置 - Google Patents

Abstract

【課題】現実空間に対し仮想物体を配置する際に、利用者の手間が少なく、使い勝手が良好で、好適に配置することができる技術を提供する。【解決手段】実施の形態のヘッドマウントディスプレイ装置（ＨＭＤ装置）は、利用者の操作に基づいて空間内に仮想物体を配置および表示する機能を持つ。ＨＭＤ装置は、表示面に、仮想物体の操作をサポートするための複数の点を含む格子を表示し、対象仮想物体の指定と配置先の第１点の指定とを含む操作に応じて、対象仮想物体を第１点の位置に配置し表示する。【選択図】図１１

Description

本発明は、ヘッドマウントディスプレイ装置（ＨＭＤ：Head Mounted Display、頭部装着型表示装置）等の表示装置の技術に関する。また、本発明は、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）等に関して現実空間の光景に仮想物体を配置する技術に関する。

スマートグラス等を含むＨＭＤ等の表示装置の性能向上が進んでいる。ＨＭＤは、利用者の視点から見た現実空間の光景において実物（対応する実像）に対し仮想物体（仮想画像と記載する場合がある）を重畳するように配置し表示することができる。画像は、静止画や動画を含む。

上記表示装置に係わる先行技術例として、特開２０１８－４９６２９号公報（特許文献１）が挙げられる。特許文献１には、仮想空間において入力を支援するための方法等として、オブジェクトの配置を容易にする旨や以下の旨が記載されている。この方法は、ＨＭＤのモニタに仮想空間を表示し、仮想空間に、配置対象となるオブジェクト、およびガイドオブジェクト（例えばグリッド）を配置し、手オブジェクトの動きに連動させてガイドオブジェクトを前後に移動し、指示された場所にオブジェクトを配置する。

特開２０１８－４９６２９号公報

近年のＨＭＤは、仮想物体を配置および表示できる空間が拡大している。そのため、ＨＭＤには、仮想物体の配置に係わる利用者の操作に関してサポートする機能が実装されることが望ましい。従来のＨＭＤは、空間内に仮想物体を配置する際に、利用者の操作の手間が大きい場合や操作がしにくい場合があり、使い勝手の点およびサポートの点で改善余地があった。特に、従来のＨＭＤは、利用者の視点から見た表示面内において、多数の仮想物体を配置したい場合、手間が大きく、時間がかかり、配置数に制限があり、多数を配置できたとしても見にくくなり作業等がしにくい。

なお、特許文献１の方法は、仮想空間にガイドオブジェクトとして格子線を表示し、利用者が仮想物体を配置する目安として用いる。この方法は、手オブジェクト（手を模した移動操作用の仮想物体）を用いて仮想物体を移動させることで、格子線に対する仮想物体の配置を実現している。この方法は、例えばゲーム内で箱を積み上げる際のガイドとして用いられている。

本発明は、ＨＭＤ等の表示装置の技術に関して、現実空間に対し仮想物体を配置する際に、利用者の手間が少なく、使い勝手が良好で、好適に配置することができる技術を提供する。上記以外の課題や効果等については、発明を実施するための形態で説明される。

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態のヘッドマウントディスプレイ装置は、利用者の操作に基づいて空間内に仮想物体を配置および表示するヘッドマウントディスプレイ装置であって、表示面に、前記仮想物体の操作をサポートするための複数の点を含む格子を表示し、対象仮想物体の指定と配置先の第１点の指定とを含む操作に応じて、前記対象仮想物体を前記第１点の位置に配置し表示する。

本発明のうち代表的な実施の形態によれば、ＨＭＤ等の表示装置の技術に関して、現実空間に対し仮想物体を配置する際に、利用者の手間が少なく、使い勝手が良好で、好適に配置することができる。

本発明の実施の形態１のＨＭＤ装置を含む表示システムの構成を示す図である。 実施の形態１のＨＭＤ装置の外観の構成例を示す図である。 実施の形態１のＨＭＤ装置の機能ブロック構成を示す図である。 実施の形態１で、表示面における実物や仮想物体の表示例を示す図である。 実施の形態１で、ＯＳ、アプリケーション等の構成例を示す図である。 実施の形態１で、ＨＭＤ装置の基本機能を構成する処理部やデータの構成を示す図である。 実施の形態１で、座標系情報の構成例を示す図である。 実施の形態１で、格子データの構成例を示す図である。 実施の形態１で、仮想画像データの構成例を示す図である。 実施の形態１で、ＨＭＤ装置の処理フローを示す図である。 実施の形態１で、表示面での現実空間に対する仮想物体の配置および移動の操作に関わる基本方式についての説明図である。 実施の形態１で、各種の操作方式における入力操作例を示す図である。 実施の形態１で、表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例を示す図である。 実施の形態１で、他の表示制御例として、表示面内に表示されていない仮想物体を配置する制御を行う場合を示す図である。 実施の形態１で、世界座標系についての説明図である。 実施の形態１で、局所座標系についての説明図である。 実施の形態１で、慣性座標系についての説明図である。 実施の形態１で、慣性座標系に格子を配置する場合の構成例等を示す図である。 実施の形態１で、慣性座標系における格子の他の構成例を示す図である。 実施の形態１で、慣性座標系における格子の他の構成例を示す図である。 実施の形態１で、慣性座標系の格子を用いて複数の仮想物体を扱う例を示す図である。 実施の形態１で、格子として３次元格子の構成例を示す図である。 実施の形態１で、３次元格子に対する複数の仮想物体の配置例を示す図である。 実施の形態１で、変形例における格子等の表示例を示す図である。 実施の形態１で、３次元格子の点のＩＤに関する表示例を示す図である。 実施の形態１で、３次元格子の他の表示例を示す図である。 実施の形態１で、３次元格子の他の表示制御例を示す図である。 実施の形態１で、３次元格子の他の表示制御例を示す図である。 実施の形態１で、３次元格子の他の表示制御例を示す図である。 実施の形態１で、３次元格子の他の表示制御例を示す図である。 実施の形態１で、３次元格子の他の構成例を示す図である。 実施の形態１で、３次元格子の他の表示制御例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

［課題等］
従来技術例のＨＭＤの課題等について補足する。実施の形態に対する比較例のＨＭＤは、表示面に見える現実空間の光景において、利用者の操作に基づいて、仮想物体を所定の位置に配置し、また、仮想物体をある位置から別の位置へ移動させる。その際の操作方式としては、公知技術として、ジェスチャ方式、操作器を用いる方式、音声認識方式、等がある。ジェスチャ方式は、空間内での手指の動きをカメラ画像等に基づいてジェスチャとして検出し、ジェスチャをコマンドに対応付ける方式である。操作器を用いる方式は、ＨＭＤの操作器（いわゆるリモコン）によるビームやボタンの操作をコマンドに対応付ける方式である。音声認識方式は、利用者の音声を検出しコマンドに対応付ける方式である。

いずれかの操作方式を用いて空間に仮想物体を配置または移動する場合に、利用者の詳しい操作内容としては、例えば、以下のような一連の動作が必要である。すなわち、利用者は、対象仮想物体を選択し、その対象仮想物体を、ドラッグ等の操作によって、配置先または移動先の位置へ移動させ、その位置で配置または移動を確定させるといった動作が必要である。

利用者は、多数の仮想物体を扱いたい場合、仮想物体毎にこのような操作を繰り返す必要がある。このような操作は、手間が大きく、時間がかかり、使い勝手が良くない場合がある。また、このような操作では、仮想物体の配置位置が操作終了時点で決まるので、利用者が仮想物体を空間内の所望の位置に正確にまたは迅速に配置することが難しい場合もある。また、特に、空間内でＨＭＤおよび利用者の視点に対する前方（言い換えると奥行き方向）において仮想物体を配置または移動する場合、対象位置までの距離が遠い等の理由から、このような操作がしにくい場合や操作ができない場合もある。

また、比較例のＨＭＤは、空間に対する仮想物体の配置の位置を管理するための座標系として、公知の世界座標系（World coordinate system）や局所座標系（Local coordinate system）を用いている。世界座標系は、現実空間に固定される座標系である。世界座標系の空間は広くとれるので、仮想物体の配置数を多くできる。局所座標系は、ＨＭＤおよび利用者の視点から見て表示面に固定される座標系である。局所座標系に配置される仮想物体は、表示面との位置関係が固定される。すなわち、その仮想物体は、表示面内で所定の位置に固定される。表示面の局所座標系に仮想物体が配置された場合、利用者が移動した場合や頭の向きを変えた場合でも、表示面内での仮想物体の位置が維持される。

しかしながら、比較例のＨＭＤは、それらの２種類の座標系のみでは、多数の仮想物体の配置が難しく、利用者の作業がしにくい場合がある。世界座標系に配置される仮想物体は、利用者がいる空間内の場所の位置に固定される。利用者がその場所から離れた場合、利用者からその仮想物体が見えなくなる、または見にくくなる。局所座標系に配置される仮想物体は、表示面または視野範囲の領域の大きさが限られているので、仮想物体の配置数に限界がある。表示面内に多数の仮想物体を配置できたとしても、利用者から実物および仮想物体の両方が見にくくなり、言い換えると視認性が低下し、利用者は作業がしにくい。例えば、表示面内に利用者が作業のために頻繁に参照したい仮想物体を適宜に切り替えて配置したい場合、操作の手間が大きい。

本発明は、上記課題等を考慮し、ＨＭＤの仮想物体の配置および表示に係わる利用者の操作に関する新たな方式を提案し、これにより、操作性、使い勝手を向上し、仮想物体を用いる作業の容易性や効率等を向上する。

（実施の形態１）
図１～図３９を用いて、本発明の実施の形態１のＨＭＤ装置について説明する。実施の形態１のＨＭＤ装置は、利用者による仮想物体の配置や移動の操作に関して、サポートのための新たな方式、およびグラフィカル・ユーザ・インタフェース（ＧＵＩ）を含むマン・マシン・インタフェース等を提供する。このＨＭＤ装置は、座標系を用いて管理される現実空間（対応する仮想空間）内において、仮想物体の配置基準として利用できる複数の点を含む格子を設定する。この点は、基準点または格子点等と言い換えることができる。利用者は、所定の操作に応じて、この点に仮想物体を配置できる。利用者は、所定の操作として、配置または移動したい対象仮想物体を指定し、配置先または移動先の位置に対応する点（第１点）を指定する。ＨＭＤ装置は、この操作に従い、空間内で対象仮想物体を格子の第１点の位置に配置または移動させ、表示面内に表示する。この基本操作によって、１個の仮想物体の配置または移動を、少ない手間で実現する。また、後述の仕組みによって、複数の仮想物体の配置または移動についても少ない手間で実現する。

［表示システム］
図１は、実施の形態１のＨＭＤ装置を含む表示システムの構成を示す。この表示システムは、実施の形態１のＨＭＤ装置であるＨＭＤ１と、ＨＭＤ１に対し通信で接続されるサーバ３やＰＣ４等とを有する。ＨＭＤ１は、操作器２を含む。利用者は、ＨＭＤ１を頭部に装着して使用する。操作器２は、本体と通信するリモコンであり、利用者が手指で操作でき、入力手段の１つである。利用者の眼前の視界には、表示面５を通じて、現実空間の実物を含む光景に対し、仮想物体（対応する仮想画像）が重畳表示される。ＨＭＤ１は、例えば事業者のサーバ３や、利用者の自宅のＰＣ４等の装置と通信で連携できる。サーバ３やＰＣ４は、例えば各種のアプリケーションプログラムや仮想物体のデータをＨＭＤ１に提供してもよいし、ＨＭＤ１のデータを保存してもよい。また、ＨＭＤ１とサーバ３との連携の方式（クライアントサーバ方式等）で後述の機能を実現してもよい。

ＨＭＤ１は、操作器２と例えば近距離無線通信で通信して信号を送受信する。なお、操作器２を用いない形態も可能である。操作器２は、ボタンやセンサを備える。例えば、利用者は、操作器２を動かし、操作器２からのビームによって仮想物体等を指し示し、操作器２のボタンを押す。ＨＭＤ１は、操作器２からの信号に応じて、利用者の動作を認識し、所定のコマンド、例えば仮想物体の選択や実行として解釈する。他の入力手段として、キーボードやマウス等を利用してもよい。

［ＨＭＤ］
図２は、ＨＭＤ１の外観の構成例を示す。（Ａ）は、ＨＭＤ１を装着した利用者の側面から見た図を示し、（Ｂ）は、ＨＭＤ１の正面から見た図を示す。（Ａ）で、ＨＭＤ１は、利用者の頭部に装着される筐体１０と、筐体１０に接続されている表示デバイス５０とを有する。筐体１０には、基板等が内蔵され、マイク８１やスピーカ８２等が設けられている。表示デバイス５０は、利用者の両眼の前方に配置されている。表示デバイス５０は、表示面５、カメラ６、カバーレンズ７等を含む。表示面５は、例えば透過型表示デバイスであり、両眼に近接して配置される２枚のレンズを含む。カバーレンズ７は、表示面５よりも前方に配置され、例えば透過型の１枚のレンズを含む。カメラ６は、複数のカメラを含む。表示デバイス５０は、投射型表示デバイス等を適用でき、特に限定しない。

ＨＭＤ１の表示面５を含む表示方式は、透過型とするが、非透過型（ＶＲタイプ）にも同様に適用できる。透過型の場合、実像に対する仮想物体の重畳表示が可能である。ＶＲタイプの場合、カメラで撮影した画像等に対する仮想物体の合成表示が可能である。なお、ＶＲタイプの場合、公知技術に基づいて、視界にＶＲ空間を表示でき、例えば、利用者は、自分の身体を移動させずに、操作器２の操作によって、ＶＲ空間内を移動するような体感ができる。利用者は、操作によってＶＲ空間内に仮想物体を配置できる。ＶＲ空間は、例えば３次元ＣＡＤによって作成されたビデオゲーム空間等である。透過型の場合、現実空間内に世界座標系が設定される。ＶＲタイプの場合、ＶＲ空間内に世界座標系が設定される。

ＨＭＤ１は、筐体１０または表示デバイス５０に、制御ユニットを内蔵している。制御ユニットは、プロセッサ、メモリ、ＯＳ、アプリケーションプログラム、通信インタフェース等を含む。制御ユニットは、音声認識機能等を含む。ＨＭＤ１は、音声認識機能を用いて、利用者の音声を認識し、その音声をコマンド等に対応付ける。ＨＭＤ１は、各種のセンサも内蔵している。筐体１０には、他に、操作ボタン、コネクタ、バッテリ等を備える。通信インタフェースは、無線ＬＡＮ、モバイル網の通信規格、ＵＳＢ、Bluetooth（登録商標）、赤外線通信方式（例えばＩｒＤＡ）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（登録商標）、ＲＦＩＤ方式、等が挙げられる。

（Ｂ）で、ＨＭＤ１は、筐体１０の左右を含む位置に複数のマイク８１および複数のスピーカ８２を備える。ＨＭＤ１は、カバーレンズ７に対し複数の位置に複数のカメラ６を備える。複数のカメラ６は、視界の光景を撮像するＲＧＢカメラ、ジェスチャを検出するためのカメラ、測距センサを構成するためのカメラ、視線検出センサを構成するためのカメラ等を含む。ＨＭＤ１は、複数のカメラ６によって撮影した画像およびセンサの検出情報を用いて、各種の検出や制御を行う。本例のＨＭＤ１は、表示面５を通じて利用者の視点から前方に例えば０．５ｍ～５ｍの距離範囲内の位置に、仮想物体の形成が可能である。

［ＨＭＤ－機能ブロック］
図３は、ＨＭＤ１の機能ブロック構成例を示す。ＨＭＤ１は、プロセッサ１０１、メモリ１０２、表示デバイス５０、カメラ６、センサ７０、通信デバイス８０、マイク８１、スピーカ８２、操作ボタン８３、バッテリ８４等を備え、これらはバス等を通じて相互に接続されている。プロセッサ１０１は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等を含み、ＨＭＤ１のコントローラを構成し、ＯＳやアプリケーションの処理を実行する。プロセッサ１０１は、プログラムに従った処理を実行することで、各機能を実現する。プロセッサ１０１は、ハードウェアおよびソフトウェアプログラム処理に基づいて構成される処理部として、設定部１１、状態認識部１２、座標計算部１３、格子制御部１４、指示認識部１５、表示制御部１６、アプリケーション制御部１７等を有する。

メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１が扱う各種のデータや情報を記憶する。メモリ１０２には、例えば、制御プログラム２１、アプリケーションプログラム２２、設定情報３０、座標系情報３１、仮想画像データ３２、格子データ３３等が記憶される。メモリ１０２には、カメラ６で撮影した画像のデータや、センサ７０の検出情報等も記憶される。制御プログラム２１は、実施の形態１のＨＭＤ１の後述の基本機能を実現するプログラムである。アプリケーションプログラム２２は、仮想物体の生成に係わる公知のプログラムを含み、一例としては３次元ＣＡＤプログラムを含む。

表示デバイス５０は、図２の表示面５を含み、プロセッサ１０１からの制御に従って、表示面５に仮想物体に対応する仮想画像を表示する駆動を行う。カメラ６は、複数のカメラを含み、各カメラは、レンズを通じた入射光を撮像素子で撮像し画像として取得する。センサ７０は、各種のセンサを含み、ＧＰＳ受信器、地磁気センサ、慣性センサ（ジャイロセンサおよび加速度センサ）等を含む。センサ７０は、利用者およびＨＭＤ１の姿勢の状態を検出する姿勢検出センサを含む。ＧＰＳ受信器は、測位によって位置情報を得る。地磁気センサは、方位を検出し、３軸タイプを用いる場合には頭の動きを検出できる。慣性センサは、ＨＭＤ１の方向、運動および慣性の状態に対応する、角度、角速度、および加速度を検出する。加速度センサは、３軸の加速度を検出し、ＨＭＤ１の位置の変化と重力加速度の向きとから垂直方向を捉えることができる。ジャイロセンサは、ＨＭＤ１の３軸の回転方向の角速度を検出する。ジャイロセンサは、角速度から、ＨＭＤ１の姿勢（例えば世界座標系の方向に対する局所座標系の方向）を表す角度を検出する。この角度は、公知のオイラー角（ピッチ角、ヨー角、およびロール角）、あるいは正規化四元数で表すことができる。

なお、四元数（quaternion）は、複素数を拡張した数体系である。四元数を用いる場合、３次元空間のベクトルの回転（対応する座標系間の変換）を少ない計算量で扱うことができる。四元数は、４次元のベクトルで表される。各ベクトル成分には、回転軸および回転角を用いた所定の計算結果が格納される。四元数をｑとすると、ｑ＝ｗ＋ｘｉ＋ｙｊ＋ｚｋで表される。（ｗ，ｘ，ｙ，ｚ）は実数である。（ｉ，ｊ，ｋ）は、ｉ^２＝ｊ^２＝ｋ^２＝－１、ｉｊ＝－ｉｊ＝ｋ、ｊｋ＝－ｋｊ＝ｉ、ｋｉ＝－ｉｋ＝ｊを満たす。四元数同士の積は四元数となる。オイラー角を用いた回転行列の積の演算は、四元数の積を用いた演算で表すことができる。

ＨＭＤ１は、カメラ６およびセンサ７０を用いて、利用者の位置、利用者の基準方向、頭の動きや方向、視線方向、手指の位置やジェスチャ等を検出する。ＨＭＤ１は、カメラ６の画像から、実物の特徴点を検出し、実物の構造を把握してもよい。ＨＭＤ１は、カメラ６およびセンサ７０を用いて構成される測距センサおよび視線検出センサを備える。測距センサは、利用者の視点（対応するＨＭＤ１の位置）から見た対象物の位置までの距離（言い換えると深度）を測定するセンサである。視線検出センサは、利用者の視線方向（対応する表示面内の位置）を測定するセンサである。測距センサや視線検出センサの方式については限定しない。

マイク８１は、複数のマイクを含む音声入力装置である。複数のマイクの複数の入力音声を用いることで、３次元空間での音の指向性の検出が可能である。スピーカ８２は、複数のスピーカを含む音声出力装置である。複数のスピーカの複数の出力音声を用いることで、３次元空間での立体音響の生成が可能である。操作ボタン８３は、電源オン／オフボタン、明るさ調整ボタン、音量調整ボタン等を含む。バッテリ８４は、充電に基づいて各部へ電力を供給する。通信デバイス８０は、各種の通信インタフェースに対応するアンテナやＩＣ等の部分を含み、操作器２との近距離無線通信や、外部の基地局、サーバ３やＰＣ４等との通信を行う。

設定情報３０は、基本機能に係わるシステム設定情報やユーザ設定情報である。座標系情報３１は、後述の３種類の座標系を管理するための情報である。仮想画像データ３２は、表示面５に仮想物体を表示するためのデータである。格子データ３３は、後述の格子を管理するためのデータである。

プロセッサ１０１は、ＯＳやアプリケーションによって生成した仮想物体のデータ、あるいは、サーバ３やＰＣ４等から取得した仮想物体のデータを、仮想画像データ３２に記憶する。ＨＭＤ１は、利用者による操作器２の操作に基づいた入力操作情報を、操作器２から受信し、その入力操作情報を解釈してコマンド等に対応付ける。ＨＭＤ１は、カメラ６の画像およびセンサ７０の検出情報を用いて、利用者の視界の光景、利用者およびＨＭＤ１の姿勢の状態、利用者の視線方向、対象物との距離等を認識する。

［ＨＭＤ－表示面］
図４は、ＨＭＤ１の表示面５における実物や仮想物体の表示例を示す。本例では、表示面５の画像４００において、実物としては、利用者の前方にある作業台４０１やホワイトボード４０２が写っており、作業台４０１上には立方体の実物４０３が置かれている。本例では、表示面５内に、複数の仮想物体が重畳表示されている。仮想物体は、２次元の形状または３次元の形状の物体の画像の他に、ＧＵＩの画像でもよい。仮想物体のＧＵＩの画像例として、システム情報４１１、メニュー欄４１２、アプリウィンドウ４１３、カーソル４１４を有する。システム情報４１１は、時刻、バッテリ状態、通信状態、音量状態、音声認識機能の状態等を表す画像である。メニュー欄４１２（言い換えるとランチャー欄）には、アプリアイコン４１５やコマンドボタン４１６等の画像が表示されている。アプリアイコン４１５は、アプリケーション（アプリケーションプログラム２２）を表すアイコンの画像であり、例えば２次元の矩形形状を持つ。アプリアイコン４１５が利用者によって選択実行された場合、対応するアプリケーションが起動され、例えばアプリウィンドウ４１３が表示される。コマンドボタン４１６は、利用者によって選択実行された場合、対応するコマンドの処理が実行される。メニュー欄４１２等の表示は、利用者の操作やＨＭＤ１の状態に応じてオン／オフができる。メニュー欄４１２には他の項目、例えばＷｅｂブラウザのブックマーク、ファイルのアイコン等が配置されてもよい。メニュー欄４１２に配置される項目は利用者が設定できる。

アプリウィンドウ４１３は、アプリケーション起動状態で表示され、２次元の矩形形状を持つ。アプリウィンドウ４１３の位置やサイズや表示のオン／オフは、利用者が調整できる。アプリウィンドウ４１３内には、対応するアプリケーションプログラム２２によって生成された画像が表示される。カーソル４１４は、利用者の操作、例えば操作器２の操作に応じて動かすことができ、仮想物体の選択操作等が可能である。カーソル４１４は、手指形状のカーソルの例を示すが、これに限らず、点形状、矢印形状、クロス形状等が可能である。

このように、表示面５内には、ＨＭＤ１のＧＵＩを構成する仮想物体等が配置できる。ＨＭＤ１は、後述の局所座標系を用いて、表示面５内の所定の位置に、このようなＧＵＩの仮想物体を配置することができる。表示面５内の所定の領域は、ＧＵＩの配置のための固定的な領域として設定されてもよい。また、ＨＭＤ１は、カメラ６の画像からの実物の認識に基づいて、実物と仮想物体との位置関係を制御する。例えば、ＨＭＤ１は、作業台４０１の面やホワイトボード４０２の面に合わせた位置に仮想物体を配置し表示することができる。また、例えば、ＨＭＤ１は、作業台４０１の下側やホワイトボード４０２の裏側に仮想物体が配置されている場合、表示面５内にはその仮想物体を表示しない。

利用者の作業およびアプリケーションの例としては、空間内で作業台４０１上に実物４０３と並べるようにして３次元ＣＡＤアプリケーションで作成したモデルを仮想物体の画像として表示し、そのモデルの３次元形状等を利用者が各方向から確認する例が挙げられる。他の例としては、ホワイトボード４０２の面に利用者が２次元の仮想画像を貼り付けるように配置する例が挙げられる。ＨＭＤ１は、実物の平面に合わせるようにして後述の格子を設定してもよい。

［ＨＭＤ－ＯＳおよびアプリケーション］
図５は、ＨＭＤ１における、ＯＳやアプリケーション等の構成例を示す。ＨＭＤ１のプロセッサ１０１は、ＯＳ５００内またはＯＳ５００上で、制御プログラム２１の処理を実行する。ＯＳ５００内には、ＡＲ等に対応する仮想物体またはその元となる画像情報（例えばシステム情報４１１）を作成するプログラム５０１を含む。また、ＯＳ５００上で起動および実行される各種のアプリケーションプログラム２２（例えばアプリＡ１～Ａｍ）を有する。アプリケーションプログラム２２の例は、ＡＲアプリ、写真アプリ、Ｗｅｂブラウザ、ＳＮＳアプリ、電話アプリ等が挙げられる。各アプリケーションプログラム２２は、それぞれ、ＡＲ等に対応する仮想物体またはその元となる画像情報を作成し、表示面５に仮想物体の画像５０３を表示する。例えば、アプリＡ１は、仮想物体の画像Ｂ１を作成し、表示面５に表示する。プログラム５０１やアプリケーションプログラム２２は、対応する仮想物体が利用者によって選択された場合には、対応する所定の処理を実行する。

制御プログラム２１は、プログラム５０１やアプリケーションプログラム２２が表示面５に仮想物体の画像５０３を表示する際に、所定の表示制御を行う。制御プログラム２１は、表示面５に、格子Ｋ１を表示する。格子Ｋ１は、複数の格子点である複数の点Ｐ１と、複数の格子線とを含む。制御プログラム２１は、各点Ｐ１にＩＤマークＭ１を表示する。制御プログラム２１は、仮想物体の画像５０３にもＩＤマークを表示してもよい。各格子Ｋ１には、配置される座標系や空間内の領域が対応付けて設定される。制御プログラム２１は、利用者による所定の入力操作として、仮想物体に対する操作を受け付ける。この操作は、仮想物体の選択操作等の他、仮想物体の配置または移動の操作等がある。入力操作の方式は、音声認識、手指によるジェスチャ、操作器２を用いたカーソル等の操作、視線方向を用いた操作、頭（対応するＨＭＤ１）の動きを用いた操作、等が利用できる。

制御プログラム２１は、所定の操作を受けた場合、対象仮想物体を指定の配置先または移動先の点Ｐ１の位置に配置または移動する。所定の操作は、（１）対象仮想物体の指定の操作と、（２）配置先または移動先の位置の点Ｐ１を指定する操作とを含む操作である。対象仮想物体は、配置または移動の際、指定の点Ｐ１が属する格子Ｋ１が配置されている座標系に配置されるように、自動的に設定される。

ＨＭＤ１は、図４のアプリアイコン４１５やアプリウィンドウ４１３等のＧＵＩの仮想画像を表示面５内に配置し表示する。ＨＭＤ１は、利用者がアプリアイコン４１５等によって指定したアプリケーションプログラム２２を起動させる。プロセッサ１０１は、アプリケーションプログラム２２に対応する実行モジュールを動作させる。ＨＭＤ１は、利用者による指定が無い場合には、局所座標系のデフォルト設定位置に、ＧＵＩの画像を配置し表示する。ＨＭＤ１は、利用者による指示操作がある場合には、利用者が指定した位置にＧＵＩの画像を配置し表示する。アプリケーションプログラム２２は、種類として、２次元アプリと３次元アプリがある。２次元アプリの場合、アプリウィンドウ４１３内、または表示面５内のアプリモードにおいて、２次元平面内の位置に仮想物体が配置される。３次元アプリの場合、表示面５内の３次元空間内の位置に仮想物体が配置される。

ＨＭＤ１は、空間内における座標系および格子Ｋ１に対する仮想物体の配置の位置、方向、および表示サイズ等を管理および制御する。ＨＭＤ１は、本体の起動時やアプリケーションの起動時に、座標系および格子Ｋ１の適用を判断し、配置対象仮想物体および配置位置等を判断する。ＨＭＤ１は、利用者の動きや操作に応じて、空間内における座標系、格子Ｋ１、および仮想物体等の状態を更新する。ＨＭＤ１は、本体の起動終了時やアプリケーションの終了時には、それらの状態を情報として保存する。ＨＭＤ１は、本体の再起動時やアプリケーションの再起動時には、保存していた情報に従って、座標系、格子Ｋ１、および仮想物体等の状態を復元する。

［操作方式］
実施の形態１における操作方式の例は以下の通りである。ＨＭＤ１は、少なくとも１つの操作方式を用いる。音声方式の場合、ＨＭＤ１は、マイク８１からの利用者の入力音声から、音声認識機能を用いて、所定の音声を認識し、所定のコマンドに対応付ける。例えば、ＨＭＤ１は、音声として「画像表示オン」が入力された場合、表示面５に仮想物体を表示し、「画像表示オフ」が入力された場合、表示面５の仮想物体を非表示にする。ＨＭＤ１は、例えば「格子オン」が入力された場合、表示面５に格子Ｋ１（ＩＤマークＭ１を含む）を表示し、「格子オフ」が入力された場合、表示面５内の格子Ｋ１を非表示にする。ジェスチャ方式の場合、ＨＭＤ１は、カメラ６の画像から手指のジェスチャを検出し、所定のコマンドに対応付ける。例えば、ＨＭＤ１は、表示面５内の仮想物体の位置に対するタッチまたはタップのジェスチャを検出した場合、その仮想物体の指定として対応付ける。例えば、ＨＭＤ１は、手を開閉するジェスチャを検出した場合には、前の状態に戻る、またはキャンセルを表すコマンドとして対応付ける。

操作器２を用いたカーソル操作の方式の場合、ＨＭＤ１は、操作器２からの信号に基づいて、表示面５内に表示するカーソルを動かし、例えば操作器２のボタンが押された場合、その時のカーソル位置にある仮想物体の指定として対応付ける。視線方向を用いる操作方式の場合、ＨＭＤ１は、例えば、視線検出センサを用いて検出した利用者の視線方向と表示面５との交わりの位置を検出し、その位置にカーソルを表示し、その位置にある仮想物体の指定として対応付ける。頭の動きを用いる操作方式の場合、ＨＭＤ１は、例えば、センサを用いて頭（対応するＨＭＤ１）の正面方向および動きを検出し、その正面方向および動きに応じて、カーソルを表示し、その正面方向にある仮想物体の指定として対応付ける。

［ＨＭＤ－基本機能］
図６は、図３の構成に基づいたＨＭＤ１の基本機能を構成する処理部やデータの構成を示す。基本機能は、格子Ｋ１等を用いて仮想物体の表示制御を行う機能であり、仮想物体の配置や移動を制御する機能を含む。設定部１１は、予め、基本機能等に係わる設定情報３０を設定し保存する。一例として、適用対象のアプリケーション、使用する格子Ｋ１、座標系、空間領域、表示するＩＤマークＭ１の種類等がユーザ設定可能である。状態認識部１２は、カメラ６の画像やセンサ７０の検出情報を用いて、時点毎に、利用者およびＨＭＤ１の姿勢状態を含む状態を認識する。

座標系計算部１３は、カメラ６の画像やセンサ７０の検出情報を用いて、時点毎に、座標系の状態を計算する。座標系は、後述の３種類の座標系を含み、座標系間での配置関係を有する。座標系計算部１３は、座標系情報３１に対し、計算および設定した座標系の情報を読み書きする。座標系情報３１は、各座標系の原点の位置、および正面方向の情報と、座標系間の配置関係の情報とを含む。座標系計算部１３は、座標系に対する格子Ｋ１の配置や仮想物体の配置を計算する。また、座標系計算部１３は、座標系の変更や座標系間での移動等がある場合には、オイラー角または正規化四元数を用いて、座標系間での回転等を計算する。

格子制御部１４は、表示面５および座標系に対する格子Ｋ１の配置を制御する。格子制御部１４は、格子データ３３に対し、格子Ｋ１の構成（点Ｐ１およびＩＤマークＭ１の情報を含む）を含むデータを読み書きする。指示認識部１５は、適用する操作方式に基づいて、カメラ６の画像、センサ７０の検出情報、操作器２からの信号、マイク８１の入力音声等を用いて、利用者による入力操作（対応する指示）を認識する。指示認識部１５は、所定の入力操作を所定のコマンドと対応付けて、コマンドに応じて表示制御部１６等を制御する。表示制御部１６は、指示認識部１５からの制御、格子データ３３や仮想画像データ３２に基づいて、表示面５内に格子Ｋ１や仮想物体を表示し、スピーカ８２から音声（例えば操作に伴う効果音）を出力する。アプリケーション制御部１７は、各アプリケーションプログラム２２の起動や終了を制御し、各アプリケーションプログラム２２が生成する仮想物体のデータ、アプリアイコン４１５やアプリウィンドウ４１３等のデータを、仮想物体データ３２に記憶する。

［座標系情報］
図７は、座標系情報３１の構成例としてのテーブル７０１を示す。テーブル７０１には、３種類の座標系の原点位置および正面方向が情報として管理されている。テーブル７０１は、列として、座標系ＩＤ、原点位置、正面方向を有する。３種類の座標系として、世界座標系ＣＳ１、局所座標系ＣＳ２、慣性座標系ＣＳ３がある。なお、座標系の種類毎にさらに複数の座標系（対応する複数の領域）を設定して使い分けることも可能である。

［格子データ］
図８は、格子データ３３の構成例としてのテーブル８０１を示す。テーブル８０１は、列として、格子ＩＤ、点ＩＤ、配置座標系、配置位置座標、表示フラグ、ＩＤマーク等を有する。格子ＩＤは、格子Ｋ１毎のＩＤである。点ＩＤは、その格子Ｋ１に属する複数の点Ｐ１の点Ｐ１毎のＩＤである。配置座標系は、その格子Ｋ１（対応する点Ｐ１）が配置される座標系を示す。配置位置座標は、その点Ｐ１の配置座標系内での位置座標を示す。表示フラグは、その点Ｐ１（または対応するＩＤマークＭ１）を表示面５内に表示するか非表示にするかの状態を管理するためのフラグである。ＩＤマークは、その点Ｐ１に対応付けられるＩＤマークＭ１のＩＤ値を示す。

［仮想画像データ］
図９は、仮想画像データ３２の構成例としてのテーブル９０１を示す。テーブル９０１は、列として、仮想物体ＩＤ、形状（ファイル）、配置座標系、配置格子、配置点、配置方向、ラベル等を有する。仮想物体ＩＤは、仮想物体（対応する仮想画像）毎のＩＤである。形状（ファイル）は、仮想物体の形状を表す画像ファイル等である。配置座標系は、その仮想物体が配置される座標系を示す。配置格子は、その仮想物体が配置される格子Ｋ１を示す。配置点は、その仮想物体が配置される点Ｐ１を示す。なお、仮想物体の配置位置として配置位置座標を用いてもよい。配置方向は、その仮想物体が点Ｐ１に配置された時の方向を示す。ラベルは、その仮想物体にＩＤマーク（点Ｐ１のＩＤマークＭ１との区別のためにラベルと記載する場合がある）を付与および表示する際のそのラベルのＩＤ値を示す。なお、図示しないが、仮想物体毎に、配置サイズ、表示フラグ等を設けることができる。

［処理フロー］
図１０は、ＨＭＤ１の基本機能の処理フローを示す。図１０は、ステップＳ１～Ｓ１３を有し、以下順に説明する。ステップＳ１で、ＨＭＤ１は、利用者によって主電源がオン状態にされて起動する。これに伴い、ＨＭＤ１は、所定の初期化処理を行う。センサ７０の各センサは、それぞれ計測を開始する。カメラ６の各カメラは、それぞれ撮影を開始する。ステップＳ２で、ＨＭＤ１は、初期化処理に伴い、３種類の座標系の設定（再設定を含む）を行う。利用者は、その際、ＨＭＤ１を静止状態にする。ＨＭＤ１の座標系計算部１３は、３種類の各座標系の原点および正面方向を所定のルールに従って設定する。座標系計算部１３は、過去に設定済みの座標系を維持する場合には、座標系情報３１から設定情報を読み出し、その設定情報に合わせて座標系を再設定する。あるいは、座標系計算部１３は、新規に座標系を設定してもよい。座標系の設定例については後述する。

ステップＳ３で、ＨＭＤ１は、表示面５内に、前述の図４の例のようなＧＵＩの仮想画像を表示する。例えば、ＨＭＤ１は、局所座標系ＣＳ２に合わせて、システム情報４１１やメニュー欄４１２を表示し、メニュー欄４１２にアプリアイコン４１５等を表示する。ステップＳ４で、ＨＭＤ１は、利用者による操作または設定に応じてアプリケーション（アプリケーションプログラム２２）を選択する。利用者は、例えばメニュー欄４１２のアプリアイコン４１５から、起動するアプリケーションを選択操作できる。

ステップＳ５で、ＨＭＤ１は、ステップＳ４で選択されたアプリケーションに係わる仮想物体を表示面５内に表示する。その際、表示制御部１６は、仮想画像データ３２（例えば図９のテーブル９０１）を参照し、表示対象の各仮想物体、形状、配置座標系、配置格子、配置点等を確認する。表示制御部１６は、各仮想物体について、どの座標系のどの格子Ｋ１の領域に配置するかを決める。基本的には、過去に配置済みの仮想物体については、その時の座標系や格子Ｋ１が維持される。ＨＭＤ１は、利用者の入力操作によって配置座標系または格子Ｋ１の指定があった場合には、その指定された座標系または格子Ｋ１に仮想物体を配置してもよい。なお、仮想物体が格子Ｋ１に配置されていない場合もある。表示制御部１６は、各仮想物体について、配置座標系の格子Ｋ１における位置、方向、表示サイズ等を計算する。表示制御部１６は、仮想物体の配置座標系が世界座標系ＣＳ１や慣性座標系ＣＳ３である場合の配置位置や配置方向を、局所座標系ＣＳ２での情報に変換し、表示面５内の対応する位置に表示する。

ステップＳ６で、ＨＭＤ１の表示制御部１６は、表示面５内に、格子Ｋ１の複数の点Ｐ１および点Ｐ１毎のＩＤマークＭ１を表示する。ステップＳ７で、ＨＭＤ１の指示認識部１５は、操作方式に基づいて利用者による入力操作を受け付けて指示として認識する。この指示は、種類としては、例えば作業およびアプリケーションに係わる公知の仮想物体の操作や、仮想物体の配置または移動の操作や、座標系の設定に係わる操作、等がある。公知の仮想物体の操作は、仮想物体を選択し、アプリケーションプログラム２２等によって所定の処理を実行するための操作である。仮想物体の配置または移動の操作は、後述の図１１等に示す特有の操作である。

ステップＳ８で、ＨＭＤ１は、ステップＳ７の入力操作（対応する指示）が、仮想物体の配置または移動の操作（対応するコマンド）であるかを確認し、該当する場合（Ｙ）にはステップＳ９へ進む。ステップＳ９で、ＨＭＤ１は、表示面５内で、指定された対象仮想物体を、指定された配置先または移動先の点Ｐ１の位置に配置または移動するように、表示状態を更新する。この更新は、点Ｐ１のＩＤマークＭ１や仮想物体のラベル等の表示状態の更新を含む。ＨＭＤ１は、仮想物体の配置または移動の際には、その仮想物体が配置される座標系を、配置先の点Ｐ１が属する座標系に合わせるように、適宜に変更する。すなわち、実施の形態１では、座標系間（対応する格子Ｋ１間）での仮想物体の移動が可能である。例えば、対象仮想物体の配置元の座標系が局所座標系ＣＳ２または世界座標系ＣＳ１である場合に、配置先を慣性座標系ＣＳ３の対応する格子Ｋ１の点Ｐ１の位置とすること等が可能である。

ステップＳ１０で、ＨＭＤ１は、ステップＳ７の入力操作として、座標系設定指示が有るかを確認し、有る場合（Ｙ）にはステップＳ１１へ進む。座標系設定指示は、例えば３種類の座標系間で、仮想物体を配置する座標系を変更する指示や、後述の慣性座標系ＣＳ３の回転移動操作の指示が挙げられる。ステップＳ１１で、ＨＭＤ１は、座標系設定指示に応じて、座標系、格子Ｋ１、および仮想物体の設定の情報を更新する。ステップＳ１２で、ＨＭＤ１は、利用者によって主電源がオフ状態にされた場合（Ｙ）には、ステップＳ１３へ進む。ステップＳ１３で、ＨＭＤ１は、その時点の座標系等の状態を座標系情報３１等に保存し、ＨＭＤ１の終了処理を実行する。これにより、本処理フローが終了する。ステップＳ１２で主電源がオン状態のままの場合（Ｎ）には、例えばステップＳ２へ戻り、時点毎に同様の繰り返しである。ステップＳ２、ステップＳ５、ステップＳ６等の処理は、時点毎に利用者の頭の方向を含む姿勢状態に応じて更新するように行われる。

［基本方式］
図１１は、ＨＭＤ１の基本機能における表示面５での現実空間に対する仮想物体の配置および移動の操作に関わる基本方式についての説明図を示す。図１１の画像１１１は、表示面５に対応する利用者の視点から見た光景を示す。画像１１１は、実像の例としては、作業台４０１、ホワイトボード４０２、立方体の実物４０３がある。また、画像１１１には、利用者によって選択されたアプリケーションプログラム２２の処理に基づいて、仮想物体１１０として、仮想物体Ｖ１，Ｖ２，Ｖ３が表示されている。例えば、仮想物体Ｖ１は、雪だるま形状の３次元物体を表す画像である。仮想物体Ｖ２は、円柱形状の３次元物体を表す画像である。仮想物体Ｖ３は、円錐形状の３次元物体を表す画像である。

ＨＭＤ１は、利用者による仮想物体の配置や移動の操作をサポートするために、表示面５内に、格子Ｋ１の複数の点Ｐ１およびＩＤマークＭ１を表示する。本例では、格子Ｋ１は、２次元平面（対応する格子面）に２行５列で配置されている合計１０個の点Ｐ１を有する。本例では、各点Ｐ１は、白い円形の仮想画像として表示されている。また、各点Ｐ１には、ＩＤマークＭ１が付与および表示されている。ＩＤマークＭ１は、点Ｐ１の識別情報（点ＩＤ）を表す仮想画像である。ＨＭＤ１は、点Ｐ１の近傍の位置または重なる位置にＩＤマークＭ１を表示する。本例では、ＩＤマークＭ１は、点Ｐ１と一体化しており、円形のマーク内に点ＩＤの数字が表示されている。本例では、１０個の点Ｐ１には、ＩＤ＝１～１０が付与されている。ＩＤの順序方向については限定しない。

また、ＨＭＤ１は、画像１１１内の各仮想物体１１０（Ｖ１，Ｖ２，Ｖ３）に対し、ＩＤマークＮ１を付与および表示する。ＩＤマークＮ１は、仮想物体の識別情報（言い換えるとラベル）を表す仮想画像である。本例では、ＩＤマークＮ１は、矩形形状のマークであり、矩形内にＩＤの英字が表示されている。ＨＭＤ１は、仮想物体１１０の近傍の位置または重なる位置にＩＤマークＮ１を表示する。本例では、仮想物体Ｖ１にはＩＤ＝Ａ、仮想物体Ｖ２にはＩＤ＝Ｂ、仮想物体Ｖ３にはＩＤ＝Ｃが表示されている。

利用者は、所定の操作として、仮想物体の配置または移動の操作を行う。例えば、利用者は、表示面５内に表示されている仮想物体Ｖ１を、格子Ｋ１のうちＩＤ＝７で示す点Ｐ１の位置に配置または移動させたいとする。利用者は、その際、所定の操作として、（１）対象仮想物体の指定または移動元位置の指定と、（２）配置先または移動先の点Ｐ１の指定とを行う。ＨＭＤ１は、この操作に応じて、指定された対象仮想物体を、指定された点Ｐ１の位置に配置または移動する。この基本操作によって、まず１個の仮想物体の配置または移動を容易に実現できる。基本操作は、上記（１）および（２）に加えて、（３）配置または移動の指示を含むものとしてもよい。利用者は、例えばジェスチャまたは操作器２を用いる方式の場合、第１に、仮想物体Ｖ１を手指またはカーソルで指し示すように選択操作し、次に、第２に、配置先のＩＤ＝７の点Ｐ１を指し示すように選択操作する。音声方式の場合、利用者は、例えば「Ａのオブジェクトを７番に配置（または移動）」等の音声を入力する。音声方式の場合、利用者は、ＩＤマークＭ１の数字やＩＤマークＮ１の英字を音声で指定できる。このような操作に従って、仮想物体Ｖ１は、下側の画像１１１ｂに示すように、ＩＤ＝７の点Ｐ１の位置に配置および表示される。この際、従来方式のように利用者が仮想物体Ｖ１をＩＤ＝７の位置までドラッグ等の操作で移動させることは不要である。

なお、ＨＭＤ１は、表示面５内に常時に格子Ｋ１（点Ｐ１やＩＤマークＭ１等）を表示してもよいし、利用者の指示や操作に応じて格子Ｋ１の表示のオン／オフを切り替えてもよい。利用者は、表示面５内の格子Ｋ１の表示が煩わしい場合には、表示をオフ状態にできる。例えば、ＨＭＤ１は、通常時には格子Ｋ１を表示せず、利用者が格子オンのコマンドを入力した場合や、利用者が仮想物体を選択操作した場合に、格子Ｋ１を表示してもよい。また、ＨＭＤ１は、利用者の手指が格子Ｋ１の存在位置に近付いた場合に格子Ｋ１を表示してもよい。また、ＨＭＤ１は、表示面５内で利用者の視線方向に対応する一部の領域の格子Ｋ１の点Ｐ１のみを表示してもよい。また、ＨＭＤ１は、点Ｐ１の表示とＩＤマークＭ１の表示とを独立に制御してもよい。例えば、ＨＭＤ１は、点Ｐ１を表す点画像のみを表示してもよい。ＨＭＤ１は、利用者によるコマンド入力に応じて、ＩＤマークＭ１の表示のオン／オフを切り替えてもよい。表示面５内に格子Ｋ１等の操作用に各種のコマンドのボタンを設けてもよい。他の例として、表示面５内で一部の領域のみに格子Ｋ１の表示を許可し、他の一部の領域には格子Ｋ１の表示を不許可としてもよい。例えば、表示面５内で中央付近領域のみに格子Ｋ１を表示させてもよいし、逆に、中央付近領域以外の周辺領域に格子Ｋ１を表示させてもよい。

画像１１１ｂでは、ＩＤ＝７の点Ｐ１の位置に仮想物体Ｖ１が配置されている。本例では、点Ｐ１のＩＤマークＭ１の上に重ねて仮想物体Ｖ１が表示され、後ろ側の点Ｐ１のＩＤマークＭ１は見えなくなっている。なお、ＩＤ＝７のＩＤマークＭ１が隠れないように前側に表示したままとしてもよい。また、本例では、仮想物体Ｖ１の配置元の位置には、ＩＤ＝０の点Ｐ１がある。そのため、この点Ｐ１が見える状態になっている。ＩＤ＝０の点Ｐ１は、表示面５内の所定の位置（例えば下辺領域の中央位置）に後述のホーム領域として設定されてもよい。ホーム領域の設定および表示については省略も可能である。この設定がある場合、ＩＤ＝０の点Ｐ１を配置先または移動先として指定可能である。例えば、一旦ＩＤ＝７の点Ｐ１に配置した仮想物体Ｖ１を、ＩＤ＝０の点Ｐ１の位置に戻すことも容易に可能である。例えば、利用者は、音声方式の場合、「Ａのオブジェクトを０番に移動」または「Ａのオブジェクトを戻す」等と入力すればよい。

［入力操作例］
図１２は、各種の操作方式における入力操作例を示す。（Ａ）は、操作器２から発するビーム（例えば赤外線）をポインティング手段として用いる例を示す。利用者は、操作器２を手で動かして、ビームの先を表示面５内の対象仮想物体（例えば仮想物体Ｖ１）や点Ｐ１に当てる。ＨＭＤ１は、表示面５内でビームの先の位置にカーソルを表示してもよい。（Ｂ）は、表示面５内の仮想物体Ｖ１の位置に操作器２のビームの先のカーソル１２２（例えばクロス形状）を表示する例を示す。（Ｃ）は、仮想物体Ｖ１の位置に手指形状のカーソル１２３を表示する例を示す。なお、ＨＭＤ１は、カーソルを仮想物体または点Ｐ１に合わせて重ねるように表示してもよいし、それらの近傍に表示してもよい。ビームやカーソルを用いることで、利用者は、対象仮想物体や配置先の点Ｐ１等を指定できる。例えば、仮想物体Ｖ１は、カーソル１２２等が一定時間以上当てられることで、選択状態にされる。また、操作器２の代わりに、視線方向を用いても、同様の制御が可能である。また、利用者の頭（対応するＨＭＤ１）の正面方向で表示面５の中心位置にカーソルを表示する方式を用いても、同様の制御が可能である。

また、対象仮想物体や点Ｐ１の指定操作は、詳しくは、仮選択と選択確定とに分けて構成されてもよい。（Ｄ）は、例えば仮想物体Ｖ１に関する選択前（非選択）、仮選択、および選択確定に伴う表示状態の変化例を示す。例えば、仮選択の操作は、操作器２のビームやカーソルを対象仮想物体に当てるまたは重ねることである。ＨＭＤ１は、操作器２のビームが当てられている仮想物体の表示状態を、仮選択を表す所定の表示状態（例えば特定の色、形状、サイズ等）になるように変える。本例では色を変えているが、仮選択の仮想物体を囲む枠等が表示されてもよい。選択確定の操作は、例えば、仮選択状態からビームを当てたまま一定時間以上維持することである。選択確定の他の操作例は、操作器２のボタンを押すこと、あるいは、所定の音声（例えば「このオブジェクト」「選択」等）の入力である。ＨＭＤ１は、選択確定操作を受けた仮想物体の表示状態を、選択確定を表す所定の表示状態（例えば特定の色、形状、サイズ等）になるように変える。本例では色を変えているが、選択確定の仮想物体を囲む枠等が表示されてもよい。なお、仮選択状態を省略する方式も可能である。

仮想物体の配置または移動の指示（対応するコマンド）を設ける方式の場合、その操作は、対象仮想物体および点Ｐ１の指定後に、操作器２のボタンの押下、表示面５内の配置ボタン等の押下としてもよい。あるいは、その操作は、配置または移動を表すジェスチャ（例えば対象仮想物体を指ではじくジェスチャ）、配置または移動を表す音声（例えば「配置」「移動」等）の入力等としてもよい。

［表示制御例（１）］
図１３は、表示制御例として、表示面５（図１）の画像１３１における格子Ｋ１の構成例や、仮想物体の移動の操作例を示す。本例の格子Ｋ１は、３行５列の場合で、３×５＝１５個の点Ｐ１を有し、点Ｐ１毎のＩＤマークＭ１のＩＤとして１～１５を有する。本例では、最初、仮想物体Ｖ２が、ＩＤ＝１２の点Ｐ１の位置に配置されている。利用者は、例えば仮想物体Ｖ２をＩＤ＝３の点Ｐ１の位置に移動させたいとする。その場合、利用者は、音声方式の場合では、例えば「Ｂのオブジェクトを３番に移動」または「１２番のオブジェクトを３番に移動」等と入力する。仮想物体が点Ｐ１に配置されている場合、移動の際の対象仮想物体の指定は、対応する移動元の点Ｐ１の指定に代えることができる。利用者は、ジェスチャ方式やカーソル方式の場合では、移動元のＩＤ＝１２の点Ｐ１または仮想物体Ｖ２を指定し、次に移動先のＩＤ＝３の点Ｐ１を指定する。これらの操作に従い、ＨＭＤ１は、仮想物体Ｖ２をＩＤ＝３の点Ｐ１の位置に移動する。上記のように、表示面５内の格子Ｋ１上で移動元と移動先の２つが指定された場合に、仮想物体の移動を実行する方式が可能である。

また、画像１３１の例では、仮想画像として移動ボタン１３２が表示されている。この移動ボタン１３２を、移動の指示（対応するコマンド）として用いてもよい。ＨＭＤ１は、例えば、予め移動ボタン１３２を表示してもよいし、あるいは、対象仮想物体の指定後または点Ｐ１の指定後に移動ボタン１３２を表示してもよい。例えば、利用者は、対象仮想物体および移動先の点Ｐ１の指定後に移動ボタン１３２を押す（例えばカーソル等の選択操作）。ＨＭＤ１は、この操作を移動の指示として、仮想物体を移動させる。上記のように、移動の指示を用いる方式としてもよい。

他の方式としては、利用者が最初に移動ボタン１３２を押し、次に移動元と移動先を指定する方式としてもよい。他の方式としては、利用者が配置先または移動先の点Ｐ１を指定し、次に対象仮想物体を指定する方式としてもよい。また、他の方式として、複数の仮想物体をまとめて移動させたい場合に、利用者が複数の対象仮想物体を指定し、次に１つの移動先の点Ｐ１を指定する方式等としてもよい。

また、配置先または移動先となる点Ｐ１の指定については、絶対的な位置の指定に限らず、他の点Ｐ１や仮想物体の位置に対する相対的な位置の指定としてもよい。例えば、画像１３１では、ＩＤ＝２の点Ｐ１の位置に既に仮想物体Ｖ３が配置されているとする。利用者は、仮想物体Ｖ２をＩＤ＝３の点Ｐ１の位置に移動させる場合に、仮想物体Ｖ３の位置に対する相対的な位置の指定を用いることができる。利用者は、音声方式の場合、例えば「ＢのオブジェクトをＣのオブジェクトの右に移動」または「Ｂのオブジェクトを２番の右に移動」等と入力すればよい。

点Ｐ１のＩＤマークＭ１や仮想物体のＩＤマークＮ１については、数字や英字等の文字が適用できる他、色や形状の違い等を適用してもよい。ＩＤマークＭ１とＩＤマークＮ１は、区別がしやすいように異なる体系の画像とする。表示面５での点Ｐ１のＩＤや仮想物体のＩＤの表示については、最初から全部を表示してもよいが、最初は表示しない、または一部しか表示しないようにしてもよい。例えば、利用者のカーソルが点Ｐ１や仮想物体に近付いた場合に、対応するＩＤを表示してもよい。また、その際に、例えばＩＤ＝１０のＩＤマークＭ１の例のように、カーソルの付近の点Ｐ１やＩＤのみを拡大表示する、色を変える等して、目立たせてもよい。

なお、従来例の方式では、表示面内で仮想物体を移動させる場合に、利用者が選択した対象仮想物体を移動先の位置までドラッグ等の操作によって移動させる必要があり、手間がかかる。実施の形態１の方式では、そのようなドラッグ等の操作は基本的に不要であり、効率的な操作が可能である。

［表示制御例（２）］
図１４は、他の表示制御例を示す。表示面５の画像１４１には、図１３と同様の格子Ｋ１が配置されている。本例は、利用者が、３個の仮想物体１１０として仮想物体Ｖ１，Ｖ２，Ｖ３を、同じＩＤ＝６の位置の点Ｐ１に配置する場合を示す。例えば、利用者は、最初、ＩＤ＝Ｃで仮想物体Ｖ３を指定し、ＩＤ＝６の点Ｐ１を指定することで、仮想物体Ｖ３を移動させる。例えば、音声方式の場合、「Ｃのオブジェクトを６番に移動」等の入力である。次に、利用者は、ＩＤ＝Ｂで仮想物体Ｖ２を指定し、ＩＤ＝６の点Ｐ１を指定することで、仮想物体Ｖ２を移動させる。次に、利用者は、ＩＤ＝Ａで仮想物体Ｖ１を指定し、ＩＤ＝６の点Ｐ１を指定することで、仮想物体Ｖ１を移動させる。これにより、同じＩＤ＝６の点Ｐ１の位置には、３個の仮想物体が重なるように配置される。ＨＭＤ１は、同じ点Ｐ１の位置に複数の仮想物体を配置する際には、配置の順序に応じて重ねて表示する。例えば、最後に配置された仮想物体Ｖ１が最も前面に見える。あるいは、ＨＭＤ１は、同じ点Ｐ１の位置には、最後に配置された１個の仮想物体のみを表示してもよい。

また、ＨＭＤ１は、同じ点Ｐ１の位置に複数の仮想物体が配置されている場合には、それらの複数の仮想物体の複数のＩＤが分かりやすいように、その点Ｐ１の近傍に、対応する複数のＩＤマークＮ１を表示してもよい。例えば、ＩＤ＝６の点Ｐ１の近傍には、仮想物体Ｖ１，Ｖ２，Ｖ３に対応するＩＤマークＮ１（ＩＤ＝Ａ，Ｂ，Ｃ）が並列で表示されている。

他の操作例として、利用者が複数の仮想物体１１０（仮想物体Ｖ１，Ｖ２，Ｖ３）を順に指定し、次に移動先のＩＤ＝６の点Ｐ１を指定することで、それらの複数の仮想物体をまとめて移動させることもできる。利用者は、音声方式の場合、例えば「Ａ，Ｂ，Ｃのオブジェクトを６番に移動」等と入力すればよい。他の例として、ＩＤ＝３の点Ｐ１の位置には、仮想物体Ｖ４，Ｖ５が重ねて配置されている。仮想物体Ｖ４，Ｖ５は、アプリアイコンであり、ＩＤマークＮ１は、三角形の場合であり、ＩＤ＝Ｄ，Ｅである。

利用者は、同じ点Ｐ１の位置に重ねて配置されている複数の仮想物体を、他の位置に移動させることもできる。例えば、利用者は、まず、ＩＤ＝６の点Ｐ１の位置の仮想物体Ｖ１をＩＤマークＮ１によって指定し、移動先の他の点Ｐ１（例えばＩＤ＝９）の位置を指定することで、１個の仮想物体Ｖ１を移動させることができる。ＩＤ＝６の位置の３個の仮想物体をまとめて移動させたい場合、例えば、利用者は、ＩＤ＝６の点Ｐ１を指定し、移動先の他の点Ｐ１の位置を指定する。操作に従い、ＨＭＤ１は、ＩＤ＝６の位置の３個の仮想物体をまとめて移動させる。利用者は、音声方式の場合、例えば「６番のオブジェクトを９番に移動」等と入力すればよい。

また、ＨＭＤ１は、同じ点Ｐ１の位置に複数の仮想物体が配置されている場合には、その状態を表す所定の画像を表示してもよい。例えば、ＩＤ＝１０の点Ｐ１の位置には、枠線の画像１４２が表示されている。枠線の画像１４２は、その点Ｐ１の位置に複数の仮想物体が配置されている状態を表す。また、利用者が枠線の画像１４２を選択する操作に応じて、ＨＭＤ１は、その点Ｐ１の位置に配置されている複数の仮想物体をまとめて選択状態にする。あるいは、ＨＭＤ１は、枠線の画像１４２またはその内部領域の選択操作に応じて、複数の仮想物体を確認できるように、一時的に並列に表示してもよい。吹き出しの画像１４３は、その例を示し、各仮想物体（仮想物体Ｖ６，Ｖ７，Ｖ８）と各ＩＤ（Ｆ，Ｇ，Ｈ）とが並列表示されている。

［表示制御例（３）］
図１５は、他の表示制御例を示す。この表示面５の画像１５１では、格子Ｋ１として、格子Ｋ１１と格子Ｋ１２の２つを有し、それぞれの領域に配置されている。本例では、表示面５内の上側寄りの領域には、２行５列の１０個の点Ｐ１１（ＩＤ＝６～１５）を持つ第１種類の格子Ｋ１１が配置され、下側寄りの領域には、１行５列の５個の点Ｐ１２（ＩＤ＝１～５）を持つ第２種類の格子Ｋ１２が配置されている。また、本例では、格子Ｋ１１は世界座標系ＣＳ１に配置され、格子Ｋ１２は慣性座標系ＣＳ３に配置されている。

２種類の格子Ｋ１は、配置座標系の違いが利用者に分かりやすいように、表示態様を異ならせてもよい。本例では、格子Ｋ１１は、点Ｐ１１のＩＤマークＭ１１の形状が、世界座標系ＣＳ１を表す形状（例えば菱形）とされ、格子Ｋ１２は、点Ｐ１２のＩＤマークＭ１２の形状が、慣性座標系ＣＳ３を表す形状（例えば円形）とされている。配置座標系の区別のための他の表示例としては、格子Ｋ１毎の領域を囲む枠線や境界線等を表示してもよいし、格子Ｋ１毎の領域に格子ＩＤ（または領域ＩＤ）を表す画像を表示してもよい。また、本例では、表示面５で、２つの格子Ｋ１１，Ｋ１２の全体で、同じＩＤ値が重複しないように、各ＩＤマークＭ１のＩＤが付与されている。これに限らず、格子Ｋ１毎に同じＩＤ値が重複するようにしてもよい。ただし、その場合、ＩＤ値の指定のみでは位置を特定できないので、加えて格子ＩＤ等の指定が必要となる。

本例では、座標系間での仮想物体の配置や移動の例も示す。最初、仮想物体Ｖ１は、格子Ｋ１２のＩＤ＝３の点Ｐ１２の位置に配置されているとする。利用者は、この仮想物体Ｖ１を、格子Ｋ１１のＩＤ＝７の点Ｐ１１に移動させるとする。利用者は、音声方式の場合、例えば「Ａのオブジェクトを７番に移動」等と入力する。ＨＭＤ１は、操作に従い、慣性座標系ＣＳ３の格子Ｋ１２のＩＤ＝３の位置の仮想物体Ｖ１を、世界座標系ＣＳ１の格子Ｋ１１のＩＤ＝７の位置に移動する。これに伴い、仮想物体Ｖ１が属する座標系は、自動的に慣性座標系ＣＳ３から世界座標系ＣＳ１に変更される。他の例として、最初、仮想物体Ｖ２は、格子Ｋ１１のＩＤ＝１４の点Ｐ１１の位置に配置されている。利用者は、この仮想物体Ｖ２を、格子Ｋ１２のＩＤ＝５の点Ｐ１１の位置に移動させる。利用者は、音声方式の場合、例えば「Ｂのオブジェクトを５番に移動」等と入力する。ＨＭＤ１は、操作に従い、世界座標系ＣＳ１の格子Ｋ１１のＩＤ＝１４の位置の仮想物体Ｖ２を、慣性座標系ＣＳ３の格子Ｋ１２のＩＤ＝５の点Ｐ１２の位置に移動する。仮想物体Ｖ２が属する座標系は、自動的に世界座標系ＣＳ１から慣性座標系ＣＳ３に変更される。これに限らず、世界座標系ＣＳ１と局所座標系ＣＳ２との間、および局所座標系ＣＳ２と慣性座標系ＣＳ３との間で、同様の制御が可能である。

慣性座標系ＣＳ３は、後述の回転移動操作に基づいて、正面方向（方向ＤＩＲ３）を変更でき、それに伴い、表示面５内に表示される格子Ｋ１２の領域を変更できる。例えば、図示の格子Ｋ１２の領域は、表示面５の外側の左右にも連続して存在していてもよい。これにより、利用者は、慣性座標系ＣＳ３の格子Ｋ１２に配置されている他の仮想物体を表示面５内に表示させることや、表示面５内に表示されている仮想物体を表示面５外に配置させること等ができる。

ＨＭＤ１には、予め、デフォルト設定やユーザ設定として、各座標系の複数の格子Ｋ１が設定されている。格子Ｋ１毎に、配置座標系、点Ｐ１の数、ＩＤマークＮ１の表示態様、表示面５内での領域、等が設定できる。利用者は、複数の格子Ｋ１を使い分けて作業を行うことができる。

［表示制御例（４）］
図１６は、他の表示制御例を示す。表示面５の画像１６１は、格子Ｋ１が配置されている。この格子Ｋ１は、概念として、複数の領域１５２で構成されている。領域１５２は、ブロックや基準領域や格子領域と言い換えることができる。各領域１５２は、領域１５２の図示しない中心点が、前述の点Ｐ１と対応する。領域１５２は、本例では、四角形の破線の枠（格子線に対応する）の仮想画像として表示される。各領域１５１内の例えば左上には、ＩＤマークＭ１と対応するＩＤ１５３の画像が付与および表示されている。このような格子Ｋ１の構成でも、各領域１５２に対し同様に仮想物体が配置できる。本例では、ＩＤ＝３，７，１３，１５の領域１５２に、仮想物体Ｖ１，Ｖ２，Ｖ４，Ｖ５が配置されている。仮想物体Ｖ４，Ｖ５は、アプリアイコンの例である。領域１５２内の例えば右下には仮想物体のＩＤマークＮ１が表示されている。

［表示制御例（５）］
図１７は、他の表示制御例を示す。表示面５の画像１７１は、所定の領域、例えば下辺付近の領域が、ホーム領域Ｈ０として設定されている。ホーム領域Ｈ０は、利用者の作業のホームポジション、ワーク領域等として使用される。ホーム領域Ｈ０は、例えば破線の枠線の画像等で表示されてもよい。ホーム領域Ｈ０には、例えばＩＤ＝０が付与および表示されている。利用者は、ホーム領域Ｈ０に、自由に仮想物体を配置できる。利用者は、設定または操作によって、表示面５内の所望の領域にホーム領域Ｈ０を設定できる。ホーム領域Ｈ０の設定操作は、例えばホーム領域Ｈ０の左上点と右下点を指定する操作でもよい。利用者は、ホーム領域Ｈ０の移動や拡大縮小等の操作もできる。他の形態では、ホーム領域Ｈ０内に格子Ｋ１を配置してもよい。

（Ａ）の画像１７１は、ホーム領域Ｈ０内に何も配置されていない状態を示す。表示面５内の上側寄りの領域には、格子Ｋ１が配置されている。格子Ｋ１は例えば世界座標系ＣＳ１に配置されている。格子Ｋ１の例えばＩＤ＝７，８，９の点Ｐ１の位置に仮想物体Ｖ１，Ｖ２，Ｖ３が配置されている。格子Ｋ１の例えばＩＤ＝５の点Ｐ１の位置には仮想物体Ｖ６，Ｖ７，Ｖ８が重ねて配置されている。（Ｂ）の画像１７１ｂは、ホーム領域Ｈ０内に、仮想物体Ｖ１，Ｖ２，Ｖ３が配置されている状態を示す。例えば、（Ａ）の状態で、利用者は、前述のメニュー欄等を用いて、所望の仮想物体を指定して読み出し、ホーム領域Ｈ０内に配置することができる。また、利用者は、格子Ｋ１上の仮想物体を指定し、ホーム領域Ｈ０内に移動させることができる。例えば、利用者は、音声方式の場合、「Ａのオブジェクトをホーム（または０番）に移動」等と入力すればよい。ＨＭＤ１は、操作に従い、ホーム領域Ｈ０内の中央位置に仮想物体Ｖ１を配置する。

ＨＭＤ１は、ホーム領域Ｈ０内では、利用者が自由に指定した位置に仮想物体を配置してもよいし、自動的に決めた整列した位置に仮想物体を配置してもよい。例えば、ホーム領域Ｈ０内に仮想物体Ｖ１のみがある状態で、さらに、仮想物体Ｖ２，Ｖ３がホーム領域Ｈ０内に移動された場合、（Ｂ）の画像１７１ｂのホーム領域Ｈ０の状態になる。ホーム領域Ｈ０内には、３個の仮想物体Ｖ１，Ｖ２，Ｖ３が、各ＩＤマークＮ１と共に、等間隔で整列した位置に配置されている。他の例としては、ホーム領域Ｈ０内で複数の仮想物体を重ねて配置することもできる。

また、利用者は、ホーム領域Ｈ０内の全仮想物体をまとめて格子Ｋ１上に移動させることができる。例えば、利用者は、仮想物体Ｖ１，Ｖ２，Ｖ３をまとめてＩＤ＝１の位置に移動させたい場合、音声方式の場合では、「ホーム（または０番）のオブジェクトを１番に移動」等と入力する。また、利用者は、例えば格子Ｋ１上のＩＤ＝５の位置の全仮想物体をまとめてホーム領域Ｈ０に移動させたい場合、例えば「５番のオブジェクトをホーム（または０番）に移動」等と入力する。また、利用者は、格子Ｋ１上の全仮想物体をまとめてホーム領域Ｈ０に移動させることもできる。例えば、利用者は、音声方式の場合、「全オブジェクトをホーム（または０番）に移動」等と入力すればよい。また、ホーム領域Ｈ０内で自由な位置に配置されている複数の仮想物体をまとめて格子Ｋ１上の整列した位置に移動させることもできる。この場合、格子Ｋ１の領域に設定されている格子ＩＤ（または領域ＩＤ）を用いる。例えば、格子ＩＤ＝Ｒ１とする。例えば、利用者は、音声方式の場合、「ホーム（または０番）のオブジェクトをＲ１に配置」等と入力する。ＨＭＤ１は、操作に従い、ホーム領域Ｈ０内の複数の仮想物体を格子Ｋ１の領域内の空いている複数の点Ｐ１の位置に整列して配置する。

［表示制御例（６）］
図１８は、他の表示制御例を示す。本例は、座標系を変更する操作について示す。表示面５の画像１８１は、下側にはホーム領域Ｈ０が配置されており、上側には格子Ｋ１１が配置されている。ホーム領域Ｈ０内には仮想物体Ｖ１が配置されている。格子Ｋ１１は、世界座標系ＣＳ１に配置されている。格子Ｋ１１上のＩＤ＝３の点Ｐ１には仮想物体Ｖ２が配置されている。格子Ｋ１１の領域には、配置座標系が世界座標系ＣＳ１であることを表す格子ＩＤまたは領域ＩＤの画像（本例では「ＣＳ１」）が表示されてもよい。また、表示面５内には、座標系を変更するためのボタン１８２が表示されている。このボタン１８２は、座標系設定指示として用いることができる。利用者は、ボタン１８２を用いて格子Ｋ１１の配置座標系を変更できる。例えば、格子Ｋ１１の配置座標系を局所座標系ＣＳ２に変更したい場合、利用者は、格子Ｋ１１を指定し、局所座標系ＣＳ２を指定するボタン１８２を押す。格子Ｋ１１の指定は、格子ＩＤ等の指定でもよいし、格子Ｋ１１の格子線の選択操作でもよい。ＨＭＤ１は、操作に従い、格子Ｋ１１の配置座標系を、世界座標系ＣＳ１から局所座標系ＣＳ１２に変更する。この変更に伴い、格子Ｋ１１上に配置されている仮想物体Ｖ２は、局所座標系ＣＳ２に配置される状態に変更される。この例では、仮想物体Ｖ２は、表示面５内のＩＤ＝３の位置に固定されるので、利用者が移動したり頭を動かしたりしても同じ位置に維持される。

同様に、ＨＭＤ１は、慣性座標系ＣＳ３を指定するボタン１８２の押下を含む座標系設定指示に応じて、世界座標系ＣＳ１の格子Ｋ１を慣性座標系ＣＳ３の格子Ｋ１に変更することが容易にできる。（Ｂ）の画像１８１ｂは、（Ａ）の世界座標系ＣＳ１の格子Ｋ１１を慣性座標系ＣＳ３の格子Ｋ３１に変更した場合の表示例を示す。ＨＭＤ１は、変更に伴い、座標系情報３１、格子データ３３、および仮想画像データ３２の内容を更新する。ＩＤマークＭ１は、世界座標系ＣＳ１を表す菱形から慣性座標系ＣＳ３を表す円形に変更されている。変更後、点Ｐ１の数や位置やＩＤ値は維持されている。この場合、格子Ｋ３１の領域は、後述の回転移動操作が可能となる。その操作に応じて、仮想物体Ｖ２は、表示面５外へ配置することが可能となる。

［表示制御例（７）］
図１９は、他の表示制御例として、格子Ｋ１上の仮想物体の配置の位置や方向や表示サイズ等を利用者が調整できる機能について示す。前述のように、格子Ｋ１の点Ｐ１の位置に対し仮想物体を配置できるが、作業等に応じて、より細かく仮想物体の配置位置等を調整したい場合もある。その場合、利用者は、この機能を利用できる。（Ａ）の画像１９１は、格子Ｋ１を有する。本例は、ＩＤ＝０の点Ｐ１の位置に配置されている仮想物体Ｖ１を、格子Ｋ１のＩＤ＝７の点Ｐ１の付近に移動する場合を示す。この移動の操作は前述と同様である。次に、利用者は、仮想物体Ｖ１の配置位置を調整する。利用者は、そのための所定の指示操作を行う。その指示操作は、例えば、音声方式での「調整」等の入力でもよいし、表示面５内に表示される調整ボタン１９５の押下でもよい。ＨＭＤ１は、指示操作に応じて、調整モードに移行する。

（Ｂ）は、調整モードの表示例を示す。この画像１９１ｂは、配置調整用の領域１９３が表示されている。領域１９３は、領域１９２を拡大コピーしたものをベースとしている。領域１９２は、仮想物体Ｖ１が一旦配置されたＩＤ＝７の点Ｐ１を中心とした所定の大きさの領域であり、本例では、ＩＤ＝７の周囲にあるＩＤ＝１，２，３，６，８，０を含む程度の領域である。領域１９３では、元の格子Ｋ１に関連付けられた調整用の格子Ｋ１ｂが表示されている。領域１９３の格子Ｋ１ｂは、元の格子Ｋ１よりも点Ｐ１の数を増大している。本例では、格子Ｋ１ｂは、元の格子Ｋ１の点Ｐ１間にもう１個の点Ｐ１ｂを追加して密度を２倍にしている。これに限らず、格子Ｋ１ｂは、多数の点Ｐ１を追加してもよい。また、本例では、追加された点Ｐ１ｂには、新たにＩＤマークＭ１ｂ（例えば四角形で英小文字のＩＤを持つ）が付与および表示されている。これに限らず、格子Ｋ１ｂは、全体でＩＤの付け直しとしてもよい。

利用者は、領域１９３の格子Ｋ１ｂにおいて、仮想物体Ｖ１を所定の操作で移動させることで、配置位置の調整ができる。例えば、利用者は、音声方式の場合、「ｆの位置に移動」等と入力すればよい。これにより、ＨＭＤ１は、ＩＤ＝７の点Ｐ１の位置の仮想物体Ｖ１を、ＩＤ＝ｆの点Ｐ１ｂの位置に移動する。また、利用者は、表示面５内に表示される上下左右の矢印で示す移動ボタン１９６を操作することで、対象仮想物体を上下左右に移動させることもできる。また、領域１９３では、格子Ｋ１ｂの表示に限らず、対象仮想物体に対する所定の操作に応じて、画素レベルでの位置調整を可能としてもよい。また、領域１９３では、所定の操作に応じて、対象仮想物体の表示サイズの変更（拡大／縮小等）や、対象仮想物体の方向（３次元空間内での回転状態）の変更が可能である。利用者は、所定の操作、例えば調整終了ボタン１９７の押下によって、調整モードを終了し、通常状態に戻ることができる。

対象仮想物体を点Ｐ１に移動した時の仮想物体の方向の制御に関しては、以下の方式が適用できる。１つの方式は、移動前後での仮想物体の方向を維持する方式である。他の方式は、移動前後で仮想物体の方向を自動的に変更する方式である。例えば、ＨＭＤ１は、移動先の格子Ｋ１の座標系に合わせて、仮想物体の配置方向を選択する。例えば、ＨＭＤ１は、仮想物体の正面方向を、移動先の点Ｐ１が属する格子面における利用者（ＨＭＤ１）に向かう側の垂直方向に合わせるように変更する。

［表示制御例（８）］
図２０は、他の表示制御例として、空間内に複数の領域を設け、各領域の複数の仮想物体をグループとして扱い、グループ毎にまとめて操作を可能とする例を示す。図２０の表示面５の画像２０１は、複数の領域が設定されている。本例では、表示面５内に、中央付近の領域Ｒ１、上辺付近の領域Ｒ２、下辺付近の領域Ｒ３、左辺付近の領域Ｒ４、右辺付近の領域Ｒ５を有する。中央付近の領域Ｒ１は、世界座標系ＣＳ１が設定されている。領域Ｒ１には、実物４０３や、仮想物体Ｖ１１等が配置されている。領域Ｒ１が慣性座標系ＣＳ３として設定されてもよい。上辺付近の領域Ｒ２は、メニュー欄が局所座標系ＣＳ２で設定されている。領域Ｒ２には、仮想物体Ｖ２１（例えばアプリアイコン）等が配置されている。下辺付近の領域Ｒ３は、ホーム領域が慣性座標系ＣＳ３で設定されている。領域Ｒ３には、仮想物体Ｖ３１等が配置されている。左辺付近の領域Ｒ４および右辺付近の領域Ｒ５は、慣性座標系ＣＳ３として設定されている。領域Ｒ４には、仮想物体Ｖ３２等が配置されている。領域Ｒ５には、仮想物体Ｖ３３等が配置されている。各領域には、図示を省略するが、それぞれ対応する座標系の格子が配置されている。各領域は、区別のために、枠線や境界線の画像が表示されてもよいし、領域ＩＤ等が表示されてもよい。

利用者は、領域内の複数の仮想物体をグループとして操作が可能である。これにより、利用者は、複数の領域を使い分けながら効率的に作業ができる。例えば、領域Ｒ１内の複数の仮想物体を第１グループとし、領域Ｒ４内の複数の仮想物体を第２グループとし、領域Ｒ５内の複数の仮想物体を第３グループとする。利用者は、領域Ｒ１内の第１グループの複数の仮想物体を、他の領域、例えば領域Ｒ４内へまとめて移動させることができる。その際、利用者は、例えば、音声方式の場合では、「中央（または第１グループ、Ｒ１等）のオブジェクトを左（または第２グループ、Ｒ４等）へ移動」等と入力する。また、例えば、利用者は、領域Ｒ５内の第３グループの複数の仮想物体を、他の領域、例えば領域Ｒ１内へまとめて移動させることができる。その際、利用者は、例えば、音声方式の場合では、「右（または第３グループ、Ｒ５等）のオブジェクトを中央（または第１グループ、Ｒ１等）へ移動」等と入力する。グループ単位での移動の際、前述と同様に、各仮想物体は、配置座標系等が自動的に変更される。

また、領域毎に、配置仮想物体の表示サイズを異ならせてもよい。例えば、中央の領域Ｒ１では、配置仮想物体の表示サイズを大きくして目立たせてもよい。同じ仮想物体でも、配置領域に応じて表示サイズが自動的に変更される。

領域Ｒ３，Ｒ４，Ｒ５は、慣性座標系ＣＳ３として設定されているので、後述の回転移動操作によって表示内容の切り替えが可能である。また、ＨＭＤ１は、世界座標系ＣＳ１に対し、複数の慣性座標系ＣＳ３を設定してもよい。例えば、３つの領域Ｒ３，Ｒ４，Ｒ５は、それぞれ独立した慣性座標系ＣＳ３の格子の領域として設定されてもよい。ＨＭＤ１は、各慣性座標系ＣＳ３の格子の領域を、グループやページ等の単位として管理する。利用者は、各慣性座標系ＣＳ３のグループやページを、作業等に応じて使い分けて、仮想物体の配置ができ、これにより効率的な作業ができる。例えば、利用者は、領域Ｒ４を左手で操作し、領域Ｒ５を右手で操作してもよい。利用者は、各慣性座標系ＣＳ３の領域の表示のオン／オフ等も切り替えできる。上記のように、各種の座標系の組合せの方式が可能であり、１種類の座標系のみを用いる方式も可能である。

［配置制御例］
図２１は、他の表示制御例として、表示面５内で、表示されていない仮想物体を、新たに格子Ｋ１上の所望の位置に配置および表示する制御を行う場合を示す。この配置制御例として、アプリアイコン等の仮想画像を配置する場合を説明する。（Ａ）の表示面５の画像２１１は、格子Ｋ２が配置されている。格子Ｋ２は、例えば４行６列の２４個の点Ｐ２を持つ。格子Ｋ２は、例えば局所座標系ＣＳ２に配置されている。格子Ｋ２の点Ｐ２にはＩＤマークＭ２が表示されている。ＩＤマークＭ２は、例えば三角形であり、ＩＤの数字（１～２４）が表示されている。また、表示面５内で、上辺付近の領域２１２、下辺付近の領域２１３、左辺付近の領域２１４、または右辺付近の領域２１５のうち、少なくとも１つの領域は、局所座標系ＣＳ２を用いた所定の領域として確保される。この所定の領域には、例えば前述のメニュー欄やシステム情報等が配置される。

利用者は、所定の操作として、対象仮想物体の指定と、配置先の点Ｐ２の指定とを含む操作を行う。ＨＭＤ１は、その操作に応じて、対象仮想物体を、格子Ｋ２の指定の点Ｐ２の位置に配置および表示する。例えば、利用者は、ＩＤ＝２の点Ｐ２の位置に、対象仮想物体としてアプリＸのアプリアイコンに対応する仮想物体Ｖ４を配置したいとする。利用者は、例えば、音声方式では、「２番にＸ（またはアプリＸ）のオブジェクト（またはアイコン）を配置」等と入力する。利用者は、ジェスチャ方式やカーソル方式の場合では、例えば図示しないメニュー欄やポップアップ欄等で対象アプリアイコンを指定してから、配置先の点Ｐ２を指定する。あるいは、他の操作例としては、配置先の点Ｐ２を指定した後、対象仮想物体を指定する操作としてもよい。

ＨＭＤ１は、このような操作に従い、（Ｂ）の画像２１１ｂのように、指定されたＩＤ＝２の点Ｐ１の位置に、指定されたアプリＸのアイコンに対応する仮想物体Ｖ４を配置および表示する。さらに、ＨＭＤ１は、アプリＸのアイコンの配置と共に、バックグラウンドでアプリＸの起動処理を進めてもよい。

他の例として、利用者は、所望の点Ｐ２の位置に、アプリウィンドウ４１３を起動および配置することができる。例えば、利用者は、（Ａ）の状態から、ＩＤ＝１１の点Ｐ２の位置に、アプリＹのアプリウィンドウ４１３を起動および配置したいとする。利用者は、例えば、音声方式では、「１１番にＹ（またはアプリＹ）のウィンドウを配置（または起動）」等と入力する。利用者は、ジェスチャ方式やカーソル方式の場合では、例えば図示しないメニュー欄等で、対象アプリを指定してから、配置先の点Ｐ２を指定する。ＨＭＤ１は、操作に従い、指定されたアプリＹの起動処理を実行すると共に、指定されたＩＤ＝１１の点Ｐ２の位置に、指定されたアプリＹのアプリウィンドウ４１３を配置および表示する。

利用者は、格子Ｋ１上に配置したアプリアイコンやアプリウィンドウについては、前述と同様の操作によって、格子Ｋ１上の別の位置に移動させることもできる。また、上記配置制御のための所定の操作は、さらに、配置または起動の指示（対応するコマンド）を含むものとしてもよい。その指示は、前述と同様に、表示面５内に表示されるボタン等で可能としてもよい。

また、例えば、ＨＭＤ１は、利用者がＨＭＤ１を使用中に、外部からの通信等の契機によって、アプリケーション（アプリケーションプログラム２２）を起動する場合がある。例えば、ＨＭＤ１は、電話アプリを備える場合に、外部から電話の着信を受ける場合がある。その場合、ＨＭＤ１は、対象仮想物体である電話アプリのアイコンまたはウィンドウに関する情報を、表示面５内に表示する。その際、ＨＭＤ１は、例えば、対象仮想物体である電話アプリのアイコンまたはウィンドウの配置先を利用者に対し問い合わせるＧＵＩ画像（例えばポップアアップ欄）を表示面５に表示する。利用者は、その問い合わせに対し、配置先の所望の点Ｐ２を指定する操作を行う。ＨＭＤ１は、その操作に応じて、電話アプリのアイコンまたはウィンドウを、指定の点Ｐ２の位置に配置する。

上記のような配置制御機能によれば、最初は表示されていなかったアイコン等の仮想物体を、利用者の所望の位置、例えば作業がしやすい好適な位置に容易に配置することができる。例えば、表示面５内の中央付近の領域には、作業用に実物や仮想物体が配置される。利用者は、中央付近の実物や仮想物体の視認を妨げないように、周辺の好適な位置にアプリアイコン等を配置することができ、作業をしやすくできる。また、利用者は、表示面５内に作業用に配置済みの仮想物体がある時、その仮想物体の近くで隣りの位置に、作業用の他の仮想物体を呼び出すようにして配置できる。例えば、利用者は、実物の何かの装置の操作中に、その装置の隣りの位置に、その装置の操作に関するマニュアル等の仮想物体を配置することができる。利用者は、装置の操作を妨げず、あまり離れておらず、空いている好適な位置を選択して仮想物体を配置できる。また、例えば、利用者は、作成中の３次元モデルの仮想物体に対し、近くの位置に、コマンドボタン等を配置し、作成作業を効率的に行うことができる。

上記配置制御例は、局所座標系ＣＳ２への配置の場合である。そのため、利用者が頭（対応するＨＭＤ１）を回転させても、表示面５内の同じ位置にアプリアイコン等が維持される。アプリアイコン等のＧＵＩの画像に限らず、アプリケーション内の仮想物体についても、同様に所望の位置に配置できる。また、局所座標系ＣＳ２に限らず、世界座標系ＣＳ１や慣性座標系ＣＳ３に対しても、同様の制御を適用できる。また、上記アプリアイコン等の配置制御は、予めユーザ設定として行うこともできる。なお、上記例のように、アプリアイコン等がその画像や名称等によって識別できる場合には、ＩＤマークＮ１（ラベル）の付与および表示は必須ではない。

［座標系］
次に、３種類の座標系について説明する。ＨＭＤ１は、３次元空間に対する仮想物体の配置を管理するために、３種類の座標系として、世界座標系ＣＳ１、局所座標系ＣＳ２、および慣性座標系（Inertia coordinate system）ＣＳ３を用いる。ＨＭＤ１の座標系計算部１３（図６等）は、各座標系間の対応関係を適宜に設定および計算する。座標系計算部１３は、カメラ６およびセンサ７０を用いて、ＨＭＤ１および利用者と仮想物体の配置用の座標系との相対関係を計算する。ＨＭＤ１および利用者は、３種類の座標系のうち任意の選択した座標系に対し、格子Ｋ１および仮想物体を配置することができる。ＨＭＤ１は、所定のルールで選択した座標系に対し、格子Ｋ１および仮想物体を配置する。ＨＭＤ１は、例えば利用者が選択指定した座標系に対し、格子Ｋ１および仮想物体を配置する。

世界座標系ＣＳ１および局所座標系ＣＳ２は、公知技術による座標系である。世界座標系ＣＳ１は、現実空間に固定される第１座標系である。局所座標系ＣＳ２は、ＨＭＤ１および利用者の視点から見て表示面５に固定される第２座標系である。慣性座標系ＣＳ３は、世界座標系ＣＳ１および局所座標系ＣＳ２では不足する部分を補うための第３座標系である。世界座標系ＣＳ１の座標原点を原点Ｇ１とし、方向を方向ＤＩＲ１とする。局所座標系ＣＳの座標原点を原点Ｇ２とし、方向を方向ＤＩＲ２とする。慣性座標系ＣＳ３の座標原点を原点Ｇ３とし、方向を方向ＤＩＲ３とする。

慣性座標系ＣＳ３の原点Ｇ３については、例えば局所座標系ＳＣ２の原点Ｇ２と同じに設定され、ＨＭＤ１および利用者の頭および視点の位置に追随する。慣性座標系ＣＳ３の方向ＤＩＲ３については、世界座標系ＣＳ１の方向ＤＩＲ１に対し固定するように設定される。慣性座標系ＣＳ３の正面方向（方向ＤＩＲ１）は、慣性座標系ＣＳ１の基準方向を意味する。この方向ＤＩＲ１は、利用者が一時的に頭の向きを変えた場合、言い換えるとＨＭＤ１の方向（対応する回転状態）が変化した場合でも、利用者の基準方向に留まる。利用者の基準方向は、例えば体幹方向であり、胴体等が向いている平均的な方向である。方向ＤＩＲ３は、利用者の所定の操作（後述の回転移動操作）やＨＭＤ１の所定の制御に応じて適宜に変更可能である。慣性座標系ＣＳ３の特徴は、利用者およびＨＭＤ１の移動に応じて原点Ｇ３が移動し、かつ、利用者の頭およびＨＭＤ１の回転に対しては方向ＤＩＲ３が固定されることである。また、慣性座標系ＣＳ３の特徴は、局所座標系ＣＳ２の表示面５の範囲よりも広い空間に仮想物体を配置できることである。また、慣性座標系ＣＳ３の特徴は、利用者が、頭の方向の変更や、方向ＤＩＲ３の変更によって、適宜に所望の一部の領域の仮想物体を参照できることである。

ＨＭＤ１は、局所座標系ＣＳ２の方向ＤＩＲ２や慣性座標系ＣＳ３の方向ＤＩＲ３については、世界座標系ＣＳ１の方向ＤＩＲ１を基準とした世界座標系ＣＳ１に対する方向として計算および設定する。ＨＭＤ１は、その方向ＤＩＲ２や方向ＤＩＲ３を、世界座標系ＣＳ１を回転させた場合の回転操作によって表す。このような３次元空間のベクトルの回転操作の計算は、前述のオイラー角あるいは正規化四元数を用いて実現できる。

［世界座標系］
図２２は、世界座標系ＣＳ１についての説明図を示す。世界座標系ＣＳ１は、現実空間に固定された１点を原点Ｇ１とし、現実空間に固定された３軸直交座標系を構成する３つの座標軸方向を有する座標系である。世界座標系ＣＳ１の３つの座標軸方向を（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）で表す。世界座標系ＣＳ１の位置は、原点Ｇ１の位置座標（ｘ_Ｗ0，ｙ_Ｗ0，ｚ_Ｗ0）で表される。世界座標系ＣＳ１の方向ＤＩＲ１は、１つの座標軸方向、例えば軸Ｘ_Ｗで表される。世界座標系ＣＳ１内に配置される仮想物体の位置は座標（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）で表される。軸Ｚ_Ｗは鉛直方向に合わせられる。軸Ｘ_Ｗ，Ｙ_Ｗは、水平面を構成する２つの直交する方向に合わせられる。

図２２の下側には、世界座標系ＣＳ１内における仮想物体の配置例と、利用者およびＨＭＤ１の移動例とを示す。例えば、点Ｐｗ１の位置（ｘ_Ｗ1，ｙ_Ｗ1，ｚ_Ｗ1）に、仮想物体Ｖ１が配置されるとする。仮想面２２１は、点Ｐｗ１が配置されている仮想的な平面（視野範囲に対応する）を示す。方向２２２は、仮想物体Ｖ１の配置方向を示す。最初、利用者およびＨＭＤ１は、点Ｐｗ２の位置（ｘ_Ｗ2，ｙ_Ｗ2，ｚ_Ｗ2）にいるとする。点Ｐｗ２は、ＨＭＤ１および頭の中心とし、視点にも対応するものとする。方向２２３は、ＨＭＤ１の正面方向、および利用者の頭の方向を示す。この方向とは別に、利用者の視線方向も存在する。利用者およびＨＭＤ１は、例えば、点Ｐｗ２から点Ｐｗ３の位置に移動したとする。この移動に伴い、ＨＭＤ１および頭の方向が方向２２４に変化したとする。この移動および回転（対応する位置変化および方向変化）に対し、世界座標系ＣＳ１に配置されている仮想物体Ｖ１の位置（点Ｐｗ１）および方向２２２は変化しない。利用者から見ると、仮想物体Ｖ１の見え方が変わる。利用者は、移動後の状態によっては、仮想物体Ｖ１がよく見えない。

［局所座標系］
図２３は、局所座標系ＣＳ２についての説明図を示す。局所座標系ＣＳ２は、３軸直交座標系である。局所座標系ＣＳ２の３つの座標軸方向を（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）で示す。ＨＭＤ１は、初期化時に設定した世界座標系ＣＳ１に対する局所座標系ＣＳ２の原点Ｇ２の位置および方向ＤＩＲ２を計算する。局所座標系ＣＳ２の位置は、原点Ｇ２の位置（ｘ_Ｌ0，ｙ_Ｌ0，ｚ_Ｌ0）で表される。局所座標系ＣＳ２の方向ＤＩＲ２は、１つの軸方向、例えば軸Ｘ_Ｌで表される。局所座標系ＣＳ２内に配置される仮想物体の位置は、座標（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）で表される。局所座標系ＣＳ２の原点Ｇ２は、ＨＭＤ１の位置、頭の位置、および視点の位置に対し設定される。

図２３の下側には、世界座標系ＣＳ１内での利用者およびＨＭＤ１の移動例と、局所座標系ＣＳ２での仮想物体の配置例とを示す。例えば、最初、利用者およびＨＭＤ１は、点Ｐｗ４の位置（ｘ_Ｗ4，ｙ_Ｗ4，ｚ_Ｗ4）にいる。局所座標系ＣＳ２の軸Ｘ_Ｌは、ＨＭＤ１の正面方向および頭の方向に合わせて設定される。頭の左右方向が軸Ｙ_Ｌとなり、鉛直方句が軸Ｚ_Ｌとなる。この時、表示面５で、局所座標系ＣＳ２に対応する仮想面２３１（視野範囲に対応する）において、例えば点ＰＬ１の位置（ｘ_Ｌ1，ｙ_Ｌ1，ｚ_Ｌ1）に、仮想物体Ｖ１が配置されているとする。利用者およびＨＭＤ１は、例えば、点Ｐｗ４から点Ｐｗ５の位置に移動したとする。また、この移動に伴い、ＨＭＤ１および頭の方向が方向２３３から方向２３４に変化したとする。例えば、頭の方向が右側に回転している。この移動および回転に対し、局所座標系ＣＳ２の状態は維持され、利用者から見た仮想面２３１での仮想物体Ｖ１の見え方は維持される。

［慣性座標系（１）］
図２４は、慣性座標系ＣＳ３についての説明図を示す。慣性座標系ＣＳ３は、３つの座標軸方向を（Ｘ_Ｉ，Ｙ_Ｉ，Ｚ_Ｉ）で示す。慣性座標系ＣＳ３の位置は、原点Ｇ３の位置（ｘ_Ｉ0，ｙ_Ｉ0，ｚ_Ｉ0）で表される。慣性座標系ＣＳ３の方向ＤＩＲ３は、１つの軸方向、例えば軸Ｘ_Ｉで表される。慣性座標系ＣＳ３内に配置される仮想物体の位置は、座標（ｘ_Ｉ，ｙ_Ｉ，ｚ_Ｉ）で表される。

図２４の下側には、世界座標系ＣＳ１内での利用者およびＨＭＤ１の移動例と、慣性座標系ＣＳ３での仮想物体の配置例とを示す。例えば、最初、利用者およびＨＭＤ１は、点Ｐｗ６の位置（ｘ_Ｗ6，ｙ_Ｗ6，ｚ_Ｗ6）にいる。この位置に、局所座標系ＣＳ２の原点Ｇ２および慣性座標系ＣＳ３の原点Ｇ３が設定される。慣性座標系ＣＳ３の正面方向（軸Ｘ_Ｉ）は、世界座標系ＣＳ１の方向ＤＩＲ１（軸Ｘ_Ｗ）に一致させて設定される。慣性座標系ＣＳ３の３軸は局所座標系ＣＳ２の３軸と重なっている。この時、表示面５で、慣性座標系ＣＳ３に対応する仮想面２４１（視野範囲ＦＯＶ１に対応する）において、例えば点ＰＩ１の位置（ｘ_Ｉ1，ｙ_Ｉ1，ｚ_Ｉ1）に、仮想物体Ｖ１が配置されているとする。また、仮想面２４１で、左側の位置には、他の仮想物体Ｖ１ｂが配置されている。また、仮想面２４１の延長上で視野範囲ＦＯＶ１外の位置には、他の仮想物体Ｖ１ｃが配置されている。

利用者およびＨＭＤ１は、例えば、点Ｐｗ６から点Ｐｗ７の位置に移動したとする。また、この移動に伴い、ＨＭＤ１および頭の方向が方向２４３から方向２４４に変化したとする。例えば、頭の方向が左側に４５度程度回転している。この移動および回転に対し、慣性座標系ＣＳ３の原点Ｇ３は原点Ｇ２に追随して移動している。一方、慣性座標系ＣＳ３の方向ＤＩＲ３（軸Ｘ_Ｉ）は、移動前と同じく、世界座標系ＣＳ１の方向ＤＩＲ１に対し固定されている。頭の回転に応じて、利用者の視点から見た視野範囲は、視野範囲ＦＯＶ２に変わっている。表示面５で、その視野範囲ＦＯＶ２に対応する仮想面２４２では、見える仮想物体が変化している。仮想面２４２では、仮想物体Ｖ１ｂ，Ｖ１ｃが表示されており、仮想物体Ｖ１は見えなくなっている。このように、ＨＭＤ１および利用者の頭の方向に応じて、慣性座標系ＣＳ３上の仮想物体の表示領域を変更することができる。

図２４の仮想面２４１，２４２は、曲面とする場合を示した。慣性座標系ＣＳ３に配置する格子Ｋ１は、平面の構成としてもよいし、曲面の構成としてもよい。ＨＭＤ１は、慣性座標系ＣＳ３に仮想物体を配置する場合、慣性座標系ＣＳ３の格子Ｋ１における仮想物体の配置位置等を計算する。ＨＭＤ１は、表示面５の範囲内に、慣性座標系ＣＳ３の格子Ｋ１上に配置されている仮想物体が含まれる場合、その仮想物体を表示する。

［慣性座標系（２）］
図２５は、慣性座標系ＣＳ３に格子Ｋ１を配置する場合の構成例等を示す。図２５の例では、利用者およびＨＭＤ１の位置を慣性座標系ＣＳ３の原点Ｇ３として、その周囲に、概略円柱面に沿って、複数の仮想面（仮想面ＶＳ１，ＶＳ２，ＶＳ３等）が配置されている。複数の仮想面は、全体で１つの概略円柱面の領域を構成している。本例では、各仮想面は２次元平面である。慣性座標系ＣＳ３の正面の方向ＤＩＲ１（軸Ｘ_Ｉ）に対し、表示面５の画像２５１がある。画像２５１の中に仮想面ＶＳ１がある。仮想面ＶＳ１には、格子Ｋ３１が配置されている。仮想面ＶＳ１に対し、左手側の隣りには、仮想面ＶＳ２があり、右手側の隣りには、仮想面ＶＳ３がある。仮想面ＶＳ２には格子Ｋ３２が配置されており、仮想面ＶＳ３には格子Ｋ３３が配置されている。格子Ｋ３１，Ｋ３２，Ｋ３３等は、慣性座標系ＣＳ３の１つの格子Ｋ３を構成し、その格子Ｋ３は、概略円柱面の領域に配置されている。各仮想面の格子には、仮想物体が配置できる。例えば、仮想面ＶＳ１の格子Ｋ３１には、仮想物体ｖ１，ｖ２，ｖ３が配置されている。仮想面ＶＳ２の格子Ｋ３２には、仮想物体ｖ４が配置されている。仮想面ＶＳ３の格子Ｋ３３には、仮想物体ｖ５が配置されている。利用者は、図２４と同様に、頭の方向を変えることで、表示面５内に、仮想面ＶＳ２上の仮想物体ｖ４や仮想面ＶＳ３上の仮想物体ｖ５を表示させることができる。

また、他の操作として、利用者は、慣性座標系ＣＳ３の回転移動操作を行うこともできる。この操作は、前述の図１０のステップＳ１０の座標系設定指示のうちの１つである。利用者は、例えば、左回転操作２５２や右回転操作２５３を行うことができる。この操作は、音声方式やジェスチャ方式等を用いて、所定の操作として規定できる。一例としては、手を左または右にスワイプ操作のように移動させるジェスチャでもよい。音声方式の場合、例えば「左回転」等の入力としてもよい。ＨＭＤ１は、この回転移動操作を認識した場合、慣性座標系ＣＳ３の方向ＤＩＲ３（軸Ｘ_Ｉ）を回転させる。（Ａ）の状態から、例えば左回転操作２５２を行うとする。（Ｂ）は、回転後の状態を示す。軸Ｘ_Ｉおよび軸Ｙ_Ｉは、軸Ｚ_Ｉ（鉛直方向）の周りに例えば４５度程度回転している。表示面５の画像２５１ｂでは、仮想面ＶＳ１が左側へ移動しており、右側にあった仮想面ＶＳ３が中央付近に表示されている。これにより、表示面５内には仮想物体ｖ５が見えている。

この回転移動操作を用いる場合、利用者は、頭を回転させる必要無く、慣性座標系ＣＳ３の格子Ｋ３上の仮想物体の見え方を変更することができる。また、表示面５には、実物や、世界座標系ＣＳ１上の仮想物体や、局所座標系ＣＳ２上の仮想物体も併せて表示される。よって、利用者は、表示面５で、例えば、実物、世界座標系ＣＳ１上の仮想物体、および局所座標系ＣＳ２上の仮想物体については同じ位置に視認しながら、慣性座標系ＣＳ３上で表示する仮想物体を切り替えることができる。利用者は、表示面５の拡張領域として慣性座標系ＣＳ３の広い空間を利用して、多数の仮想物体を扱うことができ、効率的な作業が可能である。利用者は、慣性座標系ＣＳ３の利用のオン／オフ等の設定や指示も可能である。

また、利用者は、慣性座標系ＣＳ３の利用例として、各仮想面をグループとして扱うこともできる。例えば、利用者は、仮想面ＶＳ１に配置される複数の仮想物体を第１グループ、仮想面ＶＳ２に配置される複数の仮想物体を第２グループ等として、使い分けて作業ができる。利用者は、仮想面またはグループを指定する操作によって、指定の仮想面またはグループを表示面５の中央に移動させることもできる。仮想面またはグループを指定する操作は、例えば領域の枠線の操作でもよいし、グループＩＤ等の指定でもよい。また、ＨＭＤ１は、仮想面のグループ間で、複数の仮想物体をまとめて移動させることができる。利用者は、所定の操作として、移動元のグループと移動先のグループとを指定する。利用者は、例えば、音声方式の場合、「第１グループを第２グループに移動」等と入力する。ＨＭＤ１は、操作に従い、仮想面ＶＳ１内の全仮想物体を、仮想面ＶＳ２内にまとめて移動する。また、この際、ＨＭＤ１は、移動元の仮想面ＶＳ１の格子Ｋ３１上の複数の仮想物体の配置位置関係をなるべく維持したまま、移動先の仮想面ＶＳ２の格子Ｋ３２上に自動的に配置する。あるいは、ＨＭＤ１は、移動先の格子Ｋ３２から空いている複数の点を選んで、移動元の複数の仮想物体を自動的に整列した状態で配置してもよい。このようなグループの移動は、異なる座標系間でも同様に可能である。グループ単位の移動によって、複数の仮想物体の移動に関わる手間が大幅に低減できる。

また、変形例として、仮想面またはグループの単位で交換操作を可能としてもよい。利用者は、交換したい２つの仮想面またはグループを指定する。例えば、利用者は、仮想面ＶＳ１と仮想面ＶＳ２とを指定する。ＨＭＤ１は、操作に従い、仮想面ＶＳ１の全仮想物体のグループと仮想面ＶＳ２の全仮想物体のグループとを交換するように移動させ、設定情報を更新する。

［慣性座標系（３）］
図２６は、慣性座標系ＣＳ３における格子Ｋ３の他の構成例を示す。この格子Ｋ３は、円柱面に構成されている。利用者の視点位置に対応する慣性座標系ＣＳ３の原点Ｇ３から、軸Ｘ_Ｉおよび軸Ｙ_Ｉの方向に、放射状に伸びるように、格子線が設定されている。軸Ｘ_Ｉおよび軸Ｙ_Ｉの方向（円柱の径方向）で、所定の距離の位置（例えば４つの位置）に円柱面を有する。円柱面の円周方向にも格子線を有する。各円柱面に格子点である点Ｐ３が設けられている。原点Ｇ３から全方向に点Ｐ３を有する。ＨＭＤ１は、格子Ｋ３のうち、利用者およびＨＭＤ１の正面方向の視野範囲ＦＯＶ１に対応する領域の部分を、表示面５内に表示する。例えば、ＨＭＤ１の方向が軸Ｘ_Ｉと一致する場合の視野範囲ＦＯＶ１では、仮想物体ｖ１が表示される。

図２７は、慣性座標系ＣＳ３における格子Ｋ３の他の構成例を示す。この格子Ｋ３は、半天球面に構成されている。利用者の視点位置に対応する慣性座標系ＣＳ３の原点Ｇ３から、軸Ｘ_Ｉおよび軸Ｙ_Ｉの方向（径方向）の所定の距離の位置の半球面に格子線が設けられている。１つの半球面を示すが、同様に、径方向で複数の位置の半球面に格子線を設けてもよい。各半球面に点Ｐ３が設けられる。ＨＭＤ１は、格子Ｋ３のうち、利用者およびＨＭＤ１の正面方向の視野範囲ＦＯＶ１に対応する領域の部分を、表示面５内に表示する。この構成の場合、例えば、利用者が頭の方向を上下に回転させる場合でも、その方向に応じた慣性座標系ＣＳ３の領域を利用できる。上記例では、世界座標系ＣＳ１および局所座標系ＣＳ２では直交形状の格子を適用し、慣性座標系ＣＳ３に曲面形状の格子を適用したが、これに限らず、任意の形状の格子を任意の座標系で適用できる。

［慣性座標系（４）］
図２８は、慣性座標系ＣＳ３の格子を用いて複数の仮想物体を扱う例を示す。図２８を用いて、慣性座標系ＣＳ３の格子を利用することで多数の仮想物体を配置できることについて説明する。最初、（Ａ）の第１状態で、利用者およびＨＭＤ１は、位置Ｌ１にいるとする。位置Ｌ１には原点Ｇ１，Ｇ２，Ｇ３が対応する。仮想面２８１は、１つの円柱面上の格子に対応する。仮想面２８１には、円周方向の各位置で、複数の仮想物体、例えば仮想物体ｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６，ｖ７，ｖ８，ｖ９，ｖ１０が配置されている。利用者の頭および視線の方向は、軸Ｘ_Ｉと同じである。この時、表示面５で、視野範囲ＦＯＶ１には、仮想物体ｖ１，ｖ２，ｖ３が表示される。次に、（Ｂ）の第２状態で、利用者は、同じ位置Ｌ１で、頭の方向を左側に４５度程度回転している。この時、表示面５で、視野範囲ＦＯＶ２には、仮想物体ｖ２，ｖ４が表示される。このように、利用者は、視野範囲ＦＯＶ１外にある仮想物体ｖ４等を参照できる。

次に、（Ｃ）の第３状態で、利用者およびＨＭＤ１は、位置Ｌ１から位置Ｌ２に移動している。位置Ｌ２には原点Ｇ２，Ｇ３が対応付けられる。この移動に伴い、原点Ｇ３は平行移動し、（Ａ）の複数の仮想物体（仮想物体ｖ１～ｖ１０）は、位置関係を維持したまま追随して移動している。この時、表示面５で、視野範囲ＦＯＶ１には、同じく仮想物体ｖ１，ｖ２，ｖ３が表示される。このように、利用者は、多数の仮想物体を容易に移動できる。

次に、（Ｄ）の第４状態で、利用者は、位置Ｌ２で、慣性座標系ＣＳ３の回転移動操作、例えば左回転を回転角度９０度で行っている。これにより、慣性座標系ＣＳ３の方向ＤＩＲ３（軸Ｘ_Ｉ）は、左手の方向（局所座標系ＣＳ２の軸Ｙ_Ｌ）に変化している。その回転移動に伴い、仮想面２８１上の複数の仮想物体は、それぞれ回転角度９０度で回転している。この時、表示面５で、視野範囲ＦＯＶ１には、仮想物体ｖ７が表示される。このように、利用者は、慣性座標系ＣＳ３上の所望の領域の仮想物体を正面に配置し参照できる。

上記のように、利用者は、慣性座標系ＣＳ３の格子を用いることで、多数の仮想物体を少ない手間で扱うことができる。慣性座標系ＣＳ３の方向ＤＩＲ３は、利用者の基準方向（例えば体幹方向）に合わせて維持することができる。利用者は、例えば、頻繁に確認や操作をしたい仮想物体を、慣性座標系ＣＳ３の領域に配置しておく。利用者は、通常時、表示面５の例えば中央付近の領域で主な作業を行い、必要に応じて、頭の方向の回転または回転移動操作によって、慣性座標系ＣＳ３上の他の仮想物体を参照できる。

また、応用として、ＨＭＤ１は、慣性座標系ＣＳ３の領域において、複数の方向を設定してもよい。例えば図２６のような円柱面に配置された格子において、複数の方向、言い換えると円柱面の領域上の複数の位置（例えば位置ａ１，ａ２，ａ３，ａ４）を設定してもよい。ＨＭＤ１は、利用者の操作に応じて、その方向（対応する位置）を選択し、選択した方向の領域を表示面５内の中央に表示させる。例えば、利用者は、作業の目的等に応じて、複数の仮想物体を、複数のグループに分けて、各グループに対し、上記方向を設定してもよい。例えば、図２６で、正面方向（軸Ｘ_Ｉの正方向）の位置ａ１には第１グループの仮想物体が配置される。同様に、左手方向（軸Ｙ_Ｉの正方向）の位置ａ２には第２グループが配置され、右手方向（軸Ｙ_Ｉの負方向）の位置ａ４には第３グループが配置され、背面方向（軸Ｘ_Ｉの負方向）の位置ａ４には第４グループが配置される。利用者は、作業に応じて選択した方向のグループを表示面５内に表示できる。

図２８の（Ｄ）のような慣性座標系ＣＳ３の方向ＤＩＲ３の回転、言い換えると慣性座標系ＣＳ３の表示領域の変更は、一時的なものとしてもよい。すなわち、ＨＭＤ１は、利用者の回転移動操作を受けた時から所定の時間、例えば（Ｄ）の第４状態を維持し、その時間の経過後、自動的に元の（Ｃ）の第３状態に戻してもよい。あるいは、ＨＭＤ１は、利用者が所定のジェスチャをしている間、その第４状態を維持してもよい。また、ＨＭＤ１は、慣性座標系ＣＳ３の方向ＤＩＲ３を変化させるように表示状態を変える際に、慣性（対応する速度変化）を持たせてもよい。

回転移動操作の他の例として、利用者は、所定の操作で慣性座標系ＣＳ３上の対象仮想物体を指定し、ＨＭＤ１は、その対象仮想物体が表示面５の中心位置に表示されるように、慣性座標系ＣＳ３の方向ＤＩＲ３を変更してもよい。回転移動操作の他の例として、利用者が頭を例えば左右に回転させる動作を用いてもよい。例えば、（Ａ）から（Ｂ）への変化のように利用者が頭を左側に回転させる動作に応じて、ＨＭＤ１は、（Ｄ）の例のように慣性座標系ＣＳ３の方向ＤＩＲ３を変更する。

他の例として、ＨＭＤ１は、利用者の基準方向に合わせて、自動的に慣性座標系ＣＳ３の方向ＤＩＲ３を変更してもよい。ＨＭＤ１は、カメラ６やセンサ７０を用いて利用者の基準方向（例えば体幹方向）を検出する。この場合、利用者が例えば胴体の方向を変えると、それに追随するように方向ＤＩＲ３が変更される。利用者の基準方向を水平方向に限定してもよい。利用者が移動中の場合には移動方向を基準方向としてもよい。ＨＭＤ１は、初期化処理時、利用者の基準方向に合わせるように、慣性座標系ＣＳ３の方向ＤＩＲ３を設定してもよい。また、利用者は、設定や指示に応じて、慣性座標系ＣＳ３の方向ＤＩＲ３の変更が可能な状態（静止状態）と不可能な状態（固定状態）とを切り替えることができる。

［座標系の設定］
ＨＭＤ１の起動時の初期化処理の際（前述の図２のステップＳ２）に３種類の座標系を再設定する場合の方式例は以下の通りである。ＨＭＤ１は、初期化処理時に、その時のＨＭＤ１の位置および姿勢を基準として、世界座標系ＣＳ１（原点Ｇ１および方向ＤＩＲ１）を設定する。座標系計算部１３は、３軸の加速度センサに基づいて重力方向を検出し、この重力方向と局所座標系ＣＳ２の軸Ｘ_Ｌとから、世界座標系ＣＳ１を再設定する。ＨＭＤ１は、初期化時には、世界座標系ＣＳ１の原点Ｇ１を、局所座標系ＣＳ２の原点Ｇ２に合わせる。また、ＨＭＤ１は、初期化時には、慣性座標系ＣＳ３の原点Ｇ３を、局所座標系ＣＳ２の原点Ｇ２に合わせるように設定し、慣性座標系ＣＳ３の方向ＤＩＲ３を、世界座標系ＣＳ１の方向ＤＩＲ１に合わせるように設定する。座標系計算部１３は、座標系情報３１に、世界座標系ＣＳ１を基準とした局所座標系ＣＳ１および慣性座標系ＣＳ３の初期化時の位置（原点Ｇ２，Ｇ３）、方向（方向ＤＩＲ２，ＤＩＲ３）、および重力加速度ベクトルの情報を記憶する。

ＨＭＤ１は、初期化後には、センサ７０を用いてＨＭＤ１の位置および姿勢の変化を追跡し、その変化に応じて随時に各座標系の設定を更新する。ＨＭＤ１は、加速度センサが検出する加速度ベクトル、ジャイロセンサが検出する角速度ベクトルを含む、各センサ７０の測定値を更新する。座標系計算部１３は、更新された加速度ベクトルおよび角速度ベクトルに基づいて、世界座標系ＣＳ１を基準とした局所座標系ＣＳ２の位置（原点Ｇ２）および方向ＤＩＲ２を更新する。座標系計算部１３は、座標系情報３１に更新情報を記憶する。座標系計算部１３は、更新した局所座標系ＣＳ２の位置（原点Ｇ２）および方向ＤＩＲ２と、慣性座標系ＣＳ３の回転移動操作等とに基づいて、世界座標系ＣＳ１を基準とした慣性座標系ＣＳ３の位置（原点Ｇ３）および方向ＤＩＲ３を更新する。座標系計算部１３は、座標系情報３１に更新情報を記憶する。ＨＭＤ１は、ＧＰＳ受信器による位置情報や地磁気センサによる方位情報を、各座標系の計算の補助として用いてもよい。

上記例では、慣性座標系ＣＳ３の原点Ｇ３を局所座標系ＣＳ２の原点Ｇ２と同じとしたが、これに限らず、原点Ｇ２から離れた位置に設定してもよい。また、上記例では、鉛直方向の軸（Ｚ_Ｗ，Ｚ_Ｌ，Ｚ_Ｉ）の周りの回転の場合を説明したが、これに限らず、他の軸の場合でも同様に回転制御が可能である。慣性座標系ＣＳ３の軸Ｚ_Ｉの設定については、世界座標系ＣＳ１の軸Ｚ_Ｗ、すなわち鉛直方向に合わせるように制限してもよい。

［３次元格子（１）］
上記格子Ｋ１は、図１１のような例に限らず、多数の点Ｐ１を持ってもよい。また、格子Ｋ１は、２次元格子に限らず、３次元格子としてもよい。その場合、表示面５内で候補となる点Ｐ１の数が多くなるので、表示面５内で位置をより細かく指定できる。ただし、その場合、格子Ｋ１の全体で点Ｐ１のＩＤの数も多くなり、全ＩＤを一意に識別できるためには、ＩＤ値の範囲が大きくなる。これに対する工夫について以下に示す。

図２９は、格子Ｋ１として３次元格子の構成例を示す。（Ａ）の格子Ｋ１は、３軸の各方向に点Ｐ１および格子線が並んでおり、３×３×３＝２７個の点Ｐ１を持つ場合を示す。Ｘ方向は例えば局所座標系ＣＳ２の軸Ｘ_Ｌと対応する奥行き方向である。格子Ｋ１の全体の全点Ｐ１にＩＤマークＭ１で一意のＩＤを付与および表示する場合、例えばＩＤ＝１～２７が必要となる。利用者は、このＩＤを指定することで、仮想物体の配置先の点Ｐ１を指定できる。（Ｂ）の画像２９１は、表示面５での（Ａ）の格子Ｋ１の表示例を示す。本例では、格子Ｋ１が局所座標系ＣＳ２に配置されており、格子Ｋ１の前面の中央の点Ｐ１（ＩＤ＝５）が、軸Ｘ_Ｌに沿って表示面５の中心位置に配置されている場合を示す。利用者は、例えば、対象の仮想物体Ｖ１を指定し、配置先の点Ｐ１をＩＤで指定することで、仮想物体Ｖ１を格子Ｋ１上の位置に配置できる。

図３０は、同様の格子Ｋ１に対し、奥行き方向（軸Ｘ_Ｌ）で複数の点Ｐ１を用いて複数の仮想物体を配置する例を示す。格子Ｋ１のうち、例えばＩＤ＝４，１３，２２の３個の点Ｐ１に対し、前から順に、仮想物体Ｖ１，Ｖ２，Ｖ３が配置されている。このように、利用者は、３次元格子を用いることで、複数の仮想物体を奥行き方向にも配置できる。利用者は、表示面５内の限られた領域に多くの仮想物体を配置できる。なお、３次元格子の点Ｐ１に対し、利用者の視点から見て奥行き方向に配置される仮想物体については、利用者からの仮想物体までの距離に応じて、表示サイズを異ならせてもよい。すなわち、距離が離れている仮想物体ほど、表示サイズを小さくしてもよい。このように、利用者の視点から見て奥行き方向に複数の点Ｐ１や複数の仮想物体が並ぶ場合がある。よって、利用者がこれらを見やすくなるように、後述する表示の工夫が有効である。

また、図３０の例のように配置したい場合に、個別の仮想物体毎の配置の操作でも可能であるが、他の操作例として以下も可能である。操作例として、利用者は、まず、対象の仮想物体Ｖ１，Ｖ２，Ｖ３またはそれらのグループ等を指定する。次に、利用者は、格子Ｋ１の最も前面（例えばＩＤ＝１～９を持つ格子面）のうち所望の位置の点Ｐ１（例えばＩＤ＝４）を指定する。ＨＭＤ１は、この操作に従い、指定のＩＤ＝４の点Ｐ１から奥行き方向で、対象仮想物体の数に対応する３個の点Ｐ１（ＩＤ＝４，１３，２２）を選択し、それらの点Ｐ１に対し一対一で対象の仮想物体Ｖ１，Ｖ２，Ｖ３を配置する。

点Ｐ１の数は、上記例に限らず、例えば８×８×８＝５１２個等、各種の設定が利用できる。ＨＭＤ１は、デフォルト設定として、各種の構成の格子Ｋ１（点Ｐ１の数や密度等を含む）が用意されており、ユーザ設定で格子Ｋ１の選択や調整ができる。

変形例としては、格子Ｋ１の各点Ｐ１に対し、ＩＤマークＭ１によるＩＤを表示しない構成も可能である。この場合、表示面５には、格子Ｋ１の点Ｐ１を表す画像や格子線を表す画像が表示され、数字等のＩＤ画像は表示されない。利用者は、音声方式でＩＤを指定する操作はできないが、他の方式で点Ｐ１、格子線または格子領域を指定する操作（例えばタッチ等のジェスチャ、カーソルでの指し示し）によって、仮想物体の配置先の位置等を指定できる。また、上記仮想物体の配置の操作の際には、複数の操作手段を組み合わせて使用してもよい。例えば、利用者は、対象仮想物体を音声方式やジェスチャ方式等のいずれかの第１操作方式で指定する。次に、利用者は、配置先の点Ｐ１を、第１操作方式とは異なる他のいずれかの第２操作方式で指定する。

図３１は、変形例における表示面５での格子Ｋ１等の表示例を示す。この変形例では、通常時、（Ａ）の画像３１１のように、格子Ｋ１（例えば２次元格子）は、格子線で表示されており、点Ｐ１は、格子線の交差点である。この点Ｐ１には、前述の円形のＩＤマーク等は表示されていない。仮想物体にもＩＤマーク（ラベル）が表示されていない。利用者は、例えば仮想物体Ｖ１を格子Ｋ１上の点ｐ１に移動したい場合、移動先の点ｐ１を、ＩＤを用いずに指定する。この操作は、前述のジェスチャ方式等を用いて可能である。（Ｂ）の画像３１１ｂは、利用者が手指または操作器２のカーソルで点ｐ１を指定する場合を示す。ＨＭＤ１は、カーソル等が格子Ｋ１の任意の点Ｐ１に対しある程度近付いた場合、その近付いた点Ｐ１の表示状態を変更する。本例では、カーソル３１２が点ｐ１の付近に近付いた状態を示す。ＨＭＤ１は、カーソル３１２に近い位置にある点ｐ１とその周りの４個の点Ｐ１に、点Ｐ１を表す円形の画像３１３を表示する。また、ＨＭＤ１は、カーソル３１２に一番近い１個の点ｐ１については、目立つように、画像３１３の拡大や色変更等をしてもよい。ＨＭＤ１は、カーソル３１２が重なる点ｐ１については、仮選択状態または選択確定状態にして対応する表示状態にする。これにより、利用者は、格子Ｋ１にＩＤが表示されなくても、点Ｐ１を選択しやすい。

［３次元格子（２）］
前述の例では、格子Ｋ１の全点Ｐ１にＩＤマークＭ１によってＩＤを表示する場合を示したが、格子Ｋ１の一部の点Ｐ１のみにＩＤマークＭ１によってＩＤを表示してもよい。ＨＭＤ１は、利用者の操作等に応じて、ＩＤを表示する点Ｐ１および表示しない点Ｐ１を決める。ＨＭＤ１は、ＩＤを表示する一部の点Ｐ１に対し、ＩＤ値を付与および表示する。また、その際、ＨＭＤ１は、ある点Ｐ１に対し、一貫性を持って同じＩＤ値を使用し続けてもよいし、適宜にＩＤ値を振り直してもよい。これにより、格子Ｋ１の全点Ｐ１にＩＤを表示する場合に比べ、表示面５内に表示されるＩＤ数を少なく、ＩＤ値の範囲を狭くできる。利用者にとっては、表示面５内の情報量が抑制されるので、ＩＤを指定する操作等がしやすくなる。

［格子制御（１）］
格子Ｋ１の点Ｐ１のＩＤに関する表示制御例について以下に示す。図３２は、３次元の格子Ｋ１の構成例において、一部の点Ｐ１、例えばある格子面の点Ｐ１のみに対し、ＩＤマークＭ１によってＩＤを表示する例を示す。利用者は、その一部の点Ｐ１に対する選択操作等ができる。図３２の格子Ｋ１は、説明上わかりやすいように、世界座標系ＣＳ１に配置されており、利用者の視点として斜め上から格子Ｋ１を見る場合を示す。このような格子Ｋ１が局所座標系ＣＳ２や慣性座標系ＣＳ３に配置されている場合でも、以下の制御は同様に適用できる。格子Ｋ１は、奥行き方向（軸Ｘ_Ｌ）で３つの格子面を有し、前側から、格子面ＳＦ１，ＳＦ２，ＳＦ３とする。ＨＭＤ１は、表示面５に格子Ｋ１を表示する際、各格子面を表すＩＤマークＱ１の画像を表示する。本例では、ＩＤマークＱ１として、格子面ＳＦ１にはＩＤ＝１、格子面ＳＦ２にはＩＤ＝２、格子面ＳＦ３にはＩＤ＝３が付与されている。ＩＤマークＱ１は、他の種類のＩＤマークと区別できるように、例えば星形状を持つ。ＩＤマークＱ１は、例えば、対応する格子面のうちの１個の点Ｐ１から線でつなげた位置に表示されているが、これに限らず可能である。格子線とＩＤマークＱ１とをつなげて表示してもよい。

最初、格子Ｋ１の点Ｐ１には、ＩＤマークＭ１が表示されない。利用者は、例えば仮想物体Ｖ１を、格子Ｋ１の中央の点Ｐ１に配置させたいとする。利用者は、所定の操作として、対象仮想物体を指定後、配置先の点Ｐ１が含まれる格子面（例えば格子面ＳＦ２）を指定する。この操作は、例えば、音声方式では、「２番の面」等の入力であり、カーソル方式等の場合、ＩＤ＝２のＩＤマークＱ１を指し示す操作である。ＨＭＤ１は、この操作に従い、指定された格子面ＳＦ２のみを仮選択状態にし、他の格子面を非選択状態にする。ＨＭＤ１は、指定された格子面ＳＦ２に属する複数の点Ｐ１について、ＩＤマークＭ１によるＩＤ（例えば１～９）を表示する。ＨＭＤ１は、仮選択状態の格子面ＳＦ２については、点Ｐ１の指定の操作を受け付け、非選択状態の格子面ＳＦ１，ＳＦ３については、その操作を受け付けない。

次に、利用者は、仮選択状態の格子面ＳＦ２から、配置先の点Ｐ１、例えばＩＤ＝５の点ｐ１を指定する。例えば、利用者は、音声方式では、「５番」と入力し、カーソル方式等では、ＩＤ＝５の点ｐ１を指し示す。ＨＭＤ１は、この操作に従い、指定されたＩＤ＝５の点ｐ１を選択確定状態にする。そして、ＨＭＤ１は、そのＩＤ＝５の点ｐ１の位置に仮想物体Ｖ１を配置する。上記のように、３次元の格子Ｋ１で多数の点Ｐ１がある場合でも、利用者は、少ないＩＤ値の範囲から、１個の点ｐ１を容易に指定できる。

また、利用者は、一旦ある格子面を仮選択した後、他の格子面を選択し直すことも容易にできる。例えば、利用者は、格子面ＳＦ２の仮選択状態から、格子面ＳＦ３を選択する場合、音声方式では、「３番の面」等と入力する。ＨＭＤ１は、格子面ＳＦ３を仮選択状態にし、その面に属する複数の点Ｐ１についてＩＤマークＭ１を表示する。この際、ＨＭＤ１は、格子面ＳＦ３の９個の点Ｐ１について、格子面ＳＦ２で使用したＩＤ（１～９）と同じＩＤを再使用して表示してもよいし、異なるＩＤ（例えば元々格子Ｋ１に一意に付与されていたＩＤ）を表示してもよい。各格子面で同じＩＤを使用する場合、表示面５に表示されるＩＤ値の範囲を例えば１～９のように限定できる。

他の制御例として、表示面５内に、格子面を指定するためのボタンを設けてもよく、そのボタンをＩＤマークＱ１の代わりに使用してもよい。他の制御例として、ＨＭＤ１は、表示面５内に、格子面を表すＩＤマークＱ１等を表示しない。ＨＭＤ１は、利用者がある点Ｐ１を仮選択または選択確定した場合、あるいはカーソル等を近付けた場合に、その点Ｐ１が属する奥行き方向での格子面を仮選択状態にし、ＩＤマークＭ１を表示する。

図３３は、３次元格子の他の表示例を示す。表示面５の画像３３１において、格子Ｋ１が表示されている。この格子Ｋ１は、最初、点Ｐ１には点画像やＩＤマークＭ１が表示されていない。利用者は、格子面、例えば格子面ＳＦ２を選択する。利用者は、格子面を指定するためのボタン３３２を用いて格子面を選択してもよい。ＨＭＤ１は、操作に従い、指定の格子面ＳＦ２に属する点Ｐ１について、点画像（例えば黒丸）を表示する。点画像に加え、ＩＤマークＭ１が表示されてもよい。

他の制御例として以下としてもよい。ＨＭＤ１は、利用者の操作に基づいて、３次元の格子Ｋ１内で、仮想物体を移動させる。まず、対象仮想物体が配置されている移動元の点Ｐ１が属する格子面と、移動先の格子面とが同じである場合、ＨＭＤ１は、それらの両方が属する格子面における各点Ｐ１のＩＤマークＭ１を表示し、操作を受け付ける。移動元の点Ｐ１が属する格子面と、移動先の格子面とが異なる場合、ＨＭＤ１は、移動先の格子面における各点Ｐ１のＩＤマークＭ１を表示し、操作を受け付ける。

他の制御例として、格子Ｋ１の格子線を選択操作することで、対応する格子面を選択可能としてもよい。例えば、図３３で、格子線３３３が選択操作された場合、その格子線３３３は、格子面ＳＦ２に属しているので、格子面ＳＦ２の選択として対応付けることができる。

［格子制御（２）］
図３４は、３次元の格子Ｋ１の点Ｐ１のＩＤに関する他の表示制御例を示す。図３４の３次元の格子Ｋ１は、図３２と同様に、各格子面をＩＤマークＱ１で指定できる構成を有する。この構成では、利用者は、格子面のＩＤマークＱ１の操作によって、格子面間での仮想物体の移動または交換が可能であり、あるいは格子面自体の移動または交換が可能である。例えば、第１状態で、利用者の作業に基づいて、ＩＤ＝１のＩＤマークＱ１で表す前面の格子面ＳＦ１（例えば中央の行）において、複数の仮想物体３４１（例えば仮想物体Ｖ１，Ｖ２，Ｖ３）が配置されている。次に、利用者は、格子面ＳＦ１の複数の仮想物体３４１を、格子面ＳＦ２に移動させたいとする。この際、利用者は、例えば、音声方式では、「１番の面のオブジェクトを２番の面に移動」等と入力する。利用者は、カーソル方式等では、まず対象格子面としてＩＤ＝１のＩＤマークＱ１によって格子面ＳＦ１を指定し、次に、移動先の格子面としてＩＤ＝２のＩＤマークＱ１によって格子面ＳＦ２を指定する。

ＨＭＤ１は、操作に従い、格子面ＳＦ１に配置されている複数の仮想物体３４１をまとめて格子面ＳＦ２に移動する。この際、ＨＭＤ１は、移動前後の格子面間で、仮想物体３４１が配置される点Ｐ１の位置関係をなるべく維持する。例えば、格子面ＳＦ２の全点Ｐ１が空いている場合、格子面ＳＦ２の中央の行におけるＩＤ＝４，５，６の点Ｐ１に対し、複数の仮想物体３４１が配置される。ＨＭＤ１は、格子面ＳＦ２の対応する位置の点Ｐ１に仮想物体が配置済みである場合には、格子面ＳＦ２内の空いている他の点Ｐ１を選び、複数の仮想物体３４１を配置してもよい。ＨＭＤ１は、格子面ＳＦ２に空いている点Ｐ１が不足し複数の仮想物体３４１を配置できない場合には、その旨を利用者に伝える。

なお、格子面間で１個の仮想物体を移動することも同様に可能である。例えば、格子面ＳＦ１の仮想物体Ｖ１のみを格子面ＳＦ２に移動したいとする。その場合、操作は、例えば、音声方式では、「Ａのオブジェクトを２番の面に移動」または「Ａのオブジェクトを背面（または奥）に移動」等の入力とすればよい。面のＩＤを指定しなくても、相対的な位置関係（例えば「背面」等）の指定があれば、移動が可能である。

他の制御例として、格子面間で配置仮想物体を交換してもよい。この交換は、格子面の移動や交換と捉えてもよい。例えば、格子面ＳＦ１上の仮想物体と、格子面ＳＦ２上の仮想物体とを交換する場合、以下のようになる。利用者は、ＩＤマークＱ１を用いて、移動元の格子面ＳＦ１のＩＤ＝１、および移動先の格子面ＳＦ２のＩＤ＝２を指定する。ＨＭＤ１は、この操作に従い、格子面ＳＦ１を仮想物体Ｖ１，Ｖ２，Ｖ３と共に格子面ＳＦ２の位置に移動し、格子面ＳＦ２を格子面ＳＦ１の位置に移動する。また、格子面の移動は、格子Ｋ１全体での循環的な移動としてもよい。例えば、ＨＭＤ１は、格子面ＳＦ１を格子面ＳＦ２の位置に移動させる場合、それに伴い、格子面ＳＦ２を格子面ＳＦ３の位置に移動させ、格子面ＳＦ３を格子面ＳＦ１の位置に移動させる。

上記制御例は、奥行き方向（軸Ｘ_Ｌ）での例を示したが、左右方向（軸Ｙ_Ｌ）や上下方向（軸Ｚ_Ｌ）でも同様の制御が可能である。上記制御例によれば、利用者の視点位置に対し奥行き方向に離れた位置に対しても、仮想物体の配置や移動がしやすい。また、奥行き方向で複数の仮想物体が配置されて重なって見える場合でも、上記操作によって、所望の仮想物体を前面に持ってきて見やすい状態にすることができる。

［格子制御（３）］
図３５は、３次元格子に関する他の表示制御例を示す。（Ａ）の画像３５１は、表示面５内に３次元の格子Ｋ１が表示されている。この格子Ｋ１は、同様に、奥行き方向で３つの格子面（格子面ＳＦ１，ＳＦ２，ＳＦ３）を有する。例えば、前側の格子面ＳＦ１と中間の格子面ＳＦ２にはそれぞれ仮想物体が配置されている。格子面ＳＦ１の中央行には仮想物体ｖ１１，ｖ１２，Ｖ１３が配置されている。格子面ＳＦ２の中央行には仮想物体Ｖ１，Ｖ２，Ｖ３が配置されている。格子Ｋ１は、点Ｐ１のＩＤマークＭ１が表示されていない。本例では、利用者の視点から奥行き方向で前後に複数の仮想物体が重なっている。例えば、仮想物体ｖ１１と仮想物体Ｖ１とが重なっており、対応する位置の点Ｐ１が認識しにくい。この場合、その点Ｐ１の選択等がしにくい場合がある。そこで、ＨＭＤ１は、利用者の所定の指示操作に応じて、格子Ｋ１に配置されている仮想物体の表示のオン／オフを切り替える。あるいは、ＨＭＤ１は、所定の指示操作に応じて、格子Ｋ１上の仮想物体の表示を、透過状態に切り替える。

（Ａ）の画像３５１の状態では、格子Ｋ１上の仮想物体が通常表示されている。利用者は、全点Ｐ１を認識しやすくしたい場合、指示操作として、例えば、音声方式では、「オブジェクト透過（またはオブジェクト表示オフ）」等と入力する。あるいは、表示面５内に表示されるオブジェクト透過ボタン３５２等を代わりに用いてもよい。ＨＭＤ１は、操作に従い、（Ｂ）の画像３５１ｂの状態のように、格子Ｋ１に配置されている全仮想物体を透過状態（例えば輪郭線のみが破線で表示される状態）にする。これにより、利用者は、格子Ｋ１の各点Ｐ１を認識しやすくなり、移動先の点Ｐ１の指定等が容易になる。

他の制御例として、ＨＭＤ１は、利用者がある格子面を選択操作した場合に、その格子面の仮想物体のみを通常状態で表示し、他の格子面の仮想物体を透過状態に表示してもよい。また、ＨＭＤ１は、他の格子面の点Ｐ１や格子線等のすべてを非表示状態にしてもよい。あるいは、ＨＭＤ１は、選択された格子面よりも前側にある全格子面の仮想物体を透過状態に表示してもよいし、点Ｐ１等のすべてを非表示状態にしてもよい。

［格子制御（４）］
図３６は、３次元格子に関する他の表示制御例を示す。この制御例では、格子Ｋ１のうちの格子線を操作することで、点Ｐ１のグループの操作を可能とする。ＨＭＤ１は、表示面５内に、格子Ｋ１の格子線（例えば実線の直線）を表示する。各点Ｐ１間に格子線がある。例えば、前側の格子面ＳＦ１において、格子線ＫＬ１１，ＫＬ１２等を有する。本例の格子Ｋ１は、最初、点Ｐ１のＩＤマークＭ１が表示されていない。利用者は、仮想物体の移動の際に、格子線を指定する所定の操作を行う。所定の操作は、例えば、操作器２のカーソルを用いる方式の場合、カーソルによって格子線を指し示す操作である。本例は、格子線ＫＬ１１を指定する場合を示す。格子線ＫＬ１１は、格子面ＳＦ１の一方端（点ｐ１）から他方端（点ｐ３）までの線とする。

ＨＭＤ１は、例えば格子線ＫＬ１１が指定された場合、その格子線ＫＬ１１を強調表示（例えば太くする、色を変える等）する。ＨＭＤ１は、その格子線ＫＬ１１上に有する全点Ｐ１（例えば点ｐ１，ｐ２，ｐ３）の表示状態を変更する。例えば、ＨＭＤ１は、その格子線ＫＬ１１上の全点Ｐ１について、円形のＩＤマークＭ１を表示する（例えばＩＤ＝１，２，３）。ＨＭＤ１は、それらの点Ｐ１（点ｐ１，ｐ２，ｐ３）を仮選択状態にする。これにより、利用者は、まず、指定した格子線ＫＬ１１に対応する１列の複数の点Ｐ１を仮選択できる。利用者は、さらに、その仮選択した格子線ＫＬ１１上の点Ｐ１から、所望の１個の点Ｐ１を指定できる。例えば、利用者は、カーソルを点ｐ２に合わせることで、その点ｐ２を指定して選択確定状態にできる。この操作の際、格子Ｋ１の他の格子線上の点Ｐ１については指定ができない。他の制御例として、格子線毎に格子線識別情報を持つＩＤマークを表示して操作可能としてもよい。

［格子制御（５）］
図３７は、３次元格子に関する他の表示制御例を示す。この制御例は、図３６の制御例の変形例である。図３７の格子Ｋ１は、最初、点Ｐ１にＩＤマークＭ１が表示されていない。利用者は、格子Ｋ１のうち、ある１個の点Ｐ１、例えば中央の点ｐ１を、例えば操作器２によって指し示したとする。その場合に、ＨＭＤ１は、その点ｐ１を強調表示し、その点ｐ１に対し、３つの方向（Ｘ，Ｙ，Ｚ）の格子線（例えば格子線ＫＬ３１，ＫＬ３２，ＫＬ３３）を強調表示する。この格子線は、格子Ｋ１の一方端から他方端までの線としてもよいし、隣接する点Ｐ１間の部分の線としてもよい。また、ＨＭＤ１は、それらの３本の格子線に属する全点Ｐ１、例えば点ｐ１に対し隣接する点ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ７を強調表示する。ＨＭＤ１は、例えばそれらの合計７個の点ｐ１～ｐ７に、円形のＩＤマークＭ１を表示する。例えば、点ｐ１～ｐ７には、ＩＤ＝１～７が表示されている。また、このＩＤは、数字に限らず、“左”，“右”，“上”，“下”，“前”，“後”のようにしてもよい。ＨＭＤ１は、上記３本の格子線および７個の点Ｐ１を仮選択状態にする。利用者は、仮選択状態の部分から所望の１個の点Ｐ１を指定することができる。

［格子制御（６）］
図３８は、３次元格子に関する他の構成例を示す。３次元の格子Ｋ１についても、前述の図１６と同様に、ブロックの概念を適用できる。利用者は、ブロック毎の選択操作ができる。本例では、格子Ｋ１のうち、８個の頂点から成る立方体の部分が１個のブロックである。ＨＭＤ１は、ブロック毎に、ブロックＩＤを表すＩＤマーク３８１を表示する。利用者は、所定の操作によって、対象仮想物体を指定し、配置先のブロックを指定し、そのブロックの領域内に対象仮想物体を配置することができる。本例では、あるブロックの付近にカーソルが近付いた場合に、そのブロック（対応する点Ｐ１および格子線）が強調表示され、そのブロックに対し線でつなげてＩＤマーク３８１（例えばＩＤ＝Ｂ１）が表示されている。ブロックに配置される仮想物体には、方向３８２等も設定できる。

上記の各種の制御例において、対象仮想物体、または点Ｐ１、またはグループ等を指定した場合の選択状態は、利用者の所定の操作によって解除できる。この操作は、例えば、「解除」の音声入力や解除ボタン等の操作としてもよいし、格子Ｋ１の外側の空いている箇所を指し示す操作等としてもよい。

［格子制御（７）］
図３９は、３次元格子に関する他の表示制御例を示す。奥行き方向に格子Ｋ１の複数の点Ｐ１または複数の仮想物体が重なっている場合、利用者からはそれらが見にくい、または操作しにくい場合がある。そこで、ＨＭＤ１は、それらを見やすく、操作しやすくために以下のような制御を行う。図３９の画像３９１の例では、格子Ｋ１の中央付近で、視線方向に対応する奥行き方向（軸Ｘ_Ｌ）に、３個の点Ｐ１（点ｐ１，ｐ２，ｐ３とする）が並んでいる。表示面５内でそれら３個の点Ｐ１が密集しており、利用者から見にくい。そこで、ＨＭＤ１は、例えば３個の点Ｐ１（ｐ１，ｐ２，ｐ３）について、自動的に、またはカーソル等で指し示された場合に、見やすくなるように表示状態を変更する。

（Ｂ）の画像３９１ｂは、変更後の表示状態を示す。ＨＭＤ１は、３個の点Ｐ１（点ｐ１，ｐ２，ｐ３）について、（Ａ）の軸Ｘ_Ｌの方向とは異なる方向で表示する。本例では、ＨＭＤ１は、前側の格子面ＳＦ１の中央の点Ｐ１である点ｐ１からつなげるように直線３９２（例えば点線）を表示し、その直線３９２上に、３個の点ｐ１，ｐ２，ｐ３を並べ、対応するＩＤマークＭ１を表示する。直線３９２の方向は、軸Ｘ_Ｌの方向以外の方向とされ、格子Ｋ１の他の格子線や点Ｐ１がなるべく無い領域に配置される。特に、直線３９２の方向は、例えば利用者の手指の方向、操作器２のビームの方向、または視線方向等になるべく合わせる方向としてもよい。また、直線３９２上に並べる複数の点Ｐ１についてのＩＤマークＭ１は、遠近感に合わせて表示サイズを異ならせてもよい。

上記制御例は、仮想物体の重なりに関しても同様に適用できる。（Ａ）の画像３９１で、点ｐ１の右側の点Ｐ１（例えば点ｐ４）の位置には、奥行き方向に、３個の仮想物体、例えば仮想物体Ｖ１，Ｖ２，Ｖ３が配置されて重なって見える。そこで、ＨＭＤ１は、（Ｂ）の画像３９１ｂのように、点ｐ４からつながる直線３９３上に、仮想物体Ｖ１，Ｖ２，Ｖ３および対応するラベルを並べて表示する。直線３９３の方向は、例えば操作器２のビームの方向に対し９０度程度の方向とする場合を示す。直線３９２や直線３９３は、曲線等としてもよい。

［効果等］
上記のように、実施の形態１のＨＭＤ１によれば、現実空間に対し仮想物体を配置する際に、利用者の手間が少なく、使い勝手が良好で、好適に配置することができる。実施の形態１によれば、格子および座標系の制御を用いることで、少ない手間や短時間で、複数の仮想物体を好適に配置や移動することができる。利用者は、複数の仮想物体を用いて、効率的な作業が実現できる。実施の形態１によれば、様々なアプリケーションに関して、サポートを提供でき、アプリケーションの使い勝手を高めることができる。利用者は、格子を用いて、複数の仮想物体を整列して見やすく配置することができる。実施の形態１によれば、利用者の視点から見て奥行き方向に仮想物体を配置する場合でも、容易に位置決め等が可能であり、遠くに配置することも可能である。以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。本発明は、ＨＭＤに限らず他の表示装置にも適用可能である。

１…ＨＭＤ、２…操作器、３…サーバ、４…ＰＣ、５…表示面、Ｋ１…格子、Ｐ１…基準点、Ｍ１…ＩＤマーク、Ｎ１…ＩＤマーク、１１１，１１１ｂ…画像、１１０，Ｖ１，Ｖ２，Ｖ３…仮想物体、４０３…実物。

Claims (4)

1. 利用者の操作に基づいて空間内に仮想物体を配置および表示するヘッドマウントディスプレイ装置であって、
   表示面に、前記仮想物体の操作をサポートするための複数の点を含む格子を表示し、
   対象仮想物体の指定と配置先の第１点の指定とを含む操作に応じて、前記対象仮想物体を前記第１点の位置に配置し表示し、
   前記格子の前記複数の点における点毎に、識別情報を持つ画像を表示し、
   前記仮想物体毎に、仮想物体識別情報を持つ画像を表示し、
   前記操作は、前記仮想物体識別情報の指定、または前記識別情報の指定を含み、
   前記表示面に表示されている移動元の前記対象仮想物体の指定、または前記対象仮想物体が配置されている第２点の指定と、前記第１点の指定とを含む前記操作に応じて、前記移動元の前記対象仮想物体を前記第１点の位置へ移動する、
   ヘッドマウントディスプレイ装置。
2. 請求項１記載のヘッドマウントディスプレイ装置において、
   前記仮想物体は、アプリケーションプログラムによって作成された画像と、前記アプリケーションプログラムのアイコン、前記アプリケーションプログラムのウィンドウ、システム情報、およびコマンドボタンを含むグラフィカル・ユーザ・インタフェースの画像とを有する、
   ヘッドマウントディスプレイ装置。
3. 利用者の操作に基づいて空間内に仮想物体を配置および表示するヘッドマウントディスプレイ装置であって、
   表示面に、前記仮想物体の操作をサポートするための複数の点を含む格子を表示し、
   対象仮想物体の指定と配置先の第１点の指定とを含む操作に応じて、前記対象仮想物体を前記第１点の位置に配置し表示し、
   前記格子の前記複数の点における点毎に、識別情報を持つ画像を表示し、
   前記仮想物体毎に、仮想物体識別情報を持つ画像を表示し、
   前記操作は、前記仮想物体識別情報の指定、または前記識別情報の指定を含み、
   前記表示面に表示されていない前記対象仮想物体の指定と、前記第１点の指定とを含む前記操作に応じて、前記対象仮想物体を前記第１点の位置へ配置する、
   ヘッドマウントディスプレイ装置。
4. 請求項３記載のヘッドマウントディスプレイ装置において、
   前記仮想物体は、アプリケーションプログラムによって作成された画像と、前記アプリケーションプログラムのアイコン、前記アプリケーションプログラムのウィンドウ、システム情報、およびコマンドボタンを含むグラフィカル・ユーザ・インタフェースの画像とを有する、
   ヘッドマウントディスプレイ装置。

Images