JP7547504B2 - 表示装置および表示方法 - Google Patents

Description

本発明は、表示装置や情報処理装置の技術に関し、仮想オブジェクト等の画像を表示する技術に関する。

近年、仮想オブジェクト等の画像を表示できる表示装置が広く用いられるようになってきた。一例として、ユーザの頭部に装着され表示部やカメラ部等を備えるヘッドマウント情報処理装置（いわゆるヘッドマウントディスプレイ：ＨＭＤ）が挙げられる。ヘッドマウント情報処理装置は、現実空間の実体物や仮想オブジェクトを表示し、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、あたかも現実世界のその場に仮想の物体が存在するかのような体験を行わせることができる。表示方式としては、いわゆるビデオシースルー型や光学シースルー型がある。ビデオシースルー型の場合は、実体物および仮想オブジェクトに対応する画像を生成して頭部前面の表示部で表示する。光学シースルー型の場合は、目の前の実体物を視認可能としつつ、それに重畳させて仮想オブジェクトの画像を表示部で表示する。

上記表示装置に係わる先行技術例として、特開２０１５－０９０６３５号公報（特許文献１）が挙げられる。特許文献１には、「ユーザの視界を確保しつつ、情報を適切に表示する」旨や以下の旨が記載されている。透過型ヘッドマウントディスプレイを有する情報表示システムであって、制御部は、使用者の両眼の撮像データに基づいて、使用者の注視点を検出し、注視点に基づいて、使用者が仮想スクリーン上を注視しているか、仮想スクリーンの先の背景を注視しているかを判定し、使用者の視線領域と、仮想スクリーン上のオブジェクトの表示位置とが重なっているかを判定し、注視点が移動した場合に、判定結果に基づいて、オブジェクトの表示位置及び／又は表示形態を変更する。

特開２０１５－０９０６３５号公報

従来のヘッドマウント情報処理装置のような表示装置では、現実空間の実体物と仮想オブジェクトとが重なって表示された場合に、それらの配置関係やユーザ視線位置によっては、ユーザが視認したい実体物や仮想オブジェクトが他の実体物や仮想オブジェクトによって遮蔽されてしまい、視認がしにくい場合や視認が妨害される場合がある。

特許文献１では、実体物をリアルにシースルーするとともに仮想オブジェクトを仮想スクリーン上に表示するＨＭＤにおいて、ユーザの注視点に基づいて、ユーザが仮想スクリーン上を注視しているのか、背景を注視しているのかを判定すると共に、視線が仮想スクリーン上のオブジェクトに重なっているか否かを判定し、双方の判定結果に応じて、仮想オブジェクトの表示位置及び／又は表示形態を変更する旨が記載されている。特許文献１では、ユーザが注視している対象が仮想オブジェクトで重なり覆われている場合には、情報表示システムが仮想オブジェクトの表示位置あるいは透過度による表示形態を変更して表示する旨は記載されている。しかし、特許文献１では、視線上での視認妨害を排除することは考慮されているが、それだけであり、ユーザが視認したい範囲に対する妨害に対しては何ら考慮されていない。また、特許文献１では、実体物および仮想オブジェクトが３次元（Three -Dimensional：３Ｄ）配置される際の遮蔽関係を反映した表示についても何ら示唆されていない。

本発明の目的は、３次元配置の仮想オブジェクトを表示できるヘッドマウント情報処理装置のような表示装置の技術に関して、ユーザが視認したい実体物や仮想オブジェクト等のオブジェクトの視認範囲に対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、その視認妨害を解消または軽減でき、ユーザがオブジェクトの全容を好適に視認することができ、そのような機能をユーザの手間が少なく使い勝手良く実現できる技術を提供することである。上記以外の課題や効果等については、［発明を実施するための形態］において示される。

本発明のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の表示装置は、画像を表示する表示デバイスと、前記画像の表示を制御するプロセッサと、を備え、前記表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと３次元配置される仮想オブジェクトとのうち少なくとも前記仮想オブジェクトを表示し、ユーザが注視を望む前記オブジェクトを目標オブジェクトとして確定し、前記ユーザが前記目標オブジェクトを視認する際に妨害となる前記オブジェクトを妨害オブジェクトとして検出し、前記妨害オブジェクトがある場合、前記目標オブジェクトの視認に対する前記妨害オブジェクトによる妨害を解消または低減するように、前記目標オブジェクトと前記妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行う。

本発明のうち代表的な実施の形態によれば、３次元配置の仮想オブジェクトを表示できるヘッドマウント情報処理装置のような表示装置の技術に関して、ユーザが視認したい実体物や仮想オブジェクト等のオブジェクトの視認範囲に対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、その視認妨害を解消または軽減でき、ユーザがオブジェクトの全容を好適に視認することができ、そのような機能をユーザの手間が少なく使い勝手良く実現できる。

本発明の実施の形態１の表示装置であるヘッドマウント情報処理装置（ＨＭＤ）の構成概要および表示例を示す。 実施の形態１で、オブジェクトの分類、遮蔽妨害関係、およびカテゴリーについて示す。 実施の形態１で、透過度調整の場合の表示例を示す。 実施の形態１で、透過度調整の場合の表示例を示す。 実施の形態１で、縮小／拡大の場合の表示例を示す。 実施の形態１で、表示位置移動の場合の表示例を示す。 実施の形態１で、表示位置移動の場合の表示例を示す。 実施の形態１で、複製表示の場合の表示例を示す。 実施の形態１で、主な処理フローを示す。 実施の形態１で、機能ブロック構成例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、動作例の処理フローを示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 実施の形態１で、表示例を示す。 本発明の実施の形態２の表示装置における、表示例を示す。 実施の形態２で、表示例を示す。 実施の形態２で、補足説明図を示す。 実施の形態２で、動作例の処理フローを示す。 各実施の形態で、オブジェクトデータの例を示す。 本発明の実施の形態３の表示装置における、共有の第１例を示す。 本発明の実施の形態３の表示装置における、共有の第２例を示す。 実施の形態３で、表示例を示す。 実施の形態３で、表示例を示す。 実施の形態３で、表示例を示す。 実施の形態３で、表示例を示す。 実施の形態３で、表示例を示す。 本発明の実施の形態４の表示装置における、表示例を示す。 実施の形態４の変形例における、表示例を示す。 本発明の実施の形態５の表示装置における、表示例を示す。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、各構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合があり、本発明は、図面に開示された位置、大きさ、形状、および範囲等には必ずしも限定されない。特に限定しない場合、各構成要素は、単数でも複数でもよい。説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいは、そのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵやＧＰＵ等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ等が適用可能である。プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてインストールされてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体でもよい。プログラムは、複数のプログラムモジュールから構成されてもよい。説明上、各種のデータや情報を、例えばテーブルやリスト等の表現で説明する場合があるが、このような構造や形式には限定されない。また、各種の要素について識別するためのデータや情報は、識別情報、識別子、ＩＤ、名、番号等の表現で説明する場合があるが、これらの表現は互いに置換可能である。

＜実施の形態１＞
図１等を用いて、本発明の実施の形態１の表示装置および表示方法について説明する。実施の形態１の表示装置は、仮想オブジェクト表示装置であり、ヘッドマウント情報処理装置（ＨＭＤと記載する）に適用した場合を示す。実施の形態１の表示方法は、実施の形態１の表示装置で実行されるステップを有する方法である。

実施の形態１の表示装置は、仮想オブジェクトを表示可能な表示デバイス（言い換えるとディスプレイ）と、表示デバイスの仮想オブジェクトの表示を制御するプロセッサとを備え、表示デバイスの表示面に、オブジェクトとして、外界の実体物から切り出しまたは認識した個別実体オブジェクトを部分として含む外界の実体物と３次元配置の仮想オブジェクトとにおける少なくとも仮想オブジェクトを表示する。ビデオシースルー型の場合、オブジェクトである画像として、個別実体オブジェクトと仮想オブジェクトとが表示可能である。光学シースルー型の場合、オブジェクトとして、実体物に合わせるように仮想オブジェクトを表示可能である。

実施の形態１の表示装置は、ユーザが注視を望むオブジェクトである個別実体オブジェクトまたは仮想オブジェクトを目標オブジェクトとして判断・確定し、ユーザが目標オブジェクトを視認する際に妨害となるオブジェクトである個別実体オブジェクトまたは仮想オブジェクトを妨害オブジェクトとして検出する。実施の形態の表示装置は、妨害オブジェクトの存在を検出した場合、目標オブジェクトの視認に対する妨害オブジェクトの妨害を解消または低減するように、目標オブジェクトと妨害オブジェクトとの少なくとも一方の表示態様の変更を行う。

［１．表示装置（ＨＭＤ）］
図１は、実施の形態１の表示装置であるヘッドマウント情報処理装置（ＨＭＤ）１の構成概要および表示例を示す。図１では、ユーザＵ１が頭部にＨＭＤ１を装着した状態での外観の模式構成を示す。また図１では、ユーザＵ１がＨＭＤ１によって視界範囲１０１に表示される３次元的なオブジェクトの画像を見る様子を示す。また図１では、視界範囲１０１でのオブジェクトの表示態様の変更の例を示す。（ａ）は変更前の表示例であり、「Ａ」「Ｂ」のオブジェクトにおいて遮蔽妨害関係がある場合を示す。（ｂ）は変更後の表示例であり、「Ａ」「Ｂ」のオブジェクトにおいて遮蔽妨害関係が一時的に解消されている状態を示す。

ＨＭＤ１は、ユーザＵ１の頭部に装着され、オブジェクト等の画像をユーザＵ１の視界範囲１０１内に表示する。視界範囲１０１は、ＨＭＤ１に備える表示デバイスの表示面１１と対応付けられる。オブジェクトは、実体物の一部である個別実体オブジェクト、または、３次元配置される仮想オブジェクトである。ユーザＵ１は、視界範囲１０１内に、例えばオブジェクト１０２，１０３を視認できる。例えば、オブジェクト１０２は、直方体形状で「Ｂ」と記載された仮想オブジェクトである。オブジェクト１０３は、直方体形状で「Ａ」と記載された仮想オブジェクトである。ユーザＵ１から見て、前側に配置されたオブジェクト１０３に対し、後側にオブジェクト１０２が配置されている。前側のオブジェクト１０３が後側のオブジェクト１０２の少なくとも一部を遮蔽することで、オブジェクト１０２の視認が妨害されている、言い換えると視認しにくくしている。このようなオブジェクト１０２，１０３（２つのオブジェクトの組）を、説明上、「遮蔽妨害関係」にあるオブジェクト等と記載する。

ユーザＵ１の両眼の視線として、左眼の視線１０４と右眼の視線１０５とがある。ユーザＵ１の両眼の視線１０４，１０５の向きによって、３次元の空間内でユーザＵ１が注視している位置である注視点１０６を算出できる。注視点１０６の付近に位置するオブジェクト、例えば「Ｂ」のオブジェクト１０２は、ユーザＵ１が対象・目標として注視し視認する所望のオブジェクトに対応付けられる。ＨＭＤ１は、両眼の視線および注視点に基づいて、このようなオブジェクトを目標オブジェクトとして判断・確定する。本例では、（ａ）で、注視点１０６が位置する「Ｂ」のオブジェクト１０２が目標オブジェクトとして確定される。ＨＭＤ１は、目標オブジェクトについて、目標視認範囲１０７を設定する。目標視認範囲１０７は、目標オブジェクトと関係を持つ、ユーザＵ１が視認したいと推定される範囲である。

一方、前側の「Ａ」のオブジェクト１０３は、ユーザＵ１が視認したいと意図している目標オブジェクトである「Ｂ」のオブジェクト１０２の目標視認範囲１０７の一部（例えば左下部分）を遮蔽している。この場合、ユーザＵ１は、遮蔽する「Ａ」のオブジェクト１０３によって、目標オブジェクトである「Ｂ」のオブジェクト１０２の目標視認範囲１０７の全容を視認することが妨害される。ＨＭＤ１は、このような視認を妨害するオブジェクトを妨害オブジェクトとして判断・検出する。ＨＭＤ１は、「Ａ」「Ｂ」のようなオブジェクト同士の関係を、「遮蔽妨害関係」として把握する。

ＨＭＤ１は、このような遮蔽妨害関係がある場合、これらのオブジェクトの表示態様を変更する。ＨＭＤ１は、例えば、目標視認範囲１０７内を遮蔽する妨害オブジェクトである「Ａ」のオブジェクト１０３の表示態様を変更する。具体的に、本例では、ＨＭＤ１は、視界範囲１０１内で、「Ａ」のオブジェクト１０３の表示位置を、目標視認範囲１０７の外の位置に変更する。言い換えると、ＨＭＤ１は、オブジェクト１０３を目標視認範囲１０７外の空いている位置に移動させて、移動後のオブジェクト１０３ａの状態に置き換える。この変更により、ＨＭＤ１は、目標視認範囲１０７の全てが何ら遮蔽されない状態にする。これにより、ユーザＵ１は、目標オブジェクトである「Ｂ」のオブジェクト１０２の目標視認範囲１０７の全容を視認できる。ＨＭＤ１は、妨害オブジェクトである「Ａ」のオブジェクト１０３を移動させる際には、オブジェクト１０３の元の表示位置および目標オブジェクトからなるべく離れないように移動後の表示位置を決めてもよい。上記遮蔽妨害関係のオブジェクトの表示態様の変更の例は、妨害オブジェクト側の表示位置を変更する例であるが、これに限らず、後述する各種の変更の方式が可能である。

なお、仮想オブジェクト等の情報・データは、ＨＭＤ１内で生成される場合と、ＨＭＤ１の外部、例えば情報サーバ１２０で生成され、外部ネットワークを介してＨＭＤ１に供給される場合とがあり、いずれでもよい。情報サーバ１２０では、大容量の情報を扱うことができ、例えば、高画質・高精細な仮想オブジェクトを生成・保持できる。外部装置は、他にも、ユーザの携帯情報端末や宅内機器等でもよい。

［目標オブジェクト］
ユーザＵ１が注視を望むオブジェクトである目標オブジェクトを指定・判断・確定するための手段として、実施の形態１では、図１の２つの視線方向１０４，１０５から算出できる３次元空間内での注視点１０６を用いる。ＨＭＤ１は、例えば、注視点１０６の位置に対して最も近いオブジェクトを目標オブジェクトと判断することができる。この手段は、これに限定されず、様々な手段が適用できる。他の手段は、リモートコントローラ等によるポインタ、音声入力、手によるジェスチャの認識等が挙げられる。ポインタを用いる場合、ユーザＵ１は、表示面に表示されるポインタを、リモートコントローラ等によって操作する。ＨＭＤ１は、視界範囲１０１内で、ポインタが位置するオブジェクト、あるいはさらにポインタのオン操作によって指定されたオブジェクトを、目標オブジェクトとして判断してもよい。音声入力の場合、ユーザＵ１は、表示されるオブジェクトを識別する情報を、音声で入力する。ＨＭＤ１は、入力された音声を認識し、例えば「Ｂ」と認識した場合、「Ｂ」のオブジェクト１０２を目標オブジェクトとして判断してもよい。

［オブジェクト］
図２を用いて、用語等について補足説明する。図２の（Ａ）は、「オブジェクト」の分類を示す。実施の形態１では、ＨＭＤ１が表示面１１に表示するオブジェクトとして、大別して２種類のオブジェクトがある。その２種類のオブジェクトを、「個別実体オブジェクト」と「仮想オブジェクト」と記載する。これらのオブジェクトは、遮蔽妨害関係を構成し得る要素である。実施の形態１のＨＭＤ１では、これらのオブジェクトは、表示面１１に対応する視界範囲１０１において３次元配置できるオブジェクトである。すなわち、これらのオブジェクトは、ユーザＵ１の視点から視界範囲１０１を見た奥行き方向において、前後にも配置できるオブジェクトである。前後に配置されたオブジェクト同士が重なることで、遮蔽妨害関係となる場合がある。

このオブジェクトは、必ずしも画像（表示装置が生成する画像を指す）ではない。「個別実体オブジェクト」は、実体物（言い換えると実像）に基づいたオブジェクトである。「個別実体オブジェクト」は、ビデオシースルー型の場合には、実体物から切り出された個別の実体物の画像である。「個別実体オブジェクト」は、光学シースルー型の場合には、実体物から切り出された（言い換えると認識された）個別の実体物であり画像ではない。「仮想オブジェクト」は、実体物に関連して、または実体物とは独立に、表示装置が生成する任意の仮想的な物体の画像である。

図２の（Ｂ）は、実施の形態１で、オブジェクトの遮蔽妨害関係のパターンを示す。上記２種類のオブジェクトが前後に配置されるパターンとして、４種類のパターンがある。第１パターンは、後側の個別実体オブジェクトに対し前側に個別実体オブジェクトが配置される。第２パターンは、後側の個別実体オブジェクトに対し前側に仮想オブジェクトが配置される。第３パターンは、後側の仮想オブジェクトに対し前側に個別実体オブジェクトが配置される。第４パターンは、後側の仮想オブジェクトに対し前側に仮想オブジェクトが配置される。実施の形態１のＨＭＤ１は、一部の例外を除いて、これらの各パターンの場合に、表示態様変更が適用可能である。

［表示例］
図３～図８は、ＨＭＤ１の表示面１１に対応する視界範囲１０１における表示例として、表示態様変更の各種の例を示す。

［表示例（１）］
図３の（Ａ）は、図１の（ａ）のような「Ａ」「Ｂ」のオブジェクトの遮蔽妨害関係がある場合に、表示態様変更として、前側の妨害オブジェクトである「Ａ」のオブジェクト１０３の透過度（言い換えると透明度）をアップする調整を行う例である。これにより、妨害オブジェクトが透けることで、一部遮蔽されている目標オブジェクトである「Ｂ」のオブジェクト１０２の目標視認範囲１０７内を視認しやすくする。これにより、ユーザＵ１は、目標オブジェクトの目標視認範囲１０７の全容を視認可能になる。本例では、ＨＭＤ１は、前側の妨害オブジェクトであるオブジェクト１０３の画像領域のうち、後側の目標視認範囲１０７を遮蔽している部分１０３Ｘだけ、透過度をアップ調整して透明に近づける場合を示す。この透過度アップ調整により、視認妨害の程度を軽減できる。

図３の（Ｂ）は、他の例であり、ＨＭＤ１は、前側の妨害オブジェクトのうち、目標視認範囲１０７を遮蔽している部分１０３Ｘだけ、透過度を最大の状態に調整する例である。すなわち、この透過度最大とされた部分１０３Ｘは、非表示状態になる。見え方としては、後側の「Ｂ」のオブジェクト１０２の目標視認範囲１０７が、一時的に「Ａ」のオブジェクト１０３の前側に来たような状態となる。これにより、目標視認範囲１０７が一切遮蔽されず、視認妨害を解消できる。

図４の（Ａ）は、他の例であり、妨害オブジェクトである「Ａ」のオブジェクト１０３の全てについて、同じ透過度アップ調整をした場合を示す。これにより、妨害オブジェクトの全てが透けて、目標視認範囲１０７が見えやすくなる。それとともに、妨害オブジェクトが同一の透明感で表示されるので、妨害オブジェクトも確認しやすい。

図４の（Ｂ）は、他の例であり、遮蔽している妨害オブジェクトである「Ａ」のオブジェクト１０３の全てについて、透過度最大である非表示状態にした場合を示す。この場合、妨害オブジェクトが全く見えないので、目標視認範囲１０７の全容が確認しやすい。上記図１～図４の例に示すように、妨害オブジェクトによる目標オブジェクトの目標視認範囲の視認妨害を表示態様変更によって解消できる、または視認妨害の程度を軽減できる。

［表示例（２）］
図５は、他の表示態様変更の例を示す。図５の（ａ）から（ｂ）への変更は、妨害オブジェクトである「Ａ」のオブジェクト１０３を縮小して、透過度アップ調整をした場合を示す。「Ａ」のオブジェクト１０３は、変更後、オブジェクト１０３ｂに置き換えられている。このように、ＨＭＤ１は、目標オブジェクトに対し妨害オブジェクトを小さくするようにサイズを変更する。これにより、妨害オブジェクトによる視認妨害の程度を一層軽減できる。また、妨害オブジェクトの縮小のみとしてもよく、目標視認範囲を確認しやすくなる効果は得られる。同様に、他の方式として、図５の（ａ）から（ｃ）への変更は、「Ａ」の妨害オブジェクトに対し、「Ｂ」の目標オブジェクトの方を拡大する変更を行う場合を示す。「Ｂ」のオブジェクト１０２は、変更後、拡大されたオブジェクト１０２ｃに置き換えられている。この場合でも、目標視認範囲を確認しやすくなる効果が得られる。

［表示例（３）］
図６は、妨害オブジェクトではなく目標オブジェクトの方の表示態様を変更する例を示す。例えば、目標オブジェクトが仮想オブジェクトであり、妨害オブジェクトが目標オブジェクトよりもユーザＵ１の視認違和感等の観点から、透過度アップ調整や表示位置変更に適してない仮想オブジェクトまたは個別実体オブジェクトであるとする。この場合には、図６等に示すような目標オブジェクトの表示態様の変更が有用である。

図６は、目標オブジェクトの表示位置を変更する場合を示す。（ａ）の変更前の状態で、前側に「Ｃ」のオブジェクト１０９、後側に仮想オブジェクトである「Ｂ」のオブジェクト１０２が配置されている。目標オブジェクトは「Ｂ」のオブジェクト１０２である。「Ｂ」の目標オブジェクトの目標視認範囲１０７の一部が、「Ｃ」のオブジェクト１０９によって遮蔽されている。前側の「Ｃ」のオブジェクト１０９は、透過度アップ調整や表示位置変更等に適してない仮想オブジェクトまたは個別実体オブジェクトである。（ｂ）は変更後の状態を示す。ＨＭＤ１は、目標オブジェクトである「Ｂ」のオブジェクト１０２の表示位置を、妨害オブジェクトである「Ｃ」のオブジェクト１０９の遮蔽範囲外に移動する。「Ｂ」のオブジェクト１０２および目標視認範囲１０７は、移動後のオブジェクト１０２ｂおよび目標視認範囲１０７ｂに置き換えられている。これにより、目標視認範囲１０７ｂの全容が見える状態となっている。この移動に伴い、ユーザＵ１の注視点は、例えば注視点１０６から注視点１０６ｂに移動する。これにより、ユーザＵ１は、注視点１０６ｂに位置する移動後のオブジェクト１０２ｂの目標視認範囲１０７ｂの全容を視認できる。これは、元のオブジェクト１０２の目標視認範囲１０７の全容の視認に等しい。

ＨＭＤ１は、目標オブジェクトの移動の際には、視界範囲１０１内で空いている位置、すなわち他のオブジェクトの視認を妨害しない位置へ移動させる。本例では、「Ｂ」「Ｃ」のオブジェクトに対し、左側が空いているので、左側に移動させている。

図７は、他の表示態様変更の例を示す。ＨＭＤ１は、遮蔽妨害関係にある「Ａ」「Ｂ」のオブジェクトについて、目標オブジェクトと妨害オブジェクトとの双方を移動させてもよい。双方のオブジェクトの移動は、ディスプレイの画角が小さい場合等に有効である。（ａ）から（ｂ）への変更では、目標オブジェクトである「Ｂ」のオブジェクト１０２と妨害オブジェクトである「Ａ」のオブジェクト１０３とを互いに離れる方向（本例では左右方向）に移動させている。これにより、目標視認範囲１０７の全容が見える状態になる。

［表示例（４）］
図８は、さらに他の表示態様変更の方式として、オブジェクトの移動ではなく、複製オブジェクトの表示の方式を示す。（ａ）から（ｂ）への変更では、ＨＭＤ１は、妨害オブジェクトである「Ａ」のオブジェクト１０３によって一部遮蔽されている目標オブジェクトである「Ｂ」のオブジェクト１０２については、そのままの表示とする。さらに、ＨＭＤ１は、「Ｂ」のオブジェクト１０２の複製オブジェクト１０２ｒを生成して空いている位置（例えば左側の位置）に表示する。また、ＨＭＤ１は、複製オブジェクト１０２ｒの表示とともに、ユーザＵ１に対し複製であることを伝える情報を表示してもよい。ＨＭＤ１は、複製オブジェクト１０２ｒの目標視認範囲１０７ｒの全容が見える状態にする。これにより、ユーザＵ１は、移動後の注視点１０６ｒで、複製オブジェクト１０２ｒの目標視認範囲１０７ｒの全容を視認できる。これは、元のオブジェクト１０２の目標視認範囲１０７の全容の視認と等しい。この方式の場合、ユーザＵ１は、複製オブジェクトを利用した目標オブジェクトの全容の視認と共に、元の「Ｂ」のオブジェクト１０２と「Ｃ」のオブジェクト１０３との配置関係もそのまま維持して把握できる。

上記のように、実施の形態１のＨＭＤ１は、妨害オブジェクトによって目標オブジェクトの目標視認範囲の少なくとも一部が遮蔽される場合に、少なくとも一方のオブジェクトの表示位置、透過度、サイズ、または複製等の表示態様変更を行う。各変更方式は、組み合わせでも適用できる。これにより、妨害オブジェクトによる目標オブジェクトの視認妨害を解消、または視認妨害の程度を軽減できる。ＨＭＤ１は、遮蔽妨害関係の詳細も考慮して、表示態様変更の詳細を決定する。例えば、ＨＭＤ１は、妨害オブジェクトの表示態様変更が適さない場合等には、目標オブジェクト側の表示態様変更を行う。

［表示態様変更状態の伝達］
ＨＭＤ１は、オブジェクト間の遮蔽妨害関係がある場合に、上記例のようにオブジェクトの表示態様の変更を一時的に行う。この際に、ＨＭＤ１は、ユーザＵ１に対し、一時的に表示態様変更が行われている状態であることをわかりやすく伝えるようにＧＵＩ等で出力を行ってもよい。例えば、ＨＭＤ１は、表示面に表示態様変更中の旨の画像を表示してもよい。図３の（Ｂ）の画像１３０はその例である。また例えば、ＨＭＤ１は、オブジェクトの表示位置を変更する際に、アニメーションやエフェクト等を用いて、変更している状態を表現してもよいし、変更後のオブジェクトを特定の色等で表示してもよい。

また、ＨＭＤ１は、上記表示態様変更の処理中には、注視点の判断処理を一時的にロックしてもよい。これにより、例えば図６のオブジェクト表示位置変更のような場合に、それに伴って注視点１０６の移動が生じる場合に、目標オブジェクトの判断を誤ってしまうことを防止できる。

［処理フロー］
図９は、実施の形態１のＨＭＤ１の基本動作を説明するための主な処理フローを示す。図９のフローは、ステップＳ１～Ｓ８を有する。ステップＳ１で、ＨＭＤ１は、図１のユーザＵ１の両眼の視線（１０４，１０５）の検出に基づいて、ユーザＵ１が空間内で注視している注視点１０６を検出する。ＨＭＤ１は、検出した注視点１０６の位置に基づいて、ユーザＵ１が視認しようとしている所望のオブジェクトであると推定される目標オブジェクトを判断・確定する。ＨＭＤ１は、３次元の空間内での各オブジェクトの位置および注視点１０６の位置を把握しているので、それらの位置を比較し、例えば注視点１０６の位置に最も近い位置にあるオブジェクトを、目標オブジェクトとして判断・確定できる。なおここでは注視点１０６を用いて目標オブジェクトを確定しているが、変形例については後述する。

次にステップＳ２で、ＨＭＤ１は、上記確定した目標オブジェクトについて、ユーザＵ１が視認したいと意図していると推測される目標視認範囲を選択して確定する。例えば、図１等の例では、目標視認範囲は、目標オブジェクトの見た目の表示範囲（形状に沿って画素がある画像領域）と同じ画像領域として選択される。これに限らず、目標視認範囲は、目標オブジェクトを包含する画像領域（例えば外接矩形や外接楕円等）として選択されてもよい。あるいは、目標視認範囲は、注視点を中心とした所定の大きさの矩形や楕円等の領域としてもよい。

ステップＳ３で、ＨＭＤ１は、上記確定した目標オブジェクトの目標視認範囲を遮蔽妨害する妨害オブジェクトが存在するかどうかを判断する。例えば、ＨＭＤ１は、目標視認範囲のうち所定の割合以上の範囲が、前側にあるオブジェクトによって遮蔽されている場合に、妨害オブジェクトが存在すると判断してもよい。妨害オブジェクトが存在する場合（Ｙ）には、ステップＳ４へ進み、存在しない場合（Ｎ）にはステップＳ４を飛ばす。

ステップＳ４で、ＨＭＤ１は、目標オブジェクトの目標視認範囲を遮蔽しないように、オブジェクトの表示態様の変更を行う。表示態様の変更の方式は、前述の例のように、妨害オブジェクトと目標オブジェクトとの少なくとも一方のオブジェクトについて、表示位置、透過度、サイズ、および複製等の方式から好適な方式を選択できる。特に、ＨＭＤ１は、妨害オブジェクトが目標オブジェクトよりも表示態様変更に適していない場合等には、目標オブジェクトの表示態様変更を行う方式を選択する。

ステップＳ５で、ＨＭＤ１は、上記表示態様変更を行った場合、表示態様変更後の状態を一定時間維持する。これにより、ユーザＵ１は、その状態で、目標オブジェクトの目標視認範囲の全容を視認できる。妨害オブジェクトが無い場合（Ｓ３－Ｎ）、ユーザＵ１は、表示態様変更が無くても、目標オブジェクトの目標視認範囲の全容を視認できる。

ステップＳ６で、ＨＭＤ１は、ユーザＵ１の注視点が目標オブジェクトの目標視認範囲の外に移動したかを判断する。注視点が変わらず、目標視認範囲内にある場合（Ｓ６－Ｎ）、ステップＳ５に戻る。これにより、このまま表示態様変更の状態が維持され、目標視認範囲の視認が可能な状態が維持される。

一方、注視点が目標視認範囲の外に移動した場合（Ｓ６－Ｙ）、ステップＳ７に進む。ステップＳ７で、ＨＭＤ１は、上記遮蔽妨害関係にある目標オブジェクトと妨害仮想オブジェクトについての表示態様変更状態を、変更前の元の状態に復元する。

この後、ステップＳ８で、ＨＭＤ１は、例えば注視の状態等に基づいて、制御処理の継続か終了を確認する。引き続き継続する場合（Ｎ）には、ステップＳ１に戻り、新たな注視点の検出等を同様に繰り返す。終了の場合（Ｙ）には。本フローが終了する。

上記処理フローに基づいて、実施の形態１では、目標オブジェクトが妨害オブジェクトで遮蔽されている場合に、オブジェクトの表示態様変更によって、目標視認範囲の視認妨害を解消、または視認妨害の程度を軽減できる。

なお、上記例では、注視点の状態に応じて表示態様変更状態を一定時間維持するものとしたが、これに限らず、ユーザＵ１が所定の操作を入力した場合や、視線や注視点が所定の状態になったことを検出した場合等に、表示態様変更の終了としてもよい。

［機能ブロック］
図１０は、実施の形態１の表示装置であるＨＭＤ１の機能ブロック構成例を示す。なお他のタイプの表示装置の場合にも基本的に構成は同様である。この構成例では、構成要素が１つの装置に実装されているが、これに限らず、一部の構成部分が別の装置に分かれて実装されてもよい。

図１０で、ＨＭＤ１は、プロセッサ４１０、メモリ部４２０、カメラ部４３１、測距センサ４４０、左眼視線検出部４３２、右眼視線検出部４３３、表示処理部４３４、操作入力部４３５、マイク４３６、ヘッドフォン４３７、振動発生部４３８、および通信部４３９を適宜用いて構成され、各構成部はバス４５０を介して相互に接続されている。

プロセッサ４１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＨＭＤ１のコントローラを構成する。プロセッサ４１０は、メモリ部４２０に制御用のプログラム４２１として記憶されているオペレーティングシステム（ＯＳ）４２２や動作制御用のアプリケーションプログラム４２３に従った処理を実行する。これにより、プロセッサ４１０は、各構成部を制御し、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。

メモリ部４２０は、不揮発性記憶装置等で構成され、プロセッサ４１０等が扱う各種のプログラム４２１や情報データ４２４を記憶する。情報データ４２４としては、ユーザＵ１が注視する注視点の位置等を示す注視点情報４２５、ユーザＵ１が視認する目標オブジェクトの形状および位置等を表す目標オブジェクト情報４２６、仮想オブジェクトの形状および位置等を表す仮想オブジェクト情報４２７等が格納されている。

カメラ部４３１は、ＨＭＤ１の前方周囲の視界・視野状態を撮影するもので、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。光学シースルー型のＨＭＤの場合には、ユーザＵ１が直接目で前方周囲の視界・視野内の実体物を視認する。ビデオシースルー型のＨＭＤの場合では、カメラ部４３１で前方周囲の視界・視野内の実体物を撮影し、撮影された実体物の画像を表示処理部４３４の表示デバイスで表示する。

測距センサ４４０は、ＨＭＤ１と外界の実体物との距離を測定するセンサである。測距センサ４４０は、ＴＯＦ（Time Of Flight）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。ＨＭＤ１は、測距センサ４４０や配置データを用いて外界の実体物の３次元配置情報を把握し、個別実体オブジェクトと仮想オブジェクトとの遮蔽関係を反映したオブジェクトの表示を行う。ＨＭＤ１は、外界の実体物のいくつかの特徴点を基準として、遮蔽されているものも含めて、外界の実体物の配置データを参照してもよい。この配置データは、ＨＭＤ１が作成や保持していてもよいし、外部の情報サーバ１２０等から取得してもよい。

左眼視線検出部４３２および右眼視線検出部４３３は、それぞれ、左眼、右眼の動きや向きを捉えることで視線（１０４，１０５）を検出する。なお、この視線検出処理は、アイトラッキング処理として一般に用いられている周知技術を利用できる。例えば、角膜反射を利用した方法としては、赤外線ＬＥＤ（Light Emitting Diode）から赤外線を顔に照射して赤外線カメラで撮影し、照射でできた反射光の角膜上の位置を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。また、可視光カメラで目を写し、基準点を目頭とし動点を虹彩にして目頭に対する虹彩の位置に基づいて視線を検出する方法も知られている。左眼視線検出部４３２で検出された左眼の視線１０４と右眼視線検出部４３３で検出された右眼の視線１０５との交点は、ユーザＵ１が注視する注視点１０６として検出される。

表示処理部４３４は、表示デバイスと表示処理を行う部分とで構成される。表示処理部４３４は、光学シースルー型のＨＭＤの場合には、例えば、仮想オブジェクトやユーザへの通知情報等に対応する光を投影する投影部と、投影された光を目の前で結像表示させる透明なハーフミラーとを有する。この場合、図１の表示面１１はハーフミラーが相当する。これにより、ユーザＵ１は、目の前の視界・視野範囲の実体物とともに、結像された仮想オブジェクト等の画像を現実空間に浮かんでいるような形で双方合わせて視認できる。また、表示処理部４３４は、ビデオシースルー型の場合には、カメラ部４３１で撮影された目の前の実体物（切り出された個別実体物を含む）の画像と生成した仮想オブジェクト等の画像とを合わせて表示する液晶表示パネル等の表示デバイスを有する。この場合、表示面１１は液晶表示パネル等の画面が相当する。これらにより、ユーザＵ１は、ＨＭＤ１を用いて、目の前の視界内の実体物と仮想オブジェクト等を重ねた状態で視認できる。

操作入力部４３５は、例えばキーボードやキーボタン、タッチキー等による入力手段であり、ユーザＵ１が入力したい情報を設定・入力できる。操作入力部４３５は、ＨＭＤ１でユーザＵ１が入力操作を行いやすい位置や形態に設けられる。あるいは、操作入力部４３５は、リモートコントローラのように、ＨＭＤ１本体から分離されて有線や無線で接続された形態で設けられてもよい。また、ＨＭＤ１は、表示処理部４３４の表示面１１に入力操作画面等のグラフィカル・ユーザ・インタフェース（ＧＵＩ）を表示し、左眼視線検出部４３１および右眼視線検出部４３２により検出した視線が向いている入力操作画面上の位置に応じて入力操作情報を取り込んでもよい。ＨＭＤ１は、入力操作画面上にポインタを表示させ、ユーザＵ１が操作入力部４３５によってポインタを操作し、入力操作情報を取り込んでもよい。また、ＨＭＤ１は、ユーザＵ１が発声した入力操作を表す音声をマイク４３６で集音して、入力操作情報を取り込んでもよい。

マイク４３６は、外部からの音声やユーザ自身の発声を集音する。ＨＭＤ１は、ユーザＵ１からの発声音声による指示情報を取り込み、指示情報に対する動作を使い勝手良く実行することができる。ヘッドフォン４３７は、ユーザＵ１の耳部に装着され、ユーザＵ１への通知情報等の音声を出力する。振動発生部４３８は、プロセッサ４１０からの制御によって振動を発生させ、ＨＭＤ１が発信したユーザＵ１への通知情報等を振動に変換する。振動発生部４３８は、例えばＨＭＤ１が密接に装着されているユーザＵ１の頭部で振動を発生させることにより、ユーザＵ１への通知を確実に伝えることができる。ユーザＵ１への通知情報の例としては、妨害オブジェクト発生時の通知、表示態様変更を知らせる通知、表示態様変更方法の通知、後述の共有ユーザの存在通知等がある。このような通知によって、使い勝手をより向上できる。

通信部４３９は、近距離無線通信、無線ＬＡＮ、あるいは基地局通信等によって、近傍の他のＨＭＤやスマートフォン等の情報処理端末、あるいは図１の情報サーバ１２０のような外部装置等と無線通信を行う通信インタフェースを有する部分であり、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。なお、近距離無線通信としては、例えば電子タグを用いた通信が挙げられるが、これに限らず、ＨＭＤ１が近傍の他の情報処理端末と無線通信可能な通信であればよい。このような通信インタフェースの例は、Bluetooth（登録商標）、ＩｒＤＡ（Infrared Data Association、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、または、Ｗｉ－Ｆｉ（登録商標）等の無線ＬＡＮが挙げられる。また、基地局通信としては、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access、登録商標）やＧＳＭ（Global System for Mobile Communications）等の遠距離無線通信を用いればよい。

通信部４３９は、無線通信手段として、光通信や音波通信等の他の手段を適用してもよい。その場合、送受信アンテナの代わりに、それぞれ、光発光／受光部、音波出力／音波入力部が用いられる。また、高精細映像等を扱う場合等では、データ量が飛躍的に多い。この場合、無線通信に５Ｇ（5th Generation：第５世代移動通信システム）、ローカル５Ｇ等の高速大容量通信網を使用すれば、飛躍的に使い勝手を向上できる。

［配置データ］
実施の形態１のＨＭＤ１は、外界の実体物の配置データ（言い換えると空間データ）を、図１の情報サーバ１２０等の外部装置から通信で取得して利用してもよい。この配置データは、３次元空間内での個別実体オブジェクトの配置（位置や形状等を含む）がわかるデータである。この配置データは、例えば、地図上の空間内で、各種の施設等を個別実体オブジェクトとして含むデータである。また、この配置データは、個別実体オブジェクト毎に属性情報や関連情報（例えば施設の名称や説明等）を有してもよい。他の例では、この配置データは、建築物の空間内で、壁や配置物等の個別実体オブジェクトを含むデータである。このような配置データがある場合、一般に、３次元空間での各物体同士の重なり等の関係が把握しやすい。そのため、ＨＭＤ１では、配置データを用いて、視界範囲での実体物の境界の判断がより容易となり、個別実体オブジェクトの切り出しや認識がより容易となる。

［構成部］
図１０のプロセッサ４１０による処理に基づいて実現される各構成部として、仮想オブジェクト生成処理部４１１、注視点検出処理部４１２、目標オブジェクト目標視認範囲識別処理部４１３、妨害オブジェクト判別処理部４１４、オブジェクトカテゴリー処理部４１５、およびオブジェクト表示態様制御処理部４１６を有する。

仮想オブジェクト生成処理部４１１は、現実空間とは異なる仮想空間の物体である仮想オブジェクトを生成する。なお、ＨＭＤ１は、情報サーバ１２０等の外部装置で生成された仮想オブジェクトのデータを無線通信によって取り込んで利用してもよい。

注視点検出処理部４１２は、図１の両眼の視線方向の交点でありユーザＵ１の注視先である注視点１０６を、左眼視線検出部４３２で検出した左眼の視線１０４と右眼視線検出部４３３で検出した右眼の視線とから３次元的に計算・検出する。

目標オブジェクト目標視認範囲識別処理部４１３は、注視点が位置するオブジェクト、言い換えると注視点に最も近いオブジェクトである目標オブジェクトを判断し、目標オブジェクトに対しユーザＵ１が視認したいと意図していると推測される範囲である目標視認範囲１０７（図１）を識別して確定する。

妨害オブジェクト判別処理部４１４は、ユーザＵ１から見た奥行方向で、目標オブジェクトの目標視認範囲と重なって目標視認範囲を遮蔽によって妨害するオブジェクトである妨害オブジェクトを判別する。

オブジェクトカテゴリー処理部４１５は、オブジェクトの表示態様の変更に対する制限度や許容度によって、オブジェクトを所定のカテゴリー（言い換えると種類）に分類する。ＨＭＤ１は、オブジェクトのカテゴリーに応じて、表示態様の変更の方式や詳細内容を決定する。カテゴリーの数や詳細については限定しない。

オブジェクト表示態様制御処理部４１６は、遮蔽妨害関係にあるオブジェクトの表示態様を変更する制御処理を行う。表示態様変更は、表示位置の移動、透過度の調整、サイズ変更（縮小／拡大）、複製オブジェクト表示等のうち少なくとも１つである。

ＨＭＤ１は、上記妨害オブジェクト判別処理部４１４で判別した妨害オブジェクトが、目標オブジェクト目標視認範囲識別処理部４１３で識別した目標オブジェクトの目標視認範囲の少なくとも一部を遮蔽する場合、オブジェクト表示態様制御処理部４１６によって、遮蔽妨害関係にあるオブジェクトの表示態様変更の制御を行う。オブジェクト表示態様制御処理部４１６は、妨害オブジェクトによる目標オブジェクトの遮蔽妨害を解消または軽減するように、妨害オブジェクトまたは目標オブジェクトの少なくとも一方の表示態様を変更する。オブジェクト表示態様制御処理部４１６は、遮蔽妨害関係にある前後のオブジェクトのカテゴリー等を考慮し、変更対象のオブジェクトや、表示態様変更方式等を決定する。

オブジェクト表示態様制御処理部４１６は、例えば妨害オブジェクトが仮想オブジェクトである場合（図２の第２パターン／第４パターン）で、妨害オブジェクトの方が目標オブジェクトよりも制限度が低い場合には、妨害オブジェクトによる目標オブジェクトの遮蔽妨害を解消または軽減するように、妨害オブジェクトの表示位置変更または透過度アップ調整等を行う。また、オブジェクト表示態様制御処理部４１６は、妨害される側の目標オブジェクトが仮想オブジェクトである場合（第３パターン／第４パターン）で、目標オブジェクトの方が妨害オブジェクトよりも制限度が低い場合には、妨害オブジェクトによる目標オブジェクトの遮蔽妨害を解消または軽減するように、目標オブジェクトの表示位置変更等を行う。これらにより、妨害オブジェクトによる目標オブジェクトの目標視認範囲の視認妨害を解消、または視認妨害の程度を軽減できる。

［詳細］
図１１以降を用いて、実施の形態１での処理や表示の詳細を説明する。図１１は、ＨＭＤ１の視界範囲１０１での表示例を示し、個別実体オブジェクト、仮想オブジェクト、および目標視認範囲の例を模式的に示す。図１１の（Ａ）では、実体物の例として、ユーザＵ１が例えば高所から見る風景があり、この中にタワー５０８やビル５００等が含まれている。ＨＭＤ１は、この風景から、個別実体オブジェクトとして、例えばタワー５０８等を認識する。ビデオシースルー型の場合、ＨＭＤ１は、風景の画像から、タワー５０８の部分を個別実体オブジェクトとして切り出す。光学シースルー型の場合、ＨＭＤ１は、風景から、タワー５０８の部分を個別実体オブジェクトとして認識する。タワー５０８等の認識の際に前述の配置データを利用してもよい。

ＨＭＤ１は、例えば個別実体オブジェクトであるタワー５０８に着目した場合に、このタワー５０８に関連する仮想オブジェクトの例として、説明パネル５０３や案内地図５０４を生成し、タワー５０８を含む風景に重ね合わせるように図示のように表示する。説明パネル５０３は、タワー５０８についての説明情報（例えば高さ６３４ｍ）を例えば吹き出し状のパネルとして表示する仮想オブジェクトである。説明パネル５０３は、吹き出しの起点がタワー５０８に接するようにして右側に配置されている。案内地図５０４は、地図上でのタワー５０８の位置を案内する仮想オブジェクトである。案内地図５０４は、視界範囲１０１内の左上に配置されている。

注視点５０１，５０２，５０７は、この風景に対するユユーザＵ１の注視点の例である。注視点５０７は、個別実体オブジェクトであるタワー５０８を注視する場合である。ＨＭＤ１は、タワー５０８への注視に応じて、仮想オブジェクトである説明パネル５０３等を表示してもよい。注視点が、注視点５０７のようにタワー５０８等の実体物に位置する場合、ＨＭＤ１は、解析や配置データに基づいて、風景からその実体物であるタワー５０８の部分を個別実体オブジェクトとして切り出しまたは認識する。そして、ＨＭＤ１は、そのタワー５０８である個別実体オブジェクトの破線で示す表示範囲を、目標視認範囲５０９として確定する。

注視点５０１は、説明パネル５０３を注視する場合であり、注視点５０２は、案内地図５０４を注視する場合である。ＨＭＤ１は、ユーザＵ１の注視点が位置するオブジェクトを目標オブジェクトとして、目標オブジェクトの目標視認範囲を設定する。ＨＭＤ１は、注視点が仮想オブジェクトに位置する場合、仮想オブジェクトの表示範囲（対応する画像領域）を、目標視認範囲として確定する。例えば、説明パネル５０３に注視点５０１がある場合、説明パネル５０３の破線で示す表示範囲が目標視認範囲５０５となる。案内地図５０４に注視点５０２がある場合、案内地図５０４の破線で示す表示範囲が目標視認範囲５０６となる。

本例では、破線で示す各目標視認範囲は、表示上のオブジェクトの形状および領域に合わせた同じ範囲としているが、これに限らず可能である。目標視認範囲は、オブジェクトよりも大きい範囲や、オブジェクトよりも小さい範囲であってもよい。目標視認範囲は、予め規定されたサイズや形状（例えば矩形や楕円）でもよい。例えば、目標視認範囲５１１は、ビル５００が目標オブジェクトである場合に、ビル５００を概略的に包含する楕円を目標視認範囲として設定する場合を示す。

図１１の（Ｂ）は、目標視認範囲の他の設定例を示す。ＨＭＤ１は、注視点が位置するオブジェクト（仮想オブジェクトまたは個別実体オブジェクト）に対し関連するオブジェクト（仮想オブジェクトまたは個別実体オブジェクト）を一緒にして１つの目標視認範囲に含めるように制御してもよい。本例では、注視点５０７が位置するタワー５０８という個別実体オブジェクトに対し、説明パネル５０３は、そのタワー５０８と共に表示することが好適である関連する仮想オブジェクトである。この場合に、ＨＭＤ１は、（Ａ）でのタワー５０８の目標視認範囲５０９と、説明パネル５０３の目標視認範囲５０５とを１つに合わせた、図示の破線で示す表示範囲を、２つの関連するオブジェクト（５０８，５０３）についての１つの目標視認範囲５１０として設定する。

図１２は、他の表示例を示す。ユーザＵ１の視線方向に重なるオブジェクト（仮想オブジェクトや個別実体オブジェクト）のうち、注視点の奥行方向の位置とオブジェクトの位置との関係がはっきりせず、注視点が位置する目標オブジェクト（注視点に近いオブジェクト等）が判断しにくい場合や判断できない場合があり得る。図１２の例では、注視点５０７に対応する視線方向に対し、タワー５０８である個別実体オブジェクトと、案内地図５０４である仮想オブジェクトとが重なっており、案内地図５０４はタワー５０８の一部を遮蔽している。例えば、注視点５０７の奥行き方向で、タワー５０８の位置と案内地図５０４の位置との中間付近に注視点５０７があるとする。このため、ＨＭＤ１がどちらのオブジェクトが目標オブジェクトであるか判断できないとする。この場合、ＨＭＤ１は、ユーザＵ１にとってのオブジェクトの視認価値（言い換えると重要度）等を基準として、目標オブジェクトを選択・確定する。例えば、ＨＭＤ１は、候補である複数のオブジェクト（５０８，５０４）を比べて、視認価値・重要度の観点で優先順位を付け、優先順位が最も高いオブジェクトを目標オブジェクトとして確定し、その目標オブジェクトの表示範囲を目標視認範囲として設定する。

本例では、この視認価値に基づいた優先順位付けの判断の際の基準としては、仮想オブジェクトよりも個別実体オブジェクトを優先する。また、個別実体オブジェクト間でも、一般的な視認価値（例えば地図上の施設の著名性）を適用して比較する。この結果、本例では、ＨＭＤ１は、タワー５０８の方が案内地図５０４よりも優先順位が高いと判断し、タワー５０８である個別実体オブジェクトを目標オブジェクトとし、目標視認範囲５０９を設定する。これらにより、ユーザＵ１が視認を望む目標オブジェクトの目標視認範囲を最適に選択して確定することができる。

なお、図１等において、注視点１０６は、説明用に図示している情報であって、実際には表示面１１に表示されない。変形例としては、ＨＭＤ１は、表示面１１に、注視点１０６の位置に合わせて、注視点を表すマークのような画像を表示してもよい。その注視点マークのような画像は、操作用のポインタとは別の画像としてもよいし、同じ機能を持つ画像としてもよい。ポインタは、例えばＯＳやアプリケーションによる位置指定のための情報である。目標オブジェクトの選択は、注視点マークのような画像を用いてもよいし、ポインタを用いてもよい。

［オブジェクトのカテゴリー］
実施の形態１では、表示態様変更の制御に用いるオブジェクトの属性として、オブジェクトを３つのカテゴリーに分類する。図２の（Ｃ）には、３つのカテゴリーを示す。第１カテゴリーは、表示態様変更に対する制限度が最も高く、表示態様変更によって違和感が生じるオブジェクト、または個別実体オブジェクトである。表示形態変更によって違和感が生じるオブジェクトとしては、例えば実体物に仮想オブジェクトが固定されているもの、あるいは実体物に仮想オブジェクトが組み込み加工されて一体変形されたもの等が挙げられる。また、光学シースルー型の場合、実体物や個別実体オブジェクトは、表示態様変更が困難であるため、第１カテゴリーとされる。個別実体オブジェクトに仮想オブジェクトが固定あるいは組み込み加工される例としては、ＡＲ（拡張現実）やビデオゲームにおいて、実物の壁（対応する個別実体オブジェクト）の一部に穴が仮想オブジェクトとして表現されて固定あるいは組み込み加工されている場合が挙げられる。この壁と穴は、分離せずに一体として扱うべきなので、関連オブジェクトとして一体とし、制限度が最も高い第１カテゴリーとされる。

第２カテゴリーは、表示態様変更に関して、ある程度の制約を受けるが、第１カテゴリーよりも制限度が低く許容度が高いオブジェクトである。第２カテゴリーは、例えば第１カテゴリーの仮想オブジェクトや個別実体オブジェクトに関連して表示される説明パネル５０３（図１１）等の仮想オブジェクトがある。

第３カテゴリーは、第２カテゴリーよりもさらに制限度が低く許容度が高いオブジェクト、言い換えると３つのうちで最も制限度が低いオブジェクトである。第３カテゴリーは、例えば実体物や他の仮想オブジェクトに対して表示位置等の関係の制限が無いまたは低い案内地図５０４（図１１）等の仮想オブジェクトがある。第３カテゴリーは、独立した仮想オブジェクトや、例えばユーザＵ１が視認したいオブジェクトを視認できる表示位置に不自然さなく移動できるオブジェクトである。

図１１の（Ａ）の例で言えば、個別実体オブジェクトであるタワー５０８は、第１カテゴリーである。仮想オブジェクトである説明パネル５０３は、タワー５０８を説明し、タワー５０８に近接した位置への表示が相応しいというある程度の表示位置の制約があるため、第２カテゴリーである。仮想オブジェクトである案内地図５０４は、移動させても不自然さが無いオブジェクトであるので、第３カテゴリーである。

ＨＭＤ１は、オブジェクトカテゴリー処理部４１５でのオブジェクトのカテゴリー分類に応じて、表示態様変更処理を行ってもよい。ＨＭＤ１は、遮蔽妨害関係にあるオブジェクトにおいて、目標オブジェクトのカテゴリーと妨害オブジェクトのカテゴリーとで、表示態様変更に関する制限度に応じたカテゴリーを比較する。ＨＭＤ１は、比較結果に基づいて、変更対象のオブジェクトや表示態様変更の方式や詳細を決定する。

例えば、オブジェクト表示態様制御処理部４１６は、目標オブジェクトが妨害オブジェクトよりも制限度が低くない（すなわち同じまたは高い）カテゴリーである場合には、妨害オブジェクトの表示態様変更を行う。一方、オブジェクト表示態様制御処理部４１６は、目標オブジェクトが妨害オブジェクトよりも制限度が低いカテゴリーである場合には、目標オブジェクトの表示態様変更を行う。これらにより、ＨＭＤ１は、目標オブジェクトの目標視認範囲の視認妨害を、オブジェクト毎の制限度に応じた最適な形で解消または軽減できる。また、ＨＭＤ１は、目標オブジェクトおよび妨害オブジェクトともに、表示態様変更に伴う視認の違和感を最低限にできる。

なお、上記方法および基準では、目標オブジェクトと妨害オブジェクトとで制限度が同じである場合には妨害オブジェクトの表示態様変更を行う。これに限らず、他の方法および基準では、目標オブジェクトと妨害オブジェクトとで制限度が同じである場合には目標オブジェクトの表示態様変更を行う、としてもよい。この場合、ユーザＵ１から見て近い位置にある前側の妨害オブジェクトの表示態様の維持を優先する方法になる。

［第１パターン］
ここで、実体物が実体物を遮蔽する場合（図２の第１パターン）の処理例を説明する。ＨＭＤ１は、まず、遮蔽されている後側の実体物の部分の外観情報が無い場合には、遮蔽が無い、として処理する。この場合、遮蔽妨害関係が生じないので、表示態様変更も生じない。図９のフローで言えば、例外処理として、ステップＳ３で、遮蔽が無い（Ｎ）として扱われる。また、ＨＭＤ１は、遮蔽されている後側の実体物の部分の外観情報がある場合、例えば前述の配置データからその外観情報が得られる場合には、遮蔽が有る、として処理する。図９のフローで言えば、ステップＳ３で、遮蔽が有る（Ｙ）として扱われる。すなわち、ＨＭＤ１は、後側の実体物の部分に対応する個別実体オブジェクトを目標オブジェクトとする。この場合、ＨＭＤ１は、表示態様変更として、例えば図８と同様に、その目標オブジェクトである個別実体オブジェクトの外観を複製した複製オブジェクトを生成してその複製オブジェクトを空いている位置に表示する。これにより、ユーザＵ１は、複製オブジェクトを見ることで、遮蔽されている実体物の部分を視認できる。

ＨＭＤ１は、遮蔽されている目標オブジェクトの表示を優先する場合に、その遮蔽されている位置にそのまま複製オブジェクトを表示するという方式を用いてもよい。この方式の場合には、遮蔽している方の妨害オブジェクトである実体物に対し前側に複製オブジェクトが重畳表示される形になる。これは、遮蔽している方の妨害オブジェクトの透過率をアップ調整する方式（図３）と同様になる。

一方、ＨＭＤ１は、ユーザＵ１に近い前側の妨害オブジェクトの表示の維持を優先する場合には、後側の目標オブジェクトである個別実体オブジェクトの移動はできないので、他の空いている位置に複製オブジェクトを表示する方式（図８）を用いる。

なお、いずれの場合でも、ビデオシースルー型で実体物がビデオ映像として表示される場合には、ＨＭＤ１は、ビデオ映像から切り出される個別実体オブジェクトを加工して仮想オブジェクトとして扱うことで、その個別実体オブジェクトについての表示態様変更を行ってもよい。

［動作例（１）］
図１３等を用いて、実施の形態１のＨＭＤ１の動作例を説明する。図１３は、図１１等の動作例についての処理フローを示す。図１３は、図９に対し、より詳細な処理例であり、ステップＳ６０１～Ｓ６１３を有する。図１３は、特に図９のステップＳ２，Ｓ４の詳細を示す。ステップＳ６０１で、ＨＭＤ１は、注意点検出処理部４１２により、ユーザＵ１の注視点を検出し、注視点に位置するオブジェクトが有るかを判断する。注視点に位置するオブジェクトが有る場合、言い換えると所定の距離範囲内にある１つのオブジェクトが決まる場合（Ｙ）には、ステップＳ６０２で、ＨＭＤ１は、そのオブジェクトを目標オブジェクトとして確定する。

次に、ステップＳ２の目標オブジェクト目標視認範囲識別処理部４１３による目標オブジェクトの目標視認範囲選定処理に入る。この処理は、ステップＳ６０３～Ｓ６０９で構成される。ステップＳ６０３で、ＨＭＤ１は、注視点の視線方向に重なるオブジェクトが有るか判断し、無い場合（Ｎ）にはステップＳ６０４へ、有る場合（Ｙ）にはステップＳ６０９へ移る。ステップＳ６０４で、ＨＭＤ１は、その注視点の視線方向に重なるオブジェクトを目標オブジェクトとみなし、その注視する目標オブジェクトが、実体物（対応する個別実体オブジェクト）であるか仮想オブジェクトであるかを判別する。目標オブジェクトが実体物である場合（Ａ）にはステップＳ６０５へ、目標オブジェクトが仮想オブジェクトである場合（Ｂ）にはステップＳ６０６へ移る。

ステップＳ６０５では、ＨＭＤ１は、実体物から個別に切り出しまたは認識された個別実体オブジェクトを、目標オブジェクトの目標視認範囲として識別し選定する。ステップＳ６０６では、ＨＭＤ１は、仮想オブジェクトの表示範囲を、目標オブジェクトの目標視認範囲として識別し選定する。

ここで、ステップＳ６０７で、ＨＭＤ１は、実体物（Ｓ６０５）あるいは仮想オブジェクト（Ｓ６０６）である目標オブジェクトと関連するオブジェクトがあるかを判断する。関連するオブジェクトは、前述のように、表示位置が連動すべき仮想オブジェクト等である。関連するオブジェクトがある場合（Ｙ）には、ステップＳ６０８で、ＨＭＤ１は、目標オブジェクトと、その関連するオブジェクトとを含めて、１つの目標オブジェクトの目標視認範囲として識別し選定する（図１１の（Ｂ））。

一方、ステップＳ６０９で、ＨＭＤ１は、注視点の視線方向に重なる複数のオブジェクトのうち、所定の基準で１つのオブジェクトを選択して、目標オブジェクトとし、その目標オブジェクトの目標視認範囲を識別・選定する。この際、実施の形態１では、前述の視認価値・重要度を用いる。ＨＭＤ１は、重なる複数のオブジェクトのうち、視認価値・重要度が最も高いオブジェクトを目標オブジェクトとし、その目標オブジェクトの表示範囲を目標視認範囲として識別し選定する。上記ステップＳ２の結果、目標オブジェクトの目標視認範囲が確定される。

その後、ステップＳ３で、ＨＭＤ１は、妨害オブジェクト判別処理部４１４によって、目標オブジェクトの目標視認範囲を遮蔽する妨害オブジェクトとして仮想オブジェクト（「妨害仮想オブジェクト」と記載する場合がある）があるか否かを判別する。妨害仮想オブジェクトがある場合（Ｙ）にはステップＳ４へ進み、無い場合（Ｎ）にはステップＳ４を飛ばす。実施の形態１では、ＨＭＤ１は、目標視認範囲の少なくとも一部でも遮蔽する仮想オブジェクトがある場合には、それを妨害仮想オブジェクトとして、ステップＳ４へ進む。

ステップＳ４は、ステップＳ６１１～Ｓ６１３を有する。ステップＳ６１１で、ＨＭＤ１は、オブジェクトカテゴリー処理部４１５によって、目標オブジェクトが妨害仮想オブジェクトよりも制限度が高いかどうか、すなわち目標オブジェクトが妨害仮想オブジェクトよりもカテゴリーが上位か否かを判別する。例えば目標オブジェクトが第１カテゴリー、妨害仮想オブジェクトが第２カテゴリーである場合、前者の方が上位である。目標オブジェクトが妨害仮想オブジェクトよりもカテゴリーが上位である場合（Ｙ）にはステップＳ６１２へ、そうでない場合（Ｎ）にはステップＳ６１３へ移る。ステップＳ６１２で、ＨＭＤ１は、オブジェクト表示態様制御処理部４１６によって、妨害仮想オブジェクトの表示態様変更として、前述の表示位置移動または透過度調整等を行う。ステップＳ６１３で、ＨＭＤ１は、オブジェクト表示態様制御処理部４１６によって、目標オブジェクトの表示態様変更として、表示位置移動等を行う。これらにより、目標視認範囲の全容が視認できる状態にする。その後、前述のステップＳ５につながる。

［動作例（２）］
図１４は、第２パターンの場合の動作例を示す。（ａ）の変更前の状態で、遮蔽妨害関係として、目標オブジェクトは第１カテゴリーの個別実体オブジェクトであるタワー５０８であり、妨害オブジェクトは第３カテゴリーの仮想オブジェクトである案内地図５０４である。注視点５０７が位置するタワー５０８の目標視認範囲５０９は、案内地図５０４によって一部遮蔽されている。この場合に、ＨＭＤ１は、制限度が低くカテゴリーが下位である方の案内地図５０４を変更対象として、例えば透過度アップ調整を行う。これにより、（ｂ）の変更後の状態では、案内地図５０４が透明になって目標オブジェクトであるタワー５０８の目標視認範囲５０９の全容が視認できる状態となる。

図１５は、他の動作例として、表示態様変更として表示位置移動の場合を示す。図１４の（ａ）と同じ場合に、ＨＭＤ１は、カテゴリーが下位である方の案内地図５０４の表示位置を、タワー５０８の目標視認範囲５０９の外の位置に移動する。これにより、遮蔽するものが全くない状態で、目標オブジェクトであるタワー５０８の目標視認範囲５０９の全容を視認できる状態となる。

［動作例（３）］
図１６は、第３パターンの場合の動作例を示す。図１６は、図１４等とは逆の場合であり、目標オブジェクトは第３カテゴリーの仮想オブジェクトである案内地図５０４であり、妨害オブジェクトは第１カテゴリーの個別実体オブジェクトであるタワー５０８である。（ａ）で、注視点５０２がある案内地図５０４の目標視認範囲５０６は、タワー５０８によって一部遮蔽されている。この場合、ＨＭＤ１は、（ｂ）のように、カテゴリーが下位である方の案内地図５０４をタワー５０８の外の位置に移動させ、目標視認範囲５０６内にタワー５０８が重ならない状態にする。これにより、遮蔽するものが全くない状態で、目標オブジェクトである案内地図５０４の目標視認範囲５０６の全容を視認できる状態となる。

［動作例（４）］
図１７は、第４パターンの場合の動作例を示す。目標オブジェクトは、第２カテゴリーの仮想オブジェクトである説明パネル５０３であり、妨害オブジェクトは、第３カテゴリーの仮想オブジェクトである案内地図５０４である。（ａ）で、説明パネル５０３の目標視認範囲５０５は、案内地図５０４によって一部遮蔽されている。この場合、ＨＭＤ１は、（ｂ）のように、カテゴリーが下位である方の案内地図５０４の透過度アップ調整を行う。これにより、案内地図５０４が透明になって、目標オブジェクトである説明パネル５０３の目標視認範囲５０５の全容を視認できる状態となる。

図１８は、他の動作例として表示位置移動の場合を示す。ＨＭＤ１は、図１７の（ａ）と同じ場合に、カテゴリーが下位である方の案内地図５０４の表示位置を目標視認範囲５０５の外の位置に移動する。これにより、遮蔽するものが全くない状態で、目標オブジェクトである説明パネル５０３の目標視認範囲５０５の全容を視認できる状態となる。

［動作例（５）］
図１９は、他の動作例を示す。図１９は、図１７の場合とは逆の場合であり、目標オブジェクトが第３カテゴリーの仮想オブジェクトである案内地図５０４であり、妨害オブジェクトが第２カテゴリーの仮想オブジェクトである説明パネル５０３である。（ａ）で、案内地図５０４の目標視認範囲５０６は、説明パネル５０３に一部遮蔽されている。この場合、ＨＭＤ１は、カテゴリーが下位である方の案内地図５０４を移動させて、目標視認範囲５０６内に説明パネル５０３や他のオブジェクトが重ならない位置に変更する。これにより、遮蔽するものが全くない状態で、目標オブジェクトである案内地図５０４の目標視認範囲５０６の全容を視認できる状態となる。

なお、目標オブジェクトが第１カテゴリーであり妨害オブジェクトが第２カテゴリーである場合は、目標オブジェクトが第１カテゴリーであり妨害オブジェクトが第３カテゴリーである場合と同様の制御が適用可能である。

［効果等（１）］
上記のように、実施の形態１によれば、３次元配置の仮想オブジェクトを表示できるＨＭＤ１において、ユーザＵ１が視認したい実体物や仮想オブジェクト等のオブジェクトの視認範囲に対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、表示態様変更によって、その視認妨害を解消または軽減でき、ユーザＵ１がオブジェクトの全容を好適に視認することができる。かつ、そのような機能をユーザの手間が少なく使い勝手良く実現できる。実施の形態１によれば、オブジェクト間に遮蔽妨害関係があった場合でも、ユーザは、注視を望む目標オブジェクトの目標視認範囲の全容を好適に視認できる。実施の形態１によれば、遮蔽妨害関係に応じて自動的に表示態様変更を行ってユーザの視認を支援できるので、ユーザの手間も少なく使い勝手良くそのような機能を実現できる。

なお、特許文献１では、視線方向に対し背景の視認を妨害するオブジェクトがある場合に、オブジェクトの表示形態を変更する。それに対し、実施の形態１は、３次元配置されるオブジェクト間の遮蔽関係で、目標オブジェクトの目標視認範囲の視認を妨害する妨害オブジェクトがある場合に、目標視認範囲の全容を視認できるように、妨害オブジェクトまたは目標オブジェクトについて表示態様を変更する。

［変形例］
実施の形態１の変形例として以下も可能である。ＨＭＤ１は、視線に基づいて目標オブジェクトを判断する際に、視線方向の動きが所定の閾値以下となった場合に、ユーザＵ１が注視したい目標オブジェクトがあると判断してもよい。これにより、意図しない急速な目の動きによる誤処理を除外し、目標オブジェクトをより正確に特定可能である。誤処理は、注視点が短時間にオブジェクトに位置した場合にそのオブジェクトを誤って目標オブジェクトとしてしまうことが挙げられる。

また、ＨＭＤ１は、目標視認範囲を設定する際に、オブジェクトの画像領域の大きさ・面積を判断し、上限を設定してもよい。ＨＭＤ１は、目標視認範囲が所定の閾値以上に大きい・広い場合には、その所定の閾値に対応した上限範囲を、目標視認範囲として設定してもよい。例えば、視界範囲において目標オブジェクトがあまりにも大きすぎる場合、表示態様変更として妨害オブジェクトを目標視認範囲の外に出す場合等に表示が難しい。このような場合、目標視認範囲の上限設定が有効である。

＜実施の形態２＞
図２０等を用いて、実施の形態２について説明する。実施の形態２は、実施の形態１に対する追加の機能として以下を有する。視界範囲において、目標オブジェクトの候補となるオブジェクト（目標候補オブジェクトと記載する場合がある）が、他のオブジェクトである仮想オブジェクトまたは個別実体オブジェクトによって遮蔽されていてユーザから存在が分からない場合があり得る。この機能は、そのような場合に、その目標候補オブジェクトの存在を確認できる機能である。

［目標候補オブジェクトの存在確認（１）］
図２０は、実施の形態２での動作例の説明図である。図２０では、あるオブジェクト（目標候補オブジェクト）が実体物に遮蔽されている場合の表示態様変更の例を示す。（ａ）は変更前の状態を示す。視界範囲１０１において、個別実体オブジェクトであるタワー５０８と、仮想オブジェクトである説明パネル１２１３とが表示されている。また、注視点１２０１の方向に位置するオブジェクトとして、タワー５０８と、そのタワー５０８に遮蔽されることで隠れて見えない仮想オブジェクトである案内地図１２０２（点線で示す）とがある。すなわち、見えない目標候補オブジェクトとして、案内地図１２０２がある。この場合、ＨＭＤ１は、（ｂ）のように、視線方向にあるオブジェクト（５０８，１２０２）に関する表示態様を変更する。本例では、ＨＭＤ１は、目標候補オブジェクトである案内地図１２０２の少なくとも一部が、タワー５０８による遮蔽から外れて見える状態となるように、案内地図１２０２の表示位置を移動する。（ｂ）で、変更後の案内地図１２０３は、少なくとも一部がユーザＵ１から見える状態である。ＨＭＤ１は、目標候補オブジェクトに対応する表示範囲の全てが見える状態に変更してもよい。また、ＨＭＤ１は、目標候補オブジェクトに対応する表示範囲のうち所定の割合の部分が見える状態となるようにしてもよい。これにより、ユーザＵ１は、案内地図１２０２の存在を認識・確認できる。これにより、ユーザＵ１は、注視点（移動後の注視点１２０１ｂ）を用いて、案内地図１２０２を目標オブジェクトとして選択可能となる。

図２１は、他の表示例を示す。（ａ）の変更前の状態で、注視点１２１１の方向に位置するオブジェクトとして、タワー５０８に関連する仮想オブジェクトである説明パネル１２１３と、その説明パネル１２１３に遮蔽されることで隠れて見えない仮想オブジェクトである案内地図１２１２とがある。すなわち、見えない目標候補オブジェクトとして、案内地図１２１２がある。この場合、ＨＭＤ１は、視線方向にあるオブジェクト（１２１２，１２１３）に関する表示態様を変更する。本例では、ＨＭＤ１は、（ｂ）のように、目標候補オブジェクトである案内地図１２１２を遮蔽している前側の説明パネル１２１３の表示態様変更として、例えば透過度アップ調整を行う。これにより、説明パネル１２１３が透けて背後にある案内地図１２１２が見える状態になる。これにより、ユーザＵ１は、目標候補オブジェクトである案内地図１２１２の存在を確認でき、注視点１２１１を用いて目標オブジェクトとして選択可能となる。

図２２は、図２１等の例のように視線方向に複数のオブジェクトが重なって注視点が位置する目標オブジェクトが判断しにくい場合に関する補足説明図である。図２２ではユーザＵ１から視界範囲１０１を見る奥行き方向（Ｚ方向）でのオブジェクトの重なりを模式的に示している。ユーザＵ１の視点から近い前側に説明パネル１２３３、後側に案内地図１２３２が配置されている。案内地図１２３２は、図２１での目標候補オブジェクトである案内地図１２１２に相当する。説明パネル１２３３は、遮蔽妨害関係では妨害オブジェクトに相当する。図２２では、注視点１２３１が位置する目標候補オブジェクトである案内地図１２１２は、焦点の合っていない妨害仮想オブジェクトである説明パネル１２３３によって遮蔽されており、図２１と同様にユーザＵ１からは隠れて見えない。焦点が合っていないオブジェクトとは、注視点が位置していないオブジェクト、注視点からの距離が大きいオブジェクトである。

注視点１２３１は、両眼の視線（１０４，１０５）から算出される注視点の例である。本例では、奥行き方向（Ｚ方向）において、注視点１２３１は、案内地図１２３２の近くに位置している。注視点１２３１からオブジェクトへの距離として、案内地図１２３２への距離が最も小さく、所定距離範囲内にある。そのため、案内地図１２３２は、目標候補オブジェクトとなる。

ＨＭＤ１は、この場合に、視線の向きおよび注視点によって、説明パネル１２３３には焦点が合っていないことを検出する。ＨＭＤ１は、目標候補オブジェクトの存在確認のために、焦点の合っていない説明パネル１２３３の方の表示態様変更として、例えば透過度アップ調整を行う（図２１と同様）。これにより、変更後の説明パネル１２３３ｂは、透明（透過度が高い状態）になって、背後にある案内地図１２３２が見える状態となり、ユーザＵ１は、目標候補オブジェクトである案内地図１２３３の存在を確認できる。

［目標候補オブジェクトの存在確認（２）］
図２３は、実施の形態２でのＨＭＤ１の上記目標候補オブジェクトの存在確認の機能に係わる処理フローを示す。図２３のフローは、前述のフローに対し異なる部分として、ステップＳ１１００～Ｓ１１０４を有する。この部分は、図９のステップＳ２に対する前処理として行われる。

ステップＳ１１００で、ＨＭＤ１は、この機能に対応するモードがオン（有効）状態であるかを確認し、オン状態である場合には以降の処理を行う。モードは、例えばユーザＵ１が操作入力部４３５を通じて設定や指示が可能である。

ステップＳ１１０１で、ＨＭＤ１は、表示面１１全体において、オブジェクト（仮想オブジェクトまたは個別実体オブジェクト）によって遮蔽されることでユーザＵ１から見て存在が分からない状態になっているオブジェクトである目標候補オブジェクトがあるかを判断する。この目標候補オブジェクトは、ユーザＵ１から見えないので認識できず、注視点による選択もできないオブジェクトである。そのような目標候補オブジェクトがある場合（Ｙ）にはステップＳ１１０２へ、無い場合にはステップＳ２へ移る。

ステップＳ１１０２で、ＨＭＤ１は、存在確認処理を行うトリガが発生したかを確認・待機する。このトリガは、存在確認処理を行うかどうかをユーザＵ１が指示できるトリガである。このトリガは、例えば操作入力部４３５やマイク４３６を通じた指示入力を受けた時、あるいは検出されたユーザＵ１の視線が目標候補オブジェクトの近傍に行った時等とすることができる。例えば、図２０のように、ＨＭＤ１は、視界範囲１０１に「隠れているオブジェクトがあります。表示して確認しますか？」といったガイドやボタン等を表示し、ボタン押下等をトリガとしてもよい。また、トリガ入力のステップＳ１１０２を省略し、自動的にオブジェクトの存在確認処理を行う形態も可能である。

上記トリガが発生した場合、ステップＳ１１０３で、ＨＭＤ１は、オブジェクト表示態様制御処理部４１６により、目標候補オブジェクトの表示態様変更（表示位置移動または複製表示等）、あるいは遮蔽している妨害オブジェクトの表示態様変更（透過度アップ調整等）を行う。ステップＳ１１０４で、ＨＭＤ１は、その表示態様変更後の状態を一定時間維持する。これにより、ユーザＵ１は、目標候補オブジェクトの存在を確認できる。ユーザＵ１は、特別な操作を不要として、目標候補オブジェクトの存在を容易に確認できる。ステップＳ１１０４の後、前述のステップＳ２につながる。

上記のように、実施の形態２の機能では、オブジェクトに遮蔽されて存在が分からないオブジェクトがある場合に、その目標候補オブジェクトの少なくとも一部が視認できるように、目標候補オブジェクトまたは妨害オブジェクトの少なくとも一方の表示態様変更を行う。これにより、ユーザＵ１が目標候補オブジェクトを確実に確認でき、目標オブジェクトとして選択可能となる。なお、隠れて見えない個別実体オブジェクトがある場合で、その個別実体オブジェクトの外観情報がある場合には、その個別実体オブジェクトについても目標候補オブジェクトとして扱い、同様に存在確認を行ってもよい。

［効果等（２）］
上記のように、実施の形態２によれば、隠れて見えない目標候補オブジェクトがある場合にも、一種の表示態様変更によって、存在確認ができ、ユーザＵ１が目標オブジェクトとして選択可能となる。なお、ＨＭＤ１の機能としてユーザＵ１の１つの視線方向しか検出できない場合、奥行き方向の注視点の判断は難しい。この場合、実施の形態２では、表示面において隠れているオブジェクトを見えるように表示態様変更する、すなわち表示面において奥行き方向には１つのオブジェクトしかない状態にすることで、１つの視線方向しかなくても、その視線方向にあるオブジェクトを目標オブジェクトとして確定することができる。

［オブジェクトデータおよび属性情報］
以上では、ＨＭＤ１は、各オブジェクトの表示態様変更に関して、制限度（言い換えると許容度）に関するカテゴリー、および視認価値（言い換えると重要度）といったパラメータを参照して制御内容を決定する場合を説明した。上記カテゴリーにおける制限度や許容度は、オブジェクト毎に表示態様変更に関する制限や許容の度合いを表す属性情報の１つである。オブジェクト毎のデータにおいて、属性情報の１つとして、そのような制限度または許容度、カテゴリー、あるいは他の情報が設定されていてもよい。また、オブジェクト毎の属性情報の他の情報の例として、オブジェクト毎の視認価値や重要度、あるいは優先度等が設定されていてもよい。これらのパラメータは、ＨＭＤ１または外部装置がデータとして管理・保持してもよい。

図２４は、ＨＭＤ１が管理・保持するオブジェクトデータの例を示す。このオブジェクトデータは、オブジェクト毎の属性情報を含む管理用のデータである。このオブジェクトデータは、例えばアプリケーション毎に異なる管理情報としてもよいし、ユーザ毎に異なる管理情報やユーザ設定情報としてもよい。ＨＭＤ１は、オブジェクトデータの各情報を自身で生成し設定してもよいし、外部装置（例えば図１の情報サーバ１２０）からその情報を参照してもよい。

図２４のオブジェクトデータの表は、列として、ＩＤ、オブジェクト、種類、カテゴリー、視認価値、関連オブジェクト、および共有ユーザを有する。「ＩＤ」は「オブジェクト」毎の識別子である。「オブジェクト」の例は前述のタワーや説明パネル等である。「種類」は、ここでは、Ａ．個別実体オブジェクト、Ｂ．仮想オブジェクト、の２種類がある。カテゴリー（対応する制限度）は、例えば前述のように、１（高）、２（中）、３（低）の３つがある。視認価値（対応する重要度）は、例えば、１（高）、２（中）、３（低）の３つがある。「関連オブジェクト」は、他のオブジェクトとの関連性を表し、例えば、ＩＤ＝１のオブジェクトは、関連オブジェクトとしてＩＤ＝２のオブジェクトを有し、ＩＤ＝２のオブジェクトは、関連オブジェクトとしてＩＤ＝１のオブジェクトを有する。「共有ユーザ」は、後述するが、そのオブジェクトを複数のユーザが共有ユーザとして共有する場合における共有ユーザの識別子を示す。

本例では、「視認価値」については、数字が小さい程高い。「カテゴリー」や「視認価値」の設定は、ＨＭＤ１が行ってもよいし、ユーザ設定で行ってもよい。例えば、ＨＭＤ１は、オブジェクトの一般的な著名性等に基づいて「視認価値」を設定してもよい。あるいは、ＨＭＤ１は、ユーザＵ１のそのオブジェクトへの関心度合いに応じて「視認価値」を設定してもよい。例えば前述の図１１等では、地図上の施設等の個別実体オブジェクト毎に、一般的な著名性に基づいて「視認価値」が設定されている。「制限度」や「視認価値」を総合して「カテゴリー」が決定されてもよい。

また、ＨＭＤ１は、オブジェクトデータとは別に、制御処理中では、時点毎に適宜にオブジェクト情報を処理および記憶する。このオブジェクト情報は、オブジェクト毎に、表示面１１での表示位置、３次元オブジェクトの３次元配置の向き、表示範囲（画像領域）、目標視認範囲、および表示態様変更状態等の情報を有する。表示態様変更状態は、変更有無、変更方式等がある。ＨＭＤ１は、上記オブジェクトデータ、オブジェクト情報、視線および注視点等の情報を用いて、オブジェクト表示を制御する。

＜実施の形態３＞
図２５等を用いて、実施の形態３について説明する。実施の形態３は、共有ユーザ間での共有オブジェクトに関する表示態様変更を行う機能を有する。

［共有ユーザおよび共有オブジェクト］
図２５は、実施の形態３のＨＭＤ１の動作例についての説明図である。図２５では、ＨＭＤ１を各々装着した複数（例えば二人）のユーザ（Ｕ１，Ｕ２）がいる。第１ユーザＵ１はＨＭＤ１Ａを使用し、第２ユーザＵ２はＨＭＤ１Ｂを使用している。これらのユーザ（Ｕ１，Ｕ２）間で、仮想オブジェクトである「Ａ」のオブジェクト１０３および「Ｂ」のオブジェクト１０２を共有する。ユーザＵ１，Ｕ２は、それらの仮想オブジェクトを共有する共有ユーザである。「Ａ」「Ｂ」のオブジェクトは、それぞれ、共有ユーザ（Ｕ１，Ｕ２）によって共有される共有オブジェクトである。共有ユーザ（Ｕ１，Ｕ２）のＨＭＤ１（１Ａ．１Ｂ）間では、前述の近距離無線通信によって、共有のための通信２５００を行う。

図２５では、表示や視認等の状態に関する第１例を示す。共有ユーザ（Ｕ１，Ｕ２）が共有オブジェクト（Ａ，Ｂ）を見ている。特に、ある時点で、第１ユーザＵ１は、視界範囲１０１Ａにおいて、視線Ｅ１による注視点Ｐ１が位置する「Ａ」のオブジェクト１０３を目標オブジェクトとして見ている。ＨＭＤ１Ａは、その「Ａ」のオブジェクト１０３の目標視認範囲１０７Ａを設定する。また、第２ユーザＵ２は、視界範囲１０１Ｂにおいて、視線Ｅ２による注視点Ｐ２が位置する「Ｂ」のオブジェクト１０２を目標オブジェクトとして見ている。ＨＭＤ１Ｂは、その「Ｂ」のオブジェクト１０２の目標視認範囲１０７Ｂを設定する。第１例では、第２ユーザＵ２から見て遮蔽妨害関係があり、第２ユーザＵ２が視認する後側の「Ｂ」のオブジェクト１０３が目標オブジェクトであり、第１ユーザＵ１が視認する前側の「Ａ」のオブジェクト１０２が妨害オブジェクトである。

なお、視線Ｅ１，Ｅ２は、それぞれ前述の両眼の視線（１０４，１０５）を１本にまとめたものを示す。図２５では、ユーザＵ１が見る視界範囲１０１Ａの表示内容と、ユーザＵ２が見る視界範囲１０１Ｂの表示内容とを同じとして図示しているが、各ユーザの視点位置が異なるので、実際の表示内容、すなわちオブジェクトの見え方も異なる。

また、次の図２６は第２例を示す。図２６は、図２５の第１例とは逆に、第１ユーザＵ１が後側の「Ｂ」のオブジェクト１０２を見ており、第２ユーザＵ２が前側の「Ａ」のオブジェクト１０３を見ている場合を示す。第２例では、第１ユーザＵ１から見て遮蔽妨害関係があり、第１ユーザＵ１が視認する後側の「Ｂ」のオブジェクト１０３が目標オブジェクトであり、第２ユーザＵ２が視認する前側の「Ａ」のオブジェクト１０２が妨害オブジェクトである。

［表示例（３－１）］
上記のような場合に、ＨＭＤ１は、共有ユーザの共有オブジェクトに関する表示態様変更を行う。まず、図２７は、図２５の第１例に対応した変更例を示す。（ａ）は、第１ユーザＵ１から視界範囲１０１Ａの画像を見た状態として、表示態様の変更前の状態を示し、（ｃ）は、変更後の状態を示す。（ｂ）は、第２ユーザＵ２から視界範囲１０１Ｂの画像を見た状態として、表示態様の変更前の状態を示し、（ｄ）は、変更後の状態を示す。（ａ）で、第１ユーザＵ１のＨＭＤ１Ａは、第２ユーザＵ２のＨＭＤ１Ｂとの通信２５００に基づいて、視界範囲１０１Ａにおいて、マーク情報ｍ２を生成し表示する。このマーク情報ｍ２は、第２ユーザＵ２がどのオブジェクトを見ているか、すなわち第２ユーザＵ２の注視点Ｐ２が位置する目標オブジェクトがどれか、を表す画像である。例えば、第２ユーザＵ２のＨＭＤ１Ｂは、目標オブジェクトが「Ｂ」であることを伝える情報をＨＭＤ１Ａに送信し、第１ユーザＵ１のＨＭＤ１Ａは、目標オブジェクトが「Ａ」であることを伝える情報をＨＭＤ１Ｂに送信する。ＨＭＤ１Ａは、ＨＭＤ１Ｂからの情報に応じて、マーク情報ｍ２として例えば第２ユーザＵ２を表す番号「２」のマークを生成し、第２ユーザＵ２の目標オブジェクトである「Ｂ」のオブジェクトの付近に表示する。これにより、第１ユーザＵ１は、共有ユーザである第２ユーザＵ２がどの共有オブジェクトを見ているかを認識できる。

一方、（ｂ）で、同様に、第２ユーザＵ２のＨＭＤ１Ｂは、第１ユーザＵ１のＨＭＤ１Ａとの通信２５００に基づいて、視界範囲１０１Ｂにおいて、第１ユーザＵ１がどのオブジェクトを見ているかを表すマーク情報ｍ１を生成し表示する。ＨＭＤ１Ｂは、ＨＭＤ１Ａからの情報に応じて、マーク情報ｍ１として例えば第１ユーザＵ１を表す番号「１」のマークを生成し、第１ユーザＵ１の目標オブジェクトである「Ａ」のオブジェクトの付近に表示する。これにより、第２ユーザＵ２は、第１ユーザＵ１がどの共有オブジェクトを見ているかを認識できる。

さらに、各共有ユーザ（Ｕ１，Ｕ２）のＨＭＤ１（１Ａ，１Ｂ）は、上記のような共有ユーザ間での共有オブジェクトの視認の関係、および遮蔽妨害関係に応じて、オブジェクトの表示態様変更を行ってもよい。その例を（ｃ），（ｄ）に示す。まず、（ａ）から（ｃ）への変更の例では以下である。（ａ）の状態では、第１ユーザＵ１が見ている「Ａ」の目標オブジェクトの目標視認範囲１０７Ａの背後に、第２ユーザＵ２が見ている「Ｂ」のオブジェクトが遮蔽されている。ＨＭＤ１Ａは、第１ユーザＵ１が「Ａ」の目標オブジェクトを遮蔽妨害無く視認できているので、「Ａ」のオブジェクトの表示についてはそのままとする。第２ユーザＵ２が見ている「Ｂ」のオブジェクトについては、そのままの表示としてもよいが、第１ユーザＵ１から見ると一部遮蔽されている。よって、本例では、ＨＭＤ１Ａは、第２ユーザＵ２が「Ｂ」のオブジェクトを見ている箇所を、第１ユーザＵ１にも見えやすいように、共有ユーザの「Ｂ」の目標オブジェクトの表示態様を変更する。（ｃ）は、「Ｂ」のオブジェクトの表示位置を移動して全容を見える状態にする例を示す。この表示態様変更は、自動ではなく、第１ユーザＵ１による所定の入力操作に応じて行われてもよい。例えば、ＨＭＤ１Ａは、表示面１１に「共有ユーザ（２）が見ているオブジェクトを確認しますか」等と表示し、ユーザＵ１によるボタン押下操作等に応じて、（ｃ）のように変更を行ってもよい。

次に、（ｂ）から（ｄ）への変更の例では以下である。（ｂ）の状態では、第２ユーザＵ２が見ている「Ｂ」の目標オブジェクトの一部が、第１ユーザＵ１が見ている「Ａ」のオブジェクトによって遮蔽妨害されている。よって、本例では、ＨＭＤ１Ｂは、「Ｂ」の目標オブジェクトの全容が見える状態になるように、妨害オブジェクトである第１ユーザＵ１の「Ａ」の目標オブジェクトについて、表示態様を変更する。（ｄ）は「Ａ」のオブジェクトの表示位置を移動する例を示す。これにより、第２ユーザＵ２は、「Ｂ」の目標オブジェクトを確認できる。

共有オブジェクトに関する表示態様変更の方式は、前述と同様に、透過度アップ調整（図３）や複製表示（図８）等の各種の方式を同様に適用可能である。（ｅ）は、他の表示例として、（ａ）の第１ユーザＵ１から見た状態から、他の表示態様変更後の状態を示す。（ａ）の場合に、ＨＭＤ１Ａは、（ｅ）のように、「Ａ」のオブジェクトの透過度アップ調整によって、「Ｂ」のオブジェクトの全容が見えるように変更する。この変更は、（ｃ）の場合と同様に、所定の操作に応じて行われてもよい。これにより、第１ユーザＵ１は、「Ａ」の目標オブジェクトだけでなく、第２ユーザＵ２の「Ｂ」の目標オブジェクトについても併せて確認できる。

（ｆ）は、他の表示例として、（ｂ）の第２ユーザＵ２から見た状態から、他の表示態様変更後の状態を示す。（ｂ）の場合に、ＨＭＤ１Ｂは、（ｆ）のように、「Ａ」のオブジェクトの透過度アップ調整によって、「Ｂ」の目標オブジェクトの全容が見えるように変更する。

上記のように、実施の形態３では、各共有ユーザで共有オブジェクトに対する注視の視認状態が異なる場合に、その視認状態を表すマーク情報を表示する。これにより、共有ユーザ間で各共有ユーザが注視し視認している共有オブジェクトを確認することができる。これにより、共有ユーザ間のコミュニケーションや作業等が容易になる。図２６の第２例の場合でも、上記第１例の場合と同様の制御が適用可能である。

［表示例（３－２）］
図２８は、他の表示例を示す。（ａ）は、図２５の第１例、および図２７の（ａ）と同様に、第１ユーザＵ１が前側の「Ａ」のオブジェクトを見ている状態を示す。（ｂ）は、図２７の（ｂ）と同様に、第２ユーザＵ２が後側の「Ｂ」のオブジェクトを見ている状態を示す。（ａ）の場合に、ＨＭＤ１Ａは、（ｃ）のように、表示態様を変更する。ＨＭＤ１Ａは、第１ユーザＵ１の「Ａ」の目標オブジェクト、および第２ユーザＵ２の「Ｂ」の目標オブジェクトの表示についてはそのままとし、遮蔽されている「Ｂ」のオブジェクトの全容についても確認できるように、「Ｂ」のオブジェクトの複製オブジェクト１０２ｒを生成して、何ら遮蔽されない空いている位置に表示する。複製オブジェクト１０２ｒを表示する位置は、特に、第２ユーザＵ２がいる方向（本例では右側）に対応させるように決めると、より好ましい。また、複製オブジェクト１０２ｒにも、共有ユーザ注視オブジェクトを表すマーク情報ｍ２を付けて表示してもよい。これにより、第１ユーザＵ１は、「Ａ」の目標オブジェクトだけでなく、第２ユーザＵ２の「Ｂ」の目標オブジェクトの全容についても併せて確認できる。

同様に、（ｂ）の場合に、ＨＭＤ１Ｂは、（ｄ）のように、表示態様を変更する。ＨＭＤ１Ｂは、一部遮蔽されている「Ｂ」の目標オブジェクトに対する複製オブジェクト１０２ｒ（なお（ｃ）の複製オブジェクト１０２ｒとは見え方が異なる）を生成し、空いている位置に表示する。あるいは、他の方式として、ＨＭＤ１Ｂは、「Ｂ」の目標オブジェクトについてはそのままとし、妨害オブジェクトである「Ａ」のオブジェクトの方を、前述と同様に表示位置変更等してもよい。

（ｅ），（ｆ）は、他の表示例である。（ｅ）は、第１ユーザＵ１から見た状態である。第１ユーザＵ１から見ると、第２ユーザＵ２が見ている「Ｂ」のオブジェクトが一部遮蔽されている。ＨＭＤ１Ａは、共有ユーザの「Ｂ」のオブジェクトについての表示態様変更を上記と同様に行う。一方、（ｆ）は、第２ユーザＵ２から見た状態である。第２ユーザＵ２から見ると、「Ｂ」の目標オブジェクトは、「Ａ」のオブジェクトによって遮蔽されておらず全容が見える状態である。よって、ＨＭＤ１Ｂ側は、表示態様変更を行わない。

［表示例（３－３）］
図２９は、他の表示例として、共有ユーザ（Ｕ１，Ｕ２）が同じ共有オブジェクト（例えば「Ｂ」のオブジェクト１０２）を見ている場合の表示態様変更の例を示す。（ａ）は、第１ユーザＵ１から見た状態であり、（ｃ）は、第２ユーザＵ２から見た状態である。（ａ）で、第１ユーザＵ１は、後側の「Ｂ」のオブジェクトを、「Ａ」のオブジェクトの右側から見ている。「Ｂ」の目標オブジェクトは、「Ａ」のオブジェクトによって一部遮蔽されている。（ｃ）で、第２ユーザＵ２は、後側の「Ｂ」のオブジェクトを、「Ａ」のオブジェクトの左側から見ている。「Ｂ」の目標オブジェクトは、「Ａ」のオブジェクトによって一部遮蔽されている。（ａ）の状態で、ＨＭＤ１Ａは、「Ｂ」のオブジェクトに、第２ユーザＵ２も見ていることを表すマーク情報ｍ２を表示する。（ｃ）の状態で、ＨＭＤ１Ｂは、「Ｂ」のオブジェクトに、第１ユーザＵ１も見ていることを表すマーク情報ｍ１を表示する。（ｂ），（ｄ）は、それぞれの表示態様変更後の例である。（ｂ）は、妨害オブジェクトである「Ａ」のオブジェクトの表示位置を例えば左側の位置へ変更する例である。（ｄ）は、妨害オブジェクトである「Ａ」のオブジェクトの表示位置を例えば右側の位置へ変更する例である。

上記のように、実施の形態３では、各共有ユーザが同じ共有オブジェクトを注視する視認状態である場合に、その視認状態を表すマーク情報を表示する。これにより、共有ユーザ間で各共有ユーザが注視し視認している共有オブジェクトを確認することができる。

上記例では、遮蔽妨害関係は前述（図２）の第４パターンとしたが、これに限らず、他のパターンでも同様の制御が可能である。個別実体オブジェクトが共有オブジェクトである場合にも、上記マーク情報の表示が可能である。光学シースルー型の実体物以外のオブジェクトについて、表示態様変更が可能である。前述の制限度や視認価値についても、共有オブジェクトに適用可能である。

［効果等（３）］
上記のように、実施の形態３によれば、共有ユーザの共有オブジェクトに対し、各ユーザのＨＭＤ１毎にそれぞれ適した表示態様変更の表示が行われる。これにより、各ユーザは、それぞれ、オブジェクト間の遮蔽による視認妨害を解消または軽減しつつ、視認に何ら混乱を生じず、共有オブジェクトを確実に視認できる。実施の形態３では、共有ユーザ間において少なくとも一方のＨＭＤ１で、共有ユーザ注視オブジェクトを表すマークの表示とともに、視認および遮蔽妨害の関係に応じた表示態様変更が行われる。この表示態様変更の際には、前述の遮蔽妨害関係、制限度や視認価値だけでなく、共有ユーザがどの共有オブジェクトを視認しているかという視認関係も考慮されて、方式や詳細が決定される。例えば、図２７の例では、第１ユーザＵ１のＨＭＤ１Ａ側を考えた場合、第１ユーザＵ１が見ている前側の「Ａ」の目標オブジェクトと、第２ユーザＵ２が見ている後側の「Ｂ」のオブジェクトとの関係で、第１に優先されるべきは、「Ａ」の目標オブジェクトの全容の表示である。（ａ）の状態では、全容が視認できるので、前述の実施の形態１の場合には、表示態様変更が不要である。「Ｂ」のオブジェクトは妨害オブジェクトではないが、共有ユーザが見ている目標オブジェクトである。そのため、実施の形態３の場合には、「Ｂ」のオブジェクトについても全容が確認できるように、表示態様変更が可能である。その変更の際には、例えば「Ａ」と「Ｂ」の両方のオブジェクトの全容が視認できるように、方式や詳細が選択される。例えば、（ｅ）の透過度調整の方式の場合、「Ａ」の目標オブジェクトの一部が一時的に透明になってやや見えにくくなるので、より好適な方式として、（ｃ）の表示位置移動や、図２８の（ｃ）の複製表示の方式が選択されてもよい。

［変形例（３－１）］
実施の形態３では、共有ユーザ注視オブジェクトを表すマーク情報は、注視点とは別のものとした。マーク情報は、共有ユーザが注視するオブジェクトの目標視認範囲のうち、他のオブジェクトによって遮蔽される領域以外の領域に表示される。遮蔽される領域に表示されると、注視先が前後のどちらのオブジェクトであるかが不明となるので、このような表示とすることで明確にできる。また、共有ユーザのＨＭＤ１間では、常時に相互通信を行って略リアルタイムで表示状態（マーク情報を含む）を更新してもよいし、定期的に通信を行って定期的に表示状態を更新してもよい。

変形例として、共有ユーザ注視オブジェクトを表すマーク情報の表示位置については、注視点に合わせた位置としてもよい。また、他の変形例として、視界範囲において、注視点に対応する位置に、注視点を表すマークを表示してもよい。視界範囲において、リモートコントローラ等による選択操作のためのポインタを表示してもよい。図３０は、変形例で、視界範囲１０１に、共有ユーザ注視オブジェクトを表すマークの他に、注視点を表すマーク３００１や、ポインタ３００３を表示する例を示す。第１ユーザＵ１の注視点Ｐ１の位置には例えばひし形のマーク３００１が表示されている。第２ユーザＵ２の注視点Ｐ２の位置には例えば三角のマーク３００２が表示されている。また、第１ユーザＵ１の操作用のポインタとして、例えば十字形のポインタ３００３が表示されている。

［変形例（３－２）］
図３１は、他の変形例における表示例を示す。（ａ）は、第１ユーザＵ１から見た状態であり、前述の図２７の（ａ）と同様である。第１ユーザＵ１は、前側の「Ａ」の目標オブジェクトを見ている。（ｂ）は、第２ユーザＵ２から見た状態である。第２ユーザＵ２は、後側の「Ｂ」のオブジェクトを、第１ユーザＵ１の視線方向とは異なる視線方向、例えば９０度異なる方向から見ている。ここで、「Ｂ」の共有オブジェクトについて、第１ユーザＵ１から見た形状や箇所と、第２ユーザＵ２から見た形状や箇所とは異なっている。（ｂ）では、第２ユーザＵ２から見た「Ａ」「Ｂ」のオブジェクトの側面を「Ａ＃」「Ｂ＃」として図示している。

（ｃ），（ｄ）は、表示態様変更後の状態を示す。（ｃ）で、ＨＭＤ１Ａは、「Ａ」の目標オブジェクトについてはそのままの表示とし、共有ユーザが見ている一部遮蔽されている「Ｂ」のオブジェクトについて、確認のために、表示態様を変更する。この際、ＨＭＤ１Ａは、「Ｂ」のオブジェクトについて、表示態様変更として、（ｂ）のような第２ユーザＵ２から見た形状や箇所の状態となるように表示する。本例では、ＨＭＤ１Ａは、「Ｂ」のオブジェクトをそのままとし、空いている位置に、吹き出しとともに、「Ｂ」のオブジェクトの複製オブジェクト３１０１を生成し表示している。この複製オブジェクト３１０１は、（ｂ）のオブジェクト３１０２と同じ見え方の複製オブジェクトとして生成されている。これにより、第１ユーザＵ１は、「Ｂ」の共有オブジェクトの全容として、特に第２ユーザＵ２から見た状態を確認することができる。（ｂ）の第２ユーザＵ２から見た状態については、遮蔽妨害関係が無いのでそのままの表示としてもよいし、以下としてもよい。（ｄ）のように、ＨＭＤ１Ｂは、第１ユーザＵ１が見ている「Ａ」のオブジェクトについて、上記と同様に、第１ユーザＵ１が見ている形状や箇所が見える状態となるように、表示態様を変更する。本例では、「Ａ」のオブジェクトの前に重畳させて、（ａ）の見え方の「Ａ」のオブジェクト３１０３を生成し表示している。

＜実施の形態４＞
図３２等を用いて、実施の形態４について説明する。実施の形態４では、目標オブジェクト確定方法の変形例を示す。前述の実施の形態では、ユーザの視線からの注視点の検出によって目標オブジェクトを判断・確定していた。変形例では、各オブジェクトに付して表示したタグに対するユーザからの選択入力操作を受け付ける。これにより、ＨＭＤは目標オブジェクトを確定する。

図３２は、実施の形態４での表示例を示す。ユーザＵ１のＨＭＤ１の視界範囲１０１において、前述と同様に、個別実体オブジェクトであるタワー５０８、仮想オブジェクトである説明パネル５０３や案内地図５０４等が表示されている。ＨＭＤ１は、視界範囲１０１において、各オブジェクトに対し、タグを付して表示する。このタグは、オブジェクトを識別し選択可能とするための画像である。本例では、タグ（７０１，７０２，７０３）は、オブジェクトからの引き出し線で接続された矩形と、オブジェクトを識別する番号とを有する。

ユーザＵ１は、ＨＭＤ１に備える所定の操作手段を用いて、オブジェクト選択入力操作を行う。所定の操作手段は、例えば音声入力を利用できるが、これに限定されず、リモートコントローラによるポインタ、視線による注視点検出、手によるジェスチャの認識等、各種の手段を適用できる。音声入力によるオブジェクト選択の場合、例えば以下のようになる。ユーザＵ１は、例えばオブジェクトとしてタワー５０８を選択したい場合、そのオブジェクトに付されたタグ７０３の番号（「３」）を音声で入力する。ＨＭＤ１は、入力された音声の番号を認識し、その番号のタグに対応付けられるオブジェクトを把握する。

例えば複数のオブジェクトが密集している状況等では、注視点だけ用いても目標オブジェクトの確定が難しい場合がある。このような場合、実施の形態４でのタグ選択入力受付を併用することで、目標オブジェクトの確定の正確性を増すことができる。また、実施の形態４でのタグ選択方法を用いることで、ＨＭＤ１として注視点検出機能が無い装置でも、前述の表示態様変更等の機能が適用可能となる。

図３２の（ａ）の変更前の状態では、タワー５０８の前側に案内地図５０４が重なっている。ユーザＵ１の注視点５０７は、タワー５０８と案内地図５０４とに重なっており、目標オブジェクトの判断が難しい場合がある。この場合でも、タグを用いれば簡単に目標オブジェクトの確定が可能である。例えばタワー５０８が目標オブジェクトとして選択される。（ｂ）は変更後の状態を示す。ＨＭＤ１は、選択されたタワー５０８を遮蔽する案内地図５０４について例えば透過度アップ調整を行う。これにより、タワー５０８の全容が見える状態となる。

なお、ＨＭＤ１は、タグ表示を常時に行ってもよいし、注視点だけでは目標オブジェクトの確定が難しいと判断した場合に行ってもよいし、ユーザＵ１によるタグ表示指示入力に応じて行ってもよい。

［変形例］
図３３は、実施の形態４での変形例の表示装置または情報処理装置としてスマートフォンに適用した例を示す。図３３では、スマートフォン７００の表示面での表示例として、各オブジェクトにタグを付して表示する例を示す。スマートフォン７００の場合でも、オブジェクト間の遮蔽妨害関係は、奥行き方向の位置を考慮した３次元配置を前提に考える。そのため、前述の各実施の形態の表示態様変更等の方式を同様に適用可能である。スマートフォン７００の機能ブロック構成は、図示しないが、図１０の構成と基本的に同様である。スマートフォン７００では、視線検出や注視点検出については行わず、他の操作入力手段を用いる。スマートフォン７００では、他の手段（例えばカメラ部４３１）を用いて視線検出や注視点検出を実現してもよい。スマートフォン７００では、実体物（対応する個別実体オブジェクト）については、搭載されたカメラ（カメラ部４３１）による撮影画像として表示される。スマートフォン７００の場合におけるタグ選択入力受付方法や他の操作入力としては、音声入力等の他に、表示面のタッチパネルに対するタップ等による選択入力も可能である。

＜実施の形態５＞
図３４を用いて、実施の形態５について説明する。前述の実施の形態では、奥行き方向での２つのオブジェクトの遮蔽妨害関係として、前側にあるオブジェクトが後側にあるオブジェクトを遮蔽して妨害する場合を示した。そして、このような遮蔽妨害関係の場合に、少なくとも目標オブジェクトを視認しやすくするように表示態様を変更する例を示した。表示態様を変更する対象となるオブジェクトの関係は、上記のような遮蔽妨害関係以外にも存在する。

実施の形態５では、ユーザが複数のオブジェクトを視認する際のオブジェクトの関係として、輝度の差による関係を用いる。視界範囲において、２つのオブジェクト（個別実体オブジェクトまたは仮想オブジェクト）が前後に配置されている場合、あるいは前後でなくても左右等近くに配置されている場合を考える。それらのオブジェクトの輝度（言い換えると明るさ）の差が大きい場合、一方のオブジェクトが他方のオブジェクトの視認の妨害となる場合がある。実施の形態５のＨＭＤは、この場合に表示態様変更を行う。

図３４は表示例を示す。視界範囲１０１において、前側の「Ａ」のオブジェクト１０２と後側の「Ｂ」のオブジェクト１０３とが配置されている。ユーザＵ１の注視点１０６は、前側の「Ａ」のオブジェクト１０２に位置しており、「Ａ」のオブジェクトが目標オブジェクトとなる。この場合、ユーザＵ１は、「Ａ」のオブジェクト１０２について、全容を基本的に視認可能であり、前述の遮蔽妨害関係は無い。ここで、「Ａ」のオブジェクトの輝度と、「Ｂ」のオブジェクトの輝度との差が大きい場合、例えば「Ｂ」の方が、輝度が大きい場合、「Ａ」の目標オブジェクトの視認に「Ｂ」のオブジェクトが妨害となる場合がある。これは、前後のオブジェクトに限らず、左右等近くにオブジェクトがある非遮蔽関係の場合でも、同様に、近くのオブジェクトが妨害となる場合がある。

ＨＭＤ１は、オブジェクト間の輝度の差を判断し、その差から、輝度の観点での妨害オブジェクトを判断する。ＨＭＤ１は、判断した妨害オブジェクト、例えば「Ｂ」のオブジェクトについて、表示態様を変更する。ＨＭＤ１は、（ｂ）の変更後のように、例えば、「Ｂ」のオブジェクトを「Ａ」のオブジェクトから離すように表示位置を移動させる。あるいは、「Ｂ」のオブジェクトの表示態様変更が望ましくない場合には、ＨＭＤ１は、「Ａ」の目標オブジェクトの方を移動させる等して変更してもよい。

また特に、実施の形態５では、他の表示態様変更の方式として、ＨＭＤ１は、一時的にオブジェクトの輝度を変更する方式を用いてもよい。例えば、ＨＭＤ１は、「Ｂ」のオブジェクトの輝度を一時的に低下させる。これにより、輝度の差が小さくなり、ユーザＵ１は、「Ａ」の目標オブジェクトを視認しやすくなる。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態の組合せの形態や、構成要素を追加や削除や置換した形態も可能である。

１…ＨＭＤ（ヘッドマウント情報処理装置）、１１…表示面、Ｕ１…ユーザ、１０１…視界範囲、１０２，１０３…オブジェクト、１０４，１０５…視線、１０６…注視点、１０７…目標視認範囲、１２０…情報サーバ。

Claims (13)

1. 画像を表示する表示デバイスと、
   前記画像の表示を制御するプロセッサと、
   を備え、
   前記表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと３次元配置される仮想オブジェクトとのうち少なくとも前記仮想オブジェクトを表示し、
   ユーザの注視点を算出し、前記注視点の位置に対して最も近い前記オブジェクトを目標オブジェクトとして確定し、
   前記目標オブジェクトと表示上の関連性が高い前記オブジェクトを、前記目標オブジェクトに対する関連オブジェクトとして設定し、
   前記目標オブジェクトの画像領域と前記関連オブジェクトの画像領域とを１つに合わせた画像領域を目標視認範囲として設定し、
   前記目標視認範囲の少なくとも一部を遮蔽する前記オブジェクトを妨害オブジェクトとして検出し、
   前記妨害オブジェクトがある場合、前記目標視認範囲の視認に対する前記妨害オブジェクトによる妨害を解消または低減するように、前記目標視認範囲と前記妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行う、
   表示装置。
2. 請求項１記載の表示装置において、
   前記目標オブジェクトと前記妨害オブジェクトとにおいて、前記オブジェクトの前記表示態様の変更に関する制限や許容の度合いを表す属性を比較して、少なくとも前記表示態様の変更を行う対象となるオブジェクトを決定する、
   表示装置。
3. 請求項１記載の表示装置において、
   前記表示態様の変更は、表示位置の移動、透過度の調整、縮小または拡大、あるいは、複製オブジェクトの表示である、
   表示装置。
4. 請求項１記載の表示装置において、
   前記ユーザの視線方向において前記オブジェクトとして複数のオブジェクトが重なる場合、それらのオブジェクトのうち視認価値が最も高いオブジェクトを前記目標オブジェクトとして確定する、
   表示装置。
5. 請求項１記載の表示装置において、
   前記表示デバイスに対応付けられた視界範囲内において前記オブジェクトとして複数のオブジェクトがある場合に、
   前記ユーザによる入力操作で指定されたオブジェクトを前記目標オブジェクトとして確定する、
   表示装置。
6. 請求項１記載の表示装置において、
   前記目標視認範囲の少なくとも一部を遮蔽する前記オブジェクトを前記妨害オブジェクトとして検出する、
   表示装置。
7. 請求項１記載の表示装置において、
   前記ユーザの視線方向において前記オブジェクトとして複数のオブジェクトが重なっており、前側のオブジェクトによって後側のオブジェクトが遮蔽されて隠れて見えない場合に、前記後側のオブジェクトを目標候補オブジェクトとして、少なくとも一部が遮蔽されずに見える状態となるように、前記表示態様の変更を行う、
   表示装置。
8. 請求項７記載の表示装置において、
   前記表示態様の変更は、表示位置の移動、透過度の調整、縮小または拡大、あるいは、複製オブジェクトの表示である、
   表示装置。
9. 請求項１記載の表示装置において、
   複数のユーザの各ユーザが前記表示装置を使用し、前記複数のユーザを共有ユーザとして、前記オブジェクトを共有オブジェクトとして使用する場合で、自分を第１ユーザ、他者を第２ユーザとした場合において、
   前記第１ユーザの第１表示装置と前記第２ユーザの第２表示装置との通信に基づいて、
   前記第１ユーザの前記第１表示装置は、前記第２ユーザが前記目標オブジェクトとして注視している前記共有オブジェクトに対し、前記第２ユーザが前記目標オブジェクトとして注視していることを表すマーク情報を表示する、
   表示装置。
10. 請求項９記載の表示装置において、
    前記第１ユーザの前記第１表示装置は、前記第２ユーザが前記目標オブジェクトとして注視している前記共有オブジェクトの少なくとも一部が他のオブジェクトによって遮蔽されている場合に、前記第２ユーザの前記目標オブジェクトの全容が見える状態になるように、前記オブジェクトの表示態様の変更を行う、
    表示装置。
11. 請求項１０記載の表示装置において、
    前記第２ユーザの前記目標オブジェクトの全容が見える状態になるように、前記オブジェクトの表示態様の変更を行う際に、前記第２ユーザの前記目標オブジェクトの全容として前記第２ユーザから視認した状態を表示する、
    表示装置。
12. 請求項１記載の表示装置において、
    前記表示デバイスに対応付けられた視界範囲において、前記オブジェクトとして第１オブジェクトと第２オブジェクトとが前記ユーザの視線方向に重なる場合または近傍に配置されている場合において、
    前記第１オブジェクトと前記第２オブジェクトとの輝度の差を検出し、
    前記輝度の差が閾値以上に大きい場合に、前記輝度が大きい方を前記妨害オブジェクトとして検出する、
    表示装置。
13. 画像を表示する表示デバイスと、前記画像の表示を制御するプロセッサと、を備える表示装置における表示方法であって、
    前記表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと３次元配置される仮想オブジェクトとのうち少なくとも前記仮想オブジェクトを表示するステップと、
    ユーザの注視点を算出し、前記注視点の位置に対して最も近い前記オブジェクトを目標オブジェクトとして確定するステップと、
    前記目標オブジェクトと表示上の関連性が高い前記オブジェクトを、前記目標オブジェクトに対する関連オブジェクトとして設定するステップと、
    前記目標オブジェクトの画像領域と前記関連オブジェクトの画像領域とを１つに合わせた画像領域を目標視認範囲として設定するステップと、
    前記目標視認範囲の少なくとも一部を遮蔽する前記オブジェクトを妨害オブジェクトとして検出するステップと、
    前記妨害オブジェクトがある場合、前記目標視認範囲の視認に対する前記妨害オブジェクトによる妨害を解消または低減するように、前記目標視認範囲と前記妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行うステップと、
    を有する、表示方法。

Images