JP6007712B2 - ヘッドマウントディスプレイ、それを作動させる方法およびプログラム - Google Patents

Description

本発明は、観察者の頭部に装着された状態で観察者に画像を表示するヘッドマウントディスプレイに関するものであり、特に、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にする技術に関するものである。

観察者の頭部に装着された状態で、画像光を観察者の眼に投射することにより、観察者に画像を表示するヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）が既に知られている。このＨＭＤによれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。

このＨＭＤは、画像光を形成する方式という観点で、例えば、空間変調型と走査型とに分類される。空間変調型は、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ（エレクトロ・ルミネッセンス））を用いて、光源からの出射光から前記画像光を形成する方式である。これに対し、走査型は、光源からの出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式である。

また、このＨＭＤは、観察者が画像を観察する方式という観点で、例えば、シースルー式と密閉式とに分類される。シースルー式は、画像信号に応じた画像を表す画像光と、観察者の前方に位置する現実外界（前記「対象空間」の一例）からの外界光とを重畳させて観察者の眼に入射させることにより、観察者が、画像信号に応じた画像を、現実外界の像に重ねて観察することを可能にする方式である。これに対し、密閉式は、現実外界を表す外界光の入射光を遮断し、観察者が、主に、画像信号に応じた画像のみを観察することを可能にする方式である。

後者の密閉式を採用する場合、画像信号に応じた画像が対象空間の像を含まないようにＨＭＤを設計することが可能である。この場合には、観察者は、対象空間の像を観察することができず、画像信号に応じた画像を単独で観察することになる。しかし、ＨＭＤを、対象空間の像を撮影し、その撮影した画像と、画像信号に応じた別の画像とを合成し、その合成画像を観察者に表示するように設計することも可能である。この場合には、観察者は、シースルー式を採用する場合と同様に、対象空間の像に重ねて、それとは別の画像を観察することが可能となる。以下、この方式を、説明の便宜上、「ビデオシースルー式」と称し、これに対し、上述のシースルー式を「光学シースルー式」と称することにより、両者を区別する。

人間が知覚する現実世界をコンピュータを用いて増強・拡張する技術が既に存在し、これは拡張現実（ＡＲ）と称される。この拡張現実を光学シースルー式またはビデオシースルー式のＨＭＤを用いて実現する技術の一従来例が特許文献１に開示されている。

この特許文献１に開示されている技術によれば、観察者が仮想空間（前記「対象空間」の別の例）内に存在する仮想オブジェクトを観察している間、その仮想オブジェクトの観察位置に関連付けて、その仮想オブジェクトに関連する参照コンテンツ（例えば、アノテーション）が表示される。この技術によれば、観察者が、仮想オブジェクトを観察しながら、その仮想オブジェクトに関連する情報を視覚的にかつ自動的に取得することが可能となり、観察者の利便性が向上する。

特開２００５−０３８００８号公報

特許文献１に開示されている技術によれば、観察者が唯一の仮想オブジェクトを観察している間、観察者がその仮想オブジェクトに一定時間以上注視すると、その仮想オブジェクトの観察位置の近傍に、その仮想オブジェクトに関連する参照コンテンツとしてのアノテーションが自動的に表示される。このとき、そのアノテーションに対する焦点を仮想オブジェクトに対する焦点と一致させるため、観察者の視点位置からアノテーションまでの奥行きが、視点位置から仮想オブジェクトまでの奥行きとほぼ同じとされる。

しかし、特許文献１に開示されている技術では、観察者が同じ仮想オブジェクトを一定時間以上注視しない限り、その仮想オブジェクトに関連するアノテーションが表示されず、そのため、観察者は、注視前にあっては、仮想オブジェクトに関連する情報に一切アクセスすることができない。これは、仮想オブジェクトが観察される限り、その仮想オブジェクトについて何らかの情報でも取得したいと希望する観察者にとり、不便である。

また、特許文献１は、アノテーションの奥行きの設定に関し、観察者が１つの仮想オブジェクトを注視したか否かに応じて、その仮想オブジェクトに関連する同じアノテーションの奥行きを時間と共に変化させる点も開示していない。

これに対し、本発明者らは、この種のＨＭＤについて研究を行った結果、観察者がオブジェクトを観察している限り、そのオブジェクトに関連する参照コンテンツを表示させておく場合には、観察者が１つのオブジェクトに注目したか否かに応じて、そのオブジェクトに関連する同じ参照コンテンツの奥行きを時間と共に変化させることが、観察者が参照コンテンツを視認する際の快適性を向上させるために望ましいことに気が付いた。

なお、本明細書の全体を通して、観察者が特定の対象を「注視する」という行為は、観察者の視線がその特定の対象と交差するように観察者がその特定の対象を見るという、観察者の外形的行為を意味し、これに対し、観察者が特定の対象に「注目する」という行為は、観察者がその特定の対象を他の対象より強い関心を抱いているという、観察者の内面的行為を意味する。観察者の視線がその特定の対象と交差するように観察者がその特定の対象を見ている場合には、観察者がその特定の対象に「注目している」ことが明白である。

しかし、観察者の視線がその特定の対象と交差するように観察者がその特定の対象を見ていない場合であっても、観察者がその特定の対象に「注目している」ことがあり得る。観察者が注視している対象と、観察者が注目している対象とが互いに異なっていても、それら対象間に強いつながりが存在する場合（例えば、後述の、オブジェクトと、そのオブジェクトに少なくとも内容的に関連する参照コンテンツとの関係）には、観察者が注視している対象が特定されれば、観察者が注目しているはずである別の対象を高い確度で推定できる。よって、観察者が注視している対象と、観察者が注目している対象とが必ずしも互いに一致しなくても、観察者が注視している対象が特定されれば、観察者が注目しているはずである別の対象も高い確度で推定できる。

以上説明した知見を背景として、本発明は、観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイにおいて、観察者が参照コンテンツを視認する際の快適性を向上させることを目的とする。

その課題を解決するために、本発明の第１側面によれば、観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示部と、
前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された注視参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示部と
を含み、
前記第２の奥行きは、可変値であり、
前記注目表示部は、注目オブジェクトの奥行きと注視参照コンテンツについての前記第２の奥行きとの差が、他のオブジェクトの奥行きと他の注視参照コンテンツについての奥行きであって前記第１の奥行きに等しいものとの差より小さくなるように、注視参照コンテンツについての前記第２の奥行きを設定するヘッドマウントディスプレイが提供される。
また、本発明の第２側面によれば、観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示部と、
前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示部と
を含み、
前記一覧表示部は、前記複数の参照コンテンツを選択することなくすべて表示する非選択状態から、前記複数の参照コンテンツを選択して部分的に表示する選択状態に切り換わり、
前記注目表示部は、前記選択状態で、観察者が、前記複数の参照コンテンツのうちのいずれかを注視すると、その注視された参照コンテンツを前記選択状態での表示サイズより拡大表示するヘッドマウントディスプレイが提供される。
また、本発明の第３側面によれば、観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示工程と、
前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された注視参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示工程と
を含み、
前記第２の奥行きは、可変値であり、
前記注目表示工程が、注目オブジェクトの奥行きと注視参照コンテンツについての前記第２の奥行きとの差が、他のオブジェクトの奥行きと他の注視参照コンテンツについての奥行きであって前記第１の奥行きに等しいものとの差より小さくなるように、注視参照コンテンツについての前記第２の奥行きを設定することと、
前記一覧表示工程は、前記複数の参照コンテンツを選択することなくすべて表示する非選択状態から、前記複数の参照コンテンツを選択して部分的に表示する選択状態に切り換わり、前記注目表示工程は、前記選択状態で、観察者が、前記複数の参照コンテンツのうちのいずれかを注視すると、その注視された参照コンテンツを前記選択状態での表示サイズより拡大表示することとのうちの少なくとも一方を実行する方法が提供される。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。

（１） 観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
前記少なくとも１つの参照コンテンツを第１の奥行きを有するように表示する第１表示制御部と、
前記少なくとも１つの参照コンテンツの表示中、観察者がいずれかの参照コンテンツまたはそのいずれかの参照コンテンツに関連するいずれかのオブジェクトを注視する状態に移行すると、前記いずれかの参照コンテンツの奥行きを、前記第１の奥行きから、前記いずれかのオブジェクトの奥行きと実質的に同じ第２の奥行きに変化させる第２表示制御部と
を含むヘッドマウントディスプレイ。

（２） 前記少なくとも１つのオブジェクトは、当該ヘッドマウントディスプレイからの距離が異なる少なくとも２つのオブジェクトを有する複数のオブジェクトを含み、
前記少なくとも１つの参照コンテンツは、複数の参照コンテンツを含み、
前記第１表示制御部は、前記複数の参照コンテンツを、それぞれが前記第１の奥行きを有するように表示する一覧表示を行う一覧表示部を含み、
前記第２表示制御部は、
前記一覧表示の実行中、観察者が、前記一覧表示されている複数の参照コンテンツのうち、実質的に最も強く注視しているものを注視参照コンテンツとして抽出し、前記複数のオブジェクトのうち、前記抽出された注視参照コンテンツに対応するオブジェクトを注目オブジェクトとして推定する注目オブジェクト推定部と、
その注目オブジェクトが推定されると、少なくとも、前記注視参照コンテンツの奥行きを、前記第１の奥行きから、前記注目オブジェクトの奥行きと実質的に同じ前記第２の奥行きに変化させる注目表示を行う注目表示部と
を含む（１）項に記載のヘッドマウントディスプレイ。

（３） さらに、
前記対象空間内において、当該ヘッドマウントディスプレイに対して予め定められた領域内に存在する複数のオブジェクトを、各オブジェクトの奥行きを特定し得る奥行き関連情報と共に取得するオブジェクト取得部と、
当該ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記取得された複数のオブジェクトにそれぞれ対応する複数の参照コンテンツを選択する参照コンテンツ選択部と
を含み、
前記一覧表示部は、前記選択された複数の参照コンテンツを一覧表示する（２）項に記載のヘッドマウントディスプレイ。

（４） 前記注目表示部は、前記注目オブジェクトに対応する参照コンテンツを、その参照コンテンツが前記一覧表示されるときの表示サイズより拡大された表示サイズを有するように表示する（２）または（３）項に記載のヘッドマウントディスプレイ。

（５） 前記一覧表示部は、前記各オブジェクトの、当該ヘッドマウントディスプレイからの奥行きに応じて、そのオブジェクトに対応する前記参照コンテンツの表示サイズを決定する表示サイズ決定部を含む（２）ないし（４）項のいずれかに記載のヘッドマウントディスプレイ。

（６） 前記一覧表示部は、前記各オブジェクトの、当該ヘッドマウントディスプレイからの奥行きに応じて、そのオブジェクトに対応する前記参照コンテンツに含まれる情報アイテムの内容を決定する表示アイテム決定部を含む（２）ないし（５）項のいずれかに記載のヘッドマウントディスプレイ。

（７） 前記注目表示部は、観察者の頭部の動きが実質的に停止すると、前記注目表示を開始する（２）ないし（６）項のいずれかに記載のヘッドマウントディスプレイ。

（８） 前記注目表示部は、観察者の頭部に実質的な動きが発生すると、前記注目表示を終了する（２）ないし（７）項のいずれかに記載のヘッドマウントディスプレイ。

（９） 前記注目表示部は、前記注目オブジェクトが、観察者の観察眼に対して相対的に決まる視界から外れると、前記注目表示を終了する（２）ないし（８）項のいずれかに記載のヘッドマウントディスプレイ。

（１０） 前記一覧表示部は、前記現実外界に存在する少なくとも１つのオブジェクトに複数の参照コンテンツが対応する場合に、各参照コンテンツに予め割り当てられた重要度に基づき、前記複数の参照コンテンツのうち、少なくとも１つの参照コンテンツを除くものを表示することにより、前記一覧表示される参照コンテンツの数を減少させる（２）ないし（９）項のいずれかに記載のヘッドマウントディスプレイ。

（１１） さらに、観察者の視線を検出する視線検出部を含み、
前記注目オブジェクト推定部は、前記検出された視線が、前記一覧表示されている複数の参照コンテンツのうちのいずれかと所定時間以上連続して交差している連続交差状態にあるか否かを判定し、その連続交差状態にあると判定された場合に、前記いずれかの参照コンテンツが前記注視参照コンテンツであると判定する請求項２ないし１０のいずれかに記載のヘッドマウントディスプレイ。

（１２） 観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
前記少なくとも１つの参照コンテンツを第１の奥行きを有するように表示する第１表示工程と、
前記少なくとも１つの参照コンテンツの表示中、観察者がいずれかの参照コンテンツまたはそのいずれかの参照コンテンツに関連するいずれかのオブジェクトを注視する状態に移行すると、前記いずれかの参照コンテンツの奥行きを、前記第１の奥行きから、前記いずれかのオブジェクトの奥行きと実質的に同じ第２の奥行きに変化させる第２表示工程と
を含む方法。

（１３） （１２）項に記載の方法を実行するためにコンピュータによって実行されるプログラム。

（１４） 現実外界に存在するオブジェクトに関連する参照コンテンツを示す画像光と、前記現実外界の像を示す外界光とを重畳して出射可能に構成され、観察者の頭部に装着可能な表示ユニットと、
その表示ユニットの位置を取得可能な位置取得部と、
前記画像光のピント位置を変更するピント調整部と、
前記表示ユニットが観察者の頭部に装着された場合に、観察者によって注視される対象である注視対象を決定する注視対象決定部と、
前記表示ユニットの作動を制御する制御部と
を含み、
その制御部は、
前記位置検出部によって検出された前記表示ユニットの位置に基づき、前記表示ユニットに対して予め定められた領域内に位置するオブジェクトに関連する参照コンテンツを取得可能なコンテンツ取得手段と、
そのコンテンツ取得手段によって取得された参照コンテンツを前記表示ユニットに表示させることが可能な表示制御手段と、
前記注視対象決定部によって決定された注視対象が、前記コンテンツ取得手段によって取得された参照コンテンツに該当するか否かを判定可能な判定手段と、
その判定手段により、前記注視対象が前記参照コンテンツに該当すると判定された場合に、前記ピント調整部を制御することにより、前記表示画像のピント位置を、前記参照コンテンツがその参照コンテンツに対応付けられたオブジェクトと同じ距離に表示されるピント位置に変更するピント変更手段と
を有するヘッドマウントディスプレイ。

本発明によれば、観察者がオブジェクトを観察している間、そのオブジェクトに観察者が注目する前であっても、そのオブジェクトに関連する参照コンテンツが表示され、さらに、観察者がオブジェクトに注目したか否かに応じて、そのオブジェクトに関連する参照コンテンツの奥行きが時間と共に変化する。よって、本発明によれば、観察者が参照コンテンツを視認する際の快適性が向上する。

図１は、本発明の例示的な一実施形態に従うヘッドマウントディスプレイ（ＨＭＤ）を左眼観察モードで、かつ、観察者の頭部に装着するために使用されるフレームと共に示す斜視図である。 図２は、図１に示す表示ユニットを示す縦断面図である。 図３（ａ）は、図２に示すピント調整機構を、ＬＣＤアジャスタを取り外した状態で示す側面図であり、図３（ｂ）は、そのピント調整機構を、ＬＣＤアジャスタが組み付けられた状態で示す側面図である。 図４は、図１に示すＨＭＤの構成を概念的に表す機能ブロック図である。 図５は、図１に示すＨＭＤを作動させた場合に観察者が視認する画像の展開の一例を、一覧モードで視認される画像と、注視モードで視認される画像との違いを説明するために示す図である。 図６（ａ）は、観察者が、図１に示すＨＭＤを使用している状態で、ある展示室内において複数の展示物を鑑賞している様子を説明するために、その展示室全体を真上から俯瞰することによって示す平面図であり、図６（ｂ）は、図４に示すコンテンツ情報記憶部に記憶されているコンテンツ関連情報の一例であって、図６（ａ）に示す例に対応するものを表形式で表す概念図である。 図７（ａ）は、図６（ａ）および図６（ｂ）に示す例において、表示されるべき参照コンテンツを絞り込む手法の一例を説明するための概念図であり、図７（ｂ）は、図１に示すＨＭＤを作動させた場合に観察者が視認する画像の一例を、前記手法によって絞り込まれた複数の参照コンテンツの、前記ＨＭＤの画像表示領域内におけるレイアウトの一例を説明するために示す図である。 図８は、図１に示すＨＭＤを作動させた場合に観察者が視認する画像の一例を、図５に示す一覧モードの一変形例を説明するために示す図である。 図９は、図４に示すメモリに記憶されている画像表示プログラムが同図に示すプロセッサによって実行されることによって実行される画像表示方法を概念的に表すフローチャートである。 図１０は、図９に示すステップＳ８を構成する一覧モード用モジュールの一部を概念的に表すフローチャートである。 図１１は、前記一覧モード用モジュールの別の一部を概念的に表すフローチャートである。 図１２は、図９に示すステップＳ１２を構成する注視モード用モジュールを概念的に表すフローチャートである。

以下、本発明のさらに具体的でかつ例示的ないくつかの実施形態を図面を参照して詳細に説明する。

図１には、本発明の例示的な一実施形態に従うヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）１０が斜視図で示されている。

まず、概略的に説明するに、このＨＭＤ１０は、観察者の眼前に位置するように観察者の頭部に装着されて使用される。その使用状態において、このＨＭＤ１０は、観察者の前方に位置する現実外界（前記「対象空間」の一例）の像を表す外界光を観察者の眼に誘導し、それにより、観察者が、現実外界に存在するオブジェクト（例えば、人間や機械、建物、動物、植物、彫刻物、製造物など、３次元的な物体や、写真や絵画、映画、印刷物など、２次元的な物体）を観察することが可能であるように設計される。

さらに、このＨＭＤ１０は、観察者が観察しているオブジェクトに関連する参照コンテンツ（例えば、観察者に提供すべき情報をテキスト、グラフィックスで表現した画像、アノテーションなど）を画像信号に応じて生成し、その生成された参照コンテンツを観察者に、現に観察しているオブジェクトの観察位置に関連付けて表示することが可能であるようにも設計されている。一例においては、オブジェクトは、美術館などの施設内の展示室内で展示されている展示物であり、また、参照コンテンツは、そのような展示物を補足的に説明するための、テキストやグラフィックスによるアノテーションである。

さらに、このＨＭＤ１０は、観察者が観察しているオブジェクトに関連する参照コンテンツを第１の奥行きを有するように表示し、その表示中、観察者がその参照コンテンツまたは前記オブジェクトを注視する状態に移行すると、前記参照コンテンツの奥行きを、前記第１の奥行きから、前記オブジェクトの奥行きと実質的に同じ第２の奥行きに変化させるようにも設計されている。すなわち、このＨＭＤ１０においては、観察者がオブジェクトに注目したか否かに応じて、そのオブジェクトに関連する参照コンテンツの奥行きが時間と共に変化するのであり、よって、このＨＭＤ１０によれば、参照コンテンツを観察者の感覚に合致した条件で表示することが可能となり、観察者が参照コンテンツを視認する際の快適性が向上する。

次に、図１ないし図４を参照することにより、このＨＭＤ１０が採用する光学系の構成を説明する。

このＨＭＤ１０は、表示ユニット１２と、アタッチメント１４と、制御ユニット１６とを備えている。制御ユニット１６は、表示ユニット１２に対し、ケーブル１８（少なくとも信号ラインを含み、通常、電力ラインも含む）を介して有線方式で（無線方式でも可）接続されることにより、両者間でのデータや信号のやりとりが可能となっている。

表示ユニット１２は、単眼式であり、画像を表す画像光を観察者の両眼のうちの一方である観察眼（他方の眼は、非観察眼）に投射するように構成されている。この表示ユニット１２は、光学シースルー型、すなわち、画像信号に応じた画像を表す画像光と、観察者の前方に位置する現実外界からの外界光とを重畳させて観察眼に入射させることにより、観察者が、画像信号に応じた画像を、現実外界の像に重ねて観察することが可能である方式を採用する。

ただし、表示ユニット１２において、単眼式を両眼式に変更した態様や、光学シースルー式を前述のビデオシースルー式に変更した態様で本発明を実施することが可能である。ただし、そのビデオシースルー式を採用する場合には、ＨＭＤ１０が、例えば、画像信号に応じた画像の表示と、現実外界の像の表示とを、それぞれ互いに異なる時期に、時分割方式で行うなどすることにより、画像信号に応じた画像のピント位置と、現実外界の像のピント位置とを、互いに独立して調整可能であることが必要である。

これに対し、ＨＭＤ１０は、奥行きが互いに異なる複数のオブジェクトが現実外界に存在する場合に、それらオブジェクトから出射した外界光を観察眼に誘導し、それにより、観察者が、それらオブジェクトを、それぞれ互いに異なる奥行きを有するように観察することを可能にする一方、観察者が、複数の参照コンテンツを、それらに共通の画像光により、それぞれ互いに同じ奥行きを有するように視認することを可能にする。

よって、このＨＭＤ１０にあっては、複数のオブジェクトを表す光は、それぞれのオブジェクトからの反射光であって、それらオブジェクトに共通のレンズを通過していないのに対し、複数の参照コンテンツを表す光は、それら参照コンテンツに共通のレンズを通過しているため、参照コンテンツの奥行きを、前記レンズの位置を変えることにより、オブジェクトの奥行きに対して相対的に自由に調整することが可能である。

図１に示すように、観察者の頭部に被装着部材としてのフレーム２０が装着され、そのフレーム２０にアタッチメント１４が装着され、そのアタッチメント１４に表示ユニット１２が装着される。その結果、表示ユニット１２がアタッチメント１４を介してフレーム２０に装着される。

図１に示す例においては、表示ユニット１２がフレーム２０の左側部３０Ｌに取り付けられ、それにより、ＨＭＤ１０が左眼観察モードで使用されるが、表示ユニット１２は、アタッチメント１４により、フレーム２０の右側部３０Ｒと左側部３０Ｌとの間で付け替えて使用することが可能となっている。

具体的には、アタッチメント１４は、フレーム２０の左側部３０Ｌに固定される左眼用フレーム側部材４０Ｌと、フレーム２０の右側部３０Ｒに固定される右眼用フレーム側部材４０Ｒ（図示しない）とを備えている。アタッチメント１４は、観察者の選択により、観察者の左眼が観察眼である左眼観察モードを実現するために、フレーム２０の左側部３０Ｌに取り付けられた左眼用フレーム側部材４０Ｌに表示ユニット１２が取り付けらける状態（図１に示す）と、観察者の右眼が観察眼である右眼観察モードを実現するために、フレーム２０の右側部３０Ｒに取り付けられた右眼用フレーム側部材４０Ｒに表示ユニット１２が取り付けられる状態（図示しない）とに切り換わる。

表示ユニット１２は、右眼観察モードと左眼観察モードとの間において、その向きを反転させて使用される。具体的には、表示ユニット１２がアタッチメント１４を介してフレーム２０に装着される向きが、右眼観察モードと左眼観察モードとの間において、頭部装着状態において観察者の左右方向に対して略平行である垂直面内で互いに反転させられる。

図１に示すように、表示ユニット１２は、それの長手方向に延びる、概して中空であるハウジング２００を有する。ハウジング２００は、合成樹脂製である。そのハウジング２００内に、参照コンテンツを表示画像として表示するための画像光を形成する画像光形成部２０２（図２参照）が収容されている。

図２に示すように、表示ユニット１２は、画像光形成部２０２を収容する本体部分２１０と、その画像光形成部２０２によって形成された画像光を観察眼に向けて出射する出射口２１２が形成された出射口部分２１４とを、表示ユニット１２の長手方向に沿って互いに並ぶように有している。表示ユニット１２は、さらに、本体部分２１０と出射口部分２１４とを着脱可能に互いに連結する連結機構２７０を有している。

図２に示すように、画像光形成部２０２は、入射光を２次元空間的に変調して前記画像光を生成する、概して板状を成す空間光変調素子としてのＬＣＤ２２０（表示部の一例）を有する。ＬＣＤ２２０は、複数の画素が２次元的に並んだ液晶ディスプレイである。

なお付言するに、本実施形態においては、表示ユニット１２が空間光変調型であるが、網膜走査型、すなわち、レーザ等、光源からの光束をスキャナによって走査し、その走査された光束を観察者の網膜に投射するものに変更してもよい。

画像光形成部２０２は、さらに、板状のドライバ２２２（表示制御部の一例）を有する。そのドライバ２２２は、図示しないケーブルを介して、ＬＣＤ２２０に電気的に接続されている。ドライバ２２２は、外部から入力される画像信号に基づいてＬＣＤ２２０を駆動し、それにより、観察者に表示すべき画像を表す画像光をＬＣＤ２２０から出射させる。ＬＣＤ２２０は、バックライト光源を内蔵しているが、その光源に代えて、ＬＣＤ２２０から独立した光源を用いてもよい。

図２に示すように、表示ユニット１２は、さらに、接眼光学系２４６を有する。その接眼光学系２４６は、複数の光学素子としての複数のレンズが直列に並んだ一次元配列として構成されている。それらレンズは、同じ光軸を共有する。その光軸は、ハウジング２００の長手方向に平行に、かつ、ミラーなどの部品によってその方向が曲げられることなく、一直線に延びている。接眼光学系２４６は、ハウジング２００のうち、本体部分２１０に属する部分内に収容されている。

接眼光学系２４６は、それに属する複数のレンズのうち最も下流側に位置する終端レンズ２４８と、その終端レンズ２４８より下流に配置された保護透明体（例えば、合成樹脂製の透明な円板）２５０とを備えている。

出射口部分２１４は、接眼光学系２４６から出射する画像光を曲げて観察眼に誘導する部分反射・部分透過光学素子としてのハーフミラー（画像光を観察眼に向けて偏向する偏向部材の一例）２６０を有している。

接眼光学系２４６から出射する画像光は、ハーフミラー２６０で反射して、観察眼の瞳孔を通過して、網膜（図示しない）に入射する。それにより、観察者が２次元画像を虚像として観察することが可能となる。観察眼には、ハーフミラー２６０で反射した画像光のみならず、現実外界からの光である外界光がハーフミラー２６０を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能である。

次に、主に図２および図３を参照することにより、ＨＭＤ１０が表示画像のピント位置を調整するための構成を説明する。

図２に示すように、画像光形成部２０２は、さらに、ＬＣＤ２２０を前記光軸方向において前後に変位させることによって前記画像光のピント位置を調整するピント調整機構２３０を有している。そのピント調整機構２３０は、ＬＣＤホルダ２３２と、支持機構２３４と、ＬＣＤアジャスタ２３６（操作部）と、運動変換機構２３８とを有する。

ＬＣＤ２２０は、画像光形成部２０２の長手方向と一致する光軸方向を有し、かつ、ハウジング２００内において、前記光軸方向に変位可能に支持されている。具体的には、ＬＣＤ２２０は、ＬＣＤホルダ２３２によって一体的に回転・移動可能に保持されており、そのＬＣＤホルダ２３２は、ハウジング２００の一部またはハウジング２００に固定の別部材（本実施形態においては、静止部材２４０）に設けられた支持機構２３４により、光軸方向に移動可能かつ回転不能に支持されている。

図２に示すように、ＬＣＤアジャスタ２３６は、光軸と同軸であるように、かつ、ＬＣＤホルダ２３２の外周部を包囲するように、ハウジング２００内に設置されている。ＬＣＤアジャスタ２３６は、ハウジング２００に、光軸方向に移動不能かつ同軸的に回転可能に支持されている。これにより、ＬＣＤアジャスタ２３６は、光軸方向における定位置において、ユーザの操作に応じて必要角度だけ回転させられる。

観察者であるユーザからＬＣＤアジャスタ２３６へのアクセスを可能にするため、図１に示すように、ＬＣＤアジャスタ２３６のうち、頭部装着状態において前方に位置する部分と、後方に位置する部分（図１においては、隠れて見えない）とがそれぞれ、ハウジング２００を構成する複数の面のうちの前面と後面とから露出させられている。ＬＣＤアジャスタ２３６の外周面には、ユーザによる操作性を向上させるために、複数の歯が形成されている。

運動変換機構２３８は、ＬＣＤアジャスタ２３６とＬＣＤホルダ２３２とに関連付けられる。運動変換機構２３８は、ＬＣＤアジャスタ２３６の回転運動をＬＣＤホルダ２３２の直線運動に変換し、それにより、ＬＣＤ２２０を光軸方向に沿って所望の位置に移動させる。

図３（ａ）は、ピント調整機構２３０を、ＬＣＤアジャスタ２３６を取り外した状態で示す側面図であり、図３（ｂ）は、ピント調整機構２３０を、ＬＣＤアジャスタ２３６が組み付けられた状態で示す側面図である。

本実施形態においては、運動変換機構２３８が、図３（ａ）に示すように、ＬＣＤホルダ２３２の外周面に形成されたらせん状のカム溝２４２と、ＬＣＤアジャスタ２３６の内周面に形成された、半径方向に延びる駆動ピン（図示しない）とを有する。その駆動ピンは、カム溝２４２にがたなく係合し、その係合状態でカム溝２４２に沿って相対的に運動させられる。ＬＣＤアジャスタ２３６が回転させられると、前記駆動ピンが光軸回りに円運動を行い、その円運動は、カム溝２４２と支持機構２３４との共同作用により、ＬＣＤホルダ２３２の直線運動に変換される。

ただし、運動変換機構２３８は、カム機構以外の機構によって必要な運動変換を行うことが可能であり、例えば、ねじ機構（例えば、ＬＣＤアジャスタ２３６の内周面に形成されためねじと、ＬＣＤホルダ２３２の外周面に形成されたおねじであって前記めねじが螺合するもの）を採用してもよい。

ＨＭＤ１０は、前述のように、その使用状態において、可変の奥行きを有するように参照コンテンツを表示する奥行き可変型表示機能を有する。この奥行き可変型表示機能を実現するために、本実施形態においては、ピント調整機構２３０が、上述のように、手動で操作可能であることに加えて、電気的に操作可能であるようにもなっている。

具体的には、図１および図４に示すように、ピント調整機構２３０に、それのＬＣＤアジャスタ２３６において、電動式のアクチュエータ２８０（例えば、ステップモータ）が係合させられる。そのアクチュエータ２８０は、ハウジング２００によって支持されている。このアクチュエータ２８０は、ドライバ２８２から供給される電気信号によって駆動されるとともに、アクチュエータ２８０の実際の作動量が目標量と一致するように制御される。アクチュエータ２８０の作動がＬＣＤアジャスタ２３６に伝達され、ＬＣＤアジャスタ２３６が回転されることによって、ピント調整機構２３０が電気的に操作される。

次に、図４を参照することにより、ＨＭＤ１０のうち、参照コンテンツをオブジェクトに関連付けて表示する部分のハードウエア構成を説明する。

表示ユニット１２は、入力装置１２ａと出力装置１２ｂとを有する。

入力装置１２ａは、表示ユニット１２を装着している観察者の位置（例えば、観察者の頭部の位置や、表示ユニット１２の位置であり、また、グローバル座標系上の位置や、前記施設に固定されたローカル座標系上の位置である）を検出する位置検出部３００を有する。その位置検出部３００は、例えば、グローバル・ポジションニング・システムＧＰＳによって観察者の位置を検出するために表示ユニット１２に搭載されるデバイスとしたり、３点測位法によって観察者の位置を検出するために表示ユニット１２に搭載されるデバイスとすることが可能である。

入力装置１２ａは、さらに、観察者の向き（例えば、観察者の頭部の向き、表示ユニット１２の向き）を検出する向き検出部３０２を有する。その向き検出部３０２は、例えば、電子コンパスによって観察者の向きを検出するために表示ユニット１２に搭載されるデバイスとしたり、表示ユニット１２に搭載される角加速度センサまたは角速度センサを主体とし、その検出値を時間積分することによって観察者の角度を計算するために表示ユニット１２に搭載されるデバイスとすることが可能である。

なお、向き検出部３０２の別の例としては、オブジェクトに対する相対的な方向を検出する構成を採用するものでもよい。この場合、例えば、表示ユニット１２にカメラが接続され、そのカメラによってオブジェクトを撮像して得られる画像を基にして、表示ユニット１２の、オブジェクトに対する相対的な方向が検出されるようにしてもよい。この場合、必要であれば、撮像されるオブジェクトの位置情報を特定するために、位置検出部３００の検出結果を利用してもよい。

入力装置１２ａは、さらに、観察者の視線を検出する視線検出部３０４を有する。その視線検出部３０４は、例えば、アイマークレコーダによって観察者の視線を検出するために表示ユニット１２に搭載されるデバイスとすることによって観察者の角度を計算するデバイスとすることが可能である。

この視線検出部３０４によれば、観察者の視線方向を、それが観察者の正面方向と一致するか否かを問わず、精度よく検出することが可能であるが、より簡易的な視線検出方法を採用することが可能である。一例においては、観察者の視線方向は、観察者の正面方向と一致すると仮定したうえで、向き検出部３０２の検出結果に基づいて、観察者の正面方向が検出され、その検出された正面方向と一致するように観察者の視線方向が決定される。

これに対し、出力装置１２ｂは、画像表示のために、前述のドライバ２２２およびＬＣＤ２２０とを有し、さらに、ピント調整すなわち奥行き調整のために、前述のドライバ２８２、アクチュエータ２８０およびピント調整機構２３０とを有する。

制御ユニット１６は、プロセッサ３１０と、メモリ３１２とを有する。そのメモリ３１２は、記録媒体の一例であり、後述の画像表示プログラム（図９ないし図１２参照）が予め記録されているプログラム記憶部と、オブジェクトの位置に関連付けて参照コンテンツをＨＭＤ１０によって表示するのに必要な情報を保存するコンテンツ情報記憶部とを有する。そのコンテンツ情報記憶部においては、例えば、ＨＭＤ１０によって表示可能な複数の参照コンテンツに関するコンテンツ関連情報が、それぞれ対応する複数のオブジェクトに関連付けて記憶されるコンテンツ情報記憶部とを有する。

なお、１つのオブジェクトに必ず１つの参照コンテンツが関連付けられて表示されるとは限らず、１つのオブジェクトに複数の参照コンテンツが関連付けられて表示される場合もある。

前記コンテンツ関連情報（図６（ｂ）参照）は、例えば、参照コンテンツを表す画像データ、参照コンテンツが関連付けて表示されるオブジェクトの位置（少なくとも１つの代表点の位置）を表す座標データ、参照コンテンツの表示サイズを表すデータ、参照コンテンツに含まれる情報アイテムの構成を表すデータなどを含んでいる。このコンテンツ関連情報は、観察者が表示ユニット１２を通してスルー画像として観察する複数のオブジェクトの位置（例えば、各オブジェクトを幾何学的に代表する少なくとも１つの代表点の位置であり、オブジェクのサイズに応じて、代表点の数が増加することが可能である）を特定するためのオブジェクト関連情報を含んでいる。そのオブジェクト関連情報を参照すれば、各オブジェクトの、ＨＭＤ１０からの距離すなわち奥行きを取得することが可能である。

プロセッサ３１０は、メモリ３１２に保存されているデータを利用しつつ、前記画像表示プログラムを実行することにより、複数の機能を実現する。それら機能は、図４に、機能ブロック図で示されているが、これについては、後に詳述する。

図４に示すように、制御ユニット１６は、さらに、通信モジュール３２０を有し、その通信モジュール３２０は、無線または有線により、外部のサーバ３２２に接続されている。そのサーバ３２２は、前記コンテンツ関連情報を制御ユニット１６に向けて発信する。プロセッサ３１０は、そのコンテンツ関連情報を受信すると、それをメモリ３１２に一時的に保存する。

なお、本実施形態においては、前記コンテンツ関連情報が、一時的にサーバ３２２から受信されてＨＭＤ１０自体に保存されるが、例えば、ＨＭＤ１０は、サーバ３２２からの受信なしで、そのサーバ３２２内のメモリ（図示しない）を利用して、必要なデータ処理を行うことが可能である。

次に、主に図５ないし図８を参照することにより、ＨＭＤ１０が参照コンテンツをオブジェクトに関連付けて表示するためのコンテンツ表示アルゴリズムを説明する。

まず、概略的に説明するに、このコンテンツ表示アルゴリズムによれば、現実外界に存在する複数のオブジェクトであって観察者の視界内にあるもの（ＨＭＤ１０からの距離が異なる少なくとも２つのオブジェクトを有する）が選択され、それら選択された複数のオブジェクトに対応する複数の参照コンテンツが選択される。ここに、「観察者の視界」は、図６（ａ）に示すように、観察眼の位置（ｘ０，ｙ０，ｚ０）および向き（ｚ軸方向）に対して相対的に決まる一定の３次元的角度範囲であって、平面視において概して扇状を成す範囲である。ここに、「ｚ軸方向」は、観察者の正面方向を意味しており、この方向は、必ずしも観察者の視線方向と一致しない。その扇状を成す範囲は、現実外界に存在する複数のオブジェクトの中から、参照コンテンツを関連付けて表示するオブジェクトを検出するために参照される範囲である。このことに着目し、この範囲を、以下、「オブジェクト検出範囲」ともいう。

それら参照コンテンツを表示するためのモードとして、本実施形態においては、一覧モードと注視モードとがある。それら一覧モードおよび注視モードのうち一覧モードがデフォールトのモードであり、ＨＭＤ１０の電源投入後に、注視モードより先に実行される。一覧モードは、オブジェクト検出範囲内にある複数のオブジェクトに関連付けて複数の参照コンテンツをいずれも第１の奥行きを有するように表示するモードである。

ここに、「第１の奥行き」は、例えば、固定値（例えば、奥行きの長さ（ＨＭＤ１０からの距離）の最大変化範囲を複数のレンジ（例えば、「近レンジ（近）」、「中レンジ（中）」および「遠レンジ（遠）」という３つのレンジ）に分割した場合の、「近レンジ」を代表する奥行き）として設定したり、自動的に調整される可変値（例えば、オブジェクト検出範囲内にある複数のオブジェクトのうち奥行きが最も近いものの奥行き）として設定したり、観察者によって自由に調整される可変値として設定することが可能である。

この一覧モードには、種々の例が存在する。一例においては、複数の参照コンテンツを一斉に表示しても、観察者が確実に視認できる参照コンテンツの数に限度がある（表示されるべき複数の参照コンテンツの表示サイズの合計値が、観察者が視認可能な画像表示領域の総面積を超えるにもかかわらず、それら参照コンテンツを一斉に表示してしまうと、参照コンテンツ間の重複が発生してしまう）という事実を踏まえ、参照コンテンツの表示サイズの合計値が前記画像表示領域の総面積を超える場合に、各オブジェクトの奥行き（奥行きが長いほど、観察者が特定のオブジェクトに注目している程度が低いと推定される）に基づき、参照コンテンツが関連付けて表示されるオブジェクトを絞り込むことが可能である。

この例によれば、あるオブジェクトが、オブジェクト検出範囲内に位置するが、観察者からの距離がかなり遠い場合には、観察者がそのようなオブジェクトに強く注目している可能性が低いことから、それに対応する参照コンテンツの表示が省略される。

一覧モードにおいては、注視モードに移行するタイミングを決定するために、観察者の挙動が逐次検出され、その検出結果に基づき、今回の一覧モードを終了させて注視モードに移行することが適切であるか否かが判定される。これが、第１注視判定である。

具体的には、本実施形態においては、一覧モードの実行によって一斉に表示されている複数の参照コンテンツのうちのいずれかが、観察者が注視している注視参照コンテンツであると推定された場合に、今回の一覧モードを終了させて注視モードに移行することが適切であると判定される。

さらに具体的には、本実施形態においては、観察者が、いずれかの参照コンテンツを注視している（観察者の視線が特定の参照コンテンツに専ら向けられている）場合には、それに対応するオブジェクトを、そのときは注視していないが、最も強く（他のオブジェクトより強く）注目している（そのオブジェクトについて詳細な情報を知りたいと最も強く要望している）注目オブジェクトであると推定される。このように、本実施形態においては、一斉に表示されている複数の参照コンテンツに対する観察者の注視度を参照することにより、注目オブジェクトが推定される。

この第１注視判定を行う手法にも、種々の例が存在する。

一例においては、観察者の挙動が逐次検出され、その検出結果に基づき、観察者が、実質的に動いている状態（例えば、実質的に歩いているか、および／または頭部が実質的に動いている状態）から、実質的に静止している状態（例えば、実質的に立ち止まっているか、および／または頭部が実質的に静止している状態）に移行したか否かが判定される。その移行があったと判定された場合に、観察者がいずれかの参照コンテンツを注視している可能性が高い（注視状態にある）と推定される。

この例においては、前記注視状態にあると推定されると、さらに、観察者の挙動の検出結果に基づき、一斉に表示されている複数の参照コンテンツのうち、観察者が実際に注視している注視参照コンテンツが抽出される。その抽出手法の一例においては、観察者の視線を検出し、複数の参照コンテンツのうち、その検出された視線の延長上にあるもの（すなわち、観察者の視点位置（観察眼の位置）から、前記検出された視線の方向に延びる視線直線と交差する参照コンテンツ）が注視参照コンテンツとして抽出される。前記抽出手法の別の例においては、観察者は、自身の前方に位置する何らかの対象を注視しようとする際には、無意識のうちに、その注視対象が自身の視界の中央位置に移動してくるように、頭部を動かしたり、体を動かすという習性に着目し、オブジェクト検出範囲内の所定位置（例えば、中央位置）内にある参照コンテンツが注視参照コンテンツとして抽出される。

注視モードが開始されると、上記のようにして抽出された注視参照コンテンツが、それに対応するオブジェクト、すなわち、注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように、表示される。これにより、注視参照コンテンツの奥行きが、前記第１の奥行きからその第２の奥行きに変化させられる。

ここに、「第２の奥行き」の設定に関連し、注視参照コンテンツについての第２の奥行きと、注目オブジェクトの奥行きとの関係に言及するに、一例においては、注目オブジェクトの奥行きが実質的な連続値または複数の離散値として検出される場合には、その奥行きの検出値と完全に一致するかまたはほぼ一致するように第２の奥行きが設定される。別の例においては、注目オブジェクトの奥行きが、互いに異なる複数のレンジ（幅を有する値）のうちのいずれに属するのかが判定される場合には、その属するレンジ内の任意の値と一致するように第２の奥行きが設定される。

さらに別の例においては、注目オブジェクトの奥行きと注視参照コンテンツについての第２の奥行きとの差が、他のオブジェクトの奥行きと他の非注視参照コンテンツの奥行き（この場合には、前記第１の奥行きに等しい）との差より小さくなるように、注視参照コンテンツについての第２の奥行きが設定される。この例においては、注目オブジェクトの奥行きと、注視参照コンテンツについての第２の奥行きとが実質的に互いに等しいか否かの判断が、それら２つの奥行き間の差のみを考慮して絶対的に行われるのではなく、他のオブジェクトの奥行きと他の非注視参照コンテンツの奥行きとの差との比較によって相対的に行われる。

その結果、本実施形態によれば、注視モードにおいて、観察者は、注目オブジェクトと注視参照コンテンツとを、同じ奥行き位置、すなわち、同じピント位置において同時に視認できるため、両対象の視認し易さが向上するとともに観察者の眼の疲労が軽減される。本実施形態によれば、さらに、観察者が、注視参照コンテンツを、注目オブジェクトに近接する位置において視認できるため、両対象を交互に視認する際に、ピント位置の移動距離が短くて済み、このことによっても、両対象の視認し易さが向上するとともに観察者の眼の疲労が軽減される。

注視モードにおいて注視参照コンテンツを表示する手法にも、種々の例が存在する。一例においては、注視参照コンテンツが、その注視参照コンテンツが前記一覧表示されるときの表示サイズより拡大される（例えば、１より大きい所定倍率で拡大される）ように表示される。この例によれば、観察者が注視参照コンテンツを、一緒に表示されている他の参照コンテンツから、ピント位置のみならず表示サイズに関しても、区別されて表示されることとなり、その結果、注視参照コンテンツの視認し易さが向上する。

なお、本実施形態においては、ＨＭＤ１０が、各参照コンテンツごとに異なるピント位置で各参照コンテンツを表示する機能を有せず、そのため、複数の参照コンテンツが一斉に表示される場合には、それら参照コンテンツが、それに共通するピント位置、すなわち、注目オブジェクトの奥行きに応じて可変に設定される前記第２の奥行き（注目オブジェクトが、今回のオブジェクトそれとは異なる奥行きを有する別のオブジェクトに変化すると、それにつれて、前記第２の奥行きも変化する）のもとに表示されることになる。

とはいえ、上述のように、注視モードにおいては、注視参照コンテンツが、一覧モードで表示される場合より拡大され、それにより、他の参照コンテンツより強調されて表示されるとともに、注視参照コンテンツは、それに対応する注目オブジェクトの位置に関連付けて表示されるようになっているため、観察者が、注視参照コンテンツと注目オブジェクトの対応を容易に認識することが可能である。

ただし、各参照コンテンツごとに異なるピント位置で各参照コンテンツを表示する機能を有するＨＭＤに対して本発明を適用したり、注視モードにおいては、注視参照コンテンツ以外の参照コンテンツを表示しない態様で本発明を実施することが可能である。

注視モードにおいては、一覧モードに移行するタイミングを決定するために、観察者の挙動が逐次検出され、その検出結果に基づき、今回の注視モードを終了させて一覧モードに移行することが適切であるか否かが判定される。これが、第２注視判定である。

この第２注視判定を行う手法にも、種々の例が存在する。

一例においては、観察者の挙動が逐次検出され、その検出結果に基づき、観察者がいずれの参照コンテンツも注視していない非注視状態にあるか否かが判定される。具体的には、観察者が、実質的に静止している状態（例えば、実質的に立ち止まっているか、および／または頭部が実質的に静止している状態）から、実質的に動いている状態（例えば、実質的に歩いているか、および／または頭部が実質的に動いている状態）に移行したという第１条件が成立したか否かが判定される。その第１条件が成立したと判定された場合には、一覧モードへの移行が適切であると判定される。

別の例においては、上記第１条件が成立するのを待って、または、その成否とは無関係に、観察者の視線が逐次検出され、その検出された視線の延長上に今回の注視参照コンテンツが存在しないという第２条件が成立したか否かが判定される。その第２条件が単独で、または第１条件と一緒に成立したと判定された場合には、一覧モードへの移行が適切であると判定される。

さらに別の例においては、前記第１条件および／または第２条件が成立するのを待って、または、その成否とは無関係に、今回の注目オブジェクトが、所定範囲（例えば、オブジェクト検出範囲、または、そのオブジェクト検出範囲内の所定位置）から逸脱したという第３条件が成立したか否かが判定される。その第３条件が単独で、または第１条件および／または第２条件と一緒に成立したと判定された場合には、一覧モードへの移行が適切であると判定される。

以上の説明から明らかなように、本実施形態においては、観察者が特定の参照コンテンツを注視するという観察者の特定の動作であって、ＨＭＤ１０に対する操作を必要とはしないものの有無に応じて自動的にモードが一覧モードと注視モードとの間で切り換わるため、観察者は、ＨＭＤ１０をハンズフリーの状態で使用することが可能となり、その結果、ＨＭＤ１０の使い勝手が向上する。

図５には、以上説明したコンテンツ表示アルゴリズムがある環境において実施された場合に観察者が視認する画像（現実外界内の複数のオブジェクトを表す像と、複数の参照コンテンツの表示物との双方）の展開の一例が示されている。

この例において、ある環境とは、複数の展示物（例えば、美術品、恐竜の化石やレプリカなど）を収容している展示室を有する施設（例えば、美術館、博物館など）であり、また、複数のオブジェクトは、前記複数の展示物であり、また、複数の参照コンテンツは、前記複数の展示物についてのアノテーション（例えば、展示物の名称、特徴など）である。

図５に示す例においては、観察者に対し、手前に展示物Ａが存在し、奥に展示物Ｂが存在する。それら展示物ＡおよびＢについて、位置的に関連付けてそれぞれの参照コンテンツ（四角形の枠で囲まれた部分）ＳおよびＲが表示される。一覧モードにおいては、展示物Ａの奥行きの方が、展示物Ｂの奥行きより短いため、展示物Ａに対応する参照コンテンツＳの表示サイズの方が、展示物Ｂに対応する参照コンテンツＲの表示サイズより大きい。

この状況において、展示物Ｂに対応する参照コンテンツを観察者が注視したと仮定する（すなわち、展示物Ｂに対応する参照コンテンツ（図５においては、右上に位置するコンテンツ）が注視参照コンテンツであり、かつ、展示物Ｂが注目オブジェクトであると仮定する）と、一覧モードが自動的に終了して注視モードに移行する。

この注視モードにおいては、展示物Ｂに対応する参照コンテンツＲの表示サイズが、一覧モードのときの表示サイズより拡大される。このとき、例えば、展示物Ａに対応する参照コンテンツＳは、展示物Ａが展示物Ｂより手間に位置しているため、先行する一覧モードのときに、通常サイズより拡大されていたが、注視モードに移行すると、今回は、注視参照コンテンツに該当しないことから、通常サイズに戻される。

図６（ａ）には、観察者が、ＨＭＤ１０を使用している状態で、ある展示室内において複数の展示物（例えば、恐竜のレプリカ）を鑑賞している様子が、その展示室全体を真上から俯瞰することによって示す平面図で示されている。この展示室には、複数のアンテナが予め設置されており、ＨＭＤ１０は、位置検出部３００および向き検出部３０２のうち少なくとも位置検出部３００を介して、それらアンテナのうち、最も近い３つのアンテナを用いた三角測量の原理を利用することにより、観察者の位置（ｘ０，ｙ０，ｚ０）を、前記展示室に固定されたローカル座標系またはグローバル座標系上で検出する。なお、ｚ軸方向は、観察者の正面方向を表しており、観察者の視線方向と一致する場合もあれば、一致しない場合もある。

その三角測量の原理に依存する一例においては、複数のアンテナの各々から信号が同時に、アンテナから他の複数の複数のアンテナに向かうように、発信され、それら信号を複数のアンテナがそれぞれ受信するタイミングの差または比に基づき、観察者の位置が検出される。その三角測量の原理に依存する別の例においては、複数のアンテナの各々から、同一の強度を有する信号が同時に、アンテナから他の複数の複数のアンテナに向かうように、発信され、それら信号が複数のアンテナによってそれぞれ受信されたときの受信強度の差または比に基づき、観察者の位置が検出される。

この例においては、展示室に、展示物Ａ，Ｂ，ＣおよびＤが展示されており、また、展示物Ａには、参照コンテンツＡ１およびＡ２が関連付けられ、また、展示物Ｂには、参照コンテンツＢ１およびＢ２が関連付けられ、また、展示物Ｃには、参照コンテンツＣ１およびＣ２が関連付けられ、また、展示物Ｄには、参照コンテンツＤ１が関連付けられている。

図６（ｂ）には、図４に示すコンテンツ情報記憶部に記憶されているコンテンツ関連情報の一例であって、図６（ａ）に示す例に対応するものが表形式で示されている。このコンテンツ関連情報の例は、展示室内に存在するすべての展示物につき、各展示物を一覧モードおよび注視モードで表示するために必要な情報である。

このコンテンツ関連情報の例は、各参照コンテンツに対応するオブジェクトの奥行きが長いほど（観察者から遠ざかるほど、すなわち、観察者からの距離が長いほど）、各参照コンテンツの表示サイズが小さくなるという第１の規則と、各参照コンテンツに対応するオブジェクトの奥行きが長いほど、各参照コンテンツに含まれる情報アイテムの数または情報量が減少するとうい第２の規則とに従って作成されている。それら第１および第２の規則は、各オブジェクトの奥行きが長いほど、観察者が特定のオブジェクトに注目している程度が低いと推定されることに依拠している。

この例によれば、各オブジェクトの奥行きが短いほど、対応する参照コンテンツの表示サイズが大きいため、観察者は、複数の参照コンテンツが一斉に表示されている環境において、どのオブジェクトがどの参照コンテンツに関連づけられているかを直感的に判断することが容易となる。すなわち、観察者の直感に訴える参照コンテンツの表示が可能となるのである。

また、この例においては、各参照コンテンツが関連付けて表示される展示物の位置が、（Ｘ，Ｙ，Ｚ）という３次元座標値で定義されている。この３次元座標系は、例えば、最初は、前記展示室に固定された第１のローカル座標系上で定義されているが、観察者の位置および向きの、その第１のローカル座標系に対する相対位置関係に基づき、最初の３次元座標値は、ＨＭＤ１０内において、そのＨＭＤ１０に固定された第２のローカル座標系上の座標値に変換される。各展示物の位置を表す３次元座標値（Ｘ，Ｙ，Ｚ）を用いることにより、各展示物の、ＨＭＤ１０からの距離、すなわち、奥行きを算出することが可能である。

この例においては、具体的には、オブジェクトの奥行きの長さ（オブジェクトの、ＨＭＤ１０からの距離）の最大変化範囲が、「近レンジ（近）」、「中レンジ（中）」および「遠レンジ（遠）」という３つのレンジに分割されている。

また、この例においては、各参照コンテンツに含まれる情報アイテム（例えば、アイコンや説明（テキストやグラフィックス））の量および各参照コンテンツの表示サイズ（例えば、「大サイズ」、「中サイズ」または「小サイズ」）が、対応するオブジェクトがＨＭＤ１０に近いほど、増加する。

この例においては、同じ情報アイテムにつき、それを表示するための画像データは、複数の表示サイズのそれぞれについて予め用意しておいてもよいが、メモリ３１２の容量節約のために、例えば、「大サイズ」で各情報アイテムを表示するための画像データをメモリ３１２に保存しておき、「中サイズ」および「小サイズ」で同じ情報アイテムを表示することが必要である場合には、その都度、「大サイズ」で表示するための画像データをメモリ３１２から読み出してそれを縮小したり、一部を削除したりして編集することによって生成してもよい。

この例においては、図６（ｂ）に示すように、展示物Ａには、２つの参照コンテンツＡ１およびＡ２が対応し、また、展示物Ｂには、２つの参照コンテンツＢ１およびＢ２が対応し、展示物Ｃには、２つの参照コンテンツＣ１およびＣ２が対応し、展示物Ｄには、１つの参照コンテンツＤ１が対応する。

例えば、参照コンテンツＡ１については、対応するオブジェクトが「近レンジ」内に位置する場合には、この参照コンテンツＡ１に含まれる情報アイテム（内容）が、「アイコンＡ１」と「説明Ａ１」との組合せとなり、また、参照コンテンツＡ１の表示サイズが、「大サイズ」、「中サイズ」および「小サイズ」という３つのサイズのうちの「大サイズ」となる。

また、参照コンテンツＡ１については、対応する展示物Ａが「中レンジ」内に位置する場合には、参照コンテンツＡ１に含まれる情報アイテム（内容）が、「説明Ａ１」のみとなり、その結果、展示物Ａが「近レンジ」内に位置する場合より、情報アイテムの数も情報量も減少する。また、参照コンテンツＡ１の表示サイズが、「中サイズ」となり、その結果、「近レンジ」内に位置する場合より、表示サイズも減少する。

展示物Ａが「中レンジ」内に位置する場合には、参照コンテンツＡ１を表示するのに必要な画像データは、「説明Ａ１」を表すデータとなる。このデータは、展示物Ａが「近レンジ」内に位置する場合に同じ参照コンテンツＡ１を表示するのに必要な画像データである「アイコンＡ１」を表すデータと「説明Ａ１」を表すデータから、「アイコンＡ１」を表すデータを削除することによって作成される。この作成手法に代えて、展示物Ａが位置するレンジごとに、参照コンテンツＡ１を表示するのに必要な画像データを個別に予め作成してメモリ３１２に保存しておくことも可能であるが、この場合には、画像データを事前に作成する手間やメモリ３１２の容量が増加する傾向がある。

また、参照コンテンツＡ１については、対応するオブジェクトが「遠レンジ」内に位置する場合には、参照コンテンツＡ１に含まれる情報アイテム（内容）が、「アイコンＡ１」のみとなり、その結果、展示物Ａが「中レンジ」内に位置する場合より、情報アイテムの情報量も減少する（アイコンＡの情報量は、説明Ａ１の情報量より少ない）。また、参照コンテンツＡ１の表示サイズが、「小サイズ」となり、その結果、「中レンジ」内に位置する場合より、表示サイズも減少する。

展示物Ａが「遠レンジ」内に位置する場合に、参照コンテンツＡ１を表示するのに必要な画像データは、「アイコンＡ１」を表すデータである。このデータは、展示物Ａが「近レンジ」内に位置する場合に同じ参照コンテンツＡ１を表示するのに必要な画像データである「アイコンＡ１」を表すデータと「説明Ａ１」を表すデータから、「説明Ａ１」を表すデータを削除することによって作成される。

図６（ａ）に示す例においては、展示物Ａ，Ｂ，ＣおよびＤのうち、展示物ＢおよびＣのみが、観察者のオブジェクト検出範囲内に存在する。展示物Ｂには、２つの参照コンテンツＢ１およびＢ２が対応し、また、展示物Ｃには、２つの参照コンテンツＣ１およびＣ２が対応する。このように、複数の参照コンテンツを、有限の画像表示領域内に一斉に表示することが必要である場合があるが、この場合には、その表示を最適化するために、何らかの対策を講ずることが望ましい。

具体的には、観察者が観察している現実外界に複数の参照コンテンツが対応する場合であって、それら参照コンテンツを一斉に表示すると、表示される参照コンテンツの表示サイズの合計値が前記画像表示領域の総面積を超える場合には、何ら対策を講ずることなく、それら参照コンテンツを一斉に表示すると、それら参照コンテンツが重複して表示されてしまる。この場合には、観察者がそれら参照コンテンツを個別に視認する際に支障が生じる可能性がある。

また、それら参照コンテンツを一斉に、前記画像表示領域内に、それら参照コンテンツに対応するオブジェクトの位置とは無関係に決まる位置に表示したのでは、観察者は、どの参照コンテンツがどのオブジェクトに対応するのかを簡単かつ正確に認識することができない。また、複数の参照コンテンツが重複して表示されてしまうと、観察者は、希望する参照コンテンツを正常に観察することができない。

それらの不都合を防止する手法として、例えば、それぞれの参照コンテンツに予め重要度を割り当てておき、オブジェクト検出範囲内にあるすべての展示物に対応するすべての参照コンテンツをそれぞれ候補コンテンツとした場合に、それら候補コンテンツのうち、重要度が最も低いものや、重要度が所定値以下のものを除外して、表示すべきコンテンツを最終的に決定する手法を採用することが可能である。

図７（ａ）には、この手法に従って表示対象コンテンツを絞り込むために必要なテーブルの一例が示されており、この例は、図６（ａ）および図６（ｂ）に示す例に対応する。

図７（ａ）においては、各参照コンテンツに関連付けて、各参照コンテンツの重要度（例えば、「大」および「小」という２段階またはそれより多段階に分類される）と、オブジェクト検出範囲内に位置するか否かの情報と、対応する展示物の、ＨＭＤ１０からの距離すなわち奥行きと、その距離が分類されるレンジ（「近」と「中」と「遠」のいずれか）と、各参照コンテンツに含まれる情報アイテムの内容と、各参照コンテンツの表示サイズ（「大」と「中」と「小」のいずれか）と、各参照コンテンツの表示を許可するか否かを表す情報（○：表示する、×：表示しない）とが表形式で示されている。

この例においては、まず、オブジェクトＢおよびＣがオブジェクト検出範囲内にあることから、それらに対応する４つの参照コンテンツＢ１，Ｂ２，Ｃ１およびＣ２がそれぞれ候補コンテンツとして抽出される。それら候補コンテンツは、重要度を考慮しない場合には、すべて表示されることになるが、この例においては、重要度を考慮して、候補コンテンツの絞込みが行われる。この例においては、参照コンテンツＢ２の重要度が「小」であるため、除外され、最終的に、３つの参照コンテンツＢ１，Ｃ１およびＣ２が、例えば図７（ｂ）に示すように、表示される。

図７（ｂ）に示す例においては、複数の参照コンテンツのそれぞれの表示位置が、それら参照コンテンツに対応する複数のオブジェクトの左右方向相対位置関係（正確には、代表点間の左右方向相対位置関係）を反映するように決定される。

図６（ａ）に示すように、展示物Ｂは、観察者に対して左寄りに位置する一方、展示物Ｃは、観察者に対して右寄りに位置する。したがって、図７（ｂ）に示す例においては、展示物ＢおよびＣ間の、そのような左右方向相対位置関係（観察者の視線方向に対して直角な２次元方向における相対位置関係）が反映されるように、それら参照コンテンツＢ１ならびにＣ１およびＣ２の、それぞれの表示位置の相対位置関係が決定される。

具体的には、参照コンテンツＢ１は、前記画像表示領域において、それの中央位置から左側に外れた位置に表示される一方、参照コンテンツＣ１およびＣ２は、いずれも、前記画像表示領域において、それの中央位置から右側に外れた位置に表示される。

図７（ｂ）に示す例においては、さらに、複数の参照コンテンツのそれぞれの表示位置が、それら参照コンテンツに対応するオブジェクトの前後方向相対位置関係（正確には、代表点間の前後方向相対位置関係）が反映されるように、決定される。

具体的には、図６（ａ）に示すように、展示物Ｂの代表点Ｂ１の位置は、観察者に最も近く、また、展示物Ｃの代表点Ｃ２の位置は、観察者から最も離れており、また、展示物Ｃの代表点Ｃ１は、それら代表点Ｂ１およびＣ２の中間に位置する。したがって、図７（ｂ）に示す例においては、展示物ＢおよびＣ間の、そのような前後方向相対位置関係（観察者の視線方向に対して平行な方向における相対位置関係）が反映されるように、それら参照コンテンツＢ１ならびにＣ１およびＣ２の、それぞれの表示位置の相対位置関係が決定される。

具体的には、展示物Ｂの代表点Ｂ１は、「近レンジ」内に位置するため、それに対応する参照コンテンツＢ１は、観察者が視認する前記画像表示領域を縦方向に、上側部分領域と、中央部分領域と、下側部分領域との３分割した場合の下側部分領域内に表示され、また、展示物Ｃの代表点Ｃ１は、「中レンジ」内に位置するため、それに対応する参照コンテンツＣ１は、前記中央部分領域内に表示され、また、展示物Ｃの代表点Ｃ２は、「遠レンジ」内に位置するため、それに対応する参照コンテンツＣ２は、前記上側部分領域内に表示される。

図６（ａ）に示す例においては、展示物Ｂに２つの代表点Ｂ１およびＢ２が対応付けられ、それら代表点Ｂ１およびＢ２に２つの参照コンテンツＢ１およびＢ２が対応付けられている。しかし、それら代表点Ｂ１およびＢ２のそれぞれの位置座標は、互いに一致するため、上述の規則に従って、それら参照コンテンツＢ１およびＢ２のそれぞれの表示位置を決定した上で、それら参照コンテンツＢ１およびＢ２を同時に表示すると、それら参照コンテンツＢ１およびＢ２が重複して表示されてしまう可能性がある。そのような重複表示を放置したのでは、観察者が、それら参照コンテンツＢ１およびＢ２を互いに区別して視認することが困難となる。

そのような重複表示を防止するために、例えば、それら参照コンテンツＢ１およびＢ２を、重複することなく並ぶように初期の表示位置を変更したうえで、一斉に表示したり、初期の表示位置をそのままにして、時間的に交互に表示することが可能である。

前述のように、有限の画像表示領域内に複数の参照コンテンツが一斉に表示される場合、表示される参照コンテンツの数が、観察者の視認能力との関係において過大であると、観察者は圧迫感ひいては不快感も覚える可能性がある。

このような不都合を解決する手法の一例として、一覧モードの実行中、表示状態が非選択状態（全数表示状態）から選択状態（要部表示状態）に切り換わるようにする手法を採用することが望ましい。

図８には、図７に示す例と類似する例が示されている。この例においては、一覧モードが、まず、前記非選択状態で実行され、その結果、オブジェクト検出範囲内にある複数のオブジェクトＢ，ＣおよびＤに対応する複数の参照コンテンツＢ１，Ｂ２，Ｃ１−Ｃ３およびＤ１−Ｄ４が一斉に表示される。

その後、一覧モードが前記選択状態に移行し、その結果、特定の少なくとも１つのオブジェクトＣ、すなわち、観察者が今後、注目する可能性が高い少なくとも１つのオブジェクトとして推定され、そのオブジェクトに対応する少なくとも１つの参照コンテンツのみが、前記画像表示領域内に表示される。観察者が今後注目する可能性が高い少なくとも１つのオブジェクトは、例えば、観察者の正面に位置する少なくとも１つのオブジェクトとして選択される。このように、一覧モードが非選択状態と選択状態とに切り換えられることにより、観察者が複数の参照コンテンツを視認する際の視認性が向上する。

その選択状態で、観察者が、オブジェクトＣに対応する参照コンテンツＣ２を注視すると、注視モードに移行し、参照コンテンツＣ２が拡大表示される。

以上、ＨＭＤ１０が画像を表示するための画像表示方法（すなわち、ＨＭＤ１０を作動させる方法）のいくつかの例を説明したが、それら画像表示方法は、メモリ３１２の前記プログラム記憶部に予め格納されている前記画像表示プログラムをプロセッサ３１０が実行することによって実行される。したがって、そのプロセッサ３１０は、説明の便宜上、概念的には、図４に示すように、複数の機能を実行する複数の部分を有する。

具体的には、プロセッサ３１０は、オブジェクト取得部４００と、参照コンテンツ表示部４０２と、画像信号生成部４０４と、ピント調整信号生成部４０６とを有する。画像信号生成部４０４は、参照コンテンツ表示部４０２からのデータに基づき、画像信号を生成し、その画像信号をドライバ２２２を介してＬＣＤ２３０に供給する。これにより、観察者に対して参照コンテンツが表示される。また、ピント調整信号生成部４０６は、参照コンテンツ表示部４０２からのデータに基づき、ピント調整信号を生成し、そのピント調整信号をドライバ２８２を介してアクチュエータ２８０に供給する。これにより、ピント調整機構２３０が駆動され、その結果、ＬＣＤ２２０によって表示される画像のピント位置が目標位置となるように調整される。

オブジェクト取得部４００は、通信モジュール３２０を介してサーバ３２２から前記コンテンツ関連情報を受信する。そのコンテンツ関連情報は、前記オブジェクト関連情報を含んでいる。このオブジェクト取得部４００は、さらに、観察者の視界内に存在するオブジェクトに関する情報を取得する。

参照コンテンツ表示部４０２は、表示可能な複数の参照コンテンツの中から、観察者の視界内に存在する複数のオブジェクトに対応するものを選択する参照コンテンツ選択部４１０を有する。参照コンテンツ表示部４０２は、さらに、それら選択された複数の参照コンテンツを前記一覧モードで表示する一覧表示部４１２と、前記注視参照コンテンツを抽出することによって前記注目オブジェクトを推定する注目オブジェクト推定部４１４と、前記注目オブジェクトに関連付けて、対応する１つの参照コンテンツ、すなわち、前記注視参照コンテンツを前記注視モードで表示する注目表示部４１６とを有する。参照コンテンツ表示部４０２は、さらに、観察者の視線位置を算出する視線位置算出部４１８と、観察者が特定の参照コンテンツを注視している状態にあるか否かを判定する注視判定部４２０とを有する。

次に、図９ないし図１２を参照することにより、前記画像表示方法およびその画像表示方法を実行するためのソフトウエア構成、すなわち、前記画像表示プログラムを説明する。

図９には、前記画像表示プログラムがフローチャートで概念的に表されている。この画像表示プログラムは、ＨＭＤ１０の電源が投入されると、プロセッサ３１０によって実行される。

この画像表示プログラムが実行されると、まず、ステップＳ１において、位置検出部３００および向き検出部３０２からの信号に基づき、観察者の位置および向きが検出される。次に、ステップＳ２において、それら検出された位置および向きと、観察者の視界範囲を幾何学的に特定するための情報（メモリ３１２に保存されている）とに基づき、前記オブジェクト検出範囲（図９においては、単に「検出範囲」で表す。）が算出される。

続いて、ステップＳ３において、ＨＭＤ１０からサーバ３２２に対して送信されたリクエストに応じて、前記コンテンツ関連情報と前記オブジェクト関連情報とがサーバ３２２から受信され、その受信された情報はメモリ３１２に保存される。ここに、「コンテンツ関連情報」は、ＨＭＤ１０が表示可能なすべての参照コンテンツに関する情報を含み、また、「オブジェクト関連情報」は、現実外界に存在するすべてのオブジェクトに関する情報を含んでいる。その後、ステップＳ４において、前記算出されたオブジェクト検出範囲と、前記オブジェクト関連情報（各オブジェクトの３次元位置座標を含む）との関係に基づき、そのオブジェクト検出範囲に複数のオブジェクトが存在するか否か（すなわち、観察者の視界内に複数のオブジェクトが存在するか否か）が判定される。

今回は、１つのオブジェクトしか存在しないと仮定すれば、ステップＳ５において、そのオブジェクトに対応する参照コンテンツを表示するためのデータがメモリ３１２から読み込まれ、そのデータに基づき、参照コンテンツが表示される。このとき、その参照コンテンツは、対応するオブジェクトの奥行きと実質的に同じ奥行きを有するように、可変の前記第２の奥行きのもとに表示することが望ましいが、固定の奥行きのもとに表示することも可能である。

その後、ステップＳ６において、観察者が、ＨＭＤ１０の作動を終了させる終了指令を発したか否かが判定される。その終了指令を発した場合には、この画像表示プログラムの実行が終了するが、そのような終了指令を発していない場合には、ステップＳ１に戻る。

以上、オブジェクト検出範囲内に複数のオブジェクトが存在しない場合を説明したが、存在する場合には、ステップＳ７において、ステップＳ４においてオブジェクト検出範囲内に検出された複数のオブジェクトが今回の処理対象として選択され、さらに、前記コンテンツ関連情報を参照することにより、それらオブジェクトに対応する複数の参照コンテンツが選択される。続いて、ステップＳ８において、前述の一覧モードが実行され、それにより、複数のオブジェクトの位置にそれぞれ関連付けられて複数の参照コンテンツが、前記第１の奥行きのもとに表示される。このステップＳ８は、後に詳述する。

その後、参照コンテンツの表示状態を維持しつつ、ステップＳ９において、位置検出部３００および／または向き検出部３０２からの信号に基づき、観察者の動き（例えば、身体の動き、頭部の動きなど）が検出されたか否かが判定される。観察者の動きが検出されたと仮定すると、ステップＳ１２による注視モードに移行することなく、ステップＳ６に移行する。

これに対し、観察者が前記注視状態にあると仮定すれば、観察者は静止した状態にある蓋然性が高いため、向き検出部３０２からの信号に基づく動き判定処理において、観察者の動きは検出されない。そのため、ステップＳ９の判定は「ＮＯ」となり、ステップＳ１０において、視線検出部３０４からの信号に基づき、観察者の視線（視線の向き）が検出される。続いて、ステップＳ１１において、その視線が所定時間（例えば、約数秒）維持されたか否かを判定することにより、観察者が、一覧表示されている複数の参照コンテンツのうちのいずれかを所定時間以上注視し続けたか否かが判定される。観察者が特定の参照コンテンツを所定時間以上注視し続けてはいないと仮定すれば、ステップＳ１２による注視モードに移行することなく、ステップＳ６に移行する。

これに対し、観察者がいずれかの参照コンテンツを所定時間以上注視し続けたと仮定すれば、その参照コンテンツが前記注視参照コテンツであると判定され、また、前記複数のオブジェクトのうち、その注視参照コンテンツに対応するものが、前記注目オブジェクトであると判定される。その後、ステップＳ１２において、前述の注視モードが実行され、それにより、観察者が注視している参照コンテンツが、その参照コンテンツに対応する注目オブジェクトの位置に関連付けて、かつ、その注目オブジェクトの奥行きとほぼ同じである前記第２の奥行きを有し、かつ、その参照コンテンツが一覧表示されていたときの表示サイズより拡大された表示サイズを有するように表示される。このステップＳ１２は、後に詳述する。その後、ステップＳ６に移行する。

次に、図１０および図１１を参照することにより、図９に示すステップＳ８、すなわち、前記一覧モードを実行するための一覧モード用モジュールを説明する。

まず、ステップＳ１０１において、観察者の視界（前記オブジェクト検出範囲）内にある複数のオブジェクトのうち、順に選択される１つのオブジェクトにつき、ＨＭＤ１０からの奥行きｄが、前述の観察者の位置の検出結果と前記コンテンツ関連情報（各オブジェクトの３次元位置座標を含む）とに基づいて算出される。次に、ステップＳ１０２において、その算出された奥行きｄが下側閾値ｄ１より短いか否かが判定される。今回の奥行きｄが下側閾値ｄ１より短い場合には、ステップＳ１０３において、今回のオブジェクトが「近レンジ」内に位置するとして、それに対応する参照コンテンツが注視モードで表示される際の前記第２の奥行きが、３つの離散的な奥行きレベルである「近レベル（所定の最小値）」と「中レベル（所定の中間値）」と「遠レベル（所定の最大値）」とのうち、「近レンジ」に設定される。これは、後に、今回の参照コンテンツの表示サイズが「大」に決定されることを意味する。

これに対し、今回の奥行きｄが下側閾値ｄ１以上である場合には、ステップＳ１０４において、今回の奥行きｄが下側閾値ｄ１以上であり、かつ、上側閾値ｄ２（＞ｄ１）より短いか否かが判定される。今回の奥行きｄが下側閾値ｄ１以上であり、かつ、上側閾値ｄ１より短い場合には、ステップＳ１０５において、今回のオブジェクトが「中レンジ」内に位置するとして、それに対応する参照コンテンツが注視モードで表示される際の前記第２の奥行きが「中レベル」に設定される。これは、後に、今回の参照コンテンツの表示サイズが「中」に決定されることを意味する。

これに対し、今回の奥行きｄが下側閾値ｄ２以上である場合には、ステップＳ１０６において、今回のオブジェクトが「遠レンジ」内に位置するとして、それに対応する参照コンテンツが注視モードで表示される際の前記第２の奥行きが「遠レベル」に設定される。これは、後に、今回の参照コンテンツの表示サイズが「小」に決定されることを意味する。

いずれの場合にも、その後、ステップＳ１０７において、視界内にあるすべてのオブジェクトについて参照コンテンツの第２の奥行きの設定が完了したか否かが判定される。完了していない場合には、ステップＳ１０２に戻り、次のオブジェクトについて同じ処理が実行されるが、完了した場合には、ステップＳ１０８に移行する。

このステップＳ１０８においては、前記コンテンツ関連情報を参照することにより、前述の規則に従い、視界内にある複数のオブジェクトに対応する複数の参照コンテンツのそれぞれの表示内容および表示サイズが決定される。続いて、ステップＳ１０９において、前記複数の参照コンテンツのそれぞれの表示面積の合計値Ｔ１が、前記画像表示領域の総面積Ｔ２より小さいか否か、すなわち、表示すべき参照コンテンツの数を減少させることが不要であるか否かが判定される。合計値Ｔ１が総面積Ｔ２より小さくはない、すなわち、表示すべき参照コンテンツの数を減少させることが必要である場合には、ステップＳ１１０に移行する。

これに対し、合計値Ｔ１が総面積Ｔ２より小さい場合には、ステップＳ１１１において、前記複数の参照コンテンツのうち、第２の奥行きが「近レベル」に設定された参照コンテンツ（表示サイズが「大」）の数が３以上であるという条件と、奥行きが「中レベル」に設定された参照コンテンツ（表示サイズが「中」）の数が４以上であるという条件と、奥行きが「遠レベル」に設定された参照コンテンツ（表示サイズが「小」）の数が５以上であるという条件とのうちの少なくとも１つが成立したか否か、すなわち、表示すべき参照コンテンツの数を減少させることが必要であるか否かが判定される。

それら３つの条件のうちの少なくとも１つが成立したと仮定すると、ステップＳ１１０に移行するが、それら３つの条件のうちのいずれも成立しなかった場合には、ステップＳ１１２に移行する。このステップＳ１１２は、後に図１２を参照して説明する。

ステップＳ１１０においては、表示すべき参照コンテンツを絞り込むため、前述のように、前記複数のオブジェクトのうち、それについて算出された奥行きｄが所定値ｄｍａｘより長いものを、参照コンテンツが関連付けて表示されるオブジェクトから除外したり、前記複数の参照コンテンツのうち、前記重要度が所定値より低いものを、表示すべき参照コンテンツから除外するなどし、それにより、総面積Ｔ２を減少させる。その後、ステップＳ１０９に戻る。

ステップＳ１０９の再度の実行後またはステップＳ１１１の再度の実行後にステップＳ１１０が再度実行され、それにより、再度の絞込みが行われる場合には、前回の絞込みより厳しい条件で、参照コンテンツの絞込みを行うことが可能である。一例においては、前記所定値ｄｍａｘの今回値が前回値より所定量Δｄだけ、減少させられる。

ステップＳ１１１において前述の３つの条件のいずれも成立しなかったと判定された場合には、図１１に示すステップＳ１１２に移行する。このステップＳ１１２においては、図７を参照して前述したように、前記複数のオブジェクト間の相対位置に基づき、前記複数の参照コンテンツの表示位置間の相対位置が決定される。そして、決定された相対位置に基づいて、表示すべき参照コンテンツを表す画像データが生成される。

続いて、ステップＳ１１３において、前記複数の参照コンテンツに共通の目標ピント位置（すなわち、前記第１の奥行きに対応する）が、前述のようにして決定され、さらに、それら参照コンテンツの実際のピント位置が、その決定された目標ピント位置と一致するように調整される。具体的には、その目標ピント位置を実現するためのピント調整信号が生成され、その生成されたピント調整信号がドライバ２８２に対して出力され、その結果、アクチュエータ２８０が目標量で駆動される。

その後、ステップＳ１１４において、前記複数の参照コンテンツが、前記目標ピント位置において結像し、かつ、前記決定されたそれぞれの表示位置（ＬＣＤ２２０の表示面上の２次元位置）において、前記決定されたそれぞれの表示サイズを有し、かつ、前記決定されたそれぞれの内容（情報アイテム）を有するように表示される。以上で、この一覧モード用モジュールの実行が終了する。

次に、図１２を参照することにより、図９に示すステップＳ１２、すなわち、前記注視モードを実行するための注視モード用モジュールを説明する。

まず、ステップＳ２０１において、前記注目オブジェクトの奥行きｄに応じて決定された前記第２の奥行きに対応する目標ピント位置と一致するように、前記注視参照コンテンツの実際のピント位置が調整される。ここに、「注視参照コンテンツ」は、図９に示すステップＳ１１において、観察者が所定時間以上注視した参照コンテンツとして取得され、また、「注目オブジェクト」は、前記コンテンツ関連情報に従い、その注視参照コンテンツに対応するオブジェクトとして取得される。このステップＳ２０１においては、具体的に、前記第２の奥行きを実現するためのピント調整信号が生成され、その生成されたピント調整信号がドライバ２８２に対して出力され、その結果、アクチュエータ２８０が目標量で駆動される。

次に、ステップＳ２０２において、注視参照コンテンツが、一覧モードで表示される場合より拡大されて表示される。具体的には、注視参照コンテンツを他の参照コンテンツより大きいサイズで表示するための画像データが生成され、その画像データを反映する画像信号が生成され、その生成された画像信号がドライバ２２２に対して出力され、その結果、注視参照コンテンツを含む複数の参照コンテンツが一覧表示される。これにより、注視参照コンテンツが他の参照コンテンツより視覚的に強調され、その結果、注視参照コンテンツの視認性が向上する。

このステップＳ２０２には、種々の例が存在する。一例においては、注視参照コンテンツと一緒に表示されている他の複数の参照コンテンツの表示が、その条件・態様が一切変更されることなく、継続される。別の例においては、前述のように、他の複数の参照コンテンツの表示サイズが、すべて、最小のサイズ（例えば、前記一覧モードにおいて、対応するオブジェクトが「遠レンジ」内に位置する場合にとる表示サイズ）に縮小される。この例によれば、注視モードにおいて、注視参照コンテンツが、自身の表示サイズが大きいことに加えて、他の参照コンテンツの表示サイズが小さいことのおかげで、さらに強調表示される。さらに別の例においては、他の複数の参照コンテンツの表示が停止させられる一方、注視参照コンテンツのみ、表示が継続される。

続いて、注視参照コンテンツの拡大表示状態を維持しつつ、ステップＳ２０３において、位置検出部３００および／または向き検出部３０２からの信号に基づき、観察者の動き（例えば、身体の動き、頭部の動きなど）が検出されたか否かが判定される。観察者の動きが検出されたと仮定すると、ステップＳ２０４において、図９に示すステップＳ１およびＳ２と同様にして、最新のオブジェクト検出範囲が算出され、その算出されたオブジェクト検出範囲から、最新の注目オブジェクトが外れているか否かが判定される。

注目オブジェクトがオブジェクト検出範囲から外れている場合には、ステップＳ２０５において、注視参照コンテンツの拡大表示が解除され、それにより、その注視参照コンテンツが、先行する一覧モードで表示されたときと同じ表示サイズを有するように表示される。その結果、注視モードから一覧モードへの移行が完了する。以上で、この注視モード用モジュールの実行が終了する。

これに対し、観察者の動きが検出されなかったと仮定すると、注視参照コンテンツの拡大表示が維持されたままで、この注視モード用モジュールの実行が終了する。

以上の説明から明らかなように、上述のいくつかの実施形態によれば、対象空間内に複数のオブジェクトが存在し、かつ、それらオブジェクトのそれぞれについて参照コンテンツが存在する場合、それらオブジェクトのうちのいずれかを観察者が注視しないうちであっても、すべてのオブジェクトについて参照コンテンツが一覧モードで表示される。したがって、観察者は、そのような注視前（すなわち、注目オブジェクトの選択前）であっても、観察している複数のオブジェクトのすべてについて一度に、関連する情報にアクセスすることができ、便利である。

さらに、上述のいくつかの実施形態によれば、観察者が特定のオブジェクトに注目したか否かに応じて、表示モードが一覧モードと注視モードとの間で切り換わり、その結果、そのオブジェクトに関連する参照コンテンツの奥行きが時間と共に、参照コンテンツの奥行きがオブジェクトの奥行きと一致しない可能性が高い状態と、参照コンテンツの奥行きがオブジェクトの奥行きと実質的に一致する状態との間で変化する。

一方、同じオブジェクトに対する観察者の注目度の時間的変化に合わせて、そのオブジェクトに関連する参照コンテンツの奥行きを時間的に変化させることは、その間、観察者のピント位置がそのオブジェクトのピント位置に維持されると考えられる限りにおいて、観察者に見える参照コンテンツのぼけ具合いが時間的に変化することにつながる。この変化は、前記注目度の変化に合致する。

よって、上述のいくつかの実施形態によれば、参照コンテンツを観察者の感覚に合致した条件で表示することが可能となり、観察者が参照コンテンツを視認する際の快適性が向上する。

以上の説明から明らかなように、本実施形態においては、説明の便宜上、図９におけるステップＳ１ないしＳ４が、前記オブジェクト取得工程の一例を構成し、また、同図におけるステップＳ５が、前記参照オブジェクト選択工程の一例を構成し、また、同図におけるステップＳ８が、前記一覧表示工程の一例を構成し、また、同図におけるステップＳ９ないしＳ１１が、前記注目オブジェクト推定工程の一例を構成し、また、同図におけるステップＳ１２が、前記注目表示工程の一例を構成していると考えることが可能である。

以上、本発明のいくつかの実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (13)

1. 観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
   前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示部と、
   前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された注視参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示部と
   を含み、
   前記第２の奥行きは、可変値であり、
   前記注目表示部は、注目オブジェクトの奥行きと注視参照コンテンツについての前記第２の奥行きとの差が、他のオブジェクトの奥行きと他の注視参照コンテンツについての奥行きであって前記第１の奥行きに等しいものとの差より小さくなるように、注視参照コンテンツについての前記第２の奥行きを設定するヘッドマウントディスプレイ。
2. 観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
   前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示部と、
   前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示部と
   を含み、
   前記一覧表示部は、前記複数の参照コンテンツを選択することなくすべて表示する非選択状態から、前記複数の参照コンテンツを選択して部分的に表示する選択状態に切り換わり、
   前記注目表示部は、前記選択状態で、観察者が、前記複数の参照コンテンツのうちのいずれかを注視すると、その注視された参照コンテンツを前記選択状態での表示サイズより拡大表示するヘッドマウントディスプレイ。
3. さらに、
   前記対象空間内において、当該ヘッドマウントディスプレイに対して予め定められた領域内に存在する複数のオブジェクトを、各オブジェクトの奥行きを特定し得る奥行き関連情報と共に取得するオブジェクト取得部と、
   当該ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記取得された複数のオブジェクトにそれぞれ対応する複数の参照コンテンツを選択する参照コンテンツ選択部と
   を含み、
   前記一覧表示部は、前記選択された複数の参照コンテンツを一覧表示する請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記注目表示部は、前記注目オブジェクトに対応する参照コンテンツを、その参照コンテンツが前記一覧表示されるときの表示サイズより拡大された表示サイズを有するように表示する請求項１ないし３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記一覧表示部は、前記各オブジェクトの、当該ヘッドマウントディスプレイからの奥行きに応じて、そのオブジェクトに対応する前記参照コンテンツの表示サイズを決定する表示サイズ決定部を含む請求項１ないし４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記一覧表示部は、前記各オブジェクトの、当該ヘッドマウントディスプレイからの奥行きに応じて、そのオブジェクトに対応する前記参照コンテンツに含まれる情報アイテムの内容を決定する表示アイテム決定部を含む請求項１ないし５のいずれかに記載のヘッドマウントディスプレイ。
7. 前記注目表示部は、観察者の頭部の動きが実質的に停止すると、前記注目表示を開始する請求項１ないし６のいずれかに記載のヘッドマウントディスプレイ。
8. 前記注目表示部は、観察者の頭部に実質的な動きが発生すると、前記注目表示を終了する請求項１ないし７のいずれかに記載のヘッドマウントディスプレイ。
9. 前記注目表示部は、前記注目オブジェクトが、観察者の観察眼に対して相対的に決まる視界から外れると、前記注目表示を終了する請求項１ないし８のいずれかに記載のヘッドマウントディスプレイ。
10. 前記一覧表示部は、前記現実外界に存在する少なくとも１つのオブジェクトに複数の参照コンテンツが対応する場合に、各参照コンテンツに予め割り当てられた重要度に基づき、前記複数の参照コンテンツのうち、少なくとも１つの参照コンテンツを除くものを表示することにより、前記一覧表示される参照コンテンツの数を減少させる請求項１ないし９のいずれかに記載のヘッドマウントディスプレイ。
11. さらに、観察者の視線を検出する視線検出部を含み、
    前記注目表示部は、前記検出された視線が、前記一覧表示されている複数の参照コンテンツのうちのいずれかと所定時間以上連続して交差している連続交差状態にあるか否かを判定し、その連続交差状態にあると判定された場合に、前記いずれかの参照コンテンツが前記注視参照コンテンツであると判定する請求項１ないし１０のいずれかに記載のヘッドマウントディスプレイ。
12. 観察者の頭部に装着された状態で観察者に画像を表示し、それにより、対象空間内の複数のオブジェクトと複数の参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
    前記複数の参照コンテンツをそれぞれ第１の奥行きを有するように一覧表示する一覧表示工程と、
    前記複数の参照コンテンツの一覧表示中、観察者がいずれかの参照コンテンツを注視すると、前記一覧表示されている複数のオブジェクトのうち、前記注視された注視参照コンテンツに対応するものを注目オブジェクトとして推定し、前記複数の参照コンテンツのうち、その推定された注目オブジェクトに対応するものを、前記注目オブジェクトの奥行きと実質的に同じ第２の奥行きを有するように表示する注目表示工程と
    を含み、
    前記第２の奥行きは、可変値であり、
    前記注目表示工程が、注目オブジェクトの奥行きと注視参照コンテンツについての前記第２の奥行きとの差が、他のオブジェクトの奥行きと他の注視参照コンテンツについての奥行きであって前記第１の奥行きに等しいものとの差より小さくなるように、注視参照コンテンツについての前記第２の奥行きを設定することと、
    前記一覧表示工程は、前記複数の参照コンテンツを選択することなくすべて表示する非選択状態から、前記複数の参照コンテンツを選択して部分的に表示する選択状態に切り換わり、前記注目表示工程は、前記選択状態で、観察者が、前記複数の参照コンテンツのうちのいずれかを注視すると、その注視された参照コンテンツを前記選択状態での表示サイズより拡大表示することとのうちの少なくとも一方を実行する方法。
13. 請求項１２に記載の方法を実行するためにコンピュータによって実行されるプログラム。

Images