JP5884816B2 - 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム - Google Patents

Description

本発明は、情報表示システム及び制御プログラムに関し、特に、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤの表示を制御する表示制御プログラムに関する。

近年、センサ等のデバイスの小型化が進むにつれ、スマートグラスなどと呼ばれるウェアラブルな透過型ＨＭＤ（Head Mounted Display）の開発が活発化している。一般に、透過型ＨＭＤを用いた情報表示システムでは、装着者（ユーザ）の外景を見通す先に透過型の仮想スクリーンを投影表示することで、装着者（ユーザ）は外景を見ながら情報を確認することができる。すなわち、透過型ＨＭＤは、周囲環境である外景に情報を重ねて表示（重畳表示）できることが特徴の一つである。

また、透過型ＨＭＤには、仮想スクリーンを投影表示する表示装置の他に、ＧＰＳ（Global Positioning System）センサやジャイロセンサ、加速度センサなど、現実の空間におけるユーザの視点位置や視線向き（水平／垂直方向の方位や姿勢）が検出可能なセンサが搭載されている場合がある。これらのセンサの検出情報（座標、方位角、仰角／俯角、姿勢角）を用いることにより、仮想スクリーン上に文字や図形、画像などの描画情報（描画オブジェクトと呼ぶ。）を投影表示する際に、描画オブジェクトの描画位置（回転角度を含む。）の調整をリアルタイムで行うことができる。

描画オブジェクトの描画位置を調整する技術に関して、例えば、下記特許文献１には、観察者の頭部の、重力方向に対する傾き角を検出し、カメラ画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を行い、その画像傾き補正が行われたカメラ画像をモニタ画像としてモニタ装置の画面上に表示する技術が開示されている。

特開２０１２−１６０８９８号公報

透過型ＨＭＤに投影表示する描画オブジェクトは大別して２種類ある。その一つは、外景に重畳表示することによって意味を持つオブジェクト（例えば、ナビゲーション情報など）であり、この描画オブジェクトは外景に対する仮想スクリーンの位置関係（位置及び／又は角度）が変化した場合に外景に合わせて仮想スクリーン上の描画位置を調整することが好ましい。他の一つは、外景との関係性がない（低い）オブジェクト（例えば、テレビ電話や動画などの映像情報、地図などの画像情報）であり、この描画オブジェクトは外景に対する仮想スクリーンの位置関係に関わらず、仮想スクリーンに合わせて描画位置を調整することが好ましい。

ここで、仮想スクリーン上に、外景との関係性がない（低い）オブジェクトと外景に重畳表示することによって意味を持つオブジェクトとが表示されており、上記の従来の技術を利用して外景との関係性がない（低い）オブジェクトの描画位置を変更した場合、仮想スクリーン上の描画オブジェクト同士が干渉してしまう場合があり、重なり（干渉）が生じると情報に欠損が生じ、ユーザに適切に情報を提示することができなくなってしまうという問題があった。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、描画オブジェクト同士の干渉に起因する情報の欠損を効果的に抑制することができる透過型ＨＭＤを有する情報表示システム及び表示制御プログラムを提供することにある。

本発明の一側面は、仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、前記透過型ヘッドマウントディスプレイを制御する制御部は、アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成部と、前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理部と、を備え、前記描画オブジェクト生成部は、前記描画オブジェクトを、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合に、前記外景に対する位置関係が維持されるように前記仮想スクリーン上の描画位置を変化させる第１オブジェクトと、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合でも、前記仮想スクリーン上の描画位置を変化させない第２オブジェクトと、に分類し、前記第１オブジェクトの描画優先度を前記第２オブジェクトの描画優先度よりも高く設定し、前記描画処理部は、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画することを特徴とする。

本発明の一側面は、仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムで動作する表示制御プログラムであって、前記透過型ヘッドマウントディスプレイを制御する制御部に、アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成処理、前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理、を実行させ、前記描画オブジェクト生成処理では、前記描画オブジェクトを、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合に、前記外景に対する位置関係が維持されるように前記仮想スクリーン上の描画位置を変化させる第１オブジェクトと、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合でも、前記仮想スクリーン上の描画位置を変化させない第２オブジェクトと、に分類し、前記第１オブジェクトの描画優先度を前記第２オブジェクトの描画優先度よりも高く設定し、前記描画処理では、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画することを特徴とする。

本発明の透過型ＨＭＤを有する情報表示システム及び表示制御プログラムによれば、描画オブジェクト同士の干渉に起因する情報の欠損を効果的に抑制することができる。

その理由は、検出部が検出した情報に基づいて、描画オブジェクトの仮想スクリーン上の描画位置を設定すると共に、各描画オブジェクトが、ユーザの視点位置や視線向き（すなわち、外景に対する仮想スクリーンの位置関係）に応じて仮想スクリーン上の描画位置の調整が必要なオブジェクトであるかを判断し、その判断結果に応じて描画オブジェクトに描画優先度を設定し、描画オブジェクトを仮想スクリーン上の描画位置に描画する際に、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じる場合には、描画優先度に基づき、描画優先度がより高い描画オブジェクトの描画を優先し、当該オブジェクトの視認性が確保できるように、描画オブジェクトの表示形態を変える干渉回避処理を実施するからである。

本発明の一実施例に係る情報表示システムの構成を模式的に示す図である。 本発明の一実施例に係る情報表示システムの構成を示すブロック図である。 視線の向きの変更により描画オブジェクトが重なる場合の例を示す図である。 視線の傾きの変更により描画オブジェクトが重なる場合の例を示す図である。 本発明の一実施例に係る情報表示システムの処理の概要を模式的に示す図である。 本発明の一実施例に係る情報表示システムの処理（描画オブジェクト生成処理）を示すフローチャート図である。 本発明の一実施例に係る情報表示システムの処理（描画処理）を示すフローチャート図である。 本発明の一実施例に係る情報表示システムの処理（描画処理の他の例）を示すフローチャート図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法の一例を説明する図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法の他の例を説明する図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法のバリエーション（描画優先度が低い描画オブジェクトの縮小、変形の例）を示す図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法のバリエーション（描画優先度が低い描画オブジェクトの分割、部分消去の例）を示す図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法のバリエーション（描画オブジェクトの透明度（輝度又は濃度）を調整する例）を示す図である。 本発明の一実施例に係る仮想スクリーンの表示制御方法のバリエーション（描画優先度が高い描画オブジェクトの表示を強調する例）を示す図である。

背景技術で示したように、ウェアラブルな透過型ＨＭＤでは、仮想スクリーン上に情報（描画オブジェクト）を表示し、外景に重ねて表示（重畳表示）することによって、装着者（ユーザ）は外景を見ながら各種情報を確認することができる。しかしながら、仮想スクリーン上に表示される描画オブジェクトには、外景に重畳表示することによって意味を持つオブジェクトと外景との関係性がない（低い）オブジェクトとがあり、双方の描画オブジェクトが混在している場合に、ユーザの視点位置や視線向き（外景に対する仮想スクリーンの位置関係）に応じて一方の描画オブジェクトの描画位置を変化させると、描画オブジェクト同士が重なり合って情報に欠損が生じる場合がある。

具体的には、外景に重畳表示することによって意味を持つオブジェクトは、外景に対する仮想スクリーンの位置関係が変化した場合に、仮想スクリーンの変化とは逆の方向に描画オブジェクトを変化させる（すなわち、外景に対する位置関係を維持するように変化させる）必要がある。一方、外景との関係性がない（低い）オブジェクトは、外景に対する仮想スクリーンの位置関係の変化に関わらず、仮想スクリーンの変化に合わせて描画オブジェクトを変化させる（すなわち、仮想スクリーンに対する位置関係を維持するように変化させる）必要がある。そのため、双方の描画オブジェクトが混在する場合に一方の描画オブジェクトの描画位置を変化させると、仮想スクリーン上の描画オブジェクト同士が重なってしまい、重なり部分で一方又は双方の描画オブジェクトの情報に欠損が生じる。

そこで、本発明の一実施の形態では、ＧＰＳセンサやジャイロセンサ、加速度センサなどの検出部が検出した位置情報や角度情報に基づいて、描画オブジェクトの仮想スクリーン上の描画位置を設定すると共に、各描画オブジェクトが、ユーザの視点位置や視線向き（外景に対する仮想スクリーンの位置関係）に応じて仮想スクリーン上の描画位置の調整が必要なオブジェクトであるかを判断し、その判断結果に応じて描画オブジェクトに描画優先度を設定する。そして、設定された描画位置に基づいて描画オブジェクトを仮想スクリーン上に描画する際に、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じるかを判断し、重なりが生じる場合には、描画優先度に基づき、描画優先度がより高い描画オブジェクトの描画を優先し、当該オブジェクトの視認性が確保できるように、描画オブジェクトの表示形態を変える干渉回避処理を実施する。例えば、描画優先度がより低い描画オブジェクトの描画位置を移動させたり、縮小／変形／分割したり、重なり部分を消去したり、透明度を上げたり（輝度や濃度を下げたり）する。また、描画優先度がより高い描画オブジェクトの透明度を下げたり（輝度や濃度を上げたり）、拡大や点滅によって表示を強調したりする。これにより、情報の欠損を効果的に抑制することができ、ユーザに適切な情報を提示することができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る透過型ＨＭＤを有する情報表示システム及び表示制御プログラムについて、図１乃至図１４を参照して説明する。図１は、本実施例の情報表示システムの構成を模式的に示す図であり、図２は、情報表示システムの構成を示すブロック図である。また、図３及び図４は、描画オブジェクトが重なる場合の問題を説明する図であり、図５は、本実施例の情報表示システムの処理の概要を模式的に示す図である。また、図６乃至図８は、本実施例の情報表示システムの処理を示すフローチャート図であり、図９乃至図１４は、仮想スクリーンの表示制御方法の例を示す図である。

本実施例の情報表示システムは、透過型ＨＭＤ１０を有するシステムであり、種々な構成が考えられる。代表的な構成は、図１（ａ）に示すように、透過型ＨＭＤ１０が単独で動作する構成、若しくは、図１（ｂ）に示すように、透過型ＨＭＤ１０が透過型ＨＭＤ１０本体１０ａと制御部１１とに分かれており、これらが有線又は無線で接続された構成である。また、透過型ＨＭＤ１０の仮想スクリーン上に表示する描画オブジェクトを他の装置で生成／編集／利用する場合は、図１（ｃ）に示すように、透過型ＨＭＤ１０と、通信端末２０と、描画オブジェクトの生成／編集を行うコンピュータ装置３０や、描画オブジェクトの印刷／ＦＡＸ送信などを行う画像形成装置４０とがネットワークで接続された構成とすることができる。更に、ネットワーク上にサーバ５０を配置し、インターネット６０を介して外部のネットワーク上のコンピュータ装置７０などと接続された構成とすることもできる。

なお、ネットワークの種類は任意であり、図１（ｃ）の構成における通信端末２０、コンピュータ装置３０、画像形成装置４０、サーバ５０は、イーサネット（登録商標）、ＦＤＤＩ（Fiber-Distributed Data Interface）やトークンリング等の規格で定められるＬＡＮ（Local Area Network）などで接続することができる。また、透過型ＨＭＤ１０側のネットワークと外部のネットワークとは、インターネット回線、あるいは公衆ＦＡＸ回線などを利用して接続することができる。また、透過型ＨＤＭ１０は、例えばＬＴＥ（Long Term Evolution）／３Ｇといった移動体通信回線、あるいはWiMAXといった無線通信回線を通じてネットワークに接続する構成としてもよい。また、図１（ｂ）の構成における透過型ＨＭＤ１０本体１０ａと制御部１１との通信、若しくは、図１（ｃ）の構成における透過型ＨＤＭ１０と通信端末２０との通信は、Bluetooth（登録商標）やＮＦＣ（Near Field Communication）、TransferJet、Wibree、IrDA等の規格で定められる近距離無線通信を利用することもできる。

以下、本実施例の情報表示システムの特徴部分である透過型ＨＭＤ１０について詳細に説明する。なお、本実施例では図１（ａ）の構成（透過型ＨＭＤ１０が単独で動作する構成）を前提にして説明するが、描画オブジェクトは、外部の制御部１１（図１（ｂ）の構成の場合）やコンピュータ装置３０、７０、サーバ５０（図１（ｃ）の構成の場合）から取得する構成としてもよい。

本実施例の情報表示システムは、ユーザが装着する部材（例えば、眼鏡やサングラス、ゴーグル、帽子など）と一体となったものであり、図２（ａ）に示すように、制御部１１と、記憶部１５と、通信Ｉ／Ｆ部１６と、表示／投影部１７と、検出部１８などで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３やＲＡＭ（Random Access Memory）１４などのメモリとで構成され、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置される。ＣＰＵ１２は、透過型ＨＭＤ１０の動作を制御する制御プログラム（必要に応じて描画オブジェクトの元となるデータを作成するアプリケーション）などをＲＯＭ１３又は記憶部１５から読み出し、ＲＡＭ１４に展開して実行する。上記制御部は、図２（ｂ）に示すように、描画オブジェクト生成部１１ａ、描画処理部１１ｂなどとしても機能する。

描画オブジェクト生成部１１ａは、アプリケーションを用いて作成したデータに基づいて描画オブジェクトを生成する。そして、描画オブジェクトが、仮想スクリーン上の描画位置の計算に際して、ユーザの視点位置や視線向き（すなわち、外景に対する仮想スクリーンの位置及び／又は角度（位置関係））に応じて仮想スクリーン上の描画位置の調整が必要なオブジェクトであるかを判断し、その判断結果に応じて描画優先度を設定し、描画オブジェクトのデータに描画優先度の情報を付加してメモリに記憶する。なお、本明細書において、視線向きとは、水平方向の向き（方位）と垂直方向の向きと姿勢（傾き）を含む概念である。また、仮想スクリーン上の描画位置とは、仮想スクリーンの上下左右の位置と仮想スクリーンの基準線に対する角度とを含む概念である。

上記仮想スクリーン上の描画位置の調整が必要な描画オブジェクトであるか否かは、例えば、その描画オブジェクトがどのようなアプリケーションによって作成されたデータに基づいて生成された描画オブジェクトであるかなどに応じて判断することができ、アプリケーションの種類に応じて、描画優先度を設定することができる。

具体的には、道案内などのナビゲーションを行うアプリケーションや、場所や建物などに関連する情報を提供するアプリケーションで作成されたデータに基づく描画オブジェクトは、外景に関連付けて描画する必要があるため、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要なオブジェクトであると判断し、描画優先度を”高”に設定する。また、ＴＶ電話やテレビ放送、動画再生などを行うアプリケーションで作成されたデータに基づく描画オブジェクトは、外景との関連性がない（又は低い）ため、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要なオブジェクトであると判断し、描画優先度を”低”に設定する。また、地図を提供するアプリケーションや、定点カメラの映像などを提供するアプリケーションで作成されたデータに基づく描画オブジェクトは外景との関連性はあるが、視点位置や視線向きに応じて逐一表示を変化させる必要はないため、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要なオブジェクトであると判断し、描画優先度を”低”（若しくは”中”）に設定する。

なお、描画優先度は、後述する検出部１８の内のどのセンサ（若しくは何種類のセンサ）で検出した情報を利用するかに応じて設定することもできる。例えば、ナビゲーション情報のようにＧＰＳセンサとジャイロセンサと必要に応じて加速度センサが検出した情報を利用する場合は、描画優先度を”高”に設定し、地図情報のようにＧＰＳセンサが検出した情報のみを利用する場合は、描画優先度を”中”に設定し、ＴＶ電話情報のようにセンサが検出した情報を利用する必要がない場合は、描画優先度を”低”に設定することができる。

また、描画オブジェクト生成部１１ａは、後述する検出部１８が検出した信号（ＧＰＳセンサが検出した位置情報、ジャイロセンサや加速度センサが検出した方位角、仰角／俯角、姿勢角などの角度情報）に基づいて、視点位置や視線向きの情報を取得する。そして、描画オブジェクト生成部１１ａは、描画オブジェクトが視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトの場合は、取得した視点位置や視線向きの情報に基づいて、描画オブジェクトの仮想スクリーン上の描画位置を設定し、設定した描画位置の情報を描画処理部１１ｂに通知する。

具体的には、実空間を仮想スクリーンに投影した座標を（ｘ、ｙ、ｚ）とし、視点位置や視線向き（水平／垂直方向の向き）が変化する前の仮想スクリーンの特定位置（例えば左上）に投影した座標が（ｘ１，ｙ１，ｚ１）、視点位置や視線向きが変化した後の仮想スクリーンの同じ特定位置に投影した座標が（ｘ２，ｙ２，ｚ２）であったとすると、仮想スクリーン上で描画オブジェクトを（ｘ１−ｘ２，ｙ１−ｙ２，ｚ１−ｚ２）だけ移動（すなわち、外景の同じ位置に重なるように移動）させる。また、視線向き（姿勢）が変化する前の仮想スクリーンの角度を基準にして、仮想スクリーンをθだけ回転させた場合は、仮想スクリーン上で描画オブジェクトを−θだけ回転（すなわち、外景に対する傾きが変わらないように回転）させる。

なお、描画オブジェクトが、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要な描画オブジェクトの場合は、仮想スクリーンに対する描画位置は変わらない。

描画処理部１１ｂは、メモリから描画オブジェクトのデータ及び描画位置の情報を取得し、表示／投影部１７を制御して、仮想スクリーン上の描画位置に描画オブジェクトを表示させる。その際、描画処理部１１ｂは、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクト（第１オブジェクトと呼ぶ。）の描画位置と、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要な描画オブジェクト（第２オブジェクトと呼ぶ。）の描画位置と、に重なりが生じるかを判断し、重なりが生じる場合は、第１オブジェクトの視認性を確保できるように、第２オブジェクト（若しくは第１オブジェクト）の表示形態を変化させる。

具体的には、第２オブジェクトを、第１オブジェクトと重ならない位置に移動させたり、第１オブジェクトと重ならないように縮小／変形／分割したり、第１オブジェクトと重なる部分の表示を消去したり、透明度を上げたり（輝度や濃度を下げたり）する。また、第１オブジェクトの透明度を下げたり（輝度や濃度を上げたり）、拡大して強調したり、点滅させて強調したりする。

なお、上記描画オブジェクト生成部１１ａ及び描画処理部１１ｂは、ハードウェアとして構成してもよいし、制御部１１を描画オブジェクト生成部１１ａ及び描画処理部１１ｂとして機能させる表示制御プログラムとして構成し、当該表示制御プログラムをＣＰＵ１２に実行させる構成としてもよい。また、図１（ｃ）の構成の場合は、表示制御プログラムを、コンピュータ装置３０、７０やサーバ５０などで動作させる構成としてもよい。

記憶部１５は、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、アプリケーションで作成したデータ、仮想スクリーンに表示する描画オブジェクトのデータ、仮想スクリーンの表示領域を特定するための設定情報、各描画オブジェクトが視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトであるか否かを判別するためのテーブルなどを記憶する。

通信Ｉ／Ｆ部１６は、ＮＩＣ（Network Interface Card）やモデムなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、上述した無線ＬＡＮ通信や移動体通信、近距離無線通信などによって、外部の機器との通信を行う。なお、透過型ＨＭＤ１０が外部の機器と通信する必要がない場合（例えば、ＳＤカードで外部の機器とデータのやりとりを行う場合）は、通信Ｉ／Ｆ部１６を省略することができる。また、透過型ＨＭＤ１０が透過型ＨＭＤ本体１０ａと制御部１１とに分かれている場合は、双方に通信Ｉ／Ｆ部１６を設け、双方の通信Ｉ／Ｆ部１６を介して、制御部１１が透過型ＨＭＤ本体１０ａを制御するようにしてもよい。

表示／投影部１７は、制御部１１から受け取った描画オブジェクトのデータに基づいて描画オブジェクトの像を仮想スクリーン上に表示するための表示装置若しくは投影装置である。オブジェクトの表示方法として、表示部自体が透過性を有し、その表示部に描画オブジェクトを表示させるディスプレイ方式と、透過性を有する部材に情報を投影させる投影方式とがある。ディスプレイ方式の場合は、眼鏡やサングラス、ゴーグルのレンズやガラスの表面に透過型の液晶表示装置などを配置し、その液晶表示装置を透過型ＨＭＤ１０の筐体に固定又は配置した駆動回路で駆動して描画オブジェクトを表示することによって仮想スクリーン上に描画オブジェクトの像を表示する。また、投影方式の場合は、眼鏡やサングラス、ゴーグルのヨロイ（智）などに投影装置を配置し、レンズやガラスなどに描画オブジェクトを投影することによって仮想スクリーン上に描画オブジェクトの像を表示する。

検出部１８は、視点位置や視線向きを検出するセンサ（例えば、ＧＰＳセンサ１８ａ、ジャイロセンサ１８ｂ、加速度センサ１８ｃなど）であり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置される。ＧＰＳセンサ１８ａは、ＧＰＳ衛星から取得したＧＰＳ情報に基づいて、透過型ＨＭＤ１０の実空間の座標を検出する。ジャイロセンサ１８ｂは、透過型ＨＭＤ１０の基準方向からの角度変化（角速度）を検出する。加速度センサ１８ｃは、透過型ＨＭＤ１０の加速度を検出する共に、重力加速度に基づいて透過型ＨＭＤ１０の姿勢を検出する。

なお、図２は、本実施例の透過型ＨＭＤ１０の一例であり、視点位置や視線向きに基づいて、仮想スクリーン上の描画オブジェクトの描画位置を修正可能な限りにおいて、その構成や表示制御方法は適宜変更可能である。例えば、図２は、透過型ＨＭＤ１０を装着したユーザが顔を動かして視点位置や視線向きを変える場合の構成を示しているが、透過型ＨＭＤ１０自体は動かさずにユーザが眼を動かして視点位置や視線向きを変えることも可能であり、その場合は、ユーザの眼の瞳の位置を撮像するカメラを設け、瞳の位置からユーザの視点位置や視線向きを特定することもできる。

以下、仮想スクリーン上に表示される描画オブジェクトについて、図面を参照して具体的に説明する。

図３（ａ）は、透過型ＨＭＤ１０を装着したユーザの視界情報を模式的に表した図である。外景に重畳して表示される枠が、透過型ＨＭＤ１０の仮想スクリーン８０の表示領域である。この仮想スクリーン８０上には、例えば、描画オブジェクトとして、ナビゲーション情報８１（ここでは案内方向を示す矢印）、地図情報８２、ＴＶ電話情報８３（ここでは通話相手の画像）が表示される。上記描画オブジェクトの内、ナビゲーション情報８１が視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクト（第１オブジェクト）であり、地図情報８２及びＴＶ電話情報８３が視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要な描画オブジェクト（第２オブジェクト）である。

図３（ｂ）は、図３（ａ）の状態からユーザが顔を横に振って視線の向き（すなわち、透過型ＨＭＤ１０の向き）を左に動かした場合を示している。この時、地図情報８２及びＴＶ電話情報８３は視点位置や視線向きに応じて仮想スクリーン８０上の描画位置の調整が不要な描画オブジェクトであるため、その描画位置は仮想スクリーン８０の枠と共に左に移動する（すなわち、仮想スクリーン８０上の描画位置は変化しない）。一方、ナビゲーション情報８１は視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトであり外景の同じ位置に重畳させる必要があるため、その描画位置は仮想スクリーン８０の枠が移動しても移動しない（すなわち、仮想スクリーン８０上の描画位置は右に移動する）。

また、図４（ｂ）は、図４（ａ）の状態からユーザが顔を傾けて透過型ＨＭＤ１０を時計回り方向に回転させた場合を示している。この時、上記と同様に、地図情報８２及びＴＶ電話情報８３は視点位置や視線向きに応じて仮想スクリーン８０上の描画位置の調整が不要な描画オブジェクトであるため、仮想スクリーン８０の枠と共に時計回りに回転する（すなわち、仮想スクリーン８０上の描画位置は変化しない）。一方、ナビゲーション情報８１は視点位置や視線向きに応じて仮想スクリーン８０上の描画位置の調整が必要な描画オブジェクトであり外景に対して同じ方向を指し示す必要があるため、仮想スクリーン８０の枠が回転してもナビゲーション情報８１は回転しない（すなわち、仮想スクリーン８０に対して反時計回りに回転する）。

このように、地図情報８２及びＴＶ電話情報８３は仮想スクリーン８０に対する描画位置は変わらず、ナビゲーション情報８１は仮想スクリーン８０に対する描画位置が変化するため、双方の描画オブジェクト（図３ではナビゲーション情報８１とＴＶ電話情報８３、図４ではナビゲーション情報８１と地図情報８２）に重なり（図の楕円の実線で囲んだ領域参照）が生じて描画情報が欠損してしまう可能性があり、描画オブジェクトの視認性が悪化してしまう。

そこで、本実施例では、双方の描画オブジェクトの干渉（重なり）による重要な描画情報の欠損を防ぐために以下の処理を実施する。

具体的には、図５に示すように、仮想スクリーン８０に表示する描画オブジェクトを生成する描画オブジェクト生成処理において、アプリケーションで作成したデータを取得して描画オブジェクトを生成し（図の（１）参照）、生成した描画オブジェクトが視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要なオブジェクトであるかを判断し、判断結果に応じた描画優先度情報を描画オブジェクトのデータに付加してメモリに記憶する（図の（２）参照）。そして、描画処理において、メモリから描画優先度情報が付加された描画オブジェクトを取得し（図の（３）参照）、ある描画オブジェクトの描画位置が、描画優先度がより高い他の描画オブジェクトと重なってしまう場合には、干渉回避処理を実施した上で、描画オブジェクトを仮想スクリーン８０上に描画することにより（図の（４）参照）、描画オブジェクト同士の干渉による情報の欠損を防止する。

以下、情報表示システム（透過型ＨＭＤ１０）の具体的な処理について説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶した表示制御プログラムを読み出し、ＲＡＭ１４に展開して実行することにより、図７乃至図９のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、各描画オブジェクトが視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトであるか否かを判別するためのテーブルは予め作成され、記憶部１５等に記憶されているものとする。

［描画オブジェクト生成処理］
まず、制御部１１（描画オブジェクト生成部１１ａ）は、アプリケーションによって生成されたデータに基づいて、仮想スクリーンに表示／投影する描画オブジェクトを生成する（Ｓ１０１）。

次に、制御部１１（描画オブジェクト生成部１１ａ）は、生成した描画オブジェクトの仮想スクリーン上の描画位置の計算に当たって、予め記憶したテーブルを参照して、当該描画オブジェクトが、ユーザの視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトであるかを判断する（Ｓ１０２）。

ユーザの視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトの場合は、当該描画オブジェクトの描画優先度を”高”を設定し、その描画優先度情報を描画オブジェクトのデータに付加してメモリに記憶し（Ｓ１０３）、検出部１８（ＧＰＳセンサ１８ａ、ジャイロセンサ１８ｂ、加速度センサ１８ｃ）から視点位置や視線向きの情報を取得する（Ｓ１０４）。なお、本フローでは、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトに対してのみ描画優先度を設定したが、仮想スクリーン上の描画位置の調整が不要な描画オブジェクトに対しては描画優先度を”低”に設定してもよい。また、描画優先度は”高”と”低”の２段階に限らず、”高”、”中”、”低”などの３段階以上に設定してもよい。

その後、制御部１１（描画オブジェクト生成部１１ａ）は、描画オブジェクトの仮想スクリーン上の描画位置を設定する（Ｓ１０５）。例えば、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が必要な描画オブジェクトの場合は、外景の所定位置（ナビゲーションのアプリケーションで作成したデータに基づく描画オブジェクトの場合は、案内する交差点など）に重なる仮想スクリーン上の位置を設定する。また、視点位置や視線向きに応じて仮想スクリーン上の描画位置の調整が不要な描画オブジェクトの場合は、仮想スクリーン上の特定位置（例えば、地図のアプリケーションで作成したデータに基づく描画オブジェクトは左下、ＴＶ電話のアプリケーションで作成したデータに基づく描画オブジェクトは右上など）を設定する。

そして、制御部１１（描画オブジェクト生成部１１ａ）は、描画するオブジェクトを全て生成するまで、上記のＳ１０１〜Ｓ１０５の処理を繰り返し実行する。

［描画処理］
制御部１１（描画処理部１１ｂ）は、メモリに記憶された描画オブジェクトのデータに付加された描画優先度情報に基づいて、上記フローで生成された描画オブジェクトの中に、描画優先度が”高”の描画オブジェクトが存在するかを判断する（Ｓ２０１）。

描画する描画オブジェクトの中に描画優先度が”高”の描画オブジェクトが存在する場合は（Ｓ２０１のＹｅｓ）、制御部１１（描画処理部１１ｂ）は、描画優先度が”高”の描画オブジェクトのデータをメモリから取り出し、表示／投影部１７を制御して、上記フローのＳ１０５で設定された仮想スクリーン上の描画位置に、その描画オブジェクトを描画する（Ｓ２０２）。

描画する描画オブジェクトの中に描画優先度が”高”の描画オブジェクトが存在しない場合は（Ｓ２０１のＮｏ）、制御部１１（描画処理部１１ｂ）は、描画優先度が”高”以外の描画オブジェクトのデータをメモリから取り出し、その描画オブジェクトの描画領域に、より描画優先度が高い描画オブジェクトが存在するか（すなわち、描画優先度が”高”の描画オブジェクトが既に描画されているか）を判断する（Ｓ２０３）。より描画優先度が高い描画オブジェクトが存在する場合は、描画オブジェクトの重なりによって生じる情報の欠損を回避するための干渉回避処理（詳細は後述する）を実行する（Ｓ２０４）。一方、より描画優先度が高い描画オブジェクトが存在しない場合は、制御部１１（描画処理部１１ｂ）は、上記フローのＳ１０５で設定された仮想スクリーン上の描画位置に、その描画オブジェクトを描画する（Ｓ２０５）。

そして、制御部１１（描画処理部１１ｂ）は、描画オブジェクトを全て描画するまで、上記のＳ２０１〜Ｓ２０５の処理を繰り返し実行する。

なお、上記フローは、描画優先度が高い描画オブジェクトを先に描画する場合の例であるが、描画オブジェクトを順に描画することもできる。この場合は、図８に示すように、描画オブジェクトのデータをメモリから順に取り出し、その描画オブジェクトの描画位置に描画済みの他の描画オブジェクトが存在するかを判断し（Ｓ３０１）、他の描画オブジェクトが存在する場合は、他の描画オブジェクトの方が描画優先度が低いかを判断する（Ｓ３０２）。上記他の描画オブジェクトの方が描画優先度が低い場合は（Ｓ３０２のＮｏ）、描画済みの他の描画オブジェクトに対して干渉回避処理を実施し（Ｓ３０３）、他の描画オブジェクトの方が描画優先度が高い場合（必要に応じて双方の描画オブジェクトの描画優先度が等しい場合）は、描画する描画オブジェクトに対して干渉回避処理を実施する（Ｓ３０４）。その後、仮想スクリーン上の描画位置に、その描画オブジェクトを描画し（Ｓ３０５）、描画オブジェクトを全て描画するまで、Ｓ３０１〜Ｓ３０５の処理を繰り返し行う。

次に、上記の「干渉回避処理」について、図面を参照して具体的に説明する。図９（ａ）は、ユーザの視線向き（水平方向の向き）が変化することによってナビゲーション情報８１とＴＶ電話情報８３とが干渉した場合（図３（ｂ）の状態）の例であり、この場合、描画処理部１１ｂは、図９（ｂ）に示すように描画優先度が高いナビゲーション情報８１の描画を優先し、描画優先度が低いＴＶ電話情報８３を、ナビゲーション情報８１と干渉しない位置（ここでは仮想スクリーンの右上から左上）に移動させる制御を行う。また、図１０（ａ）は、ユーザの視線向き（姿勢）が変化することによってナビゲーション情報８１と地図情報８２とが干渉した場合（図４（ｂ）の状態）の例であり、この場合、描画処理部１１ｂは、図１０（ｂ）に示すように描画優先度が高いナビゲーション情報８１の描画を優先し、描画優先度が低い地図情報８２を、ナビゲーション情報８１と干渉しない位置（ここでは仮想スクリーンの左下から左上）に移動させる制御を行う。

このように、描画優先度のより高い描画オブジェクトの描画を優先し、描画優先度のより低い描画オブジェクトの描画位置を干渉が生じない位置に移動させるといった干渉回避処理を実施することにより、描画優先度のより高い描画オブジェクトの視認性を確保することができ、重要な情報の欠損を効果的に防止することができる。

なお、図９及び図１０では、干渉回避処理として、描画優先度が低い描画オブジェクトを干渉が生じない位置に移動させる場合を示したが、干渉回避処理は、描画オブジェクトの重なりによって生じる、情報の欠損を回避可能な処理であればよい。

例えば、図１１（ａ）に示すように、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じた場合、図１１（ｂ）に示すように、描画優先度がより低い方の描画オブジェクト（ここでは地図情報８２）を縮小したり、図１１（ｃ）に示すように、描画優先度がより低い方の描画オブジェクトを変形したりして、優先度がより高い方の描画オブジェクト（ここではナビゲーション情報８１）の情報が欠損しないようにしてもよい。

同様に、図１２（ａ）に示すように、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じた場合、図１２（ｂ）に示すように、描画優先度がより低い方の描画オブジェクトを分割したり、図１２（ｃ）に示すように、描画優先度がより低い方の描画オブジェクトの重なり部分の表示を消去したりして、優先度がより高い方の描画オブジェクトの情報が欠損しないようにしてもよい。

また、図１３（ａ）に示すように、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じた場合、図１３（ｂ）に示すように、描画優先度がより高い方の描画オブジェクトの透明度を下げる（すなわち、輝度や濃度を上げる）ようにしたり、図１３（ｃ）に示すように、描画優先度がより低い方の描画オブジェクトの透明度を上げる（すなわち、輝度や濃度を下げる）ようにしたりして、優先度がより高い方の描画オブジェクトの視認性を向上させるようにしてもよい。なお、図では、ハッチングの密度で透明度を表現している。

また、図１４（ａ）に示すように、描画優先度が異なる複数の描画オブジェクトの描画位置に重なりが生じた場合、図１４（ｂ）に示すように、描画優先度がより高い方の描画オブジェクトを拡大して強調したり、図１４（ｃ）に示すように、描画優先度がより高い方の描画オブジェクトを点滅させて強調したりして、描画優先度がより高い方の描画オブジェクトの視認性を向上させるようにしてもよい。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、透過型ＨＭＤ１０の構成や表示制御方法は適宜変更可能である。

例えば、上記実施例では、描画優先度がより低い方の描画オブジェクト、又は、描画優先度がより高い方の描画オブジェクトの一方に対して干渉回避処理を行う場合を例示したが、双方の描画オブジェクトに対して干渉回避処理を行うようにしてもよい。

また、上記実施例では、干渉回避処理として、描画優先度がより低い方の描画オブジェクトに対して、縮小、変形、分割、部分消去、透明度を上げる等の処理を例示し、描画優先度がより高い方の描画オブジェクトに対して、拡大、点滅、透明度を下げる等の処理を例示したが、干渉回避処理は、描画優先度が異なる複数の描画オブジェクトの内の一方の描画オブジェクトの視認性を確保可能な任意の処理であればよく、上記の処理を任意に組み合わせることもできる。

また、表示／投影部１７を用いて、眼鏡やサングラス、ゴーグルのレンズやガラスなどにオブジェクトを表示する際に、左右２つのレンズやガラスにオブジェクトを表示してもよいし、一方のレンズやガラスのみにオブジェクトを表示してもよい。

また、上記実施例では、眼鏡やサングラス、ゴーグル、帽子などと一体となったウェアラブルな透過型ＨＭＤ１０について説明したが、機器に固定される装置（透過型ＨＵＤなど）に対しても、本発明の表示制御方法を同様に適用することができる。

本発明は、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤにおけるオブジェクトの表示を制御する表示制御プログラム並びに当該表示制御プログラムを記録した記録媒体に利用可能である。

１０ 透過型ＨＭＤ
１１ 制御部
１１ａ 描画オブジェクト生成部
１１ｂ 描画処理部
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ 記憶部
１６ 通信Ｉ／Ｆ部
１７ 表示／投影部
１８ 検出部
１８ａ ＧＰＳセンサ
１８ｂ ジャイロセンサ
１８ｃ 加速度センサ
２０ 通信端末
３０ コンピュータ装置
４０ 画像形成装置
５０ サーバ
６０ インターネット
７０ コンピュータ装置

Claims (12)

1. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、
   前記透過型ヘッドマウントディスプレイを制御する制御部は、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成部と、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理部と、を備え、
   前記描画オブジェクト生成部は、前記描画オブジェクトを、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合に、前記外景に対する位置関係が維持されるように前記仮想スクリーン上の描画位置を変化させる第１オブジェクトと、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合でも、前記仮想スクリーン上の描画位置を変化させない第２オブジェクトと、に分類し、前記第１オブジェクトの描画優先度を前記第２オブジェクトの描画優先度よりも高く設定し、
   前記描画処理部は、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする情報表示システム。
2. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、
   前記透過型ヘッドマウントディスプレイを制御する制御部は、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成部と、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理部と、を備え、
   前記描画オブジェクト生成部は、前記アプリケーションの種別に基づいて、前記描画オブジェクトの描画優先度を設定し、
   前記描画処理部は、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする情報表示システム。
3. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、
   前記検出部は、異なる情報を検出する複数種類のセンサを有し、
   前記透過型ヘッドマウントディスプレイを制御する制御部は、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成部と、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理部と、を備え、
   前記描画オブジェクト生成部は、前記描画オブジェクトの生成に際して、参照する前記情報の種類が多いほど、描画優先度を高く設定し、
   前記描画処理部は、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする情報表示システム。
4. 前記検出部は、ＧＰＳ（Global Positioning System）センサ、ジャイロセンサ、加速度センサの１以上を含む、
   ことを特徴とする請求項１乃至３のいずれか一に記載の情報表示システム。
5. 前記描画処理部は、前記描画位置が重なる複数の描画オブジェクトの内、前記描画優先度がより低い描画オブジェクトに対して、前記描画優先度がより高い描画オブジェクトと重ならない位置に移動させる処理、前記描画優先度がより高い描画オブジェクトと重ならないように縮小、変形又は分割する処理、前記描画優先度がより高い描画オブジェクトと重なる部分の表示を消去する処理、透明度を上げる処理の中から選択される１以上の処理を行う、
   ことを特徴とする請求項１乃至４のいずれか一に記載の情報表示システム。
6. 前記描画処理部は、前記描画位置が重なる複数の描画オブジェクトの内、前記描画優先度がより高い描画オブジェクトに対して、拡大する処理、点滅させる処理、透明度を下げる処理の中から選択される１以上の処理を行う、
   ことを特徴とする請求項１乃至５のいずれか一に記載の情報表示システム。
7. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムで動作する表示制御プログラムであって、
   前記透過型ヘッドマウントディスプレイを制御する制御部に、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成処理、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理、を実行させ、
   前記描画オブジェクト生成処理では、前記描画オブジェクトを、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合に、前記外景に対する位置関係が維持されるように前記仮想スクリーン上の描画位置を変化させる第１オブジェクトと、前記外景に対する前記仮想スクリーンの位置及び／又は角度が変化した場合でも、前記仮想スクリーン上の描画位置を変化させない第２オブジェクトと、に分類し、前記第１オブジェクトの描画優先度を前記第２オブジェクトの描画優先度よりも高く設定し、
   前記描画処理では、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする表示制御プログラム。
8. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムで動作する表示制御プログラムであって、
   前記透過型ヘッドマウントディスプレイを制御する制御部に、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成処理、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理、を実行させ、
   前記描画オブジェクト生成処理では、前記アプリケーションの種別に基づいて、前記描画オブジェクトの描画優先度を設定し、
   前記描画処理では、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする表示制御プログラム。
9. 仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムで動作する表示制御プログラムであって、
   前記検出部は、異なる情報を検出する複数種類のセンサを有し、
   前記透過型ヘッドマウントディスプレイを制御する制御部に、
   アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成処理、
   前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理、を実行させ、
   前記描画オブジェクト生成処理では、前記描画オブジェクトの生成に際して、参照する前記情報の種類が多いほど、描画優先度を高く設定し、
   前記描画処理では、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、
   ことを特徴とする表示制御プログラム。
10. 前記検出部は、ＧＰＳセンサ、ジャイロセンサ、加速度センサの１以上を含む、
    ことを特徴とする請求項７乃至９のいずれか一に記載の表示制御プログラム。
11. 前記描画処理では、前記描画位置が重なる複数の描画オブジェクトの内、前記描画優先度がより低い描画オブジェクトに対して、前記描画優先度がより高い描画オブジェクトと重ならない位置に移動させる処理、前記描画優先度がより高い描画オブジェクトと重ならないように縮小、変形又は分割する処理、前記描画優先度がより高い描画オブジェクトと重なる部分の表示を消去する処理、透明度を上げる処理の中から選択される１以上の処理を行う、
    ことを特徴とする請求項７乃至１０のいずれか一に記載の表示制御プログラム。
12. 前記描画処理では、前記描画位置が重なる複数の描画オブジェクトの内、前記描画優先度がより高い描画オブジェクトに対して、拡大する処理、点滅させる処理、透明度を下げる処理の中から選択される１以上の処理を行う、
    ことを特徴とする請求項７乃至１１のいずれか一に記載表示制御プログラム。

Images