JP4208601B2

JP4208601B2 - 表示制御方法、及び表示制御装置

Info

Publication number: JP4208601B2
Application number: JP2003046229A
Authority: JP
Inventors: 泰弘奥野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2009-01-14
Anticipated expiration: 2023-02-24
Also published as: JP2004258123A

Description

【０００１】
【発明の属する技術分野】
本発明は、頭部装着型表示装置に対して出力する画像を、頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う技術に関するものである。
【０００２】
【従来の技術】
従来より、現実空間の画像に三次元モデリングされたＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）による画像を重畳した画像を生成し、観察者に提示することで、この観察者にあたかも現実空間中にＣＧで表現された物体（仮想物体）が存在しているかのように見せることができる複合現実感提示装置が存在する。
【０００３】
これは、現実空間の画像を撮像するための現実空間撮像手段（たとえばビデオカメラ）と、仮想空間において現実空間撮像手段の視点の位置から見たＣＧを生成するＣＧ生成手段と、両者を合成して表示することのできる表示手段（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）からなる装置である。
【０００４】
ここで、現実空間撮像手段の位置が変わった場合であっても仮想物体と現実空間画像との位置関係は正しくなるようになっており、上記複合現実感提示装置は現実空間撮像手段（ビデオカメラ）の視点の位置姿勢を検出するための、視点位置姿勢検出手段（たとえば位置姿勢センサ）を備えている。
【０００５】
ＣＧ生成手段は、仮想物体を現実空間と同じスケールの仮想空間に置き、視点位置姿勢検出手段によって検出された視点の位置姿勢から観察された仮想物体の画像をレンダリングする。このようにして生成された仮想空間画像と現実空間画像とを重畳すると、結果として、現実空間撮像手段がどの位置姿勢から観察した場合でも、現実空間の中に正しく仮想物体が置かれているような画像を表示ことができる。
【０００６】
上記現実空間撮像手段は、たとえばビデオカメラであり、カメラの視線方向の現実空間を撮影し、撮像した画像をカメラの、もしくは接続されたコンピュータのメモリ中にキャプチャする手段である。
【０００７】
現実空間画像と仮想空間画像とを合成して表示する表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤ、更に上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の現実空間の画像をＨＭＤが有する表示画面上に表示させることができると共に、その方向に応じた仮想空間の画像も重畳させて表示させることができるので、ＨＭＤを装着した観察者の没入感を高めることができる。
【０００８】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの位置姿勢を検出することができる。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。
【０００９】
上記の構成により、観察者はＨＭＤを介して現実空間画像と仮想空間画像とが重畳された画像による世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）は観察者の頭部の向いている方向の現実空間を撮像し、ＨＭＤに備え付けられた位置姿勢検出手段（位置姿勢センサ）はビデオカメラの位置姿勢を検出し、これに応じてＣＧ生成手段はこの位置、姿勢から仮想空間を見た場合の画像を生成し、これを撮像した現実空間画像に重畳して表示する。
【００１０】
また、観察者を複数設けることも可能である。その場合、現実空間を撮影するビデオカメラと表示装置（ＨＭＤなど）、位置姿勢センサを観察者の数だけ用意し、夫々の観察者の視点位置姿勢に応じた現実空間画像と仮想空間画像との合成画像を生成し、夫々の観察者に対して提示すればよい。
【００１１】
さらに、実際にＨＭＤを装着して複合現実空間を体験している体験者以外にも観衆がいる場合、体験者が見ている映像と同じ映像（体験者の視点から見た映像）を、観衆用の映像表示装置（ディスプレイ）に表示することがある。この場合は、観察者のＨＭＤの映像表示部に表示される画像と同じ画像を観衆用のディスプレイに表示するという構成をとればよい。このようにすると、実際にＨＭＤを装着していなくとも、体験者がどのような映像体験をしているのかを複数の観衆に同時に理解させることができる。
【００１２】
このように従来から、複数の体験者で複合現実空間を共有するシステムがあった（例えば、特許文献１を参照）。
【００１３】
【特許文献１】
特開２００２−２７１８１７号公報
【００１４】
【発明が解決しようとする課題】
従来のシステムでは、体験者が上記複合現実空間を体験し終わった後にＨＭＤを置き台などに戻した際もＨＭＤに取り付けられているビデオカメラは意味のない映像を撮影しつづけるため、観衆用映像表示装置にも無意味な（観衆にとって興味のない）映像が表示されてしまい、展示の効果が薄れてしまう、といった問題があった。また、上記複数の体験者で複合現実空間を共有するシステムには”観衆用の映像表示装置”は備わっていなかった。
【００１５】
本発明は以上の問題に鑑みてなされたものであり、ＨＭＤが使用されているか否かに応じて、観衆用の表示装置に表示させる画像を切り替える技術を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の表示制御方法は以下の構成を備える。
【００１７】
すなわち、頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置が行う表示制御方法であって、
前記頭部装着型表示装置の位置姿勢を計測する計測工程と、
前記計測工程で得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え工程と
を備えることを特徴とする。
【００１８】
本発明の目的を達成するために、例えば本発明の表示制御装置は以下の構成を備える。
【００１９】
すなわち、頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置であって、
前記頭部装着型表示装置の位置姿勢を計測する計測手段と、
前記計測手段により得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断手段と、
前記判断手段の判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え手段と
を備えることを特徴とする。
【００２０】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２１】
図１は、本実施形態に係るシステムの基本構成を示す図である。本実施形態に係るシステムは、ＨＭＤが有する表示部、及びＨＭＤを装着していない観衆に対して設けられた表示装置に対して複合現実空間画像（現実空間画像上に仮想空間画像が重畳された画像）を出力するが、ＨＭＤの使用の有無に応じて、表示装置に表示する表示内容を切り替える処理を行う。まず、同図を用いて、本実施形態に係るシステムの構成について説明する。
【００２２】
同図において１８０はコンピュータで、一般にはＰＣ（パーソナルコンピュータ）やワークステーションなどに代表されるものである。コンピュータ１８０は、ＣＰＵ１０１、第１のメモリ１０３，第２のメモリ１０４、Ｉ／Ｆ１５０，１５１，１５３，ＨＤＤ（ハードディスクドライブ）１５２，そしてこれらを繋ぐバス１０２により構成されている。
【００２３】
ＣＰＵ１０１はコンピュータ１８０全体の制御を行うと共に、Ｉ／Ｆ１５０，１５１，１５３を介してのデータ通信を制御したり、後述の各処理を制御したりする。
【００２４】
第１のメモリ１０３は後述の各処理を行うためのプログラムをＨＤＤ１５２からロードして一時的に記憶する為のメモリである。このプログラムは、撮像部１１０、仮想空間画像生成部１１１、視点位置姿勢検出部１１２、使用状態判定部１１３の各部により構成されており、ＣＰＵ１０１が各部に対応するプログラムを実行することで、その機能を実現する。なお、各部についての詳細は後述する。またこのプログラムはこの４つの各部をすべて含むものであっても良いし、各部をいくつかのプログラムにより表現させても良い。
【００２５】
第２のメモリ１０４は画像メモリ１２０、視点位置姿勢データメモリ１２１を備えると共に、以下説明する各処理において一時的に記憶するデータを保持する為のメモリである。
【００２６】
なお同図ではプログラムを記憶するためのメモリとデータを記憶するためのメモリは別個のメモリとしているが、これに限定されるものではなく、同一メモリ上に夫々のプログラム、データを記憶させても良い。
【００２７】
Ｉ／Ｆ１５０は分配器１０９をコンピュータ１８０に接続するためのもので、コンピュータ１８０が生成した複合現実空間画像はこのＩ／Ｆ１５０を介して分配器１０９に出力される。
【００２８】
Ｉ／Ｆ１５１はセンサ本体１０５をコンピュータ１８０に接続するためのもので、センサ本体１０５により得られるセンサ１０６の位置姿勢を示す信号はこのＩ／Ｆ１５１を介してコンピュータ１８０に入力される。
【００２９】
Ｉ／Ｆ１５３はＨＭＤ１０７に備わっている撮像装置１０８をコンピュータ１８０に接続するためのもので、撮像装置１０８により得られた現実空間の画像はこのＩ／Ｆ１５２を介してコンピュータ１８０に入力される。
【００３０】
ＨＤＤ１５２は後述する各データを保存していると共に、第１のメモリ１０３にロードされるプログラムを保存している。そして必要に応じてプログラムは第１のメモリ１０３に、データは第２のメモリに夫々ロードされる。
【００３１】
なお、プログラム、データのロード形態はこれに限定されるものではなく、コンピュータ１８０をインターネットやＬＡＮなどのネットワークに接続し、ネットワーク上の装置からダウンロードするようにしても良いし、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体からロードするようにしても良い。
【００３２】
分配器１０９は、コンピュータ１８０が生成した複合現実空間画像をＨＭＤ１０７、観衆用表示装置１１０とに出力するためのものである。観衆用表示装置１１０は、ＨＭＤを装着していない観衆に対して設けられたものであって、ここにＨＭＤ１０７の表示部（不図示）に表示される画像と同じ画像を表示することで、観衆はＨＭＤ１０７を装着している観察者が見ている複合現実空間画像と同じものを見ることができ、観察者と同様に複合現実空間を体感することができる。
【００３３】
１０７はＨＭＤで、不図示の表示部を有しており、ここにＨＭＤ１０７に備え付けられた撮像装置１０８が撮像した現実空間の画像に仮想空間の画像が重畳された複合現実空間画像が表示される。この複合現実空間画像はコンピュータ１８０により生成され、分配器１０９を介してＨＭＤ１０７の不図示の表示部に出力されるものである。
【００３４】
また、ＨＭＤ１０７には撮像装置１０８に加えてセンサ１０６（例えば磁気センサ等）が備え付けられている。センサ１０６はセンサ本体１０５に接続されており、周知の技術でもってセンサ１０６、センサ本体１０５によってセンサ１０６の位置姿勢を示す信号がセンサ本体１０５から出力される。
【００３５】
以上の構成を備えるシステムが行う上記表示切り替え処理について、同処理のフローチャートを示す図２を参照して説明する。なお、同図のフローチャートに従ったプログラムは第１のメモリ１０３に格納された各部により構成されたプログラムであって、このプログラムをＣＰＵ１０１が実行することで、コンピュータ１８０は図２に示したフローチャートに従った処理を実現することができる。
【００３６】
まず、撮像装置１０８により撮像された現実空間の画像はＩ／Ｆ１５３を介してコンピュータ１８０に入力されるので、撮像部１１０は入力された現実空間の画像を第２のメモリ１０４の画像メモリ１２０に記録する（ステップＳ２００）。撮像装置１０８は常に現実空間を撮像しているので、撮像部１１０は画像メモリ１２０に逐次現実空間の画像を記録する処理を行う。なお本ステップにおける処理は以下の各ステップによる処理と平行に並列処理によって行っても良い。
次に、視点位置姿勢検出部１１２はセンサ本体１０５から入力されたセンサ１０６の位置姿勢を示す信号に基づいてＨＭＤ１０７（視点）の位置姿勢を求め、求めた位置姿勢のデータを第２のメモリ１０４中の視点位置姿勢データメモリ１２１に書き込む（ステップＳ２０１）。
【００３７】
ここで、センサ本体１０５から入力される信号は「センサ１０６の位置姿勢」を示すものであるので、予め「ＨＭＤ１０７（視点）」とセンサ１０６との位置関係を求めておき、第２のメモリ１０４に保持しておく。よってこの位置関係を用いることで、センサ本体１０５から入力された信号に基づいて視点の位置姿勢を求めることができる。以下ではこの視点の位置姿勢を「ＨＭＤ１０７の位置姿勢」とする。
【００３８】
またここで位置姿勢のデータとは、位置（ｘ、ｙ、ｚ）と姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を示す為の６つのパラメータのデータである。
【００３９】
次に、使用状態判定部１１３は、ＨＭＤ１０７が観察者に使用されているか否かを判断する（ステップＳ２０２）。この使用の有無の判定については詳しくは後述する。
【００４０】
使用状態判定部１１３が「ＨＭＤ１０７は使用中である」と判定した場合、本システムは通常通り、ＨＭＤ１０７と表示装置１１０とに複合現実空間画像を表示させるための処理を行うので、まず仮想空間画像生成部１１１は、視点位置姿勢データメモリ１２１に書き込まれた「ＨＭＤ１０７の位置姿勢データ」を用いて、この位置姿勢における視点から見た仮想空間の画像を生成する（ステップＳ２０３）。仮想空間のデータはＨＤＤ１５２内に仮想空間データ１３１として保存されているので、必要に応じて第２のメモリ１０４内の空きエリアにロードして用いる。
【００４１】
なお仮想空間は予め設定された有限のサイズの空間であるので、仮想空間データは当然この有限空間内における仮想物体や壁、床などのオブジェクトの仮想データの幾何学形状やテクスチャ、配置位置などのデータである。
任意の位置姿勢における視点から見た仮想空間の画像の生成処理については周知の技術であるので、その説明は省略する。
【００４２】
これにより、ＨＭＤ１０７の位置姿勢に応じた仮想空間画像を生成することができる。なお、生成する仮想空間画像は画像メモリ１２０に記録される。これにより、先に画像メモリ１２０上に記憶された現実空間画像上に仮想空間画像が重畳されることになるので、結果として画像メモリ１２０上には複合現実空間画像が生成されている。そして生成された複合現実空間画像はＣＰＵ１０１がＩ／Ｆ１５０、分配器１０９を介してＨＭＤ１０７、表示装置１１０とに出力する。その結果、複合現実空間画像はＨＭＤ１０７の不図示の表示部と表示装置１１０とに表示される（ステップＳ２０５）。
【００４３】
一方、使用状態判定部１１３が「ＨＭＤ１０７は使用されていない」と判定した場合、本システムは、表示装置１１０に表示する画像を切り替える必要がある（表示装置１１０に表示される画像はＨＭＤ１０７の不図示の表示部にも表示されるので、結果としてＨＭＤ１０７の不図示の表示部に表示される画像も切り替わることになる）。これは例えば、観察者がＨＭＤ１０７を頭部からはずして所定の場所に置いた場合（即ちＨＭＤ１０７を使用しなくなった場合）、表示装置１１０の表示画面上には床の画像や、仮想空間として設定された空間外の画像（すなわち複合現実空間を体感するための空間外の画像）等、複合現実空間を体感するための画像以外が表示装置１１０にも出力されてしまう。よって本実施形態ではＨＭＤ１０７が使用されていないと判断された場合には、他の画像（代替画像）を表示する。即ち表示する画像を複合現実空間画像から代替画像に切り替える。
【００４４】
この代替画像としては、例えばＨＭＤ１０７を使用していたときに過去に生成した複合現実空間画像であっても良いし、展示物の紹介画像やロゴマークの画像、次の観察者に対する文章画像であっても良い。例えば代替画像として、ＨＭＤ１０７を使用していたときに過去に生成した複合現実空間画像を用いる場合、コンピュータ１８０は生成した複合現実空間画像を任意の期間だけＨＤＤ１５２に保存しておき、それを代替画像（この場合動画像）として表示装置１１０の表示画面上に再生する。
【００４５】
ＨＤＤ１５２には代替画像データ１２３が保存されており、代替画像データ１２３が代替画像そのものを表している場合には仮想空間画像生成部１１１はこの代替画像データ１２３を画像メモリ１２０上に出力する処理を行う（ステップＳ２０６）。また、代替画像を代替画像データ１２３に基づいて生成する様な場合（例えば代替画像データ１２３が３次元画像の幾何学形状やテクスチャなどのデータである場合）、これに基づいて代替画像を生成し、画像メモリ１２０上に記録する（ステップＳ２０６）。
【００４６】
そして画像メモリ１２０上に記録された代替画像はＣＰＵ１０１がＩ／Ｆ１５０、分配器１０９を介してＨＭＤ１０７、表示装置１１０とに出力する。その結果、代替画像はＨＭＤ１０７の不図示の表示部と表示装置１１０とに表示される（ステップＳ２０５）。
【００４７】
以上の処理は、処理を終える指示がコンピュータ１８０に入力されるまで行われる（ステップＳ２０８）。
【００４８】
図３は、ステップＳ２０２において、使用状態判定部１１３がＨＭＤ１０７の使用の有無を判定する処理の詳細を示すフローチャートである。ＨＭＤ１０７が使用されていないとき、本実施形態ではＨＭＤ１０７を所定の位置に置くものとする。そして更に、本実施形態ではＨＭＤ１０７を所定の位置に置くと、その位置、姿勢はある範囲でほぼ同じになるものとする（例えばＨＭＤ１０７を所定の位置に固定されているフックに何度引っかけても、ＨＭＤ１０７の位置、姿勢は毎回ほぼ同じとなる）。
【００４９】
よってこの場合、ＨＭＤ１０７を置く位置、姿勢には予め許容範囲を設けておき、この許容範囲を示すデータを未使用時視点位置姿勢データ１２５としてＨＤＤ１５２に保存させておく。そして必要に応じて第２のメモリ１０４の空きエリアにロードし、使用状態判定部１１３はこの未使用時視点位置姿勢データ１２５を用いて、視点位置姿勢検出部１１２が検出した視点位置、姿勢（センサ本体１０５から出力された信号に基づいた位置姿勢でも良い）が、この許容範囲内にあるか否かを判断する。
【００５０】
これにより、使用状態判定部１１３はＨＭＤ１０７が使用されているか否かを、ＨＭＤ１０７が所定の位置、姿勢にあるかを判定することで判定することができる。
【００５１】
よって使用状態判定部１１３は、視点位置姿勢検出部１１２が求め、視点位置姿勢データメモリ１２１に記録した位置姿勢データ（（ｘ、ｙ、ｚ）のデータ、（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）のデータ）を参照し、ｘがｘ１＜ｘ＜ｘ２であるか（ステップＳ３０１）、ｙがｙ１＜ｙ＜ｙ２であるか（ステップＳ３０２）、ｚがｚ１＜ｚ＜ｚ２であるか（ステップＳ３０３）、ｒｏｌｌがｒｏｌｌ１＜ｒｏｌｌ＜ｒｏｌｌ２であるか（ステップＳ３０４）、ｐｉｔｃｈがｐｉｔｃｈ１＜ｐｉｔｃｈ＜ｐｉｔｃｈ２であるか（ステップＳ３０５）、ｙａｗがｙａｗ１＜ｙａｗ＜ｙａｗ２であるか（ステップＳ３０６）を判定する（なお、ｘ１，ｙ１，ｚ１，ｒｏｌｌ１、ｐｉｔｃｈ１，ｙａｗ１は夫々、許容範囲の下限、ｘ２，ｙ２，ｚ２，ｒｏｌｌ２、ｐｉｔｃｈ２，ｙａｗ２は夫々、許容範囲の上限を示しており、この上限、下限を示すデータが上記未使用時視点位置姿勢データ１２５である）。
【００５２】
以上の各ステップにおける判定の結果、全てｙｅｓである、すなわち、ＨＭＤ１０７の位置、姿勢が共に「ＨＭＤ１０７が使用されていないときの位置、姿勢の許容範囲内」である場合、使用状態判定部１１３は「ＨＭＤ１０７は使用されていない」と判定し（ステップＳ３０７）、以上の各ステップにおける判定の結果のうち１つでもＮｏである場合、使用状態判定部１１３は「ＨＭＤ１０７は使用されている」と判定する（ステップＳ３０８）。
【００５３】
以上の処理によって、表示装置１１０にはＨＭＤ１０７が使用されている場合にはＨＭＤ１０７に出力されている複合現実空間画像を、ＨＭＤ１０７が使用されていない場合には上記代替画像を表示することができるので、例えばＨＭＤ１０７を介して見える複合現実空間画像を表示装置１１０を用いて一般に展示する場合、その展示効果が従来のように薄れてしまうことは無くなる。
【００５４】
なお、本実施形態ではＨＭＤ１０７の使用の有無を、ＨＭＤ１０７の位置姿勢が未使用時の位置姿勢の許容囲内であるか否かを判断することで行っていたが、これは他の方法によっても実現可能である。たとえば、ＨＭＤ１０７に電源スイッチを取り付け、このスイッチがオンの時が使用時、ＯＦＦの時が未使用時であると判断しても良い。
【００５５】
また、ＨＭＤ１０７を置く場所にスイッチを設け、ＨＭＤ１０７をこの場所に置いたときにスイッチがオンになるようにしても良い。その場合の判定方法は上述の通りである。
【００５６】
また、本実施形態によるＨＭＤ１０７の使用の有無の判定方法に加えて、視点位置姿勢検出部１１２が求めるＨＭＤ１０７の位置姿勢の変化を求め、ＨＭＤ１０７の位置姿勢が未使用時の位置姿勢の許容囲内であって且つ求めた変化の値が一定値以下である場合にＨＭＤ１０７が未使用であると判定しても良い。
【００５７】
また本実施形態ではコンピュータ１８０が生成した画像をＨＭＤ１０７と表示装置１１０に出力するために分配器１０９を用いたが、夫々の装置に直接画像を出力しても良い。
【００５８】
図４（ａ）はＨＭＤ１０７の使用時における様子、図４（ｂ）はＨＭＤ１０７の未使用時における様子を示す模式図である。なお夫々の図においてコンピュータ１８０は省略している。
【００５９】
図４（ａ）において４０１は現実物体としてのテーブルで、頭部にＨＭＤ１０７を装着した観察者４００はこのテーブル４０１を見ているとする。その場合、表示装置１１０の表示画面上には「ＨＭＤ１０７の位置姿勢に応じた仮想物体の画像（仮想空間画像）４０２」と「ＨＭＤ１０７の位置姿勢に応じた現実空間画像としてのテーブル４０１の画像４０３」が重畳された複合現実空間画像が表示されている。また同図において４０４はＨＭＤ１０７を使用しない場合にＨＭＤ１０７を掛けるためのハンガーである。
【００６０】
そして図４（ｂ）は上述の通りＨＭＤ１０７が使用されていない場合の様子を示しているのであるが、ＨＭＤ１０７がハンガー４０４に掛けられると、上述の処理により表示装置１１０の表示画面には代替画像が表示される。同図では代替画像は、「ＭＲ」という文字のロゴマークの画像４０５と次にＨＭＤ１０７を装着する観察者のためのメッセージ画像４０６とが並べられた画像である。
【００６１】
なお、同図の場合、ＨＭＤ１０７が未使用であるとは、例えば、ＨＭＤの位置（ｘ，ｙ，ｚ）がハンガー４０４の位置の近傍であり、かつ、ＨＭＤ１０７の姿勢（ｒｏｌｌ、ｐｉｔｃｈ，ｙａｗ）がほぼ真下を向いているような姿勢である場合である。よってこのようなＨＭＤ１０７の位置姿勢の許容範囲を未使用時視点位置姿勢データ１２５としてＨＭＤ１０７に保存させておき、必要に応じて第２のメモリ１０４の空きエリアにロードさせ、用いればよい。また、このような未使用であると判定するための条件はＨＭＤの置き台の作り方に応じて定めればよい。
【００６２】
従来、ＨＭＤ１０７が未使用の場合に図４（ｂ）の用にＨＭＤ１０７をハンガー４０４にかけると、ＨＭＤ１０７の表示画面にはＨＭＤ１０７目前、すなわち地面の画像が表示され、同様に、表示装置１１０の表示画面上にも地面の画像が表示されるだけであった。しかし、同図のようにすれば、表示装置１１０の表示画面上にはロゴマークの画像と次にＨＭＤ１０７を装着する観察者のためのメッセージ画像とが表示されることになるので、地面を撮影した映像は表示されていない。
【００６３】
また本実施形態ではＨＭＤ１０７としてビデオシースルー方式のものを用いたが、これに限定されるものではなく、光学シースルー方式のものであっても良い。
【００６４】
［その他の実施形態］
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００６５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートや機能構成に対応するプログラムコードが格納されることになる。
【００６８】
【発明の効果】
以上の説明により、本発明によって、ＨＭＤが使用されているか否かに応じて、観衆用の表示装置に表示させる画像を切り替えることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るシステムの基本構成を示す図である。
【図２】本発明の実施形態に係るシステムが行う表示切り替え処理のフローチャートである。
【図３】ステップＳ２０２において、使用状態判定部１１３がＨＭＤ１０７の使用の有無を判定する処理の詳細を示すフローチャートである。
【図４】（ａ）はＨＭＤ１０７の使用時における様子、（ｂ）はＨＭＤ１０７の未使用時における様子を示す模式図である。

Claims

頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置が行う表示制御方法であって、
前記頭部装着型表示装置の位置姿勢を計測する計測工程と、
前記計測工程で得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え工程と
を備えることを特徴とする表示制御方法。
前記判断工程では、前記頭部装着型表示装置の位置姿勢が、前記頭部装着型表示装置が使用されていない場合の位置の許容範囲内、姿勢の許容範囲内であるか否かを判断し、共に許容範囲内である場合に、前記頭部装着型表示装置は使用されていないと判断することを特徴とする請求項１に記載の表示制御方法。
前記表示切り替え工程では、前記頭部装着型表示装置が使用されていないと判断された場合、従前に表示されていた画像を使用されていない旨を示す画像に切り替えて表示することを特徴とする請求項１に記載の表示制御方法。
頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置であって、
前記頭部装着型表示装置の位置姿勢を計測する計測手段と、
前記計測手段により得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断手段と、
前記判断手段の判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え手段と
を備えることを特徴とする表示制御装置。
コンピュータに請求項１乃至３の何れか１項に記載の表示制御方法を実行させることを特徴とするプログラム。
コンピュータを請求項４に記載の表示制御装置として機能させることを特徴とするプログラム。
請求項５又は６に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。