JP4930115B2 - 画像表示システム - Google Patents

Description

本発明は、観察者の頭部に装着され、外光を透過させつつ、少なくとも画像信号に応じた表示用光束をその観察者の網膜に投射する投射光学系を有し、外光による実像とその表示用光束による虚像とを同時に、その観察者に視認させる画像表示システムに関する。

従来より、観察者の頭部に装着されるヘッドマウント方式の頭部装着型画像表示装置（以下、「ＨＭＤ」と呼ぶ）が知られている。係るＨＭＤの中には、外光を透過させつつ、画像情報に応じた（画像情報を含む）表示用光束をその観察者の網膜に投射する投射光学系が設けられているものがある。

ＨＭＤを頭部に装着すれば、観察者は、外光による実像と、投射光学系を介して網膜に投射される表示用光束による虚像とを同時に視認することができるようになる。これにより、例えば、外光による実像に応じて、観察者にとって有用な情報（例えば、文字情報）を虚像として同時に表示させたり、外景の中にあたかも実物を見ているかのように虚像を浮かび上がらせ、実像と虚像とが合成された仮想的な光景を眼前に作り出したりすることができる。このため、ＨＭＤは、様々な利便性や付加価値を提供する装置として注目されている。

ＨＭＤにおいて、観察者に対し、実物をみているかのように虚像を呈示するためには、観察者の視野内の外景の移動に合わせてその虚像が動くようにする必要がある。そこで、従来より、観察者の頭の動きやその視線を検出し、それらの動きに応じて、虚像の呈示位置を調整するＨＭＤが提案されている（例えば、特許文献１、２参照）。
特開平８−２８６１４１号公報 特開平９−２１１３７６号公報

しかしながら、特許文献１、２に記載のＨＭＤでは、観察者が見ている方向を検出するための各種センサや、観察者の視線情報を検出するための検出光を発生させるための光源や各種光学系が新たに必要となり、これらの新たな構成要素は、ＨＭＤの大型化、重量化の原因となる。ＨＭＤは、観察者の頭部に装着されるものであるから、より実用的なものとするためには、その小型化、軽量化が必須である。

本発明は、上記課題を解決するためになされたもので、ＨＭＤを大型化、重量化することなく、観察者の頭の動きに応じて、虚像の呈示位置を調整することができる画像表示システムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像表示システムは、観察者の頭部に装着され、外光を透過させつつ少なくとも画像信号に応じた表示用光束を前記観察者の網膜に投射するとともに、前記表示用光束の一部を外部に射出する投射光学系を有し、前記外光による実像と前記表示用光束による虚像とを同時に、前記観察者に視認させる頭部装着型画像表示装置と、前記頭部装着型画像表示装置の外部にて、前記頭部装着型画像表示装置から射出された前記表示用光束を受光可能に配置された受光装置と、前記受光装置による前記表示用光束の受光結果に基づいて、前記頭部装着型画像表示装置の位置及び向きを検出する検出装置と、前記検出された前記頭部装着部の位置及び向きに応じて前記虚像の呈示位置を決定する虚像位置決定装置と、を備える画像表示システムである。

また、請求項２に記載の画像表示システムでは、請求項１に記載の画像表示システムにおいて、前記投射光学系には、少なくとも前記表示用光束の一部を、透過光束と反射光束とに分離し、前記透過光束を外部に射出するハーフミラーが設けられていることを特徴とする。

また、請求項３に記載の画像表示システムでは、請求項１に記載の画像表示システムにおいて、前記投射光学系には、前記表示用光束が入射する領域のうち、一部の領域に設けられ、前記一部の領域に入射される前記表示用光束の少なくとも一部を反射して、前記観察者の網膜に導く反射光学系と、前記表示用光束の一部を、ほぼ全て透過させ外部に射出するために、前記表示用光束が入射する領域のうち、前記反射光学系の周辺の少なくとも一部の領域に設けられた透過部とを含む複合光学系が設けられており、前記受光装置は、前記透過部を経由した表示用光束を受光可能に配置されていることを特徴とする。

また、請求項４に記載の画像表示システムでは、請求項３に記載の画像表示システムにおいて、前記表示用光束が前記反射光学系に入射中は、前記表示用光束として、前記画像信号に応じた虚像表示用の第１の光束を生成し、前記表示用光束が前記透過部に入射中は、前記表示用光束として、前記頭部装着型画像表示装置の位置検出用の第２の光束を生成することで、前記第１の光束と前記第２の光束とを時間的に交互に生成する光発生部をさらに備えることを特徴とする。

また、請求項５に記載の画像表示システムでは、請求項１〜４のいずれか一項に記載の画像表示システムにおいて、前記頭部装着型画像表示装置は、前記表示用光束を、前記観察者の網膜上で２次元走査するための走査部をさらに有することを特徴とする。

また、請求項６に記載の画像表示システムでは、請求項５に記載の画像表示システムにおいて、前記検出装置は、前記表示用光束の２次元走査の同期に用いられる同期信号が発生してから前記受光装置において前記表示用光束が受光されるまでの時間に基づいて、前記頭部装着型画像表示装置の位置及び向きを検出することを特徴とする。

また、請求項７に記載の画像表示システムでは、請求項１〜６のいずれか一項に記載の画像表示システムにおいて、前記受光装置として、一直線上に配置されていない少なくとも３つの受光素子を備えることを特徴とする。

また、請求項８に記載の画像表示システムでは、請求項１〜７のいずれか一項に記載の画像表示システムにおいて、前記頭部装着型画像表示装置は、前記表示用光束を、前記観察者の眼前方向と略同一方向に射出することを特徴とする。

また、本発明に係るボードは、前記画像表示システムにおける前記受光装置を配置したボードであって、文字の記入、座標の入力、又は画像の表示の少なくとも１つが可能なフラットパネルを有することを特徴とするボードである。

請求項１に記載の画像表示システムによれば、観察者の頭部に装着される頭部装着型画像表示装置の投射光学系は、虚像を観察者に視認させるために発せられる表示用光束の一部を外部に射出する。そして、その外部に射出された表示用光束の一部を、頭部装着型画像表示装置の外部に配置された受光装置により受光する。さらに、検出装置が、その表示用光束の受光結果に基づいて、頭部装着型画像表示装置の位置及び向きを検出する。その後、虚像位置決定装置が、検出された頭部装着型画像表示装置の位置及び向きに応じて虚像の呈示位置を決定する。

すなわち、この画像表示システムによれば、虚像の表示に用いられる表示用光束を用いて、観察者の頭部の位置及び向きを検出するので、頭部装着型画像表示装置の中に、その位置及び向きを検出するためのセンサや、表示用光束とは異なる位置検出用光束を発生させるための光源や、その位置検出用光束を外部に射出するための特別な光学系を設ける必要がなくなる。この結果、頭部装着型画像表示装置を大型化、重量化することなく、観察者の頭の動きに応じた虚像の呈示位置の調整が可能となる。

また、請求項２に記載の画像表示システムによれば、ハーフミラーという簡単な構成で、観察者の網膜に導かれる表示用光束の一部を外部に射出するので、頭部装着型画像表示装置の大型化、重量化を防ぐことができる。

また、請求項３に記載の画像表示システムによれば、透過部が、表示用光束の一部を、その光束をほぼ全て透過させて外部に射出するので、その光学系を経由する表示用光束の強度が著しく弱まるのを防ぐことができる。この結果、受光装置で受光される表示用光束の強度を高めることができるので、頭部装着型画像表示装置の位置及び向きの検出精度を高めることができるようになる。

また、請求項４に記載の画像表示システムによれば、表示用光束として、画像信号に応じた虚像表示用の第１の光束と、位置検出用の第２の光束とが、交互に生成される。そして、第１の光束は、反射光学系で反射して、観察者の網膜に導かれ、第２の光束は、透過部を経由して外部に射出される。このようにすれば、受光装置で受光される表示用光束の強度を高めることができるので、頭部装着型画像表示装置の位置及び向きの検出精度を高めることができるようになる。

また、請求項５に記載の画像表示システムによれば、表示用光束が、観察者の網膜上で２次元走査されるので、画像情報に応じた表示用光束に基づいて、観察者に虚像を視認させることができる。

また、請求項６に記載の画像表示システムによれば、検出装置は、表示用光束の走査の同期に用いられる同期信号が発生してから受光装置において表示用光束が受光されるまでの時間に基づいて、頭部装着型画像表示装置の位置及び向きを検出する。２次元走査中、表示用光束の光路は、絶えず変化し、走査線に対応する軌跡を描くようになり、頭部装着型画像表示装置に対する表示用光束の相対的な射出方向は、その２次元走査の同期に用いられる同期信号からの時間によって一義的に定まる。したがって、その同期信号が発生してから受光装置によって表示用光束が受光されるまでの時間を計測すれば、頭部装着型画像表示装置の位置及び向きを逆算することが可能となる。

また、請求項７に記載の画像表示システムによれば、受光装置として、少なくとも３つの受光素子を備えており、これら受光素子は、一直線上には配置されていない。このようにすれば、各受光素子における表示用光束の受光結果に基づいて、頭部装着型画像表示装置の位置及び向きを正確に検出することができるようになる。

また、請求項８に記載の画像表示システムによれば、表示用光束を観察者の眼前方向と略同一方向に射出する。このようにすれば、受光装置を、観察者の眼の前に配置することができるようになる。

また、前記ボードによれば、本発明の画像表示システムを構成する受光装置と、観察者が実像として観察する文字、座標、あるいは画像が表示されたフラットパネルとを一体に構成することができるようになる。このため、画像表示システム全体をコンパクトに設計することができる。

以下、本発明の実施の形態について、図面に基づいて詳細に説明する。

図１には、本発明の一実施形態に係る画像表示システムを構成する頭部装着型画像表示装置（以下、「ＨＭＤ」とする）の概略構成が示されている。図１では、片眼用（左眼ＬＥ用）のＨＭＤ５０が、観察者Ｐの頭部に装着されており、観察者Ｐの頭部は＋Ｙ方向を向いた状態となっている。ＨＭＤ５０の構成については、観察者Ｐの頭部が、＋Ｙ方向を向いているものとして説明する。しかしながら、実際には、観察者Ｐは自由に動くことが可能であり、その頭部の位置及び向きは、刻々変化するようになる。

ＨＭＤ５０は、図１では図示されていないが、眼鏡あるいはヘッドフォンのような形式で、観察者Ｐの頭部に、固定されている。したがって、ＨＭＤ５０の位置及び向きは、そのまま観察者Ｐの頭部の位置及び向きに従って動くようになる。

ＨＭＤ５０は、投射光学系５２と、表示用光束射出部５４とを備えている。投射光学系５２は、観察者Ｐの左眼ＬＥの前方（すなわち＋Ｙ側）に設けられており、外部からの光（外光）をそのまま透過させるようになっている。表示用光束射出部５４は、表示用光束ＩＬを、投射光学系５２に対して射出する。この表示用光束ＩＬは、観察者Ｐによって視認される虚像に対応する画像信号に応じた光束であり、指向性のある光束である。

投射光学系５２は、表示用光束ＩＬを、観察者Ｐの左眼ＬＥに導くとともに、その一部を、外部に射出するように構成されている。図１では、その外部からの光が、実線矢印で示されており、投射光学系５２からの表示用光束ＩＬが破線矢印で示されている。

以上のような構成を有するＨＭＤ５０は、外光による実像と、表示用光束ＩＬによる虚像とを、同時に観察者Ｐに視認させる装置となっている。

図２には、投射光学系５２の一部の構成を示す模式図が示されている。図２では、投射光学系５２を＋Ｚ側から見ている。図２に示されるように、投射光学系５２内には、ハーフミラー５６とミラー５８とが設けられている。なお、ミラー５８が観察者Ｐの視界を遮っていまい観察者が十分な視野を確保できない場合には、ミラー５８をハーフミラーとするようにしてもよいが、本実施形態では、外部に射出される位置検出用の光のパワーを考慮して、ミラー５８を採用する構成とする。

ハーフミラー５６は、表示用光束射出部５４から＋Ｘ方向に射出された表示用光束ＩＬを、そのまま＋Ｘ方向に透過する透過光束と、−Ｙ方向に反射する反射光束とに分離する。分離された光束のうち、反射光束は、観察者Ｐの左眼ＬＥに導かれるが、＋Ｘ方向に透過した透過光束は、外部に射出される光束としてミラー５８に入射する。ミラー５８は、この透過光束を、＋Ｙ方向に反射する。これにより、この光束は、ＨＭＤ５０の外部（＋Ｙ方向に）へ射出されるようになる。すなわち、本実施形態では、ＨＭＤ５０の投射光学系５２は、表示用光束ＩＬの一部を外部に射出しており、その射出方向は、観察者Ｐの眼前方向と略同一方向となっている。

図１に戻り、コントローラ６０は、表示用光束ＩＬの光源や、本実施形態に係る画像表示システム全体を統括制御する制御部（いずれも不図示）を備えている。ＨＭＤ５０とコントローラ６０との間はケーブルＬを介して接続されている。このケーブルＬには、光ファイバや、ＨＭＤ５０と、コントローラ６０との間のデータ通信を行うための各種信号線などが組み込まれている。表示用光束ＩＬは、コントローラ６０内部で生成され、ケーブルＬ内の光ファイバを介して、ＨＭＤ５０に送られている。

図３には、図１、図２に示されるＨＭＤ５０を備える画像表示システム１００全体の内部構成が模式的に示されている。

図３に示されるように、本実施形態に係る画像表示システム１００は、図１に示されるＨＭＤ５０及びコントローラ６０に加え、位置検出装置７０をさらに備えている。位置検出装置７０は、観察者Ｐの近傍で、例えば観察者Ｐが居る室内のいずれかの場所に取り付けられている。ＨＭＤ５０は、観察者Ｐの動きに応じて室内を移動するのに対し、位置検出装置７０の位置は、観察者Ｐの動きに関らず固定となっている。位置検出装置７０は、上述したように、ＨＭＤ５０から射出された表示用光束ＩＬを受光し、その受光結果に基づいて、例えば、室内におけるＨＭＤ５０の位置及び向きを検出する。

コントローラ６０の内部構成について説明する。コントローラ６０は、虚像位置決定装置としての主制御装置２０と、映像信号供給回路６２と、光発生部６４と、送受信回路６６とを備えている。

主制御装置２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３とを備えるコンピュータである。主制御装置２０の機能は、このＣＰＵ２１が、ＲＯＭ２２などに格納された制御プログラムを実行することにより実現され、この制御プログラムが実行されることにより、この画像表示システム１００全体が統括制御される。

主制御装置２０は、映像信号供給回路６２を制御可能である。主制御装置２０は、後述するように、位置検出装置７０で検出された、ＨＭＤ５０の位置及び向きに基づいて、映像信号供給回路６２によって供給される映像信号を補正することにより、観察者Ｐによって視認させる虚像の呈示位置を調整する。

この映像信号は、観察者に視認させる、虚像のカラー原画信号である。映像信号供給回路６２は、外部装置から入力された映像信号を、赤色の画像信号としての映像信号Ｒと、緑色の画像信号としての映像信号Ｇと、青色の画像信号として映像信号Ｂとに分割して、光発生部６４に出力する。また、映像信号供給回路６２は、これとともに、表示用光束ＩＬの垂直方向の走査のタイミング制御に用いられる垂直同期信号ＶＤと、表示用光束ＩＬの水平方向の走査のタイミング制御に用いられる水平同期信号ＨＤと、虚像の奥行きを指定するための奥行信号とを、ＨＭＤ５０を構成する後述する走査部８２に出力している。なお、表示用光束ＩＬの２次元走査では、その走査線の方向を水平方向とし、走査線が並んでいる方向を垂直方向としている。また、垂直同期信号ＶＤ及び水平同期信号ＨＤは、送受信回路６６にも出力されている。

光発生部６４は、赤、緑、青の各色のレーザ光源と、その駆動回路（いずれも不図示）を有している。光発生部６４は、映像信号Ｒに基づく赤色のレーザ光と、映像信号Ｇに基づく緑色のレーザ光と、映像信号Ｂに基づく青色のレーザ光を発生させ、それらのレーザ光を合成した光を、表示用光束ＩＬとして、ケーブルＬの光ファイバを経由してＨＭＤ５０を構成する走査部８２に送る。

ＨＭＤ５０は、前述した、ハーフミラー５６、ミラー５８のほか、走査部８２と、ミラー８４と、集光レンズ８６とを備えている。

走査部８２は、入射した表示用光束ＩＬを２次元走査する。より具体的には、走査部８２は、ポリゴンミラーや、ガルバノミラー（いずれも不図示）を備えており、それらのミラーを、垂直同期信号ＶＤ及び水平同期信号ＨＤに従ってそれぞれ振動させることにより、表示用光束ＩＬを、２次元走査する。この２次元走査により、表示用光束ＩＬは、観察者Ｐの網膜Ｆ上で、２次元走査されるようになる。

さらに、走査部８２は、入力された奥行信号に基づいて、表示用光束ＩＬの波面（等位相面）の曲率を変調する波面変調部（不図示）を備えている。この波面変調部により、表示用光束ＩＬの波面の曲率を変調することにより、虚像の呈示位置と観察者の左眼の位置との間の距離（すなわち、虚像までの距離感）を調整することができるようになっている。なお、波面曲率変調方法の詳細については、例えば特開２００３−２９５１０８号公報等に開示されているので、これ以上の詳細な説明を省略する。

２次元走査された表示用光束ＩＬは、ミラー８４で反射され、集光レンズ８６によって屈折した後、投射光学系５２のハーフミラー５６に入射するようになっている。そして、前述したように、ハーフミラー５６で反射した表示用光束ＩＬは、観察者Ｐの左眼ＬＥの網膜Ｆに達し、この２次元走査により、その網膜Ｆ上に虚像が結像するようになる。一方、ハーフミラー５６を透過した表示用光束ＩＬは、ミラー５８で反射し、＋Ｙ方向に射出される。

位置検出装置７０は、送受信回路７２と、遅れ補償装置７４と、パネルＰＡと、検出装置としての座標演算装置７６とを備えている。

送受信回路７２は、コントローラ６０側の送受信回路６６との間で、無線通信を行う無線インターフェイスである。具体的には、送受信回路７２から送受信回路６６に対して、後述するように座標演算装置７６で算出されたＨＭＤ５０の位置及び向きに関する情報が送られ、送受信回路６６から送受信回路７２に対して、垂直同期信号ＶＤ、水平同期信号ＨＤが送られる。

遅れ補償装置７４は、上記無線送信などによって遅延した垂直同期信号ＶＤ、水平同期信号ＨＤの遅れを補償する。なお、受信した垂直同期信号ＶＤ、水平同期信号ＨＤの遅れが無視できる程度である場合には、この遅れ補償装置７４は、なくてもよい。

パネルＰＡは、２次元平面を有する平板である。パネルＰＡの平面は、概ねＨＭＤ５０の方を向いている。パネルＰＡの２次元平面には、受光装置としての３つの受光素子Ｐ１〜Ｐ３が、その受光面がＨＭＤ５０の方向を向いた状態で、組み込まれている。すなわち、受光素子Ｐ１〜Ｐ３は、ＨＭＤ５０から射出された表示用光束ＩＬを受光可能に配置されている。

この受光素子Ｐ１〜Ｐ３は、２次元平面内（パネルＰＡの平面内）で、一直線上に並ばないように配置されている。受光素子Ｐ１〜Ｐ３としては、例えばフォトダイオードを用いることができる。受光素子Ｐ１〜Ｐ３は、ＨＭＤ５０から射出された表示用光束ＩＬを受光すると同時に、座標演算装置７６に、その受光パルス信号を出力する。

本実施形態では、このパネルＰＡ上に、ＨＭＤ５０から射出された表示用光束ＩＬが入射する。その入射領域は、例えば、ＨＭＤ５０とパネルＰＡとの距離が５０ｃｍ程度であるとすると、例えばＢ４ノート程度の大きさ（１ｍ程度だとその４倍の大きさ）となる。

座標演算装置７６は、ＣＰＵやメモリ等からなる演算装置である。受光素子Ｐ１〜Ｐ３からの受光パルス信号と、送受信回路７２及び遅れ補償装置７４を介して入力される、垂直同期信号ＶＤに基づいて、ＨＭＤ５０の位置及び向きを、後述する数値演算により算出する。座標演算装置７６は、時間を測定可能なカウンタを備えており、このカウンタは、ＣＰＵによりリセット可能となっている。

ここで、座標演算装置７６における、ＨＭＤ５０の位置及び向きの演算方法について説明する。

図４（Ａ）には、ＨＭＤ５０から射出された表示用光束ＩＬが、パネルＰＡ上に入射している様子が示され、図４（Ｂ）には、そのときの垂直同期信号ＶＤ、水平同期信号ＨＤ、受光素子Ｐ１〜Ｐ３の出力のタイミングチャートの一例が示されている。図４（Ｂ）には、パネルＰＡ上における表示用光束ＩＬの入射位置の軌跡が、実線矢印で示されており、この軌跡によって形成される２次元走査面Ｓが破線で示されている。

図４（Ａ）に示されるように、受光素子Ｐ１は、上から３本目の走査線に相当する軌跡上にあるため、３本目の走査線の走査中に、受光素子Ｐ１から受光パルス信号が出力されるようになる。ここで、図４（Ｂ）に示されるように、直近の水平同期信号ＨＤが入力されてから、受光素子Ｐ１より受光パルス信号が出力されるまでの時間をｔ１’とする。

また、図４（Ａ）に示されるように、受光素子Ｐ２は、上から６本目の走査線に相当する軌跡上にあるため、６本目の走査線の走査中に、受光素子Ｐ２から受光パルス信号が出力されるようになる。ここで、図４（Ｂ）に示されるように、直近の水平同期信号ＨＤが入力されてから、受光素子Ｐ２より受光パルス信号が出力されるまでの時間をｔ２’とする。

さらに、図４（Ａ）に示されるように、受光素子Ｐ３は、上から１１本目の走査線に相当する軌跡上にあるため、１１本目の走査線の走査中に、受光素子Ｐ３から受光パルス信号が出力されるようになる。ここで、図４（Ｂ）に示されるように、直近の水平同期信号ＨＤが入力されてから、受光素子Ｐ３より受光パルス信号が出力されるまでの時間をｔ３’とする。

なお、図４（Ａ）では、図面の錯綜を防止すべく、走査線の本数を１８本程度としたが、実際には、より多数の走査線が存在する。

また、図５には、ＨＭＤ５０の位置とパネルＰＡとの関係が示されている。図５に示されるように、ＨＭＤ５０の位置及び向きについては、ＨＭＤ５０から見た、受光素子Ｐ１〜Ｐ３の方向を示す単位ベクトルｎ₁，ｎ₂、ｎ₃と、ＨＭＤ５０と受光素子Ｐ１〜Ｐ３との距離とで表すことができる。ＨＭＤ５０から見た、受光素子Ｐ１〜Ｐ３の方向を示す単位ベクトルｎ₁、ｎ₂、ｎ₃と、ＨＭＤ５０と受光素子Ｐ１〜Ｐ３との距離ｌ₁、ｌ₂、ｌ₃とは、以下の関係式で表すことができる。

Ａ^２＝ｌ_２ ^２＋ｌ_３ ^２−２ｌ_２ｌ_３（ｎ₂・ｎ₃） … （１）
Ｂ^２＝ｌ_３ ^２＋ｌ_１ ^２−２ｌ_３ｌ_１（ｎ₃・ｎ₁） … （２）
Ｃ^２＝ｌ_１ ^２＋ｌ_２ ^２−２ｌ_１ｌ_２（ｎ₁・ｎ₂） … （３）
ここで、Ａは、受光素子Ｐ２〜受光素子Ｐ３の距離であり、Ｂは、受光素子Ｐ３〜受光素子Ｐ１の距離であり、Ｃは、受光素子Ｐ１〜受光素子Ｐ２の距離である。Ａ、Ｂ、Ｃは、パネルＰＡ上の受光素子Ｐ１〜Ｐ３の配置状態で決まる設計値である。

また、図４（Ａ）、図４（Ｂ）、図５から総合すると明らかなように、単位ベクトルｎ₁、ｎ₂、ｎ₃は、受光素子Ｐ１、Ｐ２、Ｐ３上を通過する走査線と、時間ｔ１’、ｔ２’、ｔ３’に基づいて一意に求まる。単位ベクトルｎ₁、ｎ₂、ｎ₃が求まると、上記式（１）〜（３）内において、未知の値は、距離ｌ₁、ｌ₂、ｌ₃のみとなる。したがって、設計上の値、Ａ、Ｂ、Ｃと、単位ベクトルｎ₁、ｎ₂、ｎ₃とを、上記の式（１）〜（３）に代入すれば、距離ｌ₁、ｌ₂、ｌ₃が得られるようになる。座標演算装置７６では、以上の演算を行って、ＨＭＤ５０とパネルＰＡとの相対位置関係、すなわちＨＭＤ５０の位置情報を算出する。

次に、本実施形態に係る画像表示システム１００の動作について説明する。

図６には、主制御装置２０によって実行される処理と、座標演算装置７６によって実行される処理とを示すフローチャートが示されている。図６では、左側に、主制御装置２０によって実行される処理のフローチャートが示されており、右側に、座標演算装置７６によって実行される処理のフローチャートが示されている。なお、フローチャート間の点線矢印は、送受信回路６６、７２を介して行われる、主制御装置２０と、座標演算装置７６との間で行われるデータ送受信の流れを示している。

図６に示されるように、まず、ステップ２０１において、主制御装置２０は、虚像を表示するための指令が、入力されるまで待つ。なお、外部装置から映像信号等が入力された場合に、その映像信号等の入力を、該指令の入力とみなして、ここでの判断を肯定するようにしてもよい。この指令が入力されると、主制御装置２０は、ステップ２０３に進む。ステップ２０３において、主制御装置２０は、表示すべき映像信号（原画信号）を読み込んで生成するように、映像信号供給回路６２に指示する。続くステップ２０５では、主制御装置２０は、同期信号ＶＤ、ＨＤの出力を開始するように映像信号供給回路６２に指示する。これにより、同期信号ＶＤ、ＨＤは、送受信回路６６、７２、遅れ補償装置７４を介して、座標演算装置７６に送られる。その後、主制御装置２０は、ステップ２０７において、位置検出装置７０から位置情報を受信するまで待つ。

一方、座標演算装置７６は、まず、ステップ３０１において、受光数ｎを０に設定する。この受光数ｎは、受光素子Ｐ１〜Ｐ３から受光パルスが入力される度に１だけインクリメントされるようになる。受光数ｎは、すべての受光素子で表示用光束ＩＬを受光したか否かを判断するための変数である。次のステップ３０２では、水平同期信号ＨＤの入力パルス数ｍを０に設定する。この入力パルス数ｍは、これまでに入力された水平同期信号ＨＤの入力パルスをカウントするための変数である。

そして、次のステップ３０３では、座標演算装置７６は、垂直同期信号ＶＤの入力待ちとなっている。垂直同期信号ＶＤが入力され、その立ち上がりエッジを検出すると、座標演算装置７６は、ステップ３０４に進む。

次のステップ３０４では、座標演算装置７６は、１フレームが完了したか否かを判断する。この判断は、例えば、水平同期信号ＨＤのパルス数ｍが所定数に達したことなどで判断することができる。この判断が肯定されれば、座標演算装置７６は、ステップ３２１に進み、否定されればステップ３０５に進む。ここで、１フレームが完了したということは、２次元走査期間中に、受光素子Ｐ１〜Ｐ３のいずれかでは、表示用光束ＩＬを受光できないことが確実となったことを意味している。ここでは、垂直同期信号ＶＤの立ち上がりが検出された直後であり、２次元走査開始時点であるので、判断は肯定され、ステップ３０５に進むものとする。

ステップ３０５では、座標演算装置７６は、水平同期信号ＨＤを受信したか否かを判断する。この判断が肯定された場合にのみ、ステップ３０７、３０８を行う。

水平同期信号ＨＤが入力され、ステップ３０５における判断が肯定されると、ステップ３０７に進む。ステップ３０７では、座標演算装置７６は、カウンタをリセットし、０からカウントを開始する。このカウンタは、図４（Ｂ）の時間ｔ１’、ｔ２’、ｔ３’を測定（数値化）するためのタイマカウンタである。すなわち、本実施形態では、水平同期信号ＨＤが入力される度に、カウンタ値がリセットされ、その走査線でのカウントが開始される。なお、前記カウンタは、水平同期信号より遙かに高速なクロックをカウントするものであり、水平同期信号を整数倍逓倍したようなクロックをカウントするものであるのが望ましい。また、位置検出精度を上げるためには、クロックは高速であればあるほどよい。そして、ステップ３０８では、水平同期信号ＨＤのパルス数ｍを１だけインクリメントする。なお、ステップ３０７、３０８の順序は逆でも同時であってもよい。

ステップ３０９では、座標演算装置７６は、受光素子Ｐ１〜Ｐ３のいずれかで、表示用光束ＩＬが受光され、そこから受光パルス信号が出力されたか否かを判断する。座標演算装置７６は、この判断が肯定されればステップ３１１に進むが、否定されればステップ３０４に戻る。ここでは、判断が否定され、ステップ３０４に戻るものとして説明を続ける。

以降、ステップ３０４における判断が肯定されるか、ステップ３０５における判断が構肯定されるか、ステップ３０９における判断が肯定されるまで、座標演算装置７６は、ステップ３０４→３０５→３０９を繰り返す。

ステップ３０９で、受光素子Ｐ１〜Ｐ３のいずれかから、受光パルス信号を入力し、判断が肯定されると、ステップ３１１に進み、座標演算装置７６は、そのときのパルス数ｍと、カウンタ値を取得する。ここで、受光素子Ｐ１から受光パルス信号を入力したとすると、そのときに取得されるカウンタ値は、時間ｔ１’に相当するカウンタ値となる。また、このときに取得されたパルス数ｍをｍ１とする。このｔ１’に相当するカウンタ値及びパルス数ｍ１は、受光素子Ｐ１に対応するものと識別可能に座標演算装置７６のメモリに格納される。

次のステップ３１３では、座標演算装置７６は、受光数ｎを１だけインクリメントする。これにより、受光数ｎは、１となる。そして、次のステップ３１５では、座標演算装置７６は、受光数ｎが３以上となったか否かを判断する。ここでは、ｎ＝１であるので、判断は否定され、ステップ３０４に戻る。

以降、座標演算装置７６は、次の受光素子から受光パルス信号が入力されるまで、又は、受光素子のいずれかで表示用光束ＩＬが受光されなかったと判断されるまで、ステップ３０４→３０５（→３０７→３０８）→３０９を繰り返す。そして、座標演算装置７６は、いずれかの受光素子から受光パルス信号が入力され、ステップ３０９において判断が肯定されると、ステップ３１１〜３１５を実行する。ここで、受光素子Ｐ２から受光パルス信号を入力したとすると、ステップ３１１において読み込まれるカウンタ値は、時間ｔ２’に相当するカウンタ値となる。また、このときに取得されたパルス数ｍをｍ２とする。このｔ２’に相当するカウンタ値及びパルス数ｍ２は、受光素子Ｐ２に対応するものと識別可能に座標演算装置７６のメモリに格納される。さらに、ステップ３１３で、ｎ＝２（ｎ←ｎ＋１）となるので、続くステップ３１５における判断は否定され、再び、座標演算装置７６は、ステップ３０４に戻るようになる。

以降、次の受光素子から受光パルス信号が入力されるまで、又は、受光素子のいずれかで表示用光束ＩＬが受光されなかったと判断されるまで、座標演算装置７６は、再びステップ３０４→３０５（→３０７→３０８）→３０９を繰り返す。そして、いずれかの受光素子から受光パルス信号が入力されると、座標演算装置７６は、ステップ３１１〜３１５を実行する。ここで、受光素子Ｐ３から受光パルス信号を入力したとすると、ステップ３１１において読み込まれるカウンタ値は、時間ｔ３’に相当するカウンタ値となる。また、このときに取得されたパルス数ｍをｍ３とする。このｔ３’に相当するカウンタ値及びパルス数ｍ３は、受光素子Ｐ３に対応するものと識別可能に座標演算装置７６のメモリに格納される。さらに、ステップ３１３で、ｎ＝３（ｎ←ｎ＋１）となるので、続くステップ３１５における判断は肯定される。

ステップ３１５で判断が肯定されると、座標演算装置７６は、ステップ３１７に進む。ステップ３１７では、座標演算装置７６は、上述の演算方法を用いて、ＨＭＤ５０の位置情報（単位ベクトルｎ₁、ｎ₂、ｎ₃と、距離ｌ₁、ｌ₂、ｌ₃）を算出する。より具体的には、座標演算装置７６は、ステップ３１３で取得され、座標演算装置７６のメモリに格納された、パルス数ｍ１に基づいて、受光素子Ｐ１から受光パルス信号が出力されたときの走査線を特定し、パルス数ｍ２に基づいて、受光素子Ｐ２から受光パルス信号が出力されたときの走査線を特定し、パルス数ｍ３に基づいて、受光素子Ｐ３から受光パルス信号が出力されたときの走査線を特定する。そして、特定された走査線と、ｔ１’、ｔ２’、ｔ３’に相当するカウント値とに基づいて、単位ベクトルｎ₁、ｎ₂、ｎ₃を求める。そして、座標演算装置７６は、上記式（１）〜（３）に単位ベクトルｎ₁、ｎ₂、ｎ₃を代入して、距離ｌ₁、ｌ₂、ｌ₃）を算出する。ステップ３１９では、その位置情報を、送受信回路７２、６６を介して、主制御装置２０に送信する。

一方、ステップ３０４で判断が肯定された場合、すなわち、３つの受光素子Ｐ１〜Ｐ３で表示用光束ＩＬを受光することができずに、１フレームが完了した場合には、座標演算装置７６は、ステップ３２１に進み、受光素子Ｐ１〜Ｐ３で、表示用光束ＩＬが受光せず位置情報が検出されなった旨を含む情報（不検出通知）を主制御装置２０に送信する。ステップ３１９、３２１終了後は、座標演算装置７６は、ステップ３０１に戻り、ステップ３０２、３０３を実行して、ステップ３０３において、垂直同期信号ＶＤの入力待ち状態となる。なお、座標演算装置７６のメモリに格納されたデータは、過去の複数フレームに渡って記憶されるように構成してもよい。そうすることで、ＨＭＤ５０の動きの情報も得られるようになる。

ところで、ステップ２０７において位置情報を受信するまで待っていた主制御装置２０は、この位置情報を受けて、ステップ２０９に進む。ステップ２０９では、主制御装置２０は、送信された内容に、位置情報が含まれているか否かを判断する。主制御装置２０は、この判断が肯定されれば、ステップ２１１に進み、否定されれば、ステップ２１５に進む。ステップ２１１では、主制御装置２０は、検出されたＨＭＤ５０の位置情報に基づいて映像信号を補正する（例えば、画像の書き出し位置のオフセットを変更する）。次のステップ２１３では、主制御装置２０は、補正された映像信号に基づいて画像を表示する。

例えば、元の映像信号における虚像が、図７（Ａ）に示されるような領域ＩＡ内に示されるべき画像であったとする。この元の映像信号では、その画像の中央部に、一本の木の虚像が表示されている。領域ＩＡ内の木は、実際には、観察者Ｐの眼前には、存在していない。また、領域ＩＡ外の木は、実際に観察者Ｐの眼前に広がる光景の一部である。この元の映像信号による虚像は、ＨＭＤ５０の向きが水平となった場合に、その方向の実像と合致するような像となっている。

ここで、図７（Ｂ）に示されるように、観察者Ｐの頭部の向きが、やや下向きになり、観察者Ｐの視野が下の方にずれ、ややＹ軸回りに回転したものとする。この場合、位置検出装置７０から、このときに検出された観察者Ｐの頭部の位置及び向き（単位ベクトルｎ₁、ｎ₂、ｎ₃、距離ｌ₁、ｌ₂、ｌ₃）が送られ、観察者Ｐの視野内の原画信号における木の位置が上側に補正される。

一方、ステップ２１５では、主制御装置２０は、画像の表示を停止する。例えば、図７（Ｃ）に示されるように、観察者Ｐの頭部が大幅に下向きとなり、ＨＭＤ５０の位置及び向き（単位ベクトルｎ₁、ｎ₂、ｎ₃、距離ｌ₁、ｌ₂、ｌ₃）を検出することができなかったものとする。この場合には、ステップ２１５で木を表示すべき位置も、観察者Ｐの視野外となるので、虚像の表示を停止するのである。

ステップ２１３、２１５終了後は、主制御装置２０は、再びステップ２０１に戻る。

ところで、位置検出装置７０は、様々な機器に組み込むことが可能である。例えば、図８（Ａ）に示されるように、位置検出装置７０を、ペンなどで文字を記入したり、用紙を掲示したりすることができるフラットパネルを有するボード、すなわち、ライティングボードＷＢのボード内に組み込むことが可能である。この場合、位置検出装置７０のパネルＰＡがそのまま、ライティングボードＷＢのフラットパネルとなる。この場合、観察者Ｐは、ライティングボードＷＢのフラットパネル上に書かれた（あるいは掲示された）文字や図形などを見つつ、合わせて表示用光束ＩＬによる虚像を視認することができる。ＨＭＤ５０からライティングボードＷＢに向けて、表示用光束ＩＬが射出されており、ライティングボードＷＢのフラットパネル内の３つの受光素子Ｐ１〜Ｐ３において、その表示用光束ＩＬが受光される。そして、それらの受光結果に基づいてＨＭＤ５０の位置及び向きが検出され、その検出結果に基づいて、虚像の呈示位置が調整される。

また、図８（Ｂ）に示されるように、机上に置かれたパーソナルコンピュータＰＣにも位置検出装置７０を組み込むことが可能である。この場合、パーソナルコンピュータＰＣの表示画面が、位置検出装置７０のパネルＰＡに相当するものとなる。したがって、受光素子Ｐ１〜Ｐ３は、この表示画面中に組み込まれることになる。

この他、受光素子Ｐ１〜Ｐ３は、例えば、室内の壁面や、テレビジョン装置や、映写用のスクリーンや、座標を入力することができるパネルを有する装置などに組み込むことが可能である。なお、いずれの場合にも、受光素子Ｐ１〜Ｐ３を一直線上に配置しないようにする必要がある。

以上詳細に説明したように、本実施形態によれば、観察者Ｐの頭部に装着されるＨＭＤ５０の投射光学系５２は、虚像を観察者Ｐに視認させるために発せられた表示用光束ＩＬの一部を、外部に射出する。そして、ＨＭＤ５０の外部に配置された受光素子Ｐ１〜Ｐ３により、その外部に射出された表示用光束ＩＬの一部を受光する。さらに、座標演算装置７６は、その表示用光束ＩＬの受光結果に基づいて、ＨＭＤ５０でその位置及び向きを検出する。その後、主制御装置２０が、検出されたＨＭＤ５０の位置及び向きに応じて虚像の呈示位置を決定する。

すなわち、この画像表示システム１００によれば、虚像の表示に用いられる表示用光束ＩＬを用いて、観察者Ｐの頭部の位置及び向きを検出するので、ＨＭＤ５０に、その位置及び向きを検出するための特別なセンサや、表示用光束ＩＬとは異なる位置検出用光束を発生させるための光源などの新たな構成要素をＨＭＤ５０に追加して設ける必要がなくなる。この結果、ＨＭＤ５０を大型化、重量化することなく、観察者Ｐの頭の動きに応じた虚像の呈示位置の調整が可能となる。

また、本実施形態によれば、ハーフミラー５６という簡単な構成で、観察者Ｐの網膜Ｆに導かれる表示用光束ＩＬの一部を外部に射出するため、ＨＭＤ５０の大型化、重量化を防ぐことができる。

なお、ＨＭＤ５０の投射光学系５２の構成は、本実施形態のものには限られない。例えば、図９（Ａ）に示されるように、ハーフミラー５６に代えて、複合光学系５６’を設けるようにしてもよい。この複合光学系５６’は、全体が、ハーフミラーで構成されているが、２次元走査される表示用光束ＩＬが入射される中央付近の領域が、表示用光束ＩＬが透過する領域と、表示用光束ＩＬが反射する領域とに分割されている。

図９（Ｂ）には、この２つの領域が示されている。図９（Ｂ）に示されるように、表示用光束ＩＬが入射される領域のうち、大部分の領域に対応して、ハーフミラーが設けられている。このハーフミラーに入射された表示用光束ＩＬの一部は、反射して、観察者Ｐの網膜Ｆに導かれる。また、このハーフミラーの周辺（＋Ｚ側端部）には、表示用光束ＩＬを、ほぼ全て透過させる透過部が設けられている。この透過部に入射した表示用光束ＩＬは、ほぼ全て透過し、ミラー５８で反射されて外部に射出され、最終的に、受光素子Ｐ１〜Ｐ３によって受光される。

表示用光束ＩＬは、２次元走査されているため、この複合光学系５６’上でその入射位置が軌跡を描くようになる。そこで、図９（Ｃ）に示されるように、１フレームの走査期間のうち、一部の期間では、表示用光束ＩＬを複合光学系５６’の透過部に入射するようにし、残りの期間では、表示用光束ＩＬを複合光学系５６’のハーフミラーに入射させるようにする。図９（Ｃ）では、１本目と２本目の走査線を走査中の表示用光束ＩＬは、透過部に入射されるようになっており、残りの走査線を走査中の表示用光束ＩＬは、ハーフミラーに入射されるようになっている。

この場合、１本目と２本目の走査線を走査中の表示用光束ＩＬ（第２の光束）については、観察者Ｐの網膜Ｆには導かれないので、これを位置検出のみに利用することができる。コントローラ６０の光発生部６４は、１本目及び２本目の走査線を走査中の表示用光束ＩＬの強度を強めに設定して射出する。このようにすれば、受光素子Ｐ１〜Ｐ３において受光される表示用光束ＩＬの光強度を強くすることができるようになるため、ＨＭＤ５０の位置及び向きの検出精度を高めることができるようになる。

また、３本目以降の走査線を走査中の表示用光束ＩＬ（第１の光束）については、観察者Ｐの網膜Ｆに導かれるので、コントローラ６０の光発生部６４は、３本目の走査線の走査開始から、射出する表示用光束ＩＬを、映像信号に応じた画像光とする。

すなわち、光発生部６４は、映像信号に応じた虚像表示用の表示用光束ＩＬと、位置検出用の表示用光束ＩＬとを、交互に生成して射出する。ＨＭＤ５０では、虚像表示用の表示用光束ＩＬは、複合光学系５６’のハーフミラーに入射し、位置検出用の表示用光束ＩＬは、複合光学系５６’の透過部に入射するようになっている。このようにすれば、受光素子Ｐ１〜Ｐ３で受光される表示用光束ＩＬの強度を強くことができるので、ＨＭＤ５０の位置及び向きの検出精度を高めることができるようになる。

なお、複合光学系５６’における透過部は、ハーフミラーの−Ｚ側、＋Ｙ側、−Ｙ側に設けられていてもよい。

また、透過部は、ハーフミラーの周囲（ハーフミラーの外周の４辺のうち、少なくとも２辺）に、透過領域を配置するようにしてもよい。このようにすれば、投射光学系５２から射出される表示用光束ＩＬの照射範囲を拡大することができるようになるため、受光素子Ｐ１〜Ｐ３が、その表示用光束ＩＬを検出し易くなる。

なお、複合光学系５６’には、透過部の代わりに、表示用光束ＩＬがそのまま通過可能な開口部を設けるようにしてもよい。

また、上記実施形態によれば、表示用光束ＩＬを観察者Ｐの網膜Ｆ上で２次元走査するための走査部８２を備えている。これにより、表示用光束ＩＬが、観察者の網膜Ｆ上で２次元走査されるので、画像情報に応じた表示用光束ＩＬに基づいて、観察者Ｐに虚像を視認させることができる。

そして、座標演算装置７６は、表示用光束ＩＬの走査の同期に用いられる垂直同期信号ＶＤ、水平同期信号ＨＤが発生してから受光素子Ｐ１〜Ｐ３において表示用光束ＩＬが受光されるまでの時間に基づいて、ＨＭＤ５０の位置及び向きを検出する。２次元走査中、表示用光束ＩＬの光路は、絶えず変化し、走査線に対応する軌跡を描くようになり、ＨＭＤ５０に対する表示用光束ＩＬの相対的な射出方向は、その２次元走査の同期に用いられる垂直同期信号ＶＤ、水平同期信号ＨＤが入力されてからの時間によって一意的に定まる。したがって、その垂直同期信号ＶＤ、水平同期信号ＨＤが発生してから受光素子Ｐ１〜Ｐ３によって表示用光束ＩＬが受光されるまでの時間を計測すれば、ＨＭＤ５０の位置及び向きを逆算することが可能となる。

また、上記実施形態によれば、受光装置として、一直線上に並ばないように配置された３つの受光素子Ｐ１〜Ｐ３を用いた。このようにすれば、各受光素子における表示用光束ＩＬの受光結果から、ＨＭＤ５０の位置及び向きを検出することができるようになるからである。

また、受光素子の数は、３つには限定されず、３つ以上あってもよい。受光素子の数は多ければ多いほど、また、受光素子の配置領域は広ければ広いほど、表示用光束ＩＬが受光される確率は向上するようになる。また、２次元ＣＣＤ（電荷結合素子）のような、撮像素子を受光装置として用いるようにしてもよい。このような撮像素子を用いると、その撮像結果は、表示用光束ＩＬの入射位置の軌跡に従った光強度分布として取得されるようになる。したがって、受光装置として、撮像素子を採用した場合には、その撮像結果に対して画像処理を行い、表示用光束ＩＬの入射位置の軌跡を抽出し、その軌跡に基づいて、上記実施形態と同様な座標演算を施して、ＨＭＤ５０の位置座標を、求めるようにすればよい。

また、上記実施形態によれば、表示用光束ＩＬを観察者Ｐの眼前方向と略同一方向に射出する。このようにすれば、受光素子Ｐ１〜Ｐ３を、観察者Ｐの眼前に配置することができるようになる。

なお、ＨＭＤ５０から射出される表示用光束ＩＬが拡散してその強度が低下し、受光素子Ｐ１〜Ｐ３で表示用光束ＩＬの受光が困難である場合には、表示用光束ＩＬを、凸レンズ等を用いてある程度収束した状態で、射出するようにしてもよい。このように、射出される表示用光束ＩＬは、受光素子Ｐ１〜Ｐ３で検出可能となるような十分な強度を有するものである必要がある（少なくとも、周囲の照度よりも明るい光であることが必要である）。

また、上記実施形態によれば、その受光素子Ｐ１〜Ｐ３は、観察者Ｐが実像として視認する観察対象が表示されたフラットパネルとしてのパネルＰＡ（すなわち、図８（Ａ）のライティングボードＷＢや、図８（Ｂ）のパーソナルコンピュータＰＣ）上に配置される。このようにすれば、受光素子Ｐ１〜Ｐ３が、観察者Ｐの観察対象が表示されたフラットパネル上に組み込まれるようになるので、観察者Ｐに実像と虚像とを同時に視認させるためのシステム全体をコンパクトなものとすることができる。

なお、上記実施形態のように、必ずしも、表示用光束ＩＬを、観察者Ｐの目線方向に出力する必要はなく、投射光学系５２内にミラー５８を設けずに、表示用光束ＩＬを、＋Ｘ方向にそのまま射出するようにしてもよい。また、ミラー５８の向きを変えて、＋Ｚ、又は−Ｚ方向に、表示用光束ＩＬを射出するようにしてもよい。これらいずれの場合にも、表示用光束ＩＬが射出される方向に受光装置を配置する必要があるのは勿論である。また、ＨＭＤ５０から外部に射出された表示用光束ＩＬは拡散するので、その像が、パネルＰＡに投射され浮かび上がるような可能性は極めて低いが、その像がパネルＰＡ上に投影されてしまうような場合には、表示用光束ＩＬを、観察者Ｐの視野外に向けて射出するのが望ましい。

また、図１０に示されるように、ミラー５８の代わりに、ハーフミラー５８’、５９’を置き、表示用光束ＩＬをＸ、Ｙ、Ｚ軸方向の３軸方向に出力するようにしてもよい。このように、表示用光束ＩＬを少なくとも２方向に射出することも可能であり、各方向で、ＨＭＤ５０の位置及び向きを検出し、それらの検出結果を総合して（例えば、平均化して）、ＨＭＤ５０の位置及び向きを求めるようにしてもよい。このようにすれば、ＨＭＤ５０の位置及び向きの検出精度を高めることができるうえ、いずれかの方向に射出される表示用光束ＩＬが、受光装置で受光されずに、ＨＭＤ５０の位置及び向きを検出することができなくても、他の方向に射出される表示用光束ＩＬが、受光装置で受光され、ＨＭＤ５０の位置及び向きを検出することができる場合もあるため、表示用光束ＩＬが受光装置で受光される可能性を高めることができる。

また、図３のミラー８４における表示用光束ＩＬの入射面に、表示用光束ＩＬを全反射させる反射面の他に、表示用光束ＩＬを通過若しくは透過させる面を設け、さらに、ＨＭＤ５０の＋Ｙ側の筐体面に開口部を設け、表示用光束ＩＬを＋Ｙ方向に射出するようにしてもよい。

なお、上記実施形態では、ＨＭＤ５０の位置及び向きを検出し、虚像の呈示位置を補正したが、観察者Ｐの頭部の動きによっては、観察者Ｐの眼と実像との距離が変化する場合もある。上記実施形態に係る画像表示システムでは、この変化に合わせて、虚像の呈示位置と、観察者Ｐとの距離も変更することも可能である。この場合には、主制御装置２０は、映像信号供給回路６２に対し、走査部８２の波面変調部に出力される奥行信号を補正するように指示すればよい。

また、上記実施形態では、図６のステップ２１５又は図７（Ｃ）に示されるように、観察者Ｐの視野が、虚像を表示すべき領域からはずれた場合、すなわち受光素子Ｐ１〜Ｐ３のいずれかで表示用光束ＩＬを受光することができなかった場合には、虚像の表示を停止したが、虚像の表示を停止しなくてもよく、虚像の呈示位置をそれまで表示されていた位置に固定するようにしてもよい。

例えば、前回のフレームの２次元走査期間において、受光素子Ｐ１〜Ｐ３すべてで表示用光束ＩＬが受光され、その受光結果に基づいて虚像の呈示位置が補正され、ある位置で虚像が呈示されていたとする。そして、今回のフレームの走査期間では、１つの受光素子で、表示用光束ＩＬを受光することができなかった場合には、前回呈示された位置に、虚像を呈示するようにしてもよい。

また、図６の上記ステップ２１５では、ステップ２１１で実行される映像信号の補正を行わずに、そのまま表示するようにしてもよい。この場合、表示画面上に、映像補正無し（補正範囲外）である旨の通知を、文字やアイコンなどを映像信号に基づく画像に挿入して、観察者Ｐに視認させるようにしてもよい。

また、受光素子が、４つ以上であった場合には、そのうちの少なくとも３つの受光素子で表示用光束ＩＬが受光された場合には、ＨＭＤ５０の位置及び向きを求め、その位置及び向きに基づいて虚像の呈示位置を補正するようにしてもよいし、虚像の呈示位置を前回のフレームの走査期間での位置に維持するようにしてもよいし、虚像の表示を停止するようにしてもよいし、虚像の提示位置の補正を行わないようにしてもよい。虚像を表示するか否か、その呈示位置を補正するか否かは、観察者Ｐの視野と、各受光素子の配置状態とのバランスを考慮して決定すればよい。

また、座標演算装置７６は、コントローラ６０側にあってもよい。この場合には、受光素子Ｐ１〜Ｐ３からの受光パルス信号が、無線によってコントローラ６０に送られるようにすればよく、垂直同期信号ＶＤや水平同期信号ＨＤを、位置検出装置７０に送る必要がなくなるため、システム全体を簡素化することが可能となる。コントローラ６０の主制御装置２０は、ＨＭＤ５０の位置情報に応じて画像処理（図６のステップ２１１）を行っているが、主制御装置２０が、その画像処理に先立って、座標演算を行うようにすればよい。このように、座標演算を、受光側で行うか、コントローラ６０側で行うかは、それらの情報処理能力、通信能力などに応じて決定するようにすればよい。

また、本実施形態では、受光素子Ｐ１〜Ｐ３すべてで表示用光束ＩＬが受光されるか否かで処理を切り替えるなどしているが、各受光素子毎の位置検出結果は、その受光素子で検出できなかったことも考慮してＨＭＤ５０の位置算出を行う様にしてもよい。また、受光素子は、３個以上であるのが望ましいが、２個以下であってもよく、それでも、ＨＭＤ５０の概略位置を検出することは可能である。また、本実施形態では、ＨＭＤ５０から受光素子Ｐ１〜Ｐ３までの距離ｌ₁、ｌ₂、ｌ₃を算出しているが、距離ｌ₁、ｌ₂、ｌ₃を算出しなくても、同期信号によって受光素子Ｐ１〜Ｐ３に対するＨＭＤ５０の向きは概算できるため、この概算された向きを利用して画像の補正を行ってもよい。

また、コントローラ６０と、位置検出装置７０との間のデータ送受信は、無線でなく、有線で行われるようにしてもよい。

また、上記実施形態のＨＭＤ５０は、左眼用であったが、右眼用、左右兼用、両眼用であってもよいのは勿論である。

なお、上記実施形態に係る画像表示装置は、網膜走査型であったが、本発明は、液晶パネル式の画像表示装置にも適用することができる。

以上述べたように、本発明の画像表示システム及びボードは、虚像と実像とを、同時に観察者に視認させる環境を提供するのに適している。

本発明の一実施形態に係る画像表示システムを構成するＨＭＤ及びコントローラの斜視図である。 図１のＨＭＤを構成する投射光学系の構成を示す図である。 本発明の一実施形態に係る画像表示システムの全体構成を示す模式図である。 図４（Ａ）は、表示用光束の受光状態を示す図であり、図４（Ｂ）は、このときの受光パルス信号の発生タイミングを説明するための図である。 ＨＭＤの位置及び向きの演算方法を説明するための模式図である。 主制御装置及び座標演算部の処理を示すフローチャートである。 図７（Ａ）〜図７（Ｃ）は呈示される虚像の一例を示す図である。 図８（Ａ）、図８（Ｂ）は、位置検出部が組み込まれる装置の一例である。 図９（Ａ）、図９（Ｂ）は、投射光学系の変形例（その１）を説明するための図である。 投射光学系の変形例（その２）を説明するための図である。

符号の説明

２０ 主制御装置
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
５０ ヘッドマウントディスプレイ（ＨＭＤ）
５２ 投射光学系
５４ 表示用光束射出部
５６ ハーフミラー
５６’ 複合光学系
５８ ミラー
５８’、５９’ ハーフミラー
６０ コントローラ
６２ 映像信号供給回路
６４ 光発生部
６６ 送受信回路
７０ 位置検出装置
７２ 送受信回路
７４ 遅れ補償装置
７６ 座標演算装置
８２ 走査部
８４ ミラー
８６ 集光レンズ
１００ 画像表示システム
Ｆ 網膜
ＩＬ 表示用光束
ＨＤ 水平同期信号
Ｌ ケーブル
ＬＥ 左眼
Ｐ 観察者
Ｐ１〜Ｐ３ 受光素子
ＰＡ パネル
ＰＣ パーソナルコンピュータ
Ｓ ２次元走査面
ＶＤ 垂直同期信号
ＷＢ ライティングボード

Claims (8)

1. 観察者の頭部に装着され、外光を透過させつつ少なくとも画像信号に応じた表示用光束を前記観察者の網膜に投射するとともに、前記表示用光束の一部を外部に射出する投射光学系を有し、前記外光による実像と前記表示用光束による虚像とを同時に、前記観察者に視認させる頭部装着型画像表示装置と、
   前記頭部装着型画像表示装置の外部にて、前記頭部装着型画像表示装置から射出された前記表示用光束を受光可能に配置された受光装置と、
   前記受光装置による前記表示用光束の受光結果に基づいて、前記頭部装着型画像表示装置の位置及び向きを検出する検出装置と、
   前記検出された前記頭部装着部の位置及び向きに応じて前記虚像の呈示位置を決定する虚像位置決定装置と、を備える画像表示システム。
2. 前記投射光学系には、
   少なくとも前記表示用光束の一部を、透過光束と反射光束とに分離し、前記透過光束を外部に射出するハーフミラーが設けられていることを特徴とする請求項１に記載の画像表示システム。
3. 前記投射光学系には、
   前記表示用光束が入射する領域のうち、一部の領域に設けられ、前記一部の領域に入射される前記表示用光束の少なくとも一部を反射して、前記観察者の網膜に導く反射光学系と、
   前記表示用光束の一部を、ほぼ全て透過させ外部に射出するために、前記表示用光束が入射する領域のうち、前記反射光学系の周辺の少なくとも一部の領域に設けられた透過部とを含む複合光学系が設けられており、
   前記受光装置は、前記透過部を経由した表示用光束を受光可能に配置されていることを特徴とする請求項１に記載の画像表示システム。
4. 前記表示用光束が前記反射光学系に入射中は、前記表示用光束として、前記画像信号に応じた虚像表示用の第１の光束を生成し、前記表示用光束が前記透過部に入射中は、前記表示用光束として、前記頭部装着型画像表示装置の位置検出用の第２の光束を生成することで、前記第１の光束と前記第２の光束とを時間的に交互に生成する光発生部をさらに備えることを特徴とする請求項３に記載の画像表示システム。
5. 前記頭部装着型画像表示装置は、
   前記表示用光束を前記観察者の網膜上で２次元走査するための走査部をさらに有することを特徴とする請求項１〜４のいずれか一項に記載の画像表示システム。
6. 前記検出装置は、
   前記表示用光束の２次元走査の同期に用いられる同期信号が発生してから前記受光装置において前記表示用光束が受光されるまでの時間に基づいて、前記頭部装着型画像表示装置の位置及び向きを検出することを特徴とする請求項５に記載の画像表示システム。
7. 前記受光装置として、一直線上に配置されていない少なくとも３つの受光素子を備えることを特徴とする請求項１〜６のいずれか一項に記載の画像表示システム。
8. 前記頭部装着型画像表示装置は、
   前記表示用光束を、前記観察者の眼前方向と略同一方向に射出することを特徴とする請求項１〜７のいずれか一項に記載の画像表示システム。

Images