WO2007116743A1

WO2007116743A1 - 画像表示装置

Info

Publication number: WO2007116743A1
Application number: PCT/JP2007/056415
Authority: WO
Inventors: Shoji Yamada
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2006-03-31
Filing date: 2007-03-27
Publication date: 2007-10-18
Also published as: EP2006827A9; JP2007272067A; EP2006827A4; EP2006827A2; US20090096714A1

Abstract

　表示された虚像の指定や選択がより簡単、迅速かつ正確であるもシースルー型の画像表示装置を提供すること。　外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、位置及び向きを変更可能な指示棒１２と、指示棒１２の位置及び向きを検出する指示器検出部１４と、前記指示棒１２の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づいた画像光を前記観察者の網膜に投射する画像表示部１８とを備えた。

Description

明細書

画像表示装置

技術分野

[0001] 本発明は、画像光を観察者の網膜に投射して画像を認識させる機能を有する画像表示装置に関するものである。

背景技術

[0002] 従来、外界空間である実像と生成された表示画像である虚像を併せて表示する、いわゆるシースルー型のディスプレイとして、表示された虚像を、カーソルやマウスなどを使って指示したり指定したりできるものがある。

特許文献 1：特開 2003— 85590号公報

発明の開示

発明が解決しょうとする課題

[0003] ところが、カーソルやマウスを用いる方法は、自然な動作によって指定する方法ではないので、操作性が悪ぐ迅速あるいは正確に指定することができない。また、カーソルやマウスを用いる方法では、立体画像における虚像物を指定することが難、。

[0004] 本発明は、このような問題点に鑑みてなされたものであり、表示された虚像の指定や選択がより簡単、迅速かつ正確であるシースルー型の画像表示装置を提供することを課題とする。

課題を解決するための手段

[0005] 上記課題を解決するために、本発明の一つの観点によれば、外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、位置及び向きを変更可能な指示器と、前記指示器の位置及び向きを検出する指示器検出部と、前記指示器の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づ、た画像光を前記観察者の網膜に投射する画像表示部とを備える。

[0006] このような構成とすることにより、虚像を指示するための指示器として、位置及び向きの変更が可能なものを用い、し力も、画像表示部に表示される表示画像中に、指示器の位置及び向きに応じた補助虚像が表示されるので、観察者は、画像中の虚像を、指示器によって、簡単、迅速かつ正確に指示することができる。

[0007] また、前記指示器検出部は、前記表示用座標系における前記指示器の位置及び向きを検出し、前記画像表示部は、前記表示用座標系における前記指示器の位置力もその向きの延長上に補助虚像を、表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成する画像情報生成器と、前記画像情報生成器により生成された前記画像情報に応じた光束を生成する光束生成器と、前記光束を前記観察者の網膜へ投射する光学系とを備える構成としてもよい。

[0008] このような構成とすることにより、表示用座標系における指示器の位置及び向きに基づいて、表示画像中に、指示器の位置力その向きの延長上に位置する補助虚像が表示される。このように指示器の延長上に補助虚像が表示されれば、表示される主虚像を、指示器によって、簡単、迅速かつ正確に指示することができる。

[0009] また、観察者の頭部に装着する頭部装着部に、前記画像表示部のうち少なくとも前記光学系を配置するようにしてもょ、。

[0010] このような構成とすることにより、観察者は、歩行など移動しながら表示画像を視認することができる。

[0011] また、前記頭部装着部の位置及び向きを検出する頭部位置検出部を設け、前記画像情報生成器は、前記主虚像を所定の基準点を中心とした基準座標系上の所定位置に配置し、前記基準座標系上の前記頭部装着部の位置及び向きの変化に応じて前記表示用座標系における前記主虚像の位置及び向きを変更すると共に、前記基準座標系上の前記頭部装着部及び前記指示器の位置及び向きの変化に応じて前記表示用座標系における前記補助虚像の位置及び向きを変更した前記画像情報を生成するようにしてもよヽ。

[0012] このような構成とすることにより、観察者は、表示画像中の主虚像および補助虚像を、基準座標系中に存在する実像と同様の存在として視認することができ、指示操作などの操作性がより向上する。

[0013] また、前記所定の基準点は、実空間上の所定点とすることができる。 [0014] このような構成とすることにより、観察者は、表示画像中の主虚像および補助虚像を、実空間内に存在する実像と同様のリアルな存在として扱うことができ、指示操作などの操作性がより向上する。

[0015] また、前記観察者である人体を構成する前記頭部以外の部位に装着する基準ュニットを設け、前記基準ユニットを前記所定の基準点としてもょ、。

[0016] このような構成とすることにより、基準点となる観察者身体の特定部位 (腰部、手首など)と所望の配置関係を維持し表示像が提示される。このような提示法が、外部空間を基準とする表示よりも好ましい応用があるとともに、（外部に基準点設定装置を配置する必要がなく)観察者が装着する装置のみでシステムが構成できるという利点がある。観察者が移動する場合でも、観察者の位置との関係で、直接、基準座標系上の主虚像や補助虚像の位置及び向きを特定可能であり、基準座標系上の主虚像や補助虚像の位置及び向きを正確に特定できる。

[0017] また、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置力その向きの延長方向上の所定位置まで連続的に延在させて配置した画像情報を生成するようにしてもょヽ。

[0018] このような構成とすることにより、所定位置まで連続的に延在する補助虚像により、指示器によって主虚像を指示しょうとするときに、極めて簡単、迅速かつ正確に指示することができる。

[0019] また、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで断続的に延在させて配置した画像情報を生成するようにしてもょヽ。

[0020] このような構成とすることにより、補助虚像の後ろ側に隠れる部分が少なくなるので、視野全体、特に指示しょうとしている位置の周辺領域の状況をより確実に把握できるようになり、指示操作性に優れる。

[0021] また、前記補助虚像の長さを設定する補助虚像長設定部を設け、前記画像情報生成器は、前記補助虚像長設定部によって前記補助虚像の長さが設定されると、当該設定された長さに応じた前記所定位置まで延在する前記補助虚像を配置した画像情報を生成するようにしてもょ、。 [0022] このような構成とすることにより、指示器を使用する観察者の好みによって、あるいは観察者力指示対象の虚像までの距離によって、補助虚像の長さを自由に設定できることとなり、指示器の操作性がさらに向上する。

[0023] また、前記補助虚像の幅を設定する補助虚像幅設定部を設け、前記画像情報生成器は、前記補助虚像幅設定部によって前記補助虚像の幅が設定されると、当該設定された幅に応じた幅の前記補助虚像を配置した画像情報を生成するようにしてもよい。

[0024] このような構成とすることにより、補助虚像の太さなどの幅を自由に設定することができ、たとえば、指示器を使用する観察者の好みによって、あるいは指示対象の虚像の大きさによって、補助虚像の幅を自由に設定できることとなり、指示器の操作性がさらに向上する。

[0025] また、前記主虚像を指定する主虚像指定操作部を設け、前記画像情報生成器は、前記主虚像指定操作部によって指定された主虚像と前記補助虚像とを関連付け、前記表示用座標系における前記補助虚像の位置及び向きの変更に応じて前記主虚像の位置及び向きを変更するようにしてもょ、。

[0026] このような構成とすることにより、指示器によって指定した主虚像を、指示器や補助虚像と共に移動させることができ、しかも補助虚像の位置及び向きに応じて主虚像の位置及び向きを移動させることができるので、主虚像を実像と同様の存在として取扱うことができ、たとえば移動させることができる。このように指示対象となり得る主虚像を移動させることができれば、たとえば、指示対象物が接近しているようなときでも、指示対象だけを移動させたり、指示対象でないものだけを移動させたりすることで、指示対象をより正確に指示することができる。

[0027] また、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡内に存在する前記主虚像を特定する主虚像選択範囲特定部を設け、前記画像情報生成器は、前記主虚像選択範囲特定部で特定された前記主虚像の色を変更するようにしてもょ、。

[0028] このような構成とすることにより、指示対象が複数存在する場合には、容易にそれらをまとめて指示することができ、指示操作性に優れる。 [0029] また、前記画像情報生成器は、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡を所定時間残像とする画像情報を生成するようにしてちょい。

[0030] このような構成とすることにより、補助虚像の現在の像と、残像とを視覚的に視認することができ、現在の像と残像とを比較することで、補助虚像の僅かな位置及び向きの変更ゃズレを、正確、簡単かつ迅速に視認することができる。これにより、指示操作性が向上する。

[0031] また、前記画像情報生成器は、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、前記補助虚像又は前記主虚像の色を変更した画像情報を生成するようにしてもょ、。

[0032] このような構成とすることにより、色の変更によって、指示できている力否かを迅速かつ簡単に視認することができ、指示対象までの距離などを実感しつつ指示することができる。これにより指示操作性が更に向上する。

[0033] また、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、音でその旨を報知する音源部を備える構成としてもよい。

[0034] このような構成とすることにより、指示された対象を視認していなくても、迅速、簡単に指示されたことを認識することができる。

[0035] また、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置に前記補助虚像を配置した画像情報を生成するようにしてもょヽ。

[0036] このような構成とすることにより、指示している部分を点として視認することができる。

指示器の延長上に複数の指示対象になり得る主虚像がある場合など、指示している対象を認識しにくいことがあるが、このように指示部分を点として認識できれば、指示対象を明確に認識できるので、指示操作性に優れる。

[0037] また、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、前記補助虚像を表示しな、前記画像情報を生成するようにしてもょ、。

[0038] このような構成とすることにより、例えば、実像を主虚像と誤認していることに気づかず、主虚像と誤認した実像を指示器で指示しようとし続けるようなことが確実に防止されるので、指示操作性に優れる。

[0039] また、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、その旨を報知する虚像を前記主虚像と共に表示用座標系上に配置した画像情報を生成するようにしてもょヽ。

[0040] このような構成とすることにより、指示器によって何も指示していないことを視覚によつて確実に認識することができ、指示操作性に優れる。

[0041] また、前記光学系に前記光束の波面を変調する波面変調部を設けて、指示器の延長方向の奥行きに応じた波面変調を行うようにしてもよい。

[0042] このような構成とすることにより、主虚像及び補助虚像などの画像を三次元表示できる。

[0043] また、前記補助虚像の色を設定する補助虚像色設定部を設け、前記画像情報生成器は、前記補助虚像色設定部によって前記補助虚像の色が設定されたと判定すると、当該設定された色の前記補助虚像を前記主虚像と共に配置した画像情報を生成するようにしてちょい。

[0044] このような構成とすることにより、補助虚像の色を自由に設定できれ、視野の色の状況に応じて視認しゃす、色の補助虚像を表示することができるので、指示操作性が向上する。

[0045] また、前記指示器検出部は、前記指示器に設けられた交流磁界発生器から発生する交流磁界を検出するための少なくとも 3つの直交コイルを有し、前記交流磁界発生器力発生する交流磁界の前記 3つの直交コイルによる検出強度に基づいて、前記指示器の位置及び向きを検出するようにしてもょヽ。

[0046] このような構成とすることにより、正確に指示器の位置及び向きを検出することができ、正確な画像表示を行なうことができる。これにより、指示操作性が向上する。

[0047] また、前記光学系に前記光束を 2次元的に走査する走査部を設けて、当該走査部によって走査された光束を前記観察者の網膜へ投射する網膜走査型の画像表示装置とすることちでさる。発明の効果

[0048] 虚像を指示するための指示器として、位置及び向きの変更が可能なものを用い、しカゝも、画像表示部に表示される表示画像中に、指示器の位置及び向きに応じた補助虚像が表示されるので、観察者は、画像中の実像や虚像を、指示器によって、簡単、迅速かつ正確に指示することができる。

図面の簡単な説明

[0049] [図 1] (a)は、画像表示装置の使用状態を示す模式図であり、 (b)は、画像表示装置の一構成物であるヘッドマウントを示す概略斜視図、（c)は、画像表示装置の一構成物であるコントロールユニットを示す概略斜視図である。

[図 2]画像表示装置の構成を示すブロック図である。

[図 3]ヘッドマウントを装着した状態を示す平面図である。

[図 4]画像表示装置が備える画像表示部を示すブロック図である。

[図 5]画像表示装置の使用者の視野を示す説明図である。

[図 6] (a)は、画像表示装置の使用者の視野を示す説明図であり、 (b)は、指示棒の操作部を示す説明図である。

[図 7]画像表示装置の使用者の視野を示す説明図である。

[図 8]画像表示装置の使用者の視野を示す説明図である。

[図 9]画像表示装置の使用者の視野を示す説明図である。

[図 10]画像表示装置の使用者の視野を示す説明図である。

[図 11]画像表示装置の使用者の視野を示す説明図である。

符号の説明

[0050] 11 ヘッドマウント

12 指示棒

13 コン卜ロールュ-ッ卜

14 指示棒検出部

15 頭部位置検出部

16 操作部 18 画像表示部

18a 映像光生成部

18b 光走査部

20 映像光生成部

21 映像信号供給回路

Im 主虚像

Is 補助虚像

M 使用者

発明を実施するための最良の形態

[0051] 以下、本発明に係る画像表示装置の実施形態について図面を用いて詳細に説明する。

[0052] 図 1に示されるように、本実施形態の画像表示装置は、 V、わゆるシースルー型のデイスプレイであり、これを構成するものとして、観察者である使用者 Mの頭部 Hに装着されて使用される RSD頭部装着部 (以下、ヘッドマウント) 11と、使用者 Mに把持された状態で使用される指示棒 12 (指示器の一例に相当）と、使用者 Mの腰に装着される RSDコントローラ（基準ユニットの一例に相当。以下、「コントロールユニット」とする。）13とを備えている。

[0053] また、図 2に示されるように、画像表示装置は、上記ヘッドマウント 11、指示棒 12又はコントロールユニット 13のいずれかに設置される次の構成を備えている。すなわち、画像表示装置は、指示棒 12の位置及び向きを検出する指示棒検出部 14 (指示器検出部の一例に相当）と、ヘッドマウント 11の位置及び向きを検出する頭部位置検出部 15と、指示棒 12の操作に用いられる操作部 16と、画像表示装置を制御する CP Uなどに代表される制御部 17と、使用者 Mに画像 (後述の主虚像 Imや補助虚像 Is) を視認させるための画像表示部 18とを備えている。

[0054] これらのうち、指示棒検出部 14は、指示棒 12に搭載された指示棒 12の位置及び向きを検出するための指示棒位置検出部 14aと、指示棒 12に搭載された指示棒位置検出用送信部 14bと、コントロールユニット 13に搭載された指示棒位置検出用受信部 14cとを備えている。 [0055] 指示棒位置検出部 14aは、少なくとも 3つの直交コイルを有する磁界受信器 14dを備えるものであり、各直交コイルでコントロールユニット 13に設置された磁界発生器 1 3aで発生される交流磁界を受信し、受信した磁界の検出強度に基づいて指示棒 12 の位置及び向きを検出するものである。そして、指示棒位置検出部 14aは、検出した指示棒 12の位置及び向きを示す信号を指示棒位置検出用送信部 14bに入力する。なお、本実施形態では、コントロールユニット 13の磁界発生器 13aの位置を原点とする基準座標系での指示棒 12の位置を検出できるようになっており、位置検出方法として、ポジション'トラッカまたはポジション Zオリエンテーション'トラッカとして既に知られた磁気的追跡装置で採用されている磁気的追跡方法と共通のないしは類似する方法を用いている力既知の方法であるので、ここでの説明は省略する。

[0056] 指示棒位置検出用送信部 14bは、指示棒位置検出部 14aで検出された指示棒 12 の位置に関する信号を送信するものである。また、指示棒位置検出用受信部 14cは発信された信号を受信するものである。そして、指示棒位置検出用受信部 14cで受信された信号は、信号線 Lを介して制御部 17に入力される。なお、指示棒位置検出用送信部 14bと、指示棒位置検出用送信部 14bとの間の送受信送信手段としては、電波を用いた周知の無線方式のものを用いて、るので、その詳細な説明につ、ては省略する。

[0057] 頭部位置検出部 15は、ヘッドマウント 11の位置及び向きを検出するためのものであり、ヘッドマウント 11に搭載される。この頭部位置検出部 15で検出された信号は、信号線 Lを介して制御部 17に入力される。これにより、ヘッドマウント 11の基準座標系における位置及び向きを検知することができる。なお、検出部自体は、指示棒位置検出部 14aと同様のものであるので、その説明については省略する。

[0058] 操作部 16は、使用者 Mの操作に用いられるものであり、指示棒 12に設置されている。したがって、使用者 Mは、指示棒 12を把持した状態で使用しながら操作することできる。使用者 Mが操作部 16を操作することによって発生する信号は、信号線 Lを介して制御部 17に入力される。

[0059] 制御部 17は、画像表示装置全体の制御を統括すると共に、プログラムや設定情報を記憶しており、 CPU101、 ROM102、 RAM103等から構成される（図 4参照）。 [0060] そして、図 2に示されるように、画像表示部 18は、画像情報を生成して光束を生成する映像光生成部 18aと、生成された光束を画像表示のために水平方向及び垂直方向に走査すると共に、このように走査された光束 (以下、表示用走査光束)を使用者 Mの網膜 Fへ投射する走査光束の収束点 Bを走査する光走査部 18bとを備えている。なお、映像光生成部 18aと光走査部 18bは、使用者 Mの左右の瞳孔 E (図 4参照 )にそれぞれ対応して設けられており、これらは制御部 17によって制御されている。このように、本実施形態の画像表示装置は、いわゆる網膜走査型のディスプレイと称されるものである。

[0061] ここで、ヘッドマウント 11、指示棒 12およびコントロールユニット 13のそれぞれに設置されて!ヽる構成を簡単に説明する。

[0062] 図 3に示されるように、ヘッドマウント 11は、使用者 Mに装着される眼鏡形状のマウント本体 1 laと、マウント本体 1 laのテンプル部 1 lbに取付部材 1 lcを介して設置された画像光を出射するための光走査部 18bと、光走査部 18bから出射された画像光 Z1を使用者 Mの眼に向力つて反射させる眼前に設置されたノヽーフミラー l idとを備えている。使用者 Mの眼には、ハーフミラー l idを介して外界力もの光 Z2が達するようになつており、使用者 Mは、ヘッドマウント 11を装着した状態で外界を視認しつつ、画像光 Z1によって表示される画像を視認できる。

[0063] また、ヘッドマウント 11には、指示棒検出部 14の指示棒位置検出用受信部 14cと、頭部位置検出部 15と、画像表示部の光走査部 18bが搭載されている。

[0064] 指示棒位置検出用受信部 14cは、指示棒位置検出用送信部 14bからの信号を受信するものであり、受信された信号は制御部 17へと入力される。

[0065] 頭部位置検出部 15は、基準座標系におけるヘッドマウント 11の位置及び向きを検出するものであり、検出された信号は制御部 17へと入力される。

[0066] 光走査部 18bは、ヘッドマウント 11を装着した使用者 Mに主虚像 Imや補助虚像 Is である画像を表示するものである。ヘッドマウント 11に搭載されて!、る光走査部 18b の詳細については、後述のコントロールユニット 13の説明の後に詳細に説明する。

[0067] ここで、主虚像 Imとは、実空間に存在しないが、ヘッドマウント 11を装着した使用者 Mの視野中に表示されており、使用者 Mによって視認される画像中の物体である。例えば、図 5において、符号「Iml」で示されている直方体の物体画像がその一例である。主虚像 Imは、特に取り扱わない状態では、実空間内にあた力も静止した状態で存在しているように使用者 Mに視認されるものであり、後述するように、使用者 Mによって自由に位置を移動させたり、向きを変更させたりすることができる対象である。なお、以降の説明では、主虚像 Imを使用者 Mの視野中に表示されているように視認させることについて、単に、主虚像 Imを表示させるという表現や、視野中の主虚像 Im あるいは画面中の主虚像 Imと!、つた表現を用いることがある。この表現につ!、ては、次に説明する補助虚像 Isについても同様である。

[0068] 補助虚像 Isとは、主虚像同様、実空間に存在しないが、ヘッドマウント 11を装着した使用者 Mの視野中に表示されており、使用者 Mによって視認される画像中の物体であるが、そのうちの特に、使用者 Mが使用する指示棒 12の延長部分として視認されるものであり、指示棒 12の位置及び向きに応じて表示されるものである。つまり、補助虚像 Isは、あた力も指示棒 12の一部であるかのように使用者 Mに視認されるものであり、指示棒 12の動きに対応して動く。具体的には、図 6に示されるように、補助虚像 Isは、表示用座標系における指示棒 12の位置力もその向きの延長上に表示される。

[0069] 指示棒 12には、指示棒検出部 14の指示棒位置検出部 14aと、指示棒位置検出用送信部 14bが搭載されている。また、図 1および図 2に示される指示棒 12は、操作部 16を備えており、この操作部 16を操作することによって、使用者 Mは、視野に表示されてヽる主虚像 Imや補助虚像 Isにつヽて、移動させるなどの後述の操作を行なうことがでさる。

[0070] 図 6 (b)に示されるように、操作部 16は、指示棒 12の先端側に設けられており、操作モードを選択するためのモード選択ボタン 16aを備えている。また、操作部 16は、各モードにおける操作に用いられるボタンとして、モード選択ボタン 16a上側に位置する上ボタン 16bと、モード選択ボタン 16aの右側に位置する右ボタン 16cと、下側に位置する下ボタン 16dと、左側に位置する左ボタン 16eとを備えている。これらのボタンを押すと対応する信号が制御部 17に送られる。

[0071] モード選択ボタン 16aは、各種のモードを選択するためのボタンであり、これを押すことで、モードを順次変更できるようになつている。具体的には、補助虚像選択モードと、補助虚像操作モードと、補助虚像色設定モードと、主虚像操作モードと、新規主虚像設置モードと、主虚像削除モードと、残像表示設定モードと、接触判定設定モードを選択できるようになって、る。

[0072] 補助虚像選択モードでは、操作部 16の右ボタン 16cまたは左ボタン 16eを押すことで、補助虚像 Isの種類を選択できる。具体的には、図 6 (a)に示されるように、一本の棒状に連続的に表示される補助虚像 Islと、図 7 (a)に示されるように、断続的に表示される補助虚像 Is2と、図 11 (a)に示されるように、点状に示される補助虚像 Is3を選択することができる。

[0073] 補助虚像操作モードでは、選択された補助虚像 Isの形状をさらに変更することができる。例えば、補助虚像 Isとして、一本の棒状として連続的に表示される補助虚像 Isl や断続的に表示される補助虚像 Is2が選択されている場合、補助虚像操作モード〖こおいて、下ボタン 16dを押すと、図 7 (b)に示されるように、補助虚像 Islの長さが短くなり、他方、上ボタン 16bを押すと、補助虚像 Islが長くなる。また、補助虚像操作モードにて、右ボタン 16cを押すと、図 8 (a)に示されるように、補助虚像 Islが細くなり、他方、左ボタン 16eを押すと、補助虚像 Islが太くなる。このように、操作部 16は、補助虚像 Isの長さを設定する補助虚像長設定部や、補助虚像 Isの幅を設定する補助虚像幅設定部として機能する。

[0074] さらに、補助虚像操作モードにて、補助虚像 Isとして、点状に表示される補助虚像 I s3 (図 11 (a)参照）が選択されている場合、補助虚像操作モードにおいて、右ボタン 16cを押すと、補助虚像 Isの直径が小さくなり、他方、左ボタン 16eを押すと、補助虚像 Is3の直径が大きくなる。なお、点状に表示される補助虚像 Is3の位置とは、表示用座標系における指示棒 12の位置から当該指示棒 12の向きの延長方向上であって主虚像 Imとの交点となる位置である。

[0075] 補助虚像色設定モードでは、操作部 16の右ボタン 16cまたは左ボタン 16eを押すと、補助虚像 Isの色が異なる色に順次設定されるようになっている。したがって、所望の色になったところで、モード選択ボタン 16aを押してモードを変更すれば、補助虚像 Isは、最後に選択された色で表示される。このように、操作部 16は、補助虚像 Isの色を設定する補助虚像色設定部として機能する。

[0076] 主虚像操作モードでは、右ボタン 16cまたは左ボタン 16eを押すことで、主虚像 Im の選択方法を選択することができる。具体的には、右ボタン 16cを押すと、操作対象の主虚像 Imを個々に選択する単独選択の状態になり、左ボタン 16eを押すと、所定の領域に存在する主虚像 Imを一度に選択する包括選択状態になる。

[0077] 主虚像 Imの選択方法が単独選択の状態で、上ボタン 16bを押すと、補助虚像 Isで指し示す主虚像 Imを操作対象の主虚像 Imとして選択することができる。そして、図 8 (b)において破線で示されるように、主虚像 Imlが選択された状態で、指示棒 12を動かすと、選択された主虚像 Imlが指示棒 12や補助虚像 Islと共に、使用者 Mの視野内を一体的に移動する。つまり、選択された主虚像 Imは、その位置に関して、補助虚像 Isと関連付けられることになる。また、主虚像 Imlが選択された状態で、下ボタン 16dを押すと、選択が解除される。このように、操作部 16は、主虚像 Imを指定する主虚像指定操作部として機能する。

[0078] 主虚像 Imの選択方法が包括選択の状態で、上ボタン 16bを押すと、選択した、所定領域 Aを補助虚像 Isの先端で取り囲むことができる状態になる。そこで、図 9 (a)に示されるように、指示棒 12を操作すると、取り囲まれた領域内の主虚像 Iml, Im2が選択される。この状態で、上ボタン 16bを押した状態を解除すると、複数の主虚像 Im 1, Im2の選択が確定する。選択の確定は、本実施形態では、選択された主虚像 Im 1, Im2の色を変更させることで明示される。そして、選択が確定された状態で、指示棒 12を動かすと、図 9 (b)に示されるように、選択された主虚像 Iml, Im2が、指示棒 12および補助虚像 Isと共に使用者 Mの視野内を一体的に移動する。つまり、選択された主虚像 Iml, Im2は、その位置に関して、補助虚像 Islと関連付けられることになる。また、主虚像 Iml, Im2が選択された状態で、下ボタン 16dを押すと、選択が解除される。このように、操作部 16は、指示棒 12の位置及び向きの変化によって表示用座標系上で移動する補助虚像 Isの軌跡内に存在する主虚像 Imを特定する主虚像選択範囲特定部として機能する。

[0079] 新規主虚像設置モードでは、右ボタン 16cまたは左ボタン 16eを押すと、 ROM102 又は RAM103に記憶されている複数の主虚像 Im力も所望の主虚像 Imを選択することができる。なお、 ROM102又は RAM103には、随時、新たな主虚像 Imの登録を行なうことができ、あるいは登録された主虚像 Imの一部または全部の削除を行なうことができる。そして、所定の主虚像 Imを選択した状態で、上ボタン 16bを押すと、選択されていた新規の主虚像 Imが使用者 Mの視野内に表示される。他方、下ボタン 1 6dを押すと、新規に表示させる候補として視野内に表示された主虚像 Imの削除を行なうことができる。

[0080] 主虚像削除モードでは、視野内に表示されている主虚像 Imの削除方法を選択することができる。削除方法としては、操作対象の主虚像 Imを個々に選択して削除する単独削除方法と、所定の領域に存在する主虚像 Imを一度に削除する包括削除方法とがあり、右ボタン 16cを押すと、主虚像 Imを個々に選択して削除する単独削除の状態になり、左ボタン 16eを押すと、所定の領域に存在する主虚像 Imを一度に削除する包括削除の状態になる。

[0081] 主虚像 Imの削除方法が単独削除の状態で、上ボタン 16bを押すと、補助虚像 Isで指し示して!/ヽる主虚像 Imを操作対象の主虚像 Imとして選択することができる。そして、主虚像 Imが選択された状態で、再度上ボタン 16bを押すと、選択されていた主虚像 Imが削除される。また、主虚像 Imが選択された状態で、下ボタン 16dを押すと、選択が解除される。

[0082] 主虚像 Imの削除方法が包括削除の状態で、上ボタン 16bを押すと、包括削除できる状態〖こなる。この状態で、削除したい主虚像 Imが表示されている領域を補助虚像 I sの先端で取り囲むように指示棒 12を操作すると、取り囲まれた領域内の主虚像 Im が選択される。この状態で、上ボタン 16bを再度押すと、選択された複数の主虚像 Im が削除される。また、主虚像 Imが選択された状態で、下ボタン 16dを押すと、選択が解除される。

[0083] 残像表示設定モードでは、操作部 16の右ボタン 16cを押すと残像表示モードに設定され、左ボタン 16eを押すと残像表示モードが解除される。そして、上ボタン 16bを押すと残像表示時間が長くなり、下ボタン 16dを押すと残像表示時間が短くなる。残像表示設定モードの対象は、補助虚像 Isであるが、補助虚像 Isに関連付けられた主虚像 Imがある場合、関連付けられた主虚像 Imも、残像を表示する対象になる。 [0084] 接触判定設定モードでは、操作部 16の右ボタン 16cを押すと接触判定モードに設定され、左ボタン 16eを押すと接触判定モードが解除される。そして、上ボタン 16bを押すと、接触したことを、色の変化で知らせる設定になり、下ボタン 16dを押すと、接触したことを音で知らせる設定になる。なお、音で知らせる設定を用いない場合は、必要ないが、当該設定を用いる場合は、図 2において二点鎖線で示されている音源部 19aをコントロールユニットに設置すると共に、図 2において二点鎖線で示されているスピーカ 19bをヘッドマウント 11に設置する。

[0085] なお、接触判定設定モードにお!、て、接触判定モードに設定した状態で、上ボタン 16bまたは下ボタン 16dを 2回押すと、表示用座標系における指示棒 12の位置から当該指示棒 12の向きの延長方向上であって主虚像 Imとの交点となる位置がないと判定された場合に補助虚像 Isを表示しない設定にすることができる。

[0086] 次に、コントロールユニット 13について説明する。

[0087] コントロールユニット 13には、制御部 17と、画像表示部 18の映像光生成部 18aが搭載されている。

[0088] 制御部 17は、指示棒位置検出用受信部 14c、頭部位置検出部 15および操作部 1 6から入力される信号に基づいて、コントロールユニット 13の位置を原点とする基準座標系におけるヘッドマウント 11や指示棒 12、そして主虚像 Imおよび補助虚像 Isの位置及び向きを求める。コントロールユニット 13は腰に装着されるものであり、腰の位置は使用者 Mの姿勢を示す基本位置であるので、基準座標系の原点の位置として好適である。そして、求められた各位置及び向きの情報は、映像光生成部 18aへと入力される。

[0089] また、制御部 17は、操作部 16から入力される信号に基づいて、主虚像 Imや補助虚像 Isの位置及び向きを求める処理の他、たとえば主虚像 Imの位置の移動、新たな主虚像 Imの表示、表示されていた主虚像 Imの削除などがあった場合、移動後の位置や新たに表示された主虚像 Imの位置を求めたり、削除したりすることについての処理を行なう。なお、補助虚像 Isの形状の変更などについては、後述する映像光生成部 18aにおいて処理される。

[0090] 図 4に示されるように、映像光生成部 18aは、表示すべき主虚像 Imや補助虚像 Isを含む画像の画像情報を制御部 17からの信号に基づいて生成する映像信号供給回路 21 (画像情報生成器の一例に相当）と、映像信号供給回路 21により生成された画像情報に応じた光束を生成する、光源部 30および光合成部 40からなる光束生成器とを備えている。

[0091] 映像信号供給回路 21には、使用者の視野内に表示される主虚像 Imや補助虚像 I sの基準座標系における位置及び向きなど、主虚像 Imや補助虚像 Isに関する、いわゆる映像信号 Sが制御部 17から入力される。映像信号供給回路 21は、入力された信号に基づいて、表示画像を合成するための要素となる各信号を発生する。具体的には、映像信号供給回路 21では、青 (B)、緑 (G)、赤 (R)の各映像信号 22a〜22c などの画像情報が生成され、 3つの映像信号 (B, R, G) 22a〜22cをそれぞれ光束にする後述の光源部 30と、これらの 3つの光束を 1つの光束に結合して任意の光束を生成するための後述の光合成部 40を介して光走査部 18bに出力される。また、映像信号供給回路 21は、水平同期信号 23、垂直同期信号 24及び奥行き信号 25などが光走査部 18bに出力される。

[0092] 映像信号供給回路 21では、次のようにして主虚像 Imや補助虚像 Isを含む画像を表示するための画像情報を生成する。

[0093] 主虚像 Imは、指示棒 12を用いて移動させたりしなければ実空間内に静止状態で存在しているように表示されるものである。ただし、使用者 Mが移動すると、ヘッドマウント 11の位置が移動するので、ヘッドマウント 11に対する主虚像 Imの相対位置は変化する。このように、基準座標系上の位置は移動していなくても、表示用座標系上の位置が変化することがある。したがって、映像信号供給回路 21では、制御部 17から入力される基準座標系における主虚像 Imの位置及び向きの情報と、ヘッドマウント 1 1の位置及び向きの情報とに基づ、て、表示座標系における主虚像 Imの位置を求め、求めた位置の情報を用いて、主虚像 Imを含む画像を表示するための画像情報を生成する。

[0094] なお、図 1 (a)、（b)又は図 3に示されるように、本実施形態では、表示用座標系として、正面方向が Z軸、頭頂方向が Y軸、右瞳孔力左瞳孔に向力う方向が X軸であり、両瞳孔中心が原点である座標系が用いられている。つまり、表示用座標系の Z軸、 Y軸及び X軸の向きは、使用者 Μが向きを変えると、その変化に伴って変化する。このような表示用座標系において、たとえば、指示棒 12の表示位置及び向きは、指示棒 12中の所定点 (たとえば指示棒 12の先端)の座標 (X, Υ、 Ζ)と、各座標軸となす角度（θ χ、 0 y、 0 z)とで特定される。

[0095] 補助虚像 Isは、指示棒 12の延長上に表示されるものであり、使用者 Mの視野内を移動するものである。このような移動状態の補助虚像 Isを表示させるには、移動状態の補助虚像 Isの各時点での位置及び向きを特定する必要がある。映像信号供給回路 21では、各時点での基準座標系における補助虚像 Isの位置及び向きと、ヘッドマゥント 11の位置及び向きの情報に基づ、て、各時点での補助虚像 Isの表示用座標系における位置及び向きを求める。このようにして各時点における補助虚像 Isの位置を特定すれば、上記静止状態の補助虚像 Isを表示する場合と同様の処理を行なうことによって、移動状態の補助虚像 Isを含む画像を使用者 Mの視野に表示させるための画像情報を生成することができる。

[0096] なお、主虚像 Imも指示棒 12による操作によって移動するものであるが、移動状態の主虚像 Imについては、移動状態の補助虚像 Isと同様に取り扱うことができるので、その説明を省略する。

[0097] 図 6 (a)に示されるように、使用者 Mの視野に表示される補助虚像 Isとしては、例えば、表示用座標系における前記指示棒 12の先端位置力その向きの延長方向上の所定位置まで連続的に延在させた補助虚像 Is 1がある。また、図 7 (a)に示されるように、補助虚像 Isとしては、表示用座標系における前記指示棒 12の先端位置からその向きの延長方向上の所定位置まで断続的に延在させた補助虚像 Is2がある。さらに、補助虚像 Isとしては、表示用座標系における指示棒 12の先端位置力も指示棒 12の向きの延長方向上であって主虚像 Imとの交点となる位置に表示される点状の補助虚像 Is3がある。映像信号供給回路 21には、指示棒 12の操作部 16での操作に対応した信号が制御部 17を経へて入力されるようになっている。映像信号供給回路 21は、この信号に基づいて、対応する補助虚像 Isを含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0098] また、先にも説明したように、操作部 16では、補助虚像 Isの長さや幅を変更する操作をすることができる。映像信号供給回路 21には、指示棒 12の操作部 16での操作に対応した信号が制御部 17を経へて入力されるようになっており、映像信号供給回路 21は、この信号に基づいて、対応する補助虚像 Isを含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0099] なお、操作部 16での操作によって、補助虚像 Isと関連付けられた主虚像 (ここでは、関連主虚像という) Imが生じた場合、先にも説明したように、関連主虚像 Imは、補助虚像 Isと一体的に移動するように扱う。関連付けの操作が行なわれた場合、操作部 16から制御部 17に関連付け操作に関する信号が入力される。制御部 17では、関連主虚像 Imは補助虚像 Isと一体的に移動するものとして、基準座標系における位置及び向きを求める。つまり、関連主虚像 Imについては、補助虚像 Isと同様、指示棒 1 2の基準座標系における位置及び向きに基づいて、その位置及び向きを求めること力 Sできる。映像信号供給回路 21では、制御部 17で求められた基準座標系における関連主虚像 Imの位置及び向きの信号に基づ、て、関連主虚像 Imを含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0100] また、残像表示モードが設定されている場合、指示棒 12の位置及び向きの変化によって表示用座標系上で移動する補助虚像 Isの軌跡が所定時間残像として表示される。残像表示モードが設定されていることおよび設定の内容については、指示棒 1 2の操作部 16から制御部 17を経て映像信号供給回路 21に入力される。映像信号供給回路 21では、この信号に基づいて、残像を含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0101] また、接触判定モードが設定されている場合に、表示用座標系上で補助虚像 Isの一部が主虚像 Imの一部と接触したと判定されると、補助虚像 Is又は主虚像 Imの色が変更される。接触判定モードが設定されていることおよび設定の内容については、指示棒 12の操作部 16から制御部 17を経て映像信号供給回路 21に入力される。映像信号供給回路 21では、この信号に基づいて、色が変化した状態の補助虚像 Isまたは主虚像 Imを含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0102] また、表示用座標系における指示棒 12の位置から当該指示棒 12の向きの延長方向上であって主虚像 Imとの交点となる位置がないと判定したときに補助虚像 Isを表示しない設定にすることができる。この設定になっている状態で、制御部 17によって当該判定がなされると、当該判定がなされたことが、制御部 17から映像信号供給回路 21に入力される。映像信号供給回路 21では、この信号に基づいて、補助虚像 Is を表示しない状態の画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0103] また、表示用座標系における指示棒 12の位置から当該指示棒 12の向きの延長方向上であって主虚像 Imとの交点となる位置がないと判定すると、その旨を報知する虚像 (011 (b)参照）を表示する設定にすることができる。この設定になって!/、る状態で、制御部 17によって当該判定がなされると、当該判定がなされたことが、制御部 17から映像信号供給回路 21に入力される。映像信号供給回路 21では、この信号に基づ、て、報知虚像を含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0104] また、指示棒 12の操作部 16では、補助虚像 Isの色を設定することができる。色の変更があった場合、色が変更されたことを示す信号が指示棒 12の操作部 16から制御部 17を経て映像信号供給回路 21に入力される。映像信号供給回路 21では、この信号に基づ!ヽて、設定された色の補助虚像 Isを含む画像を使用者 Mの視野に表示させるための画像情報を生成する。

[0105] また、映像光生成部 20は、映像信号供給回路 21から出力された 3つの映像信号（ B, R, G) 22a〜22cをそれぞれ光束にする光源部 30と、これらの 3つの光束を 1つの光束に結合して任意の光束を生成するための光合成部 40を備えている。

[0106] 光源部 30は、青色の光束を発生させる Bレーザ 34および Bレーザ 34を駆動する B レーザ駆動回路 31と、緑色の光束を発生させる Gレーザ 35および Gレーザ 35を駆動する Gレーザ駆動回路 32と、赤色の光束を発生させる Rレーザ 36および Rレーザ 36を駆動する Rレーザ駆動回路 33とを備えている。なお、各レーザ 34, 35, 36は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、光束の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて光束の強度変調を行う必要がある。

[0107] 光合成部 40は、光源部 30から入射するレーザ光を平行光にコリメートするように設けられたコリメート光学系 41, 42, 43と、このコリメートされたレーザ光を合成するためのダイクロイツクミラー 44, 45, 46と、合成された光を光ファイバ一 120に導く結合光学系 47とを備えている。

[0108] 各レーザ 34, 35, 36から出射したレーザ光は、コリメート光学系 41, 42, 43によつてそれぞれ平行化された後に、ダイクロイツクミラー 44, 45, 46〖こ入射される。その後、これらのダイクロイツクミラー 44, 45, 46により、各レーザ光が波長に基づいて選択的に反射 '透過させられる。

[0109] 具体的には、 Bレーザ 34から出射した青色レーザ光は、コリメート光学系 41によつて平行光化された後に、ダイクロイツクミラー 44に入射させられる。 Gレーザ 35から出射した緑色レーザ光は、コリメート光学系 42を経てダイクロイツクミラー 45に入射させられる。 Rレーザ 36から出射した赤色レーザ光は、コリメート光学系 43を経てダイク口イツクミラー 46に入射させられる。

[0110] それら 3つのダイクロイツクミラー 44, 45, 46にそれぞれ入射した 3原色のレーザ光は、波長選択的に反射または透過して結合光学系 47に達し、集光され光ファイバ一 120へ出力され、光走査部 18bへと出力される。

[0111] 光走査部 18bは、先に説明したように、ヘッドマウント 11に搭載されているものである。

[0112] この光走査部 18bは、映像光生成部 18aで生成された光束を画像表示のために水平方向及び垂直方向に走査する走査部 51と、この走査部 51によって走査された表示用走査光束を再度収束し、使用者 Mの瞳孔 Eへ出射するリレー光学系 90aとを備えている。

[0113] 走査部 51は、光合成部 40から出射された光束の波面曲率を変調するための波面変調部 60と、波面曲率が変調された光束を水平方向に走査する水平走査部 70と、この水平走査部 70によって水平方向に走査された光束を収束する第 2のリレー光学系 75と、第 2のリレー光学系 75を介して入射されるレーザ光束を垂直方向に走査する垂直走査部 80とを備えて、る。 [0114] 波面変調部 60は、映像光生成部 18aから光ファイバ一 120によって伝搬された光束を再度平行光にコリメートする第 2のコリメート光学系 61と、このようにコリメートされた光束を、透過光と、透過光の垂直方向に反射された反射光とに分離するビームスプリッタ 62と、ビームスプリッタ 62に反射された光束を収束する焦点距離 fの正の屈折力を持つレンズ系 63と、レンズ系 63に収束された光束を入射方向に反射する可動ミラー 64とを備えている。

[0115] この波面変調部 60は、さらに、可動ミラー 64を、レンズ系 63に接近させるか又はレンズ系 63から離れる向きに変位させる波面変調駆動回路 65を備えている。

[0116] 以上のように構成された波面変調部 60においては、映像光生成部 18aから入射した光束がビームスプリッタ 62で反射し、レンズ系 63を通った後、可動ミラー 64で反射する。そして、再度、レンズ系 63を通った後に、ビームスプリッタ 62を透過して水平走查部 70へ出射される。

[0117] この波面変調部 60は、波面変調駆動回路 65によって、レンズ系 63と可動ミラー 64 との間隔を変更することによって、第 2のコリメート光学系 61から入射して水平走査部 70へ向力光束の波面曲率を変更することができる。このように、波面変調部 60を備えているので、波面変調を行うことで、指示棒 12の延長上に主虚像 Imや補助虚像 Is などの虚像を表示するとき、主虚像 Imや補助虚像 Isなどの虚像を実空間に存在するように使用者 Mに視認させることができる。たとえば補助虚像 Isの表示では、指示棒 1 2の延長方向の奥行き距離に応じた波面変調を行う。なお、この波面変調駆動回路 65は、映像信号供給回路 21から出力される奥行き信号 25に基づいて駆動する。

[0118] また、水平走査部 70及び垂直走査部 80は、波面変調部 60から入射された光束を画像として投影可能な状態にするために、水平方向と垂直方向に走査して表示用走查光束とするものである。

[0119] 水平走査部 70は、光束を水平方向に走査するためのポリゴンミラー 71と、このポリゴンミラー 71を駆動させる水平走査駆動回路 72とを有しており、垂直走査部 80は、光束を垂直方向に走査するためのガルバノミラー 81と、このガルバノミラー 81を駆動させる垂直走査駆動回路 82とを備えている。なお、水平走査駆動回路 72と垂直走查駆動回路 82は、映像信号供給回路 21から出力される水平同期信号 23と垂直同期信号 24に基づヽてそれぞれ駆動する。

[0120] また、水平走査部 70と垂直走査部 80との間での光束を中継する第 2のリレー光学系 75を備えており、波面変調部 60から入射した光束は、ポリゴンミラー 71によって水平方向に走査され、第 2のリレー光学系 75を通って、ガルバノミラー 81によって垂直方向に走査されて、表示用走査光束として、リレー光学系 90aへ出射される。

[0121] リレー光学系 90aは、正の屈折力を持ったレンズ系 91a, 94aを有している。垂直走查部 80から出射された表示用走査光束は、レンズ系 91aによって、それぞれの光束がその光束の中心線を相互に平行にされ、かつそれぞれ収束光束に変換される。そして、レンズ系 94aによって各光束がほぼ平行になると共に、これらの光束の中心線が使用者 Mの瞳孔 Eに収束するように変換される。

[0122] 以上、説明してきた本実施形態の画像表示装置によれば、使用者 Mは、ヘッドマウント 11を装着した状態で外界を視認できると同時に、光学系によって網膜 Fに投射される画像光によって表示される主虚像 Imおよび補助虚像 Isを視認することができる。

[0123] 次に、このような画像表示装置の使用状態について説明する。

[0124] 図 1に示されるように、使用者 Mは、まず、ヘッドマウント 11を頭部 Hに装着すると共に、腰にコントロールユニット 13を装着する。そして、指示棒 12を把持する。

[0125] 図 3に示されるように、この状態で、使用者 Mの眼には、外界からの光 Z2が入射しており、外界の様子を視認できる。そして、この状態で、実施形態の画像表示装置を作動させると、使用者 Mの眼に、画像表示装置によって生成された画像光 Z1が入射し、使用者 Mは、表示される画像を視認することができる状態になる。

[0126] 例えば、図 5 (a)に示されるように、視野に、主虚像 Imlが表示されている状態を考える。

[0127] 主虚像 Imlは、基準座標系の所定位置に静止状態で位置されているものである。

つまり、使用者 Mにとつては、主虚像 Imlは、視野に存在する実像と同様に静止しているように見える。したがって、例えば、図 5 (b)に示されるように、主虚像 Imlの方を向いた状態から図 5 (c)に示されるように、別の方向を向くと、主虚像 Imlはヘッドマゥント 11に搭載された光走査部 18bから投射した画像光 Z1によって表示されて、る画像であるにもかかわらず、あた力も実在する静止状態の物体のように視界から消える。

[0128] このとき、制御部 17では、静止状態である主虚像 Imlについては、基準座標系における位置が固定されているものとして扱っている。また、制御部 17は、頭部位置検出部 15で検出されたヘッドマウント 11の基準座標系における位置及び向きに基づ V、て、ヘッドマウントを装着した使用者 Mの視野の向きを求めて、る。

[0129] そして、ここで求めた、この時点における使用者 Mの視野の所定点を原点とする座標系を表示用座標系としている。そして、この座標系における主虚像 Imlの位置及び向きを求め、その位置に主虚像 Imlを表示する。このようにすると、主虚像 Imlがあた力も実在する物体と同様に実空間に静止しているかのように表示される。これは、補助虚像 Isについても同様である。

[0130] ここで、使用者 Mが指示棒 12を使って、主虚像 Imlを操作することを考える。例えば、視野にある主虚像 Imlを移動させる場合は、使用者 Mは、まず、モード選択ボタン 16aを押して、主虚像操作モードを選択する。ここで、移動させたい主虚像 Imlが 1 つであれば、右ボタン 16cを押して単独選択できる状態にする。この状態で、上ボタン 16bを押すと、補助虚像 Isで指し示す主虚像 Imを操作対象の主虚像 Imlとして選択することができる。そして、図 8 (b)において破線で示されるように、主虚像 Imlが選択された状態で、指示棒 12を動かすと、選択された主虚像 Imlが指示棒 12や補助虚像 Islと共に、使用者 Mの視野内を一体的に移動する。

[0131] また、所定領域にある主虚像 Imを包括選択したい場合は、左ボタン 16eを押して、包括選択できる状態にする。この状態で、上ボタン 16bを押すと、選択したい所定領域 A (図 9参照）を補助虚像 Isの先端で取り囲むことができる状態になる。そこで、図 9 に示されるように、指示棒 12を操作すると、取り囲まれた領域内の主虚像 Iml, Im2 が選択される。この状態で、上ボタン 16bを押した状態を解除すると、複数の主虚像 I ml, Im2の選択が確定され、選択された主虚像 Iml, Im2の色が変わる。そして、選択が確定された状態で、指示棒 12を動かすと、選択された主虚像 Iml, Im2を、指示棒 12および補助虚像 Isと共に使用者 Mの視野内で一体的に移動させることができる。

[0132] また、本実施形態の画像表示装置は、種々の機能を備えて、る。たとえば、残像表示設定モードにっ、て説明する。

[0133] 使用者 Mは、モード選択ボタン 16aを押すことで、モードを変更できるので、これにより、残像表示設定モードを選択する。そして、残像表示設定モードを選択した状態で、操作部 16の右ボタン 16cを押すと残像表示モードに設定される。このようにして残像表示モードにすると、補助虚像 Isを移動させたときに、補助虚像 Isの映像が残像として所定時間残る。このように、残像が残るようにすると、補助虚像 Isの微妙な位置調整を容易に行なうことができる。

[0134] また、使用者 Mは、接触判定設定モードを選択する場合 (図 10参照）は、当該モードにした状態で、操作部 16の右ボタン 16cを押す。すると、接触判定モードが設定される。そして、たとえば、上ボタン 16bを押すと、接触したことを、色の変化で知らせる設定になる。この状態で、指示棒 12を動かすと、これに伴い補助虚像 Isが動く。そして、補助虚像 Isの一部が主虚像 Imとぶっカゝると、補助虚像 Isの色が変わる。制御部は、補助虚像 Isおよび主虚像 Imの基準座標系における位置及び向きを随時求めており、これらのデータと補助虚像 Isや主虚像 Imの形状に基づいて、両者が接触した状態であるか否かを求めることができるようになって!/、る。このようにして両者が接触したことが求められると、補助虚像 Isの色を変化させる。したがって、補助虚像 Isの色の変化に着目すること〖こより、補助虚像 Isによって主虚像 Imを選択できる状態であることを簡単に認識することができる。

[0135] また、使用者 Mは、補助虚像選択モードにおいて、操作部 16の右ボタン 16cまたは左ボタン 16e押していくことで、順次、図 6 (a)に示される一本の棒状に連続的に表示される補助虚像 Isl、図 7 (a)に示される断続的に表示される補助虚像 Is2、または図 11 (a)に示される点状に示される補助虚像 Is3を選択できる。

[0136] また、補助虚像操作モードで、下ボタン 16dを押すと、図 7 (b)に示されるように、補助虚像 Islの長さを短くすることができ、上ボタン 16bを押すと、補助虚像 Islを長くすることができる。また、右ボタン 16cを押すと、図 8 (a)に示されるように、補助虚像 Isl を細くすることができ、左ボタン 16eを押すと、補助虚像 Islを太くすることができる。

[0137] また、補助虚像色設定モードで、操作部 16の右ボタン 16cまたは左ボタン 16eを押すと、順次、補助虚像 Isの色として異なる色を設定できる。 [0138] 以上、本発明に係る画像表示装置について説明したが、本発明は上記実施例に限られるものではなぐ種々改変できる。

[0139] たとえば、上記実施形態の画像表示装置では、基準座標系の原点は観察者の腰に装着されるコントロールユニットの所定点になっている。原点すなわち所定の基準点としては、位置検出誤差をできるだけ少なくするという観点では、動きが安定している位置が好ましいといえる。そして、腰位置は、観察者である人間のなかで最も動きが安定していると考えられる点で、原点位置として好ましいが、これ以外の点を原点としてもよい。例えば、観察者手首の所定点を原点としてもよい。腰の位置よりも複雑な動きをする位置であるが、視野内に手首を翳すと、手首に固定された如く表示像が提示される。

[0140] なお、基準座標系の原点すなわち所定の基準点は、腰に装着されるコントロールュニットの所定点やヘッドマウントの所定点以外の位置であっても、実空間上の所定点であればよい。ただし、実空間上の所定点を基準座標系の原点として用いる場合は、当該原点とヘッドマウントやコントロールユニットの位置との位置関係をできるだけ正確に求める必要がある。

[0141] また、上記実施形態の画像表示装置は、観察者の腰に装着されるコントロールュ- ットに指示棒位置検出用受信部が搭載されており、観察者は自由に移動できるが、例えばヘッドマウントを装着した状態で所定の座席に着席して使用するような画像表示装置や、観察者の視野が固定されており、たとえば観察者が覼き窓を覼き込むようにして使用する画像表示装置が考えられる。

[0142] そして、前者のような画像表示装置では、観察者が着席する座席の位置などの固定点を三次元座標系の原点として使用することができる。この場合、原点は、常に座席位置であるので、この位置を基準として指示棒の位置及び向きを特定すればよ!、。したがって、観察者の移動位置を特定する必要がなぐ指示棒位置検出用受信部をコントロールユニットに搭載しなくてもよい。

[0143] また、後者のような画像表示装置では、観察者が覼き窓を覼き込むようにして使用される画像表示装置であり、観察者の視野が固定されている画像表示装置では、観察者の視野の所定点を座標系の原点として使用することができる。この場合、表示用座標系そのものが基準座標系になり、この原点を基準として指示棒の位置及び向きを特定すればよい。したがって、この場合も、観察者の移動位置を特定する必要がなぐ指示棒位置検出用受信部をコントロールユニットに搭載しなくてもよい。また、上記実施形態のヘッドマウントのような頭部ユニット部を用いない構成にすることができる。

Claims

請求の範囲

[1] 外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、

位置及び向きを変更可能な指示器と、

前記指示器の位置及び向きを検出する指示器検出部と、

前記指示器の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づ、た画像光を前記観察者の網膜に投射する画像表示部と、

を備えたことを特徴とする画像表示装置。

[2] 前記指示器検出部は、

前記表示用座標系における前記指示器の位置及び向きを検出し、

前記画像表示部は、

前記表示用座標系における前記指示器の位置からその向きの延長上に補助虚像を、表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成する画像情報生成器と、

前記画像情報生成器により生成された前記画像情報に応じた光束を生成する光束生成器と、

前記光束を前記観察者の網膜へ投射する光学系と、を備えたことを特徴とする請求項 1に記載の画像表示装置。

[3] 観察者の頭部に装着する頭部装着部を備え、前記画像表示部のうち少なくとも前記光学系を前記頭部装着部に配置したことを特徴とする請求項 2に記載の画像表示装置。

[4] 前記頭部装着部の位置及び向きを検出する頭部位置検出部を設け、

前記画像情報生成器は、

前記主虚像を所定の基準点を中心とした基準座標系上の所定位置に配置し、前記基準座標系上の前記頭部装着部の位置及び向きの変化に応じて前記表示用座標系における前記主虚像の位置及び向きを変更すると共に、前記基準座標系上の前記頭部装着部及び前記指示器の位置及び向きの変化に応じて前記表示用座標系における前記補助虚像の位置及び向きを変更した前記画像情報を生成することを特徴とする請求項 3に記載の画像表示装置。

[5] 前記所定の基準点は、実空間上の所定点であることを特徴とする請求項 4に記載の画像表示装置。

[6] 前記観察者である人体を構成する前記頭部以外の部位に装着する基準ユニットを設け、

前記基準ユニットを前記所定の基準点とすることを特徴とする請求項 4に記載の画像表示装置。

[7] 前記画像情報生成器は、

前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで連続的に延在させて配置した画像情報を生成することを特徴とする請求項 2に記載の画像表示装置。

[8] 前記画像情報生成器は、

前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで断続的に延在させて配置した画像情報を生成することを特徴とする請求項 2に記載の画像表示装置。

[9] 前記補助虚像の長さを設定する補助虚像長設定部を設け、

前記画像情報生成器は、

前記補助虚像長設定部によって前記補助虚像の長さが設定されると、当該設定された長さに応じた前記所定位置まで延在する前記補助虚像を配置した画像情報を生成することを特徴とする請求項 7に記載の画像表示装置。

[10] 前記補助虚像の幅を設定する補助虚像幅設定部を設け、

前記画像情報生成器は、

前記補助虚像幅設定部によって前記補助虚像の幅が設定されると、当該設定された幅に応じた幅の前記補助虚像を配置した画像情報を生成することを特徴とする請求項 7に記載の画像表示装置。

[11] 前記主虚像を指定する主虚像指定操作部を設け、前記画像情報生成器は、

前記主虚像指定操作部によって指定された主虚像と前記補助虚像とを関連付け、前記表示用座標系における前記補助虚像の位置及び向きの変更に応じて前記主虚像の位置及び向きを変更することを特徴とする請求項 7に記載の画像表示装置。

[12] 前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡内に存在する前記主虚像を特定する主虚像選択範囲特定部を設け、

前記画像情報生成器は、

前記主虚像選択範囲特定部で特定された前記主虚像の色を変更することを特徴とする請求項 7に記載の画像表示装置。

[13] 前記画像情報生成器は、

前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡を所定時間残像とする画像情報を生成することを特徴とする請求項 12に記載の画像表示装置。

[14] 前記画像情報生成器は、

前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、前記補助虚像又は前記主虚像の色を変更した画像情報を生成することを特徴とする請求項 7に記載の画像表示装置。

[15] 前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、音でその旨を報知する音源部を備えたことを特徴とする請求項 7に記載の画像表示装置。

[16] 前記画像情報生成器は、

前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置に前記補助虚像を配置した画像情報を生成することを特徴とする請求項 2に記載の画像表示装置。

[17] 前記画像情報生成器は、

前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がな!、と判定すると、前記補助虚像を表示しない前記画像情報を生成することを特徴とする請求項 2に記載の画像表示装置

[18] 前記画像情報生成器は、

前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、その旨を報知する虚像を前記主虚像と共に表示用座標系上に配置した画像情報を生成することを特徴とする請求項 2に記載の画像表示装置。

[19] 前記光学系は、前記光束の波面を変調する波面変調部を有するものであり、指示器の延長方向の奥行きに応じた波面変調を行うことを特徴とする請求項 1に記載の画像表示装置。

[20] 前記補助虚像の色を設定する補助虚像色設定部を設け、

前記画像情報生成器は、

前記補助虚像色設定部によって前記補助虚像の色が設定されたと判定すると、当該設定された色の前記補助虚像を前記主虚像と共に配置した画像情報を生成することを特徴とする請求項 2に記載の画像表示装置。

[21] 前記指示器検出部は、

前記指示器に設けられた交流磁界発生器から発生する交流磁界を検出するための少なくとも 3つの直交コイルを有し、前記交流磁界発生器から発生する交流磁界の前記 3つの直交コイルによる検出強度に基づいて、前記指示器の位置及び向きを検出することを特徴とする請求項 1に記載の画像表示装置。

[22] 前記光学系は、前記光束を 2次元的に走査する走査部を有し、当該走査部によつて走査された光束を前記観察者の網膜へ投射する網膜走査型の画像表示装置であることを特徴とする請求項 1に記載の画像表示装置。