JP3566369B2

JP3566369B2 - 観察光学装置

Info

Publication number: JP3566369B2
Application number: JP33606394A
Authority: JP
Inventors: 威志西村; 章市山崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-12-22
Filing date: 1994-12-22
Publication date: 2004-09-15
Anticipated expiration: 2019-09-15
Also published as: JPH08179238A

Description

【０００１】
【産業上の利用分野】
本発明は観察光学装置に関し、特に観察者が頭部に装着して表示手段に表示した文字や映像等の画像を拡大した虚像として、又は該虚像と外界の画像を空間的に重畳して双方を同一の観察視野で観察できるヘルメット型ディスプレイ装置或は眼鏡型ディスプレイ装置等に好適なものでる。
【０００２】
【従来の技術】
従来より、観察者が頭部に装着して表示手段に表示した文字や映像等の画像を拡大して観察できる観察光学装置が種々提案されており、その中には使い勝手を良くする為に観察する画像の見かけの大きさ（観察画角）を変えられるものがある。
【０００３】
例えば特開平６−３８１４４号公報では観察光学装置に観察画角を変える手段を設け、観察者の意志で観察画角を可変できる観察光学装置を開示している。
【０００４】
図７は同公報に開示している観察光学装置の構成図である。図中、１０１は観察者、１０２は観察者眼球、１０３は２次元画像の表示素子、１０４は大画角用の接眼光学系であり、通常は光路外に退避している。１０５は普通画角用の接眼光学系である。
【０００５】
この観察光学装置の作用について説明する。観察者１０１は通常、２次元画像の表示素子１０３に表示されている画像を普通画角用の接眼光学系１０５を用いて観察している。そして観察者の好みや観察画像の種類に応じて、接眼光学系１０５を大画角用の接眼光学系１０４に交換し、更に表示素子１０３の位置も移動して、観察画角を変更して表示素子１０３に表示した画像を観察する。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の従来例において開示している表示画像の観察画角を可変とする構成においては、観察画角を変更するに際して、接眼光学系あるいはリレー光学系を交換するとか、ツマミ等によってズームレンズを駆動する等のマニュアル操作を必要とし、操作性に問題があった。
【０００７】
また、外界の景色に文字や映像等の別の表示画像を重ねて観察する観察光学装置においては、外界の状況等に応じて、表示画像の大きさのみならず、表示画像の表示位置を変えられることが望まれるが、以上の従来例ではかかる機能は備わっていなかった。
【０００８】
本発明は、表示面に表示した画像を虚像として観察中に表示面に表示した画像の大きさ及びその表示位置を、或は外界画像の中に表示面に表示した画像を空間的に重ねて観察中に、観察者の好みに応じて或は外界の状況等に応じてオーバーラップする虚像の大きさ及び表示位置を、観察者の視線を利用して画面中の特定位置に自由に変更することができる、操作性が極めて優れた観察光学装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明の観察光学装置は、
（１−１）表示面上に画像を表示する表示手段と、観察者の前方に該画像の虚像を形成する画像観察光学系と、該観察者の視線情報を検知する視線検知手段とを有する観察光学装置において、
該視線検知手段が検知する該観察者の視線情報によって該表示面上の画像を表示する部分の大きさ及び表示位置を制御すること等を特徴としている。
【００１０】
又、
（１−２）表示面上に画像を表示する表示手段と、観察者の前方の外界映像の中に該画像の虚像を形成する観察光学系と、該観察者の視線情報を検知する視線検知手段とを有する観察光学装置において、
該視線検知手段が検知する該観察者の視線情報によって該表示面上の画像を表示する部分の大きさ及び表示位置を制御すること等を特徴としている。
【００１１】
特に、
（１−２−１）遮蔽部材により前記外界映像中で前記画像の虚像と重なる部分を遮蔽すること。
（１−２−２）前記観察者の視線が或る一定時間、略一定方向に固定されているか否かを判別する判別手段を有すること。
等を特徴としている。
【００１６】
【実施例】
図１は本発明の実施例１の光学系の要部概略図である。図１（Ａ）は実施例１の観察光学系を説明する図であり、図１（Ｂ）は実施例１の視線検知光学系を説明する図を示しており、いずれも光路を記入している。
【００１７】
図中、４は表示手段であり、その表示面の上に可視領域の光でもって文字や絵等の画像を表示する。１０は平板状のプリズムであり、２つのプリズムを接合して構成しており、その接合面７には可視光を透過し、視線検知用の光（赤外光）を反射するダイクロイックミラ−を設置している。又、１３はその側端面である。
【００１８】
３Ａは第１の光学部材である。第１の光学部材３Ａは平面より成る面５、平面又は非球面より成る一部に全反射を利用した面１、そして半透過又は鏡面反射の球面又は非球面より成る凸面２ａを有している。本実施例では凸面２ａは半透過面（ハーフミラー）となっている。３Ｂは第２の光学部材である。第２の光学部材３Ｂは透明又は非透明の平面又は曲率を有した面６、そして凸面２ａと同形状で半透過又は鏡面反射の球面又は非球面より成る凹面２ｂとを有している。そして第１の光学部材３Ａの面２ａと第２の光学部材３Ｂの面２ｂとは接合して，全体として１つのプリズムブロック３を構成している。なお、接合面２はハーフミラー面となっている。
【００１９】
８は視線検出用の結像レンズ、９はＣＣＤよりなる撮像素子、１２は観察者の眼球Ｅの視線を検出する為の光源であり、非可視光（赤外光）を射出して観察者の眼球Ｅの前眼部を照射する。
【００２０】
１４は視線検出回路であり、観察者の眼球Ｅの視線情報を検出している。１５は判別手段であり、観察者の視線が或る一定時間、略一定方向に固定されているか否か等を判別している。１６は制御手段であり、画像情報源Ｓから画像信号を受け取り、判別手段１５からの視線情報に基づいて表示手段４の表示面に表示する画像の表示状態を制御して画像を表示している。
【００２１】
プリズム１０、第１の光学部材３Ａ等は画像観察光学系の一要素を構成している。又、画像観察光学系と第２の光学部材３Ｂは観察光学系の一要素を構成している。
【００２２】
次に、本実施例の観察光学系の作用を図１（Ａ）によって説明する。制御手段１６は画像情報源Ｓからの信号に基づいて表示手段４の表示面上に画像を表示する。表示手段４の表示面に表示した画像からの光束（可視光束）はプリズム１０のダイクロイックミラー面７を透過して、面５からプリズムブロック３に入射し、面１で全反射され、次にハ−フミラ−面２で反射されて収束し、次いで面１から射出し、観察者の瞳Ｏに入射する。そして観察者の前方に表示手段４で表示した画像の虚像Ｙが形成され、観察者は該表示手段４に表示された画像の虚像Ｙを観察することができる。
【００２３】
一方、外界の風景Ｇからの光束はプリズムブロック３の面６に入射し、ハーフミラー面２を透過して、面１から射出して観察者の瞳に達し、観察者は外界の画像として観察する。そして観察者は外界の画像の中に表示手段４で表示した画像の虚像Ｙを空間的に重ね合わされた映像として同一視野で観察する。
【００２４】
次に本実施例の視線検知光学系の作用を説明する。図１（Ｂ）において、光源１２の非可視光（赤外光）によって照明された観察者の眼Ｅの前眼部からの反射・散乱光はプリズムブロック３の面１に入射し、ハ−フミラ−面２で反射して面１に向かい、面１で全反射し、面５から射出し、プリズム１０に入射する。次いでダイクロイックミラー面７で反射し、プリズム１０の下面で全反射した後、面１３から射出する。次いで視線検出用の結像レンズ８を通って撮像素子９の上に前眼部の像を結像する。そして観察者の眼Ｅの角膜で反射した光はプルキンエ像を形成し、瞳孔で散乱した光は瞳孔像を形成する。撮像素子９から得られるプルキンエ像と瞳孔の画像をもとに視線検出回路１４によって観察者の視線方向を算出している。尚、このときの検知方法は例えば本出願人が特開平３−１０９０２９号公報に開示している方法が適用できる。
【００２５】
なお、光源１２、第１の光学部材３Ａ、プリズム１０、結像レンズ８、撮像素子９及び視線検出回路１４等は視線検知手段の一要素を構成している。
【００２６】
図２は本発明の実施例１のフローチャートである。本フローチャートは本発明に係る制御手段１６により観察者の眼球Ｅの視線情報によって外界画像の中に重ね合わせる表示画像の虚像Ｙの大きさ及び表示位置を任意に選択的に変更する手順を示すフロ−チャ−トである。
【００２７】
図３は実施例１において表示手段４の表示面上での画像を表示する際の選択できる表示領域、即ち表示サイズと表示位置の説明図である。実施例１において選択できる表示領域は５つの表示領域であり、図中、▲１▼〜▲４▼に対応する領域は夫々その数字の在る矩形の領域、即ち表示面の１／４の範囲であり、▲５▼に対応する領域は表示面のフルサイズに対応する領域である。
【００２８】
フローチャートについて説明する。なお、フローチャートの右に記載の図は各ステップにおいて観察者の前に提示される映像の説明図である。
【００２９】
本実施例は常に観察者の眼Ｅの視線がどこを向いているかを検知している。
【００３０】
ステップ２１：本発明の機能を作動させるためのスイッチのＯＮを行う。スイッチＯＮの切換えは、表示面内の特定箇所にスイッチマ−クを設け、通常の映像観察中にもこのスイッチマークを表示しておき、観察者が該スイッチマ−クの虚像を一定時間注視すると、視線検知手段及び判別手段１５がその状態を検出し、表示画像の切換え動作に入る。その具体的手順は次のとおりである：
（１）その時観察者が注視している方向を視線検知手段が検知する。
【００３１】
もし、その方向がスイッチマークの方向であれば、判別手段１５はこれを第１の視線情報としてその方向をメモリ−に記憶して（２）へ進む。
【００３２】
もし、その方向がスイッチマークの方向でなければ、観察者は表示画像の切換えは望んでいないと判断して（２）へは進まない。
【００３３】
（２）判別手段１５は或る一定時間経過した時点で、その時観察者が注視している方向を視線検知手段によって検知する。
【００３４】
もしその方向がメモリーに記憶しているスイッチマークの方向であれば、判別手段１５は観察者が一定時間スイッチマークを注視していたと判断して制御手段１６に信号を送り、ステップ２２へ進む（スイッチがＯＮの状態になる）。
【００３５】
もし、その方向がスイッチマークの方向でなければ（１）へ帰る。
【００３６】
これを繰り返すことにより観察者が一定時間スイッチマークを注視すれば確実に表示画像の切換え動作に入る。
【００３７】
ステップ２２：スイッチがＯＮの状態になると、制御手段１６は表示手段４の表示面に例えば図４に示す５つのポイントを表示した画像を表示する。観察者が視る映像は図２の２２ａに示す映像となる。
【００３８】
ステップ２３：表示領域を決定する。観察者は希望する表示領域を代表するポイントを一定時間注視する。視線検知手段及び判別手段１５は２２ａに示す映像中のポイントのどれを観測者が一定時間凝視しているかを判別する。その手順は次のとおりである：
（１）その時観察者が注視している方向を視線検知手段が検知し、判別手段１５はその方向が５つのポイントのいずれかのポイントの方向であるか判断し、いずれかのポイントの方向であればこれを第１の視線情報としてその方向をメモリ−に記憶する。
【００３９】
もし、いずれのポイントの方向でも無ければ、視線方向がいずれかのポイントに向く迄そのまま視線検知を継続する。
【００４０】
（２）判別手段１５は或る一定時間経過した時点で、その時観察者が注視している方向を視線検知手段によって検知し、これを第２の視線情報とする。
【００４１】
（３）判別手段１５は、この視線方向をメモリ−に記憶しているポイントの視線方向と比較する。
【００４２】
もし、２つの視線方向が合致しておれば、判別手段はこの方向のポイントが観察者が表示画像を表示したいと希望しているポイントであると判断して制御手段１６にその情報を出力し、ステップ２４へ進む。
【００４３】
もし、２つの視線方向が合致しなければ、（１）に戻る。
【００４４】
これを繰り返すことにより観察者が注視しているポイントが決定される。
【００４５】
このようにして観測者が或るポイントをある一定時間凝視していると該ポイントに対応する表示領域が一意的に決定される。
【００４６】
ステップ２４：制御手段１６は画像情報に適切な画像処理を施して画像の表示サイズ及び表示位置を変更して、ステップ２３で決定された表示領域に画像を表示する。例えば図３におけるポイント▲５▼が選択された時は表示面のフルサイズの大きさの画像を表示するし、もしポイント▲４▼が選択されている時には２４ａに示すように画像の大きさを表示面の１／４に変更して表示面の右下部に表示する。なお、スイッチマークはオーバーラップ部分とは別に、再び表示する。
【００４７】
これで表示画像の切換えは完了する。
【００４８】
以上のように本実施例では映像を観察中に外界の状況等に応じてオーバーラップする表示画像の虚像の大きさ及び表示位置を、観察者の視線を画面中の特定位置に向けるだけで変更でき、変更に際してマニュアル操作を要せず、操作性が極めて良好である。加うるに、本実施例では表示画像を観察するための画像観察光学系と視線を検知するための視線検知光学系を一部兼用することにより装置全体の小型化を達成している。
【００４９】
なお、上の例では表示領域の選択肢を５通りに限定したが、更に分割数を増やして観察者の選択肢を増やすことも出来る。
【００５０】
また、場合によってはスイッチＯＮの動作を手動で切換える構成としても良い。
【００５１】
図５は本発明の実施例２の光学系の要部概略図である。図５（Ａ）は実施例２の観察光学系を説明する図であり、図５（Ｂ）は実施例２の視線検知光学系を説明する図を示しており、いずれも光路を記入している。尚、図１に示す実施例１と同要素のものについては同記号としている。
【００５２】
実施例１と異なる点は第２の光学部材の面６の外界側に透過型の液晶１１（遮蔽部材）を配置して、外界からプリズムブロック３に入射する光束の一部、あるいは全体を遮蔽できるようにした点である。これによって外界の画像と表示画像の虚像Ｙとのオーバーラップを防止し、表示画像の虚像Ｙを鮮明に視ることができる。
【００５３】
又、プリズム１０、第１の光学部材３Ａ等は画像観察光学系の一要素を構成しており、画像観察光学系と第２の光学部材３Ｂ及び液晶１１等は観察光学系の一要素を構成している。光源１２、第１の光学部材３Ａ、プリズム１０、結像レンズ８、撮像素子９、視線検出回路１４等は視線検知手段の一要素を構成している。
【００５４】
本実施例における画像観察光学系による表示画像観察の作用及び視線検知光学系の作用は実施例１と同じである。
【００５５】
図６は本実施例のフロ−チャ−トである。これについて説明する。尚、フローチャートの右に記載の図は各ステップにおいて観察者の前に提示される映像の説明図である。
【００５６】
本実施例は常に観察者の眼球の視線がどこを向いているかを検知している。
【００５７】
ステップ６１：本発明の機能を作動させるためのスイッチのＯＮを行う。これは実施例１と同様に外界の画像にオーバーラップされる表示画像中の１か所にスポット状に表示されているスイッチマークの虚像を観察者が一定時間注視すると、視線検知手段及び判別手段１５がその状態を検出し、表示画像の切換え動作に入る。
【００５８】
ステップ６２：表示画像の表示サイズ情報を入力する。ここでは制御手段１６によって観察者が視る映像に例えば６２ａに示す表示画像の虚像が表示される。この表示画像は例えば表示面のフルサイズの矩形枠Ｓ_１、縦横各１／２サイズの表示枠Ｓ_２、縦横各１／４の表示枠Ｓ_３を同時に表示したものである。
【００５９】
各表示枠のコーナー（図では右上）には注視マークを設けている。観察者はこの表示画像の虚像の中から、希望する大きさの枠に付いている注視マークを或る一定時間注視すると、視線検知手段及び判別手段１５はこれを検知し、本実施例は観察者がこの表示サイズを選んだと判断して、表示サイズを決定し、その情報を制御手段１６に出力する。（その手順は実施例１のステップ２３で説明した手順と同様である）。このように限られた数個の大きさの枠から選択できるようにすると、微妙な設定は出来ないが観察者は素早く表示サイズを設定できる。例として観察者は枠Ｓ_２を選んだとする。
【００６０】
ステップ６３：表示画像の表示位置情報を入力する。制御手段１６は例えば外界の画像に６３ａに示す表示画像の虚像を表示する。これはフルサイズの表示面を適当な数の格子状の複数のエリアに分割したものである。そして観察者はこの格子の中で画像を表示したい位置（例えばｘ印の部分）を一定時間注視する。この時視線検知手段及び判別手段１５は次の手順で表示部置を決定する：
（１）その時観察者が注視している格子の中の位置を視線検知手段が検知し、判別手段１５はこれを第１の視線情報としてそのエリア番号をメモリ−に記憶する。
【００６１】
（２）判別手段１５は或る時間経過した時点で、その時観察者が注視している格子の中の位置を視線検知手段によって検知し、そのエリア番号を第２の視線情報とする。
【００６２】
（３）判別手段１５は、このエリア番号をメモリ−に記憶しているエリア番号と比較する。
【００６３】
２つのエリア番号が合致しておれば、判別手段１５はこのエリアが観察者が表示画像を表示したいと希望しているエリアであると判断してその情報を制御手段１６に出力し、ステップ６４へ進む。
【００６４】
もし、２つのエリア番号が合致しなければ、記憶していたエリア番号に変えて今回のエリア番号をメモリ−に記憶して（２）に戻る。
【００６５】
これを繰り返すことにより観察者の希望する表示位置が決定される。この手順によって位置情報の入力状態になってから、観察者が多少視線をずらしたとしても希望するエリア近傍を或る一定時間凝視していれば位置情報を確実に入力でき、誤入力を防ぐことができる。
【００６６】
ステップ６４：制御手段１６は観察者が指定した表示位置を中心として、指定した大きさの表示画像を表示することが可能か否かを判別する。
【００６７】
観察者が指定した位置を中心として、指定した大きさの表示画像を表示できる場合には、これを表示領域と決定してステップ６５へ進む。
【００６８】
もし、６４ａに示すように観察者が指定した位置を中心として表示すれば、表示画像Ｐ_１が表示面からはみ出す場合にはステップ６６へ進む。
【００６９】
ステップ６６：ここでは表示画像Ｐ_１の表示位置をシフトさせる演算を行う。即ち先に指定された表示画像Ｐ_１の大きさは保存したまま、表示位置を最少限シフトして、指定した大きさの表示画像を希望した位置に近く表示する表示領域Ｐ_２を決定する。
【００７０】
ステップ６５：選択して決定された表示画像の虚像に外界の画像が干渉しないように、制御手段１６は６５ａに示すように液晶１１中の画像オーバーラップ部分の光透過率を０にして、外界の画像のその部分を遮蔽する。
【００７１】
ステップ６７：制御手段１６は画像情報に適切な画像処理を施して、画像の表示サイズ及び表示位置を変更してステップ６４、６６で決定された表示領域に画像を表示する。なお、スイッチマークは画像のオーバーラップ部分とは別に、再び表示する。
【００７２】
これで表示画像の切換えは完了する。
【００７３】
以上のように本実施例では映像を観察中に外界の状況等に応じてオーバーラップする表示画像の虚像の大きさ及び表示位置を観察者の視線を画面中の特定位置に向けるだけで自由に変更でき、さらにオーバーラップする部分の外界の画像を遮蔽部材によってその部分を適切に遮蔽する。従って表示画像の変更に際してマニュアル操作を要しないので、操作性が極めて良く、且つ表示画像の虚像Ｙを極めて鮮明に視ることができる観察光学装置を達成している。
【００７４】
なお、表示サイズの入力方法としては、例えば線状の図形を表示し、その一端をフルサイズの画像枠、他端を例えば縦横１／４の画像枠に対応させ、観察者の視線がその線上で注視する位置からアナログ的に観察者が希望する表示サイズを読取るようにしても良い。これによって観察者は最大表示範囲に対する表示割合を視線でもってある程度詳細に入力できる。
【００７５】
又、本実施例では表示位置の入力に際して格子状のパターンを表示したが、場合によってはこれを表示しなくても差し支えは無い。
【００７６】
【発明の効果】
本発明は以上の構成により、
表示面に表示した画像を虚像として観察中に表示面に表示した画像の大きさ及びその表示位置を、或は外界映像の中に表示面に表示した画像を空間的に重ねて観察中に、観察者の好みに応じて或は外界の状況等に応じてオーバーラップする虚像の大きさ及び表示位置を、観察者の視線を利用して画面中の特定位置に自由に変更することができる、操作性が極めて優れた観察光学装置を達成する。
【００７７】
更にその際、表示画像の虚像がオーバーラップする外界画像の部分を遮蔽手段によって遮蔽して、表示画像の虚像を極めて鮮明に視ることができる観察光学装置を達成する。
【図面の簡単な説明】
【図１】本発明の実施例１の光学系の要部概略図
（Ａ）観察光学系（Ｂ）視線検知光学系
【図２】本発明の実施例１のフロ−チャ−ト
【図３】本発明の実施例１において選択出来る表示領域の説明図。
【図４】本発明の実施例１における表示領域選択のためのポイントの説明図
【図５】本発明の実施例２の光学系の要部概略図
（Ａ）観察光学系（Ｂ）視線検知光学系
【図６】本発明の実施例２のフロ−チャ−ト
【図７】従来例
【符号の説明】
Ｏ観察者の瞳
１面
２ハーフミラー面（球面）
３プリズムブロック
３Ａ第１の光学部材
３Ｂ第２の光学部材
４表示手段
５平面
６面
７ダイクロイックミラ−
８視線検出用の結像レンズ
９撮像素子
１０プリズム
１１液晶
１２光源
１３面
１４視線検出回路
１５判別手段
１６制御手段

Claims

表示面上に画像を表示する表示手段と、観察者の前方に該画像の虚像を形成する画像観察光学系と、該観察者の視線情報を検知する視線検知手段とを有する観察光学装置において、
該視線検知手段が検知する該観察者の視線情報によって該表示面上の画像を表示する部分の大きさ及び表示位置を制御することを特徴とする観察光学装置。
表示面上に画像を表示する表示手段と、観察者の前方の外界映像の中に該画像の虚像を形成する観察光学系と、該観察者の視線情報を検知する視線検知手段とを有する観察光学装置において、
該視線検知手段が検知する該観察者の視線情報によって該表示面上の画像を表示する部分の大きさ及び表示位置を制御することを特徴とする観察光学装置。
遮蔽部材により前記外界映像中で前記画像の虚像と重なる部分を遮蔽することを特徴とする請求項２の観察光学装置。
前記観察者の視線が或る一定時間、略一定方向に固定されているか否かを判別する判別手段を有することを特徴とする請求項１、２又は３の観察光学装置。