JPH0822038B2

JPH0822038B2 - 眼球運動追従型視覚提示装置

Info

Publication number: JPH0822038B2
Application number: JP5135409A
Authority: JP
Inventors: 和雄谷江; 太郎前田; 更治市江; 学安川
Original assignee: Agency of Industrial Science and Technology; Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK; National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1993-05-13
Filing date: 1993-05-13
Publication date: 1996-03-04
Anticipated expiration: 2011-03-04
Also published as: JPH06326946A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、臨場感の高い映像を
人に提示するための眼球運動追従型視覚提示装置に関す
るものである。

【０００２】

【従来の技術】ＴＶカメラで撮影した情景を臨場感を持
って人に視覚的に表示したり、あるいはコンピュータの
中で作られた仮想的世界を人に臨場感を持ってグラフィ
ック表示するために、ヘッドマウントディスプレイが開
発されている。このヘッドマウントディスプレイは人の
左右両眼の前にそれぞれ独立に小形のＴＶモニタを配置
し、立体感のある映像を人に提示することを可能にする
装置である。

【０００３】一般には、ゴニオメータや磁気的な方法で
計測される頭の動きに応じて、ＴＶカメラあるいはコン
ピュータディスプレイ上に生成されるグラフィックス像
を操作し、そうして生成された画像を左右両眼のディス
プレイに提示することで、あたかもＴＶカメラの置かれ
た位置で外界を見ているかのような、あるいはコンピュ
ータグラフィックスが提示する画像の世界の中に実在し
てその世界を見ているかのような感覚を生成することが
できる。ヘッドマウントディスプレイはこうしたいわゆ
る人工現実感システムの視覚表示装置として注目されて
いるが、一方、左右両眼への画像提示に小形ディスプレ
イを用いるため、ディスプレイの外枠が常に視野内に入
り、臨場感が損なわれるという欠点があることも指摘さ
れている。

【０００４】

【発明が解決しようとする課題】人は通常眼球の中心を
軸として±４０゜の視野を有するといわれている。従っ
て、ヘッドマウントディスプレイではこの領域をカバー
する画面の大きさを有するＴＶモニタを両眼の前方に配
置しないと、人はＴＶモニタの枠が見えるため、結果的
に提示される画像は枠を通して情景をのぞいているよう
な感じを持つようになり、臨場感のある像が提示できな
い。こうした問題を解決する一つの方法は人の最大視野
をカバーする画面を有するＴＶモニタを導入することで
あるが、一般にＴＶモニタに画像を表示する走査線の数
は制限があるため（例えば通常のＮＴＳＣ方式では走査
線は５１２本、高品位ＴＶモニタの走査線は２０００本
程度）、大きな画面のＴＶモニタを使うと像の解像度が
低下する。この解像度の低下は人にぼけた像を提示する
ことになり、臨場感を損なう一因となる。

【０００５】この問題を解決するには、人の視力を損な
わない高解像度な画像を画面に表示できる走査線数の多
いＴＶモニタを開発することであるが、現状では人の視
野に対応する、高解像度ディスプレイを開発することは
技術的に困難である。この発明は、このような視野の狭
い現状のヘッドマウントディスプレイの視野を、解像度
を落とすことなく拡大する方法を考案すべく成されたも
のである。人は注視点（眼球の中心軸すなわち視線を向
けて見ている対象の位置）およびその狭い周囲でのみも
のがよく見えて（通常は視線を中心に±５゜の領域）、
それ以外の領域では像がぼけて見えると言う現象が知ら
れている。この発明はこうした生体の特性に注目し、オ
プトメカトロニクス的方法により、広視野・高解像度な
ディスプレイを用いたのと等価な像を操作者に提示でき
る装置に関するものである。このような人の注視点及び
その狭い周囲だけを高解像度に表示するためには、まず
人の注視点すなわち、人の視線を検出して、その人の視
線に追従して高解像度の画像を人に与えるのがうまい解
決策である。この発明の発明者等は先に回転楕円鏡を用
いて高解像度の画像を人の視線に追従させる技術を開発
した。この回転楕円鏡を用いた視線追従型ヘッドマウン
トディスプレーは、人の視線の検出が容易で、画像の追
従も良好に行うことができ、仮想現実感の実現を良好に
行うことができるのであるが、回転楕円鏡の焦点に人の
眼球を一致させる必要があるところから、装置の構成が
複雑になるという問題がある。この発明は上記の如き事
情に鑑みてなされたものであって、人の視線の検出が容
易で、画像の追従も良好に行うことができて、仮想現実
感の実現を良好に行うことができるとともに、装置の構
成も簡単である眼球運動追従型視覚提示装置を提供する
ことを目的とするものである。

【０００６】

【課題を解決するための手段】この目的に対応して、こ
の発明の眼球運動追従型視覚提示装置は、装着者の視線
に対応した画像を作成する作画装置と作画装置で作成し
た画像を装着者に提示する画像提示装置とを備え、画像
提示装置は、装着者の眼球の前方に配置される球面鏡
と、装着者の眼球と球面鏡との間に配置されるプリズム
とハーフミラ―と、作画装置で作成した画像を提示する
表示装置と、表示装置とプリズムとの間の光路中に配置
されている姿勢可変のミラーと装着者の眼球の位置を測
定する眼球位置測定装置と、ミラ―の姿勢を制御するミ
ラ―制御装置と、眼球位置測定装置からの信号によって
作画装置を制御しかつミラ―制御装置を駆動するコント
ロ―ラとを備えるものであることを特徴としている。

【０００７】

【作用】眼球の動きに対し光学系を操作して、常に視線
が表示装置の中心一点を見つめるようにすると同時に、
視線が固定される表示装置画面の中心領域には、直接眼
球の前に表示装置が置かれている場合に眼球が注視する
はずの領域の像を高解像度で提示する装置であり、球面
鏡とプリズムとハーフミラーとをもちいてこの仕組みを
実現する。

【０００８】まず、装着者の眼球の直前に球面鏡を配置
し、球面鏡の一点を見つめさせると、その視線は球面鏡
上で反射され、更にプリズム及びハーフミラーにより外
部に取り出される。その光路中にミラーを置き、その視
線方向を表示装置の中心を向くように変更すると、光学
系の双方向性から結果的に装着者は球面鏡を介して、表
示装置の中心を見ることが出来る。一方、眼球が動き視
線の向きが変わったときは、それを表示装置の中心を通
る軸上に置かれたセンサで眼球の動きを捉えて検知し、
それに応じてミラーの向きを制御して、常に視線の向き
が表示装置の中央に固定されるようにする。例えば、眼
球が鉛直軸回りにθ回転したときはその１／２すなわち
（１／２）θだけミラーの向きを鉛直軸回りに回転させ
て、眼球の動きに関わらず、常に視線が表示装置の中心
を向くようにする。また、これと同時に、眼球の動きに
応じて作画装置を制御して、眼球の運動に応じた視線方
向の画像が表示装置中央に映し出されるようにする。ミ
ラーの制御や作画装置の制御はメインコントローラから
の眼球の位置信号にもとづき、それぞれの制御装置が行
う。

【０００９】

【実施例】図１（ａ），（ｂ）にこの発明の基本的考え
方を示す。例えば人が肉眼で対象物１０を見つめる場合
を考える。まず眼球が符号１５で示す位置にあってその
視線が５０の方向を向き、物体上の点Ｐ₁ を注視すると
する。また次に視線の向きを変えて、眼球を１５´の位
置に動かし、視線を５０´の方向に向けて、点Ｐ₂を注
視する状況を想定する。この時、人の視覚系の特性か
ら、各眼球位置において人は注視点Ｐ₁ 、Ｐ₂ の近傍で
高分解能な画像を取得することができる。一方、注視点
からはなれた位置の状態は明瞭には判別できないから、
こうした視覚の特性を利用して、視線方向の周辺のみ常
に高分解能な画像を提示するようにして、等価的に広画
面・高分解能な画像を提示することを考える。

【００１０】そのために、図１（ａ）と等価なディスプ
レイ系として図１（ｂ）のような系を考える。すなわ
ち、まず図１（ｂ）の（イ）のように眼球の運動に応じ
てその視線方向にモニタの位置が動くディスプレイ系
と、図１（ｂ）の（ロ）に示すように、カメラの位置Ｏ
´および光軸が図１（ａ）の眼球の位置Ｏおよび視線と
一致するように置かれた撮像系を想定する。ここで眼球
が図１（ａ）の位置１５に対応する図１（ｂ）の位置１
５にある時に、カメラを６ａに置き、点Ｐ₁ を撮像する
ようにしてその周辺像を高解像でモニタ１２２に写し、
また、眼球が１５´に移動したときはその動きを検出し
て、それに追従するようにモニタを視線方向に１２２´
の位置に動かすと同時に、カメラもまたその視線に一致
する方向６ａ´に動かし、点Ｐ₂ を撮像してその周辺像
を高解像でモニタ１２２´に写す。ここでモニタの大き
さを高視力を有する眼球の視野をカバーする程度の大き
さにすれば、人は図１（ｂ）のシステムでも図１（ａ）
とほぼ同様の画像を受容することができる。ここで、図
１（ｂ）の（イ）のようにモニタを動かせば、対象物１
０全面を一度に提示する固定モニタを用いる場合より
も、小さい画面のモニタで同様の像の提示効果を得るこ
とが出来るから、同一走査線数のモニタを利用する場
合、より解像度の高い像を提示することが可能になる。
ただし、図１（ｂ）の（イ）のようにモニタを高速な眼
球の動きに応じて動かすのは困難であるから、この発明
ではこれと等価な効果を、光学系を用いて実現すること
を考える。

【００１１】以下に、その詳細を一実施例を示す図面を
用いて説明する。図２及び図４において、１は眼球運動
追従型視覚提示装置である。眼球運動追従型視覚提示装
置１は作画装置２と画像提示装置３とを備えている。作
画装置２は主として表示装置で提示すべき画像を作成す
るための装置である。作画装置はコンピュータグラフィ
ック装置や対象物を撮影して画像を作成する撮像装置で
構成することができるが、いずれの場合も、その作成さ
れる画像は装着者の視線に対応した内容のものであっ
て、したがって装着者の視線が変われば画像の内容も変
るものである。以下に説明する実施例では作画装置とし
て対象物を撮影して画像を作成する撮像装置２ａを用い
る場合について説明する。又、画像提示装置３は、装着
者に画像を提示し、又、装着者の眼球運動を測定して作
画装置２（撮像装置２ａ）を制御するための装置であ
る。

【００１２】撮像装置２ａは対象物１０を撮影するカメ
ラ装置４とカメラ装置４の姿勢を制御するカメラ装置姿
勢制御装置５とを備えている。カメラ装置４はこの実施
例では一対のＴＶカメラ６ａ、６ｂと、それを駆動する
カメラ駆動装置４３からなっている。ＴＶカメラ６ａ、
６ｂは回転軸７に関し、水平、垂直方向に回転可能であ
る。

【００１３】ＴＶカメラ６ａ、６ｂは自動焦点機能を備
えていて、２つのＴＶカメラ６ａ、６ｂの焦点は対象物
１０の表面上の同一点に一致している。ただし、テレビ
カメラ６ａ、６ｂの姿勢を固定とする場合には図３に示
すようにカメラ装置４をＴＶカメラ８ａ、８ｂと、その
前方に位置するミラー１１ａ、１１ｂとをもって構成
し、カメラ駆動装置４３は使用しない。この場合にはミ
ラー１１ａ、１１ｂは中心軸１２に関して水平、垂直方
向に回転して姿勢が可変とする。

【００１４】再び、図２に戻って画像提示装置３は一対
の球面鏡１３ａ、１３ｂを有する。それぞれの球面鏡１
３ａ、１３ｂは装着者１４の眼球１５ａ，１５ｂに対向
して位置するように配置される。

【００１５】球面鏡１３ａ，１３ｂと対向してプリズム
・ハーフミラー組体１６が配置されている。プリズム・
ハーフミラー組体１６は図５に示すようにプリズム１７
の中にハーフミラー１８を貼り合わせたものである。プ
リズム１７は光学面２１，２２及び２３を有する。光学
面２１には表示装置２４ａ（２４ｂ）に表示された画像
が入射される。表示装置２４ａ（２４ｂ）から光学面２
１に至る光路４４上にはミラー２５、レンズ２６及びハ
ーフミラー２７が配置されている。ミラー２５はスキャ
ナ２８の駆動軸に取付けられていて２軸回りに回転可能
である。スキャナ２８はスキャナ駆動回路２９によって
駆動される。このようなミラー２５としては例えばガル
バノメータミラーを使用することができる。

【００１６】ハーフミラー２７の反射側には眼球位置測
定装置３１が配置されている。眼球位置測定装置３１は
レンズ３２、分割型光検出器（ＡＰＤ）３３及び眼球照
明用光学装置３４を備えている。眼球照明用光学装置３
４は赤外ＬＥＤ３５、レンズ３６及びハーフミラー３７
を備えている。分割型光検出器３３は増幅回路３８を介
して眼球位置演算回路４１に接続し、眼球位置演算回路
４１の出力はスキャナコントローラー４２及びカメラ装
置姿勢制御装置５に入力される。

【００１７】眼球位置演算回路４１は例えばコンピュー
タとソフトウェアによって構成することができ、分割型
光検出器３３の出力信号に基づいて眼球１５ａ，１５ｂ
の位置を演算して、スキャナコントローラー４２及びカ
メラ装置姿勢制御装置５に入力する。スキャナコントロ
ーラ４２は例えばコンピュータとソフトウェアとによっ
て構成することができ、眼球位置演算回路４１からの信
号によってスキャナ２８の駆動量を算出しスキャナ駆動
回路２９の動作を制御する。

【００１８】カメラ装置姿勢制御装置５は例えばコンピ
ュータとソフトウェアによって構成することができ、眼
球位置演算回路４１からの信号によってＴＶカメラ６
ａ，６ｂの駆動量を算出し、カメラ駆動装置４３の動作
を制御する。

【００１９】このように構成された眼球運動追従型視覚
提示装置１における画像の提示操作は次の通りである。
遠隔の作業環境にある対象物１０は２つのＴＶカメラ６
ａ、６ｂで撮影され、その画像信号は表示装置２４ａ，
２４ｂに入力される。

【００２０】表示装置２４ａ（２４ｂ）は画像を光路４
４に投入する。表示装置２４ａ（２４ｂ）からの光はハ
ーフミラー２７を透過し、次にミラー２５で反射されて
プリズム・ハーフミラー組体１６のプリズム１７の光学
面２１に入射し、光学面２２で反射し、更にハーフミラ
ー１８で反射し、次いで光学面２２から出射して球面鏡
１３ａ（１３ｂ）で反射し、入射光路と同じ光路を通っ
て光学面２２からプリズム１７に入り、ハーフミラー１
８を透過して光学面２３から出射して装着者１４の眼球
１５ａ（１５ｂ）の網膜上に結像する。これによって装
着者１４の眼球１５ａ（１５ｂ）の前方Ｐ´に対象１０
´上の点Ｐの周辺像が形成される。このとき、眼球１５
ａ（１５ｂ）の位置すなわち視線は眼球位置測定装置３
１によって測定されている。眼球位置測定装置３１では
赤外ＬＥＤから赤外光が発光し、レンズ３６を通しハー
フミラー３７、ハーフミラー２７で反射されて光路４４
に投入され、画像と同じ光路を通って、レンズ２６、ミ
ラー２５、プリズム・ハーフミラー組体１６を通り、球
面鏡１３ａ（１３ｂ）で反射してプリズム・ハーフミラ
ー組体１６を通して眼球１５ａ（１５ｂ）を照明する。
眼球１５ａ（１５ｂ）からの反射した赤外光は、同じ光
路を逆にたどって、ハーフミラー３７に達し、ハーフミ
ラー３７を通過して、眼球位置測定装置３１に達し、レ
ンズ３２を通して分割型光検出器３３に入射する。分割
型光検出器３３では眼球１５ａ（１５ｂ）の位置の変化
によって出力に変化が生じ、その信号を増幅回路３８を
介して眼球位置演算回路４１に入力し、眼球位置演算回
路４１が眼球１５ａ（１５ｂ）を算出する。

【００２１】次に、装着者１４が視線を動かして、つま
り眼球１５ａ（１５ｂ）を動かすと、その眼球の赤外光
で照明された像は光の双方向性によって光学面２３から
プリズム・ハーフミラー組体１６のプリズム１７に入
り、ハーフミラー１８を透過し光学面２２を通って球面
鏡１３ａ（１３ｂ）に入り、球面鏡１３ａ（１３ｂ）で
反射して光学面２２からプリズム１７に入り、ハーフミ
ラー１８で反射し光学面２１から出射し、ミラー２５で
反射して光路４４に入る。次いでハーフミラー２７で反
射されて眼球位置測定装置３１に入る。眼球位置測定装
置３１では眼球１５ａ（１５ｂ）の像はレンズ３２を通
して分割型光検出器３３で検出され、その像の信号が増
幅回路３８で増幅されて眼球位置演算回路４１に入力さ
れ、そこで眼球１５ａ（１５ｂ）の移動量及び位置が検
出される。そしてその眼球位置信号をカメラ装置姿勢制
御装置５に入力し、カメラ装置姿勢制御装置５は眼球の
視線の方向にＴＶカメラ６ａ、６ｂの向きを変える。

【００２２】これによって、装着者１４の視線とＴＶカ
メラ６ａ、６ｂの視線とが一致する。こうして装着者１
４の視線が向いた方向の画像情報だけがＴＶカメラ６
ａ、６ｂで撮影されて表示装置２４ａ，２４ｂ上に表示
されることになる。

【００２３】一方、装着者１４の眼球１５ａ（１５ｂ）
が動くことによって、眼球１５ａ（１５ｂ）から表示装
置２４ａ（２４ｂ）に至る光路４４が変化し、従って眼
球１５ａ（１５ｂ）が表示装置２４ａ（２４ｂ）の中心
を見なくなるので、これを一致させるために眼球位置演
算回路４１で算出した眼球１５ａ（１５ｂ）の回転角θ
の１／２すなわち（１／２）θだけミラー２５を回転さ
せて眼球１５ａ（１５ｂ）の視線を表示装置２４ａ（２
４ｂ）の中心に一致させる。

【００２４】このミラー２５の制御はスキャナコントロ
ーラ４２からの眼球位置信号にもとずいてスキャナ駆動
回路２９がスキャナ２８を駆動して行う。このようにし
て眼球１５ａ（１５ｂ）の視線と表示装置２４ａ（２４
ｂ）の中心が一致すると、表示装置２４ａ（２４ｂ）の
像が、装着者１４の眼球１５に入射され、眼球前方に先
ほどのＴＶカメラ６ａ（６ｂ）でとらえた視線方向の画
像情報が形成される。こうして、本装置は視線が変化し
ても視線方向の画像のみを眼球に入射することを可能に
し、図１ｂと等価な効果をもつ系の構成を可能にする。

【００２５】なお、本説明では視線方向にＴＶカメラ６
ａ、６ｂを制御して表示装置２４ａ（２４ｂ）上に像を
提示するシステムについて記述したが、眼球位置信号に
応じて、コンピュータグラフィック像を制御すれば仮想
の世界を表示する仮想現実感システムを得ることも可能
である。

【００２６】

【発明の効果】このように、この発明の眼球運動追従型
視覚提示装置においては、装着者の視線に追従してＴＶ
カメラの視線が変化し、装着者の視線が向いた方向にお
ける画像だけを装着者に与えることができるので、その
視線方向周囲の像を高解像で提示することで比較的小画
面でも画面の枠を意識させない高精度な像を表示するこ
とができ、装着者は良好な視覚人工現実感を得ることが
できる。また、視線を正確に測定することを可能にする
とともに、視線の追跡も容易にし、また、回転楕円鏡の
焦点に人の眼球を一致させる必要もないので装置の構成
も単純化する効果をもつ。

【図面の簡単な説明】

【図１】眼球と対象物、眼球とディスプレイ、及びＴＶ
カメラと対象物の関係を示す説明図。

【図２】眼球運動追従型視覚提示装置の構成説明図。

【図３】テレビカメラとミラーとをもって構成されたカ
メラ装置の平面図。

【図４】眼球運動追従型視覚提示装置の斜視説明図。

【図５】球面鏡とプリズム・ハーフミラーの配置を示
し、（ａ）は側面図、（ｂ）は平面図。

【符号の説明】

１眼球運動追従型視覚提示装置２作画装置２ａ撮像装置３画像提示装置４カメラ装置５カメラ装置姿勢制御装置６ａ、６ｂＴＶカメラ７回転軸８ａ、８ｂＴＶカメラ１０対象物１１ａ、１１ｂミラー１２中心軸１３ａ、１３ｂ球面鏡１４装着者１５ａ、１５ｂ眼球１６プリズム・ハーフミラー組体１７プリズム１８ハーフミラー２１光学面２２光学面２３光学面２４ａ，２４ｂ表示装置２５ミラー２６レンズ２７ハーフミラー２８スキャナ２９スキャナ駆動回路３１眼球位置測定装置３２レンズ３３分割型光検出器３４眼球照明用光学装置３５赤外ＬＥＤ３６レンズ３７ハーフミラー３８増幅回路４１眼球位置演算回路４２スキャナコントローラ４３カメラ駆動装置４４光路５０，５０´ 視線

───────────────────────────────────────────────────── フロントページの続き (72)発明者市江更治静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内 (72)発明者安川学静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内審査官石川伸一

Claims

【特許請求の範囲】

【請求項１】装着者の視線に対応した画像を作成する
作画装置と前記作画装置で作成した画像を装着者に提示
する画像提示装置とを備え、前記画像提示装置は、前記
装着者の眼球の前方に配置される球面鏡と、前記装着者
の眼球と前記球面鏡との間に配置されるプリズムとハー
フミラ―と、前記作画装置で作成した画像を提示する表
示装置と、前記表示装置と前記プリズムとの間の光路中
に配置されている姿勢可変のミラーと前記装着者の眼球
の位置を測定する眼球位置測定装置と、前記ミラ―の姿
勢を制御するミラ―制御装置と、前記眼球位置測定装置
からの信号によって前記作画装置を制御しかつ前記ミラ
―制御装置を駆動するコントロ―ラとを備えるものであ
ることを特徴とする眼球運動追従型視覚提示装置。
【請求項２】前記作画装置は対象物を撮影するカメラ
装置と前記カメラ装置の姿勢を制御するカメラ装置姿勢
制御装置とを有するもの、またはコンピュータグラフィ
ック装置であることを特徴とする請求項１記載の眼球運
動追従型視覚提示装置。