JPH09163267A

JPH09163267A - 光学視覚装置

Info

Publication number: JPH09163267A
Application number: JP7318148A
Authority: JP
Inventors: Shigeru Tajima; 茂田島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-06
Filing date: 1995-12-06
Publication date: 1997-06-20

Abstract

(57)【要約】【課題】バーチャル・リアリティ・システムで用いら
れる光学視覚装置において、ユーザの目視方向に合致し
た正確な映像表示を行う。【解決手段】光学視覚部本体３の映像の目視の障害と
ならない位置に、ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５
Ｒ₁，５Ｒ₂を設けてユーザの目を撮像し、この撮像デー
タを送信装置２側に無線送信する。送信装置２側に設け
られているシステムコントローラ１２は、無線送信され
る上記撮像データに基づいてユーザの目の位置を検出
し、この検出結果に応じた映像データ及び音声データを
読み出すように映像発生回路１４及び音声発生回路１３
を読み出し制御する。そして、上記映像データ及び音声
データを光学視覚装置１側に赤外線送信する。これによ
り、光学視覚装置１側に設けられている左右のディスプ
レイ３Ｒ，３Ｌに、ユーザの目の動きに応じた映像を表
示することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動位置に応じた
映像情報をディスプレイに表示することにより、該ディ
スプレイを介して仮想的な空間を提供する、バーチャル
・リアリティ・システム等に用いて好適な光学視覚装置
に関し、特に、頭部の動きのみならず、ユーザの目の動
きに応じてディスプレイに表示する映像を表示制御する
ことにより、より現実味のある仮想的空間の提供等を図
った光学視覚装置に関する。

【０００２】

【従来の技術】今日において、バーチャル・リアリティ
・システムが知られている。このバーチャル・リアリテ
ィ・システムは、ユーザが装着する、例えば眼鏡型（或
いは、ヘルメット型）の光学視覚装置と、ユーザが移動
可能な範囲に磁界を発生するとともに、ユーザの移動に
応じた映像情報を供給するコントロール部とを接続ライ
ンを介して接続することにより構成されている。

【０００３】上記光学視覚装置には、磁気センサと、上
記コントロール部からの映像情報を表示するディスプレ
イとが設けられている。上記磁気センサは、Ｘ軸方向，
Ｙ軸方向及びＺ軸方向の３軸にそれぞれ設けられてお
り、ユーザの移動位置及び移動方向に応じた上記コント
ロール部が発生する磁界の方向及び強さをそれぞれ検出
し、この各検出出力を上記接続ラインを介して上記コン
トロール部に供給する。上記コントロール部は、上記磁
気センサからの検出出力に基づいてユーザの移動位置及
び移動方向を検出し、この検出結果に応じた映像情報を
上記接続ラインを介して上記光学視覚装置のディスプレ
イに供給する。

【０００４】これにより、上記ディスプレイに、ユーザ
の移動位置や移動方向に応じた映像情報を表示すること
ができる。ユーザは、自分の移動した位置や方向に応じ
た映像を上記ディスプレイを介して認識することができ
るため、あたかも自分がその空間に存在しているような
錯覚を覚える。これにより、仮想的な空間の提供が実現
される。

【０００５】ここで、従来の光学視覚装置は、磁気セン
サでユーザの動きを検出するようになっているため、ユ
ーザの頭が動かない場合には、上記ディスプレイに同じ
映像が表示されることとなる。言い換えれば、上記光学
視覚装置を装着したユーザの頭の動きに追従して映像表
示を行っていることとなる。

【０００６】

【発明が解決しようとする課題】しかし、人間が頭を動
かして物を見るような場合は、大きく視野を移動させる
場合であり、それ以外の比較的小さな視界の移動は、頭
を動かすことなく眼球のみを動かして行うものである。
このため、従来の光学視覚装置は、頭の動きがなければ
眼球の動きがあってもディスプレイに表示されている映
像は変わらないという不都合があった。従って、光学視
覚装置により得られる仮想的空間を、より現実的なもの
とするためにもこれを改善する必要がある。

【０００７】本発明は上述の問題点に鑑みてなされたも
のであり、眼球の動きに応じてディスプレイに表示され
ている映像を変えることができ、これにより、仮想的空
間を、より現実的なものとすることができるような光学
視覚装置の提供を目的とする。

【０００８】

【課題を解決するための手段】本発明に係る光学視覚装
置は、ユーザの目の動きを検出するアイセンサと、上記
アイセンサにより検出されたユーザの目の動きに応じて
供給される映像信号の映像表示を行う表示手段と、上記
アイセンサをユーザの目の動きが検出可能な位置に配す
ると共に、表示される映像を目視可能なように上記表示
手段をユーザの目の近傍に配するための装着手段とを有
する。

【０００９】上記装着手段としては、眼鏡型或いはヘル
メット型とすることができ、ユーザが装着すると、上記
表示手段がユーザの目前に配置される。この状態で上記
アイセンサは、ユーザの目の動きを検出する。このアイ
センサの検出出力は、外部に設けられている映像コント
ローラに供給される。上記映像コントローラは、上記ア
イセンサの検出出力に応じた映像情報を上記表示手段に
供給する。これにより、ユーザの目の動きに応じた映像
を上記表示手段に表示することができる。

【００１０】ここで、人間の目視という動作は、実際に
は眼球の動きと、頭部の動きが重なって行われるもので
ある。このため、本発明に係る光学視覚装置は、上記ア
イセンサと共に、ユーザの頭の動きを検出する頭部動セ
ンサを有する。

【００１１】上記頭部動センサは、ユーザの頭の動きを
検出しこの検出出力を上記映像コントローラに供給す
る。上記映像コントローラは、上記アイセンサの検出出
力及び頭部動センサの検出出力に応じた映像情報を上記
表示手段に供給する。これにより、ユーザの目の動き及
びユーザの頭の動きに応じた映像を上記表示手段に表示
することができる。従って、上記表示手段に表示される
映像により形成される仮想的空間を、より現実的なもの
とすることができる。

【００１２】

【発明の実施の形態】以下、本発明に係る光学視覚装置
の好ましい実施の形態について図面を参照しながら詳細
に説明する。本発明に係る光学視覚装置は、図１に示す
ようにユーザに仮想的な空間を提供するバーチャル・リ
アリティ・システムに適用することができる。このバー
チャル・リアリティ・システムは、図１に示すように光
学視覚装置１と、該光学視覚装置１に映像情報等を供給
する送信装置２とで構成されている。

【００１３】上記光学視覚装置１は、眼鏡型の光学視覚
部本体３の内側（ユーザに装着された状態でユーザの目
と相対向する側）に、右目用の映像情報を表示するため
の右目用ディスプレイ３Ｒと、左目用の映像情報を表示
する左目用ディスプレイ３Ｌと、ユーザの右目の水平方
向の動きを検出するための第１のＣＣＤラインセンサ４
Ｒ₁と、ユーザの右目の垂直方向の動きを検出するため
の第２のＣＣＤラインセンサ４Ｒ₂と、ユーザの左目の
水平方向の動きを検出するための第３のＣＣＤラインセ
ンサ５Ｒ₁と、ユーザの左目の垂直方向の動きを検出す
るための第４のＣＣＤラインセンサ５Ｒ₂とを設けて構
成されている。また、上記光学視覚装置１は、上記光学
視覚部本体３に、上記送信装置２からの映像情報等を受
光する受光部８と、上記各ＣＣＤラインセンサ４Ｒ₁，
４Ｒ₂，５Ｒ₁，５Ｒ₂からの各検出出力に基づいて、ユ
ーザの目の移動方向を算出するマイクロコンピュータ
（マイコン）６と、上記マイコン６からの検出出力を上
記送信装置２側に無線送信する送信部７と、上記送信装
置２側から送信された音声出力を得るためのイヤホン９
とを設けて構成されている。

【００１４】上記右目用ディスプレイ３Ｒ及び左目用デ
ィスプレイ３Ｌは、それぞれ液晶表示板（ＬＣＤ）或い
は小型陰極線管（ＣＲＴ）により構成されており、上記
送信装置２側から供給されるＮＴＳＣ方式に準じたコン
ポジット信号により表示駆動されている。なお、映像方
式は、この他、ＰＡＬ方式，ＳＥＣＡＭ方式等の他の映
像方式を用いるようにしてもよく、さらに、信号形態
も、この他、ＲＧＢ，ＹＵＶ等の他の信号形態を用いる
ようにしてもよい。

【００１５】一方、上記送信装置２は、上記光学視覚装
置１から送信されるユーザの目の位置検出信号を受信す
る受信回路１１と、上記受信回路１１で受信された位置
検出信号に基づいて、映像情報及び音声情報等の出力制
御を行うシステムコントローラ１２と、上記システムコ
ントローラ１２の制御により右耳用及び左耳用の各音声
情報を発生する音声発生回路１３と、上記システムコン
トローラ１２の制御により右目用及び左目用の各映像情
報を発生する映像発生回路１４と、上記各音声情報及び
各映像情報等に応じて発光駆動される赤外線の発光ダイ
オードである発光部１５とで構成されている。

【００１６】次に、このような構成を有するバーチャル
・リアリティ・システムの動作説明をする。まず、上記
光学視覚装置１側に設けられているマイコン６におい
て、ユーザの目の正確な動きを検出するには、該マイコ
ン６に、絶対位置を教える必要がある。このため、上記
送信装置２側に設けられているシステムコントローラ１
２は、ゲーム等の開始に先立って絶対位置を示す位置リ
セットデータを上記発光部１５に供給する。これによ
り、上記発光部１５が上記位置リセットデータに応じて
発光駆動され、該位置リセットデータが赤外線信号とし
て上記光学視覚装置１側に無線送信される。上記光学視
覚装置１は、受光部８により上記赤外線信号として送信
される位置リセットデータを受光し、これをマイコン６
に供給する。これにより、上記マイコン６は、絶対位置
を知ることができ、以後、上記各ＣＣＤラインセンサ４
Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの各検出出力に基づい
て、ユーザの目の正確な移動方向の検出が可能となる。

【００１７】次に、上記送信装置２のシステムコントロ
ーラ１２は、ゲーム開始の際に、上記マイコン６の位置
検出動作の開始を指示するスタート信号，送信速度を設
定するための送信速度選択信号，上記光学視覚装置１か
ら送信される各検出信号を連続出力とするか単発出力と
するかを選択するための出力モード選択信号、及び、上
記各検出信号の送信同期（例えば、フィールド同期或い
はフレーム同期等）をとるための同期信号を上記発光部
１５に供給する。これにより、上記各信号が赤外線送信
され、上記光学視覚装置１側の受光部８により受光され
上記マイコン６に供給される。

【００１８】上記マイコン６は、上記スタート信号が供
給されると、ゲーム開始であることを認識し、以後、上
記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂か
らの各検出出力に基づいて、ユーザの目の動きを検出す
る。

【００１９】上記第１のＣＣＤラインセンサ４Ｒ₁は、
図２（ａ）に示すようにユーザの右目の前方に位置する
ように設けられている略々長方形状の右目用ディスプレ
イ３Ｒの上側の長手辺に沿って設けられており、第２の
ＣＣＤラインセンサ４Ｒ₂は、上記右目用ディスプレイ
３Ｒの目頭側の短手辺に沿って設けられている。また、
上記第３のＣＣＤラインセンサ５Ｒ₁は、ユーザの左目
の前方に位置するように設けられている略々長方形状の
左目用ディスプレイ３Ｌの上側の長手辺に沿って設けら
れており、第４のＣＣＤラインセンサ５Ｒ₂は、上記左
目用ディスプレイ３Ｌの目頭側の短手辺に沿って設けら
れている。上記第１，第２のＣＣＤラインセンサ４
Ｒ₁，４Ｒ₂は、ユーザの右目をそれぞれ撮像し、この撮
像信号を出力する。また、第３，第４のＣＣＤラインセ
ンサ５Ｒ₁，５Ｒ₂は、ユーザの左目をそれぞれ撮像し、
この撮像信号を出力する。この各撮像信号は、以下に第
１のＣＣＤラインセンサ４Ｒ₁からの撮像信号の信号処
理を例に挙げて説明するようにそれぞれ信号処理され
る。

【００２０】すなわち、図３において、上記第１のＣＣ
Ｄラインセンサ４Ｒ₁には、クロックジェネレータ３２
からのドレインパルス，読み出しパルス等が供給されて
おり、該第１のＣＣＤラインセンサ４Ｒ₁からの撮像信
号は、上記読み出しパルスの供給タイミングで自動利得
制御回路（ＡＧＣ）３０に供給される。上記ＡＧＣ３０
の利得は、上記マイコン６により制御されるようになっ
ており、該ＡＧＣ３０は、この制御された利得で上記撮
像信号を増幅し、これをＡ／Ｄ変換器３１に供給する。
上記Ａ／Ｄ変換器３１は、アナログ信号として供給され
る上記撮像信号をデジタル化することにより撮像データ
を形成し、これを上記マイコン６に供給する。

【００２１】上記マイコン６は、このように各ＣＣＤラ
インセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂から撮像データ
が供給されると、例えばソフトウエア制御による図４に
示すような演算を行い、ユーザの瞳の位置を示す瞳位置
信号を形成する。すなわち、上記撮像データは、入力端
子３５を介して速度信号抽出回路３６に供給される。上
記速度信号抽出回路３６は、上記撮像データを微分処理
することにより、瞳の移動速度を示す速度信号を形成
し、これをフィルタリング回路３７に供給する。上記フ
ィルタリング回路３７は、所定のカットオフ周波数のロ
ーパスフィルタとなっており、上記速度信号の高周波ノ
イズ成分を除去し、これを積分回路３８に供給する。

【００２２】ここで、上記フィルタリング回路３７のカ
ットオフ周波数等は、当該光学視覚装置１を長時間使用
しても疲労が少なく、また、より自然に近い状況（映
像）を提供可能なように予め定められているのである
が、当該光学視覚装置の使用状態や、要求条件（速い動
きを重視するか，画像の安定性を重視するか等）等の違
いを１つのフィルタリング定数で満たすのは困難であ
る。また、場合によっては、例えば所定の周波数成分を
強調して視覚的効果を出したい場合がある。このため、
図４中点線で示すように外部からの制御信号により、フ
ィルタリング定数を可変制御するようにしてもよい。

【００２３】この場合、上記送信装置２側に設けられて
いるシステムコントローラ６が、場合の応じてフィルタ
リング定数を可変制御するための定数可変データを発光
部１５に供給する。これにより、上記発光部１５が定数
可変データに応じて発光駆動され、該定数可変データが
赤外線信号として赤外線送信される。そして、上記光学
視覚装置１側の受光部８により受光され、マイコン６に
供給される。上記マイコン６は、上記定数可変データが
供給されると、該定数可変データに応じて図４に示すフ
ィルタリング回路３７のフィルタリング定数を可変制御
する。これにより、場合に応じて上記フィルタリング回
路３７のフィルタリング特性を可変制御することがで
き、所望の絵柄の映像表示を可能とすることができる。

【００２４】次に上記積分回路３８は、上記フィルタリ
ング回路３７からの速度信号を積分処理することによ
り、ユーザの瞳の位置を示す瞳位置信号を形成し、これ
を出力端子３３を介して送信部７に供給する。

【００２５】このような演算処理は、各ＣＣＤラインセ
ンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの各撮像データ毎
に行われる。従って、このような演算処理を行うことに
より、右目及び左目の各目毎に２次元情報としての瞳位
置信号が形成されることとなる。

【００２６】上記送信部７は、上記瞳位置信号が供給さ
れると、これを送信装置２側に無線送信する。この無線
送信された瞳位置信号は、送信装置２側の受信部１１に
より受信され、システムコントローラ１２に供給され
る。システムコントローラ１２は、上記各目毎に瞳位置
検出信号に基づいて、図２（ａ）に示す白目Ｉ，虹彩
（アイリス）Ｏ，瞳Ｐからなる眼球の該瞳Ｐの位置を各
目毎に検出し、この検出結果に応じた音声出力及び映像
出力が得られるように音声発生回路１３及び映像発生回
路１４を読み出し制御する。これにより、ユーザの右目
の瞳の動きに応じた映像データ（右目用映像データ），
ユーザの左目の瞳の動きに応じた映像データ（左目用映
像データ）が上記映像発生回路１４から読み出されると
共に、該映像データに応じた右耳用音声データ，左耳用
音声データが上記音声発生回路１４から読み出される。
そして、上記各映像データ及び各音声データは、それぞ
れ発光部１５を介して光学視覚装置１側に赤外線送信さ
れる。

【００２７】光学視覚装置１は、受光部８により、上記
各映像データ及び各音声データをそれぞれ受信する。そ
して、右目用映像データを右目用ディスプレイ３Ｒに、
左目用映像データを左目用ディスプレイ３Ｌに、また、
右耳用音声データを右耳用イヤホン９に、左耳用音声デ
ータを左耳用イヤホン９にそれぞれ供給する。

【００２８】これにより、ユーザの各目の瞳の動きに応
じた映像を上記各ディスプレイ３Ｒ，３Ｌを介して表示
し、上記映像に応じた音声を各イヤホン９を介して出力
することができる。ユーザは、図２（ｂ）に示すよう
に、上記各ディスプレイ３Ｒ，３Ｌに表示された映像を
レンズ１０Ｒを介して目視するようになっている。従っ
て、上記各ディスプレイ３Ｒ，３Ｌ（及び各イヤホン
９）を介して仮想的空間を提供することができる。この
ような仮想的空間の提供は、上記システムコントローラ
１２からゲーム終了を示すストップ信号が上記マイコン
６に供給されるまで続けられる。

【００２９】このように、当該光学視覚装置は、ユーザ
の瞳の動きを検出し、この検出結果に応じて各ディスプ
レイ３Ｒ，３Ｌに表示する映像を制御することができる
ため、より現実的な仮想的空間を提供することができ
る。また、上記ユーザの瞳の動きを検出した検出出力を
無線送信し、上記送信装置２側からの映像情報等を赤外
線送信するようにしているため、磁界方式のように発生
磁界との同期をとる必要がなく、バーチャル・リアリテ
ィ・システムの完全なワイヤレス化を図ることができ
る。このため、ユーザの動きの自由化及び移動範囲の拡
大を図ることができ、実用化に向けて大きく貢献するこ
とができる。

【００３０】また、ユーザの瞳の検出手段として設けら
れている各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，
５Ｒ₂は、半導体で形成することができるため、小型，
軽量且つ光学視覚部本体３に設ける際に設置面積をとら
ないことから、当該光学視覚装置の軽量化，小型化及び
ローコスト化を図ることができる。

【００３１】なお、人間が物を見る場合、両目の動きが
同じとなるのが普通である。このため、上述の実施の形
態の説明では、左右の瞳の動きを２次元的に検出するこ
ととしたが、これは、右目のみ或いは左目のみの動きを
検出するようにしてもよい。これにより、上記光学視覚
部本体３に設けるＣＣＤラインセンサを右目のみの１セ
ット或いは左目のみの１セットとすることができ、部品
点数の削減及び構成の簡略化を通じて当該光学視覚装置
のさらなる小型軽量化及びローコスト化を図ることがで
きる。

【００３２】また、上述のように人間が物を見る場合
に、両目の動きが同じとなるのが普通であるため、上記
右目の動きを検出した検出出力と、左目の動きを検出し
た検出出力とを平均化し、これをユーザの瞳の位置検出
信号として用いるようにしてもよい。これにより、上記
位置検出信号の精度の向上を図ることができる。また、
この平均化を行う際、右目或いは左目の各検出出力の何
れかに重み付けを行ったうえで平均化するようにしても
よい。これにより、上記位置検出信号の最適化を図るこ
とができる。

【００３３】次に、上述の実施の形態の説明では、ユー
ザの瞳の動きのみ検出して映像表示を制御したが、実際
に人間が物を見る動作は、上記目の動きに頭の動きが加
わって行われるものである。このため、以下に説明する
他の実施の形態に係るバーチャル・リアリティ・システ
ムにおける光学視覚装置５１では、図５に示すようにユ
ーザの瞳の動き検出用に上述の各ＣＣＤラインセンサ４
Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂を設けると共に、ユーザの頭
の動き検出用に加速度センサ２４及び圧電ジャイロ２５
を設けることとした。なお、この他の実施の形態は、上
記加速度センサ２４及び圧電ジャイロ２５を設けた以外
は上述の実施の形態と同様であるため、該上述の実施の
形態と同じ動作を示す箇所に同じ符号を付し、その詳細
な説明を省略することとする。

【００３４】すなわち、この他の実施の形態に係るバー
チャル・リアリティ・システムにおける光学視覚装置５
１には、ユーザの頭の動きに応じた加速度及び回転方向
を検出し、加速度信号及び回転信号（角速度信号）を出
力する加速度センサ２４及び圧電ジャイロ２５とが設け
られている。

【００３５】上記加速度センサ２４及び圧電ジャイロ２
５は、図６に示すようにそれぞれ直交するＸ軸方向，Ｙ
軸方向，Ｚ軸方向に１つずつ設けられている。

【００３６】すなわち、上記加速度センサ２４は、Ｘ軸
方向の加速度（Ｘ）を検出する第１の加速度センサ２４
Ｘと、Ｙ軸方向の加速度（Ｙ）を検出する第２の加速度
センサ２４Ｙと、Ｚ軸方向の加速度（Ｚ）を検出する第
３の加速度センサ２４Ｚとで構成されており、各加速度
センサ２４Ｘ，２４Ｙ，２４Ｚからの各加速度信号は、
それぞれ増幅回路２０を介してＡ／Ｄ変換器２１に供給
されデジタル化されて上記マイコン６に供給される構成
となっている。

【００３７】また、上記圧電ジャイロ２５は、Ｘ軸方向
の回転方位（ｒ）を検出する第１の圧電ジャイロ２５Ｘ
と、Ｙ軸方向の回転方向（θ）を検出する第２の圧電ジ
ャイロ２５Ｙと、Ｚ軸方向の回転方向（φ）を検出する
第３の圧電ジャイロ２５Ｚとで構成されており、各圧電
ジャイロ２５Ｘ，２５Ｙ，２５Ｚからの各角速度信号
は、それぞれ増幅回路２０を介してＡ／Ｄ変換器２１に
供給されデジタル化されて上記マイコン６に供給される
構成となっている。

【００３８】次に、このような構成を有するバーチャル
・リアリティ・システムの動作説明をする。まず、上記
光学視覚装置５１側に設けられているマイコン６におい
て、ユーザの正確な動きを検出するには、該マイコン６
に、絶対位置及び絶対方位を教える必要がある。このた
め、送信装置５２は、ゲーム等の開始に先立ってシステ
ムコントローラ１２が、上記絶対位置及び絶対方位を示
す位置リセットデータに基づいて上記発光回路１５を発
光駆動する。これにより、上記位置リセットデータが赤
外線信号として上記光学視覚装置５１側に無線送信され
る。

【００３９】上記光学視覚装置５１は、受光部８により
上記赤外線信号として送信される位置リセットデータを
受光し、これをマイコン６に供給する。これにより、上
記マイコン６は、絶対位置及び絶対方位を知ることがで
き、以後、加速度センサ４及び圧電ジャイロ５からの加
速度信号及び角速度信号と、各ＣＣＤラインセンサ４Ｒ
₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの各撮像信号により形成さ
れた瞳位置検出信号とに基づいてユーザの正確な移動位
置，移動方位，目視位置の検出が可能となる。次に、上
記送信装置５２のシステムコントローラ１２は、ゲーム
開始の際に、上記マイコン６の位置方位検出動作の開始
を指示するスタート信号，送信速度を設定するための送
信速度選択信号，上記光学視覚装置５１から送信される
各検出信号を連続出力とするか単出力とするかを選択す
るための出力モード選択信号、及び、上記各検出信号の
送信同期（例えば、フィールド同期或いはフレーム同期
等）をとるための同期信号に基づいて上記発光部１５を
発光駆動する。これにより、上記各信号が赤外線送信さ
れ、上記光学視覚装置５１側の受光部８により受光され
上記マイコン６に供給される。

【００４０】上記マイコン６は、上記スタート信号が供
給されると、ゲーム開始であることを認識し、以後、上
記加速度センサ４及び圧電ジャイロ５，各ＣＣＤライン
センサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂からの検出出力に基
づいて、ユーザの動き検出を行う。

【００４１】すなわち、上記ゲームが開始されると、上
記各加速度センサ４Ｘ，４Ｙ，４Ｚは、それぞれユーザ
の動きにより生じたＸ軸方向の加速度，Ｙ軸方向の加速
度及びＺ軸方向の加速度を検出し、この各加速度信号を
上記マイコン６に供給する。また、上記各圧電ジャイロ
５Ｘ，５Ｙ，５Ｚは、それぞれユーザの動きにより生じ
たＸ軸方向の回転方向，Ｙ軸方向の回転方向及びＺ軸方
向の回転方向を検出し、この各角速度信号を上記マイコ
ン６に供給する。また、上記各ＣＣＤラインセンサ４Ｒ
₁，４Ｒ₂，５Ｒ₁，５Ｒ₂は、ユーザの右目及び左目を撮
像し、この各撮像信号を上記マイコン６に供給する。

【００４２】上記マイコン６は、上記各圧電ジャイロ５
Ｘ，５Ｙ，５Ｚからの各角速度信号が供給されると、該
各角速度信号に基づいてユーザの移動した方位を算出し
て方位検出信号を形成する。また、上記マイコン６は、
上記各ＣＣＤラインセンサ４Ｒ₁，４Ｒ₂，５Ｒ₁，５Ｒ₂
から撮像データ、及び、各加速度センサ４Ｘ，４Ｙ，４
Ｚからの各加速度信号が供給されると、これらに基づい
て例えばソフトウエア制御による図７に示すような演算
を行い、ユーザの頭の位置を示す頭部位置検出信号及び
ユーザの瞳の位置を示す瞳位置検出信号を形成する。

【００４３】すなわち、上記図７に示す機能ブロック図
において、上記各加速度センサ４Ｘ，４Ｙ，４Ｚからの
各加速度信号は、入力端子４０を介して速度信号検出回
路４１に供給される。上記速度信号検出回路４１は、上
記加速度信号を積分処理することにより速度信号を形成
し、これをフィルタリング回路４２に供給する。上記フ
ィルタリング回路４２は、予め定められた所定のフィル
タリング定数で上記速度信号にフィルタリング処理を施
すことにより、高周波成分及びノイズ成分を除去し、こ
れを積分回路４３に供給する。上記積分回路４３は、上
記高周波成分及びノイズ成分の除去された速度信号に対
して積分処理を施すことにより、ユーザの頭部の位置を
示す頭部位置検出信号を形成し、これを出力端子４３を
介して上記送信部７に供給する。

【００４４】一方、上記各ＣＣＤラインセンサ４Ｒ₁，
４Ｒ₂，５Ｒ₁，５Ｒ₂から撮像データは入力端子４５を
介して速度信号抽出回路４６に供給される。上記速度信
号抽出回路４６は、上記撮像データに対して微分処理を
施すことにより、ユーザの瞳の移動速度を示す速度信号
を形成し、これをフィルタリング回路４７に供給する。
上記フィルタリング回路４７は、予め定められた所定の
フィルタリング定数で上記速度信号にフィルタリング処
理を施すことにより、高周波成分及びノイズ成分を除去
し、これを積分回路４８に供給する。上記積分回路４８
は、上記高周波成分及びノイズ成分の除去された速度信
号に対して積分処理を施すことにより、ユーザの目の瞳
の位置を示す瞳位置検出信号を形成し、これを出力端子
４９を介して上記送信部７に供給する。

【００４５】上記送信部７は、上記頭部位置検出信号及
び瞳位置検出信号が供給されると、これを送信装置５２
側に無線送信する。上記送信装置５２側に設けられてい
るシステムコントローラ１２は、上記頭部位置検出信号
及び瞳位置検出信号が供給されると、該各信号に基づい
て上記音声発生回路１３及び映像発生回路１４を読み出
し制御する。そして、ユーザの頭部位置及び瞳の位置に
応じた映像データ及び音声データが光学視覚装置５１側
に赤外線送信される。

【００４６】これにより、上記映像データに応じた映像
を光学視覚装置５１の各ディスプレイ３Ｒ，３Ｌに表示
することができ、また、各イヤホン９を介して上記音声
データに応じた音響出力を得ることができる。また、こ
のように頭部の動きと共に瞳の動きを検出し、該各検出
出力に基づいて上記各ディスプレイ３Ｒ，３Ｌに表示す
る映像を制御するようにしているため、より現実味のあ
る仮想的空間を提供することができる。

【００４７】ここで、上記フィルタリング回路３７のカ
ットオフ周波数等は、当該光学視覚装置５１を長時間使
用しても疲労が少なく、また、より自然に近い状況（映
像）を提供可能なように予め定められているのである
が、当該光学視覚装置の使用状態や、要求条件（速い動
きを重視するか，画像の安定性を重視するか等）等の違
いを１つのフィルタリング定数で満たすのは困難であ
る。また、場合によっては、例えば所定の周波数成分を
強調して視覚的効果を出したい場合がある。このため、
図７中点線で示すように外部からの制御信号により、フ
ィルタリング定数を可変制御するようにしてもよい。こ
れにより、場合に応じた映像の提供を可能とすることが
できる。

【００４８】次に、上記図７で説明したマイコン６にお
ける演算動作は、ユーザの頭部の位置及び瞳の位置を別
々に検出するものであったが、上述のように瞳の位置は
頭部の動きに大きく左右されるものである。このため、
瞳の位置を検出する際に、上述瞳位置検出信号を頭部位
置検出信号を用いて補正することにより、該瞳位置検出
信号をさらに正確なものとすることができる。

【００４９】すなわち、この場合、図７中点線のブロッ
クで示すように瞳位置検出系のフィルタリング回路４７
及び積分回路４８の間に速度ベクトル演算回路５０を設
け、この速度ベクトル演算回路５０に、上述頭部位置検
出系のフィルタリング回路４２からの出力信号を供給す
る構成とする。これにより、図７中一点鎖線で示すよう
にフィルタリング回路４２からの頭部位置検出に係る速
度信号が上記速度ベクトル演算回路５０に供給される。
そして、上記速度ベクトル演算回路５０が上記頭部位置
検出に係る速度信号に基づいて、上記フィルタリング回
路４７からの瞳位置検出に係る速度信号を補正する。

【００５０】具体的には、上記速度ベクトル演算回路５
０は、瞳の水平方向の速度信号の補正を行う場合、頭部
のヨー速度情報及び頭部の横方向の速度情報を用いて補
正を行い、瞳の上下方向の速度信号の補正を行う場合、
頭部のピッチ速度情報及び頭部の縦方向の速度情報を用
いて補正を行う。これにより、上記瞳位置検出信号をさ
らに正確なものとすることができる。この補正された瞳
の速度信号は、上記積分回路４８に供給され積分処理に
より瞳位置検出信号とされ上述のように送信装置側に無
線送信される。このような補正処理により瞳位置検出信
号をさらに正確なものとすることができるため、ユーザ
の頭部及び瞳の動きに応じたより正確な映像を上記各デ
ィスプレイ３Ｒ，３Ｌに表示することができる。

【００５１】なお、人間が物を見る場合、両目の動きが
同じとなるのが普通である。このため、この変形例に係
る実施の形態においても、左右の瞳の動きを２次元的に
検出するのではなく、右目のみ或いは左目のみの動きを
検出するようにしてもよい。これにより、上記光学視覚
部本体３に設けるＣＣＤラインセンサを右目のみの１セ
ット或いは左目のみの１セットとすることができ、部品
点数の削減及び構成の簡略化を通じて当該光学視覚装置
のさらなる小型軽量化及びローコスト化を図ることがで
きる。

【００５２】また、上述のように人間が物を見る場合
に、両目の動きが同じとなるのが普通であるため、上記
右目の動きを検出した検出出力と、左目の動きを検出し
た検出出力とを平均化し、これをユーザの瞳の位置検出
信号として用いるようにしてもよい。これにより、上記
位置検出信号の精度の向上を図ることができる。また、
この平均化を行う際、右目或いは左目の各検出出力の何
れかに重み付けを行ったうえで平均化するようにしても
よい。これにより、上記位置検出信号の最適化を図るこ
とができる。

【００５３】次に、上述の変形例に係る実施の形態の説
明では、ゲーム等の開始に先立って、上記送信装置５２
のシステムコントローラ１２から絶対位置及び絶対方位
を知らせるための位置リセットデータを出力して光学視
覚装置５１側のマイコン６の位置方位検出をリセットす
ることとしたが、これは、図８に示すように地磁気セン
サ２６を用いて上記マイコン６の位置方位検出をリセッ
トするようにしてもよい。

【００５４】上記地磁気センサ２６は、例えば磁気抵抗
効果素子（ＭＲ素子）で構成されており、地磁気を検出
しこの検出出力を上記位置リセットデータとして上記マ
イコン６に供給する。これにより、上記マイコン６が、
ゲーム等の開始に先立って位置方位検出をリセットする
ことができる。従って、ゲーム等の開始に先立って行う
位置方位検出のリセット動作を自動化することができ
る。

【００５５】なお、上記地磁気センサ２６の検出出力
は、地球の緯度により変化するため、ゲーム等に先立っ
て、上記送信装置５２側のシステムコントローラ１２か
らマイコン６に緯度情報を供給することが好ましい。ま
た、上記地磁気センサ２６は、その伏角により検出角度
に誤差を生ずる虞れがあるが、この誤差の補正は、上記
加速度センサ２４及び圧電ジャイロ２５からの各検出出
力に行うようにすればよい。

【００５６】最後に、上述の各実施の形態の説明では、
本発明に係る光学視覚装置は眼鏡型であることとした
が、これはヘルメット型とする等、ユーザが装着可能な
型であればどのような型でも適用可能である。また、上
記送信装置２（５２）は、映像情報とともに音声情報を
も送信することとしたが、これは、映像情報のみを送信
するようにしてもよい。また、上記映像情報は、左右共
同じ映像情報とするのではなく、立体視が可能なように
右目用及び左目用にそれぞれ加工された映像情報を赤外
線送信して各ディスプレイ３Ｒ，３Ｌに表示することに
より、いわゆる３Ｄ（Three Dimensions：３次元）によ
る映像表示を可能とすることができる。

【００５７】また、「アイセンサ」としてユーザの目を
撮像するＣＣＤラインセンサを設けることとしたが、こ
れは、ユーザの目の動きが検出できるようなものであれ
ば何でもよい。具体的には、上記ＣＣＤラインセンサを
用いる方式に代えて、例えば図９（ａ）〜（ｄ）に示す
検出方式を採用してもよい。

【００５８】まず、図９（ａ）に示す検出方式は、眼球
の白目と虹彩（アイリス）とに跨るようにスポット状の
光ＳＰを照射し、この反射光量を検出して瞳の動きを検
出する検出方式である。上記光ＳＰの光源としては、白
熱光源や赤外線光源等を用いることができる。この検出
方式では、瞳と共にアイリスが移動することで反射光量
が変化するため、この光量変化を検出することにより、
ユーザの目の動きを検出することができる。

【００５９】次に、図９（ｂ）に示す検出方式は、眼球
の白目と虹彩（アイリス）とに跨るように照射するスポ
ット状の光ＳＰを、目頭側及び目尻側の両方に照射し、
この各反射光量の差分を検出して瞳の動きを検出する検
出方式である。この検出方式では、上記スポット状の光
ＳＰを２個用いているため、目の動きを正確に検出する
ことができるうえ、リニアリティ及びＳ／Ｎ比の改善を
図ることができる。

【００６０】次に、図９（ｃ）に示す検出方式は、４本
の光のバーＢＡを、眼球の白目と虹彩（アイリス）とに
跨るように、且つ、何れのバーＢＡも瞳には照射されな
いように十字状に照射し、この各バーＢＡの反射光量の
差分を検出して瞳の動きを検出する検出方式である。こ
の検出方式では、ユーザの目の水平方向及び垂直方向の
動きを正確に検出することができる。

【００６１】次に、図９（ｄ）に示す検出方式は、２本
の光のバーＢＡを、眼球の白目と虹彩（アイリス）とに
跨るように、且つ、何れのバーＢＡも瞳には照射されな
いように「ハ」の字状に照射し、この各バーＢＡの反射
光量の差分を検出して瞳の動きを検出する検出方式であ
る。この検出方式では、少ない本数のバーＢＡでユーザ
の目の動きを検出することができる。このような各検出
方式は、設計等に応じて何れを採用してもよい。

【００６２】また、上述の変形例に係る実施の形態の説
明では、上記圧電ジャイロ２５は、角速度を検出するこ
ととしたが、これは、角加速度を検出するようにしても
上述と同じ効果を得ることができる。また、各軸方向
に、それぞれ３つずつ加速度センサ２４Ｘ，２４Ｙ，２
４Ｚ及び圧電ジャイロ２５Ｘ，２５Ｙ，２５Ｚを設け、
計６次元の動き検出を行うこととしたが、これは、例え
ばＸ軸方向の加速度のみを検出したり、Ｘ軸方向及びＹ
軸方向の加速度及び回転方向を検出する等のように、そ
のシステムが必要とする動き検出に応じて１次元，２次
元，３次元等の検出を行うように適宣変更可能であるこ
とは勿論である。

【００６３】

【発明の効果】本発明に係る光学視覚装置は、ユーザの
目の動きに応じて表示手段に表示される映像を変えるこ
とができる。このため、上記表示手段に映像が表示され
ることにより形成される仮想的空間を、より現実的なも
のとすることができる。

【図面の簡単な説明】

【図１】本発明に係る光学視覚装置を適用したバーチャ
ル・リアリティ・システムを構成する光学視覚装置及び
送信装置のブロック図である。

【図２】上記光学視覚装置に設けられている瞳撮像用の
ＣＣＤラインセンサの設置位置を説明するための模式図
である。

【図３】上記ＣＣＤラインセンサの撮像信号の信号処理
を説明するためのブロック図である。

【図４】上記ＣＣＤラインセンサからの撮像信号に基づ
いて、上記光学視覚装置に設けられているマイコンで行
われる演算処理を説明するための機能ブロック図であ
る。

【図５】本発明に係る光学視覚装置を適用したバーチャ
ル・リアリティ・システムの変形例を示すブロック図で
ある。

【図６】上記変形例に係るバーチャル・リアリティ・シ
ステムの光学視覚装置に設けられている加速度センサ及
び圧電ジャイロの構成を説明するための図である。

【図７】上記変形例に係るバーチャル・リアリティ・シ
ステムの光学視覚装置に設けられているマイコンで行わ
れる演算処理を説明するための機能ブロック図である。

【図８】上記変形例に係るバーチャル・リアリティ・シ
ステムの光学視覚装置に位置リセット用の地磁気センサ
を設けた場合のブロック図である。

【図９】ユーザの目の動きを検出するために設けること
ができる、上記ＣＣＤラインセンサ以外の検出手段を説
明するための図である。

【符号の説明】

１光学視覚装置２送信装置３光学視覚部本体３Ｒ右目用ディスプレイ３Ｌ左目用ディスプレイ４Ｒ₁，４Ｒ₂ 右目の動き検出用のＣＣＤラインセンサ５Ｒ₁，５Ｒ₂ 左目の動き検出用のＣＣＤラインセンサ６マイクロコンピュータ（マイコン）７光学視覚装置の送信部８光学視覚装置の受信部９イヤホン１１送信装置の受信部１２システムコントローラ１３音声発生回路１４映像発生回路１５発光部２４加速度センサ２５圧電ジャイロ

Claims

【特許請求の範囲】

【請求項１】ユーザの目の動きを検出するアイセンサ
と、上記アイセンサにより検出されたユーザの目の動きに応
じて供給される映像信号の映像表示を行う表示手段と、上記アイセンサをユーザの目の動きが検出可能な位置に
配すると共に、表示される映像を目視可能なように上記
表示手段をユーザの目の近傍に配するための装着手段と
を有する光学視覚装置。
【請求項２】ユーザの頭の動きを検出する頭部動セン
サを有し、上記表示手段は、上記アイセンサにより検出されたユー
ザの目の動き及び頭部動センサにより検出されたユーザ
の頭の動きに応じて供給される映像信号の映像表示を行
うことを特徴とする請求項１記載の光学視覚装置。
【請求項３】上記頭部動センサからの検出出力に基づ
いて、上記アイセンサからの検出出力を補正する補正手
段を有することを特徴とする請求項２記載の光学視覚装
置。
【請求項４】上記アイセンサからの検出出力をフィル
タリング処理する第１のフィルタリング回路と、上記頭部動センサからの検出出力をフィルタリング処理
する第２のフィルタリング回路と、上記各フィルタリング回路のフィルタリング定数を使用
目的に応じて制御するフィルタリング定数制御手段とを
有することを特徴とする請求項３記載の光学視覚装置。
【請求項５】上記アイセンサは、ユーザの右目或いは
左目の動きを検出することを特徴とする請求項４記載の
光学視覚装置。
【請求項６】上記アイセンサは、ユーザの両目の動き
を検出することを特徴とする請求項４記載の光学視覚装
置。