JPH1127608A - ディスプレイシステム - Google Patents

Abstract

(57)【要約】 【課題】 視線の検出方向に応じた映像を投影するディ
スプレイシステムにおいて、視線方向の変化によって投
影方向が変化した時に投影される映像の回転をなくす。 【解決手段】 遠隔操作可能な雲台９の上にミラー８を
設置し、スクリーン７に投影するプロジェクタ６をミラ
ー８の直前に固定設置し、コンピュータ４は視線入力ス
カウタ２から得られる視線の検出位置に応じて雲台９の
回転移動角を制御すると同時に、ミラー８の水平回転角
度に応じた回転補正を行う。そして、回転補正を行った
映像をミラー８で反射させてスクリーン７に投影する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出手段を備え
たディスプレイシステムに関するものである。

【０００２】

【従来の技術】近年、パソコン／テレビのディスプレイ
画面、ビデオカメラ／スチルカメラのファインダー画面
等を使用者が観察する際、画面のどこを見ているかを検
出する、いわゆる視線入力装置が提案されている。その
原理を以下に説明する。

【０００３】図９は視線検出方法の原理を示す説明図で
あり、図９（ａ）は視線検出方法の原理を示す上面図、
図９（ｂ）は視線検出方法の原理を示す側面図である。

【０００４】図９において、９０６ａ，９０６ｂは観察
者に対して不感の赤外光を放射する発光ダイオード（Ｉ
ＲＥＤ）等の光源であり、各光源は結像レンズ９１１の
光軸に対してｘ方向（水平方向）に略対象に（図９
（ａ））、またｙ方向（垂直方向）にはやや下側に（図
９（ｂ））配置され、観察者の眼球を発散照明してい
る。眼球で反射した照明光の一部は結像レンズ９１１に
よってイメージセンサー９１２に結像する。

【０００５】図１０は視線検出方法の原理を示す説明図
であり、図１０（ａ）はイメージセンサー９１２に投影
される眼球像の概略を示す図、図１０（ｂ）はイメージ
センサー９１２の出力強度を示す図である。

【０００６】以下、図９，１０を用いて視線の検出方法
を説明する。

【０００７】まず水平面で考えると、図９（ａ）におい
て光源９０６ｂより放射された赤外光は観察者の眼球９
０８の角膜９１０を照明する。このとき角膜９１０の表
面で反射した赤外光により形成される角膜反射像ｄ（虚
像）は結像レンズ９１１に集光され、イメージセンサー
９１２上の位置ｄ′に結像する。同様に光源９０６ａよ
り放射された赤外光は眼球の角膜９１０を照明する。こ
のとき角膜９１０の表面で反射した赤外光により形成さ
れた角膜反射像ｅ（虚像）は、結像レンズ９１１により
集光され、イメージセンサー９１２上の位置ｅ′に結像
する。また虹彩９０４の端部ａ，ｂからの光束は結像レ
ンズ９１１を介してイメージセンサー９１２上の位置
ａ′，ｂ′に該端部ａ，ｂの像を結像する。結像レンズ
９１１の光軸に対する眼球９０８の光軸の回転角θが小
さい場合、虹彩９０４の端部ａ，ｂのｘ座標をｘａ，ｘ
ｂとすると、ｘａ，ｘｂはイメージセンサー９１２上で
多数点求めることができる（図１０（ａ）中×印）。そ
こでまず円の最小自乗法にて瞳孔中心ｘｃを算出する。
一方角膜９１０の曲率中心ｏのｘ座標をｘｏとすると、
眼球９０８の光軸に対する回転角θｘは、 ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ （１） となる。また、隔膜反射像ｄとｅの中点ｋに所定の補正
値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ （２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。よ
って、（１）を（２）へ代入しθｘを求めると、 θx ＝arcsin［［xc−｛（xd＋xe）／２＋δx ｝］／oc］ （３） さらにイメージセンサー９１２上に投影された各々の特
徴点の座標を′（ダッシュ）をつけて（４）式に書き換
えると、 θx ＝arcsin［［xc′−｛（xd′＋xe′）／２＋δx ′｝］／oc／β］ （４） となる。ここでβは結像レンズ９１１に対する眼球の距
離ｓｚｅにより決まる倍率で、実際は角膜反射像の間隔
｜ｘｄ′−ｘｅ′｜の関数として求められる。

【０００８】垂直面で考えると、図９（ｂ）に示すよう
な構成となる。ここで２個のＩＲＥＤ９０６ａ，９０６
ｂにより生じる角膜反射像は同位置に発生し、これをｉ
とする。眼球の回転角θｙの算出方法は水平面の時とほ
ぼ同一であるが（２）式のみ異なり、角膜曲率中心ｏの
ｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ （５） ここでδｙは装置の配置方法、眼球距離等から幾何学に
求められる数値であり、その算出方法は省略する。よっ
て垂直方向の回転角θｙは、 θy ＝arcsin［［yc′−（yi′＋δy ′）］／oc／β］ （６） となる。

【０００９】さらに、ファインダー等の、画面上の位置
座標（ｘｎ，ｙｎ）はファインダー光学系で決まる定数
ｍを用いると、水平面上、垂直面上それぞれ、 yn＝m ＊arcsin［［xc′−｛（xd′＋xe′）／２＋δx ′｝］／oc／β］ （７） yn＝m ＊arcsin［［yc′−（yi′＋δy ′）］／oc／β］ （８） となる。

【００１０】図１０から明らかなように、瞳孔エッジの
検出はイメージセンサー出力波形の立ち上がり（ｘ
ｂ′）、立ち下がり（ｘａ′）を利用する。また、角膜
反射像の座標は鋭い立ち上がり部（ｘｅ′）及び（ｘ
ｄ′）を利用する。

【００１１】次に視線検出機能を有したパソコンのシス
テム例を説明する。

【００１２】図１１は視線検出機能を有したパソコンの
システム構成例を示す説明図であり、図１１（ａ）は視
線検出機能を有したパソコンのシステム構成例を示す概
略図である。

【００１３】図１１（ａ）に示すパソコンシステムは、
パソコンの本体部であるパソコンユニット１００８、操
作者がパソコンの画面を観察するためのヘッドマウント
ディスプレイ１００６、操作者、または操作者以外の人
がパソコンの画面を観察するための外部モニタ１００９
にて構成されている。ここで、ヘッドマウントディスプ
レイ１００６は、ゴーグル，メガネフレーム等の部材に
より操作者の眼の近傍に固定されている。

【００１４】ヘッドマウントディスプレイ１００６は、
ＬＣＤ（液晶表示器）等を有する表示素子１００２と、
拡大観察系を実現するための特殊プリズム１００３、パ
ソコン画面を表示素子１００２へ表示する表示回路１０
０７と、観察（撮影者）の眼１００５に赤外光を照射す
る赤外発光ダイオード１０６０，１０６１と、赤外光を
結像する結像レンズ１０６２ａ，１０６２ｂと、この結
像レンズ系１０６２により結像された赤外光を電気信号
に変換する光電変換素子（イメージセンサー）１０６３
と、この光電変換素子１０６３上の観察者の眼１００５
の像を基に、観察者の表示素子１００２上の注視点を求
める注視点検出回路１０６４とを具備している。

【００１５】次に、ヘッドマウントディスプレイ１００
６における観察系の光学作用について説明する。

【００１６】液晶表示素子１００２からの光は第３の光
学作用面ｃで、屈折透過し、第１の光学作用面ａで全反
射し、第２の光学作用面ｂの反射層で反射し、再び第１
の光学作用面ａを屈曲透過し、観察者の視度に適合した
拡がり角（収束角、平行）の光束となり観察者の眼１０
０５に射出する。ここで、観察者の眼１００５と液晶表
示素子１００２の中心を結ぶ線を基本光軸として示して
いる。観察者の視度に対する調整は、液晶表示素子１０
０２を、プリズム１００３の光軸に沿って平行移動する
ことにより可能となる。ここで、プリズム１００３は、
像性能と歪を補正し、テレセントリックな系とするため
に、３つの作用面をそれぞれ回転対称軸を有しない３次
元曲面で構成するのが望ましく、ここでは、基本光軸を
含み、紙面に平行な平面にのみ対称な曲面構造をしてい
る。

【００１７】更に、ヘッドマウントディスプレイ１００
６における視線検出系の光学作用について説明する。裸
眼用の赤外発光ダイオード１０６０（奥行き方向に２
個）、眼鏡用の赤外発光ダイオード１０６１（奥行き方
向に２個）から発した光は、第２の光学作用面ｂに設け
られた開口部１０１２，１０１３，１０１４，１０１５
を通して、視線検出系の光軸とは異なる方向から観察者
の目を照明する。照明光は観察者の角膜，瞳孔で反射散
乱され、角膜で反射した光は角膜反射像を形成し、瞳孔
で散乱した光は瞳孔像を形成する。これらの光は、第２
の光学作用面ｂに設けられた開口部１０１０を通して、
結像レンズ系１０６２によりイメージセンサー１０６３
上に結像される。イメージセンサー１０６３から得られ
る眼の画像は、前述した視線検出原理によって構成され
た注視点検出回路１０６４によって、注視点データを出
力することができる。

【００１８】ここで、結像レンズ系１０６２は、１０６
２ａ，１０６２ｂ、２枚のレンズで構成されている。特
に結像レンズ１０６２ｂは、くさび形状をしたレンズ
で、これにより結像レンズ系１０６２を、少ないレンズ
で構成することができ小型化に適している。この結像レ
ンズ１０６２ｂの斜めの面に、曲率をつけることで、第
２の光学作用面ｂで発生する偏心収差を有効に補正する
ことができる。さらに、結像レンズ系１０６２には少な
くとも非球面を１面設けると、軸外の結像性能を補正す
る上で有効である。結像レンズ系の絞りは、第２の光学
作用面ｂに設けた開口部に近いほうが、開口部１０１０
を小さくすることができ、観察系に対する中抜け（像の
部分抜け）を防ぐのに有効であり、できれば開口部と絞
りが一致しているのが望ましい。開口部は、２mmより小
さく設定したほうが眼の瞳孔より小さくなり、さらに観
察系に対する中抜けを防ぐのに有効である。眼を照明す
る光は、視感度の低い光がよいので、赤外光を使用して
いる。このとき、結像レンズ系１０６２に可視光をカッ
トする部材のレンズを少なくとも１個設けると、視線の
検出精度を向上することができる。

【００１９】図１１（ｂ）は前記プリズム１００３を側
面から見た様子を示す図である。ここで、前記光学作用
面ｂは、反射用のミラーコーティングが施されている
が、前記結像レンズ系１０６２、及び赤外発光ダイオー
ド１０６０，１０６１用の開口部、すなわちミラーコー
ティング未処理部（開口部１０１０は結像用、開口部１
０１２，１０１３は裸眼用の赤外発光ダイオード用、開
口部１０１４，１０１５は眼鏡用の赤外発光ダイオード
用）が設けられている。なお前述したように、これらは
ファインダー観察系に影響のない程度に小さいものであ
り、２mm以下位が望ましい。このようにミラーコーティ
ングに開口部を設け、照明光源を、プリズム１００３を
はさんで眼１００５と反対側に配置したため、プリズム
１００３の屈曲力を強くし、広視野化した場合でも、眼
の高さに近い位置から適切に照明することができる。

【００２０】ここで、前記赤外発光ダイオードは、異な
る配置で裸眼用と眼鏡用を使い分けている。裸眼用の赤
外発光ダイオード１０６０（２個）は、光軸からやや離
れた下部から同一高さで、光軸対称に狭い幅で左右１個
ずつ、眼鏡用の赤外発光ダイオード１０６１（２個）
は、光軸からかなり離れた下部から同一高さで、光軸対
称に広い幅で左右１個ずつ配置されている。その理由は
３つであり、１つは、眼球距離によって、より良い照明
条件を得るためで、できるだけ眼１００５の検出エリア
を均等に照明するような位置になっている。２つめは、
前記角膜反射像が、瞼でケラレないような高さにする必
要があるため、裸眼用の赤外発光ダイオード１０６０
は、眼鏡用の赤外発光ダイオード１０６１に比べて、高
い位置にある。３つめは、赤外光が眼鏡に反射してでき
るゴーストが、検出に影響の少ない周辺部に現れるよう
にするため、眼鏡用の赤外発光ダイオード１０６１は、
裸眼用より、左右、下に、離れた位置にある。なお、眼
球と眼鏡の判別は、前記角膜反射像の間隔｜ｘｄ′−ｘ
ｅ′｜から、眼球とプリズム１００３の距離を算出する
ことで行う。

【００２１】このように、視線検出回路１０６４は、光
電変換素子１０６３上の撮影者の眼１００５の像を基
に、前述した原理に従い、撮影者の、表示素子１００２
画面上の注視点を求めるものである。

【００２２】次に、パソコンユニットについて説明す
る。図１１（ａ）において、１００８はパソコンユニッ
トである。１８１４はＣＰＵであり、プログラムやデー
タの演算処理を行う。１８１３は各デバイスを結ぶシス
テムバス、１８１８はＲＯＭ１８１６やＲＡＭ１８１７
の制御を行うメモリコントローラ、１８１２はビデオＲ
ＡＭ１８１７に書かれた内容がディスプレイに表示され
るよう制御するビデオグラフィックコントローラであ
る。１８１５はポインティングデバイス，キーボードを
コントロールするアクセサリーデバイスコントローラで
あり、ヘッドマウントディスプレイ１００６の視線検出
回路１０６４に接続される。１８１９は周辺装置制御用
のＩ／Ｏチャネルであり、ヘッドマウントディスプレイ
１００６の液晶表示回路１００７に接続される。

【００２３】上記のような構成により、ヘッドマウント
ディスプレイ１００６の視線検出回路１０６４により検
出された操作者の視線位置情報を、パソコンユニット１
００８のポインディングデバイスとして適用することが
でき、画面のスクロールや、メニュー選択に応用するこ
とができる。また同時に、外部モニタ１００９にパソコ
ン画面を表示することができるため、操作者以外の人
が、パソコン画面を見ることができる。また、片眼用ヘ
ッドマウントディスプレイを用いれば、操作者自身も、
外部モニター１００９を見ることができる。

【００２４】上記の技術を用いて、本出願人は、遠隔操
作可能な雲台の上にミラーを設置し、外部スクリーンに
投映する投映装置をミラーの直前に固定設置し、映像を
ミラーで反射させ、視線の検出位置に応じてミラーを回
転させることによって、外部スクリーンに投映する映像
の投映方向を変化させる視線検出装置を既に提案してい
る。以下、各図を用いて各装置及びシステムの概要を説
明する。

【００２５】図１は本発明の第１の実施例によるディス
プレイシステムの概要を示す説明図である。同図におい
て、２は視線検出回路を持った視線入力スカウタ（ヘッ
ドマウントディスプレイと呼ばれる物の一種）であり、
眼鏡のような形状をしている。システムの操作者／体験
者１がこの視線入力スカウタ２を眼鏡と同様に着装する
ことによって映像３を観察することができ、また、付属
のイヤホーン（不図示）により音声を聞くことができ
る。この映像３はコンピュータ４で生成される。コンピ
ュータ４で生成された映像は、その映像がスキャンコン
バータ５を経由してプロジェクタ６に電送される。

【００２６】一方、視線入力スカウタ２から収集された
視線位置データはコンピュータ４に入力される。コンピ
ュータ４は入力された視線位置データに応じてミラー８
がセットされた雲台９を作動させる。すなわち、操作者
／体験者１はコンピュータ４で生成された映像を視線入
力スカウタ２で観察でき、何らかの操作を視線（眼球の
動き）によって指示できる。他の映像観察者１０は、プ
ロジェクタ６から照射され、ミラー８によって反射され
スクリーン７に投影された映像１１を観察できる。

【００２７】また、この映像１１は、操作者／体験者１
の視線の動きに応じて（コンピュータ４が雲台９を制御
することにより）スクリーン７の領域内を移動する。コ
ンピュータ４が生成する映像３及び映像１１は３Ｄグラ
フィックスを用いて、視線の位置によって仮想の三次元
空間の中をウォークスルーしていくものである。また、
視線入力スカウタ２から観察できる映像３の内部の矩形
領域１２は視線が向けられている位置を擬似的に示して
ものである。

【００２８】図２は第１の実施例のシステム構成を示す
ブロック図である。同図において、２１はＣＰＵであ
り、全体の制御を行う。２２はハードディスクコントロ
ーラであり、ハードディスク２３内のデータ・プログラ
ム等の入出力制御を行う。２４はキーボード、２５はマ
ウスであり、ＣＰＵ２１へプログラムの開始などの指示
を出す。２６はＲＡＭであり、プログラムやデータを格
納する。２７は通信回線のインターフェイス（Ａ）であ
り、雲台２９の制御信号のやりとりを行う。

【００２９】２８は通信回線のインターフェイス（Ｂ）
であり、視線入力スカウタ３０とのデータをやりとりす
る。３１は表示コントローラでＶＲＡＭ４２に格納され
た映像データを映像信号として出力する制御を行う。３
２はスキャンコンバータであり、表示コントローラから
出力される映像信号をビデオ機器に表示できる信号に変
換する。３３は映像を表示するモニタであり、３４は外
部スクリーンに映像を投映するプロジェクタである。

【００３０】図８は従来のディスプレイシステムにおけ
る処理動作を示すフローチャートであり、図２も参照し
ながら以下に処理フローの詳細を述べる。

【００３１】まず、キーボード２４もしくはマウス２５
からプログラム開始の合図が発生されると、ＣＰＵ２１
はＨＤ２３からプログラムをＲＡＭ２６上に読み込み実
行を開始し、ステップＳ８０１で三次元仮想空間を表現
するモデルデータをＨＤ２３よりＲＡＭ２６上に読み込
む。次に、ステップＳ８０２で初期化処理を行う。例え
ば仮想空間内の視点位置を所定のスタート位置に設定し
たりする。

【００３２】次に、ステップＳ８０３で視線検出スカウ
タ３０及び雲台２９に初期化信号をそれぞれインターフ
ェイス（Ａ）２７，インターフェイス（Ｂ）２８を介し
て送信し、視線検出回路及び雲台２９の初期化を行う。
次に、ステップＳ８０４で最初の映像を生成するために
ＣＰＵ２１がＲＡＭ２６上にロードされている３Ｄデー
タに対してレンダリング処理を施す。レンダリングの方
法に関しては公知であるのでここでは詳述しない。レン
ダリングされた映像は表示コントローラ３１，スキャン
コンバータ３２を経由して、視線入力スカウタ３０内の
液晶表示装置１００２（図１１（ａ））のモニタに表示
される。また、プロジェクタ３４に電送された映像はミ
ラー３５に向かって照射され、ミラー３５で反射された
映像が外部に設置されたスクリーンに投影される（ステ
ップＳ８０５）。

【００３３】ここで、図４を用いて雲台２９とミラー３
５とプロジェクタ３４の説明をする。

【００３４】図４はプロジェクタ３４，ミラー３５，雲
台２９の設置関係を示す側面図であり、同図において、
４０１はプロジェクタのレンズ部分でここから映像が照
射される。４０２はプロジェクタからの映像を反射する
ためのミラー、４０３はミラー４０２を支える台座、４
０４は雲台の回転座（パンニングとチルトの双方向可
動）、４０５は雲台本体でモータや制御回路が内部に搭
載されている。また４０６は投影される映像の光軸の中
心であり、かつ、雲台の回転（パンニング）の中心であ
ることを示すための補助線である。プロジェクタ本体と
雲台本体は一体の固定器具（不図示）で固定されてい
る。

【００３５】図８に戻って、ステップＳ８０６で終了か
どうかの判定を行う。キーボード２４でマウス２５から
終了の指示があれば、終了処理（ステップＳ８０７）を
行い、一回の操作／体験を終了する。一方、終了指示が
ない場合はステップＳ８０８に進み、通信インターフェ
イス（Ｂ）２８を介して視線入力スカウタ３０より視線
の位置情報を読み込む。次に、ステップＳ８０９で三次
元仮想空間内の視点移動位置を、読み込まれた操作者／
体験者１の視線位置情報を元に算出する。算出方法は幾
何学及び透視法で計算できるので詳述しない。次に、ス
テップＳ８１０で三次元仮想空間内の視点位置をステッ
プＳ８０９で算出された位置へ移動する。ここでステッ
プＳ８０８で読み込んだ視線位置情報とその前に読み込
んだ視線位置情報（最初は原点）からミラー３５（雲台
２９）の回転角（パンニング角度、及びティルト角度）
を算出し、ミラー３５（雲台２９）を動かすための指令
をインターフェイス（Ｂ）２８を介して雲台２９に転送
する。

【００３６】すると雲台２９が動作して、スクリーン上
の映像が操作者／体験者１の視線の方向に同期して移動
投影される（ステップＳ８１１）。そして、ステップＳ
８０４において新たな三次元仮想空間内の視点位置でシ
ーンを描画すべくレンダリングを行う。

【００３７】以上の処理を繰り返して行うことにより、
操作者／体験者１の視線位置に同期してスクリーン上に
投映する映像を移動投影して他の観察者が操作者／体験
者１の仮想的な三次元空間内をフォークスルーしていく
様子（スクリーン映像）と視線位置（スクリーン上の映
像位置）を同時に観察することが提案されている。

【００３８】

【発明が解決しようとする課題】しかしながら、上記の
ような従来のディスプレイシステムにおいては、視線の
検出位置に応じて外部スクリーンに投映する映像の投映
方向を、投影装置の前方に配置したミラーを回転（パン
ニング・チルト）させることにより変化させたときに、
図５に示すようにミラーの水平方向の回転（パンニン
グ）に伴い、映像が傾いて投影されてしまうという問題
点があった。

【００３９】図５はミラーを回転させた場合にスクリー
ン上に投影される映像を示す説明図であり、同図中、ス
クリーン中央のミラーの虚像Ａはミラーがホームポジシ
ョンの時のものであり、ミラーの虚像Ｂ，Ｃは左右にミ
ラーが回転した場合のものである。これは映像を投映す
るプロジェクタが固定のために起き、プロジェクタを雲
台に乗せて回転させれば、映像自身のスクリーン上にお
ける回転はなくすことができる。しかし、プロジェクタ
の重量に耐えられる強いモータを持っている高価な雲台
を使用する必要があり、当然回転スピードもさほど上げ
られないという問題点があった。

【００４０】本発明は、上記のような問題点を解決する
ためになされたものであり、視線方向の変化によって投
影方向が変化する時に投影される映像の回転をなくすこ
とができるディスプレイシステムを提供することを目的
とする。

【００４１】

【課題を解決するための手段】本発明のディスプレイシ
ステムは次のように構成したものである。

【００４２】（１）視線の方向を検出する視線検出手段
と、映像を投影する映像糖液手段と、その映像投影手段
の投影方向を変更する変更手段とを有し、視線の方向に
応じて前記映像投影手段の投影方向を変更するととも
に、被投影映像の回転を予め補正するようにした。

【００４３】（２）映像を観察するための映像観察手段
と、その映像に対する視線の方向を検出する視線検出手
段と、視線方向に対応した映像を投影する映像投影手段
と、その映像投影手段の投影方向を変更する変更手段と
を有し、視線の方向に応じて前記映像投影手段の投影方
向を変更するとともに、被投影映像の回転を予め補正す
るようにした。

【００４４】（３）映像を観察するために前方に固定し
た映像観察手段と、その映像に対する視線の方向を検出
する視線検出手段と、視線方向に対応した映像を投影す
る映像投影手段と、その映像投影手段の投影方向を変更
する変更手段とを有し、視線の方向に応じて前記映像投
影手段の投影方向を変更するとともに、被投影映像の回
転を予め補正するようにした。

【００４５】（４）上記（１）ないし（３）何れかのデ
ィスプレイシステムにおいて、変更手段は映像投影手段
の前方にミラーを配置し、そのミラーを回転することに
より投影方向を変更するようにした。

【００４６】（５）上記（４）のディスプレイシステム
において、ミラーの回転によって生ずる被投影映像の回
転を予め補正して投影するようにした。

【００４７】

【発明の実施の形態】

（第１の実施例）図１は本発明の第１の実施例によるデ
ィスプレイシステムの概要を示す説明図であり、これに
基づいて本システム及び各装置の概要を説明する。

【００４８】図１において、２は視線検出回路を有した
視線入力スカウタ（ヘッドマウントディスプレイと呼ば
れる物の一種）（視線検出手段，映像観察手段）であ
り、眼鏡のような形状をしている。システム操作者／体
験者１がこの視線入力スカウタ２を眼鏡と同様に着装す
ることによって映像３を観察することができ、また、付
属のイヤホーン（不図示）により音声を聞くことができ
る。この映像３はコンピュータ４で生成される。コンピ
ュータ４で生成された映像は、その映像がスキャンコン
バータ５を経由してプロジェクタ（映像投影手段）６に
電送される。

【００４９】一方、視線入力スカウタ２から収集された
視線位置データはコンピュータ４に入力される。コンピ
ュータ４は入力された視線位置データに応じてミラー８
がセットされた雲台９を作動させる。すなわち、操作者
／体験者１はコンピュータ４で生成された映像を視線入
力スカウタ２で観察でき、何らかの操作を視線（眼球の
動き）によって指示できる。他の映像観察者１０はプロ
ジェクタ６から照射されミラー８によって反射されスク
リーン７に投影された映像１１を観察できる。

【００５０】また、この映像１１は、操作者／体験者１
の視線の動きに応じて（コンピュータ４が雲台９を制御
することにより）スクリーン７の領域内を移動すると同
時に、ミラー８の水平回転角に応じて、コンピュータ４
によって回転補正処理を施される。本実施例ではコンピ
ュータ４が生成する映像３、及び映像１１は３Ｄグラフ
ィクスを用いて、視線の位置によって仮想の三次元空間
の中をウォークスルーしていくものである。また、視線
入力スカウタ２から観察できる映像３の内部の矩形領域
１２は視線が向けられている位置を擬似的に示したもの
である。

【００５１】図２は第１の実施例のシステム構成を示す
図である。

【００５２】同図において、２１はＣＰＵであり、シス
テム全体の制御を行う。２２はハードディスクコントロ
ーラであり、ハードディスク２３内のデータ・プログラ
ム等の入出力制御を行う。２４はキーボード、２５はマ
ウスであり、ＣＰＵ２１へプログラムの開始等の指示を
出す。２６はＲＡＭであり、プログラムやデータを格納
する。２７は通信回線のインターフェイス（Ａ）であ
り、雲台２９への制御信号のやりとりを行う。

【００５３】２８は通信回線のインターフェイス（Ｂ）
であり、視線入力スカウタ３０とデータをやりとりす
る。３１は表示コントローラであり、ＶＲＡＭ４２に格
納された映像データを映像信号として出力する制御を行
う。３２はスキャンコンバータであり、表示コントロー
ラ３１から出力される映像信号をビデオ機器に表示でき
る信号に変換する。３３は映像を表示するモニタ、３４
は外部スクリーンに映像を投映するプロジェクタであ
る。

【００５４】図３は第１の実施例の処理動作を示すフロ
ーチャートであり、図２も参照しながら処理フローにつ
いて以下に詳細を述べる。

【００５５】まず、キーボード２４もしくはマウス２５
からプログラム開始の合図が発生されると、ＣＰＵ２１
はＨＤ２３からプログラムをＲＡＭ２６上に読み込み実
行を開始し、ステップＳ３０１において三次元仮想空間
を表現するモデルデータをＨＤ２３よりＲＡＭ２６上に
読み込む。次に、ステップＳ３０２において初期化処理
を行う。例えば仮想空間内の視点位置を所定のスタート
位置に設定したりする。

【００５６】次に、ステップＳ３０３において視線検出
スカウタ３０及び雲台２９に初期化信号をそれぞれイン
ターフェイス（Ａ）２７，インターフェイス（Ｂ）２８
を介して送信し、視線検出回路及び雲台２９の初期化を
行う。次に、ステップＳ３０４において、最初の映像を
生成するためにＣＰＵ２１がＲＡＭ２６上にロードされ
ている３Ｄデータに対してレンダリング処理を施す。レ
ンダリングの方法に関しては公知であるのでここでは詳
述しない。レンダリングされた映像は表示コントローラ
３１，スキャンコンバータ３２を経由して、視線入力ス
カウタ３０内の液晶表示装置１００２（図１１（ａ））
のモニタ上に表示される。また、プロジェクタ３４に電
送された映像はミラー３５に向かって照射され、ミラー
３５で反射された映像が外部に設置されたスクリーンに
投影される（ステップＳ３０５）。

【００５７】ここで、図４を用いて雲台２９とミラー３
５とプロジェクタ３４の説明をする。図４はプロジェク
タ３４，ミラー３５，雲台２９の設置関係を示す側面図
である。同図において、４０１はプロジェクタ３４のレ
ンズ部分であり、ここから映像が照射される。４０２は
プロジェクタ３４からの映像を反射するためのミラー、
４０３はミラー４０２を支える台座、４０４は雲台の回
転座（パンニングとチルトの双方向可動）、４０５は雲
台本体でモータや制御回路が内部に搭載されている。４
０６は投影される映像の光軸の中心であり、かつ、雲台
の回転（パンニング）の中心であることを示すための補
助線である。プロジェクタ本体と雲台本体は一体の固定
器具（不図示）で固定されている。

【００５８】ここで、図３に戻って、ステップＳ３０６
において終了かどうかの判定を行う。キーボード２４や
マウス２５から終了の指示があれば、終了処理（ステッ
プＳ３０７）を行い、一回の操作／体験を終了する。一
方、終了指示が無い場合はステップＳ３０８に進み、イ
ンターフェイス（Ｂ）２８を介して視線入力スカウタ３
０より視線の位置情報を読み込む。次に、ステップＳ３
０９において三次元仮想空間内の視点移動位置を、読み
込まれた操作者／体験者１の視線位置情報を元に算出す
る。算出方法は幾何学及び透視法で計算できるので詳述
しない。

【００５９】次に、ステップＳ３１０において三次元仮
想空間内の視点位置をステップＳ３０９において算出さ
れた位置へ移動する。ここで、ステップＳ３０８におい
て読み込んだ視線位置情報とその前に読み込んだ視線位
置情報（最初は原点）からミラー３５（雲台２９）の回
転角（パンニング角度、及び、ティルト角度）を算出
し、ミラー３５（雲台２９）を動かすための指令をイン
ターフェイス（Ｂ）２８を介して雲台２９に転送する。
すると、雲台２９が動作して、スクリーン上の映像が操
作者／体験者１の視線の方向に同期して移動投影され
る。この移動が行われている間に、ステップＳ３１２に
おいて３Ｄ空間モデルデータに対して、ミラー３５（雲
台２９）の水平回転角（パンニング角度）に相当する角
度で、ミラー３５とは反対方向に幾何学演算処理（回転
処理）を施すことにより、ミラー３５の回転による映像
の回転を打ち消すべく回転した３Ｄ空間モデルを得る。
これによって、本実施例においては、スクリーン上に投
影される映像はミラー３５（雲台２９）のパンニングに
よる回転の影響を受けることなく、投影される。

【００６０】ステップＳ３１２の処理が施されなかった
場合、図５に示すように、ミラー６の左右の回転に伴
い、ミラー６の虚像Ｂ，Ｃのように像がホームポジショ
ンの時のミラー６の虚像Ａに対し傾いてしまう。このミ
ラー６の虚像の投影される映像に、ステップＳ３１２の
処理を施すことで映像自身のスクリーン上における回転
はなくすことができる。これを図６に示す。図６（ａ）
（従来例）はミラー６０１が右に４５度パンニングした
場合のミラーの虚像６０６と、投影される映像６０７ａ
の関係を示す図である。図６（ｂ）はミラー６０１が右
に４５度パンニングした場合のミラーの虚像６０６と、
投影される映像６０７ｂの関係を示す図であり、ステッ
プＳ３１２の処理により、図６（ｂ）に示すようにミラ
ー６０１の虚像６０６とスクリーン６０３に投影される
映像６０７ｂとではミラー６０１の回転の影響を打ち消
すように左に４５度回転して投影されていることがわか
る。また、本実施例ではプロジェクタ６０２の光軸の中
心６０９（雲台のパンニング中心）から同心円上にスク
リーン６０３を張って観察した。

【００６１】ここで、図３の説明に戻り、ステップＳ３
０４において新たな三次元仮想空間内の視点位置でシー
ンを描画すべくレンダリング処理を行う。

【００６２】以上の処理を繰り返して行うことにより、
操作者／体験者１の視線位置に同期してスクリーン上に
投映する映像を移動投映するので、他の観察者が操作者
／体験者１の仮想的な三次元空間内をウォークスルーし
ていく様子（スクリーン映像）と視線位置（スクリーン
上の映像位置）を同時に観察できる。

【００６３】なお、本実施例では、１回の制御指令によ
る雲台の回転時間が１回のレンダリング時間を越えてし
まう場合、検出された視線位置情報は評価しないように
した。したがって、外部スクリーンに投影される位置が
完全に視線位置に一致しているわけでもない。また、も
し、完全に追従できるくらいの雲台があったとしても、
人間の眼球の振れが細かく速いために観察者は酔ってし
まうのではないかと考えられる。おおよその視線位置が
追従できることで十分な効果が得られる。

【００６４】このように本実施例では、遠隔操作可能な
雲台の上にミラーを設置し、外部スクリーンに投映する
投映装置をミラーの直前に固定設置し、視線検出手段か
ら得られる視線の検出位置に応じて雲台の回転移動角を
制御すると同時に、回転補正処理手段によって、ミラー
の水平回転角度に応じた回転補正を行った映像をミラー
で反射させて投映するようにしたため、外部スクリーン
には傾きの無い映像が投影され、外部スクリーンの観察
者は、より臨場感のある映像を観察することができる。

【００６５】また、同等の効果を得るために、投影装置
を雲台に乗せて回転させた場合、投影装置の重量に耐え
られる強いモータを持っている高価な雲台を使用する必
要があり、当然回転スピードもさほど上げられないとい
う短所があったが、上記構成においては、投影装置は固
定することができるため、製作費用を下げる効果があ
り、また、ミラーの回転速度にも容易に追従することが
できる。

【００６６】（第２の実施例）第１の実施例との違いに
関してのみ以下に詳述する。

【００６７】図７は第２の実施例のシステム構成を示す
図であり、第１の実施例との相違点は映像出力系にあ
る。これは、視線入力スカウタ３０に表示する映像と、
外部スクリーンに投映する映像とを異なるものを出力す
る場合の構成である。

【００６８】ＣＰＵ２１で生成された第１の映像は、視
線入力スカウタ３０に表示する映像を出力するために、
表示コントローラ（Ａ）３１を介してスキャンコンバー
タ（Ａ）３２に電送される。そこから視線入力スカウタ
３０とモニタ（Ａ）３８に映像が配信される。また、Ｃ
ＰＵ２１で生成された第２の映像は、表示コントローラ
（Ｂ）３９を介してスキャンコンバータ（Ｂ）４０に電
送される。そこからモニタ（Ｂ）４１とプロジェクタ３
４とに映像が配信され、外部スクリーンに投影される。

【００６９】

【発明の効果】以上説明したように、本発明によれば、
視線の方向を検出する視線検出手段と、映像を投影する
映像糖液手段と、その映像投影手段の投影方向を変更す
る変更手段とを有し、視線の方向に応じて前記映像投影
手段の投影方向を変更するとともに、被投影映像の回転
を予め補正するようにしたため、外部スクリーンには傾
きの無い映像が投影されるため、外部スクリーンの観察
者はより臨場感のある映像を観察することができるとい
う効果がある。

【００７０】また、同等の結果を得るために、投影装置
を雲台に乗せて回転させた場合、投影装置の重量に耐え
られる強いモータを持っている高価な雲台が必要であ
り、回転速度もさほど上げられなかったが、上記構成に
より投影装置は固定することができるので制作費用を下
げることができるという効果があり、ミラーの回転速度
も容易に上げることができるという効果がある。

【００７１】また、映像を観察するための映像観察手段
と、その映像に対する視線の方向を検出する視線検出手
段と、視線方向に対応した映像を投影する映像投影手段
と、その映像投影手段の投影方向を変更する変更手段と
を有し、視線の方向に応じて前記映像投影手段の投影方
向を変更するとともに、被投影映像の回転を予め補正す
るようにしたため、上記と同様の効果がある。

【００７２】また、映像を観察するために前方に固定し
た映像観察手段と、その映像に対する視線の方向を検出
する視線検出手段と、視線方向に対応した映像を投影す
る映像投影手段と、その映像投影手段の投影方向を変更
する変更手段とを有し、視線の方向に応じて前記映像投
影手段の投影方向を変更するとともに、被投影映像の回
転を予め補正するようにしたため、上記と同様の効果が
ある。

【図面の簡単な説明】

【図１】 本発明の第１の実施例によるディスプレイシ
ステムの概要を示す説明図

【図２】 第１の実施例のシステム構成を示すブロック
図

【図３】 第１の実施例の処理動作を示すフローチャー
ト

【図４】 プロジェクタ，ミラー，雲台の設置関係を示
す側面図

【図５】 ミラーを回転させた場合にスクリーン上に投
影されるミラーの虚像を示す説明図

【図６】 ミラーを４５度回転させた場合のミラーの虚
像と投影される映像との関係を示す図

【図７】 第２の実施例のシステム構成を示すブロック
図

【図８】 従来のディスプレイシステムにおける処理動
作を示すフローチャート

【図９】 視線検出方法の原理を示す説明図

【図１０】 視線検出方法の原理を示す説明図

【図１１】 視線検出機能を有したパソコンのシステム
構成例を示す説明図

【符号の説明】

２ 視線入力スカウタ（視線検出手段，映像観察手段） ４ コンピュータ ６ プロジェクタ（映像投影手段） ９ 雲台

Claims (5)

【特許請求の範囲】
1. 【請求項１】 視線の方向を検出する視線検出手段と、
   映像を投影する映像糖液手段と、その映像投影手段の投
   影方向を変更する変更手段とを有し、視線の方向に応じ
   て前記映像投影手段の投影方向を変更するとともに、被
   投影映像の回転を予め補正することを特徴とするディス
   プレイシステム。
2. 【請求項２】 映像を観察するための映像観察手段と、
   その映像に対する視線の方向を検出する視線検出手段
   と、視線方向に対応した映像を投影する映像投影手段
   と、その映像投影手段の投影方向を変更する変更手段と
   を有し、視線の方向に応じて前記映像投影手段の投影方
   向を変更するとともに、被投影映像の回転を予め補正す
   ることを特徴とするディスプレイシステム。
3. 【請求項３】 映像を観察するために前方に固定した映
   像観察手段と、その映像に対する視線の方向を検出する
   視線検出手段と、視線方向に対応した映像を投影する映
   像投影手段と、その映像投影手段の投影方向を変更する
   変更手段とを有し、視線の方向に応じて前記映像投影手
   段の投影方向を変更するとともに、被投影映像の回転を
   予め補正することを特徴とするディスプレイシステム。
4. 【請求項４】 変更手段は映像投影手段の前方にミラー
   を配置し、そのミラーを回転することにより投影方向を
   変更することを特徴とする請求項１ないし３何れか記載
   のディスプレイシステム。
5. 【請求項５】 ミラーの回転によって生ずる被投影映像
   の回転を予め補正して投影することを特徴とする請求項
   ４記載のディスプレイシステム。