JP3428920B2 - 視点位置検出装置、方法及び立体画像表示システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は被測定者の視点位置
を検出する視点検出装置及び視点検出方法に関し、特に
高速処理と高検出精度とを両立した視点検出装置及び視
点検出方法に関するものである。

【０００２】

【従来の技術】従来、裸眼による立体視が可能ないわゆ
る立体画像表示装置がある。立体画像表示装置には種々
の方式があるが、例えば特開平０９−３１１２９４号公
報には、リアクロスレンチキュラ方式のものが開示され
ている。図１１はリアクロスレンチキュラ方式の立体画
像表示装置の例を示す要部斜視図である。図中、６は画
像表示用のディスプレイデバイスであり、例えば液晶素
子（ＬＣＤ）で構成する。図は、偏光板、カラーフィル
ター、電極、ブラックマトリクス、反射防止膜などは省
略してある。

【０００３】１０は照明光源となるバックライト（面光
源）である。ディスプレイデバイス６とバックライト１
０の間には、市松状の開口８を備えたマスクパターンを
形成したマスク基板（マスク）７を配置している。マス
クパターンはガラスまたは樹脂からなるマスク基板７上
にクロムなどの金属蒸着膜または光吸収材等をパターニ
ングして製作している。バックライト１０、マスク基板
７等は光源の一要素を構成している。

【０００４】マスク基板７とディスプレイデバイス６の
間には、透明樹脂またはガラス製の第１のレンチキュラ
レンズ３及び第２のレンチキュラレンズ４を配置してい
る。第１のレンチキュラレンズ３は垂直方向に長い縦シ
リンドリカルレンズを左右方向に並べて構成した縦シリ
ンドリカルレンズアレイであり、第２のレンチキュラレ
ンズ４は水平方向に長い横シリンドリカルレンズを上下
方向に並べて構成した横シリンドリカルレンズアレイで
ある。

【０００５】ディスプレイデバイス６に表示する画像は
図示するように左右の視差画像Ｒ及びＬを夫々上下方向
に多数の横ストライプ状の横ストライプ画素Ｒ，Ｌに分
割し、それらを例えば画面上からＬＲＬＲＬＲ・・・・
と交互に並べて１つの画像に構成した横ストライプ画像
である。

【０００６】バックライト１０からの光はマスク基板７
の各開口８を透過してディスプレイデバイス６を照明
し、観察者の両眼に左右のストライプ画素Ｒ，Ｌが分離
して観察される。

【０００７】すなわち、マスク基板７はバックライト１
０により照明され、開口８から光が出射する。マスク基
板７の観察者側には第１のレンチキュラレンズ３を配置
しており、その各シリンドリカルレンズのほぼ焦点位置
にマスク基板７がくるようにレンズ曲率を設計してい
る。この断面においては第２のレンチキュラレンズ４は
光学的に何の作用もしないので、開口８上の１点から射
出する光束はこの断面内では略平行光束に変換される。

【０００８】マスクパターンの一対の開口部と遮光部は
略第１のレンチキュラレンズ３の１ピッチに対応するよ
うに設定している。

【０００９】また、観察者の所定の位置から第１のレン
チキュラレンズ３までの光学的距離と第１のレンチキュ
ラレンズ３からマスクパターンまでの光学的距離の関係
を元に、第１のレンチキュラレンズ３のピッチとマスク
パターンの一対の開口部と遮光部のピッチを定めること
によって、画面の全幅にわたって、開口部８からの光が
一様に左眼又は右眼に集まるようにすることができる。
このようにしてディスプレイデバイス６上の左右のスト
ライプ画素が水平方向に左眼、右眼の領域に分離して観
察される。

【００１０】第２のレンチキュラーレンズ４は、マスク
７の開口８上の各点から発する光束を、すべてディスプ
レイデバイス６の右目又は左目用ストライプ画素上に集
光して、これを照明、透過して上下方向にのみ集光時の
ＮＡに応じて発散し、観察者の所定の眼の高さから画面
の上下方向の全幅にわたって左右のストライプ画素を一
様に分離して見える観察領域を与えている。

【００１１】しかしながら、このような立体画像表示装
置の視野角は狭く、観察者の視点が視野角からはずれる
と立体表示が認識されなくなる。そのため、観察者の視
点位置を検出して、視点位置の移動に応答して画像表示
を制御することにより、立体視が可能な領域を拡大する
技術が提案されている。例えば、特開平１０−２３２３
６７号公報には、マスクパターン又はレンチキュラレン
ズを表示面に平行移動させて、立体視可能な領域を拡大
する技術が開示されている。

【００１２】図１２は、特開平１０−２３２３６７号公
報に開示される立体画像表示装置の図である。図１２に
おいて、図１１と同じ構成要素には同じ参照数字を付
し、説明は省略する。図１２の立体画像表示装置はレン
チキュラーレンズが１枚の構成を有するので、図１１に
おける第２のレンチキュラーレンズ４を有していない。

【００１３】このような構成の立体画像表示装置におい
て、観察者５４の移動に応じた制御は以下のようにに行
われる。まず、位置センサー５１が、予め設定された基
準の位置からの観察者５４の水平方向のずれを検出し、
その情報を制御ユニット５２へ送り、このずれ情報に応
じて制御ユニット５２がディスプレイ駆動回路５０へ画
像制御信号を出力すると、ディスプレイ駆動回路５０が
第１又は第２の横ストライプ画像をディスプレイ６に表
示する。同時に制御ユニット５２はずれ情報に基づくア
クチュエータ駆動信号を発生し、マスクパターン７を水
平方向に移動させるアクチュエータ５３を駆動すること
により、マスクパターン７を観察者５４が左右のストラ
イプ画像をもっともよく分離できる位置に移動させる。
この結果、観察者５４の視点位置が変化しても、立体視
可能な範囲が拡大することになる。

【００１４】このように、観察者の視点位置に応じて表
示を制御する場合、検出精度が低くても、検出のための
処理時間が長くても、観察者の視点に適した画像表示が
行えない。そのため、観察者の視点位置をいかに精度よ
く、しかも短時間で検出するかは表示装置の性能におい
て非常に重要である。

【００１５】観察者（被測定者）の視点位置検出方法と
しては、 １）赤外光を観察者に照射し、網膜の反射を検出する方
法（例えば、伴野 「視点検出のための瞳孔撮影光学系
の設計法」、電子情報通信学会論文誌D-II, Vol.J74-D-
II, No.6, pp.736-747, 1991年6月に記載） ２）可視画像を画像処理して観察者の目を検出する方法
（例えば、坂口ら 「画像の２次元離散コサイン変換を
利用した実時間顔表情認識」、電子情報通信学会論文誌
D-II, Vol. J80-D-II, No.6, pp. 1547-1554 1997年6
月に記載） ３）赤外画像と可視画像を利用し、画像処理により観察
者の目を検出する方法（例えば、特開平８−２８７２１
６号公報に記載）などがある。

【００１６】１）の方法は、人間の瞳孔が近赤外光を再
帰反射する（入射方向と同一方向に光を戻す）性質を有
することを利用したものである。瞳孔反射光は鋭い反射
ピークとして得られ、通常、顔面などよりも高い反射率
を示すため、光源と光軸を同軸とした赤外線撮像装置を
用いて観察者を撮影することにより、瞳孔部分のみを明
るく撮像することができる。この撮影画像を適当な閾値
で二値化処理すれば、抽出された瞳孔位置から正確な視
点位置が検出できる。

【００１７】また、２）の方法では、撮影範囲の中の観
察者位置を予め限定し、その状態で観察者に瞬きをさせ
て、その可視画視画像のフレーム間画像によって目の領
域を抽出している。その目の領域範囲をもとに作成した
テンプレートを用いて、パターンマッチングによる視点
位置検出を行う。

【００１８】また、３）の方法では、赤外画像と可視カ
ラー画像を同時に撮影し、これら画像から顔領域を抽出
したのちパターンマッチングを利用して目などの特徴領
域を検出する。赤外画像は人物候補領域の抽出と、カラ
ー画像から肌色領域を抽出する際に用いる温度閾値の決
定に用いられる。

【００１９】

【発明が解決しようとする課題】しかしながら、１）の
方法においては、比較的強い赤外光を連続的に観察者に
対して照射する必要があるため、赤外光による観察者へ
の影響が懸念されるという問題があるほか、網膜による
反射を利用するため、観察者が瞬きした場合などは検出
が行えないという問題がある。また、環境の照度による
瞳孔の拡大縮小や、被測定者の視線の方向によっては、
瞳孔反射像の追従が困難となるという問題もある。

【００２０】また、２）の方法においては、観察位置の
調節や瞬きを行うなどの動作を観察者に要求することに
なり、観察者からみると面倒であること、テンプレート
を作成するために、観察位置の調節や瞬きを行うなどの
動作にかかる時間が必要となり、実用的でないことなど
の問題がある。

【００２１】さらに、３）の方法では、１）の方法に比
べて低い赤外光の照射強度でよいが、赤外画像の中間処
理結果を求めた後、その処理結果を利用して可視画像を
処理し、赤外画像の処理結果と可視画像の処理結果を用
いて顔領域を検出してからさらにパターンマッチングを
行うため、非常に処理が複雑である。また、パターンマ
ッチングに用いるテンプレートの作成も容易でないとい
った問題がある。また、パターンマッチング用のテンプ
レートを作成するために必要な顔の部位位置を可視画像
のみから検出しているため、位置精度があまり良くない
という問題もある。

【００２２】したがって、本発明の目的は、簡易な構成
により、かつ人体への影響懸念を抑制しながら、短時間
で高精度かつ追従性のよい視点位置検出装置及び方法を
提供することにある。また、本発明の別の目的は、本発
明の視点位置検出装置あるいは方法を用いて得られる視
点位置情報を用いて表示を制御する立体画像表示装置を
有する立体画像表示システムを提供することにある。

【００２３】

【課題を解決するための手段】すなわち、本発明の要旨
は、被測定者の視点位置を検出し、視点位置情報を出力
する視点位置検出装置であって、被測定者の赤外画像を
取得する赤外画像取得手段と、被測定者の可視画像を取
得する可視画像取得手段と、赤外画像取得手段が取得し
た赤外画像から、被測定者の瞳孔位置を検出する検出手
段と、可視画像取得手段が取得した可視画像から、瞳孔
位置を用いてパターンマッチング用のテンプレートを作
成するテンプレート作成手段と、テンプレート作成手段
の作成したテンプレートを用い、可視画像取得手段が取
得する可視画像とパターンマッチングを行って被測定者
の視点位置を検出し、結果を視点位置情報として出力す
るマッチング手段とを有することを特徴とする視点位置
検出装置に存する。

【００２４】また、本発明の別の要旨は、被測定者の視
点位置を検出し、視点位置情報を出力する視点位置検出
装置であって、被測定者の赤外画像を取得する赤外画像
取得手段と、被測定者の可視画像を取得する可視画像取
得手段と、赤外画像取得手段が取得した赤外画像から、
被測定者の瞳孔位置を検出する検出手段と、可視画像取
得手段が取得した可視画像から、瞳孔位置を用いてパタ
ーンマッチング用のテンプレートを作成するテンプレー
ト作成手段と、テンプレート作成手段の作成したテンプ
レートを用いて可視画像取得手段が取得する可視画像と
パターンマッチングを行い、被測定者の視点位置を検出
し、検出結果を視点位置情報として出力するマッチング
手段と、所定の条件を満たす場合に検出手段及びテンプ
レート作成手段を用いて再度テンプレートを作成するよ
うに制御する制御手段とを有することを特徴とする視点
位置検出装置に存する。

【００２５】また、本発明の別の要旨は、上述の本発明
による視点位置検出装置と、この視点位置検出装置に接
続された立体画像表示装置とを有する立体画像表示シス
テムであって、視点位置検出装置から受信した視点位置
情報を用いて立体画像表示装置を制御することを特徴と
する立体画像表示システムに存する。

【００２６】また、本発明の別の要旨は、被測定者の視
点位置を検出し、視点位置情報を出力する視点位置検出
方法であって、被測定者の赤外画像を取得する赤外画像
取得ステップと、被測定者の可視画像を取得する可視画
像取得ステップと、赤外画像取得ステップで取得した赤
外画像から、被測定者の瞳孔位置を検出する検出ステッ
プと、可視画像取得ステップで取得した可視画像から、
瞳孔位置を用いてパターンマッチング用のテンプレート
を作成するテンプレート作成ステップと、テンプレート
作成ステップで作成したテンプレートを用い、可視画像
取得ステップで取得する可視画像とパターンマッチング
を行って被測定者の視点位置を検出し、結果を視点位置
情報として出力するマッチングステップとを有すること
を特徴とする視点位置検出方法に存する。

【００２７】また、本発明の別の要旨は、被測定者の視
点位置を検出し、視点位置情報を出力する視点位置検出
方法であって、被測定者の赤外画像を取得する赤外画像
取得ステップと、被測定者の可視画像を取得する可視画
像取得ステップと、赤外画像取得ステップで取得した赤
外画像から、被測定者の瞳孔位置を検出する検出ステッ
プと、可視画像取得ステップで取得した可視画像から、
瞳孔位置を用いてパターンマッチング用のテンプレート
を作成するテンプレート作成ステップと、テンプレート
作成ステップで作成したテンプレートを用いて可視画像
取得ステップで取得する可視画像とパターンマッチング
を行い、被測定者の視点位置を検出し、検出結果を視点
位置情報として出力するマッチングステップと、所定の
条件を満たす場合に検出ステップ及びテンプレート作成
ステップを用いて再度テンプレートを作成するととも
に、それ以外の場合には可視画像取得ステップとマッチ
ングステップとを繰り返し行うことを特徴とする視点位
置検出方法に存する。

【００２８】また、本発明の別の要旨は、上述の本発明
による視点位置検出方法をコンピュータが実行可能なプ
ログラムとして格納したコンピュータ読みとり可能な記
憶媒体に存する。

【００２９】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。以下の説明においては、本発
明の視点位置検出装置を立体画像表示装置に接続した立
体画像表示システムについて説明するが、本発明の視点
位置検出装置の用途は立体画像表示装置システムに限定
されるものではない。

【００３０】また、本発明において、視点位置とは観察
者の目の位置を示すある一点の座標を意味するが、本発
明の視点位置検出装置の出力する視点位置情報は必ずし
も一点の座標値でなくともよく、ある領域を示す情報で
あっても良い。用途によっては眼全体の位置がおおよそ
わかればよい場合もあり、その用途によって適宜選択す
ればよい。

【００３１】（第１の実施形態） 図１は、本発明に係る視点位置検出装置の構成を示すブ
ロック図である。本実施形態における視点位置検出装置
は、撮影部１と、視点位置検出部２とから構成され、画
像表示部３は前述した立体画像表示装置である。以下、
視点位置検出装置と画像表示部３とを併せて立体画像表
示システムと言うことがある。

【００３２】撮影部１は、可視画像撮影部１１、赤外画
像撮影部１２及び赤外光発光部１３から構成され、観察
者の可視画像及び赤外画像を撮影する。可視画像撮影部
１１及び赤外画像撮影部１２はいずれもビデオカメラに
よって構成可能であり、赤外画像撮影部１２はフィルタ
等によって赤外光のみを内部の受光素子に入射させてい
る。また、赤外光発光部１３は例えばＬＥＤなどの赤外
光発光素子から構成することができ、観察者と撮影部１
との通常取りうる範囲の距離において、網膜反射を得る
ために必要な発光量が得られるように構成する。

【００３３】視点位置検出部２は、可視画像記憶部２１
と、パターンマッチング判定部２２と、テンプレート作
成部２３と、瞳孔位置検出処理部２４と、赤外画像記憶
部２５と、赤外光発光制御部２６とから構成されてい
る。視点位置検出部２はたとえば撮影部１が出力する画
像信号を記憶可能な、汎用パーソナルコンピュータから
構成することができる。

【００３４】可視画像記憶部２１及び赤外画像記憶部２
５はいずれも対応する撮影部１１、１２が撮影した画像
データを記憶する手段として用いられ、ＲＡＭのような
半導体メモリで構成しても、磁気ディスクや光ディスク
などの記憶装置を用いて構成してもよい。

【００３５】パターンマッチング判定部２２は、テンプ
レート作成部２３から供給されるテンプレートを用い
て、可視画像記憶部２１に記憶された画像のうちテンプ
レートとの相関が最も高い領域の位置情報を画像表示部
３へ出力する。また、パターンマッチング失敗時など
に、赤外光発光制御部２６に赤外光発光部１３を発光さ
せる出力を行う。

【００３６】テンプレート作成部２３は、瞳孔位置検出
処理部２４から供給される位置情報を用いて、可視画像
記憶部２１に記憶された画像データから、パターンマッ
チング判定部２２で用いるパターンマッチング用のテン
プレートを作成する。

【００３７】瞳孔位置検出処理部２４は、赤外光発光制
御部２６が赤外光発光部１３の発光を行ったことを知ら
せる信号を入力として、その信号情報をもとにして赤外
画像記憶部２５に記憶された赤外画像から瞳孔位置を検
出し、その位置情報をテンプレート作成部２３に供給す
る。また、その位置情報を画像表示部３に供給しても良
い。

【００３８】赤外光発光制御部２６は、図示しない制御
部、瞳孔位置検出処理部２４、パターンマッチング処理
部等の制御に従い、赤外光発光部１３の点灯制御を行
う。これら視点位置検出部２の各構成要素は、図示しな
い制御部の制御によって動作する。

【００３９】次に、図１に示したシステムの具体的な動
作について、図２〜図４（ｂ）を用いて説明する。図２
は本実施形態における視点位置検出装置の動作を示すフ
ローチャートである。

【００４０】まず、撮影部１、視点位置検出部２及び画
像表示部３の電源投入、初期化など、各部の起動を行う
（ステップＳ１０）。次に、図示しない制御部は、赤外
光発光制御部２６に赤外光発光を指示する。それを受け
て赤外光発光制御部２６は、赤外光発光部１３を点灯さ
せる（ステップＳ１１）とともに、瞳孔位置検出処理部
２４に赤外光を発光した旨を通知する。そして、可視画
像撮影部１１によって撮影された可視画像と、赤外画像
撮影部１２によって撮影された赤外画像をそれぞれ可視
画像記憶部２１及び赤外画像記憶部２５に取り込んで、
赤外光発光部１３を消灯する。この際、精度のよいテン
プレートの作成及びパターンマッチングを行うために、
各画像記憶部に取り込む画像は実質的に同じタイミング
（フレーム）のものとすることが好ましい。

【００４１】また、赤外光の発光開始は、たとえば観察
者の有無を検知するセンサを設けて、観察者の存在が確
認されてから自動的に行ったり、観察者に介しボタンを
押下させるなど任意の方法を用いることができる。

【００４２】次いで、瞳孔位置検出処理部２４は、赤外
画像記憶部２５に取り込んだ赤外画像から、瞳孔位置を
検出する（ステップＳ１２）。瞳孔位置の検出は基本的
に画像の２値化処理によって行う。ただし、赤外画像内
で左に出てきた反射像を観察者の右眼、右に出てきた反
射像を観察者の左眼とする。図３は、赤外画像の例であ
り、近赤外光の網膜反射によって、瞳孔部分が他の部分
に比べて非常に明るくなる。

【００４３】また、網膜反射による反射像は、画像内の
一部の領域になるため、ステップＳ１２で検出される反
射像の位置は画像内の１点を指すピンポイントの座標値
ではない。反射像からピンポイントの画像内座標値であ
る瞳孔位置を求める処理は、パターンマッチングのテン
プレート作成段階までに適宜行えば良い。

【００４４】ステップＳ１３において、２点が検出でき
た場合は、ステップＳ１４へ、観察者が瞬きしていた等
の理由により正常に検出できなかった場合には、ステッ
プＳ１１へ戻って再度画像取得を行う。

【００４５】ステップＳ１３で正常に瞳孔位置検出が完
了した場合には、テンプレートの作成処理を開始する。
本実施形態において用いるパターンマッチング用のテン
プレートは、２つの子テンプレートと１つの親テンプレ
ートである。それぞれの種類のテンプレートについて図
４（ａ）及び図４（ｂ）を用いてさらに説明する。

【００４６】図４（ａ）及び図４（ｂ）は、本実施形態
で用いる子テンプレート及び親テンプレートをそれぞれ
説明する図である。図に示すように、２つの子テンプレ
ートはそれぞれ右眼、左眼の視点位置を基点（図中×で
示す）とするテンプレート、親テンプレートは右眼左眼
の視点位置を含み、視点位置の中点を基点とする１つの
テンプレートである。ここで、テンプレートにおける視
点位置は、画像内座標の１点を指す座標である。

【００４７】本実施形態において、テンプレートの作成
処理は子テンプレートの作成から行う。テンプレート作
成部２３は、瞳孔位置検出処理部２４が赤外画像から検
出した右眼、左眼の瞳孔位置（画像上の座標値）を用い
て、可視画像記憶部２１に記憶された可視画像から、右
眼瞳孔位置を基点とした子テンプレート１、左眼瞳孔位
置を基点とした子テンプレート２を作成する（ステップ
Ｓ１４）。子テンプレートの大きさは、右眼左眼瞳孔位
置間の距離によって次式から決定する。平均的な人間の
右眼左眼瞳孔位置間の距離：測定された右眼左眼瞳孔位
置間の距離＝平均的な人間の眼と眉が入る程度の大き
き：子テンプレートの大きさここで、瞳孔位置間距離及
び眼と眉が入る大きさの平均値は、たとえば統計的に求
めた値を用いることができる。

【００４８】子テンプレートの作成が終わると、テンプ
レート作成部２３は親テンプレートの作成を行う（ステ
ップＳ１５）。上述したように、親テンプレートは右眼
左眼２つの瞳孔位置の中点を基点として、２つの瞳孔位
置を含むテンプレートである。親テンプレートの大きき
は、右眼左眼瞳孔位置間の距離によって次式から決定す
る。平均的な人間の右眼左眼瞳孔位置間の距離：測定さ
れた右眼左眼瞳孔位置間の距離＝平均的な人間の顔が入
る程度の大きさ：親テンプレートの大きさ子テンプレー
ト作成時と同様に、平均値には統計的に求めた値を用い
ることができる。テンプレート作成部２３が作成したテ
ンプレートは、パターンマッチング判定部２２へ供給さ
れる。

【００４９】テンプレートの作成が終わると、可視画像
記憶部２１に取り込んだ可視画像と、テンプレート作成
部２３が作成したテンプレートを用いてパターンマッチ
ングを行う。パターンマッチング判定部２２はまず、親
テンプレートと可視画像のパターンマッチングを行う
（ステップＳ１６）。パターンマッチングはたとえば正
規化相関関数を用いて行うことができる。正規化相関関
数を用いたパターンマッチングについては例えば、「マ
トロックスイメージングライブラリ バージョン５．１
ユーザガイド（Matrox Imaging Library Version 5.1
User Guide）」第１５４〜１５５ページに記載されて
いる。正規化相関関数によって得られる値は０〜１００
（％）として表され、１００％が完全一致を意味する。
また、パターンマッチングは、テンプレートマッチング
と呼ばれることもある。

【００５０】本実施形態においては、例えば８５％を超
える相関度が得られれば、パターンマッチングが成功し
たと見なす。テンプレート作成直後のパターンマッチン
グは、テンプレートの元になった画像とパターンマッチ
ングを行う画像データが同一であるため、基本的にほぼ
１００％の相関度が得られるはずである。

【００５１】親テンプレートと可視画像のパターンマッ
チング結果が所定の相関度を満たした場合には、ステッ
プＳ１７においてパターンマッチング成功と判断され、
ステップＳ１８へ移行する。一方、相関度が所定値に満
たなければ、テンプレートを作成し直す必要があると考
えられるため、ステップＳ１１へ戻り、赤外画像取得か
ら再度処理する。

【００５２】親テンプレートを用いたパターンマッチン
グが成功すると、パターンマッチング判定部２２は視点
位置の探索領域設定を行う（ステップＳ１８）。すなわ
ち、親テンプレート内の左半分を右眼視点位置の探索領
域、親テンプレート内の右半分を左眼視点位置の探索領
域とする。そして、設定した探索領域を元にして、子テ
ンプレートと可視画像のパターンマッチングを行う（ス
テップＳ１９）。このように、階層的にパターンマッチ
ングを行い、段階的に探索範囲を絞り、右眼左眼視点位
置の拘束を行うことで、誤った視点位置の検出(失敗で
はない)を防ぎ、精度良い追従ができる。

【００５３】パターンマッチングの結果、最大相関値が
所定の相関値を満たす場合には、ステップＳ２０におい
てパターンマッチング成功と判断され、ステップＳ２１
へ移行する。一方、最大相関値が所定相関値に満たない
場合には、ステップＳ１１へ戻って赤外画像取得動作か
らやり直す。この際、パターンマッチング判定部２２は
赤外光発光制御部２６に再度赤外光を発光するよう指示
する。

【００５４】ステップＳ２０でパターンマッチング成功
と判断されると、パターンマッチング判定部２２は、画
像表示部３へ最終的に得られた視点位置情報（画像上の
視点位置座標）を右眼、左眼ごとに出力する。ステップ
Ｓ２１においてシステム終了を行うか否かを判定し、シ
ステムの動作終了を指示されていなければ可視画像撮影
部１１から可視画像を取り込み、可視画像記憶部２１へ
記憶してからステップＳ１６へ戻る。

【００５５】以降、可視画像に対するパターンマッチン
グを継続し、パターンマッチングが失敗すると自動的に
赤外光を発光してテンプレートの再作成処理を行う。ス
テップＳ２１において終了処理が指示された場合には、
所定の終了処理を行って（ステップＳ２２）一連の処理
を終了する。

【００５６】このように、テンプレート作成時の瞳孔位
置情報として高精度な情報の得られる赤外光による網膜
反射画像を用いることにより、赤外光の照射時間も最小
限に抑制でき、観察者への影響懸念をも低減することが
できる。また、パターンマッチングが不成功に終わった
場合には自動的にテンプレートを再作成するため、安定
して精度の良いパターンマッチング結果が得られ、図１
２に示したような立体画像表示装置などの表示制御に好
適に用いることができる。

【００５７】（第２の実施形態） 第１の実施形態においては、パターンマッチング結果が
失敗に終わった場合に赤外画像取得からやり直すことに
より、高精度で追従性の良いパターンマッチングを行う
構成を説明したが、あまり被測定者が動かないような環
境においては、定期的にテンプレートを作り直すことに
よっても同様の効果が期待できる。本実施形態において
は、この構成について説明する。

【００５８】図５は、本発明の第２の実施形態に係る視
点位置検出装置の構成を示すブロック図である。本図に
おいても図１と同様に、画像表示部３を接続して立体画
像表示システムを構成した場合を示している。図５にお
いて、第１の実施形態を示す図１と同一の構成要素には
同じ参照数字を付し、その説明は省略する。

【００５９】本実施形態において、第１の実施形態と異
なるのは、視点位置検出部２が時間計測部２７を有して
いる点である。時間計測部２７は、いわゆるタイマ手段
であり、所定の時間ごとに信号を発生する。この出力信
号は赤外線発光制御部２６へ入力され、それに応答して
赤外線発光制御部２６は赤外光発光部１３を制御して赤
外光を発光させる。これにより、システム起動時と同様
の処理が開始される。

【００６０】具体的な動作を図６を用いて説明する。図
６は、本実施形態の動作を示すフローチャートである。
図６において、図２と同じ動作を行うステップについて
は同じ参照数字を付し、詳細な説明は省略する。

【００６１】図６から明らかなように、本実施形態は、
図２に示す処理ステップから、パターンマッチングの成
功を判別するステップ（ステップＳ１７およびステップ
Ｓ２０）を除去し、時間計測部２７の出力有無を判別す
るステップＳ２３を付加したものである。

【００６２】システム起動を行うステップＳ１０から、
親テンプレートと可視画像とのパターンマッチングを行
うステップＳ１６までは図２と同様に処理が行われる。
パターンマッチングが終了すると、すぐに視点位置の探
索領域設定処理を行い（ステップＳ１８）、子テンプレ
ートと可視画像のパターンマッチング処理が行われる
（ステップＳ１９）。

【００６３】ステップＳ１９において子テンプレートと
可視画像のパターンマッチングが終了すると、ステップ
Ｓ２３において、時間計測部２７からの信号出力があっ
たか否かを判別する。出力が検出されなかった場合に
は、ステップＳ２１へ移行し、システム終了の指示があ
るか否かによって次の可視画像の取り込み及びパターン
マッチング処理をくり返すか、システムの終了処理（ス
テップＳ２２）を行う。一方、時間計測部２７の信号出
力が検出された場合には、赤外光発光ステップ（ステッ
プＳ１１）へ戻り、再度赤外画像取得から処理を行うこ
とで、子テンプレート及び親テンプレートを更新する。

【００６４】なお、ステップＳ１６〜Ｓ１９のパターン
マッチング処理中に時間計測部２７からの信号出力があ
った場合には、赤外線発光制御部２６が信号出力を検出
したことを例えば内部記憶領域に記憶しておき、子テン
プレートと可視画像のパターンマッチング（ステップＳ
１９）が終了するのを待って赤外光発光部１３に赤外光
の発光を指示するとともに、赤外画像からの瞳孔位置検
出を瞳孔位置検出処理部２４に指示する。

【００６５】また、時間計測部２７の信号発生周期は、
画像表示部３の使用環境（観察者が移動しやすいかどう
か、観察者が頻繁に変わるか否か、など）及びテンプレ
ート作成に必要な処理時間などの条件をもとに適宜定め
れば良い。このような構成により、本実施形態に於いて
は簡便な構成により処理速度と検出精度を両立させるこ
とができる。

【００６６】（第３の実施形態） 本実施形態は、第１の実施形態と第２の実施形態を組み
合わせた処理を行う。すなわち、パターンマッチングの
結果が失敗と判定された場合に加え、所定時間毎に強制
的にテンプレートの更新を行う。

【００６７】図７は、本発明の第３の実施形態に係る視
点位置検出装置の構成を示すブロック図である。本図に
おいても図１と同様に、画像表示部３を接続して立体画
像表示システムを構成した場合を示している。図７にお
いて、既に説明した図５と同一の構成要素には同じ参照
数字を付し、その説明は省略する。図７に示す構成と図
５に示した構成とでは、構成要素は共通であり、その接
続関係が異なるのみであるため、構成の説明は省略し、
図８を用いて動作を説明する。

【００６８】図８は、本実施形態における視点位置検出
動作を示すフローチャートである。図２及び図６と同一
動作のステップについては同一参照数字を付し、各ステ
ップの詳細な説明は省略する。図２、図６及び図８の対
比から明らかなように、本実施形態は第１の実施形態
（図２）において、子テンプレートを用いたパターンマ
ッチング後のパターンマッチング結果評価ステップＳ２
０と、終了指示有無の判別を行うステップＳ２１の間
に、時間計測部の信号出力が検出されたか否かを判定す
るステップＳ２３を付加したことを特徴とする。

【００６９】このステップＳ２３の付加により、２つの
パターンマッチング結果評価ステップＳ１７及びＳ２０
のいずれかでパターンマッチングが失敗と評価された場
合に加え、パターンマッチングが失敗しなくても時間計
測部２７の信号出力周期毎にテンプレートの更新（作
成）処理が行われるようになる。その結果、テンプレー
トが定期的に最適化されることになり、さらに精度の高
い位置検出が実現できる。

【００７０】（第４の実施形態） 上述の通り、赤外画像を用いた瞳孔位置検出は、網膜の
近赤外線反射特性を利用したものである。通常人間の顔
面には赤外線を（網膜のように）反射する部分はない
が、眼鏡をかけている観察者など、赤外線を反射しうる
物体を顔面あるいは前頭部などの撮影範囲に装着してい
る場合には、赤外画像上に３つ以上の反射像が検出され
たり、非常に大きな反射像が検出される場合が起こりう
る。このような赤外画像からは瞳孔位置が検出できなか
ったり、検出はできても誤差が大きい、あるいは正しく
ない瞳孔位置となることがある。

【００７１】上述の実施形態に於いてはいずれも赤外画
像からの瞳孔位置検出処理において、２つの反射像が鮮
明に検出されることを前提としているため、検出が失敗
した場合には無条件で何度でも赤外画像の取得及び取得
した赤外画像からの瞳孔位置検出処理（図２、図６また
は図８のステップＳ１１〜Ｓ１２）をくり返すように構
成されている。

【００７２】しかしながら、実際には眼鏡による反射な
どが原因で、何度処理を行っても赤外画像から正常な瞳
孔位置検出ができないことが発生しうる。そのため、本
実施形態は、赤外画像からの瞳孔位置検出が所定回連続
して失敗した場合には、観察者が眼鏡をかけているなど
の理由により、赤外光による瞳孔位置検出が正常に行え
る可能性が低いと判断して、可視画像情報のみからテン
プレートの作成を行うようにしたことを特徴とする。

【００７３】本実施形態に係る視点位置検出装置の構成
は、図１に示す構成と同一でよいため、各構成要素の説
明は省略し、図９を用いて動作について説明する。図９
は、本実施形態に係る視点位置検出装置の動作を示すフ
ローチャートである。図において、図２と同一処理のス
テップについては同一の参照数字を付し、そのステップ
についての詳細な説明は省略する。また、以下の説明で
は、赤外画像からの瞳孔位置検出が４回連続して失敗し
た場合に赤外画像からの瞳孔位置検出を断念する場合を
例に説明する。

【００７４】図９に示すように、本実施形態は図２に示
した第１の実施形態における動作に対し、ステップＳ２
４〜Ｓ２６の処理を付加したものである。システムの起
動から赤外画像による瞳孔位置検出結果の評価ステップ
（ステップＳ１３）までは実施形態１と同一の処理を行
う。

【００７５】ステップＳ１３において、赤外画像からの
瞳孔位置検出が成功した場合は、ステップＳ１４へ移行
し、その後実施形態１と同様に処理が行われる。一方、
ステップＳ１３において瞳孔位置検出が失敗したと判断
された場合は、連続した失敗した回数が所定回数（この
場合は４回）に達したか否かを判別する（ステップＳ２
４）。連続して失敗した回数は、例えば瞳孔位置検出処
理部２４が内部記憶装置に記憶しておく。連続失敗回数
が所定回数未満であれば、赤外画像の取得ステップ（ス
テップＳ１１）へ戻り、再度赤外画像からの瞳孔位置検
出を試みる。

【００７６】一方、連続失敗回数が所定回数（本実施形
態では４回）に達した場合には、赤外画像からの瞳孔位
置検出を断念し、可視画像のみからテンプレートを作成
する。すなわち、図示しない制御部は、テンプレート作
成部２３に対し、可視画像記憶部２１に取り込んだ画像
データに画像処理を行って領域の抽出、テンプレートの
作成を行うよう指示する。この場合、赤外画像から瞳孔
位置情報が得られないため、テンプレートの作成は親テ
ンプレートから先に行う。具体的には、まず顔の輪郭を
検出し、親テンプレートを作成する（ステップＳ２
５）。ついで、親テンプレートの右領域、左領域内で目
領域を探索し、子テンプレートを作成する（ステップＳ
２６）。以下、ステップＳ１６へ移行し、パターンマッ
チング以降の処理は第１の実施形態と同様に行う。

【００７７】本実施形態においてはパターンマッチング
結果の評価ステップ（ステップＳ１７及びステップＳ２
０）において、パターンマッチングが失敗したと評価さ
れた場合には再度赤外画像の取得からやり直す場合を示
したが、例えば連続４回失敗して可視画像のみからテン
プレートを作成した場合には、ステップＳ１１へ戻ら
ず、ステップＳ２５からやり直すように構成したり、パ
ターンマッチングの連続失敗回数をカウントし、所定回
数を超えた場合にのみ赤外画像の取得からやり直すよう
に構成しても良い。

【００７８】以上説明したように、本実施形態によれ
ば、現実に起こりうる問題に対して、的確に対処するこ
とができ、視点位置検出ができないという最悪の事態を
回避することができる。

【００７９】（第５の実施形態） 第４の実施形態では、被測定者が眼鏡をかけている等の
理由により、赤外画像からの瞳孔位置検出が困難な場合
に、可視画像のみから２つのテンプレートを作成するよ
うにしていたが、本実施形態においては、赤外画像の情
報を用いて１つのテンプレートを作成することを特徴と
する。本実施形態に係る視点位置検出装置の構成は、図
１に示す構成と同一でよいため、各構成要素の説明は省
略し、図１０を用いて動作について説明する。

【００８０】図１０は、本実施形態に係る視点位置検出
装置の動作を示すフローチャートである。図において、
図２と同一処理のステップについては同一の参照数字を
付し、そのステップについての詳細な説明は省略する。
また、以下の説明では、第４の実施形態と同様、赤外画
像からの瞳孔位置検出が４回連続して失敗した場合に赤
外画像からの瞳孔位置検出を断念する場合を例に説明す
る。図１０に示すように、本実施形態は図９に示した第
４の実施形態における動作に対し、ステップＳ３０〜Ｓ
３３の処理を付加したものである。システムの起動から
赤外画像による瞳孔位置検出結果の評価ステップ（ステ
ップＳ１３）までは実施形態１と同一の処理を行う。

【００８１】ステップＳ１３において、赤外画像からの
瞳孔位置検出が成功した場合は、ステップＳ１４へ移行
し、その後実施形態１と同様に処理が行われる。一方、
ステップＳ１３において瞳孔位置検出が失敗したと判断
された場合は、連続した失敗した回数が所定回数（この
場合は４回）に達したか否かを判別する（ステップＳ２
４）。連続して失敗した回数は、例えば瞳孔位置検出処
理部２４が内部記憶装置に記憶しておく。連続失敗回数
が所定回数未満であれば、赤外画像の取得ステップ（ス
テップＳ１１）へ戻り、再度赤外画像からの瞳孔位置検
出を試みる。

【００８２】一方、連続失敗回数が所定回数（本実施形
態では４回）に達した場合には、赤外画像からの瞳孔位
置検出を断念し、赤外画像から得られる情報を用いて可
視画像からテンプレートを作成する。これは、例えば被
測定者が眼鏡をかけており、眼鏡のフレームやレンズの
反射によって赤外画像からの瞳孔位置検出ができない場
合であっても、眼鏡は目の位置に存在するものであり、
その反射像の中に視点が存在する可能性が高いため、テ
ンプレートを作成する際の基点位置情報として有用と考
えられることによる。

【００８３】そのため、本実施形態においては、瞳孔位
置検出処理部２４が、赤外画像に含まれる全ての反射光
を含む領域の重心を算出し、テンプレート作成部２３が
この重心を基点として可視画像からテンプレートを作成
する（ステップＳ３０）。この際、第４の実施形態にお
いては親テンプレートと子テンプレートの両方を作成し
たが、本実施形態で作成するテンプレートは１つであ
る。テンプレートの大きさは、例えば全ての反射光を含
む領域の横幅、縦幅等の情報から決定する。テンプレー
トを作成したら、テンプレート中の視点があると思われ
る位置を推定し、左眼、右眼の視点位置とする。

【００８４】テンプレートの作成が終了したら、そのテ
ンプレートを用いて可視画像とのパターンマッチングを
行う（ステップＳ３２）。パターンマッチングが成功と
判断され、ステップＳ３３で終了処理の指示がない場合
には、ステップＳ３１へ戻って処理を継続する。一方、
ステップＳ３２においてパターンマッチングが失敗と判
断された場合にはステップＳ１１へ戻って赤外画像の取
得から再度行う。本実施形態の場合、もともと高精度な
パターンマッチング結果は期待できないため、ステップ
Ｓ３２におけるパターンマッチング結果の評価基準を赤
外画像から正確な瞳孔位置検出が可能な実施形態１にお
ける判断基準より多少甘くする等変更してもよい。

【００８５】本実施形態においてはパターンマッチング
結果の評価ステップ（ステップＳ３２）において、パタ
ーンマッチングが失敗したと評価された場合には再度赤
外画像の取得からやり直す場合を示したが、例えば連続
４回失敗して赤外画像の情報を用いてテンプレートを作
成した場合には、ステップＳ１１へ戻らず、ステップＳ
３０からやり直すように構成したり、パターンマッチン
グの連続失敗回数をカウントし、所定回数を超えた場合
にのみ赤外画像の取得からやり直すように構成しても良
い。

【００８６】以上説明したように、本実施形態によれ
ば、現実に起こりうる問題に対して、的確に対処するこ
とができ、視点位置検出ができないという最悪の事態を
回避することができる。

【００８７】

【その他の実施形態】上述の実施形態においては、いず
れも視点位置検出のイニシアチブは本発明の視点位置検
出装置が持っている場合を説明したが、例えば画像表示
部３を付加した立体画像表示システムとして使用する場
合には、画像表示部３またはリモートコントローラにユ
ーザが操作できるボタン等を設け、ユーザが立体表示を
認識しにくくなった場合にこのボタンを押すことによ
り、赤外画像取得動作に始まる瞳孔位置検出動作をやり
直すように構成することもできる。このような構成とす
ることにより、的確なタイミングでテンプレートの更新
が行われ、より高精度の視点位置検出が可能となり、結
果として立体視可能な範囲が広い立体画像表示システム
を実現することができる。

【００８８】また、赤外光を発光する際に、画像表示部
３の輝度や観察者までの距離に応じてその発光量を変化
させたり、赤外画像からの瞳孔位置検出が失敗してやり
直す際には前回と発光量を変化させる（強くする、ある
いは弱くする）こともできる。このような発光量の制御
は、赤外画像からの瞳孔位置検出を成功させる確率を高
め、結果として高精度な視点位置検出結果を得ることに
つながる。

【００８９】また、上述の実施形態では本発明による視
点位置検出装置の検出結果を立体画像表示装置に供給す
る場合を例にして説明したが、本発明による視点位置検
出装置は、任意の用途に用いることができる。

【００９０】また、上述の実施形態において説明した具
体的な手法、例えばパターンマッチングの方法、テンプ
レート作成の方法等は、実施形態において説明した者に
限定されるものではなく、同等に適用可能な方法を用い
ても良いことはいうまでもない。

【００９１】上述の実施形態においては、ピンポイント
の座標である視点位置を出力するように構成されていた
が、例えば上述の実施形態のように最終的に得られる視
点位置を立体画像表示装置の制御に用いる場合であれ
ば、右眼と左眼の視点位置の中心位置がわかれば最低限
の制御は可能であるため、テンプレートの中心位置を画
像表示部３へ出力するようにしても良い。特に実施形態
４及び５で説明したような、赤外画像から正確な瞳孔位
置情報が得られない場合にはこのような構成は有効であ
る。

【００９２】また、赤外画像からの瞳孔位置検出が困難
な場合、他の方法に切り替える実施形態４及び５のよう
な場合には、例えば被測定者が眼鏡をかけていることを
本発明の視点位置検出装置に指示する手段（ボタンな
ど）を設け、このボタンが押された場合には初めから代
替えステップに移行するように構成しても良い。この場
合、実施形態４においては図９におけるステップＳ１０
から可視画像を取得し、直接ステップＳ２５へ移行、あ
るいはステップＳ１３で赤外光からの瞳孔位置検出が最
初に失敗と判断された時点でステップＳ２５へ移行する
ように構成すればよい。同様に、実施形態５ではステッ
プＳ１１で赤外画像を取得し、直接ステップＳ３０へ移
行、あるいはステップＳ１３で赤外光からの瞳孔位置検
出が最初に失敗と判断された時点でステップＳ３０へ移
行するように構成すればよい。

【００９３】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００９４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。

【００９５】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。また、コンピュータが
読み出したプログラムコードを実行することにより、前
述した実施形態の機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づき、コンピュータ上で稼働
しているオペレーティングシステム(OS)などが実際の処
理の一部または全部を行い、その処理によって前述した
実施形態の機能が実現される場合も含まれることは言う
までもない。

【００９６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９７】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図２、図６、図８〜図
１０のいずれかに示す）フローチャートに対応するプロ
グラムコードが格納されることになる。

【００９８】

【発明の効果】以上説明したように、本発明によれば、
観察者の視点位置を検出して視点位置情報を出力する視
点位置検出装置において、初期のテンプレート作成に赤
外画像を利用し、その後は可視画像のパターンマッチン
グを行う構成とすることにより、赤外光を連続して観察
者に照射する必要がなく、観察者への影響懸念を最小限
とすることができる上、短時間で精度の高い赤外画像か
らの位置検出情報を用いてテンプレートを作成すること
ができるため、テンプレート作成処理が軽減され、かつ
精度の高いテンプレートを作成することができる。

【００９９】また、観察者が変わったり、大きく移動し
た場合など、可視画像のパターンマッチングに失敗した
場合や、定期的にテンプレートを更新するように構成す
ることにより、常に精度の高いテンプレートを維持する
ことが可能となり、結果として高精度な視点位置情報が
安定して得られるという効果を有する。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る視点位置検出装置
の構成を示すブロック図である。

【図２】本発明の第１実施形態の動作を説明するフロー
チャートである。

【図３】赤外光により得られる画像の例を示す図であ
る。

【図４】本発明の実施形態において用いるテンプレート
の構成を説明する図である。

【図５】本発明の第２実施形態に係る視点位置検出装置
の構成を示すブロック図である。

【図６】本発明の第２実施形態の動作を説明するフロー
チャートである。

【図７】本発明の第３実施形態に係る視点位置検出装置
の構成を示すブロック図である。

【図８】本発明の第３実施形態の動作を説明するフロー
チャートである。

【図９】本発明の第４実施形態の動作を説明するフロー
チャートである。

【図１０】本発明の第５実施形態の動作を説明するフロ
ーチャートである。

【図１１】リアクロスレンチキュラ方式の立体画像表示
装置の構成を示す斜視図である。

【図１２】視点位置により表示制御を行う立体画像表示
装置の例を示す斜視図である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−287216（ＪＰ，Ａ) 特開 平９−149433（ＪＰ，Ａ) 特開 平５−196858（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 G02B 27/22 G06T 1/00

Claims (22)

(57)【特許請求の範囲】
1. 【請求項１】 被測定者の視点位置を検出し、視点位置
   情報を出力する視点位置検出装置であって、 被測定者の赤外画像を取得する赤外画像取得手段と、 被測定者の可視画像を取得する可視画像取得手段と、 前記赤外画像取得手段が取得した赤外画像から、被測定
   者の瞳孔位置を検出する検出手段と、 前記可視画像取得手段が取得した可視画像から、前記瞳
   孔位置を用いてパターンマッチング用のテンプレートを
   作成するテンプレート作成手段と、 前記テンプレート作成手段の作成したテンプレートを用
   い、前記可視画像取得手段が取得する可視画像とパター
   ンマッチングを行って被測定者の視点位置を検出し、結
   果を前記視点位置情報として出力するマッチング手段と
   を有することを特徴とする視点位置検出装置。
2. 【請求項２】 被測定者の視点位置を検出し、視点位置
   情報を出力する視点位置検出装置であって、 被測定者の赤外画像を取得する赤外画像取得手段と、 被測定者の可視画像を取得する可視画像取得手段と、 前記赤外画像取得手段が取得した赤外画像から、被測定
   者の瞳孔位置を検出する検出手段と、 前記可視画像取得手段が取得した可視画像から、前記瞳
   孔位置を用いてパターンマッチング用のテンプレートを
   作成するテンプレート作成手段と、 前記テンプレート作成手段の作成したテンプレートを用
   いて前記可視画像取得手段が取得する可視画像とパター
   ンマッチングを行い、被測定者の視点位置を検出し、検
   出結果を前記視点位置情報として出力するマッチング手
   段と、 所定の条件を満たす場合に前記検出手段及び前記テンプ
   レート作成手段を用いて再度前記テンプレートを作成す
   るように制御する制御手段とを有することを特徴とする
   視点位置検出装置。
3. 【請求項３】 前記制御手段が、前記マッチング手段の
   検出結果を評価するとともに、検出が所定回数失敗した
   と判定された場合に前記検出手段及び前記テンプレート
   作成手段を用いて再度前記テンプレートを作成するよう
   に制御することを特徴とする請求項２記載の視点位置検
   出装置。
4. 【請求項４】 前記制御手段が、所定の時間毎に前記検
   出手段及び前記テンプレート作成手段を用いて再度前記
   テンプレートを作成するように制御することを特徴とす
   る請求項２記載の視点位置検出装置。
5. 【請求項５】 前記制御手段が、前記マッチング手段の
   検出結果を評価するとともに、検出が所定回数失敗した
   と判定された場合、あるいは所定の時間毎に前記検出手
   段及び前記テンプレート作成手段を用いて再度前記テン
   プレートを作成するように制御することを特徴とする請
   求項２記載の視点位置検出装置。
6. 【請求項６】 被測定者からの指示を受信する受信手段
   をさらに有し、前記制御手段が、前記受信手段を介して
   所定の指示を受信すると前記検出手段及び前記テンプレ
   ート作成手段を用いて再度前記テンプレートを作成する
   ように制御することを特徴とする請求項２記載の視点位
   置検出装置。
7. 【請求項７】 前記テンプレート作成手段が大きさの異
   なる複数のテンプレートを作成し、前記マッチング手段
   が前記複数のテンプレートを順次用いて複数回パターン
   マッチングを行うことを特徴とする請求項２記載の視点
   位置検出装置。
8. 【請求項８】 前記検出手段による瞳孔検出が所定回数
   失敗した場合、前記可視画像のみ、あるいは前記赤外画
   像から得られる情報を用いてパターンマッチング用テン
   プレートを作成し、前記テンプレート作成手段が作成し
   たテンプレートとして前記マッチング手段に供給する第
   ２のテンプレート作成手段をさらに有することを特徴と
   する請求項２記載の視点位置検出装置。
9. 【請求項９】 被測定者からの指示を受信する受信手段
   をさらに有し、前記制御手段が、前記受信手段を介して
   所定の指示を受信すると前記第２のテンプレート作成手
   段を用いてパターンマッチングを行うように制御するこ
   とを特徴とする請求項２記載の視点位置検出装置。
10. 【請求項１０】 被測定者の視点位置を検出し、視点位
    置情報を出力する視点位置検出方法であって、 被測定者の赤外画像を取得する赤外画像取得ステップ
    と、 被測定者の可視画像を取得する可視画像取得ステップ
    と、 前記赤外画像取得ステップで取得した赤外画像から、被
    測定者の瞳孔位置を検出する検出ステップと、 前記可視画像取得ステップで取得した可視画像から、前
    記瞳孔位置を用いてパターンマッチング用のテンプレー
    トを作成するテンプレート作成ステップと、 前記テンプレート作成ステップで作成したテンプレート
    を用い、前記可視画像取得ステップで取得する可視画像
    とパターンマッチングを行って被測定者の視点位置を検
    出し、結果を前記視点位置情報として出力するマッチン
    グステップとを有することを特徴とする視点位置検出方
    法。
11. 【請求項１１】 被測定者の視点位置を検出し、視点位
    置情報を出力する視点位置検出方法であって、 被測定者の赤外画像を取得する赤外画像取得ステップ
    と、 被測定者の可視画像を取得する可視画像取得ステップ
    と、 前記赤外画像取得ステップで取得した赤外画像から、被
    測定者の瞳孔位置を検出する検出ステップと、 前記可視画像取得ステップで取得した可視画像から、前
    記瞳孔位置を用いてパターンマッチング用のテンプレー
    トを作成するテンプレート作成ステップと、 前記テンプレート作成ステップで作成したテンプレート
    を用いて前記可視画像取得ステップで取得する可視画像
    とパターンマッチングを行い、被測定者の視点位置を検
    出し、検出結果を前記視点位置情報として出力するマッ
    チングステップとを有し、 所定の条件を満たす場合に前記検出ステップ及び前記テ
    ンプレート作成ステップを用いて再度前記テンプレート
    を作成するとともに、それ以外の場合には前記可視画像
    取得ステップと前記マッチングステップとを繰り返し行
    うことことを特徴とする視点位置検出方法。
12. 【請求項１２】 前記マッチングステップの検出結果を
    評価する評価ステップをさらに有し、検出が所定回数失
    敗したと判定された場合に前記検出ステップ及び前記テ
    ンプレート作成ステップを用いて再度前記テンプレート
    を作成することを特徴とする請求項１１記載の視点位置
    検出方法。
13. 【請求項１３】 所定の時間を検出する時間検出ステッ
    プをさらに有し、この時間検出ステップにより前記所定
    の時間が検出される毎に前記検出ステップ及び前記テン
    プレート作成ステップを用いて再度前記テンプレートを
    作成することを特徴とする請求項１１記載の視点位置検
    出方法。
14. 【請求項１４】 前記マッチングステップの検出結果を
    評価する評価ステップと、所定の時間を検出する時間検
    出ステップとをさらに有し、前記評価ステップで検出が
    所定回数失敗したと判定された場合、あるいは前記時間
    検出ステップで前記所定の時間が検出される毎に前記検
    出ステップ及び前記テンプレート作成ステップを用いて
    再度前記テンプレートを作成することを特徴とする請求
    項１１記載の視点位置検出方法。
15. 【請求項１５】 被測定者からの指示を受信する受信ス
    テップをさらに有し、前記受信ステップで所定の指示を
    受信すると前記検出ステップ及び前記テンプレート作成
    ステップを用いて再度前記テンプレートを作成すること
    を特徴とする請求項１１記載の視点位置検出方法。
16. 【請求項１６】 前記テンプレート作成ステップが大き
    さの異なる複数のテンプレートを作成し、前記マッチン
    グステップにおいて前記複数のテンプレートを順次用い
    て複数回パターンマッチングを行うことを特徴とする請
    求項１１記載の視点位置検出方法。
17. 【請求項１７】 前記検出ステップによる瞳孔検出が所
    定回数失敗した場合、前記可視画像のみ、あるいは前記
    赤外画像から得られる情報を用いてパターンマッチング
    用テンプレートを作成し、前記テンプレート作成ステッ
    プが作成したテンプレートとして前記マッチングステッ
    プに供給する第２のテンプレート作成ステップをさらに
    有することを特徴とする請求項１１記載の視点位置検出
    方法。
18. 【請求項１８】 被測定者からの指示を受信する受信ス
    テップをさらに有し、前記受信ステップにおいて、所定
    の指示を受信すると前記第２のテンプレート作成ステッ
    プを用いてパターンマッチングを行うことを特徴とする
    請求項１１記載の視点位置検出方法。
19. 【請求項１９】 請求項１乃至９のいずれかに記載の視
    点位置検出装置と、この視点位置検出装置に接続された
    立体画像表示装置とを有する立体画像表示システムであ
    って、前記視点位置検出装置から受信した前記視点位置
    情報を用いて前記立体画像表示装置を制御することを特
    徴とする立体画像表示システム。
20. 【請求項２０】 請求項１乃至９のいずれかに記載の視
    点位置検出装置と、この視点位置検出装置に接続され
    た、立体画像表示装置とを有する立体画像表示システム
    であって、前記立体画像表示装置が出射光路を制御する
    マスクパターンを有する立体画像表示装置であって、前
    記視点位置検出装置から受信した視点位置情報を用いて
    前記マスクパターンの位置またはパターンを変化させる
    ことを特徴とする立体画像表示システム。
21. 【請求項２１】 請求項１０記載の方法をコンピュータ
    が実行可能なプログラムとして格納したコンピュータ読
    みとり可能な記憶媒体。
22. 【請求項２２】 請求項１１記載の方法をコンピュータ
    が実行可能なプログラムとして格納したコンピュータ読
    みとり可能な記憶媒体。