JP3450801B2 - 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は被測定者（観察者）
の瞳孔位置を検出する瞳孔位置検出装置及び瞳孔位置検
出方法に関し、特に検出精度の向上した瞳孔位置検出装
置及び瞳孔検出方法に関する。本発明は更に、瞳孔位置
検出装置及び方法を用いた視点位置検出装置及び方法並
びに立体画像表示システムに関する。

【０００２】

【従来の技術】従来、裸眼による立体視が可能ないわゆ
る直視型立体画像表示装置がある。立体画像表示装置に
は種々の方式があるが、例えば特開平０９−３１１２９
４号公報には、リアクロスレンチキュラ方式のものが開
示されている。図６はリアクロスレンチキュラ方式の立
体画像表示装置の例を示す要部斜視図である。図中、６
は画像表示用のディスプレイデバイスであり、例えば液
晶素子（ＬＣＤ）で構成する。図は、偏光板、カラーフ
ィルター、電極、ブラックマトリクス、反射防止膜など
は省略してある。

【０００３】１０は照明光源となるバックライト（面光
源）である。ディスプレイデバイス６とバックライト１
０の間には、市松状の開口８を備えたマスクパターンを
形成したマスク基板（マスク）７を配置している。マス
クパターンはガラスまたは樹脂からなるマスク基板７上
にクロムなどの金属蒸着膜または光吸収材等をパターニ
ングして製作している。バックライト１０、マスク基板
７等は光源の一要素を構成している。

【０００４】マスク基板７とディスプレイデバイス６の
間には、透明樹脂またはガラス製の第１のレンチキュラ
レンズ３及び第２のレンチキュラレンズ４を配置してい
る。第１のレンチキュラレンズ３は垂直方向に長い縦シ
リンドリカルレンズを左右方向に並べて構成した縦シリ
ンドリカルレンズアレイであり、第２のレンチキュラレ
ンズ４は水平方向に長い横シリンドリカルレンズを上下
方向に並べて構成した横シリンドリカルレンズアレイで
ある。

【０００５】ディスプレイデバイス６に表示する画像は
図示するように左右の視差画像Ｒ及びＬを夫々上下方向
に多数の横ストライプ状の横ストライプ画素Ｒ，Ｌに分
割し、それらを例えば画面上からＬＲＬＲＬＲ・・・・
と交互に並べて１つの画像に構成した横ストライプ画像
である。

【０００６】バックライト１０からの光はマスク基板７
の各開口８を透過してディスプレイデバイス６を照明
し、観察者の両眼に左右のストライプ画素Ｒ，Ｌが分離
して観察される。

【０００７】すなわち、マスク基板７はバックライト１
０により照明され、開口８から光が出射する。マスク基
板７の観察者側には第１のレンチキュラレンズ３を配置
しており、その各シリンドリカルレンズのほぼ焦点位置
にマスク基板７がくるようにレンズ曲率を設計してい
る。この断面においては第２のレンチキュラレンズ４は
光学的に何の作用もしないので、開口８上の１点から射
出する光束はこの断面内では略平行光束に変換される。

【０００８】マスクパターンの一対の開口部と遮光部は
略第１のレンチキュラレンズ３の１ピッチに対応するよ
うに設定している。

【０００９】また、観察者の所定の位置から第１のレン
チキュラレンズ３までの光学的距離と第１のレンチキュ
ラレンズ３からマスクパターンまでの光学的距離の関係
を元に、第１のレンチキュラレンズ３のピッチとマスク
パターンの一対の開口部と遮光部のピッチを定めること
によって、画面の全幅にわたって、開口部８からの光が
一様に左眼又は右眼に集まるようにすることができる。
このようにしてディスプレイデバイス６上の左右のスト
ライプ画素が水平方向に左眼、右眼の領域に分離して観
察される。

【００１０】第２のレンチキュラーレンズ４は、マスク
７の開口８上の各点から発する光束を、すべてディスプ
レイデバイス６の右目又は左目用ストライプ画素上に集
光して、これを照明、透過して上下方向にのみ集光時の
ＮＡに応じて発散し、観察者の所定の眼の高さから画面
の上下方向の全幅にわたって左右のストライプ画素を一
様に分離して見える観察領域を与えている。

【００１１】しかしながら、このような立体画像表示装
置の視野角は狭く、観察者の視点が視野角からはずれる
と立体表示が認識されなくなる。そのため、観察者の視
点位置を検出して、視点位置の移動に応答して画像表示
を制御することにより、立体視が可能な視野角範囲を動
的に移動することによって、実質的な視野角を拡大する
技術が提案されている。例えば、特開平１０−２３２３
６７号公報には、マスクパターン又はレンチキュラレン
ズを表示面に平行移動させて、立体視可能な領域（視野
角）を拡大する技術が開示されている。

【００１２】図７は、特開平１０−２３２３６７号公報
に開示される立体画像表示装置の図である。図７におい
て、図６と同じ構成要素には同じ参照数字を付し、説明
は省略する。図７の立体画像表示装置はレンチキュラー
レンズが１枚の構成を有するので、図６における第２の
レンチキュラーレンズ４を有していない。

【００１３】このような構成の立体画像表示装置におい
て、観察者５４の移動に応じた制御は以下のように行わ
れる。まず、位置センサー５１が、予め設定された基準
の位置からの観察者５４の水平方向のずれを検出し、そ
の情報を制御ユニット５２へ送り、このずれ情報に応じ
て制御ユニット５２がディスプレイ駆動回路５０へ画像
制御信号を出力すると、ディスプレイ駆動回路５０が第
１又は第２の横ストライプ画像をディスプレイ６に表示
する。同時に制御ユニット５２はずれ情報に基づくアク
チュエータ駆動信号を発生し、マスクパターン７を水平
方向に移動させるアクチュエータ５３を駆動することに
より、マスクパターン７を観察者５４が左右のストライ
プ画像をもっともよく分離できる位置に移動させる。こ
の結果、観察者５４の視点位置が変化しても、立体視可
能な範囲が拡大することになる。

【００１４】また、マスクパターンを物理的に移動する
方法以外にも、例えば特開平１０−７８５６３号公報に
記載される様に、マスクパターンを透過型液晶表示素子
により構成してパターン（開口部）の大きさを制御する
方法でも、視野角の拡大が可能である。

【００１５】図８は、特開平１０−７８５６３号公報に
開示される立体画像表示装置の図である。図８におい
て、図６又は図７と同じ構成要素には同じ参照数字を付
し、説明は省略する。

【００１６】図８の立体画像表示装置は、クロスレンチ
キュラー型の直視型立体画像表示装置であって、マスク
パターン７が透過型液晶素子等のパターン（開口部）の
大きさを動的に変更可能な素子によって構成している点
以外、ディスプレイ部分は図６に示した表示装置と同一
の構成を有する。一方、ディスプレイの制御部分として
図７に示した表示装置と同様に観察者５４の位置を検出
する位置センサー５１と、この位置センサーの検出した
位置情報に従ってマスクパターンの開口部面積及び形状
を変更する制御ユニット５５を有している。

【００１７】具体的には、制御ユニット５５が観察者の
位置に応じて開口部（パターンの透明な部分）と遮光部
（同黒い部分）の位置と幅を変更することによって、観
察者の左右の移動に追従してクロストークや逆立体視が
ない良好な立体画像表示を実現する。マスクパターンの
移動及びパターンの変更により視野角が拡大する原理及
び具体的な方法については本発明と直接関係しないため
その詳細な説明は上述の各公報の記載に譲り、ここでは
行わない。

【００１８】このように、観察者の視点位置に応じて表
示装置を制御する場合、検出精度が低くても、検出のた
めの処理時間が長くても、観察者の視点に適した画像表
示が行えない。そのため、観察者の視点位置をいかに精
度よく、しかも短時間で検出するかはこの種の表示装置
の性能において非常に重要である。

【００１９】観察者（被測定者）の視点位置検出方法と
して、赤外光を観察者に照射し、網膜の反射を検出する
方法（例えば、伴野 「視点検出のための瞳孔撮影光学
系の設計法」、電子情報通信学会論文誌D-II, Vol. J74
-D-II, No.6, pp.736-747, 1991年6月に記載）により瞳
孔位置を検出し、この瞳孔位置を視点位置として用いた
り、あるいは検出した瞳孔位置を用いて可視画像から視
点位置を検出する方法などが知られている。

【００２０】これらの方法は、人間の瞳孔が近赤外光を
再帰反射する（入射方向と同一方向に光を戻す）性質を
有することを利用したものである。瞳孔反射光は鋭い反
射ピークとして得られ、通常、顔面などよりも高い反射
率を示すため、光源と光軸を同軸とした赤外線撮像装置
を用いて観察者を撮影することにより、瞳孔部分のみを
明るく撮像することができる。この撮影画像を適当な閾
値で二値化処理すれば、抽出された瞳孔位置から正確な
視点位置が検出できる。

【００２１】

【発明が解決しようとする課題】上述の通り、赤外画像
を用いた瞳孔位置検出は、網膜の近赤外線反射特性を利
用したものである。通常人間の顔面には赤外線を（網膜
のように）強く反射する部分はないが、鼻や頬などの皮
脂によって赤外光が反射されたり、観察者の周囲にある
物体による反射や、照明などが赤外画像中に検出される
ことが起こりうる。

【００２２】特に、観察者が眼鏡をかけている場合、そ
のレンズやフレームにより赤外光が反射されると、瞳孔
位置の近傍にその反射像が検出され、正しい瞳孔位置が
検出できなかったり、検出はできても誤差が大きい等の
問題が発生する。図９に、観察者が眼鏡をかけている場
合の赤外画像（図９（ａ））及び可視画像（図９
（ｂ））の例を、図１０に、観察者の撮影範囲に照明が
ある場合の赤外画像（図１０（ａ））及び可視画像（図
１０（ｂ））の例をそれぞれ示す。図９及び図１０から
明らかなように、赤外画像には網膜反射像以外に種々の
反射像が含まれる。

【００２３】このような問題を解決する方法として、例
えば特開平７−２１８９８９号公報記載の発明において
は、人間が瞬きをすることを利用し、数十秒程度の間反
射像を取得し、その中で点滅がある（時間によって存在
したりしなかったりする）反射像を網膜反射像と判定す
る方法、また異なる方向から赤外光を照射して赤外画像
を取得し、輝度の変化した像を網膜反射像と判定する方
法などが開示されている。

【００２４】また、特開平８−１８５５０３号公報に
は、眼鏡による反射が網膜による反射よりも強いことを
利用し、２種類の閾値で赤外画像を二値化し、反射像の
形状の違いから眼鏡による反射像を二値化画像で判別す
る方法が開示されている。

【００２５】しかしながら、特開平７−２１８９８９号
公報記載の方法においては、異なる時間に取得した画像
間の差分に依存した判定が行われるので、観察者の移動
が早い場合には検出が困難である。また、異なる方向か
ら赤外光を照射して取得した赤外画像の差分を用いて検
出する場合、赤外光の照射方向に固有の反射像が含まれ
る可能性があり、このような反射像は差分をとっても消
去できないため、誤検出する可能性がある。また、特開
平８−１８５５０３号公報記載の方法においては、観察
者の撮影画像の解像度を高くする必要があり、解像度を
高くするには観察者をズームアップして撮影しなければ
ならない。よって観察者が動くような場合を想定すると
現実的ではない。

【００２６】本発明はこのような従来技術の問題点に鑑
みなされたものであり、観察者が眼鏡をかけているよう
な場合であっても、短時間で高精度に瞳孔の位置を検出
可能な瞳孔検出装置及び方法を提供することにある。ま
た、本発明の別の目的は、本発明の瞳孔位置検出装置あ
るいは方法を用いて得られる瞳孔位置情報を用いた視点
位置検出装置及び方法並びに立体画像表示システムを提
供することにある。

【００２７】

【課題を解決するための手段】すなわち、本発明の要旨
は、被測定者の赤外画像及び可視画像から、被測定者の
瞳孔位置を検出し、瞳孔位置情報を出力する瞳孔位置検
出装置であって、赤外画像において、所定値以上の明る
さを有する高輝度領域を検出する高輝度領域抽出手段
と、高輝度領域のうち、可視画像において対応する領域
の輝度が所定値未満である高輝度領域中の所定の座標に
基づいて被測定者の瞳孔位置を算出して出力する瞳孔位
置算出手段とを有することを特徴とする瞳孔位置検出装
置に存する。

【００２８】また、本発明の別の要旨は、被測定者の赤
外画像及び可視画像から、被測定者の瞳孔位置を検出
し、瞳孔位置情報を出力する瞳孔位置検出装置であっ
て、赤外画像から、所定値以上の明るさを有する高輝度
領域を抽出し、抽出した各高輝度領域毎に、少なくとも
１つの所定の座標を得る領域抽出手段と、可視画像の、
所定の座標に対応する画素の濃淡値を取得する濃淡値取
得手段と、濃淡値取得手段が取得した濃淡値のうち、所
定値未満の濃淡値を有する代表座標画素に対応する所定
の座標を含む高輝度領域を検出し、代表座標に基づいて
被測定者の瞳孔位置を算出して出力する瞳孔位置算出手
段とを有することを特徴とする瞳孔位置検出装置に存す
る。

【００２９】また、本発明の別の要旨は、本発明の瞳孔
位置検出装置と、可視画像から、瞳孔位置を用いてパタ
ーンマッチング用のテンプレートを作成するテンプレー
ト作成手段と、テンプレート作成手段の作成したテンプ
レートを用い、少なくとも所定時間毎に連続して取得さ
れた被測定者の可視画像とパターンマッチングを行って
被測定者の視点位置を検出し、結果を視点位置情報とし
て出力するマッチング手段とを有することを特徴とする
視点位置検出装置に存する。

【００３０】また、本発明の別の要旨は、本発明の瞳孔
位置検出装置と、可視画像から、瞳孔位置を用いてパタ
ーンマッチング用のテンプレートを作成するテンプレー
ト作成手段と、テンプレート作成手段の作成したテンプ
レートを用い、少なくとも所定時間毎に連続して取得さ
れた被測定者の可視画像とパターンマッチングを行って
被測定者の視点位置を検出し、検出結果を視点位置情報
として出力するマッチング手段と、所定の条件を満たす
場合に瞳孔位置検出装置及びテンプレート作成手段を用
いて再度テンプレートを作成するように制御する制御手
段とを有することを特徴とする視点位置検出装置に存す
る。

【００３１】また、本発明の別の要旨は、本発明の視点
位置検出装置と、立体画像表示手段とを有する立体画像
表示システムであって、立体画像表示装置が出射光路を
制御するマスクパターンを有する立体画像表示装置であ
って、視点位置検出装置から受信した視点位置情報を用
いてマスクパターンの位置またはパターンを変化させる
ことを特徴とする立体画像表示システムに存する。

【００３２】また、本発明の別の要旨は、被測定者の赤
外画像及び可視画像から、被測定者の瞳孔位置を検出
し、瞳孔位置情報を出力する瞳孔位置検出方法であっ
て、赤外画像において、所定値以上の明るさを有する高
輝度領域を検出する高輝度領域抽出ステップと、高輝度
領域のうち、可視画像において対応する領域の輝度が所
定値未満である高輝度領域中の所定の座標に基づいて被
測定者の瞳孔位置を算出して出力する瞳孔位置算出ステ
ップとを有することを特徴とする瞳孔位置検出方法に存
する。

【００３３】また、本発明の別の要旨は、被測定者の赤
外画像及び可視画像から、被測定者の瞳孔位置を検出
し、瞳孔位置情報を出力する瞳孔位置検出方法であっ
て、赤外画像から、所定値以上の明るさを有する高輝度
領域を抽出し、抽出した各高輝度領域毎に、少なくとも
１つの所定の座標を得る領域抽出ステップと、可視画像
の、所定の座標に対応する画素の濃淡値を取得する濃淡
値取得ステップと、濃淡値取得ステップが取得した濃淡
値のうち、所定値未満の濃淡値を有する代表座標画素に
対応する所定の座標を含む高輝度領域を検出し、代表座
標に基づいて被測定者の瞳孔位置を算出して出力する瞳
孔位置算出ステップとを有することを特徴とする瞳孔位
置検出方法に存する。

【００３４】また、本発明の別の要旨は、本発明の瞳孔
位置検出方法に加え、可視画像から、瞳孔位置を用いて
パターンマッチング用のテンプレートを作成するテンプ
レート作成ステップと、テンプレート作成ステップの作
成したテンプレートを用い、少なくとも所定時間毎に連
続して取得された被測定者の可視画像とパターンマッチ
ングを行って被測定者の視点位置を検出し、結果を視点
位置情報として出力するマッチングステップとを有する
ことを特徴とする視点位置検出方法に存する。

【００３５】また、本発明の別の要旨は、本発明の瞳孔
位置検出方法に加え、可視画像から、瞳孔位置を用いて
パターンマッチング用のテンプレートを作成するテンプ
レート作成ステップと、テンプレート作成ステップの作
成したテンプレートを用い、少なくとも所定時間毎に連
続して取得された被測定者の可視画像とパターンマッチ
ングを行って被測定者の視点位置を検出し、検出結果を
視点位置情報として出力するマッチングステップと、所
定の条件を満たす場合に瞳孔位置検出方法及びテンプレ
ート作成ステップを用いて再度テンプレートを作成する
ように制御する制御ステップとを有することを特徴とす
る視点位置検出方法に存する。

【００３６】また、本発明の別の要旨は、本発明の瞳孔
位置検出方法を、コンピュータ装置実行可能なプログラ
ムとして格納したコンピュータ装置読み取り可能な記憶
媒体に存する。

【００３７】また、本発明の別の要旨は、本発明の視点
位置検出方法を、コンピュータ装置実行可能なプログラ
ムとして格納したコンピュータ装置読み取り可能な記憶
媒体に存する。

【００３８】

【発明の実施の形態】以下、図面を参照して本発明をそ
の好適な実施形態に基づき詳細に説明する。以下の説明
においては、本発明の瞳孔位置検出装置を有する視点位
置検出装置によって検出した観察者の視点位置に基づい
て立体画像表示装置を制御することで立体視可能な範囲
を拡大可能な立体画像表示システムについて説明する
が、本発明の瞳孔位置検出装置はいかなる分野、用途に
も利用可能であることは言うまでもない。

【００３９】また、以下の説明において、視点位置とは
観察者の目の位置を示すある一点の座標を意味するが、
視点位置検出装置の出力する視点位置情報は必ずしも一
点の座標値でなくともよく、ある領域を示す情報であっ
ても良い。用途によっては眼全体の位置がおおよそわか
ればよい場合もあり、その用途によって適宜選択すれば
よい。

【００４０】図１は、本発明の実施形態に係る立体画像
表示システムの構成例を示すブロック図である。立体画
像表示システムは、撮影部１、視点位置検出部２及び立
体画像表示部３から構成される。撮影部１は立体画像表
示部３の台に内蔵され、瞳孔位置検出、視点位置検出及
び追従用の可視画像を撮影する可視画像撮影部１１と、
瞳孔位置検出用の赤外画像を撮影する赤外画像撮影部１
２とを有する。可視画像撮影部１１及び赤外画像撮影部
１２はいずれも、立体画像表示部３に表示される立体画
像の観察者頭部正面（顔面）を撮影するよう、本システ
ムの設置される位置と、予測される観察者の位置に応じ
てその画角及び撮影方向を決定する。

【００４１】可視画像撮影部１１及び赤外画像撮影部１
２はいずれもビデオカメラによって構成可能であり、赤
外画像撮影部１２はフィルタ等によって赤外光のみを内
部の受光素子に入射させる様に構成されている。また、
ＬＥＤ等による赤外画像撮影用の赤外光発光部１３とし
ての赤外光源は、赤外画像撮影部１２のレンズ中心と等
しい光軸で観察者を照らすことが好ましいため、例えば
赤外画像撮影部１２の内部に組み込まれ、ハーフミラー
等の光路切り換え手段を用いて赤外画像撮影部１２のレ
ンズ中心と同軸で赤外光が照射されるように構成され
る。さらには、可視画像撮影部１１及び赤外画像撮影部
１２の光軸をハーフミラー等の光路切り換え手段によっ
て、同軸に配置してもよい。

【００４２】視点位置検出部２は、赤外画像撮影部１２
と可視画像撮影部１１で撮影した赤外画像と可視画像か
ら観察者の瞳孔位置を検出し、得られた瞳孔位置と可視
画像撮影部１１で撮影した可視画像とを用いて、観察者
の移動に追従しながらその視点位置を検出する。

【００４３】視点位置検出部２によって得られた視点位
置情報等は、図示しない表示制御部に供給される。表示
制御部は立体画像表示部３に表示する立体画像データを
生成する。

【００４４】視点位置検出部２はたとえば撮影部１が出
力する画像信号を記憶可能な、汎用コンピュータ装置か
ら構成することができる。また、表示制御部も同様に汎
用のコンピュータ装置から構成することができるが、グ
ラフィックアクセラレータ等画像処理を高速に実行可能
な回路を有することが好ましい。視点位置検出部２と、
表示制御部とを同一のコンピュータ装置によって構成す
ることも可能である。

【００４５】視点位置検出部２は、可視画像記憶部２１
と、パターンマッチング判定部２２と、テンプレート作
成部２３と、瞳孔位置検出処理部２４と、赤外画像記憶
部２５と、赤外光発光制御部２６と、座標・濃淡情報記
憶部２７とから構成されている。

【００４６】可視画像記憶部２１及び赤外画像記憶部２
５はいずれも対応する撮影部１１、１２が撮影した画像
データを記憶する手段として用いられ、ＲＡＭのような
半導体メモリで構成しても、磁気ディスクや光ディスク
などの磁気／光学記憶装置を用いて構成してもよい。

【００４７】パターンマッチング判定部２２は、テンプ
レート作成部２３から供給されるテンプレートを用い
て、可視画像記憶部２１に記憶された画像のうちテンプ
レートとの相関が最も高い領域の位置情報を立体画像表
示部３へ出力する。また、パターンマッチング失敗時な
どに、赤外光発光制御部２６に赤外光発光部１３を発光
させる出力を行う。

【００４８】テンプレート作成部２３は、瞳孔位置検出
処理部２４から供給される位置情報を用いて、可視画像
記憶部２１に記憶された画像データから、パターンマッ
チング判定部２２で用いるパターンマッチング用のテン
プレートを作成する。

【００４９】瞳孔位置検出処理部２４は、赤外光発光制
御部２６が赤外光発光部１３の発光を行ったことを知ら
せる信号を入力として、その信号情報をもとにして赤外
画像記憶部２５に記憶された赤外画像から瞳孔位置を検
出し、その位置情報をテンプレート作成部２３に供給す
る。また、その位置情報を立体画像表示部３に供給して
も良い。

【００５０】赤外光発光制御部２６は、図示しない制御
部、瞳孔位置検出処理部２４、パターンマッチング判定
部２２等の制御に従い、赤外光発光部１３の点灯制御を
行う。これら視点位置検出部２の各構成要素は、システ
ム全体の制御を行う、マイクロコンピュータ等によって
実現されるシステム制御部２８によって動作する。

【００５１】座標・濃淡情報記憶部２７は、赤外画像か
ら抽出した反射像のそれぞれについて、その重心座標あ
るいは重心に最も近い座標と、重心座標あるいは重心に
最も近い座標に対応する可視画像画素の濃淡値（階調
値）を対応付けして記憶する。なお、以下では、重心座
標あるいは重心に最も近い座標を合わせて重心座標と呼
ぶことがある。

【００５２】立体画像表示部３は、表示制御部から供給
される表示用の画像データを、やはり表示制御部から供
給される制御信号に従って表示する。また、本実施形態
において、立体画像表示部３は、観察者の視点位置に追
従して視野角を拡大可能な構成を有する直視型立体表示
装置であるものとするが、その構成は例えば上述の特開
平１０−２３２３６７号公報が開示するマスクパターン
移動タイプでも、特開平１０−７８５６３号公報が開示
するマスクパターン変更型でも、また更に別の方式の表
示装置であっても良い。

【００５３】立体画像表示部３は、パターンマッチング
判定部２２及び／又は瞳孔位置検出部２４から供給され
る観察者の視点位置情報に基づき、図示しない制御ユニ
ットがマスクパターンを移動もしくはマスクパターンを
変更することにより、観察者の移動に追従して視野角を
移動し、立体視可能な視野角を拡大する。

【００５４】なお、以上の構成において、本発明による
瞳孔位置検出装置は、撮影部１、可視画像記憶部２１、
瞳孔位置検出部２４、赤外画像記憶部２５、赤外光発光
制御部２６及び座標・濃淡情報記憶部２７から構成さ
れ、視点位置検出装置は撮影部１と視点位置検出部２と
を合わせた構成となる。ただし、瞳孔位置検出装置、視
点位置検出装置とも撮影部１に含まれる構成要素は必ず
しも必要でなく、取得された画像からそれぞれ瞳孔位
置、視点位置を検出する部分のみを瞳孔位置検出装置、
視点位置検出装置としてもよい。

【００５５】（瞳孔位置検出処理）次に、本実施形態に
係る立体画像表示システムにおける、瞳孔位置検出処理
動作について、図２に示すフローチャートを用いて説明
する。瞳孔位置の検出は、観察者が交替するたびに行わ
れる他、取得した赤外画像から瞳孔位置が検出できなか
った場合や、後述する視点位置検出処理が観察者の動き
に追従できない場合、定期的に取得するように設定され
ている場合など、再度視点位置検出を行う必要が生じた
時点で行われる。

【００５６】まず、赤外画像及び可視画像を取得する
（ステップＳ１０２）。図示しない制御部から赤外光発
光制御部２６に対し赤外光の発光が、また赤外画像撮影
部１２及び可視画像撮影部１１に、画像の取得がそれぞ
れ指示される。この指示に応答して赤外光発光制御部２
６は赤外光発光部１３を発光させ、赤外画像撮影部１２
では赤外画像を取得する。赤外画像の取得が終わると、
赤外画像撮影部１２からの通知により、図示しない制御
部、赤外光発光制御部２６を介して赤外光発光部１３の
発光を終了する。あるいは、赤外画像撮影部１２から直
接取得終了を赤外光発光制御部２６へ通知し、その通知
に応答して赤外光の発光を終了するようにしても良い。

【００５７】一方、可視画像撮影部１１は、好ましくは
赤外画像の取得と同時に（同フレームタイミングで）可
視画像を取得するように構成することが望ましい。この
ように構成することにより、精度のよいテンプレートの
作成及びパターンマッチングが可能になる。

【００５８】そして、可視画像撮影部１１及び赤外画像
撮影部１２によって取得した可視画像及び赤外画像をそ
れぞれ可視画像記憶部２１及び赤外画像記憶部２５に記
憶する。次に、取得した多階調赤外画像の二値化を行う
（ステップＳ１０３）。二値化に用いる閾値は、網膜に
よる赤外反射像等の、比較的強い反射像を抽出し、他の
不要な反射像をノイズとして除去可能であれば、どのよ
うな値を設定するかは任意である。具体的には、例えば
立体画像表示システムの設置場所で予め取得した赤外画
像を用いて適切な値を求めればよい。

【００５９】二値化赤外画像が得られたら、ラベリング
処理を行う（ステップＳ１０４）。ラベリング処理は、
二値化画像中の高輝度領域（白画素領域）のうち、所定
の条件を満たす領域を検出し、各領域にその後の処理で
用いるための識別子（番号等）を付与する処理である。
所定の条件とは、例えば領域の大きさであり、瞳孔の反
射像よりも明らかに小さい、又は大きいと判定される領
域についてはラベリング処理を行わない。

【００６０】ラベリング処理が終わると、ラベリングし
た各領域について、その重心座標を算出する（ステップ
Ｓ１０５）。この際、各領域の丸さを表す円形度につい
ても算出する事が好ましい。円形度を算出する場合、円
形度が所定値以上、すなわち円形に近くない形状の領域
（たとえば眼鏡のフレームなど）については、後述する
網膜反射像の判定対象から除外するように構成すること
ができる。

【００６１】次に、ラベリングされた各領域の重心座標
に対応する可視画像画素の濃淡値（階調値）とを対応付
けて、座標・濃淡情報記憶部２７に記憶する（ステップ
Ｓ１０６）。この際、可視画像撮影部１１が多階調モノ
クロ画像（グレースケール画像）を取得していれば、重
心座標に対応する画素の濃淡値をそのまま取り出せばよ
い。一方、可視画像撮影部１１がカラー画像を取得して
いる場合には、一旦グレースケール画像に変換してから
濃淡値を取り出す。

【００６２】次に、取り出した濃淡値を用いて、網膜反
射像の判定を行う（ステップＳ１０７）。具体的には、
ステップＳ１０６で得られた可視画像の濃淡値のうち、
最低値から順に２つに対応する重心座標を含む領域を網
膜反射像と判定する。これは、通常人間の瞳孔は黒色で
あり、可視画像においても黒、すなわち低い濃淡値を有
するからである。一方、眼鏡のレンズによる反射像部
分、照明は、可視画像においても明るく撮影されるた
め、濃淡値は高くなる。従って、可視画像画素の濃淡値
が最も低い値と２番目に低い値に対応する重心座標を有
する白色領域が網膜反射像であると判定できる。そし
て、ステップＳ１０８において、網膜反射像と判定され
た像の重心座標を瞳孔位置として出力する。なお、上述
のステップＳ１０３〜Ｓ１０８の処理は、瞳孔位置検出
部２４と座標・濃淡情報記憶部２７が行う。

【００６３】ステップＳ１０４〜Ｓ１０７の処理につい
て、図３を用いて更に説明する。図３は、ステップＳ１
０３で二値化された赤外画像（図３（ａ））及び、対応
する可視画像（図３（ｂ））の例を示す図である。

【００６４】ステップＳ１０４のラベリング処理におい
て、高輝度領域ａ〜ｇのうち、領域ｇは予め定めた大き
さを越える大きさを有するのでラベリングの対象から除
外される。そして、残りの領域ａ〜ｆのそれぞれについ
てラベリングが行われる。

【００６５】そして、ステップＳ１０５において、ラベ
リングされた領域ａ〜ｆのそれぞれについて、重心座標
（Ｘｎ，Ｙｎ）（ただし、ｎ＝１〜６の整数）が算出さ
れる。また、各領域の円形度も算出される。図３（ａ）
においては、領域ａ〜ｆがいずれも円形度の高い形状を
有するので、ステップＳ１０６においては領域ａ〜ｆの
重心座標と、対応する可視画像画素濃淡値がそれぞれ座
標・濃淡情報記憶部２７に記憶される。

【００６６】次に、ステップＳ１０７において、座標・
濃淡情報記憶部２７に記憶された可視画像画素濃淡値を
比較する。図３（ａ）に示す赤外画像の高輝度領域ａ〜
ｇのうち、領域ａ，ｄが網膜反射像、領域ｂ，ｅが眼鏡
レンズによる反射像、領域ｃ，ｆ，ｇが照明の像とする
と、領域ａ，ｄ、即ち座標（Ｘ１，Ｙ１）及び（Ｘ４，
Ｙ４）に対応する可視画像画素の濃淡値は低く、その他
の座標に対応する可視画像画素の濃淡値は高い。

【００６７】従って、ステップＳ１０７では領域ａ，ｄ
が網膜反射像であると判定され、その重心座標（Ｘ１，
Ｙ１）及び（Ｘ４，Ｙ４）が瞳孔位置としてステップＳ
１０８で出力される。ただし、赤外画像内で左に出てき
た反射像を観察者の右眼、右に出てきた反射像を観察者
の左眼とする。

【００６８】次に、図１に示したシステム全体の具体的
な動作について、図４に示すフローチャートを用いて説
明する。

【００６９】まず、撮影部１、視点位置検出部２及び立
体画像表示部３の電源投入、初期化など、各部の起動を
行う（ステップＳ２０１）。次に、新規観察者の検出が
なされたか否かをチェックする。

【００７０】新規観察者の検出は、例えば観察者が座る
椅子に設けたスイッチ等がオフからオンになったことを
検知する、撮影部１の可視画像取得部１１の撮影画像を
処理して観察者が観察位置に来たことを検出する等、シ
ステム側で自動的に検出する方法や、観察者が観察位置
において操作できるスイッチを設け、観察者にスイッチ
をオンさせる様にする等、観察者の能動的な動作によっ
て検出するようにすることも可能である。

【００７１】次に、図２を用いて説明した瞳孔位置検出
処理（ステップＳ１０２〜ステップＳ１０８）を行う
（ステップＳ２０２）。ステップＳ２０２で正常に瞳孔
位置検出が完了した場合には、テンプレートの作成処理
を開始する（ステップＳ２０３）。本実施形態のシステ
ムにおいては任意のパターンマッチング用テンプレート
を用いることができるが、ここでは２つの子テンプレー
トと１つの親テンプレートを用いる場合を例にとって説
明する。それぞれの種類のテンプレートについて図５
（ａ）及び図５（ｂ）を用いてさらに説明する。

【００７２】図５（ａ）及び図５（ｂ）は、本実施形態
で用いる子テンプレート及び親テンプレートをそれぞれ
説明する図である。図に示すように、２つの子テンプレ
ートはそれぞれ右眼、左眼の視点位置を基点（図中×で
示す）とするテンプレート、親テンプレートは右眼左眼
の視点位置を含み、視点位置の中点を基点とする１つの
テンプレートである。ここで、テンプレートにおける視
点位置は、画像内座標の１点を指す座標である。

【００７３】本実施形態において、テンプレートの作成
処理は子テンプレートの作成から行う。テンプレート作
成部２３は、瞳孔位置検出処理部２４が赤外画像から検
出した右眼、左眼の瞳孔位置（画像上の座標値）を用い
て、可視画像記憶部２１に記憶された可視画像から、右
眼瞳孔位置を基点とした子テンプレート１、左眼瞳孔位
置を基点とした子テンプレート２を作成する。子テンプ
レートの大きさは、右眼左眼瞳孔位置間の距離によって
次式から決定する。平均的な人間の右眼左眼瞳孔位置間
の距離：測定された右眼左眼瞳孔位置間の距離＝平均的
な人間の眼と眉が入る程度の大きき：子テンプレートの
大きさここで、瞳孔位置間距離及び眼と眉が入る大きさ
の平均値は、たとえば統計的に求めた値を用いることが
できる。

【００７４】子テンプレートの作成が終わると、テンプ
レート作成部２３は親テンプレートの作成を行う。上述
したように、親テンプレートは右眼左眼２つの瞳孔位置
の中点を基点として、２つの瞳孔位置を含むテンプレー
トである。親テンプレートの大ききは、右眼左眼瞳孔位
置間の距離によって次式から決定する。平均的な人間の
右眼左眼瞳孔位置間の距離：測定された右眼左眼瞳孔位
置間の距離＝平均的な人間の顔が入る程度の大きさ：親
テンプレートの大きさ子テンプレート作成時と同様に、
平均値には統計的に求めた値を用いることができる。テ
ンプレート作成部２３が作成したテンプレートは、パタ
ーンマッチング判定部２２へ供給される。

【００７５】テンプレートの作成が終わると、これらの
テンプレートを用いたパターンマッチングを行い、観察
者の視点位置変化に追従して視点位置検出を行う（ステ
ップＳ２０４）。具体的には、可視画像記憶部２１に取
り込んだ可視画像と、テンプレート作成部２３が作成し
たテンプレートを用いてパターンマッチングを行う。

【００７６】パターンマッチング判定部２２はまず、親
テンプレートと可視画像のパターンマッチングを行う。
パターンマッチングはたとえば正規化相関関数を用いて
行うことができる。正規化相関関数を用いたパターンマ
ッチングについては例えば、「マトロックスイメージン
グライブラリ バージョン５．１ ユーザガイド（Matr
ox Imaging Library Version 5.1 User Guide）」 第
１５４〜１５５ページに記載されている。正規化相関関
数によって得られる値は０〜１００（％）として表さ
れ、１００％が完全一致を意味する。また、パターンマ
ッチングは、テンプレートマッチングと呼ばれることも
ある。

【００７７】本実施形態においては、例えば８５％を超
える相関度が得られれば、パターンマッチングが成功し
たと見なす。テンプレート作成直後のパターンマッチン
グは、テンプレートの元になった画像とパターンマッチ
ングを行う画像データが同一であるため、基本的にほぼ
１００％の相関度が得られるはずである。

【００７８】親テンプレートと可視画像のパターンマッ
チング結果が所定の相関度を満たした場合には、親テン
プレートを用いたパターンマッチングが成功したと判定
し、パターンマッチング判定部２２は視点位置の探索領
域設定を行う。すなわち、親テンプレート内の左半分を
右眼視点位置の探索領域、親テンプレート内の右半分を
左眼視点位置の探索領域とする。そして、設定した探索
領域を元にして、子テンプレートと可視画像のパターン
マッチングを行う。このように、階層的にパターンマッ
チングを行い、段階的に探索範囲を絞り、右眼左眼視点
位置の拘束を行うことで、誤った視点位置の検出(失敗
ではない)を防ぎ、精度良い追従ができる。また、パタ
ーンマッチングが成功している間は子テンプレートによ
るパターンマッチングを行い、パターンマッチングが失
敗している間は親テンプレートと子テンプレートを用い
て階層的にパターンマッチングを行うようにしてもよ
い。

【００７９】パターンマッチングの結果、最大相関値が
所定の相関値を満たす場合には、ステップＳ２０５にお
いてパターンマッチング成功と判断され、ステップＳ２
０６へ移行する。一方、最大相関値が所定相関値に満た
ない場合には、パターンマッチング失敗と判断され、ス
テップＳ２０２へ戻って瞳孔位置検出処理からやり直
す。図４では、パターンマッチングに１回失敗したとき
S２０２に戻るようになっているが、２回以上の所定回
数失敗したときS２０２に戻るようにしてもよい。

【００８０】ステップＳ２０５でパターンマッチング成
功と判断されると、パターンマッチング判定部２２は、
図示しない表示制御部及び立体画像表示部３へ最終的に
得られた視点位置情報（画像上の視点位置座標）を右
眼、左眼ごとに出力する。

【００８１】ステップＳ２０６において、図示しない表
示制御部は、この視点位置情報に基づいて観察者の視点
位置に応じた表示用画像データを生成して立体画像表示
部３へ出力する。また、立体画像表示部３では、視点位
置情報に基づいて、図示しない制御ユニットが、マスク
パターンを水平方向に移動もしくはマスクパターンを変
更することにより、観察者が立体視可能な視野角を観察
者の視点位置に追従させる。

【００８２】ステップＳ２０７においてシステム終了を
行うか否かを判定し、システムの動作終了を指示されて
いなければ可視画像撮影部１１から可視画像を取り込
み、可視画像記憶部２１へ記憶してからステップＳ２０
４へ戻る。

【００８３】以降、可視画像に対するパターンマッチン
グを継続し、パターンマッチングが失敗すると自動的に
瞳孔位置検出処理に戻ってテンプレートの再作成処理を
行う。ステップＳ２０７において終了処理が指示された
場合には、所定の終了処理を行って（ステップＳ２０
８）一連の処理を終了する。

【００８４】

【その他の実施形態】上述の実施形態においては、パタ
ーンマッチング結果が失敗に終わった場合に赤外画像取
得からやり直すことにより、高精度で追従性の良いパタ
ーンマッチングを行う構成を説明したが、あまり被測定
者が動かないような環境においては、定期的にテンプレ
ートを作り直すことによっても同様の効果が期待でき
る。特に、同一観察者に対して赤外画像の取得を何度も
行うのが望ましくない場合には、このような処理を行う
ことが好ましい。

【００８５】また、観察者にリモートコントローラ等の
スイッチ等を操作させ、それを瞳孔位置検出処理の開始
信号として用いることにもできる。このような構成によ
り、取得した赤外画像における観察者の瞳孔位置が存在
する範囲を絞り込むことができ、より精度の高い検出が
可能になる。

【００８６】同様に、ユーザが立体視しにくくなった場
合にこのスイッチを操作することにより、赤外画像取得
動作に始まる瞳孔位置検出処理をやり直すように構成す
ることもできる。このような構成とすることにより、的
確なタイミングでテンプレートの更新が行われ、より高
精度の視点位置検出が可能となり、結果として立体視可
能な範囲が広い立体画像表示システムを実現することが
できる。

【００８７】また、赤外光を発光する際に、画像表示部
３の輝度や観察者までの距離に応じてその発光量を変化
させたり、赤外画像からの瞳孔位置検出が失敗してやり
直す際には前回と発光量を変化させる（強くする、ある
いは弱くする）こともできる。このような発光量の制御
は、赤外画像からの瞳孔位置検出を成功させる確率を高
め、結果として高精度な視点位置検出結果を得ることに
つながる。

【００８８】また、上述の実施形態では本発明による瞳
孔位置検出装置の検出結果を用いて視点位置検出を行う
場合を例にして説明したが、本発明による瞳孔位置検出
装置は、任意の用途に用いることができる。

【００８９】また、上述の実施形態においては、二値化
赤外画像から抽出した白色領域の重心座標に対応する可
視画像画素の濃淡値によって網膜反射像を判定したが、
白色領域毎に２つ以上の座標を求め、各座標に対応する
可視画像画素濃淡値の平均値を用いて網膜反射像の判定
を行うように構成することも可能である。ただし、この
場合最終的な瞳孔位置として出力する座標は、別途求め
る必要がある（重心座標であっても良い）。

【００９０】あるいは、二値化赤外画像から抽出した白
色領域に対応する可視画像領域に含まれる画素すべての
平均濃淡値を用いて網膜反射像の判定を行うように構成
することも可能である。

【００９１】また、上述の実施形態においては、二値化
赤外画像から抽出した白色領域の重心座標に対応する可
視画像画素の濃淡値によって網膜反射像を判定したが、
グレースケールの赤外画像から、所定の輝度以上を有す
る（所定値よりも明るい濃淡値を有する）領域を抽出す
るようにしてもよい。この場合、抽出した領域はその後
実施形態における白色領域と同等に取り扱えばよい。

【００９２】また、網膜反射像の判定時に、対応する可
視画像画素の濃淡値が最も低い領域から２つを機械的に
瞳孔反射像と判定せずに、最低濃淡値から３〜５個程度
の領域から、テンプレート作成時に用いる平均的な人間
の右眼左眼瞳孔位置間の距離等、左右の瞳孔の位置関係
等を用いて最終的な判定を行うように構成することもで
きる。このように構成することでさらに精度の高い検出
が可能になる。

【００９３】もちろん、最初に対応する可視画像画素の
濃淡値が最も低い領域から２つを機械的に瞳孔反射像と
仮判定し、上述の位置関係を満たさない場合にさらに下
から３番目以上の可視画像画素の濃淡値に対応する領域
について順次判定するようにしてもよい。

【００９４】本発明の本質は、赤外画像において明る
く、可視画像において暗い領域を網膜反射像として判定
することにあるため、上述の条件以外にも任意の条件を
用いることが可能である。

【００９５】また、上述の実施形態において説明した具
体的な手法、例えばパターンマッチングの方法、テンプ
レート作成の方法等は、実施形態において説明したもの
に限定されるものではなく、同等に適用可能な方法を用
いても良いことはいうまでもない。

【００９６】上述の実施形態においては、ピンポイント
の座標である視点位置を出力するように構成されていた
が、例えば上述の実施形態のように最終的に得られる視
点位置を立体画像表示部の制御に用いる場合であれば、
右眼と左眼の視点位置の中心位置がわかれば最低限の制
御は可能であるため、テンプレートの中心位置を立体画
像表示部３へ出力するようにしても良い。

【００９７】また、上述の実施形態においては立体画像
表示部３としてバックライトを用いた液晶表示装置を用
いた場合のみを説明したが、ＣＲＴ等の自発光型表示装
置によってバックライトとマスクパターンとの組み合わ
せと同等の機能を実現することも可能である。

【００９８】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００９９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。

【０１００】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。また、コンピュータが
読み出したプログラムコードを実行することにより、前
述した実施形態の機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づき、コンピュータ上で稼働
しているオペレーティングシステム(OS)などが実際の処
理の一部または全部を行い、その処理によって前述した
実施形態の機能が実現される場合も含まれることは言う
までもない。

【０１０１】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１０２】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図２及び／又は図４に
示す）フローチャートに対応するプログラムコードが格
納されることになる。

【０１０３】

【発明の効果】以上説明したように、本発明によれば、
赤外光を用いた網膜反射像を用いて観察者の瞳孔位置を
検出する瞳孔位置検出装置において、観察者が眼鏡をか
けているような場合であっても短時間で精度の高い瞳孔
位置検出が実現できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る立体画像表示システム
の構成を示すブロック図である。

【図２】本発明の実施形態に係る赤外画像取得動作を説
明するフローチャートである。

【図３】赤外画像と可視画像から網膜反射像を判定する
処理を説明する図である。

【図４】本発明の実施形態に係る立体画像表示システム
の動作を説明するフローチャートである。

【図５】本発明の実施形態において用いるテンプレート
の構成を説明する図である。

【図６】リアクロスレンチキュラ方式の立体画像表示装
置の構成を示す斜視図である。

【図７】視点位置により表示制御を行う立体画像表示装
置の例を示す斜視図である。

【図８】視点位置により表示制御を行う立体画像表示装
置の例を示す斜視図である。

【図９】観察者が眼鏡をかけている場合に得られる赤外
画像及び可視画像の例を示す図である。

【図１０】観察者の背景に照明がある場合に得られる赤
外画像及び可視画像の例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｔ 1/00 ３４０ Ｈ０４Ｎ 13/00 Ｈ０４Ｎ 13/00 Ｇ０２Ｆ 1/13 ５０５ // Ｇ０２Ｆ 1/13 ５０５ Ｈ０４Ｎ 7/18 Ｂ Ｈ０４Ｎ 7/18 Ａ６１Ｂ 3/10 Ａ (56)参考文献 特開 平10−221016（ＪＰ，Ａ) 特開 平10−232626（ＪＰ，Ａ) 特開2000−278716（ＪＰ，Ａ) 特開 平10−232367（ＪＰ，Ａ) 特開 平11−137524（ＪＰ，Ａ) 特開 平９−311294（ＪＰ，Ａ) 特開 平10−78563（ＪＰ，Ａ) 特開 平７−218989（ＪＰ，Ａ) 特開 平８−185503（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 G01B 11/00 G02B 27/22 G03B 35/00 G03B 35/16 G06T 1/00 H04N 13/00 G02F 1/13 H04N 7/18

Claims (28)

(57)【特許請求の範囲】
1. 【請求項１】 被測定者の赤外画像及び可視画像から、
   前記被測定者の瞳孔位置を検出し、瞳孔位置情報を出力
   する瞳孔位置検出装置であって、 前記赤外画像において、所定値以上の明るさを有する高
   輝度領域を検出する高輝度領域抽出手段と、 前記高輝度領域のうち、前記可視画像において対応する
   領域の輝度が所定値未満である前記高輝度領域中の所定
   の座標に基づいて前記被測定者の瞳孔位置を算出して出
   力する瞳孔位置算出手段とを有することを特徴とする瞳
   孔位置検出装置。
2. 【請求項２】 被測定者の赤外画像及び可視画像から、
   前記被測定者の瞳孔位置を検出し、瞳孔位置情報を出力
   する瞳孔位置検出装置であって、 前記赤外画像から、所定値以上の明るさを有する高輝度
   領域を抽出し、抽出した各高輝度領域毎に、少なくとも
   １つの所定の座標を得る領域抽出手段と、 前記可視画像の、前記所定の座標に対応する画素の濃淡
   値を取得する濃淡値取得手段と、 前記濃淡値取得手段が取得した濃淡値のうち、所定値未
   満の濃淡値を有する代表座標画素に対応する前記所定の
   座標を含む前記高輝度領域を検出し、前記代表座標に基
   づいて被測定者の瞳孔位置を算出して出力する瞳孔位置
   算出手段とを有することを特徴とする瞳孔位置検出装
   置。
3. 【請求項３】 前記瞳孔位置算出手段が、前記高輝度領
   域のうち、前記可視画像において対応する領域の輝度が
   最も低い高輝度領域と、次に低い高輝度領域の２つの前
   記高輝度領域中の所定の座標を前記被測定者の瞳孔位置
   として出力することを特徴とする請求項１または請求項
   ２記載の瞳孔位置検出装置。
4. 【請求項４】 前記所定の座標が、前記高輝度領域の重
   心座標あるいは重心に最も近い座標を含むことを特徴と
   する請求項１乃至請求項３のいずれか１項に記載の瞳孔
   位置検出装置。
5. 【請求項５】 前記高輝度領域抽出手段が、所定の面積
   及び／又は円形度を満たす領域を前記高輝度領域として
   抽出することを特徴とする請求項１乃至請求項４のいず
   れか１項に記載の瞳孔位置検出装置。
6. 【請求項６】 前記赤外画像を所定の閾値による二値化
   画像を生成する二値化画像生成手段を更に有し、 前記高輝度領域抽出手段が、前記二値化画像から前記高
   輝度領域の検出を行うことを特徴とする請求項１乃至請
   求項５のいずれか１項に記載の瞳孔位置検出装置。
7. 【請求項７】 前記可視画像と前記赤外画像とが同時に
   取得されたものであることを特徴とする請求項１乃至請
   求項６のいずれか１項に記載の瞳孔位置検出装置。
8. 【請求項８】 請求項１乃至請求項７のいずれか１項に
   記載の瞳孔位置検出装置と、 前記可視画像から、前記瞳孔位置を用いてパターンマッ
   チング用のテンプレートを作成するテンプレート作成手
   段と、 前記テンプレート作成手段の作成したテンプレートを用
   い、少なくとも所定時間毎に連続して取得された前記被
   測定者の可視画像とパターンマッチングを行って前記被
   測定者の視点位置を検出し、結果を視点位置情報として
   出力するマッチング手段とを有することを特徴とする視
   点位置検出装置。
9. 【請求項９】 請求項１乃至請求項７のいずれか１項に
   記載の瞳孔位置検出装置と、 前記可視画像から、前記瞳孔位置を用いてパターンマッ
   チング用のテンプレートを作成するテンプレート作成手
   段と、 前記テンプレート作成手段の作成したテンプレートを用
   い、少なくとも所定時間毎に連続して取得された前記被
   測定者の可視画像とパターンマッチングを行って前記被
   測定者の視点位置を検出し、検出結果を視点位置情報と
   して出力するマッチング手段と、 所定の条件を満たす場合に前記瞳孔位置検出装置及び前
   記テンプレート作成手段を用いて再度前記テンプレート
   を作成するように制御する制御手段とを有することを特
   徴とする視点位置検出装置。
10. 【請求項１０】 前記制御手段が、前記マッチング手段
    の検出結果を評価するとともに、検出が所定回数失敗し
    たと判定された場合に前記瞳孔位置検出装置及び前記テ
    ンプレート作成手段を用いて再度前記テンプレートを作
    成するように制御することを特徴とする請求項９記載の
    視点位置検出装置。
11. 【請求項１１】 前記制御手段が、所定の時間毎に前記
    瞳孔位置検出装置及び前記テンプレート作成手段を用い
    て再度前記テンプレートを作成するように制御すること
    を特徴とする請求項９記載の視点位置検出装置。
12. 【請求項１２】 前記制御手段が、前記マッチング手段
    の検出結果を評価するとともに、検出が所定回数失敗し
    たと判定された場合、あるいは所定の時間毎に前記瞳孔
    位置検出装置及び前記テンプレート作成手段を用いて再
    度前記テンプレートを作成するように制御することを特
    徴とする請求項９記載の視点位置検出装置。
13. 【請求項１３】 請求項８乃至請求項１２のいずれか１
    項に記載の視点位置検出装置と、立体画像表示手段とを
    有する立体画像表示システムであって、 前記立体画像表示装置が出射光路を制御するマスクパタ
    ーンを有する立体画像表示装置であって、前記視点位置
    検出装置から受信した前記視点位置情報を用いて前記マ
    スクパターンの位置またはパターンを変化させることを
    特徴とする立体画像表示システム。
14. 【請求項１４】 さらに、前記被測定者の視点位置情報
    に応じた前記立体画像表示手段に表示する画像を生成す
    る画像生成手段を有することを特徴とする請求項１３記
    載の立体画像表示システム。
15. 【請求項１５】 被測定者の赤外画像及び可視画像か
    ら、前記被測定者の瞳孔位置を検出し、瞳孔位置情報を
    出力する瞳孔位置検出方法であって、 前記赤外画像において、所定値以上の明るさを有する高
    輝度領域を検出する高輝度領域抽出ステップと、 前記高輝度領域のうち、前記可視画像において対応する
    領域の輝度が所定値未満である前記高輝度領域中の所定
    の座標に基づいて前記被測定者の瞳孔位置を算出して出
    力する瞳孔位置算出ステップとを有することを特徴とす
    る瞳孔位置検出方法。
16. 【請求項１６】 被測定者の赤外画像及び可視画像か
    ら、前記被測定者の瞳孔位置を検出し、瞳孔位置情報を
    出力する瞳孔位置検出方法であって、 前記赤外画像から、所定値以上の明るさを有する高輝度
    領域を抽出し、抽出した各高輝度領域毎に、少なくとも
    １つの所定の座標を得る領域抽出ステップと、 前記可視画像の、前記所定の座標に対応する画素の濃淡
    値を取得する濃淡値取得ステップと、 前記濃淡値取得ステップが取得した濃淡値のうち、所定
    値未満の濃淡値を有する代表座標画素に対応する前記所
    定の座標を含む前記高輝度領域を検出し、前記代表座標
    に基づいて被測定者の瞳孔位置を算出して出力する瞳孔
    位置算出ステップとを有することを特徴とする瞳孔位置
    検出方法。
17. 【請求項１７】 前記瞳孔位置算出ステップが、前記高
    輝度領域のうち、前記可視画像において対応する領域の
    輝度が最も低い高輝度領域と、次に低い高輝度領域の２
    つの前記高輝度領域中の所定の座標を前記被測定者の瞳
    孔位置として出力することを特徴とする請求項１５また
    は請求項１６記載の瞳孔位置検出方法。
18. 【請求項１８】 前記所定の座標が、前記高輝度領域の
    重心座標あるいは重心に最も近い座標を含むことを特徴
    とする請求項１５乃至請求項１７のいずれか１項に記載
    の瞳孔位置検出方法。
19. 【請求項１９】 前記高輝度領域抽出ステップが、所定
    の面積及び／又は円形度を満たす領域を前記高輝度領域
    として抽出することを特徴とする請求項１５乃至請求項
    １８のいずれか１項に記載の瞳孔位置検出方法。
20. 【請求項２０】 前記赤外画像を所定の閾値による二値
    化画像を生成する二値化画像生成ステップを更に有し、 前記高輝度領域抽出ステップが、前記二値化画像から前
    記高輝度領域の検出を行うことを特徴とする請求項１５
    乃至請求項１９のいずれか１項に記載の瞳孔位置検出方
    法。
21. 【請求項２１】 前記可視画像と前記赤外画像とが同時
    に取得されたものであることを特徴とする請求項１５乃
    至請求項２０のいずれか１項に記載の瞳孔位置検出方
    法。
22. 【請求項２２】 請求項１５乃至請求項２１のいずれか
    １項に記載の瞳孔位置検出方法に加え、 前記可視画像から、前記瞳孔位置を用いてパターンマッ
    チング用のテンプレートを作成するテンプレート作成ス
    テップと、 前記テンプレート作成ステップの作成したテンプレート
    を用い、少なくとも所定時間毎に連続して取得された前
    記被測定者の可視画像とパターンマッチングを行って前
    記被測定者の視点位置を検出し、結果を視点位置情報と
    して出力するマッチングステップとを有することを特徴
    とする視点位置検出方法。
23. 【請求項２３】 請求項１５乃至請求項２１のいずれか
    １項に記載の瞳孔位置検出方法に加え、 前記可視画像から、前記瞳孔位置を用いてパターンマッ
    チング用のテンプレートを作成するテンプレート作成ス
    テップと、 前記テンプレート作成ステップの作成したテンプレート
    を用い、少なくとも所定時間毎に連続して取得された前
    記被測定者の可視画像とパターンマッチングを行って前
    記被測定者の視点位置を検出し、検出結果を視点位置情
    報として出力するマッチングステップと、 所定の条件を満たす場合に前記瞳孔位置検出方法及び前
    記テンプレート作成ステップを用いて再度前記テンプレ
    ートを作成するように制御する制御ステップとを有する
    ことを特徴とする視点位置検出方法。
24. 【請求項２４】 前記制御ステップが、前記マッチング
    ステップの検出結果を評価するとともに、検出が所定回
    数失敗したと判定された場合に前記瞳孔位置検出方法及
    び前記テンプレート作成ステップを用いて再度前記テン
    プレートを作成するように制御することを特徴とする請
    求項２３記載の視点位置検出方法。
25. 【請求項２５】 前記制御ステップが、所定の時間毎に
    前記瞳孔位置検出方法及び前記テンプレート作成ステッ
    プを用いて再度前記テンプレートを作成するように制御
    することを特徴とする請求項２３記載の視点位置検出方
    法。
26. 【請求項２６】 前記制御ステップが、前記マッチング
    ステップの検出結果を評価するとともに、検出が所定回
    数失敗したと判定された場合、あるいは所定の時間毎に
    前記瞳孔位置検出方法及び前記テンプレート作成ステッ
    プを用いて再度前記テンプレートを作成するように制御
    することを特徴とする請求項２３記載の視点位置検出方
    法。
27. 【請求項２７】 請求項１５乃至請求項２１のいずれか
    １項に記載の瞳孔位置検出方法を、コンピュータ装置実
    行可能なプログラムとして格納したコンピュータ装置読
    み取り可能な記憶媒体。
28. 【請求項２８】 請求項２２乃至請求項２６のいずれか
    １項に記載の視点位置検出方法を、コンピュータ装置実
    行可能なプログラムとして格納したコンピュータ装置読
    み取り可能な記憶媒体。