JPH10221016A - 視点位置検出装置 - Google Patents
視点位置検出装置Info
- Publication number
- JPH10221016A JPH10221016A JP9022504A JP2250497A JPH10221016A JP H10221016 A JPH10221016 A JP H10221016A JP 9022504 A JP9022504 A JP 9022504A JP 2250497 A JP2250497 A JP 2250497A JP H10221016 A JPH10221016 A JP H10221016A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- pupil
- illuminating
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 瞳孔画像信号の信号対雑音比の変動を抑えて
観察者の瞳孔を安定に抽出し、視点位置を正確に検出す
る。 【解決手段】 異なる波長の光を照射する第１の照明装
置１および第２の照明装置２を有する。第１の照明装置
１は撮像装置４と同軸上で観察者を照明し、第２の照明
装置２は撮像装置４と非同軸で観察者を照明する。撮像
装置４で撮像された画像は、第１の照明装置１を用いて
得られた画像と第２の照明装置２を用いて得られた画像
とに分けられて画像処理装置１０に出力される。画像処
理装置１０では、加算演算部１３、減算演算部１４およ
び除算演算部１５によって、両画像の対応画素の輝度を
それぞれの画素ごとに加算および減算し、その演算結果
同士を除算する。除算結果は瞳孔抽出部１６で２値化処
理され、これによって観察者２０の瞳孔に対応する部分
を抽出する。
観察者の瞳孔を安定に抽出し、視点位置を正確に検出す
る。 【解決手段】 異なる波長の光を照射する第１の照明装
置１および第２の照明装置２を有する。第１の照明装置
１は撮像装置４と同軸上で観察者を照明し、第２の照明
装置２は撮像装置４と非同軸で観察者を照明する。撮像
装置４で撮像された画像は、第１の照明装置１を用いて
得られた画像と第２の照明装置２を用いて得られた画像
とに分けられて画像処理装置１０に出力される。画像処
理装置１０では、加算演算部１３、減算演算部１４およ
び除算演算部１５によって、両画像の対応画素の輝度を
それぞれの画素ごとに加算および減算し、その演算結果
同士を除算する。除算結果は瞳孔抽出部１６で２値化処
理され、これによって観察者２０の瞳孔に対応する部分
を抽出する。
Description
【０００１】
【発明の属する技術分野】本発明は、観察者の視点位置
を常時検出してその検出した視点位置に応じて観察者に
常に正しい立体画像を呈示する立体表示装置等に用いる
視点位置検出装置に関する。
を常時検出してその検出した視点位置に応じて観察者に
常に正しい立体画像を呈示する立体表示装置等に用いる
視点位置検出装置に関する。
【０００２】
【従来の技術】近年、立体表示への要望が高まってお
り、様々な立体表示装置の研究が行われている。最近で
は特にレンチキュラスクリーンを用いて、両眼視差を有
する画像をそれぞれ左右の目に空間的に分離して呈示す
ることで立体視を実現する立体表示装置が注目されてい
る。この装置は特別なメガネを装着する必要がないとい
う利点を有している。ただし、この装置では立体視が可
能な領域が人間の両眼間隔程度に制限されてしまうとい
う問題があり、観察者は常に頭を固定して観察するとい
う不自然な体勢をとらなければならなかった。
り、様々な立体表示装置の研究が行われている。最近で
は特にレンチキュラスクリーンを用いて、両眼視差を有
する画像をそれぞれ左右の目に空間的に分離して呈示す
ることで立体視を実現する立体表示装置が注目されてい
る。この装置は特別なメガネを装着する必要がないとい
う利点を有している。ただし、この装置では立体視が可
能な領域が人間の両眼間隔程度に制限されてしまうとい
う問題があり、観察者は常に頭を固定して観察するとい
う不自然な体勢をとらなければならなかった。
【０００３】このような問題点を解決するために観察者
の視点位置を常時検出して、その検出された視点位置に
応じて観察者に常に正しい立体画像を呈示する視点追従
型立体表示装置が知られている（例えば特開平１−１０
７２４７号公報、特開平５−７１２３号公報など）。従
来の視点追従型立体表示装置では、視点位置を検出する
ために磁気センサや、反射鏡等を観察者に装着させる必
要があり、このことが観察者に違和感を与え、特別なメ
ガネを装着する必要がないというレンチキュラスクリー
ンを用いた立体表示装置の利点を低減してしまう原因と
なる。また、不特定多数の観察者が使用する場合、装着
型の視点検知装置を使用すると衛生上の問題も生じる。
の視点位置を常時検出して、その検出された視点位置に
応じて観察者に常に正しい立体画像を呈示する視点追従
型立体表示装置が知られている（例えば特開平１−１０
７２４７号公報、特開平５−７１２３号公報など）。従
来の視点追従型立体表示装置では、視点位置を検出する
ために磁気センサや、反射鏡等を観察者に装着させる必
要があり、このことが観察者に違和感を与え、特別なメ
ガネを装着する必要がないというレンチキュラスクリー
ンを用いた立体表示装置の利点を低減してしまう原因と
なる。また、不特定多数の観察者が使用する場合、装着
型の視点検知装置を使用すると衛生上の問題も生じる。
【０００４】そこで、例えば、特開平４−１０５４３２
号公報や特公平７−８２５３９号公報には、観察者の撮
像画像から瞳孔のみを抽出して、観察者の瞳孔位置を非
接触で検出することが記載されている。これらの瞳孔検
出装置では、人間の瞳孔の反射特性を利用して瞳孔検出
を行っている。人間の瞳孔は、撮像装置と光軸を同軸と
する赤外光照明装置で照明すると瞳孔の反射率が顔面の
他の部分の反射率より大きくなるという性質があり、撮
像装置と光軸を非同軸とする赤外光照明装置で照明する
と瞳孔の反射率が顔面の他の部分の反射率より小さくな
るという性質がある。そこで、これら配置の異なる照明
装置を用いて得られたそれぞれの画像の対応画素を比較
すると、瞳孔部分の差が顔面部分の差より大きくなり、
人間の瞳孔部分だけを抽出することが可能となる。
号公報や特公平７−８２５３９号公報には、観察者の撮
像画像から瞳孔のみを抽出して、観察者の瞳孔位置を非
接触で検出することが記載されている。これらの瞳孔検
出装置では、人間の瞳孔の反射特性を利用して瞳孔検出
を行っている。人間の瞳孔は、撮像装置と光軸を同軸と
する赤外光照明装置で照明すると瞳孔の反射率が顔面の
他の部分の反射率より大きくなるという性質があり、撮
像装置と光軸を非同軸とする赤外光照明装置で照明する
と瞳孔の反射率が顔面の他の部分の反射率より小さくな
るという性質がある。そこで、これら配置の異なる照明
装置を用いて得られたそれぞれの画像の対応画素を比較
すると、瞳孔部分の差が顔面部分の差より大きくなり、
人間の瞳孔部分だけを抽出することが可能となる。
【０００５】図１３は従来の瞳孔検出装置について説明
するための図である。
するための図である。
【０００６】従来の瞳孔検出装置は、図１３に示すよう
に、撮像装置１０４と、それぞれ観察者１２０の顔面を
照明する第１の赤外光照明装置１０１および第２の赤外
光照明装置１０２とを有する。第１の赤外光照明装置１
０１は、その光軸が撮像装置１０４と同軸上に配置さ
れ、第２の赤外光照明装置１０２は、その光軸が撮像装
置１０４と非同軸に配置される。
に、撮像装置１０４と、それぞれ観察者１２０の顔面を
照明する第１の赤外光照明装置１０１および第２の赤外
光照明装置１０２とを有する。第１の赤外光照明装置１
０１は、その光軸が撮像装置１０４と同軸上に配置さ
れ、第２の赤外光照明装置１０２は、その光軸が撮像装
置１０４と非同軸に配置される。
【０００７】この瞳孔検出装置では、第１の赤外光検出
装置１０１を用いて得られた画像Ｉ 1 と、第２の赤外光
検出装置１０２を用いて得られた画像Ｉ2 との差分すな
わちＩ1 −Ｉ2 を画像差分計算部１１１で計算し、その
後、瞳孔抽出部１１２で適当な２値化処理を行い、観察
者１２０の瞳孔位置を検出している。このように、従来
の検出装置装置では、それぞれの赤外光照明装置１０
１，１０２を用いて得られたの画像の対応画素の比較演
算に差分演算を用いている。
装置１０１を用いて得られた画像Ｉ 1 と、第２の赤外光
検出装置１０２を用いて得られた画像Ｉ2 との差分すな
わちＩ1 −Ｉ2 を画像差分計算部１１１で計算し、その
後、瞳孔抽出部１１２で適当な２値化処理を行い、観察
者１２０の瞳孔位置を検出している。このように、従来
の検出装置装置では、それぞれの赤外光照明装置１０
１，１０２を用いて得られたの画像の対応画素の比較演
算に差分演算を用いている。
【０００８】
【発明が解決しようとする課題】しかしながら、従来の
瞳孔検出装置では、第１の赤外光照明装置を用いて得ら
れた画像と第２の赤外光照明装置を用いて得られた画像
との差分画像には、それぞれの照明装置の照明特性の差
がノイズ成分として存在する。そのため、高精度に瞳孔
を検出するには瞳孔成分とノイズ成分との信号対雑音比
を考慮して２値化する必要がある。瞳孔の反射特性には
個人差があり、また観察者が眼鏡等を使用した場合に瞳
孔の反射光強度が低下し、信号対雑音比が低下してしま
う。このように信号対雑音比に変動があると、瞳孔部分
を２値化処理によって抽出する場合に２値化閾値を一意
に決めにくく、安定な瞳孔検出が困難であった。
瞳孔検出装置では、第１の赤外光照明装置を用いて得ら
れた画像と第２の赤外光照明装置を用いて得られた画像
との差分画像には、それぞれの照明装置の照明特性の差
がノイズ成分として存在する。そのため、高精度に瞳孔
を検出するには瞳孔成分とノイズ成分との信号対雑音比
を考慮して２値化する必要がある。瞳孔の反射特性には
個人差があり、また観察者が眼鏡等を使用した場合に瞳
孔の反射光強度が低下し、信号対雑音比が低下してしま
う。このように信号対雑音比に変動があると、瞳孔部分
を２値化処理によって抽出する場合に２値化閾値を一意
に決めにくく、安定な瞳孔検出が困難であった。
【０００９】この従来の瞳孔検出装置の問題点につい
て、図１４および図１５を参照して説明する。
て、図１４および図１５を参照して説明する。
【００１０】図１４は、図１３に示した瞳孔検出装置の
撮像装置で得られた画像を示す図であり、（ａ）は撮像
装置と光軸を同軸とする照明装置で得られた観察者の画
像、（ｂ）は撮像装置と光軸を非同軸とする照明装置で
得られた観察者の画像である。また図１５（ａ）〜
（ｆ）はそれぞれ図１０（ａ）、（ｂ）における線分Ａ
Ｂ間の画像の輝度分布を示す。
撮像装置で得られた画像を示す図であり、（ａ）は撮像
装置と光軸を同軸とする照明装置で得られた観察者の画
像、（ｂ）は撮像装置と光軸を非同軸とする照明装置で
得られた観察者の画像である。また図１５（ａ）〜
（ｆ）はそれぞれ図１０（ａ）、（ｂ）における線分Ａ
Ｂ間の画像の輝度分布を示す。
【００１１】図１５（ａ）に示すように、光軸が撮像装
置と同軸の照明装置を用いて得られた画像Ｉ1 では、瞳
孔部分１２０ａに相当する成分である瞳孔成分１２１ａ
の輝度が顔部分１２０ｂに相当する成分の輝度より高く
なる。一方、図１５（ｂ）に示すように、光軸が撮像装
置と非同軸の照明装置を用いて得られた画像Ｉ2 では、
瞳孔成分１２１ｂの輝度が顔部分１２０ｂに相当する成
分の輝度より低くなる。そのため、これらの画像Ｉ1 ，
Ｉ2 の差分Ｉ1 −Ｉ2 をとると、図１５（ｃ）に示すよ
うに瞳孔成分１２１ｃが強調され、適当な２値化処理に
より瞳孔を抽出できる。
置と同軸の照明装置を用いて得られた画像Ｉ1 では、瞳
孔部分１２０ａに相当する成分である瞳孔成分１２１ａ
の輝度が顔部分１２０ｂに相当する成分の輝度より高く
なる。一方、図１５（ｂ）に示すように、光軸が撮像装
置と非同軸の照明装置を用いて得られた画像Ｉ2 では、
瞳孔成分１２１ｂの輝度が顔部分１２０ｂに相当する成
分の輝度より低くなる。そのため、これらの画像Ｉ1 ，
Ｉ2 の差分Ｉ1 −Ｉ2 をとると、図１５（ｃ）に示すよ
うに瞳孔成分１２１ｃが強調され、適当な２値化処理に
より瞳孔を抽出できる。
【００１２】この差分画像にはそれぞれの照明装置の照
明特性の差がノイズ成分１２２として存在する。高精度
に瞳孔を検出するには、瞳孔成分１２１ｃとノイズ成分
１２２との信号対雑音比を考慮して２値化する必要があ
る。この場合、２値化の閾値Ｔｈ１は図１５（ｃ）に示
すように設定すればよい。
明特性の差がノイズ成分１２２として存在する。高精度
に瞳孔を検出するには、瞳孔成分１２１ｃとノイズ成分
１２２との信号対雑音比を考慮して２値化する必要があ
る。この場合、２値化の閾値Ｔｈ１は図１５（ｃ）に示
すように設定すればよい。
【００１３】しかし、瞳孔の反射特性の個人差や、眼鏡
の使用などにより瞳孔の反射光の強度が低下し、図１５
（ｄ）に示すように瞳孔成分１２１ｄのピーク値が小さ
くなる場合がある。このとき、図１５（ｅ）に示す、光
軸が撮像装置と非同軸の照明装置を用いて得られた画像
Ｉ2 との差分Ｉ1 −Ｉ2 をとると、図１５（ｆ）に示す
ように、瞳孔成分１２１ｆの輝度が低くなる。その結
果、瞳孔成分１２１ｆとノイズ成分１２２との信号対雑
音比が小さくなり、閾値Ｔｈ２を決定するのが困難にな
る。
の使用などにより瞳孔の反射光の強度が低下し、図１５
（ｄ）に示すように瞳孔成分１２１ｄのピーク値が小さ
くなる場合がある。このとき、図１５（ｅ）に示す、光
軸が撮像装置と非同軸の照明装置を用いて得られた画像
Ｉ2 との差分Ｉ1 −Ｉ2 をとると、図１５（ｆ）に示す
ように、瞳孔成分１２１ｆの輝度が低くなる。その結
果、瞳孔成分１２１ｆとノイズ成分１２２との信号対雑
音比が小さくなり、閾値Ｔｈ２を決定するのが困難にな
る。
【００１４】例えば、光軸が撮像装置と非同軸な照明装
置を用いて得られた画像において、瞳孔成分の輝度が５
０（任意単位；以下同様）、顔部分に相当する成分の輝
度が４０であり、光軸が撮像装置と非同軸な照明装置を
用いて得られた画像において、瞳孔成分の輝度が０、顔
部分に相当する成分の輝度が３０であった場合、差分画
像における瞳孔成分の輝度は５０、ノイズ成分の輝度は
１０となる。このときの信号対雑音比は５になるが、観
察者が眼鏡等を使用して瞳孔成分の輝度が５０から１０
に低下した場合、信号対雑音比は１となり、２値化によ
る瞳孔抽出が不安定になる。このように、瞳孔抽出が不
安定になると、観察者の顔面と瞳孔の識別が困難にな
り、正確な瞳孔の検出ができなくなる。
置を用いて得られた画像において、瞳孔成分の輝度が５
０（任意単位；以下同様）、顔部分に相当する成分の輝
度が４０であり、光軸が撮像装置と非同軸な照明装置を
用いて得られた画像において、瞳孔成分の輝度が０、顔
部分に相当する成分の輝度が３０であった場合、差分画
像における瞳孔成分の輝度は５０、ノイズ成分の輝度は
１０となる。このときの信号対雑音比は５になるが、観
察者が眼鏡等を使用して瞳孔成分の輝度が５０から１０
に低下した場合、信号対雑音比は１となり、２値化によ
る瞳孔抽出が不安定になる。このように、瞳孔抽出が不
安定になると、観察者の顔面と瞳孔の識別が困難にな
り、正確な瞳孔の検出ができなくなる。
【００１５】そこで本発明は、瞳孔画像信号の信号対雑
音比の変動を抑えて観察者の瞳孔を安定に抽出し、視点
位置を正確に検出する視点位置検出装置を提供すること
を目的とする。
音比の変動を抑えて観察者の瞳孔を安定に抽出し、視点
位置を正確に検出する視点位置検出装置を提供すること
を目的とする。
【００１６】
【課題を解決するための手段】本発明の視点位置検出装
置は、被検出者の顔面を撮像する撮像手段と、前記被検
出者の顔面を照明するための、光軸が前記撮像手段の光
軸と実質的に同軸にある第１の照明手段、および光軸が
前記撮像手段の光軸と非同軸にある第２の照明手段と、
前記被検出者が前記第１の照明手段で照明された状態で
前記撮像手段により撮像された画像である第１の画像
と、前記被検出者が前記第２の照明手段で照明された状
態で前記撮像手段により撮像された画像である第２の画
像との対応画素の輝度を、それぞれの画素ごとに加算す
る加算手段と、前記第１の画像と前記第２の画像との対
応画素の輝度を、それぞれの画素ごとに減算する減算手
段と、前記加算手段および前記減算手段で得られた演算
結果同士を、それぞれの画素ごとに除算する除算手段
と、前記除算手段での除算結果に基づいて、前記被検出
者の瞳孔に対応する部分を抽出する抽出手段とを有す
る。
置は、被検出者の顔面を撮像する撮像手段と、前記被検
出者の顔面を照明するための、光軸が前記撮像手段の光
軸と実質的に同軸にある第１の照明手段、および光軸が
前記撮像手段の光軸と非同軸にある第２の照明手段と、
前記被検出者が前記第１の照明手段で照明された状態で
前記撮像手段により撮像された画像である第１の画像
と、前記被検出者が前記第２の照明手段で照明された状
態で前記撮像手段により撮像された画像である第２の画
像との対応画素の輝度を、それぞれの画素ごとに加算す
る加算手段と、前記第１の画像と前記第２の画像との対
応画素の輝度を、それぞれの画素ごとに減算する減算手
段と、前記加算手段および前記減算手段で得られた演算
結果同士を、それぞれの画素ごとに除算する除算手段
と、前記除算手段での除算結果に基づいて、前記被検出
者の瞳孔に対応する部分を抽出する抽出手段とを有す
る。
【００１７】また本発明の視点位置検出装置は、被検出
者の顔面を撮像する撮像手段と、前記被検出者の顔面を
照明するための、光軸が前記撮像手段の光軸と実質的に
同軸にある第１の照明手段、および光軸が前記撮像手段
の光軸と非同軸にある第２の照明手段と、前記被検出者
が前記第１の照明手段で照明された状態で前記撮像手段
により撮像された画像である第１の画像と、前記被検出
者が前記第２の照明手段で照明された状態で前記撮像手
段により撮像された画像である第２の画像との対応画素
の輝度を、それぞれの画素ごとに加算する加算手段と、
前記第１の画像と前記加算手段で得られた演算結果との
対応画素の輝度を、それぞれの画素ごとに除算する除算
手段と、前記除算手段での除算結果に基づいて、前記被
検出者の瞳孔に対応する部分を抽出する抽出手段とを有
する。
者の顔面を撮像する撮像手段と、前記被検出者の顔面を
照明するための、光軸が前記撮像手段の光軸と実質的に
同軸にある第１の照明手段、および光軸が前記撮像手段
の光軸と非同軸にある第２の照明手段と、前記被検出者
が前記第１の照明手段で照明された状態で前記撮像手段
により撮像された画像である第１の画像と、前記被検出
者が前記第２の照明手段で照明された状態で前記撮像手
段により撮像された画像である第２の画像との対応画素
の輝度を、それぞれの画素ごとに加算する加算手段と、
前記第１の画像と前記加算手段で得られた演算結果との
対応画素の輝度を、それぞれの画素ごとに除算する除算
手段と、前記除算手段での除算結果に基づいて、前記被
検出者の瞳孔に対応する部分を抽出する抽出手段とを有
する。
【００１８】上記のとおり構成された本発明では、撮像
手段と同軸にある第１の照明手段で照明された被検出者
の顔面の画像である第１の画像と、撮像手段と非同軸に
ある第２の照明手段で照明された被検出者の顔面の画像
である第２の画像とを用いる。そして、これら２種類の
画像に対し、対応画素の輝度について各画素ごとに、加
算処理および減算処理を行い、これらの演算結果の比を
求める。または、２種類の画像についての加算処理を行
い、その結果と第１の画像との比を求める。このよう
に、減算演算以外に、加算演算および除算演算を用い、
その結果から被検出者の瞳孔を抽出することで、被検出
者の瞳孔反射輝度が変動する場合においても、瞳孔画像
の信号対雑音比の変動が抑えられる。その結果、被検出
者の瞳孔は安定的に抽出され、正確な視点位置の検出が
可能となる。
手段と同軸にある第１の照明手段で照明された被検出者
の顔面の画像である第１の画像と、撮像手段と非同軸に
ある第２の照明手段で照明された被検出者の顔面の画像
である第２の画像とを用いる。そして、これら２種類の
画像に対し、対応画素の輝度について各画素ごとに、加
算処理および減算処理を行い、これらの演算結果の比を
求める。または、２種類の画像についての加算処理を行
い、その結果と第１の画像との比を求める。このよう
に、減算演算以外に、加算演算および除算演算を用い、
その結果から被検出者の瞳孔を抽出することで、被検出
者の瞳孔反射輝度が変動する場合においても、瞳孔画像
の信号対雑音比の変動が抑えられる。その結果、被検出
者の瞳孔は安定的に抽出され、正確な視点位置の検出が
可能となる。
【００１９】上記の２種類の画像を得るためには、各照
明手段がそれぞれ異なる波長の光を照射するものとする
とともに、撮像手段に、これらの波長を分離する分光手
段および分離した光に対応する２つの撮像素子を用いた
り、または、各照明手段を、ともに同一波長の光を照射
するものとして一定の周期で交互に発光させ、撮像手段
が各照明手段の発光タイミングに同期して２種類の画像
を撮像するように構成してもよい。
明手段がそれぞれ異なる波長の光を照射するものとする
とともに、撮像手段に、これらの波長を分離する分光手
段および分離した光に対応する２つの撮像素子を用いた
り、または、各照明手段を、ともに同一波長の光を照射
するものとして一定の周期で交互に発光させ、撮像手段
が各照明手段の発光タイミングに同期して２種類の画像
を撮像するように構成してもよい。
【００２０】また、上記の各演算および瞳孔に対応する
部分の抽出については、アナログ回路で実施することも
できる。
部分の抽出については、アナログ回路で実施することも
できる。
【００２１】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
図面を参照して説明する。
【００２２】（第１の実施形態）図１は、本発明の視点
位置検出装置の第１の実施形態の構成図である。
位置検出装置の第１の実施形態の構成図である。
【００２３】図１に示すように、本実施形態の視点位置
検出装置は、波長がλ１の赤外光を照射する第１の照明
装置１と、波長がλ２の赤外光を照射する第２の照明装
置２と、第１の照明装置１および第２の照明装置２で照
明された観察者２０（被検出者）の顔面を撮像する撮像
装置４と、撮像装置４で撮像された画像に、観察者２０
の瞳孔位置を検出するための所定の処理を施す画像処理
装置１０とを有する。本実施形態では、第１の照明装置
１の光源として、波長が８５０ｎｍの発光ダイオードを
用い、第２の照明装置２の光源として、波長が９４０ｎ
ｍの発光ダイオードを用いた。
検出装置は、波長がλ１の赤外光を照射する第１の照明
装置１と、波長がλ２の赤外光を照射する第２の照明装
置２と、第１の照明装置１および第２の照明装置２で照
明された観察者２０（被検出者）の顔面を撮像する撮像
装置４と、撮像装置４で撮像された画像に、観察者２０
の瞳孔位置を検出するための所定の処理を施す画像処理
装置１０とを有する。本実施形態では、第１の照明装置
１の光源として、波長が８５０ｎｍの発光ダイオードを
用い、第２の照明装置２の光源として、波長が９４０ｎ
ｍの発光ダイオードを用いた。
【００２４】第１の照明装置１および第２の照明装置２
は、いずれも観察者２０の顔面を照明するものである。
第１の照明装置１から照射される赤外光は、ハーフミラ
ー３で反射された後、観察者２０の顔面を照明する。こ
こで、ハーフミラー３で反射された赤外光は、その光軸
が撮像装置４の光学系の光軸と同軸とされ、第１の照明
装置１は、撮像装置４と同軸上で観察者２０の顔面を照
明する。また、第２の照明装置２は、その光軸が撮像装
置４の光学系の光軸と非同軸となる位置に配置される。
は、いずれも観察者２０の顔面を照明するものである。
第１の照明装置１から照射される赤外光は、ハーフミラ
ー３で反射された後、観察者２０の顔面を照明する。こ
こで、ハーフミラー３で反射された赤外光は、その光軸
が撮像装置４の光学系の光軸と同軸とされ、第１の照明
装置１は、撮像装置４と同軸上で観察者２０の顔面を照
明する。また、第２の照明装置２は、その光軸が撮像装
置４の光学系の光軸と非同軸となる位置に配置される。
【００２５】画像処理装置１０は、第１の照明装置１を
用いて得られた画像Ｉ1 を蓄積する第１の画像メモリ１
１と、第２の照明装置２を用いて得られた画像Ｉ2 を蓄
積する第２の画像メモリ１２と、両画像Ｉ1 ，Ｉ2 の対
応画素の輝度を各画素ごとに加算する加算演算部１３
と、両画像Ｉ1 ，Ｉ2 の対応画素の輝度を各画素ごとに
減算する減算演算部１４と、加算演算部１３および減算
演算部１４での算出結果同士を各画素ごとに除算する除
算演算部１５と、除算演算部１５での除算結果に基づい
て観察者２０の瞳孔に対応する部分を抽出する瞳孔抽出
部１６と、その瞳孔に対応する部分の重心位置を求める
瞳孔位置検出部１７とから構成される。ここでは、第１
の画像メモリ１１および第２の画像メモリ１２は、解像
度が５１２×５１２画素であるものを用いた。
用いて得られた画像Ｉ1 を蓄積する第１の画像メモリ１
１と、第２の照明装置２を用いて得られた画像Ｉ2 を蓄
積する第２の画像メモリ１２と、両画像Ｉ1 ，Ｉ2 の対
応画素の輝度を各画素ごとに加算する加算演算部１３
と、両画像Ｉ1 ，Ｉ2 の対応画素の輝度を各画素ごとに
減算する減算演算部１４と、加算演算部１３および減算
演算部１４での算出結果同士を各画素ごとに除算する除
算演算部１５と、除算演算部１５での除算結果に基づい
て観察者２０の瞳孔に対応する部分を抽出する瞳孔抽出
部１６と、その瞳孔に対応する部分の重心位置を求める
瞳孔位置検出部１７とから構成される。ここでは、第１
の画像メモリ１１および第２の画像メモリ１２は、解像
度が５１２×５１２画素であるものを用いた。
【００２６】撮像装置４は、赤外光を感知するものであ
る。以下に、この撮像装置４について図２を参照して説
明する。
る。以下に、この撮像装置４について図２を参照して説
明する。
【００２７】撮像装置４は、入射光を２つの波長λ１，
λ２に分ける分光手段であるダイクロイックプリズム
５、第１の撮像素子６、第２の撮像素子７およびレンズ
８から構成され、波長λ１、λ２の２種類の波長の赤外
線画像を分離して撮像することができる。第１の撮像素
子６および第２の撮像素子７としては、それぞれ固体撮
像素子が用いられており、互いに同時刻の画像を撮像で
きるように同期をとって駆動される。さらに、撮像装置
４の内部には可視光を遮断するフィルタ９が挿入されて
おり、室内灯など可視光を照射する外部照明装置の影響
を受けないようにしてある。
λ２に分ける分光手段であるダイクロイックプリズム
５、第１の撮像素子６、第２の撮像素子７およびレンズ
８から構成され、波長λ１、λ２の２種類の波長の赤外
線画像を分離して撮像することができる。第１の撮像素
子６および第２の撮像素子７としては、それぞれ固体撮
像素子が用いられており、互いに同時刻の画像を撮像で
きるように同期をとって駆動される。さらに、撮像装置
４の内部には可視光を遮断するフィルタ９が挿入されて
おり、室内灯など可視光を照射する外部照明装置の影響
を受けないようにしてある。
【００２８】本実施形態では、撮像装置４はＮＴＳＣ規
格に準じたものとし、水平周波数が１５．７５ｋＨｚ、
垂直周波数が６０Ｈｚである。また、ダイクロイックプ
リズム５としては、分離波長が９００ｎｍのものを用
い、フィルタ９は、遮断波長が８００ｎｍのものを用い
た。なお、ダイクロイックプリズム５の代りに、ダイク
ロイックミラーと通常のミラーとを組み合せて使用して
もよい。
格に準じたものとし、水平周波数が１５．７５ｋＨｚ、
垂直周波数が６０Ｈｚである。また、ダイクロイックプ
リズム５としては、分離波長が９００ｎｍのものを用
い、フィルタ９は、遮断波長が８００ｎｍのものを用い
た。なお、ダイクロイックプリズム５の代りに、ダイク
ロイックミラーと通常のミラーとを組み合せて使用して
もよい。
【００２９】観察者２０は、それぞれ波長の異なる赤外
光を照射する第１の照明装置１および第２の照明装置２
によって照明され、撮像装置４内のダイクロイックプリ
ズム５によって観察者２０の画像が第１の撮像素子６と
第２の撮像素子７とに分離されて撮像される。第１の照
明装置１の波長λ１の赤外光は第１の撮像素子６に到達
し、第２の照明装置２の波長λ２の赤外光は第２の撮像
素子７に到達する。第１の照明装置１は、撮像装置４と
同軸上で観察者２０を照明するので、第１の撮像素子６
では観察者２０の瞳孔が明るく撮像される。一方、第２
の照明装置２は撮像装置４と非同軸に配置されているの
で、第２の撮像素子７では観察者２０の瞳孔が暗く撮像
される。第１の撮像素子６で撮像された画像すなわち第
１の照明装置１を用いて得られた画像Ｉ1 は、画像処理
装置４内の第１の画像メモリ１１に蓄積される。第２の
撮像素子７で撮像された画像すなわち第２の照明装置２
を用いて得られた画像Ｉ2 は、画像処理装置４内の第２
の画像メモリ１２に蓄積される。
光を照射する第１の照明装置１および第２の照明装置２
によって照明され、撮像装置４内のダイクロイックプリ
ズム５によって観察者２０の画像が第１の撮像素子６と
第２の撮像素子７とに分離されて撮像される。第１の照
明装置１の波長λ１の赤外光は第１の撮像素子６に到達
し、第２の照明装置２の波長λ２の赤外光は第２の撮像
素子７に到達する。第１の照明装置１は、撮像装置４と
同軸上で観察者２０を照明するので、第１の撮像素子６
では観察者２０の瞳孔が明るく撮像される。一方、第２
の照明装置２は撮像装置４と非同軸に配置されているの
で、第２の撮像素子７では観察者２０の瞳孔が暗く撮像
される。第１の撮像素子６で撮像された画像すなわち第
１の照明装置１を用いて得られた画像Ｉ1 は、画像処理
装置４内の第１の画像メモリ１１に蓄積される。第２の
撮像素子７で撮像された画像すなわち第２の照明装置２
を用いて得られた画像Ｉ2 は、画像処理装置４内の第２
の画像メモリ１２に蓄積される。
【００３０】次いで、これらの画像メモリ１１，１２の
対応画素ごとの輝度の和および差を、それぞれ加算演算
部１３および減算演算部１４で求め、それぞれの演算結
果の比を除算演算部１５で求める。その後、瞳孔抽出部
１６により２値化を行い、観察者２０の瞳孔位置を求め
る。求められた瞳孔位置は２箇所となるので、瞳孔位置
検出部１７で画像重心演算を行い、この求められた位
置、すなわち、２つの瞳孔の中心位置を求め、この位置
を観察者２０の視点位置として出力する。これらの各種
演算および２値化処理は、電子計算機により実現され
る。また、視点位置検出は、撮像装置４の各フィールド
ごと、すなわち毎秒６０回行われる。視点位置検出の分
解能は、１ｍｍである。
対応画素ごとの輝度の和および差を、それぞれ加算演算
部１３および減算演算部１４で求め、それぞれの演算結
果の比を除算演算部１５で求める。その後、瞳孔抽出部
１６により２値化を行い、観察者２０の瞳孔位置を求め
る。求められた瞳孔位置は２箇所となるので、瞳孔位置
検出部１７で画像重心演算を行い、この求められた位
置、すなわち、２つの瞳孔の中心位置を求め、この位置
を観察者２０の視点位置として出力する。これらの各種
演算および２値化処理は、電子計算機により実現され
る。また、視点位置検出は、撮像装置４の各フィールド
ごと、すなわち毎秒６０回行われる。視点位置検出の分
解能は、１ｍｍである。
【００３１】次に、本実施形態の視点位置検出装置によ
る検出原理について、図３および図４を参照しつつ説明
する。
る検出原理について、図３および図４を参照しつつ説明
する。
【００３２】図３は、図２に示した撮像装置で得られた
画像を示す図であり、（ａ）は第１の撮像素子で撮像さ
れた観察者の画像、（ｂ）は第２の撮像素子で撮像され
た観察者の画像である。また、図４（ａ）〜（ｆ）は、
それぞれ図３（ａ）、（ｂ）における線分ＡＢ間の画像
の輝度分布を示す。
画像を示す図であり、（ａ）は第１の撮像素子で撮像さ
れた観察者の画像、（ｂ）は第２の撮像素子で撮像され
た観察者の画像である。また、図４（ａ）〜（ｆ）は、
それぞれ図３（ａ）、（ｂ）における線分ＡＢ間の画像
の輝度分布を示す。
【００３３】図４（ａ）に示すように、第１の照明装置
１を用いて得られた画像Ｉ1 では、瞳孔部分２０ａに対
応する成分である瞳孔成分２１ａの輝度が、顔部分２０
ｂに対応する成分の輝度より高くなる。一方、図４
（ｂ）に示すように、第２の照明装置２を用いて得られ
た画像Ｉ2 では、瞳孔成分２１ｂの輝度が顔部分２０ｂ
に対応する成分の輝度より低くなる。
１を用いて得られた画像Ｉ1 では、瞳孔部分２０ａに対
応する成分である瞳孔成分２１ａの輝度が、顔部分２０
ｂに対応する成分の輝度より高くなる。一方、図４
（ｂ）に示すように、第２の照明装置２を用いて得られ
た画像Ｉ2 では、瞳孔成分２１ｂの輝度が顔部分２０ｂ
に対応する成分の輝度より低くなる。
【００３４】ここで、加算演算部１３、減算演算部１４
および除算演算部１５を用いて、各画素（ｘ，ｙ）ごと
に、以下の（１）式に示す関数Ｉ（ｘ，ｙ）に基づく演
算を行う。 Ｉ(ｘ,ｙ)＝(Ｉ1(ｘ,ｙ)−Ｉ2(ｘ,ｙ))／(Ｉ1(ｘ,ｙ)＋Ｉ2(ｘ,ｙ)) （１） （１）式において、Ｉ1 （ｘ，ｙ）は、第１の撮像素子
６で撮像された画像の輝度分布を示し、Ｉ2 （ｘ，ｙ）
は、第２の撮像素子７で撮像された画像の輝度分布を示
す。また、関数Ｉ（ｘ，ｙ）は、−１≦Ｉ（ｘ，ｙ）≦
１の間の値をとる関数であり、Ｉ1 （ｘ，ｙ）＝Ｉ2
（ｘ，ｙ）において０の値をとる（但し、Ｉ 1 （ｘ，
ｙ）＝Ｉ2 （ｘ，ｙ）≠０）とともに、Ｉ1 （ｘ，ｙ）
＞Ｉ2 （ｘ，ｙ）においては０＜Ｉ（ｘ，ｙ）≦１の値
をとり、Ｉ1 （ｘ，ｙ）＜Ｉ2 （ｘ，ｙ）において−１
≦Ｉ（ｘ，ｙ）＜０の値をとる。
および除算演算部１５を用いて、各画素（ｘ，ｙ）ごと
に、以下の（１）式に示す関数Ｉ（ｘ，ｙ）に基づく演
算を行う。 Ｉ(ｘ,ｙ)＝(Ｉ1(ｘ,ｙ)−Ｉ2(ｘ,ｙ))／(Ｉ1(ｘ,ｙ)＋Ｉ2(ｘ,ｙ)) （１） （１）式において、Ｉ1 （ｘ，ｙ）は、第１の撮像素子
６で撮像された画像の輝度分布を示し、Ｉ2 （ｘ，ｙ）
は、第２の撮像素子７で撮像された画像の輝度分布を示
す。また、関数Ｉ（ｘ，ｙ）は、−１≦Ｉ（ｘ，ｙ）≦
１の間の値をとる関数であり、Ｉ1 （ｘ，ｙ）＝Ｉ2
（ｘ，ｙ）において０の値をとる（但し、Ｉ 1 （ｘ，
ｙ）＝Ｉ2 （ｘ，ｙ）≠０）とともに、Ｉ1 （ｘ，ｙ）
＞Ｉ2 （ｘ，ｙ）においては０＜Ｉ（ｘ，ｙ）≦１の値
をとり、Ｉ1 （ｘ，ｙ）＜Ｉ2 （ｘ，ｙ）において−１
≦Ｉ（ｘ，ｙ）＜０の値をとる。
【００３５】図４（ａ）および図４（ｂ）に示した画像
輝度分布に対して上記の演算を行うと、図４（ｃ）に示
すように、顔部分２０ｂに相当する成分の輝度の違いが
ノイズ成分２２となって、０（ゼロ）付近に現れる。通
常、図４（ｂ）における瞳孔成分２１ｂの輝度は十分に
小さいので、図４（ｃ）における瞳孔成分２１ｃは１に
近い値をとる。したがって、ノイズ成分２２に対して十
分にマージンのある値で閾値Ｔｈ１を設定して２値化処
理を行えば、瞳孔成分２１ｃだけを抽出できる。
輝度分布に対して上記の演算を行うと、図４（ｃ）に示
すように、顔部分２０ｂに相当する成分の輝度の違いが
ノイズ成分２２となって、０（ゼロ）付近に現れる。通
常、図４（ｂ）における瞳孔成分２１ｂの輝度は十分に
小さいので、図４（ｃ）における瞳孔成分２１ｃは１に
近い値をとる。したがって、ノイズ成分２２に対して十
分にマージンのある値で閾値Ｔｈ１を設定して２値化処
理を行えば、瞳孔成分２１ｃだけを抽出できる。
【００３６】ここで、観察者２０が眼鏡等を使用してお
り、図４（ｄ）に示すように、瞳孔成分２１ｄの輝度が
低下する場合においても、図４（ｅ）における瞳孔成分
２１ｅの輝度が十分に小さければ、上記の演算を行うこ
とで、図４（ｆ）示すように、瞳孔成分２１ｆの輝度は
１に近い値をとる。したがって、瞳孔成分２１ｆを抽出
するための２値化処理は、上記と同じ閾値Ｔｈ１で行え
ばよく、観察者２０の瞳孔反射強度が減少しても、瞳孔
成分２１ｆを安定して抽出することができる。
り、図４（ｄ）に示すように、瞳孔成分２１ｄの輝度が
低下する場合においても、図４（ｅ）における瞳孔成分
２１ｅの輝度が十分に小さければ、上記の演算を行うこ
とで、図４（ｆ）示すように、瞳孔成分２１ｆの輝度は
１に近い値をとる。したがって、瞳孔成分２１ｆを抽出
するための２値化処理は、上記と同じ閾値Ｔｈ１で行え
ばよく、観察者２０の瞳孔反射強度が減少しても、瞳孔
成分２１ｆを安定して抽出することができる。
【００３７】以上説明した視点位置検出装置を用い、こ
の視点位置検出装置から２ｍ離れた観察者２０の顔面を
撮影したところ、各画像Ｉ1 ，Ｉ2 上の瞳孔成分（座標
（ｘ P ，ｙP ））、および顔成分（座標（ｘF ，ｙ
F ））の輝度がＩ1 （ｘP ，ｙP）＝５０（任意単位；
以下同様）、Ｉ2 （ｘP ，ＹP ）＝０、Ｉ1 （ｘF ，ｙ
F）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０であった。この
とき、瞳孔成分および顔成分の輝度比較演算結果は、Ｉ
（ｘP ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１
４であり、信号対雑音比は７となる。したがって、２値
化処理の閾値Ｔｈ１を０．５として、完全に瞳孔のみを
抽出できた。
の視点位置検出装置から２ｍ離れた観察者２０の顔面を
撮影したところ、各画像Ｉ1 ，Ｉ2 上の瞳孔成分（座標
（ｘ P ，ｙP ））、および顔成分（座標（ｘF ，ｙ
F ））の輝度がＩ1 （ｘP ，ｙP）＝５０（任意単位；
以下同様）、Ｉ2 （ｘP ，ＹP ）＝０、Ｉ1 （ｘF ，ｙ
F）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０であった。この
とき、瞳孔成分および顔成分の輝度比較演算結果は、Ｉ
（ｘP ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１
４であり、信号対雑音比は７となる。したがって、２値
化処理の閾値Ｔｈ１を０．５として、完全に瞳孔のみを
抽出できた。
【００３８】ここで、観察者２０が眼鏡を用いると、瞳
孔成分の輝度は、５０から１０へと低下し、各輝度は、
Ｉ1 （ｘP ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、
Ｉ1（ｘF ，ｙF ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０
となった。この場合の各成分の輝度比較演算結果は、Ｉ
（ｘP ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１
４となり、眼鏡を用いない場合と変わらず、信号対雑音
比も７のままであった。信号対雑音比に変動がないの
で、この場合にも眼鏡を用いない場合と同様に閾値Ｔｈ
１＝０．５として２値化処理を行ったところ、完全に瞳
孔のみを抽出できた。
孔成分の輝度は、５０から１０へと低下し、各輝度は、
Ｉ1 （ｘP ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、
Ｉ1（ｘF ，ｙF ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０
となった。この場合の各成分の輝度比較演算結果は、Ｉ
（ｘP ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１
４となり、眼鏡を用いない場合と変わらず、信号対雑音
比も７のままであった。信号対雑音比に変動がないの
で、この場合にも眼鏡を用いない場合と同様に閾値Ｔｈ
１＝０．５として２値化処理を行ったところ、完全に瞳
孔のみを抽出できた。
【００３９】上述のように、本発明による視点位置検出
装置では、瞳孔成分の輝度すなわち瞳孔反射光強度に変
動があっても信号対雑音比は変動せず、安定な瞳孔抽出
を行うことが可能となり、正確な視点位置検知を行うこ
とができた。
装置では、瞳孔成分の輝度すなわち瞳孔反射光強度に変
動があっても信号対雑音比は変動せず、安定な瞳孔抽出
を行うことが可能となり、正確な視点位置検知を行うこ
とができた。
【００４０】本実施形態では、第１の照明装置１の光軸
を、ハーフミラー３を利用して撮像装置４の光軸と一致
させた例を示したが、観察者２０の瞳孔を明るく撮像で
きる配置であれば両光軸は正確に一致していなくてもよ
い。また、第２の照明装置２は、赤外光を照射するもの
の代りに、室内灯など、可視光を照射する照明を用いて
もよい。この場合には、撮像装置４内にはフィルタ９は
挿入しない。また、ダイクロイックプリズム５は、可視
光と赤外光とに分離するものにする。さらに、撮像装置
４に用いられる撮像素子としては、固体撮像素子に限ら
ず、撮像管などの各種撮像素子を用いることができる。
を、ハーフミラー３を利用して撮像装置４の光軸と一致
させた例を示したが、観察者２０の瞳孔を明るく撮像で
きる配置であれば両光軸は正確に一致していなくてもよ
い。また、第２の照明装置２は、赤外光を照射するもの
の代りに、室内灯など、可視光を照射する照明を用いて
もよい。この場合には、撮像装置４内にはフィルタ９は
挿入しない。また、ダイクロイックプリズム５は、可視
光と赤外光とに分離するものにする。さらに、撮像装置
４に用いられる撮像素子としては、固体撮像素子に限ら
ず、撮像管などの各種撮像素子を用いることができる。
【００４１】（第２の実施形態）図５は、本発明の視点
位置検出装置の第２の実施形態の構成図である。
位置検出装置の第２の実施形態の構成図である。
【００４２】本実施形態の視点位置検出装置は、画像処
理装置３０の構成が第１の実施形態と異なる。すなわ
ち、第１の画像メモリ３１および第２の画像メモリ３２
に蓄積された画像Ｉ1 ，Ｉ2 に対する演算部が、加算演
算部３４および除算演算部３５のみで構成されており、
除算演算部３５では、第１のメモリ３１に蓄積された画
像Ｉ1 と加算演算部３４での演算結果との対応画素の輝
度の比を各画素ごとに求める。瞳孔抽出部３６および瞳
孔位置検出部３７については、第１の実施形態と同様で
ある。
理装置３０の構成が第１の実施形態と異なる。すなわ
ち、第１の画像メモリ３１および第２の画像メモリ３２
に蓄積された画像Ｉ1 ，Ｉ2 に対する演算部が、加算演
算部３４および除算演算部３５のみで構成されており、
除算演算部３５では、第１のメモリ３１に蓄積された画
像Ｉ1 と加算演算部３４での演算結果との対応画素の輝
度の比を各画素ごとに求める。瞳孔抽出部３６および瞳
孔位置検出部３７については、第１の実施形態と同様で
ある。
【００４３】なお、画像処理装置３０を除く部分の構成
は第１の実施形態と同様であるので、図１と同じ符号を
付し、それらの説明は省略する。
は第１の実施形態と同様であるので、図１と同じ符号を
付し、それらの説明は省略する。
【００４４】本実施形態では、加算演算部３４および除
算演算部３５により、（２）式に示す演算結果を出力す
ることができる。 Ｉ(ｘ，ｙ)＝Ｉ1(ｘ，ｙ)／(Ｉ1(ｘ，ｙ)＋Ｉ2(ｘ，ｙ)) （２） この場合、関数Ｉ（ｘ，ｙ）はＩ1 （ｘ，ｙ）＝Ｉ2
（ｘ，ｙ）において０．５の値をとる（但し、Ｉ1
（ｘ，ｙ）＝Ｉ2 （ｘ，ｙ）≠０）とともに、Ｉ1
（ｘ，ｙ）＞Ｉ2 （ｘ，ｙ）においては０．５＜Ｉ
（ｘ，ｙ）≦１の値をとり、Ｉ1（ｘ，ｙ）＜Ｉ2
（ｘ，ｙ）において０≦Ｉ（ｘ，ｙ）＜０．５の値をと
る。
算演算部３５により、（２）式に示す演算結果を出力す
ることができる。 Ｉ(ｘ，ｙ)＝Ｉ1(ｘ，ｙ)／(Ｉ1(ｘ，ｙ)＋Ｉ2(ｘ，ｙ)) （２） この場合、関数Ｉ（ｘ，ｙ）はＩ1 （ｘ，ｙ）＝Ｉ2
（ｘ，ｙ）において０．５の値をとる（但し、Ｉ1
（ｘ，ｙ）＝Ｉ2 （ｘ，ｙ）≠０）とともに、Ｉ1
（ｘ，ｙ）＞Ｉ2 （ｘ，ｙ）においては０．５＜Ｉ
（ｘ，ｙ）≦１の値をとり、Ｉ1（ｘ，ｙ）＜Ｉ2
（ｘ，ｙ）において０≦Ｉ（ｘ，ｙ）＜０．５の値をと
る。
【００４５】（２） 式は、第１の実施形態における
（１）式で出力される値の範囲を−１≦Ｉ（ｘ，ｙ）≦
１から０≦Ｉ（ｘ，ｙ）≦１へと線形に変換させたもの
であり、視点位置の検出の原理および効果は第１の実施
形態と同様である。
（１）式で出力される値の範囲を−１≦Ｉ（ｘ，ｙ）≦
１から０≦Ｉ（ｘ，ｙ）≦１へと線形に変換させたもの
であり、視点位置の検出の原理および効果は第１の実施
形態と同様である。
【００４６】（第３の実施形態）図６は、本発明の視点
位置検出装置の第３の実施形態の構成図である。また、
図７は、図６に示した視点位置検出装置の撮像装置の構
成図である。
位置検出装置の第３の実施形態の構成図である。また、
図７は、図６に示した視点位置検出装置の撮像装置の構
成図である。
【００４７】本実施形態の視点位置検出装置は、第１の
照明装置４１および第２の照明装置４２に、それぞれ同
一の波長の赤外光を照射するものを用いている。ここで
は、各照明装置４１，４２の光源として、波長が８５０
ｎｍの発光ダイオードを用いている。これら第１の照明
装置４１および第２の照明装置４２の配置は、第１の実
施形態と同様である。
照明装置４１および第２の照明装置４２に、それぞれ同
一の波長の赤外光を照射するものを用いている。ここで
は、各照明装置４１，４２の光源として、波長が８５０
ｎｍの発光ダイオードを用いている。これら第１の照明
装置４１および第２の照明装置４２の配置は、第１の実
施形態と同様である。
【００４８】また、撮像装置４４は、図７に示すよう
に、１つの撮像素子４６と、レンズ４８と、可視光を遮
断するフィルタ４９とで構成され、撮像素子４６からは
映像輝度信号Ｓiiが出力される。撮像素子４６から出力
された映像輝度信号Ｓiiは、画像処理装置１０に入力さ
れる。フィルタ４９としては、遮断波長が８００ｎｍの
ものを用いている。上記のように、第１の照明装置４１
および第２の照明装置４２は同じ波長の赤外光を照射す
るものであるので、本実施形態では、撮像装置４４内に
分光手段を備える必要はない。また、撮像素子４６につ
いても１つだけでよいので、撮像装置４４の構成が、第
１の実施形態と比較して簡単なものとなる。
に、１つの撮像素子４６と、レンズ４８と、可視光を遮
断するフィルタ４９とで構成され、撮像素子４６からは
映像輝度信号Ｓiiが出力される。撮像素子４６から出力
された映像輝度信号Ｓiiは、画像処理装置１０に入力さ
れる。フィルタ４９としては、遮断波長が８００ｎｍの
ものを用いている。上記のように、第１の照明装置４１
および第２の照明装置４２は同じ波長の赤外光を照射す
るものであるので、本実施形態では、撮像装置４４内に
分光手段を備える必要はない。また、撮像素子４６につ
いても１つだけでよいので、撮像装置４４の構成が、第
１の実施形態と比較して簡単なものとなる。
【００４９】画像処理装置１０は、第１の実施形態で用
いたものと同様であるので、図１と同じ符号を付し、そ
の詳細な説明は省略する。
いたものと同様であるので、図１と同じ符号を付し、そ
の詳細な説明は省略する。
【００５０】さらに、本実施形態では同期信号発生装置
５１および照明制御装置５２が設けられている。第１の
照明装置４１および第２の赤外光照明装置４２は、同期
信号発生装置５１からの同期信号Ｓsyにより撮像装置４
４のフィールド周期と同期して交互に発光する。同期信
号発生装置５１で発生される同期信号ＳsyはＮＴＳＣ規
格に準じ、水平周波数が１５．７５ｋＨｚ、垂直周波数
が６０Ｈｚである。照明制御装置５２は同期信号Ｓsyの
うち垂直同期信号を分離し、各フィールドごとに図８に
示すような発光パタンで各照明装置４１，４２を発光さ
せる働きをする。本実施形態では、奇数フィールド時に
第１の照明装置４１が発光し、偶数フィールド時に第２
の照明装置４２が発光する。
５１および照明制御装置５２が設けられている。第１の
照明装置４１および第２の赤外光照明装置４２は、同期
信号発生装置５１からの同期信号Ｓsyにより撮像装置４
４のフィールド周期と同期して交互に発光する。同期信
号発生装置５１で発生される同期信号ＳsyはＮＴＳＣ規
格に準じ、水平周波数が１５．７５ｋＨｚ、垂直周波数
が６０Ｈｚである。照明制御装置５２は同期信号Ｓsyの
うち垂直同期信号を分離し、各フィールドごとに図８に
示すような発光パタンで各照明装置４１，４２を発光さ
せる働きをする。本実施形態では、奇数フィールド時に
第１の照明装置４１が発光し、偶数フィールド時に第２
の照明装置４２が発光する。
【００５１】画像処理装置１０において、第１の画像メ
モリ１１は映像輝度信号Ｓiiの奇数フィールドのみでサ
ンプリングを行い、第２の画像メモリ１２は映像輝度信
号Ｓ iiの偶数フィールドのみでサンプリングを行うよう
に設定されている。したがって、図８に示すように、第
１の照明装置４１で照明したときの画像は第１の画像メ
モリ１１に蓄積され、第２の照明装置４２で照明したと
きの画像は第２の画像メモリ１２に蓄積される。
モリ１１は映像輝度信号Ｓiiの奇数フィールドのみでサ
ンプリングを行い、第２の画像メモリ１２は映像輝度信
号Ｓ iiの偶数フィールドのみでサンプリングを行うよう
に設定されている。したがって、図８に示すように、第
１の照明装置４１で照明したときの画像は第１の画像メ
モリ１１に蓄積され、第２の照明装置４２で照明したと
きの画像は第２の画像メモリ１２に蓄積される。
【００５２】これらの画像メモリ１１，１２の対応画素
ごとの輝度の和および差を、それぞれ加算演算部１３お
よび減算演算部１４で求め、それぞれの演算結果の比を
除算演算部１５を用いて求める。その後、瞳孔抽出部１
６により２値化を行い、瞳孔位置検出部１７で画像重心
演算を行うことで視点位置を検出する。本実施形態で
は、上述のように第１の画像メモリ１１および第２の画
像メモリ１２への画像の蓄積には２フィールド分の時
間、すなわち１フレーム分の時間が必要となるので、視
点位置の検出は毎秒３０回行われる。また、視点位置の
検出の分解能は、１ｍｍである。
ごとの輝度の和および差を、それぞれ加算演算部１３お
よび減算演算部１４で求め、それぞれの演算結果の比を
除算演算部１５を用いて求める。その後、瞳孔抽出部１
６により２値化を行い、瞳孔位置検出部１７で画像重心
演算を行うことで視点位置を検出する。本実施形態で
は、上述のように第１の画像メモリ１１および第２の画
像メモリ１２への画像の蓄積には２フィールド分の時
間、すなわち１フレーム分の時間が必要となるので、視
点位置の検出は毎秒３０回行われる。また、視点位置の
検出の分解能は、１ｍｍである。
【００５３】瞳孔抽出の原理は第１の実施形態と同様で
あり、除算演算部１５により、（１）式に基づく結果が
出力される。
あり、除算演算部１５により、（１）式に基づく結果が
出力される。
【００５４】本実施形態の視点位置検出装置を用い、こ
の視点位置検出装置から２ｍ離れた観察者の顔面を撮影
したところ、各画像上の瞳孔成分（座標（ｘP ，ｙ
P ））、および顔成分（座標（ｘF ，ｙF ））における
各輝度がＩ1 （ｘP ，ｙP ）＝５０（任意単位；以下同
様）、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘF ，ｙF ）＝
４０、Ｉ2 （ＸF ，ＹF ）＝３０であった。このとき、
瞳孔成分および顔成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４で
あり、信号対雑音比は７となる。したがって、２値化処
理の閾値を０．５として、完全に瞳孔のみを抽出でき
た。
の視点位置検出装置から２ｍ離れた観察者の顔面を撮影
したところ、各画像上の瞳孔成分（座標（ｘP ，ｙ
P ））、および顔成分（座標（ｘF ，ｙF ））における
各輝度がＩ1 （ｘP ，ｙP ）＝５０（任意単位；以下同
様）、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘF ，ｙF ）＝
４０、Ｉ2 （ＸF ，ＹF ）＝３０であった。このとき、
瞳孔成分および顔成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４で
あり、信号対雑音比は７となる。したがって、２値化処
理の閾値を０．５として、完全に瞳孔のみを抽出でき
た。
【００５５】ここで、観察者が眼鏡を用いると、瞳孔成
分の輝度は５０から１０と低下し、各輝度はＩ1 （ｘ
P ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘ
F ，ｙ F ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０となっ
た。この場合の各成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４
と、眼鏡を用いない場合と変わらず、信号対雑音比も７
のままであった。信号対雑音比に変動がないので、この
場合にも眼鏡を用いない場合と同様に閾値を０．５とし
て２値化処理を行ったところ、完全に瞳孔のみを抽出で
きた。
分の輝度は５０から１０と低下し、各輝度はＩ1 （ｘ
P ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘ
F ，ｙ F ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０となっ
た。この場合の各成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４
と、眼鏡を用いない場合と変わらず、信号対雑音比も７
のままであった。信号対雑音比に変動がないので、この
場合にも眼鏡を用いない場合と同様に閾値を０．５とし
て２値化処理を行ったところ、完全に瞳孔のみを抽出で
きた。
【００５６】（第４の実施形態）図９は、本発明の視点
位置検出装置の第４の実施形態の構成図である。
位置検出装置の第４の実施形態の構成図である。
【００５７】本実施形態の視点位置検出装置は、画像処
理装置３０の構成が第３の実施形態と異なっている。す
なわち、本実施形態では、第２の実施形態で用いたもの
と同様の画像処理装置３０を用いており、第１の画像メ
モリ３１および第２の画像メモリ３２に蓄積された画像
に対する演算部が、加算演算部３４と除算演算部３５で
構成されている。したがって、この画像処理装置では、
加算演算部３４および除算演算部３５により、第２の実
施形態と同様に、（２）式に示す演算結果が出力され
る。
理装置３０の構成が第３の実施形態と異なっている。す
なわち、本実施形態では、第２の実施形態で用いたもの
と同様の画像処理装置３０を用いており、第１の画像メ
モリ３１および第２の画像メモリ３２に蓄積された画像
に対する演算部が、加算演算部３４と除算演算部３５で
構成されている。したがって、この画像処理装置では、
加算演算部３４および除算演算部３５により、第２の実
施形態と同様に、（２）式に示す演算結果が出力され
る。
【００５８】画像処理装置を除く構成は第３の実施形態
と同様であるので、図６と同じ符号を付し、その説明は
省略する。
と同様であるので、図６と同じ符号を付し、その説明は
省略する。
【００５９】視点位置の検出の原理および効果は第３の
実施形態と同様であるので、その説明は省略する。
実施形態と同様であるので、その説明は省略する。
【００６０】（第５の実施形態）図１０は、本発明の視
点位置検出装置の第５の実施形態の構成図である。
点位置検出装置の第５の実施形態の構成図である。
【００６１】本実施形態の視点位置検出装置は、第１の
照明装置１、第２の照明装置２、ハーフミラー３および
撮像装置４については第１の実施形態と同様であるが、
撮像装置４から出力される画像に対する処理をアナログ
回路によって実施するもので、図１に示した第１の画像
メモリ１１、第２の画像メモリ１２、加算演算部１３、
減算演算部１４、除算演算部１５および瞳孔抽出部１６
を、加算回路６３、減算回路６４、除算回路６５および
コンパレータ６６に置き換えたものである。なお、瞳孔
位置検出部６８は、上述した各実施形態と同様に画像重
心演算を行うもので、この演算は電子計算機によって実
現している。
照明装置１、第２の照明装置２、ハーフミラー３および
撮像装置４については第１の実施形態と同様であるが、
撮像装置４から出力される画像に対する処理をアナログ
回路によって実施するもので、図１に示した第１の画像
メモリ１１、第２の画像メモリ１２、加算演算部１３、
減算演算部１４、除算演算部１５および瞳孔抽出部１６
を、加算回路６３、減算回路６４、除算回路６５および
コンパレータ６６に置き換えたものである。なお、瞳孔
位置検出部６８は、上述した各実施形態と同様に画像重
心演算を行うもので、この演算は電子計算機によって実
現している。
【００６２】加算回路６３は、撮像装置４から得られた
２種類の画像Ｉ1 ，Ｉ2 の映像輝度信号Ｓiiの和をとる
ものである。減算回路６４は、撮像装置４から得られた
２種類の画像Ｉ1 ，Ｉ2 の映像輝度信号の差をとるもの
である。除算回路６５は、加算回路６３および減算回路
６４の出力信号同士を除算するものである。そしてコン
パレータ６６は、除算回路６５の出力信号に対して２値
化処理を行う回路である。このように、加算演算、減算
演算および２値化処理をアナログ回路で行うので、第１
の実施形態と比較して、電子計算機によるデジタル処理
量を低減でき、また、画像メモリを多数使用しなくても
よい。
２種類の画像Ｉ1 ，Ｉ2 の映像輝度信号Ｓiiの和をとる
ものである。減算回路６４は、撮像装置４から得られた
２種類の画像Ｉ1 ，Ｉ2 の映像輝度信号の差をとるもの
である。除算回路６５は、加算回路６３および減算回路
６４の出力信号同士を除算するものである。そしてコン
パレータ６６は、除算回路６５の出力信号に対して２値
化処理を行う回路である。このように、加算演算、減算
演算および２値化処理をアナログ回路で行うので、第１
の実施形態と比較して、電子計算機によるデジタル処理
量を低減でき、また、画像メモリを多数使用しなくても
よい。
【００６３】さらに、本実施形態でも、第３の実施形態
と同様の同期信号発生装置６９を有し、この同期信号発
生装置６９による同期タイミングで、撮像装置４内の２
つの撮像素子６，７（図２参照）は同期をとって駆動さ
れる。撮像装置４から出力される、それぞれの撮像素子
６，７で得られた同時刻の映像輝度信号が、加算回路６
３および減算回路６４においてそれぞれ処理され、加算
回路６３および減算回路６４それぞれの出力を結果を除
算回路６５で処理することで、第１の実施形態で説明し
た（１）式に基づく演算を行う。
と同様の同期信号発生装置６９を有し、この同期信号発
生装置６９による同期タイミングで、撮像装置４内の２
つの撮像素子６，７（図２参照）は同期をとって駆動さ
れる。撮像装置４から出力される、それぞれの撮像素子
６，７で得られた同時刻の映像輝度信号が、加算回路６
３および減算回路６４においてそれぞれ処理され、加算
回路６３および減算回路６４それぞれの出力を結果を除
算回路６５で処理することで、第１の実施形態で説明し
た（１）式に基づく演算を行う。
【００６４】除算回路６５の出力は、コンパレータ６６
で２値化処理された後、同期信号発生装置６９からの同
期信号Ｓsyと同期して画像メモリ６７に蓄積され、瞳孔
位置検出部６８で画像重心演算を行うことで瞳孔位置を
検出する。
で２値化処理された後、同期信号発生装置６９からの同
期信号Ｓsyと同期して画像メモリ６７に蓄積され、瞳孔
位置検出部６８で画像重心演算を行うことで瞳孔位置を
検出する。
【００６５】瞳孔抽出の原理は第１の実施形態と同様で
あり、除算回路６５より、式（１）に基づく結果が出力
される。
あり、除算回路６５より、式（１）に基づく結果が出力
される。
【００６６】本実施形態の視点位置検出装置を用い、こ
の視点位置検出装置から２ｍ離れた観察者２０の顔面を
撮影したところ、各画像上の瞳孔成分（座標（ｘP ，ｙ
P ））、および顔成分（座標（ｘF ，ｙF ））における
各輝度がＩ1 （ｘP ，ｙP ）＝５０（任意単位；以下同
様）、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘF ，ｙF ）＝
４０、Ｉ2 （ＸF ，ＹF ）＝３０であった。このとき、
瞳孔成分および顔成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４で
あり、信号対雑音比は７となる。したがって、２値化処
理の閾値を０．５として、完全に瞳孔のみを抽出でき
た。
の視点位置検出装置から２ｍ離れた観察者２０の顔面を
撮影したところ、各画像上の瞳孔成分（座標（ｘP ，ｙ
P ））、および顔成分（座標（ｘF ，ｙF ））における
各輝度がＩ1 （ｘP ，ｙP ）＝５０（任意単位；以下同
様）、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1 （ｘF ，ｙF ）＝
４０、Ｉ2 （ＸF ，ＹF ）＝３０であった。このとき、
瞳孔成分および顔成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４で
あり、信号対雑音比は７となる。したがって、２値化処
理の閾値を０．５として、完全に瞳孔のみを抽出でき
た。
【００６７】ここで、観察者２０が眼鏡を用いると、瞳
孔成分の輝度は５０から１０と低下し、各輝度はＩ1
（ｘP ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1
（ｘF，ｙF ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０とな
った。この場合の各成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４
と、眼鏡を用いない場合と変わらず、信号対雑音比も７
のままであった。信号対雑音比に変動がないので、この
場合にも眼鏡を用いない場合と同様に閾値を０．５とし
て２値化処理を行ったところ、完全に瞳孔のみを抽出で
きた。
孔成分の輝度は５０から１０と低下し、各輝度はＩ1
（ｘP ，ｙP ）＝１０、Ｉ2 （ｘP ，ｙP ）＝０、Ｉ1
（ｘF，ｙF ）＝４０、Ｉ2 （ｘF ，ｙF ）＝３０とな
った。この場合の各成分の輝度比較演算結果は、Ｉ（ｘ
P ，ｙP ）＝１．００、Ｉ（ｘF ，ｙF ）＝０．１４
と、眼鏡を用いない場合と変わらず、信号対雑音比も７
のままであった。信号対雑音比に変動がないので、この
場合にも眼鏡を用いない場合と同様に閾値を０．５とし
て２値化処理を行ったところ、完全に瞳孔のみを抽出で
きた。
【００６８】（第６の実施形態）図１１は、本発明の視
点位置検出装置の第６の実施形態の構成図である。
点位置検出装置の第６の実施形態の構成図である。
【００６９】本実施形態の視点位置検出装置は、第５の
実施形態で説明した減算回路６４（図１０参照）を省
き、撮像装置４の、第１の照明装置１を用いて得られる
画像Ｉ 1 の映像輝度信号Ｓiiを直接、除算回路６５に入
力するように変更したものである。したがって、本実施
形態では、加算回路６３および除算回路６５により、第
２の実施形態と同様に、（２）式に示す演算結果を出力
することができる。その他の構成については第５の実施
形態と同様であるので、図１０と同一の符号を付し、そ
れらの説明は省略する。
実施形態で説明した減算回路６４（図１０参照）を省
き、撮像装置４の、第１の照明装置１を用いて得られる
画像Ｉ 1 の映像輝度信号Ｓiiを直接、除算回路６５に入
力するように変更したものである。したがって、本実施
形態では、加算回路６３および除算回路６５により、第
２の実施形態と同様に、（２）式に示す演算結果を出力
することができる。その他の構成については第５の実施
形態と同様であるので、図１０と同一の符号を付し、そ
れらの説明は省略する。
【００７０】視点位置の検出の原理および効果は第５の
実施形態と同様であるで、その説明は省略する。
実施形態と同様であるで、その説明は省略する。
【００７１】（立体表示装置への適用例）本発明の視点
位置検出装置は、視点追従型立体表示装置へ適用するこ
とができる。
位置検出装置は、視点追従型立体表示装置へ適用するこ
とができる。
【００７２】図１２は、本発明の視点位置検出装置を用
いた視点追従型立体表示装置の全体構成を示す図であ
る。この視点追従型立体表示装置は、両眼視差を有する
画像を液晶プロジェクタ８１からレンチキュラスクリー
ン８２に投影し、両眼視差を有する画像をそれぞれ左右
の目に空間的に分離して呈示することで立体視を実現す
るものである。
いた視点追従型立体表示装置の全体構成を示す図であ
る。この視点追従型立体表示装置は、両眼視差を有する
画像を液晶プロジェクタ８１からレンチキュラスクリー
ン８２に投影し、両眼視差を有する画像をそれぞれ左右
の目に空間的に分離して呈示することで立体視を実現す
るものである。
【００７３】レンチキュラスクリーン８２には視点位置
検出装置８０が取り付けられており、この視点位置検出
装置８０で観察者２０の視点位置を検出する。視点位置
検出装置８０としては、上述の第１の実施形態〜第６の
実施形態で説明した、本発明の視点位置検出装置のいず
れかが用いられる。視点位置検出装置８０には光学系制
御部８３が接続されており、観察者２０の視点位置に応
じて液晶プロジェクタ８１内の視点追従光学系機構部８
４が制御される。なお、視点位置検出装置８０により人
間の瞳孔は２つ抽出されるが、視点追従型立体表示装置
へ適用する場合は２つの瞳孔の中点を視点位置とする。
検出装置８０が取り付けられており、この視点位置検出
装置８０で観察者２０の視点位置を検出する。視点位置
検出装置８０としては、上述の第１の実施形態〜第６の
実施形態で説明した、本発明の視点位置検出装置のいず
れかが用いられる。視点位置検出装置８０には光学系制
御部８３が接続されており、観察者２０の視点位置に応
じて液晶プロジェクタ８１内の視点追従光学系機構部８
４が制御される。なお、視点位置検出装置８０により人
間の瞳孔は２つ抽出されるが、視点追従型立体表示装置
へ適用する場合は２つの瞳孔の中点を視点位置とする。
【００７４】以上のように、本発明による視点位置検出
装置８０を視点追従型立体表示装置へ適用したところ、
視点位置を非接触で正確に検出することが可能となり、
観察者２０の負担の少ない立体表示装置を提供すること
ができた。
装置８０を視点追従型立体表示装置へ適用したところ、
視点位置を非接触で正確に検出することが可能となり、
観察者２０の負担の少ない立体表示装置を提供すること
ができた。
【００７５】
【発明の効果】以上説明したように本発明は、第１の照
明手段で照明された被検出者の顔面の画像である第１の
画像と、第２の照明手段で照明された被検出者の顔面の
画像である第２の画像とを用い、これら２種類の画像に
対し、対応画素の輝度について、加算結果と減算結果と
の比、あるいは加算結果と第１の画像との比を各画素ご
とに求めることで、被検出者の瞳孔反射輝度が変動する
場合においても、被検出者の瞳孔を安定的に抽出でき、
正確な視点位置を検出することができる。
明手段で照明された被検出者の顔面の画像である第１の
画像と、第２の照明手段で照明された被検出者の顔面の
画像である第２の画像とを用い、これら２種類の画像に
対し、対応画素の輝度について、加算結果と減算結果と
の比、あるいは加算結果と第１の画像との比を各画素ご
とに求めることで、被検出者の瞳孔反射輝度が変動する
場合においても、被検出者の瞳孔を安定的に抽出でき、
正確な視点位置を検出することができる。
【００７６】特に、各照明手段を、ともに同一波長の光
を照射するものとし、互いに一定の周期で交互に発光さ
せることで、撮像手段の構成を簡単にすることができ
る。
を照射するものとし、互いに一定の周期で交互に発光さ
せることで、撮像手段の構成を簡単にすることができ
る。
【００７７】また、本発明の視点位置検出装置を視点追
従型立体表示装置に適用すれば、視点位置を非接触で正
確に検出することができるので、立体表示装置の観察者
の負担を軽減させることができる。
従型立体表示装置に適用すれば、視点位置を非接触で正
確に検出することができるので、立体表示装置の観察者
の負担を軽減させることができる。
【図１】本発明の視点位置検出装置の第１の実施形態の
構成図である。
構成図である。
【図２】図１に示した視点位置検出装置の撮像装置の構
成図である。
成図である。
【図３】図２に示した撮像装置で撮像された画像を示す
図である。
図である。
【図４】図３に示した画像における線分ＡＢ間の画像の
輝度分布を示すグラフである。
輝度分布を示すグラフである。
【図５】本発明の視点位置検出装置の第２の実施形態の
構成図である。
構成図である。
【図６】本発明の視点位置検出装置の第３の実施形態の
構成図である。
構成図である。
【図７】図６に示した視点位置検出装置の撮像装置の構
成図である。
成図である。
【図８】図６に示した視点検出装置における、同期信号
に対する照明装置および画像メモリの動作のタイミング
チャートである。
に対する照明装置および画像メモリの動作のタイミング
チャートである。
【図９】本発明の視点位置検出装置の第４の実施形態の
構成図である。
構成図である。
【図１０】本発明の視点位置検出装置の第５の実施形態
の構成図である。
の構成図である。
【図１１】本発明の視点位置検出装置の第６の実施形態
の構成図である。
の構成図である。
【図１２】本発明の視点位置検出装置を適用した視点追
従型立体表示装置の全体構成を示す図である。
従型立体表示装置の全体構成を示す図である。
【図１３】従来の瞳孔検出装置の構成図である。
【図１４】図１３に示した瞳孔検出装置の撮像装置で撮
像された画像を示す図である。
像された画像を示す図である。
【図１５】図１４に示した画像における線分ＡＢ間の画
像の分布輝度を示すグラフである。
像の分布輝度を示すグラフである。
１，４１ 第１の照明装置 ２，４２ 第２の照明装置 ３ ハーフミラー ４，４４ 撮像装置 ５ ダイクロイックプリズム ６ 第１の撮像素子 ７ 第２の撮像素子 ８，４８ レンズ ９，４９ フィルタ １０，３０ 画像処理装置 １１，３１ 第１の画像メモリ １２，３２ 第２の画像メモリ １３，３４ 加算演算部 １４ 減算演算部 １５，３５ 除算演算部 １６，３６ 瞳孔抽出部 １７，３７，６８ 瞳孔位置検出部 ２０ 観察者 ２０ａ 瞳孔部分 ２０ｂ 顔部分 ４６ 撮像素子 ５１，６９ 同期信号発生装置 ５２ 照明制御装置 ６３ 加算回路 ６４ 減算回路 ６５ 除算回路 ６６ コンパレータ ６７ 画像メモリ ８０ 視点位置検出装置 ８１ 液晶プロジェクタ ８２ レンチキュラスクリーン ８３ 光学系制御部 ８４ 視点追従光学系機構部
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/62 ３８０ 7/60 15/64 Ｌ 15/70 ３５０Ｚ
Claims (8)
- 【請求項１】 被検出者の顔面を撮像する撮像手段と、 前記被検出者の顔面を照明するための、光軸が前記撮像
手段の光軸と実質的に同軸にある第１の照明手段、およ
び光軸が前記撮像手段の光軸と非同軸にある第２の照明
手段と、 前記被検出者が前記第１の照明手段で照明された状態で
前記撮像手段により撮像された画像である第１の画像
と、前記被検出者が前記第２の照明手段で照明された状
態で前記撮像手段により撮像された画像である第２の画
像との対応画素の輝度を、それぞれの画素ごとに加算す
る加算手段と、 前記第１の画像と前記第２の画像との対応画素の輝度
を、それぞれの画素ごとに減算する減算手段と、 前記加算手段および前記減算手段で得られた演算結果同
士を、それぞれの画素ごとに除算する除算手段と、 前記除算手段での除算結果に基づいて、前記被検出者の
瞳孔に対応する部分を抽出する抽出手段とを有する視点
位置検出装置。 - 【請求項２】 前記第１の照明手段および前記第２の照
明手段は、それぞれ異なる波長の光を照射するものであ
り、 前記撮像手段は、入射光を前記第１の照明手段からの光
と前記第２の照明手段からの光とに分離する分光手段
と、前記分光手段によって分離された光のうち、前記第
１の照明手段からの光が到達する第１の撮像素子と、前
記第２の照明手段からの光が到達する第２の撮像素子と
を有し、前記第１の撮像素子で撮像された画像を前記第
１の画像とし、前記第２の撮像素子で撮像された画像を
前記第２の画像とする請求項１に記載の視点位置検出装
置。 - 【請求項３】 前記第１の照明手段および前記第２の照
明手段は、ともに同一の波長の光を照射するとともに一
定の周期で交互に発光され、前記第１の照明手段が発光
したときに前記撮像手段で撮像された画像を前記第１の
画像とし、前記第２の照明手段が発光したときに前記撮
像手段で撮像された画像を前記第２の画像とする請求項
１に記載の視点位置検出装置。 - 【請求項４】 前記加算手段、前記減算手段、前記除算
手段および前記抽出手段は、それぞれアナログ回路で構
成される請求項１、２または３に記載の視点位置検出装
置。 - 【請求項５】 被検出者の顔面を撮像する撮像手段と、 前記被検出者の顔面を照明するための、光軸が前記撮像
手段の光軸と実質的に同軸にある第１の照明手段、およ
び光軸が前記撮像手段の光軸と非同軸にある第２の照明
手段と、 前記被検出者が前記第１の照明手段で照明された状態で
前記撮像手段により撮像された画像である第１の画像
と、前記被検出者が前記第２の照明手段で照明された状
態で前記撮像手段により撮像された画像である第２の画
像との対応画素の輝度を、それぞれの画素ごとに加算す
る加算手段と、 前記第１の画像と前記加算手段で得られた演算結果との
対応画素の輝度を、それぞれの画素ごとに除算する除算
手段と、 前記除算手段での除算結果に基づいて、前記被検出者の
瞳孔に対応する部分を抽出する抽出手段とを有する視点
位置検出装置。 - 【請求項６】 前記第１の照明手段および前記第２の照
明手段は、それぞれ異なる波長の光を照射するものであ
り、 前記撮像手段は、入射光を前記第１の照明手段からの光
と前記第２の照明手段からの光とに分離する分光手段
と、前記分光手段によって分離された光のうち、前記第
１の照明手段からの光が到達する第１の撮像素子と、前
記第２の照明手段からの光が到達する第２の撮像素子と
を有し、前記第１の撮像素子で撮像された画像を前記第
１の画像とし、前記第２の撮像素子で撮像された画像を
前記第２の画像とする請求項５に記載の視点位置検出装
置。 - 【請求項７】 前記第１の照明手段および前記第２の照
明手段は、ともに同一波長の光を照射するとともに一定
の周期で交互に発光され、前記第１の照明手段が発光し
たときに前記撮像手段で撮像された画像を前記第１の画
像とし、前記第２の照明手段が発光したときに前記撮像
手段で撮像された画像を前記第２の画像とする請求項５
に記載の視点位置検出装置。 - 【請求項８】 前記加算手段、前記除算手段および前記
抽出手段は、それぞれアナログ回路で構成される請求項
５、６または７に記載の視点位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9022504A JP2917953B2 (ja) | 1997-02-05 | 1997-02-05 | 視点位置検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9022504A JP2917953B2 (ja) | 1997-02-05 | 1997-02-05 | 視点位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10221016A true JPH10221016A (ja) | 1998-08-21 |
| JP2917953B2 JP2917953B2 (ja) | 1999-07-12 |
Family
ID=12084586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9022504A Expired - Lifetime JP2917953B2 (ja) | 1997-02-05 | 1997-02-05 | 視点位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2917953B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001242417A (ja) * | 2000-02-28 | 2001-09-07 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及びそれを用いた画像表示装置 |
| JP2001340300A (ja) * | 2000-05-31 | 2001-12-11 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム |
| WO2003079902A1 (en) * | 2002-03-26 | 2003-10-02 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
| JP2004261598A (ja) * | 2003-02-28 | 2004-09-24 | Agilent Technol Inc | 瞳孔検知装置及び方法 |
| JP2005149515A (ja) * | 2003-11-19 | 2005-06-09 | Samsung Electronics Co Ltd | 赤外線を用いた人間識別装置およびその方法 |
| JP2005269891A (ja) * | 2004-03-15 | 2005-09-29 | Agilent Technol Inc | 目の検出を利用した電子装置の制御および電力管理 |
| JP2006280938A (ja) * | 2005-03-31 | 2006-10-19 | Avago Technologies General Ip (Singapore) Private Ltd | 安全な眼球検出 |
| JP2007083027A (ja) * | 2005-08-23 | 2007-04-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| WO2007043954A1 (en) * | 2005-10-10 | 2007-04-19 | Tobii Technology Ab | Eye tracker having an extended span of operating distances |
| JP2007111315A (ja) * | 2005-10-21 | 2007-05-10 | National Univ Corp Shizuoka Univ | ２種類の光源を用いる瞳孔検出方法および装置 |
| JP2007513700A (ja) * | 2003-12-10 | 2007-05-31 | ボシュ・アンド・ロム・インコーポレイテッド | 高速スイッチングスリットスキャン型画像取込みシステム |
| JP2007268029A (ja) * | 2006-03-31 | 2007-10-18 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び方法 |
| JP2007536064A (ja) * | 2004-05-10 | 2007-12-13 | アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド | 瞳孔検出方法及びシステム |
| JP2008125619A (ja) * | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| JP2008132160A (ja) * | 2006-11-28 | 2008-06-12 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| JP2008181468A (ja) * | 2006-02-13 | 2008-08-07 | Smart Wireless Kk | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 |
| JP2009294854A (ja) * | 2008-06-04 | 2009-12-17 | Toyota Central R&D Labs Inc | 画像識別装置 |
| US8358337B2 (en) | 2005-08-23 | 2013-01-22 | National University Corporation Shizuoka University | Pupil detection device and pupil detection method |
| US9612656B2 (en) | 2012-11-27 | 2017-04-04 | Facebook, Inc. | Systems and methods of eye tracking control on mobile device |
| JP2019144261A (ja) * | 2013-06-06 | 2019-08-29 | ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ． Ｌｔｄ． | 撮像システムおよびそれを動作させる方法 |
-
1997
- 1997-02-05 JP JP9022504A patent/JP2917953B2/ja not_active Expired - Lifetime
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001242417A (ja) * | 2000-02-28 | 2001-09-07 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及びそれを用いた画像表示装置 |
| JP2001340300A (ja) * | 2000-05-31 | 2001-12-11 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム |
| US7206435B2 (en) | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
| WO2003079902A1 (en) * | 2002-03-26 | 2003-10-02 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
| JP2004261598A (ja) * | 2003-02-28 | 2004-09-24 | Agilent Technol Inc | 瞳孔検知装置及び方法 |
| JP2005149515A (ja) * | 2003-11-19 | 2005-06-09 | Samsung Electronics Co Ltd | 赤外線を用いた人間識別装置およびその方法 |
| JP4679121B2 (ja) * | 2003-11-19 | 2011-04-27 | 三星電子株式会社 | 赤外線を用いた人間識別装置およびその方法 |
| JP2007513700A (ja) * | 2003-12-10 | 2007-05-31 | ボシュ・アンド・ロム・インコーポレイテッド | 高速スイッチングスリットスキャン型画像取込みシステム |
| KR101162770B1 (ko) * | 2004-03-15 | 2012-07-04 | 위스트론 코포레이션 | 장치 제어 방법 및 제어 시스템 |
| JP2005269891A (ja) * | 2004-03-15 | 2005-09-29 | Agilent Technol Inc | 目の検出を利用した電子装置の制御および電力管理 |
| JP2007536064A (ja) * | 2004-05-10 | 2007-12-13 | アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド | 瞳孔検出方法及びシステム |
| JP4799550B2 (ja) * | 2004-05-10 | 2011-10-26 | アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド | 瞳孔検出方法及びシステム |
| JP2006280938A (ja) * | 2005-03-31 | 2006-10-19 | Avago Technologies General Ip (Singapore) Private Ltd | 安全な眼球検出 |
| JP2007083027A (ja) * | 2005-08-23 | 2007-04-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| US8358337B2 (en) | 2005-08-23 | 2013-01-22 | National University Corporation Shizuoka University | Pupil detection device and pupil detection method |
| WO2007043954A1 (en) * | 2005-10-10 | 2007-04-19 | Tobii Technology Ab | Eye tracker having an extended span of operating distances |
| US8066375B2 (en) | 2005-10-10 | 2011-11-29 | Tobii Technology Ab | Eye tracker having an extended span of operating distances |
| JP2007111315A (ja) * | 2005-10-21 | 2007-05-10 | National Univ Corp Shizuoka Univ | ２種類の光源を用いる瞳孔検出方法および装置 |
| JP4613315B2 (ja) * | 2005-10-21 | 2011-01-19 | 国立大学法人静岡大学 | ２種類の光源を用いる瞳孔検出方法および装置 |
| JP2008181468A (ja) * | 2006-02-13 | 2008-08-07 | Smart Wireless Kk | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 |
| JP2007268029A (ja) * | 2006-03-31 | 2007-10-18 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び方法 |
| JP4528976B2 (ja) * | 2006-03-31 | 2010-08-25 | 国立大学法人静岡大学 | 瞳孔検出装置及び方法 |
| JP2008125619A (ja) * | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| JP2008132160A (ja) * | 2006-11-28 | 2008-06-12 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
| JP2009294854A (ja) * | 2008-06-04 | 2009-12-17 | Toyota Central R&D Labs Inc | 画像識別装置 |
| US9612656B2 (en) | 2012-11-27 | 2017-04-04 | Facebook, Inc. | Systems and methods of eye tracking control on mobile device |
| US9952666B2 (en) | 2012-11-27 | 2018-04-24 | Facebook, Inc. | Systems and methods of eye tracking control on mobile device |
| JP2019144261A (ja) * | 2013-06-06 | 2019-08-29 | ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ． Ｌｔｄ． | 撮像システムおよびそれを動作させる方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2917953B2 (ja) | 1999-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2917953B2 (ja) | 視点位置検出装置 | |
| US6959102B2 (en) | Method for increasing the signal-to-noise in IR-based eye gaze trackers | |
| JP5145555B2 (ja) | 瞳孔検出方法 | |
| US20080177185A1 (en) | Skin Area Detection Imaging Device | |
| EP1465415A1 (en) | Close region image extraction device and close region image extraction method | |
| EP3075304B1 (en) | Line-of-sight detection assistance device and line-of-sight detection assistance method | |
| US20160206204A1 (en) | Organ Imaging Device | |
| WO2007023798A9 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| US11516460B2 (en) | Devices, systems, and methods for image frame capturing and detecting frozen image frames | |
| US11243607B2 (en) | Method and system for glint/reflection identification | |
| EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
| JP6957048B2 (ja) | 眼部画像処理装置 | |
| JP2001340300A (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
| US10928894B2 (en) | Eye tracking | |
| JP5301815B2 (ja) | 瞬目計測装置 | |
| JP4528980B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| US10288879B1 (en) | Method and system for glint/reflection identification | |
| CN110658625A (zh) | 全息眼睛成像设备 | |
| EP3028644B1 (en) | Diagnosis assistance device and diagnosis assistance method | |
| US11144755B2 (en) | Support glint for remote eye tracking | |
| JP5825588B2 (ja) | 瞬目計測装置及び瞬目計測方法 | |
| EP3801196B1 (en) | Method and system for glint/reflection identification | |
| JP2018011681A (ja) | 視線検出装置、視線検出プログラムおよび視線検出方法 | |
| JP2012139562A (ja) | 瞬目計測装置 | |
| WO2021251146A1 (ja) | 瞳孔検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080423 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 14 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 14 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 15 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |