JPWO2007113975A1 - 視点検出装置 - Google Patents

Abstract

視点検出装置１は、ＬＣＤ８によって表示された表示画像をファインダー４を介して外部に投射すると共に、ファインダー４から外部に向けて照射された照明光に応じて対象者の眼画像をＣＣＤ１１によって撮像することによって、対象者の視点を検出する視点検出装置であって、ＬＣＤ８とファインダー４との間の画像表示光学系の光路上において、表示面８ａから焦点距離分だけ離間して配置された光学系５と、ファインダー４とＣＣＤ１１との間の撮像光学系の光路上において配置された光学系５、及びその光路上において該光学系５から焦点距離分だけ離間して配置された絞り部９を含むテレセントリック光学系と、ＣＣＤ１１によって撮像された眼画像に基づいて対象者の視点位置を検出する制御装置３とを備える。

Description

本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置に関するものである。

従来から、ディスプレイ等の観察対象物上の対象者の視線方向又は視点を検出する装置が知られている。例えば、下記非特許文献１には、対象者の顔から50cmから80cm程度の距離にカメラを置き、対象者が表示画面内のどこを見ているかを計測する装置が記載されている。また、カメラを用いて顔画像から瞳孔を検出し、対象者の頭の動きにより発生する瞳孔の動きに合わせて表示画面上のカーソルを動かすようなポインティング装置も知られている（下記特許文献１参照）。

一方で、対象者の頭部の大きな動きにも対応できるようにヘッドマウントディスプレイ（以下、ＨＭＤという）型の視線検出装置が、様々な応用面で有望視されている。例えば、パーソナルコンピュータから出力された画像を映し出すとともに、その画像上の視点を検出するためのカメラを備え、対象者の頭部の動きに起因する誤差を求めて、その誤差に基づいて検出結果の位置ずれを補正するＨＭＤ型の視線検出装置が開示されている（下記特許文献２参照）。また、対象者の視線方向を検出することによって外部の観察対象物のどの部分を注視しているかを算出するＨＭＤも開示されている（下記特許文献３参照）。
特開２００５−１８２２４７号公報 特開２００１−１３４３７１号公報 特開２００５−２８６１４１号公報 Kay Talmi, Jin Liu "Eye and gaze tracking for visually controlled interactive stereoscopic displays", Signal Processing Image Communication vol.14, August 1999, p.799−810

しかしながら、上述した従来の視線検出装置においては、装着位置のずれ等により装置に対する対象者の位置が変動した場合に、ディスプレイ等の観察対象物に対する視線又は視点を精度よく検出することが困難である。これは、対象者の頭の位置が変動すると対象者に対する観察対象物の見え方及び対象者の顔画像の位置が変化することに起因する。上記特許文献２に記載された視線検出装置は、視線入力が困難になった場合に再較正を行う機能を有するが、装着ずれに対して再三にわたり較正処理を行っていたのでは、ユーザの利便性が低下する。

そこで、本発明は、かかる課題に鑑みて為されたものであり、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させることが可能な視点検出装置を提供することを目的とする。

上記課題を解決するため、本発明の視点検出装置は、画像表示手段によって表示された表示画像を窓部を介して外部に投射すると共に、窓部の外部に位置する対象者に向けて照射された照明光に応じて、対象者の眼画像を撮像手段によって撮像することによって、対象者の表示画像上の視点を検出する視点検出装置であって、窓部と撮像手段との間の光路上に配置されたテレセントリックレンズと、画像表示手段と窓部との間の光路上に配置され、テレセントリックレンズの一部を構成するレンズと、撮像手段によって撮像された眼画像に基づいて対象者の視点位置を検出する検出手段とを備える。

このような視点検出装置によれば、窓部から外部に表示画像が投射される際に、表示面からテレセントリックレンズを経由することによって、表示面上の１点と対象者の視線の角度とが１対１に対応することになると同時に、照明光の照射に応じて対象者の眼画像がテレセントリックレンズを経由して撮像手段に映し出されることにより、対象者の位置が窓部に対して前後に変化しても撮像される眼画像の大きさは変化しない。これにより、対象者の眼画像に基づいて視点位置を検出する際に、表示面上の対象者の実際の視点と、検出される視線方向とが１対１に対応するので、窓部に対する対象者の位置が変化しても対象者の視点検出の誤差が低減される。

本発明による視点検出装置によれば、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させることができる。

本発明の好適な一実施形態である視点検出装置１の概略構成を示す一部断面構成図である。 図１のＨＭＤにおける画像表示光学系の光路を等価的に示す光路図である。 図１のＨＭＤにおける撮像光学系の光路を等価的に示す光路図である。 図１の制御装置による視点検出処理の原理について説明する図であり、（ａ）は、対象者の眼球と撮像面の位置関係を示す図であり、（ｂ）は、（ａ）における眼画像を示す図である。 図１の制御装置による視点検出処理の原理について説明する図であり、（ａ）は、対象者の眼球と撮像面の位置関係を示す図、（ｂ）は、（ａ）における眼画像を示す図である。 図１のＬＣＤによって表示される表示画像のイメージを示す図である。 図１のＣＣＤによって撮像される眼画像のイメージを示す図である。 対象者の眼球の光軸及び視軸との関係を示す図である。 （ａ）は、図１のＬＣＤによって表示されるカーソルを示す図、（ｂ）は、図１のＣＣＤによって撮像される眼画像のイメージを示す図である。 （ａ）は、図１のＬＣＤによって表示されるカーソルを示す図、（ｂ）は、図１のＣＣＤによって撮像される眼画像のイメージを示す図である。 （ａ）は、図１のＬＣＤによって表示されるカーソルを示す図、（ｂ）は、図１のＣＣＤによって撮像される眼画像のイメージを示す図である。 （ａ）は、図１のＬＣＤによって表示されるカーソルを示す図、（ｂ）は、図１のＣＣＤによって撮像される眼画像のイメージを示す図である。 本発明の視点検出装置の応用例を示す概念図である。 本発明の変形例であるＨＭＤの概略構成を示す図である。 （ａ）は、本発明の変形例において、ＬＣＤによって表示されるカーソルを示す図、（ｂ）は、本発明の変形例において、ＣＣＤによって撮像される眼画像のイメージを示す図である。 （ａ）は、本発明の変形例において、ＬＣＤによって表示されるカーソルを示す図、（ｂ）は、本発明の変形例において、ＣＣＤによって撮像される眼画像のイメージを示す図である。

符号の説明

１…視点検出装置、２，１０２…ＨＭＤ、３…制御装置（検出手段）、４…ファインダー（窓部）、５，１０５ａ，１０５ｂ…光学系（テレセントリックレンズ）、８…ＬＣＤ（画像表示手段）、８ａ…表示面、９…絞り部（テレセントリック絞り）、１１…ＣＣＤ（撮像手段）。

以下、図面を参照しつつ本発明に係る視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであり、説明の対象部位を特に強調するように描かれている。そのため、図面における各部材の寸法比率は、必ずしも実際のものとは一致しない。

図１は、本発明の好適な一実施形態である視点検出装置１の概略構成を示す一部断面構成図である。同図に示すように、視点検出装置１は、視線を検出する対象者の頭部に装着されるヘッドマウントディスプレイ（以下、ＨＭＤという）２と、ＨＭＤ２に接続されるパーソナルコンピュータ、サーバ装置等の制御装置（検出手段）３とを有している。なお、ＨＭＤ２は実際には筐体を有しているがその図示を省略している。

ＨＭＤ２は、ＨＭＤ２が対象者の頭部に装着された状態で対象者の眼球Ｅの前方に位置するファインダー（窓部）４と、ファインダー４の内側に設けられた３枚のレンズからなる光学系（テレセントリックレンズ）５と、光学系５の光軸Ｌ１に沿って光学系５から離れる方向にこの順で設けられたプリズム６及びＬＣＤ（画像表示手段）８と、光学系５の光軸Ｌ１に垂直に交わる光軸Ｌ２に沿って光学系５から離れる方向にこの順で設けられたプリズム７、絞り部（テレセントリック絞り）９、光学系１０、及びＣＣＤ（撮像手段）１１と、ＣＣＤ１１に並列に設けられた光ファイバケーブル１２とを筐体内に備えて構成されている。以下、ＨＭＤ２の各構成要素について詳細に説明する。

光学系５は、その光軸と眼球Ｅ側の主光線とが平行となるように構成されたいわゆるテレセントリックレンズである。この光学系５の光軸Ｌ１上に設けられたプリズム６の光学系５側の傾斜面６ａは、ダイクロイックミラーコーティングが施されており、ＬＣＤ８の表示面８ａから投射された可視光成分を有する表示画像を光学系５側に透過させる。一方、傾斜面６ａは、光ファイバケーブル１２から出射され、光軸Ｌ１に垂直に交わる光軸Ｌ２に沿って傾斜面６ａに入射する近赤外光成分を有する照明光を、光学系５側に反射させるとともに、照明光が眼球Ｅにおいて反射されることによって入射した光（眼画像）を、プリズム７側に反射させる。

このプリズム６によって折り曲げられた光学系５の光軸Ｌ２上には、プリズム７が位置している。このプリズム７のプリズム６側の傾斜面７ａは、ハーフミラーコーティングが施されており、光軸Ｌ２に沿って入射した眼画像をＣＣＤ１１側に透過させる。その一方、傾斜面７ａは、光源（図示せず）から光ファイバケーブル１２を通って照射された後にプリズム１３において反射されて入射した照明光を、光軸Ｌ２に沿ってプリズム６側に反射させる。

このような構成により、眼球ＥとＨＭＤ２の内部との間には、光軸Ｌ１に沿った画像表示光学系の光路（第１の光路）と、光軸Ｌ２に沿った撮像光学系の光路（第２の光路）とが構成される。

図２は、画像表示光学系の光路を等価的に示す光路図である。なお、図２においては光学系５を等価的に１つのレンズとして示している。同図に示すように、ＬＣＤ８は、その表示面８ａの中心とファインダー４の中心との間に光軸Ｌ１が通るように設けられるとともに、表示面８ａが光学系５からその焦点距離ｆ_１分だけ離間するように配置されている。このような配置により、ＬＣＤ８の表示面８ａ上に表示された表示画像は、可視光として光学系５に向けて出射され、光学系５においてほぼ平行な光線に変換されてファインダー４を介して外部の眼球Ｅに投射される。眼球に入射した光線は、瞳孔を通って網膜に投影されて、対象者に認識される。

ここで、眼球Ｅが実線の位置から点線の位置にずれた場合を想定すると、光学系５の作用により、表示面８ａ上の一点から出射された可視光のそれぞれの主光線Ｒ_０１，Ｒ_０２は、対象者の眼球に入射する際には光軸Ｌ１との成す角が等しくなるように変換される。その結果、主光線Ｒ_０１，Ｒ_０２は、対象者が同じ角度を見ていたとすると、眼球Ｅの網膜の同一点に投影されるので、ＨＭＤ２の筐体１４と眼球Ｅとの相対的な位置がずれても、表示面８ａ上の表示画像は同じ位置に認識される。例えば、対象者が表示画像を見ている際に眼球Ｅに対して筐体１４が平行移動しても、表示画像は静止しているように見えることになる。このことは、逆に対象者が表示面８ａ上の一点を固視しているときに筐体１４がずれても視線方向は動かないことを意味する。その一方で、眼球Ｅに対して筐体１４が回転移動した場合は、表示面８ａ上の一点から投射される画像はそれに従って回転する。

図３は、撮像光学系の光路を等価的に示す光路図である。なお、図３においては光学系５を等価的に１つのレンズとして示している。同図に示すように、ファインダー４とＣＣＤ１１との間の光軸Ｌ２上に光学系５が配置され、絞り部９が、その中心に光軸Ｌ１が通るように、光学系５から焦点距離ｆ_１分だけ離間して配置されている。絞り部９は、ＣＣＤ１１によって撮像される像が暗くならないように、適切な内径に設定される。

この光学系５と絞り部９とでテレセントリック光学系を構成する。具体的には、光学系５の絞り部９の反対側に位置する面Ｍ_１上にある点Ｑ_１から発せられた光線は、絞り部９によって斜線の部分に絞られ、ＣＣＤ１１の撮像面１１ａ上の点Ｑ_２に結像し、面Ｍ_１上の点ｙ_１から発せられた光線は、斜線の部分に絞られて撮像面１１ａ上の点ｙ_２に結像する。その結果、主光線Ｒ_１１，Ｒ_１２を含むそれぞれの光線は、光学系５に入射する時に光軸Ｌ２にほぼ平行である光線に限定されて撮像面１１ａに入射する。従って、光学系５及びファインダー４と被写体との距離が変化してもＣＣＤ１１によって撮像される像の大きさは変化しない。

このような撮像光学系において面Ｍ_１を眼球の表面として考えると、光ファイバケーブル１２からファインダー４を通して外部に照射された照明光に応じて対象者から反射された光線による像（眼画像）は、光学系５及び絞り部９を経由してＣＣＤ１１の撮像面１１ａによって撮像される。このとき、ＣＣＤ１１及び光源と被写体である眼球との距離が常に無限遠とみなせる。

言い換えると、撮像光学系のテレセントリック光学系の一部を構成する光学系５が、画像表示光学系の光学系としても共用されている。

図１に戻って、絞り部９とＣＣＤ１との間の光軸Ｌ２上に配置された光学系１０は、可視光遮断フィルター（赤外透過フィルター）１０ａとレンズ１０ｂ，１０ｃとからなり、撮像面１１ａへ向けて入射する可視光成分の遮断、及び収差の補正等のために設けられている。

制御装置３は、ＬＣＤ８に表示させるための画像信号を生成するとともに、ＣＣＤ１１によって撮像された画像データを受け取って画像処理を行うＣＰＵ、メモリ、入出力装置からなるコンピュータシステムである。また、制御装置３は、対象者の表示面８ａ上の視点を検出するために視点検出処理、及び検出された視点を補正するための視点較正処理を実行する。以下、制御装置３によって実行される各処理について説明する。

（視点検出処理）
まず、制御装置３による視点検出処理の原理について、図４及び図５を参照しながら説明する。

一般に、対象者の眼球は近似的に眼球Ｅと角膜球Ｃとからなる２重球にモデル化することができる（図４（ａ）参照）。ＣＣＤ１１及び光源１５と眼球Ｅとの距離は無限遠とみさせ、光源１５はＣＣＤ１１の光軸Ｌ２上に存在すると考えることができるので、光源１５からの照明光は平行光として眼球Ｅに照射される。対象者の視線方向を示す視線ベクトルＤ_１が光軸Ｌ２に沿った方向を向いている場合は、照明光に応じて角膜球Ｃの表面において反射（角膜反射）される反射光の光路と、瞳孔の中心Ｃ_Ｐから反射される反射光の光路とがほぼ一致する。従って、撮像面１１ａによって撮像される角膜反射の位置Ｐ_０１と瞳孔中心の位置Ｐ_０２とがほぼ一致することになる（図４（ｂ））。このとき、眼球Ｅが撮像された眼画像Ｇ_０１のどこに位置していても、眼球Ｅが常に撮像面１１ａから無限遠にあると見なせるので、角膜反射の位置Ｐ_０１と瞳孔中心の位置Ｐ_０２との位置関係が変化することはない。

これに対して、対象者の視線ベクトルＤ_２が光軸Ｌ２からずれて斜め方向を向いている場合は、視線ベクトルＤ_２と光軸Ｌ２とが成す角度に比例して、撮像される眼画像Ｇ_０２における角膜反射の位置Ｐ_１１と瞳孔中心の位置Ｐ_１２との相対的な位置関係である座標のずれが大きくなる（図５（ａ）及び図５（ｂ）参照）。このとき、眼球Ｅが撮像された眼画像Ｇ_０２のどこに位置していても、角膜反射の位置Ｐ_１１と瞳孔中心の位置Ｐ_１２との位置関係は変化しないし、眼球Ｅと撮像面１１ａとの距離が有限値だけ変化してもその位置関係は変化しない。従って、眼球Ｅと撮像面１１ａとの位置が３次元的にずれても撮像された角膜反射の位置と瞳孔中心の位置との位置関係を検出すれば、眼球ＥとＣＣＤ１１及び光源１５との位置関係が分からなくても対象者の視線方向を特定することができる。

以上のような原理を利用するため、制御装置３は、まず、ＣＣＤ１１から出力された眼画像に基づいて、所定の閾値と眼画像の輝度とを比較することにより角膜反射の位置を検出する。さらに、制御装置３は、眼画像を含む対象者の顔画像に基づいて、瞳孔の中心位置を検出する。より詳細には、ＣＣＤ１１によって撮像される顔画像は、近赤外光成分を有する照明光の照射によって瞳孔の周辺の顔よりも瞳孔の輝度が高いという性質を有するので、制御装置３は、この輝度差を検出することによって瞳孔の位置を検出することができる。そして、制御装置３は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。

また、制御装置３は、光源から波長850nm付近の照明光と波長950nm付近の照明光とを、対象者の顔の表面における輝度が同一になるような光強度で交互に点灯させて、得られた顔画像の差分を取ることによって、瞳孔の位置を検出するようにしても良い。こうすれば、瞳孔の部分の反射光のレベルは波長850nmの場合のほうが波長950nmの場合より高くなり、差分を取ることで瞳孔以外の部分が相殺されるので、瞳孔部分をより精度よく検出することができる。

上述のようにして得られた角膜反射の位置及び瞳孔中心の位置に基づいて、制御装置３は、以下のようにして対象者の視点を検出する。

図６に示すような表示画像がＬＣＤ８によって表示された場合を考える。ここで、対象者が表示面８ａの中心に位置する原点Ｏから位置ベクトルｇ_１だけ離れた点ＤＰ_１を見ているとする。この場合、ＣＣＤ１１によって図７に示すような眼画像が撮像され、制御装置３が角膜反射の位置から瞳孔中心の位置に至るベクトルｒ_１を相対的位置関係として算出する。ＬＣＤ８の表示面８ａの中心Ｏは、対象者から見て、撮像面１１ａの中心を通る光軸Ｌ２及び光源の光路と一致しているため、中心Ｏを見ることは撮像面１１ａの中心を見ることに相当する。また、既に述べたように、対象者が撮像面１１ａの中心を見る時は、角膜反射と瞳孔中心との像位置は一致する。従って、位置ベクトルｇ_１の表示面８ａの横軸との成す角と、ベクトルｒ_１の撮像面１１ａの横軸との成す角とはφ_１で一致する。

そこで、制御装置３は、位置ベクトルｇ_１の大きさ｜ｇ_１｜とベクトルｒ_１の大きさ｜ｒ_１｜との間に比例関係があることを利用して、予め求めておいた比例係数から位置ベクトルｇ_１を算出して表示面８ａ上の視点ＤＰ_１を検出する。

（視点較正処理）
しかしながら、実際の人間の眼球Ｅでは、図８に示すように眼球Ｅの光軸Ｌ３と視線方向を示す視軸Ｄ_１とは異なる方向を向いている。ここでいう、光軸Ｌ３は、眼球Ｅの中心と瞳孔中心Ｃ_Ｐとを通る直線と考えられ、眼球光学系の対称軸である。また、視軸Ｄ_１は、網膜上で視覚の分解能が最も高い部分である中心窩に像が投影されるときの光の経路を示す軸であり、一般には視軸の先に視対象が存在すると考えられる。このようにとらえると、図９（ａ）に示すような表示画像がＬＣＤ８に表示され、視対象が原点Ｏに位置している場合は、図９（ｂ）に示すように、撮像面１１ａにおける角膜反射の位置Ｐ_２１と瞳孔中心の位置Ｐ_２２とがずれることになる。このずれ量は、対象者毎に個人差が生じるので、位置ベクトルｇ_１（図６参照）の大きさ｜ｇ_１｜とベクトルｒ_１（図７参照）の大きさ｜ｒ_１｜との間の関係が一律には決まらなくなる。そこで、制御装置３は、以下のようにして視点較正処理を実行する。

まず、制御装置３は、表示面８ａ上にカーソル（指標画像）Ｃｕ_１を表示させながら、撮像された眼画像において角膜反射の位置Ｐ_３１と瞳孔中心の位置Ｐ_３２とが一致する方向にカーソルＣｕ_１を移動させて、両位置Ｐ_３１，Ｐ_３２が一致するカーソル（第１の指標画像）Ｃｕ_１の座標を探索し記憶する（図１０（ａ）及び図１０（ｂ）参照）。そして、記憶した点を新たな原点Ｏ’に置き換える（図１１（ａ））。

このような原点補正後に、図１２（ａ）に示すように、制御装置３は、表示面８ａ上の別の位置にカーソル（第２の指標画像）Ｃｕ_２を表示させると同時に、図１２（ｂ）に示す眼画像における角膜反射の位置から瞳孔中心の位置に至るベクトルｒ_２を算出する。その後、制御装置３は、カーソルＣｕ_１の位置に対応して原点補正されたカーソルＣｕ_２の位置ベクトルｇ_２と、ベクトルｒ_２との関係を示す係数ｋを、下記式（１）；
|g_２|＝ｋ|r_２| …（１）
に基づいて求める。

また、ＨＭＤ２の筐体が眼球に対して斜めに装着されているときは、位置ベクトルｇ_２の表示面８ａの横軸との成す角φ_２’と、ベクトルｒ_２の撮像面１１ａの横軸との成す角φ_２とは異なる値になる。そこで、制御装置３は、下記式（２）；
φ_２−φ_２’ ≡Δφ …（２)
によって角度補正値Δφを求めておく。そして、制御装置３は、実際の視点検出時の角膜反射の位置から瞳孔中心の位置に至るベクトルｒ_３を求めた後、下記式（３）；
φ_３’=φ_３−Δφ …（３）
により、ベクトルｒ_３の撮像面１１ａの横軸との成す角φ_３をΔφで補正することによって、視点検出対象の位置ベクトルｇ_３の表示面８ａの横軸との成す角φ_３’を求める。

最後に、制御装置３は、原点Ｏ’(x0’，y0’)に対する対象者の視点座標ｇ_３（ｘ，ｙ）を、下記式（４）；
（ｘ，ｙ）＝（ｘ０’+ｋ｜ｒ_３｜cosφ_３’，ｙ０’+ｋ｜ｒ_３｜sinφ_３’) …（４）
によって算出する。

なお、ＬＣＤ８の表示面８ａに対する対象者の視角が小さければ、位置ベクトルｇ_２とベクトルｒ_２との間に線形関係が成り立つが、視角が大きいときは次のようにして両ベクトルの関係を求める。すなわち、制御装置３は、表示面８ａに複数のカーソルＣｕを表示させて、対象者がそれを見たときの両ベクトルｇ_２，ｒ_２を記憶しておく。そして、次式（５）；
|ｇ_２|=ａ|ｒ_２|^ｂ …（５）
を用いてカーブフィッティング（曲線近似）して係数ａ，ｂを求める。また、制御装置３は、それぞれのカーソルＣｕについて角度補正値Δφを式（２）を用いて求め、その平均値を式（３）に適用して位置ベクトルｇ_３の成す角を算出する。

以上説明した視点検出装置１の応用例について説明する。図１３は、視点検出装置１の応用例について説明する概念図である。同図に示すように、患者等の対象者Ｈの眼にＨＭＤ２が眼鏡等を介して装着され、ＨＭＤ２の外部に接続されたパーソナルコンピュータ（検出手段、入力文字特定手段）３が、入力文字を選択するための複数の範囲に区切られた選択用画像１６を表示面８ａに表示させる。パーソナルコンピュータ３は、対象者Ｈの選択用画像１６上の視点位置を検出し、視点位置を所定時間以上特定範囲内に認識した場合、特定範囲において対象者Ｈの瞬きを検出した場合、又は、対象者の手足の一部（例えば、足の親指のみ）に残存機能があるときはその部分によるボタン（図示せず）等の操作を検知した場合に、その範囲に対応する入力文字が対象者Ｈによって入力されたものと特定する。また、パーソナルコンピュータ３は、入力文字を認識すると、その文字を音声出力すると同時に外部に接続されたディスプレイ（情報表示手段）１７に出力する。このようにすれば、患者等の体の不自由な方を対象にしても、周囲の人間が対象者の意志を簡単に読み取ることができる。

このような視点検出装置１によれば、ファインダー４から外部に表示画像が投射される際に、表示面８ａから焦点距離ｆ_１の位置に設けられた光学系５を経由することによって、表示面８ａ上の１点と対象者の視線の角度とが１対１に対応する。それと同時に、照明光の照射に応じて対象者の眼画像がテレセントリック光学系を経由してＣＣＤ１１に映し出されることにより、対象者の位置がファインダー４に対して前後に変化しても撮像される眼画像の大きさは変化しない。換言すれば、対象者は無限遠から光を照射されながら無限遠から撮像されていることになるので、ＨＭＤ２の筐体と眼球とのずれが生じても、一定の方向に視線が向いている限り瞳孔中心と角膜反射位置との相対関係は変化しない。これにより、対象者の眼画像に基づいて視点位置を検出する際に、表示面８ａ上の対象者の実際の視点と、検出される視線方向とが１対１に対応するので、筐体に対する対象者の位置が変化しても対象者の視点検出の誤差が低減される。

特に、制御装置３においては、眼画像における角膜反射の位置と瞳孔中心の位置との位置関係に応じて視点位置を算出しているので、対象者の位置が窓部に対して垂直な方向又は平行な方向に変化しても、撮像される眼画像における角膜反射の位置と瞳孔中心の位置との位置関係は変化しないので、対象者の視点検出の誤差が確実に低減される。

また、制御装置３において視点較正処理が実行されることにより、対象者の眼球の光軸と視線（視軸）の方向とが異なる場合であっても、予め表示されたカーソルに対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、ＨＭＤ２の各構成要素の光軸Ｌ１，Ｌ２上の配置については、様々な変形態様を採ることができる。例えば、図１４に示す本発明の変形例であるＨＭＤ１０２のように、画像表示光学系の光軸Ｌ１上に設けられたテレセントリックレンズである光学系１０５ａと、撮像光学系の光軸Ｌ２上に設けられたテレセントリックレンズである光学系１０５ｂとを別体に設けてもよい。また、同図に示すように、光ファイバケーブル１２から照射される照明光を、画像表示光学系の光軸Ｌ１に沿って照射させるように構成してもよい。なお、この照明光は、図１４の光ファイバケーブル１２の先端に相当する位置に固定したＬＥＤ等の小型の光源装置から照射させてもよい。このようなＨＭＤ１０２においては、ＬＣＤ８の前面に、照明光を光軸Ｌ１に沿った方向に反射させ、ＬＣＤ８によって表示される表示画像を光軸Ｌ１に沿って透過させるダイクロイックミラー１０３が配置され、ファインダー４の内側に、照明光により対象者の眼球から反射された光を光軸Ｌ２に沿った方向に反射させるハーフミラー１０４が配置される。

また、制御装置３は、前述した視点較正処理に代えて、以下のように処理してもよい。具体的には、制御装置３は、図１５（ａ）に示すように、表示面８ａ上の原点ＯにカーソルＣｕ_３を表示し、そのときの角膜反射の位置から瞳孔中心の位置に至るベクトルΔｒ（図１５（ｂ）参照）を算出する。次に、制御装置３は、そのカーソルＣｕ_３とは別の位置に別のカーソルＣｕ_４を表示させ（図１６（ａ）参照）、そのときの角膜反射の位置から瞳孔中心の位置に至るベクトルｒ_４（図１６（ｂ）参照）を求める。そして、制御装置３は、ベクトルｒ_４を下記式（６）；
ｒ_４’＝ｒ_４−Δｒ …（６）
を用いてベクトルｒ_４’に補正する。その後は、上述したように、式（１）及び式（２）にベクトルｒ_４’を適用するとともに、視点検出時の角膜反射の位置から瞳孔中心の位置に至るベクトルを上記式（６）を用いて補正した後に、式（３）及び式（４）を適用することによって、表示面８ａ上の視点位置を検出することができる。このような視点較正処理によれば、対象者にカーソルを追跡視させる必要がないため、ユーザに対する負担をかけることなく精度の高い視点位置の検出が可能となる。

また、制御装置３は、ＨＭＤ２に外部接続された装置に限定されるものではなく、ＨＭＤ２の筐体に内蔵されるＣＰＵボード等の演算装置であってもよい。

本発明において、窓部と撮像手段との間の光路上において該テレセントリックレンズの焦点位置に配置されたテレセントリック絞りを更に有することが好ましい。

また、画像表示手段は、その表示面が画像表示手段と窓部との間に配置されたレンズの焦点位置に配置されていることも好ましい。

また、照明光は、画像表示手段と窓部との間の光路上において対象者から無限遠の距離に位置するとみなせる光源から照射されることが好ましい。こうすれば、対象者の位置がずれた場合であっても照射される照明光が常に平行光として照射されるので、対象者の視線方向が安定して検出される。

また、検出手段は、眼画像における角膜反射の位置と瞳孔中心の位置とを検出し、角膜反射の位置と瞳孔中心の位置との位置関係に応じて視点位置を算出することも好ましい。この場合、対象者の位置が窓部に対して垂直な方向又は平行な方向に変化しても、撮像される眼画像における角膜反射の位置と瞳孔中心の位置との位置関係は変化しないので、対象者の視点検出の誤差が確実に低減される。

また、検出手段は、画像表示手段において指標画像を表示させながら、角膜反射の位置と瞳孔中心の位置とを検出し、角膜反射の位置と瞳孔中心の位置とが一致する第１の指標画像の座標を探索すると共に、画像表示手段において第１の指標画像とは異なる位置に第２の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置関係を求め、当該位置関係と第１及び第２の指標画像の座標とに基づいて視点位置を較正することも好ましい。こうすれば、対象者の眼球の光軸と視線（視軸）の方向とが異なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。

さらに、検出手段は、画像表示手段における特定位置に第１の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置との第１の位置関係を求めると共に、画像表示手段において第１の指標画像とは異なる位置に第２の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置との第２の位置関係を求め、当該第１及び第２の位置関係と第１及び第２の指標画像の座標とに基づいて視点位置を較正することも好ましい。このような構成により、対象者の眼球の光軸と視線（視軸）の方向とが異なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。

またさらに、対象者に入力文字を選択させるための選択用画像を画像表示手段に表示させた後、検出手段によって検出された視点位置に基づいて入力文字を特定する入力文字特定手段を更に備えることも好ましい。このようにすることで、対象者が視線の動きのみで文字入力を行う際に対象者の位置が変動しても、文字入力の精度及びユーザの利便性を高めることができる。

さらにまた、入力文字特定手段は、特定した入力文字を外部の情報表示手段に出力することも好ましい。かかる構成を採れば、対象者の入力した入力文字を読み取ることができるので、周囲の人間が対象者の意志を簡単に把握することができる。

本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置を使用用途とし、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させるものである。

Claims (9)

1. 画像表示手段によって表示された表示画像を窓部を介して外部に投射すると共に、前記窓部の外部に位置する対象者に向けて照射された照明光に応じて、前記対象者の眼画像を撮像手段によって撮像することによって、前記対象者の前記表示画像上の視点を検出する視点検出装置であって、
   前記窓部と前記撮像手段との間の光路上に配置されたテレセントリックレンズと、
   前記画像表示手段と前記窓部との間の光路上に配置され、前記テレセントリックレンズの一部を構成するレンズと、
   前記撮像手段によって撮像された眼画像に基づいて前記対象者の視点位置を検出する検出手段と、
   を備えることを特徴とする視点検出装置。
2. 前記窓部と前記撮像手段との間の光路上において該テレセントリックレンズの焦点位置に配置されたテレセントリック絞りを有することを特徴とする請求項１に記載の視点検出装置。
3. 前記画像表示手段は、その表示面が前記画像表示手段と前記窓部との間に配置された前記レンズの焦点位置に配置されていることを特徴とする請求項１又は２記載の視点検出装置。
4. 前記照明光は、前記画像表示手段と前記窓部との間の光路上において前記対象者から無限遠の距離に位置するとみなせる光源から照射される、
   ことを特徴とする請求項１〜３のいずれか一項に記載の視点検出装置。
5. 前記検出手段は、前記眼画像における角膜反射の位置と瞳孔中心の位置とを検出し、前記角膜反射の位置と前記瞳孔中心の位置との位置関係に応じて前記視点位置を算出する、
   ことを特徴とする請求項１〜４のいずれか一項に記載の視点検出装置。
6. 前記検出手段は、前記画像表示手段において指標画像を表示させながら、前記角膜反射の位置と前記瞳孔中心の位置とを検出し、前記角膜反射の位置と前記瞳孔中心の位置とが一致する第１の指標画像の座標を探索すると共に、前記画像表示手段において前記第１の指標画像とは異なる位置に第２の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置関係を求め、当該位置関係と前記第１及び第２の指標画像の座標とに基づいて前記視点位置を較正する、
   ことを特徴とする請求項５に記載の視点検出装置。
7. 前記検出手段は、前記画像表示手段における特定位置に第１の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置との第１の位置関係を求めると共に、前記画像表示手段において前記第１の指標画像とは異なる位置に第２の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置との第２の位置関係を求め、当該第１及び第２の位置関係と前記第１及び第２の指標画像の座標とに基づいて前記視点位置を較正する、
   ことを特徴とする請求項５に記載の視点検出装置。
8. 前記対象者に入力文字を選択させるための選択用画像を前記画像表示手段に表示させた後、前記検出手段によって検出された視点位置に基づいて前記入力文字を特定する入力文字特定手段を更に備える、
   ことを特徴とする請求項１〜７のいずれか一項に記載の視点検出装置。
9. 前記入力文字特定手段は、特定した前記入力文字を外部の情報表示手段に出力することを特徴とする請求項８に記載の視点検出装置。

Images