WO2015012280A1 - 視線検出装置 - Google Patents

Abstract

【課題】ユーザーの眼の瞳孔の位置が正確に検出される視線検出装置を提供する。 【解決手段】視線検出装置１は、受光手段２２と、導光手段３０と、測定手段２５と、算出手段２５とを有する。受光手段２２は、ユーザーの眼ＵＥからの光を受光し、当該光の強度に応じた受光信号を生成する。導光手段３０は、上記眼からの光を受光手段２２に導く。測定手段２５は、上記受光信号に基づいて、導光手段３０と上記眼の瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を測定する。算出手段２５は、上記位置関係に基づいて、上記ユーザーの瞳孔ＰＵの位置を算出する。

Description

視線検出装置

　本発明は、視線検出装置に関する。

　現実世界の像である外界像にコンピューターグラフィックスなどで作成した仮想世界の映像である仮想映像を重ね合せてディスプレイに表示する技術が一般に知られている。この技術では、ユーザーは、あたかも仮想映像が外界像と一体となってディスプレイに表示されているように知覚する。上記外界像は、透明なガラスや樹脂などを通してユーザーが直接見ることができる現実世界の像であってもよいし、あらかじめカメラなどの撮像装置で外界を撮像した映像を再生したものであってもよい。

　また、近年では、たとえば、ユーザーの手足や眼などの身体の位置や挙動を検知することにより、ユーザーが仮想映像や機器に対して働きかけることを可能にする技術についても研究が進められている。とくに、ユーザーの眼の瞳孔の位置に基づいて視線を検出することによって、現実世界や映像におけるユーザーの視線の先にある対象を判別する技術が注目されており、様々な分野における応用が期待されている。たとえば、パーソナル・コンピューターを操作する方法として、従来のキーボード、マウスなどによる操作に加えて、ユーザーの視線によって操作する技術も開発されている。

　視線を検出する方法としては、カメラにより撮像したユーザーの眼の映像から瞳孔の位置を検出し、当該瞳孔の位置に基づいて視線を検出する方法が従来から知られている（たとえば、下記特許文献１を参照）。特許文献１の技術では、眼鏡型のヘッドマウントディスプレイをユーザーが装着し、当該ヘッドマウントディスプレイのシースルー部材（眼鏡のレンズに相当する部分）を通してユーザーの眼の像が撮像される。そして、眼の映像から瞳孔の位置が検出され、当該瞳孔の位置に基づいて視線の方向が検出される。

　しかしながら、特許文献１の技術では、ヘッドマウントディスプレイのシースルー部材とユーザーの眼との間の距離が考慮されていないため、ヘッドマウントディスプレイの装着状態が変化すると、ユーザーの眼の瞳孔の位置が正確に検出されないという問題がある。また、ユーザーの眼の瞳孔の位置が正確に検出されないので、ユーザーの視線の方向も正確に検出されないという問題もある。

特開２０１０－１０２２１５号公報

　本発明は、上記問題に鑑みてなされたものである。したがって、本発明の目的は、ユーザーの眼の瞳孔の位置が正確に検出される視線検出装置を提供することである。

　本発明の上記目的は、下記によって達成される。

　（１）ユーザーの眼からの光を受光し、当該光の強度に応じた受光信号を生成する受光手段と、前記眼からの光を前記受光手段に導く導光手段と、前記受光信号に基づいて、前記導光手段と前記眼の瞳孔または虹彩との間の位置関係を測定する測定手段と、前記位置関係に基づいて、前記ユーザーの瞳孔の位置を算出する算出手段と、を有する、視線検出装置。

　（２）前記測定手段は、前記位置関係として前記導光手段の接眼面と前記虹彩との距離を測定し、前記算出手段は、前記距離に基づいて前記接眼面を基準とする前記瞳孔の位置および前記瞳孔の向きを算出し、前記瞳孔の向きに基づいて視線方向を算出することを特徴とする上記（１）に記載の視線検出装置。

　（３）前記導光手段は、前記眼からの光を回折させることにより進路を変えて、前記受光手段に導くことを特徴とする上記（１）または（２）に記載の視線検出装置。

　（４）前記受光手段は、複眼撮像装置を有し、前記受光信号としての画像信号を生成し、前記測定手段は、前記画像信号に基づいて、前記距離を測定することを特徴とする上記（２）または（３）に記載の視線検出装置。

　（５）前記受光手段は、複眼撮像装置としてステレオカメラを有し、前記受光信号としての画像信号を生成し、前記測定手段は、前記画像信号に基づいて、前記距離を測定することを特徴とする上記（２）または（３）に記載の視線検出装置。

　（６）前記受光手段は、複眼撮像装置としてアレイカメラを有し、前記受光信号としての画像信号を生成し、前記測定手段は、前記画像信号に基づいて前記距離を測定することを特徴とする上記（２）または（３）に記載の視線検出装置。

　（７）前記ユーザーの眼に照射光を照射する照明手段をさらに有することを特徴とする上記（１）～（６）のいずれか１つに記載の視線検出装置。

　（８）前記ユーザーの眼に照射光を照射する照明手段をさらに有し、前記照明手段は、前記照射光としてパルス光を照射し、前記受光手段は、ＴＯＦカメラを有し、前記眼から反射された反射光を当該ＴＯＦカメラで受光し、前記パルス光に対する反射光の遅延時間を前記受光信号に基づいて算出し、当該遅延時間に基づいて前記距離を測定することを特徴とする上記（１）～（３）のいずれか１つに記載の視線検出装置。

　（９）前記導光手段は、ホログラフィック光学素子を有し、前記照射光を当該ホログラフィック光学素子で回折させることにより進路を変えて、前記眼に導くとともに、前記眼によって反射された反射光を前記受光手段に導くことを特徴とする上記（７）に記載の視線検出装置。

　（１０）前記導光手段は、透明板を有し、当該透明板は前記接眼面を含むことを特徴とする上記（１）～（９）のいずれか１つに記載の視線検出装置。

　（１１）前記ユーザーの頭部に装着されるように構成されていることを特徴とする上記（１）～（１０）のいずれか１つに記載の視線検出装置。

　（１２）前記照射光は、赤外光であることを特徴とする上記（７）に記載の視線検出装置。

　（１３）外界の被写体を撮像する被写体用撮像手段と、前記算出手段で算出された前記視線方向に基づいて、前記被写体用撮像手段で撮像された映像における前記ユーザーの視線の先にある対象を特定する特定手段と、をさらに有することを特徴とする上記（２）～（１２）のいずれか１つに記載の視線検出装置。

　（１４）前記ユーザーの視線の先にある対象を特定する特定手段に基づいて、前記ユーザーの視線の先にある対象に関する情報を表示部に表示することを特徴とする上記（１３）に記載の視線検出装置。

本発明の第１の実施形態における視線検出装置の主要部を示す外観図である。 図１に示す視線検出装置の検出部の概略ブロック図である。 図１に示す検出部におけるライトおよびカメラの配置を示す模式図である。 図１に示す視線検出装置のＩＶ－ＩＶ線に沿って切断した断面図である。 ライトから照射された赤外光の導光部における光路を説明するための断面図である。 ユーザーの眼からの反射光の導光部における光路を説明するための断面図である。 図５および図６において検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図である。 ユーザーの視線方向を算出する方法を説明するための概念図である。 ユーザーの視線方向を算出する方法を説明するための概念図である。 表示部からの表示光の導光部における光路を説明するための断面図である。 本発明の第２の実施形態において、超解像型アレイカメラを使用する場合の検出部のライトおよびカメラの配置を示す図である。 図１０Ａの検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図である。 本発明の第２の実施形態において、超解像型アレイカメラで撮像する場合の他の形態を示す概念図である。 本発明の第２の実施形態において、視野分割型アレイカメラを使用する場合の検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図である。 本発明の第２の実施形態において、昆虫型アレイカメラを使用する場合の反射光の光路を説明するための概念図である。 本発明の第３の実施形態において、検出部のライトおよびカメラの配置を示す図である。 第４の実施形態において被写体を撮像するためのステレオカメラを有する場合について説明するための外観図である。 第４の実施形態において被写体を撮像するためのアレイカメラを有する場合について説明するための外観図である。

　以下、添付した図面を参照して本発明の視線検出装置の実施形態を説明する。なお、図中、同一の部材には同一の符号を用いた。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

　（第１の実施形態）
　第１の実施形態では、複眼撮像装置として２つのカメラを有し、ステレオ方式でユーザーの眼を撮像するヘッドマウントディスプレイ（以下、ＨＭＤと称する）を例に挙げて視線検出装置について説明する。図１は本発明の第１の実施形態における視線検出装置の主要部を示す外観図であり、図２は図１に示す視線検出装置の検出部の概略ブロック図であり、図３は図１に示す検出部におけるライトおよびカメラの配置を示す模式図である。図４は図１に示す視線検出装置のＩＶ－ＩＶ線に沿って切断した断面図である。なお、直交座標系のＸ軸、Ｙ軸、Ｚ軸を図１に示す方向に定めた。

　図１に示すように、本実施形態の視線検出装置１は、装着部１０、検出部２０、および導光部３０を有する。なお、本明細書を通して、視線検出装置１を装着したユーザーの眼の瞳孔の中心位置を「視点」と称し、ユーザーの視線の方向を「視線方向」と称する。

　＜装着部の概略構成＞
　装着部１０は、一対の第１支持部材１１Ｒ，１１Ｌ、第２支持部材１２Ｒ，１２Ｌ、および連結部材１３を有し、検出部２０および導光部３０をユーザーの頭部に固定する役割を果たす。

　第１支持部材１１Ｒ，１１Ｌは、たとえば金属、樹脂などの材料で形成され、端部が湾曲した棒状の部材であり、一端において導光部３０を支持し、他端においてユーザーの側頭部と耳部との間の部位によって支持される。

　第２支持部材１２Ｒ，１２Ｌは、たとえば金属、樹脂などの材料で形成された部材であり、導光部３０に取り付けられ、ユーザーの鼻部によって支持される。

　連結部１３は、たとえば金属、樹脂などの材料で形成された部材であり、導光部３０の一対の透明板３１Ｒ，３１Ｌを互いに連結する。

　視線検出装置１がユーザーの頭部に装着されたとき、透明板３１Ｒ、３１Ｌはそれぞれ左右の眼の直前に位置し、第１支持部材１１Ｒ、１１Ｌは左右から頭部を挟んで耳部の上縁を含む側頭部で支持され、第２支持部材１２Ｒ，１２Ｌは鼻部の上部両側部で支持される。すなわち、本実施形態の視線検出装置１は、全体として一般の眼鏡に類似した形状を呈し、透明板３１Ｒ、３２Ｒがレンズに相当し、支持部材１１Ｒ、１１Ｌがつる（テンプル）に相当し、第２支持部材１２Ｒ，１２Ｌが鼻当てに相当する。

　＜検出部の概略構成＞
　検出部２０は、導光部３０によって導かれたユーザーの眼の映像に基づいて視点および視線方向を検出する。本実施形態では、検出部２０は導光部３０の透明板３１Ｒの上部に取り付けられている。

　図２に示すように、検出部２０は、照明部２１、撮像部２２、表示部２３、通信部２４、および演算制御部２５を有し、これらの構成要素は、バスまたは制御線２６により電気的に相互に接続されている。

　照明部２１は、照明手段として、導光部３０を介してユーザーの眼に光を照射する。照明部２１は、図示しない発光素子と当該発光素子を駆動する発光駆動部とを備えるライト２１Ａ，２１Ｂを有する（図３を参照）。本実施形態では、照明部２１の左右２つのライト２１Ａ，２１Ｂによってユーザーの眼に２つの方向から光が照射される。

　上記発光素子は、たとえば、赤外光を発する赤外ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）でありうる。赤外光をユーザーの眼に照射することにより、夜間や暗室のような可視光が乏しい場所であってもユーザーの眼を撮像できる。なお、撮像部２２は赤外光に感度を有するように構成されており、赤外光により撮像された映像は赤外光の輝度を表した一種のモノクロ画像である。

　また、赤外光を使用することにより、ユーザーの眼を撮像するときに外界像のノイズが混入することを避けられるので、ユーザーの眼の映像を精度良く認識できる。一方、可視光による撮像では、ユーザーの眼から撮像部２２に導かれる光は、ユーザーの眼の像だけでなく、ユーザーの眼の表面に映った外界像も含まれる。したがって、ユーザーの眼を撮像するときに外界像のノイズが混入するおそれがある。

　撮像部２２は、受光手段として、導光部３０を介して伝達されたユーザーの右眼からの反射光を受光することにより、ユーザーの右眼を撮像する。撮像部２２は、図示しない撮像素子と、当該撮像素子上に光を結像させる撮像レンズと、当該撮像素子を駆動する撮像駆動部とを備えるカメラ２２Ａ，２２Ｂを有する。撮像部２２は、ユーザーの右眼からの反射光を上記撮像素子で受光して光電変換し、受光信号としての映像信号を生成し、演算制御部２５に送信する。本実施形態では、上記撮像素子は、たとえば、赤外光に感度を有するＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを備える。

　図３に示すように、本実施形態では、カメラ２２Ａ，２２Ｂは、左右に分かれて配置されて複眼撮像装置として機能し、ステレオ方式で２つの方向からユーザーの右眼を撮像する。２つのカメラ２２Ａ，２２Ｂで撮像されたユーザーの右眼の映像信号は、演算制御部２５に送信される。カメラ２２Ａ、２２Ｂの光学系、撮像素子は一体的に構成されたものでも良い。

　表示部２３は、透明板３１Ｒの接眼面に所定の映像を表示する。図４に示すように、本実施形態では、表示部２３は、導光部３０の上部に配置され、図示しない表示素子と当該表示素子を駆動する表示駆動部とを備えるディスプレイを有する。上記表示素子は、たとえば液晶表示素子、ＬＥＤ発光表示素子、有機発光表示素子などでありうる。

　本実施形態の視線検出装置１は、ユーザーの視点および視線方向を検出し、検出結果に基づいて、上記所定の映像におけるユーザーの視線方向の先にある対象物を特定する。上記所定の映像は、たとえば、上記対象物を含む外界を撮像した映像、機器を制御するためのメニュー画面、映画やテレビ番組の映像などである。

　通信部２４は、有線通信方式または無線通信方式の送信器および受信器とそれらを含め全体をコントロールするＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）（不図示）を備え、演算制御部２５と外部機器との間で各種データを送受信する。通信部２４は、算出されたユーザーの視点および視線方向の被写体に関する情報などを外部機器に送信したり、視線方向の被写体に関する情報を受信したりする。通信部２４は、受信したデータを演算制御部２５、表示部２３に伝達し、表示部に表示したりする。

　演算制御部２５は、照明部２１、撮像部２２、表示部２３、および通信部２４を制御する。演算制御部２５は、図示しないＣＰＵおよびメモリを有する。上記メモリには、制御プログラムが保存されており、上記ＣＰＵは当該制御プログラムを実行して照明部２１、撮像部２２、表示部２３、および通信部２４を制御する。また、演算制御部２５は、撮像部２２で撮像したユーザーの眼の映像信号に対して距離計測、虹彩形状計測、虹彩傾き計測、視点検知、視線検知、階調変換、歪曲補正、ノイズ除去、などの各種の処理を実行する。

　とくに、本実施形態では、演算制御部２５は、ユーザーの眼の映像信号に基づいて、導光部３０とユーザーの右眼ＵＥの瞳孔または虹彩との間の位置関係を測定し、当該位置関係に基づいて、ユーザーの右目の視点および視線方向を算出する。演算制御部２５は、測定手段および算出手段として機能する。上記メモリには、上記位置関係、上記視点および上記視線方向に関する情報が一時的に保存される。上記位置関係の測定方法、ならびに上記視点および上記視線方向の算出方法の詳細については後述する。

　導光部３０は、導光手段として、照明部２１からの照射光をユーザーの右眼ＵＥに導くとともに、ユーザーの右眼ＵＥからの反射光を撮像部２２に導く。また、導光部３０は、表示部２３で表示された映像の光をユーザーの右眼ＵＥに導く。図４に示すように、導光部３０は、透明板３１Ｒおよびホログラフィック光学素子（以下、ＨＯＥと称する）３２Ａ，３２Ｂを有する。尚、３２Ａは通常のハーフミラーでも良い。

　なお、検出部２０および導光部３０を透明板３１Ｌに配置すれば、左眼の視点および視線方向を検出できるので、本実施形態の視線検出装置１は右眼の視点および視線方向を検出する場合に限定されない。以下の説明では、ユーザーの右眼および左眼を合せて、単にユーザーの眼ＵＥと記載する。

　透明板３１Ｒは、屈折率が空気よりも大きいガラス、樹脂などの材料で形成された透明な板である。透明板３１Ｒの内部には、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ　Ｏｐｔｉｃａｌ　Ｅｌｅｍｅｎｔ）３２Ａ，３２Ｂが形成されている。

　ＨＯＥ３２Ａ，３２Ｂは、ホログラムを利用した光学素子であり、特定の波長の光のみを反射し、その他の波長の光を透過する性質を有する。ホログラムは、レーザーなどの干渉性の高い２つの光束を感光材に照射し、その干渉状態を記録することで作製される。

　本実施形態では、ＨＯＥ３２Ａ，３２Ｂは、赤外（ＩＲ）光を選択的に反射し、可視光に対してはハーフミラーとなるように設計されている。すなわち、ＨＯＥ３２Ａ，３２Ｂは、一方の面（第１面）から入射した可視光に対しては透過させ、他方の面（第２面）から入射した可視光に対しては反射させる。したがって、ＨＯＥ３２Ｂの存在によりユーザーが観察する外界像の一部が暗くなることはない。一方、赤外光については、第１面および第２面のどちらの面に入射した光も反射される。

　図４に示す例では、ＨＯＥ３２Ａについては、表示部２３側に第１面が、照明部２１Ａ側に第２面が向くように配置されている。また、ＨＯＥ３２Ｂについては、ユーザーの眼ＵＥに第２面が向くように配置されている。

　このように、本実施形態では、ＨＯＥ３２Ａ，３２Ｂは表示用の可視光に加え、赤外光も反射する機能を有しているので、表示機能と照明機能とを兼ね備えることができる。また、本実施形態では、ＨＯＥ３２Ｂを利用することにより、ユーザーの眼ＵＥを概ね正面から撮像できる。したがって、ユーザーの視界を確保しつつ、視点および視線方向を正確に検出できる。

　なお、撮像部２２が、たとえば表示部２３を挟んで２つの方向からユーザーの眼ＵＥを撮像する場合、ＨＯＥ３２Ａ，３２Ｂの中央部は、表示部２３からの表示光を回折するために使用される。一方、ＨＯＥ３２Ａ，３２Ｂの両端部は、ユーザーの眼ＵＥからの反射光を撮像部２２に向けて回折するために使用される。

　次に、図５～図８Ｂを参照して、上述のとおり構成される本実施形態の視線検出装置１の作用について説明する。

　図５は照明部から照射された赤外光の導光部における光路を説明するための断面図であり、図６はユーザーの眼からの反射光の導光部における光路を説明するための断面図である。また、図７は図５および図６において検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図であり、図８Ａおよび図８Ｂはユーザーの視線方向を算出する方法を説明するための概念図である。図９は、表示部からの表示光の導光部における光路を説明するための断面図である。

　図５に示すように、ライト２１Ａ，２１Ｂから照射された照射光ＬＡは、ＨＯＥ３２Ａにて反射され、透明板３１Ｒの方向に向きを変えて進む。そして、照射光ＬＡは、透明板３１Ｒと外部の空気との界面を全反射しながらＨＯＥ３２Ｂに向かって進行し、ＨＯＥ３２Ｂにて反射され、ユーザーの眼ＵＥに到達する。

　図６に示すように、ユーザーの眼ＵＥにて反射された反射光ＲＡは、ＨＯＥ３２Ｂにて反射され、透明板３１Ｒと外部の空気との界面を全反射しながらＨＯＥ３２Ａに向かって進行し、ＨＯＥ３２Ａにて反射され、カメラ２２Ａ、２２Ｂに到達する。

　図５および図６において検出部から導光部の方向を見たときの照射光および反射光の光路について、図７を参照して以下に説明する。なお、図７では、導光部の図示を省略し、光路をＸＺ平面上の直線として表現する。

　図７に示すように、ライト２１Ａ，２１Ｂは、カメラ２２Ａ，２２Ｂを挟んで左右からユーザーの眼ＵＥを照射光ＬＡ，ＬＢで照射する。一方、ユーザーの眼ＵＥからの反射光ＲＡ，ＲＢは、２つのカメラ２２Ａ，２２Ｂで各々受光される。このように、本実施形態では、カメラ２２Ａ，２２Ｂは、互いに異なる２つの方向からユーザーの眼ＵＥを撮像することができる。そして、２つのカメラ２２Ａ，２２Ｂで撮像されたユーザーの眼ＵＥの映像信号は、演算制御部２５に送信される。

　演算制御部２５は、カメラ２２Ａ，２２Ｂで撮像されたユーザーの眼ＵＥの映像に基づいて、導光部３０とユーザーの眼ＵＥの瞳孔または虹彩との間の位置関係を測定し、当該位置関係に基づいて、視点および視線方向を算出する。より具体的には以下に示すとおりである。

　図８Ａおよび図８Ｂに示すように、ＨＯＥ３２Ｂの中心を透過する光線が導光部３０の接眼面ＥＳと交差する点を原点Ｏにとる。そして、図８Ａの紙面に垂直で奥から手前に向かう方向をＸ軸方向、原点Ｏからユーザーの眼ＵＥの中心に向かう方向をＺ軸方向、Ｘ軸方向およびＺ軸方向に垂直な方向であってＨＯＥ３２Ｂから検出部２０へ向かう方向をＹ軸方向とする直交座標系を設定する。

　図８Ｂにおいて、ユーザーの眼ＵＥは、虹彩ＩＲおよび瞳孔ＰＵを含む。虹彩ＩＲおよび瞳孔ＰＵは略円形状であり、虹彩ＩＲの円をＳｉとし、瞳孔ＰＵの円をＳｐとする。円Ｓｉおよび円Ｓｐの中心、すなわち瞳孔ＰＵの中心（視点）は、ｐ０（ｘｐ，ｙｐ，ｚｐ）である。

　また、ｐ０から導光部３０のＸＹ平面（接眼面ＥＳ）に向けて引いた法線ｎと当該ＸＹ平面との交点をｓ（ｘｓ，ｙｓ）とし、法線ｎの方位角（左右の角度）および仰角（上下の角度）をそれぞれθｘおよびθｙとする。このように定義すると、ｐ０とｓとを結ぶ線がユーザーの視線に相当する。

　ｐ０とｓとを結ぶ線の方向は、瞳孔ＰＵを含む平面に対して垂直であるので、円Ｓｐを含む平面（以下、Ｓｐ平面と称する）の向きに基づいて算出されうる。演算制御部２５は、２つのカメラ２２Ａ，２２Ｂで撮像したユーザーの眼ＵＥの映像から、導光部３０の接眼面ＥＳと虹彩ＩＲとの距離と上記映像での虹彩ＩＲの形状とを算出できる。

　より具体的には、２つのカメラ２２Ａ，２２Ｂは、所定の基線長を有し、ユーザーの眼ＵＥを撮像する。演算制御部２５は、２つのカメラ２２Ａ，２２Ｂによって撮像された２方向からの虹彩ＩＲおよび瞳孔ＰＵの画像を比較し、立体視の原理（三角測量の原理）に基づいて導光部３０の接眼面ＥＳと虹彩ＩＲとの距離を算出する。また、演算制御部２５は、上記映像を画像認識し、上記映像での虹彩ＩＲの形状を抽出する。そして、演算制御部２５は、上記距離と上記形状とに基づいて、ｐ０の座標とＸＹ平面に対するＳｐ平面の傾きを算出する。

　上記映像での虹彩ＩＲの形状は、虹彩ＩＲがＸＹ平面に対してどちらの方向を向いているかによって変化する。演算制御部２５は、上記映像での虹彩ＩＲの形状に基づいて、ＸＹ平面と虹彩ＩＲ上の複数の点との距離を算出することにより、ＸＹ平面に対するＳｐ平面の傾きを算出する。そして、演算制御部２５は、ｐ０の座標とＸＹ平面に対するＳｐ平面の傾きに基づいて法線ｎを導出し、法線ｎがＸＹ平面を横切る位置ｓ（ｘｓ，ｙｓ）と法線ｎの方位角θｘおよび仰角θｙとを算出する。

　このように、本実施形態では、導光部３０の接眼面ＥＳを基準として、虹彩ＩＲまでの距離と虹彩ＩＲの形状とを算出することにより、ユーザーに対して視線検出装置の装着される位置が変化しても、視線検出装置１と虹彩ＩＲとの３次元的な位置関係を特定し、ユーザーの視点と視線方向とを正確に算出できる。

　さらに、本実施形態では、表示部２３により導光部３０の接眼面ＥＳを通して眼ＵＥに映像が投影される。図９に示すように、表示部２３からの映像の光ＩＬは、ＨＯＥ３２Ａを透過し、透明板３１Ｒと外部の空気との界面を全反射しながらＨＯＥ３２Ｂに向かって進み、ＨＯＥ３２Ｂにて反射されてユーザーの眼ＵＥに到達する。

　演算制御部２５は、映像で表示される各々の表示画像の表示位置に関する情報をあらかじめ取得しておき、算出された上記位置ｓ（ｘｓ，ｙｓ）と上記表示位置に関する情報とを照合することにより、ユーザーの視線の先にある表示画像を特定できる。すなわち、ユーザーが何を見ているかを特定できる。演算制御部２５は、特定手段として機能する。

　さらに、ユーザーが注目している画像が特定された場合、ユーザーが見ている画像に応じて、映像に表示されている画像を制御することもできる。たとえば、画面に表示されたアイコンにユーザーが視線を移動させることにより当該アイコンが選択されうる。とくに、本実施形態の視線検出装置１は、ユーザーの視点および視線方向を正確に検出できるので、画面に小さいアイコンが多数表示されている場合であっても、ユーザーは正確にアイコンを選択できる。また、画像を表示する位置をユーザーの視点および視線方向によって制御してもよい。

　以上のとおり説明した本実施形態の視線検出装置１は、下記の効果を奏する。

　本実施形態の視線検出装置１は、導光部３０とユーザーの眼ＵＥの瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を測定するので、ユーザーに対して視線検出装置１の装着される位置が変化しても、ユーザーの視点および視線方向を正確に検出できる。

　また、本実施形態の視線検出装置１は、赤外光をユーザーの眼ＵＥに照射することにより、夜間や暗室のような可視光が乏しい場所であってもユーザーの眼ＵＥを撮像できる。また、赤外光を使用することにより、ユーザーの眼ＵＥを撮像するときに外界像のノイズが混入することを避けられるので、ユーザーの眼ＵＥの映像を精度良く認識できる。

　また、本実施形態の視線検出装置１のＨＯＥ３２Ａ，３２Ｂは表示用の可視光に加え、赤外光も反射する機能を有しているので、表示機能と照明機能とを兼ね備えることができる。また、本実施形態では、ＨＯＥ３２Ｂを利用することにより、ユーザーの眼ＵＥを概ね正面から撮像できる。したがって、ユーザーの視界を確保しつつ、視点および視線方向を正確に検出できる。

　また、視線検出装置１の撮像部２２は、２つのカメラ２２Ａ，２２Ｂによりステレオ方式でユーザーの眼ＵＥを撮像するので、撮像部２２と導光部３０との間の光学系を最小限（光路長を最短）に留めることができる。その結果、視線検出装置１は、薄型化され、小型かつ軽量とすることができる。

　（第２の実施形態）
　第１の実施形態では、２つのカメラを使用して、ステレオ方式でユーザーの眼を撮像するＨＭＤを例に挙げて視線検出装置について説明した。第２の実施形態では、複数のカメラを含むアレイカメラを有するＨＭＤを例に挙げて視線検出装置について説明する。なお、以下では、説明の重複を避けるため、第１の実施形態と同じ構成については、詳細な説明を省略する。

　一般に、アレイカメラには、超解像型、視野分割型、および昆虫型があり、本実施形態ではいずれのアレイカメラも使用することができる。以下、図１０Ａ～図１３を参照して、上記アレイカメラを使用した場合の実施形態について説明する。

　＜超解像型アレイカメラ＞
　図１０Ａは第２の実施形態において、超解像型アレイカメラを使用する場合の検出部のライトおよびカメラの配置を示す図であり、図１０Ｂは図１０Ａの検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図である。また、図１０Ｃは、第２の実施形態において、超解像型アレイカメラで撮像する場合の他の形態を示す概念図である。

　図１０Ａおよび図１０Ｂに示すように、本実施形態では照明部２１は、ライト２１Ａ，２１Ｂを有する。ライト２１Ａ，２１Ｂは、ユーザーの眼ＵＥを２つの方向から照射する。また、撮像部２２は、アレイカメラ２２Ｃを有する。アレイカメラ２２Ｃは、カメラを格子状に配列したものであり、ライト２１Ａとライト２１Ｂとの間に配置され、ユーザーの眼ＵＥの同じ領域を複数方向から撮像することができる。

　また、図１０Ｃに示すように、アレイカメラ２２Ｃをより詳しく見ると、アレイカメラ２２Ｃの各々のカメラは、撮像素子２２１Ｃおよび撮像レンズ２２２Ｃを有する。撮像レンズ２２２Ｃは画角αを有し、アレイカメラ２２Ｃの各々のカメラは、画角αに応じた所定の領域を撮像できる。したがって、アレイカメラ２２Ｃの各々のカメラは、隣接するカメラ同士で撮像領域をわずかに異ならせながら、他のカメラに対して撮像領域に重なりを有しうる。すなわち、アレイカメラ２２Ｃは、配列された複数のステレオカメラを有する。

　本実施形態では、アレイカメラ２２Ｃにより複数方向から撮像したユーザーの眼ＵＥの画像に基づいて、導光部３０とユーザーの眼ＵＥの瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を測定し、当該位置関係に基づいて、視点および視線方向を算出する。

　＜視野分割型アレイカメラ＞
　図１１は、第２の実施形態において、視野分割型アレイカメラを使用する場合の検出部から導光部を見たときの照射光および反射光の光路を説明するための概念図である。

　図１１に示す形態では、アレイカメラ２２Ｄの撮像面を複数の領域に分割し、それぞれの領域でユーザーの眼ＵＥの同じ部分を撮像するように光学系を配置する。図の例では２つの領域に分割している。図１１ではアレイカメラ２２Ｄを左右に分割し、左右それぞれの領域に２つの視野を持つ光学系を配置し、ユーザーの眼を撮像する。

　視線検出装置１は、アレイカメラ２２Ｄの２つの領域で複数方向から撮像したユーザーの眼ＵＥの映像に基づいて、導光部３０とユーザーの眼ＵＥの瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を測定し、当該位置関係に基づいて、視点および視線方向を算出する。

　＜昆虫型アレイカメラ＞
　図１２は、第２の実施形態において、昆虫型アレイカメラを使用する場合の反射光の光路を説明するための概念図である。

　図１２に示すように、撮像部２２は、アレイカメラ２２Ｅを有する。アレイカメラ２２Ｅは、格子状に配列された複数の撮像レンズ２２２Ｅと、各レンズに１画素が対応するよう画素が配列された撮像素子２２１Ｅを有し、ユーザーの眼ＵＥからの反射光を複数方向から受光できる。なお、照明部２１のライトの配置と、当該ライトによる照射光の光路とについては、視野分割型アレイカメラの場合と同じであるので説明を省略する。

　図１２に示す形態では、アレイカメラ２２Ｅの撮像面を２つの領域に分割し、それぞれの領域の個眼カメラの視野を合わせた時にユーザーの眼ＵＥの同じ部分を撮像するように光学系を配置する。

　視線検出装置１は、アレイカメラ２２Ｅの２つの領域で複数方向から撮像したユーザーの眼ＵＥの映像に基づいて、導光部３０とユーザーの眼ＵＥの瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を測定し、当該位置関係に基づいて、視点および視線方向を算出する。

　なお、以上では、説明の便宜上、アレイカメラが少数のカメラを含む場合について説明したが、アレイカメラが含むカメラの個数は限定されない。

　以上のとおり説明した本実施形態の視線検出装置１は、下記の効果を奏する。

　視線検出装置１は、アレイカメラを使用してユーザーの眼ＵＥの同じ領域を複数方向から撮像するので、複数のカメラを取り付けてユーザーの眼ＵＥを撮像するステレオ方式を、１つのアレイカメラで同様の構成を得ることができる。したがって、薄型かつ精度良くカメラを取り付けることができ、撮像されたユーザーの眼ＵＥの画像に基づいて、導光部３０の接眼面ＥＳとユーザーの眼ＵＥの瞳孔ＰＵまたは虹彩ＩＲとの間の位置関係を正確に測定できる。その結果、ユーザーの視点および視線方向を正確に検出できる。

　また、昆虫型アレイカメラ２２Ｅを使用すれば、撮像レンズ２２２Ｅはチップ上に距離をおかないで配置されるため非常に薄いので、アレイカメラ全体の厚みも薄くすることができる。

　（第３の実施形態）
　第１および第２の実施形態では、複眼撮像装置でユーザーの眼を撮像するＨＭＤを例に挙げて視線検出装置について説明した。第３の実施形態では、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラを有するＨＭＤを例に挙げて視線検出装置について説明する。なお、以下では、説明の重複を避けるため、第１の実施形態と同じ構成については、詳細な説明を省略する。

　図１３は、第３の実施形態において、検出部のライトおよびカメラの配置を示す図である。

　図１３に示すように、本実施形態の照明部２１は、ＬＥＤライト２１Ｃを有する。また、撮像部２２は、ＴＯＦカメラ２２Ｆを有する。本実施形態では、演算制御部２５は、照明部２１を制御してＬＥＤライト２１Ｃによりユーザーの眼ＵＥにパルス光を照射する。ＴＯＦカメラ２２Ｆは、ユーザーの眼ＵＥの虹彩ＩＲや網膜で反射される反射光を受光する。演算制御部２５は、ＴＯＦカメラ２２Ｆからの受光信号に基づいて、上記パルス光に対する反射光の遅延時間を２次元的に算出する。当該遅延時間は、導光部３０の接眼面ＥＳからユーザーの眼ＵＥの虹彩ＩＲまでの距離と比例関係にあるので、上記遅延時間と上記距離との間の関係は、あらかじめルックアップテーブルや数式として求められる。したがって、演算制御部２５は、上記遅延時間に基づいて上記距離を算定できる。なお、ＴＯＦカメラ２２Ｆの撮像素子は、反射されるパルス光の遅延時間を検出できる画素構造を有する。

　以上のとおり説明した本実施形態の視線検出装置１は、下記の効果を奏する。

　視線検出装置１は、ライト２１Ｃからパルス光を照射しＴＯＦカメラ２２Ｆで受光して、照射したパルス光に対する反射光の遅延時間を算出し、当該遅延時間に基づいて導光部３０の接眼面ＥＳからユーザーの眼ＵＥの虹彩ＩＲまでの位置関係、虹彩ＩＲの傾きを正確に測定できる。したがって、ユーザーの視点および視線方向を正確に検出できる。なお、パルス光は外光に紛れない程度の強度である。

　また、本実施形態では、ライト２１Ｃからの光をＴＯＦカメラ２２Ｆで受光するので、カメラを複数用いることがなく、撮像部２２と導光部３０との間の光学系を最小限（光路長を最短）に留めることができる。その結果、視線検出装置１は、薄型化され、小型かつ軽量とすることができる。

　（第４の実施形態）
　第４の実施形態では、第１の実施形態の構成に加えて、被写体を撮像する被写体撮像部をさらに有する場合について説明する。

　図１４は第４の実施形態において被写体を撮像するためのステレオカメラを有する場合について説明するための外観図であり、図１５は第４の実施形態において被写体を撮像するためのアレイカメラを有する場合について説明するための外観図である。なお、以下では、説明の重複を避けるため、第１の実施形態と同じ構成については、詳細な説明を省略する。

　図１４に示す形態では、視線検出装置１は、被写体用撮像部（被写体用撮像手段）としてステレオカメラ４０Ａ，４０Ｂを有する。ステレオカメラ４０Ａ，４０Ｂは、透明板３１Ｒと一体化されている。

　図１５に示す形態では、視線検出装置１は、被写体用撮像部（被写体用撮像手段）としてアレイカメラ４１を有する。アレイカメラ４１は、透明板３１Ｒと一体化されている。

　図１４および図１５に示すように、本実施形態では、被写体についてもステレオカメラ、アレイカメラ、ＴＯＦカメラなどで撮像し、外界の空間や物体を３次元的に認識する。したがって、上記被写体を撮像した映像と検出した視点および視線方向とに基づいて、ユーザーの視線の先にある被写体を精度良く特定できる。

　以上のとおり説明した本実施形態の視線検出装置１は、第１の実施形態に加えて下記の効果を奏する。

　本実施形態によれば、視線検出装置１は、ステレオカメラ４０Ａ，４０Ｂまたはアレイカメラ４１を搭載することにより、視線検出装置１を装着しているユーザーが見ている外界の物体を３次元的に把握することができる。したがって、ユーザーの視点および視線方向に基づいて、ユーザーが外界の何を見ているのかを正確に特定することができる。

　以上のとおり、実施形態において、本発明の視線検出装置を説明した。しかしながら、本発明は、その技術思想の範囲内において当業者が適宜に追加、変形、および省略することができることはいうまでもない。

　たとえば、第１～第４の実施形態では、視線検出装置としてＨＭＤを例に挙げて説明したが、本発明の視線検出装置は、ＨＭＤに限定されない。本発明は、双眼鏡や視力検査装置のようにユーザーの頭部に固定されず、ユーザーが使用するとき導光部を覗き込むように構成されていてもよい。

　また、第１および第２の実施形態では、赤外光をユーザーの眼に照射し、その反射光を使用して導光部の接眼面とユーザーの眼の瞳孔または虹彩との間の位置関係を測定することについて説明した。しかしながら、視線検出装置を明るい場所で使用する場合など、ユーザーの眼からの反射光を十分に受光できる場合は、赤外光を使用せずに太陽光（自然光）によるユーザーの眼からの反射光を使用してもよい。

　また、表示部の光を利用して、ユーザーの眼の虹彩をカラーで撮像することもできる。たとえば、表示部がバックライトを備える透過型のディスプレイを有する場合、視線検出装置を校正する際（使用開始時）などにディスプレイが白を表示するようにしてバックライトを点灯させることにより、ユーザーの眼に白色光を照射することができる。また、表示部がバックライトを有しない場合であっても、表示部からの映像による光が照射されたユーザーの眼を撮像し、表示部からの映像成分を除去する画像処理を施すことによって、ユーザーの眼の虹彩をカラーで撮像することも可能である。

　また、ＷＹＲＩｒフィルターを搭載した撮像素子を使用することにより、一つの撮像部で赤外光を使用して高感度で撮像しつつ、可視光を使用してカラーで撮像することができる。なお、ＷＹＲＩｒフィルターは、赤外領域（Ｉｒ）に感度を有しつつ、ＲＧＢ信号を分離して取り出すことができるフィルターである。

　また、視線検出装置の追加機能として、虹彩認証、網膜認証などを同時に実施する機能を有することもできる。

　また、第１～第４の実施形態では、視線検出装置を装着するユーザーの右眼に対応する透明板上に検出部および導光部を配置して、右眼の視点および視線方向を検出することについて主に説明した。しかしながら、検出部および導光部の位置は、ユーザーの右眼に対応する透明板上に限定されない。また、ユーザーの左眼の視点および視線方向を検出してもよいし、両眼の視点および視線方向を検出してもよい。

　また、第１～第４の実施形態では、表示光が導光部と外部の空気との界面を全反射して進む場合について説明した。しかしながら、本発明はこのような場合に限定されない。たとえば、表示光が導光部と外部の空気との界面を全反射する過程を経ずに直接的にＨＯＥで回折されてユーザーの眼に到達するように導光部を構成してもよい。

　なお、本出願は、２０１３年７月２４日に出願された日本国特許出願第２０１３－１５３７６８号に基づいており、その開示内容は、参照により全体として引用されている。

ＥＳ　接眼面、
ＩＲ　虹彩、
ＩＬ　表示光、
ＬＡ，ＬＢ　照射光、
ＰＵ　瞳孔、
ＲＡ，ＲＢ　反射光、
ＵＥ　ユーザーの眼、
１　視線検出装置、
１０　装着部、
１１Ｒ，１１Ｌ　第１支持部材、
１２Ｒ，１２Ｌ　第２支持部材、
１３　連結部、
２０　検出部、
２１　照明部、
２１Ａ～２１Ｃ　ライト、
２２　撮像部、
２２Ａ～２２Ｆ　カメラ、
２３　表示部、
２４　通信部、
２５　演算制御部、
２６　バス、
３０　導光部、
３１Ｒ，３１Ｌ　透明板、
３２Ａ，３２Ｂ　ＨＯＥ、
４０Ａ，４０Ｂ，４１　被写体用撮像部。

Claims (14)

1. 　ユーザーの眼からの光を受光し、当該光の強度に応じた受光信号を生成する受光手段と、
   　前記眼からの光を前記受光手段に導く導光手段と、
   　前記受光信号に基づいて、前記導光手段と前記眼の瞳孔または虹彩との間の位置関係を測定する測定手段と、
   　前記位置関係に基づいて、前記ユーザーの瞳孔の位置を算出する算出手段と、を有する、視線検出装置。
2. 　前記測定手段は、
   　前記位置関係として前記導光手段の接眼面と前記虹彩との距離を測定し、
   　前記算出手段は、
   　前記距離に基づいて前記接眼面を基準とする前記瞳孔の位置および前記瞳孔の向きを算出し、
   　前記瞳孔の向きに基づいて視線方向を算出することを特徴とする請求項１に記載の視線検出装置。
3. 　前記導光手段は、
   　前記眼からの光を回折させることにより進路を変えて、前記受光手段に導くことを特徴とする請求項１または２に記載の視線検出装置。
4. 　前記受光手段は、複眼撮像装置を有し、前記受光信号としての画像信号を生成し、
   　前記測定手段は、前記画像信号に基づいて、前記距離を測定することを特徴とする請求項２または３に記載の視線検出装置。
5. 　前記受光手段は、複眼撮像装置としてステレオカメラを有し、前記受光信号としての画像信号を生成し、
   　前記測定手段は、前記画像信号に基づいて前記距離を測定することを特徴とする請求項２または３に記載の視線検出装置。
6. 　前記受光手段は、複眼撮像装置としてアレイカメラを有し、前記受光信号としての画像信号を生成し、
   　前記測定手段は、前記画像信号に基づいて前記距離を測定することを特徴とする請求項２または３に記載の視線検出装置。
7. 　前記ユーザーの眼に照射光を照射する照明手段をさらに有することを特徴とする請求項１～６のいずれか１項に記載の視線検出装置。
8. 　前記ユーザーの眼に照射光を照射する照明手段をさらに有し、
   　前記照明手段は、前記照射光としてパルス光を照射し、
   　前記受光手段は、ＴＯＦカメラを有し、前記眼から反射された反射光を当該ＴＯＦカメラで受光し、前記パルス光に対する反射光の遅延時間を前記受光信号に基づいて算出し、当該遅延時間に基づいて前記距離を測定することを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
9. 　前記導光手段は、ホログラフィック光学素子を有し、前記照射光を当該ホログラフィック光学素子で回折させることにより進路を変えて、前記眼に導くとともに、前記眼によって反射された反射光を前記受光手段に導くことを特徴とする請求項７に記載の視線検出装置。
10. 　前記導光手段は、透明板を有し、当該透明板は前記接眼面を含むことを特徴とする請求項１～９のいずれか１項に記載の視線検出装置。
11. 　前記ユーザーの頭部に装着されるように構成されていることを特徴とする請求項１～１０のいずれか１項に記載の視線検出装置。
12. 　前記照射光は、赤外光であることを特徴とする請求項７に記載の視線検出装置。
13. 　外界の被写体を撮像する被写体用撮像手段と、
    　前記算出手段で算出された前記視線方向に基づいて、前記被写体用撮像手段で撮像された映像における前記ユーザーの視線の先にある対象を特定する特定手段と、をさらに有することを特徴とする請求項２～１２のいずれか１項に記載の視線検出装置。
14. 　前記ユーザーの視線の先にある対象を特定する特定手段に基づいて、前記ユーザーの視線の先にある対象に関する情報を表示部に表示することを特徴とする請求項１３に記載の視線検出装置。

Images