JP7163230B2 - 視線検出装置、視線検出方法、及び表示装置 - Google Patents

Description

本発明は、視線検出装置、視線検出方法、及び表示装置に関する。

ディスプレイを見ているユーザの視線を検出する方法として、例えば特許文献１には、ＨＭＤ(Head Mounted Display)に視線検出用の光源、及びカメラを設けた構成が記載されている。

また、特許文献２は、「光源から射出された光を光走査手段により使用者の頭部付近の投影面上に走査することにより像を生じさせて知覚させるスキャン型ディスプレイ装置において、前記スキャン型ディスプレイ装置の光学系を共用しながら使用者の視線方向を検出する視線検出装置を組み込んだことを特徴とするスキャン型ディスプレイ装置」が記載されている。

国際公開第２０１６／１０３５２５号 特開２００３－２９１９８号公報

特許文献１に記載された構成の場合、視線検出専用の光源やカメラが必要であり、それらを駆動するための電力が必要となるので、ＨＭＤの表示装置としての駆動時間が短くなってしまう可能性がある。

特許文献２に記載された構成の場合、収束性が高いレーザ光を眼球の所定の位置に精度良く照射する必要がある。しかしながら、特許文献２に記載された構成をＨＭＤ等のウェアラブルディスプレイに適用した場合、眼球の位置やサイズには個人差があるので、レーザ光を所定の位置に精度良く照射できず、視線を検出できなくなる可能性がある。

本発明はこのような状況に鑑みてなされたものであり、消費電力の低減と視線検出の高精度化を実現できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決すべく、本発明の一態様に係る視線検出装置は、光を出射する光源部と、前記光源部によって出射された前記光の照射位置を走査する光走査部と、前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、を備えることを特徴とする。

本発明の一態様によれば、消費電力の低減と視線検出の高精度化を実現することが可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の第１の実施形態に係る表示装置の構成例を示すブロック図である。 図２は、光走査部の一例である光ファイバ走査デバイスの構成例を示す図である。 図３は、ｙ軸駆動信号、及びｘ軸駆動信号の一例を示す図である。 図４は、光ファイバ走査デバイスによる走査軌跡の一例を示す図である。 図５は、ｙ軸駆動信号、及びｘ軸駆動信号の一例を示す図である。 図６は、光走査部の一例である可動ミラー走査デバイスの構成例を示す図である。 図７（Ａ）及び（Ｂ）は、光源部の構成例を示す図であり、図７（Ａ）は３種類のＬＤを用いた構成例、図７（Ｂ）は4種類のＬＤを用いた構成例を示す図である。 図８は、導光光学系における光の伝搬について説明するための図である。 図９（Ａ）～（Ｃ）は、導光光学系の構成例を示す図であり、図９（Ａ）は第１の構成例、図９（Ｂ）は第２の構成例、図９（Ｃ）は第３の構成例を示す図である。 図１０（Ａ）及び（Ｂ）は、眼球に照射されるレーザ光の位置を示す図であり、図１０（Ａ）は導光光学系を用いない場合、図１０（Ｂ）は導光光学系を用いた場合を示す図である。 図１１（Ａ）～（Ｃ）は、強膜反射を用いて視線検出を行う原理を説明するための図であり、図１１（Ａ）は眼球が正面を向いている場合、図１１（Ｂ）は眼球が図面の左側を向いている場合、図１１（Ｃ）は眼球が図面の右側を向いている場合を示す図である。 図１２は、強膜反射を用いる場合の視線方向判定部の構成例を示すブロック図である。 図１３（Ａ）～（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１３（Ａ）は正面を向いている眼球に対して光線が正面から照射される場合、図１３（Ｂ）は図面の右側から照射される場合、図１３（Ｃ）は図面の左側から照射される場合を示す図である。 図１４（Ａ）～（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１４（Ａ）は図面の左側を向いている眼球に対して光線が正面から照射される場合、図１４（Ｂ）は図面の右側から照射される場合、図１４（Ｃ）は図面の左側から照射される場合を示す図である。 図１５（Ａ）～（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１５（Ａ）は図面の右側を向いている眼球に対して光線が正面から照射される場合、図１５（Ｂ）は図面の右側から照射される場合、図１５（Ｃ）は図面の左側から照射される場合を示す図である。 図１６は、角膜反射を用いる場合の視線方向判定部の構成例を示すブロック図である。 図１７（Ａ）～（Ｃ）は、眼球と導光光学系と第１受光部との配置例を示しており、図１７（Ａ）は側方から見た図、図１７（Ｂ）は正面から見た図、図１７（Ｃ）は上方から見た図である。 図１８（Ａ）～（Ｄ）は、図１７に示された配置例における角膜反射の例を示しており、図１８（Ａ）は眼球が正面を向いている場合の角膜反射の例、図１８（Ｂ）は眼球が正面を向いている場合の反射光の例、図１８（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、図１８（Ｄ）は眼球が図面の右側を向いている場合の反射光の例を示す図である。 図１９は、レーザ光の走査角度情報と、第１受光部及び第２受光部による光検出との関係を示す図である。 図２０は、図１９に示された関係の時系列変化を示す図である。 図２１（Ａ）～（Ｃ）は、眼球と導光光学系と第１受光部との配置例を示しており、図２１（Ａ）は側方から見た図、図２１（Ｂ）は正面から見た図、図２１（Ｃ）は上方から見た図である。 図２２（Ａ）～（Ｄ）は、図２１に示された配置例における角膜反射の例を示しており、図２２（Ａ）は眼球が正面を向いている場合の角膜反射の例、図２２（Ｂ）は眼球が正面を向いている場合の反射光の例、図２２（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、図２２（Ｄ）は眼球が図面の右側を向いている場合の反射光の例を示す図である。 図２３は、強膜反射を用いた視線検出におけるレーザ光の走査角度情報と、受光信号との時系列変化を示す図である。 図２４は、強膜反射を用いる場合の視線方向判定部の変形例を示すブロック図である。 図２５は、本発明の第２の実施形態に係る表示装置の構成例示すブロック図である。 図２６は、本発明の第３の実施形態に係る表示装置の構成例示すブロック図である。 図２７は、光分岐部及び受光部の配置例を示す図である。

以下、本発明の複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。

＜本発明の第１の実施の形態に係る表示装置１０の構成例＞
図１は、本発明の第１の実施の形態に係る表示装置１０の構成例を示している。

表示装置１０は、例えばＨＭＤ(Head Mounted Display)等のように、頭部に装着したユーザに対して映像を視認させるためのものである。表示装置１０は、ユーザの視線検出機能を有する。なお、表示装置１０の形状は、例えば、メガネ型、ゴーグル型、ヘルメット型等のいずれであってもよい。表示装置１０は、本発明の表示装置、及び視線検出装置に相当する。

表示装置１０は、光走査部１００１、光源部１００２、光源制御部１００３、発光制御部１００４、映像制御部１００５、映像情報記憶部１００６、走査軌跡制御部１００７、駆動信号生成部１００８、駆動制御部１００９、統括部１０１０、記憶部１０１１、及び入出力制御部１０１２を備える。また、表示装置１０は、導光光学系１０２０、第１受光部１０３１、第２受光部１０３２、及び視線方向判定部１０３３を備える。

光走査部１００１は、光源部１００２から出力されるレーザ光を走査して導光光学系１０２０に出力する。光源部１００２は、光源制御部１００３からの制御に従ってレーザ光を出射する。なお、光源部１００２が出射する光は、レーザ光に限らず、指向性が高い光であればよい。光源制御部１００３は、光源部１００２によりレーザ光の出力を制御する。

発光制御部１００４、映像制御部１００５、走査軌跡制御部１００７、及び駆動信号生成部１００８は、例えばデジタル回路によって実現できる。具体的には、同一のＩＣ(Integrated Circuit)、例えばＦＰＧＡ(Field Programable Gate Array)、ＡＳＩＣ(Application Specific Integrated Circuit)等の集積回路内の機能ブロックとして実現していてもよい。

光源制御部１００３は、発光制御部１００４にて生成された信号に基づき、光源部１００２内のＬＤ(Laser Diode)に電流を供給してレーザ光を発生させる。光源部１００２は、レーザ光を発生し、光走査部１００１に入射する。光走査部１００１は、入射されたレーザ光を渦巻状の軌跡で走査しつつ、レーザ光を導光光学系１０２０に入射する。

発光制御部１００４は、映像制御部１００５からの画素データに応じて、光源部１００２を点灯させるための信号を生成する。また、発光制御部１００４は、走査軌跡制御部１００７からの情報に基づいて輝度の補正を行ってもよい。

映像制御部１００５は、走査軌跡制御部１００７からの同期信号に基づき、光走査位置に応じて決まる座標（ｘ，ｙ）を算出する。また、映像制御部１００５は、映像情報記憶部１００６から座標（ｘ，ｙ）に対応した画素データを読み出す。画素データは、例えばＲＧＢの階調データである。さらに、映像制御部１００５は、該画素データを発光制御部１００４に出力する。

走査軌跡制御部１００７は、統括部１０１０からの制御に基づき、光走査部１００１を駆動させてレーザ光を走査するための同期信号を生成し、映像制御部１００５に出力する。また、走査軌跡制御部１００７は、生成した同期信号を元に光走査部１００１がレーザ光を走査させるときの軌跡パターンを決定して駆動信号生成部１００８に通知する。駆動信号生成部１００８は、通知された軌跡パターンに基づき、光走査部１００１を駆動させるための駆動信号を生成し、駆動制御部１００９に出力する。

駆動制御部１００９は、例えば増幅器等により実現される。駆動制御部１００９は、駆動信号生成部１００８からの駆動信号に応じた駆動電力を、光走査部１００１内のアクチュエータ部に印加することにより、光走査部１００１を駆動させる。

統括部１０１０は、表示装置１０の各ブロックの制御を行う。統括部１０１０は、例えばＣＰＵ(Central Processing Unit)等により実現される。

記憶部１０１１は、統括部１０１０が表示装置１０を制御するためにプログラムやデータ等が格納されるメモリ領域であり、例えばフラッシュメモリ等により実現される。記憶部１０１１は、ＨＤＤ（Hard Disc Drive）や光ディスク等のデータの書き込み、及び読み出しが可能な他の記憶メディアであってもよい。また、ＲＡＭ(Random Access Memory)等の一時記憶領域であってもよい。

入出力制御部１０１２は、外部制御装置２０と接続し、外部制御装置２０から送信される映像信号を受信して映像情報記憶部１００６に格納する。入出力制御部１０１２は、発光制御部１００４、映像制御部１００５、及び走査軌跡制御部１００７とともに同一のデジタル回路としてＦＰＧＡやＡＳＩＣに集積されている構成としてもよいし、統括部１０１０内に集積されているようにしてもよい。

導光光学系１０２０は、光走査部１００１から入射されたレーザ光の光束径である瞳サイズを拡大して出射する。

第１受光部１０３１及び第２受光部１０３２は、導光光学系１０２０を挟んで配置される。第１受光部１０３１及び第２受光部１０３２は、ＰＤ(Photo Diode)等の光電変換素子から成り、導光光学系１０２０から照射されて眼球３０にて反射（散乱を含む）した反射光を検出し、検出強度を表す受光信号を視線方向判定部１０３３に出力する。

視線方向判定部１０３３は、第１受光部１０３１及び第２受光部１０３２から入力される受光信号に基づき、ユーザの視線方向を表す視線信号を生成する。

次に、図２は、光走査部１００１の構成例を示している。同図に示されるように、光走査部１００１は、例えば、光ファイバ走査デバイス４０１によって実現される。

光走査部１００１としての光ファイバ走査デバイス４０１は、加振部１０１、導光路１０２、接合部１０３、レンズ１０４、外装部１０５、支持部材１０６、及び電気配線部１０７を備える。

加振部１０１は、例えば圧電アクチュエータから成り、駆動制御部１００９からの駆動電力に応じて振動を発生する。加振部１０１は、中心部分が中空の円筒型の圧電素子であり、その内外周に複数の電極が配置されている。加振部１０１の中空の中心部分には、導光路１０２が配置され、加振部１０１と導光路１０２とは接合部１０３により機械的に接合される。加振部１０１は支持部材１０６により、外装部１０５と固定される。

導光路１０２は、例えば光ファイバにより実現される。接合部１０３は、例えば接着剤等により実現される。導光路１０２の一端は、自由端１０２ａである。導光路１０２は、その一端に自由端１０２aを有する突き出し梁のような構造を有しており、振動し易く、固有周波数（固有振動数）を有する。導光路１０２の自由端１０２ａは、加振部１０１の振動が接合部１０３により導光路１０２に伝達されることによって振動する。

レンズ１０４は、例えばガラス又は樹脂等により成型されている。レンズ１０４の形状は任意であり、球面レンズ、非球面レンズ、フレネルレンズ、屈折率分布型レンズ等の何れであってもよい。また、レンズ１０４は、導光路１０２の自由端１０２ａと一体化した構造であってもよい。また、レンズ１０４は、複数のレンズから構成してもよい。

導光路１０２の自由端１０２aは、加振部１０１によって、ｙ軸及びｘ軸の２軸方向に独立して制御して振動させることができる。したがって、光ファイバ走査デバイス４０１は、自由端１０２ａの変位により、出射するレーザ光の進行方向を走査することができる。この走査に際して、駆動信号生成部１００８が生成するｙ軸駆動信号の位相と、ｘ軸駆動信号の位相とを９０°ずらすことで、レーザ光の軌跡が円を描くように走査することができる。

図３は、駆動信号生成部１００８が生成する１フレーム分のｙ軸駆動信号、及びｘ軸駆動信号の一例を示している。同図に示されるように、駆動信号生成部１００８が生成するｙ軸駆動信号の位相と、ｘ軸駆動信号の位相とを９０°ずらし、且つ、ｙ軸駆動信号の振幅Ａ１と、ｘ軸駆動信号の振幅Ａ２を時間とともに徐々に増加させることで、レーザ光の軌跡は円を描きながら振幅が増加して渦巻き状になる。これにより、点状の光スポットを面状に走査することができる。なお、図３において、共振周期を決める周波数ｆｒは、導光路１０２が有する固有周波数である。

次に、図４は、光ファイバ走査デバイス４０１によるレーザ光の渦巻状の走査の軌跡の一例を示している。すなわち、図３に示されたように、ｙ軸駆動信号、及びｘ軸駆動信号を変化させることにより、図４に示されたように、光走査部１００１の先にスクリーン６０を置いた場合、レーザ光の軌跡は渦巻状となる。

図５は、駆動信号生成部１００８が生成する数フレーム分のｙ軸駆動信号、及びｘ軸駆動信号の一例を示している。同図に示されるように、駆動信号生成部１００８が単位時間（１秒間）毎にＮｆ回繰り返してｙ軸駆動信号、及びｘ軸駆動信号を生成することにより、表示装置１０は、Ｎｆ（フレーム／秒）のフレームレートで映像表示を行うことができる。固有周波数ｆｒは、一般的に数キロヘルツ以上であり、フレームレートＮｆは、一般的に３０～９０ヘルツ程度である。

光走査部１００１は、図２に示された光ファイバ走査デバイス４０１の他、例えば、可動ミラー走査デバイスによって実現することもできる。図６は、光走査部１００１を実現する可動ミラー走査デバイス６０１の構成例を示している。

可動ミラー走査デバイス６０１は、２方向の回転軸を有する鏡面部６０２を有し、入射光６０３の反射角を変化させて、２次元に走査可能な出射光６０４を得ることができる。なお、可動ミラー走査デバイス６０１には、固定ミラーやコリメートレンズ等（何れも不図示）を含んでもよい。

さらに、光走査部１００１としての可動ミラー走査デバイスは、ガルバノミラーやポリゴンミラー等の単一の回転軸を持つミラーデバイスを複数個組み合わせて構成してもよい。

以下、光走査部１００１として光ファイバ走査デバイス４０１（図２）を採用した場合を例にして説明する。

次に、図７は、光源部１００２の詳細な構成例を示しており、同図（Ａ）は３種類のＬＤを用いた構成例、同図（Ｂ）は４種類のＬＤを用いた構成例を示している。

同図（Ａ）の場合、光源部１００２は、赤色ＬＤ（ＬＤｒ）３００１、緑色ＬＤ（ＬＤｇ）３００２、及び青色ＬＤ（ＬＤｂ）３００３の３原色Ｒ，Ｇ，Ｂをそれぞれ発光する３種類のＬＤから構成される。

赤色ＬＤ３００１は、アノードに電位ＶＬＤｒが印加され、カソードに電流制限抵抗３００４を介して光源制御部１００３からの電位ＣＴＲＬｒが印加される。電位ＶＬＤｒは任意の値に設定可能であり、赤色ＬＤ３００１の発光を制御できる。光源制御部１００３は、電位ＣＴＲＬｒを変化させることで、赤色ＬＤ３００１の発光量や発光時間等を制御し、任意の映像を表示できる。

緑色ＬＤ３００２、及び青色ＬＤ３００３は、赤色ＬＤ３００１と同様、それぞれアノードに電位ＶＬＤｇ，ＶＬＤｂが印加され、カソードに電流制限抵抗３００５，３００６を介して光源制御部１００３からの電位ＣＴＲＬｇ，ＣＴＲＬｂが印加される。よって、緑色ＬＤ３００２、及び青色ＬＤ３００３についても、赤色ＬＤ３００１と同様に独立しそれぞれの発光量や発光時間等を制御し、任意の映像を表示できる。

なお、電位ＶＬＤｒ，ＶＬＤｇ，ＶＬＤｂは、それぞれ異なる値でもよいし、同一の値でもよい。同一の値である場合、赤色ＬＤ３００１、緑色ＬＤ３００２、及び青色ＬＤ３００３のアノードを同一の端子に接続するようにしてもよい。また、電位ＣＴＲＬｒ，ＣＴＲＬｇ，ＣＴＲＬｂは、それぞれ異なる値でもよいし、同一の値でもよい。同一の値の場合、光源制御部１００３と各電流制限抵抗とを同一の端子を分岐して接続してもよい。

同図（Ｂ）の場合、光源部１００２は、赤色ＬＤ３００１、緑色ＬＤ３００２、及び青色ＬＤ３００３に加えて、赤外光を発する赤外ＬＤ（ＬＤｉ）３００７の４種類のＬＤから構成される。

赤外ＬＤ３００７は、そのアノードに電位ＶＬＤｉが印加され、カソードに電流制限抵抗３００８を介して光源制御部１００３からの電位ＣＴＲＬｉが印加される。電位ＶＬＤｉは任意の値に設定可能であり、赤外ＬＤ３００７の発光を制御できる。光源制御部１００３は、電位ＣＴＲＬｉを変化させることで、赤外ＬＤ３００７の発光量や発光時間等を制御することができる。

同図（Ａ）の構成例では、３原色のＬＤを映像表示と視線検出とに兼用する。同図（Ｂ）の構成例では、３原色のＬＤを映像表示に用い、赤外ＬＤを視線検出に用いる。

同図（Ａ）の構成例では、映像表示と視線検出とに同一のＬＤを用いるため、表示する映像の内容によってはＬＤの発光量が減少して、視線検出の感度に影響が生じることがある。一方、同図（Ｂ）の構成例では、映像表示のための光源とは別に視線検出のための光源があるので、表示する映像の内容に拘わらず、安定して視線検出を行うことができる。

次に、図８は、導光光学系１０２０におけるレーザ光の伝搬を説明するための図である。光走査部１００１から出射されたレーザ光ｋは、導光光学系１０２０のｘｚ面の一方（図面における上面）に設けられた光入力部２２１から導光光学系１０２０の内部に入射し、導光光学系１０２０の内部に設けられたｘｚ面に平行な対向する内側反射面２２３，２２４にて全反射しながら導光光学系１０２０の内部を伝搬する。

導光光学系１０２０は、表示装置１０にて出力するレーザ光の光束径である瞳サイズを拡大する機能を有する。すなわち、導光光学系１０２０は、光走査部１００１から光入力部２２１に入射したレーザ光ｋを複数に分割して、導光光学系１０２０のｘｚ面の他方（図面における下面）に設けられた光出力部２２２から出射する。これにより、導光光学系１０２０は、光入力部２２１から導光板２２０に入射したレーザ光ｋの光束径である瞳サイズφ１よりも大きい瞳サイズφ２のレーザ光（同図の場合、複製された３本のレーザ光ｋ）を光出力部２２２から出射することができる。

次に、図９は、導光光学系１０２０の複数の構成例を示しており、同図（Ａ）は導光光学系１０２０の第１の構成例である導光板８０１、同図（Ｂ）は導光光学系１０２０の第２の構成例である導光板８１１、同図（Ｃ）は導光光学系１０２０の第３の構成例である導光板８２１を示している。

同図（Ａ）に示す導光板８０１は、３つの回折領域８０２～８０４を備える。回折領域８０２は、ｙ軸に略平行な光をｚ軸に略平行な方向に回折する構造を有する。回折領域８０３は、ｘｚ面内でｚ軸に略平行な光をｘ軸に略平行な方向に回折する構造を有する。回折領域８０４は、ｘ軸に略平行な光をｙ軸に略平行な方向に回折する構造を有する。回折領域８０２と回折領域８０４の回折構造のピッチは互いに略等しく、回折領域８０３の回折構造のピッチは、回折領域８０２の回折構造のピッチの１／√２倍に略等しい。

導光板８０１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する回折領域８０２に入射する。回折領域８０２に入射したレーザ光は回折して、導光板８０１の内部に取り込まれ、導光板８０１の内部を全反射導光し、回折領域８０３に到達する。回折領域８０３に到達したレーザ光の一部は回折領域８０３で回折し、回折しなかったレーザ光は導光板８０１の内部で全反射して、再び回折領域８０３に到達する。そして、回折領域８０３に到達する毎、レーザ光は複数に複製され、複製されたレーザ光は導光板８０１の内部を全反射導光し、光出力部２２２に対応する回折領域８０４に到達する。

回折領域８０４に到達したレーザ光の一部は回折領域８０４で回折し、回折しなかったレーザ光は導光板８０１の内部で全反射して、再び回折領域８０４に到達する。そして、回折領域８０４に到達するごとにレーザ光は複数に分割されて導光板８０１から出射する。

したがって、導光板８０１によれば、レーザ光の光束径である瞳サイズを２次元方向に拡大することができる。なお、導光板８０１は、３つの回折領域８０２～８０４を備えるが、例えば、導光板に２つの回折領域を設け、２つの回折領域の回折構造の方向と周期（ピッチ）を略同一としてもよい。これにより、導光板の構造を平易にすることができ、導光板のコストを低減できる。

次に、同図（Ｂ）に示す導光板８１１は、２つの回折領域８１２，８１３を備える。

回折領域８１２は、ｙ軸に略平行な光をｘｚ平面内でｘ軸に略平行な方向に回折する構造を有する。回折領域８１３は、ｘｚ面において、ｘ軸に略平行な光をｘ軸から反時計回りに略６０度と、略－６０度の２方向に回折する構造を有する。回折領域８１２の回折構造のピッチと、回折領域８１３の２つの方向の回折構造のピッチは、互いに全て略等しい。

導光板８１１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する回折領域８１２に入射する。回折領域８１２に入射したレーザ光は回折して、導光板８１１の内部に取り込まれ、導光板８１１の内部を全反射導光し、光出力部２２２に対応する回折領域８１３に到達する。回折領域８１３はレーザ光を２方向に回折する構造を有するが、導光板８１１の内部で全反射導光する過程で、回折領域８１３が有する２方向の回折構造のそれぞれで１回ずつ回折すると、レーザ光は導光板８１１から出射する。

したがって、導光板８１１によれば、レーザ光の光束径である瞳サイズを２次元方向に拡大することができる。

次に、同図（Ｃ）に示す導光板８２１は、入射面８２２、及び複数の部分反射面８２３を備える。

複数の部分反射面８２３は、互いに平行で、入射した光の少なくとも一部を反射し、残りを透過する複数枚のビームスプリッタ面である。

導光板８２１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する入射面８２２に入射する。入射面８２２に入射したレーザ光は、導光板８２１の内部で全反射導光し、複数の部分反射面８２３に到達する。複数の部分反射面８２３を構成するそれぞれのビームスプリッタ面がレーザ光を反射することにより、光出力部２２２に対応する光出力面８２４からレーザ光が出射する。

したがって、導光板８２１によれば、レーザ光の光束径である瞳サイズを１次元方向に拡大することが可能となる。

なお、導光光学系１０２０の構成例は、図９に示された導光板８０１，８１１，８２１に限定されず、レーザ光を複数に分割できる構造であればよい。例えば、導光光学系１０２０は、導光板８０１，８１１，８２１を組み合わせた構造であってもよい。

上述したように、導光板８０１，８１１，８２１から出射されたレーザ光の一部は、ユーザの眼球３０に入射する。眼球３０に照射されたレーザ光の一部は、眼球３０の瞳孔を通り、網膜に照射され、表示映像としてユーザに視認される。

次に、図１０は、ユーザの眼球３０に対するレーザ光の照射位置の例を示しており、同図（Ａ）は導光光学系１０２０を用いない場合、図（Ａ）は導光光学系１０２０を用いた場合を示している。

同図（Ａ）の場合、導光光学系１０２０を用いないため、光走査部１００１からのレーザ光は、分割されることなく、眼球３０上の１点にスポット７０１として照射される。なお、スポット７０１は、光走査部１００１の走査によって破線で示す渦巻状の軌跡７０２を描くことになる。

同図（Ａ）に示されたように、スポット７０１の渦巻き状の軌跡の中央部分と眼球３０との位置関係は、表示装置１０を装着したユーザの眼球３０の位置等に依存しており、個人差がある。このため、レーザ光の渦巻状の軌跡７０２が眼球３０の全体を網羅できない可能性がある。

一方、同図（Ｂ）の場合、導光光学系１０２０を用いているので、光走査部１００１からのレーザ光は、複数に分割されてスポット群７１０を形成し、眼球３０の広い範囲に照射される。さらに、スポット群７１０を形成する各スポットは、同図（Ａ）の場合と同様に渦巻状に走査される。よって、同図（Ｂ）の場合、眼球３０の全体にレーザ光を照射することができる。

＜強膜反射を用いた視線検出の原理＞
次に、強膜反射（眼球３０の黒目及び白目における散乱の違い）を用いた視線検出の原理について説明する。

図１１は、強膜反射の例であり、同図（Ａ）は眼球３０が正面を向いている場合の強膜反射の例、図（Ｂ）は眼球３０が図面の左側を向いている場合の強膜反射の例、図（Ｃ）は眼球３０が図面の右側を向いている場合の強膜反射の例を示している。なお、図１１は、導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を上方から見下ろした状態を示している。

導光光学系１０２０は、光走査部１００１から入射されたレーザ光を実線で示す複数の光線１８０１に分割して眼球３０に出射する。複数の光線１８０１のうち、破線で示す眼球３０の白目の部分にて散乱した白目散乱光１８０２は、点線で示す黒目にて散乱した黒目散乱光１８０３に比べて高強度となる。

第１受光部１０３１及び第２受光部１０３２は、このようにした散乱された白目散乱光１８０２及び黒目散乱光１８０３を検出する。第１受光部１０３１、及び第２受光部１０３２は、導光光学系１０２０を挟んで配置され、眼球３０の位置に対して略等しい距離に配置される。また、第１受光部１０３１、及び第２受光部１０３２は、それぞれの受光面の法線が眼球３０に向くように角度をつけて配置される。第１受光部１０３１及び第２受光部１０３２は図示しないレンズを含んでもよい。

このように導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を配置することにより、同図（Ａ）に示すように眼球３０が正面を向いている場合には、左右に配置された第１受光部１０３１及び第２受光部１０３２の両方で、高強度の白目散乱光１８０２が検出される。

また、同図（Ｂ）に示すように眼球３０が図面の左側を向いている場合には、眼球３０の黒目が第１受光部１０３１に近接し、第１受光部１０３１では弱い黒目散乱光１８０３が多く検出されるため、第１受光部１０３１の検出強度は同図（Ａ）の場合に比べて低下する。一方、第２受光部１０３２では、強い白目散乱光１８０２が多く検出されるため、第２受光部１０３２の検出強度は同図（Ａ）の場合と等しいか増加することになる。

反対に、同図（Ｃ）に示すように眼球３０が図面の右側を向いている場合には、眼球３０の黒目が第２受光部１０３２に近接し、第２受光部１０３２では弱い黒目散乱光１８０３が多く検出されるため、第２受光部１０３２の検出強度は同図（Ａ）の場合に比べて低下する。一方、第１受光部１０３１では、強い白目散乱光１８０２が多く検出されるため、第１受光部１０３１の検出強度は同図（Ａ）の場合と等しいか増加することになる。

なお、図１１に示された例では、第１受光部１０３１及び第２受光部１０３２を導光光学系１０２０の左右に配置してユーザの左右方向への視線を検出したが、第１受光部１０３１及び第２受光部１０３２を導光光学系１０２０の上下に配置すれば、ユーザの上下方向への視線を検出することができる。

また、導光光学系１０２０の上下左右の４箇所に受光部を配置すれば、ユーザの上下左右方向への視線を検出することができる。

次に、図１２は、強膜反射を用いる場合に対応する視線方向判定部１０３３の構成例（第１の構成例）を示している。視線方向判定部１０３３の第１の構成例は、信号処理部９０１，９０２、減算部９０３、加算部９０４、及び除算部９０５から構成される。

信号処理部９０１は、増幅器やノイズリダクションフィルタ等から成り、第１受光部１０３１からの受光信号を整形し、出力信号Ｖ１として減算部９０３及び加算部９０４に出力する。信号処理部９０２は、増幅器やノイズリダクションフィルタ等から成り、第２受光部１０３２からの受光信号を整形し、出力信号Ｖ２として減算部９０３及び加算部９０４に出力する。

減算部９０３は、次式（１）に従い、出力信号Ｖ１，Ｖ２の差信号Ｄｉｆを計算する。
Ｄｉｆ＝Ｖ２－Ｖ１ ・・・（１）

加算部９０４は、次式（２）に従い、出力信号Ｖ１，Ｖ２の和信号Ｓｕｍを計算する。
Ｓｕｍ＝Ｖ１＋Ｖ２ ・・・（２）

除算部９０５は、次式（３）に従い、差信号Ｄｉｆと和信号Ｓｕｍとの商を計算し、視線信号Ｖｓとして出力する。
Ｖｓ＝Ｄｉｆ／Ｓｕｍ ・・・（３）

除算部９０５にて、式（３）を計算することにより、光源部１００２が出射する光強度の変動による信号の増減を相殺することができる。これにより、映像表示を行うために連続的に光源部１００２が強度変調をしている場合にも視線信号を検出することが可能となる。

除算部９０５から出力される視線信号Ｖｓは、図１１（Ｂ）に示されたように眼球３０が左側を向いた場合には増加し、図１１（Ｃ）に示されたように眼球３０が右側を向いた場合には減少することになる。

なお、減算部９０３にて、次式（１’）に従い、出力信号Ｖ１，Ｖ２の差信号Ｄｉｆを計算するようにしてもよい。
Ｄｉｆ＝Ｖ１－Ｖ２ ・・・（１’）

この場合、視線信号Ｖｓは、図１１（Ｂ）に示されたように眼球３０が左側を向いた場合には減少し、図１１（Ｃ）に示されたように眼球３０が右側を向いた場合には増加することになる。

また、加算部９０４にて、出力信号Ｖ１，Ｖ２を加算する代わりに、発光制御部１００４から得られる光源部１００２の発光強度情報に基づいてＳｕｍを計算してもよい。

以上、強膜反射を用いた視線検出の原理について説明した。

＜角膜反射を用いた視線検出の原理＞
次に、角膜反射（眼球３０の角膜又は水晶体における散乱）を用いた視線検出の原理について、図１３～図１５を参照して説明する。図１３～図１５は、角膜反射の例を示しており、導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を上方から見下ろした状態を示している。

図１３は、眼球３０が正面を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。

導光光学系１０２０からの光線１８０１は、眼球３０の角膜にて、一点鎖線によって示す反射光１８０４として反射される。反射光１８０４の反射方向は、照射する光線１８０１の角度と眼球３０の向きによって決定される。

同図（Ａ）の場合、反射光１８０４は、眼球３０の角膜から導光光学系１０２０に向かって反射される。このため、第１受光部１０３１及び第２受光部１０３２では、反射光１８０４は検出されない。

同図（Ｂ）及び同図（Ｃ）の場合、反射光１８０４は、眼球３０の角膜にて、導光光学系１０２０に向かって所定の角度で反射される。ただし、同図に示すように、眼球３０が正面向きである場合には、第１受光部１０３１及び第２受光部１０３２では反射光１８０４は検出されない。

次に、図１４は、眼球３０が図面の左側を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。

同図（Ａ）～（Ｃ）に示す反射光１８０４を比較して明らかなように、眼球３０が図面の左側を向いている場合、第１受光部１０３１による反射光１８０４の検出強度は、同図（Ｂ）の場合においてピークとなる。一方、第２受光部１０３２は、いずれの場合においても反射光１８０４を検出しない。

次に、図１５は、眼球３０が図面の右側を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。

同図（Ａ）～同図（Ｃ）に示す反射光１８０４を比較して明らかなように、眼球３０が図面の右側を向いている場合、第２受光部１０３２による反射光１８０４の検出強度は、同図（Ｃ）の場合においてピークとなる。一方、第１受光部１０３１は、いずれの場合においても反射光１８０４を検出しない。

このように第１受光部１０３１及び第２受光部１０３２の設置位置と受光結果、光線１８０１の照射角度によって、角膜反射の反射光１８０４の検出結果が異なるため、これらの情報に基づいて視線方向を判定できる。

次に、図１６は、角膜反射を用いる場合に対応する視線方向判定部１０３３の構成例（第２の構成例）を示している。視線方向判定部１０３３の第２の構成例は、信号処理部１３０１，１３０２、ピーク検出部１３０３，１３０４、及び演算部１３０５から構成される。

導光光学系１０２０から眼球３０に照射される光線１８０１の照射角度は、光走査部１００１により変化される。図４に示すように、渦巻状の走査軌跡を1フレームとして、類似の軌跡での走査が繰り返し行われる。走査軌跡制御部１００７は、光走査部１００１の走査角度を表す走査角度情報（横ビーム角度、縦ビーム角度）と、１フレーム毎のタイミング情報をピーク検出部１３０３，１３０４及び演算部１３０５に出力する。

信号処理部１３０１は、増幅器やノイズリダクションフィルタ等から成り、第１受光部１０３１からの受光信号を整形し、出力信号Ｖ１としてピーク検出部１３０３に出力する。信号処理部１３０２は、増幅器やノイズリダクションフィルタ等から成り、第２受光部１０３２からの受光信号を整形し、出力信号Ｖ２としてピーク検出部１３０４に出力する。

ピーク検出部１３０３は、走査軌跡の１フレームの間における出力信号Ｖ１の最大値Ｖ１ｍａｘと、そのときの走査角度情報Ａｄｄ１を検出し、演算部１３０５に出力する。ピーク検出部１３０４は、走査軌跡の１フレームの間における出力信号Ｖ２の最大値Ｖ２ｍａｘと、そのときの走査角度情報Ａｄｄ２を検出し、演算部１３０５に出力する。

演算部１３０５は、1フレーム毎に、ピーク検出部１３０３からの最大値Ｖ１ｍａｘ及び走査角度情報Ａｄｄ１、並びにピーク検出部１３０４から最大値Ｖ２ｍａｘ及び走査角度情報に基づいて視線信号Ｖｓを演算する。

ここで、演算部１３０５による視線信号Ｖｓの第１の演算方法について、図１７及び図１８を参照して説明する。

図１７は、眼球３０と導光光学系１０２０と第１受光部１０３１との配置例を示しており、同図（Ａ）は側方から見た図、同図（Ｂ）は正面から見た図、同図（Ｃ）は上方から見た図である。

第１受光部１０３１は、同図（Ａ）に示されるように、導光光学系１０２０に対して眼球３０の上下方向には傾きを付けずに配置される（φ_ｄｅｔｙ≒０）。また、第１受光部１０３１は、同図（Ｃ）に示されるように、眼球３０の左右方向に傾きを付けて配置される（φ_ｄｅｔｘ≠０）。

図１８は、図１７に示された配置例における角膜反射の例を示しており、同図（Ａ）は眼球が正面を向いている場合の角膜反射の例、同図（Ｂ）は眼球が正面を向いている場合の第１受光部１０３１によって検出される反射光の例、同図（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、同図（Ｄ）は眼球が図面の右側を向いている場合の第１受光部１０３１によって検出される反射光の例を示している。

同図（Ａ）に示されるように、眼球３０が正面を向いている場合（眼球３０の傾きが０度である場合）、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。第１受光部１０３１による反射光１８０４の検出強度は、光線１８０１の照射角θ_ｉｎ１によって変動する。

そして、同図（Ｂ）に示されるように、第１受光部１０３１によって反射光１８０４が検出される場合、光線１８０１の照射角θ_ｉｎ１は、光線１８０１が眼球３０の角膜に照射される角度α_１と一致する。また、反射光１８０４の反射角β_１は、光線１８０１が眼球３０に照射される角度α_１と略等しい。

第１受光部１０３１の検出強度は、反射光１８０４が第１受光部１０３１に対して垂直に入射するときに最大となるので、反射角β_１＝φ_ｄｅｔｘが成立する場合に検出強度が最大となる。したがって、次式（４）が成立する場合には、眼球３０が正面を向いていると判定することができる。
θ_ｉｎ１＝φ_ｄｅｔｘ ・・・（４）

次に、同図（Ｃ）に示されるように、眼球３０が傾きΔｘだけ図面の右側を向いている場合にも、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。この場合、光線１８０１が眼球３０の角膜に照射される角度α_２＝θ_ｉｎ２＋Δｘである。また、反射光１８０４の反射角β_２は、角度α_２と略等しい。反射角β_２は、眼球３０の傾きΔｘを基準とした角度であるので、反射光１８０４が、第１受光部１０３１に対して垂直に入射する条件は、β_２＋Δｘ＝φ_ｄｅｔＸである。したがって、次式（５）が成立する場合、第１受光部１０３１による検出強度が最大となる。
θ_ｉｎ２＋２×Δｘ＝φ_ｄｅｔｘ ・・・（５）

なお、第１受光部１０３１の傾きφ_ｄｅｔｘは固定値であり、表示装置１０の設計段階で決まるので、設計情報から取得して定数として扱えばよい。または、式（４）に基づき、眼球３０が正面を向いている場合に第１受光部１０３１による検出強度が最大となる光線１８０１の照射角θ_ｉｎ１を取得して流用してもよい。

したがって、光線１８０１の照射角θ_ｉｎ２が明らかになれば、式（５）に基づいて眼球３０の角度Δｘを求めることができる。

次に、レーザ光の渦巻状の走査と第１受光部１０３１及び第２受光部１０３２による光検出の関係性について、図１９及び図２０を参照して説明する。

図１９は、レーザ光の走査角度情報（横ビーム角度、及び縦ビーム角度）と、第１受光部１０３１及び第２受光部１０３２による光検出との関係を示している。図２０は、図１９に示された関係の時系列変化を示している。

レーザ光を渦巻状に走査した場合、第１受光部１０３１及び第２受光部１０３２では、図１９に示されるように、Ｘ軸変位ビーム角度とＹ軸変位ビーム角度とがともに特定の角度付近にきたときにだけ反射光を検出することができる。

図２０に示されるように、受光信号の最大値Ｖ１ｍａｘが検出されたときの走査角度情報Ａｄｄ１として、縦ビーム角度Ｙａｄｄ１、及び横ビーム角度Ｘａｄｄ１を取得する。

横ビーム角度Ｘａｄｄ１については、上述した式（５）におけるθ_ｉｎ２に代入することができるので、眼球３０の横方向の傾きΔxは、次式（６）に従って求めることができる。
Δｘ＝（φ_ｄｅｔｘ－Ｘａｄｄ１）／２ ・・・（６）

同様に、眼球３０の縦方向の傾きΔｙは、次式（７）に従って求めることができる。
Δｙ＝（φ_ｄｅｔｙ－Ｙａｄｄ１）／２ ・・・（７）

さらに、第２受光部１０３２を、第１受光部１０３１の設置角度とは異なる設置角度で設置すれば、眼球３０の横方向の傾きΔｘ及び縦方向の傾きΔｙの検出精度や検出範囲を増加することができる。

次に、演算部１３０５による視線信号Ｖｓの第２の演算方法について、図２１及び図２２を参照して説明する。

図２１は、眼球３０と導光光学系１０２０と第１受光部１０３１との配置例を示しており、同図（Ａ）は側方から見た図、同図（Ｂ）は正面から見た図、同図（Ｃ）は上方から見た図である。

同図に示されるように、導光光学系１０２０は、眼球３０から距離ｄだけ離れて配置される。第１受光部１０３１は、導光光学系１０２０と略同一の距離ｄだけ眼球３０から離れ、且つ、眼球３０が正面を向いているときの視線から距離Ｌだけ離れて配置される。

図２２は、図２１に示された配置例における角膜反射の例を示しており、同図（Ａ）は眼球が正面を向いている場合の角膜反射の例、同図（Ｂ）は眼球が正面を向いている場合の第１受光部１０３１によって検出される反射光の例、同図（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、同図（Ｄ）は眼球が図面の右側を向いている場合の第１受光部１０３１によって検出される反射光の例を示している。

同図（Ａ）に示されるように、眼球３０が正面を向いている場合（眼球の傾きが０度である場合）、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。第１受光部１０３１による反射光１８０４の検出強度は、光線１８０１の照射角θ_ｉｎ１によって変動する。

そして、同図（Ｂ）に示されるように、第１受光部１０３１によって反射光１８０４が検出される場合、光線１８０１の照射角θ_ｉｎ１は、光線１８０１が眼球３０の角膜に照射される角度α_１と一致する。また、反射光１８０４の反射角β_１は、光線１８０１が眼球３０に照射される角度α_１と略等しい。

第１受光部１０３１の検出強度は、反射光１８０４が第１受光部１０３１に入射するときに最大となるので、次式（８）が成立する場合には、眼球３０が正面を向いていると判することができる。
θ_ｉｎ１＝α₁＝ａｒｃｔａｎ(Ｌ／ｄ) ・・・（８）

次に、同図（Ｃ）に示されるように、眼球３０が傾きΔｘだけ図面の右側を向いている場合にも、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。この場合、光線１８０１が眼球３０の角膜に照射される角度α_２＝θ_ｉｎ２＋Δｘである。また、反射光１８０４の反射角β_２は、角度α_２と略等しい。反射角β_２は、眼球３０の傾きΔｘを基準とした角度であるので、反射光１８０４の第１受光部１０３１に対する照射角θ_ｏｕｔ２は、次式（９）に示すとおりである。
θ_ｏｕｔ２＝β_２＋Δx＝θ_ｉｎ２＋２×Δｘ ・・・（９）

そして、眼球３０が傾きΔｘだけ右側を向いている場合、瞳孔の位置が距離Ｌ_ｅｙｅだけ右側に横にずれると仮定すれば、次式（１０）が成立する。
Ｌ－Ｌ_ｅｙｅ＝ｄ×ｔａｎ（θ_ｏｕｔ２） ・・・（１０）

また、眼球３０の半径をＲ_ｅｙｅと仮定すれば、次式（１１）が成立する。
Ｌ_ｅｙｅ＝Ｒ_ｅｙｅ×ｔａｎ(Δｘ) ・・・(１１)

よって、式（１０）は、式（８）及び式（１１）に基づき、次式（１２）に書き換えることができる。
Ｌ－Ｒ_ｅｙｅ×ｔａｎ(Δｘ)＝ｄ×ｔａｎ（θ_ｉｎ２＋２×Δx） ・・・（１２）

式（１２）における距離ｄ，Ｌは、固定値であり、表示装置１０の設計段階で決まるので、設計情報から取得して定数として扱えばよい。眼球３０の半径Ｒ_ｅｙｅは、ユーザが成人である場合、個人差は少ないので、定数として扱うことができる。よって、式（１２）における未定の値は、光線１８０１の照射角θ_ｉｎ２、及び眼球３０の傾きΔxとなる。

従って、第２の演算方法では、第１の演算方法と同様、図２０に示された、受光信号が最大となるときの横ビーム角度Ｘ_ａｄｄ１及び縦ビーム角度Ｙ_ａｄｄ１を取得し、照射角θ_ｉｎ２＝Ｘ_ａｄｄ１として、式（１２）に代入すれば、眼球３０の傾きΔｘを求めることができる。

なお、上述したように、定数として扱う距離ｄ，Ｌは、個人差は少ないが、ユーザによっては定数から離れた値となる可能性がある。そこで、距離ｄ，Ｌについてはキャリブレーションを行ってもよい。具体的には、ユーザが眼球３０を指定の方向に向け、そのときの眼球３０の傾きΔｘを任意の値として照射角θ_ｉｎ２を求め、傾きΔｘ、及び照射角θ_ｉｎ２の複数の組み合わせと式（１２）とを用い、最小二乗法等によって精度の高い距離ｄ，Ｌを推定するようにしてもよい。

以上、角膜反射を用いた視線検出の原理について説明した。

ところで、上述した強膜反射及び角膜反射は、実際には同時に発生しており、第１受光部１０３１及び第２受光部１０３２では、強膜反射光と角膜反射光とを同時に検出している。したがって、強膜反射を用いた視線検出では、角膜反射光がノイズとなる可能性があり、反対に、角膜反射を用いた視線検出では、強膜反射光がノイズとなる可能性がある。

以下、受光信号から強膜反射成分または角膜反射成分の一方を抽出し、他方を排除する方法について説明する。

角膜反射光は、上述したように、光走査部１００１の走査によって変化するので、図２０に示されたように、光走査部１００１の走査の周波数ｆｒに近い周期で検出される。周波数ｆｒは数１０キロヘルツ以上の周波数である。

一方、強膜反射光は、フレームレートＮｆに近い周期で検出される。図２３は、強膜反射を用いた視線検出におけるレーザ光の走査角度情報（横ビーム角度、及び縦ビーム角度）と、第１受光部１０３１及び第２受光部１０３２によって検出される受光信号の時系列変化を示している。フレームレートＮｆは数１０ヘルツ程度である。

そこで、強膜反射を用いて視線検出を行う場合には、図１２に示された視線方向判定部１０３３の第１の構成例における信号処理部９０１，９０２に、例えばカットオフ周波数１００～１０００ヘルツのローパスフィルタを組み込めばよい。これにより、信号処理部９０１，９０２が出力する出力信号Ｖ１，Ｖ２に強膜反射成分を抽出し、角膜反射成分を排除することができる。

反対に、角膜反射を用いて視線検出を行う場合には、図１６に示された視線方向判定部１０３３の第２の構成例における信号処理部１３０１，１３０２に、例えばカットオフ周波数１００～１０００ヘルツのハイパスフィルタを組み込めばよい。これにより、信号処理部１３０１，１３０２が出力する出力信号Ｖ１，Ｖ２に角膜反射成分を抽出し、強膜反射成分を排除することができる。

また、強膜反射を用いて視線検出を行う場合には、図１２に示された視線方向判定部１０３３の第１の構成例を図２４に示すように変形してもよい。図２４は、視線方向判定部１０３３の第１の構成例の変形例を示している。該変形例は、図１２に示された第１の構成例に、演算部１４０６を追加したものである。演算部１４０６は、走査軌跡制御部１００７から１フレーム毎に入力されるタイミング情報に基づき、除算部９０５の出力を１フレーム間で平均化する。これにより、演算部１４０６から出力される視線信号Ｖｓには、図２３に示す第１受光部１０３１及び第２受光部１０３２の平均値Ｖ１ａｖｅ，Ｖ２ａｖｅのように、走査の周波数ｆｒに比べて十分に遅い変動成分のみが残り、強膜反射成分のみを抽出することができる。

以上に説明した本発明の第１の実施の形態に係る表示装置１０によれば、光源部１００２が映像を表示するための光源と視線検出のための光源とを兼ねるので、視線検出専用の光源を設ける場合に比べて、消費電力を抑えることができる。また、表示装置１０によれば、導光光学系１０２０にてレーザ光を複数に分割してユーザの眼球３０に照射するので、レーザ光を眼球３０の所定の位置に照射するような正確な位置決めを行うことなく、高精度の視線検出を行うことが可能となる。

＜本発明の第２の実施の形態に係る表示装置４０の構成例＞
次に、図２５は、本発明の第２の実施の形態に係る表示装置４０の構成例を示している。

表示装置４０は、表示装置１０（図１）に、第１光取込部１０４１、及び第２光取込部１０４２を追加したものである。なお、表示装置４０の構成要素のうち、表示装置１０の構成要素と共通するものについては同一の符号を付してその説明を省略する。

第１光取込部１０４１、及び第２光取込部１０４２は、それぞれ光ファイバから成り、光ファイバの一端の開口が、導光光学系１０２０を挟んで眼球３０の位置に対して略等しい距離に配置される。また、第１光取込部１０４１、及び第２光取込部１０４２をそれぞれ成す光ファイバの他端の開口は、第１受光部１０３１、及び第２受光部１０３２の受光面に向けて配置されている。なお、第１光取込部１０４１、及び第２光取込部１０４２は、レンズ等の光学素子を含んでもよい。

すなわち、第１光取込部１０４１、及び第２光取込部１０４２は、導光光学系１０２０から出射されて眼球３０にて反射（散乱を含む）した反射光を取り込んで、第１受光部１０３１または第２受光部１０３２に導光することができる。

したがって、本発明の第２の実施の形態に係る表示装置４０によれば、表示装置１０（図１）と同様の効果を実現できる。また、表示装置４０によれば、眼球３０に近接する導光光学系１０２０と、第１受光部１０３１及び第２受光部１０３２とを物理的に離して配置することができる。よって、表示装置４０においては、第１受光部１０３１及び第２受光部１０３２を、ユーザが装着する眼鏡型等の装着部位から分離して設けることができ、該装着部位の軽量小型化を実現できる。

＜本発明の第３の実施の形態に係る表示装置５０の構成例＞
図２６は、本発明の第３の実施の形態に係る表示装置５０の構成例を示している。

上述した表示装置１０，４０は、眼球３０の表面における強膜反射または角膜反射を用いて視線検出を行うが、表示装置５０は、眼球３０の眼底における網膜反射を用いて視線検出を行う。

表示装置５０は、表示装置１０（図１）から第１受光部１０３１及び第２受光部１０３２を省略し、光分岐部１０６１及び受光部１０６２を追加したものである。なお、表示装置５０の構成要素のうち、表示装置１０の構成要素と共通するものについては同一の符号を付してその説明を省略する。

光分岐部１０６１は、ハーフミラーやビームスプリッタプリズム、偏光ビームスプリッタ及び波長板からなる構成等によって実現される。光分岐部１０６１は、光走査部１００１から導光光学系１０２０の光入力部２２１（図８）に向けて出射されるレーザ光を透過する。また、光分岐部１０６１は、光出力部２２２から出射される反射光を受光部１０６２に向けて反射する。

受光部１０６２は、ＰＤ等の光電変換素子から成り、光分岐部１０６１にて反射した反射光を検出し、検出強度を表す受光信号を視線方向判定部１０３３に出力する。

次に、図２７は、光分岐部１０６１及び受光部１０６２の配置例を示している。光分岐部１０６１は、光走査部１００１から導光光学系１０２０に対して出射されるレーザ光の光路に配置される。

表示装置５０においては、導光光学系１０２０にて複数に分割され、光出力部２２２（図８）から出射された光線１８０１の一部が、眼球３０の網膜にて反射される。その反射光１８１０は、導光光学系１０２０の光入力部２２１に入射してその内部を伝搬し、光出力部２２２から出射され、光分岐部１０６１により受光部１０６２に向けて反射され、受光部１０６２に検出される。

なお、図２７は、眼球３０が正面を向いている場合を示しており、この場合、瞳孔から眼球３０に内部に入射したレーザ光は網膜にて瞳孔に向けて正反射されて導光光学系１０２０の光入力部２２１に戻ることができる。よって、受光部１０６２は、反射光を検出できるので、受光信号の値が大きくなる。一方、眼球３０が正面を向いていない場合、瞳孔から眼球３０に内部に入射したレーザ光は網膜にて瞳孔以外の方向に向けて正反射されるので、導光光学系１０２０の光入力部２２１に戻ることができない。よって、受光部１０６２は、反射光を検出できず、受光信号の値は小さくなる。

よって、本発明の第３の実施の形態に係る表示装置５０によれば、視線方向判定部１０３３にて受光部１０６２による受光信号の変化に基づき、ユーザの眼球３０が正面を向いているか否かを判定することができる。

本発明は、上記した実施形態や変形例に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０・・・表示装置、２０・・・外部制御装置、３０・・・眼球、４０・・・表示装置、５０・・・表示装置、６０・・・スクリーン、１０１・・・加振部、１０２・・・導光路、１０２ａ・・・自由端、１０３・・・接合部、１０４・・・レンズ、１０５・・・外装部、１０６・・・支持部材、１０７・・・電気配線部、２２０・・・導光板、２２１・・・光入力部、２２２・・・光出力部、２２３，２２４・・・内側反射面、４０１・・・光ファイバ走査デバイス、６０１・・・可動ミラー走査デバイス、６０２・・・鏡面部、６０３・・・入射光、６０４・・・出射光、７０１・・・スポット、７０２・・・軌跡、７１０・・・スポット群、８０１・・・導光板、８０２～８０４・・・回折領域、８１１・・・導光板、８１２，８１３・・・回折領域、８２１・・・導光板、８２２・・・入射面、８２３・・・部分反射面、８２４・・・光出力面、９０１，９０２・・・信号処理部、９０３・・・減算部、９０４・・・加算部、９０５・・・除算部、１００１・・・光走査部、１００２・・・光源部、１００３・・・光源制御部、１００４・・・発光制御部、１００５・・・映像制御部、１００６・・・映像情報記憶部、１００７・・・走査軌跡制御部、１００８・・・駆動信号生成部、１００９・・・駆動制御部、１０１０・・・統括部、１０１１・・・記憶部、１０１２・・・入出力制御部、１０２０・・・導光光学系、１０３１・・・第１受光部、１０３２・・・第２受光部、１０３３・・・視線方向判定部、１０４１・・・第１光取込部、１０４２・・・第２光取込部、１０６１・・・光分岐部、１０６２・・・受光部、１３０１・・・信号処理部、１３０２・・・信号処理部、１３０３・・・ピーク検出部、１３０４・・・ピーク検出部、１３０５，１４０６・・・演算部、１８０１・・・光線、１８０２・・・白目散乱光、１８０３・・・黒目散乱光、１８０４，１８１０・・・反射光、３００１・・・赤色ＬＤ、３００２・・・緑色ＬＤ，３００３・・・青色ＬＤ、
３００４～３００６・・・電流制限抵抗、３００７・・・赤外ＬＤ、３００８・・・電流制限抵抗

Claims (10)

1. 光を出射する光源部と、
   前記光源部によって出射された前記光の照射位置を走査する光走査部と、
   前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、
   前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、
   前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、を備え、
   前記視線方向判定部は、前記光の前記眼球の角膜における散乱光または反射光に起因する角膜反射成分を前記受光信号から除去するフィルタを有し、前記光の前記眼球の強膜における散乱光または反射光に起因する強膜反射成分に基づき、前記ユーザの視線方向を判定する
   ことを特徴とする視線検出装置。
2. 請求項１に記載の視線検出装置であって、
   前記光走査部は、映像情報に基づいて前記光の照射位置を走査することにより、前記映像情報に対応する映像を前記ユーザに視認させる
   ことを特徴とする視線検出装置。
3. 請求項１に記載の視線検出装置であって、
   複数の前記受光部を備え、
   複数の前記各受光部は、前記導光光学系の周囲の異なる位置に配置されている
   ことを特徴とする視線検出装置。
4. 請求項１に記載の視線検出装置であって、
   前記視線方向判定部は、前記光走査部の走査による前記光の照射位置を表す走査角度情報、及び前記受光信号に基づき、前記ユーザの視線方向を判定する
   ことを特徴とする視線検出装置。
5. 請求項１に記載の視線検出装置であって、
   前記視線方向判定部は、前記光源部の発光強度情報、及び前記受光信号に基づき、前記ユーザの視線方向を判定する
   ことを特徴とする視線検出装置。
6. 請求項１に記載の視線検出装置であって、
   前記導光光学系から前記ユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を取り込んで前記受光部まで伝搬する光取込部を、
   備えることを特徴とする視線検出装置。
7. 請求項１に記載の視線検出装置であって、
   前記光走査部から出射され、前記導光光学系の光入力部に入射されて前記導光光学系の光出力部から前記ユーザの前記眼球に向けて出射され、前記眼球にて散乱または反射して前記導光光学系の前記光出力部に入射し、前記光入力部から出射された前記散乱光または前記反射光を前記受光部の方向に反射する光分岐部を、
   備えることを特徴とする視線検出装置。
8. 請求項７に記載の視線検出装置であって、
   前記光分岐部は、前記光走査部から前記導光光学系の前記光入力部までの光路に配置され、前記光走査部から出射され、前記導光光学系の前記光入力部に入射される前記光を透過する
   ことを特徴とする視線検出装置。
9. 視線検出装置による視線検出方法であって、
   光源部から出射され、光走査部によって照射位置が走査された光を複数に分割してユーザの眼球に向けて出射する出射ステップと、
   前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する生成ステップと、
   前記受光信号に基づき、前記ユーザの視線方向を判定する判定ステップと、を含み、
   前記判定ステップは、前記光の前記眼球の角膜における散乱光または反射光に起因する角膜反射成分を前記受光信号から除去するフィルタを有し、前記光の前記眼球の強膜における散乱光または反射光に起因する強膜反射成分に基づき、前記ユーザの視線方向を判定する
   ことを特徴とする視線検出方法。
10. 光を出射する光源部と、
    前記光源部によって出射された前記光の照射位置を映像情報に基づいて走査する光走査部と、
    前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、
    前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、
    前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、を備え、
    前記視線方向判定部は、前記光の前記眼球の角膜における散乱光または反射光に起因する角膜反射成分を前記受光信号から除去するフィルタを有し、前記光の前記眼球の強膜における散乱光または反射光に起因する強膜反射成分に基づき、前記ユーザの視線方向を判定する
    ことを特徴とする表示装置。

Images