JP6837142B2 - 視線追跡装置および頭部装着型表示装置 - Google Patents

Description

本発明は、電子装置の技術分野に関し、具体的には、視線追跡装置および頭部装着型表示装置に関する。

従来の視線追跡装置は、視線追跡機能及び虹彩認識機能を兼ね備えることができ、これにより、視線追跡装置はユーザの視線方向を取得することができるとともに、ユーザの身分認証を正確に行うことができる。

本発明者らは、研究により、従来技術において視線追跡機能の実現も虹彩認識機能の実現も、カメラを用いて、赤外線補助光ランプで補助する場合に眼部領域を撮像して眼部画像を捉え、それから、異なる画像認識アルゴリズムに基づいて目の注視点位置及びユーザの身分情報を判断するように行われ、上記２つの過程において、有効動作輝度に達した赤外線ランプの数が変わらないままであり、即ち、赤外線ランプは、虹彩認識及び視線追跡を行う時に、有効動作輝度に達した赤外線ランプの数がそれぞれ一致していることを発見した。このため、有効動作輝度に達した赤外線ランプの数が多ければ、視線追跡装置が虹彩認識を行う場合に、赤外線カメラで収集された眼球画像に多くの赤外線の光スポットが含まれるため、虹彩画像の一部を遮蔽し、すべての眼部特徴を取得できない結果となる。或いは、赤外線ランプの数が少なければ、視線追跡装置が視線追跡を行う場合に、赤外線カメラで収集された眼球画像における赤外線の光スポットが少ないため、虹彩領域にて赤外線の光スポットを収集できない傾向があり、視線方向を正確に算出できないか、算出しがたい結果となる。

これに鑑みて、本発明の実施例の目的は、視線追跡装置および頭部装着型表示装置を提供することであり、該視線追跡装置が虹彩認識を行う場合に、赤外線ランプ群のうち有効動作輝度に達した赤外線ランプの数を低減し、赤外線ランプが多すぎて眼部特徴値の収集に干渉してしまう問題を回避し、そして、該視線追跡装置が視線追跡を行う場合に、有効動作輝度に達した赤外線ランプの数を増加することで、視線追跡をより正確に行う。

第１の態様によれば、本発明の実施例は、赤外線カメラと、異なる位置に設けられた少なくとも２つの赤外線ランプを含む赤外線ランプ群と、前記赤外線ランプ群に電気的に接続される制御回路とを備える視線追跡装置であって、
前記赤外線カメラは、前記赤外線ランプが点灯される時のユーザの眼球画像を収集するように構成されており、
前記制御回路は、前記視線追跡装置が虹彩認識及び視線追跡を行う場合に、前記赤外線ランプ群のうち、閾値輝度以上である有効動作輝度に達した赤外線ランプの数をそれぞれ制御するように構成されている、視線追跡装置を提供する。

第１の態様を結合し、本発明の実施例は、第１の態様の第１の可能な実施形態を提供し、前記赤外線ランプ群は、第１位置に設けられた赤外線ランプ群と、第２位置に設けられた赤外線ランプ群とを含み、該第１位置に設けられた赤外線ランプ群の動作時に発射した赤外線光がユーザの眼球に直接照射されず、該第２位置に設けられた赤外線ランプ群の動作時に発射した赤外線光がユーザの眼球に直接照射され、
前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、第１位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御し、前記視線追跡装置が視線追跡を行う場合に、第２位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御するように構成されている。

第１の態様を結合し、本発明の実施例は、第１の態様の第２の可能な実施形態を提供し、前記赤外線カメラが前記制御回路に電気的に接続され、
前記赤外線カメラは、さらに、前記眼球画像、および、前記赤外線光を前記赤外線カメラに照射して形成された虹彩画像を前記制御回路に伝送するように構成されており、
前記制御回路は、さらに、前記眼球画像の階調値が予め設定された階調値に達するように、有効動作輝度に達した前記赤外線ランプの輝度を調整するように構成されている。

第１の態様を結合し、本発明の実施例は、第１の態様の第３の可能な実施形態を提供し、前記赤外線ランプ群は、第１の赤外線ランプと第２の赤外線ランプとを含み、前記第１の赤外線ランプの数が前記第２の赤外線ランプの数よりも小さく、
前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、前記第１の赤外線ランプが有効動作輝度に達するように制御するとともに、前記第２の赤外線ランプの輝度を前記閾値輝度よりも小さく制御し、前記視線追跡装置が視線追跡を行う場合に、前記第１の赤外線ランプの輝度を前記閾値輝度よりも小さく制御するとともに、前記第２の赤外線ランプが有効動作輝度に達するように制御するように構成されている。

第１の態様を結合し、本発明の実施例は、第１の態様の第４の可能な実施形態を提供し、前記制御回路が各前記赤外線ランプにそれぞれ電気的に接続され、
前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、第１の設定数の前記赤外線ランプが有効動作輝度に達するように制御し、前記視線追跡装置が視線追跡を行う場合に、前記第１の設定数よりも大きい第２の設定数の前記赤外線ランプが有効動作輝度に達するように制御するように構成されている。

第１の態様の第１の可能な実施形態を結合し、本発明の実施例は、第１の態様の第５の可能な実施形態を提供し、前記第１位置の赤外線ランプ群は、少なくとも２つの赤外線ランプを含み、前記第２位置の赤外線ランプ群は、少なくとも３つの赤外線ランプを含み、
前記第１位置の赤外線ランプ群の中の各赤外線ランプの発光波長は、前記第２位置の赤外線ランプ群の中の赤外線ランプの発光波長よりも小さい。

第１の態様の第５の可能な実施形態を結合し、本発明の実施例は、第１の態様の第６の可能な実施形態を提供し、前記第１位置の赤外線ランプ群のうち少なくとも２つの赤外線ランプの発光波長が異なっている。

第１の態様の第６の可能な実施形態を結合し、本発明の実施例は、第１の態様の第７の可能な実施形態を提供し、前記赤外線カメラは、第１の赤外線カメラと第２の赤外線カメラとを含み、前記制御回路は、さらに、視線追跡装置が虹彩認識を行う場合に、第１の赤外線カメラが動作するように制御し、視線追跡装置が視線追跡を行う場合に、第２の赤外線カメラが動作するように制御するように構成されている。

第１の態様を結合し、本発明の実施例は、第１の態様の第８の可能な実施形態を提供し、前記制御回路は、さらに、前記赤外線ランプが有効動作輝度に達する時に、前記赤外線カメラが動作し始めるように制御するように構成されている。

第２の態様によれば、本発明の実施例は、第１の態様〜第１の態様の第８の可能な実施形態のいずれか１つにおける視線追跡装置を備える頭部装着型表示装置を提供する。

本発明の実施例に提供される視線追跡装置および頭部装着型表示装置は、従来技術における視線追跡装置に比べ、その赤外線ランプ群は、異なる位置に設けられた少なくとも２つの赤外線ランプを含み、制御回路は、視線追跡装置が虹彩認識及び視線追跡を行う場合に、前記赤外線ランプ群のうち有効動作輝度に達した赤外線ランプの数をそれぞれ制御することができ、これにより、視線追跡装置は、この２つの動作状態では、有効動作輝度に達した赤外線ランプの数が異なっているため、虹彩認識及び視線追跡を行う場合に、赤外線ランプ群のうち有効動作輝度に達した赤外線ランプの数をそれぞれ制御することができ、視線追跡装置が虹彩認識を行う場合に、有効動作輝度の赤外線ランプの数が少ないため、赤外線カメラで取得されたユーザの眼球画像には多くの赤外線の光スポットが発生することなく、すべての眼部特徴を取得することでユーザの身分認証を行うことができる。そして、視線追跡装置が視線追跡を行う場合に、有効動作輝度に達した赤外線ランプの数が多いため、赤外線カメラで取得されたユーザの眼球画像には多くの赤外線の光スポットが発生し、ユーザの視線方向をより正確に取得する。

本発明の上記目的、特徴および利点をより理解しやすくすることができるように、以下、好適な実施例を挙げながら図面を結合して、以下のように詳しく説明する。

本発明の実施例の技術的構成をより明確に説明するために、以下、実施例に必要な図面を説明する。以下の図面は、本発明の一部の実施例のみを示すため、その範囲を限定するものと理解されてはならない。当業者は、創造的な労働を要しない前提において、これらの図面に基づいて他の関連する図面を得ることもできる。

本発明の実施例に提供される視線追跡装置の構成を示す模式図である。 本発明の実施例に提供される円環状赤外線ランプ板の実物を示す模式図である。 本発明の実施例に提供される制御回路の回路図である。 本発明の実施例に提供される頭部装着型仮想現実メガネの実物を示す模式図である。

本発明の実施例の目的、技術的構成および利点をより明確にするために、以下、本発明の実施例の図面を結合して本発明の実施例中の的構成を明瞭かつ完全に説明する。説明する実施例は本発明の実施例の一部に過ぎず、全部ではないことは、言うまでもないことである。ここでの図面に説明され示される本発明の実施例のアセンブリは、通常、様々な異なる構成で配置され設計されることができる。このため、以下、図面に提供される本発明実施例の詳細な説明は、本発明の保護範囲を限定することを意図せず、あくまでも本発明の好適な実施例を示す。当業者が本発明の実施例に基づいて創造的な労働無しに得られた他の実施例は、すべて本発明の保護範囲内に含まれる。

［実施例１］
本発明の実施例１は、視線追跡装置を提供し、図１に示すように、赤外線カメラ１０１を備え、赤外線ランプ群１０２と制御回路１０３とをさらに備え、制御回路１０３が赤外線ランプ群１０２に電気的に接続され、赤外線ランプ群１０２は、異なる位置に設けられた少なくとも２つの赤外線ランプ１０２１を含み、赤外線カメラ１０１は制御回路１０３に電気的に接続されることができる。

赤外線カメラ１０１は、上記赤外線ランプ１０２１が点灯された時のユーザの眼球画像を収集するように構成されている。

上記視線追跡装置が動作し、かつ暗い環境に置かれる場合、赤外線カメラ１０１は、赤外線ランプ１０２１が点灯された時にユーザの眼球画像を収集する必要がある。

制御回路１０３は、視線追跡装置が虹彩認識及び視線追跡を行う場合に、赤外線ランプ群１０２のうち有効動作輝度に達した赤外線ランプ１０２１の数をそれぞれ制御するように構成され、該有効動作輝度は、該輝度が閾値輝度以上であるという意味である。

有効動作輝度に達した赤外線ランプ１０２１は、該輝度の赤外線ランプをユーザの眼球に直接照射する時に、赤外線カメラ１０１が該ユーザの眼球画像を収集した場合に、虹彩領域にて収集した赤外線の光スポットが虹彩画像の一部を遮蔽するため、すべての眼部特徴を抽出できないという意味である。赤外線ランプ１０２１の輝度が非常に小さければ、ユーザの眼球に照射される時に、赤外線カメラで抽出された眼球画像における虹彩画像は、その一部が遮蔽されることなく、すべての眼部特徴値の抽出に影響を与えず、該輝度が非常に小さい赤外線ランプ１０２１の部分が有効動作輝度に達していないと認められる。以下の説明の便宜のために、有効動作輝度に達した赤外線ランプ１０２１の照射により形成された赤外線の光スポットを、赤外線の光スポットを含むものといい、有効動作輝度に達していない赤外線ランプ１０２１を眼球画像に照射する際に形成された赤外線の光スポットを、赤外線の光スポットが形成されていないものといい、この時の赤外線の光スポットが眼部特徴値の抽出に干渉しないとともに、視線追跡時にも視線方向の算出に寄与しないためである。

閾値輝度値は、複数回の試験によって得ることができ、閾値輝度よりも小さい赤外線ランプをユーザの眼球に照射する場合に、赤外線カメラで取得された眼球画像における虹彩画像に形成された赤外線の光スポットの輝度が非常に低い、或いは赤外線の光スポットが非常に小さく、ユーザの眼部特徴値の抽出に影響を与えない。

オプションとして、本発明の実施例１に提案される技術的構成において、赤外線ランプ群は、第１位置に設けられた赤外線ランプ群と、第２位置に設けられた赤外線ランプ群とを含み、該第１位置に設けられた赤外線ランプ群の動作時に発射した赤外線光は、ユーザの眼球に直接照射されず、該第２位置に設けられた赤外線ランプ群の動作時に発射した赤外線光は、ユーザの眼球に直接照射される。

制御回路は、視線追跡装置が虹彩認識を行う場合に、第１位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御し、視線追跡装置が視線追跡を行う場合に、第２位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御するように構成されている。

第１位置に設けられた赤外線ランプが動作時にユーザの眼球に直接照射されないことは、該位置の赤外線ランプが有効動作輝度に達する際に、人の眼に直接照射されず、他の部位、例えば、ユーザのまぶたに照射され、拡散反射により人の眼に照射され、その後、赤外線カメラ上に結像され、赤外線カメラがユーザの眼球画像を取得し、かつ該眼球画像上の虹彩領域には赤外線の光スポットがない。一方、第２位置に設けられた赤外線ランプが動作時にユーザの目に直接照射され、眼球の鏡面反射により、赤外線カメラ上に結像され、赤外線カメラがユーザの眼球画像を取得し、かつ該眼球画像上の虹彩領域には赤外線の光スポットがある。

例えば、２つの円環状ランプ板を設けることができ、一方の直径を他方よりやや大きく形成し、直径が大きい円環状ランプ板を直径が小さい円環状ランプ板に外挿し、直径が大きい円環状ランプ板をユーザの眼球から遠く離れた場所に設け、その発射した赤外線光がユーザの眼球に直接照射されず、眼球周りの領域に照射され、該領域での拡散反射により、一部の拡散反射光がユーザの眼球に照射され、それから赤外線カメラ上に結像され、このため、赤外線カメラで取得された眼球画像には赤外線の光スポットがない。

上述した場合において、第１位置に設けられた赤外線ランプ群は、少なくとも２つの赤外線ランプを含み、第２位置に設けられた赤外線ランプ群は、少なくとも３つの赤外線ランプを含み、第１位置の赤外線ランプ群の中の各赤外線ランプの発光波長が、第２位置の赤外線ランプ群の中の赤外線ランプの発光波長よりも小さい。

虹彩認識を行う場合、ユーザの眼球画像への虹彩認識率を高め、虹彩特徴値を容易に抽出するために、一般的には波長が７６０ｎｍ〜８５０ｎｍにある赤外線光を用いるが、視線追跡を行う場合、眼球画像における赤外線の光スポットの鮮明度を高めるとともに、ユーザの眼球を保護するために、一般的には波長が８５０ｎｍ〜９４０ｎｍにある赤外線光を用いる。

特に、虹彩認識を行う場合、虹彩認識率は、赤外線光の波長から影響を受けるほか、ユーザの目における虹彩領域の色からの影響をも受けている。このため、オプションとして、本発明の実施例１に提案される技術的構成において、第１位置に設けられた赤外線ランプ群のうち少なくとも２つの赤外線ランプの発光波長が異なっており、例えば、３つの赤外線ランプを含み、それらから発射された赤外線光の波長がそれぞれ７７０ｎｍ、８１０ｎｍ及び８４０ｎｍである。あるユーザが該視線追跡装置を用いて、虹彩認識を行う場合に、該３つの波長のランプをそれぞれ有効に動作させ、それぞれ赤外線カメラで取得された３枚の画像を閲覧し、最も鮮明な画像、即ち、階調値が最も大きい画像を選び、対応して動作する赤外線ランプは、該ユーザに最も適した赤外線ランプである。

オプションとして、本発明の実施例１において、赤外線カメラは、第１の赤外線カメラと、第２の赤外線カメラとを含み、制御回路は、さらに、視線追跡装置が虹彩認識を行う場合に、第１の赤外線カメラが動作するように制御し、視線追跡装置が視線追跡を行う場合に、第２の赤外線カメラが動作するように制御するように構成されている。第１の赤外線カメラで受信された赤外線光の波長は、第２の赤外線カメラで受信された赤外線光の波長よりも小さい。

視線追跡装置が虹彩認識及び視線追跡をそれぞれ行う場合に、赤外線ランプ群１０２のうち有効動作輝度に達した赤外線ランプ１０２１の数が異なるように制御し、これにより、視線追跡装置が虹彩認識を行う場合に、赤外線カメラ１０１で収集されたユーザの眼球画像には赤外線の光スポットがないか、或いは、非常に少量の赤外線の光スポットがあり、このように、赤外線カメラ１０１で取得された眼球画像に赤外線の光スポットが多すぎることに起因して、眼球のすべての特徴値を抽出できず、虹彩認識を完成できないことを回避する。同時に、視線追跡装置が視線追跡を行う場合に、多くの有効動作輝度に達した赤外線ランプ１０２１をユーザの眼球の角膜領域に照射するため、赤外線カメラ１０１で取得された眼球画像において、眼球の瞳孔中心付近に多くの赤外線の光スポットが分布し、瞳孔中心と各赤外線の光スポットとの距離を算出することで、ユーザの視線方向をより正確に決定することができる。

該視線追跡装置は、仮想現実装置として構成されてもよいし、拡張現実装置又はその頭部装着型眼制御装置として構成されてもよく、該装置は、ユーザの虹彩認識機能とともにユーザの視線方向を決定する機能を備え、具体的な適用環境はここには具体的に限定されない。

該制御回路１０３は、プロセッサを含み、プロセッサは、パルス幅変調信号を出力することで、赤外線ランプ群１０２のうち有効動作輝度に達した赤外線ランプ１０２１の数を調整することができる。

例えば、事前のテストによって、赤外線ランプ１０２１が有効動作輝度に達した時に通過する最低電流値を取得することができ、パルス幅変調信号を出力することで、電流を、上記最低電流値以上となるように調整することができる。

実際の操作において、赤外線ランプ１０２１の輝度が有効動作輝度に達する際に、赤外線カメラで取得された眼球画像における虹彩画像又は虹彩画像における赤外線の光スポットが、あまり鮮明ではない場合、上述した虹彩画像及び赤外線の光スポットが鮮明となるように赤外線ランプ１０２１の輝度を調整することができる。

オプションとして、本発明の実施例１において、図１に示すように、赤外線カメラ１０１が制御回路１０３に電気的に接続されている。

赤外線カメラ１０１は、さらに、取得されたユーザの眼球画像を制御回路１０３に伝送するように構成されている。

制御回路１０３は、さらに、眼球画像の階調値が予め設定された階調値に達するように、有効動作輝度に達した赤外線ランプ１０２１の輝度を調整するように構成されている。

このような場合は、以下を含む。視線追跡装置が虹彩認識を行う場合に、制御回路１０３は、ユーザの眼球画像におけるテクスチャ画像の階調値を調整し、これにより、テクスチャがより鮮明になり、該テクスチャの認識度が増加し、虹彩認識がすばやく完成される。また、視線追跡装置が視線追跡を行う場合に、制御回路１０３は、取得されたユーザの眼球画像における瞳孔及び赤外線の光スポットの階調値を調整し、これにより、比較的に鮮明な瞳孔及び赤外線の光スポットの画像を取得する。

例えば、制御回路１０３のプロセッサに、眼球画像におけるテクスチャの階調値が１０８として予め記憶され、光スポット画像の階調値が１００に予め設定され、或いは１つの階調値範囲が予め記憶される。視線追跡装置が虹彩認識を行う場合に、制御回路１０３のプロセッサは、受信されたテクスチャ画像の階調値が予め設定された階調値１０８に達したか否か、或いは予め設定された階調値範囲に達したか否かを判定することができ、達していれば、この時の赤外線ランプ１０２１の輝度を調整しないが、達していなければ、パルス幅変調信号を出力することで赤外線ランプ１０２１の輝度を調整することができる。

視線追跡装置が視線追跡を行う場合に、制御回路１０３のプロセッサは、受信された眼球画像における赤外線の光スポットの画像の階調値が、予め設定された階調値１００に達したか否か、或いは、予め記憶された階調値範囲に達したか否かを判定することができ、達していれば、この時の赤外線ランプ１０２１の輝度を調整しないが、達していなければ、パルス幅変調信号を出力することで赤外線ランプ１０２１の輝度を調整することができる。

パルス幅変調は、アナログ制御方式であり、対応する負荷の変化に応じてトランジスタのベース又はＭＯＳチューブのゲートのバイアスを変調することで、トランジスタ又はＭＯＳチューブがオンにされる時間の変化を実現し、これにより、スイッチの定電圧電源の出力の変化を実現する。このような方式では、電源の出力電圧を動作条件の変化時に一定に保つことができ、マイクロプロセッサのデジタル信号を用いてアナログ回路を制御する非常に有効な技術である。

ここで、パルス幅変調信号のデューティ比を調整することで、出力電流の大きさを調整することができ、もちろん、パルス幅変調信号を出力することで赤外線ランプ１０２１の輝度を調整することは、１つの実施例に過ぎず、このような方式には限定されない。

オプションとして、本発明の実施例１において、赤外線ランプ群１０２は、第１の赤外線ランプと第２の赤外線ランプとを含み、かつ第１の赤外線ランプの数が第２の赤外線ランプの数よりも小さい。

制御回路１０３は、視線追跡装置が虹彩認識を行う場合に、第１の赤外線ランプが有効動作輝度に達するように制御するとともに、第２の赤外線ランプを閾値輝度よりも小さく制御し、視線追跡装置が視線追跡を行う場合に、第１の赤外線ランプを閾値輝度よりも小さく制御するとともに、第２の赤外線ランプが有効動作輝度に達するように制御するように構成されている。

赤外線ランプの輝度を閾値輝度よりも小さく制御することは、該赤外線ランプを直接オフにすることを含む。

例えば、第１の赤外線ランプの数が１つであり、第２の赤外線ランプの数が８つであり、視線追跡装置が虹彩認識を行う場合に、制御回路１０３によって、第１の赤外線ランプ、即ち、１つの赤外線ランプが有効動作輝度に達するように制御する。視線追跡装置が視線追跡を行う場合に、制御回路１０３によって、第２の赤外線ランプ、即ち、８つの赤外線ランプが有効動作輝度に達するように制御する。

オプションとして、本発明の実施例１において、第１の赤外線ランプと第２の赤外線ランプとが並列に設けられ、第２の赤外線ランプの中の各赤外線ランプが直列に設けられることができる。

他のオプションとして、本発明の実施例１において、制御回路１０３が赤外線ランプ群１０２の中の各赤外線ランプ１０２１に電気的に接続されている。

この場合、制御回路１０３は、視線追跡装置が虹彩認識を行う場合に、第１の設定数の赤外線ランプ１０２１が有効動作輝度に達するように制御し、視線追跡装置が視線追跡を行う場合に、第１の設定数よりも大きい第２の設定数の赤外線ランプ１０２１が有効動作輝度に達するように制御するように構成されている。

例えば、第１の設定数が１つであり、第２の設定数が８つであり、視線追跡装置が虹彩認識を行う場合に、制御回路１０３は、赤外線ランプ群１０２のうち１つの赤外線ランプ１０２１が有効動作輝度に達するように制御する。視線追跡装置が視線追跡を行う場合に、制御回路１０３は、赤外線ランプ群１０２のうち８つの赤外線ランプが有効動作輝度に達するように制御し、この８つの赤外線ランプ１０２１は、上述した虹彩認識に点灯された１つの赤外線ランプ１０２１を含んでもよい。

オプションとして、本発明の実施例１において、上記赤外線ランプ群１０２の中の各赤外線ランプ１０２１が並列に接続されている。

オプションとして、本発明の実施例１において、上記視線追跡装置は、赤外線ランプ板をさらに備え、該赤外線ランプ板は赤外線ランプ１０２１を支持するように構成され、制御回路１０３及び赤外線カメラ１０１が該赤外線ランプ板に設けられてもよい。

オプションとして、本発明の実施例１に提案される技術的構成において、該赤外線ランプ板は円環状赤外線ランプ板４００であり、各赤外線ランプ１０２１が該円環状赤外線ランプ板４００に均一に分布する。図２に示すように、赤外線ランプ群１０２は、合わせて８つの赤外線ランプ１０２１を有する。該８つの赤外線ランプ１０２１が該円環状赤外線ランプ板４００に円になるように均一に分布し、隣り合う赤外線ランプの間隔が等しい。この時の制御回路１０３は図３に示すようなものである。図３に示すように、８つの赤外線ランプ１０２１は、それぞれ、チップのピン１１〜１８に１対１に接続されており、各赤外線ランプ１０２１ごとに１つのプルアップ抵抗Ｒが接続されている。チップのピン１１〜１８は、レベルを出力して、対応して接続される赤外線ランプ１０２１を制御する。チップのピン１〜８が制御信号ＬＥＤ１〜ＬＥＤ８を１対１で受信し、各制御信号は、対応する赤外線ランプ１０２１を制御する。

視線追跡装置は、電源供給モジュールをさらに備え、該電源供給モジュールは、制御回路及び赤外線カメラに電源を供給する。

オプションとして、本発明の実施例１に提案される技術的構成において、制御回路は、さらに、赤外線ランプが有効動作輝度に達する時に、赤外線カメラが動作し始めるように制御するように構成されている。

電源供給モジュールの消費電力を節約するために、制御回路１０３は、さらに、赤外線カメラ１０１の露光時間及び赤外線ランプ１０２１の点灯・消灯時間を制御することができる。

オプションとして、実施例１に提案される技術的構成において、視線追跡装置が視線追跡モードで動作する場合に、赤外線カメラの露光時間が一定の最大値に設定され、制御回路は、出力されるパルス幅変調信号を調整することで、視線追跡を行う赤外線ランプを適切な輝度に調整する時に、赤外線カメラが撮像同期信号を出力するように制御し、撮像が完了した後、視線追跡を行う赤外線ランプが消灯されるように制御する。これにより、視線追跡を行う赤外線ランプの点滅頻度と赤外線カメラの撮像頻度とが同じになる。

視線追跡装置が虹彩認識を行う場合に、制御回路は、同様に、出力されるパルス幅変調信号を調整することで、虹彩認識を行う赤外線ランプを適切な輝度に調整する時に、赤外線カメラが撮像同期信号を出力するように制御し、撮像が完了した後、虹彩認識を行う赤外線ランプが消灯されるように制御する。これにより、虹彩認識を行う赤外線ランプの点滅頻度と赤外線カメラの撮像頻度とが同じになる。

また、異なる適用環境において、視線追跡装置はその動作モードを選択することができ、例えば、虹彩認識モードのみをオンにするか、或いは、視線追跡モードのみをオンにするか、或いは、２つの動作モードをともにオンにする。

例えば、視線追跡装置は、安全性への要求が比較的に高い環境に設定されるべきであり、これにより、虹彩認識モードを、一定の時間ごとにオンにすることができる。また、視線追跡装置が視線追跡を行う場合、虹彩認識機能を１行おきにオンにする。

オプションとして、本発明の実施例１に提案される技術的構成において、制御回路は、視線追跡と虹彩認識とが交互に循環するように制御し、制御回路は、赤外線カメラが、対応するモードの赤外線ランプが交互に点灯される時に撮像するように制御し、このように、第１フレームの画像が眼制御モードにおける眼球画像であり、第２フレームが虹彩認識モードにおける眼球画像であり、第３フレームが眼制御モードにおける眼球画像であり、…これに準じて類推して、眼制御及び虹彩認識モードを同時に実現し、例えば、収集頻度が６０ｆｐｓであれば、奇数フレームの眼球画像が１つの動作モードで取得されたものであり、偶数フレームの眼球画像が他の動作モードで取得されたものである。この場合、２つの動作モードの切替速度が非常に高いため、人の眼は、２つの動作モードで動作する赤外線ランプの切替にほとんど気づかない。

また、該視線追跡装置は、仮想現実メガネに搭載されることができ、図４に示すように、該仮想現実メガネは、メガネフレーム４０１を含み、該メガネフレームは、ユーザの目に対応するレンズ４０２を含み、円環状赤外線ランプ板４００の内径がレンズ４０２の直径よりも大きく、円環状赤外線ランプ板４００がレンズ４０２に外嵌される。

［実施例２］
本発明の実施例２は、頭部装着型表示装置を提供し、実施例１におけるいずれかの視線追跡装置を備え、頭部装着型表示装置本体をさらに備え、該本体は、載置装置を含み、該載置装置には、レンズ群及びディスプレイが備えられ、レンズ群は左眼レンズ又は右眼レンズを含む。

レンズ群は、異なるユーザのニーズに応えるように、凸レンズであってもよいし、凹レンズであってもよく、或いは視覚保護メガネであってもよく、ディスプレイは画像を表示するように構成されている。

実施例１における視線追跡装置は、ユーザの身分認証及びユーザの視線方向の決定を行うように構成され、該視線追跡装置の赤外線カメラ、赤外線ランプ群及び制御回路は、円環状赤外線ランプ板に搭載されることができ、上記頭部装着型表示装置の設計空間を節約するために、該円環状赤外線ランプ板は、その内径が上記レンズ群における左眼レンズ又は右眼レンズの直径よりやや大きく設計されてもよい。

オプションとして、２つの円環状赤外線ランプ板があり、それぞれ上記左眼レンズ及び右眼レンズに外嵌され、円環状赤外線ランプ板のそれぞれに８つの赤外線ランプ及び１つの赤外線カメラが均一に設けられ、いずれも同一の制御回路によって制御される。

以下、１つの実施例を結合して詳しく説明する。

仮想現実メガネには、実施例１に提供される視線追跡装置が搭載され、該視線追跡装置は、それぞれ制御回路に接続される８つの赤外線ランプを含み、この８つの赤外線ランプが円環状赤外線ランプ板に取り付けられ、制御回路も円環状赤外線ランプ板に設けられており、円環状赤外線ランプ板が仮想現実メガネの一方の円形接眼レンズに外嵌され、他方の円形接眼レンズには８つの赤外線ランプが取り付けられた円環状赤外線ランプ板が外嵌され、該８つの赤外線ランプも上記制御回路によって制御される。

ユーザは該仮想現実メガネを装着し、まず、該仮想現実メガネのスイッチをオンにすることができ、視線追跡装置は、該ユーザの身分確認を開始し、この過程において、２つの接眼レンズではそれぞれ１つの赤外線ランプが有効動作輝度に達し、赤外線カメラはユーザの眼球画像を収集し、該画像を制御回路のプロセッサに送信し、プロセッサには虹彩認識を行う時の画像階調値が予め設定されておき、プロセッサは眼球画像を受信した時に、眼球画像の階調値を取得し、予め設定された上記画像階調値と照合し、照合結果に基づいて赤外線ランプの輝度を調整する。輝度が適切であれば、赤外線カメラで取得された眼球画像を処理して、該ユーザの眼部特徴値を取得し、予め記憶された正規身分のユーザの特徴値と照合する。

該ユーザが正規使用者であると判定されていれば、残った７つのランプがすべて点灯されるように制御するとともに、８つのランプの輝度を適切な範囲に調整し、赤外線カメラによってユーザの眼球画像をリアルタイムに取得し、上述した８つのランプの角膜によって反射された赤外線の光スポットの位置及びユーザの瞳孔中心位置に基づいてユーザの視線方向を決定する。

以上は視線追跡装置の適用環境の１つだけであり、その適用環境は仮想現実メガネに制限されず、さらに拡張現実装置及び他の頭部装着型装置に適用されることができ、例えば、ユーザは、ＡＴＭで引出し又は他の業務をする場合に、視線追跡装置を備えた頭部装着型装置によって操作することができる。

以上の適用環境は、実施例の一部に過ぎず、実施例１に提案された視線追跡装置を用いた装置であれば、すべて本発明の保護範囲内に含まれる。

以上で分析したように、従来技術における視線追跡装置に比べ、その赤外線ランプ群は、異なる位置に設けられた少なくとも２つの赤外線ランプを含み、制御回路は、視線追跡装置が虹彩認識及び視線追跡を行う場合に、前記赤外線ランプ群のうち有効動作輝度に達した赤外線ランプの数をそれぞれ制御することができ、これにより、視線追跡装置は、この２つの動作状態では、有効動作輝度に達した赤外線ランプの数が異なっているため、虹彩認識及び視線追跡を行う場合に、赤外線ランプ群のうち有効動作輝度に達した赤外線ランプの数をそれぞれ制御し、視線追跡装置が虹彩認識を行う場合に、有効動作輝度の赤外線ランプの数を少なくすることで、赤外線カメラで取得されたユーザの眼球画像には多くの赤外線の光スポットが発生することなく、すべての眼部特徴を取得することでユーザの身分認証を行うことができる。そして、視線追跡装置が視線追跡を行う場合に、有効動作輝度の赤外線ランプの数を多くすることで、赤外線カメラで取得されたユーザの眼球画像には多くの赤外線の光スポットが発生し、ユーザの視線方向をより正確に取得する。

類似した符号およびアルファベットは、以下の図面において類似したものを示すため、あるものが１つの図面に定義されていれば、後の図面ではこれをさらに定義し解釈する必要がないことに留意されたい。

なお、本発明の実施例の説明において、「中心」、「上」、「下」、「左」、「右」、「鉛直」、「水平」、「内」、「外」等の用語で示される方位又は位置関係は、図面に示される方位又は位置関係に基づくものであるか、或いは、本発明の実施例の製品が使用される場合に通常に置かれる方位又は位置関係であり、本発明の実施例の説明をしやすくし、簡略化するために過ぎず、示される装置又は素子は必ず特定した方位を有し、特定した方位で構造され操作されることを明示又は暗示していないため、本発明を制限していると理解されてはならない。また、「第１」、「第２」、「第３」等の用語は、それらを区別して説明するために過ぎず、相対的な重要性を明示又は暗示するものと理解されてはならない。

本発明の実施例の説明において、そうでないと明確な規定及び限定がない限り、「設ける」、「装着」、「繋がる」、「接続」といった用語を広義に理解すべきであり、例えば、固定接続であってもよいし、着脱可能な接続又は一体化した接続であってもよい。機械的に接続されてもよいし、電気的に接続されてもよい。直接繋がってもよいし、中間媒体を介して間接的に繋がってもよい。２つの素子内部が連通してもよい。当業者は、具体的な状況に応じて本発明の実施例における上述した用語の具体的な意味を理解することができる。

最後に、以上で説明した実施例は、本発明の実施例の１つの代替な具体的な実施形態に過ぎず、本発明の実施例の技術的構成を説明するためのものであり、それを制限するものではなく、本発明の保護範囲はこれに限定されない。前に述べた実施例を参照して本発明の実施例を詳しく説明したが、当業者が、本発明の実施例に開示された技術範囲内であれば、上述した実施例に記載された技術的構成を修正するか、変化を容易に想到することができ、或いは一部の技術特徴に対して均等な置き換えが可能であることは、当業者が理解すべきである。これらの修正、変化又は置き換えによって、対応する技術的構成の主旨が本発明の実施例の技術的構成の思想や範囲から逸脱することはない。すべて本発明の保護範囲内に含まれるべきである。このため、本発明の保護範囲は、請求項の保護範囲に基づくべきである。

以上で説明したように、本発明の実施例は、視線追跡装置および頭部装着型表示装置を提供し、該視線追跡装置は、赤外線カメラと、赤外線ランプ群と、制御回路とを備え、前記制御回路が前記赤外線ランプ群に電気的に接続され、前記赤外線ランプ群は、異なる位置に設けられた少なくとも２つの赤外線ランプを含み、前記赤外線カメラは、前記赤外線ランプが点灯される時のユーザの眼球画像を収集するように構成され、前記制御回路は、前記視線追跡装置が虹彩認識及び視線追跡を行う場合に、前記赤外線ランプ群のうち閾値輝度以上である有効動作輝度に達した赤外線ランプの数をそれぞれ制御するように構成されている。本発明の実施例は、従来技術においてユーザの視線方向を正確に取得することができないという課題を解決し、視線追跡装置が虹彩認識を行う場合にユーザの身分をすばやく取得することができ、また、視線追跡を行う場合にユーザの視線方向をより正確に取得することができる。

１０１ 赤外線カメラ
１０２ 赤外線ランプ群
１０３ 制御回路
１０２１ 赤外線ランプ
４００ 円環状赤外線ランプ板
４０１ メガネフレーム
４０２ レンズ

Claims (9)

1. 赤外線カメラと、異なる位置に設けられた少なくとも２つの赤外線ランプを含む赤外線ランプ群と、前記赤外線ランプ群に電気的に接続される制御回路とを備える視線追跡装置であって、
   前記赤外線カメラは、前記赤外線ランプが点灯される時のユーザの眼球画像を収集するように構成されており、
   前記制御回路は、前記視線追跡装置が虹彩認識及び視線追跡を行う場合に、前記赤外線ランプ群のうち、閾値輝度以上である有効動作輝度に達した前記赤外線ランプの数をそれぞれ制御するように構成されており、
   前記赤外線ランプ群は、第１の赤外線ランプと第２の赤外線ランプとを含み、前記第１の赤外線ランプの数が前記第２の赤外線ランプの数よりも小さく、
   前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、前記第１の赤外線ランプが有効動作輝度に達するように制御するとともに、前記第２の赤外線ランプの輝度を前記閾値輝度よりも小さく制御し、前記視線追跡装置が視線追跡を行う場合に、前記第１の赤外線ランプの輝度を前記閾値輝度よりも小さく制御するとともに、前記第２の赤外線ランプが有効動作輝度に達するように制御するように構成されている、視線追跡装置。
2. 前記赤外線ランプ群は、第１位置に設けられた赤外線ランプ群と、第２位置に設けられた赤外線ランプ群とを含み、前記第１位置に設けられた赤外線ランプ群の動作時に発射した赤外線光がユーザの眼球に直接照射されず、前記第２位置に設けられた赤外線ランプ群の動作時に発射した赤外線光がユーザの眼球に直接照射され、
   前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、前記第１位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御し、前記視線追跡装置が視線追跡を行う場合に、前記第２位置に設けられた赤外線ランプ群が有効動作輝度に達するように制御するように構成されている、請求項１に記載の視線追跡装置。
3. 前記赤外線カメラが前記制御回路に電気的に接続され、
   前記赤外線カメラは、さらに、前記眼球画像、および、赤外線光を前記赤外線カメラに照射して形成された虹彩画像を前記制御回路に伝送するように構成され、
   前記制御回路は、さらに、前記眼球画像の階調値が予め設定された階調値に達するように、有効動作輝度に達した前記赤外線ランプの輝度を調整するように構成されている、請求項１に記載の視線追跡装置。
4. 前記制御回路が各前記赤外線ランプにそれぞれ電気的に接続され、
   前記制御回路は、前記視線追跡装置が虹彩認識を行う場合に、第１の設定数の前記赤外線ランプが有効動作輝度に達するように制御し、前記視線追跡装置が視線追跡を行う場合に、前記第１の設定数よりも大きい第２の設定数の前記赤外線ランプが有効動作輝度に達するように制御するように構成されている、請求項１に記載の視線追跡装置。
5. 前記第１位置に設けられた赤外線ランプ群は、少なくとも２つの赤外線ランプを含み、前記第２位置に設けられた赤外線ランプ群は、少なくとも３つの赤外線ランプを含み、
   前記第１位置に設けられた赤外線ランプ群の中の各赤外線ランプの発光波長は、前記第２位置に設けられた赤外線ランプ群の中の赤外線ランプの発光波長よりも小さい、請求項２に記載の視線追跡装置。
6. 前記第１位置に設けられた赤外線ランプ群のうち少なくとも２つの赤外線ランプの発光波長が異なっている、請求項５に記載の視線追跡装置。
7. 前記赤外線カメラは、第１の赤外線カメラと第２の赤外線カメラとを含み、前記制御回路は、さらに、視線追跡装置が虹彩認識を行う場合に、前記第１の赤外線カメラが動作するように制御し、視線追跡装置が視線追跡を行う場合に、前記第２の赤外線カメラが動作するように制御するように構成されている、請求項６に記載の視線追跡装置。
8. 前記制御回路は、さらに、前記赤外線ランプが有効動作輝度に達する時に、前記赤外線カメラが動作し始めるように制御するように構成されている、請求項１に記載の視線追跡装置。
9. 請求項１乃至８のいずれか一項に記載の視線追跡装置を備える頭部装着型表示装置。

Images