JP6694233B2 - 眼輻輳に基づいた視覚不注意の検出 - Google Patents

Description

本発明の態様の分野
本発明の態様は、一般に視線追跡に、より具体的には、眼輻輳に基づいて視覚不注意を検出することに関する

米国において毎年、およそ一千万人が自動車事故に逢う。多様な原因が自動車事故の発生の一因となり得るが、ドライバー不注意が主な原因である。いくつかの場合において、ドライバー不注意は、携帯電話の操作などの自動車内の注意散漫、自動車外の注意散漫またはドライバー疲労により生じ得る。

ドライバー不注意により生じる自動車事故の発生率を減少させるために、自動車製造業者は、頭部トラッキングを行う技術を導入し始めた。たとえば、種々の安全システムがドライバーの頭部の位置を追跡し、および頭の位置が特定の位置からずれたかどうかを決定し、ドライバーが寝入っていることを示す。応答して、安全システムは、ドライバーに視覚的および／または聴覚的警告を提供し得る。加えて、種々の安全システムは、ドライバーの頭部の方向を検出し、およびドライバーが道から離れて見ている場合に視覚的および／または聴覚的警告を提供する。

しかし、上記の安全システムは、ドライバーが道の前方を見ているが、彼または彼女の正面に注意を払っていない状況を検出することができない。すなわち、ドライバーの頭部の方向は、ドライバーの注意深さを必ずしも示すというわけではない。結果として、このようなシステムは、ドライバーが空想にふけっており、および／またはそうでなければ彼または彼女の環境に注意を払うことができていない時を検出することができない可能性がある。

前述のことが例証するように、ドライバー不注意の検出を可能にするための改良された技術は、有用だろう。

本発明の１つの態様は、眼輻輳に基づいて使用者が注意していないときを検出するための方法を述べる。本方法は、使用者から第１の対象までの第１の距離を決定することを含む。本方法は、使用者の左眼に関連する第１の両眼共同運動角度を決定すること、および使用者の右眼に関連する第２の両眼共同運動角度を決定することをさらに含む。本方法は、第１の両眼共同運動角度、第２の両眼共同運動角度および左眼と右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定することをさらに含む。本方法は、第１の距離を第１の眼輻輳距離と比較して第１の結果を生成することをさらに含む。

さらなる態様は、とりわけ、上に記載した方法工程を実行するように構成されたトラッキングシステムおよび非一時コンピュータ可読媒体を提供する。

好都合には、開示した技術は、従来の技術を使用して検出することができない使用者不注意のタイプの検出を可能にする。加えて、開示した技術は、状況に敏感であり、使用者が見ている方向および使用者が見ている対象の両方をトラッキングする。したがって、使用者不注意をトラッキングし、およびそれに応答することによって、使用者の安全性が増大する。
例えば、本願発明は以下の項目を提供する。
（項目１）
眼輻輳に基づいて使用者が注意していない時を検出するためのコンピュータ実行方法であって：
上記使用者から第１の対象までの第１の距離を決定すること；
上記使用者の左眼に関連する第１の両眼共同運動角度を決定すること；
上記使用者の右眼に関連する第２の両眼共同運動角度を決定すること；
上記第１の両眼共同運動角度、上記第２の両眼共同運動角度、および上記左眼と上記右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定すること；および、
上記第１の距離を上記第１の眼輻輳距離と比較して第１の結果を生成すること、
を含む方法。
（項目２）
上記第１の距離を上記第１の眼輻輳距離と比較することは、上記第１の距離が上記第１の眼輻輳距離に実質的に類似であるかどうか決定することを含む、上記項目の方法。
（項目３）
上記第１の距離は、上記第１の眼輻輳距離に実質的に類似しておらず、および上記第１の結果に基づいて使用者のために不注意警報を生成することをさらに含む、上記項目のいずれかの方法。
（項目４）
上記第１の距離を決定することは、飛行時間型深さセンサおよび光学的深さセンサの少なくとも１つで第１の対象に対する深さ測定を取得することを含む、上記項目のいずれかの方法。
（項目５）
上記項目のいずれかの方法であって、上記第１の距離を決定することは、地球測位システム（ＧＰＳ）データ、乗り物体乗り物通信プロトコル、ピアツーピア通信プロトコルおよび地理情報データベースの少なくとも１つにアクセスして距離値を読み込むことを含む、方法。
（項目６）
上記項目のいずれかの方法であって：
上記使用者の視線方向を決定すること；
上記使用者から視線方向に関連する第２の対象までの第２の距離を決定すること；
上記視線方向に基づいて使用者の左眼に関連する第３の両眼共同運動角度を決定すること；
上記視線方向に基づいて使用者の右眼に関連する第４の両眼共同運動角度を決定すること；
上記第３の両眼共同運動角度、上記第４の両眼共同運動角度および眼間距離に基づいて第２の眼輻輳距離を決定すること；および、
上記第２の距離を上記第２の眼輻輳距離と比較して第２の結果を生成すること、
をさらに含む、方法。
（項目７）
上記項目のいずれかの方法であって、上記第２の距離を決定する前に、上記視線方向および使用者頭部方向の少なくとも１つに基づいて深さセンサの位置を定めることをさらに含み、および上記第１の対象に対する第１の距離を決定することは、深さセンサで上記第１の対象に対する深さ測定を取得することを含む、方法。
（項目８）
上記項目のいずれかの方法であって、上記第１の両眼共同運動角度を決定することは、使用者の左瞳孔を追跡することを含み、上記第２の両眼共同運動角度を決定することは、使用者の右瞳孔を追跡することを含む、方法。
（項目９）
上記項目のいずれかの方法であって、上記第１の両眼共同運動角度を決定することは、使用者の左瞳孔に関連する第１の３次元ベクトルを決定することを含み、および上記第２の両眼共同運動角度を決定することは、使用者の右瞳孔に関連する第２の３次元ベクトルを決定することを含む、方法。
（項目１０）
使用者の注意深さを追跡するためのシステムであって：
上記使用者から第１の対象までの第１の距離を決定するように構成された深さセンサ；
上記使用者の１つまたは複数のイメージを取得するように構成されたイメージセンサ；および、
上記１つまたは複数のイメージに基づいて上記使用者の左眼に関連する第１の両眼共同運動角度を決定する；
上記１つまたは複数のイメージに基づいて上記使用者の右眼に関連する第２の両眼共同運動角度を決定する；
上記第１の両眼共同運動角度、上記第２の両眼共同運動角度および上記左眼と上記右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定する；および、
上記第１の距離が上記第１の眼輻輳距離に実質的に類似するかどうかを決定して第１の結果を生成する
ように構成されたプロセシングユニット、
を含む、システム。
（項目１１）
上記項目のシステムであって、上記第１の距離は、上記第１の眼輻輳距離に実質的に類似でなく、および上記プロセシングユニットは、上記第１の結果に基づいて上記使用者のために不注意警報を生成させるようにさらに構成される、システム。
（項目１２）
上記項目のいずれかのシステムであって、不注意警報を生成するように構成された警報装置をさらに含み、上記警報装置は、スピーカー、光放射装置および振動モーターのうちの少なくとも１つを含む、システム。
（項目１３）
上記項目のいずれかのシステムであって、上記深さセンサは、飛行時間型深さ測定および光学的深さ測定の少なくとも１つを行うことによって第１の対象までの第１の距離を決定するように構成される、システム。
（項目１４）
上記項目のいずれかのシステムであって、上記深さセンサは、全地球測位システム（ＧＰＳ）データ、乗り物対乗り物通信プロトコル、ピアツーピア通信プロトコルおよび地理情報データベースの少なくとも１つにアクセスすることによって第１の距離を決定して距離値を読み込むように構成される、システム。
（項目１５）
上記項目のいずれかのシステムであって：
上記深さセンサは、上記使用者から視線方向に関連する第２の対象までの第２の距離を決定するようにさらに構成されて；および、
上記プロセシングユニットは：
上記１つまたは複数のイメージに基づいて上記使用者の視線方向を決定する；
上記１つまたは複数のイメージに基づいて上記使用者の左眼に関連する第３の両眼共同運動角度を決定する；
上記１つまたは複数のイメージに基づいて上記使用者の右眼に関連する第４の両眼共同運動角度を決定する；
上記第３の両眼共同運動角度、上記第４の両眼共同運動角度、および眼間距離に基づいて、第２の眼輻輳距離を決定する；および、
上記第２の距離を上記第２の眼輻輳距離と比較して第２の結果を生成する、
ように構成される、システム。
（項目１６）
上記項目のいずれかのシステムであって、上記深さセンサは、上記第２の距離を決定する前に、視線方向および使用者頭部方向の少なくとも１つに基づいて再び位置を定めるように構成される、システム。
（項目１７）
上記項目のいずれかのシステムであって、上記深さセンサは、第１の対象までの第１の距離を飛行時間型深さ測定および光学的深さ測定の少なくとも１つを行うことによって決定するように構成される、システム。
（項目１８）
上記項目のいずれかのシステムであって、上記プロセシングユニットは、１つまたは複数のイメージに基づいて使用者の左瞳孔を解析することによって第１の両眼共同運動角度を決定する、および上記１つまたは複数のイメージに基づいて使用者の右瞳孔を解析することによって第２の両眼共同運動角度を決定するように構成される、システム。
（項目１９）
上記項目のいずれかのシステムであって、上記プロセシングユニットは、使用者の左瞳孔に関連する第１の３次元ベクトルを決定することによって第１の両眼共同運動角度を決定するように、および使用者の右瞳孔に関連する第２の３次元ベクトルを決定することによって第２の両眼共同運動角度を決定するようにさらに構成される、システム。
（項目２０）
プロセシングユニットによって実行されるときに、プロセシングユニットに、以下のステップを実行することにより、眼輻輳に基づいて使用者が注意していないときを検出するようにさせる命令を含む、非一時コンピュータ読み出し可能格納媒体：
使用者から第１の対象までの第１の距離を決定する工程；
使用者の左眼に関連する第１のベクトルを決定する工程；
使用者の右眼に関連する第２のベクトルを決定する工程；
第１のベクトル、第２のベクトルおよび左眼と右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定する工程；
第１の距離を第１の眼輻輳距離と比較して第１の結果を生成する工程；および、
第１の結果に基づいて不注意警報を生成させる工程。
（摘要）
本発明の一つの態様は、眼輻輳に基づいて使用者が注意していないときを検出するための技術を述べる。本技術は、使用者から第１の対象までの第１の距離を決定することを含む。第１の距離は、深さセンサを使用して決定してもよい。本技術は、使用者の左眼に関連する第１の両眼共同運動角度を決定すること、および使用者の右眼に関連する第２の両眼共同運動角度を決定することをさらに含む。本技術は、第１の両眼共同運動角度、第２の両眼共同運動角度および左眼と右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定することをさらに含む。本技術は、第１の距離を第１の眼輻輳距離と比較して第１の結果を生成することをさらに含む。不注意警報、第１の結果に基づいて生成してもよい。

上で詳述した本発明の特徴を詳細に理解することができる様式で、上で簡単に要約した本発明のより詳細な記述は、態様に言及することによって行われ得、その幾つかは、添付の図面に図示してある。しかし、添付の図面は、本発明の典型的な態様だけを図示し、およびしたがって、本発明は、その他の均等な有効な態様に入ってもよいため、その範囲に限定するとみなされない点に留意する必要がある。

本発明の種々の態様に従った眼追跡装置の概念上の線図である。 本発明の種々の態様に従った眼追跡装置の概念上の線図である。 本発明の種々の態様に従った乗り物のドライバーの眼焦点位置を図示する概念上の線図である。 本発明の種々の態様に従った乗り物のドライバーの眼焦点位置を図示する概念上の線図である。 本発明の種々の態様に従った、対象距離および眼輻輳距離を決定するための技術を図示する概念上の線図である。 本発明の種々の態様に従った、対象距離を決定するために深さセンサの位置を定めるための技術を図示する概念上の線図である。 本発明の種々の態様に従った、眼輻輳距離を決定するための技術を図示する概念上の線図である。 本発明の種々の態様に従った、眼輻輳に基づいて視覚不注意を検出するための方法工程の流れ図である。 １つまたは複数の本発明の側面を実行するように構成されたコンピュータシステムを図示するブロック図である。

以下の記述において、多数の具体的な詳細を記載して本発明の態様のより完全な理解を提供する。しかし、本発明の態様は、これらの具体的な詳細の１つまたは複数を伴わずに実践してもよいことは、当業者には明らかだろう。

図１Ａおよび１Ｂは、本発明の種々の態様に従った眼追跡装置１００の概念上の線図である。示したように、眼追跡装置１００は、限定されないが、イメージを取得する、および／または使用者の位置を決定するように構成された１つまたは複数のカメラ１１０を含む。１つまたは複数のカメラ１１０によって取得されるイメージは、眼追跡装置１００に含まれるコンピュータ装置１２０および／または眼追跡装置１００とは別のコンピュータ装置１２０によって解析してもよい。

種々の態様において、カメラ１１０によって取得されるイメージを使用して使用者の左眼および／または右眼の眼位置を決定してもよい。たとえば、図１Ｂに示したように、カメラ１１０は、使用者の眼または顔のイメージを取得するように構成されていてもよい。次いで、イメージを解析して眼位置、眼の両眼共同運動角度、２次元（２Ｄ）ベクトル、３次元（３Ｄ）ベクトルおよび／または焦点および／または眼が輻輳する距離を決定してもよい。いくつかの態様において、使用者の眼のイメージは、ＴＯＢＩＩ ＴＥＣＨＮＯＬＯＧＹ（商標）（Ｆａｌｌ Ｃｈｕｒｃｈ、ＶＡ、ＵＳＡ）によって製造される「Ｅｙｅ Ｔｒａｃｋｅｒｓ」において実行されるものなどの瞳孔中心角膜反射眼追跡技術を使用して処理される。加えて、種々の態様において、眼追跡装置１００は、複数のカメラ１１０を含んでいてもよい。いくつかの態様において、眼追跡装置１００は、少なくとも２つのカメラを含み、そのそれぞれは、使用者の眼の一方または両方を追跡するように構成される。さらに、使用者から眼追跡装置１００まで、眼追跡装置１００から種々の対象の距離および同様のものの距離を測定するために、さらなるカメラ１１０および／またはセンサ（たとえば、光センサ、イメージセンサ、深さセンサ、その他）が眼追跡装置１００に含まれてもよい。

いくつかの態様において、眼追跡装置１００は、使用者によって着用される。たとえばおよび限定されないが、眼追跡装置１００は、使用者によってかけられる着用されるヘッドセットまたは眼鏡でもよい。このような態様において、カメラ１１０は、使用者の眼にすぐ近くの眼追跡装置１００に配置することができる。たとえば、１つまたは複数のカメラ１１０は、ヘッドセットまたは使用者の眼のそれぞれの近くの眼鏡に配置してもよい。

図２Ａおよび２Ｂは、本発明の種々の態様に従った、乗り物のドライバーの眼焦点位置２１２、２１４を図示する。上述のとおり、従来の安全システムは、ドライバーが対象の方を見ているが、対象に注意を払っていない状況を検出することができない。たとえば、図２Ａに関して、ドライバーの頭部は、前方へ向いており、およびドライバーの視界２１０は、ドライバーの正面の乗り物のある位置２１２に集中される。しかし、図２Ｂに示したように、ドライバーが空想にふけっている時など、ドライバーが乗り物に注意を払うのを止める場合、ドライバーの頭部は、前方へ向き続けるであろうが、彼および彼女は、乗り物に焦点を合わせず、または注意を払っていないかもしれない。いくつかの場合において、ドライバーは、乗り物に集点を合わせずに乗り物を見ているかもしれない。このような状況下で、眼追跡装置１００を使用してドライバーの眼が輻輳する位置および／または距離を決定してもよい。

種々の態様において、深さセンサ２３０を使用してドライバーの視野に位置する対象までの距離を決定してもよい。次いで、眼追跡装置１００は、ドライバーの眼の１つまたは複数のイメージを取得して、およびイメージを解析してドライバーの眼が輻輳する距離および／または位置を決定してもよい。次いで、深さセンサ２３０によって決定される目的距離を眼輻輳距離と比較して、位置２１２にて対象に集点を合わせる代わりに、ドライバーが位置２１４に集点を合わせていることを決定してもよい。応答して、眼追跡装置１００は、ドライバーが、乗り物および／または周囲の領域における他の適切な対象に注意を払っていないことを決定してもよく、およびドライバーが彼または彼女の注意力を再び集中させることができるように、ドライバーに聴覚的、視覚的および／または他の種類（たとえば、振動）の警告を提供してもよい。

深さセンサ２３０は、多様な技術を使用して、周囲の領域における１つまたは複数の対象までの距離を決定してもよい。これらの技術は、光学的技術、飛行時間型技術、全地球測位システム（ＧＰＳ）技術、立体視技術および同様のものを含んでもよいが、限定されない。加えて、深さセンサ２３０は、ドライバーの眼の位置に相対的な多様な位置に配置してもよい。たとえば、図２Ａおよび２Ｂは、ドライバーの正面において、乗り物のフードの近くに位置されるような深さセンサ２３０を示すが、その他の態様において、深さセンサ２３０は、乗り物の外側に、または乗り物の内部に別の位置に配置してもよい。その上、深さセンサ２３０が乗り物の内部に位置するときに、深さセンサ２３０は、ドライバーの正面において、ドライバーの後ろに、またはドライバーの隣に位置してもよい。種々の態様において、深さセンサ２３０は、ドライバーの眼および／またはドライバーの視界２１０の近く、または一列に並んだ位置に（たとえば、ヘッドセットまたは眼鏡に）配置される。ドライバーの眼および／またはドライバーの視界２１０の近くに、または一列に並んで深さセンサ２３０を配置することにより、深さセンサ２３０照準線２２０は、ドライバーの視点をより正確に反映して、深さセンサがドライバーの眼視線が向けられる対象をより正確に決定することができる。あるいは、深さセンサ２３０がドライバーの眼の近くではなく、および／またはドライバーの視界２１０に一列に並んでいない場合、深さセンサ２３０によって決定される距離は、このような相違を補償するように処理してもよい。たとえばおよび限定されないが、深さセンサ２３０がドライバーの正面（または後ろ）である位置に配置される場合、深さセンサ２３０によって決定される距離は、ドライバーと深さセンサ２３０との間の距離を補償するように処理してもよい。プロセシングの後、次いで、目的距離を眼追跡装置１００によって取得された眼輻輳距離と比較してもよい。その他の態様において、深さセンサ２３０がドライバーの隣に配置される場合、ドライバーと深さセンサ２３０との間の視点の相違（たとえば、角度差）を補償するように、深さセンサ２３０によって決定される距離を処理してもよい。

種々の態様において、深さセンサ２３０は、データベース（たとえば、地理情報データベース）および／または乗り物対乗り物プロトコルにアクセスすることによって周囲環境における対象までの距離を決定してもよい。いくつかの態様において、深さセンサ２３０は、周囲環境における対象の位置に関連する情報を受け、および格納するように構成された通信装置またはデータベースを含んでいてもよい。たとえばおよび限定されないが、深さセンサ２３０は、周囲環境における対象の位置情報（たとえば、ＧＰＳデータ）を受けて、および位置情報を使用してドライバーと対象との間の距離を決定してもよい。このような通信は、セルラーネットワークなどのモバイルネットワークを介して、または乗り物対乗り物またはピアツーピアプロトコルなどの無線プロトコルを介して伝達してもよい。したがって、深さセンサ２３０は、光学的技術、飛行時間型技術、その他以外の技術によってドライバーと周囲環境における対象との間の距離を決定してもよい。このような態様において、深さセンサ２３０は、ドライバーに相対的な任意の実用的な位置に位置してもよい。

図３は、本発明の種々の態様に従った、対象距離および眼輻輳距離を決定するための技術を図示する概念上の線図である。一般に、ドライバーが乗り物を操作するときに、最も関連した対象がドライバーの正面に位置される。たとえば、ドライバーは、適切な時期にて制動するために、車線の中に彼または彼女の乗り物を保持するために、およびその他の乗り物および歩行者などの対象にぶつかるのを回避するために、彼または彼女の正面の対象に注意を払わなければならない。結果的に、いくつかの態様において、深さセンサ２３０は、ドライバーの位置する正面にある対象までの距離３２０を決定するように構成されていてもよい。

動作の際に、深さセンサ３２０は、ドライバーとドライバーの正面における１つまたは複数の対象との間の１つまたは複数の距離３２０を決定する。次いで、眼追跡装置１００は、ドライバーの眼が輻輳する位置３０５までの距離３１０を決定する。次いで、眼輻輳距離３１０を対象距離３２０と比較して、ドライバーがドライバーの眼視線に位置した対象に注意を払っているかどうかを決定する。種々の態様において、眼追跡装置１００に含まれる（または眼追跡装置１００とは別である装置に含まれる）コンピュータ装置１２０は、眼輻輳距離３１０が１つまたは複数の対象距離３２０に実質的に類似しているかどうかを決定することによってドライバーの眼視線に位置した対象にドライバーが注意を払っているかどうかを決定する。上述のとおり、対象距離３２０を眼輻輳距離３１０と比較する前に、距離３１０、３２０の一方または両方を、ドライバーと深さセンサ２３０との間の視点における相違を考慮するように処理してもよい。眼輻輳距離３１０が対象距離３２０に実質的に類似していない場合、コンピュータ装置１２０は、ドライバーが対象に注意を払っていないことを決定してもよい。この結果に基づいて、周囲の領域に彼または彼女の注意力を集中するための機会をドライバーに提供するために、次いで聴覚的、視覚的、触覚的および／または電気機械的警報をドライバーに発してもよい。

その他の態様において、眼輻輳距離３１０を対象距離３２０と比較するためのより高度な技術を、警報をドライバーに発するべきかどうか決定するために使用してもよい。たとえば、コンピュータ装置１２０は、閾値回数および／または閾値継続時間の間、眼輻輳距離３１０が実質的に類似していない場合、警報をドライバーに発するべきであることを決定してもよい。このような実施態様は、眼追跡装置１００または深さセンサ２３０に関連して時折の不正確さを考慮し得、および／またはドライバーが警報を受けることのなく短期間の不注意後の周囲の領域に彼または彼女の注意力を再び集中させることができるようにする。

種々の実施形態において、眼輻輳距離３１０は、ドライバーの眼の間の眼間距離３１５と、ドライバーの眼の一方または両方の両眼共同運動角度３１１、３１２に基づいて決定してもよい。たとえば、限定されないが、瞳孔中心角膜反射眼追跡技術などの上記した眼追跡技術を使用して、ドライバーの眼の両眼共同運動角度３１１、３１２および／または眼間距離３１５を決定してもよい。次いで、両眼共同運動角度３１１、３１２および眼間距離３１５を、１つまたは複数の三角法の式、アルゴリズム、ルックアップテーブル、その他に入力して、図５に関してさらなる詳細に記載したようにドライバーの眼輻輳である位置までの距離３１０を決定することができる。

図４は、本発明の種々の態様に従った、対象距離を決定するために深さセンサの位置を定めるための技術を図示する概念上の線図である。示したように、種々の態様において、深さセンサ２３０は、視線方向に位置した対象までの距離３２０をより正確に決定するために、ドライバーの視線方向に基づいて配置されてもよい。したがって、対象がドライバーの正面に直接位置しないときに、より正確な比較をドライバーの眼輻輳距離３１０と対象距離３２０との間で行ってもよい。

種々の態様において、深さセンサ２３０は、眼追跡装置１００によって取得されるイメージまたは測定値に基づいて、配置されてもよい。たとえばおよび限定されないが、眼追跡装置１００は、ドライバーの視線方向および／または両眼共同運動角度３１１、３１２を決定するために１つまたは複数のイメージを取得してもよい。次いで、深さセンサ２３０は、ドライバーの視野に基づいて対象までの距離３２０をより正確に決定するために、視線方向および／または両眼共同運動角度３１１、３１２に基づいて適切な位置に回転、旋回、スライド、その他をするように構成されていてもよい。その他の態様において、ドライバーの視線方向は、深さセンサ２３０に、または別々の装置に含まれる１つまたは複数のセンサを使用して決定してもよい。

いくつかの態様において、深さセンサ２３０は、ドライバーの視線方向の向きにマッチするように回転するように構成される。たとえば、図４に示したように、任意の面に対する深さセンサ２３０の角度４１０は、任意の面に相対的なドライバーの視線方向の角度４１０に実質的に類似でもよい。その他の態様において、深さセンサ２３０の方向は、ドライバーの頭部が向かっている方向に実質的に類似でもよい。ドライバーは、典型的には彼または彼女の眼より頻繁に彼または彼女の頭部を動かさないので、視線方向の代わりにドライバーの頭部方向の変化を追跡すること、および反応することにより、深さセンサ２３０が再び配置される頻度および／または速度を減少させることによって、電力消費および／または電気機械要求を減少させてもよい。さらに他の態様において、深さセンサ２３０は、ドライバーの顔、胸部、肩、その他などのドライバーに位置してもよい。たとえば、深さセンサ２３０は、ドライバーがかけるヘッドセットまたは眼鏡に位置してもよい。このような態様において、深さセンサ２３０は、光学的技術、飛行時間型技術、ＧＰＳ技術、データベース技術、立体視的技術および同様のものを含む上記した技術のいずれかを使用して対象距離３２０を決定してもよい。

図５は、本発明の種々の態様に従った、眼輻輳距離３１０を決定するための技術を図示する概念上の線図である。示したように、および図３および４に関して記述したように、両眼共同運動角度３１１、３１２をドライバーの眼について決定してもよい。次いで、両眼共同運動角度３１１、３１２および眼間距離３１５は、以下に転載される式１を使用して眼輻輳距離を決定するために使用してもよい。その他の態様において、その他の方程式またはアルゴリズム、検索表および同様のものを使用して、眼輻輳距離３１０を決定してもよい。

（数１）
（ｅｑ． １） Ｄ_眼＝（ｄ／２＊ｓｉｎα’）／ｓｉｎ（ε’／２）。

図６は、本発明の種々の態様に従った、眼輻輳に基づいて視覚不注意を検出するための方法工程の流れ図である。方法工程は、図１〜５に関して記述してあるが、方法工程を任意の順序で行うように構成された任意のシステムが本発明の範囲内にはいることを当業者は理解するだろう。

示したように、方法６００は、工程６１０にて開始して、ここで任意に眼追跡装置１００（または別々の装置）が使用者の視線方向および／または頭部方向を決定する。工程６２０にて、深さセンサ２３０は、使用者の視線方向および／または頭部方向に基づいて任意に配置される。上述のとおり、その他の態様において、深さセンサ２３０は、乗り物に、使用者に（たとえば、ヘッドセット、眼鏡またはその他の類似の着用できる装置に）または別の対象に固定してもよい。このような態様において、深さセンサ２３０は、電気機械的に再び配置されなくてもよい。

次に、工程６３０にて、深さセンサ２３０は、使用者の視線方向および／または頭部方向に関連する対象までの距離３２０を決定する。工程６４０にて、両眼共同運動角度３１１、３１２が使用者の眼について決定される。任意に、眼間距離３１５は、工程６４０にて決定してもよい。次いで、工程６５０にて、コンピュータ装置１２０は、両眼共同運動角度３１１、３１２および眼間距離３１５に基づいて眼輻輳距離３１０を決定する。

工程６６０にて、コンピュータ装置１２０は、眼輻輳距離３１０を対象距離３２０と比較して距離３１０、３２０が実質的に類似しているかどうか決定する。距離３１０、３２０が実質的に類似している場合、方法６００は、工程６７０へ進み、ここで眼トラッキングデバイス１００、深さセンサ２３０または別個の装置が警報を生成する。種々の態様において、警報は、警報ライト、警告メッセージおよび／または警報音などの聴覚的および／または視覚的警報を含んでいてもよい。加えて、物理的アクチュエータおよび／または振動モーターのその他のタイプを利用する振動および警報などの警報のその他のタイプを使用して、使用者の注意を促してもよい。工程６６０にて、コンピュータ装置１２０が、距離３１０、３２０は実質的に類似でないことを決定する場合、方法６００は、終了する。

図７は、１つまたは複数の本発明の側面を実行するように構成されたコンピュータシステムを図示するブロック図である。示したように、コンピュータ装置１２０は、プロセシングユニット７０２、入出力（Ｉ／Ｏ）装置７０４およびメモリユニット７１０を含む。メモリユニット７１０は、データベース７１４とやりとりするように構成されたアプリケーション７１２を含む。

プロセシングユニット７０２は、中央処理ユニット（ＣＰＵ）、デジタルシグナルプロセシングユニット（ＤＳＰ）、などを含んでいてもよい。Ｉ／Ｏ装置７０４は、入力装置、出力装置、および入力を受けることおよび出力双方を提供することができる装置を含んでいてもよい。メモリユニット７１０は、メモリモジュールまたはメモリモジュールの集合を含んでいてもよい。メモリユニット７１０内のソフトウエアアプリケーション７１２は、コンピュータ装置１２０の全体の機能を実行し、およびしたがって、全体として眼追跡装置１００および／または深さセンサ２３０の操作を連繋するように、プロセシングユニット７０２によって実行されてもよい。データベース７１４は、眼間距離、ＧＰＳ座標、対象位置、対象距離、ルックアップテーブルおよび対象距離３２０および眼輻輳距離３１０を計算し、および比較するためのその他のデータを格納してもよい。

コンピュータ装置１２０は、１つまたは複数のカメラ１１０または深さセンサ２３０などの、１つまたは複数のセンサを含むセンサーアレイに接続してもよい。センサーアレイは、使用者が属する環境の種々の特性、並びに使用者に関連する種々の特性（たとえば、向き、眼両眼共同運動角度、視線方向を測定するように構成される。センサーアレイは、任意の数のカメラ１１０、深さセンサ、光センサ、電場検出器、コンパス、ジャイロスコープ、ラジオトランシーバ、全地球測位システム（ＧＰＳ）レシーバまたはセンサの任意のその他のタイプを含んでいてもよい。一般に、センサーアレイは、環境に関連する感知データおよび使用者に関連する感知データを捕らえ、およびコンピュータ装置１２０にそのデータを提供する。

また、コンピュータ装置１２０は、眼追跡装置１００および／または深さセンサ２３０に関連するオーディオ出力デバイスに接続されてもよく、オーディオ出力デバイスには、使用者への音響出力（たとえば、聴覚的警報）を生成するように構成されたスピーカーなどの１つまたは複数の装置が含まれるむ。オーディオ出力デバイスは、任意の数のスピーカー、ヘッドホン、音声装置または音を生成することができる装置の任意のその他のタイプを含んでいてもよい。

コンピュータ装置１２０は、全体としてマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システム−オン−ア−チップ（ＳｏＣ）、タブレットコンピュータまたはセルラー電話などのモバイルコンピューター、メディアプレーヤーおよびその他でもよい。一般に、コンピュータ装置１２０は、眼追跡装置１００および／または深さセンサ２３０の全走査を連繋するように構成される。眼追跡装置１００または深さセンサ２３０の機能性を実行するように構成された任意の技術的に可能なシステムは、本発明の範囲内になる。

要するに、深さセンサは使用者からの、使用者の視線にすぐ近くの対象までの距離を決定する。次いで、眼追跡装置は、使用者の眼の両眼共同運動角度を決定し、および眼輻輳距離は、両眼共同運動角度および使用者の眼間距離に基づいて決定される。次に、コンピュータは、眼輻輳距離が使用者から対象までの距離に実質的に類似かどうか決定する。眼輻輳距離が対象距離に実質的に類似していない場合、コンピュータは、使用者が彼または彼女の環境に注意を払っていないことを決定する。応答して、警報が生成される。

本明細書において記述した技術の１つの利点は、従来の技術を使用して検出されることができなかった使用者の不注意のタイプを検出することができるということである。加えて、開示した技術は、状況に敏感であり、使用者が見ている方向および使用者が見ている対象の両方をトラッキングする。したがって、使用者不注意をトラッキングし、および応答することによって、使用者安全性が増大する。

本発明の一つの態様は、コンピュータシステムでの使用のためのプログラム製品として実行してもよい。プログラム製品のプログラムは、（本明細書において記載する方法を含む）本態様の機能を定義し、多様なコンピュータ可読記憶メディアに含めることができる。例証のコンピュータ可読記憶媒体は、以下を含むが、限定されない：（ｉ）情報が永久に記憶される書き込み不可能な記憶媒体（たとえば、ＣＤ−ＲＯＭドライブによって読み込み可能な小型ディスク読出し専用メモリ（ＣＤ−ＲＯＭ）ディスク、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）チップ、または任意の種類の固体不揮発性半導体メモリのなどのコンピュータ内の読出し専用メモリ装置）；および（ｉｉ）変更可能な情報が記憶されている書き込み可能な記憶媒体（たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスクまたはハードディスクドライブ、または固体ランダムアクセス半導体メモリの任意のタイプ）。

本発明は、具体的態様に関して上で記述した。しかし、当業者は、その種々の改変および変更を、添付の特許請求の範囲に記載された本発明のより広い趣旨および範囲を逸脱しない範囲で行ってもよいことを理解するだろう。たとえば、本明細書における記述の多くが乗り物のドライバーとして使用者に言及するが、当業者は本明細書に記述したシステムおよび技術は、使用者の視線特徴および対象距離の決定が使用者安全性および／または使用者経験を増強し得るその他の状況（たとえば、非車両）にも適用できることを認識するだろ。したがって、前述の記述および図面は、限定の意味ではなく、例示とみなされる。

したがって、本発明の態様の範囲は、以下の特許請求の範囲に記載される。

Claims (11)

1. 眼輻輳に基づいて使用者が注意していないときを検出するための方法であって、前記方法は、コンピュータによって実行され、前記方法は、
   前記使用者の第１の視線方向を決定することと、
   前記第１の視線方向に基づいて深さセンサを動かすことと、
   前記深さセンサを動かした後に、前記深さセンサを介して、車両に関連する位置と前記車両の外に位置する第１の対象との間の第１の距離を決定することと、
   前記第１の距離に基づいて前記使用者から前記第１の対象までの第２の距離を決定することと、
   前記使用者の左眼に関連する第１の両眼共同運動角度を決定することと、
   前記使用者の右眼に関連する第２の両眼共同運動角度を決定することと、
   前記第１の両眼共同運動角度、前記第２の両眼共同運動角度、および前記左眼と前記右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定することと、
   前記第２の距離を前記第１の眼輻輳距離と比較して第１の結果を生成することであって、前記第１の結果は、前記第２の距離が前記第１の眼輻輳距離に実質的に類似でないときに、前記使用者が前記第１の対象に注意を払っていないことを示す、ことと
   を含む、方法。
2. 前記第２の距離が前記第１の眼輻輳距離に実質的に類似でないときに、前記第１の結果に基づいて前記使用者のために不注意警報を生成することをさらに含む、請求項１に記載の方法。
3. 前記深さセンサを介して、前記第１の距離を決定することは、飛行時間型深さ測定または光学的深さ測定のうちの少なくとも１つを使用して前記第１の対象に対する深さを決定することを含む、請求項１に記載の方法。
4. 前記第１の両眼共同運動角度を決定することは、前記使用者の左瞳孔を追跡することを含み、前記第２の両眼共同運動角度を決定することは、前記使用者の右瞳孔を追跡することを含む、請求項１に記載の方法。
5. 使用者の注意深さを追跡するためのシステムであって、前記システムは、
   車両に関連する位置と前記車両の外に位置する第１の対象との間の第１の距離を決定するように構成された深さセンサと、
   使用者の１つまたは複数のイメージを取得するように構成されたイメージセンサと、
   プロセシングユニットと
   を含み、
   前記プロセシングユニットは、
   前記使用者の第１の視線方向を決定することと、
   前記第１の距離を決定する前に前記第１の視線方向に基づいて前記深さセンサを動かすことと、
   前記第１の距離に基づいて前記使用者から前記第１の対象までの第２の距離を決定することと、
   前記１つまたは複数のイメージに基づいて前記使用者の左眼に関連する第１の両眼共同運動角度を決定することと、
   前記１つまたは複数のイメージに基づいて前記使用者の右眼に関連する第２の両眼共同運動角度を決定することと、
   前記第１の両眼共同運動角度、前記第２の両眼共同運動角度および前記左眼と前記右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定することと、
   前記第２の距離が前記第１の眼輻輳距離に実質的に類似するかどうかを決定して第１の結果を生成することであって、前記第１の結果は、前記第２の距離が前記第１の眼輻輳距離に実質的に類似でないときに、前記使用者が前記第１の対象に注意を払っていないことを示す、ことと
   を行うように構成される、システム。
6. 前記プロセシングユニットは、前記第２の距離が前記第１の眼輻輳距離に実質的に類似でないときに、前記第１の結果に基づいて前記使用者のために不注意警報を生成させるようにさらに構成される、請求項５に記載のシステム。
7. 前記不注意警報を生成するように構成された警報装置をさらに含み、前記警報装置は、スピーカー、ライトまたは振動モーターのうちの少なくとも１つを含む、請求項６に記載のシステム。
8. 前記深さセンサは、飛行時間型深さ測定または光学的深さ測定のうちの少なくとも１つを行うことによって前記第１の距離を決定するように構成される、請求項５に記載のシステム。
9. 前記深さセンサは、前記第１の距離を飛行時間型深さ測定または光学的深さ測定のうちの少なくとも１つを行うことによって決定するように構成される、請求項５に記載のシステム。
10. 前記プロセシングユニットは、前記１つまたは複数のイメージに基づいて前記使用者の左瞳孔を解析することによって前記第１の両眼共同運動角度を決定することと、前記１つまたは複数のイメージに基づいて前記使用者の右瞳孔を解析することによって前記第２の両眼共同運動角度を決定することとを行うように構成される、請求項５に記載のシステム。
11. 命令を含むコンピュータ読み出し可能格納媒体であって、前記命令は、プロセシングユニットによって実行されるときに、前記プロセシングユニットに、眼輻輳に基づいて使用者が注意していないときを、
    前記使用者の第１の視線方向を決定する工程と、
    前記第１の視線方向に基づいて深さセンサを動かす工程と、
    前記深さセンサを動かした後に、前記深さセンサを介して、車両に関連する位置と前記車両の外に位置する第１の対象との間の第１の距離を決定する工程と、
    前記第１の距離に基づいて前記使用者から前記第１の対象までの第２の距離を決定する工程と、
    前記使用者の左眼に関連する第１の両眼共同運動角度を決定する工程と、
    前記使用者の右眼に関連する第２の両眼共同運動角度を決定する工程と、
    前記第１の両眼共同運動角度、前記第２の両眼共同運動角度および前記左眼と前記右眼との間の眼間距離に基づいて第１の眼輻輳距離を決定する工程と、
    前記第２の距離を前記第１の眼輻輳距離と比較して第１の結果を生成する工程であって、前記第１の結果は、前記第２の距離が前記第１の眼輻輳距離に実質的に類似でないときに、前記使用者が前記第１の対象に注意を払っていないことを示す、工程と、
    前記第１の結果に基づいて不注意警報を生成させる工程と
    を実行することによって、検出させる、コンピュータ読み出し可能格納媒体。

Images