JP2023550538A - 瞳孔検出および視線追跡のためのイベントカメラシステム - Google Patents

Abstract

瞳孔検出ためのイベントカメラシステムは、カメラアセンブリと、コントローラとを含み得て、さらに一つまたは複数の軸外光源も含み得る。カメラアセンブリは、一つまたは複数の赤外線（ＩＲ）光源と、イベントカメラとを含み得る。一つまたは複数のＩＲ光源は、光路に沿ってアイボックスに向けてＩＲ光のパルスを放射するように構成されている。ＩＲ光は、アイボックスにおける眼球から反射され、その反射された光は、光路に沿って伝播して、検出用のイベントカメラに向けて戻る。コントローラは、イベントカメラから出力されるデータを使用して、眼球の向きを決定するように構成されている。

Description

［発明の分野］
本開示は、概して視線追跡（eye tracking）に関連し、より具体的には、瞳孔検出（pupil detection）および視線追跡のためのイベントカメラシステム（event camera system）の使用方法に関する。

［関連アプリケーションへの相互参照］
本出願は、２０２０年１２月１７日に出願された米国仮出願第６３／１２６，７５０号
の利益を主張し、その内容全体が参照により本明細書に組み込まれる。

［背景］
視線追跡システムは、ユーザーの３Ｄ視線（3D gaze）、またはスクリーンもしくは典型的な視聴距離（viewing distance）などの、表面または平面に対するその視線の２Ｄ投影（2D projection）を決定するために、眼球画像（images of the eyes）を捕捉する。これは、種々の部分、すなわち瞳孔（pupil）、強膜（sclera）、虹彩（iris）、眼瞼（eye lids）、および眼角（canthus）などにコンピュータビジョンを通して眼球画像をセグメント化するか、次いで、較正データ（calibration data）に基づいてユーザーの視線を計算したり、もしくは同じ目的のために眼球モデル（eye model）を生成したりするために使用することができるパラメータとして、その特徴をエクスポートするか、またはラベル付けされた眼球画像のデータベースに基づいて、画像からセグメント化および/またはユーザーの視線を直接推測する、ニューラルネットワーク（neural network）または他の機械学習アプローチ（machine learning approach）に、眼球画像を直接入力するかの何れかによって行われる。従来のコンピュータビジョンアプローチから抽出されたパラメータは、眼球画像の有無に関わらず、機械学習アプローチでも使用することができるが、これは、種々の低解像度に精度調整され得る。何れの場合も、コントラスト（contrast）、照明（lighting）、感度（sensitivity）等に関する画像の品質（quality of the images）と、目の特徴を抽出したり、画像から視線を直接推測したりするために必要な計算量（amount of computation）とが、堅牢性（robustness）、および視線推定（gaze estimate）の品質にとって最も重要となる。これは、屋内および屋外の両方において、制御されていない可変の照明条件で動作することを目的とした、ヘッドマウント型モバイルシステム（head-mounted mobile system）に特に当て嵌まる。眼球の画像から情報、特に重要な瞳孔の位置を抽出する複雑さ（complexity）には、その作業（task）のために使用されるコンピュータビジョン・アルゴリズム（computer vision algorithms）において高度な複雑性が必要であり、これらの画像上における環境の影響に対する堅牢性が、視線追跡システム（eye-tracking system）にとって残された主な課題となる。

瞳孔検出および視線追跡のためのイベントカメラシステムを開示する。イベントカメラシステムは、カメラアセンブリ（camera assembly）およびコントローラ（controller）を含み得て、一つまたは複数の軸外光源（off-axis light sources）を含み得る。幾つかの実施形態では、カメラアセンブリは、共軸の（co-aligned）光源カメラアセンブリ（「共軸ＬＳＣＡ（co-aligned LSCA）」）を含み得る。幾つかの実施形態では、一つまたは複数の軸外光源は、イベントカメラシステムの一部ではなく、代わりに一つまたは複数の軸外光源が、周囲光（ambient light）の一部または全てを生成する。カメラアセンブリには、一つまたは複数の赤外線（ＩＲ）光源およびイベントカメラが含まれる。一つまたは複数のＩＲ光源は、光路（optical path）に沿ってアイボックス（eyebox）に向けてＩＲ光のパルスを放射するように構成されている。ＩＲ光は、アイボックスにおける眼球から反射され、その反射された光は、光路に沿って伝播し、検出用のイベントカメラに向けて戻る。同様に、一つまたは複数の軸外光源を含む実施形態では、一つまたは複数の軸外光源から放射される光のパルスの少なくとも一部は、眼球および周囲の顔面領域（surrounding facial regions）から反射し、光路に沿って検出用のイベントカメラに向けて伝播する。一つまたは複数のＩＲ光から瞳孔（pupil）を経由して網膜（retina）によって反射された光は、イベントカメラのセンサの画素（pixel）上の強度を閾値レベル（threshold level）よりも上回って増加させて、イベントを検出し得る。対照的に、一つまたは複数の軸外光源からの眼球または眼球を囲む顔面の特徴によって反射される光は、その光が事象（event）を生成しないように、イベントカメラのトリガ閾値（trigger threshold）内に収まるように調整され得る。幾つかの実施形態では、複数の軸外光源が、イベントカメラの軸を中心とするリングの形状（ring shape）に配置される。各軸外光源用のセンサに対して反射されて戻る光は、瞳孔の外周（periment）の一部分に対応する可能性がある。イベントカメラシステムは、各軸外カメラに関するデータを瞳孔の外周に対応する明るいリング（bright ring）に結合し得る。コントローラは、イベントカメラから出力されたデータを使用して、眼球の向き（orientation of the eye）を決定するように構成されている。

幾つかの実施形態では、視線追跡システムは、第一の赤外線（ＩＲ）光源、イベントカメラ、およびコントローラを含む。第一のＩＲ光源は、第一の時間帯に亘ってＩＲ光の第一のパルスを放射するように構成されている。ＩＲ光の第一のパルスは、光路に沿って（例えば、同軸のＬＥＤを介して、またはビームスプリッタ（beam splitter）を介して）、ユーザーの眼球を含むアイボックスに方向付けられる。眼球は、ＩＲ光の第一のパルスの一部を反射し、第一の輝度（brightness）で光路に沿って目標領域（target area）に向けて戻す。眼球は、軸外ＩＲ光源（例えば、視線追跡システムにおける別のＩＲ光源、ユーザーの局所領域からのＩＲ光など）から発生するＩＲ光を反射し、第二の輝度で光路に沿って目標領域に向けて戻す。眼球から外れた軸外ＩＲ光源からイベントカメラに反射された光は、第一の時間帯中に、比較的一定のままである可能性がある。イベントカメラは、目標領域に配置される。イベントカメラは、光路に沿ってアイボックスから反射されたＩＲ光を検出するように構成されている。イベントカメラは、複数のフォトダイオード（photodiodes）を含む。各フォトダイオードは、反射されたＩＲ光の第一のパルスの一部分に対応する強度値を検出し、フォトダイオードによって以前に出力されたデータ値と、強度閾値（intensity threshold value）に対するフォトダイオードによって検出された強度値との差に少なくとも部分的に基づているデータ値を非同期的に出力するように構成されている。コントローラは、結果として第一のパルスから生じるイベントカメラから出力されたデータ値から眼球の瞳孔を識別するように構成されている。コントローラは、識別された瞳孔に部分的に基づいて、ユーザーの視線位置（gaze location）を決定するように構成されている。

幾つかの実施形態では、方法は、イベントカメラのセンサによって、ユーザーの眼球から反射する複数の軸外光源からの赤外光を受け取るステップと、イベントカメラから出力されたデータ値から眼球の瞳孔を識別するステップであって、瞳孔の外周に対応する明るいリングを検出する、識別するステップと、明るいリングに基づいて、ユーザーの視線位置を決定するステップとを備え得る。

一つまたは複数の実施形態による、差分瞳孔検出（differential pupil detection）のためのイベントカメラシステムを示す図である。 一つまたは複数の実施形態による、第一の時間帯における図１のイベントカメラシステムを示す図である。 一つまたは複数の実施形態による、第二の時間帯における図１のイベントカメラシステムを示す図である。 一つまたは複数の実施形態による、軸外光源と、ビームスプリッタを含む共軸ＬＳＣＡとに関する光路の一例を示す図である。 一つまたは複数の実施形態による、軸外光源と、イベントカメラの光路に小型化光源を含む共軸ＬＳＣＡとに関する光路の一例を示す図である。 一つまたは複数の実施形態による、単一のフレームに対する差分瞳孔検出のためのイベントカメラシステムの例に関するタイミング図である。 一つまたは複数の実施形態による、単一のフレームに対する軸外光源を含む差分瞳孔検出のためのイベントカメラシステムの例に関するタイミング図である。 一つまたは複数の実施形態による、複数のフレームに対する差分瞳孔検出のためのイベントカメラシステムの例を示すタイミング図である。 軸外光源による照明中にＩＲ光源が有効になる、軸外光源を含むイベントカメラシステムの例に関するタイミング図である。 瞳孔に対応する画素と、皮膚に対応する画素とに対する照度（illuminance）における相対的な増加の例を示す照度図（illuminance diagram）である。 一つまたは複数の実施形態による、複数の軸外光源を含む差分瞳孔検出のためのイベントカメラシステムを示す図である。 一つまたは複数の実施形態による、リングパターン（ring pattern）に複数の軸外光源を含む差分瞳孔検出のためのイベントカメラシステムを示す図である。 一つまたは複数の実施形態による、差分瞳孔検出のためのイベントカメラシステムを使用して、眼球の向きを決定するためのプロセスを例証するフローチャート（flowchart）である。 一つまたは複数の実施形態による、差分瞳孔検出のためのイベントカメラシステムを含むヘッドセット（headset）を示す斜視図（perspective view）である。 図７Ａにおけるヘッドセットを示す断面図（cross section）である。

図面は、説明のみを目的として、種々の実施形態を描画している。当業者であれば、以下の説明から、本明細書に説明される原理から逸脱することなく、本明細書に例証される構造および方法の代替実施形態（alternative embodiments）を使用し得ることを容易に理解することになる。

［詳細な説明］
これは、イベントカメラシステムを使用して、眼球の明るい瞳孔反射（pupil reflex）を利用することにより、背景からセグメント化された瞳孔の高コントラスト画像（high-contrast image）を生成するためのシステムである。幾つかの実施形態では、イベントカメラは、共軸光源（co-aligned light source）を含み得る。光源が眼球に当たると、瞳孔に入った光は、その光が光源に戻るように、湾曲した網膜（curved retina）から反射するが、この光源は、カメラセンサと共軸にある可能性がある。これにより、瞳孔が高い強度値として見られる、特徴的な明るい瞳孔画像（pupil image）が与えられる。対照的に、軸外光源からの光は、網膜から反射してカメラに到達することなく、代わりに瞳孔が眼球の残りの画像に対して低い強度値として見られる、暗い瞳孔画像を生成する。軸外光源からの光は、眼球の他の部分、および周囲の顔面の特徴から反射して、カメラのセンサに到達する。眼球の他の部分、および周囲の領域から反射される光は、共軸光源からの瞳孔の照明に応答して、一定のままであるか、最小限の量だけ増加することがあり、これらの位置における事象をもたらさないことがある。明るい瞳孔画像および暗い瞳孔画像は、瞳孔のみを含む高コントラスト画像を生成するために、減算され得る。従来のカメラを用いると、このアプローチでは、二つの別々の画像を撮像する必要があるが、眼球の動きが高速であることを考慮すると、実際には瞳孔の堅牢な画像を生成するために十分な速度で撮像することができない。この技術をイベントカメラシステムと組み合わせることにより、本システムは、種々の明るい瞳孔（共軸光源）と暗い瞳孔（軸外光源）との組み合わせの間において照明が切り替わる瞬間の眼球画像の変化のみを捕捉して分離することが可能である。これは、瞳孔自体の高コントラストの変化のみを示す事象を引き起こし、特にイベントカメラシステムのフィード（feeds）を分析するために通常必要とされる複雑なアーキテクチャと比較して、画像出力に対するダウンストリーム処理（down-stream processing）を大幅に簡素化することをもたらす。

この開示されるシステムは、種々の利点を提供する。従来のビデオベースの（video-based）視線追跡とは対照的に、センサは、同等のフレームレート（frame rates）で瞳孔の位置を検出するために、著しく少ない能力（power）だけを使用し得る。さらに、プロセッサ（processor）は、ビデオフレーム全体を分析することとは対照的に、イベントカメラによって検出された瞳孔のみを含むフレームを分析するために、大幅に少ない能力（power）を利用し得る。さらに、開示されるシステムは、部分的に遮られている場合、またはマスカラ（mascara）、タトゥー（tattoos）、または皮膚の傷（skin blemishes）などの、他の暗いオブジェクトの近くにある場合でも、瞳孔を追跡することが可能である。対照的に、従来のシステムは、暗いオブジェクトを瞳孔であると誤認する可能性がある。さらに、従来のカメラベースのシステムは、ヘッドセットがユーザーの眼球に近づいたり、または遠ざかったりする場合などの、カメラの焦点が外れている場合に、瞳孔を追跡することに困難（difficulty）を有する。対照的に、本システムは、カメラアセンブリがユーザーの眼球に対して相対的に移動する場合であっても、反射光を用いて瞳孔の位置を検出し得る。

幾つかの実施形態では、システムは、軸外光源が作動している間に、共軸光源を作動させ得る。軸外光源は、瞳孔以外の表面から反射する光の高いベースライン（baseline）を作り出し得る。共軸光源が作動することに応答して、イベントカメラシステムは、瞳孔内の位置において事象を検出し得る。瞳孔以外の位置において検出される光の高いベースラインは、それらの位置におけるトリガーイベント（triggering events）の数を減少させる可能性がある。

幾つかの実施形態では、システムは、複数の軸外光源を含み、共軸光源を含まない場合がある。軸外光源は、イベントカメラの軸を中心とするリング状に配置され得る。イベントカメラの軸に近接して配置されている軸外光源は、軸外光源からイベントカメラへの、網膜からの部分反射をもたらすことがある。各軸外光源によって捕捉されたセンサデータは、瞳孔の縁の一部に三日月の形状（crescent shape）をもたらすことがある。全てのセンサからのデータを組み合わせると、瞳孔の外周に明るいリングが生成される場合がある。瞳孔の外周は、瞳孔の直径、瞳孔の中心、および視線の位置を決定するために使用され得る。

図１は、一つまたは複数の実施形態による、差分瞳孔検出のためのイベントカメラシステム１００である。イベントカメラシステム１００は、ヘッドセット（例えば、図７Ａおよび７Ｂに関して以下で詳細に記述されるように）、タブレット（tablet）、コンピュータ（computer）、自動車のダッシュボード（car dashboard）、テレビジョン（television）、モバイルデバイス（mobile device）、視線追跡を使用する何らかの他システム、またはそれらの幾つかの組み合わせの内に統合され得る。イベントカメラシステム１００は、少なくとも一つのカメラアセンブリ１０５（「カメラアセンブリ１０５（camera assembly 105）」）、コントローラ１１０を含んでおり、任意選択として一つまたは複数の軸外光源（例えば、軸外光源１１５など）を含んでもよい。幾つかの実施形態では、カメラアセンブリ１０５は、共軸光源を含み、共軸光源カメラアセンブリ（ＬＳＣＡ）と呼ばれることがある。

カメラアセンブリ１０５の光源は、光路１２０に沿って光を放射し、受け取り得る。カメラアセンブリ１０５は、一つまたは複数の赤外線（ＩＲ）光源（共軸ＩＲ光源と呼ばれることがある）と、一つまたは複数のイベントカメラとを含み得る。一つまたは複数のＩＲ光源は、例えば、発光ダイオード（light emitting diode）、垂直共振器面発光レーザ（vertical cavity surface-emitting laser）（ＶＣＳＥＬ）、何らかの他のＩＲ光源もしくは近ＩＲ光源、またはそれらの幾つかの組み合わせであってもよい。一つまたは複数のＩＲ光源は、概して、ＩＲ帯域および／または近ＩＲ帯域における光を放射するように構成されている。幾つかの実施形態では、複数のＩＲ光源が存在し、少なくとも二つのＩＲ光源は、異なる光帯域において放射する。一つまたは複数のＩＲ光源は、コントローラ１１０からの指示（instructions）に従ってＩＲ光のパルスを放射するように構成されている。放射された光パルスは、光路１２０に沿ってアイボックス１２５に向けて伝播するように方向付けられる。アイボックス１２５は、ユーザーの眼球１３０によって占められることになる空間内の領域であり、眼球１３０を囲む睫毛（eyelashes）および皮膚（skin）などの、周囲の顔面の特徴（surrounding facial features）も含み得る。幾つかの実施形態では、カメラアセンブリは、光路１２０を中心とするリング状に配置された複数のＩＲ光源を含む。

カメラアセンブリ１０５は、一つまたは複数の光学的なＩＲ光源が一つまたは複数のイベントカメラに関する光路と実質的に位置合わせされるという意味において、共軸配置され（co-aligned）得る。一つまたは複数のイベントカメラの光路と、一つまたは複数のＩＲ光源の光路との間の角度は、それらの光路が本質的に重なり合って、光路１２０を形成することができるように、十分に小さく保持される。一つまたは複数のＩＲ光源から放射された光は、眼球１３０に進み、網膜１４０から反射して光路１２０に沿って一つまたは複数のＩＲ光源と一つまたは複数のイベントカメラとに戻る。この光路は、種々の方法において光路１２０を形成するように、位置合わせされ（aligned）得る。例えば、カメラアセンブリ１０５内におけるビームスプリッタまたは他の光学混合デバイス（optical mixing device）は、光路を調整するために使用され得て、一つまたは複数のＩＲ光源および一つまたは複数のイベントカメラは、十分に小さい中心間隔（center-center spacing）によってカメラアセンブリ１０５内に並べて（side-by-side）取り付けることができ、一つまたは複数のＩＲ光源および一つまたは複数のイベントカメラは、カメラアセンブリ１０５内の共通基盤（common substrate）（例えば、ＩＲ照明画素（illumination pixels）および感知画素（sensing pixels）が交互配置される（interleaved）基板）を共有してもよく、一つまたは複数のＩＲ光源は、光路に沿ってレンズ（lens）、またはそれらの幾つかの組み合わせなどの、光学素子（optical element）に結合されてもよい。また、カメラアセンブリ１０５は、光源の波長に固有のバンドパスフィルタ（band-path filter）、交互配置された照明およびイベントカメラ画素における空間的に変化するバンドパスフィルタ（spatially-varying bandpass filter）、またはそれらの幾つかの組み合わせを含む、種々の光学フィルタ（optical filters）を組み込んでもよい。

ＩＲ光は、網膜１４０から反射され、その反射された光は、光路１２０に沿って伝播し、検出用のカメラアセンブリ１０５内のイベントカメラに向けて戻る。一つまたは複数のイベントカメラ（一般に動的視覚センサ（dynamic vision sensor）とも呼ばれる）は、光路１２０に沿って眼球１３０から反射されたＩＲ光に対応する強度値を検出するように構成されている。一つまたは複数のイベントカメラのうちのイベントカメラは、複数のフォトダイオードを含んでおり、各フォトダイオードは、フォトダイオードによって以前に出力されたデータ値と、強度閾値に対するフォトダイオードによって検出された強度値との差に少なくとも部分的に基づいているデータ値を非同期に出力するように構成されている。

一つまたは複数の軸外光源は、コントローラ１１０からの指示に従って、光路１２０から軸外方向に光を放射する。一つまたは複数の軸外光源は、軸外光源１１５を含む。軸外光源は、例えば、発光ダイオード、垂直共振器面発光レーザ（ＶＣＳＥＬ）、何らかの他のＩＲ光源もしくは近ＩＲ光源、またはそれらの幾つかの組み合わせであってもよい。軸外光源は、ＩＲ帯域および／または近ＩＲ帯域における光を放射するように構成されている。幾つかの実施形態では、一つまたは複数の軸外光源は、カメラアセンブリ１０５における一つまたは複数のＩＲ源と同じ波長で光を放射する。幾つかの実施形態では、複数の軸外光源があり、軸外光源のうちの少なくとも二つは、異なる光帯域（optical bands）において放射する。一つまたは複数の軸外光源は、コントローラ１１０からの指示に従ってＩＲ光のパルスを放射するように構成され得る。放射された光パルスは、光路１２０とは別となる光路に沿ってアイボックス１２５に向けて伝播するように方向付けられる。幾つかの実施形態では、イベントカメラシステム１００の一部である軸外光源は存在することなく、代わりに軸外光は周囲光であり、一つまたは複数の軸外光源は、周囲光の一部または全てを生成する光源であることに、留意する必要がある。

コントローラ１１０は、イベントカメラシステム１００のコンポーネント群を制御する。コントローラ１１０は、例えば、一つまたは複数のＩＲ光源の起動（activation）および強度（intensity）を制御し、軸外光源１１５の起動および強度を制御し、一つまたは複数のイベントカメラに対する閾値設定（threshold settings）およびフレーム取込（frame capture）の有効化（enable）を制御し得る。一つまたは複数のＩＲ光源および一つまたは複数のイベントカメラは、単一の共軸ＬＳＡＣ１０５の一部、および／または複数の共軸ＬＳＡＣ１０５の一部（例えば、ユーザーの各眼球について一つの共軸ＬＳＡＣ１０５など）であってもよい。コントローラ１１０は、光源（すなわち、一つまたは複数のＩＲ光源および／または軸外光源１１５）の強度設定（intensity settings）と、一つまたは複数のイベントカメラの閾値設定とを、一つまたは複数のイベントカメラからのデータ値、一つまたは複数の別個の外部センサ（external sensors）（例えば、周囲光を感知するフォトダイオード、または眼球画像も捕捉する従来のカメラ撮像装置など）、またはそれらの幾つかの組み合わせに動的に従って調整し得る。コントローラ１１０は、一つまたは複数のイベントカメラを有効にして、各光源（すなわち、一つまたは複数のＩＲ光源および／または軸外光源１１５）の起動を一つまたは複数のイベントカメラの起動と同期させ、照明設定の特定構成に対応する時間窓（time windows）においてデータ値を生成および出力し得る。

幾つかの実施形態では、コントローラ１１０は、光源（すなわち、一つまたは複数のＩＲ光源および軸外光源１１５）および一つまたは複数のイベントカメラを設定して、軸外光源１１５のみを作動させてデータ値を捕捉させる。これらの場合、眼球１３０の瞳孔１５０、および／またはユーザーの別の眼球は、コントローラ１１０によって処理されるデータ値において比較的暗く見える。幾つかの実施形態では、コントローラ１１０は、光源および一つまたは複数のイベントカメラを設定して、共軸光源１０５のみを作動させてデータ値を捕捉する。これらの場合、眼球１３０の瞳孔１５０および／またはユーザーの別の眼球は、コントローラ１１０によって処理されるデータ値において比較的明るく見える。幾つかの実施形態では、コントローラ１１０は、これら二つの構成のうちの一つのみを捕捉させてもよいし、常時オンまたは常時オフの何れかである軸外光源１１５を含む他の光源構成を用いて複数の追加画像を捕捉してもよい。幾つかの実施形態では、コントローラ１１０は、軸外光源１１５が有効であり、共軸光源１０５が無効状態から有効状態に切り替えられている間に、光源および一つまたは複数のイベントカメラを設定して、データ値を捕捉する。これらの場合、コントローラ１１０によって処理されるデータ値において、眼球の瞳孔１５０が比較的明るく見える。

コントローラ１１０は、一つまたは複数のイベントカメラからデータ値を読み取る。コントローラ１１０は、データ値を処理して、眼球の瞳孔を識別する。コントローラ１１０は、識別された瞳孔に基づいて、眼球の向き、および／または眼球における視線の位置を決定し得る。

幾つかの実施形態では、イベントカメラシステム１００は、室内における眼球の存在および位置を検出するように構成され得る。例えば、イベントカメラシステム１００は、室内における固定位置に設置される場合がある。幾つかの実施形態では、イベントカメラシステム１００は、一体化された共軸照明器および／または軸外照明器を備え得る。幾つかの実施形態では、イベントカメラシステム１００は、室内における様々な位置に軸外照明器を備え得る。イベントカメラシステム１００は、例えば、テレビジョン、電話（phone）、標識（sign）、またはコンピュータなどの内に統合される場合がある。コントローラ１１０は、イベントカメラシステムの視野（field of view）内における任意の眼球の瞳孔を識別するように構成され得る。コントローラ１１０は、室内で検出された瞳孔の数、ならびに瞳孔がイベントカメラシステム１００の方向を見ているかどうかなどの、瞳孔における一般的な視線方向を決定し得る。イベントカメラシステム１００を用いて明るい瞳孔を検出することは、瞳孔を検出するために完全な画像を処理するよりもはるかに少ない処理能力（processing power）だけを利用し得る。ルームスケール追跡（room-scale tracking）は、人数の計数、注意の追跡、プライバシーの保護措置、または眼球を検出することが有益となる可能性がある他の任意の適切なシナリオなどの、多くの用途（applications）に使用され得る。

図２Ａは、一つまたは複数の実施形態による、第一の時間帯における図１のイベントカメラシステムである。この第一の時間帯において、コントローラ１１０は、軸外光源１１５を作動させ、イベントカメラが画像データを出力することを可能にする。瞳孔１５０に到達し、眼球１３０の後部にある湾曲した網膜１４０に当たる、軸外光源１１５からの光は、瞳孔１５０を通って光源に、この場合は軸外光源１１５の位置に反射されることになる。この光の一部または全ては、カメラアセンブリ１０５のイベントカメラに到達しないが、アイボックス１２５に到達する光の残りは、カメラアセンブリ１０５に到達することを含め、あらゆる方向に反射することになる。従来の撮像装置（imager）では、これにより、アイボックス１２５内のほとんどの特徴がより明るく照らされるが、湾曲した網膜１４０が再帰反射器（retroreflector）として機能するため、瞳孔１５０自体が比較的低い強度値を有する、暗い瞳孔画像が生成されることになる。幾つかの実施形態では、イベントカメラの出力は、この時間帯において破棄されるが、他の実施形態では、軸外光源１１５は、イベントカメラの出力が変化を示さないままに十分に長くオンにされ得る。一定の入力に応答するイベントカメラの画素は、データ値を出力しないか、または無変化値（no-change value）を出力することに留意する必要がある。幾つかの実施形態では、この時間帯における軸外光源１１５の作動は、完全に無視されることがある。

幾つかの実施形態では、軸外光源１１５が作動している間、コントローラ１１０は、カメラアセンブリ１０５を停止状態から作動状態に切り替え得る。イベントカメラの画素は、瞳孔１５０によって反射されてカメラアセンブリ１０５に戻る光における変化を検出し得る。軸外光源１１５からの光が瞳孔以外の領域によって反射されるため、イベントカメラの画素は、瞳孔以外の位置において事象を検出しない場合がある。そのため、イベントカメラは、明るい瞳孔画像を出力する可能性がある。

図２Ｂは、一つまたは複数の実施形態による、第二の時間帯における図１のイベントカメラシステムである。この第二の時間帯では、軸外光源１１５が、コントローラ１１０によって停止され、カメラアセンブリ１０５における一つまたは複数のＩＲ光源が、コントローラ１１０によって起動されており、イベントカメラは、データ値を出力することが可能になる。瞳孔１５０に到達する一つまたは複数のＩＲ光源からの光は、眼球１３０の後部にある湾曲した網膜１４０から反射し、光路１２０に沿って瞳孔１５０を通過して、カメラアセンブリ１０５における一つまたは複数のイベントカメラに戻ることになる。アイボックス１２５に到達する光の残りは、カメラアセンブリ１０５の光路１２０に沿ったものを含む、あらゆる方向に反射する。瞳孔１５０に入る光の大部分は再帰反射されてカメラアセンブリ１０５に戻るため、瞳孔１５０は、従来の撮像装置では、眼球画像の残りの部分と比較して相対的に明るく見え、「明るい瞳孔画像（bright pupil image）」を生成することになる。しかしながら、イベントカメラでは、軸外光源１１５の作動によって特徴付けられる、以前の（第一の）時間帯からの「暗い瞳孔（dark pupil）」から、共軸光源の作動によって特徴付けられる、この現在の（第二の）時間帯における「明るい瞳孔（bright pupil）」への移行（transition）は、一つまたは複数のイベントカメラによって出力されたデータ値によって記述される顕著な差分画像（difference image）を生成する。差分画像は、瞳孔１５０を含む領域に局在化される。

幾つかの実施形態では、カメラアセンブリ１０５は、眼球１３０の表面から反射する一つまたは複数の光源からの輝き（glints）を検出し得る。この光源は、軸外光源１１５、カメラアセンブリ１０５の共軸光源、または他の任意の適切な光源であってもよい。コントローラ１１０は、明るい瞳孔画像と組み合わせて輝きを分析して、眼球１３０の位置を決定し得る。異なる光源は、異なる周波数においてストロボされる（strobed）ことがある。コントローラは、第一の位置において検出された輝きが、検出された輝きの周波数に基づいて、第一の光源に対応していると判定し得る。同様に、コントローラは、第二の位置において検出された輝きが、第二の位置において検出された輝きの周波数に基づいて、第二の光源に対応していると判定し得る。

図３Ａは、一つまたは複数の実施形態による、軸外光源およびビームスプリッタ３２０を含む共軸ＬＳＣＡ３１０の光路を示す一例である。ビームスプリッタ３２０は、第一のポート３６０、第二のポート３７０、および第三のポート３８０を含む。この実施形態では、ビームスプリッタ３２０は、第一のポート３６０においてＩＲ光源３３０からの光を受け取り、受け取った光の少なくとも一部を第三のポート３８０においてビームスプリッタ３２０から光路１２０に沿って眼球１３０に向けて順方向（forward direction）に向け直す。眼球１３０から戻ってきた光の一部は、第三のポート３８０においてビームスプリッタ３２０に受け取られ、ビームスプリッタは、受け取られた光の一部を第二のポート３７０から共軸ＬＳＣＡ３１０のイベントカメラ３４０に向けさせる。この構成は、ビームスプリッタ３２０の第一のポート３６０におけるＩＲ光源３３０の光路１２０を、ビームスプリッタ３２０の第二の入力ポート３７０におけるイベントカメラ３４０の光路１２０と正確に共軸となることを可能にする。これにより、ＩＲ光源３３０からの光が眼球１３０の網膜から再帰反射され、その再帰反射された光がイベントカメラ３４０に到達することが保証される。軸外ＩＲ光源３２０からの光は、眼球１３０からあらゆる方向に反射し、それでもイベントカメラ３４０にも到達することができる。

図示されるように、共軸ＬＳＣＡ３１０は、ＩＲ光源３３０によって放射される光と、軸外ＩＲ光源３２０によって放射される光との波長を含む、狭帯域（narrow band）における光を透過し、他の波長の光を減衰させるように構成されたフィルタ（filter）３５０を含む。このようにして、フィルタ３５０は、イベントカメラ３４０において受け取られる周囲光を減衰させる。そして、イベントカメラ３４０とは別個のものとして図示されているが、代替実施形態では、フィルタ３５０は、イベントカメラ３４０に統合されてもよい。

代替の実施形態では、ビームスプリッタ３２０は省略されており、ＩＲ光源３３０およびイベントカメラ３４０の光路１２０の位置合わせは、眼球１３０の瞳孔を通過し、網膜から再帰反射されて共軸ＬＳＣＡ３１０に戻る、ＩＲ光源３３０からの光もイベントカメラ３４０において受け取られるように、十分に小さい中心間の間隔を置いてＩＲ光源３３０およびイベントカメラ３４０を並べて配置することによって近似的に一致させられる。

同様に、図１に関して上述されるように、幾つかの実施形態では、ビームスプリッタ３２０が省略されており、ＩＲ光源３３０が、感知画素と交互配置された複数のＩＲ照明画素と置き換えられ、ＩＲ照明画素および感知画素は、共通の基板を共有する。ＩＲ照明画素は、光路１２０を介して眼球１３０を照明するという点で、ＩＲ光源３３０と同様に機能する。また、感知画素は、イベントカメラの画素である。このように、イベントカメラ３４０およびＩＲ光源３３０の機能は、共通の基板上に感知画素およびＩＲ照明画素の両方を含む、単一のデバイスに組み合わされて統合される。

図３Ｂは、一つまたは複数の実施形態による、軸外光源と、イベントカメラの光路に小型化光源を含む共軸ＬＳＣＡとに関する光路を示す一例である。ＩＲ光源３３０は、光学素子３９０に結合され得る。光学素子３９０は、レンズ、窓（window）、鏡（mirror）、回折格子（grating）、または他の任意の適切な光学素子を備え得る。幾つかの実施形態では、光学素子３９０はレンズである。ＩＲ光源３３０は、光路１２０の中心軸に沿うようにしてもよい。ＩＲ光源３３０は、レンズ３９０の面積の１％未満または５％未満を占めるなど、レンズ３９０に対して小型であってもよい。幾つかの実施形態では、ＩＲ光源３３０は、３ｍｍ未満、１ｍｍ未満、１００ミクロン未満、または１０ミクロン未満の直径を有し得る。そのため、ＩＲ光源３３０は、イベントカメラ３４０のセンサを最小限にしか遮蔽しない可能性がある。

図４Ａは、一つまたは複数の実施形態による、単一フレーム用の差分瞳孔検出のためのイベントカメラシステム（例えば、イベントカメラシステム１００など）に関するタイミング図４００の一例である。ここで、場景（scene）は、環境からの周囲照明（ambient illumination）のみから始まる。この場合、軸外光源は、イベントカメラシステムによって制御されることなく、周囲光の一部または全てを生成する光源と考えられ得る。次いで、コントローラ（例えば、コントローラ１１０など）は、カメラアセンブリ（例えば、カメラアセンブリ１０５など）のイベントカメラから出力されたデータ値を有効にし、その後、カメラアセンブリの共軸ＩＲ光源を有効にし（オンにし）、後に、イベントカメラから出力されたデータ値を無効にする。ＩＲ光源に関して有効化されたパルスは、１秒以下のパルス幅を有してよく、さらに短くてもよい。例えば、システム全体の全体的な「フレームレート（frame rate）」または周期（period）は、３０Ｈｚ（およそ３３ミリ秒の周期）である場合がある。この場合、パルス幅は１０ｍｓであり、対応するパルスレートは、５０％未満の負荷サイクル（duty cycle）において５０Ｈｚまたは１００Ｈｚである。幾つかの実施形態では、負荷サイクルは、０％より大きく、１００％より小さくなり得る。そのため、イベントカメラは、共軸ＩＲ光源がオフからオンに移行する間に、データ値を出力するが、これは、明るい瞳孔効果（bright pupil effect）により、眼球の瞳孔を含む画素における強度値に大きな変化を示す。次いで、コントローラは、出力されるデータ値において小さな背景の変化がイベントカメラによって報告されないように、イベントカメラの閾値を設定する。さらに、コントローラは、イベントカメラの有効化が作動している時間帯からの全てのイベントを、従来の画像フレームに類似した単一の「フレーム（frame）」にグループ化し得る。例えば、データ値には、特定の時刻に特定の画素における変化の大きさのタイムスタンプが含まれることになり、コントローラは、従来のカメラのように、データ値を、この全時間帯中に変化を報告した全ての画素に及ぶ単一の２Ｄ行列としてグループ化することになる。幾つかの実施形態では、イベントカメラの有効化は、立ち上がりエッジ（rising edge）の代わりに照明信号の立ち下がりエッジ（falling edge）を捕捉するように構成されている。

図４Ａでは、イベントカメラは、ＩＲ光源の起動を範囲に含む同じ時間帯に有効化されていることに留意する必要がある。他の実施形態では、ＩＲ光源の停止化（すなわち、光の放射から光の非放射への移行）に亘る時間帯においてイベントカメラが有効化されるように、タイミングを変更することができる。

図４Ｂは、一つまたは複数の実施形態による、単一フレーム用の軸外光源（例えば、軸外光源１１５など）を含む差分瞳孔検出のためのイベントカメラシステム（例えば、イベントカメラシステム１００など）に関するタイミング図４４０の一例である。この場合、コントローラ（例えば、コントローラ１１０など）は、最初に、軸外光源を有効にし（オンにし）、次に、カメラアセンブリの（例えば、カメラアセンブリ１０５などの）イベントカメラから出力されたデータ値を有効にする。イベントカメラが有効になっている間、コントローラは、軸外光源を無効にし（オフにし）、カメラアセンブリのＩＲ光源を有効にする（オンにする）。これにより、瞳孔（例えば、瞳孔１５０など）における暗い瞳孔照明から明るい瞳孔照明への強度値に大きな遷移（transition）を示すデータ値出力が誘発される。次いで、コントローラは、イベントカメラから出力されたデータ値を無効にし、その後、カメラアセンブリのＩＲ光源を無効にし（オフにし）得る。この時間帯中にイベントカメラから出力されたデータ値は、光源の同期された切り替えの間における画像データに変化を表す単一の「フレーム（frame）」にグループ化される場合がある。

図４Ｃは、一つまたは複数の実施形態による、複数フレーム用の差分瞳孔検出のためのイベントカメラシステム（例えば、イベントカメラシステム１００など）に関するタイミング図４７０の一例である。コントローラ（例えば、コントローラ１１０など）は、何れの実施形態が実装されるかに従って、ＩＲ光源有効化信号およびイベントカメラ有効化信号のシーケンスを繰り返すことにより、複数のフレームを捕捉し得る。これらのフレームは、定期的に照明をストロボし、イベントカメラ出力を有効にすることにより、固定フレームレートで要求されてもよいし、またはフレームは、所望の時刻に照明をストロボすることにより、コントローラ１１０によって動的に選択される可変タイミングにおいて要求されてもよい。図示されるように、イベントカメラ有効化時間帯は、例えば、図４Ｂに示されるイベントカメラ有効化時間帯よりも長いことに留意する必要がある。他の実施形態では、イベントカメラ有効化時間帯は、図４Ｂに示されるものと同様であり得る。

コントローラは、共軸ＬＳＡＣのＩＲ光源、および場合によっては一つまたは複数の軸外ＩＲ光源に、それぞれのパルス長および負荷サイクルで複数のパルスをそれぞれ放射するように指示し、共軸ＬＳＡＣのイベントカメラがデータ値を定期的に捕捉することを可能にすることがある。コントローラは、ＩＲ光源のそれぞれのパルスの各々の結果として出力されるデータ値を使用して、画像フレームを生成し得て、生成された画像フレームに部分的に基づいて、眼球の向きを追跡する。

図４Ｄは、一つまたは複数の実施形態による、単一フレーム用の軸外光源（例えば、軸外光源１１５など）を含む、差分瞳孔検出のためのイベントカメラシステム（例えば、イベントカメラシステム１００など）に関するタイミング図４８０の一例である。この場合、コントローラ（例えば、コントローラ１１０など）は、最初に、軸外光源を有効にし（オンにし）、次に、カメラアセンブリの（例えば、カメラアセンブリ１０５の）イベントカメラから出力されたデータ値を有効にする。イベントカメラが有効になっている間、コントローラは、カメラアセンブリの軸上にあるＩＲ光源を有効にする（オンにする）。これにより、軸外光源からの反射光に起因して、瞳孔以外の位置において出力されるデータ値を誘発することなく、瞳孔（例えば、瞳孔１５０など）における強度値に大きな遷移（transition）を示す、データ値出力が誘発される。例えば、図４Ｅに示されるように、軸外光源が存在する場合、軸上光源（on-axis light source）がｔ＝１で有効になると、瞳孔位置に対応する画素照度（pixel illuminance）Ｐは、点Ａでイベント閾値（破線によって示される）を超える。しかしながら、軸外照明からの偏りに起因して、軸上の光源から反射して戻ってくる光の量がイベント閾値を超えて画素照度を上げるほどに十分ではないため、皮膚の位置に対応する画素照度Ｐはイベント閾値を超えない。幾つかの実施形態では、コントローラは、単一フレーム中にカメラアセンブリの強度を複数回変調して、複数のイベントを誘発し得る。例えば、カメラアセンブリのＩＲ源の強度は、方形波パターン（square wave pattern）、三角波パターン（triangle wave pattern）、またはそれらの幾つかの組み合わせにおいて変調される場合がある。パルスの形状に関わらず、信号の振幅がフレーム中にイベント閾値を１回以上超えるのに十分であるように、パルスの振幅は、フレーム中に１回以上変調されることがある。幾つかの実施形態では、カメラアセンブリの強度は、単一フレーム中に傾斜区間（ramp）において徐々に増加し得る。次いで、コントローラは、イベントカメラから出力されたデータ値を無効にし、その後、カメラアセンブリのＩＲ光源を無効に（オフにし）得る。次いで、コントローラは、軸外光源を無効に（オフにし）得る。この時間帯中にイベントカメラから出力されたデータ値は、光源の同期された切り替えの間の画像データにおける変化を表す単一の「フレーム（frame）」にグループ化することがある。

図５Ａは、一つまたは複数の実施形態による、複数の軸外光源を含む差分瞳孔検出のためのイベントカメラシステム５００である。イベントカメラシステム５００は、イベントカメラシステム１００の一実施形態であり得る。カメラシステム５００は、複数の軸外光源５２０、共軸ＬＳＣＡ５１０、およびコントローラ（図示されない）を含む。共軸ＬＳＡＣ５１０は、カメラアセンブリ１０５と実質的に同じである。軸外光源５２０は、軸外光源が共軸ＬＳＣＡ５１０からの距離を増加させる位置に配置されている、図１における軸外光源の一実施形態である。軸外光源５２０は、視線方向、ならびに対応する瞳孔および眼球の向きに適応するために、複数の位置に配置され得る。

幾つかの実施形態では、コントローラは、共軸ＬＳＣＡ５１０のイベントカメラからデータ値を収集しつつ、光を順次放射するように、共軸ＬＳＣＡ５１０および軸外光源５２０に指示し得る。このようにして、共軸ＬＳＣＡ５１０からの距離を増加させる、異なる軸外光源によって引き起こされる眼球の瞳孔の照度における変化から生じるデータ値が捕捉される。共軸ＬＳＣＡ５１０の共軸ＩＲ光源は、光が眼球１３０から直接反射されて共軸ＬＳＡＣ５１０のイベントカメラに戻るため、依然として眼球１３０の明るい瞳孔画像をもたらすことに留意する必要がある。同様に、最も遠い軸外光源５２０ｃからの光は、瞳孔に入る光が共軸ＬＳＣＡ５１０に到達しないように、光源が十分に軸外にあるため、依然として暗い瞳孔画像をもたらす。共軸ＬＳＣＡ５１０に近接して配置された軸外光源（例えば、軸外光源５２０ａなど）は、イベントセンサと十分に位置合わせされて、適切に位置合わせされた明るい瞳孔画像によく類似する画像を依然として検出させ得るが、これらの両端部の間の軸外光源（例えば、軸外光源５２０ｂなど）は、混合された明るい瞳孔応答（mixed bright pupil response）を提示しており、そこに瞳孔の一部分のみが、所与の軸外光源の位置からの光を反射して、イベントカメラに戻している。

コントローラは、複数の軸外光源５２０に対する明るい瞳孔応答を測定して、結果として得られる画像が明るい瞳孔画像（bright pupil image）、混合画像（mixed image）、または暗い瞳孔画像（dark pupil image）である場合を分析し得る。明るい瞳孔効果に関する既知の角度公差（angular tolerances）と、軸外光源５２０および共軸ＬＳＣＡ５１０に関する既知の相対的位置（relative locations）とに基づいて、コントローラ１１０は、共軸ＬＳＣＡ５１０から眼球１３０までの距離を推定し得る。共軸ＬＳＣＡ５１０から眼球１３０までの距離、したがってシステムにおける他の全ての固定部分から眼球１３０までの距離は、イベントカメラシステム上のセンサの相対的位置およびユーザーの眼球に関する幾何学的情報を抽出するために使用され得る。これは、測定の精度を高めるために眼球モデルに組み込まれ得るか、または較正情報として使用され得る。この距離は、イベントカメラの固有機能（intrinsics）とともに、サイズまたはユーザーの瞳孔間距離（interpupillary distance）（ＩＰＤ）などの、眼球１３０の定量的特徴（quantitative features）を計算するために使用され得るが、これは、順番に、眼球の輻輳状態（vergence state）から視線距離（gaze distance）を計算するための重要な指標（important metric）となる。さらに、幾つかの実施形態では、複数の軸外光源は、顔面の形状における変化と視線追跡システムの相対的な適合度とにおける変動にも関わらず、所与のユーザーの眼球を適切に照明するための理想的な個別の光源または光源群を選択するために使用され得る。

図５Ｂは、一つまたは複数の実施形態による、複数の軸外光源を含む差分瞳孔検出のためのイベントカメラシステム５５０である。イベントカメラシステム５５０は、イベントカメラシステム１００の一実施形態であり得る。カメラシステム５５０は、複数の軸外光源５６０、カメラアセンブリ５７０、およびコントローラ（図示されない）を含む。カメラアセンブリ５７０は、カメラアセンブリ１０５の一実施形態であり得る。ただし、幾つかの実施形態では、カメラアセンブリ５７０は、共軸光源を含まない。軸外光源５６０は、カメラアセンブリ５７０からわずかに軸外にある複数の位置に配置され得る。各軸外光源５６０からの光は、部分的に網膜で反射し、カメラアセンブリ５７０に反射して戻り、その結果、瞳孔の外周に三日月形のパターンをもたらすことがある。幾つかの実施形態では、２個、３個、４個、６個、８個、または他の適切な任意数の軸外光源５６０が存在し得る。軸外光源は、カメラアセンブリ５７０の軸を中心とするリング状に等間隔に配置され得る。

幾つかの実施形態では、コントローラは、カメラアセンブリ５７０のイベントカメラからデータ値を収集しつつ、光を順次放射するように軸外光源５６０に指示し得る。このようにして、カメラアセンブリ５７０の軸を中心として様々な角度位置における様々な軸外光源によって引き起こされる眼球の瞳孔の照明における変化から生じるデータ値が捕捉される。軸外光源５６０ａ、５６０ｂ、５６０ｃ、５６０ｄは、混合された明るい瞳孔応答を提示するが、そこに瞳孔の一部分のみが所与の軸外光源位置からの光をイベントカメラに反射して戻している。軸外光源の各々からの応答を組み合わせることにより、コントローラは、瞳孔の縁にある明るいリングを検出し得る。幾つかの実施形態では、コントローラは、軸外光源５６０をシーケンスで一度に一つずつストロボし、センサの応答を結合し得る。幾つかの実施形態では、コントローラ５６０は、全ての軸外光源５６０を同時に作動させ得る。瞳孔の縁における位置のみを検出することにより、コントローラは、眼球１３０の視線方向を推定するために使用される処理能力の量を減少させ得る。瞳孔の縁の位置は、瞳孔の直径、形状、および中心位置を計算するのに十分である可能性がある。瞳孔の縁における事象を検出することにより、イベントカメラシステム５５０は、瞳孔全体に対して瞳孔の縁に対応する画素のみを分析することにより、より少ない処理能力を使用し得る。

図６は、一つまたは複数の実施形態による、差分瞳孔検出のためにイベントカメラシステム６００を使用して、眼球の向きを決定するためのプロセスを例証するフローチャートである。実施形態は、異なるステップおよび／または追加のステップを含んでもよいし、異なる順序でステップを実行してもよい。イベントカメラシステム６００は、イベントカメラシステム１００の一実施形態であり得る。

ステップ６１０において、イベントカメラシステム６００は、カメラアセンブリ（例えば、カメラアセンブリ１０５など）のイベントカメラにおいて、ユーザーの眼球から反射する、少なくとも一つの軸外光源からのＩＲ光を受け取る。眼球は、イベントカメラシステム６００のアイボックス内にある。幾つかの実施形態では、軸外光源は周囲光である。他の実施形態では、軸外光源は、イベントカメラシステム６００の一部であり、イベントカメラシステムは、イベントカメラが有効化される第二の時間帯と少なくとも部分的に重なる時間帯に亘ってＩＲ光を（例えば、一つまたは複数のＩＲ光パルスとして）放射するように、事前に軸外光源を指示している。幾つかの実施形態では、軸外光源は、カメラアセンブリの軸を中心とするリング状に配置された複数の光源を含む。

ステップ６２０において、イベントカメラシステム６００は、任意選択として、共軸ＩＲ源から光路に沿って第一の時間帯に亘ってＩＲ光の第一のパルスを放射する。第一の時間帯は、イベントカメラが有効化される時間帯と重なり、軸外光源がイベントカメラシステムの一部である実施形態では、第一の時間帯は、軸外光源が有効化される時間帯（例えば、上記の図４Ｂおよび４Ｃに示されるように）とわずかに重なることに留意する必要がある。光は、カメラアセンブリ内にある共軸ＩＲ光源から放射される。ＩＲ光の第一のパルスは、光路に沿ってアイボックスに方向付けられる。眼球の網膜は、ＩＲ光の第一パルスの一部分を反射して、第一の輝度（brightness）で光路に沿って目標領域に向けて戻す。この場合、ＩＲ光は、本質的に眼球の網膜から再帰反射されており、そのような光の輝度は、軸外光源から眼球によって反射される光よりも明るいことに留意する必要がある。

ステップ６３０において、イベントカメラシステム６００は、任意選択として、光路に沿ってアイボックスから反射されたＩＲ光を検出する。イベントカメラシステム６００は、イベントカメラを使用してＩＲ光を検出する。イベントカメラは、複数のフォトダイオードを含み、各フォトダイオードは、反射されたＩＲ光の一部分に対応する強度値を検出し、フォトダイオードによって以前に出力された強度値と、強度閾値と比較してフォトダイオードによって検出された強度値との差に少なくとも部分的に基づいているデータ値を非同期に出力するように構成されている。イベントカメラは検出された光における差を測定するため、イベントカメラは、軸外光源からの、眼球によって反射されたＩＲ光における比較的低い輝度から、カメラアセンブリ内のＩＲソースから網膜によって再帰反射されたＩＲ光における比較的高い輝度への移行に対応するデータ値を出力する。

ステップ６４０において、イベントカメラシステム６００は、イベントカメラから出力されたデータ値から眼球の瞳孔を識別する。上述されるように、イベントカメラは、差分画像を出力する。幾つかの実施形態では、各軸外光源から反射されてセンサによって検出される光は、瞳孔の外周の一部分に対応する三日月形状を生成する。順次であるか同時であるかに関わらず、各軸外光源に関するセンサデータを組み合わせることにより、イベントカメラシステムは、瞳孔の外周に対応する明るいリング形状を検出する。

幾つかの実施形態では、差分画像は、共軸ＩＲ光源からの光の再帰反射によって引き起こされる明るさにおける変化に関連付けられる。このように、イベントセンサによって出力されたデータ値は、とりわけ（among other things）瞳孔の形状を記述する。瞳孔の形状は、眼球の向きの関数として変化することに留意する必要がある。幾つかの実施形態では、コントローラは、瞳孔の位置を決定するために、減算（subtraction）、拡張（dilation）、空間フィルタリング（spatial filtering）、または楕円フィッティング（ellipse fitting）を含む一連の低レベル画像演算（image operations）を実行し得る。幾つかの実施形態では、これらの低レベル画像演算の一部または全ては、ハードウェア加速電子機器（accelerated electronics）内のコントローラ１１０において実装されるが、一部の演算は、ソフトウェアにおいて実装されてもよい。幾つかの実施形態では、コントローラは、データ値を使用して画像を生成し、形状認識（shape recognition）を使用して生成された画像内の瞳孔を識別する。

ステップ６５０において、イベントカメラシステム６００は、識別された瞳孔に部分的に基づいて、ユーザーの視線位置を決定する。幾つかの実施形態では、イベントカメラシステム６００は、一方または両方の眼球の瞳孔における異なる形状を異なる視線位置に対応付ける眼球モデルを使用する。この関連における視線位置は、例えば、両眼の視線が交差する空間における位置（すなわち、輻輳点（vergence point）であり得る。

ステップ６６０において、イベントカメラシステム６００は、照明および／またはカメラの設定を動的に調整して、画質および検出性能を最適化する。コントローラは、例えば、光源（すなわち、共軸ＩＲ光源および／または一つまたは複数の軸外光源）によって放射される光の輝度を増減させること、光源が有効である時間帯を調整すること、一つまたは複数の軸外光源の何れが有効であるかを調整すること、イベントカメラの画素に対する閾値を調整して変化を報告すること、またはそれらの幾つかの組み合わせを行う。このように、コントローラは、上記のことを使用し、画像から背景ノイズ（background noise）を軽減して、場合によっては除去して、瞳孔位置検出（pupil position detection）を最適化し得る。

図７Ａは、一つまたは複数の実施形態による、差分瞳孔検出のためのイベントカメラシステムを含む、ヘッドセット７００の斜視図である。図７Ｂは、図７Ａにおけるヘッドセットの断面図である。ヘッドセット７００は、種々の目的のために視線追跡を実行し得る。幾つかの実施形態では、視線追跡は、ユーザーにおける一つまたは複数の健康指標（health metrics）を決定するために使用され得る。

幾つかの実施形態では、ヘッドセット７００は、可変焦点光学システム（varifocal optical system）を含む。可変焦点光学システムは、ヘッドセットにおけるユーザーの推定視線位置（estimated gaze location）に応じて、その焦点距離（focal length）を動的に調整し得る。可変焦点光学システムは、各眼球に対する可変焦点レンズアセンブリ（varifocal lens assembly）７２０を含み得る。可変焦点レンズアセンブリ７２０は、ユーザーの視線位置に基づいて、その焦点距離を動的に調整する。可変焦点レンズアセンブリ７２０は、可変焦点レンズアセンブリが焦点距離の範囲を有するように、単独または共に動作する可変焦点距離（variable focal length）の一つまたは複数の光学素子（optical elements）を含む。焦点距離の範囲は、可変焦点レンズアセンブリ７２０が可変の屈折力（optical power）を提供することを可能にする。屈折力の範囲には、負の屈折力（negative optical power）、ゼロの屈折力（zero optical power）、正の屈折力（positive optical power）、またはそれらの幾つかの組み合わせを含み得る。幾つかの実施形態では、屈折力の範囲は連続的である（例えば、０～３ジオプトリ（Diopters）など）。幾つかの実施形態では、屈折力の範囲は離散的である（例えば、０．１ジオプトリ刻みで０～３ジオプトリなど）。また、場合によっては、屈折力の離散的な範囲は、ユーザーからの特定距離（例えば、読書距離（reading distance）、コンピュータ距離（computer distance）、２０フィート以上の距離など）に対応するように設定されることがある。可変焦点距離の光学素子は、例えば、アルバレスレンズ（Alvarez lens）、液体レンズ（liquid lens）、液晶レンズ（liquid crystal lens）、動的に調整可能な焦点距離を有する何らかの他のレンズ、またはそれらの幾つかの組み合わせであってもよい。幾つかの実施形態では、可変焦点レンズアセンブリ（varifocal lens assembly）は、固定焦点距離（fixed focal length）の一つまたは複数の光学素子、および／またはプリズム（prisms）を含み得る。

イベントカメラシステムは、イベントカメラシステム１００の一実施形態である。イベントカメラシステムは、軸外光源７６０、カメラアセンブリ７７０、およびコントローラ７３０を含む。軸外光源７６０、カメラアセンブリ７７０、およびコントローラ７３０は、軸外光源１１５、カメラアセンブリ１０５、およびコントローラ１１０の実施形態である。

幾つかの実施形態では、レンズ７２０は、眼球１３０の位置に基づいてオートフォーカスされる（autofocused）ように構成され得る。ユーザーの眼球１３０は、両眼球１３０の各々が中心窩軸（foveal axis）をオブジェクトに位置合わせしているように、両眼球が回転しているだけでなく、オブジェクトが眼球におけるレンズの生物学的調整（biological adjustment）によって焦点をオブジェクトに合わせる必要がある、３Ｄの場景を自然に見ている。眼球１３０の回転は、輻輳（vergence）として知られ、これは、オブジェクトまでの距離を示している。例えば、図１、２Ａ、２Ｂ、４Ａないし４Ｃ、５Ａ、５Ｂ、および６に関して上述されるように、軸外光源７６０およびカメラアセンブリ７７０は、瞳孔位置を含む眼球１３０からの画像データを収集するために使用され得るが、この瞳孔位置は、コントローラ７３０がカメラアセンブリ７７０のイベントカメラによって出力されたデータ値から計算する。各眼球の瞳孔位置は、ユーザーの視線位置（すなわち、輻輳）、したがって、ユーザーが見ている距離を計算するために使用され得る。コントローラ７３０は、レンズの屈折力を推定視線位置までの距離に一致させるために、この推定値を使用して、レンズ７２０のフォーカス状態（focus state）を駆動させる。

幾つかの実施形態では、イベントカメラシステム７００は、眼球位置に基づいてユーザーの健康指標を取得するように構成されている。例えば、図１、２Ａ、２Ｂ、４Ａないし４Ｃ、５Ａ、５Ｂ、および６に関して上述されるように、軸外光源７６０およびカメラアセンブリ７７０は、瞳孔位置を含む眼球１３０からの画像データを収集するために使用され得るが、この瞳孔位置は、コントローラ７３０がカメラアセンブリ７７０のイベントカメラによって出力されたデータ値から計算する。各眼球に関する瞳孔位置は、ユーザーの視線位置を計算するために使用することができる。コントローラ７３０は、この推定値を使用して、任意の適切な目的のためにユーザーの視線位置を追跡し得る。

［追加の構成情報］
上述の実施形態の説明は、説明のために提示されており、すなわち、網羅的であること、または開示された正確な形式に特許権を限定することは、意図されていない。当業者は、上記の開示を考慮して、多くの変更および変形が可能であることを理解することができる。

この説明における幾つかの部分では、情報に対する演算のアルゴリズムおよび記号表現（symbolic representations）の観点から実施形態を説明している。これらのアルゴリズムの記述および表現は、データ処理技術（data processing arts）の当業者によって、その仕事（work）の本質（substance）を他の当業者に効果的に伝えるために一般的に使用されている。これらの操作は、機能的、計算的、または論理的に記述されているが、コンピュータプログラムもしくは同等の電気回路、またはマイクロコード（microcode）などによって実装されると理解される。さらに、一般性を失うことなく、これらの演算の配置をモジュールとして参照することが、時として便利であることも証明されている。説明された演算およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化され得る。

本明細書において説明されるステップ、演算、またはプロセスの何れも、一つまたは複数のハードウェアまたはソフトウェアモジュールを単独または他のデバイスと組み合わせて実行または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコード（computer program code）を含むコンピュータ可読媒体（computer-readable medium）を含む、コンピュータプログラム製品（computer program product）を用いて実装されるが、このコンピュータプログラムコードは、記載されたステップ、演算、またはプロセスの何れかまたは全てを実行するためにコンピュータプロセッサ（computer processor）によって実行され得る。

実施形態は、本明細書の演算を実行するための装置（apparatus）にも関係し得る。この装置は、必要な目的のために特別に構築されてもよく、および／またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイス（general-purpose computing device）を含んでもよい。このようなコンピュータプログラムは、非一時的で有形のコンピュータ可読記憶媒体、または電子命令（electric instructions）を記憶することに適した任意種類の媒体に格納され得るが、これは、コンピュータシステムバス（computer system bus）に結合され得る。さらに、本明細書において参照される任意のコンピューティングシステム（computing system）は、単一のプロセッサを含み得るか、または演算能力（computing capability）を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。

実施形態は、本明細書に記載される演算プロセス（computing process）によって生成される製品にも関係し得る。このような製品は、演算プロセスから得られる情報を含み得るが、その情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、コンピュータプログラム製品、または本明細書に記載される他のデータの組み合わせに関する任意の実施形態を含み得る。

最後に、明細書において使用される言語は、主に読み易さ（readability）および教育目的（instructional purposes）のために選択されており、特許権（patent rights）を境界付けたり、または範囲を定めたりするために選択されていない可能性がある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願で発行する任意の請求項によって制限することを意図している。それゆえに、実施形態の開示は、特許権の範囲を限定することではなく、例示することが意図されており、その範囲は、以下の請求項に規定されている。

Claims (20)

1. 第一の時間帯に亘ってＩＲ光の第一のパルスを放射する第一の赤外線（ＩＲ）光源であって、ＩＲ光の前記第一のパルスが光路に沿ってユーザーの眼球を含むアイボックスに向けられ、前記眼球は、ＩＲ光の前記第一のパルスの一部分を反射して、第一の輝度で光路に沿って目標領域に向けて戻し、前記眼球は、軸外ＩＲ光源から発生するＩＲ光を反射して、第二の輝度で光路に沿って前記目標領域に向けて戻す、第一の赤外線（ＩＲ）光源と、
   前記目標領域に配置されたイベントカメラであって、光路に沿ってアイボックスから反射されたＩＲ光を検出するように構成され、複数のフォトダイオードを含み、各フォトダイオードは、
   ＩＲ光における反射された前記第一のパルスの一部分に対応する強度値を検出することと、
   前記フォトダイオードによって以前に出力されたデータ値と、強度閾値に対する前記フォトダイオードによって検出された前記強度値との差に少なくとも部分的に基づいているデータ値を非同期に出力することと
   を行うように構成されている、イベントカメラと、
   コントローラであって、
   結果として前記第一のパルスから生じるイベントカメラから出力されたデータ値から前記眼球の瞳孔を識別することと、
   前記識別された瞳孔に部分的に基づいて前記ユーザーの視線位置を決定することと
   を行うように構成された、コントローラと
   を備えることを特徴とする、視線追跡システム。
2. ＩＲ光の第二のパルスを放射するように構成された第二のＩＲ光源をさらに備え、前記第二のＩＲ光源は軸外光源であり、前記コントローラは、
   第二の時間帯に亘ってＩＲ光の前記第二のパルスを放射するように前記第二のＩＲ光源に指示することであって、前記第一の時間帯および前記第二の時間帯は部分的に重なっている、こと
   を行うようにさらに構成されていることを特徴とする、請求項１に記載の視線追跡システム。
3. 前記第一のＩＲ源は、第一の光路に対して軸外に放射し、
   前記アイボックスと前記イベントカメラとの間の前記光路内に配置されたビームスプリッタであって、ＩＲ光の前記第一のパルスの少なくとも一部分を、実質的に前記第一の光路に沿って伝播するように方向転換させることと、前記眼球から反射されたＩＲ光を透過して、前記光路に沿って前記イベントカメラに戻すこととを行うように構成された、ビームスプリッタ
   をさらに備えることを特徴とする、請求項２に記載の視線追跡システム。
4. 前記強度閾値の値は、結果として前記第一のパルスから生じるデータ値が前記瞳孔に対応するような値であることを特徴とする、請求項１に記載の視線追跡システム。
5. 前記コントローラは、前記第一のパルスを放射するように前記第一のＩＲ光源に指示するように構成されており、前記第一のパルスは、１秒以下のパルス幅を有していることを特徴とする、請求項１に記載の視線追跡システム。
6. 前記コントローラは、０％より大きく１００％未満の負荷サイクルにおけるパルスレートで、１秒以下の周期で複数のパルスを放射するように、前記第一のＩＲ光源に指示するように構成されており、前記複数のパルスは、前記第一のパルスを含むことを特徴とする、請求項１に記載の視線追跡システム。
7. 前記コントローラは、あるパルスレートで複数のパルスを放射するように、前記第一のＩＲ光源に指示するように構成されており、前記複数のパルスは前記第一のパルスを含み、前記コントローラは、
   前記複数のパルスにおけるそれぞれのパルスの各々の結果として出力されるデータ値を使用して、それぞれの画像フレームを生成することと、
   前記生成された画像フレームに部分的に基づいて前記眼球の向きを追跡することと
   を行うように構成されていることを特徴とする、請求項１に記載の視線追跡システム。
8. 第一の赤外線（ＩＲ）光源によって、第一の時間帯に亘ってＩＲ光の第一のパルスを放射するステップであって、ＩＲ光の前記第一のパルスは、光路に沿ってユーザーの眼球を含むアイボックスに向けられ、前記眼球は、ＩＲ光の前記第一のパルスの一部分を反射して、第一の輝度で光路に沿って目標領域に向けて戻し、前記眼球は、軸外ＩＲ光源から発生するＩＲ光を反射し、前記第一の輝度より小さい第二の輝度で光路に沿って目標領域に向けて戻す、第一の赤外線（ＩＲ）光源と、
   前記目標領域に配置されたイベントカメラによって、光路に沿ってアイボックスから反射されたＩＲ光を検出するステップであって、前記イベントカメラは複数のフォトダイオードを含み、各フォトダイオードは、
   反射されたＩＲ光の第一のパルスの一部分に対応する強度値を検出することと、
   前記フォトダイオードによって以前に出力されたデータ値と、強度閾値に対する前記フォトダイオードによって検出された前記強度値との差に少なくとも部分的に基づいているデータ値を非同期に出力することと
   を行うように構成されている、ステップと、
   結果として前記第一のパルスから生じる前記イベントカメラから出力されたデータ値から、コントローラによって、前記眼球の瞳孔を識別するステップと、
   コントローラによって、前記識別された瞳孔に部分的に基づいて前記ユーザーの視線位置を決定するステップと
   を備えることを特徴とする、方法。
9. 第二のＩＲ光源によって、ＩＲ光の第二のパルスを放射するステップであって、前記第二のＩＲ光源が軸外光源である、ステップと、
   前記コントローラによって、第二の時間帯に亘ってＩＲ光の前記第二のパルスを放射するように、前記第二のＩＲ光源に指示するステップであって、前記第一の時間帯および前記第二の時間帯は部分的に重なっている、ステップと
   をさらに備えることを特徴とする、請求項８に記載の方法。
10. 前記アイボックスと前記イベントカメラとの間の前記光路内に配置されたビームスプリッタによって、ＩＲ光の前記第一のパルスの少なくとも一部分を、実質的に第一の光路に沿って伝搬するように方向転換させ、前記眼球から反射されたＩＲ光を伝送して、光路に沿ってイベントカメラに向けて戻すステップ
    をさらに備えることを特徴とする、請求項９に記載の方法。
11. 前記強度閾値の値は、結果として前記第一のパルスから生じるデータ値が前記瞳孔に対応するような値であることを特徴とする、請求項８に記載の方法。
12. 前記コントローラによって、前記第一のパルスを放射するように前記第一のＩＲ光源に指示するステップであって、前記第一のパルスは１秒以下のパルス幅を有している、ステップ
    をさらに備えることを特徴とする、請求項８に記載の方法。
13. 前記コントローラによって、０％より大きく１００％未満の負荷サイクルにおけるパルスレートで、１秒以下の周期で複数のパルスを放射するように、前記第一のＩＲ光源に指示するステップであって、前記複数のパルスは前記第一のパルスを含む、ステップ
    をさらに備えることを特徴とする、請求項８に記載の方法。
14. 前記コントローラによって、あるパルスレートで複数のパルスを放射するように、前記第一のＩＲ光源に指示するステップであって、前記複数のパルスは前記第一のパルスを含む、ステップと、
    前記コントローラによって、前記複数のパルスにおけるそれぞれのパルスの各々の結果として出力されたデータ値を使用して、それぞれの画像フレームを生成するステップと、
    前記コントローラによって、前記生成された画像フレームに部分的に基づいて前記眼球の向きを追跡するステップと
    をさらに備えることを特徴とする、請求項８に記載の方法。
15. イベントカメラのセンサによって、ユーザーの眼球から反射する、複数の軸外光源からの赤外光を受け取るステップと、
    前記イベントカメラから出力されたデータ値から前記眼球の瞳孔を識別するステップであって、前記瞳孔の外周に対応する明るいリングを検出するステップを含む、ステップと
    前記明るいリングに基づいて、前記ユーザーの視線位置を決定するステップと
    を備えることを特徴とする、方法。
16. 前記複数の軸外光源を順次ストロボするステップをさらに備えることを特徴とする、請求項１５に記載の方法。
17. 前記明るいリングを検出するステップは、前記複数の軸外光源の各々に対応する三日月の形状を前記明るいリングに組み合わせるステップを含むことを特徴とする、請求項１６に記載の方法。
18. 前記イベントカメラによって、前記ユーザーの前記眼球から反射する共軸光源からの赤外光を受け取るステップであって、前記共軸光源は、前記イベントカメラの軸に沿って配置されている、ステップ
    をさらに備えることを特徴とする、請求項１５に記載の方法。
19. 前記複数の軸外光源は、前記イベントカメラの軸を中心とするリング状に配置されていることを特徴とする、請求項１５に記載の方法。
20. 前記複数の軸外光源を同時にストロボするステップをさらに備えることを特徴とする、請求項１５に記載の方法。

Images