JP2023522762A - 視線追跡撮像における光コンバイナ収差補正 - Google Patents

Abstract

視線追跡カメラ用の光学アセンブリは、開口絞りと、第１の光学面と、第２の光学面とを備える。光学アセンブリは、眼によって反射又は散乱された非可視光を受光し、非可視光を光路に沿って画像センサに向けるように構成され、非可視光は、視線追跡システムの光コンバイナから受光される。第１の光学面は、光路上に配置され、光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される。第２の光学面は、光路上に配置され、光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される。【選択図】図５Ａ

Description

本発明の態様は、一般に、スマートディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）、ヘッドマウントデバイスなどのスマートデバイスに関する。本発明の特定の態様は、視線追跡システムにおける収差補正に関するが、これに限定されない。

スマートデバイスは、通常、他のデバイス又はネットワークと通信する電子デバイスである。状況によっては、スマートデバイスは、ユーザと対話的に動作するように構成されることができる。スマートデバイスは、ほんの数例を挙げると、ヘッドマウントデバイス、ヘッドマウントディスプレイ（ＨＭＤ）、又はスマートディスプレイなどの様々なフォームファクタをサポートするように設計されることができる。

スマートデバイスは、ゲーム、航空、エンジニアリング、医学、娯楽、ビデオ／オーディオチャット、活動追跡などの様々な用途で使用するための１つ以上の電子コンポーネントを含むことができる。いくつかの例では、スマートデバイスは、ユーザの視聴体験を向上させることができる視線追跡を実行することができる。視線追跡は、場合によっては、ユーザの眼を照らすことによって支援されることができる。したがって、いくつかのスマートデバイスは、照明源並びにユーザの眼の動きを追跡するためのカメラを含む視線追跡システムを組み込むことができる。しかしながら、様々な状況は、分析に十分な眼の画像を取り込むことに対する課題を生成することがある。特に、視線追跡システムに含まれる様々な光学素子は、取り込まれた画像を歪める光学収差を誘発することがある。

本発明の態様では、視線追跡システムであって、画像センサを含む視線追跡カメラと、眼によって反射又は散乱された非可視光を受光し、非可視光を視線追跡カメラに向けるように構成される光コンバイナと、を備え、視線追跡カメラが、光コンバイナから非可視光を受光し、非可視光を光路に沿って画像センサに向けるための光学アセンブリをさらに備え、光学アセンブリが、光路上に配置された開口絞りと、光路上に配置された第１の光学面であって、光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、光路上に配置された第２の光学面であって、光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を含む、視線追跡システムが提供される。

第１の光学面は、回転対称、非球面、自由形状、又はアナモルフィックのうちの１つ以上とすることができる表面プロファイルを含むことができる。

第２の光学面は、自由形状光学面とすることができる。

自由形状光学面は、ゼルニケ多項式光学面、ＸＹ多項式光学面、チェビシェブ多項式光学面、又はアナモルフィック光学面の軸外セグメントとすることができる。

光学アセンブリは、光路上に配置された第１のレンズであって、第１の光学面が第１のレンズの表面とすることができる、第１のレンズと、光路上に配置された第２のレンズであって、第２の光学面が第２のレンズの表面とすることができる、第２のレンズと、をさらに備えることができる。

光学アセンブリは、開口絞りと画像センサとの間の光路上に配置されたプリズムをさらに備えてもよく、プリズムは、第１の光学面と第２の光学面の双方を提供するように構成されてもよい。

第２の光学面は、非可視光を画像センサに反射するように構成されてもよい。

光コンバイナによって誘発されたフィールドに依存しない光学収差は、視線追跡カメラの視野にわたって実質的に均一とすることができる非点収差を含むことができ、光コンバイナによって誘発されたフィールドに依存する光学収差は、視線追跡カメラの視野にわたって変化することができる非点収差を含むことができる。

光コンバイナは、回折光学素子（ＤＯＥ）又は体積ホログラムを含んでもよい。

非可視光は、赤外光又は近赤外光を含むことができる。

本発明の態様では、視線追跡カメラであって、画像を取り込むように構成される画像センサと、眼によって反射又は散乱された非可視光を受光し、非可視光を光路に沿って画像センサに向けるための光学アセンブリであって、非可視光が、視線追跡システムの光コンバイナから受光される、光学アセンブリと、を備え、光学アセンブリが、光路上に配置された開口絞りと、開口絞りに近接して光路上に配置された第１の光学面であって、光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、光路上に配置された第２の光学面であって、光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を備える、視線追跡カメラが提供される。

光学アセンブリは、光路上に配置された第１のレンズであって、第１の光学面が、第１のレンズの回転対称、非球面、及びアナモルフィック面とすることができる、第１のレンズと、光路上に配置された第２のレンズであって、第２の光学面が、第２のレンズの自由形状光学面とすることができる、第２のレンズと、をさらに備えることができる。

光学アセンブリは、開口絞りと画像センサとの間の光路上に配置されたプリズムをさらに備えてもよく、プリズムは、第１の光学面と第２の光学面の双方を提供するように構成されてもよい。

第２の光学面は、非可視光を画像センサに反射するように構成されてもよい。

光コンバイナによって誘発されたフィールドに依存しない光学収差は、視線追跡カメラの視野にわたって実質的に均一とすることができる非点収差を含むことができ、光コンバイナによって誘発されたフィールドに依存する光学収差は、視線追跡カメラの視野にわたって変化することができる非点収差を含むことができる。

非可視光は、赤外光又は近赤外光を含むことができる。

本発明の態様では、視線追跡カメラ用の光学アセンブリであって、眼によって反射された非可視光を受光するための開口絞りであって、非可視光が、視線追跡システムの光コンバイナから受光される、開口絞りと、開口絞りと視線追跡システムの画像センサとの間の光路上に配置された第１の光学面であって、光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、第１の光学面と画像センサとの間の光路上に配置された第２の光学面であって、光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を備える、光学アセンブリが提供される。

光学アセンブリは、開口絞りと第２の光学面との間の光路上に配置された第１のレンズであって、第１の光学面が、第１のレンズの回転対称、非球面、及びアナモルフィック面とすることができる、第１のレンズと、第１のレンズと画像センサとの間の光路上に配置される第２のレンズであって、第２の光学面が、第２のレンズの自由形状光学面とすることができる、第２のレンズと、をさらに備えることができる。

光学アセンブリは、開口絞りと画像センサとの間の光路上に配置されるプリズムをさらに備えることができ、プリズムは、第１の光学面及び第２の光学面を提供するように構成されることができ、第２の光学面は、非可視光を画像センサに反射するように構成されることができる。

光コンバイナによって誘発されたフィールドに依存しない光学収差は、視線追跡カメラの視野にわたって実質的に均一とすることができる非点収差を含み、光コンバイナによって誘発されたフィールドに依存する光学収差は、視線追跡カメラの視野にわたって変化することができる非点収差を含む。

本発明の非限定的かつ非網羅的な実施形態は、以下の図を参照して説明され、特に明記しない限り、様々な図を通して同様の参照符号は同様の部分を指す。

本開示の態様にかかる、例示的なヘッドマウントデバイスを示している。

本開示の態様にかかる、例示的な視線追跡システムを示している。

本開示の態様にかかる、例示的な照明層を通る眼の正面図を示している。

本開示の態様にかかる、反射された非可視光の例示的な光路を示している。

本開示の態様にかかる、視線追跡カメラの例示的な光学アセンブリを示している。 本開示の態様にかかる、視線追跡カメラの例示的な光学アセンブリを示している。

本開示の態様にかかる、視線追跡カメラの別の例示的な光学アセンブリを示している。

本開示の態様にかかる、光コンバイナによって誘発されたことができる光学収差を示す例示的な非点収差線画像である。 本開示の態様にかかる、光コンバイナによって誘発されたことができる光学収差を示す例示的な非点収差線画像である。

本開示の態様にかかる、例示的な視線追跡カメラを示している。

視線追跡撮像における光コンバイナ収差補正を含む光学アセンブリ、視線追跡カメラ、視線追跡システム、及びスマートデバイスの実施形態が本明細書で説明される。以下の説明では、実施形態の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、当業者であれば、本明細書に記載の技術は、１つ以上の特定の詳細なしに、又は他の方法、構成要素、材料などを用いて実施されることができることを認識するであろう。他の例では、特定の態様を不明瞭にすることを避けるために、周知の構造、材料、又は動作は詳細に図示又は説明されていない。

本明細書を通して「一実施形態」又は「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な箇所における「一実施形態では」又は「実施形態では」という語句の出現は、必ずしも全てが同じ実施形態を指すとは限らない。さらにまた、特定の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法で組み合わせられることができる。

本開示のいくつかの実装形態では、「ニアアイ」という用語は、ニアアイ装置が利用されている間にユーザの眼の５０ｍｍ以内に配置されるように構成された要素を含むものとして定義されることができる。したがって、「ニアアイ光学素子」又は「ニアアイシステム」は、ユーザの眼の５０ｍｍ以内に配置されるように構成された１つ以上の要素を含む。

本開示の態様では、可視光は、約３８０ｎｍ～７００ｎｍの波長範囲を有すると定義されることができる。非可視光は、紫外光及び赤外光などの可視光範囲外の波長を有する光として定義されてもよい。約７００ｎｍ～１ｍｍの波長範囲を有する赤外光は、近赤外光を含む。本開示の態様では、近赤外光は、約７００ｎｍ～１．４μｍの波長範囲を有すると定義されることができる。

視線追跡システムは、眼を非可視光で照明することを含むことができ、眼によって反射又は散乱される非可視光は、１つ以上の光コンバイナによって受光される。次いで、光コンバイナは、撮像のために非可視光を視線追跡カメラに向けるように構成されることができる。様々な実施形態では、光コンバイナは、回折光学素子（ＤＯＥ）（例えば、均一格子、ブラッグ格子、ブレーズド格子、体積ホログラムなど）を含むことができる。動作中、光コンバイナは、他の波長／偏光の光を通過させながら、入射光の特定の波長及び／又は偏光を（反射して）回折させるように構成されてもよい。例えば、光コンバイナは、可視光を通過させながら、眼から受光した反射非可視光を視線追跡カメラに向けて回折させるように構成されてもよい。いくつかの例では、光コンバイナは、世界側からの非可視光がシステムに入るのを阻止するコーティングを含むことができる表面のスタックの１つの層である。視線追跡カメラ自体は、角度／波長からの不要な光を遮断／排除しながら非可視光を画像センサに通過させるバンドパスフィルタを含むことができる。

上述したように、光コンバイナは、眼の撮像のために非可視光を視線追跡カメラに向ける。しかしながら、光コンバイナは、非可視光を回折させるときに光学収差を誘発することがある。

光コンバイナによって誘発された１つのタイプの光学収差は、均一な非点収差などのフィールドに依存しない光学収差を含むことができる。いくつかの例では、フィールドに依存しない光学収差は、視線追跡カメラの視野にわたって実質的に均一である。光コンバイナによって誘発された別のタイプの光学収差は、不均一な非点収差などのフィールドに依存する光学収差を含むことができる。そのようなフィールドに依存する光学収差は、光コンバイナに光が入射する角度に応じて変化する回折効果の結果として、光コンバイナによって誘発されたことができる。したがって、視野内の１つの視野点における回折効果は、視野内の別の点における回折効果とは異なることができる。フィールドに依存しない光学収差とフィールドに依存する光学収差との双方は、視線追跡カメラによって取り込まれた画像を歪ませることがあり、視線追跡動作のための画像の分析を複雑にし、そうでなければ妨げる。

したがって、本開示の態様は、眼を撮像するために光コンバイナによって誘発された光学収差を補正するために、複数の光学面を視線追跡カメラの光学アセンブリに組み込むことを含む。光学アセンブリは、光コンバイナによって誘発されたフィールドに依存しない光学収差（例えば、均一な非点収差）を補正するために開口絞りに近接した光路上に配置された第１の光学面を含むことができる。光学アセンブリはまた、光コンバイナによって同様に誘発されたフィールドに依存する光学収差（例えば、不均一な非点収差）を補正するために光路上に配置された第２の光学面を含むことができる。一実施形態では、第１及び第２の光学面は、それぞれの第１及び第２のレンズによって提供される。別の実施形態では、第１及び第２の光学面は、非可視光を画像センサに反射する単一のモノリシックプリズムによって提供される。これら及び他の態様については、以下により詳細に説明する。

図１は、本開示の態様にかかるヘッドマウントデバイス１００の例を示している。ヘッドマウントデバイス１００などのヘッドマウントデバイスは、典型的には人工現実コンテンツをユーザに提供するためにユーザの頭部に装着されるスマートデバイスの一種である。人工現実は、ユーザへの提示前に何らかの方法で調整された現実の形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、又はそれらの何らかの組合せ及び／又は派生物を含むことができる。

図示のヘッドマウントデバイス１００の例は、フレーム１０２と、テンプルアーム１０４Ａ及び１０４Ｂと、ニアアイ光学素子１１０Ａ及び１１０Ｂとを含むものとして示されている。視線追跡カメラ１０８Ａ及び１０８Ｂは、それぞれ、テンプルアーム１０４Ａ及び１０４Ｂに結合されているものとして示されている。図１には、ニアアイ光学素子１１０Ａの例の分解図も示されている。ニアアイ光学素子１１０Ａは、光学的に透明な層１２０Ａ、照明層１３０Ａ、光コンバイナ層１４０Ａ、及び表示層１５０Ａを含むものとして示されている。照明層１３０Ａは、複数のフィールド内光源１２６を含むものとして示されている。フィールド内光源１２６は、例えば、視線追跡の目的で非可視光を放射するように構成されることができる。図１は、視野内に配置されたフィールド内光源１２６を含むものとしてヘッドマウントデバイス１００を示しているが、他の例では、ヘッドマウントデバイス１００は、代替的に、ニアアイ光学素子１１０Ａ（例えば、フレーム１０２のリム内又はリムの近くに組み込まれる）の周囲などの視野外に配置された光源を含んでもよい。いくつかの例では、照明層１３０Ａは、背側１１１から受光される非可視光を遮断／防止するための遮断層を含む。表示層１５０Ａは、ヘッドマウントデバイス１００のユーザの眼に虚像を向けるように構成された導波路１５８Ａを含むことができる。

図１に示すように、フレーム１０２は、ヘッドマウントデバイス１００をユーザの頭部に固定するためにテンプルアーム１０４Ａ及び１０４Ｂに結合される。例示的なヘッドマウントデバイス１００はまた、フレーム１０２及び／又はテンプルアーム１０４Ａ及び１０４Ｂに組み込まれた支持ハードウェアを含むことができる。ヘッドマウントデバイス１００のハードウェアは、処理ロジック、データを送受信するための有線及び／又は無線データインターフェース、グラフィックプロセッサ、並びにデータ及びコンピュータ実行可能命令を記憶するための１つ以上のメモリのいずれかを含むことができる。一例では、ヘッドマウントデバイス１００は、有線電力を受信するように構成されてもよく、及び／又は、１つ以上のバッテリによって給電されるように構成されてもよい。また、ヘッドマウントデバイス１００は、ビデオデータを含む有線及び／又は無線データを受信するように構成されてもよい。

図１は、フレーム１０２に取り付けられるように構成されたニアアイ光学素子１１０Ａ、１１０Ｂを示している。いくつかの例では、ニアアイ光学素子１１０Ａ及び１１０Ｂは、拡張現実又は複合現実を促進するためにユーザに透明に見える場合があり、ユーザは、表示層１５０Ａを介して自分の眼に向けられた表示光も受光しながら、環境からの可視シーン光１９１を見ることができる。さらなる例では、ニアアイ光学素子１１０Ａ及び１１０Ｂの一部又は全部が仮想現実ヘッドセットに組み込まれることができ、ニアアイ光学素子１１０Ａ及び１１０Ｂの透明性は、ユーザが仮想現実ヘッドセットに組み込まれた電子ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、マイクロＬＥＤディスプレイなど）を見ることを可能にする。

図１に示すように、照明層１３０Ａは、複数のフィールド内光源１２６を含む。各フィールド内光源１２６は、透明基板上に配置されてもよく、ニアアイ光学素子１１０Ａの眼側１０９に向かって非可視光を放射するように構成されてもよい。本開示のいくつかの態様では、フィールド内光源１２６は、近赤外光（例えば７００ｎｍ～１．４μｍ）を放射するように構成される。各フィールド内光源１２６は、マイクロ発光ダイオード（マイクロ－ＬＥＤ）、エッジ発光ＬＥＤ、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）ダイオード、又はスーパールミネッセントダイオード（ＳＬＥＤ）であってもよい。他の実施形態では、各フィールド内光源１２６は、照明層１３０Ａに含まれる導波路の出口機構であってもよく、導波路は、ＶＣＳＥＬダイオード又はフレーム１０２のリムに組み込まれた他の光源から放射された非可視光をユーザの眼を照明するための出口機構に向けるように構成される。

上述したように、いくつかの例では、ヘッドマウントデバイス１００は、レンズのリム／周辺部の周りに配置された光源を提供することができる。しかしながら、眼の視野内に光源を配置することは、ヘッドマウントデバイス１００の着用者の眼を撮像するように配置された視線追跡カメラ１０８Ａなどのカメラによって撮像されることができる鏡面反射又は「グリント」反射の計算に有利であり得る。

フィールド内光源１２６は、ニアアイ光学素子１１０Ａに小さな遮蔽を導入することがあるが、フィールド内光源１２６、並びにそれらの対応するルーティングは、ヘッドマウントデバイス１００の着用者には気付かれないか、又は目立たないほど小さくてもよい。さらに、フィールド内光源１２６からの遮蔽は、人間の眼によって知覚されないように眼の近くに配置され、したがって、気付かれないか、又は目立たないフィールド内光源１２６を補助する。いくつかの実施形態では、各フィールド内光源１２６は、約２００×２００ミクロン未満のフットプリント（又はサイズ）を有する。

上述したように、照明層１３０Ａのフィールド内光源１２６は、ユーザの眼を照明するために、眼に近い光学素子１１０Ａの眼側１０９に向かって非可視光を放射するように構成されてもよい。ニアアイ光学素子１１０Ａは、照明層１３０Ａとニアアイ光学素子１１０Ａの背側１１１との間に配置された光コンバイナ層１４０Ａを含むものとして示されている。いくつかの態様では、光コンバイナ層１４０Ａは、ユーザの眼によって反射された反射非可視光を受光し、反射非可視光を視線追跡カメラ１０８Ａに向けるように構成される。フィールド内光源１２６が赤外光を放射する例では、視線追跡カメラ１０８Ａは、受光した反射赤外光に基づいてユーザの眼を撮像するように構成された赤外カメラであってもよい。いくつかの態様では、光コンバイナ層１４０Ａは、ニアアイ光学素子１１０Ａの背側１１１に入射するシーン光１９１などの可視光を透過する。いくつかの例では、光コンバイナ層１４０Ａは、体積ホログラムとして構成されてもよく、及び／又は反射された非可視光を視線追跡カメラ１０８Ａに向けるための１つ以上の回折格子（例えば、ブラッグ、ブレーズド、均一など）を含んでもよい。いくつかの例では、光コンバイナ層１４０Ａは、他の偏光配向を通過させながら入射光の特定の偏光配向を回折させる偏光選択性ホログラム（別名、偏光体積ホログラム）を含む。他の例では、光コンバイナ層１４０Ａは、可視光がニアアイ光学素子１１０Ａを通って伝播することを可能にしながら、反射された非可視光をカメラに向けるように構成された１つ以上のフレネル光学素子を含む。例として、光コンバイナ層１４０Ａに含まれるフレネル光学素子は、「ホットミラー」層（非可視光を反射し、可視光を通過させる）によって選択的にコーティングされた活性面を含むことができ、非可視光をカメラに向けると同時に、ヘッドマウントデバイス１００の着用者が見るために可視光を通過させる。

表示層１５０Ａは、ヘッドマウントデバイス１００の設計に応じて、１つ以上の他の光学素子を含んでいてもよい。例えば、表示層１５０Ａは、電子ディスプレイによって生成された表示光をユーザの眼に向けるための導波路１５８Ａを含むことができる。いくつかの実装形態では、電子ディスプレイの少なくとも一部は、ヘッドマウントデバイス１００のフレーム１０２に含まれる。電子ディスプレイは、表示光を生成するためのＬＣＤ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、マイクロＬＥＤディスプレイ、ピコプロジェクタ、又は液晶オンシリコン（ＬＣＯＳ）ディスプレイを含むことができる。

光学的に透明な層１２０Ａは、照明層１３０Ａとニアアイ光学素子１１０Ａの眼側１０９との間に配置されるものとして示されている。光学的に透明な層１２０Ａは、照明層１３０Ａによって放射された非可視光を受光し、非可視照明光を通過させてユーザの眼を照らすことができる。上述したように、光学的に透明な層１２０Ａはまた、環境から受光したシーン光１９１及び／又は表示層１５０Ａから受光した表示光などの可視光に対して透明であってもよい。いくつかの例では、光学的に透明な層１２０Ａは、光（例えば、表示光及び／又はシーン光）をユーザの眼に集束させるための曲率を有する。したがって、光学的に透明な層１２０Ａは、いくつかの例では、レンズと呼ばれることがある。いくつかの態様では、光学的に透明な層１２０Ａは、ユーザの仕様に対応する厚さ及び／又は曲率を有する。すなわち、光学的に透明な層１２０Ａは、度付きレンズであってもよい。しかしながら、他の例では、光学的に透明な層１２０Ａは度なしレンズであってもよい。いくつかの例では、光学的に透明な層１２０Ａの背側１１１は、光パワーを有することができ、光学的に透明な層１２０Ａの眼側１０９は、背側面によって誘発されたパワーを相殺するための曲面を含むことができる。

図２は、本開示の態様にかかる、例示的な視線追跡システム２００を示している。視線追跡システム２００の図示の例は、視線追跡カメラ１０８Ａ及びニアアイ光学素子２１０を含むものとして示されている。ニアアイ光学素子２１０は、図１のニアアイ光学素子１１０Ａ及び／又は１１０Ｂの１つの可能な例である。図２のニアアイ光学素子２１０は、透明層２２０、照明層２３０、光コンバイナ層２４０、及び表示層２５０を含むものとして示されている。フィールド内光源２３７は、眼２０６を照明するために、ニアアイ光学素子２１０の眼側１０９のアイボックス領域２０７に非可視光２３９を放射するように構成される。いくつかの例では、照明層２３０の異なるフィールド内光源２３７は、眼２０６に対するフィールド内光源２３７の位置に応じて異なる角度で非可視光２３９を眼２０６に向けることができる。例えば、各フィールド内光源２３７は、照明層２３０に含まれる他のフィールド内光源２３７とは異なる角度で非可視光２３９を眼２０６に向けるそれぞれのビーム形成要素を含むことができる。上述したように、フィールド内光源２３７は、ＶＣＳＥＬ又はＳＬＥＤであってもよく、したがって、非可視光２３９は、狭帯域赤外照明光（例えば、１～１０ｎｍの線幅）であってもよい。

照明層２３０は、フィールド内光源２３７を封入する透明材料２３２を含むことができる。透明材料２３２及び屈折材料２２２は、可視光（例えば４００ｎｍ～７００ｎｍ）及び近赤外光（例えば７００ｎｍ～１．４μｍ）を透過するように構成されてもよい。

図３は、本開示の態様にかかる、例示的な照明層２３０を通る眼２０６の正面図を示している。図示の実施形態では、フィールド内光源２３７は、眼２０６の視野内に格子状に配置される。しかしながら、他の例では、フィールド内光源２３７は、まばらなパターン又は同心リングなどの様々なパターンで配置されてもよい。

図４は、本開示の態様にかかる、例えば視線追跡システム２００などの非可視光２３９の例示的な光路４６０を示している。図４に示すように、フィールド内光源２３７Ａは、非可視光２３９を生成し、次いで光路４６０（１）に沿ってアイボックス領域２０７に向ける。図４は、眼２０６で反射した後、光路４６０（２）に沿ってニアアイ光学素子２１０に戻る非可視光２３９をさらに示している。次いで、反射された非可視光は、透明層４２０を通過し、照明層４３０を通過し、次いで光コンバイナ層４４０に入射する。図示のように、光コンバイナ層４４０は、次に、反射された非可視光２３９を、光路４６０（３）に沿って、眼側１０９の視線追跡カメラ１０８Ａに向ける。

視線追跡カメラ１０８Ａは、視線追跡動作のために眼２０６の画像を取り込むように構成される。いくつかの例では、視線追跡カメラ１０８Ａは、非可視光２３９の波長に対応する中心波長を有するバンドパスフィルタを含む。したがって、バンドパスフィルタは、フィールド内光源によって放射された非可視光２３９の波長を通過させ、他の光が視線追跡カメラ１０８Ａの画像センサに入射するのを阻止することができる。視線追跡カメラ１０８Ａは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含むことができる。

図４はまた、ユーザが外部環境のシーンを見ることができるように、外部環境からのシーン光１９１が表示層２５０、光コンバイナ層２４０、照明層２３０、及び透明層２２０を伝播して眼２０６に入射することができることを示している。

上述したように、視線追跡システムの光コンバイナ（例えば、光コンバイナ層２４０）は、（例えば、回折によって）撮像のために非可視光を視線追跡カメラ１０８Ａに向けるように構成され、これは、フィールドに依存しない及びフィールドに依存する光学収差の双方を誘発することがあり、視線追跡カメラ１０８Ａによって取り込まれた画像を歪ませることがある。したがって、視線追跡カメラ１０８Ａは、これらの光学収差を補正するために光コンバイナによって誘発された光学収差と一致する光学アセンブリを含むことができる。

例として、図５Ａ及び図５Ｂは、本開示の態様にかかる、視線追跡カメラの光学アセンブリ５００を示している。図５Ａ及び図５Ｂは、開口絞り５０８、第１のレンズ５０６、及び第２のレンズ５０４を含む例示的な光学アセンブリ５００を示している。図５Ａ及び図５Ｂには、画像センサ５０２も示されている。光学アセンブリ５００及び画像センサ５０２は、ともに、図１の視線追跡カメラ１０８Ａの１つの可能な実装形態である。光学アセンブリ５００は、２つのレンズのみを含むものとして示されているが、いくつかの実施形態では、光学アセンブリ５００は、２つ以上を含む任意の数のレンズを含んでもよい。

図５に示すように、開口絞り５０８は、光コンバイナ（例えば、図２の光コンバイナ層２４０）から非可視光２３９を受光するように構成される。開口絞り５０８は、非可視光２３９が通過する孔又は開口部を含み、円錐角、被写界深度、迷光などを制御するために光学アセンブリ５００内で利用されることができる。いくつかの実施形態では、開口絞り５０８は、第１のレンズ５０６の上又は近傍に配置された孔を有する不透明なラベル又はステッカーであってもよい。別の例では、開口絞り５０８は、インク、黒化アルミニウム、銅黒、又は第１のレンズ５０６に塗布される他のコーティングである。

第１のレンズ５０６は、開口絞り５０８と画像センサ５０２との間の非可視光２３９の光路上に配置されているものとして示されている。特に、第１のレンズ５０６は、開口絞り５０８と第２のレンズ５０４との間に配置されてもよい。第１のレンズ５０６は、プラスチックであってもよく、又はガラスレンズであってもよい。図５Ａに示すように、第１のレンズ５０６は、光学面５０３、５０５を含む。光学面５０３／５０５の一方又は双方は、光コンバイナによって誘発されたフィールドに依存しない光学収差（例えば、均一な非点収差）を補正するように構成される。光学面５０３及び５０５のうちの１つ以上は、回転対称、自由形状、非球面、及び／又はアナモルフィックな表面プロファイルを含むことができる。例えば、一実施形態では、光学面５０３は、アナモルフィック光学面であり、光学面５０３は、非球面光学面である。

本明細書で使用される場合、非球面光学面は、球又は円柱の一部ではない表面プロファイルである。さらに、アナモルフィック光学面は、（例えば、少なくとも２つの方向において異なる光パワーを有する）画像を光学的に歪ませる光学面である。光学面は、その結像特性が何らかの軸を中心とした任意の回転（例えば、図５Ａのｘ軸を中心に回転される）によって変化しない場合、「回転対称」であると見なされることができる。「自由形状光学面」は、最小の左右対称性を有し、対称面を有さなくてもよい光学面を含んでもよい。

第２のレンズ５０４は、第１のレンズ５０６の光学面５０３／５０５と画像センサ５０２との間の非可視光２３９の光路上に配置されているものとして示されている。第２のレンズ５０４は、プラスチックであってもよく、又はガラスレンズであってもよい。図５Ａに示すように、第２のレンズ５０４は、光学面５０７、５０９を含む。光学面５０７／５０９の一方又は双方は、光コンバイナによって誘発されたフィールドに依存する光学収差（例えば、不均一な非点収差）を補正するように構成される。光学面５０７及び５０９のうちの１つ以上は、回転非対称、非球面、及び／又は自由形状である表面プロファイルを含むことができる。例えば、一実施形態では、光学面５０７は、プラノ光学面であり、光学面５０９は、回転非対称自由形状光学面である。別の実施形態では、光学面５０７は、非球面光学面である。

本明細書で使用される場合、自由形状光学面は、並進対称性又は回転対称性を有しない表面プロファイルである。さらに、自由形状光学面は、１つ以上の多項式によって数学的に記述されることができる表面プロファイルを含むことができる。図５Ａの図示の例では、光学面５０９は、ゼルニケ多項式光学面である自由形状光学面として示されている。しかしながら、光学面５０９は、ＸＹ多項式光学面、チェビシェフ多項式光学面などを含む他の自由形状光学面として設計されてもよい。あるいは、光学面５０９は、アナモルフィック光学面の軸外セグメントであってもよい。光学面５０９は、視線追跡システムにおいて使用される特定の光コンバイナによって誘発されたフィールドに依存する収差を補正するように構成される。

図５Ｂは、図５Ａの光学アセンブリ５００の（ｘ軸周りの）直交回転図を示している。図５Ｂは、ｘ軸を中心とした光学面５０９の回転非対称性を示している。

いくつかの例では、光学アセンブリ５００のサイズを縮小するために、光学面５０９は、画像センサ５０２の近くで画像平面に近接して配置され、視野点のフットプリントは、互いに分離している（例えば、図５Ａ及び図５Ｂの例に示すように）。しかしながら、他の例では、光学面５０９は、フィールドに依存する補正を実行するために開口絞り５０８の十分前の位置に配置されてもよい。

いくつかの実装形態では、第１のレンズ５０６は、光コンバイナからの分散による色収差を補正するための均一な回折素子を含む。均一な回折素子は、より高次の収差のために自由形状回折素子パターンにさらに拡張されることができる。さらに、第１のレンズ５０６は、補正すべき色収差がないと仮定して、単色収差を補正するための自由形状回折素子を含んでもよい。この例では、そのような自由形状回折素子は、非回転対称収差を処理することができ、システムの残りの部分は、回転対称素子によって構成されることができる。

さらに、図５Ａ及び図５Ｂは、それぞれ、フィールドに依存しない補正及びフィールドに依存する補正を提供するための２つの光学面５０３／５０５を含むように上述されているが、他の例では、追加の面が集束力及び収差補正を提供するように構成されてもよい。例えば、図５Ａ及び図５Ｂに示すように、レンズアセンブリの集束力の大部分を実行する回転対称面がある。しかしながら、第２のレンズ５０４の表面５０７は、代替的に、他の自由形状（例えば、表面５０９）がフィールドに依存する収差を補正するのを助けるための自由形状を含むことができる。

図６は、本開示の態様にかかる、視線追跡カメラの別の例示的な光学アセンブリ６００を示している。図６は、開口絞り５０８及びプリズム６０４を含む例示的な光学アセンブリ６００を示している。光学アセンブリ６００及び画像センサ５０２は、ともに、図１の視線追跡カメラ１０８Ａの１つの可能な実装形態である。いくつかの実施形態では、光学アセンブリ６００は、図６に明示的に示されていない１つ以上の追加の光学素子（例えば、レンズ、フィルタなど）を含むことができる。

プリズム６０４は、開口絞り５０８と画像センサ５０２との間の非可視光２３９の光路上に配置されたプラスチック又はガラスなどの単一のモノリシック透明材料であってもよい。図６に示すように、プリズムは、光学面６０３、６０５を含む。光学面６０３／６０５の一方又は双方は、光コンバイナによって誘発されたフィールドに依存する光学収差（例えば、不均一な非点収差）を補正するように構成される。光学面６０３及び６０５のうちの１つ以上は、回転非対称、非球面、及び／又は自由形状である表面プロファイルを含むことができる。例えば、一実施形態では、光学面６０３は、非球面光学面であり、光学面６０５は、回転非対称自由形状光学面である。図６に示す例では、光学面６０３は、屈折によって非可視光２３９を光学面６０５に向けるように構成され、光学面６０５は、反射によって非可視光２３９を画像センサ５０２に向けるように構成される。したがって、いくつかの例では、プリズム６０４は、光学面６０５上に配置された反射コーティング６０６（例えば、金属）を含むことができる。

図７及び図８は、光コンバイナによって誘発されたことができる光学収差を示す例示的な非点収差線画像７００／８００である。上述したように、図１の光コンバイナ層１４０Ａなどの光コンバイナは、撮像のためのフィールドに依存しない及びフィールドに依存する双方の光学収差を誘発することができる。光学収差の１つのタイプは、非点収差を含む。図７及び図８は、光コンバイナを介して画像化された均一に分布したドットのセットの例示的なテスト画像７００／８００を示している。すなわち、「理想的な」画像は、単にドットの配列を示す。しかしながら、光コンバイナは、非点収差を誘発し、その結果、ドットは、ｘ軸及びｙ軸のうちの１つ以上に沿って「引き伸ばされる」。したがって、図７及び図８に示される線のそれぞれの長さは、その視野点で誘導される非点収差の大きさを表し、長い線は、非点収差歪みのより大きな量を表す。

図７は、光学収差補正なし（例えば、図５Ａの光学アセンブリ５００の開口絞り５０８において受光された非可視光２３９）の光コンバイナを介して得られた非点収差線画像７００を示している。図示されているように、非点収差線画像７００は、概してｙ軸に沿った支配的な非点収差光学収差を示している。図７にさらに示すように、ｙ軸に沿った非点収差光学収差は、視野全体にわたって実質的に均一であり、したがって、本明細書ではフィールドに依存しない光学収差と呼ばれる。したがって、光学アセンブリの第１の光学面（例えば、図５Ａの光学面５０５）は、これらのフィールドに依存しない光学収差を補正するように構成されてもよい。

図８は、フィールドに依存しない非点収差補正後（例えば、図５Ａの第２のレンズ５０４において受光された非可視光２３９）の非点収差線画像８００を表している。図８に示されているように、いくつかの残留非点収差歪みが画像に残っている。しかしながら、画像８００内の残りの非点収差光学収差は、大きさ及び視野を横切る方向の双方において変化し、したがって、本明細書ではフィールドに依存する光学収差と呼ばれる場合がある。したがって、図５Ａの光学面５０７又は図６の光学面６０５などの光学アセンブリの第２の光学面は、これらのフィールドに依存する光学収差を補正するように構成されてもよい。

図９は、本開示の態様にかかる、例示的な視線追跡カメラ９００を示している。視線追跡カメラ９００は、図１の視線追跡カメラ１０８Ａの１つの可能な実装形態である。視線追跡カメラ９００の図示の例は、ハウジング９０２、第１のレンズ９０４、第２のレンズ９０６、画像センサ９０８、及びプリント回路基板（ＰＣＢ）９１０を含むものとして示されている。第１のレンズ９０４は、第１の光学面９０５を含むものとして示され、第２のレンズ９０６は、第２の光学面９０７を含むものとして示されている。第１のレンズ９０４及び第２のレンズ９０６は、本明細書では、視線追跡カメラ９００の光学アセンブリと総称されることがある。図９には、視線追跡カメラ９００の光学アセンブリの光軸９０９も示されており、画像センサ９０８の画像平面は、光軸９０９に対して垂直である。

いくつかの実施形態では、ハウジング９０２は、プラスチック又は金属であり、第１及び第２のレンズ９０４／９０６並びに画像センサ９０８を収容するように構成される。いくつかの例では、ハウジング９０２は、様々な光学部品の互いに対する位置合わせ（例えば、センタリング）及び間隔（例えば、軸方向位置）を提供する１つ以上の位置合わせ機構及び／又はスペーサ（図示せず）を含む。ハウジング９０２はまた、迷光を遮断及び／又は吸収するように構成されてもよい。ハウジング９０２の図示の例はまた、孔９１２によって開口絞りを提供するものとして示されている。図９に示すように、開口絞りは、視線追跡システムの光コンバイナから非可視光２３９を受光するように構成される（例えば、位置合わせされる）。

図示の例では、第１のレンズ９０４及び第２のレンズ９０６は、眼の撮像のために受光した非可視光２３９を画像センサ９０８に向けるように構成され、第１の光学面９０５は、フィールドに依存しない光学収差を補正するように構成され、第２の光学面９０７は、フィールドに依存する光学収差を補正するように構成される。上述したように、第１及び第２の光学面９０５／９０７は、非可視光２３９を視線追跡カメラ９００に向けるために利用される特定の光コンバイナによって誘発された特定の光学収差と一致するように構成される。さらにまた、いくつかの例では、視線追跡カメラ９００が光コンバイナに対して配置される角度（例えば、光学ＣＡＮＴ）を説明するために、画像センサ９０８の中心線９１１が光軸９０９からオフセットされることができる（例えば、光コンバイナ層１４０Ａに関して図１の視線追跡カメラ１０８Ａを参照されたい）。

本発明の実施形態は、人工現実システムを含むか、又は人工現実システムとともに実装されることができる。人工現実は、ユーザに提示される前に何らかの方法で調整された現実の形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、又はそれらの何らかの組合せ及び／又は派生物を含むことができる。人工現実コンテンツは、完全に生成されたコンテンツ又は取り込まれた（例えば、現実世界）コンテンツと組み合わされた生成されたコンテンツを含むことができる。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、又はそれらの何らかの組合せを含むことができ、それらのいずれも、単一のチャネル又は複数のチャネル（視聴者に３次元効果を生成するステレオビデオなど）で提示されることができる。さらに、いくつかの実施形態では、人工現実はまた、例えば、人工現実においてコンテンツを作成するために使用される、及び／又は人工現実において使用される（例えば、活動を実行する）アプリケーション、製品、アクセサリ、サービス、又はそれらの何らかの組合せに関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイス若しくはコンピューティングシステム、又は人工現実コンテンツを１人以上の視聴者に提供することができる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装されることができる。

要約に記載されているものを含む、本発明の例示されている実施形態の上記の説明は、網羅的であること、又は本発明を開示されている正確な形態に限定することを意図するものではない。本発明の特定の実施形態及び実施例は、例示目的で本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な変更が可能である。

これらの変更は、上記の詳細な説明に照らして本発明に対して行うことができる。以下の特許請求の範囲において使用される用語は、本発明を本明細書に開示された特定の実施形態に限定すると解釈されるべきではない。むしろ、本発明の範囲は、特許請求の範囲によって完全に決定されるべきであり、特許請求の範囲は、特許請求の範囲の解釈の確立された原理にしたがって解釈されるべきである。

Claims (15)

1. 視線追跡システムであって、
   画像センサを含む視線追跡カメラと、
   眼によって反射又は散乱された非可視光を受光し、前記非可視光を前記視線追跡カメラに向けるように構成される光コンバイナと、を備え、前記視線追跡カメラが、
   前記光コンバイナから前記非可視光を受光し、前記非可視光を光路に沿って前記画像センサに向けるための光学アセンブリをさらに備え、前記光学アセンブリが、
   前記光路上に配置された開口絞りと、
   前記光路上に配置された第１の光学面であって、前記光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、
   前記光路上に配置された第２の光学面であって、前記光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を含む、視線追跡システム。
2. 前記第１の光学面が、回転対称、非球面、自由形状、又はアナモルフィックのうちの１つ以上である表面プロファイルを含む、請求項１に記載の視線追跡システム。
3. 前記第２の光学面が自由形状光学面であり、任意選択的に、
   前記自由形状光学面が、ゼルニケ多項式光学面、ＸＹ多項式光学面、チェビシェブ多項式光学面、又はアナモルフィック光学面の軸外セグメントである、請求項１に記載の視線追跡システム。
4. 前記光学アセンブリが、
   前記光路上に配置された第１のレンズであって、前記第１の光学面が前記第１のレンズの表面である、第１のレンズと、
   前記光路上に配置された第２のレンズであって、前記第２の光学面が前記第２のレンズの表面である、第２のレンズと、をさらに備える、請求項１に記載の視線追跡システム。
5. 前記光コンバイナが、回折光学素子（ＤＯＥ）又は体積ホログラムを含む、請求項１に記載の視線追跡システム。
6. 視線追跡カメラであって、
   画像を取り込むように構成される画像センサと、
   眼によって反射又は散乱された非可視光を受光し、前記非可視光を光路に沿って前記画像センサに向けるための光学アセンブリであって、前記非可視光が、視線追跡システムの光コンバイナから受光される、光学アセンブリと、を備え、前記光学アセンブリが、
   前記光路上に配置された開口絞りと、
   前記開口絞りに近接して前記光路上に配置された第１の光学面であって、前記光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、
   前記光路上に配置された第２の光学面であって、前記光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を備える、視線追跡カメラ。
7. 前記光学アセンブリが、
   前記光路上に配置された第１のレンズであって、前記第１の光学面が、前記第１のレンズの回転対称、非球面、及びアナモルフィック面である、第１のレンズと、
   前記光路上に配置された第２のレンズであって、前記第２の光学面が、前記第２のレンズの自由形状光学面である、第２のレンズと、をさらに備える、請求項６に記載の視線追跡カメラ。
8. 前記光学アセンブリが、前記開口絞りと前記画像センサとの間の前記光路上に配置されたプリズムをさらに備え、前記プリズムが、前記第１の光学面と前記第２の光学面の双方を提供するように構成される、請求項６に記載の視線追跡カメラ。
9. 前記第２の光学面が、前記非可視光を前記画像センサに反射するように構成される、請求項１に記載の視線追跡システム及び請求項８に記載の視線追跡カメラ。
10. 前記光コンバイナによって誘発された前記フィールドに依存しない光学収差が、前記視線追跡カメラの視野にわたって実質的に均一な非点収差を含み、前記光コンバイナによって誘発された前記フィールドに依存する光学収差が、前記視線追跡カメラの前記視野にわたって変化する非点収差を含む、請求項１に記載の視線追跡システム及び請求項６に記載の視線追跡カメラ。
11. 前記非可視光が、赤外光又は近赤外光を含む、請求項１に記載の視線追跡システム及び請求項６に記載の視線追跡カメラ。
12. 視線追跡カメラ用の光学アセンブリであって、
    眼によって反射された非可視光を受光するための開口絞りであって、前記非可視光が、視線追跡システムの光コンバイナから受光される、開口絞りと、
    前記開口絞りと前記視線追跡システムの画像センサとの間の光路上に配置された第１の光学面であって、前記光コンバイナによって誘発されたフィールドに依存しない光学収差を補正するように構成される第１の光学面と、
    前記第１の光学面と前記画像センサとの間の前記光路上に配置された第２の光学面であって、前記光コンバイナによって誘発されたフィールドに依存する光学収差を補正するように構成される第２の光学面と、を備える、光学アセンブリ。
13. 前記開口絞りと前記第２の光学面との間の前記光路上に配置された第１のレンズであって、前記第１の光学面が、前記第１のレンズの回転対称、非球面、及びアナモルフィック面である、第１のレンズと、
    前記第１のレンズと前記画像センサとの間の前記光路上に配置される第２のレンズであって、前記第２の光学面が、前記第２のレンズの自由形状光学面である、第２のレンズと、をさらに備える、請求項１２に記載の光学アセンブリ。
14. 前記開口絞りと前記画像センサとの間の前記光路上に配置されるプリズムをさらに備え、前記プリズムが、前記第１の光学面及び前記第２の光学面を提供するように構成され、前記第２の光学面が、前記非可視光を前記画像センサに反射するように構成される、請求項１２に記載の光学アセンブリ。
15. 前記光コンバイナによって誘発された前記フィールドに依存しない光学収差が、前記視線追跡カメラの視野にわたって実質的に均一な非点収差を含み、前記光コンバイナによって誘発された前記フィールドに依存する光学収差が、前記視線追跡カメラの前記視野にわたって変化する非点収差を含む、請求項１２に記載の光学アセンブリ。
    
    

Images