JP7227989B2 - 視野内マイクロデバイスを備えた照明アセンブリ - Google Patents

視野内マイクロデバイスを備えた照明アセンブリ Download PDF

Info

Publication number
JP7227989B2
JP7227989B2 JP2020569766A JP2020569766A JP7227989B2 JP 7227989 B2 JP7227989 B2 JP 7227989B2 JP 2020569766 A JP2020569766 A JP 2020569766A JP 2020569766 A JP2020569766 A JP 2020569766A JP 7227989 B2 JP7227989 B2 JP 7227989B2
Authority
JP
Japan
Prior art keywords
assembly
light
conductive
light sources
microdevices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569766A
Other languages
English (en)
Other versions
JP2021534837A (ja
Inventor
アンドリュー ジョン ウーダーカーク,
カロル コンスタンティン ハツィリアス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/106,555 external-priority patent/US10942349B2/en
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2021534837A publication Critical patent/JP2021534837A/ja
Application granted granted Critical
Publication of JP7227989B2 publication Critical patent/JP7227989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Description

本開示は、一般に、アイトラッキングシステムに関し、詳細には、視野内マイクロデバイス(たとえば、光源および/またはセンサ)を含む照明アセンブリに関する。
アイトラッキングシステムは、目のさまざまな領域から反射された結像光を追跡し、それによって視聴者の注意点を追跡する。たとえば、角膜から反射された光は、目の位置を追跡するために使用され、虹彩から反射された光は、瞳孔の位置を追跡するために使用される。しかしながら、ユーザの注意点を正確に追跡することは困難である。一例として、画像化されることが可能である角膜および/または虹彩エリアを制限する小さな目のエリアを有するユーザもいる。別の例として、広い視野を有するシステムにおいて視線方向を正確に推定することは困難である。なぜなら、広範囲の角度にわたって目の位置を追跡するのに必要な光を生成するために、いくつかのグリント光源が使用されるからである。
目の位置を追跡するための光を生成するグリント光源は、典型的には、イメージングディスプレイの視野の外側にあるビューイングオプティクスの周辺に配置される。しかしながら、これは、特にユーザの目の視界が制限されているケース、または目が広範囲の角度にわたって追跡されているケースに関して、アイトラッキングシステムのパフォーマンスおよび精度を制限する。
本明細書において記述されているのは、ターゲットエリアの上の動きを追跡するためのアセンブリ(たとえば、照明アセンブリ)を形成するために光視野内マイクロデバイス(たとえば、マイクロ発光ダイオードおよび/またはフォトダイオード)と統合されている基板である。ターゲットエリアは、ユーザの一方または両方の目を含み、一方または両方の目を取り巻くユーザの顔の一部分(たとえば、眉、頬など)を含むことも可能である。マイクロデバイスが光源である実施形態においては、光源によって放射された光は、ターゲットエリアによって反射される。反射光は、一方または両方の目の動きを追跡するために検知されて使用され、いくつかの実施形態においては、一方または両方の目を取り巻くユーザの顔の部分の動きを追跡するために使用されることが可能である。
アセンブリは、1つまたは複数の光源を介して光を放射する光学素子である。いくつかの実施形態においては、アセンブリは、屈折力(正または負)を提供するような表面プロファイルを有する。その他の実施形態においては、アセンブリは、屈折力を提供しないような表面プロファイルを有する。アセンブリは、透明基板と、複数のマイクロデバイスとを含む。複数のマイクロデバイスは、複数の光源を含む。いくつかの実施形態においては、複数のマイクロデバイスは、1つまたは複数のセンサ(たとえば、フォトダイオード)を含むことも可能である。いくつかの実施形態においては、複数のマイクロデバイスは、コンデンサもしくは抵抗器などの受動電子部品、トランジスタ、ダイオード、および集積回路などの能動部品、またはそれらの何らかの組合せを含む。
透明基板は、第1の表面、および第1の表面の反対側の第2の表面を含む。第1の表面は、光がアイボックスに到達する前に通過する視領域を含む。複数のマイクロデバイスは、第1の表面に取り付けられているそれぞれの導電性経路に結合されている。そして複数のマイクロデバイスは、視領域内に配置されている少なくとも1つのマイクロデバイスを含む。導電性経路は、さまざまな様式でアレンジされることが可能である。いくつかの実施形態においては、導電性経路は、疑似ランダムな様式でアレンジされている。いくつかの実施形態においては、視領域は、外側領域によって外接されている回路のない領域から構成されており、複数のマイクロデバイスは、外側領域において第1の表面に取り付けられているそれぞれの導電性経路に結合されている。
本発明による実施形態は、アセンブリおよびニアアイディスプレイ(NED:head-mounted display)を対象とした添付の特許請求の範囲において詳細に開示されており、1つの請求項カテゴリー、たとえばアセンブリにおいて言及されている任意の特徴が、別の請求項カテゴリー、たとえば、NED、システム、方法、ストレージメディア、およびコンピュータプログラム製品において特許請求されることも可能である。添付の特許請求の範囲における従属関係または後方参照は、形式的な理由でのみ選択されている。しかしながら、任意の先行する請求項に対する意図的な後方参照(とりわけ、複数の従属関係)から生じるいかなる主題も特許請求されることが可能であり、それによって、添付の特許請求の範囲において選択されている従属関係にかかわらずに、請求項およびその特徴の任意の組合せが開示され、特許請求されることが可能である。特許請求されることが可能である主題は、添付の特許請求の範囲において示されている特徴の組合せだけでなく、請求項における特徴のその他の任意の組合せも含み、請求項において言及されているそれぞれの特徴は、請求項におけるその他の任意の特徴またはその他の特徴の組合せと組み合わされることが可能である。さらに、本明細書において記述されているまたは示されている実施形態および特徴のうちのいずれも、個別の請求項において、および/または本明細書において記述されているもしくは示されている任意の実施形態もしくは特徴との、もしくは添付の特許請求の範囲の特徴のうちの任意のものとの任意の組合せで特許請求されることが可能である。
一実施形態においては、アセンブリが、
第1の表面、および第1の表面の反対側の第2の表面を含む透明基板であって、第1の表面が、光がアイボックスに到達する前に通過する視領域を含む、透明基板と、
第1の表面に取り付けられている疑似ランダムな様式でアレンジされているそれぞれの導電性経路に結合されている複数のマイクロデバイスであって、視領域内に配置されている少なくとも1つのマイクロデバイスを含む複数のマイクロデバイスとを含むことが可能である。
複数のマイクロデバイスは、少なくとも複数の光源を含むことが可能である。
視領域は、外側領域によって外接されている回路のない領域から構成されることが可能であり、複数の光源および導電性経路は、外側領域に配置されることが可能である。
アセンブリは、ヘッドマウントディスプレイ(HMD:head-mounted display)の一部であることが可能であり、回路のない領域は、HMDの視野の中央領域に関連付けられることが可能である。
回路のない領域は、最大で12mmの直径を有することが可能である。
疑似ランダムな様式は、複数の光源のうちの別々の光源に結合されている隣接した導電性経路の間に少なくとも1mmがあるような様式であることが可能である。
複数の光源のうちの少なくとも1つの光源は、視領域の外側に配置されることが可能である。
複数の光源のうちの少なくとも1つは、垂直共振器面発光レーザー(VCSEL:vertical cavity emitting laser)であることが可能である。
複数の光源は、近赤外範囲の波長を有する光を放射するように構成されることが可能である。
疑似ランダムな様式は、1つまたは複数のパラメータによって統制されることが可能であり、1つまたは複数のパラメータは、導電性経路の周期、導電性経路の振幅、導電性経路の曲率における変化、隣接した導電性経路の間における最小距離、および導電性経路のランダム性メトリックを含むことが可能である。
導電性経路のうちの少なくとも1つは、光の可視バンドにおいて透明であることが可能であり、視領域と重なっている。
導電性経路のうちの少なくとも1つは、光の可視バンドにおいて不透明であることが可能であり、視領域の外側にあることが可能である。
一実施形態においては、アセンブリは、可視バンドにおいて透明であるコーティング層を含むことが可能であり、コーティング層は、複数のマイクロデバイスのうちの少なくともいくつかおよび透明基板を少なくとも部分的に取り囲んでいる。
一実施形態においては、特に本発明または上述の実施形態のうちのいずれかによるアセンブリは、
第1の表面、および第1の表面の反対側の第2の表面を含む透明基板であって、第1の表面が、光がアイボックスに到達する前に通過する視領域を含み、視領域が、外側領域によって外接されている回路のない領域から構成されている、透明基板と、
外側領域において第1の表面に取り付けられているそれぞれの導電性経路に結合されている複数の光源とを含むことが可能である。
回路のない領域は、ヘッドマウントディスプレイの視野の中央領域に関連付けられることが可能である。
回路のない領域は、最大で12mmの直径を有することが可能である。
導電性経路は、まっすぐであることが可能である。
導電性経路は、湾曲していることが可能である。
導電性経路は、疑似ランダムな様式でアレンジされることが可能である。
一実施形態においては、ニアアイディスプレイ(NED)が、
第1の表面、および第1の表面の反対側の第2の表面を含む透明基板であって、第1の表面が、光がアイボックスに到達する前に通過する視領域を含む、透明基板と、
第1の表面に取り付けられている疑似ランダムな様式でアレンジされているそれぞれの導電性経路に結合されている複数の光源であって、視領域内に配置されている少なくとも1つの光源を含む複数の光源と
を含む、特に本発明または上述の実施形態のうちのいずれかによるアセンブリと、
複数の光源によって放射されて、アイボックスに位置している目によって反射された光を記録するように構成されているカメラアセンブリ
を含むアイトラッキングシステムとを含むことが可能である。
本発明のさらなる実施形態においては、1つまたは複数のコンピュータ可読非一時的ストレージメディアが、実行されたときに本発明または上述の実施形態のうちのいずれかによるアセンブリまたはNEDにおいて実行するように動作可能であるソフトウェアを具体化する。
本発明のさらなる実施形態においては、コンピュータ実施方法が、本発明または上述の実施形態のうちのいずれかによるアセンブリまたはNEDを使用する。
本発明のさらなる実施形態においては、好ましくはコンピュータ可読非一時的ストレージメディアを含む、コンピュータプログラム製品が、本発明または上述の実施形態のうちのいずれかによるアセンブリまたはNEDにおいて使用される。
1つまたは複数の実施形態によるニアアイディスプレイ(NED)の図である。 1つまたは複数の実施形態による、図1Aにおいて示されているNEDの断面である。 1つまたは複数の実施形態によるディスプレイアセンブリの一部分である。 1つまたは複数の実施形態による、角度の付いたアレンジでの導電性経路を備えた例示的な照明アセンブリの平面図である。 1つまたは複数の実施形態による、放射状のアレンジでの導電性経路を備えた例示的な照明アセンブリの平面図である。 1つまたは複数の実施形態による、湾曲したアレンジでの導電性経路を備えた例示的な照明アセンブリの平面図である。 1つまたは複数の実施形態による、疑似ランダムなアレンジでの導電性経路を備えた例示的な照明アセンブリの平面図である。 1つまたは複数の実施形態による、導電性経路を介して結合されているいくつかのマイクロデバイスを含む回路の正面図である。 1つまたは複数の実施形態による、ある期間にわたる基板の視領域にわたる視線ロケーションの分布のプロットである。 1つまたは複数の実施形態による、図5Aからの複数のゾーンを含む基板設計の平面図である。 1つまたは複数の実施形態による例示的な人工現実システムのブロック図である。
それらの図は、例示のみを目的として、本発明のさまざまな実施形態を示している。本明細書において記述されている本発明の原理から逸脱することなく、本明細書において示されている構造および方法の代替実施形態が採用されることが可能であるということを当業者なら以降の論考から容易に認識するであろう。
照明アセンブリは、一方または両方の目を含むユーザの顔の一部分(いくつかのケースにおいては、一方または両方の目を取り巻く顔の複数部分)を照らすために使用されるヘッドセット(たとえば、NEDまたはヘッドマウントディスプレイ)の一部である。照明アセンブリは、その照明アセンブリの少なくとも一部分が、ヘッドセットを装着しているユーザの目の視野内にあるように、ヘッドセット内に配置される。照明アセンブリは、視領域を含む。視領域は、光が(たとえば、ディスプレイおよび/またはローカルエリアから)ヘッドセットのアイボックスに到達する前に通過する照明アセンブリの領域である。視領域は一般に、ヘッドセットを装着しているユーザの目の視野内にある照明アセンブリの一部分に対応する。
照明アセンブリは、基板と、その基板に結合されている複数のマイクロデバイスとを含む。視領域内にある基板の少なくとも一部分は、第1の光学バンドにおける光(たとえば、可視光)に対して透明である。複数のマイクロデバイスは、光源(たとえば、マイクロ発光ダイオード(LED))、センサ(たとえば、光検知器)、コンデンサもしくは抵抗器などの受動電子部品、トランジスタ、ダイオード、および集積回路などの能動部品、またはそれらの何らかの組合せであることが可能である。視野内デバイスが比較的大きい一方で透明なままであることが有益であろういくつかの状況がある。コンデンサなど、キャパシタンス要件を満たすマイクロサイズのコンデンサを設計することは可能ではないかもしれないが、視野内にあることも可能である大きな(1mmの直径の)透明なコンデンサを作成することは実現可能である。これは、たとえば、フォトダイオードの近くに増幅回路がある場合に有益であろう。
光源は、第2の光学バンドにおける光(たとえば、赤外光および/または近赤外光)を放射する。いくつかの実施形態においては、センサが、第2の光学バンドにおける光を検知する。
複数のマイクロデバイスは、複数の導電性経路を使用して制御(および電力供給)される。導電性経路は、基板の表面に結合されている1つまたは複数の導電性トレースを含む。いくつかの実施形態においては、マイクロデバイスは、2つの導電性トレース(たとえば、信号/電力リード線およびアース線)を含む導電性経路に結合されることが可能である。いくつかの実施形態においては、それぞれのマイクロデバイスのための導電性経路は、単一の導電性トレースを含むが、透明な導電層へすべて伝導される(たとえば、グラウンドプレーンとしての役割を果たす)。いくつかの実施形態においては、導電性経路および少なくとも1つのマイクロデバイスが、多層回路を形成する。多層回路においては、2つの異なる導電性経路の少なくとも一部分が重なる場合がある。重なりのポイントにおいては、マイクロデバイスが、重なりのロケーションに配置されることが可能であり、または2つの異なる導電性経路が、互いから電気的に分離されることが可能である。いくつかの実施形態においては、多層回路は、1つまたは複数の大きな透明導体(たとえば、大きなグラウンドプレーン)と重なる導電性経路およびマイクロデバイスのパターンの複数の層を含むことが可能である。
複数の導電性経路は、少なくとも視領域の上では透明である。複数の導電性経路は、基板上でのアレンジを有している。アレンジは、たとえば、角度付き、放射状、疑似ランダムなどであることが可能である。
複数の導電性経路は、視領域の上では透明であるが、いくつかの照明条件の下では、それらは、ユーザに部分的に見えるようになることがあるということに留意されたい。人間の目は一般に、ランダム化された(または疑似ランダム化された)パターンに対するよりも、直線および特定の繰り返しパターンに対して、より敏感である。導電性経路の疑似ランダムなアレンジは、導電性経路がユーザに見えるようになるのを軽減する上で役立つ。したがって、疑似ランダム化された様式で導電性経路をアレンジすることは、導電性経路の可視性を軽減する上で役立つように目の固有の動作を使用する。同様に、人間の目の血管系を模倣する様式での導電性経路のアレンジもまた、導電性経路の可視性を軽減する上で役立つことが可能である。人間の目によって見るのが困難であることがあるいくつかの繰り返しパターン(たとえば、正弦波パターンが付加された円または線)があり、これらのパターンで導電性経路がアレンジされることも可能であるということに留意されたい。
その上、ユーザは、ヘッドセットを装着している時間のほとんどで、一般にまっすぐ前を見ている。いくつかの実施形態においては、視領域は、外側領域によって外接されている回路のない領域から構成されている。回路のない領域は、照明アセンブリのうちで、いずれのマイクロデバイスおよびそれらのそれぞれの導電性経路も含まない領域である。回路のない領域は、実質的にまっすぐ前を見ているヘッドセットを装着しているユーザが回路のない領域を通して見ていることになるように配置される。複数のマイクロデバイスおよびそれらのそれぞれの導電性経路は、外側領域に配置される。この実施形態においては、中心窩(高い詳細度)が、マイクロデバイスおよび導電性経路のない視野を有し、非中心窩領域(はるかに低い解像度)が、マイクロデバイスおよび導電性経路をその視野内に有することになる領域であるということに留意されたい。したがって、回路のない領域は、ユーザによる導電性経路(およびマイクロデバイス)の検知を大幅に軽減する。
さまざまな実施形態は、人工現実システムを含むこと、または人工現実システムとともに実施されることが可能である。人工現実は、ユーザへの提示の前に何らかの様式で調整された現実の一形態であり、それは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、またはそれらの何らかの組合せおよび/もしくは派生物を含むことが可能である。人工現実コンテンツは、完全に生成されたコンテンツ、または取り込まれた(たとえば、現実世界の)コンテンツと組み合わされた生成されたコンテンツを含むことが可能である。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含むことが可能であり、それらのいずれも、単一のチャネルでまたは複数のチャネル(視聴者に対する3次元効果を生成するステレオビデオなど)で提示されることが可能である。加えて、いくつかの実施形態においては、人工現実は、たとえば、人工現実でコンテンツを作成するために使用される、および/または人工現実においてその他の形で使用される(たとえば、人工現実においてアクティビティーを実行する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連付けられることも可能である。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されているヘッドマウントディスプレイ(HMD)、スタンドアロンHMD、モバイルデバイスもしくはコンピューティングシステム、または、1人もしくは複数の視聴者に人工現実コンテンツを提供することが可能なその他の任意のハードウェアプラットフォームを含むさまざまなプラットフォーム上で実施されることが可能である。
図1Aは、1つまたは複数の実施形態によるニアアイディスプレイ(NED)100の図である。NED100は、メディアをユーザに提示する。NED100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。いくつかの実施形態においては、オーディオは、外部デバイス(たとえば、スピーカおよび/またはヘッドフォン)を介して提示され、その外部デバイスは、NED100、コンソール(図示せず)、または両方からオーディオ情報を受信し、そのオーディオ情報に基づいてオーディオデータを提示する。NED100は、人工現実NEDとして動作するように構成されている。たとえば、NED100は、VR NED、AR NED、MR NED、またはそれらの何らかの組合せとして動作することが可能である。
図1Aにおいて示されているNED100は、フレーム105、ディスプレイアセンブリ110を含み、任意選択で、1つまたは複数の深度カメラアセンブリ(DCA)115を含む。フレーム105は、1つまたは複数の光学素子に結合されており、それらの光学素子はともに、メディアをユーザに表示する。いくつかの実施形態においては、フレーム105は、眼鏡のフレームに相当することが可能である。ディスプレイアセンブリ110は、NED100によって提示されたコンテンツをユーザが見るように構成されている。DCA115は、NED100の周りのローカルエリア内のオブジェクトに関する深度情報を特定する。DCA115は、以降で図6に関連して詳細に論じられる。DCA115は、NED100上の特定のロケーションに示されているが、その他の実施形態においては、DCA115は、NED100上の他の場所に配置されることが可能であり、および/または追加のカメラを含むことが可能であるということに留意されたい。
図1Bは、1つまたは複数の実施形態による、図1Aにおいて示されているNED100の断面120である。ディスプレイアセンブリ110は、コンテンツを目130に提示する。アイボックス135は、ユーザがNED100を装着しているときに目130が位置するロケーションである。例示の目的のために、図1Bは、単一の目130とディスプレイアセンブリ110とに関連付けられている断面115を示しているが、図示されていない代替実施形態においては、図1Bにおいて示されているディスプレイアセンブリ110とは別個のものである別のディスプレイアセンブリが、ユーザの別の目の射出瞳に配置されたアイボックスに画像光を提供する。
ディスプレイアセンブリ110は、ディスプレイ、光学ブロック、およびアイトラッキングシステムを含む。図示されていないが、いくつかの実施形態においては、ディスプレイ、光学ブロック、アイトラッキングシステム、またはそれらの何らかの組合せの複数部分が、ディスプレイアセンブリ110の外側に配置されることが可能である。たとえば、アイトラッキングシステムのコントローラは、フレーム105に埋め込まれることが可能である。
ディスプレイは、コンテンツを放射し、そのコンテンツは、光学ブロックを介してユーザに提供される。光学ブロックは、コンテンツをディスプレイからアイボックス135へ導く。光学ブロックは、照明アセンブリを使用してコンテンツを導く。いくつかの実施形態においては、光学ブロックはまた、1つまたは複数の光学素子(たとえば、レンズ)を含む。
照明アセンブリは、ディスプレイによって放射される第1の光学バンドにおける光(たとえば、可視光)を透過する基板から構成されている。複数のマイクロデバイスが、その基板に結合されている。複数のマイクロデバイスは、複数の光源(たとえば、マイクロLED)を含む。いくつかの実施形態においては、複数のマイクロデバイスは、1つまたは複数のセンサ(たとえば、光検知器)を含むことも可能である。そして複数のマイクロデバイスは、1つまたは複数の導電性経路を使用して電力供給および/または制御される。以降で図2に関連して論じられているように、アイトラッキングシステムは、複数の光源に、第1の光学バンドとは異なる第2の光学バンドにおける光(たとえば、赤外光および/または近赤外光)を放射させる。複数の光源は、ターゲットエリアを照らす。ターゲットエリアは、ユーザの一方または両方の目を含み、いくつかの実施形態においては、ユーザの一方または両方の目を取り巻く顔の複数部分(たとえば、眉、頬など)を含むことが可能である。アイトラッキングシステムは、照らされたエリアの画像を取り込み、それらの取り込まれた画像を使用してトラッキング情報を特定する。ディスプレイ、光学ブロック、およびアイトラッキングシステムは、以降で図2に関連して詳細に記述されている。
図2は、1つまたは複数の実施形態によるディスプレイアセンブリ200の一部分である。ディスプレイアセンブリ200は、ディスプレイアセンブリ110、ヘッドマウントディスプレイ(HMD)の一部であるディスプレイアセンブリ、その他の何らかのNEDにおけるディスプレイアセンブリなどであることが可能である。ディスプレイアセンブリ200は、ディスプレイ205、光学ブロック210、およびアイトラッキングシステム215を含む。ディスプレイアセンブリ200のいくつかの実施形態は、ここで記述されているものとは異なるコンポーネントを有する。同様に、機能は、ここで記述されているのとは異なる様式でコンポーネントの間において分散されることが可能である。
ディスプレイ205は、画像および/またはビデオを、HMD100または別のデバイスによって生成されたものとしてユーザに表示する。さまざまな実施形態においては、ディスプレイ205は、単一のディスプレイまたは複数のディスプレイ(たとえば、ユーザのそれぞれの目のためのディスプレイ)を含むことが可能である。ディスプレイ205における可能な素子の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ(AMOLED)、量子有機発光ダイオード(QOLED)ディスプレイ、量子発光ダイオード(QLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、その他の何らかの電子ディスプレイ、導波管、走査アセンブリ(たとえば、走査ミラー)、またはそれらの何らかの組合せを含む。いくつかの実施形態においては、ディスプレイ205は、導波管ディスプレイである。
光学ブロック210は、第1の光学バンドにある光をアイボックス135へ導く。その光は、第1の光学バンドにあり、ディスプレイ205によって放射された光を含む。いくつかの実施形態(たとえば、ARおよび/またはMR NED)においては、ディスプレイ205の一部またはすべてが透明であり、NED100を取り巻くローカルエリアからの光が、ディスプレイ205および光学ブロック210を通ってアイボックス135へ透過される。これらの実施形態においては、1つまたは複数の光学素子が、ディスプレイとローカルエリアとの間に配置されて、ローカルエリアからの光に対して光学ブロック210によって追加される屈折力を相殺することが可能である。加えて、いくつかの実施形態においては、それらの1つまたは複数の光学素子のうちの少なくとも1つは、その屈折力を動的に調整することが可能である場合がある(たとえば、液体レンズ)。
光学ブロック210は、少なくとも照明アセンブリ220を含み、1つまたは複数の追加の光学素子および/または別々の光学素子の組合せを含むことが可能である。たとえば、光学素子は、開口部、フレネルレンズ、凸レンズ、凹レンズ、液晶レンズ、液体レンズ、フィルタ、または、電子ディスプレイ205から放射される画像光に影響を与えるその他の任意の適切な光学素子である。いくつかの実施形態においては、光学ブロック210における光学素子のうちの1つまたは複数は、反射防止コーティングなどの1つまたは複数のコーティングを有することが可能である。いくつかの実施形態においては、光学ブロック210は、ディスプレイ205からの受信された画像光を拡大し、その画像光に関連付けられている光学エラーを補正し、補正された画像光をアイボックス135に提示する。アイボックス135は、NED100のユーザの目130によって占有されるであろう空間におけるロケーションである。
照明アセンブリ220は、アイトラッキングシステム215からの命令に従ってターゲットエリアを照らすために使用される。ターゲットエリアは、一方または両方の目を含むユーザの顔の一部分(いくつかのケースにおいては、一方または両方の目を取り巻く顔の複数部分)である。照明アセンブリ220は、照明アセンブリ220の少なくとも一部分が目130の視野内にあるように、NED内に配置される。照明アセンブリ220は、視領域225を含む。視領域225は、光が(たとえば、ディスプレイ205および/またはローカルエリアから)アイボックス135に到達する前に通過する照明アセンブリ220の領域である。視領域225は一般に、目130の視野内にある照明アセンブリ220の一部分に対応する。
この実施形態においては、照明アセンブリ220は、基板230と、基板230に結合されている複数のマイクロデバイスとを含む。複数のマイクロデバイスは、光源、センサ、コンデンサもしくは抵抗器などの受動電子部品、トランジスタ、ダイオード、および集積回路などの能動部品、またはそれらの何らかの組合せであることが可能である。上述されているように、マイクロデバイスが従来の意味でマイクロではなく、比較的大きくて透明である(たとえば、大きな(1mmの直径の)透明なコンデンサである)いくつかの状況がある。図示されている実施形態においては、複数のマイクロデバイスは、複数の光源を含み、1つまたは複数のセンサを含むことが可能である。図示を容易にするために、複数の光源のうちの単一の光源235が、図2においてラベル付けされている。
基板230は、第1の光学バンド(たとえば、可視光)における視領域225の上では少なくとも実質的に透明である材料である。基板230は、たとえば、ガラス、プラスチック、第1の光学バンドにおける光に対して透明であるその他の何らかの材料、またはそれらの何らかの組合せから構成されることが可能である。いくつかの実施形態においては、基板230は、第2の光学バンドにおいても透明であることが可能であるということに留意されたい。基板230は、視領域225の外側のエリアにおける第1の光学バンドに対して不透明であることが可能である。
基板230は、第1の表面240および第2の表面245を有する。第1の表面240および第2の表面245は、それぞれの表面プロファイルを有する。表面プロファイルは、たとえば、球形、非球形、平坦、自由形状、凸面、凹面、その他の何らかの形状、またはそれらの何らかの組合せであることが可能である。第1の表面240および第2の表面245は、別々の表面プロファイルまたは同じ表面プロファイルを有することが可能である。図示されている実施形態は、湾曲した表面プロファイルを有する第1の表面240および第2の表面245の両方を示しているが、その他の実施形態においては、それらの表面プロファイルの一方または両方が異なることが可能であるということに留意されたい。たとえば、第1の表面240および第2の表面245は、両方とも平坦な表面プロファイルを有することが可能であり、それによって、屈折力はシステムに与えられない。その上、図2において示されていない実施形態においては、照明アセンブリ220の機能およびディスプレイ205の機能は、単一のコンポーネントへと組み合わされる。たとえば、基板230は、導波管ディスプレイの出力導波管としての役割を果たすことが可能である。いくつかの例示的な導波管ディスプレイおよび出力導波管が、たとえば、米国特許出願第15/704,190号においてさらに論じられており、その米国特許出願第15/704,190号は、参照によってその全体が組み込まれている。
図示されている実施形態においては、複数のマイクロデバイスは、第1の表面245に結合されている。上述されているように、この実施形態においては、複数のマイクロデバイスは、複数の光源を含み、そしてまた1つまたは複数のセンサを含むことが可能である。複数の光源は、光をターゲットエリアへと放射する。光源は、第2の光学バンドにおける光を放射する。光源は、たとえば、マイクロLED、垂直共振器面発光レーザー(VCSEL)、レーザーダイオード、超放射LED、OLED、マイクロLED、またはそれらの組合せであることが可能である。複数の光源は、少なくとも10個の光源を含み、一般には、10個よりも多く(たとえば、20個、30個など)を含む。センサは、たとえば、シリコン、GaAs、InGaAs、AlInGaP、その他の無機半導体もしくは有機半導体、もしくはそれらの組合せに基づく光検知器、第2の光学バンドにおける光に敏感なセンサ、第1の光学バンドにおける光に敏感なセンサ、またはそれらの何らかの組合せであることが可能である。センサは、たとえば、ディスプレイ205から、(たとえば、ARおよび/またはMRの実施形態においては)ローカルエリアから、第1の光学バンドにおける光の明るさをモニタすること、ユーザの目の角膜から反射する光の角度を特定することなどのために使用されることが可能である。
マイクロデバイスは、1μmから1000μmの範囲の長さおよび幅を有する。いくつかの実施形態においては、マイクロデバイスの長さおよび/または幅は、1μmと250μmとの間である。いくつかの実施形態においては、マイクロデバイスの長さおよび/または幅は、1μmと100μmとの間である。一般には、マイクロデバイスのうちのそれぞれは、NED100のユーザに対するマイクロデバイスの可視性を軽減するために極めて小さい。その他の実施形態においては、複数のマイクロデバイスは、第1の表面240および第2の表面245の一方または両方に結合されている。複数のマイクロデバイスは、複数の光源からの光がアイボックス135に向かって放射されるように基板230の表面に結合されている。複数のマイクロデバイスは、それらのいくつかまたはすべてが視野内にあるように基板230の表面全体にわたって分散されている。視野内にあるマイクロデバイスは、視領域225内に配置されている。いくつかの実施形態においては、マイクロデバイス(たとえば、光源またはセンサ)のうちの少なくとも1つが、視領域225の外側に配置されているということに留意されたい。
複数の光源は、第1の表面240および/または第2の表面245の全体にわたって分散され、それにより、複数の光源によって放射された光は、ターゲットエリア上にパターンを形成する。光源が第1の表面240に結合されている実施形態においては、光源から放射された光は、透明基板230を通過することなくアイボックス135に到達する。いくつかの実施形態においては、複数の光源のうちのいくつかまたはすべては、VCSEL、回路、および第1の表面(240)の上に均一なカプセル化層を備えたボトムエミッティングフリップチップVCSELである。カプセル化は、目130により近い別の均一な表面を作成するであろう。そのカプセル化層内に埋め込まれているか、またはカプセル化層の表面内にエッチングされているのは、アイボックスの均一で完全な照明を確実にするためにVCSELを方向付けて成形するためのオプティックである。その他の実施形態においては、オプティックが、VCSELの上に直接取り付けられ、オプティックは、VCSELの出力を方向付けて成形する。いくつかの実施形態においては、VCSELのうちのいくつかまたはすべては、VCSELを第1の表面240に接合する材料においてくさびを作成することによって、または第1の表面240において溝を作ることによって、ある角度で取り付けられる。
複数の光源の例示的な分布が、以降の図3A~図3Dにおいて示されている。いくつかの実施形態においては、複数の光源のうちのいくつかまたはすべては、固有の(または少なくとも部分的に固有の)空間構成を有する。空間構成は、光源が、隣接する光源に対してどのように配置されているかを記述する。いくつかの人工現実デバイスは、非常に剛性の高いフレームを有しておらず、したがってアイトラッキングシステムのオンラインでの(またはアクティブな)較正が必要とされる場合があるということに留意されたい。いくつかの実施形態においては、これらの非剛性の人工デバイスに関して、複数の光源は、それらの複数の光源のうちのいくつかまたはすべてからの光出力のうちのいくらかがアイトラッキングシステム215のカメラへ直接届くように配置されることが可能である。この取り込まれた光は、非剛性のフレームに起因する動きを考慮する上で役立つことが可能である。いくつかの実施形態においては、複数の光源の空間構成は、導電性経路内の、または導電性経路に接続されていない照明アセンブリ220の表面内のアイトラッキングシステム215に見えることを意図されている1つまたは複数のパターンを含むことが可能である。
複数の光源は、光源のサブセットへと分割されることが可能であり、光源のそれぞれのサブセットは、光源のその他のサブセットに対して固有の空間構成を有する。たとえば、光源の1つのサブセットが三角形にアレンジされることが可能であり、異なるサブセットが線状にアレンジされることが可能である、といった具合である。その上、以降で論じられているように、いくつかの実施形態においては、マイクロデバイス(および対応する導電性経路)は、視領域225の回路のない領域250内に配置されない。
いくつかの実施形態においては、基板220の一部またはすべてが、コーティング層でコーティングされている。コーティング層は、第1の光学バンドにおいて透明であり、複数のデバイスのうちの少なくともいくつかおよび透明基板を少なくとも部分的に取り囲む。いくつかの実施形態においては、複数の光源のうちの1つまたは複数は、赤外光(IR)吸収体によって部分的に取り囲まれている。IR光吸収体は、光源からの光漏れをブロックする。すなわち、IR光吸収体は、光源から放射された光が所定の方向に沿って(たとえば、ディスプレイ205に向かって)伝搬するのを防止する。
複数の光源は、第2の光学バンドにおける光(たとえば、赤外光)を放射する。いくつかの実施形態においては、第2の光学バンドは、780nm(ナノメートル)と1100nmとの間の範囲の波長の近赤外光である。いくつかの実施形態においては、第2の光学バンドは、800nmと1000nmとの間の範囲の波長である。そして、いくつかの実施形態においては、複数の光源のうちのいくつかおよび/またはすべては、第2の光学バンドのうちで、複数の光源のうちのその他の光源とは異なる部分における光を放射する。加えて、いくつかの実施形態においては、複数の光源のうちの1つまたは複数は、アイトラッキングシステム215からの命令に従って、コード化された光を放射することが可能である。コード化された光は、特定の光源の固有のまたは部分的に固有の識別を可能にする光である。複数の光源は、たとえば、別々の空間構成の一部として(たとえば、光源のロケーションが、隣接する光源に対して配置される)、別々の波長で光を放射すること、別々の偏光で光を放射すること、別々の変調(たとえば、振幅、パルスなど)で光を放射すること、光源の固有のもしくは部分的に固有の識別を可能にする光のその他の何らかの放射、またはそれらの何らかの組合せによって、コード化された光を放射することが可能である。
複数のマイクロデバイスは、複数の導電性経路(図示せず)を使用して制御(および電力供給)される。複数のマイクロデバイスのうちの少なくともいくつかは、視野内にあるので、導電性経路のうちの少なくともいくつかは、視領域225と重なる。導電性経路は、基板の表面に結合されている1つまたは複数の導電性トレースを含む。導電性経路は、1つまたは複数のマイクロデバイスに結合することが可能である。いくつかの実施形態においては、1つまたは複数のマイクロデバイス(たとえば、光源)は、2つの導電性トレース(たとえば、信号/電力リード線およびアース線)を含む導電性経路に結合されることが可能である。いくつかの実施形態においては、マイクロデバイスは、1つまたは複数の導電性経路を介して独立して制御されることが可能である。いくつかの実施形態においては、マイクロデバイスのための導電性経路は、単一の導電性トレースを含み、マイクロデバイスはまた、透明な(少なくとも第1の光学バンドにおいて)導電層に結合されている(たとえば、グラウンドプレーンとしての役割を果たす)。たとえば、複数のマイクロデバイスのうちのいくつかまたはすべては、それぞれの単一の導電性トレースを有することが可能であり、そしてまた、複数のマイクロデバイスのうちのいくつかまたはすべてに共通である透明な導電層に結合されることが可能である。いくつかの実施形態においては、導電性経路および複数のマイクロデバイスが、多層回路を形成する。たとえば、導電性経路は、(第1の光学バンドにおける光に対して実質的に透明である)複数の層にアレンジされることが可能であり、いくつかの実施形態においては、それらの層のうちの1つは、マイクロデバイスのうちのいくつかまたはすべてに共通である透明な導電層に結合されることが可能である。
複数の導電性経路は、NED100のユーザには機能上は見えないことを目的として設計されている。導電性経路は、第1の光学バンドにおいて透明であること、第1の光学バンドにおいて不透明であること、および/または第1の光学バンドにおいて部分的に透明であることが可能である。導電性経路の可視性は、たとえば、視領域225内の透明なもしくは実質的に透明な(少なくとも第1の光学バンドにわたって)導電性経路、狭い導電性経路、導電性経路のアレンジ、またはそれらの何らかの組合せを使用して軽減される。たとえば、複数の導電性経路は、少なくとも視領域225の上の第1の光学バンドにわたって透明である導電性材料から構成されており、これは、NED100の動作中における導電性経路の可視性を軽減する。不透明な導電性経路は、視領域225の外側に配置されることが可能である。導電性材料は、たとえば、インジウムスズ酸化物(ITO)、透明導電性酸化物(TCO)、フッ素ドープ酸化スズ(FTO)、導電性であって第1の光学バンドに対して透明であるその他の何らかの材料、またはそれらの何らかの組合せであることが可能である。加えて、導電性経路の幅は、典型的には極めて小さく(たとえば、50μm未満の幅であり)、これもまた、NED100の動作中における導電性経路の可視性を軽減する上で役立つ。
複数の導電性経路は、基板230上でのアレンジを有している。アレンジは、たとえば、角度付き、放射状、湾曲状、疑似ランダム、その他の何らかのアレンジ(たとえば、人間の目の血管系を模倣する)、またはそれらの何らかの組合せであることが可能である。導電性経路のいくつかの例示的なアレンジが、以降で図3A~図3Dに関連して示されている。
複数の導電性経路は、視領域225の上では透明であるが、いくつかの照明条件の下では、それらは、ユーザに提示されているコンテンツの品質をわずかに劣化させることがあり、いくつかのケースにおいては部分的に見えるようになることがあるということに留意されたい。導電性経路の疑似ランダムなアレンジは、導電性経路がユーザに見えるようになるのを軽減する上で役立つ。目130は一般に、ランダム化された(または疑似ランダム化された)パターンに対するよりも、直線および繰り返しパターンに対して、より敏感である。したがって、疑似ランダム化された様式で導電性経路をアレンジすることは、導電性経路の可視性を軽減する上で役立つように目130の固有の動作を使用する。
ローカルな配向/位相変化を導電性経路のアレンジに加えることは、より広いバンド幅にわたるスペクトルパワーの分散をもたらすことが可能であり、これは、相関付けられる神経発火を低減することが可能であり、それによって導電性経路が目に見えにくくなるということに留意されたい。これは、たとえば、疑似ランダムなアレンジが、直線または純粋な曲線のアレンジに対して目に見えにくい1つの理由である。たとえば、円の高速フーリエ変換(FFT)分析に対する波状円(たとえば、円の経路に沿って重み付きの推進力を伴ってランダムジッタが導入されている円)のFFT分析は、より広いバンド幅への、特に、より低い空間周波数におけるスペクトルパワーの再分散をもたらす。したがって、波状円状にアレンジされている導電性経路は、円状にアレンジされている導電性経路よりも、目に見えにくいであろう。
その上、ユーザは、ヘッドセット(たとえば、HMDまたはNED)を装着している時間のほとんどで、ほぼまっすぐ前を見ている。視軸232は、NED100を装着している間に実質的にまっすぐ前を見ているユーザが一般に見る上で沿っている軸に相当する。いくつかの実施形態においては、視軸232は、ディスプレイアセンブリ200の光軸に相当する。示されている実施形態においては、視領域225は、外側領域によって外接されている回路のない領域250から構成されている。外側領域は、図においてはラベル付けされていないが、単に、基板のうちで、回路のない領域250の一部ではない領域である。回路のない領域250は、照明アセンブリ220のうちで、いずれのマイクロデバイスおよびそれらのそれぞれの導電性経路も含まない領域であり、視軸232を中心にして配置されている。回路のない領域250は、任意の形状(たとえば、円形、長方形など)であることが可能である。回路のない領域250は、実質的にまっすぐ前を見ているNED100を装着しているユーザが回路のない領域250を通して見ていることになるように配置される。
複数のマイクロデバイスおよびそれらのそれぞれの導電性経路は、外側領域に配置される。この実施形態においては、目130の中心窩(高い詳細度)が、マイクロデバイスおよび導電性経路のない視野を有し、目130の非中心窩領域(はるかに低い解像度)が、マイクロデバイスおよび導電性経路を有することになる視野を有するということに留意されたい。上述されているように、NED100のユーザは、典型的にはまっすぐ前を見ており、またはより正確には、まっすぐ前を向いた視界のしきい値距離内を見ている。したがって、回路のない領域は、基板220のうちで、目130の中心窩によって最も一般的に見られるエリアからマイクロデバイスおよびそれらの導電性経路を単に除去することによって、ユーザによる導電性経路(およびマイクロデバイス)の検知を大幅に軽減する。
アイトラッキングシステム215は、目135の位置を追跡する。アイトラッキングシステム215は、カメラアセンブリ255およびコントローラ260を含む。図2は、ユーザの一方の目130を示しているだけであるが。いくつかの実施形態においては、ユーザのそれぞれの目ごとに別々のアイトラッキングシステムが実装されることが可能である。
カメラアセンブリ255は、ターゲットエリアから反射された光パターンの画像を取り込む。光パターンは、複数の光源のうちの少なくともいくつかから放射される第2の光学バンドにおける光から形成される。反射光は、たとえば、ターゲットエリアにおける目130の部分(たとえば、角膜、虹彩、および/または強膜)からの光パターンの反射を含み、目130を取り巻く顔の部分(たとえば、眉、鼻、頬など)を含むことが可能である。カメラアセンブリ255は、少なくとも第2の光学バンドにおける光に敏感である1つまたは複数のカメラを含む。いくつかの実施形態においては、1つまたは複数のカメラは、第1の光学バンドにおいて画像を取り込む少なくとも1つのカメラを含むことも可能である(そしていくつかのケースにおいては、第2の光学バンドにおいて光を取り込むことも可能である)。カメラは、たとえば、フォトダイオードのアレイ(1Dもしくは2D)、電荷結合ディスプレイ(CDD)アレイ、相補型金属酸化膜半導体(CMOS)アレイ、少なくとも第1の光学バンドにおいてターゲットエリアにわたって反射光を取り込むことが可能であるその他の何らかのデバイス、またはそれらの何らかの組合せであることが可能である。いくつかの実施形態においては、カメラアセンブリ255は、偏光情報を取り込むことが可能である1つまたは複数の高偏光感度カメラを含む。偏光情報は、取り込まれた光の偏光について記述している。たとえば、高偏光感度カメラは、偏光に敏感なピクセルのアレイを含む(たとえば、0°、45°、90°、および135°)。カメラアセンブリ255は、コントローラ260によって生成された命令に従って画像を取り込む。
カメラアセンブリ255は、ターゲットエリアを直接撮像するものとして図2において示されているが、その他の実施形態においては、カメラは、光学ブロック210の1つまたは複数の光学素子を通じてターゲットエリアを撮像することが可能であるということに留意されたい。たとえば、光学ブロック210は、照明アセンブリ220とディスプレイ205との間にホットミラー(すなわち、第2の光学バンドにおいて反射し、第1の光学バンドにおいて透明である)を含むことが可能である。この実施形態においては、第2の光学バンドにおける光は、ターゲットエリアから反射して照明アセンブリ220へ戻る。反射光は、照明アセンブリ220によって透過され、次いでホットミラーを介してカメラアセンブリ255へ導かれることになる。
コントローラ260は、アイトラッキングシステム215のコンポーネントと、照明アセンブリ220の複数のマイクロデバイスとを制御する。コントローラ260は、照明アセンブリ220およびカメラアセンブリ255の複数のマイクロデバイス(すなわち、複数の光源、およびいくつかの実施形態においては、1つまたは複数のセンサ)のための命令を生成する。コントローラ260は、複数の光源がターゲットエリアの一部またはすべてにわたってパターンを放射するように命令を生成することが可能である。そのパターンは、たとえば、構造化光パターンであることが可能である。コントローラ260は、複数の光源のうちのいくつかまたはすべてによって放射される光がコード化されるように命令を生成することが可能である。コントローラ260は、ターゲットエリアの画像を取り込むようにカメラアセンブリ255に指示する。
コントローラ260は、カメラアセンブリ255によって取り込まれたユーザの目130の1つまたは複数の画像を受信する。コントローラ260は、カメラアセンブリ255の1つまたは複数のカメラからの1つまたは複数の取り込まれた画像を使用してトラッキング情報を特定する。トラッキング情報は、少なくとも、NED100のユーザの一方または両方の目の位置(向きを含む)について記述している。トラッキング情報は、たとえば、目の位置、視線角度、瞳孔間距離、一方もしくは両方の目を取り巻く顔の1つもしくは複数の特徴(たとえば、眉、頬など)の位置、またはそれらの何らかの組合せを含むことが可能である。たとえば、いくつかの実施形態においては、コントローラ260は、ターゲットエリアのいずれかの部分の画像における複数の光源のうちの少なくともいくつかからの光の反射のロケーションを識別する。画像は、目130を含み、そして、目130を取り巻く顔の特徴の複数部分を含むことも可能である。コントローラ260は、識別された反射の形状および/またはロケーションに基づいて目130の位置(向きを含む)を特定する。コントローラ260は、識別された反射の形状および/またはロケーションに基づいて顔の特徴の位置を特定するように構成されることも可能である。ターゲットエリアが構造化光パターンで照らされているケースにおいては、コントローラ260は、ターゲットエリア上に投影された構造化光パターンの歪みを検知することが可能であり、検知された歪みに基づいて目130の位置および向きを推定することが可能である。いくつかの実施形態においては、コントローラ260は、目130を取り巻く顔の特徴の位置を推定することも可能である。コントローラ260は、カメラアセンブリ255によって取り込まれた照明パターンの画像に基づいて、瞳孔軸、視線角度(たとえば、中心窩軸に対応する)、目の並進、目のねじれ、および目130の現在の形状を推定することも可能である。コントローラ260は、トラッキング情報の一部またはすべてを、たとえば、ディスプレイ205(たとえば、中心窩レンダリング用)に、および/または可変焦点モジュールに提供することが可能である。
可変焦点モジュール(図示せず)は、像平面のロケーションを調整することによって、輻輳と調節との競合を軽減する。可変焦点モジュールは、1つまたは複数の可変焦点素子を制御する。可変焦点素子は、像平面のロケーション(すなわち、どこで仮想コンテンツがNED100の装着者に見えてくるか)を変化させるように調整されることが可能である光学素子である。その調整は、たとえば、光学素子の屈折力を調整すること、および/またはディスプレイ素子110に対する光学素子の位置を調整することによるものであることが可能である。いくつかの場合においては、照明アセンブリ220、光学ブロック210における光学素子、ディスプレイ205、その他の何らかの光学素子(たとえば、光学ブロック210によって提供される屈折力を相殺するための光学素子)、またはそれらの何らかの組合せが、可変焦点素子である。たとえば、照明アセンブリ220および/またはディスプレイ205は、照明アセンブリ220とディスプレイ205との間における相対的な距離を調整する可変焦点モジュールの一部であることが可能である。可変焦点素子は、アイトラッキングシステム215によって特定されたトラッキング情報を入手するためにアイトラッキングシステム215に結合されることが可能である。可変焦点素子は、照明アセンブリ220とディスプレイ205との間における相対的な距離を調整することによって、像平面のロケーションを調整する。輻輳のロケーションと調節のロケーションとが像平面にあるように像平面を調整することは、輻輳と調節との競合を軽減するように役割を果たす。
従来のアイトラッキングシステムは、アイトラッキングシステムのための照明源のロケーションがディスプレイ全体のユーザの視野の外側にあるので、制限されたアイトラッキング機能を有する場合があるということに留意されたい。照明源をユーザの視野(すなわち、視領域225)の外側に配置すると、目を非常に斜めから照らすことになる。そしてユーザの目を非常に斜めから照らすと、たとえば、目の照明が不十分になる可能性がある。加えて、ユーザの目を非常に斜めから照らすことは、照明光のパターンおよび構造を制限する場合があり、したがって、抽出された光の構造に部分的に依存してユーザの目に関する情報を検知するアイトラッキングシステムの設計の柔軟性を低減する場合がある。対照的に、照明アセンブリ220は、はるかに狭い範囲の角度にわたってターゲットエリアを照らす視野内光源を使用している。その上、光源が視野内に配置されているので、(視領域225の外側にある周辺に沿った)従来のシステムにおける光源の密度に対して、(視領域225の上の)光源の潜在的にさらに高い密度を可能にすることができる。
図3Aは、1つまたは複数の実施形態による、角度の付いたアレンジでの導電性経路を備えた例示的な照明アセンブリ300の平面図である。照明アセンブリ300は、基板305と、レンズ基板305に結合されている複数のマイクロデバイスとを含む。基板305は、基板230の一実施形態である。複数のマイクロデバイスは、黒色のドットとして示されており、図2に関連して上述されているものと実質的に同じである。たとえば、複数のマイクロデバイスは、第2の光学バンドにおける光を放射する複数の光源、(たとえば、第2の光学バンドにおける光を検知する)複数のセンサ、またはそれらの何らかの組合せを含むことが可能である。加えて、いくつかの実施形態においては、複数の光源のうちのいくつかまたはすべては、光を検知するセンサと置き換えられることが可能である。その他の実施形態においては、照明アセンブリ300は、その他のいくらかの数の(たとえば、より多くの、またはより少ない)マイクロデバイスを含むことが可能である。
照明アセンブリ300は、回路のない領域322を含むことが可能である。回路のない領域322は、いずれのマイクロデバイスおよびそれらのそれぞれの導電性経路も含まない。回路のない領域322は、視軸325を中心にして配置されている。視軸325は、実質的にまっすぐ前を見ているユーザが見る上で沿っている軸に相当する。いくつかの実施形態においては、視軸325は、照明アセンブリ300の光軸に相当する。加えて、複数のマイクロデバイスのうちのいくつかまたはすべては、照明アセンブリ300の別々の部分に配置されることが可能である。たとえば、代替実施形態においては、照明アセンブリ300(および本明細書において論じられているその他の照明アセンブリ)は、回路のない領域322を含まないことが可能である。
複数のマイクロデバイスは、角度の付いたアレンジを有する複数の導電性経路を使用して制御(および電力供給)される。それらの導電性経路は、図2に関連して上述されているものと実質的に同じであり、異なるのは、それらが、角度の付いたアレンジの例にあるということである。角度の付いたアレンジは、直線状である導電性経路であって、対応する方向変換点で方向における1つまたは複数の突然の変化を有する可能性がある導電性経路を示す。たとえば、図3Aにおいては、光源315を含む導電性経路310は、方向変換点320で方向の変化を有する。すべての方向変換点の結果、方向変換点の両側の導電性経路の隣接した部分(「セグメント」とも呼ばれる)の間に角度が形成される。図3Aの実施形態においては、角度は直角であるが、その他の実施形態においては、角度は、直角以外の何らかの角度であることが可能である。その上、いくつかの実施形態においては、別々の方向変換点が別々の角度を形成することが可能である。それらの別々の方向点は、同じ導電性経路または別々の導電性経路上にあることが可能である。
複数のマイクロデバイスは、視野内(すなわち、視領域内)にあり、基板305の全体にわたって分散されている。複数のマイクロデバイスが光源である実施形態においては、複数の光源はしたがって、たとえば、照明アセンブリ300の周囲および外側に配置されている光源(たとえば、従来のシステムに関してなら、そうであろうように)よりも、はるかに狭い範囲の角度にわたってターゲットエリアを照らすことが可能である。その上、マイクロデバイスが視野内に配置されているので、(視領域225の外側にある周辺に沿った)従来のシステムにおけるマイクロデバイスの密度と比較して、(視領域の上の)マイクロデバイスの潜在的にさらに高い密度を可能にすることができる。これは、より高密度な構造化光パターンをもたらすことが可能であり、これは、ターゲットエリアにわたってユーザの目の視線角度を追跡するために使用される増大した角度データを提供することが可能である。
図3Bは、1つまたは複数の実施形態による、放射状のアレンジでの導電性経路を備えた例示的な照明アセンブリ330の平面図である。照明アセンブリ330は、照明アセンブリ300と実質的に同じであり、異なるのは、導電性経路が、角度の付いたアレンジではなく放射状のアレンジを有しているということである。
導電性経路の放射状のアレンジは、それぞれの導電性経路が、1つまたは複数の光源を、一般に放射状の様式で視軸325から離れるように向けられている直線状に結合しているようなアレンジである。たとえば、マイクロデバイス335は、放射状の様式で視軸325から離れるように向けられている導電性経路340に結合されている。放射状のアレンジは、図3Aにおける角度の付いたアレンジと比較して、導電性経路の比較的低い空間密度をもたらし、それは、導電性経路が目に見えるようになる可能性を軽減する上で役立つことが可能であるということに留意されたい。放射状のパターンは、回路ボードのシースルー品質を改善する際に、線形回路トレースと比較して利点を有する。
図3Cは、1つまたは複数の実施形態による、湾曲したアレンジでの導電性経路を備えた例示的な照明アセンブリ345の平面図である。照明アセンブリ345は、照明アセンブリ300と実質的に同じであり、異なるのは、導電性経路が、角度の付いたアレンジではなく湾曲したアレンジを有しているということ、および図示を容易にするために、導電性経路のうちのすべてが示されているわけではないということである。
導電性経路の湾曲したアレンジは、それぞれの導電性経路が、1つまたは複数の光源を、視軸325に一般に外接する1つまたは複数の曲線を使用して結合しているようなアレンジである。湾曲したアレンジについて記述しているさらなる詳細は、たとえば、米国特許出願第15/927,963号において見出すことが可能であり、その米国特許出願第15/927,963号は、その全体が参照によって本明細書に組み込まれている。たとえば、マイクロデバイス350は、湾曲していて視軸325に一般に外接している導電性経路355に結合されている。湾曲したアレンジは、図3Aにおける角度の付いたアレンジと比較して、導電性経路の比較的低い空間密度をもたらし、それは、導電性経路が目に見えるようになる可能性を軽減する上で役立つことが可能である。円形のパターンは、回路ボードのシースルー品質を改善する際に、線形回路トレースと比較して利点を有する。円弧/曲線の回折効果は、線形回路トレースよりも、ユーザに対してさらに目立たないことが可能である。
図3Dは、1つまたは複数の実施形態による、疑似ランダムなアレンジでの導電性経路を備えた例示的な照明アセンブリ360の平面図である。照明アセンブリ360は、照明アセンブリ300と実質的に同じであり、異なるのは、導電性経路が、角度の付いたアレンジではなく疑似ランダムなアレンジを有しているということ、および図示を容易にするために、導電性経路のうちのすべてが示されているわけではないということである。
導電性経路の疑似ランダムなアレンジは、導電性経路がユーザに見えるようになるのを軽減する上で役立つ。人間の目は一般に、ランダム化された(または疑似ランダム化された)パターンに対するよりも、直線および繰り返しパターンに対して、より敏感である。したがって、疑似ランダム化された様式で導電性経路をアレンジすることは、導電性経路の可視性を軽減する上で役立つように目の固有の動作を使用する。
導電性経路の疑似ランダムなアレンジは、1つまたは複数のランダム化パラメータと、ランダム化モジュールとに基づいて生成されることが可能である。ランダム化モジュールは、照明アセンブリ製造システムの一部として動作する。ランダム化モジュールは、1つまたは複数のランダム化パラメータを使用して、疑似ランダムな様式でアレンジされた導電性経路の設計レイアウトを生成する。ランダム化パラメータは、たとえば、複数の光源の位置、導電性経路の周期、導電性経路の振幅、導電性経路の曲率における変化、隣接した導電性経路の間における最小距離、導電性経路のランダム性メトリック、ランダム化モジュールが、疑似ランダムな様式でアレンジされた導電性経路の設計レイアウトを生成するために使用するその他の何らかのパラメータ、またはそれらの何らかの組合せを含む。いくつかの実施形態においては、ランダム化モジュールは、導電性経路の一部またはすべてに関して、1つまたは複数のランダム化パラメータの対象として、たとえば、振幅における変化、周期における変化、曲率における変化、および隣接した導電性経路の間の距離における変化のインスタンスを、導電性経路に沿ったいくらかの可変距離ごとにすべてランダム化し、その可変距離もランダム化されることが可能である。結果として得られる設計は次いで、疑似ランダムな様式でアレンジされている導電性経路を含む照明アセンブリ(たとえば、照明アセンブリ360)を生成するために製造システムを使用して製造されることが可能である。たとえば、導電性経路は、別々のデバイス(たとえば、光源)に結合されている隣接した導電性経路の間に少なくとも1mmがあるような形であることが可能である。
照明アセンブリ360は、疑似ランダムな様式でアレンジされている導電性経路を含む。たとえば、マイクロデバイス360は、疑似ランダムである導電性経路を使用して導電性経路370に結合されている。導電性経路365は、マイクロデバイス365へのその経路にわたって、周期、振幅、および曲率における変化を有するということに留意されたい。加えて、この実施形態においては、導電性経路370は、その他の導電性経路のうちのいずれとも同じ形状ではない。上述されているように、導電性経路の疑似ランダムなアレンジは、導電性経路がユーザに見えるようになる可能性を大幅に軽減する。図示されている例においては、照明アセンブリ360は、視軸325を中心とする回路のない領域322を含む。代替実施形態においては、照明アセンブリ360は、回路のない領域322を含まないことが可能である。いくつかの実施形態においては、疑似ランダムなパターンは、線形のおよび/または湾曲した回路パターンと組み合わせて使用されることが可能である。たとえば、レンズは、レンズの縁の方に線形のおよび/または湾曲した形状のトレースを、そしてレンズの中心の方に疑似ランダムなパターンを有することが可能である。
いくつかの実施形態においては、導電性経路370の長さの少なくとも50%は、10mm以下の有効長さを有し、10mmを超える有効曲率半径を有する。いくつかの実施形態においては、有効長さは5mm以下であり、有効曲率半径は5mm未満である。機能的には、導電性経路370は、明るい光源、たとえば、蛍光灯器具、MR16電球、または太陽を見ているときに、より長い有効長さもしくは曲率、またはその両方を使用する回路パターンよりも、実質的にユーザに観察されにくくする構造を有するべきである。
図4は、1つまたは複数の実施形態による、導電性経路を介して結合されているいくつかのマイクロデバイスを含む回路の一部分の正面図400である。この部分は、導電性経路410、導電性経路420、ならびにマイクロデバイス430a、430b、および430cを含む。この部分は、(たとえば、図3Cに関連して上述されているような)湾曲した様式でアレンジされている導電性経路を有する照明アセンブリの一部である。この実施形態においては、導電性経路410は、導体410aおよび導体410bを含み、導電性経路320は、導体420aおよび導体420bを含む。
導電性経路420は、照明アセンブリ内の湾曲した導電性経路のさまざまなリングを電気的に結合するメイントランクとしての役割を果たすことが可能である。たとえば、導体420aは、マイクロデバイスに制御(および/または電力)を提供することが可能であり、導体420bは、リターンとしての役割を果たすことが可能である。導電性経路410は、連続リングを形成しており、その一部分が示されている。リングに沿って、さまざまなマイクロデバイス(たとえば、マイクロデバイス430a~c)が、導体410aおよび410bに結合されている。マイクロデバイスは、光源とセンサとから構成されているグループから選択される。したがって、マイクロデバイスは、光源、センサ、またはそれらの何らかの組合せであることが可能である。
回路450は、電力消費を低減するという利点を有している。マイクロデバイスは、別々のセグメントに接続されることが可能であるので、回路450は、基板に取り付けられているマイクロデバイスのうちのいくつかを選択的にオフにすることを可能にする。
マイクロデバイスに電流を供給するための回路は、金属(たとえば、アルミニウム、銅、銀、ニッケル、金、もしくはそれらの合金)、透明導電性酸化物(たとえば、インジウムスズ酸化物、酸化亜鉛)、もしくは可視光に対して透明であるその他の導体、透明なポリマー(たとえば、ポリ(3,4-エチレンジオキシチオフェン)(PEDOT))、またはインクを含むナノ粒子金属などのさまざまな材料から作製されることが可能である導体を含む。金属導体は、透明であること、およびしきい値厚さ(たとえば、約50nm)未満の厚さを有することが可能である。導体は、銀またはその他の適切な材料から作製されているナノワイヤを含むことが可能である。
図5Aは、1つまたは複数の実施形態による、ある期間にわたる基板の視領域にわたる視線ロケーションの分布のプロット500である。さまざまなタスクを実行する複数のユーザに関するデータを平均化する一方で、アイトラッキングシステムを使用して、方位角および仰角に関する視線方向分布が生成された。ユーザは主に、視軸510を取り巻く小さな領域にわたって視線ロケーションを有しているということが、プロット500から明らかである。視線方向の分布が与えられると、視軸に外接する1つまたは複数のゾーンが描かれることが可能である。たとえば、基板500は、内側ゾーン520、中間ゾーン530、および外側ゾーン540へと分割されることが可能である。内側ゾーン520は、視軸510を中心にして配置されている。中間ゾーン530は、内側ゾーン520を取り巻いているが外側ゾーン540の一部ではない領域を示している。外側ゾーン540は、内側ゾーン520の一部でも中間ゾーン530の一部でもない領域を示している。代替実施形態においては、内側ゾーン520、中間ゾーン530、外側ゾーン540、またはそれらの何らかの組合せは、別々の直径を有すること、および/または別々の形状にされることが可能である。内側ゾーン520は、(たとえば、回路のない領域250のような)回路のない領域となるように選択されることが可能である。ゾーンのうちのそれぞれのサイズおよび形状は、そのゾーン内に入る視線ロケーションの所望の部分に部分的に基づいて特定されることが可能である。たとえば、内側ゾーン520は、ある期間にわたって視線ロケーションの80%を取り込むようにサイズ設定されることおよび/または成形されることが可能である。中間ゾーン530は、その期間にわたって視線ロケーションの15%を取り込むようにサイズ設定されることおよび/または成形されることが可能であり、外側ゾーン540は、視線ロケーションの残りの5%を取り込むようにサイズ設定されることおよび/または成形されることが可能である。
図5Bは、1つまたは複数の実施形態による、図5Aからの複数のゾーンを含む基板設計500の平面図である。それらの複数のゾーンは、図5Aを参照して上述されているのと同じゾーンである。複数の光源および導電性経路(図示せず)が、それらのゾーンに部分的に基づいて基板設計500に付加される。たとえば、内側ゾーン510は、回路のない領域とみなされることが可能であり、それによって、マイクロデバイスおよび導電性経路が内側ゾーン510内に配置されることが不可能になる。いくつかの実施形態においては、回路のない領域は、直径が最大で12mmである。加えて、いくつかの実施形態においては、マイクロデバイスおよび/または導電性経路の密度は、視軸510からの距離に伴って増大することが可能である。たとえば、マイクロデバイスおよび/または導電性経路(「特徴」と総称される)の密度は、内側ゾーン520(ゼロであることが可能である)におけるよりも、中間ゾーン530において、より高くなることが可能である。同様に、外側ゾーン540における特徴の密度は、中間ゾーン530におけるよりも、および内側ゾーン520におけるよりも高くなることが可能である。特徴の可変の密度は、NEDの使用中に特徴がユーザに見えるようになる可能性を軽減する上で役立つことが可能である。
人工現実システムの例
図6は、1つまたは複数の実施形態による人工現実システム600のブロック図である。システム600は、たとえば、VRシステム環境、ARシステム環境、MRシステム環境、またはそれらの何らかの組合せにおいて動作することが可能である。図6によって示されているシステム600は、ヘッドセット605、コンソール610、および入力/出力(I/O)インターフェース615を含む。図6は、1つのヘッドセット605と、1つのI/Oインターフェース615とを含む例示的なNEDシステム600を示しているが、その他の実施形態においては、任意の数のこれらのコンポーネントがシステム600に含まれることが可能である。たとえば、関連付けられているI/Oインターフェース615をそれぞれが有している複数のヘッドセット605があることが可能であり、それぞれのヘッドセット605およびI/Oインターフェース615は、コンソール610と通信する。代替構成においては、異なるおよび/またはさらなるコンポーネントがシステム600に含まれることが可能である。加えて、図6において示されているコンポーネントのうちの1つまたは複数に関連して記述されている機能は、いくつかの実施形態においては、図6に関連して記述されているのとは異なる様式でコンポーネントの間において分散されることが可能である。たとえば、コンソール610の機能の一部またはすべては、ヘッドセット605によって提供される。
ヘッドセット605は、コンピュータによって生成された要素(たとえば、2次元または3次元の画像、2次元または3次元のビデオ、サウンドなど)を伴う物理的な現実世界環境の仮想のビューおよび/または拡張されたビューを含むコンテンツをユーザに提示するHMDまたはNEDであることが可能である。いくつかの実施形態においては、提示されるコンテンツは、ヘッドセット605、コンソール610、またはその両方からオーディオ情報を受信してオーディオ情報に基づいてオーディオデータを提示する外部デバイス(たとえば、スピーカおよび/またはヘッドフォン)を介して提示されるオーディオを含む。ヘッドセット605の一実施形態は、図1Aに関連して上述されているNED100である。
ヘッドセット605は、ディスプレイアセンブリ620を含む。このヘッドセットは、1つまたは複数の位置センサ630、慣性測定ユニット(IMU)635、任意選択の深度カメラアセンブリ(DCA)550、および任意選択の可変焦点モジュール653を含むことも可能である。ヘッドセット605のいくつかの実施形態は、図6に関連して記述されているものとは異なるコンポーネントを有する。加えて、図6に関連して記述されているさまざまなコンポーネントによって提供される機能は、その他の実施形態においては、ヘッドセット605のコンポーネントの間において異なる形で分散されることが可能である。
ディスプレイアセンブリ620は、コンテンツをユーザに提示し、ターゲットエリアの上のユーザの動きをモニタする。ディスプレイアセンブリ620は、ディスプレイアセンブリ200であることが可能である。ディスプレイアセンブリ605は、図2に関連して詳細に上述されているディスプレイ、光学ブロック、およびアイトラッキングシステムを含む。ディスプレイは、ディスプレイ205であり、光学ブロックは、光学ブロック210であり、アイトラッキングシステムは、アイトラッキングシステム215である。
光学ブロックは、少なくとも1つの照明アセンブリを含む。この照明アセンブリは、照明アセンブリ220の一実施形態である。照明アセンブリは、アイトラッキングシステムからの命令に従ってターゲットエリアを照らすために使用される。ターゲットエリアは、一方または両方の目を含むユーザの顔の一部分(いくつかのケースにおいては、一方または両方の目を取り巻く顔の複数部分)である。照明アセンブリは、視野内にある複数のマイクロデバイスを含み、少なくともいくつかのマイクロデバイスは、ターゲットエリアを照らす光源である。複数のマイクロデバイスは、導電性経路を使用して制御/電力供給される。導電性経路は、特定の(たとえば、疑似ランダムな)様式で照明アセンブリの基板上にアレンジされている。いくつかの例示的なアレンジが、図2および図3A~図3Dに関連して上述されている。加えて、いくつかの実施形態においては、照明アセンブリは、視軸に沿った回路のない領域を含むことが可能である。アイトラッキングシステム(たとえば、アイトラッキングシステム215)は、ターゲットエリアの画像を取り込み、取り込まれた画像に基づいてトラッキング情報を特定する。トラッキング情報は、トラッキング情報を含み、そしてまた、トラッキングエリア内における顔の部分に関する顔トラッキング情報を含むことが可能である。
IMU635は、位置センサ630のうちの1つまたは複数から受信された測定信号と、DCA650から受信された深度情報とに基づいて、ヘッドセット605の位置を示すデータを生成する電子デバイスである。位置センサ630は、ヘッドセット605の動きに応答して1つまたは複数の測定信号を生成する。位置センサ630の例は、1つもしくは複数の加速度計、1つもしくは複数のジャイロスコープ、1つもしくは複数の磁力計、動きを検知する別の適切なタイプのセンサ、IMU635のエラー訂正のために使用されるタイプのセンサ、またはそれらの何らかの組合せを含む。位置センサ630は、IMU635の外部に、IMU635の内部に、またはそれらの何らかの組合せで配置されることが可能である。
1つまたは複数の位置センサ630からの1つまたは複数の測定信号に基づいて、IMU635は、ヘッドセット605の初期位置に対するヘッドセット605の推定現在位置を示すデータを生成する。たとえば、位置センサ630は、並進運動(前方/後方、上/下、左/右)を測定するための複数の加速度計と、回転運動(たとえば、ピッチ、ヨー、ロール)を測定するための複数のジャイロスコープとを含む。いくつかの実施形態においては、IMU635は、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット605の推定現在位置を計算する。たとえば、IMU635は、時間とともに加速度計から受信された測定信号を統合して速度ベクトルを推定し、時間とともに速度ベクトルを統合してヘッドセット605上の基準点の推定現在位置を特定する。あるいは、IMU635は、サンプリングされた測定信号をコンソール610に提供し、コンソール610は、それらのデータを解釈してエラーを低減する。基準点は、ヘッドセット605の位置を示すために使用されることが可能である点である。基準点は一般に、空間における点、またはNED505の配向および位置に関連した位置として定義されることが可能である。
IMU635は、コンソール610から1つまたは複数のパラメータを受信する。それらの1つまたは複数のパラメータは、ヘッドセット605の追跡を保持するために使用される。受信されたパラメータに基づいて、IMU635は、1つまたは複数のIMUパラメータ(たとえば、サンプルレート)を調整することが可能である。いくつかの実施形態においては、特定のパラメータが、IMU635に基準点の初期位置を更新させ、したがってその初期位置は、基準点の次なる位置に相当する。基準点の初期位置を基準点の次なる較正された位置として更新することは、IMU635によって推定された現在位置に関連付けられている累積されたエラーを低減する上で役立つ。累積されたエラーは、ドリフトエラーとも呼ばれ、それによって基準点の推定位置が、時間とともに基準点の実際の位置から「漂って」離れていく。ヘッドセット605のいくつかの実施形態においては、IMU635は、専用のハードウェアコンポーネントであることが可能である。その他の実施形態においては、IMU635は、1つまたは複数のプロセッサにおいて実装されているソフトウェアコンポーネントであることが可能である。
いくつかの実施形態においては、ヘッドセット605はさらに、DCA650を含む。DCAは、DCA115の一実施形態であることが可能である。DCA650は、ヘッドセット605を取り巻くローカルエリアの深度情報について記述しているデータを取り込む。示されていない実施形態においては、DCA650は、ヘッドセット605の外部にあり、ローカルエリア内のヘッドセット605の画像を取り込む。DCA650は、1つまたは複数の深度特定技術を使用して、深度情報を特定する。深度特定技術は、たとえば、構造化光、ステレオビジョン、飛行時間、その他の何らかの深度特定技術、またはそれらの何らかの組合せを含むことが可能である。DCA650は、データを使用して深度情報を算出することが可能であり、またはDCA650は、DCA650からのデータを使用して深度情報を特定することが可能であるコンソール610などの別のデバイスにこの情報を送ることが可能である。
いくつかの実施形態においては、可変焦点モジュール653は、ヘッドセット605、具体的にはディスプレイアセンブリ620と統合されている。可変焦点モジュール653は、トラッキング情報を入手するためにディスプレイアセンブリ620のアイトラッキングシステムに結合されることが可能である。可変焦点モジュール653は、ディスプレイアセンブリ内の1つもしくは複数の素子(たとえば、ディスプレイ、照明アセンブリ、その他の何らかの光学素子)のロケーションを調整することによって、および/またはディスプレイアセンブリ内の1つもしくは複数の素子の屈折力を調整することによって像平面のロケーションを調整するように構成されることが可能である。
可変焦点モジュール653は、特定されたトラッキング情報に少なくとも部分的に基づいて、画像光の中心窩レンダリングを実行するようにディスプレイに指示することによって、ディスプレイによって放射される画像光の解像度を調整するように構成されることも可能である。可変焦点モジュール653は、ユーザの視線の中心窩領域においては、最大ピクセル密度を有する画像を放射し、その他の領域においては、より低いピクセル密度を有する画像を放射するようにディスプレイに指示する。
I/Oインターフェース615は、ユーザがアクション要求を送ってコンソール610から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。たとえば、アクション要求は、画像もしくはビデオデータの取り込みを開始もしくは終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であることが可能である。I/Oインターフェース615は、1つまたは複数の入力デバイスを含むことが可能である。例示的な入力デバイスは、キーボード、マウス、ゲームコントローラ、または、アクション要求を受信してそれらのアクション要求をコンソール610に通信するためのその他の任意の適切なデバイスを含む。I/Oインターフェース615によって受信されたアクション要求は、コンソール610に通信され、コンソール610は、そのアクション要求に対応するアクションを実行する。いくつかの実施形態においては、I/Oインターフェース615は、I/Oインターフェース615の初期位置に対するI/Oインターフェース615の推定位置を示す較正データを取り込むIMU635を含む。いくつかの実施形態においては、I/Oインターフェース615は、コンソール610から受信された命令に従って触覚フィードバックをユーザに提供することが可能である。たとえば、触覚フィードバックは、アクション要求が受信されたときに提供され、またはコンソール610は、コンソール610がアクションを実行したときに触覚フィードバックをI/Oインターフェース615に生成させる命令をI/Oインターフェース615に通信する。
コンソール610は、DCA650、ヘッドセット605、およびI/Oインターフェース615のうちの1つまたは複数から受信された情報に従って処理するためのコンテンツをヘッドセット605に提供する。図6において示されている例においては、コンソール610は、アプリケーションストア655、トラッキングモジュール660、およびエンジン665を含む。コンソール610のいくつかの実施形態は、図6に関連して記述されているものとは異なるモジュールまたはコンポーネントを有する。同様に、以降でさらに記述されている機能は、図6に関連して記述されているのとは異なる様式でコンソール610のコンポーネントの間において分散されることが可能である。
アプリケーションストア655は、コンソール610によって実行するための1つまたは複数のアプリケーションを記憶する。アプリケーションは、命令のグループであり、それらの命令は、プロセッサによって実行されたときに、ユーザに提示するためのコンテンツを生成する。アプリケーションによって生成されるコンテンツは、ヘッドセット605またはI/Oインターフェース615の動きを介してユーザから受信された入力に応答したものであることが可能である。アプリケーションの例は、ゲーミングアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、またはその他の適切なアプリケーションを含む。
トラッキングモジュール660は、1つまたは複数の較正パラメータを使用してNEDシステム600を較正し、1つまたは複数の較正パラメータを調整して、ヘッドセット605の、またはI/Oインターフェース615の位置の特定におけるエラーを低減することが可能である。たとえば、トラッキングモジュール660は、DCA650によって取り込まれた構造化光要素の位置をより正確に特定する目的でDCA650の焦点を調整するために較正パラメータをDCA650に通信する。トラッキングモジュール660によって実行される較正はまた、ヘッドセット605におけるIMU635および/またはI/Oインターフェース615に含まれているIMU635から受信された情報を考慮する。加えて、ヘッドセット605の追跡が失われた場合(たとえば、DCA650が少なくともしきい値数の構造化光要素の視線を失った場合)には、トラッキングモジュール660は、NEDシステム600の一部またはすべてを再較正することが可能である。
トラッキングモジュール660は、DCA650、1つまたは複数の位置センサ630、IMU635、またはそれらの何らかの組合せからの情報を使用して、ヘッドセット605の、またはI/Oインターフェース615の動きを追跡する。たとえば、トラッキングモジュール660は、ヘッドセット605からの情報に基づいてローカルエリアのマッピングにおけるヘッドセット605の基準点の位置を特定する。トラッキングモジュール660は、ヘッドセット605の基準点またはI/Oインターフェース615の基準点の位置を、それぞれ、IMU635からのヘッドセット605の位置を示すデータを使用して、またはI/Oインターフェース615に含まれているIMU635からのI/Oインターフェース615の位置を示すデータを使用して特定することも可能である。加えて、いくつかの実施形態においては、トラッキングモジュール660は、IMU635からのヘッドセット605の位置を示すデータの部分、ならびにDCA650からのローカルエリアの表示を使用して、ヘッドセット605の今後のロケーションを予測することが可能である。トラッキングモジュール660は、ヘッドセット605および/またはI/Oインターフェース615の推定されたまたは予測された今後の位置をエンジン665に提供する。
いくつかの実施形態においては、エンジン665は、ヘッドセット605から受信された情報に基づいて、ヘッドセット605を取り巻くエリア(すなわち、「ローカルエリア」)の3次元マッピングを生成する。いくつかの実施形態においては、エンジン665は、深度を算出する際に使用される技術に関連するDCA650から受信された情報に基づいてローカルエリアの3次元マッピングのための深度情報を特定する。エンジン665は、ステレオベースの技術、構造化光照明技術、および飛行時間技術など、DCA650によって検知された反射光の部分から深度を算出する際に1つまたは複数の技術を使用して、深度情報を計算することが可能である。さまざまな実施形態においては、エンジン665は、深度情報を使用して、たとえば、ローカルエリアのモデルを更新し、その更新されたモデルに部分的に基づいてコンテンツを生成する。
エンジン665はまた、NEDシステム600内のアプリケーションを実行し、トラッキングモジュール660からヘッドセット605の位置情報、加速度情報、速度情報、予測される今後の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン665は、ユーザへの提示用としてヘッドセット605に提供するためのコンテンツを特定する。たとえば、受信された情報が、ユーザが左を見たことを示している場合には、エンジン665は、仮想環境における、またはさらなるコンテンツでローカルエリアを拡張する環境におけるユーザの動きを反映するヘッドセット605のためのコンテンツを生成する。加えて、エンジン665は、I/Oインターフェース615から受信されたアクション要求に応答して、コンソール610上で実行されているアプリケーション内でアクションを実行し、そのアクションが実行された旨のフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット605を介した視覚的なもしくは可聴式のフィードバック、またはI/Oインターフェース615を介した触覚フィードバックであることが可能である。
いくつかの実施形態においては、エンジン665は、さまざまな表示アプリケーションおよび対話アプリケーションのために、アイトラッキングシステムから入手されたトラッキング情報をコンソール610およびヘッドセット605に関連して利用するように構成されることが可能である。さまざまなアプリケーションは、ユーザインターフェース(たとえば、視線ベースの選択)を提供すること、注意の推定(たとえば、ユーザの安全のため)、視線条件付き表示モード(たとえば、中心窩レンダリング、可変焦点光学系、適合光学歪み補正、合成被写界深度レンダリング)、深度および視差補正に関するメトリックスケーリング(たとえば、IPDおよびアイボックス調整)などを含むが、それらには限定されない。いくつかの実施形態においては、アイトラッキングシステムから受信されたユーザの目の位置および向きに関する情報に基づいて、エンジン665は、ディスプレイアセンブリ620のディスプレイによる提示用としてヘッドセット605に提供されるコンテンツの解像度を特定する。エンジン665は、ユーザの視線の中心窩領域においては、ディスプレイ上で最大ピクセル密度(最大解像度)を有するコンテンツをヘッドセット605に提供し、その一方でエンジン665は、ディスプレイのその他の領域においては、より低いピクセル解像度を提供し、したがって、ユーザの視覚的経験を損なうことなく、ヘッドセット605でのさらに少ない電力消費を達成し、コンソール610のコンピューティングサイクルを節約する。いくつかの実施形態においては、エンジン665は、アイトラッキングシステムから入手されたトラッキング情報に基づいてヘッドセット605のその他のコンポーネントのパフォーマンスを最適化するように構成されることが可能である。一実施形態においては、エンジン665は、たとえば、輻輳と調節との競合を防止するために、像平面のロケーションを調整するように可変焦点モジュール653に指示することが可能である。
さらなる構成情報
本開示の実施形態についての前述の記述は、例示の目的のために提示されており、網羅的であること、または開示されている厳密な形態に本開示を限定することを意図されているものではない。関連技術分野における技術者なら、上記の開示に照らせば多くの修正および変形が可能であるということを理解することが可能である。
この記述のいくつかの部分は、情報上での動作のアルゴリズムおよびシンボル表示という点から本開示の実施形態について記述している。これらのアルゴリズム的な記述および表示は一般に、データ処理技術分野における技術者たちによって、それらの技術者たちの作業の実体を他の当業者たちに効果的に伝達するために使用されている。これらの動作は、機能的に、計算処理的に、または論理的に記述されているが、コンピュータプログラムまたは均等な電気回路、マイクロコードなどによって実施されるということが理解される。さらに、一般性を失うことなく、モジュールとして動作のこれらのアレンジに言及することが時として好都合であることもわかっている。記述されている動作およびそれらの関連付けられているモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せで具体化されることが可能である。
本明細書において記述されているステップ、動作、またはプロセスのうちのいずれも、1つもしくは複数のハードウェアモジュールもしくはソフトウェアモジュールを用いて、単独で、またはその他のデバイスと組み合わせて実行または実施されることが可能である。一実施形態においては、ソフトウェアモジュールは、記述されているステップ、動作、またはプロセスのうちの任意のものまたはすべてを実行するためにコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含むコンピュータ可読メディアを含むコンピュータプログラム製品とともに実装される。
本開示の実施形態は、本明細書における動作を実行するための装置に関連することも可能である。この装置は、求められている目的のために特別に構築されることが可能であり、および/または、コンピュータに記憶されているコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを含むことが可能である。そのようなコンピュータプログラムは、コンピュータシステムバスへ結合されることが可能である非一時的な有形のコンピュータ可読ストレージメディア、または電子命令を記憶するのに適している任意のタイプのメディアに記憶されることが可能である。さらに、本明細書において言及されている任意のコンピューティングシステムは、シングルプロセッサを含むことが可能であり、またはコンピューティング機能を高めるためにマルチプロセッサ設計を採用しているアーキテクチャーであることが可能である。
本開示の実施形態は、本明細書において記述されているコンピューティングプロセスによって製造される製品に関連することも可能である。そのような製品は、コンピューティングプロセスから生じる情報を含むことが可能であり、それらの情報は、非一時的な有形のコンピュータ可読ストレージメディア上に記憶され、本明細書において記述されているコンピュータプログラム製品またはその他のデータの組合せの任意の実施形態を含むことが可能である。
最後に、本明細書において使用されている言葉は、主として読みやすさおよび教示上の目的で選択されており、本発明の主題の線引きまたは画定を行うために選択されてはいない場合がある。したがって、本開示の範囲は、この詳細な記述によってではなく、むしろ本明細書に基づく出願上で生じるあらゆる請求項によって限定されるということが意図されている。したがって、実施形態の開示は、本開示の範囲を例示するものであり、本開示の範囲を限定するものではないということが意図されており、本開示の範囲は、以降の特許請求の範囲において示されている。

Claims (19)

  1. 第1の表面、および前記第1の表面の反対側の第2の表面を含む透明基板であって、前記第1の表面が、光がアイボックスに到達する前に通過する視領域を含む、透明基板と、
    前記第1の表面に取り付けられそれぞれの導電性経路に結合されている複数のマイクロデバイスであって、前記視領域内に配置されている少なくとも1つのマイクロデバイスを含む複数のマイクロデバイスと
    含むアセンブリであって、
    前記それぞれの導電性経路が、人間の目の血管系を模倣することにより当該導電性経路の可視性を軽減する疑似ランダムな様式でアレンジされており、前記疑似ランダムな様式が、隣接した導電性経路間の最小距離を含む1つまたは複数のパラメータによって統制される、アセンブリ
  2. 前記複数のマイクロデバイスが、少なくとも複数の光源を含む、請求項1に記載のアセンブリ。
  3. 前記視領域が、外側領域によって外接されている回路のない領域から構成されており、前記複数の光源および前記導電性経路が、前記外側領域に配置されている、請求項に記載のアセンブリ。
  4. 前記アセンブリが、ヘッドマウントディスプレイ(HMD:head-mounted display)の一部であり、前記回路のない領域が、前記HMDの視野の中央領域に関連付けられている、請求項3に記載のアセンブリ。
  5. 前記回路のない領域が、最大で12mmの直径を有している、請求項3に記載のアセンブリ。
  6. 前記疑似ランダムな様式が、前記複数の光源のうちの別々の光源に結合されている隣接した導電性経路の間に少なくとも1mmがあるような様式である、請求項3に記載のアセンブリ。
  7. 前記複数の光源のうちの少なくとも1つの光源が、前記視領域の外側に配置されている、請求項3に記載のアセンブリ。
  8. 前記複数の光源のうちの少なくとも1つが、垂直共振器面発光レーザー(VCSEL:vertical cavity emitting laser)である、請求項3に記載のアセンブリ。
  9. 前記複数の光源が、近赤外範囲の波長を有する光を放射するように構成されている、請求項3に記載のアセンブリ。
  10. 記1つまたは複数のパラメータが、導電性経路の周期、前記導電性経路の振幅、前記導電性経路の曲率における変化、および前記導電性経路のランダム性メトリックをさらに含む、請求項1に記載のアセンブリ。
  11. 前記導電性経路のうちの少なくとも1つが、光の可視バンドにおいて透明であり、前記視領域と重なっている、請求項1に記載のアセンブリ。
  12. 前記導電性経路のうちの少なくとも1つが、光の可視バンドにおいて不透明であり、前記視領域の外側にある、請求項1に記載のアセンブリ。
  13. 可視バンドにおいて透明であるコーティング層をさらに含み、前記コーティング層が、前記複数のマイクロデバイスのうちの少なくともいくつかおよび前記透明基板を少なくとも部分的に取り囲んでいる、請求項1に記載のアセンブリ。
  14. 第1の表面、および前記第1の表面の反対側の第2の表面を含む透明基板であって、前記第1の表面が、光がアイボックスに到達する前に通過する視領域を含み、前記視領域が、外側領域によって外接されている回路のない領域から構成されている、透明基板と、
    前記外側領域において前記第1の表面に取り付けられそれぞれの導電性経路に結合されている複数の光源と
    含むアセンブリであって、
    前記それぞれの導電性経路が、人間の目の血管系を模倣することにより当該導電性経路の可視性を軽減する疑似ランダムな様式でアレンジされており、前記疑似ランダムな様式が、隣接した導電性経路間の最小距離を含む1つまたは複数のパラメータによって統制される、アセンブリ
  15. 前記回路のない領域が、ヘッドマウントディスプレイの視野の中央領域に関連付けられている、請求項14に記載のアセンブリ。
  16. 前記回路のない領域が、最大で12mmの直径を有している、請求項14に記載のアセンブリ。
  17. 前記導電性経路の少なくとも一部がまっすぐである、請求項14に記載のアセンブリ。
  18. 前記導電性経路の少なくとも一部が湾曲している、請求項14に記載のアセンブリ。
  19. ニアアイディスプレイ(NED:near-eye display)であって、
    第1の表面、および前記第1の表面の反対側の第2の表面を含む透明基板であって、前記第1の表面が、光がアイボックスに到達する前に通過する視領域を含む、透明基板と、
    前記第1の表面に取り付けられそれぞれの導電性経路に結合されている複数の光源であって、前記視領域内に配置されている少なくとも1つの光源を含む複数の光源と
    含むアセンブリ、ならびに
    前記複数の光源によって放射されて、前記アイボックスに位置している目によって反射された光を記録するように構成されているカメラアセンブリ
    含むアイトラッキングシステム
    み、
    前記それぞれの導電性経路が、人間の目の血管系を模倣することにより当該導電性経路の可視性を軽減する疑似ランダムな様式でアレンジされており、前記疑似ランダムな様式が、隣接した導電性経路間の最小距離を含む1つまたは複数のパラメータによって統制される、NED
JP2020569766A 2018-08-21 2018-09-18 視野内マイクロデバイスを備えた照明アセンブリ Active JP7227989B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/106,555 US10942349B2 (en) 2018-08-21 2018-08-21 Illumination assembly with in-field micro devices
US16/106,555 2018-08-21
PCT/US2018/051595 WO2020040797A1 (en) 2018-08-21 2018-09-18 Illumination assembly with in-field micro devices

Publications (2)

Publication Number Publication Date
JP2021534837A JP2021534837A (ja) 2021-12-16
JP7227989B2 true JP7227989B2 (ja) 2023-02-22

Family

ID=65576259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569766A Active JP7227989B2 (ja) 2018-08-21 2018-09-18 視野内マイクロデバイスを備えた照明アセンブリ

Country Status (2)

Country Link
EP (1) EP3614193A1 (ja)
JP (1) JP7227989B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210132384A1 (en) * 2019-11-06 2021-05-06 Facebook Technologies, Llc Tilted In-Field Light Sources
WO2023023398A1 (en) * 2021-08-20 2023-02-23 Meta Platforms Technologies, Llc Eyeglass devices and related methods

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220291A1 (en) 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
JP2012123147A (ja) 2010-12-08 2012-06-28 Seiko Epson Corp 導光板、導光板の製造方法及び虚像表示装置
JP2012526579A (ja) 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
JP2014508016A (ja) 2011-03-18 2014-04-03 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハー データ転送速度を設定することにより2つの眼における少なくとも1つのパラメータを決定する方法及び光学的測定装置
JP2014532542A (ja) 2011-11-07 2014-12-08 アイフリューエンス,インコーポレイテッド. 高分解能視線検出のためのシステムおよび方法
JP2015505990A (ja) 2011-12-15 2015-02-26 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) 眼用累進レンズ及び半仕上げレンズブランクの組を決定する方法
JP2016528533A (ja) 2013-06-27 2016-09-15 コチ・ウニヴェルシテシKoc Universitesi 眼鏡型画像表示装置
US20160377886A1 (en) 2015-06-23 2016-12-29 Indizen Optical Technologies, S.L. Rewritable lens and method of manufacturing
JP2018036608A (ja) 2016-09-02 2018-03-08 株式会社テレパシージャパン 透明基板を備える接眼型の映像表示装置
US20180160976A1 (en) 2014-11-10 2018-06-14 Unist (Ulsan National Institute Of Science And Technology) Biosensor, transparent circuitry and contact lens including same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790226A (en) * 1996-11-15 1998-08-04 Pollak; David A. Golf bifocals
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9964767B2 (en) * 2016-03-03 2018-05-08 Google Llc Display with reflected LED micro-display panels
WO2017186320A1 (en) * 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220291A1 (en) 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
JP2012526579A (ja) 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
JP2012123147A (ja) 2010-12-08 2012-06-28 Seiko Epson Corp 導光板、導光板の製造方法及び虚像表示装置
JP2014508016A (ja) 2011-03-18 2014-04-03 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハー データ転送速度を設定することにより2つの眼における少なくとも1つのパラメータを決定する方法及び光学的測定装置
JP2014532542A (ja) 2011-11-07 2014-12-08 アイフリューエンス,インコーポレイテッド. 高分解能視線検出のためのシステムおよび方法
JP2015505990A (ja) 2011-12-15 2015-02-26 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) 眼用累進レンズ及び半仕上げレンズブランクの組を決定する方法
JP2016528533A (ja) 2013-06-27 2016-09-15 コチ・ウニヴェルシテシKoc Universitesi 眼鏡型画像表示装置
US20180160976A1 (en) 2014-11-10 2018-06-14 Unist (Ulsan National Institute Of Science And Technology) Biosensor, transparent circuitry and contact lens including same
US20160377886A1 (en) 2015-06-23 2016-12-29 Indizen Optical Technologies, S.L. Rewritable lens and method of manufacturing
JP2018036608A (ja) 2016-09-02 2018-03-08 株式会社テレパシージャパン 透明基板を備える接眼型の映像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN, D.-K., et al.,Suppression of Moire Phenomenon Induced by Metal Grids for Touch Screen Panels,Journal of Display Technology,2016年06月,Vol.12, No.6,pp.632-638,<DOI:10.1109/JDT.2016.2515259>

Also Published As

Publication number Publication date
EP3614193A1 (en) 2020-02-26
JP2021534837A (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10942349B2 (en) Illumination assembly with in-field micro devices
JP6106684B2 (ja) 高分解能視線検出のためのシステムおよび方法
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
US11611197B2 (en) Addressable vertical cavity surface emitting laser array for generating structured light patterns
JP7332680B2 (ja) ウエハーツーウエハーボンディングのためのメサ形成
US20210124167A1 (en) Inconspicuous near-eye electrical circuits
US11145786B2 (en) Methods for wafer-to-wafer bonding
JP7227989B2 (ja) 視野内マイクロデバイスを備えた照明アセンブリ
US11455031B1 (en) In-field illumination for eye tracking
US20220266385A1 (en) Microlens arrays for parallel micropatterning
US11747523B1 (en) Dynamic dot array illuminators
US10952324B2 (en) Spacer for surface mountable electronic components
CN115803585A (zh) 用于生成多个线结构光特征的vcsel阵列
US11508890B2 (en) Collimation of light emitted by light emitting diodes using walls extending through transparent semiconductor
US20240012244A1 (en) OPTICAL ASSEMBLY WITH MICRO LIGHT EMITTING DIODE (LED) AS EYE-TRACKING NEAR INFRARED (nIR) ILLUMINATION SOURCE
US20230300470A1 (en) Techniques for producing glints and iris illumination for eye tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R150 Certificate of patent or registration of utility model

Ref document number: 7227989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150