JP7077411B2 - プレノプティックセルラーイメージングシステム - Google Patents

Description

本開示は、全体的に、ライトフィールドディスプレイ及びカメラに関し、より詳細には、プレノプティックセルラーイメージングシステムに関する。

電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含むことができる。一部のカメラ及び電子ディスプレイは、ライトフィールドを別々にキャプチャして再生するが、ライトフィールドディスプレイ及びライトフィールドカメラは通常、互いに統合されていない。

米国特許出願第１５／７２４，０２７号明細書 米国特許出願第１５／７２４，００４号明細書

１つの実施形態において、電子ディスプレイアセンブリは、マイクロレンズ層と、ピクセルアレイ層とを含む。マイクロレンズ層は、複数のセルを含む。ピクセルアレイ層は、マイクロレンズ層に隣接している。ピクセルアレイ層は、複数のピクセルを含む。複数のセルの各セルは、透明レンズレットと、隣接するセルへの光の漏出を防止するよう構成された複数の不透明壁及び複数のセルの各セルの一方端上のフィルタ層の一方又は両方と、を含む。フィルタ層は、フィルタ層を通過する光を特定の入射角に制限するよう構成される。

本開示は、幾つかの技術的利点を提示する。幾つかの実施形態は、ユーザが装着するのに軽量で快適な状態のままで、ターゲットのライトフィールドを完全且つ正確に再現する。幾つかの実施形態は、不透明さと制御可能な一方向のエミュレートされた透明性の両方と、並びに仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）などのデジタルディスプレイ機能を提供する薄型電子システムを提供する。幾つかの実施形態は、結果として得られる出力ピクセルへの入力ピクセルの直接的な関連付けを利用して、画像変換の必要性を回避する直接センサ－ディスプレイシステムを提供する。これにより、一部のシステムの複雑さ、コスト、電力要件が軽減される。幾つかの実施形態は、大量のデータ（例えば、１６０ｋの画像データ又はそれ以上）のローカル分散処理を提供する層内信号処理構成を提供し、これによってボトルネック、並びに性能、電力及び既存の解決策に関連する伝送ラインの問題を回避する。幾つかの実施形態は、プレノプティックセルのアレイを備えたマイクロレンズ層を利用して、ある量の光を正確にキャプチャして、観察者に表示する。プレノプティックセルは、セル間の光学的クロストークを排除する不透明なセル壁を含み、これにより複製されたライトフィールドの精度を向上させる。

幾つかの実施形態は、ジオデシックファセッティングによって三次元エレクトロニクスを提供する。このような実施形態では、小さな剛性面のアレイ（例えば、ディスプレイ及び／又はセンサファセット）を備えたフレキシブル回路基板は、何れかの３Ｄ形状に形成することができ、これは、ヘッドマウントのニアアイラップディスプレイに必要とされる狭い曲率半径（例えば３０－６０ｍｍ）に対応するのに特に有用である。幾つかの実施形態は、高密度ディスプレイ用の分散型マルチスクリーンアレイを提供する。このような実施形態では、カスタムサイズ及び形状の小さな高分解能マイクロディスプレイ（例えば、ディスプレイファセット）のアレイが形成され、次いで、３Ｄ形状（例えば、半球面）に形成できるより大型のフレキシブル回路基板上に組み立てられる。各マイクロディスプレイは、他のディスプレイとは独立して動作することができ、これにより各々で独自のコンテンツを有する多数の高分解能ディスプレイの大型アレイが提供され、アセンブリ全体が基本的に１つの超高分解能ディスプレイを形成するようになる。幾つかの実施形態は、分散型マルチアパーチャカメラアレイを提供する。このような実施形態は、カスタムサイズ及び形状の小さなイメージセンサ（例えば、センサファセット）のアレイを提供し、これら全ては、３Ｄ（例えば、半球）形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。各個別のイメージセンサは、各々で独自のコンテンツをキャプチャするマルチアパーチャの大型アレイを提供するために、他の何れかのイメージセンサとは独立して動作し、アセンブリ全体が本質的にシームレスな超高分解能のマルチノードカメラとなる。

他の技術的利点は、図１Ａ～図４２、これらの説明及び特許請求の範囲から当業者には容易に明らかになるであろう。更に、特定の利点が上記で列挙されたが、様々な実施形態は、列挙された利点の全て又は一部を含むか、或いは全てを含まない場合がある。

本開示及びその利点をより完全に理解するために、ここで添付図面を参照しながら以下の説明を参照されたい。

特定の実施形態による、様々な３次元（３Ｄ）オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、様々な３次元（３Ｄ）オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、様々な３次元（３Ｄ）オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、透明パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、透明パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、透明パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、図３Ａ～図３Ｃのカメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図３Ａ～図３Ｃのカメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図３Ａ～図３Ｃのカメラ画像パネルを通る図１Ａ～図１Ｃの３Ｄオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図４Ａ～図４Ｃのエミュレートされた透明な電子パネルを通る別の角度から図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、図４Ａ～図４Ｃのエミュレートされた透明な電子パネルを通る別の角度から図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、図４Ａ～図４Ｃのエミュレートされた透明な電子パネルを通る別の角度から図１Ａ～図１Ｃの３Ｄオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明アセンブリの切り欠き図である。 特定の実施形態による、図７のエミュレートされた透明アセンブリの分解図である。 特定の実施形態による、図７のエミュレートされた透明アセンブリを製造する方法を示す図である。 特定の実施形態による、図７のエミュレートされた透明アセンブリによって使用できる直接センサ－ディスプレイシステムを示す図である。 特定の実施形態による、図１０の直接センサ－ディスプレイシステムを製造する方法を示す図である。 特定の実施形態による、図７のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。 特定の実施形態による、図７のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。 特定の実施形態による、図１２～図１３の層内信号処理システムを製造する方法を示す図である。 特定の実施形態による、図７のエミュレートされた透明アセンブリによって使用できるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図１５のプレノプティックセルアセンブリの一部の断面図である。 特定の実施形態による、様々な光の入射フィールドと共に図１５のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、様々な光の入射フィールドと共に図１５のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、様々な光の入射フィールドと共に図１５のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する方法を示す図である。 特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する方法を示す図である。 特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する別の方法を示す図である。 特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する別の方法を示す図である。 特定の実施形態による、図１８Ａ～図１９Ｂの方法によって製造することができるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図１８Ａ～図１９Ｂの方法によって製造することができるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図７のエミュレートされた透明アセンブリによって使用できるフレキシブル回路基板を示す図である。 特定の実施形態による、図２２のフレキシブル回路基板の追加の詳細を示す図である。 特定の実施形態による、図２２のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、図２２のフレキシブル回路基板を使用して電子アセンブリを製造する方法を示す図である。 特定の実施形態による、湾曲したマルチディスプレイアレイの切り欠き図である。 特定の実施形態による、図２６の湾曲したマルチディスプレイアレイの分解図である。 特定の実施形態による、図２６の湾曲したマルチディスプレイアレイの論理ファセットを示す図である。 特定の実施形態による、図２６の湾曲したマルチディスプレイアレイのディスプレイファセットを示す図である。 特定の実施形態による、図２２のフレキシブル回路基板の裏側を示す図である。 特定の実施形態による、図３０のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、半球形状に形成された図３０のフレキシブル回路基板を示す図である。 特定の実施形態による、図３２のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、半球形状に形成された論理ファセットのアレイを示す図である。 特定の実施形態による、図３４の論理ファセット間の通信を示す図である。 特定の実施形態による、図２６の湾曲したマルチディスプレイアレイを製造する方法を示す図である。 特定の実施形態による、湾曲したマルチカメラアレイの切り欠き図である。 特定の実施形態による、図３７の湾曲したマルチカメラアレイの分解図である。 特定の実施形態による、図３７の湾曲したマルチカメラアレイの分解図である。 特定の実施形態による、図３２のフレキシブル回路基板の背面図である。 特定の実施形態による、図４０のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、図３７の湾曲したマルチカメラアレイを製造する方法を示す図である。

電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含みことができる。しかしながら、ディスプレイ及びイメージセンサを備えたデバイスは、一般に、完全なフォトニック環境を正確にキャプチャして表示する機能に制限がある。

既存の電子ディスプレイに関連する問題及び制限に対処するために、本開示の実施形態は、ライトフィールドをキャプチャして表示するための様々な電子アセンブリを提供する。図１Ａ－図９は、電子的にエミュレートされた透明性を備えたディスプレイアセンブリに関し、図１０－図１１は、ダイレクトカメラ－ディスプレイシステムに関し、図１２－図１４は、層内信号処理に関し、図１５－図２１は、プレノプティックセルラーイメージングシステムに関し、図２２－図２５は、ジオデシックファセッティングによる３次元（３Ｄ）エレクトロニクス分散に関し、図２６－図３６は高密度ディスプレイ用の分散型マルチスクリーンアレイに関し、図３７－図４２は分散型マルチアパーチャカメラアレイに関する。

本開示のより良い理解を促進するために、特定の実施形態の以下の実施例が与えられる。以下の実施例は、本開示の範囲を限定又は定義するように読むべきではない。本開示の実施形態及びその利点は、図１Ａ～図４２を参照することによって最もよく理解され、これらの図では、同様の参照番号が同様の部分及び対応する部分を示すのに使用されている。

図１Ａ～図９は、特定の実施形態による、電子的にエミュレートされた透明性を有するアセンブリの様々な態様を示す。一般に、図７～図８に詳細に示されている電子アセンブリは、仮想現実（ＶＲ）、拡張現実（ＡＲ）、及び複合現実（ＭＲ）などの機能を提供するのに様々な用途で使用することができる。ＶＲアプリケーションでは、標準のコンピューターモニターが背後のシーンのビューをブロックする方法と同じように、現実世界のビューを完全に置き換えることができるデジタルディスプレイが必要とされる。しかしながら、ＡＲアプリケーションでは、最新のコックピット内のパイロットのヘッドアップディスプレイのように、現実世界のビュー上にデータを重畳することができるデジタルディスプレイが必要とされる。ＭＲアプリケーションでは、両方の組み合わせを必要とする。これらの機能の一部又は全てを提供するために使用される典型的なシステムは、幾つかの理由から望ましいものではない。例えば、典型的な解決策では、ターゲットライトフィールドを正確又は完全な再現を提供していない。別の実施例として、既存の解決策は、典型的には嵩高で、ユーザにとって快適ではない。

既存の電子ディスプレイに関する問題及び制限に対処するために、本開示の実施形態は、不透明性と制御可能な一方向のエミュレートされた透明性の両方、並びにデジタルディスプレイ機能を提供する薄型電子システムを提供する。一方の側からは表面が不透明に見えるが、反対側からは表面が完全に透明に見えるか、完全に不透明に見えてデジタルディスプレイとして機能するか、又はこれらの任意の組み合わせとすることができる。幾つかの実施形態では、プレノプティックセンシングとディスプレイの同時技術が単一の層状構造内で組み合わされて、一方向の視覚的に透明な表面に見えるものを形成する。システムは、拡張及び／又はデジタル制御することができる透明性を人工的に再現する目的で、エレクトロニクス及び光学系の複数の層を含むことができる。一方の側上の個別のイメージセンサピクセルは、アセンブリの反対側上のディスプレイピクセルの位置に一致するように空間的に配置することができる。幾つかの実施形態では、全ての電子駆動回路並びに一部のディスプレイロジック回路は、センサ層とディスプレイ層の間に挟むことができ、各センサピクセルの出力信号は、回路を介して反対側の対応するディスプレイピクセルに送ることができる。幾つかの実施形態では、この中央処理された信号は、反対側のプレノプティックイメージングセンサアレイからの入力信号と集約され、次の動作モードに従って処理される。ＶＲモードでは、外部ビデオフィードがカメラデータよりも優先し、ユーザの外界のビューをビデオからの受信ビューで完全に置き換える。ＡＲモードでは、外部ビデオフィードがカメラデータに重畳されるため、外部世界とビデオからのビューの両方が組み合わされたビューになる（例えば、ビデオデータが単にシーンに追加される）。ＭＲモードでは、外部ビデオフィードがカメラデータと混合され、仮想オブジェクトが現実世界の実際のオブジェクトと相互作用するように見えることができ、仮想コンテンツを変更して、オブジェクトのオクルージョン、照明、その他を通じて実際の環境と統合するように見せる。

幾つかの実施形態は、積み重ねられた透明な高ダイナミックレンジ（ＨＤＲ）センサ及びディスプレイピクセルを１つの構造体に組み合わせ、センサピクセルをアセンブリの一方の側に、ディスプレイピクセルを他方の側に備え、カメラとディスプレイの間でピクセルごとに整列される。センサ及びディスプレイピクセルアレイの両方は、マイクロレンズのグループにより合焦されて、４次元ライトフィールドをキャプチャし表示することができる。これは、現実世界の完全なビューがアセンブリの一方の側でキャプチャされ、他方の側で電子的に再現され、斜めの角度から見た場合でも、ディスプレイ側の画像が透明に見える明瞭性、輝度、及び十分な角分解能を維持しながら、入力画像の部分的又は完全な変更を可能にすることを意味する。

図１Ａ～図６Ｃは、本開示の実施形態によって提供される電子的にエミュレートされた透明性と典型的なカメラ画像（カメラビューファインダーを介して、又はスマートフォンを使用して現在のカメラ画像を表示するなど）との間の差異を示すのに提供される。図１Ａ～図１Ｃは、特定の実施形態による、様々な３Ｄオブジェクト１１０（すなわち、１１０Ａ～Ｃ）及び正面ビュー位置を伴う参照シーンを示す。図１Ａは、３Ｄオブジェクト１１０の配置及び３Ｄオブジェクト１１０の正面ビュー方向の上面図である。図１Ｂは、図１Ａと同じ３Ｄオブジェクト１１０及び正面ビュー方向の配置の斜視図である。図１Ｃは、図１Ａ及び１Ｂに示される位置からの３Ｄオブジェクト１１０の結果として得られる正面図である。図から分かるように、３Ｄオブジェクト１１０の図１Ｃのビューは、３Ｄオブジェクト１１０の通常の予想ビューである（すなわち、観察者と３Ｄオブジェクト１１０との間に何も存在しないので、３Ｄオブジェクト１１０のビューは全く変更されない）。

図２Ａ～図２Ｃは、特定の実施形態による、透明パネル２１０を通る図１Ａ～図１Ｃの３Ｄオブジェクト１１０のビューを示す。透明パネル２１０は、例えば、一片の透明ガラスとすることができる。図２Ａは、透明パネル２１０を通る３Ｄオブジェクト１１０の正面ビュー方向の上面図であり、図２Ｂは、図２Ａと同じ３Ｄオブジェクト１１０及び正面ビュー方向の配置の斜視図である。図２Ｃは、図２Ａ及び２Ｂに例示される位置からの透明パネル２１０を通る３Ｄオブジェクト１１０の結果として得られる正面図である。図から分かるように、透明パネル２１０を通る３Ｄオブジェクト１１０の図２Ｃのビューは、３Ｄオブジェクト１１０の通常の予想されるビューである（すなわち、３Ｄオブジェクト１１０のビューは、観察者が透明パネル２１０を通じて見ているので全く変更されない）。換言すると、図２Ｃの透明パネル２１０を通る３Ｄオブジェクト１１０のビューは、図１Ｃのビューと同じであり、観察者と３Ｄオブジェクト１１０との間にオブジェクトは存在しない（すなわち、「知覚された」透明性）。換言すると、透明パネル２１０上に投影された画像のエッジは、透明パネル２１０の背後にある実際の３Ｄオブジェクト１１０のビューと整列して、３Ｄオブジェクト１１０Ａのビュー整列画像２２０Ａ、３Ｄオブジェクト１１０Ｂのビュー整列画像２２０Ｂ、及び３Ｄオブジェクト１１０Ｃのビュー整列画像２２０Ｃを生成する。

図３Ａ～図３Ｃは、特定の実施形態による、カメラ画像パネル３１０を通る図１Ａ～図１Ｃの３Ｄオブジェクト１１０のビューを示す。カメラ画像パネル３１０は、例えば、現在のカメラ画像を表示しているカメラのビューファインダー又はスマートフォンのディスプレイとすることができる。これらの画像では、カメラ画像パネル３１０は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを示すために、観察者に対してある角度（例えば、３０度）にある。図３Ａは、カメラ画像パネル３１０を通る３Ｄオブジェクト１１０の正面ビュー方向の上面図であり、図３Ｂは、図３Ａと同じ３Ｄオブジェクト１１０及び正面ビュー方向の配置の斜視図である。図３Ｃは、図３Ａ及び図３Ｂに示された位置からカメラ画像パネル３１０を通る３Ｄオブジェクト１１０の結果として得られる正面図である。図から分かるように、カメラ画像パネル３１０を通る３Ｄオブジェクト１１０の図３Ｃのビューは、透明パネル２１０を通る３Ｄオブジェクト１１０のビューとは異なる。ここで、カメラ画像パネル３１０は、カメラ画像パネル３１０に垂直な見通し線をリダイレクトし、これにより、知覚される透明性は示されない（すなわち、カメラ画像パネル３１０上の画像は、ビューと整列していないが、リダイレクトされた見通し線によって収集された画像を描いている）。換言すると、カメラ画像パネル３１０上に投影された画像のエッジは、カメラ画像パネル３１０の背後にある実際の３Ｄオブジェクト１１０のビューとは整列しない。これは、図３Ｃにおいて、カメラ画像パネル３１０上の３Ｄオブジェクト１１０Ａの位置合わせされていない画像３２０Ａ及び３Ｄオブジェクト１１０Ｂの位置合わせされていない画像３２０Ｂによって示される。

図４Ａ～図４Ｃは、特定の実施形態による、エミュレートされた透明な電子パネル４１０を通る図１Ａ～図１Ｃの３Ｄオブジェクト１１０のビューを示す。これらの画像では、エミュレートされた透明性パネル４１０は、カメラ画像パネル３１０とは異なり、エミュレートされた透明性パネル４１０がどのように真のエミュレートされた透明性を提供するかを示すために、観察者に対してある角度（例えば３０度）にある。図４Ａは、エミュレートされた透明パネル４１０を通る３Ｄオブジェクト１１０の正面ビュー方向の上面図であり、図４Ｂは、図４Ａと同じ３Ｄオブジェクト１１０及び正面ビュー方向の配置の斜視図である。図４Ｃは、図４Ａ及び図４Ｂに示される位置からのエミュレートされた透明パネル４１０を通る３Ｄオブジェクト１１０の結果として得られる正面図である。図から分かるように、エミュレートされた透明パネル４１０を通る３Ｄオブジェクト１１０の図４Ｃのビューは、カメラ画像パネル３１０を通る３Ｄオブジェクト１１０のビューとは異なるが、透明パネル２１０を通る３Ｄオブジェクト１１０のビューに類似している。ここでは、エミュレートされた透明パネル４１０は、エミュレートされた透明パネル４１０を通して観察者からの見通し線をリダイレクトしないが、これらを実質的に変更せずに維持し、これによってエミュレートされた透明性を提供する（すなわち、エミュレートされた透明パネル４１０上の画像は、透明パネル２１０のようにビューに位置合わせされる）。透明パネル２１０と同様に、エミュレートされた透明パネル４１０上に投影された画像のエッジは、エミュレートされた透明パネル４１０の背後にある実際の３Ｄオブジェクト１１０のビューと整列して、３Ｄオブジェクト１１０Ａのビュー整列画像２２０Ａ、３Ｄオブジェクト１１０Ｂのビュー整列画像２２０Ｂ、及び３Ｄオブジェクト１１０Ｃのビュー整列画像２２０Ｃを作成する。

図５Ａ～図５Ｃは、図３Ａ～図３Ｃのカメラ画像パネル３１０を通るが別の角度からの図１Ａ～図１Ｃの３Ｄオブジェクト１１０のビューを示す。これらの画像では、カメラ画像パネル３１０は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを更に示すために、観察者に対して異なる３０度の角度にある。図３Ａ～図３Ｃと同様に、カメラ画像パネル３１０上の投影された画像のエッジは、カメラ画像パネル３１０の背後の実際の３Ｄオブジェクト１１０のビューと整列しない。これは、図５Ｃにおいて、カメラ画像パネル３１０上の３Ｄオブジェクト１１０Ｃの位置合わせされていない画像３２０Ｃ及び３Ｄオブジェクト１１０Ｂの位置合わせされていない画像３２０Ｂによって示されている。

図６Ａ～図６Ｃは、図４Ａ～図４Ｃのエミュレートされた透明な電子パネル４１０を通るが別の角度からの図１Ａ～図１Ｃの３Ｄオブジェクト１１０のビューを示す。図４Ａ～図４Ｃと同様に、図６Ｃのエミュレートされた透明パネル４１０に投影された画像のエッジは、エミュレートされた透明パネル４１０の背後にある実際の３Ｄオブジェクト１１０のビューと整列して、３Ｄオブジェクト１１０Ｂのビュー整列画像２２０Ｂ及び３Ｄオブジェクト１１０Ｃのビュー整列画像２２０Ｃを作成する。

図４Ａ～図４Ｃ及び図６Ａ～図６Ｃにて上記のように示すように、エミュレートされた透明パネル４１０は、エミュレートされた透明パネル４１０の背後にある３Ｄオブジェクト１１０のビュー整列画像２２０を提供し、これによって電子的にエミュレートされた透明性を提供する。図７～図８は、エミュレートされた透明パネル４１０の例示的な実施形態を示している。図７は、エミュレートされた透明パネル４１０とすることができるエミュレートされた透明アセンブリ７１０の切り欠き図を示し、図８は、特定の実施形態による、図７のエミュレートされた透明アセンブリ７１０の分解図を示す。

幾つかの実施形態では、エミュレートされた透明アセンブリ７１０は、２つのマイクロレンズアレイ７２０（すなわち、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂ）と、イメージセンサ層７３０と、回路基板７４０と、電子回路ディスプレイ層７６０とを含む。一般に、入射ライトフィールド７０１は、センサ側マイクロレンズアレイ７２０Ａに入り、ここでイメージセンサ層７３０によって検出される。次いで、電子的に複製された出射ライトフィールド７０２が、電子ディスプレイ層７６０によって生成され、ディスプレイ側マイクロレンズアレイ７２０Ｂを通って投影される。以下でより詳細に説明するように、エミュレートされた透明アセンブリ７１０の独自の配置及び特徴により、電子的に複製された出射ライトフィールド７０２を介して電子的にエミュレートされた透明性を、並びに以下で説明する他の特徴を提供することができる。エミュレートされた透明アセンブリ７１０の特定の形状が図７～図８に示されているが、エミュレートされた透明アセンブリ７１０は、任意の多角形又は非多角形を含む任意の適切な形状と、フラット及び非フラット構成の両方とを有することができる。

マイクロレンズアレイ７２０（すなわち、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂ）は、一般に、マイクロレンズの層である。幾つかの実施形態では、図１５を参照して以下でより詳細に説明されるように、マイクロレンズアレイ７２０の各マイクロレンズは、プレノプティックセル１５１０である。一般に、センサ側マイクロレンズアレイ７２０Ａの各マイクロレンズは、入射ライトフィールド７０１の一部をキャプチャし、これをイメージセンサ層７３０内のピクセルに向けるように構成される。同様に、ディスプレイ側マイクロレンズアレイ７２０Ｂの各マイクロレンズは、電子ディスプレイ層７６０のピクセルによって生成される電子的に複製された出射ライトフィールド７０２の一部を放出するように構成される。幾つかの実施形態では、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂの各マイクロレンズは、３Ｄ形状であり、その３Ｄ形状の一方端にコリメートレンズを有する。３Ｄ形状は、例えば、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体とすることができる。幾つかの実施形態では、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂの各マイクロレンズは、光が隣接するマイクロレンズに漏れるのを防ぐように構成されたセル壁１５１４（図１５を参照して以下で論じる）などの不透明壁を含む。幾つかの実施形態では、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂの各マイクロレンズは、追加として又は代替として、光が隣接するマイクロレンズに漏れることを防ぐために、以下に記載するフィルタ層１６４０などの光入射角度阻止コーティングを含む。

幾つかの実施形態では、センサ側マイクロレンズアレイ７２０Ａのマイクロレンズは、第１の方向に向けられ、ディスプレイ側マイクロレンズアレイ７２０Ｂのマイクロレンズは、第１の方向から１８０度である第２の方向に向けられる。換言すると、エミュレートされた透明アセンブリ７１０の幾つかの実施形態は、ディスプレイ側マイクロレンズアレイ７２０Ｂと正反対に向けられたセンサ側マイクロレンズアレイ７２０Ａを含む。他の実施形態では、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂの何れかの他の向きが実施可能である。

一般に、イメージセンサ層７３０は、センサ側マイクロレンズアレイ７２０Ａを通過した後に入射ライトフィールド７０１を検出するように構成された複数のセンサピクセルを含む。幾つかの実施形態では、イメージセンサ層７３０は、センサユニット７３５のアレイ（例えば、図８に示されるようなセンサユニット７３５Ａ～Ｃ）を含む。各センサユニット７３５は、イメージセンサ層７３０の定義された部分（例えば、矩形グリッドの一部などの特定の領域）、又はイメージセンサ層７３０内のセンサピクセルの特定の数又はパターンとすることができる。幾つかの実施形態では、各センサユニット７３５は、以下で説明するように、論理ユニット層７５０の特定の論理ユニット７５５に対応する。幾つかの実施形態では、イメージセンサ層７３０は、センサ側マイクロレンズアレイ７２０Ａに結合されるか、又は直接隣接している。幾つかの実施形態では、イメージセンサ層７３０は、センサ側マイクロレンズアレイ７２０Ａと回路基板７４０との間にある。他の実施形態では、イメージセンサ層７３０は、センサ側マイクロレンズアレイ７２０Ａと論理ユニット層７５０との間にある。幾つかの実施形態では、他の適切な層が、イメージセンサ層７３０の何れかの側のエミュレートされた透明アセンブリ７１０に含めることができる。更に、センサユニット７３５の特定の数及びパターンが示されているが、センサユニット７３５の何れかの適切な数（１つのみを含む）及びパターンを使用することができる。

回路基板７４０は、任意の適切な剛性又はフレキシブル回路基板である。一般に、回路基板７４０は、エミュレートされた透明アセンブリ７１０の様々な層間の電気的接続を提供する様々なパッド及びトレースを含む。一例として、回路基板７４０を含む実施形態では、回路基板７４０は、イメージセンサ層７３０と論理ユニット層７５０との間に電気接続を提供するために、図７～図８に示されるようにイメージセンサ層７３０と論理ユニット層７５０の間に配置することができる。他の実施形態では、回路基板７４０は、論理ユニット層７５０と電子ディスプレイ層７６０との間に電気接続を提供するために、論理ユニット層７５０と電子ディスプレイ層７６０との間に配置することができる。幾つかの実施形態では、回路基板７４０は、ユニット取付ロケーション７４５のアレイ（例えば、図８に示されるようなユニット取付ロケーション７４５Ａ－Ｃ）を含む。各ユニット取付ロケーション７４５は、回路基板７４０の定義された部分（例えば、矩形グリッドの一部などの特定の領域）であり、複数のパッド（例えば、ボールグリッドアレイ（ＢＧＡ）パッド）及び／又はビアを含むことができる。幾つかの実施形態では、各ユニット取付ロケーション７４５は、イメージセンサ層７３０の特定のセンサユニット７３５と電子ディスプレイ層７６０の特定のディスプレイユニット７６５に対応し（例えば、ユニット取付ロケーション７４５Ａは、センサユニット７３５Ａ及びディスプレイユニット７６５Ａに対応する）、対応する特定のセンサユニット７３５と特定のディスプレイユニット７６５との間の電気通信を可能にするように構成される。

論理ユニット層７５０は、エミュレートされた透明アセンブリ７１０のための任意選択／追加の論理及び／又は処理を提供する。一般に、論理ユニット層７５０は、イメージセンサ層７３０の複数のセンサピクセルから電子ディスプレイ層７６０の複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートし、これによりセンサ側マイクロレンズアレイ７２０Ａを通して検出された入射ライトフィールド７０１の角度に対応する角度で、電子的に複製された出射ライトフィールド７０２をディスプレイ側マイクロレンズアレイ７２０Ｂから放出する。センサ側マイクロレンズアレイ７２０Ａを通じて検出された入射ライトフィールド７０１の角度に対応する角度で、ディスプレイ側マイクロレンズアレイ７２０Ｂから電子的に複製された出射ライトフィールド７０２を放出することにより、エミュレートされた透明アセンブリ７１０が存在しない（すなわち、エミュレートされた透明性）場合に見られるものと一致する画像が表示される。幾つかの実施形態では、論理ユニット層７５０は、論理ユニット７５５のアレイ（例えば、図８に示されるような論理ユニット７５５Ａ～Ｃ）を含む。各論理ユニット７５５は、論理ユニット層７５０の定義された部分（例えば、矩形グリッドの一部分などの特定の領域）とすることができる。幾つかの実施形態では、各論理ユニット７５５は、論理ユニット層７５０を形成するために後で他の論理ユニット７５５に連結又は結合される別個の物理的剛性ユニットである。幾つかの実施形態では、各論理ユニット７５５は、イメージセンサ層７３０の特定のセンサユニット７３５及び電子ディスプレイ層７６０の特定のディスプレイユニット７６５に対応する（例えば、論理ユニット７５５Ａは、センサユニット７３５Ａ及びディスプレイユニット７６５Ａに対応する（及び電気的に結合される））。幾つかの実施形態では、論理ユニット層７５０は、回路基板７４０と電子ディスプレイ層７６０との間に配置される。他の実施形態では、論理ユニット層７５０は、イメージセンサ層７３０と回路基板７４０との間にある。幾つかの実施形態では、他の適切な層が、論理ユニット層７５０の何れかの側でエミュレートされた透明アセンブリ７１０に含めることができる。更に、論理ユニット７５５の特定の数及びパターンが示されているが、論理ユニット７５５の任意の適切な数（なし又は１つのみを含む）及びパターンを使用することができる。

一般に、電子ディスプレイ層７６０は、ディスプレイ側マイクロレンズアレイ７２０Ｂを通して電子的に複製された出射ライトフィールド７０２を生成及び投影するように構成された複数のディスプレイピクセルを含む。幾つかの実施形態では、電子ディスプレイ層７６０は、ディスプレイユニット７６５のアレイ（例えば、図８に示されるようなディスプレイユニット７６５Ａ～Ｃ）を含む。各ディスプレイユニット７６５は、電子ディスプレイ層７６０の定義された部分（例えば、矩形グリッドの一部などの特定の領域）、又は電子ディスプレイ層７６０内の特定の数又はパターンのディスプレイピクセルとすることができる。幾つかの実施形態では、各ディスプレイユニット７６５は、論理ユニット層７５０の特定の論理ユニット７５５に対応する。幾つかの実施形態では、電子ディスプレイ層７６０は、ディスプレイ側マイクロレンズアレイ７２０Ｂに結合されるか、或いは直接隣接する。幾つかの実施形態では、電子ディスプレイ層７６０は、ディスプレイ側マイクロレンズアレイ７２０Ｂと回路基板７４０との間にある。他の実施形態では、電子ディスプレイ層７６０は、ディスプレイ側マイクロレンズアレイ７２０Ｂと論理ユニット層７５０との間にある。幾つかの実施形態では、他の適切な層が、電子ディスプレイ層７６０の何れかの側でエミュレートされた透明アセンブリ７１０に含めることができる。更に、ディスプレイユニット７６５の特定の数及びパターンが示されているが、ディスプレイユニット７６５の任意の適切な数（１つだけを含む）及びパターンを使用することができる。

幾つかの実施形態では、イメージセンサ層７３０のセンサピクセルは、図１８～図２０及びこれらに関連する、「イメージセンサ用のスタックされた透明ピクセル構造」という名称の米国特許出願第１５／７２４，０２７号明細書に記載されているように、センサピクセル１８００とすることができ、本出願は、引用により全体が本明細書に組み込まれる。幾つかの実施形態では、電子ディスプレイ層７６０のディスプレイピクセルは、図１～図４及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第１５／７２４，００４号明細書に記載されているディスプレイピクセル１００であり、本出願は、引用により全体が本明細書に組み込まれる。

図７～図８は、センサ、ディスプレイ、及びエレクトロニクスのアレイを有するものとしてエミュレートされた透明アセンブリ７１０を示しているが、他の実施形態は、単一ユニット構成を有することができる。更に、エミュレートされた透明性アセンブリ７１０の図示の実施形態は、一方向のエミュレートされた透明性を示し（すなわち、単一方向からの入射ライトフィールド７０１のキャプチャ並びに反対方向での対応する電子的に複製された出射ライトフィールド７０２の表示を可能にする）、他の実施形態は、双方向透明性を可能にするエミュレートされた透明アセンブリ７１０の配置及び組み合わせを含むことができる。

図９は、特定の実施形態による、図７のエミュレートされた透明アセンブリ７１０を製造する方法９００を示す。方法９００は、ステップ９１０で開始することができ、回路基板上に複数のユニット取付ロケーションが形成される。幾つかの実施形態では、回路基板は回路基板７４０であり、ユニット取付ロケーションは、ユニット取付ロケーション１４５である。幾つかの実施形態では、各ユニット取付ロケーションは、ディスプレイユニット７６５などの複数のディスプレイユニットの１つ及びセンサユニット７３５などの複数のセンサユニットの１つに対応する。

ステップ９２０において、複数のセンサユニットが回路基板の第１の側に結合される。幾つかの実施形態では、センサユニットは、センサユニット７３５である。幾つかの実施形態では、各センサユニットは、ステップ９２０において、ステップ９１０のユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、センサユニットは、最初にイメージセンサ層７３０などのイメージセンサ層に形成され、イメージセンサ層は、このステップにおいて回路基板の第１の側に結合される。

ステップ９３０において、複数のディスプレイユニットが、第１の側とは反対側の回路基板の第２の側に結合される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット７６５である。幾つかの実施形態では、各ディスプレイユニットは、ユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、ディスプレイユニットは、最初に電子ディスプレイ層７６０などのディスプレイ層に形成され、ディスプレイ層は、このステップで回路基板の第２の側に結合される。

ステップ９４０において、第１の複数のマイクロレンズが、ステップ９２０の複数のセンサユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル１５１０である。幾つかの実施形態では、マイクロレンズは、最初にセンサ側マイクロレンズアレイ７２０Ａなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層はセンサユニットに結合される。

ステップ９５０において、第２の複数のマイクロレンズが、ステップ９３０の複数のディスプレイユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル１５１０である。幾つかの実施形態では、マイクロレンズは、最初に、ディスプレイ側マイクロレンズアレイ７２０Ｂなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層は、ディスプレイユニットに結合される。ステップ９５０の後、方法９００は終了することができる。

幾つかの実施形態では、方法９００は、ステップ９１０の回路基板とステップ９３０の複数のディスプレイユニットとの間に複数の論理ユニットを結合するステップを更に含むことができる。幾つかの実施形態では、論理ユニットは、論理ユニット７５５である。幾つかの実施形態では、複数の論理ユニットは、回路基板とステップ９２０の複数のセンサユニットとの間に結合される。

特定の実施形態は、必要に応じて、方法９００の１又は２以上のステップを繰り返すことができる。本開示は、方法９００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で行う方法９００の任意の適切なステップを企図している。更に、本開示は、方法９００の特定のステップを含むエミュレートされた透明アセンブリの製造方法の実施例を説明及び例示しているが、本開示は、必要に応じて、方法９００のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切なエミュレートされた透明アセンブリの製造方法を企図している。更に、本開示は、方法９００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法９００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

図１０は、特定の実施形態による、図７のエミュレートされた透明アセンブリによって実装することができる直接センサ－ディスプレイシステム１０００を示す。一般に、図１０は、エミュレートされた透明性アセンブリ７１０の実施形態が、入力ピクセルの当然の結果として生じる出力ピクセルへの直接的な関連付けをどのように利用するかを示している。幾つかの実施形態では、これは、イメージセンサ層７３０と電子ディスプレイ層７６０が互いに近接近し、図７－８に示されているように共有基板（例：回路ボード７４０）の両側に装着されるように層状手法を用いて達成される。イメージセンサ層７３０からの信号は、回路基板７４０（及び一部の実施形態では論理ユニット層７５０）を通じて電子ディスプレイ層７６０に直接伝達することができる。論理ユニット層７５０は、何らかの必要な制御又は拡張のための任意選択の入力を用いて単純な処理を提供する。典型的な電子センサ／ディスプレイペア（デジタルカメラなど）は、ディスプレイが入力センサに直接結合されておらず、ある程度の画像変換が必要になるという点で、１対１の関係を表していない。しかしながら、本開示の特定の実施形態は、入力ピクセルと出力ピクセルの間に１対１のマッピングを実装し（すなわち、センサピクセルとディスプレイピクセルのレイアウトが同じである）、これにより、何れかの画像変換の必要性が回避される。これにより、エミュレートされた透明性アセンブリ７１０の複雑さと電力要件が軽減される。

図１０に示されるように、各センサユニット７３５は、対応するディスプレイユニット７６５に直接結合される。例えば、センサユニット７３５Ａは、ディスプレイユニット７６５Ａに直接結合することができ、センサユニット７３５Ｂは、ディスプレイユニット７６５Ｂに直接結合することができる。幾つかの実施形態では、センサユニット７３５とディスプレイユニット７６５との間の信号伝達は、低電圧差動信号伝達（ＬＶＤＳ）などの任意の適切な差動信号伝達とすることができる。より具体的には、各センサユニット７３５は、入射ライトフィールド７０１に対応する特定のフォーマット（例えば、ＬＶＤＳ）で第１の信号を出力することができる。幾つかの実施形態では、第１の信号は、対応する論理ユニット７５５を介して送信され、該論理ユニット７５５は、第２の信号を第１の信号（例えば、ＬＶＤＳ）と同じフォーマットでディスプレイユニット７６５に送信する。他の実施形態では、第１の信号は、センサユニット７３５からディスプレイユニット７６５に直接送信される（例えば、センサユニット７３５及びディスプレイユニット７６５は、回路基板７４０の反対側に直接結合される）。ディスプレイユニット７６５は、論理ユニット７５５から第２の信号（又は回路基板７４０を介してセンサユニット７３５から直接第１の信号）を受け取り、これらを使用して出射ライトフィールド７０２を生成する。

センサユニット７３５とディスプレイユニット７６５との間の信号伝達において変換が必要とされないので、エミュレートされた透明アセンブリ７１０は、典型的なディスプレイ／センサの組み合わせから多くの利益を提供することができる。第１に、センサユニット７３５からの信号をディスプレイユニット７６５に変換するための信号プロセッサが必要とされない。例えば、センサユニット７３５とディスプレイユニット７６５との間の画像変換を実行するためのオフボード信号プロセッサが必要ではない。これにより、エミュレートされた透明アセンブリ７１０についてのスペース、複雑さ、重量、及びコスト要件が軽減される。第２に、エミュレートされた透明アセンブリ７１０は、ディスプレイ／センサの組み合わせにおいて通常可能となるであろうよりも高い分解能を提供することができる。センサユニット７３５をディスプレイユニット７６５と直接結合し、ユニット間のデータの処理又は変換を必要としないことにより、センサユニット７３５及びディスプレイユニット７６５の分解能は、通常可能となるであろうよりも遙かに高くなる可能性がある。更に、エミュレートされた透明アセンブリ７１０は、任意の特定の時間に、センサユニット７３５及びディスプレイユニット７６５にわたって異種の分解能を提供することができる。すなわち、特定のセンサユニット７３５及び対応するディスプレイユニット７６５は、特定の時間に他のセンサユニット７３５及びディスプレイユニット７６５とは異なる特定の分解能を有することができ、各センサユニット７３５及びディスプレイユニット７６５の分解能は、いつでも変更することができる。

幾つかの実施形態では、センサユニット７３５の各特定のセンサピクセルは、対応するディスプレイユニット７６５の単一のディスプレイピクセルにマッピングされ、ディスプレイピクセルは、そのマッピングされたセンサピクセルによってキャプチャされた光に対応する光を表示する。これは、図１７Ａ－図１７Ｂに最もよく示されている。一例として、センサ側マイクロレンズアレイ７２０Ａの特定のプレノプティックセル１５１０（例えば、図１７Ａのセンサ側マイクロレンズアレイ７２０Ａの下部プレノプティックセル１５１０）の各中央センシングピクセル１７２５は、ディスプレイ側マイクロレンズアレイ７２０Ｂの対応するプレノプティックセル１５１０の１７３５（例えば、図１７Ａのディスプレイ側マイクロレンズアレイ７２０Ｂの下部プレノプティックセル１５１０）の中央ディスプレイピクセルにマッピングされる。別の実施例として、センサ側マイクロレンズアレイ７２０Ａの特定のプレノプティックセル１５１０（例えば、図１７Ｂのセンサ側マイクロレンズアレイ７２０Ａの上部プレノプティックセル１５１０）の各上部センシングピクセル１７２５は、ディスプレイ側マイクロレンズアレイ７２０Ｂの対応するプレノプティックセル１５１０の１７３５（例えば、図１７Ｂのディスプレイ側マイクロレンズアレイ７２０Ｂの上部プレノプティックセル１５１０）の下部ディスプレイピクセルにマッピングされる。

幾つかの実施形態では、図８に示すように、センサユニット７３５は、回路基板７４０に直接結合され、ディスプレイユニット７６５は、論理ユニット７５５（回路基板７４０に結合される）に結合される。他の実施形態では、ディスプレイユニット７６５は、回路基板７４０に直接結合され、センサユニット７３５は、論理ユニット７５５（回路基板７４０に結合される）に結合される。他の実施形態では、センサユニット７３５とディスプレイユニット７６５の両方は、回路基板７４０に直接結合される（すなわち、介在する論理ユニット７５５なしで）。このような実施形態では、センサユニット７３５及びディスプレイユニット７６５は、ユニット取付ロケーション７４５において回路基板７４０の両側に結合される（例えば、センサユニット７３５Ａ及びディスプレイユニット７６５Ａは、ユニット取付ロケーション７４５Ａにおいて回路基板７４０の両側に結合される）。

図１１は、特定の実施形態による、図１０の直接センサ－ディスプレイシステム１０００を製造する方法１１００を示す。方法１１００は、ステップ１１１０で開始することができ、ここで複数のユニット取付ロケーションが回路基板上で形成される。幾つかの実施形態では、回路基板は回路基板７４０であり、ユニット取付ロケーションはユニット取付ロケーション７４５である。幾つかの実施形態では、各ユニット取付ロケーションは、複数のディスプレイユニットの１つ及び複数のセンサユニットの１つに対応する。ディスプレイユニットはディスプレイユニット７６５とすることができ、センサユニットはセンサユニット７３５とすることができる。幾つかの実施形態では、各特定のユニット取付ロケーションは、複数のセンサユニットの１つ及び／又は複数の論理ユニットのうちの１つに結合するように構成されたＢＧＡパッドを含む。幾つかの実施形態では、各特定のユニット取付ロケーションは、特定のユニット取付ロケーションを１又は２以上の隣接するユニット取付ロケーションに電気的に結合するように構成された複数の相互接続パッドを含む。幾つかの実施形態では、図８に示すように、ユニット取付ロケーションは、複数の縦列及び複数の横列に配置されている。

ステップ１１２０において、複数のセンサユニットは、回路基板の第１の側に結合される。幾つかの実施形態では、各センサユニットは、ステップ１１１０のユニット取付ロケーションのうちのそれぞれに結合される。ステップ１１３０において、複数のディスプレイユニットは、回路基板の第１の側と反対側にある第２の側に結合される。幾つかの実施形態では、各ディスプレイユニットは、ステップ１１１０のユニット取付ロケーションのそれぞれに結合され、複数のセンサピクセルユニットの各特定の１つが、複数のディスプレイピクセルユニットの対応する１つにマッピングされる。特定の各センサピクセルユニットをディスプレイピクセルユニットの１つにマッピングすることにより、複数のディスプレイピクセルユニットの各特定のディスプレイピクセルユニットのディスプレイピクセルは、マップされたセンサピクセルユニットのセンサピクセルによってキャプチャされた光に対応する光を表示するように構成される。ステップ１１３０の後、方法１１００は終了することができる。

特定の実施形態は、必要に応じて、方法１１００の１又は２以上のステップを繰り返すことができる。本開示は、方法１１００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で方法１１００の任意の適切なステップを行うことを企図している。更に、本開示は、方法１１００の特定のステップを含む例示的な直接センサ－ディスプレイシステムの製造方法を説明及び例示しているが、本開示は、必要に応じて方法１１００のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な直接センサ－ディスプレイシステムの製造方法を企図している。更に、本開示は、方法１１００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法１１００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

図１２～図１３は、特定の実施形態による、図７のエミュレートされた透明アセンブリ７１０によって使用できる様々な層内信号処理構成を示す。一般に、図１２～図１３の構成は、カメラとディスプレイとの間（すなわち、イメージセンサ層７３０と電子ディスプレイ層７６０との間）に挟まれるデジタル論理の層（例えば、論理ユニット層７５０）を利用する。これらの構成により、大量のデータ（例えば、１６０ｋ又はそれ以上の画像データ）のローカル分散処理が可能になり、これによりボトルネック、並びに典型的な構成に関連する性能、電力、及び伝送ラインの問題を回避する。人間の視力は、リアルタイムで処理しなければならない膨大な量のデータを表している。典型的なイメージングシステムは、単一のデータストリームを高性能プロセッサ（例えば、ＣＰＵ又はＧＰＵ）との間で伝達し、これは、操作のためにデータをシリアル化する場合としない場合がある。人間の２０／２０の視力でこの手法に必要とされる帯域幅は、何れかの既知の伝送プロトコルの帯域幅を遙かに超えている。典型的なシステムではまた、全ての受信／発信データの処理、又はより小さな処理ノードへの配信の管理の何れかを担当するマスターコントローラーを使用する。何れにしても、全てのデータはシステム外／チップ外に転送され、操作され、表示デバイスに返される必要がある。しかしながら、この典型的な手法では、人間の視力により必要とされる膨大な量のデータを処理することができない。しかしながら、本開示の実施形態は、信号処理を分散化及び局所化するために、本明細書で説明されるようなセンサ／ディスプレイの組み合わせのファセット化された性質を利用する。これにより、以前は達成できなかったリアルタイムのデジタル画像処理が可能になる。

図１２－図１３に示すように、エミュレートされた透明性アセンブリ７１０の特定の実施形態は、イメージセンサ層７３０からの入力信号を操作し、電子ディスプレイ層７６０に出力信号を提供するために必要なロジックを含む論理（ロジック）ユニット層７５０を含む。幾つかの実施形態では、論理ユニット層７５０は、図１２に示されるように、イメージセンサ層７３０と回路基板７４０との間に配置される。他の実施形態では、論理ユニット層７５０は、図１３に示されるように、回路基板７４０と電子ディスプレイ層７６０との間に配置される。一般に、論理ユニット層７５０は、イメージセンサ層７３０からの入力信号を直接混合し、結果として得られる信号を電子ディスプレイ層７６０に直接出力する前に入力信号に対して１又は２以上の数学演算（例えば、マトリックス変換）を実行することができる特殊な画像処理層である。論理ユニット層７５０の各ロジックユニット７５５は、関連するファセット（すなわち、センサユニット７３５又はディスプレイユニット７６５）のみ担当するので、特定のロジックユニット７５５のデータは、システムレベルＩ／Ｏにそれほど影響を与えることなく操作することができる。これにより、中央処理のために何れかの受信センサデータをパラレル処理する必要が効果的に回避される。分散型手法により、エミュレートされた透明性アセンブリ７１０は、拡大／ズーム（各ファセットが入力に対してスケーリング変換を適用）、視覚補正（各ファセットが近視、遠視、乱視などの一般的な視覚問題を補償するシミュレーションされた光学的変換を適用））、色覚異常の補正（各ファセットは一般的な色覚異常の問題を補償する色変換を適用）、偏光（各ファセットはグレア低減を可能にする波動偏光をシミュレートする変換を適用します）、及びダイナミックレンジ低減（各ファセットは、高輝度領域（例：日光）を暗くし、低輝度領域（例えば、影）を明るくする）などの複数の機能を提供できる。更に、データ変換は各ファセットの論理ユニット層７５０に局所化されたままであるので、長い伝送ラインは無用とすることができる。これにより、クロストーク、シグナルインテグリティ、その他の問題を回避できる。更に、開示された実施形態は光学的透明性を必要としないので（代わりにエミュレートされた透明性を利用する）、センサとディスプレイファセットの間に不透明な処理層を配置することに対する機能的影響がない。

幾つかの実施形態では、論理ユニット層７５０は、回路基板７４０上に直接形成される個別論理ユニット（例えば、トランジスタ）を含む。例えば、標準的なフォトリソグラフィー技術を使用して、回路基板７４０上に直接論理ユニット層７５０を形成することができる。他の実施形態では、各論理ユニット７５５は、センサファセット又はディスプレイファセットの何れかに、或いは回路基板７４０に直接的に結合される別個の集積回路（ＩＣ）である。本明細書で使用される場合、「ファセット」は、別個に製造されて、回路基板７４０に結合されるディスクリートユニットを指す。例えば、「ディスプレイファセット」は、電子ディスプレイ層７６０とディスプレイ側マイクロレンズアレイ７２０Ｂの組み合わせを含むユニットを指すことができ、「センサファセット」は、イメージセンサ層７３０及びセンサ側マイクロレンズアレイ７２０Ａの組み合わせを含むユニットを指すことができる。幾つかの実施形態では、ディスプレイファセットは、単一のディスプレイユニット７６５を含むことができ、又は複数のディスプレイユニット７６５を含むことができる。同様に、センサファセットは、単一のセンサユニット７３５を含むことができ、又は複数のセンサユニット７３５を含むことができる。幾つかの実施形態では、論理ユニット７５５は、センサファセット又はディスプレイファセットの何れかに含むことができる。ロジックユニット７５５が（回路基板７４０上に直接形成されるのではなく）ディスプレイファセット又はセンサファセットの何れかに直接結合される個別のＩＣである実施形態では、シリコン貫通ビアを使用した３Ｄ ＩＣ設計などの適切な技術を用いて、ロジックユニット７５５のＩＣをファセットのウェーハに結合することができる。

幾つかの実施形態では、論理ユニット層７５０は、特定用途向け集積回路（ＡＳＩＣ）又は算術論理ユニット（ＡＬＵ）であるが、汎用プロセッサではない。これにより、ロジックユニットレイヤ７５０の電力効率を向上させることができる。更に、これにより、論理ユニット層７５０が冷却なしで動作することが可能になり、エミュレートされた透明アセンブリ７１０のコスト及び電力要件を更に削減する。

幾つかの実施形態では、論理ユニット７５５は、センサユニット７３５及びディスプレイユニット７６５と同じプロトコルを使用して通信するように構成される。例えば、ロジックユニット７５５がディスクリートＩＣである実施形態では、ＩＣは、センサ及びディスプレイファセット（例えば、ＬＶＤＳ又はアイ・スクエアド・シー（Ｉ²Ｃ））と同じプロトコルで通信するように構成することができる。これにより、センサとディスプレイファセットの間で変換しなければならない問題が排除され、これにより電力及びコストが削減される。

幾つかの実施形態では、論理ユニット層７５０は、出力信号を電子ディスプレイ層７６０に送信する前に、イメージセンサ層７３０から受信した信号に対して１又は２以上の動作を実行する。例えば、論理ユニット層７５０は、イメージセンサ層７３０から受信した信号を変換して、電子ディスプレイ層７６０上に表示するための拡張情報を含むことができる。これは、例えば、観察者へのＡＲの提供に利用することができる。幾つかの実施形態では、論理ユニット層７５０は、イメージセンサ層７３０からの受信信号を、電子ディスプレイ層７６０上に表示するための代替情報で完全に置き換えることができる。これは、例えば、観察者にＶＲを提供するために使用することができる。

図１４は、特定の実施形態による、図１２～図１３の層内信号処理システムを製造する方法１４００を示す。方法１４００は、ステップ１４１０で開始することができ、ここで複数のセンサユニットは、回路基板の第１の側に結合される。幾つかの実施形態では、センサユニットはセンサユニット７３５であり、回路基板は、回路基板７４０である。幾つかの実施形態では、各センサユニットは、ユニット取付ロケーション７４５などの複数のユニット取付ロケーションのうちの１つに結合される。各センサユニットは複数のセンサピクセルを含む。

ステップ１４２０では、複数のディスプレイユニットが形成される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット７６５と論理ユニット７５５の組み合わせである。各ディスプレイユニットは、シリコン貫通ビアを使用して、電子ディスプレイとロジックユニットを単一の３Ｄ集積回路に組み合わせることによって形成することができる。各ディスプレイユニットは、複数のディスプレイピクセルを含む。

ステップ１４３０では、ステップ１４２０の複数のディスプレイユニットが、第１の側とは反対側の回路基板の第２の側に結合される。幾つかの実施形態では、各論理ユニットは、ユニット取付ロケーションのうちのそれぞれに結合される。ステップ１４３０の後、方法１４００は終了することができる。

特定の実施形態は、必要に応じて、方法１４００の１又は２以上のステップを繰り返すことができる。本開示は、方法１４００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で方法１４００の任意の適切なステップを行うことを企図している。更に、本開示は、方法１４００の特定のステップを含む例示的な層内信号処理システム製造方法を説明及び図示するが、本開示は、必要に応じて方法１１００のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な層内信号処理システム製造方法を企図している。更に、本開示は、方法１４００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法１４００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

図１５～図１７Ｃは、エミュレートされた透明アセンブリ７１０のマイクロレンズアレイ７２０Ａ～Ｂ内で使用できるプレノプティックセル１５１０のアレイ１５００の様々な図を示す。図１５は、プレノプティックセルアセンブリ１５００を示し、図１６は、図１５のプレノプティックセルアセンブリ１５００の一部の断面を示し、図１７Ａ～図１７Ｃは、光の様々な入射フィールド及び出射フィールドと共に図１５のプレノプティックセルアセンブリ１５００の一部の断面を示している。

標準的な電子ディスプレイは、典型的には、２次元のラスタライズされた画像を形成するピクセルの平面配置を含み、本質的に２次元データを伝達する。１つの制限は、伝達されるシーン内の異なる視点を知覚するために平面画像を回転できないことである。この画像を鮮明に見るためには、画像自体内に何が描かれているかに関係なく、観察者の目又はカメラのレンズが画面に合焦しなければならない。対照的に、現実世界から目に入る光の量により、目はその光の量内の何れかの点に必然的に合焦することが可能となる。この光のプレノプティック「フィールド」は、外部レンズによって単一の焦点面に合焦した虚像とは対照的に、自然に目に入るシーンからの光線を含む。既存のライトフィールドディスプレイは、この現象を再現できる可能性があるが、空間分解能と角分解能との間に大きなトレードオフが存在し、その結果、知覚される光の量はぼんやりと又は細部が不十分に見える。

既存のライトフィールドディスプレイの問題及び制限を克服するために、本開示の実施形態は、入射するプレノプティック光量を記録して、電子的に再現できる結合ライトフィールドキャプチャ及びディスプレイシステムを提供する。キャプチャ及びディスプレイプロセスの両方は、大きな合成画像の小さなビューの記録又は表示を担当するプレノプティックセル１５１０の配置によって実現される。センサの各プレノプティックセル１５１０自体は、イメージセンサピクセルの高密度クラスターから構成され、ディスプレイの各プレノプティックセル自体は、ディスプレイピクセルの高密度クラスターから構成される。どちらの場合も、センサセルに入る光線又はディスプレイセルから出る光線は、１又は２以上の透明なレンズレット１５１２によって合焦され、準コリメート光線の正確に調整された分散を生成する。これは、基本的に入射ライトフィールドを記録し、アセンブリの反対側でこれを再現する。具体的には、センサの場合、このセルのレンズ（又は一連のレンズ）に入るある量の光は、各ピクセルがセル内の位置とレンズのプロファイルによって決定される一方向からのみ光を集めるように画像ピクセルに合焦する。これにより、ライトフィールド内の様々な角度光線のラスタライズされたエンコードが可能になり、セル内のピクセル数が記録された角分解能を決定付ける。ディスプレイの場合、ピクセルから放出された光は、同一レンズ（又は一連のレンズ）によって合焦され、センサによって記録されたものに一致する光の量に加えて、電子的拡張又は変更（例えば、上述のロジックユニット層７５０からの）を生成する。このセルからの放射光の円錐は、観察者のライトフィールドの形成を可能にするのに十分な間隔の角度で光線のサブセットを含み、各出力光線方向は、セル内の元のピクセルの位置とレンズのプロファイルによって決定される。

プレノプティックセル１５１０は、センサ側マイクロレンズアレイ７２０Ａ及びディスプレイ側マイクロレンズアレイ７２０Ｂの両方によって利用することができる。例えば、複数のプレノプティックセル１５１０Ａは、センサ側マイクロレンズアレイ７２０Ａに含めることができ、各プレノプティックセル１５１０Ａは、イメージセンサ１５２０に結合又は他の方法で隣接させることができる。イメージセンサ１５２０は、イメージセンサ層７３０の一部とすることができ、センシングピクセル１７２５を含むセンサピクセルアレイ１５２５を含むことができる。同様に、複数のプレノプティックセル１５１０Ｂをディスプレイ側マイクロレンズアレイ７２０Ｂに含めることができ、各プレノプティックセル１５１０Ｂは、ディスプレイ１５３０に結合又は他の方法で隣接させることができる。ディスプレイ１５３０は、電子ディスプレイ層７６０の一部とすることができ、ディスプレイピクセル１７３５を含むディスプレイピクセルアレイ１６２５を含むことができる。図１８～図２０及びこれらに関連する、「イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第１５／７２４，０２７号明細書に記載されているように、センシングピクセル１７２５は、センサピクセル１８００とすることができ、本出願は、引用により全体が本明細書に組み込まれる。ディスプレイピクセル１７３５は、図１～図４及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第１５／７２４，００４号明細書に記載されているようなディスプレイピクセル１００とすることができ、本出願は、引用により全体が本明細書に組み込まれる。

幾つかの実施形態では、プレノプティックセル１５１０は、透明なレンズレット１５１２及びセル壁１５１４を含む。具体的には、プレノプティックセル１５１０Ａは、透明なレンズレット１５１２Ａ及びセル壁１５１４Ａを含み、プレノプティックセル１５１０Ｂは、透明なレンズレット１５１２Ｂ及びセル壁１５１４Ｂを含む。幾つかの実施形態では、透明なレンズレット１５１２は、３Ｄ形状を含み、３Ｄ形状の一方端にコリメートレンズを備える。例えば、図１５に示されるように、透明なレンズレット１５１２は、直方体であってもよく、直方体の一方端にコリメートレンズを有する。他の実施形態では、透明なレンズレット１５１２の３Ｄ形状は、三角形の多面体、五角形の多面体、六角形の多面体、七角形の多面体、八角形の多面体、円柱、又は他の任意の適切な形状とすることができる。各プレノプティックセル１５１０Ａは、入力視野（ＦＯＶ）１６１０（例えば、３０度）を含み、また、各プレノプティックセル１５１０Ｂは、出力ＦＯＶ１６２０（例えば、３０度）を含む。幾つかの実施形態では、入力ＦＯＶ１６１０は、対応するプレノプティックセル１５１０の出力ＦＯＶ１６２０と一致する。

透明なレンズレット１５１２は、任意の適切な透明光学材料から形成することができる。例えば、透明なレンズレット１５１２は、ポリマー、シリカガラス、又はサファイアから形成することができる。幾つかの実施形態では、透明なレンズレット１５１２は、ポリカーボネート又はアクリルなどのポリマーから形成することができる。幾つかの実施形態では、透明なレンズレット１５１２は、ライトフィールドをキャプチャ及び／又は生成するために、導波路及び／又はフォトニック結晶で置き替えることができる。

一般に、セル壁１５１４は、隣接するプレノプティックセル１５１０間の光学的クロストークを防ぐための障壁である。セル壁１５１４は、硬化すると可視光に対して不透明となる任意の適切な材料から形成することができる。幾つかの実施形態では、セル壁１５１４はポリマーから形成される。セル壁１５１４を使用した光学的クロストークの防止は、図１７Ａ及び１７Ｃを参照して以下でより詳細に説明される。

幾つかの実施形態では、イメージセンサ１５２０は、バックプレーン回路１６３０Ａを含むか、又はこれに結合され、ディスプレイ１５３０は、バックプレーン回路１６３０Ｂを含むか、又はこれに結合される。一般に、バックプレーン回路１６３０Ａ－Ｂは、画像データがイメージセンサ１５２０からディスプレイ１５３０に流れることを可能にする電気接続を提供する。幾つかの実施形態では、バックプレーン回路１６３０Ａ及びバックプレーン回路１６３０Ｂは、単一のバックプレーンの両側である。幾つかの実施形態では、バックプレーン回路１６３０Ａ及びバックプレーン回路１６３０Ｂは、回路基板７４０である。

幾つかの実施形態では、光の出入りを特定の入射角に制限するために、フィルタ層１６４０を透明なレンズレット１５１２の一方端又は両端に含めることができる。例えば、第１のフィルタ層１６４０Ａは、透明なレンズレット１５１２の凸状端部に含めることができ、及び／又は第２のフィルタ層１６４０Ｂは、透明なレンズレット１５１２の反対側の端部に含めることができる。セル壁１５１４と同様に、このようなコーティング又はフィルムはまた、隣接する透明なレンズレット１５１２間の画像のにじみを許容可能な量に制限することができる。フィルタ層１６４０は、セル壁１５１４に加えて又はその代わりに使用することができる。

図１７Ａ～図１７Ｃは各々、センサ側マイクロレンズアレイ７２０Ａ及び対応するディスプレイ側マイクロレンズアレイ７２０Ｂの７つの隣接するプレノプティックセル１５１０の断面図を示す。これらの図は、入射ライトフィールド７０１が、どのようにイメージセンサ１５２０によってキャプチャされて、実質的に同一のライトフィールドを放出するためにディスプレイ１５３０上で電子的に再現されるかを示している。図１７Ａでは、センサプレノプティックセル１５１０の真正面にある物体からの入射ライトフィールド１７１０は、センサプレノプティックセル１５１０の透明なレンズレット１５１２によって、中央センシングピクセル１７２５上に合焦される。次いで、対応する光は、対応するディスプレイプレノプティックセル１５１０の対応する中央ディスプレイピクセル１７３５によって透過される。透過した光は、ディスプレイプレノプティックセル１５１０の透明なレンズレット１５１２によって合焦され、放射ライトフィールド１７１１として放射される。放射ライトフィールド１７１１は、ゼロ度のソースライトフィールド（すなわち、入力ライトフィールド１７１０）と正確に一致する。更に、隣接するディスプレイプレノプティックセル１５１０を貫通するはずのロケーション１７４０にてセル壁１５１４に当たる放射光線は、不透明なセル壁１５１４によって遮断され、これにより光学的クロストークが防止される。

図１７Ｂでは、センサプレノプティックセル１５１０の軸から１４度離れた物体からの入射ライトフィールド１７２０は、センサプレノプティックセル１５１０の透明なレンズレット１５１２によって上部センシングピクセル１７２５上に合焦される。次に、対応する光は、対応するディスプレイプレノプティックセル１５１０の対応する反対の（すなわち、底部）ディスプレイピクセル１７３５によって透過される。透過された光は、ディスプレイプレノプティックセル１５１０の透明なレンズレット１５１２によって合焦され、放射ライトフィールド１７２１として放射される。放射ライトフィールド１７２１は、１４度のソースライトフィールド（すなわち、入力ライトフィールド１７２０）と正確に一致する。

図１７Ｃでは、センサプレノプティックセル１５１０の軸から２５度離れた物体からの入射ライトフィールド１７３０は、センサプレノプティックセル１５１０の透明なレンズレット１５１２によって完全にセル壁１５１４上に合焦される。入射ライトフィールド１７３０は、センシングピクセル１７２５の代わりにセンサプレノプティックセル１５１０のセル壁１５１４に完全に合焦されるので、対応する光は、対応するディスプレイプレノプティックセル１５１０によって透過されない。更に、隣接するセンサプレノプティックセル１５１０を貫通するはずのロケーション１７５０でセル壁１５１４に当たる入射光線は、不透明なセル壁１５１４によって遮断され、これにより光学的クロストークが防止される。

図１８Ａ－１８Ｂは、特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する方法を示す図である。図１８Ａでは、マイクロレンズアレイ（ＭＬＡ）シート１８１０が形成又は取得される。ＭＬＡシート１８１０は、図示のように複数のレンズレットを含む。図１８Ｂでは、複数の溝１８２０が、ＭＬＡシート１８１０の複数のレンズレットの各々の周りに所定の深さまでカットされている。幾つかの実施形態では、溝１８２０は、所望の深さを達成するために複数のパスを使用してカットすることができる。幾つかの実施形態では、溝１８２０は、レーザーアブレーション、エッチング、リソグラフィープロセス、又は他の任意の適切な方法を使用してカットすることができる。溝１８２０を所望の深さにカットした後、溝は、光が溝１８２０を通って漏れないように構成された材料で充填される。幾つかの実施形態では、材料は、硬化されると光を吸収する材料（例えば、カーボンナノチューブ）又は不透明な材料（例えば、非反射性の不透明な材料又は着色ポリマー）である。溝１８２０を充填して硬化させた後に結果として得られるプレノプティックセルアセンブリが図２０－２１に示される。

図１９Ａ－１９Ｂは、特定の実施形態による、図１５のプレノプティックセルアセンブリを製造する別の方法を示す図である。図１９Ａでは、ボイド１８４０を有する予め形成された格子１８３０が得られるか又は形成される。格子１８３０は、セル壁１５１４について上述したように、任意の適切な材料で作られる。格子１８３０は、限定ではないが、付加製造及びセル物質のアブレーションを含む、任意の適切な方法から形成することができる。

図１９Ｂでは、ボイド１８４０は、光学ポリマー１８５０で充填されている。光学ポリマー１８５０は、透明なレンズレット１５１２について上述したように、任意の適切な材料とすることができる。ボイド１８４０が光学ポリマー１８５０で充填された後、成形又はアブレーションを使用して最終的なレンズプロファイルが作成される。レンズが形成された後の結果として得られたプレノプティックセルアセンブリの実施例が図２０－図２１に示される。

図２２～図２３は、特定の実施形態による、図７のエミュレートされた透明アセンブリ７１０によって回路基板７４０として使用できるフレキシブル回路基板２２１０を示す。一般に、球面又は半球面などの３Ｄ形状の周りにエレクトロニクスをラップすることは、重要な作業である。フレキシブルで伸縮可能でもある回路の様々な実施例が現在利用可能であるが、このようなエレクトロニクスを小半径（例えば、３０～６０ｍｍ）の球面又は半球面上に位置付ける場合には、克服すべき幾つかの障害がある。例えば、フレキシブルエレクトロニクス基板を一方向に曲げても、湾曲に必要なねじり力により関連する薄膜に損傷が与えられる可能性があるので、複合湾曲への適応性を本質的に示すものではない。別の実施例として、現在利用可能な伸縮可能なエレクトロニクスの伸縮度及び寿命についての疑問が依然としてある。

現在の解決策の問題及び制限に対処するために、本開示の実施形態は、単一のフレキシブル回路上に構築された小さな剛体面のアレイからなるジオデシックファセット手法を用いた３Ｄ（例えば、球形又は半球形）エレクトロニクス製造方法を提示する。幾つかの実施形態では、フレキシブル回路は、特定のネットシェイプにカットされ、３Ｄ形状（例えば、球状又は半球状）にラップされ、所定位置にロックされて、繰り返しの屈曲による損耗を防ぐ。本方法は、ヘッドマウントのニアアイラップディスプレイに必要な狭い曲率半径（例えば、３０～６０ｍｍ）に対応するのに特に有用である。幾つかの実施形態では、アセンブリは、単一の基本的なフレキシブルプリント回路層を含み、フレキシブル回路の反対側に層状の剛性センサ及びディスプレイアレイが積層されている。センサ層及びディスプレイ層を含むアセンブリ全体は、標準的な平面半導体プロセス（例：スピンコーティング、フォトリソグラフィーなど）により製造することができる。剛性エレクトロニクス層をエッチングして個別のセンサ及びディスプレイユニット（すなわち、「ファセット」）を形成し、次いで、接続パッドによりフレキシブル回路に接続して、パターン化された導電性及び非導電性接着剤により接着することができる。これにより、フレキシブル回路が剛性ファセット間の縁部にて僅かに折り畳むことができる。幾つかの実施形態では、平面製造に続いて、完全に硬化した機能電子スタックが、最終硬質ポリマーケーシングの一方の側を型として使用して、所望の最終３Ｄ形状に形成される。このようにして、剛性エレクトロニクスファセットのアレイは変形せずに、単にこれらの型の所定位置に入り、フレキシブル回路は、定められた折り目／ギャップにて曲げられ、ケーシングのファセット内部に一致する。アセンブリは、剛性ケーシングの反対側の一致する側を使用して、最終的にキャップしてシールすることができる。

本開示の実施形態は、球形又は半球形だけに限定されないが、このような形状は確実に企図される。開示された実施形態は、任意の複合曲率又は他の任意の回転形状に形成することができる。更に、開示された実施形態は、任意の不均一な湾曲、並びに非湾曲（すなわち、平坦な）表面に形成することができる。

図２２は、２つの異なる状態のフレキシブル回路基板２２１０、すなわち、平坦なフレキシブル回路基板２２１０Ａ及び３Ｄ形状のフレキシブル回路基板２２１０Ｂを示す。フレキシブル回路基板２２１０は、ファセットロケーション２２２０を含み、これは、一般に、ファセット（例えば、以下で論じられるセンサファセット３７３５、ディスプレイファセット２６６５、又は論理ファセット２６５５）がフレキシブル回路基板２２１０上に取り付けることができるロケーションである。幾つかの実施形態では、フレキシブル回路基板２２１０はギャップ２２１５を含む。図２２の下部に示すように、フレキシブル回路基板２２１０が平坦である場合、ファセットロケーション２２２０の少なくとも幾つかは、１又は２以上のギャップ２２１５によって１又は２以上の隣接するファセットロケーション２２２０から分離されている。図２２の上部に示されるように、フレキシブル回路基板２２１０が３Ｄ形状に形成される場合、ギャップ２２１５は実質的に排除することができ、これにより、ファセットロケーション２２２０で結合されるファセットの少なくとも幾つかにわたって連続した表面が形成される（例えば、複数のセンサファセット３７３５にわたる連続的なセンシング面、又は複数のディスプレイファセット２６６５にわたる連続的なディスプレイ面）。

一般に、ファセットロケーション２２２０は、任意の形状を有することができる。幾つかの実施形態では、ファセットロケーション２２２０は、多角形（例えば、三角形、正方形、矩形、五角形、六角形、七角形、又は八角形）の形状である。幾つかの実施形態では、ファセットロケーション２２２０は全て同一である。しかしながら、他の実施形態では、ファセットロケーション２２２０は全て同じ多角形形状を共有する（例えば、全てが六角形である）が、異なる寸法を有する。幾つかの実施形態では、ファセットロケーション２２２０は異種混在の形状を有する（例えば、幾つかは矩形であり、幾つかは六角形である）。任意の適切な形状のファセットロケーション２２２０を使用できる。

幾つかの実施形態では、ファセットロケーション２２２０は、縦列２２０１に配置される。幾つかの実施形態では、ファセットロケーション２２２０は、追加的に又は代替的に横列２２０２に配置される。ファセットロケーション２２２０の特定のパターンが示されているが、ファセットロケーション２２２０の任意の適切なパターンを使用することができる。

図２３は、特定の実施形態による、フレキシブル回路基板２２１０の追加の詳細を示す。幾つかの実施形態では、各ファセットロケーション２２２０は、センサ又はディスプレイファセットをフレキシブル回路基板２２１０に結合するためのパッド及び／又はビアを含む。例として、フレキシブル回路基板２２１０の幾つかの実施形態は、各ファセットロケーション２２２０にてＢＧＡパッド２２４０を含む。各ファセットロケーション２２２０には、適切なパターン及び数のパッド／ビアを含めることができる。

一般に、各特定のファセットロケーション２２２０は、特定のファセットロケーションに結合された特定のセンサファセットと特定のファセットロケーションの反対側に結合された特定のディスプレイファセットとの間で信号を送信するように構成される。例えば、特定のファセットロケーション２２２０は、一方の側に結合されたセンサファセット３７３５と、その反対側に結合されたディスプレイファセット２６６５とを有することができる。特定のファセットロケーション２２２０は、センサファセット３７３５からの信号がディスプレイファセット２６６５に直接伝達可能にするのに必要な電気接続を提供し、これにより、ディスプレイファセット２６６５がセンサファセット３７３５によってキャプチャされた光に対応する光を表示できるようにする。

幾つかの実施形態では、ファセットロケーション２２２０を電気的に接続するために、ワイヤトレース２２３０がフレキシブル回路基板２２１０上に含まれる。例えば、ワイヤトレース２２３０は、隣接するファセットロケーション２２２０を電気的に接続するために、各ファセットロケーション２２２０の相互接続パッド２２５０に接続することができる。幾つかの実施形態では、ファセットロケーション２２２０は、ワイヤトレース２２３０を介して連続的に接続される。例えば、図２４は、特定の実施形態による、フレキシブル回路基板２２１０を通るシリアルデータフローを示している。この実施例では、各ファセットロケーション２２２０には、一意の識別子（例えば、「１」、「２」など）が割り当てられ、データは、図示のようにワイヤトレース２２３０を介してファセットロケーション２２２０をシリアルに流れる。このようにして、各ファセットロケーション２２２０は、その一意の識別子を使用して単一のプロセッサ又は論理ユニットによってアドレス指定することができる。適切なアドレッシングスキーム及びデータフローパターンを使用できる。

図２５は、特定の実施形態による、図２２のフレキシブル回路基板２２１０を使用して電子アセンブリを製造する方法２５００を示す。ステップ２５１０において、複数のファセットロケーションが、フレキシブル回路基板上に形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション２２２０であり、フレキシブル回路基板は、フレキシブル回路基板２２１０である。各ファセットロケーションは、複数のセンサファセットの１つ及び複数のディスプレイファセットの１つに対応する。センサファセットは、センサファセット３７３５であり、ディスプレイファセットは、ディスプレイファセット２６６５である。幾つかの実施形態では、複数のファセットロケーションは、縦列２２０１などの複数のファセット縦列に配置される。幾つかの実施形態では、複数のファセットロケーションは、追加的に又は代替として、横列２２０２などの複数のファセット横列に配置される。

ステップ２５２０において、ステップ２５１０のフレキシブル回路基板は、フレキシブル回路基板が後で球形又は半球形などの３Ｄ形状に形成可能にするパターンにカット又は他の方法で成形される。フレキシブル回路基板が平坦な場合、ファセットロケーションの少なくとも一部は、ギャップ２２１５などの複数のギャップによって１又は２以上の隣接するファセットロケーションから分離される。フレキシブル基板が３Ｄ形状にされた場合、複数のギャップが実質的に排除される。

ステップ２５３０において、第１の複数の剛性ファセットをフレキシブル回路基板の第１の側に結合することにより、電子アセンブリが組み立てられる。第１の複数の剛性ファセットは、センサファセット３７３５又はディスプレイファセット２６６５とすることができる。各剛性ファセットは、ファセットロケーションのそれぞれに結合される。幾つかの実施形態では、第１の複数の剛性ファセットは、パターン化された導電性及び非導電性接着剤を使用して、フレキシブル回路基板の第１の側で接続パッドに結合される。

幾つかの実施形態では、ステップ２５３０の第１の複数の剛性ファセットは、センサファセット３７３５などの剛性センサファセットであり、方法２５００は、ディスプレイファセット２６６５などの複数の剛性ディスプレイファセットを、第１の側の反対側にあるフレキシブル回路基板の第２の側に結合するステップを更に含む。この場合、特定の各ファセットロケーションは、特定のファセットロケーションに電気的に結合された特定の剛性センサファセットと、同じ特定のファセットロケーションに電気的に結合された特定の剛性ディスプレイファセットとの間で信号を送信するように構成される。これにより、対応する剛性センサファセットによりキャプチャされた光に対応する特定の剛性ディスプレイファセットから光を表示することができる。

ステップ２５４０において、組み立てられた電子アセンブリは、所望の３Ｄ形状に形成される。幾つかの実施形態では、このステップは、結合された剛性ファセットを備えたフレキシブル回路基板を、所望の形状の剛性ケーシングの一方の側に配置することを含む。これにより、剛性ファセットがケーシングの定義されたスペースに入り、フレキシブル回路基板が剛性ファセット間の定義された折り目／ギャップにて曲がることができるようになる。結合された剛性ファセットを備えたフレキシブル回路基板を剛性ケーシングの一方の側に配置した後、剛性ケーシングの反対側の一致する側を第１の側に取り付けて、これによりアセンブリを目的の形状にシールすることができる。

特定の実施形態は、必要に応じて、方法２５００の１又は２以上のステップを繰り返すことができる。本開示は、方法２５００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で方法２５００の任意の適切なステップを行うことを企図している。更に、本開示は、フレキシブル回路基板を使用して電子アセンブリを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法２５００のステップの全て又は一部を含むか又は全く含まない場合がある、フレキシブル回路基板を使用して電子アセンブリを製造する任意の適切な方法を企図している。更に、本開示は、方法２５００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法２５００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

図２６～図３６は、特定の実施形態による、高密度ディスプレイ用の分散マルチスクリーンアレイを示す。一般に、人間の片目の視野全体をエミュレートできるニアアイディスプレイを提供するには、現在の一般的なディスプレイ画面よりも桁違いに高い分解能の高ダイナミックレンジ画像ディスプレイが必要である。このようなディスプレイは、人間の２０／２０の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドディスプレイを提供可能であることが必要である。これは膨大な量の情報であり、１００Ｋ～２００Ｋの合計水平ピクセル数に相当する。これらのディスプレイはまた、人間の１つの目の視野全体（水平方向約１６０°及び垂直方向約１３０°）の周りをラップする必要がある。両眼視をレンダリングするためには、それぞれの目の周りの曲面全体に広がるこのようなディスプレイのペアが必要になる。しかしながら、現在入手可能な典型的なディスプレイは、これらの要件を満たすことができない。

現在のディスプレイのこれら及び他の制限に対処するために、本開示の実施形態は、カスタムサイズ及び形状の小型の高分解能マイクロディスプレイ（例えば、ディスプレイファセット２６６５）のアレイを提供し、これら全てが形成された後、３Ｄ形状（例えば、半球面）に形成することができるより大きなフレキシブル回路基板２２１０上に組み立てられる。マイクロディスプレイは、半球状回路の内側に取り付けることができ、ここでＴＦＴロジックユニット（例えば、ロジックユニット７５５）のアレイを含む別の層を含めて、電力及び信号管理を全て処理することができる。典型的には、各マイクロディスプレイに対して１つの論理ユニット７５５を含めることができる。各マイクロディスプレイは、ディスクリートユニットとして動作し、その背後のロジックユニットからのデータを表示する。追加の情報（例えば、ＡＲ、ＶＲ、又はＭＲアプリケーションのための外部ビデオなど）は、中央制御プロセッサを介してアレイ全体にわたすことができる。幾つかの実施形態では、外部データ信号は、１つのマイクロディスプレイから次のマイクロディスプレイへとパックドマルチプレックスストリームとしてシリアルに進行し、各ディスプレイに対するＴＦＴロジックユニットは、読み取る信号のソースとセクションを決定する。これにより、各ユニットは、他のディスプレイとは独立して動作することができ、各々で独自のコンテンツを有して多くの高分解能ディスプレイの大型アレイを提供し、アセンブリ全体として本質的に単一の超高分解能ディスプレイを形成する。

分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロディスプレイは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロディスプレイ画面は、図１～図４及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第１５／７２４，００４号明細書に記載されているように、ディスプレイピクセル１００のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロディスプレイ画面は、適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。

図２６は、特定の実施形態による、湾曲したマルチディスプレイアレイ２６００の切り欠き図を示す。図２６は、基本的に、図２２のフレキシブル回路基板２２１０Ｂの裏側であり、ファセットロケーション２２２０にてフレキシブル回路基板２２１０Ｂに結合された論理ファセット２６５５及びディスプレイファセット２６６５が追加されている。一般に、各論理ファセット２６５５は、論理ユニット層７５０からの個別の論理ユニット７５５である。同様に、各ディスプレイファセット２６６５は、マイクロレンズアレイ７２０の一部と結合されたディスプレイ層７６０からの個別のディスプレイユニット７６５である。

幾つかの実施形態では、各個別の論理ファセット２６５５は、フレキシブル回路基板２２１０に結合され、その後、各個別のディスプレイファセット２６６５は、論理ファセット２６５５のうちの１つに結合される。他の実施形態では、各論理ファセット２６５５は、最初にディスプレイファセット２６６５のうちの１つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板２２１０に結合される。このような実施形態では、組み合わされた論理ファセット２６５５及びディスプレイファセット２６６５は、簡単にするためにディスプレイファセット２６６５と呼ぶことができる。本明細書で使用される「ディスプレイファセット」は、両方の実施形態（すなわち、個別のディスプレイファセット２６６５、又はディスプレイファセット２６６５と論理ファセット２６５５の組み合わせ）を指すことができる。

一般に、各ディスプレイファセット２６６５は、（例えば、図示されていない中央制御プロセッサによって）個別にアドレス指定することができ、ディスプレイファセット２６６５の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、マルチディスプレイアレイ２６００は、全体として完全体を形成する個別のディスプレイファセット２６６５を通る画像を示すタイル状の電子ディスプレイシステムを提供する。各個別のディスプレイファセット２６６５は、複数の異なるディスプレイ分解能を提供でき、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどを実行することができる。例えば、１つのディスプレイファセット２６６５が５１２ｘ５１２の表示分解能を有することができ、隣接するディスプレイファセット２６６５（同じサイズ）が１２８ｘ１２８の表示分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら２つのディスプレイは異種であるが、個別に制御可能であり、一体となって作動して単一のディスプレイイメージを形成する。

ディスプレイファセット２６６５の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、ディスプレイファセット２６６５は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。

論理ファセット２６５５及びディスプレイファセット２６６５は、任意の適切な形状にすることができる。幾つかの実施形態では、論理ファセット２６５５及びディスプレイファセット２６６５の形状は、互いに及びファセットロケーション２２２０の形状に一致する。幾つかの実施形態では、論理ファセット２６５５及びディスプレイファセット２６６５は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、論理ファセット２６５５及びディスプレイファセット２６６５の一部又は全てが非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板２２１０の縁部上のディスプレイファセット２６６５は、多角形でない場合がある。

選択可能／制御可能なディスプレイ分解能を有することに加えて、幾つかの実施形態において、各ディスプレイファセット２６６５はまた、複数の色範囲からの選択可能な色範囲及び／又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板２２１０のディスプレイファセット２６６５は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、１つのディスプレイファセット２６６５が特定の色範囲を有することができ、別のディスプレイファセット２６６５は、異なる色範囲を有する。同様に、１つのディスプレイファセット２６６５は、特定のフレームレートを有することができ、別のディスプレイファセット２６６５は、異なるフレームレートを有する。

図２７は、特定の実施形態による、図２６の湾曲したマルチディスプレイアレイ２６００の分解図を示し、図２８～図２９は、特定の実施形態による、論理ファセット２６５５及びディスプレイファセット２６６５の更なる詳細を示す図である。これらの図に示されるように、各論理ファセット２６５５は、隣接する論理ファセット２６５５の相互接続パッド２２５０に電気的に結合することができる相互接続パッド２８５０を含むことができる。これにより、ワイヤトレース２２３０を介してディスプレイファセット２６６５をシリアルに結合できるようになる。更に、各論理ファセット２６５５は、ディスプレイファセット２６６５の背面にあるパッド２９４０と一致するパターンのパッド２８４０を含むことができる。これにより、論理ファセット２６５５とディスプレイファセット２６６５は、当技術分野の適切な技術を使用して結合することができる。幾つかの実施形態では、パッド２８４０及びパッド２９４０は、ＢＧＡパッド又は他の適切な表面実装パッドである。

図３０及び３２は、図２２のフレキシブル回路基板２２１０の裏側を示し、また、図２３を参照して説明したのと同様の詳細を示す。図３１及び図３３は、フレキシブル回路基板２２１０を通るシリアルデータフローを示し、また、図２４を参照して説明したのと同様の詳細を示す。図３４は、特定の実施形態による、半球形状に形成された論理ファセット２６５５のアレイを示している。この図では、明瞭にするために、フレキシブル回路基板２２１０とディスプレイファセット２６６５が削除されている。図３５は、特定の実施形態による、図３４の論理ファセット２６５５間の通信を示している。この図に示すように、各論理ファセット２６５５は、相互接続パッド２８５０を使用して隣接する論理ファセット２６５５と通信することができる。更に、各論理ファセット２６５５は、図３５に示されているように、一意の識別情報を有することができる。これにより、各論理ファセット２６５５は、例えば中央処理装置によって一意的にアドレス指定することができる。

図３６は、特定の実施形態による、図２６の湾曲したマルチディスプレイアレイを製造する方法３６００を示す。方法３６００は、ステップ３６１０で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションはファセットロケーション２２２０であり、回路基板はフレキシブル回路基板２２１０である。幾つかの実施形態では、各ファセットロケーションは、ディスプレイファセット２６６５などの複数のディスプレイファセットのうちの１つに対応する。

ステップ３６２０において、フレキシブル回路基板は、フレキシブル回路基板が後で３Ｄ形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ２２１５などの複数のギャップによって１又は２以上の隣接するファセットロケーションから分離される。フレキシブル基板が３Ｄ形状に形成された場合、複数のギャップが実質的に排除される。

ステップ３６３０において、複数の論理ファセットが、フレキシブル回路基板の第１の側に結合される。各論理ファセットは、ステップ３６１０のファセットロケーションのそれぞれに結合される。ステップ３６４０において、複数のディスプレイファセットが、ステップ３６３０の複数の論理ファセットのそれぞれに結合される。別の実施形態では、ディスプレイファセットは、論理ファセットをフレキシブル回路基板の第１の側に結合する前に、ウェーハレベルでステップ３６３０の論理ファセットに取り付けることができる。ステップ３６５０では、組み立てられた電子ディスプレイアセンブリが３Ｄ形状に形成される。幾つかの実施形態では、このステップは、上記の方法２５００のステップ２５４０と同様とすることができる。ステップ３６５０の後、方法３６００は終了することができる。

特定の実施形態は、必要に応じて、方法３６００の１又は２以上のステップを繰り返すことができる。本開示は、方法３６００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で方法３６００の任意の適切なステップを行うことを企図している。更に、本開示は、湾曲したマルチディスプレイアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法３６００のステップの全て又は一部を含むか又は全く含まない場合がある、湾曲したマルチディスプレイアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法３６００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法３６００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

図３７～図４２は、特定の実施形態による、分散型マルチアパーチャカメラアレイ３７００を示す。一般に、人間の単一の目の視野全体のフルライトフィールドをキャプチャするには、現在入手可能な分解能よりも遙かに高い分解能を備えた大型の高ダイナミックレンジイメージセンサが必要である。このようなイメージセンサは、人間の２０／２０の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドカメラを可能にする。これは膨大な量の情報であり、１００Ｋ～２００Ｋの合計水平ピクセル数に相当する。このマルチアパーチャイメージセンサはまた、人間の１つの目の視野全体の周りをラップする必要がある（水平方向約１６０°、垂直方向約１３０°）。両眼視の撮像には、両眼の曲面全体に広がるこのようなカメラが必要になる。現在入手可能な典型的なイメージセンサアセンブリは、これらの要件を満たすことができない。

典型的なイメージセンサのこれら及び他の制限を克服するために、本開示の実施形態は、カスタムサイズ及び形状の小さなイメージセンサのアレイを提供し、これらの全ては、３Ｄ（例えば、半球状）形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。イメージセンサ（例えば、センサファセット３７３５）は、フレキシブル回路基板２２１０の外側部に取り付けられ、ここでＴＦＴロジックユニット（例えば、ロジックユニット７５５）のアレイを含む別の層を設けて、全ての電力及び信号管理、すなわち各ディスプレイに１つの論理ユニットを処理することができる。各イメージセンサは、読み出しデータをその背後のロジックユニットにわたすディスクリートユニットとして動作し（ロジックユニットを含む実施形態では）、ここで処理されてこれに応じてルーティングされる（例えば、幾つかの実施形態では、対応するディスプレイファセット２６６５に）。これにより、各センサファセット３７３５は、他の任意のセンサファセット３７３５から独立して動作することができ、各々で独自のコンテンツをキャプチャする多数のアパーチャの大きなアレイを提供し、アセンブリ全体が本質的にシームレスな極めて高い分解能のマルチノードカメラになる。幾つかの実施形態では、イメージセンサは、ペアのロジックユニットにデータをわたすことができるが、イメージセンサ自体の機能は必ずしもロジックユニットの結合を必要としない点に留意されたい。

分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロセンサは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロセンサは、図１８－２０及びこれらに関連する、イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第１５／７２４，０２７号明細書に記載されているように、センサピクセル１８００のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロセンサは、任意の適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。

分散型マルチアパーチャカメラアレイ３７００の特定の実施形態の別の特徴は、異なるプレノプティックセル間の視差に基づく組み込みの奥行き知覚である。所与のセンサの両側のセルによって生成された画像を使用して、画像詳細のオフセットを計算することができ、ここでオフセット距離は、ディテールのセンサ表面への近接度と直接相関性がある。このシーン情報は、拡張ビデオ信号を重畳するときに中央プロセッサによって用いることができ、ＡＲ／ＭＲコンテンツが観察者の前方に適切な深度で配置されることになる。この情報はまた、シミュレートされた被写界深度、空間エッジ検出、及び他の視覚効果を含む、様々な人工焦点ぼけ及び深度センシングタスクにおいて使用できる。

図３７は、特定の実施形態による、分散マルチアパーチャカメラアレイ３７００の切り欠き図を示す。図３７は、本質的に図２２のフレキシブル回路基板２２１０Ｂであり、ファセットロケーション２２２０でフレキシブル回路基板２２１０Ｂに結合されたセンサファセット３７３５が付加されている。幾つかの実施形態では、各センサファセット３７３５は、イメージセンサ層７３０からの個別のセンサユニット７３５である。

幾つかの実施形態では、各個別のセンサファセット３７３５は、フレキシブル回路基板２２１０に結合される。他の実施形態では、各個別のセンサファセット３７３５は、フレキシブル回路基板２２１０に結合されている論理ファセット２６５５のうちの１つに結合される。他の実施形態では、各論理ファセット２６５５は、最初にセンサファセット３７３５のうちの１つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板２２１０に結合される。このような実施形態では、組み合わされた論理ファセット２６５５とセンサファセット３７３５は、簡単にするためにセンサファセット３７３５と呼ぶことができる。本明細書で使用される「センサファセット」は、両方の実施形態（すなわち、個別のセンサファセット３７３５、又はセンサファセット３７３５と論理ファセット２６５５の組み合わせ）を指すことができる。

一般に、各センサファセット３７３５は、（例えば、図示されていない中央制御プロセッサによって）個別にアドレス指定することができ、センサファセット３７３５の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、分散型マルチアパーチャカメラアレイ３７００は、タイル状の電子センサシステムを提供し、全体として完全体を形成する個別のセンサファセット３７３５を通じてキャプチャされた画像を提供する。各個別のセンサファセット３７３５は、複数の異なる分解能で画像をキャプチャすることができ、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどをキャプチャすることができる。例えば、１つのセンサファセット３７３５が５１２ｘ５１２のキャプチャ分解能を有することができ、隣接するセンサファセット３７３５（同じサイズ）が１２８ｘ１２８のキャプチャ分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら２つのセンサは異種であるが、個別に制御可能であり、一体となって作動して単一のライトフィールドをキャプチャする。

センサファセット３７３５の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、センサファセット３７３５は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。

センサファセット３７３５は、任意の適切な形状にすることができる。幾つかの実施形態では、センサファセット３７３５の形状は、ディスプレイファセット２６６５の形状及びファセットロケーション２２２０の形状と一致する。幾つかの実施形態では、センサファセット３７３５は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、センサファセット３７３５の一部又は全部が非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板２２１０のエッジ上のセンサファセット３７３５は多角形でない場合がある。

選択可能／制御可能な分解能を有することに加えて、幾つかの実施形態では、各センサファセット３７３５はまた、複数の色範囲からの選択可能な色範囲及び／又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板２２１０のセンサファセット３７３５は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、１つのセンサファセット３７３５が特定の色範囲を有することができ、別のセンサファセット３７３５が異なる色範囲を有する。同様に、１つのセンサファセット３７３５は、特定のフレームレートを有することができ、別のセンサファセット３７３５は、異なるフレームレートを有する。

図３８～図３９は、特定の実施形態による、図３７の分散型マルチアパーチャカメラアレイ３７００の分解図を示す。これらの図に示されるように、各センサファセット３７３５は、フレキシブル回路基板２２１０のパッド２２４０又は論理ファセット２６５５のパッド２９４０と一致するパターンのパッド３９４０を含むことができる。これにより、センサファセット３７３５は、当技術分野の任意の適切な技術を使用して、論理ファセット２６５５又はフレキシブル回路基板２２１０に結合することができる。幾つかの実施形態では、パッド３９４０は、ＢＧＡパッド又は他の適切な表面実装パッドである。図４０～図４０は、フレキシブル回路基板２２１０が３Ｄ形状に形成されていることを除いて、図２３～図２４に示されるようなフレキシブル回路基板２２１０の同様の図を示す。

図４２は、特定の実施形態による、分散マルチアパーチャカメラアレイ３７００を製造する方法４２００を示す。方法４２００は、ステップ４２１０で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション２２２０であり、回路基板は、フレキシブル回路基板２２１０である。幾つかの実施形態では、各ファセットロケーションは、センサファセット３７３５などの複数のセンサファセットの１つに対応する。

ステップ４２２０において、フレキシブル回路基板は、フレキシブル回路基板が後で３Ｄ形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ２２１５などの複数のギャップによって１又は２以上の隣接するファセットロケーションから分離される。フレキシブル基板が３Ｄ形状に形成された場合、複数のギャップが実質的に排除される。

ステップ４２３０において、複数のセンサファセットが、フレキシブル回路基板の第１の側に結合される。各センサファセットは、ステップ４２１０のファセットロケーションのそれぞれに結合される。ステップ４２４０では、組み立てられた電子カメラアセンブリが３Ｄ形状に形成される。幾つかの実施形態では、このステップは、上述の方法２５００のステップ２５４０と同様とすることができる。ステップ４２４０の後、方法４２００は終了することができる。

特定の実施形態は、必要に応じて、方法４２００の１又は２以上のステップを繰り返すことができる。本開示は、方法４２００の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序（例えば、任意の時間的順序）で方法４２００の任意の適切なステップを行うことを企図している。更に、本開示は、分散型マルチアパーチャカメラアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法４２００のステップの全て又は一部を含むか又は全く含まない場合がある、分散型マルチアパーチャカメラアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法４２００の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法４２００の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。

本明細書では、「又は」は、他に明示的に示されていないか、又は文脈によって他に示されていない限り、包括的であり排他的ではない。従って、本明細書では、「Ａ又はＢ」は、特に明記されていない限り又は文脈によって別段に指定されていない限り、「Ａ、Ｂ、又はその両方」を意味する。更に、「及び」は、特に明記されていない限り又は文脈によって別段に示されていない限り、共同及び別々の両方である。従って、本明細書では、「Ａ及びＢ」は、特に明記されていない限り又は文脈によって別の方法で指定されていない限り、「Ａ及びＢは、共同又は別々に」を意味する。

本開示の範囲は、当業者であれば理解するであろう、本明細書に記載又は例示される例示的な実施形態に対する全ての変更、置換、変形、代替、及び修正を包含する。本開示の範囲は、本明細書で説明又は図示される例示的な実施形態に限定されない。更に、本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書の任意の場所に記載又は図示されている構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。

本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書のどこかで記載又は例示される構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。

更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。下記に本発明の実施態様について記載する。
（実施態様１）電子ディスプレイアセンブリであって、
回路基板の第１の側にあり、第１の複数のセルを含む第１のマイクロレンズ層と、
前記第１のマイクロレンズ層とは前記回路基板の反対側にあり、第２の複数のセルを含む第２のマイクロレンズ層と、
前記第１のマイクロレンズ層に隣接し、前記第１の複数のセルを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
前記第２のマイクロレンズ層に隣接し、前記第２の複数のセルを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、
前記第１及び第２の複数のセルの各セルが、
透明レンズレットと、
隣接するセルへの光の漏出を防止するよう構成された複数の不透明壁と、を含む、電子ディスプレイアセンブリ。
（実施態様２）前記第１及び第２の複数のセルの各セルの少なくとも一方端上にフィルタ層を更に備え、前記フィルタ層は、前記フィルタ層を通過する光を特定の入射角度に制限するよう動作する、実施態様１に記載の電子ディスプレイアセンブリ。
（実施態様３）前記フィルタ層が、コーティング又はフィルムを含む、実施態様２に記載の電子ディスプレイアセンブリ。
（実施態様４）前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、ポリマー、シリカガラス、又はサファイアから形成される、実施態様１に記載の電子ディスプレイアセンブリ。
（実施態様５）前記ポリマーが、ポリカーボネート又はアクリルを含む、実施態様４に記載の電子ディスプレイアセンブリ。
（実施態様６）前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、３次元形状であり、該３次元形状の一方端にコリメートレンズを有し、前記３次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様１に記載の電子ディスプレイアセンブリ。
（実施態様７）電子ディスプレイアセンブリであって、
複数のセルを含むマイクロレンズ層と、
前記マイクロレンズ層に隣接し、複数のピクセルを含むピクセルアレイ層と、を備え、
前記複数のセルの各セルが、
透明レンズレットと、
隣接するセルへの光の漏出を防止するよう構成された複数の不透明壁、及び前記複数のセルの各セルの一方端上にあるフィルタ層であって、該フィルタ層を通過する光を特定の入射角に制限するよう構成されたフィルタ層の一方又は両方と、を含む、電子ディスプレイアセンブリ。
（実施態様８）前記フィルタ層が、コーティング又はフィルムを含む、実施態様７に記載の電子ディスプレイアセンブリ。
（実施態様９）前記複数のセルの各セルの前記透明レンズレットが、ポリマー、シリカガラス、又はサファイアから形成される、実施態様７に記載の電子ディスプレイアセンブリ。
（実施態様１０）前記ポリマーが、ポリカーボネート又はアクリルを含む、実施態様９に記載の電子ディスプレイアセンブリ。
（実施態様１１）前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、３次元形状であり、該３次元形状の一方端にコリメートレンズを有し、前記３次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様７に記載の電子ディスプレイアセンブリ。
（実施態様１２）前記複数のピクセルが、
前記複数のセルを通った入射光を検出するよう構成された複数のセンサピクセル、又は、前記複数のセルを通して光を放出するよう構成された複数のディスプレイピクセル、を含む、実施態様７に記載の電子ディスプレイアセンブリ。
（実施態様１３）電子ディスプレイを製造する方法であって、
複数のレンズレットを含むマイクロレンズアレイ（ＭＬＡ）を取得するステップと、
前記複数のレンズレットの各々の周りで複数の溝を所定の深さまでカットするステップと、
光が前記複数の溝を通って漏れないように構成された材料で前記複数の溝を充填するステップと、を含む、方法。
（実施態様１４）前記カットするステップが、リソグラフィーを含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様１５）前記カットするステップが、レーザエッチングを含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様１６）前記材料が、不透明材料を含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様１７）前記不透明材料が、非反射性の不透明材料又は着色ポリマーを含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様１８）前記材料が、光吸収材料を含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様１９）前記光吸収材料が、カーボンナノチューブ溶剤を含む、実施態様１３に記載の電子ディスプレイを製造する方法。
（実施態様２０）前記複数のレンズレットの各々の周りで前記複数の溝を前記所定の深さまでカットするステップが、前記所定の深さを達成するよう複数のカットパスを実施するステップを含む、実施態様１３に記載の電子ディスプレイを製造する方法。

７０１ 入射ライトフィールド
７０２ 出射ライトフィールド
７１０ エミュレートされた透明アセンブリ
７２０Ａ センサ側マイクロレンズアレイ
７２０Ｂ ディスプレイ側マイクロレンズアレイ
７３０ イメージセンサ層
７３５Ａ～Ｃ センサユニット
７４０ 回路基板
７４５Ａ～Ｃ ユニット取付ロケーション
７５０ 論理ユニット層
７５５Ａ～Ｃ 論理ユニット
７６０ 電子ディスプレイ層
７６５Ａ～Ｃ ディスプレイユニット

Claims (12)

1. 電子ディスプレイアセンブリであって、
   回路基板の第１の側にあり、第１の複数のセルを含む第１のマイクロレンズ層と、
   前記第１のマイクロレンズ層とは前記回路基板の反対側にあり、第２の複数のセルを含む第２のマイクロレンズ層と、
   前記第１のマイクロレンズ層に隣接し、前記第１の複数のセルを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
   前記第２のマイクロレンズ層に隣接し、前記第２の複数のセルを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、
   前記第１及び第２の複数のセルの各セルが、
   透明レンズレットと、
   隣接するセルへの光の漏出を防止するよう構成された複数の不透明壁と、を含む、電子ディスプレイアセンブリ。
2. 前記第１及び第２の複数のセルの各セルの少なくとも一方端上にフィルタ層を更に備え、前記フィルタ層は、前記フィルタ層を通過する光を特定の入射角度に制限するよう動作する、請求項１に記載の電子ディスプレイアセンブリ。
3. 前記フィルタ層が、コーティング又はフィルムを含む、請求項２に記載の電子ディスプレイアセンブリ。
4. 前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、ポリマー、シリカガラス、又はサファイアから形成される、請求項１に記載の電子ディスプレイアセンブリ。
5. 前記ポリマーが、ポリカーボネート又はアクリルを含む、請求項４に記載の電子ディスプレイアセンブリ。
6. 前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、３次元形状であり、該３次元形状の一方端にコリメートレンズを有し、前記３次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項１に記載の電子ディスプレイアセンブリ。
7. 電子ディスプレイアセンブリであって、
   第１の複数のセルを含む第１のマイクロレンズ層と、
   前記第１のマイクロレンズ層に隣接し、複数のピクセルを含むピクセルアレイ層と、
   前記第１のマイクロレンズ層とは前記電子ディスプレイアセンブリの反対側にあり、第２の複数のセルを含む第２のマイクロレンズ層と、を備え、
   前記第１及び第２の複数のセルの各セルが、
   透明レンズレットと、
   隣接するセルへの光の漏出を防止するよう構成された複数の不透明壁、及び前記複数のセルの各セルの一方端上にあるフィルタ層であって、該フィルタ層を通過する光を特定の入射角に制限するよう構成されたフィルタ層の一方又は両方と、を含む、電子ディスプレイアセンブリ。
8. 前記フィルタ層が、コーティング又はフィルムを含む、請求項７に記載の電子ディスプレイアセンブリ。
9. 前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、ポリマー、シリカガラス、又はサファイアから形成される、請求項７に記載の電子ディスプレイアセンブリ。
10. 前記ポリマーが、ポリカーボネート又はアクリルを含む、請求項９に記載の電子ディスプレイアセンブリ。
11. 前記第１及び第２の複数のセルの各セルの前記透明レンズレットが、３次元形状であり、該３次元形状の一方端にコリメートレンズを有し、前記３次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項７に記載の電子ディスプレイアセンブリ。
12. 前記複数のピクセルが、
    前記第１の複数のセルを通った入射光を検出するよう構成された複数のセンサピクセル、又は、前記第１の複数のセルを通して光を放出するよう構成された複数のディスプレイピクセル、を含む、請求項７に記載の電子ディスプレイアセンブリ。

Images