JP6654774B2 - 統合マイクロオプチックイメージャ、プロセッサおよびディスプレイ｛ｉｎｔｅｇｒａｔｅｄ ｍｉｃｒｏｏｐｔｉｃ ｉｍａｇｅｒ、ｐｒｏｃｅｓｓｏｒ ａｎｄ ｄｉｓｐｌａｙ｝ - Google Patents

Description

本発明はシーンを撮像する装置に関し、具体的には積層構造、より具体的にはコンパクトな積層構造に関する。

画像装置は光入力やディスプレイまたはその両方とものために相当な空間が必要である。

米国特許第５７５４３４８号明細書 米国特許第８０１３９１４号明細書 米国特許出願公開第２０１４／０１６８７８３号明細書 米国特許第７２５０９８３号明細書 米国特許第６０２７９５８号明細書 米国特許第６９５３７３５号明細書 米国特許第８７６４２５５号明細書

「Ｔｈｉｎ ｏｂｓｅｒｖａｔｉｏｎ ｍｏｄｕｌｅ ｂｙ ｂｏｕｎｄ ｏｐｔｉｃｓ（ＴＯＭＢ））：ｃｏｎｃｅｐｔ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｖｅｒｉｆｉｃａｔｉｏｎ、」 ｂｙ Ｊｕｎ Ｔａｎｉｄａら、Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ、Ｖｏｌ．４０、Ｎｏ．１１、１０ Ａｐｒｉｌ ２００１（「ｔｈｅ Ｔａｎｉｄａ ｐａｐｅｒ」） 「ＰｉＣａｍ：Ａｎ Ｕｌｔｒａ−Ｔｈｉｎ Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｍｏｎｏｌｉｔｈｉｃ Ｃａｍｅｒａ Ａｒｒａｙ、」 ｂｙ Ｖｅｎｋａｔａｒａｍａら、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＴＨ Ａｓｉａ、３２（５） ２０１３． 「Ｎｅａｒ−Ｅｙｅ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙｓ」 ｂｙ Ｄｏｕｇｌａｓ Ｌａｎｍａｎ ａｎｄ Ｄａｖｉｄ Ｌｕｅｂｋｅ、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＴＨ Ａｓｉａ、３２（６） Ｎｏｖｅｍｂｅｒ ２０１３、ａｒｔｉｃｌｅ ｎｕｍｂｅｒ ２２０ 「Ｉｎｆｒａｒｅｄ Ｄｅｔｅｃｔｏｒｓ：ｏｎ ｏｖｅｒｖｉｅｗ」 ｂｙ Ａｎｔｏｎｉ Ｒｏｇａｌｓｋｉ、ｉｎ Ｉｎｆｒａｒｅｄ Ｐｈｙｓｉｃｓ ＆ ｔｅｃｈｎｏｌｏｇｙ ４３ （２００２） １８７−２１０

本発明は空間を節減した画像装置を提供することを目的とする。

本発明はシーンから光をディスプレイする光学システムに関する。この光学システムは、第１光指向開口配列、光検出器、プロセッサ、ディスプレイおよび第２光指向開口配列を含む能動光学要素を有する。第１光指向開口配列は光検出器に光入力を提供するように位置する。光検出器は、光入力を受け、この光入力を強度と位置データに対応する電気信号に変換するように位置する。プロセッサは、光検出器からデータを受け、このデータをディスプレイ用として処理するように連結される。第２光指向開口配列はディスプレイから光出力を受けるように位置する。

本発明の能動光学要素の一例の展開斜視図である。 図１の能動光学要素のブロック図である。 光検出器、プロセッサおよびディスプレイが共通表面において連結された能動光学要素の他例の断面図である。 図３ａの平面図である。 光検出器、プロセッサおよびディスプレイが全て別途の層にある図１の能動光学要素の一例の断面図である。 マイクロレンズからなる入力光指向開口配列の断面図である。 ピンホールからなる入力光指向開口配列の断面図である。 回折格子からなる入力光指向開口配列の断面図である。 目近くの網膜に１つの画像を形成する出力光指向開口配列を示す断面図である。 メガネに設けられた本発明の曲面型能動光学要素を示す斜視図である。 メガネに設けられた本発明の曲面型能動光学要素を示す斜視図である。 メガネに設けられた平面型能動光学要素を示す斜視図である。 メガネに設けられた本発明の曲面型能動光学要素を示す斜視図である。 本発明の曲面型能動光学要素の製造過程を示す図である。

図１〜２に示すように、本発明のシステムは、入出力光学要素用としてマイクロレンズが配列された光指向開口配列３０ａ〜３０ｂ、２個の光指向開口配列の間に位置した光検出器３２、プロセッサ３４およびディスプレイ３６を含む積層要素を用いて能動光学要素４０を提供する。

光指向開口配列は、成形ガラス、溶融シリカ、アクリル系のプラスチック、ポリカーボネート、Ｕｖｅｘ、ＣＲ３９、Ｔｒｉｖｅｘのような材料からなる。

光検出器３２は、光指向開口配列３０ａを介して外部のシーンから光子を受けるレセプタアレイを含み、このような光子を外部シーンの強度と位置に該当する電気信号に変換する。光検出器３２は、電荷結合素子、補助金属酸化物半導体センサチップ、マイクロチャネル増幅撮像チップコンビネーションのような光検出器、ＥＢＩＣ（ｅｌｅｃｔｒｏｎ ｂｏｍｂａｒｄｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、および低光源レベルにおける短波赤外線用としてＩｎＧａＡｓ焦点面アレイを含むことができる。

光検出器３２は画像データをプロセッサ３４のメモリ４２に格納するための直列連結部を有するが、場合によっては、プロセッサのメモリに画像データを格納するための多重並列連結部５８を有してもよい。

プロセッサ３４は、入力アセンブラ４４、データキャッシュ４８を備えたＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）４６、実行管理者５０、ＣＰＵ５２、および光検出器３２の画像データをデジタル処理しディスプレイ３６用にフォーマットしてワイヤコネクタや多重コネクタ５４を介してディスプレイ３６に出力を提供するローカルキャッシュ５４を含む。ディスプレイ３６に提供された画像を光出力光指向開口配列３０ｂを介してビューアの目で見ることができる。

光検出器３２、プロセッサ３４およびディスプレイ３６が共有する共通連結面がディスプレイ３６の背面６０である（図３参照）。光検出器３２とプロセッサ３４は背面６０上のコネクタ６２，６４と表面配線（図示せず）によって互いに連結され、ディスプレイ３６にも連結される。

また、光検出器３２、プロセッサ３４およびディスプレイ３６が別途の層にある場合もする（図４参照）。この場合、光検出器３２とプロセッサ３４はスルーチップコネクタ６６，６８と層間インターコネクタ７０，７２を有する。プロセッサ３４は第１側面と第２側面を有し、第１側面は光検出器３２に電気的に連結され、第２側面はディスプレイ３６に電気的に連結される。一方、光検出器３２とプロセッサ３４を、そしてプロセッサ３４とディスプレイ３６を連結するのに標準ケーブルコネクタ（図示せず）を用いることもできる。

入力側光学系アセンブリを作って実験して、焦点長さｆ＝９．３ｍｍで、口径３．２ｍｍを３×３配列したマイクロレンズからなる光指向開口配列３０ａを用いてテストをした。ＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）は２０°であり、ディスプレイ解像度は２０４８画素×２０４８画素であり、各画素は解像度が５５ｌｐ／°である側において５．５×５．５ミクロンであった。マイクロレンズアレイの各レンズは複合レンズであった。入力光学系のマイクロレンズアレイの厚さは８．５ｍｍであり、光検出器３２までの間隔は１ｍｍであった。

出力側光学系アセンブリを購入してテストをした。解像度は２ｌｐ／°、ＦＯＶは１７°、焦点長さは３．３ｍｍ、口径は１ｍｍであり、各レンズは３ｍｍ厚さの成形ポリカーボネートであった。テキサス州フォートワース所在のＦｒｅｓｎｅｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ社の部品番号６３０番のマイクロレンズを購入した。ディスプレイは部品番号ＥＣＸ３２２Ａのソニー社の１５×１１ｍｍ ＯＬＥＤマイクロディスプレイである。

この実験において、光指向開口配列３０ａは光指向開口配列３０ｂとは異なる寸法を有することができる。

図１〜２および５に示された例では光指向開口配列３０ａ〜３０ｂとしてマイクロレンズを用いたが、図５ｂのようなピンホールや図５ｃのような回折格子を用いることもできる。勿論、ゾーンプレート（ｚｏｎｅ ｐｌａｔｅ）、ホログラム、屈折率分布物質、光結晶も用いることができる。図５ｃのようにマイクロレンズアレイの各々のレンズは複合レンズであってもよい。

光指向開口配列の隣接した開口は光検出器３２にシーン要素を提供する。プロセッサ３４にあるプログラムはシーン要素からのデータ、例えば、隣接した開口から生じられたデータを重畳して１つの画像を生成して、解像度を高め、信号対雑音比を改善し、コントラストを高め、それについては下記の論文に紹介されている：非特許文献１、非特許文献２上記の論文は両方とも本発明に参照し、特許文献１と特許文献２に紹介されており、これらの特許は両方とも本発明に参考にした。プロセッサ３４は倍率を高めるプログラムを実行することもできる。

図６にはユーザーの目近くに位置した出力部である開口配列３０ｂとディスプレイ３６が示されている。ディスプレイ３６は入力光学系に提示されたシーンの似た画像の２次元アレイを提供する。ユーザーは開口配列３０ｂを介してディスプレイ３６を見ることができる。ユーザーの目が開口配列３０ｂを見るごとに、開口の各々が下位画像の一部分を送り、各々のレンズの画像を合わせて網膜に１つの画像が形成され、それについては特許文献３と論文、非特許文献３に紹介されている。このような構成によれば、ディスプレイ３６と開口配列３０ｂをメガネのようにユーザーの目の近くに置くことができる。

コネクタ５６を介してプロセッサ３４に外部電子機器を連結してディスプレイ３６に情報を提供することができる。外部電子機器としては通信機、ＷｉＦｉ（登録商標）、ＧＰＳ、遠隔カメラ、ウェアラブル光学装置、マイクロホン、デジタルコンパス、加速度計、自動車機器およびコンピュータが挙げられる。一例として、外部情報をディスプレイに提供してシーンに情報を重ねることもでき、それについては本発明で参照した特許文献４に紹介されている。よって、このようなシステムはビューアが見る対象に関する重複情報で見ることを増強することができる。重複情報は予め格納された情報であってもよい。

このシステムは、可視光（０．４〜０．７ミクロン）、近赤外線（０．７〜１．０ミクロン）、短波赤外線（１．０〜２．５ミクロン）を含む波長帯域においてキャプチャーした画像をディスプレイしてユーザーのビジョンを増強する。このシステムは、適当な光検出器を用いて、可視光と近赤外線、可視光と短波赤外線、近赤外線と短波赤外線、可視光と近赤外線と短波赤外線の組み合わせを示す画像をディスプレイしたりもする。また、このシステムは、他帯域の光、例えば、紫外線（０．２〜０．４ミクロン）、中波赤外線（２．５〜６ミクロン）、長波赤外線（６〜１４ミクロン）の他の波長帯域の光を提供するオブジェクトの画像をディスプレイすることもできる。よって、このシステムは、非可視光波長帯域においてオブジェクトの画像をディスプレイしてユーザーのビジョンを増強することができる。様々な波長帯域の公知の光検出器を用いることができ、それについては非特許文献４に紹介されている。

本出願人は、多重開口配列を用いても入力レンズ１つを用いたことに比べて立体角に変化がないことを明らかにした。入力レンズ１つの場合に比較して、光検出器の各々の画素に集まった光束にも変化がない。また、Ｔａｎｉｄａ論文に説明したように、周辺画素の加重平均を利用すれば、雑音が減り、解像度も改善されることが明らかになった。

能動光学要素４０の厚さを既存の装置と比較して十分に減らしつつも、出力光指向開口配列３０ｂによって本発明のシステムをユーザーの目の近くに置くことができるため、１対の能動光学要素４０をメガネ７４の一般レンズに代替することができる（図７参照）。一方、能動光学要素４０が取り付けられたメガネを一般メガネ上に重ねてかけることもできる。または、メガネの一般レンズ中の１つだけ交替できるようにして片方の目では正常に見るようにすることもできる。光指向開口配列３０ａ〜３０ｂと積層要素３１を、図７ｃのように平面に配置するか、図７ａ〜ｂおよびｄのように曲面型に配置することもできる。

曲面型半導体要素については特許文献５、特許文献６および特許文献７に紹介されたおり、これらは全て本発明で参考にした。曲面型積層要素としては光検出器とプロセッサ用の薄い結晶質シリコンがある。薄膜シリコンはロールアップできる。これは、２次元各々において他の曲率を持てるように十分に柔軟である。他の半導体も薄ければ、同じように柔軟である。シリコン接点を通過させるのに薄くすることが有利である。ディスプレイ３６は柔軟な基板に組み立てられる。光指向開口配列３０ａ〜３０ｂを曲面型に製作することもできる。

図８は、曲面積層要素３１’の製造方法を示す。図８ａに示すように、シリコン−絶縁体基板８０の犠牲酸化物絶縁膜の表面に光検出器３２をエピタキシャルに成長させ、光検出器３２の能動面８２は酸化物絶縁膜８４を向かい合わせ、背面８６は電気接続のために露出させる。成長した光検出器３２の厚さは２〜２０ミクロン範囲である。

図８ｂに示すように、シリコン−絶縁体基板９０の犠牲酸化物絶縁膜の表面にプロセッサ３４をエピタキシャルに成長させ、能動面９２と光検出器３２に対する電気接点を露出させ、ディスプレイに連結した電気接点９４は酸化物絶縁膜９６を向かい合わせる。成長したプロセッサ３４の厚さは２〜２０ミクロン範囲である。

図８ｃに示すように、シリコン−絶縁体基板１００の犠牲酸化物絶縁膜の表面にディスプレイ３６をエピタキシャルに成長させ、プロセッサ１０２に対する電気接点は露出させ、ディスプレイ要素は酸化物絶縁膜１０６を向かい合わせる。成長したディスプレイ３６の厚さは１０〜３０ミクロン範囲である。ディスプレイ基本物質はシリコンである。ディスプレイ要素は金属、蒸着されたＬＥＤ、ミラーおよび誘電体を含むことができる。

次のステップとして、図８ｄに示すように、光検出器３２とプロセッサ３４との間に電気接点を整列し、ハンダ付けや圧着などの方法を利用して光検出器３２をプロセッサ３４に接合する。

次に、図８ｅに示すように、フッ酸や二フッ化キセノン（ｘｅｎｏｎ ｄｉｆｌｕｏｒｉｄｅ）を用いてプロセッサ基板９０から光検出器−プロセッサ積層１１０を分離する。

次に、図８ｆに示すように、ハンダ付けや圧着のような方法を利用してプロセッサ３４の露出した電気接点をディスプレイ３６の電気接点に結合する。

次に、図８ｇに示すように、ディスプレイ基板１００と光検出器基板８０両側から光検出器−プロセッサ−ディスプレイ積層１２０を分離する。光検出器−プロセッサ−ディスプレイ積層は今は柔軟であり、その電気接点は層間の電気通信のために整列される。また、積層１２０のエッジや光検出器３２やディスプレイ３６の外面から続いた電気リードは、バッテリーに連結して電力を受け、外部電気機器から信号を受けるのに用いられる。コネクタを介して電力を３個の層の全てに供給することができる。バッテリーはメガネフレームを含めてどこにも設置できる。

次に、図８ｈに示すように、光検出器−プロセッサ−ディスプレイ積層を成形光学系で製造された固い曲面型の入力レンズアレイ１３０ａと出力レンズアレイ１３０ｂに整列し連結して曲面積層３１’を形成する。

Claims (12)

1. 能動光学要素を含み、シーンから光をディスプレイする光学システムであって、
   前記能動光学要素が第１光指向開口配列、光検出器、プロセッサ、ディスプレイおよび第２光指向開口配列を含み、前記第１光指向開口配列は光検出器に光入力を提供するように位置し、前記光検出器は、光入力を受け、該光入力を強度と位置データに対応する電気信号に変換するように位置し、前記プロセッサは、光検出器からデータを受け、該データをディスプレイ用として処理するように連結され、前記第２光指向開口配列はディスプレイから光出力を受けるように位置し、
   前記光検出器、プロセッサおよびディスプレイが共通表面において互いに連結されることを特徴とする光学システム。
2. 前記能動光学要素をホールドするメガネフレームをさらに含むことを特徴とする、請求項１に記載の光学システム。
3. 積層要素をさらに含み、前記積層要素が前記光入力、光検出器、プロセッサ、ディスプレイおよび光出力を含むことを特徴とする、請求項１または２に記載の光学システム。
4. 前記積層要素が曲面型であることを特徴とする、請求項３に記載の光学システム。
5. 前記第１および第２光指向開口配列がレンズ、ピンホール、回折格子、ゾーンプレート、ホログラム、屈折率分布物質および光結晶からなる群から選択されることを特徴とする、請求項１〜４のいずれか１項に記載の光学システム。
6. 前記レンズが複合レンズを含むことを特徴とする、請求項５に記載の光学システム。
7. 前記第１光指向開口配列の隣接した開口がシーン要素を提供し、前記プロセッサは前記シーン要素を用いて信号対雑音比、コントラストおよび解像度からなる群から選択された少なくとも１つを調節するプログラムを有することを特徴とする、請求項１〜６のいずれか１項に記載の光学システム。
8. 外部電子機器をさらに含み、前記外部電子機器は情報を提供するように連結され、前記プロセッサはディスプレイの情報を光入力から求めた画像に重畳させるプログラムを有することを特徴とする、請求項１〜７のいずれか１項に記載の光学システム。
9. 前記外部電子機器が通信機、ＷｉＦｉ（登録商標）、ＧＰＳ、遠隔カメラ、ウェアラブル光学装置、マイクロホン、デジタルコンパス、加速度計、自動車機器およびコンピュータからなる群から選択された少なくとも１つを含むことを特徴とする、請求項８に記載の光学システム。
10. 前記光検出器が可視光線、近赤外線、短波赤外線、中波赤外線、長波赤外線、可視光線と近赤外線、可視光線と短波赤外線、近赤外線と短波赤外線、可視光線と近赤外線と短波赤外線、可視光線と中波赤外線、可視光線と長波赤外線、および可視光線と近赤外線と短波赤外線と中波赤外線と長波赤外線からなる群から選択された少なくとも１つを含む波長にセンシティブであることを特徴とする、請求項１〜３のいずれか１項に記載の光学システム。
11. 前記共通表面がディスプレイの背面を含むことを特徴とする、請求項１〜１０のいずれか１項に記載の光学システム。
12. 前記光検出器、プロセッサおよびディスプレイが別途の層に位置し、前記プロセッサは第１側面と第２側面を有し、第１側面は光検出器に電気的に連結され、第２側面はディスプレイに電気的に連結されることを特徴とする、請求項１〜９のいずれか１項に記載の光学システム。

Images