JP6320385B2 - ライトフィールドデータに関する情報を取得する装置及び方法 - Google Patents

Description

一態様において、本発明は、ライトフィールドデータに関する情報を取得する装置及び方法に関し、特にライトフィールドカメラに関する。

ライトフィールドカメラは、米国特許第７，９３６，３９２号公報に開示されている。ライトフィールドカメラは、マイクロレンズ（すなわち、小型レンズ）アレイ及び光センサアレイを使用することにより、像面上の各空間位置に蓄積する光の量を取り込むだけではなく、マイクロレンズアレイにおいて光が到達した方向に関する情報も取得できる。

マイクロレンズアレイは、光軸に沿って光センサアレイの前に配置され、光の方向に関するデータをサンプリングする。方向の精度は、光センサアレイ上の画像形成状態に依存する。

ズーム動作により画像形成状態が変化すると、その変化が精度の劣化を引き起こしうる。

本発明の実施形態は、装置及び方法を提供する。

本発明の一態様によると、ライトフィールドデータに関する情報を取得する装置であって、当該装置に接続されるレンズ部を通過した被写体からの光を第１の光束及び第２の光束に分割するように構成されたビームスプリッタと、
前記第１の光束を検出して前記被写体の画像を形成するように構成された撮像素子と、複数の小型レンズを含む小型レンズアレイ及び前記小型レンズアレイを通過した前記第２の光束を検出する検出部を含み、前記ライトフィールドデータに関する情報を取得するように構成されたライトフィールドセンサと、アクチュエータとを備え、前記検出部が設けられる第１の位置は、前記レンズ部の瞳の第２の位置と共役であり、前記アクチュエータは、前記レンズ部の前記瞳が前記レンズ部のズーム動作に従って移動される場合に、前記第１の位置と前記第２の位置との共役関係を維持するために前記検出部を移動させる、という装置が提供される。

本発明の一態様によると、ライトフィールドデータに関する情報を取得する方法であって、レンズ部を通過する被写体の光を第１の光束及び第２の光束に分割することと、前記被写体の画像を撮像するために前記第１の光束を検出することと、前記第２の光束を、複数の小型レンズを含む小型レンズアレイ及び前記小型レンズアレイを通過した前記第２の光束を検出する検出部を備えるライトフィールドセンサに入射させることと、前記レンズ部の瞳が前記レンズ部のズーム動作に従って移動される場合に、前記レンズ部の前記瞳の位置と前記検出部の位置との共役関係が維持されるように前記レンズ部のズーム動作に従って前記検出部を移動させることとを含む方法が提供される。

添付の図面を参照して、例示的な実施形態の以下の説明から本発明の更なる特徴が明らかになるだろう。

ライトフィールドデータ取得デバイスの一実施形態を示す図。 ライトフィールドセンサの構成を説明する図。 ライトフィールドセンサの構成を説明する図。 ライトフィールドデータ取得デバイスの一実施形態を示す図。 検出部を移動させるために使用されるアクチュエータの例を示す図。 検出部を移動させるために使用されるアクチュエータの例を示す図。 ライトフィールドデータ取得デバイスの一実施形態を示す図。 空間光変調器を示す側面図及び上面図。 空間光変調器を示す上面図。 撮像素子により検出された画像と検出部により検出されたライトフィールドデータとの関係を説明する図。 撮像素子により検出された画像と検出部により検出されたライトフィールドデータとの関係を説明する図。 撮像素子により検出された画像と検出部により検出されたライトフィールドデータとの関係を説明する図。 撮像素子により検出された画像と検出部により検出されたライトフィールドデータとの関係を説明する図。 撮像素子により検出された画像と検出部により検出されたライトフィールドデータとの関係を説明する図。 画像処理方法を示すフローチャート。 ライトフィールドセンサの例を示す図。 ライトフィールドセンサの例を示す図。

添付の図面を参照して、本発明に係る実施形態を以下において説明する。

ライトフィールドデータ取得デバイス１０００の構成を図１に示す。被写体１０１の画像を形成するレンズ部１０２及び撮像素子１０４は、光軸１２０に沿って配置される。デバイス１０００において、レンズ部は、例えばオートフォーカス機能及びズーム機能用の複数のレンズを含みうる。レンズ部１０２は、省略するために図１では１つのレンズとして描かれる。

符号１０２ａはレンズ部の瞳を示す。瞳は、レンズ部１０２の開口絞りの画像である。技術的に、瞳１０２ａを射出瞳と呼んでもよい。レンズ部１０２は、デバイス１０００のレンズ部の分解能及び画角に関連する。

ビームスプリッタ１０３（例えば、ダイクロイックビームスプリッタ、５０：５０ビームスプリッタ、８０：２０ビームスプリッタ、９０：１０ビームスプリッタ及び偏光ビームスプリッタ）は、図１に示されるように、放射線１２１（例えば、近赤外線、赤外線、紫外線、可視光）を光１１７から分離しうる。ビームスプリッタ１０３を通過する光１５０は撮像素子１０４により検出可能であり、分離（反射、偏向）された放射線１２１は、図１において小型レンズアレイ１０７に入射しうる。ビームスプリッタ１０３は、光１１７を撮像素子に対する可視光と、小型レンズアレイ１０７及び検出部を含むライトフィールドセンサ１６０に対する近赤外光とに分割してもよい。検出部は、空間光変調器（以下、ＳＬＭ）１０８と、検出器１０９とを備えうる。ＳＬＭ１０８及び検出器１０９（光検出器等）を使用するのではなく、撮像素子アレイ（例えば、ＣＣＤアレイ、ＣＭＯＳアレイ）が使用されてもよい。

例えばビームスプリッタ１０３は、被写体１０１からの光を撮像素子１０４により検出される光１１７の８０％の可視光と、検出部１６０により検出される光１１７の２０％の可視光とに分割してもよい。そのようなビームスプリッタを上記のように「８０：２０ビームスプリッタ」として説明する。

分離された放射線１２１は、ＳＬＭ１０８及び検出部である検出器１０９（例えば、光検出器）を使用することで検出されうる。ＳＬＭ１０８は複数の画素グループを有する。各画素グループは、検出器１０９を使用することにより、小型レンズアレイ１０７の各小型レンズと関連付けられて、被写体１０１のライトフィールドデータに関する情報を取得してもよい。ＳＬＭ１０８の全ての画素グループは個々に駆動されうる。例えばＳＬＭは、ＬＣＤ（液晶デバイス）又はＤＭＤ（デジタルマイクロミラーデバイス）であってもよい。

ライトフィールドセンサ１６０は、小型レンズアレイ１０７及び撮像素子アレイ等の検出部又はＳＬＭ１０８と光検出器１０９との組合せを含んでもよい。例えば、以下の構成が使用可能である。（ａ）撮像素子１０４が可視光を検出し、ライトフィールドセンサ１６０が可視光を更に検出する。（ｂ）撮像素子１０４が可視光を検出し、ライトフィールドセンサ１６０が、近赤外線及び／又は赤外線、並びに／あるいは紫外光を検出する。

図２Ａ及び図２Ｂに示されるように、分離された放射線１２１は、ライトフィールドセンサ１６０だけではなく、撮像素子１０４によっても検出されうる。以下において、図１を用いて図２Ａのシステム構成を例示的に説明し、可視光は、撮像素子１０４により検出される光の一例として使用され、近赤外光は、分離された光１２１の一例として使用される。

ビームスプリッタ１０３を通過する可視光（１５０）は、像面上にある撮像素子１０４により検出されうる。ビームスプリッタ１０３により反射される近赤外線（１２１）は、小型レンズアレイ１０７に入射可能であり、小型レンズアレイ１０７からの光は、ＳＬＭ１０８を介して検出器１０９により検出可能である。本発明の実施形態において、可視光は、撮像素子１０４を使用することで像面上に蓄積する光の量を取り込むために使用され、近赤外線１２１は、レンズ部１０２の瞳１０２ａに到達する被写体１０１からの光の方向に関する情報を取得するために使用される。

可視光（１５０）の画像１０５及び近赤外線（１２１）の画像１０６が形成され、それぞれ撮像素子１０４及び小型レンズアレイ１０７に合焦される。ビームスプリッタ１０３と小型レンズアレイ１０７との間の長さは、ビームスプリッタ１０３と撮像素子１０４との間の長さと同一であってもよい。各要素（例えば、小型レンズアレイ１０７、ＳＬＭ１０８及び光センサ１０９）は、それぞれ縮小して図１に示される。ＳＬＭ１０８の位置は、レンズ部１０２の瞳１０２ａの位置と共役であるように設定される。瞳１０２ａにおける画像は、図１に示されるようにＳＬＭ１０８上に形成される。図中符号１０２ｂは、ＳＬＭ１０８上に形成された瞳１０２ａに対応する画像を示す。ＳＬＭ１０８上に瞳１０２ａの画像を形成するために、小型レンズアレイ１０７及びレンズ部１０２の出口側に配置されたレンズから構成されうる有効レンズの倍率及び有効位置は、近軸理論により求められうる。ＳＬＭ１０８は有効位置に配置されうる。瞳１０２ａが形成される瞳面は、ＳＬＭ１０８又は検出部と共役でありうる。上記の共役関係ではなく、ＳＬＭ１０８の位置は、レンズ部１０２の１つの主レンズの位置と共役であるように設定されてもよく、主レンズにおける光の方向に関する情報が取得されてもよい。

レンズ部１０２の瞳面がズーム動作に従って光軸１２０に沿ってシフトしている間、画像１０５は、被写体１０１と画像１０５との光学共役関係を維持することで撮像素子１０４上に連続して形成されうる。形成された画像１０５に関する情報は撮像素子１０４により検出可能であり、検出された情報はメモリに格納されうる。

ビームスプリッタ１０３により反射された近赤外線（１２１）は、小型レンズアレイ１０７及びＳＬＭ１０８を介して検出器１０９（例えば、光検出器）により検出されうる。

レンズ部１０２の瞳１０２ａ上の近赤外線（１２１）は、ＳＬＭ１０８と共役されるように設計され、且つ小型レンズアレイ１０７上に画像を形成する。検出器１０９は、ＳＬＭ１０８を介して小型レンズアレイ１０７上に画像を形成する光により照射されうる。ＳＬＭ１０８上の照射の状態は、小型レンズアレイ１０７の小型レンズからの光束の角度に対応し、小型レンズからの光束の角度は、小型レンズに入射する分離された近赤外線１２１の角度に対応する。

小型レンズからの出力角度は、小型レンズへの入射角度に依存しうる。分離された放射線１２１の入射角度は、瞳１０２ａ上の被写体１０１からの光の位置及び方向に依存しうる。光の角度等のライトフィールドデータは、検出部により検出され且つ被写体の深度情報と関連付けられうる。瞳１０２ａ上の光の位置及び方向は、被写体１０１の点の位置、すなわち被写体１０１の深度情報に依存する。

検出器１０９上の照射位置は入射光１２１の角度及び出力角度に依存するため、照射位置及びその照射量に関する情報を取得することは、レンズ部１０２の瞳１０２ａ上の近赤外線の位置及び角度（方向）を認識することを意味する。従って、瞳１０２ａ上の光束の角度は、ＳＬＭ１０８の画素と関連付けられうる。角度毎の光の強度は、光検出器１０９により検出されうる。

光検出器１０９は、フォトダイオード及び光電子増倍管から選択されうる。フォトダイオードは、可視光、紫外光、赤外光又は近赤外光に対するものであってよい。特定の主レンズ及び特定の小型レンズアレイ１０８を図１に示すが、現在入手可能であるかあるいは将来開発されるであろう種々のレンズ及び／又は小型レンズアレイは、例えば、開示されたレンズ部及び／又は小型レンズアレイを置換することにより、同様の方法で実現されうることが当業者により理解されるだろう。レンズ部１０２に加え、他の機能レンズ部が本実施形態に追加されてよい。

ＳＬＭ１０８は複数の画素を含み、各画素は、開口である開状態及びシャッターである閉状態でありうる。１つの小型レンズは、ｍ^＊ｍ画素（例えば、５×５画素）と関連付けられうる。各小型レンズがピンホールカメラであると考えられうるため、小型レンズに入射する光束の方向は、ｍ^＊ｍ画素のうちのどの画素が照射されるかに関する情報により認識されうる。小型レンズアレイ１０７に入射する光束の角度分布は、ＳＬＭ１０８の開口を走査（変更）することで実行されうる。

図１において、被写体１０１からの光の角度は、小型レンズアレイ１０７及びＳＬＭ１０８を介して検出器１０９により検出されるが、小型レンズ及びＳＬＭ１０８の位置の順序を変更できてもよい。図１において、小型レンズアレイ１０７はＳＬＭ１０８で置換されてもよく、ＳＬＭ１０８は小型レンズアレイ１０７で置換されてもよい。

瞳１０２ａは、レンズ部１０２の内部に描かれるが、レンズ部１０２の外側に配置されてもよい。レンズ部１０２のズーム動作に従って瞳１０２ａの位置が移動しうるが、検出器１０９を含むＳＬＭ１０８は、瞳１０２ａの位置とＳＬＭ１０８の位置との共役関係を維持するために主レンズ１０２の瞳の移動に従って移動されうる。ＳＬＭ１０８及び光検出器１０９を備えてもよい検出部と瞳１０２ａとの共役関係が維持されるように、ＳＬＭは、ズーム動作に従ってアクチュエータ１１６により移動されうる。瞳１０２ａとＳＬＭ１０８との共役関係は維持されうる。

ＳＬＭ１０８を移動させるために、アクチュエータ１１６（例えば、ステッピングモータ、微小電気機械システム（ＭＥＭＳ）、ボイスコイルモータ、超音波モータ、圧電モータ）が提供されうる。瞳をシフトさせるズーム動作に従って、ＳＬＭ１０８上に形成された瞳の画像はシフトされうる。画像のシフトに従うために、ＳＬＭ１０７は、ある特定の量だけアクチュエータ１１６によりシフトされうる。空間光変調器１０８は、ズーム動作と同期されるようにアクチュエータ１１６により移動されうる。

瞳面のシフト量に対応するルックアップテーブルは、ＳＬＭ１０８のシフト量を算出するために使用されてもよい。ＳＬＭ１０８が実質的に検出器１０９と組み合わされる場合、検出器１０９は、ＳＬＭ１０８のシフトともしてもシフトされうる。

ビームスプリッタ１０３と、撮像素子１０４と、ライトフィールドセンサ１６０とを備えてもよいカメラ本体及びレンズ部１０２は互いに分離されてもよく、制御器は、ＣＰＵ及びメモリを含むカメラ本体にあってもよい。カメラ本体は、レンズ部がカメラ本体に接続されることを検出し、且つどのレンズ部が接続されるかを見つけうる。メモリがルックアップテーブルを格納する場合、制御器は、ルックアップテーブルに基づいてＳＬＭ１０８の特定のシフト量を提供しうる。

レンズ部１０２の瞳１０２ａがズーム動作に従って範囲１１０を移動する場合、検出器１０９を有するＳＬＭ１０８は、瞳１０２の位置とＳＬＭ１０８の位置との共役関係を維持するために、範囲１１１内のアクチュエータ１１６により瞳の移動と同期されうる。

本実施形態において、空間情報を取得するシステムは、角度情報を取得するシステムの影響を受けない。影響を受けないため、瞳１０２ａの位置が変化したとしても、瞳とＳＬＭ１０８との共役関係を維持できる。

高空間分解能及び高角度分解能の双方を得るのは困難であると言われている。しかし、光が２つの光束に分割されるため、先に開示された撮像装置は、高空間分解能及び高角度分解能の双方を提供しうる。一方は空間情報を検出するために使用され、他方は角度情報を検出するために使用される。

ライトフィールドセンサの各点（ｘ，ｙ）に到達し且つレンズ部の平面の各点（ｕ，ｖ）からの全ての光線を統合することにより、ライトフィールドデータ（例えば、ｆ（ｕ，ｖ，ｘ，ｙ））から写真画像を取得できることが知られている。

以下において、ライトフィールドデータを取得する処理を詳細に説明する。

図３において、光は、レンズ部１０２及びビームスプリッタ１０３を介して小型レンズアレイ１０７に到達する。被写体１０１の画像は、レンズ部１０２により撮像素子１０４上に形成される。２種類の光束（すなわち、軸上光束１１７及び軸外光束１１８）について図３で説明する。軸上光束１１７は被写体１０１の下端に対応しており、軸外光束１１８は被写体１０１の上端に対応している。

複数の可視光束は、撮像素子１０４の各画素上に被写体画像を形成する。一方、近赤外線は小型レンズアレイ１０７に入射する。近赤外線（１２１、１２３）は、瞳１０２ａ上の光束の複数の角度成分から構成され、小型レンズアレイ１０７により分離された後に各角度成分に従ってＳＬＭ１０８に入射する。

図３において、被写体１０１からの軸上光１１７の一部は、ビームスプリッタ１０３により偏向（すなわち、反射）され、瞳１０２ａにおける光の角度に従う種々の角度で小型レンズアレイ１０７に入射される。

軸上光１１７の偏向光束１２１は検出器１０９により検出され、検出された信号は瞳１０２ａにおける光の角度（方向）に依存しうる。ＳＬＭ１０８の開口を走査することにより、瞳１０２ａの各角度における光強度がサンプリングされうる。瞳１０２ａにおける光の角度がＳＬＭ１０８の画素と関連付けられうるため、角度情報は光強度分布を使用して取得されうる。

一方、被写体１０１の位置１５５からの軸外光１１８は、レンズ部１０２に進み、ビームスプリッタ１０３により偏向される。軸外光１１８の偏向光１２３は、軸上光１１８が到達する位置における角度とは異なる角度を有する位置において検出器１０９にも到達しうる。

撮像素子１０４上の被写体１０１の画像１０５の高さ（長さ）又は位置は、被写体１０１の実際の高さに依存しうる。軸上可視光１１７は位置１１９において素子１０４に進み、且つ軸外可視光１１８は素子１０４上の位置１２９に進みうる。

上述したように、ズーム動作中に瞳１０２ａの位置とＳＬＭ１０８の位置との共役関係を維持するために、アクチュエータ１１６は、主レンズ１０２の瞳面の移動に従って検出器１０９を有するＳＬＭ１０８を移動させるために使用されうる。図４Ａ及び図４Ｂに示されるように、ＳＬＭ１０８を有する検出器１０９を移動させるためのアクチュエータ１１６は、ライトフィールドセンサ１６０において提供されて、撮像素子アレイ１０９ｂを移動させうる。

瞳の位置が軸外角度に依存してもよいため、瞳面は平面でなくてもよい。その場合、小型レンズアレイは、瞳面の形状に従って曲げられてもよい。小型レンズアレイ１０７の各小型レンズの倍率は、瞳面の形状に従って変動しうる。各小型レンズの倍率は、各小型レンズの光学倍率である。

レンズ部１０２から発せられた光束（１２４ａ、１２４ｂ及び１２４ｃ）とＳＬＭ１０８を含む検出器１０９上の集光との関係を図５に示す。複数の光束（１２４ａ、１２４ｂ及び１２４ｃ）は、瞳１０２ａの位置１２６において互いに異なる角度を有しうる。照射光１２５ａ及び１２５ｂは、ＳＬＭ１０８の各画素を介して検出器１０９に入射されうる。

検出器１０９上の照射位置は、瞳面１０２からの光束（１２４ａ、１２４ｂ及び１２４ｃ）の角度に依存する。小型レンズアレイ１０７における各小型レンズへの入射角度は、被写体１０１の高さにも依存してもよい。従って、検出器１０９上の照射光の位置を測定することにより、被写体の高さの関数である光の角度に関する情報を取得できる。

図６に示されるように、近赤外線１１２ａ、１１２ｂ及び１１２ｃは、小型レンズアレイ１０７を介して検出器１０９に入射されうる。プログラム可能なＳＬＭ１０８ａ（１０８ｂ）の断面図５０１及び上面図５０２を示す。ＳＬＭ１０８の上面図５０２において、照射スポット１１３ａ、１１３ｂ及び１１３ｃを説明する。照射スポットの位置及びプロファイルに関する情報を使用することにより、瞳面における照射光に対応している各小型レンズに入射する光の角度が得られる。

従来のプレノプティックカメラは、撮像素子の前にマイクロレンズアレイを有する。１つのマイクロレンズが撮像素子の５×５画素に対応している場合、角度情報は、５×５画素を使用することで検出されうる。５×５画素の画像が空間情報の１つの単位であると考えられるため、画像解像度は低下しうる。しかし、上述の本発明の実施形態及び画像解像度を維持できる。

図７において、上部の図５０１は、撮像素子１０４の画素の一部を説明し、図中符号１１４−（ｍ，１）は、小型レンズの座標（ｍ，１）に対応する撮像素子１０４における５×５画素のブロックを示す。

下部の図５０２は、ＳＬＭ１０８の画素の一部を説明する。符号１１３ａ、１１３ｂ及び１１３ｃは、ＳＬＭ１０８上の照射スポットを示す。集束スポットに関する情報に基づいて、角度情報が算出されうる。１つの角度は、５×５画素を使用することで取得されてもよいが、１つの空間データ（すなわち、画像情報）は、１つの画素を使用して検出されうる。

図１に示されるような構成を使用することにより、撮像素子１０４及び小型レンズアレイ１０７は、被写体１０１に対する同一の光共役位置に配置されうる。撮像素子１０４上の画像のサイズが小型レンズアレイ上の画像のサイズと同一である場合、小型レンズアレイ上の画像は、各画素における撮像素子１０４上の画像と関連付けられうる。

多数の画素、例えば１Ｍ個を超える画素を有するデジタルカメラの場合、特定の５×５画素ブロックにより範囲に含まれた画像フィールドは非常に制限されるため、通常、５×５画素ブロックにおいて１つの被写体しか観察できない。このような状況において、先の特定の５×５画素ブロックへの光束の角度が規定され、１つの角度データは５×５画素に割り当てられうる。角度データは、５×５画素ブロックの画素毎に同一である。本発明の第１の実施形態において、個々の小型レンズと撮像素子１０４の画素との間には１対１の関係がある。本発明の第２の実施形態において、個々の小型レンズは、撮像素子１０４の複数の画素と関連付けられる。本発明の第３の実施形態において、複数の小型レンズは、撮像素子１０４の個々の画素と関連付けられる。

角度分解能は、ＳＬＭの画素数及び小型レンズの画素数に依存しうる。

小型レンズ及びＳＬＭは最適化されうる。人間の眼の角度分解能が相対的に空間分解能よりかなり低いため、上述したように空間データ及び角度データが別個に測定される場合でも、角度データの平均値は、特定の５×５画素に対する角度データとして使用されうる。

座標データ（すなわち、空間情報）と角度データとの相関性を以下において説明する。

移動体を撮像する場合、角度データは座標データより影響されやすい。特定の時間、例えば１／６０秒の間の座標情報の信号は、メモリに蓄積されうる。

一方、移動体の縁部における深度データは、１／６０秒等の上記の蓄積時間にわたり急速に変化しうる。従って、角度データの精度は、種々雑多な角度データのためにそのような蓄積時間にわたり低下しうる。これは、被写体の移動に対応する角度データの変化速度が座標情報の変化速度より高速でありうることを意味する。

角度データは、座標データの取得期間より短い期間の間に取得されるべきである。ＳＬＭは、撮像素子の代わりにより高速にサンプリングできる。ＳＬＭは、広範な光学帯域幅、室温安定性及び高速性能に対する潜在性を考慮して、ＬＣＤ（液晶デバイス）、ＤＭＤ（デジタルマイクロミラーデバイス）及びＥＯ（電気光学）ポリマを用いたＳＬＭ等から選択されうる。

角度データは、以下の方法で座標データと統合可能である。小型レンズ座標（１，１）のブロックの角度データａ_１１は、所定の期間の間ｘ_ｉｊ（ｉ＝１〜５、ｊ＝１〜５）の座標データに対して使用されうる。

角度データのサンプリングが座標データのサンプリングより高速でありうるため、角度データは補間座標データに対応しうる。

ｔ_１、ｔ_２、及びｔ_３における撮像素子１０４の５×５画素に対する画像データ（１２８ａ、１２８ｂ及び１２８ｃ）を図８Ａに示す。画像データは可視光に基づきうる。水平軸は時間を示す。

図８Ｂの図中符号１２７は、撮像素子１０４の５×５画素の面積に対応する特定の小型レンズと関連付けられてもよい検出器１０９から出力された信号である。検出器１０９からの信号１２７は連続して検出可能であり、ｔ_０とｔ_１との間の結果のうちの１つは、ｔ_１における角度データとして設定されうる。角度データは、撮像素子１０４によりｔ_１において検出された画像データと関連付けられうる。ｔ_１における画像データは、ｔ_０とｔ_１との間で統合されたデータでありうる。ｔ_０とｔ_１との間の周期は、例えば１／６０秒である。

図８Ｃにおいて、特定の小型レンズに対応するＳＬＭの５×５画素を示し、符号１２９ａ〜１２９ｇは、特定の小型レンズからの光により照射されるスポット部分である。信号強度は、図８Ｂの信号１２７により検出されうる。

小型レンズアレイ１０７の各小型レンズは、ＳＬＭの５×５画素の各々と関連付けられ、且つＳＬＭの５×５画素の各々は個々に駆動されうる。スポット部分に関する情報（すなわち、位置及びプロファイル）に基づいて、小型レンズに入射される光の角度情報（１３０ａ〜１３０ｇ）は、図８Ｄに示されるように取得されうる。瞳１０２ａ上の光の方向が角度情報に対応しているため、最終的に、画像データ（１２８ａ、１２８ｂ、１２８ｃ）は、図８Ｅの１３１ａ、１３１ｂ及び１３１ｃにおいて説明されるような角度情報（すなわち、深度情報）と関連付けられうる。

複数の角度データは、１つのフレーム（ｔ_０〜ｔ_１、ｔ_１〜ｔ_２及びｔ_２〜ｔ_３）において検出されうるが、それらの１つの角度データは、１つのフレームに割り当てられうる。１つのフレームの間の角度情報の平均値は、１つのフレームに割り当てられてもよい。

上述したように、撮像素子１０４は、所定の時間フレームにおいて被写体１０１の画像１０５を撮像でき、光検出器は、偏向光１２１を検出して所定の時間フレームの間に複数の角度データを取得できる。複数の角度データのうちの１つの角度データは、全ての所定の時間フレームの間に撮像素子１０４により形成された被写体１０１の１つの画像と関連付けられうる。

換言すると、光検出器１０９のサンプリング周波数は、撮像素子１０４のサンプリング周波数と異なってもよい。例えば、空間光センサのサンプリング周波数は、撮像素子のサンプリング周波数より高くてもよい。図８Ｂの信号１２７を監視することにより、撮像されるシーンの変化を検出してもよい。

角度データがフレーム期間中に急速に変化する場合、各フレーム期間における適切な角度データが要求されうる。フレーム期間中の角度データの最大値は、適切な角度データとして選択されうる。本発明の別の一実施形態において、フレーム期間中の角度データの平均値は、適切な角度データとして選択されうる。代表的な角度データを選択するために、他の統計方法が使用されてもよい。角度データは、高次統計計測値を使用して更に表されてもよい。

図９において、画像処理方法の一例を説明する。ステップＳ１において、主レンズ１０２を通過した被写体１０１からの被写体光は、可視光、並びにＩＲ（赤外線）光及び／又はＵＶ光に分割される。ステップＳ２において、空間データ（画像データ）は、撮像素子１０４により検出されうる。空間データは、１つのフレーム期間（例えば、１／６０秒）の間に全ての画素に対して読み出される。

ステップＳ３において、ＩＲ光及び／又はＵＶ光は、小型レンズアレイ１０７に入射される。ステップＳ４において、各小型レンズはＳＬＭ１０８の画素と関連付けられ、光検出器１０９を照射するためにＳＬＭが走査される。ＳＬＭのサンプリングレートは、撮像素子１０４のフレームレートより高速でありうる。走査結果に基づいて、ＳＬＭの画素のＩＲ光及び／又はＵＶ光により照射されるスポットに関する情報は、ステップＳ５で取得される。情報は、ＩＲ光及び／又はＵＶ光の角度データを与えうる。１つのフレーム内にいくつかの角度データがある場合、１つのフレームの間の代表的なデータ値は、ステップＳ６で選択されうる。空間データは、ステップＳ７で角度データを組み合わされうる。ステップＳ８において、例えば、ユーザからの命令に基づいて画像が再構成されうる。

ステップＳ４において、光検出器からの信号が連続して出力されうるため。出力信号が特定の閾値内でほぼ同一のレベルである場合、光検出器の集束位置（スポット）及び強度プロファイルは決して変化しないと仮定できる。その場合、ＳＬＭの走査は、信号強度の変化が閾値を超えるまで省略されてもよい。出力信号が変化した場合、走査ステップが再度実行されうる。

図１０Ａにおいて、小型レンズアレイ１０７の各小型レンズは、ＳＬＭ１０８を介して別の小型レンズアレイ２０７の別の小型レンズと関連付けられてもよく、小型レンズ２０７からの光は、光検出器（１０９ａ、１０９ｂ、１０９ｃ、１０９ｄ及び１０９ｅ）により検出されうる。図１のビームスプリッタ１０３により選択される光は、小型レンズ１１４を介して検出器１０９ａ、１０９ｂ及び１０９ｃにそれぞれ入射される。ＳＬＭ１０８と光検出器との間の小型レンズアレイ２０７を使用することにより、光検出器のサイズを小型化できる。

図１０Ｂにおいて、角度情報を感知する撮像素子２０９（例えば、ＣＭＯＳアレイ、ＣＣＤアレイ及び撮像管）は、図１の検出器１０９（例えば、フォトダイオード）の代わりに小型レンズアレイ１０７の下に提供される。瞳における角度分解能を向上させるために、ＳＬＭ１０８の各画素が縮小される必要があるだろう。ＳＬＭの画素の縮小サイズに対して、そのような撮像素子２０９は、角度情報を検出するのに有用だろう。

計算してライトフィールドセンサ１６０の検出結果に基づいて角度データを取得するために、ゼルニケ多項式が使用されてもよい。

２０１１年５月３日に発行されたＮｇ他に対する米国特許第７，９３６，３９２号公報、２０１０年６月１０日に公開されたＫｎｉｇｈｔ他に対する米国特許出願公開第２０１０／０１４１８０２号明細書、２０１０年２月４日に公開されたＮｇ他に対する米国特許出願公開第２０１０／００２６８５２号明細書、２０１１年６月２１日に発行されたＲａｓｋａｒ他に対する米国特許第７，９６５，９３６号公報、２０１２年７月２４日に発行されたＡｇｒａｗａｌ他に対する米国特許第８，２２９，２９４号公報、２０１１年２月１０日に公開されたＲａｍｏｓ他に対する米国特許出願公開第２０１１／００３２３３７号明細書、２００６年１０月１０日に発行されたＳｅｏに対する米国特許第７，１１９，８４２号公報及び２０１１年６月２日に公開されたＭｉｌｉｎｅｓ他に対する米国特許出願公開第２０１１／０１２８４１２号明細書に記載された内容は、それらの全ての内容が本明細書において開示されているものとして、本明細書の開示内容として組み込まれる。

例示的な実施形態を参照して本発明に係る実施形態を説明したが、本発明は上述の実施形態に限定されないことが理解されるべきである。以下の特許請求の範囲の範囲は、そのような変更、並びに等価の構造及び機能の全てを含むように広範に解釈されるべきである。

Claims (23)

1. ライトフィールドデータに関する情報を取得する装置であって、
   当該装置に接続されるレンズ部を通過した被写体からの光を第１の光束及び第２の光束に分割するように構成されたビームスプリッタと、
   前記第１の光束を検出して前記被写体の画像を形成するように構成された撮像素子と、
   複数の小型レンズを含む小型レンズアレイ及び前記小型レンズアレイを通過した前記第２の光束を検出する検出部を含み、前記ライトフィールドデータに関する情報を取得するように構成されたライトフィールドセンサと、
   アクチュエータとを備え、
   前記検出部が設けられる第１の位置は、前記レンズ部の瞳の第２の位置と共役であり、
   前記アクチュエータは、前記レンズ部の前記瞳が前記レンズ部のズーム動作に従って移動される場合に、前記第１の位置と前記第２の位置との共役関係を維持するために前記検出部を移動させることを特徴とする装置。
2. 前記検出部は、空間光変調器と、前記小型レンズアレイを介して届く前記第２の光束を検出する検出器とを備え、前記第１の位置は前記空間光変調器の位置であることを特徴とする請求項１記載の装置。
3. 前記空間光変調器は、各々が複数の画素を有する複数の画素グループを含むことを特徴とする請求項２記載の装置。
4. 前記空間光変調器の各画素グループは、各小型レンズと関連付けられることを特徴とする請求項３記載の装置。
5. 前記検出部は撮像素子アレイを含むことを特徴とする請求項１記載の装置。
6. 前記レンズ部の前記瞳は、前記空間光変調器上に形成されることを特徴とする請求項２記載の装置。
7. 前記複数の小型レンズの倍率は、前記レンズ部の前記瞳に従って設定されることを特徴とする請求項１記載の装置。
8. 前記小型レンズアレイは、前記被写体の画像が前記小型レンズアレイ上に形成されるように設けられることを特徴とする請求項１記載の装置。
9. 前記ビームスプリッタは、前記被写体からの前記光を前記撮像素子により検出される可視光と、前記検出部により検出される可視光、近赤外光、赤外光及び紫外光のうちの１つから選択される光とに分割することを特徴とする請求項１記載の装置。
10. 前記第２の光束は、前記ビームスプリッタにより偏向され、近赤外光、赤外光及び紫外光のうちの少なくとも１つから構成されることを特徴とする請求項９記載の装置。
11. 前記空間光変調器及び前記検出器は、前記レンズ部のズーム動作に従って移動されることを特徴とする請求項２記載の装置。
12. 前記空間光変調器の全ての画素グループが駆動されることを特徴とする請求項２記載の装置。
13. 前記検出器は光検出器であることを特徴とする請求項２記載の装置。
14. 前記レンズ部の前記瞳の前記第２の位置と前記空間光変調器の位置との共役関係が維持されるように、前記空間光変調器は、ズーム動作に従ってアクチュエータにより移動されることを特徴とする請求項２記載の装置。
15. 前記撮像素子は、所定の時間フレームにおいて前記被写体の前記画像を撮像し、前記検出部は、前記第２の光束を検出して、前記所定の時間フレームの間に全ての画素グループに対する複数の前記ライトフィールドデータを取得することを特徴とする請求項３記載の装置。
16. 前記複数の前記ライトフィールドデータのうちの１つのライトフィールドデータは、前記所定の時間フレームの間に前記撮像素子により形成された前記被写体の１つの画像データ点と関連付けられることを特徴とする請求項１５記載の装置。
17. 前記検出部は、前記レンズ部のズーム動作と同期されるように前記アクチュエータにより移動されることを特徴とする請求項１記載の装置。
18. 前記アクチュエータは、ステッピングモータ、微小電気機械システム（ＭＥＭＳ）、ボイスコイルモータ、超音波モータ及び圧電モータから選択されることを特徴とする請求項１記載の装置。
19. 前記検出部のサンプリング周波数は、前記撮像素子のサンプリング周波数とは異なることを特徴とする請求項１記載の装置。
20. 前記検出部の前記サンプリング周波数は、前記撮像素子の前記サンプリング周波数より高いことを特徴とする請求項１９記載の装置。
21. 前記アクチュエータの移動を制御する制御器と、前記レンズ部の前記瞳が移動される場合に前記アクチュエータにより移動される前記検出部のシフト量に関連したルックアップテーブルを格納するメモリとを更に備え、前記レンズ部が装置に接続された後、前記制御器は、前記メモリに格納された前記ルックアップテーブルのデータを受信して、前記検出部を移動させるように前記アクチュエータを制御することを特徴とする請求項１記載の装置。
22. ライトフィールドデータに関する情報を取得する装置であって、
    レンズ部と、
    被写体からの光を第１の光束及び第２の光束に分割するように構成されたビームスプリッタと、
    前記第１の光束を検出して前記被写体の画像を形成するように構成された撮像素子と、
    複数の小型レンズを含む小型レンズアレイ及び前記小型レンズアレイを通過した前記第２の光束を検出する検出部を含み、前記ライトフィールドデータに関する情報を取得するように構成されたライトフィールドセンサと、
    アクチュエータとを備え、
    前記検出部が設けられる第１の位置は、前記レンズ部の瞳の第２の位置と共役であり、
    前記アクチュエータは、前記レンズ部の前記瞳が前記レンズ部のズーム動作に従って移動される場合に、前記第１の位置と前記第２の位置との共役関係を維持するために前記検出部を移動させることを特徴とする装置。
23. ライトフィールドデータに関する情報を取得する方法であって、
    レンズ部を通過する被写体の光を第１の光束及び第２の光束に分割することと、
    前記被写体の画像を撮像するために前記第１の光束を検出することと、
    前記第２の光束を、複数の小型レンズを含む小型レンズアレイ及び前記小型レンズアレイを通過した前記第２の光束を検出する検出部を備えるライトフィールドセンサに入射させることと、
    前記レンズ部の瞳が前記レンズ部のズーム動作に従って移動される場合に、前記レンズ部の前記瞳の位置と前記検出部の位置との共役関係が維持されるように前記レンズ部のズーム動作に従って前記検出部を移動させることと、を含む
    ことを特徴とする方法。

Images