JP6846341B6 - 空間光変調器を含むプレノプティックカメラ - Google Patents

Description

本開示は、プレノプティックカメラの分野に関し、より具体的にはプレノプティックカメラ用の光学アセンブリの分野に関する。

背景技術によれば、ライトフィールドカメラとも呼ばれるプレノプティックカメラで、同じシーンの相異なるビューを取得することが知られている。図１は、背景技術によるかかるプレノプティックカメラ１を示す。プレノプティックカメラ１は、画像センサアレイ１３とも呼ばれる光センサアレイ１３と関連付けられたレンズ配置で構成される。光センサアレイ１３は、Ｃ列及びＬ行のグリッドの形態に配置された多数ｍの光センサ１３１、１３２、１３３〜１３ｍを含み、ｍは、Ｃ×Ｌに対応する。カラーフィルタアレイ（ＣＦＡ）１２は、光センサアレイ１３上に配置される。ＣＦＡ１２は、典型的には、光センサアレイ上にＲＧＢ（赤色、緑色及び青色）カラーフィルタを配置し、ＲＧＢ配置は、例えばベイヤーフィルタモザイクの形態を取る。典型的には、１つのカラーフィルタ（赤色、緑色又は青色フィルタ）が、ベイヤーフィルタの例では５０％の緑色、２５％の赤色、及び２５％の青色を含む所定のパターンに従って、１つの光センサと関連付けられ、かかるパターンはまた、ＲＧＢＧ、ＧＲＧＢ又はＲＧＧＢパターンと呼ばれる。レンズ配置は、主レンズ１０（メインレンズとも呼ばれる）、アイリス絞り１４（絞りとも呼ばれる）、及びレンズレットアレイ１１を含み、レンズレットアレイ１１は、複数のｎマイクロレンズ１１１、１１２、１１ｎを含み、ｎは、２以上の正整数である。マイクロレンズ１１１、１１２、１１ｎは、複数の光センサと光学的にそれぞれ関連付けられるような方法で配置される。１つのマイクロレンズと光学的に関連付けられる光センサの数は、プレノプティックカメラ１で取得されるシーンのビューの数に対応する。相異なるビューを取得するために、生画像（即ち、光センサアレイ１３で取得されたカラーセンサデータ）は、デモザイクされ、次に逆多重化される。デモザイキングステップ後に、ＲＧＢ画像データ値は、各ビュー用に各画素位置で取得される。絞り１４は、被写界深度と同様に、（露光時間と併せて）光センサアレイ１３に達する光量を制御することを担っている。絞りの開口は、通常、可動ブレード、例えば８つ又は９つのブレードによって調整される。絞り１４の開口のサイズの低減は、絞りを通過する（且つ従って光センサアレイに達する）光量が、周辺光ビームがブロックされるので、低減されることを意味する。プレノプティックカメラの場合に、周辺光ビームをブロックすることは、図２並びに図３Ａ及び３Ｂに示されているように、外側のビューをマスクすることを意味する。図２は、メインレンズ１０、絞り１４、レンズレットアレイ１１及び光センサアレイ１３を含む、図１のプレノプティックカメラ１などのプレノプティックカメラで取得されたシーンの２つのポイント２００、２０１から来る光線２０を示す。絞り１４は、部分的に閉じられ、シーンから来る光線をブロックする部分（絞りの黒色部分）は、１４１の参照符号を付けられ、開口部は、１４２の参照符号を付けられたメインレンズ（絞りの白色部分）を光線に通過させる。ポイント２００、２０１から来る、且つ絞り１４によってブロックされる光線２２は、破線で示され、絞りによってブロックされない光線、即ち、絞りの開口部及びメインレンズを通過する光線２１は、実線で示されている。光線２１だけが、マイクロレンズアレイ１１のマイクロレンズを通って光センサアレイ１３上に投射され、シーンにおける相異なるビューを生成するために利用可能である。従って、絞りの閉じられた部分によってブロックされた光線２２に対応するであろうビューは、マスクされる。これは、図３Ａ及び３Ｂ上で特に認識できる。図３Ａ及び３Ｂは、単純にするためにメインレンズによって実現されたプレノプティックカメラの対物レンズの開口紋り面上への、マイクロレンズアレイのマイクロレンズの１つと関連付けられた光センサの投射に対応する。マイクロレンズが円である場合に、投射の結果は、画素３１、３２及び３３を含む円３であり、各画素は、マイクロレンズと関連付けられた光センサの１つに対応する。図３Ａにおいて、絞りは、完全に開いており、全ての画素が、シーンから来る光を受光し得るのに対して、図３Ｂにおいて、絞りは、部分的に閉じられており（閉じられた部分は、円３の周辺に位置する黒色部分に対応する）、円３の周辺に位置する画素、例えば画素３１、３２（及びそれらの関連付けられた光センサ）は、光を少しも受光せず、従って、これらの画素に対応するビューは、マスクされる。

かかる絞り１４を用いると、ビューの数は、絞りが部分的に閉じられた場合に低減され、それは、光センサアレイに達する光量を制御する場合、及び／又は被写界深度を制御する場合の事例であり得る（光センサアレイに達する光量を低減することは、例えば被写界深度を増加させることができる）。

本開示の目的は、背景技術のこれらの欠点の少なくとも１つを克服することである。

本開示は、カメラレンズと、複数のマイクロレンズを含むレンズレットアレイと、複数の光センサを含む光センサアレイとを含むプレノプティックカメラであって、カメラレンズが、カメラレンズの開口紋り面に配置された空間光変調器（ＳＬＭ）を含むプレノプティックカメラに関する。

特定の特徴によれば、空間光変調器は、液晶ディスプレイパネルである。

有利なことに、光センサグループは、各マイクロレンズと関連付けられ、空間光変調器のセルグループは、光センサグループの各光センサと関連付けられ、セルグループの数は、１つのマイクロレンズと関連付けられるグループの光センサの数と等しい。

特定の特徴によれば、セルグループは、セルグループと関連付けられた光センサの、開口紋り面上への投射をカバーする。

有利なことに、各セルは、第１の状態と第２の状態との間で切り替わるように構成され、第１の状態は、セルが光をブロックする状態に対応し、第２の状態は、セルが、光にセルを通過させる状態に対応する。

別の特徴によれば、セルグループにおけるセルの少なくとも一部は、第１の状態である。

有利なことに、第１の状態であるセルグループのセルの数は、開口紋り面におけるセルグループの位置に依存する。

本開示はまた、プレノプティックカメラの光センサアレイに達する光量を制御する方法であって、プレノプティックカメラが、カメラレンズ及びレンズレットアレイを含み、方法が、カメラレンズの開口紋り面に配置された空間光変調器（ＳＬＭ）を制御することを含む方法に関する。

有利なことに、空間光変調器の制御は、空間光変調器の少なくとも１つのセルの状態を制御することを含み、少なくとも１つのセルは、第１の状態と第２の状態との間で切り替わるように構成され、第１の状態は、少なくとも１つのセルが光をブロックする状態に対応し、第２の状態は、少なくとも１つのセルが、光に少なくとも１つのセルを通過させる状態に対応する。

特定の特徴によれば、光センサグループは、レンズレットアレイの各マイクロレンズと関連付けられ、空間光変調器のセルグループは、光センサグループの各光センサと関連付けられ、セルグループの数は、１つのマイクロレンズと関連付けられるグループの光センサの数と等しい。

本発明はまた、プレノプティックカメラを含む通信装置に関する。

本発明はまた、プログラムがコンピュータ上で実行される場合に、プレノプティックカメラの光センサアレイに達する光量を制御する方法を実行するためのプログラムコードの命令を含むコンピュータプログラム製品に関する。

以下の説明を読めば、本開示は、よりよく理解され、他の特定の特徴及び利点が、明らかになろう。説明は、添付の図面を参照する。

背景技術に従って、プレノプティックカメラを示す。 背景技術に従って、図１のプレノプティックカメラへの光線経路を示す。 背景技術に従って、２つの相異なる状態、即ち開いている状態及び部分的に閉じている状態における、図１のプレノプティックカメラの絞りを示す。 背景技術に従って、２つの相異なる状態、即ち開いている状態及び部分的に閉じている状態における、図１のプレノプティックカメラの絞りを示す。 本原理の特定の実施形態に従って、プレノプティックカメラを示す。 本原理の特定の実施形態に従って、図４のプレノプティックカメラへの光線経路を示す。 本原理の特定の実施形態に従って、図４のプレノプティックカメラの開口紋り面上への、図４のプレノプティックカメラの光センサの投射を示す。 本原理の特定の実施形態に従って、図４のプレノプティックカメラの空間光変調器を示す。 本原理の特定の実施形態に従って、図７の空間光変調器のセルグループを示す。 本原理の特定の実施形態に従って、図４のプレノプティックカメラの光センサアレイに達する光量を制御する方法を示す。 本原理の特定の実施形態に従って、図４のプレノプティックカメラを含む通信装置を示す。

ここで、主題が、図面に関連して説明され、図面において、同様の参照数字は、全体を通して同様の要素に言及するために用いられる。以下の記載において、説明のために、多くの特定の詳細が、主題の完全な理解を提供するように述べられる。しかしながら、主題の実施形態が、これらの特定の詳細なしに実施され得ることが明らかである。

本原理の特定の実施形態によれば、プレノプティックカメラの光学アセンブリは、光学アセンブリのカメラレンズ（メインレンズ又は主レンズとも呼ばれる）の開口紋り面に配置された空間光変調器（ＳＬＭ）を含む。単純にするために、図面は、メインレンズを示す１つのレンズだけを示す。メインレンズが、幾つかのレンズのセットに対応し得ることが当然分かる。

カメラレンズの開口紋り面が、カメラレンズを通過する光錐を制限する物理デバイス（レンズ及び／又は絞り）の平面であることが分かる。開口紋り面は、絞り又はより一般的に言えば開口紋りが、カメラレンズを通過する光錐を制限するように配置されるであろう決定された平面（カメラレンズの設計に依存する）である。

空間光変調器（ＳＬＭ）が、或る形態の空間可変変調を光ビームに課する、典型的にはＳＬＭを通過する光ビームの強度を空間的に変調するデバイスを含むことが分かる。ＳＬＭは、例えば任意の透過型ディスプレイパネル、例えば透過型ＬＣｏＳ（シリコン上の液晶）ディスプレイ又はＬＣＤ（液晶ディスプレイ）パネルであってもよい。

最先端技術の絞りの代わりにＳＬＭを使用することは、プレノプティックカメラで取得されたどんなビューも、より具体的には周辺ビューも消さずに、光センサアレイに達する光量を制限できるようにする。

図４は、本原理の特定の実施形態に従って、プレノプティックカメラ４を示す。プレノプティックカメラは、カメラレンズ４０１（光学アセンブリに対応する）及びカメラボディ４０２を含む。

有利なことに、カメラレンズ４０１は、カメラボディ４０２と関連付けられるように適合されたレンズユニットを形成する。カメラボディは、光センサアレイ１３を含み、光センサアレイ１３は、複数（ｍ）の光センサ１３１、１３２、１３３〜１３ｍを含む。各光センサは、光センサアレイで取得されたシーンの生画像の画素に対応し、各画素は、シーンの一部（ポイントとも呼ばれる）をカバーする。実例のために、光センサアレイ１３は、比較的少数の光センサ１３１〜１３ｍと共に示されている。当然、光センサの数は、図４の実例に制限されず、任意の数の光センサ、例えば数千、数百万の光センサ、例えば１２．４メガ画素に及び、画素は、光センサに対応する（例えば、４０８８×３０４０画素／光センサのアレイに対応する）。カラーフィルタアレイ（ＣＦＡ）１２が、光センサアレイ１３上に配置される。ＣＦＡ１２は、典型的には、光センサアレイ上にＲＧＢ（赤色、緑色及び青色）カラーフィルタを配置し、ＲＧＢ配置は、例えばベイヤーフィルタモザイクの形態を取る。カメラレンズ４０１をカメラボディ４０２と関連付けるために、カメラレンズ４０１は、第１の装着部を含み、カメラボディは、第２の装着部を含み、第１及び第２の装着部は、互換性がある。第１及び第２の装着部のおかげで、カメラレンズ４０１は、カメラボディ４０２にクリップ留めされ得るか、又はカメラレンズ４０１は、カメラボディ４０２とねじで留められ得る。カメラボディと関連付けられるように構成されたレンズユニットのかかる第１及び第２装着部の例は、２０１３年５月３０日に公開された日本特許出願である特開２０１３−１０５１５１号公報で確認することができる。第１及び第２の装着部は、ひとたびプレノプティック光学アセンブリ４０１及びカメラボディ４０２が組み立てられると、カメラレンズ４０１及びカメラボディ４０２が、シーンの各取得においてシーンの多数のビューを取得するように構成されたプレノプティックカメラを形成するような方法で構成される。その目的で、カメラボディはまた、ｎマイクロレンズ１１１、１１２、１１ｎを含むレンズレットアレイ１１を含み、ｎは、２以上の整数である。実例のために、レンズレットアレイ１１は、比較的少数のマイクロレンズと共に示されているが、マイクロレンズの数は、数千又は１若しくは幾百万マイクロレンズに及んでもよい。光センサアレイ１３の光センサグループは、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎと光学的に関連付けられる。例えば、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎは、２×１、４×４又は１０×１０光センサに対応する大きさにされる。１つの単一マイクロレンズと光学的に関連付けられた複数の光センサの各光センサは、１つの視野角に従って、シーンの画素を表す生データを取得できるようにする。変形によれば、カメラレンズ４０１及びカメラボディ４０２は、１つの単一ボディを形成し、且つ取り外し不可能に組み立てられる。

有利なことに、メインレンズ又は主レンズ１０とも呼ばれるカメラレンズ４０１は、１つ又は複数のレンズ素子で形成されるが、簡単にするために１つのレンズ素子１０だけが、図４に表されている。カメラレンズ４０１はまた、主レンズ１０の開口紋り面に配置されたＳＬＭ４０を含む。有利なことに、ＳＬＭは、セルアレイに対応し、各セルは、光に各セルを（部分的に若しくは完全に）通過させるか、又は光をブロックするように構成される。各セルは、セルが、それに達する光をブロックする状態に対応する第１の状態、又はセルが、光にセルを少なくとも部分的に通過させる状態に対応する第２の状態のどちらかであるように制御可能である。ＳＬＭが、ＬＣＤパネルに対応する場合に、各セルは、電極と２つの偏光フィルタとの間に整列された液晶分子の層を含む画素に対応し、液晶分子の向きは、電極間に電界を印加することによって制御される。液晶層にわたって印加される電圧の振幅を制御することによって、光は、様々な量で通過できるようにされ得るか、又は全く通過できないようにされ得る。

有利なことに、プレノプティックカメラ４は、図４のＳＬＭ４０のセルの状態を制御するように構成されたハードウェア制御モジュール（図４には図示されず）を含む。制御モジュールは、カメラボディ４０２又はカメラレンズ４０１に含まれてもよい。有利なことに、制御モジュールは、メモリ、例えばランダムアクセスメモリ又はレジスタを含むＲＡＭと関連付けられた１つ又は幾つかのプロセッサを含む。メモリは、図８に関連して以下で説明される、光センサアレイに達する光量を制御する方法を実行するアルゴリズムの命令を格納する。変形によれば、制御モジュールは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）型のプログラム可能な論理回路、例えばＡＳＩＣ（特定用途向け集積回路）又はＤＳＰ（デジタル信号プロセッサ）の形態を取る。制御モジュールはまた、光センサアレイに達する光量を制御するために、ＳＬＭのセルの制御に影響するパラメータを設定するユーザインターフェースを介してユーザによって入力された制御パラメータ（例えば、プレノプティックカメラで取得されるピクチャの所望の被写界深度、所望の露光量）などのデータを受信し送信するように構成されたインターフェースを含んでもよい。

図５は、本原理の特定の実施形態に従って、プレノプティックカメラ４のカメラレンズを通過して光センサアレイ１３に達する光線束を示す。図４に示されているように、光センサアレイの光センサグループは、レンズレットアレイ１１の各マイクロレンズと光学的に関連付けられる。例えば、光センサグループ５０１０は、マイクロレンズ５０１と関連付けられ、光センサグループ５０２０は、マイクロレンズ５０２と関連付けられる。プレノプティックカメラで取得されるシーンの同じポイント２００、２０１のビューの数は、１つのマイクロレンズと光学的に関連付けられる光センサの数に対応する。何故なら、マイクロレンズのジオメトリのおかげで、シーンの同じポイントが、相異なる角度で見られるからである。これは、所与のマイクロレンズと光学的に関連付けられた各光センサが、シーンのポイントの特定のビューを表すデータを取得することを意味する。プレノプティックカメラで取得されるシーンのビューの数は、レンズレットアレイ１１の各マイクロレンズと関連付けられた（即ち各マイクロレンズ下の）画素数に対応する。有利なことに、１つのマイクロレンズと光学的に関連付けられる光センサの数は、レンズレットアレイ１１の各マイクロレンズに対して同じである。図５に示されているように、（図５の２ポイント２００及び２０１で表されている）取得されたシーンから来る光線２０は、光センサアレイ１３に達する前に、主レンズ１０、ＳＬＭ４０及びレンズレットアレイ１１を通過する。光線２０は、それらがＳＬＭ４０を通過する前には入射光線と呼ばれ、ひとたびそれらがＳＬＭ４０を通過すると、出射光線５００と呼ばれる。光センサアレイに達する出射光線５００の強度は、出射光線５００が通過するＳＬＭのセルの状態に依存して、入射光線の強度と比較して低減され得る。センサグループ５０１０、５０２０の所与の光センサに達する光量は、図６及び７に関連してより詳細に説明されるように、所与の光センサと光学的に関連付けられたＳＬＭのセルの状態に依存して低減され得る。

当然、マイクロレンズ５０１及び５０２とそれぞれ関連付けられる光センサグループ５０１０、５０２０の光センサの数は、図５に示されているｎ光センサに制限されず、各光センサは、ポイント２００及び２０１の相異なるビューにそれぞれ対応するが、有利なことにｎより大きな数に及ぶ。光センサグループ５０１０、５０２０に属するが、図５に示されていない光センサは、有利なことに、ポイント２００及び２０１と相異なるシーンのポイントから受信される光情報を受信する。

図６及び７に関連してより詳細に説明されるように、ＳＬＭ４０は、複数のセルを含み、各セルは、完全に又は部分的に、セルに達する光をブロックするか又は光にセルを通過させる第１の状態及び第２の状態から切り替え可能である。５０の参照符号を付けられた要素は、各マイクロレンズ下の１つの特定の光センサと関連付けられたＳＬＭ４０の隣接するセルのグループに対応する。図５の例によれば、セルグループ５０は、光センサグループ５０２０の光センサ５０２１と光学的に関連付けられ、光センサグループ５０２０は、マイクロレンズ５０２と関連付けられるか（又はそれらの下にあり）、且つ光センサグループ５０１０の光センサ５０１１と光学的に関連付けられ、光センサグループ５０１０は、マイクロレンズ５０１と関連付けられる（又はそれらの下にある）。それを考えれば、マイクロレンズと関連付けられる各光センサグループは、各マイクロレンズ用の同じ行数及び同じ列数を備えた光センサの行及び列のアレイであり、ＳＬＭの所与のセルグループと光学的に関連付けられた光センサの（それが属する光センサグループにおける）位置（列番号及び行番号）は、所与のセルグループと光学的に関連付けられた全ての光センサにとって同じである。例えば、（マイクロレンズ５０２下の）光センサグループ５０２０における（セルグループ５０と光学的に関連付けられた）光センサ５０２１の位置は、（マイクロレンズ５０１下の）光センサグループ５０１０における（セルグループ５０と光学的に関連付けられた）光センサ５０１１の位置と同じである。

図６は、本原理の特定の実施形態に従って、所与のマイクロレンズと関連付けられた光センサグループの、プレノプティックカメラ４の主レンズの開口紋り面上への投射を示す。換言すれば、図６は、レンズレットアレイの１つのマイクロレンズと関連付けられた各光センサグループの画像６を主レンズ１０の開口紋り面上に表す。画像６は、マイクロレンズの一般的な形態を取る。即ち、マイクロレンズが円である場合に、画像６は、円である。マイクロレンズが、正方形又は長方形である場合に、画像６は、正方形又は長方形である。画像６は、複数の要素６０１、６０２、６０３〜６０ｍを含み、それらは、画素と呼ばれてもよい。画素の数ｍは、１つのマイクロレンズと関連付けられた光センサグループ５０１０、５０２０に含まれる光センサの数に対応する。各画素６０１〜６０ｍは、光センサグループの１つの光センサに対応し、画像６の１つの画素は、各光センサグループにおける１つの一意の光センサを指し、光センサは、それらが属する光センサグループにおいて同一の座標（例えば行番号及び列番号）を有する画像６における画素を指す。例えば、画素６０３は、光センサグループ５０１０の光センサ５０１１と関連付けられるか（又はそれに対応し）、且つまた光センサグループ５０２０の光センサ５０２１と関連付けられ、光センサ５０１１が属するグループ５０１０に対する光センサ５０１１の座標は、光センサ５０２１が属するグループ５０２０に対する光センサ５０２１の座標と同一である。

図７は、本原理の特定の実施形態に従って、プレノプティックカメラの主レンズの開口紋り面に位置する空間光変調器４０を示す。空間光変調器４０は、複数のセル７０を含み、且つ例えばセルの列及び行のアレイに対応する。ＳＬＭ４０のセルの一部は、ｍのセルグループ７０１、７０２、７０３、７０ｍを形成するようにグループ化され、セルグループの数ｍは、画像６の画素の数ｍと等しい。即ち、各マイクロレンズ５０１、５０２下の各光センサグループ５０１０、５０２０を形成する光センサの数ｍと等しい。決定されたセルグループは、各光センサグループにおける１つの決定された光センサと関連付けられる。例えば、７０３の参照符号を付けられたセルグループは、画像６の画素６０３と関連付けられる。即ち、セルグループ７０３は、画素グループ５０１０に属する光センサ５０１１の投射、及びまた画素グループ５０２０に属する光センサ５０２１の投射をカバーする。何故なら、光センサ５０１１及び５０２１の両方が、画像６の同じ画素上に投射するからである。言い換えれば、セルグループ７０３は、各マイクロレンズ下の各光センサグループにおける１つの光センサと関連付けられる。ＳＬＭ４０のセルは、画像６の各画素をカバーするようにグループ化される。即ち、セルグループの境界は、画像６の画素の境界に対応し、各このセルグループは、セルグループによってカバーされるエリアが、画像６の関連付けられた画素によってカバーされるエリアに対応するように関連付けられる。ＳＬＭ４０の各セル７０１〜７０ｍは、２つの相異なる状態、即ちセルが、部分的又は完全に、シーンからセルに達する光をブロックする第１の状態又はセルが、セルに達する光にセルを通過させる第２の状態のいずれかの間で切り替わることができる。光センサアレイにおける決定された光センサと関連付けられたセルグループのセルの状態を制御することによって、次に、この決定されたセンサに達する光量を制御することが可能になる。かかる制御は、ＳＬＭ４０の各セルグループ用に、且つ従って光センサアレイの各光センサ用に実行されてもよく、それは、光センサアレイに達する光量が最新技術のアイリス絞りで制御される場合に行われることとは対照的に、シーンの全てのビューを取得できるようにする。

図８は、本原理の特定の実施形態に従って、空間光変調器４０のセルグループ、例えばセルグループ７０３をより詳細に示す。セルグループ７０３は、例えばＬ行及びＣ列を備えたセルアレイに対応し、Ｌ及びＣは、非限定的な例によれば２以上の整数である。セルグループ７０３と関連付けられた光センサに達する光量（例えばＷ／ｓで表現された単位時間当たりのエネルギの流れに対応する）を制限するために、セルグループ７０３の１つ又は幾つかのセルは、第１の状態に設定され、これらのセルは、それらに達する光をブロックし、そのときこれらのセルによってブロックされた光線は、セルグループ７０３と関連付けられた光センサに達しない。セルグループ７０３のより多くのセルが、第１の状態にあればあるほど、それだけセルグループ７０３と関連する光センサに達する光量は、セルグループ７０３と関連付けられた光センサに達し得る最大光量（即ち、セルグループ７０３の全てのセルが、光にそれらを完全に通過させる場合）に対して低減される。有利なことに、このセルグループ７０３と関連付けられた光センサに達する光量を制限するために第１の状態に設定されるセルグループの第１のセルは、セルグループ７０３の境界を形成するセル、即ちセルグループの周辺に属するセルの行８１、８２及び列８３、８４に属するセルである。光センサに達する光量を制御し制限するために、この光センサと関連付けられたセルグループの周辺における１つか２つ又はより多くの行が、（図８において灰色の陰影で満たされたセルに対応する）セルグループの外周に位置する行及び列８１〜８４から出発し、セルグループの中心の方へ進むことによって、第１の状態に設定される。例えば、第１の状態に設定されるセルの第１の行及び第１の列は、セルグループの外周を形成する行８１、８２及び列８３、８４であり、第１の状態に設定されるセルの第２の行及び列は、セルグループの中心の方へ進むことによって、第１の行８１、８２及び第１の列８３、８４に隣接する行及び列（図８において斜線パターンで満たされたセルに対応する）である等である。有利なことに、（図８において白で満たされた）他のセルは、第２の状態に設定され、且つセルグループ７０３と関連付けられた光センサに達するために、それらのセルに達する光線にそれらのセルを完全に通過させる。

変形によれば、例えば、光センサに達する光量を更に制限するために、この光センサと関連付けられたセルグループの周辺におけるセルの１つ又は幾つかの行が、すぐ前で説明されたように第１の状態に設定されてもよく、第２の状態に設定されるセルグループの残りのセル（図８において白の中身で識別される）の幾つかは、光にそれらのセルを単に部分的にのみ通過させるように、即ちシーンからそれらセルに達する光の或るパーセンテージだけ（例えば８０％、７０％、５０％、３０％又は１０％さえ）を通過させることによって、制御されてもよい。例えば、セルを通過する光のパーセンテージは、第１の状態におけるセルに隣接するセルから出発する場合に、セルグループ７０３の中心の方へ進むことによって増加してもよく、パーセンテージの増加は、線形又は非線形である。

別の変形によれば、第１の状態に最初に設定されるセルは、セルグループ７０３の第１の行に属するセル（即ちセルアレイの上部行８１）に対応し、（光センサに達する光が更に低減されることになる場合に）第１の状態に次に設定されるセルは、セルグループ７０３の第２の行、即ちセルグループの上部から下部に進む場合に第１の行８１に隣接する行に属するセルに対応する等である。

更なる変形によれば、第１の状態に最初に設定されるセルは、セルグループ７０３の最下部行（即ち行８２）に属するセルに対応し、（光センサに達する光が更に低減されることになる場合に）第１の状態に次に設定されるセルは、セルグループ７０３の第２の行、即ち下部から上部にセルグループを横切る場合に最下部行８２に隣接する行に属するセルに対応する等である。

別の変形によれば、行のセルの一部だけが、第１の状態に最初に設定され、行のセルの残りは、セルグループ７０３と関連付けられた光センサに達する光量が更に低減されることになる場合に、第１の状態に設定されるだけである。

更なる変形によれば、第１の状態に設定される第１のセルは、セルグループの左側（それぞれ右側）における第１の列（即ち図８における列８４（それぞれ８３））に属し、左から右に（それぞれ右から左に）セルグループを横切る場合に、第１の列８４（それぞれ８３）に隣接する第２の列のセルは、セルグループ７０３と関連付けられた光センサに達する光量が更に低減されることになる場合に、第１の状態に設定される等である。

変形によれば、セルグループにおける全てのセルは、第２の状態であり、セルグループ７０３と関連付けられた光センサに達する光量を制限するためのセルの制御は、各セルが、セルを通過させる光量のパーセンテージを制御することによって実行される。

図７において、第１の状態のセルは、陰影を付けられて示されており、第２の状態のセルは、白で示されている。有利な方法で、第１の状態のセルの数は、セルグループ毎に変化してもよい。例えば、第１の状態におけるセルの数は、画像６の周辺よりも画像６の中心レベルに位置するセルグループにとってより重要になり得る。かかる実装形態は、各セルグループを通過する光量が、同じか又はほぼ同じであるようにできる（即ち、例えば、ＳＬＭ４０のセルグループから出射する平均光量を中心に３％、５％又は１０％未満の変動を伴う）。実際に、画像６の周辺に位置するセルグループに達する光量は、画像６の中心の近く、即ち開口紋り面の光学中心の近くに位置するセルグループに達する光量より少ない。周辺に位置するセルグループ用よりも画像６の中心近くのセルグループ用に、より多くのセルを第１の状態に設定することによって、セルグループから出射する光量が、ＳＬＭ４０の各セルグループに対して同じか又はほぼ同じであることが達成される。

変形によれば、第１の状態に設定されるセルの数は、ＳＬＭ４０の全てのセルグループに対して同じである。

図９は、本原理の特定の実施形態に従って、プレノプティックカメラ４の光センサアレイに達する光量を制御する方法を示す。

初期化ステップ９０中に、プレノプティックカメラの相異なるパラメータ、特にＳＬＭ４０を制御するために用いられるパラメータが更新される。特に、ＳＬＭ４０のセルの状態は、いずれにせよ初期化される。例えば、光に各セルを完全に通過させるための第２の状態に設定される。変形によれば、セルは、第１の状態であるように初期化される。

次に、ステップ９１中に、ＳＬＭ４０のセルの状態は、セルを通過する光量を制御するために、第１の状態又は第２の状態になるように制御され、従って、プレノプティックカメラの光センサアレイの光センサに達する光量を制御する。セルの状態は、例えば、プレノプティックカメラで取得されるシーンの照明条件に従って、且つプレノプティックカメラで取得されるシーンを表すピクチャの露光及び／又は輝度を表すデフォルトパラメータに従って、例えば自動で制御される。変形によれば、セルの状態は、プレノプティックカメラを用いるユーザによって入力されたパラメータに従って制御され、ユーザによって入力されたパラメータは、例えば、プレノプティックカメラで取得されるピクチャの所望の被写界深度又は所望の明るさ及び／若しくは輝度を設定できるようにする。

ＳＬＭ４０のセルは、例えば第１の状態に全て設定されてもよく、ＳＬＭは、決定された期間にわたって完全な不透明になることによって、シャッターの役割を果たし、ＳＬＭは、露光及び被写界深度の両方を制御する。

ＳＬＭ４０のセルは、例えば、シーンから入射する光にＳＬＭを完全に通過させるための第２の状態に全て設定されてもよい。全てが第２の状態にある間に、セルを通過する光のパーセンテージは、各光センサに達する光量を制御するために、セルごとに異なってもよい。

別の変形によれば、セルグループの幾つか又は全てにおけるセルの幾つかは、第１の状態であってもよく、一方でセルグループの残りのセルは、第２の状態である。

図１０は、例えばスマートフォン又はタブレットに対応する通信装置１００のハードウェア実施形態を図式で示す。

通信装置１００は、同様にクロック信号を搬送する、アドレス及びデータのバス３４によって互いに接続される次の要素を含む。
− マイクロプロセッサ１００１（又はＣＰＵ）と、
− ＲＯＭ（読み出し専用メモリ）型の不揮発性メモリ１００２と、
− ランダムアクセスメモリ又はＲＡＭ１００３と、
− 無線インターフェース１００６と、
− データ伝送用に適合されたインターフェース１００７と、
− 例えば図４のプレノプティックカメラ４に対応するプレノプティックカメラ１００８と、
− ユーザ用の情報を表示するように、且つ／又はデータ若しくはパラメータを入力するように適合されたＭＭＩインターフェース１００９と、
を含む。

メモリ１００２及び１００３の説明において用いられる「レジスタ」という単語が、言及されるメモリのそれぞれにおいて、低容量のメモリゾーンと同様に大容量のメモリゾーン（プログラム全体又は受信及び復号されたデータを表すデータの全て若しくは一部を格納できるようにする）を示すことが注目される。

メモリＲＯＭ１００２は、特に「ｐｒｏｇ」プログラムを含む。

本開示に特有であり、以下で説明される方法のステップを実行するアルゴリズムは、これらのステップを実行する通信装置１００と関連付けられたＲＯＭ１００２メモリに格納される。電源が投入された場合に、マイクロプロセッサ１００１は、これらのアルゴリズムの命令をロードし実行する。

ランダムアクセスメモリ１００３は、特に次のものを含む。
− レジスタにおける、通信装置１００をオンにする責任を負うマイクロプロセッサ１００１の動作プログラムと、
− 受信パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの再現用パラメータ）と、
− 伝送パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの再現用パラメータ）と、
− 受信機１００６によって受信され復号されたデータに対応する着信データと、
− インターフェースにおいてアプリケーション１００９に送信されるように形成された復号データと、
− ＳＬＭ４０の状態を制御するためのパラメータと、
を含む。

図１０に関連して説明される構造以外の通信装置１００の他の構造が、本開示に適合する。特に、変形によれば、通信装置は、純粋にハードウェア実現に従って実現されてもよく、例えば、専用のコンポーネント（例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）若しくはＶＬＳＩ（超大規模集積回路））の形態、機器に埋め込まれる幾つかの電子コンポーネントの形態、又は、さらにはハードウェア要素及びソフトウェア要素の混合の形態に従って、実現されてもよい。

無線インターフェース１００６及びインターフェース１００７は、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＭＴ−２０００仕様に準拠する規格（３Ｇとも呼ばれる）、３ＧＰＰ ＬＴＥに準拠する規格（４Ｇとも呼ばれる）、ＩＥＥＥ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈ（登録商標）とも呼ばれる）などの１つ又は幾つかの電気通信規格に従う信号の受信及び送信用に適合される。

変形によれば、通信装置は、如何なるＲＯＭも含まず、ＲＡＭだけを含み、本開示に特有の方法のステップを実行するアルゴリズムは、ＲＡＭに格納される。

当然、本開示は、前に説明した実施形態に限定されない。

特に、本開示は、プレノプティック光学アセンブリに限定されず、かかるプレノプティック光学アセンブリを統合する任意の装置、例えば光センサアレイを含むプレノプティックカメラ又は光センサアレイを含む通信装置にも及ぶ。

通信装置は、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を促進する他の装置だけでなくセットトップボックスも含む。

本明細書で説明されるＳＬＭ４０のセルの方法及び制御動作は、プロセッサによって実行される命令によって実行されてもよく、かかる命令（及び／又は実装形態によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア、又は他の記憶装置などのプロセッサ可読媒体に格納されてもよく、他の記憶装置は、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばデジタル多用途ディスク若しくはデジタルビデオディスクと呼ばれることが多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、又は読み取り専用メモリ（「ＲＯＭ」）などである。命令は、プロセッサ可読媒体上に実体的に具体化されるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はこれら２つの組み合わせに見出されてもよい。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスの両方として特徴付けられてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態によって生成されたデータ値を格納してもよい。

当業者には明らかであろうように、実装形態は、例えば格納又は送信され得る情報を伝達するようにフォーマットされた様々な信号を生成してもよい。情報は、例えば、方法を実行するための命令、又は説明された実装形態の１つによって生成されたデータを含んでもよい。例えば、信号は、説明された実施形態のシンタックスを書き込む又は読み出すための規則をデータとして伝達するように、又は説明された実施形態によって書き込まれた実際のシンタックス値をデータとして伝達するようにフォーマットされてもよい。かかる信号は、例えば電磁波（例えば、スペクトルの無線周波数部分を用いる）として又はベースバンド信号としてフォーマットされてもよい。フォーマティングは、例えば、データストリームの符号化及び符号化されたデータストリームでのキャリアの変調を含んでもよい。信号が伝達する情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は、様々な相異なる有線又は無線リンクを通じて伝送されてもよい。信号は、プロセッサ可読媒体上に格納されてもよい。

多くの実装形態を説明した。しかしながら、様々な修正を行い得ることが理解されよう。例えば、相異なる実装形態の要素は、組み合わされるか、補足されるか、修正されるか、又は他の実装形態を生成するために除去されてもよい。加えて、当業者は、他の構造及びプロセスが、開示された構造及びプロセスの代わりに用いられてもよく、且つ結果としての実装形態が、開示された実装形態と少なくともほぼ同じ結果を達成するために、少なくともほぼ同じ方法で少なくともほぼ同じ機能を実行することを理解されよう。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラレンズ（４０１）と、複数のマイクロレンズ（１１１〜１１ｎ）を含むレンズレットアレイ（１１）と、複数の光センサ（１３１〜１３ｍ）を含む光センサアレイ（１３）とを備えるプレノプティックカメラ（４）であって、
前記カメラレンズが、前記カメラレンズ（４０１）の開口紋り面に配置された空間光変調器（４０）を含み、
光センサグループ（５０１０）が、各マイクロレンズ（５０１）と関連しており、前記空間光変調器（４０）のセルグループ（７０３）が、前記光センサグループの各光センサと関連しており、前記セルグループの数が、あるマイクロレンズと関連している前記グループの前記光センサの数と等しく、
前記プレノプティックカメラが、前記セルグループから出射する光の強度を制御するために、前記セルグループのセルを制御するように構成されたコントローラを更に備えることを特徴とするプレノプティックカメラ（４）。
（付記２）
前記空間光変調器（４０）が、液晶ディスプレイパネルである、付記１に記載のプレノプティックカメラ。
（付記３）
前記光の強度が、各セルグループに対して同じである、付記１又は２に記載のプレノプティックカメラ。
（付記４）
前記セルグループが、前記セルグループと関連している前記光センサの、前記開口紋り面上への投射をカバーする、付記１〜３のいずれか一項に記載のプレノプティックカメラ。
（付記５）
各セルが、第１の状態と第２の状態との間で切り替わるように構成され、前記第１の状態が、前記セルが光をブロックする状態に対応し、前記第２の状態が、前記セルが光に前記セルを通過させる状態に対応する、付記１〜４のいずれか一項に記載のプレノプティックカメラ。
（付記６）
前記セルグループにおける前記セルの少なくとも一部が、前記第１の状態である、付記５に記載のプレノプティックカメラ。
（付記７）
前記第１の状態である前記グループの前記セルの数が、前記開口紋り面における前記セルグループの位置に依存する、付記６に記載のプレノプティックカメラ。
（付記８）
前記空間光変調器（４０１）の中心に近いセルグループにおける前記第１の状態の前記セルの数が、前記空間光変調器（４０１）の周辺のセルグループにおける前記第１の状態の前記セルの数より大きい、付記５〜７のいずれか一項に記載のプレノプティックカメラ。
（付記９）
プレノプティックカメラ（４）の光センサアレイ（１３）に達する光量を制御する方法であって、前記プレノプティックカメラが、カメラレンズ（４０１）及びレンズレットアレイ（１１）を含み、空間光変調器（４０）が、前記カメラレンズ（４０１）の開口紋り面に配置され、光センサグループ（５０１０）が、各マイクロレンズ（５０１）と関連しており、前記空間光変調器（４０）のセルグループ（７０３）が、前記光センサグループの各光センサと関連しており、前記セルグループの数が、あるマイクロレンズと関連している前記グループの前記光センサの数と等しく、前記方法が、前記セルグループから出射する光の強度を制御するために、前記セルグループの前記セルを制御することを含むことを特徴とする方法。
（付記１０）
前記セルの前記制御が、前記空間光変調器の少なくとも１つのセルの状態を制御することを含み、前記少なくとも１つのセルが、第１の状態と第２の状態との間で切り替わるように構成され、前記第１の状態が、前記少なくとも１つのセルが光をブロックする状態に対応し、前記第２の状態が、前記少なくとも１つのセルが光に前記少なくとも１つのセルを通過させる状態に対応する、付記９に記載の方法。
（付記１１）
前記セルグループにおける前記セルの少なくとも一部が、前記第１の状態である、付記１０に記載の方法。
（付記１２）
前記第１の状態である前記セルグループの前記セルの数が、前記開口紋り面における前記セルグループの位置に依存する、付記１１に記載の方法。
（付記１３）
前記空間光変調器（４０１）の中心に対して閉じられたセルグループにおける前記第１の状態の前記セルの数が、前記空間光変調器（４０１）の周辺におけるセルグループにおける前記第１の状態の前記セルの数より大きい、付記１０〜１２のいずれか一項に記載の方法。
（付記１４）
前記セルグループが、前記セルグループと関連している前記光センサの、前記開口紋り面上への投射をカバーする、付記９〜１３のいずれか一項に記載の方法。
（付記１５）
プログラムがコンピュータ上で実行される場合に、付記９〜１４のいずれか一項に記載の方法のステップを実行するためのプログラムコードの命令を含むコンピュータプログラム製品。

Claims (16)

1. カメラレンズと、
   複数のマイクロレンズを含むレンズレットアレイと、
   複数の光センサグループを含む光センサアレイであって、各光センサグループが前記複数のマイクロレンズの各マイクロレンズと関連しており、前記光センサアレイがシーンの複数のビューを表す生画像を取得するように構成された、光センサアレイと、
   を備えるプレノプティックカメラであって、
   前記カメラレンズが、前記カメラレンズの開口紋り面に配置された空間光変調器を含み、前記空間光変調器が、セルグループのアレイに構成された複数のセルを含み、各セルグループが各光センサグループの各光センサと関連しており、
   前記セルグループの数が、あるマイクロレンズと関連している光センサグループの光センサの数と等しく、
   前記プレノプティックカメラが、各セルグループから出射する光量を制御するために、各セルグループの前記セルの状態を制御するように構成されたコントローラを更に備えることを特徴とするプレノプティックカメラ。
2. 前記空間光変調器が、液晶ディスプレイパネルである、請求項１に記載のプレノプティックカメラ。
3. 前記光量が、各セルグループに対して同じである、請求項１又は２に記載のプレノプティックカメラ。
4. 各セルグループが、各セルグループと関連している光センサの、前記開口紋り面上への投射をカバーする、請求項１〜３のいずれか一項に記載のプレノプティックカメラ。
5. 各セルが、第１の状態と第２の状態との間で切り替わるように構成され、前記第１の状態が、各セルが光をブロックする状態に対応し、前記第２の状態が、光が各セルを通過する状態に対応する、請求項１〜４のいずれか一項に記載のプレノプティックカメラ。
6. 前記複数のセルの少なくとも一部が、前記第１の状態である、請求項５に記載のプレノプティックカメラ。
7. 前記第１の状態のセルグループのセルの数が、前記開口紋り面における前記セルグループの位置に依存する、請求項６に記載のプレノプティックカメラ。
8. 前記空間光変調器の中心に近いセルグループにおける前記第１の状態のセルの数が、前記空間光変調器の周辺のセルグループにおける前記第１の状態のセルの数より大きい、請求項５〜７のいずれか一項に記載のプレノプティックカメラ。
9. プレノプティックカメラの光センサアレイに達する光量を制御する方法であって、前記光センサアレイがシーンの複数のビューを表す生画像を取得するように構成され、前記プレノプティックカメラが、
   カメラレンズと、
   複数のマイクロレンズを含むレンズレットアレイと、
   複数の光センサグループを含む前記光センサアレイであって、各光センサグループは前記複数のマイクロレンズの各マイクロレンズと関連している、前記光センサアレイと、
   前記カメラレンズの開口紋り面に配置され、セルグループのアレイに構成された複数のセルを含む空間光変調器であって、各セルグループが各光センサグループの各光センサと関連しており、前記セルグループの数が、あるマイクロレンズと関連している光センサグループの光センサの数と等しい、空間光変調器と、
   を含み、前記方法が、各セルグループから出射する光量を制御するために、各セルグループの前記セルの状態を制御することを含むことを特徴とする方法。
10. 前記セルの前記状態の制御が、前記空間光変調器の前記セルの状態を制御することを含み、前記セルが、第１の状態と第２の状態との間で切り替わるように構成され、前記第１の状態が、各セルが光をブロックする状態に対応し、前記第２の状態が、光が各セルを通過する状態に対応する、請求項９に記載の方法。
11. 前記複数のセルの少なくとも一部が、前記第１の状態である、請求項１０に記載の方法。
12. 前記第１の状態のセルグループのセルの数が、前記開口紋り面における前記セルグループの位置に依存する、請求項１１に記載の方法。
13. 前記空間光変調器の中心に対して閉じられたセルグループにおける前記第１の状態のセルの数が、前記空間光変調器の周辺におけるセルグループにおける前記第１の状態のセルの数より大きい、請求項１０〜１２のいずれか一項に記載の方法。
14. 各セルグループが、各セルグループと関連している光センサの、前記開口紋り面上への投射をカバーする、請求項９〜１３のいずれか一項に記載の方法。
15. 前記光量が、各セルグループに対して同じである、請求項９〜１４のいずれか一項に記載の方法。
16. プログラムがコンピュータ上で実行される場合に、請求項９〜１５のいずれか一項に記載の方法のステップを実行するためのプログラムコードの命令を含むコンピュータプログラム製品。

Images