WO2013118428A1

WO2013118428A1 - ライトフィールド撮像装置および撮像素子

Info

Publication number: WO2013118428A1
Application number: PCT/JP2013/000148
Authority: WO
Inventors: 平本　政夫; 育規石井; 物部　祐亮
Original assignee: パナソニック株式会社
Priority date: 2012-02-08
Filing date: 2013-01-16
Publication date: 2013-08-15
Also published as: JP6004280B2; US9462254B2; CN103348668A; JPWO2013118428A1; US20140078259A1; CN103348668B

Abstract

　撮像素子２は、複数の光感知セルを有する光電変換層１ｄと、光電変換層１ｄを透過した光を反射する反射層１ｃと、光電変換層１ｄと反射層１ｃとの間に配置された複数のマイクロレンズを有するマイクロレンズ層１ａと、光電変換層１ｄと反射層１ｃとの間に配置され、制御部からの指示に基づいて光透過率を変化させることが可能な透過光制御層１ｂとを有している。マイクロレンズ層１ａは、１つの光感知セルを透過して反射層１ｃによって反射された光が、前記光感知セルに再度入射するように構成されている。

Description

ライトフィールド撮像装置および撮像素子

　本願は、画像と奥行き情報とを同時に得る単眼の三次元撮像技術に関する。

　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

　３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。

　例えば、特許文献１、２には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献３～５には、複数の色フィルタが設けられた絞り（光束制限板）を用いて複数視点画像を取得する方式が開示されている。

　上記の特許文献１～５に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。

　特許文献６には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。

　また、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献７に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。

特開昭６２－２９１２９２号公報特開昭６２－２１７７９０号公報特開２００２－３４４９９９号公報特開２００９－２７６２９４号公報特開２００３－１３４５３３号公報特開平１１－９８５３２号公報特開２００８－１６７３９５号公報

Ｒｅｎ　Ｎｇ，ｅｔ　ａｌ，"Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ　ｗｉｔｈ　ａ　Ｈａｎｄ－ｈｅｌｄ　Ｐｌｅｎｏｐｔｉｃ　Ｃａｍｅｒａ"，　Ｓｔａｎｆｏｒｄ　Ｔｅｃｈ　Ｒｅｐｏｒｔ　ＣＴＳＲ　２００５－０２

　ライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献６、７の技術のように光学系の改良が必要であるが、仮に改良したとしても、撮像系が２つ必要であったり、解像度低下のない画像と奥行き情報とが同時に得られないという課題がある。

　本発明の実施形態は、従来技術とは異なる光学系および信号処理を用いて、解像度低下のない画像と奥行き情報とを同時に取得できる撮像技術を提供する。

　上記課題を解決するために、本発明の一態様によるライトフィールドカメラは、光学系と、前記光学系によって形成される像を受けるように配置された撮像素子と、前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、前記撮像素子の動作を制御する制御部とを備えている。前記撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層とを有している。前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されている。前記制御部は、前記透過光制御層の光透過率を第１の値にした状態で第１の撮像を行い、前記透過光制御層の光透過率を前記第１の値とは異なる第２の値にした状態で第２の撮像を行うように前記撮像素子を制御する。前記画像処理部は、前記第１の撮像によって前記撮像素子が生成する第１の信号と、前記第２の撮像によって前記撮像素子が生成する第２の信号との差分を含む演算を行うことによって前記画像情報を生成する。

　本発明の他の態様による撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層とを有する。前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている。

　上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

　本発明の一態様によれば、解像度低下のない通常の画像と奥行き情報とを同時に取得することができる。

例示的な実施形態１における撮像装置の概略構成を示す図である。例示的な実施形態１における光学レンズ、透光板、および撮像素子の配置関係を示す模式図である。例示的な実施形態１における撮像素子の断面図である。例示的な実施形態１における光感知セルの配列例を示す図である。例示的な実施形態１における撮像および信号処理の流れを示す図である。

　本発明の例示的な実施形態の概要は以下のとおりである。

　（１）本発明の一態様によるライトフィールドカメラは、光学系と、前記光学系によって形成される像を受けるように配置された撮像素子と、前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、前記撮像素子の動作を制御する制御部とを備えている。前記撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層とを有している。前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されている。前記制御部は、前記透過光制御層の光透過率を第１の値にした状態で第１の撮像を行い、前記透過光制御層の光透過率を前記第１の値とは異なる第２の値にした状態で第２の撮像を行うように前記撮像素子を制御する。前記画像処理部は、前記第１の撮像によって前記撮像素子が生成する第１の信号と、前記第２の撮像によって前記撮像素子が生成する第２の信号との差分を含む演算を行うことによって前記画像情報を生成する。

　（２）ある実施形態において、前記画像処理部は、前記第１の信号と前記第２の信号との差分信号に基づいて、被写体の奥行き情報を算出する。

　（３）ある実施形態において、前記画像処理部は、前記マイクロレンズ層によって前記光電変換層に形成される複数の部分画像の信号を用いて、前記奥行き情報を生成する。

　（４）ある実施形態において、前記画像処理部は、前記第１の信号と前記第２の信号とに基づいて、通常画像を生成する。

　（５）ある実施形態において、前記撮像素子は、前記光電変換層と前記マイクロレンズ層との間に配線層を有している。

　（６）本発明の他の態様による撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層とを有する。前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている。

　以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の符号を付している。以下の説明において、画像を示す信号または情報を単に「画像」と称する場合がある。

　（実施形態１）
　まず、本発明の第１の実施形態による撮像装置を説明する。図１は、本実施形態におけるライトフィールド型撮像装置（以下、単に「撮像装置」と呼ぶ。）の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

　撮像部１００は、撮像面上に配列された複数の光感知セルを備えた光電変換部１を含む固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、撮像素子２の光電変換部１上に像を形成するための光学レンズ３（結像部）と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。撮像素子２は、典型的にはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＭＯＳドライバなどのＬＳＩから構成されている。本実施形態では、信号発生／受信部５および素子駆動部６が、制御部の機能を有している。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって受けた光に応じた光電変換信号を出力する。

　信号処理部２００は、撮像部１００から出力された信号を処理して解像度低下のない画像と奥行き情報とを生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した解像度低下のない画像および奥行き情報を外部に送出する画像インターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。あるいは、画像処理部７は、専用のハードウェアから構成されていてもよい。メモリ３０は、ＤＲＡＭやＳＲＡＭなどの公知の半導体メモリによって構成され得る。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。

　以上の構成により、入射光は、光学レンズ３、赤外カットフィルタ４を通して撮像素子２の光電変換部１で結像され、光電変換される。光電変換によって生成された光電変換信号は、信号発生／受信部５を通してメモリ３０に送られ、そこで蓄積される。画像処理部７はメモリ３０に蓄積された光電変換信号を用いて解像度低下のない画像と奥行き情報を生成する。生成された解像度低下のない画像と奥行き情報は、画像インターフェース部８を介して外部に送出される。

　図２は、撮像部１００における光学レンズ３、撮像素子２およびその内部の光電変換部１の配置関係を模式的に示す図である。図２では、光学レンズ３、撮像素子２および光電変換部１以外の構成要素は省略されている。また、図２では、各要素は単純化して描かれており、これらの要素のサイズ、形状、および要素間の距離は、必ずしも実際のものを反映していない。例えば、光学レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。以下の説明では、図中に示すｘｙ座標を用いる。

　図３は、本実施形態における撮像素子２の断面の一部を示す図である。本実施形態では、撮像素子２として、いわゆる裏面照射型のＣＭＯＳイメージセンサを用いる。光学系（マイクロレンズアレイ）を含む光電変換部１は、固定基板２ａに接着層２ｂにより接着されている。図３に示すように、光電変換部１は、複数の光感知セル１ｄを有する光電変換層と、規則的に配列された複数のマイクロレンズ１ａを有するマイクロレンズ層と、透過光量を制御するための液晶を含む透過光制御層１ｂと、光を反射する部材である反射層２ｃとを有している。光電変換部１は、また、光を透過させる半導体層１ｅ、１ｇと、配線層１ｆとを有している。

　透過光制御層１ｂは、素子駆動部６から出力される制御信号に基づいて、液晶分子の配向を変化させることにより、少なくとも２種類の異なる光透過率の状態を実現できる。後述するように、透過光制御層１ｂの光透過率の値が第１の値のときに１回目の撮像が行われ、第２の値のときに２回目の撮像が行われる。それらの撮像の制御は、素子駆動部６によって行われる。２回の撮像によって取得された光電変換信号に基づいて、画像処理部７は画像を示す信号を生成する。

　図４は、複数の光感知セル１ｄの配列例を示す平面図である。図示されるように、複数の光感知セル１ｄは、撮像面上に２次元状に配列されている。図示される例では、複数の光感知セル１ｄは正方格子状に配列されているが、他の配列であってもよい。例えば、図４の紙面垂直方向を回転軸として４５度回転させた斜交型の配列であってもよい。

　以上の構成により、入射光は、レンズ３および赤外カットフィルタ４を透過し、撮像素子２の光電変換部１に入射し、複数の光感知セル１ｄによって光電変換される。ただし、本実施形態では全ての入射光が光電変換されるわけではない。半導体層１ｅおよび光感知セル１ｄを構成する一般的な材料であるシリコンの波長選択性により、青系統（短波長）の光はよく吸収されるが、赤系統（長波長）の光ほど光吸収率が低い。そのため、赤系統の光の一部は光感知セル１ｄを透過する。光感知セル１ｄを透過した光は、マイクロレンズ１ａおよび透過光制御層１ｂを通り、光反射層１ｃで反射される。光反射層１ｃによって反射された光は、透過光制御層１ｂおよびマイクロレンズ１ａを透過し、再度、光感知セル１ｄで光電変換される。このように、本実施形態では、入射光の一部が光感知セル１ｄによってまず光電変換される。そして、光電変換されずに光感知セル１ｄを透過した光が、マイクロレンズ１ａおよび透過光制御層１ｂを透過して光反射層１ｃで反射され、再び光感知セル１ｄに戻り、光電変換される。その結果、光感知セル１ｄは、１回の撮像について２回の光電変換を行う。

　このように、本実施形態では、撮像時に１つの光感知セル１ｄを透過した光が、反射層１ｃによって反射されて再び光感知セル１ｄに入射するように、マイクロレンズ層の特性および配置が調整されている。この構成により、後述する処理によって高解像度の通常画像と奥行き情報とを同時に得ることが可能となる。なお、撮像素子２に含まれる全ての光感知セル１ｄについて上記の構成が実現されることが理想的であるが、設計誤差その他の問題により、上記の構成を実現できない光感知セル１ｄが存在していてもよい。

　以下、本実施形態における撮像および画像処理について、さらに詳細に説明する。被写体からの光は光学レンズ３、赤外カットフィルタ４を通して撮像素子２の光電変換部１上で結像される。本実施形態では、素子駆動部６が透過光制御層１ｂを制御することにより、透過光制御層１ｂの透過光量を変えて２度撮像される。ここで、レンズ３および赤外カットフィルタ４を通過して入射する光の光量をＬａ、透過光制御層１ｂにおいて透過光を往復で透過させた場合の透過率をｋ、光反射層１ｃにおける光の反射率を１００％、光感知セル１ｄを透過する光の量をＬｂとする。また、光感知セル１ｄによる光電変換は、レンズ３側からの入射光およびマイクロレンズ１ａ側からの反射光のみについて行われるものとする。

　まず、第１回目の撮像において、透過光制御層１ｂにおける透過率ｋを５０％より小さい値ｋ１に設定し、撮像する。そうすると、光感知セル１ｄでは、（Ｌａ＋ｋ１・Ｌｂ）で表される量の光が光電変換される。引き続き、透過光制御層１ｂにおける透過率ｋを５０％より大きい値ｋ２に設定し、第２回目の撮像を行う。そうすると、光感知セルでは（Ｌａ＋ｋ２・Ｌｂ）で表される量の光が光電変換される。すなわち、第１回目の撮像によって得られる光電変換信号をＧ（１）、第２回目の撮像によって得られる光電変換信号をＧ（２）とし、光量Ｌａ、Ｌｂに対応する信号量をそれぞれＬａｓ、Ｌｂｓと表すと、Ｇ（１）およびＧ（２）は、それぞれ以下の式１および式２で表すことができる。
　（式１）　Ｇ（１）＝Ｌａｓ＋ｋ１・Ｌｂｓ
　（式２）　Ｇ（２）＝Ｌａｓ＋ｋ２・Ｌｂｓ
なお、本実施形態では、静止画を撮像する場合を想定しているが、動画の撮像に適用することも可能である。動画を撮像する場合は、被写体が静止状態と見なせるように、２回の撮像を高速に行えばよい。

　上記の２回の撮像の結果、第１回目の撮像と第２回目の撮像との光量差はＬｂ（ｋ２－ｋ１）で表される。すなわち、第１回目の撮像で得られる光電変換信号Ｇ（１）と、第２回目の撮像で得られる光電変換信号Ｇ（２）との差分信号Ｇ（２）－Ｇ（１）は、以下の式３に示すとおり、Ｌｂｓに比例する。
　（式３）　Ｇ（２）－Ｇ（１）＝（ｋ２－Ｋ１）Ｌｂｓ

　信号Ｌｂｓは光量Ｌｂに比例するため、式３に示される差分信号により、マイクロレンズ１ａ側からの光量を示す信号Ｌｂ、すなわち画像情報が得られる。マイクロレンズ１ａ側からの画像情報が得られれば、透過率ｋ１、ｋ２は既知であるので、レンズ３および赤外カットフィルタ４側からの画像情報も得ることができる。例えば、ｋ２・Ｇ（１）－ｋ１・Ｇ（２）を、（ｋ２－ｋ１）で除算することにより、Ｌａｓが得られる。この信号Ｌａｓは、光量Ｌａを表しているため、本構成によって赤外カットフィルタ４側からの画像情報が得られることがわかる。

　レンズ３および赤外カットフィルタ４側からの光情報については、特に解像度の劣化はないため、撮像素子２の画素数（光感知セル数）が多ければ、高解像度画像が得られる。一方、マイクロレンズ１ａ側からの画像情報は、所謂ライトフィールドカメラから得られる画像情報に相当する。すなわち、解像度は相対的に低いが、マイクロレンズアレイによる画像情報であるため、奥行きを算出できる。以上のように、本実施形態によれば通常の解像度低下のない画像と、解像度は低いが奥行きを算出できる画像とを同時に得ることができる。

　次に、図５を参照しながら、撮像および信号処理に関して、具体的な処理の流れの例を説明する。第１のステップとして、透過光制御層１ｂの透過率ｋを５０％より小さい値ｋ１に設定し、第１回目の撮像が行われる（Ｓ１０）。ここで、撮像によって得られた光電変換信号Ｇ（１）は、撮像素子２から信号発生／受信部５を介してメモリ３０に転送される。第２のステップとして、透過光制御層１ｂの透過率ｋを５０％より大きい値ｋ２に設定し、第２回目の撮像が行われる（Ｓ１２）。撮像によって得られた光電変換信号Ｇ（２）も撮像素子２から信号発生／受信部５を介してメモリ３０に転送される。第３のステップとして、画像処理部７は、差分信号（Ｇ（２）－Ｇ（１））を（ｋ２－ｋ１）で除算し、その結果をＧ（３）とする（Ｓ１４）。すなわち、画像処理部７は、以下の式４に示す演算を行う。
　（式４）　Ｇ（３）＝（Ｇ（２）－Ｇ（１））／（ｋ２－ｋ１）＝Ｌｂｓ

　第４のステップとして、画像処理部７は、以下の式５に示すように、（Ｇ（１）－ｋ１Ｇ（３））の演算を行い、信号Ｇ（４）を生成する（Ｓ１６）。あるいは、以下の式６に示すように、（Ｇ（２）－ｋ２Ｇ（３））の演算を行い、信号Ｇ（５）を生成してもよい。
　（式５）　Ｇ（４）＝Ｇ（１）－ｋ１・Ｇ（３）＝（Ｌａｓ＋ｋ１Ｌｂｓ）－ｋ１Ｌｂｓ＝Ｌａｓ
　（式６）　Ｇ（５）＝Ｇ（２）－ｋ２Ｇ（３）＝（Ｌａｓ＋ｋ２Ｌｂｓ）－ｋ２Ｌｂｓ＝Ｌａｓ

　第５のステップとして、画像処理部７は、画像Ｇ（３）を用いて、公知のライトフィールドカメラで行われる処理と同様の処理を行うことにより、奥行き情報を算出する（Ｓ１８）。すなわち、各マイクロレンズによって光電変換層に形成される複数の部分画像を利用して三角測量を行い、奥行きを算出する。なお、公知のライトフィールドカメラで行われる処理の詳細については説明を省略する。最後のステップとして、算出した信号Ｇ（４）または信号Ｇ（５）と奥行き情報とを画像インターフェース部８を介して出力する（Ｓ２０）。

　以上のように、本実施形態によれば、撮像素子２において、入射光が入射する方向について、順に光感知セル群１ｄ、マイクロレンズアレイ１ａ、透過光制御層、光反射層が形成される。レンズ３からの入射光が直接撮像素子２の光感知セル群に入射すると共に、光感知セル群１ｄを透過した光がマイクロレンズアレイ１ａおよび透過光制御層１ｂを介し光反射層１ｃで反射されて光感知セル群に再入射する。透過光制御層１ｂの透過率を変化させて２度撮像することにより、画素信号間の差分を含む簡単な演算処理によって解像度劣化のない画像と奥行き情報とを算出できるという効果を有する。

　なお、本実施形態では、撮像素子２において、入射光が入射する方向について、順に光感知セル群１ｄ、マイクロレンズアレイ１ａ、透過光制御層１ｂ、光反射層１ｃが形成されているが、この構成に限定するものではない。透過光制御層１ｂは、光感知セル群１ｄと光反射層１ｃとの間に配置されていれば問題はない。また、上記の説明では、透過光制御層１ｂは液晶を含むものとしたが、そのような構成に限定されるものではなく、透過光量を制御できる媒体や構造であれば問題ない。

　また、２度の撮像に関して、透過光制御層１ｂによって透過光量を調整する際、光透過率を５０％より小さいｋ１と５０％より大きいｋ２としたが、これに限るものではなく、両者が同じ透過率でなければ問題ない。加えて、本実施形態では、カラー化が施されていない撮像素子２について説明したが、本願の技術は、光感知セル群１ｄの上部に色分離フィルタを配置したカラー撮像素子にも適用できる。その場合、赤系統の色分離フィルタを透過した光しか利用できないが、マイクロレンズ側からの反射光によって奥行き情報が得られ、さらに解像度低下のないカラー画像も得られる。マイクロレンズアレイ１ａについても、口径や焦点距離等の光学特性が全て同じであるレンズである必要はない。例えば、光学特性が異なる複数種類のレンズから構成されても良いし、光学特性が変えられる液体レンズを用いても良い。

　以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。

　本願の技術は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。

　１　撮像素子の光学系を含む光電変換部
　１ａ　マイクロレンズ
　１ｂ　透過光制御層
　１ｃ　光反射層
　１ｄ　光感知セル
　１ｅ　半導体層
　１ｆ　配線層
　２　固体撮像素子
　２ａ　固定基板
　２ｂ　接着層
　３　レンズ
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　素子駆動部
　７　画像処理部
　８　インターフェース部
　１０　光感知セル
　３０　メモリ
　１００　撮像部
　２００　信号処理部

Claims

　光学系と、
　前記光学系によって形成される像を受けるように配置された撮像素子と、
　前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、
　前記撮像素子の動作を制御する制御部と、
を備え、
　前記撮像素子は、
　複数の光感知セルを有する光電変換層と、
　前記光電変換層を透過した光を反射する反射層と、
　前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、
　前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層と、
を有し、
　前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されており、
　前記制御部は、前記透過光制御層の光透過率を第１の値にした状態で第１の撮像を行い、前記透過光制御層の光透過率を前記第１の値とは異なる第２の値にした状態で第２の撮像を行うように前記撮像素子を制御し、
　前記画像処理部は、前記第１の撮像によって前記撮像素子が生成する第１の信号と、前記第２の撮像によって前記撮像素子が生成する第２の信号との差分を含む演算を行うことによって前記画像情報を生成する、
ライトフィールド撮像装置。
　前記画像処理部は、前記第１の信号と前記第２の信号との差分信号に基づいて、被写体の奥行き情報を算出する、請求項１に記載のライトフィールド撮像装置。
　前記画像処理部は、前記マイクロレンズ層によって前記光電変換層に形成される複数の部分画像の信号を用いて、前記奥行き情報を生成する、請求項２に記載のライトフィールド撮像装置。
　前記画像処理部は、前記第１の信号と前記第２の信号とに基づいて、通常画像を生成する、請求項１から３のいずれかに記載のライトフィールド撮像装置。
　前記撮像素子は、前記光電変換層と前記マイクロレンズ層との間に配線層を有している、請求項１から４のいずれかに記載のライトフィールド撮像装置。
　複数の光感知セルを有する光電変換層と、
　前記光電変換層を透過した光を反射する反射層と、
　前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、
　前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層と、
を有し、
　前記マイクロレンズ層は、前記複数の光感知セルに含まれる１つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている、
撮像素子。