JP6004280B2 - ライトフィールド撮像装置および撮像素子 - Google Patents
ライトフィールド撮像装置および撮像素子 Download PDFInfo
- Publication number
- JP6004280B2 JP6004280B2 JP2013513455A JP2013513455A JP6004280B2 JP 6004280 B2 JP6004280 B2 JP 6004280B2 JP 2013513455 A JP2013513455 A JP 2013513455A JP 2013513455 A JP2013513455 A JP 2013513455A JP 6004280 B2 JP6004280 B2 JP 6004280B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- image
- light
- photoelectric conversion
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 90
- 238000006243 chemical reaction Methods 0.000 claims description 56
- 238000002834 transmittance Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000010410 layer Substances 0.000 description 95
- 238000000034 method Methods 0.000 description 20
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000012790 adhesive layer Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14629—Reflectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Description
本願は、画像と奥行き情報とを同時に得る単眼の三次元撮像技術に関する。
近年、CCDやCMOS等の固体撮像素子(以下、「撮像素子」と称する。)を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が100万画素程度から1000万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、2次元画像から3次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の3次元表示装置が開発され始めている。
3次元撮像技術に関して、単純な構成をもつ代表的な方式として、2つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる2眼撮像方式では、カメラを2つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、1つのカメラを用いて視差を有する複数の画像(以下、「複数視点画像」と呼ぶことがある。)を取得する方式(単眼撮像方式)が研究されている。
例えば、特許文献1、2には、透過軸の方向が互いに直交する2枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献3〜5には、複数の色フィルタが設けられた絞り(光束制限板)を用いて複数視点画像を取得する方式が開示されている。
上記の特許文献1〜5に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献1に開示されている。
特許文献6には、2つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を2分割し、分割したそれぞれの入射光を、空間的に1/2ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。
また、1つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献7に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。
Ren Ng,et al,"Light Field Photography with a Hand−held Plenoptic Camera", Stanford Tech Report CTSR 2005−02
ライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献6、7の技術のように光学系の改良が必要であるが、仮に改良したとしても、撮像系が2つ必要であったり、解像度低下のない画像と奥行き情報とが同時に得られないという課題がある。
本発明の実施形態は、従来技術とは異なる光学系および信号処理を用いて、解像度低下のない画像と奥行き情報とを同時に取得できる撮像技術を提供する。
上記課題を解決するために、本発明の一態様によるライトフィールドカメラは、光学系と、前記光学系によって形成される像を受けるように配置された撮像素子と、前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、前記撮像素子の動作を制御する制御部とを備えている。前記撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層とを有している。前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されている。前記制御部は、前記透過光制御層の光透過率を第1の値にした状態で第1の撮像を行い、前記透過光制御層の光透過率を前記第1の値とは異なる第2の値にした状態で第2の撮像を行うように前記撮像素子を制御する。前記画像処理部は、前記第1の撮像によって前記撮像素子が生成する第1の信号と、前記第2の撮像によって前記撮像素子が生成する第2の信号との差分を含む演算を行うことによって前記画像情報を生成する。
本発明の他の態様による撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層とを有する。前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている。
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
本発明の一態様によれば、解像度低下のない通常の画像と奥行き情報とを同時に取得することができる。
本発明の例示的な実施形態の概要は以下のとおりである。
(1)本発明の一態様によるライトフィールドカメラは、光学系と、前記光学系によって形成される像を受けるように配置された撮像素子と、前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、前記撮像素子の動作を制御する制御部とを備えている。前記撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層とを有している。前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されている。前記制御部は、前記透過光制御層の光透過率を第1の値にした状態で第1の撮像を行い、前記透過光制御層の光透過率を前記第1の値とは異なる第2の値にした状態で第2の撮像を行うように前記撮像素子を制御する。前記画像処理部は、前記第1の撮像によって前記撮像素子が生成する第1の信号と、前記第2の撮像によって前記撮像素子が生成する第2の信号との差分を含む演算を行うことによって前記画像情報を生成する。
(2)ある実施形態において、前記画像処理部は、前記第1の信号と前記第2の信号との差分信号に基づいて、被写体の奥行き情報を算出する。
(3)ある実施形態において、前記画像処理部は、前記マイクロレンズ層によって前記光電変換層に形成される複数の部分画像の信号を用いて、前記奥行き情報を生成する。
(4)ある実施形態において、前記画像処理部は、前記第1の信号と前記第2の信号とに基づいて、通常画像を生成する。
(5)ある実施形態において、前記撮像素子は、前記光電変換層と前記マイクロレンズ層との間に配線層を有している。
(6)本発明の他の態様による撮像素子は、複数の光感知セルを有する光電変換層と、前記光電変換層を透過した光を反射する反射層と、前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層とを有する。前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている。
以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の符号を付している。以下の説明において、画像を示す信号または情報を単に「画像」と称する場合がある。
(実施形態1)
まず、本発明の第1の実施形態による撮像装置を説明する。図1は、本実施形態におけるライトフィールド型撮像装置(以下、単に「撮像装置」と呼ぶ。)の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部100と、撮像部100で生成された信号に基づいて画像を示す信号(画像信号)を生成する信号処理部200とを備えている。
まず、本発明の第1の実施形態による撮像装置を説明する。図1は、本実施形態におけるライトフィールド型撮像装置(以下、単に「撮像装置」と呼ぶ。)の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部100と、撮像部100で生成された信号に基づいて画像を示す信号(画像信号)を生成する信号処理部200とを備えている。
撮像部100は、撮像面上に配列された複数の光感知セルを備えた光電変換部1を含む固体撮像素子2(以下、単に「撮像素子」と呼ぶ。)と、撮像素子2の光電変換部1上に像を形成するための光学レンズ3(結像部)と、赤外カットフィルタ4とを備えている。撮像部100はまた、撮像素子2を駆動するための基本信号を発生するとともに撮像素子2からの出力信号を受信して信号処理部200に送出する信号発生/受信部5と、信号発生/受信部5によって生成された基本信号に基づいて撮像素子2を駆動する素子駆動部6とを備えている。撮像素子2は、典型的にはCMOSセンサであり、公知の半導体製造技術によって製造される。信号発生/受信部5および素子駆動部6は、例えばCMOSドライバなどのLSIから構成されている。本実施形態では、信号発生/受信部5および素子駆動部6が、制御部の機能を有している。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって受けた光に応じた光電変換信号を出力する。
信号処理部200は、撮像部100から出力された信号を処理して解像度低下のない画像と奥行き情報とを生成する画像処理部7と、画像信号の生成に用いられる各種のデータを格納するメモリ30と、生成した解像度低下のない画像および奥行き情報を外部に送出する画像インターフェース(IF)部8とを備えている。画像処理部7は、公知のデジタル信号処理プロセッサ(DSP)などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。あるいは、画像処理部7は、専用のハードウェアから構成されていてもよい。メモリ30は、DRAMやSRAMなどの公知の半導体メモリによって構成され得る。メモリ30は、撮像部100から得られた信号を記録するとともに、画像処理部7によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像インターフェース部8を介して不図示の記録媒体や表示部などに送出される。
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源(電池)、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、撮像素子2、画像処理部7以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。
以上の構成により、入射光は、光学レンズ3、赤外カットフィルタ4を通して撮像素子2の光電変換部1で結像され、光電変換される。光電変換によって生成された光電変換信号は、信号発生/受信部5を通してメモリ30に送られ、そこで蓄積される。画像処理部7はメモリ30に蓄積された光電変換信号を用いて解像度低下のない画像と奥行き情報を生成する。生成された解像度低下のない画像と奥行き情報は、画像インターフェース部8を介して外部に送出される。
図2は、撮像部100における光学レンズ3、撮像素子2およびその内部の光電変換部1の配置関係を模式的に示す図である。図2では、光学レンズ3、撮像素子2および光電変換部1以外の構成要素は省略されている。また、図2では、各要素は単純化して描かれており、これらの要素のサイズ、形状、および要素間の距離は、必ずしも実際のものを反映していない。例えば、光学レンズ3は、複数のレンズ群から構成されたレンズユニットであり得るが、図2では簡単のため、単一のレンズとして描かれている。以下の説明では、図中に示すxy座標を用いる。
図3は、本実施形態における撮像素子2の断面の一部を示す図である。本実施形態では、撮像素子2として、いわゆる裏面照射型のCMOSイメージセンサを用いる。光学系(マイクロレンズアレイ)を含む光電変換部1は、固定基板2aに接着層2bにより接着されている。図3に示すように、光電変換部1は、複数の光感知セル1dを有する光電変換層と、規則的に配列された複数のマイクロレンズ1aを有するマイクロレンズ層と、透過光量を制御するための液晶を含む透過光制御層1bと、光を反射する部材である反射層2cとを有している。光電変換部1は、また、光を透過させる半導体層1e、1gと、配線層1fとを有している。
透過光制御層1bは、素子駆動部6から出力される制御信号に基づいて、液晶分子の配向を変化させることにより、少なくとも2種類の異なる光透過率の状態を実現できる。後述するように、透過光制御層1bの光透過率の値が第1の値のときに1回目の撮像が行われ、第2の値のときに2回目の撮像が行われる。それらの撮像の制御は、素子駆動部6によって行われる。2回の撮像によって取得された光電変換信号に基づいて、画像処理部7は画像を示す信号を生成する。
図4は、複数の光感知セル1dの配列例を示す平面図である。図示されるように、複数の光感知セル1dは、撮像面上に2次元状に配列されている。図示される例では、複数の光感知セル1dは正方格子状に配列されているが、他の配列であってもよい。例えば、図4の紙面垂直方向を回転軸として45度回転させた斜交型の配列であってもよい。
以上の構成により、入射光は、レンズ3および赤外カットフィルタ4を透過し、撮像素子2の光電変換部1に入射し、複数の光感知セル1dによって光電変換される。ただし、本実施形態では全ての入射光が光電変換されるわけではない。半導体層1eおよび光感知セル1dを構成する一般的な材料であるシリコンの波長選択性により、青系統(短波長)の光はよく吸収されるが、赤系統(長波長)の光ほど光吸収率が低い。そのため、赤系統の光の一部は光感知セル1dを透過する。光感知セル1dを透過した光は、マイクロレンズ1aおよび透過光制御層1bを通り、光反射層1cで反射される。光反射層1cによって反射された光は、透過光制御層1bおよびマイクロレンズ1aを透過し、再度、光感知セル1dで光電変換される。このように、本実施形態では、入射光の一部が光感知セル1dによってまず光電変換される。そして、光電変換されずに光感知セル1dを透過した光が、マイクロレンズ1aおよび透過光制御層1bを透過して光反射層1cで反射され、再び光感知セル1dに戻り、光電変換される。その結果、光感知セル1dは、1回の撮像について2回の光電変換を行う。
このように、本実施形態では、撮像時に1つの光感知セル1dを透過した光が、反射層1cによって反射されて再び光感知セル1dに入射するように、マイクロレンズ層の特性および配置が調整されている。この構成により、後述する処理によって高解像度の通常画像と奥行き情報とを同時に得ることが可能となる。なお、撮像素子2に含まれる全ての光感知セル1dについて上記の構成が実現されることが理想的であるが、設計誤差その他の問題により、上記の構成を実現できない光感知セル1dが存在していてもよい。
以下、本実施形態における撮像および画像処理について、さらに詳細に説明する。被写体からの光は光学レンズ3、赤外カットフィルタ4を通して撮像素子2の光電変換部1上で結像される。本実施形態では、素子駆動部6が透過光制御層1bを制御することにより、透過光制御層1bの透過光量を変えて2度撮像される。ここで、レンズ3および赤外カットフィルタ4を通過して入射する光の光量をLa、透過光制御層1bにおいて透過光を往復で透過させた場合の透過率をk、光反射層1cにおける光の反射率を100%、光感知セル1dを透過する光の量をLbとする。また、光感知セル1dによる光電変換は、レンズ3側からの入射光およびマイクロレンズ1a側からの反射光のみについて行われるものとする。
まず、第1回目の撮像において、透過光制御層1bにおける透過率kを50%より小さい値k1に設定し、撮像する。そうすると、光感知セル1dでは、(La+k1・Lb)で表される量の光が光電変換される。引き続き、透過光制御層1bにおける透過率kを50%より大きい値k2に設定し、第2回目の撮像を行う。そうすると、光感知セルでは(La+k2・Lb)で表される量の光が光電変換される。すなわち、第1回目の撮像によって得られる光電変換信号をG(1)、第2回目の撮像によって得られる光電変換信号をG(2)とし、光量La、Lbに対応する信号量をそれぞれLas、Lbsと表すと、G(1)およびG(2)は、それぞれ以下の式1および式2で表すことができる。
(式1) G(1)=Las+k1・Lbs
(式2) G(2)=Las+k2・Lbs
なお、本実施形態では、静止画を撮像する場合を想定しているが、動画の撮像に適用することも可能である。動画を撮像する場合は、被写体が静止状態と見なせるように、2回の撮像を高速に行えばよい。
(式1) G(1)=Las+k1・Lbs
(式2) G(2)=Las+k2・Lbs
なお、本実施形態では、静止画を撮像する場合を想定しているが、動画の撮像に適用することも可能である。動画を撮像する場合は、被写体が静止状態と見なせるように、2回の撮像を高速に行えばよい。
上記の2回の撮像の結果、第1回目の撮像と第2回目の撮像との光量差はLb(k2−k1)で表される。すなわち、第1回目の撮像で得られる光電変換信号G(1)と、第2回目の撮像で得られる光電変換信号G(2)との差分信号G(2)−G(1)は、以下の式3に示すとおり、Lbsに比例する。
(式3) G(2)−G(1)=(k2−K1)Lbs
(式3) G(2)−G(1)=(k2−K1)Lbs
信号Lbsは光量Lbに比例するため、式3に示される差分信号により、マイクロレンズ1a側からの光量を示す信号Lb、すなわち画像情報が得られる。マイクロレンズ1a側からの画像情報が得られれば、透過率k1、k2は既知であるので、レンズ3および赤外カットフィルタ4側からの画像情報も得ることができる。例えば、k2・G(1)−k1・G(2)を、(k2−k1)で除算することにより、Lasが得られる。この信号Lasは、光量Laを表しているため、本構成によって赤外カットフィルタ4側からの画像情報が得られることがわかる。
レンズ3および赤外カットフィルタ4側からの光情報については、特に解像度の劣化はないため、撮像素子2の画素数(光感知セル数)が多ければ、高解像度画像が得られる。一方、マイクロレンズ1a側からの画像情報は、所謂ライトフィールドカメラから得られる画像情報に相当する。すなわち、解像度は相対的に低いが、マイクロレンズアレイによる画像情報であるため、奥行きを算出できる。以上のように、本実施形態によれば通常の解像度低下のない画像と、解像度は低いが奥行きを算出できる画像とを同時に得ることができる。
次に、図5を参照しながら、撮像および信号処理に関して、具体的な処理の流れの例を説明する。第1のステップとして、透過光制御層1bの透過率kを50%より小さい値k1に設定し、第1回目の撮像が行われる(S10)。ここで、撮像によって得られた光電変換信号G(1)は、撮像素子2から信号発生/受信部5を介してメモリ30に転送される。第2のステップとして、透過光制御層1bの透過率kを50%より大きい値k2に設定し、第2回目の撮像が行われる(S12)。撮像によって得られた光電変換信号G(2)も撮像素子2から信号発生/受信部5を介してメモリ30に転送される。第3のステップとして、画像処理部7は、差分信号(G(2)−G(1))を(k2−k1)で除算し、その結果をG(3)とする(S14)。すなわち、画像処理部7は、以下の式4に示す演算を行う。
(式4) G(3)=(G(2)−G(1))/(k2−k1)=Lbs
(式4) G(3)=(G(2)−G(1))/(k2−k1)=Lbs
第4のステップとして、画像処理部7は、以下の式5に示すように、(G(1)−k1G(3))の演算を行い、信号G(4)を生成する(S16)。あるいは、以下の式6に示すように、(G(2)−k2G(3))の演算を行い、信号G(5)を生成してもよい。
(式5) G(4)=G(1)−k1・G(3)=(Las+k1Lbs)−k1Lbs=Las
(式6) G(5)=G(2)−k2G(3)=(Las+k2Lbs)−k2Lbs=Las
(式5) G(4)=G(1)−k1・G(3)=(Las+k1Lbs)−k1Lbs=Las
(式6) G(5)=G(2)−k2G(3)=(Las+k2Lbs)−k2Lbs=Las
第5のステップとして、画像処理部7は、画像G(3)を用いて、公知のライトフィールドカメラで行われる処理と同様の処理を行うことにより、奥行き情報を算出する(S18)。すなわち、各マイクロレンズによって光電変換層に形成される複数の部分画像を利用して三角測量を行い、奥行きを算出する。なお、公知のライトフィールドカメラで行われる処理の詳細については説明を省略する。最後のステップとして、算出した信号G(4)または信号G(5)と奥行き情報とを画像インターフェース部8を介して出力する(S20)。
以上のように、本実施形態によれば、撮像素子2において、入射光が入射する方向について、順に光感知セル群1d、マイクロレンズアレイ1a、透過光制御層、光反射層が形成される。レンズ3からの入射光が直接撮像素子2の光感知セル群に入射すると共に、光感知セル群1dを透過した光がマイクロレンズアレイ1aおよび透過光制御層1bを介し光反射層1cで反射されて光感知セル群に再入射する。透過光制御層1bの透過率を変化させて2度撮像することにより、画素信号間の差分を含む簡単な演算処理によって解像度劣化のない画像と奥行き情報とを算出できるという効果を有する。
なお、本実施形態では、撮像素子2において、入射光が入射する方向について、順に光感知セル群1d、マイクロレンズアレイ1a、透過光制御層1b、光反射層1cが形成されているが、この構成に限定するものではない。透過光制御層1bは、光感知セル群1dと光反射層1cとの間に配置されていれば問題はない。また、上記の説明では、透過光制御層1bは液晶を含むものとしたが、そのような構成に限定されるものではなく、透過光量を制御できる媒体や構造であれば問題ない。
また、2度の撮像に関して、透過光制御層1bによって透過光量を調整する際、光透過率を50%より小さいk1と50%より大きいk2としたが、これに限るものではなく、両者が同じ透過率でなければ問題ない。加えて、本実施形態では、カラー化が施されていない撮像素子2について説明したが、本願の技術は、光感知セル群1dの上部に色分離フィルタを配置したカラー撮像素子にも適用できる。その場合、赤系統の色分離フィルタを透過した光しか利用できないが、マイクロレンズ側からの反射光によって奥行き情報が得られ、さらに解像度低下のないカラー画像も得られる。マイクロレンズアレイ1aについても、口径や焦点距離等の光学特性が全て同じであるレンズである必要はない。例えば、光学特性が異なる複数種類のレンズから構成されても良いし、光学特性が変えられる液体レンズを用いても良い。
以上の実施形態では、撮像装置に内蔵された画像処理部7が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部100を有する撮像装置によって取得した信号を、他の装置(画像処理装置)に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。
本願の技術は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。
1 撮像素子の光学系を含む光電変換部
1a マイクロレンズ
1b 透過光制御層
1c 光反射層
1d 光感知セル
1e 半導体層
1f 配線層
2 固体撮像素子
2a 固定基板
2b 接着層
3 レンズ
4 赤外カットフィルタ
5 信号発生/受信部
6 素子駆動部
7 画像処理部
8 インターフェース部
10 光感知セル
30 メモリ
100 撮像部
200 信号処理部
1a マイクロレンズ
1b 透過光制御層
1c 光反射層
1d 光感知セル
1e 半導体層
1f 配線層
2 固体撮像素子
2a 固定基板
2b 接着層
3 レンズ
4 赤外カットフィルタ
5 信号発生/受信部
6 素子駆動部
7 画像処理部
8 インターフェース部
10 光感知セル
30 メモリ
100 撮像部
200 信号処理部
Claims (6)
- 光学系と、
前記光学系によって形成される像を受けるように配置された撮像素子と、
前記撮像素子から出力される信号に基づいて画像情報を生成する画像処理部と、
前記撮像素子の動作を制御する制御部と、
を備え、
前記撮像素子は、
複数の光感知セルを有する光電変換層と、
前記光電変換層を透過した光を反射する反射層と、
前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、
前記光電変換層と前記反射層との間に配置され、前記制御部からの指示に基づいて光透過率を変化させる透過光制御層と、
を有し、
前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように構成されており、
前記制御部は、前記透過光制御層の光透過率を第1の値にした状態で第1の撮像を行い、前記透過光制御層の光透過率を前記第1の値とは異なる第2の値にした状態で第2の撮像を行うように前記撮像素子を制御し、
前記画像処理部は、前記第1の撮像によって前記撮像素子が生成する第1の信号と、前記第2の撮像によって前記撮像素子が生成する第2の信号との差分を含む演算を行うことによって前記画像情報を生成する、
ライトフィールド撮像装置。 - 前記画像処理部は、前記第1の信号と前記第2の信号との差分信号に基づいて、被写体の奥行き情報を算出する、請求項1に記載のライトフィールド撮像装置。
- 前記画像処理部は、前記マイクロレンズ層によって前記光電変換層に形成される複数の部分画像の信号を用いて、前記奥行き情報を生成する、請求項2に記載のライトフィールド撮像装置。
- 前記画像処理部は、前記第1の信号と前記第2の信号とに基づいて、通常画像を生成する、請求項1から3のいずれかに記載のライトフィールド撮像装置。
- 前記撮像素子は、前記光電変換層と前記マイクロレンズ層との間に配線層を有している、請求項1から4のいずれかに記載のライトフィールド撮像装置。
- 複数の光感知セルを有する光電変換層と、
前記光電変換層を透過した光を反射する反射層と、
前記光電変換層と前記反射層との間に配置された複数のマイクロレンズを有するマイクロレンズ層と、
前記光電変換層と前記反射層との間に配置され、光透過率を変化させることができる透過光制御層と、
を有し、
前記マイクロレンズ層は、前記複数の光感知セルに含まれる1つの光感知セルを透過して前記反射層によって反射された光が、前記光感知セルに再度入射するように配置されている、
撮像素子。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012024926 | 2012-02-08 | ||
JP2012024926 | 2012-02-08 | ||
PCT/JP2013/000148 WO2013118428A1 (ja) | 2012-02-08 | 2013-01-16 | ライトフィールド撮像装置および撮像素子 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013118428A1 JPWO2013118428A1 (ja) | 2015-05-11 |
JP6004280B2 true JP6004280B2 (ja) | 2016-10-05 |
Family
ID=48947209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013513455A Expired - Fee Related JP6004280B2 (ja) | 2012-02-08 | 2013-01-16 | ライトフィールド撮像装置および撮像素子 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9462254B2 (ja) |
JP (1) | JP6004280B2 (ja) |
CN (1) | CN103348668B (ja) |
WO (1) | WO2013118428A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2544946B (en) | 2014-08-31 | 2021-03-10 | Berestka John | Systems and methods for analyzing the eye |
US9883151B2 (en) | 2014-11-28 | 2018-01-30 | Electronics And Telecommunications Research Institute | Apparatus and method for capturing lightfield image |
US10119915B2 (en) * | 2015-04-09 | 2018-11-06 | Visera Technologies Company Limited | Detection device for specimens |
US9846310B2 (en) * | 2015-06-22 | 2017-12-19 | Innolux Corporation | 3D image display device with improved depth ranges |
US10089788B2 (en) | 2016-05-25 | 2018-10-02 | Google Llc | Light-field viewpoint and pixel culling for a head mounted display device |
EP3264741A1 (en) | 2016-06-30 | 2018-01-03 | Thomson Licensing | Plenoptic sub aperture view shuffling with improved resolution |
US10451486B2 (en) | 2016-12-23 | 2019-10-22 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Imaging apparatus, methods, and applications |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748878B2 (ja) | 1986-03-19 | 1995-05-24 | 日本放送協会 | 立体画像撮像表示システム |
JPS62291292A (ja) | 1986-06-11 | 1987-12-18 | Sharp Corp | 撮像装置 |
JP3141312B2 (ja) * | 1992-12-21 | 2001-03-05 | キヤノン株式会社 | 表示素子 |
JP3676916B2 (ja) | 1997-09-25 | 2005-07-27 | 日本放送協会 | 立体撮像装置および立体表示装置 |
JP2002344999A (ja) | 2001-05-21 | 2002-11-29 | Asahi Optical Co Ltd | ステレオ画像撮像装置 |
JP3869702B2 (ja) | 2001-10-30 | 2007-01-17 | ペンタックス株式会社 | ステレオ画像撮像装置 |
JP4826111B2 (ja) * | 2005-03-17 | 2011-11-30 | ソニー株式会社 | 固体撮像素子および固体撮像素子の製造方法および画像撮影装置 |
JP5040493B2 (ja) * | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP4730347B2 (ja) * | 2007-07-03 | 2011-07-20 | ソニー株式会社 | 撮像装置及び撮像方法 |
US7999342B2 (en) * | 2007-09-24 | 2011-08-16 | Taiwan Semiconductor Manufacturing Company, Ltd | Image sensor element for backside-illuminated sensor |
JP2009077345A (ja) * | 2007-09-25 | 2009-04-09 | Olympus Corp | 固体撮像装置 |
JP5056428B2 (ja) * | 2008-01-15 | 2012-10-24 | ソニー株式会社 | デジタルカメラ |
JP2009276294A (ja) | 2008-05-16 | 2009-11-26 | Toshiba Corp | 画像処理方法 |
JP2010118412A (ja) * | 2008-11-11 | 2010-05-27 | Panasonic Corp | 固体撮像装置及びその製造方法 |
JP5113249B2 (ja) * | 2008-11-19 | 2013-01-09 | パナソニック株式会社 | 撮像装置 |
US8389921B2 (en) * | 2010-04-30 | 2013-03-05 | Omnivision Technologies, Inc. | Image sensor having array of pixels and metal reflectors with widths scaled based on distance from center of the array |
TW201227159A (en) * | 2010-12-24 | 2012-07-01 | wen-jin Zhang | Method of taking pictures for generating three-dimensional image data |
JP5554253B2 (ja) * | 2011-01-27 | 2014-07-23 | 富士フイルム株式会社 | 電子内視鏡システム |
-
2013
- 2013-01-16 CN CN201380000330.4A patent/CN103348668B/zh active Active
- 2013-01-16 WO PCT/JP2013/000148 patent/WO2013118428A1/ja active Application Filing
- 2013-01-16 JP JP2013513455A patent/JP6004280B2/ja not_active Expired - Fee Related
- 2013-01-16 US US13/997,293 patent/US9462254B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9462254B2 (en) | 2016-10-04 |
JPWO2013118428A1 (ja) | 2015-05-11 |
CN103348668A (zh) | 2013-10-09 |
US20140078259A1 (en) | 2014-03-20 |
CN103348668B (zh) | 2017-06-09 |
WO2013118428A1 (ja) | 2013-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5879549B2 (ja) | ライトフィールド撮像装置、および画像処理装置 | |
JP6004280B2 (ja) | ライトフィールド撮像装置および撮像素子 | |
JP5421364B2 (ja) | 3次元撮像装置 | |
US8456565B2 (en) | Imaging device | |
JP6124079B2 (ja) | 偏光カラー撮像装置 | |
JP5227368B2 (ja) | 3次元撮像装置 | |
JP5958837B2 (ja) | 奥行き推定撮像装置 | |
EP3092788B1 (en) | Imaging device | |
JP5923754B2 (ja) | 3次元撮像装置 | |
JP2012186789A (ja) | 撮像装置 | |
JP2011199755A (ja) | 撮像装置 | |
JPWO2012157209A1 (ja) | 3次元撮像装置、撮像素子、光透過部、および画像処理装置 | |
JP5525109B2 (ja) | 撮像装置 | |
JPWO2017051876A1 (ja) | 撮像素子および撮像装置 | |
JP5507362B2 (ja) | 3次元撮像装置および光透過板 | |
JP6008298B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2013106217A (ja) | 奥行き推定撮像装置 | |
JP2013190603A (ja) | 光学ローパスフィルタ装置及びこれを用いた撮像装置 | |
JP2014215526A (ja) | 撮像素子およびカメラ | |
JP2014206709A (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160825 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6004280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |