JP6086681B2

JP6086681B2 - 撮像素子、及び撮像装置

Info

Publication number: JP6086681B2
Application number: JP2012206662A
Authority: JP
Inventors: 敢人宮崎
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-09-20
Filing date: 2012-09-20
Publication date: 2017-03-01
Anticipated expiration: 2032-09-20
Also published as: US20150195503A1; WO2014045592A1; US9819924B2; JP2014064080A

Description

本発明は、二次元状に配列されたレンズごとに配置され、視差を有する撮像画像対を構成する画素信号をそれぞれ出力する受光素子対を備えた撮像素子、及びこれを備えた撮像装置に関する。

立体撮像画像を表示するための視差を有する撮像画像対を単一の撮像素子で撮像する構成として、二次元状に配列されたマイクロレンズごとに左右一対の受光素子を備え、左眼用の受光素子により得られる画素信号により左眼用の撮像画像を、右眼用の受光素子により得られる画素信号により右眼用の撮像画像をそれぞれ構成する構成が知られている。かかる撮像素子の例が、特許文献１、２に記載されている。

特表２０１１−５１５０４５号公報特表２００３−５２３６４６号公報

上記の撮像素子では、立体撮像画像を視差を有する一対の画素からなる絵素に分割したとき、各マイクロレンズとこれに対応する受光素子対は絵素に対応し、個々の受光素子は各撮像画像における画素に対応する。ここで、たとえば撮像レンズの像側の開口数が大きくＦナンバーが小さいときには、マイクロレンズに大きい傾きを持つ光線が入射する場合がある。そして、一絵素に対応するマイクロレンズを通った光が、隣接する絵素に対応する受光素子に入射すると、画素信号の精度が低下し立体撮像画像の解像度が低下したり、撮像画像対でクロストークが生じ立体撮像画像の立体感が低下したりといった問題が生じるおそれがある。

そこで、上記のような問題点に鑑みてなされた本発明の目的は、立体撮像画像の解像度や立体感の低下を防止できる撮像素子、及びこれを含む撮像装置を提供することにある。

上記課題を解決するために本発明に係る撮像素子は、二次元状に配列されたレンズごとに配置され被写体からの光を受光する受光素子対であって、一方の受光素子が、前記被写体の立体撮像画像を表示するための視差を有する撮像画像対のうちの一方を構成する画素信号を出力し、他方の側の受光素子が、前記撮像画像対のうちの他方を構成する画素信号を出力する、受光素子対と、前記受光素子の入力信号または出力信号を伝送する、前記受光素子間に配設された配線とを有することを特徴とする。

好適な態様では、上記の撮像素子において、前記配線は、前記受光素子対同士の間に配設される。

また、さらに好適な態様では、前記レンズのそれぞれの曲率半径をｒ、前記レンズの間隔をｐ、前記レンズと前記配線の間の媒質の平均屈折率をｎａｖ２、前記配線の、前記受光素子の受光面からの距離をｈｂとしたとき、
1.4 ≦ (1/p)・[r/(nav2-1)-hb] ≦ 3
であることを特徴とする。

本発明の別の側面は、上記撮像素子と、上記撮像画像対に基づく立体撮像画像を表示する表示部とを有する撮像装置である。

以下に示す実施形態によれば、立体撮像画像の解像度や立体感の低下を防止することができる。

本実施形態における撮像装置の概略構成を示すブロック図である。撮像素子の要部の構成を説明するための図である。撮像素子の要部の構成を説明するための図である。配線層の作用を説明するための図である。配線層の作用を説明するための図である。配線層の配設状態を示す図である。配線層の好適な高さについて説明する図である。配線層の好適な高さについて説明する図である。

以下、本発明の実施の形態について説明する。

図１は、本実施形態における撮像装置の概略構成を示すブロック図である。この撮像装置１は、被写体からの被写体光１００に基づき、立体撮像画像を表示するための視差を有する一対の撮像画像を撮像する。撮像装置１は、撮像レンズ１１、撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８を有する。撮像素子１０、画像処理部１２、制御部１４、記憶部１６、及び表示部１８は、バス１９に接続され、各種信号を互いに送受信可能に構成される。

撮像素子１０は、被写体光１００が撮像レンズ１１を介して入射されると、被写体光１００に基づき視差を有する左眼用と右眼用の撮像画像対を撮像し、各撮像画像を構成する画素信号を出力する。各撮像画像は、２次元状に配列された画素からなる。１フレームの撮像画像を構成する画素数は、たとえば、６４０×４８０画素〜４０００×３０００画素であるが、この範囲に限られなくてもよい。撮像素子１０は、各画素に対応して配設置された受光素子を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）であり、受光素子により画素信号を生成して出力する。画素信号は、たとえば、１フレームごとに生成して出力される。画素信号は、画素ごとのたとえばＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色の階調値を示す信号である。また、画素信号は、受光素子からの出力信号がたとえばＡ／Ｄ変換されたデジタル信号である。

画像処理部１２は、１フレーム分の画素信号を含む撮像画像データに対し、色や輝度補正、歪み補正等の所定の画像処理や、データの圧縮・伸張を行う。画像処理部１２は、たとえば、１フレームごとの撮像画像データに対し画像処理を行う。画像処理部１２は、たとえばＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等のプロセッサである。

記憶部１６は、画像処理前及び／または画像処理後の撮像画像データを記憶するフレームメモリである。記憶部１６は、たとえば、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic RAM）である。または、記憶部１６は、ハードディスクや可搬型フラッシュメモリを含む各種記憶メディアへのデータ読込み・書込み装置を含んでもよい。

表示部１８は、撮像画像データに基づき立体撮像画像を表示する。表示部１８は、たとえば左右の眼の視差に対応する偏光フィルタを備えたＬＣＤ（Liquid Crystal Display）とその制御回路を有する。表示部１８は、視差を有する左右の撮像画像データを表示して、ユーザが立体感を知覚できるような立体撮像画像を表示する。

制御部１４は、撮像素子１０、画像処理部１２、記憶部１６、及び表示部１８に制御信号を送り、撮像装置１の動作を統合的に制御する。制御部１４は、たとえばマイクロコンピュータである。

図２、図３は、撮像素子１０の要部の構成を説明するための図である。

図２に示すように、撮像素子１０は、二次元状に配列された球面状のマイクロレンズ２０からなるレンズ群２を有する。マイクロレンズ２０は、立体撮像画像の絵素に対応して配設される。ここでは、Ｘ軸方向が撮像画像の左右方向に、Ｙ軸方向が撮像画像の上下方向に対応する。また、Ｚ軸方向が光軸方向に対応する。

また、撮像素子１０は、マイクロレンズ２０ごとに配置された受光素子対２２を有する。ここでは、便宜上、レンズ群２の一部についてのみ受光素子対２２が示される。各受光素子対２２は、立体撮像画像を表示するための視差を有する撮像画像対のうち左眼用の撮像画像を構成する画素信号を生成して出力する受光素子２２Ｌと、右眼用の撮像画像を構成する画素信号を生成して出力する受光素子２２Ｒとからなる。受光素子２２Ｌ、２２Ｒは、Ｘ軸方向に、すなわち左右方向に隣接して配置される。各受光素子２２Ｌ、２２Ｒは立体撮像画像を表示するための撮像画像対それぞれの画素に対応する。

図３には、撮像素子１０のＺ軸方向に沿った断面図が示される。図３に示すように、撮像素子１０には、撮像レンズ１１を介して被写体光１００が入射される。被写体光１００は、絞り３２に応じた直径の入射瞳３３、射出瞳３４を介して撮像レンズ１１を通過する。撮像レンズ１１を通過した被写体光１００は、マイクロレンズ２０ごとに集光され、カラーフィルタ３６を介して受光素子対２２の受光素子２２Ｌ、２２Ｒ上に被写体像を結像する。カラーフィルタ３６は、絵素ごとにＲ、Ｇ、Ｂのいずれかの色を有する。よって、受光素子２２Ｌ、２２Ｒ上には、Ｒ、Ｇ、Ｂいずれかの色の光が入射されて被写体像が結像される。

各絵素において、被写体光１００のうち光軸３０に対し左側の光束１００Ｌは左眼用の受光素子２２Ｌに、右側の光束１００Ｒは右眼用の受光素子２２Ｒに入射される。そして、受光素子２２Ｌは、左眼用の撮像画像を構成する画素の画素信号を生成し、出力する。一方、受光素子２２Ｒは、右眼用の撮像画像を構成する画素の画素信号を生成し、出力する。受光素子２２Ｒ、２２Ｌは、たとえば、ＣＭＯＳやＣＣＤに含まれるフォトダイオードである。

受光素子対２２同士の間には、受光素子２２Ｒ、２２Ｌの入力信号または出力信号を伝送する配線が積層された配線層３８が配設される。配線層３８の作用を、図４、５を用いて次に説明する。

図４には、図３のような配線層３８を有さない撮像素子１０の断面が示される。図３と共通の構成には、図３と同じ符号が付される。図４に示すように、たとえば撮像レンズ１１の像側の開口数が大きい（すなわちＦナンバーが小さい）ときには、マイクロレンズ２０に大きい傾きを持つ光線が入射する。ここで、一絵素分の受光素子対２２に着目すると、左側の光束１００Ｌが左眼用の受光素子２２Ｌからはみ出して隣接する他の絵素の右眼用の受光素子２２´Ｒに、右側の光束１００Ｒが右眼用の受光素子２２Ｒからはみ出して、隣接する他の絵素の左眼用の受光素子２２´Ｌに、それぞれ入射される場合がある。すると、各絵素において本来の色と異なる色のカラーフィルタ３６を通った光束が混入するため、撮像画像全体としての色むら発生の原因になる。また、絵素ごとのマイクロレンズ２０に入射した光束が、隣の絵素への光とみなされてしまうため、解像度の低下の原因ともなってしまう。その結果、立体撮像画像の解像度が低下したり、左右の撮像画像においてクロストークが生じることで立体撮像画像の立体感が低下したりといった問題が生じるおそれがある。そこで、本実施形態では、配線層３８が次のように作用する。

図５は、図３に示した断面図における、配線層３８の部分を拡大して示す図である。図３と共通の構成には、図３と同じ符号が付される。本実施形態では、配線層３８を設けることで、受光素子２２Ｌ、２２Ｒからはみ出そうとする光束１００Ｌ、１００Ｒを配線層３８が遮蔽し（５２）、光束１００Ｌ、１００Ｒが隣接する他の絵素の受光素子２２´Ｒ、２２´Ｌに入射されることを防止できる。

さらにここでは、Ｓｉ基板５上に配線３８ａ、３８ｂ、及び３８ｃを積層して配線層３８を構成する例が示される。配線３８ａ、３８ｂ、及び３８ｃは、画素信号を出力する受光素子を選択する、行または列の選択信号、出力される画素信号の伝送用配線や、グランド用の配線である。各配線３８ａ〜ｃは、金属製である。金属製の配線３８ａ〜ｃからなる配線層３８に光束が到達すると、光は反射、散乱を起こすが、透過はしない。したがって、ある絵素においてマイクロレンズ２０を通過した光束が配線層３８に到達した場合、その光束が直接、隣の絵素の受光素子２２Ｌ、２２Ｒに到達することを防止できる。なお、ここでは、マイクロレンズ２０から受光素子２２Ｌ、２２Ｒの受光面２００までは、有機材料やＳｉＯ２などの媒質で満たされており、空気層はない。

好ましい態様では、配線３８ａ〜ｃは、遮光性を有するアルミニウム製である。そうすることで、確実に光を遮蔽できる。ただし、配線３８ａ〜ｃが、たとえばある程度光が透過する銅製である場合には、配線層３８にある程度の高さＨ（Ｚ軸方向における基板５の表面からの距離）を持たせることで、それに応じた遮光性を補償できる。

本実施形態では、上記のような配線層３８の作用により、追加的な構造を撮像素子１０に設けなくても、各絵素において隣接する絵素の光束の混入を防止できる。これにより、立体撮像画像の解像度や立体感が低下することを回避できる。

図６は、撮像素子１０において配線層３８がＸ−Ｙ平面上に配設された状態を示す。図６では、マス目状に受光素子２２Ｒ、２２Ｌが配設された状態が示される。なお、受光素子の形状は、ここに示される例に限らず、任意の形状とすることができる。図６では、一対の受光素子２２Ｒ、２２Ｌからなるマス目が受光素子対２２をなし、一絵素に対応する。図６に示すように、配線層３８は、Ｘ軸方向（つまり撮像画像の左右方向）において受光素子対２２同士の間に設けられる。そうすることで、各絵素における左側、右側の光束１００Ｌ、１００Ｒが、隣接する他の絵素の右眼用、左眼用の受光素子２２Ｒ、２２Ｌにそれぞれ入射することを防止できる。配線層３８は、Ｘ軸方向において二以上の受光素子対２２ごと、または、ランダムな数の受光素子対２２ごとに設けてもよいが、好ましくは、図６に示すように、一の受光素子対２２ごとに設けられる。さらに、受光素子対２２における受光素子２２Ｒ、２２Ｌの間に配線層３８を配設することも可能である。そうすることで、立体撮像画像の解像度低下や立体感の低下を防止できる。

また、配線層３８は、Ｙ軸方向（つまり撮像画像の上下方向）において、隣接する絵素の受光素子２２Ｌ間、または２２Ｒ間に設けられる。そうすることで、各絵素において上下方向にはみ出した光が、上下に隣接する他の絵素の受光素子に入射することを防止できる。よって、上下に隣接する他の絵素の光が入射することで撮像画像の解像度が低下し、それにより立体撮像画像の解像度が低下するといった事態を防止することができる。配線層３８は、Ｙ軸方向において、二以上の受光素子２２Ｌまたは２２Ｒごと、または、ランダムな数の受光素子２２Ｌまたは２２Ｒごとに設けてもよいが、好ましくは、図６に示すように、一の受光素子２２Ｌまたは２２Ｒごとに設けられる。そうすることで、立体撮像画像の解像度低下をより効果的に防止できる。

なお、ここでは、受光素子が行方向と列方向に配列された例が示されるが、たとえばハニカム状に配設される場合も、本実施形態に含まれる。

ここで、図７、８を用いて、配線層３８の好適な高さについて説明する。図７、８には、図５に示した断面図における撮像素子１０の要部が、配線層３８を省略して示される。

まず図７を用いて、一の絵素における光が隣接する他の絵素の受光素子に入射するときの条件について説明する。なお、図７では、図５と共通の構成には図５と同じ符号が付してある。

撮像レンズ１１の射出瞳３４のもっとも光線高さの高いところを通り、マイクロレンズ２０の頂点に入射する光束７０の光軸３０に対する入射角をθ1、撮像レンズ１１のＦナンバーをＦｎとすると、次式（１）が成り立つ。

式（１）： tanθ1 = 1/(2・Fn)

次に、マイクロレンズ２０の曲率半径をｒ、マイクロレンズ２０から受光素子２２Ｌ、２２Ｒの受光面２００までの媒質の平均の屈折率をnavとすると、マイクロレンズ２０の焦点距離ｆＬは次式（２）で表される。

式（２）： fL = r/(nav-1)

ここで、受光素子２２Ｌ、２２Ｒの受光面２００はマイクロレンズ２０のおおよそ後側焦点に配置される。また、撮像レンズ１１は、たとえば射出瞳３４の位置が無限遠付近となるように構成される。よって、撮像レンズ１１の射出瞳３４の像は、マイクロレンズ２０を通して受光素子２２Ｌ、２２Ｒの受光面２００上に結像する。ここにおいて、マイクロレンズ２０への入射角がθ1の光束７０の、受光素子２２Ｌ、２２Ｒの受光面２００上における光軸３０からの距離ｈは、次式（３）で表される。

式（３）： h = fL・tanθ1

一方、マイクロレンズ２０のピッチをｐとすると、一のマイクロレンズ２０の光軸３０から隣接する絵素のマイクロレンズ２０との境界７２までの距離ｄは、次式（４）のとおりである。

式（４）： d = p/2

ここで、受光素子２２Ｌ、２２Ｒの開口率にもよるものの、ｈ＞ｄ（式（５））のとき、一の絵素のマイクロレンズ２０を通った光束７０が光軸３０から距離ｄより離れた位置に到達し、隣接する他の絵素の受光素子に入射することになる。

よって、式（１）〜（５）から、隣接する他の絵素の受光素子に入射するときの条件は、次式（６）で表される。

式（６）： r/[Fn・(nav-1)] > p
なお、ここでは、
撮像レンズ１１のＦナンバー：Fn
マイクロレンズ２０の曲率半径：ｒ
マイクロレンズ２９から受光素子２２Ｌ、２２Ｒの受光面２００までの媒質の平均屈折率：nav
マイクロレンズ２０のピッチ：p
である。

次に、図８を用いて、隣接する他の絵素へ光束７０が到達しないような配線層３８の高さについて説明する。図８では、図７と共通の構成には図７と同じ符号が付してある。

撮像レンズ１１の射出瞳３４において光軸３０から最も離れた位置を通った光束７０´がマイクロレンズ２０の頂点に入射角θ１´で入射したとき、その光束７０´が絵素の境界７２を横切るときの受光素子２２Ｌ、２２Ｒの受光面２００からの高さをｈｂとする。このとき、マイクロレンズ２０の頂点から、高さｈｂまでの媒質の平均屈折率をｎａｖ2とすると、次式（７）が成り立つ。

式（７）： [r/(nav2-1) -hb]・tanθ1’ = p/2

すると、この光線を遮るように配線層３８の高さを設定すれば、隣の絵素に光束が到達することはない。すなわち、配線層３８の高さは、式（７）から得られる次式（８）のｈｂ以上であればよい。

式（８）： hb = r/(nav2 - 1) - p・Fn

ここで、使用される最も明るい撮像レンズ１１のFnを上記式（８）に代入することで、必要な配線層３８の高さが導かれる。このようにして、上記のｈｂ以上の高さとなる配線層３８を配置することで、マイクロレンズ２０を通った光束が隣接する他の絵素の受光素子に到達することを防止することができる。

また、反対に、配線層３８の高さｈｂが所与であるとき、使用可能な最も明るい撮像レンズ１１のＦナンバーは、上記式（８）を次式（９）のように変形することで求められる。
式（９）： Fn = (1/p)・[r/(nav2-1)-hb]

＜第１実施例＞
第１実施例では、
・マイクロレンズ２０の曲率半径：ｒ = 0.01mm（球面）
・マイクロレンズ２９のピッチ：ｐ = 0.01mm
・マイクロレンズ２０から配線層３８上面高さまでの媒質の平均屈折率：nav2 = 1.5
・マイクロレンズから受光素子２２Ｌ、２２Ｒの受光面２００までの媒質の平均屈折率：nav = 1.5
・配線層３８の高さ：hb = 0.006mm
とする。ここで、配線層３８はアルミなどの金属製であり、光に対して実質的に不透明である。第１実施例では、式（９）から、F1.4までの明るさの撮像レンズ１１を使用しても、隣の絵素の受光素子に光束が到達しない。よって、F1.4という比較的明るい撮像レンズ１１を使用しても、立体撮像画像の解像度の低下や、色ずれなどの不具合発生を回避できる。

＜第２実施例＞
第２実施例では、
・マイクロレンズ２０の曲率半径：ｒ = 0.015mm（球面）
・マイクロレンズ２０のピッチ：ｐ = 0.01mm
・マイクロレンズ２０から配線層３８上面高さまでの媒質の平均屈折率：nav2 = 1.5
・マイクロレンズ２０から受光素子２２Ｌ、２２Ｒの受光面２００までの媒質の平均屈折率：nav = 1.5
・配線層３８の高さ：hb = 0.015mm
とする。ここで、配線層３８はアルミなどの金属製であり、光に対して実質的に不透明である。第２実施例では、式（９）から、F1.5までの明るさの撮像レンズ１１を使用しても、隣の絵素の受光素子に光束が到達しない。よって、F1.5という比較的明るい撮像レンズ１１を使用しても、立体撮像画像の解像度の低下や、色ずれなどの不具合発生を回避できる。

＜第３実施例＞
第３実施例では、
・マイクロレンズ２０の曲率半径：ｒ = 0.02mm（球面）
・マイクロレンズ２０のピッチ：ｐ = 0.01mm
・マイクロレンズ２０から配線層３８上面高さまでの媒質の平均屈折率：nav2 = 1.6
・マイクロレンズ２０から受光素子２２Ｌ、２２Ｒの受光面２００までの媒質の平均屈折率：nav = 1.6
・配線層３８の高さ：hb = 0.0033mm
とする。ここで、配線層３８はアルミなどの金属製であり、光に対して不透明である。第３実施例では、式(９)からF3までの明るさの撮像レンズ１１を使用しても、隣接する他の絵素の受光素子に当該絵素のマイクロレンズ２０を通過した光束が到達しない。よって、F3という比較的明るい撮像レンズ１１を使用しても、立体撮像画像の解像度の低下や、色ずれなどの不具合発生を回避できる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段等を１つに組み合わせたり、或いは分割したりすることが可能である。たとえば、上述の説明では、絵素ごとに球面状のマイクロレンズを有する撮像素子を例として示したが、代わりにシリンドリカルレンズを用いた構成であってもよい。

以上説明したとおり、本実施形態によれば、立体撮像画像の解像度や立体感の低下を防止することができる。

１０撮像素子
１１撮像レンズ
２０マイクロレンズ
２２受光素子対
３８配線層

Claims

二次元状に配列されたレンズごとに配置され被写体からの光を受光する受光素子対であって、一方の受光素子が、前記被写体の立体撮像画像を表示するための視差を有する撮像画像対のうちの一方を構成する画素信号を出力し、他方の側の受光素子が、前記撮像画像対のうちの他方を構成する画素信号を出力する、受光素子対と、
前記受光素子の入力信号または出力信号を伝送する、前記受光素子間に配設された配線とを有し、
前記レンズのそれぞれの曲率半径をｒ、
前記レンズの間隔をｐ、
前記レンズと前記配線の間の媒質の平均屈折率をｎａｖ２、
前記配線の、前記受光素子の受光面からの距離をｈｂとしたとき、
1.4 ≦ (1/p)・[r/(nav2-1)-hb] ≦ 3
であることを特徴とする撮像素子。
請求項１において、
前記配線は、前記受光素子対同士の間に配設される、
撮像素子。
請求項１または２に記載の撮像素子と、
請求項１または２に記載の前記撮像画像対に基づく立体撮像画像を表示する表示部とを有する撮像装置。