JP4976310B2

JP4976310B2 - 撮像装置

Info

Publication number: JP4976310B2
Application number: JP2007546402A
Authority: JP
Inventors: 一朗大山; 拓平澤; 道芳永島; 友邦飯島
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-11-22
Filing date: 2006-11-10
Publication date: 2012-07-18
Anticipated expiration: 2026-11-10
Also published as: US7999873B2; JPWO2007060847A1; CN101310539A; WO2007060847A1; US20090160997A1; CN101310539B

Description

本発明は、携帯機器、車載、医療、監視、ロボットなどの用途に用いられる、複数の光学系により画像を撮像する複眼方式の撮像装置に関する。

近年、撮像装置には、高画素化に加えて小型化に対する要求が強くなってきている。小型化するためには、光学レンズの大きさや焦点距離、撮像素子の大きさが障害となることが多い。

一般的に、光の波長が異なれば材料の屈折率が異なるため、焦点距離も異なる。従って、全波長の光の情報が含まれる被写体像を単レンズで撮像面に結像することはできない。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するため、光軸方向に複数の光学レンズが配置されている。従って、光学長が長くなり、撮像装置が厚くなる。

そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短い複数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている（たとえば、特許文献１参照）。複眼方式のカラー画像撮像装置では、青色の波長の光を結像させるレンズと、緑色の波長の光を結像させるレンズと、赤色の波長の光を結像させるレンズとが同一平面上に並べられ、それぞれのレンズの光軸上に撮像素子の撮像面が配置されている。各レンズが受け持つ光の波長域が狭く限定されるため、各レンズの焦点距離を同一にすることにより、複数の単レンズを用いて複数の被写体像を同一平面上に配置された複数の撮像面に結像することが可能となる。従って、撮像装置の厚みを大幅に小さく出来る。

図１６に複眼方式の撮像装置の一例の斜視図を示す。５００はレンズアレイであり、一体成型された４つのレンズ５０１ａ、５０１ｂ、５０１ｃ、５０１ｄを備える。レンズ５０１ａは、赤色の波長の光を結像させるレンズであり、赤色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ａに被写体像を結像させる。レンズ５０１ｂ，５０１ｄは、緑色の波長の光を結像させるレンズであり、緑色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｂ、５０２ｄに被写体像を結像させる。レンズ５０１ｃは、青色の波長の光を結像させるレンズであり、青色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｃに被写体像を結像させる。撮像素子は、各撮像領域５０２ａ〜５０２ｄに結像された被写体像の光強度を画像データに変換して出力する。これらの画像データを重ね合わせて合成することによりカラー画像を取得することができる。なお、レンズの個数は４個に限定する必要はない。

このように複眼方式の撮像装置によれば撮像装置を薄くすることができるが、ベイヤー配列されたカラーフィルタを備えた一般的な単眼方式の撮像装置に比べて解像度が劣るという問題がある。その理由を以下に説明する。

この単眼方式の撮像装置では、撮像素子の各画素が所定の色情報を取り出すことができるように、多数の画素の入射面にカラーフィルタがベイヤー配列で設けられている。即ち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させるカラーフィルタが市松模様に配置され、残りの画素に、赤色光を透過させるカラーフィルタおよび青色光を透過させるカラーフィルタが交互に配置されている。このようなカラーフィルタの配列は一般にベイヤー配列と呼ばれる。撮像素子の各画素からは、カラーフィルタを透過した光の波長域の色情報のみが得られ、カラーフィルタを透過しない光の波長域の色情報を得ることはできない。しかしながら、画像の局所領域では３色の画像情報間に相関性があることが知られており（たとえば、非特許文献１）、例えば赤や青の画像情報から緑の画像情報を推測することができる。この特性を利用して不足している色の画像情報の補完処理が行われる。したがって、撮像素子の有効画素数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、有効画素数が１００万画素である撮像素子を用いた場合、５０万個の画素が緑色の画像情報を検出し、２５万個の画素が青色の画像情報を検出し、２５万個の画素が赤色の画像情報を検出するが、上記補間処理により、赤、緑、青のいずれの色についても１００万画素の解像度の画像情報を得ることができる。

一方、複眼方式の撮像装置では、撮像素子の各色に対応する各撮像領域が赤、緑、青のいずれかの色の画像情報を取得するため、各撮像領域の画素数と同じ画素数の解像度を有するカラー画像が得られる。たとえば、赤、緑、青の各色に対応する撮像領域がいずれも２５万画素を有するためには、撮像素子は合計１００万画素を有している必要があるが、重ね合わせて得られるカラー画像の解像度は２５万画素となる。

画像の解像度を向上させる方法として、アクチュエータによりレンズと被写体との相対的位置を時系列的にずらすことによって、被写体像と撮像素子の画素との相対的位置関係が相互にずれた複数の画像を取得し、それらを合成することにより、高解像度画像を得る「画素ずらし」と呼ばれる技術がある（たとえば、特許文献２）。この画素ずらし技術におけるずらし量は、ずらす方向と取得する画像の数により最適な値が決まる。たとえば、２つの画像を合成する場合は、被写体像と画素との相対的位置関係が画素の配置ピッチ（以下、「画素ピッチ」という）の半分だけ２つの画像間でずれていると、もっとも高解像度の画像を得ることができる。画素ずらし技術は、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像が得られれば利用可能であり、複眼方式の撮影装置にも適用可能である。但し、レンズと被写体との相対的位置を時系列的にずらすことにより行う画素ずらし技術は、被写体像が静止している場合には有効であるが、静止していない場合はレンズと被写体との相対的位置を時系列的にずらすことに起因して撮影タイミングがずれるため、高解像度画像を得ることは難しい。

また、例えば特許文献３には、複数のレンズで複数の被写体像を複数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置において、所定距離にある被写体の被写体像がレンズの光軸を結ぶ方向に所定量ずれて結像された画素ずらしが実現されるように、撮像素子の画素に対して複数のレンズの各光軸を位置決めをすることにより、高解像度の合成画像を取得する方法が提案されている。この方式は、被写体と撮像装置との距離が一定であれば、被写体像が静止していなくても高解像度画像を得ることが可能である。
特開２００２−２０４４６２号公報特開平１０−３０４２３５号公報特開２００２−２０９２２６号公報小寺宏曄、他２名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和６３年度画像電子学会全国大会予稿２０、ｐ．８３−８６（１９８８）

しかしながら、特許文献３に記載の方法には２つの課題がある。

第１に、被写体と撮像装置との距離が所定値でない場合、もしくは温度変化等により複数のレンズの光軸間隔が変わった場合に、画素ずらしのずれ量が変化するため、高解像度画像を得ることはできないという課題がある。以下、この第１の課題について詳細に説明する。

画素ずらし技術により確実に高解像度画像を得るためには、合成される複数の画像間において、被写体像と画素との相対的位置関係が常にずれている必要がある。図１７Ａ及び図１７Ｂは、複眼方式の撮像装置において、被写体と、光軸が異なる２つのレンズと、この２つのレンズで結像された２つの被写体像との位置関係を示した図であり、図１７Ａは２つのレンズの光軸を含む平面における断面図、図１７Ｂは、撮像素子の撮像面を光軸と平行な方向から見た平面図である。６００ａ、６００ｂはレンズ６０１ａ、６０１ｂの光軸であり、６０２ａ、６０２ｂは光軸６００ａ、６００ｂが撮像素子の撮像領域６０３と交わる位置である。６０５ａ、６０５ｂは、光軸６００ａ上にある被写体６０４の、レンズ６０１ａ、６０１ｂによって結像された被写体像である。複眼方式の撮像装置においては複数のレンズの光軸が互いに異なるため、撮像装置から被写体までの距離に応じて、撮像領域６０３上での被写体像６０５ｂの位置は、レンズの光軸６００ａ、６００ｂを結ぶ方向（図中の一点鎖線６１０の方向）に移動する。この現象は「視差」と呼ばれ、レンズ光軸６００ｂと撮像領域６０３とが交わる位置６０２ｂから被写体像６０５ｂまでのずれ量Ｓは、レンズ６０１ａから被写体６０４までの距離（以下、「被写体距離」という）をＡ、レンズ６０１ａ，６０１ｂの光軸６００ａ，６００ｂ間の距離をｄ、レンズ６０１ａ，６０１ｂから撮像領域６０３までの距離をｆとすると、（数１）で表される。

このように、レンズの光軸６００ａ、６００ｂを結ぶ一点鎖線６１０の方向における被写体像６０５ｂと撮像領域６０３の画素との相対的位置関係は、被写体距離Ａによって変化する。したがって、特許文献３のように、２つのレンズの光軸を結ぶ方向における被写体像のずれ量が所定値となるように予め設定した場合には、レンズから被写体までの距離Ａによってずれ量Ｓが変わるため、被写体距離によっては常に高解像度の合成画像を得られるとは限らない。また、温度変化によりレンズの光軸間の距離ｄが変化した場合も、同様にずれ量Ｓが変化するため、常に高解像度の合成画像を得られるとは限らない。

第２に、画素ずらしのずれ量が所定量になるように光学系を設定したとしても、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、図１８に示すように、異なる撮像領域間で被写体像のずれ量が画素ピッチの０．５倍（以下「０．５画素」という）とならない場合が多いという課題がある。図１８において、５０２ａは赤色光を受光する撮像領域、５０２ｂは緑色光を受光する撮像領域、５０２ｃは青色光を受光する撮像領域、５０２ｄは緑色光を受光する撮像領域、７０２ａ、７０２ｂ、７０２ｃ、７０２ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄを構成する画素、７０１ａ、７０１ｂ、７０１ｃ、７０１ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄにおける被写体像の位置である。水平方向に並んだ撮像領域５０２ｃと撮像領域５０２ｂとの間のずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０画素であることが理想的であるが、図１８では水平方向に０．６画素、垂直方向に０．１画素となっている。また、垂直方向に並んだ撮像領域５０２ａと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．１画素、垂直方向に０．４画素となっている。また、撮像領域５０２ｄと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．５画素、垂直方向に０．５画素となっている。複数の撮像領域の画素と複数の被写体像との位置関係が図１８の場合において、複数の撮像領域から得た複数の画像を画素ずらし技術を用いて合成した場合にどのような画像が得られるかを図１９Ａ〜図１９Ｄを用いて説明する。

図１９Ａは、白地に垂直方向に延びた３本の黒線（被写体）を撮像した場合において、撮像領域５０２ｂに結像された被写体像を示した図である。図１９Ｂは、複数の撮像領域の画素と複数の被写体像とが図１８の位置関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｃは、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｄは、図１８の撮像領域５０２ｂから得た画像を示した図である。図１９Ａ〜図１９Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。複数の撮像領域に対する複数の被写体像のずれ量が理想値から外れた場合に得られる図１９Ｂに示す合成画像は、複数の画像を合成する前の図１９Ｄに示す画像に比べて３本の黒線の識別は容易であり解像度は向上しているが、複数の撮像領域に対する複数の被写体像のずれ量が理想値である場合に得られる図１９Ｃに示す合成画像に比べて色むらが目立っている。

本発明は、上記の従来の課題を解決し、被写体距離によらず常に高解像度且つ高画質の画像を得ることができる薄型の複眼方式の撮像装置を提供することを目的とする。

本発明の撮像装置は、同一平面上に配置された複数のレンズと、前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有する。前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一である。

前記複数の撮像領域のうちの所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記垂直ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記水平ラインの方向に互いに所定量ずれている。

更に、前記所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記水平ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記垂直ラインの方向に互いに所定量ずれている。

本発明によれば、薄型で、高解像度且つ高画質の画像を得ることができる複眼方式の撮像装置を実現することができる。

本発明の撮像装置では、前記複数の撮像領域のうちの所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記垂直ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記水平ラインの方向に互いに所定量ずれている。これにより、垂直ライン方向に延びる細線画像がより精細に見えるなど、水平ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。

また、本発明の撮像装置では、前記所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記水平ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記垂直ラインの方向に互いに所定量ずれている。これにより、水平ライン方向に延びる細線画像がより精細に見えるなど、垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。

本発明の上記撮像装置において、前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、水平ライン方向もしくは垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。なお、本発明において、「前記所定量のずれ方向」を「画素ずらし方向」と呼ぶ。

本発明の上記撮像装置において、前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられていることが好ましい。これにより、薄型でカラー画像の撮影が可能な撮像装置を実現できる。

この場合において、前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有することが好ましい。これにより、薄型でカラー画像の撮影が可能で、更に高精度な被写体像の合成が可能となる。

本発明の上記撮像装置は、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有することが好ましい。そして、前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。

この場合、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。

あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。

また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。

あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。

また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。

あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。

また、本発明の撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有することが好ましい。そして、前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。

この場合において、前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に最適な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。

あるいは、前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。

前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。

本発明の上記撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合において、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段とを有することが好ましい。これにより、前記画像合成手段から出力された合成画像データの色むらを低減することが可能となる。

以下に、本発明の好適な実施の形態を、図面を用いて詳細に説明する。

本実施の形態に係る撮像装置は、ほぼ同一平面上に配置された４つのレンズと、４つのレンズに対応して配置された４つのカラーフィルタと、４つのレンズによる４つの被写体像をそれぞれ受光する４つの撮像領域とを備え、カラー画像及び／又は白黒画像を出力する薄型の複眼方式の撮像装置である。４つのレンズのうち、３つは互いに異なる光学特性を有し、残りの１つはこれら３つのうちのいずれか１つと同一の光学特性を有している。４つの撮像領域のそれぞれは、垂直方向及び水平方向に碁盤目状に配置された多数の画素を有している。４つの撮像領域のそれぞれの画素が配置された垂直ライン方向及び水平ライン方向が４つの撮像領域間で互いに一致している。撮像領域とその撮像領域上に結像される被写体像との相対的位置関係は、撮像領域間において所定方向に約０．５画素ずれている。本実施の形態の撮像装置によれば、被写体距離や温度変化によらず常に高解像度で、色むらが少なく、濃淡が滑らかに変化した画像を得ることができる。また、被写体に含まれる曲線を滑らかな曲線として表現でき、局所領域での各色の画像情報間の相関性を利用した画像合成の影響により生じる色むらを低減することができる。

図１に本発明の一実施の形態に係る撮像装置の概略構成を示す。また、図２は図１のII−II線に沿った撮像部１０１の断面図である。

まず、本実施の形態の撮像装置が、レンズ間の視差が補正されたカラー画像を出力する原理を説明する。

図１において、１０１は被写体側から見た撮像部である。被写体からの光は、ほぼ同一平面上に配置された４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに入射し、４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（図２参照。但し、カラーフィルタ１１３ｂ，１１３ｄは図示せず。）を介して撮像素子１０３の撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ上に被写体像をそれぞれ結像させる。撮像素子１０３としては、例えば２００万画素などの高画素数の撮像素子が使用されるが、図面を簡単化するため図１では８２５画素の画素数の少ない撮像素子を示している。図１において、撮像素子１０３内に水平方向（Ｘ軸方向）及び垂直方向（Ｙ軸方向）に格子状に並んでいる各正方形は画素を表す。画素の配列方向のうち、水平方向（Ｘ軸方向）を水平ライン方向、垂直方向（Ｙ軸方向）を垂直ライン方向と呼ぶ。各正方形（各画素）内の小さな正方形は受光部を表す。

図２に示すように、撮像素子１０３の被写体側にはカラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（カラーフィルタ１１３ｂ，１１３ｄは図示せず）が配置される。単レンズ１０２ａ、１０２ｄは、緑色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｂは赤色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｃは青色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されている。撮像素子１０３の撮像面の上部には、単レンズ１０２ａ，１０２ｄに対応する撮像領域１０４ａ，１０４ｄに緑色光を透過させるカラーフィルタ１１３ａ，１１３ｄが配置されており、単レンズ１０２ｂに対応する撮像領域１０４ｂに赤色光を透過させるカラーフィルタ１１３ｂが配置されており、単レンズ１０２ｃに対応する撮像領域１０４ｃに青色光を透過させるカラーフィルタ１１３ｃが配置されている。これにより、撮像領域１０４ａ，１０４ｄには緑の光成分による被写体像が結像され、撮像領域１０４ｂには赤の光成分による被写体像が結像され、撮像領域１０４ｃには青の光成分による被写体像が結像される。撮像領域１０４ａ，１０４ｂ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像は、被写体距離をＡ、レンズの光軸間の距離をｄ、焦点距離をｆとすると、（数１）で算出される視差量Ｓだけ、それぞれ光軸１０５ａ，１０５ｂ，１０５ｃ，１０５ｄに対してずれて結像される。

ＣＣＤやＣＭＯＳなどの固体撮像素子で構成される撮像素子１０３は、撮像素子駆動回路１１２により露光時間や信号の取込み及び転送のタイミングなどが制御されている。撮像部１０１から出力される各画素での受光量のアナログ信号値は、Ａ／Ｄ変換器１１１によりディジタル信号に変換され、このディジタル信号は画像処理部１０６に入力される。画像処理部１０６に入力された撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄのディジタル化された画像データは、ホワイトバランスやシェーディング補正などの処理をされる。

図３に、単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ，１０４ｄに結像される被写体像１１４を示す。被写体像１１４は、撮像領域１０４ａ上では光軸１０５ａ上に結像され、撮像領域１０４ｄ上では光軸１０５ａと光軸１０５ｄとを結ぶ直線１１５上であって、光軸１０５ｄから距離Ｓｘｙだけ離れた位置に結像される。

光軸１０５ａと光軸１０５ｄとのＸ軸方向における距離をｄｘとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＸ軸方向の視差Ｓｘは（数２）で表される。

光軸１０５ａと光軸１０５ｄとのＹ軸方向における距離をｄｙとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＹ軸方向の視差Ｓｙは（数３）で表される。

したがって、距離Ｓｘｙは（数４）で表される。

画像合成部１０７は、同色（緑）の被写体像が形成される撮像領域１０４ａ及び撮像領域１０４ｄから出力される２つの画像データを用いて被写体像の相関性を求める演算を行い視差Ｓｘ及びＳｙを算出する。画素は、撮像素子１０３上の整数座標にしか存在しないが、線形補間などの補間演算を行うことにより、視差Ｓｘ、Ｓｙの小数点以下の値をも求めることができる。

光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離とはほぼ等しいため、算出した視差Ｓｘを、撮像領域１０４ａと撮像領域１０４ｃとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離との誤差は、無限遠においた被写体（例えば黒地に白の点光源）の撮像領域１０４ａ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像の位置を比較するなどして補償する。

同様に、光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向の距離と、光軸１０５ａ及び光軸１０５ｂ間の距離とはほぼ等しいため、算出したＳｙを、撮像領域１０４ａと撮像領域１０４ｂとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向距離と、光軸１０５ａ及び光軸１０５ｂ間の距離との誤差は、上述したＸ軸方向距離の誤差の補償方法と同様の方法により補償する。

画像合成部１０７は、緑の光成分よる被写体像が結像される撮像領域１０４ａからの画像に対する、赤の光成分による被写体像が結像される撮像領域１０４ｂからの画像、及び青の光成分による被写体像が結像される撮像領域１０４ｃからの画像のずれを、算出した視差Ｓｘ及びＳｙを用いて補正し、次いで、これら３つの画像を合成する。かくして、被写体像のカラー画像を得ることができる。

次に図１の撮像装置が被写体距離によらず常に高解像度な画像を出力する原理について説明する。

図４に単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ〜１０４ｄに結像される被写体像１１４ａ〜１１４ｄの位置を示す。

撮像領域１０４ａでは被写体像１１４ａは光軸１０５ａ上に存在する。

撮像領域１０４ｃでの光軸１０５ｃの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸の負方向に約０．５画素ずれている。被写体像１１４ｃは、光軸１０５ｃからＸ軸の負方向に（数２）で求めた視差Ｓｘ離れた位置に結像される。

撮像領域１０４ｂでの光軸１０５ｂの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸の負方向に約０．５画素ずれている。被写体像１１４ｂは、光軸１０５ｂからＹ軸の負方向に（数３）で求めた視差Ｓｙ離れた位置に結像される。

撮像素子１０３としては、図４では説明を容易にするため実際より少ない画素数の撮像素子を示しているが、実際には２００万画素などの高画素数の撮像素子が用いられる。従って、光軸１０５ａと光軸１０５ｃとのＹ軸方向のずれ量は非常に小さいため、撮像領域１０４ｃでの被写体像１１４ｃのＹ軸方向における視差は無視できる。同様に、光軸１０５ａと光軸１０５ｂとのＸ軸方向のずれ量も非常に小さいため、撮像領域１０４ｂでの被写体像１１４ｂのＸ軸方向における視差は無視できる。

したがって、被写体距離Ａ０が変化すると、被写体像１１４ｃは、撮像領域１０４ｃにおいてＸ軸方向に移動する。この時、被写体像１１４ｃは、光軸１０５ａに対してＹ軸方向に常に約０．５画素ずれた状態を保ってＸ軸方向に移動する。

また、被写体距離Ａ０が変化すると、被写体像１１４ｂは、撮像領域１０４ｂにおいてＹ軸方向に移動する。この時、被写体像１１４ｂは、光軸１０５ａに対してＸ軸方向に常に約０．５画素ずれた状態を保ってＹ軸方向に移動する。

つまり、撮像領域１０４ｃ上の被写体像１１４ｃは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＹ軸の負方向に約０．５画素ずれており、撮像領域１０４ｂ上の被写体像１１４ｂは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＸ軸の負方向に約０．５画素ずれている。

視差による画像のずれの補正は算出した視差Ｓｘ，Ｓｙを用いて以下のようにして行う。図５に示すように、撮像領域１０４ｃをＸ軸方向にＳｘだけ補正する。また、撮像領域１０４ｂをＹ軸方向にＳｙだけ補正する。更に、撮像領域１０４ｄをＸ軸方向にＳｘ、Ｙ軸方向にＳｙだけそれぞれ補正する。なお、各撮像領域の座標値は整数値のみであるので、補正量Ｓｘ、Ｓｙが小数点以下の値を含む時は四捨五入などの処理を行う。

各撮像領域１０４ａ〜１０４ｄはｍ×ｎ（縦×横）画素を有し、撮像領域１０４ａの各画素の座標をａ（ｘ、ｙ）、撮像領域１０４ｂの各画素の座標をｂ（ｘ、ｙ）、撮像領域１０４ｃの各画素の座標をｃ（ｘ、ｙ）、撮像領域１０４ｄの各画素の座標をｄ（ｘ、ｙ）、但し、ｘ＝１、２、・・・、ｍ、ｙ＝１、２、・・・、ｎとする。撮像領域１０４ｃの画素ｃ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｙ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｂの画素ｂ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が受光する被写体像の、撮像領域１０４ａの画素ａ（ｘ、ｙ）が受光する被写体像に対するＸ軸方向及びＹ軸方向におけるずれ量は、被写体距離の変化に応じて変化する。

したがって、Ｘ軸方向及びＹ軸方向にそれぞれ約０．５画素ずつずれたｍ×ｎの画素数を有する画像から、２・ｍ×２・ｎ（縦×横）の画素数を有する高解像度の合成画像ｈを作成するためには、図６Ａに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値を代入する（ｘ＝１，２，・・・，ｍ、ｙ＝１，２，・・・，ｎ）。ここで、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値ではなく、その近傍の画素の輝度値を用いて他の補間方法により算出した値を代入してもよい。

なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ，ｙ）が、撮像領域１０４ａの画素ａ（ｘ，ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、図６Ｂに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）には画素ｄ（ｘ，ｙ）の輝度値を代入する。

以上のようにして、ｍ×ｎの画素数を有し、且つ互いにずれた撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄから得た４つの画像から、２・ｍ×２・ｎの画素数を有する合成画像ｈを作成することができる。つまり、撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄからそれぞれ得られる図７Ａに示すｍ×ｎの画素数を有するの４つの画像を合成することにより、図７Ｂに示す２・ｍ×２・ｎの画素数を有する高解像度の画像を得ることができる。

被写体が白黒の場合は、上記の方法で高解像度の合成画像を作成することができる。しかし、被写体がカラーの場合は、赤、緑、青の３つの合成画像を作成する。赤の色情報を持つ合成画像をｈｒ、緑の色情報を持つ合成画像をｈｇ、青の合成画像をｈｂとする。画像の局所領域では赤、緑、青の各画像情報間に相関性があるという特性を利用して、合成画像ｈｒ，ｈｇ，ｈｂを作成する。赤及び緑間の画像情報の相関を表す行列ｃ＿ｒｇ、青及び緑間の画像情報の相関を表す行列ｃ＿ｂｇ、青及び赤間の画像情報の相関を表す行列ｃ＿ｂｒを（数５）で算出する。

次に（数５）で求めた各行列にメディアンフィルタを作用させてノイズを除去し、（数６）の行列ｍｅｄｉａｎ＿ｃ＿ｒｇ、ｍｅｄｉａｎ＿ｃ＿ｂｇ、ｍｅｄｉａｎ＿ｃ＿ｂｒを算出する。

次に（数６）で求めた各行列に重み係数を用いたローパスフィルタを作用させ、（数７）のＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを算出する。

この局所領域での各色の相関を表すＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを用いて、赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の合成画像ｈｂを作成する。

赤の色情報を持つ合成画像ｈｒは（数８）を用いて作成する。

緑の色情報を持つ合成画像ｈｇは（数９）を用いて作成する。

青の色情報を持つ合成画像ｈｂは（数１０）を用いて作成する。

算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂをカラー合成することにより、２・ｍ×２・ｎの画素数を有する高解像度なカラー合成画像ｈ＿ｒｇｂを得る。なお、撮像素子１０３に結像される被写体像がレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転する。

次に、図１の撮像装置において、４つのレンズから投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ない画像を出力できる原理について説明する。

図１の撮像領域１０４ａ〜１０４ｄにおける光軸１０５ａ〜１０５ｄのずれ量は、レンズ１０２ａ〜１０２ｄの成型誤差や実装の際の実装誤差などに起因して、各画素ずらし方向において理想的なずれ量である０．５画素でない場合が多い。図９に撮像領域１０４ａ〜１０４ｃにおける被写体像１１４ａ〜１１４ｃ及び光軸１０５ａ〜１０５ｃとこれらの近傍の画素を拡大して示す。図９は視差補正処理後の被写体像１１４ａ〜１１４ｃと光軸１０５ａ〜１０５ｃとの関係を示している。

撮像領域１０４ｃの被写体像１１４ｃは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．６画素ずれており、Ｘ軸の負方向に０．１画素ずれている。被写体距離が変化すると、被写体像１１４ｃは、被写体像１１４ａに対するＹ軸方向のずれ量をほぼ０．６画素に保ったままＸ軸方向に移動する。この時、被写体像１１４ｃの被写体像１１４ａに対するＹ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｃの被写体像１１４ｃと撮像領域１０４ａの被写体像１１４ａとのＸ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。

撮像領域１０４ｂの被写体像１１４ｂは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．１画素ずれており、Ｘ軸の負方向に０．６画素ずれている。被写体距離が変化すると、被写体像１１４ｂは、被写体像１１４ａに対するＸ軸方向のずれ量をほぼ０．６画素に保ったままＹ軸方向に移動する。この時、被写体像１１４ｂの被写体像１１４ａに対するＸ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｂの被写体像１１４ｂと撮像領域１０４ａの被写体像１１４ａとのＹ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。

各被写体像のずれ量が上記の場合において、垂直方向に延びたエッジを持つ被写体を撮影した時の出力画像について述べる。撮像素子１０３上に結像された垂直方向に延びた三本の太線からなる被写体像を図１０Ａに、撮像領域１０４ａに取り込まれた画像の画素配列をＹ軸方向に反転して得られた画像を図１０Ｂに、高解像度のカラー合成画像ｈ＿ｒｇｂを図１０Ｃに示す。図１０Ａ〜図１０Ｃでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。

図１０Ｃの画像は、図１０Ｂの画像に比べて三本の太線からなる被写体像の識別がより容易であり、より高解像度の画像となっている。しかし、撮像領域１０４ｃ上の被写体像１１４ｃの撮像領域１０４ａ上の被写体像１１４ａに対するＸ軸方向及びＹ軸方向のずれ量が、理想的なずれ量であるＸ軸方向に０画素、Ｙ軸方向に０．５画素から外れていることに起因して、図１０Ｃの画像には色むらが発生している。そこで、被写体像の局所領域でのエッジの方向を検出し、エッジの方向に応じて赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の色情報を持つ合成画像ｈｂの合成方法を以下のように変更する。

（数１１）は撮像領域１０４ａの各座標でのＹ軸方向に延びるエッジの強さ、つまりＸ軸方向の平均化された微分成分Ｄｙ（ｘ、ｙ）を算出する式である。

（数１２）は撮像領域１０４ａの各座標でのＸ軸方向に延びるエッジの強さ、つまりＹ軸方向の平均化された微分成分Ｄｘ（ｘ、ｙ）を算出する式である。

（数１３）は撮像領域１０４ａの各座標での右上がり斜め方向に延びるエッジの強さ、つまり左上がり斜め方向の平均化された微分成分Ｄｓｒ（ｘ、ｙ）を算出する式である。

（数１４）は撮像領域１０４ａの各座標での左上がり斜め方向に延びるエッジの強さ、つまり右上がり斜め方向の平均化された微分成分Ｄｓｌ（ｘ、ｙ）を算出する式である。

算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１５）を用いて作成する。

緑の色情報を持つ合成画像ｈｇは（数１６）を用いて作成する。

青の色情報を持つ合成画像ｈｂは（数１７）を用いて作成する。

Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１８）を用いて作成する。

緑の色情報を持つ合成画像ｈｇは（数１９）を用いて作成する。

青の色情報を持つ合成画像ｈｂは（数２０）を用いて作成する。

Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２１）を用いて作成する。

緑の色情報を持つ合成画像ｈｇは（数２２）を用いて作成する。

青の色情報を持つ合成画像ｈｂは（数２３）を用いて作成する。

Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２４）を用いて作成する。

緑の色情報を持つ合成画像ｈｇは（数２５）を用いて作成する。

青の色情報を持つ合成画像ｈｂは（数２６）を用いて作成する。

図１０Ａの被写体像はＹ軸方向に延びるエッジであるため、（数１８）から（数２０）を用いて合成画像ｈｒ、ｈｇ、ｈｂが作成される。算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを合成することにより、図１０Ｄに示すように、図１０Ｃの画像に発生していた色むらが無くなり、２・ｍ×２・ｎの画素数を有する高解像度の色むらの無いカラー画像ｈ＿ｒｇｂを得る。図１０Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。

図１０Ｄのように色むらの低減された画像が得られる理由は以下の通りである。図１０ＡのようにＹ軸方向に延びたエッジを有する局所領域では、Ｙ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｙ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１８）から（数２０）に示すように、Ｙ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｙ軸方向に延びたエッジ画像の直線性が再現され、図１０Ｄのように色むらのない画像が得られる。

また、図示していないが、Ｘ軸方向に延びたエッジを有する局所領域では、Ｘ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｘ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１５）から（数１７）に示すように、Ｘ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｘ軸方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。

また、図示していないが、右上がり斜め方向に延びたエッジを有する局所領域では、右上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、右上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２１）から（数２３）に示すように、右上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、右上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。

また、図示していないが、左上がり斜め方向に延びたエッジを有する局所領域では、左上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、左上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２４）から（数２６）に示すように、左上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、左上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。

なお、撮像素子１０３に結像される被写体像はレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転している。上記の右上がり斜め方向、左上がり斜め方向は反転後の画像における方向を意味する。

以上のような本実施の形態の複眼方式の撮像装置によれば、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。

なお、例えば図１１に示すように、被写体の濃淡が変化する場合は、（数１５）から（数２６）を、補間式を含む以下の（数２７）から（数３８）に変更することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で、色むらが少ないカラー画像を出力することができ、且つ、濃淡の変化を滑らかに表現することができる。図１１では、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。

合成画像ｈｒ、ｈｇ、ｈｂの画素の輝度値として、（数１５）から（数２６）では、ある画素に、この画素に対してエッジ方向において一方の隣に位置する画素の輝度値を代入したが、（数２７）から（数３８）では、この画素に対してエッジ方向において両隣に位置する２つの画素の輝度値を線形補間して得られた値を代入している。なお、補間方法としては、線形補間に限られず、両隣に位置する２つの画素の輝度値を用いた３次補間などを用いても良い。

算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数２７）、（数２８）、（数２９）を用いて作成する。

Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３０）、（数３１）、（数３２）を用いて作成する。

Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３３）、（数３４）、（数３５）を用いて作成する。

Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３６）、（数３７）、（数３８）を用いて作成する。

なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、（数２７）から（数３２）に代えて（数３９）から（数４４）を用いることが好ましい。これにより、特定の被写体距離では緑の色再現性を向上させることができるので、より高解像度の輝度情報を得ることが可能となり、視覚的により高解像度の画像を得ることが可能となる。

算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３９）、（数４０）、（数４１）を用いて作成する。

Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数４２）、（数４３）、（数４４）を用いて作成する。

被写体に曲線が含まれる場合は、合成されたカラー画像ｈ＿ｒｇｂでその曲線が滑らかでない場合がある。また、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により色むらが生じる場合がある。このような場合は、合成画像ｈｒ、ｈｇ、ｈｂに（数４５）に示すような重み付き平滑フィルタ及び（数４６）に示すようなエッジ強調フィルタを作用させて得られる合成画像ＥＤＧＥ＿ｈｒ、ＥＤＧＥ＿ｈｇ、ＥＤＧＥ＿ｈｂからカラー画像ｈ＿ｒｇｂを合成することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。

画像の端では、重み付き平滑フィルタの計算などができない場合があるが、その場合はそのフィルタを作用させないなど適切な処理をする。

被写体距離が無限遠と実質的に同等であり、且つ、図１２に示すように、撮像領域１０４ｃでの光軸１０５ｃの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸方向に約０．５画素ずれており、撮像領域１０４ｂでの光軸１０５ｂの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。

また、視差により、撮像領域１０４ｃにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＸ軸方向に約０．５画素ずれており、且つ、撮像領域１０４ｂにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。

図１の４つのレンズ１０２ａ〜１０２ｄがレンズアレイ上に一体成型されている場合、温度変化によりレンズの光軸１０５ａ〜１０５ｄの位置が移動する。しかしながら、レンズアレイは等方的に膨張・収縮するため、レンズの光軸１０５ａ〜１０５ｄの位置の移動方向は、被写体距離が変化した場合に視差により被写体像が移動する方向と同じである。従って、温度変化による影響は視差の補正の処理に吸収される。よって、本実施の形態によれば、温度が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。

上記の実施の形態は一例であり、本発明はこれに限定されない。例えば、異なる色の画像情報間の相関性を利用した画像合成方法や、被写体のエッジ方向に応じた画像の合成方法の選択、重み付き平滑フィルタやエッジ強調フィルタにおける重み係数の値などは、上記の例に限定されず、同様の考え方に基づく別の方法や値を用いても良く、その場合も上記と同様の効果を得ることができる。

図１の撮像装置において、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合、演算時間やメモリ量を削減する目的でエッジ方向検出部１０８を除去し、（数８）から（数１０）を用いて赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを算出しても良い。この場合、合成画像ｈｒ、ｈｇ、ｈｂに図１の平滑フィルタ部１０９及びエッジ強調部１１０を作用させることにより、４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れていることに起因する色むらを低減することができ、被写体距離が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらも軽減することができる。

本実施の形態の撮像装置において、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄを除去しても良い。この場合、（数５）を下記（数４７）に変更することにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離や温度変化によらず常に高解像度で色むらが無い白黒画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができる、白黒映像を出力する薄型の撮像装置を実現できる。

本実施の形態では、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれていれば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｃは光軸１０５ａに対してＹ軸方向に２．５画素ずれているが、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているので、上記の条件を満足している。

撮像領域１０４ａ〜１０４ｄは、図１及び図１３Ａに示すように共通する１つの撮像素子１０３上に形成されている必要はなく、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。

但し、上記の条件を満足している場合であっても、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれに起因して発生するＹ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。ここで、Ａ１は被写体距離の下限値、ｆは単レンズ１０２ａ〜１０２ｄと撮像素子１０３との間の距離（合焦点距離）、ｐは撮像素子１０３の画素ピッチである。

また、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれていればば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｂは光軸１０５ａに対してＸ軸方向に１．５画素ずれているが、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているので、上記の条件を満足している。

撮像領域１０４ａ〜１０４ｄが、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。

但し、上記の条件を満足している場合であっても、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれに起因して発生するＸ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０ｂの光軸１０５ａに対するＸ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。

（数４８）を満たしていれば、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に０．５画素ずれているとき、撮像領域１０４ｃでの被写体像と撮像領域１０４ａでの被写体像とのＹ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。

また、（数４８）を満たしていれば、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に０．５画素ずれているとき、撮像領域１０４ｂでの被写体像と撮像領域１０４ａでの被写体像とのＸ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。

つまり、（数４８）を満たしていれば、被写体距離が変化しても、常に高解像度で、色むらが少ないカラー及び白黒画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。

本発明において、レンズ１０２ａ〜１０２ｄは同一平面状に形成されることが望ましいが、成型誤差等により厳密に同一平面状に形成されていなくても、本発明の撮像装置を実現可能であることは言うまでも無い。

本発明では、撮像領域間での被写体像の位置のずれ量が約０．５画素であると、画像合成により高解像度画像を得ることができる。ここで、「約０．５画素」とは０．２５画素以上０．７５画素以下を意味する。これを図１４Ａ〜図１４Ｃを用いて説明する。

撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向に０．５画素ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素と撮像領域１０４ａ上の被写体像を構成する画素とのＸ軸方向の１ライン上での位置関係を図１４Ａに示す。内側が白の円は撮像領域１０４ａ上の被写体像を構成する画素２０１、内側にハッチングを施した円は撮像領域１０４ｂ上の被写体像を構成する画素２０２である。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は０．５ｐである。したがって、合成画像の見かけ上のＸ軸方向画素ピッチは０．５ｐとなり、サンプリング周波数が見かけ上２倍になりＸ軸方向の高解像度化が可能となる。

次に、図１４Ｂ及び図１４Ｃに、撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向にα画素（０．５＜α＜１）ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素２０２と撮像領域１０４ａ上の被写体像を構成する画素２０１とのＸ軸方向の１ライン上での位置関係を示す。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は、長い方でα・ｐ、短い方で（１−α）・ｐである。この場合、長い方の画素ピッチが見かけ上α・ｐとなることから、画素ピッチがｐである画像のサンプリング周波数をｆｓとすると、図１４Ｂ及び図１４Ｃの画像の見かけ上のサンプリング周波数はｆｓ／αとなる。サンプリング周波数がｆｓである画像を肉眼にて認識できる程度に高解像度化するためには、サンプリング周波数を４／３・ｆｓ以上に向上させることが好ましいことを、本発明者らは実験により確認している。従って、α＝０．７５である必要がある。即ち、図１４Ｂ及び図１４Ｃにおいて、画素２０１と画素２０２の間隔は、長い方で０．７５ｐ、短い方で０．２５ｐである必要がある。

上記の理由により、高解像度化された合成画像を得るためには、撮像領域間での被写体像の位置のずれ量は０．２５画素以上０．７５画素以下であることが好ましく、本発明ではこの範囲を「約０．５画素」と表現している。上記の説明は、Ｘ軸方向における高解像度化を説明したが、Ｙ軸方向についても同様に適用されることはいうまでもない。

本発明の撮像装置の量産時において、撮像領域１０４ｃ上の被写体像を撮像領域１０４ａ上の被写体像に対してＹ軸方向に約０．５画素ずらし、且つ、撮像領域１０４ｂ上の被写体像を撮像領域１０４ａ上の被写体像に対してＸ軸方向に約０．５画素ずらすためには、例えば、レンズ１０２ａ〜１０２ｄを精密に成型加工したり、あるいは、レンズ１０２ａ〜１０２ｄ及び撮像素子１０３の相対的位置を精密に位置決めしたりすることで実現できる。また、レンズ１０２ａ〜１０２ｄと撮像素子１０３とのレンズの光軸１０５ａ〜１０５ｄと平行な軸回りの相対的回転位置を調整することによっても実現できる。

図１の画像処理部１０６の処理はプログラミング言語やＨＤＬ（ＨａｒｄｗａｒｅＤｅｓｃｒｉｐｔｉｏｎＬａｎｇｕａｇｅ）などで記述され、その処理のフローチャートを図１５に示す。ディジタル信号入力ステップ３０１では図１のＡ／Ｄ変換器１１１からのディジタル信号を入力し、エッジ方向検出ステップ３０２では図１のエッジ方向検出部１０８と同様の処理を行い、画像合成ステップ３０３では図１の画像合成部１０７と同様の処理を行い、平滑フィルタステップ３０４では図１の平滑フィルタ部１０９と同様の処理を行い、エッジ強調ステップ３０５では図１のエッジ強調部１１０と同様の処理を行い、画像出力ステップ３０６では処理を行った画像をモニタやメモリ等に出力する。処理のフローチャートは図１５に限定されず、同様の処理が含まれるフローチャートであれば良く、その場合も本発明の効果が得られる。

上記の実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。

上記した実施の形態により、本発明は上述した２つ課題を解決でき、以下の効果が得られる。

第１に、被写体と撮像装置との距離が所定の固定値でなく変化する場合、もしくは温度変化等により複数のレンズ間の間隔が変化する場合であっても、画素ずらしのずらし量が変化しないため、アクチュエータなどによる物理的な調整なしで被写体距離や温度の変化にかかわらず常に高解像度の画像を得ることができる。

第２に、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、異なる撮像領域での被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、色むらの目立たない高画質の画像を得ることができる。

これら第１、第２の効果により、レンズ成型誤差、実装誤差、被写体距離、温度などによらず、薄型で、常に高画素及び高画質な画像を撮像できる撮像装置を得ることが可能となる。

以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。

本発明の撮像装置の利用分野は、特に制限はないが、例えば、携帯機器、車載、医療、監視、ロボット用途などに有用である。

図１は、本発明の一実施の形態に係る撮像装置の概略構成図である。図２は、図１のII−II線に沿った、本発明の一実施の形態に係る撮像装置の撮像部の矢視断面図である。図３は、本発明の一実施の形態に係る撮像装置において、視差が発生する原理を説明するための図である。図４は、本発明の一実施の形態に係る撮像装置において、視差補正の原理を説明する図である。図５は、本発明の一実施の形態に係る撮像装置において、視差補正の方法を説明する図である。図６Ａは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の一例を説明する図である。図６Ｂは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の別の例を説明する図である。図７Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られるｍ×ｎの画素数を有する画像を示した図である。図７Ｂは、本発明の一実施の形態に係る撮像装置において、画像合成により得られた２・ｍ×２・ｎの画素数を有する高解像度画像を示した図である。図８は、本発明の一実施の形態に係る撮像装置において、合成されたカラー画像を示した図である。図９は、本発明の一実施の形態に係る撮像装置において、撮像領域における被写体像及び光軸の位置を示した部分拡大図である。図１０Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域に結像された被写体像を示した図である。図１０Ｂは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られた画像の画素配列を垂直方向に反転して得られた画像を示した図である。図１０Ｃは、本発明の一実施の形態に係る撮像装置において、高解像度のカラー合成画像を示した図である。図１０Ｄは、本発明の一実施の形態に係る撮像装置において、画像のエッジ方向に応じた画像合成を行って得られた高解像度のカラー合成画像を示した図である。図１１は、濃淡が変化する被写体を示した図である。図１２は、被写体距離が変化しない、本発明の別の実施の形態に係る撮像装置の概略構成図である。図１３Ａは、本発明の別の実施の形態に係る撮像装置の撮像部の概略構成図である。図１３Ｂは、本発明の更に別の実施の形態に係る撮像装置の撮像部の概略構成図である。図１４Ａは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向に０．５画素ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係を示した図である。図１４Ｂは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の一例を示した図である。図１４Ｃは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の別の例を示した図である。図１５は、本発明の一実施の形態に係る撮像装置の画像処理部が行う処理を示したフローチャートである。従来の複眼方式の撮像装置の概略構成を示した図である。図１７Ａは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した断面図である。図１７Ｂは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像との位置関係を示した平面図である。図１８は、従来の複眼方式の撮像装置において、複数のレンズの光軸の位置と複数の撮像領域との関係を示した平面図である。図１９Ａは、従来の複眼方式の撮像装置において、１つの撮像領域に結像された被写体像を示した図である。図１９Ｂは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが図１８に示す位置関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。図１９Ｃは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。図１９Ｄは、従来の複眼方式の撮像装置において、１つの撮像領域が撮像した画像を示した図である。

Claims

同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうちの所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記垂直ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記水平ラインの方向に互いに所定量ずれており、
前記所定の撮像領域に受光される被写体像と、前記所定の撮像領域に対し前記水平ラインの方向に視差を有する撮像領域に受光される被写体像とが、前記垂直ラインの方向に互いに所定量ずれていることを特徴とする撮像装置。
前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１に記載の撮像装置。
前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられている請求項１に記載の撮像装置。
前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有する請求項３に記載の撮像装置。
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有し、
前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更する請求項１に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置する請求項５に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項５に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置する請求項５に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項５に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置する請求項５に記載の撮像装置。
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置する請求項５に記載の撮像装置。
前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択する請求項５に記載の撮像装置。
前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択する請求項１２に記載の撮像装置。
前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択する請求項１２に記載の撮像装置。
前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１４に記載の撮像装置。
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、
前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、
前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、
前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段と
を有することを特徴とする請求項１に記載の撮像装置。
前記所定の撮像領域に対応するレンズの光軸と、前記所定の撮像領域に対し前記垂直ラインの方向に視差を有する前記撮像領域に対応するレンズの光軸との、前記水平ラインの方向のずれ量をＧｓｘとしたとき、
｜Ｇｓｘ｜≦Ａ１・ｐ／（４・ｆ）
（但し、Ａｌは被写体距離の下限値、ｆはレンズと撮像領域との間の距離、ｐは撮像領域の画素ピッチ）
を満たし、且つ、
前記所定の撮像領域に対応するレンズの光軸と、前記所定の撮像領域に対し前記水平ラインの方向に視差を有する前記撮像領域に対応するレンズの光軸との、前記垂直ラインの方向のずれ量をＧｓｙとしたとき、
｜Ｇｓｙ｜≦Ａ１・ｐ／（４・ｆ）
（但し、Ａｌは被写体距離の下限値、ｆはレンズと撮像領域との間の距離、ｐは撮像領域の画素ピッチ）
を満たすことを特徴とする請求項１に記載の撮像装置。
前記所定の撮像領域と、前記所定の撮像領域に対応するレンズの光軸との相対的位置関係は、前記所定の撮像領域に対し前記垂直ラインの方向に視差を有する撮像領域と、前記撮像領域に対応するレンズの光軸との相対的位置関係に対して、前記水平ラインの方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲で前記水平ラインの方向にずれており、且つ、
前記所定の撮像領域と、前記所定の撮像領域に対応するレンズの光軸との相対的位置関係は、前記所定の撮像領域に対し前記水平ラインの方向に視差を有する撮像領域と、前記撮像領域に対応するレンズの光軸との相対的位置関係に対して、前記垂直ラインの方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲で前記垂直ラインの方向にずれている請求項１に記載の撮像装置。