以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する2つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、レンズ一体型のカメラである。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209およびLCD駆動回路210を備える。
なお、図示するように、撮像素子100へ向かう光軸21に平行な方向をZ軸プラス方向と定め、Z軸と直交する平面において紙面手前へ向かう方向をX軸プラス方向、紙面上方向をY軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。絞り22は、光軸21に沿って瞳近傍に配置されている。
撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の光電変換素子が配列された、例えばCCD、CMOSセンサ等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。
A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。
画像処理部205は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。
制御部201は、デジタルカメラ10を統合的に制御する。例えば、設定された絞り値に応じて絞り22の開口を調整し、AF評価値に応じて撮影レンズ20を光軸方向に進退させる。また、撮影レンズ20の位置を検出して、撮影レンズ20の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部204に対してタイミング制御信号を送信し、撮像素子100から出力される画像信号が画像処理部205で画像データに処理されるまでの一連の撮像制御を管理する。
操作部208は、ユーザの操作を受け付けて制御部201へ指示を伝達する受付部の一部として機能する。操作部208は、撮影開始指示を受け付けるシャッタボタン等、複数の操作部材を含む。
次に、撮像素子100の構成の一例について説明する。図2は、撮像素子100の断面を表す概略図である。
撮像素子100は、被写体側から順に、マイクロレンズ101、カラーフィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。
光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられ、二次元的に繰り返し配列された開口部104を有する開口マスク103が、配線層105に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。
一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列してもよいし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成してもよい。
カラーフィルタ102は、開口マスク103上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ(Rフィルタ)、緑色波長帯を透過させる緑フィルタ(Gフィルタ)、および青色波長帯を透過させる青フィルタ(Bフィルタ)を格子状に配列するとよい。カラーフィルタは原色RGBの組合せのみならず、YCMの補色フィルタの組合せであってもよい。
マイクロレンズ101は、カラーフィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。左視点の視差画素を視差Lt画素、右視点の視差画素を視差Rt画素、視差なし画素をN画素と記す場合もある。また、左視点の視差画像を視差Lt画像、右視点の視差画像を視差Rt画像、視差なし画像をN画像と記す場合もある。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。
なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ101を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。また、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ102は設けない。
また、本実施形態においては、開口マスク103と配線106を別体として設けているが、視差画素における開口マスク103の機能を配線106が担ってもよい。すなわち、規定される開口形状を配線106により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子108へ導く。この場合、開口形状を形成する配線106は、配線層105のうち最も光電変換素子108側であることが好ましい。
また、開口マスク103は、光電変換素子108に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク103は、例えば、SiN膜とSiO2膜を順次積層して透過阻止膜とし、開口部104に相当する領域をエッチングで除去して形成される。
絞り22について説明する。まず、絞りの概念について説明する。図3は、絞りの概念を説明するための図である。図3に示す絞りは、上左絞り羽根152と、下左絞り羽根154と、上右絞り羽根153と、下右絞り羽根155と、左回転軸170と、右回転軸172とを有する。上左絞り羽根152及び下左絞り羽根154が左回転軸170の周りにそれぞれ紙面右回り及び左回りに回転するとともに、上右絞り羽根153及び下右絞り羽根155が右回転軸172の周りにそれぞれ紙面左回り及び右回りに回転する。それぞれの絞り羽根の駆動には、カム機構が用いられる。それぞれの絞り羽根を回転させ開口部の大きさを変化させることによって、被写体光束である入射光束の光量を変化させることができる。ただし、図3に示す絞りでは、X軸方向の開口幅とY軸方向の開口幅の比は、開口部の開口面積の変化とともに変化する。
本実施形態の絞り22は、虹彩絞りであり、かつ開口部が楕円形状を有する楕円絞りである。絞り22の絞り羽根には、当該絞り羽根の形状を加工することにより任意の曲率を持たせる。このような絞り羽根を持つ絞り22において、カム機構の駆動比をX軸方向とY軸方向とで異ならせることによって、X軸方向の開口幅とY軸方向の開口幅の比を一定に保つ。具体的には、絞り羽根のX軸方向の移動量がY軸方向の移動量より大きくなるよう調整する。これにより、X軸方向の開口幅とY軸方向の開口幅の比を一定に保ちつつ、開口面積を変化させる楕円絞りを実現できる。
以上の説明では、絞り22として虹彩絞りを採用したが、例えば交換式の絞りを用いることもできる。撮影レンズ20に、超望遠レンズのフィルタホルダのように、絞り22としての交換式絞りを挿入することにより入射光束を制限できる。開口部の面積が異なる複数の交換式絞りを用意すれば、交換式絞りを入れ替えることにより絞り値を変更できる。
図4は、絞り22の外観図である。具体的には、被写体側から見た正面図である。図4(a)に示すように、絞り22は、フィルタ302、ベース部307、外周部308および把持部309を主な構成要素とする。
ベース部307の端部には外周部308と把持部309が一体的に形成されている。ユーザは、把持部309を掴んで絞り22をレンズユニットに対して挿抜する。絞り22がレンズユニットに挿入された場合には、フィルタ302の中心が光軸21と一致する。
フィルタ302は、ベース部307の被写体光束範囲に形成される。フィルタ302は、被写体光束を遮断する遮断部303、被写体光束を通過させる開口部304から構成される。図示するように開口部304は、遮断部303の中央部分に設けられている。開口部304の形状は楕円である。楕円のX軸方向の開口幅(長軸径)をa、Y軸方向の開口幅(短軸径)をbと記す。
図4(b)、(c)、(d)に示す絞り22は、開口部304の楕円の面積が異なる点を除いて、図4(a)に示す絞り22と同一の構成である。図4(b)、(c)、(d)の順に開口部304の楕円の面積は小さくなっている。ただし、図4(b)、(c)、(d)に示す絞り22の開口部304の長軸径a、短軸径bの比はそれぞれ、図4(a)に示す絞り22の開口部304の長軸径a、短軸径bの比と同一である。つまり、図4(a)〜(d)の絞り22においては、開口部304の長軸径と短軸径の比が一定に保たれている。
一般的には、絞り値Fは、焦点距離fとレンズに入射する有効光束の径Dとの比で定義される。本実施形態においては、開口部304が楕円であるので、径Dを開口部304の長軸径aと短軸径bの平均値として定義する。図4の各図に示す絞り22の絞り値Fは、図4(a)から(d)に向かって順に例えばF1.4、F2、F4、F8に相当する。ユーザは、図4に示す各絞り22を適宜入れ替えることにより、絞り値Fを変更できる。
<視差画素とボケ特性>
次に、視差Lt画素および視差Rt画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図5は、視差なし画素におけるデフォーカスの概念を説明する図である。図5(a)で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
一方、図5(b)に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
図5(c)に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
図5(d)に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
図6は、視差画素におけるデフォーカスの概念を説明する図である。視差Lt画素および視差Rt画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された2つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
図6(a)で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Lt画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Rt画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
一方、図6(b)に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Lt画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Rt画素が示す光強度分布のピークは、像点に対応する画素から、視差Lt画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Lt画素および視差Rt画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
また、図6(c)に示すように、さらに物点が焦点位置からずれると、図6(b)の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Lt画素および視差Rt画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
図6(d)に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図6(c)の状態とは逆に、視差Rt画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Lt画素が示す光強度分布のピークは、視差Rt画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Lt画素および視差Rt画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
図5で説明した光強度分布の変化と、図6で説明した光強度分布の変化をそれぞれグラフ化すると、図7のように表される。図7は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Lt画素および視差Rt画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Lt画素および視差Rt画素が示す光強度分布のピークと同様であるので、省略している。
図7(a)は、図5で説明した光強度分布の変化を表すグラフである。分布曲線1801は、図5(a)に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線1802は、図5(b)に対応する光強度分布を表し、また、分布曲線1803は、図5(c)に対応する光強度分布を表す。分布曲線1801に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
図7(b)は、図6で説明した光強度分布の変化を表すグラフである。分布曲線1804と分布曲線1805は、それぞれ図6(b)の視差Lt画素の光強度分布と視差Rt画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線1806は、図6(b)に対して同等のデフォーカス状態である図5(b)の分布曲線1802と相似形状を示す。
分布曲線1807と分布曲線1808は、それぞれ図6(c)の視差Lt画素の光強度分布と視差Rt画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線1809は、図6(c)に対して同等のデフォーカス状態である図5(c)の分布曲線1803と相似形状を示す。なお、図6(d)の視差Lt画素の光強度分布と視差Rt画素の光強度分布は、図6(c)の視差Lt画素の光強度分布と視差Rt画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線1808と分布曲線1807に相当する。
図8は、視差画素の種類が2つである場合における開口部104の開口形状を説明する図である。図8(a)は、視差Lt画素の開口部104lの形状と、視差Rt画素の開口部104rの形状とが、視差なし画素(N画素)の開口部104nの形状を中心線322で分割したそれぞれの形状と同一である例を示している。つまり、図8(a)では、視差なし画素の開口部104nの面積は、視差Lt画素の開口部104lの面積と視差Rt画素の開口部104rの面積の和になっている。本実施形態においては、視差なし画素の開口部104nを全開口の開口部といい、開口部104lおよび開口部104rを半開口の開口部という。ここでは、半開口の開口部において、紙面横方向(水平方向)と紙面縦方向(垂直方向)との比は、1:2である。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Lt画素の開口部104lおよび視差Rt画素の開口部104rは、それぞれ対応する光電変換素子108の中心(画素中心)を通る仮想的な中心線322に対して、互いに反対方向に偏位している。したがって、視差Lt画素の開口部104lおよび視差Rt画素の開口部104rはそれぞれ、中心線322に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
視差画素では、半開口の開口部を有する開口マスクで光電変換素子の一部を覆い当該光電変換素子に入射する光を制限することにより、被写体光束を受光する受光領域が画素中心に対して水平方向に偏位した位置に設定される。このように、被写体光束を受光する受光領域が画素中心に対して水平方向に偏位した位置に設定される画素を視差画素と定義する。受光領域が偏位している点に着目すると、視差画素を偏位画素ということもできる。受光領域において、水平方向の領域幅は垂直方向の領域幅よりも短くなっている。なお、開口マスクを用いずとも受光領域の水平方向の領域幅を垂直方向の領域幅よりも短くできる。具体的には、光電変換素子そのものの水平方向の領域幅が垂直方向の領域幅よりも短くなるよう、当該光電変換素子を形成すればよい。
一方、視差なし画素では、受光領域が画素中心に対して偏位していない位置に設定されている。受光領域が画素中心に対して偏位していない位置に設定される画素を視差なし画素と定義する。受光領域が偏位していない点に着目すると、視差なし画素を非偏位画素ということもできる。
図8(b)は、図8(a)で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ltは図7(b)の分布曲線1804、曲線Rtは図7(b)の分布曲線1805にそれぞれ相当する。曲線Nは視差なし画素に対応しており、図7(b)の合成分布曲線1806と相似形状を示す。また、それぞれの開口部104n、開口部104l、開口部104rは、開口絞りとしての機能を発揮する。したがって、開口部104l(開口部104r)の倍の面積を持つ開口部104nを有する視差なし画素が捉える被写体像のボケ幅は、図7(b)の合成分布曲線1806で示される、視差Lt画素と視差Rt画素を足し合わせた曲線のボケ幅と同程度となる。
図8(c)は、図8(a)で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図8(c)の曲線Lt、曲線Rtは、開口部104nを有する視差なし画素が捉える被写体像のボケ幅が視差Lt画素と視差Rt画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図8(b)の曲線Lt、曲線Rtに対して位置関係が逆転している。
<被写界深度と非対称ボケ>
次に、被写界深度とボケの非対称性との関係について説明する。図8(b)、(c)からも明らかなように、非合焦域では、視差画素が捉える被写体像のボケ幅は、視差なし画素が捉える被写体像のボケ幅よりも狭い。これは、図8(a)の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右2つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。
一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。
図9は、ボケの非対称性を説明するための図である。例えば、図9(a)のような正方形のパッチの被写体を撮像すると、合焦域では、図9(a)のような被写体像が得られる。図9(b)では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図9(b)に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称性になっている。これは、ボケの非等方性ということもできる。
図9(b)の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、3D画像から2D画像を得たとすると、2D画像には水平方向のシャープなボケに起因した2線ボケのような、あまり好ましくないボケが生じることもある(図9(c))。
図10は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図10は、撮像素子100の画素ピッチをa[mm]として、周波数がf[本/mm]にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを90°回転して撮像したときの横線縞模様チャートのMTF(Modulation Transfer Function)特性の被写体距離依存性を示す図である。縦軸は、MTFを示し、横軸は、デジタルカメラ10からの距離dを示す。MTF分布は、合焦位置の光軸付近のMTFを1とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。図10(a)は、視差なし画像(N画像)における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのMTF分布を示す。図10(a)に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのMTF分布は一致している。図10(b)は、視差画像(視差Lt画像および視差Rt画像)における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのMTF分布を示す。図10(b)に示す横線縞模様チャートのMTF分布は、図10(a)に示す横線縞模様チャートのMTF分布に一致する。一方、図10(b)に示す縦線縞模様チャートのMTF分布は、図10(a)に示す縦線縞模様チャートのMTF分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図9で示したボケの非対称性を生み出している。図10では、視差なし画像と視差画像との間の被写界深度の違いを示したが、視差画像内の垂直方向と水平方向との間の被写界深度の違いと捉えることもできる。
<視差画素の開口形状と楕円絞り>
上述したように、視差画素においては、開口マスクの開口部の水平方向の開口幅(すなわち受光領域の水平方向の領域幅)は、垂直方向の開口幅(すなわち受光領域の垂直方向の領域幅)の1/2になっている。したがって、水平方向の被写界深度は深く、結果としてボケがつきにくい。一方、垂直方向の被写界深度は浅く、結果としてボケがつきやすい。したがって、視差画素に対しては、円形絞りではなく楕円絞りを用いるのが好ましい。より詳細には、楕円の水平方向を長軸、垂直方向を短軸とし、長軸径aと短軸径bの比を、上記の被写界深度の非対称性を低減する目的で2:1にするとよい。このような楕円絞りを用いれば、縦横の開口幅の違いによる被写界深度の非対称性を低減できる。楕円を表す式は下記になる。
絞りを開放側から最大絞りまで絞る場合に、楕円形状の偏平率(すなわち水平方向の開口幅(長軸径)a:垂直方向の開口幅(短軸径b))を保ったまま相似形に縮小していくのが好ましい。
一方、視差なし画素においては、開口部の水平方向と垂直方向の比は、1:1である。水平方向と垂直方向とで被写界深度に差は生じない。したがって、開口部の水平方向と垂直方向の比が2:1の楕円絞りを用いると、むしろボケがアンバランスになる。したがって、視差なし画素に対しては円形絞りを用いることが好ましい。
以上のように、視差画素と視差なし画素とで、開口マスクの開口部の形状が異なる、すなわち受光領域の形状が異なる場合には、視差画像と視差なし画像とでボケの出かたが異なる。ここで、撮像素子全体に対してどのような絞りを用いるのかが問題となる。視差画素または視差なし画素のみが配列された撮像素子であれば、どのような絞りを用いるかは簡単である。すなわち、上述のように視差画素の受光領域における水平方向の領域幅と垂直方向の領域幅が1:2であれば、水平方向の開口幅と垂直方向の開口幅が2:1の楕円絞りを用いればよいし、視差なし画素のみが配列された撮像素子であれば円形絞りを用いればよい。しかし、本実施形態の撮像素子は、視差画素と視差なし画素を両方含む。この場合、視差画像のボケのアンバランスの改善と、視差なし画像のボケのバランスの悪化とのバランスを考慮し、楕円の長軸径a、短軸径bを設定する。具体的には、このような撮像素子に対して、1>(楕円の短軸径b)/(楕円の長軸径a)>(視差画素の受光領域における水平方向の領域幅)/(視差画素の受光領域における垂直方向の領域幅)の関係を満たす開口部を有する楕円絞りを用いる。これにより、視差画素においては、円形絞りを用いる場合に比べてボケのアンバランスが低減される。一方、視差なし画素においては、水平方向の開口幅と垂直方向の開口幅が2:1の楕円絞りを用いる場合に比べてボケのバランスの悪化を抑制できる。
ここで、後述する視差変調によって高解像度の視差画像を生成するにあたり、視差なし画像のボケは最終的に生成される高解像度の視差画像のボケに反映される。したがって、視差画素と視差なし画素の密度比に基づいて楕円の長軸径a、短軸径bを設定するとよい。例えば、視差なし画素が視差画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が小さい。したがって、視差なし画素が視差画素に対して支配的になるほど、楕円の長軸径aと短軸径bの比を1に近づける。すなわち、円形絞りに近づける。これにより、視差なし画像のボケのバランスの悪化を小幅に留めつつ、視差画像のボケのアンバランスを改善できる。
逆に、視差画素が視差なし画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が大きい。したがって、視差画素が視差なし画素に対して支配的になるほど、楕円の長軸径aと短軸径bの比を1/2に近づける。すなわち、水平方向の開口幅と垂直方向の開口幅が2:1の楕円絞りに近づける。これにより、視差画像のボケのアンバランスを大幅に改善しつつ、視差なし画像のボケのバランスの悪化を抑制できる。
以上のように、視差画素と視差なし画素の密度比に基づいて楕円の長軸径aと短軸径bの比を設定することにより、視差変調処理により視差画像を生成するにあたって、ボケのアンバランスが改善された視差画像を得ることができる。その結果、より自然なボケの視差画像を得ることができる。
<視差画素密度比と楕円絞りの形状>
図11は、画素配列の比較例を示す図である。図11に示す撮像素子300は、図の太線で示す2×2画素のパターン310を基本格子とする。パターン310において、左上の画素および右下の画素に視差Lt画素が割り当てられている。左下の画素および右上の画素に視差Rt画素が割り当てられている。ここでは、撮像素子300は、モノクロセンサである。図11に示す撮像素子300の配列は、N:Lt:Rt=0:1:1である。つまり、図11に示す撮像素子300は、視差画素のみが配列された撮像素子である。
図12は、本実施形態の画素配列の一例を示す図である。図12に示す撮像素子100は、図の太線で示す2×2画素のパターン110を基本格子とする。パターン110において、左上の画素および右下の画素に視差なし画素が割り当てられている。また、左下の画素に視差Lt画素が割り当てられ、右上の画素に視差Rt画素が割り当てられている。ここでは、撮像素子100は、モノクロセンサである。図12に示す撮像素子100の配列は、N:Lt:Rt=2:1:1である。
図13は、本実施形態の画素配列のバリエーションを示す図である。図13に示す撮像素子100は、隣接する8画素×8画素のパターン110を基本格子とする。パターン110は、2×2の4画素を基本単位とするベイヤー配列を、Y軸方向に4つ、X軸方向に4つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ(Gフィルタ)、左下画素に青フィルタ(Bフィルタ)、右上画素に赤フィルタ(Rフィルタ)が配される。
パターン110内の画素をPIJで表す。例えば、左上画素はP11であり、右上画素はP81である。図に示すように、視差画素は以下のように配列されている。
P11…視差Lt画素+Gフィルタ(=G(Lt))
P51…視差Rt画素+Gフィルタ(=G(Rt))
P32…視差Lt画素+Bフィルタ(=B(Lt))
P72…視差Rt画素+Bフィルタ(=B(Rt))
P23…視差Rt画素+Rフィルタ(=R(Rt))
P63…視差Lt画素+Rフィルタ(=R(Lt))
P44…視差Rt画素+Gフィルタ(=G(Rt))
P84…視差Lt画素+Gフィルタ(=G(Lt))
P15…視差Rt画素+Gフィルタ(=G(Rt))
P55…視差Lt画素+Gフィルタ(=G(Lt))
P36…視差Rt画素+Bフィルタ(=B(Rt))
P76…視差Lt画素+Bフィルタ(=B(Lt))
P27…視差Lt画素+Rフィルタ(=R(Lt))
P67…視差Rt画素+Rフィルタ(=R(Rt))
P48…視差Lt画素+Gフィルタ(=G(Lt))
P88…視差Rt画素+Gフィルタ(=G(Rt))
他の画素は視差なし画素であり、視差無し画素+Rフィルタ、視差なし画素+Gフィルタ、視差無し画素+Bフィルタのいずれかである。ここでは、撮像素子100は、カラーセンサである。図13に示す撮像素子100の配列は、N:Lt:Rt=6:1:1である。
図14は、本実施形態の画素配列のバリエーションを示す図である。図14に示す撮像素子100は、隣接する8画素×8画素のパターン110を基本格子とする。パターン110は、2×2の4画素を基本単位とするベイヤー配列を、Y軸方向に4つ、X軸方向に4つ含む。また、図に示すように、視差画素は以下のように配列されている。
P11…視差Lt画素+Gフィルタ(=G(Lt))
P51…視差Rt画素+Gフィルタ(=G(Rt))
P32…視差Lt画素+Bフィルタ(=B(Lt))
P63…視差Rt画素+Rフィルタ(=R(Rt))
P15…視差Rt画素+Gフィルタ(=G(Rt))
P55…視差Lt画素+Gフィルタ(=G(Lt))
P76…視差Rt画素+Bフィルタ(=B(Rt))
P27…視差Lt画素+Rフィルタ(=R(Lt))
他の画素は視差なし画素であり、視差無し画素+Rフィルタ、視差なし画素+Gフィルタ、視差無し画素+Bフィルタのいずれかである。ここでは、撮像素子100は、カラーセンサである。図14に示す撮像素子100の配列は、N:Lt:Rt=14:1:1である。
図13においては、撮像素子100の全体でみた場合に、視差画素は、Gフィルタを有する第1群と、Rフィルタを有する第2群と、Bフィルタを有する第3群のいずれかに区分され、パターン110には、それぞれの群に属する視差Lt画素および視差Rt画素が少なくとも1つは含まれる。図の例のように、これらの視差画素および視差なし画素のそれぞれが、パターン110内においてできるだけ等方性を有して配置されるとよい。なお、視差画素および視差なし画素が混合して配置されているので、一見ランダムに配置されるように見える。等方性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてRGBのカラー情報を取得することができるので、高品質な視差画像データが得られる。
以上のそれぞれの配列において、光学系の絞りは如何なる楕円形状をとればよいか説明する。それぞれの配列において視差画素の密度が異なるので、非対称ボケの影響度合いも異なると推察される。非対称ボケの影響度合いは、後の各実施形態で説明する画像処理を通して、中間的に生成される2D画像におけるボケで測定するものとする。なぜならば、後述する視差変調という画像処理を通して最終的に生成される3D画像は、右目用画像と左目用画像を単純に重ね合わせて表示すると中間的に生成された2D画像と同じ状態に見えるからである。
全画素数に占める視差画素の総数の割合(視差画素の密度)がδで表される場合に、絞りの楕円形状(長軸径aと短軸径bの比)をδの関数として表す。ただし、視差画素の密度は、互いに同数の左視差画素と右視差画素の和であり、視差なし画素と左視差画素と右視差画素の密度比が下記の(式1)で表されるとする。
N:Lt:Rt=1−δ : δ/2 : δ/2 (式1)
上述した中間的に生成される2D画像を生成するにあたって、以下の実施形態で述べる画像処理では、視差なし画素の画素値と視差画素の画素値を密度比に応じて混合する処理を行う。これにより、全ての画素でサンプリングした空間情報を最大限に生かすことができる。実際には、画像処理部205は、撮像素子100の画素配列順にその出力値(画素値)が羅列されたRAW元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。プレーンデータとは、同一に特徴付けられた画素グループごとに分離して寄せ集められた画像データである。画像処理部205は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺の視差なし画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたN画像を生成する。
同様に、画像処理部205は、撮像素子100の全出力値から左視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたLt画像を生成する。さらに画像処理部205は、撮像素子100の全出力値から右視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたRt画像を生成する。その後、Lt画像とRt画像の平均画像を生成すると、当該平均画像も別な空間情報を備えた視差なし画像を表している。したがって、N画像と、Lt画像とRt画像の平均画像の2種類の視差なし画像を混合して、新たに1つに統合した視差なし画像N'を生成する。これを各画素位置上で行う。ここでは、視差画素密度に応じた相乗平均をとる例を示す。これは後述するローカル・ゲインバランス補正と呼ばれる処理ステップで行う。
これを模式的に表すと密度比δの関数で表すことができる(式2)。
(式2)
中間2D画像を視差画素の密度の関数として生成するので、δの極限値、すなわち、δ→1の場合には視差画素のみで作成した画像となり、δ→0の場合には視差なし画素のみで作成した画像となる。この極限状態で、楕円絞りの偏平率a:bが如何なる値を採るべきかを考察すると、δの関数として表す場合の出発点の境界条件が与えられる。
δ→1の場合には視差画素のみで構成されるので、上述のように、開口マスクの形状によるボケのアンバランスを低減するようにa:b=2:1である。δ→0の場合には視差なし画素のみで構成されるので、通常の2D専用センサと同等になり、円形絞りでよい。したがって、a:b=1:1である。
以上をまとめると、(式3)、(式4)となる。
δ=1の場合 a:b=2:1 (式3)
δ=0の場合 a:b=1:1 (式4)
(式3)、(式4)から、0<δ<1の中間値に対して、以下のように書くと境界条件を満たした一般式を得ることができる。
a:b=(1+δ):1(δは任意の値) (式5)
(式5)は、次のように書き換えることができる。
任意のδに対して
(式6)
楕円絞りの出発点a:b=2:1を基準にbの項で画素密度比の影響を表す。図11で示した比較例の画素配列、および図12〜図14で示した本実施形態の画素配列の場合に、楕円形状は如何なる値を採るかを以下に示す。
図11で示したように、Lt:Rt=1:1、すなわちδ=1の場合には、a:b=(1+1):1=2:1となる。すなわち、上述したように、視差画素の受光領域における水平方向の領域幅と垂直方向の領域幅が1:2であれば、水平方向の開口幅と垂直方向の開口幅が2:1の楕円絞りを用いればよいことを示している。
図12に示したように、N:Lt:Rt=2:1:1、すなわちδ=1/2の場合には、a:b=(1+1/2):1=3:2となる。
図13に示したように、N:Lt:Rt=6:1:1、すなわちδ=1/4の場合には、a:b=(1+1/4):1=5:4となる。
図14に示したように、N:Lt:Rt=14:1:1、すなわちδ=1/8の場合には、a:b=(1+1/8):1=9:8となる。
次に、視差画素が半開口の状態から、水平方向に開口を広げた場合に、視差画素の開口形状の関数として楕円絞りの形状を表す場合について説明する。図15は、視差画素の開口マスクの開口形状を説明する図である。視差Lt画素の開口部104lは、中心線322から右側に幅uだけ延伸している。一方、視差Rt画素の開口部104rは、中心線322から左側に幅uだけ延伸している。視差画素の開口部は、(式7)で表すことができる。
水平開口幅:垂直開口幅=((1/2)+u):1 (式7)
まず初めに、全てが視差画素のみで構成されている場合について説明する。すなわち、δ=0の場合である。この場合には、視差開口幅の逆数比が、a:bとなる。
(式8)
この関係式はuが負の値であっても成り立つ。よって、|u|<1/2である。(式6)と対比すると、(式8)ではaの項に視差画素の開口幅に関する影響を押し込めたということもできる。
絞りが採るべき楕円形状a:bの値は、視差画素密度δの関数と視差画素の開口幅の増減比uの2つの関数として一般化することができる。それには式6と式8をつなげればよい。共に視差画素のみで構成される場合の楕円形状a:b=2:1を基本型で記述しているので、次のように統合することができる。
(式9)
<実施形態1>
ここでは、撮像素子100の配列として図12で示した配列を採用する。すなわち、撮像素子100はモノクロセンサであり、撮像素子100の配列は、N:Lt:Rt=2:1:1である。形状は楕円であり、かつ長軸径a:短軸径b=3:2となる絞りを装着する。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。
1)視差多重化モザイク画像データ入力
2)視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし基準画像の生成
(ローカル・ゲインバランス補正)
5)実際の視差画像の生成
6)出力空間への変換
以下、順に説明する。
1)視差多重化モザイク画像データ入力
図12の視差が多重化された単板式モノクロのモザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。
便宜的にモザイク画像M(x,y)の内、視差なし画素の信号面をNmosaic(x,y)、左視差画素の信号面をLtmosaic(x,y)、右視差画素の信号面をRtmosaic(x,y)、と表すことにする。
こうして視差なし画素が1つのゲイン係数で、左視差画素が1つのゲイン係数で、右視差画素が1つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
3)仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を、Nmosaic(x,y)からN(x,y)を生成する。仮の視差なし画像をN(x,y)、仮の左視差画像をLt(x,y)、仮の右視差画像をRt(x,y)と表す。なお、仮の視差なし画像N(x,y)を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。
4)左右の照度分布補正による視差なし基準画像の生成
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。
このように左視点の画像と右視点の画像の平均値をさらに視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。
5)実際の視差画像の生成
ステップ3で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。
視差なしのモノクロ画像は、全開口のボケ幅と一致する被写体像を形成している。したがって、比を一定に保つ視差変調の分母には、左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右の画像が再度、半開口のボケ幅をもつ像となるように変調を加える。
6)出力色空間への変換
こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
<実施形態2>
ここでは、撮像素子100の配列として図14で示した配列を採用する。すなわち、撮像素子100はカラーセンサであり、撮像素子100の配列は、N:Lt:Rt=14:1:1である。形状は楕円であり、かつ長軸径a:短軸径b=9:8となる絞りを装着する。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)視差なし基準画像の生成
6)実際の視差画像の生成
7)出力色空間への変換
以下、順に説明する。
1)色・視差多重化モザイク画像データ入力
図14の色と視差の多重化された単板式モザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。
便宜的にモザイク画像M(x,y)の内、R成分の視差なし画素の信号面をRN_mosaic(x,y)、R成分の左視差画素の信号面をRLt_mosaic(x,y)、R成分の右視差画素の信号面をRRt_mosaic(x,y)、G成分の左視差画素の信号面をGN_mosaic(x,y)、G成分の視差なし画素の信号面をGLt_mosaic(x,y)、G成分の右視差画素の信号面をGRt_mosaic(x,y)、B成分の視差なし画素の信号面をBN_mosaic(x,y)、B成分の左視差画素の信号面をBLt_mosaic(x,y)、B成分の右視差画素の信号面をBRt_mosaic(x,y)と表すことにする。
こうして視差なし画素が1つのゲイン係数で、左視差画素が1つのゲイン係数で、右視差画素が1つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
3)仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を、GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を、BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からBRt(x,y)を、BN_mosaic(x,y)からBN(x,y)を生成する。
ここで、仮のR成分の視差なし画像をRN(x,y)、仮のG成分の視差なし画像をGN(x,y)、仮のB成分の視差なし画像をBN(x,y)、仮のR成分の左視差画像をRLt(x,y)、仮のG成分の左視差画像をGLt(x,y)、仮のB成分の左視差画像をBLt(x,y)で表す。同様に、仮のR成分の右視差画像をRRt(x,y)、仮のG成分の右視差画像をGRt(x,y)、仮のB成分の右視差画像をBRt(x,y)で表す。なお、仮の視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。
4)左右の照度分布補正による視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。以上により、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
なお、視差なし画素の開口マスクは全開口である。したがって、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させる目的で相加平均を用いる。これにより、左右間の視差を消滅させる。
さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているので、そのボケ幅を保存する必要がある。したがって、この場合には共通に相乗平均をとらなければならない。ここで、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、実施形態2で用いた視差なし画素(N)と左視差画素(Lt)と右視差画素(Rt)の比は、N:Lt:Rt=14:1:1、すなわち、N:(Lt+Rt)=7:1であるので、視差なし画素には7/8乗の重みを、視差画素には1/8乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。以下にそれらの具体式を挙げる。
このように左視点の画像と右視点の画像の平均値と、視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M
N(x,y)を出力する。
5)視差なし基準画像の生成
公知のBayer補間技術を行う。例として、本出願人と同一発明者のUSP7957588(WO2006/006373)やUSP8259213に示される補間アルゴリズムがある。
6)実際の視差画像の生成
ステップ3で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
視差なし画素の開口マスクは全開口である。したがって、視差変調の方式として相加平均を基準点にとる方式を採用することにより、視差画像のボケ幅を伝達しつつ、N画像と(Lt画像+Rt画像)/2のボケ幅の違いを補正するような視差変調効果を得る。
ここで、例えば高解像な左視差画像R'Ltを生成するにあたって、視差変調を行う場合も、撮像素子の画素配列における各視差画素同士の間でのRGBの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではR:G:B=1:2:1であり、右視差画素同士の間でもR:G:B=1:2:1であるので、R成分による視差変調に1/4乗の重みを、G成分による視差変調に1/2乗の重みを、B成分による視差変調に1/4乗の重みを与えて、密度の高いG成分による視差変調を重視した配分をとる。具体的には、以下の式を用いて高解像な左視差画像R'Lt、G'Lt、B'Ltと高解像な右視差画像R'Rt、G'Rt、B'Rtを算出する。
7)出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)のそれぞれをセンサの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
なお、撮像素子100の配列として図13で示した配列、すなわちN:Lt:Rt=6:1:1の配列を採用する場合には、開口部の形状が楕円であり、かつ長軸a:短軸b=5:4となる絞りを装着する。現像処理は実施形態2と同様の手続きを経るので説明は省略する。ただし、ローカル・ゲインバランス補正の場合のN画像とLt画像とRt画像の混合割合が、視差画素の密度の変化に伴って変える必要がある。
以上の実施形態では、左右に視差をつける例を示したが、撮像素子と光学系を同時に90度回転すれば、上下視差の撮像系の実施形態となる。45度回転すれば斜め視差の撮像系の実施形態となる。
特許文献2に示されるような、画素が正方形ではないハニカム構造であっても、N画素とLt画素とRt画素が混在する配列では同様の考え方が成り立つ。すなわち、左右に視差がつくように視差画素が構成されている場合は、左右視差の実施形態と同様に楕円絞りを導入することができる。
また、以上の説明では、マイクロレンズと受光領域が一対一に対応していたが、一つのマイクロレンズに対して左右に分かれた二つの受光領域を対応させ、それぞれを右視差画素、左視差画素としてもよい。この場合、左視差画素にとっては、右視差画素の受光領域が遮光マスクの役割を果たし、右視差画素にとっては、左視差画素の受光領域が遮光マスクの役割を果たす。
絞り22の形状を楕円として説明したが、他の形状としてもよい。例えば、絞り22の形状を長方形としてもよい。
デジタルカメラ10をレンズ一体型のカメラとして説明したが、レンズユニットがカメラユニットに装着されて構成されるレンズ交換式一眼レフカメラとしてもよい。この場合に、例えば、カメラユニットおよびレンズユニットを下記のように構成することにより、レンズユニットは、装着されるカメラユニットに応じて絞りの開口幅を制御できる。
カメラユニットは、実装されている撮像素子の視差画素と視差なし画素に関する情報を記憶している。当該情報として、視差画素の受光領域の開口形状を示す情報、視差画素と視差なし画素の数に関する情報を挙げることができる。視差画素と視差なし画素の数に関する情報は、具体的には、視差画素と視差なし画素の密度比である。なお、視差画素と視差なし画素の数に関する情報は、視差画素と視差なし画素の画素数でもよいし、全体の画素数と視差画素数でもよい。すなわち、演算を施すことにより最終的に視差画素と視差なし画素の密度比が得られる情報であればよい。
レンズユニットは、撮影レンズ20と、絞り22とを含んで構成される。レンズユニットはさらに、取得部、制御部、および演算部を含んで構成される。取得部は、カメラユニットに装着された場合に、視差画素と視差なし画素に関する情報をカメラユニットから取得する。制御部は、取得された情報に基づいて、1>(楕円の短軸径b)/(楕円の長軸径a)>(視差画素の受光領域における水平方向の領域幅)/(視差画素の受光領域における垂直方向の領域幅)の関係を満たすよう、開口部の開口を調整する調整部を含む。例えば、カメラユニットから視差画素と視差なし画素の密度比を取得する場合には、当該密度比に基づいて上述の関係を満たすよう、開口部の開口を調整する。開口部の開口を調整するにあたって、具体的には、上述した演算を適用できる。これにより、密度比に応じて開口部の開口を調整できる。視差画素と視差なし画素の数に関する情報として視差画素と視差なし画素の密度比がカメラユニットに記憶されていない場合には、演算部が、記憶されている情報を用いて視差画素と視差なし画素の密度比を算出する。
一方、カメラユニットから視差画素の受光領域の開口形状を示す情報を取得する場合には、調整部は、当該開口形状に基づいて上述の関係を満たすよう、開口部の開口を調整する。以上のように、調整部は、カメラユニットに記憶されている情報の種類に応じて開口部の開口を調整する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。