JP5991461B2 - 撮像装置およびその撮像プログラム - Google Patents

Description

本発明は、撮像装置およびその撮像プログラムに関する。

単一の撮像光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する撮像装置が知られている。この種の撮像装置において生成可能な視差画像の数は、撮像素子に割り当てられた視差画素の種類の数によって定まる。例えば、視差画素の種類が２つの場合には、互いに視差を有する２つの視差画像が生成される。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００９−２９０２６８号公報

撮像装置は、撮像素子に割り当てられた視差画素の種類の数より多い数の視差画像を生成することはできなかった。

本発明の第１の態様における撮像装置は、隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子と、入射光束を撮像素子に対してシフトさせるシフトユニットを、光束制限部の配置によって定められる視差方向について、光束制限部が設けられた光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、光束制限部が設けられた基準となる光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動しつつ、撮像素子による複数回の撮像動作を実行する撮像制御部とを備える。

本発明の第２の態様における撮像プログラムは、隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子による撮像動作を実行する第１撮像ステップと、入射光束を撮像素子に対してシフトさせるシフトユニットを、光束制限部の配置によって定められる視差方向について、光束制限部が設けられた光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、光束制限部が設けられた基準となる光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動するシフトステップと、撮像素子による撮像動作を再度実行する第２撮像ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面を表す概略図である。 撮像素子１００の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像数の増加の原理を説明する図である。 視差画像数の増加の原理を説明する図である。 視差画像数の増加処理の一例を説明する図である。 視差数画像の増加処理の他の例を説明する図である。 カラーフィルタ配列を説明する図である。 視差画像と２Ｄ画像の生成過程を示す概念図である。 視差画像撮影モードに設定されている場合の処理フローである。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

本実施形態に係る撮像装置の一例としてのデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、本体ユニット３０と本体ユニット３０に着脱できるレンズユニット５０とから構成される。レンズユニット５０が備える撮影レンズ２０は、光軸２１に沿って入射する入射光束を、本体ユニット３０が備える撮像素子１００へ導く。本実施形態においては、デジタルカメラ１０を、レンズユニット５０が交換できるレンズ交換式カメラとして説明するが、レンズユニット５０が本体ユニット３０と一体的に構成されるタイプのカメラであっても良い。

本体ユニット３０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、表示制御部２１０、ＡＦセンサ２１１およびレリーズスイッチ２１２を備える。レンズユニット５０は、撮影レンズ２０に加え、レンズ制御部２３１、レンズメモリ２３２、フォーカスレンズ駆動部２３３、シフトユニットの一例としての補正レンズユニット２３４を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、フォーカスレンズ２２、補正レンズ２３等を含む複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。また、画像処理部２０５は、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、表示制御部２１０により表示信号に変換され、表示部２０９に表示され得る。また、生成された画像データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録され得る。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御信号をレンズ制御部２３１へ送信する。

レリーズスイッチ２１２は、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による撮像動作を実行する。

デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。また、本実施形態の視差画像撮影モードにおいては、ユーザは、複数の視差画像数の中から任意の視差画像数を選択することができる。

制御部２０１の一部であるカメラメモリ２１３は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータなどを記憶する役割を担う。カメラメモリ２１３は、例えば、視差画像撮影モードにおいて選択可能な視差画像数毎に、補正レンズユニット２３４を駆動する際のシフト方向およびシフト量、並びに撮像回数を記憶している。

また、制御部２０１は、ユーザから視差画素数の選択を受け付けた後、カメラメモリ２１３を参照して、ユーザによって選択された視差画像数に応じたシフト方向およびシフト量を定める。そして、制御部２０１は、レンズ制御部２３１および補正レンズ駆動部２３５を介して補正レンズユニット２３４を駆動しつつ、撮像素子１００による複数回の撮像動作を実行する。制御部２０１の具体的な処理内容は、後述する。

レンズ制御部２３１は、レンズユニット５０の制御を司る。レンズ制御部２３１は、例えば、合焦制御信号を制御部２０１から受信して、フォーカスレンズ駆動部２３３を介してフォーカスレンズを移動させる。また、レンズ制御部２３１は、フォーカスレンズを含む撮影レンズ２０の現在位置を検出して制御部２０１へ送信する。

補正レンズユニット２３４は、補正レンズ２３、補正レンズ駆動部２３５を含む。補正レンズ駆動部２３５は、補正レンズ２３の位置を検出する位置検出センサと、デジタルカメラ１０に加えられるブレを検出する振れ検出センサと、補正レンズ２３を駆動する２つのＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）を備える。補正レンズ駆動部２３５は、振れ検出センサから検出されたデジタルカメラ１０のブレを打ち消すように、位置検出センサの出力を加味して、ＶＣＭによって補正レンズ２３を駆動する。これにより、被写体像は、撮像素子１００の受光面上で安定した結像状態を維持する。

また、レンズ制御部２３１は、制御部２０１の制御に従って、定められたシフト方向およびシフト量に応じて補正レンズ２３を駆動するよう補正レンズ駆動部２３５を制御する。補正レンズ駆動部２３５は、定められたシフト方向およびシフト量に応じて補正レンズ２３を駆動する。

レンズメモリ２３２は、レンズユニット５０に関する各種特性値を記憶している不揮発性メモリである。レンズ制御部２３１は、制御部２０１の要求に従って、撮影レンズ２０の位置情報、レンズメモリ２３２が記憶している各種特性値等をレンズ情報として制御部２０１へ送信する。

次に、撮像素子１００の構成について詳細に説明する。図２は、撮像素子１００の断面を表す概略図である。図示するように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、光束制限部の一例としての開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。開口マスク１０３は、開口部１０４を有し、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられている。開口マスク１０３は、対応する光電変換素子１０８の上方に、配線層１０５に接した状態で設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体９０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体９１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体９０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体９０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１と交差する被写体９０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１から離間した被写体９０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体９０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体９１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体９１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体９１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体９１が被写体９０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１側で結像する。逆に、被写体９１が被写体９０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１とは反対側で結像する。

したがって、非合焦位置に存在する被写体９１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

続いて、図５、６は、視差画像数の増加の原理を説明する図である。図５の左図は、図４（ａ）と同一であり、撮影レンズ２０に対して合焦位置に存在する被写体９０を捉えた場合の関係を模式的に示している。図５の右図は、図５の左図の状態から、補正レンズ２３が右方向にシフトされた状態を示している。図５の右図において、シフト前の瞳位置および部分領域Ｐａ〜ｐｆを破線で、シフト後の瞳位置および部分領域Ｐｇ〜Ｐｌを実線で示す。なお、シフト前の補正レンズ２３は、撮像素子１００の受光面上における、予め定められた領域に被写体像が結像するよう、その位置が規定される。一例として、補正レンズ２３は、補正レンズ２３の光軸が他の光学系の光軸と一致するように、初期位置が規定される。

上述のように、例えば開口マスク１０３の開口部１０４ｆの位置は、主光線Ｒｆの傾きによって定められているので、図５の左図に示すように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８ｆへ到達する。ところが、補正レンズ２３が右方向にシフトされることによって、部分領域Ｐｆは、主光線Ｒｆの傾きに対応する位置に存在しなくなる。代わりに、図５の右図に示すように、シフト前の部分領域Ｐｆに相当する位置、すなわち主光線Ｒｆの傾きに相当する主光線Ｒｌに対応する位置には、部分領域Ｐｌが規定されている。したがって、開口マスク１０３の開口部１０４ｆに対応する光電変換素子１０８ｆには、部分領域Ｐｌから射出された光束が到達することになる。つまり、補正レンズ２３が右方向にシフトされることによって、光電変換素子１０８ｆからずれた位置に指向していた入射光束、すなわち微小領域Ｏｔにおける、部分領域Ｐａ〜Ｐｆに対応する物点とは異なる物点から部分領域Ｐｌに指向していた入射光束が、光電変換素子１０８ｆに指向することになる。

なお、入射光束のうち開口部を通過した部分光束のみが光電変換素子に到達する。また、物点から部分領域Ｐｌに指向していた入射光束が、光電変換素子１０８ｆに指向するとは、当該物点から放射される被写体光束が、光電変換素子１０８ｆに向かうことである。つまり、当該物点と光電変換素子１０８ｆに対応する画素とが、結像関係を有するとも言える。

同様に、開口マスク１０３の開口部１０４ｅに対応する光電変換素子１０８ｅには、部分領域Ｐｋから射出された光束Ｒｋが、開口マスク１０３の開口部１０４ｄに対応する光電変換素子１０８ｄには、部分領域Ｐｊから射出された光束Ｒｊが、それぞれ到達することになる。さらに、開口マスク１０３の開口部１０４ｃに対応する光電変換素子１０８ｃには、部分領域Ｐｉから射出された光束Ｒｉが、開口マスク１０３の開口部１０４ｂに対応する光電変換素子１０８ｂには、部分領域Ｐｈから射出された光束Ｒｈが、開口マスク１０３の開口部１０４ａに対応する光電変換素子１０８ａには、部分領域Ｐｇから射出された光束Ｒｇが、それぞれ到達することになる。

図６の左図は、図４（ｃ）と同一であり、撮影レンズ２０に対して非合焦位置に存在する被写体９１を捉えた場合の関係を模式的に示している。図６の右図は、図６の左図の状態から、補正レンズ２３が右方向にシフトされた状態を示している。図６の右図において、シフト前の瞳位置および部分領域Ｐａ〜ｐｆを破線で、シフト後の瞳位置および部分領域Ｐｇ〜Ｐｌを実線で示す。補正レンズ２３のシフト後において、撮影レンズ２０が非合焦状態に存在する被写体９１を捉えている場合には、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐｇ〜Ｐｌのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達することになる。

例えば、部分領域Ｐｄを通過した被写体光束は、図６の右図の拡大図に示すように、主光線Ｒｊとして、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８ｄへ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８ａ〜１０８ｃ、１０８ｅ、１０８ｆへは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８ａ〜１０８ｃ、１０８ｅ、１０８ｆへ入射する。

繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８ａ〜１０８ｆへ到達する被写体光束は、被写体９１の互いに異なる微小領域であり、かつ、各々の微小領域においてシフト前に光電変換素子１０８ａ〜１０８ｆが受光した被写体光束を放射した物点とは異なる物点から放射される。すなわち、開口部１０４ｄに対応する光電変換素子１０８ｄへは主光線をＲｊとする被写体光束が入射し、他の開口部に対応する光電変換素子１０８ａ〜１０８ｃ、１０８ｅ、１０８ｆへは主光線をＲｇ^＋、Ｒｈ^＋、Ｒｉ^＋、Ｒｋ^＋、Ｒｌ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体９１の互いに異なる微小領域であり、かつ、シフト前に光電変換素子１０８ａ〜１０８ｆが受光した被写体光束を放射した微小領域とは異なる微小領域から放射される。

すると、撮像素子１００の全体で見た場合、シフト前において、開口部１０４ａから１０４ｆに対応して形成される６つの視差像に加えて、さらに、６つの視差像が形成されることになる。そして、６つの部分領域Ｐｇ〜Ｐｌに対応する画素の出力をそれぞれ寄せ集めると、新たに６つの視差画像が得られる。つまり、補正レンズ２３がシフトされることによって、１２の視差画像が得られることになる。

なお、補正レンズ２３のシフト前において、部分領域Ｐａが瞳の端に位置する場合には、補正レンズ２３のシフト後において、部分領域Ｐａに対応する部分領域Ｐｇが存在しない場合があり得る。この場合、光電変換素子１０８ａは、部分領域Ｐｇからの入射光束を受光することはできない。したがって、この場合には、補正レンズ２３のシフトの結果として、新たに５つの視差画像が得られることになる。

続いて、視差画素数の増加の具体例について説明する。上述の例では、視差画素の種類を６つとして説明したが、以降では、説明を簡単にするために、視差画素の種類を４つとして説明する。また、上述の例では、繰り返しパターン１１０として視差画素が連続して配列された例について説明したが、隣接する視差画素間に視差なし画素が配置されてもよい。この場合には、各視差画素間に同数の視差なし画素が配置される。以降の説明では、隣接する視差画素間に視差なし画素が配置された例について説明する。

図７は、視差画像数の増加処理の一例を説明する図である。図７は、撮像素子１００における一つの繰り返しパターン１１０がシフトされる様子を示している。この例における繰り返しパターン１１０は、左右に８画素、上下に１画素の８画素からなり、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する視差画素が、１画素おきに配置されている。ここで、この例における繰り返しパターン１１０は、微小領域からの被写体光束に対して、視差を形成する一つの画素セットとなる。また、この例においては、隣接する視差画素間にはそれぞれ、１つの視差なし画素が配置されている。したがって、隣接する視差画素間の距離のそれぞれは同一となる。この隣接する視差画素間の距離を相互距離Ｄとする。ここでは、相互間隔Ｄは２画素ピッチ（＝２Ｐ）に相当する。また、相互間隔に満たない距離、すなわちシフト量をＤ／２とする。相互間隔に満たない距離Ｄ／２は、１画素ピッチ（＝１Ｐ）に相当する。また、ここでは、紙面左側から右側へ徐々にシフトする開口マスク１０３が用いられているので、左右方向の視差が形成されることになる。したがって、開口マスク１０３によって定められる視差方向は、左右方向である。ここでは、シフト方向として紙面右方向を採用する。

図示するように、撮像素子１００の画素配列に対して、右向きにｉ軸を定める。ｉは入射光束が入射される位置を表しており、ｉの値が異なれば、異なる入射光束が入射することを表す。つまり、ｉの値は、入射光束に対応しているとも言える。例えば、図７（ａ）においてｉ＝１に対応する位置の画素３０１と、ｉ＝２に対応する一の画素３０２には異なる入射光束が入射される。また、撮像素子のシフトの前後において、ｉの値が共通する位置に存在する画素には、同一の入射光束が入射する。ここで、繰り返しパターン１１０における画素３０１に対応する光電変換素子を基準の光電変換素子とする。

本実施の形態において、制御部２０１は、補正レンズ２３を駆動することによって、入射光束を撮像素子１００に対しシフトさせる。ここで、入射光束を基準にすれば、制御部２０１による補正レンズ２３の駆動によって、撮像素子１００が入射光束に対してシフトすることになる。図７以降では、入射光束を固定とした上で撮像素子１００がシフトされた状態を図示している。なお、以降の説明においては、説明の便宜上、「撮像素子のシフト」という文言が登場するが、本実施形態においては、これまでに説明したように、実際に駆動されるのは、あくまで補正レンズ２３である。

制御部２０１は、図７（ａ）に示す状態で、１回目の撮像動作を実行する。その後、制御部２０１は、開口マスク１０３によって定められる視差方向について、光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、基準の光電変換素子（画素３０１）に指向するように、補正レンズ２３を駆動する。これにより、制御部２０１は、入射光束を撮像素子に対してシフトさせる。

したがって、制御部２０１は、左方向にＤ／２だけずれた位置に指向していた入射光束が、基準の光電変換素子（画素３０１）に指向するように、補正レンズ２３を左方向にＤ／２シフトさせる。したがって、入射光束を基準とすれば、相対的には、図７（ｂ）に示すように、繰り返しパターン１１０は、入射光束に対して右方向にＤ／２シフトされる。制御部２０１は、図７（ｂ）に示す状態で２回目の撮像動作を実行する。

ここで、図７（ａ）、図７（ｂ）において、ｉ＝２の位置に着目すると、図７（ａ）においては、繰り返しパターン１１０における画素３０２に対応する光電変換素子が位置している。一方、図７（ｂ）においては、ｉ＝２には画素３０１に対応する基準の光電変換素子が位置している。ｉの値が同一であれば、シフト前後のそれぞれの画素に、同一の入射光束が入射するので、撮像素子のシフト前のｉ＝２に位置する光電変換素子と、シフト後のｉ＝２に位置する光電変換素子には、同一の入射光束が入射することになる。

したがって、画素３０１に対応する基準の光電変換素子は、ｉ＝２に対応する物点とｉ＝２に対応する物点の中間の物点からの入射光束を受光することができる。その結果、視差画素３０１と視差画素３０３の中間の視差画素について、あたかも視差画素がそこにあるかのように出力値を得ることができる。

同様に、繰り返しパターン１１０における画素３０３に対応する光電変換素子を基準の光電変換素子とした場合、画素３０４に対応する光電変換素子を基準の光電変換素子とした場合にもそれぞれ、視差画素３０３と視差画素３０４の中間の視差画素、視差画素３０４と視差画素３０５の中間の視差画素が形成される。よって、画像処理部２０５は、１回目および２回目の撮像動作により得られる画素データの両方を用いることで、７つの視差画像を生成することができる。なお、ここでは、画素３０１と画素３０５の間の領域においてのみ視差が形成されるものとする。

図８は、視差画像数の増加処理の他の例を説明する図である。図８は、撮像素子１００における一つの繰り返しパターン１１０がシフトされる様子を示している。この例における繰り返しパターン１１０は、図７と同一である。したがって、視差方向は、左右方向であり、相互間隔Ｄは、２画素ピッチに相当する。ただし、この例では、相互間隔に満たない距離をＤ／３とする。相互間隔に満たない距離Ｄ／３は、２／３画素ピッチに相当する。

また、図示するように、図７と同様に、撮像素子１００の画素配列に対して、右向きにｉ軸を定める。ｉ軸については、図７で説明した通りである。また、繰り返しパターン１１０における画素３０１に対応する光電変換素子を基準の光電変換素子とする。

制御部２０１は、図８（ａ）に示す状態で、１回目の撮像動作を実行する。その後、制御部２０１は、開口マスクによって定められる視差方向について、光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、基準の光電変換素子（画素３０１）に指向するように、補正レンズ２３を駆動する。

したがって、制御部２０１は、左方向にＤ／３だけずれた位置に指向していた入射光束が、基準の光電変換素子（画素３０１）に指向するように、補正レンズ２３を左方向にＤ／３シフトさせる。したがって、入射光束を基準とすれば、相対的には、図８（ｂ）に示すように、繰り返しパターン１１０は、入射光束に対して右方向にＤ／３シフトされる。制御部２０１は、図８（ｂ）に示す状態で２回目の撮像動作を実行する。

ここで、図８（ｂ）において、画素３０１は、ｉ＝１とｉ＝２の間であるｉ＝２／３に位置している。したがって、画素３０１には、ｉ＝１およびｉ＝２に対応する入射光束とは異なる入射光束が入射する。よって、画素３０１に対応する基準の光電変換素子は、ｉ＝１に対応する物点とｉ＝２に対応する物点の間の物点からの入射光束を受光することができる。その結果、視差画素３０１と視差画素３０３の間の視差画素について、あたかも視差画素がそこにあるかのように出力値を得ることができる。

同様に、繰り返しパターン１１０における画素３０３に対応する光電変換素子を基準の光電変換素子とした場合、画素３０４に対応する光電変換素子を基準の光電変換素子とした場合にもそれぞれ、視差画素３０３と視差画素３０４の間の視差画素、視差画素３０４と視差画素３０５の間の視差画素が形成される。

その後、制御部２０１は、さらに、開口マスクによって定められる視差方向について、光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、基準の光電変換素子（画素３０１）に指向するように、補正レンズ２３を駆動する。ここでは、制御部２０１は、左方向にＤ／３だけずれた位置に指向していた入射光束が、基準の光電変換素子に指向するように、補正レンズ２３を左方向にＤ／３シフトさせる。したがって、入射光束を基準とすれば、相対的には、図８（ｃ）に示すように、繰り返しパターン１１０は、入射光束に対して右方向にＤ／３シフトされる。制御部２０１は、図８（ｃ）に示す状態で３回目の撮像動作を実行する。

ここで、図８（ｃ）において、画素３０１は、ｉ＝２とｉ＝３の間であるｉ＝４／３に位置している。したがって、画素３０１には、ｉ＝２およびｉ＝３に対応する入射光束とは異なる入射光束が入射する。画素３０１に対応する基準の光電変換素子は、ｉ＝２に対応する物点とｉ＝３に対応する物点の間の物点からの入射光束を受光することができる。その結果、図８（ｂ）で形成された新たな視差画素に加えて、視差画素３０１と視差画素３０３の間の視差画素がさらに形成される。

同様に、繰り返しパターン１１０における画素３０３に対応する光電変換素子を基準の光電変換素子とした場合、画素３０４に対応する光電変換素子を基準の光電変換素子とした場合にもそれぞれ、視差画素３０３と視差画素３０４の間の視差画素、視差画素３０４と視差画素３０５の間の視差画素が形成される。よって、画像処理部２０５は、１回目、２回目および３回目の撮像動作により得られる画素データを用いることで、１０の視差画像を生成することができる。ここでは、画素３０１と画素３０５の間の領域においてのみ視差が形成されるものとする。

図９は、カラーフィルタ配列を説明する図である。図９（ａ）は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

図９（ｂ）は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９（ａ）で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

図１０は、視差画像と２Ｄ画像の生成過程を示す概念図である。図の例においては、ベイヤー配列の４画素が左右に４組続く１６画素を繰り返しパターン１１０とする。１６画素のうち、最も左側のＧｂ画素に視差画素１を、左から２番目のＧｂ画素に視差画素２を、左から３番目のＧｂ画素に視差画素３を、最も右側のＧｂ画素に視差画素４を割り当てる。なお、この例においては、図８で説明したように、制御部２０１が補正レンズ２３を駆動させつつ撮像動作を３回実行した場合について説明する。図１０（ａ）は、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図８の例に即して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。図１０（ｂ）は、図１０（ａ）に示す撮像画像データ１〜３から、各視差画素を抽出した図を示す。

図１０（ｂ）に示すように、撮像画像データ１において視差画素１の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿１が生成される。一つの繰り返しパターン１１０に含まれる視差画素１は一つであるので、画像データを形成する各視差画素１は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差画素１の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、画像データは、特定の視点（視点１）から被写体を捉えた一つの視差画像データとなる。

同様に、撮像画像データ２において視差画素１の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿２が生成される。寄せ集められたそれぞれの視差画素１の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、画像データは、特定の視点（視点２）から被写体を捉えた一つの視差画像データとなる。

同様に、撮像画像データ３において視差画素１の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿３が生成される。撮像画像データ１において視差画素２の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿４が生成される。撮像画像データ２において視差画素２の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿５が生成される。撮像画像データ３において視差画素２の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿６が生成される。撮像画像データ１において視差画素３の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿７が生成される。撮像画像データ２において視差画素２の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿８が生成される。撮像画像データ３において視差画素３の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿９が生成される。撮像画像データ１において視差画素４の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、画像データＩｍ＿１０が生成される。

被写体が非合焦位置に存在するときに、一つの繰り返しパターン１１０において、視差画素１〜４は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、視差画素１〜４データのそれぞれにおいて、視差画素１〜４が撮像素子１００上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。補正レンズ２３が右方向にＤ／３シフトされた場合の視差画素１〜３データのそれぞれにおいても、同様のことが言える。したがって、画像データＩｍ＿１〜画像データＩｍ＿１０によって形成される各視差画像は、互いに視差を有する視差画像となる。

また、撮像画像データ１、撮像画像データ２、撮像画像データ３のそれぞれにおいて、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データ１、２Ｄ画像データ２、２Ｄ画像データ３が生成される。このとき、Ｇｂ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Ｇｂ画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、Ｇｒ画素の出力値を代入する。つまり、Ｇｒ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データ１、２Ｄ画像データ２、２Ｄ画像データ３を生成することができる。

なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配して画像データＩｍ＿１〜Ｉｍ＿１０および２Ｄ画像データ１〜３を生成する。

また、２Ｄ画像データ１、２Ｄ画像データ２、２Ｄ画像データ３は、互いに異なる物点に対応する画素データから得られた画像データである。したがって、画像処理部２０５は、いわゆる超解像処理により光電変換素子の数より多い画素数を有する２Ｄ画像データを生成することができる。

図１１は、視差画像撮影モードに設定されている場合の処理フローである。具体的には、図１１は、撮像モードが視差画像撮影モードに設定されている状態において、制御部２０１が、ＳＷ２がオンになったことを検出した場合の処理フローを示す。撮像素子１００に割り振られた視差画素の種類は４つとし、視差画像数として、４、７、１０のいずれかを取り得るとする。

制御部２０１は、ＳＷ２がオンになったことを検出すると、撮像素子１００による撮像動作を実行する（ステップＳ１０１）。１回目の撮像動作においては、補正レンズ２３を用いた振れ補正機能により、シャッタ速度によって定められる露光時間を通じて、撮像素子１００の受光面上に結像する被写体像が静止させられる。また、この撮像動作により得られる各画素の画素データは、画像処理部２０５によって撮像画像データとして生成された後、メモリ２０３に記憶される。

制御部２０１は、撮像動作を行った後、実行した撮像回数を示す変数ｉに１を代入する（ステップＳ１０２）。そして、制御部２０１は、視差画像数が４つに設定されているか判定する（ステップＳ１０３）。視差画像数が４つに設定されている場合には（ステップＳ１０３：Ｙｅｓ）、画像処理部２０５は、ステップＳ１０１で得られた撮像画像データを用いて、互いに視差を有する４つの視差画像データを生成するとともに２Ｄ画像データを生成する（ステップＳ１０４）。

視差画像数が４つに設定されていない場合には（ステップＳ１０３：Ｎｏ）、制御部２０１は、視差画像数が７つに設定されているか判定する（ステップＳ１０５）。視差画像数が７つに設定されている場合には（ステップＳ１０５：Ｙｅｓ）、制御部２０１は、カメラメモリ２１３を参照して、シフト方向ｄに１を、シフト量ａにＤ／２を、必要な撮像回数を示す変数ｍに２をそれぞれ代入する（ステップＳ１０６）。なお、相互距離Ｄは、予めカメラメモリ２１３に記憶されている。また、シフト方向ｄは、１＝左、２＝右を表す。

一方、視差画像数が７つに設定されていない場合には（ステップＳ１０５：Ｎｏ）、視差画像数は１０に設定されていることになる。この場合には、制御部２０１は、カメラメモリ２１３を参照して、シフト方向ｄに１を、シフト量ａにＤ／３を、必要な撮像回数を示す変数ｍに３をそれぞれ代入する（ステップＳ１０７）。

制御部２０１は、シフト方向ｄ、シフト量ａ、必要な撮像回数ｍを設定すると、設定したシフト方向ｄ、シフト量ａに応じて補正レンズ２３を駆動した後（ステップＳ１０８）、再度撮像動作を実行する（ステップＳ１０９）。シフト後の撮像動作においては、補正レンズ２３を用いた振れ補正機能により、シャッタ速度によって定められる露光時間を通じて、撮像素子１００の受光面上のシフト分だけずれた領域に結像する被写体像が静止させられる。また、この撮像動作により得られる各画素の画素データについても、画像処理部２０５によって撮像画像データとして生成された後、メモリ２０３に記憶される。

制御部２０１は、実行した撮像回数ｉを１だけ計数し（ステップＳ１１０）、実行した撮像回数ｉが、必要な撮像回数ｍに達しているか判定する（ステップＳ１１１）。実行した撮像回数ｉが、必要な撮像回数ｍに達していれば（ステップＳ１１１：Ｙｅｓ）、ステップＳ１０４に移行する。例えば、視差画像数が７つに設定されている場合には、実行した撮像回数ｉは、必要な撮像回数ｍに達しているので、ステップＳ１０４に移行することになる。この場合、画像処理部２０５は、ステップＳ１０１、およびステップＳ１０９で得られた２つの撮像画像データを用いて、互いに視差を有する７つの視差画像データを生成するとともに２Ｄ画像データを生成する。

実行した撮像回数ｉが、必要な撮像回数ｍに達していなければ（ステップＳ１１１：Ｎｏ）、ステップ１０８に移行する。例えば、視差画像数が１０に設定されている場合には、ステップＳ１１１の一度目の判定時において、実行した撮像回数ｉが必要な撮像回数ｍに達していないので、ステップ１０８に移行することになる。ステップＳ１１１の二度目の判定時においては、実行した撮像回数ｉは、必要な撮像回数ｍに達しているので、ステップＳ１０４に移行することになる。この場合、画像処理部２０５は、ステップＳ１０１、およびステップ１０９で得られた３つの撮像画像データを用いて、互いに視差を有する１０の視差画像データを生成するとともに２Ｄ画像データを生成する（ステップＳ１０４）。

なお、画像処理部２０５は、視差画像データおよび２Ｄ画像データの生成の一方を省略してもよい。例えば、撮影モードが視差画像撮影モードに設定されている場合には、画像処理部２０５は、２Ｄ画像データの生成を省略してもよい。

以上の説明では、シフトユニットとして補正レンズユニットを例に挙げて説明したが、デジタルカメラが例えば撮像素子シフト式の手振れ補正機構を採用している場合には、シフトユニットは、撮像素子をｘｙ方向にシフトさせる撮像素子シフトユニットとして実現されてもよい。この場合には、制御部２０１による制御に従って撮像素子シフトユニットが撮像素子１００をシフトさせることによって、被写体像を撮像素子１００に対してシフトさせることができる。

以上の説明では、光束制限部として開口マスク１０３を例に挙げて説明したが、光電変換部上に反射膜を設けることによって光束制限部を実現してもよい。この場合、反射膜は、一組の光電変換素子群における光電変換素子のそれぞれが入射光束に対して互いに異なる部分光束を通過させるように位置づけられた上で形成される。

以上の説明では、開口マスク１０３の作用によって光電変換素子が受光する被写体光束に視差が生じたが、マイクロレンズ、シリンドリカルレンズ等の集光レンズの作用によって視差を生じさせることもできる。集光レンズの作用によって視差を生じさせる構成について簡単に説明すると、当該構成では、一つの集光レンズに対して複数の光電変換素子が対応するよう配置される。そして、集光レンズは、複数の光電変換素子のそれぞれに、入射光束における互いに異なる部分光束を入射させる。したがって、この場合には、集光レンズを光束制限部とみなすことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ フォーカスレンズ、２３ 補正レンズ、３０ 本体ユニット、５０ レンズユニット、１００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ 表示制御部、２１１ ＡＦセンサ、２１２ レリーズスイッチ、２１３ カメラメモリ、２２０ メモリカード、２３１ レンズ制御部、２３２ レンズメモリ、２３３ フォーカスレンズ駆動部、２３４ 補正レンズユニット、２３５ 補正レンズ駆動部、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン

Claims (6)

1. 隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子と、
   前記入射光束を前記撮像素子に対してシフトさせるシフトユニットを、前記光束制限部の配置によって定められる視差方向について、前記光束制限部が設けられた前記光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、前記光束制限部が設けられた基準となる前記光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動しつつ、前記撮像素子による複数回の撮像動作を実行して、前記シフトユニットをシフトする前後において前記入射光束が瞳を通過する部分領域の位置を異ならせる撮像制御部と
   を備える撮像装置。
2. 前記撮像制御部は、前記相互間隔に満たない距離を前記相互間隔の１／ｍ（ｍは２以上の整数）とする場合は、ｍ回の前記撮像動作を実行する請求項１に記載の撮像装置。
3. ユーザから生成する視差画像数を受け付ける受付部を備え、
   前記撮像制御部は、前記受付部が受け付けた前記視差画像数に基づいて前記シフト方向および前記シフト量を定める請求項１または２に記載の撮像装置。
4. 複数回の前記撮像動作により取得された複数の撮像画像データのうち前記光束制限部が設けられた前記光電変換素子の出力に基づいて、互いに視差を有する複数の視差画像データを生成する画像処理部を備える請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画像処理部は、複数回の前記撮像動作により取得された複数の撮像画像データのうち前記光束制限部が設けられていない前記光電変換素子の出力に基づいて、前記光電変換素子の数より多い画素数を有する２Ｄ画像データを生成する請求項４に記載の撮像装置。
6. 隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子による撮像動作を実行する第１撮像ステップと、
   前記入射光束を前記撮像素子に対してシフトさせるシフトユニットを、前記光束制限部の配置によって定められる視差方向について、前記光束制限部が設けられた前記光電変換素子の相互間隔に満たない距離だけずれた位置に指向していた入射光束が、前記光束制限部が設けられた基準となる前記光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動するシフトステップと、
   前記撮像素子による撮像動作を再度実行して、前記シフトユニットをシフトする前後において前記入射光束が瞳を通過する部分領域の位置を異ならせる第２撮像ステップと
   をコンピュータに実行させる撮像プログラム。

Images