JP5628914B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置および撮像方法に関する。

従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。

特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行なって、立体視画像を生成する構成が開示されている。

特許文献２には、偏光素子を設け、光路別に撮像素子に受光させることで、単一の撮影光学系で位相情報を得る構成が開示されている。

特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像素子とを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。

特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。

特許文献５には、複数の撮影光学系を備えた複眼撮像装置において、２Ｄ動画、３Ｄ動画それぞれの撮影用に設定された周期で露出制御を行う構成が開示されている。３Ｄ動画撮影では、深度を変えないため、メカ絞りをできるだけ動かさない。

特表２００９−５２７００７号公報 特開２００９−１６８９９５号公報 特開平１０−４２３１４号公報 特開２００８−２９９１８４号公報 特開２００８−１８７３８５号公報

単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の広ダイナミックレンジの平面画像を生成しようとすると、非合焦部分で階調が破綻してしまう。このような階調破綻のしくみについて、以下説明する。

まず、図１２Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明しておく。撮像素子１６に結像された３つの像９１ａ、９２ａ、９３ａのうち、撮像素子１６で焦点が合うのは、合焦面Ｄ上にある被写体９２の像９２ａだけである。被写体９１の撮影レンズ１２からの距離は合焦面Ｄよりも遠く、その合焦像９１ｄは撮像素子１６よりも撮影レンズ１２に近いところに形成されるので、被写体９１の像９１ａは焦点が合わずにぼやけた像、すなわちボケた像となる。また、被写体９３の撮影レンズ１２からの距離は合焦面Ｄよりも近く、その合焦像９３ｄは撮像素子１６よりも撮影レンズ１２から遠いところに形成されるので、被写体９３の像９３ａも焦点が合わずにボケた像となる。

次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図１２Ｂに示すように撮影レンズ１２の瞳をシャッタ９５によって上方のみに制限した状態と、図１２Ｃに示すように撮影レンズ１２の瞳をシャッタ９５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像素子１６上の像のボケ量（像の焦点が合っていない量）および位置は、図１２Ａに示した単眼撮像装置と異なる。即ち、図１２Ｂに示した状態では、図１３Ｂに示すように、被写体９１の像９１ｂは、瞳分割なしの場合（図１３Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９３の像９３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図１３Ｃに示した状態では、図１３Ｃに示すように、被写体９１の像９１ｃは、瞳分割なしの場合（図１３Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９３の像９３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。

このような単眼３Ｄ撮像装置において、図１３Ｂに示した画像と図１３Ｃに示した画像とでは、像９１ｂと像９１ｃ、像９３ｂと像９３ｃとで、結像位置がズレている。即ち、高解像度平面画像の撮影の際、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過することで、同一被写体の像が撮像素子１６の異なる位置に結像することになる。従って、異なる露光時間で露光して得られた二つの平面画像を画素加算すると、視差に起因した階調の破綻が発生するという問題がある。

特許文献１〜５には、視差に起因した階調の破綻を改善することができる構成について、開示がない。

なお、特許文献４に記載の構成では、広ダイナミックレンジの画像を生成することができない。また、単純に近傍画素同士で画素加算を行なうだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。

特許文献５に記載の構成は、複眼方式であるため、小絞りにしても結像ズレは発生せず、また、絞りを切り替えないことに主眼が置かれている。

本発明はこのような事情に鑑みてなされたもので、瞳分割に因る結像ズレを低減して、広ダイナミックレンジ画像の品質を向上させることができる撮像装置および撮像方法を提供することを目的とする。

前記目的を達成するために、本発明は、単一の撮影光学系と、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備え、第１の画素群および第２の画素群により同一のシーンを撮像して第１の画素群の画素データおよび第２の画素群の画素データからなる立体視画像を生成可能な撮像装置であって、第１の画素群の画素データと第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、第１の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに同一露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、第２の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに異なる露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、撮像素子に入射する光束が通過する光路中に配置された絞り装置と、第２の平面撮影モードの撮影時には、絞り装置の絞り値を第１の平面撮影モードの撮影時の絞り値よりも大きくする絞り制御手段と、を備えたことを特徴とする撮像装置を提供する。

即ち、第２の平面撮影モード（ＤＲモード）の撮影時には、第１の平面撮影モードの撮影時よりも絞り装置の絞り値を大きくするので、瞳分割に因る結像ズレが低減し、広ダイナミックレンジの平面画像の品質を向上させることが可能となる。

なお、絞り装置は、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズ（レンズ群）によって構成され、レンズ群の中に配置されている場合もある。

本発明の一実施形態では、第１の画素群と第２の画素群は２次元に配列されている受光素子からなり、撮像素子には第１の画素群の各画素と第２の画素群の各画素とが互いに隣接して配置されていることが好ましい。

本発明の一実施形態では、撮影光学系を通過した光束を分割する光学部材を備え、撮像素子は、光学部材により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子と第２の画素群を有した第２の撮像素子とによって構成されていることが好ましい。

本発明の一実施形態では、第１の平面撮影モードの撮影の場合、絞り制御手段は、絞り装置を開放状態にすることが好ましい。

また、本発明の一実施形態では、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段と、を備え、絞り制御手段は、第１の平面撮影モードの撮影時に、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入するか否かを制御することが好ましい。

即ち、第１の平面撮影モード（ＳＮモード）の撮影時には、絞りに因る回析を回避して更に高品位の画像を得ることができる。

なお、減光フィルタは、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズ（レンズ群）によって構成され、レンズ群の中に配置されている場合もある。

本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を備え、絞り制御手段は、第２の平面撮影モードの撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。

本発明の一実施形態では、絞り制御手段は、第２の平面撮影モードの撮影時に、被写体距離が閾値よりも大きい場合には、絞り装置を開放状態にすることが好ましい。

即ち、第２の平面撮影モード（ＤＲモード）の撮影時でも、被写体距離が大きい場合には、結像ズレが少ないため、絞り装置を開放状態にすることで、絞りに因る回析を回避して更に高品位の広ダイナミックレンジ画像を得ることができる。

本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を備え、絞り制御手段は、第２の平面撮影モードの撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。

本発明の一実施形態では、記絞り制御手段は、第２の平面撮影モードの撮影時に、焦点距離が閾値以下の場合には、絞り装置を開放状態にすることが好ましい。

即ち、第２の平面撮影モード（ＤＲモード）の撮影時でも、撮影光学系の焦点距離が小さい場合には、結像ズレが少ないため、絞り装置を開放状態にすることで、絞りに因る回析を回避して更に高品位の広ダイナミックレンジ画像を得ることができる。

本発明の一実施形態では、絞り制御手段は、第２の平面撮影モードの撮影時に、絞り装置を開放状態にした場合には、被写体輝度に基づいて、減光フィルタを挿入状態にするか否かを切り替えることが好ましい。

即ち、第２の平面撮影モード（ＤＲモード）の撮影時に、絞り装置を開放状態にした場合でも、減光フィルタにより輝度調整を行なって、更に高品位の画像を得ることが可能となる。

また、本発明は、単一の撮影光学系と、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子と、撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、第１の画素群および第２の画素群により同一のシーンを撮像して第１の画素群の画素データおよび第２の画素群の画素データからなる平面画像を取得する生成撮像方法であって、第１の画素群の画素データと第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、第２の平面撮影モードの撮影の場合に、絞り装置の絞り値を第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、第１の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに同一露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、第２の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに異なる露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、を含む撮像方法を提供する。

本発明の一実施形態では、第１の平面撮影モードの撮影の場合、絞り装置を開放状態にすることが好ましい。

本発明の一実施形態では、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段とを用い、第１の平面撮影モードの撮影時に、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入するか否かを制御することが好ましい。

本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を用い、第２の平面撮影モードの撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。

本発明の一実施形態では、第２の平面撮影モードの撮影時に、被写体距離が閾値よりも大きい場合には、絞り装置を開放状態にすることが好ましい。

本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を用い、第２の平面撮影モードの撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。

本発明の一実施形態では、第２の平面撮影モードの撮影時に、焦点距離が閾値以下の場合には、絞り装置を開放状態にすることが好ましい。

本発明の一実施形態では、第２の平面撮影モードの撮影時に、絞り装置を開放状態にした場合には、被写体輝度に基づいて、減光フィルタを挿入状態にするか否かを切り替えることが好ましい。

本発明によれば、瞳分割に因る結像ズレを低減して偽解像を改善することで、広ダイナミックレンジ画像の品質を向上させることができる。

本発明に係る撮像装置のハードウェア構成例を示すブロック図 撮像素子の構成例を示す図 撮像画素を示した図 図３の要部拡大図 第１実施形態における撮像装置の要部ブロック図 第１実施形態における撮像処理例の流れを示すフローチャート 第２実施形態における撮像処理例の流れを示すフローチャート 第３実施形態における撮像装置の要部ブロック図 第３実施形態における撮像処理例の流れを示すフローチャート 撮影モード設定処理の流れを示すフローチャート ベイヤ配列の例を示す模式図 本発明の課題の説明に用いる説明図であって、図１２Ａは瞳分割なしの撮像系の要部を示す説明図、図１２Ｂおよび図１２Ｃは瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 本発明の課題の説明に用いる説明図であって、図１２Ａは瞳分割なしの撮像系での結像の様子を示す模式図、図１２Ｂおよび図１２Ｃは瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図 瞳分割の他の例を示す説明図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜撮像装置の全体構成＞
図１は本発明に係る撮像装置１０の実施の形態を示すブロック図である。

この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、ＤＲモード、ＳＮモード等の撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して撮像素子１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。

絞り１４は、撮像素子１６に入射する光束が通過する光路１３中に配置され、例えば、５枚の絞り羽根からなる。絞り１４は、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。なお、図１には、撮影レンズ１２と撮像素子１６と間に絞り１４を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中に絞り１４が配置されている場合もある。

ＮＤフィルタ１５（減光フィルタ）は、撮像素子１６に入射する光量を減少させるデバイスであり、撮像素子１６に入射する光束が通過する光路１３中に挿入可能である。なお、図１には、撮影レンズ１２と撮像素子１６との間にＮＤフィルタ１５を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中にＮＤフィルタ１５が配置されている場合もある。

ＮＤフィルタ１５は、フィルタ挿抜駆動部３３により、光路１３中に挿入された挿入状態と、光路１３から外れた非挿入状態とが切り替えられる。ＮＤフィルタ１５の枚数は、特に限定されない。複数枚（例えば５枚）のフィルタにより構成されていてもよい。

ＣＰＵ４０は、撮像素子制御部３２を介して撮像素子１６での露光時間（電荷蓄積時間）や撮像素子１６での画像信号の読み出しを制御する。また、ＣＰＵ４０は、撮像素子制御部３２を介して撮像素子１６での画素加算を制御する。また、ＣＰＵ４０は、フィルタ挿抜制御部３３を介して、ＮＤフィルタ１５の挿入状態および非挿入状態を切り替える。また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御する。

＜単眼３Ｄ撮像素子の構成例＞
図２は撮像素子１６の構成例を示す図である。

撮像素子１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像素子１６の画素配列は、ハニカム配列となっている。

図３は撮影レンズ１２、絞り１４、及び撮像素子１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４Ａに示すように通常の撮像素子の画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、撮像素子１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。図４Ａに示すように、主画素ＰＤａ群と副画素ＰＤｂ群とは２次元に配列されている受光素子ＰＤａ、ＰＤｂからなり、撮像素子１６には主画素ＰＤａと副画素ＰＤｂとが互いに隣接して配置されている。

尚、上記構成の撮像素子１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、撮像素子１６に蓄積された信号電荷は、撮像素子制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。本例の撮像素子１６は、画素加算機能を有しており、ＣＰＵ４０の制御により撮像素子制御部３２を介して画素加算を指示された場合、その指示に従って画素加算を行なう。ＤＲモードの場合、異なる露光時間で露光された主画素の電荷（画素値）と副画素の電荷（画素値）とを加算する。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、コントラスト強調、輪郭補正等の所定の信号処理を行う。

また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。

ここで、図２Ｂ及びＣに示すように、撮像素子１６の奇数ラインの主画素から読み出される主画素データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画素データは、右視点の平面画像（以下「右画像」という）として処理される。

デジタル信号処理部２４で処理された左画像及び右画像は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値（ＡＥ評価値）をＣＰＵ４０に出力する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データ及び右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データ及び右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。このＡＦ制御中に、ＡＦ処理部４２は、合焦した被写体の被写体距離を算出する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左画像及び右画像の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

次に、本発明を第１実施形態〜第３実施形態に分けて、以下説明する。

＜第１実施形態＞
図５は、撮像装置１０の要部の詳細を示すブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。

本実施形態の撮像装置１０において、ＣＰＵ４０は、撮影モード設定制御部６２、ＡＥ制御部６４、ＡＦ制御部６６、撮影実行制御部６８および絞り制御部７０を含んで構成されている。

撮影モード設定制御部６２は、操作部３８により撮影モードの設定入力を受け付け、受け付けた撮影モードをメモリ４８に記憶する。

撮影モードには、３Ｄ画像（立体視画像）を取得する３Ｄ撮影モードと、２Ｄ画像（平面画像）を取得する２Ｄ撮影モードがある。さらに、２Ｄ撮影モードには、ＤＲモード（ＤＲ撮影モード）とＳＮモード（ＳＮ撮影モード）とがある。

ＤＲ（広ダイナミックレンジ）モードでは、撮像素子１６の主画素と副画素とで異なる露光時間の露光を行なって、これらの露光時間の異なる複数の画素間で電荷（画素値）を加算する。このＤＲモードの画素加算によれば、明るい撮影シーンでも広ダイナミックレンジの２Ｄ画像（ＤＲ画像）を得られる。即ち、ＤＲモードは、特別な２Ｄ撮影モードであって、主画素群および副画素群のうち一方の画素値を用いる２Ｄ撮影モード（２Ｄノーマルモード）とは異なり、主画素群および副画素群の両方の画素値（画素データ）を用いて２Ｄ画像を生成する。

ＳＮ（ノイズ低減）モードでは、撮像素子１６の主画素と副画素とで同一露光時間の露光を行なって、これらの同一露光時間の複数の画素間で電荷（画素値）を加算する。このＳＮモードの画素加算によれば、暗い撮影シーンでも明るい画像（例えば３Ｄ画像）を得られる。もしもＳＮモードの画素加算ではなく信号のゲインアップ（増幅）を行ったとすると、そのゲインアップに伴いノイズも増大してしまうが、ＳＮモードでは同一露光時間の複数の画素間で電荷の加算を行なうため、ノイズが少なく且つ明るい画像を得られる。また、ＳＮモードでは、同一露光時間の画素間で画素加算を行なうので、結像ズレの影響（偽解像）が解消する。

ＡＥ制御部６４は、後述の絞り制御部７０の制御に従ってＡＥ制御を行うものであり、ＡＥ検出部４４から出力される積算値に基づいてＥＶ値（被写体輝度）を算出し、絞り制御部７０の制御に従って、ＥＶ値に基づいて絞り１４の絞り値、ＮＤフィルタ１５の挿入有無（挿入状態／非挿入状態）、および撮像素子１６のシャッタ速度を決定し、決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御し、決定したＮＤフィルタ１５の挿入有無に基づいてフィルタ挿抜駆動部３３を介してＮＤフィルタ１５の挿入状態／非挿入状態を切り替え、決定したシャッタ速度に基づいて撮像素子制御部３２を介して撮像素子１６での露光時間（電荷蓄積時間）を制御する。

ＡＦ制御部６６は、ＡＦ処理部４２を制御することで、コントラストＡＦ処理または位相差ＡＦ処理を行う。このＡＦ制御中に、合焦した被写体の被写体距離をＡＦ処理部４２から取得する。

撮影実行制御部６８は、撮像素子制御部３２を介して撮像素子１６での電荷蓄積および電荷（画素データ）の読出しを制御して、主画素群の画素データからなる左画像と副画素群の画素データからなる右画像とを取得する。

また、撮影実行制御部６８は、撮像素子制御部３２を介して撮像素子１５を制御し、撮像素子１５にて主画素と副画素との画素値の加算（主副画素加算）を行なう。

３Ｄノーマルモードの撮影の場合、撮影実行制御部６８は、撮像素子１６により被写体を撮像して、左画像および右画像の組からなる３Ｄ画像（立体視画像）を取得し、その３Ｄ画像をメディアＩ／Ｆ５２を介して記録メディア５４に記録する。ＳＮモードの撮影の場合は、主画素同士および副画素同士で画素加算した３Ｄ画像を生成して、記録メディア５４に記録する。

ＳＮモードの撮影の場合、撮影実行制御部６８は、撮像素子１６の主画素群と副画素群とに同一露光時間の露光を行わせて主画素群の画素データと副画素群の画素データとの画素加算を行うことで一枚のノイズ低減の平面画像を生成して、メディアＩ／Ｆ５２を介して記録メディア５４に記録する。ＤＲモードの撮影の場合、撮影実行制御部６８は、撮像素子１６の主画素群と副画素群とに異なる露光時間の露光を行わせて主画素群の画素データと副画素群の画素データとの画素加算を行うことで、一枚の広ダイナミックレンジの平面画像（広ダイナミックレンジ画像）を生成して、メディアＩ／Ｆ５２を介して記録メディア５４に記録する。

絞り制御部７０は、撮影実行制御部６８の指示に従って、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を切り替える。また、絞り制御部７０は、撮影実行制御部６８の指示に従って、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５の挿入状態と非挿入状態とを切り替える。挿入状態は、ＮＤフィルタ１５が光路１３中（光軸上）に挿入された状態であり、非挿入状態は、ＮＤフィルタ１５が光路１３から外れた状態である。なお、ＮＤフィルタ１５の枚数は複数枚でもよく、複数枚の場合には挿入枚数を制御する。

絞り制御部７０は、ＳＮモードの撮影時、絞り装置７０を開放状態（絞り値を最小値）にするとともに、ＡＥ制御部６４により取得された被写体輝度に基づいて、ＮＤフィルタ１５を撮影レンズ１２から撮像素子１６までの光路１３中に挿入した挿入状態にするか非挿入状態にするかを制御する。

また、本実施形態の絞り制御部７０は、ＤＲモードの撮影時、絞り１４の絞り値を立体視画像の撮影時（本例ではＳＮモード）の絞り値よりも大きくするとともに、ＮＤフィルタ１５を非挿入状態にする。

図６は、第１実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によりプログラムに従って実行される。

ステップＳ２にて、ＡＥ制御部６４により、ＡＥ処理を行なう。このＡＥ処理にて被写体輝度（ＥＶ値）が算出される。

ステップＳ４にて、ＡＦ制御部６６により、ＡＦ（自動合焦）処理を行なう。このＡＦ処理にて、合焦した主要被写体の被写体距離が取得される。

ステップＳ６にて、撮影モードを判定する。

なお、撮像装置１０の撮影モードは実際には各種あるが、本発明の特徴の理解を容易にするため、撮影モードをＤＲモードおよびＳＮモードに限定して説明して、以下説明する。なお、本例のＳＮモードでは画素加算の３Ｄ画像が生成される。

撮影モードがＳＮモードである場合にはステップＳ８に進み、ＤＲモードである場合には、ステップＳ１４に進む。

ＳＮモードの場合、ステップＳ８にて、ＡＥ制御部６４により取得された被写体輝度が、閾値Ｔｅｖよりも大きいか否かを判定する。

被写体輝度が閾値Ｔｅｖよりも大きい場合（明るい場合）には、ステップＳ１０にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態に設定する。

被写体輝度が閾値Ｔｅｖ以下である場合（暗い場合）には、ステップＳ１２にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。

ＤＲモードの場合、ステップＳ１４にて、絞り制御部７０は、絞り駆動部３４を介して絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。

ここで、絞り値の規定値は、左画像と右画像とで同一被写体の結像位置を３Ｄ撮影時よりも近づけることで、視差に起因した偽解像を許容範囲内とする絞り値である。なお、規定値は、被写体距離、焦点距離、立体視環境（表示画面のサイズ、表示画面の解像度、観視距離など）やユーザの立体視融合限界などによっても異なるが、絞り１４の絞り値をＳＮモードおよび３Ｄ撮影時よりも大きくさせる値である。

絞り制御部７０は、例えば、絞り１４を開放に対して１段以上絞る。例えば、開放がＦ２．８の場合にはＦ４以上、開放がＦ５．６の場合にはＦ８以上といったように、ＳＮモードの撮影時（開放）よりも１段以上大きな絞り値を設定する。被写体輝度が大きい（明るい）場合には、２段以上絞ることが、望ましい。

ステップＳ１６にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の露光を制御する。ＤＲモードの場合には、主画素と副画素とで異なる露光時間の露光を行なって、主画素と副画素との間で画素加算を行なう。ＳＮモードの場合には、全画素を同一の露光時間で露光を行って、画素加算を行なう。

ステップＳ１８にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の主画素および副画素からの画素データ（電荷）の読み出しを制御する。読み出された信号はＡ／Ｄ変換器２０によりアナログからデジタルに変換される。

ステップＳ２０にて、デジタル信号処理部２４等により、左画像および右画像に対し、所定のデジタル信号処理を行なう。

ステップＳ２２にて、圧縮伸張処理部２６により、画像圧縮を行なう。

ステップＳ２４にて、メディアＩ／Ｆ５２により、３Ｄ画像、または、２Ｄ画像（本例では、ＤＲモードの２Ｄ画像、または、ＳＮモードの２Ｄ画像）を、記録メディア５４に記録する。

第１実施形態におけるＤＲモードの撮影では、必ず絞り１４（絞り装置）により絞る。従来は、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過して同一被写体の像が撮像素子１６の異なる位置に結像することに因り、画素加算した２Ｄ画像に階調の破綻が発生していたが、本実施形態の撮像装置１０は、絞り１４（絞り装置）により絞るので、結像位置が近づくことで階調の破綻が解消される。また、ＳＮモードでは、絞り１４（絞り装置）を開放するとともに、被写体輝度に基づいてＮＤフィルタ１５を挿入状態にするか否かを制御するので、輝度調整を行なうことできる。

以上、ＤＲモードとＳＮモードについて説明したが、他のモードで撮影してもよいことは、いうまでもない。

なお、ＳＮモードにおいて、ＮＤフィルタ１５を挿入した状態とするか、絞り１４を絞るかを、操作部３８の設定入力により切り替え可能に構成してもよい。

＜第２実施形態＞
次に、第２実施形態の撮像装置について、図５を用いて説明する。なお、以下では、主として第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。

本実施形態の絞り制御部７０は、ＤＲモードの撮影時、ＡＦ制御部６６により取得された主要被写体の被写体距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、ＤＲモードの撮影時、合焦した主要被写体の被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）には、絞り１４を開放状態（絞り値を最小値）に設定し、合焦した主要被写体の被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にする。

図６は、第２実施形態の撮像処理の流れを示すフローチャートである。

ステップＳ２〜Ｓ１２は、第１実施形態と同様である。

ＤＲモードの場合、ステップＳ１３ａにて、絞り制御部７０は、ＡＦ制御部６６により取得された主要被写体の被写体距離が閾値Ｔｓよりも大きいか否かを判定する。

被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）にはステップＳ１４に進み、被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）にはステップＳ１５に進む。

ステップＳ１４は、第１実施形態と同様である。即ち、絞り制御部７０は、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。

ステップＳ１５にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放状態に設定するとともに、被写体輝度に基づいて、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態にするか否かを切り替える。

以上のように、本実施形態では、合焦した主要被写体の被写体距離が大きい（被写体が遠い）場合、左画像と右画像とで結像ズレが少なくなるため、ＤＲモードでも、絞り１４を開放状態に設定する。絞りを小さくした場合には回析に因り画質が低下してしまうが、ＮＤフィルタ１５を挿入するとともに開放状態（絞り値を最小値）にすることで、回析に因る画質の低下を防止する。また、被写界深度を一定に維持した撮影が可能となる。なお、被写体距離が小さい場合には、前述の偽解像の影響が大きくなるため、回析は許容して絞り１４を絞ればよい。

なお、被写体距離をＡＦ制御部６６によりＡＦ制御に伴って取得する場合を例に説明したが、このような場合には特に限定されず、例えば距離センサ等により直接的に検出してもよい。

＜第３実施形態＞
次に、第３実施形態の撮像装置について、図８を用いて説明する。なお、以下では、主として図５および図６に示した第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。

図７は、第３実施形態における撮像装置１０の要部を示すブロック図である。なお、図７において図１および図５に示した構成要素には同じ符号を付してある。

撮影レンズ１２は、ズームレンズを有しており、焦点距離取得部７２は、撮影レンズ１２の焦点距離を取得する。

本実施形態の絞り制御部７０は、ＤＲモードの撮影時、焦点距離取得部７２により取得された撮影レンズ１２の焦点距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、ＤＲモードの撮影時、焦点距離が閾値Ｔｚよりも大きい場合（焦点距離が長い場合）には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にし、焦点距離が閾値Ｔｚ以下である場合（焦点距離が短い場合）には、絞り１４を開放状態（絞り値を最小値）に設定する。

図８は、第３実施形態の撮像処理の流れを示すフローチャートである。

ステップＳ２〜Ｓ１２は、第１実施形態と同様である。

ＤＲモードの場合、ステップＳ１３ｂにて、焦点距離取得部７２により取得された撮影光学系１２の焦点距離が閾値Ｔｚよりも大きいか否かを判定する。

焦点距離が閾値Ｔｚよりも大きい場合（焦点距離が長い場合）にはステップＳ１４に進み、焦点距離が閾値Ｔｚ以下である場合（焦点距離が短い場合）にはステップＳ１５に進む。

ステップＳ１４〜Ｓ２４は、第１実施形態と同様である。

本実施形態では、撮影レンズ１２の焦点距離が短い場合、左画像と右画像とで結像ズレが少なくなるため、ＤＲモードでも、絞り１４を開放状態（絞り値を最小値）に設定して、ＮＤフィルタ１５を用いて減光を行なう。したがって、被写界深度を一定に維持した撮影が可能となる。

なお、焦点距離の取得態様は特に限定されない。撮影レンズ１２のズームレンズの移動を直接的に焦点距離を検出してもよいし、レンズ駆動部３６におけるズームレンズの駆動信号を監視して焦点距離を求めてもよいし、画像処理により焦点距離を求めてもよい。

＜撮影モード設定処理＞
図１０は、第１実施形態から第３実施形態において共通の撮影モード設定処理の流れを示すフローチャートである。本処理は撮影モード設定制御部６２により実行される。

電源がオンされると撮像装置１０はスタンバイ状態になる。スタンバイ状態では、操作部３８により撮影モードの設定入力操作を受け付け可能になる。

まず、２Ｄ撮影モードおよび３Ｄ撮影モードのうちいずれの設定指示であるかを判定する（ステップＳ５２）。

２Ｄ撮影モードの選択指示の場合、ダイナミックレンジ拡大を行なうか否かの設定指示操作を受け付ける。ダイナミックレンジ拡大であるかを判定し（ステップＳ５４）、Ｙｅｓの場合にはＤＲモードを設定（ステップＳ５６）、Ｎｏの場合にはＳＮモードを設定する（ステップＳ５８）。

３Ｄ撮影モードの選択指示の場合、３Ｄノーマルモードを設定する（ステップＳ６２）。

ＤＲモードおよびＳＮモードは、第１実施形態にて説明した通りであり、それぞれ撮影時に画素加算を行なう。３Ｄのノーマルモードでは、画素加算を行なわないで左画像および右画像からなる立体視画像を記録する。

なお、ＤＲモードおよびＳＮモードの選択指示操作を受け付ける場合を例に説明したが、本発明はこのような場合に特に限定されず、ＤＲモードおよびＳＮモードを自動設定してもよい。例えば、ライブビュー画像（スルー画像）の表示時に、被写体輝度を取得し、２Ｄ撮影モードであって、被写体輝度が明るく、且つ、ダイナミックレンジが閾値以下の場合には、ＤＲモードを自動的に選択してもよい。

また、撮影モードは図１０に例示したモードには特に限定されず、他のモードを設けてよいことは、言うまでもない。例えば、各視点画像（左画像または右画像）よりも高解像度の高解像度２Ｄ画像を生成するモードを設けてもよい。

なお、本発明において、瞳分割の方式は、図３〜図４に示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状に依り瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でも。それ以外の態様でもよい。

また、撮像素子１６は、ＣＣＤ撮像素子に特に限定されない。例えば、ＣＭＯＳ撮像素子であってもよい。

また、撮像素子１６における撮像画素の配列は、図２に示したハニカム配列である場合には、限定されない。図１１ＡまたはＢに配列の一部を模式的に示すベイヤ配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれもベイヤ配列である、ダブルのベイヤ配列となっている。図１１ＡおよびＢにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ−Ｒ、Ｇ−Ｇ、Ｂ−Ｂの二つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素データにより左画像の画素が構成され、他方の画素データにより右画像の画素が構成される。

また、ＤＲモードおよびＳＮモードの画素加算を撮像素子１６内で行う場合を例に説明したが、本発明はそのような場合に特に限定されない。撮像画素１６外で画素加算を行なう場合にも、本発明を適用可能である。即ち、ＤＲモードでは、異なる露光時間で撮像された左画像および右画像を、撮像素子１６から取得した後に、画素加算を実行してもよい。ＳＮモードの場合も、撮像素子１６外で行なってもよい。

また、前述の第１実施形態において、絞り１４の規定値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。

また、瞳分割は、図２〜図４に示したような撮像素子１６（主画素と副画素とが互いに近接して配置されている構造）を用いる場合には、特に限定されない。例えば、図１４に示すように、メインレンズ１及びリレーレンズ２の左右異なる領域を通過した光束をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像するようにしてもよい。つまり、光学部材（ミラー４）により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子７および第２の画素群を有した第２の撮像素子８を備えた撮像装置としてもよい。図１４に示した構成にも本発明を適用できる。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…撮像装置、１２…撮像レンズ、１３…光路、１４…絞り、１５…ＮＤフィルタ（減光フィルタ）、１６…撮像素子、４０…ＣＰＵ、６２…撮影モード設定制御部、６４…ＡＥ制御部（被写体輝度取得手段）、６６…ＡＦ制御部（被写体距離取得手段）、６８…撮影実行制御部、７０…絞り制御部、７２…焦点距離取得部

Claims (14)

1. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備える撮像装置であって、
   前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、
   前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、
   前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、
   前記撮像素子に入射する光束が通過する光路中に配置された絞り装置と、
   前記第２の平面撮影モードの撮影時には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくする絞り制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記第１の画素群と前記第２の画素群は２次元に配列されている受光素子からなり、
   前記撮像素子には前記第１の画素群の各画素と前記第２の画素群の各画素とが互いに隣接して配置されていることを特徴とする請求項１に記載の撮像装置。
3. 前記撮影光学系を通過した光束を分割する光学部材を備え、
   前記撮像素子は、前記光学部材により瞳分割された光束をそれぞれ受光する前記第１の画素群を有した第１の撮像素子と前記第２の画素群を有した第２の撮像素子とによって構成されていることを特徴とする請求項１に記載の撮像装置。
4. 前記第１の平面撮影モードの撮影の場合、前記絞り制御手段は、前記絞り装置を開放状態にすることを特徴とする請求項１ないし３のうちいずれか１項に記載の撮像装置。
5. 前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、
   被写体輝度を取得する被写体輝度取得手段と、を備え、
   前記絞り制御手段は、前記第１の平面撮影モードの撮影時に、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入するか否かを制御することを特徴とする請求項１ないし４のうちいずれか１項に記載の撮像装置。
6. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備える撮像装置であって、
   前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、
   前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、
   前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、
   前記撮像素子に入射する光束が通過する光路中に配置された絞り装置と、
   被写体距離を取得する被写体距離取得手段と、を備え、
   前記第２の平面撮影モードの撮影時には、前記被写体距離取得手段により取得された前記被写体距離が閾値よりも大きい場合には、前記絞り装置を開放状態にし、前記被写体距離が閾値以下の場合には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくすることを特徴とする撮像装置。
7. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備える撮像装置であって、
   前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、
   前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、
   前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、
   前記撮像素子に入射する光束が通過する光路中に配置された絞り装置と、
   前記撮影光学系の焦点距離を取得する焦点距離取得手段と、を備え、
   前記第２の平面撮影モードの撮影時には、前記焦点距離取得手段により取得された前記焦点距離が閾値以下の場合には、前記絞り装置を開放状態にし、前記焦点距離が閾値より大きい場合には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくすることを特徴とする撮像装置。
8. 前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、
   被写体輝度を取得する被写体輝度取得手段と、を備え、
   前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記絞り装置を開放状態にした場合には、前記被写体輝度に基づいて、前記減光フィルタを挿入状態にするか否かを切り替えることを特徴とする請求項６または７に記載の撮像装置。
9. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有し、前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、前記撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる平面画像を取得する撮像方法であって、
   前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、
   前記第２の平面撮影モードの撮影の場合に、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、
   前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、
   を含む撮像方法。
10. 前記第１の平面撮影モードの撮影の場合、前記絞り装置を開放状態にすることを特徴とする請求項９に記載の撮像方法。
11. 前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段とを用い、
    前記第１の平面撮影モードの撮影時に、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入するか否かを制御することを特徴とする請求項９または１０に記載の撮像方法。
12. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有し、前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、前記撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる平面画像を取得する撮像方法であって、
    前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、
    前記第２の平面撮影モードの撮影の場合に、被写体距離を取得する被写体距離取得手段により取得された前記被写体距離が閾値よりも大きい場合には、前記絞り装置を開放状態にし、前記被写体距離が閾値以下の場合には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、
    前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、
    を含む撮像方法。
13. 単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有し、前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像素子と、前記撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる平面画像を取得する撮像方法であって、
    前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、
    前記第２の平面撮影モードの撮影の場合に、前記撮影光学系の焦点距離を取得する焦点距離取得手段により取得された前記焦点距離が閾値以下の場合には、前記絞り装置を開放状態にし、前記焦点距離が閾値より大きい場合には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、
    前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、
    を含む撮像方法。
14. 前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段とを用い、
    前記第２の平面撮影モードの撮影時に、前記絞り装置を開放状態にした場合には、前記被写体輝度に基づいて、前記減光フィルタを挿入状態にするか否かを切り替えることを特徴とする請求項１２または１３に記載の撮像方法。

Images