JP5469258B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する撮像装置および撮像方法に関する。特に本発明は、視差を有する画像の撮影画角を立体的にスルー画として表示する撮像装置および撮像方法に関する。

従来、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する立体撮像装置が存在する。

図７に示す光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図８の（Ａ）〜（Ｃ）部分は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図８では、フォーカスによる分離の違いを比較するために、図７に示したミラー４を省略している。

図８の（Ｂ）部分に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図８の（Ａ）部分及び（Ｃ）部分に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。

特許文献１によると、電子カメラは、撮像部と、光量分布検出部と、像ズレ量検出部と、画像処理部とを有する。撮像部は撮影光学系による被写体像を光電変換して撮影画像データを生成する。光量分布検出部は、異なる光路を通った被写体からの光束による光量分布をそれぞれ検出する。像ズレ量検出部は光量分布に基づいて撮影画面内の複数箇所における像ズレ量を検出する。画像処理部は複数箇所の像ズレ量に基づいて、撮影画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを生成する。また、入力部からの入力に基づいて、ステレオグラム画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを補正する。ステレオグラム画像データを補正することができるので、ユーザにとって違和感がより少ない自然なステレオグラム画像を得ることが可能となる。

特許文献２は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。

特許文献３において、ステレオマッチング処理部（対象物検出手段）４３は、画像処理部４Ａ、４Ｂによってそれぞれ処理され、メモリ部３１に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部４２によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）４４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部２０Ａおよび撮影部２０Ｂの撮影レンズ２１Ａ２、２１Ｂ２の構成は異なり、撮影レンズ２１Ａ２は、ズームレンズおよび該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズ２１Ｂ２は、撮影レンズ２１Ａ２のズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。

特許文献４〜６は単一の光学系を用いた３次元画像生成技術の一例である。例えば特許文献４では、多数の画素を同一撮像面上に配列し、該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において、上記多数の画素を２つのグループに区分けし、各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。

特許文献７〜１１は、異なる視点画像間の対応点検索の方法、ステレオマッチングで奥行き情報を取得する技術、２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。

特許文献１２は、主要被写体だけに焦点を合わせ、主要被写体以外の他の部分を意図的にぼかすため、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得て、複数の画像を合成することで、ぼけ強調画像を得ることができる。

特許文献１３は、撮影しようとする画像を複数のエリアに区分けし、主要被写体の前景又は背景となるエリアについては、エリアの距離に対応する焦点位置からずらして撮像を行う。そして、撮像された各エリアごとの撮像画像から各エリアの画像を個別に抽出し、これらを合成することにより、１枚の画像を作成する。これにより、好みのボケ量の画像を簡単に撮影することができる。

特許文献１４は視差マップ作成方法の一例を示す。

特開2007-104248号公報 特開2009-124308号公報 特開2008-92007号公報、段落００４７−００４８、００７１ 特開2003-7994号公報 特開2001-12916号公報 特開2001-016611号公報 特開平08-331607号公報 特開2008-141666号公報 特開2009-14445号公報 特開2008-116309号公報 特開2000-102040号公報 特開2008-271241号公報 特開2003-209727号公報 特開2010-226500号公報

特許文献４〜６のような、画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する瞳分割式立体撮像装置においては、合焦位置の視差が０となり、非合焦位置ではボケ（デフォーカス量）に応じた視差が生じる。

そのため、上記立体撮像装置で、ボケのない平面画像を得るためには、絞りを絞って焦点深度を深くし、撮影を行う必要がある。しかし、絞りを絞って撮影すると、主要被写体に対して前景や背景をぼかすことができない。瞳分割式立体撮像装置では、クリアな平面画像を得るために、絞りを絞って撮影するため、絵づくりに制約がある。

本発明は、主要被写体に対して前景および背景などの所望の部分をぼかした平面画像を得ることのできる瞳分割式立体撮像装置、ならびに瞳分割式立体撮像装置において上記平面画像を撮像する方法を提供する。

本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像を瞳分割してそれぞれ２つの光電変換素子群に結像して光電変換することで、第１画像および第２画像からなる視点画像の組を連続的に出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、任意の１または複数の第１の時点で、撮像部から出力される視点画像の組の対応点間で視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行可能であるとともに、第１の時点と時間的に前後する任意の第２の時点で、絞り部の開放量が第１の絞り制御の開放量よりも小さくなるよう制御する第２の絞り制御を実行可能な絞り制御部と、第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいて視差情報を算出する視差情報算出部と、第２の時点で撮像部から出力された視点画像の組に基づいて平面画像を作成する平面画像作成部と、視差情報算出部の算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の決定された対象画素にぼかし処理を施すぼかし処理部と、を備える撮像装置を提供する。

視差情報は、各画素の距離情報を含み、ぼかし処理部は、距離情報が所定の第１の距離よりも遠い遠景の画素および／又は距離情報が所定の第２の距離よりも小さい近景の画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。

視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。

ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。

視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す。

ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を対象画素に施す。

第２の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、第１の時点は、第２の時点よりも前の時点である。

第２の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、第１の時点は、第２の時点よりも後の時点である。

絞り制御部は、第２の時点で撮像部から出力される視点画像の組の対応点間で視差を減少させるよう絞り部の開放量を制御する第２の絞り制御を実行可能である。

複数の第１の時点で撮像部から出力された複数の視点画像の組の各々と第２の時点で撮像部から出力された視点画像の組との間の差分を算出する差分算出部を備え、視差情報算出部は、複数の第１の時点で撮像部から出力された複数の視点画像の組のうち、差分算出部が算出した差分が最小となる視点画像の組に基づいて視差情報を算出する。

差分は動きベクトルを含む。

本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像を瞳分割してそれぞれ２つの光電変換素子群に結像して光電変換することで、第１画像および第２画像からなる視点画像の組を連続的に出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、を備える撮像装置が、任意の１または複数の第１の時点で、撮像部から出力される視点画像の組の対応点間で視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行するとともに、第１の時点と時間的に前後する任意の第２の時点で、絞り部の開放量が第１の絞り制御の開放量よりも小さくなるよう制御する第２の絞り制御を実行するステップと、第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいて視差情報を算出するステップと、第２の時点で撮像部から出力された視点画像の組に基づいて平面画像を作成するステップと、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の決定された対象画素にぼかし処理を施すステップと、を実行する撮像方法を提供する。

本発明の撮像装置および撮像方法は、第１の時点では、開放側絞りで視点画像の組を撮像し、該視点画像の組から視差情報を得るとともに、第２の時点では、第１の時点よりも小絞り側で視点画像の組を撮像し、全体的にボケの少ない平面画像を作成し、該視差情報に基づいて該平面画像のぼかし処理を施す対象画素を決定し、その対象画素にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。

第１実施形態に係るカメラのブロック図 瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図 第１、第２画素の１画素ずつを示した図 図３の要部拡大図 第１実施形態に係る平面静止画撮像処理のフローチャート 第２実施形態に係る平面静止画撮像処理のフローチャート 従来の単眼立体撮像装置の一例を示す図 撮像素子に結像する像の分離状態を示す図

＜第１実施形態＞
図１は第１実施形態に係るカメラ１の実施の形態を示すブロック図である。

このカメラ１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

カメラ１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてカメラ１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ）３０の表示制御などを行う。

ＲＯＭ１０には、ＣＰＵ４０が実行するプログラム及び制御に必要な各種データ、ＣＣＤ１６の画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」というが、ＣＭＯＳ等でも可）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜ＣＣＤの構成例＞
図２はＣＣＤ１６の構成例を示す図である。

図２の（Ａ）部分に示すように、ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素と、偶数ラインの画素とを有しており、これらの２つのラインの画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。

図２の（Ｂ）部分に示すように、ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、図２の（Ｃ）部分に示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

２面分の画像信号を構成する第１画素と第２画素の配置領域は同一であってもよいし同一でなくてもよい。例えば、第１画素は有効画素領域全体に渡って存在するが、第２画素の存在領域はＡＦ領域内など特定の領域のみでもよい。第２画素は、有効画素領域全体あるいは特定の領域内に渡って密に配列されてもよいし、粗に配列されてもよい。

具体的には、図２の（Ｄ）部分および（Ｅ）部分のように、第２画素数は第１画素数よりも低くてもよい。図２の（Ｄ）部分および（Ｅ）部分は、白部分で第１画素、黒部分で第２画素を示している。黒部分のカラーフィルタは、ＲＧＢでもよいし（図２の（Ｄ）部分）、輝度情報を取るＧのみ（図２の（Ｅ）部分）でもよい。図２の（Ｄ）部分の場合は、第１画素・第２画素の間でＲＧＢカラーフィルタの配列を変えずに済む利点があり、図２の（Ｅ）部分の場合は各第２画素の情報をデフォーカス量の検出に利用できる利点がある。

図３は、撮像レンズ１２、絞り１４、および図２の（Ａ）部分のＣＣＤ１６の第１、第２画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４の（Ａ）部分に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、図４の（Ｂ）部分に示すようにＣＣＤ１６の第１画素および第２画素には遮光部材１６Ａが形成される。カメラ１を横置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいはカメラ１を縦置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｚから右、左、上、あるいは下方向（例えば図４の（Ｂ）部分では光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、第１画素では光束の左半分が制限され、第２画素では光束の右半分が制限されると、第１画素からは右の視点画像、第２画素からは左の視点画像が得られる。あるいは、第１画素では光束の上半分が制限され、第２画素では光束の下半分が制限されると、第１画素からは下の視点画像、第２画素からは上の視点画像が得られる。

従って、図８に示すように、後ピン、合焦、前ピンの状態に応じて第１画素と第２画素の出力は、位相がずれるか又は位相が一致する。第１画素と第２画素の出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる（位相差ＡＦ）。

上記構成のＣＣＤ１６は、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよい。また、２つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図７）でもよい。要するに本発明の適用範囲は、瞳分割により位相差画像を取得するカメラである。

図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

ここで、図２の（Ｂ）部分および（Ｃ）部分に示すように，ＣＣＤ１６の奇数ラインの第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。図２の（Ｄ）部分および（Ｅ）部分の場合も同様に、第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。なお、第１画像データが左視点画像データであり、第２画像データが右視点画像データである必然性はなく、その逆でもよい。

デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３３を介して絞り１４を制御する（平面画像の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。

所定のプログラム線図は、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。

ここで、所定のプログラム線図とは、視差優先のプログラム線図とピント優先のプログラム線図を含む。

まず、視差優先のプログラム線図は、Ｆ値を一定の小さい値で固定している。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。

例えば、視差優先のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値をとり、撮影ＥＶ値が７から１２まで（明るい）は撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が明るくても、絞り１４を絞らず、シャッタ速度を落として被写体輝度を調整する。

なお、固定するＦ値を大きくすれば、視差は弱くなり、固定するＦ値を小さくすれば、視差は強くなるので、操作部３８を介してユーザから指示された視差に応じて固定するＦ値とプログラム線図を切り替えてもよい。

この視差優先のプログラム線図は、Ｆ値を一定の小さい値で固定しているため、一定の視差を有する主画像、副画像の撮影を行うことができる。ただし、撮影ＥＶ値が１６よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成をカメラ１に追加すれば、撮影ＥＶ値が１６よりも大きくなっても撮影可能である。

一方、ピント優先のプログラム線図は、Ｆ値を一定の大きい値で固定している。このピント優先のプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、画像全体にピントのあった画像の撮影が可能となる。

例えば、所定のプログラム線図は、Ｆ値が5.6(ＡＶ＝５)の一定の値をとり、撮影ＥＶ値が１１から１６までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が１１よりも小さくなると（暗くなると）、Ｆ値＝5.6、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が暗くなると、絞り１４を開放せず、シャッタ速度やＩＳＯ感度を増やして明るさを補う。

このピント優先のプログラム線図は、Ｆ値を一定の大きい値で固定しているため、画像全域にピントのあった画像の撮影を行うことができる。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内（画面中央部の矩形領域など）の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の第１画素、第２画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素および第２画素に対応する左視点画像（第１画像）および右視点画像（第２画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM)４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

デフォーカスマップ作成部６１は、第１画素および第２画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。

デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、ステレオマッチング処理部８３にて各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。

復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。

復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。

ステレオマッチング処理部（対象物検出手段）８３は、同じタイミングでメモリ４８に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部８３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３、７〜１１のような公知の技術に基づいて行うことができる。

距離算出部８４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（距離情報）を算出するものである。距離算出部８４における距離情報の算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部８３および距離算出部８４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。

視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差量で、別の視点画像を表したもの）は、距離情報と技術的に等価であり、以下の距離情報についての処理は、視差マップについても行うことができる。さらに、被写体までの距離情報又は視差マップを包括して、視差情報と呼ぶ。視差情報の算出は、カメラ１でなく、パソコンのような他の情報処理装置で行うこともできる。

第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第１画像データは色情報と輝度情報を有するが、第２画像データは輝度情報のみを有してもよい。あるいは、第２画素は、赤外領域を受光可能な白黒ＣＣＤとし、特許文献７のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。

以下では、ステレオマッチングを可能にするため、第１画像データ・第２画像データの双方は少なくとも輝度情報を含むものとする。また、好ましくは、２次元画像に色情報を付加するためには、第１画像データ・第２画像データの双方は色情報を含むものとする。ここでは説明の簡略のため、第１画像データ・第２画像データは、ともに輝度情報と色情報を含むものとする。

３次元画像処理部８５は、ＣＣＤ１６から取得された視点画像の組から３次元画像を生成することができる。これは特許文献２と同様である。なお、視差情報からの３次元画像生成は、特許文献７〜１１のような公知技術に基づいて行うことができる。３次元画像の生成は、撮影モードが「３Ｄ静止画記録」に設定された場合に行われ、所望の視差量を有する立体画がＬＣＤ３０に表示される。

３次元画像処理部４５が生成する３次元画像の視差量は、固定値又は任意の設定値のいずれでもよい。

ぼかし処理部８６は、所定周波数以上の画像信号成分を除去するローパスフィルタ処理を行う。

図５は本発明の好ましい第１実施形態に係る平面静止画撮像処理のフローチャートを示す。この処理は撮影モードが「２Ｄ静止画記録」に設定されたことに応じて開始される。

Ｓ１では、ＣＰＵ４０は、撮影モードが「２Ｄ静止画記録」に設定されたことに応じ、視差優先のプログラム線図に従って絞り値Ｘとシャッタスピードを決定する。そして、ＣＰＵ４０は、その決定した絞り値Ｘに基づいて絞り駆動部３３を介して絞り１４を制御する（視差優先の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。これにより、ＣＣＤ１６から、視差を有する左右の画像データＡ・Ｂ（視点画像の組）が取得される。なお、この画像データＡ・Ｂの一方は、ＬＣＤ３０に２Ｄスルー画として表示されるものの１つであってもよいし、２Ｄスルー画とは別でもよい。

Ｓ２では、ＣＰＵ４０は、ステレオマッチング処理部８３と距離算出部８４にステレオマッチングと距離情報（視差情報）の算出を行わせる。ステレオマッチング処理部８３は、Ｓ１で取得された１コマ分の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって検出された対応点ごとの距離情報を算出する。

Ｓ３では、ＣＰＵ４０は、操作部３８のシャッタボタンの第１段階の押下（半押し）があったか否かを判断する。Ｙｅｓの場合はＳ４に進み、Ｎｏの場合は当該判断を繰り返す。

Ｓ４では、ＣＰＵ４０は、ピント優先のプログラム線図に従って絞り値Ｙとシャッタスピードを決定する。この結果、絞り値Ｙは、絞り値Ｘよりもさらに大きく（小絞り側になる）関係にある。換言すると、絞り値Ｘは、絞り値Ｙよりもさらに小さく（開放側になる）関係にある。例えば、X=1.4、Y=5.6である。そして、ＣＰＵ４０は、Ｓ４で決定した絞り値Ｙに基づいて絞り駆動部３３を介して絞り１４を制御する（ピント優先の絞り制御）。

Ｓ５では、ＣＰＵ４０は、操作部３８のシャッタボタンの第２段階の押下（全押し）があったか否かを判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合は当該判断を繰り返す。

Ｓ６では、ＣＰＵ４０は、Ｓ４のピント優先の絞り制御とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。これにより、各対応点間で視差（ボケないしデフォーカス量）がない（あってもごく小さい）左右の画像データＡ・Ｂが取得される。ＣＰＵ４０は、左右の画像データＡ・Ｂについて、瞳分割された同一の光束に対応する２つの画素ごとに画像信号を加算する。これにより、高解像度の２Ｄ画像が生成される。

Ｓ７では、ぼかし処理部８６は、Ｓ２で算出された対応点ごとの距離情報（視差情報）に基づき、ぼかし処理を施す対象画素を決定する。そしてぼかし処理部８６は、決定されたぼかし処理の対象画素に、ぼかし処理を行う。

ぼかし処理の対象の画素は、自動的に決定される。ただし、それに加えて、ユーザ操作に基づいて決定されてもよい。例えば、ぼかし処理の対象として決定される画素は、次のものが挙げられる。

例１：ぼかし処理部８６は、各画素の距離情報を参照し、所定の第１の距離よりも遠い遠景の画素（例えば５ｍ以上の被写体像の画素）、あるいは所定の第２の距離よりも小さい近景の画素（例えば５０ｃｍ以下の被写体像の画素）を、ぼかし処理の対象画素に決定する。

例２：ぼかし処理部８６は、各画素の視差マップを参照し、対応点間の視差量が所定の値（例えば２画素分）以上となる対応点を構成する画素を、ぼかし処理の対象画素に決定する。

例３：例１および／又は例２に加え、ぼかし処理部８６は、ユーザ操作で指定された領域に含まれる各画素を、ぼかし処理の対象画素に決定する。

また、ぼかし処理の程度は、ユーザ操作に基づいて決定されてもよいし、自動的に決定されてもよい。

例えば、ユーザが、ぼかし強を指定した場合、ぼかし処理部８６は、ローパスフィルタ処理の除去対象とする画像信号成分の周波数の下限閾値をαに設定し、ぼかし中を指定した場合、該周波数の下限閾値をβに設定し、ぼかし弱を指定した場合、該周波数の下限閾値をγに設定する。ここでα＜β＜γである。

あるいは、ぼかし処理部８６は、視差マップで示される視差量に応じて、ぼかしの程度を変化させてもよい。すなわち、ある対応点間の視差量が大きければ、それに従ってそれらの対応点のぼかしの程度を強くする。

以上のように、カメラ１は、開放絞りで視点画像の組を撮像し、該視点画像の組から視差情報を得るとともに、小絞りで視点画像の組を撮像し、全体的にボケのない２Ｄ画像を得て、該視差情報に基づいて該２Ｄ画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。

＜第２実施形態＞
図６は本発明の好ましい第２実施形態に係る平面静止画撮像処理のフローチャートを示す。この処理は撮影モードが「２Ｄ静止画記録」に設定されたことに応じて開始される。

Ｓ１１〜１４はＳ３〜６と同様である。

Ｓ１５〜１６はＳ１〜２と同様である。

Ｓ１７はＳ７と同様である。

撮影モードが「２Ｄ静止画記録」の場合、視差優先のプログラム線図に従って撮像された視点画像の組そのものは、記録されない。よって、その取得のタイミングは基本的に任意であるが、異なる２つの時点の視点画像の組の構図のずれを小さくするため、好ましくはシャッタボタンの第２段階の押下の前後の近接した時点に取得されるべきである。第２段階の押下の前、例えば第１実施形態のように、シャッタボタンの第１段階の押下よりも前に視点画像の組を取得する場合は、第２段階の押下から２Ｄ画像の記録までのタイムラグが小さくて済むメリットがある。しかし、シャッタボタンの第１段階の押下のタイミングは任意に発生するため、場合によっては、構図のずれが大きくなることがある。

一方、本実施形態のように、シャッタボタンの第２段階の押下に応じた２Ｄ画像用の視点画像の組の取得後に、視差情報用の視点画像の組を取得すれば、両者の構図のずれが少なくなる。よって、ぼかし処理の対象画素の決定が正確になる。

＜第３実施形態＞
第１実施形態の平面静止画撮像処理において、Ｓ１では、常に絞り１４を開放して視点画像の組を１または複数取得しておき、それらの視点画像の組とＳ６で取得された２Ｄ画像（ぼかし対象画像）との差分を各々算出し、該差分が最も小さい視点画像の組を、Ｓ２で視差情報を算出する視点画像の組としてもよい。

例えば、ＣＰＵ４０は、絞り１４を開放して取得された１または複数の視点画像の組の各々を、組ごとに合成して、視差情報を算出する候補となる２Ｄ画像（候補画像）を作成する。ＣＰＵ４０は、候補画像とぼかし対象画像との間で動きベクトルを算出する。動きベクトルの検出の仕方としては各種の公知技術が採用できる。例えば、まずＣＰＵ４０は、ある時点（例えば最初）に取得された候補画像から移動体を含む領域（追跡対象領域）を抽出し、テンプレートとしてＶＲＡＭ５０に記憶した後、ぼかし対象画像上で、テンプレートの位置を微小にずらしながら相関値を算出して、最も相関の大きい領域を求めることで動きベクトルを検出する（パターンマッチング法）。

ＣＰＵ４０は、動きベクトルのスカラー量が最小となる候補画像に対応する視点画像の組を視差情報を算出する３Ｄ画像に決定し、その決定された３Ｄ画像から視差情報を算出する。

こうすれば、動体を撮影するときに、３Ｄ画像と２Ｄ画像の差が小さくなり、ぼかし処理の対象画素の決定がより正確になる。なお、上述した３Ｄ画像と２Ｄ画像の差分の算出とその結果に応じた視差情報の算出は、スポーツモードなど動体撮影するモードが選択された場合にのみ行い、その他の場合は、第２実施形態のように、シャッタ全押し後に取得された３Ｄ画像から視差情報を算出してもよい。

＜第４実施形態＞
第１・３実施形態の平面静止画撮像処理のＳ１・Ｓ４、あるいは第２実施形態のＳ１２・Ｓ１５において、絞り１４の開口径を制御する代わりに、液晶フィルタの透過率を制御してもよい。

具体的には、絞り１４の前段または後段の光路に、液晶フィルタを設置する。液晶フィルタは、ＣＰＵ４０からの制御信号に従って、小絞り相当の透過率または開放絞り相当の透過率を設定できる。開放絞り相当の透過率は、同心円状に広がる連続的あるいは段階的な透過率であり、中心に向かうほど透過率が高い。開放絞り相当の透過率は、実質的に１００％（素通し）である。

ＣＰＵ４０は、絞り１４を開放した上、Ｓ１またはＳ１５で開放絞り相当の透過率を設定し、Ｓ４またはＳ１２で小絞り相当の透過率を設定するよう液晶フィルタを制御すれば、上記実施形態と同様、３Ｄ画像と２Ｄ画像が得られる。

ここで、絞り１４の開口径を逐次機械的に制御するよりも、液晶フィルタの透過率を制御する方が、ＣＣＤ１６の受光量を短時間で制御でき、３Ｄ画像取得と２Ｄ画像取得の間のタイムラグを短くでき、ぼかし処理の対象画素の決定がより正確になる。

３０：ＬＣＤ、４０：ＣＰＵ、８３：ステレオマッチング処理部、８４：距離算出部、８５：３次元画像処理部、８６：ぼかし処理部

Claims (12)

1. 単一の撮像光学系と、
   前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像を瞳分割してそれぞれ２つの光電変換素子群に結像して光電変換することで、第１画像および第２画像からなる視点画像の組を連続的に出力可能な撮像部と、
   前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
   任意の１または複数の第１の時点で、前記撮像部から出力される視点画像の組の対応点間で視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行可能であるとともに、前記第１の時点と時間的に前後する任意の第２の時点で、前記絞り部の開放量が前記第１の絞り制御の開放量よりも小さくなるよう制御する第２の絞り制御を実行可能な絞り制御部と、
   前記第１の時点および前記第２の時点で前記視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
   前記第１の時点で前記撮像部から出力された視点画像の組に基づいて視差情報を算出する視差情報算出部と、
   前記第２の時点で前記撮像部から出力された視点画像の組に基づいて平面画像を作成する平面画像作成部と、
   前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の決定された対象画素にぼかし処理を施すぼかし処理部と、
   を備える撮像装置。
2. 前記視差情報は、各画素の距離情報を含み、
   前記ぼかし処理部は、前記距離情報が所定の第１の距離よりも遠い遠景の画素および／または前記距離情報が所定の第２の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１に記載の撮像装置。
3. 前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
   前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１または２に記載の撮像装置。
4. 前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜３のいずれかに記載の撮像装置。
5. 前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
   前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項１〜４のいずれかに記載の撮像装置。
6. 前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す請求項１〜４のいずれかに記載の撮像装置。
7. 前記第２の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、
   前記第１の時点は、前記第２の時点よりも前の時点である請求項１〜６のいずれかに記載の撮像装置。
8. 前記第２の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、
   前記第１の時点は、前記第２の時点よりも後の時点である請求項１〜６のいずれかに記載の撮像装置。
9. 前記絞り制御部は、前記第２の時点で前記撮像部から出力される視点画像の組の対応点間で視差を減少させるよう前記絞り部の開放量を制御する第２の絞り制御を実行可能である請求項１〜８のいずれかに記載の撮像装置。
10. 前記複数の第１の時点で前記撮像部から出力された複数の視点画像の組の各々と前記第２の時点で前記撮像部から出力された視点画像の組との間の差分を算出する差分算出部を備え、
    前記視差情報算出部は、前記複数の第１の時点で前記撮像部から出力された複数の視点画像の組のうち、前記差分算出部が算出した差分が最小となる視点画像の組に基づいて視差情報を算出する請求項７に記載の撮像装置。
11. 前記差分は動きベクトルを含む請求項１０に記載の撮像装置。
12. 単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像を瞳分割してそれぞれ２つの光電変換素子群に結像して光電変換することで、第１画像および第２画像からなる視点画像の組を連続的に出力可能な撮像部と、前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、を備える撮像装置が、
    任意の１または複数の第１の時点で、前記撮像部から出力される視点画像の組の対応点間で視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行するとともに、前記第１の時点と時間的に前後する任意の第２の時点で、前記絞り部の開放量が前記第１の絞り制御の開放量よりも小さくなるよう制御する第２の絞り制御を実行するステップと、
    前記第１の時点および前記第２の時点で前記視点画像の組が出力されるよう前記撮像部を制御するステップと、
    前記第１の時点で前記撮像部から出力された視点画像の組に基づいて視差情報を算出するステップと、
    前記第２の時点で前記撮像部から出力された視点画像の組に基づいて平面画像を作成するステップと、
    前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の決定された対象画素にぼかし処理を施すステップと、
    を実行する撮像方法。

Images