WO2012132123A1

WO2012132123A1 - 立体撮像装置および立体撮像方法

Info

Publication number: WO2012132123A1
Application number: PCT/JP2011/078362
Authority: WO
Inventors: 三沢　岳志; 遠藤　宏
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-03-31
Filing date: 2011-12-01
Publication date: 2012-10-04
Anticipated expiration: 2013-09-30
Also published as: CN103444192B; JP5433109B2; US20140022359A1; JPWO2012132123A1; US9648305B2; CN103444192A

Abstract

　瞳分割により視点の異なる複数の画像を出力可能な撮像装置を有する立体撮像装置において，撮像素子が持つ解像度を犠牲にせず，立体撮像を行う。第１の時点で，撮像から出力される複数の画像で視差が得られるように絞りの開放量が制御されて視差画像が取得される。第２の時点で，開放量が第１の時点における絞りの開放量よりも小さくなるように絞りが制御されて平面画像が取得される。第１の時点で取得された複数の画像に基づいて視差情報が算出され，第２の時点で取得した平面画像が作成される。視差情報と平面画像とからなる立体視画像の作成が行われ，瞳分割により視点の異なる複数の画像が出力可能な撮像素子を持つ撮像装置を有する立体撮像装置において，撮像素子の全ての光電変換素子を使った解像度の立体視画像作成を行うことが出来る。

Description

立体撮像装置および立体撮像方法

　この発明は，立体撮像装置および立体撮像方法に関する。

　従来，撮影レンズの異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ，異なる視点画像を取得する立体撮像装置が存在する。
　第１４図に示す光学系では，平行光とされた被写体からの光Ｌ１およびＬ２は，ミラー１５１および１６１によって左右に分光される。被写体に向かって右側の光Ｌ１はミラー１５１および１５２において反射し，結像レンズ１５３に入射する。結像レンズ１５３に入射した右側の光Ｌ１は撮像素子１５４の受光面に結像する。撮像素子１５４において，右目の視点からの画像が得られる。同様に，被写体に向かって左側の光Ｌ２はミラー１６１および１６２において反射し，結像レンズ１６３に入射する。結像レンズ１６３に入射した左側の光Ｌ２は撮像素子１６４の受光面に結像する。撮像素子１６４において，左目の視点からの画像が得られる。左右の視差画像を得ることが出来る。このように左右の視差画像を取得する撮像装置については，特開２０１０−８１５８０号公報に開示されている。
　また，このような視差画像から，奥行き分布を表す視差マップを作成し，保存する技術もある。特開２０１１−１９０８４号公報によると，生成された立体視画像を表示するための左眼視用画像および右眼視用画像から，奥行情報生成部が，左眼視用画像および右眼視用画像のそれぞれについて奥行マップを生成する。視差画像から視差マップを作成する撮像装置や撮像方法については，特開２００８−１１６３０９号公報，特開２００８−１４１６６６号公報，特開２００９−１４４４５号公報および特開２０１０−２２６５００号公報に開示されている。
　特開２００３−７９９４号公報，特開２００１−１２９１６号公報および特開２００１−１６６１１号公報には単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力可能な立体撮像装置の例が記載されている。例えば特開２００３−７９９４号公報では，多数の画素を同一撮像面上に配列し，該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において，上記多数の画素を２つのグループに区分けし，各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。
　特開２００３−７９９４号公報，特開２００１−１２９１６号公報および特開２００１−１６６１１号公報に記載のような，単一の撮像光学系からの光束に対する瞳分割により位相差を有する（視点の異なる）複数の画像を出力可能な立体撮像装置においては，撮像素子の画素の一部を左方向の視差の画像出力に用い，残りの一部を右方向の画像出力に用いる。正方画素配列の撮像素子に左右の視差を出力する画素（以下位相差画素）を列方向（水平方向）に均等に配置したとすると，左右のそれぞれの視差画像に用いることの出来る水平画素数は，視差を出力する画素を持たない本来の画素数の半分になってしまう。すなわち，左右の画像それぞれを単独で二次元画像として見た場合，水平解像度は位相差画素を持たない本来の撮像素子からの出力二次元画像と比べ半分になることになる。
　もちろん，第１４図に示すような光学系を用い撮像素子を２個設ければ，それぞれの撮像素子の画素数に応じた解像度を得ることが出来るために，解像度は犠牲とならないが，本来必要ではない平行光学系（図示略）やミラー１５１，１５２，１５３，１５４，２つの撮像素子１５６および１６４が必要であるためにコスト面での不利は免れない。

　この発明は，瞳分割により複数の視点の異なる複数の画像を表す画像データを出力する立体撮像装置において，解像度を犠牲にせずに立体撮像を行うことが出来るようにすることを目的とする。
　この発明による立体撮像装置は，瞳分割により視点の異なる複数の画像を表わす画像データを出力する固体電子撮像装置，上記固体電子撮像装置の受光面前方に設けられ，上記固体電子撮像装置の受光面に入射する光束の光量を調整する絞り，第１の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し，かつ第２の時点で上記第１の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御する絞り制御装置，上記第１の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出する視差情報算出手段（視差情報算出デバイス），上記第２の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成する平面画像データ生成手段（平面画像データ生成デバイス），および上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録する記録制御手段（記録制御デバイス）を備えていることを特徴とする。
　この発明は，上記立体撮像装置に適した立体撮像方法も提供している。すなわち，この方法は，固体電子撮像装置が，瞳分割により視点の異なる複数の画像を表わす画像データを出力し，絞りが，上記固体電子撮像装置の受光面前方に設けられ，上記固体電子撮像装置の受光面に入射する光束の光量を調整し，絞り制御装置が，第１の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し，かつ第２の時点で上記第１の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御し，視差情報算出手段が，上記第１の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出し，平面画像データ生成手段が，上記第２の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成し，記録制御手段が，上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録するものである。
　この発明によると，瞳分割により視点の異なる複数の画像を表わす画像データが固体電子撮像装置から出力される。第１の時点で，固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように絞りが制御される。第１の時点で固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報が算出される。第２の時点では，第１の時点における開放量よりも通過光量が少なくなる小さい開放量となるように絞りが制御される。第２時点で固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データが生成される。算出された視差情報および生成された平面画像データが記録媒体に記録される。
　通過光量が多くなるように絞りの開放量が大きくなると，固体電子撮像装置において得られる画像データによって表わされる複数の画像間の視差量が生じるようになる。逆に通過光量が少なくなるように絞りの開放量が小さくなると，固体電子撮像装置において得られる画像データによって表わされる複数の画像間の視差量は少なくなる。第１の時点では視差量が生じるように絞りが制御されるので，第１時点で固体電子撮像装置から得られる画像データによって表わされる複数の画像間の視差量が算出できる。第２時点では第１の時点よりも通過光量が少なくなるように絞りが制御されるので，実質的に視差が無い複数の画像が得られる。実質的に視差の無い複数の画像から平面画像が生成されるので，生成された平面画像の解像度が高くなる。解像度の高い平面画像と算出された視差情報とから立体視できる立体画像が生成されると，高い解像度の立体画像が得られるようになる。
　上記平面画像データ生成手段によって生成された平面画像データと上記視差情報算出手段によって算出された視差情報とから，立体視可能な立体画像を表わす立体画像データを生成する立体画像データ生成手段（立体画像データ生成デバイス）をさらに備えてもよい。この場合，上記記録制御手段は，たとえば，上記平面画像データと上記視差情報とに代えて，上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録する，あるいは上記平面画像データと上記視差情報とに加えて上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録するものである。
　上記立体画像データ生成手段は，上記視差情報算出手段によって算出された視差情報から上記平面画像データ生成手段において生成された平面画像データによって表される平面画像について，立体撮像装置から平面画像に含まれる被写体までの距離情報を算出する距離情報算出手段（距離情報算出デバイス）を備えてもよい。この場合，たとえば，上記距離情報算出手段によって算出された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成することができる。
　上記立体画像データ生成手段は，上記距離情報算出手段によって算出された，平面画像についての距離情報を補正する距離情報補正手段（距離情報補正デバイス）を備えてもよい。この場合，たとえば，上記距離情報補正手段によって補正された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成することができる。
　上記立体画像データ生成手段は，上記平面画像データ生成手段によって生成された平面画像のうち，合焦している被写体部分から所定の距離だけ離れている被写体部分を表わす領域をぼかすぼかし処理を行うぼかし処理手段（ぼかし処理デバイス）を備えてもよい。この場合，たとえば，上記ぼかし処理手段によってぼかし処理が行われた平面画像を表わす平面画像データと上記距離算出手段によって算出された距離情報とから立体画像データを生成するものである。
　上記ぼかし処理手段は，たとえば，平面画像のうちユーザにより指定された領域についてぼかし処理を行うものでもよい。
　第２の時点は，たとえば，ユーザにより平面画像の撮像指示が入力された時点であり，第１の時点は，上記第２の時点よりも前または後の時点である。
　上記絞り制御装置は，第２の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像で視差が生じないように上記絞りの開放量を制御するものでもよい。

　第１図は，撮像素子の受光面を示している。
　第２図は，光電変換素子に光が入射する様子を示している。
　第３ａ図および第３ｂ図は，光電変換素子に光が入射する様子を示している。
　第４ａ図は左視点画像を表す光電変換素子を示し，第４ｂ図は右視点画像を表わす光電変換素子を示している。
　第５図は，光電変換素子に光が入射する様子を示している。
　第６図は，立体撮像装置の電気的構成を示す電気的構成を示すブロック図である。
　第７図および第８図は，立体撮像装置の処理手順を示すフローチャートである。
　第９ａ図は左視点画像を示し，第９ｂ図は右視点画像を示している。
　第１０図は，視差マップを示している。
　第１１ａ図は撮像素子の受光面を示し，第１１ｂ図は左視点画像を表す光電変換素子を示し，第１１ｃ図は右視点画像を示している。
　第１２図は，距離マップ作成処理手順を示すフローチャートである。
　第１３図は，ぼかし処理手順を示すフローチャートである。
　第１４図は，従来の瞳分割により複数の画像が得られる様子を示している。

　まず，この発明の実施例の原理について説明する。
　第１図は，この実施例による立体撮像装置に利用される撮像素子１３の受光面の一部を示している。
　受光面には，列方向および行方向に多数の光電変換素子３１および３２が設けられている。奇数行の光電変換素子には符号３１が付され，偶数行の光電変換素子には符号３２が付されている。奇数行の光電変換素子３１と偶数行の光電変換素子３２とは，列方向に１／２個の光電変換素子３１または３２分ずれている。光電変換素子３１または３２の受光面の開口には，赤色の光成分を透過する赤色フィルタ（符号Ｒで示す），緑色の光成分を透過する緑色フィルタ（符号Ｇで示す）または青色の光成分を透過する青色フィルタ（符号Ｂで示す）が形成されている。第４ｎ＋１（ｎは０または正の整数）行の光電変換素子３１および第４ｎ＋２行の光電変換素子３２の受光面には緑色フィルタＧと赤色フィルタＲとが列方向に交互に形成されている。第４ｎ＋３行の光電変換素子３１および第４ｎ＋４行の光電変換素子３２の受光面には青色フィルタＢと緑色フィルタＧとが列方向に交互に形成されている。
　光電変換素子３１および３２の受光面は左右に略２分割されている。奇数行の光電変換素子３１の受光面の右側は遮光されており，左側が受光可能なように開口されている。逆に偶数行の光電変換素子３２の受光面は，左側が遮光されており，右側が受光可能なように開口されている。この実施例では，分かりやすくなるように，上述のように開口に形成されている緑色フィルタＧは黒塗り３３で示され，赤色フィルタＲは縞模様３４で示され，青色フィルタＢは白抜き３５で示されている。
　第２図は，奇数行の光電変換素子３１と偶数行の光電変換素子３２とを１つずつ取り出して，それらの光電変換素子３１および３２に被写体像を表す光束が入射する様子を示している。第３ａ図は光電変換素子３１近傍の様子を第２図に比べて拡大したもので，第３ｂ図は光電変換素子３２近傍の様子を第２図に比べて拡大したものである。
　被写体の右側からの光束Ｌ１および被写体の左側からの光束Ｌ２のいずれも撮像レンズ１１および絞り１２を通過する。光電変換素子３１および３２の受光面前方にはマイクロ・レンズ４１が配置されている。
　第３ａ図を参照して，上述のように奇数行の光電変換素子３１の受光面３１Ｂの右側には遮光部材３１Ｃが設けられている。この結果，受光面３１Ｂの左側が開口３３（３４，３５）となる。被写体の左側からの光束Ｌ２が光電変換素子３１に入射することとなる。
　第３ｂ図を参照して，上述のように偶数行の光電変換素子３２の受光面３２Ｂの左側には遮光部材３２Ｃが設けられている。受光面３２Ｂの右側が開口３３（３４，３５）となる。光電変換素子３２には被写体の右側からの光束Ｌ１が入射することとなる。
　第４ａ図は撮像素子１３から奇数行の光電変換素子３１が抽出された様子を示し，第４ｂ図は撮像素子１３から偶数行の光電変換素子３２が抽出された様子を示している。
　第４ａ図を参照して，奇数行の光電変換素子３１は，上述のように受光面の右側が遮光されており，左側が開口されている。マイクロ・レンズ４１の光軸中心Ｌ０から所定量δ偏位した位置（δ＝０またはマイナスでもよいが，受光面への光束が遮られていることが必要である。）から上述した遮光部材３２Ｃによって受光面の一部が遮られている。撮像レンズ１１の射出瞳を通過した被写体からの光束は，開口３３（３４，３５）を通過する。奇数行の光電変換素子３１から得られる画像データは，左視点の被写体像を表すものとなる。
　第４ｂ図を参照して，偶数行の光電変換素子３２は，上述のように受光面の左側が遮光されており，右側が開口されている。偶数行の光電変換素子３２から得られる画像データは，右視点の被写体像を表すものとなる。
　このように瞳分割により，左視点の被写体像を表わす画像データと右視点の被写体像を表わす画像データとが得られる。
　第５図は，第２図に対応するもので，光電変換素子３１および３２に被写体像を表す光束が入射する様子を示している。
　第５図においては，絞り１２の開口量が第２図に示す絞り１２の開口量に比べて光束が通過する量が小さくなるように，開口が小さくされている。
　絞り１２の開口量が小さくなると，奇数行の光電変換素子３１に入射する光束の量と偶数行の光電変換素子３２に入射する光束の量とがいずれも少なくなる。すると，左視点の画像と右視点の画像との視差が少なくなり，実質的に視差が無い二つの画像が得られる。これらの二つの画像を用いて一つの平面画像を作成することにより，解像度の高い平面画像が得られる。
　例えば，絞り１２を最小絞りＦ１１まで絞って撮影することにより，実質的に視差の無い二つの画像が得られる。但し，極限まで絞り１２が絞られたとしても厳密にはわずかな視差が二つの画像の間に生じるが，それらの二つの画像を用いて平面画像を作成しても破綻が生じないほど，その視差は少ない。
　絞り１２の開口量が大きいときに得られる左視点画像と右視点画像との二つの画像から一つの平面画像を作成すると，視差が大きいために破綻してしまうが，実質的に視差の無い二つの画像から一つの平面画像が作成されると，破綻の無い高解像度の平面画像が得られる。
　この実施例では，絞り１２の開口量を小さくすることにより，二つの画像から高解像度の平面画像が得られ，かつ絞り１２の開口量を大きくすることにより，視差のある左視点画像および右視点画像が得られる。詳しくは後述するように，視差のある左視点画像および右視点画像から，それらの左視点画像を構成する画素と右視点画像を構成する画素との対応する画素における視差量を表す視差マップが作成される。作成された視差マップと高解像度の平面画像とから，高解像度の立体視画像が得られることとなる。
　上述した撮像素子１３は，一つの撮像素子１３であるが，第４ａ図に示す構造をもつ撮像素子と第４ｂ図に示す構造をもつ撮像素子との複数の撮像素子としてもよい。複数の撮像素子とする場合には，撮像素子の対角長が同一であれば，より画素数の多い撮像素子を用いることが出来るし，第４ａ図および第４ｂ図に示すように汎用のベイヤ配列のフィルタを持つ撮像素子を用いることができるようになる。この場合，光学系は第１４図に示すようなミラー等を必要とするが，従来の立体撮像装置に比して高解像度の立体視画像が得られることになる。
　第６図は，立体撮像装置１の電気的構成を示すブロック図である。
　立体撮像装置１は，撮像によって表される画像を表す画像データをメモリ・カード２７または内蔵メモリを含むメモリ２５に記録するものである。立体撮像装置１の全体の動作は，ＣＰＵ（中央処理装置）１０によって統括される。また，各部については補助的な制御装置が設けられており，これらの補助的な制御装置によりＣＰＵ１０の負荷が軽減されている。例えば，撮像素子制御装置６は撮像素子１３の制御を行う。但し，補助的な制御装置なしにＣＰＵ１０が全体の制御を行う構成もあり得る。また，例えばメモリ・カード２７にメモリ・カード制御装置２６が含まれているような場合は，メモリ・カード制御装置２６自体は独立して存在しないこともあり得る。このように第６図の構成は適宜変更できる可能性を持つ。
　立体撮像装置１には，レリーズ・スイッチ，撮影／再生切替スイッチ，撮影モード変更ダイヤル等の操作装置７が設けられている。レリーズ・スイッチは撮影開始指示を入力する操作スイッチであり，半押し時にオンするＳ１スイッチと，全押し時にオンするＳ２スイッチとを有する二段ストローク式である。撮影／再生切替スイッチは，撮影動作と，撮影動作によって記録された立体視画像（３Ｄ画像）や平面画像（２Ｄ画像）の静止画または動画を表示装置２０に表示させる再生動作とを切替えるためのスイッチである。撮影モード変更ダイアルは，立体視画像または平面画像の静止画および動画を撮影する各種撮影モードを選択するダイアルである。操作装置７には，立体撮像装置１への各種指示を入力するためのその他のスイッチ類が含まれている。これらのスイッチ，ダイアル等は機械的なスイッチで構成されるのみではなく，例えば表示装置２０の表示画面上にタッチ・パネルとして構成されることもある。
　操作装置７から出力される操作信号はＣＰＵ１０に入力し，ＣＰＵ１０は操作信号に基づいて立体撮像装置１の各部分を制御する。制御プログラムはメモリ２５の内部に記録されている。この他，メモリ２５には，ＣＰＵ１０が実行する制御に必要な各種データ，撮像素子１３の各種情報，立体撮像装置１の動作に関するパラメータ等が記録されている。メモリ部２５は，単一のメモリから構成される必要はなく，必要に応じてＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ），フラッシュ・メモリ，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）等で構成できる。
　撮像素子１３の受光面前方には，撮像レンズ１１および絞り１２が設けられている。絞り１２は，光束Ｌの光量を変えると共に，光束Ｌの幅を規制する役割を持つ。絞り１２は，複数の絞り羽根や，絞り系の異なる絞り穴の集合からなり，絞り制御装置４によって制御される。例えば，絞り値（Ｆ値）Ｆ２．８からＦ１１まで１ＡＶ刻みで５段階に制御される。撮像レンズ１２は，レンズ制御装置２によって合焦制御，ズーム制御等が行われる。
　被写体からの光束Ｌは撮像レンズ１１および絞り１２を通過して，上述した撮像素子１３の受光面上に結像する。撮像素子１３としては，ＣＭＯＳ撮像素子，ＣＣＤ撮像素子等があるが，これら撮像素子の形式には制約されない。撮像素子制御装置６は，撮像素子１３の駆動制御，読み出し制御等を行う。
　撮影モードが設定されると，撮像素子１３によって被写体が撮像される。撮像素子１３から被写体像を表す映像信号が出力される。上述のように，この実施例による撮像素子１３は，視点の異なる二つの被写体像を撮像することができる。二つの被写体像を表す映像信号は，アナログ信号処理装置（ただし撮像素子の形式によっては必ずしも必要なものではない）１４において，増幅などの所定のアナログ信号処理が行われる。撮像素子１３がＣＣＤであれば相関二重サンプリングなどのアナログ信号処理も行われる。撮像素子１３がＣＭＯＳ撮像素子である場合，ＣＭＯＳ撮像素子に応じたアナログ信号処理の回路およびＡＤ変換装置１５は撮像素子１３の内部に組み込まれている構成が一般的である。アナログ信号処理装置１４から出力された映像信号は，ＡＤ（アナログディジタル）変換装置１５において，ディジタル画像データに変換される。
　変換されたディジタル画像データは，ＡＦ制御装置３に入力する。ＡＦ制御部３において，画像データから所定のフォーカス領域内（画面中央部領域など）部分の画像データの高周波成分が抽出され，抽出された高周波成分が積分されることにより合焦状態を示すＡＦ評価値が算出される。ＡＦ評価値が極大となるように撮像レンズ１１内のフォーカスレンズをレンズ制御装置２によって制御することによりＡＦ制御が行われる（コントラスト自動焦点処理）。視点の異なる二つの被写体像を表す画像データを用いて位相差自動焦点処理が行われる場合には，一方の視点からの被写体像を表す画像データの積分値を表すグラフと，他方の視点からの被写体像を表す画像データの積分値を表すグラフとの位相差を示す情報に基づいてデフォーカス量が求められる。このデフォーカス量が０になるように撮像レンズ１１のフォーカス位置が制御される。変換されたディジタル画像データは，ＡＥ制御装置５にも入力する。ＡＥ制御装置５において，撮像素子１３のシャッタ速度（いわゆる電子シャッタ速度）が決定される。補助光が必要な場合は，補助光制御装置によって制御される補助光発光装置などが設けられてもよいし，外部の補助光装置をＣＰＵ１０およびＡＥ制御装置５が制御してもよい。
　ディジタル画像データは，バス２９を介して表示制御装置２１に入力する。表示制御装置２１において表示装置２０が制御されることにより，撮像された被写体像が表示装置２０の表示画面上に表示される。表示装置２０は，立体視画像をパララックス・バリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものや，レンチキュラ・レンズを使用して表示できるものが利用できる。表示装置２０の表示画面には，後述のように平面画像を表示することもできるし，立体視画像を表示することもできる。
　レリーズ・スイッチが半押し（たとえば，第１の時点）されると，絞り１２が開放側とされる。上述のように，視差があり，かつ視点の異なる二つの被写体像を表す画像データが得られる。これらの画像データはディジタル信号処理装置１９に入力し，各種補正処理，ホワイト・バランス調整などの増幅処理，ガンマ補正処理等の所定のディジタル信号処理が行われる。ディジタル信号処理装置１９から出力された画像データは，視差情報算出装置２２に入力する。詳しくは，後述するように，視差情報算出装置２２において，視点の異なる二つの被写体像を構成する画素ごとの視差が算出される。算出された視差を表す情報は，視差マップ作成装置２３に入力し，視差マップが作成される。
　レリーズ・スイッチが全押し（たとえば，第２の時点）されると，絞り１２が通過光量が少なくなる小絞り側とされる。実質的に視差の無い（視点がほぼ等しい）二つの被写体像を表す画像データが得られる。これらの画像データはディジタル信号処理装置１９において所定のディジタル信号処理が行われて，平面画像作成装置１６にも入力する。平面画像作成装置１６において，二つの被写体像を表す画像データから一つの被写体像を表す平面画像を表す画像データが作成される。
　視差マップ作成装置２３において作成された視差マップを表すデータおよび平面画像作成装置１６において作成された平面画像を表す画像データは立体視画像作成装置１７に入力し，立体視画像を表す画像データ（平面画像データに視差マップが付加されたデータであり，平面画像データと視差マップとから立体視画像が生成される）が作成される。作成された立体視画像を表す画像データは圧縮伸張装置２８において圧縮（例えば，平面画像データがＪＰＥＧにもとづき圧縮）される。圧縮された立体視画像を表す画像データがメモリ・カード制御装置２６の制御のもとにメモリ・カード２７に記録される。必ずしも圧縮された画像データでなくとも，圧縮されていないＲＡＷ画像データがメモリ・カード２７に記録されてもよい。
　この実施例による立体撮像装置には，距離情報算出装置２４およびぼかし処理装置１８が含まれている。距離情報算出装置２４により，視差マップ作成装置２３において作成された視差マップから距離情報が算出される。視差が０となる部分は，撮像レンズ１２の合焦位置にある被写体像を表していると考えられる。これは，瞳分割された二つの画像のうちの合焦している部分は，撮像素子１３上の同一位置に結像する，つまり視点の異なる二つの画像において一致する点となるためである。同様に，合焦位置より立体撮像装置１に近い被写体を表す画像の部分は，撮像素子１３の位置よりも遠方に一致点を持つため非焦点ぼけを伴って分離するため，左右に分離したぼけ像となる。同様に合焦位置よりも遠い画像部分は，撮像素子１３の位置よりも前方に一致点を持つため非焦点ぼけを伴って分離し，合焦位置より立体撮像装置１に近い像に対しては左右の位置が反転して分離したぼけ像となる。従って，視点の異なる複数の画像から対応点を検出することにより，画像中の対応点位置部分が相対的に合焦位置よりも立体撮像装置１側，すなわち手前であるか，合焦位置か，合焦位置よりも遠方であるかが分かる。つまり相対的な距離情報を得ることが出来る。さらに，これらの情報にレンズ制御装置２から合焦位置の距離情報が得られ，絞り制御装置４から絞り１２の情報が得られれば，絶対的な距離情報を得ることも出来る。このような距離情報が距離情報算出装置２４において算出される。また，ぼかし処理装置１８において，撮像により得られた画像のぼかし処理が行われる。これらの処理についても詳しくは後述する。
　さらに立体視画像作成装置１７に，左右の視点画像データと平面画像を入力し，左右の視点画像データと平面画像データ中の両画像の対応点を検出し，左右の視点画像データに対応付けられた視差情報または距離情報を平面画像データに対応付ける。すでに左右の視点画像データで対応点検出を行っているため，すでに検出した対応点を平面画像データ中から検出するのが効率的である。対応点検出は，左視点画像データと平面画像データ間，および右視点画像データと平面画像データ間で行う。それぞれの視点画像データと平面画像データとの間で行うのは，平面画像データには左右どちらかの視点画像データとしか対応しない対応点もあるからである。ただし，共通する対応点検出自体は左右の視点画像データと平面画像データの間の３画像データから同時に行うことも可能である。さらに対応点検出のみを独立して図示しない対応点検出部を設けて同時に行うか，ＣＰＵ１０が対応点検出処理を行うこともできる。
　再生モードが設定されると，メモリ・カード２７に記録されている画像データが読み出され，表示装置２０に与えられる。表示装置２０に立体視画像データが与えられることにより，表示装置２０の表示画面には立体視画像が表示されることとなる。もちろん，表示装置２０に平面画像データが与えられることにより，表示装置２０の表示画面には平面画像が表示されることとなる。
　上述の実施例において，作成された立体視画像は，距離（奥行き）情報を持った平面画像ということもできる。なお，左右の視点画像データと平面画像データとは上述したようにデータ量が異なるため，対応点検出をより高速に行うためにはデータ量（画素数）を揃えることが望ましい。また，すでに左右の視点画像データに対応した視差マップもしくは距離マップを視差マップ作成装置２３で作成済みであれば，さらに視差マップ作成装置２３で左右の視点画像データと平面画像データとの対応点を一致させ，平面画像データに対応した視差マップまたは距離マップを作成し立体視画像データとすることもできる。
　立体視画像データは，平面画像データに，距離もしくは視差のデータまたは距離もしくは視差マップ（以下，付帯視差情報という）が対応したデータとなっているため，基本的には平面画像データである。平面画像データは，撮影時に絞り１２を，たとえば最小絞りとしているために，撮像レンズ１１の焦点を合わせた被写体の手前から奥まで焦点が合っている，いわゆる全焦点画像に近い画像となっている。より自然な立体視画像データとするためには，さらにぼかし処理装置１８を用いてぼかし処理が行われる。視差が大きい，または距離が焦点位置から離れている被写体をぼかすことで自然な立体視画像データが得られるため，ぼかし処理装置１８は，付帯視差情報に基づき視差が大きい，または距離が焦点位置から離れているほど画像データをぼかすようにぼかし量を決定し，平面画像データにぼかし処理を行う。ぼかし量はぼかし処理装置１８において画像から決定されても良いし，ユーザが最大ぼかし量またはぼかし量に相当する絞りの値（Ｆ値）を入力できるようにしても良い。ユーザの好みを反映させることができる。
　立体視画像データは被写体をほぼ正面から見た平面画像に距離情報（視差マップ）が付加されているデータとなっているため，表示制御部の視差の付け方によっては手前の物体に遮られて奥の物体が見えなくなっている領域であるオクルージョン領域が生じてしまう。これを解消するためには次の方法がある。
　上述したように，平面画像データは対応点において左右の視点画像データのどちらかまたは両方と対応している。そのため，平面画像データには存在しないが，左右どちらかの視差画像データに画像データがある領域を表示制御装置２１によって補間することができる。これにより立体視画像データの欠落を防ぐことができる。また，ぼかし処理装置１８を使用し，立体視画像データ中の平面画像データをぼかす処理を行っている場合，オクルージョン領域にもぼかし処理を拡張し，例えば合焦位置距離とそれの前後所定の距離範囲ごとにぼかし画像データを作成し，オクルージョン領域についてはぼかし画像データを使うことで補間することができる。より自然な立体視画像を表示できるようになる。
　また，メモリ・カード２７などに記録する立体視画像データは，上述のように平面画像と視差もしくは距離の情報またはそれらのマップからなる画像データでも良いし，表示制御装置２１によって作成し表示用画像（例えば左右の視差を持つ２枚の視差画像）データでもよい。信号処理等で用いるのであれば平面画像と視差もしくは距離の情報，またはそれらのマップからなる画像データが適するし，単に表示の用途に用いるのであれば視差画像データが適する。また，両画像データを共に記録することでも良い。記録画像データは，複数の画像やデータなどを持つことが出来る画像フォーマット（例えばマルチ・ピクチャ・フォーマット）で記録しても良いし，一般的な画像フォーマットで記録しても良い。
　第７図および第８図は，立体撮像装置１の処理手順を示すフローチャートである。
　この処理は撮影モードが「立体撮影」に設定され，撮影指示がされたことに応じて開始する。
　撮影開始の指示により行う撮影中，左右視点画像の撮影を先に行うか，平面画像の撮影を先に行うかをＣＰＵ１０が判断する（ステップ４１）。どちらを先に行うかは，あらかじめユーザにより設定されてメモリ２５に記録されている。左右視点画像の撮影が先と判断されると（ステップ４１でＹＥＳ），第１の時点で（上述のようにレリーズ・スイッチの半押し時でもよいし，半押し時でなくともよい）ＣＰＵ１０は左右視点画像撮影用の絞り，すなわち左右視点用の視差を得るために最適な絞り値（第２図に示すように，開口量が大きくなるような絞り値）が決定され，その決定された絞り値となるように絞り１２が制御される（ステップ４２）。ＡＥ制御，ＡＦ制御等が行われて撮影（第１の時点での撮影）が行われる。ＣＰＵ１０は，撮像素子制御装置６を制御し，撮像素子１３から左視点と右視点との映像信号を読み出す。左右のそれぞれの視点映像信号から左右の視点画像データが作成される（ステップ４３）。
　つづいて，第２の時点で（上述のようにレリーズ・スイッチの全押し時でもよいし，全押し時でなくともよい）ＣＰＵ１０は平面画像撮影用の絞り，すなわち視差を極力少なくする最適な絞り値（第５図に示すように，開口量が小さくなるような絞り値）が決定され，その決定された絞り値となるように絞り１２が制御される。ＡＥ制御，ＡＦ制御等が行われて撮影（第２の時点での撮影）が行われる（ステップ４４）。ＣＰＵ１０は撮像素子制御装置６を制御し，撮像素子１３から平面画像用の映像信号を読み出す。平面画像用の映像信号からディジタル信号処理装置１９等を制御することによって平面画像データが作成される（ステップ４５）。
　左右視点画像の撮影が先と判断されなかった場合（ステップ４１でＮＯ），第１の時点でＣＰＵ１０は平面画像撮影用の絞り値を決定し，決定された絞り値となるように絞り１２が設定される（ステップ４７）。ＡＥ制御，ＡＦ制御等が行われた後で撮影（第１の時点での撮影）が行われる。ＣＰＵ１０は撮像素子制御装置６を制御し，撮像素子１３から平面画像用の映像信号を読み出し，ディジタル信号処理装置１９等を制御することによって平面画像データを作成する（ステップ４８）。
　つづいて，第２の時点でＣＰＵ１０が左右視点画像撮影用の絞り値を決定し，その絞り値となるように絞り１２を制御する（ステップ４９）。ＡＥ制御，ＡＦ制御等が行われた後で，撮影（第２の時点での撮影）が行われる。ＣＰＵ１０撮像素子制御装置６を制御し，撮像素子１３から左視点と右視点の映像信号を読み出し，左右のそれぞれの視点画像データを作成する（ステップ５０）。
　つづいて，左右の視点画像データのそれぞれから視差情報が算出される（ステップ４６）。
　第９ａ図は左視点画像データによって表される左視点画像６１の一例であり，第９ｂ図は右視点画像データによって表される右視点画像６２の一例である。
　上述のように，左視点画像６１を構成する画素のそれぞれに対応する画素である対応点が，右視点画像６２の中から検出される。右視点画像６２において図示されている対応点は分かりやすくするために少数のみが図示されているが，もっと多くの対応点が検出されるのはいうまでもない。左視点画像６１を構成する画素のそれぞれと，右視点画像６２から検出された対応点との視差ずれ量が視差情報として検出され，視差マップが作成される（第８図ステップ５１）。
　第１０図は，作成された視差マップ６３の一例である。
　視差マップ６３には，視差が０の領域６３Ａ（クロス・ハッチングで図示されている），視差が小さい領域６３Ｂ（ハッチングで図示されている），視差が中くらいの領域６３Ｃ（ハッチングがされていない）が含まれている。分かりやすくするために，視差マップ６３は視差量の異なる３つの領域に分けられているが，画素ごとの視差情報が算出されているのはいうまでもない。従って，実際には連続した視差情報が視差マップとして二次元上に表現される。対応点が検出されない点については周囲の対応点に関連付けられた視差情報から補間することによって平面画像データに対応する視差マップが作成される。
　視差マップが作成されると，平面画像データに対応づけられた視差マップと，撮像レンズ１１の合焦位置の焦点距離とから，距離マップが作成される（第８図ステップ５２）。たとえば，第１０図に示すように，領域６３Ａが距離が近く，領域６３Ｂが距離が中くらいであり，領域６３Ｃが距離が遠い距離マップが作成される。もちろん，距離マップについても平面画像を構成する画素に対応して距離が算出されているのはいうまでもない。
　つづいて，平面画像データと距離マップとから立体視画像を表す立体視画像データが作成される（第８図ステップ５３）。視差マップから距離マップを作成後，距離マップを用いて立体視画像を作成しているが，距離マップを作成しなくても視差マップによって立体視画像データを作成できる。これは視差情報（視差マップ）が合焦位置からの相対値であるのに対し，距離情報（距離情報）は絶対値であるという差でしかないからである。例えば立体視画像は左右の視差を持つ２枚の画像を作成し，この２枚の画像を表示制御装置２１を制御し，表示装置２０を使って表示することもできる。
　立体視画像データの他に，記録する情報（例えば，視差情報など）がある場合には（ステップ５４でＹＥＳ），立体視画像データのほかに記録する情報が選択される（ステップ５５）。選択する情報の内容は，あらかじめユーザが選択しておきメモリ２５に記録されていても良いし，記録時にユーザに選択させても良い。選択された情報は立体視画像データと共にメモリ２５のデータ記録領域に記録するか，メモリ・カード制御装置２６を制御してメモリ・カード２７に記録する（ステップ５６）。立体視画像データの他に，記録する情報が無いと判断された場合は（ステップ５４でＮＯ），他の情報が記録されることなく立体視画像データがメモリ・カード２７等に記録される（ステップ５７）。立体視画像データを記録せず，他の情報（平面画像と視差情報のみなど）を記録することが出来ても良い。
　上述したのは，立体静止画撮影の実施例であるが，立体動画にも応用することが可能である。この場合，左右視点画像用の絞りおよび平面画像用の絞りを高速に切り替える必要が生じる。しかし，絞り１２を機械的な絞りではなくＰＬＺＴを使った絞りなどを用いることで実現可能である。
　第１１ａ図，第１１ｂ図および第１１ｃ図は，変形例を示すものである。第１１ａ図は，第１図に対応するもので，撮像素子９０の受光面を示し，第１１ｂ図は，第４ａ図に対応するもので，左視点画像を表す光電変換素子を示し，第１１ｃ図は，第４ｂ図に対応するもので，右視点画像を表す光電変換素子を示している。
　第１１ａ図を参照して，撮像素子９０には，列方向および行方向に多数の光電変換素子９１が配列されている。この変形例においては，第４ｎ＋１行および第４ｎ＋２行の光電変換素子９１は，受光領域の右側が遮光されており，受光領域の左側が開口されている。第４ｎ＋３行および第４ｎ＋４行の光電変換素子９１は，受光領域の左側が遮光されており，受光領域の右側が開口されている。これらの光電変換素子９１の開口には，赤色の光成分を透過する特性を有する赤色フィルタＲ，緑色の光成分を透過する特性を有する緑色フィルタＧまたは青色の光成分を透過する特性を有する青色フィルタＢが形成されている。上述した実施例と同様に，緑色フィルタＧは黒塗りの符号９４で図示されており，赤色フィルタＲは縞模様の符号９５で図示されており，青色フィルタＢは白抜きの符号９６で図示されている。これらのフィルタ配列はいわゆるベイヤ配列と呼ばれるものである。
　第４ｎ＋１行および第４ｎ＋２行の光電変換素子９１は，受光領域の右側が遮光されているから，第１１ｂ図に示すように第４ｎ＋１行および第４ｎ＋２行の光電変換素子９１を抽出すると，抽出された光電変換素子９１にもとづいて得られる画像は左視点画像を表すものとなる。
　第４ｎ＋３行および第４ｎ＋４行の光電変換素子９１は，受光領域の左側が遮光されているから，第１１ｃ図に示すように第４ｎ＋３行および第４ｎ＋４行の光電変換素子９１を抽出すると，抽出された光電変換素子９１にもとづいて得られる画像は右視点画像を表すものとなる。
　第１１ｂ図に示す構造をもつ撮像素子と第１１ｃ図に示す構造をもつ撮像素子との二つの撮像素子を用いるようにしてもよい。
　上述の実施例では，それぞれの光電変換素子９１の受光面の左側または右側を遮光することにより，左視点の被写体像と右視点の被写体像とが得られるが，光電変換素子９１の受光面を，左側１／４，左側１／４から１／２，左側１／２から３／４，右側１／４となるように遮光または開口するように撮像素子９０が構成されることにより視点の異なる４つの画像を表す画像データが得られる。同様にさらに視点数を増やすことも可能である。
　上述の実施例において，マイクロ・レンズ４１の光軸は受光領域の中心に一致しているが，必ずしも一致しなくともよい。マイクロ・レンズ４１の光軸が受光領域の中心からずれているものであっても受光領域に入射する光束が制限されればよい。さらに，隣接する２つまたは４つの光電変換素子に対して１つのマイクロ・レンズ４１を設けることにより，各光電変換素子に入射する光束が制限されるものでもよい。この場合は，マイクロ・レンズ４１以外は一般的な撮像素子を用いることが出来，製造工程中のマイクロ・レンズ工程を変えて撮像素子を作成出来る利点がある。さらに，第１４図に例示したように光束をミラーにより瞳分割するものでも良い。この場合は，光電変換素子の左側または右側が遮光されるように構成する必要が無い。上述した実施例では，瞳分割により視点の異なる複数の被写体像を取得することが出来る立体撮像装置全般に適用可能である。
　第１２図は，変形例を示すもので，距離マップ作成処理手順（第８図ステップ５２の処理手順）を示すフローチャートである。
　上述した実施例では，立体体撮像装置１で作成される立体視画像データは，平面画像データと距離マップとから構成されている。視差の情報は撮像装置により固有のものであるため，視差から計算される距離は撮影時の立体撮像装置と被写体の距離である。比較的遠方の被写体を主要被写体として撮影した場合，主要被写体と背景との距離差が少なく，作成された立体視画像データで表示する立体視画像の立体感が不足する場合がある。この変形例では，距離強調処理（距離補正処理）を行うことが可能である。上記のように，主要被写体と背景との距離差が少なく，他に被写体が含まれていない場合は立体視画像全体の立体感が不足するために，距離マップを参照して立体視全体に含まれる距離の差（距離差）を強調する処理を行うのが望ましい。また，背景と主要被写体の距離が近い場合，背景のみ距離を大きくする（遠方に移動することになる）処理を行うことも望ましい。また，立体視画像中の特定の距離にある被写体の立体感を強調したい場合は，ユーザが指定して強調することも可能である。距離差の強調と，距離の強調とを合わせて距離強調ということにする。
　距離強調処理に関するユーザ指定があるか否かの判断が行われる（ステップ１０１）。ユーザ指定があると（ステップ１０１でＹＥＳ），ユーザの指定した強調距離範囲の指定があるかどうかが，判断される（ステップ１０２）。ユーザが指定する強調距離範囲の指定がある場合には（ステップ１０２でＹＥＳ），指定された距離範囲にある距離情報を強調距離領域として指定する（ステップ１０３）。つづいて，距離強調の強調度指定があるか否かが判断される（ステップ１０４）。距離強調の強調度指定がある場合には（ステップ１０４でＹＥＳ），指定された距離範囲が指定強調度で強調され，距離マップが再作成される（ステップ１０６）。
　ユーザの指定した強調距離範囲の指定が無い場合は（ステップ１０２でＮＯ），距離マップを参照して強調距離領域および強調度が決定される。例えば距離マップから算出された距離分布が，標準的な立体視画像データの距離分布と比較し，強調距離，強調度が決定される。決定した距離範囲が決定した強調度で強調され距離マップが再作成される（ステップ１０６）。
　強調度指定が無い場合には（ステップ１０４でＮＯ），距離マップから算出した強調距離範囲および全体の距離分布が，標準的な立体視画像データの距離分布と比較され，強調度が決定される。すでに指定されている強調距離範囲が決定した強調度で強調された距離マップが再作成される（ステップ１０７）。
　ユーザ指定がない場合に（ステップ１０１でＮＯ）は，距離マップを参照して強調距離範囲が決定され（ステップ１０８），決定した距離範囲が決定した強調度で強調して距離マップが再作成される（ステップ１０９）。このようにして再作成された距離マップと平面画像データとが立体視画像データとしてメモリ・カード２７等に記録される。もちろん，再作成された距離マップと平面画像データとから左視点画像データと右視点画像データとを作成し，作成された左視点画像データと右視点画像データとを立体視画像データとしてメモリ・カード２７に記録してもよい。
　第１３図は，他の変形例を示すもので，ぼかし処理手順を示すフローチャートである。
　上述の実施例においては，立体撮像装置で作成される立体視画像データは，平面画像データと距離マップを基礎としている。平面画像データを取得するための撮影時には絞り１２を絞るために，立体視画像データで表される立体画像はいわゆる全焦点画像に近い，手前から奥まで焦点が合っている画像データとなる。一方，人間が立体視するときには「ぼけ」も重要な要素であり，焦点を合わせた被写体以外の被写体がぼけていることでも立体感を感じる。また，この実施例による立体撮像装置１でも左右の視差画像用撮影時には絞り１２を開いて撮影するため，左右の視点画像データで表される左右の視点画像は視差の大きい（合焦した距離から離れている）被写体はぼけている。この実施例の立体撮像装置で取得することのできる立体視画像データで表される立体視画像は，上述のように全焦点画像に近いため，左右の視点画像データで表される左右の視点画像のように合焦距離から離れた被写体像をぼかし処理することでより自然な立体視画像が得られる。
　第１３図に示す処理は，第８図ステップ５２とステップ５３との間で行うこととなる。
　まず，ぼかし処理に関するユーザ指定があるか否かが判断される（ステップ１３１）。ユーザ指定があると（ステップ１３１でＹＥＳ），ユーザの指定したぼかし距離範囲の指定があるか否かが判断される（ステップ１３２）。ユーザが指定するぼかし距離範囲の指定がある場合は（ステップ１３１でＹＥＳ），距離マップの指定されたぼかし距離範囲と対応する平面画像データの領域がぼかし領域として指定される（ステップ１３３）。ユーザの指定したぼかし距離範囲の指定がない場合は（ステップ１３１でＮＯ），距離マップが参照されてぼかし距離領域および強調度が決定される（ステップ１３８）。例えば距離マップを参照して，合焦している主要被写体から一定距離離れている被写体をぼかし領域に設定する等の処理が行われる。
　つづいて，ぼかしパラメータの指定があるか否かが判断される（ステップ１３５）。ぼかしパラメータの指定がある場合には（ステップ１３５でＹＥＳ），立体視画像データの指定されたぼかし距離範囲が指定されたぼかしパラメータでぼかし処理が行われる（ステップ１３６）。ぼかしパラメータの指定が無い場合には（ステップ１３５でＮＯ）。指定または決定されたぼかし領域の距離マップが参照されてぼかしパラメータが決定される（ステップ１３７）。例えば，ぼかす強度が距離の関数に比例するものにするなどして，ぼかしパラメータが決定される。立体視画像データの指定されたぼかし距離範囲が，指定されたぼかしパラメータでぼかし処理が行われる。
　ユーザ指定がない場合には（ステップ１３１でＮＯ），距離マップが参照されてぼかし距離範囲とぼかしパラメータとが決定される（ステップ１３８）。決定されたぼかし距離範囲が，決定されたぼかしパラメータでぼかし処理が行われる（ステップ１３９）。
　このようにしてぼかし処理が行われた平面画像データと距離マップとが立体視画像データとしてメモリ・カード２７に記録される。もちろん，ぼかし処理が行われた平面画像データと距離マップとから左視点画像データと右視点画像データとを作成し，作成された左視点画像データと右視点画像データとをメモリ・カード２７に記録するようにしてもよい。

Claims

瞳分割により視点の異なる複数の画像を表わす画像データを出力する固体電子撮像装置，
　上記固体電子撮像装置の受光面前方に設けられ，上記固体電子撮像装置の受光面に入射する光束の光量を調整する絞り，
　第１の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し，かつ第２の時点で上記第１の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御する絞り制御装置，
　上記第１の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出する視差情報算出手段，
　上記第２の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成する平面画像データ生成手段，および
　上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録する記録制御手段，
　を備えた立体撮像装置。
上記平面画像データ生成手段によって生成された平面画像データと上記視差情報算出手段によって算出された視差情報とから，立体視可能な立体画像を表わす立体画像データを生成する立体画像データ生成手段をさらに備え，
　上記記録制御手段は，
　上記平面画像データと上記視差情報とに代えて，上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録する，あるいは上記平面画像データと上記視差情報とに加えて上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録するものである，
　請求の範囲第１項に記載の立体撮像装置。
上記立体画像データ生成手段は，
　上記視差情報算出手段によって算出された視差情報から上記平面画像データ生成手段において生成された平面画像データによって表される平面画像について，立体撮像装置から平面画像に含まれる被写体までの距離情報を算出する距離情報算出手段を備え，
　上記距離情報算出手段によって算出された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成するものである，
　請求の範囲第２項に記載の立体撮像装置。
上記立体画像データ生成手段は，
　上記距離情報算出手段によって算出された，平面画像についての距離情報を補正する距離情報補正手段を備え，
　上記距離情報補正手段によって補正された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成するものである，
　請求の範囲第３項に記載の立体撮像装置。
上記立体画像データ生成手段は，
　上記平面画像データ生成手段によって生成された平面画像のうち，合焦している被写体部分から所定の距離だけ離れている被写体部分を表わす領域をぼかすぼかし処理を行うぼかし処理手段を備え，
　上記ぼかし処理手段によってぼかし処理が行われた平面画像を表わす平面画像データと上記距離算出手段によって算出された距離情報とから立体画像データを生成するものである，
　請求の範囲第３項に記載の立体撮像装置。
上記ぼかし処理手段は，平面画像のうちユーザにより指定された領域についてぼかし処理を行うものである，
　請求の範囲第５項に記載の立体撮像装置。
第２の時点は，ユーザにより平面画像の撮像指示が入力された時点であり，
　第１の時点は，上記第２の時点よりも前の時点である，
　請求の範囲第１項に記載の立体撮像装置。
第２の時点は，ユーザにより平面画像の撮像指示が入力された時点であり，
　第１の時点は，上記第２の時点よりも後の時点である，
　請求の範囲第１項に記載の立体撮像装置。
上記絞り制御装置は，第２の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像で視差が生じないように上記絞りの開放量を制御するものである，
　請求の範囲第１項に記載の立体撮像装置。
固体電子撮像装置が，瞳分割により視点の異なる複数の画像を表わす画像データを出力し，
　絞りが，上記固体電子撮像装置の受光面前方に設けられ，上記固体電子撮像装置の受光面に入射する光束の光量を調整し，
　絞り制御装置が，第１の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し，かつ第２の時点で上記第１の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御し，
　視差情報算出手段が，上記第１の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出し，
　平面画像データ生成手段が，上記第２の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成し，
　記録制御手段が，上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録する，
　立体撮像方法。