JP4748398B2

JP4748398B2 - 撮像装置、撮像方法及びプログラム

Info

Publication number: JP4748398B2
Application number: JP2007159429A
Authority: JP
Inventors: 悟岡本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-06-15
Filing date: 2007-06-15
Publication date: 2011-08-17
Anticipated expiration: 2027-06-15
Also published as: JP2008312058A

Description

本発明は撮像装置、撮像方法及びプログラムに係り、特に多視点画像が撮影可能な撮像装置、撮像方法及びプログラムに関する。

複数の視点から見た被写体像である多視点画像（３次元画像）を撮影、再生する技術として、以下のようなものが提案されている。

特許文献１には、左右の光軸の輻輳角を自動的に制御すると共に、手動によっても任意に調整することができる立体撮像装置が記載されている。

特許文献２には、被写体距離及び観察者の視差から、その場所を人間が見た場合に起こる自然な輻輳の大きさを計算し、その輻輳の値になるように左右の目に写し出される画像の位置を調節する立体表示装置が記載されている。

特許文献３には、３次元的に配列された画素からなるボリュームデータから輻輳角に応じた間隔の断面画像の対を複数作成し、それらを用いて立体視する立体表示装置が記載されている。
特開平１０―６６１０６号公報

しかしながら、特許文献１に記載の立体撮像装置においては、輻輳角をどのように設定するかについて記載されておらず、立体表示装置の種類、大きさ等に応じて目の疲労の少ない立体画像を再生させたり、撮影シーンや鑑賞者の好みに応じた立体画像を再生させたりすることができないという問題がある。

また、特許文献２に記載の立体表示装置においては、既に撮影された画像を用いての調整であるため、限られた調整しかできず、立体表示装置の種類、大きさ等に応じて目の疲労の少ない立体画像を再生させたり、撮影シーンや鑑賞者の好みに応じた立体画像を再生させたりすることができないという問題がある。

また、特許文献３に記載の立体表示装置は、ＣＴ装置やＭＲＩ装置を用いて撮影されたボリュームデータを用いて画像を再構成する技術であり、立体表示装置を用いて撮影された多視点画像（複数枚の２次元画像）を用いて立体視するものではない。

本発明はこのような事情に鑑みてなされたもので、任意の飛び出し感、奥行き感を有する立体画像を表示させることが可能な多視点画像を容易に撮影することができる撮像装置、撮像方法及びプログラムを提供することを目的とする。

請求項１に記載の撮像装置は、複数の撮像手段で被写体像を撮影することにより、立体表示が可能な多視点画像を撮影する撮像装置であって、前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整する調整手段と、主要被写体の距離を測距する測距手段と、前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を設定する設定手段と、前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方の情報を複数記憶する記憶手段であって、前記設定手段により設定された情報を含む複数の情報を記憶する記憶手段と、前記記憶手段から前記輻輳角及び基線長のうちの少なくとも一方の情報を順次読み出し、１回のシャッタレリーズ操作で前記輻輳角及び基線長の少なくとも一方が異なる複数の多視点画像を連続的に撮影できるように、前記読み出した情報に基づいて前記撮像手段及び前記調整手段を制御する制御手段と、を備えたことを特徴とする。

請求項１に記載の撮像装置によれば、複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整し、１回のシャッタレリーズ操作で輻輳角及び基線長の少なくとも一方が異なる複数の多視点画像を連続的に撮影する。このような撮影を、３Ｄブラケット撮影と定義する。輻輳角及び基線長のうちの少なくとも一方を変更することにより、多視点画像を立体表示した場合の立体感が異なるが、撮像機器の操作に慣れるまでは、立体表示した場合に、飛び出し感、奥行き感を有する多視点画像を撮影することが難しい。しかしながら、輻輳角及び基線長のうちの少なくとも一方の異なる複数の多視点画像を撮影し、その中から所望の多視点画像を選択することにより、撮影後においても好みの飛び出し感、奥行き感を有する立体表示が可能な多視点画像を容易に取得することができる。また、主要被写体の距離を測距し、複数の撮像手段の光軸が交差する点を含む面である基準面の位置が測距された距離と略一致するように輻輳角及び基線長のうちの少なくとも一方の情報を設定し、設定された輻輳角及び基線長のうちの少なくとも一方の情報を順次読み出し、この読み出した情報に基づいて調整手段を制御する。これにより、３Ｄブラケット撮影の基準面の位置を自動的に設定することができる。

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記調整手段は、前記複数の撮像手段の少なくとも一方を水平面内で回転駆動させる第１の駆動手段と、前記複数の撮像手段の少なくとも一方を水平方向に駆動させる第２の駆動手段と、のうちの少なくとも一方の駆動手段を有することを特徴とする。

請求項２に記載の撮像装置によれば、複数の撮像手段の少なくとも一方を水平面内で回転駆動させる第１の駆動手段と、前記複数の撮像手段の少なくとも一方を水平方向に駆動させる第２の駆動手段と、のうちの少なくとも一方の駆動手段を駆動させて、輻輳角及び基線長のうちの少なくとも一方を調整する。これにより、全ての撮像手段を駆動させることなく輻輳角や基線長を変更することができるため、駆動や制御を容易にすることができる。また、駆動させる撮像手段を限定することにより、省電力化及び低価格化が可能となる。

請求項３に記載の撮像装置は、請求項２に記載の撮像装置において、前記制御手段は、連続的に多視点画像を撮影する場合において、特定の輻輳角又は基線長に調整された撮影は、全ての撮像手段を用いて撮影を行い、前記特定の輻輳角又は基線長から変更されたその他の撮影は、前記駆動手段を介して駆動された撮像手段のみを用いて撮影を行うように、前記撮像手段及び前記調整手段を制御することを特徴とする。

請求項３に記載の撮像装置によれば、特定の輻輳角又は基線長に調整された撮影は、全ての撮像手段を用いて撮影を行い、それ以外の撮影時には、駆動手段を介して駆動された撮像手段のみを用いて撮影を行う。駆動された撮像手段で撮影される被写体像は、駆動の前後で変化するが、駆動されない撮像手段で撮影される被写体像は変化しない。したがって、被写体像が変化しない撮像手段は撮影を行わず、被写体像が変化すると考えられる撮像手段のみ撮影を行うことにより、立体表示に必要な画像数を削減することができる。

請求項４に記載の撮像装置は、請求項３に記載の撮像装置において、前記撮像手段により連続的に撮影される被写体像に動きがあるかどうかを検出する検出手段を更に備え、前記検出手段により被写体像に動きがあることが検出された場合には、前記制御手段は、全ての撮像手段を用いて撮影を行うように、前記撮像手段及び前記調整手段を制御することを特徴とする。

請求項４に記載の撮像装置によれば、撮像手段により連続的に撮影される被写体像に動きがあるかどうかを検出し、被写体像に動きがあることが検出された場合には、全ての撮像手段で被写体像が撮影されることにより、多視点画像が撮影される。被写体像に動きがあることが検出される場合とは、撮像手段が水平方向や回転方向に駆動された場合や、撮像手段は駆動されていないが被写体が動いた場合などが考えられる。被写体像に動きがあることが検出されない場合には、その撮像手段により撮影される被写体像は同じである。しかし、被写体像に動きがあることが検出された場合には、その前後で撮影される被写体像が異なる。この様な場合に、ある撮像手段で撮影された動き検出前の被写体像と、その他の撮像手段で撮影された動き検出後の被写体像とを用いて立体表示画像を作ることにより、正常でない立体表示画像が生成されるのを防止することができる。

請求項５に記載の撮像装置は、請求項１〜４のいずれかに記載の撮像装置において、前記制御手段により連続的に撮影された輻輳角及び基線長のうちの少なくとも一方が異なる複数の多視点画像から前記輻輳角及び基線長のうちの少なくとも一方が異なる複数の立体表示画像を生成する立体表示画像生成手段を更に備えたことを特徴とする。

請求項５に記載の撮像装置によれば、連続的に撮影された輻輳角及び基線長のうちの少なくとも一方が異なる複数の多視点画像から、それぞれ立体表示画像を作成する。これにより、複数の多視点画像からそれぞれ立体感の異なる複数の立体表示画像が作成され、この中から所望の立体表示画像を選択することで、好みの飛び出し感、奥行き感を有する立体表示が可能な多視点画像を容易に取得することができる。

請求項６に記載の撮像装置は、請求項１〜５のいずれかに記載の撮像装置において、前記連続的に撮影された複数の多視点画像に関連する関連情報を生成する関連情報生成手段と、前記連続的に撮影された複数の多視点画像及び前記関連情報で構成された記録用画像ファイルを作成する記録用画像ファイル作成手段と、前記作成された記録用画像ファイルを記録媒体に記録する記録手段と、を備えたことを特徴とする。

請求項６に記載の撮像装置によれば、撮影された複数の多視点画像のデータである記録用画像ファイルは、複数の多視点画像の撮影に関する情報が格納された関連情報と、連続的に撮影された複数の多視点画像とで構成される。これにより、複数の多視点画像の撮影に関する情報を、撮影された多視点画像の画像データと関連付けて記録することができる。

請求項７に記載の撮像装置は、請求項６に記載の撮像装置において、前記記録用画像ファイル作成手段は、前記連続的に撮影された複数の多視点画像から１枚の代表画像を選択し、前記記録用画像ファイルのヘッダ以降に順次前記代表画像、前記関連情報及び複数の多視点画像を配置して前記記録用画像ファイルを作成することを特徴とする。

請求項７に記載の撮像装置によれば、連続的に撮影された複数の多視点画像から１枚の代表画像を選択し、記録用画像ファイルのヘッダ以降に順次代表画像、関連情報及び複数の多視点画像が配置された記録用画像ファイルを作成する。これにより、多視点画像が再生できない装置で再生した場合においても、代表画像のみは再生することができる。そのため、多視点画像に対応していない装置においても、どのような画像が撮影されているかを知るために、被写体像を再生することができる。

請求項８に記載の撮像装置は、請求項６又は７に記載の撮像装置において、前記関連情報生成手段は、前記制御手段の制御に関する情報を前記関連情報として生成することを特徴とする。

請求項８に記載の撮像装置によれば、関連情報として、撮像手段や調整手段の制御に関する情報を画像データに関連付けて記録する。これにより、撮像手段の制御に関する情報を、撮影された多視点画像の画像データと関連付けて記録することができる。

請求項９に記載の撮像方法は、複数の撮像手段で被写体像を撮影することにより、立体表示が可能な多視点画像を撮影する撮像方法において、（ａ）主要被写体の距離を測距するステップと、（ｂ）前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を設定するステップと、（ｃ）前記設定された情報を記憶するステップと、（ｄ）前記記憶された情報を読み出すステップと、（ｅ）前記読み出された情報に基づいて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整するステップと、（ｆ）前記輻輳角及び基線長のうちの少なくとも一方が調整された状態で前記複数の撮像手段により第１の多視点画像を取得するステップと、（ｇ）前記第１の多視点画像の取得後に前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を変更するステップと、（ｈ）前記輻輳角及び基線長のうちの少なくとも一方が変更された状態で前記複数の撮像手段により第２の多視点画像を取得するステップと、を含み、１回のシャッタレリーズ操作で少なくとも前記ステップ（ｄ）〜（ｈ）を実行させて複数の多視点画像を撮影することを特徴とする。

請求項９の撮像方法によれば、まず（ａ）主要被写体の距離を測距するステップと、（ｂ）前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を設定するステップと、（ｃ）前記設定された情報を記憶するステップと、を行い、（ｄ）前記記憶された情報を読み出すステップと、（ｅ）前記読み出された情報に基づいて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整するステップと、（ｆ）前記輻輳角及び基線長のうちの少なくとも一方が調整された状態で前記複数の撮像手段により第１の多視点画像を取得するステップと、（ｇ）前記第１の多視点画像の取得後に前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を変更するステップと、（ｈ）前記輻輳角及び基線長のうちの少なくとも一方が変更された状態で前記複数の撮像手段により第２の多視点画像を取得するステップの５個のステップを、１回のシャッタレリーズ操作で少なくとも１回は行う。これにより、基準面の位置を自動的に設定して３Ｄブラケット撮影を行うことができる。

請求項１０に記載のプログラムは、（ａ）主要被写体の距離を測距手段に測距させるステップと、（ｂ）前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を制御手段に設定させるステップと、（ｃ）前記設定された情報を記憶手段に記憶させるステップと、（ｄ）レリーズスイッチが押圧されたことを前記制御手段に検出させるステップと、（ｅ）レリーズスイッチの押圧が検出されると、前記制御手段に前記記憶手段から情報を読み出させ、当該読み出された情報に基づいて駆動手段を駆動させて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整させるステップと、（ｆ）前記輻輳角及び基線長のうちの少なくとも一方が調整された状態で前記複数の撮像手段に第１の多視点画像を取得させるステップと、（ｇ）前記第１の多視点画像の取得後に前記駆動手段を駆動させて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を変更させるステップと、（ｈ）前記輻輳角及び基線長のうちの少なくとも一方が変更された状態で前記複数の撮像手段に第２の多視点画像を取得させるステップと、を演算装置に実行させることを特徴とする。

本発明によれば、任意の飛び出し感、奥行き感を有する立体画像を表示させることが可能な多視点画像を容易に撮影することができる。

以下、添付図面に従って本発明に係る撮像素子一体型レンズ交換式デジタルカメラを実施するための最良の形態について詳細に説明する。

図１は、複眼デジタルカメラ１の電気的構成を示すブロック図である。複眼デジタルカメラ１は、単視点画像（２次元画像）と、多視点画像（３次元画像）とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、単視点画像のみでなく、多視点画像の撮影も可能である。

複眼デジタルカメラ１には、主として、第１撮像系２ａおよび第２撮像系２ｂの２個の撮像系と、ユーザーがこの複眼デジタルカメラ１を使用するときに種々の操作を行うための操作部３と、操作の手助けを行うための操作表示ＬＣＤ４と、レリーズスイッチ５ａ、５ｂと、画像表示ＬＣＤ６とが設けられている。

第１撮像系２ａおよび第２撮像系２ｂは、そのレンズ光軸Ｌ１、Ｌ２が平行となるように、あるいは所定角度をなすように並設されている。

第１撮像系２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１ａ、第１絞り１２ａ、第１フォーカスレンズ１３ａ、および第１イメージセンサ１４ａによって構成されている。第１絞り１２ａには絞り制御部１６ａが接続されており、また、第１イメージセンサ１４ａにはタイミングジェネレータ（ＴＧ）１８ａが接続されている。第１絞り１２ａ、第１フォーカスレンズ１３ａの動作は測光・測距ＣＰＵ１９ａによって制御される。ＴＧ１８ａの動作はメインＣＰＵ１０によって制御される。

第１ズームレンズ１１ａは、操作部３からのズーム操作に応じて、レンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。

第１絞り１２ａは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。

第１フォーカスレンズ１３ａは、ＡＦ（Auto Focus）動作時にレンズ光軸Ｌ１に沿ってＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。静止画用レリーズスイッチ５ａの半押し状態が検出されたとき、メインＣＰＵ１０は第１イメージセンサ１４ａから測距データを得る。メインＣＰＵ１０は得られた測距データに基づいて、ピント、絞りなどの調整を行う。

第１イメージセンサ１４ａは、ＣＣＤ型やＣＭＯＳ型のイメージセンサであり、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４ａの光電荷蓄積・転送動作は、ＴＧ１８ａによって制御され、ＴＧ１８ａから入力されるタイミング信号（クロックパルス）により、電子シャッター速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４ａは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第２撮像系２ｂは、第１撮像系２ａと同一の構成であり、第２ズームレンズ１１ｂ、第２絞り１２ｂ、第２フォーカスレンズ１３ｂ、およびタイミングジェネレータ（ＴＧ）１８ｂが接続された第２イメージセンサ１４ｂによって構成されている。

第１撮像系２ａと第２撮像系２ｂの動作はメインＣＰＵ１０によって制御される。第１撮像系２ａと第２撮像系２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。

第１撮像系２ａと第２撮像系２ｂの第１イメージセンサ１４ａおよび第２イメージセンサ１４ｂから出力された撮像信号は、それぞれＡ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３０ａ、３０ｂを通して、第１イメージセンサ１４ａの撮像信号は右眼用画像データとして、第２イメージセンサ１４ｂの撮像信号は左眼用画像データとして出力される。

画像信号処理回路３１ａ、３１ｂは、それぞれ、階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を、Ａ／Ｄ変換器３０ａ、３０ｂから入力された右眼用画像データおよび左眼用画像データに施す。

バッファメモリ３２ａ、３２ｂは、画像信号処理回路３１ａ、３１ｂで各種画像処理が施された右眼用画像データおよび左眼用画像データを一時的に格納する。バッファメモリ３２ａ、３２ｂに格納された右眼用画像データおよび左眼用画像データは、システムバスを介して出力される。

システムバスには、メインＣＰＵ１０、ＥＥＰＲＯＭ２１、ワークメモリ２４ａ、２４ｂ、バッファメモリ３２ａ、３２ｂ、コントローラ３４、ＹＣ処理部３５ａ、３５ｂ、圧縮伸張処理回路３６ａ、３６ｂ、メディアコントローラ３７、２Ｄ／３Ｄモード切替フラグ設定手段５０、基線長／輻輳角記憶手段５１、縦／横撮り検出手段５２、顔検出部５３などが接続される。

メインＣＰＵ１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。メインＣＰＵ１０には、操作部３、レリーズスイッチ５ａ、５ｂ、２Ｄ／３Ｄ設定スイッチ７、基線長／輻輳角制御手段５５、距離用駆動／制御手段６０が接続されている。

操作部３は、複眼デジタルカメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーなどで構成される。操作部３への適宜操作により、電源のオン／オフ、各種モード（撮影モード、３Ｄブラケット撮影モード、再生モード、消去モード、編集モード等）の切り替え、ズーミングなどが行われる。

レリーズスイッチ５ａ、５ｂは２段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ５ａ、５ｂが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ５ａ、５ｂが強く押圧（全押し）されると、撮影処理が行われ、右眼用画像データおよび左眼用画像データがフレームメモリ３２からメモリカード３８に転送されて記録される。なお、レリーズスイッチ５ａは静止画用のレリーズスイッチであり、レリーズスイッチ５ｂは動画用のレリーズスイッチである。

画像表示ＬＣＤ６は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの立体表示を行う。画像表示ＬＣＤ６ａは第１撮像系２ａの出力結果を表示し、画像表示ＬＣＤ６ｂは第２撮像系２ｂの出力結果を表示する。画像表示ＬＣＤ６の詳細な構造は図示しないが、画像表示ＬＣＤ６は、その表面にパララックスバリア表示層を備えている。画像表示ＬＣＤ６は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

２Ｄ／３Ｄ設定スイッチ７は、単視点画像を撮影する２Ｄモードと、多視点画像を撮影する３Ｄモードの切り替えを指示するためのスイッチである。

基線長／輻輳角制御手段５５は、基線長／輻輳角記憶手段５１に記憶された基線長及び輻輳角に基づいて、基線長／輻輳角駆動手段５６ａ、５６ｂを制御して、第１撮像系２ａ及び第２撮像系２ｂの基線長（第１撮像系２ａと第２撮像系２ｂとの間隔）及び輻輳角（第１撮像系２ａのレンズ光軸Ｌ１と、第２撮像系２ｂのレンズ光軸Ｌ２との成す角度）を調整するものである。

基線長／輻輳角駆動手段５６ａ、５６ｂは、基線長／輻輳角制御手段５５に接続されており、基線長／輻輳角制御手段５５からの指示に従って、第１撮像系２ａ及び第２撮像系２ｂを駆動するものである。

基線長／輻輳角検出手段５７ａ、５７ｂは、基線長／輻輳角制御手段５５及び基線長／輻輳角駆動手段５６ａ、５６ｂに接続されており、基線長／輻輳角駆動手段５６ａ、５６ｂによってそれぞれ駆動された第１撮像系２ａ及び第２撮像系２ｂの基線長及び輻輳角を検出するものである。基線長／輻輳角制御手段５５は、基線長／輻輳角記憶手段５１から読み出した基線長及び輻輳角と、基線長／輻輳角検出手段５７ａ、５７ｂにおいて検出された基線長及び輻輳角とが一致するように、基線長／輻輳角駆動手段５６ａ、５６ｂへ指示を出力する。

距離用駆動／制御手段６０は、距離用発光素子５２ａ、５２ｂの発光タイミングと距離用撮像素子５３ａ、５３ｂとを同期させる制御を行う。

距離用発光素子６２ａ、６２ｂは、それぞれ第１撮像系２ａおよび第２撮像系２ｂの捉えた同一被写体へ投光スポットを照射するための発光ダイオード（ＬＥＤ）で構成される。

距離用撮像素子６１ａ、６１ｂは、それぞれ距離用発光素子５２ａ、５２ｂにより投光スポットの照射された被写体像を取得する測距専用の撮像素子である。距離用撮像素子６１ａ、６１ｂの撮像動作で得られたアナログ画像信号は、それぞれ測距用Ａ／Ｄ変換部６３ａ、６３ｂにおいてデジタル画像データに変換されて、距離情報処理手段６４に出力される。

距離情報処理手段６４は、いわゆる三角測距の原理に基づいて、入力されたデジタル画像データから、第１撮像系２ａおよび第２撮像系２ｂの捉えた被写体までの距離を算出する。

距離情報記憶手段６５は、距離情報処理手段６４から入力された距離情報を記憶する。

ＥＥＰＲＯＭ２１は、不揮発性メモリであり、各種制御用のプログラムや設定情報などを格納している。メインＣＰＵ１０は、このプログラムや設定情報に基づいて各種処理を実行する。

ワークメモリ２４ａ、２４ｂは、ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号をそれぞれ格納する。

コントローラ３４は、ワークメモリ２４ａ、２４ｂに記憶された右眼用画像データおよび左眼用画像データのＹＣ信号をＹＣ／ＲＧＢ処理部２２に読み出す。

ＹＣ／ＲＧＢ処理部２２は、右眼用画像データおよび左眼用画像データのＹＣ信号を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ６での立体表示を行うための立体画像データに合成し、表示用のＬＣＤドライバ２３に出力する。撮影モード時に電子ビューファインダとして使用される際には、ＹＣ／ＲＧＢ処理部２２によって合成された立体画像データが、ＬＣＤドライバ２３を介して画像表示ＬＣＤ６にスルー画として表示される。また、撮影によって得られた画像データの立体表示を行う場合には、ＹＣ／ＲＧＢ処理部２２は、メモリカード３８に記録された各画像データがメディアコントローラ３７によって読み出されて、圧縮伸張処理回路３６ａ、３６ｂによって伸張処理が行われたデータを立体画像データに変換し、その立体画像データがＬＣＤドライバ２３を介して再生画像として画像表示ＬＣＤ６に表示される。

ＬＣＤドライバ２３は、ＹＣ／ＲＧＢ処理部２２から出力されたＲＧＢ信号を画像表示ＬＣＤ６に出力する。

ＹＣ処理部３５ａ、３５ｂは、バッファメモリ３２ａ、３２ｂに記憶された画像データを輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換するとともに、ガンマ調整等の所定の処理を施す。

圧縮伸張処理回路３６ａ、３６ｂは、それぞれワークメモリ２４ａ、２４ｂに記憶された右眼用画像データおよび左眼用画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。

メディアコントローラ３７は、圧縮伸張処理回路３６ａ、３６ｂによって圧縮処理された各画像データを、Ｉ／Ｆ３９経由で接続されたメモリカード３８やその他の記録メディアに記録させる。

メモリカード３８は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

２Ｄ／３Ｄモード切替フラグ設定手段５０には、２Ｄモードであることまたは３Ｄモードであることを表すフラグが設定される。

基線長／輻輳角記憶手段５１は、測光・測距ＣＰＵ１９ａ、１９ｂに基づいて、適切な基線長や輻輳角を算出して記憶するものである。

縦／横撮り検出手段５２は、内蔵のセンサー（図示せず）により、縦撮りまたは横撮りのいずれで撮影を行うかを検出する。なお、縦／横撮り検出手段５２による検出は、縦撮り又は横撮りの設定を縦撮りまたは横撮りの指示を入力することにより行い、その設定を検出することにより行っても良い。

顔検出部５３は、様々な公知の技術を用いて、被写体の顔を検出する。

また、複眼デジタルカメラ１には、電源電池６８が着脱可能に設けられている。

電源電池６８は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池６８は、図示しない電池収納室に装填することにより、複眼デジタルカメラ１の各回路と電気的に接続される。

充電・発光制御部４３ａ、４３ｂは、電源電池６８からの電力の供給を受けて、それぞれストロボ４４ａ、４４ｂを発光させるために、図示しない閃光発光用のコンデンサを充電し、ストロボ４４ａ、４４ｂの発光を制御する。

充電・発光制御部４３ａ、４３ｂは、レリーズスイッチ５ａ、５ｂの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号を、メインＣＰＵ１０や測光・測距ＣＰＵ１９ａ、１９ｂから取り込んだことに応じて、ストロボ４４ａ、４４ｂへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。

なお、図１の複眼デジタルカメラ１においては、２系統の撮像系（第１撮像系２ａおよび第２撮像系２ｂ）を有する例を示すが、撮像系が３個以上あってもよい。また、撮像系の配置は、横一列でなくても二次元で配置されていてもよい。

また、図１の複眼デジタルカメラ１は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。

上記のように構成された複眼デジタルカメラ１の撮影、記録動作及び再生動作について説明する。

この複眼デジタルカメラ１において、電源ボタン（図示せず）がＯＮ操作されると、メインＣＰＵ１０はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。また、２Ｄ／３Ｄ設定スイッチ７で２Ｄモードか３Ｄモードのどちらかに設定する。

この撮影スタンバイ状態では、メインＣＰＵ１０は、通常、以下のようにして画像表示ＬＣＤ６に動画（スルー画）を表示させる。

まず、メインＣＰＵ１０は、２Ｄ／３Ｄモード切替フラグ設定手段５０を参照し、単視点画像（２次元画像）を取得する２Ｄモードか、多視点画像（３次元画像）を取得する３Ｄモードかを検出する。２Ｄモードの場合は第１撮像系２ａのみを駆動し、３Ｄモードの場合は第１撮像系２ａ及び第２撮像系２ｂを駆動する。

第１ズームレンズ１１ａ、第２ズームレンズ１１ｂ、第１フォーカスレンズ１３ａ、第２フォーカスレンズ１３ｂが所定位置まで繰り出され、その後第１イメージセンサ１４ａ、第２イメージセンサ１４ｂによってスルー画像用の撮影が行われ、画像表示ＬＣＤ６にスルー画像が表示される。すなわち、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次コントローラ３４に加えられ、表示用の信号形式に変換されて、画像表示ＬＣＤ６に出力される。これにより、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで捉えた画像が画像表示ＬＣＤ６にスルー表示される。

ユーザ（撮影者）は、画像表示ＬＣＤ６に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ５ａ、５ｂが半押しされると、メインＣＰＵ１０にＳ１ＯＮ信号が入力される。メインＣＰＵ１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂを介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における第１絞り１２ａ、第２絞り１２ｂの絞り値、及びシャッター速度の決定に使用される。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。ストロボ４４ａ、４４ｂの発光が必要と判断された場合には、ストロボ４４ａ、４４ｂをプリ発光させ、その反射光に基づいて本撮影時のストロボ４４ａ、４４ｂの発光量を決定する。３Ｄモードの場合には、上記以外に、基線長／輻輳角記憶手段５１に記憶された撮影者毎の基線長、輻輳角の情報に基づいて、第１撮像系２ａおよび第２撮像系２ｂの基線長及び輻輳角を調整する。

レリーズスイッチ５ａ、５ｂが全押しされると、メインＣＰＵ１０にＳ２ＯＮ信号が入力される。メインＣＰＵ１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、メインＣＰＵ１０は、前記測光値に基づいて決定した絞り値に基づいて絞り制御部１６ａ、１６ｂを介して第１絞り１２ａ、第２絞り１２ｂを駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように第１イメージセンサ１４ａ、第２イメージセンサ１４ｂでの電荷蓄積時間（いわゆる電子シャッター）を制御する。

また、メインＣＰＵ１０は、バッファメモリ３２ａ、３２ｂに格納される右眼用画像データおよび左眼用画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、後述する撮影準備処理時に実行されるＡＦ動作およびＡＥ動作においてそれぞれ使用される。

メインＣＰＵ１０は、メインＣＰＵ１０が第１フォーカスレンズ１３ａおよび第２フォーカスレンズ１３ｂを制御してそれぞれ所定方向に移動させながら、順次に得られる右眼用画像データおよび左眼用画像データの各々から算出されたＡＦ評価値の最大値を求めることにより、ＡＦ動作（コントラストＡＦ）を行う。

この際、ストロボ４４ａ、４４ｂを発光させる場合は、プリ発光の結果から求めたストロボ４４ａ、４４ｂの発光量に基づいてストロボ４４ａ、４４ｂを発光させる。

被写体光は、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａを介して第１イメージセンサ１４ａの受光面に入射する。また、第２ズームレンズ１１ｂ、第２絞り１２ｂ、および第２フォーカスレンズ１３ｂを介して第２イメージセンサ１４ｂの受光面に入射する。

第１イメージセンサ１４ａ、第２イメージセンサ１４ｂは、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂの受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１８ａから加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として第１イメージセンサ１４ａ、第２イメージセンサ１４ｂから順次出力され、Ａ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、メインＣＰＵ１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換器３０ａ、３０ｂにおいて、それぞれアナログの画像信号からデジタルの画像信号に変換される。

Ａ／Ｄ変換器３０ａ、３０ｂから出力された右眼用画像データおよび左眼用画像データは、それぞれ画像信号処理回路３１ａ、３１ｂで階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を施され、バッファメモリ３２ａ、３２ｂに一旦蓄えられる。

バッファメモリ３２ａ、３２ｂから読み出されたＲ、Ｇ、Ｂの画像信号は、ＹＣ処理部３５ａ、３５ｂにより輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭調整回路により輪郭強調処理される。ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号は、それぞれワークメモリ２４ａ、２４ｂに蓄えられる。

上記のようにしてバッファメモリ３２ａ、３２ｂに蓄えられたＹＣ信号は、圧縮伸張処理回路３６ａ、３６ｂによって圧縮され、所定のフォーマットの画像ファイルとして、Ｉ／Ｆ３９を介してメモリカード３８に記録される。本例の複眼デジタルカメラ１の場合、静止画の２次元画像のデータは、Ｅｘｉｆ規格に従った画像ファイルとしてメモリカード３８に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。動画のデータは、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理が施されてメモリカード３８に格納される。

このようにしてメモリカード３８に記録された画像データは、複眼デジタルカメラ１のモードを再生モードに設定することにより、画像表示ＬＣＤ６に再生表示される。再生モードへの移行は、再生ボタン（図示せず）を押下することにより行われる。

再生モードが選択されると、メモリカード３８に記録されている最終コマの画像ファイルがＩ／Ｆ３９を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理回路３６ａ、３６ｂを介して非圧縮のＹＣ信号に伸長される。

伸長されたＹＣ信号は、バッファメモリ３２ａ、３２ｂ（又は図示しないＶＲＡＭ）に保持され、コントローラ３４によって表示用の信号形式に変換されて画像表示ＬＣＤ６に出力される。これにより、画像表示ＬＣＤ６にはメモリカード３８に記録されている最終コマの画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード３８から読み出され、上記と同様にして画像が画像表示ＬＣＤ６に再生される。なお、３次元画像の再生については、後で詳述する。

画像表示ＬＣＤ６に再生表示された画像を確認しながら、必要に応じて、メモリカード３８に記録された画像を消去することができる。画像の消去は、画像が画像表示ＬＣＤ６に再生表示された状態でフォトモードボタンが押下されることによって行われる。

以上のように、複眼デジタルカメラ１は画像の撮影、記録及び再生を行う。上記説明は、静止画を撮影する場合について説明したが、動画の場合も同様である。動画、静止画の撮影は、個々のレリーズボタンにより制御される。また、動画、静止画のモードセレクトＳＷやメニューにより、動画、静止画の切り替えを行うようにしてもよい。

［本発明の概要］
次に、本発明に係る撮影方法の概要について説明する。

この複眼デジタルカメラ１は、モードダイヤル３又はメニュー画面を使用して３Ｄブラケット撮影モードを選択することができるようになっている。この３Ｄブラケット撮影モードは、１回のシャッタレリーズ操作によって第１撮像系２ａ，第２撮像系２ｂ間の輻輳角及び基線長のうちの少なくとも一方を撮影毎に変更し、複数の多視点画像を連続的に撮影するモードである。

以下、図２から図４を参照しながら、第１撮像系２ａ，第２撮像系２ｂ間の輻輳角及び基線長のうちの少なくとも一方を変更する態様について説明する。
＜輻輳角のみを変更する場合＞
図２に示すように第１撮像系２ａ，第２撮像系２ｂ間の基線長Ｌを固定し、輻輳角のみをθ１、θ２、θ３に変更する。

このように輻輳角をθ１、θ２、θ３に変更することにより、第１撮像系２ａ，第２撮像系２ｂの交差する点を含む面である基準面Ａ，Ｂ，Ｃの位置を近側から遠側に変化させることができる。

ここで、多視点画像に基づいて３Ｄ表示される画像において、上記基準面の位置の被写体は、スクリーンやディスプレイ面に画像が位置するように表示され、基準面の位置よりも手前側の被写体は、スクリーンやディスプレイ面よりも飛び出して見えるように表示され、基準面の位置よりも奥にある被写体は、スクリーンやディスプレイ面よりも奥にあるように表示される。

従って、基準面の位置の異なる複数の多視点画像を撮影し、所望の多視点画像を３Ｄ表示用に使用することにより、所望の飛び出し感及び奥行き感を有する３Ｄ画像を表示させることができる。

上記輻輳角θ１、θ２、θ３としては、予め設定された基準面Ａ、Ｂ、Ｃの位置（距離）と、第１撮像系２ａ，第２撮像系２ｂ間の基線長Ｌとに基づいて算出された輻輳角を使用することができる。基準面Ａ、Ｂ、Ｃの位置は、至近の位置（複眼デジタルカメラ１で調整可能な最大の輻輳角）から無限遠の位置（輻輳角０°）の範囲内で、任意に設定することができる。

また、上記輻輳角θ１、θ２、θ３の他の設定方法としては、まず、基準となる中心の輻輳角θ２を設定する。この輻輳角θ２を設定する方法としては、ユーザーが操作部３を使用して直接輻輳角θ２を設定する方法や、基準面Ｂの距離を手動入力し、又は測距された主要被写体の距離を基準面Ｂの距離として自動入力し、この入力された基準面Ｂの距離と、第１撮像系２ａ，第２撮像系２ｂ間の基線長Ｌとに基づいて算出された輻輳角θ２を設定する方法が考えられる。

他の輻輳角θ１、θ３は、前記設定された輻輳角θ２を基準にして前後の輻輳角として設定する。例えば、基準面Ｂよりも所定の距離だけ手前側の基準面Ａの位置、及び所定の距離だけ奥行き側の基準面Ｃの位置を設定し、これらの基準面Ａ、Ｃの位置（距離）と基線長Ｌとに基づいて各基準面Ａ、Ｃ上で交差する光軸の輻輳角θ１、θ３を算出する。また、前記決定した輻輳角θ２を基準にして、この輻輳角θ２よりも所定の角度Δθだけ大きい輻輳角θ１を基準面Ａでの輻輳角として設定し、同様に輻輳角θ２よりも所定の角度Δθだけ小さい輻輳角θ３を基準面Ｃでの輻輳角として設定してもよい。なお、基準面Ａ、Ｂ、Ｃ間の間隔、あるいは前記所定の角度Δθの大きさは、操作部３を使用して適宜設定できるようにしてもよい。

上記のようにして設定された輻輳角θ１、θ２、θ３は、基線長／輻輳角記憶手段５１に記憶され、３Ｄブラケット撮影モードでの撮影時に使用される。

なお、３Ｄブラケット撮影する撮影回数は、３回に限らず、操作部３を使用して任意の回数に設定できるようにしてもよい。また、基準面は近側から遠側に変化させるのみでなく、遠側から近側に変化させてもよい。

＜基線長のみを変更する場合＞
図３に示すように第１撮像系２ａ，第２撮像系２ｂ間の輻輳角θを固定し、基線長のみをＬ１、２、Ｌ３に変更する。

このように基線長をＬ１、Ｌ２、Ｌ３に変更に変更することにより、第１撮像系２ａ，第２撮像系２ｂの交差する点を含む面である基準面Ａ，Ｂ，Ｃの位置を近側から遠側に変化させることができる。

上記基線長Ｌ１、２、Ｌ３の設定は、上記輻輳角θ１、θ２、θ３の設定と同様にして行うことができる。

＜輻輳角及び基線長を変更する場合＞
図４に示すように第１撮像系２ａ，第２撮像系２ｂ間の輻輳角をθ１、θ２、θ３に変更するとともに、基線長をＬ１、Ｌ２、Ｌ３に変更する。

なお、図４に示す例では、輻輳角及び基線長を変更しても基準面Ａの位置が変化しないように、輻輳角θ１、θ２、θ３と基線長Ｌ１、Ｌ２、Ｌ３との関係が設定されている。

このようにして輻輳角及び基線長を変更して３Ｄブラケット撮影された複数の多視点画像に基づいて表示される各３Ｄ画像は、基準面Ａの前方及び後方の被写体の飛び出し感及び奥行き感の強さがそれぞれ異なる３Ｄ画像となる。

[３Ｄブラケット撮影モード]
基準面を少しずつ変えながら連続的に撮影を行う方法について、図５〜図７を用いて説明する。以下の処理は、複眼デジタルカメラ１が３Ｄブラケット撮影モードに設定され、レリーズスイッチ５ａが全押しされた後で開始される。また、以下の処理は、メインＣＰＵ１０によって制御される。なお、図５、図６は、第１撮像系２ａ及び第２撮像系２ｂの両方を移動させて輻輳角又は基線長を変更する場合（第１の実施の形態）であり、図７は、第１撮像系２ａ及び第２撮像系２ｂのいずれか１つを移動させて輻輳角又は基線長を変更する場合（第２の実施の形態）であり、図８、図９は、第１撮像系２ａ及び第２撮像系２ｂのいずれか１つを移動させて輻輳角又は基線長を変更する場合において、３Ｄブラケット撮影中に被写体の動きが検出された場合（第３の実施の形態）である。また、図５〜図７における写真の番号（（１）、（２）等）は、各実施の形態において、被写体像が撮影、記録される順番を示す。

＜第１の実施の形態＞
第１撮像系２ａ及び第２撮像系２ｂの両方を移動させて輻輳角又は基線長を変更することにより、基準面を第１撮像系２ａ及び第２撮像系２ｂから遠い位置から近い位置へと移動させて、３箇所の基準面における多視点画像を連続的に撮影する場合を例に説明する。図５は本実施の形態の処理の流れを示すフローチャートであり、図６は本実施の形態により撮影された多視点画像である。図６において、上段の３枚の被写体像（画像１左、画像２左及び画像３左）は第２撮像系２ｂにより撮影された左目用の被写体像であり、下段の３枚の被写体像（画像１右、画像２右及び画像３右）は第１撮像系２ａにより撮影された右目用の被写体像である。

前処理として、複眼デジタルカメラ１が撮影モードに設定されているかどうかが判定され（ステップＳ１）、撮影モードに設定されていない場合（ステップＳ１でＮＯ）はステップＳ１が繰り返され、撮影モードに設定されている場合（ステップＳ１でＹＥＳ）は、複眼デジタルカメラ１が３Ｄモード（多視点画像を撮影するモード）に設定されているか、２Ｄモード（２次元画像を撮影するモード）に設定されているかが検出され（ステップＳ２）、検出されたモードが３Ｄモードであるかどうかが判定される（ステップＳ３）。撮影モードが２Ｄモードである場合（ステップＳ３でＮＯ）には、複眼デジタルカメラ１の撮影モードが２Ｄモードに切り替えられ（ステップＳ１４）、撮影が行われ（ステップＳ１５）、撮影された画像が記録され（ステップＳ１５）、ファイルクローズ処理が行われる（ステップＳ１７）。

撮影モードが３Ｄモードである場合（ステップＳ３でＹＥＳ）には、３Ｄモードに切り替えられ（ステップＳ４）、３Ｄブラケット撮影モードに設定される（ステップＳ５）。

まず、基線長／輻輳角記憶手段５１から３Ｄブラケット撮影の撮影回数などの情報が読み出される（ステップＳ６）。これにより、以下の処理で基線長又は輻輳角の制御を何回行うかが確認される。

基線長／輻輳角記憶手段５１に記録された基線長、輻輳角の設定が読み出され（ステップＳ７）、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により制御され（ステップＳ８）、第１撮像系２ａ及び第２撮像系２ｂを用いて多視点画像が撮影される（ステップＳ９）。撮影後、撮影された多視点画像が記録され（ステップＳ１０）、その多視点画像を撮影した時の基線長、輻輳角の情報が記録される（ステップＳ１１）。なお、多視点画像及び基線長、輻輳角の情報の記録については、後に詳述する。

ステップＳ７〜ステップＳ１１の処理が、ステップＳ６で読み出された撮影回数だけ行われたかどうかが判断され（ステップＳ１２）、ステップＳ６で読み出された撮影回数だけ行われていない場合（ステップＳ１２でＮＯ）には、再度ステップＳ７〜ステップＳ１１の処理が行われる。

ステップＳ６で読み出された撮影回数だけ行われた場合、すなわち３Ｄブラケット撮影画終了した場合（ステップＳ１２でＹＥＳ）には、ステップＳ１０、Ｓ１１で記録されたデータ間の関連付けが行われ（ステップＳ１３）、ファイルクローズ処理が行われる（ステップＳ１７）。

上記のように、設定の読み出し、基線長又は輻輳角の制御、撮影が順次行われ、図６に示すような多視点画像が撮影される。以下、ステップＳ７〜Ｓ９までの処理の詳細と、撮影された画像について説明する。

まず、基線長／輻輳角記憶手段５１から基準面が無限遠となる設定が読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により調整され、第２撮像系２ｂを用いて画像１左が撮影され、第１撮像系２ａを用いて画像１右が撮影されることにより、基準面を無限遠に設定した場合の多視点画像が撮影される。画像再生時には、画像１左と画像１右とを用いて立体表示を行うことにより、基準面が無限遠にある場合の立体表示画像が生成される。

次に、２番目の基準面における多視点画像の撮影が行われる。パンフォーカス等により求められた被写体深度より所定の距離だけ遠くなるように設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により調整され、第２撮像系２ｂを用いて画像２左が撮影され、第１撮像系２ａを用いて画像２右が撮影されることにより、２番目の基準面における立体表示画像が生成される。画像再生時には、画像２左と画像２右とを用いて立体表示を行うことにより、基準面が無限遠にある場合の立体表示画像が生成される。

最後に３番目の基準面における多視点画像の撮影が行われる。パンフォーカス等により求められた被写体深度より所定の距離だけ近くなるように設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により調整され、第２撮像系２ｂを用いて画像３左が撮影され、第１撮像系２ａを用いて画像３右が撮影されることにより、３番目の基準面における立体表示画像が生成される。画像再生時には、画像３左と画像３右とを用いて立体表示を行うことにより、基準面が無限遠にある場合の立体表示画像が生成される。

これにより、１回のシャッタレリーズ操作で複数の基準面における多視点画像が撮影できる。なお、本実施の形態においては、基準面を無限遠から近い位置へと移動させたが、基準面を近い位置から遠い位置へと移動させてもよい。

＜第２の実施の形態＞
第２撮像系２ｂを固定し、第１撮像系２ａのみを駆動させて輻輳角又は基線長を変更して、３箇所の基準面における多視点画像を連続的に撮影する場合を例に、図７を用いて説明する。図６において、上段の１枚の被写体像（画像１左）は第２撮像系２ｂにより撮影された左目用の被写体像であり、下段の３枚の被写体像（画像１右、画像２右及び画像３右）は第１撮像系２ａにより撮影された右目用の被写体像である。また、第１の実施の形態と同様の部分については、詳細な説明を省略する。

第２の実施の形態の処理の流れは、図５に示すフローチャートと同じである。第２の実施の形態では、基線長／輻輳角記憶手段５１から読み出される設定により、第１撮像系２ａは移動されず第２撮像系２ｂのみが移動される。以下、ステップＳ７〜Ｓ９までの処理の詳細と、撮影された画像について、図７を用いて説明する。

まず、最初の基準面における多視点画像の撮影が行われる。パンフォーカス等により求められた被写体深度より所定の距離だけ遠くなるように設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第２撮像系２ｂが基線長／輻輳角制御手段５５により調整される。

第１撮像系２ａ及び第２撮像系２ｂの調整が終了したら、第２撮像系２ｂを用いて画像１左が撮影され、第１撮像系２ａを用いて画像１右が撮影されることにより、最初の基準面における立体表示画像が生成される。画像再生時には、画像１左と画像１右とを用いて立体表示を行うことにより、基準面が無限遠にある場合の立体表示画像が生成される。

次に、２番目の基準面での撮影が行われる。最初の基準面より所定の距離だけ遠側に設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により調整される。

第１撮像系２ａ及び第２撮像系２ｂの調整が終了したら、第１撮像系２ａを用いて画像２右が撮影される。なお、第２撮像系２ｂは移動させておらず、撮影をおこなったとしても撮影される画像は画像１左と同じであると考えられるため、第２撮像系２ｂは撮影を行わない。したがって、画像再生時には、画像１左と画像２右とを用いて立体表示を行うことにより、２番目の基準面における立体表示画像を生成することができる。

最後に、３番目の基準面での撮影が行われる。２番目の基準面より所定の距離だけ遠側に設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが基線長／輻輳角制御手段５５により調整される。

第１撮像系２ａ及び第２撮像系２ｂの調整が終了したら、第１撮像系２ａを用いて画像３右が撮影される。３番目の基準面での撮影についても、２番目の基準面での撮影と同様に、第２撮像系２ｂは移動させておらず、撮影をおこなったとしても撮影される画像は画像１左と同じであると考えられるため、第２撮像系２ｂは撮影を行わない。したがって、画像再生時には、画像１左と画像３右とを用いて立体表示を行うことにより、２番目の基準面における立体表示画像を生成することができる。

このように、第１撮像系２ａ及び第２撮像系２ｂのいずれか１つの撮像系のみを駆動させることで輻輳角や基線長を変更することができるため、駆動や制御を容易にすることができる。また、駆動されない第２撮像系２ｂで撮影される被写体像は変化しないため、２番目の基準面以降は、第１撮像系２ａのみ被写体像撮影を行うだけで立体表示が可能な多視点画像を撮影することができ、画像データの容量を小さくすることができる。

なお、本実施の形態では、第２撮像系２ｂを固定しているため、基線長／輻輳角駆動手段５６ｂ及び基線長／輻輳角検出手段５７ｂを省くことにより省電力化及び低価格化が可能となる。

＜第３の実施の形態＞
第２撮像系２ｂを固定し、第１撮像系２ａのみを駆動させて輻輳角又は基線長を変更して、３箇所の基準面における多視点画像を連続的に撮影する場合を例に説明する。図８は本実施の形態の処理の流れを示すフローチャートであり、図９は本実施の形態により撮影された多視点画像である。図９において、上段の２枚の被写体像（画像１左及び画像３左）は第２撮像系２ｂにより撮影された左目用の被写体像であり、下段の３枚の被写体像（画像１右、画像２右及び画像３右）は第１撮像系２ａにより撮影された右目用の被写体像である。なお、第１の実施の形態及び第２の実施の形態と同様の部分については、同じ符号を付し、詳細な説明を省略する。

撮影モードが３Ｄモードである場合（ステップＳ３でＹＥＳ）には、３Ｄモードに切り替えられ（ステップＳ４）、３Ｄブラケット撮影モードに設定され（ステップＳ５）、３Ｄブラケット撮影の撮影回数などの情報が読み出される（ステップＳ６）。

基線長、輻輳角の設定が読み出され（ステップＳ７）、輻輳角または基線長が読み出された設定となるように第１撮像系２ａ及び第２撮像系２ｂが制御され（ステップＳ８）、第１撮像系２ａ及び第２撮像系２ｂを用いて多視点画像が撮影される（ステップＳ９）。

次に、今回撮影された被写体像と、前回撮影された被写体像とで被写体像に動きがあるかどうかが検出される（ステップＳ２０）。被写体像に動きがあることが検出される場合とは、撮像素子が水平方向又は回転方向に駆動された場合や、複眼デジタルカメラ１が手振れなどにより動いた場合や、撮像素子は駆動されていないが被写体が動いた場合が考えられる。そこで、今回撮影された被写体像と前回撮影された被写体像の差分をとり、その差分が所定の閾値以上である場合には、被写体に動きがあると判断する。または、加速度センサーなどを用いて手振れなどの複眼デジタルカメラ１の微小な動きを検出し、複眼デジタルカメラ１の微小な動きが検出された場合には、被写体に動きがあると判断する。これらの方法として既に様々な方法が公知であるため、説明を省略する。なお、今回撮影された被写体像と前回撮影された被写体像との差分をとることで被写体の動きを判断するのに変え、最初の基準面での撮影と２番目の基準面での撮影との間に取得されるスルー画の差分を取ることで被写体の動きを判断してもよい。

被写体像に動きがあるかどうかが判断され（ステップＳ２１）、被写体像に動きがある場合（ステップＳ２１でＹＥＳ）には、第１撮像系２ａ、第２撮像系２ｂの両方で撮影された画像を記録し（ステップＳ２２）、被写体像に動きがなかった場合（ステップＳ２１でＮＯ）には、第１撮像系２ａで撮影された画像のみを記録する（ステップＳ２３）。そして、その多視点画像を撮影した時の基線長、輻輳角の情報、及び被写体像の動きに関する情報が記録される（ステップＳ２４）。なお、多視点画像、基線長、輻輳角の情報、及び被検体像の動きに関する情報の記録については、後に詳述する。

ステップＳ７〜ステップＳ２４の処理が、ステップＳ６で読み出された撮影回数だけ行われたかどうかが判断され（ステップＳ１２）、ステップＳ６で読み出された撮影回数だけ行われていない場合（ステップＳ１２でＮＯ）には、再度ステップＳ７〜ステップＳ２４の処理が行われる。

上記のように、設定の読み出し、基線長又は輻輳角の制御、撮影が順次行われ、図９に示すような多視点画像が撮影される。以下、ステップＳ７〜Ｓ２４までの処理の詳細と、撮影された画像について説明する。

パンフォーカス等により求められた被写体深度より所定の距離だけ近くなるように設定された基準面において、第２撮像系２ｂを用いて画像１左を撮影し、第１撮像系２ａを用いて画像１右を撮影することにより、最初の基準面における多視点画像が撮影される。この部分は、第２の実施の形態と同一であるため、詳細な説明を省略する。

第１撮像系２ａの調整が終了したら、最初の基準面での撮影と２番目の基準面での撮影との間において、第１撮像系２ａ及び第２撮像系２ｂで取得される被写体像の動きがあるかどうかが確認される。最初の基準面の撮影と２番目の基準面との間に被写体像に動きが検出されなかったため、第１撮像系２ａを用いて画像２右が記録される。なお、画像再生時には、画像１左と画像２右とを用いて立体表示を行うことにより、２番目の基準面における立体表示画像を生成することができる。

最後に、３番目の基準面での撮影が行われる。２番目の基準面より所定の距離だけ遠側に設定されたものが基線長／輻輳角記憶手段５１に記憶されており、その設定が基線長／輻輳角記憶手段５１から読み出され、輻輳角または基線長が読み出された設定となるように第１撮像系２ａが基線長／輻輳角制御手段５５により調整される。

第１撮像系２ａの調整が終了したら、最初の基準面での撮影と２番目の基準面での撮影との間において、第１撮像系２ａ及び第２撮像系２ｂで取得される被写体像の動きがあるかどうかが確認される。２番目の基準面での撮影と３番目の基準面での撮影との間においては、被写体の動きが検出されたため、移動された第１撮像系２ａのみでなく、移動されていない第２撮像系２ｂにおいても記録が行われる。すなわち、第１撮像系２ａを用いて画像３左が撮影され、第２撮像系２ｂを用いて画像３右が撮影される。画像再生時には、画像３左と画像３右とを用いて立体表示を行うことにより、３番目の基準面における立体表示画像が生成される。

このように、被写体像に動きがあることが検出された場合、すなわち撮影される被写体像が異なると考えられる場合にのみ、第１撮像系２ａ及び第２撮像系２ｂで被写体像を撮影する。これにより、本来なら画像３左及び画像３右を用いるところを、画像１左及び画像３右を用いることにより、正常でない立体表示画像が生成されるのを防止することができる。

[記録用画像ファイルの構成]
上記のようにして撮影された多視点画像の画像信号を記録する場合の記録用画像ファイルの構成について説明する。図１０は、撮影処理の第１の実施の形態により撮影された多視点画像の記録用画像ファイルである。記録用画像ファイルは、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２及び関連情報データ領域Ａ３とで構成され、これらの領域は第１の画像データ領域Ａ１、関連情報データ領域Ａ３、第２の画像データ領域Ａ２の順に配置される。

（第１の画像データ領域Ａ１）
第１の画像データ領域Ａ１は、撮影された全ての被写体像の中から所望の被写体像が多視点画像を代表する代表画像（主画像）として選択され、選択された主画像の画像データ及び当該画像データのヘッダが格納される。撮影処理の第１の実施の形態においては、第２撮像系２ｂを用いて撮影された画像１左が主画像として設定されるため、ここには画像１左の画像データが格納される。

（第２の画像データ領域Ａ２）
第２の画像データ領域Ａ２は、複数組の画像データ及び当該画像データのヘッダが格納可能であり、画像データ及びヘッダは、被写体像の画像データが撮影された順番に格納される。撮影処理の第１の実施の形態においては、画像１左、画像１右、画像２左、画像２右、画像３左、画像３右の各画像データと、その画像データのヘッダがそれぞれ順番に格納される。

なお、図８に示す例では、第１の画像データ領域Ａ１がＥｘｉｆフォーマット、第２の画像データ領域Ａ２がＪＰＥＧフォーマットであるが、本発明はこれに限定されるものではない。すなわち、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２とのフォーマットは異なる形式でもよいし、同じ形式でもよい。また、フォーマットの形式は、上記以外の標準のフォーマット（ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式）を用いてもよい。

また、図１０に示す例では、撮影処理の第１の実施の形態により撮影された場合であるため、第２の画像データ領域Ａ２には画像１、画像２、画像３のそれぞれ左右の画像が含まれるが、Ｎ枚の撮影を行った場合の第２の画像データ領域Ａ２は、画像１〜画像Ｎのそれぞれ左右の画像が含まれた記録される。

また、撮影処理の第２の実施の形態により撮影された多視点画像を記録する場合の第２の画像データ領域Ａ２は、図８中に示す例において、画像２左及び画像３左の画像データ及びヘッダがない形となる。また、第３の実施の形態により撮影された多視点画像を記録する場合の第２の画像データ領域Ａ２は、図１０中に示す例において、画像２左の画像データ及びヘッダがない形となる。

（関連情報データ領域Ａ３）
関連情報データの構成を図１１〜１３を用いて説明する。関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２との間に配置されている。関連情報データ領域Ａ３には、３Ｄブラケット撮影に関連する様々な情報である関連情報が格納される。

図１１は撮影処理の第１の実施形態に対応した関連情報データであり、図１２は撮影処理の第２の実施形態に対応した関連情報データであり、図１３は撮影処理の第３の実施形態に対応した関連情報データである。関連情報データは、撮影モードＩＤ、駆動モードＩＤ、視点ＩＤを含む各種ＩＤ領域Ａ３１と、撮像系駆動情報領域Ａ３２と、ポインタ領域Ａ３３とで構成される。

各種ＩＤ領域Ａ３１について説明する。撮影モードＩＤの値は、撮影モードの種類を示すものであり、例えば“１”は輻輳角を変えることで基準面の位置を変えて、連続的に複数の基準面での多視点画像を撮影する輻輳角３Ｄブラケット撮影モードを示し、“２”は基線長を変えることで基準面の位置を変えて、連続的に複数の基準面での多視点画像を撮影する基線長３Ｄブラケット撮影モードを示し、“３”は輻輳角及び基線長を変えることで基準面の位置を変えて、連続的に複数の基準面での多視点画像を撮影する輻輳角・基線長３Ｄブラケット撮影モードを示す。

駆動モードＩＤの値は、駆動する撮像系の数を示すものであり、例えば“１”は全部の撮像系を駆動させる全撮像系駆動モードであり、“２”は１つの撮像系（本実施例では、第１撮像系２ａ）のみを駆動させる全撮像系駆動モードである。

視点数は、多視点画像を構成する画像データの数を示している。また、視点ＩＤは、立体表示させる場合に用いる被写体像を指定するための情報である。例えば、視点ＩＤが“１、２”の場合は、画像１左及び画像１右の２枚の被写体像を用いて立体表示を行うことを示している。

ディフォルト表示視点は、画像データの再生が行われるときに用いられる視点の設定である。ディフォルト表示視点が“１”の場合は、画像１左及び画像１右の２枚の被写体像を用いて立体表示を行うことを示している。

撮像系駆動情報領域Ａ３２は、第１撮像系２ａ及び第２撮像系２ｂの輻輳角、基線長を示す情報である。図１１〜図１３は、いずれも撮影モードが“１”：輻輳角３Ｄブラケット撮影モードであるため、撮像系駆動情報領域Ａ３２には、第１撮像系２ａ及び第２撮像系２ｂのレンズ光軸Ｌ１、Ｌ２の向いている角度を示す情報（角度情報）が格納されている。例えば、図１１の場合には、第１撮像系２ａ及び第２撮像系２ｂが駆動されているため、最初の基準面における角度情報（輻輳角１左、輻輳角１右）、２番目の基準面における角度情報（輻輳角２左、輻輳角２右）及び３番目の基準面における角度情報（輻輳角３左、輻輳角３右）が角撮像系毎に記録されている。図１２、図１３の場合には、最初の基準面を設定した後は第１撮像系２ａのみが駆動されるため、最初の基準面における角度情報（輻輳角１左、輻輳角１右）と、第１撮像系２ａの２番目及び３番目の基準面における角度情報（輻輳角２右、輻輳角３右）とが格納されている。

ポインタ領域Ａ３３は、第２の画像データ領域Ａ３２における各画像データの読み出し開始位置を示すポインタが格納される。図１３の場合には、被検体の動きがあるかどうかを検出しているため、被検体の動きが検出されたかどうかを示す動き情報が、各基準面におけるポインタの前に格納される。

このように、画像データと、関連情報とが同じ記録用画像ファイルに記録されているため、被写体像の画像データと、３Ｄブラケット撮影に関連する様々な情報とを関連付けて記憶することができる。

なお、撮影処理の第３の実施の形態により撮影された場合の記録用画像ファイルの関連情報データにおいて、被検体の動きが検出されたかどうかを示す動き情報を各基準面におけるポインタの前に格納したが、被検体の動きが検出された場合のみ動き情報を格納してもよい。また、ポインタの有無で被検体の動きの有無を判断できるようにした場合には、動き情報を格納しなくてもよい。

また、３Ｄブラケット撮影において、パンフォーカス等により求められた被写体深度に基づいて基準面を設定したが、距離情報記録手段６５に記憶されている距離の情報に基づいて基準面を設定してもよい。また、顔検出部５３で顔が検出された場合には、距離情報記録手段６５に記憶されているにおいて、顔が検出された領域の距離情報に基づいて基準面を設定するようにしてもよい。

[多視点画像の立体表示]
図１４は、撮影処理の第３の実施の形態を用いて撮影された多視点画像を再生（立体表示）する場合の処理の流れを示すフローチャートである。

前処理として、複眼デジタルカメラ１が再生モードに設定されているかどうかが判定され（ステップＳ３０）、再生モードに設定されていない場合（ステップＳ３０でＮＯ）はステップＳ１が繰り返され、再生モードに設定されている場合（ステップＳ３０でＹＥＳ）は、複眼デジタルカメラ１が３Ｄモード（多視点画像を再生するモード）に設定されているか、２Ｄモード（２次元画像を再生するモード）に設定されているかが検出され（ステップＳ３１）、検出されたモードが３Ｄモードであるかどうかが判定される（ステップＳ３２）。再生モードが２Ｄモードである場合（ステップＳ３２でＮＯ）には、複眼デジタルカメラ１の再生モードが２Ｄモードに切り替えられ（ステップＳ３３）、２次元画像の表示が行われ（ステップＳ３４）、ファイルクローズ処理が行われる（ステップＳ４７）。

再生モードが３Ｄモードである場合（ステップＳ３２でＹＥＳ）には、３Ｄモードに切り替えられ（ステップＳ３５）、記録用画像ファイルから読み出す画像がディフォルトに設定される（ステップＳ３６）。

記録用画像ファイルからディフォルトに設定された画像データとそのときの基線長、輻輳角などの情報が読み出される（ステップＳ３７）。ここで、ディフォルトに設定された画像データとは、関連情報データのディフォルト表示視点に設定された画像、この場合は視点１（視点１左、視点１右）である。

関連情報データに格納されている基線長、輻輳角の設定が読み出され（ステップＳ３８）、関連情報データに格納されている被写体像撮影時に被写体像の動きが検出されたかどうかの情報が読み出され（ステップＳ３９）、撮影時に被写体像の動きが検出されたかどうかが判断される（ステップＳ４０）。

被写体像の動きが検出された場合（ステップＳ４０でＹＥＳ）は、第１撮像系２ａ及び第２撮像系２ｂの画像データが記憶されているため、これら全ての視点の画像データが読み出される（ステップＳ４１）。被写体像の動きが検出されなかった場合（ステップＳ４０でＹＥＳ）は、第１撮像系２ａのみで撮影された画像データが記憶されているため、その画像データのみが読み出される（ステップＳ４２）。

読み出されたデータを用いて多視点画像の立体表示を行い（ステップＳ４３）、多視点画像を立体表示した３Ｄ画像が所望の飛び出し感及び奥行き感を有する３Ｄ画像であるかどうかが判断される（ステップＳ４４）。所望の飛び出し感及び奥行き感を有する３Ｄ画像でない場合（ステップＳ４４でＮＯ）の場合は、次の視点の画像の表示を行うかどうかを判断するステップ（ステップＳ４６）へ進む。所望の飛び出し感及び奥行き感を有する３Ｄ画像である場合（ステップＳ４４でＹＥＳ）の場合は、表示されている視点の多視点画像をディフォルトに設定する（ステップＳ４５）。例えば、図９に示す多視点画像において画像１左と画像２右とを用いて３Ｄ表示が行われている場合には、関連情報データのディフォルト表示視点が“２”に書き換えられる。

次の視点の画像の表示を行うかどうか、すなわち全ての視点の多視点画像の表示が終了したかどうかが判断される（ステップＳ４６）。全ての視点の多視点画像の表示が終了していない場合、すなわち次の多視点画像の表示を行なう必要がある場合（ステップＳ４６でＹＥＳ）には、再度ステップＳ３８〜Ｓ４６が行われる。全ての視点の多視点画像の表示が終了した場合、すなわち次の多視点画像の表示を行なう必要がない場合（ステップＳ４６でＮＯ）には、ファイルクローズ処理が行われる（ステップＳ４７）。

このように、所望の飛び出し感及び奥行き感を有する３Ｄ画像を表示させることができる。

本発明によれば、基線長や輻輳角を変えながら複数の画像が記録されているので、３Ｄ画像の視聴時に眼に疲労を覚える場合や、更に最適な３Ｄ画像表示をしたい場合には、所望の飛び出し感及び奥行き感を有する３Ｄ画像が表示可能な視点における多視点画像をディフォルトとして設定することにより、好みの３Ｄ表示が可能な多視点画像を選択、ディフォルト設定することができる。また、最適な３Ｄ画像表示が可能な多視点画像をディフォルト設定することにより、その後に再生する場合において、その都度多視点画像を指定しなおすことなく、所望の飛び出し感及び奥行き感を有する最適な３Ｄ画像を表示することができる。

本発明が適用された複眼デジタルカメラ１ａのブロック図である。輻輳角、基線長と基準面との関係を示す図である。輻輳角、基線長と基準面との関係を示す図である。輻輳角、基線長と基準面との関係を示す図である。撮影処理の第１に実施形態の処理の流れを示すフローチャートである。３Ｄブラケット撮影モードにより撮影された多視点画像である。３Ｄブラケット撮影モードにより撮影された多視点画像である。撮影処理の第１に実施形態の処理の流れを示すフローチャートである。３Ｄブラケット撮影モードにより撮影された多視点画像である。記録用画像ファイルの構成を示す図である。関連情報データ領域の構成を示す図である。関連情報データ領域の構成を示す図である。関連情報データ領域の構成を示す図である。３Ｄ画像表示の処理の流れを示すフローチャートである。

符号の説明

１：複眼デジタルカメラ、２ａ：第１撮像系、２ｂ：第２撮像系、６ａ、６ｂ：画像表示ＬＣＤ、１０：メインＣＰＵ、３８：メモリカード、５０：２Ｄ／３Ｄモード切替フラグ設定手段、５１：基線長／輻輳角記憶手段

Claims

複数の撮像手段で被写体像を撮影することにより、立体表示が可能な多視点画像を撮影する撮像装置であって、
前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整する調整手段と、
主要被写体の距離を測距する測距手段と、
前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を設定する設定手段と、
前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方の情報を複数記憶する記憶手段であって、前記設定手段により設定された情報を含む複数の情報を記憶する記憶手段と、
前記記憶手段から前記輻輳角及び基線長のうちの少なくとも一方の情報を順次読み出し、１回のシャッタレリーズ操作で前記輻輳角及び基線長の少なくとも一方が異なる複数の多視点画像を連続的に撮影できるように、前記読み出した情報に基づいて前記撮像手段及び前記調整手段を制御する制御手段と、
を備えたことを特徴とする撮像装置。
前記調整手段は、前記複数の撮像手段の少なくとも一方を水平面内で回転駆動させる第１の駆動手段と、前記複数の撮像手段の少なくとも一方を水平方向に駆動させる第２の駆動手段と、のうちの少なくとも一方の駆動手段を有することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、連続的に多視点画像を撮影する場合において、特定の輻輳角又は基線長に調整された撮影は、全ての撮像手段を用いて撮影を行い、前記特定の輻輳角又は基線長から変更されたその他の撮影は、前記駆動手段を介して駆動された撮像手段のみを用いて撮影を行うように、前記撮像手段及び前記調整手段を制御することを特徴とする請求項２に記載の撮像装置。
前記撮像手段により連続的に撮影される被写体像に動きがあるかどうかを検出する検出手段を更に備え、
前記検出手段により被写体像に動きがあることが検出された場合には、前記制御手段は、全ての撮像手段を用いて撮影を行うように、前記撮像手段及び前記調整手段を制御することを特徴とする請求項３に記載の撮像装置。
前記制御手段により連続的に撮影された輻輳角及び基線長のうちの少なくとも一方が異なる複数の多視点画像から、前記輻輳角及び基線長のうちの少なくとも一方が異なる複数の立体表示画像を生成する立体表示画像生成手段を更に備えたことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
前記連続的に撮影された複数の多視点画像に関連する関連情報を生成する関連情報生成手段と、
前記連続的に撮影された複数の多視点画像及び前記関連情報で構成された記録用画像ファイルを作成する記録用画像ファイル作成手段と、
前記作成された記録用画像ファイルを記録媒体に記録する記録手段と、
を備えたことを特徴とする請求項１〜５のいずれかに記載の撮像装置。
前記記録用画像ファイル作成手段は、前記連続的に撮影された複数の多視点画像から１枚の代表画像を選択し、前記記録用画像ファイルのヘッダ以降に順次前記代表画像、前記関連情報及び複数の多視点画像を配置して前記記録用画像ファイルを作成することを特徴とする請求項６に記載の撮像装置。
前記関連情報生成手段は、前記制御手段の制御に関する情報を前記関連情報として生成することを特徴とする請求項６又は７に記載の撮像装置。
複数の撮像手段で被写体像を撮影することにより、立体表示が可能な多視点画像を撮影する撮像方法において、
（ａ）主要被写体の距離を測距するステップと、
（ｂ）前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を設定するステップと、
（ｃ）前記設定された情報を記憶するステップと、
（ｄ）前記記憶された情報を読み出すステップと、
（ｅ）前記読み出された情報に基づいて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整するステップと、
（ｆ）前記輻輳角及び基線長のうちの少なくとも一方が調整された状態で前記複数の撮像手段により第１の多視点画像を取得するステップと、
（ｇ）前記第１の多視点画像の取得後に前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を変更するステップと、
（ｈ）前記輻輳角及び基線長のうちの少なくとも一方が変更された状態で前記複数の撮像手段により第２の多視点画像を取得するステップと、を含み、
１回のシャッタレリーズ操作で少なくとも前記ステップ（ｄ）〜（ｈ）を実行させて複数の多視点画像を撮影することを特徴とする撮像方法。
（ａ）主要被写体の距離を測距手段に測距させるステップと、
（ｂ）前記複数の撮像手段の光軸が交差する点を含む面である基準面の位置が、前記測距した主要被写体の距離と略一致するように基準となる輻輳角及び基線長のうちの少なくとも一方の情報を制御手段に設定させるステップと、
（ｃ）前記設定された情報を記憶手段に記憶させるステップと、
（ｄ）レリーズスイッチが押圧されたことを前記制御手段に検出させるステップと、
（ｅ）レリーズスイッチの押圧が検出されると、前記制御手段に前記記憶手段から情報を読み出させ、当該読み出された情報に基づいて駆動手段を駆動させて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整させるステップと、
（ｆ）前記輻輳角及び基線長のうちの少なくとも一方が調整された状態で前記複数の撮像手段に第１の多視点画像を取得させるステップと、
（ｇ）前記第１の多視点画像の取得後に前記駆動手段を駆動させて前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を変更させるステップと、
（ｈ）前記輻輳角及び基線長のうちの少なくとも一方が変更された状態で前記複数の撮像手段に第２の多視点画像を取得させるステップと、
を演算装置に実行させることを特徴とするプログラム。