JP5096048B2

JP5096048B2 - 撮像装置、立体画像再生装置及び立体画像再生プログラム

Info

Publication number: JP5096048B2
Application number: JP2007159430A
Authority: JP
Inventors: 悟岡本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-06-15
Filing date: 2007-06-15
Publication date: 2012-12-12
Anticipated expiration: 2027-06-15
Also published as: JP2008310696A

Description

本発明は撮像装置、立体画像再生装置及び立体画像再生プログラムに係り、特に多視点画像が撮影可能な撮像装置、立体画像再生装置及び立体画像再生プログラムに関する。

複数の視点から見た被写体像である多視点画像（３次元画像）を表示する技術として、特許文献１には、ステレオ画像をステレオ計測し、測定された３次元座標を基に立体表示を行う技術が記載されている。
特開２００５―１６５４８１号公報

しかしながら、このようにして立体表示された画像では、被写体のどこを基準として立体表示されたか、すなわち被写体と立体表示時の基準となる面である基準面との位置関係が分かりづらい。そのため、撮影された画像に対して、後から最適な立体画像を得るために基準面を変更したり、複数の被写体像のずらし幅を調整したりという作業を行うことにより、所望の立体表示画像を得ることは容易ではない。

本発明はこのような事情に鑑みてなされたもので、撮影後に多視点画像を立体表示する場合においても、編集を容易に行うことができる多視点画像を撮影可能な撮像装置及び画像再生装置を提供することを目的とする。

請求項１に記載の撮像装置は、複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び距離画像とを関連づけて記録媒体に記録する記録手段と、を備えたことを特徴とする。

請求項１に記載の撮像装置によれば、複数の撮像手段により多視点画像を撮影し、多視点画像を立体表示するときの基準となる面である基準面の距離を取得し、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得し、多視点画像と、基準面の距離を示す情報と、距離画像とを関連付けて記録する。ここで基準面の距離を示す情報としては、取得された基準面の距離の値、複数の撮像手段間の輻輳角及び基線長などがある。これにより、多視点画像の編集に必要な情報である多視点画像を立体表示するときの基準となる面である基準面の距離を示す情報及び距離画像を、多視点画像と関連付けて記録することができる。また、基準面の距離を示す情報と距離画像とより、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。更に、基準面の距離を示す情報と距離画像とを用いることにより、基準面の位置を編集することができる。

請求項２に記載の撮像装置は、複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び前記抽出した領域を識別可能に表示させるためのマーキングデータとを関連づけて記録媒体に記録する記録手段と、を備えたことを特徴とする。

請求項２に記載の撮像装置によれば、複数の撮像手段により多視点画像を撮影し、多視点画像を立体表示するときの基準となる面である基準面の距離を取得し、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する。基準面の距離と距離画像とに基づいて、撮影された多視点画像内の基準面上にある被写体の領域を抽出し、多視点画像と、基準面の距離を示す情報と、抽出された被写体の領域を識別可能に表示させるためのマーキングデータとを関連付けて記録する。ここで、マーキングデータとは、基準面上にある被写体の領域を示す数値データや画像データ、マーキングの色情報、などがある。これにより、基準面の距離を示す情報とマーキングデータとを用いて、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。

請求項３に記載の撮像装置は、請求項２に記載の撮像装置において、前記記録手段は、前記撮影された多視点画像に関連づけて前記取得した距離画像を前記記録媒体に記録することを特徴とする。

請求項３に記載の撮像装置によれば、多視点画像と、基準面の距離を示す情報と、抽出された被写体の領域を識別可能に表示させるためのマーキングデータと、距離画像とを関連付けて記録する。これにより、基準面の距離を示す情報とマーキングデータと距離画像とを用いて、基準面の位置を編集することができる。

請求項４に記載の撮像装置は、複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、前記撮影された多視点画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び前記マーキングデータが合成された多視点画像とを関連づけて記録媒体に記録する記録手段と、を備えたことを特徴とする。

請求項４に記載の撮像装置によれば、複数の撮像手段により多視点画像を撮影し、多視点画像を立体表示するときの基準となる面である基準面の距離を取得し、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する。基準面の距離と距離画像とに基づいて、撮影された多視点画像内の基準面上にある被写体の領域を抽出し、抽出した領域にマーキングデータを合成し、撮影された多視点画像とマーキングデータが合成された多視点画像とを関連付けて記憶する。これにより、記録されているマーキングデータが合成された多視点画像を表示するだけで、特別な演算処理をすることなく、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。

請求項５に記載の撮像装置は、請求項４に記載の撮像装置において、前記記録手段は、前記撮影された多視点画像に関連づけて前記取得した距離画像を前記記録媒体に記録することを特徴とする。

請求項５に記載の撮像装置によれば、多視点画像と、マーキングデータが合成された多視点画像と、距離画像とを関連付けて記録する。これにより、マーキングデータが合成された多視点画像と距離画像とを用いて、基準面の位置を編集することができる。

請求項６に記載の撮像装置は、請求項１から３のいずれかに記載の撮像装置において、前記記録手段は、前記撮影された多視点画像に関連する関連情報を生成する関連情報生成手段と、前記撮影された多視点画像、及び前記生成された関連情報を含む記録用画像ファイルを作成する記録用画像ファイル作成手段と、を備え、前記作成された記録用画像ファイルを記録媒体に記録することを特徴とする。

請求項６に記載の撮像装置によれば、撮影された多視点画像に関連する情報、すなわち基準面の距離に関する情報、輻輳角、基線長などの撮影された多視点画像を生成するために必要な情報を含む関連情報を生成し、撮影された多視点画像、及び生成された関連情報を含む記録用画像ファイルを作成して記録する。これにより、多視点画像を立体表示するときに必要な情報や撮影された被写体像内の基準面上の領域を識別する表示に必要な情報を、撮影された多視点画像の画像データと共に記録することができる。

請求項７に記載の撮像装置は、請求項６に記載の撮像装置において、前記記録用画像ファイル作成手段は、前記撮影された多視点画像から１枚の代表画像を選択し、前記記録用画像ファイルのヘッダの直後に前記代表画像を配置して前記記録用画像ファイルを作成することを特徴とする。

請求項７に記載の撮像装置によれば、撮影された多視点画像から１枚の代表画像を選択し、記録用画像ファイルのヘッダの直後に前記代表画像を配置して記録用画像ファイルを作成する。これにより、多視点画像が表示できない装置などで記録用画像ファイルの画像を再生する場合においても、代表画像を表示することができるため、記録用画像ファイルに記録されている画像を確認することができる。

請求項８に記載の撮像装置は、複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像のうちの少なくとも１つの画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、前記撮影された多視点画像のうちの少なくとも１つの画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、前記マーキングデータが合成された多視点画像を表示する表示手段と、を備えたことを特徴とする。

請求項８に記載の撮像装置によれば、多視点画像を撮影し、多視点画像を立体表示するときの基準となる面である基準面の距離を取得し、全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する。取得された基準面の距離と距離画像とに基づいて、前記撮影された多視点画像のうちの少なくとも１つの画像内の基準面上にある被写体の領域を抽出し、多視点画像のうちの少なくとも１つの画像の抽出した領域にマーキングデータを合成し、マーキングデータが合成された画像を表示する。これにより、撮影後に表示する場合のみでなく、ライブビュー画像表示においても、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。更に、基準面の距離を示す情報と距離画像とを用いることにより、基準面の位置を編集することができる。

請求項９に記載の撮像装置は、請求項８に記載の撮像装置において、前記複数の撮像手段のうちの少なくとも１つは、前記多視点画像の本撮影前に撮影範囲を確認するためのライブビュー画像を撮影し、前記表示手段は、前記マーキングデータが合成されたライブビュー画像を表示することを特徴とする。

請求項９に記載の撮像装置によれば、多視点画像の本撮影前に撮影範囲を確認するためのライブビュー画像にマーキングデータが合成されたライブビュー画像を表示する。また、ライブビュー画像は、全ての撮像手段で撮影する必要はなく、複数の撮像手段のうちの少なくとも１つで撮影すればよい。これにより、ライブビュー画像表示においても、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。

請求項１０に記載の撮像装置は、請求項１から９のいずれかに記載の撮像装置において、前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整する調整手段を更に備え、前記基準面距離取得手段は、前記複数の撮像手段の光軸が交差する点を含む面を基準面とし、前記調整手段によって調整された複数の撮像手段間の輻輳角及び基線長に基づいて前記基準面の距離を算出することを特徴とする。

請求項１０に記載の撮像装置によれば、複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整し、調整された輻輳角または基線長に基づいて、複数の撮像手段の光軸が交差する点を含む面の基準面の距離を算出する。これにより、特別な手段を用いることなく、基準面の距離を算出することができる。

請求項１１に記載の立体画像再生装置は、請求項１に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を読み取る読取手段と、前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、前記読み取った基準面を示す情報又は変更した基準面を示す情報と前記距離画像とに基づいて前記多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、前記多視点画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、を備えたことを特徴とする。

請求項１１に記載の立体画像再生装置によれば、記録媒体から撮影された多視点画像、基準面の距離を示す情報及び距離画像を読み取る。また、読み取った基準面の距離を示す情報を任意に変更させることもできる。読み取った基準面を示す情報又は変更した基準面を示す情報と距離画像とに基づいて、多視点画像内の基準面上にある被写体の領域を抽出し、抽出した領域にマーキングデータを合成する。多視点画像又はマーキングデータが合成された多視点画像と、前記基準面の距離を示す情報とに基づいて、立体画像又はマーキング付き立体画像を生成し、これらを立体画像表示手段に出力する。これにより、基準面の距離を示す情報、距離画像などが関連付けられた多視点画像を用いて、多視点画像内の基準面上にある被写体の領域にマーキングをし、更にマーキング付きの立体画像を表示することができる。また、多視点画像に基準面の距離を示す情報、距離画像などが関連付けられているため、基準面の距離を示す情報を任意に変更することに伴い、変更された基準面上にある被写体の領域にマーキングを付けて、更にマーキング付きの立体画像を表示することができる。

請求項１２に記載の立体画像再生装置は、請求項１１に記載の立体画像再生装置において、前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報を、前記読み取った基準面の距離を示す情報に代えて記録し、又は追記する記録手段を備えたことを特徴とする。

請求項１２に記載の立体画像再生装置によれば、読み取った基準面の距離を示す情報に代えて、変更した基準面の距離を示す情報を記録する。これにより、基準面の位置を編集し、編集した結果を記録することができる。

請求項１３に記載の立体画像再生装置は、請求項２に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報、及び前記マーキングデータを読み取る読取手段と、前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、前記読み取った多視点画像に前記読み取ったマーキングデータを合成するマーキング手段と、前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離の情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、を備えたことを特徴とする。

請求項１３に記載の立体画像再生装置によれば、記録媒体から撮影された多視点画像、基準面の距離を示す情報及びマーキングデータを読み取る。また、読み取った基準面の距離を示す情報を任意に変更させることもできる。多視点画像に読み取ったマーキングデータを合成し、多視点画像又はマーキングデータが合成された多視点画像と、読み取った基準面の距離又は任意に変更された基準面の距離を示す情報とに基づいて、立体画像又はマーキング付き立体画像を生成し、これらを立体画像表示手段に出力する。これにより、基準面の距離を示す情報、距離画像などが関連付けられた多視点画像を用いて、多視点画像内の基準面上にある被写体の領域にマーキングをし、更にマーキング付きの立体画像を表示することができる。また、多視点画像に基準面の距離を示す情報、距離画像などが関連付けられているため、基準面の距離を示す情報を任意に変更し、表示することができる。

請求項１４に記載の立体画像再生装置は、請求項３に記載の記録媒体から更に距離画像を読み取る前記読取手段と、前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成し、前記立体画像生成手段は、前記マーキングデータが合成された多視点画像と前記変更後の基準面の距離を示す情報とに基づいてマーキング付き立体画像を生成する、ことを特徴とする。

請求項１４に記載の立体画像再生装置によれば、記録媒体から撮影された多視点画像、基準面の距離を示す情報、マーキングデータ及び距離画像を読み取り、変更後の基準面の距離を示す情報と読み取った距離画像とに基づいて、多視点画像内の変更後の基準面上にある被写体の領域を抽出する。抽出された領域にマーキングデータを合成し、マーキングデータが合成された多視点画像と変更後の基準面の距離を示す情報とに基づいて、マーキング付き立体画像を生成する。これにより、多視点画像に基準面の距離を示す情報、距離画像などが関連付けられているため、基準面の距離を示す情報を任意に変更することに伴い、変更された基準面上にある被写体の領域にマーキングを付けて、更にマーキング付きの立体画像を表示することができる。

請求項１５に記載の立体画像再生装置は、請求項１４に記載の立体画像再生装置において、前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータを、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記抽出した領域を示すマーキングデータを、前記読み取った基準面の距離を示す情報及びマーキングデータに代えて記録し、又は追記する記録手段を備えたことを特徴とする。

請求項１５に記載の立体画像再生装置によれば、読み取った基準面の距離を示す情報及びマーキングデータに代えて、変更した基準面の距離を示す情報及び抽出した領域を示すマーキングデータを記録する。これにより、基準面の位置を編集し、編集した結果を記録することができる。

請求項１６に記載の立体画像再生装置は、請求項４に記載の記録媒体から多視点画像、前記基準面の距離を示す情報及び前記マーキングデータが合成された多視点画像を読み取る読取手段と、前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、を備えたことを特徴とする。

請求項１６に記載の立体画像再生装置によれば、記録媒体から撮影された多視点画像、基準面の距離を示す情報及びマーキングデータが合成された多視点画像を読み取る。また、読み取った基準面の距離を示す情報を任意に変更させることもできる。多視点画像又はマーキングデータが合成された多視点画像と、読み取った基準面の距離又は任意に変更された基準面の距離を示す情報とに基づいて、立体画像又はマーキング付き立体画像を生成し、これらを立体画像表示手段に出力する。これにより、基準面の距離を示す情報、距離画像などが関連付けられた多視点画像を用いて、多視点画像内の基準面上にある被写体の領域にマーキングをし、更にマーキング付きの立体画像を表示することができる。また、多視点画像に基準面の距離を示す情報、距離画像などが関連付けられているため、基準面の距離を示す情報を任意に変更し、表示することができる。

請求項１７に記載の立体画像再生装置は、請求項１６に記載の立体画像再生装置において、請求項５に記載の記録媒体から更に距離画像を読み取る前記読取手段と、前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成し、前記立体画像生成手段は、前記マーキングデータが合成された多視点画像と前記変更後の基準面の距離を示す情報とに基づいてマーキング付き立体画像を生成する、ことを特徴とする。

請求項１７に記載の立体画像再生装置によれば、記録媒体から撮影された多視点画像、基準面の距離を示す情報、マーキングデータが合成された多視点画像及び距離画像を読み取り、変更後の基準面の距離を示す情報と読み取った距離画像とに基づいて、多視点画像内の変更後の基準面上にある被写体の領域を抽出する。抽出された領域にマーキングデータを合成し、マーキングデータが合成された多視点画像と変更後の基準面の距離を示す情報とに基づいて、マーキング付き立体画像を生成する。これにより、多視点画像に基準面の距離を示す情報、距離画像などが関連付けられているため、基準面の距離を示す情報を任意に変更することに伴い、変更された基準面上にある被写体の領域にマーキングを付けて、更にマーキング付きの立体画像を表示することができる。

請求項１８に記載の立体画像再生装置は、請求項１７に記載の立体画像再生装置において、前記記録媒体から読み取った多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータが合成された多視点画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記マーキング手段によってマーキングデータが合成された多視点画像を、前記読み取った基準面の距離を示す情報及びマーキングデータが合成された多視点画像に代えて記録し、又は追記する記録手段を備えたことを特徴とする。

請求項１８に記載の立体画像再生装置によれば、読み取った基準面の距離を示す情報及びマーキングデータが合成された多視点画像に代えて、変更した基準面の距離を示す情報及び抽出した領域を示すマーキングデータが合成された多視点画像を記録する。これにより、基準面の位置を編集し、編集した結果を記録することができる。

本発明によれば、撮影後に多視点画像を立体表示する場合においても、編集を容易に行うことができる多視点画像を撮影することができる。

以下、添付図面に従って本発明に係る撮像素子一体型レンズ交換式デジタルカメラを実施するための最良の形態について詳細に説明する。

図１は、複眼デジタルカメラ１の電気的構成を示すブロック図である。複眼デジタルカメラ１は、単視点画像（２次元画像）と、多視点画像（３次元画像）とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、単視点画像のみでなく、多視点画像の撮影も可能である。

複眼デジタルカメラ１には、主として、第１撮像系２ａおよび第２撮像系２ｂの２個の撮像系と、ユーザーがこの複眼デジタルカメラ１を使用するときに種々の操作を行うための操作部３と、操作の手助けを行うための操作表示ＬＣＤ４と、レリーズスイッチ５ａ、５ｂと、画像表示ＬＣＤ６とが設けられている。

第１撮像系２ａおよび第２撮像系２ｂは、そのレンズ光軸Ｌ１、Ｌ２が平行となるように、あるいは所定角度をなすように並設されている。

第１撮像系２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１ａ、第１絞り１２ａ、第１フォーカスレンズ１３ａ、および第１イメージセンサ１４ａによって構成されている。第１絞り１２ａには絞り制御部１６ａが接続されており、また、第１イメージセンサ１４ａにはタイミングジェネレータ（ＴＧ）１８ａが接続されている。第１絞り１２ａ、第１フォーカスレンズ１３ａの動作は測光・測距ＣＰＵ１９ａによって制御される。ＴＧ１８ａの動作はメインＣＰＵ１０によって制御される。

第１ズームレンズ１１ａは、操作部３からのズーム操作に応じて、レンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。

第１絞り１２ａは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。

第１フォーカスレンズ１３ａは、ＡＦ（Auto Focus）動作時にレンズ光軸Ｌ１に沿ってＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。静止画用レリーズスイッチ５ａの半押し状態が検出されたとき、メインＣＰＵ１０は第１イメージセンサ１４ａから測距データを得る。メインＣＰＵ１０は得られた測距データに基づいて、ピント、絞りなどの調整を行う。

第１イメージセンサ１４ａは、ＣＣＤ型やＣＭＯＳ型のイメージセンサであり、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４ａの光電荷蓄積・転送動作は、ＴＧ１８ａによって制御され、ＴＧ１８ａから入力されるタイミング信号（クロックパルス）により、電子シャッター速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４ａは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第２撮像系２ｂは、第１撮像系２ａと同一の構成であり、第２ズームレンズ１１ｂ、第２絞り１２ｂ、第２フォーカスレンズ１３ｂ、およびタイミングジェネレータ（ＴＧ）１８ｂが接続された第２イメージセンサ１４ｂによって構成されている。

第１撮像系２ａと第２撮像系２ｂの動作はメインＣＰＵ１０によって制御される。第１撮像系２ａと第２撮像系２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。

第１撮像系２ａと第２撮像系２ｂの第１イメージセンサ１４ａおよび第２イメージセンサ１４ｂから出力された撮像信号は、それぞれＡ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３０ａ、３０ｂを通して、第１イメージセンサ１４ａの撮像信号は右眼用画像データとして、第２イメージセンサ１４ｂの撮像信号は左眼用画像データとして出力される。

画像信号処理手段３１ａ、３１ｂは、それぞれ、階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を、Ａ／Ｄ変換器３０ａ、３０ｂから入力された右眼用画像データおよび左眼用画像データに施す。

バッファメモリ３２ａ、３２ｂは、画像信号処理手段３１ａ、３１ｂで各種画像処理が施された右眼用画像データおよび左眼用画像データを一時的に格納する。バッファメモリ３２ａ、３２ｂに格納された右眼用画像データおよび左眼用画像データは、システムバスを介して出力される。

システムバスには、メインＣＰＵ１０、ＥＥＰＲＯＭ２１、ワークメモリ２４ａ、２４ｂ、バッファメモリ３２ａ、３２ｂ、コントローラ３４、ＹＣ処理部３５ａ、３５ｂ、圧縮伸張処理手段３６ａ、３６ｂ、メディアコントローラ３７、２Ｄ／３Ｄモード切替フラグ設定手段５０、基線長／輻輳角記憶手段５１、縦／横撮り検出手段５２、顔検出部５３などが接続される。

メインＣＰＵ１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。メインＣＰＵ１０には、操作部３、レリーズスイッチ５ａ、５ｂ、２Ｄ／３Ｄ設定スイッチ７、基線長／輻輳角制御手段５５、距離用駆動／制御手段６０が接続されている。

操作部３は、複眼デジタルカメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーなどで構成される。操作部３への適宜操作により、電源のオン／オフ、各種モード（撮影モード、ブラケット撮影モード、再生モード、消去モード、編集モード等）の切り替え、ズーミングなどが行われる。

レリーズスイッチ５ａ、５ｂは２段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ５ａ、５ｂが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ５ａ、５ｂが強く押圧（全押し）されると、撮影処理が行われ、右眼用画像データおよび左眼用画像データがフレームメモリ３２からメモリカード３８に転送されて記録される。なお、レリーズスイッチ５ａは静止画用のレリーズスイッチであり、レリーズスイッチ５ｂは動画用のレリーズスイッチである。

画像表示ＬＣＤ６は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの立体表示を行う。画像表示ＬＣＤ６ａは第１撮像系２ａの出力結果を表示し、画像表示ＬＣＤ６ｂは第２撮像系２ｂの出力結果を表示する。画像表示ＬＣＤ６の詳細な構造は図示しないが、画像表示ＬＣＤ６は、その表面にパララックスバリア表示層を備えている。画像表示ＬＣＤ６は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

２Ｄ／３Ｄ設定スイッチ７は、単視点画像を撮影する２Ｄモードと、多視点画像を撮影する３Ｄモードの切り替えを指示するためのスイッチである。

基線長／輻輳角制御手段５５は、基線長／輻輳角記憶手段５１に記憶された基線長及び輻輳角に基づいて、基線長／輻輳角駆動手段５６ａ、５６ｂを制御して、第１撮像系２ａ及び第２撮像系２ｂの基線長（第１撮像系２ａと第２撮像系２ｂとの間隔）及び輻輳角（第１撮像系２ａのレンズ光軸Ｌ１と、第２撮像系２ｂのレンズ光軸Ｌ２との成す角度）を調整するものである。

基線長／輻輳角駆動手段５６ａ、５６ｂは、基線長／輻輳角制御手段５５に接続されており、基線長／輻輳角制御手段５５からの指示に従って、第１撮像系２ａ及び第２撮像系２ｂを駆動するものである。

基線長／輻輳角検出手段５７ａ、５７ｂは、基線長／輻輳角制御手段５５及び基線長／輻輳角駆動手段５６ａ、５６ｂに接続されており、基線長／輻輳角駆動手段５６ａ、５６ｂによってそれぞれ駆動された第１撮像系２ａ及び第２撮像系２ｂの基線長及び輻輳角を検出するものである。基線長／輻輳角制御手段５５は、前記基線長／輻輳角記憶手段５１から読み出した基線長及び輻輳角と、基線長／輻輳角検出手段５７ａ、５７ｂにおいて検出された基線長及び輻輳角に基づいて、基線長／輻輳角駆動手段５６ａ、５６ｂへ指示を出力する。

距離用駆動／制御手段６０は、距離用発光素子５２ａ、５２ｂの発光タイミングと距離用撮像素子５３ａ、５３ｂとを同期させる制御を行う。

距離用発光素子６２ａ、６２ｂは、それぞれ第１撮像系２ａおよび第２撮像系２ｂの捉えた同一被写体へ投光スポットを照射するための発光ダイオード（ＬＥＤ）で構成される。

距離用撮像素子６１ａ、６１ｂは、それぞれ距離用発光素子５２ａ、５２ｂにより投光スポットの照射された被写体像を取得する測距専用の２次元の撮像素子である。距離用撮像素子６１ａ、６１ｂの撮像動作で得られたアナログ画像信号は、それぞれ測距用Ａ／Ｄ変換部６３ａ、６３ｂにおいてデジタル画像データに変換されて、距離情報処理手段６４に出力される。

距離情報処理手段６４は、距離用発光素子６２ａ、６２ｂから照射された光が被写体で反射されて距離用撮像素子６１ａ、６１ｂに返ってくるまでの時間を測定し、数式１に基づいて距離用撮像素子６１ａ、６１ｂの捉えた被写体までの距離を算出する。そして、算出された結果を用いて、各画素の画素値が距離の値である距離画像をそれぞれ生成する。

[数１]
Ｌ＝ｃ×Ｔｄ／２（Ｌ：距離、ｃ：光速、Ｔｄ：反射時間）
距離情報記憶手段６５は、距離情報処理手段６４から入力された距離情報、すなわち距離用撮像素子６１ａ、６１ｂでそれぞれ撮影された距離画像を記憶する。

ＥＥＰＲＯＭ２１は、不揮発性メモリであり、各種制御用のプログラムや設定情報などを格納している。メインＣＰＵ１０は、このプログラムや設定情報に基づいて各種処理を実行する。

ワークメモリ２４ａ、２４ｂは、ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号をそれぞれ格納する。

コントローラ３４は、ワークメモリ２４ａ、２４ｂに記憶された右眼用画像データおよび左眼用画像データのＹＣ信号をＹＣ／ＲＧＢ処理部２２に読み出す。

ＹＣ／ＲＧＢ処理部２２は、右眼用画像データおよび左眼用画像データのＹＣ信号を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ６での立体表示を行うための立体画像データに合成し、表示用のＬＣＤドライバ２３に出力する。撮影モード時に電子ビューファインダとして使用される際には、ＹＣ／ＲＧＢ処理部２２によって合成された立体画像データが、ＬＣＤドライバ２３を介して画像表示ＬＣＤ６にライブビュー画像として表示される。また、撮影によって得られた画像データの立体表示を行う場合には、ＹＣ／ＲＧＢ処理部２２は、メモリカード３８に記録された各画像データがメディアコントローラ３７によって読み出されて、圧縮伸張処理手段３６ａ、３６ｂによって伸張処理が行われたデータを立体画像データに変換し、その立体画像データがＬＣＤドライバ２３を介して再生画像として画像表示ＬＣＤ６に表示される。

ＬＣＤドライバ２３は、ＹＣ／ＲＧＢ処理部２２から出力されたＲＧＢ信号を画像表示ＬＣＤ６に出力する。

ＹＣ処理部３５ａ、３５ｂは、バッファメモリ３２ａ、３２ｂに記憶された画像データを輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換するとともに、ガンマ調整等の所定の処理を施す。

圧縮伸張処理手段３６ａ、３６ｂは、それぞれワークメモリ２４ａ、２４ｂに記憶された右眼用画像データおよび左眼用画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。

メディアコントローラ３７は、圧縮伸張処理手段３６ａ、３６ｂによって圧縮処理された各画像データを、Ｉ／Ｆ３９経由で接続されたメモリカード３８やその他の記録メディアに記録させる。

メモリカード３８は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

２Ｄ／３Ｄモード切替フラグ設定手段５０には、２Ｄモードであることまたは３Ｄモードであることを表すフラグが設定される。

基線長／輻輳角記憶手段５１は、測光・測距ＣＰＵ１９ａ、１９ｂに基づいて、適切な基線長や輻輳角を算出して記憶するものである。

縦／横撮り検出手段５２は、内臓のセンサー（図示せず）により、縦撮りまたは横撮りのいずれで撮影を行うかを検出する。なお、縦／横撮り検出手段５２による検出は、縦撮り又は横撮りの設定を縦撮りまたは横撮りの指示を入力することにより行い、その設定を検出することにより行っても良い。

顔検出部５３は、様々な公知の技術を用いて、被写体の顔を検出する。

また、複眼デジタルカメラ１には、電源電池６８が着脱可能に設けられている。

電源電池６８は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池６８は、図示しない電池収納室に装填することにより、複眼デジタルカメラ１の各手段と電気的に接続される。

充電・発光制御部４３ａ、４３ｂは、電源電池６８からの電力の供給を受けて、それぞれストロボ４４ａ、４４ｂを発光させるために、図示しない閃光発光用のコンデンサを充電し、ストロボ４４ａ、４４ｂの発光を制御する。

充電・発光制御部４３ａ、４３ｂは、レリーズスイッチ５ａ、５ｂの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号を、メインＣＰＵ１０や測光・測距ＣＰＵ１９ａ、１９ｂから取り込んだことに応じて、ストロボ４４ａ、４４ｂへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。

なお、図１の複眼デジタルカメラ１においては、２系統の撮像系（第１撮像系２ａおよび第２撮像系２ｂ）を有する例を示すが、撮像系が３個以上あってもよい。また、撮像系の配置は、横一列でなくても二次元で配置されていてもよい。

また、図１の複眼デジタルカメラ１は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。

上記のように構成された複眼デジタルカメラ１の撮影、記録動作及び再生動作について説明する。

この複眼デジタルカメラ１において、電源ボタン（図示せず）がＯＮ操作されると、メインＣＰＵ１０はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。また、２Ｄ／３Ｄ設定スイッチ７で２Ｄモードか３Ｄモードのどちらかに設定する。

この撮影スタンバイ状態では、メインＣＰＵ１０は、通常、以下のようにして画像表示ＬＣＤ６に動画（ライブビュー画像）を表示させる。

まず、メインＣＰＵ１０は、２Ｄ／３Ｄモード切替フラグ設定回路５０を参照し、単視点画像（２次元画像）を取得する２Ｄモードか、多視点画像（３次元画像）を取得する３Ｄモードかを検出する。２Ｄモードの場合は第１撮像系２ａのみを駆動し、３Ｄモードの場合は第１撮像系２ａ及び第２撮像系２ｂを駆動する。

第１ズームレンズ１１ａ、第２ズームレンズ１１ｂ、第１フォーカスレンズ１３ａ、第２フォーカスレンズ１３ｂが所定位置まで繰り出され、その後第１イメージセンサ１４ａ、第２イメージセンサ１４ｂによってライブビュー画像用の撮影が行われ、画像表示ＬＣＤ６にライブビュー画像が表示される。すなわち、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで連続的に画像が撮像され、その画像信号が連続的に処理されて、ライブビュー画像用の画像データが生成される。生成された画像データは、順次コントローラ３４に加えられ、表示用の信号形式に変換されて、画像表示ＬＣＤ６に出力される。これにより、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで捉えた画像が画像表示ＬＣＤ６にスルー表示される。

ユーザ（撮影者）は、画像表示ＬＣＤ６に表示されるライブビュー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ５ａ、５ｂが半押しされると、メインＣＰＵ１０にＳ１ＯＮ信号が入力される。メインＣＰＵ１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂを介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における第１絞り１２ａ、第２絞り１２ｂの絞り値、及びシャッター速度の決定に使用される。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。ストロボ４４ａ、４４ｂの発光が必要と判断された場合には、ストロボ４４ａ、４４ｂをプリ発光させ、その反射光に基づいて本撮影時のストロボ４４ａ、４４ｂの発光量を決定する。３Ｄモードの場合には、上記以外に、基線長／輻輳角記憶手段５１に記憶された撮影者毎の基線長、輻輳角の情報に基づいて、第１撮像系２ａおよび第２撮像系２ｂの基線長及び輻輳角を調整する。

レリーズスイッチ５ａ、５ｂが全押しされると、メインＣＰＵ１０にＳ２ＯＮ信号が入力される。メインＣＰＵ１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、メインＣＰＵ１０は、前記測光値に基づいて決定した絞り値に基づいて絞り制御部１６ａ、１６ｂを介して第１絞り１２ａ、第２絞り１２ｂを駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように第１イメージセンサ１４ａ、第２イメージセンサ１４ｂでの電荷蓄積時間（いわゆる電子シャッター）を制御する。

また、メインＣＰＵ１０は、バッファメモリ３２ａ、３２ｂに格納される右眼用画像データおよび左眼用画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、後述する撮影準備処理時に実行されるＡＦ動作およびＡＥ動作においてそれぞれ使用される。

メインＣＰＵ１０は、メインＣＰＵ１０が第１フォーカスレンズ１３ａおよび第２フォーカスレンズ１３ｂを制御してそれぞれ所定方向に移動させながら、順次に得られる右眼用画像データおよび左眼用画像データの各々から算出されたＡＦ評価値の最大値を求めることにより、ＡＦ動作（コントラストＡＦ）を行う。

この際、ストロボ４４ａ、４４ｂを発光させる場合は、プリ発光の結果から求めたストロボ４４ａ、４４ｂの発光量に基づいてストロボ４４ａ、４４ｂを発光させる。

被写体光は、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａを介して第１イメージセンサ１４ａの受光面に入射する。また、第２ズームレンズ１１ｂ、第２絞り１２ｂ、および第２フォーカスレンズ１３ｂを介して第２イメージセンサ１４ｂの受光面に入射する。

第１イメージセンサ１４ａ、第２イメージセンサ１４ｂは、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂの受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１８ａから加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として第１イメージセンサ１４ａ、第２イメージセンサ１４ｂから順次出力され、Ａ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、メインＣＰＵ１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換器３０ａ、３０ｂにおいて、それぞれアナログの画像信号からデジタルの画像信号に変換される。

Ａ／Ｄ変換器３０ａ、３０ｂから出力された右眼用画像データおよび左眼用画像データは、それぞれ画像信号処理手段３１ａ、３１ｂで階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を施され、バッファメモリ３２ａ、３２ｂに一旦蓄えられる。

バッファメモリ３２ａ、３２ｂから読み出されたＲ、Ｇ、Ｂの画像信号は、ＹＣ処理部３５ａ、３５ｂにより輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭調整手段により輪郭強調処理される。ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号は、それぞれワークメモリ２４ａ、２４ｂに蓄えられる。

上記のようにしてバッファメモリ３２ａ、３２ｂに蓄えられたＹＣ信号は、圧縮伸張処理手段３６ａ、３６ｂによって圧縮され、所定のフォーマットの画像ファイルとして、Ｉ／Ｆ３９を介してメモリカード３８に記録される。本例の複眼デジタルカメラ１の場合、静止画の２次元画像のデータは、Ｅｘｉｆ規格に従った画像ファイルとしてメモリカード３８に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。動画のデータは、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理が施されてメモリカード３８に格納される。

また、メインＣＰＵ１０は、このＳ２ＯＮ信号に応動して距離用駆動／制御手段６０を制御し、距離用撮像素子６１ａ、６１ｂを介して距離用発光素子５２ａ、５２ｂにより投光スポットの照射された被写体像を取得する。取得された被写体像は、距離情報処理手段６４で処理が行われ、各画素の画素値が距離の値である距離画像が距離用撮像素子６１ａ、６１ｂのそれぞれに対して生成され、距離情報記憶手段６５に記憶される。そして、所定のフォーマットの画像ファイルと共にメモリカード３８に記録される。

このようにしてメモリカード３８に記録された画像データは、複眼デジタルカメラ１のモードを再生モードに設定することにより、画像表示ＬＣＤ６に再生表示される。再生モードへの移行は、再生ボタン（図示せず）を押下することにより行われる。

再生モードが選択されると、メモリカード３８に記録されている最終コマの画像ファイルがＩ／Ｆ３９を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理手段３６ａ、３６ｂを介して非圧縮のＹＣ信号に伸長される。

伸長されたＹＣ信号は、バッファメモリ３２ａ、３２ｂ（又は図示しないＶＲＡＭ）に保持され、コントローラ３４によって表示用の信号形式に変換されて画像表示ＬＣＤ６に出力される。これにより、図１７に示すように、画像表示ＬＣＤ６にはメモリカード３８に記録されている最終コマの画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード３８から読み出され、上記と同様にして画像が画像表示ＬＣＤ６に再生される
画像表示ＬＣＤ６に再生表示された画像を確認しながら、必要に応じて、メモリカード３８に記録された画像を消去することができる。画像の消去は、画像が画像表示ＬＣＤ６に再生表示された状態でフォトモードボタンが押下されることによって行われる。

以上のように、複眼デジタルカメラ１は画像の撮影、記録及び再生を行う。上記説明は、静止画を撮影する場合について説明したが、動画の場合も同様である。動画、静止画の撮影は、個々のレリーズボタンにより制御される。また、動画、静止画のモードセレクトＳＷやメニューにより、動画、静止画の切り替えを行うようにしてもよい。

［本発明の概要］
さて、この複眼デジタルカメラ１は、通常の画像表示以外に、図２に示すような、表示された左目用画像（画像左）及び右目用画像（画像右）（多視点画像）上に基準面のマーキングを重畳表示するモード（基準面合成表示モード）を備えている。ここで、基準面とはレンズ光軸Ｌ１、Ｌ２が交差する点を含む面であり、撮影された多視点画像の表示を行う場合には、基準面の位置が画像表示ＬＣＤ６等の表示手段の位置となり、基準面より前にある被写体は画面より突出して表示され、基準面より後ろにある被写体は画面より奥まって表示される。基準面の位置は、輻輳角や基線長を変更することにより前後に移動され、レンズ光軸Ｌ１、Ｌ２が平行となる場合には基準面は無限遠の位置となる。

＜第１の実施の形態＞
第１の実施の形態は、基準面の距離を示す情報を、多視点画像と関連付けて記録する形態である。

[撮影処理]
図３は、撮影処理の全体の処理の流れを示すフローチャートである。

まず、複眼デジタルカメラ１が撮影モードに設定されているかどうかが判断され（ステップＳ１）、撮影モードに設定されていない場合（ステップＳ１でＮＯ）には、再度ステップＳ１が行われ、撮影モードに設定されている場合（ステップＳ１でＹＥＳ）には、３Ｄモード（多視点画像を撮影、表示するモード）か２Ｄモード（２次原画像を撮影、再生するモード）のどちらのモードに設定されているかが検出され（ステップＳ２）、検出されたモードが３Ｄモードであるかどうかが判断される（ステップＳ３）。

２Ｄモードである場合（ステップＳ３でＮＯ）には、複眼デジタルカメラ１の動作モードが２Ｄモードに切り替えられ（ステップＳ４）、２次元画像の撮影が行われ（ステップＳ５）、撮影された２次元画像が記録される（ステップＳ６）。

３Ｄモードである場合（ステップＳ３でＹＥＳ）には、複眼デジタルカメラ１の動作モードが３Ｄモードに切り替えられ（ステップＳ１０）、基線長／輻輳角記憶手段５１に記憶された基線長及び輻輳角になるように第１撮像系２ａおよび第２撮像系２ｂが制御される（ステップＳ１１）。

第１撮像系２ａおよび第２撮像系２ｂが制御されたら、第１撮像系２ａおよび第２撮像系２ｂにより被写体像が取得され（ステップＳ１２）、画像表示ＬＣＤ６にライブビュー画像が表示される（ステップＳ１３）。

表示されたライブビュー画像が、撮影する多視点画像として適切であるかどうかが判断される（ステップＳ１４）。ライブビュー画像が適切でない場合（ステップＳ１４でＮＯ）には、再度ステップＳ１１〜Ｓ１４が行われる。

ライブビュー画像が適切である場合（ステップＳ１４でＹＥＳ）には、多視点画像の撮影及び距離画像の撮影が行われる（ステップＳ１５）。撮影された多視点画像が記録され（ステップＳ１６）、撮影された距離画像が多視点画像と関連付けて記録される（ステップＳ１７）。また、多視点画像と関連付けて、多視点画像撮影時の基準面の距離が記録される（ステップＳ１８）。基準面の距離は、多視点画像撮影時の基線長及び輻輳角から算出することもできるし、撮影された距離画像から算出することもできる。これにより、多視点画像と、距離画像と、基準面の距離とが関連付けられて格納された記録用画像ファイルが作成される。

最後に、２Ｄモードの場合は２次元画像が記録されたファイル、３Ｄモードの場合は記録用画像ファイルのファイルクローズ処理が行われ（ステップＳ１９）、処理が終了される。

このように、多視点画像と、距離画像と、基準面の距離とを関連付けられて記録することにより、以下に説明する編集処理において、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。

[記録用画像ファイルの構成]
図４は、上記のようにして撮影された多視点画像の画像信号を記録する場合の記録用画像ファイルの構成である。記録用画像ファイルは、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２及び関連情報データ領域Ａ３とで構成される。

（第１の画像データ領域Ａ１）
第１の画像データ領域Ａ１は、撮影された全ての被写体像の中から所望の被写体像が多視点画像を代表する画像（主画像）として選択され、選択された主画像の画像データ及び当該画像データのヘッダが格納される。本実施の形態では、画像左が主画像として設定されるため、ここには画像データ左が格納される。

（第２の画像データ領域Ａ２）
第２の画像データ領域Ａ２は、複数組の画像データ及び当該画像データのヘッダが格納可能であり、画像データ及びヘッダは、被写体像の画像データが撮影された順番に格納される。本実施の形態では、画像左、画像右、距離用撮像素子６１ｂにより撮影された画像（距離画像左）、距離用撮像素子６１Ａにより撮影された画像（距離画像右）の各画像データと、その画像データのヘッダが格納される。

なお、第１の画像データ領域Ａ１がＥｘｉｆフォーマット、第２の画像データ領域Ａ２がＪＰＥＧフォーマットであるが、フォーマットの形式はこれに限定されるものではない。すなわち、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２とのフォーマットは異なる形式でもよいし、同じ形式でもよい。また、フォーマットの形式は、上記以外の標準のフォーマット（ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式）を用いてもよい。

（関連情報データ領域Ａ３）
関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２との間に配置されている。関連情報データ領域Ａ３には、基準面のマーキングに関する様々な情報である関連情報が格納される。

図５は、本実施の形態における関連情報データの構成を示す図である。関連情報データは、関連情報ＩＤ、視点ＩＤ、距離画像ＩＤを含む各種ＩＤ領域Ａ３１と、マーキング情報領域Ａ３２と、ポインタ領域Ａ３３とで構成される。

各種ＩＤ領域Ａ３１について説明する。関連情報ＩＤは、画像左と画像右とを組み合わせて立体表示を行うことを示す立体視用多視点組み合わせとなっている。視点数は、多視点画像を構成する画像データの数を示している。視点ＩＤは、立体表示させる場合に用いる被写体像を指定するための情報であり、視点ＩＤが“１、２”の場合は、画像左及び画像右の２枚の被写体像を用いて立体表示を行うことを示している。距離画像数は、撮影された距離画像の数を示している。距離画像ＩＤは、基準面の距離の測定を行う場合や、基準面距離データを基に基準面のマーキングを行う場合などに用いる距離画像を指定するための情報であり、距離画像ＩＤが“１、２”の場合は、距離画像左及び距離画像右の２枚の被距離画像を使用することを示し、距離画像ＩＤが“１”の場合は距離画像左のみを使用することを示し、距離画像ＩＤが“２”の場合は距離画像右のみを使用することを示している。

マーキング情報領域Ａ３２は、基準面のマーキングを行うのに必要な各種情報が格納されており、基準面マーキングフラグと、サムネイル基準面マーキングフラグと、基準面表示色データと、基準面距離データとで構成される。

基準面マーキングフラグは、表示された多視点画像に対して基準面のマーキングを重畳表示するかどうかを示すフラグであり、サムネイル基準面マーキングフラグは、サムネイル（本実施の形態では、主画像のサムネイルが作成されている）に対して基準面のマーキングを重畳表示するかどうかを示すフラグであり、いずれのフラグも“１”はマーキングを重畳表示することを意味し、“０”はマーキングを重畳表示しないことを意味する。

基準面表示色データは、基準面のマーキングの色を示す。本実施の形態では、黄色を意味するＦＦＦＦ００が記録されているが、色は任意に設定可能である。

基準面距離データは、撮像系と基準面との距離の値が記録される。本実施の形態では、各撮像系に対応する距離画像が撮影されているため、第１撮像系２ａ又は第２撮像系２ｂと基準面との距離の値（数値データ）が記録されている。この距離の値は、０から無限大の間のあらゆる値を取ることができ、その精度はミリメートル以下の単位である。

ポインタ領域Ａ３３は、第２の画像データ領域Ａ２における各画像データの読み出し開始位置を示すポインタが格納される。本実施の形態では、画像左、画像右、距離画像左、距離画像右の各画像データへのポインタが格納されている。

このように、画像データと、関連情報とが同じ記録用画像ファイルに記録されているため、多視点画像の画像データと、基準面のマーキングに関する様々な情報とを関連付けて記憶することができる。

[編集処理]
図６は、撮影時の基準面のマーキングを多視点画像に重ねて表示させ、更に基準面の位置を任意に変更させる編集モードの全体の処理の流れを示すフローチャートである。

まず、複眼デジタルカメラ１が編集モードに設定されているかどうかが判断され（ステップＳ２０）、編集モードに設定されていない場合（ステップＳ２０でＮＯ）には、再度ステップＳ１が行われ、編集モードに設定されている場合（ステップＳ２０でＹＥＳ）には、３Ｄモード（多視点画像を撮影、表示するモード）か２Ｄモード（２次原画像を撮影、再生するモード）のどちらのモードに設定されているかが検出され（ステップＳ２１）、検出されたモードが３Ｄモードであるかどうかが判断される（ステップＳ２２）。

２Ｄモードである場合（ステップＳ２２でＮＯ）には、複眼デジタルカメラ１の動作モードが２Ｄモードに切り替えられ（ステップＳ２３）、２次元画像の編集が行われ（ステップＳ２４）、編集が終了したかどうかが判断される（ステップＳ２５）。編集が終了していない場合（ステップＳ２５でＮＯ）には、再度ステップＳ２４が行われ、編集が終了した場合（ステップＳ２５でＹＥＳ）には、編集後のファイルの書き込みが行われる（ステップＳ３９）。

３Ｄモードである場合（ステップＳ３でＹＥＳ）には、複眼デジタルカメラ１の動作モードが３Ｄモードに切り替えられ（ステップＳ３０）、記録用画像ファイルに記録された多視点画像の画像データが読み出される（ステップＳ３１）。また、記録用画像ファイルに記録された距離画像が読み出され（ステップＳ３２）、撮影時の基準面の距離のデータが読み出される（ステップＳ３３）。

そして、距離画像と、基準面の距離のデータとに基づいて、多視点画像に基準面のマーキングデータが合成され、マーキングデータが合成された多視点画像が画像表示ＬＣＤ６に表示される（ステップＳ３４）。基準面のマーキングは以下のような方法で行われる。まず、距離画像左及び距離画像右において、それぞれ基準面距離データに記録されている値と等しい値の画素を抽出する。距離画像左、距離画像右においてそれぞれ抽出された画素にマークを付けた画像と、画像左、画像右とをそれぞれ合成することにより、基準面上にある被写体の領域に基準面のマーキングが行われる。

基準面を移動するかどうか、すなわち撮影時の基準面の距離から基準面の距離を変更するかどうかが判断される（ステップＳ３５）。基準面の距離を変更しない場合（ステップＳ３５でＮＯ）には、ファイル書き込み処理（ステップＳ３９）へ進む。

基準面の距離を変更する場合（ステップＳ３５でＹＥＳ）には、変更後の基準面の距離が算出され（ステップＳ３６）、多視点画像に変更後の基準面のマーキングが行われ、マーキングされた多視点画像が画像表示ＬＣＤ６に表示される（ステップＳ３７）。マーキングデータの合成方法は、ステップＳ３４で説明した方法と同様の方法を用いることができる。

ここで、基準面の距離を変更する方法について説明する。編集モードにおいては、画像表示ＬＣＤ６に図９に示すような基準面変更画面が表示される。基準面変更画面には、画像左、画像右、及び画像左及び画像右と基準面の距離とに基づいて生成された立体画像（３Ｄ画像）が表示されている。最初は、撮影時に設定された基準面の位置上の被写体が画像表示ＬＣＤ６にあるような立体画像が生成、表示される。

また、基準面の位置を手前側や奥側に変更する基準面調整バーが表示されている。基準面調整バーを調整することにより、基準面の位置を変更することができる。基準面調整バーを移動させ、「奥行感変更」ボタンを押すことにより、表示されている３Ｄ画像が基準面の距離が変更された場合の３Ｄ画像に変更される。例えば、マーキングデータが合成された多視点画像が、図２に示すように、鼻頭の位置に基準面がある場合には、鼻頭にマーキングされた３Ｄ画像が表示される。基準面を奥側に変更した場合には、基準面が鼻頭の位置から額及び頬の位置に変更され、図１０（ａ）に示すような額と頬にマーキングがされた３Ｄ画像が表示される。基準面を更に奥側に変更した場合には、基準面が額及び頬の位置から首の位置に変更され、図１０（ｂ）に示すような首にマーキングがされた３Ｄ画像が表示される。

マーキングされた多視点画像を用いて、変更後の基準面が所望の位置にあるかどうか、すなわち編集処理を終了してよいかどうかが判断される（ステップＳ３８）。編集処理を終了できない場合（ステップＳ３８でＮＯ）には、再度ステップＳ３５〜Ｓ３８が行われる。編集処理を終了する場合（ステップＳ３８でＹＥＳ）には、変更後の基準面の距離を記録用画像ファイルの基準面距離データの上に挿入することにより、ファイルに変更後の基準面の距離が書き込まれ（ステップＳ３９）、ファイルクローズ処理が行われる（ステップＳ４０）。

このように、変更後の基準面距離データをマーキング情報領域Ａ３２の基準面表示色データと基準面距離データとの間に格納することで、編集後の基準面の位置の情報を記録することができる。また、編集処理後の基準面の距離が追加して記録されることで、その後の編集において変更後の基準面の距離を用いることができ、３Ｄ画像の編集を効率よく行うことができる。

本実施の形態によれば、基準面がマーキングされた画像を見ながら基準面の距離の変更などの３Ｄ画像の編集ができるため、希望する位置を基準面として３Ｄ画像の奥行感を調整でき、最適な３Ｄ画像を容易に得ることができる。

また、本実施の形態によれば、マーキングを行う対象を抽出する等の処理が必要となるが、基準面距離データとして数値データを記録すれば足りるため、記録用画像ファイルの大きさを小さくすることができる。

なお、撮影処理において、ライブビュー画像を表示する場合（ステップＳ１１〜Ｓ１４）においても基準面の距離を測定し、ライブビュー画像に基準面のマーキングを合成することによりマーキングが合成されたライブビュー画像を表示させてもよい。マーキングを合成させる方法は、ステップＳ３４で説明したような方法を用いることができる。これにより、撮影時にも基準面上にある被写体の領域が分かるため、より適切な多視点画像を撮影することができる。この場合には、多視点画像全てにマーキングを合成する必要はなく、例えば第２撮像系２ｂで取得されたライブビュー画像にのみマーキングを合成して、表示してもよい。

また、本実施の形態では、基準面距離データとして撮像系と基準面との距離の値を記録したが、基線長及び輻輳角等の撮像系と基準面との距離の値が算出可能なデータであればどのようなデータを記録してもよい。

また、本実施の形態では、距離画像左と距離画像右とを用いてマーキングを表示させたが、距離画像１又は距離画像２のどちらかを用いてもよい。例えば、距離画像左のみを用いる場合には、基準面距離データと、距離画像左とを用いて画像左に対して基準面のマーキングを行い、画像左のマーキングに対応する画像右の領域にマーキングを行なうようにすればよい。

また、本実施の形態では、撮像系の数と同じ数の距離画像を取得したが、距離画像を撮影するための距離用撮像素子及び距離用発光素子を第１撮像系２ａと第２撮像系２ｂとの中央に１つ配設し、距離画像を１枚だけ取得するようにしてもよい。この場合には、基線長／輻輳角記憶手段５１に記録された基線長及び輻輳角の値を用いて、距離画像の距離の値を各撮像系と基準面との距離に換算する必要がある。

また、本実施の形態では、基準面距離データに記録されている値と等しい値の画素に黄色のマーキングを表示させたが、距離が基準面距離データに記録されている値と等しい値の画素には濃い黄色を表示させ、距離が基準面距離データに記録されている値から所定の値の範囲に含まれる画素には薄い黄色を表示させるなど、距離に応じて色や濃さを変えるなどのグラデーション表示を行なうようにしてもよい。

＜第２の実施の形態＞
第２の実施の形態は、マーキングの位置を示す情報をマーキングデータとして記録する形態である。以下、第２の実施の形態について図９〜図１２を用いて説明する。なお、第１の実施の形態と同様の部分については、説明を省略する。

[撮影処理]
図９は、撮影処理の全体の処理の流れを示すフローチャートである。

まず、複眼デジタルカメラ１が撮影モードに設定されているかどうかが判断され（ステップＳ１）、撮影モードに設定されていない場合（ステップＳ１でＮＯ）には、再度ステップＳ１が行われ、撮影モードに設定されている場合（ステップＳ１でＹＥＳ）には、３Ｄモードか２Ｄモードのどちらのモードに設定されているかが検出され（ステップＳ２）、検出されたモードが３Ｄモードであるかどうかが判断される（ステップＳ３）。

ライブビュー画像が適切である場合（ステップＳ１４でＹＥＳ）には、多視点画像の撮影及び距離画像の撮影が行われる（ステップＳ１５）。撮影された多視点画像が記録され（ステップＳ１６）、撮影された距離画像が多視点画像と関連付けて記録される（ステップＳ１７）。また、多視点画像と関連付けて、多視点画像撮影時の基準面の距離が記録される（ステップＳ１８）。

また、基準面の距離と距離画像とに基づいて、基準面上にある被写体の領域を識別可能に表示させるためのマーキングデータを作成し（ステップＳ４１）、作成されたマーキングデータが多視点画像と関連付けて記録される（ステップＳ４２）。画像左又は画像右において、被写体と基準面とが交わる場合には、基準面上にある被写体の領域にマークを表示させることにより、基準面上にある被写体の領域を識別可能にするが、マーキングデータとは、このマーキングの位置を示す情報である。例えば、鼻頭が基準面上の領域である場合には、鼻頭の略円形状の領域を示す数値のデータや画像のデータがマーキングデータとなる。なお、マーキングデータの詳細については後に説明する。

これにより、多視点画像と、距離画像と、基準面の距離と、マーキングデータとが関連付けられて格納された記録用画像ファイルが作成される。

[記録用画像ファイルの構成]
図１０は、上記のようにして撮影された多視点画像の画像信号を記録する場合の記録用画像ファイルの構成である。記録用画像ファイルは、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２−２及び関連情報データ領域Ａ３−２とで構成される。

第１の画像データ領域Ａ１については、第１の実施の形態と同じであるため、説明を省略する。

（第２の画像データ領域Ａ２−２）
第２の画像データ領域Ａ２−２は、複数組の画像データ及び当該画像データのヘッダが格納可能であり、画像データ及びヘッダは、被写体像の画像データが撮影された順番に格納される。本実施の形態では、画像左、画像右、距離画像左、距離画像右の各画像データと、その画像データのヘッダと、マーキングデータ左、マーキングデータ右の各データとヘッダとが格納される。なお、マーキングデータの詳細については、後に詳述する。フォーマットの形式などその他の事項は、第１の実施の形態と同じであるため、説明を省略する。

（関連情報データ領域Ａ３−２）
関連情報データ領域Ａ３−２は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２−２との間に配置されている。図１１は、本実施の形態における関連情報データの構成を示す図である。関連情報データは、関連情報ＩＤ、視点ＩＤ、距離画像ＩＤを含む各種ＩＤ領域Ａ３１と、マーキング情報領域Ａ３２−２と、ポインタ領域Ａ３３−２とで構成される。

各種ＩＤ領域Ａ３１は、第１の実施の形態と同じであるため、説明を省略する。

マーキング情報領域Ａ３２−２は、基準面のマーキングを行うのに必要な各種情報が格納されており、基準面マーキングフラグと、マーキングデータ形式と、サムネイル基準面マーキングフラグと、基準面表示色データと、基準面距離データとで構成される。基準面マーキングフラグ、サムネイル基準面マーキングフラグ、基準面表示色データ及び基準面距離データは、第１の実施の形態と同様であるため説明を省略し、マーキングデータ形式について説明する。

マーキングデータ形式とは、マーキングデータがどのような形式で記録されているかを示すものであり、“１”は１次元、すなわち点と線とで表されるデータであり、“２”は２次元、すなわち略矩形、略円形などの平面的な図形で表されるデータである。マーキングデータを多視点画像に合成することにより、マーキング付きの多視点画像が生成される。例えば、鼻頭の略円形状の領域が基準面上にあり、マーキングデータ形式が“１”である場合には、線の始点を示す点の座標と、線の長さを示す値とが、マーキングデータに複数記録される。記録された複数の線のデータを重ねて表示させることにより、多視点画像に略円形状の領域がマーキングされる。また、例えば、鼻頭の略三角形状の領域が基準面上にあり、マーキングデータ形式が“２”である場合には、略三角形状の３個の頂点の座標のデータが、マーキングデータに記録される。この場合には、３個の頂点を結ぶことで作成される領域の内部にマークが表示されることにより、多視点画像に略三角形状の領域がマーキングされる。また、例えば、鼻頭が略三角形状の領域が基準面上にあり、マーキングデータ形式が“３”である場合には、鼻頭の略三角形状の領域にマークのみが表示されている画像がマーキングデータとして記録される。

ポインタ領域Ａ３３−２は、第２の画像データ領域Ａ２−２における各画像データの読み出し開始位置を示すポインタが格納される。本実施の形態では、画像左、画像右、距離画像左、距離画像右の各画像データへのポインタと、マーキングデータ左、マーキングデータ右へのポインタとが格納されている。

[編集処理]
図１２は、マーキングデータを多視点画像と合成して表示させ、更に基準面の位置を任意に変更させる編集モードの全体の処理の流れを示すフローチャートである。

まず、複眼デジタルカメラ１が編集モードに設定されているかどうかが判断され（ステップＳ２０）、編集モードに設定されていない場合（ステップＳ２０でＮＯ）には、再度ステップＳ１が行われ、編集モードに設定されている場合（ステップＳ２０でＹＥＳ）には、３Ｄモードか２Ｄモードのどちらのモードに設定されているかが検出され（ステップＳ２１）、検出されたモードが３Ｄモードであるかどうかが判断される（ステップＳ２２）。

そして、記録用画像ファイルに記録されたマーキングデータが読み出され（ステップＳ４３）、マーキングデータと多視点画像とを合成することにより、マーキングデータが合成された多視点画像や３Ｄ画像が画像表示ＬＣＤ６に表示される（ステップＳ４４）。すなわち、画像データ左及び画像データ右と、マーキングデータ左及びマーキングデータ右とが読み出される。そして、マーキングデータ左に記録されているマーキングデータに基づいて、画像データ左にマーキングが行われ、マーキングデータ右に記録されているマーキングデータに基づいて、画像データ右にマーキングが行われる。

基準面の距離を変更する場合（ステップＳ３５でＹＥＳ）には、変更後の基準面の距離が算出され（ステップＳ３６）、距離画像左及び距離画像右と、変更後の基準面の距離とに基づいて、変更後の基準面のマーキングデータが作成される（ステップＳ４５）。マーキングデータの作成は、ステップＳ４１と同様の方法を用いることができる。

マーキングされた多視点画像を用いて、変更後の基準面が所望の位置にあるかどうか、すなわち編集処理を終了してよいかどうかが判断される（ステップＳ３８）。編集処理を終了できない場合（ステップＳ３８でＮＯ）には、再度ステップＳ３５〜Ｓ３８が行われる。編集処理を終了する場合（ステップＳ３８でＹＥＳ）には、変更後の基準面の距離を記録用画像ファイルの基準面距離データの上に挿入することにより、ファイルに変更後の基準面の距離、マーキングデータが書き込まれ（ステップＳ３９）、ファイルクローズ処理が行われる（ステップＳ４０）。

このように、調整後のマーキングデータ左及び調整後のマーキングデータ右のデータ及びヘッダを、第２の画像データ領域Ａ２−２の距離画像右の画像データ及びヘッダと、マーキングデータ左のデータ及びヘッダとの間に格納し、調整後の基準面距離データをマーキング情報領域Ａ３２−２の基準面表示色データと基準面距離データとの間に格納し、かつ新たなマーキングデータ左へのポインタ及び新たなマーキングデータ右へのポインタを、ポインタ領域Ａ３３−２の距離画像右へのポインタとマーキングデータ左へのポインタとの間に格納することで、調整後の基準面の位置の情報を記録することができる。この場合には、マーキングデータ形式は変更せず、新たなマーキングデータも撮影時のマーキングデータと同じ形式で記録される。また、変更後の基準面の位置が記録されることで、編集処理が行われた後は、編集後の基準面のマーキングがされた多視点画像を表示させることができる。

本実施の形態によれば、マーキングの位置情報が記録されているため、特別な演算処理を行うことなく、多視点画像に基準面の位置を示すマーキングを行うことができる。また、編集処理後のマーキングの位置情報が追加して記録されることで、その後の編集において変更後のマーキングの位置情報を用いることができ、３Ｄ画像の編集を効率よく行うことができる。

なお、本実施の形態では、マーキングの位置情報として、点と線や図形で表されるデータとして説明したが、マーキングのみが表示された画像をマーキングの位置情報として、マーキングのみが表示された画像と多視点画像とを重畳表示して、基準面上にある被写体の領域に基準面のマーキングを表示するようにしてもよい。

＜第３の実施の形態＞
第３の実施の形態は、マーキングデータが合成された多視点画像を記録する形態である。以下、第３の実施の形態について図１3〜１４を用いて説明する。なお、第１の実施の形態又は第２の実施の形態と同様の部分については、詳細な説明を省略する。

[撮影処理]
図１３は、撮影処理の全体の処理の流れを示すフローチャートである。

また、基準面の距離と距離画像とに基づいて、基準面上にある被写体の領域を識別可能に表示させるためのマーキングデータを作成し（ステップＳ４１）、作成されたマーキングデータと多視点画像とが合成されたマーキング画像データが作成され（ステップＳ５０）、作成されたマーキング画像データが多視点画像と関連付けて記録される（ステップＳ５１）。

これにより、多視点画像と、距離画像と、基準面の距離と、マーキング画像データとが関連付けられて格納された記録用画像ファイルが作成される。

このように、多視点画像と、距離画像と、基準面の距離とを関連付けられて記録することにより、以下に説明する編集処理において、撮影された被写体像内の基準面上の領域を識別する表示をすることができる。また、本実施の形態では、マーキングデータと多視点画像とが合成されたマーキング画像データが作成されているため、マーキング画像を表示させるだけで、撮影された被写体像内の基準面上の領域を識別する表示をすることができるため、基準面上の領域を識別する表示を速く行うことができる。

[記録用画像ファイルの構成]
図１４は、上記のようにして撮影された多視点画像の画像信号を記録する場合の記録用画像ファイルの構成である。記録用画像ファイルは、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２−３及び関連情報データ領域Ａ３−３とで構成される。

（第２の画像データ領域Ａ２−３）
第２の画像データ領域Ａ２−３は、複数組の画像データ及び当該画像データのヘッダが格納可能であり、画像データ及びヘッダは、被写体像の画像データが撮影された順番に格納される。本実施の形態では、画像左、画像右、距離画像左、距離画像右の各画像データと、その画像データのヘッダと、マーキング画像左、マーキング画像右の各画像データとヘッダとが格納される。フォーマットの形式などその他の事項は、第１の実施の形態と同じであるため、説明を省略する。

（関連情報データ領域Ａ３−３）
関連情報データ領域Ａ３−３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２−３との間に配置されている。図１５は、本実施の形態における関連情報データの構成を示す図である。関連情報データは、関連情報ＩＤ、視点ＩＤ、距離画像ＩＤを含む各種ＩＤ領域Ａ３１と、マーキング情報領域Ａ３２−２と、ポインタ領域Ａ３３−３とで構成される。

マーキング情報領域Ａ３２−２は、第２の実施の形態と同様に、基準面マーキングフラグと、マーキングデータ形式と、サムネイル基準面マーキングフラグと、基準面表示色データと、基準面距離データとで構成される。第３の実施の形態では、マーキングデータ形式に、マーキング画像データであることを示す“５”が書き込まれている。

ポインタ領域Ａ３３−３は、第２の画像データ領域Ａ２−３における各画像データの読み出し開始位置を示すポインタが格納される。本実施の形態では、画像左、画像右、距離画像左、距離画像右の各画像データへのポインタと、マーキング画像データ左、マーキング画像データ右へのポインタとが格納されている。

[編集処理]
図１６は、マーキングデータを多視点画像と合成して表示させ、更に基準面の位置を任意に変更させる編集モードの全体の処理の流れを示すフローチャートである。

そして、記録用画像ファイルに記録されたマーキング画像データ（マーキング画像データ左及びマーキング画像データ右）が読み出され、マーキング付きの多視点画像（マーキング画像左及びマーキング画像右）やマーキング付き３Ｄ画像が画像表示ＬＣＤ６に表示される（ステップＳ５２）。マーキング付き３Ｄ画像とは、マーキング画像左及びマーキング画像右と、基準面の距離とに基づいて作成された、マーキングが表示された立体画像である。

基準面の距離を変更する場合（ステップＳ３５でＹＥＳ）には、変更後の基準面の距離が算出され（ステップＳ３６）、距離画像左及び距離画像右と、変更後の基準面の距離とに基づいて、変更後の基準面のマーキングデータが作成され（ステップＳ４５）、多視点画像と変更後のマーキングデータとが合成されたマーキング画像データが作成される（ステップＳ５３）。

このように、調整後のマーキング画像左及び調整後のマーキング画像右のデータ及びヘッダを、第２の画像データ領域Ａ２−３の距離画像右の画像データ及びヘッダと、マーキング画像左のデータ及びヘッダとの間に格納し、調整後の基準面距離データをマーキング情報領域Ａ３２−３の基準面表示色データと基準面距離データとの間に格納し、かつ新たなマーキング画像データ左へのポインタ及び新たなマーキング画像データ右へのポインタを、ポインタ領域Ａ３３−３の距離画像右へのポインタとマーキングデータ左へのポインタとの間に格納することで、調整後の基準面の位置の情報を記録することができる。

本実施の形態によれば、マーキング画像を立体表示するだけで基準面上の被写体の領域の識別表示が可能であるため、基準面の位置を示すマーキングを容易に行うことができる。また、編集処理後のマーキング画像が追加して記録されることで、その後の編集において変更後のマーキング画像を用いることができ、３Ｄ画像の編集を効率よく行うことができる。

上記実施の形態では、３Ｄ画像や基準面調整バーを画像表示ＬＣＤ６に表示させて複眼デジタルカメラ上で編集処理を行ったが、編集処理をＰＣなどの外部の立体画像再生装置で行うこともできる。この場合には、複眼デジタルカメラ１で撮影された多視点画像及び多視点画像に関連付けられた各種データを立体画像再生装置に出力し、立体画像再生装置での編集処理後に複眼デジタルカメラ１またはメモリカード３８に記録されている画像記録用ファイルを書き変えるようにすればよい。

本発明が適用された複眼デジタルカメラ１のブロック図である。基準面合成表示モードで多視点画像表示された場合の一例である。第１の実施の形態の撮影処理の流れを示すフローチャートである。第１の実施の形態の記憶用画像ファイルの構成の一例である。第１の実施の形態の関連情報データ領域の構成の一例である。第１の実施の形態の編集処理の流れを示すフローチャートである。基準面の距離を変更する基準面変更画面の一例である。マーキングがされた３Ｄ画像の一例である。第２の実施の形態の撮影処理の流れを示すフローチャートである。第２の実施の形態の記憶用画像ファイルの構成の一例である。第２の実施の形態の関連情報データ領域の構成の一例である。第２の実施の形態の編集処理の流れを示すフローチャートである。第３の実施の形態の撮影処理の流れを示すフローチャートである。第３の実施の形態の記憶用画像ファイルの構成の一例である。第３の実施の形態の関連情報データ領域の構成の一例である。第３の実施の形態の編集処理の流れを示すフローチャートである。通常の表示モードで多視点画像表示された場合の一例である。

符号の説明

１：複眼デジタルカメラ、２ａ：第１撮像系、２ｂ：第２撮像系、６ａ、６ｂ：画像表示ＬＣＤ、１０：メインＣＰＵ、３８：メモリカード、５０：２Ｄ／３Ｄモード切替フラグ設定手段、５１：基線長／輻輳角記憶手段

Claims

複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、
前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、
全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、
前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び距離画像とを関連づけて記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、
前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、
全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、
前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、
前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び前記抽出した領域を識別可能に表示させるためのマーキングデータとを関連づけて記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
前記記録手段は、前記撮影された多視点画像に関連づけて前記取得した距離画像を前記記録媒体に記録することを特徴とする請求項２に記載の撮像装置。
複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、
前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、
全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、
前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、
前記撮影された多視点画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、
前記撮影された多視点画像と、前記取得した基準面の距離を示す情報及び前記マーキングデータが合成された多視点画像とを関連づけて記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
前記記録手段は、前記撮影された多視点画像に関連づけて前記取得した距離画像を前記記録媒体に記録することを特徴とする請求項４に記載の撮像装置。
前記記録手段は、前記撮影された多視点画像に関連する関連情報を生成する関連情報生成手段と、
前記撮影された多視点画像、及び前記生成された関連情報を含む記録用画像ファイルを作成する記録用画像ファイル作成手段と、を備え、
前記作成された記録用画像ファイルを記録媒体に記録することを特徴とする請求項１から３のいずれかに記載の撮像装置。
前記記録用画像ファイル作成手段は、前記撮影された多視点画像から１枚の代表画像を選択し、前記記録用画像ファイルのヘッダの直後に前記代表画像を配置して前記記録用画像ファイルを作成することを特徴とする請求項６に記載の撮像装置。
複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、
前記多視点画像を立体表示するときの表示面に対応する基準面の距離として前記複数の撮像手段の光軸が交差する点を含む面の距離を取得する基準面距離取得手段と、
全撮影範囲内の被写体の距離を所定の画素単位で測距してなる距離画像を取得する距離画像取得手段と、
前記取得された基準面の距離と距離画像とに基づいて前記撮影された多視点画像のうちの少なくとも１つの画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、
前記撮影された多視点画像のうちの少なくとも１つの画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、
前記マーキングデータが合成された多視点画像を表示する表示手段と、
を備えたことを特徴とする撮像装置。
前記複数の撮像手段のうちの少なくとも１つは、前記多視点画像の本撮影前に撮影範囲を確認するためのライブビュー画像を撮影し、
前記表示手段は、前記マーキングデータが合成されたライブビュー画像を表示することを特徴とする請求項８に記載の撮像装置。
前記複数の撮像手段間の輻輳角及び基線長のうちの少なくとも一方を調整する調整手段を更に備え、
前記基準面距離取得手段は、前記複数の撮像手段の光軸が交差する点を含む面を基準面とし、前記調整手段によって調整された複数の撮像手段間の輻輳角及び基線長に基づいて前記基準面の距離を算出することを特徴とする請求項１から９のいずれかに記載の撮像装置。
請求項１に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記読み取った基準面を示す情報又は変更した基準面を示す情報と前記距離画像とに基づいて前記多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、
前記多視点画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、
を備えたことを特徴とする立体画像再生装置。
前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報を、前記読み取った基準面の距離を示す情報に代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項１１に記載の立体画像再生装置。
請求項２に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報、及び前記マーキングデータを読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記読み取った多視点画像に前記読み取ったマーキングデータを合成するマーキング手段と、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離の情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、
を備えたことを特徴とする立体画像再生装置。
請求項３に記載の記録媒体から更に距離画像を読み取る前記読取手段と、
前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、
前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成し、
前記立体画像生成手段は、前記マーキングデータが合成された多視点画像と前記変更後の基準面の距離を示す情報とに基づいてマーキング付き立体画像を生成する、
ことを特徴とする請求項１３に記載の立体画像再生装置。
前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータを、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記抽出した領域を示すマーキングデータを、前記読み取った基準面の距離を示す情報及びマーキングデータに代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項１４に記載の立体画像再生装置。
請求項４に記載の記録媒体から多視点画像、前記基準面の距離を示す情報及び前記マーキングデータが合成された多視点画像を読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力する出力手段と、
を備えたことを特徴とする立体画像再生装置。
請求項５に記載の記録媒体から更に距離画像を読み取る前記読取手段と、
前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、
前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成し、
前記立体画像生成手段は、前記マーキングデータが合成された多視点画像と前記変更後の基準面の距離を示す情報とに基づいてマーキング付き立体画像を生成する、
ことを特徴とする請求項１６に記載の立体画像再生装置。
前記記録媒体から読み取った多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータが合成された多視点画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記マーキング手段によってマーキングデータが合成された多視点画像を、前記読み取った基準面の距離を示す情報及びマーキングデータが合成された多視点画像に代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項１７に記載の立体画像再生装置。
請求項１に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記読み取った基準面を示す情報又は変更した基準面を示す情報と前記距離画像とに基づいて前記多視点画像内の前記基準面上にある被写体の領域を抽出する抽出手段と、
前記多視点画像の前記抽出した領域に、前記抽出した領域を識別可能に表示させるためのマーキングデータを合成するマーキング手段と、
前記多視点画像又はマーキングデータが合成された多視点画像を表示する表示手段と、
を備えたことを特徴とする請求項１に記載の撮像装置。
前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報を、前記読み取った基準面の距離を示す情報に代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項１９に記載の撮像装置。
請求項２に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報、及び前記マーキングデータを読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記読み取った多視点画像に前記読み取ったマーキングデータを合成するマーキング手段と、
前記多視点画像又はマーキングデータが合成された多視点画像を表示する表示手段と、
を備えたことを特徴とする請求項２に記載の撮像装置。
請求項３に記載の記録媒体から更に距離画像を読み取る前記読取手段と、
前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、
前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成する、
ことを特徴とする請求項２１に記載の撮像装置。
前記記録媒体から読み取った前記多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータを、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記抽出した領域を示すマーキングデータを、前記読み取った基準面の距離を示す情報及びマーキングデータに代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項２２に記載の撮像装置。
請求項４に記載の記録媒体から多視点画像、前記基準面の距離を示す情報及び前記マーキングデータが合成された多視点画像を読み取る読取手段と、
前記読み取った基準面の距離を示す情報を任意に変更させる変更手段と、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成する立体画像生成手段と、
前記生成した立体画像又はマーキング付き立体画像を表示する表示手段と、
を備えたことを特徴とする請求項４に記載の撮像装置。
請求項５に記載の記録媒体から更に距離画像を読み取る前記読取手段と、
前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて前記多視点画像内の前記変更後の基準面上にある被写体の領域を抽出する抽出手段とを更に備え、
前記マーキング手段は、前記抽出手段によって抽出した多視点画像の抽出した領域にマーキングデータを合成し、
前記立体画像生成手段は、前記マーキングデータが合成された多視点画像と前記変更後の基準面の距離を示す情報とに基づいてマーキング付き立体画像を生成する、
ことを特徴とする請求項２４に記載の撮像装置。
前記記録媒体から読み取った多視点画像、前記基準面の距離を示す情報、前記距離画像及び前記マーキングデータが合成された多視点画像を、前記記録媒体又は他の記録媒体に記録する記録手段であって、前記変更手段によって変更した基準面の距離を示す情報及び前記マーキング手段によってマーキングデータが合成された多視点画像を、前記読み取った基準面の距離を示す情報及びマーキングデータが合成された多視点画像に代えて記録し、又は追記する記録手段を備えたことを特徴とする請求項２５に記載の撮像装置。
請求項１に記載の記録媒体から前記多視点画像及び前記基準面の距離を示す情報を読み取るステップと、
前記読み取った基準面の距離を示す情報を任意に変更させるステップと、
前記読み取った基準面を示す情報又は変更後の基準面の距離を示す情報と前記距離画像とに基づいて前記多視点画像内の前記基準面上にある被写体の領域を抽出するステップと、
前記多視点画像の前記抽出した領域にマーキングデータを合成するステップと、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成するステップと、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力するステップと、
をコンピュータに実現させることを特徴とする立体画像再生プログラム。
請求項２に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報及び前記マーキングデータを読み取るステップと、
前記読み取った基準面の距離を示す情報を任意に変更させるステップと、
前記読み取った多視点画像に前記読み取ったマーキングデータを合成するステップと、
前記多視点画像又はマーキングデータが合成された多視点画像と前記基準面の距離を示す情報とに基づいて立体画像又はマーキング付き立体画像を生成するステップと、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力するステップと、
をコンピュータに実現させることを特徴とする立体画像再生プログラム。
請求項３に記載の記録媒体から前記多視点画像、前記基準面の距離を示す情報及び前記距離画像を読み取るステップと、
前記読み取った基準面の距離の情報を任意に変更させるステップと、
前記変更手段によって変更した変更後の基準面の距離を示す情報と前記読み取った距離画像とに基づいて、変更後の基準面のマーキングデータを生成するステップと、
前記読み取った多視点画像又は前記変更後の基準面のマーキングデータが合成された多視点画像と前記基準面の距離の情報とに基づいて立体画像又はマーキング付き立体画像を生成するステップと、
前記生成した立体画像又はマーキング付き立体画像を立体画像表示手段に出力するステップと、
をコンピュータに実現させることを特徴とする立体画像再生プログラム。