JP5160460B2 - 立体撮像装置および立体撮像方法 - Google Patents

Description

本発明は、複数の視点から被写界を撮像する立体撮像装置および立体撮像方法に関し、特に、複数の撮像画像間の対応点を容易に検出することができる立体撮像装置および立体撮像方法に関する。

複数の視点から被写界を撮像する立体撮像装置が知られている。

特許文献１には、複数の撮像装置を用いて得られる各二次元映像に基づいて、任意の仮想視点からの対象物体の二次元映像を得る構成が開示されている。具体的には、対象物体を互いに異なる複数方向から撮影する複数の撮影装置の実際の位置と仮想座標系内での位置との各関係を求め、対象物体を仮想座標系内に位置させたと想定して、先に求めた関係を用いて、各撮影装置から仮想座標系内の対象物体を見た場合の映像を求める。求められた映像を用いて、任意の仮想視点から仮想座標系内の対象物体を見た場合の映像を求める。

特許文献２には、光源の光を眼で角膜反射させ、その反射像から得られる情報を用いてファインダ画面上の注視点を検出する構成が開示されている。

特許文献３には、一対のステレオ画像を、複数の異なる視点から複数対得るステップと、ステレオ画像の一方における視点原点からの距離を求めてポイント距離データ群を得るステップと、上記ポイント距離データ群を、単一の基準座標に変換するステップと、領域の境界を各領域毎に定めるステップと、領域同士を比較して同一の領域であるか否かを判定するステップを備えた三次元画像表示方法が開示されている。

特許文献４には、視差算出領域間での位相差が歪み許容範囲内となるようなダイナミックレンジを探索し、各奥行き推定値に対して、探索したダイナミックレンジを用いた距離スケール変換を施し、各視差算出領域毎に仮の目標位相量を求める構成が開示されている。

特許文献５には、撮影された平面画像を平面的に表示させる一方、その平面画像を固定のパラメータによって変換した立体画像を立体的に表示させる構成が開示されている。

特許文献６には、ステレオ撮影された左右両眼画像から左右両眼画像間の傾きおよび位置ずれを補正し、また、左右両眼画像を同時に編集する構成が開示されている。

特許文献７には、可視光照射部から可視光を照射し、被写体撮影範囲に可視光が照射されるようにカメラ本体を動かすことで、カメラの撮影位置を調整する構成が開示されている。

特許文献８には、視差量の変更に関する情報に基づいて視差量の調整に関する視差量調整情報を算出し、その視差量調整情報に基づいて立体表示用の画像を生成する構成が開示されている。

特開平７−３３４７０３号公報 特開平８−４６８３６号公報 特開平１１−３５５８０６号公報 特開２００１−２９８７５３号公報 特開２００４−１２００５９号公報 特開２００４−１２９１８６号公報 特開２００４−１９１４５７号公報 特開２００４−２０７７７２号公報

特許文献１〜８には、複数の視点から被写界を撮像して得られる複数の撮像画像間の対応点を容易に検出し得る構成が開示されていない。

特許文献１には、任意の仮想視点からの画像を得る構成が開示されているが、複数視点の撮像画像間の対応点を容易に検出し得る構成が開示されていない。任意の仮想視点を求めるため、装置・処理が複雑になる。

特許文献２には、注視点を検出する技術が開示されているが、対応点検出について開示がない。

特許文献３の構成では、複数のポイント距離データを単一の基準座標に変換しており、対応点検出に応用しようとすると、処理が複雑になる。

特許文献４の構成では、推定値から変換しているため、実際の位置関係が得られない。

特許文献５の構成では、パラメータ固定で平面画像を立体画像に変換しているため、実際の距離情報に応じた飛び出し量を設定出来ない。

特許文献６の構成では、装置・処理が大掛かりになる。

特許文献７には、手動でカメラ位置を設定するためだけに可視光を使用することが開示されており、対応点検出については開示がない。

特許文献８には、視差量の変更に関するパラメータに基づいて視差量調整情報を算出すると記載されているが、対応点を容易に検出し得る具体的な構成が開示されていない。

本発明はこのような事情に鑑みてなされたもので、複数の視点から被写界を撮像して得られる複数の撮像画像間の対応点を容易に検出することができる立体撮像装置および立体撮像方法を提供することを目的とする。

本発明は、フォーカスレンズを有し、被写界をそれぞれ撮像して複数視点の撮像画像を生成する複数の撮像手段と、被写界にスポット光を照射する光照射手段と、前記スポット光を照射した状態で前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出する対応点検出手段であって、前記各撮像画像上の前記スポット光の照射位置を検出し、前記各撮像画像上の前記スポット光の照射位置の座標情報を前記対応点の位置情報として算出する対応点検出手段と、前記フォーカスレンズを移動させて前記被写界上の前記スポット光の照射位置に前記フォーカスレンズを合焦させる合焦制御手段と、前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録する記録制御手段と、を備えることを特徴とする立体撮像装置を提供する。また、本発明は、フォーカスレンズを有し、被写界をそれぞれ撮像して複数視点の撮像画像を生成する複数の撮像手段と、撮影者の視線を入力して被写界上で撮影者が注視している視線位置を検出する視線入力手段と、前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出する対応点検出手段であって、前記視線入力手段の検出結果に基づいて、前記各撮像画像上の前記撮影者の視線位置の座標情報を前記対応点の位置情報として算出する対応点検出手段と、前記フォーカスレンズを移動させて前記被写界上の前記撮影者の視線位置に前記フォーカスレンズを合焦させる合焦制御手段と、前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録する記録制御手段と、を備えることを特徴とする立体撮像装置を提供する。

これによれば、三次元画像を構成する視点別の撮像画像間の対応点を、フォーカスレンズの合焦を利用して簡単に検出することができる。また、対応点の位置情報が撮像画像に関連付けられて記録されるので、撮像画像の再生時などに対応点検出が不要であり、撮像画像に関連付けられた対応点の位置情報を参照した各種の画像処理が可能になる。

本発明の一態様は、前記記録制御手段は、前記被写界上の前記スポット光の照射位置までの距離情報、または前記被写界上の前記撮影者の視線位置までの距離情報を、前記位置情報および前記撮像画像と関連付けて前記記録媒体に記録することを特徴とする。

これによれば、フォーカスレンズの合焦を利用して対応点の距離情報を簡単に検出することができる。また、対応点の距離情報が対応点の位置情報とともに撮像画像に関連付けられて記録されるので、撮像画像の再生時などに対応点の距離情報を参照した各種の画像処理が可能となる。

本発明の一態様は、視点別の前記撮像画像間で前記対応点の位置情報の差分ベクトルを算出する差分ベクトル算出手段と、前記距離情報に基づいて前記差分ベクトルを補正する画像処理を前記撮像画像に対して実行する補正手段と、を備えることを特徴とする。

これによれば、対応点の距離情報を用いて三次元画像の飛び出し量を的確に補正することができる。

本発明の一態様は、前記記録制御手段は、前記対応点がマーキングされた前記撮像画像を前記記録媒体に記録することを特徴とする。また、本発明の一態様は、前記撮像画像上の前記対応点の周辺の画素値に基づいて前記撮像画像上のマーキング部分を補間する手段を備えることを特徴とする。

これによれば、撮影時にはマーキング付きのまま撮像画像を記録すればよいので簡易的である。

本発明の一態様は、前記対応点がマーキングされた第１の前記撮像画像および前記対応点のマーキングが無い第２の前記撮像画像を前記撮像手段により連続して生成し、第１の前記撮像画像および第２の前記撮像画像を互いに関連付けて前記記録制御手段により前記記録媒体に記録することを特徴とする。

これによれば、撮影時に対応点がマーキングされた第１の撮像画像および対応点のマーキングが無い第２の撮像画像が記録されるので、再生時にはマーキング付きの第１の撮像画像およびマーキング無しの第２の撮像画像を加工する事無く自在に利用することができる。また、マーキング無しの第２の撮像画像により、再現性を保つ事が出来る。

本発明の一態様は、合焦指示および撮影指示が入力される指示入力手段を備え、前記合焦指示が入力されたときには、前記合焦制御手段により前記フォーカスレンズの合焦を行うとともに前記対応点がマーキングされた第１の前記撮像画像を前記撮像手段により生成する一方で、前記撮影指示が入力されたときには、前記対応点のマーキングが無い第２の前記撮像画像を前記撮像手段により生成することを特徴とする。

本発明の一態様は、前記対応点の部分が飛び出して見える量を示すガイド情報を表示手段に表示させる表示制御手段を備えることを特徴とする。

これによれば、飛び出し量を示すガイド情報が表示されるので、ユーザは飛び出し量を把握しながら、撮影・再生を楽しむことができる。

本発明の一態様は、前記表示制御手段は、複数視点間の前記対応点の位置情報の差分、および、前記被写界上の前記フォーカスレンズを合焦させた位置までの距離情報のうち、少なくとも一方を前記ガイド情報として前記表示手段に表示させることを特徴とする。

本発明の一態様は、前記表示制御手段は、前記対応点の部分が飛び出して見える量が大きいほど、前記ガイド情報の表示部分を浮き上がらせて表示させることを特徴とする。

本発明の一態様は、前記表示制御手段は、前記ガイド情報をスルー画像にて表示させることを特徴とする。

本発明の一態様は、前記表示制御手段は、前記ガイド情報をサムネイル画像にて表示させることを特徴とする。

本発明の一態様は、前記表示制御手段は、前記ガイド情報を二次元表示時に表示させて三次元表示時には表示させないことを特徴とする。

本発明は、被写界にスポット光を照射する光照射手段と、フォーカスレンズを有する複数の撮像手段とを用い、被写界をそれぞれ撮像して複数視点の撮像画像を生成する立体撮像方法であって、前記光照射手段によって被写界にスポット光を照射するステップと、前記スポット光を照射した状態で前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出するステップであって、前記各撮像画像上の前記スポット光の照射位置を検出し、前記各撮像画像上の前記スポット光の照射位置の座標情報を前記対応点の位置情報として算出するステップと、前記フォーカスレンズを移動させて前記被写界上の前記スポット光の照射位置に前記フォーカスレンズを合焦させるステップと、前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録するステップと、を備えることを特徴とする立体撮像方法を提供する。また、本発明は、撮影者の視線を入力して被写界上で撮影者が注視している視線位置を検出する視線入力手段と、フォーカスレンズを有する複数の撮像手段とを用い、被写界をそれぞれ撮像して複数視点の撮像画像を生成する立体撮像方法であって、前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出するステップであって、前記視線入力手段の検出結果に基づいて、前記各撮像画像上の前記撮影者の視線位置の座標情報を前記対応点の位置情報として算出するステップと、前記フォーカスレンズを移動させて前記被写界上の前記撮影者の視線位置に前記フォーカスレンズを合焦させるステップと、前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録するステップと、を備えることを特徴とする立体撮像方法を提供する。

本発明によれば、複数の視点から被写界を撮像して得られる複数の撮像画像間の対応点を容易に検出することができる。

デジタルカメラの外観構成を示す正面斜視図 デジタルカメラの外観構成を示す背面斜視図 三次元表示が可能なモニタの構造例を説明するための説明図 立体撮影および立体表示の概要を説明するための説明図 第１実施形態における対応点検出を説明するための説明図 第１実施形態におけるデジタルカメラの内部構成を示すブロック図 第１実施形態における撮影処理の第１の例の流れを示すフローチャート （Ａ）はＡＦ補助光が照射された被写界の様子を示す説明図、（Ｂ）は左眼画像、（Ｃ）は右眼画像 対応点処理の詳細フロー 画像ファイルの構成例を示す説明図 （Ａ）はマーキング付きの撮像画像の一例を示す説明図、（Ｂ）はマーキング無しの撮像画像の一例を示す説明図 高速２回撮り撮影処理の概略フロー マーキング付きの撮像画像およびマーキング無しの撮像画像を連続して記録する場合の画像ファイルの構成例を示す説明図 第１実施形態における撮影処理の第２の例の流れを示すフローチャート 再生処理の第１の例の流れを示すフローチャート サムネイル画像の一覧表示例を示す説明図 飛び出し量の表示例を示す説明図 飛び出し量を立体視的に表示した画面表示例を示す説明図 再生処理の第２の例の流れを示すフローチャート 第２実施形態におけるデジタルカメラの内部構成を示すブロック図 （Ａ）は視線入力部の一例の説明に用いる説明図、（Ｂ）は本例の視線入力部を備えたデジタルカメラの一例の背面斜視図 （Ａ）は視線入力部の他の例の説明に用いる説明図、（Ｂ）は本例の視線入力部を備えたデジタルカメラの一例の上面図 視線入力レンズを設けたデジタルカメラの一例の上面図 第２実施形態における撮影処理の一例の流れを示すフローチャート （Ａ）は撮影者が注視した被写界の様子を示す説明図、（Ｂ）は左眼画像、（Ｃ）は右眼画像

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

（第１実施形態）
図１は、本発明を適用した第１実施形態に係るデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、図１のデジタルカメラ１０の背面斜視図である。

本実施形態のデジタルカメラ１０は、複数（図１では二つを例示）の撮像手段（「撮像系」ともいう）を備えたデジタルカメラ（本発明の立体撮像装置に相当）であって、同一の被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。

なお、本実施形態では、説明の便宜のため二つの撮像手段を例示しているが、本発明は、三つ以上の撮像手段であっても同様に適用可能である。なお、撮像手段（主として撮影レンズ１４Ｒ、１４Ｌ）の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。

デジタルカメラ１０のカメラボディ１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影レンズ１４Ｒ、１４Ｌ、補助光照射部１５、フラッシュ１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６等が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

左右一対の撮影レンズ１４Ｒ、１４Ｌは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。この撮影レンズ１４Ｒ、１４Ｌは、それぞれデジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

補助光照射部１５は、被写界の任意の位置にオートフォーカス（ＡＦ）用の光（以下「ＡＦ補助光」という）を照射する。本例の補助光照射部１５は、発光色が可変の発光ダイオード（ＬＥＤ）で構成されており、撮影レンズ１４（１４Ｒ、１４Ｌ）のフォーカスレンズ（図４の１３０ＦＲ、１３０ＦＬ）を被写界上の特定対象に合焦させる際に、ユーザが合焦を希望する位置にＡＦ補助光を照射する。本例では、ユーザがカメラボディ１２を手で把持して動かし、ＡＦ補助光の光軸の方向を変更することで、被写界上のＡＦ補助光の照射位置を任意に設定する。

補助光照射部１５が発光するＡＦ補助光としては、被写界を点状に照射するスポット光、被写界上の狭領域を照射する狭領域照射光などがある。スポット光として、赤外光を発光するようにしてもよい。

フラッシュ１６は、被写界に本撮像用の光を照射する。本例のフラッシュ１６は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このシャッタボタン１８を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、撮像画像の記録処理を行う。以下では、半押しの場合に少なくともＡＦ処理を行うので「合焦指示」といい、全押しの場合に少なくとも撮像画像の記録処理を行うので「撮影指示」という場合もある。また、動画撮影時（例えば、モードダイヤル２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このシャッタボタン１８を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン１８を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。

電源／モードスイッチ２０は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２０を「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「ＯＦＦ位置」に位置させると、電源がＯＦＦされる。

モードダイヤル２２は、撮影モードおよび再生モードの詳細設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。

撮影モードにて、モードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、２Ｄモードであることを表すフラグが設定される。また、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、２Ｄモードであることを表すフラグが設定される。また、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、３Ｄモードであることを表すフラグが設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、３Ｄモードであることを表すフラグが設定される。後述するＣＰＵ１１０は、この２Ｄ／３Ｄモード切替フラグを参照して、２Ｄモード又は３Ｄモードのいずれであるかを把握する。

ここで、「２Ｄ」は２次元（すなわち平面）を意味し、「３Ｄ」は３次元（すなわち立体）を意味する。２Ｄ撮影は単視点の撮像画像（２Ｄ画像）を記録すること（「二次元撮影」、「平面撮影」ともいう）を意味し、２Ｄ表示は単視点の撮像画像（２Ｄ画像）を表示すること（「二次元表示」、「平面表示」ともいう）を意味する。また、３Ｄ撮影は複数視点の撮像画像（３Ｄ画像）を記録すること（「三次元撮影」、「立体撮影」ともいう）を意味し、３Ｄ表示は複数視点の撮像画像（３Ｄ画像）を表示すること（「三次元表示」、「立体表示」ともいう）を意味する。なお、３Ｄ撮影により得た複数視点の撮像画像は、通常は３Ｄ表示されるが、これらの複数視点の撮像画像のうちひとつの視点の撮像画像のみが２Ｄ表示される場合もある。

モニタ２４は、カラー液晶パネル等の表示装置である。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ２４は、撮影時には、各撮像素子１３４Ｒ／Ｌが継続的に捉えた画像（スルー画像）を順次表示し、電子ファインダとして利用される。

ズームボタン２６は、撮影レンズ１４Ｒ、１４Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１０が持つ全ての調整項目の設定が行われる。デジタルカメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示の入力に用いられる。

縦撮り／横撮り切替ボタン３６は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。

入出力コネクタ３８は、外部との有線通信に用いられる。入出力コネクタ３８を介してデジタルカメラ１０に撮像済の画像を入力することが可能である。

図３は、３Ｄ表示が可能なモニタ２４の構造例を説明するための説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ２４を用いる。

モニタ２４の前面（観察者の視点（左眼ＥＬ、右眼ＥＲ）が存在するｚ軸方向）には、レンチキュラレンズ２４ａが配置されている。レンチキュラレンズ２４ａは、複数の円筒状凸レンズを図３中ｘ軸方向に連ねることで構成されている。

モニタ２４に表示される三次元画像（「立体視画像」ともいう）の表示領域は、左眼用短冊画像表示領域２４Ｌと右眼用短冊画像表示領域２４Ｒとから構成されている。左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒは、それぞれ画面の図３中のｙ軸方向に細長い短冊形状をしており、図３中のｘ軸方向に交互に配置される。

レンチキュラレンズ２４ａを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒを含む各短冊集合画像表示領域２４ｃに対応した位置に形成される。

図３では、観察者の左眼ＥＬには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。また、観察者の右眼ＥＲには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。したがって、観察者の左眼は左眼用短冊画像のみを、観察者の右眼は右眼用短冊画像のみを見ることになり、これら左眼用短冊画像の集合である左眼用画像及び右眼用短冊画像の集合である右眼用画像による左右視差により立体視が可能となる。

なお、三次元表示のためのモニタ２４の構造として、図３を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。

例えば、左眼画像および右眼画像をそれぞれ画像の縦方向に細長く切り取った短冊状にして、交互に並べて表示するとともに、同様に縦方向に刻まれたスリットを通して画像を観察者に見せることで、観察者の左眼には左眼画像を、右眼には右眼画像をそれぞれ届ける、視差バリア（パララックスバリア）方式を用いてもよい。その他の空間分割方式でもよい。

また、モニタ２４を構成するＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式（時分割光方向制御バックライト方式ともいう）を用いてもよい。光方向制御方式は、豊岡健太郎，宮下哲哉，内田龍男，“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開2004‐20684号公報などに記載されている。特許第3930021号公報に記載された、いわゆるスキャンバックライト方式を用いてもよい。

左右の画像を交互に表示するとともに、画像分離メガネを使用させることで、画像を立体視させてもよい。

モニタ２４は、例えば液晶表示デバイスや有機ＥＬデバイスを用いる。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

次に、図４および図５を用い、図１〜図３に示したデジタルカメラ１０における３Ｄ撮影（立体撮影）および３Ｄ表示（立体表示）の概要を説明する。

まず、発明の理解を容易にするため、基線長Ｌｂ（デジタルカメラ１０側の撮像手段１１Ｌ、１１Ｒの光軸の間隔）、および、輻輳角θｃ（撮像手段１１Ｌ、１１Ｒの光軸同士が成す角度）は、固定であるものとして説明する。

複数の撮像手段１１Ｌ、１１Ｒにより、被写界上の同一の特定対象９１（例えば球）を複数の視点から撮像することで、すなわち３Ｄ撮影することで、複数の撮像画像（本例では左眼画像９２Ｌおよび右眼画像９２Ｒ）が生成される。生成された撮像画像９２Ｌ、９２Ｒは、被写界上の同一の特定対象９１が投影された特定対象像９３Ｌ、９３Ｒを、それぞれ含んでいる。

これらの撮像画像９２Ｌ、９２Ｒを、図３に示した立体表示可能なモニタ２４で重ね合わせて表示することで、すなわち３Ｄ表示することで、３Ｄ表示画像９４が再生される。本例では、３Ｄ表示画像９４は左眼画像９２Ｌおよび右眼画像９２Ｒによって構成されている。観察者９５は、モニタ２４上の３Ｄ表示画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には特定対象９１（例えば球）の虚像９７が飛び出して見える。

図４に示すように被写体距離Ｄｓが撮像手段１１Ｌ、１１Ｒの光軸間の交点９９までの距離よりも小さい範囲内では、被写体距離Ｄｓが小さいほど、撮像画像９２Ｌ、９２Ｒ上で特定対象像９３Ｌ、９３Ｒの中心座標Ｘｌａ、Ｘｒａ（図４ではｘ座標のみ図示）の差分｜Ｘｌａ−Ｘｒａ｜が大きくなる。すなわち、被写界上での被写体距離Ｄｓが小さいほど、視点別の撮像画像間で対応点同士が離れる。ここで、差分｜Ｘｌａ−Ｘｒａ｜はｘ座標のみであり、これを以下ではずれ量Ｚａｆ（「両眼の視差量」という場合もある）として表す。つまり、基線長Ｌｂおよび輻輳角θｃが決まっていれば、被写体距離Ｄｓが小さいほど、ずれ量Ｚａｆ（＝｜Ｘｌａ−Ｘｒａ｜）が大きくなり、観察者９５が体感する虚像９７の飛び出し量Ａｄも大きくなる。

なお、基線長Ｌｂおよび輻輳角θｃが一定である場合を例に説明したが、輻輳角θｃが可変である構造の場合には、輻輳角θｃおよび被写体距離Ｄｓに応じて、飛び出し量Ａｄが変化する。もしも被写体距離Ｄｓが同じであれば、輻輳角θｃが小さいほど（すなわち遠くに注目するほど）、飛び出し量Ａｄが大きくなる。

また、輻輳角θｃに加えて基線長Ｌｂも可変である構造の場合には、基線長Ｌｂおよび輻輳角θｃおよび被写体距離Ｄｓに応じて、飛び出し量Ａｄが変化する。もしも輻輳角θｃおよび被写体距離Ｄｓが同じであれば、基線長Ｌｂが大きいほど（すなわち撮像手段１１Ｌ、１１Ｒの光軸間が離れるほど）、飛び出し量Ａｄが大きくなる。

図６は、図１及び図２に示したデジタルカメラ１０の内部構成を示すブロック図である。なお、図１、図２に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図６に示すように、本実施形態のデジタルカメラ１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、対応点検出部７１、差分ベクトル算出部７２、サムネイル画像生成部７３、記録制御部７４、表示制御部８１、視差量補正部８２、画像処理部８３、操作部１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２（画像表示メモリ）、ズームレンズ制御部１２４（１２４Ｒ、１２４Ｌ）、フォーカスレンズ制御部１２６（１２６Ｒ、１２６Ｌ）、絞り制御部１２８（１２８Ｒ、１２８Ｌ）、撮像素子１３４（１３４Ｒ、１３４Ｌ）、撮像素子制御部１３６（１３６Ｒ、１３６Ｌ）、アナログ信号処理部１３８（１３８Ｒ、１３８Ｌ）、Ａ／Ｄ変換器１４０（１４０Ｒ、１４０Ｌ）、画像入力コントローラ１４１（１４１Ｒ、１４１Ｌ）、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）、ＡＦ制御部１４４、ＡＥ／ＡＷＢ制御部１４６、特定対象検出部１４８、圧縮・伸張処理部１５２、メディア制御部１５４、メモリカード１５６、モニタ制御部１５８、電源制御部１６０、バッテリ１６２、および、フラッシュ制御部１６４を含んで構成されている。

左眼用の撮像手段１１Ｌは、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、撮像素子制御部１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。

右眼用の撮像手段１１Ｒは、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、撮像素子制御部１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。

本明細書では、撮像手段１１Ｌ、１１Ｒにより被写体を撮像して得られるデジタルの画像データを、「撮像画像」という。また、左眼用の撮像手段１１Ｌにより得られる撮像画像を「左眼画像」、右眼用の撮像手段１１Ｒにより得られる撮像画像を「右眼画像」という。

ＣＰＵ１１０は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。

操作部１１２は、図１および図２に示した、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６などを含む。

バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｒ、１４Ｌ（まとめて撮影レンズ１４と表すこともある）は、ズームレンズ１３０ＺＲ、１３０ＺＬ（まとめてズームレンズ１３０Ｚと表すこともある）、フォーカスレンズ１３０ＦＲ、１３０ＦＬ（まとめてフォーカスレンズ１３０Ｆと表すこともある）、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもってカメラボディ１２に配置されている。

ズームレンズ１３０ＺＲ、１３０ＬＲは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。

フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０およびＡＦ制御部１４４は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。

絞り１３２Ｒ、１３２Ｌは、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。

なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従って撮像素子制御部１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。

なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。本例では、左眼画像および右眼画像がＳＤＲＡＭ１２０に一時的に格納される。デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。

デジタル信号処理部１４２Ｒ、１４２Ｌは、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補間処理、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）はハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。

ＡＦ制御部１４４（合焦制御手段）は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、焦点評価値を算出する。このＡＦ制御部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値として算出する。

また、ＡＦ制御部１４４は、焦点評価値が極大となるレンズ位置（以下「合焦レンズ位置」という）をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、被写界上の合焦させたい代表位置（以下「合焦位置」という）を含むフォーカスエリアへの焦点合わせを行う。ＡＦ制御部１４４は、例えば、まず、フォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次焦点評価値を取得し、その焦点評価値が極大となるレンズ位置を検出して、そのレンズ位置（合焦レンズ位置）にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリア内の被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ制御部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ制御部１４６は、一画面を複数のエリア（たとえば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＡＥ／ＡＷＢ制御部１４６は、ＡＥ制御時、このＡＥ／ＡＷＢ制御部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。

また、ＡＥ／ＡＷＢ制御部１４６は、算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２のホワイトバランスゲイン算出回路及び光源種別判定回路に加える。ホワイトバランスゲイン算出回路は、このＡＥ／ＡＷＢ制御部１４６で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、光源種別判定回路は、このＡＥ／ＡＷＢ制御部１４６で算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ１０では、静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施される。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

モニタ制御部１５８は、ＣＰＵ１１０および後述の表示制御部８１からの指令に従い、モニタ２４への表示を制御する。すなわち、入力された画像信号をモニタ２４に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。

フラッシュ制御部１６４は、ＣＰＵ１１０からの指令に従い、フラッシュ１６の発光を制御する。

対応点検出部７１は、各撮像画像（図４の９２Ｌ、９２Ｒ）上の合焦位置（図４の９８Ｌ、９８Ｒ）の座標情報（以下「対応点位置情報」という）を、視点別に検出する。つまり、各撮像手段１１Ｌ、１１Ｒごとに、被写界上の同一の合焦位置（図４の９８）に対応する各撮像画像９２Ｌ、９２Ｒの合焦位置９８Ｌ、９８Ｒを検出し、視点別の各撮像画像９２Ｌ、９２Ｒごとに座標情報を算出する。これにより、複数視点の撮像画像９２Ｌ、９２Ｒ間で互いに対応する各撮像画像９２Ｌ、９２Ｒ上の対応点９８Ｌ、９８Ｒを検出し、視点別の各撮像画像９２Ｌ、９２Ｒごとに座標情報を算出する。

本例では、視点数が２つなので、対応点検出部７１は、左眼画像９２Ｌにおける原点Ｏ_Ｌを基準にした対応点９８Ｌの座標情報（左眼の対応点位置情報）、および、右眼画像９２Ｒにおける原点Ｏ_Ｒを基準にした対応点９８Ｒの座標情報（右眼の対応点位置情報）をそれぞれ算出する。

前述のＡＦ制御部１４４は、フォーカスレンズ制御部１２６Ｌ、１２６Ｒを用いて、フォーカスレンズ１３０ＦＬ、１３０ＦＲを撮影レンズ１４Ｌ、１４Ｒの光軸方向にて移動させることで、被写界上の合焦位置９８にフォーカスレンズ１３０ＦＬ、１３０Ｒを合焦させる。この際に、ＡＦ制御部１４４は、被写界上の合焦位置９８までの被写体距離Ｄｓ（以下「対応点距離情報」という）を算出する。

本実施形態では、ＡＦ制御部１４４は、被写界上のＡＦ補助光の照射位置９８にフォーカスレンズ１３０ＦＬ、１３０ＦＲを合焦させる。すなわち、本実施形態にて、対応点検出部７１は、視点別の各撮像画像９２Ｌ、９２Ｒ上の照射位置９８Ｌ、９８Ｒの座標情報を、対応点位置情報として算出する。

また、本実施形態では、ＡＦ制御部１４４は、オートフォーカスの際に、被写界上のＡＦ補助光の照射位置９８までの被写体距離Ｄｓを算出する。すなわち、本実施形態にて、対応点検出部７１は、被写界上の照射位置９８までの被写体距離Ｄｓを、対応点距離情報として、ＳＤＲＡＭ１２０上で視点別の撮像画像および対応点位置情報に関連付ける。

差分ベクトル算出部７２は、視点別の撮像画像９２Ｌ、９２Ｒ間における対応点の座標情報（対応点位置情報）の差分ベクトルｖｄ（「視差量ベクトル」ともいう）を算出する。本例では、視点数が２つであり、左眼画像９２Ｌにおける対応点９８Ｌの座標情報と右眼画像９２Ｒにおける対応点９８Ｒの座標情報との差分がベクトルとして算出されて、ＳＤＲＡＭ１２０に格納される。

サムネイル画像生成部７３は、撮像画像（「本画像」ともいう）を縮小し、サムネイル画像（「縮小画像」ともいう）を生成する。本例のサムネイル画像生成部７３は、ＳＤＲＡＭ１２０から視点別の各撮像画像９２Ｌ、９２Ｒを取得し、各撮像画像９２Ｌ、９２Ｒに対し画素の間引き処理を施して視点別の各サムネイル画像をそれぞれ生成し、ＳＤＲＡＭ１２０に格納する。本例では、視点数が２つであり、左眼のサムネイル画像および右眼のサムネイル画像が生成される。

記録制御部７４は、対応点位置情報、対応点距離情報、視点別のサムネイル画像、および、視点別の撮像画像を、互いに関連付けて、メディア制御部１５４によりメモリカード１５６に記録する。

表示制御部８１は、スルー画像表示制御、サムネイル画像表示制御、３Ｄ再生表示制御、２Ｄ再生表示制御などの各種の表示制御を行う。

表示制御部８１は、スルー画像表示制御として、単視点の撮像画像（すなわち複数の撮像手段１１Ｌ、１１Ｒのうちひとつの撮像手段１１Ｌまたは１１Ｒにより撮像された時系列に連続する撮像画像）を、モニタ２４にリアルタイム表示させる。つまり、単視点の撮像画像をスルー画像として表示させる。

また、表示制御部８１は、サムネイル画像表示制御として、サムネイル画像生成部７３によって生成されたサムネイル画像を、モニタ２４に一覧表示させる。

また、表示制御部８１は、メモリカード１５６などの記録された撮像画像をモニタ２４に再生表示させる。再生モードの場合、通常、複数視点で撮像して得られた３Ｄ画像は、３Ｄ表示（複数視点の撮像画像を重ねて表示）を行い、単視点で撮像して得られた２Ｄ画像は２Ｄ表示（単視点の撮像画像のみ表示）を行う。モードダイヤル２２などの操作により、３Ｄ画像を２Ｄ表示することも可能になっている。

視差量補正部８２は、複数視点の撮像画像９２Ｌ、９２Ｒに対し、対応点距離情報に基づいて差分ベクトルｖｄを補正する画像処理を施すことで、複数視点の撮像画像９２Ｌ、９２Ｒを重ね合わせて表示したときの両眼の視差量を補正する。つまり、差分ベクトルｖｄの両眼を結ぶ方向（ｘ軸方向）におけるずれ量Ｚａｆを補正する。これにより、観察者によって視認されることになる飛び出し量Ａｄが補正される。本例では、視点数が２つであり、後述の画像処理部８３により左眼画像９２Ｌおよび右眼画像９２Ｒのうち少なくとも一方をシフトさせる画像処理により、左眼画像９２Ｌ上の対応点９８Ｌおよび右眼画像９２Ｒ上の対応点９８Ｒのうち少なくとも一方を撮像画像上で移動させることで、両眼の視差量（ずれ量Ｚａｆ）を補正する。

画像処理部８３は、撮像画像に対して画像処理を施す。画像処理部８３の画像処理としては、第１に、差分ベクトルｖｄを補正することでＺａｆを補正する視差量補正処理、第２に、撮像画像（例えばスルー画像）やサムネイル画像等の画像に飛び出し量Ａｄを示すガイド情報を合成するガイド情報合成処理、第３に、被写界上の合焦位置に対応する撮像画像上のマーキング部分を削除するとともに、撮像画像上の対応点周辺（マーキング周辺）の画素値に基づいて、削除したマーキング部分の画素値を補間する画素値補間処理などが挙げられる。

なお、図６にて、対応点検出部７１、差分ベクトル算出部７２、サムネイル画像生成部７３、記録制御部７４、表示制御部８１、視差量補正部８２、および、画像処理部８３は、ＣＰＵ１１０とは別に描いたが、ＣＰＵ１１０により構成してもよいことは言うまでもない。

図７は、第１実施形態における撮影処理の第１の例の流れを示すフローチャートである。本処理は図６のＣＰＵ１１０によってプログラムに従い実行される。

本撮影処理は、電源／モードスイッチ２０により撮影モードが設定されると開始する。

ステップＳ１にて、スルー画像の表示を開始する。本例では、表示制御部８１の制御により、複数の撮像手段１１Ｌ、１１Ｒのうち一方の撮像手段により撮像された撮像画像がスルー画像としてモニタ２４に表示される。

ステップＳ２にて、シャッタボタン１８が半押し（Ｓ１オン）であるか否かを判定する。半押しの場合には、ステップＳ３に進む。

ステップＳ３にて、図５に示すように補助光照射部１５により被写界上の任意の合焦位置９８にＡＦ補助光を照射する。本例では、撮影者がカメラボディ１２を把持して補助光照射部１５の光軸方向を変化させることで、撮影者が被写界上で合焦を希望する位置９８にＡＦ補助光を照射させる。

ステップＳ４にて、対応点検出部７１により、視点別の撮像画像９２Ｌ、９２ＲにおけるＡＦ補助光の照射位置９８Ｌ、９８Ｒの座標情報を対応点位置情報として算出し、ＳＤＲＡＭ１２０に格納する。ＡＦ補助光がスポット光である場合には、被写界上の点状の照射点に対応する撮像画像９２Ｌ、９２Ｒ上の照射点の座標情報を算出する。ＡＦ補助光が、スポット光でない光（被写界上の限られた領域に照射される狭域照射光）である場合には、被写界上の照射領域に対応する各撮像画像上の照射領域の代表点の座標情報（例えば中心点の座標情報）を算出する。

図８（Ａ）は被写界上の特定の点９８に点状のスポット光が照射された様子を示す。対応点検出部７１は、図８（Ｂ）に示す左眼画像９２Ｌ上でスポット光の照射点９８Ｌ（赤色光の場合は赤い点）を検出し、左眼画像９２Ｌ上の原点Ｏ_Ｌを基準とした照射点９８Ｌの座標情報Ｘｌａ（本例ではｘ座標のみ）を算出する。また、対応点検出部７１は、図８（Ｃ）に示す右眼画像９２Ｒ上でスポット光の照射点９８Ｒ（赤色光の場合は赤い点）を検出し、右眼画像９２Ｒ上の原点Ｏ_Ｒを基準とした照射点９８Ｒの座標情報Ｘｒａ（本例ではｘ座標のみ）を算出する。

ステップＳ５にて、ＡＦ制御部１４４により、被写界上のＡＦ補助光の照射位置９８にフォーカスレンズ１３０ＦＬ、１３０ＦＲを合焦させるＡＦ（オートフォーカス）処理を行う。このＡＦ処理では、ステップＳ４にて検出された撮像画像上の照射位置９８Ｌ、９８Ｒに対応する被写界上の照射位置９８にフォーカスレンズ１３０ＦＬ、１３０ＦＲを合焦させる。また、ＡＦ制御部１４４は、被写界上の照射位置９８までの距離情報Ｄｓ（対応点距離情報）を算出し、ＳＤＲＡＭ１２０に格納する。

ステップＳ６にて、図９に示す対応点処理を行う。本例では、ステップＳ１０１にて、対応点検出部７１により算出された対応点位置情報をＳＤＲＡＭ１２０から取得する。なお、図７のステップＳ４の処理をステップ１０１にて行うようにしてもよい。ステップＳ１０２にて、差分ベクトル算出部７２により対応点位置情報の差分ベクトルを算出する。本例では、図８（Ｂ）および（Ｃ）に示すＸｌａおよびＸｒａを用い、ずれ量Ｚａｆ（＝Ｘｌａ−Ｘｒａ）を算出する。ステップＳ１０３にて、ＡＦ制御部１４４により算出された対応点距離情報ＤｓをＳＤＲＡＭ１２０から取得する。ステップＳ１０４にて、ＳＤＲＡＭ１２０上で対応点位置情報および対応点距離情報を互いに関連付ける処理（属性情報の付加待機）を行う。

ステップＳ７にて、シャッタボタン１８が全押し（Ｓ２オン）であるか否かを判定する。全押しの場合には、ステップＳ９に進む。全押しでない場合には、シャッタボタン１８が離されたか否かを判定し（ステップＳ８）、離された場合にはステップＳ２に戻る。

ステップＳ９にて、補助光照射部１５のＡＦ補助光を消灯する。

ステップＳ１０にて、本撮像を行う。つまり、フラッシュ制御部１６４により必要に応じてフラッシュ１６を発光するとともに、撮像素子制御部１３６Ｌ、１３６Ｒにより複数の撮像手段１１Ｌ、１１Ｒを駆動し、複数視点から被写界を撮像する。これにより視点別の撮像画像９２Ｌ、９２Ｒが生成される。

ステップＳ１１にて、サムネイル画像生成部７３により、視点別の撮像画像９２Ｌ、９２Ｒをそれぞれ縮小してサムネイル画像を生成し、ステップＳ１０にて取得された撮像画像９２Ｌ、９２Ｒに付加する。

ステップＳ１２にて、対応点検出部７１により、対応点情報付加処理を行う。本例では、撮像画像の属性情報として対応点位置情報および対応点距離情報を有するヘッダ情報を、視点別の各撮像画像９２Ｌ、９２Ｒに付加する。

ステップＳ１３にて、記録制御部７４により、画像ファイルをメモリカード１５６に記録する。図１０は、画像ファイルの一例を示す。本例の画像ファイルは、左眼画像ファイルおよび右眼画像ファイルによって構成されている。各画像ファイルは、ヘッダ情報、サムネイル画像、および、撮像画像を含む。本例にて、ヘッダ情報は、対応点位置情報および対応点距離情報を少なくとも含む。つまり、記録制御部７４により、対応点位置情報および対応点距離情報が各撮像画像９２Ｌ、９２Ｒと関連付けられてメモリカード１５６に記録される。

ステップＳ１４にて、撮影終了か否かを判定する。本例では、電源／モードスイッチ２０により撮影モードが解除されたか否かを判定する。撮影モードが継続している場合には、ステップＳ１に戻る。撮影モードが解除された場合、例えば再生モードが選択された場合には、ステップＳ１５にて、撮影モードの終了処理を行う。

図７を用いて、対応点のマーキング付きの撮像画像を記録しない場合を例に説明したが、本発明はこのような場合に特に限定されない。

記録制御部７４により、図１１（Ａ）に示すような対応点９８のマーキングが有る撮像画像、および、図１１（Ｂ）に示すような対応点のマーキング（例えば赤色の点）が無い撮像画像の両方を連続して記録する高速２回撮りを行ってもよい。

図１２は、高速２回撮り概略撮影処理フローを示す。ステップＳ２０１にて、左眼画像および右眼画像に対して対応点箇所のマーキングを行い、ステップＳ２０２にてマーキング付きの左眼画像および右眼画像の２枚を１回目として記録し、ステップＳ２０３にて、左眼画像および右眼画像に対する対応点箇所のマーキングを中止し、ステップＳ２０４にて、マーキング付きの左眼画像および右眼画像の２枚を２回目として記録する。これにより、図１３に示すように、マーキング付きの左眼画像を有する第１の左眼画像ファイル、マーキング付きの右眼画像を有する第１の右眼画像ファイル、マーキング無しの第２の左眼画像ファイル、および、マーキング無しの第２の右眼画像ファイルが記録される。

図１２に示した高速２回撮りの実際の一例を図７の撮影処理にて説明すると、ＣＰＵ１１０は、スルー画像表示開始（ステップＳ１）後、シャッタボタン１８が半押しされたと判定したとき（ステップＳ２でＹｅｓ）、すなわち合焦指示が入力されたときには、ＡＦ補助光を点灯する（ステップＳ３）。これにより撮像画像に対する対応点箇所のマーキング（投影）を行う。つまり、被写界の合焦位置９８にＡＦ補助光（例えば赤色光）が照射された状態で、対応点箇所がマーキングされた左眼画像および右眼画像を撮像手段１１（１１Ｌ、１１Ｒ）により生成する。また、ＣＰＵ１１０は、シャッタボタン１８が全押しされたと判定したとき（ステップＳ７でＹｅｓ）、すなわち撮影指示が入力されたときには、ＡＦ補助光を消灯する（ステップＳ９）。これにより撮像画像に対する対応点箇所のマーキング（投影）を中止する。つまり、被写界にＡＦ補助光が照射されない状態で、対応点箇所のマーキングが無い左眼画像および右眼画像を撮像手段１１（１１Ｌ、１１Ｒ）により生成する。なお、本撮像（ステップＳ１０）にて、フラッシュ１６を発光させる場合があるが、フラッシュ光は被写界上の撮像範囲のほぼ全領域に照射される広域照射光なので、フラッシュ光を発光させてもマーキング中止状態が継続する。そして、ＣＰＵ１１０は、記録制御部７４により、マーキング付きの撮像画像（第１の左眼画像および第１の右眼画像）とマーキング無しの撮像画像（第２の左眼画像および第２の右眼画像）とを互いに関連付けて、メモリカード１５６に記録する。

図１４は、第１実施形態における撮影処理の第２の例の流れを示すフローチャートである。本例では、対応点がマーキングされたマーキング付き撮像画像のみを記録する。本処理は図６のＣＰＵ１１０によってプログラムに従い実行される。

図１４にて、ステップＳ１〜Ｓ８は、図７に示した第１の例と同じであり、既に説明したので、ここではその説明を省略する。撮影処理の第２の例では、シャッタボタン１８の全押しと判定されたとき（ステップＳ７にてＹｅｓ）、すなわち、撮影者が撮影指示を入力したときには、補助光照射部１５のＡＦ補助光の消灯（図７のステップＳ９）は行わず、ステップＳ１０にて、本撮像を行う。つまり、ステップＳ１０にて、本撮像にて対応点箇所がマーキングされた視点別の各撮像画像を撮像手段１１Ｌ、１１Ｒにより生成する。なお、ステップＳ１１およびＳ１２は、図７に示した第１の例と同じであり、既に説明したので、その説明を省略する。ステップＳ１３にて、記録制御部７４により、図１０に示したように、ヘッダ情報、サムネイル画像、および、本画像（撮像画像）をそれぞれ含む左眼画像ファイルおよび右眼画像ファイルをメモリカード１５６に記録する。本例では、左眼画像および右眼画像として、図８（Ｂ）および（Ｃ）に示すように対応点がマーキングされた左眼画像９２Ｌおよび右眼画像９２Ｒがメモリカード１５６に記録される。ステップＳ１４〜Ｓ１５は、図７に示した第１の例と同じであり、既に説明したので、その説明を省略する。

図１５は、第１実施形態における再生処理の第１の例の流れを示すフローチャートである。本処理は図６のＣＰＵ１１０によってプログラムに従い実行される。本例は、図７に示した撮影処理にてマーキング無しの撮像画像が記録された場合の再生処理である。

本再生処理は、電源／モードスイッチ２０により再生モードが設定されると開始する。

ステップＳ２１にて、再生画像の選択を受け付ける。本例では、表示制御部８１により図１６に示す様にモニタ２４にサムネイル画像を一覧表示させ、操作部１１２により一覧の中からサムネイル画像の選択指示を受け付けることにより、再生する撮像画像をユーザに選択させる。各サムネイル画像には、図４の飛び出し量Ａｄを示すガイド情報として、ずれ量Ｚａｆおよび対応点距離情報ＡＦが表示される。

ステップＳ２２にて、再生する撮像画像が３Ｄ画像であるか否かを判定する。つまり、ステップＳ２１にて選択されたサムネイル画像に対応する撮像画像が、複数視点から撮像された３Ｄ表示可能な撮像画像であるか否かを判定する。本例では、撮影時に画像ファイルのヘッダ情報に３Ｄ画像であるか否かを示す情報（３Ｄ画像フラグ）を書き込んであり、その情報を参照する。

３Ｄ画像である場合には、ステップＳ２３に進み、２Ｄ画像（単視点のみから撮像された撮像画像）である場合には、ステップＳ２８に進む。

ステップＳ２３にて、画像ファイル内の対応点情報の有無を確認する。本例では、画像ファイルのヘッダ情報に対応点位置情報が書き込まれているか否かを判定する。

ステップＳ２４にて、対応点情報が有りと判定された場合には、ステップＳ２５に進み、対応点情報無しと判定された場合には、ステップＳ２７に進む。

ステップＳ２５にて、視差量補正部８２により、対応点距離情報に基づいて、差分ベクトルを補正する。例えば、フラッシュＲＯＭ１１８またはＲＯＭ１１６に予め対応点距離情報とずれ量Ｚａｆ（両眼の視差量）の目的値との対応関係を示すテーブル情報を記憶しておき、このテーブル情報を参照して、対応点距離情報に対応する目的のＺａｆとなるように、現在のＺａｆに対する補正値（すなわち差分ベクトルに対する補正値）を算出する。

ステップＳ２６にて、視差量補正部８２により、飛び出し量を決定する。本例では、撮像画像９２Ｌ、９２Ｒのうち少なくとも一方に対して、画像全体をシフトする画像処理を施す。

ステップＳ２７にて、撮像画像が３Ｄ画像である場合には、表示制御部８１により、ＶＲＡＭ１２２に画像データを書き込むための前処理を行う。

ステップＳ２８にて、表示制御部８１により、モニタ２４に撮像画像を表示する。

ステップＳ２９にて、再生終了か否かを判定する。本例では、電源／モードスイッチ２０により再生モードが解除されたか否かを判定する。再生モードが継続している場合には、ステップＳ２１に戻る。再生モードが解除された場合、例えば撮影モードが選択された場合には、ステップＳ３０にて、再生モードの終了処理を行う。

なお、図１６を用いて、対応点部分の飛び出し量を示すガイド情報を、サムネイル画像に合成して表示した場合を例に説明したが、このような場合に限定されない。表示制御部８１は、図１７に示すように、スルー画像に対し、ガイド表示（本例ではずれ量Ｚａｆおよび対応点距離情報ＡＦ）を合成して表示させてもよい。

例えば、操作部１１２の切替操作により２Ｄ表示および３Ｄ表示を切り替え可能な場合、２Ｄ表示時にはガイド情報を撮像画像に合成して表示させる一方で、３Ｄ表示時には撮像画像に対するガイド情報の合成を行わずガイド情報を表示させないようにしてもよい。

図１８（Ａ）および（Ｂ）は、表示制御部８１により、ガイド情報を立体視的に表示した画面表示例を示す。図１８（Ａ）および（Ｂ）にて、二次元表示された撮像画像９２中には、ガイド情報部分２４０が、飛び出し量Ａｄに対応する厚みｔｄを視認させるように台状に表示されている。ずれ量Ｚａｆおよび対応点距離情報ＡＦが大きいほど（飛び出し量Ａｄが大きいほど）、厚みｔｄを大きくすることでガイド情報部分２４０を浮き上がらせて表示する。

図１９は、第１実施形態における再生処理の第２の例の流れを示すフローチャートである。本処理は図７のＣＰＵ１１０によってプログラムに従い実行される。本例は、図１４に示した撮影処理にてマーキング付きの撮像画像が記録された場合の再生処理である。

本再生処理は、電源／モードスイッチ２０により再生モードが設定されると開始する。

ステップＳ４１およびＳ４２は、図１５に示した再生処理の第１の例のステップＳ２１〜Ｓ２２と同じである。

再生する撮像画像が３Ｄ画像である場合、ステップＳ４３〜Ｓ４７を実行する。

ステップＳ４３にて、視点別の各撮像画像から対応点箇所を抽出する。つまり、画像処理部８３により、マーキング部分を削除する。

ステップＳ４４にて、視点別の各撮像画像に対し対応点補間処理を行う。つまり、画像処理部８３により、削除したマーキング部分を補間する画像処理を行う。例えば、削除しマーキング部分（対応点箇所）の画素値を、その削除したマーキング部分の周辺（つまり対応点周辺）の画素値に基づいて、補間する。例えば、対応点周辺の画素値の平均値を、マーキング部分の画素値として設定する。マーキング部分の削除（ステップＳ４３）を行わないで、直接、マーキング部分の補間を行ってもよい。

ステップＳ４５〜Ｓ５０は、図１３に示した第１の例のステップＳ２５〜Ｓ３０と同じである。

（第２実施形態）
図２０は、第２実施形態におけるデジタルカメラ１０の内部構成を示すブロック図である。なお、図６に示した第１実施形態における構成要素と同じ構成要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

視線入力部２５は、撮影者の視線が入力されるものである。具体的には、撮影者の目を監視して、撮影者の両眼の位置および視線方向を検出することで、被写界上で撮影者が注視している位置（以下「視線位置」ともいう）を検出する。これにより、被写界のどの位置にフォーカスレンズ１３０ＦＬ、１３０ＦＲを合焦させることを撮影者が希望しているのかを推定する。実際には、被写界上の撮影者の注視位置に対応する視点別の各撮像画像上の注視位置の座標情報を換算する。

例えば、眼球全体、瞳孔、虹彩等について、位置、パターン、大きさ等を時系列で監視し、撮影者の両眼の位置および視線方向を検出する。このような視線入力部２５としては、公知のものを用いればよく、具体例については、後に説明する。

本実施形態にて、ＡＦ制御部１４４は、被写界上のユーザの視線位置にフォーカスレンズ１３０ＦＬ、１３０Ｒを合焦させる。すなわち、本実施形態にて、対応点検出部７１は、被写界上の視線位置（図４の９８）に対応する撮像画像９２Ｌ、９２Ｒ上の視線位置（図４の９８Ｌ、９８Ｒ）の座標情報を、対応点位置情報として算出し、ＳＤＲＡＭ１２０に格納する。

図２１（Ａ）および（Ｂ）は、視線入力部２５の一例を示す。本例の視線入力部２５は、デジタルカメラ１０の背面のモニタ２４周辺に配置されたイメージセンサである。例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサによって構成される。このイメージセンサは、スルー画像が表示されたモニタ２４を観察する撮影者の両目を撮像可能である。

図２２（Ａ）は、視線入力部２５の他の例を示す。本例にて、デジタルカメラ１０にはファインダ１９０が設けられており、撮影者の目に赤外光を照射する赤外光発光ダイオード１９１と、ファインダ１９０の画面を覗いた撮影者の目を撮像可能なイメージセンサ１９２と、可視光を透過し、赤外光を反射するミラー１９３と、ミラーで反射されてレンズ１９４で集光された赤外光を電気信号に変換することで、撮影者の眼球を撮像するイメージセンサ１９５を含んで構成されている。撮影者は、図２２（Ｂ）に示すように、ファインダ１９０を介して、特定対象９１（例えば球）を見ることができる。

なお、図２３に示すように、撮影レンズ１４Ｌ、１４Ｒに視線入力部２５を設けることで、視線入力レンズとしてもよい。

図２４は、第２実施形態における撮影処理の第１の例の流れを示すフローチャートである。本処理は図２０のＣＰＵ１１０によってプログラムに従い実行される。

ステップＳ６１およびＳ６２は、図７に示したステップＳ１およびＳ２と同じであり、第１実施形態にて既に説明したので、ここでは説明を省略する。

ステップＳ６４にて、視線入力部２５により、ユーザの視線位置（注視位置）を検出する。本実施形態の対応点検出部７１は、視線入力部２５の検出結果に基づいて、視点別の各撮像画像９２Ｌ、９２Ｒ上のユーザの視線位置の座標情報を、対応点位置情報として算出する。

なお、本実施形態では、ＡＦ補助光の照射が必須でないため、図２４ではＡＦ補助光点灯（図７のステップＳ３）およびＡＦ補助光消灯（図７のステップＳ９）を省略したが、第１実施形態と同様に、ＡＦ補助光を被写界に照射するようにしてもよい。本実施形態にて、ＡＦ制御部１４４は、視線入力部２５で検出された被写界上のユーザの視線位置にフォーカスレンズ１３０ＦＬ、１３０ＦＲを合焦させる。

図２５（Ａ）は被写界上の注視点９８の一例を示す。対応点検出部７１は、図２５（Ｂ）に示す左眼画像における注視点の座標Ｘｌｖａと、図２５（Ｃ）に示す右眼画像における注視点の座標Ｘｒｖａとを算出する。

再生処理については、第１実施形態において説明したので、ここではその説明を省略する。

なお、発明の理解を容易にするため、輻輳角（図４のθｃ）および基線長（図４のＬｂ）が固定であるものとして説明したが、輻輳角θｃおよび基線長Ｌｂを可変にする場合でも、本発明を適用できることは言うまでもない。この場合、撮影時には、記録制御部７４により、可変の視差量パラメータ（輻輳角θｃ、基線長Ｌｂ）を、撮像画像に関連付けて、メモリカード１５６に記録する。また、視差量補正部８２は、対応点距離情報だけでなく、他の可変の視差量パラメータ（輻輳角θｃ、基線長Ｌｂ）にも基づいて、差分ベクトルを補正する。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、例えば対応点の数を増やす等、各種の設計変更や改良を行ってよいのはもちろんである。

１０…デジタルカメラ、１１（１１Ｌ、１１Ｒ）…撮像手段、１５…補助光照射部、１８…シャッタボタン、２４…モニタ、２５…視線入力部、７１…対応点検出部、７２…差分ベクトル算出部、７３…サムネイル画像生成部、７４…記録制御部、８１…表示制御部、８２…視差量補正部、８３…画像処理部、１１０…ＣＰＵ、１１２…操作部、１３４（１３４Ｌ、１３４Ｒ）…撮像素子、１２０…ＳＤＲＡＭ（内蔵メモリ）、１３０Ｆ（１３０ＦＬ、１３０ＦＲ）…フォーカスレンズ、１３４（１３４Ｌ、１３４Ｒ）…撮像素子、１４４…ＡＦ制御部、１５６…メモリカード

Claims (17)

1. フォーカスレンズを有し、被写界をそれぞれ撮像して複数視点の撮像画像を生成する複数の撮像手段と、
   被写界にスポット光を照射する光照射手段と、
   前記スポット光を照射した状態で前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出する対応点検出手段であって、前記各撮像画像上の前記スポット光の照射位置を検出し、前記各撮像画像上の前記スポット光の照射位置の座標情報を前記対応点の位置情報として算出する対応点検出手段と、
   前記フォーカスレンズを移動させて前記被写界上の前記スポット光の照射位置に前記フォーカスレンズを合焦させる合焦制御手段と、
   前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録する記録制御手段と、
   を備えることを特徴とする立体撮像装置。
2. フォーカスレンズを有し、被写界をそれぞれ撮像して複数視点の撮像画像を生成する複数の撮像手段と、
   撮影者の視線を入力して被写界上で撮影者が注視している視線位置を検出する視線入力手段と、
   前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出する対応点検出手段であって、前記視線入力手段の検出結果に基づいて、前記各撮像画像上の前記撮影者の視線位置の座標情報を前記対応点の位置情報として算出する対応点検出手段と、
   前記フォーカスレンズを移動させて前記被写界上の前記撮影者の視線位置に前記フォーカスレンズを合焦させる合焦制御手段と、
   前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録する記録制御手段と、
   を備えることを特徴とする立体撮像装置。
3. 前記記録制御手段は、前記被写界上の前記スポット光の照射位置までの距離情報を、前記位置情報および前記撮像画像と関連付けて前記記録媒体に記録することを特徴とする請求項１に記載の立体撮像装置。
4. 前記記録制御手段は、前記被写界上の前記撮影者の視線位置までの距離情報を、前記位置情報および前記撮像画像と関連付けて前記記録媒体に記録することを特徴とする請求項２に記載の立体撮像装置。
5. 視点別の前記撮像画像間で前記対応点の位置情報の差分ベクトルを算出する差分ベクトル算出手段と、
   前記距離情報に基づいて前記差分ベクトルを補正する画像処理を前記撮像画像に対して実行する補正手段と、
   を備えることを特徴とする請求項３または４に記載の立体撮像装置。
6. 前記記録制御手段は、前記対応点がマーキングされた前記撮像画像を前記記録媒体に記録することを特徴とする請求項１ないし５のうちいずれか１項に記載の立体撮像装置。
7. 前記撮像画像上の前記対応点の周辺の画素値に基づいて前記撮像画像上のマーキング部分を補間する手段を備えることを特徴とする請求項６に記載の立体撮像装置。
8. 前記対応点がマーキングされた第１の前記撮像画像および前記対応点のマーキングが無い第２の前記撮像画像を前記撮像手段により連続して生成し、第１の前記撮像画像および第２の前記撮像画像を互いに関連付けて前記記録制御手段により前記記録媒体に記録することを特徴とする請求項１ないし５のうちいずれか１項に記載の立体撮像装置。
9. 合焦指示および撮影指示が入力される指示入力手段を備え、
   前記合焦指示が入力されたときには、前記合焦制御手段により前記フォーカスレンズの合焦を行うとともに前記対応点がマーキングされた第１の前記撮像画像を前記撮像手段により生成する一方で、前記撮影指示が入力されたときには、前記対応点のマーキングが無い第２の前記撮像画像を前記撮像手段により生成することを特徴とする請求項８に記載の立体撮像装置。
10. 前記対応点の部分が飛び出して見える量を示すガイド情報を表示手段に表示させる表示制御手段を備えることを特徴とする請求項１ないし９のうちいずれか１項に記載の立体撮像装置。
11. 前記表示制御手段は、複数視点間の前記対応点の位置情報の差分、および、前記被写界上の前記フォーカスレンズを合焦させた位置までの距離情報のうち、少なくとも一方を前記ガイド情報として前記表示手段に表示させることを特徴とする請求項１０に記載の立体撮像装置。
12. 前記表示制御手段は、前記対応点の部分が飛び出して見える量が大きいほど、前記ガイド情報の表示部分を浮き上がらせて表示させることを特徴とする請求項１０または１１に記載の立体撮像装置。
13. 前記表示制御手段は、前記ガイド情報をスルー画像にて表示させることを特徴とする請求項１０ないし１２のうちいずれか１項に記載の立体撮像装置。
14. 前記表示制御手段は、前記ガイド情報をサムネイル画像にて表示させることを特徴とする請求項１０ないし１３のうちいずれか１項に記載の立体撮像装置。
15. 前記表示制御手段は、前記ガイド情報を二次元表示時に表示させて三次元表示時には表示させないことを特徴とする請求項１０ないし１４のうちいずれか１項に記載の立体撮像装置。
16. 被写界にスポット光を照射する光照射手段と、フォーカスレンズを有する複数の撮像手段とを用い、被写界をそれぞれ撮像して複数視点の撮像画像を生成する立体撮像方法であって、
    前記光照射手段によって被写界にスポット光を照射するステップと、
    前記スポット光を照射した状態で前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出するステップであって、前記各撮像画像上の前記スポット光の照射位置を検出し、前記各撮像画像上の前記スポット光の照射位置の座標情報を前記対応点の位置情報として算出するステップと、
    前記フォーカスレンズを移動させて前記被写界上の前記スポット光の照射位置に前記フォーカスレンズを合焦させるステップと、
    前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録するステップと、
    を備えることを特徴とする立体撮像方法。
17. 撮影者の視線を入力して被写界上で撮影者が注視している視線位置を検出する視線入力手段と、フォーカスレンズを有する複数の撮像手段とを用い、被写界をそれぞれ撮像して複数視点の撮像画像を生成する立体撮像方法であって、
    前記複数の撮像手段により生成された複数視点の撮像画像間において互いに対応する視点別の対応点の位置情報を検出するステップであって、前記視線入力手段の検出結果に基づいて、前記各撮像画像上の前記撮影者の視線位置の座標情報を前記対応点の位置情報として算出するステップと、
    前記フォーカスレンズを移動させて前記被写界上の前記撮影者の視線位置に前記フォーカスレンズを合焦させるステップと、
    前記対応点の位置情報を前記複数の撮像手段により生成された複数視点の撮像画像と関連付けて記録媒体に記録するステップと、
    を備えることを特徴とする立体撮像方法。

Images