WO2014064946A1

WO2014064946A1 - 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム

Info

Publication number: WO2014064946A1
Application number: PCT/JP2013/006360
Authority: WO
Inventors: 清茂芝崎; 浜島　宗樹
Original assignee: 株式会社ニコン
Priority date: 2012-10-26
Filing date: 2013-10-28
Publication date: 2014-05-01
Also published as: JP6036840B2; CN104756493A; US20150245011A1; JPWO2014064946A1; US9693036B2; CN104756493B

Abstract

　ステレオ撮像装置によって撮影されたままのステレオ画像データは、撮影時の条件、シーンにおける被写体の配置などに起因して左右の画像間に極度に視差が生じている場合があり、鑑賞者は、鑑賞時に違和感、疲労感を覚えることがあった。そこで、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像部と、視差量調整に関する調整条件を取得する調整条件取得部と、調整条件に基づいて、基準画像データ、第１視差画像データおよび第２視差画像データを処理することにより、一方向に第１視差とは異なる第３視差を有する第３視差画像データと、他方向に第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理部とを備える撮像装置を提供する。

Description

撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム

　本発明は、撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラムに関する。

　２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開平８－４７００１号公報

　ステレオ撮像装置によって撮影されたままのステレオ画像データは、撮影時の条件、シーンにおける被写体の配置などに起因して左右の画像間に極度に視差が生じている場合があり、鑑賞者は、鑑賞時に違和感、疲労感を覚えることがあった。

　本発明の第１の態様における撮像装置は、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像部と、視差量調整に関する調整条件を取得する調整条件取得部と、調整条件に基づいて、基準画像データ、第１視差画像データおよび第２視差画像データを処理することにより、一方向に第１視差とは異なる第３視差を有する第３視差画像データと、他方向に第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理部とを備える。

　本発明の第２の態様における撮像装置は、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像部と、第１視差および第２視差とは異なる視差を有する調整視差画像データを生成するための視差量調整に関する調整条件を取得する調整条件取得部と、調整条件を撮影画像データに関連付けて出力する出力部とを備える。

　本発明の第３の態様における画像処理装置は、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データと、撮影画像データに関連付けられた視差量調整に関する調整条件とを取り込む取込部と、調整条件に基づいて、基準画像データ、第１視差画像データおよび第２視差画像データを処理することにより、一方向に第１視差とは異なる第３視差を有する第３視差画像データと、他方向に第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理部とを備える。

　本発明の第４の態様における撮像装置の制御プログラムは、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像ステップと、視差量調整に関する調整条件を取得する調整条件取得ステップと、調整条件に基づいて、基準画像データ、第１視差画像データおよび第２視差画像データを処理することにより、一方向に第１視差とは異なる第３視差を有する第３視差画像データと、他方向に第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理ステップとをコンピュータに実行させる。

　本発明の第５の態様における撮像装置の制御プログラムは、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像ステップと、第１視差および第２視差とは異なる視差を有する調整視差画像データを生成するための視差量調整に関する調整条件を取得する調整条件取得ステップと、調整条件を撮影画像データに関連付けて出力する出力ステップとをコンピュータに実行させる。

　本発明の第６の態様における画像処理装置の制御プログラムは、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データと、撮影画像データに関連付けられた視差量調整に関する調整条件とを取り込む取込ステップと、調整条件に基づいて、基準画像データ、第１視差画像データおよび第２視差画像データを処理することにより、一方向に第１視差とは異なる第３視差を有する第３視差画像データと、他方向に第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理ステップとをコンピュータに実行させる。

　本発明の第７の態様における撮像装置は、シーンに対して奥行き方向の被写体分布を検出する検出部と、被写体分布に基づいて視差量に関する変更条件を決定する決定部と、変更条件に基づいて、互いに視差を有する第１視差画像データと第２視差画像データを包含する撮影画像データを生成する撮像制御を実行する制御部とを備える。

　本発明の第８の態様における撮像装置の制御プログラムは、シーンに対して奥行き方向の被写体分布を検出する検出ステップと、被写体分布に基づいて視差量に関する変更条件を決定する決定ステップと、変更条件に基づいて、互いに視差を有する第１視差画像データと第２視差画像データを包含する撮影画像データを生成する撮像制御ステップとをコンピュータに実行させる。

　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。撮像素子の一部を拡大した様子を概念的に表す概念図である。２Ｄ画像データと視差画像データの生成処理の例を説明する図である。デフォーカスの概念を説明する図である。視差画素が出力する光強度分布を示す図である。調整視差量の概念を説明するための画素値分布を示す図である。カラー視差プレーンデータの生成処理を説明する図である。ＲＧＢの画素値分布の変化を説明する図である。鑑賞者の輻輳角と視差量の関係を示す図である。絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す図である。視差量制限のメニュー画面を表示するデジタルカメラの背面図である。視差量調整の概念を示す図である。動画撮影における処理フローである。視差カラー画像データを生成するまでの処理フローである。好ましい開口形状を説明する図である。デジタルカメラとＴＶモニタとの連携を説明する図である。変形例としてのデジタルカメラの動画撮影における処理フローである。変形例としてのＴＶモニタにおける処理フローである。本発明の実施形態に係るデジタルカメラの構成を説明する図である。画像の鮮鋭度を示すコントラストと視差量の関係を模式的に示す図である。被写体分布と視差量の関係を模式的に示す図である。絞り値と視差量の関係を模式的に示す図である。フォーカスシフトの概念を模式的に示す図である。立体調整パラメータを用いた視差量調整の概念を示す図である。視差量範囲制限のメニュー画面を表示するデジタルカメラの背面図である。被写体指定を説明する図である。第１実施例に係る動画撮影における処理フローである。第２実施例に係る動画撮影における処理フローである。視差カラー画像データを生成するまでの処理フローである。好ましい開口形状を説明する図である。デジタルカメラとＴＶモニタとの連携を説明する図である。

　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

　＜第１の実施形態＞
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

　図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸２１を中心として同心状に入射光束を制限する絞り２２が配置されている。

　撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。撮影画像データを生成するまでの処理部を撮像部とする場合、撮像部は、撮像素子１００、Ａ／Ｄ変換回路２０２、メモリ２０３、制御部２０１および画像処理部２０５を含んで構成される。

　制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理する。

　また、制御部２０１は、調整条件取得部２３１を包含する。調整条件取得部２３１は、後述する立体調整パラメータを決定するための、さまざまな調整条件を取得する。詳しくは後述するが、例えば、その撮影画像データが生成された時の撮影条件としての絞り値、焦点距離等を調整条件として逐次取得する。

　画像処理部２０５は、調整値決定部２３２、算出部２３３および動画生成部２３４を包含する。調整値決定部２３２は、調整条件取得部２３１が取得した調整条件から立体調整パラメータの値を決定する。算出部２３３は、決定された立体調整パラメータを用いて、撮影画像データから、新たな視差画像データを生成する。動画生成部２３４は、算出部が生成した新たな視差画像データを繋ぎ合わせて、３Ｄの動画ファイルを生成する。

　画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

　図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

　基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、撮影レンズ２０の光軸に対して偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

　なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。

　基本格子１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。

　Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
　Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
　Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
　Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
　Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
　Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
　Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
　Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
　他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

　撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

　次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。

　基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

　画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ－ＲＧＢプレーンデータの生成処理の例を示す。

　２Ｄ－ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_－１－１、Ｐ_２－１、Ｐ_－１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

　このように補間された２Ｄ－ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

　本実施形態においては、画像処理部２０５は、２Ｄ－ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。

　図の右列は、視差画素データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

　ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

　同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ－ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

　ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ－ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

　ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ－ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

　本実施形態においては、生成される画像間の視差量がターゲットとする視差量に収まるように、出力画像データに対して画像処理を施す場合がある。この場合、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。特に、立体調整パラメータを導入することにより、２Ｄカラー画像のぼけ量を維持したまま３Ｄ画像としての視差量を調整したカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。

　図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。

　図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

　一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。

　また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。

　図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。

　分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。

　分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。

　本実施形態において立体調整パラメータを利用して画像処理する場合は、実際に撮像素子１００の出力値として取得され、空格子が補間処理された、このような画素値分布の視差Ｌｔ画素の画素値と視差Ｒｔ画素の画素値とを用いて、仮想的な画素値分布をつくり出す。このとき、画素値分布の広がりによって表現されるぼけ量はおよそ維持しつつ、ピーク間の間隔として表現される視差量を調整する。つまり、本実施形態において画像処理部２０５は、２Ｄ画像のぼけ量をほぼそのまま維持しつつも、視差無し画素から生成される２Ｄ画像と視差画素から生成される３Ｄ画像との間に調整された視差量を有する画像を生成する。図６は、調整視差量の概念を説明するための画素値分布を示す図である。

　図において実線で示すＬｔ分布曲線１９０１とＲｔ分布曲線１９０２は、ＬｔプレーンデータとＲｔプレーンデータの実際の画素値をプロットした分布曲線である。例えば、図５における分布曲線１８０４、１８０５に相当する。そして、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２のそれぞれのピーク間距離は３Ｄ視差量を表し、この距離が大きいほど、画像再生時の立体感が強くなる。

　Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２とをそれぞれ５割として足し合わせた２Ｄ分布曲線１９０３は、左右に偏りのない凸形状となる。２Ｄ分布曲線１９０３は、図５における合成分布曲線１８０６の高さを１／２にした形状に相当する。すなわち、この分布に基づく画像は、視差量０の２Ｄ画像となる。

　調整Ｌｔ分布曲線１９０５は、Ｌｔ分布曲線１９０１の８割と、Ｒｔ分布曲線１９０２の２割を足し合わせた曲線である。調整Ｌｔ分布曲線１９０５のピークは、Ｒｔ分布曲線１９０２の成分が加えられる分だけ、Ｌｔ分布曲線１９０１のピークよりも中心寄りに変位する。同様に、調整Ｒｔ分布曲線１９０６は、Ｌｔ分布曲線１９０１の２割と、Ｒｔ分布曲線１９０２の８割を足し合わせた曲線である。調整Ｒｔ分布曲線１９０６のピークは、Ｌｔ分布曲線１９０１の成分が加えられる分だけ、Ｒｔ分布曲線１９０２のピークよりも中心寄りに変位する。

　したがって、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれのピーク間距離で表される調整視差量は、３Ｄ視差量よりも小さくなる。したがって、画像再生時の立体感は、緩和される。一方で、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれの分布の広がりは、２Ｄ分布曲線１９０３の広がりと同等なので、ぼけ量は２Ｄ画像のそれと等しいと言える。

　すなわち、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２をそれぞれどれくらいの割合で加算するかにより、調整視差量を制御することができる。そして、この調整された画素値分布を、視差なし画素から生成されたカラー画像データの各プレーンに適用することにより、視差画素から生成された視差画像データとは異なる立体感を与える左側視点のカラー画像データと右側視点のカラー画像データとを生成することができる。

　本実施形態においては、図３を用いて説明した９つのプレーンデータから、左側視点のカラー画像データと右側視点のカラー画像データを生成する。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔ_ｃプレーンデータ、緑色プレーンデータであるＧＬｔ_ｃプレーンデータ、および青色プレーンデータであるＢＬｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔ_ｃプレーンデータ、緑色プレーンデータであるＧＲｔ_ｃプレーンデータ、および青色プレーンデータであるＢＲｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。

　図７は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理について示す。

　赤色視差プレーンは、図３を用いて説明したＲｎプレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ_ｃプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_ｍｎを算出する場合、まず、画像処理部２０５の算出部２３３は、Ｒｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する。次に、算出部２３３は、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＬｔ_ｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＲｔ_ｍｎを抽出する。そして、算出部２３３は、画素値Ｒｎ_ｍｎに、画素値ＲＬｔ_ｍｎとＲＲｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて、画素値ＲＬｔ_ｃｍｎを算出する。具体的には、以下の式（１）により算出する。ただし、立体調整パラメータＣは、０．５＜Ｃ＜１の範囲で設定される。

　同様に、ＲＲｔ_ｃプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｔ_ｃｍｎを算出する場合も、算出部２３３は、抽出した画素値Ｒｎ_ｍｎに、画素値ＲＬｔ_ｍｎと画素値ＲＲｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。

　算出部２３３は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。

　そして、赤色視差プレーンであるＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｇｎ_ｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＬｔ_ｍｎを抽出する代わりに、ＧＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＧＬｔ_ｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＲｔ_ｍｎを抽出する代わりに、ＧＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＧＲｔ_ｍｎを抽出する。そして、式（１）および式（２）の各パラメータを適宜変更して同様に処理する。

　さらに、緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔ_ｃプレーンデータとＢＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｂｎ_ｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＬｔ_ｍｎを抽出する代わりに、ＢＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＢＬｔ_ｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＲｔ_ｍｎを抽出する代わりに、ＢＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＢＲｔ_ｍｎを抽出する。そして、式（１）および式（２）の各パラメータを適宜変更して同様に処理する。

　以上の処理により、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。

　しかも、立体調整パラメータＣを０．５＜Ｃ＜１の範囲で変更できるので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、３Ｄ画像としての視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、立体映像表示パネルの鑑賞者は、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像にも対応できる。

　次に、以上の処理を画素値分布とカラーの観点から説明する。図８は、ＲＧＢの画素値分布の変化を説明する図である。図８（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からのある白色被写体光束を受光した場合の、Ｇ（Ｌｔ）画素、Ｇ（Ｒｔ）画素、Ｒ（Ｌｔ）画素、Ｒ（Ｒｔ）画素、Ｂ（Ｌｔ）画素およびＢ（Ｒｔ）画素のそれぞれの出力値を並べたグラフである。

　図８（ｂ）は、図８（ａ）における物点からのある白色被写体光束を受光した場合の、視差無し画素であるＲ（Ｎ）画素、Ｇ（Ｎ）画素およびＢ（Ｎ）画素の出力値を並べたグラフである。このグラフも、各色の画素値分布を表すと言える。

　Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図８（ｃ）のグラフで表される画素値分布となる。図から分かるように、ＲＧＢそれぞれの画素値に応じた分布が得られる。

　次に、３Ｄ画像データを再生装置で再生した場合の、鑑賞者と映像との関係について説明する。図９は、鑑賞者の輻輳角と視差量の関係を示す図である。眼球５０は、鑑賞者の眼球を表し、図は、右目５１と左目５２が離間している様子を示す。

　表示部４０には、視差量が調整されていない非調整画像データが再生され、右目用画像の被写体６１と左目用画像の被写体６２が表示されている。被写体６１と被写体６２は同一の被写体であり、撮影時において焦点位置からずれた位置に存在していたので、表示部４０においては、視差量Ｄ_１をもって離間して表示されている。

　眼球５０は、これらを一致させて視認しようとするので、鑑賞者は、右目５１と被写体６１を結ぶ直線と、左目５２と被写体６２を結ぶ直線とが交差する、浮き上がり距離Ｌ１の位置（図において四角で表す）に被写体が存在するように認識する。

　このときの輻輳角は、図示するようにθ_１である。一般的に、輻輳角が大きくなると、映像に対して違和感を覚え、また、眼精疲労の原因ともなる。そこで、本実施形態において立体調整パラメータを利用して画像処理する場合は、上述のように視差量を立体調整パラメータによって調整した調整画像データを生成する。なお、図は、非調整画像データに重ねて調整画像データが再生されている様子を示す。

　表示部４０には、調整画像データの右目用画像の被写体７１と左目用画像の被写体７２が表示されている。被写体７１と被写体７２は同一の被写体であり、また被写体６１、６２とも同一の被写体である。被写体７１と被写体７２は、表示部４０においては、視差量Ｄ_２をもって離間して表示されている。鑑賞者は、右目５１と被写体７１を結ぶ直線と、左目５２と被写体７２を結ぶ直線とが交差する、浮き上がり距離Ｌ２の位置（図において三角で表す）に被写体が存在するように認識する。

　このときの輻輳角は、θ_１よりも小さいθ_２である。したがって、鑑賞者は極端な浮き上がり感を感じることなく、また眼精疲労の蓄積も軽減できる。なお、視差量は、後述するように適度に調整されるので、鑑賞者は、心地良い浮き上がり感（デフォーカス関係が逆転した場合の沈み込み感も合せて立体感）をもって映像を鑑賞できる。

　なお、図９の説明として用いた視差量は、表示部４０における離間距離で表わされたが、視差量は、さまざまな形式で定義され得る。例えば、撮影画像データにおけるピクセル単位で定義しても良いし、画像の横幅に対するずれ幅で定義しても良い。

　図１０は、デジタルカメラ１０における絞り値、画像の鮮鋭度を示すコントラスト、被写体距離および視差量の関係を模式的に示す図である。横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。また、図１０（ａ）は、絞り値がＦ１.４の状態を表し、図１０（ｂ）は、絞り値がＦ４の状態を表し、図１０（ｃ）は、絞り値がＦ８の状態を表す。なお、撮影レンズ２０の焦点距離はいずれの状態においても同一であり、また、デジタルカメラ１０は、距離Ｌ_１０に位置する主要被写体に焦点を合わせている。

　コントラスト曲線１６１０は、いずれの状態においても焦点位置までの距離である距離Ｌ_１０で最も高い。一方で、絞り値が大きくなるほど焦点距離前後でも比較的高い値を示す。すなわち、絞り２２を絞った状態で撮影された画像ほど被写界深度が深くなることを示す。

　視差量曲線１６２０は、距離Ｌ_１０において視差量０を示し、距離Ｌ_１０よりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌ_１０より手前側で正の値を示し、より近い被写体ほど大きく浮き上がって視認されることを表している。

　他方、視差量曲線１６２０は、距離Ｌ_１０よりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌ_１０より奥側で負の値を示し、より遠い被写体ほど緩やかに沈み込んで視認されることを表している。

　また、視差量曲線１６２０は、絞り値が大きくなるほど、その変化がなだらかになる。すなわち、絞り値がＦ１.４の場合に比べ、Ｆ４、Ｆ８と推移するに従い、焦点位置より手前の視差量および奥の視差量が小さくなる。

　視差量が－ｍから＋ｍの範囲に含まれる場合に、鑑賞者が違和感、疲労感を覚えないとすると、絞り値がＦ８の場合であれば視差量曲線１６２０がこの範囲に収まっているので、いずれの距離に被写体が存在しても鑑賞者は心地よく３Ｄ映像を鑑賞できる。

　一方、絞り値がＦ１.４およびＦ４の場合は、視差量曲線１６２０の近距離側で＋ｍを超えている。したがって、被写体が＋ｍを超える近距離に存在すれば鑑賞者は違和感、疲労感を覚える。そこで、本実施形態において画像処理部２０５は、設定された下限値と上限値の間に収まるように視差量を立体調整パラメータによって調整した調整画像データを生成する。

　まず、視差量の制限について説明する。図１１は、視差量制限のメニュー画面を表示するデジタルカメラ１０の背面図である。

　視差量の制限は、上述のように、下限値－ｍ、上限値＋ｍのように設定される。下限値と上限値の絶対値は異なっていても良い。ここでは、視差量を調整視差画像データにおける視差画像のピクセル単位で表す。

　鑑賞者が違和感、疲労感を覚える視差量は、鑑賞者ごとに異なる。したがって、撮影時においてデジタルカメラ１０のユーザである撮影者が視差量制限の設定を変更できるように、デジタルカメラ１０を構成することが好ましい。

　デジタルカメラ１０には、視差量制限のメニューとして、例えば、図示するように４つの選択肢が設けられている。具体的には、標準的な鑑賞者が心地よいと感じる範囲がプリセットされた「標準」、標準よりも広い範囲がプリセットされ、より大きな視差量を許容する「強め」、標準よりも狭い範囲がプリセットされ、より小さな視差量しか許容しない「弱め」、および撮影者が上限値、下限値を数値入力する「マニュアル」が設けられている。「マニュアル」を選択した場合には、撮影者は、上限値としての「最大浮き上がり量」と下限値としての「最大沈み込み量」を、ピクセル単位で順次指定することができる。撮影者は、操作部２０８の一部であるダイヤルボタン２０８１を操作することにより、これらの選択、指定を行う。

　このように視差量制限として許容される視差量の範囲が設定されると、画像処理部２０５は、この範囲に収まるように視差量を調整した調整視差画像データを生成する。本実施形態における視差量の調整処理は、従来技術のように被写体オブジェクトごとに切り出し、デプスマップの情報を用いつつオブジェクト単位で水平方向に移動させるような複雑な処理を必要としない。したがって、従来技術に比べて高速に演算できるので、画像処理部２０５は、被写体の状況が刻々と変化する動画撮影に対してもリアルタイムに調整視差画像データを出力することに容易に対応できる。

　本実施形態におけるデジタルカメラ１０は、心地良い視差量に調整された視差画像データを連続的に生成し、これらを繋ぎ合わせて動画ファイルを生成するオート３Ｄ動画モードを、動画撮影モードのひとつとして備える。撮影者は、撮影に先立ち、操作部２０８の一部であるモードボタン２０８２を操作して、オート３Ｄ動画モードを選択する。

　同一シーンを構成する被写体の全部が設定された視差量範囲に収まるか否かは、図１０の説明からも理解されるように、様々な条件に左右される。設定される視差量範囲も含めて、これらの条件を視差量調整に関する調整条件とする。

　ここで調整条件について、さらに説明する。調整条件取得部２３１は各種の調整条件を取得して、適宜調整値決定部２３２へ引き渡す。上述のように、調整条件取得部２３１は、メニュー画面および操作部２０８を介して入力された視差量範囲を調整条件として取得する。

　図１０においては、撮影レンズ２０の焦点距離が固定の場合について説明したが、同一被写体を撮影する場合において、視差量は、撮影レンズ２０の焦点距離によっても変化する。つまり、光学系である撮影レンズ２０の設定条件としての焦点距離は、視差量に影響を与える調整条件となり得る。したがって、調整条件取得部２３１は、制御部２０１が撮影レンズ２０から取得する焦点距離情報（ズーム情報）を、調整条件として取得する。

　図１０を用いて説明したように、視差量曲線１６２０は、絞り値の変化に応じて傾きが変わる。つまり、各撮影画像データの取得時（撮影時）における絞り値は、光学系の設定条件として視差量に影響を与える調整条件となり得る。したがって、調整条件取得部２３１は、制御部２０１が撮影レンズ２０から取得する絞り値を、調整条件として取得する。

　図１０を用いて説明したように、視差量は、焦点を合わせた被写体に対して０であり、その前後で正負の値を取る。つまり、光学系である撮影レンズ２０の設定条件としてのフォーカスレンズ位置は、視差量に影響を与える調整条件となり得る。したがって、調整条件取得部２３１は、制御部２０１が撮影レンズ２０から取得するフォーカスレンズ位置（フォーカス情報）を、調整条件として取得する。

　図１０においては、焦点位置である距離Ｌ_１０に主要被写体が存在する場合を想定したが、他の被写体が奥行き方向に分布して存在する場合、これら他の被写体が浮き上がって、あるいは沈み込んで視認されることになる。つまり、奥行き方向の被写体分布は、被写体状況として視差量に影響を与える調整条件となり得る。したがって、調整条件取得部２３１は、奥行き方向の被写体分布を、調整条件として取得する。具体的には、制御部２０１が、オートフォーカスに用いるデフォーカス情報を利用して、細分化された領域ごとのデフォーカス量から被写体分布を検出する。なお、デフォーカス情報は、専用に設けられた位相差センサの出力を利用しても良いし、撮像素子１００の視差画素の出力を利用しても良い。視差画素の出力を利用する場合は、画像処理部２０５によって処理された視差画像データを用いることもできる。

　次に、調整条件によって値が決定される立体調整パラメータを利用した視差量の調整について説明する。図１２は、視差量調整の概念を示す図である。

　図１２（ａ）は、図１０（ａ）のうち、コントラスト曲線１６１０を除いた図に対応する。ここでは、焦点を合わせる対象である主要被写体としての合焦被写体の他に、デジタルカメラ１０側である手前側に存在する近点被写体と、反対側である奥側に存在する遠点被写体とが存在する場合を想定している。図１０（ａ）においては、合焦被写体は距離Ｌ_１０に、近点被写体はＬ_２０に、遠点被写体はＬ_３０に存在する。

　調整条件として設定された視差量範囲が－ｍから＋ｍである場合、遠点被写体の距離Ｌ_３０に対する視差量曲線１６２０の値はこの範囲に収まっているので、遠点被写体側に関しては視差量を調整しなくても良い。しかし、近点被写体の距離Ｌ_２０に対する視差量曲線１６２０の値は＋ｍを超えているので、近点被写体の像が視差量＋ｍになるように、全体の視差量を調整する。

　すなわち、合焦被写体に対して手前側に最も離れた位置に存在する被写体（近点被写体）の像の視差量と、奥側に最も離れた被写体位置に存在する被写体（遠点被写体）の像の視差量とが、共に設定された視差量範囲に収まるように、視差量曲線を調整する。より具体的には、設定された視差量範囲から大きく外れた側の被写体像の視差量が当該視差量範囲の限界値になるように視差量曲線を調整すれば良い。図１２（ａ）においては、調整視差量曲線１６３０がこのように調整された視差量曲線である。このように調整すれば、同一シーンを構成する被写体の像の全部が、設定された視差量範囲に収まる。

　図１２（ｂ）は、図１２（ａ）の被写体状況から、合焦被写体が距離Ｌ_１０から奥側の距離Ｌ_１１へ移動した場合の視差量調整の概念を示す図である。この場合、距離Ｌ_１１が焦点位置となるので、移動していない近点被写体（距離Ｌ_２０）の像に対する視差量は、視差量曲線１６２０で示されるように、図１２（ａ）に比べて相当大きくなる。この場合も、図１２（ａ）の場合と同様に、近点被写体の像が視差量＋ｍになるように、全体の視差量を調整する。ただし、その調整量は、図１２（ａ）の場合の調整量に対して大きくなる。その結果、調整視差量曲線１６３０の傾きは水平により近づくので、遠点被写体側の像の視差量はより抑制される。

　図１２（ｃ）は、図１２（ｂ）の被写体状況から、近点被写体が距離Ｌ_２０から奥側の距離Ｌ_２１へ移動した場合の視差量調整の概念を示す図である。この場合、焦点位置は距離Ｌ_１１のままなので視差量曲線１６２０はそのままであるが、近点被写体が奥側にずれたことにより、その調整量は、図１２（ｂ）の場合の調整量に対して小さくなる。

　以上のように、調整量は、上述の調整条件が取得できれば一意に定まる。調整量は、立体調整パラメータＣの値と一対一の関係にあるので、調整値決定部２３２は、調整条件取得部２３１から調整条件を受け取れば、立体調整パラメータＣの値を決定できる。具体的には、図１２に対応するルックアップテーブルが予め用意されており、調整値決定部２３２は、調整条件の各値を入力してルックアップテーブルを参照すると、その入力に対する立体調整パラメータＣの値を抽出、決定することができる。ルックアップテーブルは、事前のシミュレーション、実験等の結果により構築される。あるいは、ルックアップテーブルの形式に依らず、調整条件の各値を変数とする多変数関数が予め用意されていても良い。

　なお、調整条件は上述の条件全てを対象としなくても、一部の条件に限って採用しても良い。例えば、撮影レンズ２０の焦点距離のみを調整条件として、焦点距離と立体調整パラメータＣの値を一対一に対応させたとしても、鑑賞者の違和感、疲労感をある程度軽減できる。

　次に、デジタルカメラ１０の一連の処理フローについて説明する。図１３は、動画撮影における処理フローである。図のフローは、撮影者によりモードボタン２０８２が操作されてオート３Ｄ動画モードが開始された時点から始まる。なお、視差量範囲は、事前に撮影者により設定されている。

　オート３Ｄ動画モードが開始されると、調整条件取得部２３１は、ステップＳ１１で、撮影者が設定した視差量範囲をシステムメモリから取得する。視差量範囲以外にも調整条件として撮影者から指示を受けていた場合には、それらの調整条件も併せて取得する。

　制御部２０１は、ステップＳ１２で、撮影者が録画開始ボタンを押下げる録画開始指示を待つ。録画開始指示を検出すると（ステップＳ１２のＹＥＳ）、制御部２０１は、ステップＳ１３へ進み、ＡＦ、ＡＥを実行する。そして、制御部２０１は、ステップＳ１４で、駆動部２０４を介して撮像素子１００の電荷蓄積、読み出しを実行し、１フレームとしての撮影画像データを取得する。なお、制御部２０１は、この間、ステップＳ１３の検出結果に応じてフォーカスレンズ駆動、絞り２２の駆動を継続していても良い。

　調整条件取得部２３１は、ステップＳ１５で、ステップＳ１４の撮影画像データ取得に伴う調整条件を取得する。なお、調整条件の種類によっては、ステップＳ１４に先立って、あるいは、並行して取得を実行しても良い。

　ステップＳ１６へ進み、調整条件取得部２３１は、取得した調整条件を調整値決定部２３２へ引き渡し、調整値決定部２３２は、受け取った調整条件を引数としてルックアップテーブルを参照し、立体調整パラメータＣの値を決定する。

　ステップＳ１７では、算出部２３３は、調整値決定部２３２が決定した立体調整パラメータＣの値と撮影画像データとを受け取り、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）を生成する。具体的な処理は後述する。

　制御部２０１は、ステップＳ１８で、撮影者から録画停止指示を受けていないと判断すればステップＳ１３へ戻り次のフレーム処理を実行する。録画停止指示を受けたと判断すればステップＳ１９へ進む。

　ステップＳ１９では、動画生成部２３４は、連続的に生成された左側視点のカラー画像データと右側視点のカラー画像データを繋ぎ合わせ、Ｂｌｕ－ｒａｙ３Ｄなどの３Ｄ対応動画フォーマットに従ってフォーマット処理を実行し、動画ファイルを生成する。そして、制御部２０１は、生成された動画ファイルを、メモリカードＩＦ２０７を介してメモリカード２２０へ記録し、一連のフローを終了する。なお、メモリカード２２０への記録は、左側視点のカラー画像データと右側視点のカラー画像データの生成に同期して逐次実行し、録画停止指示に同期してファイル終端処理を実行しても良い。また、制御部２０１は、メモリカード２２０へ記録するに限らず、例えばＬＡＮを介して外部機器に出力するように構成しても良い。

　次に、図１３のステップＳ１７の処理について詳細に説明する。図１４は、左側視点のカラー画像データと右側視点のカラー画像データである視差カラー画像データを生成するまでの、ステップＳ１７の処理フローである。

　算出部２３３は、ステップＳ１０１で、撮影画像データを取得する。そして、ステップＳ１０２において、図３を用いて説明したように、撮影画像データを、視差なし画像データと視差画像データにプレーン分離する。算出部２３３は、ステップＳ１０３で、図３を用いて説明したように分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。

　算出部２３３は、ステップＳ１０４で、各変数の初期化を行う。具体的には、まず、カラー変数Ｃｓｅｔに１を代入する。カラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｉとｊに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。

　算出部２３３は、ステップＳ１０５において、Ｃｓｅｔプレーンの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えばＣｓｅｔ＝１で、対象画素位置が（１，１）である場合、抽出する画素値は、Ｒｎ_１１である。さらに、算出部２３３は、ステップＳ１０６において、Ｌｔ_Ｃｓｅｔプレーンデータ、Ｒｔ_Ｃｓｅｔプレーンデータの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えば対象画素位置が（１，１）である場合、抽出する画素値は、Ｌｔ_{Ｃｓｅｔ１１}とＲｔ_{Ｃｓｅｔ１１}である。

　算出部は、ステップＳ１０７において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＲＬｔ_Ｃ１１を算出する。具体的には、例えば、上述の式（１）により算出する。ここで、立体調整パラメータＣは、ステップＳ１６で決定された値である。

　算出部２３３は、ステップＳ１０８で、視差変数Ｓをインクリメントする。そして、ステップＳ１０９で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１０７へ戻る。超えていればステップＳ１１０へ進む。

　算出部２３３は、ステップＳ１１０で、視差変数Ｓに１を代入すると共に、座標変数ｉをインクリメントする。そして、ステップＳ１１１で、座標変数ｉがｉ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１２へ進む。

　算出部２３３は、ステップＳ１１２で、座標変数ｉに１を代入すると共に、座標変数ｊをインクリメントする。そして、ステップＳ１１３で、座標変数ｊがｊ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１４へ進む。

　ステップＳ１１４まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、算出部２３３は、これらの画素値を並べて、プレーン画像データを生成する。例えばＣｓｅｔ＝１である場合、ＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータを生成する。

　ステップＳ１１５ヘ進み、算出部２３３は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１６で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）の全てが揃ったとして、図１３のフローに戻る。

　次に、図２を用いて説明した開口マスクの好ましい開口形状について説明する。図１５は、好ましい開口形状を説明する図である。

　視差Ｌｔ画素の開口部１０５、および視差Ｒｔ画素の開口部１０６は、それぞれ対応する画素に対して中心を含んで互いに反対方向に偏位していることが好ましい。具体的には、開口部１０５および１０６のそれぞれが、画素中心を通る仮想的な中心線３２２と接する形状であるか、あるいは、中心線３２２を跨ぐ形状であることが好ましい。

　特に、図示するように、開口部１０５の形状と開口部１０６の形状は、視差なし画素の開口部１０４の形状を中心線３２２で分割したそれぞれの形状と同一であることが好ましい。別言すれば、開口部１０４の形状は、開口部１０５の形状と開口部１０６の形状を隣接させた形状に等しいことが好ましい。

　以上の説明においては、算出部２３３が用いる計算式は、加重相加平均を利用した上記式（１）（２）を採用したが、これに限らず様々な計算式を採用することができる。例えば、加重相乗平均を利用すれば、上記式（１）（２）と同様に表して、

　を計算式として採用できる。この場合、維持されるぼけ量が、視差なし画素の出力によるぼけ量ではなく、視差画素の出力によるぼけ量となる。

　また、他の計算式としては、上記式（１）（２）と同様に表して、

　を採用しても良い。この場合、ＧＬｔ_ｃｍｎ、ＧＲｔ_ｃｍｎ、ＢＬｔ_ｃｍｎ、ＢＲｔ_ｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。

　さらには、

　を採用しても良い。この場合も、ＧＬｔ_ｃｍｎ、ＧＲｔ_ｃｍｎ、ＢＬｔ_ｃｍｎ、ＢＲｔ_ｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。

　次に表示装置との連携について説明する。図１６は、デジタルカメラ１０とＴＶモニタ８０との連携を説明する図である。ＴＶモニタ８０は、例えば液晶から構成される表示部４０、デジタルカメラ１０から取り出されたメモリカード２２０を受容するメモリカードＩＦ８１、鑑賞者が手元で操作するリモコン８２等により構成されている。ＴＶモニタ８０は３Ｄ画像の表示に対応している。３Ｄ画像の表示形式は、特に限定されない。例えば、右目用画像と左目用画像を時分割で表示しても良いし、水平方向または垂直方向に短冊状にそれぞれが並んだインターレースであっても良い。また、画面の一方側と他方側に並ぶサイドバイサイド形式であっても良い。

　ＴＶモニタ８０は、左側視点のカラー画像データと右側視点のカラー画像データを含んでフォーマット化された動画ファイルをデコードして、３Ｄ画像を表示部４０に表示する。この場合、ＴＶモニタ８０は、規格化された動画ファイルを表示する一般的な表示装置としての機能を担う。しかしながら、ＴＶモニタ８０は、図１を用いて説明した制御部２０１の機能の少なくとも一部、および画像処理部２０５の少なくとも一部の機能を担う画像処理装置として機能させることもできる。具体的には、図１で説明した調整条件取得部２３１と、調整値決定部２３２、算出部２３３，動画生成部２３４を包含する画像処理部とをＴＶモニタ８０に組み込む。このように構成することにより、上述の実施形態におけるデジタルカメラ１０とＴＶモニタ８０の組み合わせによる機能分担とは異なる機能分担を実現することができる。以下にその変形例を説明する。

　変形例においては、視差量を立体調整パラメータによって調整した調整画像データの生成処理を、デジタルカメラ１０側ではなく、ＴＶモニタ８０側に担わせる。したがって、デジタルカメラ１０は、図１の構成に対して調整値決定部２３２と算出部２３３を備えなくて良い。その代わり、調整条件取得部２３１は、取得した調整条件を動画生成部２３４へ引き渡し、動画生成部２３４は、画像処理部２０５によって生成された撮影画像データを動画ファイル化しつつ、対応するフレームに受け取った調整条件を関連付ける。関連付けは、タグ情報として動画ファイル内に記述しても良いし、調整条件を記録した関連ファイルを生成し、動画ファイル内に当該関連ファイルへのリンク情報を記述しても良い。

　具体的に変形例におけるデジタルカメラ１０の処理動作について説明する。図１７は、変形例としてのデジタルカメラ１０の動画撮影における処理フローである。図１３の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。

　ステップＳ２１では、調整条件取得部２３１は、取得した調整条件を動画生成部２３４へ引き渡し、動画生成部２３４は、ステップＳ１４で生成した撮影画像データに当該調整条件を関連付ける。

　ステップＳ１９では、連続的に生成され、調整条件が各々に関連付けられた撮影画像データを繋ぎ合わせて動画ファイル化を実行する。なお、動画ファイルは、連続するフレームの撮影画像データとして基準画像データと左右視点の視差画像データを包含すれば、図３を用いて説明したいずれの段階のデータであっても良い。すなわち、分離処理、補間処理、プレーンデータ処理は、デジタルカメラ１０の処理としてステップＳ１４で行っても良いし、一部または全部を画像処理装置としてのＴＶモニタ８０で行っても良い。そして、制御部２０１は、生成された動画ファイルをメモリカード２２０へ出力して、一連のフローを終了する。

　次に、変形例におけるＴＶモニタ８０の処理動作について説明する。図１８は、変形例としてのＴＶモニタ８０の動画再生における処理フローである。図１３の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。ただし、ＴＶモニタ８０は、調整条件取得部２３１を包含する制御部と、調整値決定部２３２、算出部２３３，動画生成部２３４を包含する画像処理部を備える。制御部は、図１を用いて説明した制御部２０１に対応し、画像処理部は、同じく画像処理部２０５に対応する。

　制御部は、３Ｄ画像の再生指示を検出すると、ステップＳ３１で、メモリカードＩＦ８１を介して取得された動画ファイルをデコードして、撮影画像データから各プレーンデータを取得する。続いて、ステップＳ３２で、各撮影画像データに関連付けられている調整条件を読み出して取得する。なお、ステップＳ３１の各プレーンデータの取得処理と、ステップＳ３２の調整条件の取得処理は、いずれを先に実行しても良いし、並行して実行しても良い。

　そして、調整値決定部２３２は、ステップＳ１６で、立体調整パラメータＣの値を決定し、算出部２３３および動画生成部２３４は、ステップＳ１７で、視差量が調整された左右のプレーン画像データを生成する。

　ステップＳ３２へ進み、制御部は、生成された左右のプレーン画像データによる３Ｄ画像を表示部４０に表示する。そして、制御部は、ステップＳ３４で、鑑賞者から再生停止の指示があったか、あるいは、再生すべき画像データが終了したかを判断し、いずれにも該当しない場合には、ステップＳ３１へ戻って、次のフレームの再生処理を開始する。一方、いずれかに該当する場合には、一連の再生処理を終了する。

　上記の変形例においては、すべての調整条件は撮影時においてデジタルカメラ１０で取得され、撮影画像データに関連付けられたが、鑑賞者が、ＴＶモニタ８０での再生時に、一部の調整条件を入力できるように構成しても良い。例えば、鑑賞者は、リモコン８２を操作して、視差量範囲を入力できる。ＴＶモニタ８０の調整条件取得部２３１は、入力された視差量範囲を調整条件として取得し、調整値決定部２３２は、この視差量範囲に従って立体調整パラメータＣの値を決定する。このように構成すれば、ＴＶモニタ８０は、鑑賞者ごとの好みに応じた３Ｄ画像を表示することができる。

　以上説明した本実施形態においては、調整条件は、フレーム単位である各撮影画像データに関連付けられたが、調整条件と撮影画像データの対応関係はこれに限らない。例えば、複数のフレーム単位、予め定められた時間単位で１つの調整条件を共有することができる。また、光学系の設定条件が変更された時、被写体状況が変化した時などを更新タイミングとして調整条件を複数の撮影画像データで共有しても良い。

　また、以上の本実施形態においては、図１２を用いて説明したように、近点被写体および遠点被写体が設定された視差量範囲に収まるように視差量曲線１６２０を調整したが、視差量を調整する基準は、これに限らない。例えば、フレーム全体における各画素の視差量を積分して累積視差量を算出する。累積視差量がプラスであれば、全体的に飛び出す画像となっているので、予め定められた基準値よりも大きい場合には、立体調整パラメータを用いて視差量を減じた調整視差画像データを生成する。累積視差量がマイナスであれば、プラスの場合と同様に処理しても良いし、違和感が比較的小さなマイナス側については、立体調整パラメータを用いずに、そのまま視差画像データを生成しても良い。

　このように累積視差量で評価する場合、画像を複数の領域に細分化して、それぞれで累積値を算出し評価するようにしても良い。このように評価すれば、突出した視差量を有する領域が存在する場合でも、視差量を減ずることができる。

　また、累積視差量の変化量を基準に評価することもできる。例えば、撮影シーンが変更された場合に累積視差量が急激に変化することがあるが、許容変化量として予め基準値を設けておけば、当該許容変化量を超えた場合に視差量を減ずることができる。この場合、本来許容される視差量範囲まで視差量を徐々に増加させる処理を行っても良い。

　また、以上の本実施形態においては動画撮影を前提として説明したが、取得した調整条件に基づいて視差量を調整した視差画像データを出力する構成は、もちろん静止画撮影についても適用できる。このように撮影された静止画像は、左右の画像間に極端な視差を生じさせず、鑑賞者に違和感を与えない。

　また、以上の本実施形態においてはＴＶモニタ８０を画像処理装置の一例として説明したが、画像処理装置はさまざまな形態を採り得る。例えば、ＰＣ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。

　以上の本実施形態において説明した各処理フローは、制御部を制御する制御プログラムによって実行される。制御プログラムは、内蔵する不揮発性メモリに記録されており、適宜ワークメモリに展開されて各処理を実行する。あるいは、サーバに記録された制御プログラムが、ネットワークを介して各装置に送信され、ワークメモリに展開されて各処理を実行する。または、サーバに記録された制御プログラムがサーバ上で実行され、各装置は、ネットワークを介して送信されてくる制御信号に即して処理を実行する。

　以上の本実施形態においては、撮像素子１００が視差なし画素を含み、撮影画像データは、基準画像データを含む構成について説明した。しかし、撮像素子１００が視差なし画素を含まず、よって撮影画像データが視差画像データのみから成る構成であっても良い。この場合、視差画像データから、立体調整パラメータを用いて視差量を減じた調整視差画像データを生成する。また、撮像素子１００が視差なし画素を含んでいたとしても、視差画像データのみを用いて調整視差画像データを生成しても良い。

　より具体的には、右視差画像データの被写体像が基準となる仮想の被写体像に対して第１方向に第１視差を有するとし、左視差画像データの被写体像が当該仮想の被写体像に対して第１方向とは反対の他方向に第２視差を有するとする。すなわち、右視差画像データの被写体像と、左視差画像データの被写体像は、互いに第１視差＋第２視差の視差を有する。このとき、画像処理部は、調整視差画像データとして、調整条件を用いて、一方向に第１視差とは異なる第３視差を有する調整された右視差画像データと、他方向に第２視差とは異なる第４視差を有する調整された左視差画像データを生成する。

　＜第２の実施形態＞
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

　図１９は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１９の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１９では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸２１を中心として同心状に入射光束を制限する絞り２２が配置されている。

　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。

　制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連の撮像制御を管理する。

　また、制御部２０１は、奥行情報検出部２３５および決定部２３６を包含する。奥行情報検出部２３５は、シーンに対して奥行き方向の被写体分布を検出する。具体的には、制御部２０１が、オートフォーカスに用いるデフォーカス情報を利用して、細分化された領域ごとのデフォーカス量から被写体分布を検出する。なお、デフォーカス情報は、専用に設けられた位相差センサの出力を利用しても良いし、撮像素子１００の視差画素の出力を利用しても良い。視差画素の出力を利用する場合は、画像処理部２０５によって処理された視差画像データを用いることもできる。あるいは、デフォーカス情報を利用しなくても、フォーカスレンズを進退させ、細分化された領域ごとにコントラストＡＦ方式によるＡＦ評価値を算出しても被写体分布を検出することができる。

　決定部２３６は、奥行情報検出部２３５が検出した被写体分布に基づいて視差量に関する変更条件を決定する。詳しくは後述するが、決定部２３６は、出力視差画像間の視差量がターゲットとする視差量に収まるように、例えば撮影条件としての絞り値を決定する。この場合、視差量に関する変更条件は、絞り２２とその開口度合いを表す絞り値である。

　画像処理部２０５は、上述の通り、撮像素子１００から出力される画像信号を処理して撮影画像データを生成する。また、画像処理部２０５は、算出部２３３および動画生成部２３４を包含する。算出部２３３は、後述する立体調整パラメータを利用して視差量を調整する場合に、画像処理により新たな視差画像データを生成する。動画生成部２３４は、視差画像データを繋ぎ合わせて、３Ｄの動画ファイルを生成する。

　操作部２０８は、ユーザの操作を受け付けて制御部２０１へ指示を伝達する受付部の一部として機能する。操作部２０８は、撮影開始指示を受け付けるシャッタボタン等、複数の操作部材を含む。

　第２の実施形態における説明は、第１の実施形態と多くを共有する。具体的には、第１の実施形態における図２から図９の説明についてである。したがって、これらの説明を省略し、さらに異なる部分を含む説明を続ける。

　図２０は、画像の鮮鋭度を示すコントラストと視差量の関係を模式的に示す図である。横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。デジタルカメラ１０は、距離Ｌ_ｐに位置する主要被写体に焦点を合わせている。

　コントラスト曲線１６１０は、焦点位置までの距離である距離Ｌ_ｐで最も高い凸状の曲線を成す。すなわち、距離Ｌ_ｐから前後に離れるにつれて徐々にぼけていく様子を示す。

　視差量曲線１６２０は、距離Ｌ_ｐにおいて視差量０を示し、距離Ｌ_ｐよりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌ_ｐより手前側で正の値を示し、より近い被写体ほど大きく浮き上がって視認されることを表している。

　他方、視差量曲線１６２０は、距離Ｌ_ｐよりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌ_ｐより奥側で負の値を示し、より遠い被写体ほど緩やかに沈み込んで視認されることを表している。

　視差量が－ｍから＋ｍの範囲に含まれる場合に鑑賞者が違和感、疲労感を覚えないとすると、シーンを構成する被写体が距離Ｌ_ｆ（このときの視差量は＋ｍ）から距離Ｌ_ｒ（このときの視差量は－ｍ）の間に分布していれば良い。すなわち、デジタルカメラ１０から最も近い近点被写体が距離Ｌ_ｆに存在し、最も遠い遠点被写体が距離Ｌ_ｒに存在すれば、後段の画像処理で視差量を調整しなくても、鑑賞者は心地よく３Ｄ映像を鑑賞できる。一方、近点被写体が距離Ｌ_ｆよりも手前の距離Ｌ_ｆ'（このときの視差量は＋ｍ'）に存在すると、許容される視差量を超えてしまうので、鑑賞者は違和感、疲労感を覚える。

　さらに被写体分布と視差量の関係について説明を続ける。図２１は、被写体分布と視差量の関係を模式的に示す図である。

　図２１の各図は、図２０のうち、コントラスト曲線１６１０を除いた図に対応する。また、焦点を合わせる対象である主要被写体としての合焦被写体の他に、近点被写体と遠点被写体とが存在する場合を想定している。図２１（ａ）においては、合焦被写体は距離Ｌ_１０に、近点被写体はＬ_２０に、遠点被写体はＬ_３０に存在する。

　許容範囲として設定された視差量範囲が－ｍから＋ｍである場合、遠点被写体の距離Ｌ_３０に対する視差量曲線１６２０の値はこの範囲に収まっている。しかし、近点被写体の距離Ｌ_２０に対する視差量曲線１６２０の値は＋ｍを超えている。

　図２１（ｂ）は、図２１（ａ）の被写体状況から、合焦被写体が距離Ｌ_１０から奥側の距離Ｌ_１１へ移動した場合の視差量の概念を示す図である。この場合、距離Ｌ_１１が焦点位置となるので、移動していない近点被写体（距離Ｌ_２０）の像に対する視差量は、視差量曲線１６２０で示されるように、図２２（ａ）に比べて相当大きくなる。すなわち、許容範囲からの超過量が大きくなる。

　図２１（ｃ）は、図２１（ｂ）の被写体状況から、近点被写体が距離Ｌ_２０から奥側の距離Ｌ_２１へ、さらには距離Ｌ_２２へ移動した場合の視差量の概念を示す図である。焦点位置は距離Ｌ_１１のままなので視差量曲線１６２０は図２１（ｂ）と同じ曲線を描くが、近点被写体が奥側にずれたことにより、距離Ｌ_２１の時点での視差量は、許容範囲を超えているものの、その超過量は、図２１（ｂ）の超過量よりも小さくなる。さらに距離Ｌ_２２まで移動すれば、その視差量は許容範囲に収まる。

　すなわち、シーンに対する奥行き方向の被写体分布と、焦点を合わせる被写体の位置は、設定された許容範囲に視差量が収まるか否かを決定するパラメータであると言える。

　次に、絞り値と視差量の関係について説明する。図２２は、絞り値と視差量の関係を模式的に示す図である。図２０と同様に、横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。また、図２２（ａ）は、絞り値がＦ１．４の状態を表し、図２２（ｂ）は、絞り値がＦ４の状態を表し、図２２（ｃ）は、絞り値がＦ８の状態を表す。なお、撮影レンズ２０の焦点距離はいずれの状態においても同一であり、また、デジタルカメラ１０は、距離Ｌ_１０に位置する主要被写体に焦点を合わせている。

　コントラスト曲線１６１０は、いずれの状態においても焦点位置までの距離である距離Ｌ_１０で最も高い。一方で、絞り２２を絞るほど、すなわち絞り値が大きくなるほど焦点距離前後でも比較的高い値を示す。すなわち、絞り２２を絞った状態で撮影された画像ほど被写界深度が深くなることを示す。視差量曲線１６２０は、距離Ｌ_１０において視差量０を示し、距離Ｌ_１０よりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。他方、視差量曲線１６２０は、距離Ｌ_１０よりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。

　視差量曲線１６２０は、絞り値が大きくなるほど、その変化がなだらかになる。すなわち、絞り値がＦ１．４の場合に比べ、Ｆ４、Ｆ８と推移するに従い、焦点位置より手前の視差量および奥の視差量が小さくなる。視差量が－ｍから＋ｍの範囲に含まれる場合に鑑賞者が違和感、疲労感を覚えないとすると、絞り値がＦ８の場合であれば視差量曲線１６２０の全体がこの範囲に収まっているので、いずれの距離に被写体が存在しても鑑賞者は心地よく３Ｄ映像を鑑賞できる。

　一方、絞り値がＦ１．４およびＦ４の場合では、視差量は、視差量曲線１６２０の近距離側で＋ｍを超えている。具体的には、Ｆ１．４の場合で、距離Ｌ_２４よりも手前の領域で＋ｍを超えており、Ｆ４の場合で、距離Ｌ_２５よりも手前の領域で＋ｍを超えている。この場合、Ｆ４における視差量曲線１６２０の傾きの方が、Ｆ１．８における視差量曲線１６２０傾きよりも緩やかであるので、Ｌ_２５＜Ｌ_２４の関係が成り立つ。これらの絞り値において、距離Ｌ_２４または距離Ｌ_２５よりも近距離に被写体が存在すれば、撮影された３Ｄ映像の鑑賞時において、鑑賞者は違和感、疲労感を覚える。

　そこで、本実施形態においては、生成される画像間の視差量がターゲットとする視差量（許容視差量：例えば±ｍの範囲）に収まるように、視差量に影響を与える撮像条件を変更したり、画像処理に用いる立体調整パラメータを変更したりする。

　まず、撮像条件の変更について説明する。図２２を用いて説明したように絞り値が視差量に影響を与えるので、出力視差画像間の視差量が許容視差量に収まるように、検出した被写体分布に応じて絞り値を変更すると良い。例えば図２２（ａ）の状況（初期絞り値がＦ１．４、合焦被写体が距離Ｌ_１０）において、近点被写体が距離Ｌ_２５に存在すると、その視差量は＋ｍを超えてしまう。そこで、決定部２３６は、絞り値をＦ１．４から、距離Ｌ_２５における被写体に対する視差量が＋ｍとなる絞り値であるＦ４に変更する。

　近点被写体が許容視差量の範囲を超える場合に限らず、遠点被写体が許容視差量の範囲を超える場合でも、絞り値を大きな値に変更する。なお、近点被写体および遠点被写体の視差量が、許容視差量に対して余裕がある場合には、絞り値を小さな値、すなわち絞り２２を開く方向に変更しても良い。この場合、シャッタ速度を高速側に変更したり、ＩＳＯ感度を低感度側に変更したりすることができる。

　各絞り値に対する合焦被写体距離と視差量曲線１６２０の関係は、ルックアップテーブルとして予め用意されている。決定部２３６は、被写体分布と許容視差量を入力値として当該ルックアップテーブルを参照すれば、変更すべき絞り値を抽出、決定することができる。

　撮像条件の変更として、絞り値を変更する以外にも、フォーカス位置を変更するフォーカスシフトの手法がある。図２３は、フォーカスシフトの概念を模式的に示す図である。縦軸および横軸は、図２０と同様である。

　コントラスト曲線１６１０と視差量曲線１６２０は、合焦被写体が距離Ｌ_１０に存在し、フォーカスレンズを移動させてこの被写体に焦点を合わせたときのコントラスト曲線と視差量曲線を表す。この場合、コントラスト曲線１６１０のピーク値は、合焦と評価される合焦閾値Ｅ_ｓを上回っている。

　近点被写体が距離Ｌ_２７の位置に存在すると、その視差量は、視差量曲線１６２０を参照すると＋ｍ_０であり、許容視差量＋ｍを超えている。そこで、フォーカスシフトにおいては、合焦閾値Ｅ_ｓを上回る範囲でフォーカスレンズ位置を修正し、距離Ｌ_２７における視差量を許容範囲に収める。

　図の例の場合、近点被写体に対する視差量が＋ｍとなる視差量曲線１６２１を選択し、この視差量曲線１６２１において視差量が０となる距離Ｌ_ｐを抽出する。そして、フォーカスレンズ位置を変更して、距離Ｌ_ｐを合焦位置とする。コントラスト曲線１６１１は、このときのコントラスト曲線である。実際には距離Ｌ_１０に被写体が存在するので、当該被写体に対するコントラスト値は、図示するようにΔｅだけ低下する。このときのコントラスト値が合焦閾値Ｅ_ｓを上回っていれば良い。このようにフォーカスレンズ位置を変更して撮影された画像は、主要被写体に対するコントラスト値は若干低下するものの、画像としては合焦と評価でき、かつ、近点被写体に対する視差量は許容範囲に収まっている。

　距離Ｌ_ｐに対するコントラスト値が合焦閾値Ｅ_ｓを上回っていない場合には、フォーカスレンズ位置の修正は、許容されない。すなわち、視差量曲線１６２０において近点被写体に対する視差量が許容視差量を大きく上回る場合には、合焦閾値Ｅ_ｓを上回る範囲でフォーカスレンズ位置を変更しても、当該視差量を許容範囲に収めることができない。この場合、例えば絞り値を大きな値に変更するなど、他の手法と併用すると良い。

　フォーカスシフトによる視差量調整の場合も、各絞り値に対する合焦被写体距離と視差量曲線の関係として予め用意されているルックアップテーブルを利用すれば良い。決定部２３６は、被写体分布と許容視差量を入力値として当該ルックアップテーブルを参照すれば、距離Ｌ_ｐを抽出、決定できる。制御部２０１は、距離Ｌ_ｐに対応してフォーカスレンズの位置を変更する。制御部２０１は、その結果得られるコントラスト値が合焦閾値Ｅ_ｓを上回るか否かを判断する。上回ると判断すれば、そのまま撮影シーケンスを続行する。上回らないと判断すれば、フォーカスレンズ位置を戻して、他の手法を併用するなどの制御に移行する。あるいは、実際に制御部２０１がフォーカスレンズを移動させることなく、焦点位置がＬ_１０からＬ_ｐへシフトしたときのコントラストの減衰量を決定部２３６が演算し、合焦閾値Ｅ_ｓを上回るか否かを判断しても良い。この場合、例えばコントラストＡＦ方式であれば、距離Ｌ_１０に対するフォーカス調整時の、すでに取得されている実際の評価値を参照することもできる。

　次に、立体調整パラメータの変更について説明する。図２４は、立体調整パラメータを用いた視差量調整の概念を示す図である。図２４（ａ）～（ｃ）の各図は、図２１（ａ）～（ｃ）の各図に対応している。

　図２４（ａ）において設定された視差量範囲が－ｍから＋ｍである場合、遠点被写体の距離Ｌ_３０に対する視差量曲線１６２０の値はこの範囲に収まっているので、遠点被写体側に関しては視差量を調整しなくても良い。しかし、近点被写体の距離Ｌ_２０に対する視差量曲線１６２０の値は＋ｍを超えているので、近点被写体の像が視差量＋ｍになるように、全体の視差量を調整する。

　すなわち、近点被写体の像の視差量と、遠点被写体の像の視差量とが、共に設定された視差量範囲に収まるように、視差量曲線を調整する。より具体的には、設定された視差量範囲から大きく外れた側の被写体像の視差量が当該視差量範囲の限界値になるように視差量曲線を調整すれば良い。図２４（ａ）においては、調整視差量曲線１６３０がこのように調整された視差量曲線である。このように調整すれば、同一シーンを構成する被写体の像の全部が、設定された視差量範囲に収まる。

　図２４（ｂ）の場合も、図２４（ａ）の場合と同様に、近点被写体の像が視差量＋ｍになるように、全体の視差量を調整する。ただし、その調整量は、図２４（ａ）の場合の調整量に対して大きくなる。その結果、調整視差量曲線１６３０の傾きは水平により近づくので、遠点被写体側の像の視差量はより抑制される。

　図２４（ｃ）の場合、焦点位置は距離Ｌ_１１のままなので視差量曲線１６２０は図２４（ｂ）の場合と同一であるが、近点被写体が距離Ｌ_２０から距離Ｌ_２１へ移動したことにより、その調整量は、図２４（ｂ）の場合の調整量に対して小さくなる。さらに近点被写体がＬ_２１からＬ_２２へ移動すれば、その視差量は、調整を施さなくても設定された視差量範囲に収まっている。

　以上のように、視差量曲線１６２０に対する調整量は、シーンに対する奥行き方向の被写体分布と、焦点を合わせる被写体の位置が取得できれば一意に定まる。調整量は、立体調整パラメータＣの値と一対一の関係にあるので、決定部２３６は、奥行情報検出部２３５等からこれらの調整情報を受け取れば、立体調整パラメータＣの値を決定できる。具体的には、図２４に対応するルックアップテーブルが予め用意されており、決定部２３６は、調整情報の各値を入力してルックアップテーブルを参照すると、その入力に対する立体調整パラメータＣの値を抽出、決定することができる。ルックアップテーブルは、事前のシミュレーション、実験等の結果により構築される。あるいは、ルックアップテーブルの形式に依らず、調整情報の各値を変数とする多変数関数が予め用意されていても良い。

　次に許容視差量としての視差量範囲の設定について説明する。図２５は、視差量範囲の制限のメニュー画面を表示するデジタルカメラの背面図である。

　視差量範囲は、上述のように、下限値－ｍ、上限値＋ｍのように設定される。下限値と上限値の絶対値は異なっていても良い。ここでは、視差量を視差画像データにおける視差画像のピクセル単位で表す。

　デジタルカメラ１０には、視差量範囲の制限のメニューとして、例えば、図示するように４つの選択肢が設けられている。具体的には、標準的な鑑賞者が心地よいと感じる範囲がプリセットされた「標準」、標準よりも広い範囲がプリセットされ、より大きな視差量を許容する「強め」、標準よりも狭い範囲がプリセットされ、より小さな視差量しか許容しない「弱め」、および撮影者が上限値、下限値を数値入力する「マニュアル」が設けられている。「マニュアル」を選択した場合には、撮影者は、上限値としての「最大浮き上がり量」と下限値としての「最大沈み込み量」を、ピクセル単位で順次指定することができる。撮影者は、操作部２０８の一部であるダイヤルボタン２０８１を操作することにより、これらの選択、指定を行う。

　図２６は、被写体指定を説明する図である。特に図２６（ａ）は、あるシーンにおけるデジタルカメラ１０から奥行方向の被写体分布を示し、図２６（ｂ）は、そのシーンをライブビューで表示するデジタルカメラ１０の背面図である。

　図２６（ａ）に示すように、シーンは、デジタルカメラ１０から近い順に木３００（距離Ｌ_ｏ）、少女３０１（距離Ｌ_ｆ）、少年３０２（距離Ｌ_ｐ）、女性３０３（距離Ｌ_ｒ）から構成される。

　そして図２６（ｂ）に示すように、このシーンを捉えたライブビュー画像が、表示部２０９に表示されている。ここでは、少年３０２が合焦被写体である。少年３０２が合焦状態である旨を表すＡＦ枠３１０が、少年３０２の像に重畳して表示されている。

　これまでの説明においては、デジタルカメラ１０から最も近い被写体を近点被写体とした。しかし、シーンを構成する被写体は、奥行方向に対して連続的に分布している場合がある。また、シーンに対して相対的に小さい被写体、シーンに対して重要ではない被写体も存在する。したがって、必ずしもシーンにおいて最も近い被写体を近点被写体として扱わなくても良い。例えば、図２６（ａ）のシーンにおいては、３人の人物が主な被写体であり、鑑賞時において鑑賞者はこの３人を注視することが想定される。したがって、視差量が調整されるべき被写体像はこれら３人の像であり、他の被写体像は除外して良い。そこで、制御部２０１は、いずれの被写体に対して視差量を調整すべきか、撮影者の指示を受け付ける。

　表示部２０９には、ユーザ指示を受け付ける状態であることを示す、タイトル３２０（例えば「近点被写体を選択して下さい」）が表示されている。この状態において、ユーザは、近点被写体としたい被写体像をタッチする（図では少女３０１）。表示部２０９には操作部２０８の一部としてタッチパネル２０８３が重ねて設けられており、制御部２０１は、タッチパネル２０８３の出力を取得して、いずれの被写体を近点被写体とするかを決定する。この場合、指定された被写体よりも手前の被写体（図では木３００）は、被写体分布の検出対象から除外する。なお、近点被写体に限らず、遠点被写体も同様に指示を受け付けて良い。

　奥行情報検出部２３５は、このようにユーザ指示により指定された被写体（近点被写体から遠点被写体までの被写体）を被写体分布の検出対象とする。なお、動画撮影、コンティニュアス撮影等において、撮影画像データを連続的に生成する場合には、撮影開始時に受け付けた被写体を被写体追従により追跡して、刻々と変化する距離Ｌ_ｆ、Ｌ_ｐ、Ｌ_ｒを取得しても良い。

　次にデジタルカメラ１０の動画撮影における処理フローについて説明する。上述のように、生成される画像間の視差量が許容視差量に収まるようにするには、視差量に影響を与える撮像条件を変更する場合と、画像処理に用いる立体調整パラメータを変更する場合がある。両者を併用することもできるが、以下の実施例においては、これらの処理を分けて説明する。

　＜第１実施例＞
　第１実施例として、視差量に影響を与える撮像条件を変更する動画撮影の処理フローを説明する。図２７は、第１実施例に係る動画撮影における処理フローである。図のフローは、撮影者によりモードボタン２０８２が操作されてオート３Ｄ動画モードが開始された時点から始まる。なお、視差量範囲は、事前に撮影者により設定されている。

　オート３Ｄ動画モードが開始されると、決定部２３６は、ステップＳ１１で、撮影者が設定した視差量範囲をシステムメモリから取得する。制御部２０１は、ステップＳ１２で、ＡＦ、ＡＥを実行する。ステップＳ１３へ進み、制御部２０１は、例えば図２６を用いて説明したように、タッチパネル２０８３を介して対象とする被写体指定をユーザから受け付ける。ステップＳ１４へ進み、奥行情報検出部２３５は、ステップＳ１３で指定を受けた被写体に対して、例えばステップＳ１２のＡＦ動作に伴って検出された位相差情報から、奥行方向の被写体分布を検出する。

　制御部２０１は、ステップＳ１５で、撮影者が録画開始ボタンを押下げる録画開始指示を待つ。録画開始指示を検出すると（ステップＳ１５のＹＥＳ）、制御部２０１は、ステップＳ１６へ進む。指示を検出しない場合は、ステップＳ１２へ戻る。なお、ステップＳ１２へ戻った後においては、指定された被写体の追従を行い、ステップＳ１３、Ｓ１４の処理をスキップしても良い。

　ステップＳ１６において決定部２３６は、撮影条件を変更する。具体的には、図２２を用いて説明したように絞り値を変更したり、図２３を用いて説明したようにフォーカスレンズ位置を変更したりする。この他にも、視差量に影響を与える撮像条件を、設定された視差量範囲に収まるように変更しても良い。例えば、撮影レンズ２０がズームレンズであれば焦点距離を変更することもできる。

　ステップＳ１７へ進み、制御部２０１は、変更された撮像条件に従って、再びＡＦ，ＡＥを実行する。そして、制御部２０１は、ステップＳ１８で、駆動部２０４を介して撮像素子１００の電荷蓄積、読み出しを実行し、１フレームとしての撮影画像データを取得する。ここで取得された撮影画像データにおける視差画像間の視差量は、設定された視差量に収まっている。

　ステップＳ１９では、動画撮影中に対象とする被写体を撮影者が変更したいと考えた場合のために、制御部２０１は、対象とする被写体指定をユーザから受け付ける。そして、ステップＳ２０へ進み、奥行情報検出部２３５は、奥行方向の被写体分布を検出する。なお、ステップＳ１９の処理はスキップしても良い。この場合、ステップＳ１３の被写体指定をそのまま維持することになるので、ステップＳ２０の処理は、ステップＳ１７のＡＦ、ＡＥ処理に応じた、対象被写体の被写体追従を実現する処理と言える。

　制御部２０１は、ステップＳ２１で、撮影者から録画停止指示を受けていないと判断すればステップＳ１６へ戻り次のフレーム処理を実行する。録画停止指示を受けたと判断すればステップＳ２２へ進む。

　ステップＳ２２では、動画生成部２３４は、連続的に生成された左側視点のカラー画像データと右側視点のカラー画像データを繋ぎ合わせ、Ｂｌｕ－ｒａｙ３Ｄなどの３Ｄ対応動画フォーマットに従ってフォーマット処理を実行し、動画ファイルを生成する。そして、制御部２０１は、生成された動画ファイルを、メモリカードＩＦ２０７を介してメモリカード２２０へ記録し、一連のフローを終了する。なお、メモリカード２２０への記録は、左側視点のカラー画像データと右側視点のカラー画像データの生成に同期して逐次実行し、録画停止指示に同期してファイル終端処理を実行しても良い。また、制御部２０１は、メモリカード２２０へ記録するに限らず、例えばＬＡＮを介して外部機器に出力するように構成しても良い。

　なお、動画生成部２３４は、算出部２３３に、上述の式（１）、式（２）の立体調整パラメータＣの値を１とする画像処理を実行させて、高精細な左側視点のカラー画像データと右側視点のカラー画像データを生成しても良い。

　＜第２実施例＞
　第２実施例として、画像処理に用いる立体調整パラメータを変更する動画撮影の処理フローを説明する。図２８は、第２実施例に係る動画撮影における処理フローである。図２７の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。

　本フローにおいては、図２７のフローにおけるステップＳ１６が存在しない。ステップＳ１５で録画ＯＮの指示を受けると、制御部２０１は、ステップＳ１７では、視差量調整のための撮影条件変更を行うことなく、ＡＦ、ＡＥを実行する。そしてステップＳ１８で撮影画像データを取得する。ここで取得された撮影画像データにおける視差画像間の視差量は、被写体分布および撮影条件によっては、設定された視差量に収まっていない。

　決定部２３６は、ステップＳ３１で、図２４を用いて説明した調整情報を取得し、ステップＳ３２で、受け取った調整情報を引数としてルックアップテーブルを参照し、立体調整パラメータＣの値を決定する。

　ステップＳ３３では、算出部２３３は、決定部２３６が決定した立体調整パラメータＣの値と撮影画像データとを受け取り、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）を生成する。具体的な処理を次に述べる。

　図２９は、左側視点のカラー画像データと右側視点のカラー画像データである視差カラー画像データを生成するまでの、ステップＳ３３の処理フローである。

　算出部は、ステップＳ１０７において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＲＬｔ_Ｃ１１を算出する。具体的には、例えば、上述の式（１）により算出する。ここで、立体調整パラメータＣは、ステップＳ３２で決定された値である。

　ステップＳ１１５ヘ進み、算出部２３３は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１６で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）の全てが揃ったとして、図２８のフローに戻る。

　次に、図２を用いて説明した開口マスクの好ましい開口形状について説明する。図３０は、好ましい開口形状を説明する図である。

　以上の説明においては、算出部２３３が用いる計算式は、加重相加平均を利用した上記式（１）（２）を採用したが、これに限らず様々な計算式を採用することができる。例えば、加重相乗平均を利用すれば、上記式（１）（２）と同様に表して、上記式（３）（４）を計算式として採用できる。この場合、維持されるぼけ量が、視差なし画素の出力によるぼけ量ではなく、視差画素の出力によるぼけ量となる。

　また、他の計算式としては、上記式（１）（２）と同様に表して、上記式（５）（６）を採用しても良い。この場合、ＧＬｔ_ｃｍｎ、ＧＲｔ_ｃｍｎ、ＢＬｔ_ｃｍｎ、ＢＲｔ_ｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。

　さらには、上記式（７）（８）を採用しても良い。この場合も、ＧＬｔ_ｃｍｎ、ＧＲｔ_ｃｍｎ、ＢＬｔ_ｃｍｎ、ＢＲｔ_ｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。

　次に表示装置との連携について説明する。図３１は、デジタルカメラ１０とＴＶモニタ８０との連携を説明する図である。ＴＶモニタ８０は、例えば液晶から構成される表示部４０、デジタルカメラ１０から取り出されたメモリカード２２０を受容するメモリカードＩＦ８１、鑑賞者が手元で操作するリモコン８２等により構成されている。ＴＶモニタ８０は３Ｄ画像の表示に対応している。３Ｄ画像の表示形式は、特に限定されない。例えば、右目用画像と左目用画像を時分割で表示しても良いし、水平方向または垂直方向に短冊状にそれぞれが並んだインターレースであっても良い。また、画面の一方側と他方側に並ぶサイドバイサイド形式であっても良い。

　ＴＶモニタ８０は、左側視点のカラー画像データと右側視点のカラー画像データを含んでフォーマット化された動画ファイルをデコードして、３Ｄ画像を表示部４０に表示する。この場合、ＴＶモニタ８０は、規格化された動画ファイルを表示する一般的な表示装置としての機能を担う。

　しかしながら、ＴＶモニタ８０は、図１を用いて説明した制御部２０１の機能の少なくとも一部、および画像処理部２０５の少なくとも一部の機能を担う画像処理装置として機能させることもできる。具体的には、図１で説明した決定部２３６と、算出部２３３，動画生成部２３４を包含する画像処理部とをＴＶモニタ８０に組み込む。このように構成することにより、実施例２におけるデジタルカメラ１０とＴＶモニタ８０の組み合わせによる機能分担とは異なる機能分担を実現することができる。

　具体的には、デジタルカメラ１０は、立体調整パラメータによる画像処理を実行せず、奥行情報検出部２３５が検出した奥行情報を、生成した撮影画像データに関連付ける。そして、ＴＶモニタ８０は、画像処理装置として、関連付けられた奥行情報を参照して立体調整パラメータＣの値を決定し、取得した画像データに対して立体調整パラメータを用いた画像処理を実行する。ＴＶモニタ８０は、このように視差量が調整された３Ｄ画像を表示部４０に表示する。

　上記の変形例においては、鑑賞者が、ＴＶモニタ８０での再生時に、一部の調整情報を入力できるように構成しても良い。例えば、鑑賞者は、リモコン８２を操作して、視差量範囲を入力できる。ＴＶモニタ８０は、入力された視差量範囲を調整情報として取得し、決定部２３６は、この視差量範囲に従って立体調整パラメータＣの値を決定する。このように構成すれば、ＴＶモニタ８０は、鑑賞者ごとの好みに応じた３Ｄ画像を表示することができる。

　なお、ＴＶモニタ８０を画像処理装置の一例として説明したが、画像処理装置はさまざまな形態を採り得る。例えば、ＰＣ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。

　以上の本実施形態においては動画撮影を前提として説明したが、検出した奥行情報に基づいて視差量を調整した画像データを出力する構成は、もちろん静止画撮影についても適用できる。このように撮影された静止画像は、左右の画像間に極端な視差を生じさせず、鑑賞者に違和感を与えない。

　また、以上の実施形態においては、対象とする被写体をユーザの指示により受け付けたが、制御部２０１が自動的に対象とする被写体を選定しても良い。例えば、制御部２０１は、人物認識処理により、シーンに含まれる人物像に限って対象被写体とすることができる。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、２２　絞り、５０　眼球、５１　右目、５２　左目、４０　表示部、６１、６２、７１、７２　被写体、８０　ＴＶモニタ、８１　メモリカードＩＦ、８２　リモコン、１００　撮像素子、１０４、１０５、１０６　開口部、１１０　基本格子、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２３１　調整条件取得部、２３２　調整値決定部、２３３　算出部、２３４　動画生成部、２３５　奥行情報検出部、２３６　決定部、３００　木、３０１　少女、３０２　少年、３０３　女性、３１０　ＡＦ枠、３２０　タイトル、３２２　中心線、１６１０、１６１１　コントラスト曲線、１６２０、１６２１　視差量曲線、１６３０　調整視差量曲線、１８０４、１８０５、１８０７、１８０８　分布曲線、１８０６、１８０９　合成分布曲線、１９０１　Ｌｔ分布曲線、１９０２　Ｒｔ分布曲線、１９０３　２Ｄ分布曲線、１９０５　調整Ｌｔ分布曲線、１９０６　調整Ｒｔ分布曲線、２０８１　ダイヤルボタン、２０８２　モードボタン　２０８３　タッチパネル

Claims

　同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像部と、
　視差量調整に関する調整条件を取得する調整条件取得部と、
　前記調整条件に基づいて、前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを処理することにより、前記一方向に前記第１視差とは異なる第３視差を有する第３視差画像データと、前記他方向に前記第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理部と
を備える撮像装置。
　前記画像処理部は、前記撮像部が連続的に生成する前記撮影画像データを処理することにより、前記第３視差画像データと前記第４視差画像データに基づく動画ファイルを生成する請求項１に記載の撮像装置。
　同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像部と、
　前記第１視差および前記第２視差とは異なる視差を有する調整視差画像データを生成するための視差量調整に関する調整条件を取得する調整条件取得部と、
　前記調整条件を前記撮影画像データに関連付けて出力する出力部と
を備える撮像装置。
　前記出力部は、前記撮像部が連続的に生成する前記撮影画像データから作られた動画ファイルに前記調整条件を関連付ける請求項３に記載の撮像装置。
　前記調整条件取得部は、前記撮像部が連続的に生成する前記撮影画像データに対応して、前記調整条件を動的に取得する請求項２または４に記載の撮像装置。
　前記調整条件は、前記撮像部へ前記被写体像を結像させる光学系の設定条件を含む請求項１から５のいずれか１項に記載の撮像装置。
　前記設定条件は、絞り、焦点距離およびフォーカスレンズ位置の少なくともいずれかを含む請求項６に記載の撮像装置。
　前記調整条件は、前記同一シーンの被写体状況を含む請求項１から７のいずれか１項に記載の撮像装置。
　前記被写体状況は、奥行き方向の被写体分布を含む請求項８に記載の撮像装置。
　前記調整条件は、入力部を介してユーザより指示されるユーザ指示を含む請求項１から９のいずれか１項に記載の撮像装置。
　前記調整条件は、前記ユーザ指示により指示された視差量の範囲設定を含む請求項１０に記載の撮像装置。
　前記調整条件は、フレーム全体における各画素の視差量を積分して算出される累積視差量を含む請求項１から１１のいずれか１項に記載の撮像装置。
　前記画像処理部は、前記調整条件に基づいて調整値を決定し、
　前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差画素値、および前記第２視差画像データの前記対象画素位置における第２視差画素値を抽出して、計算式
　　Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１－Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）　
　　Ｐ_４＝２Ｐ_０×（（１－Ｃ）Ｐ_１＋Ｃ・Ｐ_２）／（Ｐ_１＋Ｐ_２）　
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整値（実数、ただし、０．５＜Ｃ＜１））
により、前記第３視差画像データを形成する第３視差画素値と前記第４視差画像データを形成する第４視差画素値とを算出する請求項１または２に記載の撮像装置。
　前記画像処理部は、前記調整条件に基づいて調整値を決定し、
　前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差画素値、および前記第２視差画像データの前記対象画素位置における第２視差画素値を抽出して、計算式
　　Ｐ_３＝Ｐ_０×（Ｐ_１／Ｐ_２）^{（Ｃ－０．５）}
　　Ｐ_４＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（Ｃ－０．５）}
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整値（実数、ただし、０．５＜Ｃ＜１））
により、前記第３視差画像データを形成する第３視差画素値と前記第４視差画像データを形成する第４視差画素値とを算出する請求項１または２に記載の撮像装置。
　基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データと、前記撮影画像データに関連付けられた視差量調整に関する調整条件とを取り込む取込部と、
　前記調整条件に基づいて、前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを処理することにより、前記一方向に前記第１視差とは異なる第３視差を有する第３視差画像データと、前記他方向に前記第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理部と
を備える画像処理装置。
　前記画像処理部は、前記取込部が取り込んだ連続的な前記撮影画像データを処理することにより、前記第３視差画像データと前記第４視差画像データに基づく動画ファイルを生成する請求項１５に記載の画像処理装置。
　前記画像処理部は、前記調整条件に基づいて調整値を決定し、
　前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差画素値、および前記第２視差画像データの前記対象画素位置における第２視差画素値を抽出して、計算式
　　Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１－Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）　
　　Ｐ_４＝２Ｐ_０×（（１－Ｃ）Ｐ_１＋Ｃ・Ｐ_２）／（Ｐ_１＋Ｐ_２）　
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整値（実数、ただし、０．５＜Ｃ＜１））
により、前記第３視差画像データを形成する第３視差画素値と前記第４視差画像データを形成する第４視差画素値とを算出する請求項１５または１６に記載の画像処理装置。
　前記画像処理部は、前記調整条件に基づいて調整値を決定し、
　前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差画素値、および前記第２視差画像データの前記対象画素位置における第２視差画素値を抽出して、計算式
　　Ｐ_３＝Ｐ_０×（Ｐ_１／Ｐ_２）^{（Ｃ－０．５）}
　　Ｐ_４＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（Ｃ－０．５）}
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整値（実数、ただし、０．５＜Ｃ＜１））
により、前記第３視差画像データを形成する第３視差画素値と前記第４視差画像データを形成する第４視差画素値とを算出する請求項１５または１６に記載の画像処理装置。
　同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像ステップと、
　視差量調整に関する調整条件を取得する調整条件取得ステップと、
　前記調整条件に基づいて、前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを処理することにより、前記一方向に前記第１視差とは異なる第３視差を有する第３視差画像データと、前記他方向に前記第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
　同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データを生成する撮像ステップと、
　前記第１視差および前記第２視差とは異なる視差を有する調整視差画像データを生成するための視差量調整に関する調整条件を取得する調整条件取得ステップと、
　前記調整条件を前記撮影画像データに関連付けて出力する出力ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
　基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを包含する撮影画像データと、前記撮影画像データに関連付けられた視差量調整に関する調整条件とを取り込む取込ステップと、
　前記調整条件に基づいて、前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを処理することにより、前記一方向に前記第１視差とは異なる第３視差を有する第３視差画像データと、前記他方向に前記第２視差とは異なる第４視差を有する第４視差画像データとを生成する画像処理ステップと
をコンピュータに実行させる画像処理装置の制御プログラム。
　シーンに対して奥行き方向の被写体分布を検出する検出部と、
　前記被写体分布に基づいて視差量に関する変更条件を決定する決定部と、
　前記変更条件に基づいて、互いに視差を有する第１視差画像データと第２視差画像データを包含する撮影画像データを生成する撮像制御を実行する制御部と
を備える撮像装置。
　光学系を通過する入射光束のうち前記光学系の光軸に対して第１方向へ偏位した第１部分光束を受光する第１視差画素群と、前記第１方向とは異なる第２方向へ偏位した第２部分光束を受光する第２視差画素群とを含む撮像素子を備える請求項２２に記載の撮像装置。
　前記検出部は、それぞれの被写体に対する位相差情報に基づいて前記被写体分布を検出する請求項２２または２３に記載の撮像装置。
　ユーザによる被写体の指定を受け付ける受付部を備え、
　前記検出部は、指定を受けた前記被写体を前記被写体分布の検出対象とする請求項２２から２４のいずれか１項に記載の撮像装置。
　前記決定部は、前記変更条件として絞り値を決定する請求項２２から２５のいずれか１項に記載の撮像装置。
　前記決定部は、前記変更条件としてフォーカスレンズ位置の修正量を決定する請求項２２から２６のいずれか１項に記載の撮像装置。
　前記決定部は、前記変更条件として前記制御部が前記第１視差画像データと前記第２視差画像データを生成するときに用いる両画像間の視差量を調整する調整パラメータ値を決定する請求項２２から２７のいずれか１項に記載の撮像装置。
　前記制御部は、基準画像データ、前記基準画像データの被写体像に対して一方向に第３視差を有する第３視差画像データ、および前記一方向とは反対の他方向に第４視差を有する第４視差画像データを取得し、
　前記基準画像データの対象画素位置における基準画素値、前記第３視差画像データの前記対象画素位置における第３視差画素値、および前記第４視差画像データの前記対象画素位置における第４視差画素値を抽出して、計算式
　　Ｐ_１＝２Ｐ_０×（Ｃ・Ｐ_３＋（１－Ｃ）Ｐ_４）／（Ｐ_３＋Ｐ_４）　
　　Ｐ_２＝２Ｐ_０×（（１－Ｃ）Ｐ_３＋Ｃ・Ｐ_４）／（Ｐ_３＋Ｐ_４）　
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整パラメータ値（実数、ただし、０．５＜Ｃ＜１））
により、第１視差画素値を算出して前記第１視差画像データを生成し、第２視差画素値を算出して前記第２視差画像データを生成する請求項２８に記載の撮像装置。
　前記制御部は、基準画像データ、前記基準画像データの被写体像に対して一方向に第３視差を有する第３視差画像データ、および前記一方向とは反対の他方向に第４視差を有する第４視差画像データを取得し、
　前記基準画像データの対象画素位置における基準画素値、前記第３視差画像データの前記対象画素位置における第３視差画素値、および前記第４視差画像データの前記対象画素位置における第４視差画素値を抽出して、計算式
　　Ｐ_１＝Ｐ_０×（Ｐ_３／Ｐ_４）^{（Ｃ－０．５）}
　　Ｐ_２＝Ｐ_０×（Ｐ_４／Ｐ_３）^{（Ｃ－０．５）}
（Ｐ_０：基準画素値、Ｐ_１：第１視差画素値、Ｐ_２：第２視差画素値、Ｐ_３：第３視差画素値、Ｐ_４：第４視差画素値、Ｃ：調整パラメータ値（実数、ただし、０．５＜Ｃ＜１））
により、第１視差画素値を算出して前記第１視差画像データを生成し、第２視差画素値を算出して前記第２視差画像データを生成する請求項２８に記載の撮像装置。
　シーンに対して奥行き方向の被写体分布を検出する検出ステップと、
　前記被写体分布に基づいて視差量に関する変更条件を決定する決定ステップと、
　前記変更条件に基づいて、互いに視差を有する第１視差画像データと第２視差画像データを包含する撮影画像データを生成する撮像制御ステップと
をコンピュータに実行させる撮像装置の制御プログラム。