JPWO2013094329A1 - 画像処理装置、方法およびプログラム - Google Patents

Abstract

本発明は、立体動画の視差幅が出力許容視差幅に適合しない場合、立体動画を複数のシーンに分離し、シーンごとのシーン視差幅が出力許容視差幅に適合するか否かを判断し、その判断結果に応じてシーンの代表視差を調整する。立体動画の視差幅の全体が一律に調整されるのではなく、シーンごとに視差幅が調整されるため、立体動画の立体感が全体的に失われるのを防げる。

Description

本発明は、画像処理に関し、特に、立体動画の各立体画像フレームの両眼視差の調整に関する。

特許文献１の立体画像処理装置は、表示された被写体が限界視差に達すると、取得された適正視差情報に従い、以降の立体表示において当該適正視差を実現するよう視差画像を生成する。視差の制御は、３次元データに遡ってカメラパラメータを最適設定することで実現する。ここで、立体画像処理装置の二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙとすると、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）である。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施す。

特許文献２の３次元画像処理装置では、視点座標系をもって透視された３次元画像を表示するディスプレイに、対面する観察者の観察視点を検出する観察視点センサを設け、この観察視点センサにより検出された観察視点に合わせてコンピュータが表示画像の視点座標系を移動することにより、ディスプレイに表示される３次元画像の透視視点を、観察者の観察視点に追従させて移動し、透視視点を常に観察視点に一致させて画像表示する。

特許文献３の３次元像表示装置は、観察者の視点位置を検出する視点検知装置と、左右の目に対する視差をもった２つの映像を生成する映像生成装置と、２つの映像を別々に投影するために表示する映像表示装置と、表示された２つの映像を観察者の左右の目に別々に投影する映像投影装置とを備え、映像生成装置は、視点検知装置の出力信号に基づいて、観察者の視点の移動に対応して観察対象の観察方向の変化を反映した映像を生成する。また、映像生成装置は、視点検知装置の出力信号に基づいて観察者の視点の移動に対応した観察対象の観察方向の変化を反映し、且つ観察者の左右の目に対する視差をもった架空の物体の映像を生成する。

特許文献４の立体画像表示方法では、ディスプレイの前方に液晶シャッタを設け、該液晶シャッタの前方にレンチキュラレンズを配置した表示部と観察者の視点位置が入力される制御部を備えた構成で、ディスプレイに右目・左目に対応した視差画像を時分割で表示するとともに、視差画像に同期しながら観察者の視点位置に応じて液晶シャッタの透光状態にする部分の幅と位置を変化させ、視差画像をレンチキュラレンズを介し対応する目で観察させる。

特開2004-221699号公報 特開平6-028452号公報 特開平9-238369号公報 特開平8-327948号公報

視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変わるため、それに合わせた視差調整を行う必要がある。

視差調整の結果、撮影時の視差とは異なった視差で立体画像が再生されると、視聴者に違和感を与えるおそれがある。このため、立体動画の撮影時の本来の視差をなるべく保つように視差調整を行うことが好ましい。

特許文献１では、適正視差を満たすデプスＦｘｙを計算して四捨五入するため、フレーム間で視差が同じになり、フレーム遷移に伴う立体感の変化が感じられなかったり、逆にフレーム間で大きな視差の変化がつきすぎて視聴者に疲労を与えるおそれがある。

本発明は、立体動画の視差調整によって、元々の視差が大きく損なわれるのを防止することを目的とする。

本発明は、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、立体動画を複数のシーンに分離するシーン分離部と、シーン分離部の分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整する視差調整部と、視差調整部が代表視差を調整した立体画像フレームを出力する出力部と、を備え、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理装置を提供する。

視差調整部は、あるシーンのシーン視差幅が許容視差幅に適合するが、シーンを構成する立体画像フレームの代表視差の最大値が予め定められた代表視差の上限を上回る場合、シーンを構成する各立体画像フレームの代表視差が代表視差の上限を下回るよう代表視差を調整する。

視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が許容視差幅に適合するが、連続する２以上のシーンを構成する立体画像フレームの代表視差の最大値が代表視差の上限を上回る場合、連続する２以上のシーンを構成する各立体画像フレームの代表視差が代表視差の上限を下回るよう代表視差を一律に調整する。

視差調整部は、あるシーンのシーン視差幅が許容視差幅に適合するが、シーンを構成する立体画像フレームの代表視差の最小値が予め定められた代表視差の下限を下回る場合、シーンを構成する各立体画像フレームの代表視差が代表視差の下限を上回るよう代表視差を調整する。

視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が許容視差幅に適合するが、連続する２以上のシーンを構成する立体画像フレームの代表視差の最小値が代表視差の下限を下回る場合、連続する２以上のシーンを構成する各立体画像フレームの代表視差が代表視差の下限を上回るよう代表視差を一律に調整する。

シーン分離部は、所定の第１の基準に従って分離されたシーンのシーン視差幅が許容視差幅に適合しない場合、所定の第１の基準および所定の第１の基準と異なる第２の基準に従って立体動画を分離する。

第２の基準は、第１の基準よりもシーンの変化の推定確度が低い。

視差調整部は、シーン分離部が第１の基準および第２の基準に従って分離したシーンごとに、シーンのシーン視差幅が許容視差幅に適合するか否かを判断し、シーンのシーン視差幅が許容視差幅に適合しないと判断した場合、シーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう調整する。

視差調整部は、隣接する２つのシーン間での代表視差の調整量の差が所定の閾値を超える場合、隣接する２つのシーン間での代表視差の調整量を平滑化する。

好ましくは、統計的演算値は、立体画像フレームの視差の平均値、最大値、最小値、最頻値および中央値のうち少なくとも１つを含む。

好ましくは、立体画像フレームごとの代表視差は、立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差の平均値、最大値、最小値、最頻値もしくは中央値およびクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差の平均値、最大値、最小値、最頻値もしくは中央値のうち少なくとも１つを含む。

好ましくは、所定の条件を満たす視差は、立体画像フレームに対する注視位置の視差を含む。

好ましくは、注視位置は、立体画像フレームの視聴者の注視点、立体画像フレームの撮影者の注視点または立体画像フレーム内で任意に指定された注視点を含む。

好ましくは、所定の条件を満たす視差は、顔領域の視差、合焦評価値算出領域の視差、画像中央領域の視差、立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差、または立体画像フレームの視差のうちクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差を含む。

好ましくは、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差の最大値である第１の代表視差と、立体画像フレームの視差のうち所定の条件を満たす視差の最小値である第２の代表視差の双方を含み、シーン分離部は、第１の代表視差の最大値および第２の代表視差の最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、立体動画を複数のシーンに分離する。

本発明は、代表視差取得部と、シーン分離部と、視差調整部と、出力部と、を備える画像処理装置において、代表視差取得部が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、シーン分離部が、代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、立体動画を複数のシーンに分離するステップと、視差調整部が、シーン分離部の分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整するステップと、出力部が、視差調整部が代表視差を調整した立体画像フレームを出力するステップと、を実行し、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理方法を提供する。

本発明は、代表視差取得部と、シーン分離部と、視差調整部と、出力部と、を備える画像処理装置において、代表視差取得部が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、シーン分離部が、代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、立体動画を複数のシーンに分離するステップと、視差調整部が、シーン分離部の分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整するステップと、出力部が、視差調整部が代表視差を調整した立体画像フレームを出力するステップと、を実行し、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体（non-transitory computer-readable medium）を提供する。

本発明は、立体動画の視差幅が出力許容視差幅に適合しない場合、立体動画を複数のシーンに分離し、シーンごとのシーン視差幅が出力許容視差幅に適合するか否かを判断し、その判断結果に応じてシーンの代表視差を調整する。立体動画の視差幅の全体が一律に調整されるのではなく、シーンごとに視差幅が調整されるため、立体動画の立体感が全体的に失われるのを防げる。

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 開散方向の視差の限界の模式図 視差調整処理のフローチャート 立体動画の代表視差−出力視差変換表の一例を示す図 第１実施形態に係る視差シフトの模式図 第２実施形態に係る視差シフトの模式図 表示再生装置のブロック図

図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。

デジタルカメラ１０は、複数の撮像手段（図１では二つを例示）を備えており、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため２つの撮像手段を備えた場合を例に説明するが、本発明はこれに限定されず、３つ以上の撮像手段を備えた場合であっても同様に適用可能である。

本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし外部機器でもよい。

左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。

モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、撮像素子で捉えたライブビュー画像が表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。

レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。

電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。

ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。

図３は、デジタルカメラ１０の要部を示すブロック図である。

デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像手段と、左視点用の撮影光学系１１Ｌおよび撮像素子２９Ｌを有する左視点用の撮像手段を備える。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれ、ズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）、および、絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９、および、絞り２０は、それぞれ、ズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）、絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤイメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有し、この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続され、このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。

ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関二重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。

ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節手段として機能する。ＣＣＤ２９のＩＳＯ感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。

デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。

操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０〜１３４から構成されている。

ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ６０やＲＯＭ６１などのコンピュータ読み取り可能な非一時的記録媒体に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。

また、デジタルカメラ１０には、ＡＥ(Auto Exposure)／ＡＷＢ(Auto White Balance)制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレームの各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２３を備える。

ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づきＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。

例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。

ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。

例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。

姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。

手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。

ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。

顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。

視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。所定領域は、画像の一部領域または全体領域を含みうる。また、所定領域は、公知の顔検出により検出された顔領域、任意に登録された特定の人物の顔領域にマッチする顔領域、モニタ１３の観察者や撮影者の注視点、操作部２５などのユーザインターフェースから任意に指定されたモニタ１３の表示面内での立体動画の注視点や被写体領域、あるいは注視点の近傍領域などを含みうる。モニタ１３の観察者が単数であれば、特許文献２〜４などの公知の注視点検出により、その観察者の注視点が検出されうる。モニタ１３の観察者が複数であれば、モニタ１３に最も近い観察者などのように、特定の条件を満たす観察者について、公知の注視点検出を適用し、その注視点が検出されうる。撮影者の注視点は、撮影時やそれ以外のタイミングで指定された被写体領域の全部または一部としてもよい。注視点検出は、デジタルカメラ１０で行われてもよいし、その他の機器、例えばテレビやヘッドマウントディスプレイなどの外部の表示機器で行われてもよい。

例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。

あるいは、視差検出部４９は、左右画像データの所定領域（例えば顔領域などの一部領域か、全体領域）の各対応点の視差から視差のヒストグラムを作成する。階級は任意である。そして、度数が最大の階級の階級値すなわち最頻値を、その所定領域における代表視差としてもよい。

あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差から、視差の最大値または最小値を選択し、この視差の最大値または最小値をその所定領域における代表視差としてもよい。なお、所定領域が注視点のような一点であれば、代表視差は、その注視点の視差の最大値かつ最小値である。

あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差の中央値を、その所定領域における代表視差としてもよい。

あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差の平均値を、その所定領域における代表視差としてもよい。

上記に限らず、代表視差は、各種の統計的演算にて算出されることができる。なお、代表視差の算出に用いる視差のサンプル値から、所定の条件を満たさないものを除外してもよい。例えば、画像の鮮鋭度（空間周波数）が所定の基準値よりも低い領域（いわゆるピンボケの領域）の対応点の視差や、所定の限界値を超過している視差などは、代表視差の算出に用いる視差のサンプル値から除外し、所定の条件を満たす領域の対応点の視差から代表視差を算出してもよい。この条件は、撮影光学系１１Ｒ、１１Ｌのズーム倍率などの撮影条件に基づいて決定されてもよい。これは、ズーム倍率の拡大または縮小に応じて、同じ対応点の視差が拡大したり縮小したりするからである。なお、除外の所定の条件がない（無条件）としてもよい。

あるいは、視差検出部４９は、左右画像データのクロスポイントよりもデジタルカメラ１０から遠ざかる方向である奥側（遠景側）またはデジタルカメラ１０に近づく方向である手前側（近景側）に位置する被写体の視差から、上記の統計的演算を用いて、代表視差を算出してもよい。ここで、クロスポイントとは、撮影光学系１１Ｒの光軸と、撮影光学系１１Ｌの光軸とを撮影対称面上で交差させた収束点である。

さらに、代表視差は、異なるフレームごとあるいは異なるシーンに渡って統一された統計的演算式で算出されてもよいし、複数の統計的演算式にて同じフレームから複数種類の代表視差が算出されてもよい。

例えば、任意の１つのフレームＦの視差の最大値を第１の代表視差、そのフレームＦの視差の最小値を第２の代表視差とするなど、１つのフレームから複数の種類の代表視差を求めてもよい。

あるいは、遠景のシーンＸを構成する各フレームの代表視差はクロスポイントよりも奥側（遠景側）に位置する被写体の対応点の視差から、上記の統計的演算を用いて代表視差を算出し、近景のシーンＹを構成する各フレームの代表視差はクロスポイントよりも手前側（近景側）に位置する被写体の対応点の視差から、上記の統計的演算を用いて代表視差を算出してもよい。例えば、任意の１つのフレームにおいて、クロスポイントより遠景側の対応点の視差の最大値を第１の代表視差、クロスポイントより近景側の対応点の視差の最大値を第２の代表視差として求めることができる。

あるいは、クロスポイントより遠景側の対応点の視差の最大値を第１の代表視差、クロスポイントより近景側の対応点の視差の最大値を第２の代表視差、クロスポイントより遠景側の対応点の視差の最小値を第３の代表視差、クロスポイントより近景側の対応点の視差の最小値を第４の代表視差として求めることもできる。

あるいは、同一のシーンに含まれる任意のフレームにおける全ての視差の最大値を第１の代表視差、全ての視差の最小値を第２の代表視差として求めることができる。

つまり、代表視差は１つの統計的演算により単一の種類だけ求められてもよいし、複数の異なる統計的演算により複数種類求められてもよい。

あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。

対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆなどのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。

表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。

表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４の（ａ）部分に例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４の（ｂ）部分のようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。

表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。

標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。閾値設定部２０５は、（１）〜（４）の情報をユーザ操作やモニタ１３の設定情報などに基づいて外部から入力してもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）〜（４）について特に外部から入力がない場合、閾値設定部２０５は、上記標準的な例をＲＯＭ６１などから読み出して視差調整部２０２に入力する。

視差調整部２０２は、左右の画像データの代表視差の幅を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収まる調整を行う。

図５は視差調整処理のフローチャートを示す。この処理はＣＰＵ２６によって制御される。この処理をＣＰＵ２６に実行させるプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記録媒体に記録されている。この処理は、画像データの付帯情報に上記の領域の位置情報と代表視差が記憶された後に実行される。

Ｓ１では、視差調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の全部または所定の一部の範囲を構成する各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、各立体画像フレームごとの代表視差の読み出しを試みる。立体動画の所定の一部の範囲は、操作部２５で指定されてもよいし、ＲＯＭ６１などに規定されてもよい。当該範囲の位置と長さの単位も任意であり、フレーム番号、撮影時刻、時間間隔、フレーム数などで指定されうる。

Ｓ２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。

Ｓ３では、視差調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ−ｐｍｉｎを計算する。そして、視差調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ４に進み、Ｎｏの場合はＳ７に進む。

ここで、代表視差が複数の演算式で求められ、複数種類の代表視差が存在する場合は、全ての種類の代表視差の中のうちの最大値をｐｍａｘ、全ての種類の代表視差の中のうちの最小値をｐｍｉｎとして特定し、立体動画視差幅＝ｐｍａｘ−ｐｍｉｎを計算する。

特に、各フレームＦｋの視差の最大値ｍａｘｋを第１の種類の代表視差とし、各フレームＦｋの視差の最小値を第２の種類の代表視差ｍｉｎｋとすると、ｐｍａｘは各フレームＦｋの視差の最大値の中の最大値ＭＡＸ（ｍａｘｋ）、ｐｍｉｎは各フレームＦｋの視差の最小値の中の最小値ＭＩＮ（ｍｉｎｋ）となる。

Ｓ４では、視差調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ５に進む。

Ｓ５では、視差調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ１６に進む。

Ｓ６では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。すなわち、Ｓ４でＹｅｓと判断された場合は、各代表視差を負（下）の方向にシフトし、各代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるようにする。Ｓ５でＹｅｓと判断された場合は、各代表視差を正（上）の方向にシフトし、各代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるようにする。

Ｓ７では、シーン分離部２０６は、各立体画像フレームのシーンの変化の検出を行う。シーン分離部２０６によるシーンの検出のレベルは可変である。ここでは、シーンの検出のレベルは、レベル１〜３の間で段階的に可変であるとする。最初のＳ７の実行時の初期検出レベルはレベル１であり、後述のＳ１３でレベルが変更されるまでは初期検出レベルでシーン変化が検出される。また、レベル１＞レベル２＞レベル３の順に、シーン変化の検出の推定確度が低下するものとする。

シーン変化の検出方法はレベルに応じて異なる。最もシーン変化の検出の推定確度が高いレベル１では、操作部２５などから入力されたユーザの明示的なシーンの区切り指定操作を基準にシーン変化が検出される、例えば、編集操作によってシーンの区切りに指定された立体画像フレームをシーン変化のあった立体画像フレームと検出する。編集操作は、立体動画の中での立体画像フレームの切り取り箇所の指定や、異なる立体動画の接合箇所の指定などを含む。レリーズボタン１４のオン・オフのあった立体画像フレームをシーン変化のあった立体画像フレームと検出することもできる。

レベル１よりも検出の推定確度が低いレベル２では、ズームボタン１２６によるズームレンズ１８の変倍操作のあった時点で取得された立体画像フレームをシーン変化のあった立体画像フレームと検出する。

レベル２よりも検出の推定確度が低いレベル３では、隣り合う２つの立体画像フレームａ・ｂ間の画像情報の相違が所定の閾値を超えた場合、立体画像フレームｂをシーン変化のあった立体画像フレームと検出する。この画像情報には、輝度情報、色情報、あるいはそれらの情報を統計処理した情報（ヒストグラムなど）などが含まれる。

各レベルに対応するシーン検出方法は、シーン分離情報入力部２０７を介してユーザが自由に設定できてもよい。シーン分離情報入力部２０７と操作部２５は共通の手段でもよい。

シーン分離部２０６は、シーン変化の検出された立体画像フレームを基準に立体動画をｎ個（ｎ＝２、３・・）のセクションに分離する。シーン変化の検出された立体画像フレームを境に立体動画を区切ることで、分離された立体動画の各セクションがそれぞれ異なるシーンを構成する。シーン分離部２０６は、各シーンＳ（ｋ）の最初の立体画像フレームと最後の立体画像フレームを示すシーン情報を視差調整部２０２に入力する。ここで、ｋ＝１〜ｎであるが、ｋの初期値は１であり、Ｓ７〜Ｓ１５のループが繰り返される度にｋの値は１だけインクリメントされるものとする。

Ｓ８では、視差調整部２０２は、シーン情報に従って識別されるシーンＳ（ｋ）内の各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘ（ｋ）と代表視差の最小値ｐｍｉｎ（ｋ）を特定し、シーンＳ（ｋ）の立体動画視差幅＝ｐｍａｘ（ｋ）−ｐｍｉｎ（ｋ）を計算する。そして、視差調整部２０２は、シーンＳ（ｋ）の立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ９に進み、Ｎｏの場合はＳ１２に進む。

Ｓ９では、視差調整部２０２は、シーンＳ（ｋ）の代表視差の最大値ｐｍａｘ（ｋ）＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１１に進み、Ｎｏの場合はＳ１０に進む。

Ｓ１０では、視差調整部２０２は、シーンＳ（ｋ）の代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１１に進み、Ｎｏの場合はＳ１５に進む。

Ｓ１１では、視差調整部２０２は、シーンＳ（ｋ）の代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるよう、シーンＳ（ｋ）の各立体画像フレームの代表視差を正または負の方向にシフトする。

Ｓ１２では、シーン分離部２０６は、現在設定されているシーンの分離レベルよりも低い分離レベルのシーンの検出方法が設定可能であるか否かを判断する。例えば、上記のようにシーンの検出のレベルがレベル１〜３の間で可変の場合、現在の設定レベルがレベル１または２ならばＹｅｓと判断され、現在の設定レベルがレベル３ならばＮｏと判断される。

Ｓ１３では、シーン分離部２０６は、シーンの分離レベルを変更する。例えば、シーン分離部２０６は、現在のレベルよりも１段階推定確度の低いレベルを、新たな検出レベルに設定する。その後Ｓ７に戻り、新たな検出レベルで立体動画のシーンの変化の検出が行われる。あるいは、以前に設定されたレベルと今回設定されたレベルの双方でシーンの変化の検出が行われてもよい。

Ｓ１４では、視差調整部２０２は、シーンＳ（ｋ）の立体動画視差幅が表示許容視差幅に収まるようシーンＳ（ｋ）の各立体画像フレームの代表視差を調整する。例えば、シーンＳ（ｋ）の立体動画視差幅がＸ、表示許容視差幅がＹであり、かつＸ＞Ｙである場合、シーンＳ（ｋ）の各立体画像フレームの代表視差を一律な縮減率（Ｘ−Ｙ）／Ｘで縮減する。

Ｓ１５では、ＣＰＵ２６は、ｋ＝ｎ、すなわち、Ｓ７〜Ｓ１５のループが全てのシーンＳ（１）〜Ｓ（ｎ）に対して実行されたか否かを判断する。Ｙｅｓの場合はＳ１６に進み、Ｎｏの場合はｋの値を１だけインクリメントしてＳ８に戻る。

Ｓ１６では、視差調整部２０２は、ＲＯＭ６１などに記憶されている立体動画視差−出力視差変換表をＳＤＲＡＭ３９に読み出す。図６は立体動画視差−出力視差変換表の一例を示す。この表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力視差を規定する。例えば、この表によると、Ｍ〜Ｍ＋ｔの代表視差はＮの出力視差，Ｍ〜Ｍ＋２ｔの代表視差はＮ＋１の出力視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力視差を示すと整数となる。

視差調整部２０２は、ＲＯＭ６１などに記憶された立体動画視差−出力視差変換表に従って、各立体画像フレームの代表視差（シフト後あるいは縮減後の代表視差も含む）に対応する出力視差を決定する。

表示制御部４２は、決定された出力視差で各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。

図７は本処理による視差幅調整の様子を例示する。

例えば、図７の（ａ）部分に示すように、ある立体動画の動画視差幅が表示許容視差幅を超えているとする。この場合、Ｓ３でＮｏとなり、Ｓ７にてこの動画のシーン分離が行われる。図７の（ｂ）部分は分離されたシーンを例示する。この図では、１つの立体動画が３つのシーンＳＮ１〜ＳＮ３に分離されている。

シーンの分離後、Ｓ８にて、シーンごとの動画視差幅が表示許容視差幅と比較される。シーンの動画視差幅が表示許容視差幅を超える場合、Ｓ８でＮｏとなり、Ｓ１３にてシーン変化の検出レベルが変更され、変更後のレベルで再びシーン変化が検出される。

シーンの動画視差幅が表示許容視差幅を超えない場合、Ｓ８でＹｅｓとなり、Ｓ９および／またはＳ１０にて、当該シーンについて代表視差のシフトの要否が判断される。Ｓ９にて当該シーンの最大視差が表示許容最大視差を超えていると判断されるか、Ｓ１０にて当該シーンの最小視差が表示許容最小視差を下回っていると判断された場合は、Ｓ１１にて当該シーンに含まれる各立体画像フレームの代表視差が表示許容視差の最小値から最大値の範囲に収まるようシフトされる。

図７の（ｃ）部分は分離されたシーンごとの代表視差のシフトを例示する。この図では、シーンＳＮ１の各代表視差は一律Δ１だけ下側にシフトされ、シーンＳＮ２の各代表視差は一律Δ２だけ下側にシフトされて、シーンＳＮ３の各代表視差は一律Δ３だけ下側にシフトされている。

上記の処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図８に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部２０２、画像入力部２０１（例えば画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、シーン分離部２０６、シーン分離情報入力部２０７、画像出力部２０８（例えばモニタ１３、メディア制御部１５など）などの平面または立体画像を表示するブロックを備えた画像処理装置がこの処理を実行することもできる。

画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。

画像出力部２０８が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、各立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。あるいはそれぞれの立体画像フレームをレンチキュラプリントのような印刷物とすることもできる。

また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。

以上の処理により、各立体画像フレームの代表視差が表示許容視差幅を超える場合は、シーンごとに視差幅圧縮の可否が判断され、シーン単位で視差幅が調整される。よって、撮影時の立体動画の代表視差を保って出力することができる。

特に、ｐｍａｘ＝ＭＡＸ（ｍａｘｋ）、ｐｍｉｎ＝ＭＩＮ（ｍｉｎｋ）とすると、観察者が感得する可能性のある最大視差から最小視差までの範囲が表示許容視差幅に調整され、疲労感を与える可能性がさらに低くなる。

なお、上記の視差調整処理は、異なる種類の代表視差の各々について実行されることができる。この場合、異なる種類の代表視差について、視差調整の結果が整合しないことが考えられるが、その際には、観察者にとって適切な結果を選択して実行したり、視差調整および視差幅調整をキャンセルしてもよい。

例えば、任意の１つのフレームにおいて、クロスポイントより遠景側の視差の最大値を第１の最大代表視差、クロスポイントより遠景側の視差の最小値を第１の最小代表視差、クロスポイントより近景側の視差の最大値を第２の最大代表視差、クロスポイントより近景側の視差の最小値を第２の最小代表視差とし、第１の最大・最小代表視差について視差調整処理が行われ、かつ第２の最大・最小代表視差について視差調整処理が行われるとする。

そして例えば、第２の最大・最小代表視差で定まるシーンＳ（ｋ）の動画視差幅（第２の動画視差幅）について、Ｓ８でＹＥＳとなっても、第１の最大・最小代表視差で定まるシーンＳ（ｋ）の動画視差幅（第１の動画視差幅）についてＳ８でＮＯとなり、かつＳ１２でＮＯとなってＳ１４に進み、Ｓ１４で視差調整が行われたとする。この場合、再びＳ１に戻って、視差調整後のシーンＳ（ｋ）から第２の最大・最小代表視差と第２の動画視差幅を算出して、この視差調整後のシーンＳ（ｋ）の第２の動画視差幅について、Ｓ８でＮＯとなった場合、視差調整をキャンセルし、動画の視差調整を行っていない状態に戻してもよい。同様なことは、第１の動画視差幅について、Ｓ８でＹＥＳとなっても、第２の動画視差幅についてＳ８でＮＯとなった場合も行うことができる。こうすれば、遠景側の視差の調整、近景側の視差の調整を整合させることができる。

＜第２実施形態＞
シーンごとに視差量の調整を行うと、シーンの変化に伴う出力視差の変動が撮影時のオリジナルの視差の変動と異なったものとなり、視聴者に違和感を与える可能性がある。そこで、Ｓ１１において、視差調整部２０２は、１つ前のシーンＳ（ｋ−１）と現在のシーンＳ（ｋ）（ただしここでは２＜ｋ≦ｎ）について、いずれのシーンＳ（ｋ−１）・Ｓ（ｋ）の視差幅も表示許容視差幅を超えないか否かをさらに判断し、いずれのシーンＳ（ｋ−１）・Ｓ（ｋ）の視差幅も表示許容視差幅を超えないと判断した場合、シーンＳ（ｋ）をシーンＳ（ｋ−１）と共通のシフト量で表示許容視差幅内にシフトするとよい。この処理をｋのインクリメントに伴って繰り返し、連続する２以上のシーンの動画視差幅がいずれも表示許容視差幅を超えなければ、それらの２以上のシーンは、表示許容視差の範囲内に収まるよう、上にまたは下に共通のシフト量でシフトされる。

例えば、図９の（ａ）部分に示すように、ある立体動画の立体画像フレームの代表視差が推移しているとする。図９の（ｂ）部分はこの立体動画から分離されたシーンを例示する。この図では、１つの立体動画が３つのシーンＳＮ１〜ＳＮ３に分離されている。

２つのシーンＳＮ１・ＳＮ２における視差幅Ｗ１は、表示許容視差幅Ｗ０を超える。一方、２つのシーンＳＮ２・ＳＮ３における視差幅Ｗ２は、表示許容視差幅Ｗ０を超えない。この場合、Ｓ９および／またはＳ１０にて、２つのシーンＳＮ２・ＳＮ３について代表視差のシフトの要否が判断される。Ｓ９にて当該シーンの最大視差が表示許容最大視差を超えていると判断されるか、Ｓ１０にて当該シーンの最小視差が表示許容最小視差を下回っていると判断された場合は、Ｓ１１にて、２つのシーンＳＮ２・ＳＮ３に含まれる各立体画像フレームの代表視差が表示許容視差幅に収まるようシフトされる。

図９の（ｃ）部分は分離されたシーンごとの代表視差のシフトを例示する。この図では、シーンＳＮ１の各代表視差は一律Δ１だけ下側にシフトされ、シーンＳＮ２・ＳＮ３の各代表視差ははともにΔ２だけ下側にシフトされている。

このように、連続するシーンの代表視差の視差幅が表示許容視差幅に収まる場合、それらのシーンの代表視差のシフト量を共通の値にすれば、シーンの変化の前後における視差の遷移が撮影時のものと同様となり、視聴者にとって観やすい立体画像となる。

＜第３実施形態＞
第１または２実施形態において、隣接するシーン間での代表視差の調整量（視差幅縮減による代表視差の変動量および／または代表視差のシフトによる変動量）の差異が大きいと、当該シーン間でのシーンの変化時に被写体の距離が急激に変化する可能性が高い。そこで、当該シーン間での代表視差の調整量の差異が所定の閾値以上である場合、当該シーン間での代表視差の調整量を平滑化するとよい。

具体的には、シーンＡとシーンＢが時間的に隣接し、シーンＡの代表視差の調整量がａ、シーンＢの代表視差の調整量がｂとする。視差調整部２０２は、｜ａ−ｂ｜＜所定の閾値（例えば５画素）であるかを判断する。Ｎｏの場合、視差調整部２０２は、シーンＡの代表視差の調整量ａとシーンＢの視差調整量ｂを、所定の範囲で平滑化する。

例えば、視差調整部２０２は、シーンＢの先頭の立体画像フレームから１００フレーム程度後の立体画像フレームにかけて、視差調整量を、ａからｂに徐々に変化させる。あるいは、視差調整部２０２は、シーンＡの最後尾から５０フレーム程度遡った立体画像フレームからシーンＢの先頭から５０フレーム程度進んだ立体画像フレームにかけて、視差調整量を、ａからｂに徐々に変化させる。こうすれば、シーンの変化に伴う視差調整量の急激な変化を緩和できる。なお、シーン間での視差調整量の変化は、時間軸をパラメータとする所定の関数、例えば１次関数に従って行えばよい。

４９：視差検出部、２０２：視差調整部、２０４：表示許容視差幅取得部、２０６：シーン分離部、２０７：シーン分離情報入力部

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 開散方向の視差の限界の模式図 視差調整処理のフローチャート 立体動画の代表視差−出力視差変換表の一例を示す図 第１実施形態に係る視差シフトの模式図 表示再生装置のブロック図 第２実施形態に係る視差シフトの模式図

例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、フォーカスレンズ制御部２３Ｒまたは２３Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、フォーカスレンズ制御部２３Ｒおよび２３Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。

表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４の（ａ）部分に例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最大視差Ｄｍａｘは、図４の（ｂ）部分のようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。

Ｓ１６では、視差調整部２０２は、ＲＯＭ６１などに記憶されている立体動画視差−出力視差変換表をＳＤＲＡＭ３９に読み出す。図６は立体動画視差−出力視差変換表の一例を示す。この表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力視差を規定する。例えば、この表によると、Ｍ〜Ｍ＋ｔの代表視差はＮの出力視差，Ｍ＋ｔ〜Ｍ＋２ｔの代表視差はＮ＋１の出力視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力視差を示すと整数となる。

Claims (18)

1. 立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、
   前記代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、前記立体動画を複数のシーンに分離するシーン分離部と、
   前記シーン分離部の分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整する視差調整部と、
   前記視差調整部が代表視差を調整した立体画像フレームを出力する出力部と、
   を備え、
   前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理装置。
2. 前記視差調整部は、あるシーンのシーン視差幅が前記許容視差幅に適合するが、前記シーンを構成する立体画像フレームの代表視差の最大値が予め定められた代表視差の上限を上回る場合、前記シーンを構成する各立体画像フレームの代表視差が前記代表視差の上限を下回るよう前記代表視差を調整する請求項１に記載の画像処理装置。
3. 前記視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が前記許容視差幅に適合するが、前記連続する２以上のシーンを構成する立体画像フレームの代表視差の最大値が前記代表視差の上限を上回る場合、前記連続する２以上のシーンを構成する各立体画像フレームの代表視差が前記代表視差の上限を下回るよう前記代表視差を一律に調整する請求項２に記載の画像処理装置。
4. 前記視差調整部は、あるシーンのシーン視差幅が前記許容視差幅に適合するが、前記シーンを構成する立体画像フレームの代表視差の最小値が予め定められた代表視差の下限を下回る場合、前記シーンを構成する各立体画像フレームの代表視差が前記代表視差の下限を上回るよう前記代表視差を調整する請求項１〜３のいずれかに記載の画像処理装置。
5. 前記視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が前記許容視差幅に適合するが、前記連続する２以上のシーンを構成する立体画像フレームの代表視差の最小値が前記代表視差の下限を下回る場合、前記連続する２以上のシーンを構成する各立体画像フレームの代表視差が前記代表視差の下限を上回るよう前記代表視差を一律に調整する請求項４に記載の画像処理装置。
6. 前記シーン分離部は、所定の第１の基準に従って分離されたシーンのシーン視差幅が前記許容視差幅に適合しない場合、前記所定の第１の基準および前記所定の第１の基準と異なる第２の基準に従って前記立体動画を分離する請求項１〜５のいずれかに記載の画像処理装置。
7. 前記第２の基準は、前記第１の基準よりも前記シーンの変化の推定確度が低い請求項６に記載の画像処理装置。
8. 前記視差調整部は、前記シーン分離部が前記第１の基準および前記第２の基準に従って分離したシーンごとに、前記シーンのシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記シーンのシーン視差幅が前記許容視差幅に適合しないと判断した場合、前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう調整する請求項６または７に記載の画像処理装置。
9. 前記視差調整部は、隣接する２つのシーン間での代表視差の調整量の差が所定の閾値を超える場合、前記隣接する２つのシーン間での代表視差の調整量を平滑化する請求項１〜８のいずれかに記載の画像処理装置。
10. 前記統計的演算値は、前記立体画像フレームの視差の平均値、最大値、最小値、最頻値および中央値のうち少なくとも１つを含む請求項１〜９のいずれかに記載の画像処理装置。
11. 前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差の平均値、最大値、最小値、最頻値もしくは中央値およびクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差の平均値、最大値、最小値、最頻値もしくは中央値のうち少なくとも１つを含む請求項１０に記載の画像処理装置。
12. 前記所定の条件を満たす視差は、前記立体画像フレームに対する注視位置の視差を含む請求項１または１０に記載の画像処理装置。
13. 前記注視位置は、前記立体画像フレームの視聴者の注視点、前記立体画像フレームの撮影者の注視点または前記立体画像フレーム内で任意に指定された注視点を含む請求項１２に記載の画像処理装置。
14. 前記所定の条件を満たす視差は、顔領域の視差、合焦評価値算出領域の視差、画像中央領域の視差、前記立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差、または前記立体画像フレームの視差のうちクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差を含む請求項１または１０に記載の画像処理装置。
15. 前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差の最大値である第１の代表視差と、前記立体画像フレームの視差のうち所定の条件を満たす視差の最小値である第２の代表視差の双方を含み、
    前記シーン分離部は、前記第１の代表視差の最大値および前記第２の代表視差の最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、前記立体動画を複数のシーンに分離する請求項１〜１４のいずれかに記載の画像処理装置。
16. 代表視差取得部と、シーン分離部と、視差調整部と、出力部と、を備える画像処理装置において、
    前記代表視差取得部が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
    前記シーン分離部が、前記代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、前記立体動画を複数のシーンに分離するステップと、
    前記視差調整部が、前記シーン分離部の分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整するステップと、
    前記出力部が、前記視差調整部が代表視差を調整した立体画像フレームを出力するステップと、
    を実行し、
    前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理方法。
17. 代表視差取得部と、シーン分離部と、視差調整部と、出力部と、を備える画像処理装置において、
    前記代表視差取得部が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
    前記シーン分離部が、前記代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に適合しない場合、前記立体動画を複数のシーンに分離するステップと、
    前記視差調整部が、前記シーン分離部の分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整するステップと、
    前記出力部が、前記視差調整部が代表視差を調整した立体画像フレームを出力するステップと、
    を実行し、
    前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含む画像処理プログラム。
18. 請求項１７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images