JPWO2012023330A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Abstract

本発明の一態様は、画像処理装置が、立体動画の出力条件に従って前記立体動画の複数の立体画像フレームの各々の水平方向の視差を調整するステップと、視差調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部の左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用して、前記左右の補完対象領域の画像情報を補完するステップと、前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する画像処理方法を提供する。

Description

本発明は、画像処理に関し、特に、立体動画の各立体画像フレームの両眼視差の調整後の画像の補完処理に関する。

特許文献１によると、視差画像のシフトによる視差調整の結果、左眼画像と右眼画像の端にそれぞれ欠落部分が生じた場合、画像端調整部は、画像端の画素列を複製して水平画素数を補償する。

また、表示されたオブジェクトが限界視差にくれば、視差制御部が以降の立体表示において当該適正視差を実現するよう視差画像を生成する。視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙとすると、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）である。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施す。

特開２００４−２２１６７０号公報

視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変わるため、立体動画を構成する立体画像フレームごとに、それに合わせた視差調整を行う必要がある。

立体画像フレームごとに個別に視差調整を行うと、立体画像フレームごとに左右の画像の視差方向のシフト量が異なる場合がある。図１６Ａから図１６Ｄは、視差調整後の左右画像と欠落部分（左右画像に写っていない部分）の関係を模式的に示す図である。図１６Ａから図１６Ｄは、それぞれ時系列的に連続する立体画像フレームＦ（１）からＦ（４）を示している。図１６Ａから図１６Ｄでは、実線の無地の矩形部分が左眼画像Ｌ（ｉ）（ｉ＝１〜４）、破線の無地の矩形部分が右眼画像Ｒ（ｉ）（ｉ＝１〜４）を表しており、左眼画像Ｌ（ｉ）および右眼画像Ｒ（ｉ）の左右の斜線部がそれぞれ欠落部分Ｍ_Ｌ（ｉ）（ｉ＝１〜４）およびＭ_Ｒ（ｉ）（ｉ＝１〜４）を示している。なお、図１６Ａから図１６Ｄでは、理解の容易のため、左右画像Ｌ（ｉ）およびＲ（ｉ）は上下方向にずらして示されているが、実際には、左右の視差方向にのみずれている。図１６Ａから図１６Ｄに示すように、各フレームＦ（ｉ）の左眼画像Ｌ（ｉ）と右眼画像Ｒ（ｉ）（ｉ＝１〜４）の端の欠落部分Ｍ_Ｌ（ｉ）およびＭ_Ｒ（ｉ）が、立体画像フレームごとに異なっており、左右画像Ｌ（ｉ）およびＲ（ｉ）の視野（撮影される範囲）が異なっている。このため、立体動画の視聴者に違和感を与え、眼の疲労を誘発するおそれがある。このため、立体画像フレームにかかわらず、左右画像Ｌ（ｉ）およびＲ（ｉ）の視野（欠落部分の映像の範囲）を一致させた方が好ましい。

特許文献１では、静止画像について、個別に処理することのみが記載されている。特許文献１に記載の方法では、各立体画像フレームごとに画像端の欠落部分の位置が変動するおそれがある。また、画像端の画素列を複製するだけであり、観察者に違和感を与えることが考えられる。

本発明は、立体動画の各立体画像フレームの視差調整によって、各立体画像フレームごとに画像端の欠落の位置が変動するのを防止する。

本発明の一態様は、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得する視差取得部と、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整する視差調整部と、前記視差調整部によって視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定する基準境界設定部と、各立体画像フレームにおいて、前記基準境界設定部の設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完する画像処理部と、前記画像処理部が前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記視差調整部が調整した視差に従って出力する出力部とを備える画像処理装置を提供する。

基準境界設定部は、出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。

基準境界設定部は、視差調整部による水平方向の視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。

画像処理部は、左右の基準境界よりも出力面の外側に位置する左右の視点画像の画像情報を削除することが好ましい。

画像処理部は、隣接領域の画像情報を補完対象領域に複製することにより画像情報を補完する第１の補完処理を実施することが好ましい。

画像処理部は、隣接領域の色情報を補完対象領域に適用することにより画像情報を補完する第２の補完処理を実施することが好ましい。

画像処理部は、隣接領域の色の濃度勾配情報に従って隣接領域の色を補完対象領域に延長することにより画像情報を補完することが好ましい。

画像処理部は、左右の隣接領域の画像情報に含まれる直線を左右の補完対象領域に延長することにより画像情報を補完することが好ましい。

画像処理部は、左右の隣接領域の直線で区切られる部分領域ごとの色情報を、左右の補完対象領域に延長された直線で区切られる部分領域ごとに適用することにより画像情報を補完することが好ましい。

画像処理部は、隣接領域の画像情報が所定の基準を満たすか否かを判定し、判定結果に基づいて、第１の補完処理または第２の補完処理のいずれか一方を実施することが好ましい。

画像処理部は、隣接領域の高周波数成分の頻度が所定の閾値を上回る場合、第１の補完処理を実施し、隣接領域の高周波数成分の頻度が所定の閾値を上回らない場合、第２の補完処理を実施することが好ましい。

画像処理部は、左右の補完対象領域の画素数が所定の閾値を下回る場合、左右の隣接領域の色情報を左右の補完対象領域に適用することにより画像情報を補完することが好ましい。

基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超える場合、出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。

基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超えない場合、視差調整部による視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。

画像処理部は、左右の基準境界の近傍の画像情報を平滑化することが好ましい。

本発明の一態様は、画像処理装置が、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する画像処理方法を提供する。

本発明の一態様は、画像処理装置が、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行するための画像処理プログラムを提供する。

本発明の一態様は、コンピュータ読取可能な記録媒体であって、該記録媒体に格納された指令がプロセッサによって読み取られ実行された場合に、該プロセッサが、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する記録媒体を提供する。

この発明によると、各立体画像フレームに設定された基準境界の内側にある画像情報の非存在領域である補完対象領域に対し、隣接領域の画像情報が適用されることで、各立体画像フレームの画像情報の非存在領域が共通の基準境界まで補完される。このため、各立体画像フレームの画像情報の非存在領域の位置およびサイズが統一され、ユーザは違和感なく立体動画を視覚できる。また、補完対象領域の補完は隣接領域の画像情報を適用することで行われるため、基準境界付近での画像情報の差異が少なく、ユーザに与える違和感が小さい。

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 デジタルカメラのブロック図（つづき） 開散方向の視差の限界の模式図 モニタのサイズと表示許容最小視差の関係を示す図 視差調整処理のフローチャート 立体動画の代表視差−出力視差変換表の一例を示す図 視差幅調整の模式図 視差幅調整の模式図 負の方向への視差シフトの模式図 負の方向への視差シフトの模式図 視差幅調整後の視差シフトの模式図 視差幅調整後の視差シフトの模式図 正の方向への視差シフトの模式図 正の方向への視差シフトの模式図 画像端調整処理のフローチャート 各立体画像フレームに対応する非表示領域、補完対象領域の一例を示す図 直線とその区分領域ごとの色の延長の一例を示す図 視差調整量＝０の立体画像フレームに基づいて設定された基準線の一例を示す図 画像処理装置のブロック図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図

図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。

デジタルカメラ１０は、複数の撮像部（図１では２つを例示）を備えており、同一被写体を複数視点（図１では左右２つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため２つの撮像部を備えた場合を例に説明するが、本発明はこれに限定されず、３つ以上の撮像部を備えた場合であっても同様に適用可能である。

本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されている。カメラボディ１１２の正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし外部機器でもよい。

左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。

モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。

レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ：自動焦点合わせ）、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。

電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替えるための操作部材として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。

ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。

図３Ａおよび図３Ｂは、デジタルカメラ１０の要部を示すブロック図である。

デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像部と、左視点用の撮影光学系および撮像素子２９Ｌを有する左視点用の撮像部を備える。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）および絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９および絞り２０は、それぞれズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）および絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ（ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有している。この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続される。このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。

ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関２重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。

ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節部として機能する。ＣＣＤ２９のＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。

デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。

操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０〜１３４を含んでいる。

ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）６０やＲＯＭ６１に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。

また、デジタルカメラ１０には、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）／ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレームの各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２８を備える。

ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づき、ＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。

例えば、２つの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。

ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。

例えば、２つの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、２つの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。

姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。

手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。

ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。

顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。

視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。

例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。

あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。

対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。

表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。

表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４Ａに例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４Ｂのようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。

表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。

標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。（１）〜（４）の情報はユーザ操作やモニタ１３の設定情報などに基づいて外部から入力されてもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）〜（４）について特に外部から入力がない場合、上記標準的な例をＲＯＭ６１などから読み出して視差調整部２０２に入力する。

視差調整部２０２は、左右の画像データの代表視差の最大値および最小値を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収める視差調整を行う。この視差調整は、各代表視差を一律なシフト量で正（上）または負（下）の方向にシフトすることおよび／または各代表視差を一律な縮減率で縮減することを含む。

図５は、視差調整処理のフローチャートを示す。この処理をデジタルカメラ１０の各ブロックに実行させるためのプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記憶媒体に記憶されている。

Ｓ１０１では、視差調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、各立体画像フレームごとの代表視差の読み出しを試みる。

Ｓ１０２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。

Ｓ１０３では、視差調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ−ｐｍｉｎを計算する。そして、視差調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ１０５に進み、Ｎｏの場合はＳ１０４に進む。

Ｓ１０４では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差を調整する。

Ｓ１０５では、視差調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０６に進む。

Ｓ１０６では、視差調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０８に進む。

Ｓ１０７では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。

Ｓ１０８では、視差調整部２０２は、ＲＯＭ６１などに記憶されている代表視差−出力視差変換表をＳＤＲＡＭ３９に読み出す。視差調整部２０２は、ＲＯＭ６１などに記憶された代表視差−出力視差変換表に従って、各立体画像フレームの代表視差に対応する出力視差を決定する。

図６は、代表視差−出力視差変換表の一例を示す。図６に示す表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力視差を規定する。例えば、この表によると、Ｍ〜Ｍ＋ｔの代表視差はＮの出力視差，Ｍ〜Ｍ＋２ｔの代表視差はＮ＋１の出力視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力視差を示すと整数となる。

図７Ａから図１０Ｂは、本処理による視差調整の様子を模式的に示す。

図７Ａおよび図７Ｂは視差幅調整の一例を示す。図７Ａのように、立体動画視差幅が表示許容視差幅を超える場合、図７Ｂのように、立体動画視差幅が表示許容視差幅の範囲に収まるよう、各立体画像フレームの代表視差を一律な縮減率（Ｘ−Ｙ）／Ｘで縮減する。

Ｓ１０３からＳ１０７に至るパターンは、（１）Ｓ１０３でＹｅｓかつＳ１０５でＹｅｓ、（２）Ｓ１０３でＮｏかつＳ１０５でＹｅｓ、（３）Ｓ１０３でＹｅｓかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、（４）Ｓ１０３でＮｏかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、の４パターンがある。

図８Ａおよび図８Ｂは、パターン（１）すなわち視差幅調整のない場合の負の方向へのシフトを示す。

例えば、図８Ａに示すように、代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超えるが、立体動画視差幅は表示許容視差幅未満の場合、図８Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ１だけ負の方向にシフトし、全ての立体画像フレームの代表視差を表示許容視差幅の範囲に収める調整を行う。ここで、Ｗ１＝ｐｍｉｎ−Ｄｍｉｎである。

図９Ａおよび図９Ｂは、パターン（２）すなわち視差幅調整のある場合の負の方向へのシフトを示す。

図９Ａに示すように、視差幅調整後の代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超える場合も、図９Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ２だけ負の方向にシフトする。ここで、Ｗ２＝ｐｍｉｎ−Ｄｍｉｎである。

図１０Ａおよび図１０Ｂは、パターン（３）すなわち視差幅調整のない場合の正の方向へのシフトを示す。

あるいは、図１０Ａに示すように、代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合、図１０Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ３だけ正の方向にシフトする。ここで、Ｗ２＝Ｄｍｉｎ−ｐｍｉｎである。

パターン（４）の図示は省略するが、視差幅調整後の代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合も、同様に各立体画像フレームの代表視差を一律な幅だけ正の方向にシフトする。

図１１は、画像端調整処理のフローチャートを示す。この処理は、上記の視差調整処理の完了後に実行される。この処理をデジタルカメラ１０の各ブロックに実行させるためのプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記憶媒体に記憶されている。

Ｓ２０１では、画像処理部２０９は、各立体画像フレームに対する視差調整処理の結果、モニタ１３の表示面内に生じた、各立体画像フレームに対応する右非表示領域の中から、最小の横幅を有する右最小非表示領域を特定する。また、画像処理部２０９は、各立体画像フレームに対する視差調整処理の結果、モニタ１３の表示面内に生じた、各立体画像フレームに対応する左非表示領域の中から、最小の横幅を有する左最小非表示領域を特定する。

ここで、非表示領域とは、モニタ１３の表示面内において、左右の視点画像の画像情報が存在しない領域である。また、右非表示領域とは、表示面内の左視点画像よりも右側に位置する非表示領域であり、左非表示領域とは、表示面内の右視点画像よりも左側に位置する非表示領域である。

例えば、図１２のような、立体画像フレームＦ１〜Ｆ４に対応する左非表示領域／右非表示領域は、ＢＲ１（Ｌ）／ＢＲ１（Ｒ）〜ＢＲ４（Ｌ）／ＢＲ４（Ｒ）である。ＢＲ１（Ｌ）／ＢＲ１（Ｒ）〜ＢＲ４（Ｌ）／ＢＲ４（Ｒ）の中では、立体画像フレームＦ１に対応する非表示領域ＢＲ１（Ｌ）／ＢＲ１（Ｒ）の横幅すなわちモニタ１３の表示面の水平方向の長さが最小である。よって、画像処理部２０９は、左最小非表示領域としてＢＲ１（Ｌ）を特定し、右最小非表示領域としてＢＲ１（Ｒ）を特定する。

次に、画像処理部２０９は、左最小非表示領域の右端線ＬＮ（Ｌ）と右最小非表示領域の左端線ＬＮ（Ｒ）を、それぞれ各立体画像フレームに共通の左基準線および右基準線に設定する。

次に、画像処理部２０９は、立体画像フレームごとに、画面左側の非表示領域のうち左基準線ＬＮ（Ｌ）よりも表示面中央よりの部分領域である左補完対象領域を特定する。また画像処理部２０９は、立体画像フレームごとに、画面右側の非表示領域のうち右基準線ＬＮ（Ｒ）よりも表示面中央よりの部分領域である右補完対象領域を特定する。

図１２は、各フレームＦ１〜Ｆ４に対応する左補完対象領域ＥＬ１（Ｌ）〜ＥＬ４（Ｌ）と右補完対象領域ＥＬ１（Ｒ）〜ＥＬ４（Ｒ）を例示している。

そして、画像処理部２０９は、カレント立体画像フレームに対応する左補完対象領域の画素数と右補完対象領域の画素数を取得する。

Ｓ２０２では、画像処理部２０９は、カレント立体画像フレームの左補完対象領域の画素数と右補完対象領域の画素数が、ともに所定の閾値を超えているか否かを判断する。Ｙｅｓの場合はＳ２０３、Ｎｏの場合はＳ２０６に進む。なお、本処理の開始時、カレント立体画像フレームは、立体動画の最初の立体画像フレームであり、以後Ｓ２０８が繰り返されるごとにカレント立体画像フレームが切り替わる。

Ｓ２０３では、画像処理部２０９は、カレント立体画像フレームに対応する左右各視点画素の左端部の領域のうち、左補完対象領域の画素数に相当する領域である左補完基準領域から、高低各周波数成分の強度を示すヒストグラムを算出する。

また画像処理部２０９は、カレント立体画像フレームに対応する左右各視点画素の右端部の領域のうち、右補完対象領域の画素数に相当する領域である右補完基準領域から、高低各周波数成分の強度を示すヒストグラムを算出する。

図１２は、各フレームＦ１〜Ｆ４に対応する左補完基準領域Ｄ１（Ｌ）〜Ｄ４（Ｌ）と右補完基準領域Ｄ１（Ｒ）〜Ｄ４（Ｒ）を例示している。

Ｓ２０４では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っているか否かを判断する。Ｙｅｓの場合はＳ２０５、Ｎｏの場合はＳ２０６に進む。

また、画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っているか否かを判断する。Ｙｅｓの場合はＳ２０５、Ｎｏの場合はＳ２０６に進む。

Ｓ２０５では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っていると判断した場合、当該左補完基準領域の画像情報を当該左補完対象領域に複製することで、当該左補完対象領域の画像情報を補完する。

あるいは、画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っていると判断した場合、当該右補完基準領域の画像情報を当該右補完対象領域に複製することで、当該右補完対象領域の画像情報を補完する。

本ステップは、左右の補完基準領域に存在する特徴的な模様を左右の補完対象領域にそのまま複製することで、画像情報の補完を目立たなくするための処理である。

Ｓ２０６では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っていないと判断した場合、当該左補完基準領域の画像情報から濃度勾配情報と色情報を取得する。画像処理部２０９は、その濃度勾配情報に従って、当該色情報を左補完基準領域から左補完対象領域まで延長することで、当該左補完対象領域の画像情報を補完する。

画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っていないと判断した場合、当該右補完基準領域の画像情報から濃度勾配情報と色情報を取得する。画像処理部２０９は、その濃度勾配情報に従って、当該色情報を右補完基準領域から右補完対象領域まで延長することで、当該右補完対象領域の画像情報を補完する。

本ステップは、左右の補完基準領域に存在するグラデーションをそのまま補完対象領域に延長することで、画像情報の補完を目立たなくするための処理である。なお、典型的には、濃度勾配情報は画素の位置に応じた各色の濃度を決める関数である。

Ｓ２０８では、画像処理部２０９は、新たなカレント立体画像フレームとして、現在のカレント立体画像フレームよりも１フレーム分後の立体画像フレームを設定する。カレント立体画像フレームは、視差調整後の全立体画像フレームの中から１つずつ順次選択される。例えば、Ｓ２０１〜Ｓ２０７の第１〜４回目のループに対応するカレント立体画像フレームは、それぞれ図１２に示した立体画像フレームＦ１〜Ｆ４となる。

Ｓ２０９では、表示制御部４２は、Ｓ１０８で決定された出力視差に従い、画像情報の補完された各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。

なお、Ｓ２０５またはＳ２０６のいずれで補完を実行する場合も、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）の近傍の画像情報に対して平滑化処理を行い、元々の視点画像と補完された画像の間の境界部分にぼかしを与えることが好ましい。

以上の処理により、視差調整の結果、各立体画像フレームの外側に生じた非表示領域では、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）の位置まで統一して画像情報が補完される。この結果、立体画像フレームは全て共通したサイズとなり、立体画像フレームごとに画像の非表示領域のサイズが変動することがなくなるので、立体動画が観やすくなる。

さらに、補完対象領域への画像情報の補完は、グラデーションの延長か、画像情報のコピーのいずれかで行われる。補完対象領域の画素数が閾値より小さいか、補完基準領域に特徴的な高周波成分が少なければ、グラデーションの延長で画像情報が補完される。また補完領域の画素数が閾値より大きく、かつ補完基準領域に特徴的な高周波成分が多ければ、補完基準領域のコピーで画像情報が補完される。これにより、補完対象領域が不自然に目立つのを防げる。

＜第２実施形態＞
第１実施形態のＳ２０６において、補完基準領域の中に、補完対象領域に向けて延びる線分がある場合は、これを検出し、線分で区切られた領域ごとに色情報の延長を行う。これにより、補完対象領域と補完基準領域の統一感が増し、補完対象領域が不自然に目立つのをさらに効果的に防げる。

具体的には、画像処理部２０９は、カレント立体画像フレームの左右の補完基準領域から、直線を検出する。直線検出は公知の技術で行うことができる。例えば、特許公開２００８−４２８００号公報・特開平６−３１４３３９号公報に記載された方法のように、左右の補完基準領域に対して微分処理を施して画像中のエッジ成分を抽出し、抽出されたエッジ成分の点列に対してハフ変換を施し、ハフ変換の関数値に従うヒストグラムを作成し、そのヒストグラムの頻度のピーク点を検出して、補完基準領域中からその検出されたピーク点に対応する直線成分とその色を抽出する。

画像処理部２０９は、検出された直線成分のうち、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）に達するものを選別し、選別した直線成分を延長対象直線と判定する。

画像処理部２０９は、補完基準領域の中から、一対の延長対象直線で区切られた区分領域ごとに、色情報を取得する。次に、画像処理部２０９は、当該一対の延長対象直線を補完対象領域に延長する。延長対象直線の延長の際、色は同じものに保たれる。画像処理部２０９は、当該色情報を、当該延長後の一対の延長対象直線で区切られた延長区分領域に複製する。

さらに、画像処理部２０９は、区分領域ごとに、濃度勾配情報を取得し、この濃度勾配情報に従って対応する延長区分領域ごとにグラデーションを付してもよい。

図１３は、直線とその区分領域ごとの色の延長の一例を示す。このように、画像の表示されない領域に、画像の端の線と色を延長することで、立体動画の全体の雰囲気をくずすことが防がれる。

＜第３実施形態＞
第１実施形態では、最も視差調整量の大きい立体画像フレームの非表示領域に合わせて基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を設定し、各立体画像フレームにおいて、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を画面端の限界として非表示領域を補完していた。

その代わり、画像処理部２０９は、最も視差調整量の小さい立体画像フレームの非表示領域に合わせて基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を設定し、各立体画像フレームにおいて、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を限度として非表示領域を補完してもよい。

例えば、図１４では、立体画像フレームＦ１〜Ｆ４のうち、Ｆ３の視差調整量＝０が最も小さい。そこで、画像処理部２０９は、立体画像フレームＦ３の左非表示領域の右端線に相当するＬＮ（Ｌ）と、右非表示領域の左端線に相当するＬＮ（Ｒ）を、それぞれ立体画像フレームＦ１〜Ｆ４に共通の左右の基準線に設定する。

画像処理部２０９は、立体画像フレームＦ１〜Ｆ４の各々について、ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面内側に存在する非表示領域を補完する。例えば、立体画像フレームＦ１では、内側領域Ｒ１ｉｎがＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面内側に存在するため、Ｒ１ｉｎを補完する。補完の方法は第１実施形態と同様である。

さらに、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在する左右の視点画像の画像情報は削除されることが好ましい。画像処理部２０９は、立体画像フレームＦ１〜Ｆ４の各々について、ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在する左右の視点画像の部分領域を削除する。例えば、立体画像フレームＦ１では、外側領域Ｒ１ｏｕｔがＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在するため、Ｒ１ｏｕｔを削除し、非表示領域とする。

同様に、各フレームＦ２、Ｆ４にそれぞれ対応する外側領域Ｒ２ｏｕｔ、Ｒ４ｏｕｔならびに内側領域Ｒ２ｉｎ、Ｒ４ｉｎもそれぞれ削除または補完される。なお視差調整量が０のＦ３には画像情報の補完も削除もされない。

さらに、画像処理部２０９は、動画視差幅に応じて、第１実施形態または第３実施形態の補完処理を切り替えてもよい。

例えば、画像処理部２０９は、ある立体動画の動画視差幅が、所定の閾値を超える場合、第１実施形態の補完処理を実行する。第１実施形態の補完処理は画像の削除がないため、画像のオリジナルの状態をなるべく保ったまま表示するのに適している。逆に、立体画像フレームごとの視差が大きく変動する場合に、第３実施形態の補完処理を実行すると、画像情報の削除量が増えてしまうため、第１実施形態の補完処理が好ましい。

一方、画像処理部２０９は、ある立体動画の動画視差幅が、所定の閾値を超えない場合、第３実施形態の補完処理を実行する。立体画像フレームごとの視差が大きく変動しない場合、第３実施形態の補完処理を行えば、補完対象領域も小さくなり、立体動画の品質を高く保てるし、処理量も少ない。さらに、視差調整量が０の立体画像フレームをＬＮ（Ｌ）およびＬＮ（Ｒ）の設定基準とすれば、処理後の各立体画像フレームのアスペクト比をオリジナルのままに保つことができる。

いずれの方法で補完するにせよ、補完対象領域は注視点ではないので、補完によって立体動画全体の印象が大きく変わることはないと考えられる。

なお、上記の処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図１５に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部２０２、画像入力部２０１（例えば、画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、画像出力部２０８（例えば、モニタ１３、メディア制御部１５など）、画像処理部２０９を備えた画像処理装置がこの処理を実行することもできる。

画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。

画像出力部２０６が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、各立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。あるいはそれぞれの立体画像フレームをレンチキュラプリントのような印刷物とすることもできる。

また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。

上記の各実施形態に係る画像処理装置および画像処理方法は、立体動画の表示機能を有する画像処理装置または画像処理装置に適用可能なプログラムであって、上記の処理を行わせるためのコンピュータ読取可能なプログラムや、該プログラムが格納される記録媒体としても提供することが可能である。

４９：視差検出部、２０２：視差調整部、２０４：表示許容視差幅取得部、２０９：画像処理部

Claims (18)

1. 立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得する視差取得部と、
   前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整する視差調整部と、
   前記視差調整部によって視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定する基準境界設定部と、
   各立体画像フレームにおいて、前記基準境界設定部の設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完する画像処理部と、
   前記画像処理部が前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記視差調整部が調整した視差に従って出力する出力部と、
   を備える画像処理装置。
2. 前記基準境界設定部は、前記出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項１に記載の画像処理装置。
3. 前記基準境界設定部は、前記視差調整部による前記水平方向の視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項１に記載の画像処理装置。
4. 前記画像処理部は、前記左右の基準境界よりも前記出力面の外側に位置する左右の視点画像の画像情報を削除する請求項３に記載の画像処理装置。
5. 前記画像処理部は、前記隣接領域の画像情報を前記補完対象領域に複製することにより画像情報を補完する第１の補完処理を実施する請求項１から４のいずれかに記載の画像処理装置。
6. 前記画像処理部は、前記隣接領域の色情報を前記補完対象領域に適用することにより画像情報を補完する第２の補完処理を実施する請求項５に記載の画像処理装置。
7. 前記画像処理部は、前記隣接領域の色の濃度勾配情報に従って前記隣接領域の色を前記補完対象領域に延長することにより画像情報を補完する請求項６に記載の画像処理装置。
8. 前記画像処理部は、前記左右の隣接領域の画像情報に含まれる直線を前記左右の補完対象領域に延長することにより画像情報を補完する請求項７に記載の画像処理装置。
9. 前記画像処理部は、前記左右の隣接領域の直線で区切られる部分領域ごとの色情報を、前記左右の補完対象領域に延長された直線で区切られる部分領域ごとに適用することにより画像情報を補完する請求項８に記載の画像処理装置。
10. 前記画像処理部は、前記隣接領域の画像情報が所定の基準を満たすか否かを判定し、前記判定結果に基づいて、前記第１の補完処理または前記第２の補完処理のいずれか一方を実施する請求項６から９のいずれかに記載の画像処理装置。
11. 前記画像処理部は、前記隣接領域の高周波数成分の頻度が所定の閾値を上回る場合、前記第１の補完処理を実施し、前記隣接領域の高周波数成分の頻度が前記所定の閾値を上回らない場合、前記第２の補完処理を実施する請求項１０に記載の画像処理装置。
12. 前記画像処理部は、前記左右の補完対象領域の画素数が所定の閾値を下回る場合、前記左右の隣接領域の色情報を前記左右の補完対象領域に適用することにより画像情報を補完する請求項６から１１のいずれかに記載の画像処理装置。
13. 前記基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超える場合、前記出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項２に記載の画像処理装置。
14. 前記基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超えない場合、前記視差調整部による視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項４に記載の画像処理装置。
15. 前記画像処理部は、前記左右の基準境界の近傍の画像情報を平滑化する請求項１から１４のいずれかに記載の画像処理装置。
16. 画像処理装置が、
    立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    を実行する画像処理方法。
17. 画像処理装置が、
    立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    を実行するための画像処理プログラム。
18. コンピュータ読取可能な記録媒体であって、該記録媒体に格納された指令がプロセッサによって読み取られ実行された場合に、該プロセッサが
    立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    を実行する、記録媒体。

Images