JPWO2012001958A1 - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】 立体視用画像について適切に立体感を調整するとともに、調整の際にユーザーに違和感を生じさせないようにする。【解決手段】 画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整する。【選択図】図４

Description

本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できるようにすることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせ、これら複数の画像を合成して立体視用画像を生成した立体視用画像を、赤青メガネや偏光メガネ等の画像分離メガネを用いて、融合視することにより、立体視を可能にすることができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。

このように立体視を行う場合、クロスポイント位置から過剰に離れた被写体があるとユーザーに対して眼の疲労を起こさせるという問題があるため、立体視用画像の立体感を適切に調整する必要がある。そのため、立体視表示された立体視用画像の適切な視差量を判断して、この視差量に基づいて立体視用画像を生成する手法が提案されている（特許文献１〜４参照）。

特開平０８−２２３６０９号公報 特開平１０−０４８５６９号公報 特開平０９−２１８３７６号公報 特開平０８−２１１３３２号公報

しかしながら、特許文献１〜３の装置はいずれも立体視用画像に対するユーザーの注視点を検出して、この注視点の視差を適切に制御するものであり、ユーザーがクロスポイント位置から過剰に離れた被写体に対して注視点を合わせた場合はこの被写体にピントが合ってしまい、この被写体を注視してしまうため、ユーザーの眼の疲労を抑えることができないという問題がある。なお、特許文献１〜３の装置では、発明が解決しようとする課題の他にも、注視点を検出するための装置が必要となり、装置の構成や制御が複雑化するという問題もある。

また、特許文献４の手法は、画像中の被写体の配置状態に応じて視差を適切に制御するものであるが、スルー画状態や、動画撮影中もしくは動画再生中等、画像中の被写体の配置状態の変化が激しい場合には、頻繁に視差調節が行われて、逆にユーザーの眼の負担が大きくなるという問題がある。

本発明は上記事情に鑑みなされたものであり、立体視用画像について適切に立体感を調整することを目的とする。

本発明の画像処理装置は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像上の被写体毎に、複数の画像間の視差量を算出する視差量算出手段と、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整する視差調整手段とを備えたことを特徴とするものである。

なお、裸眼方式の立体表示と眼鏡方式の立体表示とでは、手前側と奥側の視差量で健康被害リスクが異なり、裸眼方式の立体表示の場合には被写体が手前側に飛び出しすぎる程ユーザーの眼に負担が掛かり、眼鏡方式の立体表示の場合には被写体が奥側に引っ込みすぎる程ユーザーの眼に負担が掛かることになるため、表示方式に応じて適切な処理を行う必要がある。

本発明の画像処理装置において、所定量は、立体表示の快適視聴範囲である、画面幅に対して２．９％の値とすることが好ましく、０とすればより好ましい。

また、所定フレーム数は、３以上７以下の数とすることが好ましく、４または５とすればより好ましい。

また、視点が異なる複数の画像を取得する画像取得手段と、画像取得手段の移動を検出する移動検出手段と、画像取得手段の移動が検出されている間は、視差調整手段に対して視差調整を禁止する制御手段とを備えたものとしてもよい。

このとき、画像取得手段の手ブレ量を検出する手ブレ量検出手段を備え、手ブレ量検出手段は、移動検出手段として機能するものとすることが好ましい。

本発明の画像処理方法は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整することを特徴とするものである。

本発明の画像処理方法においては、画像取得手段を用いて視点が異なる複数の画像を取得する際に、画像取得手段の移動を検出し、画像取得手段の移動が検出されている間は、視差調整を行なわないようにすることが好ましい。

本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整するようにして、クロスポイント位置から立体視における前後方向に過剰に離れた被写体を無くすようにしたので、ユーザーの眼の負担を軽減させることができる。その際、クロスポイント位置から前後方向に過剰に離れた被写体が所定フレーム数以上連続的に写っている場合のみ処理を行うようにしており、これにより例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応して視差調整が行なわれることが無くなるため、ユーザーの眼の負担をより軽減させることができる。

ここで、所定量を画面幅に対して２．９％の値とすれば、ユーザーの眼に過剰な負担となる被写体を無くすことができるため、ユーザーの眼の負担を軽減させることができる。また、所定量を０とすれば、クロスポイント位置から手前に飛び出す被写体が無くなるため、ユーザーの眼の負担をより軽減させることができる。

また、所定フレーム数は、少なすぎると例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることになるため、ユーザーに違和感を感じさせることになり、逆に多すぎると予期せぬ位置に被写体が居続けた場合でもクロスポイント位置調整がなかなか行なわれなくなってしまうため、ユーザーの眼の負担を増加させてしまう。そのため、適切な範囲として３以上７以下の数とすることが好ましく、４または５とすればより好ましい。

また、画像取得手段を用いて視点が異なる複数の画像を取得する際に、画像取得手段の移動を検出し、画像取得手段の移動が検出されている間は、視差調整を行なわないようにすることにより、例えば流し撮り撮影を行なう場合等において急激なクロスポイント位置変化を生じさせないようにすることができるため、ユーザーの眼の負担を抑えることができる。

このとき、近年では一般的に画像取得手段（例えばカメラ等）が備えている手ブレ量検出手段（例えばジャイロセンサー等）を、画像取得手段の移動を検出する移動検出手段として兼用すれば、新たな構成部品を追加することなく本発明を実現することが可能となる。

本発明の第１の実施の形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図 第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図 上記複眼カメラの３次元処理部の構成を示す概略ブロック図 第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート 撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（１） 立体感調整後の表示画像の一例を示す図 立体感の調整を行なうタイミングを説明するための図 眼鏡方式の場合の視差調節について説明するための図 本発明の第２の実施の形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図 第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート 撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（２）

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施の形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図、図２は上記複眼カメラの撮影部の構成を示す図、図３は上記複眼カメラの３次元処理部の構成を示す概略ブロック図である。

図１に示すように本実施の形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、ＣＰＵ３３、および移動制御部３５を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａおよび２１Ｂの垂直方向の位置は同一であるものとする。また、移動制御部３５については第１の実施の形態では使用しないため、後述の第２の実施の形態において説明する。

図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。

フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。

ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。

絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を画像ＧＲ、撮影部２１Ｂにより取得される画像データにより表される画像を画像ＧＬとする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて露出値を決定し、露出値に基づいて絞り値とシャッタ速度とを決定して撮影部２１Ａ，２１Ｂに出力する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して画像ＧＲ，ＧＬの本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるためのスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬのデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために画像ＧＲ，ＧＬの本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、画像ＧＲ，ＧＬの画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬを表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像ＧＲ，ＧＬをモニタ２０に２次元表示させたり、記録メディア２９に記録されている画像ＧＲ，ＧＬをモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた画像ＧＲ，ＧＬをモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、画像ＧＲ，ＧＬのスルー画像がモニタ２０に３次元表示される。

３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬに３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、画像ＧＲ，ＧＬを並べて表示して裸眼平行法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像ＧＲ，ＧＬを表示することにより、左右の目に画像ＧＲ，ＧＬを入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に画像ＧＲ，ＧＬをバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

なお、本実施の形態の説明では、立体視表示の方式としてレンチキュラー方式（裸眼方式）を採用した場合について説明する。

従って、３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬ中の所定の点をクロスポイントとして設定し、画像ＧＲ，ＧＬ中のクロスポイントがモニタ２０上で同じ位置に表示されるように、画像ＧＲ，ＧＬからモニタ２０上での表示範囲を切り出す処理を行う。

図３に示すように、３次元処理部３０は、対応点検出部４１、位置ズレ量測定部４２、二重像判定部４３、および視差調節部４４を備える。対応点検出部４１は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。位置ズレ量測定部４２は、特徴点毎に対応する対応点との間のズレ量を測定する処理を行う。二重像判定部４３は、クロスポイント位置から手前に飛び出すことになる被写体、およびクロスポイント位置から奥に引っ込むことになる被写体の判定を行なう。視差調節部４４は、画像ＧＲ，ＧＬから表示領域として切り出す位置を調整することにより、各被写体の視差を調節する処理を行う。

ＣＰＵ３３は、レリーズボタンおよび十字キー等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

次に、第１の実施の形態において行われる処理について説明する。図４は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図５は撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（１）、図６は立体感調整後の表示画像の一例を示す図、図７は立体感の調整を行なうタイミングを説明するための図、図８は眼鏡方式の場合の視差調節について説明するための図である。

ここではスルー画の立体視用画像をモニタ２０に表示する場合について説明するが、動画や静止画をモニタ２０に表示する場合についても同様である。まず、スルー画の表示に先立って、クロスポイント位置を手前限界位置に合わせて視差調節を行う（ステップＳ１）。次いで立体視用画像を生成するための２つの画像ＧＲ、ＧＬ（スルー画）を取得する（ステップＳ２）。

次に、撮影部２１Ａ，２１Ｂに対するズーム操作が行なわれているか判定し（ステップＳ３）、Ｙｅｓの場合には、ステップＳ１に遷移して、処理を最初からやり直す。ステップＳ３における判定でＮｏの場合には、撮影部２１Ａ，２１Ｂに対するフォーカス操作を行い（ステップＳ４）、図５に示すように、２つの画像ＧＲ、ＧＬのうち一方を基準として、基準画像の中央を暫定クロスポイント位置とした視差調節を行う（ステップＳ５）。

次に、視差ズレ分布マップを作成して（ステップＳ６）、最も手前に位置する被写体を特定し（ステップＳ７）、最も手前に位置する被写体が基準画像の中央に位置する被写体よりも手前にあるか判定し（ステップＳ８）、Ｙｅｓの場合には、最手前二重像判定値として「１」を取得し（ステップＳ９）、Ｎｏの場合には、最手前二重像判定値として「０」を取得する（ステップＳ１０）。

次に、最手前二重像判定値が連続「１」となった回数が、所定の閾値を超えているか判定し（ステップＳ１１）、Ｙｅｓの場合には、図６に示すように、最手前二重像をクロスポイント位置とした視差調節、すなわちクロスポイント位置から被写体が全く手前に飛び出さないような処理を行う（ステップＳ１２）。なお、上記に限らず、最手前二重像の視差が、立体表示の快適視聴範囲である、画面幅に対して２．９％の値を超えないような処理を行うようにしてもよい。ステップＳ１１における判定でＮｏの場合には、基準画像の中央をクロスポイント位置とした視差調節を行う（ステップＳ１３）。

ステップＳ１２もしくはステップＳ１３の後は、スルー画表示状態が続く限り、ステップＳ２に遷移して、上記の処理ループを繰り返し行う。なお、この処理ループは、１フレームに毎に行なわれる。

初回の処理でステップＳ１１の判定がＹｅｓとなることは無いが、図７に示すように、上記の処理ループを繰り返していると、最手前二重像判定値の連続「１」となる回数が所定の閾値を超える状態、すなわち画像上で暫定クロスポイント位置から手前側に所定量以上離れた位置に被写体が所定フレーム数以上連続的に写っている状態が発生することがある。

ここで、所定フレーム数は、少なすぎると例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることになるため、ユーザーに違和感を感じさせることになり、逆に多すぎると手前に被写体が位置し続けた場合でもクロスポイント位置調整がなかなか行なわれなくなってしまうため、ユーザーの眼の負担を増加させてしまう。そのため、適切な範囲として３以上７以下の数とすることが好ましく、４または５とすればより好ましい。本実施の形態では４フレームに設定したものとして説明する。

図７に示すように、最手前二重像判定値が連続「１」となる回数が閾値３を超えた状態（すなわち連続４回目が検出された状態）が検出されると、最手前二重像をクロスポイント位置とした視差調節を行う。

上記の構成とすることにより、立体視用画像について適切に立体感を調整することができる。その際、手前側に過剰に飛び出した被写体が所定フレーム数以上連続的に写っている場合のみ処理を行うようにしており、これにより例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることが無くなるため、ユーザーの眼の負担を抑えることができる。

なお、上記実施の形態では、立体視表示の方式としてレンチキュラー方式（裸眼方式）を採用した場合について説明したが、裸眼方式の立体表示と眼鏡方式の立体表示とでは、手前側と奥側の視差量で健康被害リスクが異なり、眼鏡方式の立体表示の場合には被写体が奥側に引っ込みすぎる程ユーザーの眼に負担が掛かるため、その場合は、図８に示すように、最奥二重像をクロスポイント位置とする視差調節を行えばよい。

次いで、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態による画像処理装置を適用した複眼カメラは、第１の実施の形態による複眼カメラ１とほぼ同様の構成を有するため、同様の構成部分についての詳細な説明は省略する。図９は本発明の第２の実施の形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図、図１０は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図１１は撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（２）である。

上記第１の実施の形態では手前二重像に視差を自動的に調節するようにしていたが、このような態様で動きのある被写体を追いかけて撮影（流し撮り撮影）すると、撮影部２１Ａ，２１Ｂと被写体の距離関係が逐次変化し、その結果頻繁に視差の調節が行われてユーザーの眼に負担を掛かるおそれがある。そのため、第２の実施の形態による複眼カメラは、流し撮り撮影を行なう場合等において急激なクロスポイント位置変化を生じさせないようにしたものであり、第１の実施の形態による複眼カメラ１の構成と比較して、移動制御部を活用する点が異なるものである。

図９に示すように、３次元処理部３０は、対応点検出部４１、位置ズレ量測定部４２、二重像判定部４３、および視差調節部４４を備える。対応点検出部４１は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。位置ズレ量測定部４２は、特徴点毎に対応する対応点との間のズレ量を測定する処理を行う。二重像判定部４３は、クロスポイント位置から手前に飛び出すことになる被写体、およびクロスポイント位置から奥に引っ込むことになる被写体の判定を行なう。視差調節部４４は、画像ＧＲ，ＧＬから表示領域として切り出す位置を調整することにより、各被写体の視差を調節する処理を行う。

また、移動制御部３５は、手ブレ制御部５１、および動き判定部５２を備える。手ブレ制御部５１は、撮影部２１Ａ，２１Ｂに対する手ブレ補正を行うものであり、撮影部２１Ａ，２１Ｂの手ブレ補正量を検出するためのジャイロセンサーを備えている。動き判定部５２は、ジャイロセンサーからの信号を受信して、撮影部２１Ａ，２１Ｂの移動を検出する処理を行う。

次に、第２の実施の形態において行われる処理について説明する。

ここでは流し撮り撮影が行なわれる可能性がある場合の処理について説明する。本実施の形態では、図１１に示すように、通常の動画や静止画やスルー画の撮影時と、流し撮り撮影時とでは、異なるクロスポイント位置調節処理を行う。

まず不図示の動画撮影開始ボタン（Ｓ１）が押下されたか判定し（ステップＳ１０１）、Ｎｏの場合には、自動フォーカス調整を行い（Ｓ１０６）、手前二重像判定を行い（Ｓ１０７）、手前二重像がクロスポイント位置となるように視差調節を行い（Ｓ１０８）、再度ステップＳ１０１に遷移する。

ステップＳ１０１における判定でＹｅｓの場合には、２つの画像ＧＲ、ＧＬのうち一方を基準として、基準画像の中央を暫定クロスポイント位置とした視差調節を行い（ステップＳ１０２）、手ブレ制御部５１における手ブレ信号の解析を行う（ステップＳ１０３）。

次に、撮影部２１Ａ，２１Ｂの移動が検出されたか判定し（ステップＳ１０４）、Ｙｅｓの場合には、流し撮り撮影終了まで視差を固定し（ステップＳ１０５）、処理を終了する。

ステップＳ１０４における判定でＮｏの場合には、Ｓ１０７に遷移して、上記の処理ループを繰り返す。

上記の構成としても上記第１の実施の形態と同様の効果を得ることができ、さらに流し撮り撮影が行なわれた場合でも、適切な処理を行うことができる。

以上、本発明の実施の形態に係る装置について説明したが、コンピュータを、上記の３次元処理部３０に対応する手段として機能させ、各実施の形態における処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。

また、本発明の画像処理装置は、複眼カメラに適用する場合に限るものではなく、画像表示装置等の他の装置に適用してもよい。

Claims (10)

1. 視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
   前記画像上の被写体毎に、前記複数の画像間の視差量を算出する視差量算出手段と、
   前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、該被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、
   前記表示位置調整対象被写体の視差の絶対値が、調整後に前記所定量以上にならないように視差を調整する視差調整手段とを備えたことを特徴とする画像処理装置。
2. 前記所定量が、画面幅に対して２．９％の値であることを特徴とする請求項１記載の画像処理装置。
3. 前記所定量が、０であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記所定フレーム数が、３以上７以下の数であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記所定フレーム数が、４または５であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 視点が異なる複数の画像を取得する画像取得手段と、
   前記画像取得手段の移動を検出する移動検出手段と、
   前記画像取得手段の移動が検出されている間は、前記視差調整手段に対して視差調整を禁止する制御手段とを備えたことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記画像取得手段の手ブレ量を検出する手ブレ量検出手段を備え、
   該手ブレ量検出手段が、前記移動検出手段として機能するものであることを特徴とする請求項６記載の画像処理装置。
8. 視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
   前記画像上の被写体毎に、前記複数の画像間の視差量を算出し、
   前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、該被写体を表示位置調整対象被写体として特定し、
   前記表示位置調整対象被写体の視差の絶対値が、調整後に前記所定量以上にならないように視差を調整することを特徴とする画像処理方法。
9. 画像取得手段を用いて視点が異なる複数の画像を取得する際に、
   前記画像取得手段の移動を検出し、
   前記画像取得手段の移動が検出されている間は、視差調整を行なわないことを特徴とする請求項８記載の画像処理方法。
   
10. 請求項８または９記載の画像処理方法をコンピュータに実行させるためのプログラム。
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

Images