JP5552197B2 - ３次元映像処理装置および方法 - Google Patents

Description

本発明は、立体画像を回転処理する３次元映像処理装置に関する。

特許文献１では、従来の３次元映像処理として、両眼視差量に応じて、被写体が近景であるほどエッジの強調処理を強めることを提案している。

特開平１１−１２７４５６号公報

本開示は、立体画像に対して画像面に平行な仮想回転軸を中心に回転させる処理を、より自然に行う３次元映像処理装置を提供する。

本開示における３次元映像処理装置は、立体画像の第１視点画像と第２視点画像とを比較して、第１視点画像に対する第２視点画像のずれを表すずれマップを生成するずれマップ生成部と、第１視点画像に対して、画像面に平行な仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第１視点画像を生成する第１の新画像生成部と、ずれマップに対して、仮想回転軸および回転角に基づいて補正処理を行い、補正ずれマップを生成するずれマップ補正部と、新第１視点画像から、補正ずれマップに基づいて、新第２視点画像を生成する第２の新画像生成部と、を備える。

本開示では、立体画像を回転処理した場合に、より自然な立体感を持つ立体画像に変換することができる。

本実施形態に係る３次元映像処理装置の機能構成を示す図 ずれマップの生成について説明するための図 画像とそれに対応したずれマップの一例 画像の回転処理（透視変換処理）の例 ずれマップに画像の回転処理と同じ処理を行った場合の例 図５のずれマップにおける奥行き関係を示す図 図３のずれマップに補正処理を行った例 新第１視点画像から補正ずれマップを用いて新第２視点画像を生成した例 新第１視点画像と新第２視点画像を重ね合わせた立体画像を示す図 図９における奥行き関係を示す図 本実施形態において立体画像を回転処理する方法を示すフローチャート

画像を回転する方法の一つに、画像面に平行であって、例えば略鉛直方向に設けた仮想的な回転軸を中心にして、画像平面を回転して表示する方法がある。このような表示方法は「透視変換」とも称される。ところが、立体画像の場合、２次元画像に行っていた従来の透視変換処理を行うだけでは、必ずしも適切な立体画像は得られない。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
＜１−１．構成＞
図１は本実施形態に係る３次元映像処理装置の一例としての、デジタルカメラの構成を示す図である。図１のデジタルカメラ１は、光学系１１０（ａ）および１１０（ｂ）、ズームモータ１２０、ＯＩＳ（Optical Image Stabilization）アクチュエータ１３０、フォーカスモータ１４０、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）、映像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、メモリカード２４０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、および撮影モード設定ボタン２９０を備えている。

光学系１１０（ａ）は、ズームレンズ１１１（ａ）、ＯＩＳ１１２（ａ）およびフォーカスレンズ１１３（ａ）を含む。また、光学系１１０（ｂ）は、ズームレンズ１１１（ｂ）、ＯＩＳ１１２（ｂ）およびフォーカスレンズ１１３（ｂ）を含む。なお、光学系１１０（ａ）は、第１視点における被写体像を形成する。また、光学系１１０（ｂ）は、第１視点とは異なる第２視点における被写体像を形成する。

ズームレンズ１１１（ａ）および１１１（ｂ）は、光学系の光軸に沿って移動することにより、被写体像を拡大または縮小可能である。ズームレンズ１１１（ａ）および１１１（ｂ）は、ズームモータ１２０によって制御される。

ＯＩＳ１１２（ａ）および１１２（ｂ）は、光軸に垂直な面内で移動可能な補正レンズを内部に有する。ＯＩＳ１１２（ａ）および１１２（ｂ）は、デジタルカメラ１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２（ａ）および１１２（ｂ）内において最大Ｌだけ中心から移動することができる。ＯＩＳ１１２（ａ）および１１２（ｂ）は、ＯＩＳアクチュエータ１３０によって制御される。

フォーカスレンズ１１３（ａ）および１１３（ｂ）は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３（ａ）および１１３（ｂ）は、フォーカスモータ１４０によって制御される。

ズームモータ１２０は、ズームレンズ１１１（ａ）および１１１（ｂ）を駆動制御する。ズームモータ１２０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１２０は、カム機構やボールネジなどの機構を介してズームレンズ１１１（ａ）および１１１（ｂ）を駆動するようにしてもよい。また、ズームレンズ１１１（ａ）および１１１（ｂ）を同じ動作で制御する構成にしても良い。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２（ａ）および１１２（ｂ）内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

フォーカスモータ１４０は、フォーカスレンズ１１３（ａ）および１１３（ｂ）を駆動制御する。フォーカスモータ１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３（ａ）および１１３（ｂ）を駆動するようにしてもよい。

ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）は、光学系１１０（ａ）および１１０（ｂ）で形成された被写体像を撮影して、第１視点画像および第２視点画像を生成する。ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）は、露光、転送、電子シャッタなどの各種動作を行う。この第１視点画像および第２視点画像は、対で視聴した際に立体映像を構成する。

映像処理部１６０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成された第１視点画像および第２視点画像に対して各種の処理を施す。映像処理部１６０は、第１視点画像および第２視点画像に対して処理を施し、液晶モニタ２７０に表示するための画像データ（以下、レビュー画像と称す）を生成する。また、映像処理部１６０は、メモリカード２４０に再格納するための映像信号を生成する。例えば、映像処理部１６０は、第１視点画像および第２視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。

また、映像処理部１６０は、コントローラ２１０からの制御信号に基づいて、第１視点画像および第２視点画像に対して、例えば、エッジ強調処理等のエンハンス処理を行う。

さらに、映像処理部１６０は、処理された第１視点画像および第２視点画像について、それぞれＪＰＥＧ規格に準拠した圧縮形式等により映像信号の圧縮を行う。第１視点画像および第２視点画像を圧縮して得られた２つの圧縮映像信号は、互いに関連付けられて、メモリカード２４０に記録される。なお、２つの圧縮映像信号は、マルチピクチャーフォーマット（以下、ＭＰＦと称す）を用いて記録されるのが望ましい。また、圧縮する映像信号が動画の場合、Ｈ．２６４／ＡＶＣ等の動画圧縮規格が適用される。また、ＭＰＦとＪＰＥＧ画像またはＭＰＥＧ動画とを同時に記録する構成にしても構わない。

さらに、映像処理部１６０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成された第１視点画像および第２視点画像または、メモリカード２４０に格納された第１視点画像および第２視点画像から、より自然な立体感を有する立体画像を構成する新第１視点画像および新第２視点画像を生成する。具体的に、映像処理部１６０は、新第１視点画像および新第２視点画像を生成するために、ずれマップ生成部１６２、第１の新画像生成部１６４、ずれマップ補正部１６５、および第２の新画像生成部１６６を備えている。

ずれマップ生成部１６２は、第１視点画像と第２視点画像とを比較して、第１視点画像に対する第２視点画像のずれを表すずれマップを生成する。ずれマップに表されたずれから、第１視点画像および第２視点画像に映し出される被写体間の画像奥行き方向における相対位置関係である深さ情報が、一意に特定される。ずれマップの生成については後述する。

第１の新画像生成部１６４は、後述する回転角情報に基づいて、第１視点画像に対して、仮想回転軸を中心にして回転させる回転処理（透視変換処理）を行い、新第１視点画像を生成する。なお、第１視点画像は、右目用画像および左目用画像のいずれであっても構わない。

ずれマップ補正部１６５は、ずれマップ生成部１６２が生成したずれマップを、第１視点画像に行う透視変換処理に基づいて補正する処理を行う。ずれマップ補正部１６５の具体的な補正内容については後述する。

第２の新画像生成部１６６は、新第１視点画像から、補正されたずれマップに基づいて、新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する。

映像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。

メモリ２００は、映像処理部１６０およびコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、映像処理部１６０で処理された映像信号または、映像処理部１６０で処理される前のＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）から入力される画像データを一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０（ａ）および１１０（ｂ）、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を示す。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

コントローラ２１０は、全体を制御する制御手段である。コントローラ２１０は、半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ２１０は、マイコンなどで実現できる。

ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ２２０から角速度情報を得て、この揺れを相殺する方向にＯＩＳ１１２（ａ）および１１２（ｂ）内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１に与えられる手振れは補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ２２０がロール角の角速度情報を計測可能な場合、デジタルカメラ１の略水平方向に移動した際の回転について考慮することが可能となる。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的および電気的にメモリカード２４０と接続可能である。

メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。要するに、メモリカード２４０はデータを格納できるものであればどのようなものでもよく、ＳＤカード、コンパクトフラッシュ、ＳＳＤ、ハードディスクドライブ、光ディスクなどでも構わない。

操作部材２５０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ２１０を介してＡＦ制御およびＡＥ制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。

また、操作部材２５０は、使用者から第１視点画像および第２視点画像の回転状況を示す回転角情報を受け付ける部材である。回転角情報によって、回転角すなわち、第１視点画像および第２視点画像を表示する際にこれらの画像をどの程度回転すべきかが決まる。例えば、操作部材２５０は使用者から９０度回転を示す回転角情報を受け付けて、当該回転角情報をコントローラ２１０に出力する。コントローラ２１０は、受け取った回転角情報に基づいて、映像処理部１６０に制御信号を出力する。映像処理部１６０は、コントローラ２１０から９０度回転の制御信号を受け付けると、第１視点画像および第２視点画像を９０度回転させる。

ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２７０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成した第１視点画像および第２視点画像、メモリカード２４０から読み出した第１視点画像および第２視点画像を、２次元表示または３次元表示可能な表示デバイスである。また、液晶モニタ２７０は、デジタルカメラ１の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

液晶モニタ２７０は、２次元表示の場合、第１視点画像および第２視点画像のいずれかを選択して表示しても構わないし、画面分割して第１視点画像と第２視点画像とを左右または上下に並べて表示しても構わない。あるいは、第１視点画像と第２視点画像とをライン毎に交互に表示しても構わない。

液晶モニタ２７０は、３次元表示の場合、第１視点画像と第２視点画像とをフレームシーケンシャルに表示しても構わないし、第１視点画像と第２視点画像とをオーバーレイして表示しても構わない。また、液晶モニタ２７０は、レンチキュラレンズまたは視差バリアを備え、第１視点画像と第２視点画像を裸眼で立体映像として表示可能に構成しても構わない。

内部メモリ２８０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２８０は、デジタルカメラ１全体を制御するための制御プログラム等を格納する。

撮影モード設定ボタン２９０は、デジタルカメラ１で撮影する際の撮影モードを設定するボタンである。撮影モードとは、ユーザが想定する撮影シーンを示すものであり、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モードを含む２次元撮影モード、（６）３次元撮影モードなどがある。なお、（１）〜（５）それぞれに対しての３次元撮影モードを持ってもよい。デジタルカメラ１は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ１が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。また、撮影モード設定ボタン２９０は、メモリカード２４０に記録される映像信号の再生モードを設定するボタンである。

＜１−２．映像処理部１６０の詳細動作に関して＞
以下、映像処理部１６０における動作の詳細について、図面を参照しながら説明する。

＜１−２−１．ずれマップの生成＞
まず、ずれマップの生成に関して説明する。図２は第１視点画像１１（ａ）および第２視点画像１２（ｂ）の一例を示す。第１視点画像１１および第２視点画像１２には、被写体１０１，１０２が映し出されている。

図２（ｃ）に示すように、ずれマップ生成部１６２は、例えばメモリ２００から読み出した第１視点画像１１を複数のサブ領域に分割し、このサブ領域を単位として、視差量（ずれ量）の検出を行う。サブ領域の個数は、デジタルカメラ１全体の処理量を基に設定してもかまわない。例えば、デジタルカメラ１の処理負荷を考慮した場合、処理量に余裕があればサブ領域の設定数を増やすように制御を行う。逆に、処理量に余裕がなければサブ領域の設定数を減らすように制御を行う。具体的には、デジタルカメラ１の処理量に余裕がある場合は、画素単位で視差量を検出する構成にしても構わないし、処理量に余裕がない場合は、１６×１６画素単位をサブ領域と設定し、当該サブ領域で１つの代表視差量を検出する構成にしても構わない。

なお、視差量は、例えば、第１視点画像１１に対する第２視点画像１２の水平方向のずれ量となる。この場合、ずれマップ生成部１６２は、第１視点画像１１におけるサブ領域と第２視点画像１２とのブロックマッチング処理を行う。ずれマップ生成部１６２は、ブロックマッチング処理の結果を基に、水平方向のずれ量を算出し、視差量を設定する。

図３は第１視点画像１１に対応したずれマップの一例を示す。図３のずれマップ１３において、第１視点画像１１と第２視点画像１２との水平方向のずれ量がピクセル値で表現されている。被写体の位置が奥にあるほどずれ量の値が大きくなるものとし、ずれ量は最大１００と設定している。なお、図面の記載を簡単にするため、ずれ量が１００（最大）のブロックについてはずれ量の記載を省略している。また、画像面の水平方向にＸ軸を、画像面の垂直方向にＹ軸を、画像面の手前から奥へ向かう方向にＺ軸を設定している。図３の例では、被写体１０１，１０２は概して同じずれ量１０を有し、背景はずれ量１００としている。また、被写体１０１，１０２と背景とが混在するブロックについては、そのブロックにおいて被写体が占める大きさと背景が占める大きさ等に基づいて、それぞれのずれ量の中間値が設定されている。

なお、被写体等の奥行きに対する値は、上記の説明に限られるものではない。また、撮影する手法によっても奥行きを数値化する際の方法は異なる。例えば、立体画像を撮影する際に、平行法で撮影する場合は、手前の被写体程ずれ量が大きくなる。反対に交差法で撮影する場合は、左眼と右眼の視点方向が交差する交点との相対関係でずれ量が異なる。交点より手前と交点より奥とではずれる方向が反対になる。本実施形態では、交差法で撮影された立体画像を用いた場合を説明するが、本開示はこれに限定されるものではない。

以上のようにして、被写体間の画像奥行き方向における相対位置関係を表す値が取得できる。ここでは、ずれ量が大きい領域は、ずれ量が小さい領域よりも奥に存在する。

なお、上記の説明において、水平方向のずれ量を単に画像のピクセル値で表現したが、他の値を用いても構わない。例えば、水平方向のずれ量を、画像の横サイズに対する、水平方向にずれているピクセル値の比率によって表現しても構わない。例えば、画像の横サイズが１９２０ピクセルであり、水平方向に４０ピクセルずれている場合、水平方向のずれ量は２％となる。

なお、映像処理部１６０が第１視点画像を回転（透視変換）させる場合、当該第１視点画像に対応したずれマップを取得するのが好ましい。ここで、第１視点画像に対応したずれマップとは、第１視点画像に映っている各被写体の視差量を表現した情報である。逆に第２視点画像に対応したずれマップも存在する。２つのずれマップが存在する理由は、第１視点画像と第２視点画像においてオクルージョンが発生するためである。このオクルージョンは、第１視点画像と第２視点画像の撮影位置が異なる場合に発生する。また、光軸のずれによる被写体の見え方の違い（例えば台形歪）によっても発生する。

＜１−２−２．新第１視点画像の生成＞
本開示で説明する回転（透視変換）処理は、図４に示すように、画像を、仮想回転軸としてのＹ軸を中心に回転させるものである。この回転処理では、平面画像に座標移動処理と拡大縮小処理とを行うことによって、画像を３次元空間で回転させているかのように見せる。図４の例では、回転処理により、Ｙ軸より左側の部分は相対的に手前に位置するように表示され、Ｙ軸より右側の部分は相対的に奥に位置するように表示される。またその際、例えば右側の部分は、遠近法と同様に、視聴者からの距離が遠くなるにつれて、横方向（Ｘ軸方向）及び縦方向（Ｙ軸方向）の大きさが縮小されて表示される。上記のような回転処理を、本開示では透視変換処理と称して説明する。

第１の新画像生成部１６４は、第１視点画像に対して、Ｙ軸を中心にして、与えられた回転角情報に従って透視変換処理を行い、新第１視点画像を生成する。ここでの透視変換処理は、従来の通常の画像（２Ｄ画像）で行っていた透視変換処理と同様に行えばよい。本開示では、この従来の透視変換処理について限定するものではない。

＜１−２−３．ずれマップの補正＞
ずれマップ補正部１６５は、ずれマップ生成部１６２が生成した第１視点画像１１を基準とするずれマップについて、立体画像に好適な変換処理を行う。

ここで、ずれマップに対して単純に従来からの透視変換処理を行うと、正確に立体画像を表現できないという問題が生じる。図５は図３で示したずれマップに、映像処理部１６０が第１視点画像に行った透視変換処理と同じ処理をした場合の例を示す図である。この場合、図５のそれぞれブロックにおける数値は、変換後のずれ量を示す。

図５に示すように、ずれ量について第１視点画像と同様の座標移動処理が行われているため、この座標移動に伴って、各ブロックにおけるずれ量は変化している。ただし、被写体１０１，１０２に係るずれ量自体は変わっておらず、ともに１０となっている。

図６はずれマップが表す被写体の位置関係を示した図であり、同図中、（ａ）が透視変換処理する前の状態、（ｂ）が透視変換処理後の状態である。図６（ａ）に示すように、透視変換処理前は被写体１０１，１０２が同じ奥行き１０を有している。一方、図６（ｂ）に示すように、透視変換処理によって被写体１０１は相対的に拡大され被写体１０２は相対的に縮小されるが、奥行き値は被写体１０１，１０２ともに１０のままである。すなわち、拡大された被写体１０１と縮小された被写体１０２とが同じ奥行き値を持つことになり、これは、実際の画像では透視変換処理によって左側の被写体１０１が手前に、右側の被写体１０２が奥に配されるという図４で示した内容と、矛盾する結果である。

これは、第１視点画像に行う透視変換処理と同じ処理を単純にずれマップに行った場合には、画像処理後の立体画像では、奥行きが正常に示されないことを示している。つまり、立体画像に対して正しく透視変換処理を行うためには、従来の通常画像（２Ｄ画像）に行っていた透視変換処理を行うだけでは不十分であり、ずれマップに対して立体画像に好適な変換処理を行う必要がある。

本実施形態では、ずれマップ補正部１６５は、ずれマップに対して、第１視点画像１１に対して行う透視変換処理とは異なる補正処理を行う。すなわち、この補正処理では、透視変換処理と共通の座標移動処理を行い、かつ、透視変換処理における画像の拡大縮小とは異なる、ずれ量の変換処理を行うものである。

図７は図３のずれマップを補正して得た補正ずれマップの一例である。図７の補正ずれマップでは、第１視点画像に対して行う透視変換処理と共通の座標移動処理が行われている。これに加えて、各領域のずれ量について、第１視点画像に対して行う透視変換処理における画像の拡大縮小とは異なる、変換処理が行われている。具体的には、透視変換処理時の仮想回転軸とその回転角に基づいて、手前に配される領域のずれ量を小さくし、奥に配される領域のずれ量を大きくしている。言いかえると、第１視点画像に対する透視変換処理における仮想回転軸より一方の側の領域のずれ量を、より手前側を示す値に補正し、仮想回転軸より他方の側の領域のずれ量を、より奥側を示す値に補正する。このような変換処理の結果、左側の被写体１０１は概してずれ量６を有しており、右側の被写体１０２は概してずれ量２４を有している。この補正によって、新第１視点画像と補正ずれマップとの間で、奥行き方向の情報が矛盾しなくなる。

なお、ここでは、ずれマップ補正部１６５が、水平方向においてずれ量を補正する例を示しているが、本開示はこれに限定されるものではない。すなわち、透視変換処理の仮想回転軸の方向と垂直な方向において、ずれ量を補正すればよい。

このように、ずれマップに対して、第１視点画像に行う透視変換処理と共通の座標移動処理を行い、かつ、各領域のずれ量に対して、この透視変換処理に基づく変換処理を行うことによって、透視変換処理後の立体画像における正常なずれ量の情報を生成することが可能となる。

なお、ここでの座標移動処理と、ずれ量の変換処理とは、どちらを先に実行してもかまわない。すなわち、ずれマップに対して、第１視点画像に行う透視変換処理と共通の座標移動処理を行い、その後、各領域のずれ量に対して変換処理を行ってもよいし、先にずれ量に対する変換処理を行い、その後、座標移動処理を行ってもかまわない。

＜１−２−４．新第２視点画像の生成＞
第２視点画像生成部１６６は、第１の新画像生成部１６４において生成された新第１視点画像から、ずれマップ補正部１６５において補正処理が行われた補正ずれマップに基づいて、新第２視点画像を生成する。図８は第２視点画像生成部１６６が生成した新第２視点画像の例を示す図である。第２視点画像生成部１６６は、新第１視点画像を、補正ずれマップのブロック毎のずれ量に応じてずらすことによって、新第２視点画像を生成する。

図９は透視変換処理後の新第１視点画像と新第２視点画像とを重ね合わせた場合の図であり、図１０は図９における被写体１０１，１０２の相対的な位置関係を示す図である。図１０に示すように、被写体１０１が奥行き６を有し、被写体１０２が奥行き２４を有しているため、被写体１０１が被写体１０２より手前に配置されている。そして図９に示すように、相対的に手前に配置される被写体１０１のずれ量Ｄ１が、相対的に奥に配置される被写体１０２のずれ量Ｄ２よりも小さくなっている。すなわち、新第１視点画像と新第２視点画像とでは、被写体間のずれについて整合性が保たれている。これにより、立体画像を透視変換処理した場合でも、変換処理後の画像について正常に立体感を保つことができる。

＜１−２−５．立体画像を回転処理する場合のフロー＞
図１１は上述した、映像処理部１６０が立体画像に対して回転処理する場合の処理フローを示す。

（Ｓ１１）まず、映像処理部１６０は、コントローラ２１０が出力する回転角情報を取得する。もし、映像処理部１６０が回転角情報を取得しない場合、フローはそのまま終了する。

（Ｓ１２）次に、映像処理部１６０は＜１−２−１＞に説明した方法を用いて、ずれマップを生成する。

（Ｓ１３）次に、映像処理部１６０は、コントローラ２１０が出力する回転角情報に基づいて、第１視点画像を透視変換処理し、新第１視点画像を生成する。

（Ｓ１４）映像処理部１６０は、コントローラ２１０が出力する回転角情報に基づいて、ずれマップを補正する。

（Ｓ１５）映像処理部１６０は、透視変換処理後の新第１視点画像および補正ずれマップに基づいて、当該透視変換後の新第１視点画像と対になる新第２視点画像を生成する。この場合、映像処理部１６０は、視聴者が新第１視点画像と新第２視点画像とを立体映像として視聴した際、補正ずれマップが示す被写体間の相対位置関係が保存されるように、新第２視点画像を生成する。なお、新第２視点画像の生成方法は、１枚の画像と補正ずれマップから対になる画像を生成する従来の方法であればどのような方法でも構わない。具体的には、２Ｄ−３Ｄ変換技術を用いれば実現することができる。

なお、Ｓ１１の動作は、Ｓ１３の動作前であればどのタイミングで行っても構わない。また、Ｓ１３の動作とＳ１４の動作とは、逆になっていてもよい。すなわち、新第２視点画像を生成する処理までに、補正ずれマップと新第１視点画像が生成されていればよい。

映像処理部１６０は、新第１視点画像および新第２視点画像からなる立体画像を、コントローラ２１０を介して液晶モニタ２７０に出力する。なお、映像処理部１６０は、新第１視点画像および新第２視点画像からなる立体画像を、コントローラ２１０およびカードスロット２３０を介してメモリカード２４０に出力してもかまわない。

＜１−３．効果等＞
以上のように、本実施の形態において、デジタルカメラ１は、ずれマップ生成部１６２と、第１の新画像生成部１６４と、ずれマップ補正部１６５と、第２の新画像生成部１６６とを備える。ずれマップ生成部１６２は、立体画像の第１視点画像と第２視点画像とを比較して、第１視点画像に対する第２視点画像のずれを表すずれマップを生成する。第１の新画像生成部１６４は、第１視点画像に対して、仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第１視点画像を生成する。ずれマップ補正部１６５は、ずれマップに対して、仮想回転軸および回転角に基づいて補正処理を行い、補正ずれマップを生成する。第２の新画像生成部１６６は、新第１視点画像から、補正ずれマップに基づいて、新第２視点画像を生成する。

これによると、回転処理後の新第１視点画像から、回転処理に基づいて補正された補正ずれマップに基づいて、立体映像として新第１視点画像と対になる新第２視点画像が生成される。このため、生成された新第１視点画像および新第２視点画像からなる立体映像は、より自然な立体感を持つものになる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

例えば、上述の実施の形態では、Ｙ軸を仮想回転軸とした回転処理について説明したが、これに限定されるものではなく、例えば、Ｘ軸すなわち水平方向の軸を仮想回転軸としてもよいし、斜め方向の軸を仮想回転軸としてもよい。すなわち、画像面に平行な仮想回転軸を中心とした回転処理であれば、上述した説明と同様の処理が実現可能である。

また、仮想回転軸は、画面の端にあってもよいし、画面の外にあってもよい。仮想回転軸が画像面の端部または外部にある場合には、ずれマップの補正を行う際のずれ量の変換処理は、画像の全体または少なくとも一部の領域のずれ量を、より手前側を示す値に補正すればよい。あるいは、画像の全体または少なくとも一部の領域のずれ量を、より奥側を示す値に補正すればよい。

また、与えられた回転角が微小値、例えばほぼゼロの場合、第１の新画像生成部１６４および第２の新画像生成部１６６のそれぞれにおける新画像の生成処理を休止させてもよい。このようにすれば、回転処理によって立体感が損なわれる可能性がある場合にのみ新第１視点画像および新第２視点画像の生成が行われるので、消費電力を低減することができる。

また、上記実施形態で説明したデジタルカメラ１において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。また、本開示に係る３次元映像処理装置は、説明で用いたデジタルカメラに限定されるものではなく、例えば、放送用カメラ、３次元映像の記録再生を行うレコーダーやプレーヤー、テレビ装置、フォトフレームや携帯情報端末のようなディスプレイ装置等であってもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、コンピュータプログラムとしてソフトウェアにより実現してもよい。コンピュータプログラムは、例えばコンピュータが読み取り可能な記録媒体に記録して配布可能である。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラ１をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、立体画像の回転処理をより自然に行う３次元映像処理装置に適用可能である。具体的には、３次元映像を撮影するデジタルカメラや放送用カメラ、３次元映像の記録再生を記録再生を行うレコーダーやプレーヤー、テレビ装置、フォトフレームや携帯情報端末のようなディスプレイ装置等に、本開示は適用可能である。

１ デジタルカメラ（３次元映像処理装置）
１６０ 映像処理部
１６２ ずれマップ生成部
１６４ 第１の新画像生成部
１６５ ずれマップ補正部
１６６ 第２の新画像生成部

Claims (9)

1. 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う３次元映像処理装置であって、
   前記立体画像の第１視点画像と第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成するずれマップ生成部と、
   前記第１視点画像に対して、前記仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第１視点画像を生成する第１の新画像生成部と、
   前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成するずれマップ補正部と、
   前記新第１視点画像から、前記補正ずれマップに基づいて、新第２視点画像を生成する第２の新画像生成部とを備えた
   ことを特徴とする３次元映像処理装置。
2. 請求項１記載の３次元映像処理装置において、
   前記補正処理は、前記回転処理と共通の座標移動処理を行い、かつ、前記回転処理における画像の拡大縮小とは異なる、ずれ量の変換処理を行うものである
   ことを特徴とする３次元映像処理装置。
3. 請求項２記載の３次元映像処理装置において、
   前記ずれマップ補正部は、前記変換処理において、前記回転処理における前記仮想回転軸より一方の側の領域のずれ量を、より手前側を示す値に補正し、前記仮想回転軸より他方の側の領域のずれ量を、より奥側を示す値に補正する
   ことを特徴とする３次元映像処理装置。
4. 請求項２記載の３次元映像処理装置において、
   前記ずれマップ補正部は、前記回転処理における前記仮想回転軸が前記画像面の端部または外部にある場合、前記変換処理において、全てまたは一部の領域のずれ量をより手前側を示す値に補正するか、全てまたは一部の領域のずれ量をより奥側を示す値に補正する
   ことを特徴とする３次元映像処理装置。
5. 請求項１記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記新第１視点画像を前記補正ずれマップに基づいてずらして、前記新第２視点画像を生成する
   ことを特徴とする３次元映像処理装置。
6. 請求項５記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記新第１視点画像と前記新第２視点画像とで構成される立体映像における被写体間の相対位置関係が、前記補正ずれマップから決まる相対位置関係と合うように、前記新第２視点画像を生成する
   ことを特徴とする３次元映像処理装置。
7. 請求項１〜６のうちいずれか１項記載の３次元映像処理装置において、
   前記回転角が微小値のとき、前記第１および第２の新画像生成部における処理を休止させる
   ことを特徴とする３次元映像処理装置。
8. 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う３次元映像処理方法であって、
   前記立体画像の第１視点画像と第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成し、
   前記第１視点画像に対して、前記仮想回転軸を中心に、与えられた回転角に従って回転処理を行い、新第１視点画像を生成し、
   前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成し、
   前記新第１視点画像から、前記補正ずれマップに基づいて、新第２視点画像を生成する
   ことを特徴とする３次元映像処理方法。
9. 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う３次元映像処理方法を、コンピュータに実行させるプログラムを記録する記録媒体であって、
   前記プログラムは、
   前記立体画像の第１視点画像と第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成し、
   前記第１視点画像に対して、前記仮想回転軸を中心に、与えられた回転角に従って回転処理を行い、新第１視点画像を生成し、
   前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成し、
   前記新第１視点画像から、前記補正ずれマップに基づいて、新第２視点画像を生成する
   処理をコンピュータに実行させる
   ことを特徴とするコンピュータ読み取り可能な記録媒体。

Images