JP5325336B2 - ３次元映像処理装置、方法、およびプログラム - Google Patents

Description

本発明は、３次元映像撮影装置や３次元映像表示装置等に好適な３次元映像処理装置、方法、およびプログラムに関する。

両眼視差をもって左右の映像を撮影し、撮影した左右の映像を独立して左右の目に投影できる表示装置に表示することにより、３次元映像信号を再現する手法（以下、３次元視聴と称す）が知られている。左右の映像を取得する方法としては、２台のカメラを横に並べ同期撮影する方法または、２つの光学系を基に形成される別視点での被写体像を撮影する方法が一般的である。

上記の方法を用いて３次元映像信号を撮影した場合、撮影して得られる映像信号は、視聴者が２次元映像信号として視聴した際に最適な映像信号として処理される。そのため、当該映像信号を３次元映像信号として視聴する際には、当該画像信号に対して３次元視聴に適した信号処理（以下、３次元映像処理と称す）を行う必要がある。

従来の３次元映像処理として、特許文献１では、両眼視差量に応じて、被写体が近景であるほどエッジの強調処理を強めることを提案している。

特開平１１−１２７４５６号公報

ところで、特許文献１に記載されるような従来の３次元映像処理を行う場合、２台のカメラまたは２つの光学系は、被写体の略鉛直方向と直交する直線上に配置する必要がある。

しかし、一般的な撮影においては、被写体の略鉛直方向と直交する直線上に２台のカメラまたは２つの光学系を配置せずに撮影することもあり得る。例えば、カメラの縦撮りがこれに該当する。このように撮影した対となる２枚の画像を回転させて表示する場合、意図する立体感のある画像として視聴することができない。

上記問題に鑑み、本発明は、３次元映像として撮影された対となる２枚の画像を、より自然な立体感を持って表示されるように処理することを課題とする。

本発明の一局面に従うと、３次元映像処理装置は、立体映像を構成する２枚の画像である第１視点における第１視点画像と第２視点における第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成するずれマップ生成部と、前記第１視点画像および前記第２視点画像の回転状況を示す回転角情報に基づいて、前記第１視点画像を回転処理して新第１視点画像を生成する第１の新画像生成部と、前記第１視点画像および前記ずれマップに基づいて、前記新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する第２の新画像生成部とを備えている。

これによると、第１視点画像に対する第２視点画像のずれを表すずれマップが生成され、第１視点画像が回転処理されて新第１視点画像が生成され、第１視点画像およびずれマップに基づいて、立体映像として新第１視点画像と対になる新第２視点画像が生成される。こうして生成された新第１視点画像および新第２視点画像は、立体映像として、より自然な立体感を持つものである。

具体的には、前記第２の新画像生成部は、前記第１視点画像および前記ずれマップを前記回転角情報に基づいて回転処理し、当該回転処理した第１視点画像を当該回転処理したずれマップに基づいてずらして前記新第２視点画像を生成する。なお、前記第２の新画像生成部は、前記回転処理した第１視点画像として、前記第１の新画像生成部が生成した新第１視点画像を使用してもよい。

あるいは、具体的には、前記第２の新画像生成部は、前記ずれマップに基づいて、前記第１視点画像を前記回転角情報によって決まる軸方向にずらした画像を生成し、当該生成した画像を前記回転角情報に基づいて回転処理して前記新第２視点画像を生成する。

好ましくは、前記第２の新画像生成部は、前記新第１視点画像と前記新第２視点画像とで構成される立体映像における被写体間の相対位置関係が前記回転角情報に基づいて回転処理したずれマップから決まる相対位置関係となるように、前記新第２視点画像を生成する。

また、好ましくは、上記の３次元映像処理装置は、前記第１視点画像および前記第２視点画像の回転角がほぼゼロの場合、前記第１および第２の新画像生成部のそれぞれにおける新画像の生成を休止させる。

本発明によると、３次元映像を構成する３枚の画像が回転して撮影されたものであっても、これら画像を、より自然な立体感を持って表示されるように処理することができる。

図１は、本発明の一実施形態に係る３次元映像処理装置を示す模式図である。 図２は、第１視点画像および第２視点画像の例を示す図である。 図３は、第１視点画像とそれに対応したずれマップの例を示す図である。 図４は、新第２視点画像の生成フロー図である。 図５は、回転処理した第１視点画像とそれに対応したずれマップの例を示す図である。 図６は、新第２視点画像の他の生成フロー図である。 図７は、第１視点画像と対になる画像の例を示す図である。 図８は、新第１視点画像および新第２視点画像の例を示す図である。

（実施形態）
以下、本発明に係る３次元映像処理装置をデジタルカメラに適用した場合の実施形態について図面を参照しながら説明する。

＜１−１.デジタルカメラの構成＞
本実施形態に係るデジタルカメラの構成について図１を用いて説明する。デジタルカメラ１は、光学系１１０（ａ）および１１０（ｂ）、ズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）、映像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、メモリカード２４０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、モード設定ボタン２９０を備える構成となる。

光学系１１０（ａ）は、ズームレンズ１１１（ａ）、ＯＩＳ１１２（ａ）、フォーカスレンズ１１３（ａ）を含む。また、光学系１１０（ｂ）は、ズームレンズ１１１（ｂ）、ＯＩＳ１１２（ｂ）、フォーカスレンズ１１３（ｂ）を含む。なお、光学系１１０（ａ）は、第１視点における被写体像を形成する。また、光学系１１０（ｂ）は、第１視点とは異なる第２視点における被写体像を形成する。

ズームレンズ１１１（ａ）および１１１（ｂ）は、光学系の光軸に沿って移動することにより、被写体像を拡大または縮小可能である。ズームレンズ１１１（ａ）および１１１（ｂ）は、ズームモータ１２０によって制御される。

ＯＩＳ１１２（ａ）および１１２（ｂ）は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２（ａ）および１１２（ｂ）は、デジタルカメラ１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２（ａ）および１１２（ｂ）内において最大Ｌだけ中心から移動することができる。ＯＩＳ１１２（ａ）および１１２（ｂ）は、ＯＩＳアクチュエータ１３０によって制御される。

フォーカスレンズ１１３（ａ）および１１３（ｂ）は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３（ａ）および１１３（ｂ）は、フォーカスモータ１４０によって制御される。

ズームモータ１２０は、ズームレンズ１１１（ａ）および１１１（ｂ）を駆動制御する。ズームモータ１２０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１２０は、カム機構やボールネジなどの機構を介してズームレンズ１１１（ａ）および１１１（ｂ）を駆動するようにしてもよい。また、ズームレンズ１１１（ａ）および１１１（ｂ）を同じ動作で制御する構成にしても良い。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２（ａ）および１１２（ｂ）内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

フォーカスモータ１４０は、フォーカスレンズ１１３（ａ）および１１３（ｂ）を駆動制御する。フォーカスモータ１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３（ａ）および１１３（ｂ）を駆動するようにしてもよい。

ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）は、光学系１１０（ａ）および１１０（ｂ）で形成された被写体像を撮影して、第１視点画像および第２視点画像を生成する。ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）は、露光、転送、電子シャッタなどの各種動作を行う。この第１視点画像および第２視点画像は、対で視聴した際に立体映像を構成する。

映像処理部１６０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成された第１視点画像および第２視点画像に対して各種の処理を施す。映像処理部１６０は、第１視点画像および第２視点画像に対して処理を施し、液晶モニタ２７０に表示するための画像データ（以下、レビュー画像と称す）を生成する。また、映像処理部１６０は、メモリカード２４０に再格納するための映像信号を生成する。例えば、映像処理部１６０は、第１視点画像および第２視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。

また、映像処理部１６０は、コントローラ２１０からの制御信号に基づいて、第１視点画像および第２視点画像に対して、例えば、エッジ強調処理等のエンハンス処理を行う。

さらに、映像処理部１６０は、上記処理された第１視点画像および第２視点画像に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により映像信号を圧縮する。第１視点画像および第２視点画像を圧縮して得られる圧縮映像信号は２つが関連付けられて、メモリカード２４０に記録される。なお、２つが記録される際、マルチピクチャーフォーマット（以下、ＭＰＦと称す）を用いて記録されるのが望ましい。また、圧縮する映像信号が動画の場合、Ｈ．２６４／ＡＶＣ等の動画圧縮規格が適用されることになる。また、ＭＰＦと、ＪＰＥＧ画像またはＭＰＥＧ動画と、を同時に記録する構成にしても構わない。

さらに、映像処理部１６０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成された第１視点画像および第２視点画像または、メモリカード２４０に格納される第１視点画像および第２視点画像から、より自然な立体感を有する立体画像を構成する新第１視点画像および新第２視点画像を生成する。具体的に、映像処理部１６０は、新第１視点画像および新第２視点画像を生成するために、ずれマップ生成部１６２、第１の新画像生成部１６４、および第２の新画像生成部１６６を備えている。

ずれマップ生成部１６２は、第１視点画像と第２視点画像とを比較して、第１視点画像に対する第２視点画像のずれを表すずれマップを生成する。ずれマップに表されたずれから、第１視点画像および第２視点画像に映し出される被写体間の画像奥行き方向に対する相対位置関係である深さ情報が一意に特定される。ずれマップの生成については後述する。

第１の新画像生成部１６４は、後述する回転角情報に基づいて、第１視点画像を回転処理して新第１視点画像を生成する。なお、第１視点画像は、右目用画像および左目用画像のいずれであっても構わない。

第２の新画像生成部１６６は、第１視点画像およびずれマップに基づいて、新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する。新第２視点画像の生成方法として２つの方法がある。一つは、回転角情報に基づいて第１視点画像およびずれマップを回転処理し、回転後のずれマップに基づいて回転後の第１視点画像をずらして新第２視点画像を生成するというものである。この場合、第１視点画像を回転処理して得られる画像は第１の新画像生成部１６４が生成する新第１視点画像に他ならないため、第２の新画像生成部１６６は、回転処理後の第１視点画像として、第１の新画像生成部１６４が生成した新第１視点画像を使用してもよい。そして、もう一つは、ずれマップに基づいて第１視点画像を回転角情報によって決まる軸方向にずらした画像を生成し、当該生成した画像を回転角情報に基づいて回転処理して新第２視点画像を生成するというものである。これら２つの方法による新第２視点画像の生成の例については後述する。

映像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。

メモリ２００は、映像処理部１６０およびコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、映像処理部１６０で処理された映像信号または、映像処理部１６０で処理される前のＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）から入力される画像データを一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０（ａ）および１１０（ｂ）、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を示す。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

コントローラ２１０は、全体を制御する制御手段である。コントローラ２１０は、半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ２１０は、マイコンなどで実現できる。

ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ２２０から角速度情報を得、この揺れを相殺する方向にＯＩＳ１１２（ａ）および１１２（ｂ）内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１に与えられる手振れは補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ２２０がロール角の角速度情報を計測可能な場合、デジタルカメラ１の略水平方向に移動した際の回転について考慮することが可能となる。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的および電気的にメモリカード２４０と接続可能である。

メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。要するに、メモリカード２４０はデータを格納できるものであればどのようなものでもよく、ＳＤカード、コンパクトフラッシュ（登録商標）、ＳＳＤ、ハードディスクドライブ、光ディスクなどでも構わない。

操作部材２５０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ２１０を介してＡＦ制御および、ＡＥ制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。

また、操作部材２５０は、使用者から第１視点画像および第２視点画像の回転状況を示す回転角情報を受け付ける部材である。回転角情報によって、第１視点画像および第２視点画像を表示する際にこれら画像をどの程度回転すべきかが決まる。例えば、操作部材２５０は使用者から９０度回転を示す回転角情報を受け付けて、当該回転角情報をコントローラ２１０に出力する。コントローラ２１０は、受け取った回転角情報に基づいて、映像処理部１６０に制御信号を出力する。映像処理部１６０は、コントローラ２１０から９０度回転の制御信号を受け付けると、第１視点画像を９０度回転させる。

ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２７０は、ＣＣＤイメージセンサ１５０（ａ）および１５０（ｂ）で生成した第１視点画像および第２視点画像、メモリカード２４０から読み出した第１視点画像および第２視点画像を、２次元表示または３次元表示可能な表示デバイスである。また、液晶モニタ２７０は、デジタルカメラ１の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

液晶モニタ２７０は、２次元表示される場合、第１視点画像と、第２視点画像と、を選択して表示しても構わないし、第１視点画像と、第２視点画像と、を画面分割して左右もしくは上下に表示しても構わないし、第１視点画像と、第２視点画像と、をライン毎に交互に表示しても構わない。

液晶モニタ２７０は、３次元表示される場合、第１視点画像と、第２視点画像と、をフレームシーケンシャルに表示しても構わないし、第１視点画像と、第２視点画像とをオーバーレイして表示しても構わない。また、液晶モニタ２７０は、レンチキュラレンズまたは視差バリアを備え、第１視点画像と第２視点画像を裸眼で立体映像として表示可能に構成しても構わない。

内部メモリ２８０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２８０は、デジタルカメラ１全体を制御するための制御プログラム等を格納する。

撮影モード設定ボタン２９０は、デジタルカメラ１で撮影する際の撮影モードを設定するボタンである。撮影モードとは、ユーザが想定する撮影シーンを示すものであり、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モードを含む２次元撮影モード、（６）３次元撮影モードなどがある。なお、（１）〜（５）それぞれに対しての３次元撮影モードを持ってもよい。デジタルカメラ１は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ１が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。また、撮影モード設定ボタン２９０は、メモリカード２４０に記録される映像信号の再生モードを設定するボタンである。

＜１−２．映像処理部１６０の詳細動作に関して＞
以下、映像処理部１６０におけるずれマップの生成フローおよび新第２視点画像の生成フローについて図面を参照しながら説明する。

＜１−２−１．ずれマップの生成フロー＞
まず、ずれマップの生成フローに関して説明する。

図２は、第１視点画像および第２視点画像の一例を示す。第１視点画像１１および第２視点画像１２には被写体１０１および１０２が映し出される。

図２に示すように、ずれマップ生成部１６２は、例えばメモリ２００から読み出した第１視点画像１１の全領域を複数のサブ領域に分割した単位で視差量（ずれ）の検出を行う。サブ領域の設定数は、デジタルカメラ１全体の処理量を基に設定される値であっても構わない。例えば、デジタルカメラ１の処理負荷を考慮した場合、処理量に余裕があればサブ領域の設定数を増やすように制御を行う。逆に、処理量に余裕がなければサブ領域の設定数を減らすように制御を行う。具体的にデジタルカメラ１の処理量に余裕がある場合は、画素単位で視差量を検出する構成にしても構わないし、処理量に余裕がない場合は、１６×１６画素単位をサブ領域と設定し、当該サブ領域で１つの代表視差量を検出する構成にしても構わない。

なお、視差量は、例えば、第１視点画像１１に対する第２視点画像１２の水平方向のずれ量となる。この場合、ずれマップ生成部１６２は、第１視点画像１１におけるサブ領域と第２視点画像１２とのブロックマッチング処理を行う。ずれマップ生成部１６２は、ブロックマッチング処理の結果を基に、水平方向のずれ量を算出し、視差量を設定することになる。

図３は、第１視点画像１１とそれに対応したずれマップ１３の一例を示す。ずれマップ１３において、第１視点画像１１と第２視点画像１２との水平方向のずれ量がピクセル値で表現されている。つまり、被写体１０１および１０２、および背景のずれ量はそれぞれ、１０ピクセル、２０ピクセルおよび４０ピクセルとなる。これより、被写体間の画像奥行き方向に対する相対位置関係が値として取得できる。すなわち、ずれ量が大きい領域はずれ量が小さい領域よりも奥に存在する。

被写体が同じであっても、撮影方法の違い、すなわち、平行法による撮影か交差法による撮影かによって第１視点画像と第２視点画像とのずれ量は異なる。また、交差法で立体映像を撮影した場合には、ずれ量が負値となることもある。

なお、上記の説明において、水平方向のずれ量を単に画像のピクセル値で表現したが、他の値を用いても構わない。例えば、水平方向のずれ量を、画像の横サイズを基準にしたときの水平方向にずれている画像のピクセル値で表現しても構わない。つまり、画像の横サイズが１９２０ピクセルあり、水平方向に４０ピクセルずれている場合、水平方向のずれ量は２％となる。

なお、映像処理部１６０が第１視点画像を回転させる場合、当該第１視点画像に対応したずれマップを取得するのが好ましい。ここで、第１視点画像に対応したずれマップとは、第１視点画像に映っている各被写体の視差量を表現した情報である。逆に第２視点画像に対応したずれマップも存在する。２つのずれマップが存在する理由は、第１視点画像と第２視点画像においてオクルージョンが発生するためである。このオクルージョンは、第１視点画像と第２視点画像の撮影位置が異なる場合に発生する。また、光軸のずれによる被写体の見え方の違い（例えば台形歪）によっても発生する。

＜１−２−２．新第２視点画像の生成フロー＞
次に、映像処理部１６０における新第２視点画像の生成方法に関して説明する。以下、説明の便宜上、第１視点画像を基準にずれマップを生成し、新第１視点画像と対になる画像（新第２視点画像）の生成方法を説明する。

図４は、映像処理部１６０における新第２視点画像の生成フローを示す図である。

（Ｓ００１）まず、映像処理部１６０は、コントローラ２１０が出力する画像回転に関する回転角情報を取得する。もし、映像処理部１６０が回転角情報を取得しない場合はフローはそのまま終了する。

（Ｓ００２）次に、映像処理部１６０は＜１−２−１＞に説明した方法を用いて、ずれマップを生成する。

（Ｓ００３）次に、映像処理部１６０は、コントローラ２１０が出力する画像回転に関する回転角情報に基づいて、第１視点画像およびずれマップを回転する。例えば、コントローラ２１０が−４５度回転を示す回転角情報を出力し、＜１−２−１＞に記載した方法で図３の第１視点画像１１およびずれマップ１３が取得および生成されているとする。この場合、映像処理部１６０は、図５のような第１視点画像（新第１視点画像）１１’およびずれマップ１３’を生成する。つまり、映像処理部１６０は、図３に示す第１視点画像１１およびずれマップ１３をそれぞれ−４５度回転させる。

（Ｓ００４）さらに、映像処理部１６０は、回転後の第１視点画像（新第１視点画像）１１’およびずれマップ１３’に基づいて、当該回転後の第１視点画像と対になる画像（新第２視点画像）を生成する。この場合、映像処理部１６０は、視聴者が新第１視点画像と新第２視点画像とを立体映像として視聴した際、回転後のずれマップが示す被写体間の相対位置関係が保存されるように新第２視点画像を生成する。なお、新第２視点画像の生成方法は、１枚の画像とずれマップから対になる画像を生成する従来の方法であればどのような方法でも構わない。具体的には、２Ｄ−３Ｄ変換技術を用いれば実現することができる。

なお、Ｓ００１の動作は、Ｓ００３の動作前であればどのタイミングで行っても構わない。

また、回転角情報は、上述したように使用者が操作部材２５０を操作して生成されるものであってもよいし、あるいは、ジャイロセンサ２２０がデジタルカメラ１の回転状態を検出して生成されるものであってもよい。

（他の生成フロー）
なお、映像処理部１６０は、以下の生成フローを用いて新第２視点画像を生成しても構わない。

図６は、映像処理部１６０における新第２視点画像の他の生成フローを示す図である。

（Ｓ００５）まず、映像処理部１６０は、コントローラ２１０が出力する画像回転に関する回転角情報を取得する。もし、映像処理部１６０が回転角情報を取得しない場合はフローはそのまま終了する。

（Ｓ００６）次に、映像処理部１６０は＜１−２−１＞に説明した方法を用いて、ずれマップを算出する。

（Ｓ００７）次に、映像処理部１６０は、第１視点画像およびずれマップに基づいて、第１視点画像と対になる画像を生成する。

図７は、映像処理部１６０が生成する対になる画像を説明するための図である。

映像処理部１６０は、図７に示すような対になる画像を生成する。映像処理部１６０は、図７に示す撮影時の略鉛直方向に対する直線と直交する直線方向に、ずれマップに基づく視差量をつけた画像を生成する。なお、当該直交する直線方向は回転角情報を基に決めることができる。この場合、映像処理部１６０は、視聴者が回転後の第１視点画像と対になる画像と立体映像として視聴した際、回転後のずれマップが示す被写体間の相対位置関係が保存されるように対になる画像を生成する。なお、対になる画像の生成方法は、１枚の画像とずれマップから対になる画像を生成する従来の方法であればどのような方法でも構わない。具体的には、２Ｄ−３Ｄ変換技術を用いれば実現することができる。

（Ｓ００８）次に、映像処理部１６０は、コントローラ２１０が出力する画像回転に関する回転角情報に基づいて、第１視点画像およびＳ００７で生成した対になる画像を回転する。例えば、コントローラ２１０が−４５度回転を示す制御信号を出力したとする。この場合、映像処理部１６０は、図８のような新第１視点画像１１’および新第２視点画像１２’を生成する。

なお、Ｓ００５の動作は、Ｓ００８の動作前であればどのタイミングで行っても構わない。

映像処理部１６０は、新第１視点画像および新第２視点画像をコントローラ２１０を介して液晶モニタ２７０に出力する。なお、映像処理部１６０は、新第１視点画像および新第２視点画像コントローラ２１０およびカードスロットル２３０を介してメモリカード２４０に出力する構成にしても構わない。

なお、第１視点画像および第２視点画像の回転角がほぼゼロの場合、第１の新画像生成部１６４および第２の新画像生成部１６６のそれぞれにおける新画像の生成を休止させてもよい。このようにすれば、第１視点画像と第２視点画像を回転させた後、立体映像として視聴する際、立体感が損なわれる場合にのみ新画像の生成動作を行うことができ、消費電力を低減することができる。

＜２．その他の実施形態＞
また、上記実施形態で説明したデジタルカメラ１において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、コンピュータプログラムとしてソフトウェアにより実現してもよい。コンピュータプログラムは、例えばコンピュータが読み取り可能な記録媒体に記録して配布可能である。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラ１をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る３次元映像処理装置および方法によれば、視聴した際により自然な立体感を感じる映像信号を生成することが可能となるため、３次元映像を撮影するデジタルカメラ、放送用カメラおよび、３次元映像の記録再生を行うレコーダーまたは、プレーヤーならびに、テレビ、フォトフレームおよび携帯情報端末のようなディスプレイ装置に応用することが可能である。

１１ 第１視点画像
１２ 第２視点画像
１３ ずれマップ
１１’ 新第１視点画像
１２’ 新第２視点画像
１６２ ずれマップ生成部
１６４ 第１の新画像生成部
１６６ 第２の新画像生成部

Claims (9)

1. 立体映像を構成する２枚の画像である第１視点における第１視点画像と第２視点における第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成するずれマップ生成部と、
   前記第１視点画像および前記第２視点画像の回転状況を示す回転角情報に基づいて、前記第１視点画像を回転処理して新第１視点画像を生成する第１の新画像生成部と、
   前記第１視点画像および前記ずれマップに基づいて、前記新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する第２の新画像生成部とを備えている
   ことを特徴とする３次元映像処理装置。
2. 請求項１に記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記第１視点画像および前記ずれマップを前記回転角情報に基づいて回転処理し、当該回転処理した第１視点画像を当該回転処理したずれマップに基づいてずらして前記新第２視点画像を生成する
   ことを特徴とする３次元映像処理装置。
3. 請求項２に記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記回転処理した第１視点画像として、前記第１の新画像生成部が生成した新第１視点画像を使用する
   ことを特徴とする３次元映像処理装置。
4. 請求項１に記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記ずれマップに基づいて、前記第１視点画像を前記回転角情報によって決まる軸方向にずらした画像を生成し、当該生成した画像を前記回転角情報に基づいて回転処理して前記新第２視点画像を生成する
   ことを特徴とする３次元映像処理装置。
5. 請求項２から４のいずれか一つに記載の３次元映像処理装置において、
   前記第２の新画像生成部は、前記新第１視点画像と前記新第２視点画像とで構成される立体映像における被写体間の相対位置関係が前記回転角情報に基づいて回転処理したずれマップから決まる相対位置関係となるように、前記新第２視点画像を生成する
   ことを特徴とする３次元映像処理装置。
6. 請求項１から５のいずれか一つに記載の３次元映像処理装置において、
   前記第１視点画像および前記第２視点画像の回転角がほぼゼロの場合、前記第１および第２の新画像生成部のそれぞれにおける新画像の生成を休止させる
   ことを特徴とする３次元映像処理装置。
7. ずれマップ生成部が、立体映像を構成する２枚の画像である第１視点における第１視点画像と第２視点における第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成するステップと、
   第１の新画像生成部が、前記第１視点画像および前記第２視点画像の回転状況を示す回転角情報に基づいて、前記第１視点画像を回転処理して新第１視点画像を生成するステップと、
   第２の新画像生成部が、前記第１視点画像および前記ずれマップに基づいて、前記新第１視点画像と対となって立体映像を構成する新第２視点画像を生成するステップとを備えている
   ことを特徴とする３次元映像処理方法。
8. 立体映像を構成する２枚の画像である第１視点における第１視点画像と第２視点における第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成する手段、
   前記第１視点画像および前記第２視点画像の回転状況を示す回転角情報に基づいて、前記第１視点画像を回転処理して新第１視点画像を生成する手段、
   前記第１視点画像および前記ずれマップに基づいて、前記新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する手段として、コンピュータを機能させる
   ことを特徴とする３次元映像処理プログラム。
9. 立体映像を構成する２枚の画像である第１視点における第１視点画像と第２視点における第２視点画像とを比較して、前記第１視点画像に対する前記第２視点画像のずれを表すずれマップを生成する手段、
   前記第１視点画像および前記第２視点画像の回転状況を示す回転角情報に基づいて、前記第１視点画像を回転処理して新第１視点画像を生成する手段、
   前記第１視点画像および前記ずれマップに基づいて、前記新第１視点画像と対となって立体映像を構成する新第２視点画像を生成する手段として、コンピュータを機能させるプログラムを記録した
   ことを特徴とするコンピュータ読み取り可能な記録媒体。

Images