JPWO2012117706A1 - 映像処理装置、映像処理方法、プログラム - Google Patents

Abstract

特徴点抽出部９０１は、視差を算出すべき領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。第１視差算出部９０２は、抽出した特徴点の視差を対応点探索により算出する。第２視差算出部９０３は、第１視差算出部９０２で算出した特徴点の視差に基づき、視差を算出すべき領域を構成する全画素の視差を算出する。

Description

本発明は、立体視映像処理技術に関し、特に立体視映像の視差を算出する技術に関する。

近年、視差画像を用いた立体視映像処理技術が注目を集めており、様々な研究が行われている。ここで、視差とは、左目用画像および右目用画像の組みにおける対応画素間の水平座標位置のオフセット量（ずれ量）であり、両眼に対してそれぞれに対応する視差画像を提示することで、立体視を実現することができる。

立体視映像処理技術の一つに、立体視映像に対して合成処理を行う技術がある。立体視映像に対する合成技術とは、図形、記号、文字等のオブジェクトを左目用の画像データと右目用の画像データのそれぞれにオフセット量を有するように重畳する技術である。これにより、立体視映像に様々な付加情報を立体的に付与することができる。

上記技術においては、深さ方向にオブジェクトを重畳するので、オブジェクトを重畳する立体視映像上の領域のオフセット量を考慮する必要がある。例えば、立体視映像上のオブジェクトを重畳する領域のオフセット量が、オブジェクトが有するオフセット量より大きい場合、オブジェクトよりも元の立体視映像の飛び出し量が大きく、オブジェクトが元の立体視映像部分にめり込んでいるように観察される。その結果、重畳したオブジェクトを十分に認識することができない。

かかる状況を回避するため、特許文献１には、立体視映像上のオブジェクトを重畳する領域のオフセット量を算出し、その領域内のオフセット量の最大値より大きいオフセット量をオブジェクトのオフセット量として決定する技術が開示されている。また特許文献２には、複数の二次元オブジェクトにオフセット量を与え立体的に表示する際において、オフセット量を与えたオブジェクト同士が重なるか否かを判定し、重なる場合はオブジェクトの位置、サイズ、オフセット量等を調整する技術が開示されている。

特開２０１０−８６２２８号公報 特開２００５−１２２５０１号公報

特許文献１に開示される技術は、オブジェクトを重畳する立体視映像上の領域のオフセット量を考慮してオブジェクトを重畳するために、オブジェクトを重畳する左目用画像データと右目用画像データの領域を構成する全画素間の対応点探索を行う。対応点探索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することにより行う。このような処理を立体視映像上のオブジェクトを重畳する領域を構成する全画素に対して行う場合、その演算量は膨大となる。つまり、オブジェクトの重畳処理においてオフセット量を算出すべき領域のオフセット量の算出に時間がかかり、立体視映像に対してリアルタイムにオブジェクトを重畳することができない。また、オブジェクトを重畳する左目用画像データと右目用画像データの領域内には、輝度の明暗がはっきりしておらず、対応点探索を正確に行うことが難しい画素も多く存在する。特許文献１に開示される技術では、対応点探索を正確に行うことが難しい画素に対しても対応点探索を行うため、誤った対応点を検出し、正しいオフセット量を算出できない場合がある。

また、特許文献２は、複数の二次元オブジェクトにオフセット量を与え立体的に表示する際において、オフセット量を与えたオブジェクト同士が重なるか否かを判定するものであり、オフセット量の値が不知である立体視映像上にオブジェクトを立体的に重畳する場合に適用することができない。

本発明は上記事情に鑑みなされたものであり、立体視映像を構成する画像データの組みにおける対応画素間のオフセット量を高速かつ精度よく算出することができる映像処理装置を提供することを目的とする。

上記目的を達成するため、本発明にかかる映像処理装置は、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理装置であって、メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出部と、サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出部と、算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出部とを備えることを特徴とする。

立体視映像上の全画素に対して対応点探索を行った場合、その演算量は膨大となる。本発明では、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間のオフセット量（視差）を算出すべき領域およびその外部近傍に位置する画素から抽出した特徴点のみに対応点探索を行い、対応点探索により算出した特徴点のオフセット量に基づき特徴点以外の画素のオフセット量を算出するので、オフセット量算出に要する演算量を大幅に削減することができる。その結果立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することが可能となる。

また、オフセット量を算出すべき領域内の輝度変化が少ない領域については、誤った対応点を検出し、正しいオフセット量の値を算出できない場合がある。本発明では、特徴点のみに対応点探索を行い、特徴点のオフセット量に基づき特徴点以外の画素のオフセット量を算出するので、精度よくオフセット量の値を算出することができる。

さらに本発明は、オフセット量を算出すべき領域に加え、その外部近傍に位置する画素から特徴点を抽出するので、オフセット量を算出すべき領域内に特徴点が十分にない場合であっても、精度よくオフセット量の値を算出することができる。

映像処理装置１００の構成の一例を示すブロック図である。 タイミング情報２０１のデータ構造を示す模式図である。 描画要求キュー１０６のデータ構造を示す模式図である。 映像処理部１０７の内部構成の一例を示す図である。 オブジェクト視差情報５０１のデータ構造を示す模式図である。 オブジェクト画像の生成を説明するための図である。 合成部４０５による重畳処理を説明するための図である。 映像処理装置１００による重畳処理後の立体視映像の立体視を示す図である。 視差情報生成部４０２の内部構成の一例を示す図である。 探索情報１００１のデータ構造を示す摸式図である。 分割領域を説明するための図である。 分割領域情報１００２のデータ例を示す図である。 特徴点情報１００３のデータ例を示す図である。 サンプリング点情報１００４のデータ構造を示す図である。 視差マスクで示される左目用画像の領域の一例を示す図である。 領域１５０１に対する特徴点の抽出を説明するための図である。 分割象限１６３０に対する特徴点抽出を示す図である。 分割象限１６４０に対する特徴点抽出を示す図である。 特徴点の視差の算出を示す図である。 視差の算出を行う領域を示す図である。 映像処理装置１００の動作を示すフロー図である。 映像処理の動作を示すフロー図である。 視差算出処理の動作を示すフロー図である。 映像処理装置２４００の構成の一例を示すブロック図である。 描画要求キュー２４０２のデータ構造を示す模式図である。 映像処理部２４０３の構成の一例を示すブロック図である。 映像処理装置２４００によるオブジェクトの重畳を示す図である。 オブジェクト画像の生成を説明するための図である。 映像処理部２４０３の動作を示すフロー図である。 映像処理装置２４００による重畳処理後の立体視映像の立体視を示す図である。 実施の形態３にかかる映像処理部３１００の内部構成の一例を示すブロック図である。 奥行きを輝度で表現した画像データとして格納した場合を示す図である。 映像処理部３１００の深度情報変換処理の動作を示すフロー図である。 実施の形態４にかかる映像処理装置３４００の構成の一例を示すブロック図である。 映像処理部３４０２の内部構成の一例を示すブロック図である。 撮像カメラと被写体の位置関係を示す図である。 視差と実距離との関係を示す図である。 映像処理装置３４００の深度情報変換処理の動作を示すフロー図である。 プレーンシフトを説明するための図である。 本実施の形態５にかかる実距離算出処理の動作を示すフロー図である。 本発明にかかる映像処理装置を、ＬＳＩを用いて具現化した例を示す図である。

以下、本発明の実施の形態について、図面を参照にしながら説明する。

≪実施の形態１≫
＜１．１ 概要＞
実施の形態１に係る映像処理装置は、オブジェクトを重畳する立体視映像上の領域における視差を算出し、その算出した視差に基づきオブジェクトの視差量を決定し、オブジェクトを重畳する装置である。ここで、視差とは、左目用画像および右目用画像の組みにおける対応画素間の水平座標位置のオフセット量（ずれ量）である。

映像処理装置はまず、図形、記号、文字等のオブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を算出し、特徴点の視差に基づき、オブジェクトを重畳する立体視映像上の領域を構成する全画素の視差を算出する。そしてそのオブジェクトを重畳する領域の視差を考慮してオブジェクトの視差を決定し、重畳処理を行う。これにより、オブジェクトを重畳する領域の視差を高速かつ精度よく算出することができ、立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することが可能となる。以下その実施の形態１について、図面を参照しながら説明する。

＜１．２ 映像処理装置１００の構成＞
まず実施の形態１に係る映像処理装置１００の構成について説明する。図１は映像処理装置１００の構成の一例を示すブロック図である。図１に示されるように、映像処理装置１００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー格納部１０６、映像処理部１０７、出力部１０８を含んで構成される。以下、各構成部について説明する。

＜１．２．１ 操作部１０１＞
操作部１０１は、映像処理装置１００に操作入力を行うためのものであり、例えば、タッチパネル、キーボード、マウス、その他のコントローラ等からなる。ユーザは、立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容、重畳する位置等を指定する。

＜１．２．２ 映像取得部１０２＞
映像取得部１０２は、左目用映像（メインビューデータ）と右目用映像（サブビューデータ）の組みからなる立体視映像を取得する。ここで映像取得部１０２が取得する立体視映像は、図１に示されるように、映像処理装置１００に接続された撮像装置によりリアルタイムに撮像された立体視映像である。

＜１．２．３ 左目用画像・右目用画像格納部１０３＞
左目用画像・右目用画像格納部１０３は、映像取得部１０２で取得した立体視映像を、非圧縮のピクチャデータ（左目用画像、右目用画像）として格納する。左目用画像・右目用画像格納部１０３に格納されたピクチャデータがオブジェクトの重畳処理の対象となる。

＜１．２．４ 制御部１０４＞
制御部１０４は、映像処理装置１００の動作の制御を行う。特に、制御部１０４の内部に格納されたタイミング情報に基づき、重畳処理を行うタイミングの制御を行う。

図２は、タイミング情報２０１のデータ構造を示す模式図である。図２に示されるように、タイミング情報２０１は、画像取得間隔２０２と終了フラグ２０３を含む。

画像取得間隔２０２は、オブジェクト描画要求部１０５に対して駆動イベントを発行する間隔を示す。映像処理装置１００はかかる間隔毎に重畳処理を行う。例えば、画像取得間隔２０２の値が３０００、制御部のカウンタ周期が９０ＫＨｚの場合、制御部１０５は、１／３０秒の間隔でオブジェクト描画要求部１０５に対して駆動イベントを発行する。

終了フラグ２０３は、映像処理装置１００の動作を終了するか否かを示す。映像処理装置１００が起動する際の終了フラグ２０３の初期値は、ＦＡＬＳＥである。操作部１０１等により映像処理装置１００の終了操作が行われた場合、制御部１０４は終了フラグ２０３をＴＲＵＥに書き換え、駆動イベントの発行を停止する。

＜１．２．５ オブジェクト描画要求部１０５、描画要求キュー格納部１０６＞
オブジェクト描画要求部１０５は、操作部１０１による、立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容や重畳する位置等の指定に基づき、重畳処理を行う図形、記号、文字等のオブジェクトに関する情報を示す描画要求キュー１０６を生成する。この描画要求キュー１０６の生成は、制御部１０４が発行する駆動イベント毎に行う。

図３は、描画要求キュー１０６のデータ構造を示す模式図である。本図に示されるように、描画要求キュー１０６は、オブジェクト数３０１と領域情報３０２と画像データ３０３を含む。

オブジェクト数３０１は、重畳処理を行うオブジェクトの数を示す。

領域情報３０２は、メインビューデータを構成する左目用画像における各オブジェクトを重畳する領域を示す情報であり、例えば、オブジェクトの各頂点の座標を格納する。また、四角形オブジェクトの矩形座標や円形オブジェクトの中心座標および半径を格納してもよい。さらには、オブジェクトの重畳領域を示すビットマップを格納してもよい。以上、領域情報３０２のデータ例を示したが、オブジェクトの重畳領域を示すことができるデータ構造であればよく、これに限定されない。

画像データ３０３は、各オブジェクトの画像データを示す。この画像データ３０３が左目用画像、右目用画像に重畳される。

＜１．２．６ 映像処理部１０７＞
映像処理部１０７は、左目用画像・右目用画像格納部１０３に格納された左目用画像、右目用画像に対して、描画要求キュー１０６に基づくオブジェクトを重畳する。その際、まず、オブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を対応点探索により算出し、算出した特徴点の視差に基づき、オブジェクトを重畳する立体視映像上の領域を構成する全画素の視差を算出する。そして、そのオブジェクトを重畳する領域の視差を考慮してオブジェクトの視差を決定し、重畳処理を行う。映像処理部１０８の詳細な内部構成、およびその説明は＜１．３＞節で行う。

＜１．２．７ 出力部１０９＞
出力部１０９は、映像処理部１０８で重畳処理された立体視映像を出力する。出力部１０９は、図１に示されるように、例えば、ディスプレイに重畳処理された立体視映像を出力する。また、ネットワーク上に重畳処理された立体視映像を送信してもよい。また、重畳処理された立体視映像をアンテナを通じて送信してもよい。また、重畳処理された立体視映像を記録装置に書き込んでもよい。ここで記録装置は、例えばハードディスクドライブ、ＢＤ、ＤＶＤ等の光ディスク、またはＳＤメモリカード等の半導体メモリ装置である。

以上が映像処理装置１００の構成の説明である。続いて、映像処理装置１００の映像処理部１０７について説明する。

＜１．３ 映像処理部１０７の構成＞
図４は映像処理部１０７の内部構成の一例を示すブロック図である。本図に示されるとおり映像処理部１０７は、視差マスク生成部４０１、視差情報生成部４０２、オブジェクト視差決定部４０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。以下各構成部について説明する。

＜１．３．１ 視差マスク生成部４０１＞
視差マスク生成部４０１は、オブジェクト描画要求部１０５で生成された描画要求キュー１０６に含まれる領域情報３０２に基づき、視差を算出すべき左目用画像の領域を示す視差マスクを生成する。視差マスクは、２値のビットマップであり、オブジェクトを重畳する領域においては１、その他の領域においては０の値をとる。

＜１．３．２ 視差情報生成部４０２＞
視差情報生成部４０２は、視差マスク生成部４０１で生成された視差マスクで示される領域内の画素の視差を算出する。具体的には、まず、オブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を対応点探索により算出する。そして算出した特徴点の視差に基づき、重畳領域の視差分布を示す式を導出することにより、特徴点を除く重畳領域内の画素を算出する。この視差情報生成部４０２の詳細な内部構成、およびその説明は＜１．４＞節で行う。

＜１．３．３ オブジェクト視差決定部４０３＞
オブジェクト視差決定部４０３は、立体視映像に重畳するオブジェクトに与える視差量を決定する。具体的には、まず、描画要求キュー１０６に基づき各オブジェクトを重畳する左目用画像の領域を特定し、視差情報生成部４０２が生成した視差情報に基づき、その領域内の画素が有する最大視差を検出する。そして、検出した最大視差量を重畳するオブジェクトの視差量とする。ここで、オブジェクト視差決定部４０３は、オブジェクト毎に決定した視差量をオブジェクト視差情報として記憶する。

図５は、オブジェクト視差情報５０１のデータ構造を示す模式図である。本図に示されるように、オブジェクト視差情報５０１は描画要求キュー１０６に格納されているオブジェクト毎に視差５０２を格納する。

＜１．３．４ オブジェクト画像生成部４０４＞
オブジェクト画像生成部４０４は、左目用画像に重畳する左目用オブジェクト画像、右目用画像に重畳する右目用オブジェクト画像を生成する。図６は、オブジェクト画像の生成を説明するための図である。本図に示されるように、オブジェクト画像生成部４０４は、描画要求キュー１０６に格納されている領域情報３０２に基づき左目用オブジェクト画像６１０を生成する。そして、オブジェクト視差決定部４０３で決定したオブジェクト視差情報５０１に基づき、視差量６０１だけオブジェクト６２０を左方向にずらして右目用オブジェクト画像６３０を生成する。

＜１．３．５ 合成部４０５＞
合成部４０５は、左目用画像、右目用画像のそれぞれにオブジェクトの重畳処理を行い、サイドバイサイド形式で左目用画像と右目用画像を合成する。

図７は、合成部４０５による重畳処理を説明するための図である。本図に示されるように、合成部４０５は、左目用画像７１０に対して左目用オブジェクト６１０を重畳し、左目用合成画像７２０を生成する。また、合成部４０５は、右目用画像７４０に対して右目用オブジェクト６３０を重畳し、右目用合成画像７５０を生成する。そして、合成部４０５は、左目用合成画像７２０を画像全体の左半分（７３０）に縮小して配置し、右目用合成画像７５０を画像全体の右半分（７６０）に縮小して配置する。

図８は、重畳処理後の立体視映像の立体視を示す図である。本図に示されるとおり、合成部４０５で生成された立体視映像を３Ｄメガネで観察すると、斜線で示したオブジェクトが重畳領域に位置する顔部分よりも前に位置するように観察される。

なお、左目用合成画像と右目用合成画像をサイドバイサイド方式で合成する例を示したが、偶数ライン・奇数ラインそれぞれに左目用合成画像・右目用合成画像が配置されるインターレース方式や、奇数フレーム・偶数フレームそれぞれに左目用合成画像・右目用合成画像が割り当てられるフレームシーケンシャル方式といった、サイドバイサイド方式以外の方式で合成してもよい。

以上が映像処理部１０７の構成の説明である。続いて、映像処理部１０７の視差情報生成部４０２について説明する。

＜１．４ 視差情報生成部４０２の構成＞
図９は視差情報生成部４０２の内部構成を示すブロック図である。本図に示されるとおり、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。以下各構成部について説明する。

＜１．４．１ 特徴点抽出部９０１＞
特徴点抽出部９０１は、視差マスクで示される領域およびその外部近傍の領域から特徴点の抽出を行う。抽出した特徴点の座標位置等の情報は探索情報として記憶する。以下では、その詳細な内容について、「特徴点の抽出」、「探索情報」、「特徴点の抽出を行う領域」に項目分けして説明する。

＜１．４．１．１ 特徴点の抽出＞
特徴点とは、視差の算出における対応点探索に適した画素をいう。特徴点抽出部９０１では、エッジ（輝度が鋭敏に変化している箇所）、またはエッジの交点箇所を特徴点として抽出する。エッジの検出は、画素間の輝度の差分（一次微分）を求め、その差分からエッジ強度を算出することにより行う。また、その他のエッジ検出方法により特徴点を抽出してもよい。特徴点の抽出を行う領域については後述する。以上が特徴点の抽出についての説明である。続いて探索情報について説明する。

＜１．４．１．２ 探索情報＞
探索情報は、抽出した特徴点の座標位置・視差等を示す情報である。図１０は探索情報１００１のデータ構造を示す摸式図である。本図に示される通り、探索情報１００１は分割領域情報１００２、特徴点情報１００３、サンプリング点情報１００４からなる。分割領域情報１００２は、左目用画像を分割した各分割領域に含まれる特徴点に関する情報である。特徴点情報１００３は、特徴点の座標、視差等を示す情報である。サンプリング点情報１００４は、第２視差算出部９０３での視差算出において用いる特徴点（サンプリング点）に関する情報である。特徴点抽出部９０１は、特徴点を抽出しその特徴点の視差を算出する毎に探索情報１００１を更新する。

まず、分割領域情報１００２について説明する。分割領域情報１００２は、分割領域毎の特徴点に関する情報である。＜１．４．１．３＞節で詳しく述べるが、特徴点抽出部９０１は図１１に示されるように左目用画像をＭ×Ｎ分割し、分割領域単位で特徴点の探索を行うことため、分割領域毎に特徴点に関する情報を記憶する。

図１２は、分割領域情報１００２のデータ例を示す図である。本図に示されるとおり、分割領域情報１００２は各分割領域に対して、分割領域番号１２０１、特徴点探索済みか否かを示すフラグ１２０２、特徴点を格納した配列の先頭インデックス１２０３、および分割領域に含まれる特徴点数１２０４を含む。分割領域番号１２０１は、図１１に示す各分割領域の識別子１１０１に対応する。特徴点探索済みか否かを示すフラグ１２０２は、対象の分割領域において特徴点の抽出を行った場合はＴＲＵＥ、特徴点の抽出を行っていない場合ＦＡＬＳＥをとる。インデックス１２０３は、対象の分割領域内に特徴点抽出部９０１により視差算出された特徴点が存在する場合、後述する特徴点情報１００３に対応する特徴点情報配列の先頭のインデックス（≧０）を格納する。一方、対象の分割領域内に視差算出済みの特徴点が存在しない場合、インデックス１２０３は“−１”をとる。特徴点数１２０４は、分割領域に含まれる特徴点の数を示す。以上が分割領域情報１００２についての説明である。続いて特徴点情報１００３について説明する。

図１３は、特徴点情報１００３のデータ例を示す図である。本図に示されるように、特徴点情報１００３は、特徴点のインデックス１３０１、特徴点の座標１３０２、および特徴点の視差１３０３を含む。インデックス１３０１は、図１２のインデックス１２０３に対応する。座標１３０２は、各特徴点の左目用画像における座標を示す。視差１３０３は、左目用画像における特徴点と右目用画像における対応点間の視差の値である。

分割情報１００２におけるインデックスと特徴点情報１００３におけるインデックスは対応関係にあり、そのインデックスの値を参照することにより、分割領域に含まれる特徴点の座標や視差を特定することができる。例えば図１２において、分割領域（０，１）はインデックス“０”、特徴点数“２”であることから、分割領域（０，１）に含まれる特徴点はインデックス“０”と“１”の特徴点であることがわかる。そして、そのインデックスの値を図１３に示される特徴点情報１００３で参照することで、分割領域（０，１）に含まれる特徴点の座標は、（７０，２０）（８０，３０）であり、その視差は“４”、“２”であることがわかる。以上が特徴点情報１００３についての説明である。続いてサンプリング点情報１００４について説明する。

サンプリング点情報１００４は、特徴点情報１００３に含まれる特徴点のうち、第２視差演算部９０３による視差の推定式の決定に用いる特徴点（サンプリング点）を特定するための情報である。図１４は、サンプリング点情報１００４のデータ構造を示す図である。本図に示されるように、サンプリング点情報１００４は、サンプリング点数１４０１と各サンプリング点に対応する特徴点インデックス１４０２を含む。サンプリング点数１４０１は、サンプリング点の数を示す。特徴点インデックス１４０２は、各サンプリング点に対応する特徴点のインデックス番号を示す。この特徴点のインデックス番号は、分割領域情報１００１、特徴点情報１００２に含まれるインデックスに対応し、特徴点情報１００２を参照することにより、サンプリング点の座標、視差を特定することができる。以上がサンプリング点情報１００４についての説明である。続いて探索情報１００１の利用について説明する。

特徴点抽出部９０１は、特徴点探索の際、まず分割領域情報１００２を参照して、探索を行う分割領域が既に特徴点探索済みか否かを判定する。既に特徴点探索済みの場合、分割情報１００２のインデックス１２０３により特定される特徴点情報１００３を参照して、特徴点の座標、視差の情報を得る。特徴点探索済みでない場合は、探索を行う分割領域に対してエッジ検出を行い、特徴点を特定する。そして抽出した特徴点の視差を算出する。このように、過去に探索した特徴点の座標、視差の情報等を探索情報１００１として記憶し、特徴点抽出の際利用することで、重複する特徴点の探索処理を省くことができる。

以上が探索情報１００１についての説明である。続いて特徴点の抽出を行う領域について説明する。

＜１．４．１．３ 特徴点の抽出を行う領域＞
特徴点抽出部９０１は、視差マスクで示される左目用画像の領域（重畳領域）内の画素およびその外部近傍に位置する左目用画像の一部の領域を構成する画素から視差の算出に適した特徴点を抽出する。具体的には重畳領域内の対象画素（視差未検出の画素）を中心に直交軸を用いて、左目用画像を四分割し、分割象限毎に特徴点抽出を行う。分割象限毎の特徴点抽出においては、まず対象画素を含む分割領域に対して特徴点抽出が行われる。ここで分割領域は図１０に示される左目用画像をＭ×Ｎ分割した各領域をいう。分割領域において一定量の特徴点が抽出できた分割象限については、それ以上の領域を特徴点抽出の対象としない。一定量の特徴点が抽出されない分割象限については、探索対象を近接の分割領域まで拡張する。そして一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象の拡張を行う。以下図を用いて、特徴点の抽出を行う領域についてさらに詳細に説明する。

図１５は、視差マスクで示される左目用画像の領域の一例を示す図である。本図に示す例では、点線で囲む１５０１、１５０２、１５０３の各領域が重畳領域である。特徴点抽出部９０１は、かかる重畳領域内の画素およびその外部近傍に位置する左目用画像の一部の領域を構成する画素から視差の算出に適した特徴点を抽出する。以下では領域１５０１に対する特徴点の抽出について図を用いて説明する。

図１６は、領域１５０１に対する特徴点の抽出を説明するための図である。１６０１は未だ視差が算出されていない画素、１６０２は、視差未検出の画素１６０１を含む分割領域、１６１０、１６２０、１６３０、１６４０は、左目用画像を視差未検出の画素１６０１を中心に直交軸を用いて四分割した各分割象限を示す。特徴点抽出部９０１は、分割象限１６１０、１６２０、１６３０、１６４０のそれぞれに対して、一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象を拡張して特徴点の抽出を行う。

図１７は、分割象限１６３０に対する特徴点抽出を示す図である。本図に示されるように、特徴点抽出部９０１は、まず分割象限１６３０内の分割領域１６０２（図中の斜線部）に対して特徴点の抽出を行う。かかる領域における特徴点の探索において、特徴点抽出部９０１は、特徴点１７０１、１７０２を抽出する。この場合、一定量の特徴点（この例では２個）を抽出したので、探索対象の拡張を行わず、分割象限１６３０に対する特徴点の抽出を終了する。次に、分割象限１６４０に対する特徴点の抽出を説明する。

図１８は、分割象限１６４０に対する特徴点抽出を示す図である。図１８（ａ）に示すとおり、特徴点抽出部９０１は、まず分割象限１６４０内の分割領域１６０２（図中の斜線部）に対して特徴点の抽出を行う。かかる領域における特徴点の探索では特徴点を抽出できないので、特徴点抽出部９０１は、探索領域を拡張する。探索領域の拡張では、近接する分割領域を次の探索対象とする。

１８（ｂ）は、探索領域の拡張を行った領域に対する特徴点の抽出を示す図である。図中の斜線部は、探索領域の拡張を行った対象領域を示す。かかる領域の特徴点の探索において、特徴点抽出部９０１は、特徴点１８０１を抽出する。この場合、一定量の特徴点を抽出しないので、特徴点抽出部９０１は、更に探索領域を拡張する。

図１８（ｃ）探索領域の更なる拡張を行った領域に対する特徴点の抽出を示す図である。図中の斜線部は、探索領域の更なる拡張を行った対象領域を示す。かかる領域の特徴点の探索において、特徴点抽出部９０１は、特徴点１８０２を抽出する。この場合、特徴点１８０１、１８０２の一定量の特徴点を抽出したので、特徴点抽出部９０１は、これ以上の探索対象の拡張を行わず、分割象限１６４０に対する特徴点の抽出を終了する。分割象限１６１０、１６２０に対しても同様に、特徴点抽出部９０１は、一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象を拡張して特徴点の抽出を行う。

このように重畳領域の画素だけでなくその外部近傍に位置する画素から特徴点を抽出し、所定量の特徴点が抽出されない場合は探索範囲を広げることにより、重畳領域の視差を算出するのに必要な特徴点を抽出することができ、精度よく視差の値を算出することができる。また左目用画像を四分割し分割象限毎に特徴点抽出を行うことにより、特徴点を偏りなく抽出できる。ここで偏りがないとは、一部の領域に集中して特徴点が抽出されることがないことを意味する。特徴点を偏りなく抽出できるので、後述する重畳領域の視差分布を示す式の導出において、より適切な式を導出することができる。以上が特徴点抽出部９０１の説明である。続いて第１視差算出部９０２について説明する。

＜１．４．２ 第１視差算出部９０２＞
第１視差算出部９０２は、特徴点抽出部９０１で抽出した特徴点の視差を算出する。算出した視差は、特徴点情報１００３として記憶する。図１９は、特徴点の視差の算出を示す図である。本図に示されるように、第１視差算出部９０２は、抽出した左目用画像の特徴点に対応する画素（対応点）を右目用画像から検出し、対応する画素間の距離（ピクセル数）を特徴点の視差とする。対応点の探索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することにより行う。一般に輝度変化が少ない画素に対しては、誤った対応点を検出する場合も多いが、特徴点は輝度が鋭敏に変化しているエッジ箇所等であるので、精度よく対応点を検出することができる。以上が第１視差算出部９０２の説明である。続いて第２視差算出部９０３について説明する。

＜１．４．３ 第２視差算出部９０３＞
第２視差算出部９０３は、第１視差算出部９０２で算出した特徴点の視差に基づき、重畳領域の視差分布を示す式を導出することにより、特徴点を除く重畳領域内の画素を算出する。以下では、その詳細な内容について、「視差算出方法」、「視差の算出を行う領域」に項目分けして、具体的に説明する。

＜１．４．３．１ 視差算出方法＞
第２視差算出部９０３は、サンプリング点情報１００４を参照して得られるサンプリング点１〜Ｎの座標および視差から重畳領域の視差分布を示す式（視差算出式）を決定し、その式を各画素に適用することにより視差の算出を行う。

以下に、視差推定モデルの一例を示す。

第２視差算出部９０３は、上記の視差の推定モデルのパラメータｐを、サンプリング点ｉ（ｉ＝１〜Ｎ）の座標（ｘ［ｉ］，ｙ［ｉ］）、視差量Ｄ［ｉ］から最小二乗法により決定する。すなわち、第２視差算出部９０３は、Ｄ［ｉ］−Ｄ（ｘ［ｉ］，ｙ［ｉ］）の二乗の総和が最小となるパラメータｐを算出する。これにより、重畳領域の視差分布を示す視差算出式が定まる。次に、第２視差算出部９０３は、視差算出式に対して、視差算出式を適用する領域内の画素のうち特徴点を除く画素の座標を代入する。視差算出式を適用する領域については後述する。これにより視差算出式を適用する領域内の画素のうち特徴点を除く画素の視差を求めることができる。上述した特徴点の抽出、視差算出式の決定、視差算出式の適用の処理を繰り返すことにより、視差マスクで示される領域内の視差を算出することができる。以上が視差算出方法についての説明である。続いて、視差の算出を行う領域について説明する。

＜１．４．３．２ 視差の算出を行う領域＞
図２０は、視差の算出を行う領域を示す図である。本図は、特徴点の抽出を行う領域を説明した図１６、図１７、図１８に対応する。ここで図中の斜線部の領域が視差算出式を適用する領域である。視差算出式を適用する領域は以下のように定める。

すなわち、視差算出式を適用する領域の左辺は、視差未検出の画素１６０１より左側に位置するサンプリング点のうち、最も右側に位置するサンプリング点のｘ座標と等しくなるように定める。また、視差算出式を適用する領域の右辺は、視差未検出の画素１６０１より右側に位置するサンプリング点のうち、最も左側に位置するサンプリング点のｘ座標と等しくなるように定める。また、視差算出式を適用する領域の上辺は、視差未検出の画素１６０１より上側に位置するサンプリング点のうち、最も下側に位置するサンプリング点のｙ座標と等しくなるように定める。また、視差算出式を適用する領域の下辺は、視差未検出の画素１６０１より下側に位置するサンプリング点のうち、最も上側に位置するサンプリング点のｙ座標と等しくなるように定める。上記のように定めた視差算出式を適用する領域を構成する全画素に対して、第２視差算出部９０３は視差算出式を適用し、視差を算出する。

＜１．４．４ 視差マップ格納部９０４＞
視差マップ格納部９０４は、第１視差算出部９０２で算出した重畳領域内の特徴点の視差、および第２視差算出部９０３で算出した重畳領域内の特徴点以外の画素点の視差の値を格納する。視差マップ格納部９０４に格納された視差マップは、オブジェクト視差決定部４０３によるオブジェクトに与える視差量の決定に用いられる。

以上が映像処理装置１００の構成についての説明である。続いて、上記構成を備える映像処理装置１００の動作について説明する。

＜１．５ 動作＞
＜１．５．１ 全体動作＞
まず映像処理装置１００の全体動作について説明する。図２１は、映像処理装置１００の動作を示すフロー図である。

本図に示されるように、制御部１０４はまず、タイマーを起床させる（ステップＳ２１０１）。タイミング情報２０１の画像取得間隔２０２に示される時間が経過した場合（ステップＳ２１０２，ＹＥＳ）、制御部１０４はオブジェクト描画要求部１０５に駆動イベントを発行する（ステップＳ２１０３）。制御部１０４が発行した駆動イベントを受け、オブジェクト描画要求部１０５は、描画要求キュー１０６を更新する（ステップＳ２１０４）。そして映像処理部１０７は、描画要求キュー１０６に基づき、特徴点抽出処理、視差算出処理、重畳処理等の映像処理を行う（ステップＳ２１０５）。ステップＳ２１０５の処理の詳細は＜１．５．２＞節で述べる。

ステップＳ２１０５の処理後、タイミング情報２０１の終了フラグ２０３が“ＴＲＵＥ”の場合（ステップＳ２１０６，ＹＥＳ）、制御部１０４は映像処理装置１００の動作を終了させる。終了フラグがＴＲＵＥでない場合（ステップＳ２１０６，ＮＯ）、ステップＳ２１０２の処理に戻る。以上が映像処理装置１００の全体動作についての説明である。続いてステップＳ２１０５の映像処理の詳細を説明する。

＜１．５．２ 映像処理（ステップＳ２１０５）＞
図２２は、映像処理（ステップＳ２１０５）の詳細を示すフロー図である。本図に示されるように、まず視差情報生成部４０２はオブジェクトを重畳する領域の左目用画像、右目用画像間の視差を算出する（ステップＳ２２０１）。ステップＳ２２０１の視差算出処理の詳細は＜１．５．３＞節で述べる。

次にオブジェクト視差決定部４０３は、ステップＳ２２０１で算出された重畳領域内の視差に基づき、オブジェクトに付与する視差を決定する（ステップＳ２２０２）。具体的には、重畳領域内の画素が有する最大視差を検出し、検出した最大視差をオブジェクトに付与する視差とする。決定したオブジェクト視差は、オブジェクト視差情報５０１として記憶する。

ステップＳ２２０２の後、オブジェクト画像生成部４０３は、ステップＳ２２０２で決定したオブジェクト視差に基づき、オブジェクト画像を生成する（ステップＳ２２０３）。そして合成部４０５は、左目用画像に対して左目用オブジェクト画像を、右目用画像に右目用オブジェクト画像を重畳する（ステップＳ２２０４）。以上が映像処理の詳細についての説明である。続いてステップＳ２２０１の視差算出処理の詳細を説明する。

＜１．５．３ 視差算出処理（ステップＳ２２０１）＞
図２３は、視差算出処理（ステップＳ２２０１）の動作を示すフロー図である。本図に示されるように、まず、視差マスク生成部４０１は、視差マスクを生成する（ステップＳ２３０１）。具体的には、視差マスク生成部４０１は、オブジェクトを重畳する領域を１、その他の領域を０とする２値のビットマップを作製する。次に、視差情報生成部４０２は、視差マスクで示されるオブジェクトを重畳する領域内における視差未検出の画素を探索する（ステップＳ２３０２）。

視差未検出の画素がない場合（ステップＳ２３０２，ＹＥＳ）、視差情報生成部４０２は、視差算出処理を終了する。視差未検出の画素を検出した場合（ステップＳ２３０２，ＮＯ）、視差情報生成部４０２は、サンプリング点情報１００４を初期化する（ステップＳ２３０３）。そして、特徴点抽出部９０１は、左目用画像のオブジェクトを重畳する領域およびその外部近傍に位置する画素から特徴点を抽出する（ステップＳ２３０４）。探索の対象となる領域は、第１にステップＳ２３０２の処理で検出した視差未検出の画素を含む分割領域である。後述するステップＳ２３０８の処理で探索対象の拡張処理が行われた場合は、拡張した領域が探索の対象となる。

特徴点抽出後、第１視差算出部９０２は、抽出した特徴点の視差を算出する（ステップＳ２３０５）。特徴点抽出部９０１、第１視差算出部９０２は、算出した特徴点の座標、視差の情報に基づき、探索情報１００１の更新を行う（ステップＳ２３０６）。そして、特徴点抽出部９０１は、所定数の特徴点が抽出されたか否かを判定する（ステップＳ２３０７）。

所定数の特徴点が抽出されない場合（ステップＳ２３０７，ＮＯ）、特徴点抽出部９０１は、探索対象を既に探索済みの領域に近接の分割領域まで拡張する（ステップＳ２３０８）。以上のステップＳ２３０４〜Ｓ２３０８の処理を、各分割象限について行う。

次に、第２視差算出部９０３は、上記のＳ２３０４〜Ｓ２３０８の処理で抽出されたサンプリング点に基づき視差を算出する領域を特定する（ステップＳ２３０９）。視差を算出する領域の特定については、既に、＜１．４．３．２＞節で説明した。そして、第２視差算出部９０３は、ステップＳ２３０９で特定した領域内の視差を算出する（ステップＳ２３１０）。具体的には、サンプリング点の座標および視差から視差算出式を導出し、その視差算出式を用いて当該領域内の画素のうち、特徴点を除く画素の視差を算出する。

第２視差算出部９０３は、ステップＳ２３１０で算出した視差に基づき、視差マップ９０４を更新する（ステップＳ２３１１）。ステップＳ２３１１の後、ステップＳ２３０２に戻り、視差未検出の画素がある場合（ステップＳ２３０２，ＹＥＳ）、ステップＳ２３０３以降の処理を再度行う。視差未検出の画素がない場合（ステップＳ２３０２，ＮＯ）、視差算出処理を終える。以上が、映像処理装置１００の動作についての説明である。

以上のように本実施形態によれば、重畳領域内の画素およびその外部近傍に位置する画素から特徴点を抽出し、抽出した特徴点の視差に基づき重畳領域の視差を算出し、算出した重畳領域の視差に基づきオブジェクトの重畳処理を行うので、立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することができる。

≪実施の形態２≫
＜２．１ 概要＞
実施の形態２に係る映像処理装置は、実施の形態１に係る映像処理装置１００と同様に、オブジェクトを重畳する立体視映像上の領域における視差を算出するものであるが、オブジェクトの重畳方法が異なる。実施の形態２に係る映像処理装置は、視差量が予め定まっているオブジェクトを重畳するものであり、オブジェクトの視差量と、オブジェクトを重畳する領域の視差を比較する。そして、オブジェクトの視差量よりも視差が大きい領域については、オブジェクトを重畳しないようにする。これにより、元の立体視映像がオブジェクトよりも飛び出して表示されオブジェクトが元の立体視映像部分に埋没することを防ぐことができ、視聴者は違和感なく立体視映像および重畳されたオブジェクトを観察することができる。

＜２．２ 構成＞
まず実施の形態２に係る映像処理装置２４００の構成について説明する。図２４は映像処理装置２４００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１に係る映像処理装置１００の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。図２４に示されるように、映像処理装置２４００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部２４０１、描画要求キュー２４０２、映像処理部２４０３、出力部１０８を含んで構成される。

＜２．２．１ オブジェクト描画要求部２４０１、描画要求キュー２４０２＞
オブジェクト描画要求部２４０１は、制御部１０４が発行する駆動イベントに従い、重畳処理を行う図形、記号、文字等のオブジェクトに関する情報およびオブジェクトに付与する視差量を含む描画要求キュー２４０２を生成する。オブジェクトに付与する視差量が予め与えられる点において、実施の形態１にかかるオブジェクト描画要求部１０５、描画要求キュー１０６と異なる。

図２５は、描画要求キュー２４０２のデータ構造を示す模式図である。本図に示されるように、描画要求キュー２４０２は、オブジェクト数２５０１と領域情報・視差２５０２と画像データ２５０３を含む。オブジェクト数２５０１は、重畳処理を行うオブジェクトの数を示す。領域情報・視差２５０２は、メインビューデータを構成する左目用画像における各オブジェクトを重畳する領域およびその視差を示す情報である。画像データ２５０３は、各オブジェクトの画像データを示す。この画像データ２５０３が左目用画像、右目用画像に重畳される。

＜２．２．２ 映像処理部２４０３＞
図２６は、映像処理部２４０３の内部構成の一例を示すブロック図である。図４に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるとおり映像処理部２４０３は、視差マスク生成部４０１、視差情報生成部２６０１、オブジェクト描画領域決定部２６０２、オブジェクト画像生成部２６０３、合成部４０５を含んで構成される。

まず視差情報生成部２６０１について説明する。実施の形態１にかかる視差情報生成部が、特徴点以外の画素点に対して視差算出式による視差の算出を行っていたのに対して、本実施の形態にかかる視差情報生成部２６０１は、特徴点に対しても視差算出式による視差の算出を行う点が異なる。以下では、視差マスクで示される領域中の、特徴点を含む全ての画素に対して視差算出式による視差の算出を行う理由を、図を用いて説明する。

図２７は、映像処理装置２４００によるオブジェクトの重畳を示す図である。横軸は画素点のｘ座標、縦軸は画素点の視差を示す。また斜線円は特徴点の視差、その他の円は視差算出式で算出した画素の視差を示す。

ここで、本実施の形態では特徴点に対しても視差算出式を適用し、その算出結果を用いてオブジェクトを重畳するので、図２７（ａ）に示されるようにオブジェクトが重畳される。一方、特徴点に対して視差算出式を適用せず、オブジェクトを重畳した場合、図２７（ｂ）に示されるようにオブジェクトが重畳される。本図に示されるように、視差算出式によって算出された視差の値と、特徴点における画素の対応付けにより算出された視差の値とが、乖離してある特徴点だけが飛び出しているような場合、その特徴点部分の数画素においてオブジェクトが重畳されず、ドット落ちのような現象が発生する。本実施の形態では、かかる事態を回避するため、視差マスクで示される領域中の特徴点を含む全ての画素に対して視差算出式による視差の算出を行い、その視差の値に基づきオブジェクトの重畳を行う。以上が視差情報生成部２６０１についての説明である。続いて、オブジェクト描画領域決定部２６０２について説明する。

オブジェクト描画領域決定部２６０２は、重畳処理においてオブジェクトを描画する領域を決定する。具体的には、オブジェクト描画領域決定部２６０２は、まず、描画要求キュー２４０２に格納されるオブジェクトに付与する視差の値と視差情報生成部２６０１算出された左目用画像の視差マスクで示される領域の視差を比較する。そして、オブジェクト描画領域決定部２６０２は、視差マスクで示される領域のうち、左目用画像の視差がオブジェクトの視差よりも小さい領域のみをオブジェクト描画領域とする。左目用画像の視差がオブジェクトの視差よりも大きい領域については、オブジェクト描画領域としない。以上がオブジェクト描画領域決定部２６０２についての説明である。続いて、オブジェクト画像生成部２６０３について説明する。

オブジェクト画像生成部２６０３は、オブジェクト描画領域決定部２６０２により決定されたオブジェクトを描画する領域に基づきオブジェクト画像を生成する。

図２８は、オブジェクト画像の生成を説明するための図である。点線で示される領域は、左目用画像の視差がオブジェクトの視差よりも大きい領域を示す。本図に示されるように、オブジェクト画像生成部２６０３は、オブジェクト描画領域決定部２６０２が決定したオブジェクト描画領域に基づき、描画要求キュー２４０２で示される領域のうち、左目用画像の視差がオブジェクトの視差よりも小さい領域について左目用オブジェクト２８２０を描画する。

また、オブジェクト画像生成部２６０３は、描画要求キュー２４０２に格納される視差の値２８０１だけオブジェクト２８２０を左方向にずらして右目用オブジェクト画像２８３０を生成する。

図３０は、重畳処理後の立体視映像の立体視を示す図である。本図に示されるように、予め設定されたオブジェクトに付与する視差量よりも大きい視差量を有する領域については、オブジェクトは重畳されないので、元の立体視映像がオブジェクトよりも飛び出して表示され、オブジェクトが元の立体視映像部分に埋没することを防ぐことができ、視聴者は違和感なく立体視映像および重畳されたオブジェクトを観察することができる。

以上が映像処理装置２４００の構成についての説明である。続いて、上記構成を備える映像処理装置２４００の動作について説明する。

＜２．３ 動作＞
実施の形態１における映像処理装置１００と異なる映像処理について説明する。図２９は、映像処理装置２４００の映像処理の動作を示すフロー図である。図２２に示す実施の形態１に係る映像処理の動作と同じ部分については、同符号を付す。

まず、視差情報生成部２６０１は、オブジェクトを重畳する領域の左目用画像、右目用画像間の視差を算出する（ステップＳ２９０１）。前述の通り、視差情報生成部２６０１は、特徴点を含む全ての画素に対して視差算出式による視差の算出を行う。

次に、オブジェクト描画領域決定部２６０２は、描画要求キュー２４０２に格納されるオブジェクトに付与する視差の値と視差情報生成部２６０１で算出された左目用画像の視差マスクで示される領域の視差を比較して、重畳処理においてオブジェクトを描画する領域を決定する（ステップＳ２９０２）。

そして、オブジェクト画像生成部２６０３は、ステップＳ２９０２で決定した描画領域および描画要求キュー２４０２に格納される視差の値に基づき、左目用オブジェクト画像および右目用オブジェクト画像を生成する（ステップＳ２９０３）。

合成部４０５は、左目用画像に対して左目用オブジェクト画像を、右目用画像に右目用オブジェクト画像を重畳する（ステップＳ２２０４）。以上が映像処理装置２４００の動作についての説明である。

以上のように本実施形態によれば、重畳領域内の画素およびその外部近傍に位置する画素から特徴点を抽出し、抽出した特徴点の視差に基づき重畳領域の視差を算出し、予め与えられたオブジェクトの視差よりも大きい視差を有する重畳領域については、オブジェクトの重畳処理を行わないので、元の立体視映像がオブジェクトよりも飛び出して表示されオブジェクトが元の立体視映像部分に埋没することを防ぐことができる。

≪実施の形態３≫
＜３．１ 概要＞
実施の形態３にかかる映像処理装置は、実施の形態１にかかる映像処理装置１００と同様に、オブジェクトを重畳する立体視映像上の領域における視差を算出するものであるが、算出した視差を、三次元表示における深さ方向の位置を示す深度情報に変換する点において異なる。これにより、本実施の形態にかかる映像処理装置は、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成することができる。

＜３．２ 構成＞
実施の形態３にかかる映像処理装置は、図１に示す実施の形態１にかかる映像処理装置１００に対して、映像処理部の構成が異なる。映像処理部１０７以外の構成、すなわち、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー１０６、出力部１０８については、同じ構成である。以下では、映像処理装置１００とは異なる映像処理部について説明する。

図３１は、実施の形態３にかかる映像処理部３１００の内部構成の一例を示すブロック図である。図４、図９に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるとおり映像処理部３１００は、視差マスク生成部４０１、視差情報生成部４０２、深度情報変換部３１０１、深度情報格納部３１０２、オブジェクト視差決定部３１０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。また、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。

＜３．２．１ 深度情報変換部３１０１、深度情報格納部３１０２＞
深度情報変換部３１０１は、視差を深度情報に変換する機能を有する。また、深度情報格納部３１０２は、深度情報変換部３１０１により生成された深度情報を格納する機能を有する。

ここで、深度情報とは、画像データに映る各被写体の三次元表示における深さ方向の位置を示す情報である。立体視画像においては、視差の値が大きくなるにつれ、被写体の三次元表示における深さ方向の位置は手前になる。また、視差の値が小さくなるにつれ、被写体の三次元表示における深さ方向の位置は奥になる。すなわち、視差と深さ方向の距離との間には比例関係が成り立つ。

このため、深度情報変換部３１０１は、視差マップ９０４に格納された視差の値を、深度情報として、深度情報格納部３１０２に格納する。

また、深度情報変換部３１０１は、視差マップ９０４に格納された視差の値をそのまま深度情報として深度情報格納部３１０２に格納するのではなく、視差マップ９０４に格納された視差の値をスケーリング及びシフトした値を、深度情報として、深度情報格納部３１０２に格納してもよい。

深度情報変換部３１０１は、例えば、以下に示す数式を用いて、視差の値をスケーリング及びシフトする。

深度情報＝視差量×α＋β
ここで、スケーリングの重みパラメータα、シフトの重みパラメータβの値は、任意の設定値である。例えば、α＝２５５／（最大視差量−最小視差量）、β＝０としてもよい。また、映像処理装置の使用者によりα、βの各値が入力されるものであってもよい。

また、スケーリング（重みパラメータを乗ずる）、シフト（重みパラメータを加える）の両方を行うのではなく、スケーリングまたはシフトの何れか一方のみを行うとしてもよい。

このように算出した深度情報は、画像データの各画素と関連づけて、深度情報３１０２に格納する。例えば、図３２に示すような、奥行きを輝度で表現した画像データとして格納してもよい。本図に示す例では、前方に位置するほど色が白、後方に位置するほど色が黒で表される。

＜３．２．２ オブジェクト視差決定部３１０３＞
オブジェクト視差決定部３１０３は、オブジェクトを重畳する領域内の画素が有する最大視差を検出し、検出した最大視差を重畳するオブジェクトの視差量とする。この際、オブジェクト視差決定部３１０３は、深度情報格納部３１０２に格納された深度情報から視差の値を生成し、生成した視差の値を用いて、重畳するオブジェクトの視差を決定する。

深度情報格納部３１０２に格納された深度情報が、視差マップ９０４に格納された視差の値をそのまま深度情報として格納したものである場合、オブジェクト視差決定部３１０３は、深度情報格納部３１０２に格納された深度情報の値をそのまま視差の値として用いて、重畳するオブジェクトの視差を決定する。

また、深度情報格納部３１０２に格納された深度情報が、視差マップ９０４に格納された視差の値をスケーリング及び／又はシフトしたものである場合、オブジェクト視差決定部３１０３は、スケーリング及び／又はシフトに用いた演算と逆の演算を行うことにより、深度情報から視差の値を生成する。例えば、＜３．２．１＞節で述べた“深度情報＝視差量×α＋β”の数式を用いてスケーリング及びシフトした場合、以下の数式を用いることにより、深度情報から視差の値を生成することができる。

視差量＝（深度情報−β）／α
なお、オブジェクト視差決定部３１０３は、実施の形態１にかかる映像処理装置１００と同様に、視差マップ格納部９０４に格納された視差の値を用いて、重畳するオブジェクトの視差を決定してもよい。

以上が映像処理部３１００の構成についての説明である。続いて、上記構成を備える映像処理部３１００の動作について説明する。

＜３．３ 動作＞
実施の形態１における映像処理装置１００と異なる深度情報変換処理について説明する。図３３は、映像処理部３１００の深度情報変換処理の動作を示すフロー図である。

本図に示されるように、深度情報変換部３１０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。

次に、深度情報変換部３１０１は、取得した視差量をスケーリング及び／又はシフトする（ステップＳ３３０２）。ここでは、例えば、＜３．２．１＞節で述べた“深度情報＝視差量×α＋β”数式を用いてスケーリング及び／又はシフトする。

そして、深度情報変換部３１０１は、視差量をスケーリング及び／又はシフトすることにより算出された値を、深度情報として深度情報格納部３１０２に格納する（ステップＳ３３０３）。

なお、視差量をスケーリング及び／又はシフトした値を、深度情報として深度情報格納部３１０２に格納するのではなく、視差マップ９０４に格納された視差量をそのまま深度情報として深度情報格納部３１０２に格納する場合、上記のステップＳ３３０２に示される処理は行わない。以上が、映像処理部３１００の動作についての説明である。

以上のように、本実施の形態にかかる映像処理装置によれば、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差から深度情報を生成するため、高速かつ精度よく、三次元表示における深さ方向の位置を示す深度情報を生成することができる。

≪実施の形態４≫
＜４．１ 概要＞
実施の形態４にかかる映像処理装置は、実施の形態３にかかる映像処理装置と同様に、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成するものであるが、生成する深度情報の内容が異なる。本実施の形態にかかる映像処理装置は、左目用画像および右目用画像の画像データの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を生成する。

＜４．２ 構成＞
図３４は、実施の形態４にかかる映像処理装置３４００の構成の一例を示すブロック図である。図１に示す実施の形態１にかかる映像処理装置１００の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるように、映像処理装置３４００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、撮像パラメータ格納部３４０１、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー１０６、映像処理部３４０２、出力部１０８を含んで構成される。

＜４．２，１ 撮像パラメータ格納部３４０１＞
撮像パラメータ格納部３４０１は、左目用画像・右目用画像の撮像カメラに関するパラメータ情報を格納する機能を有する。ここで、撮像パラメータとは、例えば、撮像カメラの画角、撮像カメラにより撮影された画像の解像度、左目用画像の撮像カメラから右目用画像の撮像カメラまでの直線距離である基線長の情報を含む。なお、撮像カメラの画角にかえて、撮像カメラの焦点距離とフレームサイズの情報を含むとしてもよい。

これらの撮像パラメータは、例えば、映像取得部１０２で取得した立体視映像に付属情報として多重化されており、この取得した立体視映像を多重分離することで得られる。また、これらの撮像パラメータは、装置使用者等の入力により与えられるものであってもよい。また、これらの撮像パラメータは、外部入力から与えられるものであってもよい。

＜４．２．２ 映像処理部３４０２＞
映像処理部３４０２は、左目用画像・右目用画像格納部１０３に格納された左目用画像・右目用画像の組みに対する視差を算出する。そして、映像処理部３４０２は、撮像パラメータ格納部３４０１に格納された撮像パラメータを用いて、算出した視差を、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する。

図３５は、映像処理部３４０２の内部構成の一例を示すブロック図である。図４、図９に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるように、映像処理部３４０２は、視差マスク生成部４０１、視差情報生成部４０２、深度情報変換部３５０１、深度情報格納部３５０２、オブジェクト視差決定部３５０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。また、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。

＜４．２．２．１ 深度情報変換部３５０１、深度情報格納部３５０２＞
深度情報変換部３５０１は、視差を深度情報に変換する機能を有する。また、深度情報格納部３５０２は、深度情報変換部３５０１により生成された深度情報を格納する機能を有する。

本実施の形態では、深度情報変換部３５０１は、撮像パラメータを用いて、視差を撮像位置から被写体までの実距離に変換し、変換した実距離の情報を深度情報として、深度情報格納部３５０２に格納する。

図３６は、撮像カメラと被写体の位置関係を示す図である。ここでは、左右のカメラの光軸を平行にして被写体を撮影する、いわゆる平行法の場合を考える。本図において、ｄは撮像位置から被写体までの深さ方向の実距離、θは水平画角（フレームの左端から右端までの角度）、Ｌは基線長（左目用画像の撮像カメラから右目用画像の撮像カメラまでの直線距離）、ｗｉｄｔｈ_realは光軸から被写体までの実距離を示す。

また、図３７は、視差と実距離との関係を示す図である。本図において、ｗは左目用画像・右目用画像の幅（ピクセル数）を示す。

ここで、図３６を参照するに、フレームの端に位置する被写体とフレーム中央に位置する被写体との間の実距離は、ｔａｎ（θ／２）・ｄとなる。よって、単位実距離あたりの画素数は、ｗ／２ｔａｎ（θ／２）・ｄとなる。

このことから、図３７に示されるように、左目用画像の中央から被写体までの画素数は、ｗｉｄｔｈ_real・ｗ／２ｔａｎ（θ／２）・ｄとなる。また同様に、右目用画像の中央から被写体までの画素数は、（Ｌ−ｗｉｄｔｈ_real）・ｗ／２ｔａｎ（θ／２）・ｄとなる。従って、左目用画像と右目用画像の組みに対する視差ＤＰは、以下の数式のように表される。

また、撮像位置から被写体までの深さ方向の実距離ｄは、視差ＤＰを用いて以下の数式のように表される。

上記数式における水平画角θ、基線長Ｌ、画像のピクセル幅ｗの情報は、撮像パラメータとして撮像パラメータ格納部３４０１に格納されている。深度情報変換部３５０１は、撮像パラメータ格納部３４０１から撮像パラメータを取得し、視差マップ格納部９０４から視差の情報を取得し、上記の数式に示される関係を用いて、撮像位置から被写体までの深さ方向の実距離を算出する。

なお、撮像パラメータ格納部３４０１が、撮像パラメータとして、撮像カメラの画角の代わりに撮像カメラの焦点距離とフレームサイズの情報を格納している場合には、撮像カメラの焦点距離とフレームサイズの情報を用いて、撮像位置から被写体までの深さ方向の実距離を算出する。具体的には、撮像カメラの焦点距離とフレームサイズの情報から、撮像カメラの画角の値を算出する。そして、算出された画角の値を用いて、上記の数３に示す関係式から、撮像位置から被写体までの深さ方向の実距離を算出する。

＜４．２．２．２ オブジェクト視差決定部３５０３＞
オブジェクト視差決定部３５０３は、オブジェクトを重畳する領域内の画素が有する最大視差を検出し、検出した最大視差を重畳するオブジェクトの視差量とする。この際、オブジェクト視差決定部３５０３は、深度情報格納部３５０２に格納された深度情報から視差の値を生成し、生成した視差の値を用いて、重畳するオブジェクトの視差を決定する。

具体的には、オブジェクト視差決定部３５０３は、数２に示した視差ＤＰと撮像位置から被写体までの深さ方向の実距離ｄとの関係式を用いて、深度情報から視差を生成することができる。

なお、オブジェクト視差決定部３５０３は、実施の形態１にかかる映像処理装置１００と同様に、視差マップ格納部９０４に格納された視差の値を用いて、重畳するオブジェクトの視差を決定してもよい。

＜４．３ 動作＞
実施の形態１における映像処理装置１００と異なる深度情報変換処理について説明する。図３８は、映像処理装置３４００の深度情報変換処理の動作を示すフロー図である。

本図に示されるように、深度情報変換部３５０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。

次に、深度情報変換部３５０１は、撮像パラメータ格納部３４０１に格納された水平画角、解像度、基線長の撮像パラメータを取得する（ステップＳ３８０１）。

次に、深度情報変換部３５０１は、撮像パラメータを用いて、視差を画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する（ステップＳ３８０２）。この変換処理は、画像データを構成する全ての画素に対して行う。

そして、深度情報変換部３５０１は、視差の値から算出した画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離の値を、深度情報として深度情報格納部３５０２に格納する（ステップＳ３８０３）。以上が、映像処理装置３４００の動作についての説明である。

以上のように、本実施の形態にかかる映像処理装置３４００によれば、左目用画像および右目用画像の画像データの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を生成することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差を用いて、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出するため、高速かつ精度よく、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出することができる。

≪実施の形態５≫
実施の形態５にかかる映像処理装置は、実施の形態４にかかる映像処理装置と同様に、左目用画像および右目用画像のデータの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出するものであるが、左目用画像および右目用画像に施されたプレーンシフト量を考慮して実距離を算出する点において異なる。

まず、プレーンシフトについて説明する。プレーンシフトとは、プレーンメモリにおけるライン単位の画素の座標を、左方向または右方向にシフトさせることで、立体視画像の奥行き感を変化させるものである。

左右の撮像カメラで撮影された左目用画像および右目用画像は、その撮影条件や撮像する被写体の位置によっては、視差が大きくなる場合がある。過度に大きな視差を有する立体視画像は、視聴者の視覚疲労、不快感、立体視酔い等を引き起こす可能性があることが知られている。このような、大きな視差を有する左目用画像、右目用画像の組みに対して、プレーンシフトを行うことにより、視差を低減することができる。

図３９は、プレーンシフトを説明するための図である。実線で囲われた領域は撮像カメラにより撮影された領域を示し、点線で囲われた領域は実際に画像データとして記録する領域を示す。

本図に示す例では、大きな視差を有する左目用画像、右目用画像の組みに対して、右目用画像を右方向にＳだけプレーンシフトしている。これにより、プレーンシフト後の左目用画像、右目用画像の視差が低減され、視聴者にとって見やすい立体視画像となっている。ここで、プレーンシフト後の視差ＤＰ´とプレーンシフト前の視差ＤＰとの間には、以下に示す関係式が成り立つ。

ＤＰ＝ＤＰ´−Ｓ
このように、左目用画像、右目用画像がプレーンシフトされている場合、視差マップ格納部９０４に格納される視差の値は、実際に撮影された画像データにおける被写体間の視差ＤＰではなく、プレーンシフト後の画像データにおける被写体間の視差ＤＰ´となる。

しかし、撮像位置から被写体までの深さ方向の実距離を算出するためには、実際に撮影された画像データにおける被写体の位置関係を示す視差ＤＰが必要となる。このため、本実施の形態にかかる深度情報変換部では、プレーンシフト量Ｓを用いて視差ＤＰを算出し、撮像位置から被写体までの深さ方向の実距離を算出する。

ここで、撮像位置から被写体までの深さ方向の実距離ｄは、視差ＤＰ´とプレーンシフト量Ｓを用いて以下の数式のように表される。

実施の形態４では、画角、解像度、基線長の撮像パラメータを用いて、視差から、撮像位置から被写体までの深さ方向の実距離を算出したが、本実施の形態では、画角、解像度、基線長に加え、プレーンシフト量の撮像パラメータが必要となる。

プレーンシフト量の撮像パラメータは、例えば、映像取得部１０２で取得した立体視映像に付属情報として多重化されており、この取得した立体視映像を多重分離することで得られる。また、プレーンシフト量の撮像パラメータは、装置使用者等の入力により与えられるものであってもよい。また、プレーンシフト量の撮像パラメータは、外部入力から与えられるものであってもよい。取得したプレーンシフト量は撮像パラメータ格納部に格納する。

次に、本実施の形態にかかる映像処理装置の実距離算出処理について説明する。図４０は、本実施の形態にかかる実距離算出処理の動作を示すフロー図である。

本図に示されるように、深度情報変換部３５０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。

次に、深度情報変換部３５０１は、撮像パラメータ格納部３４０１に格納された水平画角、解像度、基線長、プレーンシフト量の撮像パラメータを取得する（ステップＳ４００１）。

次に、深度情報変換部３５０１は、水平画角、解像度、基線長、プレーンシフト量の撮像パラメータを用いて、視差を画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する（ステップＳ４００２）。具体的には、数４に示した関係式を用いて、画像データに映る被写体までの深さ方向の実距離を算出する。この変換処理は、画像データを構成する全ての画素に対して行う。

そして、深度情報変換部３５０１は、視差の値から算出した画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離の値を、深度情報として深度情報格納部３５０２に格納する（ステップＳ４００３）。以上が、本実施の形態にかかる映像処理装置の動作についての説明である。

以上のように、本実施の形態にかかる映像処理装置によれば、プレーンシフトを施した左目用画像および右目用画像の画像データの組みから、撮像位置から被写体までの深さ方向の実距離を算出することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差を用いて、撮像位置から被写体までの深さ方向の実距離を算出するため、高速かつ精度よく、撮像位置から被写体までの深さ方向の実距離を算出することができる。

≪補足≫
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。

（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。

（ｂ）本発明は、アプリケーション実行制御を行うＩＣ、ＬＳＩ、その他の集積回路のパッケージとして構成されるものとしてもよい。図４１は、本発明にかかる映像処理装置を、ＬＳＩを用いて具現化した例を示す。本図に示されるように、ＬＳＩ４１００は、例えば、ＣＰＵ４１０１（中央処理装置：Central Processing Unit）、ＤＳＰ４１０２（デジタル信号プロセッサ：Digital Signal Processor）、ＥＮＣ／ＤＥＣ４１０３（エンコーダ／デコーダ：Encoder/Decoder）、ＶＩＦ４１０４（ビデオインターフェイス：Video Interface）、ＰＥＲＩ４１０５（周辺機器インターフェイス：Peripheral Interface）、ＮＩＦ４１０６（ネットワークインターフェイス：Network Interface）、ＭＩＦ４１０７（メモリインターフェイス：Memory Interface）、ＲＡＭ／ＲＯＭ４１０８（ランダムアクセスメモリ／読み出し専用メモリ：Random Access Memory/Read Only Memory）を含んで構成される。

各実施の形態で説明した処理手順は、プログラムコードとしてＲＡＭ／ＲＯＭ４１０８に格納される。そして、ＲＡＭ／ＲＯＭ４１０８に格納されたプログラムコードは、ＭＩＦ４１０７を介して読み出され、ＣＰＵ４１０１またはＤＳＰ４１０２で実行される。これにより、各実施の形態で説明した映像処理装置の機能を実現することができる。

また、ＶＩＦ４１０４は、Camera（Ｌ）４１１３、Camera（Ｒ）４１１４等の撮像装置や、ＬＣＤ４１１２（液晶ディスプレイ：Liquid Crystal Display）等の表示装置と接続され、立体視映像の取得または出力を行う。また、ＥＮＣ／ＤＥＣ４１０３は、取得または生成した立体視映像のエンコード・デコードを行う。また、ＰＥＲＩ４１０５は、ＨＤＤ４１１０（ハードディスクドライブ：Hard Disk Drive）等の記録装置や、Ｔｏｕｃｈ Ｐａｎｅｌ４１１１等の操作装置と接続され、これらの周辺機器の制御を行う。また、ＮＩＦ４１０６は、ＭＯＤＥＭ４１０９等と接続され、外部ネットワークとの接続を行う。

このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。

なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

（ｃ）実施の形態１、２、３、４、５において、処理の対象となる立体視映像は、左目用映像と右目用映像の組みからなる２視点映像であったが、３以上の視点から被写界を撮像して得られた多視点映像であってもよい。３以上の多視点映像に対しても、同様の映像処理を行うことができる。

（ｄ）実施の形態１、２、３、４、５において、映像取得部１０２が取得する立体視映像は、映像処理装置１００に接続された撮像装置によりリアルタイムに撮像された立体視映像であるとしたが、遠隔地でリアルタイムに撮像された立体視映像をネットワークを通じて取得するものであってもよい。また、サーバ内に記録された立体視映像をネットワークを通じて取得するものであってもよい。また、テレビ放送等をアンテナを通じて取得するものであってもよい。また、映像処理装置１００の外部または内部の記録装置に記録された立体視映像であってもよい。ここで記録装置は、例えばハードディスクドライブ、ＢＤ、ＤＶＤ等の光ディスク、またはＳＤメモリカード等の半導体メモリ装置である。

（ｅ）実施の形態１、２、３、４、５では、視差算出式を適用する領域を図１５の斜線部で示される領域としているが、これはサンプリング点から特定可能な領域であればよい。例えば、サンプリング点群の中心点の座標をサンプリング点の座標の平均値とし、当該中心点から特定の距離内の領域を、視差算出式を適用する領域としてもよい。また、当該特定の距離として、サンプリング点の分散値に比例した値を用いてもよい。

（ｆ）実施の形態１、２、３、４、５では、図９に示すように、サンプリング点情報５０４の特徴点インデックス９０２を固定長の配列とするが、これは可変長の配列でもよいし、リスト構造のような配列以外の構造としてもよい。

（ｇ）実施の形態１では、オブジェクトを重畳する領域内の画素が有する最大視差をオブジェクトの視差量としたが、オブジェクトを重畳する領域内の画素が有する最大視差量に予め定義されたオフセット値を加えたものをオブジェクトの視差量としてもよい。

（ｈ）実施の形態１、２、３、４、５では、描画要求キューで指定されるオブジェクトを重畳する領域の座標は左目用画像におけるものであり、左目用画像から特徴点を抽出したが、描画要求キューで指定されるオブジェクトを重畳する領域の座標が右目用画像のものであり、右目用画像から特徴点を抽出するものであってもよい。

（ｉ）実施の形態１、２、３、４、５では、特徴点の視差に基づき重畳領域内の特徴点以外の画素の視差を求めるにあたり、数１に示される視差の推定モデルのパラメータを最小二乗法により決定し、視差算出式を導出したが、この手法に限定されるものではない。例えば、低次またはより高次の式に対する最小二乗法や、重み付き最小二乗法により視差の推定モデルのパラメータを算出してもよい。またその他の推定モデルを用いてもよい。

さらに複数の推定モデルを用意しておき、重畳処理を行う立体視映像の種別に応じて、適した推定モデルを選択してもよい。

（ｊ）実施の形態１、２、３、４、５では、オブジェクト描画要求部は、操作部による立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容、重畳する位置等の指定に基づき描画要求キューを生成するとしたが、ユーザの操作入力を受け付ける外部装置のアプリケーションからネットワーク等を通じてイベントを取得し、取得したイベントに基づき描画要求キューを生成してもよい。

合成処理後の立体視映像を上記の外部装置に送信することで、ネットワークを通じた合成処理の対話型処理が可能となる。

（ｋ）上記の実施の形態及び上記の変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る映像処理装置によれば、視差を算出すべき領域を構成する画素、およびその外部近傍に位置する画素から特徴点を抽出し、その抽出した特徴点を用いて視差を算出すべき領域を構成する全画素の視差を算出するので、立体視映像中の視差を算出すべき領域の視差を高速かつ精度よく算出することができ有益である。

１００ 映像処理装置
１０１ 操作部
１０２ 映像取得部
１０３ 左目用画像・右目用画像格納部
１０４ 制御部
１０５ オブジェクト描画要求部
１０６ 描画要求キュー
１０７ 映像処理部
１０８ 出力部
４０１ 視差マスク生成部
４０２ 視差情報生成部
４０３ オブジェクト視差決定部
４０４ オブジェクト画像生成部
４０５ 合成部
９０１ 特徴点抽出部
９０２ 第１視差算出部
９０３ 第２視差算出部
９０４ 視差マップ格納部
２４００ 映像処理装置
２４０１ オブジェクト描画要求部
２４０２ 描画要求キュー
２４０３ 映像処理部
２６０１ 視差情報生成部
２６０２ オブジェクト描画領域決定部
２６０３ オブジェクト画像生成部
３１００ 映像処理部
３１０１ 深度情報変換部
３１０２ 深度情報格納部
３１０３ オブジェクト視差決定部
３４００ 映像処理装置
３４０１ 撮像パラメータ格納部
３４０２ 映像処理部
３５０１ 深度情報変換部
３５０２ 深度情報格納部
３５０３ オブジェクト視差決定部
４１００ ＬＳＩ
４１０１ ＣＰＵ
４１０２ ＤＳＰ
４１０３ ＥＮＣ／ＤＥＣ
４１０４ ＶＩＦ
４１０５ ＰＥＲＩ
４１０６ ＮＩＦ
４１０７ ＭＩＦ
４１０８ ＲＡＭ／ＲＯＭ
４１０９ ＭＯＤＥＭ
４１１０ ＨＤＤ
４１１１ Ｔｏｕｃｈ Ｐａｎｅｌ
４１１２ ＬＣＤ
４１１３ Ｃａｍｅｒａ（Ｌ）
４１１４ Ｃａｍｅｒａ（Ｒ）

【０００３】
［０００９］
本発明は上記事情に鑑みなされたものであり、立体視映像を構成する画像データの組みにおける対応画素間のオフセット量を高速かつ精度よく算出することができる映像処理装置を提供することを目的とする。
課題を解決するための手段
［００１０］
上記目的を達成するため、本発明にかかる映像処理装置は、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理装置であって、メインビューデータのうち、合成画像を合成する合成領域を、オフセット量を算出すべき領域として特定し、当該特定した領域を示すオフセットマスクを生成するオフセットマスク生成部と、前記オフセットマスクにより示されたオフセット量を算出すべき領域、および前記オフセットマスクにより示されたオフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出部と、サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出部と、算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出部とを備えることを特徴とする。
発明の効果
［００１１］
立体視映像上の全画素に対して対応点探索を行った場合、その演算量は膨大となる。本発明では、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間のオフセット量（視差）を算出すべき領域およびその外部近傍に位置する画素から抽出した特徴点のみに対応点探索を行い、対応点探索により算出した特徴点のオフセット量に基づき特徴点以外の画素のオフセット量を算出するので、オフセット量算出に要する演算量を大幅に削減することができる。その結果立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することが可能となる。
［００１２］
また、オフセット量を算出すべき領域内の輝度変化が少ない領域については、誤った対応点を検出し、正しいオフセット量の値を算出できない場合がある。本発明では、特徴点のみに対応点探索を行い、特徴点のオフセット量

Claims (17)

1. 立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理装置であって、
   メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出部と、
   サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出部と、
   算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出部と
   を備えることを特徴とする映像処理装置。
2. 前記特徴点抽出部は、
   予め決められた数の特徴点が発見されない場合、
   抽出済みの領域に近接する所定領域を抽出範囲として新たに選択し、選択した抽出範囲から特徴点を抽出する処理を予め決められた数の特徴点が発見されるまで繰り返す
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記特徴点抽出部は、
   前記メインビューデータのオフセット量を算出すべき領域内の対象画素を中心としてメインビューデータを分割し、
   抽出範囲を前記メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に絞り込んで、前記抽出範囲に位置する画素から特徴点を抽出する処理を分割象限毎に行い、
   分割象限において予め決められた数の特徴点が発見されない場合、
   抽出済みの領域に近接する所定領域を抽出範囲として新たに選択し、選択した抽出範囲から特徴点を抽出する処理を当該分割象限に予め決められた数の特徴点が発見されるまで繰り返す
   ことを特徴とする請求項１に記載の映像処理装置。
4. 前記第２オフセット量算出部は、
   算出された特徴点のオフセット量を用いて、メインビューデータのオフセット量を算出すべき領域のオフセット量分布を示す式を導出することにより、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する
   ことを特徴とする請求項１に記載の映像処理装置。
5. 前記映像処理装置はさらに、
   オフセット量を算出すべき領域を示すマスクを生成するマスク生成部を備えることを特徴とする請求項１に記載の映像処理装置。
6. 前記オフセット量を算出すべき領域は、メインビューデータのうち合成処理を行う合成領域であり、
   前記映像処理装置はさらに、
   前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量に基づき、メインビューデータおよびサブビューデータのそれぞれに合成画像を合成する合成部を備えることを特徴とする請求項１に記載の映像処理装置。
7. 前記合成部は、
   前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量のうち最大のオフセット量を合成画像に付与し、メインビューデータおよびサブビューデータに合成することを特徴とする請求項６に記載の映像処理装置。
8. 前記合成部は、
   前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量と予め設定された合成画像のオフセット量とを比較し、
   合成画像のオフセット量よりも大きいオフセット量を有するメインビューデータの画素からなる領域およびそれに対応するサブビューデータの領域については、合成画像を合成しないことを特徴とする請求項６に記載の映像処理装置。
9. 前記映像処理装置はさらに、
   前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、三次元表示における深さ方向の位置を示す深度情報に変換する深度情報変換部を備える
   ことを特徴とする請求項１に記載の映像処理装置。
10. 前記深度情報変換部は、前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量をスケーリング及びシフトのいずれか一方又は両方を行う
    ことを特徴とする請求項９に記載の映像処理装置。
11. 前記深度情報は、撮像位置から被写体までの深さ方向の実距離である
    ことを特徴とする請求項９に記載の映像処理装置。
12. 前記深度情報変換部は、メインビューデータの撮像カメラおよびサブビューデータの撮像カメラの撮像パラメータを用いて、前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、前記実距離に変換する
    ことを特徴とする請求項１１に記載の映像処理装置。
13. 前記撮像パラメータは、メインビューデータの撮像カメラとサブビューデータの撮像カメラの画角、メインビューデータの撮像カメラとサブビューデータの撮像カメラの解像度、およびメインビューデータの撮像カメラからサブビューデータの撮像カメラまでの基線長を含む
    ことを特徴とする請求項１２に記載の映像処理装置。
14. 前記撮像パラメータは、メインビューデータの撮像カメラとサブビューデータの撮像カメラの焦点距離、メインビューデータの撮像カメラとサブビューデータの撮像カメラのフレームサイズ、メインビューデータの撮像カメラとサブビューデータの撮像カメラの解像度、およびメインビューデータの撮像カメラからサブビューデータの撮像カメラまでの基線長を含む
    ことを特徴とする請求項１２に記載の映像処理装置。
15. 前記深度情報変換部は、メインビューデータおよびサブビューデータがプレーンシフトされたビューデータである場合、
    前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、プレーンシフトされる前のメインビューデータおよびサブビューデータの組みに対する対応画素間のオフセット量に変換し、変換後の前記オフセット量に基づき、前記実距離を算出する
    ことを特徴とする請求項１１に記載の映像処理装置。
16. 立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理方法であって、
    メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出ステップと、
    サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出ステップと、
    算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出ステップと
    を備えることを特徴とする映像処理方法。
17. 立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する処理をコンピュータに実行させるプログラムであって、
    メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出ステップと、
    サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出ステップと、
    算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出ステップと
    をコンピュータに実行させるプログラム。

Images