JP5543191B2 - 映像処理方法及びその装置 - Google Patents

Description

本発明は、映像処理方法及びその装置に係り、さらに具体的には、メタデータから抽出されたデプス（depth）情報を利用し、フレームに係わるデプスマップを生成する映像処理方法及びその装置に関する。

デジタル技術の発達によって、三次元映像技術が広く普及している。三次元映像技術は、二次元映像に、深み（depth：奥行き）についての情報を付与し、さらに写実的な映像を表現する技術である。

肉眼は、横方向に所定距離ほど離れているので、左目と右目とが見る二次元映像が互いに異なるが、これを両眼視差という。脳は、互いに異なる２つの二次元映像を融合し、遠近感と実在感とがある三次元映像を生成する。両眼視差を利用して三次元映像を生成する技術は、特許文献１に開示されている。

三次元映像技術は、初めからビデオデータを三次元で映像として生成する技術と、二次元映像として生成されたビデオデータを三次元映像に変換する技術とがあり、２つの技術に係わる研究が共になされている。

米国特許第７，５３８，７６８号明細書

本発明は、背景用デプス情報を利用し、オブジェクトに係わるデプスマップを生成する映像処理方法及びその装置を提供するためのものである。

本発明の一側面によれば、二次元映像を所定単位に区分するためのショット情報をメタデータから抽出する段階、前記ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれたフレームが三次元映像として再生されうると判断されれば、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出する段階、前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成する段階、前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトについてのオブジェクト用デプス情報を抽出する段階、及び前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成する段階を含む映像処理方法を提供できる。

望ましい実施形態によれば、前記ショット情報を利用し、前記所定ショットに含まれたフレームが出力されねばならない時刻を求める段階をさらに含むことができる。また、前記背景に係わるデプスマップを生成する段階は、前記背景用デプス情報から背景の基本構造を示す背景タイプ情報、前記背景に含まれた曲面にデプス値を適用するための曲面情報、前記背景の座標点及び前記背景の座標点での前記背景のデプス値、画面のデプス値を示すパネルポジション値を抽出し、前記背景に係わるデプスマップを生成する段階を含むことができる。

また、前記背景に係わるデプスマップを生成する段階は、前記背景タイプ情報による前記背景の基本構造のデプス値と、前記曲面情報による前記曲面のデプス値とを利用し、前記背景に係わるデプスマップを生成する段階を含むことができる。

また、前記フレームに含まれた背景が同じデプス値を有する場合、前記背景に係わるデプスマップをフィルタリングする段階をさらに含み、前記背景に係わるデプスマップをフィルタリングする段階は、前記背景に係わるデプスマップが円球の中心を通過する平面になるように、前記背景に係わるデプスマップに半球フィルタを適用したり、前記背景に係わるデプスマップが円柱を縦に半分に分ける平面になるように、前記背景に係わるデプスマップに半円柱フィルタを適用したり、前記背景に係わるデプスマップが三角柱の四角形横面になるように、前記背景に係わるデプスマップに三角柱フィルタを適用し、前記背景に係わるデプスマップを変形する段階を含むことができる。また、前記オブジェクト用デプス情報には、前記オブジェクトの類型が、二次元オブジェクト、ノーマルオブジェクト、ハイライトオブジェクトのうち、何かを示すオブジェクトタイプ情報が含まれうる。

また、前記オブジェクト用デプス情報は、同じフレームに含まれるオブジェクトが複数である場合、前記複数のオブジェクトのデプスマップ生成順序を示す優先順位情報を含み、前記オブジェクトに係わるデプスマップを生成する段階は、前記オブジェクトのデプスマップ生成順序によって、前記複数のオブジェクトに係わるデプスマップを順序通りに生成する段階を含むことができる。また、前記オブジェクトに係わるデプスマップを生成する段階は、前記オブジェクト用デプス情報から、前記オブジェクトが含まれたフレームが出力されねばならない時刻を求める段階を含むことができる。

また、前記オブジェクト用デプス情報から、前記オブジェクトの領域を識別するための領域識別情報を抽出する段階をさらに含み、前記領域識別情報は、前記オブジェクトの領域を座標点で表示した情報であるか、または前記オブジェクトの形状が表示されたマスクについての情報でありうる。また、前記オブジェクトが二次元オブジェクトである場合、前記オブジェクトに係わるデプスマップを生成する段階は、前記背景用デプス情報に含まれたパネルポジション値を、前記識別されたオブジェクト領域のデプス値とし、前記二次元オブジェクトに係わるデプスマップを生成する段階を含むことができる。

また、前記オブジェクトがノーマルオブジェクトであり、前記領域識別情報が前記オブジェクトの形状が表示されたマスクについての情報である場合、前記オブジェクト用デプス情報は、前記背景用デプス情報に含まれた背景の座標点のうち、前記ノーマルオブジェクトの領域を示す座標点と同じ座標点についての情報をさらに含み、前記オブジェクトに係わるデプスマップを生成する段階は、前記同じ座標点に係わる背景のデプス値を、前記識別されたノーマルオブジェクト領域のデプス値とし、前記ノーマルオブジェクトに係わるデプスマップを生成する段階を含むことができる。

また、前記オブジェクトがノーマルオブジェクトである場合、前記オブジェクトに係わるデプスマップを生成する段階は、前記背景用デプス情報に含まれた背景の座標点のうち、前記ノーマルオブジェクトの領域を示す座標点と同じ座標点を求める段階、及び前記求めた座標点に係わる背景のデプス値を、前記識別されたノーマルオブジェクト領域のデプス値とし、前記ノーマルオブジェクトに係わるデプスマップを生成する段階を含むことができる。また、前記オブジェクトがハイライトオブジェクトである場合、前記オブジェクトに係わるデプスマップを生成する段階は、前記背景用デプス情報に含まれたパネルポジション値と、前記オブジェクト用デプス情報に含まれたオフセット値とを利用して求めた値を、前記識別されたハイライトオブジェクト領域のデプス値とし、前記ハイライトオブジェクトに係わるデプスマップを生成する段階を含むことができる。

また、前記オブジェクトに係わるデプスマップをフィルタリングする段階をさらに含み、前記フィルタリングする段階は、前記オブジェクトに係わるデプスマップが円球の中心を通過する平面になるように、前記オブジェクトに係わるデプスマップに半球フィルタを適用したり、前記オブジェクトに係わるデプスマップが円柱を縦に半分に分ける平面になるように、前記オブジェクトに係わるデプスマップに半円柱フィルタを適用したり、前記オブジェクトに係わるデプスマップが三角柱の四角形横面になるように、前記オブジェクトに係わるデプスマップに三角柱フィルタを適用し、前記オブジェクトに係わるデプスマップを変形する段階を含むことができる。

また、前記メタデータから、前記フレームが含まれたタイトルを識別するためのタイトル識別情報を抽出し、前記メタデータがいかようなタイトルについての情報であるかを識別する段階をさらに含むことができる。また、前記デプスマップを利用して二次元映像に係わる左目映像及び右目映像を生成する段階、前記左目映像及び右目映像のホールを補正する段階、及び前記ホールが補正された左目映像及び右目映像を利用し、三次元フォーマット映像を生成する段階をさらに含むことができる。

本発明の他の側面によれば、二次元映像を所定単位に区分するためのショット情報をメタデータから抽出し、前記ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれたフレームが三次元映像として再生できると判断されれば、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出し、前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトについてのオブジェクト用デプス情報を抽出して解析するメタデータ解析部、及び前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成し、前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成するデプスマップ生成部を含む映像処理装置を提供できる。

本発明のさらに他の側面によれば、二次元映像を所定単位に区分するためのショット情報をメタデータから抽出する段階、前記ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれたフレームが三次元映像として再生できると判断されれば、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出する段階、前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成する段階、前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトに係わるオブジェクト用デプス情報を抽出する段階、及び前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成する段階を含む映像処理方法を実行するためのコンピュータで判読可能なプログラムを保存する記録媒体を提供できる。

本発明の一実施形態によれば、背景用デプス情報を利用し、オブジェクトに係わるデプスマップを生成する映像処理方法及びその装置を提供できる。

本発明の一実施形態による、ビデオデータに係わるメタデータを図示する図である。 本発明で使われるデプス情報を図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 背景用デプス情報に含まれた背景タイプ情報及び曲面情報を利用し、背景にデプス値を付与するところを図示する図である。 画面の側面から観察するとき、映像に付与される奥行き感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 映像処理装置が、オブジェクトに係わるデプスマップや、背景に係わるデプスマップをフィルタリングしたとき、フィルタリングされた映像の立体感を図示する図である。 図１のメタデータを利用してデプスマップが生成される方法を図示する図である。 図１のメタデータを利用してデプスマップが生成される方法を図示する図である。 本発明の一実施形態による映像処理方法を遂行するための映像処理装置を示した図である。 図７のデプスマップ生成部をさらに具体的に図示した図である。 図７のステレオレンダリング部をさらに具体的に図示したブロック図である。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態による、ビデオデータに係わるメタデータ１００を図示した図である。本発明の一実施形態によるメタデータ１００には、ビデオデータについての情報が含まれている。メタデータ１００が、いかなるビデオデータについての情報であるかを表示するために、メタデータ１００には、ビデオデータが含まれたタイトルを識別するためのタイトル識別情報が含まれる。

メタデータ１００には、ビデオデータを含むフレームについての情報が含まれている。フレームについての情報は、フレームを所定の基準によって区分するための情報を含む。類似性がある一連のフレームの束を、１つのユニット（unit）とするとき、ビデオデータのフレームは、複数のユニットに区分されうる。本発明でのメタデータ１００は、ビデオデータのフレームを、所定のユニットに区分するための情報を含む。

本発明では、フレームの構成が類似しており、以前フレームを利用して現在フレームの構成を予測できる場合、構成が類似した一連のフレームを１つのショット（shot）と呼ぶ。メタデータ１００には、二次元ビデオデータのフレームを、所定単位、すなわちショット単位に区分するためのショット情報が保存されている。以下、メタデータ１００に含まれている、ショットについての情報をショット情報と呼ぶ。メタデータ１００には、一つ以上のショット情報が含まれている。フレームの構成が顕著に変わり、現在フレームの構成が以前フレームの構成と異なる場合、現在フレームと以前フレームは、互いに異なるショットに区分される。

ショット情報は、ショットタイプ情報を含む。ショットタイプ情報は、各ショット別に、そのショットに対応するフレームが二次元映像として出力されねばならないか、または三次元映像として出力されねばならないかを示す情報である。ショットタイプ情報が、そのショットに含まれたフレームが二次元映像として出力されねばならないことを表示すれば、映像処理装置７００（図７）は、そのショットに区分されるフレームを、二次元映像をデコーディングしてそのままを画面に出力する。ショットタイプ情報が、そのショットに含まれたフレームが三次元映像として出力されねばならないことを表示する場合、映像処理装置は、メタデータ１００に含まれたデプス（depth）情報を利用し、そのショットに対応するフレームを三次元映像として出力する。

ショット情報には、二次元のビデオデータを三次元映像として出力するための、二次元のビデオデータをデプス情報で同期化させるための情報が含まれる。ショット情報には、ショット開始時刻及びショット終了時刻が含まれる。ショット開始時刻は、所定のショットに区分されるフレームのうち、最初に出力されるフレームの出力時刻を意味し、ショット終了時刻は、所定のショットに区分されるフレームのうち、最後に出力されるフレームの出力時刻を意味する。ビデオデータ、または一つ以上のビデオデータの束であるタイトルが単一時間軸によって連続的に再生されるとき、ビデオデータまたはタイトルが再生される連続的な時間軸を、グロ−バルタイム軸（global time axis）という。ショット開始時刻及びショット終了時刻として、ビデオデータやタイトルのグロ−バルタイム軸上での出力時間（presentation time）が割り当てられる。

ショット情報は、そのショットに含まれたフレームの個数がいくつであるか示す情報を含む。ショット情報には、ショット開始時刻及びショット終了時刻が含まれており、ショットに含まれたフレームがいくつであるかについての情報も含まれているので、映像処理装置は、ショット終了時刻からショット開始時刻を差し引いた時間、ショットに含まれたフレームを同一間隔で出力する。従って、ショットに含まれたあらゆるフレームに係わる出力時刻が求められる。

ショットタイプ情報が、所定ショットに区分されるフレームが、三次元映像として出力されねばならないことを示す場合、メタデータ１００には、その所定ショットに区分されるフレームを、三次元映像に変換するためのデプス情報がさらに含まれる。

二次元映像に立体感を与えるためには、二次元映像に奥行き感（depth）を付与しなければならない。人が画面を見るとき、画面に投射された映像が両眼に結ばれるが、目に結ばれる映像の二点間の距離を視差（parallax）という。視差は、正の視差（positive parallax）、ゼロの視差（zero parallax）、負の視差（negative parallax）に区分される。正の視差は、映像が画面内側に結ばれる場合の視差をいい、視差が両眼間の距離と同じであるか、またはそれより小さいときをいう。視差値が大きくなるほど、映像が画面よりさらに深く位置したような立体感を与える。

映像が画面平面に二次元に結ばれる場合の視差は、０になる。視差が０である場合、映像が画面平面に結ばれるので、ユーザは、立体感を感じれない。負の視差は、映像が画面より前方にある場合の視差をいい、視線が交差するときに発生し、あたかも物体が飛び出しているような立体感を与える。

二次元映像に奥行き感を与えて三次元映像を生成するために、本発明では、フレームに係わるデプスマップを生成し、フレームに奥行き感を付与する方法を利用する。デプス情報は、フレームに奥行き感を付与し、二次元映像が三次元映像に変換させるための情報であり、背景用デプス情報とオブジェクト用デプス情報とに分けられる。

１つのフレームの映像は、背景をなす映像と、背景を除外した一つ以上のオブジェクトに係わる映像とから構成される。背景用デプス情報は、背景をなす映像に奥行き感を与えるための情報である。背景をなす映像に奥行き感を与えるということは、背景の位置や形の作りのような構成に奥行き感を与え、背景に立体感を有させることを意味する。

フレームの背景は、フレーム別に多様な形態の構成を有することができる。メタデータ１００には、多様な形態の構成がいくつかの定形化された形態に分類されて含まれており、所定ショットに含まれるフレームの背景が定形化された構成のうち、いかなる形態の構成を有するかを示す背景タイプ情報が含まれている。本発明でのショットは、フレーム間の構成が変わり、現在フレームの構成が以前フレームの構成と異なる場合を区別するのに使われるので、１つのショットに区分されるフレームは、一般的に同じ構成を有するようになる。従って、１つのショットに区分されるフレームの背景についてのデプス情報もまた同一になる。

背景用デプス情報には、背景タイプ情報によって識別された基本構成に加え、背景に含まれている曲面（surface）にデプス値を付与するための曲面情報をさらに含むことができる。背景タイプ情報と曲面情報とについては、図３Ｆを参照しつつ説明する。

背景用デプス情報には、背景の座標点、背景の座標点に適用されるデプス値、そしてパネルポジション値が含まれうる。背景の座標点値は、二次元映像フレームを基準としたときの背景の座標値をいう。デプス値は、二次元映像の所定ピクセルに付与される深さの程度をいい、パネルポジションは、映像が結ばれる画面の位置をいう。背景用デプス情報は、ショットタイプ情報がショットに含まれたフレームを、三次元映像として出力しなければならないことを表示する場合、そのショットに含まれるフレームの背景に係わってデプスマップを生成するために必ず必要な情報である。

オブジェクト（object）は、フレームにおいて背景を除外した、垂直成分を有する人や建物などの個体をいう。オブジェクト用デプス情報は、オブジェクトに係わってデプスマップを生成するために使われる情報である。ショットに含まれたフレームを三次元映像として出力しなければならない場合、背景用デプス情報は、必ず必要であるが、そのショットのフレームのうち、一部フレームには、オブジェクトが含まれていないこともあるので、あらゆるフレームについて、オブジェクトについてのデプス情報が必要であるというわけではない。

オブジェクト用デプス情報は、オブジェクトタイプ情報を含む。オブジェクトタイプ情報は、オブジェクトにデプス値をいかように付与するかを基に、二次元オブジェクト、ノーマル（normal）オブジェクト、ハイライト（highlight）オブジェクトに分けられる。二次元オブジェクトは、二次元に出力されねばならない領域を識別するためのオブジェクトである。二次元オブジェクトのデプス値は、画面のデプス値、すなわちパネルポジション値と同一である。ノーマルオブジェクトは、背景に接触して立っているオブジェクトを意味する。従って、ノーマルオブジェクトは、ノーマルオブジェクトと接触している背景の座標点のデプス値を、オブジェクトのデプス値として有する。二次元オブジェクトでもなく、ノーマルオブジェクトでもないオブジェクトを、ハイライトオブジェクトという。ハイライトオブジェクトは、パネルポジションのデプス値を基に、所定値ほど画面内側に、または画面外側に離れた値をデプス値として有する。

オブジェクト用デプス情報は、優先順位情報を含む。優先順位情報とは、同じフレームに複数のオブジェクトが含まれている場合、オブジェクトに係わるデプスマップ生成順位を示す。オブジェクトが複数である場合、優先順位の高いオブジェクトから、まずデプスマップが生成される。優先順位の高いオブジェクトは、低い優先順位を有するオブジェクトより視聴者にさらに近くにあるオブジェクトをいう。

オブジェクト用デプス情報は、フレームが出力される時間についての情報を含む。フレームが出力される時間は、所定ショットに区分されるフレームのうち、所定オブジェクトが登場するフレーム出力時間を意味する。フレーム出力時間は、フレーム開始時刻及びフレーム終了時刻を含み、フレーム開始時刻は、オブジェクトが含まれたフレームが出力され始める時刻を意味し、フレーム終了時刻をそのオブジェクトが含まれたフレームの出力が停止する時刻を意味する。

オブジェクト用デプス情報は、領域識別情報を含む。領域識別情報は、オブジェクトの領域を表示するための情報であり、座標点となりうる。場合によっては、領域識別情報として、オブジェクトの領域が表示されたマスクが利用され、この場合、オブジェクトの領域を識別するために、オブジェクト別に１つのマスクが用いられうる。

オブジェクトがノーマルオブジェクトであり、領域識別情報がマスクを利用して表現された場合、オブジェクト用デプス情報は、参照情報をさらに含むことができる。参照情報は、背景用デプス情報に含まれた背景の座標点のうち、ノーマルオブジェクトの領域を示す座標点と同じ座標点についての情報をいう。前述の通り、ノーマルオブジェクトは、背景と接触しているオブジェクトであるから、背景と接触している座標点での背景のデプス値を、オブジェクトのデプス値として有する。領域識別情報がマスクとして与えられる場合、オブジェクトのどの地点が背景と接触しているかが分からないこともあるので、オブジェクトが背景と接触する地点を知らせるための情報が必要になる。

オブジェクトがハイライトオブジェクトである場合、ハイライトオブジェクトのデプス値が、パネルポジション値とオフセット値との和、または差として与えられるので、オブジェクト用デプス情報は、オフセット値についての情報をさらに含まねばならない。

オブジェクト用デプス情報は、フィルタ情報をさらに含むことができる。オブジェクトは、垂直成分を有するので、オブジェクトのデプス値は、垂直に同じ値を有することになる。場合によっては、オブジェクト全体が同じデプス値を有することもある。例えば、ハイライトオブジェクトのデプス値は、パネルポジション値とオフセット値との和、または差として与えられるので、ハイライトオブジェクト全体について、同じデプス値を有することになる。この場合、オブジェクトのデプス値に追加的なデプス値をさらに付与し、オブジェクトを立体的にするための情報がフィルタ情報である。映像処理装置は、フィルタ情報を利用し、オブジェクトをフィルタリングできる。

場合によっては、背景用デプス情報にもフィルタ情報が含まれうる。例えば、背景全体が同じデプス値を有する場合、背景に立体感を与えるために、フィルタ情報を利用し、背景に係わるデプスマップをフィルタリングできる。フィルタ情報については、図５Ａないし図５Ｆを参照しつつ、さらに具体的に述べる。

このように、本発明の一実施形態によれば、二次元映像のビデオデータを三次元映像に変換するための情報が、メタデータ１００に含まれており、メタデータ１００には、背景用デプス情報とオブジェクト用デプス情報とが含まれている。

図２は、本発明で使われるデプス情報を説明するための図である。本発明では、デプス情報を利用し、二次元平面のフレームに奥行き感を付与する。図２を参照するに、ユーザが画面を視聴する方向と平行方向であるＸ軸方向は、フレームの奥行き程度を示す。デプス値は、映像の奥行き程度を意味し、本発明でデプス値は、０から２５５まで２５６個のうち１つの値を有することができる。デプス値が小さくなって０に近づくほど、映像に奥行きが生じて映像が視聴者に遠ざかり、デプス値が大きくなって２５５に近づくほど、映像が視聴者に近づく。

パネルポジションは、映像が結ばれる画面の位置をいい、パネルポジション値は、視差が０である場合、すなわち映像が画面表面に結ばれるときの映像のデプス値を意味する。図２のように、パネルポジション値は０から２５５のうちの１つのデプス値を有することができる。パネルポジション値が２５５である場合、フレームに含まれた映像は、いずれも画面と同じデプスを有するか、または画面より小さいデプス値を有することになるので、映像が視聴者に遠ざかる方向、すなわち、画面内側に結ばれる。これは、フレームに含まれた映像が０、または正の視差を有することを意味する。パネルポジション値が０である場合、フレームに含まれた映像は、いずれも画面と同じデプス値を有するか、または画面より大きいデプス値を有することになるので、映像が画面外に飛び出して結ばれる。これは、フレームに含まれたあらゆる映像が、０または負の視差を有することを意味する。

図３Ａないし図３Ｆは、背景用デプス情報に含まれた背景タイプ情報と曲面情報とを利用し、背景にデプス値を付与するところを説明するための図である。前述の通り、背景タイプ情報は、フレームに含まれた背景の基本的な構成情報が何であるかを知らせる情報である。

背景タイプは、六種に大別されうる。以下の表１は、背景のタイプを表で示したものであり、図３Ａないし図３Ｆは、背景タイプ別に背景の基本的な構成を図示する図である。前述のように、背景用デプス情報には、背景の基本構成が何であるかを示す背景タイプ情報が含まれている。

図３Ａから図３Ｆには図示されていないが、背景タイプのうちプレーン（plain）構成を考慮することができる。プレーン構成は、背景全体が同じデプス値を有する背景の構成タイプをいう。

図３Ａは、背景タイプがベーシック・ベースライン（basic baseline）である場合のフレームの背景を図示したものである。ベーシック・ベースラインの構成は、地平線のように、全体背景内の上辺、あるいは下辺と平行した１本の線を基に、上下領域に垂直方向にのみデプス変化がある場合に使われる。図３Ａで、フレームの最左側の最上端の座標を（０，０）とするとき、ｐ１とｐ２との座標点がｘ軸値のみ異なり、ｙ軸値は、同じ値を有する。また、ｐ１とｐ２との二点を連結した直線は、同じデプス値を有することになる。背景タイプがベーシック・ベースラインである場合、デプス情報には、ｐ１とｐ２との座標点、二点を連結する直線に付与するデプス値、及び上辺、下辺のデプス値が含まれる。

図３Ｂは、背景タイプが２ポイントベースライン（two point baseline）である場合のフレームの背景を図示したものである。２ポイントベースラインの構成は、全体背景内の上辺及び下辺と平行ではない１本の線を基に、上下領域に垂直／水平方向にデプス変化がある場合に使われる。図３Ｂで、ｐ３，ｐ４の座標値は、ｘ軸方向にもｙ方向にもいずれも異なり、二点でのデプス値も異なる。ｐ３とｐ４とを連結する直線もまた、ピクセル別に異なるデプス値を有することになる。背景タイプが２ポイントベースラインである場合、デプス情報には、ｐ３とｐ４との座標点、二点でのデプス値、及び他コーナーの頂点ｐ１，ｐ２，ｐ５，ｐ６に係わるデプス値が含まれる。

図３Ｃは、背景タイプが５ポイントボックス（five point box）である場合のフレームの背景を図示したものである。５ポイントボックスの構成は、全体背景内部に平面形態（長方形）の同じデプス領域が存在し、これを基に、外部の四点に向かってデプス変化がある場合に使われる。図３Ｃで、長方形領域として、１つの座標点ｐ３と、横及び縦にの長さ（ｘ，ｙ）が与えられることが分かる。背景タイプが５ポイントボックスである場合、デプス情報として、ｐ１〜ｐ５の座標点、各座標点でのデプス値、そして長方形の横及び縦の長さが含まれる。

図３Ｄは、背景タイプが６ポイントボックス（six point box）である場合のフレームの背景を図示したものである。６ポイントボックスの構成は、全体背景内部に、縦方向に異なるデプス値を割り当てることができる特徴的な二点を定義し、これを基に、外部の四点に向かってデプス変化がある場合に使われる。背景タイプが６ポイントボックスである場合、デプス情報には、ｐ１〜ｐ６の座標点、及び各座標点でのデプス値が含まれる。

図３Ｅは、背景タイプが８ポイントボックス（eight point box）である場合のフレームの背景を図示したものである。８ポイントボックスの構成は、全体背景内部に、平面形態（四角形）として４つの頂点にそれぞれ異なるデプス値が割り当て可能な領域が存在し、これを基に、外部の四点に向かってデプス変化がある場合に使われる。背景タイプが８ポイントボックスである場合、デプス情報には、ｐ１〜ｐ８の座標点、及び各座標点でのデプス値が含まれる。

図３Ｆは、曲面情報によって、背景の基本的な構成に付加的にデプス値が付与される場合を説明するための図である。図３Ｆを参照するに、図３Ｆは、２ポイントベースラインの背景構成を有する背景に、付加的にデプス値を付与するための座標点が表示されている。曲面情報は、付加的に背景にデプス値を付与するための座標点の値、及びその座標点でのデプス値を含む。デプス情報には、曲面情報として、ｐ１〜ｐ１０に係わる座標点、及び各座標点でのデプス値が含まれることになる。

図４は、画面の側面から観察するとき、映像に付与される奥行き感を説明するための図である。図４には、二次元オブジェクト、ノーマルオブジェクト、ハイライトオブジェクトが図示されている。図４のオブジェクトは、フィルタリングが適用されていない状態を図示したものであり、オブジェクトは、Ｚ軸方向、すなわちパネルポジションに平行方向に同じデプス値を有することが分かる。

二次元オブジェクトは、画面の側面からながめたとき、画面上に位置し、画面と同じデプス値を有することが分かる。画面に結ばれるノーマルオブジェクトは、背景に接触しているオブジェクトであるから、図４のように、ノーマルオブジェクトのデプス値は、背景とオブジェクトとが接触している地点で、背景が有するデプス値と同じデプス値になる。図４でハイライトオブジェクトは、パネルポジション値とオフセット値とを合わせたほどのデプス値を有していることが分かる。ハイライトオブジェクトは、パネルポジション値より大きいデプス値を有するので、視聴者は、ハイライトオブジェクトが画面より外側に飛び出しているかのように認識することになる。

図５Ａないし図５Ｆは、映像処理装置がオブジェクトに係わるデプスマップであるが、背景に係わるデプスマップをフィルタリングしたときに、フィルタリングされた映像の立体感を説明するための図である。オブジェクトが、ハイライトオブジェクトのようにオブジェクト全体に対して同じデプス値を有する場合、オブジェクトをさらに立体的に示すために、オブジェクトに係わるデプスマップをフィルタリングできる。また、背景が同じデプス値を有する場合にも、見栄えのしない背景をさらに立体的に示すために、背景に係わるデプスマップをフィルタリングできる。

便宜上、図５は、オブジェクトや平面が同じデプス値を有すると仮定するとき、かようなオブジェクトまたは背景をフィルタリングした場合、側面から観察されるデプスを示しているが、フィルタリングが必ずしもかような場合のみに適用されるものではなく、オブジェクトや背景が同じデプス値を有さない場合にも、フィルタリングが適用されもする。

図５Ａ及び図５Ｂは、フィルタが半球状であるとき、半球状のフィルタによってフィルタリングされたデプスマップのデプスを図示する図である。図５Ａ及び図５Ｂは、オブジェクトに係わるデプスマップ、または背景に係わるデプスマップが球の中心を通過する平面になるように、デプスマップに半球フィルタを適用したものである。例えば、オブジェクトがハイライトオブジェクトであり、ハイライトオブジェクトがサッカーボールである場合、サッカーボールにさらに立体感を付与するために、サッカーボールに係わるデプスマップに球状のフィルタをフィルタリングできる。また、フレームに人の顔がクローズアップされている場合、人の顔を別途のオブジェクトで見ることができるが、便宜上、人の顔が含まれた画面全体が同じデプス値を有する１つの背景であると考慮する場合、人の顔に立体感を与えるために、人の顔に係わるデプスマップに半球フィルタを適用できる。

図５Ｃ及び図５Ｄは、フィルタが半円柱状であるとき、半円柱状のフィルタによってフィルタリングされたデプスマップのデプスを図示する図である。図５Ｃ及び図５Ｄは、オブジェクトに係わるデプスマップ、または背景に係わるデプスマップが円柱を縦に半分に分ける平面になるように、半円柱フィルタを適用したものである。例えば、オブジェクトがノーマルオブジェクトであり、オブジェクトの形態が電信柱状である場合、電信柱にさらに立体感を付与するために、半円柱状のフィルタを適用できる。

図５Ｅ及び図５Ｆは、デプスマップに三角柱が横たわった形態のフィルタを適用した場合を図示したものである。図５Ｅ及び図５Ｆのように、三角柱の四角形横面がデプスマップと平行になるように、デプスマップに三角柱フィルタを適用し、デプスマップを変形できる。

図６Ａ及び図６Ｂは、図１のメタデータ１００を利用し、デプスマップが生成されるところを説明するための図である。図６Ａは、二次元映像を図示したものであり、図６Ｂは、図６Ａの画面にデプス値が付与された場合を説明するための図である。

本発明で、映像処理装置７００（図７）は、フレームを背景とオブジェクトとに分け、それぞれに対して、背景用デプス情報とオブジェクト用デプス情報とを生成する。

図６Ａを参照するに、二次元映像のフレームには、天と地とから構成された背景；２本の木と人と風船とから構成されたオブジェクトが含まれている。映像処理装置は、メタデータ１００から背景用デプス情報を抽出する。図６Ａのフレームは、天と地とが接触する部分、すなわち地平線の部分が最も深い奥行き感を有する構成であることが分かる。映像処理装置は、メタデータ１００に含まれた背景用デプス情報から背景タイプ情報を抽出し、これを利用し、図６Ａのフレームが図３Ａのようなベーシック・ベースライン背景の構成を有することが分かる。映像処理装置は、構成の類型についての情報、背景の座標点値及びデプス値情報を利用して背景にデプス値を付与し、図６Ｂのように、背景用デプスマップを生成する。

図６Ｂで、パネルポジションのデプス値は、２５５であることが分かる。パネルポジションのデプス値が最も大きい値を有するので、フレームの映像は、いずれも画面より内側に入り込んでいるような立体感を形成する。図３Ｂで、天と地とが接触する水平線地点は、０のデプス値を有しているので、水平線地点が視聴者から最も遠く位置することになる。地の一番下の部分は、２５５のデプス値を有することが分かり、これは、この地点の映像が視聴者と最も近い位置に結ばれるということを意味する。

映像処理装置は、領域識別情報からオブジェクト領域を識別するための座標点情報を抽出し、これを利用してフレームでオブジェクトを識別する。領域識別情報としては、オブジェクトの形状が表示されたマスクを利用することができ、この場合、マスクを利用してオブジェクトの領域を識別できる。

映像処理装置は、オブジェクト用デプス情報に含まれたオブジェクトタイプ情報を利用し、複数のオブジェクト別に各オブジェクトのタイプが何であるかを識別する。図６Ａのフレームで、オブジェクトは、２本の木と人とＮＢＣというロゴと風船とである。２本の木と人は、いずれも土地に接触しているので、ノーマルオブジェクトであることが分かる。ＮＢＣというロゴは、二次元画面に表示されねばならないので、二次元オブジェクトであり、風船は、空中に浮いているオブジェクトであるから、ハイライトオブジェクトであることが分かる。映像処理装置は、領域識別情報を利用し、各オブジェクトの領域を識別する。

映像処理装置は、二次元オブジェクトについて、背景用デプス情報に含まれたパネルポジション値を二次元オブジェクトのデプス値とし、図６Ｂのように、二次元オブジェクトに係わるデプスマップを生成する。映像処理装置は、ノーマルオブジェクトについて、オブジェクトと背景とが接触している地点がどこであるかを判断し、オブジェクトと背景とが接触している地点の座標点値に対応する背景のデプス値を抽出する。映像生成装置は、抽出されたデプス値を、ノーマルオブジェクトに係わるデプス値として付与し、ノーマルオブジェクトに係わるデプスマップを生成する。映像処理装置は、ハイライトオブジェクトについて、パネルポジション値と、オフセット情報を利用して求めた値とをデプス値とし、ハイライトオブジェクトに係わるデプスマップを生成する。

映像処理装置は、オブジェクトに係わるデプスマップを生成した後、デプスマップをフィルタリングすることも可能である。例えば、図６Ｂで映像処理装置は、風船に半球フィルタを適用し、風船にさらに立体感を付与することも可能である。

このように、本発明の一実施形態によれば、オブジェクトの類型別に、オブジェクトに多様な方法でデプス値を付与し、オブジェクトに係わるデプスマップを生成できる。

図７は、本発明の一実施形態による映像処理方法を遂行するための映像処理装置を示した図である。図７を参照するに、映像処理装置７００は、ビデオデータ・デコーディング部７１０、メタデータ解析部７２０、マスクバッファ７３０、デプスマップ生成部７４０、ステレオレンダリング部７５０を含む。場合によっては、映像処理装置７００は、三次元フォーマットで生成された三次元映像を画面に出力する出力部７６０をさらに含むことができる。本発明の他の実施形態によれば、映像処理装置７００は、付加的、そして／または異なるユニットをさらに含むことができる。また、前記ユニットのうち、２つ以上の機能が一つで統合されることも可能である。

ビデオデータ・デコーディング部７１０は、ディスクまたはローカルストレージ（図示せず）からビデオデータを読み取り、これをデコーディングする。メタデータ解析部７２０は、ディスクまたはローカルストレージから、ビデオデータに係わるメタデータ１００を読み取り、これを解析する。

ビデオデータ及び／またはビデオデータに係わるメタデータ１００は、多重化された状態で、または独立的にサーバ（図示せず）に保存されていたりディスクに記録されていることが可能である。

映像処理装置７００は、サーバからビデオデータをダウンロードし、ビデオデータに係わるメタデータをディスクから読み取って利用したり、ディスクからビデオデータを読み取り、サーバからビデオデータに係わるメタデータをダウンロードされて利用されもする。

ビデオデータ及び／またはビデオデータに係わるメタデータ１００がサーバに保存されている場合、映像処理装置７００は、通信網を介して、サーバからビデオデータ及び／またはビデオデータに係わるメタデータ１００をダウンロードし、これを利用できる。

サーバは、放送局や一般コンテンツ生成企業のようなコンテンツ提供者が運営するものであり、ビデオデータ及び／またはビデオデータに係わるメタデータ１００を保存している。サーバは、ユーザが要請したコンテンツを抽出し、これをユーザに提供する。

映像処理装置７００が、通信網を介してサーバから情報をダウンロードする場合、映像処理装置７００は、通信部（図示せず）及びローカルストレージ（図示せず）をさらに含むことができる。通信部は、有線または無線の通信網を利用し、サーバにユーザが所望のビデオデータ及び／またはビデオデータに係わるメタデータ１００を要請し、サーバからビデオデータ及び／またはビデオデータに係わるメタデータ１００を受信する。

ローカルストレージは、通信部がサーバからダウンロードした情報を保存する。本発明でローカルストレージは、通信部を介してサーバから伝送されたビデオデータ及び／またはビデオデータに係わるメタデータを保存する。

ビデオデータ及び／またはビデオデータに係わるメタデータ１００が多重化された状態で、または独立的にディスクに記録されている場合、ビデオデータ及び／またはメタデータ１００が記録されているディスクが、映像処理装置７００にローディングされれば、ビデオデータ・デコーディング部７１０とメタデータ解析部７２０は、ローディングされたディスクから、ビデオデータとメタデータ１００とをそれぞれ読み取る。メタデータ１００は、ディスクのリードイン領域、ユーザデータ領域、リードアウト領域のうち、一つ以上の領域に記録されていることが可能である。

ビデオデータがディスクに記録されている場合、メタデータ解析部７２０は、メタデータ１００からビデオデータが記録されているディスクを識別するためのディスク識別子と、ビデオデータがディスク内で何番目のタイトルであるかを示すタイトル識別子とを抽出し、これを利用し、メタデータ１００がどのビデオデータに係わるメタデータ１００であるかを判断する。

メタデータ解析部７２０は、メタデータ１００からオブジェクトが含まれたフレームの出力時間を抽出し、現在フレームの出力時刻がオブジェクトが含まれたフレームの出力時間に含まれる場合、メタデータ１００から現在フレームについての背景用デプス情報と、オブジェクト用デプス情報とをパージングし、これをデプスマップ生成部７４０に送る。

マスクバッファ７３０は、現在出力されるフレームに含まれたオブジェクトに対し、領域識別情報としてマスクについての情報が定義されている場合、当該フレームに適用されるマスクを一時的に保存する。マスクは、オブジェクトの形態のみ色相が異なり、残りの領域は同じ色相を有するか、オブジェクトの形態によって、穴のあいたマスクなどになり、１つのオブジェクトに係わる１つのマスクが使われる。

デプスマップ生成部７４０は、メタデータ解析部７２０から受けた背景用デプス情報、オブジェクト用デプス情報、そしてマスクバッファ７３０から受けたマスクを利用し、フレームに係わるデプスマップを生成する。デプスマップ生成部７４０は、メタデータ１００を利用し、背景に係わるデプスマップと、オブジェクトに係わるデプスマップとをそれぞれ生成し、背景に係わるデプスマップと、オブジェクトに係わるデプスマップとを合わせ、１つのフレームに係わるデプスマップを生成する。

デプスマップ生成部７４０は、オブジェクト用デプス情報に含まれた領域識別情報を利用し、オブジェクトの領域を識別する。前述のように、領域識別情報としては、オブジェクト領域を示す座標点値になりうる。場合によって、領域識別情報は、オブジェクト形状が表示されたマスクになりうる。デプスマップ生成部７４０は、座標点情報またはマスクを利用し、オブジェクトの形状を把握し、把握されたオブジェクトにデプス値を付与する。

デプスマップ生成部７４０は、オブジェクトがノーマルオブジェクトである場合、オブジェクトの領域の座標点のうち、背景と接触している部分の座標点を抽出し、抽出された座標点に対応するデプス値を、オブジェクトに係わるデプス値とし、オブジェクトに係わるデプスマップを生成する。デプスマップ生成部７４０は、オブジェクトが二次元オブジェクトである場合、パネルポジション値を利用し、二次元オブジェクトに係わるデプスマップを生成し、オブジェクトがハイライトオブジェクトである場合、オフセット値とパネルポジションと値を利用し、ハイライトオブジェクトに係わるデプスマップを生成する。

デプスマップ生成部７４０は、背景に係わるデプスマップと、オブジェクトに係わるデプスマップとを利用し、１つのフレームに係わるデプスマップを生成する。デプスマップ生成部７４０は、生成されたデプスマップをステレオレンダリング部７５０に送る。

ステレオレンダリング部７５０は、ビデオデータ・デコーディング部７１０から受けたビデオ映像と、デプスマップ生成部７４０から受けたデプスマップとを利用し、左目映像及び右目映像を生成し、左目及び右目映像をいずれも含む三次元フォーマットの映像を生成する。

場合によっては、出力装置は、映像処理装置７００に含まれることもある。以下、出力装置が、映像処理装置７００に出力部７６０として含まれた場合について説明する。出力部７６０は、左目映像と右目映像とを順次に画面に出力する。視聴者は、一方の目を基に、最小６０Ｈｚのフレーム率で映像が出力されてこそ、イメージが切れずに順次に再生されると認知するので、左右両眼を介して入力されたイメージが合わさり、三次元映像として認知されるためには、ディスプレイ装置が、最小限１２０Ｈｚのフレーム率で画面を出力しなければならない。出力部７６０は、１／１２０秒単位でフレームに含まれた左右映像を順次に表示する。

図８は、図７のデプスマップ生成部７４０をさらに具体的に図示した図である。図８を参照するに、デプスマップ生成部７４０は、背景デプスマップ生成部８１０、オブジェクト・デプスマップ生成部８２０、フィルタリング部８３０及びデプスマップ・バッファ部８４０を含む。

背景デプスマップ生成部８１０は、メタデータ解析部７２０から、背景用デプス情報に含まれた、背景タイプ情報、背景の座標点、座標点に対応する背景のデプス値及びパネルポジション値を受け、これを利用し、背景に係わるデプスマップを生成する。背景デプスマップ生成部８１０は、生成された背景に係わるデプスマップを、フィルタリング部８３０に送る。

オブジェクト・デプスマップ生成部８２０は、メタデータ解析部７２０から、オブジェクト用デプス情報に含まれた、領域識別情報とオブジェクトタイプ情報とを受け、これを利用し、オブジェクトに係わるデプスマップを生成する。領域識別情報がマスクについての情報である場合、オブジェクト・デプスマップ生成部８２０は、マスクバッファ７３０から当該フレームに適用するマスクを受け、これを利用し、オブジェクトに係わるデプスマップを生成する。

オブジェクト・デプスマップ生成部８２０は、オブジェクトがノーマルオブジェクトである場合、背景デプスマップ生成部８１０に、オブジェクトと背景とが接触している地点の座標点に対応する背景のデプス値を要請する。オブジェクト・デプスマップ生成部８２０は、背景デプスマップ生成部８１０から、背景とオブジェクトとが接触している地点の背景に係わるデプス値を受け、これを、オブジェクトに係わるデプスマップとし、オブジェクトに係わるデプスマップを生成する。

オブジェクト・デプスマップ生成部８２０は、オブジェクトが二次元オブジェクトである場合、背景デプスマップ生成部８１０にパネルポジション値を要請し、これを利用し、二次元オブジェクトに係わるデプスマップを生成する。オブジェクト・デプスマップ生成部８２０は、オブジェクトがハイライトオブジェクトである場合、背景デプスマップ生成部８１０から受けたパネルポジション値に、オブジェクト用デプス情報に含まれたオフセット情報を利用し、ハイライトオブジェクトに係わるデプスマップを生成する。オブジェクト・デプスマップ生成部８２０は、オブジェクトに係わるデプスマップをフィルタリング部８３０に送る。オブジェクト・デプスマップ生成部８２０は、オブジェクトが複数個である場合、優先順位情報によって、順序にオブジェクトを生成する。

フィルタリング部８３０は、背景に係わるデプスマップ及びオブジェクトに係わるデプスマップをフィルタリングする。オブジェクトに係わるデプスマップが同じデプス値を有する場合、フィルタリング部８３０は、同じデプス値を有するオブジェクトに立体感を与えるために、オブジェクトにフィルタを適用できる。背景に係わるデプスマップが平面である場合、すなわち背景のデプス値が同じ値である場合にも、背景に立体感を与えるために、フィルタを適用することも可能である。

デプスマップ・バッファ部８４０は、フィルタリング部８３０を経た背景に係わるデプスマップを一時的に保存していて、オブジェクトに係わるデプスマップが生成されれば、背景に係わるデプスマップに、オブジェクトに係わるデプスマップを加え、フレームに係わるデプスマップを更新する。オブジェクトが複数である場合、デプスマップ・バッファ部８４０は、複数のオブジェクトに係わるデプスマップを順に書き換え、デプスマップを更新する。デプスマップ・バッファ部８４０は、デプスマップが完成すれば、完成されたデプスマップを、ステレオレンダリング部７５０に送る。

図９は、ステレオレンダリング部７５０をさらに具体的に図示したブロック図である。図９を参照するに、ステレオレンダリング部７５０は、ステレオ映像生成部９１０、ホール補正部９２０、左目映像バッファ９３０、右目映像バッファ９４０及び三次元フォーマット映像生成部９５０を含む。

ステレオ映像生成部９１０は、ビデオデータ・デコーディング部７１０から受けたビデオ映像と、デプスマップ生成部７４０から受けたデプスマップとを利用し、左目映像及び右目映像を生成する。ステレオ映像生成部９１０は、デプスマップを利用し、二次元映像のあらゆるピクセルについて、各ピクセルが左右にどの程度移動するかを計算し、計算された値ほど左右にピクセルが移動し、マッピングされた左目映像と右目映像とを生成する。

ホール補正部９２０は、左目映像と右目映像とに生成されたホール（hole）を補正する。１つの二次元映像を利用し、左目映像と右目映像とを生成する場合、左目映像と右目映像とのある地点には、二次元映像のピクセルが重複してマッピングされる一方、ある地点には、二次元映像のピクセルがマッピングされないところもある。このような空き地点をホールという。ホール補正部９２０は、左目映像と右目映像とのホールをそれぞれ補正した後、左目映像は、左目映像バッファ９３０に送り、右目映像は、右目映像バッファ９４０に送る。

左目映像バッファ９３０と右目映像バッファ９４０は、左目映像と右目映像とをそれぞれ有していて、映像が出力されねばならない時点になれば、左目映像と右目映像とを三次元フォーマット映像生成部９５０に送る。三次元フォーマット映像生成部９５０は、１つの映像に左目映像と右目映像とがいずれも含まれるようにして、三次元フォーマットの映像を生成する。三次元フォーマット映像としては、トップダウン（top and down）フォーマット、サイド・バイ・サイド（side by side）フォーマット、そしてインターレースト（interlaced）フォーマットなどがある。三次元フォーマット映像生成部９５０は、三次元フォーマットで生成された映像を、出力装置（図示せず）に送る。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものであると解釈されねばならない。

１００ メタデータ
７００ 映像処理装置
７１０ ビデオデータ・デコーディング部
７２０ メタデータ解析部
７３０ マスクバッファ
７４０ デプスマップ生成部
７５０ ステレオ・レンダリング部
７６０ 出力部
８１０ 背景デプスマップ生成部
８２０ オブジェクト・デプスマップ生成部
８３０ フィルタリング部
８４０ デプスマップ・バッファ部
９１０ ステレオ映像生成部
９２０ ホール補正部
９３０ 左目映像バッファ
９４０ 右目映像バッファ
９５０ 三次元フォーマット映像生成部

Claims (14)

1. ビデオデータのフレームを複数のショットに区分するショット情報を前記ビデオデータのメタデータから抽出する段階と、
   前記ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれるフレームが三次元映像として再生されうるか否かを判断する段階であって、前記ショットタイプ情報は、前記複数のショットのそれぞれに対して、該当ショットに含まれたフレームが二次元映像に出力されるべきであるか、あるいは三次元映像に出力されるべきであるかを示す段階と、
   前記所定ショットに含まれたフレームが、三次元映像として再生されうる場合、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出する段階と、
   前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成する段階と、
   前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトについてのオブジェクト用デプス情報を抽出する段階と、
   前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成する段階とを含むことを特徴とする映像処理方法。
2. 前記ショット情報を利用し、前記所定ショットに含まれたフレームが出力されねばならない時刻を求める段階をさらに含むことを特徴とする請求項１に記載の映像処理方法。
3. 前記背景に係わるデプスマップを生成する段階は、
   前記背景用デプス情報から背景の基本構造を示す背景タイプ情報、前記背景に含まれた曲面にデプス値を適用するための曲面情報、前記背景の座標点及び前記背景の座標点での前記背景のデプス値、画面のデプス値を示すパネルポジション値を抽出し、前記背景に係わるデプスマップを生成する段階を含むことを特徴とする請求項１に記載の映像処理方法。
4. 前記背景に係わるデプスマップを生成する段階は、
   前記背景タイプ情報による前記背景の基本構造のデプス値と、前記曲面情報による前記曲面のデプス値とを利用し、前記背景に係わるデプスマップを生成する段階を含むことを特徴とする請求項３に記載の映像処理方法。
5. 前記フレームに含まれた背景が同じデプス値を有する場合、前記背景に係わるデプスマップをフィルタリングする段階をさらに含み、
   前記背景に係わるデプスマップをフィルタリングする段階は、
   前記背景に係わるデプスマップが円球の中心を通過する平面になるようにする半球フィルタ、前記背景に係わるデプスマップが円柱を縦に半分に分ける平面になるようにする半円柱フィルタ、あるいは前記背景に係わるデプスマップが三角柱の四角形横面になるようにする三角柱フィルタを前記背景に係るデプスに適用し、前記背景に係わるデプスマップを変形する段階を含むことを特徴とする請求項３に記載の映像処理方法。
6. 前記オブジェクト用デプス情報には、前記オブジェクトの類型が、二次元オブジェクト、ノーマルオブジェクト、ハイライトオブジェクトのうち、何であるかを示すオブジェクトタイプ情報が含まれていることを特徴とする請求項１に記載の映像処理方法。
7. 前記オブジェクト用デプス情報は、同じフレームに含まれるオブジェクトが複数である場合、前記複数のオブジェクトのデプスマップ生成順序を示す優先順位情報を含み、
   前記オブジェクトに係わるデプスマップを生成する段階は、前記オブジェクトのデプスマップ生成順序によって、前記複数のオブジェクトに係わるデプスマップを順序通りに生成する段階を含むことを特徴とする請求項１に記載の映像処理方法。
8. 前記オブジェクトに係わるデプスマップを生成する段階は、
   前記オブジェクト用デプス情報から、前記オブジェクトが含まれたフレームが出力されねばならない時刻を求める段階を含むことを特徴とする請求項１に記載の映像処理方法。
9. 前記オブジェクト用デプス情報から、前記オブジェクトの領域を識別するための領域識別情報を抽出する段階をさらに含み、
   前記領域識別情報は、前記オブジェクトの領域を座標点で表示した情報であるか、または前記オブジェクトの形状が表示されたマスクについての情報であることを特徴とする請求項１に記載の映像処理方法。
10. 前記オブジェクトがハイライトオブジェクトである場合、前記オブジェクトに係わるデプスマップを生成する段階は、
    前記背景用デプス情報に含まれたパネルポジション値と、前記オブジェクト用デプス情報に含まれたオフセット値とを利用し、前記ハイライトオブジェクト領域のデプス値を求める段階と、
    前記ハイライトオブジェクト領域のデプス値を基に、前記ハイライトオブジェクトに係わるデプスマップを生成する段階とを含むことを特徴とする請求項９に記載の映像処理方法。
11. 前記オブジェクトに係わるデプスマップをフィルタリングする段階をさらに含み、前記フィルタリングする段階は、
    前記オブジェクトに係わるデプスマップが円球の中心を通過する平面になるように前記背景に係るデプスに半球フィルタ、前記オブジェクトに係わるデプスマップが円柱を縦に半分に分ける平面になるよう前記背景に係るデプスに半円柱フィルタ、あるいは前記オブジェクトに係わるデプスマップが三角柱の四角形横面になるように前記背景に係るデプスに三角柱フィルタを適用し、前記オブジェクトに係わるデプスマップを変形する段階を含むことを特徴とする請求項１０に記載の映像処理方法。
12. 前記デプスマップを利用し、二次元映像に係わる左目映像及び右目映像を生成する段階と、
    前記左目映像及び右目映像のホールを補正する段階と、
    前記ホールが補正された左目映像及び前記ホールが補正された右目映像を利用し、三次元フォーマット映像を生成する段階とをさらに含むことを特徴とする請求項１に記載の映像処理方法。
13. ビデオデータのフレームを複数のショットに区分するショット情報を前記ビデオデータのメタデータから抽出し、前記ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれたフレームが三次元映像として再生されうるか否かを判断し、前記所定ショットに含まれたフレームが三次元映像に再生されうると判断されれば、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出し、前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトについてのオブジェクト用デプス情報を抽出するメタデータ解析部であって、前記ショットタイプ情報は、前記複数のショットのそれぞれに対して、該当ショットに含まれたフレームが二次元映像に出力されるべきであるか、あるいは三次元映像に出力されるべきであるかを示すメタデータ解析部と、
    前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成し、前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成するデプスマップ生成部とを含むことを特徴とする映像処理装置。
14. ビデオデータのフレームを複数のショットに区分するショット情報を前記ビデオデータのメタデータから抽出する段階と、
    所定ショット情報に含まれたショットタイプ情報を利用し、所定ショットに含まれるフレームが三次元映像として再生されうるか否かを判断する段階であって、前記ショットタイプ情報は前記複数のショットのそれぞれに対して、該当ショットに含まれたフレームが二次元映像に出力されるべきであるか、あるいは三次元映像に出力されるべきであるかを示す段階と、
    前記所定ショットに含まれたフレームが三次元映像として再生されうる場合、前記メタデータから、前記所定ショットに含まれたフレームの背景についての背景用デプス情報を抽出する段階と、
    前記背景用デプス情報を利用し、前記フレームの背景に係わるデプスマップを生成する段階と、
    前記所定ショットに含まれたフレームにオブジェクトが含まれている場合、前記メタデータから、前記オブジェクトについてのオブジェクト用デプス情報を抽出する段階と、
    前記オブジェクト用デプス情報を利用し、前記オブジェクトに係わるデプスマップを生成する段階とを含むことを特徴とする映像処理方法を実行するためのコンピュータで判読可能なプログラムを保存する記録媒体。

Images