JP6139691B2 - 多視点３ｄｔｖサービスにおいてエッジ妨害現象を処理する方法及び装置 - Google Patents

Description

本発明は、多視点３次元映像を含むデジタル放送信号を処理する方法及び装置に係り、より詳細には、多視点３次元映像をサービスする過程においてそれぞれの視点映像の左／右境界で発生するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）現象を処理または防止するための方法及び装置に関する。

３次元テレビ（３−Ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ、３ＤＴＶ）の普及の本格化に伴い、格納媒体による３次元（３Ｄ）映像コンテンツの普及だけでなく、デジタル放送による３次元映像コンテンツの伝送が活性化されている。

一般に、３次元映像は、両眼のステレオ（ｓｔｅｒｅｏ）視覚原理を用いて立体感を提供する。人間は、両眼の視差、言い換えると、約６５ｍｍ程度離れた両眼の間隔による両眼視差（ｂｉｎｏｃｕｌａｒ ｐａｒａｌｌａｘ）を通じて遠近感を感じるので、３Ｄ映像は、左眼と右眼のそれぞれが関連する平面映像を見るように映像を提供して、立体感及び遠近感を提供することができる。

このような３次元映像ディスプレイ方法としては、ステレオスコピック（ｓｔｅｒｅｏｓｃｏｐｉｃ）方式、体積表現（ｖｏｌｕｍｅｔｒｉｃ）方式、ホログラフィック（ｈｏｌｏｇｒａｐｈｉｃ）方式などがある。ステレオスコピック方式の場合、左眼（ｌｅｆｔ ｅｙｅ）で視聴されるための左映像（ｌｅｆｔ ｖｉｅｗ ｉｍａｇｅ）及び右眼（ｒｉｇｈｔ ｅｙｅ）で視聴されるための右映像（ｒｉｇｈｔ ｖｉｅｗ ｉｍａｇｅ）を提供して、偏光メガネまたはディスプレイ装備自体を通じて左眼と右眼がそれぞれ左映像と右映像を視聴することによって３次元映像効果を認知できるようにする。

ステレオスコピック３次元映像コンテンツの場合、互いに異なる視点の類似の２つの映像を送信すると、受信機が２つの映像を用いて３次元映像としてディスプレイする方式を使用する。受信機によって３次元映像がディスプレイされる場合、左映像と右映像との間のｄｉｓｐａｒｉｔｙによって両眼視差が生じて立体的な映像が提供される。

立体的映像が提供されるにおいて、各コンテンツ別、コンテンツ内の場面（ｓｃｅｎｅ）別、またはフレーム（ｆｒａｍｅ）別に両眼視差によってスクリーンの前方に（視聴者側に）飛び出すように設定されたｎｅｇａｔｉｖｅ ｄｉｓｐａｒｉｔｙの物体がスクリーンの左右境界面にかかる状況が発生することがある。この場合、両眼視差によって認知される奥行き感と、スクリーン境界ベゼルによって認知される奥行き感とに差が発生して、ユーザが歪曲された奥行き感を感じることがある。

これをエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）といい、このようなエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）現象のため、視聴者は視覚的疲労を感じることがあり、正常なコンテンツ視聴が難しいという問題が生じる。また、現在、３次元映像受信機は、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理できる別途のプロセスが存在しないという問題がある。

特に、多視点３次元映像の場合、それぞれの視点毎にエッジ妨害の様相が変わり得る。現在は、このように様々な様相のエッジ妨害を解決できる方法がないという問題がある。

多視点３次元放送環境では、それぞれの３次元視点別に度合いが異なるエッジ妨害による不便さ及び歪み現象が起こり得るが、現在、３ＤＴＶ受信機では、それぞれの３次元視点毎の歪み現象に対応して処理できる方法が存在しない。

特に、一つの映像が互いに異なるステレオ映像ペア（ｖｉｅｗ ｐａｉｒ）に重複して含まれる場合、放送局でエッジ妨害による歪み現象が起こらないようにコンテンツを予めレンダリングして送信する方法は適用が不可能であるという問題がある。

本発明の技術的課題は、上述した問題点を解決するためのものである。より詳細には、多視点３次元映像放送サービスを提供するにおいて発生し得る様々な様相のエッジ妨害を効率的に解決することが本発明の技術的課題である。

上述した技術的課題を解決するために、本発明の一実施例に係る多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法は、多視点３次元映像の放送のための放送信号を受信するステップと、前記受信した放送信号から、第１視点の３次元映像に含まれる第１左映像データ及び第１右映像データをデコーディングするステップと、前記受信した放送信号から、３次元映像プロセシング情報をパージングするステップと、前記第１左映像データ、前記第１右映像データ及び前記３次元映像プロセシング情報を用いて、第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成するステップと、前記３次元映像プロセシング情報に含まれる３次元エッジ妨害領域探知関数情報をパージングするステップと、前記３次元エッジ妨害領域探知関数情報を用いて、前記第２視点の３次元映像で発生するエッジ妨害の領域を抽出し、前記領域のエッジ妨害をハンドリングするステップと、前記第１視点の３次元映像及び前記第２視点の３次元映像をディスプレイするステップとを含む。

好ましくは、前記３次元エッジ妨害領域探知関数情報は、前記エッジ妨害の領域を抽出するために用いられる関数の種類を識別する関数タイプ情報、及び識別された関数に用いられる係数の値を示す係数情報を含む。

好ましくは、前記３次元映像プロセシング情報は、前記第２左映像または前記第２右映像を撮影すると予想されるカメラの位置情報、及び前記第１視点の３次元映像でのエッジ妨害領域を示す情報をさらに含む。

好ましくは、前記３次元映像プロセシング情報は、前記受信機で生成され得る１つ以上の視点の３次元映像に発生し得るエッジ妨害に関する情報を含むエッジハンドリング情報をさらに含む。

好ましくは、前記エッジハンドリング情報は、前記１つ以上の視点の３次元映像に含まれる左映像に存在するエッジ妨害の領域のピクセル数の情報、及び前記１つ以上の視点の３次元映像に含まれる右映像に存在するエッジ妨害の領域のピクセル数の情報を含む。

好ましくは、前記エッジハンドリング情報は、前記１つ以上の視点の３次元映像に含まれる左映像及び右映像に存在する前記エッジ妨害をハンドリングする方法を指定する情報をさらに含む。

好ましくは、前記エッジハンドリング情報は、前記１つ以上の視点の３次元映像に含まれる左映像及び右映像に存在する前記エッジ妨害がハンドリングされた後、前記１つ以上の視点の３次元映像の最小ディスパリティを識別する情報をさらに含む。

好ましくは、前記３次元映像プロセシング情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを介して伝送される。

好ましくは、前記３次元映像プロセシング情報は、プログラムマップテーブル（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ；ＰＭＴ）、仮想チャネルテーブル（Ｖｉｒｔｕａｌ Ｃｈａｎｎｅｌ Ｔａｂｌｅ；ＶＣＴ）、イベント情報テーブル（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ；ＥＩＴ）またはサービスディスクリプションテーブル（Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅ；ＳＤＴ）を介して伝送される。

本発明の他の実施例に係る多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法は、多視点３次元映像の放送のための放送信号を受信するステップと、前記受信した放送信号から、第１視点の３次元映像に含まれる第１左映像データ及び第１右映像データをデコーディングするステップと、前記受信した放送信号から、３次元映像プロセシング情報をパージングするステップと、前記第１左映像データ、前記第１右映像データ及び前記３次元映像プロセシング情報を用いて、第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成するステップと、ここで、前記第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成するステップは、前記第１視点の３次元映像に含まれるピクセルを前記第２視点の３次元映像のピクセルにマッピング（ｍａｐｐｉｎｇ）し、前記マッピング過程で前記第２視点の３次元映像に発生するエッジ妨害の領域を抽出するステップを含み、前記第２視点の３次元映像の前記エッジ妨害をハンドリングするステップと、前記第１視点の３次元映像及び前記第２視点の３次元映像をディスプレイするステップとを含む。

好ましくは、前記３次元映像プロセシング情報は、前記第１視点の３次元映像を撮影したカメラのカメラパラメータ情報を含み、前記第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成するステップは、前記カメラパラメータ情報をさらに用いて、前記第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成する。

好ましくは、前記第２視点の３次元映像に発生するエッジ妨害の領域を抽出するステップは、前記第２視点の３次元映像の左映像及び右映像に含まれるピクセルをそれぞれ探知し、前記左映像には存在するが、前記右映像には存在しないピクセル、あるいは前記左映像には存在しないが、前記右映像には存在するピクセルが含まれる領域をエッジ妨害の領域として抽出する。

本発明によれば、多視点３次元映像を視聴する場合にも、それぞれの視点に対するエッジ妨害ハンドリングが可能である。

本発明によれば、送信端から伝送されない視点の３次元映像に対しても、エッジハンドリングが可能である。

本発明によれば、送信端からエッジハンドリングに必要な情報（エッジ妨害情報）が提供されない場合にも、受信機においてエッジハンドリングを行うことができる。

本発明の一実施例に係る、多視点３次元映像のディスプレイ方式を示す図である。 本発明の一実施例に係る、エッジ妨害を示す図である。 本発明の一実施例に係る、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理する方法を示す図である。 本発明の他の実施例に係る、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理する方法を示す図である。 本発明の一実施例に係る、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを介して３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏをシグナリングする構造を示す図である。 本発明の一実施例に係る、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏのシンタックス（ｓｙｎｔａｘ）を示す図である。 本発明の一実施例に係る、３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメントのシンタックス（ｓｙｎｔａｘ）を示す図である。 本発明の一実施例に係る、３次元エッジ妨害領域探知関数情報（３Ｄ_ＥＶＡＤ_ｆｕｎｃｔｉｏｎ_ｉｎｆｏ（））エレメントを示す図である。 本発明の一実施例に係る、エッジハンドリング情報（ｅｄｇｅ ｈａｎｄｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）がシグナリングされる場合を示す図である。 本発明の一実施例に係る、受信端で仮想３次元映像に対するエッジハンドリング情報を導出することができるように関連関数をシグナリングする場合を示す図である。 本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行うための数式を示す図である。 本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行う場合を示す図である。 本発明の一実施例に係る多視点３次元映像受信機を示す図である。

以下、添付の図面及び添付の図面に記載された内容を参照して本発明の実施例を詳細に説明するが、本発明が実施例によって制限または限定されるものではない。

本明細書で使われる用語は、本発明での機能を考慮して、可能な限り現在広く用いられる一般的な用語を選択したが、これは、当分野に従事する技術者の意図、慣例または新しい技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合には該当する発明の説明部分でその意味を記載することにする。したがって、本明細書で使われる用語は、単なる用語の名称ではなく、その用語が持つ実質的な意味と本明細書の全般にわたった内容に基づいて解釈しなければならないということを明らかにしておく。

３次元映像の表現方法は、２つの視点を考慮するステレオスコピック方式、及び３つ以上の視点を考慮するマルチプルビューイメージ（ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｉｍａｇｅ）方式（又は、多視点方式）を含むことができる。これに比べて、従来のシングルビューイメージ（ｓｉｎｇｌｅ ｖｉｅｗ ｉｍａｇｅ）方式はモノスコピック映像方式と称することができる。

ステレオスコピック方式は、一定距離離隔している左側カメラ及び右側カメラで同じ被写体を撮影して得たレフトビューイメージ（以下、左映像）とライトビューイメージ（以下、右映像）の一対のイメージを用いる。または、基準映像と付加映像の一対のイメージを用いる。多視点方式は、一定の距離や角度を有する３つ以上のカメラで撮影して得た３つ以上のイメージを用いる。多視点方式は、それぞれの視点においてステレオスコピック方式の左／右映像が提供される方式である。

本発明に係るステレオスコピック方式は、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式、トップボトム（Ｔｏｐ−Ｂｏｔｔｏｍ）方式、。チェッカーボード（ｃｈｅｃｋｅｒ ｂｏａｒｄ）方式などがある。Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式は、左映像及び右映像をそれぞれ水平方向に１／２ダウンサンプリングし、サンプリングした１つの映像を左（ｌｅｆｔ）領域に、サンプリングした残りの１つの映像を右（ｒｉｇｈｔ）領域に位置させて１つのステレオスコピック映像を構成する方式であり、トップボトム（Ｔｏｐ−Ｂｏｔｔｏｍ）方式は、左映像及び右映像をそれぞれ垂直方向に１／２ダウンサンプリングし、サンプリングした１つの映像をトップ（Ｔｏｐ）領域に、サンプリングした残りの１つの映像をボトム（ｂｏｔｔｏｍ）領域に位置させて１つのステレオスコピック映像を構成する方式である。ｃｈｅｃｋｅｒ ｂｏａｒｄ方式は、左映像及び右映像をそれぞれ垂直及び水平方向に交差するように１／２ダウンサンプリングして、２つの映像を１つの映像として構成する方式である。しかし、本発明に係るステレオスコピック方式は、上述の例に限定または制限されるものではない。

一例として、上述したダウンサンプリング作業を経ずに、完全な解像度を有する２つの映像を送受信して、これを３次元映像サービスとして提供することも可能である。この場合、左映像と右映像をそれぞれ伝送する伝送ストリームを別途に構成することができる。すなわち、特定の伝送ストリームは左映像を伝送し、他の伝送ストリームは右映像を伝送することができる。このとき、それぞれの伝送ストリームは、２次元映像サービスに対するストリームとして活用することができる。

図１は、本発明の一実施例に係る、多視点３次元映像のディスプレイ方式を示す図である。

図１を参照すると、一つのディスプレイパネルを介して、２つ以上の視点の３次元映像を提供することができる。

図１では、３つの視点の３次元映像が提供される方式を示している。それぞれの視点ではステレオ３Ｄ映像が提供され得る。このとき、各ステレオ３Ｄ映像に含まれるビデオエレメントストリーム（Ｖｉｄｅｏ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）は、互いに異なる３Ｄ映像において共通的に使用可能である。例えば、エレメントストリーム１（ＥＳ１）は、３Ｄ Ｖｉｅｗ ＩＤが０である３Ｄ映像では右映像（Ｒｉｇｈｔ ｖｉｅｗ）として用いられ、３Ｄ Ｖｉｅｗ ＩＤが１である３Ｄ映像では左映像（Ｌｅｆｔ ｖｉｅｗ）として用いられてもよい。エレメントストリーム２（ＥＳ２）は、３Ｄ Ｖｉｅｗ ＩＤが１である３Ｄ映像では右映像（Ｒｉｇｈｔ ｖｉｅｗ）として用いられ、３Ｄ Ｖｉｅｗ ＩＤが２である３Ｄ映像では左映像（Ｌｅｆｔ ｖｉｅｗ）として用いられてもよい。

図２は、本発明の一実施例に係る、エッジ妨害を示す図である。

視聴者が３次元映像を視聴しながら認識する映像の各部分別の相対的な奥行き感を上から見た図である。中央の円形物体がユーザに最も近く認知され、左右側の長方形がその後ろに配置される。左右側の長方形物体は、ネガティブ・ディスパリティ（ｎｅｇａｔｉｖｅ ｄｉｓｐａｒｉｔｙ）を有するので、スクリーンを基準としてユーザに近い位置に在るものと認知される。

しかし、これと同時にスクリーンの両縁部に位置するので、スクリーンの枠部分であるベゼルによって長方形の一部分が遮られたようにユーザに認識され得る。したがって、ユーザは、左右側の長方形がスクリーンを基準としてユーザに近い位置に在るものと認知しながらも、スクリーンのベゼルによって長方形が遮られてスクリーンの後ろに位置するものと認知し得るため、奥行き感に混乱を感じるようになる。

３次元ステレオ映像は、２次元映像とは異なり、視聴するときの視野角がディスプレイ効果に重要に作用する。例えば、複数の人が横に並んで座ってＴＶを視聴する場合、２ＤＴＶは、皆がほぼ同一の水準の映像を見ることが可能であるが、３ＤＴＶは、スイートスポット（ｓｗｅｅｔ ｓｐｏｔ）が制限的であるため、見る角度／位置に応じて、見える３次元映像の質が変わり得る。したがって、視聴位置に応じてそれぞれの３次元映像をディスプレイする多視点映像ディスプレイ装置（Ｍｕｌｔｉｖｉｅｗ ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）を使用する場合、それぞれの視聴者は、より良い３次元効果を感じながら３次元映像を視聴することができる。

多視点映像３次元サービスでは、各位置（ｐｏｓｉｔｉｏｎ）別に互いに異なる視点の画面が見えるので、各３次元映像毎に立体感やエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）現象などが異なる様相を示し、これによって、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）現象を除去または緩和するためには、それぞれの３次元映像別に、別途のパラメータが伝送されなければならない。すなわち、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理するために、ステレオ３ＤＴＶでは、受信端で必要な関連パラメータを放送シグナリングを介して伝送したり、または初めから送信端で予めエッジ妨害を処理したステレオストリームを伝送する２つの方案を用いることができる。しかし、多視点３ＤＴＶ放送では、１つのストリームがどの視点のステレオ３次元映像に含まれるかによって、エッジ妨害の処理または緩和方案が変わるので、送信端で予めエッジ妨害を除去または緩和する処理を行って伝送する方案は適用しにくい。これによって、受信端で各視点別のパラメータを適切に受信して処理できるようにする放送シグナリングが必要である。

このときに考慮される３次元映像は、直接伝送されるストリームであってもよく、受信端で合成（ｓｙｎｔｈｅｓｉｚｅｄ）された３次元映像であってもよい。映像合成（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）時に入力される原本映像がエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を誘発する場合、これに基づいて生成された新たな３次元映像もまたエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を起こすおそれがある。したがって、合成された３次元映像別にエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を補強するための情報を伝送すれば、多視点３ＤＴＶの視聴時の歪みや不便さを減少させるように処理可能である。

したがって、本発明は、多視点３次元映像を提供する３ＤＴＶにおいて、多視点３次元ビデオ放送サービスの受信機あるいは送信機の具現に対する方案を提示する。また、シグナリング情報を用いて多視点３次元ビデオの出力を制御するための３ＤＴＶの動作及び具現方法を提案する。

図３は、本発明の一実施例に係る、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理する方法を示す図である。

エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理する方案の一つとして、送信端でイメージを処理するＨＩＴ（Ｈｏｒｉｚｏｎｔａｌ Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ）技法を用いることができる。この方法によれば、送信端では、一対のＬ，Ｒステレオ映像に対して境界面で発生する歪み現象を防止するために映像のシフト（ｓｈｉｆｔ）及びバー（ｂａｒ）（ｃｒｏｐｐｉｎｇ）処理を行って３次元映像を伝送する。

多視点を考慮しないときには、このようなｓｈｉｆｔ及びｂａｒ処理が送信端から適用されて伝送されるシナリオが可能であったが、多視点３ＤＴＶでは、各視点別に適用しなければならないｓｈｉｆｔ及びｂａｒが変わり得るので、これを送信端で全て予測し、３次元映像を処理して伝送することは難しいことがある。

図３の（ａ）は、３次元映像に含まれる左映像及び右映像を水平方向に移動処理する方法を示す。

図３の（ａ）を参照すると、エッジ妨害処理機は、３次元映像に含まれる左映像を左側水平方向に移動させ、右映像を右側水平方向に移動させる。このとき、水平方向への移動距離は、エッジ妨害を起こすオブジェクト（ｏｂｊｅｃｔ）のディスプレイの大きさによって決定できる。すなわち、当該オブジェクトが画面にディスプレイされないように水平方向に左映像及び右映像を移動させる。

エッジ妨害処理機は、左映像及び右映像において、水平方向の移動によって生じた空き領域はｂａｒで満たし、水平方向の移動によってフレームの大きさを超えた領域はクロッピング（トリミング）（ｃｒｏｐｐｉｎｇ）する。

このように生成された左映像と右映像から３次元映像を生成することで、エッジ妨害を除去または緩和することができる。すなわち、エッジ妨害の発生が予想される領域をトリミング（ｃｒｏｐｐｉｎｇ）して、エッジ領域では左映像または右映像のいずれか１つの映像に該当する映像のみをディスプレイすることができる。

図３の（ｂ）は、３次元映像に含まれる左映像または右映像を水平方向へ移動処理する方法を示す。

図３の（ｂ）を参照すると、エッジ妨害処理機は、右映像は原本をそのまま維持するが、左映像のみを左側水平方向に移動させる。左側水平方向に移動された左映像において、フレームの領域を超えることになる領域はトリミング（ｃｒｏｐｐｉｎｇ）され、残った左映像は右映像と結合されて３次元映像を構成する。

図４は、本発明の他の実施例に係る、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理する方法を示す図である。

多視点ＴＶでは、受信したビデオストリームをベースとして新たな任意の視点の３次元映像を生成（又は、合成）することが可能である。このとき、映像合成に用いられた左／右映像ペアにおいてエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が存在すれば、合成された結果映像においてもエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が存在する可能性がある。この場合、新たに合成された３次元映像でのエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を除去、緩和または防止する種々の方法が存在することができる。

本発明の一実施例に係る第１の方法は、多数の３次元映像のためのエッジ妨害領域のシグナリングである。（Ｓｉｇｎａｌｉｎｇ ｏｆ Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ａｒｅａ ｆｏｒ ｖａｒｉｏｕｓ ３Ｄ ｖｉｅｗｓ）

第１の方法によれば、合成された全ての３次元映像に対して３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）のような形態で情報をシグナリングすることができる。すなわち、複数の視点の３次元映像に対して、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が起こる領域に対するシグナリング情報を生成し、これを伝送すると、受信機では、３次元映像の合成時に当該視点のエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域情報を参考して、エッジ妨害を除去または緩和することができる。このときに生成されるシグナリング情報は、放送信号及び／又はインターネット信号などを介して受信機に伝達されてもよい。エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を補完、除去または緩和するための情報は、エッジハンドリング情報、エッジハンドリングデータ、またはエッジ情報と呼ぶことができる。

本発明の他の実施例に係る第２の方法は、エッジ妨害領域測定関数（Ｅｄｇｅ Ｖｉｏｌａｔｉｏｎ Ａｒｅａ Ｄｅｔｅｃｔｏｒ （ＥＶＡＤ）ｆｕｎｃｔｉｏｎ）のためのシグナリング情報を提供するものである。（Ｓｉｇｎａｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ Ｅｄｇｅ Ｖｉｏｌａｔｉｏｎ Ａｒｅａ Ｄｅｔｅｃｔｏｒ（ＥＶＡＤ） ｆｕｎｃｔｉｏｎ）

第２の方法によれば、入力は、各左／右映像のカメラ位置に関する情報であり、出力は、エッジハンドリング（Ｅｄｇｅ Ｈａｎｄｌｉｎｇ）が適用されるピクセル区間の値である、Ｅｄｇｅ Ｖｉｏｌａｔｉｏｎ Ａｒｅａ Ｄｅｔｅｃｔｏｒ（ＥＶＡＤ）関数をシグナリングすることができる。すなわち、第２の方法は、ＬＬ_ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｗｉｄｔｈ及びＲＲ_ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｗｉｄｔｈ（又は、ＬＬ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈ及びＲＲ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈ）を導出することができる関数の種類及び関連係数を伝達（シグナリング）する方案である。例えば、関連情報の値が線形的（ｌｉｎｅａｒ）に増加／減少する形態であることを伝達（シグナリング）すれば、関数の種類が線形関数であるという点、及び開始点と終点の値などを通じて関数を定義することができ、その他の異なる種類の関数であれば、追加的な関連係数をシグナリングすることができる。

本発明の他の実施例に係る第３の方法は、シグナリング情報なしにエッジ妨害を探知するものである。（Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈｏｕｔ ｓｉｇｎａｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）

第３の方法によれば、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を除去、緩和または処理するための情報が別途にシグナリングされない際に、受信端でエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域を自ら探知して処理することができる。このとき、映像合成（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）を通じて生成された仮想映像（ｖｉｒｔｕａｌ ｖｉｅｗ）に対しては、生成過程でピクセル（ｐｉｘｅｌ）間のマッピング（ｍａｐｐｉｎｇ）情報を通じて、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生する領域を導出することが可能である。受信端が映像合成（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）なしに受信したビデオストリームをそのまま出力する場合には、受信端で別途に左映像と右映像とのフィーチャー・ウォッチング（ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ）のような処理を通じて、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生する領域を導出することができる。ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇの一例として、受信機は、左映像及び右映像に含まれるオブジェクトまたはピクセルをそれぞれ探知し、左映像には存在するが、右映像には存在しないオブジェクトまたはピクセル、あるいは左映像には存在しないが、右映像には存在するオブジェクトまたはピクセルがディスプレイされる領域をエッジ妨害領域として探知することができる。

図４を参照すると、受信端は、エッジ妨害領域探知機（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ａｒｅａ ｄｅｔｅｃｔｏｒ）及び／又はエッジ妨害ハンドラー（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｈａｎｄｌｅｒ）を含むことができる。

エッジ妨害領域探知機は、特定の視点のために合成された３次元映像の左映像及び右映像においてエッジ妨害が起こる領域を探知する。このとき、エッジ妨害領域の探知は、上述した方法のうちの１つ以上の方法を用いることができる。

エッジ妨害ハンドラー（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｈａｎｄｌｅｒ）は、第１の方法によって、それぞれの視点に対する３次元映像において発生するエッジ妨害に関する情報が提供される場合、この情報を用いてエッジ妨害を除去、緩和または処理する。または、エッジ妨害ハンドラー（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｈａｎｄｌｅｒ）は、エッジ妨害領域探知機によって探知されたエッジ妨害領域に関する情報を受信し、この情報を用いてエッジ妨害を除去、緩和または処理することができる。

図５は、本発明の一実施例に係る、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを介して３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏをシグナリングする構造を示す図である。

ビデオレベルでエッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）関連情報を伝送する場合、各フレーム（ｆｒａｍｅ）別に又は場面（ｓｃｅｎｅ）別にエッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域が変化することに対応することができる。

Ｈ．２６４（又は、ＡＶＣ）Ｖｉｄｅｏの場合には、デコーディング及び出力などのプロセスを補助する情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）領域に当該情報を伝送することができる。本願発明では、エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）情報の伝送のために、ビデオレベルに入るＳＥＩメッセージを指定することができる。図５は、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏをシグナリングするＳＥＩメッセージを指定する場合の実施例である。一実施例として、ｐａｙｌｏａｄＴｙｐｅフィールドの値が‘５０’である場合、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏが伝送されるＳＥＩメッセージであることを示すことができる。

エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）情報または３次元エッジハンドリング情報（３Ｄ Ｅｄｇｅ Ｈａｎｄｌｉｎｇ Ｉｎｆｏ）は、多視点３次元映像の各視点の映像において発生するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を除去、緩和または処理のための情報のことをいう。エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）情報または３次元エッジハンドリング情報（３Ｄ Ｅｄｇｅ Ｈａｎｄｌｉｎｇ Ｉｎｆｏ）は３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏを含む。

図６は、本発明の一実施例に係る、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏのシンタックス（ｓｙｎｔａｘ）を示す図である。

エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が起こる部分を処理するために、上述したシフト・アンド・バー（ｓｈｉｆｔ ａｎｄ ｂａｒ）方案を用いてもよく、あるいはｓｈｉｆｔなしにｂａｒ処理のみを行う方法（Ｆｌｏａｔｉｎｇ ｗｉｎｄｏｗ）、またはｂａｒ処理は行わずに、トリミング（ｃｒｏｐｐｉｎｇ）と部分的なスケーリング（ｓｃａｌｉｎｇ）を通じて処理する方法などを用いることができる。各処理方法毎に適用されるパラメータがそれぞれ異なるので、これをシグナリングするエッジ妨害ハンドリングデータ（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ Ｈａｎｄｌｉｎｇ ｄａｔａ）またはエッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）情報の伝送方案が必要である。エッジ（Ｅｄｇｅ）処理関連データは、ビデオコンテンツ（ｖｉｄｅｏ ｃｏｎｔｅｎｔｓ）に対するメタデータ（ｍｅｔａｄａｔａ）として与えられてもよい。

本発明の一実施例に係る３次元映像プロセシング情報（３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏ）は、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏ_ｉｄフィールド、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールド、ｎｕｍ_３Ｄ_ｖｉｅｗｓフィールド、３Ｄ_ｖｉｅｗ_ＩＤフィールド、３Ｄ_ｖｉｅｗ_ｐｒｉｏｒｉｔｙフィールド、ｓｙｎｔｈｅｓｉｚｅｄ_Ｌ_ｆｌａｇフィールド、ｓｙｎｔｈｅｓｉｚｅｄ_Ｒ_ｆｌａｇフィールド、Ｌｅｆｔ_ｖｉｅｗ_ＩＤフィールド、Ｌ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒ_ｅｘｉｓｔ_ｆｌａｇフィールド、Ｌ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールド、ｒｉｇｈｔ_ｖｉｅｗ_ＩＤフィールド、Ｒ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒ_ｅｘｉｓｔ_ｆｌａｇフィールド、Ｒ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールド、３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメント、及び／又は３Ｄ_ＥＶＡＤ_ｆｕｎｔｉｏｎ_ｉｎｆｏ（）エレメントを含む。

３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏ_ｉｄフィールドは、３次元映像プロセシング情報を固有に識別する情報である。

３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールドは、現在伝送される３次元映像プロセシング情報が、以前に伝送された情報と同一であるか、それとも新たにアップデートされなければならないかを知らせるフィールドである。３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールドは、アップデートが必要な場合に‘１’に設定され、以前と同じ場合に‘０’に設定される。

ｎｕｍ_３Ｄ_ｖｉｅｗｓフィールドは、現在のプログラム、チャネル、またはサービスに含まれた３次元映像（左映像、右映像のペア）、及び／又はシグナリングする仮想３次元映像の数を示すフィールドである。

３Ｄ_ｖｉｅｗ_ＩＤフィールドは、各３次元映像を識別することができる値を示すフィールドである。

３Ｄ_ｖｉｅｗ_ｐｒｉｏｒｉｔｙフィールドは、３次元映像の優先順位を示すフィールドである。

ｓｙｎｔｈｅｓｉｚｅｄ_Ｌ_ｆｌａｇフィールドまたはｓｙｎｔｈｅｓｉｚｅｄ_Ｒ_ｆｌａｇフィールドは、３次元映像を構成する左映像又は右映像が受信機で合成して作られる映像であるか、それとも実際に伝送される映像であるかを知らせるフィールドである。Ｓｙｎｔｈｅｓｉｚｅｄ_Ｘ_ｆｌａｇの値が‘０’であれば、当該ｖｉｅｗは実際に伝送されるビデオ映像であることを意味し、‘１’であれば、受信機で合成（ｓｙｎｔｈｅｓｉｓ）を通じて作られる仮想映像であることを意味する。

Ｌｅｆｔ_ｖｉｅｗ_ＩＤフィールドまたはＲｉｇｈｔ_ｖｉｅｗ_ＩＤフィールドは、３次元映像を構成する左映像及び／又は右映像が実際に伝送される場合、当該３次元映像の左映像及び／又は右映像に含まれるビデオストリームが何かを示す識別子である。場合によって、この値は、左映像ビデオまたは右映像ビデオのＰＩＤ値で代替してもよい。

Ｌ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒ_ｅｘｉｓｔ_ｆｌａｇフィールドまたはＲ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒ_ｅｘｉｓｔ_ｆｌａｇフィールドは、映像に対するカメラパラメータ（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓのために必要なパラメータ）値が存在するか否かを知らせるフィールドである。例えば、ＭＶＣコーデックの場合、カメラパラメータはＭｕｌｔｉｖｉｅｗ_ａｃｑｕｉｓｉｔｉｏｎ_ｉｎｆｏ ＳＥＩ ｍｅｓｓａｇｅを介して伝送され、各ｖｉｅｗ ＩＤ別のｃａｍｅｒａ ｐａｒａｍｅｔｅｒが存在するので、このようなＳＥＩメッセージが別途に伝送されるかを知らせるフィールドである。または、ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒ_ｅｘｉｓｔ_ｆｌａｇを伝送する代わりに、該当するカメラパラメータセット（ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ ｓｅｔ）のＩＤ値自体を伝送することも可能である。このとき、Ｍｕｌｔｉｖｉｅｗ_ａｃｑｕｉｓｉｔｉｏｎ_ｉｎｆｏ ＳＥＩ ｍｅｓｓａｇｅにおいてシグナリングされるｉｎｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒは、各映像別に存在するか、または全ての映像に対する共通パラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）が存在することができ、ｅｘｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒは、各映像別に別途のパラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）が存在するので、カメラパラメータをｉｎｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒとｅｘｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒの２種類に分離して識別子を伝送する方案もある。

映像合成（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）のためには、Ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ以外にｖｉｄｅｏ ｖｉｅｗと同じ視点のｄｅｐｔｈ ｍａｐが存在するか否かもシグナリングする必要があり得、Ｌ_ｄｅｐｔｈ_ｍａｐ_ｅｘｉｓｔ_ｆｌａｇ及び／又はＲ_ｄｅｐｔｈ_ｍａｐ_ｅｘｉｓｔ_ｆｌａｇなどのフィールドをシグナリングするように設定することができる。Ｌ_ｄｅｐｔｈ_ｍａｐ_ｅｘｉｓｔ_ｆｌａｇフィールドまたはＲ_ｄｅｐｔｈ_ｍａｐ_ｅｘｉｓｔ_ｆｌａｇフィールドは、左映像または右映像のためのｄｅｐｔｈ ｍａｐが存在するか否かを知らせるフィールドである。

Ｌ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドまたはＲ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドは、仮想の左映像または仮想の右映像の視点情報を示すフィールドである。映像合成（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）処理過程で入力値として入力される値であり、ビュー合成（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）方案が何かによって、入力値としてカメラ・パラメータ（ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）が必要な場合またはｃａｍｅｒａ ｐａｒａｍｅｔｅｒの部分情報が必要な場合などがあるので、方案に応じて関連情報が伝送され得るようにフィールドを設定することができる。Ｌ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドまたはＲ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドは、仮想映像を撮影する仮想カメラの位置を示す情報であってもよい。例えば、Ｌ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドまたはＲ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドは、ｂａｓｅｌｉｎｅ上で仮想の左映像撮影カメラあるいは仮想の右映像撮影カメラの相対的位置を示すことができる。

以上で説明したフィールドまたは情報は、受信機において新たな視点の仮想３次元映像（仮想の左映像、仮想の右映像）を合成するための情報として用いることができる。

３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメント及び３Ｄ_ＥＶＡＤ_ｆｕｎｔｉｏｎ_ｉｎｆｏ（）エレメントについては後述する。

図７は、本発明の一実施例に係る、３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメントのシンタックス（ｓｙｎｔａｘ）を示す図である。

エッジ（Ｅｄｇｅ）処理関連データは、ビデオコンテンツに対するｍｅｔａ ｄａｔａとして与えられてもよく、図７のように、３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメントを介して伝送されてもよい。このとき、エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が起こる部分を処理するために、上述したｓｈｉｆｔ ａｎｄ ｂａｒ方案を用いてもよく、あるいはｓｈｉｆｔなしにｂａｒ処理のみを行う方法（Ｆｌｏａｔｉｎｇ ｗｉｎｄｏｗ）、またはｂａｒ処理は行わずに、ｃｒｏｐｐｉｎｇと部分的なｓｃａｌｉｎｇを通じて処理する方法などを用いてもよい。各処理方法毎に適用されるパラメータがそれぞれ異なるので、これをシグナリングするエッジ妨害ハンドリングデータ（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ Ｈａｎｄｌｉｎｇ ｄａｔａ）の伝送方案が必要である。

エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）という左右視覚での不一致歪みを防止する方法は、上述したように、放送局で３Ｄコンテンツ自体に予め後処理を施した後に送る方法、推奨するエッジハンドリング（ｅｄｇｅ ｈａｎｄｌｉｎｇ）方式のパラメータを送る方法（ｆｌｏａｔｉｎｇ ｗｉｎｄｏｗ／ｖｅｒｔｉｃａｌ ｅｄｇｅ ｔｒｅａｔｍｅｎｔ／ＨＩＴ ｐａｒａｍｅｔｅｒ）、または推奨するｖｅｒｔｉｃａｌ ｅｄｇｅ ｔｒｅａｔｍｅｎｔ ｐａｒａｍｅｔｅｒを送る方法などがある。状況に応じて各エッジ（ｅｄｇｅ）毎に異なる方法が適用されてもよく、フレーム別に適用方法が変わってもよい。

このとき、３次元映像のエッジ（ｅｄｇｅ）別にｗｉｎｄｏｗ ｖｉｏｌａｔｉｏｎが発生するか否かを知らせるためのｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇを別途に設けることもできる。例えば、ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇの値が‘００’である場合、３次元映像の左側エッジと右側エッジ（ｅｄｇｅ）の両方でエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生しないことを示すことができる。ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇの値が‘０１’である場合、３次元映像の右側エッジ（ｅｄｇｅ）でのみエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生することを示すことができる。ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇの値が、‘１０’である場合、３次元映像の左側エッジ（ｅｄｇｅ）でのみエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生することを示すことができる。ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇの値が‘１１’である場合、３次元映像の両側エッジ（ｅｄｇｅ）の両方でエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生することを示すことができる。このようなｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇをシグナリングすると、受信端で当該３次元映像を後処理を行うか否かを判断可能である。ｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇは、３Ｄ_ｖｉｅｗ_ｐｒｏｃｅｓｓｉｎｇ_ｉｎｆｏまたは３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメントに含まれてもよい。

３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｉｎｆｏ（）エレメントは、３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールド、ＬＬ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈフィールド、ＲＲ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈフィールド、Ｌ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド、Ｒ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド、ＬＬ_ｓｔｒｅｔｃｈ_ｓｔａｒｔ_ｐｉｘｅｌフィールド、ＬＬ_ｓｔｒｅｔｃｈ_ｗｉｄｔｈ_ｐｉｘｅｌフィールド、ＬＬ_ｓｔｒｅｔｃｈ_ｐａｒａｍｅｔｅｒ（）エレメント、ＲＲ_ｓｔｒｅｔｃｈ_ｓｔａｒｔ_ｐｉｘｅｌフィールド、ＲＲ_ｓｔｒｅｔｃｈ_ｗｉｄｔｈ_ｐｉｘｅｌフィールド、ＲＲ_ｓｔｒｅｔｃｈ_ｐａｒａｍｅｔｅｒ（）エレメント、及び／又はＥＨ_ｍｉｎ_ｄｉｓｐａｒｉｔｙフィールドを含む。

３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールドは、現在伝送される３次元エッジハンドリング情報が、以前に伝送された情報と同一であるか、それとも新たにアップデートされなければならないかを知らせるフィールドである。３Ｄ_ｅｄｇｅ_ｈａｎｄｌｉｎｇ_ｕｐｄａｔｅ_ｆｌａｇフィールドの値は、Ｕｐｄａｔｅが必要な場合に‘１’に設定され、以前と同じ場合に‘０’に設定される。

ＬＬ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈフィールド及びＲＲ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈフィールドは、それぞれ、左映像の左側エッジ（Ｌｅｆｔ ｅｄｇｅ）に存在するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域のピクセル数、及び右映像の右側エッジ（Ｒｉｇｈｔ ｅｄｇｅ）に存在するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域のピクセル数を意味する。もし、ＬＬ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈフィールドの値が‘０’であれば、左映像の左側エッジにはエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が起こらないことを意味し、このとき、３次元映像のエッジ（ｅｄｇｅ）別にｗｉｎｄｏｗ ｖｉｏｌａｔｉｏｎが発生するか否かを知らせるためのｅｄｇｅ_ｖｉｏｌａｔｉｏｎ_ｆｌａｇフィールドが別に存在することができる。

Ｌ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド及びＲ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールドは、それぞれ、左映像または右映像に適用されるエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）の処理方法を指定する。例えば、当該フィールドの値が‘００’である場合、Ｐｒｅｐｒｏｃｅｓｓｅｄ（ｐｒｅ−ｈａｎｄｌｅｄ）、すなわち、送信端でエッジ妨害が既に処理されて伝送されることを示すことができる。当該フィールドの値が‘０１’である場合、Ｂａｒ（Ｆｌｏａｔｉｎｇ ｗｉｎｄｏｗ）ｒｅｃｏｍｍｅｎｄｅｄ、すなわち、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生する領域にｂａｒ処理を行う方法が推奨されることを示すことができる。当該フィールドの値が‘１０’である場合、Ｃｒｏｐ ａｎｄ ｓｔｒｅｔｃｈ（Ｖｅｒｔｉｃａｌ ｅｄｇｅ ｔｒｅａｔｍｅｎｔ）ｒｅｃｏｍｍｅｎｄｅｄ、すなわち、ｃｒｏｐとｓｔｒｅｔｃｈの方法でエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）を処理することが推奨されることを示すことができる。当該フィールドの値が‘１１’である場合、Ｓｈｉｆｔ ａｎｄ ｂａｒ（ＨＩＴ）ｒｅｃｏｍｍｅｎｄｅｄ、すなわち、エッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が発生する領域の区間の分だけ映像をｓｈｉｆｔさせた後、フレームの外に出た部分は捨て、フレーム内に残った部分にはｂａｒ処理を行う方法が推奨されることを示すことができる。

ＬＬ_ｓｔｒｅｔｃｈ_ｓｔａｒｔ_ｐｉｘｅｌフィールド及びＲＲ_ｓｔｒｅｔｃｈ_ｓｔａｒｔ_ｐｉｘｅｌフィールドは、Ｌ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド及びＲ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールドの値が‘１０’であるときに適用されるもので、それぞれ、左映像の左側エッジ及び右映像の右側エッジを基準としてｓｔｒｅｔｃｈが始まる領域を示す。

ＬＬ_ｓｔｒｅｔｃｈ_ｗｉｄｔｈ_ｐｉｘｅｌフィールド及びＲＲ_ｓｔｒｅｔｃｈ_ｗｉｄｔｈ_ｐｉｘｅｌフィールドは、Ｌ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド及び／又はＲ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールドの値が‘１０’であるときに適用されるもので、それぞれ、ｓｔｒｅｔｃｈが始まる領域を基準としてｓｔｒｅｔｃｈされる領域の面積を示す。

ＬＬ_ｓｔｒｅｔｃｈ_ｐａｒａｍｅｔｅｒ（）エレメント及びＲＲ_ｓｔｒｅｔｃｈ_ｐａｒａｍｅｔｅｒ（）エレメントは、Ｌ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールド及び／又はＲ_ｈａｎｄｌｉｎｇ_ｔｙｐｅフィールドの値が‘１０’であるときに適用される値であって、ｃｒｏｐ ａｎｄ ｓｔｒｅｔｃｈ方案を用いるとき、ｓｔｒｅｔｃｈ時に用いられるパラメータを含むことができる。

ＥＨ_ｍｉｎ_ｄｉｓｐａｒｉｔｙフィールドは、エッジ妨害（Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）に対して後処理が施された後の最小ディスパリティ（ｄｉｓｐａｒｉｔｙ）値を意味する。スクリーンの前方で発生するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が遮断されると、それによって最小ディスパリティ（ｍｉｎ ｄｉｓｐａｒｉｔｙ）値が変化し得るので、受信機でエッジハンドリング処理が行われたステレオ映像にＯｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ（ＯＳＤ）を表示させるとき、この値を考慮してＯＳＤのディスプレイの奥行（ｄｅｐｔｈ）を決定することができる。全体ｄｉｓｐａｒｉｔｙ範囲を知らせるためにＥＨ_ｍａｘ_ｄｉｓｐａｒｉｔｙフィールドも共に伝送するシナリオも可能であり、場合によって、原映像のｄｉｓｐａｒｉｔｙ範囲まで伝送するように設定することもできる。または、ｄｉｓｐａｒｉｔｙ_ｒａｎｇｅ_ｃｈａｎｇｅ_ｆｌａｇというフィールドを別に設け、エッジハンドリングの適用後にｄｉｓｐａｒｉｔｙ ｒａｎｇｅ（ｍｉｎ．，ｍａｘ．ｄｉｓｐａｒｉｔｙ値）が変化したか、またはそのままであるかをシグナリングするように設定することもできる。

ここで、ディスパリティ（ｄｉｓｐａｒｉｔｙ）とは、３次元映像の１つのオブジェクトが左映像及び右映像に位置するとき、各映像に位置する当該オブジェクトの水平距離の差を示す。ディスパリティ値に応じて、視聴者が感じる当該オブジェクトの奥行き感（ｄｅｐｔｈ）が変わり得る。

図８は、本発明の一実施例に係る、３次元エッジ妨害領域探知関数情報（３Ｄ_ＥＶＡＤ_ｆｕｎｃｔｉｏｎ_ｉｎｆｏ（））エレメントを示す図である。

３次元映像を構成する左映像と右映像が全て実際に伝送されるビデオである場合、受信端では、当該３次元映像をベースとして新たな仮想３次元映像を生成するシナリオが可能である。このとき、受信された左映像、右映像に存在するエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域は、前述した３次元エッジハンドリング情報（３Ｄ Ｅｄｇｅ Ｈａｎｄｌｉｎｇ Ｉｎｆｏ）などを通じて知ることができるが、受信端で任意に選択した視点の仮想の左映像、右映像のエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域は、前述した方法の内容のみでは知ることができない。したがって、受信端では、生成しようとする仮想３次元映像のカメラ視点（カメラ撮影位置）が何かに応じて、生成された各左映像、右映像のエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域を導出する方案が必要である。

本発明によれば、３次元エッジ妨害領域探知関数（３Ｄ ＥＶＡＤ（Ｅｄｇｅ Ｖｉｏｌａｔｉｏｎ Ａｒｅａ Ｄｅｔｅｃｔｉｏｎ）ｆｕｎｃｔｉｏｎ）は、映像合成（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）に用いられる、受信した左映像、右映像のカメラパラメータ情報、その他の付加情報（左映像、右映像のｄｅｐｔｈ情報など）、そして、各左映像、右映像のエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域情報に基づいて、任意のカメラ視点でのエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域のピクセル値を導出することができるようにする関数である。例えば、１Ｄ ｐａｒａｌｌｅｌ形態で配列されたカメラにおいて、その基準線（ｂａｓｅｌｉｎｅ）上に置かれた任意の視点でのエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域情報を導出する関数があり得る。このような場合、カメラの視点位置はベースライン・ディスタンス（ｂａｓｅｌｉｎｅ ｄｉｓｔａｎｃｅ）の形態で表現することができ、関数は、このカメラのｂａｓｅｌｉｎｅ ｄｉｓｔａｎｃｅ値を入力値として受けて、その視点でのエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域情報を出力することになる。ｂａｓｅｌｉｎｅ ｄｉｓｔａｎｃｅは、ｂａｓｅｌｉｎｅ上でのカメラの位置を示す値であってもよい。

図８は、左映像カメラと右映像カメラの位置の中心点を基準としてカメラ位置（ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ）値を正規化（ｎｏｒｍａｌｉｚｅ）させた場合の３Ｄ ＥＶＡＤ ｆｕｎｃｔｉｏｎである。すなわち、Ｌ_ｃａｍ_ｐｏｓｉｔｉｏｎ（又は、Ｒ_ｃａｍ_ｐｏｓｉｔｉｏｎ）を１とし、２つのカメラ間の中間となる地点のｃａｍｅｒａ ｐｏｓｉｔｉｏｎを０とするとき、０から１まで増加するこのｃａｍｅｒａ ｐｏｓｉｔｉｏｎの値を入力値とし、左映像の左側エッジ（又は、右映像の右側エッジ）におけるエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）領域のピクセル数を出力値とする関数（ｆｕｎｃｔｉｏｎ）をシグナリングする。ここで、Ｌ_ｃａｍ_ｐｏｓｉｔｉｏｎは、左映像を撮影するカメラの位置を示す値であり、Ｒ_ｃａｍ_ｐｏｓｉｔｉｏｎは、右映像を撮影するカメラの位置を示す値である。Ｌ_ｃａｍ_ｐｏｓｉｔｉｏｎフィールド及びＲ_ｃａｍ_ｐｏｓｉｔｉｏｎフィールドは３Ｄ_ＥＶＡＤ_ｆｕｎｃｔｉｏｎ_ｉｎｆｏ（）エレメントに含まれてもよい。または、Ｌ_ｃａｍ_ｐｏｓｉｔｉｏｎフィールドとＲ_ｃａｍ_ｐｏｓｉｔｉｏｎフィールドは、それぞれ、前述したＬ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドとＲ_ｃａｍ_ｂａｓｅｌｉｎｅ_ｄｉｓｔａｎｃｅフィールドに対応することができる。

３Ｄ_ＥＶＡＤ_ｆｕｎｃｔｉｏｎ_ｉｎｆｏ（）エレメントは、ＬＬ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅフィールド、ＲＲ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅフィールド、ＬＬ_ｃｏｅｆｆｉｃｉｅｎｔフィールド、及び／又はＲＲ_ｃｏｅｆｆｉｃｉｅｎｔフィールドを含む。

ＬＬ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅフィールド及びＲＲ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅフィールドは、３Ｄ ＥＶＡＤ ｆｕｎｃｔｉｏｎの種類が何かを知らせるフィールドである。関数の種類は種々あり、一実施例として、当該フィールドの値が‘１’の場合に‘ｌｉｎｅａｒ ｆｕｎｃｔｉｏｎ’を示すことができる。

ＬＬ_ｃｏｅｆｆｉｃｉｅｎｔフィールド及びＲＲ_ｃｏｅｆｆｉｃｉｅｎｔフィールドは、前述した関数の係数を示すフィールドであり、ＸＸ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅが‘ｌｉｎｅａｒ ｆｕｎｃｔｉｏｎ’である場合、関数は、次のように定義することができる。

｛ＸＸ_ｅｄｇｅのｅｄｇｅ ｖｉｏｌａｔｉｏｎ領域を示すピクセル数＝ＸＸ_ｃｏｅｆｆｉｃｉｅｎｔ^*Ｘ_ｃａｍ_ｐｏｓｉｔｉｏｎ＋ＸＸ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈ｝

以上で説明したように、基本的に、エッジ妨害情報は各フレーム別に変化する可能性が高いので、ビデオレベルのシグナリングが適している。しかし、場合によっては、ｓｃｅｎｅ別、ｅｖｅｎｔ別、ｐｒｏｇｒａｍ／ｃｈａｎｎｅｌ／ｓｅｒｖｉｃｅ別に同一のエッジ妨害ハンドリング情報を適用することもできる。送信端で推奨する区間別エッジ妨害ハンドリング方案がある場合、先にビデオレベルでシグナリングされた情報がイベントまたはシステム単位で伝送されてもよい。すなわち、ＡＴＳＣ ＰＳＩＰまたはＤＶＢ ＳＩのＥＩＴのようなｅｖｅｎｔ単位の情報伝送が可能なテーブルに新たなｄｅｓｃｒｉｐｔｏｒを入れてｅｖｅｎｔ単位の情報を伝送するか、またはＰＭＴ／ＶＣＴ／ＳＤＴなどのようなｓｙｓｔｅｍレベルの情報伝送が可能なテーブルに新たなｄｅｓｃｒｉｐｔｏｒを入れてｐｒｏｇｒａｍ／ｃｈａｎｎｅｌ／ｓｅｒｖｉｃｅ単位の情報を伝送するものである。このようなｄｅｓｃｒｉｐｔｏｒには、前述したフィールドまたはエレメントの情報が含まれてもよい。

Ｓｃｅｎｅ別にエッジ妨害ハンドリング情報を伝送しようとする場合、システムレベルの記述子内にｓｃｅｎｅの区間情報（各ｓｃｅｎｅの開始時間及び終了時間）をさらに伝送することができる。または、エッジ妨害ハンドリング情報を時間による区間単位で構成して、別途のｐｒｉｖａｔｅ ｓｔｒｅａｍ形態で伝送することができる。この場合、ビデオ信号とエッジ妨害ハンドリング情報ストリームを同期化する手順が必要であり、このような同期化を通じて３次元映像のエッジ妨害を処理することができる。

図９は、本発明の一実施例に係る、エッジハンドリング情報（ｅｄｇｅ ｈａｎｄｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）がシグナリングされる場合を示す図である。

図９の（ａ）を参照すると、３次元放送システムは、３つの視点（３Ｄ ｖｉｅｗ ０、３Ｄ ｖｉｅｗ １、３Ｄ ｖｉｅｗ ２）の３次元映像を提供する。３Ｄ ｖｉｅｗ ０の３次元映像はビデオ０とビデオ１を含む。３Ｄ ｖｉｅｗ １の３次元映像はビデオ１とビデオ２を含む。３Ｄ ｖｉｅｗ ２はビデオ２とビデオ３を含む。送信端では、前述したシグナリング方案を通じて、各視点でのエッジハンドリング情報を提供することができる。また、受信機で合成が可能な他の視点での３次元映像に対するエッジハンドリング情報も共にシグナリングすることができる。

図９の（ｂ）を参照すると、３Ｄ ｖｉｅｗ ０の視点の３次元映像はビデオ０とビデオ１を含むことができる。送信端では、ビデオ０を撮影したカメラの位置、ビデオ１を撮影したカメラの位置情報、ビデオ０でのエッジ妨害領域の面積、ビデオ１でのエッジ妨害領域の面積に関する情報がシグナリングされてもよい。例えば、３Ｄ ｖｉｅｗ ０の視点の３次元映像に対して、Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（０，１）、Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（２４，８）のような情報がシグナリングされ得る。Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（０，１）は、左映像を撮影したカメラの位置がｂａｓｅｌｉｎｅの基準地点に位置し、右映像を撮影したカメラの位置が‘１’だけ基準線から離れているという情報である。Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（２４，８）は、左映像の左側エッジにおいて２４ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて８ピクセルの面積の領域でエッジ妨害が発生することを示す。

３Ｄ ｖｉｅｗ １の視点の３次元映像はビデオ１とビデオ２を含むことができる。送信端では、ビデオ１を撮影したカメラの位置、ビデオ２を撮影したカメラの位置情報、ビデオ１でのエッジ妨害領域の面積、ビデオ２でのエッジ妨害領域の面積に関する情報がシグナリングされてもよい。例えば、３Ｄ ｖｉｅｗ １の視点の３次元映像に対して、Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（１，２）、Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（３，３６）のような情報がシグナリングされ得る。Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（１，２）は、左映像を撮影したカメラの位置がｂａｓｅｌｉｎｅの基準地点から‘１’だけ離れて位置し、右映像を撮影したカメラの位置が‘２’だけ基準線から離れているという情報である。Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（３，３６）は、左映像の左側エッジにおいて３ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて３６ピクセルの面積の領域でエッジ妨害が発生することを示す。

送信端では、受信端で合成可能な他の視点の３次元映像に対してエッジハンドリング情報をシグナリングすることができる。Ｓｙｎｔｈｅｓｉｚｅｄ ３Ｄ ｖｉｅｗ Ｘの視点の３次元映像は、合成されたビデオ０．５及び合成されたビデオ１．５を含むことができる。合成されたビデオ０．５及び合成されたビデオ１．５は、受信端で受信したビデオデータを用いて新たに生成したビデオデータである。すなわち、受信端で新たな視点の３次元映像を提供するために合成したビデオデータである。送信端では、ビデオ０．５を撮影すると期待される仮想カメラの位置、ビデオ１．５を撮影すると期待される仮想カメラの位置情報、ビデオ０．５において発生が予想されるエッジ妨害領域の面積、ビデオ１．５において発生が予想されるエッジ妨害領域の面積に関する情報をシグナリングすることができる。例えば、送信端では、Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（０．５，１．５）、Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（１０，２５）のような情報をシグナリングすることができる。Ｌ，Ｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ（０．５，１．５）は、左映像のための仮想カメラの位置がｂａｓｅｌｉｎｅの基準地点から‘０．５’だけ離れて位置し、右映像のための仮想カメラの位置が‘１．５’だけ基準線から離れているという情報である。Ｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｗｉｄｔｈ ｐｉｘｅｌ：（ＬＬ，ＲＲ）＝（１０，２５）は、左映像の左側エッジにおいて１０ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて２５ピクセルの面積の領域でエッジ妨害が発生することを示す。すなわち、送信端では、仮想のカメラ位置に応じて、左映像及び右映像において発生が予想されるエッジ妨害領域に対する情報をシグナリングすることができる。

図１０は、本発明の一実施例に係る、受信端で仮想３次元映像に対するエッジハンドリング情報を導出することができるように関連関数をシグナリングする場合を示す図である。

前述したように、多視点ＴＶで合成された３次元映像のエッジ妨害領域情報（エッジハンドリング情報）を受信機で導出することができる。３Ｄ ｖｉｅｗ ０の左映像（ビデオ０）、右映像（ビデオ２）及び関連情報（Ｌ_ｃａｍ_ｐｏｓｉｔｉｏｎ，ＬＬ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈ，Ｒ_ｃａｍ_ｐｏｓｉｔｉｏｎ、ＲＲ_ｅｄｇｅ_ｐｉｘｅｌ_ｗｉｄｔｈ）を入力値として、Ｓｙｎｔｈｅｓｉｚｅｄ ３Ｄ ｖｉｅｗ ０とｓｙｎｔｈｅｓｉｚｅｄ ３Ｄ ｖｉｅｗ １のｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｐｉｘｅｌ ｗｉｄｔｈを導出することができ、このとき、シグナリングされたＬＬ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅ、ＬＬ_ｃｏｅｆｆｉｃｉｅｎｔ、ＲＲ_ｆｕｎｃｔｉｏｎ_ｔｙｐｅ、ＲＲ_ｃｏｅｆｆｉｃｉｅｎｔ値を用いる。シグナリングされるパラメータまたはフィールドに対する説明は、前述した内容で代替する。

図９で前述した方法によれば、各合成された３次元映像毎のｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｐｉｘｅｌ ｗｉｄｔｈ値自体を伝送したので、任意のカメラ位置を有するｓｙｎｔｈｅｓｉｚｅｄ ３Ｄ ｖｉｅｗのｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｐｉｘｅｌ ｗｉｄｔｈ情報を知ることができない場合が発生することがあり、したがって、伝送された特定のカメラ位置の３次元映像に対するエッジハンドリング情報のみを知ることができる。これに反して、図１０のように、受信端で仮想３次元映像に対するエッジハンドリング情報を導出できるように関連関数をシグナリングする場合、各区間別にｅｄｇｅ ｖｉｏｌａｔｉｏｎ ｐｉｘｅｌ ｗｉｄｔｈを導出できる関数がシグナリングされるので、区間内に存在する全ての３次元映像ペアに対するエッジハンドリング情報を導出することができる。

図１１は、本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行うための数式を示す図である。

受信端の映像合成（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）過程で映像の各ピクセルを新たな視点の映像にマッピングする過程を経るので、新たな視点の各ピクセルが既存映像のどのピクセルに対応するかを知ることができ、これを通じて、受信機は、新たに構成した３次元映像ペア（左映像、右映像）のエッジ妨害領域に対する情報を抽出することができる。

すなわち、３次元映像の左側エッジに在るエッジ妨害領域は、右映像には存在しないが、左映像にのみ存在する領域又はオブジェクトに該当することができる（式１−１，２−１）。３次元映像の右側エッジに在るエッジ妨害領域は、左映像には存在しないが、右映像にのみ存在する領域又はオブジェクトに該当することができる（式１−２，２−２）。新たに合成した映像ではなく受信した３次元映像のエッジ妨害情報もまた、ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇなどの技法を通じてエッジ妨害領域を導出することができる（式１−１及び式１−２）。

すなわち、（式１−１）を参照すると、左映像（Ｖ１）には存在するピクセル（ｐ）が右映像（Ｖ２）には存在しない場合、当該ピクセルは左側エッジ妨害領域に位置するものと判断することができる。

（式１−２）を参照すると、左映像（Ｖ１）には存在しないピクセル（ｐ）が右映像（Ｖ２）には存在する場合、当該ピクセルは右側エッジ妨害領域に位置するものと判断することができる。

（式２−１）を参照すると、左映像（Ｖ１）には存在するピクセル（ｐ）が合成された右映像（Ｓ１２）には存在しない場合、合成された３次元映像において当該ピクセルは左側エッジ妨害領域に位置するものと判断することができる。

（式２−２）を参照すると、左映像（Ｖ１）には存在しないピクセル（ｐ）が合成された右映像（Ｓ１２）には存在する場合、合成された３次元映像において当該ピクセルは右側エッジ妨害領域に位置するものと判断することができる。

このような方式を用いて、受信機は、それぞれのピクセルに対するエッジ妨害領域の存在有無を判断して、最終的に受信した３次元映像（又は、合成された３次元映像）においてエッジ妨害が発生する領域を判断することができる。

図１２は、本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行う場合を示す図である。

Ｖ１とＶ２は、受信したステレオ３次元映像の左映像及び右映像であり、Ｖ１とＳ１２は、受信端で新たに合成したステレオ３次元映像の左映像及び右映像である。Ｓ１２は、Ｖ１とＶ２に基づいて合成（Ｓｙｎｔｈｅｓｉｚｅ）された映像であり、Ｖ１は、受信した映像と同一である。このとき、図において陰影処理された部分は、エッジ妨害が発生した領域を意味する。

例えば、図１１で前述した方式を適用するとき、１つのフレーム内で垂直に配列されたピクセルのいずれか１つでもエッジ妨害領域に含まれるものと判断されると、受信機は、当該垂直に配列されたピクセルの全てがエッジ妨害領域に含まれるものと判断するように設定されてもよい。

図１３は、本発明の一実施例に係る多視点３次元映像受信機を示す図である。

本発明の一実施例に係る３次元映像受信機は、チューナー及び復調部（ｔｕｎｅｒ＆ｄｅｍｏｄｕｌａｔｏｒ）１３０１０、ＶＳＢデコーダ（ＶＳＢ ｄｅｃｏｄｅｒ）１３０２０、ＴＰ逆多重化部（ＴＰ ｄｅｍｕｘ）１３０３０、ｄｅｐｔｈデコーダ（ｄｅｐｔｈ ｄｅｃｏｄｅｒ）１３０４０，１３０４２，１３０４４、ビデオデコーダ（ｖｉｄｅｏ ｄｅｃｏｄｅｒ）１３０５０，１３０５２，１３０５４、３次元仮想映像合成部（３Ｄ ｖｉｒｔｕａｌ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）１３０６０、仮想映像処理部（ｖｉｒｔｕａｌ ｖｉｅｗ ｐｒｏｃｅｓｓｏｒ）１３０７０，１３０７２、ビデオ選択部（ｖｉｄｅｏ ｓｅｌｅｃｔｏｒ）１３０８０、３次元エッジハンドリング及び映像処理部（３Ｄ ｅｄｇｅ ｈａｎｄｌｉｎｇ＆ｖｉｅｗ ｐｒｏｃｅｓｓｉｎｇ）１３０９０、ＰＳＩ／ＰＳＩＰ／ＳＩ処理部（ＰＳＩ／ＰＳＩＰ／ＳＩ ｐｒｏｃｅｓｓｏｒ）１３１００、３次元映像情報処理部（３Ｄ ｖｉｅｗ ｉｎｆｏ ｐｒｏｃｅｓｓｉｎｇ）１３１１０及び／又は出力フォーマッタ（ｏｕｔｐｕｔ ｆｏｒｍａｔｔｅｒ）１３１２０を含む。

チューナー及び復調部１３０１０は放送信号を受信する。チューナー及び復調部１３０１０は放送信号を復調する。

ＶＳＢデコーダ１３０２０は、変調方式に応じた復調を行う。ＶＳＢデコーダ１３０２０は、ＶＳＢ方式で変調された信号、ＯＦＤＭ方式で変調された信号などを復調する。ＶＳＢデコーダ１３０２０は、前述したチューナー及び復調部１３０１０に含まれてもよく、別途に存在してもよい。

ＴＰ逆多重化部１３０３０は、放送信号内のトランスポートストリームまたはトランスポートストリームパケットを抽出する。

デプス（ｄｅｐｔｈ）デコーダ１３０４０，１３０４２，１３０４４は、放送信号に含まれたｄｅｐｔｈ関連情報をデコーディングする。Ｄｅｐｔｈ関連情報は、放送パケット、トランスポートパケット、データセグメント、ビデオヘッダーまたはビデオアクセスユニットヘッダーの形態で伝送されてもよい。それぞれのｄｅｐｔｈデコーダは、それぞれの３次元映像に含まれるそれぞれの映像に対するｄｅｐｔｈ情報をデコーディングする。

ビデオデコーダ１３０５０，１３０５２，１３０５４は、放送信号に含まれた各ビデオ映像をデコーディングする。ビデオデコーダは、３次元映像に含まれる各映像をデコーディングする。例えば、ビデオデコーダは、ベース映像（左映像または右映像）をデコーディングするベース映像ビデオデコーダ１３０５０、及び／又は追加映像（ベース映像が左映像である場合には右映像、ベース映像が右映像である場合には左映像）をデコーディングする追加映像ビデオデコーダ１３０５２，１３０５４を含むことができる。追加映像は、基本視点の３次元映像を作るためのビデオ映像、及び／又は追加視点の３次元映像を作るためのビデオ映像を含む。

３次元仮想映像合成部１３０６０は、デコーディングされたベース映像及び／又は追加映像を用いて、仮想の映像を生成する。３次元仮想映像合成部１３０６０は、放送信号を介して伝送される視点以外に他の視点の３次元映像に含まれるビデオ映像を生成することができる。３次元仮想映像合成部１３０６０は、ビデオ映像を生成する過程でＰＳＩ、ＰＳＩＰ、またはＤＶＢ−ＳＩに含まれるシグナリング情報を利用することができる。３次元仮想映像合成部１３０６０は、ビデオ映像を生成する過程において、３次元映像情報処理部１３１１０で獲得された情報を利用することができる。

仮想映像処理部１３０７０，１３０７２は、合成された仮想映像を分離して処理する。仮想映像処理部１３０７０，１３０７２は、それぞれの視点に３次元映像に含まれる合成された仮想映像を識別する。

ビデオ選択部１３０８０（ｖｉｄｅｏ ｓｅｌｅｃｔｏｒ）は、多視点ディスプレイの各３次元視点単位で出力する２つのビデオ映像（ビデオストリーム）を選択する。各視点の３次元映像に含まれるビデオ映像またはビデオストリームは、デコーディングされた（即ち、放送信号に含まれた）ビデオ映像または合成された仮想ビデオ映像であってもよい。

３次元エッジハンドリング及び映像処理部１３０９０は、前述した方式のうちの１つ以上の方式により、各視点の３次元映像に発生し得るエッジ妨害を処理する。エッジ妨害を処理する詳細な内容は、前述した説明で代替する。３次元エッジハンドリング及び映像処理部１３０９０は、エッジハンドリングを行う過程でエッジハンドリング情報またはエッジハンドリング情報生成のための関数情報を利用することができる。３次元エッジハンドリング及び映像処理部１３０９０は、送信端でエッジハンドリング関連情報がシグナリングされない場合、各ビデオ映像を比較してエッジ妨害領域を抽出し、抽出されたエッジ妨害領域に対するエッジハンドリングを行うことができる。

ＰＳＩ／ＰＳＩＰ／ＳＩ処理部１３１００は、放送信号に含まれたシグナリング情報をパージングする。シグナリング情報は、ＰＳＩ、ＰＳＩＰ、またはＤＶＢ−ＳＩなどの情報を含む。ＰＳＩ、ＰＳＩＰ、またはＤＶＢ−ＳＩは、プログラムマップテーブル（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ；ＰＭＴ）、仮想チャネルテーブル（Ｖｉｒｔｕａｌ Ｃｈａｎｎｅｌ Ｔａｂｌｅ；ＶＣＴ）、イベント情報テーブル（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ；ＥＩＴ）またはサービスディスクリプションテーブル（Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅ；ＳＤＴ）を含む。

３次元映像情報処理部１３１１０は、ビデオレベルのＳＥＩメッセージ、またはＰＳＩ、ＰＳＩＰ、又はＤＶＢ−ＳＩレベルのディスクリプター（ｄｅｓｃｒｉｐｔｏｒ）を介して伝送される３次元映像関連情報を獲得する。ここで、３次元映像関連情報は、ｄｅｐｔｈマップ情報、カメラパラメータ、エッジハンドリング情報、エッジハンドリング情報を生成するための関数情報、３次元映像プロセシング情報及び／又は前述した情報などを含むことができる。

出力フォーマッタ（ｏｕｔｐｕｔ ｆｏｒｍａｔｔｅｒ）１３１２０は、エッジハンドリングが行われた各視点の３次元映像を出力形態でフォーマッティングしてディスプレイされ得るように処理する。

以上で説明したように、本発明では、多視点３ＤＴＶにおいて各３次元映像別にエッジ妨害（ｅｄｇｅ ｖｉｏｌａｔｉｏｎ）が起こる視点にエッジハンドリング（ｅｄｇｅ ｈａｎｄｌｉｎｇ）方法を適用して適切な奥行き感を提供する環境を作るために必要な各種変数及びデータを整理し、これを活用する方案を提示した。

本発明によれば、多視点３次元映像を視聴する場合にも、それぞれの視点においてエッジハンドリングが可能である。

本発明によれば、送信端から伝送されない視点の３次元映像に対しても、エッジハンドリングが可能である。

本発明によれば、送信端からエッジハンドリングに必要な情報（エッジ妨害情報）が提供されない場合にも、受信機でエッジハンドリングを行うことができる。

本発明に係る方法発明はいずれも、様々なコンピュータ手段を介して行うことができるプログラム命令の形態で具現されて、コンピュータ可読媒体に記録されてもよい。

前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能であるものであってもよい。コンピュータ可読記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明は上記の実施例に限定されるものではなく、本発明の属する分野における通常の知識を有する者なら、このような記載から様々な修正及び変形が可能である。したがって、本発明の範囲は説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
〔発明を実施するための形態〕

上述したように、発明を実施するための最良の形態で、本発明と関連する事項を記述した。

本発明は、デジタル放送産業分野で全体的または部分的に利用可能である。

Claims (11)

1. 多視点３次元映像の放送のための放送信号を受信するステップと、
   前記受信した放送信号から、第１視点の３次元映像に含まれる第１左映像データ及び第１右映像データをデコーディングするステップと、
   前記受信した放送信号から、３次元映像プロセシング情報をパージングするステップと、
   前記第１左映像データ、前記第１右映像データ及び前記３次元映像プロセシング情報を用いて、第２視点の３次元映像に含まれる第２左映像データ及び第２右映像データのうち少なくとも１つ以上のデータを生成するステップと、
   前記３次元映像プロセシング情報に含まれる３次元エッジ妨害領域探知関数情報をパージングするステップと、
   前記３次元エッジ妨害領域探知関数情報を用いて、前記第２視点の３次元映像で発生するエッジ妨害の領域を抽出し、前記領域のエッジ妨害をハンドリングするステップと、
   前記第１視点の３次元映像及び前記第２視点の３次元映像をディスプレイするステップと、を含む、多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
2. 前記３次元エッジ妨害領域探知関数情報は、
   前記エッジ妨害の領域を抽出するために用いられる関数の種類を識別する関数タイプ情報、及び識別された関数に用いられる係数の値を示す係数情報を含む、請求項１に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
3. 前記３次元映像プロセシング情報は、
   前記第２左映像または前記第２右映像を撮影すると予想されるカメラの位置情報、及び前記第１視点の３次元映像でのエッジ妨害領域を示す情報をさらに含んでいる、請求項２に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
4. 前記３次元映像プロセシング情報は、
   受信機で生成され得る１つ以上の視点の３次元映像に発生し得るエッジ妨害に関する情報を含むエッジハンドリング情報をさらに含む、請求項１に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
5. 前記エッジハンドリング情報は、
   前記１つ以上の視点の３次元映像に含まれる左映像に存在するエッジ妨害の領域のピクセル数の情報、及び前記１つ以上の視点の３次元映像に含まれる右映像に存在するエッジ妨害の領域のピクセル数の情報を含む、請求項４に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
6. 前記エッジハンドリング情報は、
   前記１つ以上の視点の３次元映像に含まれる左映像及び右映像に存在する前記エッジ妨害をハンドリングする方法を指定する情報をさらに含む、請求項５に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
7. 前記エッジハンドリング情報は、
   前記１つ以上の視点の３次元映像に含まれる左映像及び右映像に存在する前記エッジ妨害がハンドリングされた後、前記１つ以上の視点の３次元映像の最小ディスパリティを識別する情報をさらに含む、請求項６に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
8. 前記３次元映像プロセシング情報は、
   ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを介して伝送される、請求項７に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
9. 前記３次元映像プロセシング情報は、
   プログラムマップテーブル（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ；ＰＭＴ）、仮想チャネルテーブル（Ｖｉｒｔｕａｌ Ｃｈａｎｎｅｌ Ｔａｂｌｅ；ＶＣＴ）、イベント情報テーブル（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ；ＥＩＴ）またはサービスディスクリプションテーブル（Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅ；ＳＤＴ）を介して伝送される、請求項７に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
10. 多視点３次元映像の放送のための放送信号を受信するステップと、
    前記受信した放送信号から、第１視点の３次元映像に含まれる第１映像データ及び第２映像データをデコーディングするステップであって、
    前記第１映像データは前記第１視点の３次元映像の左映像に対応し、前記第２映像データは前記第１視点の３次元映像の右映像に対応する、ステップと、
    前記受信した放送信号から、３次元映像プロセシング情報をパージングするステップと、
    前記第１映像データ、前記第２映像データ及び前記３次元映像プロセシング情報を用いて、前記第１視点と異なる第２視点に関する第３映像データを生成するステップであって、
    前記第３映像データは、前記第１映像データ及び前記第２映像データの少なくとも１つに含まれるピクセルを前記第３映像データにマッピング（ｍａｐｐｉｎｇ）することによって生成される、ステップと、
    左映像としての前記第１映像データ及び前記第２映像データのうちの１つと、右映像としての前記第３映像データと、から構成される前記第２視点の３次元映像を生成するステップと、
    前記第１映像データ及び前記第２映像データのうちの１つにおけるピクセルと前記第３映像データにおけるピクセルとを比較することによって、前記第２視点の３次元映像において発生するエッジ妨害領域を探知するステップであって、
    前記エッジ妨害領域は、前記第２視点の３次元映像の左側エッジで発生する左側エッジ妨害領域と前記第２視点の３次元映像の右側エッジで発生する右側エッジ妨害領域とを有し、
    前記左側エッジ妨害領域は、前記第１映像データ及び前記第２映像データのうちの１つに存在するが前記第３映像データに存在しないピクセルを有し、前記右側エッジ妨害領域は、前記第３映像データに存在するが前記第１映像データ及び前記第２映像データのうちの１つに存在しないピクセルを有する、ステップと、
    前記左側エッジ妨害領域及び前記右側エッジ妨害領域を抽出するステップと、
    前記第２視点の３次元映像の前記エッジ妨害をハンドリングするステップと、
    前記第２視点の３次元映像をディスプレイするステップと、を含む、多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。
11. 前記３次元映像プロセシング情報は、前記第１視点の３次元映像を撮影したカメラのカメラパラメータ情報を含み、
    前記第３映像データは、前記カメラパラメータ情報を用いて、生成される、請求項１０に記載の多視点３次元映像においてエッジ妨害を処理する多視点３次元映像放送信号受信方法。

Images