JP5894537B2 - ３ｄビデオ・フォーマット検出 - Google Patents

Description

本発明は、ビデオ信号を処理するためのビデオ装置に関し、当該装置は、3Dフォーマットに従ってフォーマットされた三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ[2D]コンテンツを表わすビデオ・データを有するビデオ信号を受信するための受信手段を有し、前記ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、前記3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、可能な3Dフォーマットのセットのうちの１つである。

本発明はさらに、ビデオ信号を処理するための方法に関し、当該方法は、3Dフォーマットに従ってフォーマットされた三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ[2D]コンテンツを表わすビデオ・データを有するビデオ信号を受信し、前記ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、前記3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、可能な3Dフォーマットのセットのうちの１つである。

本発明はさらに、ビデオ信号及びコンピュータプログラムに関する。

本発明は、2Dビデオ・データ信号フォーマットを介して3Dビデオ・データを転送する分野に関する。

二次元(2D)ビデオ・データを生成するための装置が知られている(例えばビデオ・サーバ、放送装置又はオーサリング装置)。現在、三次元(3D)画像データを提供するための3D拡張装置が提案されている。同様に、光学ディスク(例えばブルーレイ・ディスク; BD)のためのプレーヤー又は受信デジタルビデオ信号をレンダリングするセットトップボックスのような、表示3Dビデオ・データを処理するためのビデオ装置が提案されている。ビデオ装置は、テレビ受像機又はモニタのような3D表示装置に接続される。ビデオ・データは、適切なインタフェース(好ましくはHDMIのような高速デジタル・インタフェース)を介して、装置から転送されることができる。3Dディスプレイがビデオ装置に一体化される場合もある（例えば、受信セクションと3Dディスプレイを備えるテレビ（TV））。

文献WO2009/077929は、2Dと3Dとの間の遷移に利用されることができるアプローチを説明する。3Dビデオ信号はビデオ情報及び関連する再生情報を有し、ビデオ情報及び関連する再生情報は再生フォーマットに従って構成される。ビデオ情報は、2D表示のためのプライマリ・ビデオ・ストリーム及び3D表示を可能にするための付加情報ストリームを有することができる。関連する再生情報は、可能な表示のタイプを示す表示情報を有する。表示情報は、2D表示と3D表示の両方が可能であることを決定するために受信機で処理される。再生モードは、ビデオ情報が2Dモードで表示されるべきか又は3Dモードで表示されるべきかを決定するように設定される。

WO2009/077929の問題は、3D再生と2D再生との間の遷移が入力ビデオ信号中の3D通知の利用可能性に基づくことである。しかしながら、3Dフォーマットは、ビデオ信号の既存の配信システム及び/又は記憶媒体と互換性がある2Dフォーマット・ビデオ信号にマップされる場合がある。既存の2D信号フォーマットにおける通知の欠如のために、ユーザは、ビデオ信号を3Dでレンダリングするための適切なモードを手動で選択しなければならない。

より便利な態様で3Dと2Dとの間で移行するシステムを提供することが本発明の目的である。

この目的のために、本発明の第１の態様によれば、冒頭の段落に記載された装置は、ビデオ信号のフォーマットを示す3Dステータス信号を提供するためのプロセッサを有し、前記プロセッサは、それぞれの3Dサブフレームを導き出して比較するためにそれぞれの予め定められたフォーマット特性に従ってビデオ・データを処理することによって、予め定められた順序で、複数の考えられる3Dフォーマットのためのそれぞれのフォーマット・スコアを決定し、それぞれのフォーマット・スコアの評価が予め定められた信頼度を提供する時に、ビデオ信号のフォーマットを示すためにそれぞれのフォーマット・スコアの評価に基づいて前記3Dステータス信号を設定する。

この目的のために、本発明のさらに別の態様では、ビデオ信号を処理する方法は、それぞれの3Dサブフレームを導き出して比較するためにそれぞれの予め定められたフォーマット特性に従ってビデオ・データを処理することによって、予め定められた順序で、複数の考えられる3Dフォーマットのためのそれぞれのフォーマット・スコアを決定することに基づいて、ビデオ信号のフォーマットを示す3Dステータスを提供し、それぞれのフォーマット・スコアの評価が予め定められた信頼度を提供するときに、ビデオ信号のフォーマットを示すためにそれぞれのフォーマット・スコアの評価に基づいて3Dステータスを設定する。

これらの手段は以下の効果を有する。入力に到着したビデオ信号は、3Dステータス信号を決定するためにビデオ装置によって分析され、3Dステータスは、2D状態か、又は、考えられる3Dビデオ・フォーマットのセットのうちの１つのフォーマットを示す3D状態である。ビデオ装置は、3Dビデオ表示を制御するための、すなわち、ビデオ信号を正しくレンダリングするための動作モードを設定するための3Dステータス信号を提供する。分析は、それぞれの3Dフォーマットのためのフォーマット・スコアを決定することに基づき、すなわち、信号がそれぞれの3Dビデオ・フォーマットに従ってビデオ・データを含み、対応する3Dサブフレームが信号から導き出されることを仮定する。例えば、両方の3Dサブフレームが、2Dフレームの中で、サイド・バイ・サイドで配置されているとされる。続いて、3Dサブフレーム(例えば左フレーム及び右フレーム)が信号から導き出されて比較され、すなわち、両方の推定される3Dサブフレームが実際に対応する3Dサブフレームのフォーマット特性を有するかを確認するために分析される。例えば、L及びRフレームに対して相関が計算されて、それは、僅かに異なる観察角から観察されるが、同じコンテンツが両方の3Dサブフレーム中に存在するので、比較的高いはずである。続いて、フォーマット・スコアが評価され、例えば予め定められた閾値と比較される。評価に基づいて、3Dフォーマットのうちの１つが確実に高いスコアを有する場合があり、その場合、3Dステータス信号はビデオ信号のフォーマットを示すためにそれに応じて設定される。3Dフォーマットのいずれも十分に高いスコアを有しない場合、2Dビデオ信号が仮定され、そしてステータスはそれに応じて設定される。有利には、3Dディスプレイ(例えば3Dテレビジョン受信機)の実際のモードは、3Dステータス信号に基づいて自動制御されることができる。

本発明はさらに以下の認識に基づく。消費者が3Dでの表示に慣れるにつれて、既存の配信チャネル(例えば放送ネットワーク又はビデオ記憶媒体)を介してビデオ信号を転送する必要がある。実際、解像度の軽微な劣化は許容できると思われ、コンテンツ提供者は、2Dフレーム中に3Dサブフレームを配置することによって、既存の2Dビデオ信号フォーマットにそれらの3Dコンテンツをパッケージ化する可能性がある。

本発明者らは、本質的にビデオ信号のフォーマットが既存の2Dフォーマットのままである必要があるので3Dフォーマットを通知する制御データを伝達することができないそのような特別にフォーマットされた3D信号を自動的に検出することが便利であると考えた。3Dサブフレームのさまざまな配置が用いられる可能性があるが、依然として、先ずそれぞれの3Dビデオ・フォーマットが用いられたと仮定して、続いてそのフォーマットに対して推定される3Dサブフレームを分析することに基づいて、3Dフォーマットの検出は可能であると思われる。長所として、ビデオ処理パワーの現在の相対的な安さに基づいて、分析は、ユーザがそれぞれ2D又は3Dビデオ・モードへの切り替えにおける遅延にほとんど気がつかないほど十分に短い時間内でリアルタイムに可能である。

実施の形態において、考えられる3Dフォーマットのセットは、3Dサブフレームを生成するための少なくとも１つの空間サブサンプリング・フォーマットを有し、予め定められたフォーマット特性は、ビデオ信号の2Dフレーム中に3Dサブフレームのサブサンプリングされた画素を配置することを有する。空間的サブサンプリングは、１つ以上の空間方向においてピクセルの数(すなわち解像度)を低減する。有利には、3Dサブフレームは、より少ないピクセル数を必要として、(フル解像度の)2Dフレーム中にはめ込まれることができる。さまざまな3Dフォーマットにおける空間的にサブサンプリングされた3Dサブフレームの配置(例えばサイド・バイ・サイド又は上下)が仮定され、そしてそれぞれのフォーマット・スコアが計算される。

実施の形態において、考えられる3Dフォーマットのセットの複数の3Dフォーマットのためのそれぞれのフォーマット・スコアを決定することは、予め定められた順序で行われ、フォーマット・スコアの評価が予め定められた信頼度を提供するときに、3Dステータス信号が設定される。有利には、期待される3Dフォーマットに対する高いスコアが、よりすばやく見つけ出される。

実施の形態において、それぞれのフォーマット・スコアを決定することは、3Dサブフレーム間の相関を計算すること、3Dサブフレーム間の相違の平均を計算すること、深さデータ・サブフレームを検出するためにそれぞれの3Dサブフレームの色特性を計算することの少なくとも１つによって、3Dサブフレーム間の対応関係を計算することを含む。相関又は両方の3Dサブフレーム間のより小さい平均差異を有することが、対応する左及び右3Dサブフレームに対して予想され、一方、3Dサブフレームとしての深さマップに対する色特性は非常に異なる(通常、深さデータは色を含まない)。

実施の形態において、考えられる3Dフォーマットのうちの少なくとも１つは、左/右極性に従って2Dフレーム中に配置される左及び右[L及びR]3Dサブフレームを含み、プロセッサは、フォーマット・スコアを決定するときに、3Dフレームに存在する深さの予め定められた分布に基づいて極性スコアを決定するように用意され、3Dステータスを設定することは、極性スコアの評価に基づいて左/右極性ステータス信号を設定することを含む。3Dフレーム中の深さは、視差値、深さマップ中の実際の深さ値又は3Dサブフレームに基づく適切な推定から導き出されることができる。3Dサブフレームの存在を検出することは、どのサブフレームが左でどのサブフレームが右かを検出することを必要とする場合がある。サブフレームが入れ替えられると、3D画像における深さ情報の強変形が生じる。深さ値又は対応する視差値の予め定められた分布を仮定することによって、極性スコアが決定される。有利には、3Dディスプレイは、正しい左及び右極性ステータスを供給される。

実施の形態において、プロセッサは、3Dサブフレームの垂直エッジにおける垂直ブラック・マットを検出すること、3Dサブフレームの水平エッジにおける水平ブラック・マットを検出することのうちの少なくとも１つによって、それぞれの3Dサブフレームを比較するための検出手段を有する。ブラック・マットの存在に基づいて、それぞれの3Dサブフレームは確実に検出されることができる。

本発明のさらに別の態様では、ビデオ信号は、3Dフォーマットに従ってフォーマットされた三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ[2D]コンテンツを示すビデオ・データを有し、ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、１セットの考えられる3Dフォーマットのうちの１つであり、ビデオ・データは、3Dフォーマットを決定するためのブラック・マットを検出することを可能にするために、（ビデオ・コンテンツ・アスペクト比は垂直の黒いバーを必要としないが）3Dサブフレームの垂直エッジにおける垂直ブラック・マット、（ビデオ・コンテンツ・アスペクト比は水平の黒いバーを必要としないが）3Dサブフレームの水平エッジにおける水平ブラック・マットのうちの少なくとも１つを有する。長所として、ブラック・マットの存在に基づいて、それぞれの3Dサブフレームは、確実に検出されることができる。

本発明による方法、ビデオ装置及び信号の更に好ましい実施の形態は、添付された請求項において与えられ、その開示は参照によって本願明細書に組み込まれる。

本発明のこれらの及び他の態様は、以下の記載及び添付の図面を参照して一例として説明される実施の形態から明らかであり、それらを参照してさらに説明される。

3D画像データを表示するシステム。 2Dビデオ・フレーム。 サイド・バイ・サイド3Dフォーマット。 上下3Dフォーマット。 画像及び深さ3Dフォーマット。 3Dフォーマットの自動検出のためのプロセッサ。 正しい左/右極性に基づく深さマップ。 誤った左/右極性に基づく深さマップ。 水平フィールドにおける深さ分析。 垂直フィールドにおける深さ分析。

図において、すでに説明された要素に対応する要素は同じ参照符号を有する。

本発明は深さ範囲を有する任意のタイプの3Dディスプレイのために用いられることができることが留意されるべきである。3Dディスプレイのためのビデオ・データは、電子的な(通常デジタルの)ビデオ・データとして利用可能であることが仮定される。本発明は、そのような画像データに関し、デジタル領域で画像データを操作する。

3D画像がフォーマットされて転送されることができる、3Dビデオ・フォーマットと呼ばれる多くの異なる態様が存在する。いくつかの3Dフォーマットは、ステレオ情報も伝達するために2Dチャネルを用いることに基づく。この文献は、既存の2D配信と互換性のある2Dフォーマット信号を用いる3Dフォーマットに注目する。

図1は、ビデオ、グラフィクス又は他の視覚的情報のような三次元(3D)画像データを表示するシステムを示す。ソース装置40は、ビデオ信号41をビデオ装置50へ転送する。ソース装置は、記憶システム、3Dカメラなど利用可能なビデオ・データ入力43に基づいてビデオ信号を供給する。ビデオ信号41は、2Dビデオ信号又は3Dビデオ信号であることができる。この文献は、例えば既存の配信チャネルと互換性があるように、既存の2D信号フォーマットに従ってフォーマットされる信号を介して3Dビデオ・コンテンツを転送することに注目する。そのような2Dフォーマットされたビデオ信号において、3Dフォーマットは、3Dビデオ・データの位置及び構造を定める。それゆえに、ビデオ・データは、3Dフォーマットに従ってフォーマットされた三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ[2D]コンテンツを示す。特に、ビデオ信号は2Dフレーム及び2Dフォーマットの制御構造を有し、一方、3Dフォーマットが用いられる場合には、ビデオ・データは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有する。実際、さまざまな異なる3Dフォーマットが用いられ、ビデオ信号は、１セットの考えられる3Dフォーマットのうちの１つの構造を含む。3Dフォーマットのさまざまな例が、図2-5を参照して以下で議論される。

ソース装置は、サーバ、放送装置、記録装置、又は、ブルーレイ・ディスクのような記録担体を製造するためのオーサリング若しくは製造システムであることができる。ブルーレイ・ディスクは、コンテンツ作成者のためのインタラクティブ・プラットホームをサポートする。3D立体視ビデオのための多くのフォーマットが存在する。主要なフォーマットは、ステレオ及び画像プラス深さフォーマットである。さらにまたこれらの中で、新たな及び既存の3D表示及び配信フォーマット用に適するようにコンテンツがフォーマットされることができる多くの考えられる態様が存在する。ブルーレイ・ディスク・フォーマットに関する更なる情報は、視聴覚アプリケーション・フォーマットに関する文書としてブルーレイ・ディスク協会のウェブサイトから利用可能である（http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf）。製造プロセスは、深さメタデータを含む3Dビデオ信号を表すトラック中のマークの物理的パターンを導き出すステップ、続いて、少なくとも１つの記憶レイヤ上にマークのトラックを提供するように記録担体の材料を成形するステップをさらに有する。

実施の形態において、ソース装置は、以下で説明されるように、2Dフォーマットされたビデオ信号を介して送信される3Dビデオ・データの検出を改良するために3Dビデオ入力43のビデオ・データを変更するための処理ユニット42を有する。

ビデオ装置50は、3D表示信号56を転送するために3D表示装置60に接続される。3Dビデオ装置は、ビデオ信号を受信するための入力ユニット51を有する。例えば、装置は、DVD又はブルーレイ・ディスクのような光学記録担体54からビデオ信号を読み出すための入力ユニットに接続される光学ディスク・ユニット58を含むことができる。別の態様では、装置は、ネットワーク45(例えばインターネット又は放送ネットワーク)に結合するためのネットワーク・インタフェース装置59を含むことができ、そのようなビデオ装置は、通常、セットトップボックスと呼ばれる。

ビデオ装置は、衛星受信機、メディア・プレーヤー、パーソナル・コンピュータ、モバイル装置などであることもできる。ビデオ装置は、ビデオ信号を処理するために入力ユニット51に接続されるプロセッサ52を有する。プロセッサは、ビデオ信号のフォーマットを示す3Dステータス信号57を提供する。3Dステータスは、2Dステータスか又は１セットの考えられる3Dビデオ・フォーマットのうちの１つの3Dフォーマットを示す3Dステータスである。プロセッサは、それぞれの予め定められたフォーマット特性に従ってビデオ・データを処理することによって考えられる3Dフォーマットのうちの少なくとも１つのためのそれぞれのフォーマット・スコアを決定するように用意される。ビデオ信号は、それぞれの3Dフォーマットのためのフォーマット・スコアを計算するために分析され、すなわち、信号はそれぞれの3Dビデオ・フォーマットに従ってビデオ・データを含み、対応する3Dサブフレームが信号から導き出されると仮定する。それに対して、プロセッサは、それぞれの3Dサブフレームを導き出して、ビデオ信号のフォーマットを示すために、フォーマット・スコアの評価に基づいて3Dステータス信号を設定する。ビデオ装置は、3Dビデオ表示を制御するための、すなわち、ビデオ信号を正しくレンダリングするために動作モードを設定するための3Dステータス信号を提供する。プロセッサ52の例示の実施例が図6を参照して説明される。

実施の形態において、ビデオ装置は、3Dサブフレームの境界において3Dフォーマット信号特性を検出する検出器53を有する。例えば、検出器は、3Dサブフレームの垂直エッジの垂直ブラック・マット又は3Dサブフレームの水平エッジの水平ブラック・マットを検出することができる。2Dフレーム及び有効ビデオ領域のアスペクト比の不整合に起因して、比較的広い黒いバーがビデオ・データ中に存在する可能性がある（例えば、16:9のビデオ・フレーム中に2.35:1のアスペクト比を有する映画）。そのような広い黒いバーは、例えば以下で説明されるような上下3Dフォーマットにおいて、容易に検出されることができる。このように、アスペクト比を検出するために広い黒いバーを検出することは、例えばUS5,686,970から知られている。

検出器は、3Dステータス信号を生成するためにプロセッサ52に接続されて、プロセッサ52に物理的に集積されることができる。

実施の形態において、ビデオ信号は、3Dフォーマットに従ってフォーマットされる3Dコンテンツ又は2Dフォーマットに従ってフォーマットされる2Dコンテンツを示すビデオ・データを含み、ビデオ信号は2Dフレーム及び2Dフォーマットの制御構造を有し、3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、１セットの考えられる3Dフォーマットのうちの１つであり、ビデオ・データは、（ビデオ・コンテンツ・アスペクト比は垂直の黒いバーを必要としないが）3Dサブフレームの垂直エッジの垂直ブラック・マット、（ビデオ・コンテンツ・アスペクト比は水平の黒いバーを必要としないが）3Dサブフレームの水平エッジにおける水平ブラック・マットのうちの１つを有する。ブラック・マットは、任意のアスペクト比の不整合を修正するためではなく、3Dフォーマットを決定するためにブラック・マットを検出することを可能にするためにビデオ・データに追加されることに留意する必要がある。ここで、ブラック・マットは、ビデオ領域中の更なるピクセルのうちの１つの小さいブラック・バーである。なお、マットは、通常は表示されずにオーバースキャンエリアと呼ばれるビデオ・フレームの境界領域内に含まれるほど十分小さくてもよい。ブラック・マットは、ビデオ領域の上及び下のエッジ又は左及び右のエッジに適用されてもよい。あるいは、ブラック・マットは、一方のサイド・エッジのみに適用されてもよい（例えば、2Dフォーマットされたビデオ信号の2Dフレーム中に配置されるときに両方の3Dサブフレームが隣接するエッジ）。

実施の形態において、検出器53は、上記で定められるビデオ信号中に意図的に追加された、3Dサブフレームの垂直エッジの垂直ブラック・マット又は3Dサブフレームの水平エッジの水平ブラック・マットを検出するように用意される。比較的より小さいバーが、2Dフォーマットされたビデオ信号で転送される3Dビデオ・データの自動的な検出を改良するために、3Dサブフレームのビデオ・データ中に含まれた。検出器は、符号化側でそれぞれの3Dフォーマットによって規定される任意の前処理(例えばサブサンプリング)を考慮しつつ、ビデオ・データから、それぞれの3Dビデオ・フォーマットによればブラック・マットを含むと仮定される3Dサブフレームの特定のエッジ領域を導き出す。

実施の形態において、ブラック・マットの黒レベルは、左及び右の3Dサブフレームに対して異なる値(例えば0及び4)を有することができる。ディスプレイ上で見ると、両方の値は実質的に黒である。この特性は、極性検出をさらに援助するために用いられることができる。

実施の形態において、プロセッサは、出力インタフェース・ユニット55を介して表示装置に転送される表示信号56を生成するように用意される（例えば、HDMI規格に従う表示信号。http://hdmi.org/manufacturer/specification.aspxにおいて入手可能な"High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006"を参照）。プロセッサ52は、表示装置60上の表示のための表示信号56中に含まれる画像データを生成するために配置される。表示信号は、既存の2D信号フォーマットに従ってフォーマットされることができ、3Dステータス信号は、3Dビデオ表示を制御するために、すなわち、ビデオ信号を正しくレンダリングするための動作モードを設定するために、別途、例えば、別個のインタフェースを介して、3D表示装置に提供されることができる。

実施の形態において、3Dステータス信号は、3D表示信号56中に、例えば制御信号又は制御データフレーム中に、組み込まれることができる。出力インタフェース・ユニット(55)は、3D表示信号を送信するための送信手段を構成し、3D表示信号は、3Dビデオ・コンテンツ及び3Dステータス信号を示す制御データを含む。実際的な実施の形態において、表示信号は、HDMI 1.4規格に従う3Dシグナリングによって提供される。

3D表示装置60は、3D画像データを表示するための装置である。装置は、ビデオ装置50から転送される3Dビデオ・データを含む場合がある表示信号56を受信するための入力インタフェース・ユニット61を有する。転送されたビデオ・データは、3Dディスプレイ63(例えばデュアル又はレンチキュラLCD)で表示するために処理ユニット62において処理される。表示装置60は、3Dディスプレイとも呼ばれる任意のタイプの立体ディスプレイであることができ、矢印64によって示される表示深さ範囲を有する。

3D表示装置60の実施の形態において、ビデオ信号の処理及び3D及び2Dフォーマットの検出は、表示装置のプロセッサ62において実行される。ビデオ・データは、表示信号56を介して転送される。フォーマット検出は、表示装置においてローカルに実行される。処理ユニット62は、ここで、3Dディスプレイに直接接続される2D又は3Dモードにおける表示信号を生成するための3Dステータス信号を提供する機能を実行する。処理手段62は、ビデオ装置のプロセッサ52及び/又は検出器53に対して説明された機能に対応する機能のために用意されることができる。

実施の形態において、ビデオ装置50及び表示装置60は１つの装置に一体化され、処理手段の１つのセットが前記2D/3Dフォーマット検出機能を実行する。3Dステータス信号57は、内蔵型3Dビデオディスプレイを直接制御するために、内部的に提供される。

図1はさらに、3Dフォーマットを伝達するビデオ信号のキャリアとしての記録担体54を示す。記録担体は、ディスク形状で、トラック及び中央ホールを有する。トラックは、物理的に検出可能なマークの系列によって構成されて、情報レイヤ上の実質的に平行の軌道を構成するターンの螺旋又は同心のパターンによって配置される。記録担体は、光学的に読み取り可能であることができ、光学ディスクと呼ばれ、例えば、CD、DVD又はBD（ブルーレイ・ディスク）である。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に示される。トラック構造は同様に、通常は情報ブロックと呼ばれる情報のユニットの位置を示すための位置情報(例えばヘッダ及びアドレス)を含む。記録担体54は、例えば、DVD又はBDフォーマットのような事前に決められた記録フォーマットで、MPEG2又はMPEG4符号化システムに従って符号化された、ビデオのようにデジタル的に符号化された画像データを示す情報を伝達する。

さまざまな実施の形態において、ビデオ装置のプロセッサ52及び検出器53は、以下で詳細に説明される以下の機能を実行するように用意される。

実施の形態において、方法はビデオ信号を提供し、当該ビデオ信号は、3Dフォーマットに従ってフォーマットされた三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ[2D]コンテンツを示すビデオ・データを有し、ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、１セットの考えられる3Dフォーマットのうちの１つであり、ビデオ・データは、3Dフォーマットを決定するためのブラック・マットを検出することを可能にするために、
-（ビデオ・コンテンツ・アスペクト比は垂直な黒いバーを必要としないが）3Dサブフレームの垂直エッジにおける垂直ブラック・マット、
-（ビデオ・コンテンツ・アスペクト比は水平な黒いバーを必要としないが）3Dサブフレームの水平エッジにおける水平ブラック・マット、
のうちの少なくとも１つを有する。

他の実施例において、当該方法は、記録担体を製造するステップを含み、記録担体はビデオ信号を示すマークのトラックを備える。

製品として、記録担体54は、上記の製造方法によって上記のビデオ信号を含むマークのトラックを備える。

図2は、2Dビデオ・フレームを示す。図は、破線21によって示される2Dビデオ・フレーム中の2Dビデオ・コンテンツの例を示す。3D形式である同じビデオ・コンテンツが、図3-5において、3Dフォーマットの例として用いられる。2Dフレームは、さまざまな既知の2Dフォーマットのうちの１つに従って2Dビデオ信号に符号化されることに留意されるべきである。符号化は、従来技術において周知であるMPEG2又はMPEG4による圧縮を含むことができる。

図3は、サイド・バイ・サイド3Dフォーマットを示し、以下ではSBSとして示される。図は、2Dビデオ・フレーム21においてサイド・バイ・サイドで配置される左フレームL31及び右フレームR32によって構成される3Dビデオ・コンテンツの例を示す。

図4は上下3Dフォーマットを示し、以下ではTBとして示される。図は、2Dフレーム21の上半分に位置する左フレームL33及び2Dフレーム21の下半分に位置して配置される右フレームR34によって構成される3Dビデオ・コンテンツの例を示す。

異なる3Dフォーマットは、2D画像、及び、2D画像中のオブジェクトの深さに関する情報を伝達する付加的な深さ画像D(いわゆる深さマップ)を用いる２つのビューに基づく。このフォーマットは、画像+深さ（2D+D）と呼ばれ、2D画像といわゆる「深さ」又は視差マップとの組み合わせである点において異なる。これは、グレースケール画像であり、それによって、ピクセルのグレースケール値は、関連する2D画像中の対応するピクセルの視差(又は、深さマップの場合には深さ)の量を示す。表示装置は、入力として2D画像を利用して付加的なビューを計算するために、視差、深さ又は像差マップを用いる。これは、様々な態様で実行されることができ、最も単純な形式では、それらのピクセルに関連付けられた視差値に依存してピクセルを左又は右にシフトすることである。なお、2D+Dフォーマットでは、遮蔽及び/又は透明度のような更なる深さ情報が含まれることができる。Christoph Fehnによる"Depth image based rendering, compression and transmission for a new approach on 3D TV"との題名の論文は、この技術の優れた概要を与える（http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照）。

図5は、画像及び深さの3Dフォーマットを示し、以降では2D+Dとして示される。図は、2Dビデオ・フレーム21中にサイド・バイ・サイドで配置される2Dフレーム35及び深さフレームD 36によって構成される3Dビデオ・コンテンツの例を示す。2D及び深さフレームは、図4と同様に上/下構成で配置されることもできる。2Dフォーマットされたビデオ信号中に配置される更なる3Dフォーマットが後で議論される。

以下のセクションにおいて、3Dフォーマット(例えばSBS、TB又は2D+D)に従う3Dビデオ・コンテンツを含む2Dフォーマットされたビデオ信号を取り扱うことが議論される。下記のリストは、立体視ビデオのためのいくつかの更なるサブサンプリング方法及び3Dフォーマットを示す。
- ライン・インターリーブ(LI)
- カラム・インターリーブ(CI)
- チェッカーボード(CB)（５弁配列とも呼ばれる）
- チェッカーボード・サイド・バイ・サイド(CBS)（チェッカーボードのようであるが、良好な圧縮のためにSBSのようにL及びRサンプルを格納する）
CBの例がUS2005/0117637において説明される。

特定の3Dフォーマットが用いられたと仮定し、モーション/視差補償、相関、平均絶対偏差(MAD)の計算などのような技術を利用することで可能性を比較することによって、実際の3Dモードが自動的に検出される。異なるサンプリング方法に対して、下記のシステムは、フォーマットを検出するための対応する方法を用いる。この方法の第１のステップは、それぞれの3Dフォーマットの配置及び/又はインタリーブに従って2Dフォーマット信号から3Dサブフレームを導き出すことである。例えば、LI配置に対して、この方法は、それぞれのラインに基づいてL及びRを再構成する。続いて、推定される3Dサブフレームが、その特性が予想通りであるかを決定するために、分析される。予想通りである場合、3Dステータス信号は、それぞれの3Dフォーマットを示すように設定される。

図6は、3Dフォーマットの自動検出のためのプロセッサを示す。図は、２つの考えられる3Dフォーマットを分析するための並列配置を有するプロセッサ52についての例示の実施例を示す。図の上部において、ビデオ入力信号600は、第１の3Dフォーマットに従って入力信号中の2Dフレームを２つの(又は更に多くの)3Dサブフレームに分割するための3Dサブフレーム分割ユニットSPH601に接続される。この例では、ユニットSPHは、3Dサブフレームのサイド・バイ・サイド(SBS)配置に従って水平方向にフレームを分割するための機能を有する。メモリユニットL 602は左の3Dサブフレームのピクセルを記憶し、メモリユニットR 603は右の3Dサブフレームのピクセルを記憶する。L及びRユニット602, 603は、入力ピクセルを単に記憶するか、又は、用いられたと仮定されるそれぞれの3Dフォーマットに従ってフル解像度にビデオ・データをアップサンプリングすることができる。符号器側のビデオ・データが、例えば水平方向、垂直方向又は５弁配列方向に、それぞれの3Dフォーマットに従ってダウンサンプリングされ、それがここで補償されるので、アップサンプリングに基づくフル解像度によってより良好な結果が期待される。

続いて、3Dサブフレームは、3Dサブフレーム間の対応関係を計算するための比較セクションに接続される。実施の形態において、3Dサブフレーム間の平均絶対偏差の計算を実行する対応関係計算ユニットMAD605が提供される。２つの部分における対応するピクセルの各々の(又はサブセットの)平均絶対偏差が計算される。この代りに又は追加的に、3Dサブフレーム間の他の対応関係が評価されることができ、例えば、平均二乗差(MSD)を計算し、3Dサブフレーム間の相関を計算し、又は、図5に示されるような2D+Dフォーマットの深さデータ・サブフレームを検出するためにそれぞれの3Dサブフレームの色特性を計算する。対応関係計算の出力は、例えば正規化することによって、SBS 3Dフォーマットに対するフォーマット・スコア610に、スコアリング・ユニットCMP607において変換される。

それぞれの3Dフォーマットのためのフォーマット・スコアは、もしあれば、使用された実際の3Dフォーマットを決定するために評価される。フォーマット・スコアは、互いに及び/又はそれぞれの閾値に対して比較されることができる。フォーマット・スコアは、実際の3Dサブフレームがそれぞれの3Dフォーマットに従って存在する確率を示す信頼度を表現することができる。フォーマット・スコアは、繰り返し、例えば毎秒、決定されることができ、複数の測定値及びそれぞれの信頼度は、重みつき評価プロセスで評価されることができる。このプロセスは、予め設定された信頼度が達成された場合及び/又は予め定められたインターバルの後、終了することができる。プロセスは、信頼度によって評価される多数決を含むことができ、例えば、特定の3Dフォーマットのための以降の仮定間のより小さい相違を有する高いMAD値は、そのフォーマットのための低い信頼性を与える。3Dフォーマットのいずれも十分な信頼度を有しない場合、2D信号(モノラル・ビデオ)が仮定される。

図6に図示された実際的な実施例において、MAD値は低い必要があり、スコアが十分に信頼できる場合に、第１の3Dフォーマットのためのフォーマット・スコアの値H1によって示される第１の3Dフォーマットが入力に存在することを決定するために、ユニットCMPにおいてある閾値TH1を下回るかが検証される。

左及び右画像は異なる視点から撮られるので、可能な限りこの影響を除去ことが望ましく、それは、例えば、視差推定（Disparity Estimation：DE)を介して、及び、「モーション/ビュー」補償(MC)をRビューに適用してL'をもたらすことによって、実行されることができる。なお、ここで動き推定の技術が、すなわち２つのフレーム間の時間的差異の代わりに空間差異を検出するために、L及びRサブフレームに用いられることができる。動き推定は周知であり、既知のアルゴリズムが視差推定のために同様に適用されることができる。視差推定及びビュー補償のための他の技術が、L'を決定するために同様に用いられることができる。比較セクションは、そこへ、メモリユニットL及びRが実際に左及び右サブフレームを含むとの仮定に基づいてサブフレーム間の差異を低減するための3Dサブフレーム・プロセッサDE/MC 604を備えることができる。それに対して、プロセッサDE/MCは、L' = MC(R)によって示されるRの補償されたバージョンに対応する補償されたフレームL'を生成するために、Rのコンテンツに適切な視差推定及び/又は動き補償アルゴリズムを適用する。続いて、フレームLは、対応関係計算ユニットMADによって、フレームL'と比較される。

図6に示されるプロセッサは、第２の3Dフォーマットのための第２フォーマット・スコアを同時に提供するための並列配置における第２セクションを有する。図の下部セクションにおいて、ビデオ入力信号600は、3Dサブフレーム・ユニットSPV611に接続される。ユニットSPVは、3Dサブフレームの上下(TB)配置に従って入力信号中の2Dフレームを垂直に分割する機能を有する。メモリユニットT 612はフレームの上部セクション(例えば左3Dサブフレーム)のピクセルを記憶し、メモリユニットR 613は右3Dサブフレームに対応する下部セクションのピクセルを記憶する。続いて、3Dサブフレームは、3Dサブフレーム間の対応関係を計算するための比較セクションに接続される。上述のユニット605に相当する更なる対応関係計算ユニットMAD 615が提供される。対応関係計算の出力は、TB 3Dフォーマットのためのフォーマット・スコア620に、上述のユニット607に相当する更なるスコアリング・ユニットCMP617において変換される。オプションとして、フォーマット・スコアは、スコアが信頼できる場合に、第２の3Dフォーマットのためのフォーマット・スコアの値V1によって示される第２の3Dフォーマットが入力に存在することを直ちに決定するために、ユニットCMPにおいて閾値TH2と直接比較されることができる。

比較セクションは、サブフレーム間の差異を低減するための、上述のユニット604に相当する3Dサブフレーム・プロセッサDE/MC614、及び/又は、極性スコアを決定して第２出力左/右極性ステータス信号LR/RLを生成するための、以下で説明されるユニット606に相当する極性ユニットPOL 616を備える。

プロセッサの機能は、受信入力フォーマットが図の上の分岐においてSBSであること、又は、受信入力フォーマットが図の下の分岐においてTBであるとの仮定に対する検証である。両方の仮定が誤っている(実施の形態では、H1及びV1の両方がfalseである)場合、入力信号は明らかに標準的な2D信号である。

２つの並列のセクションを有する図6の実施の形態に関して、更なる3Dフォーマットを分析する更なる並列のセクション、又は、同じユニットが異なる3Dフォーマットに従ってそれぞれの3Dフォーマットのためのフォーマット・スコアを順次提供するようにプログラムされるシーケンシャル配置のような、他の配置が容易に導き出されることができることが留意されるべきである。

複数の3Dフォーマットのシーケンシャル検証を伴う実施の形態において、考えられる3Dフォーマットのセットの複数の3Dフォーマットのためのそれぞれのフォーマット・スコアを決定することは、予め定められた順序で行われ、フォーマット・スコアの評価が予め定められた信頼度を提供するときに、3Dステータス信号が設定される。それゆえ、順次検証される3Dフォーマットのうちの１つが信頼性の高いフォーマット・スコアを得たときに、3Dステータス信号が設定される。予め定められた順序は、検出速度を改善するために用いられることができ、例えば、次第に減少する発生可能性、ユーザによる設定及び/又は3Dコンテンツの提供者による設定に基づくことができる。例えば、コンテンツ提供者は、3Dフォーマットの実際の発生に基づいて、セットトップボックス中の予め定められた順序を設定するかもしれない。

実施の形態において、ユーザは、3Dフォーマット・スコアの順序に基づいて3Dステータス信号を修正するためのオプションを提供されることができる。最初に、システムは最も可能性があるフォーマットを決定するが、結果が正しくない場合、ユーザはリモートコントローラのボタンによってフォーマット・スコアに基づいて次に可能性がある候補へと循環することができる。

実際的な実施の形態において、3Dサブフレーム・プロセッサDE/MC 604は、以下のように、比較を改善するためにそれぞれの3Dサブフレームを前処理するように用意されることができる。
- 3Dサブフレーム間の視差推定を計算し、更なる比較の前に視差推定に基づいて3Dサブフレームのうちの少なくとも１つを補償すること、及び/又は
- 3Dサブフレームの相関と比較するために2Dフレームの自己相関を計算すること。相関はユニットMADによって決定され、自己相関の出力は、上述の閾値TH1を設定するために用いられることができる。

なお、実際には、最初にL及びRのコンテンツにサブサンプリングが適用されることができ(すなわち水平又は垂直又はhor/verデシメーション)、それは、ユニットDE/MC及びMADのような更なるユニットの計算複雑度を低減する。

実施の形態において、サブサンプリングの特定のタイプも検出されることができる。例えば、SBSチェッカーボード・フォーマットは、通常のSBS方法とは異なるサブサンプリングを有する。SBSとSCBとの区別はスペクトル分析に基づくことができ、SCBスペクトラムは、より十字/ダイヤモンド形状であり(垂直と水平との間で対称)、SBSは、垂直リッジ形状である(水平の高い周波数が垂直の高い周波数より抑制される)。

実際には、複数の3Dフォーマットが以下の異なるプロセスにおいて検出されることができる。(例えばMAD又は他の技術に基づいて)2Dフレーム全体のための自己相関が計算され、更なる相関が、
a. (CIフォーマットに対して)右に１及び２ピクセル
b. (LIフォーマットに対して)下に１及び２ピクセル
c. (SBSフォーマットに対して)右にピクセル半フレーム
d. (TBフォーマットに対して)下にピクセル半フレーム
のような、いくつかの精選されたオフセットに基づいてフォーマット・スコアを決定するために、続いて計算される。第２に、フォーマット・スコア値は、どのフォーマット(2D,TB,LI,CI,CB)が最も可能性があるかを決定するために比較される。第３に、2D+Dは、例えば画像の左/右半分又は上/下半分におけるU/Vの定常性を決定することによって別途検出される。なお、2D+Dは、半分の全てのピクセルに対して、全てのピクセルのUV値が一定の値(通常0(128))であるので、容易に検出されることができる。両方の半分に対して上記の場合、それは明らかに白黒のビデオ・ソースである。

他の実施形態の場合には、処理をスピードアップするために、例えばSBSの左及び右部分を用いて、第１カラムのピクセルのみのMAD又はMSDが推定される3Dサブフレームの中で計算される。それらが高い相関を示す場合、3Dフォーマットが正しい可能性がある。更なるカラムが、信頼性を改善するために含まれることができる。さらに高速なアプローチは、画像の左及び右部分の第１カラムのピクセルのみの平均的な色を比較することである。SBSが検出されない場合、システムは、異なる部分に信号を分割することによって継続し、TBに対して、分割は水平方向に実行されて、そして再び同じアルゴリズムが用いられ、LIに対して奇数及び偶数のラインの第１ピクセル、CLに対してカラムなどである。これらのいずれも肯定的な一致にならない場合、システムは2Dに復帰する。

さまざまな考えられる3Dフォーマットは左/右極性に従って2Dフレーム中に配置される左及び右[L及びR]3Dサブフレームを有することが留意されるべきである。左/右極性は、同様に、深さマップを得るために、例えば視差推定を用いることにより、平均的なビデオ・コンテンツにおける深さの予め定められた分布を仮定することに基づいて、それぞれの3Dフォーマットのために自動的に検出されることができる。極性の仮定に基づいて、この深さマップを分析することによって、仮定された極性が正しいかどうかが確認されることができる。仮定された極性が正しい場合、スクリーンの下の部分の深さは視聴者に近いオブジェクトを示すはずであり、そして上の部分の深さは視聴者から最も遠いオブジェクトを示すはずである。極性検出は、3Dフォーマットの自動検出と独立に適用されることもできることに留意する必要がある。例えば、3Dビデオ・コンテンツが3D配信システムを介して受信され、そして3Dフォーマットが対応する制御信号を有する場合、極性検出は、例えば、3Dサブフレームの記憶、処理又は転送の際にいかなるエラーも生じなかったことを確認するために、極性を決定する又は確認するために適用されることができる。

図7aは、正しい左/右極性に基づく深さマップを示す。図において、深さマップは、大きい深さを示す暗いピクセル、及び、視聴者の近くのオブジェクトを示す明るい値で示される。深さマップは、視差推定及び視差を深さ値に変換することにより生成されることができる。実際には、極性検証のために、深さマップは、非常にサブサンプリングされた/デシメーション入力フレームに基づいて生成されることができる。

図7bは、誤った左/右極性に基づく深さマップを示す。視差推定が、深さマップを得るために適用されることができる。深さマップを分析することによって、仮定された極性が正しいかどうかが確認されることができる。仮定された極性が正しい場合、（図7aの場合のように）スクリーンの下の部分の深さ値は視聴者の近くのオブジェクトを示すはずであり、上の部分の深さ値は視聴者から最も遠くのオブジェクトを示すはずである。仮定された極性が誤っている場合、（図7bのように）スクリーンの下の部分の深さ値は視聴者から遠いオブジェクトを示すはずであり、上の部分の深さ値は視聴者により近いオブジェクトを示すはずである。

実施の形態において、プロセッサ部は、3Dフレームに存在する深さの予め定められた分布に基づいて極性スコアを決定するための極性ユニットPOL606を備える。出力される左/右極性ステータス信号LR/RLは、極性スコアの評価に基づいて、例えば3Dフレームの上半分における平均的な深さと3Dフレームの下半分における平均的な深さの最小差異に基づいて、3Dステータスを設定するために生成される。3Dフレームにおける深さ値は、2D+Dフォーマットにおいて直接利用可能であるか、又は、L及びRの3Dサブフレームの視差に基づいて、3Dサブフレーム・プロセッサDE/MC 604によって導き出されることができる。

実際的な実施の形態において、極性スコアの決定は、3Dサブフレームの考えられる極性配置のうちの少なくとも１つに対して、3Dフレーム中の深さがフレーム中の垂直高さとともに増加するかどうかを決定すること、又は、3Dサブフレームの垂直エッジの深さがスクリーン後方の深さ（例えばオブジェクト又は背景）を示すかどうかを決定することに基づく。同様に、極性スコアを決定することは、3Dフレーム中の視差値がフレーム中の垂直高さとともに又はエッジにおいてどのように変化するかを決定することに基づくことができる。

実際には、通常の3Dビデオ・コンテンツにおいて、スクリーン外効果（out of screen effect）は比較的まれであり、画像の小さい部分に集中する。よって、全体の平均的な深さは、極性に対するインジケータとして計算されることができる。左右の3Dサブフレーム間のシフトに起因して、スクリーン・レベルを超えた深さが特定の水平方向における視差値を意味することが留意されるべきである。実際的な実施の形態において、実際の深さの代わりに視差が用いられることができる。さらに、視差は動きと同様に評価されることができ、すなわち、周知の動き推定アルゴリズムを用いて左と右の画像間の動きベクトルを計算する。予想される深さ/視差分布のために、そのような「動き」ベクトルは、好ましい水平運動方向を有する。極性ステータス信号は、前記方向から導き出される。

更なる実施の形態において、極性ユニットは、MPEG2のような圧縮アルゴリズムを適用することによって、L及びRサブフレームを評価し、どのグループ（ブロック）のピクセルが、前方向予測（P）若しくは両方向予測（B）を用いて符号化されることができるか（動きベクトルを有することに対応）、又は、（I）符号化されることができるか（動きベクトルを有しないことに対応）を決定する。実際には、3Dサブフレームの特定のエッジにおいて、I符号化されたピクセルの数は平均から逸脱する場合がある。そして、その逸脱は極性を示すために用いられることができる。通常、より多くのIピクセルがLフレームの左側（Rフレーム上で切り取られる部分）、及び、Rフレームの右側にあるべきである。それゆえに、3DサブフレームのエッジにおけるI符号化されたピクセルの数は、左/右極性を決定するために用いられる。3DフォーマットがIピクセルに基づいて検出されることもできることが留意されるべきである。Iピクセルが2Dフレームの中央の縦軸上に現れる傾向ある場合、これはSBS 3D信号の有力な徴候である。Iピクセルが2Dフレームの中央の水平軸上に現れる傾向ある場合、これはTB 3D信号の有力な徴候である。

図8は、水平フィールドにおける深さ分析を示す。図は、仮定された左/右極性に基づく深さマップを示し、その正しさが検証される。深さマップは、水平ビンとも呼ばれる複数の水平フィールド81,82,89に細分される。深さマップを水平ビンに分割することによって、各々のビンにおける平均的な深さ値が計算されることができる。下の部分が上の部分より暗いかどうかを決定し、そして極性を決定するために、回帰分析がビンの平均値に適用される。

図9は、垂直フィールドにおける深さ分析を示す。図は、仮定された左/右極性に基づく深さマップを示し、その正しさが検証される。深さマップは、垂直ビンとも呼ばれる複数の垂直フィールド91,92に細分される。深さマップを垂直ビンに分割することによって、各々のビンに、回帰分析が適用されることができ、各々のビンに対して、下の部分が上の部分より暗いかどうかを決定する。大部分のビンが正しい極性仮定と一致する場合、極性が正しいと問題無く仮定されることができる、さもなければ、極性は反転する。それらが大体等しい場合、LR分析の結果は不確かであり、更なるビデオ入力が分析される必要がある。

深さマップを必要としない極性を決定する他の選択肢は、台形検出又はエッジ検出である。

台形の検出は以下のステップを伴う。
- 第１フレームがLであり、第２フレームがRであると仮定する
- L+Rフレームから深さ又は視差推定を実行する
- 下から移動すると視差/深さが増加する場合、仮定は正しく、さもなければL,Rを反転させる
- 変形例として、(暫定的な)L及びRフレームの上部にサーチ領域を制限し、視差/深さが正であるかをチェックする

エッジ検出は、以下のステップを伴う。
- 第１フレームがLであり、第２フレームがRであると仮定する。
- Lフレームのスクリーンの右側のエッジの隣の領域をRフレームの右側のエッジと照合することを試みる（Pベクトル決定）
- 良好な一致が存在しない場合、仮定は正しく、さもなければL及びRを反転させる
- この手順は、L及びRを反転させて、フレームの左エッジで繰り返されることができる
このアイデアは、エッジにおいて、コンテンツはスクリーンの背後にあり（又は、少なくとも、その隣にフローティング・ウィンドが存在する）、したがって、右スクリーン・エッジの近くのオブジェクトの右眼部分は隠され、そして、その左眼部分は一致することができないことである。スクリーンの左のエッジの近くのオブジェクトの左眼部分も同様である。

実施の形態において、フォーマット及び/又は極性検出の信頼性を改善するために、シーン・カット検出が適用される。そのために、プロセッサ52は、シーン変化を検出するように用意される。3Dフォーマット検出は、複数のシーンに対して複数回実行され、ステータス信号は、最終的に、少なくとも２つの異なるシーンにおけるフォーマット検出に基づいて設定される。それゆえに、それぞれのフォーマット・スコアを決定することは、ビデオ・コンテンツにおけるシーン変化を検出し、少なくとも２つのシーンのためのフォーマット・スコアを計算すること伴う。実際には、３つのシーンが用いられることができ、例えば、シーン・カットによってマークされる３つの連続するビデオ部分のための３つの後続のシーン決定を計算する場合、少なくとも２つのフォーマット決定は整合している必要があり、そして多くとも１つは不確かである可能性がある。

2D拡張装置は、以下の通りに定められることができる。ビデオ信号を処理するためのビデオ装置であって、当該装置は、3Dフォーマットに従ってフォーマットされる三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされる二次元ビデオ[2D]コンテンツを表するビデオ・データを含むビデオ信号を受信するための受信手段を有し、3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、2Dフォーマットは2Dフレームを有し、当該装置は、前記3Dコンテンツの存在を検出し、そして、少なくとも１つの3Dサブフレームを読み出して当該サブフレームを2Dフォーマットに従って2Dフレームに拡張することによって3Dコンテンツを2Dビデオ出力信号に変換するためのプロセッサを有する。2D拡張装置は、入力上の3Dコンテンツを検出して、必要な出力モードに基づいて2D又は3Dビデオ信号を出力する。有利には、2D視聴者にビデオ・コンテンツの2Dバージョンも提供するために、１つの3D伝送信号が用いられることができる。さらに、既存の配信システムと互換性があるように、3Dコンテンツは、上記で説明されるように、2D信号フォーマットで転送されることができる。2D拡張機能によって、2D視聴者は、2Dビデオ信号を依然として提供されることができる。

実施の形態において、2D拡張装置は図1に示されるようなビデオ装置であり、以下のように用意される2D拡張機能を有する。プロセッサ52は、入力ユニット51に到着するビデオ入力信号中の3Dフォーマットに従う3Dビデオ・コンテンツの存在を検出するように用意される。さらに、装置は、入力の3Dビデオ・コンテンツを2D出力信号に変換することによって2D出力信号を提供するように用意される。それに対して、3D入力信号の一部、例えば左フレームは、元の3Dコンテンツを同時に除去しつつ、2D出力信号中の2Dフレームに拡張される。同様に、3D制御データ(もしあれば)が信号から除去されて、2D制御データによって置き換えられることができる。

2D出力信号は、3Dビデオ装置60の代わりに接続される2Dビデオ装置に接続されることができるか、又は、3Dビデオを表示することを意図的に回避するためにユーザによって選択されることができる。2D拡張装置は、出力信号をユーザの要求に適合させるために、例えば、ユーザが接続することを意図する又は接続した機器と適合させるために、2D出力モード又は3D出力モードをユーザが選択することを可能にすることができる。あるいは又は追加的に、2D拡張装置は、例えば上述のHDMIに従って、出力ユニット55に接続されるビデオ装置と制御データを交換するように用意されることができる。制御データは接続されている表示装置の3D能力を示すことができ、ビデオ装置は前記表示能力に従い2D又は3D出力モードを自動的に選択することができる。

必要とされる場合、プロセッサ52は、入力の3Dビデオ・コンテンツを2D出力信号に変換するように用意される。変換は、入力の3Dビデオ・コンテンツの存在及び設定された2D出力モードに基づいて活性化される。プロセッサは、最初に、入力信号の3Dフォーマットを決定する。3Dフォーマットは、上述のようにビデオ・データから自動的に検出されることができるか、又は、入力信号に設けられる制御信号から導き出されることができることに留意する必要がある。

2D拡張装置の実施の形態において、コンテンツ提供者は、変換されなければならない3Dコンテンツの存在及び/又はビデオ信号の特定の3Dフォーマット(例えば図3に示されるサイド・バイ・サイド3Dフォーマット)を示すために、2D拡張装置への3Dビデオ信号中に専用の制御信号を含むことができる。このため、SBS又はTB通知がビデオ・ストリーム中に含まれることができる。続いて、プロセッサは、3Dサブフレーム(例えばSBSに従う入力ビデオ信号中のフレームの左部分からの左3Dサブフレーム)を読み出す。3Dサブフレームは、2D出力フレームと比べて減少したサイズを有する場合があり、したがって、3Dサブフレームのビデオ・データは、2Dフレームのサイズに拡張されて出力信号に挿入される必要がある。SBSでは、水平サイズが拡張される必要がある一方、垂直サイズ(ラインの数)は同じままでよい。したがって、変換は、例えば失われたピクセルの補間又は任意の適切な形態のアップサンプリングによって、必要な解像度を有する新たな2D出力フレームを生成することを伴う。

2D拡張装置の実施の形態において、いかなる3D出力モードも提供されず、入力で検出される任意の3Dビデオ・コンテンツに変換が適用される。実際に、そのような装置は、ケーブル又は衛星信号のためのセットトップボックスに接続される通常の2Dテレビ受像機のような2Dビデオ機器のレガシー・ユーザのために、非常に適している。そのようなレガシー・セットトップボックスは、単なるソフトウェア・アップデートによって2D拡張ボックスに変更されることができ、それは、コンテンツ提供者の制御の下で、又は、ユーザ自身によって開始される何らかの更新処理によって可能である。有利には、コンテンツ提供者は、同じコンテンツを２度、すなわち、新たなセットトップボックス及び3Dディスプレイを持つ新たなユーザのために3Dで一度、そして別途、追加のチャネル上でさらに2Dでも送信する必要はない。レガシー2D表示装置は2D拡張装置(すなわち改良されたセットトップボックス)から拡張されたバージョンを自動的に受信するので、新たな3Dフォーマット信号の一度の送信のみで十分である。

2D拡張装置は、同様に、2Dフォーマット信号中の3Dフォーマットの自動的な検出のための上述のユニット及び/又は機能のいずれかを含むことができることに留意する必要がある。そして自動検出によって提供される3Dステータス信号は2D拡張機能を制御する。

実施の形態は、ビデオ信号を処理するためのビデオ装置であり、当該装置は、3Dフォーマットに従ってフォーマットされる三次元ビデオ[3D]コンテンツ又は2Dフォーマットに従ってフォーマットされる二次元ビデオ[2D]コンテンツを表するビデオ・データを含むビデオ信号を受信するための受信手段を有し、ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、１セットの可能な3Dフォーマットのうちの１つであり、当該装置はさらに、ビデオ信号のフォーマットを示す3Dステータス信号を提供するためのプロセッサを有し、プロセッサは、それぞれの3Dサブフレームを導き出して比較するためにそれぞれの予め定められたフォーマット特性に従ってビデオ・データを処理することによって、考えられる3Dフォーマットのうちの少なくとも１つのためのそれぞれのフォーマット・スコアを決定し、ビデオ信号のフォーマットを示すためにフォーマット・スコアの評価に基づいて3Dステータス信号を設定するように用意される。

オプションとして、それぞれのフォーマット・スコアを決定することは、
- 3Dサブフレーム間の絶対差の平均を計算すること、
- 深さデータ・サブフレームを検出するためのそれぞれの3Dサブフレームの色特性を計算すること、
のうちの少なくとも１つによって、3Dサブフレーム間の対応関係を計算することを含む。

オプションとして、それぞれのフォーマット・スコアを決定することは、ビデオ・コンテンツ中のシーン変化を検出すること、及び、少なくとも２つのシーンの対応関係を計算すること含む。

オプションとして、それぞれの3Dサブフレームを比較することは、
- 3Dサブフレーム間の視差推定値を計算し、更なる比較の前の視差推定値に基づいて3Dサブフレームのうちの少なくとも１つを補償すること、
- 3Dサブフレームの相関と比較するために2Dフレームの自己相関を計算すること、
のうちの少なくとも１つを含む。

オプションとして、考えられる3Dフォーマットのうちの少なくとも１つは、左/右極性に従って2Dフレーム中に配置される左及び右[L及びR]3Dサブフレームを含み、プロセッサは、フォーマット・スコアを決定するときに、3Dフレームに存在する深さの予め定められた分布に基づいて極性スコアを決定するように用意され、3Dステータスを設定することは、極性スコアの評価に基づいて左/右極性ステータス信号を設定することを含む。

オプションとして、プロセッサは、
- 3Dサブフレームの垂直エッジにおける垂直ブラック・マット、
- 3Dサブフレームの水平エッジにおける水平ブラック・マット、
のうちの少なくとも１つを検出することによって、それぞれの3Dサブフレームを比較するための検出器手段を有する。

いうまでもなく、明確性のための前記説明は、異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を説明した。しかしながら、異なる機能ユニット又はプロセッサ間での機能の任意の適切な分布が本発明を損なうことなく用いられることができることは明らかである。例えば、別個のユニット、プロセッサ又はコントローラによって実行されると説明された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、厳密な論理的又は物理的構成又は組織を示すのではなく、単に説明された機能を提供するための適切な手段に対する言及と見なされるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形態で実施されることができる。本発明は、オプションとして、少なくとも部分的に、１つ以上のデータプロセッサ及び/又はデジタルシグナルプロセッサ上で動作するコンピュータソフトウェアとして実施されることができる。本発明の実施の形態の素子及びコンポーネントは、任意の適切な態様で、物理的、機能的及び論理的に実施されることができる。実際、機能は、１つのユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの一部として、実施されることができる。このように、本発明は、１つのユニットにおいて実施されることができるか、又は、異なるユニット及びプロセッサの間で物理的かつ機能的に分配されることができる。

本発明がいくつかの実施の形態に関連して説明されたが、本願明細書において述べられた特定の形態に制限されることは意図されない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。加えて、ある特徴が特定の実施の形態に関連して説明されたと思われるかもしれないが、当業者らは、説明された実施の形態のさまざまな特徴が、本発明にしたがって組み合わせられることができることを認識する。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップの存在を除外しない。

さらに、個別にリストされるが、複数の手段、素子又は方法ステップは、例えば１つのユニット又はプロセッサによって実施されることができる。加えて、個々の特徴が異なる請求項中に含まれるかもしれないが、これらはおそらく有利に組み合わせられることができ、異なる請求項中に含まれることは、特徴の組み合わせが可能ではないこと及び/又は有利ではないことを意味しない。同様に、請求項の１つのカテゴリにある特徴が含まれることは、このカテゴリへの制限を意味せず、むしろ、その特徴が他の請求項カテゴリにも必要に応じて適用可能であることを示す。さらに、請求項における特徴の順序は、何らかの特定の順序でそれらの特徴が機能する必要があることを意味せず、特に、方法請求項における個々のステップの順序は、これらのステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。更に、単数は複数を除外しない。"a", "an", "first", "second"などは、複数を除外しない。請求項中の参照符号は、単に明確にする例として提供されており、如何なる態様においても請求の範囲を制限するものとして解釈されてはならない。

Claims (12)

1. ビデオ信号を処理するためのビデオ装置であって、当該装置は、3Dフォーマットに従ってフォーマットされた三次元ビデオ・コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ・コンテンツを表すビデオ・データを有するビデオ信号を受信するための受信手段を有し、
   前記ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、
   前記3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、考えられる3Dフォーマットのセットのうちの１つであり、
   当該装置はさらに、
   前記ビデオ信号のフォーマットを表す3Dステータス信号を提供するためのプロセッサを有し、当該プロセッサは、
   それぞれの3Dサブフレームを導き出して比較するためにそれぞれの予め定められたフォーマット特性に従って前記ビデオ・データを処理することにより、複数の考えられる3Dフォーマットのためのそれぞれのフォーマット・スコアを予め定められた順序で決定し、
   前記フォーマット・スコアの評価が予め定められた信頼度を提供する場合、前記ビデオ信号のフォーマットを示すためにそれぞれのフォーマット・スコアの評価に基づいて前記3Dステータス信号を設定する、
   ように用意され、
   前記考えられる3Dフォーマットのうちの少なくとも１つは、左/右極性に従って前記2Dフレーム中に配置される左及び右3Dサブフレームを有し、前記プロセッサは、前記フォーマット・スコアを決定するときに、それぞれの前記3Dサブフレームの左右の極性を仮定し、当該仮定に基づいて、前記3Dフレームに存在する深さを分析することによって、前記３Dサブフレームの仮定された左右の極性が正しいかを確認し、前記3Dステータスの設定は、前記確認に基づいて左/右極性ステータス信号を設定することを含む、ビデオ装置。
2. 考えられる3Dフォーマットの前記セットが、前記3Dサブフレームを生成するための少なくとも１つの空間的サブサンプリング・フォーマットを有し、前記予め定められたフォーマット特性が、前記3Dサブフレームのサブサンプリングされた画素を前記ビデオ信号の前記2Dフレーム中に配置することを含む、請求項１に記載のビデオ装置。
3. 考えられる3Dフォーマットの前記セットが、
   2Dフレーム中で前記3Dサブフレームが隣り合わせで配置されるサイド・バイ・サイド・フォーマット、
   2Dフレームの上部分及び下部分に前記3Dサブフレームが配置される上下フォーマット、
   2Dフレーム中で前記3Dサブフレームのラインをインタリーブすることによって前記3Dサブフレームが配置されるライン・インタリーブ・フォーマット、
   2Dフレーム中で前記3Dサブフレームのカラムをインタリーブすることによって前記3Dサブフレームが配置されるカラム・インタリーブ・フォーマット、
   チェッカーボード・パターンで前記3Dサブフレームのピクセルをサブサンプリングして、2Dフレーム中でチェッカーボード・パターンにおいてサブサンプリングされたピクセルをインタリーブすることによって前記3Dサブフレームが配置されるチェッカーボード・インタリーブ・フォーマット、
   チェッカーボード・パターンで前記3Dサブフレームのピクセルをサブサンプリングして、2Dフレーム中で前記3Dサブフレームのサブサンプリングされたピクセルをサイド・バイ・サイドで配置することによって前記3Dサブフレームが配置されるチェッカーボード・サイド・バイ・サイド・フォーマット、
   2Dフレーム中に配置される3Dサブフレームとして2Dサブフレームと深さデータ・サブフレームとを有する2D-深さフォーマット、
   のうちの少なくとも１つを有し、
   前記プロセッサが、それぞれの3Dフォーマットに対して前記ビデオ信号から前記3Dサブフレームを導き出すように用意される、請求項１に記載のビデオ装置。
4. 前記予め定められた順序が、
   それぞれの３Dフォーマットの出現可能性、
   ユーザによる設定、
   前記3Dコンテンツの提供者による設定、
   のうちの少なくとも１つに基づく、請求項１に記載のビデオ装置。
5. それぞれの前記フォーマット・スコアの決定が、
   前記3Dサブフレーム間の相関を計算すること、
   前記3Dサブフレーム間の絶対差の平均を計算すること、
   深さデータ・サブフレームを検出するためにそれぞれの前記3Dサブフレームの色特性を計算すること、
   のうちの少なくとも１つによって、前記3Dサブフレーム間の対応関係を計算することを含む、請求項１に記載のビデオ装置。
6. それぞれの前記3Dサブフレームの比較が、
   前記3Dサブフレーム間の視差推定値を計算し、更なる比較の前に前記視差推定値に基づいて前記3Dサブフレームのうちの少なくとも１つを補償すること、
   前記3Dサブフレームの相関と比較するために前記2Dフレームの自己相関を計算すること、
   のうちの少なくとも１つを含む、請求項１に記載のビデオ装置。
7. 前記仮定に基づく前記3Dフレームに存在する深さの分析が、前記3Dサブフレームの仮定される極性配置のうちの少なくとも１つに対して、
   前記3Dフレームの上部分の深さが下部分の深さよりも深いかを決定すること、
   3Dサブフレームの垂直エッジにおける深さがスクリーン後方の深さを示すかを決定すること、
   を含む、請求項１に記載のビデオ装置。
8. 3Dビデオ・コンテンツ及び前記3Dステータス信号を示す制御データを含む3D表示信号を送信するための送信手段、
   前記受信手段中の、前記ビデオ信号を受信するために記録担体を読むための読み出し手段、
   前記3Dステータス信号に基づいて3Dビデオ信号をレンダリングするための3Dディスプレイ、
   のうちの少なくとも１つを有する、請求項１に記載のビデオ装置。
9. 前記プロセッサが、
   前記3Dサブフレームの垂直エッジにおける垂直ブラック・マット、
   前記3Dサブフレームの水平エッジにおける水平ブラック・マット、
   のうちの少なくとも１つを検出することによって、それぞれの前記3Dサブフレームを比較するための検出手段を有する、請求項１に記載のビデオ装置。
10. ビデオ信号処理システムであって、請求項９に記載のビデオ装置を有し、ビデオ信号は、3Dフォーマットに従ってフォーマットされた三次元ビデオ・コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ・コンテンツを表すビデオ・データを有し、
    前記ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、
    前記3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、考えられる3Dフォーマットのセットのうちの１つであり、
    前記ビデオ・データは、前記3Dフォーマットを決定するためのブラック・マットを検出することを可能にするために、前記3Dサブフレームの垂直エッジにおける垂直ブラック・マット及び前記3Dサブフレームの水平エッジにおける水平ブラック・マットのうちの少なくとも１つを有し、
    前記垂直ブラック・マットは、前記ビデオ・コンテンツのアスペクト比によれば当該ビデオ・コンテンツは垂直な黒いバーを必要としないにもかかわらず含まれ、
    前記水平ブラック・マットは、前記ビデオ・コンテンツのアスペクト比によれば当該ビデオ・コンテンツは水平な黒いバーを必要としないにもかかわらず含まれる、ビデオ信号処理システム。
11. ビデオ信号を処理する方法であって、
    3Dフォーマットに従ってフォーマットされた三次元ビデオ・コンテンツ又は2Dフォーマットに従ってフォーマットされた二次元ビデオ・コンテンツを表すビデオ・データを有するビデオ信号を受信し、
    前記ビデオ信号は、2Dフレーム及び2Dフォーマットの制御構造を有し、
    前記3Dフォーマットは、１つの3Dフレームを構成するための少なくとも２つの3Dサブフレームを有し、考えられる3Dフォーマットのセットのうちの１つであり、
    当該方法はさらに、
    それぞれの3Dサブフレームを導き出して比較するためにそれぞれの予め定められたフォーマット特性に従って前記ビデオ・データを処理することにより、複数の考えられる3Dフォーマットのためのそれぞれのフォーマット・スコアを予め定められた順序で決定し、
    前記フォーマット・スコアの評価が予め定められた信頼度を提供する場合に、前記ビデオ信号のフォーマットを示すためにそれぞれのフォーマット・スコアの評価に基づいて3Dステータスを設定することに基づいて、前記ビデオ信号のフォーマットを示す前記3Dステータスを提供し、
    前記考えられる3Dフォーマットのうちの少なくとも１つは、左/右極性に従って前記2Dフレーム中に配置される左及び右3Dサブフレームを有し、前記フォーマット・スコアを決定するときに、それぞれの前記3Dサブフレームの左右の極性を仮定し、当該仮定に基づいて、前記3Dフレームに存在する深さを分析することによって、前記3Dサブフレームの仮定された左右の極性が正しいかを確認し、前記3Dステータスの設定は、前記確認に基づいて左/右極性ステータス信号を設定することを含む、方法。
12. ビデオ信号を処理するためのコンピュータプログラムであって、請求項１１に記載の方法のそれぞれのステップをプロセッサに実行させるコンピュータプログラム。

Images