JP5437369B2 - 3dビデオ信号の符号化装置 - Google Patents

3dビデオ信号の符号化装置 Download PDF

Info

Publication number
JP5437369B2
JP5437369B2 JP2011519143A JP2011519143A JP5437369B2 JP 5437369 B2 JP5437369 B2 JP 5437369B2 JP 2011519143 A JP2011519143 A JP 2011519143A JP 2011519143 A JP2011519143 A JP 2011519143A JP 5437369 B2 JP5437369 B2 JP 5437369B2
Authority
JP
Japan
Prior art keywords
level
data
image
display
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011519143A
Other languages
English (en)
Other versions
JP2011528882A (ja
Inventor
ボワソン,ギヨーム
ケルビリユ,ポール
ロペス,パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011528882A publication Critical patent/JP2011528882A/ja
Application granted granted Critical
Publication of JP5437369B2 publication Critical patent/JP5437369B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/005Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、3Dビデオ信号の符号化に関し、より詳細には、3Dコンテンツをブロードキャストするために使用されるトランスポートフォーマットに関する。
本発明の技術分野は、シネマプロジェクション、DVDメディアの流通又はテレビジョンチャネルによるブロードキャスト向けに使用されるシネマコンテンツを含む3Dビデオの分野に関する。したがって、本発明の技術分野は、特に、3Dデジタルシネマ、3D DVD及び3Dテレビジョンに関する。
今日、画像の表示について様々なシステムが存在する。
立体システムとして知られる3Dデジタルシネマは、たとえばポラロイドフィルタによるメガネの装着に基づくものであり、立体的な視点のペア(左“left”/右“right”)又はあるフィルムの2つの「リール」に等価なものを使用する。
立体システムとして知られるデジタルテレビジョン用の3Dスクリーンは、メガネの装着を必要としないため、ポラロイドレンズ又はバンドの使用に基づく。これらのシステムは、見る人が角度に関する錐体“angular cone”において、右目と左目に到達する異なる画像を有するのを可能にするように設計されている。
Newsight社により製造される3DTVスクリーンは、視差バリア、あるレンズの光心のように振る舞う透明及び不透明なフィルムを有しており、軌道から逸脱しない光線は、これらのスロットを横断するスロットである。実際に、システムは、右側に4つの視点、左側に4つの視点として8つの視点を使用し、これらの視点は、視点における変化又は見る人の動きの間に、動き視差の効果の形成を可能にする。この動き視差の作用は、簡単なオートステレオスコピックビュー(autostereoscopic view)により生成されるよりも、シーンにおいて見る人が入り込んでいる良好な印象を与え、すなわち右に関する1つのビューと左に関する1つのビューとが立体視差を形成する。Newsightからの3Dスクリーンは、標準化を受けている8視点ストリームフォーマットにより入力で供給される必要がある。多視点映像符号化に関するJVT MPEG/ITU-T MPEG4 AVC/H264標準に対する拡張MVC(MultiView Coding)は、ストリームにおけるそれらの伝送についてビューのそれぞれの符号化を提案するものであり、到達地点で画像の合成が存在しない。
フィリップス社により製造される3DTVは、テレビジョンチャネルの前にあるレンズを有する。システムは、右側の4つの視点と左側の4つの視点と1つの中央の2Dビューを利用する。システムは、フォーマット“2D+Z”、すなわち従来の2Dビデオに加えて、標準MPEG-C part3により標準化される深度マップzに対応する補助データを伝送する標準的な2Dビデオストリームを使用する。2D画像は、スクリーンに表示される右及び左画像を提供するため、深度マップを使用して合成される。このフォーマットは、2D画像に関連する現在の標準と互換性があるが、特に利用される視点の数が高い場合には3D画像の品質を提供するためには不十分である。たとえば利用可能なデータは、オクルージョン(occlusion)を正しく処理することが不可能であり、アーチファクトが生成される。LDV(Layered Depth Video)と呼ばれる1つの解決策は、連続するスロットによりあるシーンを表現することからなる。次いで“2D+z”に加えて伝送されるのは、閉塞された画素(occluded pixel)の値を定義する色のマップと、これら閉塞された画素の深度マップとから構成されるオクルージョンのレイヤである、これらオクルージョンに関連するコンテンツデータである。このデータを送信するため、フィリップスは、以下のフォーマットを使用する。たとえばHD(高精細)である画像は、4つのサブ画像に分割され、第一のサブ画像は、中央の2D画像であり、第二のサブ画像は、深度マップであり、第三のサブ画像は、画素値のマップに関するオクルージョンであり、第四のサブ画像は、オクルージョンマップに関する深度である。
また、現在の解決策は、3Dディスプレイについて伝送されるべき相補的な情報を考慮して、空間解像度における損失につながる。たとえば、1920画素の1080のラインである高精細パネルについて、8又は9視点のうちの視点のそれぞれは、8又は9の要素の空間解像度の損失を有し、使用される伝送ビットレート及びテレビジョンの画素数は一定のままである。
スクリーンの画像の表示の分野における研究は、今日、以下に向けられている。
オートステレオスコピック多視点システム、すなわち特別のメガネを装着することなしに、2を超える視点を使用する。このシステムは、たとえば上述したLDVフォーマット又は深度マップを使用したMVD(Multiview Video +Depth)フォーマットを含む。
ステレオスコピックシステム、すなわち2視点を使用し、特別のメガネを装着する。コンテンツ、すなわち利用されるデータは、右及び左の2つの画像に関連する立体データ、又はLDVフォーマットに対応するデータ或いはMVDフォーマットに関連するデータである。Samsung社による3D DLP(Digital Light Processing)リアプロジェクションHDTVシステム、及び同社により3DプラズマHDTVシステム、シャープ社による3D LCDシステム等を引用することができる。
さらに、3Dデジタルシネマに関するコンテンツは、DVDメディアを介して流通され、現在研究されているシステムは、たとえばSensio又はDDDと呼ばれる。
3Dコンテンツをやり取りするために使用されるビデオエレメンタリストリームのフォーマットは統一されていない。独自の解決策が共存する。トランスポートカプセル化フォーマット(MPEG-C part3)である1つのフォーマットは、標準化されるが、MPEG-2 TSトランスポートストリームにおけるカプセル化システムにのみ関連し、従ってエレメンタリストリームについて新たなフォーマットを定義しない。
この多数の3Dビデオコンテンツ用のビデオエレメンタリストリームフォーマットは、このフォーマットの収束がない場合には、たとえばデジタルシネマからDVDの流通及びTVブロードキャストへといった、あるシステムから別のシステムへの変換を容易にしない。
本発明の1つの目的は、上述された問題点を解決することにある。
本発明の目的は、異なる3D制作手段からのデータを利用することが意図される符号化装置であり、データは、右の画像及び左の画像に関連するものであり、データは、右の画像及び左の画像に関する深度マップに関連するものであり、及び/又はデータは、オクルージョンレイヤに関連するものである。当該符号化装置は、1を超えるレベルで構築されるストリームを生成する手段を有する。
レベル0は、右の画像のビデオデータを含むベースレイヤと左の画像のビデオデータを含むレベルゼロでのエンハンスメントレイヤ、又は逆に、左の画像のビデオデータを含むベースレイヤと右の画像のビデオデータを含むレベルゼロでのエンハンスメントレイヤ、である2つの独立なレイヤを有する。
レベル1は、ベースレイヤの画像に関連する深度マップを含む第一のエンハンスメントレイヤ1、及びレベル0のエンハンスメントレイヤの画像に関連する深度マップを含む第二のレベル1のエンハンスメントレイヤ、である2つの独立なエンハンスメントレイヤを有する。
レベル2は、ベースレイヤ画像に関連するオクルージョンを含むレベル2のエンハンスメントレイヤを有する。
特定の実施の形態によれば、レベル0,レベル1又はレベル2に関連するデータは、3D合成画像の生成手段、及び/又は、2Dカメラからの2Dデータ及び/又は2Dビデオコンテンツから3Dデータを制作する手段、及び/又は、ステレオカメラ及び/又はマルチビューカメラから3Dデータを制作する手段から供給される。
特定の実施の形態によれば、3Dデータを制作する手段は、レベル1に関連するデータを計算するため、深度情報を取得する手段、及び/又は、ステレオカメラ及び/又はマルチビューカメラより到来するデータから深度マップを計算する手段を含む。
特定の実施の形態によれば、3Dデータを制作する手段は、レベル2に関連するデータを計算するため、深度情報を取得する手段、ステレオカメラ及び/又はマルチビューカメラより到来するデータからオクルージョンマップを計算する手段を含む。
また、本発明の目的は、スクリーンで表示するため、幾つかのレベルで構築される、ストリームから3Dデータを復号化する装置である。
レベル0は、右の画像のビデオデータを含むベースレイヤ及び左の画像のビデオデータを含むレベルゼロでのエンハンスメントレイヤ、又は左の画像のビデオデータを含むベースレイヤ及び右の画像のビデオデータを含むレベルゼロでのエンハンスメントレイヤからなる、2つの独立なレイヤを有する。
レベル1は、ベースレイヤの画像に関連する深度マップを含むレベル1の第一のエンハンスメントレイヤ、及びレベル0のエンハンスメントレイヤの画像に関連する深度マップを含むレベル1の第二のエンハンスメントレイヤからなる2つの独立なエンハンスメントレイヤを有する。
レベル2は、ベースレイヤ画像に関連するオクルージョンデータを含むレベル2のエンハンスメントレイヤを有する。
ディスプレイ装置での表示のため、当該装置は、受信された1以上のデータストリームレイヤのデータを使用して、ディスプレイ装置と互換性があるようにする3Dディスプレイ適応回路を有する。
特定の実施の形態によれば、3Dディスプレイ適応回路は、以下を使用する。
ディスプレイが3Dシネマスクリーンであるとき、ディスプレイがメガネの使用を必要とする2視点立体スクリーンであるとき、又はディスプレイが2視点オートステレオスコピックスクリーンであるときのレベル0レイヤ。
ディスプレイがフィリップス“2D+z”型のスクリーンであるときのベースレイヤ及び第一のレベル1のエンハンスメントレイヤ。
ディスプレイがMVD型のオートステレオスコピック3DTVであるときの全てのレベル0及びレベル1レイヤ。
ディスプレイがLDV型のスクリーンであるとき、ベースレイヤ、レベル1とレベル2のエンハンスメントレイヤ。
また、本発明の目的は、ビデオデータトランスポートストリームであり、ストリームのシンタックスは、以下の構造に従うデータレイヤを識別する。
レベル0のレイヤは、右画像のビデオデータを含む1つのベースレイヤ、及び左画像のビデオデータを含むエンハンスメントレイヤ、又は逆に、左画像のビデオデータを含む1つのベースレイヤ、及び右画像のビデオデータを含むエンハンスメントレイヤである2つの独立なレイヤから構成される。
レベル1のエンハンスメントレイヤは、ベースレイヤの画像に関連する深度マップを含む第一のレベル1のエンハンスメントレイヤ、レベル0のエンハンスメントレイヤの画像に関連する深度マップを含む第二のレベル1のエンハンスメントレイヤである2つの独立なエンハンスメントレイヤから構成される。
レベル2のエンハンスメントレイヤは、ベースレイヤの画像に関連するオクルージョンデータを含む。
1つの「スタックされた」フォーマットは、異なるメディア及び異なる表示システムについて、3Dデジタルシネマ、3D DVD、3D TV用のコンテンツのような異なる3Dコンテンツを流通させるために使用される。
したがって、異なる既存の制作モードから到来する3Dコンテンツが回復され、オートステレオスコピック表示装置のレンジは、1つの伝送フォーマットから対処される。
ビデオそれ自身のフォーマットの定義のおかげで、ストリームにおけるデータの構築のため、適切なデータの抽出及び選択が可能となり、3Dシステムの別のシステムとの互換性が保証される。
他の特定の特徴及び利点は、添付図面を参照して、限定するものではない例として提供される以下の記載から明らかとなる。
3Dコンテンツの制作及び流通システムを示す図である。 本発明に係る符号化レイヤの編成を示す図である。
たとえばNewsightスクリーンである多視点オートステレオスコピックスクリーンは、品質の観点で、マルチカメラの取得の結果が供給されるときだけ、極端な画像が立体視のペアに対応し、中間の画像が補間される、これらスクリーンにN個のビューが供給されるときに最良の結果を提供するように見える。これは、カメラの焦点、それらのアパーチャ、それらの位置(カメラ内の距離、光軸に関する方向等)、撮影される被写体のサイズ及び距離間で配慮される制約のためである。インテリア又はエクステリア、及び、リアリストカメラ、すなわちディスプレイでシーンの歪みの印象を与えない合理的な焦点距離及びアパーチャからなるカメラの現実のシーンについて、その光軸が1cmの距離で配置される必要がある典型的なカメラシステムが使用される。平均的な人間の眼間距離は、6.25cmである。
したがって、眼間距離に対応する右及び左の立体視に関連するデータにマルチカメラに関連するデータを変換することが有利である。このデータは、深度マップ及びおそらくオクルージョンマスクを立体視に提供するために処理される。したがって、多視点、すなわち使用されるカメラの数に対応する2D画像の数に関連するデータを伝送することが無用となる。
立体カメラに関連するデータについて、左及び右の画像は、画像に加えて、深度マップ及びおそらくオクルージョンマスクを提供するために処理され、処理の後にオートステレオスコピックディスプレイ装置を介して利用を可能にする。
深度情報に関して、後者は、レーザ又は赤外線のような適合された手段から予測されるか、領域の深度の予測によって更に手動的なやり方で右の画像と左の画像との間の動き視差の測定により計算される。
1つの2Dカメラからのビデオデータは、2つの画像を提供するために処理され、2つのビューは、リレーフ(relief)を許容する。3Dモデルは、たとえば立体画像を提供するために連続する視点の利用を介してシーンの再構成から構成される人間の介入により、この1つの2Dビデオから作成することができる。
多視点ディスプレイシステム用に利用され、N個のカメラから到来するN個の視点は、補間を実行することで、立体コンテンツから計算することができる。したがって、立体コンテンツは、テレビ信号の伝送の基礎としての役割を果たし、立体のペアに関連するデータは、3Dディスプレイ装置のN個のビューが補間及び最終的に外挿により取得されるのを可能にする。
これらの考察を考慮して、3Dビデオコンテンツの表示用に必要な異なるデータタイプは、ディスプレイ装置のタイプに従って、以下の通りであると推測される。
1)フィリップス社の9視点型オートステレオスコピック表示装置用の1視点及びオクルージョンマスクをもつ深度マップ。
2)シーケンシャル又はメタメリック、偏向型の3Dデジタルシネマプロジェクション、シャッター又は偏向メガネの使用による、2視点のみをもつ立体表示装置、ヘッドトラッキング及びアイトラッキングとして知られるヘッド又はビジュアル方向技術の位置でサーボ装置をもつ2視点によりオートステレオスコピック表示装置、向けの立体画像のペア“a stereographic pair”。
3)Newsightの8視点型のオートステレオスコピック表示装置について、送信される2つのビューが圧縮により品質が低下された場合に中間的なビューの補間を容易にする2つの深度マップをもつステレオグラフィックペア。
4)MVD及びLDV互換性のある次期FTV(Free viewpoint TV)標準に準拠する表示装置向け、深度マップ及び異なるオクルージョンレイヤをもつステレオグラフィックペア。
図1は、3Dコンテンツ制作及び流通システムを概念的に示す。
たとえば参照符号1の伝送又は記憶手段から到来する現在の2Dのコンテンツ、参照符号2の標準的な2Dカメラからのビデオデータは、参照符号3の制作手段に伝送され、3Dビデオへの変換が実現される。
ステレオカメラ4からのビデオデータ、マルチビューカメラ5からのビデオデータ、距離測定手段6からのデータは、3D制作回路7に伝送される。この回路は、深度マップ計算回路8及びオクルージョンマスク計算回路9を有する。
合成画像生成回路10から到来するビデオデータは、圧縮及び伝送回路11に送信される。3D制作回路3及び7からの情報は、この回路11に伝送される。
圧縮及び伝送回路11は、たとえばMPEG4圧縮方法を使用してデータの圧縮を実現する。信号は、圧縮回路に入力で潜在的に利用可能なビデオデータを構築するオブジェクトレイヤを識別するトランスポートストリームのシンタックスを転送するために適合される。この回路11からのデータは、異なるやり方で受信回路に伝送される。
物理メディアを介して、3D DVD又は他のデジタルサポートで配置される。
物理メディアを介して、シネマについてリールに記憶される(ロールアウト)。
無線伝送、ケーブル、衛星等による。
このように、以下に記載されるトランスポートストリームの構造に従って圧縮及び伝送回路により信号は送信され、このトランスポートストリームの構造に従って、信号は、DVD又はリールに配置される。信号は、参照符号12の3Dディスプレイ装置に適応回路により受信される。このブロックは、トランスポートストリーム及びプログラムストリームにおけることなるレイヤから、このブロックが接続される表示装置により必要とされるデータの計算を実行する。表示装置は、ステレオ投影13、ステレオ表示装置14、オートステレオグラフィック又は多視点オートステレオスコピック表示装置15、サーボ機能をもつオートステレオスコピック表示装置16等のタイプのスクリーンである。
図2は、データの転送向けの異なるレイヤのスタッキングを概念的に示す図である。
垂直方向において、レベルゼロのレイヤ、レベル1のレイヤ及びレベル2のレイヤが定義される。水平方向において、あるレベルについて、第一のレイヤ及び第二のレイヤが定義される。
たとえば立体画像の左のビューである立体写真の第一の画像のビデオデータは、ベースレイヤ、先に提案された名称に従ってレベルゼロの第一のレイヤが割り当てられる。このベースレイヤは、標準的なテレビジョンにより使用されるレイヤであり、たとえば標準的なテレビジョンにより表示される画像に関連する2Dデータである従来型のビデオデータもこのベースレイヤに割り当てられる。既存の製品との互換性は、このように保持され、互換性は、多視点映像符号化(MVC)の標準化において存在しない。
たとえば右の視点といった立体写真の第二のレイヤのビデオデータは、立体レイヤと呼ばれるレベルゼロの第二のレイヤに割り当てられる。これは、レベルゼロの第一のレイヤのエンハンスメントレイヤを含む。
深度マップに関するビデオデータは、レベル1のエンハンスメントレイヤに割り当てられ、レベル1の第一のレイヤは、左の視点の左深度レイヤと呼ばれ、レベル1の第二のレイヤは、右の視点の右深度レイヤと呼ばれる。
オクルージョンマスクに関連するビデオデータは、レベル2のエンハンスメントレイヤに割り当てられ、レベル2の第一のレイヤは、オクルージョンレイヤと呼ばれる。
ビデオエレメンタリストリームのスタックされたフォーマットは、したがって、標準的なビデオ、立体写真の左のビューを含むベースレイヤ、立体写真の右のビューを含む立体写真のエンハンスメントレイヤ、深度マップが立体写真の左及び右のビューに対応する2つの深度エンハンスメントレイヤ、N個のオクルージョンマスクであるオクルージョンエンハンスメントレイヤからなる。
異なるレイヤにおけるデータの編成のため、3Dデジタルシネマ向け立体装置に関して、コンテンツは、多視点型のオートステレオスコピック装置に収束されるか、又は深度マップ及びオクルージョンマップを使用して収束される。スタックされたフォーマットは、少なくとも5つの異なるタイプの表示装置が対応するのを可能にする。これらのタイプの表示装置のそれぞれについて使用されるコンフィギュレーションは、図2に示されており、コンフィギュレーションのそれぞれについて使用されるレイヤは、互いにグループ分けされる。
参照符号17のベースレイヤ17は、単独で、従来の表示装置に対応する。
ステレオレイヤに隣接するベースレイヤは、参照符号18で示されるグループ化で示され、メガネを装着して、ステレオスクリーンでのDVDの表示と同様に、3Dシネマタイプの投影を可能にするか、ヘッドトラッキングにより2つの視点のみによるオートステレオスコピックを可能にする。
「左」深度レイヤに関連するベースレイヤは、参照符号19で示されるグループ化で示され、フィリップス社の2D+z型表示装置が対応するのを可能にする。
「左」深度レイヤ及びオクルージョンレイヤに関連するベースレイヤ、すなわちレベルゼロでの第一のレイヤ並びに第一のレベル1及び2のエンハンスメントレイヤは、参照符号20で示されるグループ化で示され、LDV(Layered Depth Video)型表示装置が対応するのを可能にする。
ステレオレイヤ並びに左及び右深度レイヤに関連するベースレイヤ、すなわちレベルゼロ及びレベル1レイヤは、参照符号21で示されるグループ化で示され、MVD(多視点映像+深度マップ)型オートステレオスコピック3DTV型表示装置に対応する。
係るトランスポートストリームの構築は、たとえばフィリップス2D+z、2D+z+オクルージョン、シネマタイプのステレオのフォーマット或いはLDV又はMVD型のフォーマットをもつLDVといった、フォーマットの収束を可能にする。
図1を参照して、3Dディスプレイ12への適応回路は、レイヤの選択を実行する。具体的には、ディスプレイが立体投影13からなるか又は3Dサーボ表示装置16を利用する場合に、ベースレイヤ及びステレオエンハンスメントレイヤ、すなわちレベル0レイヤの選択、左深度エンハンスメントレイヤ及びオクルージョンレイヤのうちのベースレイヤ、すなわちLDV型14の表示装置について第一のレベル0,1及び2のレイヤの選択、MDV多視点型の表示装置15についてレベル0及び1の選択。たとえば、後者の場合、適応回路は、2つの立体視及び深度マップからの8つのビューの計算を実行して、MDV多視点型表示装置15に供給する。
したがって、従来の2D又は3Dビデオ信号は、これらビデオ信号が記録媒体から到来するか、無線伝送から到来するか又はケーブルにより到来するかに関わらず、2D又は3Dシステムで表示される。たとえば適応回路を含むデコーダは、該デコーダが接続される3D表示システムに従ってレイヤを選択及び利用する。
この構造のため、使用される3D表示システムにより必要とされるレイヤのみをたとえばケーブルにより受信機に送信することもできる。
本発明は、例として上記説明で記載された。当業者であれば、本発明の範囲から逸脱することなしに、本発明の変形例を創作することができる。

Claims (6)

  1. 異なる3次元制作手段からのデータを利用する符号化装置であって、
    前記データは、右の画像及び左の画像に関連し、前記データは、右の画像及び/又は左の画像に関連する深度マップに関連し、前記データは、オクルージョンレイヤに関連し、
    当該装置は、
    前記右の画像のビデオデータを含むベースレイヤ及び前記左の画像のビデオデータを含むレベル0のエンハンスメントレイヤ、又は前記左の画像のビデオデータを含むベースレイヤ及び前記右の画像のビデオデータを含むレベル0のエンハンスメントレイヤである2つのレイヤを有するレベル0と、前記ベースレイヤの画像に関連する深度マップを含む第一のレベル1のエンハンスメントレイヤ及び前記レベル0のエンハンスメントレイヤの画像に関連する深度マップを含む第二のレベル1のエンハンスメントレイヤである2つのエンハンスメントレイヤを有するレベル1と、前記ベースレイヤの画像に関連するオクルージョンデータを含むレベル2のエンハンスメントレイヤを含むレベル2とにより構築されるストリームを生成する手段を備える、
    ことを特徴とする符号化装置。
  2. レベル0,レベル1又はレベル2に関連するデータは、3次元合成画像の生成手段、及び/又は、2次元カメラからの2次元データ及び/又は2次元ビデオコンテンツから3次元データを制作する手段、及び/又は、ステレオカメラ及び/又はマルチビューカメラから3次元データを制作する手段から供給される、
    請求項1記載の装置。
  3. 前記3次元制作手段は、レベル1に関連するデータを計算するため、深度情報を取得する手段、及び/又は、ステレオカメラ及び/又はマルチビューカメラより到来するデータから深度マップを計算する手段を含む、
    請求項1記載の装置。
  4. 前記3次元制作手段は、レベル2に関連するデータを計算するため、深度情報を取得する手段、ステレオカメラ及び/又はマルチビューカメラより到来するデータからオクルージョンマップを計算する手段を含む、
    請求項1記載の装置。
  5. スクリーンで表示するため、ストリームから3次元データを復号化する装置であって、
    前記ストリームは、
    右の画像のビデオデータを含むベースレイヤ及び左の画像のビデオデータを含むレベル0のエンハンスメントレイヤ、又は左の画像のビデオデータを含むベースレイヤ及び右の画像のビデオデータを含むレベル0のエンハンスメントレイヤである2つのレイヤを有するレベル0と、
    前記ベースレイヤの画像に関連する深度マップを含む第一のレベル1のエンハンスメントレイヤ及び前記レベル0のエンハンスメントレイヤの画像に関連する深度マップを含む第二のレベル1のエンハンスメントレイヤである2つのレイヤを有するレベル1と、
    前記ベースレイヤの画像に関連するオクルージョンデータを含むレベル2のエンハンスメントレイヤを含むレベル2とにより構築され、
    ディスプレイ装置での表示のため、当該復号化装置は、受信される1以上のデータストリームレイヤのデータを使用して前記ディスプレイ装置と互換性があるようにする3次元ディスプレイ適応回路を有する、
    ことを特徴とする復号化装置。
  6. 前記3次元ディスプレイ適応回路は、
    ディスプレイが3次元シネマスクリーンであるとき、ディスプレイがメガネの使用を必要とする2視点立体スクリーンであるとき、又はディスプレイが2視点オートステレオスコピックスクリーンであるときにレベル0のレイヤを使用し、
    ディスプレイがフィリップス社の“2D+z”型のスクリーンであるとき、ベースレイヤ及び第一のレベル1のエンハンスメントレイヤを使用し、
    ディスプレイがMVD型のオートステレオスコピック3DTVであるとき、レベル0及びレベル1のレイヤの全てを使用し、
    ディスプレイがLDV型スクリーンであるとき、ベースレイヤ、レベル1及びレベル2の第一のエンハンスメントレイヤを使用する、
    請求項5記載の装置。
JP2011519143A 2008-07-21 2009-07-21 3dビデオ信号の符号化装置 Expired - Fee Related JP5437369B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0854934 2008-07-21
FR0854934 2008-07-21
PCT/EP2009/059331 WO2010010077A2 (en) 2008-07-21 2009-07-21 Coding device for 3d video signals

Publications (2)

Publication Number Publication Date
JP2011528882A JP2011528882A (ja) 2011-11-24
JP5437369B2 true JP5437369B2 (ja) 2014-03-12

Family

ID=40383905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011519143A Expired - Fee Related JP5437369B2 (ja) 2008-07-21 2009-07-21 3dビデオ信号の符号化装置

Country Status (10)

Country Link
US (1) US20110122230A1 (ja)
EP (1) EP2301256A2 (ja)
JP (1) JP5437369B2 (ja)
KR (1) KR20110039537A (ja)
CN (1) CN102106151A (ja)
AU (1) AU2009273297B8 (ja)
BR (1) BRPI0916367A2 (ja)
MX (1) MX2011000728A (ja)
RU (1) RU2528080C2 (ja)
WO (1) WO2010010077A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
EP2399394B1 (en) * 2009-02-19 2020-09-30 InterDigital Madison Patent Holdings 3d video formats
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
EP2559256A4 (en) * 2010-04-14 2015-08-26 Ericsson Telefon Ab L M METHODS AND ARRANGEMENTS FOR 3D SCENE REPRESENTATION
RU2517299C2 (ru) 2010-08-09 2014-05-27 Панасоник Корпорэйшн Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US20130162774A1 (en) 2010-09-14 2013-06-27 Dong Tian Compression methods and apparatus for occlusion data
WO2012036532A2 (en) * 2010-09-19 2012-03-22 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
JP5837606B2 (ja) * 2010-11-15 2015-12-24 エルジー エレクトロニクス インコーポレイティド フレームフォーマット変換方法及びその方法を使用する装置
KR101303719B1 (ko) 2011-02-03 2013-09-04 브로드콤 코포레이션 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템
KR101844292B1 (ko) 2011-06-24 2018-04-02 톰슨 라이센싱 3d 콘텐츠를 전달하는 방법 및 장치
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
WO2013049179A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
EP2797327A4 (en) * 2011-11-14 2015-11-18 Nat Inst Inf & Comm Tech STEREOSCOPIC VIDEO ENCODING DEVICE, STEREOSCOPIC VIDEO DECODING DEVICE, STEREOSCOPIC VIDEO ENCODING METHOD, STEREOSCOPIC VIDEO DECODING METHOD, STEREOSCOPIC VIDEO ENCODING PROGRAM, AND STEREOSCOPIC VIDEO DECODING PROGRAM
CN107241606B (zh) 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
TWM438603U (en) * 2012-05-24 2012-10-01 Justing Tech Taiwan Pte Ltd Improved lamp casing structure
TWI594616B (zh) 2012-06-14 2017-08-01 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
CZ308335B6 (cs) * 2012-08-29 2020-05-27 Awe Spol. S R.O. Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
ITTO20121073A1 (it) * 2012-12-13 2014-06-14 Rai Radiotelevisione Italiana Apparato e metodo per la generazione e la ricostruzione di un flusso video
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
JP7012642B2 (ja) * 2015-11-09 2022-01-28 ヴァーシテック・リミテッド アーチファクトを意識したビュー合成のための補助データ
CN111406412B (zh) 2017-04-11 2021-09-03 杜比实验室特许公司 分层的增强型娱乐体验
US11457125B2 (en) 2017-12-20 2022-09-27 Hewlett-Packard Development Company, L.P. Three-dimensional printer color management
FR3080968A1 (fr) 2018-05-03 2019-11-08 Orange Procede et dispositif de decodage d'une video multi-vue, et procede et dispositif de traitement d'images.

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
JP2001283201A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 3次元画像データ作成方法及び3次元画像データを用いた任意視点画像作成方法
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US7292735B2 (en) * 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
JP5431726B2 (ja) * 2005-06-23 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 画像および関連データの組み合わされた交換
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Also Published As

Publication number Publication date
AU2009273297A1 (en) 2010-01-28
RU2011106338A (ru) 2012-08-27
JP2011528882A (ja) 2011-11-24
CN102106151A (zh) 2011-06-22
MX2011000728A (es) 2011-03-29
WO2010010077A3 (en) 2010-04-29
KR20110039537A (ko) 2011-04-19
RU2528080C2 (ru) 2014-09-10
US20110122230A1 (en) 2011-05-26
EP2301256A2 (en) 2011-03-30
WO2010010077A2 (en) 2010-01-28
BRPI0916367A2 (pt) 2018-05-29
AU2009273297B2 (en) 2013-02-21
AU2009273297B8 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
JP5437369B2 (ja) 3dビデオ信号の符号化装置
Smolic et al. An overview of available and emerging 3D video formats and depth enhanced stereo as efficient generic solution
Merkle et al. 3D video: acquisition, coding, and display
EP2201784B1 (en) Method and device for processing a depth-map
CA2795021C (en) 3d disparity maps
ES2676055T5 (es) Receptor de imagen eficaz para múltiples vistas
KR101787133B1 (ko) 비디오 콘텐츠 처리 장치 및 방법
EP3399755B1 (en) Depth map delivery formats for stereoscopic and auto-stereoscopic displays
KR20150043546A (ko) 3 차원 이미지들에 대한 디스패리티 계산
EP1782636A1 (en) System and method for transferring video information
US20140085435A1 (en) Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
EP2834982B1 (en) Depth helper data
CH706886A2 (it) Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
Bruls et al. Enabling introduction of stereoscopic (3d) video: Formats and compression standards
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
EP2547109A1 (en) Automatic conversion in a 2D/3D compatible mode
KR20090080498A (ko) 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR20070118063A (ko) 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131211

R150 Certificate of patent or registration of utility model

Ref document number: 5437369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350