JP6022652B2 - スライスヘッダ予測のためのスライスヘッダ三次元映像拡張 - Google Patents

スライスヘッダ予測のためのスライスヘッダ三次元映像拡張 Download PDF

Info

Publication number
JP6022652B2
JP6022652B2 JP2015172697A JP2015172697A JP6022652B2 JP 6022652 B2 JP6022652 B2 JP 6022652B2 JP 2015172697 A JP2015172697 A JP 2015172697A JP 2015172697 A JP2015172697 A JP 2015172697A JP 6022652 B2 JP6022652 B2 JP 6022652B2
Authority
JP
Japan
Prior art keywords
slice
depth
texture
slice header
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015172697A
Other languages
English (en)
Other versions
JP2016027714A (ja
Inventor
イン・チェン
イェ—クイ・ワン
イェ―クイ・ワン
マルタ・カークゼウィックズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016027714A publication Critical patent/JP2016027714A/ja
Application granted granted Critical
Publication of JP6022652B2 publication Critical patent/JP6022652B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本出願は、各々の内容全体がここにおける引用によって組み入れられている米国仮特許出願第６１／５１０，７３８号（出願日：２０１１年７月２２日）、第６１／５２２，５８４号（出願日：２０１１年８月１１日）、第６１／５６３，７７２号（出願日：２０１１年１１月２６日）、第６１／５９５，６１２号（出願日：２０１２年２月６日）、第６１／６２４，０３１号（出願日：２０１２年４月１３日）、及び第６１／６３７，２１２号（出願日：２０１２年４月２３日）の利益を主張するものである。
本開示は、映像コーディング分野、例えば、三次元映像データのコーディング、に関するものである。
デジタル映像能力は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、例えば、無線電話ハンドセット、無線放送システム、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、等を含む広範なデバイス内に組み入れることができる。デジタル映像デバイスは、デジタル映像をより効率的に送信及び受信するために映像圧縮技法、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、又はＨ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、を実装する。映像圧縮技法は、映像シーケンスにおいて固有の冗長性を低減又は除去するための空間予測及び／又は時間予測を実施する。
映像圧縮技法は、映像シーケンスにおいて固有の冗長性を低減又は除去するための空間予測及び／又は時間予測を実施する。ブロックに基づく映像コーディングの場合は、映像フレーム又はスライスをマクロブロックに分割することができる。各マクロブロックは、さらに分割することができる。イントラコーディングされた（Ｉ）フレーム又はスライス内のマクロブロックは、隣接するマクロブロックに関する空間予測を用いて符号化される。インターコーディングされた（Ｐ又はＢ）フレーム又はスライス内のマクロブロックは、同じフレーム又はスライス内の隣接するマクロブロックに関する空間予測又はその他の基準フレームに関する時間予測を使用することができる。
映像データが符号化された後は、映像データは、送信又は格納のためにパケット化することができる。映像データは、組み立てて、様々な規格のうちのいずれか、例えば、国際標準化機構（ＩＳＯ）ベースメディアファイル形式又はその拡張、例えば、ＡＶＣ、に対応する映像ファイルにすることができる。
Ｈ．２６４／ＡＶＣに基づいて新しい映像コーディング規格を策定する努力が続けられている。１つの該規格は、スケーラブル映像コーディング（ＳＶＣ）規格であり、それは、Ｈ．２６４／ＡＶＣのスケーラブルな拡張版である。他の規格は、マルチビュー（ｍｕｌｔｉｖｉｅｗ）映像コーディング（ＭＶＣ）］であり、Ｈ．２６４／ＡＶＣのマルチビュー拡張版になっている。２００８年７月にドイツのハノーファーで開催された第２８回ＪＶＴ会議、ＪＶＴ−ＡＢ２０４“Joint Draft 8.0 on Multiview Video Coding”（マルチビュー映像コーディングに関する共同草案８．０）においてＭＶＣの共同草案が説明されており、http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zipにおいて入手可能である。AVC規格の１つの版が、２００９年２月にジュネーブＣＨで開催された第３０回ＪＶＴ会議、ＪＶＴ−ＡＤ００７“Editors' draft revision to ITU-T Rec. H.264|ISO/IEC 14496-10 Advanced Video Coding−in preparation for ITU-T SG 16 AAP Consent(in integrated form)”（ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇに関する編集者改訂草案−ＩＴＵ−Ｔ ＳＧ １６ ＡＡＰ同意（統合形）のための準備）において説明されており、http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zipから入手可能である。本書は、ＳＶＣ及びＭＶＣをＡＶＣ仕様の中に組み入れている。
概して、本開示は、三次元（３Ｄ）映像レンダリングをサポートするための技法について説明する。特に、本開示の技法は、３Ｄ映像コンテンツの符号化及び復号に関するものである。本開示は、映像データのコーディングされたブロックユニットに関するシグナリング技法も提案する。例えば、本開示は、対応する深度ビューコンポーネント（ｄｅｐｔｈ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔ）に関するテクスチャビュー、及びその逆のスライスヘッダに含まれる構文要素を再使用することを提案する。さらに、本開示は、ヘッダ情報、例えば、テクスチャビューコンポーネント（ｔｅｘｔｕｒｅ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔ）に関する深度ビューのスライスヘッダ情報、内の構文要素を再使用することを提案する。
３Ｄコーデックでは、特定の時間インスタンスにおける映像データの各ビューのビューコンポーネントは、テクスチャビューコンポーネントと、深度ビューコンポーネントと、を含むことができる。テクスチャビューコンポーネントは、ルミナンス（Ｙ）成分と、クロミナンス（Ｃｂ及びＣｒ）成分とを含むことができる。ここでは、ルミナンス（輝度）及びクロミナンス（色）成分は、総称して“テクスチャ”コンポーネントと呼ばれる。深度ビューコンポーネントは、画像の深度マップから得ることができる。３Ｄ画像レンダリングでは、深度マップは、例えば、対応するテクスチャコンポーネントに関する深度値を表す深度コンポーネントを含む。深度ビューコンポーネントは、所定のビューイング遠近法（ｐｅｒｓｐｅｃｔｉｖｅ）から仮想ビューを生成するために使用することができる。
深度コンポーネント及びテクスチャコンポーネントに関する構文要素は、コーディングされたブロックユニットを用いてシグナリングすることができる。コーディングされたブロックユニットは、本開示では単純に“コーディングされたブロック”とも呼ばれ、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（アドバンスト映像コーディング）におけるマクロブロック又はＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）（高効率映像コーディング）のコーディングユニットに対応することができる。
一態様では、映像データをコーディングする方法は、映像データのフレームの少なくとも一部分のテクスチャ情報を表す映像データの１つ以上のブロックをコーディングすることを含む。方法は、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することをさらに含み、テクスチャスライスは、コーディングされた１つ以上のブロックと、テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備える。方法は、フレームの少なくとも一部分に関する深度値を表す深度情報をコーディングすることも含む。方法は、ビューのテクスチャコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することをさらに含み、深度スライスは、コーディングされた深度情報と、深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備える。テクスチャスライス又は深度スライスを処理することは、テクスチャスライスの特徴を表す構文要素の組又は深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダからそれぞれ予測することをさらに含むことができ、基準スライスヘッダは、同じアクセスユニットのビューコンポーネントからのものである。
他の態様では、本開示は、データをコーディングするためのデバイスについて説明する。デバイスは、映像データのフレームの少なくとも一部分のテクスチャ情報を表す映像データの１つ以上のブロックをコーディングし、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理し、フレームの少なくとも一部分に関する深度値を表す深度情報をコーディングし、及びビューのテクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理するように構成された映像コーダを含み、テクスチャスライスはコーディングされた１つ以上のブロックと、テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備え、深度スライスは、コーディングされた深度情報と、深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダとを備え、テクスチャスライス又は深度スライスを処理することは、テクスチャスライスの特徴を表す構文要素の組又は深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダからそれぞれ予測することを備え、基準スライスヘッダは、同じアクセスユニットのビューコンポーネントからのものである。
さらに他の態様では、本開示は、説明される技法のうちの１つ以上で実行するように構成することができるコンピュータプログラム製品について説明する。コンピュータプログラム製品は、実行されたときに、映像データのフレームの少なくとも一部分のテクスチャ情報を表す映像データの１つ以上のブロックをコーディングすることを映像コーディングデバイスのプロセッサに行わせる命令を格納しているコンピュータによって読み取り可能な記憶媒体を含む。命令は、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することをプロセッサにさらに行わせ、テクスチャスライスは、コーディングされた１つ以上のブロックと、テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備える。命令は、フレームの少なくとも一部分に関する深度値を表す深度情報をコーディングすることをプロセッサにさらに行わせる。さらに、命令は、ビューのテクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することをプロセッサにさらに行わせ、深度スライスは、コーディングされた深度情報と、深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダとを備える。テクスチャスライス又は深度スライスを処理することは、テクスチャスライスの特徴を表す構文要素の組又は深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダからそれぞれ予測することを備え、基準スライスヘッダは、同じアクセスユニットのビューコンポーネントからのものである。
他の態様では、映像データのフレームの少なくとも一部分のテクスチャ情報を表す映像データの１つ以上のブロックをコーディングするための手段を含む、映像データを処理するためのデバイスについて説明される。デバイスは、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理するための手段であって、テクスチャスライスは、コーディングされた１つ以上のブロックと、テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダとを備える手段と、フレームの少なくとも一部分に関する深度値を表す深度情報をコーディングするための手段と、をさらに含む。デバイスは、ビューのテクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理するための手段をさらに含み、深度スライスは、コーディングされた深度情報と、深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダとを備え、テクスチャスライス又は深度スライスを処理するための手段は、テクスチャスライスの特徴を表す構文要素の組又は深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダからそれぞれ予測するための手段を備え、基準スライスヘッダは、同じアクセスユニットのビューコンポーネントからのものである。
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はあらゆるそれらの組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、ソフトウェアは、プロセッサ内で実行することができ、それは、１つ以上のプロセッサ、例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はデジタル信号プロセッサ（ＤＳＰ）、又はその他の同等の集積回路又はディスクリート論理回路を意味することができる。それらの技法を実行するための命令を備えるソフトウェアは、最初にコンピュータによって読み取り可能な媒体に格納され、プロセッサによってローディング及び実行される。
本開示は、本開示において説明される様々な技法のうちのいずれかを実施することをプロセッサに行わせる命令を備えるコンピュータによって読み取り可能な媒体も企図する。幾つかの事例では、コンピュータによって読み取り可能な媒体は、メーカーに販売すること及び／又はデバイスで使用することができるコンピュータプログラム製品の一部を形成することができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができ、及び幾つかの事例では、パッケージング材料も含むことができる。
本開示の１つ以上の態様の詳細が添付図面及び以下の説明において示される。これらの説明及び図面から、及び請求項から、本開示において説明される技法のその他の特徴、目的、及び利点が明確になるであろう。
本開示の技法による、映像符号化及び復号システムの一例を示したブロック図である。 本開示の技法による、図１の映像符号器の例をさらに詳細に示したブロック図である。 本開示の技法による、マルチビュー復号順序例を示した概念図である。 本開示の技法による、マルチビュー映像コーディングに関するＭＶＣ予測構造の一例の図である。 本開示の技法による、図１の映像復号器の例をさらに詳細に示したブロック図である。 本開示の技法による、映像コーダの動作例を示した流れ図である。
本開示は、少なくとも映像符号化又は復号プロセスの少なくともインター予測段階中に符号器が適用することができ及び復号器が使用することができる技法について説明する。説明される技法は、三次元（“３Ｄ”）映像コンテンツのコーディングに関するものである。３Ｄ映像コンテンツは、例えば、マルチビュー映像及び深度（“ＭＶＤ”）コーディングされたブロックとして表すことができる。すなわち、これらの技法は、マルチビュー映像コーディング（ＭＶＣ）ビットストリームに類似するビットストリームを符号化又は復号するために適用することができ、ＭＶＣビットストリームのいずれのビューも又はすべてのビューが深度情報をさらに含むことができる。ここにおいて説明されるように、シグナリングは、コーディングされたビットストリーム内で行われる。
より具体的には、本開示による幾つかの技法は、テクスチャビューコンポーネント及び深度ビューコンポーネントを有する少なくとも１つの二次元画像の受信を含む。幾つかのテクスチャビューコンポーネント及び深度ビューコンポーネントをまとめて符号化して単一のコーディングされたブロックにすること又は別々のブロックとして符号化することができる。画像は、画像のスライスに細分することができる。テクスチャビューコンポーネントをコーディングするための構文要素は、スライスヘッダにおいてシグナリングすることができる。深度ビューコンポーネントに関する幾つかの構文要素は、深度ビューコンポーネントに対応するテクスチャビューコンポーネントに関する構文要素から予測することができる。本開示の技法は、二次元映像データに関する推定された深度マップデータに基づいた、二次元映像データから三次元映像データをレンダリングするために使用されるデータの符号化、復号、及びシグナリングに関するものである。幾つかの例では、テクスチャビューコンポーネントは、深度情報を符号化するために使用されるのとは異なる技法を用いて符号化される。本開示では、用語“コーディング”は、符号化及び復号のいずれか又は両方を意味することができる。
例えば、３Ｄ映像用途のための３Ｄ画像を生成するために深度推定及び仮想ビュー合成に基づく映像変換が使用される。特に、シーンの仮想ビューを用いてそのシーンの３Ｄビューを生成することができる。シーンの既存のビューに基づいたそのシーンの仮想ビューの生成は、従来は、仮想ビューを合成する前にオブジェクト深度値を推定することによって達成される。深度推定は、立体対又はモノスコープコンテンツからオブジェクトとカメラ平面との間の絶対的又は相対的距離を推定するプロセスである。ここにおいて使用される場合、深度情報は、三次元映像、例えば、深度マップ（例えば、ピクセルごとの深度値）又は視差マップ（例えば、ピクセルごとの水平ずれ）において役立つ情報を含む。
推定された深度情報は、通常は灰色レベル画像深度マップによって表され、深度画像に基づくレンダリング（ＤＩＢＲ）技法を用いて仮想ビューに関する任意の角度を生成するために使用することができる。マルチビューシーケンスが効率的なビュー間の圧縮という難題に直面している伝統的な三次元テレビ（３ＤＴＶ）システムと比較して、深度マップに基づくシステムは、１つ又は、２、３のビューのみを深度マップとともに送信することによって帯域幅の使用を減らすことができる。深度マップに基づく変換で使用される深度マップは、深度マップがビュー合成で使用される前にエンドユーザによって（例えば、スケーリングを通じて）制御可能である。異なる感知深度量を有するカスタム化された仮想ビューを生成することができる。さらに、深度の推定は、１つのビューの２Ｄコンテンツのみが入手可能であるモノスコープ映像を用いて行うことができる。
本開示の幾つかの技法は、Ｈ．２６４／ＡＶＣ（アドバンスト映像コーディング）規格のマルチビュー映像コーディング（ＭＶＣ）拡張を参照して説明される。ＭＶＣの最新の共同草案が、２００９年１月〜２月にスイスのジュネーブで開催された第３０回ＪＶＴ会議、ＪＶＴ−ＡＤ００７“Editors' draft revision to ITU-T Rec. H.264|ISO/IEC 14496-10 Advanced Video Coding”（ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇに関する編集者改訂草案）において説明されており、
http://
wftp3.itu.int/av-arch/jvt-site/2009_01
_Geneva/JVT-AD007から入手可能であり、それは、ここにおける引用によって組み入れられている。以下の説明は、Ｈ．２６４／ＡＶＣを対象にすることになるが、本開示の技法は、その他のマルチビュー映像コーディングプロセス、又は将来のマルチビュー映像コーディング規格又は現在提案中の映像コーディング規格とともに使用するために適用可能であることが理解されるべきである。
Ｈ．２６４／ＡＶＣでは、各ネットワーク抽象化層（ＮＡＬ）ユニットは、コーディングされた映像データを含む場合は、スライスヘッダを有する。スライスヘッダは、次の情報、すなわち、スライスアドレス、開始マクロブロックの位置、スライスタイプ、使用されるピクチャパラメータセット（ＰＰＳ）、スライスの最初の量子化パラメータ（ＱＰ）とＰＰＳ内でシグナリングされたＱＰとの間のデルタＱＰ、基準ピクチャの順序（ｆｒａｍｅ_ｎｕｍ）及び現在のピクチャの表示順序（例えば、ピクチャ順序カウント（ＰＯＣ））、基準ピクチャリスト構築関連構文要素、メモリ管理制御動作関連構文要素、加重予測関連構文要素、を含むことができる。
ここにおいて説明される技法は、同じビューの共配置されたテクスチャビューコンポーネントに関するスライスヘッダに格納された構文要素から深度ビューコンポーネントに関する構文要素を予測するために適用することができる。例えば、深度スライス及びテクスチャスライスに共通する構文要素に関する値を、テクスチャビューコンポーネントに関するスライスヘッダ内に含めることができるが、関連付けられた深度ビューコンポーネントに関するスライス内には含めることができない。すなわち、映像符号器又は復号器は、深度ビューコンポーネントに関するスライスヘッダ内に存在しないテクスチャビューコンポーネントに関するスライスヘッダ内の深度スライス及びテクスチャスライスに共通する構文要素をコーディングすることができる。例えば、テクスチャビューコンポーネントに関するスライスヘッダ内の第１の構文要素に関して第１の値を定義することができる。深度ビューコンポーネントに関するスライスヘッダも第１の構文要素を共有し、第１の構文要素は、テクスチャスライスヘッダ及び深度スライスヘッダの両方に共通することを意味する。深度ビューコンポーネントに関する第１の構文要素は、第２の値を有する。しかしながら、深度ビューコンポーネントに関するスライスヘッダは、第１の構文要素を含まない。ここにおいて説明される技法により、第１の構文要素の第２の値は、第１の値から予測することができる。
本開示は、スライスヘッダ予測のための次の技法を提示する。本開示の一例により、予測は、スライスヘッダレベルで制御され、基準スライスヘッダは、現在のビューと同じアクセスユニットの同じビュー内のビューコンポーネント又は現在のビューと同じアクセスユニットのＡＶＣ互換可能ベースビューテクスチャであると定義することができる。
他の例では、深度ビューコンポーネントの基準スライスヘッダは、同じビュー内のテクスチャビューコンポーネントのスライスヘッダ又は復号順序で第１のビューの深度ビューコンポーネントのスライスヘッダのいずれかであることができる。他の例では、同じアクセスユニット内のいずれのビューからスライスヘッダが予測されるかを示すためにデルタビューオーダーインデックスｉｄをシグナリングすることができる。
幾つかの例では、基準スライスヘッダが特定のビューの深度ビューコンポーネントからであるか又はテクスチャビューコンポーネントからであるかを示すためにフラグをシグナリングすることができる。他の例では、スライスヘッダ拡張内の構文要素がスライスヘッダ内に存在する場合は、ＡＶＣスライスヘッダ内のスライスヘッダ構文要素と異なる方法で順序を再設定することができる。
さらに他の例では、構文要素ｓｌｉｃｅ_ｔｙｐｅ、ｎｕｍ_ｒｅｆ_ｉｄｘ_１０_ａｃｔｉｖｅ_ｍｉｎｕｓ１、ｎｕｍ_ｒｅｆ_ｉｄｘ_１１_ａｃｔｉｖｅ_ｍｉｎｕｓ１及び基準ピクチャリスト変更（ｍｏｄｉｆｉｃａｔｉｏｎ）を選択的に予測することができる。すなわち、それらは、各スライスヘッダ３ＤＶ拡張における制御フラグに基づいて予測される場合とされない場合がある。基準ピクチャリスト変更の予測がイネーブルになったときには、新たに導入された基準ピクチャリストの除外又は挿入構文テーブルに基づいて基準ピクチャリスト変更を精巧にすることが可能である。
本開示の他の例では、深度又はテクスチャビューコンポーネントが示された後に、アクセスユニット内の所定のビューコンポーネントのスライスのスライスＩＤをさらにシグナリングすることができる。幾つかの例では、所定のビューコンポーネントのスライスを備えるアクセスユニットは、深度又はテクスチャビューコンポーネントに対応する同じアクセスユニットであることができる。
本開示の他の例では、各ビューコンポーネントの各スライスに関してスライスＩＤをシグナリングすることができる。スライスＩＤは、スライスヘッダ内又はＮＡＬユニットヘッダ内のいずれかでシグナリングすることができる。さらに、上記の表示は、スライスヘッダ３ＤＶ拡張においてシグナリングすることができる。
本開示の技法は、ブロックに基づくインターコーディングを利用することができる。ブロックに基づくインターコーディングは、映像シーケンスの連続するコーディングされたユニットの映像ブロック間での時間的冗長性を低減又は除去するために時間的予測に依存するコーディング技法である。コーディングされたユニットは、映像フレーム、映像フレームのスライス、ピクチャのグループ、又は他の定義された符号化された映像ブロックのユニットを備えることができる。インターコーディングの場合、映像符号器は、２つ以上の隣接するコーディングされたユニットの映像ブロック間での動きを推定するために動き推定及び動き補償を行う。動き推定技法を用いて、映像符号器は動きベクトルを生成し、それらは、１つ以上の基準フレーム又はその他のコーディングされたユニット内の対応する予測映像ブロックに対する映像ブロックの変位を示す。
動き補償技法を用いて、映像符号器は、１つ以上の基準フレーム又はその他のコーディングされたユニットから予測映像ブロックを生成するために動きベクトルを使用する。動き補償後は、映像符号器は、コーディング中の原映像ブロックから予測映像ブロックを減じることによって残差映像ブロックを計算する。
基準ビューコンポーネント（ＲＶＣ）は、複数のテクスチャ又は深度スライスを含むことができる。幾つかの例では、基準ビューコンポーネントが複数のスライスを備える場合は、現在のスライスの構文要素を決定時には共配置されたスライスを使用することができる。代替として、現在のスライスの構文要素を決定するためにＲＶＣ内の第１のスライスを使用することができる。その他の例では、現在のスライスの共通の構文要素を決定するためにＲＶＣ内の他のスライスを使用することができる。
図１は、本開示の技法による、映像符号化及び復号システム１０の一例を示したブロック図である。図１の例において示されるように、システム１０は、リンク１５を介して行先デバイス１６に符号化された映像を送信するソースデバイス１２を含む。リンク１５は、符号化された映像データをソースデバイス１２から行先デバイス１６に移動させることが可能なあらゆるタイプの媒体又はデバイスを備えることができる。一例では、リンク１５は、ソースデバイス１２が符号化された映像データをリアルタイムで行先デバイス１６に直接送信するのを可能にする通信媒体を備える。符号化された映像データは、通信規格、例えば、無線通信プロトコル、に従って変調し、行先デバイス１６に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的な送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又は、ソースデバイス１２から行先デバイス１６への通信を容易にするために有用であることができるあらゆるその他の装置を含むことができる。
ソースデバイス１２及び行先デバイス１６は、広範なデバイスのうちのいずれかを備えることができる。幾つかの例では、ソースデバイス１２及び行先デバイス１６のいずれか又は両方が、無線通信デバイス、例えば、無線ハンドセット、いわゆる携帯電話又は衛星無線電話、又はリンク１５を通じて映像情報を通信することができるあらゆる無線デバイスを備えることができ、その場合は、リンク１５は無線である。しかしながら、テクスチャ情報及び深度情報の両方を含む映像データのブロックをコーディングすることに関する本開示の技法は、必ずしも無線用途又は設定には限定されない。それらの技法は、物理的ワイヤ、光ファイバ又はその他の物理的な又は無線の媒体を介して通信するデバイスを含む広範なその他の設定及びデバイスにおいても有用であることができる。さらに、符号化又は復号技法は、その他のデバイスと必ずしも通信しない独立型デバイスにおいても適用することができる。例えば、映像復号器２８は、デジタルメディアプレーヤー又はその他のデバイス内に常駐し、ストリーミング、ダウンロード又は記憶媒体を介して符号化された映像データを受信することができる。従って、互いに通信状態であるソース１２及び行先デバイス１６の描写は、実装例を示すことを目的とするものであり、本開示において説明される技法に限定されるとはみなされるべきではなく、様々な環境、用途又は実装において映像コーディング全般に対して適用可能である。
代替として、符号化されたデータは、出力インタフェース２４から記憶装置１７に出力することができる。同様に、符号化されたデータは、映像復号器２８によって記憶装置１７からアクセスすることができる。記憶装置１７は、様々な分散型の又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は非揮発性メモリ、又は符号化された映像データを格納するためのあらゆるその他の適切なデジタル記憶媒体のうちのいずれかを含むことができる。さらなる例では、記憶装置１７は、ソースデバイス１２によって生成された符号化された映像を保持することができるファイルサーバ又はその他の中間的な記憶デバイスに対応することができる。行先デバイス１６は、ストリーミング又はダウンロードを介して記憶デバイス１７から格納された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納し及びその符号化された映像データを行先デバイス１６に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、ウェブサーバ（例えば、ウェブサイト用）、ＦＴＰサーバ、ネットワーク取り付け記憶（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。行先デバイス１６は、インターネット接続を含むあらゆる標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデム、等）、又は両方の組み合わせを含むことができる。記憶装置１７からの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
図１の例では、ソースデバイス１２は、映像ソース２０と、深度処理ユニット２１と、映像符号器２２と、出力インタフェース２４と、を含む。行先デバイス１６は、入力インタフェース２６と、映像復号器２８と、表示装置３０と、を含む。本開示により、ソースデバイス１２の映像符号器２２は、本開示の技法のうちの１つ以上を映像符号化プロセスの一部として適用するように構成することができる。同様に、行先デバイス１６の映像復号器２８は、本開示の技法のうちの１つ以上を映像復号プロセスの一部として適用するように構成することができる。
映像符号器２２は、残差ブロックの通信と関連付けられたビットレートをさらに低減させるために変換、量子化、及びエントロピーコーディングプロセスを適用することもできる。変換技法は、離散コサイン変換（ＤＣＴ）又は概念的に類似するプロセスを備えることができる。代替として、ウェーブレット変換、整数変換、又はその他のタイプの変換を使用することができる。ＤＣＴプロセスでは、一例として、一組のピクセル値が変換係数に変換され、それは、周波数領域でのピクセル値のエネルギーを表す。映像符号器２２は、変換係数を量子化もし、それは、概して、対応する変換係数と関連付けられたビット数を減らすプロセスを含むことができる。エントロピーコーディングは、ビットストリームへの出力のためにデータをまとめて圧縮する１つ以上のプロセスを含むことができ、圧縮されたデータは、例えば、コーディングモードのシーケンスと、動き情報と、コーディングされたブロックパターンと、量子化された変換係数と、を含むことができる。エントロピーコーディングの例は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）とコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）と、を含み、ただしそれらに限定されない。
コーディングされた映像ブロックは、予測ブロックを生成又は識別するために使用することができる予測情報、及び原ブロックを再生成するために予測ブロックに適用することができるデータの残差ブロックによって表すことができる。予測情報は、データの予測ブロックを識別するために使用される１つ以上の動きベクトルを備えることができる。動きベクトルを用いることで、映像復号器２８は、残差ブロックをコーディングするために使用された予測ブロックを再構築することができる。従って、一組の残差ブロック及び一組の動きベクトル（及びおそらく幾つかの追加の構文）が与えられた場合、映像復号器２８は、元来符号化された映像フレームを再構築することができる。動き推定及び動き補償に基づくインターコーディングは、連続する映像フレーム又はその他のタイプのコーディングされたユニットがしばしば類似するため、過度のデータ損失なしに相対的に高い圧縮量を達成することができる。符号化された映像シーケンスは、残差データのブロックと、動きベクトル（インター予測符号化されたとき）と、イントラ予測のためのイントラ予測モードの指示と、構文要素と、を備えることができる。
映像符号器２２は、共通のフレーム又はスライスの隣接する映像ブロックに関する映像ブロックを符号化するためにイントラ予測技法を利用することもできる。このようにして、映像符号器２２は、ブロックを空間予測する。映像符号器２２は、様々なイントラ予測モードを持って構成することができ、それらは、概して、様々な空間予測方向に対応する。動き推定と同様に、映像符号器２２は、ブロックのルミナンス成分に基づいてイントラ予測モードを選択し、ブロックのクロミナンス成分を符号化するためにイントラ予測モードを再使用するように構成することができる。さらに、本開示の技法により、映像符号器２２は、ブロックの深度コンポーネントを符号化するためにイントラ予測モードを再使用することができる。
ブロックの深度コンポーネントを符号化するために動き及びイントラ予測モード情報を再使用することによって、これらの技法は、深度マップを符号化するプロセスを簡略化することができる。さらに、ここにおいて説明される技法は、ビットストリーム効率を向上させることができる。すなわち、ビットストリームは、深度ビューコンポーネントのスライスに関するスライスヘッダ内で追加の構文要素をシグナリングする代わりに、テクスチャビューコンポーネントに関するスライスヘッダ内で１回幾つかの構文要素を示す必要があるだけである。
任意選択で、テクスチャビューコンポーネントは、それの対応する深度ビューコンポーネントを同じように再使用することもできる。
繰り返すと、図１の例示されるシステム１０は、単なる一例である。本開示の様々な技法は、ブロックに基づく予測符号化をサポートする符号化デバイスによって、又はブロックに基づく予測復号をサポートする復号デバイスによって実施することができる。ソースデバイス１２及び行先デバイス１６は、ソースデバイス１２が行先デバイス１６への送信のためのコーディングされた映像データを生成する該コーディングデバイスの例であるにすぎない。幾つかの事例では、デバイス１２及び１６は、実質的に対称的な形で動作することができ、従って、デバイス１２及び１６の各々は、映像符号化及び復号コンポーネントを含む。従って、システム１０は、例えば、映像ストリーミング、映像再生、映像放送、又は映像テレフォニーのための映像デバイス１２及び１６間での１方向又は両方向の映像送信をサポートすることができる。
ソースデバイス１２の映像ソース２０は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入っている映像アーカイブ、又は映像コンテンツプロバイダからの映像フィードを含む。代替として、映像ソース２０は、コンピュータグラフィックスに基づくデータを、ソース映像、又はライブ映像、アーカイブに保存された映像、及びコンピュータによって生成された映像の組み合わせ、として生成することができる。幾つかの場合において、映像ソース２０がビデオカメラである場合は、ソースデバイス１２及び行先デバイス１６は、いわゆるカメラフォン又はビデオフォン、又は、映像データを取り扱うように構成されたその他のモバイルデバイス、例えば、タブレットコンピューティングデバイス、を構成することができる。各場合において、キャプチャされた、予めキャプチャされた又はコンピュータによって生成された映像を映像符号器２２によって符号化することができる。映像ソース２０は、ビューをキャプチャし、それを深度処理ユニット２１に転送する。
映像ソース２０は、ビュー２内のオブジェクトに関する深度画像の計算のためにビュー２を深度処理ユニット２１に送信する。幾つかの例では、ビュー２は、２つ以上のビューを備える。深度画像は、映像ソース２０によってキャプチャされたビュー２内のオブジェクトに関して決定される。深度処理ユニット２１は、ビュー２の画像内のオブジェクトに関する深度値を自動的に計算するように構成される。例えば、深度処理ユニット２１は、ルミナンス情報に基づいてオブジェクトに関する深度値を計算する。幾つかの例では、深度処理ユニット２１は、深度情報をユーザから受信するように構成される。幾つかの例では、映像ソース２０は、異なる遠近法でシーンの２つのビューをキャプチャし、２つのビュー内のオブジェクト間のずれに基づいてシーン内のオブジェクトに関する深度情報を計算する。様々な例において、映像ソース２０は、標準的な二次元カメラ、シーンの立体図を提供する２カメラシステム、シーンの複数のビューをキャプチャするカメラ配列、又は１つのビュー及び深度情報をキャプチャするカメラを備える。
深度処理ユニット２１は、テクスチャビューコンポーネント４及び深度ビューコンポーネント６を映像符号器２２に送る。深度処理ユニット２１は、映像符号器２２に直接ビュー２を送ることもできる。深度情報６は、ビュー２に関する深度マップ画像を備える。深度マップ画像は、表示されるべきエリア（例えば、ブロック、スライス、又はフレーム）と関連付けられたピクセルの各領域に関する深度値のマップを備えることができる。ピクセルの領域は、単一のピクセル又は１つ以上のピクセルのグループを含む。深度マップの幾つかの例は、ピクセル当たり１つの深度コンポーネントを有する。その他の例では、ピクセル当たり複数の深度コンポーネントが存在する。深度マップは、例えば、その他の以前にコーディングされた深度データに対するイントラ予測又はインター予測を用いて、テクスチャデータと実質的に同様の方法でコーディングすることができる。その他の例では、深度マップは、テクスチャデータがコーディングされる方法と異なる方法でコーディングされる。
幾つかの例では深度マップを推定することができる。２つ以上のビューが存在するときには、深度マップを推定するためにステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）を使用することができる。しかしながら、２Ｄから３Ｄへの変換では、深度を推定することはより難しくなる。しかしながら、様々な方法によって推定された深度マップは、深度−画像に基づくレンダリング（ＤＩＢＲ）に基づく３Ｄレンダリングのために使用することができる。
映像ソース２０はシーンの複数のビューを含むことができ、深度処理ユニット２１は、それらの複数のビューに基づいて深度情報を計算することができるが、ソースデバイス１２は、概して、シーンの各ビューに関して１つのビュー及び深度情報を送信することができる。
ビュー２がデジタル静止ピクチャであるときには、映像符号器２２は、ビュー２を例えば、ジョイントフォトグラフィックエキスパーツグループ（ＪＰＥＧ）画像として符号化するように構成することができる。ビュー２が映像データのフレームであるときには、映像符号器２２は、映像コーディング規格、例えば、モーションピクチャエキスパーツグループ（ＭＰＥＧ）、国際標準化機構（ＩＳＯ）／国際電気技術委員会（ＩＥＣ）ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、国際電気通信連合（ＩＴＵ）Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６２、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｈ．２６４ Ａｄａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、来るべき高効率映像コーディング（ＨＥＶＣ）規格（Ｈ．２６５とも呼ばれる）、又はその他の映像符号化規格、により第１のビュー５０を符号化するように構成される。映像符号器２２は、コーディングされたブロック８を形成するために深度情報６を符号化された画像とともに含めることができ、それは、符号化された画像データを深度情報６とともに含む。映像符号器２２は、コーディングされたブロック８を出力インタフェース２４に渡す。コーディングされたブロック８は、リンク１５を通じてシグナリング情報をコーディングされたブロック８とともに含むビットストリーム内で入力インタフェース２６に転送することができる。
符号化された映像情報は、テクスチャコンポーネント４と、深度情報６、とを含む。テクスチャコンポーネント４は、映像情報のルミナンス（ルマ）及びクロミナンス（クロマ）成分を含むことができる。ルマ成分は、概して、輝度について説明し、クロミナンス成分は、概して、色合いについて説明する。深度処理ユニット２１は、ビュー２の深度マップから深度情報６を抽出する。映像符号器２２は、テクスチャビューコンポーネント４及び深度ビューコンポーネント６を符号化して符号化された映像データの単一のコーディングされたブロック８にする。同様に、映像符号器２２は、ルマ成分に関する動き又はイントラ予測モード情報がクロマ成分及び深度コンポーネントに関して再使用されるようにブロックを符号化することができる。テクスチャビューコンポーネントに関して使用される構文要素は、深度ビューコンポーネントに関する同様の構文要素を予測するために使用することができる。
幾つかの例では、深度マップビューコンポーネントは、対応するテクスチャビューコンポーネントがインタービュー（ｉｎｔｅｒ−ｖｉｅｗ）予測技法を用いて符号化されるときでさえもインタービュー予測技法を用いて符号化することができない。例えば、深度マップビューコンポーネントは、対応するテクスチャビューコンポーネントがインタービュー予測を用いて予測されるときにイントラビュー（ｉｎｔｒａ−ｖｉｅｗ）予測を用いて予測することができる。例えば、テクスチャビューコンポーネントをインタービュー予測することは、テクスチャビューコンポーネントに対応するビューと異なるビューのデータからテクスチャビュー情報を予測する。対照的に、深度ビュー情報をイントラビュー予測することは、深度ビュー情報に対応するビューと同じビューのデータから深度情報を予測する。
異なる予測技法を使用するにもかかわらず、深度マップビューコンポーネントに関する幾つかの構文要素は、対応するテクスチャビューコンポーネントのスライスヘッダ内の対応する構文要素から予測することができ、逆も真なりである。しかしながら、深度マップビューコンポーネントに関するスライスヘッダ情報は、基準ピクチャリスト構築に関連する情報を含むことができる。すなわち、基準ピクチャリスト構築に関連する情報は、深度マップビューコンポーネントに関するスライスヘッダ内でシグナリングすることができる。例えば、使用される基準ピクチャの数及び深度マップビューコンポーネントを予測するためにいずれの基準ピクチャが使用されるかの表示は、深度マップビューコンポーネントに関するスライスヘッダ内でシグナリングすることができる。同様の情報も、対応するテクスチャビューコンポーネントに関するスライスヘッダ内でシグナリングすることができる。
幾つかの例では、ソースデバイス１２は、通信規格、例えば、符号分割多元接続（ＣＤＭＡ）又は他の通信規格、によりコーディングされたブロック８を変調するモデムを含む。モデムは、信号変調用に設計された様々なミキサ、フィルタ、増幅器又はその他のコンポーネントを含むことができる。出力インタフェース２４は、データを送信するために設計された回路を含むことができ、増幅器と、フィルタと、１つ以上のアンテナと、を含む。コーディングされたブロック８は、出力インタフェース２４及びリンク１５を介して行先デバイス１６に送信される。幾つかの例では、通信チャネルを通じて送信する代わりに、ソースデバイス１２は、テクスチャ及び深度コンポーネントを有するブロックを含む符号化された映像データを記憶装置３２、例えば、デジタルビデオディスク（ＤＶＤ）、Ｂｌｕ−ｒａｙディスク、フラッシュドライブ、等に格納する。
行先デバイス１６の入力インタフェース２６は、リンク１５を通じて情報を受信する。幾つかの例では、行先デバイス１６は、情報を復調するモデムを含む。出力インタフェース２４と同様に、入力インタフェース２６は、データを受信するために設計された回路を含むことができ、増幅器と、フィルタと、１つ以上のアンテナと、を含む。幾つかの例では、出力インタフェース２４及び／又は入力インタフェース２６は、受信回路と送信回路の両方を含む単一のトランシーバコンポーネント内に組み入れることができる。モデムは、信号を復号するために設計された様々なミキサ、フィルタ、増幅器及びその他のコンポーネントを含むことができる。幾つかの例では、モデムは、変調及び復調の両方を行うためのコンポーネントを含むことができる。
繰り返すと、映像符号器２２によって行われる映像符号化プロセスは、インター予測符号化中にここにおいて説明される技法のうちの１つ以上を実装することができ、それらは、動き推定と動き補償、及びイントラ予測符号化を含むことができる。映像復号器２８によって行われる映像復号プロセスは、復号プロセスの動き補償段階中に該技法を実施することもできる。
用語“コーダ”は、ここでは、映像符号化又は映像復号を行う専用のコンピュータデバイス又は装置を意味するために使用される。用語“コーダ”は、概して、あらゆる映像符号器、映像復号器、又は結合された符号器／復号器（コーデック）を意味する。用語“コーディング”は、符号化又は復号を意味する。用語“コーディングされたブロック”、“コーディングされたブロックユニット”、又は“コーディングされたユニット”は、映像フレームの独立して復号可能なユニット、例えば、フレーム全体、フレームのスライス、映像データのブロック、又は、使用されるコーディング技法により定義された他の独立して復号可能なユニットを意味することができる。
表示装置３０は、復号された映像データをユーザに表示し、様々な１つ以上の表示装置、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。幾つかの例では、表示装置３０は、三次元再生が可能なデバイスに対応する。例えば、表示装置３０は、立体ディスプレイを備えることができ、それは、観る人が着用するアイウェアとともに使用される。アイウェアは、アクティブ眼鏡を備えることができ、その場合は、表示装置３０は、アクティブ眼鏡のレンズが交互に閉じるのと同期的に異なるビューの画像間で高速で交互させる。代替として、アイウェアは、パッシブ眼鏡を備えることができ、その場合は、表示装置３０は、異なるビューから同時に画像を表示し、パッシブ眼鏡は、異なるビュー間でフィルタリングするために概して直交方向に偏光される偏光レンズを含むことができる。
図１の例では、リンク１５は、無線又は有線の通信媒体、例えば、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的な送信ライン、又は無線媒体と有線媒体の組み合わせを備えることができる。リンク１５は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。リンク１５は、概して、ソースデバイス１２から行先デバイス１６に映像データを送信するためのあらゆる適切な通信媒体、又は異なる通信媒体の集合、を表す。リンク１５は、ルータ、スイッチ、基地局、又は、ソースデバイス１２から行先デバイス１６への通信を容易にするために有用であることができるあらゆるその他の装置を含むことができる。
映像符号器２２及び映像復号器２８は、映像圧縮規格、例えば、ＩＴＵ−Ｔ Ｈ．２６４規格であり、代替でＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）として説明される、により動作することができる。映像符号器２２及び映像復号器２８によって使用することができる、ＩＴＵ Ｈ．２６４／ＡＶＣ規格に基づく追加の映像圧縮規格は、スケーラブル映像コーディング（ＳＶＣ）規格を含み、それは、ＩＴＵ Ｈ．２６４／ＡＶＣ規格のスケーラブルな拡張である。映像符号器２２及び映像復号器２８が準拠して動作することができる他の規格は、ＩＴＵ Ｈ．２６４／ＡＶＣ規格のマルチビュー拡張版であるマルチビュー映像コーディング（ＭＶＣ）規格を含む。しかしながら、本開示の技法は、いずれの特定の映像コーディング規格にも限定されない。
幾つかの態様では、映像符号器２２及び映像復号器２８は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別個のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するＭＵＸ−ＤＥＭＵＸユニット、又はその他のハードウェアとソフトウェア、を含むことができる。該当する場合は、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル（ＵＤＰ）に準拠することができる。
映像符号器２２及び映像復号器２８は、各々、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせとして実装することができる。本開示のいずれかの又はすべての技法がソフトウェアにおいて実装されるときには、実装するためのデバイスは、ソフトウェアに関する命令を格納及び／又は実行するためのハードウェア、例えば、命令を格納するためのメモリ及び命令を実行するための１つ以上の処理ユニット、をさらに含むことができる。映像符号器２２及び映像復号器２８の各々は、１つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のモバイルデバイス、加入者デバイス、ブロードキャストデバイス、サーバ、等において符号化及び復号能力を含む結合されたコーデックの一部として一体化することができる。
映像シーケンスは、典型的には、映像ピクチャとも呼ばれる一連の映像フレームを含む。映像符号器２２は、映像データを符号化するために個々の映像フレーム内の映像ブロックに関して動作する。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。各映像フレームは、一連の１つ以上のスライスを含む。例えば、ＩＴＵ−Ｔ Ｈ．２６４規格では、各スライスは、一連のマクロブロックを含み、それらはサブブロックに編成することができる。Ｈ．２６４規格は、二次元（２Ｄ）映像符号化に関する様々なブロックサイズ、例えば、ルマ成分に関する１６×１６、８×８、又は４×４、及びクロマ成分に関する８×８のイントラ予測、及び、様々なブロックサイズ、例えば、ルマ成分に関する１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、及びクロマ成分に関する対応するスケーリングされたサイズ、のインター予測をサポートする。映像ブロックは、ピクセルデータのブロック、又は、例えば、離散コサイン変換（ＤＣＴ）等の変換プロセス又は概念的に類似する変換プロセスに従った変換係数のブロックを備えることができる。これらの技法は、３Ｄ映像に拡張することができる。
ＩＴＵ−Ｔ Ｈ．２６４規格の２Ｄマクロブロックは、深度マップ又は視差マップからの深度情報をその映像フレーム又はスライスに関する関連付けられたルマ成分及びクロマ成分（すなわち、テクスチャコンポーネント）とともに符号化することによって３Ｄに拡張することができる。視差マッピング（仮想変位マッピング又はオフセットマッピングとも呼ばれる）は、ピクセル位置での視角及び高さマップの関数に基づいてピクセル位置におけるテクスチャビューコンポーネントを変位させる。映像符号器２２は、深度情報をモノクロ映像として符号化することができる。
映像ブロック、例えば、コーディングされたブロック、を符号化するために、映像符号器２２は、イントラ又はインター予測を行って１つ以上の予測ブロックを生成する。映像符号器２２は、残差ブロックを生成するために符号化されるべき原映像ブロックから予測ブロックを減じる。従って、残差ブロックは、コーディング中のブロックと予測ブロックとの間のピクセルごとの差分を表すことができる。映像符号器２２は、変換係数のブロックを生成するために残差ブロックに対して変換を行うことができる。イントラ又はインターに基づく予測コーディング及び変換技法に引き続き、映像符号器２２は、変換係数を量子化することができる。量子化は、概して、係数を表すために使用されるデータ量を低減させるために係数を量子化するプロセスを意味する。量子化に引き続き、エントロピーコーディング法、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）又はコンテキスト適応型可変長コーディング（ＣＡＢＡＣ）によりエントロピーコーディングを行うことができる。映像符号器２２によって行われる符号化プロセスのさらなる詳細が以下において図２に関して説明される。
現在は高効率映像コーディング（ＨＥＶＣ）と呼ばれている新しい映像コーディング規格を策定するための努力が現在進行中である。来るべき規格は、Ｈ．２６５とも呼ばれる。標準化努力は、ＨＥＶＣ試験モデル（ＨＭ）と呼ばれる映像コーディングデバイスのモデルに基づいている。ＨＭでは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣによるデバイスよりも優れた映像コーディングデバイスの幾つかの能力を想定している。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを含むが、ＨＭは、３３ものイントラ予測符号化モードを含む。ＨＥＶＣは、ここにおいて説明されるスライスヘッダ情報技法をサポートするために拡張することができる。
ＨＭは、映像データのブロックをコーディングユニット（ＣＵ）と呼んでいる。ビットストリーム内の構文データは、ピクセル数の点で最大のコーディングユニットである最大コーディングユニット（ＬＣＵ）を定義することができる。概して、ＣＵは、Ｈ．２６４のマクロブロックと同様の目的を有するが、ＣＵは、サイズの区別がない。コーディングされたブロックは、ＨＭ規格によりＣＵであることができる。従って、ＣＵは、サブＣＵに分割することができる。概して、本開示でのＣＵへの言及は、ピクチャ又はＬＣＵのサブＣＵの最大コーディングユニット（ＬＣＵ）を意味することができる。ＬＣＵは、サブＣＵに分割することができ、及び、各サブＣＵは、サブＣＵにさらに分割することができる。ビットストリームに関する構文データは、ＬＣＵを分割することができる最大回数を定義することができ、ＣＵ深度と呼ばれる。従って、ビットストリームは、最小のコーディングユニット（ＳＣＵ）も定義することができる。本開示は、ＣＵ、予測ユニット（ＰＵ）、又は変換ユニット（ＴＵ）のうちのいずれかを指すために用語“ブロック”も使用する。
ＬＣＵは、四分木（ｑｕａｄｔｒｅｅ）データ構造と関連付けることができる。概して、四分木データ構造は、ＣＵ当たり１つのノードを含み、根ノードがＬＣＵに対応する。ＣＵが４つのサブＣＵに分割される場合は、ＣＵに対応するノードは、４つの葉ノードを含み、それらの各々は、サブＣＵのうちの１つに対応する。四分木データ構造の各ノードは、対応するＣＵに関する構文データを含むことができる。例えば、四分木内のノードは、分割されたフラグを含むことができ、ノードに対応するＣＵがサブＣＵに分割されるかどうかを示す。ＣＵに関する構文要素は、繰り返し定義することができ、及び、ＣＵがサブＣＵに分割されるかどうかに依存することができる。
分割されないＣＵは、１つ以上の予測ユニット（ＰＵ）を含むことができる。概して、ＰＵは、対応するＣＵの全体又は一部分を表し、ＰＵに関する基準サンプルを取り出すためのデータを含む。例えば、ＰＵがイントラモード符号化されるときには、ＰＵは、ＰＵに関するイントラ予測モードを記述したデータを含むことができる。他の例として、ＰＵがインターモード符号化されるときには、ＰＵは、ＰＵに関する動きベクトルを定義するデータを含むことができる。動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度（例えば、１／４ピクセル精度又は１／８ピクセル精度）、動きベクトルが指し示す基準フレーム、及び／又は動きベクトルに関する基準リスト（例えば、リスト０又はリスト１）を記述することができる。動きベクトルは、テクスチャビューコンポーネント及び深度ビューコンポーネントに関して異なる解像度を有するとして取り扱うこともできる。ＰＵを定義するＣＵに関するデータは、例えば、ＣＵを１つ以上のＰＵに分割することを記述することができる。分割モードは、ＣＵがコーディングされていない、イントラ予測モード符号化されている、又はインター予測モード符号化されているかどうかによって異なることができる。
１つ以上のＰＵを有するＣＵは、１つ以上の変換ユニット（ＴＵ）を含むこともできる。ＰＵを用いた予測に引き続き、映像符号器２２は、ＰＵに対応するＣＵの部分に関する残差値を計算することができる。残差値は、変換、走査、及び量子化することができる。ＴＵは、必ずしもＰＵのサイズに限定されない。従って、ＴＵは、同じＣＵに関する対応するＰＵよりも大きい又は小さいことができる。幾つかの例では、ＴＵの最大サイズは、対応するＣＵのサイズに対応することができる。
上記のように、イントラ予測は、同じピクチャの以前にコーディングされたＣＵからピクチャの現在のＣＵのＰＵを予測することを含む。より具体的には、映像符号器２２は、特定のイントラ予測モードを用いてピクチャの現在のＣＵをイントラ予測することができる。ＨＭ符号器は、最大３３のイントラ予測モードで構成することができる。従って、方向性（ｄｉｒｅｃｔｉｏｎａｌ）イントラ予測モードと方向性変換との間での１対１のマッピングをサポートするために、ＨＭ符号器及び復号器は、各々のサポートされる変換サイズに関して６６の行列を格納することが必要になる。さらに、すべての３３のイントラ予測モードがサポートされるためのブロックサイズは、相対的に大きいブロック、例えば、３２×３２ピクセル、６４×６４ピクセル、又はさらに大きくなることがある。
行先デバイス１６では、映像復号器２８が符号化された映像データ８を受信する。映像復号器２８は、量子化された係数を入手するために、エントロピーコーディング法、例えば、ＣＡＶＬＣ又はＣＡＢＡＣ、により受信された符号化された映像データ８、例えば、コーディングされたブロック、をエントロピー復号する。映像復号器２８は、逆量子化（量子化解除）及び逆変換関数を適用し、ピクセル領域内の残差ブロックを再構築する。映像復号器２８は、符号化された映像データに含まれる制御情報又は構文情報（例えば、コーディングモード、動きベクトル、フィルタ係数を定義する構文、等）に基づいて予測ブロックも生成する。映像復号器２８は、表示用の再構築された映像ブロックを生成するために予測ブロック及び再構築された残差ブロックの和を計算する。映像復号器２８によって行われる復号プロセス例のさらなる詳細が以下において図５に関して説明される。
ここにおいて説明されるように、Ｙは、ルミナンスを表すことができ、Ｃｂ及びＣｒは、三次元ＹＣｂＣｒ色空間（例えば、青と赤の色合い）のクロミナンスの２つの異なる値を表すことができる。幾つかの例では、各ピクセル位置は、三次元色空間に関する３つのピクセル値及びピクセル位置の深度に関する１つのピクセル値を実際に定義することができる。その他の例では、クロマ成分ごとに異なった数のルマ成分が存在することができる。例えば、クロマ成分当たり４つのルマ成分が存在することができる。さらに、深度及びテクスチャコンポーネントは、異なる解像度を有することができる。該例では、テクスチャビューコンポーネント（例えば、ルマ成分）と深度ビューコンポーネントとの間には１対１の関係は存在することができない。しかしながら、本開示の技法は、簡略化を目的として１つの次元に関する予測を対象にすることができる。それらの技法が１つの次元におけるピクセル値に関して説明される場合において、同様の技法はその他の次元に拡張することができる。特に、本開示の一態様により、映像符号器２２及び／又は映像復号器２８は、ピクセルのブロックを入手することができ、そのピクセルのブロックは、テクスチャビューコンポーネントと、深度ビューコンポーネントと、を含む。
幾つかの例では、映像符号器２２及び映像復号器２８は、動き補償中に１つ以上の内挿フィルタリング技法を使用することができる。すなわち、映像符号器２２及び／又は映像復号器２８は、完全整数ピクセル位置の組を備えるサポートをフィルタリングするために内挿フィルタを適用することができる。
行先デバイス１６の映像復号器２８は、テクスチャビューコンポーネントに関連する構文要素を含む追加情報とともに、１つ以上のコーディングされたブロックを符号化された映像ビットストリームの一部として受信する。映像復号器２８は、コーディングされたブロック８及び構文要素に基づいて３Ｄ再生のための映像データをレンダリングすることができる。本開示の技法により、及び以下においてさらに詳細に説明されるように、深度ビューコンポーネント６に関する構文要素を予測するためにテクスチャビューコンポーネント４に関してシグナリングされた構文要素を使用することができる。構文要素は、テクスチャビューコンポーネント４に関するスライスヘッダでシグナリングすることができる。深度ビューコンポーネント６に関する対応する構文要素は、テクスチャビューコンポーネント４に関する関連する構文要素から決定することができる。
深度ビューコンポーネント６に関する幾つかの構文要素は、テクスチャビューコンポーネント４に関するスライスヘッダでシグナリングすることができる。代替として、テクスチャビューコンポーネント４に関する幾つかの構文要素は、深度ビューコンポーネント６に関するスライスヘッダでシグナリングすることができる。一例では、ソースデバイス１２の映像符号器２２は、現在のビューのスライスヘッダに関する構文要素を基準スライスヘッダから予測し、及び、予測された構文要素に基づいて現在のビューをコーディングするように構成することができる。本開示の他の例では、行先デバイス１６の映像復号器３０は、現在のビューのスライスヘッダに関する構文要素を基準スライスヘッダから予測し、及び、予測された構文要素に基づいて現在のビューをコーディングするように構成することができる。
本開示の技法は、スライスヘッダ３ＤＶ拡張について説明する。それらの技法は、同じビュー及び同じアクセスユニットの共配置されたテクスチャビューコンポーネントに関するスライスヘッダ内に格納された構文要素から深度ビューコンポーネントに関する構文要素を予測するために適用することができる。アクセスユニットは、テクスチャビューコンポーネントと対応する深度ビューコンポーネントとを含むネットワーク抽象化層（ＮＡＬ）ユニットであることができる。構文要素の予測は、スライスヘッダレベルで制御することができる。深度ビューコンポーネント又はテクスチャビューコンポーネントのスライスヘッダ内の幾つかの構文要素は、基準スライスヘッダから予測することができる。
一例では、基準スライスヘッダは、予測された構文要素と同じアクセスユニットの同じビュー内のビューコンポーネントからのものであるか又は同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換ベースビューテクスチャからのものである。代替として、深度ビューコンポーネントの基準スライスヘッダは、同じビューのテクスチャビューコンポーネントのスライスヘッダ又は復号順序で第１のビューの深度ビューコンポーネントのスライスヘッダのいずれかである。同じアクセスユニットにおいて、スライスヘッダがいずれのビューからのものであるかを示すためにデルタビューオーダーインデックスＩＤをシグナリングすることができる。さらなる例では、基準スライスヘッダが深度ビューコンポーネント又はテクスチャビューコンポーネントのうちのいずれからであるかを示すフラグをシグナリングすることができる。特定のビューは、コーディングされたビットストリームでもシグナリングすることができる。
スライスヘッダ予測のその他の拡張は、スライスヘッダの構文要素を、ＡＶＣスライスヘッダ内のスライスヘッダ構文要素に関して使用される順序と異なるそれでスライスヘッダの構文要素を配置することを含むことができる。他の例では、各スライスヘッダ３ＤＶ拡張における制御フラグが、ｓｌｉｃｅ_ｔｙｐｅ、ｎｕｍ_ｒｅｆ_ｉｄｘ_１０_ａｃｔｉｖｅ_ｍｉｎｕｓ１、ｎｕｍ_ｒｅｆ_ｉｄｘ_１１_ａｃｔｉｖｅ_ｍｉｎｕｓ１、及び基準ピクチャリスト変更（ｍｏｄｉｆｉｃａｔｉｏｎ）が予測されるかどうかを示すことができる。幾つかの技法では、基準ピクチャリスト変更の予測が可能になったときには、基準ピクチャリスト変更を新たに導入された基準ピクチャリスト除外又は挿入構文テーブルに基づいて向上させることができる。
幾つかの例では、上述されるフラグ又はその他の表示は、スライスヘッダ３ＤＶ拡張のみにおいてシグナリングされる。深度又はテクスチャビューコンポーネントが示された後は、アクセスユニット内の所定のビューコンポーネントのスライスのスライスＩＤをさらにシグナリングすることができる。さらに、スライスＩＤは、スライスヘッダ又は対応するネットワーク抽象化層（ＮＡＬ）ユニットヘッダのいずれかで各ビューコンポーネントの各スライスに関してシグナリングすることができる。
図２は、図１の映像符号器２２の例をさらに詳細に示したブロック図である。映像符号器２２は、本開示の技法と一致して、深度ビューコンポーネントのための構文要素を予測するために使用することができるテクスチャビューコンポーネントに関する構文要素をシグナリングするブロックユニットを符号化する。映像符号器２２は、ここでは“コーダ”と呼ばれる専用の映像コンピュータデバイス又は装置の一例である。図２に示されるように、映像符号器２２は、ソースデバイス１２の映像符号器２２に対応する。しかしながら、他の例では、映像符号器２２は、異なるデバイスに対応することができる。さらなる例では、その他のユニット（例えば、その他の符号器／復号器（ＣＯＤＥＣ）が、映像符号器２２によって行われる技法と同様のそれらを行うこともできる。
映像符号器２２は、映像フレーム内のブロックのイントラ及びインターコーディングのうちの少なくとも１つを実施することができるが、例示を容易にするためにイントラコーディングコンポーネントは図２には示されていない。イントラコーディングは、空間予測に依存し、所定の映像フレーム内の映像の空間的冗長性を低減又は除去する。インターコーディングは、時間的予測に依存し、映像シーケンスの隣接するフレーム内の映像の時間的冗長性を低減又は除去する。イントラモード（Ｉモード（登録商標））は、空間に基づく圧縮モードを意味する。インターモード、例えば、予測（Ｐモード）又は両方向（Ｂモード）は、時間に基づく圧縮モードを意味することができる。本開示の技法は、インターコーディング中及びイントラコーディング中に適用される。しかしながら、例示を簡略化及び容易にすることを目的として、イントラコーディングユニット、例えば、空間予測ユニット、は図２には示されていない。
図２に示されるように、映像符号器２２は、符号化されるべき映像フレーム内の映像ブロックを受信する。一例では、映像符号器２２は、テクスチャビューコンポーネント４及び深度ビューコンポーネント６を受信する。他の例では、映像符号器は、映像ソース２０からビュー２を受信する。
図２の例では、映像符号器２２は、予測処理ユニット３２と、予測コーディングユニット（ＭＣＵ）と、マルチビュー映像プラス深度（ＭＶＤ）ユニット３３と、メモリ３４と、第１の加算器４８と、変換処理ユニット３８と、量子化ユニット４０と、エントロピーコーディングユニット４６と、を含む。映像ブロックの再構築に関して、映像符号器２２は、逆量子化ユニット４２と、逆変換処理ユニット４４と、第２の加算器５１と、デブロッキングユニット４３と、を含む。デブロッキングユニット４３は、ブロック境界をフィルタリングして再構築された映像からブロッキネスアーティファクトを除去するデブロッキングフィルタである。デブロッキングユニット４３は、映像符号器２２に含められている場合は、典型的には、第２の加算器５１の出力をフィルタリングする。デブロッキングユニット４３は、１つ以上のテクスチャビューコンポーネントに関するデブロッキング情報を決定することができる。デブロッキングユニット４３は、深度マップコンポーネントに関するデブロッキング情報を決定することもできる。幾つかの例では、１つ以上のテクスチャコンポーネントに関するデブロッキング情報は、深度マップコンポーネントに関するデブロッキング情報と異なることができる。一例では、図２に示されるように、変換処理ユニット３８は、ＨＥＶＣに関する“ＴＵ”とは反対に、機能ブロックを表す。
マルチビュー映像プラス深度（ＭＶＤ）ユニット３３は、テクスチャコンポーネントと深度情報、例えば、テクスチャビューコンポーネント４と深度ビューコンポーネント６、を備える１つ以上の映像ブロック（図２の“映像ブロック”）を受信する。ＭＶＤユニット３３は、ブロックユニット内の深度コンポーネントを符号化するための機能を映像符号器２２に提供する。ＭＶＤユニット３３は、テクスチャビューコンポーネント及び深度ビューコンポーネントを、結合して又は別々に、予測処理ユニット３２が深度情報を処理するのを可能にする形式で、予測処理ユニット３２に送信する。ＭＶＤユニット３３は、深度ビューコンポーネントが映像ブロックとともに含まれていることを変換処理ユニット３８にシグナリングすることもできる。その他の例では、映像符号器２２の各ユニット、例えば、予測処理ユニット３２、変換処理ユニット３８、量子化ユニット４０、エントロピーコーディングユニット４６、等、は、テクスチャビューコンポーネントに加えて深度情報を処理する機能を備える。
概して、映像符号器２２は、動き補償ユニット３７が同じブロックの深度コンポーネントに関する予測値を計算するときにブロックのルミナンス成分に関して計算された動きベクトルを再使用するように構成されるという点で、深度情報をクロミナンス情報と同様の方法で符号化する。同様に、映像符号器２２のイントラ予測ユニットは、イントラ予測を用いて深度ビューコンポーネントを符号化するときにルミナンス成分に関して（すなわち、ルミナンス成分の解析に基づいて）選択されたイントラ予測モードを使用するように構成することができる。
予測処理ユニット３２は、動き推定（ＭＥ）ユニット３５と、動き補償（ＭＣ）ユニット３７と、を含む。予測処理ユニット３２は、ピクセル位置に関する及びテクスチャコンポーネントに関する深度情報を予測する。予測処理ユニット３２には１つ以上の内挿フィルタ３９（ここでは“フィルタ３９”と呼ばれる）を含めることができ及び動き推定及び／又は動き補償の一部として内挿を行うためにＭＥユニット３５及びＭＣユニット３７のうちの１つ又は両方によって呼び出すことができる。内挿フィルタ３９は、実際には、数多くの異なるタイプの内挿及び内挿タイプのフィルタリングを容易にするための複数の異なるフィルタを表すことができる。従って、予測処理ユニット３２は、複数の内挿又は内挿に類似するフィルタを含むことができる。
符号化プロセス中に、映像符号器２２は、コーディングされるべき映像ブロック（図２の“映像ブロック”）を受信し、予測処理ユニット３２は、予測ブロック（図２の“予測ブロック”）を生成するためにインター予測コーディングを行う。予測ブロックは、テクスチャビューコンポーネントと深度ビュー情報との両方を含む。具体的には、ＭＥユニット３５は、メモリ３４内の予測ブロックを識別するための動き推定を行うことができ、ＭＣユニット３７は、予測ブロックを生成するための動き補償を行うことができる。
動き推定は、典型的には、動きベクトルを生成するプロセスであるとみなされ、映像ブロックに関する動きを推定する。例えば、動きベクトルは、現在のフレーム（又はその他のコーディングされたユニット）内のコーディングされるべきブロックに対する予測又は基準フレーム（又はその他のコーディングされたユニット、例えば、スライス）内の予測ブロックの変位を示すことができる。動きベクトルは、完全整数又は整数よりも小さい（ｓｕｂ−ｉｎｔｅｇｅｒ）ピクセル精度を有することができる。例えば、動きベクトルの水平成分及び垂直成分の両方とも、各々の完全整数成分及び整数よりも小さい成分を有することができる。基準フレーム（又はフレームの一部分）は、現在の映像ブロックが属する映像フレーム（又は映像フレームの一部分）の時間的に前又は後に配置することができる。動き補償は、典型的には、予測ブロックをメモリ３４からフェッチする（ｆｅｔｃｈ）又は生成するプロセスであるとみなされ、動き推定によって決定された動きベクトルに基づいて予測データを内挿する又は生成することを含むことができる。
ＭＥユニット３５は、１つ以上の基準フレーム（例えば、前の及び／又は後続するフレーム）の基準ブロックとコーディングされるべき映像ブロックを比較することによって映像ブロックに関する少なくとも１つの動きベクトルを計算する。基準フレームに関するデータは、メモリ３４に格納することができる。ＭＥユニット３５は、分数ピクセル精度で動き推定を行うことができ、フラクショナルピクセル、フラクショナルペル（ｆｒａｃｔｉｏｎａｌ ｐｅｌ）、整数よりも小さい、サブピクセル動き推定とも呼ばれる。フラクショナルピクセル動き推定では、ＭＥユニット３５は、整数ピクセル位置以外の位置に対する変位を示す動きベクトルを計算する。従って、動きベクトルは、分数ピクセル精度、例えば、１／２ピクセル精度、１／４ピクセル精度、１／８ピクセル精度、又はその他の分数ピクセル精度を有することができる。このようにして、フラクショナルピクセル動き推定は、予測処理ユニット３２が整数ピクセル（全ピクセル）位置よりも高い精度で動きを推定するのを可能にし、従って、予測処理ユニット３２は、より正確な予測ブロックを生成する。フラクショナルピクセル動き推定は、予測処理ユニット３２が第１の解像度で深度情報を予測すること及び第２の解像度でテクスチャコンポーネントを予測することを可能にする。例えば、テクスチャコンポーネントは、全ピクセル精度で予測され、深度情報は、１／２ピクセル精度まで予測される。その他の例では、深度情報およびテクスチャコンポーネントに関して動きベクトルのその他の解像度を使用することができる。
ＭＥユニット３５は、動き推定プロセス中に必要な内挿のための１つ以上のフィルタ３９を呼び出すことができる。幾つかの例では、メモリ３４は、整数よりも小さいピクセルに関する内挿値を格納することができ、それは、例えば、フィルタ３９を用いて加算器５１によって計算することができる。例えば、加算器５１は、メモリ３４に格納されるべき再構築されたブロックにフィルタ３９を適用することができる。
予測処理ユニット３２が予測ブロックを生成した時点で、映像符号器２２は、コーディング中の原映像ブロックから予測ブロックを減じることによって残差映像ブロック（図２の“残差ブロック”）を形成する。この減算は、原映像ブロック内のテクスチャコンポーネントと予測ブロック内のテクスチャコンポーネントとの間で、及び原映像ブロック内の深度情報又は予測ブロック内の深度情報からの深度マップに関して生じることができる。加算器４８は、この減算演算を行うコンポーネント又はコンポーネント（複数）を表す。
変換処理ユニット３８は、変換、例えば、離散コサイン変換（ＤＣＴ）又は概念的に類似する変換、を残差ブロックに適用し、残差変換ブロック係数を備える映像ブロックを生成する。変換処理ユニット３８は、ＨＥＶＣによって定義されるＣＵのＴＵとは対照的に、映像データのブロックの残差係数に変換を適用する映像符号器２２のコンポーネントを表すことが理解されるべきである。例えば、変換処理ユニット３８は、ＤＣＴに概念的に類似するその他の変換、例えば、Ｈ．２６４によって定義されるそれら、を実施することができる。該変換は、例えば、方向性変換（例えば、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ定理変換）、ウェーブレット変換、整数変換、サブバンド変換、又はその他のタイプの変換、を含む。いずれの場合も、変換処理ユニット３８は、残差ブロックに変換を適用し、残差変換係数のブロックを生成する。変換処理ユニット３８は、対応する残差ブロック内のテクスチャコンポーネント及び深度情報の両方に対して同じタイプの変換を適用することができる。各テクスチャコンポーネント及び深度コンポーネントに関して別個の残差ブロックが存在することになる。変換は、残差情報をピクセル領域から周波数領域に変換する。
量子化ユニット４０は、ビットレートをさらに低減させるために残差変換係数を量子化する。量子化プロセスは、幾つかの又はすべての係数と関連付けられたビット深度を低減させることができる。量子化ユニット４０は、深度画像コーディング残差を量子化することができる。量子化に引き続き、エントロピーコーディングユニット４６は、量子化された変換係数をエントロピーコーディングする。例えば、エントロピーコーディングユニット４６は、ＣＡＶＬＣ、ＣＡＢＡＣ、又は他のエントロピーコーディング法を実施することができる。
エントロピーコーディングユニット４６は、１つ以上の動きベクトル及び予測処理ユニット３２又は映像符号器２２のその他のコンポーネント、例えば、量子化ユニット４０、から得られたサポート情報をコーディングすることもできる。１つ以上の予測構文要素は、コーディングモード、１つ以上の動きベクトルに関するデータ（例えば、水平及び垂直成分、基準リスト識別子、リストインデックス、及び／又は動きベクトル解像度シグナリング情報）、使用された内挿技法の表示、一組のフィルタ係数、ルマ成分の解像度に対する深度画像の相対的解像度の表示、深度画像コーディング残差に関する量子化行列、深度画像に関するデブロッキング情報、又は予測ブロックの生成と関連付けられたその他の情報を含むことができる。これらの予測構文要素は、シーケンスレベル又はピクチャレベルに含めることができる。
１つ以上の構文要素は、ルマ成分と深度コンポーネントとの間の量子化パラメータ（ＱＰ）差分を含むこともできる。ＱＰ差分は、スライスレベルでシグナリングすることができ及びテクスチャビューコンポーネントに関するスライスヘッダ内に含めることができる。その他の構文要素は、コーディングされたブロックユニットレベルでシグナリングすることもでき、深度ビューコンポーネントに関するコーディングされたブロックパターン、深度ビューコンポーネントに関するデルタＱＰ、動きベクトル差分、又は予測ブロックの生成と関連付けられたその他の情報を含む。動きベクトル差分は、ターゲット動きベクトルとテクスチャコンポーネントの動きベクトルとの間のデルタ値として、又は、ターゲット動きベクトル（すなわち、コーディング中のブロックの動きベクトル）とブロックに関する隣接動きベクトルからの予測子（例えば、ＣＵのＰＵ）との間のデルタ値としてシグナリングすることができる。エントロピーコーディングユニット４６によるエントロピーコーディングに引き続き、符号化された映像及び構文要素は、他のデバイスに送信すること又はのちの送信又は取り出しのために（例えば、メモリ３４に）保存することができる。
逆量子化ユニット４２及び逆変換処理ユニット４４は、例えば、基準ブロックとしてののちの使用のために、ピクセル領域内の残差ブロックを再構築するために、逆量子化及び逆変換をそれぞれ適用する。再構築された残差ブロック（図２の“再構築された残差ブロック”）は、変換処理ユニット３８に送信された残差ブロックの再構築されたバージョンを表すことができる。再構築された残差ブロックは、量子化及び逆量子化動作によって生じる詳細の喪失に起因して加算器４８によって生成された残差ブロックと異なることがある。加算器５１は、メモリ３４への格納のための再構築された映像ブロックを生成するために、再構築された残差ブロックを予測処理ユニット３２によって生成された動き補償された予測ブロックに加える。再構築された映像ブロックは、後続する映像フレーム又は後続するコーディングされたユニット内のブロックユニットを後続してコーディングするために使用することができる基準ブロックとして予測処理ユニット３２によって使用することができる。
このようにして、映像符号器２２は、画像のビューを示すビューコンポーネントを備えるコーディングされたブロックユニットを受信し、及び、テクスチャ構文要素を含む１つ以上のテクスチャビューコンポーネントに関するテクスチャスライスヘッダを生成するように構成された映像符号器の例を表し、ビューコンポーネントは、１つ以上のテクスチャビューコンポーネントを備え、深度ビューコンポーネントに関する深度構文要素は、テクスチャスライスヘッダ内のテクスチャ構文要素から決定することができる。
幾つかの事例では、テクスチャビューコンポーネント及び深度ビューコンポーネントのコーディングに関する情報は、コーディングされたビットストリーム内に含めるための１つ以上の構文要素として示される。幾つかの例では、深度スライスヘッダは、構文要素を備え、開始マクロブロックのスライスアドレス位置、スライスタイプ、使用されるべきピクチャパラメータセット（ＰＳＳ）、スライスの初期ＱＰとＰＰＳ内でシグナリングされるＱＰとの間のデルタＱＰ、基準ピクチャの順序（ｆｒａｍｅ_ｎｕｍとして表される）、及び現在のピクチャの表示順序（ＰＯＣ）のうちの少なくとも１つを含む。深度スライスヘッダは、基準ピクチャリスト構築及び関連する構文要素、メモリ管理制御動作及び関連する構文要素、及び加重予測及び関連する構文要素のうちの少なくとも１つも備えることができる。
図３は、本開示の技法による、マルチビュー復号順序例を示した概念図である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）が図３に示される。復号順序配置は、時間最優先（ｔｉｍｅ−ｆｉｒｓｔ）コーディングと呼ばれる。各アクセスユニットは、１つの出力時間インスタンスに関するすべてのビューのコーディングされたピクチャを含むように定義される。アクセスユニットの復号順序は、出力又は表示順序と同一でないことができることに注目すること。
図４は、マルチビュー映像コーディングに関するＭＶＣ（ＭＶＣ）予測構造の一例の図である。ＭＶＣは、Ｈ．２６４／ＡＶＣの拡張である。図４は、マルチビュー映像コーディングに関する典型的なＭＶＣ予測構造を例示する（各ビュー内でのインターピクチャ予測及びインタービュー予測の両方を含む）。ＭＶＣ予測構造は、各ビュー内でのインターピクチャ予測及びインタービュー予測の両方を含む。図４において、予測は矢印によって示され、予測の参照のために矢印がそれぞれの方向を向いている。図４のＭＶＣ予測構造は、時間最優先復号順序配置とともに使用することができる。時間最優先復号順序では、各アクセスユニットは、１つの出力時間インスタンスに関するすべてのビューのコーディングされたピクチャを含むように定義することができる。アクセスユニットの復号順序は、出力又は表示順序と同一でないことができる。
ＭＶＣでは、インタービュー予測は、ずれ（ｄｉｓｐａｒｉｔｙ）動き補償によってサポートされ、それは、Ｈ．２６４／ＡＶＣ動き補償の構文を使用するが、異なるビュー内のピクチャを基準ピクチャにすることを可能にする。２つのビューのコーディングは、ＭＶＣによってもサポート可能である。ＭＶＣ符号器は、３つ以上のビューを３Ｄ映像入力とし、ＭＶＣ復号器は、マルチビュー表現を復号することができる。ＭＶＣ復号器を有するレンダラ（ｒｅｎｄｅｒｅｒ）は、複数のビューを有する３Ｄ映像コンテンツを復号することができる。
ＭＶＣでは、同じアクセスユニット内の（すなわち、同じ時間インスタンスを有する）ピクチャをインタービュー予測することができる。非ベースビューのうちの１つ内のピクチャをコーディングするときには、あるピクチャが異なるビュー内に存在するが、同じ時間インスタンスを有する場合は基準ピクチャリスト内に追加することができる。インタービュー予測基準ピクチャは、インター予測基準ピクチャとまったく同じように、基準ピクチャリストのいずれの位置にも置くことができる。
図４に示されるように、ビューコンポーネントは、参照のためにその他のビット内のビューコンポーネントを使用することができる。ＭＶＣでは、インタービュー予測は、あたかも他のビュー内のビューコンポーネントがインター予測基準であるものとして実現することができる。シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張では潜在的なインタービュー基準をシグナリングすることができる。潜在的なインタービュー基準は、基準ピクチャリスト構築プロセスによって変更することができ、そのことは、インター予測又はインタービュー予測基準の柔軟な順序設定を可能にする。以下の表１は、ＳＰＳ ＭＶＣ拡張例を示す。
対照的に、ＨＥＶＣでは、スライスヘッダは、Ｈ．２６４／ＡＶＣにおける設計原則と同様のそれに準じる。概念的には、ＨＥＶＣ及びＨ．２６４／ＡＶＣの両方とも、映像コーディング層（ＶＣＬ）と、ネットワーク抽象化層（ＮＡＬ）とを含む。ＶＣＬは、すべての低レベルの信号処理を含み、ブロック分割、インター及びイントラ予測、変換に基づくコーディング、エントロピーコーディング、ループフィルタリング、等を含む。ＮＡＬは、コーディングされたデータ及び関連付けられた情報をカプセルに入れてＮＡＬユニットにし、それは、映像送信及びアプリケーションシステムにやさしい（ｆｒｉｅｎｄｌｙ）フォーマットである。さらに、現在のＨＥＶＣ仕様ではＨＥＶＣスライスヘッダは、適応型ループフィルタ（ＡＬＦ）パラメータ構文を入れることができる。幾つかの例では、深度スライスヘッダは、１つ以上の適応型ループフィルタパラメータを備える。
Ｈ．２６４／ＡＶＣと同様に、ＨＥＶＣビットストリームは、幾つかのアクセスユニットを含み、各アクセスユニットは、別個のキャプチャリング又は提示時間を有するピクチャと関連付けられたコーディングされたデータを含む。
各アクセスユニットは、ＮＡＬユニットに分割され、１つ以上のＶＬＣ ＮＡＬユニット（すなわち、コーディングされたスライスＮＡＬユニット）及びゼロ以上の非ＶＬＣ ＮＡＬユニット、例えば、パラメータセットＮＡＬユニット又は補助的エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）ＮＡＬユニットを含む。各ＮＡＬユニットは、ＮＡＬユニットヘッダと、ＮＡＬユニットペイロードと、を含む。ＮＡＬユニットヘッダ内の情報は、ストリームに関するインテリジェントで、メディアアウェア（ｍｄｉａ−ａｗａｒｅ）な動作、例えば、ストリーム適合化、のためのメディアゲートウェイ、メディアアウェアネットワークエレメント（Ｍｅｄｉａ Ａｗａｒｅ Ｎｅｔｗｏｒｋ Ｅｌｅｍｅｎｔ）（ＭＡＮＥ）とも呼ばれる、によってアクセスすることができる。
Ｈ．２６４／ＡＶＣと比較した場合のＨＥＶＣの１つの相違点は、ピクチャ内のコーディング構造である。ＨＥＶＣでは、各ピクチャは、最大で６４×６４のルマサンプルのツリーブロック（ｔｒｅｅｂｌｃｏｋ）に分割される。ツリーブロックは、一般的な四分木セグメンテーション構造を用いてより小さいコーディングユニット（ＣＵ）に繰り返し分割することができる。ＣＵは、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）にさらに分割することができる。予測ユニット（ＰＵ）は、イントラ及びインター予測のために使用することができる。変換ユニットは、変換及び量子化に関して定義することができる。ＨＥＶＣは、幾つかのＴＵサイズに関する整数変換を含む。
予測的にコーディングされたピクチャは、ユニ予測された（ｕｎｉ−ｐｒｅｄｃｉｔｅｄ）及びバイ予測された（ｂｉ−ｐｒｅｄｉｃｔｅｄ）スライスを含むことができる。ピクチャコーディング構造を構築する柔軟性は、Ｈ．２６４／ＡＶＣにほぼ匹敵する。コーディングされたピクチャのサイズにかかわらず、ＨＥＶＣ符号器内のＶＣＬは、ＩＰネットワークにおいて共通してみられる最大送信ユニット（ＭＴＵ）サイズに合わせて好適化可能であるように設計された構文構造を生成し、ＨＥＶＣ復号器内のＶＣＬは消費する。ピクチャセグメンテーションは、スライスを通じて達成させることができる。ツリーブロック内でのスライス境界の構築を可能にする“微細粒度スライス”（ｆｉｎｅ ｇｒａｎｕｌａｒｉｔｙ ｓｌｉｃｅ）（ＦＧＳ）の概念が含まれている。
Ｈ．２６４／ＡＶＣと同じように、インループデブロッキングフィルタリングを再構築されたピクチャに適用することができる。ＨＥＶＣは、デブロッキングフィルタリング後に適用することができる２つのインループフィルタ、すなわち、サンプルアダプティブオフセット（ＳＡＯ）及びアダプティブループフィルタ（ＡＬＦ）も含む。
Ｈ．２６４／ＡＶＣと比較した場合のＨＥＶＣの他の相違点は、高レベルの並列アーキテクチャでの処理を可能にするように設計されているＶＣＬに基づくコーディングツールの利用可能性である。通常のスライスを、ＨＥＶＣ及びＨ．２６４／ＡＶＣの両方におけるように、並列処理目的で使用することができる。通常のスライスに加えて、３つの新しい並列処理ツール、すなわち、エントロピースライス、タイル、及びウェーブフロント並列処理、を利用可能である。
現在策定中の高効率映像コーディング（ＨＥＶＣ）規格もスライスヘッダを使用する。ＨＥＶＣでは、スライスヘッダは、Ｈ．２６４／ＡＶＣにおける設計原則と同じそれに準じている。ＨＥＶＣにおけるスライスヘッダは、アダプティブループフィルタ（ＡＬＦ）パラメータ構文も含む。しかしながら、アダプティブループフィルタパラメータをスライスヘッダに含めるべきかどうかについては議論の余地がある。
Ｈ．２６４／ＭＶＣ及びＨＥＶＣ内でのスライスヘッダの現在の構築には幾つかの欠点がある。例えば、幾つかの構文要素は軽量（ｌｉｇｈｔｗｅｉｇｈｔ）でないことであるが、すべての“軽量でない”構文要素に関して予測技法を使用するのを可能にすることは有益でないことがある。例えば、基準ピクチャリスト変更構文テーブル全体の予測は、有益ではないことがある。さらに、同じビューコンポーネント間でのスライスヘッダ予測は、望ましい効率を常に生み出すとはかぎらない。
本開示の技法の範囲において、スライスヘッダ構文要素に関する構文の予測は、現在のスライスヘッダによる使用のために他のスライスヘッダ（例えば、基準スライスヘッダ）から構文要素をコピーすること又は挿入することを伴うことがある。コピー又は挿入されるべき構文要素は、フラグ又はインデックスによって指定することができる。さらに、フラグ又はインデックスは、基準スライスヘッダを指定することができる。
３ＤＶコーデックでは、特定の時間インスタンスにおける各ビューのビューコンポーネントは、テクスチャビューコンポーネントと、深度ビューコンポーネントと、を含むことができる。スライス構造は、誤り弾性目的で使用することができる。しかしながら、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントが正しく受信されたときしか有意でない。深度ビューコンポーネントに関するすべての構文要素を含めることは、深度ビューコンポーネントのＮＡＬユニットに関するスライスヘッダを相対的に大きくする場合がある。深度スライスヘッダのサイズは、テクスチャビューコンポーネントに関するテクスチャスライスヘッダ内の構文要素から幾つかの構文要素を予測することによって小さくすることができる。さらに、ビューに関するスライスヘッダのサイズは、他のビューの構文要素から幾つかの構文要素を予測することによって小さくすることができる。
例えば、図１のソースデバイス１２と行先デバイス１６の間でマルチビュー映像プラス深度ブロックユニット及び構文要素を転送するためにビットストリームを使用することができる。ビットストリームは、コーディング規格ＩＴＵ Ｈ．２６４／ＡＶＣに準拠することができ、特に、マルチビュー映像コーディング（ＭＶＣ）ビットストリーム構造に準じる。すなわち、幾つかの例では、ビットストリームは、Ｈ．２６４／ＡＶＣのＭＶＣ拡張に準拠する。その他の例では、ビットストリームは、ＨＥＶＣのマルチビュー拡張又は他の規格のマルチビュー拡張に準拠する。さらにその他の例では、その他のコーディング規格が使用される。
典型的なＭＶＣビットストリーム順序（復号順序）の手はずは、時間最優先のコーディングである。各アクセスユニットは、１つの出力時間インスタンスに関するすべてのビューのコーディングされたピクチャを入れるように定義される。アクセスユニットの復号順序は、出力又は表示順序と同一であってもなくてもよい。典型的には、ＭＶＣ予測は、各ビュー内のインターピクチャ予測及びインタービュー予測の両方を含むことができる。ＭＶＣでは、インタービュー予測は、ずれ動き補償によってサポートすることができ、Ｈ．２６４／ＡＶＣ動き補償の構文を使用するが、異なるビュー内のピクチャを基準ピクチャとして使用するのを可能にする。
２つのビューのコーディングがＭＶＣによってサポートされる。ＭＶＣの利点の１つは、ＭＶＣ符号器が３つ以上のビューを３Ｄ映像入力として使用することが可能であり、ＭＶＣ復号器は２つビューをマルチビュー表現として復号できることである。従って、ＭＶＣ復号器を有するレンダラは、３Ｄ映像コンテンツを複数のビューを有するとして取り扱うことができる。以前は、ＭＶＣは、補助的エンハンスメント情報（ＳＥＩ）メッセージ（ステレオ情報又は空間インターリービングピクチャ）を有するＨ．２６４／ＡＶＣと同様に、深度マップ入力を処理しなかった。
Ｈ．２６４／ＡＶＣ規格では、映像テレフォニー、格納、又はストリーミング映像、等の用途に対処する“ネットワークにやさしい”映像表現のためにネットワーク抽象化層（ＮＡＬ）ユニットが定義されている。ＮＡＬユニットは、映像コーディング層（ＶＣＬ）ＮＡＬユニット及び非ＶＣＬ ＮＡＬユニットに分類することができる。ＶＣＬユニットは、コア圧縮エンジンを内蔵すること及びブロック、マクロブロック（ＭＢ）、及びスライスレベルを備えることができる。その他のＮＡＬユニットは、非ＶＣＬ ＮＡＬユニットである。
２Ｄ映像符号化例では、各ＮＡＬユニットは、１バイトのＮＡＬユニットヘッダ及び可変サイズのペイロードを内蔵する。ＮＡＬユニットタイプを指定するために５ビットが使用される。３ビットはｎａｌ_ｒｅｆ_ｉｄｃのために使用され、それは、ＮＡＬユニットはその他のピクチャ（ＮＡＬユニット）によって参照される上でどれだけ重要であるかを示す。例えば、ｎａｌ_ｒｅｆ_ｉｄｃを０に設定することは、ＮＡＬユニットがインター予測のために使用されないことを意味する。Ｈ．２６４／ＡＶＣは３Ｄ映像符号化、例えば、スケーラブル映像コーディング（ＳＶＣ）規格、を含むように拡張されるため、ＮＡＬヘッダは、２Ｄシナリオのそれと同様であることができる。例えば、ＮＡＬユニットが４つのコンポーネントのＮＡＬユニットであることを識別するためにＮＡＬユニットヘッダ内の１つ以上のビットが使用される。
ＮＡＬユニットヘッダは、ＭＶＣ ＮＡＬユニットのために使用することもできる。しかしながら、ＭＶＣでは、プリフィックスＮＡＬユニット及びＭＶＣコーディングされたスライスＮＡＬユニットを除くＮＡＬユニットヘッダ構造を保持することができる。ＭＶＣコーディングされたスライスＮＡＬユニットは、４バイトヘッダと、ＮＡＬユニットペイロードと、を備えることができ、それは、ブロックユニット、例えば、図１のコーディングされたブロック８、を含むことができる。ＭＶＣ ＮＡＬユニットヘッダ内の構文要素は、ｐｒｉｏｒｉｔｙ_ｉｄと、ｔｅｍｐｏｒａｌ_ｉｄと、ａｎｃｈｏｒ_ｐｉｃ_ｆｌａｇと、ｖｉｅｗ_ｉｄと、ｎｏｎ_ｉｄｒ_ｆｌａｇと、ｉｎｔｅｒ_ｖｉｅｗ_ｆｌａｇと、を含むことができる。その他の例では、ＭＶＣ ＮＡＬユニットヘッダにはその他の構文要素が含まれる。
構文要素ａｎｃｈｏｒ_ｐｉｃ_ｆｌａｇは、ピクチャがアンカーピクチャであるか又は非アンカーピクチャであるかを示すことができる。アンカーピクチャ及び出力順序（すなわち、表示順序）でそれに続くすべてのピクチャは、復号順序（すなわち、ビットストリーム順序）で前のピクチャを復号せずに正確に復号することができ、従って、ランダムアクセスポイントとして使用することができる。アンカーピクチャ及び非アンカーピクチャは、異なる依存性を有することができ、それらの両方とも、シーケンスパラメータセットでシグナリングすることができる。
ＭＶＣで定義されるビットストリーム構造は、２つの構文要素、すなわち、ｖｉｅｗ_ｉｄ及びｔｅｍｐｏｒａｌ_ｉｄ、が特徴であることができる。構文要素ｖｉｅｗ_ｉｄは、各ビューの識別子を示すことができる。ＮＡＬユニットヘッダ内のこの識別子は、復号器でのＮＡＬユニットの簡単な識別及び表示のための復号されたビューへの素早いアクセスを可能にする。構文要素ｔｅｍｐｏｒａｌ_ｉｄは、時間的スケーラビリティ階層又は間接的にフレームレートを示すことができる。例えば、より小さい最大ｔｅｍｐｏｒａｌ_ｉｄ値を有するＮＡＬユニットを含む動作ポイントは、より大きな最大ｔｅｍｐｏｒａｌ_ｉｄ値を有する動作ポイントよりも低いフレームレートを有することができる。より高いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャは、典型的には、ビュー内のより低いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャに依存するが、より高いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャに依存することはできない。
ＮＡＬユニットヘッダ内の構文要素ｖｉｅｗ_ｉｄ及びｔｅｍｐｏｒａｌ_ｉｄは、ビットストリームの抽出及び好適化の両方のために使用することができる。構文要素ｐｒｉｏｒｉｔｙ_ｉｄは、単純な１経路のビットストリーム好適化プロセスのために主に使用することができる。構文要素ｉｎｔｅｒ_ｖｉｅｗ_ｆｌａｇは、このＮＡＬユニットが異なるビュー内の他のＮＡＬユニットをインタービュー予測するために使用されるかどうかを示すことができる。
ＭＶＣは、シーケンスパラメータセット（ＳＰＳ）を採用すること及びＳＰＳ ＭＶＣ拡張を含むこともできる。パラメータセットは、Ｈ．２６４／ＡＶＣでのシグナリングのために使用される。シーケンスパラメータセットは、シーケンスレベルのヘッダ情報を備える。ピクチャパラメータセット（ＰＰＳ）は、まれに変化するピクチャレベルのヘッダ情報を備える。パラメータセットを使用することで、このまれに変化する情報が各シーケンス又はピクチャに関して常には繰り返されず、従って、コーディング効率が向上される。さらに、パラメータセットの使用は、ヘッダ情報のアウトオブバンド送信を可能にし、誤り弾性のための冗長な送信の必要性をなくす。アウトオブバンド送信の幾つかの例では、パラメータセットＮＡＬユニットは、その他のＮＡＬユニットとは異なるチャネルで送信される。ＭＶＣでは、ＳＰＳ ＭＶＣ拡張においてビュー依存性をシグナリングすることができる。すべてのインタービュー予測は、ＳＰＳ ＭＶＣ拡張によって指定された適用範囲内で行うことができる。
幾つかの以前の３Ｄ映像符号化技法では、例えば、ＹＣｂＣｒ色空間内の色成分が１つ以上のＮＡＬユニットでコーディングされ、深度画像は１つ以上の別個のＮＡＬユニットでコーディングされるような形でコンテンツがコーディングされる。しかしながら、いずれの単一のＮＡＬユニットも、アクセスユニットのテクスチャ及び深度画像のコーディングされたサンプルを含まないときには、幾つかの問題が発生することがある。例えば、３Ｄ映像復号器では、各フレームのテクスチャ画像及び深度画像の両方を復号後に、深度マップ及びテクスチャに基づくビューレンダリングが起動されて仮想ビューが生成されることが予想される。アクセスユニットに関する深度画像のＮＡＬユニット及びテクスチャのＮＡＬユニットが順次にコーディングされる場合は、ビューレンダリングは、アクセスユニット全体が復号されるまで開始することができない。このことは、３Ｄ映像がレンダリングされるのに要する時間の増加に結びつく可能性がある。
さらに、テクスチャ画像及び関連付けられた深度マップ画像は、コーデック内の様々なレベル、例えば、シーケンスレベル、ピクチャレベル、スライスレベル、及びブロックレベル、で何らかの情報を共有することができる。この情報をコーディングして２つのＮＡＬユニットにすることは、その情報を共有又は予測するときに余分な実装上の負担を生み出すことになる。従って、符号器は、フレームに関する動き推定を２回行わなければならず、テクスチャに関して１回及び深度マップに関して１回である。同様に、復号器は、フレームに関して動き補償を２回行うことが必要になることがある。
ここにおいて説明されるように、３Ｄ映像をサポートするために既存の規格、例えば、ＭＶＣ、に技法が追加される。３Ｄ映像処理のためにマルチビュー映像プラス深度（ＭＶＤ）をＭＶＣに追加することができる。３Ｄ映像符号化技法は、例えば、ビュー角度をスムースに変える又はコンバージェンス又は深度の知覚を後方又は前方に調整する上での既存の映像規格の柔軟性及び拡張性を高めることを含むことができ、それらは、例えば、デバイスの仕様又はユーザの選好に基づくことができる。コーディング規格は、３Ｄ映像での仮想ビューの生成のために深度マップを利用するように拡張することもできる。
以下の表は、本開示の技法を実装するための構文要素例を示す。
１に等しい構文要素ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｉｎｈｅｒｉｔ_ｆｌａｇは、基準ピクチャリスト構築関連構文要素が基準スライスヘッダ内のそれらと同じであることを示す。０に等しい構文要素ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｉｎｈｅｒｉｔ_ｆｌａｇは、基準ピクチャリスト構築関連構文要素が基準スライスヘッダ内のそれらと同じでなく、このスライスヘッダ内にさらに存在できることを示す。
１に等しい構文要素ｒｅｆ_ｐｉｃ_ｉｎｓｉｄｅ_ｖｉｅｗ_ｏｒ_ｂａｓｅ_ｖｉｅｗ_ｆｌａｇは、基準スライスヘッダが、同じアクセスユニットの現在のビューコンポーネント内に既に存在しているテクスチャ又は深度ビューコンポーネントからのスライスヘッダであることを示す。０に等しい構文要素ｒｅｆ_ｐｉｃ_ｉｎｓｉｄｅ_ｖｉｅｗ_ｏｒ_ｂａｓｅ_ｖｉｅｗ_ｆｌａｇは、基準スライスヘッダがＡＶＣ互換可能ベースビュー（テクスチャ）のスライスヘッダであることを示す。
他の例として、１に等しいｒｅｆ_ｐｉｃ_ｉｎｓｉｄｅ_ｖｉｅｗ_ｏｒ_ｂａｓｅ_ｖｉｅｗ_ｆｌａｇは、基準スライスヘッダがベースビューの深度ビューコンポーネントのスライスヘッダであることを示すことができる。ｒｅｆ_ｐｉｃ_ｉｎｓｉｄｅ_ｖｉｅｗ_ｏｒ_ｂａｓｅ_ｖｉｅｗ_ｆｌａｇが０に等しいときは、基準スライスヘッダがベースビューのテクスチャ又は深度のいずれのスライスヘッダであるかをシグナリングするための追加のフラグが導入される。
構文要素ＮｕｍＲｅｆｘＤｅｌｔａは、現在のスライスヘッダでシグナリングされたｎｕｍ_ｒｅｆ_ｉｄｘ_ｌｘ_ａｃｔｉｖｅ_ｍｉｎｕｓ１の値と基準スライスヘッダ内のｎｕｍ_ｒｅｆ_ｉｄｘ_ｌｘ_ａｃｔｉｖｅ_ｍｉｎｕｓ１の値との差分に等しくなるように導き出される。
１に等しい構文要素ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｉｎｓｅｒｔｉｏｎ＿ｌｘは、基準スライスヘッダの構文要素に従って構築されたＲｅｆＰｉｃＬｉｓｔｘにＲｅｆＰｉｃＬｉｓｔｘの基準ピクチャが加えられることを示す。０に等しい構文要素ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｉｎｓｅｒｔｉｏｎ＿ｌｘは、基準スライスヘッダの構文要素に従って構築されたＲｅｆＰｉｃＬｉｓｔｘにＲｅｆＰｉｃＬｉｓｔｘの基準ピクチャが加えられないことを示す。
１に等しい構文要素ｅｘｃｌｕｄｉｎｇ_ｆｒｏｍ_ｂｅｇｉｎｉｎｇ_ｏｒ＿ｅｎｄｉｎｇ_ｌｘは、基準スライスヘッダの構文要素に従って構築されたＲｅｆＰｉｃＬｉｓｔｘからＲｅｆＰｉｃＬｉｓｔｘの基準ピクチャが除外されることを示す。０に等しい構文要素ｅｘｃｌｕｄｉｎｇ_ｆｒｏｍ_ｂｅｇｉｎｉｎｇ_ｏｒ＿ｅｎｄｉｎｇ_ｌｘは、基準ピクチャ変更構文がＲｅｆＰｉｃＬｉｓｔｘに関してシグナリングできることを示す。従って、ＲｅｆＰｉｃＬｉｓｔｘに関する基準ピクチャリスト構築は、このスライスヘッダ内のシグナリングされた構文に基づく。存在しないときには、このフラグは、０に等しいと推測される。
構文要素ＮｅｗＲＰＬＲＦｌａｇｘは、次のように設定される。
if(ref_pic_list_insertion_lx)NewRPLRFlagx = false;
else if (ref_pic_list_exclusing lx)NewRPLRFlagx = false;
else NewRPLRFlagx = true

基準ピクチャリスト挿入に関する復号プロセスは、基準ピクチャリスト変更（ＲＰＬＭ）と同様であり、開始ｐｉｃＮｕｍｂｅｒは次のように設定される。（基準スライスヘッダ内の構文によって生成された）リストの始めに基準ピクチャが挿入される場合は、ｐｉｃＮｕｍｂｅｒは、新しいＲＰＬＭの開始番号と同じに設定される。基準ピクチャがリストの最後に挿入される場合は、ｐｉｃＮｕｍｂｅｒは、ＲＰＬＭに基づいて最後の順序が変更されたフレームの番号に設定される。
表５は、他のスライスヘッダ３ＤＶ拡張例を示す。
各ビューコンポーネントは、シーケンスパラメータセット内で予め定義すること又はシグナリングすることができることに注目すること。すなわち、各ビューコンポーネントは、それがテクスチャビューコンポーネントであるか又は深度ビューコンポーネントであるかにかかわらずＳＰＳ内で予め定義すること又はシグナリングすることができる。
構文要素ｄｅｌｔａ_ｖｉｅｗ_ｉｄｘは、現在のスライスヘッダが予測されるビューコンポーネントのビューオーダーインデックスを指定する。現在のビューのＶＯＩｄｘ（ビューオーダーインデックス）マイナスｄｅｌｔａ_ｖｉｅｗ_ｉｄｘが基準ビューコンポーネントのビューオーダーインデックスである。ｄｅｌｔａ_ｖｉｅｗ_ｉｄｘが０に等しいときには、基準ビューコンポーネントは、同じアクセスユニット内の同じビューの前のコーディングされた映像コンポーネントである。基準ビューコンポーネントが異なるビュー（例えば、ビューＡ）内にある場合は、異なるビュー（ビューＡ）は、現在のビューの依存ビューでなければならない。異なるビュー（ビューＡ）は、現在のビューに直接的に又は間接的に依存したビューでなければならない。
フラグｆｒｏｍ_ｔｅｘｔｕｒｅ_ｄｅｐｔｈ_ｆｌａｇは、スライスヘッダ内に含めることができる。ｆｒｏｍ_ｔｅｘｔｕｒｅ_ｄｅｐｔｈ_ｆｌａｇが１に等しいときには、基準ビューコンポーネントはテクスチャビューコンポーネントであることが示される。ｆｒｏｍ_ｔｅｘｔｕｒｅ_ｄｅｐｔｈ_ｆｌａｇが０に等しいときには、基準ビューコンポーネントは深度ビューコンポーネントであることが示される。
構文要素ｓｌｉｃｅ_ｉｄ_ｉｎ_ｒｅｆ_ｖｉｅｗ_ｃｏｍｐｏｎｅｎｔは、基準ビューコンポーネント内のスライスのＩＤを指定する。スライスヘッダがベースビューのテクスチャに属するビューコンポーネントから予測されるときには、ｓｌｉｃｅ_ｉｄ_ｉｎ_ｒｅｆ_ｖｉｅｗ_ｃｏｍｐｏｎｅｎｔは０に等しいとする。
構文要素ｓｌｉｃｅ_ｉｄは、現在のビューコンポーネント内の現在のスライスの識別子を指定する。ｓｌｉｃｅ_ｉｄの値は、左上のコーディングブロックを含むスライスに関して０に等しいことができる。ｓｌｉｃｅ_ｉｄの値は、復号順に各スライスに関して１だけ増加することができる。
代替として、幾つかの例では、上記の条件“ｉｆ（ｄｅｌｔａ_ｖｉｅｗ_ｉｄｘ＞０）”は、構文表から取り除くことができる。その場合は、ｆｒｏｍ_ｔｅｘｔｕｒｅ_ｄｅｐｔｈ_ｆｌａｇを常にシグナリングすることができる。
代替として、構文要素ｓｌｉｃｅ_ｉｄは、ベースビューのテクスチャではないあらゆるビューコンポーネントに関してさらにシグナリングすることができる。
代替として、ｓｌｉｃｅ_ｉｄの値は、ビューコンポーネント内の各スライスに関して別個であることだけが要求される。該例では、ｓｌｉｃｅ_ｉｄは、左上のコーディングブロックを含むスライスに関して０である必要がない。
次は、Ｈ．２６４／ＡＶＣによる一般的な映像コーディングプロセスについて説明する。映像シーケンスは、典型的には、一連の映像フレームを含む。ピクチャのグループ（ＧＯＰ）は、概して、一連の１つ以上の映像フレームを備える。ＧＯＰは、ＧＯＰに含まれるフレーム数を記述する構文データを、ＧＯＰのヘッダ、ＧＯＰの１つ以上のフレームのヘッダ又は別の場所に含めることができる。各フレームは、各々のフレームに関する符号化モードを記述するフレーム構文データを含むことができる。映像符号器及び復号器は、典型的には、映像データを符号化及び／又は復号するために個々の映像フレーム内の映像ブロックに対して動作する。映像ブロックは、マクロブロック又はマクロブロックのパーティションに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。各映像フレームは、複数のスライスを含むことができる。各スライスは、複数のマクロブロックを含むことができ、それらは、サブブロックとも呼ばれるパーティションに編成することができる。
一例として、ＩＴＵ−Ｔ Ｈ．２６４規格は、様々なブロックサイズ、例えば、ルマ成分の場合は１６ ｂｙ １６、８ ｂｙ ８、又は４ ｂｙ ４、クロマ成分の場合は８ × ８、のイントラ予測、及び、様々なブロックサイズ、例えば、ルマ成分の場合は１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、クロマ成分の場合は対応するスケーリングされたサイズのインター予測、をサポートする。本開示では、“Ｎ×Ｎ”及び“Ｎ ｂｙ Ｎ”は、縦及び横の寸法に関するブロックのピクセル寸法を意味するために互換可能な形で使用することができ、例えば、１６×１６ピクセル又は１６ ｂｙ １６ピクセルである。概して、１６×１６ブロックは、縦方向に１６ピクセル（ｙ＝１６）及び横方向に１６ピクセル（ｘ＝１６）を有することになる。同様に、Ｎ×Ｎブロックは、概して、縦方向にＮピクセル、横方向にＮピクセルを有し、ここで、Ｎは、負でない整数値を表す。ブロック内のピクセルは、行及び列内に配置することができる。さらに、ブロックは、必ずしも横方向と縦方向で同じ数のピクセルを有する必要はない。例えば、ブロックは、Ｎ×Ｍピクセルを備えることができ、ここで、Ｍは必ずしもＮに等しくない。
１６ ｂｙ １６未満のブロックサイズは、１６ ｂｙ １６マクロブロックのパーティションと呼ぶことができる。映像ブロックは、ピクセル領域においてピクセルデータのブロックを備えること、又は、例えば、コーディングされた映像ブロックと予測映像ブロックとの間のピクセル差分を表す残差映像ブロックデータに変換、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に類似する変換、を適用後の変換領域における変換係数のブロックを備えることができる。幾つかの事例では、映像ブロックは、変換領域における量子化された変換係数のブロックを備えることができる。
より小さい映像ブロックのほうがより良い解像度を有することができ、高いレベルの詳細度を含む映像フレームの位置に関して使用することができる。概して、マクロブロック及びサブブロックと時々呼ばれる様々なパーティションは、映像ブロックであるとみなすことができる。さらに、スライスは、複数の映像ブロック、例えば、マクロブロック及び／又はサブブロック、とみなすことができる。各スライスは、映像フレームの独立して復号可能な単位であることができる。代替として、フレーム自体が復号可能な単位であることができ、又はフレームのその他の部分を復号可能な単位として定義することができる。用語“コーディングされたユニット”は、映像フレームの独立して復号可能な単位、例えば、フレーム全体、フレームのスライス、シーケンスとも呼ばれるピクチャのグループ（ＧＯＰ）、又は、適用可能なコーディング技法により定義された他の独立して復号可能な単位を意味することができる。
イントラ予測又はインター予測コーディングに従って予測データ及び残差データを生成し、及び残差データに変換（例えば、Ｈ．２６４／ＡＶＣで使用される４×４又は８×８整数変換、又は離散コサイン変換ＤＣＴ）を適用して変換係数を生成後は、変換係数の量子化を行うことができる。量子化は、概して、変換係数を表すために使用されるデータ量を低減させるためにそれらの係数が量子化されるプロセスを意味する。量子化プロセスは、幾つかの又はすべての係数と関連付けられたビット深度を低減させることができる。例えば、量子化中にｎビット値を切り捨ててｍビットにすることができ、ここで、ｎはｍよりも大きい。
量子化に引き続き、例えば、コンテンツ適応型可変長コーディング（ＣＡＬＶＡＣ）、コンテンツ適応型バイナリ算術コーディング（ＣＡＢＡＣ）、確率間隔パーティショニングエントロピー（ＰＩＰＥ）、又はその他のエントロピーコーディング法により、量子化されたデータのエントロピーコーディングを行うことができる。エントロピーコーディング用に構成された処理ユニット、又は他の処理ユニット、は、その他の処理機能、例えば、量子化された係数のゼロラン長（ｚｅｒｏ ｒｕｎ ｌｅｎｇｔｈ）コーディング及び／又は構文情報、例えば、コーディングされたブロックパターン（ＣＢＰ）値、マクロブロックタイプ、コーディングモード、コーディングされたユニット（例えば、フレーム、スライス、マクロブロック、又はシーケンス）に関する最大マクロブロックサイズ、等の生成、を行うことができる。
映像符号器は、構文データ、例えば、ブロックに基づく構文データ、フレームに基づく構文データ、及び又はＧＯＰに基づく構文データをさらに生成し、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダにおいて、映像復号器にさらに送信することができる。ＧＯＰ構文データは、各々のＧＯＰ内のフレーム数を記述することができ、フレーム構文データは、対応するフレームを符号化するために使用される符号化／予測モードを示すことができる。映像復号器は、復号プロセスにおいて構文データを解釈及び使用することができる。
Ｈ．２６４／ＡＶＣでは、コーディングされた映像ビットが編成されてネットワーク抽象化層（ＮＡＬ）ユニットになり、それらは、映像テレフォニー、格納、ブロードキャスト、又はストリーミング映像、等の用途に対処する“ネットワークにやさしい”映像表現を提供する。ＮＡＬユニットは、映像コーディング層（ＶＣＬ）ＮＡＬユニット及び非ＶＣＬ ＮＡＬユニットに分類することができる。ＶＣＬユニットは、コア圧縮エンジンを内蔵すること及びブロック、ＭＢ及びスライスレベルを備えることができる。その他のＮＡＬユニットは、非ＶＣＬ ＮＡＬユニットである。
各ＮＡＬユニットは、１バイトのＮＡＬユニットヘッダを内蔵する。ＮＡＬユニットタイプを指定するために５ビットが使用され、３ビットはｎａｌ_ｒｅｆ_ｉｄｃのために使用され、それは、ＮＡＬユニットはその他のピクチャ（ＮＡＬユニット）によって参照される上でどれだけ重要であるかを示す。この値が０に等しいことは、ＮＡＬユニットがインター予測のために使用されないことを意味する。
パラメータセットは、シーケンスパラメータセット（ＳＰＳ）内のシーケンスレベルヘッダ情報およびピクチャパラメータセット（ＰＰＳ）内のまれに変化するピクセルレベルヘッダ情報を内蔵する。パラメータセットを使用することで、このまれに変化する情報を各シーケンス又はピクチャに関して繰り返す必要がなく、コーディング効率が向上される。さらに、パラメータセットの使用は、ヘッダ情報のアウトオブバンド送信を可能にし、誤り弾性のための冗長な送信の必要性をなくす。アウトオブバンド送信では、パラメータセットＮＡＬユニットは、その他のＮＡＬユニットとは異なるチャネルで送信することができる。
ＭＶＣでは、インタービュー予測は、ずれ（ｄｉｓｐａｒｉｔｙ）補償によってサポートされ、それは、Ｈ．２６４／ＡＶＣ動き補償の構文を使用するが、異なるビュー内のピクチャを基準ピクチャとして使用することを可能にする。すなわち、ＭＶＣにおけるピクチャをインタービュー予測及びコーディングすることができる。ずれベクトルは、時間的予測での動きベクトルと同様の方法で、インタービュー予測のために使用することができる。しかしながら、ずれベクトルは、動きの表示を提供するのではなく、共通のシーンのカメラの遠近法の水平オフセットを考慮するために、異なるビューの基準フレームに対する予測ブロック内のデータのオフセットを示す。このようにして、動き補償ユニットは、インタービュー予測のためのずれ補償を行うことができる。
上述されるように、Ｈ．２６４／ＡＶＣ、ＮＡＬユニットは、１バイトのヘッダと、可変サイズのペイロードと、を含む。ＭＶＣでは、この構造が保有されるが、プリフィックスＮＡＬユニット及びＭＶＣコーディングされたスライスＮＡＬユニットは除き、４バイトのヘッダとＮＡＬユニットペイロードとを含む。ＭＶＣ ＮＡＬユニットヘッダ内の構文要素は、ｐｒｉｏｒｉｔｙ_ｉｄと、ｔｅｍｐｏｒａｌ_ｉｄと、ａｎｃｈｏｒ_ｐｉｃ_ｆｌａｇと、ｖｉｅｗ_ｉｄと、ｎｏｎ_ｉｄｒ_ｆｌａｇと、ｉｎｔｅｒ_ｖｉｅｗ_ｆｌａｇと、を含むことができる。
ａｎｃｈｏｒ_ｐｉｃ_ｆｌａｇ構文要素は、ピクチャがアンカーピクチャであるか又は非アンカーピクチャであるかを示す。アンカーピクチャ及び出力順序（すなわち、表示順序）でそれに続くすべてのピクチャは、復号順序（すなわち、ビットストリーム順序）で前のピクチャを復号せずに正確に復号することができ、従って、ランダムアクセスポイントとして使用することができる。アンカーピクチャ及び非アンカーピクチャは、異なる依存性を有することができ、それらの両方とも、シーケンスパラメータセットでシグナリングすることができる。
ＭＶＣで定義されるビットストリーム構造は、２つの構文要素、すなわち、ｖｉｅｗ_ｉｄ及びｔｅｍｐｏｒａｌ_ｉｄ、が特徴である。構文要素ｖｉｅｗ_ｉｄは、各ビューの識別子を示す。ＮＡＬユニットヘッダ内のこの表示は、復号器でのＮＡＬユニットの簡単な識別及び表示のための復号されたビューへの素早いアクセスを可能にする。構文要素ｔｅｍｐｏｒａｌ_ｉｄは、時間的スケーラビリティ階層又は間接的にフレームレートを示す。より小さい最大ｔｅｍｐｏｒａｌ_ｉｄ値を有するＮＡＬユニットを含む動作ポイントは、より大きな最大ｔｅｍｐｏｒａｌ_ｉｄ値を有する動作ポイントよりも低いフレームレートを有することができる。より高いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャは、典型的には、ビュー内のより低いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャに依存するが、より高いｔｅｍｐｏｒａｌ_ｉｄ値を有するコーディングされたピクチャには依存しない。
ＮＡＬユニットヘッダ内の構文要素ｖｉｅｗ_ｉｄ及びｔｅｍｐｏｒａｌ_ｉｄは、ビットストリームの抽出及び好適化の両方のために使用される。ＮＡＬユニットヘッダ内の他の構文要素はｐｒｉｏｒｉｔｙ_ｉｄであり、それは、単純な１経路のビットストリーム好適化プロセスのために使用される。すなわち、ビットストリームを受信する又は取り出すデバイスは、ビットストリームの抽出及び好適化を処理するときにＮＡＬユニット間での優先度を決定するためにｐｒｉｏｒｉｔｙ_ｉｄを使用することができ、それは、様々なコーディング及びレンダリング能力を有する複数の行先デバイスに１つのビットストリームを送信することを可能にする。
ｉｎｔｅｒ_ｖｉｅｗ_ｆｌａｇ構文要素は、ＮＡＴユニットが異なるビュー内の他のＮＡＬユニットをインタービュー予測するために使用されるかどうかを示す。
ＭＶＣでは、ＳＰＳ ＭＶＣ拡張においてビュー依存性がシグナリングされる。すべてのインタービュー予測が行われ、適用範囲はＳＰＳ ＭＶＣ拡張によって指定される。ビュー依存性は、例えば、インタービュー予測に関して、ビューが他のビューに依存するかどうかを示す。第１のビューが第２のビューのデータから予測されるときには、第１のビューは、第２のビューに依存すると言われる。以下の表６は、ＳＰＳに関するＭＶＣ拡張の例を示す。
図５は、本開示の技法による、図１の映像復号器２８の例をより詳細に示したブロック図である。映像復号器２８は、ここにおいて“コーダ”と呼ばれる専用の映像コンピュータデバイス又は装置の一例である。図５に示されるように、映像復号器２８は、行先デバイス１６の映像復号器２８に対応する。しかしながら、その他の例では、映像復号器２８は、異なるデバイスに対応する。さらなる例では、その他のユニット（例えば、その他の符号器／復号器（ＣＯＤＥＣ））が映像復号器２８と同様の技法を実施することができる。
映像復号器２８は、量子化された係数及び予測構文要素を生成するために受信されたビットストリームをエントロピー復号するエントロピー復号ユニット５２を含む。ビットストリームは、３Ｄ映像及び構文要素をレンダリングするために各ピクセル位置に関するテクスチャコンポーネント及び深度コンポーネントを有するコーディングされたブロックを含む。予測構文要素は、コーディングモード、１つ以上の動きベクトル、使用される内挿法を識別する情報、内挿フィルタリング用の係数、及び予測ブロックの生成と関連付けられたその他の情報のうちの少なくとも１つを含む。
予測構文要素、例えば、係数、は、予測処理ユニット５５に転送される。予測処理ユニット５５は、深度構文予測モジュール６６を含む。固定されたフィルタの係数に関して、又は互いに関して係数をコーディングするために予測が使用される場合は、予測処理ユニット５５は、実際の係数を定義するために構文要素を復号する。深度構文予測モジュール６６は、テクスチャビューコンポーネントに関するテクスチャ構文要素から深度ビューコンポーネントに関する深度構文要素を予測する。
いずれかの予測構文要素に対して量子化が適用される場合は、逆量子化ユニット５６が該量子化を解除する。逆量子化ユニット５６は、符号化されたビットストリーム内のコーディングされたブロックの各ピクセル位置に関する深度及びテクスチャコンポーネントを別々に取り扱うことができる。例えば、深度コンポーネントがテクスチャコンポーネントと異なる方法で量子化された場合は、逆量子化ユニット５６は、深度及びテクスチャコンポーネントを別々に処理する。例えば、フィルタ係数は、本開示により予測的にコーディング及び量子化することができ、この場合は、該係数を予測的に復号して逆量子化するために映像復号器２８によって逆量子化ユニット５６が使用される。
予測処理ユニット５５は、映像符号器２２の予測処理ユニット３２に関して詳細に上述されるのとほとんど同じ方法で、予測構文要素及びメモリ６２に格納される１つ以上の以前に復号されたブロックに基づいて予測データを生成する。特に、予測処理ユニット５５は、深度コンポーネント及びテクスチャコンポーネントを組み入れた予測ブロックを生成するために動き補償中に本開示のマルチビュー映像プラス深度技法のうちの１つ以上を実施する。予測ブロック（及びコーディングされたブロック）は、深度コンポーネント対テクスチャコンポーネントに関して異なる解像度を有することができる。例えば、深度コンポーネントは、１／４ピクセル精度を有し、テクスチャコンポーネントは、完全整数ピクセル精度を有する。従って、予測ブロックを生成する際には本開示の技法のうちの１つ以上が映像復号器２８によって使用される。幾つかの例では、予測処理ユニット５５は、本開示の内挿及び内挿に類似するフィルタリング技法のために使用されるフィルタを備える動き補償ユニットを含むことができる。図５では、例示の簡略化及び容易さを目的として動き補償コンポーネントは示されていない。
逆量子化ユニット５６は、量子化された係数を逆に量子化する、すなわち、逆量子化する。逆量子化プロセスは、Ｈ．２６４復号に関して又はその他の復号規格に関して定義されるプロセスである。逆変換処理ユニット５８は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆ＤＣＴ又は概念的に類似する逆変換プロセスを、を変換係数に適用する。加算器６４は、映像符号器２２によって符号化された原ブロックの再構築されたバージョンを形成するために残差ブロックと予測処理ユニット５５によって生成された対応する予測ブロックを合計する。希望される場合は、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングするためのデブロッキングフィルタも適用される。復号された映像ブロックはメモリ６２内に格納され、それは、後続するための動き補償のための基準ブロックを含み、及び、表示装置（例えば、図１の表示装置３０）を駆動するための復号された映像も生成する。
復号された映像は、３Ｄ映像をレンダリングするために使用することができる。３Ｄ映像は、三次元仮想ビューを備えることができる。ブロック内の各ピクセルに関する水平オフセット（水平のずれ）を決定するために深度情報が使用される。仮想ビューを生成するためにオクルージョン（ｏｃｃｌｕｓｉｏｎ）処理も行うことができる。深度ビューコンポーネントに関する構文要素は、テクスチャビューコンポーネントに関する構文要素から予測することができる。
図６は、本開示の技法による、映像コーダの動作例を示した流れ図である。幾つかの例では、映像コーダは、映像符号器、例えば、図１及び２に示される映像符号器２２、である。その他の例では、映像コーダは、映像復号器、例えば、図１及び５に示される映像復号器２８、である。
映像データをコーディングする方法例は、映像データのフレームの少なくとも一部分のテクスチャ情報を表す映像データの１つ以上のブロックをコーディングすることを含む（１０２）。例えば、映像復号器２８は、映像データの符号化されたブロックを受信する。他の例では、映像符号器２２は、映像データの符号化されたブロックを受信する。
その例は、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することをさらに含み、テクスチャスライスは、コーディングされた１つ以上のブロックと、テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備える（１０４）。例えば、映像復号器２８は、符号化されたテクスチャスライスを受信する。他の例では、映像符号器２２は、テクスチャスライスを生成する。
方法例は、フレームの少なくとも一部分に関する深度値を表す深度情報をコーディングすることをさらに含む（１０６）。方法は、ビューのテクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することも含み、深度スライスは、コーディングされた深度情報と、深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備える（１０８）。テクスチャスライス又は深度スライスを処理することは、テクスチャスライスの特徴を表す構文要素の組又は深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダから予測することを含むことができ、基準スライスヘッダは、同じアクセスユニットのビューコンポーネントからのものである。
幾つかの例では、予測された構文要素に基づいて現在のビューをコーディングすることは、現在のビューを符号化することを備える。その他の例では、予測された構文要素に基づいて現在のビューをコーディングすることは、現在のビューを復号することを備える。
基準スライスヘッダは、テクスチャビューコンポーネント又は深度ビューコンポーネントのうちの１つであることができる。基準スライスヘッダは、同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベーステクスチャビューを備えることができる。テクスチャスライスの特徴を表す構文要素の組及び深度スライスの特徴を表す構文要素の組は、ＡＶＣスライスヘッダ順序と異なる順序である。例えば、ＡＶＣスライスヘッダは、構文要素に関して典型的な特定の順序を有することができる。
幾つかの例では、基準スライスヘッダを示すインデックスがシグナリングされる。インデックスは、デルタビューオーダーとしてシグナリングすることができ、デルタビューオーダーは、現在のビューに対する基準スライスヘッダの位置を示す。基準スライスヘッダは、現在のビューと同じアクセスユニット内の他のビューと関連付けることができる。方法は、スライスヘッダ拡張において構文要素をシグナリングすることをさらに含むことができる。
基準スライスヘッダが深度ビューコンポーネントに対応するか又はテクスチャビューコンポーネントに対応するかを示すフラグをシグナリングすることができる。示された深度又はテクスチャビューコンポーネントのそれぞれの深度スライス又はテクスチャスライスのスライスＩＤもスライスヘッダでシグナリングすることができる。方法は、深度スライス及びテクスチャスライスに関するスライスＩＤをシグナリングすることも含むことができ、スライスＩＤは、スライスヘッダ又はビューコンポーネントのネットワーク抽象化層（ＮＡＴ）ユニットのＮＡＴユニットヘッダのうちの少なくとも１つにおいてシグナリングされる。他の例では、方法は、深度スライス及びテクスチャスライスに関するスライスＩＤをシグナリングすることも含み、スライスＩＤは、深度ビューコンポーネント及びテクスチャビューコンポーネントのそれぞれのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニットにおいてシグナリングされる。ここにおいて説明されるように、シグナリングは、コーディングされたビットストリーム内である。
例えば、映像復号器２８は、スライスＩＤを受信する。映像復号器２８は、基準スライスヘッダを示すインデックスを受信する。幾つかの例では、インデックスは、デルタビューオーダーを備え、デルタビューオーダーは、現在のビューに対する基準スライスヘッダの位置を示し、基準スライスヘッダは、現在のビューと同じアクセスユニット内の他のビューと関連付けられる。映像復号器２８は、基準スライスヘッダが深度ビューコンポーネントに対応するか又はテクスチャビューコンポーネントに対応するかを示すフラグを受信する。他の例では、映像復号器２８は、示された深度ビューコンポーネントの深度スライス又は示されたテクスチャビューコンポーネントのテクスチャスライスのスライスＩＤを受信する。映像復号器２８は、深度スライス及びテクスチャスライスに関するスライスＩＤを受信し、スライスＩＤは、スライスヘッダ又はビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダのうちの少なくとも１つでシグナリングされる。映像復号器２８は、深度スライス及びテクスチャスライスに関するスライスＩＤを受信し、スライスＩＤは、深度ビューコンポーネント及びテクスチャビューコンポーネントのそれぞれのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニット内でシグナリングされる。さらに、映像復号器２８は、スライスヘッダ拡張において構文要素を受信する。
幾つかの例では、構文要素は、基準ピクチャリストである。基準ピクチャリストは、基準ピクチャリスト継承フラグ（ｉｎｈｅｒｉｔ ｆｌａｇ）を有する基準スライスヘッダから予測することができ、１の値を有する基準ピクチャリスト継承フラグは、現在のビューに関する基準ピクチャリスト構築構文要素が基準スライスヘッダからコピーされることを示し、０の値を有する基準ピクチャリスト継承フラグは、現在のビューに関する基準ピクチャリスト構築構文要素が基準スライスヘッダからコピーされないことを示す。他の例では、基準ピクチャリストは、基準ピクチャリスト挿入フラグを有する基準スライスヘッダから予測することができ、１の値を有する基準ピクチャリスト挿入フラグは、基準スライスヘッダからの基準ピクチャが現在のビューの基準ピクチャリストに加えられることを示す。他の例では、基準ピクチャリストは、基準ピクチャリスト除外フラグを有する基準スライスヘッダから予測することができ、１の値を有する基準ピクチャリスト除外フラグは、基準スライスヘッダからの基準ピクチャが現在のビューの基準ピクチャリストから除外されることを示す。ある例では、方法は、少なくとも１つの基準ピクチャリスト除外又は挿入構文テーブルに基づいて、基準ピクチャリスト変更の予測がイネーブルになったときに基準ピクチャリスト変更を変更することをさらに含む。
映像コーダは、テクスチャスライスの特徴を表す構文要素を備えるテクスチャスライスヘッダを備えるテクスチャスライスを受信する（１０２）。例えば、映像コーダは、テクスチャ情報を表す映像データの１つ以上のコーディングされたブロックと関連付けられたテクスチャビューコンポーネントに関するテクスチャスライスを受信し、テクスチャスライスは、符号化された１つ以上のブロックと、テクスチャスライスの特徴を表す構文要素を備えるテクスチャスライスヘッダとを備える。方法は、深度スライスの特徴を表す構文要素を備える深度スライスヘッダを備える深度スライスを受信することをさらに含む（１０４）。例えば、映像コーダは、テクスチャビューコンポーネントに対応する深度情報の１つ以上のコーディングされたブロックと関連付けられた深度ビューコンポーネントに関する深度スライスを受信し、深度スライスは、深度情報の１つ以上のコーディングされたブロックと、深度スライスの特徴を表す構文要素を備える深度スライスヘッダと、を備える。幾つかの例では、深度ビューコンポーネント及びテクスチャビューコンポーネントは、両方とも、ビュー及びアクセスユニットに属する。
方法は、第１のスライスをコーディングすることをさらに備え、第１のスライスは、テクスチャスライス及び深度スライスのうちの１つを備え、第１のスライスは、第１のスライスの特徴を表す構文要素を備えるスライスヘッダを有する（１０６）。例えば、映像符号器２２は、第１のスライスを符号化し、第１のスライスは、テクスチャスライス及び深度スライスのうちの１つを備え、第１のスライスは、第１のスライスの特徴を表す構文要素を備えるスライスヘッダを有する。一例では、スライスヘッダは、関連付けられたスライスをコーディングするために使用されるすべての構文要素を備える。他の例では、映像復号器２８は、第１のスライスを復号し、第１のスライスは、テクスチャスライス及び深度スライスのうちの１つを備え、第１のスライスは、第１のスライスの特徴を表す構文要素を備えるスライスヘッダを有する。
方法は、第２のスライスに関する共通の構文要素を第１のスライスのスライスヘッダから決定することをさらに備える（１０８）。さらに、方法は、決定された共通の構文要素に少なくとも部分的に基づいて第１のスライスをコーディング後に第２のスライスをコーディングすることを備え、第２のスライスは、第１のスライスに共通する構文要素に関する値を除く第２のスライスの特徴を表す構文要素を備えるスライスヘッダを有する（１１０）。例えば、映像符号器２２は、決定された共通の構文要素に少なくとも部分的に基づいて第１のスライスをコーディング後に第２のスライスを符号化することを備え、第２のスライスは、第１のスライスでないテクスチャスライス及び深度スライスのうちの１つを備え、第２のスライスは、第１のスペースに共通する構文要素に関する値を除く第２のスライスの特徴を表す構文要素を備えるスライスヘッダを有する。同様に、映像復号器２８は、決定された共通の構文要素に少なくとも部分的に基づいて第１のスライスをコーディング後に第２のスライスを復号することができ、第２のスライスは、第１のスライスでないテクスチャスライス及び深度スライスのうちの１つを備え、第２のスライスは、第１のスペースに共通する構文要素に関する値を除く第２のスライスの特徴を表す構文要素を備えるスライスヘッダを有する。
その他の例では、方法は、いずれの構文要素がシーケンスパラメータセット内の第２のスライスのスライスヘッダにおいて明示でシグナリングされるかの表示をシグナリングすることをさらに備える。
その他の例では、少なくとも１つの深度構文要素が決定され、深度ビューコンポーネントのスライスヘッダにおいてシグナリングされる。少なくとも１つの深度構文要素は、ピクチャパラメータセット識別子、スライスの量子化パラメータとピクチャパラメータセットにおいてシグナリングされた量子化パラメータとの間の量子化パラメータ差分、コーディングされたブロックユニットの開始位置、基準ピクチャの順序、又は深度ビューコンポーネントの現在のピクチャの表示順序を含むことができる。例えば、第２のスライスのスライスヘッダは、参照しているピクチャパラメータセットの識別の少なくとも１つのシグナリングされた構文要素を備える。他の例では、第２のスライスのスライスヘッダは、第２のスライスの量子化パラメータとピクチャパラメータセットにおいてシグナリングされた量子化パラメータとの間の量子化パラメータ差分の少なくとも１つのシグナリングされた構文要素を備える。他の例では、第２のスライスのスライスヘッダは、コーディングされたブロックの開始位置の少なくとも１つのシグナリングされた構文要素を備える。さらに、第２のスライスのスライスヘッダは、第２のスライスのフレーム番号及びピクチャオーダーカウントのうちの少なくとも１つを備えることができる。他の例では、第２のスライスのスライスヘッダは、基準ピクチャリスト構築に関連する構文要素、各リストに関するアクティブな基準フレーム数、基準ピクチャリスト変更構文テーブル、及び予測重みテーブルのうちの少なくとも１つを備える。
コーディングされたブロックユニットの開始位置は、コーディングされたブロックの開始位置がテクスチャスライスヘッダ又は深度スライスヘッダ内でシグナリングされないときにはゼロであると決定することができる。少なくとも１つのテクスチャビューコンポーネントに関するループフィルタパラメータをシグナリングすることができ、深度ビューコンポーネントに関して使用されるループフィルタパラメータは少なくとも１つのテクスチャビューコンポーネントに関するループフィルタパラメータと同じであることを示すフラグが設定される。例えば、第２のスライスのスライスヘッダは、第２のスライスに関するデブロッキングフィルタパラメータ又は適応型ループフィルタリングパラメータに関連する構文要素のうちの少なくとも１つを備える。
他の例では、テクスチャ情報を表す映像データの１つ以上のブロックがインタービュー予測を用いて符号化され、フレームの対応する部分に関する深度値は、イントラビュー予測を用いて符号化される。テクスチャビューコンポーネント及び深度ビューコンポーネントを有する映像フレームは、第１のビューに対応することができる。テクスチャ情報を表す映像データの１つ以上のブロックを符号化することは、第２のビューのデータに対してテクスチャ情報を表す映像データのブロックのうちの少なくとも１つの少なくとも一部分を予測することを含むことができ、第２のビューは、第１のビューと異なる。フレームの一部分に関する深度値を表す深度情報を符号化することは、第１のビューのデータに対して深度値を表す深度情報の少なくとも一部分を予測することをさらに備える。深度スライスヘッダは、深度マップビューコンポーネントに関する基準ピクチャリスト構築を表す構文要素をさらにシグナリングすることができる。
１つ以上の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において１つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、１つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、（１）非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は（２）通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、又はその他の一時的な媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザーディスク（登録商標）（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、ｂｌｕ−ｒａｙディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは、通常は磁気的にデータを複製し、ｄｉｓｃは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
命令は、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）又はその他の同等の集積回路又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、１つ以上の回路又は論理素子内に完全に実装することが可能である。
本開示の技法は、無線ハンドセット、集積回路（ＩＣ）又は一組のＩＣ（例えば、チップセット）を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び／又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように１つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
本開示の様々な例が説明されている。これらの及びその他の例は、以下の請求項の適用範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
映像データをコーディングする方法であって、
映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングすることと、
アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することであって、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備えることと、
前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングすることと、
前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することであって、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備えることと、を備え、
前記テクスチャスライス又は前記深度スライスを処理することは、前記テクスチャスライスの特徴を表す構文要素の前記組又は前記深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダからそれぞれ予測することを備え、前記基準スライスヘッダは、前記同じアクセスユニットのビューコンポーネントからのものである、方法。
［Ｃ２］
前記基準スライスヘッダは、前記テクスチャビューコンポーネント又は前記深度ビューコンポーネントのうちの１つを備えるＣ１に記載の方法。
［Ｃ３］
前記基準スライスヘッダは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベーステクスチャビューを備えるＣ１に記載の方法。
［Ｃ４］
前記テクスチャスライスの特徴を表す構文要素の前記組及び前記深度スライスの特徴を表す構文要素の前記組をＡＶＣスライスヘッダ順序と異なる順序で配置することをさらに備えるＣ１に記載の方法。
［Ｃ５］
前記予測された構文要素に基づいて前記現在のビューをコーディングすることは、前記現在のビューを復号することを備え、前記テクスチャスライスを処理することは、前記テクスチャスライスを受信することを備え、前記深度スライスを処理することは、深度スライスを受信することを備えるＣ１に記載の方法。
［Ｃ６］
前記基準スライスヘッダを示すインデックスを受信することをさらに備えるＣ１に記載の方法。
［Ｃ７］
前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューと同じアクセスユニット内の他のビューと関連付けられるＣ６に記載の方法。
［Ｃ８］
前記基準スライスヘッダは前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを受信することをさらに備えるＣ６に記載の方法。
［Ｃ９］
前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを受信することをさらに備えるＣ８に記載の方法。
［Ｃ１０］
前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信することをさらに備え、前記スライスＩＤは、前記スライスヘッダ又は前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダのうちの少なくとも１つにおいてシグナリングされるＣ８に記載の方法。
［Ｃ１１］
前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信することをさらに備え、前記スライスＩＤは、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニットにおいてそれぞれシグナリングされるＣ８に記載の方法。
［Ｃ１２］
スライスヘッダ拡張において前記構文要素を受信することをさらに備えるＣ１に記載の方法。
［Ｃ１３］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャリスト継承フラグを有する前記基準スライスから予測され、１の値を有する前記基準ピクチャリスト継承フラグは、前記現在のビューに関する基準ピクチャリスト構築構文要素が前記基準スライスヘッダからコピーされることを示し、０の値を有する前記基準ピクチャリスト継承フラグは、前記現在のビューに関する基準ピクチャリスト構築構文要素が前記基準スライスヘッダからコピーされないことを示すＣ１に記載の方法。
［Ｃ１４］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャリスト挿入フラグを有する前記基準スライスから予測され、１の値を有する前記基準ピクチャリスト挿入フラグは、前記基準スライスヘッダからの基準ピクチャが前記現在のビューの前記基準ピクチャリストに加えられることを示すＣ１に記載の方法。
［Ｃ１５］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャリスト除外フラグを有する前記基準スライスから予測され、１の値を有する前記基準ピクチャリスト除外フラグは、前記基準スライスヘッダからの基準ピクチャが前記現在のビューの前記基準ピクチャリストから除外されることを示すＣ１に記載の方法。
［Ｃ１６］
基準ピクチャリスト除外又は挿入構文テーブルのうちの少なくとも１つに基づいて、基準ピクチャリスト変更の予測がイネーブルになったときに前記基準ピクチャリスト変更を変更することをさらに備えるＣ１に記載の方法。
［Ｃ１７］
前記予測された構文要素に基づいて前記現在のビューをコーディングすることは、前記現在のビューを符号化することを備え、前記テクスチャスライスを処理することは、前記テクスチャスライスを生成することを備え、前記深度スライスを処理することは、前記深度スライスを生成することを備えるＣ１に記載の方法。
［Ｃ１８］
前記基準スライスヘッダを示すインデックスを生成することであって、前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューと同じアクセスユニット内の他のビューと関連付けられることと、
前記基準スライスヘッダが前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを生成することと、
前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを生成することであって、前記スライスＩＤは、前記スライスヘッダ、前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダ、又は、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットヘッダをそれぞれ含むアクセスユニットのうちの少なくとも１つにおいて生成されることと、をさらに備えるＣ１７に記載の方法。
［Ｃ１９］
データをコーディングするためのデバイスであって、
映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングし、アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理し、前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングし、及び前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理するように構成された映像コーダを備え、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備え、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備え、前記テクスチャスライス又は前記深度スライスを処理することは、前記テクスチャスライスの特徴を表す構文要素の前記組又は前記深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダから予測することを備え、前記基準スライスヘッダは、前記同じアクセスユニットのビューコンポーネントからのものである、デバイス。
［Ｃ２０］
前記基準スライスヘッダは、前記テクスチャビューコンポーネント又は前記深度ビューコンポーネントのうちの１つを備えるＣ１９に記載のデバイス。
［Ｃ２１］
前記基準スライスヘッダは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベーステクスチャビューを備えるＣ１９に記載のデバイス。
［Ｃ２２］
前記映像コーダは、前記テクスチャスライスの特徴を表す構文要素の前記組及び前記深度スライスの特徴を表す構文要素の前記組をＡＶＣスライスヘッダ順序と異なる順序で配置するようにさらに構成されるＣ１９に記載のデバイス。
［Ｃ２３］
前記映像コーダは、映像復号器であり、前記テクスチャスライスを処理することは、前記テクスチャスライスを受信することを備え、前記深度スライスを処理することは、深度スライスを受信することを備えるＣ１９に記載のデバイス。
［Ｃ２４］
前記映像復号器は、前記基準スライスヘッダを示すインデックスを受信するようにさらに構成されるＣ２３に記載のデバイス。
［Ｃ２５］
前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューと同じアクセスユニット内の他のビューと関連付けられるＣ２４に記載のデバイス。
［Ｃ２６］
前記映像復号器は、前記基準スライスヘッダが前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを受信するようにさらに構成されるＣ２４に記載のデバイス。
［Ｃ２７］
前記映像復号器は、前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを受信するようにさらに構成されるＣ２４に記載のデバイス。
［Ｃ２８］
前記映像復号器は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信するようにさらに構成され、前記スライスＩＤは、前記スライスヘッダ又は前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダのうちの少なくとも１つにおいて受信されるＣ２４に記載のデバイス。
［Ｃ２９］
前記映像復号器は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信するようにさらに構成され、前記スライスＩＤは、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニットにおいてそれぞれシグナリングされるＣ２４に記載のデバイス。
［Ｃ３０］
前記映像復号器は、スライスヘッダ拡張において前記構文要素を受信するようにさらに構成されるＣ２４に記載のデバイス。
［Ｃ３１］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャリスト継承フラグを有する前記基準スライスヘッダから予測され、１の値を有する前記基準ピクチャリスト継承フラグは、前記現在のビューに関する基準ピクチャリスト構築構文要素が前記基準スライスヘッダからコピーされることを示し、０の値を有する前記基準ピクチャリスト継承フラグは、前記現在のビューに関する基準ピクチャリスト構築構文要素が前記基準スライスヘッダからコピーされないことを示すＣ１９に記載のデバイス。
［Ｃ３２］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャリスト挿入フラグを有する前記基準スライスヘッダから予測され、１の値を有する前記基準ピクチャリスト挿入フラグは、前記基準スライスヘッダからの基準ピクチャが前記現在のビューの前記基準ピクチャリストに加えられることを示すＣ１９に記載のデバイス。
［Ｃ３３］
前記構文要素は、基準ピクチャリストであり、前記基準ピクチャリストは、基準ピクチャ除外フラグを有する前記基準スライスヘッダから予測され、１の値を有する前記基準ピクチャ除外フラグは、前記基準スライスヘッダからの基準ピクチャが前記現在のビューの前記基準ピクチャリストから除外されることを示すＣ１９に記載のデバイス。
［Ｃ３４］
前記映像コーダは、基準ピクチャリスト除外又は挿入構文テーブルのうちの少なくとも１つ基づいて、基準ピクチャリスト変更の予測がイネーブルになったときに前記基準ピクチャリスト変更を変更するようにさらに構成されるＣ１９に記載のデバイス。
［Ｃ３５］
前記映像コーダは、映像符号器であり、前記テクスチャスライスを処理することは、前記テクスチャスライスを生成することを備え、前記深度スライスを処理することは、前記深度スライスを生成することを備えるＣ１９に記載のデバイス。
［Ｃ３６］
前記映像符号器は、
前記基準スライスヘッダを示すインデックスを生成し、
前記基準スライスヘッダが前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを生成し、及び
前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを生成するようにさらに構成され、前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューと同じアクセスユニット内の他のビューと関連付けられ、前記スライスＩＤは、前記スライスヘッダ、前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダ、又は、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユーザをそれぞれ含むアクセスユニットのうちの少なくとも１つにおいて生成されるＣ３５に記載のデバイス。
［Ｃ３７］
実行されたときに、
映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングし、
アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理し、
前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングし、及び
前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することを映像コーディングデバイスのプロセッサに行わせる命令を格納しているコンピュータによって読み取り可能な記憶媒体であって、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備え、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備え、
前記テクスチャスライス又は前記深度スライスを処理することは、前記テクスチャスライスの特徴を表す構文要素の前記組又は前記深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダから予測することを備え、前記基準スライスヘッダは、前記同じアクセスユニットのビューコンポーネントからのものである、コンピュータによって読み取り可能な記憶媒体、を備える、コンピュータプログラム製品。
［Ｃ３８］
前記基準スライスヘッダは、前記テクスチャビューコンポーネント又は前記深度ビューコンポーネントのうちの１つを備えるＣ３７に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ３９］
前記基準スライスヘッダは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベーステクスチャビューを備えるＣ３７に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４０］
前記予測された構文要素に基づいて前記現在のビューをコーディングすることは、前記現在のビューを復号することを備えるＣ３７に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４１］
前記命令は、
前記基準スライスヘッダを示すインデックスを受信することを前記映像コーディングデバイスの前記プロセッサにさらに行わせ、前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューの同じアクセスユニット内の他のビューと関連付けられるＣ４０に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４２］
前記命令は、前記基準スライスヘッダは前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを受信することを前記映像コーディングデバイスの前記プロセッサにさらに行わせるＣ４０に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４３］
前記命令は、前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを受信することを前記映像コーディングデバイスの前記プロセッサにさらに行わせるＣ４０に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４４］
前記命令は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信することを前記映像コーディングデバイスの前記プロセッサにさらに行わせ、前記スライスＩＤは、前記スライスヘッダ又は前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダのうちの少なくとも１つにおいて受信されるＣ４０に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４５］
前記命令は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信することを前記映像コーディングデバイスの前記プロセッサにさらに行わせ、前記スライスＩＤは、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニットにおいてそれぞれ受信されるＣ４０に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４６］
前記予測された構文要素に基づいて前記現在のビューをコーディングすることは、前記現在のビューを符号化することを備えるＣ３７に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ４７］
映像データを処理するためのデバイスであって、
映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングするための手段と、
アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理するための手段であって、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスの特徴を表す一組の構文要素を備えるテクスチャスライスヘッダと、を備える手段と、
前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングするための手段と、
前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理するための手段であって、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスの特徴を表す一組の構文要素を備える深度スライスヘッダと、を備える手段と、を備え、
前記テクスチャスライス又は前記深度スライスを処理するための手段は、前記テクスチャスライスの特徴を表す構文要素の前記組又は前記深度スライスの特徴を表す構文要素の組のうちの少なくとも１つの少なくとも１つの構文要素を基準スライスヘッダから予測するための手段を備え、前記基準スライスヘッダは、前記同じアクセスユニットのビューコンポーネントからのものである、デバイス。
［Ｃ４８］
前記基準スライスヘッダは、前記テクスチャビューコンポーネント又は前記深度ビューコンポーネントのうちの１つを備えるＣ４７に記載のデバイス。
［Ｃ４９］
前記基準スライスヘッダは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベーステクスチャビューを備えるＣ４７に記載のデバイス。
［Ｃ５０］
前記デバイスは、映像復号器であるＣ４７に記載のデバイス。
［Ｃ５１］
前記映像復号器は、前記基準スライスヘッダを示すインデックスを受信するための手段をさらに備え、前記インデックスは、デルタビューオーダーを備え、前記デルタビューオーダーは、前記現在のビューに対する前記基準スライスヘッダの前記位置を示し、前記基準スライスヘッダは、前記現在のビューと同じアクセスユニット内の他のビューと関連付けられるＣ５０に記載のデバイス。
［Ｃ５２］
前記映像復号器は、前記基準スライスヘッダは前記深度ビューコンポーネントに対応するか又は前記テクスチャビューコンポーネントに対応するかを示すフラグを受信するための手段をさらに備えるＣ５０に記載のデバイス。
［Ｃ５３］
前記映像復号器は、前記示された深度又はテクスチャビューコンポーネントのそれぞれの前記深度スライス又は前記テクスチャスライスのスライスＩＤを受信するための手段をさらに備えるＣ５０に記載のデバイス。
［Ｃ５４］
前記映像復号器は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信するための手段をさらに備え、前記スライスＩＤは、前記スライスヘッダ又は前記ビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットのＮＡＬユニットヘッダのうちの少なくとも１つにおいて受信されるＣ５０に記載のデバイス。
［Ｃ５５］
前記映像復号器は、前記深度スライス及び前記テクスチャスライスに関するスライスＩＤを受信するための手段をさらに備え、前記スライスＩＤは、前記深度ビューコンポーネント及び前記テクスチャビューコンポーネントのネットワーク抽象化層（ＮＡＬ）ユニットを含むアクセスユニットにおいてそれぞれ受信されるＣ５０に記載のデバイス。
［Ｃ５６］
前記デバイスは、映像符号器であるＣ４７に記載のデバイス。

Claims (26)

  1. 映像データをコーディングする方法であって、
    映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングすることと、
    アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することであって、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した構文要素を備えるテクスチャスライスヘッダと、を備えることと、
    前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングすることと、
    前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することであって、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスに関する基準ピクチャリスト構築に関連した構文要素を備える深度スライスヘッダと、を備えることと、を備え、
    前記テクスチャスライスを処理することが、
    前記テクスチャスライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記テクスチャスライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記テクスチャスライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素のうちの少なくとも１つの構文要素を予測することと
    を備えるか、または、
    前記深度スライスを処理することが、
    前記深度スライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの前記別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記深度スライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記深度スライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素のセットのうちの少なくとも１つの構文要素を予測することと
    を備えるか、のうちの少なくとも１つである、
    方法。
  2. 前記テクスチャビューに関する前記基準スライスヘッダ又は前記深度ビューに関する前記基準スライスヘッダは、前記別のビューの深度ビューコンポーネント又はテクスチャビューコンポーネントのうちの１つからのスライスヘッダを備える請求項１に記載の方法。
  3. 前記別のビューは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベースビューを備える請求項２に記載の方法。
  4. 前記テクスチャスライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第１の値は、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素が、前記テクスチャスライスに関する前記基準スライスヘッダからコピーされることを示し、前記テクスチャスライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第２の値は、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素が前記テクスチャスライスに関する前記基準スライスヘッダからコピーされないことを示す請求項１に記載の方法。
  5. 前記深度スライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第１の値は、前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素が、前記深度スライスに関する前記基準スライスヘッダからコピーされることを示し、前記深度スライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第２の値は、前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素が前記深度スライスに関する前記基準スライスヘッダからコピーされないことを示す請求項１に記載の方法。
  6. 前記映像データの１つ以上のブロックおよび前記深度情報をコーディングすることは、前記映像データの１つ以上のブロックおよび前記深度情報を復号することを備え、前記テクスチャスライスを処理することは、前記テクスチャスライスを受信することを備え、前記深度スライスを処理することは、前記深度スライスを受信することを備え、前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素をコーディングすることは、前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を受信することを備え、前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素をコーディングすることは、前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を受信することを備える請求項１に記載の方法。
  7. 前記映像データの１つ以上のブロックおよび前記深度情報をコーディングすることは、前記映像データの１つ以上のブロックおよび前記深度情報を符号化することを備え、前記テクスチャスライスを処理することは、前記テクスチャスライスを符号化することを備え、前記深度スライスを処理することは、前記深度スライスを符号化することを備え、前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素をコーディングすることは、前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することを備え、前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素をコーディングすることは、前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することを備える請求項１に記載の方法。
  8. 映像データをコーディングするためのデバイスであって、
    映像データに関連付けられたデータを記憶するように構成されたメモリと、
    １つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、
    映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングすることと、
    アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することと、ここで、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した構文要素を備えるテクスチャスライスヘッダとを備える、
    前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングすることと、
    前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することと
    を行うように構成され、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスに関する基準ピクチャリスト構築に関連した構文要素を備える深度スライスヘッダとを備え、
    前記テクスチャスライスまたは前記深度スライスを処理するために、前記１つ以上のプロセッサは、
    前記テクスチャスライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記テクスチャスライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記テクスチャスライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素のうちの少なくとも１つの構文要素を予測することと
    を行うように構成されるか、または、
    前記深度スライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの前記別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記深度スライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記深度スライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素のセットのうちの少なくとも１つの構文要素を予測することと
    を行うように構成される、
    デバイス。
  9. 前記テクスチャビューに関する前記基準スライスヘッダ又は前記深度ビューに関する前記基準スライスヘッダは、前記別のビューのテクスチャビューコンポーネント又は前記別のビューからの深度ビューコンポーネントのうちの１つからのスライスヘッダを備える請求項８に記載のデバイス。
  10. 前記別のビューは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベースビューを備える請求項８に記載のデバイス。
  11. 前記テクスチャスライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第１の値は、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素が、前記テクスチャスライスに関する前記基準スライスヘッダからコピーされることを示し、前記テクスチャスライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第２の値は、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素が前記テクスチャスライスに関する前記基準スライスヘッダからコピーされないことを示す請求項８に記載のデバイス。
  12. 前記深度スライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第１の値は、前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素が、前記深度スライスに関する前記基準スライスヘッダからコピーされることを示し、前記深度スライスの前記スライスヘッダ拡張における前記基準ピクチャ予測構文要素の第２の値は、前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素が前記深度スライスに関する前記基準スライスヘッダからコピーされないことを示す請求項８に記載のデバイス。
  13. 映像データをコーディングするための前記デバイスは、映像データを復号するためのデバイスであり、前記１つ以上のプロセッサは、
    前記映像データの１つ以上のブロックおよび前記深度情報を復号することと、
    前記テクスチャスライスを受信することと、
    前記深度スライスを受信することと、
    前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を受信することと、
    前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を受信することと
    を行うように構成される、請求項８に記載のデバイス。
  14. 映像データをコーディングするための前記デバイスは、映像データを符号化するためのデバイスであり、前記１つ以上のプロセッサは、
    前記映像データの１つ以上のブロックおよび前記深度情報を符号化することと、
    前記テクスチャスライスを符号化することと、
    前記深度スライスを符号化することと、
    前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することと、
    前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することと
    を行うように構成される、請求項８に記載のデバイス。
  15. 前記デバイスは、映像復号器または映像符号器のうちの１つを備える、請求項８に記載のデバイス。
  16. 前記デバイスは、集積回路、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、無線通信デバイス、スマートフォン、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、またはビデオストリーミングデバイス、のうちの少なくとも１つをさらに備える、請求項１５に記載のデバイス。
  17. 命令を格納している非一時的なコンピュータによって読み取り可能な記憶媒体であって、
    前記命令は、実行されたときに、
    映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングすることと、
    アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理することと、ここで、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した構文要素を備えるテクスチャスライスヘッダとを備える、
    前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングすることと、
    前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理することと
    を映像コーディングデバイスのうちの１つ以上のプロセッサに行わせ、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスに関する基準ピクチャリスト構築に関連した構文要素を備える深度スライスヘッダとを備え、
    前記１つ以上のプロセッサに前記テクスチャスライス又は前記深度スライスを処理させる前記命令は、
    前記テクスチャスライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記テクスチャスライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記テクスチャスライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素のうちの少なくとも１つの構文要素を予測することと
    を前記１つ以上のプロセッサに行わせる命令を備えるか、または、
    前記深度スライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの前記別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記深度スライスヘッダのスライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記深度スライスの前記スライスヘッダ拡張においてコーディングすることと、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素のセットのうちの少なくとも１つの構文要素を予測することと
    を前記１つ以上のプロセッサに行わせる命令を備える、
    非一時的なコンピュータによって読み取り可能な記憶媒体。
  18. 前記テクスチャビューに関する前記基準スライスヘッダまたは前記深度ビューに関する前記基準スライスヘッダは、前記別のビューのテクスチャビューコンポーネントまたは前記別のビューからの深度ビューコンポーネントのうちの１つからのスライスヘッダを備える請求項１７に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  19. 前記別のビューは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベースビューを備える請求項１７に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  20. 前記命令は、
    前記映像データの１つ以上のブロックおよび前記深度情報を復号することと、
    前記テクスチャスライスを受信することと、
    前記深度スライスを受信することと、
    前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を受信することと、
    前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を受信することと
    を前記１つ以上のプロセッサに行わせる、請求項１７に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  21. 前記命令は、
    前記映像データの１つ以上のブロックおよび前記深度情報を符号化することと、
    前記テクスチャスライスを符号化することと、
    前記深度スライスを符号化することと、
    前記テクスチャスライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することと、
    前記深度スライスに関する前記基準スライスヘッダを示す前記構文要素を符号化することと
    を前記１つ以上のプロセッサに行わせる、請求項１７に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  22. 映像データを処理するためのデバイスであって、
    映像データのフレームの少なくとも一部分のテクスチャ情報を表す前記映像データの１つ以上のブロックをコーディングするための手段と、
    アクセスユニットと関連付けられた現在のビューのテクスチャビューコンポーネントに関するテクスチャスライスを処理するための手段であって、前記テクスチャスライスは、前記コーディングされた１つ以上のブロックと、前記テクスチャスライスに関する基準ピクチャリスト構築に関連した構文要素を備えるテクスチャスライスヘッダとを備える、手段と、
    前記フレームの少なくとも前記一部分に関する深度値を表す深度情報をコーディングするための手段と、
    前記ビューの前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントに関する深度スライスを処理するための手段であって、前記深度スライスは、前記コーディングされた深度情報と、前記深度スライスに関する基準ピクチャリスト構築に関連した構文要素を備える深度スライスヘッダとを備える、手段と、を備え、
    前記テクスチャスライスまたは前記深度スライスを処理するための手段は、
    前記テクスチャスライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記テクスチャスライスヘッダのスライスヘッダ拡張においてコーディングするための手段と、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記テクスチャスライスの前記スライスヘッダ拡張においてコーディングするための手段と、
    前記テクスチャスライスに関する前記基準スライスヘッダから前記テクスチャスライスに関する基準ピクチャリスト構築に関連した前記テクスチャスライスヘッダの前記構文要素のうちの少なくとも１つの構文要素を予測するための手段と、
    を備えるか、または、
    前記深度スライスに関する基準スライスヘッダが、前記現在のビューと同じアクセスユニットの前記別のビューと関連付けられたスライスヘッダであることを示す構文要素を、前記深度スライスヘッダのスライスヘッダ拡張においてコーディングするための手段と、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記構文要素が予測されるかどうかを示す基準ピクチャ予測構文要素を、前記深度スライスの前記スライスヘッダ拡張においてコーディングするための手段と、
    前記深度スライスに関する前記基準スライスヘッダから前記深度スライスに関する基準ピクチャリスト構築に関連した前記深度スライスヘッダの前記構文要素のセットのうちの少なくとも１つの構文要素を予測するための手段と
    を備える、
    デバイス。
  23. 前記テクスチャビューに関する前記基準スライスヘッダ又は前記深度ビューに関する前記基準スライスヘッダは、前記別のビューのテクスチャビューコンポーネント又は前記別のビューからの深度ビューコンポーネントのうちの１つからのスライスヘッダを備える請求項２２に記載のデバイス。
  24. 前記別のビューは、前記同じアクセスユニットのアドバンスト映像コーディング（ＡＶＣ）互換可能ベースビューを備える請求項２２に記載のデバイス。
  25. 前記デバイスは、映像復号器または映像符号器のうちの１つを備える請求項２２に記載のデバイス。
  26. 前記デバイスは、集積回路、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、無線通信デバイス、スマートフォン、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、またはビデオストリーミングデバイス、のうちの少なくとも１つをさらに備える、請求項２５に記載のデバイス。
JP2015172697A 2011-07-22 2015-09-02 スライスヘッダ予測のためのスライスヘッダ三次元映像拡張 Active JP6022652B2 (ja)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201161510738P 2011-07-22 2011-07-22
US61/510,738 2011-07-22
US201161522584P 2011-08-11 2011-08-11
US61/522,584 2011-08-11
US201161563772P 2011-11-26 2011-11-26
US61/563,772 2011-11-26
US201261595612P 2012-02-06 2012-02-06
US61/595,612 2012-02-06
US201261624031P 2012-04-13 2012-04-13
US61/624,031 2012-04-13
US201261637212P 2012-04-23 2012-04-23
US61/637,212 2012-04-23
US13/553,628 2012-07-19
US13/553,628 US9521418B2 (en) 2011-07-22 2012-07-19 Slice header three-dimensional video extension for slice header prediction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014522914A Division JP5805872B2 (ja) 2011-07-22 2012-07-20 スライスヘッダ予測のためのスライスヘッダ三次元映像拡張

Publications (2)

Publication Number Publication Date
JP2016027714A JP2016027714A (ja) 2016-02-18
JP6022652B2 true JP6022652B2 (ja) 2016-11-09

Family

ID=46642623

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014522914A Active JP5805872B2 (ja) 2011-07-22 2012-07-20 スライスヘッダ予測のためのスライスヘッダ三次元映像拡張
JP2015172697A Active JP6022652B2 (ja) 2011-07-22 2015-09-02 スライスヘッダ予測のためのスライスヘッダ三次元映像拡張

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014522914A Active JP5805872B2 (ja) 2011-07-22 2012-07-20 スライスヘッダ予測のためのスライスヘッダ三次元映像拡張

Country Status (11)

Country Link
US (1) US9521418B2 (ja)
EP (1) EP2735155B1 (ja)
JP (2) JP5805872B2 (ja)
KR (1) KR101492781B1 (ja)
CN (1) CN103718559A (ja)
BR (1) BR112014001462B1 (ja)
CA (1) CA2842678A1 (ja)
ES (1) ES2634100T3 (ja)
HU (1) HUE033045T2 (ja)
RU (1) RU2549168C1 (ja)
WO (1) WO2013016233A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2737704B1 (en) * 2011-09-13 2020-02-19 HFI Innovation Inc. Method and apparatus for reduction of deblocking filter
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CN104081780A (zh) * 2012-01-31 2014-10-01 索尼公司 图像处理装置和图像处理方法
CN104205819B (zh) * 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
WO2013129822A1 (ko) * 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US9398284B2 (en) 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
US20150350684A1 (en) * 2012-09-20 2015-12-03 Sony Corporation Image processing apparatus and method
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
WO2014053087A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of motion data buffer reduction for three-dimensional video coding
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
JP2015019326A (ja) * 2013-07-12 2015-01-29 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
KR102185245B1 (ko) 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US20150373350A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
US10506244B2 (en) * 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US10805611B2 (en) * 2016-10-18 2020-10-13 Mediatek Inc. Method and apparatus of constrained sequence header
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US9991929B1 (en) * 2017-06-02 2018-06-05 Rockwell Collins, Inc. Streaming compression of periodic binary avionic data
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
CN114501018B (zh) 2018-08-17 2024-01-09 华为技术有限公司 参考图像管理的解码方法、设备和系统
US11140403B2 (en) 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US11182630B2 (en) 2019-03-29 2021-11-23 Advanced New Technologies Co., Ltd. Using an illumination sequence pattern for biometric authentication
US20200314411A1 (en) * 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
WO2021054720A1 (ko) * 2019-09-16 2021-03-25 엘지전자 주식회사 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
KR20220065988A (ko) 2020-11-14 2022-05-23 송정원 사용자 선호도와 위치 정보를 고려한 중고제품 거래 방법

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107705A (en) 1990-03-30 1992-04-28 Schlumberger Technology Corporation Video system and method for determining and monitoring the depth of a bottomhole assembly within a wellbore
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6125147A (en) 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
US6665344B1 (en) 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US6452969B1 (en) 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
CA2357921C (en) 2000-09-29 2007-02-06 Baker Hughes Incorporated Method and apparatus for prediction control in drilling dynamics using neural networks
CA2413058C (en) 2001-11-27 2012-01-17 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7801217B2 (en) 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7001065B2 (en) 2003-05-05 2006-02-21 Ray Dishaw Oilfield thread makeup and breakout verification system and method
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US7079156B1 (en) 2004-05-14 2006-07-18 Nvidia Corporation Method and system for implementing multiple high precision and low precision interpolators for a graphics pipeline
US7006700B2 (en) 2004-06-25 2006-02-28 Avocent Corporation Digital video compression command priority
US20060012719A1 (en) 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
KR100888963B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7616824B2 (en) 2004-12-08 2009-11-10 Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens Method for spatially scalable video coding
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
WO2006087319A2 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
CN101176348B (zh) 2005-04-01 2011-01-19 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US20060233258A1 (en) 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
JP3996631B2 (ja) 2005-09-09 2007-10-24 松下電器産業株式会社 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US8239766B2 (en) 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
KR100825737B1 (ko) 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
US8345755B2 (en) 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
KR100943914B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
US20100147510A1 (en) 2006-05-23 2010-06-17 Halliburton Energy Services, Inc. Remote logging operations environment
JP4915992B2 (ja) 2006-09-12 2012-04-11 オリンパスイメージング株式会社 ズームレンズ
TWI332799B (en) 2006-09-13 2010-11-01 Realtek Semiconductor Corp A video data source system and an analog back end device
US8948256B2 (en) 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
WO2008051041A1 (en) 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
US7606666B2 (en) 2007-01-29 2009-10-20 Schlumberger Technology Corporation System and method for performing oilfield drilling operations using visualization techniques
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8160149B2 (en) 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
US20100118933A1 (en) 2007-04-04 2010-05-13 Thomson Licensing Reference picture list management
EP2512135B1 (en) * 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
CN101690220B (zh) 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR20100017453A (ko) 2007-05-29 2010-02-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN101785317B (zh) 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
DE102007049351A1 (de) 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US7878268B2 (en) 2007-12-17 2011-02-01 Schlumberger Technology Corporation Oilfield well planning and operation
WO2009091383A2 (en) 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
US8577660B2 (en) 2008-01-23 2013-11-05 Schlumberger Technology Corporation Three-dimensional mechanical earth modeling
HUE024173T2 (en) 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
US8527248B2 (en) 2008-04-18 2013-09-03 Westerngeco L.L.C. System and method for performing an adaptive drilling operation
US8855199B2 (en) 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
TW200945909A (en) 2008-04-22 2009-11-01 Novatek Microelectronics Corp Synchronization signal extraction device and related method
US9973739B2 (en) 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
EP2348732A4 (en) 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
WO2010058955A2 (ko) 2008-11-18 2010-05-27 엘지전자 주식회사 영상 신호 처리 방법 및 장치
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101260613B1 (ko) 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
US8326538B2 (en) 2008-12-30 2012-12-04 Occidental Permian Ltd. Mobile wellsite monitoring
US8514942B2 (en) 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
KR101619450B1 (ko) 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR101405019B1 (ko) 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
EP2420068A4 (en) 2009-04-13 2012-08-08 Reald Inc ENCRYPTION, DECOMPOSITION AND DISTRIBUTION OF STEREOSCOPIC VIDEO CONTENT WITH REINFORCED RESOLUTION
EP2422520A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
WO2010126227A2 (en) 2009-04-27 2010-11-04 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
KR101353115B1 (ko) 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
RU2423018C2 (ru) * 2009-08-04 2011-06-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для преобразования стереоконтента
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101636539B1 (ko) 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
US10198792B2 (en) 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
KR101631451B1 (ko) 2009-11-16 2016-06-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101703327B1 (ko) 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8938011B2 (en) 2010-01-27 2015-01-20 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
EP2537347B1 (en) 2010-02-15 2019-06-05 InterDigital Madison Patent Holdings Apparatus and method for processing video content
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US20120079583A1 (en) 2010-09-23 2012-03-29 Microsoft Corporation Offload reads and writes
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
WO2012042893A1 (ja) 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012106347A1 (en) 2011-02-01 2012-08-09 Halliburton Energy Services, Inc. Drilling optimization
US9148666B2 (en) 2011-02-09 2015-09-29 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US20120274664A1 (en) 2011-04-29 2012-11-01 Marc Fagnou Mobile Device Application for Oilfield Data Visualization
KR20140004209A (ko) * 2011-06-15 2014-01-10 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
JP5749595B2 (ja) 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US20130127987A1 (en) 2011-11-18 2013-05-23 Qualcomm Incorporated Signaling depth ranges for three-dimensional video coding
CN104205819B (zh) 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US9584711B2 (en) 2012-04-04 2017-02-28 Schlumberger Technology Corporation Imaging methods and systems for controlling equipment in remote environments
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding

Also Published As

Publication number Publication date
BR112014001462B1 (pt) 2022-03-08
HUE033045T2 (hu) 2017-11-28
BR112014001462A2 (pt) 2017-02-21
US9521418B2 (en) 2016-12-13
EP2735155B1 (en) 2017-05-03
EP2735155A1 (en) 2014-05-28
RU2549168C1 (ru) 2015-04-20
ES2634100T3 (es) 2017-09-26
JP5805872B2 (ja) 2015-11-10
US20130057646A1 (en) 2013-03-07
KR20140032508A (ko) 2014-03-14
JP2014526194A (ja) 2014-10-02
CN103718559A (zh) 2014-04-09
KR101492781B1 (ko) 2015-02-12
CA2842678A1 (en) 2013-01-31
WO2013016233A1 (en) 2013-01-31
JP2016027714A (ja) 2016-02-18

Similar Documents

Publication Publication Date Title
JP6022652B2 (ja) スライスヘッダ予測のためのスライスヘッダ三次元映像拡張
JP5805871B2 (ja) ３次元ビデオコーデックにおける深度マップのためのスライスヘッダ予測
JP5698391B2 (ja) マルチビュービデオプラス深度コンテンツのコーディング
JP6026534B2 (ja) 深度範囲の変動を伴う動き深度マップのコーディング
KR101874669B1 (ko) 멀티뷰 비디오 코딩（ｍｖｃ）호환가능한 3 차원 비디오 코딩（3ｄｖｃ）을 위한 네스팅된 ｓｅｉ 메시지들
US20120236934A1 (en) Signaling of multiview video plus depth content with a block-level 4-component structure

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161005

R150 Certificate of patent or registration of utility model

Ref document number: 6022652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250