JP6337104B2 - テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ） - Google Patents

テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ） Download PDF

Info

Publication number
JP6337104B2
JP6337104B2 JP2016521842A JP2016521842A JP6337104B2 JP 6337104 B2 JP6337104 B2 JP 6337104B2 JP 2016521842 A JP2016521842 A JP 2016521842A JP 2016521842 A JP2016521842 A JP 2016521842A JP 6337104 B2 JP6337104 B2 JP 6337104B2
Authority
JP
Japan
Prior art keywords
view
video block
block
current
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016521842A
Other languages
English (en)
Other versions
JP2016526829A (ja
Inventor
ジャン、リ
チェン、イン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016526829A publication Critical patent/JP2016526829A/ja
Application granted granted Critical
Publication of JP6337104B2 publication Critical patent/JP6337104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本出願は、その各々の内容全体が参照により本明細書に組み込まれる、２０１３年６月２１日に出願された米国仮出願第６１／８３８，２０８号、および２０１３年７月１４日に出願された米国仮出願第６１／８４６，０３６号の利益を主張する。
[0002]本開示は、ビデオコーディングに関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ（intra-picture））予測および／または時間的（インターピクチャ（inter-picture））予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック（treeblocks）、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され（partitioned）得る。ピクチャのイントラコード化（intra-coded）（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（inter-coded）（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測によって、コーディングされるべきブロックの予測ブロック（a predictive block）が生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分（pixel differences）を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、および、コード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数（quantized transform coefficients）は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
[0006]概して、本開示は、他の高度残差予測（ＡＲＰ：advanced residual prediction）技法と比較して改善された精度を与え得るテクスチャコーディング（texture coding）のための正確なＡＲＰ技法について説明する。より具体的には、本開示は、現在のビューから参照ビュー（a reference view）までのＤＭＶを識別することと、ＤＭＶの識別に基づいて現在のビデオブロックのＡＲＰのための残差予測子ブロック（a residual predictor block）を決定することとを含むＡＲＰ技法について説明する。
[0007]いくつかの例では、ＤＭＶは、現在のビデオブロックのＤＭＶであり、本技法は、現在のビデオブロックのビュー間ＡＲＰ（inter-view ARP）のためのビュー間残差予測子ブロック（an inter-view residual predictor bloc）を決定することを含む。ＤＭＶは、ビュー間参照ビデオブロック（an inter-view reference video block）に基づく現在のビデオブロックのビュー間予測（inter-view prediction）のために使用される。ビュー間ＡＲＰのための技法はまた、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ：temporal motion vector）に基づいて現在のビューと参照ビューとの中の時間参照ビデオブロック（temporal reference video blocks）を識別することと、時間参照ビデオブロック間の差に基づいて残差予測子ブロックを決定することとを含み得る。そのような例では、ＡＲＰは、時間的に予測されたビデオブロックをコーディングするための時間的ＡＲＰに限定されず、代わりに、ビュー間予測ビデオブロックをコーディングするためのビュー間ＡＲＰを含み得る。
[0008]いくつかの例では、現在のビデオブロックは時間的に予測され、現在のビデオブロックのための参照ビデオブロックのＤＭＶは、現在のビデオブロックの時間的ＡＲＰのために、たとえば、隣接ブロックベースの視差ベクトル導出（ＮＢＤＶ：Neighboring Block Based Disparity Vector Derivation）に従って現在のビデオブロックのために導出された視差ベクトル（a disparity vector）を置き換える。そのような例では、レートひずみ最適化（rate distortion optimization）によって典型的には選定されるＤＭＶは、導出された視差ベクトルよりも正確になり得、これは、現在のビデオブロックのより正確な時間的ＡＲＰにつながり得る。いくつかの例では、現在のビデオブロックは時間的に予測され、現在のビデオブロックのための時間参照ビデオブロックのコロケートされた深度ブロック（co-located depth block）を通して導出された視差ベクトルは、現在のビデオブロックの時間的ＡＲＰのために、たとえば、隣接ブロックベースの視差ベクトル導出（ＮＢＤＶ）に従って現在のビデオブロックのために導出された視差ベクトルを置き換える。そのような例は、コロケートされた深度ブロックがテクスチャコーディング中に利用可能であるときにより正確な時間的ＡＲＰを与え得る。
[0009]一例では、ビデオデータを復号するためのビュー間高度残差予測（inter-view advanced residual prediction）の方法は、現在のビデオブロックのための視差動きベクトル（ＤＭＶ：disparity motion vector）と残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリーム（an encoded video bitstream）を復号することを備える。現在のビデオブロックは、現在のビュー中にあり、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される。本方法は、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに備える。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。本方法は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに備える。本方法は、現在のビデオブロックを再構成するためにビュー間参照ビデオブロックに、残差予測子ブロックと、符号化ビデオビットストリームから識別された残差ブロックとを適用することをさらに備える。
[0010]別の例では、ビデオデータを符号化するためのビュー間高度残差予測の方法は、現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別すること、ここにおいて、現在のビデオブロックは、現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビューと、現在のビデオブロックと同じアクセスユニットとの中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を備える。本方法は、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに備える。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。本方法は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに備える。本方法は、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームを符号化することをさらに備える。符号化ビデオビットストリームによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える。
[0011]別の例では、本装置は、ビデオデータをコーディングするためのビュー間高度残差予測を実行するように構成されたビデオコーダを備える。ビデオコーダは、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別すること、ここにおいて、現在のビデオブロックは現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を行うように構成される。１つまたは複数のプロセッサは、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとを行うようにさらに構成される。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。１つまたは複数のプロセッサは、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することを行うようにさらに構成される。１つまたは複数のプロセッサは、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームをコーディングすることを行うようにさらに構成される。符号化ビデオビットストリームをコーディングすることによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える。
[0012]別の例では、コンピュータ可読記憶媒体は、実行されたとき、ビデオコーダの１つまたは複数のプロセッサに、現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別すること、ここにおいて、現在のビデオブロックは現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を行わせる命令を記憶する。命令は、１つまたは複数のプロセッサに、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに行わせる。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。命令は、１つまたは複数のプロセッサに、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに行わせる。命令は、１つまたは複数のプロセッサに、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームをコーディングすることをさらに行わせる。符号化ビデオビットストリームをコーディングすることによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える。
[0013]他の例では、ビデオデータを符号化するためのビュー間高度残差予測の方法は、現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別すること、ここにおいて、現在のビデオブロックは、現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビューと、現在のビデオブロックと同じアクセスユニットとの中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を備える。本方法は、時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することをさらに備える。いくつかの例では、ＤＭＶは、現在のビデオブロックの第１の参照ピクチャリストからのものであり得、ＴＭＶと、関連する参照ピクチャとは、現在のビデオブロックの第２の参照ピクチャリストからのものであり得る。他の例では、ＴＭＶと、関連する参照ピクチャとは、現在のビデオブロックの空間的または時間的隣接ブロックから導出される。いずれの場合も、本方法は、ＴＭＶに基づいて参照ビュー中の時間参照ビデオブロックを識別することと、ＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに備え得る。本方法は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに備える。本方法は、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームを符号化することをさらに備える。符号化ビデオビットストリームによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える。
[0014]別の例では、ビデオデータをコーディングするための時間的高度残差予測の方法は、現在のビデオブロックのための時間動きベクトル（ＴＭＶ）を識別すること、ここにおいて、現在のビデオブロックは、現在のビュー中にあり、ここにおいて、ＴＭＶは、現在のビュー中の、および、現在のビデオブロックとは異なるアクセスユニット中の時間参照ビデオブロックに基づく現在のビデオブロックの予測のために使用される、を備える。本方法は、時間参照ビデオブロックのビュー間予測のために使用される時間参照ビデオブロックの視差動きベクトル（ＤＭＶ）を識別することをさらに備える。本方法は、ＤＭＶに基づいて、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロック、または、参照ビュー中の、および、異なるアクセスユニット中の時間参照ビデオブロック、とのうちの少なくとも１つを決定することをさらに備える。本方法は、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックと、参照ビュー中の、および、異なるアクセスユニット中の時間参照ビデオブロックと、の間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに備える。本方法は、現在のビデオブロックのためのＴＭＶと残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームをコーディングすることをさらに備える。符号化ビデオビットストリームによって識別された残差ブロックは、現在のビデオブロックのための時間参照ビデオブロックと残差予測子ブロックとの間の差を備える。本方法のいくつかの例は、現在のビデオブロックの高度残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、現在のビデオブロックのＴＭＶをスケーリングすること、ここにおいて、スケーリングされたＴＭＶは、現在のビュー中の時間参照ビデオブロックを識別する、をさらに備える。本方法のいくつかの例では、スケーリングされたＴＭＶによって識別された現在のビュー中の時間参照ビデオブロックは、第１の時間参照ビデオブロックを備え、本方法は、スケーリングされたＴＭＶによって識別された現在のビュー中の第１の時間参照ビデオブロックがＤＭＶに関連付けられないと決定することと、スケーリングなしのＴＭＶ（TMV absent scaling）に基づいて現在のビュー中の第２の時間参照ビデオブロックを識別することとをさらに備える。そのような例では、ＤＭＶを識別することは、スケーリングなしのＴＭＶによって識別された現在のビュー中の第２の時間参照ビデオブロックのＤＭＶを識別することを備える。本方法のいくつかの例では、現在のビュー中の、および、現在のビデオブロックとは異なるアクセスユニット中の時間参照ビデオブロックは、複数の予測ユニットを備え、時間参照ビデオブロックのＤＭＶを識別することは、時間参照ビデオブロックの中心位置を含んでいる複数のＰＵのうちの１つに関連するＤＭＶを識別することを備える。本方法のいくつかの例では、ＤＭＶを識別することは、後方ビデオ合成予測（ＢＶＳＰ：Backward Video Synthesis Prediction）以外の予測モードからＤＭＶを識別することを備える。本方法のいくつかの例では、ビュー間参照ビデオブロックは、第１の参照ピクチャリストに対応する動き情報の第１のセットと第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、ビュー間参照ビデオブロックのＴＭＶを識別することは、動き情報の第１のセットがＴＭＶを含む場合、動き情報の第１のセットからＴＭＶを選択することと、動き情報の第１のセットがＴＭＶを含まない場合、動き情報の第２のセットからＴＭＶを選択することとを備える。本方法のいくつかの例では、第１の参照ピクチャリストは、ＲｅｆＰｉｃＬｉｓｔ０を備える。本方法のいくつかの例では、動き情報の第１のセットと第２のセットとを考慮する順序は、動き情報の第１のセットと第２のセットとのうちのどちらがＴＭＶを含むかとは無関係である（is independent of）。本方法のいくつかの例では、符号化ビデオビットストリームをコーディングすることは、現在のビデオブロックのためのＴＭＶと残差ブロックとを識別するためにビデオデコーダを用いて符号化ビデオビットストリームを復号することと、現在のビデオブロックを再構成するために時間参照ビデオブロックに、残差予測子ブロックと、符号化ビデオビットストリームから識別された残差ブロックとを適用することとを備える。本方法のいくつかの例では、符号化ビデオビットストリームをコーディングすることは、ビデオデコーダに現在のビデオブロックのためのＴＭＶと残差ブロックとを示すためにビデオエンコーダを用いて符号化ビデオビットストリームを符号化することを備える。
[0015]別の例では、ビデオデータをコーディングするための時間的高度残差予測の方法は、現在のビデオブロックのための時間動きベクトル（ＴＭＶ）を識別すること、ここにおいて、現在のビデオブロックは、現在のビュー中にあり、ここにおいて、ＴＭＶは、現在のビュー中の、および、現在のビデオブロックとは異なるアクセスユニット中の時間参照ビデオブロックに基づく現在のビデオブロックの予測のために使用される、を備える。本方法は、時間参照ビデオブロックのコロケートされた深度ブロックを通して視差ベクトル（ＤＶ：disparity vector）を導出することをさらに備える。本方法は、ＤＶに基づいて、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロック、または参照ビュー中の、および、異なるアクセスユニット中の時間参照ビデオブロック、とのうちの少なくとも１つを決定することをさらに備える。本方法は、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックと、参照ビュー中の、および、異なるアクセスユニット中の時間参照ビデオブロックと、の間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することをさらに備える。本方法は、現在のビデオブロックのためのＴＭＶと残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームをコーディングすることをさらに備える。符号化ビデオビットストリームによって識別された残差ブロックは、現在のビデオブロックのための時間参照ビデオブロックと残差予測子ブロックとの間の差を備える。本方法のいくつかの例は、現在のビデオブロックの高度残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、現在のビデオブロックのＴＭＶをスケーリングすること、ここにおいて、スケーリングされたＴＭＶは、現在のビュー中の時間参照ビデオブロックを識別する、をさらに備える。本方法のいくつかの例では、スケーリングされたＴＭＶによって識別された現在のビュー中の時間参照ビデオブロックは、第１の時間参照ビデオブロックを備え、本方法は、スケーリングされたＴＭＶによって識別された現在のビュー中の第１の時間参照ビデオブロックがＤＭＶに関連付けられないと決定することと、スケーリングなしのＴＭＶに基づいて現在のビュー中の第２の時間参照ビデオブロックを識別することとをさらに備える。そのような例では、ＤＭＶを識別することは、スケーリングなしのＴＭＶによって識別された現在のビュー中の第２の時間参照ビデオブロックのＤＭＶを識別することを備える。本方法のいくつかの例では、ＤＶを導出することは、コロケートされた深度ブロック（co-located depth block）内の１つのサンプルの深度値（a depth value）をＤＶに変換することを備える。いくつかの例では、１つのサンプルは、コロケートされた深度ブロックの左上のサンプルに対して（Ｗ／２，Ｈ／２）に位置し、ここにおいて、コロケートされた深度ブロックのサイズはＷｘＨである。本方法のいくつかの例では、ＤＶを導出することは、コロケートされた深度ブロック内の複数のサンプルの深度値に基づいて代表深度値（a representative depth value）を決定することと、代表深度値をＤＶに変換することとを備える。いくつかの例では、複数のサンプルは、４つのコーナーサンプル（corner samples）である。いくつかの例では、複数のサンプルは、深度ブロックの隣接サンプルに基づいて選択される。いくつかの例では、コロケートされた深度ブロック内の複数のサンプルの深度値に基づいて代表深度値を決定することは、コロケートされた深度ブロック内の複数のサンプルのすべての深度値に基づいて代表深度値を決定することを備える。本方法のいくつかの例では、符号化ビデオビットストリームをコーディングすることは、現在のビデオブロックのためのＴＭＶと残差ブロックとを識別するためにビデオデコーダを用いて符号化ビデオビットストリームを復号することと、現在のビデオブロックを再構成するために時間参照ビデオブロックに、残差予測子ブロックと、符号化ビデオビットストリームから識別された残差ブロックとを適用することとを備える。本方法のいくつかの例では、符号化ビデオビットストリームをコーディングすることは、ビデオデコーダに現在のビデオブロックのためのＴＭＶと残差ブロックとを示すためにビデオエンコーダを用いて符号化ビデオビットストリームを符号化することを備える。
[0016]本開示の１つまたは複数の例の詳細は、添付図面と下の説明とに示される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
[0017]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0018]例示的なマルチビュー符号化（multiview encoding）または復号の順序（decoding order）を示すグラフ図。 [0019]マルチビューコーディングのための例示的な時間的およびビュー間予測パターンを示す概念図。 [0020]現在のブロックの動き情報の予測のための現在のブロックに隣接するブロックの例示的な関係を示す概念図。 [0021]現在のブロックの動き情報の予測のためのビュー間予測動きベクトル候補（an inter-view disparity motion vector candidate）とビュー間視差動きベクトル候補との導出の例を示す概念図。 [0022]現在のビデオブロックに対する、隣接ブロックベースの視差ベクトル導出（ＮＢＤＶ）を使用して現在のビデオブロックの視差ベクトルが例示的な空間的隣接ブロック（spatial neighboring blocks）から導出され得るその例示的な空間的隣接ブロックを示す概念図。 [0023]参照ビューからの深度ブロックのロケーションと、後方ビュー合成予測（ＢＶＳＰ：Backward View Synthesis Prediction）のための参照ビュー中に位置する深度ブロックの使用との一例を示す概念図。 [0024]時間的に予測されたビデオブロックの時間的高度残差予測（ＡＲＰ）のための例示的な予測構造を示す概念図。 [0025]時間的ＡＲＰのための例示的な双方向予測構造を示す概念図。 [0026]本開示で説明する技法による、ビュー間予測ビデオブロックのビュー間ＡＲＰのための例示的な予測構造を示す概念図。 [0027]本開示で説明する技法による、視差動きベクトル（ＤＭＶ）を使用した時間的に予測されるビデオブロックの時間的ＡＲＰのための例示的な予測構造を示す概念図。 [0028]本開示で説明する技法による、ビデオブロック中のまたはそれに隣接する時間動きベクトル（ＴＭＶ）またはＤＭＶの識別のための例示的な技法を示す概念図。 [0029]図１３Ａは、本開示の技法による、ＴＭＶまたはＤＭＶを識別するための例示的な走査順序を示す概念図。
図１３Ｂは、本開示の技法による、ＴＭＶまたはＤＭＶを識別するための例示的な走査順序を示す概念図。
図１３Ｃは、本開示の技法による、ＴＭＶまたはＤＭＶを識別するための例示的な走査順序を示す概念図。
図１３Ｄは、本開示の技法による、ＴＭＶまたはＤＭＶを識別するための例示的な走査順序を示す概念図。
[0030]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0031]本開示で説明する技法を利用し得る例示的なビデオデコーダを示すブロック図。 [0032]本開示で説明する技法による、ビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図。 [0033]本開示で説明する技法による、ビュー間予測ビデオブロックを復号するための例示的なビュー間ＡＲＰ方法を示す流れ図。 [0034]本開示で説明する技法による、時間的に予測されたビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図。 [0035]本開示で説明する技法による、ビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図。 [0036]本開示で説明する技法による、ビュー間予測ビデオブロックを符号化するための例示的なビュー間ＡＲＰ方法を示す流れ図。 [0037]本開示で説明する技法による、時間的に予測されたビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図。 [0038]本開示で説明する技法による、時間的ＡＲＰのためのＤＭＶを識別するための例示的な方法を示す流れ図。 [0039]本開示で説明する技法による、ＡＲＰのＴＭＶまたはＤＭＶを識別するための例示的な方法を示す流れ図。
詳細な説明
[0040]概して、本開示は、コード化ビデオデータが２つ以上のビューを含むマルチビュービデオコーディングに関する。いくつかの例では、マルチビュービデオコーディングは、マルチビュープラス深度ビデオコーディングプロセス（a multiview-plus-depth video coding process）を含む。いくつかの例では、マルチビューコーディングは、３次元または３Ｄビデオのコーディングを含み得、３Ｄビデオコーディングと呼ばれることがある。いくつかの開示する技法はまた、マルチビューまたは３Ｄビデオコーディング以外のビデオコーディング、たとえば、スケーラブルビデオコーディングまたは、たとえば、ビデオデータが複数のビューまたはレイヤを含まないビデオコーディング規格の基本仕様によるビデオコーディング、に適用され得る。
[0041]本開示はまた、ビデオブロックの残差信号の予測、たとえば、高度残差予測（ＡＲＰ）に関する。より具体的には、本開示は、非ベースビュー（a non-base view）中のマルチビュービデオデータのテクスチャ成分（texture components）のより正確なＡＲＰのための技法について説明する。より正確なＡＲＰのための技法は、現在のビデオブロックの現在のビューから参照ビューまでの視差動きベクトル（ＤＭＶ）を識別することを含み得る。ＤＭＶは、参照ビュー中のビデオデータに基づく、たとえば、現在のビデオブロックまたは参照ビデオブロックの現在のビュー中のビデオデータの、ビュー間予測のために使用される動きベクトルである。本技法は、ＡＲＰのための参照ビデオブロックを識別するために識別されたＤＭＶを使用することと、識別された参照ビデオブロックに基づいて現在のビデオブロックのための残差予測子ブロックを決定することとをさらに含み得る。符号化ビデオビットストリーム中で識別された現在のブロックのためのコード化残差ブロックは、現在のビデオブロックのための現在のブロックと参照ビデオブロックとの間の差である通常の残差ブロックと、コード化重み係数インデックスに基づく潜在的なスケーリング（potential scaling）の後の残差予測子ブロックとの間の差であり得る。本開示では、「現在の」という用語は、概して、現在コーディングされているビュー、ピクチャ、またはブロックを識別するために使用される。したがって、現在のブロックは、概して、すでにコーディングされたビデオブロックとは対照的に、または、まだコーディングされていないビデオブロックとは対照的に、コーディングされているビデオデータのブロックを表す。
[0042]いくつかの例では、ＤＭＶは、現在のビデオブロックのＤＭＶであり得、その場合、ビデオコーダは、参照ビュー中の参照ブロックを識別するためにＤＭＶを使用し得る。そのような例では、本技法は、識別されたＤＭＶに基づいて現在のビデオブロックのビュー間ＡＲＰのためのビュー間残差予測子ブロックを決定することを含み得る。そのような例では、ＡＲＰは、時間的に予測されたビデオブロックをコーディングするための時間的ＡＲＰに限定されず、代わりに、ビュー間予測ビデオブロックをコーディングするためのビュー間ＡＲＰを含み得る。ビュー間ＡＲＰにより、ビデオコーダは、現在のビデオブロックの残差を予測するために異なるアクセスユニット中のビュー間残差予測子をより正確に計算することが可能になり得る。
[0043]いくつかの例では、現在のビデオブロックは時間的に予測され得、ＤＭＶは、現在のビデオブロックと同じビュー中の時間参照ブロック（a temporal reference block）のＤＭＶであり得る。そのような例では、ビデオコーダは、参照ビュー中の現在のビデオブロックのビュー間参照ブロックまたは現在のビデオブロックの時間的ＡＲＰのための参照ビュー中の時間参照ブロックの一方または両方を識別するために、現在のビデオブロックのために導出された視差ベクトル（ＤＶ）の代わりにＤＭＶを使用し得る。ビデオコーダは、現在のビデオブロックの残差を予測するために（参照ビュー中で計算される）時間残差予測子をより正確に計算するためにＤＭＶに基づいて識別されたブロックを使用し得る。そのような例では、レートひずみ最適化によって典型的には選定されるＤＭＶは、導出された視差ベクトルよりも正確になり得、これは、現在のビデオブロックのより正確な時間的ＡＲＰにつながり得る。
[0044]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。
[0045]最近、新しいビデオコーディング規格、すなわち高効率ビデオコーディング（ＨＥＶＣ）の設計が、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって確定された。以下でＨＥＶＣ ＷＤ１０と呼ぶ、最新のＨＥＶＣドラフト仕様が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐから入手可能である。ＨＥＶＣ ＷＤ１０の全文は、Ｂｒｏｓｓらの、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０（ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ）」、ＪＣＴＶＣ−Ｌ１００３＿ｖ３４、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合、ジュネーブ、スイス、２０１３年１月１４〜２３日である。ＨＥＶＣ ＷＤ１０は、その全体が参照により本明細書に組み込まれる。
[0046]また、ＨＥＶＣのマルチビュー拡張、すなわちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。以下でＭＶ−ＨＥＶＣ ＷＤ３と呼ぶ、ＭＶ−ＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／３＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｃ１００４−ｖ４．ｚｉｐから入手可能である。ＭＶ−ＨＥＶＣ ＷＤ３の全文は、Ｔｅｃｈらの、「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ３（ＩＳＯ／ＩＥＣ ２３００８−２：２０１ｘ／ＰＤＡＭ２）」、ＪＣＴ３Ｖ−Ｃ１００４＿ｄ３、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第３回会合、ジュネーブ、スイス、２０１３年１月１７〜２３日である。ＭＶ−ＨＥＶＣ ＷＤ３は、その全体が参照により本明細書に組み込まれる。
[0047]ＳＨＶＣと称するＨＥＶＣのスケーラブル拡張も、ＪＣＴ−ＶＣによって開発されている。以下でＳＨＶＣ ＷＤ１と呼ぶ、ＳＨＶＣの最近のワーキングドラフト（ＷＤ）が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００８−ｖ１．ｚｉｐから入手可能である。ＳＨＶＣ ＷＤ１の全文は、Ｃｈｅｎらの、「ＳＨＶＣ Ｄｒａｆｔ Ｔｅｘｔ １」、ＪＣＴＶＣ−Ｌ１００８、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合、ジュネーブ、スイス、２０１３年１月１４〜２３日である。ＳＨＶＣ ＷＤ１は、その全体が参照により本明細書に組み込まれる。
[0048]現在、ＶＣＥＧおよびＭＰＥＧのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−３Ｃ）は、ＨＥＶＣに基づく３ＤＶ規格を開発中であり、そのための規格化の取組みの一部は、ＭＶ−ＨＥＶＣの規格化を含み、その規格化の取組みの別の一部は、ＨＥＶＣに基づく３Ｄビデオコーディング（３ＤＶ）（３Ｄ−ＨＥＶＣ）の規格化を含む。３Ｄ−ＨＥＶＣでは、コーディングユニット／予測ユニットレベルのコーディングツールを含む新たなコーディングツールが、テクスチャと深度ビューの両方に関して含められ、サポートされ得る。３Ｄ−ＨＥＶＣのための最近の参照ソフトウェアテストモデル（３ＤＨＴＭ−７．０）がリンクｈｔｔｐｓ：／／ｈｅｖｃ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿３ＤＶＣＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＴＭ−７．０／からダウンロードされ得る。
[0049]最近の参照ソフトウェア記述ならびに３Ｄ−ＨＥＶＣのワーキングドラフトに関する全文は、Ｔｅｃｈらの、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ ４」、ＪＣＴ３Ｖ−Ｄ１００５＿ｓｐｅｃ＿ｖ１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第４回会合、インチョン、韓国、２０１３年４月２０〜２６日である。この参照ソフトウェア記述と３Ｄ−ＨＥＶＣのワーキングドラフトとは、リンクｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／４＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴ３Ｖ−Ｄ１００５−ｖ１．ｚｉｐからダウンロードされ得る。３Ｄ−ＨＴＭ−７．０および３Ｄ−ＨＥＶＣテストモデル４は、それらのそれぞれの全体が参照により本明細書に組み込まれる。
[0050]先行する参照文献の各々は、それらのそれぞれの全体が参照により本明細書に組み込まれる。本開示で説明する技法は、たとえば、ＨＥＶＣのＭＶ−ＨＥＶＣ拡張または３Ｄ−ＨＥＶＣ拡張あるいはＨ．２６４のＭＶＣ拡張に従って動作するビデオコーダによって実装され得る。しかしながら、本開示で説明する技法は、それらの規格に限定されず、本明細書で説明する他のビデオコーディング規格、またはビデオコーディングにおける残差予測を提供する規格を含む、本明細書で言及しない他のビデオコーディング規格に拡張され得る。
[0051]図１は、本開示で説明する１つまたは複数の例による、例示的なビデオ符号化システムとビデオ復号システムとを示すブロック図である。たとえば、システム１０はソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２および宛先デバイス１４は、本開示で説明する技法を実装するように構成される。いくつかの例では、システム１０は、たとえば、ＷＤ１０およびそれの拡張、たとえばＭＶ−ＨＥＶＣ ＷＤ３、ＳＨＶＣ ＷＤ１、３Ｄ−ＨＥＶＣテストモデル４などに記載されている拡張などに記載されるように、ＨＥＶＣ規格に従って符号化されるビデオデータなど、符号化されるビデオデータの符号化、送信、記憶、復号、および／または提示をサポートするように構成され得る。しかしながら、本開示に記載された技法は、他のビデオコーディング規格または他の拡張に適用可能であり得る。
[0052]図１に示すように、システム１０は、宛先デバイス１４によって後の時間に復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４はワイヤレス通信のために装備され得る。
[0053]宛先デバイス１４は、リンク１６を介して、復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワーク、などのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を促進するために有用であり得る任意の他の機器を含み得る。
[0054]いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイス３６に出力され得る。同様に、符号化データは、入力インターフェース２８によってストレージデバイス３４からアクセスされ得る。ストレージデバイス３６は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３６は、ソースデバイス１２によって生成された符号化されたビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３６から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線の接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶されている符号化ビデオデータにアクセスするために適当な、それらの両方の組合せを含み得る。ストレージデバイス３６からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0055]本開示の技法は、もちろん、ワイヤレスの用途または設定には限定されない。本技法は、オーバージエアテレビジョン放送（over-the-air television broadcasts）、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオプレイバック、ビデオブロードキャスティングおよび／またはビデオテレフォニーなどの適用例をサポートするために一方向または双方向のビデオ送信をサポートするように構成され得る。
[0056]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。しかしながら、本開示に記載される技法は、概してビデオコーディングに適用可能であり得るし、ワイヤレスおよび／または有線の適用例に適用され得る。
[0057]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ１２によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３６上に記憶され得る。
[0058]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３６上に提供された符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ３０などのビデオデコーダが使用するための、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶されるまたはファイルサーバに記憶される符号化ビデオデータとともに含まれ得る。
[0059]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。一般に、ディスプレイデバイス３２は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、種々のディスプレイデバイスのいずれかを備え得る。
[0060]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中のＨＥＶＣ規格ならびにＨＥＶＣ規格の拡張、たとえば、ＭＶ−ＨＥＶＣ、ＳＨＶＣおよび３Ｄ−ＨＥＶＣなどのビデオ圧縮規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0061]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0062]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアあるいはそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本開示の技法がソフトウェアに部分的に実装されるとき、デバイスは、ソフトウェアに対する命令を好適な非一時的コンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを使用して命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれかが、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
[0063]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、一般に、上述したように、ＨＥＶＣ ＷＤ１０、ＭＶ−ＨＥＶＣ ＷＤ３、ＳＨＶＣ ＷＤ１、および／または３Ｄ−ＨＥＶＣテストモデル４、あるいは本開示で説明する技法が有用であり得る他の類似の規格または拡張、に適合して動作し得る。ＨＥＶＣ規格は、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対して、ビデオコーディングデバイスのいくつかの付加された機能を規定する。たとえば、Ｈ．２６４は、９つのイントラ予測符号化モードを提供するが、ＨＥＶＣ規格は、３３ものイントラ予測符号化モードを提供し得る。
[0064]概して、ビデオフレームまたはピクチャは、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding units）に分割され（divided）得る。ＨＥＶＣコーディングプロセスにおけるツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され（partitioned）得る。各ツリーブロックは、４分木に従って、コーディングユニット（ＣＵ）に分割され（split）得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられたシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
[0065]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから、最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
[0066]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか、またはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ：transform units）と呼ばれることがある。ＴＵに関連するピクセル差分値（Pixel difference values）は、変換係数を生成するように変換され得、その変換係数は量子化され得る。
[0067]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの分解能（a resolution）（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトル用の参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０（Ｌ０）もしくはＲｅｆＰｉｃＬｉｓｔ１（Ｌ１））を記述し得る。
[0068]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）をも含み得る。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算し得る。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得る。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵ、またはＣＵを指すためにも「ビデオブロック」という用語を使用し得る。
[0069]たとえば、ＨＥＶＣ規格に従うビデオコーディングでは、ビデオフレームがコーディングユニット（ＣＵ）と予測ユニット（ＰＵ）と変換ユニット（ＴＵ）とに区分され得る。ＣＵは、概して、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。ＣＵは、一般に正方形の形状を有し、たとえば、ＩＴＵ−Ｔ Ｈ．２６４などの他のビデオコーディング規格の下でのいわゆる「マクロブロック」と同様であると見なされ得る。
[0070]より良いコーディング効率を達成するために、ＣＵは、それが含んでいるビデオデータに応じて可変サイズを有し得る。すなわち、ＣＵは、より小さいブロックまたはサブＣＵに区分または「分割」され得、その各々はＣＵと呼ばれることもある。さらに、サブＣＵに分割されない各ＣＵは、それぞれ、ＣＵの予測および変換のために１つまたは複数のＰＵとＴＵとにさらに区分され得る。
[0071]ＰＵは、Ｈ．２６４などの他のビデオコーディング規格の下でのいわゆるブロックのパーティションと同様であると見なされ得る。ＰＵは、「残差」係数（residual coefficients）を生成するためにブロックについての予測が実行されるベースである。ＣＵの残差係数は、ＣＵのビデオデータと、ＣＵの１つまたは複数のＰＵを使用して決定されたＣＵについての予測データとの間の差を表す。具体的には、１つまたは複数のＰＵは、ＣＵが予測のためにどのように区分されるかを指定し、ＣＵの各パーティション内に含まれているビデオデータを予測するためにどの予測モードが使用されるかを指定する。
[0072]ＣＵの１つまたは複数のＴＵは、ＣＵのための残差変換係数のブロックを生成するために、ブロックにどの変換が適用されるかに基づいて、ＣＵの残差係数のブロックのパーティションを指定する。１つまたは複数のＴＵはまた、適用される変換のタイプに関連し得る。変換は、残差係数をピクセル領域または空間領域から周波数領域などの変換領域に変換する。さらに、１つまたは複数のＴＵは、量子化残差変換係数のブロックを生成するために残差変換係数の得られたブロックにどの量子化が適用されるかに基づいてパラメータを指定し得る。残差変換係数は、場合によっては、係数を表すために使用されるデータの量を低減するために量子化され得る。
[0073]ＣＵは、一般に、Ｙとして示される１つのルミナンス成分と、ＵおよびＶとして示される２つのクロミナンス成分とを含む。言い換えれば、サブＣＵにさらに分割されない所与のＣＵは、Ｙ成分とＵ成分とＶ成分とを含み得、その各々は、前に説明したように、ＣＵの予測および変換のために１つまたは複数のＰＵとＴＵとにさらに区分され得る。たとえば、ビデオサンプリングフォーマットに応じて、Ｕ成分およびＶ成分のサイズは、いくつかのサンプルに関して、Ｙ成分のサイズと同じであるかまたはそれとは異なり得る。したがって、予測、変換、および量子化に関して上記で説明した技法は、所与のＣＵのＹ成分、Ｕ成分およびＶ成分の各々について実行され得る。
[0074]ＣＵを符号化するために、ＣＵの１つまたは複数のＰＵに基づいて、ＣＵのための１つまたは複数の予測子が最初に導出される。予測子は、ＣＵについての予測データを含んでいる参照ブロックであり、前に説明したように、ＣＵのための対応するＰＵに基づいて導出される。たとえば、ＰＵは、予測データが決定される際の対象となるＣＵのパーティションと、予測データを決定するために使用される予測モードとを示す。予測子は、イントラ（Ｉ）予測（すなわち、空間的予測）モードまたはインター（ＰまたはＢ）予測（すなわち、時間的予測）モードのいずれかを通して導出され得る。したがって、いくつかのＣＵは、同じフレーム中の隣接参照ブロックまたはＣＵに対する空間的予測を使用してイントラコーディング（Ｉ）され得るが、他のＣＵは、他のフレーム中の参照ブロックまたはＣＵに対してインターコーディング（ＰまたはＢ）され得る。
[0075]ＣＵの１つまたは複数のＰＵに基づいて１つまたは複数の予測子を識別するときに、１つまたは複数のＰＵに対応するＣＵの元のビデオデータと、１つまたは複数の予測子中に含まれているＣＵについての予測データとの間の差が計算される。予測残差（a prediction residual）とも呼ばれるこの差は、残差係数を備え、前に説明したように、１つまたは複数のＰＵと１つまたは複数の予測子とによって指定されたＣＵの部分間のピクセル差分を指す。残差係数は、概して、ＣＵの１つまたは複数のＰＵに対応する２次元（２Ｄ）アレイに構成される。
[0076]さらなる圧縮を達成するために、予測残差は、概して、たとえば、離散コサイン変換（ＤＣＴ：discrete cosine transform）、整数変換、カルーネンレーベ（Karhunen-Loeve）（Ｋ−Ｌ）変換、または別の変換を使用して変換される。変換は、同じく前に説明したように、空間領域中の予測残差、すなわち、残差係数を、変換領域、たとえば、周波数領域中の残差変換係数に変換する。変換係数はまた、概して、ＣＵの１つまたは複数のＴＵに対応する２Ｄアレイに構成される。さらなる圧縮のために、残差変換係数は、同じく前に説明したように、場合によっては、係数を表すために使用されるデータの量を低減するために量子化され得る。
[0077]またさらなる圧縮を達成するために、エントロピーコーダは、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：Context Adaptive Variable Length Coding）、確率間隔区分エントロピーコーディング（ＰＩＰＥ：Probability Interval Partitioning Entropy Coding）、または別のエントロピーコーディング方法を使用して、得られた残差変換係数をその後、符号化する。エントロピーコーディングは、他のＣＵと比較して、係数によって表される、ＣＵのビデオデータに固有の統計的冗長性を低減または除去することによって、このさらなる圧縮を達成し得る。
[0078]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：a group of pictures）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定のまたは変化するサイズを有し得、指定されたコーディング規格に従って、サイズは異なり得る。
[0079]一例として、ＨＥＶＣは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎとすれば、ＨＥＶＣは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測（intra-prediction）、および２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称なＰＵサイズでのインター予測（inter-prediction）をサポートする。ＨＥＶＣは、また、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための、非対称な区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。ＣＵの２５％パーティションに対応する部分は、「ｎ」、ならびにそれに続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」の表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部で２Ｎ×０．５ＮのＰＵ、および下部で２Ｎ×１．５ＮのＰＵに水平に区分される２Ｎ×２ＮのＣＵを指す。
[0080]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法（pixel dimensions）、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、および水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセル、および水平方向にＮピクセルを有し、ここでＮは、非負の整数値を表す。ブロック中のピクセルは、行および列に配列され得る。さらに、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックはＮ×Ｍピクセルを備えることもでき、ただし、Ｍは必ずしもＮに等しいとは限らない。
[0081]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備え得、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵに対する残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。
[0082]変換係数を生成するための任意の変換の後で、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。
[0083]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0084]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルの可変長コードを選択し得る。ＶＬＣの中のコードワードは、比較的短い符号がより起こりそうなシンボル（more probable symbols）に対応し、より長い符号がより起こりそうにないシンボル（less probable symbols）に対応するように、構成され得る。このようにして、ＶＬＣを使用すると、たとえば、送信されるべき各シンボルのために等長コードワード（equal-length codewords）を使用するよりも、ビット節約を実現し得る。起こりそうなことの決定（probability determination）は、シンボルに割り当てられたコンテキストに基づき得る。
[0085]ビデオエンコーダ２０はさらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のいくつかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。
[0086]加えて、ビデオエンコーダ２０は、たとえば、残差データを逆量子化し、逆変換し、残差データを予測データと組み合わせることによって符号化ピクチャを復号または再構成し得る。このようにして、ビデオエンコーダ２０は、ビデオデコーダ３０によって実行される復号プロセスをシミュレートし得る。したがって、ビデオエンコーダ２０とビデオデコーダ３０の両方は、インターピクチャ予測に使用するために実質的に同じ復号化または再構成化ピクチャ（decoded or reconstructed pictures）にアクセスできる。
[0087]概して、ビデオデコーダ３０は、ビデオエンコーダによって実行される符号化プロセスの逆である復号プロセスを実行し得る。たとえば、ビデオデコーダ３０は、量子化されたビデオデータをエントロピー符号化するためにビデオエンコーダによって使用されるエントロピー符号化技法の逆を使用してエントロピー復号を実行し得る。ビデオデコーダ３０は、ビデオエンコーダ２０によって使用される量子化技法の逆を使用してビデオデータをさらに逆量子化することができ、量子化された変換係数を生成するためにビデオエンコーダ２０によって使用された変換の逆を実行し得る。次いで、ビデオデコーダ３０は、最終的な表示用のビデオブロックを生成するために、隣接参照ブロック（イントラ予測）または別のピクチャからの参照ブロック（インター予測）に、得られた残差ブロックを適用し得る。ビデオデコーダ３０は、ビデオデコーダ３０によって受信されたビットストリーム中の符号化ビデオデータとともに、ビデオエンコーダ２０によって提供されるシンタックス要素に基づいて、ビデオエンコーダ２０によって実行される様々なプロセスの逆を実行するために構成され、命令され、制御され、または導かれ得る。本明細書で使用する「ビデオコーダ」という用語は、ビデオエンコーダ２０のようなビデオエンコーダ、または、ビデオデコーダ３０のようなビデオデコーダを指し得る。さらに、「ビデオコーディング」または「コーディング」という用語は、たとえば、ビデオエンコーダによって符号化することか、または、たとえば、ビデオデコーダによって復号することのいずれかまたは両方を指し得る。
[0088]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０（図１）は、マルチビュービデオコーディング、たとえば、２つ以上のビューを含むビデオデータのコーディングのための技法を採用し得る。そのような例では、ビデオエンコーダ２０は、２つ以上のビューのための符号化ビデオデータを含むビットストリームを符号化し得、ビデオデコーダ３０は、たとえば、ディスプレイデバイス３２に２つ以上のビューを与えるために符号化ビデオデータを復号し得る。いくつかの例では、ビデオデコーダ３０は、ディスプレイデバイス３２が３Ｄビデオを表示することを可能にするためにビデオデータの複数のビューを与え得る。いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、たとえば、マルチビューコーディンググプロセスまたはマルチビュープラス深度コーディングプロセスが使用されるＨＥＶＣ規格の３Ｄ−ＨＥＶＣ拡張に準拠し得る。マルチビューまたは３Ｄビデオコーディングは、２つ以上のテクスチャビューをおよび／またはテクスチャ成分と深度成分とを含むビューのコーディングを伴い得る。いくつかの例では、ビデオエンコーダ２０によって符号化され、ビデオデコーダ３０によって復号されるビデオデータは、すなわち、「アクセスユニット」内の任意の所与の瞬間における２つ以上のピクチャ、または任意の所与の瞬間における２つ以上のピクチャがデータから導出され得るそのデータを含む。
[0089]いくつかの例では、デバイス、たとえば、ビデオソース１８は、たとえば、共通シーンをキャプチャするための２つ以上の空間オフセットカメラ（spatially offset cameras）または他のビデオキャプチャデバイスを使用することによって２つ以上のピクチャを生成し得る。３次元効果を生成するために、わずかに異なる水平位置から同時にまたはほぼ同時にキャプチャされた同じシーンの２つのピクチャが使用され得る。いくつかの例では、ビデオソース１８（またはソースデバイス１２の別の構成要素）は、所与の時間における第１のビューの第１のピクチャから、その所与の時間における第２の（または他の追加の）ビューの第２の（または他の追加の）ピクチャを生成するために深度情報または視差情報を使用し得る。この場合、アクセスユニット内のビューは、第２のビューを生成するために、第１のビューに対応するテクスチャ成分とそのテクスチャ成分とともに使用され得る深度成分とを含み得る。深度または視差情報は、たとえば、ビデオキャプチャデバイスの構成および第１のビューのためのビデオデータのキャプチャに関して知られているカメラパラメータまたは他の情報に基づいて、第１のビューをキャプチャするビデオキャプチャデバイスよって決定され得る。深度または視差情報は、追加または代替として、第１のビュー中のカメラパラメータおよび／またはビデオデータから、たとえば、ソースデバイス１２のビデオソース１８または別の構成要素によって計算され得る。
[0090]３Ｄビデオを提示するために、ディスプレイデバイス３２は、同時にまたはほぼ同時にキャプチャされた共通シーンの異なるビューに関連する２つのピクチャを同時にまたはほぼ同時に表示し得る。いくつかの例では、宛先デバイス１４のユーザは、左レンズと右レンズとを迅速、交互に閉じる（shutter）ためのアクティブ眼鏡（active glasses）を装着し得、ディスプレイデバイス３２は、アクティブ眼鏡と同期して左ビューと右ビューとの間で迅速に切り替わり得る。他の例では、ディスプレイデバイス３２は２つのビューを同時に表示し得、ユーザは、適切なビューがそれを通ってユーザの眼に届くようにビューをフィルタ処理する、たとえば、偏光レンズをもつパッシブ眼鏡（passive glasses）を着用し得る。他の例では、ディスプレイデバイス３２は、ユーザが３Ｄ効果を知覚するために眼鏡を必要としない自動立体視ディスプレイ（an autostereoscopic display）を備え得る。
[0091]マルチビュービデオコーディングは、複数のビューがコーディングされる方法を指す。３Ｄビデオコーディングの場合、複数のビューは、たとえば、左眼ビューと右眼ビューとに対応し得る。複数のビューの各ビューは複数のピクチャを含む。３Ｄシーンの閲覧者の知覚は、異なるビューのピクチャ内のオブジェクト間の水平視差に起因する。
[0092]現在のピクチャの現在のブロックのための視差ベクトル（ＤＶ）は、現在のピクチャとは異なるビュー中である対応するピクチャ中の対応するブロックを指すベクトルである。したがって、ＤＶを使用して、ビデオコーダは、対応するピクチャ中で、現在のピクチャの現在のブロックに対応するブロックの位置を特定することができる。この場合、対応するピクチャは、現在のピクチャと同じ時間インスタンスのものであるが、異なるビュー中にあるピクチャである。対応するピクチャ中の対応するブロックおよび現在のピクチャ中の現在のブロックは、同様のビデオコンテンツを含み得るが、現在のピクチャ中の現在のブロックのロケーションと、対応するピクチャ中の対応するブロックのロケーションとの間に少なくとも水平視差がある。現在のブロックのＤＶは、対応するピクチャ中のブロックと現在のピクチャ中の現在のブロックとの間のこの水平視差の測度を提供する。
[0093]いくつかの事例では、対応するピクチャ内のブロックのロケーションと現在のピクチャ内の現在のブロックのロケーションとの間に垂直視差もあり得る。現在のブロックのＤＶはまた、対応するピクチャ中のブロックと現在のピクチャ中の現在のブロックとの間のこの垂直視差の測度を提供し得る。ＤＶは、２つの成分（ｘ成分およびｙ成分）を含んでいるが、多くの事例では、垂直成分はゼロに等しくなる。現在のビューの現在のピクチャおよび異なるビューの対応するピクチャが表示される時間は、同じであり得、すなわち、現在のピクチャおよび対応するピクチャは、同じ時間インスタンスのピクチャである。
[0094]ビデオコーディングでは、概して、一般にイントラ予測およびインター予測と呼ばれる２つのタイプの予測がある。イントラ予測では、ビデオコーダは、同じピクチャ中のすでにコーディングされているブロックに基づいてピクチャ中のビデオのブロックを予測する。インター予測では、ビデオコーダは、異なるピクチャ（すなわち参照ピクチャ）のすでにコーディングされているブロックに基づいてピクチャ中のビデオのブロックを予測する。本開示で使用する参照ピクチャは、概して、復号順序で後続のピクチャの復号プロセスにおけるインター予測のために使用され得るサンプルを含んでいる任意のピクチャを指す。現在のピクチャに対して、たとえば、３Ｄ−ＨＥＶＣに従って、マルチビューコンテンツをコーディングするとき、参照ピクチャは、異なるビュー中にあるが同じ時間インスタンスのものであり得るか、または異なる時間インスタンスのものであるが同じビュー中にあり得る。たとえば、３Ｄ−ＨＥＶＣでのマルチビューコーディングの場合、インターピクチャ予測は、時間的に異なるピクチャ中の別のビデオブロックからの、すなわち、現在のピクチャとは異なるアクセスユニットからの、現在のビデオブロック、たとえば、ＣＵの現在のコーディングノード、の予測、ならびに、現在のピクチャと同じアクセスユニット中にあるが、現在のピクチャとは異なるビューに関連する、異なるピクチャからの予測を含み得る。
[0095]インター予測の後者の場合、それは、ビュー間コーディングまたはビュー間予測と呼ばれることがある。マルチビューコーディングでは、ビュー間予測は、ビューの間の相関を取り除くために、同じ（すなわち、同じ時間インスタンスをもつ）アクセスユニットの異なるビュー中でキャプチャされたピクチャの間で実行される。非ベースビュー（a non-base view）のピクチャ、たとえば、従属ビュー（a dependent view）をコーディングするとき、同じアクセスユニットだが異なるビューからのピクチャ、たとえば、ベースビューなどの参照ビューからのピクチャが、参照ピクチャリストに追加され得る。ビュー間参照ピクチャ（inter-view reference picture）は、任意のインター予測（たとえば、時間またはビュー間）参照ピクチャの場合のように、参照ピクチャリストの任意の位置に置かれ得る。
[0096]現在のピクチャのブロックを予測するために使用される参照ピクチャのブロックは、動きベクトルによって識別される。マルチビューコーディングでは、少なくとも２つの種類の動きベクトルがある。時間動きベクトル（ＴＭＶ）は、コーディングされているブロックと同じビューだが、コーディングされているブロックとは異なる時間インスタンスまたはアクセスユニット中にある時間参照ピクチャ中のブロックを指す動きベクトルであり、対応するインター予測は、動き補償予測（ＭＣＰ：motion-compensated prediction）と呼ばれる。別のタイプの動きベクトルは、現在ピクチャと同じアクセスユニット中のものだが、異なるビューのピクチャ中のブロックを指す視差動きベクトル（ＤＭＶ）である。ＤＭＶでは、対応するインター予測は、視差補償予測（ＤＣＰ：disparity-compensated prediction）またはビュー間予測と呼ばれる。
[0097]図２は、例示的なマルチビュー符号化または復号順序を示すグラフ図である。図２に示す復号順序構成は時間優先コーディング（time-first coding）と呼ばれることがある。概して、マルチビューまたは３Ｄビデオシーケンスは、（すなわち、同じ時間インスタンスをもつ）アクセスユニットごとに、それぞれ、２つ以上のビューのビューごとに２つ以上のピクチャを含み得る。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８は、それぞれ１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスについてのすべてのビューのコード化ピクチャを含み得る。たとえば、第１のアクセスユニットは、時間インスタンスＴ０についてのビューＳ０〜Ｓ７（すなわち、ピクチャ０〜７）のすべてを含み、第２のアクセスユニットは、時間インスタンスＴ１についてのビューＳ０〜Ｓ７（すなわち、ピクチャ８〜１５）のすべてを含み、以下同様である。この例では、ピクチャ０〜７は、同じ時間インスタンス（すなわち、時間インスタンスＴ０）におけるものであり、ピクチャ８〜１５は、同じ時間インスタンス（すなわち、時間インスタンスＴ１）におけるものである。同じ時間インスタンスをもつピクチャは概して同時に表示され、３Ｄボリュームを包含する画像を閲覧者に知覚させるものは、同じ時間インスタンスのピクチャ内のオブジェクト間の水平視差と、場合によっては何らかの垂直視差である。
[0098]図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。各セットは２つのピクチャを含み、一方のピクチャはテクスチャビュー成分と呼ばれ、他方のピクチャは深度ビュー成分と呼ばれる。ビューのピクチャのセット内のテクスチャビュー成分と深度ビュー成分とは、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビュー成分は、そのビューのピクチャのセット内の深度ビュー成分に対応すると見なされ得、その逆も同様である（すなわち、深度ビュー成分はセット中のそれのテクスチャビュー成分に対応し、その逆も同様である）。本開示で使用するように、テクスチャビュー成分と、対応する深度ビュー成分とは、単一のアクセスユニットの同じビューの一部であると見なされ得る。
[0099]テクスチャビュー成分は、表示される実際の画像コンテンツを含む。たとえば、テクスチャビュー成分は、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビュー成分は、それの対応するテクスチャビュー成分中のピクセルの相対深度を示し得る。一例として、深度ビュー成分は、ルーマ値のみを含むグレースケール画像（a gray scale image）と同様であり得る。言い換えれば、深度ビュー成分は、任意の画像コンテンツを搬送するのではなく、テクスチャビュー成分中のピクセルの相対深度の測度を与え得る。
[0100]たとえば、深度ビュー成分中の純白のピクセル（a purely white pixel）に対応するピクセル値は、対応するテクスチャビュー成分中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより近いことを示し得、深度ビュー成分中の純黒のピクセル（a purely black pixel）に対応するピクセル値は、対応するテクスチャビュー成分中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより遠いことを示し得る。黒と白との中間にあるグレーの様々な色合い（shades）に対応するピクセル値は、異なる深度レベルを示す。たとえば、深度ビュー成分中の濃いグレーのピクセルは、テクスチャビュー成分中のそれの対応するピクセルが、深度ビュー成分中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためには、グレースケールと同様にただ１つのピクセル値が必要とされるので、深度ビュー成分はただ１つのピクセル値を含み得る。したがって、クロマ成分に類似する値は必要とされない。
[0101]深度を識別するためにルーマ値（たとえば、強度値）のみを使用する深度ビュー成分が説明のために提供され、限定するものと見なされるべきではない。他の例では、テクスチャビュー成分中のピクセルの相対深度を示すために任意の技法が利用され得る。
[0102]マルチビュービデオコーディングによれば、テクスチャビュー成分は、同じビュー中のテクスチャビュー成分から、あるいは１つまたは複数の異なるビュー中のテクスチャビュー成分からインター予測される。テクスチャビュー成分は、「ビデオブロック」と呼ばれ、一般に、Ｈ．２６４コンテキストでは「マクロブロック」と呼ばれ、ＨＥＶＣコンテキストではツリーブロックまたはコーディングユニット（ＣＵ）と呼ばれる、ビデオデータのブロック中でコーディングされ得る。
[0103]任意の同様の時間インスタンスのピクチャは同様のコンテンツを含み得る。しかしながら、同様の時間インスタンス中の異なるピクチャのビデオコンテンツは、互いに対して水平方向にわずかに変位され（displaced）得る。たとえば、ブロックがビューＳ０のピクチャ０における（ｘ，ｙ）に位置する場合、ビューＳ１のピクチャ１における（ｘ＋ｘ’，ｙ）に位置するブロックは、ビューＳ０のピクチャ０における（ｘ，ｙ）に位置するブロックと同様のビデオコンテンツを含む。この例では、ビューＳ０のピクチャ０における（ｘ、ｙ）に位置するブロックおよびビューＳ１のピクチャ１における（ｘ＋ｘ’，ｙ）に位置するブロックは、対応するブロックと見なされる。いくつかの例では、ビューＳ１のピクチャ１中の（ｘ＋ｘ’，ｙ）に位置するブロックのＤＶは、それの対応するブロックのロケーションを指す。たとえば、（ｘ＋ｘ’，ｙ）に位置するブロックのＤＶは、（−ｘ’，０）である。
[0104]いくつかの例では、ビデオエンコーダ２０またはビデオデコーダ３０は、第２のビューのピクチャ中の対応するブロックを識別するために、第１のビューのピクチャ中のブロックのＤＶを利用し得る。ビデオエンコーダ２０およびビデオデコーダ２０は、たとえば、ビュー間予測を実行するときにＤＶを利用し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、たとえば、現在のブロックのＤＶによって決定された参照ビュー中の参照ピクチャの参照ブロックの情報を使用してビュー間予測を実行し得る。
[0105]図３は、マルチビューコーディングのための例示的な時間的およびビュー間予測パターンを示す概念図である。図２の例と同様に、図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、１２個の時間ロケーションまたはアクセスユニット（「Ｔ０」〜「Ｔ１１」）がビューごとに示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションまたはアクセスユニットを示す。（ピクチャであるか、または異なるピクチャ中の例示的なビデオブロックであり得る）オブジェクトは、図３中の各行および各列の交点で示される。ＭＶＣ拡張をもつＨ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得るが、ＨＥＶＣ規格は、ビデオの一部分を表すためにピクチャという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用する。
[0106]図３では、ビューＳ０はベースビューと見なされ得、ビューＳ１〜Ｓ７は従属ビューと見なされ得る。ベースビューは、ビュー間予測されないピクチャを含む。ベースビュー中のピクチャは、同じビュー内の他のピクチャに対してインター予測され得る。たとえば、ビューＳ０中のピクチャのいずれも、ビューＳ１〜Ｓ７のいずれの中のピクチャに対してもインター予測され得ないが、ビューＳ０中のピクチャのいくつかは、ビューＳ０中の他のピクチャに対してインター予測され得る。
[0107]さらに、アクセスユニットＴ０およびＴ８は、図３の例示的な予測構造のビデオシーケンスのためのランダムアクセスユニットまたはランダムアクセスポイントである。図３の例示的な予測構造において「Ｉ」と標示されたブロックによって示されているように、各ランダムアクセスポイント（Ｔ０およびＴ８）において、ベースビューピクチャ（Ｓ０）のビデオブロックはイントラピクチャ予測される。ランダムアクセスポイント中の他の非ベースビューピクチャ、または非ランダムアクセスポイント中のベースおよび非ベースビューピクチャ、のビデオブロックは、図３の例示的な予測構造中の「Ｉ」、「Ｂ」、「Ｐ」、または「ｂ」と標示された様々なブロックによって示されるように、時間的インター予測またはビュー間予測のいずれかを介してインターピクチャ予測され得る。図３の例示的な予測構造における予測は、矢印によって示され、矢印の終点のオブジェクト（pointed-to object）は、予測の基準のために矢印の始点のオブジェクト（pointed-from object）を使用する。
[0108]従属ビューは、ビュー間予測されるピクチャを含む。たとえば、ビューＳ１〜Ｓ７の各々は、別のビュー中のピクチャに対してインター予測される少なくとも１つのピクチャを含む。従属ビュー中のピクチャは、ベースビュー中のピクチャに対してインター予測され得るか、または他の従属ビュー中のピクチャに対してインター予測され得る。図３の例では、大文字「Ｂ」および小文字「ｂ」は、異なるコーディング方法ではなく、ピクチャ間の異なる階層関係を示すために使用される。概して、大文字の「Ｂ」ピクチャは、小文字の「ｂ」フレームよりも予測階層が比較的高い。
[0109]ベースビューと１つまたは複数の従属ビューの両方を含むビデオストリームは、異なるタイプのビデオデコーダによって復号可能であり得る。たとえば、１つの基本タイプのビデオデコーダは、ベースビューのみを復号するように構成され得る。さらに、別のタイプのビデオデコーダは、ビューＳ０〜Ｓ７の各々を復号するように構成され得る。ベースビューと従属ビューの両方を復号するように構成されたデコーダは、マルチビューコーディングをサポートするデコーダと呼ばれることがある。
[0110]図３のピクチャ（または他のオブジェクト）は、対応するピクチャがイントラコーディングされる（intra-coded）（すなわち、Ｉピクチャである）か、一方向に（すなわち、Ｐピクチャとして）インターコーディングされる（inter-coded）か、または複数の方向に（すなわち、Ｂピクチャとして）インターコーディングされるかを指定する、文字を含む陰影付きブロック（a shaded block）を使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
[0111]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測的に符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のＢピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのＢピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビュー成分（たとえば、テクスチャビュー成分）は、参照のために他のビュー中のビュー成分を使用することができる。マルチビューコーディングでは、たとえば、別のビュー中のビュー成分がインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シグナリングされ得、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
[0112]図３は、ビュー間予測の様々な例を与える。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のＢピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のＢピクチャ、から予測される。
[0113]図３はまた、異なるレベルの陰影を使用して予測階層の変形形態を示し、ここで、より大きい量の陰影の（すなわち、比較的より暗い）フレームは、より少ない陰影を有する（すなわち、比較的より明るい）フレームよりも予測階層が高い。たとえば、図３のすべてのＩピクチャは完全な陰影を用いて示されているが、Ｐピクチャはよりいくぶん明るい陰影を有し、Ｂピクチャ（および小文字のｂピクチャ）は、互いに対して様々なレベルの陰影を有するが、ＰピクチャおよびＩピクチャの陰影よりも常に明るい。
[0114]概して、予測階層が比較的高いピクチャは、予測階層が比較的より低いピクチャを復号する前に復号されなければならないという点で、予測階層はビュー順序インデックスに関係し得る。予測階層が比較的より高いそれらのピクチャは、予測階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得る。ビュー順序インデックスは、アクセスユニット中のビュー成分の復号順序を示すインデックスである。ビュー成分の復号は、ビュー順序インデックスの昇順に従い得る。すべてのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数までの連続的な順序付きセットを備え得る。
[0115] 予測階層の等しいレベルにあるいくつかのピクチャの場合、復号順序は、互いに重要でないことがある。たとえば、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャのための参照ピクチャとして使用され得、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャのための参照ピクチャとして使用され得る。したがって、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャの前に復号されるべきであり、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャの前に復号されるべきである。しかしながら、ビューＳ１およびＳ３は予測のために互いに従属しないので、ビューＳ１とビューＳ３との間で、復号順序は重要でない。代わりに、ビューＳ１およびＳ３は、予測階層がより高い他のビューのみから予測される。その上、ビューＳ１がビューＳ０およびＳ２の後に復号される限り、ビューＳ１はビューＳ４の前に復号され得る。
[0116]上記で説明したように、３Ｄ−ＨＥＶＣでは、ビデオエンコーダ２０およびビデオデコーダ３０は、第２のビューの参照ピクチャ内の参照ブロックに関する第１のビューの現在のピクチャ内の現在のブロックをインター予測し得る。そのようなインター予測は、ビュー間予測と呼ばれる。現在のピクチャおよび参照ピクチャの時間インスタンスは、それぞれのビューにおいて同じであり得る。そのような例では、ビデオエンコーダ２０またはビデオデコーダ３０は、同じアクセスユニット内のピクチャにわたってビュー間予測を実行し、ここで同じアクセスユニット内のピクチャは、同じ時間インスタンスにおけるものである。
[0117]現在のブロックについてビュー間予測を実行するために、ビデオエンコーダ２０またはビデオデコーダ３０は、インター予測に対して使用され得る参照ピクチャを識別する参照ピクチャリストを、ビュー間予測に対して使用され得るピクチャを含めて構築する。インター予測は、参照ピクチャ内の参照ブロックに関して現在のピクチャ内の現在のブロックを予測することを指す。ビュー間予測は、ビュー間予測において、参照ピクチャが現在のピクチャのビューと異なるビュー内にある、インター予測のサブセットである。したがって、ビュー間予測に対して、ビデオエンコーダ２０およびビデオデコーダ３０は、構築された参照ピクチャリストの一方または両方に他のビュー内の参照ピクチャを追加する。他のビュー内の参照ピクチャは、構築された参照ピクチャリスト内の任意のロケーションにおいて識別され得る。本開示で使用されるように、ビデオエンコーダ２０がブロックについてインター予測を実行している（たとえば、インター予測している）とき、ビデオエンコーダ２０は、ブロックをインター予測符号化していると見なされ得る。ビデオデコーダ３０がブロックについてインター予測を実行している（たとえば、インター予測している）とき、ビデオデコーダ３０は、ブロックをインター予測復号していると見なされ得る。ビュー間予測では、現在のビデオブロックのためのＤＭＶは、現在のブロックをインター予測するための参照ブロックとして使用されるべき、予測されるべきビデオブロックと、構築された参照ピクチャリストの一方または両方への参照インデックスとを含むピクチャが他のビュー中の参照ピクチャを識別するビュー以外のビュー中の参照ピクチャ中のブロックのロケーションを識別する。
[0118]本開示では、現在のビデオブロックのＤＭＶまたは参照ビデオブロックのＤＭＶを識別することと、識別されたＤＭＶに基づいて現在のビデオブロックのための残差予測子ブロックを決定することとを含むＡＲＰを実行するための技法について説明する。現在のビデオブロックのＤＭＶまたは現在のビデオブロックと同じビュー中の参照ビデオブロックのＤＭＶは、現在のビデオブロックの現在のビューから、参照ビュー中のビデオデータに基づいて現在のビュー中のビデオデータのビュー間予測のために使用される参照ビューまでのＤＭＶと見なされ得る。本開示の技法は、ビデオエンコーダ２０およびビデオデコーダ３０の一方または両方によって実施され得る。これらの技法は、たとえば、ＨＥＶＣベースのマルチビュービデオコーディングおよび／またはＨＥＶＣベースの３Ｄビデオコーディングと連携して使用され得る。
[0119]上記で説明したように、ビデオデータのブロックのためのＴＭＶまたはＤＭＶを定義するデータは、ベクトルの水平成分と垂直成分とに加えてベクトルのための分解能を含み得る。ビデオブロックについての動き情報は、動きベクトルに加えて、予測方向と参照ピクチャインデックス値とを含み得る。さらに、現在のビデオブロックについての動き情報は、参照ビデオブロックと呼ばれることもある隣接ビデオブロックの動き情報から予測され得る。参照ビデオブロックは、同じピクチャ内の空間ネイバー（a spatial neighbor）であるか、同じビューの異なるピクチャ内のものだが異なるアクセスユニット内の時間ネイバー（a temporal neighbor）であるか、または異なるビューの異なるピクチャ内のものだが同じアクセスユニット内のビデオブロックであり得る。異なるビュー中の参照ブロックからの動き情報の場合、動きベクトルは、ビュー間参照ピクチャ（すなわち、現在のピクチャと同じアクセスユニット中のものだが異なるビューからの参照ピクチャ）中の参照ブロックから導出されるＴＭＶであるか、またはＤＶから導出されるＤＭＶであり得る。
[0120]一般に、動き情報予測では、様々な参照ブロックからの候補動き情報のリストは、たとえば、様々な参照ブロックからの動き情報が、定義された順序でのそのリストへの包含について考慮されるように、定義された方法で形成される。候補リストを形成した後、ビデオエンコーダ２０は、各候補を評価して、ビデオを符号化するために選択された所与のレートおよびひずみのプロファイルに最も良く合致する最良のレートおよびひずみの特性をもたらすのはどれかを決定し得る。ビデオエンコーダ２０は、候補の各々に対してレートひずみ最適化（ＲＤＯ：rate-distortion optimization）手順を実行し、最良のＲＤＯ結果を有する動き情報候補のうちの１つを選択し得る。代替的に、ビデオエンコーダ２０は、現在のビデオブロックについて決定された動き情報に最も近似する、リストに記憶された候補のうちの１つを選択し得る。
[0121]いずれの場合も、ビデオエンコーダ２０は、動き情報の候補リスト中で候補のうちの選択された１つを識別するインデックスを使用して選択された候補を指定し得る。ビデオエンコーダ２０は、ビデオデコーダ３０が使用する符号化ビットストリーム中でこのインデックスをシグナリングし得る。コーディング効率のために、その候補は、現在のビデオブロックをコーディングするために選択される可能性が最も高い候補動き情報が先頭になるか、あるいは大きさが最低のインデックス値に関連付けられるようにリスト中で順序付けされ得る。
[0122]動き情報予測のための技法は、マージモードと、スキップモードと、アドバンス動きベクトル予測（ＡＭＶＰ：advance motion vector prediction）モードとを含み得る。概して、マージモードおよび／またはスキップモードに従って、現在のビデオブロックは、別の以前にコーディングされた隣接ブロック、たとえば、同じピクチャ中の空間的に隣接するブロックあるいは時間またはビュー間参照ピクチャ中のブロックから動き情報、たとえば、動きベクトル、予測方向、および参照ピクチャインデックスを継承する。マージ／スキップモードを実施するとき、ビデオエンコーダ２０は、定義された事柄（a defined matter）中の参照ブロックの動き情報であるマージング候補（merging candidates）のリストを構築し、マージング候補のうちの１つを選択し、ビットストリーム中でビデオデコーダ３０に選択されたマージング候補を識別する候補リストインデックスをシグナリングする。
[0123]ビデオデコーダ３０は、マージ／スキップモードを実装する際に、この候補リストインデックスを受信し、定義された方法に従ってマージング候補リストを再構成し、インデックスによって示された候補リスト中のマージング候補のうちの１つを選択する。ビデオデコーダ３０は、次いで、マージング候補のうちの選択された１つの動きベクトルと同じ分解能で、マージング候補のうちの選択された１つに対する動きベクトルと同じ参照ピクチャを指す、現在のＰＵの動きベクトルとしてマージング候補のうちの選択された１つをインスタンス化し（instantiate）得る。したがって、デコーダ側において、候補リストインデックスが復号されると、たとえば、動きベクトル、予測方向および、参照ピクチャインデックスなど、選択された候補の対応するブロックの動き情報のすべてが継承され得る。マージモードおよびスキップモードは、ビデオエンコーダ２０が、現在のビデオブロックのインター予測についての動き情報のすべてではなく、マージング候補リストへのインデックスをシグナリングすることを可能にすることによってビットストリーム効率を促進する。
[0124]ＡＭＶＰを実施するとき、ビデオエンコーダ２０は、定義された事柄中の候補動きベクトル予測子（ＭＶＰ）のリストを構築し、候補ＭＶＰのうちの１つを選択し、ビットストリーム中でビデオデコーダ３０に選択されたＭＶＰを識別する候補リストインデックスをシグナリングする。マージモードと同様に、ＡＭＶＰを実施するとき、ビデオデコーダ３０は、定義された事柄中の候補ＭＶＰのリストを再構成し、エンコーダからの候補リストインデックスを復号し、候補リストインデックスに基づいてＭＶＰのうちの１つを選択しインスタンス化する。
[0125]しかしながら、マージ／スキップモードに反して、ＡＭＶＰを実施するとき、ビデオエンコーダ２０はまた、参照ピクチャインデックスと予測方向とをシグナリングし、このようにして、候補リストインデックスによって指定されたＭＶＰが指す参照ピクチャを指定する。さらに、ビデオエンコーダ２０は、現在のブロックのための動きベクトル差分（ＭＶＤ：motion vector difference）を決定し、ここで、ＭＶＤは、ＭＶＰと、通常ならば現在のブロックのために使用されたであろう実際の動きベクトルとの間の差である。ＡＭＶＰでは、参照ピクチャインデックス、参照ピクチャ方向および候補リストインデックスに加えて、ビデオエンコーダ２０は、ビットストリーム中で現在のブロックのためのＭＶＤをシグナリングする。所与のブロックのための参照ピクチャインデックスと予測ベクトル差分とのシグナリングにより、ＡＭＶＰは、マージ／スキップモードほど効率的でないことがあるが、コード化ビデオデータの忠実度が改善し得る。
[0126]図４に、現在のビデオブロック４７と、５つの空間的隣接ブロック（４１、４２、４３、４４および４５）と、別のピクチャからのものだが現在のピクチャと同じビュー中の時間参照ブロック４６との一例を示す。時間参照ブロック４６は、たとえば、異なる時間インスタンスのピクチャだが現在のビデオブロック４７と同じビュー中のコロケートされたブロックであり得る。いくつかの例では、現在のビデオブロック４７と参照ビデオブロック４１〜４６とは、現在開発中のＨＥＶＣ規格において概して定義された通りのものであり得る。参照ビデオブロック４１〜４６は、現在開発中のＨＥＶＣ規格に従ってＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２およびＴと標示される。ビデオエンコーダ２０およびビデオデコーダ３０は、動き情報予測モード、たとえば、マージ／スキップモードまたはＡＭＶＰモードに従って参照ビデオブロック４１〜４６の動き情報に基づいて現在のビデオブロック４７の、ＴＭＶを含む動き情報を予測し得る。以下でより詳細に説明するように、ビデオブロックのＴＭＶは、本開示の技法によれば、高度残差予測のためのＤＭＶとともに使用され得る。
[0127]図４に示すように、ビデオブロック４２、４４、４３、４１、および４５は、現在のビデオブロック４７に対して、それぞれ、左、上、右上、左下、および左上にあり得る。ただし、図４に示す現在のビデオブロック４７に対する隣接ブロック４１〜４５の数とロケーションとは例にすぎない。他のロケーションにおいて、異なる数の隣接ブロックおよび／または異なるロケーションにあるブロックの動き情報が、現在のビデオブロック４７のための動き情報予測候補リストへの包含について考慮され得る。
[0128]現在のビデオブロック４７に対する空間的に隣接するブロック４２、４４、４３、４１、および４５の各々の空間的関係は、次のように説明され得る。現在のピクチャの左上のサンプルに対する現在のブロックの左上のルーマサンプルを指定するために、ルーマロケーション（ｘＰ，ｙＰ）が使用される。変数ｎＰＳＷおよびｎＰＳＨは、ルーマについて現在のブロックの幅と高さとを示す。空間的に隣接するブロック４２の左上のルーマサンプルは、ｘＰ−１、ｙＰ＋ｎＰＳＨ−１である。空間的に隣接するブロック４４の左上のルーマサンプルは、ｘＰ＋ｎＰＳＷ−１、ｙＰ−１である。空間的に隣接するブロック４３の左上のルーマサンプルは、ｘＰ＋ｎＰＳＷ、ｙＰ−１である。空間的に隣接するブロック４１の左上のルーマサンプルは、ｘＰ−１、ｙＰ＋ｎＰＳＨである。空間的に隣接するブロック４５の左上のルーマサンプルは、ｘＰ−１、ｙＰ−１である。ルーマロケーションに関して説明したが、現在のブロックと参照ブロックとはクロマ成分を含み得る。
[0129]空間的に隣接するブロック４１〜４５の各々は、現在のビデオブロック４７の動き情報、たとえば、ＴＭＶを予測するための空間動き情報候補を与え得る。ビデオコーダ、たとえば、ビデオエンコーダ２０（図１）またはビデオデコーダ３０（図１）は、所定の順序、たとえば、走査順序で、空間的に隣接する参照ブロックの動き情報を考慮し得る。３Ｄ−ＨＥＶＣの場合、たとえば、ビデオデコーダは、４２、４４、４３、４１、および４５の順序でマージモードのためのマージング候補リストへの包含について参照ブロックの動き情報を考慮し得る。図示の例では、空間的に隣接するブロック４１〜４５は、現在のビデオブロック４７の左側におよび／またはそれの上にある。大部分のビデオコーダがピクチャの左上からラスタ走査順序（raster scan order）でビデオブロックをコーディングするので、この構成は典型的なものである。したがって、そのような例では、空間的に隣接するブロック４１〜４５は、一般に、現在のビデオブロック４７より前にコーディングされることになる。ただし、他の例では、たとえば、ビデオコーダが異なる順序でビデオブロックをコーディングするとき、空間的に隣接するブロック４１〜４５は、現在のビデオブロック４７の右側におよび／またはそれの下に位置し得る。
[0130]時間参照ブロック４６は、現在のビデオブロック４７の現在のピクチャより必ずしもコーディング順序で直前とは限らないが、それより前にコーディングされた時間参照ピクチャ内に位置する。さらに、ブロック４６の参照ピクチャは、必ずしも表示順序で現在のビデオブロック４７のピクチャより前にあるとは限らない。参照ビデオブロック４６は、概して、現在のピクチャ中の現在のビデオブロック４７のロケーションに対して参照ピクチャ中でコロケートされ得る。いくつかの例では、参照ビデオブロック４６は、現在のピクチャ中の現在のビデオブロック４７の位置の右側におよびそれの下に位置し、または現在のピクチャ中の現在のビデオブロック４７の中心位置をカバーする。
[0131]図５は、たとえば、マージ／スキップモードまたはＡＭＶＰモードによる、現在のビデオブロック５０の動き情報の予測のためのビュー間予測動きベクトル候補（ＩＰＭＶＣ：inter-view predicted motion vector candidate）とビュー間視差動きベクトル候補（ＩＤＭＶＣ：inter-view disparity motion vector candidate）との導出の例を示す概念図である。ビュー間予測が使用可能であるとき、ビデオエンコーダ２０および／またはビデオデコーダ３０は、現在のビデオブロック５０のための動き情報候補リストに新しい動きベクトル候補ＩＰＭＶＣまたはＩＤＭＶＣを追加し得る。ＩＰＭＶＣは、現在のビデオブロック５０のためのＴＭＶを予測し得、これを、ビデオエンコーダ２０および／またはビデオデコーダ３０は、以下でより詳細に説明するように、本開示の技法に従って現在のビデオブロック５０または別のビデオブロックのＡＲＰのために使用し得る。ＩＤＭＶＣは、現在のビデオブロック５０のためのＤＭＶを予測し得、これを、ビデオエンコーダ２０および／またはビデオデコーダ３０は、以下でより詳細に説明するように、本開示の技法に従って現在のビデオブロック５０または別のビデオブロックのＡＲＰのために使用し得る。
[0132]図５の例では、現在のブロック５０は現在のビューＶｍ中にある。ビデオエンコーダ２０および／またはビデオデコーダ３０は、視差ベクトル（ＤＶ）５１を使用して参照ビューＶ０中の対応するブロックまたは参照ブロック５２の位置を特定し得る。ビデオコーダは、カメラパラメータに基づいて、または本明細書で説明する技法のいずれかに従ってＤＶ５１を決定し得る。たとえば、ビデオコーダは、たとえば、隣接ブロックベースの視差ベクトル導出（ＮＢＤＶ）を使用して、隣接ブロックのＤＶに基づくことを含めて現在のビデオブロック５０のためのＤＶ５１を決定し得る。
[0133]参照ブロック５２が、イントラコーディングもビュー間予測もされず、それの参照ピクチャ、たとえば、参照ピクチャ５８または参照ピクチャ６０が、現在のビデオブロック５０の同じ参照ピクチャリスト中の１つのエントリの値に等しいピクチャ順序カウント（ＰＯＣ：a picture order count）値を有する場合、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＰＯＣに基づいて参照インデックスを変換した後に、現在のビデオブロック５０のためのＩＰＭＶＣとされるべきそれの動き情報（予測方向、参照ピクチャ、および動きベクトル）を導出し得る。図５の例では、参照ビデオブロック５２は、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）中に指定された参照ビューＶ０中の第１の参照ピクチャ５８を指すＴＭＶ５４と、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）中に指定された参照ビューＶ０中の第２のピクチャ６０を指すＴＭＶ５６とに関連付けられる。現在のビデオブロック５０によるＴＭＶ５４および５６の継承を、図５中の破線矢印によって示す。参照ビデオブロック５２の動き情報に基づいて、ビデオコーダは、たとえば、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）中で参照ピクチャ５８と同じＰＯＣをもつ、第１の参照ピクチャリスト中に指定された現在のビューＶｍ中の第１の参照ピクチャ６６を指すＴＭＶ６２と、たとえば、参照ピクチャ６０と同じＰＯＣをもつ、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）中に指定された現在のビューＶｍ中の第２のピクチャ６８を指すＴＭＶ６４とのうちの少なくとも１つとされるべき現在のビデオブロック５０のためのＩＰＭＶＣを導出する。ビデオエンコーダ２０および／またはビデオデコーダ３０は、以下でより詳細に説明するように、本開示の技法に従って現在のビデオブロック５０または別のビデオブロックのＡＲＰのためにＴＭＶ６２および／またはＴＭＶ６４を使用し得る。
[0134]ビデオエンコーダ２０および／またはビデオデコーダ３０はまた、現在のビデオブロック５０のためのＩＤＭＶＣにＤＶ５１を変換し、現在のビデオブロック５０のための動き情報候補リストにＩＤＭＶＣをＩＰＭＶＣとは異なる位置に追加し得る。ＩＰＭＶＣまたはＩＤＭＶＣの各々は、このコンテキストでは「ビュー間候補（inter-view candidate）」と呼ばれることがある。マージ／スキップモードでは、ビデオコーダは、利用可能な場合、ＩＰＭＶＣを、マージ候補リストに、すべての空間および時間マージング候補の前に挿入する。マージ／スキップモードでは、ビデオコーダは、Ａ０（図４のブロック４１）から導出された空間マージング候補の前にＩＤＭＶＣを挿入する。ＩＤＭＶＣへのＤＶ５１の変換は、現在のビデオブロック５０のためのＤＭＶへのＤＶ５１の変換と見なされ得る。ビデオエンコーダ２０および／またはビデオデコーダ３０は、以下でより詳細に説明するように、本開示の技法に従って現在のビデオブロック５０または別のビデオブロックのＡＲＰのためにＤＭＶを使用し得る。
[0135]いくつかの状況では、ビデオコーダは、現在のビデオブロックのＤＶを導出し得る。たとえば、図５に関して上記で説明したように、ビデオエンコーダ２０および／またはビデオデコーダ３０は、現在のビデオブロック５０のためのＤＶ５１を導出し得る。いくつかの例では、ビデオコーダは、現在のビデオブロックのＤＶを導出するために、隣接ブロックベースの視差ベクトル（ＮＢＤＶ）導出を使用し得る。
[0136]３Ｄ−ＨＥＶＣに関する提案は、ビューのすべてについてテクスチャ優先コーディング順序（a texture-first coding order）を使用する。言い換えれば、ビットストリーム中の複数のビューの各々について、ビューのためのいかなる深度成分よりも前にテクスチャ成分がコーディングされ、たとえば、符号化または復号される。場合によっては、たとえば、ビュー間予測では、特定のアクセスユニット中のビューのテクスチャ成分中のビデオブロックをコーディングするためにＤＶが必要とされる。しかしながら、テクスチャ優先コーディングでは、現在のビデオブロックの対応する深度成分は、現在のビデオブロックのＤＶを決定するために利用可能でない。そのような状況では現在のビデオブロックのＤＶを導出するために、ＮＢＤＶが、ビデオコーダによって採用され得、３Ｄ−ＨＥＶＣのために提案される。現在の３Ｄ−ＨＥＶＣの設計では、ＮＢＤＶから導出されたＤＶは、ＮＢＤＶプロセスからのＤＶによって指された参照ビューの深度マップから深度データを取り出すことによって、さらに改善され得る。
[0137]ＤＶは、２つのビュー間の変位（displacement）を推定するものとして使用される。隣接ブロックは、ビデオコーディングにおいてほぼ同じ動き／視差情報を共有するので、現在のビデオブロックは、それの動き／視差情報の良好な予測子として、隣接ブロック中の動きベクトル情報を使用することができる。この考えに従って、ＮＢＤＶは、異なるビュー中のＤＶを推定するために、隣接視差情報を使用する。
[0138]ＮＢＤＶに従って、ビデオコーダは、いくつかの空間的および時間的隣接ブロックを識別する。隣接ブロックの２つのセットが利用される。一方のセットは空間的隣接ブロックからのものであり、他方のセットは時間的隣接ブロックからのものである。ビデオコーダは、次いで、現在のブロックと候補（隣接）ブロックとの間の相関の優先順位によって決定されたあらかじめ定義された順序で空間的および時間的隣接ブロックの各々を検査する。ビデオコーダが、ＤＭＶ、すなわち、候補の動き情報中で、隣接候補ブロックから（同じアクセスユニット中だが、異なるビュー中の）ビュー間参照ピクチャを指す動きベクトル、を識別すると、ビデオコーダは、ＤＭＶをＤＶに変換し、関連するビュー順序インデックスを戻す。たとえば、ビデオコーダは、現在のブロックのＤＶの水平成分をＤＭＶの水平成分に等しく設定し得、ＤＶの垂直成分を０に設定し得る。
[0139]３Ｄ−ＨＥＶＣは、第１に、Ｚｈａｎｇらの、「３Ｄ−ＣＥ５．ｈ：Ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｇｅｎｅｒａｔｉｏｎ ｒｅｓｕｌｔｓ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合、ストックホルム、スウェーデン、２０１２年７月１６〜２０日、文書ＪＣＴ３Ｖ−Ａ００９７（ＭＰＥＧ番号ｍ２６０５２）、以下「ＪＣＴ３Ｖ−Ａ００９７」において提案されたＮＢＤＶの方法を採用した。ＪＣＴ３Ｖ−Ａ００９７は、以下のリンクからダウンロードされ得る。
[0140]ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８９。ＪＣＴ３Ｖ−Ａ００９７の内容全体が、参照により本明細書に組み込まれる。
[0141]３Ｄ−ＨＥＶＣのいくつかの設計では、ビデオコーダがＮＢＤＶプロセスを実行するとき、ビデオコーダは、順番に、時間的隣接ブロック中の視差動きベクトル、空間的隣接ブロック中の視差動きベクトル、次いで、暗黙的視差ベクトル（ＩＤＶ：implicit disparity vector）を検査する。ＩＤＶは、ビュー間予測を使用してコーディングされた空間的または時間的隣接ＰＵの視差ベクトルであり得る。ＩＤＶは、導出された視差ベクトルと呼ばれることもある。ＩＤＶは、ＰＵがビュー間予測を採用するとき、すなわち、ＡＭＶＰまたはマージモードのための候補が視差ベクトルの助けをかりて他のビュー中の参照ブロックから導出されるときに生成され得る。そのような視差ベクトルはＩＤＶと呼ばれる。ＩＤＶは、ＤＶ導出の目的でＰＵに記憶され得る。たとえば、ブロックが動き予測でコーディングされるとしても、そのブロックについて導出されたＤＶは後続のブロックをコーディングする目的のために破棄されない。したがって、ビデオコーダがＤＭＶまたはＩＤＶを識別するとき、ビデオコーダは、識別されたＩＤＶまたはＩＤＶを戻し得る。
[0142]暗黙視差ベクトル（ＩＤＶ）は、Ｓｕｎｇらの、「３Ｄ−ＣＥ５．ｈ：Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ ｆｏｒ ＨＥＶＣ−ｂａｓｅｄ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合、ストックホルム、スウェーデン、２０１２年７月１６〜２０日、文書ＪＣＴ３Ｖ−Ａ０１２６（ＭＰＥＧ番号ｍ２６０７９）、以下、「ＪＣＴ３Ｖ−Ａ０１２６」における簡略化されたＮＢＤＶに含まれた。ＪＣＴ３Ｖ−Ａ０１２６は、以下のリンクからダウンロードされ得る。
[0143]ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１４２。ＪＣＴ３Ｖ−Ａ０１２６の内容全体が、参照により本明細書に組み込まれる。
[0144]３Ｄ−ＨＥＶＣのためのＮＢＤＶのさらなる発展が、Ｋａｎｇらの、「３Ｄ−ＣＥ５．ｈ：Ｉｍｐｒｏｖｅｍｅｎｔ ｆｏｒ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第２回会合、上海、中国、２０１２年１０月１３〜１９日、文書ＪＣＴ３Ｖ−Ｂ００４７（ＭＰＥＧ番号ｍ２６７３６）、以下「ＪＣＴ３Ｖ−Ｂ００４７」において行われた。ＪＣＴ３Ｖ−Ｂ００４７は、以下のリンクからダウンロードされ得る。
[0145]ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２３６。ＪＣＴ３Ｖ−Ｂ００４７の内容全体が、参照により本明細書に組み込まれる。ＪＣＴ３Ｖ−Ｂ００４７では、３Ｄ−ＨＥＶＣのためのＮＢＤＶは、復号ピクチャバッファ（decoded picture buffer）に記憶されるＩＤＶを除去することによってさらに簡略化されたが、ランダムアクセスポイント（ＲＡＰ：random access point）ピクチャ選択を用いてコーディング利得も改善される。ビデオコーダは、戻された視差動きベクトルまたはＩＤＶを視差ベクトルに変換し得、ビュー間予測およびビュー間残差予測のためにその視差ベクトルを使用し得る。ランダムアクセスは、ビットストリーム中の第１のコード化ピクチャではないコード化ピクチャから始まるビットストリームの復号を指す。一定の間隔でのビットストリーム中へのランダムアクセスピクチャまたはランダムアクセスポイントの挿入はランダムアクセスを有効にし得る。ランダムアクセスピクチャの例示的なタイプは、瞬時復号リフレッシュ（ＩＤＲ：Instantaneous Decoder Refresh）ピクチャ、クリーンランダムアクセス（ＣＲＡ：Clean Random Access）ピクチャ、および切断リンクアクセス（ＢＬＡ：Broken Link Access）ピクチャを含む。したがって、ＩＤＲピクチャ、ＣＲＡピクチャ、およびＢＬＡピクチャは、ＲＡＰピクチャと総称される。いくつかの例では、ＲＡＰピクチャは、ＮＡＬユニットタイプを有し得、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、ＢＬＡ＿Ｎ＿ＬＰ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２２、ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２３、またはＣＲＡ＿ＮＵＴに等しい。
[0146]３Ｄ−ＨＥＶＣのためのＣＵベースのＤＶ導出のための技法が、Ｋａｎｇらの、「ＣＥ２．ｈ：ＣＵ−ｂａｓｅｄ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ ｉｎ ３Ｄ−ＨＥＶＣ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第４回会合、インチョン、韓国、２０１３年４月２０〜２６日、文書ＪＣＴ３Ｖ−Ｄ０１８１（ＭＰＥＧ番号ｍ２９０１２）、以下「ＪＣＴ３Ｖ−Ｄ０１８１」において提案された。ＪＣＴ３Ｖ−Ｄ０１８１は、以下のリンクからダウンロードされ得る。
[0147]ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８６６。ＪＣＴ３Ｖ−Ｄ０１８１の内容全体が、参照により本明細書に組み込まれる。
[0148]ビデオコーダがＤＭＶまたはＩＤＶを識別すると、ビデオコーダは、検査プロセスを終了し得る。したがって、ビデオコーダが現在のブロックのＤＶを発見すると、ビデオコーダはＮＢＤＶプロセスを終了し得る。ビデオコーダがＮＢＤＶプロセスを実行することによって現在のブロックのＤＶを決定することができないとき（すなわち、ＮＢＤＶプロセス中にＤＭＶまたはＩＤＶが発見されないとき）、ＮＢＤＶは利用不可能であると標識され得る。言い換えれば、ＮＢＤＶプロセスが利用不可能な視差ベクトルを戻したと見なされ得る。
[0149]ビデオコーダがＮＢＤＶプロセスを実行することによって現在のブロックのＤＶを導出することができない場合（すなわち、視差ベクトルが発見されない場合）、ビデオコーダは、現在のＰＵのＤＶとしてゼロＤＶを使用し得る。ゼロＤＶは、０に等しい水平成分と垂直成分の両方を有するＤＶである。したがって、ＮＢＤＶプロセスが利用不可能な結果を戻すときでも、ＤＶを必要とするビデオコーダの他のコーディングプロセスは、現在のブロックのためにゼロ視差ベクトルを使用し得る。いくつかの例では、ビデオコーダが、ＮＢＤＶプロセスを実行することによって現在のブロックのＤＶを導出することができない場合、ビデオコーダは、現在のブロックのためのビュー間残差予測を無効にし得る。しかしながら、ビデオコーダが、ＮＢＤＶプロセスを実行することによって現在のブロックのＤＶを導出することができるかどうかにかかわらず、ビデオコーダは、現在のブロックに対してビュー間予測を使用し得る。すなわち、すべてのあらかじめ定義された隣接ブロックを検査した後にＤＶが発見されない場合、ビュー間予測のためにゼロ視差ベクトルが使用され得るが、ビュー間残差予測は対応するＣＵに対して無効化され得る。
[0150]図６は、現在のビデオブロック９０に対する、ＮＢＤＶを使用して現在のビデオブロックのＤＶが導出され得る例示的な空間的隣接ブロックを示す概念図である。図６に示す５つの空間的隣接ブロックは、現在のビデオブロックに対する左下ブロック９６、左ブロック９５、右上ブロック９２、上ブロック９３、および左上ブロック９４である。空間的隣接ブロックは、現在のビデオブロックをカバーするＣＵの左下ブロック、左ブロック、右上ブロック、上ブロック、および左上ブロックであり得る。ＮＢＤＶのこれらの空間的隣接ブロックは、ＨＥＶＣにおけるマージ／ＡＭＶＰモードなどに従って現在のビデオブロックのための動き情報予測のためにビデオコーダによって使用される空間的隣接ブロックと同じであり得ることに留意されたい。そのような場合、空間的隣接ブロックの動き情報が現在のビデオブロックのための動き情報予測のためにすでに考慮されているので、ビデオコーダによるＮＢＤＶのための追加のメモリアクセスが必要とされ得ない。
[0151]時間的隣接ブロックを検査するために、ビデオコーダは、候補ピクチャリストを構築する。いくつかの例では、ビデオコーダは、現在のビュー、すなわち、現在のビデオブロックと同じビューからの最大２つの参照ピクチャを候補ピクチャとして扱い得る。ビデオコーダは、最初に、コロケートされた参照ピクチャを候補ピクチャリストに挿入し、続いて、候補ピクチャの残りを、参照ピクチャインデックスの昇順で挿入する。両方の参照ピクチャリスト中で同じ参照インデックスをもつ参照ピクチャが利用可能であるとき、ビデオコーダは、他の参照ピクチャリストからの他の参照ピクチャより前に、コロケートされたピクチャと同じ参照ピクチャリスト中にある参照ピクチャを挿入し得る。いくつかの例では、ビデオコーダは、候補ピクチャリスト中の候補ピクチャの各々から時間的隣接ブロックを導出するための３つの候補領域を識別し得る。３つの候補領域は、次のように定義され得る。
・ＣＰＵ：現在のＰＵまたは現在のＣＵのコロケート領域（co-located region）。
・ＣＬＣＵ：現在のブロックのコロケート領域をカバーする最大コーディングユニット（ＬＣＵ）。
・ＢＲ：ＣＰＵの右下の４×４のブロック。
候補領域をカバーするＰＵがＤＶを指定する場合、ビデオコーダは、ＰＵの視差動きベクトルに基づいて現在のビデオユニットのＤＶを決定し得る。
[0152]上記で説明したように、空間的および時間的隣接ブロックから導出されたＤＭＶに加えて、ビデオコーダはＩＤＶについて検査し得る。３Ｄ−ＨＴＭ７．０のための提案されたＮＢＤＶプロセスでは、ビデオコーダは、順番に、時間的隣接ブロック中のＤＭＶ、次いで、空間的隣接ブロック中のＤＭＶ、次いでＩＤＶを検査する。ＤＭＶまたはＩＤＶが発見されると、プロセスは終了される。
[0153]ビデオコーダが隣接ＰＵ（a neighboring PU）（たとえば、空間的隣接ＰＵまたは時間的隣接ＰＵ）を確認すると、ビデオコーダは、最初に、隣接ＰＵが視差動きベクトルを有するかどうかを確認し得る。隣接ＰＵのいずれもが視差動きベクトルを有しない場合、ビデオコーダは、空間的隣接ＰＵのいずれかがＩＤＶを有するかどうかを決定し得る。空間的隣接ＰＵの１つがＩＤＶを有し、ＩＤＶがマージ／スキップモードとしてコーディングされる場合、ビデオコーダは検査処理を終了し得、現在のＰＵの最終視差ベクトルとしてＩＤＶを使用し得る。
[0154]上記のように、ビデオコーダは、現在のブロック（たとえば、ＣＵ、ＰＵなど）のＤＶを導出するために、ＮＢＤＶプロセスを適用し得る。現在のブロックの視差ベクトルは、参照ビュー中の参照ピクチャ（すなわち、参照成分）中のロケーションを示し得る。いくつかの３Ｄ−ＨＥＶＣ設計では、ビデオコーダは参照ビューについての深度情報にアクセスすることが許可される。いくつかのそのような３Ｄ−ＨＥＶＣ設計では、ビデオコーダが現在のブロックのＤＶを導出するためにＮＢＤＶプロセスを使用するとき、ビデオコーダは、現在のブロックの視差ベクトルをさらに改善するために改善プロセスを適用し得る。ビデオコーダは、参照ピクチャの深度マップに基づいて現在のブロックのＤＶを改善し得る。ビデオコーダは、後方ビュー合成予測のためにＤＭＶを改善するために同様の改善プロセスを使用し得る。このようにして、後方ビュー合成予測のために使用されるべきＤＶまたはＤＭＶを改善するために深度が使用され得る。この改善プロセスを、本明細書では、ＮＢＤＶ改善（「ＮＢＤＶ−Ｒ」：NBDV refinement）、ＮＢＤＶ改善プロセス、または深度指向ＮＢＤＶ（Ｄｏ−ＮＢＤＶ：depth-oriented NBDV）と呼ぶことがある。
[0155]ＮＢＤＶプロセスが利用可能な視差ベクトルを戻すと（たとえば、ＮＢＤＶプロセスが、そのＮＢＤＶプロセスが視差動きベクトルまたは隣接ブロックのＩＤＶに基づいて、現在のブロックの視差ベクトルを導出することが可能であったことを示す変数を返すと）、ビデオコーダは、参照ビューの深度マップから深度データを取り出すことによって、視差ベクトルをさらに改善し得る。いくつかの例では、改善プロセスは以下の２つのステップを含む。
１）ベースビューなど、前にコーディングされた参照深度ビュー中の導出されたＤＶによって、対応する深度ブロックの位置を特定し、対応する深度ブロックのサイズは、現在のＰＵのものと同じである。
２）対応する深度ブロックの４つのコーナーピクセルから１つの深度値を選択し、それを、改善されたＤＶの水平成分に変換する。ＤＶの垂直成分は不変である。
[0156]改善されたＤＶは、現在のビデオブロックのためのビュー間予測のために使用され得、一方、改善されていないＤＶは、現在のビデオブロックのためのビュー間残差予測のために使用され得る。さらに、改善されたＤＶは、以下でより詳細に説明する、後方ビュー合成予測（ＢＶＳＰ）モードでコーディングされる場合、１つのＰＵの動きベクトルとして記憶される。３Ｄ−ＨＴＭ７．０のための提案されたＮＢＤＶプロセスでは、ベースビューの深度ビュー成分は、ＮＢＤＶプロセスから導出されたビュー順序インデックスの値にかかわらず常にアクセスされることになる。
[0157]後方ビュー合成予測（ＢＶＳＰ）手法が、Ｔｉａｎらの、「ＣＥ１．ｈ：Ｂａｃｋｗａｒｄ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ ｕｓｉｎｇ Ｎｅｉｇｈｂｏｒｉｎｇ Ｂｌｏｃｋｓ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第３回会合、ジュネーブ、スイス、２０１３年１月１７〜２３日、文書ＪＣＴ３Ｖ−Ｃ０１５２（ＭＰＥＧ番号ｍ２７９０９）、以下「ＪＣＴ３Ｖ−Ｃ０１５２」において提案された。ＪＣＴ３Ｖ−Ｃ０１５２は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝５９４。ＪＣＴ３Ｖ−Ｃ０１５２の内容全体が、参照により本明細書に組み込まれる。
[0158]ＪＣＴ３Ｖ−Ｃ０１５２は、第３回ＪＣＴ−３Ｖ会合で採用された。このＢＳＶＰの基本概念は、３Ｄ−ＡＶＣにおけるブロックベースＶＳＰと同じである。これらの２つの技法の両方は、動きベクトル差分を送信することを避け、より正確な動きベクトルを使用するために、後方ワーピングおよびブロックベースＶＳＰ（backward-warping and block-based VSP）を使用する。実装形態の詳細は、異なるプラットフォームのために異なる。以下の段落では、我々はまた、３Ｄ−ＨＥＶＣにおける後方ワーピングＶＳＰ手法または３Ｄ−ＡＶＣにおけるブロックベースＶＳＰの一方または両方を示すためにＢＶＳＰという用語を使用する。
[0159]３Ｄ−ＨＴＭでは、テクスチャ優先コーディングが共通試験条件（common test conditions）で適用される。したがって、対応する非ベース深度ビュー（non-base depth view）は、１つの非ベーステクスチャビューを復号するとき、利用不可能である。したがって、深度情報が推定され、ＢＶＳＰを実行するために使用される。
[0160]一般に、ビデオコーダが参照テクスチャピクチャを合成するためにＢＶＳＰを実行するとき、ビデオコーダは従属テクスチャピクチャ中のブロック（たとえば、ビデオユニット）を処理する。従属テクスチャピクチャおよび合成テクスチャピクチャは、同じアクセスユニット中にあるが、異なるビュー中にある。ビデオコーダが従属テクスチャピクチャのブロック（すなわち、現在のブロック）を処理するとき、ビデオコーダは、現在のブロックのＤＶを識別するためにＮＢＤＶプロセスを実行し得る。すなわち、ブロックについての深度情報を推定するために、ビデオコーダは隣接ブロックからＤＶを最初に導出し得る。
[0161]さらに、ビデオコーダが参照テクスチャピクチャを合成するためにＢＶＳＰを実行するとき、ビデオコーダは、参照深度ピクチャ中の参照ブロックを識別するために、現在のブロックのＤＶを使用し得る。言い換えると、ビデオコーダは、次いで、参照ビューから深度ブロックを取得するために、その導出されたＤＶを使用し得る。たとえば、ＮＢＤＶプロセスによって識別されたＤＶは（ｄｖｘ，ｄｖｙ）として示され得、現在のブロック位置は（ｂｌｏｃｋｘ，ｂｌｏｃｋｙ）として示され得る。さらに、この例では、ビデオコーダは、参照ビューの深度画像中の（ｂｌｏｃｋｘ＋ｄｖｘ，ｂｌｏｃｋｙ＋ｄｖｙ）において深度ブロックをフェッチし得る。この例では、フェッチされた深度ブロックは現在のＰＵの同じサイズを有する。従属テクスチャピクチャおよび参照深度ピクチャは、同じアクセスユニット中にあるが、異なるビュー中にある。ビデオコーダは、次いで、現在のブロックのサンプル値と、参照ピクチャの識別された参照ブロックのサンプル値とに基づいて、合成されたピクチャのサンプル値を決定するために、後方ワーピングプロセスを実行し得る。言い換えると、ビデオコーダは、この例では、現在のＰＵについて後方ワーピングを実行するために、フェッチされた深度ブロックを使用し得る。
[0162]上記のように、ビデオコーダがＢＶＳＰを実行するとき、ビデオコーダは、現在のブロックのＤＶを識別するために、ＮＢＤＶを実行し得る。さらに、ビデオコーダがＢＶＳＰを実行するとき、ビデオコーダは、ＮＢＤＶプロセスを使用して導出されたＤＭＶを改善するために、本開示の他の箇所で説明する改善プロセスに類似した改善プロセスを使用し得る。ビデオコーダがＤＶ改善プロセスを実行するとき、ビデオコーダは、参照ビュー中の深度マップ中の深度値に基づいてＤＶを改善し得る。言い換えると、ＢＶＳＰ用に使用されるべきＤＶまたはＤＭＶを改善するために深度が使用され得る。改善されたＤＶがＢＶＳＰモードでコーディングされる場合、改善されたＤＶは、１つのＰＵの動きベクトルとして記憶され得る。
[0163]３Ｄ−ＨＥＶＣのいくつかのバージョンでは、テクスチャ優先コーディングが適用される。テクスチャ優先コーディングでは、ビデオコーダは、対応する深度ビュー成分（すなわち、テクスチャビュー成分と同じＰＯＣ値およびビュー識別子を有する深度ビュー成分）をコーディングするのに先立って、テクスチャビュー成分をコーディング（たとえば、符号化または復号）する。したがって、対応するア非ベースビューテクスチャビュー成分のコーディングに使用するために非ベースビュー深度ビュー成分は利用不可能である。言い換えると、ビデオコーダが非ベーステクスチャビュー成分をコーディングするとき、対応する非ベース深度ビュー成分は利用不可能である。したがって、ＢＶＳＰを実行するために、深度情報が推定および使用され得る。
[0164]図７は、ＢＶＳＰ予測を実行するための参照ビューからの深度ブロック導出を示す概念図である。図７の例では、ビデオコーダは現在のテクスチャピクチャ７０をコーディング中である。現在のテクスチャピクチャ７０は合成された参照テクスチャピクチャ７２に依存するので、現在のテクスチャピクチャ７０は「従属テクスチャピクチャ（dependent texture picture）」と標示される。言い換えると、ビデオコーダは、現在のテクスチャピクチャ７０を復号するために、参照テクスチャピクチャ７２を合成する必要があり得る。参照テクスチャピクチャ７２および現在のテクスチャピクチャ７０は、同じアクセスユニット中にあるが、異なるビュー中にある。
[0165]参照テクスチャピクチャ７２を合成するために、ビデオコーダは、現在のテクスチャピクチャ７０のブロック（すなわち、ビデオユニット）を処理し得る。図７の例では、ビデオコーダは現在のブロック７４を処理中である。ビデオコーダが現在のブロック７４を処理するとき、ビデオコーダは、現在のブロック７４のＤＶを導出するために、ＮＢＤＶプロセスを実行し得る。たとえば、図７の例では、ビデオコーダは、現在のビデオブロック７４に隣接するブロック７８のＤＶ７６を識別する。ＤＶ７６の識別は、図７のステップ１として示される。さらに、図７の例では、ビデオコーダは、ＤＶ７６に基づいて、現在のブロック７４のＤＶ７８を決定する。たとえば、ＤＶ７８は、ＤＶ７６のコピーであり得る。ＤＶ７６をコピーすることは、図７のステップ２として示されている。
[0166]ビデオコーダは、現在のブロック７４のＤＶ７８に基づいて、参照深度ピクチャ８２中の参照ビデオブロック８０を識別し得る。参照深度ピクチャ８２、現在のテクスチャピクチャ７０、および参照テクスチャピクチャ７２は、それぞれ同じアクセスユニット中にあり得る。参照深度ピクチャ８２および参照テクスチャピクチャ７２は、同じビュー中にあり得る。ビデオコーダは、現在のブロック７４のテクスチャサンプル値および参照深度ブロック８０の深度サンプル値に基づいて、参照テクスチャピクチャ７２のテクスチャサンプル値を決定し得る。テクスチャサンプル値を決定するプロセスは、後方ワーピングと呼ばれることがある。後方ワーピングは、図７のステップ３として示されている。このようにして、図７は、参照ビューからの深度ブロックの位置がどのように特定され、次いで、ＢＶＳＰ予測用に使用されるかの３つのステップを示す。
[0167]導入されたＢＶＳＰモードは特殊なインターコード化モードとして扱われ、ＢＶＳＰモードの使用を示すフラグが、ＰＵごとに維持されるべきである。ビットストリーム中でフラグをシグナリングするのではなく、マージモードのための新しいマージング候補（ＢＶＳＰマージング候補）がマージング候補リストに追加され、そのフラグは、復号されたマージ候補インデックスがＢＶＳＰマージング候補に対応するかどうかに依存する。ＢＶＳＰマージング候補は、次のように定義される。
１．参照ピクチャリストごとの参照ピクチャインデックス：−１
２．参照ピクチャリストごとの動きベクトル：改善された視差ベクトル。
[0168]ＢＶＳＰマージング候補の挿入位置は、空間的隣接ブロックに依存する。
１．５つの空間的隣接ブロックのうちのいずれかがＢＶＳＰモードを用いてコーディングされる、すなわち、隣接ブロックの維持されたフラグが１に等しい場合、ビデオコーダは、ＢＶＳＰマージング候補を、対応する空間的マージング候補として扱い、ＢＶＳＰ候補をマージ候補リストに挿入する。いくつかの例では、ビデオコーダは、ＢＶＳＰマージング候補をマージ候補リストに一度だけ挿入する。
２．そうでない（５つの空間的隣接ブロックのいずれも、ＢＶＳＰモードを用いてコーディングされない）場合、ビデオコーダは、時間的マージ候補の直前にＢＶＳＰマージング候補をマージ候補リストに挿入し得る。
いくつかの例では、複合双予測マージング候補導出プロセス（combined bi-predictive merging candidate derivation process）中に、ビデオコーダは、ＢＶＳＰマージング候補を含めるのを避けるために追加の条件を検査すべきである。
[0169]サイズがＮ×Ｍによって示されるＢＶＳＰコーディングされたＰＵごとに、ビデオコーダは、Ｋ×Ｋ（ここにおいて、Ｋは４に等しくなり得る）に等しいサイズを有するいくつかの下位領域（sub-regions）にＰＵをさらに区分し得る。下位領域ごとに、ビデオコーダは、別個のＤＭＶを導出し得、各下位領域は、ビュー間参照ピクチャ中の導出されたＤＭＶによって位置を特定される１つのブロックから予測され得る。言い換えれば、ＢＶＳＰコーディングされたＰＵのための動き補償ユニットのサイズはＫ×Ｋに設定され得る。共通テスト条件では、Ｋは４に設定される。
[0170]ＢＶＳＰモードを用いてコーディングされた１つのＰＵ内の下位領域（すなわち、４×４ブロック）ごとに、ビデオコーダは、上記の改善されたＤＶを用いて参照深度ビュー中の対応する４×４深度ブロックの位置を特定し得る。ビデオコーダは、対応する深度ブロック中の１６個の深度ピクセルの最大値を選択し得る。ビデオコーダは、ＤＭＶの水平成分に最大値を変換し得、ＤＭＶの垂直成分を設定し得、０に設定される。
[0171]図８は、時間的に予測されたビデオブロックの時間的高度残差予測（ＡＲＰ）に関する現在の提案のための例示的な予測構造を示す概念図である。Ｐａｒｔ＿２Ｎｘ２Ｎに等しいパーティションモードでＣＵに適用されるＡＲＰが、Ｚｈａｎｇらの、「ＣＥ４：Ａｄｖａｎｃｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖｉｅｗ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第４回会合、インチョン、韓国、２０１３年４月２０〜２６日、文書ＪＣＴ３Ｖ−Ｄ０１７７（ＭＰＥＧ番号ｍ２９００８）、以下「ＪＣＴ３Ｖ−Ｄ０１７７」において提案されたように、第４回ＪＣＴ３Ｖ会合において採用された。ＪＣＴ３Ｖ−Ｄ０１７７は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８６２。ＪＣＴ３Ｖ−Ｄ０１７７の内容全体が、参照により本明細書に組み込まれる。
[0172]図８に示すように、ビデオコーダは、現在のビュー、たとえば、従属ビューＶｍの現在のピクチャ１０２中の現在のビデオブロック１００の残差の予測において以下のブロックの呼出しまたは識別を行う。
１．（ビューＶm中の）現在のビデオブロック１００：Ｃｕｒｒ
２．参照／ベースビュー（図８中のＶ0）のビュー間参照ピクチャ１０８中のビュー間参照ビデオブロック１０６：Ｂａｓｅ。ビデオコーダは、現在のビデオブロック１００（Ｃｕｒｒ）のＤＶ１０４に基づいてビュー間参照ビデオブロック１０６を導出する。ビデオコーダは、上記で説明したように、ＮＢＤＶを使用してＤＶ１０４を決定し得る。
３．現在のビデオブロック１００（Ｃｕｒｒ）と同じビュー（Ｖm）中の時間参照ピクチャ１１４中の時間参照ビデオブロック１１２：ＣｕｒｒＴＲｅｆ。ビデオコーダは、現在のビデオブロック１００のＴＭＶ１１０に基づいて時間参照ビデオブロック１１２を導出する。ビデオコーダは、本明細書で説明する技法のうちのいずれかを使用して、ＴＭＶ１００を決定し得る。
４．参照ビュー、すなわち、ビュー間参照ビデオブロック１０６（Ｂａｓｅ）と同じビュー中の時間参照ピクチャ１１８中の時間参照ビデオブロック１１６：ＢａｓｅＴＲｅｆ。ビデオコーダは、現在のビデオブロック１００（Ｃｕｒｒ）のＴＭＶ１１０を使用して参照ビュー中の時間参照ビデオブロック１１６を導出する。ＴＭＶ＋ＤＶのベクトル１２０は、現在のビデオブロック１００（Ｃｕｒｒ）に対する時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ）を識別し得る。
[0173]ビデオエンコーダが、ＴＭＶ１１０を使用してビデオコーダが識別する時間参照ビデオブロック１１２に基づいて現在のビデオブロック１００を時間的にインター予測するとき、ビデオエンコーダは、現在のビデオブロック１００と時間参照ビデオブロック１１２との間のピクセルごとの差（pixel-by-pixel differences）を残差ブロックとして決定する。ＡＲＰがなければ、ビデオコーダは、残差ブロックを変換し、量子化し、エントロピー符号化することになる。ビデオデコーダは、符号化ビデオビットストリームをエントロピー復号し、逆量子化および変換を実行して残差ブロックを導出し、参照ビデオブロック１１２の再構成に残差ブロックを適用して現在のビデオブロック１００を再構成することになる。
[0174]ＡＲＰを使用すると、ビデオコーダは、残差ブロックの値を予測する、すなわち、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）との間の差を予測する、残差予測子ブロックを決定する。ビデオエンコーダは、したがって、残差ブロックと残差予測子ブロックとの間の差を符号化するだけでよく、現在のビデオブロック１００を符号化するために符号化ビデオビットストリーム中に含まれる情報量が低減し得る。図８の時間的ＡＲＰの例では、現在のビデオブロック１００の残差の予測子は、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）とに対応し、ＤＶ１０４によって識別される、参照／ベースビュー（Ｖ0）中のブロックに基づいて決定される。参照ビュー中のこれらの対応するブロック間の差は、残差、すなわち、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）との間の差、の良好な予測子であり得る。特に、ビデオコーダは、参照ビュー中のビュー間参照ビデオブロック１０６（Ｂａｓｅ）と時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ）とを識別し、ビュー間参照ビデオブロック１０６と時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ−Ｂａｓｅ）との間の差に基づいて残差予測子ブロックを決定し、ここにおいて、示されたピクセルアレイの各ピクセルに減算演算が適用される。いくつかの例では、ビデオコーダは、重み係数ｗを残差予測子に適用し得る。そのような例では、現在のブロック、すなわち、参照ブロックを残差予測子ブロックと加算したもの、の最終予測子は、ＣｕｒｒＴＲｅｆ＋ｗ＊（ＢａｓｅＴＲｅｆ−Ｂａｓｅ）として示され得る。
[0175]図９は、現在のビュー（Ｖm）中の現在のビデオブロック１２０の時間的ＡＲＰのための例示的な双方向予測構造を示す概念図である。上記の説明および図８に単方向予測を示す。ＡＲＰを双方向予測の場合に拡大するとき、ビデオコーダは、現在のビデオブロック１２０のための残差予測子ブロックを識別するために、参照ピクチャリストの一方または両方に上記技法を適用し得る。特に、ビデオコーダは、参照リストのうちの１つが時間的ＡＲＰのために使用可能なＴＭＶを含んでいるかどうか決定するために、現在のビデオブロック１００のための参照リストの一方または両方を検査し得る。図９によって示される例では、現在のビデオブロック１２０は、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）中の第１の時間参照ピクチャ１３４を指すＴＭＶ１３０、および、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）中の第２の時間参照ピクチャ１３６を指すＴＭＶ１３２、に関連付けられる。
[0176]いくつかの例では、ビデオコーダは、それら参照ピクチャリストのうちの１つが時間的ＡＲＰのために使用可能なＴＭＶを含むかどうか決定するために検査順序に従って参照ピクチャリストを検査することになり、第１のリストがそのようなＴＭＶを含む場合、検査順序に従って第２のリストを検査する必要はない。いくつかの例では、ビデオコーダは、両方の参照ピクチャリストを検査し、両方のリストがＴＭＶを含む場合、たとえば、現在のビデオブロックの残差に対してＴＭＶを使用して生成される得られた残差予測子の比較に基づいて、どちらのＴＭＶを使用すべきかを決定することになる。特に、ＡＲＰに関する現在の提案によれば、現在のブロックが、１つの参照ピクチャリストのための（異なるビュー中の）ビュー間参照ピクチャを使用するとき、残差予測プロセスは無効化される。
[0177]図９に示すように、ビデオコーダは、異なる参照ビュー（Ｖ0）中にあるが、現在のピクチャ１２２と同じアクセスユニット中にあるビュー間参照ピクチャ１２８中の対応するビュー間参照ビデオブロック１２６（Ｂａｓｅ）を識別するために、たとえば、ＮＢＤＶに従って現在のビデオブロック１２０のために識別されたＤＶ１２４を使用し得る。ビデオコーダはまた、両方の参照ピクチャリスト、たとえば、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１中の参照ビューの様々な時間参照ピクチャ中のビュー間参照ビデオブロック１２６（Ｂａｓｅ）のための時間参照ブロック（ＢａｓｅＴＲｅｆ）を識別するために現在のビデオブロック１２０のためのＴＭＶ１３０および１３２を使用し得る。図９の例では、ビデオコーダは、現在のビデオブロック１２０のＴＭＶ１３０および１３２に基づいて、第１の参照ピクチャリスト、たとえば、ＲｅｆＰｉｃＬｉｓｔ０中の時間参照ピクチャ１４２中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）１４０と、第２の参照ピクチャリスト、たとえば、ＲｅｆＰｉｃＬｉｓｔ１中の時間参照ピクチャ１４６中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）１４４とを識別する。
[0178]参照ビュー中の現在のビデオブロック１２０のＴＭＶ１３０および１３２の使用を、図９中の破線矢印によって示す。図９では、参照ビュー中の時間参照ビデオブロック１４０および１４４を、ＴＭＶ１３０および１３２に基づくそれらの識別のために動き補償参照ブロック（motion compensated reference blocks）と呼ぶ。ビデオコーダは、時間参照ビデオブロック１４０とビュー間参照ビデオブロック１２６との間の差に基づいて、または時間参照ビデオブロック１４４とビュー間参照ビデオブロック１２６との間の差に基づいて、現在のビデオブロック１２０のための残差予測子ブロックを決定し得る。
[0179]デコーダ側における提案された時間的ＡＲＰの主要な手順は、次のように（図９を参照しながら）説明され得る。
１．ビデオデコーダが、ターゲット参照ビュー（Ｖ0）を指す、たとえば、ＮＢＤＶを使用して現在の３Ｄ−ＨＥＶＣにおいて指定されているように、ＤＶ１２４を取得する。次いで、同じアクセスユニット内の参照ビューのピクチャ１２８中で、ビデオデコーダが、ＤＶ１２４により対応するビュー間参照ビデオブロック１２６（Ｂａｓｅ）を識別する。
２．ビデオデコーダが、対応するビュー間参照ビデオブロック１２６についての動き情報を導出するために、現在のビデオブロック１２０の動き情報、たとえば、ＴＭＶ１３０、１３２を再使用する。ビデオデコーダが、動き補償時間参照ビデオブロック１４０、１４４（ＢａｓｅＴＲｅｆ）を識別し、ＢａｓｅＴＲｅｆ−Ｂａｓｅを決定することによって残差予測子ブロックを決定するために、現在のビデオブロック１２０のＴＭＶ１３０、１３２と、参照ビデオブロック１２６のための参照ビュー中の導出された参照ピクチャ１４２、１４６とに基づいて対応するビュー間参照ビデオブロック１２６の動き補償を適用し得る。現在のブロックと、対応するブロック（Ｂａｓｅ）と、動き補償ブロック（ＢａｓｅＴＲｅｆ）との間の関係を、図８および図９に示す。いくつかの例では、現在のビュー（Ｖm）の参照ピクチャと同じＰＯＣ（ピクチャ順序カウント）値を有する参照ビュー（Ｖ0）中の参照ピクチャは、対応するブロックの参照ピクチャとして選択される。
３．ビデオデコーダが、残差予測子ブロックに重み係数ｗを適用して重み付け残差予測子ブロックを得、予測サンプルに重み付け残差ブロックの値を追加して現在のビデオブロック１００を再構成し得る。
[0180]ＡＲＰに関する提案では、３つの重み係数、すなわち、０、０．５、および１が使用され得る。現在のＣＵについて最小レートひずみコスト（minimal rate-distortion cost）をもたらすものが最終重み係数として選択され、対応する重み係数インデックス（それぞれ、重み係数０、１、および０．５に対応する０、１、および２）がＣＵレベルでビットストリーム中で送信される。１つのＣＵ中のすべてのＰＵ予測が同じ重み係数を共有する。重み係数が０に等しくなると、現在のＣＵのためにＡＲＰが使用されない。
[0181]３Ｄ−ＨＥＶＣのためのＡＲＰの態様は、Ｚｈａｎｇらの、「３Ｄ−ＣＥ４：Ａｄｖａｎｃｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖｉｅｗ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第３回会合、ジュネーブ、スイス、２０１３年１月１７〜２３日、文書ＪＣＴ３Ｖ−Ｃ００４９（ＭＰＥＧ番号ｍ２７７８４）、以下「ＪＣＴ３Ｖ−Ｃ００４９」において説明される。ＪＣＴ３Ｖ−Ｃ００４９は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝４８７。ＪＣＴ３Ｖ−Ｃ００４９の内容全体が、参照により本明細書に組み込まれる。
[0182]ＪＣＴ３Ｖ−Ｃ００４９では、非ゼロ重み係数（non-zero weighting factors）を用いてコーディングされた異なるＰＵの参照ピクチャは、ＰＵごとに（または現在のビデオブロックごとに）異なり（different from PU to PU）得る。したがって、参照ビューからの異なるピクチャは、参照ビュー（Ｂａｓｅ）中の対応するビュー間参照ビデオブロック、たとえば、図８および図９中のビュー間参照ビデオブロック１０６および１２６の動き補償ブロック（ＢａｓｅＴＲｅｆ）、たとえば、図８および図９中の時間参照ビデオブロック１１６、１４０および１４４を生成するためにアクセスされる必要があり得る。
[0183]動きベクトルスケーリングを介した参照ピクチャ選択を通したＡＲＰのさらなる簡略化がＪＣＴ３Ｖ−Ｄ０１７７において提案された。たとえば、重み係数が０に等しくないときに残差生成プロセスの動き補償を実行する前に、ビデオコーダが、固定ピクチャ（a fixed picture）に向かう現在のＰＵの動きベクトルをスケーリングすることが提案された。ＪＣＴ３Ｖ−Ｄ０１７７では、固定ピクチャは、それが同じビューからのものである場合、各参照ピクチャリストの第１の参照ピクチャとして定義される。復号された動きベクトルが固定ピクチャを指さないとき、それは、最初に、ビデオコーダによってスケーリングされ、次いで、現在のビデオブロックのためのＣｕｒｒＴＲｅｆとＢａｓｅＴＲｅｆとを識別するためにビデオコーダによって使用される。ＡＲＰのために使用されるそのような参照ピクチャは、ターゲットＡＲＰ参照ピクチャと呼ばれることがある。それぞれ、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１とに対応する２つのターゲットＡＲＰ参照ピクチャがあり得、それぞれ、Ｌ０ターゲットＡＲＰ参照ピクチャおよびＬ１ターゲットＡＲＰ参照ピクチャと示され得る。
[0184]ＪＣＴ３Ｖ−Ｃ００４９によれば、ビデオコーダは、対応するブロック（Ｂａｓｅ）とそれの予測ブロック（ＢａｓｅＴＲｅｆ）との補間プロセス中にバイリニア・フィルタ（a bi-linear filter）を適用するが、現在のビデオブロック（Ｃｕｒｒ）、たとえば、ＰＵと、現在のビデオブロックの予測ブロック（ＣｕｒｒＴＲｅｆ）との補間プロセスのために従来の８／４タップフィルタ（a conventional 8/4-tap filter）を適用する。ＪＣＴ３Ｖ−Ｄ０１７７において、ＡＲＰが適用されるときにブロックがベースビュー中にあるのか、または非ベースビュー中にあるのかにかかわらず、ビデオコーダは常にそのような補間プロセスのためのバイリニア・フィルタを採用することが提案された。
[0185]さらに、ＡＲＰに関する既存の提案によれば、ＡＲＰのための参照ビューは、ＮＢＤＶプロセスから戻されたビュー順序インデックスによって識別される。上記で説明したように、ビデオコーダは、対応するビュー間参照ビデオブロック（Ｂａｓｅ）、たとえば、図８および図９中のビュー間参照ビデオブロック１０６および１２６を識別するために使用されるＤＶ、たとえば、ＤＶ１０４または１２４を決定するためのＮＢＤＶプロセスを使用し得る。ＡＲＰに関する既存の提案によれば、１つの参照ピクチャリスト中の１つのビデオブロック（ＰＵ）の参照ピクチャが、ＮＢＤＶプロセスから戻されたビュー順序インデックスによって識別されるＡＲＰのためのターゲット参照ビューとは異なるビューからのものであるとき、ＡＲＰは、この参照ピクチャリストに対して無効化される。
[0186]３Ｄ−ＨＥＶＣにおけるＡＲＰに関する既存の提案に関連する問題があり得る。たとえば、既存の提案によれば、現在のビデオブロックの現在の動きベクトルが同じビュー中の参照ピクチャを参照する（refers to）とき、ＡＲＰは、時間的予測から生成された残差を予測するだけである。したがって、現在のビデオブロックの現在の動きベクトルがビュー間参照ピクチャを参照するとき、ＡＲＰは適用可能でないが、ＡＲＰに関するシンタックス要素が依然として送信される。
[0187]別の例として、たとえば、ＮＢＤＶプロセスに従って導出された、導出されたＤＶは、一般にレートひずみ最適化（ＲＤＯ）によって選定される明示的ＤＭＶと比較してあまり正確でないことがある。さらに、復号プロセスとして、ビュー間予測を含む動き予測はＤＶ生成の後に発生し、ＡＲＰは動き予測の後に発生する。したがって、ＡＲＰがビデオコーダによって実行されるとき、現在のＡＲＰにおいて考慮されない異なるブロックを識別するために使用され得るより正確なＴＭＶまたはＤＭＶが利用可能である。とはいえ、図８および図９に関して上記で説明したように、時間的ＡＲＰに関する既存の提案は、対応するビュー間参照ビデオブロックを識別するためにＮＢＤＶを通して導出されたＤＶを使用する。
[0188]本開示は、上記で説明した問題を含む、ＡＲＰに関する既存の提案に関連する問題に対処し得、それによって、ＡＲＰのコーディング効率を改善し得る技法を提供する。たとえば、ＡＲＰを使用して現在のビデオブロックをコーディングするために本開示の技法を実装するビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、現在のビデオブロックの現在のビューから参照ビューまでのＤＭＶを識別し、ＤＭＶの識別に基づいて現在のビデオブロックのための残差予測子ブロックを決定し得る。 いくつかの例では、ＤＭＶは、現在のビデオブロックのビュー間予測のために使用されるＤＭＶであり、ビデオコーダは、現在のビデオブロックを符号化するためのビュー間ＡＲＰを実行し得る。他の例では、ＤＭＶは、現在のビデオブロックと同じビュー中の時間参照ビデオブロックのＤＭＶである。そのような例では、ＤＭＶは、現在のビデオブロックのためのＮＢＤＶによって導出されたＤＶの代わりに、現在のビデオブロックのための時間的ＡＲＰにおいて使用され得る。
[0189]図１０は、本開示で説明する技法による、ビュー間予測ビデオブロックのビュー間ＡＲＰのための例示的な予測構造を示す概念図である。図１０に示す例示的な技法によれば、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ビュー間予測される現在のブロックの残差を予測するために、異なるアクセスユニット中で計算されたビュー間残差を使用し得る。現在のブロックの動きベクトルがＤＭＶであるときはＡＲＰが実行されず、現在のビデオブロックの動きベクトルがＴＭＶであるときにのみＡＲＰが実行されるＡＲＰに関する提案とは対照的に、図１０の例示的な技法は、ＡＲＰを実行するためにＤＭＶを使用する。
[0190]特に、図１０の例示的な技法は、現在のピクチャ１５２中の現在のビデオブロック１５０（Ｃｕｒｒ）の動きベクトルがＤＭＶ１５４であり、参照ビュー（Ｖ０）中のビュー間参照ピクチャ１５８中のビュー間参照ビデオブロック１５６（Ｂａｓｅ）が少なくとも１つのＴＭＶ１６０を含んでいるときに、ビデオコーダ、たとえば、ビデオエンコーダ２０またはビデオデコーダ３０によって実行され得る。いくつかの例では、ＤＭＶ１５４は、現在のビデオブロック１５０の動き情報予測のためのＩＤＭＶＣとして働くためにＤＭＶに変換されたＤＶであり得る。
[0191]ビデオコーダは、現在のビデオブロック１５０のためのＤＭＶ１５４を使用して、ビュー間参照ピクチャ１５８中のビュー間参照ビデオブロック１５６（Ｂａｓｅ）を識別する。ビデオコーダは、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）を識別するために、ＴＭＶ１６０と、ＤＭＶとともにビュー間参照ビデオブロック１５６の関連する参照ピクチャ、たとえば、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４とを使用する。ＴＭＶ１６０とＤＭＶ１５４とに基づく時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）の識別は、破線ベクトル１７０（ＴＭＶ＋ＤＭＶ）によって表される。ビデオコーダはまた、現在のビュー（Ｖm）中の時間参照ピクチャ１６８中の時間参照ブロック１６６（ＣｕｒｒＴＲｅｆ）を識別するためにＴＭＶ１６０を使用する。参照ビュー（Ｖ0）中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）と現在のビュー（Ｖm）中の時間参照ビデオブロック１６６（ＣｕｒｒＴＲｅｆ）とは、同じアクセスユニット、すなわち、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４中にあり得、現在のビュー（Ｖm）中の時間参照ピクチャ１６８は、同じアクセスユニット中にあり得る。
[0192]ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、次いで、これらの２つの後のブロック間のピクセルごとの差（pixel-by-pixel difference）、すなわち、現在のビュー中の時間参照ビデオブロック１６６と参照ビュー中の時間参照ビデオブロック１６４との間の差、またはＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆに基づいて、現在のビデオブロック１５０からの異なるアクセスユニット中のビュー間残差予測子ブロックを計算し得る。ビュー間残差予測子として示される差分信号（difference signal）は、現在のビデオブロック１５０の残差を予測するために使用され得る。現在のビデオブロック１５０の予測信号（prediction signal）は、ビュー間予測子、すなわち、ビュー間参照ビデオブロック１５６（Ｂａｓｅ）と、現在のビュー中の時間参照ビデオブロック１６６と参照ビュー中の時間参照ビデオブロック１６４との間の差に基づいて決定された異なるアクセスユニット中の予測ビュー間残差（predicted inter-view residual）と、の和であり得る。いくつかの例では、異なるアクセスユニット中の予測ビュー間残差に重み係数ｗが適用される。そのような例では、現在のビデオブロック１５０の予測信号は、Ｂａｓｅ＋ｗ＊（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）であり得る。
[0193]いくつかの例では、ビデオコーダは、たとえば、上記で説明したように時間的ＡＲＰのためのターゲット参照ピクチャの決定と同様に、ビュー間ＡＲＰのためのターゲットアクセスユニット中のターゲット参照ピクチャを決定し得る。いくつかの例では、ＪＣＴ３Ｖ−Ｄ０１７７に関して上記で説明したように、各参照ピクチャリストのためのターゲット参照ピクチャは、参照ピクチャリスト中の第１の参照ピクチャである。他の例では、一方または両方の参照ピクチャリストのためのターゲット参照ピクチャ、たとえば、ターゲットＰＯＣが、たとえば、ＰＵ、ＣＵ、スライス、ピクチャ、または他のものごとにビデオエンコーダ２０からビデオデコーダ３０にシグナリングされ得る。他の例では、各参照ピクチャリストのためのターゲット参照ピクチャは、現在のブロックと比較して最も小さいＰＯＣ差を有し、より小さい参照ピクチャインデックスを有する参照ピクチャリスト中の時間参照ピクチャである。他の例では、２つの参照ピクチャリストのためのターゲット参照ピクチャは同じものである。
[0194]ＴＭＶ１６０によって示される参照ビュー中の時間参照ビデオブロックを含んでいるピクチャが、ターゲットＡＲＰ参照ピクチャとは異なるアクセスユニット（時間インスタンス）中にある場合、ビデオコーダは、ビュー間ＡＲＰのための参照ビュー中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）を識別するために、ターゲット参照ピクチャ、たとえば、ターゲット参照ピクチャ１６４にＴＭＶ１６０をスケーリングし得る。そのような例では、ビデオコーダは、ターゲットＡＲＰ参照ピクチャを含んでいるアクセスユニット中の時間参照ビデオブロック１６２の位置を特定する。ビデオコーダは、ＰＯＣスケーリングによってＴＭＶ１６０をスケーリングし得る。さらに、スケーリングされたＴＭＶは、ターゲットＡＲＰ参照ピクチャ中にある現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）１６６を識別するために使用される。
[0195]いくつかの例では、ビデオコーダは、ＬＸ（Ｘは０または１である）ターゲット参照ピクチャにＴＭＶ１６０をスケーリングし、ここで、ＬＸは、ＴＭＶを含むＰＵのＲｅｆＰｉｃＬｉｓｔＸに対応する。いくつかの例では、ビデオコーダは、ＴＭＶをＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のいずれかまたは両方から、それぞれ、Ｌ０またはＬ１ターゲット参照ピクチャにスケーリングし得る。いくつかの例では、ビデオコーダは、ＬＸターゲット参照ピクチャにＴＭＶ１６０をスケーリングし、ここにおいて、Ｘは、現在のビデオブロック１５０、たとえば、現在のＰＵのＤＭＶ１５４がＲｅｆＰｉｃＬｉｓｔＸに対応するという条件を満たす。
[0196]同様に、いくつかの例では、ビデオコーダは、ターゲット参照ビュー中の参照ピクチャ１５８中のビュー間参照ビデオブロック１５６を識別するより前に、ＡＲＰのためのターゲット参照ビューにＤＭＶ１５４をスケーリングする。ビデオコーダは、ビュー順序差スケーリング（view order difference scaling）によってＤＭＶ１５４をスケーリングし得る。ターゲット参照ビューは、ビデオエンコーダ２０およびビデオデコーダ３０によってあらかじめ決定されているか、または知られていることがあり、あるいは、たとえば、ＰＵ、ＣＵ、スライス、ピクチャ、または他のものごとにビデオエンコーダ２０からビデオデコーダ３０にシグナリングされ得る。
[0197]ビュー間ＡＲＰのいくつかの例では、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、同じ予測構造と、図１０に示す識別された参照ビデオブロック１５６、１６４および１６８とを使用して現在のブロック１５０のための予測信号を導出し得るが、異なるアクセスユニット中の参照ブロック１６２および１６６ではなく、参照ビュー中の参照ブロック１５６と参照ブロック１６２との間の差に基づいて残差予測子ブロックを決定し得る。そのような例では、ビデオコーダは、他のサンプルアレイ、たとえば、参照ビュー中の参照ブロック１５６と参照ブロック１６２との間の差、に重み係数を適用し、それに応じて、ＣｕｒｒＴＲｅｆ＋ｗ＊（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）のように現在のビデオブロック１５０のための予測信号を導出し得る。ビュー間ＡＲＰのいくつかの例では、ビデオコーダは、参照ビデオブロック１５６、１６２および１６６が分数ピクセル位置（fractional pixel positions）と整合する（aligned）場合にそれらを導出するために、バイリニア・フィルタを含む様々な補間フィルタを使用し得る。
[0198]図１０に、現在のビューと参照ビューとの中の時間参照ビデオブロックが、ビュー間参照ビデオブロックのＴＭＶと、関連する参照ピクチャとを使用して識別されるビュー間ＡＲＰ例を示すが、他の例では、現在のビューと参照ビューとの中の時間参照ビデオブロックを識別するために他のＴＭＶと、関連する参照ピクチャとが使用され得る。たとえば、現在のビデオブロックのＤＭＶが、現在のビデオブロックの第１の参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）からのものである場合、ビデオコーダは、現在のビデオブロックの第２の参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１の他方）からのＴＭＶと、関連する参照ピクチャとを使用し得る。そのような例では、ビデオコーダは、ＴＭＶに関連する参照ピクチャ中の現在のビュー中の時間参照ビデオブロックを識別するか、または現在のビュー中の時間参照ビデオブロックを識別するために、ＡＲＰのためのターゲットアクセスユニットとターゲット参照ピクチャとにＴＭＶをスケーリングし得る。そのような例では、ビデオコーダは、現在のビュー中の時間参照ビデオブロックが位置していた参照ピクチャと同じアクセスユニット中にある参照ピクチャ中の参照ビュー中の時間参照ビデオブロックを識別し得る。他の例では、ビュー間参照ビデオブロックのＴＭＶまたは現在のビデオブロックの他の参照ピクチャリストのＴＭＶではなく、ビデオコーダは、ＡＲＰのための現在のビューと参照ビューとの中の時間参照ビデオブロックを識別するために、現在のビデオブロックの空間的または時間的隣接ビデオブロックの動き情報から導出されたＴＭＶと、関連する参照ピクチャとを同様に使用し得る。
[0199]図１０に、本開示による、ビュー間ＡＲＰの一例を示す。上記で説明したように、時間的ＡＲＰに関する既存の提案によれば、たとえば、ＮＢＤＶによって導出された現在のビデオブロックのＤＶは、参照ビュー中のビュー間参照ビデオブロックを識別するために使用される。本開示の技法によれば、時間的ＡＲＰのための参照ビュー中で計算される時間残差予測子の精度は、現在のビュー（ＣｕｒｒＴＲｅｆ）が少なくとも１つのＤＭＶを含んでいる場合、ＤＶをその現在のビュー中の時間参照ブロックのＤＭＶと置き換えることによって増加され得る。
[0200]図１１は、本開示で説明する技法による、現在のビュー（ＣｕｒｒＴＲｅｆ）中の時間参照ブロックのＤＭＶ１９０を使用して現在のピクチャ１８２中の時間的に予測された現在のビデオブロック１８０の時間的ＡＲＰのための例示的な予測構造を示す概念図である。図１１の例によれば、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、時間参照ピクチャ１８８中の時間参照ビデオブロック１８６を識別するＴＭＶ１８４を使用して、現在のビデオブロック１８０を時間的に予測する。ビデオコーダは、時間参照ビデオブロック１８６をビュー間予測するために使用される少なくとも１つのＤＭＶ、たとえば、ＤＭＶ１９０を時間参照ビデオブロック１８６が含んでいるかどうかを決定する。いくつかの例では、ＤＭＶ１９０は、時間参照ビデオブロック１８６の動き情報予測のために使用されるＩＤＭＶＣであり得る。
[0201]ビデオコーダは、参照ビュー（Ｖ０）中の参照ピクチャ１９８内のビュー間参照ビデオブロック１９６（Ｂａｓｅ）または参照ビュー（Ｖ０）中の時間参照ピクチャ１９４中の時間参照ビデオブロック１９４（ＢａｓｅＴＲｅｆ）のうちのいずれか１つまたはその両方の識別のために現在のビデオブロック１８０のＤＶの代わりにＤＭＶ１９０を使用し得る。ＴＭＶ１８４とＤＭＶ１９０とに基づく時間参照ビデオブロック１９４の識別は、ＴＭＶ＋ＤＭＶと標示されたベクトル２００によって表されている。いくつかの例では、ビデオコーダが、時間的ＡＲＰのためにＮＢＤＶからのＤＶを置き換えるためにＤＭＶを使用するとき、ビデオコーダはまた、ＮＢＤＶプロセスから戻されたビュー順序インデックスを、選択されたＤＭＶに関連するビュー順序インデックスと置き換え得る。さらに、いくつかの例では、ＤＭＶがＮＢＤＶからのＤＶを置き換えるためにＢＶＳＰモードを使用して導出された場合、ビデオコーダは、現在のビデオブロック１８０の時間的ＡＲＰのために時間参照ビデオブロック１８６に関連するＤＭＶを選択しないことがある。ビデオコーダは、図８中のブロック１０６、１１２および１１６に関して上記で説明したように、識別された参照ビデオブロック１８６、１９２および１９６を使用して現在のビデオブロック１８０のための時間残差予測子ブロックを決定し得る。
[0202]いくつかの例では、現在のビデオブロック１８０の復号されたＴＭＶ１８４が、ターゲットＡＲＰ参照ピクチャとは異なるアクセスユニット（時間インスタンス）中の参照ピクチャを指す場合、ビデオコーダは、ターゲットＡＲＰ参照ピクチャ１８８にＴＭＶ１８４をスケーリングし、たとえば、ＰＯＣスケーリングを使用して、スケーリングされたＴＭＶ１８４によってターゲットＡＲＰ参照ピクチャ中の時間参照ビデオブロック１８６（ＣｕｒｒＴＲｅｆ）の位置を特定し得る。そのような例では、ビデオコーダは、スケーリングされたＴＭＶ１８４によって識別される時間参照ビデオブロック１８６（ＣｕｒｒＴＲｅｆ）中のＤＭＶ１９０を導出し得る。いくつかの例では、ビデオコーダが、ターゲットＡＲＰピクチャ中のアクセスユニットと同じアクセスユニットに属するピクチャ１８８中の時間参照ビデオブロック１８６（ＣｕｒｒＴＲｅｆ）を識別するためにＴＭＶ１８４をスケーリングするとき、スケーリングなしにＴＭＶ１８４によって識別される別の時間参照ビデオブロック、すなわち、ＣｕｒｒＴｅｍｐＲｅｆが識別され得る。そのような例では、ビデオコーダは、利用可能な場合、現在のビデオブロック１８０の時間的ＡＲＰのＤＶを置き換えるためにこの時間参照ビデオブロック（ＣｕｒｒＴｅｍｐＲｅｆ）からのＤＭＶを使用し得る。いくつかの例では、ビデオコーダは、時間参照ビデオブロック１８６（ＣｕｒｒＴＲｅｆ）に関連するＤＭＶがないとき、ＣｕｒｒＴｅｍｐＲｅｆを単に識別し、使用する。いくつかの例では、ＮＢＤＶからのＤＶを置き換えるためにコード化ブロックの他のＤＭＶが使用され得る。
[0203]図１２は、本開示で説明する技法による、ビデオブロック中のまたはそれに隣接するＴＭＶまたはＤＭＶの識別のための例示的な技法を示す概念図である。図１０および図１１に関して上記で説明したように、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、本開示で説明する技法に従ってビュー間ＡＲＰおよび時間的ＡＲＰを実施するためにＴＭＶおよびＤＭＶを識別する。いくつかの例では、ビデオコーダは、現在のビデオブロック、たとえば、現在のＰＵと同じサイズの幅×高さをもつ参照ピクチャ内の領域であり得るビュー間参照ビデオブロックまたは時間参照ビデオブロック、あるいは現在のビデオブロック中のまたはそれに隣接するＴＭＶおよびＤＭＶを識別する。
[0204]図１２に、幅×高さのブロック２１０を示す。ブロック２１０は、現在のビデオブロック、あるいは現在のビデオブロックと同じサイズをもつ参照ピクチャ内の領域であり得るビュー間参照ビデオブロックまたは時間参照ビデオブロックであり得る。図１２に、ブロック２１０の中心位置に隣接するかまたはそれを含むブロック２１２と、ブロック２１０の右下位置に隣接するかまたはそれを含むブロック２１４とをも示す。
[0205]いくつかの例では、時間的ＡＲＰまたはビュー間ＡＲＰの場合、ビデオコーダは、ブロック２１０内のブロック、たとえば、ブロック２１２の中心位置を含んでいるＰＵまたは他のブロックに関連する動きベクトル、たとえば、ＴＭＶまたはＤＭＶと、関連する参照インデックスとを考慮し、たとえば、それらのみを考慮する。いくつかの例では、ビデオコーダは、ブロック２１０の（（幅，高さ）の左上コーナーピクセルに対する配置をもつ（with coordination））右下ピクセルと（（幅／２，高さ／２）の左上隅に対する配置をもつ）中心ピクセルとを含んでいる２つのブロックの（動きベクトルと参照インデックスとを含む）動き情報を考慮し、たとえば、単に考慮する。図１２を参照すると、ブロック２１４および２１２は、それぞれ、ブロック２１０の右下ピクセルと中心ピクセルとを含んでいるブロックの例であり得る。ブロック２１２および２１４は、Ｎ×Ｎであり得、これは、各参照ピクチャリストに対応する最高１つの動きベクトルを含むことができる最大ブロックグラニュラリティ（the largest block granularity）であり得、たとえば、Ｎ×Ｎは４×４であり得る。ブロック２１２および２１４は、任意の順序でＡＲＰのＤＭＶまたはＴＭＶについて検査され得る。
[0206]いくつかの例では、現在のビデオブロック、たとえば、現在のＰＵが（ｘ，ｙ）の座標を有し、参照ビデオブロックを識別するために使用されるベクトル（ｖ［０］，ｖ［１］）が動きベクトル（ＴＭＶまたはＤＭＶ）からのものであると仮定すると、ビデオコーダは、ＤＭＶを、それぞれｉが０または１に等しい場合、ｖ［ｉ］＝（ｍｖ［ｉ］＋２）＞＞２に、またはｖ［ｉ］＝ｍｖ［ｉ］＞＞２に変換し得る。そのような例では、ビデオコーダは、ブロック２１２および２１４を、（ｘ＋ｖ［０］＋ｗｉｄｔｈ／２，ｙ＋ｖ［１］＋ｈｅｉｇｈｔ／２）の配置をもつピクセルをカバーするブロック、たとえば、４×４ブロック、および配置（ｘ＋ｖ［０］＋ｗｉｄｔｈ，ｙ＋ｖ［１］＋ｈｅｉｇｈｔ）をもつピクセルをカバーするブロック、としてそれぞれ識別し得る。いくつかの例では、ビデオコーダは、（−１，−１）でシフトした配置によって中心ブロック２１２と右下ブロック２１４との一方または両方を識別し得、これは、それぞれ（ｘ＋ｖ［０］＋ｗｉｄｔｈ／２−１，ｙ＋ｖ［１］＋ｈｅｉｇｈｔ／２−１）および（ｘ＋ｖ［０］＋ｗｉｄｔｈ−１，ｙ＋ｖ［１］＋ｈｅｉｇｈｔ−１）に対応する。
[0207]いくつかの例では、ビデオコーダは、検査順序に従って利用可能なＴＭＶまたはＤＭＶについてブロック２１２および２１４を検査し得る。いくつかの例では、ビデオコーダは、最初に中心ブロック２１２を検査し、そのような動きベクトルが利用可能な場合、ＡＲＰのために中心ブロックに関連するＤＭＶまたはＴＭＶを使用し得る。そのような例では、そのような動きベクトルが中心ブロック２１２から利用可能でなかった場合、ビデオコーダは、ＡＲＰのＴＭＶまたはＤＭＶについて右下ブロック２１４を検査し得る。
[0208]いくつかの例では、ビデオコーダは、ＡＲＰのための適切な動きベクトルについてブロック２１２、２１４のための参照ピクチャリストを検査順序で検査し得る。たとえば、ビデオコーダは、ＲｅｆＰｉｃＬｉｓｔ０を検査し、そのような動きベクトルが利用可能な場合、ＲｅｆＰｉｃＬｉｓｔ０に関連するＤＭＶまたはＴＭＶを使用し得る。そのような例では、そのような動きベクトルがＲｅｆＰｉｃＬｉｓｔ０から利用可能でなかった場合、ビデオコーダは、ＡＲＰのＴＭＶまたはＤＭＶについてＲｅｆＰｉｃＬｉｓｔ１を検査し得る。
[0209]いくつかの例では、ビデオコーダは、ブロックの中心と４つのコーナー位置のうちの１つまたは複数とを含んでいるＰＵに関連する動きベクトルを考慮し、たとえば、単に考慮し得る。ビデオコーダは、優先順位に基づいた順序でＰＵを考慮し得、動きベクトルが発見されると、他のＰＵを考慮し得ない。これらの異なる位置の優先順位は、一例では、ブロックの中心、左上、右上、左下および右下と定義され得る。
[0210]いくつかの例では、ビデオコーダは、ブロックに関連するすべての動き情報を考慮するように構成され得る。いくつかの例では、ＡＲＰのＴＭＶまたはＤＭＶがブロック２１０内で発見されると、ビデオコーダは、追加の動きベクトルを検査し得ない。動きベクトルについてブロック２１０内のＰＵを検査するための優先順位は、たとえば、ラスタ走査順序（raster scan order）またはスパイラル走査（spiral scan）であり得る。動きベクトルについて、ブロック、たとえば、４×４ブロックを走査するためのスパイラル走査順序の例について、図１３Ａ〜図１３Ｄに示す。
[0211]いくつかの例では、ＡＲＰのＴＭＶについてブロック２１０を検査するとき、ビデオコーダは、ターゲットＡＲＰ参照ピクチャ同じアクセスユニット中の参照ピクチャを指すＴＭＶを単に考慮し得る。いくつかの例では、ＡＲＰのＤＭＶについて参照ブロック２１０を検査するとき、ビデオコーダは、現在のビデオブロックのためのＤＭＶまたはＤＶによって示されたビューと同じビュー中のビュー間参照ピクチャを指すＤＭＶを単に考慮し得る。いくつかの例では、ビデオコーダは、最初に、ＰＵに関連するブロックにブロック２１０を拡大し、ＡＲＰのＴＭＶまたはＤＭＶになるべき拡大ブロック内のＴＭＶまたはＤＭＶを探索する（looks for）。いくつかの例では、ブロック２１０中でＴＭＶまたはＤＭＶが発見されない場合、ビデオコーダは、ゼロ動きベクトル（a zero motion vector）を使用してＡＲＰを実行するか、またはＡＲＰを実行しない。いくつかの例では、ビデオコーダが、現在のビューと参照ビューとの中の２つの時間参照ビデオブロックを識別するためにゼロ動きベクトルを使用するとき、ビデオコーダは、ＲｅｆＰｉｃＬｉｓｔＸのためにターゲット参照ピクチャを使用し得、ここにおいて、Ｘは、０または１であり得、ビュー間予測のためにどのリストが呼び出されたか、たとえば、どのリストがＤＭＶを含んでいたかを示す。
[0212]たとえば、図１２に関して上記で説明したように、ビデオコーダは、動き情報の最高２つのセットのみを含んでいる所与のブロック、たとえば、ブロック２１０内の４×４ブロック中のＴＭＶまたはＤＭＶを識別し得る。動き情報の１つのセットが、所与のブロックのための第１の参照ピクチャリスト、たとえば、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）に対応し、他方が、所与のブロックのための第２の参照ピクチャリスト、たとえば、参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）に対応する。動き情報の各セットは、動きベクトルと参照インデックスとを含む。
[0213]いくつかの例では、ビデオコーダは、現在のビデオブロックのＡＲＰのＴＭＶまたはＤＭＶを識別するためのＲｅｆＰｉｃＬｉｓｔ０に対応する動き情報を単に考慮する。他の例では、ビデオコーダは、現在のビデオブロックのＡＲＰのＴＭＶまたはＤＭＶを識別するためのＲｅｆＰｉｃＬｉｓｔ１に対応する動き情報を単に考慮する。他の例では、ビデオコーダは、最初に、ＲｅｆＰｉｃＬｉｓｔＸに対応する動き情報を考慮する。ＲｅｆＰｉｃＬｉｓｔＸに対応する動き情報が、ＡＲＰの好適なＴＭＶまたはＤＭＶを含まない場合、ビデオコーダは、（Ｙが１−Ｘに等しい）ＲｅｆＰｉｃＬｉｓｔＹに対応する動き情報を考慮する。
[0214]いくつかの例では、Ｘは０に等しくなる。いくつかの例では、Ｘは１に等しくなる。いくつかの例では、Ｘは、Ｚに等しくなり、ここにおいて、Ｚは、現在のビデオブロックの動きベクトル（ＴＭＶまたはＤＭＶ）が含まれていた参照ピクチャリストに対応する。たとえば、現在のビデオブロック、たとえば、現在のＰＵに属する動きベクトルがＲｅｆＰｉｃＬｉｓｔ０に対応する場合、Ｚは０になる。現在のビデオブロック、たとえば、現在のＰＵに属する動きベクトルがＲｅｆＰｉｃＬｉｓｔ１に対応する場合、Ｚは１になる。いくつかの例では、ビデオコーダは、ＲｅｆＰｉｃＬｉｓｔＺに対応する動き情報を単に考慮する。
[0215]現在のビデオブロックのＤＶを置き換えることによって時間的ＡＲＰの精度、たとえば、参照ビュー中で計算される時間残差の精度、を改善するための別の例示的な技法は、たとえば、ＮＢＤＶによって導出されたＤＶを、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通して導出されたＤＶと置き換えることを含む。ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、図７に関して上記で説明したように、ＢＶＳＰのための現在のビデオブロックのＤＶを導出するために使用される技法と同様の技法またはそれと同じ技法を使用して現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通してＤＶを導出し得る。
[0216]ビデオコーダは、ＡＲＰのために使用される参照ビューで中の参照ブロックのうちのいずれか１つまたはその両方の導出のために、たとえば、ＮＢＤＶによって導出された現在のブロックのＤＶの代わりに、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通して導出されたＤＶを使用し得る。たとえば、ビデオコーダは、参照ビュー中の現在のブロックのビュー間参照ブロック（Ｂａｓｅ）または参照ビュー中の時間参照ブロック（ＢａｓｅＴＲｅｆ）の一方または両方を識別するために、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通して導出されたＤＶを使用し得る。ビデオコーダは、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロック（co-located depth block）を通して導出されたＤＶに現在のブロックのＴＭＶを追加することによって、参照ビュー中の時間参照ブロック（ＢａｓｅＴＲｅｆ）を識別し得る。
[0217]上記で説明したように、いくつかの例では、現在のブロックの復号されたＴＭＶが、ターゲットＡＲＰ参照ピクチャとは異なるアクセスユニット（時間インスタンス）中の参照ピクチャを指す場合、ビデオコーダは、ターゲットＡＲＰ参照ピクチャにＴＭＶをスケーリングし、スケーリングされたＴＭＶによってＣｕｒｒＴＲｅｆの位置を特定し得る。そのような例では、ビデオコーダは、スケーリングされたＴＭＶによって識別される現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックからＤＶを導出する。さらに、上記で説明したように、いくつかの例では、ＴＭＶが、ターゲットＡＲＰピクチャのアクセスユニットと同じアクセスユニットに属するピクチャ中のＣｕｒｒＴＲｅｆを識別するためにスケーリングされるとき、ビデオコーダは、スケーリングなしにＴＭＶによって識別される別の時間参照ブロックを識別し得、すなわち、ＣｕｒｒＴｅｍｐＲｅｆが識別され得、利用可能な場合、ＣｕｒｒＴｅｍｐＲｅｆのコロケート深度ブロックから導出されたＤＶは、おそらく、ＤＶを置き換えるために使用される。いくつかの例では、ビデオコーダは、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通して導出することができないとき、ＣｕｒｒＴｅｍｐＲｅｆを識別し、使用するだけでよい。
[0218]ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、様々な方法のいずれかで現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックからＤＶを導出し得る。いくつかの例では、ビデオコーダは、直接コロケート深度ブロック内のただ１つのサンプルを使用し、関連する深度値を時間的ＡＲＰのためのＤＶに変換する。いくつかの例では、時間的ＡＲＰのためのＤＶを導出するために使用されるコロケート深度ブロックの単一のサンプルは、Ｗ×Ｈのサイズをもつ１つの深度ブロックの左上のサンプルに対して、たとえば（Ｗ／２，Ｈ／２）にあるコロケート深度ブロックの中心に位置するピクセルである。
[0219]いくつかの例では、ビデオコーダは、たとえば、数学関数を介して１つの代表深度値を決定するためにコロケート深度ブロック内のいくつかの選択的なサンプルを使用する。一例では、ビデオコーダは、４つのコーナー深度サンプルを選択する。別の例では、ビデオコーダは、深度ブロックの隣接深度サンプル（neighboring depth samples）に基づいてコロケート深度ブロック内の深度サンプルを選択する。たとえば、隣接深度サンプルが水平エッジ（a horizontal edge）を示すとき、ビデオコーダは、第１行の２つのコーナーピクセルのみを選択し得る。いくつかの例では、コロケート深度ブロック内のすべての深度サンプルは、数学関数を介して１つの代表深度値（representative depth value）を決定するために使用され得る。いくつかの例では、ビデオコーダは、たとえば、選択された深度値の最大値、平均値、または中央値を決定すること、あるいは選択された深度値に何らかの他の関数を適用することによって、コロケート深度ブロックからの選択された（またはすべての）深度値に基づいて代表深度値を決定し得る。
[0220]いくつかの例では、関連する深度ビューとは無関係なテクスチャビューの復号が必要ないとき、ビデオコーダは、現在のブロックの時間参照ブロック（ＣｕｒｒＴＲｅｆ）のコロケート深度ブロックを通して導出されるＤＶを伴う上記で説明した時間的ＡＲＰ技法を適用し得る。関連する深度ビューとは無関係なテクスチャビューの復号が必要なとき、ビデオコーダは、図１０および図１１に関して説明したＡＲＰ技術など、本明細書で説明する他のＡＲＰ技法を適用し得る。
[0221]時間的ＡＲＰとビュー間ＡＲＰの両方が使用可能であるとき、ＡＲＰのための重み係数シグナリング条件（weighting factor signaling condition）は、すべての参照ピクチャがビュー間参照ピクチャであるかどうかを検査することから、現在のピクチャが、ランダムアクセスピクチャ（１５〜２２までのＮＡＬユニットタイプをもつＩＲＡＰ、すなわち、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、ＢＬＡ＿Ｎ＿ＬＰ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、またはＣＲＡ＿ＮＵＴを含めて）であるかどうかを単に検査することに変更され得る。したがって、いくつかの例では、現在のＣＵがＩＲＡＰピクチャに属しないインターコード化ＣＵ（an inter-coded CU）である場合、ビデオエンコーダ、たとえば、ビデオエンコーダ２０は、重み係数をシグナリングする。そのような例では、ピクチャがランダムアクセスピクチャであるとき、ビデオエンコーダは、重み係数を決して送信しない。他の例では、（ビュー間参照ピクチャでしかあり得ない）それの参照ピクチャのうちの少なくとも１つがそれの参照ピクチャリストのいずれかの中にビュー間参照ピクチャを有する場合、ビデオエンコーダ２０はさらに、重み係数がＩＲＡＰピクチャに属するインターコード化ＣＵのためのものであることをシグナリングする。そのような例では、ビデオコーダは、アクセスユニット内のピクチャのためのビュー間残差予測（inter-view residual prediction）のＡＲＰを実行し得る。
[0222]現在のＣＵがＩＲＡＰピクチャに属しないインターコード化ＣＵである場合にビデオエンコーダ、たとえば、ビデオエンコーダ２０が重み係数をシグナリングする例では、コーディングユニット（coding＿unit）のシンタックス表は、以下に強調するように変更される。３Ｄ−ＨＥＶＣテストモデル４に対する追加は、下線付きであり、削除は、取り消し線テキストを用いて示されている。
[0223]さらに、変数ＴｅｍｐＲｅｆＰｉｃＩｎＬｉｓｔｓＦｌａｇと、ＴｅｍｐＲｅｆＰｉｃＩｎＬｉｓｔｓＦｌａｇの関係する導出プロセスとが以下に示すように除去される。

Ｈ．８．３．７ マージモードでのＴＭＶＰのための代替ターゲット参照インデックスのための導出プロセス
[0224]時間的ＡＲＰに関する既存の提案は、ＮＢＤＶが現在のビデオブロックの利用可能なＤＶを戻さないときＡＲＰを使用不能にする。しかしながら、上記で説明したように、本開示は、ＮＢＤＶによって導出されたＤＶに依拠しないＡＲＰのための技法を提供する。したがって、本開示によるいくつかの例では、ＮＢＤＶが利用可能なＤＶを戻さないときに常にＡＲＰを使用不能にするのではなく、ビデオコーダは、ＮＢＤＶが利用可能なＤＶを戻さない少なくともいくつかの状況においてＡＲＰを使用可能にし得る。たとえば、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）が少なくとも１つのＤＭＶをカバーする場合に時間的ＡＲＰを使用可能にし得る。別の例として、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）が少なくとも１つのＤＭＶをカバーし、対応するブロックがＢＶＳＰモードを用いてコーディングされていない場合、ビデオコーダは、時間的ＡＲＰを使用可能にし得る。そのような例では、ビデオコーダは、たとえば、図１１に関して上記で説明したように、ＤＶを置き換えるためにＤＭＶを使用して時間的ＡＲＰを適用し得る。別の例として、現在の参照ピクチャがビュー間参照ピクチャである場合、ビデオコーダは、たとえば、図１０に関して上記で説明したように、ビュー間ＡＲＰを使用可能にし得る。１つまたは複数の制約がビデオデコーダに与えられ得、したがって、ＮＢＤＶが利用可能なＤＶを戻さず、上記の条件のうちの１つまたは複数が真でないとき、ＡＲＰのための重み係数ｗが０に設定される。
[0225]図１４は、本開示で説明する技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディング（Intra coding）は、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディング（Inter−coding）は、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの冗長性を低減または除去するために時間的予測またはビュー間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを含み得る。
[0226]図１４の例では、ビデオエンコーダ２０は、区分ユニット２３５と、予測処理ユニット２４１と、参照ピクチャメモリ２６４と、加算器２５０と、変換処理ユニット２５２と、量子化処理ユニット２５４と、エントロピー符号化ユニット２５６とを含む。予測処理ユニット２４１は、動き推定ユニット２４２と、動き補償ユニット２４４と、高度残差予測（ＡＲＰ）ユニット２５４と、イントラ予測処理ユニット２４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化処理ユニット２５８と、逆変換処理ユニット２６０と、加算器２６２とを含む。再構成されたビデオからブロッキネスアーティファクト（blockiness artifacts）を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図１４に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器２６２の出力をフィルタ処理することになる。デブロッキングフィルタに加えて追加的なループフィルタ（インループまたはポストループ）が使用され得る。
[0227]様々な例では、ビデオエンコーダ２０のユニットは、本開示の技法を実行する役割を担い得る。また、一部の例では、本開示の技術は、ビデオエンコーダ２０の複数のユニットのうちの１つまたは複数の中で分割され得る。たとえば、ＡＲＰユニット２４５は、単独で、または動き推定ユニット２４２および動き補償ユニット２４４などのビデオエンコーダの他のユニットと組み合わせて本開示の技法を実行し得る。
[0228]図１４に示されているように、ビデオエンコーダ２０はビデオデータを受信し、区分ユニット（partitioning unit）２３５はデータをビデオブロックに区分する。この区分はまた、たとえば、ＬＣＵおよびＣＵの４分木構造（a quadtree structure）に従って、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は概して、符号化すべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロック（場合によってはタイルと呼ばれるビデオブロックのセット）に分割され得る。
[0229]予測処理ユニット２４１は、エラー結果（たとえば、コーディングレートおよびひずみレベル）に基づいて、現在のビデオブロックのために、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット２４１は、得られたイントラコード化ブロックまたはインターコード化ブロック（intra− or inter−coded block）を、残差ブロックデータを生成するために加算器２５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器２６２に与え得る。
[0230]予測処理ユニット２４１内のイントラ予測ユニット２４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディング（intra-predictive coding）を実行し得る。予測処理ユニット２４１内の動き推定ユニット２４２および動き補償ユニット２４４は、たとえば、時間的圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測コーディング（inter-predictive coding）を実行する。
[0231]動き推定ユニット２４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するために構成され得る。動き推定ユニット２４２と動き補償ユニット２４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット２４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
[0232]予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ２６４に記憶された参照ピクチャのサブ整数ピクセル位置（sub-integer pixel positions）の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置（fractional pixel positions）の値を補間し得る。したがって、動き推定ユニット２４２は、フルピクセル位置（full pixel positions）と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度（fractional pixel precision）で動きベクトルを出力し得る。
[0233]動き推定ユニット２４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０もしくはＲｅｆＰｉｃＬｉｓｔ０）または第２の参照ピクチャリスト（リスト１もしくはＲｅｆＰｉｃＬｉｓｔ１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ２６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット２４２は、計算された動きベクトルをエントロピー符号化ユニット２５６および動き補償ユニット２４６に送る。
[0234]動き補償ユニット２４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度（sub-pixel precision）への補間を実行することを伴い得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット２４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器２５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット２４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0235]イントラ予測処理ユニット２４６は、上記で説明したように、動き推定ユニット２４２と動き補償ユニット２４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット２４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット２４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のビデオブロックを符号化し得、イントラ予測モジュール２４６（または、いくつかの例では、予測処理ユニット２４１）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット２４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された符号化されていない元のブロック、との間のひずみ（またはエラー）の量、ならびに符号化されたブロックを生成するために使用されたビットレート（すなわち、ビットの数）を決定する。イントラ予測処理ユニット２４６は、符号化された様々なブロックのひずみおよびレートから比を算出し、どのイントラ予測モードがブロックの最良のレートひずみ値を示すのかを決定し得る。
[0236]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット２４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２５６に与え得る。エントロピー符号化ユニット２５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード（a most probable intra-prediction mode）、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示と、を含み得る構成データを含め得る。
[0237]予測処理ユニット２４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット２５２に適用され得る。変換処理ユニット２５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット２５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
[0238]変換処理ユニット２５２は、得られた変換係数を量子化処理ユニット２５４に送り得る。量子化処理ユニット２５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化処理ユニット２５４は、次いで、量子化変換係数（quantized transform coefficients）を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット２５６が走査を実行し得る。
[0239]量子化の後に、エントロピー符号化ユニット２５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット２５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングあるいは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット２５６によるエントロピー符号化に続いて、符号化ビデオビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット２５６はまた、コード化されている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0240]逆量子化処理ユニット２５８および逆変換処理ユニット２６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構成する。動き補償ユニット２４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット２４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器２６２は、再構成された残差ブロックを動き補償ユニット２４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ２６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット２４２および動き補償ユニット２４４によって参照ブロックとして使用され得る。
[0241]ビデオエンコーダ２０、たとえば、ビデオエンコーダ２０のＡＲＰユニット２４５は、ＡＲＰ技法のいずれか、たとえば、本明細書で説明するビュー間ＡＲＰ技法または時間的ＡＲＰ技法を実行し得る。たとえば、予測処理ユニット２４１および／または動き推定ユニット２４２が、現在のビデオブロックをビュー間予測する、たとえば、ＤＭＶを使用して現在のビデオブロックとは異なる参照ビュー中の参照ピクチャからの参照ブロックに基づいて現在のビデオブロックを予測する場合、ＡＲＰユニット２４５は、現在のビデオブロックのビュー間予測のための現在のビデオブロックに関連するＤＭＶを識別し得る。いくつかの例では、ＤＭＶは、現在のビデオブロックの動き情報予測のためのＩＤＭＶＣに変換されたＤＶであり得る。
[0242]ＤＭＶに基づいて、ＡＲＰユニット２４５はまた、単独でまたは動き補償ユニット２４４とともに、ビュー間参照ビデオブロック（Ｂａｓｅ）と、ビュー間参照ビデオブロック（Ｂａｓｅ）の予測中に動き推定ユニット２４２によって前に決定されていることがあるビュー間参照ビデオブロックのＴＭＶと、を識別し得る。ＴＭＶに基づいて、ＡＲＰユニット２４５は、単独でまたは動き補償ユニット２４４とともに、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）と、現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）とを識別し得る。ＡＲＰユニット２４５は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのためのビュー間残差予測子を決定し得る。ＡＲＰユニット２４５は、この差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に重み係数ｗを適用し得、たとえば、図１０に関して本明細書で説明したように、現在のビデオブロックのためのビュー間予測子ブロックをＢａｓｅ＋ｗ＊（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）と決定し得る。
[0243]別の例として、予測処理ユニット２４１および／または動き推定ユニット２４２が、現在のビデオブロックを時間的に予測する、たとえば、ＴＭＶを使用して現在のビデオブロックとは異なるアクセスユニットだが現在のビデオブロックと同じビュー中の参照ピクチャからの参照ブロックに基づいて現在のビデオブロックを予測する場合、ＡＲＰユニット２４５は、ＴＭＶを識別し得る。ＴＭＶに基づいて、ＡＲＰユニット２４５はまた、単独でまたは動き補償ユニット２４４とともに、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）と、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）の予測中に動き推定ユニット２４２によって前に決定されていることがある時間参照ビデオブロックのＤＭＶとを識別し得る。ＤＭＶに基づいて、ＡＲＰユニット２４５は、単独でまたは動き補償ユニット２４４とともに、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）と、参照ビュー中のビュー間参照ビデオブロック（Ｂａｓｅ）とを識別し得る。ＡＲＰユニット２４５は、参照ビュー中の参照ビデオブロック間の差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのための時間残差予測子を決定し得る。ＡＲＰユニット２４５は、この差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に重み係数ｗを適用し得、たとえば、図１１に関して本明細書で説明したように、現在のビデオブロックのための時間予測子ブロックをＣｕｒｒＴＲｅｆ＋ｗ＊（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）と決定し得る。
[0244]上記の例のいずれかでも、ＡＲＰユニット２４５、動き補償ユニット２４４、および／あるいは予測処理ユニット２４１またはビデオエンコーダ２０の任意の構成要素が、現在のビデオブロックのための符号化ビデオビットストリーム中で符号化されるべき残差を決定する加算器２５０にビュー間予測子ブロックを与え得る。さらに、ＡＲＰユニット２４５は、ＴＭＶおよびＤＭＶをスケーリングするか、または本開示の技法による、ＡＲＰのための本明細書で説明する機能のいずれかを実行し得る。
[0245]このようにして、ビデオエンコーダ２０は、ビデオブロックを符号化するために本開示の例示的なＡＲＰ技法を実施するように構成され得る。たとえば、ビデオエンコーダ２０は、現在のビデオブロックのためのＤＭＶを識別すること、ここにおいて、現在のビデオブロックは、現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を備えるビデオデータを符号化するためのビュー間高度残差予測（inter-view advanced residual prediction）の方法を実行するように構成されたビデオエンコーダの一例であり得る。本方法は、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに備える。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。本方法は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することと、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームを符号化することと、ここにおいて、符号化ビデオビットストリームによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える、をさらに備える。
[0246]ビデオコーダ２０はまた、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと１つまたは複数のプロセッサとを備えるビデオコーダの一例であり得る。ビデオコーダ、たとえば、ビデオエンコーダ２０の１つまたは複数のプロセッサは、現在のビデオブロックのためのＤＭＶを識別すること、ここにおいて、現在のビデオブロックは現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を行うように構成され得る。１つまたは複数のプロセッサは、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとを行うようにさらに構成される。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。１つまたは複数のプロセッサは、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することと、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームをコーディングすることと、ここにおいて、符号化ビデオビットストリームをコーディングすることによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える、を行うようにさらに構成される。
[0247]図１５は、本開示で説明する技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図１５の例では、ビデオデコーダ３０は、エントロピー復号ユニット２８０と、予測処理ユニット２８１と、逆量子化処理ユニット２８６と、逆変換ユニット２８８と、加算器２９０と、参照ピクチャメモリ２９２とを含む。予測処理ユニット２８１は、動き補償ユニット２８２と、ＡＲＰユニット２８３と、イントラ予測ユニット２８４とを含む。ビデオデコーダ３０は、いくつかの例では、図１４からのビデオエンコーダ２０に関して説明した符号化パスを概ね反転させた復号パスを実行し得る。
[0248]様々な例では、ビデオデコーダ３０のユニットは、本開示の技法を実行する役割を担い得る。また、一部の例では、本開示の技術は、ビデオデコーダ３０の複数のユニットのうちの１つまたは複数の中で分割され得る。たとえば、ＡＲＰユニット２８３は、単独で、または動き補償ユニット２８２などのビデオエンコーダの他のユニットと組み合わせて本開示の技法を実行し得る。
[0249]復号プロセスの間、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化ビットストリームをビデオエンコーダ２０から受信する。ビデオデコーダ３０のエントロピー復号ユニット２８０は、量子化係数、動きベクトル、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット２８０は、予測処理ユニット２８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
[0250]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット２８１のイントラ予測ユニット２８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、予測処理ユニット２８１の動き補償ユニット２８２は、エントロピー復号ユニット２８０から受信された動きベクトルおよび他のシンタックス要素に基づいて現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ２９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法または任意の他の技法を使用して、参照フレームリストのＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１を構成し得る。
[0251]動き補償ユニット２８２は、動きベクトルと他のシンタックス要素とをパーズすること（parsing）によって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット２８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化されたビデオブロックのための動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信されたシンタックス要素のいくつかを使用する。
[0252]動き補償ユニット２８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット２８２は、参照ブロックのサブ整数ピクセルの補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット２８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0253]逆量子化処理ユニット２８６は、ビットストリーム中で与えられ、エントロピー復号ユニット２８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（dequantize）する。逆量子化プロセスは、ビデオエンコーダ２０によって算出された量子化パラメータをビデオスライス中のビデオブロックごとに使用して、適用すべき量子化の程度を決定し、同様に、適用すべき逆量子化の程度を決定することを含み得る。逆変換ユニット２８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0254]動き補償ユニット２８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット２８８からの残差ブロックを動き補償ユニット２８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器２９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、（コーディングループ内のまたはコーディングループ後のいずれかの）他のループフィルタも使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ２９２に記憶される。参照ピクチャメモリ２９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後での表示のための、復号ビデオを記憶する。
[0255]ビデオデコーダ３０、たとえば、ビデオデコーダ３０のＡＲＰユニット２８３は、ＡＲＰ技法のいずれか、たとえば、本明細書で説明するビュー間ＡＲＰ技法または時間的ＡＲＰ技法を実行し得る。たとえば、エントロピー復号ユニット２８０によって符号化ビデオビットストリームから復元されたシンタックス要素に基づいて、予測処理ユニット２８１および／または動き補償ユニット２８２が、ＤＭＶを使用して現在のビデオブロックをビュー間予測する場合、ＡＲＰユニット２８３は、現在のビデオブロックのビュー間予測のための現在のビデオブロックに関連するＤＭＶを識別し得る。いくつかの例では、ＤＭＶは、現在のビデオブロックの動き情報予測のためのＩＤＭＶＣに変換されたＤＶであり得る。
[0256]ＤＭＶに基づいて、ＡＲＰユニット２８３はまた、単独でまたは動き補償ユニット２８２とともに、ビュー間参照ビデオブロック（Ｂａｓｅ）と、ビュー間参照ビデオブロック（Ｂａｓｅ）の予測中に動き補償ユニット２８２によって前に決定されていることがあるビュー間参照ビデオブロックのＴＭＶとを識別し得る。ＴＭＶに基づいて、ＡＲＰユニット２８３は、単独でまたは動き補償ユニット２８２とともに、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）と、現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）とを識別し得る。ＡＲＰユニット２８３は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのためのビュー間残差予測子を決定し得る。ＡＲＰユニット２８３は、この差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に重み係数ｗを適用し得、たとえば、図１０に関して本明細書で説明したように、現在のビデオブロックのためのビュー間予測子ブロックをＢａｓｅ＋ｗ＊（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）と決定し得る。
[0257]別の例として、エントロピー復号ユニット２８０によって符号化ビデオビットストリームから復元されたシンタックス要素に基づいて、予測処理ユニット２８１および／または動き補償ユニット２８２が、ＴＭＶを使用して現在のビデオブロックを時間的に予測する場合、ＡＲＰユニット２８３はＴＭＶを識別し得る。ＴＭＶに基づいて、ＡＲＰユニット２８３はまた、単独でまたは動き補償ユニット２８２とともに、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）と、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）の予測中に動き補償ユニット２８２によって前に決定されていることがある時間参照ビデオブロックのＤＭＶとを識別し得る。ＤＭＶに基づいて、ＡＲＰユニット２８３は、単独でまたは動き補償ユニット２８２とともに、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）と、参照ビュー中のビュー間参照ビデオブロック（Ｂａｓｅ）とを識別し得る。ＡＲＰユニット２８３は、参照ビュー中の参照ビデオブロック間の差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのための時間残差予測子を決定し得る。ＡＲＰユニット２８３は、この差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に重み係数ｗを適用し得、たとえば、図１１に関して本明細書で説明したように、現在のビデオブロックのための時間予測子ブロックをＣｕｒｒＴＲｅｆ＋ｗ＊（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）と決定し得る。
[0258]上記の例のいずれかでも、ＡＲＰユニット２８３、動き補償ユニット２８２、および／あるいは予測処理ユニット２８１またはビデオデコーダ３０の任意の構成要素が、現在のビデオブロックを再構成するために、逆変換処理ユニット２８８から受信された復号された残差とビュー間予測子ブロックを加算する加算器２９０にビュー間予測子ブロックを与え得る。さらに、ＡＲＰユニット２８３は、ＴＭＶおよびＤＭＶをスケーリングするか、または本開示の技法による、ＡＲＰのための本明細書で説明する機能のいずれかを実行し得る。
[0259]このようにして、ビデオデコーダ３０は、ビデオブロックを復号するために本開示の例示的なＡＲＰ技法を実施するように構成され得る。たとえば、ビデオデコーダ３０は、現在のビデオブロックのための視差動きベクトル（ＤＭＶ）と残差ブロックとを識別するためにビデオデータを符号化する符号化ビデオビットストリームを復号すること、ここにおいて、現在のビデオブロックが現在のビュー中にあり、ここにおいて、ＤＭＶが、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を備えるビデオデータを復号するためのビュー間高度残差予測の方法を実行するように構成されたビデオデコーダの一例であり得る。本方法は、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとをさらに備える。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。本方法は、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することと、現在のビデオブロックを再構成するために、ビュー間参照ビデオブロックに、残差予測子ブロックと、符号化ビデオビットストリームから識別された残差ブロックとを適用することとをさらに備える。
[0260]ビデオデコーダ３０はまた、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと１つまたは複数のプロセッサとを備えるビデオコーダの一例であり得る。ビデオコーダ、たとえば、ビデオデコーダ３０の１つまたは複数のプロセッサは、現在のビデオブロックのためのＤＭＶを識別すること、ここにおいて、現在のビデオブロックは現在のビュー中にあり、ここにおいて、ＤＭＶは、参照ビュー中の、および、現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される、を行うように構成され得る。１つまたは複数のプロセッサは、ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、ビュー間参照ビデオブロックのＴＭＶに基づいて参照ビュー中の関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、参照ビュー中のビュー間参照ビデオブロックのＴＭＶに基づいて現在のビュー中の時間参照ビデオブロックを識別することとを行うようにさらに構成される。現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとは同じアクセスユニット中にある。１つまたは複数のプロセッサは、現在のビュー中の時間参照ビデオブロックと参照ビュー中の時間参照ビデオブロックとの間の差に基づいて現在のビデオブロックのための残差予測子ブロックを決定することと、現在のビデオブロックのためのＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームをコーディングすることと、ここにおいて、符号化ビデオビットストリームをコーディングすることによって識別された残差ブロックは、現在のビデオブロックのためのビュー間参照ビデオブロックと残差予測子ブロックとの間の差を備える、を行うようにさらに構成される。
[0261]図１６は、本開示で説明する技法による、ビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図である。図１６の例示的な方法は、ＡＲＰユニット２８３を含み得る、ビデオデコーダ３０などのビデオデコーダによって実行され得る。
[0262]図１６の例示的な方法によれば、ビデオデコーダ３０は、現在のビデオブロックのための参照ビデオブロックと残差ブロックとを識別するために符号化ビデオビットストリームを復号する（３００）。たとえば、動き補償ユニット２８２は、エントロピー復号ユニット２８０によって復号されたシンタックスによって示される動きベクトルに基づいて参照ビデオブロックを識別し得、逆変換処理ユニット２８８は、加算器２９０に復号された残差ブロックを与え得る。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、現在のビデオブロックの現在のビューから参照ビューまでのＤＭＶを識別する（３０２）。
[0263]ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、次いで、ＤＭＶに基づいて現在のビデオブロックを復号するための残差予測子ブロックを決定し得る（３０４）。たとえば、現在のビデオブロックがビュー間予測される場合、ビデオデコーダ３０は、たとえば、図１０に関して説明したように、ビュー間ＡＲＰ技法を使用して現在のビデオブロックのＤＭＶに基づいてビュー間残差予測子ブロック（an inter-view residual predictor block）を決定し得る。現在のビデオブロックが時間的に予測される場合、ビデオデコーダ３０は、たとえば、図１１に関して説明したように、時間的ＡＲＰ技法を使用して時間参照ビデオブロックのＤＭＶに基づいて時間残差予測子ブロック（a temporal residual predictor block）を決定し得る。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３および／または加算器２９０は、現在のビデオブロックを再構成するために、参照ビデオブロックに残差予測子ブロックと復号された残差ブロックとを適用し得る（３０６）。
[0264]図１７は、本開示で説明する技法による、ビュー間予測ビデオブロック（an inter-view predicted video block）を復号するための例示的なビュー間ＡＲＰ方法を示す流れ図である。図１７の例示的な方法は、ＡＲＰユニット２８３を含み得る、ビデオデコーダ３０などのビデオデコーダによって実行され得る。
[0265]図１７の例示的な方法によれば、ビデオデコーダ３０は、現在のビデオブロックのビュー間予測のために使用されるＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームを復号する（３１０）。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、ＤＭＶに基づいてビュー間参照ビデオブロック（Ｂａｓｅ）を識別する（３１２）。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３はまた、ビュー間参照ビデオブロック（Ｂａｓｅ）のＴＭＶと、関連する参照ピクチャとを識別する（３１４）。
[0266]ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、次いで、たとえば、図１０に関して上記で説明した技法を使用して、ＴＭＶに基づいて現在のビューおよび参照ビュー中の時間参照ビデオブロック（それぞれ、ＣｕｒｒＴＲｅｆおよびＢａｓｅＴＲｅｆ）を識別し得る（３１６）。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、次いで、これらの時間参照ビデオブロックの間の差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのためのビュー間残差予測子ブロックを決定し得る（３１８）。ビデオデコーダ、たとえば、ＡＲＰユニット２８３および／または加算器２９０は、現在のビデオブロック（Ｃｕｒｒ）を再構成するために、ビュー間参照ビデオブロック（Ｂａｓｅ）にビュー間残差予測子ブロックと復号された残差ブロックとを適用し得る（３２０）。
[0267]図１８は、本開示で説明する技法による、時間的に予測されたビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図である。図１８の例示的な方法は、ＡＲＰユニット２８３を含み得る、ビデオデコーダ３０などのビデオデコーダによって実行され得る。
[0268]図１８の例示的な方法によれば、ビデオデコーダ３０は、現在のビデオブロックを再構成するための現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）と残差ブロックとを識別するために符号化ビデオビットストリームを復号する（３３０）。ビデオデコーダ３０、たとえば、動き補償ユニット２８２は、復号ビデオビットストリーム（decoded video bitstream）から決定された現在のビデオブロックに関連するＴＭＶを使用して現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）を識別し得る。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）のＤＭＶを識別し得、これは、次に、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）を識別し得る（３３２）。
[0269]ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３はまた、現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）のＤＭＶに基づいて参照ビュー中のビュー間参照ビデオブロック（Ｂａｓｅ）を識別し得る（３３４）。ビデオデコーダ３０、たとえば、ＡＲＰユニット２８３は、次いで、参照ビュー中のこれらの時間参照ビデオブロックの間の差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのための時間残差予測子ブロックを決定し得る（３３６）。ビデオデコーダ、たとえば、ＡＲＰユニット２８３および／または加算器２９０は、現在のビデオブロック（Ｃｕｒｒ）を再構成するために、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）に時間残差予測子ブロックと復号された残差ブロックとを適用し得る（３３８）。
[0270]図１９は、本開示で説明する技法による、ビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図である。図１９の例示的な方法は、ＡＲＰユニット２４５を含み得る、ビデオエンコーダ２０などのビデオエンコーダによって実行され得る。
[0271]図１９の例示的な方法によれば、ビデオデコーダ２０、たとえば、ＡＲＰユニット２４５は、現在のビデオブロックの現在のビューから参照ビューまでのＤＭＶを識別する（３４０）。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、次いで、ＤＭＶに基づいて現在のビデオブロックを符号化するための残差予測子ブロックを決定し得る（３４２）。たとえば、現在のビデオブロックがビュー間予測される場合、ビデオエンコーダ２０は、たとえば、図１０に関して説明したように、ビュー間ＡＲＰ技法を使用して現在のビューブロックのＤＭＶに基づいてビュー間残差予測子ブロックを決定し得る。現在のビデオブロックが時間的に予測される場合、ビデオエンコーダ２０は、たとえば、図１１に関して説明したように、時間的ＡＲＰ技法を使用して現在のビュー中の時間参照ビデオブロックのＤＭＶに基づいて時間残差予測子ブロックを決定し得る。いずれの場合も、ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５と加算器２５０とは、現在のビデオブロックと、現在のビデオブロックのための参照ビデオブロックと残差予測子ブロックとの和であり得る、現在のビデオブロックのための予測子ブロックと、の間の差に基づいて現在のビデオブロックのための残差ブロックを決定し得る（３４４）。ビデオエンコーダ２０は、この残差ブロックと参照ビデオブロックとを識別するためにビデオビットストリームを符号化し得る（３４６）。
[0272]図２０は、本開示で説明する技法による、ビュー間予測ビデオブロックを符号化するための例示的なビュー間ＡＲＰ方法を示す流れ図である。図２０の例示的な方法は、ＡＲＰユニット２４５を含み得る、ビデオエンコーダ２０などのビデオエンコーダによって実行され得る。
[0273]図２０の例示的な方法によれば、ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、現在のビデオブロック（Ｃｕｒｒ）からビュー間参照ビデオブロック（Ｂａｓｅ）までのＤＭＶを識別する（３５０）。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５はまた、ビュー間参照ビデオブロック（Ｂａｓｅ）のＴＭＶと、関連する参照ピクチャとを識別する（３５２）。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、次いで、たとえば、図１０に関して上記で説明した技法を使用して、ＴＭＶに基づいて現在のビューおよび参照ビュー中の時間参照ビデオブロック（それぞれ、ＣｕｒｒＴＲｅｆおよびＢａｓｅＴＲｅｆ）を識別し得る（３５４）。
[0274]ビデオエンコーダ３０、たとえば、ＡＲＰユニット２４５は、次いで、これらの時間参照ビデオブロックの間の差（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのためのビュー間残差予測子ブロックを決定し得る（３１８）。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５と加算器２５０とは、現在のビデオブロックと、現在のビデオブロックのためのビュー間参照ビデオブロック（Ｂａｓｅ）と残差予測子ブロックとの和であり得る、現在のビデオブロックのための予測子ブロックと、の間の差に基づいて現在のビデオブロックのための残差ブロックを決定し得る（３５８）。ビデオエンコーダ２０は、この残差ブロックとビュー間参照ビデオブロックとを識別するためにビデオビットストリームを符号化し得る（３６０）。
[0275]図２１は、本開示で説明する技法による、時間的に予測されたビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図である。図２１の例示的な方法は、ＡＲＰユニット２４５を含み得る、ビデオエンコーダ２０などのビデオエンコーダによって実行され得る。
[0276]図２１の例示的な方法によれば、ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、たとえば、現在のビデオブロックに関連するＴＭＶを使用して、現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）を識別する。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、次いで、時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）のＤＭＶを識別し得、これは、次に、参照ビュー中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）を識別し得る（３７０）。現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）のＤＭＶに基づいて、ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５はまた、参照ビュー中のビュー間参照ビデオブロック（Ｂａｓｅ）を識別し得る（３７２）。
[0277]ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５は、次いで、参照ビュー中のこれらの時間参照ビデオブロックの間の差（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）に基づいて現在のビデオブロックのための時間残差予測子ブロックを決定し得る（３７４）。ビデオエンコーダ２０、たとえば、ＡＲＰユニット２４５と加算器２５０とは、現在のビデオブロックと、現在のビデオブロックのための時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）と残差予測子ブロックとの和であり得る、現在のビデオブロックのための予測子ブロックと、の間の差に基づいて現在のビデオブロックのための残差ブロックを決定し得る（３７６）。ビデオエンコーダ２０は、この残差ブロックとビュー間参照ビデオブロックとを識別するためにビデオビットストリームを符号化し得る（３７８）。
[0278]図２２は、本開示で説明する技法による、時間的ＡＲＰのためのＤＭＶを識別するための例示的な方法を示す流れ図である。図２２の例示的な方法は、ＡＲＰユニット２４５、２８３を含み得る、ビデオエンコーダ２０および／またはビデオデコーダ３０などのビデオコーダによって実行され得る。
[0279]図２２の例示的な方法によれば、ビデオコーダは、スケーリングされたＴＭＶに基づいて現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）を識別する（３８０）。ビデオコーダは、次いで、識別された時間参照ビデオブロックがＤＭＶに関連付けられていることについて決定する（３８２）。時間参照ビデオブロックがＤＭＶに関連付けられている場合、ビデオコーダは、ＤＭＶに基づいてビュー間参照ビデオブロックを識別する（３８８）。時間参照ビデオブロックがＤＭＶに関連付けられていない場合、ビデオコーダは、スケーリングなしのＴＭＶに基づいて現在のビュー中の別の時間参照ビデオブロックを識別し（３８４）、スケーリングなしのＴＭＶに基づいて識別された現在のビュー中の時間参照ビデオブロックのＤＭＶに基づいてビュー間参照ビデオブロックを識別する（３８８）。
[0280]図２３は、本開示で説明する技法による、ＡＲＰのＤＭＶまたはＴＭＶを識別するための例示的な方法を示す流れ図である。図２３の例示的な方法は、ＡＲＰユニット２４５、２８３を含み得る、ビデオエンコーダ２０および／またはビデオデコーダ３０などのビデオコーダによって実行され得る。
[0281]図２３の例示的な方法によれば、ビデオコーダは、最初に、ＡＲＰのために必要なＤＭＶまたはＴＭＶについてＲｅｆＰｉｃＬｉｓｔ０を検査する（３９０）。ＲｅｆＰｉｃＬｉｓｔ０がＤＭＶまたはＴＭＶを含む場合、ビデオコーダは、ＤＭＶまたはＴＭＶに基づいて参照ビデオブロックを識別する（３９６）。ＲｅｆＰｉｃＬｉｓｔ０がＤＭＶまたはＴＭＶを含まない場合、ビデオコーダは、ＤＭＶまたはＴＭＶについてＲｅｆＰｉｃＬｉｓｔ１を検査し（３９４）、ＲｅｆＰｉｃＬｉｓｔ１からのＤＭＶまたはＴＭＶに基づいて参照ビデオブロックを識別し得る（３９６）。いずれの参照ピクチャリストもＤＭＶまたはＴＭＶを含まない場合、ビデオコーダは、例として、ゼロ動きベクトルを使用するか、またはＡＲＰを実行しないことがある。ビデオコーダがＡＲＰのためにゼロ動きベクトルを使用するいくつかの例では、ビデオコーダは、ＤＭＶを使用したビュー間予測のために呼び出された参照ピクチャリスト（方向（direction））にゼロ動きベクトルを適用し得る。
[0282]いくつかの例では、本開示で説明する技法の１つまたは複数の態様は、たとえばメディアアウェアネットワーク要素（ＭＡＮＥ）、ストリーム適応プロセッサ、スプライシングプロセッサ、または編集プロセッサなど、中間ネットワークデバイスによって実行され得る。たとえば、そのような中間デバイスは、本開示で説明するように、様々なシグナリングのうちの任意のものを生成または受信するように構成され得る。
[0283]１つまたは複数の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0284]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用される場合、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（ｄｉｓｋ）は通常、データを磁気的に再生し、ディスク（ｄｉｓｃ）はデータをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0285]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積論理回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または、本明細書で説明する技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
[0286]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられ得るか、または相互動作ハードウェアユニットの集合によって与えられ得る。様々な例について説明した。これらの例および他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号するためのビュー間高度残差予測の方法であって、
現在のビデオブロックのための視差動きベクトル（ＤＭＶ）と残差ブロックとを識別するために前記ビデオデータを符号化する符号化ビデオビットストリームを復号することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用される、
前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
前記現在のビデオブロックを再構成するために参照ビデオブロックに、前記残差予測子ブロックと、前記符号化ビデオビットストリームから識別された前記残差ブロックとを適用することと
を備える方法。
［Ｃ２］
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に基づいて前記現在のビデオブロックのための前記残差予測子ブロックを決定することが、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に重み係数を適用することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記現在のビデオブロックの高度残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングすることと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと
のうちの少なくとも１つと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ４］
参照ピクチャリストを選択することと、
前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
ここにおいて、前記参照ピクチャリストを選択することが、
前記ＴＭＶに関連する前記参照ピクチャリストを選択すること、または
前記ＤＭＶに関連する前記参照ピクチャリストを選択すること
のうちの１つを備える、
をさらに備える、Ｃ３に記載の方法。
［Ｃ５］
前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別することを備える、Ｃ１に記載の方法。
［Ｃ６］
前記ビュー間参照ビデオブロックの前記中心位置を含んでいる前記予測ユニットがＴＭＶを有しないと決定すること、ここにおいて、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの前記ＴＭＶとしてゼロ動きベクトルを識別することを備える、
をさらに備える、Ｃ５に記載の方法。
［Ｃ７］
前記ビュー間参照ビデオブロックの前記関連する参照ピクチャを識別することが、高度残差予測において使用されるターゲット参照ピクチャと同じアクセスユニット中にある前記参照ビュー中の参照ピクチャを識別することを備える、Ｃ６に記載の方法。
［Ｃ８］
前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、
動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択することと、
動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択することと
を備える、Ｃ１に記載の方法。
［Ｃ９］
前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、Ｃ８に記載の方法。
［Ｃ１０］
動き情報の前記第１のセットと前記第２のセットとを考慮する順序が、動き情報の前記第１のセットと前記第２のセットとのうちのどちらが前記ＤＭＶを含むかとは無関係である、Ｃ８に記載の方法。
［Ｃ１１］
前記現在のビデオブロックの高度残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
ビデオデータを符号化するためのビュー間高度残差予測の方法であって、
現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用される、
前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために前記ビデオデータを符号化する符号化ビデオビットストリームを符号化することと、ここにおいて、前記符号化ビデオビットストリームによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
を備える方法。
［Ｃ１３］
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に基づいて前記現在のビデオブロックのための前記残差予測子ブロックを決定することが、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に重み係数を適用することを備える、Ｃ１２に記載の方法。
［Ｃ１４］
前記現在のビデオブロックの高度残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングすることと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと
のうちの少なくとも１つと、
をさらに備える、Ｃ１２に記載の方法。
［Ｃ１５］
参照ピクチャリストを選択することと、
前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
ここにおいて、前記参照ピクチャリストを選択することが、
前記ＴＭＶに関連する前記参照ピクチャリストを選択すること、または
前記ＤＭＶに関連する前記参照ピクチャリストを選択すること
のうちの１つを備える、
をさらに備える、Ｃ１４に記載の方法。
［Ｃ１６］
前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別することを備える、Ｃ１２に記載の方法。
［Ｃ１７］
前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、
動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択することと、
動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択することと
を備える、Ｃ１２に記載の方法。
［Ｃ１８］
前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、Ｃ１７に記載の方法。
［Ｃ１９］
動き情報の前記第１のセットと前記第２のセットとを考慮する順序が、動き情報の前記第１のセットと前記第２のセットとのうちのどちらが前記ＤＭＶを含むかとは無関係である、Ｃ１７に記載の方法。
［Ｃ２０］
前記現在のビデオブロックの高度残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
をさらに備える、Ｃ１２に記載の方法。
［Ｃ２１］
ビデオデータをコーディングするためのビュー間高度残差予測を実行するように構成されたビデオコーダを備える装置であって、
前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用される、
前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために前記符号化ビデオビットストリームをコーディングすることと、ここにおいて、前記符号化ビデオビットストリームをコーディングすることによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
を行うように構成された１つまたは複数のプロセッサと
を備える装置。
［Ｃ２２］
前記１つまたは複数のプロセッサが、前記現在のビデオブロックの高度残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングすることと、および、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと、
前記ビュー間参照ビデオブロックのＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備えることと
のうちの少なくとも１つと
を行うようにさらに構成された、Ｃ２１に記載の装置。
［Ｃ２３］
前記１つまたは複数のプロセッサが、
参照ピクチャリストを選択することと、
前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
ここにおいて、前記参照ピクチャリストを選択するために、前記１つまたは複数のプロセッサが、
前記ＴＭＶに関連する前記参照ピクチャリストを選択し、または
前記ＤＭＶに関連する前記参照ピクチャリストを選択する
を行うようにさらに構成された、Ｃ２２に記載の装置。
［Ｃ２４］
前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別する、Ｃ２１に記載の装置。
［Ｃ２５］
前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、ここにおいて、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、
動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択し、
動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択する
Ｃ２１に記載の装置。
［Ｃ２６］
前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、Ｃ２５に記載の装置。
［Ｃ２７］
前記１つまたは複数のプロセッサが、
前記現在のビデオブロックの高度残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
を行うようにさらに構成された、Ｃ２１に記載の装置。
［Ｃ２８］
前記ビデオコーダがビデオデコーダを備え、前記１つまたは複数のプロセッサが、
前記現在のビデオブロックのための前記ＤＭＶと前記残差ブロックとを識別するために前記符号化ビデオビットストリームを復号することと、
前記現在のビデオブロックを再構成するために前記ビュー間参照ビデオブロックに、前記残差予測子ブロックと、前記符号化ビデオビットストリームから識別された前記残差ブロックとを適用することと
を行うように構成された、Ｃ２１に記載の装置。
［Ｃ２９］
前記ビデオコーダが、ビデオエンコーダを備え、前記１つまたは複数のプロセッサが、ビデオデコーダに、前記現在のビデオブロックのための前記ＤＭＶと前記残差ブロックとを示すために前記符号化ビデオビットストリームを符号化するように構成された、Ｃ２１に記載の装置。
［Ｃ３０］
実行されたとき、ビデオコーダの１つまたは複数のプロセッサに、
現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ピクチャに基づく前記現在のビデオブロックのビュー間予測のために使用される、
ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームをコーディングすることと、ここにおいて、符号化ビデオビットストリームをコーディングすることによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
を行わせる命令を記憶したコンピュータ可読記憶媒体。

Claims (36)

  1. 高効率ビデオコーディング（ＨＥＶＣ）規格にしたがって符号化されたビデオデータを復号するためのビュー間残差予測の方法であって、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）と残差ブロックとを識別するために前記ビデオデータを符号化する符号化ビデオビットストリームを復号することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    前記ＤＭＶを使用して識別された前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックを再構成するために参照ビデオブロックに、前記残差予測子ブロックと、前記符号化ビデオビットストリームから識別された前記残差ブロックとを適用することと
    を備える方法。
  2. 前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に基づいて前記現在のビデオブロックのための前記残差予測子ブロックを決定することが、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に重み係数を適用することを備える、請求項１に記載の方法。
  3. 前記現在のビデオブロックの残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングすることと、ここにおいて、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える、および
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える
    のうちの少なくとも１つである、
    をさらに備える、請求項１に記載の方法。
  4. 参照ピクチャリストを選択することと、
    前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
    ここにおいて、前記参照ピクチャリストを選択することが、
    前記ＴＭＶに関連する前記参照ピクチャリストを選択すること、または
    前記ＤＭＶに関連する前記参照ピクチャリストを選択すること
    のうちの１つを備える、
    をさらに備える、請求項３に記載の方法。
  5. 前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別することを備える、請求項１に記載の方法。
  6. 前記ビュー間参照ビデオブロックの前記中心位置を含んでいる前記予測ユニットがＴＭＶを有しないと決定すること、ここにおいて、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの前記ＴＭＶとしてゼロ動きベクトルを識別することを備える、
    をさらに備える、請求項５に記載の方法。
  7. 前記ビュー間参照ビデオブロックの前記関連する参照ピクチャを識別することが、残差予測において使用されるターゲット参照ピクチャと同じアクセスユニット中にある前記参照ビュー中の参照ピクチャを識別することを備える、請求項６に記載の方法。
  8. 前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、
    動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択することと、
    動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択することと
    を備える、請求項１に記載の方法。
  9. 前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、請求項８に記載の方法。
  10. 動き情報の前記第１のセットと前記第２のセットとを考慮する順序が、動き情報の前記第１のセットと前記第２のセットとのうちのどちらが前記ＤＭＶを含むかとは無関係である、請求項８に記載の方法。
  11. 前記現在のビデオブロックの残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
    前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
    をさらに備える、請求項１に記載の方法。
  12. 高効率ビデオコーディング（ＨＥＶＣ）規格にしたがってビデオデータを符号化するためのビュー間残差予測の方法であって、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    前記ＤＭＶを使用して識別された前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために前記ビデオデータを符号化する符号化ビデオビットストリームを符号化することと、ここにおいて、前記符号化ビデオビットストリームによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
    を備える方法。
  13. 前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に基づいて前記現在のビデオブロックのための前記残差予測子ブロックを決定することが、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の前記差に重み係数を適用することを備える、請求項１２に記載の方法。
  14. 前記現在のビデオブロックの残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングすることと、ここにおいて、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える、および
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える
    のうちの少なくとも１つである、
    をさらに備える、請求項１２に記載の方法。
  15. 参照ピクチャリストを選択することと、
    前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
    ここにおいて、前記参照ピクチャリストを選択することが、
    前記ＴＭＶに関連する前記参照ピクチャリストを選択すること、または
    前記ＤＭＶに関連する前記参照ピクチャリストを選択すること
    のうちの１つを備える、
    をさらに備える、請求項１４に記載の方法。
  16. 前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別することを備える、請求項１２に記載の方法。
  17. 前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別することが、
    動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択することと、
    動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択することと
    を備える、請求項１２に記載の方法。
  18. 前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、請求項１７に記載の方法。
  19. 動き情報の前記第１のセットと前記第２のセットとを考慮する順序が、動き情報の前記第１のセットと前記第２のセットとのうちのどちらが前記ＤＭＶを含むかとは無関係である、請求項１７に記載の方法。
  20. 前記現在のビデオブロックの残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
    前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
    をさらに備える、請求項１２に記載の方法。
  21. 高効率ビデオコーディング（ＨＥＶＣ）規格にしたがってビデオデータを符号化するためのビュー間残差予測を実行するように構成されたビデオエンコーダを備える装置であって、
    前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    前記ＤＭＶを使用して識別された前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために前記ビデオビットストリームを符号化することと、ここにおいて、前記ビデオビットストリームを符号化することによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
    を行うように構成された１つまたは複数のプロセッサと
    を備える装置。
  22. 前記１つまたは複数のプロセッサが、前記現在のビデオブロックの残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングするようにさらに構成され、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える、および
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える
    のうちの少なくとも１つである、請求項２１に記載の装置。
  23. 前記１つまたは複数のプロセッサが、
    参照ピクチャリストを選択することと、
    前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
    ここにおいて、前記参照ピクチャリストを選択するために、前記１つまたは複数のプロセッサが、
    前記ＴＭＶに関連する前記参照ピクチャリストを選択し、または
    前記ＤＭＶに関連する前記参照ピクチャリストを選択する
    を行うようにさらに構成された、請求項２２に記載の装置。
  24. 前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別する、請求項２１に記載の装置。
  25. 前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、ここにおいて、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、
    動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択し、
    動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択する
    請求項２１に記載の装置。
  26. 前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、請求項２５に記載の装置。
  27. 前記１つまたは複数のプロセッサが、
    前記現在のビデオブロックの残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
    前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
    を行うようにさらに構成された、請求項２１に記載の装置。
  28. 実行されたとき、高効率ビデオコーディング（ＨＥＶＣ）規格にしたがってビデオデータを符号化するためのビュー間残差予測を実行するように構成されたビデオエンコーダの１つまたは複数のプロセッサに、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ピクチャに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ＤＭＶを使用して識別された前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するためにビデオビットストリームを符号化することと、ここにおいて、前記ビデオビットストリームを符号化することによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
    を行わせる命令を記憶したコンピュータ可読記憶媒体。
  29. 高効率ビデオコーディング（ＨＥＶＣ）規格にしたがって符号化されたビデオデータを復号するためのビュー間残差予測を実行するように構成されたビデオデコーダを備える装置であって、
    前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ビデオブロックに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    前記ＤＭＶを使用して識別された前記ビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために前記符号化ビデオビットストリームを復号することと、ここにおいて、前記符号化ビデオビットストリームを復号することによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
    を行うように構成された１つまたは複数のプロセッサと
    を備える装置。
  30. 前記１つまたは複数のプロセッサが、前記現在のビデオブロックの残差予測のためにターゲットアクセスユニット中のターゲット参照ピクチャに、前記ビュー間参照ビデオブロックの前記ＴＭＶをスケーリングするようにさらに構成され、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える、および
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の前記時間参照ビデオブロックを識別することが、前記スケーリングされたＴＭＶに基づいて前記参照ビュー中の前記時間参照ビデオブロックを識別することを備える
    のうちの少なくとも１つである、請求項２９に記載の装置。
  31. 前記１つまたは複数のプロセッサが、
    参照ピクチャリストを選択することと、
    前記選択された参照ピクチャリストから前記ターゲット参照ピクチャを選択することと、
    ここにおいて、前記参照ピクチャリストを選択するために、前記１つまたは複数のプロセッサが、
    前記ＴＭＶに関連する前記参照ピクチャリストを選択し、または
    前記ＤＭＶに関連する前記参照ピクチャリストを選択する
    を行うようにさらに構成された、請求項３０に記載の装置。
  32. 前記ビュー間参照ビデオブロックが複数の予測ユニットを備え、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、前記ビュー間参照ビデオブロックの中心位置を含んでいる前記複数の予測ユニットのうちの１つに関連するＴＭＶを識別する、請求項２９に記載の装置。
  33. 前記ビュー間参照ビデオブロックが、第１の参照ピクチャリストに対応する動き情報の第１のセットと、第２の参照ピクチャリストに対応する動き情報の第２のセットとを含んでおり、ここにおいて、前記ビュー間参照ビデオブロックの前記ＴＭＶを識別するために、前記１つまたは複数のプロセッサが、
    動き情報の前記第１のセットがＴＭＶを含む場合、動き情報の前記第１のセットから前記ＴＭＶを選択し、
    動き情報の前記第１のセットがＴＭＶを含まない場合、動き情報の前記第２のセットから前記ＴＭＶを選択する
    請求項２９に記載の装置。
  34. 前記第１の参照ピクチャリストがＲｅｆＰｉｃＬｉｓｔ０を備える、請求項３３に記載の装置。
  35. 前記１つまたは複数のプロセッサが、
    前記現在のビデオブロックの残差予測のためにターゲット参照ビューに前記識別されたＤＭＶをスケーリングするためのビュー順序差スケーリングを適用することと、
    前記スケーリングされたＤＭＶに基づいて前記ビュー間参照ビデオブロックを識別することと
    を行うようにさらに構成された、請求項２９に記載の装置。
  36. 実行されたとき、高効率ビデオコーディング（ＨＥＶＣ）規格にしたがって符号化されたビデオデータを復号するためのビュー間残差予測を実行するように構成されたビデオデコーダの１つまたは複数のプロセッサに、
    現在のビデオブロックのための視差動きベクトル（ＤＭＶ）を識別することと、ここにおいて、前記現在のビデオブロックが現在のビュー中にあり、ここにおいて、前記ＤＭＶが、参照ビュー中の、および、前記現在のビデオブロックと同じアクセスユニット中のビュー間参照ピクチャに基づく前記現在のビデオブロックのビュー間予測のために使用され、前記現在のビデオブロックのための前記ＤＭＶは、前記現在のビデオブロックの前記現在のビューから、前記現在のビデオブロックと同じアクセスユニット中の、しかし前記現在のビューと異なるビュー中の、参照ピクチャを指し、前記ＤＭＶは、前記参照ビュー中の深度マップの深度値に基づいて改善される、
    前記ＤＭＶを使用して識別されたビュー間参照ビデオブロックの時間動きベクトル（ＴＭＶ）と、関連する参照ピクチャとを識別することと、
    前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記参照ビュー中の前記関連する参照ピクチャ中の時間参照ビデオブロックを識別することと、
    前記参照ビュー中の前記ビュー間参照ビデオブロックの前記ＴＭＶに基づいて前記現在のビュー中の時間参照ビデオブロックを識別することと、ここにおいて、前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとが、同じアクセスユニット中にある、
    前記現在のビュー中の前記時間参照ビデオブロックと前記参照ビュー中の前記時間参照ビデオブロックとの間の差に基づいて前記現在のビデオブロックのための残差予測子ブロックを決定することと、
    前記現在のビデオブロックのための前記ＤＭＶと残差ブロックとを識別するために符号化ビデオビットストリームを復号することと、ここにおいて、前記符号化ビデオビットストリームを復号することによって識別された前記残差ブロックが、前記現在のビデオブロックのための前記ビュー間参照ビデオブロックと前記残差予測子ブロックとの間の差を備える、
    を行わせる命令を記憶したコンピュータ可読記憶媒体。
JP2016521842A 2013-06-21 2014-06-20 テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ） Active JP6337104B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361838208P 2013-06-21 2013-06-21
US61/838,208 2013-06-21
US201361846036P 2013-07-14 2013-07-14
US61/846,036 2013-07-14
US14/309,711 2014-06-19
US14/309,711 US9288507B2 (en) 2013-06-21 2014-06-19 More accurate advanced residual prediction (ARP) for texture coding
PCT/US2014/043403 WO2014205343A1 (en) 2013-06-21 2014-06-20 More accurate advanced residual prediction (arp) for texture coding

Publications (2)

Publication Number Publication Date
JP2016526829A JP2016526829A (ja) 2016-09-05
JP6337104B2 true JP6337104B2 (ja) 2018-06-06

Family

ID=51210783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016521842A Active JP6337104B2 (ja) 2013-06-21 2014-06-20 テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）

Country Status (9)

Country Link
US (1) US9288507B2 (ja)
EP (1) EP3011746B1 (ja)
JP (1) JP6337104B2 (ja)
KR (1) KR101722890B1 (ja)
CN (1) CN105379282B (ja)
CA (1) CA2912451C (ja)
ES (1) ES2638416T3 (ja)
HK (1) HK1216809A1 (ja)
WO (1) WO2014205343A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
KR102378459B1 (ko) * 2014-06-30 2022-03-24 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
CN106471807B (zh) * 2014-10-09 2019-08-23 寰发股份有限公司 包括视角合成预测的三维或多视角视频的编码方法
JP2018533871A (ja) * 2015-11-11 2018-11-15 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号方法及びその装置、並びにビデオ符号化方法及びその装置
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR102569476B1 (ko) * 2016-10-11 2023-08-24 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN106878753B (zh) * 2017-02-16 2020-04-28 南京理工大学 一种使用纹理平滑信息的3d视频残差编码模式选择方法
EP3451665A1 (en) 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
US11558633B2 (en) * 2017-11-01 2023-01-17 Vid Scale, Inc. Sub-block motion derivation and decoder-side motion vector refinement for merge mode
US20190141320A1 (en) * 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020084553A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on multiple information in sub-block motion vector prediction
KR102627821B1 (ko) 2019-06-04 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이웃 블록 정보를 사용한 모션 후보 리스트 구성
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
WO2021054380A1 (ja) * 2019-09-20 2021-03-25 日本放送協会 符号化装置、復号装置、及びプログラム
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021141372A1 (ko) * 2020-01-06 2021-07-15 현대자동차주식회사 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화
CN112243131B (zh) * 2020-10-31 2022-11-11 西安邮电大学 基于可重构阵列处理器的先进残差预测方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369406B2 (en) * 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
CA2702525C (en) * 2007-10-25 2014-07-15 Nippon Telegraph And Telephone Corporation Video scalable encoding method and decoding method and apparatuses therefor
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
CN102860008B (zh) * 2010-01-06 2016-05-11 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
JP5664762B2 (ja) * 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
WO2012157443A1 (ja) * 2011-05-16 2012-11-22 ソニー株式会社 画像処理装置、及び、画像処理方法
US10158850B2 (en) * 2011-08-25 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Depth map encoding and decoding
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
EP3657796A1 (en) * 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
JP5779483B2 (ja) * 2011-11-15 2015-09-16 株式会社ソシオネクスト 画像処理装置、及び画像処理方法
US20130271567A1 (en) * 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
WO2013162273A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
CN104365102B (zh) * 2012-05-10 2018-01-02 Lg 电子株式会社 处理视频信号的方法和装置
JP6231560B2 (ja) * 2012-06-19 2017-11-15 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法およびビデオ信号処理装置
BR112015000240A2 (pt) * 2012-07-10 2017-08-08 Lg Electronics Inc método e dispositivo para o processamento de sinal de vídeo
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
EP2966868B1 (en) * 2012-10-09 2018-07-18 HFI Innovation Inc. Method for motion information prediction and inheritance in video coding
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding

Also Published As

Publication number Publication date
WO2014205343A1 (en) 2014-12-24
CN105379282A (zh) 2016-03-02
US9288507B2 (en) 2016-03-15
EP3011746B1 (en) 2017-06-07
KR101722890B1 (ko) 2017-04-05
US20140376633A1 (en) 2014-12-25
JP2016526829A (ja) 2016-09-05
ES2638416T3 (es) 2017-10-20
CA2912451C (en) 2017-07-04
KR20160023764A (ko) 2016-03-03
HK1216809A1 (zh) 2016-12-02
CA2912451A1 (en) 2014-12-24
EP3011746A1 (en) 2016-04-27
CN105379282B (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
JP6522629B2 (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
JP6254254B2 (ja) ３次元（３ｄ）ビデオコーディング用の進化型マージモード
KR102112900B1 (ko) 심도 지향 인터-뷰 모션 벡터 예측
JP6419808B2 (ja) ビデオコーディングのための照明補償を処理すること
JP6185143B2 (ja) スキップおよびダイレクトモード用の３ｄビデオコーディングにおける視差ベクトル導出
KR101658694B1 (ko) 비디오 코딩에서의 모션 벡터 예측
KR102264104B1 (ko) 백워드 뷰 합성 예측
JP2019068448A (ja) ３ｄビデオコーディングにおける視差ベクトル導出および動きベクトル予測の簡略化
JP6227678B2 (ja) ３ｄビデオコーディングにおける導出視差ベクトル
JP6855242B2 (ja) ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測
US9438926B2 (en) Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video
JP2016530848A (ja) 非対称動き分割を使用するビデオコーディング技法
US9426465B2 (en) Sub-PU level advanced residual prediction
CN109547800B (zh) 用于3d-hevc的简化高级残余预测
JP2018174558A (ja) ３ｄ−ｈｅｖｃのための簡略化された高度残差予測

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6337104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250