JP6522629B2 - ３ｄビデオコード化のためのブロックベースの高度残差予測 - Google Patents

３ｄビデオコード化のためのブロックベースの高度残差予測 Download PDF

Info

Publication number
JP6522629B2
JP6522629B2 JP2016545858A JP2016545858A JP6522629B2 JP 6522629 B2 JP6522629 B2 JP 6522629B2 JP 2016545858 A JP2016545858 A JP 2016545858A JP 2016545858 A JP2016545858 A JP 2016545858A JP 6522629 B2 JP6522629 B2 JP 6522629B2
Authority
JP
Japan
Prior art keywords
block
prediction
view
inter
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016545858A
Other languages
English (en)
Other versions
JP2017510127A5 (ja
JP2017510127A (ja
Inventor
ジャン、リ
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017510127A publication Critical patent/JP2017510127A/ja
Publication of JP2017510127A5 publication Critical patent/JP2017510127A5/ja
Application granted granted Critical
Publication of JP6522629B2 publication Critical patent/JP6522629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１４年１月１１日に出願された米国仮出願第６１／９２６，２９０号の利益を主張する。
[0002]本開示は、ビデオコード化に関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタル直接ブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話機又は衛星無線電話機、所謂「スマートフォン」、ビデオ会議機器、ビデオストリーミング機器、及び類似物を含む広範囲の機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、高度動画像符号化（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）標準規格及びそのような標準規格の拡張によって定められた規格に記載されたものなどのビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
[0004]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含む。ブロックベースのビデオコード化では、ビデオスライス（例えば、ビデオフレーム又はビデオフレームの一部分）は、ツリーブロック、コード化単位（ＣＵ）、及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分化され得る。ピクチャのイントラコード化された（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライスにおけるビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間的予測又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測又は時間的予測は、コード化されるべきブロックのための予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コード化ブロックと予測ブロックとの間の差分を示している。イントラコード化されるブロックは、イントラコード化モード及び残差データに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコード化が適用され得る。
[0006]概して、本開示は、コード化ビデオデータが２つ以上のビューを含むマルチビュービデオコード化に関する。特に、本開示は、高度残差予測（ＡＲＰ：advanced residual prediction）に関する様々な技法について説明する。本開示の技法は、（即ち、潜在的な補間演算を用いて予測ブロックを生成するために割り当てられた動きベクトルを使用して）ＡＲＰ又は任意の下にある動き補償プロセスを実行するために、ビデオコーダ（例えば、ビデオエンコーダ及び／又はビデオデコーダ）が動き情報にアクセスする回数を低減し得る。このようにして、動き情報についてより少ないメモリアクセスが実行されるので、ビデオコード化（即ち、符号化又は復号）の速度が増加し得る。
[0007]本開示の一例では、ビデオデータを復号するための方法は、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含む、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定することと、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定することと、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別することと、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行することとを備える。
[0008]本開示の別の例では、ビデオデータを復号するように構成された装置は、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを記憶することを行うように構成されたビデオデータメモリと、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含む、ビデオデータメモリと通信しており、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定することと、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定することと、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別することと、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行することとを行うように構成された１つ又は複数のプロセッサとを備える。
[0009]本開示の別の例では、ビデオデータを復号するように構成された装置は、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信するための手段と、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含む、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定するための手段と、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定するための手段と、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別するための手段と、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行するための手段とを備える。
[0010]別の例では、本開示では、実行されたとき、ビデオデータを復号するように構成された機器の１つ又は複数のプロセッサに、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含む、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定することと、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定することと、決定された時間動き情報を使用して、第１の予測方向のための参照ブロックを識別することと、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別することと、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行することとを行わせる命令を記憶したコンピュータ可読記憶媒体について説明する。
[0011]本開示の１つ又は複数の例の詳細は、添付図面及び下記の説明に記載される。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
[0012]本開示で説明する技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0013]例示的なマルチビュー符号化又は復号順序を示すグラフ図。 [0014]マルチビューコード化のための例示的な時間的及びビュー間予測パターンを示す概念図。 [0015]３Ｄビデオのためのテクスチャ及び深度値を示す概念図。 [0016]現在のブロックの動き情報の予測のための現在のブロックに対する隣接ブロックの例示的な関係を示す概念図。 [0017]現在のブロックの動き情報の予測のためのビュー間予測動きベクトル候補とビュー間視差動きベクトル候補との導出の例を示す概念図。 [0018]現在のビデオブロックに対する、隣接ブロックベースの視差ベクトル（ＮＢＤＶ：Neighboring Block Based Disparity Vector）導出を使用して現在のビデオブロックの視差ベクトルが導出され得る例示的な空間的隣接ブロックを示す概念図。 [0019]サブ予測単位（ＰＵ）ビュー間動き予測を示す概念図。 [0020]時間的に予測されたビデオブロックの時間的高度残差予測（ＡＲＰ）のための例示的な予測構造を示す概念図。 [0021]時間的ＡＲＰのための例示的な双方向予測構造を示す概念図。 [0022]本開示で説明する技法による、ビュー間予測ビデオブロックのビュー間ＡＲＰのための例示的な予測構造を示す概念図。 [0023]１つの参照ピクチャリストのためにビュー間予測を使用し、別の参照ピクチャリストのために時間的予測を使用する双方向ＡＲＰのための例示的な予測構造を示す概念図。 [0024]本開示の技法による、１つの参照ピクチャリストのためにビュー間予測を使用し、別の参照ピクチャリストのために時間的予測を使用する双方向ＡＲＰのための例示的な予測構造を示す概念図。 [0025]ブロックベースの時間ＡＲＰを示す概念図。 [0026]ブロックベースのビュー間ＡＲＰを示す概念図。 [0027]サブＰＵマージング候補を用いるブロックベースのＡＲＰを示す概念図。 [0028]本開示で説明する技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0029]本開示で説明する技法を利用し得る例示的なビデオデコーダを示すブロック図。 [0030]本開示で説明する技法による、ビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図。 [0031]本開示で説明する技法による、ビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図。
[0032]概して、本開示は、コード化ビデオデータが２つ以上のビューを含むマルチビュービデオコード化に関する。幾つかの例では、マルチビュービデオコード化は、マルチビュープラス深度ビデオコード化プロセスを含む。幾つかの例では、マルチビューコード化は、３次元（３Ｄ）ビデオのコード化を含み得、３Ｄビデオコード化と呼ばれることがある。本開示の様々な例では、マルチビュー及び／又は３Ｄビデオコード化シーケンスの非ベースビューにおける高度残差予測（ＡＰＲ）のための技法について説明する。本開示の技法は、ＡＲＰ又は任意の下にあるインター予測（例えば、時間及び／又はビュー間インター予測及び双予測）を実行するために、ビデオコーダ（例えば、ビデオエンコーダ及び／又はビデオデコーダ）が、例えば、メモリから動き情報にアクセスする回数を低減し得る。このようにして、動き情報についてより少ないメモリアクセスが実行されるので、ビデオコード化（即ち、符号化又は復号）の速度が増加し得る。
[0033]例えば、本開示は、第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向ビュー間予測とを使用して符号化された、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定することと、第１の予測方向について決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別することと、ここにおいて、参照ブロックが、第２のアクセス単位中にある、を備える、ビデオデータを復号するための方法について説明する。
[0034]図１は、本開示の技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを提供する発信源機器１２を含む。具体的には、発信源機器１２は、コンピュータ可読媒体１６を介して宛先機器１４にビデオデータを提供し得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信に対する機能を備え得る。
[0035]宛先機器１４は、コンピュータ可読媒体１６を介して、復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、符号化ビデオデータを発信源機器１２から宛先機器１４に移動することが可能な、任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体１６は、発信源機器１２が符号化ビデオデータを宛先機器１４にリアルタイムで直接送信するのを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、無線周波（ＲＦ）スペクトル又は１つ以上の物理伝送線路など、任意のワイヤレス通信媒体又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、若しくは発信源機器１２から宛先機器１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。
[0036]幾つかの例では、符号化データは、出力インターフェース２２から記憶装置へ出力され得る。同様に、符号化データは、記憶装置から入力インターフェースによってアクセスされ得る。記憶装置は、ハードドライブ、Ｂｌｕｅ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性のメモリ若しくは符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれをも含み得る。更なる例では、記憶装置は、発信源機器１２によって生成された符号化ビデオを記憶することができるファイルサーバ又は別の中間記憶装置に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、ウェブサーバ（例えば、ウェブサイト用の）、ＦＴＰサーバ、ネットワークアタッチド記憶（ＮＡＳ）装置、又はローカルディスクドライブがある。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0037]本開示の技法は、ワイヤレス応用又はワイヤレス設定に必ずしも制限されない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他の応用例など、様々なマルチメディア応用のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、及び／又はビデオ電話などの応用をサポートするために一方向又は両方向のビデオ送信をサポートするように構成され得る。
[0038]図１の例では、発信源機器１２は、ビデオ発信源１８と、深度推定ユニット１９と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、深度画像ベースのレンダリング（ＤＩＢＲ：depth image based rendering）ユニット３１と、表示装置３２とを含む。他の例では、発信源機器及び宛先機器は、他の構成要素又は構成を含み得る。例えば、発信源機器１２は、外部カメラなどの外部のビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。
[0039]図１の図示のシステム１０は一例にすぎない。本開示の技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。一般に、本開示の技法は、ビデオ符号化機器によって実行されるが、これらの技法は、通常は「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。発信源機器１２及び宛先機器１４は、発信源機器１２が、宛先機器１４に送信するためのコード化されたビデオデータを生成するコード化機器の例にすぎない。幾つかの例では、機器１２、１４は、機器１２、１４の各々がビデオ符号化構成要素と復号構成要素とを含むように、実質的に対称的な方式で動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオ電話のためのビデオ機器１２とビデオ機器１４との間の一方向若しくは双方向のビデオ送信をサポートし得る。
[0040]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、前に撮られたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ付き電話又はビデオ付き電話を形成し得る。しかしながら、上記で述べたように、本開示で説明する技法は、一般にビデオコード化に適用可能であり、ワイヤレス及び／又は有線用途に適用され得る。各場合において、撮られたビデオ、前に撮られたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。次いで、符号化ビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力され得る。
[0041]ビデオ発信源１８は、ビデオエンコーダ２０にビデオデータの１つ又は複数のビューを提供し得る。例えば、ビデオ発信源１８は、各々が、撮影されている特定のシーンに対して一意の水平位置を有する、カメラのアレイに対応し得る。代替的に、ビデオ発信源１８は、例えばコンピュータグラフィックスを使用して異なる水平カメラの視点からビデオデータを生成し得る。深度推定ユニット１９は、テクスチャ画像内の画素に対応する深度画素に関する値を決定するように構成され得る。例えば、深度推定ユニット１９は、音響航法／測距（ＳＯＮＡＲ：Sound Navigation and Ranging）ユニット、光検出／測距（ＬＩＤＡＲ：Light Detection and Ranging）ユニット、又はシーンのビデオデータを記録しながら実質的に同時に深度値を直接決定することが可能な他のユニットを表し得る。
[0042]追加又は代替として、深度推定ユニット１９は、異なる水平カメラ視点から実質的に同時に撮られた２つ以上の画像を比較することによって間接的に深度値を計算するように構成され得る。画像内の実質的に同様の画素値の間の水平視差を計算することによって、深度推定ユニット１９は、シーン内の様々なオブジェクトの深度を概算し得る。深度推定ユニット１９は、幾つかの例では、ビデオ発信源１８と機能的に統合され得る。例えば、ビデオ発信源１８がコンピュータグラフィックス画像を生成するとき、深度推定ユニット１９は、例えば、画素のｚ座標と、テクスチャ画像をレンダリングするために使用されたオブジェクトとを使用して、グラフィカルオブジェクトのための実際の深度マップを与え得る。
[0043]コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体若しくはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク、又は他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、発信源機器１２から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先機器１４に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを包含しているディスクを生成し得る。従って、様々な例では、コンピュータ可読媒体１６は、様々な形態の１つ又は複数のコンピュータ可読媒体を含むと理解され得る。
[0044]宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロック及び他のコード化されたユニット、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置３２は、ユーザに復号ビデオデータを表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。幾つかの例では、表示装置３２は、例えば、視聴者のための３Ｄ視覚影響を生成するために、同時に又は実質的に同時に２つ以上のビューを表示することが可能な機器を備え得る。
[0045]宛先機器１４のＤＩＢＲユニット３１は、ビデオデコーダ３０から受信された復号されたビューのテクスチャ及び深度情報を使用して、合成されたビューをレンダリングし得る。例えば、ＤＩＢＲユニット３１は、対応する深度マップ中の画素の値に応じて、テクスチャ画像の画素データのための水平視差を決定し得る。ＤＩＢＲユニット３１は、次いで、決定された水平視差によって、テクスチャ画像中の画素を左又は右にオフセットすることによって、合成された画像を生成し得る。このようにして、表示装置３２は、任意の組合せにおける、復号ビュー及び／又は合成ビューに対応し得る、１つ以上のビューを表示し得る。本開示の技法によれば、ビデオデコーダ３０は、深度範囲及びカメラパラメータのための元の精度値と更新された精度値とを、ＤＩＢＲユニット３１に与え得、ＤＩＢＲユニット３１は、ビューを適切に合成するために、深度範囲とカメラパラメータとを使用し得る。
[0046]図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は各々、オーディオエンコーダ及びデコーダと統合され得、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含み得る。適用可能なとき、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。
[0047]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、ソフトウェアに対する命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するための１つ又は複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ以上のエンコーダ又はデコーダの中に含まれ得、そのいずれかが、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又は携帯電話のようなワイヤレス通信機器を備え得る。
[0048]本開示の一例では、ビデオデコーダ３０は、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信すること、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含む、を行うように構成され得る。ビデオデコーダ３０は、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定することと、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定することとを行うように更に構成され得る。ビデオデコーダ３０は、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別することと、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行することとを行うように更に構成され得る。このようにして、第１の予測方向についての時間動き情報が第２の予測方向のために再使用される。従って、第２の予測方向に対応する第１の符号化ブロックの動きベクトルによって識別されるブロックの時間動き情報にアクセスする必要がないので、時間動き情報のメモリアクセスを行う必要が少なくなり、従って、より高速なビデオ復号が可能になる。更に、ＡＲＰを実行するときに使用される参照ブロックの総数が６から５に低減され得、これによって、乗算及び加算演算を使用した補間に関する計算複雑さが少なくなる。同様に、双方向インター予測を実行するとき、ビデオエンコーダ２０は、第２の予測方向を符号化するときに第１の予測方向についての時間動き情報を再使用するように構成され得る。
[0049]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などの、ビデオコード化規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、高度動画像符号化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格もしくは業界規格、又はＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張など、そのような規格の拡張に従って動作し得る。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。具体的には、ビデオエンコーダ２０及びビデオデコーダ３０は、ＨＥＶＣ規格（例えば、３Ｄ−ＨＥＶＣ）の３Ｄ拡張を含む、３Ｄ及び／又はマルチビューコード化規格に従って動作し得る。
[0050]「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０」又は「ＷＤ１０」と呼ばれるＨＥＶＣ規格の１つのドラフトは、文書ＪＣＴＶＣ−Ｌ１００３ｖ３４、Ｂｒｏｓｓら、「（ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌに対して）Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコード化共同研究部会（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２３日に記載されており、この文書は、２０１５年１月５日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐからダウンロード可能である。
[0051]ＨＥＶＣ規格の別のドラフトは、本明細書で、Ｂｒｏｓｓら、「Ｅｄｉｔｏｒｓ’ ｐｒｏｐｏｓｅｄ ｃｏｒｒｅｃｔｉｏｎｓ ｔｏ ＨＥＶＣ ｖｅｒｓｉｏｎ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化共同研究部会（ＪＣＴ−ＶＣ）、第１３回会合、仁川、韓国、２０１３年４月に記載された「ＷＤ１０改訂版」と呼ばれ、この文書は２０１５年１月５日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ０４３２−ｖ３．ｚｉｐから入手可能である。また、ＨＥＶＣに対するマルチビュー拡張、即ちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。
[0052]現在、ＶＣＥＧ及びＭＰＥＧの３Ｄビデオコード化共同研究部会（ＪＣＴ−３Ｃ：Joint Collaboration Team on 3D Video Coding）は、ＨＥＶＣに基づく３ＤＶ規格を開発中であり、そのために、規格化作業の一部は、ＨＥＶＣに基づくマルチビュービデオコーデック（ＭＶ−ＨＥＶＣ）と、ＨＥＶＣに基づく３Ｄビデオコード化（３Ｄ−ＨＥＶＣ）のための別の部分との規格化を含む。ＭＶ−ＨＥＶＣでは、ＨＥＶＣにおけるコード化単位／予測単位レベルにおけるモジュールが再設計される必要がなく、ＭＶ−ＨＥＶＣに完全に再使用され得ないように、ＭＶ−ＨＥＶＣにおいてハイレベルシンタックス（ＨＬＳ）の変更しか存在しないことが保証されるべきである。３Ｄ−ＨＥＶＣでは、コード化単位／予測単位レベルのコード化ツールを含む新たなコード化ツールが、テクスチャビューと深度ビューの両方に関して含められ、サポートされ得る。
[0053]参照ソフトウェアの１つのバージョンである３Ｄ−ＨＥＶＣ用の３Ｄ−ＨＴＭは、リンク［３Ｄ−ＨＴＭ ｖｅｒｓｉｏｎ ９．０１ｒ１］：ｈｔｔｐｓ：／／ｈｅｖｃ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿３ＤＶＣＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＴＭ−９．０ｒ１／からダウンロード可能である。参照ソフトウェア記述の１つのバージョンは、Ｌｉ Ｚｈａｎｇ、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｇｎｅｒ、Ｓｅｈｏｏｎ Ｙｅａ、「Ｔｅｓｔ Ｍｏｄｅｌ ６ ｏｆ ３Ｄ−ＨＥＶＣ ａｎｄ ＭＶ−ＨＥＶＣ」、ＪＣＴ３Ｖ−Ｆ１００５、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との３Ｄビデオコード化拡張開発共同研究部会、第６回会合、ジュネーブ、スイス、２０１３年１１月（ＪＣＴ３Ｖ−Ｆ１００５）に記載されている。ＪＣＴ３Ｖ−Ｆ１００５は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１６３６からダウンロードされ得る。
[0054]３Ｄ−ＨＥＶＣの１つのワーキングドラフトは、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｇｎｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｓｅｈｏｏｎ Ｙｅａ、「３Ｄ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ２」、ＪＣＴ３Ｖ−Ｆ１００１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との３Ｄビデオコード化拡張開発共同研究部会、第６回会合、ジュネーブ、スイス、２０１３年１１月（ＪＣＴ３Ｖ−Ｆ１−００１）に記載されている。ＪＣＴ３Ｖ−Ｆ１００１は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１３６１から入手可能である。最新のソフトウェア記述（文書番号：Ｅ１００５）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１３６０から入手可能である。
[0055]３Ｄ−ＨＥＶＣ用の最近のソフトウェア３Ｄ−ＨＴＭは、リンク［３Ｄ−ＨＴＭ ｖｅｒｓｉｏｎ １２．０］：ｈｔｔｐｓ：／／ｈｅｖｃ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿３ＤＶＣＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＴＭ−１２．０／からダウンロード可能である。３Ｄ−ＨＥＶＣの対応するワーキングドラフト（文書番号Ｉ１００１）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２２９９から入手可能である。最新のソフトウェア記述（文書番号：Ｉ１００５）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２３０１からビー入手可能である。
[0056]最初に、ＨＥＶＣの例示的なコード化技法について説明する。ＨＥＶＣ規格化の取組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づいていた。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対して、ビデオコード化機器の幾つかの追加の能力を仮定した。例えば、Ｈ．２６４は９個のイントラ予測符号化モードを提供するが、ＨＭは３３個もの角度イントラ予測符号化モードプラスＤＣモードと平面モードとを与え得る。
[0057]ＨＥＶＣ及び他のビデオコード化仕様では、ビデオシーケンスは、一般に、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、ＳL、ＳCb、及びＳCrと示される３つのサンプルアレイを含み得る。ＳLは、ルーマサンプルの２次元アレイ（即ち、ブロック）である。ＳCbは、Ｃｂクロミナンスサンプルの２次元アレイである。ＳCrは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の例では、ピクチャは、モノクロームであり得、ルーマサンプルのアレイのみを含み得る。
[0058]ピクチャの符号化された表現を生成するために、ビデオエンコーダ２０はコード化ツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵの各々は、ルーマサンプルのコード化ツリーブロックと、クロマサンプルの２つの対応するコード化ツリーブロックと、それらのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。モノクロームピクチャ、又は３つの別個のカラープレーンを有するピクチャでは、ＣＴＵは、単一のコード化ツリーブロックと、そのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。コード化ツリーブロックは、サンプルのＮ×Ｎのブロックであり得る。ＣＴＵは、「ツリーブロック」又は「最大コード化単位」（ＬＣＵ）とも呼ばれることがある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような、他の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズには限定されず、１つ又は複数のコード化単位（ＣＵ）を含み得る。スライスは、ラスタ走査順序で連続的に順序付けられた整数個のＣＴＵを含み得る。
[0059]コード化されたＣＴＵを生成するために、ビデオエンコーダ２０は、コード化ツリーブロックをコード化ブロックに分割するように、ＣＴＵのコード化ツリーブロック、以降名称「コード化ツリー単位」に対して４分木区分化を再帰的に実行することができる。コード化ブロックは、Ｎ×Ｎブロックのサンプルである。コード化単位（ＣＵ）は、ルーマサンプルアレイと、Ｃｂサンプルアレイと、Ｃｒサンプルアレイとを有するピクチャの、ルーマサンプルのコード化ブロックと、クロマサンプルの２つの対応するコード化ブロックと、それらのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。モノクロームピクチャ、又は３つの別個のカラープレーンを有するピクチャでは、ＣＵは、単一のコード化ブロックと、そのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。
[0060]ビデオエンコーダ２０は、ＣＵのコード化ブロックを１つ又は複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（即ち、正方形又は非正方形）ブロックである。ＣＵの予測単位（ＰＵ）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャ、又は３つの別個のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、及びＣｒ予測ブロックに関する予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成し得る。
[0061]ビデオエンコーダ２０は、ＰＵのための予測ブロックを生成するために、イントラ予測又はインター予測を使用し得る。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。各ＰＵのルーマ成分に関するＨＥＶＣの幾つかのバージョンでは、（２〜３４までインデックス付けされた）３３個の角度予測モードと、（１とインデックス付けされた）ＤＣモードと、（０とインデックス付けされた）平面モードとを有するイントラ予測方法が利用される。
[0062]ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つ又は複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。インター予測は、単方向インター予測（即ち、単予測又は単予測的予測（predictive prediction））又は双方向インター予測（即ち、双予測又は双予測的予測）であり得る。単予測又は双予測を実行するために、ビデオエンコーダ２０は、現在のスライスに関して、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを生成し得る。参照ピクチャリストの各々は、１つ又は複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ２０は、参照ピクチャ内の参照位置を決定するために、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１のいずれか又は両方の中の参照ピクチャを探索し得る。更に、単予測を使用するとき、ビデオエンコーダ２０は、参照位置に対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測サンプルブロックを生成し得る。更に、単予測を使用するとき、ビデオエンコーダ２０は、ＰＵの予測ブロックと参照位置との間の空間変位を示す単一の動きベクトルを生成し得る。ＰＵの予測ブロックと参照位置との間の空間変位を示すために、動きベクトルは、ＰＵの予測ブロックと参照位置との間の水平変位を指定する水平成分を含み得、ＰＵの予測ブロックと参照位置との間の垂直変位を指定する垂直成分を含み得る。
[0063] ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャ中の第１の参照位置と、ＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャ中の第２の参照位置とを決定し得る。ビデオエンコーダ２０は、次いで、第１及び第２の参照位置に対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測ブロックを生成し得る。更に、ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＰＵのサンプルブロックと第１の参照位置との間の空間変位を示す第１の動きベクトルと、ＰＵの予測ブロックと第２の参照位置との間の空間変位を示す第２の動きベクトルとを生成し得る。
[0064]一般に、Ｂピクチャの第１の参照ピクチャリスト又は第２の参照ピクチャリスト（例えば、ＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１）に関する参照ピクチャリスト構築は、２つのステップ、即ち、参照ピクチャリスト初期化と、参照ピクチャリスト並べ替え（修正）とを含む。参照ピクチャリスト初期化は、参照ピクチャメモリ（復号ピクチャバッファとしても知られる）中の参照ピクチャを、ＰＯＣ（ピクチャの表示順で整列されるピクチャオーダーカウント）値の順序に基づいてリストに入れる明示的機構である。参照ピクチャリスト並べ替え機構は、参照ピクチャリスト初期化中にリスト中に置かれたピクチャの位置を任意の新しい位置に修正すること、又は参照ピクチャメモリ中の任意の参照ピクチャが初期化リストに属していない場合でもそのピクチャを任意の位置に置くことができる。参照ピクチャリスト並べ替え（修正）後の幾つかのピクチャは、リスト中のはるかに離れた位置に入れられることがある。但し、ピクチャの位置が、リストのアクティブ参照ピクチャの数を超える場合、ピクチャは、最終的な参照ピクチャリストのエントリとは見なされない。アクティブ参照ピクチャの数は、リストごとにスライスヘッダにおいて信号伝達（signal）され得る。
[0065]参照ピクチャリスト（即ち、利用可能な場合、ＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１）が構成された後、参照ピクチャリストに対する参照インデックスは、参照ピクチャリストに含まれる任意の参照ピクチャを識別するために使用され得る。
[0066]ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵに関する、予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成した後、ビデオエンコーダ２０は、ＣＵに関するルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックの１つの中のルーマサンプルとＣＵの元のルーマコード化ブロック中の対応するサンプルとの間の差分を示す。更に、ビデオエンコーダ２０は、ＣＵのためのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つの中のＣｂサンプルと、ＣＵの元のＣｂコード化ブロック中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ２０はまた、ＣＵのためのＣｒ残差ブロックを生成し得る。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルと、ＣＵの元のＣｒコード化ブロック中の対応するサンプルとの間の差分を示し得る。
[0067]更に、ビデオエンコーダ２０は、ＣＵのルーマ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを、１つ又は複数のルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに分解するために、４分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（例えば、正方形又は非正方形）ブロックである。ＣＵの変換単位（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２個の対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。従って、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックはＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロームピクチャ、又は３つの別個のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。
[0068]ビデオエンコーダ２０は、ＴＵに関するルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１回又は複数回の変換を適用し得る。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であり得る。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１回又は複数回の変換を適用して、ＴＵのＣｂ係数ブロックを生成し得る。ビデオエンコーダ２０は、ＴＵのためのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１つ又は複数の変換を適用し得る。
[0069]係数ブロック（例えば、ルーマ係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現するプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。例えば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を実行し得る。
[0070]ビデオエンコーダ２０は、コード化ピクチャと関連付けられたデータとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワーク抽象化レイヤ（ＮＡＬ）単位を備え得る。ＮＡＬ単位は、ＮＡＬ単位中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが散在させられているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造である。ＮＡＬ単位の各々は、ＮＡＬ単位ヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬ単位ヘッダは、ＮＡＬ単位タイプコードを示すシンタックス要素を含み得る。ＮＡＬ単位のＮＡＬ単位ヘッダによって指定されるＮＡＬ単位タイプコードは、ＮＡＬ単位のタイプを示す。ＲＢＳＰは、ＮＡＬ単位内にカプセル化された整数個のバイトを含む、シンタックス構造であり得る。幾つかの事例では、ＲＢＳＰは０ビットを含む。
[0071]異なるタイプのＮＡＬ単位は、異なるタイプのＲＢＳＰをカプセル化し得る。例えば、第１のタイプのＮＡＬ単位はピクチャパラメータセット（ＰＰＳ）に関するＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬ単位はコード化スライスに関するＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬ単位はＳＥＩに関するＲＢＳＰをカプセル化し得、以下同様である。ビデオコード化データのためのＲＢＳＰをカプセル化するＮＡＬ単位は（パラメータセット及びＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ビデオコード化レイヤ（ＶＣＬ）ＮＡＬ単位と呼ばれることがある。
[0072]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。更に、ビデオデコーダ３０は、ビットストリームを構文解析（parse）して、ビットストリームからシンタックス要素を取得し得る。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのピクチャを再構成し得る。ビデオデータを再構成するためのプロセスは、概して、ビデオエンコーダ２０によって実行されるプロセスの逆であり得る。例えば、ビデオデコーダ３０は、現在のＣＵのＰＵのための予測ブロックを決定するために、ＰＵの動きベクトルを使用し得る。更に、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を実行し得る。ビデオデコーダ３０は、現在のＣＵのＰＵのための予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在のＣＵのコード化ブロックを再構成し得る。ピクチャの各ＣＵのためのコード化ブロックを再構成することによって、ビデオデコーダ３０はピクチャを再構成し得る。
[0073]幾つかの例では、ビデオエンコーダ２０は、マージモード又は高度動きベクトル予測（ＡＭＶＰ）モードを使用して、ＰＵの動き情報を信号伝達し得る。言い換えれば、ＨＥＶＣでは、動きパラメータの予測のために２つのモードがあり、一方はマージモードであり、他方はＡＭＶＰである。動き予測は、１つ又は複数の他のビデオユニットの動き情報に基づく、ビデオ単位（例えば、ＰＵ）の動き情報の決定を備え得る。ＰＵの動き情報は、ＰＵの動きベクトルと、ＰＵの参照インデックスとを含み得る。
[0074]ビデオエンコーダ２０がマージモードを使用して現在のＰＵの動き情報を信号伝達するとき、ビデオエンコーダ２０は、マージ候補リストを生成する。言い換えれば、ビデオエンコーダ２０は、動きベクトル予測子リスト構築プロセスを実行し得る。マージ候補リストは、現在のＰＵに空間的又は時間的に隣接するＰＵの動き情報を示すマージ候補のセットを含む。即ち、マージモードでは、動きパラメータ（例えば、参照インデックス、動きベクトルなど）の候補リストが構築され、候補は、空間的隣接ブロック及び時間的隣接ブロックからであり得る。幾つかの例では、これらの候補は人工的に生成された候補も含み得る。
[0075]更に、マージモードでは、ビデオエンコーダ２０は、マージ候補リストからマージ候補を選択し得、現在のＰＵの動き情報として、選択されたマージ候補によって示される動き情報を使用し得る。ビデオエンコーダ２０は、選択されたマージ候補のマージ候補リスト中の位置を信号伝達し得る。例えば、ビデオエンコーダ２０は、インデックスを候補リスト中に送信することによって、選択された動きベクトルパラメータを信号伝達し得る。ビデオデコーダ３０は、ビットストリームから、候補リストの中へのインデックス（即ち、候補リストインデックス）を取得し得る。更に、ビデオデコーダ３０は、同じマージ候補リストを生成し得、選択されたマージ候補の位置の指示に基づいて、選択されたマージ候補を決定し得る。ビデオデコーダ３０は、次いで、現在のＰＵに関する予測ブロックを生成するために、選択されたマージ候補の動き情報を使用し得る。即ち、ビデオデコーダ３０は、候補リストインデックスに少なくとも部分的に基づいて、候補リスト中の選択された候補を決定し得、ここにおいて、選択された候補は、現在のＰＵについての動きベクトルを指定する。このように、デコーダ側では、インデックスが復号されると、インデックスが指す対応するブロックの全ての動きパラメータは、現在のＰＵによって継承され得る。
[0076]スキップモードはマージモードと同様である。スキップモードでは、ビデオエンコーダ２０及びビデオデコーダ３０は、マージモードにおいてビデオエンコーダ２０及びビデオデコーダ３０がマージ候補リストを使うのと同じようにマージ候補リストを生成し、使用する。但し、ビデオエンコーダ２０がスキップモードを使用して現在のＰＵの動き情報を信号伝達するとき、ビデオエンコーダ２０は、現在のＰＵに関するどの残差データも信号伝達しない。従って、ビデオデコーダ３０は、残差データを使用せずに、マージ候補リスト中の選択された候補の動き情報によって示される参照ブロックに基づいて、ＰＵに関する予測ブロックを決定し得る。
[0077]ＡＭＶＰモードは、ビデオエンコーダ２０が候補リストを生成し得、候補リストから候補を選択し得るという点で、マージモードと同様である。但し、ビデオエンコーダ２０がＡＭＶＰモードを使用して現在のＰＵのＲｅｆＰｉｃＬｉｓｔＸ動き情報を信号伝達するとき、ビデオエンコーダ２０は、現在のＰＵに関するＲｅｆＰｉｃＬｉｓｔＸ ＭＶＰフラグを信号伝達するのに加え、現在のＰＵに関するＲｅｆＰｉｃＬｉｓｔＸ動きベクトル差分（ＭＶＤ）と、現在のＰＵに関するＲｅｆＰｉｃＬｉｓｔＸ参照インデックスとを信号伝達し得る。現在のＰＵに関するＲｅｆＰｉｃＬｉｓｔＸ ＭＶＰフラグは、ＡＭＶＰ候補リスト中の選択されたＡＭＶＰ候補の位置を示し得る。現在のＰＵに関するＲｅｆＰｉｃＬｉｓｔＸ ＭＶＤは、現在のＰＵのＲｅｆＰｉｃＬｉｓｔＸ動きベクトルと選択されたＡＭＶＰ候補の動きベクトルとの間の差分を示し得る。このようにして、ビデオエンコーダ２０は、ＲｅｆＰｉｃＬｉｓｔＸ動きベクトル予測子（ＭＶＰ）フラグと、ＲｅｆＰｉｃＬｉｓｔＸ参照インデックス値と、ＲｅｆＰｉｃＬｉｓｔＸ ＭＶＤとを信号伝達することによって、現在のＰＵのＲｅｆＰｉｃＬｉｓｔＸ動き情報を信号伝達し得る。言い換えれば、現在のＰＵに関する動きベクトルを表す、ビットストリーム中のデータは、参照インデックスと、候補リストへのインデックスと、ＭＶＤとを表すデータを含み得る。
[0078]更に、ＡＭＶＰモードを使って現在のＰＵの動き情報が信号伝達されるとき、ビデオデコーダ３０は、ビットストリームから、現在のＰＵに関するＭＶＤと、ＭＶＰフラグとを取得し得る。ビデオデコーダ３０は、同じＡＭＶＰ候補リストを生成し得、ＭＶＰフラグに基づいて、選択されたＡＭＶＰ候補を決定し得る。ビデオデコーダ３０は、ＭＶＤを選択されたＡＭＶＰ候補によって示される動きベクトルに加算することによって、現在のＰＵの動きベクトルを復元し得る。即ち、ビデオデコーダ３０は、選択されたＡＭＶＰ候補によって示される動きベクトル及びＭＶＤに基づいて、現在のＰＵの動きベクトルを決定し得る。ビデオデコーダ３０は、次いで、現在のＰＵのための予測ブロックを生成するために、復元された動きベクトル、又は現在のＰＵの動きベクトルを使用し得る。
[0079]ビデオデコーダ３０が現在のＰＵに関するＡＭＶＰ候補リストを生成するとき、ビデオデコーダ３０は、現在のＰＵに空間的に隣接する位置をカバーするＰＵ（即ち、空間的隣接ＰＵ）の動き情報に基づいて、１つ又は複数のＡＭＶＰ候補を導出し得る。ＰＵの予測ブロックがある位置を含むとき、ＰＵはその位置をカバーし得る。
[0080]現在のＰＵに時間的に隣接するＰＵ（即ち、現在のＰＵとは異なる時間インスタンス中にあるＰＵ）の動き情報に基づくマージ候補リスト又はＡＭＶＰ候補リスト中の候補は、ＴＭＶＰと呼ばれることがある。即ち、ＴＭＶＰは、ＨＥＶＣのコード化効率を向上させるために使用され得、他のコード化ツールとは異なり、ＴＭＶＰは、復号ピクチャバッファ中、より具体的には、参照ピクチャリスト中のフレームの動きベクトルにアクセスする必要があり得る。
[0081]ＴＭＶＰの使用は、ＣＶＳ（コード化ビデオシーケンス）ごとに、スライスごとに、又は別の方式で、有効若しくは無効にされ得る。ＳＰＳ中のシンタックス要素（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）は、ＴＭＶＰの使用がＣＶＳに対して有効にされるかどうかを示し得る。更に、ＴＭＶＰの使用がＣＶＳのために有効にされるとき、ＴＭＶＰの使用は、ＣＶＳ内の特定のスライスに対して有効又は無効にされ得る。例えば、スライスヘッダ中のシンタックス要素（例えば、ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）は、ＴＭＶＰの使用がスライスに対して有効にされるかどうかを示し得る。従って、インター予測スライスでは、ＴＭＶＰがＣＶＳ全体に対して有効にされる（例えば、ＳＰＳ中のｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定される）とき、ＴＭＶＰが現在のスライスに対して有効にされているかどうかを示すために、ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇがスライスヘッダ中で信号伝達される。
[0082]ＴＭＶＰを決定するために、ビデオコーダは、現在のＰＵとコロケートされるＰＵを含む参照ピクチャを最初に識別し得る。言い換えれば、ビデオコーダはコロケートピクチャ（co-located picture）を識別し得る。現在のピクチャの現在のスライスがＢスライス（即ち、双方向インター予測されたＰＵを含むことが可能にされるスライス）である場合、ビデオエンコーダ２０は、コロケートピクチャがＲｅｆＰｉｃＬｉｓｔ０からのものであるか、又はＲｅｆＰｉｃＬｉｓｔ１からのものであるかを示すシンタックス要素（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ）を、スライスヘッダ中で信号伝達し得る。言い換えれば、ＴＭＶＰの使用が現在のスライスに対して有効にされ、現在のスライスがＢスライス（例えば、双方向インター予測されたＰＵを含むことが可能にされるスライス）であるとき、ビデオエンコーダ２０は、コロケートピクチャがＲｅｆＰｉｃＬｉｓｔ０の中にあるか、又はＲｅｆＰｉｃＬｉｓｔ１の中にあるかを示すために、シンタックス要素（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ）を、スライスヘッダ中で信号伝達し得る。言い換えれば、ＴＭＶＰを得るために、最初に、コロケートピクチャが識別されることになる。現在のピクチャがＢスライスである場合、コロケートピクチャがＲｅｆＰｉｃＬｉｓｔ０からのものか、又はＲｅｆＰｉｃＬｉｓｔ１からのものかを示すために、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇがスライスヘッダにおいて信号伝達される。
[0083]ビデオデコーダ３０がコロケートピクチャを含む参照ピクチャリストを識別した後、ビデオデコーダ３０は、識別された参照ピクチャリスト中のピクチャ（即ち、コロケートピクチャ）を識別するために、スライスヘッダ中で信号伝達され得る別のシンタックス要素（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）を使用し得る。即ち、参照ピクチャリストが識別された後、スライスヘッダで信号伝達されるｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが、参照ピクチャリスト中のピクチャを識別するために使用される。
[0084]ビデオコーダは、コロケートピクチャを確認することによって、コロケートＰＵを識別し得る。ＴＭＶＰは、コロケートＰＵを含むＣＵの右下のＰＵの動き情報、又はこのＰＵを含むＣＵの中心ＰＵ内の右下のＰＵの動き情報のいずれかを示し得る。従って、このＰＵを含むＣＵの右下のＰＵの動き、又はこのＰＵを含むＣＵの中心ＰＵ内の右下のＰＵの動きのいずれかが使用される。コロケートＰＵを含むＣＵの右下のＰＵは、ＰＵの予測ブロックの右下のサンプルのすぐ下及び右の位置をカバーするＰＵであり得る。言い換えれば、ＴＭＶＰは、参照ピクチャの中にあり現在のＰＵの右下コーナーとコロケートされる位置をカバーするＰＵの動き情報を示すことができ、又は、ＴＭＶＰは、参照ピクチャの中にあり、現在のＰＵの中心とコロケートされる位置をカバーするＰＵの動き情報を示し得る。
[0085]マージモード又はＡＭＶＰモードのための動き候補を生成するために、上記のプロセスによって識別された動きベクトル（即ち、ＴＭＶＰの動きベクトル）が使用されるとき、ビデオコーダは、（ＰＯＣ値によって反映される）時間的位置に基づいて、動きベクトルをスケーリングし得る。例えば、ビデオコーダは、現在のピクチャのＰＯＣ値と参照ピクチャのＰＯＣ値との差分が大きいとき、より大きな量だけ動きベクトルの大きさを増加させ、現在のピクチャのＰＯＣ値と参照ピクチャのＰＯＣ値との差分が小さいとき、より少ない量だけ動きベクトルの大きさを増加させ得る。
[0086]ＴＭＶＰから導出される時間的マージング候補に対する全てのあり得る参照ピクチャリストのターゲット参照インデックスは、常に０に設定され得る。しかしながら、ＡＭＶＰでは、全てのあり得る参照ピクチャのターゲット参照インデックスは、復号参照インデックスに等しく設定される。言い換えれば、ＴＭＶＰから導出される時間マージング候補に関する全てのあり得る参照ピクチャリストのターゲット参照インデックスは常に０に設定されるが、ＡＭＶＰでは、時間マージ用候補は、復号参照インデックスに等しく設定され得る。ＨＥＶＣでは、ＳＰＳはフラグ（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）を含み得、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しいとき、スライスヘッダはフラグ（例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）を含み得る。ある特定のピクチャに対してｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇとｔｅｍｐｏｒａｌ＿ｉｄの両方が０に等しいとき、復号順序においてその特定のピクチャの前にあるピクチャからの動きベクトルは、その特定のピクチャ、又は復号順序でその特定のピクチャの後にあるピクチャの復号において、ＴＭＶＰとして使用されない。
[0087]幾つかの例では、ビデオエンコーダ２０及びビデオデコーダ３０（図１）は、マルチビュー及び／又は３Ｄビデオコード化、例えば、２つ以上のビューを含むビデオデータのコード化のための技法を採用し得る。そのような例では、ビデオエンコーダ２０は、２つ以上のビューのための符号化ビデオデータを含むビットストリームを符号化し得、ビデオデコーダ３０は、例えば、表示装置３２に２つ以上のビューを与えるために符号化ビデオデータを復号し得る。幾つかの例では、ビデオデコーダ３０は、表示装置３２が３Ｄビデオを表示することを可能にするためにビデオデータの複数のビューを与え得る。幾つかの例では、ビデオエンコーダ２０及びビデオデコーダ３０は、例えば、マルチビューコード化グプロセス又はマルチビュープラス深度コード化プロセスが使用されるＨＥＶＣ規格の３Ｄ−ＨＥＶＣ拡張に準拠し得る。マルチビュー及び／又は３Ｄビデオコード化は、２つ以上のテクスチャビューを及び／又はテクスチャ成分と深度成分とを含むビューのコード化を伴い得る。幾つかの例では、ビデオエンコーダ２０によって符号化され、ビデオデコーダ３０によって復号されるビデオデータは、即ち、「アクセス単位」内の所与の瞬間の２つ以上のピクチャ、又は所与の瞬間における２つ以上のピクチャが導出され得るデータを含む。
[0088]幾つかの例では、機器、例えば、ビデオ発信源１８は、例えば、共通シーンをキャプチャするため２つ以上の空間オフセットカメラ又は他の撮像装置を使用することによって２つ以上のピクチャを生成し得る。３次元効果を生成するために、わずかに異なる水平位置から同時に又はほぼ同時に撮られた同じシーンの２つのピクチャが使用され得る。幾つかの例では、ビデオ発信源１８（又は発信源機器１２の別の構成要素）は、所与の時間における第１のビューの第１のピクチャから、その所与の時間における第２の（又は他の追加の）ビューの第２の（又は他の追加の）ピクチャを生成するために深度情報又は視差情報を使用し得る。この場合、アクセス単位内のビューは、第２のビューを生成するために、第１のビューに対応するテクスチャ成分とそのテクスチャ成分とともに使用され得る深度成分とを含み得る。深度情報又は視差情報は、例えば、撮像装置の構成に関して知られているカメラパラメータ又は他の情報、及び第１のビューについてのビデオデータのキャプチャに基づいて、第１のビューを撮る撮像装置によって決定され得る。深度又は視差情報は、追加又は代替として、第１のビュー中のカメラパラメータ及び／又はビデオデータから、例えば、発信源機器１２のビデオ発信源１８又は別の構成要素によって計算され得る。
[0089]３Ｄビデオを提示するために、表示装置３２は、同時に又はほぼ同時に撮られた共通シーンの異なるビューに関連する２つのピクチャを同時に又はほぼ同時に表示し得る。幾つかの例では、宛先機器１４のユーザは、シャッターの左レンズと右レンズとを迅速、交互に閉じるアクティブ眼鏡を装着し得、表示装置３２は、アクティブ眼鏡と同期して左ビューと右ビューとの間で迅速に切り替わり得る。他の例では、表示装置３２は２つのビューを同時に表示し得、ユーザは、適切なビューがそれを通ってユーザの眼に届くようにビューをフィルタ処理する、例えば、偏光レンズをもつパッシブ眼鏡を着用し得る。他の例では、表示装置３２は、ユーザが３Ｄ効果を知覚するために眼鏡を必要としない自動立体視表示器を備え得る。
[0090]マルチビュービデオコード化は、複数のビューがコード化される方法を指す。３Ｄビデオコード化の場合、複数のビューは、例えば、左眼ビューと右眼ビューとに対応し得る。複数のビューの各ビューは複数のピクチャを含む。３Ｄシーンの視聴者の知覚は、異なるビューのピクチャ内のオブジェクト間の水平視差に起因する。
[0091]現在のピクチャの現在のブロックのための視差ベクトル（ＤＶ）は、現在のピクチャとは異なるビュー中である対応するピクチャ中の対応するブロックを指すベクトルである。従って、ＤＶを使用して、ビデオコーダは、対応するピクチャ中で、現在のピクチャの現在のブロックに対応するブロックの位置を特定し得る。この場合、対応するピクチャは、現在のピクチャと同じ時間インスタンスのものであるが、異なるビュー中にあるピクチャである。対応するピクチャ中の対応するブロック及び現在のピクチャ中の現在のブロックは、同様のビデオコンテンツを含み得るが、現在のピクチャ中の現在のブロックの位置と対応するピクチャ中の対応するブロックの位置との間に少なくとも水平視差がある。現在のブロックのＤＶは、対応するピクチャ中のブロックと現在のピクチャ中の現在のブロックとの間のこの水平視差の測度を提供する。
[0092]幾つかの事例では、対応するピクチャ内のブロックの位置と現在のピクチャ内の現在のブロックの位置との間に垂直視差もあり得る。現在のブロックのＤＶはまた、対応するピクチャ中のブロックと現在のピクチャ中の現在のブロックとの間のこの垂直視差の測度を提供し得る。ＤＶは、２つの成分（ｘ成分及びｙ成分）を含んでいるが、多くの事例では、垂直成分はゼロに等しくなる。現在のビューの現在のピクチャ及び異なるビューの対応するピクチャが表示される時間は、同じであり得、即ち、現在のピクチャ及び対応するピクチャは、同じ時間インスタンスのピクチャである。
[0093]ビデオコード化では、概して、一般にイントラ予測及びインター予測と呼ばれる２つのタイプの予測がある。イントラ予測では、ビデオコーダは、同じピクチャ中のすでにコード化されているブロックに基づいてピクチャ中のビデオのブロックを予測する。インター予測では、ビデオコーダは、異なるピクチャ（即ち参照ピクチャ）のすでにコード化されているブロックに基づいてピクチャ中のビデオのブロックを予測する。本開示で使用する参照ピクチャは、概して、復号順序で後続のピクチャの復号プロセスにおけるインター予測のために使用され得るサンプルを含んでいる任意のピクチャを指す。現在のピクチャに対して、例えば、３Ｄ−ＨＥＶＣに従って、マルチビューコンテンツをコード化するとき、参照ピクチャは、異なるビュー中にあるが同じ時間インスタンスのものであり得るか、又は異なる時間インスタンスのものであるが同じビュー中にあり得る。例えば、３Ｄ−ＨＥＶＣでのマルチビューコード化の場合、インターピクチャ予測は、時間的に異なるピクチャ中の別のビデオブロックからの、即ち、現在のピクチャとは異なるアクセス単位からの現在のビデオブロック、例えば、ＣＵの現在のコード化ノードの予測及び現在のピクチャと同じアクセス単位中にあるが、現在のピクチャとは異なるビューに関連する異なるピクチャからの予測を含み得る。
[0094]インター予測の後者の場合、ビュー間コード化又はビュー間予測と呼ばれることがある。現在のピクチャと同じアクセス単位中にあるが、現在のピクチャとは異なるビューに関連する参照ピクチャは、ビュー間参照ピクチャと呼ばれることがある。マルチビューコード化では、ビュー間予測は、ビューの間の相関を取り除くために、同じ（即ち、同じ時間インスタンスをもつ）アクセス単位の異なるビュー中で撮られたピクチャの間で実行される。非ベースビューのピクチャ、例えば、従属ビューをコード化するとき、同じアクセス単位だが異なるビューからのピクチャ、例えば、ベースビューなどの参照ビューからのピクチャが、参照ピクチャリストに追加され得る。ビュー間参照ピクチャは、任意のインター予測（例えば、時間又はビュー間）参照ピクチャの場合のように、参照ピクチャリストの任意の位置に置かれ得る。
[0095]現在のピクチャのブロックを予測するために使用される参照ピクチャのブロックは、動きベクトルによって識別される。マルチビューコード化では、少なくとも２つの種類の動きベクトルがある。時間動きベクトル（ＴＭＶ）は、コード化されているブロックと同じビュー（例えば、上記で説明したインター予測の第１の例）だが、コード化されているブロックとは異なる時間インスタンス又はアクセス単位中にある時間参照ピクチャ中のブロックを指す動きベクトルであり、対応するインター予測は、動き補償予測（ＭＣＰ）と呼ばれる。別のタイプの動きベクトルは、同じアクセス単位現在のピクチャ中のものだが、異なるビューのピクチャ中のブロックを指す視差動きベクトル（ＤＭＶ）である。ＤＭＶでは、対応するインター予測は、視差補償予測（ＤＣＰ）又はビュー間予測と呼ばれる。
[0096]次のセクションでは、（例えば、Ｈ．２６４／ＭＶＣにおけるような）マルチビューコード化技法及び（例えば、３Ｄ−ＨＥＶＣにおけるような）マルチビュープラス深度コード化技法について論じる。最初に、ＭＶＣ技法について論じる。上述されたように、ＭＶＣは、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのマルチビューコード化拡張である。ＭＶＣでは、複数のビューに関するデータが時間第一（time-first）順序でコード化され、従って、復号順序構成は、時間第一コード化と呼ばれる。具体的には、共通の時間インスタンスにおける複数のビューの各々のビューコンポーネント（即ち、ピクチャ）がコード化され得、次いで、異なる時間インスタンスのビューコンポーネントの別のセットがコード化され得、以下同様である。アクセス単位は、１つの出力時間インスタンスについての全てのビューのコード化ピクチャを含み得る。アクセス単位の復号順序は、必ずしも出力（又は表示）順序と同一であるとは限らないことを理解されたい。
[0097]典型的なＭＶＣ復号順序（即ち、ビットストリーム順序）を図２に示す。復号順序構成は時間第一（time-first）コード化と呼ばれる。アクセス単位の復号順序は出力又は表示の順序と同じでないことがあることに留意されたい。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８はそれぞれ、１つの出力時間インスタンスを表す。アクセス単位は、１つの出力時間インスタンスについての全てのビューのコード化ピクチャを含み得る。例えば、第１のアクセス単位は時間インスタンスＴ０についてのビューＳ０〜Ｓ７の全てを含み得、第２のアクセス単位は時間インスタンスＴ１についてのビューＳ０〜Ｓ７の全てを含み得、以下同様である。
[0098]簡潔のために、本開示では、以下の定義を使用し得る。
ビューコンポーネント：単一のアクセス単位中のビューのコード化表現。ビューが、コード化テクスチャ表現とコード化深度表現の両方を含むとき、ビューコンポーネントは、テクスチャビューコンポーネントと深度ビューコンポーネントからなる。
テクスチャビューコンポーネント：単一のアクセス単位中のビューのテクスチャのコード化表現。
深度ビューコンポーネント：単一のアクセス単位中のビューの深度のコード化表現。
[0099]図２では、ビューの各々はピクチャのセットを含む。例えば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、及び６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、及び６５のセットを含み、以下同様である。３Ｄビデオコード化、例えば、３Ｄ−ＨＥＶＣでは、各ピクチャは２つのコンポーネントピクチャを含む場合があり、一方のコンポーネントピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントと深度ビューコンポーネントとは、互いに対応すると見なされ得る。例えば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ、その逆も同様である（即ち、深度ビューコンポーネントはセット中のそのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、単一のアクセス単位の同じビューの一部であるテクスチャビューコンポーネント及び深度ビューコンポーネントと見なされ得る。
[0100]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。例えば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（Ｃｂ及びＣｒ）成分とを含み得る。深度ビューコンポーネントは、その対応するテクスチャビューコンポーネント中の画素の相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビューコンポーネントは、画像コンテンツを搬送するのではなく、テクスチャビューコンポーネント中の画素の相対深度の測度を与え得る。
[0101]例えば、深度ビューコンポーネント中の純白の画素は、対応するテクスチャビューコンポーネント中のその対応する１つ又は複数の画素が視聴者から見てより近いことを示し、深度ビューコンポーネント中の純黒の画素は、対応するテクスチャビューコンポーネント中のその対応する１つ又は複数の画素が視聴者から見てより遠いことを示す。黒と白との中間にあるグレーの様々な陰影は、異なる深度レベルを示す。例えば、深度ビューコンポーネント中の濃いグレーの画素は、テクスチャビューコンポーネント中のその対応する画素が、深度ビューコンポーネント中のより薄いグレーの画素よりも遠いことを示す。画素の深度を識別するためにグレースケールのみが必要とされるので、深度ビューコンポーネント用の色値がいかなる目的も果たし得ないことから、深度ビューコンポーネントはクロマ成分を含む必要がない。
[0102]深度を識別するためにルーマ値（例えば、強度値）のみを使用する深度ビューコンポーネントが説明のために提供され、限定するものと見なされるべきではない。他の例では、テクスチャビューコンポーネント中の画素の相対深度を示すために任意の技法が利用され得る。
[0103]マルチビュービデオコード化のための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図３に示す。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にする視差動き補償によって、ビュー間予測がサポートされる。
[0104]図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、１２個の時間位置（「Ｔ０」〜「Ｔ１１」）がビューごとに示されている。即ち、図３中の各行はビューに対応し、各列は時間位置を示す。
[0105]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、所謂ベースビューを有し、また、ステレオビューペアがＭＶＣによってもサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートできることである。ＭＶＣデコーダを有するクライアントのレンダラ（renderer）は、複数のビューを用いて３Ｄビデオコンテンツを予想し得る。
[0106]図３中のピクチャは、各行と各列の交点に示されている。Ｈ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用し得る。
[0107]図３中のピクチャは、対応するピクチャがイントラコード化される（即ち、Ｉピクチャである）か又は一方向に（即ち、Ｐピクチャとして）若しくは複数の方向に（即ち、Ｂピクチャとして）インターコード化されるかを指定する、文字を含むブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。例えば、時間位置Ｔ０にあるビューＳ２のＰピクチャは、時間位置Ｔ０にあるビューＳ０のＩピクチャから予測される。
[0108]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコード化ビデオシーケンスのピクチャは、異なる時間位置にあるピクチャに対して予測符号化され得る。例えば、時間位置Ｔ１にあるビューＳ０のｂピクチャは、時間位置Ｔ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、更に、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。即ち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、例えば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張において信号伝達され、インター予測又はビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビュー間予測は、３Ｄ−ＨＥＶＣ（マルチビュープラス深度）を含む、ＨＥＶＣの提案されたマルチビュー拡張の機能でもある。
[0109]図３は、ビュー間予測の様々な例を提供する。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間位置にあるピクチャから予測されるものとして及び同じ時間位置にあるビューＳ０及びＳ２のピクチャからビュー間予測されるものとして示されている。例えば、時間位置Ｔ１にあるビューＳ１のｂピクチャは、時間位置Ｔ０及びＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間位置Ｔ１にあるビューＳ０及びＳ２のｂピクチャから予測される。
[0110]幾つかの例では、図３は、テクスチャビューコンポーネントを示すものとして見なされ得る。例えば、図２に示すＩピクチャ、Ｐピクチャ、Ｂピクチャ、及びｂピクチャは、ビューの各々に関するテクスチャビューコンポーネントと見なされ得る。本開示で説明される技法によれば、図３に示すテクスチャビューコンポーネントの各々について、対応する深度ビューコンポーネントが存在する。幾つかの例では、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントについて図３に示す方法と同様の方法で予測され得る。
[0111]２つのビューのコード化もＭＶＣにおいてサポートされ得る。ＭＶＣの利点のうちの１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとらえることができ、また、ＭＶＣデコーダがそのようなマルチビュー表現を復号することができることである。従って、ＭＶＣデコーダをもつ任意のレンダラは、３つ以上のビューをもつ３Ｄビデオコンテンツを予想し得る。
[0112]ＭＶＣでは、同じアクセス単位中の（即ち、同じ時間インスタンスをもつ）ピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つの中のピクチャをコード化するとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間参照ピクチャは、任意のインター予測参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示すように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。
[0113]マルチビュービデオコード化のコンテキストでは、概して、２種類の動きベクトルが存在する。１つは、正常動きベクトルと呼ばれる。正常動きベクトルは時間参照ピクチャを指し、対応する時間インター予測は動き補償予測（ＭＣＰ）である。もう１つの動きベクトルは視差動きベクトル（ＤＭＶ）である。ＤＭＶは、異なるビュー中のピクチャ（即ち、ビュー間参照ピクチャ）を指し、対応するインター予測は視差補償予測（ＤＣＰ：disparity-compensated prediction）である。
[0114]別のタイプのマルチビュービデオコード化フォーマットは、（例えば、３Ｄ−ＨＥＶＣにおけるような）深度値の使用を導入する。３Ｄテレビジョン及び自由視点ビデオ（free viewpoint video）用に普及しているマルチビュービデオプラス深度（ＭＶＤ）データフォーマットでは、マルチビューテクスチャピクチャを用いて、テクスチャ画像と深度マップとが独立してコード化され得る。図４は、テクスチャ画像及びその関連するサンプルごとの深度マップを有するＭＶＤデータフォーマットを示す。深度範囲は、対応する３Ｄポイントに関してカメラからの最小距離ｚｎｅａｒ及び最大距離ｚｆａｒの範囲内にあるように制限され得る。
[0115]ＨＥＶＣでは、動きベクトル予測のための技法は、マージモードと、スキップモードと、高度動きベクトル予測（ＡＭＶＰ：advance motion vector prediction）モードとを含み得る。概して、マージモード及び／又はスキップモードに従って、現在のビデオブロック（例えば、ＰＵ）は、別の以前にコード化された隣接ブロック、例えば、同じピクチャ中の空間的に隣接するブロックあるいは時間又はビュー間参照ピクチャ中のブロックから動き情報、例えば、動きベクトル、予測方向、及び参照ピクチャインデックスを継承する。マージ／スキップモードを実施するとき、ビデオエンコーダ２０は、定義された物体中の参照ブロックの動き情報であるマージング候補のリストを構築し、マージング候補のうちの１つを選択し、ビットストリーム中でビデオデコーダ３０に選択されたマージング候補を識別する候補リストインデックスを信号伝達する。
[0116]ビデオデコーダ３０は、マージ／スキップモードを実装する際に、定義された方法に従ってマージング候補リストを再構成し、インデックスによって示された候補リスト中のマージング候補のうちの１つを選択する。ビデオデコーダ３０は、次いで、マージング候補のうちの選択された１つの動きベクトルと同じ分解能で、マージング候補のうちの選択された１つの動きベクトルと同じ参照ピクチャを指す現在のＰＵの動きベクトルとしてマージング候補のうちの選択された１つを使用し得る。マージモード及びスキップモードは、ビデオエンコーダ２０が、現在のビデオブロックのインター予測についての動き情報の全てではなく、マージング候補リストへのインデックスを信号伝達することを可能にすることによってビットストリーム効率を促進する。
[0117]ＡＭＶＰを実施するとき、ビデオエンコーダ２０は、定義された物体中の候補動きベクトル予測子（ＭＶＰ）のリストを構築し、候補ＭＶＰのうちの１つを選択し、ビットストリーム中でビデオデコーダ３０に選択されたＭＶＰを識別する候補リストインデックスを信号伝達する。マージモードと同様に、ＡＭＶＰを実施するとき、ビデオデコーダ３０は、定義された物体中の候補ＭＶＰのリストを再構成し、候補リストインデックスに基づいてＭＶＰのうちの１つを選択する。
[0118]しかしながら、マージ／スキップモードに反して、ＡＭＶＰを実施するとき、ビデオエンコーダ２０はまた、参照ピクチャインデックスと予測方向とを信号伝達し、このようにして、候補リストインデックスによって指定されたＭＶＰが指す参照ピクチャを指定する。更に、ビデオエンコーダ２０は、現在のブロックのための動きベクトル差分（ＭＶＤ：motion vector difference）を決定し、ここで、ＭＶＤは、ＭＶＰと、通常ならば現在のブロックのために使用されたであろう実際の動きベクトルとの間の差である。ＡＭＶＰでは、参照ピクチャインデックス、参照ピクチャ方向及び候補リストインデックスに加えて、ビデオエンコーダ２０は、ビットストリーム中で現在のブロックのためのＭＶＤを信号伝達する。所与のブロックのための参照ピクチャインデックスと予測ベクトル差分との信号伝達により、ＡＭＶＰは、マージ／スキップモードほど効率的でないことがあるが、コード化ビデオデータの忠実度が改善し得る。
[0119]図５に、現在のビデオブロック４７と、５つの空間的隣接ブロック（４１、４２、４３、４４及び４５）と、別のピクチャからのものだが現在のピクチャと同じビュー中の時間参照ブロック４６との一例を示す。時間参照ブロック４６は、例えば、異なる時間インスタンスのピクチャだが現在のビデオブロック４７と同じビュー中のコロケートされたブロックであり得る。幾つかの例では、現在のビデオブロック４７と参照ビデオブロック４１〜４６とは、現在開発中のＨＥＶＣ規格において概して定義された通りのものであり得る。参照ビデオブロック４１〜４６は、ＨＥＶＣ規格に従ってＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２及びＴと標示される。ビデオエンコーダ２０及びビデオデコーダ３０は、動き情報予測モード、例えば、マージ／スキップモード又はＡＭＶＰモードに従って参照ビデオブロック４１〜４６の動き情報に基づいて現在のビデオブロック４７の、ＴＭＶを含む動き情報を予測し得る。以下でより詳細に説明するように、ビデオブロックのＴＭＶは、本開示の技法によれば、高度残差予測のためのＤＭＶとともに使用され得る。
[0120]図５に示すように、ビデオブロック４２、４４、４３、４１、及び４５は、現在のビデオブロック４７に対して、それぞれ、左、上、右上、左下、及び左上にあり得る。但し、図５に示す現在のビデオブロック４７に対する隣接ブロック４１〜４５の数と位置とは例にすぎない。異なる数の隣接ブロック及び／又は異なる位置にあるブロックの動き情報が、現在のビデオブロック４７のための動き情報予測候補リストへの包含について考慮され得る。
[0121]現在のビデオブロック４７に対する空間的に隣接するブロック４２、４４、４３、４１、及び４５の各々の空間関係は、次のように説明され得る。現在のピクチャの左上のサンプルに対する現在のブロックの左上のルーマサンプルを指定するために、ルーマ位置（ｘＰ，ｙＰ）が使用される。変数ｎＰＳＷ及びｎＰＳＨは、ルーマについて現在のブロックの幅と高さとを示す。空間的に隣接するブロック４２の左上のルーマサンプルは、ｘＰ−１、ｙＰ＋ｎＰＳＨ−１である。空間的に隣接するブロック４４の左上のルーマサンプルは、ｘＰ＋ｎＰＳＷ−１、ｙＰ−１である。空間的に隣接するブロック４３の左上のルーマサンプルは、ｘＰ＋ｎＰＳＷ、ｙＰ−１である。空間的に隣接するブロック４１の左上のルーマサンプルは、ｘＰ−１、ｙＰ＋ｎＰＳＨである。空間的に隣接するブロック４５の左上のルーマサンプルは、ｘＰ−１、ｙＰ−１である。ルーマ位置に関して説明したが、現在のブロックと参照ブロックとはクロマ成分を含み得る。
[0122]空間的に隣接するブロック４１〜４５の各々は、現在のビデオブロック４７の動き情報、例えば、ＴＭＶを予測するための空間動き情報候補を与え得る。ビデオコーダ、例えば、ビデオエンコーダ２０（図１）及び／又はビデオデコーダ３０（図１）は、所定の順序、例えば、走査順序で、空間的に隣接する参照ブロックの動き情報を考慮し得る。３Ｄ−ＨＥＶＣの場合、例えば、ビデオデコーダは、４２、４４、４３、４１、及び４５の順序でマージモードのためのマージング候補リストへの包含について参照ブロックの動き情報を考慮し得る。図示の例では、空間的に隣接するブロック４１〜４５は、現在のビデオブロック４７の左側に及び／又はそれの上にある。大部分のビデオコーダがピクチャの左上からラスタ走査順序でビデオブロックをコード化するので、この構成は典型的なものである。従って、そのような例では、空間的に隣接するブロック４１〜４５は、一般に、現在のビデオブロック４７より前にコード化されることになる。但し、他の例では、例えば、ビデオコーダが異なる順序でビデオブロックをコード化するとき、空間的に隣接するブロック４１〜４５は、現在のビデオブロック４７の右側に及び／又はそれの下に位置し得る。
[0123]時間参照ブロック４６は、現在のビデオブロック４７の現在のピクチャの必ずしもコード化順序で直前とは限らないが、それより前にコード化された時間参照ピクチャ内に位置する。更に、ブロック４６の参照ピクチャは、必ずしも表示順序で現在のビデオブロック４７のピクチャより前にあるとは限らない。参照ビデオブロック４６は、概して、現在のピクチャ中の現在のビデオブロック４７の位置に対して参照ピクチャ中でコロケートされ得る。幾つかの例では、参照ビデオブロック４６は、現在のピクチャ中の現在のビデオブロック４７の位置の右側に及びそれの下に位置し、又は現在のピクチャ中の現在のビデオブロック４７の中心位置をカバーする。
[0124]図６は、例えば、マージ／スキップモード又はＡＭＶＰモードによる、現在のビデオブロック５０の動き情報の予測のためのビュー間予測動きベクトル候補（ＩＰＭＶＣ：inter-view predicted motion vector candidate）とビュー間視差動きベクトル候補（ＩＤＭＶＣ：inter-view disparity motion vector candidate）との導出の例を示す概念図である。ビュー間予測が使用可能であるとき、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック５０のための動き情報候補リストに新しい動きベクトル候補ＩＰＭＶＣ又はＩＤＭＶＣを追加し得る。ＩＰＭＶＣは、現在のビデオブロック５０のためのＴＭＶを予測し得、これを、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、以下でより詳細に説明するように、本開示の技法に従って現在のビデオブロック５０又は別のビデオブロックのＡＲＰのために使用し得る。ＩＤＭＶＣは、ビデオエンコーダ２０及び／又はビデオデコーダ３０が現在のビデオブロック５０のＡＲＰのために使用し得る現在のビデオブロック５０のためのＤＭＶを予測し得る。
[0125]図６の例では、現在のブロック５０は現在のビューＶｍ中にある。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、視差ベクトル（ＤＶ）５１を使用して参照ビューＶ０中の対応するブロック又は参照ブロック５２の位置を特定し得る。ビデオコーダは、カメラパラメータに基づいて、又は本明細書で説明する技法のいずれかに従ってＤＶ５１を決定し得る。例えば、ビデオコーダは、例えば、隣接ブロックベースの視差ベクトル導出（ＮＢＤＶ）を使用して、隣接ブロックのＤＭＶ又はＤＶに基づくことを含めて現在のビデオブロック５０のためのＤＶ５１を決定し得る。
[0126]参照ブロック５２が、イントラコード化もビュー間予測もされず、それの参照ピクチャ、例えば、参照ピクチャ５８又は参照ピクチャ６０が、現在のビデオブロック５０の同じ参照ピクチャリスト中の１つのエントリの値に等しいピクチャ順序カウント（ＰＯＣ）値を有する場合、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ＰＯＣに基づいて参照インデックスを変換した後に、現在のビデオブロック５０のためのＩＰＭＶＣとされるべきそれの動き情報（予測方向、参照ピクチャ、及び動きベクトル）を導出し得る。
[0127]図６の例では、参照ビデオブロック５２は、指定された第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）である参照ビューＶ０中の第１の参照ピクチャ５８を指すＴＭＶ５４と、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）中に指定された参照ビューＶ０中の第２のピクチャ６０を指すＴＭＶ５６とに関連付けられる。現在のビデオブロック５０によるＴＭＶ５４及び５６の継承を、図６中の破線矢印によって示す。参照ビデオブロック５２の動き情報に基づいて、ビデオコーダは、例えば、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）中で参照ピクチャ５８と同じＰＯＣをもつ、第１の参照ピクチャリスト中に指定された現在のビューＶｍ中の第１の参照ピクチャ６６を指すＴＭＶ６２と、例えば、参照ピクチャ６０と同じＰＯＣをもつ、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）中に指定された現在のビューＶｍ中の第２のピクチャ６８を指すＴＭＶ６４とのうちの少なくとも１つとされるべき現在のビデオブロック５０のためのＩＰＭＶＣを導出する。
[0128]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック５０のＡＲＰのためにＴＭＶ６２及び／又はＴＭＶ６４を使用し得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０はまた、現在のビデオブロック５０のためのＩＤＭＶＣにＤＶ５１を変換し、現在のビデオブロック５０のための動き情報候補リストにＩＤＭＶＣをＩＰＭＶＣとは異なる位置に追加し得る。ＩＰＭＶＣ又はＩＤＭＶＣの各々は、このコンテキストでは「ビュー間候補」と呼ばれることがある。
[0129]マージ／スキップモードでは、ビデオコーダは、利用可能な場合、ＩＰＭＶＣを、マージ候補リストに、全ての空間及び時間マージング候補の前に挿入する。マージ／スキップモードでは、ビデオコーダは、Ａ０（図５のブロック４１）から導出された空間マージング候補の前にＩＤＭＶＣを挿入する。ＩＤＭＶＣへのＤＶ５１の変換は、現在のビデオブロック５０のためのＤＭＶへのＤＶ５１の変換と見なされ得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック５０のＡＲＰのためにＤＭＶを使用し得る。
[0130]幾つかの状況では、ビデオコーダは、現在のビデオブロックのＤＶを導出し得る。例えば、図６に関して上記で説明したように、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック５０のためのＤＶ５１を導出し得る。幾つかの例では、ビデオコーダは、現在のビデオブロックのＤＶを導出するために、ＮＢＤＶ導出を使用し得る。ＮＢＤＶ導出は、３Ｄ−ＨＥＶＣでは視差ベクトル導出方法として使用される。
[0131]３Ｄ−ＨＥＶＣに関する提案は、ビューの全てについてテクスチャ優先コード化順序を使用する。言い換えれば、ビットストリーム中の複数のビューの各々について、ビューのためのいかなる深度成分よりも前にテクスチャ成分オブがコード化され、例えば、符号化又は復号される。場合によっては、例えば、ビュー間予測では、特定のアクセス単位中のビューのテクスチャ成分中のビデオブロックをコード化するためにＤＶが必要とされる。しかしながら、テクスチャ優先コード化では、現在のビデオブロックの対応する深度成分は、現在のビデオブロックのＤＶを決定するために利用可能でない。そのような状況では現在のビデオブロックのＤＶを導出するために、ＮＢＤＶ導出が、ビデオコーダによって採用され得、３Ｄ−ＨＥＶＣのために提案される。現在の３Ｄ−ＨＥＶＣの設計では、ＮＢＤＶ導出から導出されたＤＶは、ＮＢＤＶプロセスからのＤＶによって指された参照ビューの深度マップから深度データを取り出すことによって、更に改善され得る。
[0132]ＤＶは、２つのビュー間の変位を推定するものとして使用される。隣接ブロックは、ビデオコード化においてほぼ同じ動き／視差情報を共有するので、現在のビデオブロックは、それの動き／視差情報の良好な予測子として、隣接ブロック中の動きベクトル情報を使用することができる。この考えに従って、ＮＢＤＶ導出は、異なるビュー中のＤＶを推定するために、隣接視差情報を使用する。
[0133]ＮＢＤＶ導出に従って、ビデオコーダは、幾つかの空間的及び時間的隣接ブロックを識別する。隣接ブロックの２つのセットが利用される。一方のセットは、空間的隣接ブロックからのものであり、他方のセットは、時間的隣接ブロックからのものである。ビデオコーダは、次いで、現在のブロックと候補（隣接）ブロックとの間の相関の優先順位によって決定された予め定義された順序で空間的及び時間的隣接ブロックの各々を検査する。ビデオコーダが、ＤＭＶ、即ち、候補の動き情報中で、隣接候補ブロックから（同じアクセス単位中だが、異なるビュー中の）ビュー間参照ピクチャを指す動きベクトルを識別すると、ビデオコーダは、ＤＭＶをＤＶに変換し、関連するビュー順序インデックスを戻す。例えば、ビデオコーダは、現在のブロックのＤＶの水平成分をＤＭＶの水平成分に等しく設定し得、ＤＶの垂直成分を０に設定し得る。
[0134]３Ｄ−ＨＥＶＣは、最初に、Ｚｈａｎｇら、「３Ｄ−ＣＥ５．ｈ：Ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｇｅｎｅｒａｔｉｏｎ ｒｅｓｕｌｔｓ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会第１回会合、ストックホルム、スウェーデン、２０１２年７月１６〜２０日、文書ＪＣＴ３Ｖ−Ａ００９７（ＭＰＥＧ番号ｍ２６０５２）、以下「ＪＣＴ３Ｖ−Ａ００９７」において提案されたＮＢＤＶ導出技法を採用した。ＪＣＴ３Ｖ−Ａ００９７は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８９。ＪＣＴ３Ｖ−Ａ００９７の内容全体が、参照により本明細書に組み込まれる。
[0135]３Ｄ−ＨＥＶＣの幾つかの提案では、ビデオコーダがＮＢＤＶ導出プロセスを実行するとき、ビデオコーダは、順番に、時間的隣接ブロック中の視差動きベクトル、空間的隣接ブロック中の視差動きベクトル、次いで、暗黙的視差ベクトル（ＩＤＶ：implicit disparity vector）を検査する。ＩＤＶは、ビュー間予測を使用してコード化された空間的又は時間的隣接ＰＵの視差ベクトルであり得る。ＩＤＶは、導出された視差ベクトルと呼ばれることもある。ＩＤＶは、ＰＵがビュー間予測を採用するとき、即ち、ＡＭＶＰ又はマージモードのための候補が視差ベクトルの助けをかりて他のビュー中の参照ブロックから導出されるときに生成され得る。そのような視差ベクトルはＩＤＶと呼ばれる。ＩＤＶは、ＤＶ導出の目的でＰＵに記憶され得る。例えば、ブロックが動き予測でコード化されるとしても、そのブロックについて導出されたＤＶは後続のブロックをコード化する目的のために破棄されない。従って、ビデオコーダがＤＭＶ又はＩＤＶを識別するとき、ビデオコーダは、識別されたＩＤＶ又はＩＤＶを戻し得る。
[0136]暗黙的視差ベクトル（ＩＤＶ）は、Ｓｕｎｇら、「３Ｄ−ＣＥ５．ｈ：Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ ｆｏｒ ＨＥＶＣ−ｂａｓｅｄ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ」ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会、第１回会合、ストックホルム、スウェーデン、２０１２年７月１６〜２０日、文書ＪＣＴ３Ｖ−Ａ０１２６（ＭＰＥＧ番号ｍ２６０７９）、以下「ＪＣＴ３Ｖ−Ａ０１２６」に記載されている簡略化されたＮＢＤＶ導出プロセスに含まれた。ＪＣＴ３Ｖ−Ａ０１２６は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１４２。
[0137]３Ｄ−ＨＥＶＣのためのＮＢＤＶ導出プロセスの更なる開発は、Ｋａｎｇら、「３Ｄ−ＣＥ５．ｈ：Ｉｍｐｒｏｖｅｍｅｎｔ ｆｏｒ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会、第２回会合、上海、中国、２０１２年１０月１３〜１９日、文書ＪＣＴ３Ｖ−Ｂ００４７（ＭＰＥＧ番号ｍ２６７３６）、以下「ＪＣＴ３Ｖ−Ｂ００４７」に記載された。ＪＣＴ３Ｖ−Ｂ００４７は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２３６。
[0138]ＪＣＴ３Ｖ−Ｂ００４７では、３Ｄ−ＨＥＶＣのためのＮＢＤＶ導出プロセスは、復号ピクチャバッファ中に記憶されるＩＤＶを除去することによって更に簡略化された。コード化利得はまた、ランダムアクセスポイント（ＲＡＰ）ピクチャ選択を用いて改善された。ビデオコーダは、戻された視差動きベクトル又はＩＤＶを視差ベクトルに変換し得、ビュー間予測及びビュー間残差予測のために視差ベクトルを使用し得る。ランダムアクセスは、ビットストリーム中の第１のコード化ピクチャではないコード化ピクチャから始まるビットストリームの復号を指す。一定の間隔でのビットストリーム中へのランダムアクセスピクチャ又はランダムアクセスポイントの挿入はランダムアクセスを有効にし得る。ランダムアクセスピクチャの例示的なタイプは、瞬時復号リフレッシュ（ＩＤＲ：Instantaneous Decoder Refresh）ピクチャ、クリーンランダムアクセス（ＣＲＡ：Clean Random Access）ピクチャ、及び切断リンクアクセス（ＢＬＡ：Broken Link Access）ピクチャを含む。従って、ＩＤＲピクチャ、ＣＲＡピクチャ、及びＢＬＡピクチャは、ＲＡＰピクチャと総称される。幾つかの例では、ＲＡＰピクチャは、ＮＡＬ単位タイプを有し得、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、ＢＬＡ＿Ｎ＿ＬＰ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２２、ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２３、又はＣＲＡ＿ＮＵＴに等しい。
[0139]３Ｄ−ＨＥＶＣのためのＣＵベースのＤＶ導出のための技法は、Ｋａｎｇら、「ＣＥ２．ｈ：ＣＵ−ｂａｓｅｄ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ ｉｎ ３Ｄ−ＨＥＶＣ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会、第４回会合、仁川、韓国、２０１３年４月２０〜２６日、文書ＪＣＴ３Ｖ−Ｄ０１８１（ＭＰＥＧ番号ｍ２９０１２）、以下「ＪＣＴ３Ｖ−Ｄ０１８１」において提案された。ＪＣＴ３Ｖ−Ｄ０１８１は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８６６。
[0140]ビデオコーダがＤＭＶ又はＩＤＶを識別すると、ビデオコーダは、検査プロセスを終了し得る。従って、ビデオコーダが現在のブロックのＤＶを発見すると、ビデオコーダはＮＢＤＶ導出プロセスを終了し得る。ビデオコーダがＮＢＤＶ導出プロセスを実行することによって現在のブロックのＤＶを決定することができないとき（即ち、ＮＢＤＶ導出プロセス中にＤＭＶ又はＩＤＶが発見されないとき）、ＮＢＤＶは利用不可能であると標識され得る。言い換えれば、ＮＢＤＶ導出プロセスが利用不可能な視差ベクトルを戻したと見なされ得る。
[0141]ビデオコーダがＮＢＤＶ導出プロセスを実行することによって現在のブロックのＤＶを導出することができない場合（即ち、視差ベクトルが発見されない場合）、ビデオコーダは、現在のＰＵのＤＶとしてゼロＤＶを使用し得る。ゼロＤＶは、０に等しい水平成分と垂直成分の両方を有するＤＶである。従って、ＮＢＤＶ導出プロセスが利用不可能な結果を戻すときでも、ＤＶを必要とするビデオコーダの他のコード化プロセスは、現在のブロックのためにゼロ視差ベクトルを使用し得る。幾つかの例では、ビデオコーダが、ＮＢＤＶ導出プロセスを実行することによって現在のブロックのＤＶを導出することができない場合、ビデオコーダは、現在のブロックのためのビュー間残差予測を無効にし得る。しかしながら、ビデオコーダが、導出ＮＢＤＶプロセスを実行することによって現在のブロックのＤＶを導出することができるかどうかにかかわらず、ビデオコーダは、現在のブロックにビュー間予測を使用し得る。即ち、全ての予め定義された隣接ブロックを検査した後にＤＶが発見されない場合、ビュー間予測のためにゼロ視差ベクトルが使用され得るが、ビュー間残差予測は対応するＣＵに対して無効にされ得る。
[0142]図７は、現在のビデオブロック９０に対する、ＮＢＤＶ導出を使用して現在のビデオブロックのＤＶが導出され得る例示的な空間的隣接ブロックを示す概念図である。図７に示す５つの空間的隣接ブロックは、現在のビデオブロックに対する左下ブロック９６、左ブロック９５、右上ブロック９２、上ブロック９３、及び左上ブロック９４である。空間的隣接ブロックは、現在のビデオブロックをカバーするＣＵの左下ブロック、左ブロック、右上ブロック、上ブロック、及び左上ブロックであり得る。ＮＢＤＶのこれらの空間的隣接ブロックは、ＨＥＶＣにおけるマージ／ＡＭＶＰモードなどに従って現在のビデオブロックのための動き情報予測のためにビデオコーダによって使用される空間的隣接ブロックと同じであり得ることに留意されたい。そのような場合、空間的隣接ブロックの動き情報が現在のビデオブロックのための動き情報予測のためにすでに考慮されているので、ビデオコーダによるＮＢＤＶのための追加のメモリアクセスが必要とされ得ない。
[0143]時間的隣接ブロックを検査するために、ビデオコーダは、候補ピクチャリストを構築する。幾つかの例では、ビデオコーダは、現在のビュー、即ち、現在のビデオブロックと同じビューからの最大２つの参照ピクチャを候補ピクチャとして扱い得る。ビデオコーダは、最初に、コロケートされた参照ピクチャを候補ピクチャリストに挿入し、続いて、候補ピクチャの残りを、参照ピクチャインデックスの昇順で挿入する。両方の参照ピクチャリスト中で同じ参照インデックスをもつ参照ピクチャが利用可能であるとき、ビデオコーダは、他の参照ピクチャリストからの他の参照ピクチャより前に、コロケートされたピクチャと同じ参照ピクチャリスト中にある参照ピクチャを挿入し得る。幾つかの例では、ビデオコーダは、候補ピクチャリスト中の候補ピクチャの各々から時間的隣接ブロックを導出するための３つの候補領域を識別し得る。３つの候補領域は、次のように定義され得る。
ＣＰＵ：現在のＰＵ又は現在のＣＵのコロケート領域。
ＣＬＣＵ：現在のブロックのコロケート領域をカバーする最大コード化単位（ＬＣＵ）。
ＢＲ：ＣＰＵの右下の４×４のブロック。
候補領域をカバーするＰＵがＤＭＶを指定する場合、ビデオコーダは、ＰＵの視差動きベクトルに基づいて現在のビデオユニットのＤＶを決定し得る。
[0144]上記で説明したように、空間的及び時間的隣接ブロックから導出されたＤＭＶに加えて、ビデオコーダはＩＤＶについて検査し得る。３Ｄ−ＨＴＭ７．０及び後のバージョンのための提案されたＮＢＤＶ導出プロセスでは、ビデオコーダは、順番に、時間的隣接ブロック中のＤＭＶ、次いで、空間的隣接ブロック中のＤＭＶ、次いでＩＤＶを検査する。ＤＭＶ又はＩＤＶが発見されると、プロセスは終了される。更に、ＮＢＤＶ導出プロセスにおいて検査される空間隣接ブロックの数は、更に、２つに低減される。
[0145]ビデオコーダが隣接ＰＵ（例えば、空間的隣接ＰＵ又は時間的隣接ＰＵ）を確認すると、ビデオコーダは、最初に、隣接ＰＵが視差動きベクトルを有するかどうかを確認し得る。隣接ＰＵのいずれもが視差動きベクトルを有しない場合、ビデオコーダは、空間的隣接ＰＵのいずれかがＩＤＶを有するかどうかを決定し得る。空間的隣接ＰＵの１つがＩＤＶを有し、ＩＤＶがマージ／スキップモードとしてコード化される場合、ビデオコーダは検査処理を終了し得、現在のＰＵの最終視差ベクトルとしてＩＤＶを使用し得る。
[0146]上記のように、ビデオコーダは、現在のブロック（例えば、ＣＵ、ＰＵなど）のＤＶを導出するために、ＮＢＤＶ導出プロセスを適用し得る。現在のブロックについての視差ベクトルは、参照ビュー中の参照ピクチャ（即ち、参照成分）中の位置を示し得る。幾つかの３Ｄ−ＨＥＶＣ設計では、ビデオコーダは参照ビューについての深度情報にアクセスすることが許容される。幾つかのそのような３Ｄ−ＨＥＶＣ設計では、ビデオコーダが現在のブロックのＤＶを導出するためにＮＢＤＶ導出プロセスを使用するとき、ビデオコーダは、現在のブロックの視差ベクトルを更に改善するために改善プロセスを適用し得る。ビデオコーダは、参照ピクチャの深度マップに基づいて現在のブロックのＤＶを改善し得る。ビデオコーダは、後方ビュー合成予測のためにＤＭＶを改善するために同様の改善プロセスを使用し得る。このようにして、後方ビュー合成予測のために使用されるべきＤＶ又はＤＭＶを改善するために深度が使用され得る。この改善プロセスは、本明細書では、ＮＢＤＶ改善（「ＮＢＤＶ−Ｒ」：NBDV refinement）、ＮＢＤＶ改善プロセス、又は深度指向ＮＢＤＶ（Ｄｏ−ＮＢＤＶ：depth-oriented NBDV）と呼ばれることがある。
[0147]ＮＢＤＶ導出プロセスが利用可能な視差ベクトルを戻すと（例えば、ＮＢＤＶ導出プロセスが、そのＮＢＤＶ導出プロセスが視差動きベクトル又は隣接ブロックのＩＤＶに基づいて、現在のブロックの視差ベクトルを導出することが可能であったことを示す変数を返すと）、ビデオコーダは、参照ビューの深度マップから深度データを取り出すことによって、視差ベクトルを更に改善し得る。幾つかの例では、改善プロセスは以下の２つのステップを含む。
１） ベースビューなど、前にコード化された参照深度ビュー中の導出されたＤＶによって、対応する深度ブロックの位置を特定し、対応する深度ブロックのサイズは、現在のＰＵのものと同じである。
２） 対応する深度ブロックの４つのコーナー画素から１つの深度値を選択し、それを、改善されたＤＶの水平成分に変換する。ＤＶの垂直成分は不変である。
[0148]改善されたＤＶは、現在のビデオブロックのためのビュー間予測のために使用され得、一方、改善されていないＤＶは、現在のビデオブロックのためのビュー間残差予測のために使用され得る。更に、改善されたＤＶは、以下でより詳細に説明する、後方ビュー合成予測（ＢＶＳＰ）モードでコード化される場合、１つのＰＵの動きベクトルとして記憶される。３Ｄ−ＨＴＭ７．０及び後のバージョンのための提案されたＮＢＤＶプロセスでは、ベースビューの深度ビューコンポーネントは、ＮＢＤＶプロセスから導出されたビュー順序インデックスの値にかかわらずアクセスされる。
[0149]新しいマージング候補を生成するためのサブＰＵレベルのビュー間動き予測技法は、Ａｎら、「３Ｄ−ＣＥ３：Ｓｕｂ−ＰＵ ｌｅｖｅｌ ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との３Ｄビデオコード化拡張開発共同研究部会、第６回会合、ジュネーブ、スイス、２０１３年１０月２５日〜１１月１日、文書ＪＣＴ３Ｖ−Ｆ０１１０、以下「ＪＣＴ３Ｖ−Ｆ０１１０」において提案されている。ＪＣＴ３Ｖ−Ｆ０１１０は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１４４７。新しい候補がマージ候補リストに追加される。
[0150]図８は、サブ予測単位（ＰＵ）ビュー間動き予測を示す概念図である。図８に示すように、現在のビューＶ１中の現在のＰＵ９８は、複数のサブＰＵ（例えば、４つのサブＰＵ）に分割され得る。各サブＰＵに関する視差ベクトルは、参照ビューＶ０中の対応する参照ブロックを位置特定するために使用され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のＰＵ８の対応するサブＰＵとともに使用するために、参照ブロックの各々に関連付けられた動きベクトルを複写（即ち、再使用）するように構成され得る。
[0151]一例では、サブＰＵマージング候補という名前の新しい候補が以下の技法を使用して導出される。最初に、現在のＰＵのサイズをｎＰＳＷ×ｎＰＳＨで示し、信号伝達されるサブＰＵサイズをＮ×Ｎで示し、最終サブＰＵサイズをｓｕｂＷ×ｓｕｂＨによって示す。現在のＰＵは、次のようにＰＵサイズと信号伝達されるサブＰＵサイズとに応じて１つ又は複数のサブＰＵに分割され得る。
subW = max ( N, nPSW ) != N ? N: nPSW;
subH = max ( N, nPSH ) != N ? N: nPSH;
[0152]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、参照ピクチャリストごとにデフォルトの動きベクトルｔｍｖＬＸを（０，０）に設定し、参照インデックスｒｅｆＬＸを−１に設定し得る（Ｘは、参照ピクチャリスト０又は参照ピクチャリスト１のいずれかを表す）。ラスタ走査順序の各サブＰＵに関して、以下が適用される。
− 次式によって参照サンプル位置（ｘＲｅｆＳｕｂ，ｙＲｅｆＳｕｂ）を取得するために現在のサブＰＵの中間位置にＤｏＮＢＤＶ導出プロセス又はＮＢＤＶプロセスから取得されたＤＶを加算する。
xRefSub = Clip3( 0, PicWidthInSamplesL - 1, xPSub + nPSWsub/2 + ( ( mvDisp[ 0 ] + 2 ) >> 2 ) )
yRefSub = Clip3( 0, PicHeightInSamplesL - 1, yPSub + nPSHSub /2 + ( ( mvDisp[ 1 ] + 2 ) >> 2 ) )
現在のサブＰＵに関する参照ブロックとして（ｘＲｅｆＳｕｂ，ｙＲｅｆＳｕｂ）をカバーする参照ビュー中のブロックが使用される。
− 識別された参照ブロックについて、
１）識別された参照ブロックが、時間的動きベクトルを使用してコード化される場合、以下が適用される。
− 関連する動きパラメータが、現在のサブＰＵについての候補動きパラメータとして使用され得る。
− ｔｍｖＬＸ及びｒｅｆＬＸが現在のサブＰＵの動き情報に更新される。
− 現在のサブＰＵがラスタ走査順序で最初のものでない場合、動き情報（ｔｍｖＬＸ及びｒｅｆＬＸ）が全ての前のサブＰＵによって継承される。
２）そうでない場合（参照ブロックがイントラコード化される場合）、現在のサブＰＵの動き情報がｔｍｖＬＸ及びｒｅｆＬＸに設定される。
[0153]４×４、８×８、及び１６×１６を含むサブＰＵレベルのビュー間動き予測のためのインザ上記で説明した技法のために異なるサブＰＵブロックサイズが使用され得る。サブＰＵブロックのサイズは、ビューパラメータセット（ＶＰＳ：view parameter set）などのパラメータセット中で信号伝達され得る。
[0154]高度残差予測（ＡＲＰ）は、追加のコード化効率をもたらすためにビューの間の残差相関を活用しようとするコード化ツールである。ＡＲＰでは、参照ビューにおける動き補償のために現在のビューにおける動き情報を整合させることによって残差予測子が生成される。更に、ビューの間の品質差を補償するために重み係数が導入される。１つのブロックのためにＡＲＰが使用可能であるとき、現在の残差と残差予測子との間の差が信号伝達される。即ち、現在のブロックのための残差が残差予測子の残差から減算され、得られた差が信号伝達される。３Ｄ−ＨＥＶＣのための幾つかの提案では、ＡＲＰは、Ｐａｒｔ＿２Ｎｘ２Ｎに等しい区分化モードをもつインターコード化ＣＵにのみ適用される。
[0155]図９は、時間的に予測されたビデオブロックの時間的ＡＲＰ）のために提案する例のための例示的な予測構造を示す概念図である。Ｐａｒｔ＿２Ｎｘ２Ｎに等しい区分化モードをもつＣＵに適用されるＡＲＰは、Ｚｈａｎｇら、「ＣＥ４：Ａｄｖａｎｃｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖｉｅｗ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会、第４回会合、仁川、韓国、２０１３年４月２０〜２６日、文書ＪＣＴ３Ｖ−Ｄ０１７７（ＭＰＥＧ番号ｍ２９００８）、以下「ＪＣＴ３Ｖ−Ｄ０１７７」において提案されたように、第４回ＪＣＴ３Ｖ会合において採用された。ＪＣＴ３Ｖ−Ｄ０１７７は、以下のリンクからダウンロードされ得る。
ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８６２。
[0156]図９に示すように、ビデオコーダは、現在のビュー、例えば、従属ビューＶｍの現在のピクチャ１０２中の現在のビデオブロック１００の残差の予測において以下のブロックの呼出し又は識別を行う。
１）（ビューＶm中の）現在のビデオブロック１００：Ｃｕｒｒ
２）参照／ベースビュー（図９中のＶ0）のビュー間参照ピクチャ１０８中のビュー間参照ビデオブロック１０６：Ｂａｓｅ。ビデオコーダは、現在のビデオブロック１００（Ｃｕｒｒ）のＤＶ１０４に基づいてビュー間参照ビデオブロック１０６を導出する。ビデオコーダは、上記で説明したように、ＮＢＤＶ導出を使用してＤＶ１０４を決定し得る。
３）現在のビデオブロック１００（Ｃｕｒｒ）と同じビュー（Ｖm）中の時間参照ピクチャ１１４中の時間参照ビデオブロック１１２：ＣｕｒｒＴＲｅｆ。ビデオコーダは、現在のビデオブロック１００のＴＭＶ１１０に基づいて時間参照ビデオブロック１１２を導出する。ビデオコーダは、本明細書で説明する技法のうちのいずれかを使用して、ＴＭＶ１１０を決定し得る。
４）参照ビュー、即ち、ビュー間参照ビデオブロック１０６（Ｂａｓｅ）と同じビュー中の時間参照ピクチャ１１８中の時間参照ビデオブロック１１６：ＢａｓｅＴＲｅｆ。ビデオコーダは、現在のビデオブロック１００（Ｃｕｒｒ）のＴＭＶ１１０を使用して参照ビュー中の時間参照ビデオブロック１１６を導出する。ＴＭＶ＋ＤＶのベクトル１２１は、現在のビデオブロック１００（Ｃｕｒｒ）に対する時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ）を識別し得る。
[0157]ビデオエンコーダ２０が、ＴＭＶ１１０を使用してビデオエンコーダ２０が識別する時間参照ビデオブロック１１２に基づいて現在のビデオブロック１００を時間的にインター予測するとき、ビデオエンコーダ２０は、現在のビデオブロック１００と時間参照ビデオブロック１１２との間の画素ごとの差を残差ブロックとして決定する。ＡＲＰがなければ、ビデオエンコーダ２０は、残差ブロックを変換し、量子化し、エントロピー符号化することになる。ビデオデコーダ３０は、符号化ビデオビットストリームをエントロピー復号し、逆量子化及び変換を実行して残差ブロックを導出し、参照ビデオブロック１１２の再構成に残差ブロックを適用して現在のビデオブロック１００を再構成することになる。
[0158]ＡＲＰを使用すると、ビデオコーダは、残差ブロックの値を予測する、即ち、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）との間の差を予測する残差予測子ブロックを決定する。ビデオエンコーダ２０は、従って、残差ブロックと残差予測子ブロックとの間の差を符号化するだけでよく、現在のビデオブロック１００を符号化するために符号化ビデオビットストリーム中に含まれる情報量が低減し得る。図９の時間的ＡＲＰの例では、現在のビデオブロック１００の残差の予測子は、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）とに対応し、ＤＶ１０４によって識別される、参照／ベースビュー（Ｖ0）中のブロックに基づいて決定される。参照ビュー中のこれらの対応するブロック間の差は、残差、即ち、現在のビデオブロック１００（Ｃｕｒｒ）と時間参照ビデオブロック１１２（ＣｕｒｒＴＲｅｆ）との間の差の良好な予測子であり得る。特に、ビデオコーダは、参照ビュー中のビュー間参照ビデオブロック１０６（Ｂａｓｅ）と時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ）とを識別し、ビュー間参照ビデオブロック１０６と時間参照ビデオブロック１１６（ＢａｓｅＴＲｅｆ−Ｂａｓｅ）との間の差に基づいて残差予測子ブロックを決定し、ここにおいて、示された画素アレイの各画素に減算演算が適用される。幾つかの例では、ビデオコーダは、重み係数ｗを残差予測子に適用し得る。そのような例では、現在のブロック、即ち、参照ブロックを残差予測子ブロックと加算したものの最終予測子は、ＣｕｒｒＴＲｅｆ＋ｗ＊（ＢａｓｅＴＲｅｆ−Ｂａｓｅ）として示され得る。
[0159]図１０は、現在のビュー（Ｖｍ）中の現在のビデオブロック１２０の時間的ＡＲＰのための例示的な双方向予測構造を示す概念図である。上記の説明及び図９に単方向予測を示す。ＡＲＰを双方向予測の場合に拡大するとき、ビデオコーダは、現在のビデオブロック１２０のための残差予測子ブロックを識別するために、参照ピクチャリストの一方又は両方に上記技法を適用し得る。特に、ビデオコーダは、参照リストのうちの１つが時間的ＡＲＰのために使用可能なＴＭＶを含んでいるかどうか決定するために、現在のビデオブロック１２０のための参照リストの一方又は両方を検査し得る。図１０によって示される例では、現在のビデオブロック１２０は、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）中の第１の時間参照ピクチャ１３４を指すＴＭＶ１３０に関連付けられ、第２の時間参照ピクチャ１３６を指すＴＭＶ１３２は、第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）である。
[0160]幾つかの例では、ビデオコーダは、それらのうちの１つが時間的ＡＲＰのために使用可能なＴＭＶを含むかどうか決定するために検査順序に従って参照ピクチャリストを検査することになり、第１のリストがそのようなＴＭＶを含む場合、検査順序に従って第２のリストを検査する必要はない。幾つかの例では、ビデオコーダは、両方の参照ピクチャリストを検査し、両方のリストがＴＭＶを含む場合、例えば、現在のビデオブロックの残差に対してＴＭＶを使用して生成される得られた残差予測子の比較に基づいて、どちらのＴＭＶを使用すべきかを決定することになる。特に、ＡＲＰに関する現在の提案、例えば、ＪＣＴ３ＶＣ−Ｄ０１７７、によれば、現在のブロックが、１つの参照ピクチャリストのための（異なるビュー中の）ビュー間参照ピクチャを使用するとき、残差予測プロセスは無効にされる。
[0161]図１０に示すように、ビデオコーダは、異なる参照ビュー（Ｖ0）中にあるが、現在のピクチャ１２２と同じアクセス単位中にあるビュー間参照ピクチャ１２８中の対応するビュー間参照ビデオブロック１２６（Ｂａｓｅ）を識別するために、例えば、ＮＢＤＶ導出プロセスに従って現在のビデオブロック１２０のために識別されたＤＶ１２４を使用し得る。ビデオコーダはまた、両方の参照ピクチャリスト、例えば、ＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１中の参照ビューの様々な時間参照ピクチャ中のビュー間参照ビデオブロック１２６（Ｂａｓｅ）のための時間参照ブロック（ＢａｓｅＴＲｅｆ）を識別するために現在のビデオブロック１２０のためのＴＭＶ１３０及び１３２を使用し得る。図１０の例では、ビデオコーダは、現在のビデオブロック１２０のＴＭＶ１３０及び１３２に基づいて、第１の参照ピクチャリスト、例えば、ＲｅｆＰｉｃＬｉｓｔ０中の時間参照ピクチャ１４２中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）１４０と、第２の参照ピクチャリスト、例えば、ＲｅｆＰｉｃＬｉｓｔ１中の時間参照ピクチャ１４６中の時間参照ビデオブロック（ＢａｓｅＴＲｅｆ）１４４とを識別する。
[0162]参照ビュー中の現在のビデオブロック１２０のＴＭＶ１３０及び１３２の使用を、図１０中の破線矢印によって示す。図１０では、参照ビュー中の時間参照ビデオブロック１４０及び１４４を、ＴＭＶ１３０及び１３２に基づくそれらの識別のために動き補償参照ブロックと呼ぶ。ビデオコーダは、時間参照ビデオブロック１４０とビュー間参照ビデオブロック１２６との間の差に基づいて、又は時間参照ビデオブロック１４４とビュー間参照ビデオブロック１２６との間の差に基づいて、現在のビデオブロック１２０のための残差予測子ブロックを決定し得る。
[0163]繰り返すが、デコーダ側における提案された時間的ＡＲＰプロセスは、次のように（図１０を参照しながら）説明され得る。
１．ビデオデコーダ３０が、ターゲット参照ビュー（Ｖ0）を指す、例えば、ＮＢＤＶ導出を使用して現在の３Ｄ−ＨＥＶＣにおいて指定されているようにＤＶ１２４を取得する。次いで、同じアクセス単位内の参照ビューのピクチャ１２８中で、ビデオデコーダ３０が、ＤＶ１２４により対応するビュー間参照ビデオブロック１２６（Ｂａｓｅ）を識別する。
２．ビデオデコーダ３０が、対応するビュー間参照ビデオブロック１２６についての動き情報を導出するために、現在のビデオブロック１２０の動き情報、例えば、ＴＭＶ１３０、１３２を再使用する。ビデオデコーダ３０が、動き補償時間参照ビデオブロック１４０、１４４（ＢａｓｅＴＲｅｆ）を識別し、ＢａｓｅＴＲｅｆ−Ｂａｓｅを決定することによって残差予測子ブロックを決定するために、現在のビデオブロック１２０のＴＭＶ１３０、１３２と参照ビデオブロック１２６のための参照ビュー中の導出された参照ピクチャ１４２、１４６とに基づいて対応するビュー間参照ビデオブロック１２６の動き補償を適用し得る。現在のブロックと、対応するブロック（Ｂａｓｅ）と、動き補償ブロック（ＢａｓｅＴＲｅｆ）との間の関係を、図９及び図１０に示す。幾つかの例では、現在のビュー（Ｖm）の参照ピクチャと同じＰＯＣ（ピクチャ順序カウント）値を有する参照ビュー（Ｖ0）中の参照ピクチャは、対応するブロックの参照ピクチャとして選択される。
３．ビデオデコーダ３０が、残差予測子ブロックに重み係数ｗを適用して重み付け残差予測子ブロックを得、予測サンプルに重み付け残差ブロックの値を追加して現在のビデオブロック１２０を再構成し得る。
[0164]図１１は、本開示で説明する技法による、ビュー間予測ビデオブロックのビュー間ＡＲＰのための概念図、例示的な予測構造である。図１１に関する技法は、Ｚｈａｎｇら、「ＣＥ４：Ｆｕｒｔｈｅｒ ｉｍｐｒｏｖｅｍｅｎｔｓ ｏｎ ａｄｖａｎｃｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との３Ｄビデオコード化拡張開発共同研究部会、第６回会合、ジュネーブ、スイス、２０１３年１０月２５日〜１１月１日、以下「ＪＣＴ３Ｖ−Ｆ０１２３」において提案されている。ＪＣＴ３Ｖ−Ｆ０１２３は、以下のリンクからダウンロードされ得る。ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１４６０。
[0165]図１１に示す例示的な技法によれば、ビデオコーダ、例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ビュー間予測される現在のブロックの残差を予測するために、異なるアクセス単位からのビュー間残差を使用し得る。現在のブロックの動きベクトルがＤＭＶであるときはＡＲＰが実行されず、現在のビデオブロックの動きベクトルがＴＭＶであるときにのみＡＲＰが実行されるＡＲＰに関する提案とは対照的に、図１１の例示的な技法は、ＡＲＰを実行するためにＤＭＶを使用する。
[0166]特に、図１１の例示的な技法は、現在のピクチャ１５２中の現在のビデオブロック１５０（Ｃｕｒｒ）の動きベクトルがＤＭＶ１５４であり、参照ビュー（Ｖ０）中のビュー間参照ピクチャ１５８中のビュー間参照ビデオブロック１５６（Ｂａｓｅ）が少なくとも１つのＴＭＶ１６０を含んでいるときに、ビデオコーダ、例えば、ビデオエンコーダ２０又はビデオデコーダ３０によって実行され得る。幾つかの例では、ＤＭＶ１５４は、現在のビデオブロック１５０の動き情報予測のためのＩＤＭＶＣとして働くためにＤＭＶに変換されたＤＶであり得る。
[0167]ビデオコーダは、現在のビデオブロック１５０のためのＤＭＶ１５４を使用して、ビュー間参照ピクチャ１５８中のビュー間参照ビデオブロック１５６（Ｂａｓｅ）を識別する。ビデオコーダは、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）を識別するために、ＴＭＶ１６０と、ＤＭＶとともにビュー間参照ビデオブロック１５６の関連する参照ピクチャ、例えば、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４とを使用する。ＴＭＶ１６０とＤＭＶ１５４とに基づく時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）の識別は、破線ベクトル１７０（ＴＭＶ＋ＤＭＶ）によって表される。ビデオコーダはまた、現在のビュー（Ｖm）中の時間参照ピクチャ１６８中の時間参照ビデオブロック１６６（ＣｕｒｒＴＲｅｆ）を識別するためにＴＭＶ１６０を使用する。参照ビュー（Ｖ0）中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）と現在のビュー（Ｖm）中の時間参照ビデオブロック１６６（ＣｕｒｒＴＲｅｆ）とは、同じアクセス単位、即ち、参照ビュー（Ｖ0）中の時間参照ピクチャ１６４中にあり得、現在のビュー（Ｖm）中の時間参照ピクチャ１６８は、同じアクセス単位中にあり得る。
[0168]ビデオコーダ、例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、次いで、これらの２つの後のブロック間の画素ごとの差、即ち、現在のビュー中の時間参照ビデオブロック１６６と参照ビュー中の時間参照ビデオブロック１６２との間の差、又はＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆに基づいて、現在のビデオブロック１５０からの異なるアクセス単位中のビュー間残差予測子ブロックを計算し得る。ビュー間残差予測子として示される差分信号は、現在のビデオブロック１５０の残差を予測するために使用され得る。現在のビデオブロック１５０の予測信号は、ビュー間予測子、即ち、ビュー間参照ビデオブロック１５６（Ｂａｓｅ）と、現在のビュー中の時間参照ビデオブロック１６６と参照ビュー中の時間参照ビデオブロック１６２との間の差に基づいて決定された異なるアクセス単位中の予測ビュー間残差との和であり得る。幾つかの例では、異なるアクセス単位中の予測ビュー間残差に重み係数ｗが適用される。そのような例では、現在のビデオブロック１５０の予測信号は、Ｂａｓｅ＋ｗ＊（ＣｕｒｒＴＲｅｆ−ＢａｓｅＴＲｅｆ）であり得る。
[0169]幾つかの例では、ビデオコーダは、例えば、上記で説明したように時間的ＡＲＰのためのターゲット参照ピクチャの決定と同様に、ビュー間ＡＲＰのためのターゲットアクセス単位中のターゲット参照ピクチャを決定し得る。幾つかの例では、ＪＣＴ３Ｖ−Ｄ０１７７に関して上記で説明したように、各参照ピクチャリストのためのターゲット参照ピクチャは、参照ピクチャリスト中の第１の参照ピクチャである。他の例では、一方又は両方の参照ピクチャリストのためのターゲット参照ピクチャ、例えば、ターゲットＰＯＣが、ＰＵ、ＣＵ、スライス、ピクチャ、又は他のものごとにビデオエンコーダ２０からビデオデコーダ３０に信号伝達され得る。他の例では、各参照ピクチャリストのためのターゲット参照ピクチャは、現在のブロックと比較して最も小さいＰＯＣ差を有し、より小さい参照ピクチャインデックスを有する参照ピクチャリスト中の時間参照ピクチャである。他の例では、２つの参照ピクチャリストのためのターゲット参照ピクチャは同じものである。
[0170]ＴＭＶ１６０によって示される参照ビュー中の時間参照ビデオブロックを含んでいるピクチャが、異なるアクセス単位（時間インスタンス）、従って、ターゲットＡＲＰ参照ピクチャ中にある場合、ビデオコーダは、ビュー間ＡＲＰのための参照ビュー中の時間参照ビデオブロック１６２（ＢａｓｅＴＲｅｆ）を識別するために、ターゲット参照ピクチャ、例えば、ターゲット参照ピクチャ１６４にＴＭＶ１６０をスケーリングし得る。そのような例では、ビデオコーダは、ターゲットＡＲＰ参照ピクチャを含んでいるアクセス単位中の時間参照ビデオブロック１６２の位置を特定する。ビデオコーダは、ＰＯＣスケーリングによってＴＭＶ１６０をスケーリングし得る。更に、スケーリングされたＴＭＶは、ターゲットＡＲＰ参照ピクチャ中にある現在のビュー中の時間参照ビデオブロック（ＣｕｒｒＴＲｅｆ）１６６を識別するために使用される。
[0171]幾つかの例では、ビデオコーダは、ＬＸ（Ｘは０又は１である）ターゲット参照ピクチャにＴＭＶ１６０をスケーリングし、ここで、ＬＸは、ＴＭＶを含むＰＵのＲｅｆＰｉｃＬｉｓｔＸに対応する。幾つかの例では、ビデオコーダは、ＴＭＶをＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１のいずれか又は両方から、それぞれ、Ｌ０又はＬ１ターゲット参照ピクチャにスケーリングし得る。幾つかの例では、ビデオコーダは、ＬＸターゲット参照ピクチャにＴＭＶ１６０をスケーリングし、ここにおいて、Ｘは、現在のビデオブロック１５０、例えば、現在のＰＵのＤＭＶ１５４がＲｅｆＰｉｃＬｉｓｔＸに対応するという条件を満たす。
[0172]同様に、幾つかの例では、ビデオコーダは、ターゲット参照ビュー中の参照ピクチャ１５８中のビュー間参照ビデオブロック１５６を識別するより前に、ＡＲＰのためのターゲット参照ビューにＤＭＶ１５４をスケーリングする。ビデオコーダは、ビュー順序差スケーリングによってＤＭＶ１５４をスケーリングし得る。ターゲット参照ビューは、ビデオエンコーダ２０及びビデオデコーダ３０によって予め決定されているか、又は知られていることがあり、あるいは、例えば、ＰＵ、ＣＵ、スライス、ピクチャ、又は他のものごとにビデオエンコーダ２０からビデオデコーダ３０に信号伝達され得る。
[0173]ビュー間ＡＲＰの幾つかの例では、ビデオコーダ、例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、同じ予測構造と、図１１に示す識別された参照ビデオブロック１５６、１６２及び１６６とを使用して現在のブロック１５０のための予測信号を導出し得るが、異なるアクセス単位中の参照ブロック１６２及び１６６ではなく、参照ビュー中の参照ブロック１５６と参照ブロック１６２との間の差に基づいて残差予測子ブロックを決定し得る。そのような例では、ビデオコーダは、他のサンプルアレイ、例えば、参照ビュー中の参照ブロック１５６と参照ブロック１６２との間の差に重み係数を適用し、それに応じて、ＣｕｒｒＴＲｅｆ＋ｗ＊（Ｂａｓｅ−ＢａｓｅＴＲｅｆ）のように現在のビデオブロック１５０のための予測信号を導出し得る。ビュー間ＡＲＰの幾つかの例では、ビデオコーダは、参照ビデオブロック１５６、１６２及び１６６が分数画素位置と整合する場合にそれらを導出するために、バイリニアフィルタを含む様々な補間フィルタを使用し得る。
[0174]図１１に、現在のビューと参照ビューとの中の時間参照ビデオブロックがビュー間参照ブロックに関連するＴＭＶとビュー間参照ビデオブロックの関連する参照ピクチャとを使用して識別されるビュー間ＡＲＰ例を示すが、他の例では、現在のビューと参照ビューとの中の時間参照ビデオブロックを識別するために他のＴＭＶと関連する参照ピクチャとが使用され得る。例えば、現在のビデオブロックのＤＭＶが、現在のビデオブロックの第１の参照ピクチャリスト（例えば、ＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１）からのものである場合、ビデオコーダは、現在のブロックの第２の参照ピクチャリストに対応するＴＭＶと現在のビデオブロックの第２の参照ピクチャリスト（例えば、ＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１の他方）からの関連する参照ピクチャとを使用し得る。そのような例では、ビデオコーダは、ＴＭＶに関連する参照ピクチャ中の現在のビュー中の時間参照ビデオブロックを識別するか、又は現在のビュー中の時間参照ビデオブロックを識別するために、ＡＲＰのためのターゲットアクセス単位とターゲット参照ピクチャとにＴＭＶをスケーリングし得る。そのような例では、ビデオコーダは、現在のビュー中の時間参照ビデオブロックが位置していた参照ピクチャと同じアクセス単位中にある参照ピクチャ中の参照ビュー中の時間参照ビデオブロックを識別し得る。他の例では、ビュー間参照ビデオブロックのＴＭＶ又は現在のビデオブロックの他の参照ピクチャリストのＴＭＶではなく、ビデオコーダは、ＡＲＰのための現在のビューと参照ビューとの中の時間参照ビデオブロックを識別するために、現在のビデオブロックの空間的又は時間的隣接ビデオブロックの動き情報から導出されたＴＭＶと関連する参照ピクチャとを同様に使用し得る。
[0175]以下の説明では、１つの参照ピクチャリストのための対応する参照が時間参照ピクチャであり、ＡＲＰが適用される場合、ＡＲＰプロセスは時間ＡＲＰとして示される。そうではなく、１つの参照ピクチャリストのための対応する参照がビュー間参照ピクチャであり、ＡＲＰが適用される場合、ＡＲＰプロセスはビュー間ＡＲＰとして示される。
[0176]ＡＲＰに関する幾つかの提案では、３つの重み付け係数、即ち、０、０．５、及び１が使用され得る。現在のＣＵについて最小レート歪コストをもたらす重み係数が最終重み係数として選択され、対応する重み係数インデックス（それぞれ、重み係数０、１、及び０．５に対応する０、１、及び２）がＣＵレベルでビットストリーム中で送信される。１つのＣＵ中の全てのＰＵ予測が同じ重み係数を共有する。重み係数が０に等しくなると、現在のＣＵのためにＡＲＰが使用されない。
[0177]３Ｄ−ＨＥＶＣのためのＡＲＰに関する追加の態様は、Ｚｈａｎｇら、「３Ｄ−ＣＥ４：Ａｄｖａｎｃｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖｉｅｗ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコード化拡張開発共同研究部会、第３回会合、ジュネーブ、スイス、２０１３年１月１７〜２３日、文書ＪＣＴ３Ｖ−Ｃ００４９（ＭＰＥＧ番号ｍ２７７８４）、以下「ＪＣＴ３Ｖ−Ｃ００４９」に記載されている。ＪＣＴ３Ｖ−Ｃ００４９は、以下のリンクからダウンロードされ得る。
ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ３ｖ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝４８７。
[0178]ＪＣＴ３Ｖ−Ｃ００４９では、非ゼロ重み係数を用いてコード化された異なるＰＵの参照ピクチャは、ＰＵごとに（又は現在のビデオブロックごとに）異なり得る。従って、動き補償ブロック（ＢａｓｅＴＲｅｆ）、例えば、図９及び図１０中の時間参照ビデオブロック１１６、１４０及び１４４、又は参照ビュー（Ｂａｓｅ）中の対応するビュー間参照ビデオブロック、例えば、図９及び図１０中のビュー間参照ビデオブロック１０６及び１２６を生成するために、参照ビューとは異なるピクチャにアクセスする必要があり得る。
[0179]重み係数が０に等しくないとき、時間残差について、現在のＰＵの動きベクトルは、残差生成プロセスと残差予測子生成プロセスとの両方の動き補償を実行する前に、固定ピクチャに向けてスケーリングされる。ビュー間残差にＡＲＰが適用されるとき、参照ブロック（例えば、図１１中のブロック１５６）の時間動きベクトルが、残差生成プロセスと残差予測子生成プロセスとの両方の動き補償を実行する前に固定ピクチャに向けてスケーリングされる。いずれ（即ち、時間残差又はビュー間残差）の場合も、固定ピクチャは、各参照ピクチャリストの最初の利用可能な時間参照ピクチャとして定義される。復号動きベクトルは、固定ピクチャを指さないとき、最初にスケーリングされ、次いでＣｕｒｒＴＲｅｆ及びＢａｓｅＴＲｅｆを識別するために使用される。
[0180]ＡＲＰのために使用されるそのような参照ピクチャはターゲットＡＲＰ参照ピクチャと呼ばれる。現在のスライスがＢスライスであるとき、ターゲットＡＲＰ参照ピクチャが１つの特定の参照ピクチャリストに関連付けられることに留意されたい。従って、２つのターゲットＡＲＰ参照ピクチャが利用され得る。
[0181]ターゲットＡＲＰ参照ピクチャの利用可能性検査は、次のように実行され得る。最初に、ＲｐＲｅｆＰｉｃＬＸによって１つの参照ピクチャリストＸ（Ｘは０又は１である）に関連するターゲットＡＲＰ参照ピクチャを示し、ＲｅｆＰｉｃＩｎＲｅｆＶｉｅｗＬＸによって、ビュー順序インデックスがＮＢＤＶ導出プロセスから導出されたビュー順序インデックスに等しく、ＲｐＲｅｆＰｉｃＬＸの同じＰＯＣ値をもつビュー中のピクチャを示す。
[0182]以下の条件のうちの１つが偽であるとき、ＡＲＰは参照ピクチャリストＸについて無効にされる。
− ＲｐＲｅｆＰｉｃＬＸが利用不可能である
− ＲｅｆＰｉｃＩｎＲｅｆＶｉｅｗＬＸが、復号ピクチャバッファ中に記憶されない
− ＲｅｆＰｉｃＩｎＲｅｆＶｉｅｗＬＸが、ＮＢＤＶ導出プロセスからのＤＶ又は現在のブロックに関連するＤＭＶによって位置を特定される対応するブロック（例えば、図９中のブロック１０６又は図１１中のブロック１５６）の参照ピクチャリストのいずれかの中に含まれない、ＡＲＰは、この参照ピクチャリストについて無効にされる。
[0183]ＡＲＰが適用されるとき、残差と残差予測子とを生成するときにバイリニアフィルタが使用され得る。即ち、例えば、図９中のブロック１０６、１１２、及び１１６は、バイリニアフィルタを使用して生成される。
[0184]図１２は、１つの参照ピクチャリストのためにビュー間予測を使用し、別の参照ピクチャリストのために時間的予測を使用する双方向ＡＲＰのための例示的な予測構造を示す概念図である。図１２の例示的な技法は、現在のビデオブロック２５０の双方向予測の１つの予測方向が、（例えば、参照ピクチャリストＸのために）時間的予測を使用し、現在のビデオブロック２５０の他の予測方向が、（例えば、参照ピクチャリストＹ（Ｙ＝１−Ｘ）のために）ビュー間予測を使用するときにビデオエンコーダ２０及び／又はビデオデコーダ３０によって実行され得る。
[0185]図１２の例では、現在のビデオブロック２５０は、ＴＭＶ２１０及びＤＭＶ２５４に関連付けられ得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、図９に関して上記で説明したのと同様の方法で、参照ピクチャリストＸ（即ち、第１の予測方向）のための参照ブロックを識別し、アクセスするように構成され得る。
[0186]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビュー、例えば、従属ビューＶｍの現在のピクチャ２５３中の現在のビデオブロック２５０の残差の予測において以下のブロックを識別する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、参照／ベースビュー（図１２中のＶ0）のビュー間参照ピクチャ２５８中のビュー間参照ビデオブロック２０６（ＢａｓｅＸ）を識別する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック２５０（Ｃｕｒｒ）のＤＶ２０４に基づいてビュー間参照ビデオブロック２０６を識別する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、上記で説明したように、ＮＢＤＶ導出を使用してＤＶ２０４を決定し得る。
[0187]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、更に、現在のビデオブロック２５０（Ｃｕｒｒ）と同じビュー（Ｖm）中の時間参照ピクチャ２７０中の時間参照ビデオブロック２１２（ＣｕｒｒＴＲｅｆＸ）を識別し得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック２５０のＴＭＶ２１０を使用して時間参照ビデオブロック２１２を識別する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、本明細書で説明する技法のいずれかを使用してＴＭＶ２１０を決定し得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、更に、参照ビュー、即ち、ビュー間参照ビデオブロック２０６（ＢａｓｅＸ）と同じビュー中の時間参照ピクチャ２７２中の時間参照ビデオブロック２１６（ＢａｓｅＴＲｅｆＸ）を識別し得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック２５０（Ｃｕｒｒ）のＴＭＶ２１０を使用して参照ビュー中で時間参照ビデオブロック２１６を識別し得る。ＴＭＶ２１０＋ＤＶ２０４のベクトル２２０は、現在のビデオブロック２５０（Ｃｕｒｒ）に対する時間参照ビデオブロック２１６（ＢａｓｅＴＲｅｆＸ）を識別し得る。図１２でわかるように、参照ピクチャリストＸ（即ち、第１の予測方向）について、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、３つの参照ブロック（即ち、参照ブロック２０６、２１２、及び２１６）を識別し、アクセスするように構成される。
[0188]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、図１１に関して上記で説明したのと同様の方法で、参照ピクチャリストＹ（即ち、第１の予測方向）のための参照ブロックを識別し、アクセスするように構成され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、参照／ベースビュー（図１２中のＶ0）のビュー間参照ピクチャ２５８中のビュー間参照ビデオブロック２５６（ＢａｓｅＹ）を識別する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック２５０（Ｃｕｒｒ）のＤＭＶ２５４に基づいてビュー間参照ビデオブロック２５６を識別する。
[0189]ビデオエンコーダ２０及び／又はビデオデコーダ３０は、更に、現在のビデオブロック２５０（Ｃｕｒｒ）と同じビュー（Ｖm）中の時間参照ピクチャ２６８中の時間参照ビデオブロック２７３（ＣｕｒｒＴＲｅｆＹ）を識別し得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、現在のビデオブロック２５０のＴＭＶ２８５を使用して時間参照ビデオブロック２７３を識別し得る。ビデオコーダは、参照ビュー（Ｖ0）中の時間参照ピクチャ２６５中の時間参照ビデオブロック２７１（ＢａｓｅＴＲｅｆＹ）を識別するために、ＴＭＶ２８５と、ＤＭＶ２５４とともにビュー間参照ビデオブロック２５６の関連する参照ピクチャ、例えば、参照ビュー（Ｖ0）中の時間参照ピクチャ２６５とを使用する。ＴＭＶ２８５とＤＭＶ２５４とに基づく時間参照ビデオブロック２７１（ＢａｓｅＴＲｅｆＹ）の識別は、破線ベクトル（ＴＭＶ＋ＤＭＶ）によって表される。参照ビュー（Ｖ0）中の時間参照ビデオブロック２７１（ＢａｓｅＴＲｅｆＹ）と現在のビュー（Ｖm）中の時間参照ビデオブロック２７３（ＣｕｒｒＴＲｅｆＹ）とは、同じアクセス単位、即ち、参照ビュー（Ｖ0）中の時間参照ピクチャ２６５中にあり得、現在のビュー（Ｖm）中の時間参照ピクチャ２６８は、同じアクセス単位中にあり得る。
[0190]図１２で分かるように、参照ピクチャリストＹ（即ち、第２の予測方向）について、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、追加の３つの参照ブロック（即ち、参照ブロック２５６、２７１、及び２７３）を識別し、アクセスするように構成される。
[0191]３Ｄ−ＨＥＶＣにおけるＡＲＰのための上述の技法は、幾つかの欠点を示す。一例として、双方向予測が２つの異なる参照ピクチャリストについての動き情報の使用を本質的に含むので、双方向予測と併せてブロックレベルのＡＲＰ又はＰＵレベルのＡＲＰを実行するときに動き情報へのメモリアクセスの数が増加する。更に、識別され、アクセスする参照ブロックの数は多い。従って、ＡＲＰと組み合わせた双方向予測はデコーダ複雑さが増加する。
[0192]本開示は、ビデオデコーダの複雑さを低減するために、ＡＲＰについての上述の問題に対処する様々な例示的な技法を提案する。以下に記載する技法の各々は、ＡＲＰと、ＡＲＰについての現在の提案に関係する他の関連するビデオコード化技法を実行するために必要とされるメモリアクセスの数を減少させる。
[0193]図１３は、本開示の技法による、１つの参照ピクチャリストのためにビュー間予測を使用し、別の参照ピクチャリストのために時間的予測を使用する双方向ＡＲＰのための例示的な予測構造を示す概念図である。図１３の例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、双方向予測とＡＲＰとを使用して現在のビデオブロック２５０をコード化するように構成される。双方向予測は、参照ピクチャリストＸ（例えば、第１の予測方向）のための時間的予測と、参照ピクチャリストＹ（例えば、第２の予測方向）のためのビュー間予測とを含む。
[0194]図１３の技法によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、図１２に関して上記で説明したのと同様の方法で参照ピクチャリストＸ（例えば、第１の予測方向）のための参照ブロック２０６（ＢａｓｅＸ）と、参照ブロック２１６（ＢａｓｅＴｒｅｆＸ）と、参照ブロック２１２（ＣｕｒｒＴｒｅｆＸ）とを識別するように構成される。即ち、ＴＭＶ２１０は、それぞれ、参照ブロック２０６（ＢａｓｅＸ）及び現在のビデオブロック２５０に対する参照ブロック２１６（ＢａｓｅＴｒｅｆＸ）及び参照ブロック２１２（ＣｕｒｒＴｒｅｆＸ）を識別するために使用される。更に、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、（図１２に関して上記で説明したのと同様の方法で）ＤＭＶ２５４を使用して参照ピクチャリストＹ（例えば、第２の予測方向）のための参照ブロック２５６（ＢａｓｅＹ）を識別するように構成される。
[0195]しかしながら、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ＣｕｒｒＴｒｅｆＹ及びＢａｓｅＴｒｅｆＹを識別するために参照ブロック２５６（ＢａｓｅＹ）に関連する時間動き情報を使用しない。代わりに、本開示の技法によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ＣｕｒｒＴｒｅｆＹ及びＢａｓｅＴｒｅｆＹを識別するために、参照リストＸ（即ち、ＴＭＶ２１０）についての時間動き情報を使用するように構成され得る。図１３に示すように、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、参照ブロック２５６（ＢａｓｅＹ）に対するＴＭＶ２１０を使用して、ビューＶ0中の参照ブロック２９０（ＢａｓｅＴｒｅｆＹ）を識別するように構成される。即ち、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ＤＭＶ２５４とＴＭＶ２１０との両方を使用して参照ブロック２９０（ＢａｓｅＴｒｅｆＹ）を識別するように構成される。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、更に、ＴＭＶ２１０を使用して現在のビデオブロック２５０と同じビュー（Ｖｍ）中のＣｕｒｒＴｒｅｆＹを識別するように構成される。従って、参照ブロック２１２は、ＣｕｒｒＴｒｅｆＸとＣｕｒｒＴｒｅｆＹとの両方として働く。従って、本開示の技法を使用して、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、双方向予測を用いるＡＲＰを実行するときに、６つではなく５つの参照ブロックのみを識別し、アクセスする。
[0196]要約すれば、参照ピクチャリストＹ（例えば、第２の予測方向）に対応するビュー間ＡＲＰのための参照ブロックを識別すると、ビデオエンコーダ２０及びビデオデコーダ３０は、異なるアクセス単位（即ち、参照ブロック２９０及び２１２）中の参照ブロックを識別するために参照ピクチャリストＸのための時間的予測に関連する時間動き情報（例えば、図１３中のＴＭＶ２１０）を使用し得る。この場合、ビュー間ＡＲＰを実行するとき、現在のビュー（即ち、参照ブロック２１２）とは異なるアクセス単位中の参照ブロックは、参照ピクチャリストＸのための時間ＡＲＰのために識別された参照ブロックと同じであるので、生成される必要がない。即ち、時間ＡＲＰとビュー間ＡＲＰとの両方のために参照ブロック２１２が使用される。
[0197]このようにして、第１の予測方向についての時間動き情報が第２の予測方向のために再使用される。従って、第２の予測方向に対応する第１の符号化ブロックの動きベクトルによって識別されるブロックの時間動き情報にアクセスする必要がないので、時間動き情報のメモリアクセスを行う必要が少なくなり、従って、より高速なビデオ復号が可能になる。更に、ＡＲＰを実行するときに使用される参照ブロックの総数が６から５に低減され得、これによって、乗算及び加算演算を使用した補間に関する計算複雑さが少なくなる。同様に、双方向インター予測を実行するとき、ビデオエンコーダ２０は、第２の予測方向を符号化するときに第１の予測方向についての時間動き情報を再使用するように構成され得る。
[0198]本開示の別の例では、双方向予測の（例えば、参照ピクチャリストＸに対応する）１つの予測方向が、時間参照ピクチャに対応し、（例えば、参照ピクチャリストＹに対応する）他の予測方向が、ビュー間参照ピクチャに対応するとき、ビデオエンコーダ２０及びビデオデコーダ３０は、簡略化されたＡＲＰプロセスを実行するように構成され得る。この場合、参照ピクチャリストＸに対応する時間ＡＲＰについて、ビデオエンコーダ２０及びビデオデコーダ３０は、ＮＢＤＶ／ＤｏＮＢＤＶ導出プロセスから導出される視差ベクトルを使用する代わりに、参照ビュー中の参照ブロック（例えば、図１２中の参照ブロック２７３）を識別するためにビュー間参照ピクチャに関連する視差動きベクトル（ＭＶＹ）を使用するように構成され得る。一方、ＮＢＤＶ又はＤｏＮＢＤＶプロセスからの視差ベクトルは変化し続け、ＩＰＭＶＣ又はＩＤＭＶＣを生成するためにビュー間動き予測において依然として使用され得る。
[0199]上記の方法がＰＵレベルのＡＲＰ又はブロックレベルのＡＲＰの両方に適用され得ることに留意されたい。ＰＵレベルのＡＲＰとブロックレベルのＡＲＰとについて以下でより詳細に説明する。
[0200]次に、ブロックレベルのＡＲＰのための技法について説明する。１つのＰＵ内の全てのブロックが（ＰＵレベルのＡＲＰと呼ばれることがある）ＡＲＰについての同じ動き情報を共有する上記の説明とは異なり、ブロックレベルのＡＲＰでは、１つのＰＵが幾つかのサブブロック（例えば、８×８のサブブロック）に分割され、各サブブロックが、ＡＲＰを実行するためにそれ自体の導出された動き情報に関連付けられる。即ち、各サブブロックは、現在のＰＵと同じ動き情報を共有する。しかしながら、導出された動きベクトル（即ち、時間ＡＲＰでの視差ベクトル又はビュー間ＡＲＰでの時間動きベクトル）が、サブブロックごとに決定され得る。
[0201]図１４は、ブロックベースの時間ＡＲＰを示す概念図である。図１４に示すように、現在のピクチャ３０２は、４つのサブブロック３００ａ、３００ｂ、３００ｃ、及び３００ｄに分割される現在のブロック３００（Ｃｕｒｒ）を含む。動きベクトル３１０（ｍｖＬＸ）は、現在のブロック３００に対してインター予測を実行するために使用される動きベクトルである。動きベクトル３１０は、参照ピクチャ３１４中の、サブブロック３１２ａ〜ｄを含む参照ブロック３１２（ＣｕｒｒＴｒｅｆ）を指す。現在のピクチャ３０２と参照ピクチャ３１４とは同じビュー（Ｖｍ）中にある。
[0202]ブロックベースの時間ＡＲＰについて、サブブロック３００ａ〜ｄの各々のためにデフォルトの導出された動きベクトルが使用される。時間ＡＲＰについて、デフォルトの導出された動きベクトルは、図１４中のｉ番目のサブブロックのためのＤＶ［ｉ］によって示される視差ベクトルであり、現在のＡＲＰの場合のように、ＮＢＤＶ導出プロセスを使用して導出され得る。即ち、ＮＢＤＶ導出プロセスは、サブブロック３００ａ〜ｄの各々のためのＤＶを導出するために、サブブロック３００ａ〜ｄの各々に対して実行され得る。導出されたＤＶの各々は、参照ビュー３０８中の特定の参照ブロック３０６ａ〜ｄ（Ｂａｓｅ）を指す。例えば、ＤＶ３０４（ＤＶ［０］）は、参照ブロック３０６ａを指し、ＤＶ３０５（ＤＶ［１］）は、参照ブロック３０６ｂを指す。
[0203]参照ビュー３０８は、現在のピクチャ３０２と同じ時間インスタンスにあるが、別のビュー中にある。参照ブロック３１２内のサブブロック３１２ａ〜ｄのうちの１つの中心位置が視差動きベクトルを含んでいるとき、現在のサブブロック３００ａ〜ｄの対応する１つのための視差ベクトルＤＶ［ｉ］は、その視差動きベクトルを使用するように更新される。即ち、例えば、現在のサブブロック３００ａに対応する、参照サブブロック３１２ａの中心位置が、関連する視差動きベクトルを有する場合、参照サブブロック３１２ａに関連する視差動きベクトルが、サブブロック３００ａのための視差ベクトルとして使用される。
[0204]参照ブロック３０６ａ〜ｄの各々が識別されると、参照ピクチャ３１８中の参照ブロック３１６ａ〜ｄ（ＢａｓｅＴＲｅｆ）を発見するために動きベクトル３１０が使用され得る。参照ピクチャ３１８は、現在のピクチャ３０２とは異なる時間インスタンスならびに異なるビュー中にある。残差予測子は、次いで、対応する参照ブロック３１６ａ〜ｄ（ＢａｓｅＴｒｅｆ）から参照ブロック３０６ａ〜ｄ（Ｂａｓｅ）を減算することによって決定され得る。次いで、サブブロック３００ａ〜ｄの各々に対してＡＲＰが実行され得る。
[0205]図１５は、ブロックベースのビュー間ＡＲＰを示す概念図である。図１５に示すように、現在のピクチャ３５２は、４つのサブブロック３５０、３５０ｂ、３５０ｃ、及び３５０ｄに分割される現在のブロック３５０（Ｃｕｒｒ）を含む。視差動きベクトル３６０（ＤＭＶ）は、現在のブロック３５０に対してビュー間予測を実行するために使用される視差動きベクトルである。視差動きベクトル３６０は、参照ピクチャ３５８中の、サブブロック３５６ａ〜ｄを含む参照ブロック３５６（Ｂａｓｅ）を指す。現在のピクチャ３５２及び参照ピクチャ３５８は、同じ時間インスタンス中にあるが、異なるビュー中にある。
[0206]ブロックベースのビュー間ＡＲＰについて、サブブロック３５０ａ〜ｄの各々のためにデフォルトの導出された動きベクトルが使用される。ビュー間ＡＲＰについて、デフォルトの導出された動きベクトルは、図１５中のｉ番目のサブブロックのためにｍｖＬＸ［ｉ］によって示される動きベクトルであり、現在のＡＲＰの場合のように、サブブロック３５６ａ〜ｄの各々の中心位置をカバーする時間動きベクトルとして設定され得る。即ち、サブブロック３５６内のｉ番目の８×８のブロックの中心位置をカバーするブロックは、時間動きベクトルを含んでおり、ｍｖＬＸ［ｉ］は、その時間的動きベクトルになるように更新される。
[0207]導出された動きベクトルの各々は、参照ビュー３６８中の特定の参照ブロック３６６ａ〜ｄ（ＢａｓｅＴｒｅｆ）を指す。例えば、動きベクトル３５４（ｍｖＬＸ［０］）は、参照ブロック３６８ａを指し、動きベクトル３５５（ｍｖＬＸ［３］）は、参照ブロック３６６ｄを指す。
[0208]参照ブロック３６６ａ〜ｄの各々が識別されると、参照ピクチャ３６４中の参照ブロック３６２ａ〜ｄ（ＣｕｒｒＴＲｅｆ）を発見するために視差動きベクトル３６０が使用され得る。参照ピクチャ３６４は、現在のピクチャ３５２とは異なる時間インスタンス中にある。残差予測子は、次いで、対応する参照ブロック３６６ａ〜ｄ（ＢａｓｅＴｒｅｆ）から参照ブロック３６２ａ〜ｄ（ＣｕｒｒＴｒｅｆ）を減算することによって決定され得る。次いで、サブブロック３５０ａ〜ｄの各々に対してＡＲＰが実行され得る。
[0209]上記で説明したように、ブロックベースの時間ＡＲＰについて、参照ブロック３１２（ＣｕｒｒＴｒｅｆ）の位置を特定するために、動きベクトル３１０がアクセスされ、使用される。同様に、ブロックベースのビュー間ＡＲＰについて、参照ブロック３５６（Ｂａｓｅ）の位置を特定するために、視差動きベクトル３６０がアクセスされ、使用される。
[0210]図１６は、サブＰＵマージング候補を用いるブロックベースのＡＲＰを示す概念図である。サブＰＵビュー間動き予測が使用可能であるとき、ＮＢＤＶ／ＤｏＮＢＤＶ導出プロセスからの導出された視差ベクトル４１０によって識別される１つの参照ブロック（４０６）の動き情報が、サブＰＵマージング候補を導出するためにアクセスされる。即ち、ブロック４００（Ｃｕｒｒ）内のサブＰＵごとに、サブＰＵマージング候補が決定された後、それは、図１４に示す動きベクトル４０４（ｍｖＬＸ［０］）と動きベクトル４０５（ｍｖＬＸ［１］）とによって示されるように、それの時間動き情報を有することになる。参照ブロック４１２（ＣｕｒｒＴｒｅｆ）及び参照ブロック４１６（ＢａｓｅＴｒｅｆ）を識別するために、動きベクトル４０４及び４０５が使用され得る。
[0211]ＡＲＰプロセスが呼び出されると、参照ブロック４１２（ＣｕｒｒＴＲｅｆ）内の各サブブロック（例えば、８×８のブロック）の動き情報もアクセスされる。対応するサブブロック４１２ａ〜ｄ（ＣｕｒｒＲｅｆ）が、視差動きベクトルに関連付けられると、参照ビュー中の参照ブロック（例えば、ブロック４０６）の位置を特定するために視差動きベクトルが使用され得る。
[0212]従って、２つのブロックの動き情報にアクセスする必要があり得る。即ち、サブＰＵビュー間マージ候補のために、ＮＢＤＶ／ＤｏＮＢＤＶプロセスからのＤＶによって識別される１つのブロックについての動き情報がアクセスされる。更に、動き情報は、任意の導出された時間動き情報によって識別されるブロックのためのアクセスである。
[0213]３Ｄ−ＨＥＶＣにおけるＡＲＰのための上述の技法は、幾つかの欠点を示す。一例として、１つのＰＵをコード化するためにサブＰＵビュー間マージ予測とブロックレベルの時間ＡＲＰとの両方が使用されるとき、２つの参照ブロックの動き情報がアクセスされる。１つは、ＤｏＮＢＤＶ／ＮＢＤＶ導出プロセスから導出される視差ベクトルによって識別される参照ビュー中の参照ブロックである。更に、サブＰＵビュー間マージ候補を導出するために、対応する動き情報がアクセスされる。サブＰＵビュー間マージ候補が導出された後、時間参照ピクチャ中のブロックが視差動きベクトルを含んでいるかどうかを検査するために、時間参照ピクチャ中の別のブロックがアクセスされる。異なるブロックに関連する動き情報の二重アクセスは、著しくビデオデコーダ設計の複雑さを著しく増加させ、デコーダスループットを減少させ得る。
[0214]別の欠点として、サブＰＵ（即ち、ブロックレベルの）ＡＲＰが使用されるとき、デフォルトの視差ベクトルを更新するために、現在のブロックの時間動きベクトルによって指された参照ブロックに関連する視差動きベクトルが使用される。１つのサブブロックブロックについて、サブブロックがそれの隣接ブロック（左、上、下又は右のいずれか）と同じ視差動きベクトルを有する場合でも、各サブブロックにおいてＡＲＰプロセスが依然として実行され、それにより、ビデオデコーダの複雑さが増加する。
[0215]本開示は、ビデオデコーダの複雑さを低減するために、ＡＲＰのための上述の問題に対処する様々な例示的な技法を提案する。以下に記載する技法の各々は、ＡＲＰと、ＡＲＰについての現在の提案に関係する他の関連するビデオコード化技法を実行するために必要とされるメモリアクセスの数を減少させる。
[0216]本開示の一例では、サブＰＵビュー間動き予測が使用可能であり、（時間動き情報に対応する）サブＰＵビュー間マージ候補が現在のＰＵに適用されるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、ブロックレベルのＡＲＰを無効にするように構成され得る。代わりに、ＰＵレベルのＡＲＰが使用可能であり得る。
[0217]サブＰＵビュー間動き予測が使用可能であり、ＰＵレベルのＡＲＰが適用されるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、各サブＰＵについての時間動き情報を決定し得る。即ち、各サブＰＵは、それ自体の時間動き情報を有する。しかしながら、ビデオエンコーダ２０及びビデオデコーダ３０は、全てのサブＰＵに対して同じ視差ベクトルを決定する。上記で説明したように、残差及び残差予測子を導出するために、時間動き情報と視差ベクトルとが使用される。サブＰＵビュー間動き予測が適用されるとき、使用されるＡＲＰプロセスが時間ＡＲＰであることに留意されたい。
[0218]サブＰＵビュー間動き予測が使用されないとき、以下の例示的な技法が使用される。一例では、時間ＡＲＰについて、ビデオエンコーダ２０及びビデオデコーダ３０は、各サブＰＵのための視差ベクトルを決定し得る。一例では、決定された視差ベクトルは、時間参照ピクチャ中の現在のサブＰＵの時間動き情報によって識別される現在のサブＰＵの参照ブロックから導出される視差動き情報であり得る。ビュー間ＡＲＰについて、ビデオエンコーダ２０及びビデオデコーダ３０は、各サブＰＵについての時間動き情報を決定し得る。一例では、時間動き情報は、ビュー間参照ピクチャ中の現在のサブＰＵの視差動き情報によって識別される現在のサブＰＵの参照ブロックから導出され得る。
[0219]本開示の別の例では、サブＰＵビュー間動き予測が使用可能であるとき、関連する参照ピクチャが時間参照ピクチャである場合、ビデオエンコーダ２０及びビデオデコーダは、特定の参照ピクチャリストに対応する１つの予測方向についてブロックレベルのＡＲＰを無効にするように構成され得る。この場合、ビデオエンコーダ２０及びビデオデコーダ３０は、この予測方向についてＰＵレベルのＡＲＰのみを使用可能にするように構成され得る。
[0220]一例では、以下のプロセスが適用される。現在のＰＵがビュー間マージ候補を使用する場合、ビデオエンコーダ２０及びビデオデコーダ３０は、各サブＰＵについての時間動き情報を決定し得る。しかしながら、ビデオエンコーダ２０及びビデオデコーダ３０は、全てのサブＰＵに対して同じ視差ベクトルを決定する。上記で説明したように、残差及び残差予測子を導出するために、時間動き情報と視差ベクトルとが使用される。
[0221]そうではなく、現在のＰＵが、他の利用可能なマージ候補のうちの１つ（即ち、ビュー間マージ候補でない）を使用する場合、ビデオエンコーダ２０及びビデオデコーダ３０は、ＰＵレベルの時間ＡＲＰを適用し、ここにおいて、１つの予測方向について、対応する参照ピクチャが時間参照ピクチャである場合、現在のＰＵ内の全てのブロックが同じ動き情報を共有する。１つの予測方向について、対応する参照ピクチャがビュー間参照ピクチャである場合、ビデオエンコーダ２０及びビデオデコーダ３０は、ＰＵレベルのビュー間ＡＲＰを使用し、ここにおいて、現在のＰＵ内の全てのブロックが同じ動き情報を共有する。この場合、ブロックレベルのＡＲＰも適用され得、ここにおいて、現在のＰＵ内のブロックは、同じ視差動き情報と異なる時間動き情報とを共有し得る。
[0222]本開示の別の例では、ブロックレベルのＡＲＰが使用可能であるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、動き情報に基づいてＡＲＰを実行するためのブロックサイズを決定し得る。一例では、特定の参照ピクチャリストに対応する１つの予測方向について、対応する参照ピクチャが時間参照ピクチャである場合、ビデオエンコーダ２０及びビデオデコーダ３０は、ブロックレベルのＡＲＰを使用し得る。この場合、現在のブロックは、それの隣接ブロック（例えば、左、上、下及び／又は右の隣接ブロック）と同じ視差動き情報を有する。更に、現在のブロックと隣接ブロックとが一緒にマージされ、ＡＲＰは、マージされたブロックに対して１回実行される。
[0223]本開示の別の例では、参照ピクチャリストに対応する１つの予測方向について、対応する参照ピクチャが、ビュー間参照ピクチャである場合、ビデオエンコーダ２０及びビデオデコーダ３０は、ブロックレベルのＡＲＰを使用し得る。この場合、現在のブロックは、それの隣接ブロック（例えば、左、上、下及び／又は右の隣接ブロックと同じ時間動き情報を有する。更に、現在のブロックと隣接ブロックとが一緒にマージされ、ＡＲＰは、マージされたブロックに対して１回実行される。
[0224]図１７は、本開示で説明する技法を実行するように構成され得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化とインターコード化とを実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの冗長性を低減又は除去するために時間的予測又はビュー間予測に依拠する。イントラモード（Ｉモード）は、空間ベースの幾つかの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）又は双予測（Ｂモード）などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかに含み得る。
[0225]図１７の例では、ビデオエンコーダ２０は、ビデオデータメモリ２３５と、予測処理ユニット２４１と、復号ピクチャバッファ（ＤＰＢ）２６４と、加算器２５１と、変換処理ユニット２５２と、量子化処理ユニット２５５と、エントロピー符号化ユニット２５７とを含む。予測処理ユニット２４１は、動き推定ユニット２４２と、動き及び視差補償ユニット２４４と、高度残差予測（ＡＲＰ）ユニット２４５と、イントラ予測処理ユニット２４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化処理ユニット２５９と、逆変換処理ユニット２６０と、加算器２６２とを含む。再構成されたビデオからブロック歪（blockiness artifacts）を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図１７に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器２６２の出力をフィルタ処理することになる。デブロッキングフィルタに加えて追加的なループフィルタ（インループ又はポストループ）が使用され得る。
[0226]様々な例では、ビデオエンコーダ２０の１つ又は複数のハードウェアユニットは、本開示の技法を実行するように構成され得る。例えば、動き及び視差補償ユニット２４４とＡＲＰユニット２４５とは、単独で、又はビデオエンコーダ２０の他のユニットと組み合わせて本開示の技法を実行し得る。
[0227]図１７に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム（例えば、テクスチャ画像又は深度マップ）内のビデオデータ（例えば、ルミナンスブロック、クロミナンスブロック、又は深度ブロックなどのビデオデータのブロック）を受信する。ビデオデータメモリ２３５は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ４０に記憶されるビデオデータは、例えば、ビデオ発信源１８から得られ得る。ＤＰＢ２６４は、（例えば、イントラ予測コード化モード又はインター予測コード化モードとも呼ばれる、イントラコード化モード又はインターコード化モードで）ビデオエンコーダ２０によってビデオデータを符号化する際に使用する参照ビデオデータを記憶するメモリバッファである。ビデオデータメモリ２３５及びＤＰＢ２６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリ機器など、様々なメモリ機器のうちのいずれかによって形成され得る。ビデオデータメモリ２３５及びＤＰＢ２６４は、同じメモリ機器又は別個のメモリ機器によって与えられ得る。様々な例では、ビデオデータメモリ２３５は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、又はそれらの構成要素に対してオフチップであり得る。
[0228]図１７に示されたように、ビデオエンコーダ２０はビデオデータを受信し、データをビデオブロックに区分化する。この区分化はまた、例えば、ＬＣＵ及びＣＵの４分木構造に従って、スライス、タイル、又は他のより大きい単位への区分化、及びビデオブロック区分化をも含み得る。ビデオエンコーダ２０は概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（及び、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。
[0229]予測処理ユニット２４１は、エラー結果（例えば、コード化レート及び歪レベル）に基づいて、現在のビデオブロックのために、複数のイントラコード化モードのうちの１つ、又は複数のインターコード化モードのうちの１つなど、複数の可能なコード化モードのうちの１つを選択し得る。予測処理ユニット２４１は、得られたイントラコード化ブロック又はインターコード化ブロックを、残差ブロックを生成するために加算器２５１に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器２６２に与え得る。
[0230]予測処理ユニット２４１内のイントラ予測処理ユニット２４６は、空間圧縮を行うために、コード化されるべき現在のブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コード化を実行し得る。予測処理ユニット２４１内の動き推定ユニット２４２と動き及び視差補償ユニット２４４とは、例えば、時間及び／又はビュー間圧縮を実現するために、（ビュー間参照ピクチャを含む）１つ又は複数の予測ブロックに対して現在のビデオブロックの（ビュー間コード化を含む）インター予測コード化を実行する。
[0231]動き推定ユニット２４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。動き推定ユニット２４２と動き及び視差補償ユニット２４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット２４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。
[0232]予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、ＤＰＢ２６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット２４２は、完全な画素位置及び分数画素位置に対して動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
[0233]動き推定ユニット２４２は、ＰＵの位置を（時間又はビュー間参照ピクチャを含む）参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵの動きベクトル及び／又は視差動きベクトルを計算する。上記で説明したように、動きベクトルは、動き補償予測のために使用され、一方、視差動きベクトルは、視差補償予測のために使用され得る。参照ピクチャは、第１の参照ピクチャリスト（リスト０若しくはＲｅｆＰｉｃＬｉｓｔ０）又は第２の参照ピクチャリスト（リスト１若しくはＲｅｆＰｉｃＬｉｓｔ１）から選択され得、それらの参照ピクチャリストの各々は、ＤＰＢ２６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット２４２は、計算された動きベクトルを、エントロピー符号化ユニット２５７と動き及び視差補償ユニット２４４とに送る。
[0234]動き及び視差補償ユニット２４４によって実行される動き及び／又は視差補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成すること、場合によってはサブ画素精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き及び視差補償ユニット２４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって残差ビデオブロックを形成する。画素差分値は、ブロックの残差データを形成し、ルーマとクロマの両方の差分成分を含み得る。加算器２５１は、この減算演算を実行する１つ又は複数の構成要素を表す。動き及び視差補償ユニット２４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0235]ＡＲＰユニット２４５と動き及び視差補償ユニット２４４とを含むビデオエンコーダ２０は、双方向予測及びＡＲＰ技法のいずれか、例えば、本明細書で説明するビュー間ＡＲＰ技法又は時間的ＡＲＰ技法を実行し得る。特に、本開示の一例では、ビデオエンコーダは、双方向予測とビュー間ＡＲＰとを使用してビデオデータの現在のブロックを符号化するように構成され得る。ビデオデータの現在のブロックについて、動き及び視差補償ユニット２４４は、ビデオデータの現在のブロックのための第１の予測方向（例えば、参照ピクチャリストＸ）についての時間動き情報を決定することと、第１の予測方向のために決定された時間動き情報を使用して第２の予測方向（例えば、参照ピクチャリストＹ）のための参照ブロックを識別することと、ここにおいて、第２の予測方向のための参照ブロックは、ビデオデータの異なるアクセス単位、現在のブロック中にある、を行うように構成され得る。このようにして、現在のビデオブロックを符号化するために、動き情報と参照ブロックとのメモリアクセスを行う必要が少なくなる。
[0236]イントラ予測処理ユニット２４６は、上記で説明したように、動き推定ユニット２４２と動き及び視差補償ユニット２４４とによって実行されるインター予測の代替として、現在のブロックに対してイントラ予測を実行し得る。特に、イントラ予測処理ユニット２４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット２４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のビデオブロックを符号化し得、イントラ予測処理ユニット２４６（又は、幾つかの例では、予測処理ユニット２４１）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0237]例えば、イントラ予測処理ユニット２４６は、様々なテストされたイントラ予測モードにレート歪分析を使用してレート歪値を計算し、テストされたモードのうちで最良のレート歪特性を有するイントラ予測モードを選択し得る。レート歪分析は、一般に、符号化されたブロックと、符号化されたブロックを作るために符号化された、元の符号化されていないブロックとの間の歪（又は、誤差）の量、及び符号化されたブロックを作るのに使用されたビットレート（即ち、ビットの個数）を決定する。イントラ予測処理ユニット２４６は、様々な符号化ブロックの歪及びレートから比を計算して、どのイントラ予測モードがブロックの最良のレート歪値を示すのかを決定し得る。
[0238]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット２４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２５７に与え得る。エントロピー符号化ユニット２５７は、本開示の技法に従って選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブル及び複数の変更イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更イントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
[0239]予測処理ユニット２４１が、インター予測又はイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つ又は複数のＴＵ中に含まれ、変換処理ユニット２５２に適用され得る。変換処理ユニット２５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット２５２は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換し得る。
[0240]変換処理ユニット２５２は、得られた変換係数を量子化処理ユニット２５５に送り得る。量子化処理ユニット２５５は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正され得る。幾つかの例では、量子化処理ユニット２５５は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット２５７が走査を実行し得る。
[0241]量子化の後に、エントロピー符号化ユニット２５７は、量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット２５７は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）コード化又は別のエントロピー符号化方法又は技法を実行し得る。エントロピー符号化ユニット２５７によるエントロピー符号化に続いて、符号化ビデオビットストリームは、ビデオデコーダ３０に送信されるか、又はビデオデコーダ３０が後で送信するか若しくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット２５７はまた、コード化されている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0242]逆量子化処理ユニット２５９及び逆変換処理ユニット２６０は、それぞれ逆量子化及び逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために画素領域において残差ブロックを再構成する。動き及び視差補償ユニット２４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き及び視差補償ユニット２４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するためのサブ整数画素値を計算し得る。加算器２６２は、再構成された残差ブロックを、動き及び視差補償ユニット２４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ２６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、動き推定ユニット２４２と動き及び視差補償ユニット２４４によって参照ブロックとして使用され得る。
[0243]図１８は、本開示で説明する技法を実施し得る例示的なビデオデコーダ３０を示すブロック図である。図１８の例では、ビデオデコーダ３０は、ビデオデータメモリ２７８と、エントロピー復号ユニット２８０と、予測処理ユニット２８１と、逆量子化処理ユニット２８６と、逆変換処理ユニット２８８と、加算器２９１と、復号ピクチャバッファ（ＤＰＢ）２９２とを含む。予測処理ユニット２８１は、動き及び視差補償ユニット２８２と、ＡＲＰユニット２８３と、イントラ予測処理ユニット２８４とを含む。ビデオデコーダ３０は、幾つかの例では、図１７からのビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0244]様々な例では、ビデオデコーダ３０の１つ又は複数のハードウェアユニットは、本開示の技法を実行する役割を担い得る。例えば、ＡＲＰユニット２８３と動き及び視差補償ユニット２８２とは、単独で、又はビデオエンコーダの他のユニットと組み合わせて本開示の技法を実行し得る。
[0245]ビデオデータメモリ２７８は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ２７８に記憶されたビデオデータは、カメラなどのローカルビデオ発信源から、ビデオデータのワイヤード又はワイヤレスのネットワーク通信を介して、若しくは物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ２７８は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコード化済みピクチャバッファ（ＣＰＢ）を形成し得る。ＤＰＢ２９２は、（例えば、イントラ予測コード化モード又はインター予測コード化モードとも呼ばれる、イントラコード化モード又はインターコード化モードで）ビデオデコーダ３０によってビデオデータを復号する際に使用する参照ビデオデータを記憶するＤＰＢの一例である。ビデオデータメモリ２７８及びＤＰＢ２９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリ機器など、様々なメモリ機器のうちのいずれかによって形成され得る。ビデオデータメモリ２７８及びＤＰＢ２９２は、同じメモリ機器又は別個のメモリ機器によって提供され得る。様々な例では、ビデオデータメモリ２７８は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、又はそれらの構成要素に対してオフチップであり得る。
[0246]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連付けられたシンタックス要素とを表す、符号化されたビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット２８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット２８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット２８１に転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
[0247]ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されたとき、信号伝達されたイントラ予測モードと、現在のフレーム又はピクチャの以前に復号されたブロックからのデータとに基づいて、予測処理ユニット２８１のイントラ予測処理ユニット２８４は、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（即ち、Ｂ、又はＰ）スライス又はビュー間コード化スライスとしてコード化されたとき、予測処理ユニット２８１の動き及び視差補償ユニット２８２は、エントロピー復号ユニット２８０から受信された動きベクトルと、視差動きベクトルと、他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、ビュー間参照ピクチャを含む参照ピクチャリストのうちの１つの内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、ＤＰＢ２９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法又は任意の他の技法を使用して、参照フレームリストのＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１を構成し得る。
[0248]動き及び視差補償ユニット２８２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き及び視差補償ユニット２８２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、及び／又はビュー間予測スライス）と、スライスの参照ピクチャリストのうちの１つ又は複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトル及び／又は視差動きベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
[0249]動き及び視差補償ユニット２８２はまた、補間フィルタに基づいて補間を実行し得る。動き及び視差補償ユニット２８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き及び視差補償ユニット２８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0250]逆量子化処理ユニット２８６は、ビットストリーム中で与えられ、エントロピー復号ユニット２８０によって復号された、量子化変換係数を逆の量子化（inverse quantize）、即ち、逆量子化（dequantize）する。逆量子化プロセスは、ビデオエンコーダ２０によって算出された量子化パラメータをビデオスライス中のビデオブロックごとに使用して、適用すべき量子化の程度を決定し、同様に、適用すべき逆量子化の程度を決定することを含み得る。逆変換ユニット２８８は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
[0251]ＡＲＰユニット２８３と動き及び視差補償ユニット２８２とを含むビデオデコーダ３０は、双方向予測及び／又はＡＲＰ技法のいずれか、例えば、本明細書で説明するビュー間ＡＲＰ技法又は時間的ＡＲＰ技法を実行し得る。特に、本開示の一例では、ビデオデコーダ３０は、双方向予測とビュー間ＡＲＰとを使用して符号化されたビデオデータの受信された現在のブロックであり得る。ビデオデータの符号化されたブロックは、ビデオデータメモリ２７８内に記憶され得る。ビデオデータの符号化ブロックについて、動き及び視差補償ユニット２８２は、ビデオデータの符号化ブロックのための第１の予測方向（例えば、参照ピクチャリストＸ）についての時間動き情報を決定することと、第１の予測方向のために決定された時間動き情報を使用して第２の予測方向（例えば、参照ピクチャリストＹ）のための参照ブロックを識別することと、ここにおいて、第２の予測方向のための参照ブロックは、ビデオデータの異なるアクセス単位、現在のブロック中にある、を行うように構成され得る。このようにして、符号化ビデオブロックを復号するために、動き情報と参照ブロックとのメモリアクセスを行う必要が少なくなる。
[0252]動き及び視差補償ユニット２８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット２８８からの残差ブロックを、動き及び視差補償ユニット２８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器２９１は、この加算演算を実行する１つ又は複数の構成要素を表す。所望される場合、ブロック歪を削除するために、復号ブロックをフィルタ処理するためのデブロッキングフィルタも適用され得る。（コード化ループ中の、又はコード化ループ後のいずれかにおける）他のループフィルタも、画素の遷移を平滑化し、又は場合によっては、ビデオ品質を改善するために使用され得る。所与のフレーム又はピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶するＤＰＢ２９２に記憶される。ＤＰＢ２９２はまた、図１の表示装置３２のような表示装置上での後の表示のために、復号ビデオを記憶する。
[0253]図１９は、本開示で説明する技法による、ビデオブロックを符号化するための例示的なＡＲＰ方法を示す流れ図である。図１９の技法は、動き及び視差補償ユニット２４４とＡＲＰユニット２４５とを含む、ビデオエンコーダ２０のハードウェア構造の任意の組合せによって実行され得る。
[0254]本開示の一例では、ビデオエンコーダ２０は、ＡＲＰと双方向予測とを使用してビデオデータのブロックを符号化するように構成され得る。この例では、双方向予測は、第１の予測方向のための（例えば、参照ピクチャリストＸのための）時間的予測と、第２の予測方向のための（例えば、参照ピクチャリストＹのための）ビュー間予測とを含む。動き及び視差補償ユニット２４４は、ビデオデータのブロックのための第１の予測方向についての時間動き情報を決定する（１９００）ように構成され得る。ＡＲＰユニット２４５は、決定された時間動き情報を使用して第１の予測方向のための参照ブロックを識別し（１９１０）、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別する（１９２０）ように構成され得る。参照ブロックは、ビデオデータのブロックのためのアクセス単位とは異なるアクセス単位中にあり得る。ＡＲＰユニット２４５は、第１の予測方向と第２の予測方向とのための識別された参照ブロックを使用してビデオデータのブロックに対して高度残差予測を実行する（１９３０）ように更に構成され得る。
[0255]本開示の他の例では、動き及び視差補償ユニット２４４は、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定するように構成され得る。更に、ＡＲＰユニット２４５は、決定された時間動き情報を使用して第１の予測方向のための第１の参照ブロックを識別すること、ここにおいて、第１の参照ブロックが、第１のビューの第２のアクセス単位中にある、を行うように構成され得る。ＡＲＰユニット２４５は、決定された時間動き情報を使用して第２の予測方向のための第２の参照ブロックを識別することと、決定された時間動き情報と決定された視差動き情報とを使用して第２の予測方向のための第３の参照ブロックを識別することと、ここにおいて、第３の参照ブロックが、第２のビューの第３のアクセス単位中にある、を行うように更に構成され得る。
[0256]図２０は、本開示で説明する技法による、ビデオブロックを復号するための例示的なＡＲＰ方法を示す流れ図である。図２０の技法は、ビデオデコーダ、ＡＲＰユニット２８３並びに動き及び視差補償ユニット２８２のハードウェア構造の任意の組合せによって実行され得る。
[0257]本開示の一例では、ビデオデコーダ３０は、第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを記憶すること、ここにおいて、ビデオデータの第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化される（２０００）、を行うように構成され得る。双方向予測は、第２の予測方向のための第１の予測方向とビュー間予測とのための時間的予測を含み得る。
[0258]動き及び視差補償ユニット２８２は、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定する（２０１０）ように構成され得る。ＡＲＰユニット２８３は、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定し（２０２０）、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別する（２０３０）ように構成され得る。参照ブロックは、第１のアクセス単位とは異なるアクセス単位中にあり得る。ＡＲＰユニット２８３は、第２の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行する（２０４０）ように更に構成され得る。
[0259]本開示の別の例では、ＡＲＰユニット２３８は、決定された時間動き情報を使用し、第１の予測方向のための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行することによって、第１の予測方向のための参照ブロックを識別するように構成され得る。ＡＲＰユニット２８３は、決定された時間動き情報を使用して第２の予測方向のための第２の参照ブロックを識別することと、決定された時間動き情報と決定された視差動き情報とを使用して第２の予測方向のための第３の参照ブロックを識別することと、ここにおいて、第３の参照ブロックが、第２のビューの第３のアクセス単位中にある、を行うように更に構成され得る。第１の予測方向の第１の参照ブロックは、第２の予測方向の第２の参照ブロックと同じである。
[0260]本開示の別の例では、ビデオデコーダ３０は、第１の予測方向のための識別された参照ブロックと第２の予測方向のための識別された参照ブロックとを使用してビデオデータの第１の符号化ブロックを復号するように構成され得る。
[0261]本開示の別の例では、ビデオデコーダ３０は、残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測ユニットレベルの高度残差予測のうちの１つを使用してビデオデータの第１の符号化ブロックを復号することと、ビデオデータの復号ブロックを生成するために双方向予測と、第１の予測方向のための識別された参照ブロックと、第２の予測方向のための識別された参照ブロックとを使用して残差データを復号することとを行うように構成され得る。
[0262]本開示の別の例では、ビデオデコーダ３０は、第３のビューの第４のアクセス単位中でビデオデータの第２の符号化ブロックを記憶すること、ここにおいて、ビデオデータの第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化される、を行うように更に構成され得る。双方向予測は、第４の予測方向のための第３の予測方向とビュー間予測とのための時間的予測を含み得る。
[0263]動き及び視差補償ユニット２８２は、ビデオデータの第１の符号化ブロックのための第１の予測方向についての時間動き情報を決定するように構成され得る。ＡＲＰユニット２８３は、決定された時間動き情報を使用して第１の予測方向のための参照ブロックを識別するように構成され得る。ＡＲＰユニット２８３は、更に、第１の予測方向についての決定された時間動き情報を使用して、第１の予測方向とは異なる第２の予測方向のための参照ブロックを識別し得、ここにおいて、参照ブロックが、第１のアクセス単位とは異なるアクセス単位中にある。ＡＲＰユニット２８３はまた、第１の予測方向と第２の予測方向とのための識別された参照ブロックを使用してビデオデータの第１の符号化ブロックに対して高度残差予測を実行し得る。
[0264]本開示の別の例では、動き及び視差補償ユニット２８２は、ビデオデータの第１の符号化ブロックのための第２の予測方向についての視差動き情報を決定するように構成され得る。ＡＲＰユニット２８３は、決定された時間動き情報を使用して第１の予測方向のための第１の参照ブロックを識別すること、ここにおいて、第１の参照ブロックが、第１のビューの第２のアクセス単位中にある、を行うように構成され得る。ＡＲＰユニット２８３は、決定された時間動き情報と決定された視差動き情報とを使用して第２の予測方向のための第２の参照ブロックを識別すること、ここにおいて、第２の参照ブロックが、第２のビューの第３のアクセス単位中にある、を行うように更に構成され得る。
[0265]本開示の別の例では、ビデオデコーダ３０は、第１の予測方向のための識別された参照ブロックと第２の予測方向のための識別された参照ブロックとを使用してビデオデータの第１の符号化ブロックを復号するように構成され得る。ビデオデコーダ３０は、残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測ユニットレベルの高度残差予測のうちの１つを使用してビデオデータの第１の符号化ブロックを復号することと、ビデオデータの復号ブロックを生成するために双方向予測と、第１の予測方向のための識別された参照ブロックと、第２の予測方向のための識別された参照ブロックとを使用して残差データを復号することとを行うように更に構成され得る。
[0266]幾つかの例では、本開示で説明する技法の１つ又は複数の態様は、例えばメディアアウェアネットワーク要素（ＭＡＮＥ）、ストリーム適応プロセッサ、スプライシングプロセッサ、又は編集プロセッサなど、中間ネットワーク機器によって実行され得る。例えば、そのような中間機器は、本開示で説明するように、様々な信号伝達のうちの任意のものを生成又は受信するように構成され得る。
[0267]１つ又は複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施され得る。ソフトウェアで実装される場合、機能は１つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、若しくはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のために命令、コード及び／又はデータ構造を取り出すために１つ又は複数のコンピュータあるいは１つ又は複数のプロセッサによってアクセスされ得る任意の使用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0268]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ若しくは命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、ウェブサイト、サーバ、又は他の遠隔発信源から、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）はデータをレーザーで光学的に再生する。上の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0269]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積論理回路又はディスクリート論理回路など、１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は、本明細書で説明する技法の実装に好適な他の構造のいずれかを指し得る。加えて、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成されるか、又は複合コーデックに組み込まれる、専用のハードウェアモジュール及び／又はソフトウェアモジュール内で提供され得る。また、本技法は、１つ又は複数の回路又は論理要素で十分に実装され得る。
[0270]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上で説明されたように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、又は上で説明された１つ又は複数のプロセッサを含む、適切なソフトウェア及び／又はファームウェアとともに相互動作可能なハードウェアユニットの集合体によって提供され得る。様々な例が、説明された。これら及び他の例は、以下の特許請求の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号するための方法であって、
第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、
ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての時間動き情報を決定することと、
ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての視差動き情報を決定することと、
前記第１の予測方向についての決定された前記時間動き情報を使用して、前記第１の予測方向とは異なる前記第２の予測方向のための参照ブロックを識別することと、ここにおいて、前記参照ブロックが、前記第１のアクセス単位とは異なるアクセス単位中にあり、
前記第２の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
を備える方法。
［Ｃ２］
決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別することと、
前記第１の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと、
ここにおいて、決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別することが、決定された前記時間動き情報を使用して前記第１の予測方向のための第１の参照ブロックを識別することを備える、ここにおいて、前記第１の参照ブロックが、前記第１のビューの第２のアクセス単位中にあり、
ここにおいて、前記第２の予測方向のための参照ブロックを識別することが、決定された前記時間動き情報を使用して前記第２の予測方向のための第２の参照ブロックを識別することと、決定された前記時間動き情報と決定された前記視差動き情報とを使用して前記第２の予測方向のための第３の参照ブロックを識別することとを備える、ここにおいて、前記第３の参照ブロックが、第２のビューの第３のアクセス単位中にあり、
ここにおいて、前記第１の予測方向の前記第１の参照ブロックが、前記第２の予測方向の前記第２の参照ブロックと同じである、
を更に備える、Ｃ１に記載の方法。
［Ｃ３］
前記第１の予測方向のための識別された前記参照ブロックと前記第２の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第１の符号化ブロックを復号すること
を更に備える、Ｃ２に記載の方法。
［Ｃ４］
ビデオデータの前記第１の符号化ブロックを復号することが、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
ビデオデータの復号ブロックを生成するために双方向予測と、前記第１の予測方向のための識別された前記参照ブロックと、前記第２の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を備える、Ｃ３に記載の方法。
［Ｃ５］
第３のビューの第４のアクセス単位中でビデオデータの第２の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のための時間的予測と第４の予測方向のためのビュー間予測とを含み、
ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての視差動き情報を決定することと、
決定された前記視差動き情報を使用して前記第４の予測方向のための参照ブロックを識別することと、
前記第４の予測方向についての決定された前記視差動き情報を使用して、前記第４の予測方向とは異なる前記第３の予測方向のための参照を識別することと、ここにおいて、前記参照ブロックが、前記第４のアクセス単位とは異なるアクセス単位中にあり、
前記第３の予測方向と前記第４の予測方向とのための識別された前記参照ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行することと
を更に備える、Ｃ１に記載の方法。
［Ｃ６］
ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての時間動き情報を決定すること、
を更に備え、
ここにおいて、決定された前記視差動き情報を使用して前記第３の予測方向のための参照ブロックを識別することが、決定された前記視差動き情報と決定された前記時間動き情報とを使用して前記第３の予測方向のための第３の参照ブロックを識別することを備える、ここにおいて、前記第３の参照ブロックが、前記第３のビューの第４のアクセス単位中にある、
ここにおいて、前記第４の予測方向のための参照ブロックを識別することが、決定された前記視差動きを使用して前記第４の予測方向のための第４の参照ブロックを識別することを備える、ここにおいて、前記第４の参照ブロックが、第４のビューの第５のアクセス単位中にある、Ｃ５に記載の方法。
［Ｃ７］
前記第３の予測方向のための識別された前記参照ブロックと前記第４の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第２の符号化ブロックを復号すること
を更に備える、Ｃ６に記載の方法。
［Ｃ８］
ビデオデータの前記第２の符号化ブロックを復号することが、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第２の符号化ブロックを復号することと、
双方向予測と、前記第３の予測方向のための識別された前記参照ブロックと、前記第４の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を備える、Ｃ７に記載の方法。
［Ｃ９］
ビデオデータを復号するように構成された装置であって、
第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを記憶することを行うように構成されたビデオデータメモリと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、
前記ビデオデータメモリと通信しており、
ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての時間動き情報を決定することと、
ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての視差動き情報を決定することと、
前記第１の予測方向についての決定された前記時間動き情報を使用して、前記第１の予測方向とは異なる前記第２の予測方向のための参照ブロックを識別することと、ここにおいて、前記参照ブロックが、前記第１のアクセス単位とは異なるアクセス単位中にあり、
前記第２の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
を行うように構成された１つ以上のプロセッサと
を備える装置。
［Ｃ１０］
前記１つ以上のプロセッサが、
決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別することと、
前記第１の予測方向のための前記識別された参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと、
を行うように更に構成され、
ここにおいて、決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別するために、前記１つ以上のプロセッサが、決定された前記時間動き情報を使用して前記第１の予測方向のための第１の参照ブロックを識別することを行うように更に構成される、ここにおいて、前記第１の参照ブロックが、前記第１のビューの第２のアクセス単位中にある、
ここにおいて、前記第２の予測方向のための参照ブロックを識別するために、前記１つ以上のプロセッサが、前記第２の予測方向のための参照ブロックを識別することを行うように更に構成され、前記１つ以上のプロセッサが、決定された前記時間動き情報を使用して前記第２の予測方向のための第２の参照ブロックを識別することと、決定された前記時間動き情報と決定された前記視差動き情報とを使用して前記第２の予測方向のための第３の参照ブロックを識別することとを行うように更に構成される、ここにおいて、前記第３の参照ブロックが、第２のビューの第３のアクセス単位中にある、
ここにおいて、前記第１の予測方向の前記第１の参照ブロックが、前記第２の予測方向の前記第２の参照ブロックと同じである、Ｃ９に記載の装置。
［Ｃ１１］
前記１つ以上のプロセッサが、
前記第１の予測方向のための識別された前記参照ブロックと前記第２の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第１の符号化ブロックを復号すること
を行うように更に構成された、Ｃ１０に記載の装置。
［Ｃ１２］
前記１つ以上のプロセッサが、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
ビデオデータの復号ブロックを生成するために双方向予測と、前記第１の予測方向のための識別された前記参照ブロックと、前記第２の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を行うように更に構成された、Ｃ１１に記載の装置。
［Ｃ１３］
ビデオデータの前記復号ブロックを表示するように構成された表示器
を更に備える、Ｃ１２に記載の装置。
［Ｃ１４］
前記ビデオデータメモリと前記１つ以上のプロセッサとが、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、タブレットコンピュータ、テレビジョン、カメラ、デジタルメディアプレーヤ、ビデオゲームコンソール、又はビデオストリーミング機器のうちの１つ内に格納される、Ｃ９に記載の装置。
［Ｃ１５］
前記ビデオデータメモリが、第３のビューの第４のアクセス単位中でビデオデータの第２の符号化ブロックを記憶することを行うように更に構成され、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のための時間的予測と第４の予測方向のためのビュー間予測とを含む、
ここにおいて、前記１つ以上のプロセッサが、
ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての視差動き情報を決定することと、
決定された前記視差動き情報を使用して前記第４の予測方向のための参照ブロックを識別することと、
前記第４の予測方向についての決定された前記視差動き情報を使用して、前記第４の予測方向とは異なる前記第３の予測方向のための参照を識別することと、ここにおいて、前記参照ブロックが、前記第４のアクセス単位とは異なるアクセス単位中にあり、
前記第３の予測方向と前記第４の予測方向とのための識別された前記参照ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行することと
を行うように更に構成された、Ｃ９に記載の装置。
［Ｃ１６］
前記１つ以上のプロセッサが、
ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての時間動き情報を決定すること、
を行うように更に構成され、
ここにおいて、決定された前記視差動き情報を使用して前記第３の予測方向のための参照ブロックを識別するために、前記１つ以上のプロセッサが、決定された前記視差動き情報と決定された前記時間動き情報とを使用して前記第３の予測方向のための第３の参照ブロックを識別することを行うように構成される、ここにおいて、前記第３の参照ブロックが、前記第３のビューの第４のアクセス単位中にある、
ここにおいて、前記第４の予測方向のための参照ブロックを識別するために、前記１つ以上のプロセッサが、決定された前記視差動きを使用して前記第４の予測方向のための第４の参照ブロックを識別することを行うように構成される、ここにおいて、前記第４の参照ブロックが、第４のビューの第５のアクセス単位中にある、
Ｃ１５に記載の装置。
［Ｃ１７］
前記１つ以上のプロセッサが、
前記第３の予測方向のための識別された前記参照ブロックと前記第４の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第２の符号化ブロックを復号すること
を行うように更に構成された、Ｃ１６に記載の装置。
［Ｃ１８］
前記１つ以上のプロセッサが、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測ユニットレベルの高度残差予測のうちの１つを使用してビデオデータの前記第２の符号化ブロックを復号することと、
双方向予測と、前記第３の予測方向のための識別された前記参照ブロックと、前記第４の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を行うように更に構成された、Ｃ１７に記載の装置。
［Ｃ１９］
ビデオデータを復号するように構成された装置であって、
第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信するための手段と、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、
ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての時間動き情報を決定するための手段と、
ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての視差動き情報を決定するための手段と、
前記第１の予測方向についての決定された前記時間動き情報を使用して、前記第１の予測方向とは異なる前記第２の予測方向のための参照ブロックを識別するための手段と、ここにおいて、前記参照ブロックが、前記第１のアクセス単位とは異なるアクセス単位中にあり、
前記第２の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行するための手段と
を備える装置。
［Ｃ２０］
決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別するための手段と、
前記第１の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行するための手段と、
を更に備え、
ここにおいて、決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別するための前記手段が、決定された前記時間動き情報を使用して前記第１の予測方向のための第１の参照ブロックを識別するための手段を備える、ここにおいて、前記第１の参照ブロックが、前記第１のビューの第２のアクセス単位中にある、
ここにおいて、前記第２の予測方向のための参照ブロックを識別するための前記手段が、決定された前記時間動き情報を使用して前記第２の予測方向のための第２の参照ブロックを識別することを備える前記第２の予測方向のための参照ブロックを識別するための手段と、決定された前記時間動き情報と決定された前記視差動き情報とを使用して前記第２の予測方向のための第３の参照ブロックを識別するための手段とを備える、ここにおいて、前記第３の参照ブロックが、第２のビューの第３のアクセス単位中にある、
ここにおいて、前記第１の予測方向の前記第１の参照ブロックが、前記第２の予測方向の前記第２の参照ブロックと同じである、Ｃ１９に記載の装置。
［Ｃ２１］
ビデオデータの前記第１の符号化ブロックを復号するための前記手段が、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号するための手段と、
ビデオデータの復号ブロックを生成するために双方向予測と、前記第１の予測方向のための前記識別された参照ブロックと、前記第２の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号するための手段と
を備える、Ｃ２０に記載の装置。
［Ｃ２２］
第３のビューの第４のアクセス単位中でビデオデータの第２の符号化ブロックを受信するための手段と、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のための時間的予測と第４の予測方向のためのビュー間予測とを含み、
ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての視差動き情報を決定するための手段と、
決定された前記視差動き情報を使用して前記第４の予測方向のための参照ブロックを識別するための手段と、
前記第４の予測方向についての決定された前記視差動き情報を使用して、前記第４の予測方向とは異なる前記第３の予測方向のための参照を識別するための手段と、ここにおいて、前記参照ブロックが、前記第４のアクセス単位とは異なるアクセス単位中にあり、
前記第３の予測方向と前記第４の予測方向とのための識別された前記参照ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行するための手段と
を更に備える、Ｃ１９に記載の装置。
［Ｃ２３］
ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての時間動き情報を決定するための手段と、
前記第３の予測方向のための識別された前記参照ブロックと前記第４の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第２の符号化ブロックを復号するための手段と、
を更に備え、
ここにおいて、決定された前記視差動き情報を使用して前記第３の予測方向のための参照ブロックを識別するための前記手段が、決定された前記視差動き情報と決定された前記時間動き情報とを使用して前記第３の予測方向のための第３の参照ブロックを識別するための手段を備える、ここにおいて、前記第３の参照ブロックが、前記第３のビューの第４のアクセス単位中にある、
ここにおいて、前記第４の予測方向のための参照ブロックを識別するための前記手段が、決定された前記視差動きを使用して前記第４の予測方向のための第４の参照ブロックを識別するための手段を備える、ここにおいて、前記第４の参照ブロックが、第４のビューの第５のアクセス単位中にある、Ｃ２２に記載の装置。
［Ｃ２４］
ビデオデータの前記第２の符号化ブロックを復号するための前記手段が、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第２の符号化ブロックを復号するための手段と、
双方向予測と、前記第３の予測方向のための前記識別された参照ブロックと、前記第４の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号するための手段と
を備える、Ｃ２３に記載の装置。
［Ｃ２５］
実行されたとき、ビデオデータを復号するように構成された機器の１つ以上のプロセッサに、
第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、
ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての時間動き情報を決定することと、
ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての視差動き情報を決定することと、
前記第１の予測方向についての前記決定された時間動き情報を使用して、前記第１の予測方向とは異なる前記第２の予測方向のための参照ブロックを識別することと、ここにおいて、前記参照ブロックが、前記第１のアクセス単位とは異なるアクセス単位中にあり、
前記第２の予測方向のための識別された前記参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
を行わせる命令を記憶したコンピュータ可読記憶媒体。
［Ｃ２６］
前記命令が、前記１つ以上のプロセッサに、
決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別することと、
前記第１の予測方向のための前記識別された参照ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと、
を更に行わせる、
ここにおいて、決定された前記時間動き情報を使用して前記第１の予測方向のための参照ブロックを識別するために、前記命令が、前記１つ以上のプロセッサに、決定された前記時間動き情報を使用して前記第１の予測方向のための第１の参照ブロックを識別することを更に行わせる、ここにおいて、前記第１の参照ブロックが、前記第１のビューの第２のアクセス単位中にある、
ここにおいて、前記第２の予測方向のための参照ブロックを識別するために、前記命令が、前記１つ以上のプロセッサに、前記第２の予測方向のための参照ブロックを識別することを更に行わせる、前記命令が、前記１つ以上のプロセッサに、決定された前記時間動き情報を使用して前記第２の予測方向のための第２の参照ブロックを識別することと、決定された前記時間動き情報と決定された前記視差動き情報とを使用して前記第２の予測方向のための第３の参照ブロックを識別することとを更に行わせる、ここにおいて、前記第３の参照ブロックが、第２のビューの第３のアクセス単位中にある、
ここにおいて、前記第１の予測方向の前記第１の参照ブロックが、前記第２の予測方向の前記第２の参照ブロックと同じである、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２７］
前記命令が、前記１つ以上のプロセッサに、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
ビデオデータの復号ブロックを生成するために双方向予測と、前記第１の予測方向のための識別された前記参照ブロックと、前記第２の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を更に行わせる、Ｃ２６に記載のコンピュータ可読記憶媒体。
［Ｃ２８］
前記命令が、前記１つ以上のプロセッサに、
第３のビューの第４のアクセス単位中でビデオデータの第２の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のための時間的予測と第４の予測方向のためのビュー間予測とを含む、
ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての視差動き情報を決定することと、
決定された前記視差動き情報を使用して前記第４の予測方向のための参照ブロックを識別することと、
前記第４の予測方向についての決定された前記視差動き情報を使用して、前記第４の予測方向とは異なる前記第３の予測方向のための参照を識別することと、ここにおいて、前記参照ブロックが、前記第４のアクセス単位とは異なるアクセス単位中にあり、
前記第３の予測方向と前記第４の予測方向とのための識別された前記参照ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行することと
を更に行わせる、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２９］
前記命令が、前記１つ以上のプロセッサに、
ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての時間動き情報を決定することと、
前記第３の予測方向のための識別された前記参照ブロックと前記第４の予測方向のための識別された前記参照ブロックとを使用してビデオデータの前記第２の符号化ブロックを復号することと、
を更に行わせ、
ここにおいて、決定された前記視差動き情報を使用して前記第３の予測方向のための参照ブロックを識別するために、前記命令が、前記１つ以上のプロセッサに、決定された前記視差動き情報と決定された前記時間動き情報とを使用して前記第３の予測方向のための第３の参照ブロックを識別することを更に行わせる、ここにおいて、前記第３の参照ブロックが、前記第３のビューの第４のアクセス単位中にある、
ここにおいて、前記第４の予測方向のための参照ブロックを識別するために、前記命令が、前記１つ以上のプロセッサに、決定された前記視差動きを使用して前記第４の予測方向のための第４の参照ブロックを識別することを更に行わせる、ここにおいて、前記第４の参照ブロックが、第４のビューの第５のアクセス単位中にある、Ｃ２８に記載のコンピュータ可読記憶媒体。
［Ｃ３０］
前記命令が、前記１つ以上のプロセッサに、
残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第２の符号化ブロックを復号することと、
双方向予測と、前記第３の予測方向のための識別された前記参照ブロックと、前記第４の予測方向のための識別された前記参照ブロックとを使用して前記残差データを復号することと
を更に行わせる、Ｃ２９に記載のコンピュータ可読記憶媒体。

Claims (14)

  1. ビデオデータを復号するための方法であって、
    第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、ここにおいて、前記高度残差予測が、残差予測子ブロックの残差に対してビデオデータの前記第１の符号化ブロックの残差の予測を実行することを含み、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての第１の時間動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第１の予測方向のための第１の時間参照ブロックを識別することと、ここにおいて、前記第１の時間参照ブロックが、前記第１のビュー中及び第２のアクセス単位中にあり、前記第２のアクセス単位が、前記第１のアクセス単位とは異なっており、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向のための視差ベクトルを導出することと、
    前記第１の予測方向のための前記視差ベクトルを使用して、第１のビュー間参照ブロックを識別することと、ここにおいて、前記第１のビュー間参照ブロックが、第２のビュー中にあり、前記第２のビューが、前記第１のビューとは異なっており、
    前記第１のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第２のビュー間参照ブロックを識別することと、ここで、前記第２のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第１のビュー間参照ブロックと前記第２のビュー間参照ブロックとから第１の残差予測子ブロックを決定することと、
    ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての第１の視差動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第２の予測方向のための第２の時間参照ブロックを識別することと、ここにおいて、前記第２の時間参照ブロックが、前記第１の時間参照ブロックと同じであり、
    前記第２の予測方向についての前記第１の視差動き情報を使用して、第３のビュー間参照ブロックを識別することと、ここにおいて、前記第３のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第４のビュー間参照ブロックを識別することと、ここで、前記第４のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと前記第４のビュー間参照ブロックとから第２の残差予測子ブロックを決定することと、
    前記第１の時間参照ブロック、前記第２の時間参照ブロック、前記第１の残差予測子ブロック及び前記第２の残差予測子ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
    を備える方法。
  2. 前記方法が、
    残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
    ビデオデータの復号ブロックを生成するために、双方向予測と、前記第１の予測方向のための前記第１の時間参照ブロックと、前記第２の予測方向のための前記第２の時間参照ブロックとを使用して前記残差データを復号することと
    を更に備える、請求項１に記載の方法。
  3. ビデオデータを復号するように構成された装置であって、
    第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを記憶することを行うように構成されたビデオデータメモリと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、ここにおいて、前記高度残差予測が、残差予測子ブロックの残差に対してビデオデータの前記第１の符号化ブロックの残差の予測を実行することを含み、
    前記ビデオデータメモリと通信しており、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての第１の時間動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第１の予測方向のための第１の時間参照ブロックを識別することと、ここにおいて、前記第１の時間参照ブロックが、前記第１のビュー中及び第２のアクセス単位中にあり、前記第２のアクセス単位が、前記第１のアクセス単位とは異なっており、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向のための視差ベクトルを導出することと、
    前記第１の予測方向のための前記視差ベクトルを使用して、第１のビュー間参照ブロックを識別することと、ここにおいて、前記第１のビュー間参照ブロックが、第２のビュー中にあり、前記第２のビューが、前記第１のビューとは異なっており、
    前記第１のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第２のビュー間参照ブロックを識別することと、ここで、前記第２のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第１のビュー間参照ブロックと前記第２のビュー間参照ブロックとから第１の残差予測子ブロックを決定することと、
    ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての第１の視差動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第２の予測方向のための第２の時間参照ブロックを識別することと、ここにおいて、前記第２の時間参照ブロックが、前記第１の時間参照ブロックと同じであり、
    前記第２の予測方向についての前記第１の視差動き情報を使用して、第３のビュー間参照ブロックを識別することと、ここにおいて、前記第３のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第４のビュー間参照ブロックを識別することと、ここで、前記第４のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと前記第４のビュー間参照ブロックとから第２の残差予測子ブロックを決定することと、
    前記第１の時間参照ブロック、前記第２の時間参照ブロック、前記第１の残差予測子ブロック、及び前記第２の残差予測子ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
    を行うように構成された１つ以上のプロセッサと
    を備える、装置。
  4. 前記１つ以上のプロセッサが、
    残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
    ビデオデータの復号ブロックを生成するために、双方向予測と、前記第１の予測方向のための前記第１の時間参照ブロックと、前記第２の予測方向のための前記第２の時間参照ブロックとを使用して前記残差データを復号することと
    を行うように更に構成された、請求項３に記載の装置。
  5. ビデオデータの前記復号ブロックを表示するように構成された表示器
    を更に備える、請求項４に記載の装置。
  6. 前記ビデオデータメモリと前記１つ以上のプロセッサとが、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、タブレットコンピュータ、テレビジョン、カメラ、デジタルメディアプレーヤ、ビデオゲームコンソール、又はビデオストリーミング機器のうちの１つ内に格納される、請求項３に記載の装置。
  7. ビデオデータを復号するように構成された装置であって、
    第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信するための手段と、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、ここにおいて、前記高度残差予測が、残差予測子ブロックの残差に対してビデオデータの前記第１の符号化ブロックの残差の予測を実行することを含み、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての第１の時間動き情報を決定するための手段と、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第１の予測方向のための第１の時間参照ブロックを識別するための手段と、ここにおいて、前記第１の時間参照ブロックが、前記第１のビュー及び第２のアクセス単位中にあり、前記第２のアクセス単位が、前記第１のアクセス単位とは異なっており、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向のための視差ベクトルを導出するための手段と、
    前記第１の予測方向のための前記視差ベクトルを使用して、第１のビュー間参照ブロックを識別するための手段と、ここにおいて、前記第１のビュー間参照ブロックが、第２のビュー中にあり、前記第２のビューが、前記第１のビューとは異なっており、
    前記第１のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第２のビュー間参照ブロックを識別するための手段と、ここで、前記第２のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第１のビュー間参照ブロックと前記第２のビュー間参照ブロックとから第１の残差予測子ブロックを決定するための手段と、
    ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての第１の視差動き情報を決定するための手段と、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第２の予測方向のための第２の時間参照ブロックを識別するための手段と、ここにおいて、前記第２の時間参照ブロックが、前記第１の時間参照ブロックと同じであり、
    前記第２の予測方向についての前記第１の視差動き情報を使用して、第３のビュー間参照ブロックを識別するための手段と、ここにおいて、前記第３のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第４のビュー間参照ブロックを識別するための手段と、ここで、前記第４のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと前記第４のビュー間参照ブロックとから第２の残差予測子ブロックを決定するための手段と、
    前記第１の時間参照ブロック、前記第２の時間参照ブロック、前記第１の残差予測子ブロック、及び前記第２の残差予測子ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行するための手段と
    を備える、装置。
  8. ビデオデータの前記第１の符号化ブロックを復号するための前記手段が、
    残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号するための手段と、
    ビデオデータの復号ブロックを生成するために、双方向予測と、前記第１の予測方向のための前記第１の時間参照ブロックと、前記第２の予測方向のための前記第２の時間参照ブロックとを使用して前記残差データを復号するための手段と
    を備える、請求項７に記載の装置。
  9. 実行されたとき、ビデオデータを復号するように構成された機器の１つ以上のプロセッサに、
    第１のビューの第１のアクセス単位中でビデオデータの第１の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第１の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第１の予測方向のための時間的予測と第２の予測方向のためのビュー間予測とを含み、ここにおいて、前記高度残差予測が、残差予測子ブロックの残差に対してビデオデータの前記第１の符号化ブロックの残差の予測を実行することを含み、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向についての第１の時間動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第１の予測方向のための第１の時間参照ブロックを識別することと、ここにおいて、前記第１の時間参照ブロックが、前記第１のビュー中及び第２のアクセス単位中にあり、前記第２のアクセス単位が、前記第１のアクセス単位とは異なっており、
    ビデオデータの前記第１の符号化ブロックのための前記第１の予測方向のための視差ベクトルを導出することと、
    前記第１の予測方向のための前記視差ベクトルを使用して、第１のビュー間参照ブロックを識別することと、ここにおいて、前記第１のビュー間参照ブロックが、第２のビュー中にあり、前記第２のビューが、前記第１のビューとは異なっており、
    前記第１のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第２のビュー間参照ブロックを識別することと、ここで、前記第２のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第１のビュー間参照ブロックと前記第２のビュー間参照ブロックとから第１の残差予測子ブロックを決定することと、
    ビデオデータの前記第１の符号化ブロックのための前記第２の予測方向についての第１の視差動き情報を決定することと、
    前記第１の予測方向についての前記第１の時間動き情報を使用して、前記第２の予測方向のための第２の時間参照ブロックを識別することと、ここにおいて、前記第２の時間参照ブロックが、前記第１の時間参照ブロックと同じであり、
    前記第２の予測方向についての前記第１の視差動き情報を使用して、第３のビュー間参照ブロックを識別することと、ここにおいて、前記第３のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと、前記第１の予測方向についての前記第１の時間動き情報とを使用して、第４のビュー間参照ブロックを識別することと、ここで、前記第４のビュー間参照ブロックが、前記第２のビュー中にあり、
    前記第３のビュー間参照ブロックと前記第４のビュー間参照ブロックとから第２の残差予測子ブロックを決定することと、
    前記第１の時間参照ブロック、前記第２の時間参照ブロック、前記第１の残差予測子ブロック、及び前記第２の残差予測子ブロックを使用してビデオデータの前記第１の符号化ブロックに対して高度残差予測を実行することと
    を行わせる命令を記憶した、コンピュータ可読記憶媒体。
  10. 前記命令が、前記１つ以上のプロセッサに、
    残差ビデオデータを生成するために、ブロックレベルの高度残差予測又は予測単位レベルの高度残差予測のうちの１つを使用してビデオデータの前記第１の符号化ブロックを復号することと、
    ビデオデータの復号ブロックを生成するために、双方向予測と、前記第１の予測方向のための前記第１の時間参照ブロックと、前記第２の予測方向のための前記第２の時間参照ブロックとを使用して前記残差データを復号することと
    を更に行わせる、請求項９に記載のコンピュータ可読記憶媒体。
  11. ピクチャ順序カウント値に基づいて前記第１の時間動き情報をスケーリングすること を更に備える、請求項１に記載の方法。
  12. 第３のビューの第３のアクセス単位中でビデオデータの第２の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のためのビュー間予測と第４の予測方向のための時間的予測とを含み、
    ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての第２の視差動き情報を決定することと、
    前記第３の予測方向についての前記第２の視差動き情報を使用して、前記第３の予測方向のための第５のビュー間参照ブロックを識別することと、ここにおいて、前記第５のビュー間参照ブロックが、第４のビュー中にあり、前記第４のビューが、前記第３のビューとは異なっており、
    ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向のための前記第５のビュー間参照ブロックからの動きベクトルを導出することと、
    前記第３の予測方向のための前記動きベクトルを使用して、第３の時間参照ブロックを識別することと、
    前記第５のビュー間参照ブロックと前記第３の予測方向のための前記動きベクトルとを使用して、第６のビュー間参照ブロックを識別することと、
    前記第５のビュー間参照ブロックと前記第６のビュー間参照ブロックとから第３の残差予測子ブロックを決定することと、
    ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての第２の時間動き情報を決定することと、
    前記第４の予測方向についての前記第２の時間動き情報を使用して、前記第４の予測方向のための第４の時間参照ブロックを識別することと、
    前記第３の予測方向についての前記第２の視差動き情報を使用して、第７のビュー間参照ブロックを識別することと、ここにおいて、前記第７のビュー間参照ブロックが、前記第５のビュー間参照ブロックと同じであり、
    前記第７のビュー間参照ブロックと、前記第４の予測方向についての前記第２の時間動き情報とを使用して、第８のビュー間参照ブロックを識別することと、
    前記第７のビュー間参照ブロックと前記第８のビュー間参照ブロックとから第４の残差予測子ブロックを決定することと、
    前記第３の時間参照ブロック、前記第４の時間参照ブロック、前記第３の残差予測子ブロック及び前記第４の残差予測子ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行することと、
    を更に備える、請求項１に記載の方法。
  13. 前記１つ以上のプロセッサが、
    ピクチャ順序カウント値に基づいて前記第１の時間動き情報をスケーリングすること
    を行うように更に構成された、請求項３に記載の装置。
  14. 前記１つ以上のプロセッサが、
    第３のビューの第３のアクセス単位中でビデオデータの第２の符号化ブロックを受信することと、ここにおいて、ビデオデータの前記第２の符号化ブロックが、高度残差予測と双方向予測とを使用して符号化され、前記双方向予測が、第３の予測方向のためのビュー間予測と第４の予測方向のための時間的予測とを含み、
    ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向についての第２の視差動き情報を決定することと、
    前記第３の予測方向についての前記第２の視差動き情報を使用して、前記第３の予測方向のための第５のビュー間参照ブロックを識別することと、ここにおいて、前記第５のビュー間参照ブロックが、第４のビュー中にあり、前記第４のビューが、前記第３のビューとは異なっており、
    ビデオデータの前記第２の符号化ブロックのための前記第３の予測方向のための前記第５のビュー間参照ブロックからの動きベクトルを導出することと、
    前記第３の予測方向のための前記動きベクトルを使用して、第３の時間参照ブロックを識別することと、
    前記第５のビュー間参照ブロックと前記第３の予測方向のための前記動きベクトルとを使用して、第６のビュー間参照ブロックを識別することと、
    前記第５のビュー間参照ブロックと前記第６のビュー間参照ブロックとから第３の残差予測子ブロックを決定することと、
    ビデオデータの前記第２の符号化ブロックのための前記第４の予測方向についての第２の時間動き情報を決定することと、
    前記第４の予測方向についての前記第２の時間動き情報を使用して、前記第４の予測方向のための第４の時間参照ブロックを識別することと、
    前記第３の予測方向についての前記第２の視差動き情報を使用して、第７のビュー間参照ブロックを識別することと、ここにおいて、前記第７のビュー間参照ブロックが、前記第５のビュー間参照ブロックと同じであり、
    前記第７のビュー間参照ブロックと、前記第４の予測方向についての前記第２の時間動き情報とを使用して、第８のビュー間参照ブロックを識別することと、
    前記第７のビュー間参照ブロックと前記第８のビュー間参照ブロックとから第４の残差予測子ブロックを決定することと、
    前記第３の時間参照ブロック、前記第４の時間参照ブロック、前記第３の残差予測子ブロック及び前記第４の残差予測子ブロックを使用してビデオデータの前記第２の符号化ブロックに対して高度残差予測を実行することと、
    を行うように更に構成された、請求項３に記載の装置。
JP2016545858A 2014-01-11 2015-01-09 ３ｄビデオコード化のためのブロックベースの高度残差予測 Active JP6522629B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461926290P 2014-01-11 2014-01-11
US61/926,290 2014-01-11
US14/592,633 2015-01-08
US14/592,633 US9967592B2 (en) 2014-01-11 2015-01-08 Block-based advanced residual prediction for 3D video coding
PCT/US2015/010878 WO2015106141A1 (en) 2014-01-11 2015-01-09 Block-based advanced residual prediction for 3d video coding

Publications (3)

Publication Number Publication Date
JP2017510127A JP2017510127A (ja) 2017-04-06
JP2017510127A5 JP2017510127A5 (ja) 2018-07-12
JP6522629B2 true JP6522629B2 (ja) 2019-05-29

Family

ID=53522487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016545858A Active JP6522629B2 (ja) 2014-01-11 2015-01-09 ３ｄビデオコード化のためのブロックベースの高度残差予測

Country Status (9)

Country Link
US (1) US9967592B2 (ja)
EP (1) EP3092805B1 (ja)
JP (1) JP6522629B2 (ja)
KR (1) KR102331683B1 (ja)
CN (1) CN105874799B (ja)
BR (1) BR112016016012B1 (ja)
ES (1) ES2842109T3 (ja)
HK (1) HK1223757A1 (ja)
WO (1) WO2015106141A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2934221T3 (es) * 2010-12-22 2023-02-20 Lg Electronics Inc Método de intrapredicción y aparato que utiliza el método
KR102136358B1 (ko) 2011-09-22 2020-07-22 엘지전자 주식회사 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
HUE043182T2 (hu) * 2014-03-13 2019-08-28 Qualcomm Inc Egyszerûsített fejlett maradékpredikció 3d-hevc-hez
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2016056754A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
US10200666B2 (en) * 2015-03-04 2019-02-05 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
US11330284B2 (en) * 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
KR102525033B1 (ko) * 2015-11-11 2023-04-24 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2018058526A1 (zh) 2016-09-30 2018-04-05 华为技术有限公司 视频编码方法、解码方法及终端
EP3596926A1 (en) * 2017-03-17 2020-01-22 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
CN108172168B (zh) * 2017-12-22 2019-11-15 深圳市华星光电半导体显示技术有限公司 一种补偿表压缩方法
US10652550B2 (en) 2017-12-22 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Compensation table compressing method
CN111771382B (zh) * 2018-02-26 2022-12-06 交互数字Vc控股公司 帧内预测中基于梯度的边界滤波
TWI723445B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 查找表的更新：fifo、約束的fifo
KR102611261B1 (ko) 2018-06-29 2023-12-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업데이트 대상 lut 또는 비업데이트 lut의 구별
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
TWI723446B (zh) 2018-07-02 2021-04-01 大陸商北京字節跳動網絡技術有限公司 具有lic的lut
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN111093080B (zh) 2018-10-24 2024-06-04 北京字节跳动网络技术有限公司 视频编码中的子块运动候选
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
US11375178B2 (en) 2019-03-04 2022-06-28 Dolby Laboratories Licensing Corporation Multi-resolution multi-view video rendering
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN115398888B (zh) 2020-03-30 2024-06-11 字节跳动有限公司 用于对视频编解码中并置图片的约束的方法、装置和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US9451283B2 (en) * 2011-07-05 2016-09-20 Texas Instruments Incorporated Method, system and computer program product for selecting a motion vector in scalable video coding
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding

Also Published As

Publication number Publication date
KR20160106604A (ko) 2016-09-12
US20150201212A1 (en) 2015-07-16
WO2015106141A1 (en) 2015-07-16
BR112016016012B1 (pt) 2023-11-14
US9967592B2 (en) 2018-05-08
ES2842109T3 (es) 2021-07-12
EP3092805B1 (en) 2020-10-07
HK1223757A1 (zh) 2017-08-04
EP3092805A1 (en) 2016-11-16
JP2017510127A (ja) 2017-04-06
KR102331683B1 (ko) 2021-11-25
CN105874799A (zh) 2016-08-17
BR112016016012A2 (pt) 2017-08-08
CN105874799B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
JP6522629B2 (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
KR102099494B1 (ko) 비대칭 모션 파티셔닝을 이용한 비디오 코딩 기법들
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JP6254254B2 (ja) ３次元（３ｄ）ビデオコーディング用の進化型マージモード
KR102264104B1 (ko) 백워드 뷰 합성 예측
US10158884B2 (en) Simplified merge list construction process for 3D-HEVC
JP6339116B2 (ja) マルチビュー又は３次元ビデオコード化におけるビュー間残差予測
KR102329912B1 (ko) 디스패리티 벡터 유도
JP6434012B2 (ja) ３ｄ−ｈｅｖｃのための簡素化された高度動き予測
US9948915B2 (en) Sub-PU motion prediction for texture and depth coding
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
KR20160034922A (ko) 비디오 코딩에서 디스패리티 벡터를 이용한 블록 식별
JP2016526348A5 (ja)
CN109547800B (zh) 用于3d-hevc的简化高级残余预测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180918

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250