[0029]本開示は、マルチビュー映像コーディング(MVC)に関する技法について説明し、より具体的には、本開示は、映像コーダ(例えば、映像符号器又は映像復号器)がMVCでの使用のために現在のビューの現在のピクチャ内の現在のブロックに関する視差ベクトル(disparity vector)を決定する技法について説明する。本開示の技法により、映像コーダは、現在のブロックの1つ以上の空間的又は時間的近隣ブロックの動き情報に基づいて視差ベクトルを決定することができる。映像コーダは、異なるビュー内の対応するブロックの位置を突き止めるために視差ベクトルを使用することができる。映像コーダは、インタービュー動きベクトル予測及びインタービュー残差予測のうちのいずれか又は両方のために、又は、2つのビュー間の視差に基づくその他のタイプのインタービュー動きベクトル予測のために、本開示において説明される技法により決定された、視差ベクトルを使用することができる。本開示において、用語“現在の”は、概して、現在コーディング中のビュー、ピクチャ、又はブロックを識別するために使用される。従って、現在のブロックは、概して、既にコーディングされたブロックではなく又はまだコーディングされていないブロックではなく、コーディング中の映像データのブロックを表す。
[0030]MVCは、複数のビューがコーディングされる方法を意味する。三次元(3D)映像コーディングの場合は、複数のビューは、例えば、左目のビュー及び右目のビューに対応することができる。複数のビューのうちの各ビューは、複数のピクチャを含む。見る人(viewer)による3Dシーンの知覚は、異なるビューのピクチャにおけるオブジェクト間の水平視差に起因する。用語マルチビュー映像コーディング、すなわちMVC、は、概して、複数のビューのコーディングについて取り扱うコーディング規格を意味する。MVCは、テクスチャビューのコーディングを含む3D映像コーディング規格における技法も意味するが、MVC技法は、深度ビューのコーディングのためにも使用することができる。例えば、MVCは、H.264/AVCのマルチビューコーディング拡張、すなわち、H.264/MVC、又はHEVCの現在進行中の3D映像拡張である3D−HEVCのテクスチャコーディングを意味することができる。反対の記載がないかぎり、本開示においては、マルチビューは、概して一般的用語として使用され、MVCは、概して、上記のテクスチャコーディング技術を意味するために使用される。
現在のピクチャの現在のブロックに関する視差ベクトルは、現在のピクチャと異なるビュー内にある対応するピクチャ内の対応するブロックを指し示すベクトルである。従って、視差ベクトルを使用することで、映像コーダは、対応するブロック内において、現在のピクチャの現在のブロックに対応するブロックの位置を突き止めることができる。この場合、対応するピクチャは、現在のピクチャと同じ時間的インスタンスであるが異なるビュー内にあるピクチャである。対応するピクチャ内の対応するブロック及び現在のピクチャ内の現在のブロックは、同様の映像コンテンツを含むことができる。しかしながら、現在のピクチャ内の現在のブロックの位置と対応するピクチャ内の対応するブロックの位置との間には少なくとも水平の視差が存在する。現在のブロックの視差ベクトルは、対応するピクチャ内のブロックと現在のピクチャ内の現在のブロックとの間のこの水平視差の尺度を提供する。幾つかの例では、対応するピクチャ内のブロックの位置と現在のピクチャ内の現在のブロックの位置との間には垂直な視差が存在することもできる。現在のブロックの視差ベクトルは、対応するピクチャ内のブロックと現在のピクチャ内の現在のブロックとの間のこの垂直な視差の尺度を提供することもできる。視差ベクトルは、2つの成分(x成分及びy成分)を含むが、多くの場合は、垂直成分はゼロに等しくなる。現在のビューの現在のピクチャ及び異なるビューの対応するピクチャが表示される時間は同じであることができ、それは、現在のピクチャ及び対応するピクチャが同じ時間的インスタンスのピクチャであることを示す。
[0032]本開示は、現在のブロックの1つ以上の空間的又は時間的近隣ブロックの動き情報に基づいて視差ベクトルを決定するための技法について説明する。以下においてさらに詳細に説明されるように、視差ベクトルは、いったん決定された時点で、3D映像コーディングプロセスの様々な異なる部分において様々な異なる方法で使用することができる。例えば、映像コーダは、決定された視差ベクトルをインタービュー動き予測又はインタービュー残差予測の一部として使用することができる。以下においてさらに詳細に説明されるように、1つ以上の空間的又は時間的近隣ブロックの動き情報を用いることによって、本開示の技法は、視差ベクトルを決定するための既存の技法よりも複雑さが小さくなることができ、その理由は、特に、ここにおいて説明される技法は、推定された深度マップを必ずしも利用する必要がないためである。従って、本開示の技法は、有利なことに、映像符号器及び映像復号器の複雑さを小さくすることができ及びメモリの使用及びメモリのアクセスを低減させることができる。
[0033]映像コーディングでは、概して2つのタイプの予測があり、共通してイントラ予測及びインター予測と呼ばれる。イントラ予測では、映像コーダは、同じピクチャ内の既にコーディングされているブロックに基づいてピクチャ内の映像のブロックを予測する。インター予測では、映像コーダは、異なるピクチャ(すなわち、基準ピクチャ)の既にコーディングされているブロックに基づいてピクチャ内の映像のブロックを予測する。本開示で使用される基準ピクチャは、概して、復号順序で後続するピクチャの復号プロセスにおいてインター予測のために使用することができるサンプルを含むピクチャを意味する。以下の例で示されるように、現在のピクチャに関してマルチビューコンテンツをコーディング時には、基準ピクチャは、同じ時間的インスタンスであるが異なるビュー内か又は同じビュー内であるが異なる時間的インスタンスであるかのいずれかであることができる。
[0034]現在のピクチャのブロックを予測するために使用される基準ピクチャのブロックは、動きベクトルによって識別される。MVCでは、少なくとも2種類の動きベクトルが存在する。第1のタイプの動きベクトルは、時間的動きベクトルである。時間的動きベクトルは、コーディング中のブロックと同じビュー内であるがコーディング中のブロックと異なる時間的インスタンスである時間的基準ピクチャ内のブロックを指し示す。視差動きベクトルは、同じ時間的インスタンスであるが異なるビュー内にあるピクチャ内のブロックを指し示す。
[0035]以下においてさらに詳細に説明されるように、映像コーダは、幾つかの例では、予測コーディング技法を利用して動きパラメータ(動きベクトルを含む)をシグナリングすることができ、それは、動きパラメータの明示のコーディングよりも少ないビットを要求することができる。策定中のHEVC規格では、動きパラメータの予測に関して2つのモードが存在する。マージモードでは、映像コーダは、動きパラメータの候補リストを構築し、それらの候補のうちの1つのインデックスが符号化されたビットストリーム内でシグナリングされる。高度動きベクトル予測(AMVP)では、映像コーダは、動きベクトル予測子の候補リストを構築し、それらの候補のうちの1つのインデックスが符号化されたビットストリーム内でシグナリングされる。AMVPの場合は、映像コーダは、動きベクトル差分を追加でシグナリングし、ここで、動きベクトル差分は、動きベクトル予測子と現在のブロックを予測するために使用される実際の動きベクトルとの間の差分である。
[0036]動きベクトルが視差動きベクトルであるか又は時間的動きベクトルであるかは、動きベクトルが関連付けられている基準インデックスに依存する。基準インデックスは、基準ピクチャリスト内の基準ピクチャを識別する。従って、基準ピクチャが時間的基準ピクチャであるか又はインタービュー基準ピクチャであるかは、例えば、基準ピクチャ及び現在のピクチャが同じビューに属するかどうかを検査することによって決定することができる。映像コーダが時間的動きベクトルを用いて映像データのブロックを予測するときには、対応するインター予測は、動き補償予測(MCP)と呼ばれる。映像コーダが視差動きベクトルを用いて映像データのブロックを予測するときには、対応するインター予測は、視差補償予測(DCP)と呼ばれる。動きベクトルは、視差動きベクトルであるか又は時間的動きベクトルであるかにかかわらず、基準ピクチャ内のブロックを識別するための2つの成分、例えば、x成分及びy成分、を含む。
[0037]本開示は、現在のブロックの1つ以上の空間的又は時間的近隣ブロックの動き情報(例えば、視差動きベクトル)に基づいて現在のブロックに関する視差ベクトルを決定するための技法について説明する。以下においてさらに詳細に説明されるように、現在のブロックに関する視差ベクトルは、近隣ブロックに関する空間的視差ベクトル(SDV)、時間的視差ベクトル(TDV)、及び/又は暗黙的視差ベクトル(IDV)を決定することによって決定することができる。IDV、SDV、及びTDVは、以下の図5乃至7を参照して以下においてさらに詳細に説明される。幾つかの実装においては、決定されたSDV、TDV、又はIDVは、いったん識別された時点で、現在のブロックに関する視差ベクトルとして使用することができる。
[0038]その他の実装では、映像コーダは、複数のSDV、TDV、又はIDVを決定し、決定された候補を候補視差ベクトルのリストに追加することができる。候補視差ベクトルのリストから、映像コーダは、現在のブロックに関する視差ベクトルとして1つの候補を選択することができる。本開示は、候補視差ベクトルのリストをdisVecCanと呼ぶ。本開示の技法の幾つかの実装においては、disVecCanは、候補視差ベクトルが格納される特定のデータ構造を表すことができるが、本開示では、disVecCanは、あらゆるタイプのリストを表すためにより一般的に使用されている。disVecCan内の候補から、映像コーダは、ここにおいて説明される技法を用いて現在のブロックに関する視差ベクトルを選択することができる。
[0039]本開示は、概して、現在のブロックに関する視差ベクトルを決定するための技法を対象とする。決定された時点で、視差ベクトルは、視差ベクトルを利用する映像コーディングプロセスのあらゆる部分において使用することができる。映像コーダは、例えば、インタービュー動き予測及び/又はインタービュー残差予測を行うために、決定された視差ベクトルを使用することができる。しかしながら、本開示は、映像コーディングプロセス内でどのようにして視差ベクトルを使用することができるかを示す例を提供する一方で、本開示の技法は、視差ベクトルの特定のタイプの用途に限定されるとみなされるべきでない。2つのビューのブロックのインタービュー相関を利用するあらゆるコーディングツール又は技法が、本開示の技法を用いて決定された視差ベクトルを潜在的に使用することができる。
[0040]図1は、本開示において説明される1つ以上の例による映像符号化及び復号システム例を示したブロック図である。例えば、システム10は、ソースデバイス12と、行先デバイス14と、を含む。ソースデバイス12及び行先デバイス14は、ソースデバイス12及び行先デバイス14が各々異なるビューのピクチャをコーディングするMVCを実装するように構成される。異なるビューのピクチャがまとめて見られたときには、見る人は、ディスプレイの2Dエリアに制限される画像の代わりに、3D体積(volume)を包含する画像を知覚する。
[0041]システム10は、異なる映像コーディング規格、独占規格、又はその他のいずれかのマルチビューコーディング方法により動作することができる。例えば、映像符号器20及び映像復号器30は、映像圧縮規格、例えば、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262又はISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual及びITU−T H.264(ISO/IEC MPEG−4 AVCとも呼ばれる)、により動作することができ、それのスケーラブル映像コーディング(SVC)及びマルチビュー映像コーディング(MVC)拡張を含む。MVC拡張の最近の、公に入手可能な共同ドラフトが、"Advanced video coding for generic audiovisual services"(一般的オーディオビジュアルサービスに関する高度映像コーディング)、ITU−T Recommendation H,264、Mar 2010において記述されている。MVC拡張のそれよりも最近の、公に入手可能な共同ドラフトが、"Advanced video coding for generic audiovisual services"(一般的オーディオビジュアルサービスに関する高度映像コーディング)、ITU−T Recommendation H,264、June 2011において記述されている。MVC拡張の現在の共同ドラフトは、2012年1月現在で承認されている。
[0042]さらに、ITU−T Video Coding Experts Group(VCEG)及びISO/IEC Motion Pictures Experts Group(MPEG)の映像コーディングに関する共同作業チーム(JCT−VC)によって現在策定中の新しい映像コーディング規格、すなわち、高効率映像コーディング(HEVC)規格、が存在する。HEVCの最近のワーキングドラフト(WD)は、HEVC WD9と呼ばれており、2013年2月13日現在では、http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zipから入手可能である。説明の目的上、映像符号器20及び映像復号器30は、HEVC又はH.264規格及び該規格の拡張版との関係で説明される。しかしながら、本開示の技法は、いずれの特定のコーディング規格にも限定されない。映像圧縮規格のその他の例は、MPEG−2と、ITU−T H.263と、を含む。プロプライエタリコーディング技法、例えば、On2 VP6/VP7/VP8と呼ばれるそれら、も、ここにおいて説明される技法のうちの1つ以上を実装することができる。
[0043]本開示の技法は、幾つかのMVC及び/又は3D映像コーディング規格に対して潜在的に適用可能であり、HEVCに基づく3D映像コーディング(3D−HEVC)を含む。3D−HEVCに関する最新の参考ソフトウェアの記述が、Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea“3D−HEVC Test Mode1”としてhttp://phenix.it-sudparis.eu/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1005-v1.zip(スウェーデン、ストックホルム、2012年4月)において入手可能である。最新の参考ソフトウェア、すなわち、HTMは、http://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/trunkから入手可能である。本開示の技法は、H.264/3D−AVC及びH.264/MVC+D映像コーディング規格、又はそれらの拡張版、及びその他のコーディング規格に対しても適用可能である。本開示の技法は、特定のMVC又は3D映像コーディング規格の用語を参照して又は用いて説明されることがある。しかしながら、該説明は、説明される技法はその特定の規格のみに限定されることを意味すると解釈されるべきである。
図1に示されるように、システム10は、のちに行先デバイス14によって復号されることになる符号化された映像データを生成するソースデバイス12を含む。ソースデバイス12及び行先デバイス14は、無線ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマートパッド”、又は無線通信のための装備がなされたその他の該無線デバイス、を含む広範なデバイスのうちのいずれかを備える。ソースデバイス12及び行先デバイス14の追加例は、デジタルテレビと、デジタル直接放送システム内のデバイスと、無線放送システム内のデバイスと、パーソナルデジタルアシスタント(PDA)と、ラップトップコンピュータと、デスクトップコンピュータと、タブレットコンピュータと、電子書籍リーダーと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲーム装置と、ビデオゲームコンソールと、セルラー無線電話と、衛星無線電話と、ビデオ会議装置と、映像ストリーミングデバイスと、等を含み、ただしこれらに限定されない。
[0045]行先デバイス14は、リンク16を介して復号されるべき符号化された映像データを受信することができる。リンク16は、符号化された映像データをソースデバイス12から行先デバイス14に移動させることが可能なあらゆるタイプの媒体又はデバイスを備える。一例では、リンク16は、ソースデバイス12が符号化された映像データをリアルタイムで直接行先デバイス14に送信するのを可能にするための通信媒体を備える。符号化された映像データは、通信規格、例えば、無線通信プロトコルにより変調し、行先デバイス14に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的な送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を成すことができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス12から行先デバイス14への通信を容易にするために有用であることができるその他の装置を含むことができる。
[0046]幾つかの例では、符号化されたデータは、出力インタフェース22から記憶デバイス31に出力される。同様に、符号化されたデータは、入力インタフェース28によって記憶デバイス31からアクセスされる。記憶デバイス31の例は、様々な分散型の又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は非揮発性メモリ、又は、符号化された映像データを格納するためのその他の適切なデジタル記憶媒体のうちのいずれかを含む。さらなる例においては、記憶デバイス31は、ソースデバイス12によって生成された符号化された映像を保持するファイルサーバ又は他の中間的な記憶デバイスに対応する。これらの例では、行先デバイス14は、ストリーミング又はダウンロードを介して記憶デバイス31から格納された映像データにアクセスする。ファイルサーバは、符号化された映像データを格納すること及びその符号化された映像データを行先デバイス14に送信することが可能なあらゆるタイプのサーバである。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、又はローカルのディスクドライブを含む。行先デバイス14は、インターネット接続を含む標準のデータ接続を通じて符号化された映像データにアクセスする。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。記憶デバイス31からの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
[0047]本開示の技法は、無線用途または設定には必ずしも限定されない。それらの技法は、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、(例えば、インターネットを介しての)ストリーミング映像送信、データ記憶媒体に格納されたデジタルビデオの復号、又はその他の用途をサポートする映像コーディングに適用することができる。幾つかの例では、システム10は、用途、例えば、映像ストリーミング、映像再生、映像放送、及び/又はビデオテレフォニー、をサポートするために1方向又は2方向映像送信をサポートするように構成される。
[0048]図1の例では、ソースデバイス12は、映像ソース18と、映像符号器20と、出力インタフェース22とを含む。幾つかの場合は、出力インタフェース22は、変調器/復調器(モデム)及び/又は送信機を含む。ソースデバイス12では、映像ソース18は、ソース、例えば、映像キャプチャデバイス(例えば、ビデオカメラ)、以前にキャプチャされた映像が入った映像アーカイブ、映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、及び/又はコンピュータグラフィックスデータをソース映像として生成するためのコンピュータグラフィックスシステム、該ソースの組み合わせ、又はあらゆるその他のソース、を含む。一例として、映像ソース24がビデオカメラである場合は、ソースデバイス12及び行先デバイス14は、いわゆるカメラフォン又はビデオフォンを形成することができる。しかしながら、本開示において説明される技法は、映像コーディング全般に適用可能であり、及び、無線及び/又は有線の用途に適用することができる。
[0049]映像符号器20は、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成された映像を符号化する。ソースデバイス12の出力インタフェース22は、符号化された映像データを行先デバイス14に送信するように構成される。符号化された映像データは、同じく(又は代替で)、行先デバイス14又はその他のデバイスによるのちのアクセスのために、復号及び/又は再生のために、記憶デバイス31に格納することができる。
[0050]行先デバイス14は、入力インタフェース28と、映像復号器30と、表示装置32と、を含む。幾つかの場合は、入力インタフェース28は、受信機及び/又はモデムを含む。行先デバイス14の入力インタフェース28は、リンク16を通じて又は記憶デバイス31から符号化された映像データを受信する。リンク16を通じて通信された、又は記憶デバイス31で提供された符号化された映像データは、映像データを復号する際の映像復号器、例えば、映像復号器30、による使用のために映像符号器20によって生成される様々な構文要素を含む。該構文要素は、通信媒体で送信された、記憶媒体に格納された、又はファイルサーバに格納された符号化された映像データとともに含めることができる。
[0051]表示装置32は、行先デバイス14と一体化すること、又は行先デバイス14の外部に存在することができる。幾つかの例では、行先デバイス14は、一体化された表示装置を含み、及び外部の表示装置とインタフェースするようにも構成される。その他の例では、行先デバイス14は、表示装置である。概して、表示装置32は、復号された映像データをユーザに表示し、様々な表示装置、例えば、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置のうちのいずれかを備える。
[0052]映像符号器20及び映像復号器30は、各々、様々な適切な符号器回路、例えば、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせ、のうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な非一時的なコンピュータによって読み取り可能な媒体に格納すること及び本開示の技法を実施するために1つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器20及び映像復号器30の各々は、1つ以上の符号器又は復号器内に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器/復号器(CODEC)の一部として一体化することができる。映像符号器20は、本開示において説明される技法により映像データを符号化するように構成され、映像復号器30は、映像データを復号するように構成される。
[0053]図1には示されていないが、幾つかの態様では、映像符号器20及び映像復号器30は、各々、音声符号器及び復号器とともに一体化され、共通のデータストリーム又は別個のデータストリームにおいて音声及び映像の両方の符号化を処理するために、該当するMUX−DEMUXユニット、又はその他のハードウェアとソフトウェアを含む。該当する場合は、幾つかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)に準拠する。
[0054]図2は、本開示において説明される1つ以上の例による、MVC符号化又は復号順序例を示すグラフ図である。例えば、図2において例示される復号順序配置は、時間第1の(time−first)コーディングと呼ばれる。図2において、S0乃至S7は、マルチビュー映像の異なるビューを各々示す。T0乃至T8は、各々、1つの出力時間的インスタンスを表す。アクセスユニットは、1つの出力時間的インスタンスに関するすべてのビューのコーディングされたピクチャを含むことができる。例えば、第1のアクセスユニットは、時間的インスタンスT0(すなわち、ピクチャ0乃至7)に関するすべてのビューS0乃至S7を含み、第2のアクセスユニットは、時間的インスタンスT1(すなわち、ピクチャ8乃至15)に関するすべてのビューS0乃至S7を含み、以下同様である。この例では、ピクチャ0乃至7が同じ時間的インスタンス(すなわち、時間的インスタンスT0)にあり、ピクチャ8乃至15が同じ時間的インスタンス(すなわち、時間的インスタンスT1)にある。同じ時間的インスタンスを有するピクチャは、概して同時に表示され、それは見る人に3D体積(3D volume)を包含する画像を知覚させる同じ時間的インスタンスのピクチャ内のオブジェクト間での水平視差及びある程度の垂直視差である。
[0055]図2において、ビューの各々は、ピクチャの組を含む。例えば、ビューS0は、ピクチャ0、8、16、24、32、40、48、56、及び64の組を含み、ビューS1は、ピクチャ1、9、17、25、33、41、49、57、及び65、等の組を含む。各組は、2つのピクチャを含み、一方のピクチャは、テクスチャビューコンポーネントと呼ばれ、他方のピクチャは、深度ビューコンポーネントと呼ばれる。ビューのピクチャの組内のテクスチャビューコンポーネント及び深度ビューコンポーネントは、互いに対応するとみなすことができる。例えば、ビューのピクチャの組内のテクスチャビューコンポーネントは、ビューのピクチャの組内の深度ビューコンポーネントに対応するとみなすことができ、逆も真なりである(すなわち、深度ビューコンポーネントが組内のそれのテクスチャビューコンポーネントに対応し、逆も真なりである)。本開示において用いられる場合、対応するテクスチャビューコンポーネント及び深度ビューコンポーネントは、単一のアクセスユニットの同じビューの一部であるとみなすことができる。
[0056]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。例えば、テクスチャビューコンポーネントは、ルマ(Y)及びクロマ(Cb及びCr)コンポーネントを含むことができる。深度ビューコンポーネントは、それの対応するテクスチャビューコンポーネント内におけるピクセルの相対的深度を示すことができる。一例として、深度ビューコンポーネントは、ルマ値のみを含む灰色目盛りの画像に類似することができる。換言すると、深度ビューコンポーネントは、画像コンテンツは伝達せず、むしろ、テクスチャビューコンポーネント内でのピクセルの相対的深度の尺度を提供する。
[0057]例えば、深度ビューコンポーネントにおいて純白のピクセルに対応するピクセル値は、対応するテクスチャビューコンポーネント内の対応するピクセル又はピクセル(複数)が見る人により近いことを示すことができ、及び深度ビューコンポーネント内の純粋に黒いピクセルに対応するピクセル値は、見る人からより遠いということを示すことができる。黒と白との間の様々な灰色レベルに対応するピクセル値は、異なる深度レベルを示す。例えば、深度ビューコンポーネント内の非常に濃い灰色のピクセルは、テクスチャビューコンポーネント内のそれの対応するピクセルが深度ビューコンポーネント内の薄い灰色のピクセルよりも遠く離れていることを示す。ピクセルの深度を識別するためには灰色目盛りに類似する1つのピクセル値のみが必要であるため、深度ビューコンポーネントは、1つのみのピクセル値を含むことができる。従って、クロマコンポーネントに類似する値は必要ない。
[0058]深度を識別するためにルマ値(例えば、強度値)のみを用いる深度ビューコンポーネントは、例示目的で提供されており、限定するものであるとはみなされるべきでない。その他の例では、テクスチャビューコンポーネント内のピクセルの相対的深度を示すためにあらゆる技法を利用することができる。
MVCにより、テクスチャビューコンポーネントは、同じビュー内のテクスチャビューコンポーネントから又は1つ以上の異なるビュー内のテクスチャビューコンポーネントからインター予測される。テクスチャビューコンポーネントは、映像データのブロックでコーディングすることができ、それらは、“映像ブロック”と呼ばれ、共通してH.264では“マクロブロック”と呼ばれる。その他の映像コーディング規格、例えば、HEVC規格、は、映像ブロックをツリーブロック又はコーディングユニット(CU)と呼ぶことがある。
[0060]類似する時間的インスタンスのピクチャは、類似のコンテンツを含むことができる。しかしながら、類似する時間的インスタンス内の異なるピクチャの映像コンテンツは、互いに関して水平方向にわずかに変位することがある。例えば、ブロックがビューS0のピクチャ0において(x,y)に位置する場合は、ビューS1のピクチャ1において(x+x’,y)に位置するブロックは、ビューS0のピクチャ0内の(x,y)に位置する類似の映像コンテンツを含む。この例では、ビューS0のピクチャ0において(x,y)に位置するブロック及びビューS1のピクチャ1において(x+x’,y)に位置するブロックは、対応するブロックとみなされる。幾つかの例では、ビューS1のピクチャ1において(x+x’,y)に位置するブロックに関する視差ベクトルは、それの対応するブロックの位置を指し示す。例えば、(x+x’,y)に位置するブロックに関する視差ベクトルは、(−x’,0)である。
[0061]幾つかの例では、映像符号器20又は映像復号器30は、第2のビューのピクチャ内の対応するブロックを識別するために第1のビューのピクチャ内のブロックの視差ベクトルを利用することができる。映像符号器20及び映像復号器30は、例えば、インタービュー動き予測又はインタービュー残差予測を行うときに視差ベクトルを利用することができる。映像符号器20及び映像復号器30は、例えば、現在のブロックの視差ベクトルによって決定された基準ビュー内の基準ピクチャの基準ブロックの情報を用いてインタービュー動き予測を行うことができる。
[0062]図3は、MVC予測パターン例を示した概念図である。図3の例において、8つのビュー(ビューID“S0”乃至“S7”を有する)が例示され、及び、各ビューに関して12の時間的位置(“T0”乃至“T11”)が例示される。すなわち、図3の各行がビューに対応し、各列が時間的位置を示す。図3の例において、大文字“B”及び小文字“b”は、異なるコーディング方法ではなく、ピクチャ間での異なる階層関係を示すために使用される。概して、大文字“B”のピクチャは、小文字“b”のフレームよりも予測階層が相対的に高い。
[0063]図3において、ビューS0は、基本ビューとみなすことができ、ビューS1乃至S7は、従属ビューとみなすことができる。基本ビューは、インタービュー予測されないピクチャを含む。基本ビュー内のピクチャは、同じビュー内のその他のピクチャに関してインター予測することができる。例えば、S0内のピクチャはいずれも、S1乃至S7内のピクチャに関してはインター予測することができないが、ビューS0内のピクチャの一部は、ビューS0内のその他のピクチャに関してインター予測することができる。
[0064]従属ビューは、インター予測されるピクチャを含む。例えば、ビューS1乃至S7の各々の1つは、他のビュー内のピクチャに関してインター予測される少なくとも1つのピクチャを含む。従属ビュー内のピクチャは、基本ビュー内のピクチャに関してインター予測することができ、又は、その他の従属ビュー内のピクチャに関してインター予測することができる。
[0065]基本ビュー及び1つ以上の従属ビューの両方を含む映像ストリームは、異なるタイプの映像復号器によって復号することができる。例えば、1つの基本的タイプの映像復号器は、基本ビューのみを復号するように構成することができる。さらに、他のタイプの映像復号器は、ビューS0乃至S7の各々を復号するように構成することができる。基本ビュー及び従属ビューの両方を復号するように構成される復号器は、マルチビューコーディングをサポートする復号器と呼ぶことができる。
[0066]文書m22570及びm22571は、3D−HEVCに関する幾つかの技法を定義しており、2013年2月13日現在で、パスワードを使用して、http://wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22570-v2-m22570-v2.zip; http://wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22571-v2-m22571-v2.zipから入手可能である。これらの文書においても説明されるツールの1つがインタービュー動き予測であり、従属ビュー内のブロックの動きパラメータ(すなわち、動きベクトル)が、同じアクセスユニットのその他のビュー内の既にコーディングされた動きパラメータに基づいて予測又は推測される(例えば、AMVPモード又はマージモード)。より詳細に説明されるように、m22570及びm22571の文書において説明される技法は幾つかの制限及び課題が発生する可能性がある。本開示において説明される技法は、m22570及びm22571の文書において説明される技法に関して発生する可能性がある制限及び課題のうちの幾つかを克服することが可能である。
[0067]図3のピクチャは、図3における各行と各列の交差部分において示される。MVC拡張版を有するH.264/AVC規格は、映像の一部分を表すために用語フレームを使用することができ、HEVC規格は、映像の一部分を表すために用語ピクチャを使用することができる。本開示は、用語ピクチャ及びフレームを互換可能な形で使用する。
[0068]図3のピクチャは、英字を含む陰影付きブロックを用いて例示され、対応するピクチャはイントラコーディングされるか(すなわち、Iピクチャ)、1つの方向において(すなわち、Pピクチャとして)インターコーディングされるか、又は複数の方向において(すなわち、Bピクチャとして)インターコーディングされるかを指定する。概して、予測は矢印によって示され、指し示されたピクチャ(pointed−to picture)は、予測基準に関して指し示す(pointed−from picture)ピクチャを使用する。例えば、時間的位置T0におけるビューS2のPピクチャは、時間的位置T0におけるビューS0のIピクチャから予測される。
[0069]単一ビュー映像コーディングと同様に、マルチビュー映像コーディング映像シーケンスのピクチャは、異なる時間的位置におけるピクチャに関して予測的に符号化することができる。例えば、時間的位置T1におけるビューS0のBピクチャは、時間的位置T0におけるビューS0のIピクチャから指し示された矢印を有し、bピクチャはIピクチャから予測されることを示す。しかしながら、マルチビュー映像符号化の関係では、ピクチャをインタービュー予測することができる。すなわち、ビューコンポーネント(例えば、テクスチャビューコンポーネント)は、参照のためにその他のビュー内のビューコンポーネントを使用することができる。MVCでは、例えば、インタービュー予測は、あたかも他のビュー内のビューコンポーネントがインター予測基準であるものとして実現される。潜在的なインタービュー基準は、シーケンスパラメータセット(SPS)MVC拡張版においてシグナリングされ、基準ピクチャリスト構築プロセスによって変更することができ、それは、インター予測又はインタービュー予測基準の柔軟な順序設定を可能にする。
[0070]図3は、インタービュー予測の様々な例を提供する。図3の例において、ビューS1のピクチャは、ビューS1の異なる時間的位置におけるピクチャから予測され、及び、同じ時間的位置におけるビューS0及びS2のピクチャからインタービュー予測されるとして例示される。例えば、時間的位置T1におけるビューS1のBピクチャは、時間的位置T0及びT2におけるビューS1のBピクチャ、及び時間的位置T1におけるビューS0及びS2のBピクチャの各々から予測される。
[0071]図3は、異なる陰影レベルを用いて予測階層における変形も例示し、陰影がより多い(すなわち、相対的により暗い)フレームは、より少ない陰影を有する(すなわち、相対的により明るい)フレームよりも予測階層が高い。例えば、図3におけるすべてのIピクチャは、完全な陰影で示され、Pピクチャは、多少より明るい陰影を有し、Bピクチャ(及び小文字のbピクチャ)は、互いに関して様々な陰影レベルを有するが、Pピクチャ及びIピクチャの陰影よりも常に明るい。
[0072]概して、予測階層は、予測階層において相対的により高いピクチャは階層において相対的により低いピクチャを復号する前に復号されるべきであるという点で、ビュー順序インデックスと関連付けることができる。階層において相対的により高いピクチャは、階層において相対的により低いピクチャの復号中に基準ピクチャとして使用することができる。ビュー順序インデックスは、アクセスユニット内のビューコンポーネントの復号順序を示すインデックスである。ビュー順序インデックスは、H.264/AVCの付属書Hにおいて指定されるように、シーケンスパラメータセット(SPS)MVC拡張版では暗黙に示されている。SPSでは、各インデックスiに関して、対応するview_idがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従うものとする。すべてのビューが提示された場合は、ビュー順序インデックスは、0からnum_views_minus_1までの連続した順序である。
[0073]この方法により、基準ピクチャとして使用されるピクチャは、基準ピクチャに依存するピクチャの前に復号される。ビュー順序インデックスは、アクセスユニットにおけるビューコンポーネントの復号順序を示すインデックスである。各ビュー順序インデックスiに関して、対応するview_idがシグナリングされる。すべてのビューが提示された場合は、ビュー順序インデックスの組は、ゼロから全ビュー数−1までの連続して順序が設定された組を備えることができる。
[0074]階層の等しいレベルにある幾つかのピクチャの場合は、復号順序は互いに問題にならない。例えば、時間的位置T0におけるビューS0のIピクチャは、時間的位置T0におけるビューS2のPピクチャに関する基準ピクチャとして使用することができ、それは、時間的位置T0におけるビューS4のPピクチャに関する基準ピクチャとして使用することができる。従って、時間的位置T0におけるビューS0のIピクチャは、時間的位置T0におけるビューS2のPピクチャの前に復号されるべきであり、それは、時間的位置T0におけるビューS4のPピクチャの前に復号されるべきである。しかしながら、ビューS1乃至S3の間では、復号順序は重要でない。その理由は、ビューS1及びS3は、予測に関しては互いに依存していないためである。その代わりに、ビューS1及びS3は、予測階層においてより高いその他のビューのみから予測される。さらに、ビューS1がビューS0及びS2の後に復号されるかぎりは、ビューS1はビューS4の前に復号することができる。
[0075]この方法により、階層的順序設定は、ビューS0乃至S7を説明するために使用することができる。本開示では、表記法“SA>SB”は、ビューSAがビューSBの前に復号されるべきであることを意味する。この表記法を用いると、図2の例ではS0>S2>S4>S6>S7である。さらに、図2の例に関して、S0>S1、S2>S1、S2>S3、S4>S3、S4>S5、及びS6>S5である。この階層的順序設定に違犯しないビューに関するあらゆる復号順序が可能である。従って、数多くの異なる復号順序が可能であり、階層的順序設定に基づく制限が存在する。
[0076]幾つかの例では、図3は、テクスチャビューコンポーネントを例示すると見ることができる。これらの例では、インタービュー予測(例えば、インタービュー動き予測又はインタービュー残差予測)を実装するために、映像符号器20又は映像復号器30は、幾つかの場合においては、視差ベクトルを用いて対応するブロックの位置を突き止め、対応するブロックの動きベクトルを、インター予測されるべき現在のブロックに関する動きベクトル予測子として利用することができる。本開示において説明される技法は、必ずしも深度ビューコンポーネントを導き出す必要なしに、及び必ずしもグローバル視差ブロックに依存することなしに現在のブロックの視差ベクトルを決定する。
[0077]映像シーケンスは、典型的には、ビュー(例えば、図2及び3において例示されるビュー)からの一連の映像ピクチャを含む。ピクチャのグループ(GOP)は、概して、一連の1つ以上の映像ピクチャを備える。GOPは、GOP内に含まれるピクチャ数を記述する構文データをGOPのヘッダ、GOPの1つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。各ピクチャは、各々のピクチャに関する符号化モードを記述するピクチャ構文データを含むことができる。映像符号器20は、典型的には、映像データを符号化するために個々の映像ピクチャ内の映像ブロックに対して動作する。映像ブロックは、H.264/MVC規格において定義されるように、マクロブロック、マクロブロックのパーティション、及びおそらくパーティションのサブブロックに対応し、HEVC規格において定義されるように、最大コーディングユニット(LCU)、コーディングユニット(CU)、予測ユニット(PU)、又は変換ユニット(TU)に対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。各映像ピクチャは、複数のスライスを含むことができる。各スライスは、複数のブロックを含むことができる。
一例として、ITU−T H.264規格は、様々なブロックサイズ、例えば、ルマコンポーネントに関しては16 by 16、8 by 8、又は4 by 4、クロマコンポーネントに関しては、8×8のイントラ予測、及びルマコンポーネントに関しては16×16、16×8、8×16、8×8、8×4、4×8及び4×4、クロマコンポーネントに関しては対応するスケーリングされたサイズのインター予測をサポートする。本開示においては、“N×N”及び“N by N”は、垂直及び水平の寸法に関するブロックのピクチャ寸法を意味するために互換可能な形で使用することができる(例えば、16×16ピクセル又は16 by 16ピクセル)。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)及び水平方向に16ピクセル(x=16)を有することになる。同様に、N×Nブロックは、概して、垂直方向にNのピクセル及び水平方向にNのピクセルを有し、ここで、Nは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、N×Mピクセルを備えることができ、ここで、Mは必ずしもNと等しくない。
[0079]ブロックがイントラモード符号化(例えば、イントラ予測)されるときには、ブロックは、ブロックに関するイントラ予測モードを記述するデータを含むことができる。他の例として、ブロックがインターモード符号化(例えば、インター予測)されるときには、ブロックは、ブロックに関する動きベクトルを定義する情報を含むことができる。この動きベクトルは、同じビュー内の基準ピクチャを示し、又は他のビュー内の基準ピクチャを示す。ブロックに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する分解能(例えば、1/4ピクセル精度又は1/8ピクセル精度)を記述する。さらに、インター予測されるときには、ブロックは、基準インデックス情報、例えば、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、RefPicList0又はRefPicList1)を含むことができる。
[0080]JCT−VCは、HEVC規格の策定作業中である。HEVC標準化努力は、HEVCテストモデル(HM)と呼ばれる映像コーディングデバイスの進化モデルに基づく。HMは、(例えば、ITU−T H.264/AVCによる既存のデバイスに関する映像コーディングデバイスの幾つかの追加能力を仮定している。例えば、H.264は9つのイントラ予測符号化モードを提供する一方で、HMは、33もの方向性/角度イントラ予測符号化モードプラスDC及びPlanarモードを提供することができる。
[0081]HMの作業モデルは、映像ピクチャを、ルマサンプル及びクロマサンプルの両方を含むツリーブロック又は最大コーディングユニット(LCU)のシーケンスに分割することができると記述している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序の幾つかの連続するツリーブロックを含む。映像ピクチャは、1つ以上のスライスに分割することができる。各ツリーブロックは、四分木によるコーディングユニット(CU)に分割することができる。例えば、ツリーブロックは、四分木のルートノードとして、4つの子ノードに分割することができ、各子ノードは、親ノードになることができ、他の4つの子ノードに分割することができる。最後の分割されない子ノードは、四分木の葉ノードとして、コーディングノード(すなわち、コーディングされた映像ブロック)を備える。コーディングされたビットストリームと関連付けられた構文データは、ツリーブロックを分割することができる最大回数を定義することができ、及び、コーディングノードの最小サイズも定義することができる。ツリーブロックは、幾つかの例ではLCUと呼ばれる。
[0082]CUは、コーディングノードと、そのコーディングノードと関連付けられた予測ユニット(PU)及び変換ユニット(TU)と、を含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形であることができる。幾つかの例では、CUのサイズは8×8ピクセルからツリーブロックのサイズまでに及び、最大は64×64ピクセル以上である。幾つかの例では、各CUは、1つ以上のPUと、1つ以上のTUと、を含む。CUと関連付けられた構文データは、例えば、CUを1つ以上のPUに分割することを記述する。分割モードは、CUがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかによって異なる。PUは、幾つかの例では、形状が正方形以外に分割することができる。CUと関連付けられた構文データは、例えば、四分木によりCUを1つ以上のTUに分割することについても記述する。TUは、形状は正方形又は正方形以外であることができる。
[0083]HEVC規格は、TUよる変形を考慮しており、それは、異なるCUごとに異なることができる。TUは、典型的には、分割されたLCUに関して定義された所定のCU内のPUのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。TUは、典型的には、PUと同じサイズであるかより小さい。幾つかの例では、CUに対応する残差サンプルは、“残差四分木”(RQT)として知られる四分木構造を用いてより小さいユニットに細分される。RQTの葉ノードは、変換ユニット(TU)と呼ぶことができる。TUと関連付けられたピクセル差分値が変換されて変換係数が生成され、それらは、幾つかの例では、量子化される。
[0084]PUは、予測プロセスに関連するデータを含む。例えば、PUがイントラモード符号化されるときには、PUは、PUに関するイントラ予測モードを記述したデータを含む。他の例として、PUがインターモード符号化されるときには、PUは、PUに関する動きベクトルを定義するデータを含む。PUに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する分解能(例えば、1/4ピクセル精度又は1/8ピクセル精度)、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、リスト0又はリスト1)を記述する。
[0085]TUは、変換及び量子化プロセスのために使用される。1つ以上のPUを有する所定のCUは、1つ以上の変換ユニット(TU)も含むことができる。予測に引き続き、映像符号器20は、PUに対応する残差値を計算することができる。残差値は、エントロピーコーディングのためにシリアライズ(serialize)された変換係数を生成するためにTUを用いて変換係数に変換し、量子化し、及び走査することができるピクセル残差値を備える。本開示は、典型的には、CUのコーディングノードを指し示すために用語“映像ブロック”を使用する。幾つかの具体的な事例では、本開示は、コーディングノードと、PUと、TUとを含むツリーブロック、すなわち、LCU、又はCU、を意味するために用語“映像ブロック”を使用することもできる。
[0086]一例として、HMは、様々なPUサイズの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測、及び2N×2N、2N×N、N×2N、又はN×Nの対称的PUサイズでのインター予測をサポートする。HMは、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、CUの1方の方向が分割されず、他方の方向が25%及び75%に分割される。25%の分割に対応するCUの部分は、“n”によって示され、“上”、“下”、“左”、又は“右”の表示文字によって後続される。従って、例えば、“2N×nU”は、水平に分割され、最上部が2N×0.5N PU、最下部が2N×1.5N PUである2N×2N CUを意味する。
H.264規格又はHEVC規格のいずれにおいても、イントラ予測又はインター予測コーディングに引き続き、映像符号器20は、HEVCではCUのTUに関する又はH.264ではマクロブロックに関する残差データを計算する。PUは、空間領域(ピクセル領域とも呼ばれる)におけるピクセルデータを備え、TUは、変換(例えば、離散コサイン変換(DCT))、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後の変換領域における係数を備える。残差データは、符号化されないピクチャのピクセルとHEVCではPUに対応する予測値との間又はH.264ではマクロブロックに関する予測値との間のピクセル差分に対応することができる。
[0088]変換係数を生成するための変換に続き、映像符号器20は、幾つかの例では、変換係数の量子化を行う。量子化は、概して、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させる。例えば、nビット値が切り捨てられてmビット値になり、ここで、nはmよりも大きい。
[0089]幾つかの例では、映像符号器20は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用する。その他の例では、映像符号器20は、適応型走査を行う。一次元ベクトルを形成するために量子化された変換係数を走査後は、幾つかの例では、映像符号器20は、幾つかの例として、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化する。映像符号器20は、映像データを復号する際に映像復号器30によって使用するための符号化された映像データと関連付けられた構文要素もエントロピー符号化する。
[0090]CABACを行うために、映像符号器20は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。CAVLCを行うために、映像符号器20は、送信されるべきシンボルに関する可変長コードを選択することができる。VLCにおけるコードワードは、相対的により短いコードがより確率の高いシンボルに対応し、より長いコードがより確率の低いシンボルに対応するような形で構築することができる。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。
[0091]上述されるように、3D−HEVCでは、映像符号器20及び映像復号器30は、第2のビューの基準ピクチャ内の基準ブロックを参照して第1のビューの現在のピクチャ内の現在のブロックをインター予測することができる。該インター予測は、インタービュー予測と呼ばれる。現在のピクチャ及び基準ピクチャの時間的インスタンスは、各々のビューで同じであることができる。この例では、映像符号器20又は映像復号器30は、同じアクセスユニット内のピクチャにわたってインタービュー予測を行い、同じアクセスユニット内のピクチャは、同じ時間的インスタンスである。
[0092]現在のブロックに関するインタービュー予測を行うために、映像符号器20又は映像復号器30は、インター予測のために使用することができる基準ピクチャを識別する基準ピクチャリストを構築し、インタービュー予測のために使用することができるピクチャを含む。インター予測は、基準ピクチャ内の基準ブロックに関して現在のピクチャ内の現在のブロックを予測することを意味する。インタービュー予測は、インタービュー予測では基準ピクチャが現在のピクチャのビューと異なるビュー内にあるという点でインター予測の部分組である。従って、インタービュー予測に関しては、映像符号器20及び映像復号器30は、構築された基準ピクチャリストの一方又は両方における他方のビュー内の基準ピクチャを加える。他方のビュー内の基準ピクチャは、構築された基準ピクチャリスト内のあらゆる場所で識別することができる。本開示で使用される場合おいて、映像符号器20がブロックに関してインター予測を行っている(例えば、インター予測中である)ときには、映像符号器20は、ブロックをインター予測符号化中であるとみなすことができる。映像復号器30がブロックに関してインター予測を行っている(例えば、インター予測中である)ときには、映像復号器30は、ブロックをインター予測復号中であるとみなすことができる。
[0093]インター予測では、現在のブロックに関する動きベクトルは、現在のブロックをインター予測するための基準ブロックとして使用されるブロックの位置を識別し、構築された基準ピクチャリストの一方又は両方への基準インデックスは、現在のブロックをインター予測するための基準ブロックとして使用されるべきブロックを含む基準ピクチャを識別する。MVCでは、少なくとも2つのタイプの動きベクトルが存在する。時間的動きベクトルは、時間的基準ピクチャを指し示し、時間的基準ピクチャは、予測されるべきブロックを含むピクチャと同じビュー内のピクチャであり、時間的基準ピクチャは、予測されるべきブロックを含むピクチャより早く又は遅く表示される。視差動きベクトルは、予測されるべきブロックを含むピクチャのビュー以外のビュー内の基準ピクチャを指し示す。映像符号器20又は映像復号器30が時間的動きベクトルを利用するときには、映像符号器20及び映像復号器30は、動き補償予測(MCP)を実装中であるみなされる。映像符号器20又は映像復号器30が視差動きベクトルを利用するときには、映像符号器20及び映像復号器30は、視差補償予測(DCP)、又はインタービュー予測を実装中であるとみなされる。
[0094]本開示は、空間的及び/又は時間的近隣ブロックの動き情報(例えば、視差動きベクトル)に基づいて現在のブロックに関する視差ベクトルを決定するための技法について説明する。換言すると、現在のブロックに関する視差ベクトルは、DCPでコーディングされる1つ以上の空間的及び/又は時間的近隣ブロックの動きベクトルを解析することによって決定することができる。本開示の技法は、映像符号器20及び映像復号器30のうちの1つ又は両方によって実装することができる。これらの技法は、例えば、HEVCに基づくマルチビュー映像コーディング及び/又はHEVCに基づく3D映像コーディングと関係させて使用することができる。
[0095]図4は、現在のブロック401及び5つの空間的近隣ブロック(402、403、404、405、及び406)の例を示す。単一ビュー映像コーディングでは、例えば、マージモード又はAMVPに関するAMVP/マージモード候補リストを構築するために5つの空間的近隣物の動き情報を使用することができる。さらに、これらの候補リストを構築するためにブロック401の時間的近隣物も使用することができる。時間的近隣物(図4に示されていない)は、例えば、異なる時間的インスタンスのピクチャ内の共配置されたブロックであることができる。マルチビューコーディングでは、単一ビューコーディングと同じようにAMVP/マージモード候補リストを生成するために空間的近隣物及び時間的近隣物の動き情報を使用することができるが、マルチビュー映像コーディングでは、基準ピクチャ内には時間的近隣ブロックも存在することができ、同じビューの時間的基準ピクチャ及び第2のビューのインタービュー基準ピクチャを含む。上述されるように、第2のビューのこれらのピクチャは、視差動きベクトルを用いて第1のビュー内の映像データのブロックを予測するために使用することができる。本開示の技法により、現在のピクチャの現在のブロック(例えば、図4のブロック401)に関する視差ベクトルを決定するために、図4に示される5つの空間的近隣ブロックの動き情報および時間的近隣ブロックの動き情報を使用することができる。
[0096]以下の説明で明確になるように、現在のブロックに関する視差ベクトルを決定するためにいずれの空間的近隣ブロック及びいずれの時間的近隣ブロックが使用されるかを柔軟な方法で導き出すことができる。現在のブロックに関する視差ベクトルは、所定のマルチビューコーデックに関する一定の方法で導き出すこともできる。1つ以上の空間的近隣ブロックは、二次元(2D)映像コーデックにおける既存のコーディングツールによってアクセスされる空間的近隣ブロックを備える。幾つかの実装においては、検討された空間的近隣ブロック及び近隣ブロックが検討される順序は、HEVCにおいて定義されるAMVPプロセスの一部として候補リストを導き出すための空間的近隣ブロックと同じであることができ、又は、HEVCにおいて定義されるマージプロセスの一部として候補リストを導き出すための空間的近隣ブロックと同じであることができる。一例として、図4に戻り、マージ又はAMVPに関する候補リストを構築時には、映像符号器20及び映像復号器は、最初にブロック405、次にブロック403、次にブロック402、次にブロック406、そして最後にブロック404の順序で候補を検討することができる。
しかしながら、本開示の技法は、特定のマルチビューコーデックのための最終的な視差ベクトルを形成するために近隣ブロックの視差動きベクトルを識別するためにいずれの順序又はいずれの方法の組み合わせが使用されるかを選択する柔軟性を排除していない。従って、本開示の技法と関係させて使用される近隣ブロックは、図4乃至7に示されるブロックと必ずしも同じブロックである必要はなく、及び、AMVP又はマージモードに関するAMVP/マージモード候補リストを導き出すために使用されたブロックと必ずしも同じブロックである必要がない。従って、近隣ブロックが検討される順序は、本開示の例で使用される順序と必ずしも同じ順序である必要がなく、及び、AMVP/マージモード候補リストを導き出すために近隣ブロックが検討される順序と必ずしも同じ順序である必要がない。さらに、上記の2Dコーディングツールの例は、HEVCコーディングツールであるが、HEVCでないコーディングツールによって使用されるブロック順序設定も本開示の技法と関係させて使用することができることが企図される。
[0098]図4において、ルマ位置(xP,yP)は、ブロック401を含む現在のピクチャの左上サンプルに対するブロック401の左上ルマサンプルを指定する。従って、現在のピクチャの左上サンプルに対する現在のブロックの左上ルマサンプルは、この例ではPU“N”と呼ばれ、(xN,yN)である。変数nPSW及びnPSHは、ルマに関するブロック401の幅及び高さを表す。この例では、(xN,yN)であり、Nは、ブロック402乃至406のうちの1つを識別するために406、405、404、403、及び402によって置き換えられ、それぞれ(xP−1,yP+nPSH)、(xP−1,yP+nPSH−1)、(xP+nPSW,yP−1)、(xP+nPSW−1,yP−1)又は(xP−1,yP−1)として定義される。この方法により、映像復号器30は、空間的近隣ブロックの位置を決定する。本開示の技法により、これらの空間的近隣ブロック(例えば、ブロック402乃至406)の動き情報は、ブロック401に関する視差ベクトルを決定する一部として評価することができる。
[0099]以下の説明は、映像符号器20又は映像復号器30が時間的近隣ブロックを識別することができる方法について説明する。それらの時間的近隣ブロックがDCPを用いてコーディングされる場合は、現在のブロックに関する視差ベクトルを決定するために、時間的近隣ブロックをコーディングするために使用される視差動きベクトルを使用することができる。映像符号器20及び映像復号器30は、最初に時間的ピクチャを識別し、次に、識別された時間的ピクチャ内において、共配置された又は近隣のブロックを識別することによって時間的近隣ブロックを識別することができる。複数の時間的ピクチャを識別することができ、従って、複数の時間的近隣ブロックも識別することができる。
[0100]一例では、HEVCにおいて時間的動きベクトル予測に関して使用される同じピクチャを、本開示の技法により時間的近隣ブロックを識別するための時間的ピクチャして使用することができる。HEVCにおける時間的動きベクトル予測のために使用されるピクチャは、インター予測されるべき現在のブロックを含むピクチャに関する基準ピクチャリストのうちの1つにおいてcollocated_ref_idxインデックス値によって示すことができる。collocated_ref_idxインデックス値は、インター予測されるべきブロックを含むピクチャと同じビュー内のピクチャ、又は、インター予測されるべきブロックを含むピクチャと異なるビュー内のピクチャを識別することができる。これらの例のうちのいずれにおいても、collocated_ref_idxインデックス値によって識別されたピクチャは、1つ以上の時間的近隣ブロックを含むことができる。映像符号器20は、共配置されたピクチャがRefPicList0又はRefPicList1のいずれにおいて識別されるかを示すフラグ(例えば、collocated_from_10_flag)をシグナリングする。例えば、フラグ値が1である場合は、映像復号器30は、共配置されたピクチャはRefPicList0において識別されると決定し、フラグ値が0である場合は、映像復号器30は、共配置されたピクチャはRefPicList1において識別されると決定する。
[0101]しかしながら、時間的ピクチャは、HEVCにおける時間的動きベクトル予測のために使用されるのと同じピクチャに限定されない。時間的ピクチャは、復号されたピクチャのバッファ内のあらゆるピクチャであることができる。時間的ピクチャは、典型的には、現在のピクチャの基準ピクチャリスト内又は現在のピクチャと同じビューに属する復号されたピクチャのバッファ内のピクチャを意味する。幾つかの事例では、時間的ピクチャは、現在のピクチャのインタービュー基準ピクチャであることもできる。例えば、時間的ピクチャは、現在のスライスがインターコーディングされる場合は基準ピクチャリスト0(RefPicList0)の全エントリ又はエントリの部分組を含むことができ、現在のスライスがBスライスとしてコーディングされる場合はRefPicList0及びRefPicList1の全エントリ又はエントリの部分組を含むことができる。
[0102]一例として、映像符号器20及び映像復号器30は、RefPicList0及び/又はRefPicList1の第1の基準ピクチャのみにおいて時間的近隣ブロックを識別するように構成することができる。その他の例では、映像符号器20及び映像復号器30は、RefPicList0及び/又はRefPicList1の最初の2つの基準ピクチャにおいて又は何らかの選択された順序設定で又はRefPicList0及び/又はRefPicList1内のピクチャの部分組において時間的近隣ブロックを識別するように構成することもできる。さらに、幾つかの例では、映像符号器20及び映像復号器30は、同じアクセスユニットのインタービューピクチャがRefPicList0及びRefPicList1のいずれにも含まれていない場合でさえも現在のピクチャの同じアクセスユニットのインタービューピクチャ内で時間的近隣ブロックを識別することができる。
[0103]映像符号器20及び映像復号器30が上述される技法のうちの1つ以上を用いて時間的ピクチャを識別した時点で、映像符号器20及び映像復号器30は、時間的ピクチャ内の1つ以上の時間的近隣ブロックを識別することができる。映像符号器20及び映像復号器30は、例えば、時間的ピクチャ内の共配置されたブロックを時間的近隣ブロックとして識別することができる。共配置されたブロックは、概して、現在のブロックが現在のピクチャ内で有するのと同じ相対的位置を時間的ピクチャ内で有するブロックを意味する。映像符号器20及び映像復号器30は、共配置されたブロックが入ったCUのPUである又はPUに属するあらゆるブロックを時間的近隣ブロックとして識別することもできる。幾つかの例では、映像符号器20及び映像復号器30は、共配置されたブロックが入ったLCUのPUである又はPUに属するあらゆるブロックを時間的近隣ブロックとして識別することができる。時間的ピクチャ及びそれらの時間的ピクチャ内の時間的近隣ブロックを決定するために本開示において提供される例は、時間的近隣ブロックを識別することができるすべての方法を示す包括的なリストを成すことは意図されない。現在のブロックに関する視差ベクトルを決定するための本開示の技法は、概して、現在のブロックに関する時間的近隣ブロックを決定するためのあらゆる技法と互換可能である。
[0104]本開示は、コーディング中のブロック(例えば、ブロック401)に関する視差ベクトルを決定するために空間的近隣ブロック(例えば、ブロック402乃至406)と関連付けられた視差動きベクトル及び時間的近隣ブロックと関連付けられた視差動きベクトルを使用するための技法について説明する。空間的近隣ブロック402乃至406及び1つ以上の時間的近隣ブロックの視差動きベクトルを使用することによって、候補視差ベクトルを識別してリストdisVecCanに格納することができる。以下においてより詳細に説明されるように、インタービュー予測(例えば、インタービュー動き予測又はインタービュー残差予測)のための基準ブロックを識別するために使用される1つ以上の最終的なベクトルをdisVecCan内の候補から決定することができる。以下においてより詳細に説明されるように、disVecCanに含めるための候補は、SDV、TDVを識別することによって、及び暗黙の視差ベクトルIDVを決定することによって決定することができる。今度は、SDV、TDV、及びIDVがより詳細に説明される。
[0105]図5は、SDVを例示した概念図である。図5は、3つのピクチャ、現在のピクチャ501、基準ピクチャ502、及び対応するピクチャ503を示す。現在のピクチャ501は、現在コーディング中のピクチャである。基準ピクチャ502は、現在のピクチャ501と同じビューからの既にコーディングされているピクチャであり、対応するピクチャ503は、他方のビュー内の現在のピクチャ501と同じ時間的インスタンスに対応するピクチャである。現在のピクチャ501は、現在のブロック504を含み、それは、現在コーディング中のブロックである。現在のブロック504は、既にコーディングされている2つの空間的近隣物(ブロック505及びブロック506)を有する。現在のブロック504に関して、それの2つの空間的近隣物(ブロック505及びブロック506)は、MCP及びDCPによってそれぞれコーディングされる。図5の例では、ブロック505は、MCPを用いてコーディングされ、ブロック507は、ブロック505を予測するために使用されるブロックを表す。線508は、ブロック507を識別するために使用される時間的動きベクトルを表す。
[0106]図5の例では、ブロック506は、MCPの代わりにDCPを用いてコーディングされる。ブロック506は、ブロック509から予測され、それは、ブロック506と異なるビュー内にある。従って、ブロック506に関する基準ブロック(すなわち、ブロック509)の位置を突き止めるために使用される動きベクトルは、時間的動きベクトルの代わりに視差動きベクトルである。線510は、ブロック509の位置を突き止めるために使用される視差動きベクトルを表す。図5の例では、線510は、ブロック504に関するSDVを表す。幾つかの実装においては、SDVは、現在のブロック504に関する視差ベクトルとして使用することができる。その他の実装では、SDVは、現在のブロック504に関するdisVecCanに加えることができ、及び、現在のブロック504に関する視差ベクトルは、disVecCan内の候補から選択することができる。
[0107]SDVを決定するために、映像符号器20及び映像復号器30は、所定の順序で現在のブロック504の各空間的近隣予測ユニットを検査することができる。現在のブロック504は、図5に示される505及び506だけよりも多い空間的近隣予測ユニットを有することができる。図4は、例えば、その他の空間的近隣ブロックの例を示す。現在のブロック504の空間的近隣PUの各々に関して、前方動きベクトル(RefPicList0に対応)又は後方動きベクトル(RefPicList1に対応)を検査し(利用可能な場合)、動きベクトルが視差動きベクトルである場合はdisVecCanに追加することができる。例えば、図5に戻り、線510によって表される動きベクトルは、視差動きベクトルであるためブロック504に関するSDVを構成し、線508によって表される動きベクトルは、時間的動きベクトルであるためSDVは構成しない。
「0108」図6は、TDVの概念図を示す。図6は、6つのピクチャを示す。現在のピクチャ601は、現在コーディング中のピクチャを表す。対応するピクチャ602は、現在のピクチャ601と同じ時間的インスタンスであるが、異なるビュー(図6のビュー0)内にあるピクチャを表す。基準ピクチャ603及び604は、現在のピクチャ601と同じビュー(すなわち、ビュー1)内にある基準ピクチャを表し、基準ピクチャ605及び606は、対応するピクチャ602と同じビュー(すなわち、ビュー0)内にある基準ピクチャを表す。図6の例において、基準ピクチャ604及び基準ピクチャ606は、同じ時間的インスタンスのピクチャであり、基準ピクチャ603及び基準ピクチャ605は、同じ時間的インスタンスのピクチャである。
[0109]現在のピクチャ601は、現在コーディング中の現在のブロック607を含む。現在のブロック607に関しては3つの基準ピクチャが存在し、同じビューからの2つ(ビュー1内の基準ピクチャ603及び基準ピクチャ604)、他方のビューからの1つ(ビュー0内の基準ピクチャ602)である。視差動きベクトルを使用するどうかを決定するために3つの時間的近隣ブロック(608、609、及び610)を検査することができる。ブロック608、609、及び610は、ブロック607に対して共配置されるためブロック607の時間的近隣物とみなされ、ブロック606とほぼ同じ位置であるが異なるピクチャ内にあることを意味する。
[0110]図6の例では、時間的近隣ブロック610は、イントラ予測され、関連付けられた動きベクトルを有さない。時間的近隣ブロック608は、時間的動きベクトルを用いてインター予測され、図6では線611によって表される。時間的近隣ブロック609は、線612によって表される視差動きベクトルを用いてインタービュー予測される。従って、図6の例では、時間的近隣ブロック609のみが視差動きベクトルを用いて予測される。従って、ブロック609の動きベクトルのみがTDV候補として使用される。TDV候補は、現在のブロックに関する視差ベクトルとして使用することができ又は候補視差ベクトルとしてdisVecCanに加えることができ、それから現在のブロックに関する視差ベクトルが選択される。
[0111]映像符号器20及び映像復号器30は、TDVとしての使用のために、基準ピクチャリスト0又は基準ピクチャリスト1の第1の基準ピクチャの共配置されたPUの視差動きベクトルを識別することができる。映像符号器20及び映像復号器30は、TDVとしての使用のために、TMVPのために使用されるピクチャ又はTMVPによって導き出されたブロックから共配置されたPUの視差動きベクトルを識別することもできる。映像符号器20及び映像復号器30は、TDVとしての使用のために、いずれかの基準ピクチャリストの基準ピクチャの共配置されたPUの視差動きベクトルを識別することもでき、それは、インタービュー基準ピクチャであること又はないことができる。幾つかの例では、映像符号器20及び映像復号器30は、TDVとしての使用のために、基準ピクチャリストに含まれない同じアクセスユニットのインタービューピクチャ内のブロックの視差動きベクトルを識別することもできる。さらに、映像符号器20及び映像復号器30は、TDVとしての使用のために、上記のいずれかのピクチャの共配置されたPUが入ったCUのいずれかのPUの視差動きベクトル又は上記のいずれかのピクチャの共配置されたPUが入ったLCUのいずれかのPUの視差動きベクトルを識別することができる。
[0112]暗黙的視差ベクトル(IDV)は、現在のブロックの近隣ブロックの格納された視差ベクトルを意味する。現在のブロックをコーディング後、視差ベクトルがインタービュー予測のために使用される場合は、すなわち、インタービュー動きパラメータ予測から予測された動きベクトルのうちの少なくとも1つ、視差ベクトルは、現在のブロックのために格納される。将来ブロックをコーディングするときには、以前に格納された視差ベクトルが視差ベクトルを予測するために使用される。該以前に格納された視差ベクトルを検査するときには、近隣ブロックのみを検査することができる。これは、空間的近隣ブロック(SDVを含むそれら)の視差ベクトルがIDVであるか、時間的近隣ブロック(TDVを含むそれら)の視差ベクトルがIDVとみなされるか、又は、空間的及び時間的の両方の近隣ブロックの視差ベクトルがIDVとみなされるかを意味する。説明される技法は、IDVを検討して又は検討せずに機能することができる。
[0113]PUがインタービュー動きパラメータ予測から予測された、すなわち、視差ベクトルに基づいてその他のビューから導き出された動きベクトルのうちの少なくとも1つでコーディングされる場合は、視差ベクトルは、PUと時間的に関連付けることができる。該PUと関連付けられた視差ベクトルは、IDVと呼ばれる。現在のPUの空間的又は時間的近隣PUがIDVを含むときには、IDVは、現在のブロックに関する視差ベクトルを導き出すために使用することを検討することができる。すなわち、空間的又は時間的近隣PUのIDVは、IDV候補として取り扱うことができる。IDV候補は、現在のブロックに関する視差ベクトルとして使用することができ又は候補視差ベクトルとしてdisVecCanに加えることができ、それから現在のブロックに関する視差ベクトルが選択される。
[0114]図7は、IDVの概念図を示す。特に、図7は、4つのピクチャを示す。現在のピクチャ701は、現在コーディング中のピクチャを表す。ピクチャ702は、ピクチャ701と同じビュー(ビュー1)内の基準ピクチャを表す。対応するピクチャ703は、現在のピクチャ701と同じ時間的インスタンスであるが異なるビュー(ビュー0)内のピクチャを表す。ピクチャ704は、ピクチャ703と同じビュー(ビュー0)内の基準ピクチャを表す。図6の例では、ピクチャ701は、現在のPU705を含む。現在のPU705は、同じビュー(ビュー1)内の基準ピクチャ702内のブロック707から予測される空間的近隣物(PU706)を有する。PU706を予測するために使用される動きベクトルは、線708によって表される。図7の例では、この動きベクトル(線708)は、PU709から継承される。PU709は、PU710の視差ベクトルによって位置が突き止められ、それは、PU706の空間的近隣PUである。この場合は、PU706は、IDVと関連付けられたPUであり、PU710の視差ベクトルは、IDVとして取り扱われる。
[0115]ターゲットの基準ビューが与えられた場合、視差ベクトルは、上述される利用可能なSDV、TDV又はIDVベクトルから決定することができる。より詳細に説明されるように、一例では、ある一定の順序に従うことができ、視差動きベクトルが利用可能であると識別された時点で、視差動きベクトルは、現在のブロックに関する視差ベクトルとして使用することができる。幾つかの実装においては、識別された基準ビューは、視差動きベクトルに対応する基準インデックスによって識別される基準ピクチャが入ったビューであり、ターゲットの基準ビューのそれと同じビュー内にあり、現在の検査するSDV、TDV、又はIDVが利用可能になった時点で、視差ベクトルが識別されることを意味する。しかしながら、他の例では、識別された基準ビュー(例えば、ビュー識別子又はビュー順序インデックス)は、視差ベクトル導出プロセスの出力の一部であることができる。以下においてより詳細に説明されるように、幾つかの実装においては、導出プロセスは、与えられたターゲット基準ビューによって制限されない視差ベクトルを戻すことができ、他方、その他の実装では、戻された視差ベクトルは、ターゲット基準ビューによって制限することができる。
[0116]TDVを決定するために、映像符号器20及び映像復号器30は、様々な異なるプロセスのうちのいずれかを実装するように構成することができる。例えば、映像符号器20及び映像復号器30は、各基準ピクチャリストの各ピクチャを検査するように構成することができる。映像20が検査することができる順序は、基準ピクチャリストインデックス(RefPicList0又はRefPicList1)を最初に検査するか又は基準インデックスを最初に検査するかである。ピクチャ内の共配置されたPUが入ったCU/LCUの共配置されたPU又はあらゆるPUの動きベクトルも検査することができる。動きベクトルが視差動きベクトルである場合は、それは、TDVとして使用することができ、現在のブロックに関する視差ベクトルとして使用することができ又はdisVecCanに加えることができる。上述されるように、disVecCanは、候補視差ベクトルを含むデータ構造の例を表す。さらに、映像コーダは、本開示の技法を用いて、現在のブロックに関する視差ベクトルをdisVecCanから選択することができる。
[0117]映像符号器20及び映像復号器30は、基準ピクチャリストに含まれている同じアクセスユニットのインタービューピクチャ、共配置されたPUの動きベクトル、又はピクチャ内の共配置されたPUが入ったCU/LCUのあらゆるPUを検査するように構成することもでき、それが視差動きベクトルである場合は、TDVとして使用することができる。それの動きベクトルはそうではない。映像符号器20及び映像復号器30は、HEVCにおいて定義されるように、TMVPのみを検査するように構成することもでき、それが視差動きベクトルである場合は、TDVとして使用することができる。映像符号器20及び映像復号器30は、HEVCにおいて定義されるように、TMVPに関して使用されるピクチャからの共配置されたPUのみを検査するように構成することもでき、(RefPicList0又はRefPicList1のいずれかに対応する)動きベクトルのうちのいずれかが視差動きベクトルである場合は、その視差動きベクトルは、TVDとして使用することができる。
・HEVCにおいて定義されるように、TMVPのみを検査し、それが視差動きベクトルである場合は、disVecCanに加えられる。
・HEVCにおいて定義されるように、TMVPに関して使用されるピクチャからの共配置されたPUのみを検査し、(RefPicList0またはRefPicList1のいずれかに対応する)動きベクトルのうちのいずれかが視差動きベクトルである場合は、disVecCanに加えられる。
[0118]いずれの候補がdisVecCanに加えられ、いずれの候補がdisVecCanから除外されるかは、本開示の異なる実装によって異なることができる。例えば、幾つかの実装においては、現在のブロックに関するターゲットビューと異なるターゲット基準ビューを指し示す候補視差ベクトルをdisVecCanから除外することができ、その他の実装では、該候補は、含めることができる。幾つかの実装においては、現在のブロックに関するターゲットビューと異なるターゲット基準ビューを指し示す候補視差ベクトルは、disVecCanに加える前にスケーリングすることができ、その他の実装では、スケーリングされない候補のみがdisVecCanに含められる。
[0119]SDV、TDV、及びIDVをdisVecCanに含めることが決定された後は、映像符号器20及び映像復号器30は、disVecCan内の候補から現在のブロックに関する視差ベクトルを導き出すことができる。例えば、映像符号器20及び映像復号器30は、最高の発生頻度を有する候補をdisVecCanから選択するように構成することができる。換言すると、映像符号器20及び映像復号器30は、現在のブロックに関する視差ベクトルとして最も頻繁に発生する候補視差ベクトルをdisVecCanにおいて選択することができる。2つ以上の候補視差が同じ頻度で発生する事例では、映像符号器20及び映像復号器30は、例えば、候補視差ベクトルがdisVecCanに加えられた順序に基づいて候補視差ベクトルを選択するように構成することができる。例えば、最も頻繁に発生するdisVecCan内の視差ベクトル候補のうちで、disVecCanに最初に加えられた視差ベクトル候補を現在のブロックに関する視差ベクトルとして選択することができる。
[0120]幾つかの実装においては、disVecCan内の複数の候補に基づいて視差ベクトルを決定するのではなく、映像コーダは、最初の利用可能な候補視差動きベクトルを現在のブロックに関する視差ベクトルとして使用することができる。例えば、映像符号器20及び映像復号器20は、複数の近隣ブロックのうちの1つが利用可能な候補視差ベクトルを生成するかどうかを決定するために複数の近隣ブロックを評価し及び利用可能な候補視差ベクトルを識別した時点で近隣ブロックの評価を終了させることができる。
[0121]第1の利用可能な候補は、例えば、利用可能な候補であるとみなされるものに依存することができる。例えば、幾つかの実装においては、視差ベクトル導出プロセスは、所定のターゲット基準ビューによって制限されない視差ベクトルを戻すことができ、視差ベクトルが指し示すビューにかかわらず利用可能であるとみなすことができることを意味する。すなわち、幾つかの実装においては、現在のブロックのターゲット基準ビューと異なるターゲットビューを指し示す視差動きベクトルは、利用不能であるとみなすことができ、その他の実装では、該視差動きベクトルは、利用可能な候補であるとみなすことができる。利用可能な候補とは、概して、現在のブロックに関する視差ベクトルとして使用する判定基準を満たす候補を意味する。この判定基準は、本開示の技法の異なる実装ごとに異なることができる。従って、利用可能な候補を構成するものは固定させる必要はなく、代わりに、本開示の技法の異なる実装ごとに異なることができる。
[0122]導出プロセスは、所定のターゲット基準ビューによって制限されない視差ベクトルを戻すことができ、視差ベクトルが指し示すビューにかかわらず利用可能であるとみなすことができることを意味する。導き出された視差ベクトルは、導き出された視差ベクトルとして直接使用することができる。他の例では、視差ベクトルは、所定のターゲット基準ビューによって制限されない。この場合は、識別された基準ビューは、本開示で説明される視差導出プロセスの出力の一部であることができる。しかしながら、識別された基準ビューがターゲット基準ビューでない場合は、導き出された視差ベクトルは、ターゲット基準ビューを指し示す視差ベクトルに変換することができ、ベクトルは、例えば、ビュー識別子差分又はカメラ位置に基づいてスケーリングすることができる。利用可能な候補視差ベクトルは、現在のブロックに関する導き出された視差ベクトルとして直接使用することができる。しかしながら、幾つかの例では、利用可能な候補視差ベクトルに関する識別された基準ビューが現在のブロックのターゲット基準ビューでない場合は、利用可能な候補視差ベクトルは、例えば、ビュー識別子差分又はカメラ位置に基づいてスケーリングすることによって、ターゲット基準ビューを指し示す視差ベクトルに変換される。
[0123]第1の利用可能な候補は、例えば、候補が評価される順序に依存することもできる。一例では、SDVを識別するために空間的近隣ブロックを最初に評価することができる。SDVが識別されない場合は、TDVを識別するために1つ以上の時間的近隣ブロックを評価することができ、TDVが識別されない場合は、IDVを決定するために空間的及び時間的近隣ブロックを再度評価することができる。これは、当然ながら、1つの評価順序を表すにすぎず、その他の順序を使用することができる。
[0124]空間的近隣ブロックを評価時には、空間的近隣物も定義された順序で評価することができる。例えば、図4に戻り、映像コーダは、空間的近隣ブロックを次の順序で評価することができる。すなわち、(1)ブロック405、(2)ブロック403、(3)ブロック402、(4)ブロック406、(5)ブロック404。この順序例を用いて、映像符号器20及び映像復号器30は、SDVが利用可能であるかどうかを決定するために近隣ブロック405を最初に評価することができる。近隣ブロック405が関連付けられたSDVを有さない場合は、映像符号器20及び映像復号器30は、次に、SDVが利用可能であるかどうかを決定するためにブロック403を評価することができる。近隣ブロック403が関連付けられたSDVを有さない場合は、映像符号器20及び映像復号器30は、次に、ブロック402を評価することができ、映像符号器20及び映像復号器30が利用可能なSDVを識別するまで又はすべての空間的近隣物が評価されるまでこのプロセスを繰り返すことができる。すべての近隣ブロック402乃至406が評価され、利用可能なSDVが識別されない場合は、映像符号器20及び映像復号器30は、次に、利用可能なTDVを識別するために1つ以上の時間的近隣ブロックを評価することができる。利用可能なTDVが識別されない場合は、映像符号器20及び映像復号器30は、利用可能なIDVを識別するために空間的近隣ブロック402乃至406及び時間的近隣ブロックを再度評価することができる。利用可能なIDVを決定するために空間的近隣ブロック402乃至406及び時間的近隣ブロックを評価するときには、近隣ブロック402乃至406は、SDV及びTDVを識別するために使用したのと同じ順序で評価することができ又は異なる順序を使用することができる。さらに、SDV、TDV、及びIDVを識別するために異なるグループの近隣ブロックを使用することができる。例えば、SDVを識別するために評価されたブロックの部分組のみを、IDVを識別するために使用することができ、逆も真なりである。その他の定義された順序も使用可能である。例えば、カテゴリが検査される順序は、(1)SDVベクトル、(2)TDVベクトル、(3)IDVベクトル;(1)SDVベクトル、(2)IDVベクトル、(3)TDVベクトル;(1)IDVベクトル、(2)SDVベクトル、(3)TDVベクトル、又は何らかのその他の順序設定のうちのいずれかであることができる。さらに、幾つかの実装においては、視差動きベクトルの上記のカテゴリのうちの1つ又は2つは、検討されて検査されないことがある。
[0125]幾つかの実装においては、映像コーダは、空間的及び時間的近隣ブロックの評価をインターリービングすることができる。例えば、図4に戻り、映像コーダは、次の順序で近隣ブロックを評価することができる。すなわち、(1)ブロック405、(2)ブロック403、(3)ブロック402、(4)ブロック406、(5)第1の時間的近隣ブロック、(6)第2の時間的近隣ブロック、(7)ブロック404。繰り返すと、この評価順序は、多くの例の1つであり、その他の順序を使用することができる。どのような順序が使用されるかにかかわらず、映像符号器20及び映像復号器30は、典型的には、映像符号器20及び映像復号器30が同じ視差ベクトル候補を識別するように及び/又は同じdisVecCanを生成するように構成される形で同じ順序設定を実装するように構成される。
[0126]視差ベクトルが第1の利用可能な候補から決定されるか又はdisVecCan内の複数の候補に基づいて決定されるかにかかわらず、視差ベクトルは、例えば、整数/4ピクセル精度まで量子化することができる。視差ベクトルがdisVecCan内の複数の候補から選択される実装では、各候補は、disVecCanに加えられる前に量子化することができ、又は候補をdisVecCanから選択して量子化することができる。さらに、視差ベクトルを決定するために使用される動きベクトルがゼロ以外のy成分を有する事例では、視差ベクトルのy成分をゼロに設定することができる。例を目的として、現在のブロックの空間的近隣ブロックを予測するために使用される視差動きベクトルがゼロ以外のy成分を有し、及びその視差動きベクトルが現在のブロックに関する視差ベクトルを決定するために使用されると仮定する。幾つかの例では、ゼロでない成分を有する視差動きベクトルは、視差ベクトルとして使用することができ、近隣ブロックの視差動きベクトル及び現在のブロックの視差ベクトルが同じx成分及び同じy成分を有することになることを意味する。しかしながら、その他の事例では、視差動きベクトルのy成分はゼロに設定することができ、近隣ブロックの視差動きベクトル及び現在のブロックの視差ベクトルが同じx成分を有するが、異なるy成分を有することになることを意味する。
[0127]上記の技法のうちの1つを用いて導き出された視差ベクトルは、視差ベクトルを要求するすべてのコーディングツールに関して使用することができる。例えば、視差ベクトルは、インタービュー動き予測及びインタービュー残差予測のために使用することができるが、その他のコーディングツールも視差ベクトルを使用することが可能である。視差ベクトルは、現在のブロックを予測するために基準ブロックの情報を使用できるように基準ビューの基準ブロックを識別するために使用することができる。インタービュー動き予測では、視差ベクトルは、例えば、2つの目的、基準ビューから動きベクトル予測子を入手する又は視差ベクトル自体を動きベクトル予測子に変換するために使用することができる。基準ブロックが視差ベクトルによって識別されるときには、現在のブロックに関するマージ又はAMVP候補リストの新しいエントリであるとみなされる新しい動きベクトル候補を生成するために基準ブロックに属する動きベクトルを使用することができる。さらに、視差ベクトルは、(視差)動きベクトルに変換することができ、それは、他のマージ又はAMVP候補であることができる。追加のマージ又はAMVP候補は、例えば、プルーニング(pruning)法を用いて加えることができる。本開示で説明される視差ベクトル導出プロセスは、概して、異なるインタービュー動き予測方法に関して機能する。インタービュー残差予測は、現在のブロックの残差データをさらに予測するために基準ビューの基準ブロック内で生成された残差を使用する。ここでは、視差ベクトルは、基準ブロックを識別するために使用される。
[0128]インタービュー残差予測は、現在のブロックの残差をさらに予測するために基準ビューの基準ブロック内で生成された残差を使用する。該事例では、視差ベクトルは、基準ブロックを識別するために使用される。これまでの例は、例示することのみを目的として示されており、本開示の技法により決定された視差ベクトルは、インタービュー動き予測、インタービュー残差予測、又はその他のコーディング技法を実装するために様々なその他の方法で使用することができる。
[0129]図8は、本開示において説明される技法を実装することができる映像符号器例20を示したブロック図である。映像符号器20は、映像スライス内の映像ブロックのイントラ及びインターコーディングを行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像における空間的冗長性を低減又は除去するために空間予測に依存する。インターコーディングは、映像シーケンスの隣接フレーム又はピクチャ内の映像における時間的冗長性を低減又は除去するために時間予測に依存する。イントラモード(Iモード(登録商標))は、幾つかの空間に基づく圧縮モードのうちのいずれかを意味することができる。インターモード、例えば、単方向予測(Pモード)又は両予測(Bモード)は、幾つかの時間に基づく圧縮モードのうちのいずれかを意味することができる。
[0130]図8の例では、映像符号器20は、分割ユニット35と、予測処理ユニット41と、基準ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、を含む。予測処理ユニット41は、動き及び視差推定ユニット42と、動き及び視差補償ユニット44と、イントラ予測処理ユニット46と、を含む。映像ブロック再構築に関して、映像符号器20は、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62と、を含む。再構築された映像からブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためにデブロッキングフィルタ(図8に示されていない)も含めることができる。希望される場合は、デブロッキングフィルタは、典型的には、加算器62の出力をフィルタリングする。デブロッキングフィルタに加えて追加のループフィルタ(ループ内又はループ後)も使用することができる。
[0131]図8に示されるように、映像符号器20が映像データを受信し、分割ユニット35がデータを映像ブロックに分割する。この分割は、スライス、タイル、又はその他のより大きいユニットへの分割、及び、例えば、LCU及びCUの四分木構造による映像ブロック分割を含むこともできる。映像符号器20は、概して、符号化されるべき映像スライス内の映像ブロックを符号化するコンポーネントを例示する。スライスは、複数の映像ブロック(及び可能なことにタイルと呼ばれる映像ブロックの組)に分割することができる。予測処理ユニット41は、誤りの結果(例えば、コーディングレート及び歪みレベル)に基づいて現在の映像ブロックに関して複数の可能なコーディングモードのうちの1つ、例えば、複数のイントラコーディングモードのうちの1つ又は複数のインターコーディングモードのうちの1つ、を選択することができる。予測処理ユニット41は、結果的に得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために加算器50に及び基準ピクチャとしての使用のために符号化されたブロックを再構築するために加算器62に提供することができる。
[0132]予測処理ユニット41内のイントラ予測処理ユニット46は、空間的圧縮を提供するためにコーディングされるべき現在のブロックと同じフレーム又はスライス内の1つ以上の近隣ブロックに関する現在の映像ブロックのイントラ予測コーディングを行うことができる。予測処理ユニット41内の動き及び視差推定ユニット42及び動き及び視差補償ユニット44は、時間的圧縮を提供するために1つ以上の基準ピクチャ及び/又は基準ビュー内の1つ以上の予測ブロックに関する現在の映像ブロックのインター予測コーディング及び/又はインタービューコーディングを行う。
[0133]動き及び視差推定ユニット42は、映像シーケンスに関する予め決定されたパターンにより映像スライスに関するインター予測モード及び/又はインタービュー予測モードを決定するように構成することができる。予め決定されたパターンは、シーケンス内の映像スライスをPスライス、又はBスライスとして指定することができる。動き及び視差推定ユニット42及び動き及び視差補償ユニット44は、非常に一体化しやすいが、概念上の目的で別々に例示される。動き及び視差推定ユニット42によって行われる動き及び視差の推定は、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、基準ピクチャ内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのPUの変位を示すことができる。動き及び視差推定ユニット42によって行われる視差の推定は、現在のコーディングされているブロックを異なるビュー内のブロックから予測するために使用することができる、視差動きベクトルを生成するプロセスである。
[0134]予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのPUに密接にマッチすることが判明しているブロックであり、それは、絶対差分和(SAD)、平方差分和(SSD)、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器20は、基準ピクチャメモリ64内に格納される基準ピクチャの整数未満の(sub−integer)ピクセル位置に関する値を計算することができる。例えば、映像符号器20は、基準ピクチャの1/4ピクセル位置、1/8ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き及び視差推定ユニット42は、全ピクセル位置及び分数ピクセル位置に対する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。
[0135]動き及び視差推定ユニット42は、PUの位置を基準ピクチャの予測ブロックの位置と比較することによってインターコーディングされた又はインタービュー予測されたスライス内の映像ブロックのPUに関する動きベクトル(動き補償予測の場合)及び/又は視差動きベクトル(視差補償予測の場合)を計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)又は第2の基準ピクチャリスト(リスト1)から選択することができ、それらの各々は、基準ピクチャメモリ64に格納された1つ以上の基準ピクチャを識別する。動き及び視差推定ユニット42は、計算された動きベクトル及び/又は視差ベクトルをエントロピー符号化ユニット56及び動き補償ユニット44に送信する。
[0136]動き補償及び/又は視差補償は、動き及び視差補償ユニット44によって行われ、動き推定及び/又は視差推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含むことができ、サブピクセル精度までの内挿を行うことができる。現在の映像ブロックのPUに関する動きベクトル及び/又は視差を受信した時点で、動き及び視差補償ユニット44は、基準ピクチャリストのうちの1つにおいて動きベクトル及び/又は視差ベクトルが指し示す予測ブロックの位置を突き止めることができる。映像符号器20は、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクセル値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。ピクセル差分値は、ブロックに関する残差データを形成し、ルマ及びクロマ差分成分の両方を含むことができる。加算器50は、この減算演算を行うコンポーネント又はコンポーネント(複数)を代表する。動き及び視差補償モジュール44は、映像スライスの映像ブロックを復号する際の映像復号器30による使用のために映像ブロック及び映像スライスと関連付けられた構文要素を生成することもできる。
[0137]動き及び視差補償ユニット44は、符号化されたビットストリーム内の動き情報をシグナリングするために様々なモードを使用することができ、インター予測コーディングを実装するために必要なビット数を減少させるために、それらのモードの一部は、動きパラメータの明示のシグナリングの代わりに動きパラメータの予測を利用することができる。策定中のHEVC規格では、動きパラメータの予測に関して2つのモードが存在する。1つはマージモードであり、他の1つは、高度動きベクトル予測(AMVP)である。マージモードでは、動き及び視差補償ユニット44は、空間的及び時間的近隣ブロックからの候補を用いて動きパラメータ(基準ピクチャ及び動きベクトル)の候補リストを構築する。選択された動きパラメータは、候補リストからの選択された候補のインデックスを送信することによって符号器20から復号器30にシグナリングされる。復号器30において、インデックスが復号された時点で、選択された候補の対応するブロックのすべての動きパラメータが継承される。符号器20及び復号器30は、既にコーディングされているブロックに基づいて同じリストを構築するように構成される。従って、インデックスに基づいて、映像復号器30は、符号器20によって選択された候補の動き情報を識別することができる。動き情報は、典型的には、基準ピクチャリスト0又は基準ピクチャリスト1に対応する、各予測方向における各予測ユニットに関する基準インデックス及び動きベクトルを含む。
[0138]AMVPでは、動き及び視差補償ユニット44は、動きベクトル予測子の候補リストを構築する。このリストは、例えば、同じ基準インデックスと関連付けられた近隣ブロックの動きベクトルと、時間的基準ピクチャ内の共配置されたブロックの近隣ブロックの動きパラメータに基づいて導出される時間的動きベクトルと、を含む。上述されるマージモードと同様に、符号器20は、選択された候補のインデックスを送信することによって選択された動きベクトルを復号器30にシグナリングする。さらに、符号器20は、動きベクトル差分もシグナリングし、ここで、動きベクトル差分は、現在のブロックを予測するために使用される動きベクトル予測子と実際の動きベクトルとの間の差分である。
[0139]幾つかのブロックに関して、予測処理ユニット41は、インター予測モードの代わりにイントラ予測モードを選択することができる。イントラ予測処理ユニット46は、上述されるように、動き及び視差推定ユニット42及び動き及び視差補償ユニット44によって行われるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測処理ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測処理ユニット46は、例えば、別々の符号化パス(encoding pass)中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、イントラ予測処理ユニット46(又は幾つかの例では、モード選択ユニット40)は、試験されたモードから使用すべき該当するイントラ予測モードを選択することができる。例えば、イントラ予測処理ユニット46は、様々な試験されたイントラ予測モードに関してレート−歪み解析を用いてレート−歪み値を計算し、試験されたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックとその符号化されたブロックを生成するために符号化されたオリジナルの符号化されていないブロックとの間の歪み(すなわち誤り)の量、及び符号化されたブロックを生成するために使用されたビットレート(すなわち、ビット数)を決定する。イントラ予測処理ユニット46は、歪みから比率を計算すること及びいずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するための様々な符号化されたブロックに関するレートを計算することができる。
[0140]いずれの場合も、ブロックに関するイントラ予測モードを選択後は、イントラ予測処理ユニット46は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供することができる。エントロピーコーディングユニット56は、本開示の技法により選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器20は、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)を含むことができる送信されたビットストリーム構成データ内に、様々なブロックに関する符号化コンテキストの定義、及び、最も確率が高いイントラ予測モードの表示、イントラ予測モードインデックステーブル、及び各々のコンテキストに関して使用すべき変更されたイントラ予測モードインデックステーブルを含めることができる。
[0141]予測処理ユニット41がインター予測又はイントラ予測を介して現在の映像ブロックに関する予測ブロックを生成した後は、映像符号器20は、現在の映像ブロックから予測ブロックを減じることによって残差映像ブロックを形成する。残差ブロック内の残差映像データは、1つ以上のTU内に含めること及び変換処理ユニット52によって適用することができる。変換処理ユニット52は、変換、例えば、離散コサイン変換(DCT)又は概念的に類似する変換、を用いて残差映像データを残差変換係数に変換する。変換処理ユニット52は、残差映像データをピクセル領域から変換領域、例えば、周波数領域、に変換することができる。
[0142]変換処理ユニット52は、結果的に得られた変換係数を量子化ユニット54に送信することができる。量子化ユニット54は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、一部の又は全部の係数と関連付けられたビット深度を低減させることができる。量子化度は、量子化パラメータを調整することによって変更することができる。幾つかの例では、量子化ユニット54は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化ユニット56は、走査を行うことができる。
[0143]量子化に後続し、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法又は技法を実行することができる。エントロピー符号化ユニット56によるエントロピー符号化に引き続き、符号化されたビットストリームは、映像復号器30に送信することができ、又はのちの送信又は映像復号器30による取り出しのためにアーカイブに保存することができる。エントロピー符号化ユニット56は、コーディング中の現在の映像スライスに関して動きベクトル及びその他の構文要素をエントロピー符号化することもできる。
[0144]逆量子化ユニット58及び逆変換処理ユニット60は、基準ピクチャの基準ブロックとしてののちの使用のためにピクセル領域で残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット44は、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償ユニット44は、動き推定における使用のための整数未満のピクセル値を計算するために再構築された残差ブロックに1つ以上の内挿フィルタを適用することもできる。加算器62は、基準ピクチャメモリ64における格納のために基準ブロックを生成するために動き補償ユニット44によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。基準ブロックは、後続する映像フレーム又はピクチャ内のブロックをインター予測するための基準ブロックとして動き及び視差推定ユニット42及び動き及び視差補償ユニット44によって使用することができる。
[0145]この方法により、映像符号器20は、第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを符号化し及び現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて現在のブロックに関する視差ベクトルを決定するように構成された映像符号器の代表例である。現在のブロックは第2のビュー内にあり、視差ベクトルは、現在のブロックから1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクセル内の対応するブロックを指し示す。1つ以上の近隣ブロックのうちの1つの動き情報は、動きベクトルを含むことができ、動きベクトルが1つ以上の基準ビューのうちの1つに属する基準ピクチャに対応する基準インデックスと関連付けられていると決定したことに応答して、映像符号器20は、動きベクトルを視差動きベクトルとみなし、本開示において説明される技法により視差ベクトルを導き出すために視差動きベクトルを利用することができる。
[0146]図9は、本開示において説明される技法を実装することができる映像復号器例30を示したブロック図である。図9の例において、映像復号器30は、エントロピー復号ユニット80と、予測処理ユニット81と、逆量子化ユニット86、逆変換処理ユニット88と、加算器90と、基準ピクチャメモリ92と、を含む。予測処理ユニット81は、動き補償ユニット82と、イントラ予測処理ユニット84と、を含む。映像復号器30は、幾つかの例では、図8からの映像符号器20に関して説明される符号化パスと概して相互的な復号パスを行うことができる。
[0147]復号プロセス中に、映像復号器30は、符号化された映像スライスの映像ブロック及び関連付けられた構文要素を表す符号化された映像ビットストリームを映像符号器20から受信する。映像復号器30のエントロピー復号ユニット80は、量子化された係数、動きベクトル、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット80は、動きベクトル及びその他の構文要素を予測処理ユニット81に転送する。映像復号器30は、映像スライスレベル及び/又は映像ブロックレベルで構文要素を受信することができる。
[0148]映像スライスがイントラコーディングされた(I)スライスとしてコーディングされるときには、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた(すなわち、B、P又はGPB)スライス又はインタービュー予測されたスライスとしてコーディングされるときには、予測処理ユニット81の動き及び視差補償ユニット82は、時間的動きベクトル、視差動きベクトル及びエントロピー復号ユニット80から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つから生成することができる。映像復号器30は、復号ピクチャバッファ(DPB)とも呼ばれる基準ピクセルメモリ92に格納された基準ピクチャに基づいてデフォルトの構築技法を用いて、基準フレームリスト、リスト0及びリスト1、を構築することができる。
[0149]動き及び視差補償ユニット82は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、及び、復号中の現在の映像ブロックに関する予測ブロックを生成するためにその予測情報を使用する。例えば、動き及び視差補償ユニット82は、映像スライスの映像ブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)、インター予測又はインタービュー予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスに関する基準ピクチャリストのうちの1つ以上に関する構築情報、スライスの各インター符号化された映像ブロックに関する動きベクトル及び/又は視差ベクトル、スライスの各インターコーディングされた映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報を決定するために受信された構文要素の一部を使用する。
[0150]幾つかの例では、動き及び視差補償ユニット82は、動きベクトル予測プロセスを用いて動きベクトルを示すシグナリングされた構文要素を決定することができる。動きベクトル予測プロセスは、AMVPモードと、マージモードと、を含むことができる。動き及び視差補償ユニット82は、内挿フィルタに基づいて内挿を行うこともできる。動き補償ユニット82は、基準ブロックの整数未満のピクセルに関する内挿された値を計算するために映像ブロックの符号化中に映像符号器20によって使用されるようにも内挿フィルタを使用することができる。この場合は、動き補償ユニット82は、受信された構文要素から映像符号器20によって使用される内挿フィルタを決定し、及び予測ブロックを生成するために内挿フィルタを使用することができる。
[0151]逆量子化ユニット86は、ビットストリーム内で提供されエントロピー復号ユニット80によって復号される量子化された変換係数を逆量子化、すなわち、量子化解除、する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度を決定するために映像スライス内の各映像ブロックに関する映像符号器20によって計算された量子化パラメータの使用を含むことができる。逆変換処理ユニット88は、ピクセル領域内で残差ブロックを生成するために逆変換、例えば、逆DCT、逆整数変換、又は概念的に類似する逆変換プロセス、を変換係数に適用する。
[0152]動き及び視差補償ユニット82が、動きベクトル及びその他の構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器30は、逆変換処理ユニット88からの残差ブロックと動き及び視差補償ユニット82によって生成された対応する予測ブロックを加算することによって復号された映像ブロックを形成する。加算器90は、この加算演算を行うコンポーネント又はコンポーネント(複数)を表す。希望される場合は、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用することもできる。ピクセル遷移を平滑にするために、又は映像品質を向上させるためにその他のループフィルタ(コーディングループ内又はコーディングループ後)を使用することもできる。所定のフレーム又はピクチャ内の復号された映像ブロックは、基準ピクチャメモリ92内に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。基準ピクチャメモリ92は、表示装置、例えば、図1の表示装置32、でののちの提示のために復号された映像も格納する。
[0153]この方法により、映像復号器30は、マルチビュー映像データを復号するように構成された映像復号器の例を表す。映像復号器30は、例えば、第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを復号し及び現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて現在のブロックに関する視差ベクトルを決定するように構成することができ、現在のブロックは第2のビュー内にあり、視差ベクトルは、現在のブロックから1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクセル内の対応するブロックを指し示す。1つ以上の近隣ブロックのうちの1つの動き情報は、動きベクトルを含むことができ、動きベクトルが1つ以上の基準ビューのうちの1つに属する基準ピクチャに対応する基準インデックスと関連付けられていると決定したことに応答して、映像復号器30は、動きベクトルを視差動きベクトルとみなし、本開示において説明される技法により視差ベクトルを導き出すために視差動きベクトルを利用することができる。
[0154]図10は、動きパラメータのインタービュー予測の基本概念を例示する。動きパラメータのインタービュー予測の概念は、上述される両方の技法及び代替技法に関して説明される。映像符号器20及び映像復号器30は、図10に関して説明される技法を実行するように構成することができる。図10は、現在のピクチャ1001を示し、現在のピクチャ1001は、現在コーディング中である現在のブロック1002を有する。ピクチャ1003は、現在のピクチャ1001と同じビューからの以前にコーディングされたピクチャを表すが、ピクチャ1004は、現在のピクチャ1001と異なるビューからのものである。ピクチャ1005は、ピクチャ1004と同じビューからの以前にコーディングされたピクチャを表す。図10は、深度マップ1010も示す。
従属ビュー内の現在のブロックに関する候補動きパラメータ(例えば、AMVP又はマージモードにおける候補リストに関する候補)を導き出すために、映像符号器20及び映像復号器30は、現在のブロック1002に関する視差ベクトルを決定することができる。既知の技法により、動き及び視差補償ユニット44及び動き及び視差補償ユニット82は、現在のブロック1002の中央でサンプル位置xを選択し、深度マップ1010に格納された、関連付けられた深度値dを視差ベクトルに変換することによって視差ベクトルを決定することができる。視差ベクトルをサンプル位置xに加えることによって、映像符号器20及び映像復号器30は、基準ビュー内で基準サンプル位置xRを得ることができる。サンプル位置xRをカバーする基準ビュー内の既にコーディングされたピクチャ内の予測ブロックを基準ブロックとして使用することができる。
[0156]図10を参照してこれまでに説明された技法の例においては、映像復号器30は、最初に、視差ベクトル1007を決定するために深度マップ1010を導き出す必要がある。映像復号器30が深度マップ1010を導き出すことができる方法は様々な方法が存在する。一例として、映像復号器30は、従属ビュー内のピクチャに関する深度マップを決定/更新するために基本ビュー内のピクチャの時間的動きベクトル、及び基本ビュー内のピクチャに対応する基本ビュー内の深度マップを使用することができる。他の例として、映像復号器30は、従属ビュー内のピクチャに関する深度マップを決定/更新するために従属ビュー内及び基本ビュー内のピクチャに関して時間的動きベクトルを、及び従属ビュー内のピクチャに関して視差動きベクトルを使用する。深度マップ1010を導き出す方法はその他の方法が存在することができる。
[0157]一例として、コーディングプロセスの開始時に、映像復号器30は、基本ビュー内の第1のピクチャを復号することができる。基本ビューは、他のビュー内のピクチャから予測されないピクチャを含むことができる。例えば、図3を参照し、ビューS0内のピクチャはビューS1乃至S7のうちのいずれのピクチャともインター予測されないため、基本ビューは、S0であることができる。ビューS0内の第1のピクチャは、イントラ予測されたピクチャ(すなわち、時間T0にビューS0においてIで表されるIピクチャ)である。また、非基本ビュー(例えば、従属ビュー)のうちの1つ内の第1のピクチャは、インタービュー動き予測又はイントラ予測することができる。非基本ビュー(従属ビューと呼ばれる)は、他のビュー内のピクチャに関して(例えば、視差動きベクトルを用いて)インター予測される。コーディングプロセスのこの段階では、深度マップは利用可能でない。
[0158]非基本ビュー内の第1のピクチャの復号後は、視差動きベクトルが利用可能である(すなわち、非基本ビューの第1のピクチャ内のブロックをインター予測するために使用される視差動きベクトル)。これらの視差動きベクトルは、深度マップ1010を生成するために深度値に変換することができる。深度マップ1010は、基本ビューにマッピングするために使用することができ又は非基本ビューの後続するピクチャの深度マップを更新するために使用することができる。深度マップ1010から、映像復号器30は、ブロックに関する視差ベクトルを決定することができる。
[0159]概して、深度マップ1010を導き出すための該技法は、複雑になることがあり、及び映像復号器30が不必要な処理電力及び時間を消費するように要求することがある。本開示において説明される例では、映像復号器30は、現在のブロックに関する視差ベクトルを決定するために深度マップを最初に導き出す必要がない。代わりに、映像復号器30は、空間的及び/又は時間的近隣ブロックの動き情報から視差ベクトルを決定することができ、それは、導き出された深度マップから視差ベクトルを決定するよりも複雑でないタスクであることができる。
[0160]今度は、図10を一例として用いて、動きパラメータのインタービュー予測の概念図が本開示の技法に関して説明される。映像符号器20及び映像復号器30は、現在のブロック1002に関する1つ以上の近隣ブロックの動き情報に基づいて現在のブロック1002に関する視差ベクトルを決定することができる。現在のブロック1002に関する視差ベクトルを決定する一部として、映像符号器20及び映像復号器30は、上述されるように、SDV、TDV、及びIDVを候補視差ベクトルとして識別し、候補視差ベクトルのうちの1つを現在のブロック1002に関する視差ベクトルとして選択することができる。選択された視差ベクトルを用いて、映像符号器20及び映像復号器30は、ピクチャ1004内で基準ブロック1006の位置を突き止めることができる。本開示の技法を用いることで、基準ブロック1006は、深度マップ1010、等の深度マップを導き出さずに位置を突き止めることができる。
[0161]図10の例では、ピクチャ1004は、基準ビュー内の既にコーディングされているピクチャであり、基準ブロック1006は、基準ブロックである。基準ブロック1006がMCPを用いてコーディングされる場合は、映像符号器20及び映像復号器30は、基準ブロック1006の関連付けられた動きパラメータを、AMVP又は無線マージモードの一部として現在のピクチャ1001内の現在のブロック1002に関する候補動きパラメータとして使用することができる。線1007は、基準ブロック1006を予測するために使用される動きベクトルを表す。線1008は、現在のブロック1002を予測するために使用されている基準ブロック306を予測するために使用されたのと同じ動きベクトルを表す。
[0162]AMVP又はマージモードに関する候補リスト内の候補として基準ブロック1006の動き情報を使用することに加えて、映像符号器20及び映像復号器30は、導き出された視差ベクトルをDCPに関する候補視差動きベクトルとして使用することもできる。インタービュー動き予測がAMVP又はマージモードに適用されるときには、映像符号器20及び映像復号器30は、視差ベクトルから導き出された候補をAMPV/マージ候補リストに加えることができる。この候補は、インタービュー予測された動きベクトル、例えば、図10の線1008の動きベクトル、又はインタービュー視差動きベクトルであることができる。インタービュー予測基準ピクチャ(例えば、ピクチャ1004)は、インター予測基準ピクチャとまったく同じように、基準ピクチャリストのあらゆる位置に置くことができる。幾つかの例では、決定された視差ベクトルが、ゼロ以外の何かに等しいy成分を有する場合は、映像符号器20又は映像復号器30は、AMVP又はマージモードに関するAMVP/マージモード候補リストに視差ベクトルを加える前に視差ベクトルのy成分をゼロに設定することができる。従って、AMVP又はマージモードで使用される視差動きベクトルは、決定された視差ベクトルと同じx成分を有することができるが、同じy成分を有する場合又は有さない場合がある。
[0163]幾つかの例では、本開示において説明される技法による、決定された視差ベクトルは、現在のブロックの実際の視差ベクトルと同一でないことがある。繰り返すと、一例として、現在のブロックの実際の視差ベクトルは、x成分を含み、y成分を含まず、又はy成分に関してゼロを含むことができ、その理由は、実際の視差ベクトルは、現在のブロックに関して水平方向のみに変位している対応するブロックを指し示すためである。視差ベクトルを決定するために使用される視差動きベクトルは、x成分とy成分の両方を含むことができるため、決定された視差ベクトルは、幾つかの例では、x成分及びy成分の両方を含む。ブロックに関する決定された視差ベクトルは、インタービュー動き予測のために使用される構築された視差ベクトルであるため、インタービュー動き予測に関する視差ベクトル(DVIVMP)と呼ぶことができる。
[0164]対照させる目的上、今度は、インタービュー動き予測に関する視差ベクトルを構築するための2つの代替方法について簡単に説明される。1つの方法は、深度ビューコンポーネントから直接視差ベクトルを決定することを含む。他方の方法は、視差ベクトル及び動きベクトルのみから各ピクセルに関する視差ベクトルを生成することを含む。このモードは、推定された深度モードと時折呼ばれる。これらの2つのモードは、本開示において説明される視差ベクトル導出技法とは互いに排他的ではない。以下においてさらに詳細に説明されるように、映像コーダ、例えば、映像符号器20又は映像復号器30は、例えば、本開示の技法が視差ベクトルを生成しない事例において視差ベクトルを決定するために、これらの2つのモードのうちの1つ、又は異なるモードを実装することができる。
[0165]ランダムアクセスユニットにおいて、基本ビューピクチャのすべてのブロックがイントラコーディングされる。従属ビューのピクチャでは、ほとんどのブロックは典型的にはDCPを用いてコーディングされ、残りのブロックはイントラコーディングされる。ランダムアクセスニットにおいて第1の従属ビューをコーディングするときには、映像コーダは、深度又は視差情報を有さない。従って、候補視差ベクトルは、ローカルな近隣を用いて、すなわち、従来の動きベクトル予測によってしか導き出すことができない。しかしながら、ランダムアクセスニット内において第1の従属ビューをコーディング後は、送信された視差ベクトルを深度マップ推定のために使用することができる。従って、映像コーダは、DCPに関して使用される視差ベクトルを深度値に変換し、視差補償ブロックのすべての深度サンプルを導き出された深度値に設定する。
[0166]映像コーダは、第1の従属ビューの次のピクチャに関する深度マップを導き出すためにランダムアクセス内の第1の従属ビューのピクチャに関する深度マップ推定値を使用する。アルゴリズムの基本原理がここにおいて例示される。ランダムアクセスニットにおいて第1の従属ビューのピクチャをコーディング後は、導き出された深度マップが基本ビュー内にマッピングされ、再構築されたピクチャとともに格納される。典型的には、基本ビューの次のピクチャがインターコーディングされる。MCPを用いてコーディングされる各ブロックに関して、映像コーダは、関連付けられた動きパラメータを深度マップ推定値に適用する。深度マップサンプルの対応するブロックがMCPによって得られ、関連付けられたテクスチャブロックに関するのと同じ動きパラメータを有する。再構築された映像ピクチャの代わりに、関連付けられた深度マップ推定値が基準ピクチャとして使用される。動き補償を単純化し及び新しい深度マップ値の生成を回避するために、映像コーダは、内挿なしで深度ブロックに関するMCPを行う。動きベクトルは、使用される前にサンプル精度まで丸められる(rounded)。映像コーダは、近隣の深度マップサンプルに基づいてイントラコーディングされたブロックの深度マップサンプルを再度決定する。最後に、映像コーダは、基本ビューに関する得られた深度マップ推定値を第1の従属ビュー内にマッピングすることによって、第1の従属ビューに関する深度マップ推定値を導き出し、それは、動きパラメータのインタービュー予測のために使用される。マッピングプロセス中は、オクルージョン(occlusion)領域に関してホールフィリング(hole−filling)が適用される。
[0167]第1の従属ビューの第2のピクチャをコーディング後は、映像コーダは、実際にコーディングされた動き及び視差パラメータに基づいて深度マップの推定値を更新する。DCPを用いてコーディングされるブロックに関しては、映像コーダは、視差ベクトルを深度値に変換することによって深度マップサンプルを入手する。MCPを用いてコーディングされるブロックに関しては、映像コーダは、基本ビューに関する場合と同様に、以前に推定された深度マップのMCPによって深度マップサンプルを入手する。映像コーダは、空間予測によってイントラコーディングされたブロックに関する深度値を再度決定する。映像コーダは、更新された深度マップを基本ビュー内にマッピングし、再構築されたピクチャとともに格納する。それは、同じアクセスユニット内のその他のビューに関する深度マップ推定値を導き出すために使用することもできる。
[0168]すべての後続するピクチャに関して、映像コーダは、説明されるプロセスを繰り返す。基本ビューピクチャをコーディング後は、映像コーダは、送信された動きパラメータを用いてMCPによって基本ビューに関する深度マップ推定値を決定する。この推定値は、第2のビュー内にマッピングされ、動きパラメータのインタービュー予測のために使用される。第2のビューのピクチャをコーディング後は、映像コーダは、実際に使用されたコーディングパラメータを用いて深度マップを更新する。次のランダムアクセスニットにおいては、インタービュー動きパラメータ予測は使用されず、ランダムアクセスニットの第1の従属ビューを復号後に、映像コーダは、上述されるように深度マップを再初期化する。上記の方法によって生成された視差動きベクトルは、平滑時間的ビュー予測(STV)視差ベクトルと呼ばれる。この説明によってわかるように、STVの生成は、本開示の技法と比較して相対的に複雑なプロセスであり、それは、SDV、TDV、及びIDVを識別することによって視差ベクトルを決定することを含む。
[0169]本開示は、上記の技法の代替のそれらを提案する。本開示の技法は、HEVCに基づくマルチビュー映像コーディング及び/又はHEVCに基づく3D映像コーディングにおける視差ベクトルの構築に関する。各ブロック(コーディングユニット又は予測ユニット)に関して、1つ以上の視差ベクトルを構築することができる。視差ベクトルは、2つのビュー間の視差に基づくインタービュー動きベクトル予測及び/又はインタービュー残差予測の両方又はその他のタイプのインタービュー予測に関して使用することができる。異なるタイプのインタービュー予測に関して、呼び出される視差ベクトル導出(構築)技法は異なることができることが注目されるべきである。例えば、映像符号器20及び映像復号器は、インタービュー残差予測における使用のために視差ベクトルを導き出すための一組の技法を実装し、及び、インタービュー動き予測における使用のために視差ベクトルを導き出すための異なる組の技法を実装することができる。しかしながら、本開示で説明される視差ベクトル導出のためのすべての技法は、異なるタイプのインタービュー予測のために利用することができる。従って、幾つかの技法は一例として1つの特定のタイプのインタービュー予測を用いて説明されていることを理由に、説明される技法はその特定のタイプのインタービュー予測に限定されると推測されるべきでない。
[0170]上述される技法が視差ベクトルを生成しない(すなわち、SDV、TDV、又はIDVが見つからない)場合は、映像符号器20及び映像復号器30は、視差ベクトルを決定するために代替技法を実装することができる。例えば、SDV、TDV、又はIDVを識別しないことに応答して、映像符号器20又は映像復号器30は、上述されるようにSTVを生成することができ又はグローバル視差ベクトル(GDV)を生成することができる。他のビューの対応するピクチャに対するGDVは、例えば、スライスヘッダ内で各ピクチャに関してシグナリングすること又はカメラパラメータから導き出すことができる。GDVは、同じ視差ベクトルを各ピクセルに割り当てる。例えば、映像符号器20は、オリジナルの深度ビューに基づいて各フレームに関するGDVを計算し、GDVを映像復号器30に送信することができる。従って、映像復号器30では、視差ベクトルを計算する必要がなく、計算の複雑さを低減させる。映像符号器20及び映像復号器30は、インタービュー予測に関する視差動きベクトルを予測するためにGDVを使用するか又は同じアクセスユニットの基準ビュー内のコーディングユニットの対応する予測ユニットの位置を突き止めるためにGDVを使用することができる。ピクチャレベルでシグナリングされるときには、時間的近隣ピクチャのGDV値からのGDVの内挿/予測が可能である。異なる対のビューからの1対のビューに対応するGDVの内挿/外挿/予測も可能である。幾つかの例では、GDVは、ゼロの視差ベクトルによって取って代わることができる。
[0171]映像符号器20及び映像復号器30は、STV及びGDVに基づいて決定された視差ベクトルと異なる方法でSDV、TDV、及びIDVに基づいて決定された視差ベクトルを利用するように構成することができる。一例として、AMVP又はマージモードに関する候補リストを生成するときには、映像符号器20及び映像復号器30は、SDV、TDV、又はIDVから決定された視差動きベクトルに対して、GDV又はSTVに基づいて決定された視差動きベクトルよりも高い優先度を与えるように構成することができ、ここで、優先度は、概して、候補リストに入れるために候補が検討される順序を意味する。SDV、TDV、及びIDVを用いて生成された視差ベクトルは、GDVと比較して2つのビューのブロック間の対応する関係についてより正確な推定値を提供することができ、そのため、幾つかの実装においては、映像符号器20及び映像復号器30は、SDV、TDV、又はIDVから決定された視差ベクトルの優先度をGDVに基づいて決定された視差ベクトルよりも高く設定するように構成することができる。さらに、映像符号器20及び映像復号器30は、幾つかのコーディング動作でしかGDT又はSTVを使用することができず、その他ではできない。例えば、映像符号器20及び映像復号器30は、GDV及びSTVをインタービュー動き予測のために使用できるが、インタービュー残差予測のためには使用できない。
[0172]本開示の技法を実装時に、視差ベクトルの現在のビュー又は基準ビューのいずれかが所定の現在のビュー及びターゲット基準ビューに関する予想される視差ベクトルと異なる場合は、映像符号器20及び映像復号器30は、視差ベクトルをスケーリングすることができる。すなわち、映像符号器20及び映像復号器30は、視差ベクトルが指し示すビューとターゲット基準ビューとの間の差分に基づいて視差ベクトルをスケーリングすることができる。スケーリングプロセスは、例えば、ビューの位置の幾何、例えば、view_id値又は水平位置、を考慮に入れることによって行うことができる。所定の現在のビュー及び所定のターゲット基準ビューに関して、視差ベクトル候補リスト内で視差ベクトルが見つからない場合は、disaVecCan内の視差ベクトルをスケーリングすることができる。
[0173]図11Aは、本開示の技法による視差ベクトルを決定及び使用するための1つの方法を例示したフローチャートである。図11Aの技法は、一般的な映像コーダを参照して説明される。この一般的な映像コーダは、例えば、映像符号器20又は映像復号器30のいずれかに対応することができる。
[0174]図11Aにおいて示されるように、映像コーダ(例えば、符号器20又は復号器30)は、第1のビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャをコーディングする(1102)。映像コーダは、現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて現在のブロックに関する視差ベクトルを決定することができる(1104)。現在のブロックは、第1のビューと異なる第2のビュー内に存在することができ、基準ビューのうちの1つではない。1つ以上の近隣ブロックは、空間的近隣ブロック及び時間的近隣ブロックのいずれか又は両方を含むことができる。視差ベクトルは、現在のブロックから、1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す。映像コーダは、視差ベクトルに基づいて第1のビュー内の対応するブロックの位置を突き止めることができる(1106)。映像コーダは、例えば、視差ベクトルと関連付けられた基準ビューを決定し、基準ビューのインタービュー基準ピクチャ内の基準ブロックを識別することができる。対応するブロックは、第1の基準ビュー内の基準ブロックであることができる。位置が突き止められた対応するブロックを用いて、映像コーダは、インタービュー残差予測及び/又はインタービュー動き予測を行うことができる(1108)。
[0175]幾つかの例では、1つ以上の近隣ブロックは、空間的近隣ブロックを含むことができ、映像コーダは、空間的近隣ブロックと関連付けられた視差動きベクトルを決定することによって現在のブロックに関する視差ベクトルを決定することができる。幾つかの例では、1つ以上の近隣ブロックは、時間的近隣ブロックを含むことができ、映像コーダは、時間的近隣ブロックと関連付けられた視差動きベクトルを決定することによって現在のブロックに関する視差ベクトルを決定することができる。幾つかの例では、視差ベクトルは、暗黙の視差ベクトルであることができる。映像コーダは、例えば、1つ以上の近隣ブロックのコーディング中に1つ以上の近隣ブロックに関して格納された1つ以上の視差ベクトルを識別することによって、暗黙の視差ベクトルを決定することができる。1つ以上の格納された視差ベクトルは、近隣ブロックに関して使用されたインタービュー動きパラメータ予測中に1つ以上の近隣ブロックに関して決定することができる。
[0176]インタービュー動き予測を行うときには、映像コーダは、マージモード及びAMVPモードのうちの1つでの使用のめに視差ベクトルを候補リストに加えることができる。例えば、映像コーダは、視差ベクトルを視差動きベクトルに変換し、AMVP候補リスト及びマージ候補リストのうちの1つ内にその視差動きベクトルを挿入することができる。
[0177]図11Bは、本開示の技法による視差ベクトルを決定する動作例を示したフローチャートである。図11Bの技法は、図11Aと同じ一般的映像コーダを参照して説明される。図11Bの技法は、映像復号器が現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて現在のブロックに関する視差ベクトルを決定することができる方法を示した一例である。従って、図11Bの技法は、図11Aのブロック1104を実装するために使用することができる。
[0178]映像コーダは、候補リストに含めるための潜在的候補を決定するために近隣ブロックを評価することができる(1110)。近隣ブロックは、空間的近隣ブロック及び時間的近隣ブロックのいずれか又は両方を含むことができる。上述されるように、映像コーダは、空間的近隣ブロックを決定し及びそれらの空間的近隣ブロックが視差動きベクトルを用いてコーディングされたかどうかを決定することによって、候補リストに含めるための潜在的候補を評価することができる。換言すると、映像コーダは、候補リストに含めるためのSDVを識別することができる。さらに、上述されるように、映像コーダは、時間的近隣ブロックを決定し及びそれらの時間的近隣ブロックが視差動きベクトルを用いてコーディングされたかどうかを決定することによって、候補リストに含めるための潜在的候補を評価することができる。換言すると、映像コーダは、候補リストに含めるためのTDVを識別することができる。さらに、上述されるように、映像コーダは、インタービュー動きパラメータ予測から予測された(すなわち、視差ベクトルに基づいてその他のビューから導き出された)動きベクトルのうちの少なくとも1つによってPUがコーディングされるかどうかを決定することができる。換言すると、映像コーダは、候補リストに含めるためのIDVを識別することができる。
[0179]映像コーダは、識別されたSDV、TDV、及びIDVを候補リストに加えることができ(1112)、映像コーダは、候補リスト内の候補に基づいて現在のブロックに関する視差ベクトルを選択することができる(1114)。映像コーダは、例えば、候補リスト内での候補視差ベクトルのうちの1つ以上の発生頻度に基づいて視差ベクトルを選択することができる。
[0180]図11Cは、本開示の技法による視差ベクトルを決定するための1つの方法を例示したフローチャートである。図11Cの技法は、一般的な映像コーダを参照して説明され、それは、映像符号器20、映像復号器30又は他のコーダに対応することができる。図11Cの技法は、映像復号器が現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて現在のブロックに関する視差ベクトルをどのようにして決定することができるかを示す一例である。従って、図11Cの技法は、図11Aのブロック1104を実装するために使用することができる。
[0181]映像コーダは、近隣ブロックが関連付けられた候補視差ベクトルを有するかどうかを決定するためにその近隣ブロックを評価することができる(1116)。近隣ブロックは、空間的近隣ブロック及び時間的近隣ブロックのいずれか又は両方を含むことができる。関連付けられた候補視差ベクトルは、上述されるように、例えば、SDV、TDV、又はIDVを意味することができる。近隣ブロックが関連付けられた候補視差ベクトルを有さない場合は(1118、いいえ)、次の近隣ブロックが関連付けられた候補視差ベクトルを有するかどうかを決定するために次の近隣ブロックを評価することができる(1120)。上述されるように、映像コーダは、設定された順序で近隣ブロックを評価することができる。近隣ブロックが関連付けられた候補視差ベクトルを有する場合は(1118、はい)、映像コーダは、候補視差ベクトルを現在のブロックに関する視差ベクトルとして使用することができる(1122)。図11Cの技法により、映像コーダは、複数の近隣ブロックのうちの1つが候補視差ベクトルを生成するかどうかを決定するためにそれらの複数の近隣ブロックを評価し、候補視差ベクトルを識別した時点で複数の近隣ブロックの評価を終了させることができる。
[0182]1つ以上の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、(1)非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は(2)通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
[0183]一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるRAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、又はその他の一時的な媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザディスク(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、ブルーレイディスク(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
[0184]命令は、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)又はその他の同等の集積回路又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内に完全に実装することが可能である。
[0185]本開示の技法は、無線ハンドセット、集積回路(IC)又は一組のIC(例えば、チップセット)を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと関係させて、ハードウェアユニット内において結合させること又は上述されるように1つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
[0186]様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] マルチビュー映像データを復号する方法であって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを復号することと、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定することであって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示すことと、を備える、方法。
[C2] マルチビュー映像データを符号化する方法であって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを符号化することと、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定することであって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示すことと、を備える、方法。
[C3] 前記1つ以上の近隣ブロックのうちの1つの前記動き情報は、動きベクトルを備え、
前記動きベクトルは前記1つ以上の基準ビューのうちの1つに属する基準ピクチャに対応する基準インデックスと関連付けられると決定したことに応答して、前記動きベクトルは視差動きベクトルであるとみなすことと、
前記視差ベクトルを導き出すために前記視差動きベクトルを利用することと、をさらに備えるC1又は2に記載の方法。
[C4] 前記視差ベクトルと関連付けられた基準ビューを決定することと、
前記基準ビューのインタービュー基準ピクチャ内の基準ブロックを識別することと、をさらに備えるC1又は2に記載の方法。
[C5] 前記視差ベクトルと関連付けられた基準ビューを決定することと、
前記視差ベクトルに基づいて視差動きベクトルを生成することであって、前記視差動きベクトルの前記基準インデックスは、前記基準ビューからの前記インタービュー基準ピクチャに対応することと、をさらに備えるC1又は2に記載の方法。
[C6] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記空間的近隣ブロックと関連付けられるC3に記載の方法。
[C7] 前記1つ以上の近隣ブロックは、1つ以上の時間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記時間的近隣ブロックと関連付けられるC3に記載の方法。
[C8] 前記1つ以上の時間的近隣ブロックは、1つ以上の時間的基準ピクチャ内のブロックを備えるC7に記載の方法。
[C9] 前記1つ以上の時間的基準ピクチャは、HEVCにおいて時間的動きベクトルで使用される共配置されたピクチャを備えるC8に記載の方法。
[C10] 前記時間的近隣ブロックは、基準ピクチャ内のコーディングユニットの1つ以上の予測ユニット又は予測ブロックを備え、前記コーディングユニットは、前記現在のブロックの共配置されたブロックを備えるC7に記載の方法。
[C11] 前記時間的近隣ブロックは、基準ピクチャ内の最大のコーディングユニットの1つ以上の予測ユニット又は予測ブロックを備え、前記最大のコーディングユニットは、前記現在のブロックの共配置されたブロックを備えるC7に記載の方法。
[C12] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロック及び1つ以上の時間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記空間的近隣ブロック及び前記時間的近隣ブロックのうちの1つと関連付けられるC3に記載の方法。
[C13] 前記1つ以上の空間的近隣ブロックは、二次元(2D)映像コーデック内の既存のコーディングツールによってアクセスされるべき空間的近隣ブロックを備えるC6に記載の方法。
[C14] 前記既存のコーディングツールは、HEVCにおいて定義されるAMVPプロセスを備えるC13に記載の方法。
[C15] 前記1つ以上の近隣ブロックの複数の空間的近隣ブロックが検査される順序は、対応する位置のブロックがHEVCにおいて定義されたAMVPプロセス中に検査される順序に対応するC14に記載の方法。
[C16] 前記既存のコーディングツールは、HEVCにおいて定義されるマージプロセスを備えるC13に記載の方法。
[C17] 前記1つ以上の近隣ブロックの複数の空間的近隣ブロックが検査される順序は、対応する位置のブロックがHEVCにおいて定義されたマージプロセス中に検査される順序に対応するC15に記載の方法。
[C18] 前記視差ベクトルは、暗黙の視差ベクトルを備えるC1に記載の方法。
[C19] 前記暗黙の視差ベクトルを決定することは、前記1つ以上の近隣ブロックのコーディング中に前記1つ以上の近隣ブロックに関して格納された1つ以上の視差ベクトルを識別することを備え、前記1つ以上の視差ベクトルは、前記近隣ブロックに関して使用されるインタービュー動きパラメータ予測中に前記1つ以上の近隣ブロックに関して決定されるC18に記載の方法。
[C20] 前記現在のブロックの前記視差ベクトルによって決定される前記基準ビュー内のインタービュー基準ピクチャの前記基準ブロックの情報を用いてインタービュー動き予測を行うことをさらに備えるC4に記載の方法。
[C21] インタービュー動き予測を行うことは、前記視差ベクトルに基づいて、マージモード及び高度動きベクトル予測(AMVP)モードのうちの1つにおける使用のために候補リストに関する候補を生成することを備えるC20に記載の方法。
[C22] 前記候補リストに関する前記候補を生成することは、視差動きベクトルを前記候補リストに加えることを備え、前記視差動きベクトルは、前記視差ベクトルと同じx成分を有し、前記視差動きベクトルは、前記視差ベクトルと同じy成分を有するC21に記載の方法。
[C23] 前記候補リストに関する前記候補を生成することは、視差動きベクトルを前記候補リストに加えることを備え、前記視差動きベクトルは、前記視差ベクトルと同じx成分を有し、前記視差動きベクトルは、ゼロに等しいy成分を有するC21に記載の方法。
[C24] 前記視差ベクトルを視差動きベクトルに変換することと、
前記視差動きベクトルをAMVP候補リスト及びマージ候補リストのうちの1つ内に挿入することと、をさらに備えるC1に記載の方法。
[C25] 前記現在のブロックに関する前記視差ベクトルを決定することは、1つ以上の候補視差ベクトルを決定することと、前記1つ以上の候補視差ベクトルのうちの1つを前記視差ベクトルとして選択することと、を備えるC1に記載の方法。
[C26] 前記1つ以上の候補視差ベクトルは、少なくとも1つの空間的視差ベクトルを備えるC25に記載の方法。
[C27] 前記1つ以上の候補視差ベクトルは、少なくとも1つの時間的視差ベクトルを備えるC25に記載の方法。
[C28] 前記1つ以上の候補視差ベクトルは、少なくとも1つの暗黙の視差ベクトルを備えるC25に記載の方法。
[C29] 前記現在のブロックに関するターゲットビューと異なるターゲットビューを指し示す候補を前記1つ以上の候補視差ベクトルから除外することをさらに備えるC25に記載の方法。
[C30] 前記1つ以上の候補視差ベクトルからの1つの視差ベクトルに関する視差ベクトルスケーリングを行うことをさらに備えるC25に記載の方法。
[C31] 前記1つ以上の候補視差ベクトルのうちの1つを前記視差ベクトルとして前記選択することは、前記候補視差ベクトルのうちの前記1つ以上の発生頻度に基づくC25に記載の方法。
[C32] 複数の近隣ブロックのうちの1つが利用可能な候補視差ベクトルを生成するかどうかを決定するために前記複数の近隣ブロックを評価することと、
前記利用可能な候補視差ベクトルを識別した時点で前記複数の近隣ブロックを前記評価することを終了させることと、をさらに備え、
前記現在のブロックに関する前記視差ベクトルを決定することは、前記利用可能な候補視差ベクトルを前記視差ベクトルとして使用することを備えるC1又は2に記載の方法。
[C33] 前記複数の近隣ブロックのうちの前記近隣ブロックのうちの1つに関する視差動きベクトルを識別することであって、前記候補視差ベクトルは、前記現在のブロックのターゲット基準ビューと異なるターゲットビューを指し示すことと、
前記候補視差ベクトルを利用不能な候補視差ベクトルとして取り扱うことと、をさらに備えるC32に記載の方法。
[C34] 前記候補視差ベクトルを前記利用不能な候補として取り扱うことは、前記利用不能な候補視差ベクトルを識別した時点で前記複数の近隣ブロックの前記評価を終了させないことを備えるC33に記載の方法。
[C35] 前記対応するブロックは、基準ブロックを備え、前記第1のビューは基準ビューを備えるC1に記載の方法。
[C36] 前記1つ以上の近隣ブロックは、動きベクトル予測プロセス中に検査されたブロックに対応する複数の空間的近隣ブロックを備えるC1に記載の方法。
[C37] 前記動きベクトル予測プロセスは、3D−HEVC規格によって定義された動きベクトル予測プロセスを備えるC36に記載の方法。
[C38] 第2の現在のブロックに関する第2の視差ベクトルを決定することであって、前記第2の現在のブロックは前記第2のビュー内に存在し、前記第2の視差ベクトルは、グローバル視差ベクトルを備えることと、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つにおいて第2の対応するブロックを決定することと、をさらに備えるC1又は2に記載の方法。
[C39] 第2の現在のブロックに関する第2の視差ベクトルを決定することであって、前記第2の現在のブロックは、前記第2のビュー内に存在し、前記第2の視差ベクトルは、平滑な時間的ビュー予測された(STV)視差ベクトルを備えることと、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つ内の第2の対応するブロックを決定することと、をさらに備えるC1又は2に記載の方法。
[C40] 前記視差ベクトルが指し示すビューとターゲット基準ビューとの間の差分に基づいて前記視差ベクトルをスケーリングすることをさらに備えるC1又は2に記載の方法。
[C41] マルチビュー映像データをコーディングするためのデバイスであって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを復号し、及び現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定するように構成された映像復号器であって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す映像復号器を備える、デバイス。
[C42] マルチビュー映像データをコーディングするためのデバイスであって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを符号化し、及び現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定するように構成された映像符号器であって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す映像符号器、を備える、デバイス。
[C43] 前記1つ以上の近隣ブロックのうちの1つの前記動き情報は、動きベクトルを備え、前記映像復号器は、
前記動きベクトルは、前記1つ以上の基準ビューのうちの1つに属する基準ピクチャに対応する基準インデックスと関連付けられると決定したことに応答して、前記動きベクトルは視差動きベクトルであるとみなし、及び
前記視差ベクトルを導き出すために前記視差動きベクトルを利用するようにさらに構成されるC41又は42に記載のデバイス。
[C44] 前記映像復号器は、前記視差ベクトルと関連付けられた基準ビューを決定し及び前記基準ビューのインタービュー基準ピクチャ内の基準ブロックを識別するようにさらに構成されるC41又は42に記載のデバイス。
[C45] 前記映像復号器は、前記視差ベクトルと関連付けられた基準ビューを決定し、
前記視差ベクトルに基づいて視差動きベクトルを生成するようにさらに構成され、前記視差動きベクトルの前記基準インデックスは、前記基準ビューからの前記インタービュー基準ピクチャに対応する、C41又は42に記載のデバイス。
[C46] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記空間的近隣ブロックと関連付けられるC43に記載のデバイス。
[C47] 前記1つ以上の近隣ブロックは、1つ以上の時間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記時間的近隣ブロックと関連付けられるC43に記載のデバイス。
[C48] 前記1つ以上の時間的近隣ブロックは、1つ以上の時間的基準ピクチャ内のブロックを備えるC47に記載のデバイス。
[C49] 前記1つ以上の時間的基準ピクチャは、HEVCにおいて時間的動きベクトル予測で使用される共配置されたピクチャを備えるC48に記載のデバイス。
[C50] 前記時間的近隣ブロックは、基準ピクチャ内のコーディングユニットの1つ以上の予測ユニット又は予測ブロックを備え、前記コーディングユニットは、前記現在のブロックの共配置されたブロックを備えるC47に記載のデバイス。
[C51] 前記時間的近隣ブロックは、基準ピクチャ内の最大のコーディングユニットの1つ以上の予測ユニット又は予測ブロックを備え、前記最大のコーディングユニットは、前記現在のブロックの共配置されたブロックを備えるC47に記載のデバイス。
[C52] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロック及び1つ以上の時間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定することは、前記視差動きベクトルを決定することを備え、前記視差動きベクトルは、前記空間的近隣ブロック及び前記時間的近隣ブロックのうちの1つと関連付けられるC43に記載のデバイス。
[C53] 前記1つ以上の空間的近隣ブロックは、二次元(2D)映像コーデック内の既存のコーディングツールによってアクセスされるべき空間的近隣ブロックを備えるC47に記載のデバイス。
[C54] 前記既存のコーディングツールは、HEVCにおいて定義されるAMVPプロセスを備えるC53に記載のデバイス。
[C55] 前記1つ以上の近隣ブロックの複数の空間的近隣ブロックが検査される順序は、対応する位置のブロックがHEVCにおいて定義されたAMVPプロセス中に検査される順序に対応するC54に記載のデバイス。
[C56] 前記既存のコーディングツールは、HEVCにおいて定義されるマージプロセスを備えるC53に記載の方法。
[C57] 前記1つ以上の近隣ブロックの複数の空間的近隣ブロックが検査される順序は、対応する位置のブロックがHEVCにおいて定義されたマージプロセス中に検査される順序に対応するC56に記載の方法。
[C58] 前記視差ベクトルは、暗黙の視差ベクトルを備えるC41又は42に記載のデバイス。
[C59] 前記暗黙の視差ベクトルを決定することは、前記1つ以上の近隣ブロックのコーディング中に前記1つ以上の近隣ブロックに関して格納された1つ以上の視差ベクトルを識別することを備え、前記1つ以上の視差ベクトルは、前記近隣ブロックに関して使用されるインタービュー動きパラメータ予測中に前記1つ以上の近隣ブロックに関して決定されるC58に記載のデバイス。
[C60] 前記映像復号器は、前記現在のブロックの前記視差ベクトルによって決定される前記基準ビュー内の前記インタービュー基準ピクチャの前記基準ブロックの情報を用いてインタービュー動き予測を行うようにさらに構成されるC44に記載のデバイス。
[C61] 前記映像復号器は、前記視差ベクトルに基づいて、マージモード及び高度動きベクトル予測(AMVP)モードのうちの1つにおける使用のために候補リストに関する候補を生成することによってインタービュー動き予測を行うように構成されるC60に記載のデバイス。
[C62] 前記映像復号器は、視差動きベクトルを前記候補リストに加えることによって前記候補リストに関する前記候補を生成するように構成され、前記視差動きベクトルは、前記視差ベクトルと同じx成分を有し、前記視差動きベクトルは、前記視差ベクトルと同じy成分を有するC60に記載のデバイス。
[C63] 前記映像復号器は、視差動きベクトルを前記候補リストに加えることによって前記候補リストに関する前記候補を生成するように構成され、視差動きベクトルを前記候補リストに加えることを備え、前記視差動きベクトルは、前記視差ベクトルと同じx成分を有し、前記視差動きベクトルは、ゼロに等しいy成分を有するC60に記載の方法。
[C64] 前記映像復号器は、
前記視差ベクトルを視差動きベクトルに変換し、
前記視差動きベクトルをAMVP候補リスト及びマージ候補リストのうちの1つ内に挿入するようにさらに構成されるC41又は42に記載のデバイス。
[C65] 前記映像復号器は、1つ以上の候補視差ベクトルを決定し及び前記1つ以上の候補視差ベクトルのうちの1つを前記視差ベクトルとして選択することによって前記現在のブロックに関する前記視差ベクトルを決定するように構成されるC41又は42に記載のデバイス。
[C66] 前記1つ以上の候補視差ベクトルは、少なくとも1つの空間的視差ベクトルを備えるC65に記載のデバイス。
[C67] 前記1つ以上の候補視差ベクトルは、少なくとも1つの時間的視差ベクトルを備えるC65に記載のデバイス。
[C68] 前記1つ以上の候補視差ベクトルは、少なくとも1つの暗黙の視差ベクトルを備えるC65に記載のデバイス。
[C69] 前記映像復号器は、前記現在のブロックに関するターゲットビューと異なるターゲットビューを指し示す候補を前記1つ以上の候補視差ベクトルから除外するようにさらに構成されるC65に記載のデバイス。
[C70] 前記映像復号器は、前記1つ以上の候補視差ベクトルからの1つの視差ベクトルに関する視差ベクトルスケーリングを行うようにさらに構成されるC65に記載の方法。
[C71] 前記映像復号器は、前記候補視差ベクトルのうちの前記1つ以上の発生頻度に基づいて前記1つ以上の候補視差ベクトルのうちの1つを前記視差ベクトルとして選択するように構成されるC65に記載のデバイス。
[C72] 前記映像復号器は、
複数の近隣ブロックのうちの1つが利用可能な候補視差ベクトルを生成するかどうかを決定するために前記複数の近隣ブロックを評価し、
前記利用可能な候補視差ベクトルを識別した時点で前記複数の近隣ブロックを前記評価することを終了させるようにさらに構成され、
前記映像復号器は、前記利用可能な候補視差ベクトルを前記視差ベクトルとして使用することによって前記現在のブロックに関する前記視差ベクトルを決定するように構成されるC41又は42に記載のデバイス。
[C73] 前記映像復号器は、
前記複数の近隣ブロックのうちの前記近隣ブロックのうちの1つに関する視差動きベクトルを識別し、
前記候補視差ベクトルを利用不能な候補視差ベクトルとして取り扱うようにさらに構成され、前記候補視差ベクトルは、前記現在のブロックのターゲット基準ビューと異なるターゲットビューを指し示すC72に記載のデバイス。
[C74] 前記映像復号器は、前記利用不能な候補視差ベクトルを識別した時点で前記複数の近隣ブロックの前記評価を終了させないことによって前記候補視差ベクトルを利用不能な候補として取り扱うように構成されるC73に記載のデバイス。
[C75] 前記対応するブロックは、基準ブロックを備え、前記第1のビューは基準ビューを備えるC41又は42に記載のデバイス。
[C76] 前記1つ以上の近隣ブロックは、動きベクトル予測プロセス中に検査されたブロックに対応する複数の空間的近隣ブロックを備えるC41又は42に記載のデバイス。
[C77] 前記動きベクトル予測プロセスは、3D−HEVC規格によって定義された動きベクトル予測プロセスを備えるC76に記載のデバイス。
[C78] 前記映像復号器は、
第2の現在のブロックに関する第2の視差ベクトルを決定し、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つにおいて第2の対応するブロックを決定するようにさらに構成され、前記第2の現在のブロックは前記第2のビュー内に存在し、前記第2の視差ベクトルは、グローバル視差ベクトルを備えるC41又は42に記載のデバイス。
[C79] 前記映像復号器は、
第2の現在のブロックに関する第2の視差ベクトルを決定し、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つ内の第2の対応するブロックを決定するようにさらに構成され、前記第2の現在のブロックは、前記第2のビュー内に存在し、前記第2の視差ベクトルは、平滑な時間的ビュー予測された(STV)視差ベクトルを備えるC41又は42に記載のデバイス。
[C80] 前記映像復号器は、前記視差ベクトルが指し示すビューとターゲット基準ビューとの間の差分に基づいて前記視差ベクトルをスケーリングするようにさらに構成されるC41又は42に記載のデバイス。
[C81] 前記デバイスは、
集積回路、
マイクロプロセッサ、及び
映像復号器を備える無線通信デバイス
のうちの少なくとも1つを備えるC41又は42に記載のデバイス。
[C82] マルチビュー映像データを復号するためのデバイスであって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを復号するための手段と、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定するための手段であって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す手段と、を備える、デバイス。
[C83] マルチビュー映像データを符号化するためのデバイスであって、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを符号化するための手段と、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定するための手段であって、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す手段と、を備える、デバイス。
[C84] 前記1つ以上の近隣ブロックのうちの1つの前記動き情報は、動きベクトルを備え、
前記動きベクトルは前記1つ以上の基準ビューのうちの1つに属する基準ピクチャに対応する基準インデックスと関連付けられると決定したことに応答して、前記動きベクトルは視差動きベクトルであるとみなすための手段と、
前記視差ベクトルを導き出すために前記視差動きベクトルを利用するための手段と、をさらに備えるC82又は83に記載のデバイス。
[C85] 前記視差ベクトルと関連付けられた基準ビューを決定するための手段と、
前記基準ビューのインタービュー基準ピクチャ内の基準ブロックを識別するための手段と、をさらに備えるC82又は83に記載のデバイス。
[C86] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定するための前記手段は、前記視差動きベクトルを決定するための手段を備え、前記視差動きベクトルは、前記空間的近隣ブロックと関連付けられるC84に記載のデバイス。
[C87] 前記1つ以上の近隣ブロックは、1つ以上の時間的近隣ブロックを備え、前記現在のブロックに関する前記視差ベクトルを決定するための前記手段は、前記視差動きベクトルを決定するための手段を備え、前記視差動きベクトルは、前記時間的近隣ブロックと関連付けられるC84に記載のデバイス。
[C88] 前記1つ以上の近隣ブロックは、1つ以上の空間的近隣ブロックと、1つ以上の時間的近隣ブロックとを備え、前記現在のブロックに関する前記視差ベクトルを決定するための前記手段は、前記視差動きベクトルを決定するための手段を備え、前記視差動きベクトルは、前記空間的近隣ブロック及び前記時間的近隣ブロックのうちの1つと関連付けられるC84に記載のデバイス。
[C89] 前記視差ベクトルは、暗黙の視差ベクトルを備えるC88に記載のデバイス。
[C90] 前記暗黙の視差ベクトルを決定するための前記手段は、前記1つ以上の近隣ブロックのコーディング中に前記1つ以上の近隣ブロックに関して格納された1つ以上の視差ベクトルを識別するための手段を備え、前記1つ以上の視差ベクトルは、前記近隣ブロックに関して使用されるインタービュー動きパラメータ予測中に前記1つ以上の近隣ブロックに関して決定されるC89に記載のデバイス。
[C91] 前記現在のブロックの前記視差ベクトルによって決定される前記基準ビュー内の前記インタービュー基準ピクチャの前記基準ブロックの情報を用いてインタービュー動き予測を行うための手段をさらに備えるC85に記載のデバイス。
[C92] インタービュー動き予測を行うための前記手段は、前記視差ベクトルに基づいて、マージモード及び高度動きベクトル予測(AMVP)モードのうちの1つにおける使用のために候補リストに関する候補を生成するための手段を備えるC91に記載のデバイス。
[C93] 前記視差ベクトルを視差動きベクトルに変換するための手段と、
前記視差動きベクトルをAMVP候補リスト及びマージ候補リストのうちの1つ内に挿入するための手段と、をさらに備えるC81又は82に記載のデバイス。
[C94] 前記現在のブロックに関する前記視差ベクトルを決定するための前記手段は、1つ以上の候補視差ベクトルを決定するための手段と、前記1つ以上の候補視差ベクトルのうちの1つを前記視差ベクトルとして選択するための手段と、を備えるC81又は82に記載のデバイス。
[C95] 前記デバイスは、
複数の近隣ブロックのうちの1つが利用可能な候補視差ベクトルを生成するかどうかを決定するために前記複数の近隣ブロックを評価するための手段と、
前記利用可能な候補視差ベクトルを識別した時点で前記複数の近隣ブロックを前記評価することを終了させるための手段と、をさらに備え、
前記現在のブロックに関する前記視差ベクトルを決定するための前記手段は、前記利用可能な候補視差ベクトルを前記視差ベクトルとして使用するための手段を備えるC81又は82に記載のデバイス。
[C96] 第2の現在のブロックに関する第2の視差ベクトルを決定するための手段であって、前記第2の現在のブロックは前記第2のビュー内に存在し、前記第2の視差ベクトルは、グローバル視差ベクトルを備える手段と、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つにおいて第2の対応するブロックを決定するための手段と、をさらに備えるC81又は82に記載のデバイス。
[C97] 第2の現在のブロックに関する第2の視差ベクトルを決定するための手段であって、前記第2の現在のブロックは、前記第2のビュー内に存在し、前記第2の視差ベクトルは、平滑な時間的ビュー予測された(STV)視差ベクトルを備える手段と、
前記第2の現在のブロックに関して、前記第2の視差ベクトルに基づいて前記第1のビューの前記ピクチャのうちの1つ内の第2の対応するブロックを決定するための手段と、をさらに備えるC81又は82に記載のデバイス。
[C98] 前記視差ベクトルが指し示すビューとターゲット基準ビューとの間の差分に基づいて前記視差ベクトルをスケーリングするための手段をさらにC81又は82に記載のデバイス。
[C99] コンピュータによって読み取り可能な記憶媒体であって、
実行されたときに、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを復号し、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定することを1つ以上のプロセッサに行わせる命令を格納し、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す、コンピュータによって読み取り可能な記憶媒体。
[C100] コンピュータによって読み取り可能な記憶媒体であって、
実行されたときに、
第1の基準ビューを含む1つ以上の基準ビューにおいて1つ以上のピクチャを符号化し、
現在のブロックの1つ以上の近隣ブロックの動き情報に基づいて前記現在のブロックに関する視差ベクトルを決定することを1つ以上のプロセッサに行わせる命令を格納し、前記現在のブロックは、第2のビュー内に存在し、前記視差ベクトルは、前記現在のブロックから前記1つ以上の基準ビューのうちの1つにおける同じ時間的インスタンスのピクチャ内の対応するブロックを指し示す、コンピュータによって読み取り可能な記憶媒体。