JP6231560B2 - ビデオ信号処理方法およびビデオ信号処理装置 - Google Patents

Description

本発明は、ビデオ信号のコーディング方法および装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を通じて伝送したり、記憶媒体に適合した形態で記憶させたりする一連の信号処理技術を意味する。圧縮符号化の対象には音声、映像、文字などがあり、特に、映像を対象に圧縮符号化を行う技術をビデオ映像圧縮と呼ぶ。多視点ビデオ映像の一般的な特徴は、空間的重複性、時間的重複性および視点間重複性を有する点にある。

本発明の目的は、ビデオ信号のコーディング効率を向上させることにある。

本発明は、視点間残差予測に関し、隣接ブロックから動きベクトルを取得することを特徴とする。

本発明は、隣接ブロックの動きベクトルを用いて第１参照ブロックの残差データを取得し、参照視点動きベクトルまたは変位ベクトルを用いて第２参照ブロックの残差データを取得することを特徴とする。

本発明は、第１参照ブロックの残差データと第２参照ブロックの残差データとを用いて、現テクスチャブロックの残差データ予測値を取得し、現テクスチャブロックの残差データ予測値を用いて、現テクスチャブロックをコーディングすることを特徴とする。

本発明は、参照視点動きベクトルを用いて探索した第２参照ブロックの位置がピクチャ内に位置する場合に、視点間残差予測を適用することを特徴とする。

本発明は、対応ブロックがインター予測である場合に、視点間残差予測を適用することを特徴とする。

本発明は、対応ブロックを探すための視点間動きベクトルと現テクスチャブロックに対応するデプスデータを用いた変位ベクトルとを比較して、差が閾値以下である場合に視点間残差予測を適用することを特徴とする。

本発明は、隣接ブロックの時間動きベクトルと対応ブロックを探すための視点間動きベクトルとを比較して、差が閾値以下である場合に視点間残差予測を適用することを特徴とする。

本発明は、同じ時間帯に属し異なる視点のコーディングされたデータを使用して取得された現テクスチャブロックの残差データ予測値を用いて視点間残差予測を行うことによって、視点間の相関関係を活用してビデオデータ予測の正確性を高め、伝送される残差データの量を減らすことによってコーディング効率を向上させることができる。また、第１参照ブロックおよび第２参照ブロックを探索するための動きベクトルを現テクスチャブロックの隣接ブロックから取得して視点間残差予測の正確性を高めることができ、ビデオコーディングの効率を向上させることができる。そして、視点間残差予測を適用するための条件を追加してコーディング過程での複雑度を減らすこともできる。

本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。 本発明が適用される一実施例であって、空間的隣接ブロックの例を示す図である。 本発明が適用される一実施例であって、時間的隣接ブロックの例を示す図である。 本発明が適用される一実施例であって、インター予測の種類として時間インター予測および視点間インター予測の例を示す図である。 本発明が適用される一実施例であって、デプスデータを用いて現テクスチャブロックの変位ベクトルを導出する方法を示す図である。 本発明が適用される一実施例であって、視点間残差予測に関する例を示す図である。 本発明が適用される一実施例であって、視点間残差予測の例を示すフローチャートである。 本発明が適用される一実施例であって、図７のフローチャートに対応する視点間残差予測の例を示す図である。 本発明が適用される一実施例であって、視点間残差予測の例を示すフローチャートである。 本発明が適用される一実施例であって、図９に対応する視点間残差予測の例を示す図である。 本発明が適用される一実施例であって、参照視点動きベクトルによる第１参照ブロックの位置に従う視点間残差予測条件の例を示す図である。

上記のような目的を達成するために、本発明に係るビデオ信号処理方法は、現テクスチャブロックの視点間インター予測でコーディングされた隣接ブロックから視点間動きベクトル（inter-view motion vector）を取得でき、上記視点間動きベクトルを用いて対応ブロックの参照視点動きベクトル（reference view motion vector）を取得でき、上記対応ブロックの参照視点動きベクトルを用いて第１参照ブロックの残差データを取得でき、上記対応ブロックの参照視点動きベクトルを上記現テクスチャブロックの参照視点動きベクトルとして取得し、該現テクスチャブロックの参照視点動きベクトルを用いて第２参照ブロックの残差データを取得し、上記第１参照ブロックの残差データと上記第２参照ブロックの残差データとを用いて残差データ予測値を取得することができ、上記残差データ予測値を用いて現テクスチャブロックをデコーディングすることができる。

本発明によれば、上記第２参照ブロックが上記第２参照ピクチャ内に位置しない場合、上記第２参照ブロックの残差データを０として導出することができる。

本発明によれば、上記現テクスチャブロックのデプス値を用いて変位ベクトルを取得し、上記視点間動きベクトルと上記変位ベクトルとを比較して、上記視点間動きベクトルと上記変位ベクトルとの差が閾値以下である場合、上記第１参照ブロックの残差データと上記第２参照ブロックの残差データとを取得することができる。

本発明によれば、上記現テクスチャブロックの時間インター予測でコーディングされた隣接ブロックから時間動きベクトルを取得し、上記時間動きベクトルと上記参照視点動きベクトルとを比較するステップをさらに有し、上記時間動きベクトルと上記参照視点動きベクトルとの差が閾値以下である場合、上記第１参照ブロックの残差データと上記第２参照ブロックの残差データとを取得することができる。

本発明によれば、上記視点間動きベクトルは、空間的隣接ブロックの視点間動きベクトル、時間的隣接ブロックの視点間動きベクトルおよび参照視点間動きベクトルの少なくとも一つから導出することができる。

本発明によれば、上記空間的隣接ブロックの動きベクトルは、上記時間的隣接ブロックの視点間動きベクトルよりも高い優先順位を有し、上記時間的隣接ブロックの視点間動きベクトルは、参照視点間動きベクトルよりも高い優先順位を有することができる。

本発明によれば、上記参照視点間動きベクトルは、上記空間的隣接ブロックと上記時間的隣接ブロックとのうち少なくとも一つが参照視点動きベクトルで導出された場合、上記参照視点動きベクトルに対応する視点間動きベクトルでもよい。

多視点ビデオ信号データを圧縮符号化または復号する技術は、空間的重複性、時間的重複性および視点間に存在する重複性を考慮している。また、多視点映像の場合、３次元映像を具現するために、２個以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要によって、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることができる。勿論、デプスデータをコーディングする際、空間的重複性、時間的重複性または視点間重複性を考慮して圧縮符号化（コーディング）することができる。デプスデータは、カメラと該当の画素との間の距離情報を表現したもので、本明細書中でデプスデータはデプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書でいうコーディングは、エンコーディングおよびデコーディングの両方の概念を含むことができ、本発明の技術的思想および技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。

図１を参照すると、ビデオデコーダは、ＮＡＬパージング部１００、エントロピデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、インループフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００を有することができる。ＮＡＬパージング部１００は、多視点テクスチャデータを有するビットストリームを受信することができる。また、デプスデータがテクスチャデータのコーディングに必要な場合、エンコーディングされたデプスデータを有するビットストリームをさらに受信することもできる。このとき、入力されるテクスチャデータおよびデプスデータは、単一のビットストリームとして伝送されてもよく、別個のビットストリームとして伝送されてもよい。ＮＡＬパージング部１００は、入力されたビットストリームを復号するためにＮＡＬ単位にパージングを行うことができる。入力されたビットストリームが多視点関連データ（例えば、３次元ビデオ（3-Dimensional Video））である場合、入力されたビットストリームはカメラパラメータをさらに有することができる。カメラパラメータは、固有のカメラパラメータ（intrinsic camera parameter）と非固有のカメラパラメータ（extrinsic camera parameter）とに区別できる。固有のカメラパラメータは、焦点距離（focal length）、縦横比（aspect ratio）、主点（principal point）などを有することができ、非固有のカメラパラメータは、世界座標系におけるカメラの位置情報などを有することができる。

エントロピデコーディング部２００は、エントロピデコーディングによって、量子化された変換係数、テクスチャピクチャの予測のためのコーディング情報などを抽出することができる。

逆量子化／逆変換部３００では、量子化された変換係数に量子化パラメータを適用して変換係数を取得し、変換係数を逆変換してテクスチャデータまたはデプスデータを復号することができる。ここで、復号されたテクスチャデータまたはデプスデータは、予測処理による残差データを有することがある。また、デプスブロックに対する量子化パラメータは、テクスチャデータの複雑度を考慮して取得することができる。例えば、デプスブロックに対応するテクスチャブロックが複雑度の高い領域である場合には、低い量子化パラメータを取得し、複雑度の低い領域である場合には、高い量子化パラメータを取得できる。

イントラ予測部４００は、現テクスチャピクチャ内の復元されたテクスチャデータを用いて画面内予測を行うことができる。デプスピクチャに対してもテクスチャピクチャと同一の方式で画面内予測を行うことができる。例えば、テクスチャピクチャの画面内予測のために用いられるコーディング情報をデプスピクチャでも同様に用いることができる。ここで、画面内予測のために用いられるコーディング情報は、イントラ予測モード、イントラ予測のパーティション情報を有することができる。

インループフィルタ部５００は、ブロック歪み現象を減少させるために、それぞれのコーディングされたブロックにインループフィルタを適用することができる。フィルタは、ブロックの縁を滑らかにし、デコーディングされたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは、出力してもよく、参照ピクチャとして用いるために復号ピクチャバッファ部６００に記憶してもよい。

復号ピクチャバッファ部（Decoded Picture Buffer unit）６００では、画面間予測を行うために、以前にコーディングされたテクスチャピクチャまたはデプスピクチャを記憶したりオープンする役割などを持つ。このとき、これらのピクチャを復号ピクチャバッファ部６００に記憶したりオープンしたりするために、各ピクチャのframe_numおよびピクチャ表示順序（Picture Order Count；ＰＯＣ）を用いることができる。さらに、デプスコーディングにおいて、上記以前にコーディングされたピクチャの中には、現デプスピクチャと異なる視点に対応するデプスピクチャもあるため、このようなピクチャを参照ピクチャとして活用するためには、デプスピクチャの視点を識別する視点識別情報を用いることができる。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でテクスチャピクチャと区別するために別途の表示でマーキングでき、このマーキング過程で各デプスピクチャを識別するための情報が用いられてもよい。

インター予測部７００は、復号ピクチャバッファ部６００に記憶された参照ピクチャおよび動き情報を用いて現ブロックの動き補償を行うことができる。本明細書でいう動き情報とは、動きベクトル、参照インデックス情報を含む広義の概念と理解すればよい。また、インター予測部７００は、動き補償を行うために時間インター予測を行うことができる。

本発明において、隣接ブロックとしては空間的隣接ブロックと時間的隣接ブロックとを有することができる。以下では、本発明で適用される空間的隣接ブロックと時間的隣接ブロックとについて定義する。

図２は、本発明が適用される一実施例であって、空間的隣接ブロックの例を示す図である。

図２（ａ）を参照すると、空間的隣接ブロックは、左下段の隣接ブロックＡ₀、左側の隣接ブロックＡ₁、右上段の隣接ブロックＢ₀、上段の隣接ブロックＢ₁、左上段の隣接ブロックＢ₂のうち少なくとも一つを有することができる。まず、上記言及した空間的隣接ブロックのうち、動きベクトルを導出するためのブロックを探索し、現テクスチャブロックの動きベクトルとして取得することができる。一方、空間的隣接ブロック間の優先順位を考慮して探索することができる。そのため、左側の隣接ブロック、上段の隣接ブロック、右上段の隣接ブロック、左下段の隣接ブロック、左上段の隣接ブロックの順で空間的隣接ブロック探索を行うことができる。例えば、現テクスチャブロックの視点間動きベクトルを隣接ブロックから導出する際、左側の隣接ブロックが視点間インター予測でコーディングされたブロックである場合、左側の隣接ブロックの視点間動きベクトルを現テクスチャブロックの視点間動きベクトルとして取得し、探索を終了できる。しかし、探索の結果、左側の隣接ブロックが視点間インター予測でコーディングされていない場合は、上段の隣接ブロックが視点間インター予測でコーディングされているか否かを確認することができる。または、左下段の隣接ブロック、左側の隣接ブロック、右上段の隣接ブロック、上段の隣接ブロック、左上段の隣接ブロックの順で、視点間インター予測でコーディングされたブロックを探すまで探索を行うことができる。ただし、空間的隣接ブロック間の優先順位は、上記の実施例に限定されない。

図２（ｂ）は、空間的隣接ブロックの候補を拡張した例である。左側の隣接ブロックＡ₁の大きさが現テクスチャブロックの大きさよりも小さい場合、現テクスチャブロックは、少なくとも一つの左側の隣接ブロックをさらに有することができる。例えば、図２（ｂ）のように、本発明の空間的隣接ブロックは、左側の隣接ブロックＡ₁と左上段の隣接ブロックＢ₄との間に位置する左側の隣接ブロックＡ₂，Ａ₃をさらに有することができる。同様の方式で、上段の隣接ブロックＢ₁の大きさが現テクスチャブロックの大きさよりも小さい場合、本発明の空間的隣接ブロックは、上段の隣接ブロックＢ₁と左上段の隣接ブロックＢ₄との間に位置する上段の隣接ブロックＢ₂，Ｂ₃をさらに有することができる。この場合も、空間的隣接ブロック間の優先順位（例えば、Ａ₁−＞Ｂ₁−＞Ｂ₀−＞Ａ₀−＞Ｂ₂−＞Ｃ₀−＞Ｃ₁−＞Ｄ₀−＞Ｄ₁）を考慮して、視点間インター予測でコーディングされたブロックを探索することができる。このように、現テクスチャブロックの視点間動きベクトルとして導出するための空間的隣接ブロックの候補を拡張することによって、現テクスチャブロックの視点間動きベクトルを取得する確率を高めることができる。

図３は、本発明が適用される一実施例であって、時間的隣接ブロックの例を示す図である。

図３を参照すると、時間的隣接ブロックとは、現テクスチャブロックの参照ピクチャ内で現テクスチャブロックと同一の位置にあるブロック（以下、同一位置のブロックという。）を意味することができる。ここで、参照ピクチャは、現テクスチャブロックを有する現ピクチャと同一視点で異なる時間帯に位置するピクチャを意味することができる。本発明の同一位置のブロックは、図３に示すように、２つの方法で定義できる。

図３（ａ）を参照すると、同一位置のブロックは、現テクスチャブロックの中心ピクセルの位置Ｃに対応する参照ピクチャ内でのＣ位置を含むブロックとして定義できる。または、図３（ｂ）を参照すると、同一位置のブロックは、現テクスチャブロックの左上段ピクセルの位置Ｘに対応する参照ピクチャ内でのＸ位置を含むブロックとして定義してもよい。一方、本発明の時間的隣接ブロックは、同一位置のブロックに限定されず、上記同一位置のブロックに隣接した隣接ブロックを意味することもできる。図３（ａ）に示すように、同一位置のブロックに隣接した隣接ブロックとして、左下段の隣接ブロックＡ₀、左側の隣接ブロックＡ₁、右上段の隣接ブロックＢ₀、上段の隣接ブロックＢ₁、左上段の隣接ブロックＢ₂の少なくともいずれか一つを用いることができる。さらに、参照ピクチャは、現ピクチャ以前に既にデコーディングされているため、同一位置のブロックの下段および右側に隣接した隣接ブロックも時間的隣接ブロックとして用いることができる。例えば、図３（ａ）に示すように、時間的隣接ブロックとして、右下段の隣接ブロックＣ₀、下段の隣接ブロックＣ₁、右側の隣接ブロックＣ₂を用いることもできる。一方、時間的隣接ブロックの候補として言及した、ａ）同一位置のブロック、ｂ）同一位置のブロックに隣接した隣接ブロックを、優先順位を考慮して、時間的隣接ブロックのために探索することができる。

図４は、本発明が適用される一実施例であって、インター予測の種類として時間インター予測および視点間インター予測の例を示す図である。

時間インター予測（Motion Compensated Prediction；ＭＣＰ）とは、現テクスチャブロックと同一の視点および異なる時間帯に位置する参照ピクチャと、現テクスチャブロックの動き情報と、を用いたインター予測を意味することができる。また、複数個のカメラによって撮影された多視点映像の場合、時間インター予測に加えて、視点間インター予測をさらに行うことができる。視点間インター予測または視点間予測（Disparity Compensated Prediction；ＤＣＰ）とは、現テクスチャブロックと異なる視点に位置する参照ピクチャと、現テクスチャブロックの動き情報と、を用いたインター予測を意味することができる。一方、理解を助けるために、時間インター予測に用いられる動き情報を、時間動きベクトル、時間参照インデックス情報と呼び、視点間インター予測に用いられる動き情報を、視点間動きベクトル、視点間参照インデックス情報と呼ぶものとする。したがって、本明細書で動き情報は、時間動きベクトル、時間参照インデックス情報、視点間動きベクトル、視点間参照インデックス情報を含む概念として柔軟に解釈すればよい。

残差予測は、参照ピクチャの残差データを用いて、現テクスチャブロックの残差データを予測する方法を意味することができる。視点間残差予測（inter-view residual prediction）は、参照視点内参照ブロックの残差データを用いて、現テクスチャブロックの残差データを予測する方法を意味することができる。視点間残差予測の詳細については図６を参照して後述する。

以下では、隣接ブロックが時間インター予測または視点間インター予測でコーディングされたか否かを決定する方法について説明する。

時間インター予測でコーディングされたか否かを決定する方法について説明する。一実施例として、時間インター予測でコーディングされたか否かは、該当の隣接ブロックの動きベクトル識別情報に基づいて決定できる。動きベクトル識別情報が時間インター予測を用いる動きベクトルを指定している場合、隣接ブロックを時間インター予測によってコーディングされたブロックと判断できる。

上記定義された空間的隣接ブロックおよび時間的隣接ブロックが視点間インター予測によってコーディングされたか否かを決定する方法について説明する。一実施例として、視点間インター予測でコーディングされたか否かは、該当の隣接ブロックが視点間参照ピクチャリストを用いるか否かに基づいて決定できる。視点間参照ピクチャリストは、該当の隣接ブロックの視点と異なる視点に位置する参照ピクチャで構成されたリストを意味することができる。または、該当の隣接ブロックの参照インデックス情報に基づいて決定することもできる。例えば、該当の隣接ブロックの参照インデックス情報が該当の隣接ブロックの視点と異なる視点に位置する参照ピクチャを特定する場合、該当の隣接ブロックは視点間インター予測でコーディングされたと特定することができる。または、該当の隣接ブロックを有するピクチャのＰＯＣと該当の隣接ブロックの参照ピクチャのＰＯＣとが同一か否かに基づいて決定することもできる。ＰＯＣは出力順序情報であって、同一アクセスユニット（access unit）内のピクチャは、同一ＰＯＣを有することができる。したがって、両者のＰＯＣが同一であるということは、該当の隣接ブロックを有するピクチャと参照ピクチャとが異なる視点に位置することを意味するはずであり、この場合、該当の隣接ブロックは視点間インター予測でコーディングされたと特定することができる。

空間的隣接ブロックおよび時間的隣接ブロックがいずれも、視点間インター予測でコーディングされていない場合、時間インター予測でコーディングされている隣接ブロックを用いて視点間動きベクトルを導出することができる。隣接ブロックが参照視点動きベクトルを用いて時間インター予測でコーディングされた場合、参照視点動きベクトルを決定するために用いられた視点間動きベクトル（以下、参照視点間動きベクトルという）を、現テクスチャブロックの視点間動きベクトルとして取得できる。

図５は、本発明が適用される一実施例であって、デプスデータを用いて現テクスチャブロックの変位ベクトル（disparity vector）を導出する方法を示す図である。

図５を参照すると、現ピクチャの現テクスチャブロックの位置情報に基づいて、それに対応するデプスピクチャ内のデプスブロック（以下、現デプスブロックという）の位置情報を取得することができる（Ｓ５００）。現デプスブロックの位置は、デプスピクチャおよび現ピクチャの空間解像度を考慮して決定することができる。例えば、デプスピクチャと現ピクチャとが同一の空間解像度でコーディングされた場合、現デプスブロックの位置は、現ピクチャの現テクスチャブロックと同一位置のブロックと決定することができる。一方、現ピクチャとデプスピクチャとが、互いに異なる空間解像度でコーディングされることもある。カメラと客体との間の距離情報を表すデプス情報の特性上、空間解像度を下げてコーディングしてもコーディング効率が大きく低下しなくて済むためである。したがって、デプスピクチャの空間解像度が現ピクチャよりも低くコーディングされた場合、デコーダは、現デプスブロックの位置情報を取得する前に、デプスピクチャに対するアップサンプリング過程を伴うことができる。また、アップサンプリングされたデプスピクチャと現ピクチャとの間で画面比率（aspect ratio）が正確に一致しない場合、アップサンプリングされたデプスピクチャ内で現デプスブロックの位置情報を取得する際に、オフセット情報をさらに考慮することができる。ここで、オフセット情報は、上段オフセット情報、左側オフセット情報、右側オフセット情報、下段オフセット情報のうち少なくとも一つを有することができる。上段オフセット情報は、アップサンプリングされたデプスピクチャの上段に位置する少なくとも一つのピクセルと現ピクチャの上段に位置する少なくとも一つのピクセルとの間の位置の差を表すことができる。左側、右側、下段オフセット情報も同様の方式でそれぞれ定義することができる。

現デプスブロックの位置情報に該当するデプスデータを取得することができる（Ｓ５１０）。現デプスブロック内に複数個のピクセルが存在する場合、現デプスブロックのコーナーピクセル（corner pixel）に対応するデプスデータを用いることができる。または、現デプスブロックの中央ピクセル（center pixel）に対応するデプスデータを用いてもよい。または、複数個のピクセルに対応する複数個のデプスデータのうち、最大値、最小値、最頻値のいずれか一つが選択的に用いられてもよく、複数個のデプスデータ間の平均値が用いられてもよい。取得されたデプスデータとカメラパラメータとを用いて、現テクスチャブロックの変位ベクトル（disparity vector）を導出することができる（Ｓ５２０）。具体的な導出方法を、式（１）および式（２）に基づいて説明する。

式（１）を参照すると、Ｚは、当該ピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、本発明のデプスデータに対応する。Ｚ_nearおよびＺ_farは、デプスピクチャの属する視点に対して定義されたＺの最小値および最大値をそれぞれ意味する。また、Ｚ_nearおよびＺ_farは、シーケンスパラメータセット、スライスヘッダなどを用いてビットストリームから抽出されてもよく、デコーダ内にあらかじめ定義された情報でもよい。したがって、当該ピクセルのカメラからの距離Ｚを２５６レベルで量子化した場合、式（１）のように、デプスデータ、Ｚ_nearおよびＺ_farを用いてＺを復元することができる。その後、復元されたＺを用いて、式（２）のように現テクスチャブロックに対する変位ベクトルを導出することができる。

式（２）において、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆおよびＢは全てのカメラに対して同一であると仮定することができ、よって、デコーダにおいてあらかじめ定義された情報でもよい。

一方、多視点映像に対してテクスチャデータのみをコーディングする場合には、カメラパラメータに関する情報を利用できないことから、デプスデータから変位ベクトルを導出する方法を用いることができない。そのため、多視点映像のテクスチャデータのみをコーディングする場合には、変位ベクトルを記憶している変位ベクトルマップ（disparity vector map）を用いることができる。変位ベクトルマップは、水平成分および垂直成分で構成された変位ベクトルが２次元配列で記憶されたマップでもよい。本発明の変位ベクトルマップは、様々な大きさで表現することができる。例えば、一つのピクチャごとに一つの変位ベクトルのみを使用する場合には１ｘ１の大きさを有することができ、ピクチャ内の４ｘ４ブロックごとに変位ベクトルを使用する場合には、ピクチャの大きさに対応して１／４の幅と高さを有するため、変位ベクトルマップはピクチャの１／１６の大きさを有することができる。また、一つのピクチャ内で現テクスチャブロックの大きさは適応的に決定されることがあり、当該テクスチャブロックごとに変位ベクトルを記憶することもできる。

以下、インター予測部７００で現テクスチャブロックの視点間予測、特に、参照ブロックの残差データを用いて残差データ予測値を取得する視点間残差予測方法について説明する。

図６は、本発明が適用される一実施例であって、視点間残差予測に関する例を示す図である。

視点間残差予測は、多視点映像において、同一の時間帯に属した異なる視点の残差データを用いて、現テクスチャブロックの残差データの予測値を取得する方法である。この方法を用いて現テクスチャブロックの残差データを予測することによって、現視点ビデオコーディングの効率を上げることができる。図６において、現テクスチャブロックの中央位置をＸとしたとき、Ｘに該当する現テクスチャブロックのデプス値ｄを用いて、現テクスチャブロックの変位ベクトルを取得する。ここで、変位ベクトルは、現テクスチャブロックの参照ブロックを示す。取得された変位ベクトルを用いて、参照視点における現テクスチャブロックの参照ブロックを探すことができる。換言すれば、現テクスチャブロックの左上段の位置に変位ベクトル値を加えて参照視点における該当の参照ブロックの位置を探すことができる。参照ブロックに残差データが存在する場合、参照ブロックの位置の残差データと現テクスチャブロックの残差データとの間の差分データのみを変換して、コーディング効率を上げることができる。変位ベクトルが示す参照視点ブロックの位置がサブサンプル位置に対応する場合、残差データ予測値は、参照視点の残差データサンプルと線形フィルタとを用いて取得することができる。

現テクスチャブロックが視点間残差予測を適用するか否かを示すフラグ（inter_view_residual_prediction_flag）をビットストリームに含め、視点間残差予測を適用するか否かをデコーダに伝送することができる。現テクスチャブロックが視点間残差予測をする方が効率的だと判断すると、inter_view_residual_prediction_flagを１に設定し、視点間残差予測をしない方が効率的だと判断すると、inter_view_residual_prediction_flagを０に設定することができる。

図７は、本発明が適用される一実施例であって、視点間残差予測の例を示すフローチャートである。

図８は、本発明が適用される一実施例であって、図７のフローチャートに対応する視点間残差予測の例を示す図である。

図８に示すように、現テクスチャブロックに隣接したブロックに、時間インター予測を使用する隣接ブロックが含まれる場合、隣接ブロックの動き情報から現テクスチャブロックの時間動きベクトル８００を取得することができる（Ｓ７００）。隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを有することができる。空間的隣接ブロックは、現テクスチャブロックの空間的隣接ブロックである、左下段の隣接ブロック、左側の隣接ブロック、右上段の隣接ブロック、上段の隣接ブロック、左上段の隣接ブロックのうち少なくとも一つを有することができる。空間的隣接ブロックが時間インター予測でコーディングされた場合、空間的隣接ブロックから時間動きベクトルを取得して現テクスチャブロックの時間動きベクトル８００とすることができる。または、時間的隣接ブロックが時間インター予測でコーディングされた場合、時間的隣接ブロックから時間動きベクトルを取得して現テクスチャブロックの時間動きベクトル８００とすることができる。一方、隣接ブロック間の優先順位を考慮して、時間インター予測でコーディングされたブロックを探索することができる。空間的隣接ブロックを探索してから時間的隣接ブロックを探索することができる。または、時間的隣接ブロックを探索してから空間的隣接ブロックを探索することもできる。空間的隣接ブロック間の優先順位を考慮して、時間インター予測でコーディングされたブロックを探索することができる。空間的隣接ブロック間の優先順位は、左側の隣接ブロック、上段の隣接ブロック、右上段の隣接ブロック、左下段の隣接ブロック、左上段の隣接ブロックの順でもよい。

現テクスチャブロックの時間動きベクトルとして取得された時間動きベクトル８００を用いて第１参照ブロックの位置を探索し、第１参照ブロックから残差データを取得することができる（Ｓ７１０）。現テクスチャブロックにおける時間動きベクトル８００を用いて第１参照ブロックの位置を探索することができる。現テクスチャブロックの左上段位置に時間動きベクトル８００を加えて第１参照ブロックの左上段位置を探索することができる。第１参照ブロックは、現テクスチャブロックと同一視点で異なる時間のピクチャ内に位置できる。

第１参照ブロックの視点間動きベクトル８１０を取得することができる（Ｓ７２０）。第１参照ブロックの視点間動きベクトル８１０は、第１参照ブロックに対応するデプスデータを用いて取得された変位ベクトルでもよい。または、第１参照ブロックの隣接ブロックのうち、視点間インター予測によってコーディングされたブロックの視点間動きベクトルを、第１参照ブロックの視点間動きベクトル８１０として取得することもできる。隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを有することができる。空間的隣接ブロックは、現テクスチャブロックの空間的隣接ブロックである、左下段の隣接ブロック、左側の隣接ブロック、右上段の隣接ブロック、上段の隣接ブロック、左上段の隣接ブロックのうち少なくとも一つを有することができる。空間的隣接ブロックが視点間インター予測でコーディングされた場合、空間的隣接ブロックから視点間動きベクトルを取得して現テクスチャブロックの視点間動きベクトル８１０とすることができる。または、時間的隣接ブロックが視点間インター予測でコーディングされた場合、時間的隣接ブロックから視点間動きベクトルを取得して現テクスチャブロックの視点間動きベクトル８１０とすることができる。一方、隣接ブロック間の優先順位を考慮して、視点間インター予測でコーディングされたブロックを探索することができる。

第１参照ブロックの視点間動きベクトル８１０を用いて第２参照ブロックの位置を特定し、第２参照ブロックから残差データを取得することができる（Ｓ７３０）。第２参照ブロックは、第１参照ブロックと同一時間の異なる視点のピクチャ内に位置できる。視点間動きベクトル８１０を用いて第２参照ブロックの位置を探索することができる。第１参照ブロックの左上段位置に視点間動きベクトル８１０を加えて第２参照ブロックの左上段位置を特定することができる。

第１参照ブロックの残差データから第２参照ブロックの残差データを減算して残差データ予測値を取得することができる（Ｓ７４０）。

残差データ予測値を用いて、現テクスチャブロックのデコーディングのための視点間残差予測を行うことができる（Ｓ７５０）。

図９は、本発明が適用される一実施例であって、視点間残差予測の例を示すフローチャートである。

図１０は、本発明が適用される一実施例であって、図９に対応する視点間残差予測の例を示す図である。

現テクスチャブロックの視点間動きベクトルを取得することができる（Ｓ９００）。現テクスチャブロックの視点間動きベクトル１０００は、現テクスチャブロックの隣接ブロックから取得することができる。現テクスチャブロックの隣接ブロックのうち、視点間動きベクトルを用いてコーディングされた隣接ブロックがある場合、隣接ブロックの視点間動きベクトルを現テクスチャブロックの視点間動きベクトル１０００として取得することができる。隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを有することができる。空間的隣接ブロックは、現テクスチャブロックの空間的隣接ブロックである、左下段の隣接ブロック、左側の隣接ブロック、右上段の隣接ブロック、上段の隣接ブロック、左上段の隣接ブロックのうち少なくとも一つを有することができる。空間的隣接ブロックが視点間インター予測でコーディングされた場合、空間的隣接ブロックから視点間動きベクトルを取得して現テクスチャブロックの視点間動きベクトル１０００とすることができる。または、時間的隣接ブロックが視点間インター予測でコーディングされた場合、時間的隣接ブロックから視点間動きベクトルを取得して現テクスチャブロックの視点間動きベクトル１０００とすることができる。一方、隣接ブロック間の優先順位を考慮して、視点間インター予測でコーディングされたブロックを探索することができる。

取得された視点間動きベクトルを用いて対応ブロックの位置を探索することができる（Ｓ９１０）。現テクスチャブロックの左上段サンプル位置に、Ｓ９００で取得された視点間動きベクトルを加えて、対応ブロックの左上段サンプル位置を決定することができる。対応ブロックは、現テクスチャブロックと同一時間帯の異なる視点に位置できる。

探索された対応ブロックの参照視点動きベクトル１０１０を取得することができる（Ｓ９２０）。対応ブロックの参照視点動きベクトル１０１０は、対応ブロックの隣接ブロックから取得することができる。対応ブロックの隣接ブロックのうち、時間インター予測を用いてコーディングされた隣接ブロックがある場合、隣接ブロックの時間インター予測に用いられた時間動きベクトルを、対応ブロックの参照視点動きベクトル１０１０として取得することができる。隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを有することができる。空間的隣接ブロックは、対応ブロックの空間的隣接ブロックである、左下段の隣接ブロック、左側の隣接ブロック、右上段の隣接ブロック、上段の隣接ブロック、左上段の隣接ブロックのうち少なくとも一つを有することができる。空間的隣接ブロックが時間インター予測でコーディングされた場合、空間的隣接ブロックから時間動きベクトルを取得して対応ブロックの参照視点動きベクトル１０１０とすることができる。または、時間的隣接ブロックが時間インター予測でコーディングされた場合、時間的隣接ブロックから時間動きベクトルを取得して対応ブロックの参照視点動きベクトル１０１０とすることができる。一方、隣接ブロック間の優先順位を考慮して、時間インター予測でコーディングされたブロックを探索することができる。空間的隣接ブロックを探索して時間的隣接ブロックを探索することができる。または、時間的隣接ブロックを探索して空間的隣接ブロックを探索することができる。空間的隣接ブロック間の優先順位を考慮して、時間インター予測でコーディングされたブロックを探索することができる。空間的隣接ブロック間の優先順位は、左側の隣接ブロック、上段の隣接ブロック、右上段の隣接ブロック、左下段の隣接ブロック、左上段の隣接ブロックの順でもよい。

取得された対応ブロックの参照視点動きベクトル１０１０を用いて、第２参照ブロックの残差データを取得することができる（Ｓ９３０）。対応ブロックの左上段サンプルに参照視点動きベクトル１０１０を加えて第２参照ブロックの左上段を探索することができる。参照視点動きベクトル１０１０を用いて探索された第２参照ブロックから残差データを取得することができる。第２参照ブロックは、対応ブロックと異なる時間帯の同一視点に位置できる。

対応ブロックの参照視点動きベクトル１０１０を現テクスチャブロックの参照視点動きベクトル１０２０として取得することができる（Ｓ９４０）。参照視点の対応ブロックから取得された参照視点動きベクトルを現視点に持ってきて、対応ブロックの参照視点動きベクトル１０１０を現テクスチャブロックの参照視点動きベクトル１０２０として取得することができる。

現テクスチャブロックの参照視点動きベクトル１０２０を用いて、第１参照ブロックの残差データを取得することができる（Ｓ９５０）。現テクスチャブロックの左上段サンプルに参照視点動きベクトル１０２０を加えて第２参照ブロックの左上段を探索することができる。参照視点動きベクトル１０２０を用いて探索された第２参照ブロックから残差データを取得することができる。第１参照ブロックは、現テクスチャブロックと異なる時間帯の同一視点に位置できる。第１参照ブロックは、第２参照ブロックと同一時間帯の異なる視点に位置できる。

第１参照ブロックの残差データから第２参照ブロックの残差データを減算して残差データ予測値を取得することができる（Ｓ９６０）。

残差データ予測値を用いて、現テクスチャブロックのデコーディングのための視点間残差予測を行うことができる（Ｓ９７０）。

以下では、視点間残差予測を適用するための条件について説明する。

図１１は、本発明が適用される一実施例であって、参照視点動きベクトルによる第１参照ブロックの位置に従う視点間残差予測を適用するための条件の例を示す図である。

参照視点から取得された参照視点動きベクトルと現テクスチャブロックの左上段サンプルとを足して、第１参照ブロックの左上段位置がピクチャ内に含まれていると、第１参照ブロックの残差データを取得し、視点間残差予測を適用することができる。参照視点から取得された参照視点動きベクトルと現テクスチャブロックの左上段サンプルとを加えて、第１参照ブロックの左上段位置がピクチャの境界から外れていると、現視点と参照視点との視線差によって見えない領域を示すと判断することができる。したがって、第１参照ブロックの左上段位置がピクチャの境界から外れていると、第１参照ブロックの残差データを０として導出することができる。または、視点間残差予測を適用しなくてもよい。

視点間動きベクトルを用いて探索した対応ブロックがインターモードでコーディングされた場合に視点間残差予測を適用することができる。視点間動きベクトルを用いて探索した対応ブロックがイントラモードでコーディングされた場合は、動きベクトルが存在しないため、視点間残差予測を適用しなくてもよい。

現テクスチャブロックのデプスデータを用いて変位ベクトルを取得し、取得された変位ベクトルと視点間動きベクトルとを比較して、視点間残差予測を適用するか否かを判断することもできる。変位ベクトルと視点間動きベクトルとを比較して、変位ベクトルと視点間動きベクトルとの間のｙ方向成分の差が予め定められた閾値よりも大きい場合、視点間動きベクトルを使用せず、視点間残差予測を適用しなくてもよい。または、視点間動きベクトルのｙ値が大きい場合、実際に変位ベクトルと異なる可能性が高いと判断し、視点間動きベクトルを使用せず、視点間残差予測を適用しなくてもよい。

現テクスチャブロックの隣接ブロックのうち、時間インター予測によってコーディングされた隣接ブロックがある場合、隣接ブロックの動きベクトルを参照視点動きベクトルと比較して視点間残差予測に適用するか否かを判断するこもできる。隣接ブロックの動きベクトルと参照視点動きベクトルとを比較して、それらの値の差が予め定められた閾値よりも小さい場合、参照視点動きベクトルを視点間残差予測に適用するように取得することができる。隣接ブロックの動きベクトルと参照視点動きベクトルとの差が予め定められた閾値よりも大きい場合は、参照視点動きベクトルを視点間残差予測に適用しないように取得することができる。

上記の視点間残差予測を適用するための条件を全てまたは一部を満たす場合、inter_view_residual_prediction_flagを１と取得し、視点間残差予測を適用することができる。

上記視点間残差予測を適用するための条件の全てまたは一部を満たさない場合、inter_view_residual_prediction_flagを０として導出し、視点間残差予測を適用しなくてもよい。

以上で説明した通り、本発明の適用されるデコーディング／エンコーディング装置は、デジタルマルチメディア放送（Digital Multimedia Broadcasting；ＤＭＢ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号およびデータ信号などをデコーディングするために用いることができる。また、マルチメディア放送の送／受信装置は、移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行するためのプログラムとして製作されて、コンピュータが読み取り可能な記録媒体に記憶させることができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータが読み取り可能な記録媒体に記憶させることができる。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータを記憶可能ないずれの種類の記憶装置をも含む。コンピュータが読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、さらに、搬送波（例えば、インターネットを通した伝送の形態）として具現されるものも含む。また、上記のエンコーディング方法によって生成されたビットストリームは、コンピュータが読み取り可能な記録媒体に記憶されてもよく、有／無線通信網を介して伝送されてもよい。

本発明は、ビデオ信号をコーディングするために用いることができる。

Claims (14)

1. 現テクスチャブロックの隣接ブロックから視点間動きベクトルを取得するステップであって、前記隣接ブロックは視点間インター予測を用いてコーディングされた、ステップと、
   前記視点間動きベクトルを用いて対応ブロックの参照視点動きベクトルを取得するステップと、
   前記対応ブロックの参照視点動きベクトルを用いて第１参照ブロックの残差データを取得するステップと、
   前記対応ブロックの参照視点動きベクトルを用いて前記現テクスチャブロックの参照視点動きベクトルを取得するステップと、
   前記現テクスチャブロックの参照視点動きベクトルを用いて第２参照ブロックの残差データを取得するステップと、
   前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとの差を取得することによって残差データ予測値を取得するステップと、
   前記残差データ予測値を用いて前記現テクスチャブロックをデコーディングするステップと、を有し、
   参照視点における前記対応ブロックの位置は、前記現テクスチャブロックの位置および前記視点間動きベクトルを用いて取得され、
   前記参照視点は、前記現テクスチャブロックを有する現視点と異なる視点であり、
   前記第１参照ブロックは、前記参照視点に位置し、前記第２参照ブロックは、前記現視点に位置し、
   前記対応ブロックの前記参照視点動きベクトルは、前記対応ブロックの動き補償予測に用いられた動きベクトルを示す、ことを特徴とするビデオ信号処理方法。
2. 前記第１参照ブロックは、前記対応ブロックと同一の視点の第１参照ピクチャ内に位置し、
   前記第２参照ブロックは、前記現テクスチャブロックと同一の視点の第２参照ピクチャ内に位置することを特徴とする、請求項１に記載のビデオ信号処理方法。
3. 前記現テクスチャブロックのデプス値を用いて変位ベクトルを取得するステップと、
   前記視点間動きベクトルと前記変位ベクトルとを比較するステップと、をさらに有し、
   前記視点間動きベクトルと前記変位ベクトルとの差が閾値以下である場合、前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとを取得することを特徴とする、請求項１に記載のビデオ信号処理方法。
4. 前記現テクスチャブロックの隣接ブロックから時間動きベクトルを取得するステップであって、前記隣接ブロックは時間インター予測でコーディングされた、ステップと、
   前記時間動きベクトルと前記参照視点動きベクトルとを比較するステップと、をさらに有し、
   前記時間動きベクトルと前記参照視点動きベクトルとの差が閾値以下である場合、前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとを取得することを特徴とする、請求項１に記載のビデオ信号処理方法。
5. 前記視点間動きベクトルは、空間的隣接ブロックの視点間動きベクトル、時間的隣接ブロックの視点間動きベクトルおよび参照視点間動きベクトルの少なくとも一つから導出されることを特徴とする、請求項１に記載のビデオ信号処理方法。
6. 前記空間的隣接ブロックの視点間動きベクトルは、前記時間的隣接ブロックの視点間動きベクトルよりも高い優先順位を有し、前記時間的隣接ブロックの視点間動きベクトルは、前記参照視点間動きベクトルよりも高い優先順位を有することを特徴とする、請求項５に記載のビデオ信号処理方法。
7. 前記参照視点間動きベクトルは、前記空間的隣接ブロックおよび前記時間的隣接ブロックのうち少なくとも一つが参照視点動きベクトルで導出された場合、前記参照視点動きベクトルに対応する視点間動きベクトルであることを特徴とする、請求項６に記載のビデオ信号処理方法。
8. 復号ピクチャバッファ部と、
   前記復号ピクチャバッファ部に接続されたインター予測部であって、
   現テクスチャブロックの隣接ブロックから視点間動きベクトルを取得し、前記隣接ブロックは視点間インター予測を用いてコーディングされており、
   前記視点間動きベクトルを用いて対応ブロックの参照視点動きベクトルを取得し、
   前記対応ブロックの参照視点動きベクトルを用いて第１参照ブロックの残差データを取得し、
   前記対応ブロックの参照視点動きベクトルを用いて前記現テクスチャブロックの参照視点動きベクトルを取得し、
   前記現テクスチャブロックの参照視点動きベクトルを用いて第２参照ブロックの残差データを取得し、
   前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとの差を取得することによって残差データ予測値を取得し、
   前記残差データ予測値を用いて前記現テクスチャブロックをデコーディングする、インター予測部と、を有し、
   参照視点における前記対応ブロックの位置は、前記現テクスチャブロックの位置および前記視点間動きベクトルを用いて取得され、
   前記参照視点は、前記現テクスチャブロックを有する現視点と異なる視点であり、
   前記第１参照ブロックは、前記参照視点に位置し、前記第２参照ブロックは、前記現視点に位置し、
   前記対応ブロックの前記参照視点動きベクトルは、前記対応ブロックの動き補償予測に用いられた動きベクトルを示す、ことを特徴とするビデオ信号処理装置。
9. 前記第１参照ブロックは、前記対応ブロックと同一の視点の第１参照ピクチャ内に位置し、
   前記第２参照ブロックは、前記現テクスチャブロックと同一の視点の第２参照ピクチャ内に位置することを特徴とする、請求項８に記載のビデオ信号処理装置。
10. 前記インター予測部は、
    前記現テクスチャブロックのデプス値を用いて変位ベクトルを取得し、
    前記視点間動きベクトルと前記変位ベクトルとを比較するよう構成され、
    前記視点間動きベクトルと前記変位ベクトルとの差が閾値以下である場合、前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとを取得することを特徴とする、請求項８に記載のビデオ信号処理装置。
11. 前記インター予測部は、
    前記現テクスチャブロックの隣接ブロックから時間動きベクトルを取得し、前記隣接ブロックは時間インター予測でコーディングされており、
    前記時間動きベクトルと前記参照視点動きベクトルとを比較し、
    前記時間動きベクトルと前記参照視点動きベクトルとの差が閾値以下である場合、前記第１参照ブロックの残差データと前記第２参照ブロックの残差データとを取得することを特徴とする、請求項８に記載のビデオ信号処理装置。
12. 前記視点間動きベクトルは、空間的隣接ブロックの視点間動きベクトル、時間的隣接ブロックの視点間動きベクトルおよび参照視点間動きベクトルの少なくとも一つから導出されることを特徴とする、請求項８に記載のビデオ信号処理装置。
13. 前記空間的隣接ブロックの視点間動きベクトルは、前記時間的隣接ブロックの視点間動きベクトルよりも高い優先順位を有し、前記時間的隣接ブロックの視点間動きベクトルは、前記参照視点間動きベクトルよりも高い優先順位を有することを特徴とする、請求項１２に記載のビデオ信号処理装置。
14. 前記参照視点間動きベクトルは、前記空間的隣接ブロックおよび前記時間的隣接ブロックのうち少なくとも一つが参照視点動きベクトルで導出された場合、前記参照視点動きベクトルに対応する視点間動きベクトルであることを特徴とする、請求項１３に記載のビデオ信号処理装置。

Images