JP6615777B2 - 多視点ビデオを符号化する方法及びその装置、並びに多視点ビデオを復号化する方法及びその装置 - Google Patents

Description

本発明は多視点ビデオの符号化／復号化に関するもので、より詳細には多視点映像のための動きベクター予測及び残差予測のための方法及びこれを行う装置に関するものである。

従来のＨ．２６４／ＡＶＣに比べて約２倍以上の圧縮効率を有するものに知られている次世代ビデオ圧縮標準技術としてＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行して最近に完了した。

ＨＥＶＣはクアッドツリー（ｑｕａｄｔｒｅｅ）構造を有するコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を定義しており、サンプル適応的オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、デブロッキングフィルター（Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のようなインループフィルターを適用している。また、既存のイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を改善して圧縮符号化効率を向上させている。

一方、ＨＥＶＣに対する拡張（ｅｘｔｅｎｓｉｏｎ）バージョンとしてＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行されており、既存のＭＶＣ（Ｍｕｌｔｉ−Ｖｉｅｗ Ｃｏｄｉｎｇ）を改善してＨ．２６４／ＡＶＣ又はＨＥＶＣに基づく３ＤＶＣ（３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行されている。

国際標準化機構であるＩＳＯ／ＩＥＣのビデオ専門家グループであるＭＰＥＧでは最近３ＤＶＣに対する標準化を始めた。３ＤＶＣに対する標準化は既存の２Ｄ単視点ビデオのための符号化技術（Ｈ．２６４／ＡＶＣ）、２Ｄ多視点ビデオのための符号化技術（ＭＶＣ）及び最近ＪＣＴ−ＶＣで標準化が完了したＨＥＶＣ符号化技術を基にして進行されている。

詳述すると、ＭＰＥＧとＩＴＵ−Ｔは共同で３ＤＶＣに対する標準化を行うことで決定し、ＪＣＴ−３Ｖという新しい共同標準化グループを結成した。ＪＣＴ−３Ｖでは、既存のＭＶＣに深度映像符／復号化のための高級構文定義、Ｈ．２６４／ＡＶＣに基づく新しいカラー映像及び深度映像に対する符／復号化方法である３Ｄ−ＡＶＣ、ＨＥＶＣに基づく多視点カラー映像符／復号化方法、そしてＨＥＶＣに基づく多視点カラー映像及び深度映像に対する符／復号化方法である３Ｄ−ＨＥＶＣを一緒に標準化している。

３ＤＶＣに対する標準化においては多様な技術が論議されているが、これらの技術の共通点は視点（ｖｉｅｗ ｐｏｉｎｔ）間の予測による符／復号化方法を含むことである。すなわち、多視点映像は符号化して伝送しなければならないデータの量が視点の個数に比例して増加するため、視点間依存関係に基づいて多視点映像を効率よく符／復号化する技術が必要というのが実情である。

前記のような問題点を解決するための本発明の目的は、動きベクター予測によって多視点映像のための動きベクターを符号化及び復号化する方法及びこれを行う装置を提供することにある。

前記のような問題点を解決するための本発明の他の目的は、残差予測によって多視点映像のための残差を符号化及び復号化する方法及びこれを行う装置を提供することにある。

前記目的を達成するための本発明の実施例による多視点映像のための復号化方法は、復号化対象である現在ブロック及び前記現在ブロックに対応する対応ブロックに行われた動き予測方法を判断する段階；及び前記判断された動き予測方法によって前記対応ブロックの動きベクターを用いて前記現在ブロックの動きベクター予測値を生成する段階を含む。

ここで、前記動き予測方法を判断する段階は、受信したビットストリームを復号化して映像復号化のためのデータを算出する段階；及び前記映像復号化のためのデータを用いて前記現在ブロック及び前記対応ブロックに行われた動き予測方法を確認する段階を含むことができる。

ここで、前記映像復号化のためのデータを算出する段階は、前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行うことができる。

ここで、前記動き予測方法を確認する段階は、前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて動き予測方法を区分することができる。

ここで、前記動き予測方法を確認する段階は、前記映像復号化のためのデータを用いて前記現在ブロック及び前記対応ブロックのそれぞれに対してロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）、ショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを判断することができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックにロングターム予測が行われた場合、前記対応ブロックの動きベクターを前記現在ブロックの動きベクター予測値に生成することができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックにショートターム予測が行われた場合、前記現在ブロックの画面間参照距離と前記対応ブロックの画面間参照距離の割合を用いて前記対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、前記現在ブロックの動きベクター予測値を生成することができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに視点間予測が行われた場合、前記現在ブロックの視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と前記対応ブロックの視点間参照距離の割合を用いて前記対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、前記現在ブロックの動きベクター予測値を生成することができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに行われた動き予測方法が互いに異なる場合、前記対応ブロックの動きベクターを用いないことができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに行われた動き予測方法が互いに異なって前記対応ブロックの動きベクターを用いない場合、前記現在ブロックの動きベクター予測値を前もって設定されたベクターに生成することができる。

ここで、前記前もって設定されたベクターは（０、０）であってもよい。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックのいずれか一方に視点間予測が行われ、他方にロングターム予測又はショートターム予測が行われた場合、前記対応ブロックの動きベクターを用いないことができる。

ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックのいずれか一方にロングターム予測が行われ、他方にショートターム予測が行われる場合であるか、あるいは前記現在ブロック及び前記対応ブロックのいずれか一方にショートターム予測が行われ、他方にロングターム予測が行われた場合、前記対応ブロックの動きベクターを用いないことができる。

ここで、前記映像復号化のためのデータに含まれた前記現在ブロックの動きベクター差分値に前記現在ブロックの動きベクター予測値を加算して前記現在ブロックの動きベクターを復元する段階をさらに含むことができる。

前記他の目的を達成するための本発明の実施例による多視点映像のための復号化方法は、復号化対象である現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断する段階；及び前記第１参照ブロックの動き予測方法によって前記現在ブロックのための予測残差を生成する段階を含む。

ここで、前記第１参照ブロックに行われた動き予測方法を判断する段階は、受信したビットストリームを復号化して映像復号化のためのデータを算出する段階；及び前記映像復号化のためのデータを用いて前記第１参照ブロックに行われた動き予測方法を確認する段階を含むができる。

ここで、前記映像復号化のためのデータを算出する段階は、前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行うことができる。

ここで、前記第１参照ブロックに行われた動き予測方法を確認する段階は、前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて予測方法を区分することができる。

ここで、前記第１参照ブロックに行われた動き予測方法を確認する段階は、前記映像復号化のためのデータを用いて前記第１参照ブロックに時間動き予測（Ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認することができる。

ここで、前記現在ブロックのための予測残差を生成する段階は、前記現在ブロックが時間動き予測のために参照する第２参照ブロックと前記第１参照ブロックが参照する第３参照ブロック間の差分値を前記予測残差に生成することができる。

ここで、前記第２参照ブロックは、前記現在ブロックが属する現在ピクチュアの参照リストにおいて時間方向に最も近いピクチュアに属することができる。

ここで、前記現在ブロックのための予測残差を生成する段階は、前記第１参照ブロックに時間動き予測が行われたことが確認された場合、前記第３参照ブロックの探索のための動きベクターにスケールファクターを適用してスケールされた動きベクターを生成し、前記スケールされた動きベクターを用いて前記第２参照ブロックを決定することができる。

ここで、前記スケールファクターは、前記第１参照ブロックが属する参照ピクチュアの番号と前記第１参照ブロックが時間動き予測のために参照する前記第３参照ブロックが属するピクチュアの番号の間の差分値と前記現在ブロックが属するピクチュアの番号と前記第２参照ブロックが属するピクチュアの番号の間の差分値に基づいて生成されることができる。

ここで、前記現在ブロックのための予測残差を生成する段階は、前記第１参照ブロックに視点間予測が行われたことが確認された場合、前記第２参照ブロックの探索のための動きベクターとして（０、０）を適用して前記第２参照ブロックを決定することができる。

ここで、前記映像復号化のためのデータに含まれた前記現在ブロックの残差差分値に前記予測残差を加算して前記現在ブロックの残差を復元する段階をさらに含むことができる。

前記目的を達成するための本発明の他の側面による多視点映像を復号化する装置は、復号化対象である現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断し、第１参照ブロックの動き予測方法によって現在ブロックのための予測残差を生成するプロセッサを含む。

前記のような本発明の一実施例による多視点映像のための動きベクター予測方法は、多視点映像を符号化／復号化する過程で動きベクターを効果的に符号化／復号化することができるようにする。すなわち、現在ブロック及び対応ブロックの動きベクター予測方法によって適応的に時間的動きベクターに対する予測を行うことができる。

前記のような本発明の他の実施例による多視点映像のための残差予測方法は、多視点映像を符号化／復号化する過程で残差を効果的に符号化／復号化することができるようにする。すなわち、予測残差を生成する過程で動きベクターをスケーリングするためのスケールファクターの算出に間違いが発生することを防止することができ、これにより多視点映像のための残差予測において間違い又はエラーを防止することができる。

本発明の一実施例による動きベクター予測方法を説明するための概念図である。

本発明の他の実施例による動きベクター予測方法を説明するための概念図である。

本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。

本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。

本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。

本発明の実施例による動きベクター予測方法を説明するためのフローチャートである。

本発明の一実施例による残差予測方法を説明するための概念図である。

本発明の他の実施例による残差予測方法を説明するための概念図である。

本発明のさらに他の実施例による残差予測方法を説明するための概念図である。

本発明の実施例による多視点映像を符号化／復号化する装置を説明するためのブロック図である。

本発明の実施例によって多視点映像を符号化する装置を説明するためのブロック図である。

本発明の実施例によって多視点映像を復号化する装置を説明するためのブロック図である。

本発明は多様な変更を加えることができ、さまざまな実施例を有することができる。そのうち、特定の実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むものに理解しなければならない。それぞれの図面の説明において、類似した参照符号は類似した構成要素に対して用いている。

第１、第２、Ａ、Ｂなどの用語は多様な構成要素を説明するのに使われることができるが、前記構成要素は前記用語に限定されてはいけない。前記用語は一構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の権利範囲を逸脱しない範疇内で第１構成要素は第２構成要素と名付けることができ、これと同様に第２構成要素も第１構成要素と名付けることができる。及び／又はという用語は複数の関連した記載項目の組合せ又は複数の関連した記載項目中のいずれか項目を含む。

ある構成要素が他の構成要素に“連結されて”いるか“接続されて”いると言及されたときには、その他の構成要素に直接的に連結されているかあるいは接続されていることができるが、中間に他の構成要素が存在することもできると理解すべきであろう。一方、ある構成要素が他の構成要素に“直接連結されて”いるか“直接接続されて”いると言及されたときには、中間に他の構成要素が存在しないと理解すべきであろう。

本出願で使用した用語はただ特定の実施例を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明らかに他に指示がない限り、複数の表現を含む。本出願で、“含む”又は“有する”などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものと理解すべきである。

他に定義しない限り、技術的や科学的な用語を含んで、ここで使われるすべての用語は本発明が属する技術分野で通常の知識を持った者によって一般的に理解されるものと同一の意味を持っている。一般的に使われる辞書に定義されているもののような用語は関連技術の文脈で有する意味と一致する意味を有するものに解釈しなければならなく、本出願で明らかに定義しない限り、理想的であるか過度に形式的な意味と解釈されない。

以下に後述する映像符号化装置（Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ Ａｐｐａｒａｔｕｓ）、映像復号化装置（Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ Ａｐｐａｒａｔｕｓ）は個人用コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型パソコン、個人携帯端末機（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型マルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、プレイステーションポータブル（ＰＳＰ：ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末機（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ＴＶ応用サーバー及びサービスサーバーなどのサーバー端末機であることができ、各種の機器などの使用者端末機であるか有無線通信ネットワークと通信を行うための通信モデムなどの通信装置、映像を符号化するか復号化するかあるいは符号化又は復号化のために画面間又は画面内の予測するための各種のプログラムとデータを記憶するためのメモリ、プログラムを実行して演算及び制御するためのマイクロプロセッサなどを備えている多様な装置を意味することができる。

また、映像符号化装置によってビットストリームに符号化された映像は実時間又は非実時間でインターネット、近距離無線通信ネットワーク、無線ＬＡＮネットワーク、Ｗｉｂｒｏネットワーク、移動通信ネットワークなどの有無線通信ネットワークなどを通じて、あるいはケーブル、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの多様な通信インターフェースを通じて映像復号化装置に伝送され、映像復号化装置で復号化されて映像に復元されて再生されることができる。

通常に、動画は一連のピクチュア（Ｐｉｃｔｕｒｅ）からなることができ、各ピクチュアはフレーム又はブロック（Ｂｌｏｃｋ）のような所定の領域に分割されることができる。映像の領域がブロックに分割される場合、分割されたブロックは符号化方法によって大きくイントラブロック（Ｉｎｔｒａ Ｂｌｏｃｋ）及びインターブロック（Ｉｎｔｅｒ Ｂｌｏｃｋ）に分類されることができる。イントラブロックは画面内予測符号化（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ）方式で符号化されるブロックを意味する。画面内予測符号化とは現在符号化を行う現在ピクチュア内で以前に符号化及び復号化されて復元されたブロックの画素を用いて現在ブロックの画素を予測することによって予測ブロックを生成し、現在ブロックの画素との差分値を符号化する方式である。インターブロックは画面間予測符号化（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ）によって符号化されるブロックを意味する。画面間予測符号化とは、一つ以上の過去ピクチュア又は未来ピクチュアを参照して現在ピクチュア内の現在ブロックを予測することによって予測ブロックを生成し、現在ブロックとの差分値を符号化する方式である。ここで、現在ピクチュアを符号化するか復号化するのに参照されるフレームを参照フレーム（Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ）と言う。また、以下に記載した“ピクチュア（ｐｉｃｔｕｒｅ）”という用語は、映像（ｉｍａｇｅ）、フレーム（ｆｒａｍｅ）などの同等な意味を有する他の用語に代替して使われることができることをこの実施例が属する技術分野で通常の知識を持った者であれば理解することができる。また、本発明において、参照となるピクチュアは復元されたピクチュアを意味するというのはこの実施例が属する技術分野で通常の知識を持った者であれば理解することができる。

さらに、ブロック（ｂｌｏｃｋ）という用語はＨＥＶＣ標準のコーディングユニット（ＣＵ）、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）を含む概念であることができる。特に、動き推定はＰＵ単位で行われることができる。

詳述すると、一つのＰＵに対して以前に符号化されたフレームで類似のブロックを探す過程を動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ、ＭＥ）という。ここで、動き推定とは、実際ブロックの動きを意味するものではなく、現在ブロックとの誤差が一番小さいブロックを探す過程を意味することができる。

また、本発明は多視点映像を対象とするビデオコーデックに関する技術であり、動き推定は他の視点（ｖｉｅｗ）に属する映像を参照する過程に適用されることができる。ここで、他の視点（ｖｉｅｗ）に属する映像を参照する過程を視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。

以下、本発明による好適な実施例を添付図面に基づいて詳細に説明する。

動きベクター予測を行って動きベクターを符号化及び復号化する第１実施例を説明し、残差予測を行って残差を符号化及び復号化する第２実施例を説明する。

第１実施例−動きベクター予測によって動きベクター符号化及び復号化する方法

動きベクター予測（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）は、時間的な動きベクターの相関度を用いて時間的動きベクター予測値（ＴＭＶＰ：Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を算出するか、あるいは空間的な動きベクターの相関度を用いて空間的動きベクター予測値（ＳＭＶＰ：Ｓｐａｔｉａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を算出する過程を意味することができ、現在ブロック（Ｃｕｒｒｅｎｔ Ｂｌｏｃｋ）の動きベクターから動きベクター予測値を差分して算出した値を動きベクター差分値（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）と名付けることができる。

図１は本発明の一実施例による動きベクター予測方法を説明するための概念図である。

図１を参照すると、多視点（Ｍｕｌｔｉ−Ｖｉｅｗ）映像は多数の視点（ｖｉｅｗ）で撮影された映像を用いて立体的な画面を具現することができる。視点（ｖｉｅｗ）はＶｉｅｗ ＩＤに区分又は識別されることができる。

詳述すると、多視点映像は基本視点（Ｂａｓｉｃ Ｖｉｅｗ）の映像と少なくとも一つの向上視点（ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｅｗ）又は拡張視点（ｅｘｔｅｎｓｉｏｎ ｖｉｅｗ）の映像を含むことができる。

図１で、Ｖｉｅｗ ＩＤ０は参照となる視点の映像を示すことができ、Ｖｉｅｗ ＩＤ１は現在符号化又は復号化対象となる視点（ｖｉｅｗ）の映像（現在ピクチュア）を含むことができ、Ｖｉｅｗ ＩＤ２は現在ピクチュアが符号化又は復号化される以前に符号化又は復号化が完了した視点（ｖｉｅｗ）の映像（対応ピクチュア）を含むことができる。ここで、対応ブロック（ＰＵ_ｃｏｌ）は現在ブロック（ＰＵ_ｃｕｒｒ）が含まれた現在ピクチュア（Ｐｉｃ_ｃｕｒｒ）と違うピクチュア上で現在ブロック（ＰＵ_ｃｕｒｒ）の位置に相応して位置するブロックを意味することができる。例えば、対応ブロック（ＰＵ_ｃｏｌ）は現在ピクチュア（Ｐｉｃ_ｃｕｒｒ）と違うピクチュア上で現在ブロック（ＰＵ_ｃｕｒｒ）と同一位置に存在する（ｃｏｌｌｏｃａｔｅｄ）ブロックを意味することができる。また、対応ピクチュア（Ｐｉｃ_ｃｏｌ）は対応ブロック（ＰＵ_ｃｏｌ）を含んでいるピクチュアを意味することができる。

現在ピクチュア（Ｐｉｃ_ｃｕｒｒ）は、異なった視点（ｖｉｅｗ）の映像又は同一視点（ｖｉｅｗ）内の他のピクチュアを参照するために動き推定を行うことができる。

本発明において、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）は前もって設定された時間差以上離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照することを意味することができる。よって、前もって設定された時間差未満で離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照する場合をショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）と言える。

現在ブロック（ＰＵ_ｃｕｒｒ）が含まれた現在ピクチュア（Ｐｉｃ_ｃｕｒｒ）と違うピクチュアである対応ピクチュア（Ｐｉｃ_ｃｏｌ）で現在ブロック（ＰＵ_ｃｕｒｒ）に相応して位置する対応ブロック（ＰＵ_ｃｏｌ）の動きベクターをスケーリング（ｓｃａｌｉｎｇ）した結果を現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として活用することができる。

図１は現在ブロック（ＰＵ_ｃｕｒｒ）が他の視点（ｖｉｅｗ）に属するピクチュアを参照し、対応ブロック（ＰＵ_ｃｏｌ）も他の視点（ｖｉｅｗ）に属するピクチュアを参照する場合を示す。すなわち、現在ブロック（ＰＵ_ｃｕｒｒ）と対応ブロック（ＰＵ_ｃｏｌ）は共に視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）を行うことができる。

この場合、現在ブロック（ＰＵ_ｃｕｒｒ）の視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と対応ブロック（ＰＵ_ｃｏｌ）の視点間参照距離が互いに異なることができる。ここで、視点間参照距離はＶｉｅｗ ＩＤの差分値を意味することができる。

図１を見ると、現在ブロック（ＰＵ_ｃｕｒｒ）はＶｉｅｗ ＩＤ１に属するとともにＶｉｅｗ ＩＤ０に属する参照映像（Ｐｉｃ_ｒｅｆ）を参照する。すなわち、現在ブロック（ＰＵ_ｃｕｒｒ）の視点間参照距離はＶｉｅｗ ＩＤの差分値１である。

また、対応ブロック（ＰＵ_ｃｏｌ）はＶｉｅｗ ＩＤ２に属するとともにＶｉｅｗ ＩＤ０に属する参照映像（Ｐｉｃ_ｒｅｆ）を参照する。すなわち、対応ブロック（ＰＵ_ｃｏｌ）の視点間参照距離はＶｉｅｗ ＩＤの差分値２である。

したがって、現在ブロック（ＰＵ_ｃｕｒｒ）の視点間参照距離と対応ブロック（ＰＵ_ｃｏｌ）の視点間参照距離が互いに異なるから、対応ブロック（ＰＵ_ｃｏｌ）の動きベクターをスケーリングすることが必要である。

対応ブロック（ＰＵ_ｃｏｌ）の動きベクターをスケーリングする過程をより詳細に説明すると次のようである。

図１のような場合、現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター（ＭＶ_ｃｕｒｒ）を符号化又は復号化するための現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ）は対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）をスケーリングして得ることができる。

対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）をスケーリングする過程をより詳細に説明すると次のようである。

数学式１で、現在ブロック（ＰＵ_ｃｕｒｒ）の視点間参照距離（Ｄｉｆｆ_ｃｕｒｒ）は現在ブロック（ＰＵ_ｃｕｒｒ）が属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤ_ｃｕｒｒ）と現在ブロック（ＰＵ_ｃｕｒｒ）の参照ブロックが属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤ_ｒｅｆ）の間の差分値となる。

また、対応ブロック（ＰＵ_ｃｏｌ）の視点間参照距離（Ｄｉｆｆ_ｃｏｌ）は対応ブロック（ＰＵ_ｃｏｌ）が属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤ_ｃｏｌ）と対応ブロック（ＰＵ_ｃｏｌ）の参照ブロックが属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤ_{ｃｏｌｒｅｆ}）との間の差分値となる。

したがって、対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）に適用するスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は次の数学式２によって算出することができる。

したがって、現在ブロックの動きベクター予測値（ＭＶＰ_ｃｕｒｒ）は対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）にスケールファクターを掛けることによって生成されることができる。

すなわち、現在ブロックの動きベクター予測値（ＭＶＰ_ｃｕｒｒ）は前記数学式３のように表現できる。

図２は本発明の他の実施例による動きベクター予測方法を説明するための概念図である。

図２は現在ブロック（ＰＵ_ｃｕｒｒ）及び対応ブロック（ＰＵ_ｃｏｌ）にショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合を示す。ここで、ショートターム予測は前もって設定された時間差未満で離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照する場合を意味することができる。

図２のような場合には、現在ブロック（ＰＵ_ｃｕｒｒ）の画面間参照距離と対応ブロック（ＰＵ_ｃｏｌ）の画面間参照距離の割合を用いて対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）をスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）を生成することができる。ここで、画面間参照距離は時間的順序によるピクチュア順序（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を意味することができる。

対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）をスケーリングする過程をより詳細に説明すると次のようである。

数学式４で、現在ブロック（ＰＵ_ｃｕｒｒ）の画面間参照距離（Ｄｉｆｆ_ｃｕｒｒ）は現在ブロック（ＰＵ_ｃｕｒｒ）が属する現在ピクチュアのピクチュア順序（ＰＯＣ_ｃｕｒｒ）と現在ブロック（ＰＵ_ｃｕｒｒ）が参照する参照ブロックが属する参照ピクチュアのピクチュア順序（ＰＯＣ_ｒｅｆ）の間の差分値となる。

また、対応ブロック（ＰＵ_ｃｏｌ）の画面間参照距離（Ｄｉｆｆ_ｃｏｌ）は対応ブロック（ＰＵ_ｃｏｌ）が属する対応ピクチュア（Ｐｉｃ_ｃｏｌ）のピクチュア順序（ＰＯＣ_ｃｏｌ）と対応ブロック（ＰＵ_ｃｏｌ）が参照する参照ブロックが属する参照ピクチュアのピクチュア順序（ＰＯＣ_{ｃｏｌｒｅｆ}）の間の差分値となる。

対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）に適用するスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は次の数学式５によって算出することができる。

したがって、現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）は対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）にスケールファクターを掛けることによって生成されることができる。

すなわち、現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）は前記数学式６のように表現できる。

図３は本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。

図３は現在ブロック（ＰＵ_ｃｕｒｒ）及び対応ブロック（ＰＵ_ｃｏｌ）にロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合を示す。ここで、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）は前もって設定された時間差以上離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照することを意味することができる。

現在ブロック（ＰＵ_ｃｕｒｒ）及び対応ブロック（ＰＵ_ｃｏｌ）にロングターム予測が行われる場合、対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）を現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）から生成することができる。

すなわち、現在ブロック（ＰＵ_ｃｕｒｒ）の予測動きベクター（ＭＶＰ_ｃｕｒｒ）は前記数学式７のように対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）と同一であることができる。

結論的に、図１〜３によって現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）が決定されれば、現在ブロック（ＰＵ_ｃｕｒｒ）のための動きベクター差分値（ＭＶＤ_ｃｕｒｒ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）が決定できる。

すなわち、現在ブロック（ＰＵ_ｃｕｒｒ）のための動きベクター差分値（ＭＶＤ_ｃｕｒｒ）は数学式８のように決定できる。よって、現在ブロックの動きベクター差分値に現在ブロックの動きベクター予測値を加算して現在ブロックの動きベクターを復元することができる。

図４及び図５は本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。

図４は現在ブロック（ＰＵ_ｃｕｒｒ）にショートターム予測が行われ、対応ブロック（ＰＵ_ｃｏｌ）にロングターム予測が行われた場合を示す。

また、図５は現在ブロック（ＰＵ_ｃｕｒｒ）に視点間予測が行われ、対応ブロック（ＰＵ_ｃｏｌ）にロングターム予測が行われた場合を示す。

図４及び図５のように現在ブロック（ＰＵ_ｃｕｒｒ）の動き予測方法と対応ブロック（ＰＵ_ｃｏｌ）の動き予測方法に違う場合には、現在ブロック（ＰＵ_ｃｕｒｒ）の動きベクター予測値（ＭＶＰ_ｃｕｒｒ）を生成するのに対応ブロック（ＰＵ_ｃｏｌ）の動きベクター（ＭＶ_ｃｏｌ）を活用しないことができる。

図６は本発明の実施例による動きベクター予測方法を説明するためのフローチャートである。

図６を参照すると、本発明の実施例による動きベクター予測方法は、現在ブロック及び現在ブロックに対応する対応ブロックに行われる動き予測方法を判断する段階と、判断された動き予測方法によって対応ブロックの動きベクターに基づいて現在ブロックの動きベクター予測値を生成する段階とを含む。

現在ブロック及び対応ブロックのそれぞれに対し、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）、ショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを判断することができる。

すなわち、受信したビットストリームを復号化して映像復号化のためのデータを算出し、映像復号化のためのデータを用いて、現在ブロック及び対応ブロックに行われた動き予測方法を確認することができる。例えば、映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて動き予測方法を区分することができる。ここで、映像復号化のためのデータは、受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行って算出することができる。

現在ブロック及び対応ブロックにロングターム予測が行われる場合、対応ブロックの動きベクターを現在ブロックの予測動きベクターに生成することができる。

また、現在ブロック及び対応ブロックにショートターム予測が行われる場合、現在ブロックの画面間参照距離と対応ブロックの画面間参照距離の割合を用いて対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロックの動きベクター予測値を生成することができる。

また、現在ブロック及び対応ブロックに視点間予測が行われる場合、現在ブロックの視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と対応ブロックの視点間参照距離の割合を用いて対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロックの動きベクター予測値を生成することができる。

しかし、現在ブロック及び対応ブロックのいずれか一方に視点間予測が行われ、他方にロングターム予測又はショートターム予測が行われる場合であるか、あるいは現在ブロック及び対応ブロックのいずれか一方にロングターム予測が行われ、他方にショートターム予測が行われる場合には、現在ブロックの予測動きベクターを算出するのに対応ブロックの動きベクターを活用しないことができる。

また、現在ブロック及び対応ブロックに行われた動き予測方法が互いに異なって対応ブロックの動きベクターを用いない場合、現在ブロックの動きベクター予測値を前もって設定されたベクターに生成することができる。例えば、前もって設定されたベクターは、（０、０）に設定できる。

したがって、現在ブロック（Ｃｕｒｒｅｎ ｔｂｌｏｃｋ）の動き予測方法と対応ブロック（Ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）の動き予測方法の相関関係による現在ブロックの時間的動きベクター予測値（ＴＭＶＰ）は次の表１の通りである。

図６によるフローチャートを説明するに先立ち、それぞれのパラメーターを定義すると次の表２の通りである。

図６を参照して本発明の実施例による多視点のための動きベクター予測方法をより詳細に説明すると次のようである。

Ｓ６１０段階でＬＴ_ｃｕｒｒとＬＴ_ｃｏｌが同一でない場合はＭＶ_ｃｕｒｒが示す参照映像とＭＶ_ｃｏｌが示す参照映像のマーキングが異なる場合であり、例えばＭＶ_{ｃｕｒｒはＳｈｏｒｔ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照し、ＭＶｃｏｌはＬｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照するものである。この場合には、ＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を使うことができない（Ｓ６９０）。}

_{Ｓ６１０段階でＩＶｃｕｒｒ}とＩＶ_ｃｏｌが同一でない場合はＭＶ_ｃｕｒｒとＭＶ_ｃｏｌの特性が異なる場合であり、例えばＭＶ_ｃｕｒｒはＩｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒであり、ＭＶ_ｃｏｌはＴｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒである。この場合には、ＴＭＶＰを使うことができない（Ｓ６９０）。

Ｓ６２０段階でＩＶ_ｃｕｒｒが‘１’である場合、ＭＶ_ｃｕｒｒとＭＶ_ｃｏｌは共にＩｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒである場合であり、Ｖｉｅｗ ＩＤの差分値でスケーリングが可能である（Ｓ６４０）。

Ｓ６２０段階でＩＶ_ｃｕｒｒが‘０’である場合、ＭＶ_ｃｕｒｒとＭＶ_ｃｏｌが共にＴｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒである場合であり、ＰＯＣの差分値でスケーリングが可能である（Ｓ６３０）。

ここで、ＢａｓｅＶｉｅｗＦｌａｇ_ｃｕｒｒが‘０’である場合はＰｉｃ_ｃｕｒｒがベース視点（Ｂａｓｅ ｖｉｅｗ）ではないことを意味することができる。

Ｓ６５０段階でＤｉｆｆ_ｃｕｒｒとＤｉｆｆ_ｃｏｌ値が同一でなく、ＩＶ_ｃｕｒｒが‘１’であるかあるいはＬＴ_ｃｕｒｒが０である場合、ＴＭＶＰ_ｃｕｒｒはＭＶ_ｃｏｌをスケーリングして使用する（Ｓ６７０）。

Ｓ６５０段階でＤｉｆｆ_ｃｕｒｒとＤｉｆｆ_ｃｏｌ値が同一であれば、ＴＭＶＰ_ｃｕｒｒはＭＶ_ｃｏｌに設定することができる（Ｓ６６０）。

Ｓ６５０段階で現在ブロック（ＰＵ_ｃｕｒｒ）と対応ブロック（ＰＵ_ｃｏｌ）が共にｌｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照し、二つともｉｎｔｅｒ−ｖｉｅｗ予測を使わない場合、ＴＭＶＰ_ｃｕｒｒはＭＶ_ｃｏｌに設定することができる（Ｓ６６０）。

第２実施例−残差予測によって残差を符号化及び復号化する方法

残差予測（Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）によって多視点映像を符号化及び復号化することができる。多視点映像のために改善された残差予測（ＡＲＰ：Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）は現在ブロックに対する動き予測によって残差を生成し、生成された残差に対する予測を行って予測残差を生成することを意味することができる。

したがって、残差予測によって残差を符号化及び復号化する方法は、現在ブロックの残差から予測残差を差分して生成した残差差値を符号化及び復号化することを意味することができる。

図７は本発明の一実施例による残差予測方法を説明するための概念図である。

図７を参照すると、現在ブロック（Ｃｕｒｒ）が属する視点（ｖｉｅｗ）を現在視点（Ｃｕｒｒｅｎｔ Ｖｉｅｗ）といい、現在視点によって参照される視点（Ｖｉｅｗ）を参照視点（Ｒｅｆｅｒｅｎｃｅ Ｖｉｅｗ）という。

現在ブロック（Ｃｕｒｒ）が同一視点（Ｖｉｅｗ）上で参照する参照ブロックをＣｕｒｒＲｅｆというとき、残差信号Ｒは次の数学式９によって算出することができる。ここで、現在ブロック（Ｃｕｒｒ）の動きベクターをＭＶＣｕｒｒといえる。

すなわち、次の数学式９を参照すると、現在ブロック（Ｃｕｒｒ）の残差信号Ｒは現在ブロック（Ｃｕｒｒ）から参照ブロック（ＣｕｒｒＲｅｆ）を差分して算出することができる。

残差信号Ｒは視点間の類似性を用いて重複性をもっと除去することができる。現在ブロック（Ｃｕｒｒ）がディスパリティベクター（ＤＶ_{ｄｅｒｉｖｅｄ}：Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）を用いて参照視点上で現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）を探索することができる。

現在ブロック（Ｃｕｒｒ）の動きベクターであるＭＶ_ｃｕｒｒをスケーリングして生成したＭＶ_{ｓｃａｌｅｄ}を用いて現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を探索することができる。

この場合、対応ブロック（Ｂａｓｅ）が参照する参照ブロック（ＢａｓｅＲｅｆ）が属するピクチュアは現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）が属するピクチュアのための参照ピクチュアリスト（Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）の中で対応ブロック（Ｂａｓｅ）が属するピクチュアと同一番号を有するピクチュアを除き、対応ブロック（Ｂａｓｅ）が属するピクチュアとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差が最も小さなピクチュアを意味することができる。

ＭＶ_{ｓｃａｌｅｄ}は次の数学式１０及び数学式１１によって算出することができる。

数学式１０で、現在ブロック（Ｃｕｒｒ）の時間方向の参照距離はＤｉｆｆＰＯＣ_ｃｕｒｒと表現することができれば、ＤｉｆｆＰＯＣ_ｃｕｒｒは現在ブロック（Ｃｕｒｒ）が属するピクチュア番号（ＰＯＣ_ｃｕｒｒ）と現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＣｕｒｒＲｅｆ）が属するピクチュア番号（ＰＯＣ_{ｃｕｒｒＲｅｆ}）の間の差分値から算出することができる。

また、対応ブロック（Ｂａｓｅ）の時間方向の参照距離はＤｉｆｆＰＯＣ_Ｂａｓｅと表現することができ、ＤｉｆｆＰＯＣ_Ｂａｓｅは対応ブロック（Ｂａｓｅ）が属するピクチュア番号（ＰＯＣ_Ｂａｓｅ）と対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）が属するピクチュア番号（ＰＯＣ_{ＢａｓｅＲｅｆ}）の間の差分値から算出することができる。

現在ブロック（Ｃｕｒｒ）の動きベクター（ＭＶ_Ｃｕｒｒ）をスケーリングするスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は現在ブロック（Ｃｕｒｒ）の時間方向の参照距離と対応ブロック（Ｂａｓｅ）の時間方向の参照距離の割合で示すことができる。

したがって、ＭＶ_{Ｓｃａｌｅｄ}は数学式１１のように現在ブロック（Ｃｕｒｒ）の動きベクターであるＭＶ_Ｃｕｒｒをスケールファクターでスケーリングして生成することができ、対応ブロック（Ｂａｓｅ）はＭＶＳｃａｌｅｄを用いて対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を探索することができる。

現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’は数学式１２によって算出することができる。すなわち、予測残差信号Ｒ’は対応ブロック（Ｂａｓｅ）から対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を差分して算出することができる。

また、加重値（ｗ）を対応ブロック（Ｂａｓｅ）又は参照ブロック（ＢａｓｅＲｅｆ）に適用して予測残差信号Ｒ’を算出するか、あるいは数学式１２による予測残差信号Ｒ’が前もって設定された臨界値（ω）より大きくなるように設定されることもできる。

したがって、残差差分値は数学式９による現在ブロック（Ｃｕｒｒ）の残差信号Ｒから数学式１２による現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’を差分して算出することができ、これを数学式１３のように最終残差（Ｒ_{Ｆｉｎａｌ}）と名付けることができる。

また、図７及び数学式９〜１３による残差予測をＴｅｍｐｏｒａｌ ＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。

図８は本発明の他の実施例による残差予測方法を説明するための概念図である。

図８を参照すると、現在ブロック（Ｃｕｒｒ）が他の視点（Ｖｉｅｗ）上で参照する参照ブロックをＩｖＲｅｆというとき、残差信号Ｒは次の数学式１４によって算出することができる。ここで、現在ブロック（Ｃｕｒｒ）の動きベクターをＭＶ_Ｃｕｒｒということができ、ＭＶ_Ｃｕｒｒによって視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）が行われることができる。

すなわち、次の数学式１４を参照すると、現在ブロック（Ｃｕｒｒ）の残差信号Ｒは現在ブロック（Ｃｕｒｒ）から参照ブロック（ＩｖＲｅｆ）を差分して算出することができる。

数学式１４を参照すると、残差信号Ｒは時間間の類似性を用いて重複性をもっと除去することができる。現在ブロック（Ｃｕｒｒ）が動きベクター（ＭＶ_Ｃｕｒｒ）を用いて参照視点上で現在ブロック（Ｃｕｒｒ）が視点間（ｉｎｔｅｒ−ｖｉｅｗ）参照する参照ブロック（ＩｖＲｅｆ）を探索することができる。

現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）はｄＴＭＶ_Ｂａｓｅを用いて時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）を探索することができる。

また、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が使用するｄＴＭＶ_Ｂａｓｅをスケーリングして生成したｄＭＶ_{Ｓｃａｌｅｄ}を用いて現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）を探索することができる。

この場合、現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）が属するピクチュアは現在ブロック（Ｃｕｒｒ）が属するピクチュアのための参照ピクチュアリスト（Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）の中で現在ブロック（Ｃｕｒｒ）が属するピクチュアと同一番号を有するピクチュアを除き、現在ブロック（Ｃｕｒｒ）が属するピクチュアとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差が最も小さなピクチュアを意味することができる。

ＭＶ_{Ｓｃａｌｅｄ}は次の数学式１５及び数学式１６を用いて算出することができる。

数学式１５で、現在ブロック（Ｃｕｒｒ）の時間方向の参照距離はＤｉｆｆＰＯＣ_Ｃｕｒｒと表現することができ、ＤｉｆｆＰＯＣ_Ｃｕｒｒは現在ブロック（Ｃｕｒｒ）が属するピクチュア番号（ＰＯＣ_Ｃｕｒｒ）と現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）が属するピクチュア番号（ＰＯＣ_ＴＲｅｆ）の間の差分値から算出することができる。

また、参照ブロック（ＩｖＲｅｆ）の時間方向の参照距離はＤｉｆｆＰＯＣ_Ｂａｓｅで表現することができ、ＤｉｆｆＰＯＣ_Ｂａｓｅは参照ブロック（ＩｖＲｅｆ）が属するピクチュア番号（ＰＯＣ_{ＩｖＲｅｆ}）と参照ブロック（ＩｖＲｅｆ）が時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）が属するピクチュア番号（ＰＯＣ_{ＩｖＴＲｅｆ}）の間の差分値として算出することができる。

参照ブロック（ＩｖＲｅｆ）の動きベクター（ｄＴＭＶ_Ｂａｓｅ）をスケーリングするスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は現在ブロック（Ｃｕｒｒ）の時間方向の参照距離と対応ブロック（Ｂａｓｅ）の時間方向の参照距離の割合で示すことができる。

したがって、ｄＴＭＶ_{Ｓｃａｌｅｄ}は数学式１６のように参照ブロック（ＩｖＲｅｆ）の動きベクターであるｄＴＭＶ_Ｂａｓｅをスケールファクターでスケーリングして生成することができ、現在ブロック（Ｃｕｒｒ）はｄＴＭＶ_{Ｓｃａｌｅｄ}を用いて現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）を探索することができる。

現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’は数学式１７によって算出することができる。すなわち、予測残差信号Ｒ’は現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）から現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）を差分して算出することができる。

また、加重値（ｗ）を参照ブロック（ＴＲｅｆ又はＩｖＴＲｅｆ）に適用して予測残差信号Ｒ’を算出するか、あるいは数学式１７による予測残差信号Ｒ’が前もって設定された臨界値（ω）より大きくなるように設定されることもできる。

したがって、残差差分値は数学式１４による現在ブロック（Ｃｕｒｒ）の残差信号Ｒから数学式１７による現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’を差分して算出することができ、これを数学式１８のように最終残差（Ｒ_{Ｆｉｎａｌ}）と名付けることができる。

また、図８及び数学式１４〜１８による残差予測をＩｎｔｅｒ−ｖｉｅｗ ＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。

図９は本発明のさらに他の実施例による残差予測方法を説明するための概念図である。

図９を参照すると、現在ブロック（Ｃｕｒｒ）が動きベクター（ＭＶ_Ｃｕｒｒ）を用いて参照視点（Ｖｉｅｗ ＩＤ１）上で現在ブロック（Ｃｕｒｒ）が視点間（ｉｎｔｅｒ−ｖｉｅｗ）参照する参照ブロック（ＩｖＲｅｆ）を探索することができる。

図９の場合には、図８の場合とは異なり、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）はＭＶＲｅｆを用いて他の視点（ｖｉｅｗ）上で参照する参照ブロック（ＩｖＴＲｅｆ）を探索することができる。

この場合、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が使用するＭＶ_ＲｅｆをスケーリングしてＭＶ_{Ｓｃａｌｅｄ}を生成するのに問題が発生する。すなわち、ＭＶ_Ｒｅｆは視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）に使われる動きベクターであることに対し、ＭＶ_{Ｓｃａｌｅｄ}は時間方向に動き予測を行うベクターであるからである。

より詳細に、ＭＶ_Ｒｅｆは視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）に使われる動きベクターであるから、数学式１５において分母が０となってスケールファクターが無限大に算出される問題点が発生することができる。

したがって、数学式１９を用いてＭＶ_{Ｓｃａｌｅｄ}を算出する過程で間違い又はエラーが発生することができるため、ＭＶ_{Ｓｃａｌｅｄ}を（０、０）に設定して間違い又はエラーの発生を解決することができる。

図８及び図９で、ＩｖＲｅｆを第１参照ブロックに、ＴＲｅｆを第２参照ブロックに、ＩｖＴＲｅｆを第３参照ブロックにして説明すると次のようである。

現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断する段階と、第１参照ブロックの動き予測方法によって現在ブロックのための予測残差を生成する段階とを含む。

第１参照ブロックに時間動き予測（Ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認することができる。

現在ブロックが時間動き予測のために参照する第２参照ブロックと第１参照ブロックが参照する第３参照ブロック間の差分値を予測残差として生成することができる。ここで、第２参照ブロックは、現在ブロックが属する現在ピクチュアの参照リストにおいて時間方向に最も近いピクチュアに属することができる。

第１参照ブロックに時間動き予測が行われたことが確認された場合、第３参照ブロックの探索のための動きベクターにスケールファクターを適用してスケールされた動きベクターを生成し、スケールされた動きベクターを用いて第２参照ブロックを決定することができる。ここで、スケールファクターは、第１参照ブロックが属する参照ピクチュアの番号と第１参照ブロックが時間動き予測のために参照する第３参照ブロックが属するピクチュアの番号間の差分値と現在ブロックが属するピクチュアの番号と第２参照ブロックが属するピクチュアの番号との間の差分値に基づいて生成することができる。

また、第１参照ブロックに視点間予測が行われたことが確認された場合、第２参照ブロックの探索のための動きベクターとして（０、０）を適用して第２参照ブロックを決定することができる。

図１０は本発明の実施例による多視点映像を符号化／復号化する装置を説明するためのブロック図である。

図１０を参照すると、本発明の実施例によって多視点映像を符号化／復号化するシステムは、多視点映像符号化装置１０及び多視点映像復号化装置２０を含んでなる。

多視点映像符号化装置１０は、基本視点映像を符号化するための基本視点映像符号化装置１１及び拡張視点映像を符号化するための拡張視点映像符号化装置１２、１３を含むことができる。ここで、基本視点映像は２Ｄ単視点映像を提供するための映像を意味し、拡張視点映像は３Ｄのような拡張した視点の映像を提供するための映像を意味することができる。

例えば、多視点映像符号化装置１０は、基本視点映像符号化装置１１、第１拡張視点映像符号化装置１２及び第２拡張視点映像符号化装置１３を含んでなることができる。また、拡張視点映像符号化装置は、第１拡張視点映像符号化装置１２や第２拡張視点映像符号化装置１３に限定されなく、視点（ｖｉｅｗ ｐｏｉｎｔ）の数によって数が増加することができる。その上、基本視点映像符号化装置１１及び拡張視点映像符号化装置１２、１３は、カラー映像と深度映像（Ｄｅｐｔｈ ｍａｐ）を区分して符号化を行うことができる。

多視点映像符号化装置１０は、多視点映像を符号化したビットストリームを多視点映像復号化装置２０に伝送することができる。

ビットストリームを受信した多視点映像復号化装置２０は、ビットストリーム抽出部２９、基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３を含むことができる。

例えば、多視点映像復号化装置２０は、基本視点映像復号化装置２１、第１拡張視点映像復号化装置２２及び第２拡張視点映像復号化装置２３を含んでなることができ、拡張視点映像復号化装置は視点の数によって数が増加することができるのは言うまでもない。

詳述すると、ビットストリーム抽出部２９はビットストリームを視点（ｖｉｅｗ ｐｏｉｎｔ）別に区分することができ、区分されたビットストリームは基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３にそれぞれ伝達されることができる。

本発明の実施例によれば、復号化された基本視点映像は既存の２Ｄディスプレイ装置で表示される逆方向適合性を有することができる。また、復号化された基本視点映像及び復号化された少なくとも一つの拡張視点映像はステレオディスプレイ装置又は多視点ディスプレイ装置で表示されることができる。

一方、入力されたカメラ位置情報などはビットストリームによってステレオディスプレイ装置又は多視点ディスプレイ装置に補助情報として伝送されることができる。

図１１は本発明の実施例によって多視点映像を符号化する装置を説明するためのブロック図である。

図１１を参照すると、本発明の実施例による多視点映像符号化装置１０は、基本視点映像符号化装置１１と拡張視点映像符号化装置１２を含んでなることができる。ただ、視点によって拡張視点映像符号化装置がさらに付け加えられることができる。

基本視点映像符号化装置１１と拡張視点映像符号化装置１２のそれぞれは、減算部１１０、１１０−１、変換部１２０、１２０−１、量子化部１３０、１３０−１、逆量子化部１３１、１３１−１、逆変換部１２１、１２１−１、エントロピー符号化部１４０、１４０−１、加算部１５０、１５０−１、インループフィルター部１６０、１６０−１、フレームメモリ１７０、１７０−１、イントラ予測部１８０、１８０−１及び動き補償部１９０、１９０−１を含む。

減算部１１０、１１０−１は、提供された入力映像である符号化すべき対象映像（現在映像）からイントラ予測又はインター予測によって生成された予測映像を引き算することによって現在映像と予測映像間の残差映像（ｒｅｓｉｄｕｅ ｉｍａｇｅ）を生成する。

変換部１２０、１２０−１は、減算部１１０、１１０−１によって生成された残差映像を空間領域から周波数領域に変換する機能をする。ここで、変換部１２０、１２０−１は、ハダマール変換、離散余弦変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などのように空間軸の画像信号を周波数軸に変換する技法を用いて残差映像を周波数領域に変換することができる。

量子化部１３０、１３０−１は、変換部１２０、１２０−１から提供される変換されたデータ（周波数係数）に対して量子化を行う。すなわち、量子化部１３０、１３０−１は、変換部１２０、１２０−１によって変換されたデータである周波数係数を量子化ステップサイズ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｓｔｅｐ−Ｓｉｚｅ）に分けて近似化して量子化結果値を算出する。

エントロピー符号化部１４０、１４０−１は、量子化部１３０、１３０−１によって算出された量子化結果値をエントロピー符号化することによってビットストリームを生成する。また、エントロピー符号化部１４０、１４０−１は、量子化部１３０、１３０−１によって算出された量子化結果値をＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）又はＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）技法などでエントロピー符号化することができ、量子化結果値以外に映像を復号化するのに必要な情報をエントロピー符号化することができる。

逆量子化部１３１、１３１−１は、量子化部１３０、１３０−１によって算出された量子化結果値を逆量子化する。すなわち、逆量子化部１３１、１３１−１は、量子化結果値から周波数領域の値（周波数係数）を復元する。

逆変換部１２１、１２１−１は、逆量子化部１３１、１３１−１に提供された周波数領域の値（周波数係数）を周波数領域から空間領域に変換することによって残差映像を復元し、加算部１５０、１５０−１はイントラ予測又はインター予測によって生成された予測映像に逆変換部１２１、１２１−１によって復元された残差映像を加算することによって入力映像の復元映像を生成してフレームメモリ１７０、１７０−１に記憶する。

イントラ予測部１８０、１８０−１はイントラ予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）を行い、動き補償部１９０、１９０−１はインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）のための動きベクターを補償する。ここで、イントラ予測部１８０、１８０−１と動き補償部１９０、１９０−１を予測部と通称することができる。

本発明の実施例によれば、拡張視点映像符号化装置１２に含まれた予測部１８０−１、１９０−１は、参照視点の参照ブロックに対する予測遂行情報を用いて拡張視点の現在ブロックに対する予測を行うことができる。ここで、参照視点は拡張視点によって参照される視点で、基本視点を意味することができる。また、予測遂行情報は参照ブロックに対する予測モード情報及び動き情報を含むことができる。

インループフィルター部１６０、１６０−１は復元された映像に対するフィルタリングを行うもので、デブロッキングフィルター（ＤＦ：Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）、サンプル適応的オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）を含んでなることができる。

マルチプレクサー３３０は、符号化された基本視点映像に対するビットストリームと符号化された拡張視点映像に対するビットストリームを受信して拡張されたビットストリームを出力することができる。

特に、本発明の実施例による多視点映像符号化装置１０は、視点間予測部３１０及び残差予測部３２０をさらに含むことができる。

図１１で、視点間予測部３１０及び残差予測部３２０は基本視点映像符号化装置１１と拡張視点映像符号化装置１２の間に位置するものとして示されているが、その構造又は位置に限定されるものではない。

視点間予測部３１０は動き補償部１９０、１９０−１と連動して動作することができ、上述した第１実施例による動きベクター予測によって多視点映像のための動きベクターを符号化することができる。

また、残差予測部３２０は動き補償部１９０、１９０−１及びイントラ予測部１８０、１８０−１と連動して動作することができ、上述した第２実施例による残差予測によって多視点映像のための残差を符号化することができる。

図１２は本発明の実施例によって多視点映像を復号化する装置を説明するためのブロック図である。

図１２を参照すると、本発明の実施例による多視点映像復号化装置２０は、ビットストリーム抽出部２９、基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３を含んでなることができる。

ビットストリーム抽出部２９はビットストリームを視点（ｖｉｅｗ ｐｏｉｎｔ）別に区分することができ、区分されたビットストリームは基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３にそれぞれ伝達されることができる。

基本視点映像復号化装置２１と拡張視点映像復号化装置２２、２３のそれぞれは、エントロピー復号化部２１０、２１０−１、逆量子化部２２０、２２０−１、逆変換部２３０、２３０−２、加算部２４０、２４０−１、インループフィルター部２５０、２５０−１、フレームメモリ２６０、２６０−１、イントラ予測部２７０、２７０−１及び動き補償部２８０、２８０−１を含むことができる。ここで、イントラ予測部２７０、２７０−１及び動き補償部２８０、２８０−１は予測部と通称することができる。

特に、本発明の実施例による多視点映像復号化装置２０は、視点間予測部４１０及び残差予測部４２０をさらに含むことができる。

図１２で、視点間予測部４１０及び残差予測部４２０は基本視点映像復号化装置２１と拡張視点映像復号化装置２２の間に位置するものとして示されたが、その構造又は位置に限定されるものではない。

視点間予測部４１０は動き補償部２９０、２９０−１と連動して動作することができ、上述した第１実施例による動きベクター予測によって多視点映像のための動きベクターを復号化することができる。

また、残差予測部４２０は動き補償部２９０、２９０−１及びイントラ予測部２８０、２８０−１と連動して動作することができ、上述した第２実施例による残差予測によって多視点映像のための残差を復号化することができる。

一方、多視点映像復号化装置２０の各構成要素は図１１の多視点映像符号化装置１０の構成要素とそれぞれ対応して理解されることができるので、詳細な説明は省略する。

また、上述した本発明の実施例による多視点映像符号化装置１０及び多視点映像復号化装置２０の各構成部は説明の便宜上それぞれの構成部として並べて含むもので、各構成部の少なくとも二つが合わせられて一つのプロセッサになるか、一つの構成部が複数のプロセッサに分けられて機能を果たすことができ、このような各構成部の統合及び分離された実施例の場合も、本発明の本質から逸脱しない限り、本発明の権利範囲に含まれる。

そして、本発明による多視点映像符号化装置１０及び多視点映像復号化装置２０は、コンピュータが読める記録媒体にコンピュータが読めるプログラム又はコードから具現することが可能である。コンピュータが読める記録媒体はコンピュータシステムによって読められるデータが格納されるすべての種類の記録装置を含む。また、コンピュータが読める記録媒体はネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータで読めるプログラム又はコードが格納されて実行されることができる。

上述した本発明の第１実施例による多視点映像のための動きベクター予測方法は、多視点映像を符号化／復号化する過程で動きベクターを効果的に符号化／復号化することができるようにする。すなわち、本発明によれば、現在ブロック及び対応ブロックの動きベクター予測方法によって適応的に時間的動きベクターに対する予測を行うことができる。

上述した本発明の第２実施例による多視点映像のための残差予測方法は、多視点映像を符号化／復号化する過程で残差を効果的に符号化／復号化することができるようにする。すなわち、本発明によれば、予測残差を生成する過程で動きベクターをスケーリングするためのスケールファクターの算出に間違いが発生することを防止することができ、これにより、多視点映像のための残差予測において間違い又はエラーを防止することができる。

以上では本発明の好適な実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範疇内で本発明を多様に修正及び変更させることができることが理解可能であろう。

Claims (6)

1. 多視点映像に対する復号化方法であって、
   復号化対象である現在ブロックによって参照される第１参照ブロックの予測方法を判断する段階；
   前記第１参照ブロックの前記予測方法によって前記現在ブロックのための予測残差を生成する段階；及び
   前記予測残差と、映像復号化のためのデータに含まれた前記現在ブロックの残差差分値とを用いて、前記現在ブロックを復元する段階；
   を含み、
   前記現在ブロックのための前記予測残差を生成する前記段階は、前記現在ブロックの時間的予測のために参照される第２参照ブロックと前記第１参照ブロックの時間的予測又は視点間予測のために参照される第３参照ブロック間の差分値に基づいて前記予測残差を生成する段階を備え、
   前記現在ブロックのための前記予測残差を生成する前記段階は、前記第１参照ブロックに前記視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）が行われたことが確認されたとき、前記第２参照ブロックのために決定することに用いられる動きベクターとして（０、０）を適用することにより前記第２参照ブロックを決定する段階を備えることを特徴とする多視点映像復号化方法。
2. 前記予測方法を判断する前記段階は、
   受信したビットストリームを復号化して映像復号化のための前記データを算出する段階；及び
   前記映像復号化のためのデータを用いて前記第１参照ブロックの前記予測方法を確認する段階を含む、請求項１に記載の多視点映像復号化方法。
3. 前記映像復号化のためのデータを算出する前記段階は、
   前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換のうちの少なくとも一つを行う段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
4. 前記予測方法を判断する前記段階は、
   前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて前記予測方法を区分する段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
5. 前記予測方法を確認する前記段階は、
   前記映像復号化のためのデータに基づいて前記第１参照ブロックに時間的予測（Ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認する段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
6. 前記第１参照ブロックは、前記現在ブロックの視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照されるブロックであることを特徴とする、請求項１に記載の方法。