JP6196372B2 - ビデオ信号処理方法及び装置 - Google Patents

Description

本発明は、ビデオ信号のコーディング方法及び装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明は、現在ブロックの動きベクトル候補リストに含まれる視点間動きベクトルを、隣接視点のデプス値を用いて獲得することを特徴とする。

また、本発明は、現在ブロックの動きベクトル候補リストに含まれる視点間動きベクトルを、現在ブロックが含まれる最大コーディングユニットに隣接する最大コーディングユニットから獲得することを特徴とする。

また、本発明は、現在ブロックの動きベクトル候補リストに含まれる視点間動きベクトルを、視点間動きベクトル修正情報を用いて獲得することを特徴とする。

本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。

本発明は、正確な視点間動きベクトルを獲得し、視点間動きベクトルを用いてインター予測を行うことによってインター予測の正確度を高めることができる。

本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。

本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。 本発明が適用される一実施例であって、ビデオデコーダの概略的なブロック図である。 本発明が適用される一実施例であって、現在ブロックがデコーディングされる方法の一例に対するフローチャートである。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第１実施例及び第２実施例に対するフローチャートである。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第１実施例に対して示した図である。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第２実施例に対して示した図である。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第３実施例に対して示した図である。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第４実施例に対するフローチャートである。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第４実施例に対して示した図である。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第６実施例に対するフローチャートである。 本発明が適用される一実施例であって、視点間動きベクトルが獲得される第６実施例であって、臨時視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得する一例に対して示した図である。

本発明は、予め設定された動きベクトルを用いて参照視点ブロックを獲得し、参照視点ブロックに対応する参照ブロックのデプス値を獲得し、参照デプスブロックの少なくとも１つのデプス値を用いて現在ブロックの視点間動きベクトルを獲得し、視点間動きベクトルを用いて現在ブロックをデコーディングするビデオ信号処理方法及び装置である。

また、本発明は、予め設定された動きベクトルはゼロベクトルであることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、少なくとも１つのデプス値は、参照デプスブロックの左側上段ピクセルのデプス値、左側下段ピクセルのデプス値、右側上段ピクセルのデプス値及び右側下段ピクセルのデプス値のうち最も大きいデプス値であることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、視点間動きベクトルが含まれた動きベクトル候補リストを生成し、動きベクトル候補リストを用いて現在ブロックの予測値を獲得するビデオ信号処理方法及び装置である。

また、本発明は、動きベクトルインデックスを獲得し、現在ブロックの予測値は、動きベクトルインデックスをさらに用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内におけるデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書におけるコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図を示す。

本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。放送受信機は、チューナー１００、復調／チャネルデコーダ１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダ１０８、ビデオデコーダ１１０，ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッタ１２０及びディスプレイ部１２２を含む。

チューナー１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。復調／チャネルデコーダ１０２は、チューナー１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳとオーディオＰＥＳに対してパケットを解除し、ビデオＥＳとオーディオＥＳを復元する。オーディオデコーダ１０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を介して出力される。ビデオデコーダ１１０は、ビデオＥＳをデコーディングして元の映像を復元する。オーディオデコーダ１０８及びビデオデコーダ１１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体の透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び／又は付加情報がトランスポート逆多重化部１０４によって分離されてもよい。

ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパーシングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

また、３Ｄレンダリング部１１６は、復元された映像、及び復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、３Ｄレンダリング部１１６がビデオデコーダ１１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、３Ｄレンダリング部１１６は、ビデオデコーダ１１０に含まれて行われてもよい。

フォーマッタ１２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び３Ｄレンダリング部１１６によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部１２２を介して３Ｄ映像が表示されるようにする。ここで、３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ１２０による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。

上記で説明したように、３Ｄ映像を生成するために、デプス情報は３Ｄレンダリング部１１６で利用されているが、他の実施例として、ビデオデコーダ１１０で利用されてもよい。以下では、ビデオデコーダ１１０でデプス情報を利用する様々な実施例を説明する。

図２は、本発明が適用される実施例であって、ビデオデコーダの概略的なブロック図を示す。

図２を参照すると、ビデオデコーダ１１０は、大きくエントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、デブロッキングフィルター部２４０、復号ピクチャバッファ部２５０、インター予測部２６０及びイントラ予測部２７０を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、図２では、カラーピクチャデータとデプスピクチャデータを区分して表示したが、これは、別個のビットストリームを意味することができ、または１つのビットストリーム内でデータの流れのみを区分したものと見ることもできる。すなわち、カラーピクチャデータとデプスピクチャデータは、１つのビットストリーム、または別個のビットストリームで伝送されてもよく、図２では、データの流れを示しているだけで、１つのデコーダ内で全て行われるものに限定されない。

まず、受信されたデプスビットストリーム２００を復号するために、ＮＡＬ単位でパーシングを行う。このとき、ＮＡＬヘッダー領域、ＮＡＬヘッダーの拡張領域、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）、シーケンスヘッダーの拡張領域、ピクチャヘッダー領域（例えば、ピクチャパラメータセット）、ピクチャヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングは、別個のコーデックが利用されてもよいが、既存のコーデックとの互換をなす場合であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）またはシーケンスヘッダーの拡張領域でデプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに対する属性情報を追加することができる。

パーシングされたデプスビットストリーム２００は、エントロピーデコーディング部２１０を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部２２０では、受信された量子化された値に一定の定数を乗じて変換された係数値を獲得し、逆変換部２３０では、係数値を逆変換してデプスピクチャのデプス情報を復元するようになる。イントラ予測部２７０では、現在デプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルター部２４０では、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界の強さ（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｔｈ）及び境界の周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経たデプスピクチャは、出力されたり、または参照ピクチャとして利用するために復号ピクチャバッファ部２５０に格納されたりする。

復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）２５０では、画面間予測を行うために、以前にコーディングされたデプスピクチャを格納したり開放したりする役割などを行う。このとき、復号ピクチャバッファ部２５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いる。したがって、デプスコーディングにおいて、以前にコーディングされたピクチャの中には現在デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ_ｎｕｍとＰＯＣだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。

また、復号ピクチャバッファ部２５０は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に対する情報を用いることができる。例えば、デプス−ビュー参照情報（ｄｅｐｔｈ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全体デプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。

復号ピクチャバッファ部２５０は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ Ｍｅｔｈｏｄ）及び移動ウィンドウ方法（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｍｅｔｈｏｄ）を用いることができる。これは、参照ピクチャと非参照ピクチャのメモリを１つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャなどと区別するために別途の表示でマーキングされてもよく、マーキング過程で各デプスピクチャを識別させるための情報が用いられてもよい。このような過程を通じて管理される参照ピクチャは、インター予測部２６０においてデプスコーディングのために用いられてもよい。

図２を参照すると、インター予測部２６０は、動き補償部２６１、仮想視点合成部２６２及びデプスピクチャ生成部２６３を含むことができる。

動き補償部２６１では、エントロピーデコーディング部２１０から伝送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、現在ブロックの動きベクトル予測値を獲得する。動きベクトル予測値及びビデオ信号から抽出される差分ベクトルを用いて、現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われてもよく、または複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現在デプスピクチャが異なる視点にあるデプスピクチャを参照することになる場合、復号ピクチャバッファ部２５０に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに対する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。

また、仮想視点合成部（Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｕｎｉｔ）２６２は、現在カラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるために又は所望の特定の視点のカラーピクチャを用いるために、カラーピクチャの視点を示す視点識別情報を用いることができる。仮想視点のカラーピクチャを生成する場合、仮想視点のカラーピクチャを生成するか否かを示すフラグ情報を定義することができる。フラグ情報が、仮想視点のカラーピクチャを生成することを示す場合、視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。仮想視点合成部２６２を介して獲得された仮想視点のカラーピクチャはレファレンスピクチャとして用いられてもよく、この場合、仮想視点のカラーピクチャにも視点識別情報を割り当てることができることは勿論である。

他の実施例として、仮想視点合成部２６２は、現在デプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導され得る。例えば、対応するカラーピクチャは、現在デプスピクチャと同一のピクチャ出力順序情報及び同一の視点識別情報を有することができる。

デプスピクチャ生成部２６３は、デプスコーディング情報を用いて現在デプスピクチャを生成することができる。ここで、デプスコーディング情報は、カメラと客体との間の距離を示す距離変数（例えば、カメラ座標系上のＺ座標値など）、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、ＲＢＳＰ内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、またはデータタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、又はパララックスデータであるかを示す情報などを含むことができる。また、デプスコーディング情報を用いて現在デプスピクチャを予測することもできる。すなわち、現在デプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現在デプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。

本発明では、現在ブロックをデコーディングするための視点間動きベクトルを獲得する方法に対して提案する。以下では、図３を参照して、視点間動きベクトルを用いて現在ブロックがデコーディングされる過程について説明する。

図３は、本発明が適用される一実施例であって、現在ブロックがデコーディングされる方法の一例に対するフローチャートを示したものである。

現在ブロックの視点間動きベクトルを獲得することができる（Ｓ３１０）。視点間動きベクトルは、現在の視点内の現在ブロックが参照する参照視点内の参照ブロックを指し示す動きベクトルを示すことができる。視点間動きベクトルは、隣接ブロックから誘導されたり、デプス値を用いて獲得されたりすることができる。視点間動きベクトルが獲得される方法については、図４乃至図１１を用いて後述する。

視点間動きベクトルを含む現在ブロックの動きベクトル候補リストを獲得することができる（Ｓ３２０）。動きベクトル候補リストは、少なくとも１つの動きベクトル候補が含まれてもよい。動きベクトル候補は、現在ブロックの動きベクトルを獲得するために利用できる動きベクトルであって、現在ブロックの時間的、空間的相関性を用いて獲得することができる。動きベクトル候補は、現在ブロックと同一の視点、異なる時間の参照ピクチャを用いて現在ブロックをコーディングするための時間動きベクトル、及び現在ブロックと異なる視点、同一の時間の参照ピクチャを用いて現在ブロックをコーディングするための視点間動きベクトルを含むことができる。動きベクトル候補は、ステップＳ３１０で獲得された視点間動きベクトルを含むことができる。

動きベクトル候補リストは、動きベクトル候補を獲得し、重複する動きベクトル候補を除外して獲得することができる。もし、動きベクトル候補の数が、予め決定された動きベクトル候補リストの利用可能な最大候補の数よりも少ない場合、ゼロベクトルまたは予め決定された動きベクトル候補を追加して動きベクトル候補リストを獲得することができる。

動きベクトル候補リストの中の１つの動きベクトルを用いて現在ブロックをデコーディングすることができる（Ｓ３３０）。例えば、動きベクトルインデックスを用いて、動きベクトル候補リストの中の１つの動きベクトルが現在ブロックの動きベクトルとして獲得され得る。

現在ブロックの動きベクトルを用いて、現在ブロックの参照視点ブロックを獲得することができる。そして、参照視点ブロックのピクセル値を用いて、現在ブロックの予測値を獲得することができる。

ステップＳ３１０で獲得される視点間動きベクトルは、図３で説明した動きベクトル候補リストに含まれて、現在ブロックのデコーディングに用いられるだけでなく、レジデュアル予測（Ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ）及び視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）に用いられてもよい。

例えば、現在ブロックをデコーディングするためにレジデュアル予測を用い、視点間動きベクトルが用いられてもよい。レジデュアル予測は、現在ブロックのレジデュアルを、参照ブロックのレジデュアルを用いて獲得することを示すことができる。視点間動きベクトルが指し示す参照ブロックのレジデュアルを用いて現在ブロックのレジデュアルを獲得することができる。

更に他の例として、現在ブロックをデコーディングするために視点合成予測を用い、視点間動きベクトルが用いられてもよい。視点合成予測は、現在ブロックの予測値を獲得するために、参照視点のテクスチャピクチャ及び現在の視点又は参照視点のデプスピクチャを用いて仮想参照ピクチャを生成する予測方法を示すことができる。仮想参照ピクチャを生成するために視点間動きベクトルが用いられてもよい。

以下では、図４乃至図６を参照して、現在ブロックのデコーディングに用いられるための視点間動きベクトルを獲得する第１実施例及び第２実施例について説明する。

図４は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第１実施例及び第２実施例に対するフローチャートを示したものである。

現在デプスブロック内のデプス値を用いて視点間動きベクトルを獲得するか否かを判断することができる（Ｓ３１１−１）。ここで、現在デプスブロックは、現在ブロックに対応するデプスブロックである。例えば、現在デプスブロック内のデプス値を用いて視点間動きベクトルを獲得するか否かは、現在デプスブロック内のデプス値が利用可能であるか否かにより判断することができる。現在デプスブロックがコーディングされて利用可能な場合、第１実施例を通じて、現在デプスブロック内のデプス値を用いて視点間動きベクトルを獲得すると判断し得る。逆に、現在デプスブロックがコーディングされていないので利用可能でない場合、現在デプスブロック内のデプス値を用いて視点間動きベクトルを獲得しないと判断し得る。現在デプスブロックが利用可能でない場合、第２実施例を通じて、参照視点のデプスブロックを用いて視点間動きベクトルが獲得され得る。

現在デプスブロック内のデプス値が利用可能な場合、現在ブロックに対応する現在デプスブロックを獲得することができる（Ｓ３１１−２）。現在デプスブロックの位置は、現在ブロックの左側上段ピクセルの位置を用いて獲得することができる。

視点間動きベクトルを獲得するための現在デプスブロック内のデプス値を獲得することができる（Ｓ３１１−３）。視点間動きベクトルを獲得するための現在デプスブロック内のデプス値は、現在デプスブロック内の少なくとも１つのデプス値を用いて獲得することができる。現在デプスブロック内の全てのデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、現在デプスブロック内の全てのデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。または、現在デプスブロック内の全てのデプス値の平均値が獲得されてもよい。または、現在デプスブロック内の特定のデプス値を比較してデプス値が獲得されてもよい。または、現在デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、現在デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。

現在デプスブロック内のデプス値を用いて視点間動きベクトルを獲得することができる（Ｓ３１１−４）。デプス値から視点間動きベクトルを誘導する方法は、下記の数式１及び数式２に基づいて説明する。

数式１を参照すると、Ｚは、当該ピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、本発明のデプスデータに対応する。Ｚ_near及びＺ_farは、デプスデータが属する視点に対して定義されたＺの最小値及び最大値をそれぞれ意味する。また、Ｚ_near及びＺ_farは、シーケンスパラメータセット、スライスヘッダーなどを介してビットストリームから抽出されてもよく、デコーダ内に予め定義された情報であってもよい。したがって、当該ピクセルのカメラからの距離Ｚを２５６レベルに量子化した場合、数式１のように、デプスデータ、Ｚ_near及びＺ_farを用いてＺを復元することができる。その後、復元されたＺを用いて、数式２のように、現在テクスチャブロックに対する視点間動きベクトルを誘導することができる。

数式２において、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆ及びＢは、全てのカメラに対して同一であると仮定することができ、したがって、デコーダに予め定義された情報であり得る。

本発明において、デプス値を用いて視点間動きベクトルを獲得する方法は、特に説明がない場合、数式１及び数式２を用いる方法を用いる。

現在デプスブロック内のデプス値を利用できない場合、予め決定された固定視点間動きベクトルを獲得することができる（Ｓ３１１−５）。ここで、予め決定された固定視点間動きベクトルは、参照視点内の参照視点ブロックを指し示す動きベクトルであって、デプス値が存在する範囲の中間値（もし、デプス値が０から２５５まで存在する場合、中間値である１２８を固定値として獲得）を用いて獲得された視点間動きベクトルとして決定されてもよく、または予め決定された固定視点間動きベクトルをゼロベクトルとして決定してもよい。ゼロベクトルは、（０，０）動きベクトルを示すことができる。ゼロベクトルが、予め決定された固定視点間動きベクトルとして決定される場合、予め決定された固定視点間動きベクトルが指し示す参照視点ピクチャ内の参照視点ブロックの位置は、現在デプスピクチャ内の現在デプスブロックの位置と同一であり得る。

予め決定された固定視点間動きベクトルを用いて参照視点ブロックを獲得することができる（Ｓ３１１−６）。ここで、参照視点ブロックは、現在ブロックをデコーディングするために用いられる参照視点内のブロックである。

参照視点ブロックに対応する参照デプスブロックを獲得することができる（Ｓ３１１−７）。参照デプスブロックは、参照視点ブロックに対応するデプスブロックである。参照デプスブロックの位置は、参照視点ブロックの左側上段ピクセルの位置を用いて獲得することができる。

視点間動きベクトルを獲得するための参照デプスブロック内のデプス値を獲得することができる（Ｓ３１１−８）。視点間動きベクトルを獲得するための参照デプスブロック内のデプス値は、参照デプスブロック内の少なくとも１つのデプス値を用いて獲得することができる。参照デプスブロック内の全てのデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、参照デプスブロック内の全てのデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。または、参照デプスブロック内の全てのデプス値の平均値が獲得されてもよい。または、参照デプスブロック内の特定のデプス値を比較してデプス値が獲得されてもよい。または、参照デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、参照デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。

参照デプスブロック内のデプス値を用いて視点間動きベクトルを獲得することができる（Ｓ３１１−９）。上述した数式１及び数式２を用いて視点間動きベクトルを獲得することができる。

図５は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第１実施例に対して示したものである。

図５のように、現在ブロック５００の視点間動きベクトルは、現在ブロック５００に対応する現在デプスブロック５１０内のデプス値を用いて獲得することができる。

具体的に、現在ピクチャの現在ブロック５００と同じ位置の現在デプスピクチャ内の現在デプスブロック５１０のデプス値を獲得することができる。そして、現在デプスブロック５１０のデプス値のうちの少なくとも１つを用いて視点間動きベクトルを獲得することができる。一例として、現在デプスブロック５１０の左側上段ピクセル、左側下段ピクセル、右側上段ピクセル及び右側下段ピクセルのうち最も大きいデプス値を用いて、視点間動きベクトルを獲得することができる。

図６は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第２実施例に対して示したものである。

図６を参照すると、現在ブロック５００の参照視点に位置した参照視点ブロック６１０に対応する参照視点デプスブロック６３０内のデプス値を用いて、視点間動きベクトルが獲得される。第２実施例による視点間動きベクトルの獲得方法は、第１実施例による視点間動きベクトルの獲得方法のうち、現在デプスブロック５１０のデプス値を利用できない場合に行うことができる。

具体的に、現在ブロック５００で参照視点ブロック６１０を指し示す予め決定された固定視点間動きベクトル６２０を用いることができる。そして、参照ピクチャ内の参照視点ブロック６１０に対応する参照デプスピクチャ内の参照視点デプスブロック６３０のデプス値のうちの少なくとも１つを用いて、視点間動きベクトルを獲得することができる。一例として、参照視点ブロック６１０の左側上段ピクセル、左側下段ピクセル、右側上段ピクセル及び右側下段ピクセルのうち最も大きいデプス値を用いて、視点間動きベクトルを獲得することができる。

以下では、図７を参照して、現在ブロックのデコーディングに用いられるための視点間動きベクトルを獲得する第３実施例について説明する。

図７は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第３実施例に対して示したものである。

図７を参照すると、最大コーディングブロック（Ｌａｒｇｅ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）単位で視点間動きベクトルを獲得し、現在の最大コーディングブロック７１０に含まれた現在ブロック５００は、最大コーディングブロック単位で獲得された視点間動きベクトルが獲得される。したがって、最大コーディングブロックに含まれた全てのブロックは、同一の視点間動きベクトルが獲得され得る。

一例として、最大コーディングブロックの視点間動きベクトルは、隣接する最大コーディングブロック内のブロック７２０の視点間動きベクトル６７５を用いて獲得されてもよい。または、現在の最大コーディングブロック６１０をデコーディングする直前にコーディングされた最大コーディングブロック内のブロック７２０の視点間動きベクトル７２５を用いて獲得されてもよい。

第３実施例による視点間動きベクトルの獲得方法は、現在ブロック５００に隣接する空間的隣接ブロック５０１〜５０５が視点間動きベクトルを用いてデコーディングされない場合に行うことができる。

以下では、図８を参照して、現在ブロックのデコーディングに用いられるための視点間動きベクトルを獲得する第４実施例について説明する。図８は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第４実施例に対するフローチャートを示したものである。

現在ブロックの前にコーディングされた以前ブロックに用いられた視点間動きベクトルを格納することができる（Ｓ３１２−１）。ここで、以前ブロック（ｐｒｅｖｉｏｕｓ ｂｌｏｃｋ）は、現在ブロック以前にコーディングされ、視点間動きベクトルを用いてコーディングされたブロックを示すことができる。視点間動きベクトルは、コーディングされた順に格納され得る。例えば、第１の以前ブロック、第２の以前ブロック及び現在ブロックが視点間動きベクトルを用いてデコーディングされたブロックであり、第１の以前ブロック、第２の以前ブロック及び現在ブロックの順にデコーディングされるとき、第１の以前ブロックのデコーディングに用いられた視点間動きベクトルと第２の以前ブロックのデコーディングに用いられた視点間動きベクトルが順に格納され得る。本実施例において、第１の以前ブロック及び第２の以前ブロックは、上述した以前ブロックに含まれ、第１の以前ブロック、第２の以前ブロック、現在ブロックの順にデコーディングされることを仮定する。

格納された視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得するか否かを判断することができる（Ｓ３１２−２）。以前ブロックの視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得するか否かは、現在ブロックと以前ブロック間の距離と、予め決定された距離情報とを比較して獲得され得る。

ここで、現在ブロックと以前ブロックとの間の距離は、現在ブロックの左側上段ピクセルと以前ブロックの左側上段ピクセルとの間の距離を用いて獲得されてもよい。または、現在ブロックと以前ブロックとの間の距離は、現在ブロックの中心ピクセルと以前ブロックの中心ピクセルとの間の距離を用いて獲得されてもよい。予め決定された距離情報は、現在ブロックと以前ブロックとの間の距離が近いか否かを判断するために予め決定された情報であり得る。

現在ブロックと第１の以前ブロックとの間の距離が予め決定された距離情報以下である場合、第１の以前ブロックの視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得することができる（Ｓ３１２−３）。

もし、現在ブロックと第１の以前ブロックとの間の距離が予め決定された距離情報以上である場合、第１の以前ブロックの視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得せずに、第２の以前ブロックの視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得することができる（Ｓ３１２−４）。

図９は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第４実施例に対して示したものである。

現在ブロック５００の視点間動きベクトルは、現在ブロック５００をデコーディングする前に誘導された視点間動きベクトルを格納し、格納された視点間動きベクトルを用いて獲得され得る。

一例として、図９を参照すると、視点間動きベクトルを用いてデコーディングされるブロックのデコーディング順序が、第１ブロック９１０、第２ブロック９２０、現在ブロック５００である場合、現在ブロック５００のコーディング直前にコーディングされた第２ブロック９２０の視点間動きベクトル９２５を用いて現在ブロック５００の視点間動きベクトルが獲得され得る。

他の例として、視点間動きベクトルを用いてデコーディングされるブロックのデコーディング順序が、第１ブロック９１０、第２ブロック９２０、現在ブロック５００であり、現在ブロック５００から一定の距離以上離れたブロックの視点間動きベクトルを利用しない場合、現在ブロック５００のコーディング直前にコーディングされた第２ブロック９２０の視点間動きベクトル９２５を利用せずに、第１ブロック９１０の視点間動きベクトル９１５を用いて現在ブロック５００の視点間動きベクトルが獲得され得る。

以下では、現在ブロックのデコーディングに用いられるための視点間動きベクトルを獲得する第５実施例について説明する。

現在ブロックの視点間動きベクトルは、現在ブロックのデコーディング過程の前に獲得されたデプス値のヒストグラム（ｈｉｓｔｏｇｒａｍ）を用いて獲得することができる。

一例として、現在ブロックのデコーディング過程の前に獲得されたデプス値を用いて最も多く獲得されたデプス値を獲得し、最も多く獲得されたデプス値を用いて現在ブロックの視点間動きベクトルが獲得され得る。

他の例として、現在ブロックのデコーディング過程の前に獲得されたデプス値の平均値を獲得し、デプス値の平均値を用いて現在ブロックの視点間動きベクトルが獲得され得る。

以下では、図１０及び図１１を参照して、現在ブロックのデコーディングに用いられるための視点間動きベクトルを獲得する第６実施例について説明する。

上述した第１実施例乃至第５実施例及び視点間動きベクトル修正情報を用いて現在ブロックの視点間動きベクトルを獲得することができる。視点間動きベクトル修正情報を用いて第１実施例乃至第５実施例によって獲得された視点間動きベクトルが修正される場合、第１実施例乃至第５実施例によって獲得された視点間動きベクトルが指し示す参照視点ブロックに対応する参照デプスブロックのデプス値を用いて、現在ブロックの視点間動きベクトルが獲得され得る。

図１０は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第６実施例に対するフローチャートを示したものである。

現在ブロックの臨時視点間動きベクトルを獲得することができる（Ｓ３１３−１）。ここで、臨時視点間動きベクトルは、参照視点内の参照視点ブロックを指し示す動きベクトルであって、上述した第１実施例乃至第５実施例を用いて獲得された視点間動きベクトルが用いられてもよい。また、臨時視点間動きベクトルは、ゼロベクトル及び予め決定された視点間動きベクトルを含むこともできる。

視点間動きベクトル修正情報及び臨時視点間動きベクトルを用いて参照視点ブロックを獲得することができる（Ｓ３１３−２）。視点間動きベクトル修正情報は、獲得された臨時視点間動きベクトルを用いて参照視点ブロックを獲得するか否かを示すことができる。視点間動きベクトル修正情報が、臨時視点間動きベクトルを用いて参照視点ブロックを獲得しないことを示す場合、臨時視点間動きベクトルが現在ブロックの視点間動きベクトルとして獲得され得る。

視点間動きベクトル修正情報が、臨時視点間動きベクトルを用いて参照視点ブロックを獲得することを示す場合、臨時視点間動きベクトルが指し示すブロックを参照視点ブロックとして獲得することができる。

参照視点ブロックに対応する参照デプスブロックを獲得することができる（Ｓ３１３−３）。参照デプスブロックは、参照視点ブロックに対応するデプスブロックである。参照デプスブロックの位置は、参照視点ブロックの左側上段ピクセルの位置を用いて獲得することができる。

視点間動きベクトルを獲得するための参照デプスブロック内のデプス値を獲得することができる（Ｓ３１３−４）。視点間動きベクトルを獲得するための参照デプスブロック内のデプス値は、参照デプスブロック内の少なくとも１つのデプス値を用いて獲得することができる。参照デプスブロック内の全てのデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、参照デプスブロック内の全てのデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。または、参照デプスブロック内の全てのデプス値の平均値が獲得されてもよい。または、参照デプスブロック内の特定のデプス値を比較してデプス値が獲得されてもよい。または、参照デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も大きいデプス値が獲得されてもよい。または、参照デプスブロックの左側上段のデプス値、左側下段のデプス値、右側上段のデプス値及び右側下段のデプス値を比較し、最も多く存在するデプス値が獲得されてもよい。

参照デプスブロック内のデプス値を用いて視点間動きベクトルを獲得することができる（Ｓ３１３−５）。上述した数式１及び数式２を用いて視点間動きベクトルを獲得することができる。

図１１は、本発明が適用される一実施例であって、視点間動きベクトルが獲得される第６実施例であって、臨時視点間動きベクトルを用いて現在ブロックの視点間動きベクトルを獲得する一例について示したものである。

図１１を参照すると、第３実施例の方法を用いて隣接する最大コーディングブロック内のブロック１１２０の臨時視点間動きベクトル１１２５を獲得する。そして、視点間動きベクトル修正情報によって視点間動きベクトル１１２５が修正される場合、隣接する最大コーディングブロック内のブロック１１２０の視点間動きベクトル１１２５を用いて、参照視点に含まれる参照視点ブロック１１１０を獲得する。そして、参照視点ブロック１１１０に対応する参照デプスブロック１１３０のデプス値を用いて、現在ブロック５００の視点間動きベクトルが獲得され得る。一例として、参照デプスブロック１１３０の左側上段ピクセル、左側下段ピクセル、右側上段ピクセル及び右側下段ピクセルのうち最も大きいデプス値を用いて視点間動きベクトルを獲得することができる。

以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送信／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに利用することができる。また、マルチメディア放送送信／受信装置は移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有線／無線通信網を用いて伝送されてもよい。

本発明は、ビデオ信号をコーディングするのに利用することができる。

Claims (10)

1. 予め決定された固定視点間動きベクトル及び非参照視点内の現在ブロックの位置を用いて、参照視点内の参照視点ブロックの位置を獲得するステップと、
   前記参照視点ブロックの位置を用いて前記参照視点内の参照デプスブロックのデプス値を獲得するステップと、
   前記参照デプスブロックの少なくとも１つのデプス値を用いて前記現在ブロックの視点間動きベクトルを獲得するステップと、
   前記視点間動きベクトルを用いて前記現在ブロックをデコーディングするステップと、
   を有し、
   前記参照視点ブロックは、前記参照視点内に位置するテクスチャブロックであり、
   前記参照デプスブロックは、前記参照視点内に位置するデプスブロックであり、
   前記現在ブロックは、前記非参照視点内に位置するテクスチャブロックである、ビデオ信号処理方法。
2. 前記予め決定された固定視点間動きベクトルはゼロベクトルである、請求項１に記載のビデオ信号処理方法。
3. 前記少なくとも１つのデプス値は、前記参照デプスブロックの左側上段ピクセルのデプス値、左側下段ピクセルのデプス値、右側上段ピクセルのデプス値及び右側下段ピクセルのデプス値ののうち最も大きいデプス値である、請求項１に記載のビデオ信号処理方法。
4. 前記視点間動きベクトルを用いて前記現在ブロックをデコーディングするステップは、
   前記視点間動きベクトルが含まれた動きベクトル候補リストを生成するステップと、
   前記動きベクトル候補リストを用いて前記現在ブロックの予測値を獲得するステップと、を含む、請求項１に記載のビデオ信号処理方法。
5. 前記視点間動きベクトルを用いて前記現在ブロックをデコーディングするステップは、
   動きベクトルインデックスを獲得するステップをさらに含み、
   前記現在ブロックの予測値は、前記動きベクトルインデックスをさらに用いて獲得される、請求項４に記載のビデオ信号処理方法。
6. 予め決定された固定視点間動きベクトル及び非参照視点内の現在ブロックの位置を用いて、参照視点内の参照視点ブロックの位置を獲得し、前記参照視点ブロックの位置を用いて前記参照視点内の参照デプスブロックのデプス値を獲得し、前記参照デプスブロックの少なくとも１つのデプス値を用いて前記現在ブロックの視点間動きベクトルを獲得し、前記視点間動きベクトルを用いて前記現在ブロックをデコーディングするインター予測部を含み、
   前記参照視点ブロックは、前記参照視点内に位置するテクスチャブロックであり、
   前記参照デプスブロックは、前記参照視点内に位置するデプスブロックであり、
   前記現在ブロックは、前記非参照視点内に位置するテクスチャブロックである、ビデオ信号処理装置。
7. 前記予め決定された固定視点間動きベクトルはゼロベクトルである、請求項６に記載のビデオ信号処理装置。
8. 前記少なくとも１つのデプス値は、前記参照デプスブロックの左側上段ピクセルのデプス値、左側下段ピクセルのデプス値、右側上段ピクセルのデプス値及び右側下段ピクセルのデプス値のうち最も大きいデプス値である、請求項６に記載のビデオ信号処理装置。
9. 前記インター予測部は、前記視点間動きベクトルが含まれた動きベクトル候補リストを生成し、前記動きベクトル候補リストを用いて前記現在ブロックの予測値を獲得する、請求項６に記載のビデオ信号処理装置。
10. 前記インター予測部は、動きベクトルインデックスを獲得し、前記現在ブロックの予測値は、前記動きベクトルインデックスをさらに用いて獲得される、請求項９に記載のビデオ信号処理装置。

Images