JP5059766B2

JP5059766B2 - 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置

Info

Publication number: JP5059766B2
Application number: JP2008532162A
Authority: JP
Inventors: ハ，テ−ヒョン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-09-22
Filing date: 2006-09-22
Publication date: 2012-10-31
Anticipated expiration: 2026-09-22
Also published as: MX2008003375A; EP1927250A4; WO2007035054A1; EP1927250A1; JP2009509454A

Description

本発明は、多視点動画を符号化及び復号化する方法及び装置に係り、多視点動画の符号化を迅速に行い、圧縮率を向上させるための視差ベクトルの予測方法、視差ベクトルの予測方法を利用して多視点動画を符号化／復号化する方法及び装置に関する。

高品質の情報及び通信サービスを実現する最も理想的な特性のうち一つは、現実感である。これは、３次元映像に基づいた画像通信により達成される。３Ｄ映像システムは、教育、演芸、医療手術、画像会議など多くの潜在的な応用分野で利用される。多数の視聴者に遠隔地の場面についてのさらに生き生きして正確な情報を伝達するために、３個以上のカメラが若干異なる視点に配置されて多視点シーケンスを生成する。

３Ｄ映像分野についての関心により、複数の研究グループが３Ｄ映像処理及びディスプレイシステムについて報告している。ヨーロッパでは、デジタルステレオ映像シーケンスをキャプチャーし、符号化し、伝送し、表示するためのシステムを開発する目的により、ＤＩＳＴＩＭＡのような色々なプロジェクトにより３ＤＴＶについての研究が開始された。それらのプロジェクトは、３Ｄ遠隔臨場感のある通信で映像情報を改善するための目的の他のプロジェクトであるＰＡＮＯＲＡＭＡを導いた。現在、それらのプロジェクトは、他のプロジェクトＡＴＴＥＳＴを導いたが、このプロジェクトで３Ｄコンテンツ獲得、３Ｄ圧縮及び送信、及び３Ｄディスプレイシステムの多様な分野の技術が研究された。このプロジェクトにおいて、ＭＰＥＧ−２（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ２）及びＤＶＢ（ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ）システムは、特に２Ｄコンテンツの送信のための基本階層及び３Ｄの深度感のあるデータの送信のための向上階層を使用するための時間拡張性（ＴＳ）により３Ｄコンテンツを伝送するために適用された。

ＭＰＥＧ−２において、マルチビュープロファイル（ＭＶＰ）は、ＭＰＥＧ−２標準についての修正により１９９６年に定義された。ＭＶＰの重要な新たな構成要素は、マルチカメラシーケンスに対する時間拡張性（ＴＳ）モードの利用についての定義、及びＭＰＥＧ−２シンタックスでの獲得カメラパラメータについての定義である。

減少したフレームレートで信号を代表する基本階層ストリームを符号化し、２個のストリームが有効な場合、全体のフレームレートで再生を許容するために、中間に付加的なフレームを挿入するのに利用される向上階層を定義することが可能である。向上階層を符号化する効率的な方法は、向上階層フレーム内のそれぞれのマクロブロックに対して、基本階層フレームまたは最近に再構成された向上階層フレームから最上の移動補償予測に関する決定を行うように許容するものである。

かかる信号に対して、時間拡張性シンタックスを利用してステレオ及び多視点チャンネルの符号化を行うのは簡単である。このために、一つのカメラ視点からのフレーム（通常、左眼のフレーム）は、基本階層として定義され、残りからのフレームは、向上階層として定義される。基本階層は、同時モノスコピックシーケンスを表す。向上階層に対して、視差補償予測は、遮断領域では失敗しうるが、同じチャンネルの内部の移動補償予測により再構成された映像品質を維持し続ける。ＭＰＥＧ−２ＭＶＰは、ステレオシーケンスとして主に定義されるため、多視点シーケンスを支援せず、本来から多視点シーケンスに拡張し難い。

図１は、ＭＰＥＧ−２ＭＶＰの符号化器及び復号化器を示す図である。図１に示すように、ＭＰＥＧ−２ＭＶＰ（１３８１８−２）では、左側視点映像と右側視点映像とを利用して３次元映像を符号化するとき、二つの映像間の関連性を探して、二つの映像間の差をネットワークの状態によって可変的に符号化するスケーラブルコーデックを使用して、３次元映像を符号化して再生するということが分かる。このとき、左側映像を基本階層映像と、右側映像を向上階層映像と定義して符号化する。基本階層映像は、それ自体のみで符号化される映像をいい、向上階層映像は、基本階層映像の質を高めるために、ネックワークの状態が良好な時にさらに符号化して送る映像をいう。このように、基本階層映像と向上階層映像とをいずれも使用して符号化するのをスケーラブルコーディングという。

左側視点映像は、第１移動補償ＤＣＴ符号化器１１０により符号化される。右側視点映像は、左側視点映像との差を予測する視差予測器１２２及び視差補償器１２４により計算された二つの映像間の差が、第２移動補償ＤＣＴ符号化器１２６により符号化される。左側視点映像を符号化する第１移動補償ＤＣＴ符号化器１１０を基本階層映像符号化器といえば、右側視点映像と左側視点映像との視差を符号化する視差予測器１２２、視差補償器１２４及び第２移動補償ＤＣＴ符号化器１２６を向上階層映像符号化器１２０といえる。このように符号化された基本階層映像と向上階層映像とは、システム多重化器１３０により多重化されて復号化器へ伝送される。

多重化された信号は、システム逆多重化器１４０により左側視点映像と右側視点映像とに分けられる。左側視点映像は、第１移動補償ＤＣＴ復号化器１５０により復号化される。視差映像は、左側視点映像との視差を補償する視差補償器１６２及び第２移動補償ＤＣＴ復号化器１６４により右側視点映像に復元される。左側視点映像を復号化する第１移動補償ＤＣＴ復号化器１５０を基本階層映像復号化器といえば、右側視点映像と左側視点映像との視差を探して、右側視点映像を復号化する視差補償器１６２及び第２移動補償ＤＣＴ復号化器１６４を向上階層映像復号化器１６０といえる。

図２は、双方向予測のために、二つの視差予測を使用して視差のみを考慮した予測符号化を示す図である。左側映像は、非スケーラブルＭＰＥＧ−２符号化器を使用して符号化し、右側映像は、復号化された左側映像に基づいてＭＰＥＧ−２時間的に位置した補助視点符号化器を使用して符号化する。

すなわち、右側映像は、二つの参照映像、例えば左側映像から求めた予測を使用してＢピクチャーに符号化される。このとき、二つの参照映像のうち一つは、同時にディスプレイされる左側映像であり、他の一つは、時間的にその次にくる左側映像である。

そして、二つの予測は、移動予測／補償と同様に、順方向、逆方向及び双方向の三つの予測モードを有する。ここで、順方向モードは、同じ時間の左側映像から予測した視差を意味し、逆方向モードは、直後の左側映像から予測した視差を意味する。かかる方法の場合、右側映像の予測は、二つの左側映像の視差ベクトルを通じて行われるため、かかる形態の予測方法を、視差ベクトルのみを考慮した予測符号化という。したがって、符号化器では、右側動画の各フレームごとに二つの視差ベクトルを予測し、復号化器では、この二つの視差ベクトルを利用して左側動画から右側動画を復号化する。

図３は、双方向予測のために、視差ベクトルと移動ベクトルとを使用した予測符号化を示す図である。図３は、図２に示した双方向予測を通じたＢピクチャーを使用するが、双方向予測は、一つの視差予測と一つの移動予測とを使用する。すなわち、一つの同時間帯の左側映像からの視差予測と、直前時間の右側映像からの移動予測とを使用する。

そして、視差のみを考慮した予測符号化と同様に、双方向予測も、順方向、逆方向及び双方向モードと呼ばれる三つの予測モードを含む。ここで、順方向モードは、復号化された右側映像からの移動予測を意味し、逆方向モードは、復号化された左側映像からの視差予測を意味する。

前述したように、ＭＰＥＧ−２ＭＶＰの規格自体は、多視点動画に対する符号化器を考慮せず、実際にステレオ動画に適するように設計されていないので、多数の人に同時に立体感及び臨場感を提供するための多視点動画を効率的に提供できる符号化器が必要である。

一方、最近、新たなＨ．２６４ビデオコーディング標準が以前の標準に比べて高い符号化効率により注目されている。この新たな標準は、一般的な双方向Ｂ予測スライスを考慮するだけでなく、１６×１６から４×４にわたる可変ブロックサイズ、ループデブロッキングフィルタで移動補償のためのクワッドトリー構造、多重参照フレーム、イントラ予測、コンテキスト適応性エントロピーコーディングを考慮するように色々な新たな特性に依存する。ＭＰＥＧ−２及びＭＰＥＧ−４パート２のような標準と異なり、Ｂスライスは、同じ方向（順方向または逆方向）から得られる多重予測を利用しつつ、それらは、他のスライスを参照して利用される。しかし、前述したような特徴は、この標準のためには、予測モードを非常に高い比率のビットが移動情報のために必要である。

この問題を緩和するために、スキップ及びダイレクトモードがＰスライス及びＢスライスにそれぞれ導入された。それらのモードは、以前に符号化された移動ベクトル情報を利用して、現在符号化しようとするピクチャーの任意のブロックの移動予測を可能にする。したがって、マクロブロックまたはブロックに対するある付加的な移動データを符号化しない。それらのモードのための移動は、隣接したマクロブロックまたはピクチャーの移動の空間的（ＳＫＩＰ）または時間的（ＤＩＲＥＣＴ）関連性を利用して獲得される。

図４は、Ｂピクチャーのダイレクトモードを説明する図である。ダイレクトモードは、現在符号化しようとするＢピクチャーの任意のブロックの移動予測において、時間的に次のピクチャーであるＰピクチャーの対応ブロックの移動ベクトルを利用して、順方向移動ベクトル及び逆方向移動ベクトルを求めるものである。

Ｂピクチャー４１０での移動を予測しようとするダイレクトモードブロック４０２の順方向移動ベクトルＭＶ_ＬＯ及び逆方向移動ベクトルＭＶ_Ｌ１を計算するために、時間的に次のピクチャーである参照リスト１ピクチャー４２０でのダイレクトモードブロック４０２と同じ位置のブロックである対応ブロック４０４が、移動ベクトルにより参照している参照リスト０ピクチャー４３０に対する移動ベクトルＭＶを探す。これにより、Ｂピクチャー４１０のダイレクトモードブロック４０２の順方向移動ベクトルＭＶ_ＬＯ及び逆方向移動ベクトルＭＶ_Ｌ１は、次の式（１）により計算される。

ここで、ＭＶは、参照リスト１ピクチャー４２０の対応ブロック４０４の移動ベクトルを表す。ＴＲ_Ｄは、参照リスト０ピクチャー４３０と参照リスト１ピクチャー４２０との距離を表し、ＴＲ_Ｂは、Ｂピクチャー４１０と参照リスト０ピクチャー４３０との距離を表す。

図５は、空間領域で移動ベクトルを予測する方法を説明する図である。動画データを符号化するために使われるＨ．２６４標準によれば、一つのフレームを所定サイズのブロックに分けて、既に符号化が終わった隣接したフレームを参照して最も類似したブロックを検索する移動検索を行う。すなわち、現在のマクロブロックｃの左側４、上端２及び上端右側３の三つのマクロブロックの移動ベクトルのうち中間値を移動ベクトルの予測値と決める。かかる移動ベクトル予測は、式（２）で表す。

このように、時間的な関連性だけでなく、空間的関連性を利用して動画を符号化する方法が提示されており、一般的な動画より情報量がはるかに多い多視点動画に対しても圧縮率を向上させ、処理速度を速める方法が必要な実情である。

本発明が解決しようとする課題は、多視点カメラにより撮影された多視点映像に対する視差ベクトル間の関連性を利用して、多視点動画の圧縮率を向上させ、多視点動画の符号化を迅速に行うための多視点動画符号化方法及び装置を提供するところにある。

本発明が解決しようとする他の課題は、多視点映像に対する視差ベクトル間の関連性を利用して、符号化された多視点動画を復号化するための多視点動画復号化方法及び装置を提供するところにある。

前記課題を解決するために、本発明の一特徴による多視点動画を符号化するために視差ベクトルを予測する方法は、所定の個数の符号化されたマクロブロックに対する視差ベクトルを予測するステップと、予測された視差ベクトルを利用して、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するステップと、を含む。

望ましくは、視差ベクトルを予測するステップは、完全探索方法または高速探索方法により、所定の個数の符号化されたマクロブロックに対する視差ベクトルを予測するステップを含み、視差ベクトルを計算するステップは、所定の補間式を利用して、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算するステップを含む。

望ましくは、所定の補間式は、符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択され、視差ベクトルの特性は、予測された視差ベクトルの偏差が一定であるか否かを含む。

前記課題を解決するために、本発明の他の特徴による多視点動画符号化装置は、現在のフレームと参照フレームとを受信し、所定の個数の符号化されたマクロブロックに対する視差ベクトルを予測し、予測された視差ベクトルを利用して、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するダイレクトモード実行部と、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するための補間式をダイレクトモード実行部に提供する補間式提供部と、現在のフレームと参照フレームとを受信し、フレームを探索して視差ベクトルを予測する探索モード実行部と、ダイレクトモード実行部及び探索モード実行部で行われた視差ベクトルの決定方法によるコストをそれぞれ計算するコスト計算部と、計算されたコストを比較する比較部と、比較結果による符号化モードを選択するモード選択部と、選択された符号化モードによる多視点動画の符号化を行う符号化部と、を含む。

望ましくは、ダイレクトモード実行部は、完全探索方法または高速探索方法により、所定の個数の符号化されたマクロブロックに対する視差ベクトルを予測し、所定の補間式を利用して、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算する。

望ましくは、補間式提供部は、所定の個数の符号化されたマクロブロックに対して予測された視差ベクトルの特性によって選択される少なくとも一つ以上の補間式を保存している。

望ましくは、コスト計算部は、ダイレクトモード実行部で計算された視差ベクトルＤＶ＿ｄを利用して、ダイレクトモードコストを計算するダイレクトモードコスト計算部と、探索モード実行部で予測された視差ベクトルＤＶ＿ｆを利用して、探索モードコストを計算する探索モードコスト計算部と、を備える。

望ましくは、コスト計算部は、ダイレクトモード及び探索モードそれぞれに対するビットレート及び／またはＰＳＮＲ（ＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）を計算する。

望ましくは、比較部は、ダイレクトモードコストと探索モードコストとの差及び所定の臨界値を比較し、モード選択部は、比較結果によってフラッグを設定し、設定されたフラッグによって符号化モードを選択する。

望ましくは、比較部は、ダイレクトモードコストと探索モードコストとの差が所定の臨界値以上である場合、ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差を所定の臨界値と比較し、モード選択部は、比較結果によって符号化モードによるフラッグを設定し、設定されたフラッグによって符号化モードを選択する。

望ましくは、符号化部は、選択された符号化モードがダイレクトモードである場合、残差映像を符号化し、選択された符号化モードが探索モードであり、ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値より小さい場合、残差映像及びダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差を符号化する。

望ましくは、符号化部は、選択された符号化モードが探索モードであり、ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値以上である場合、残差映像及び探索モードによる視差ベクトルを符号化する。

前記課題を解決するために、本発明のさらに他の特徴による多視点動画符号化方法は、現在のフレームと参照フレームとを受信するステップと、所定の個数の符号化されたマクロブロックに対する視差ベクトルを予測し、予測された視差ベクトルを利用して、符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するダイレクトモードを行うステップと、現在のフレームと参照フレームとを探索して、視差ベクトルを予測する探索モードを行うステップと、ダイレクトモードの実行によるコストと探索モードの実行によるコストとをそれぞれ計算するステップと、計算されたコストを比較するステップと、比較結果による符号化モードを選択するステップと、選択された符号化モードによって多視点動画を符号化するステップと、を含む。

前記他の課題を解決するために、本発明のさらに他の特徴による多視点動画復号化装置は、受信される多視点動画ビットストリームに含まれる符号化モードを表すフラッグを確認して、符号化モードを確認する符号化モード確認部と、確認された符号化モードによって視差ベクトルを決定する視差ベクトル決定部と、確認された符号化モードによって決定された視差ベクトルと多視点動画ビットストリームに含まれた残差映像データとを利用して、多視点動画を復号化する復号化部と、を備え、視差ベクトル決定部は、多視点動画符号化装置と同じ視差補間式を利用して視差ベクトルを計算する。

望ましくは、モード確認部で確認された符号化モードが、残差映像が受信される第１モードである場合、視差ベクトル決定部は、視差補間式を利用して視差ベクトルを計算し、モード確認部で確認された符号化モードが、残差映像及びダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差値が伝達される第２モードである場合、視差ベクトル決定部は、差値及び視差補間式を利用して計算された視差を合わせて視差ベクトルを計算する。

前記他の課題を解決するために、本発明のさらに他の特徴による多視点動画復号化方法は、受信される多視点動画ビットストリームに含まれる符号化モードを表すモード情報を利用して、符号化モードを決定するステップと、決定された符号化モードによって視差ベクトルを決定するステップと、決定された符号化モードによって決定された視差ベクトルと多視点動画ビットストリームに含まれた残差映像データとを利用して、多視点動画を復号化するステップと、を含み、視差ベクトルを決定するステップは、多視点動画符号化装置と同じ視差補間式を利用して、視差ベクトルを計算するステップを含む。

本発明によれば、マクロブロック単位の視差を予測するとき、あらゆるマクロブロックに対して視差を予測せず、所定の個数のマクロブロックに対して予測された視差を利用して、残りのマクロブロックに対する視差を計算することによって、多視点動画の符号化速度を速めることができる。

また、本発明によれば、それぞれのマクロブロックに対する視差ベクトルをいずれも符号化しなくてもよいので、多視点映像の圧縮率を向上させることができる。

また、本発明によれば、多視点映像に対する視差ベクトル間の関連性を利用して、符号化された多視点動画を復号化するための多視点動画復号化方法及び装置を提供できる。

以下、添付した図面を参照して、本発明の望ましい実施形態について詳細に説明する。

図６は、本発明の一実施形態による多視点動画符号化装置の内部構成を示すブロック図である。

本発明の一実施形態による多視点動画符号化装置は、多視点映像バッファ６１０、予測部６２０、視差／移動補償部６３０、残差映像符号化部６４０及びエントロピー符号化部６５０を備える。

図６において、提案された多視点動画符号化装置は、複数のカメラシステムまたは他の可能な方法から通常的に獲得される多視点ビデオソースを受信する。入力された多視点ビデオは、多視点映像バッファ６１０に保存される。多視点映像バッファ６１０は、保存された多視点動画ソースデータを予測部６２０及び残差映像符号化部６４０に提供する。

予測部６２０は、視差予測部６２２及び移動予測部６２４を備え、保存された多視点ビデオソースに対して移動予測及び視差予測を実行する。

視差／移動補償部６３０は、視差及び移動補償を、視差予測部６２２及び移動予測部６２４で予測された移動ベクトル及び視差ベクトルを利用して実行する。視差／移動補償部６３０は、予測された移動及び視差ベクトルを利用して復元された映像を残差映像符号化部６４０に提供する。

残差映像符号化部６４０は、多視点映像バッファ６１０から提供される元来映像と、視差／移動補償部６３０により補償された復元映像との残差情報を、さらに良好な画質と立体感とを提供するために残差映像の符号化を行って、エントロピー符号化部６５０に提供する。

エントロピー符号化部６５０は、予測部６２０で生成された視差ベクトル及び移動ベクトルについての情報と、残差映像符号化部６４０からの残差映像とを入力されて、多視点動画ソースデータに対するビットストリームを生成する。

図６の視差予測部６２２において、Ｈ．２６４及びＭＰＥＧ２／４のような従来のコーデックで利用される移動予測及び移動補償のための移動情報のように、視差情報は、視差補償のために利用される。Ｈ．２６４で移動情報を減らして符号化効率を向上させるための試みが行われたように、ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ）でも視差情報を減らして符号化効率を向上させるための試みが行われる。

このために、視差予測部６２２は、所定の個数のあらかじめ符号化されたマクロブロックに対する視差ベクトルを予測し、前記あらかじめ符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを、予測された視差ベクトルを利用して計算する。さらに詳しくは、視差予測部６２２は、完全探索方法または高速探索方法のような従来の視差予測方法により、所定の個数のあらかじめ符号化されたマクロブロックに対する視差ベクトルを予測し、所定の補間式を利用して、あらかじめ符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算する。

以下では、本発明の一実施形態によって視差を予測する方法について、図７ないし図１２を参照して詳細に説明する。

本明細書において、所定の個数のあらかじめ符号化されたマクロブロックを“シードマクロブロック（以下、シードＭＢという）”という。そして、予測された視差ベクトルを利用して視差ベクトルが計算されるあらかじめ符号化されたマクロブロックに隣接して位置するマクロブロックを“ノンシードマクロブロック（以下、ノンシードＭＢという）”という。そして、本明細書では、従来の探索方法により視差を予測するのを“視差ベクトル探索”といい、本発明によって視差を計算するのを“視差ベクトル補間”または“ダイレクトモード”という。また、従来の視差予測方法により多視点動画を符号化する方法を“探索モード符号化”といい、本発明の視差ベクトル補間により動画を符号化する方法を“ダイレクトモード符号化”という。

図７は、多視点カメラにより撮影されたフレームシーケンスを示す図である。水平軸は、視点軸であって、多視点映像を撮影するためのカメラの個数を表す。垂直軸は、時間軸であって、タイムシーケンスの個数を表す。多視点カメラが平行に配列されれば、同じタイムシーケンスにある多視点フレームの間には高い関連性が存在することである。多視点カメラが平行に配列されていなくても、多視点カメラから撮影された映像を平行に配列された多視点カメラで撮影したような状態で補正できるので、関連性が存在することである。

このように、多視点フレームの間に高い関連性の存在する特性があるとき、Ｈ．２６４で利用されるダイレクトモードのように、本発明の一実施形態によって“視差ベクトル補間”を利用して視差ベクトルを予測するのが効果的である。“視差ベクトル補間”は、解像度を高めるために使われる映像補間及び映像スケーリングまたは映像再構成と類似している。映像補間において、映像は、線形補間またはキュービック補間により隣接した映像から補間されて獲得される。映像補間のように、視差ベクトルも、映像補間方法と類似したベクトル補間により獲得される。

図８は、本発明の一実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。図８において、Ｖｃ及びＶｒは、同じタイムシーケンスにある任意のフレームでのＭＢの一ラインである。Ｖｒは、既に符号化された参照視点フレームであり、Ｖｃは、現在符号化するためにＶｒを利用して予測されるフレームである。点線でハッチされたマクロブロックは、既に予測されたブロックであって、“シードＭＢ”を表す。斜線で表示されたマクロブロックは、シードＭＢであって、視差ベクトルが予測される“ノンシードＭＢ”を表す。

ＶｒフレームにあるシードＭＢを利用して、２個のシードＭＢの内部の他のＭＢ、すなわちノンシードＭＢの視差ベクトルを本発明の視差ベクトル補間方法により予測できる。図８のような２個のシードＭＢの内部の他のＭＢの視差予測のために、次の式（３）が利用される。

式（３）で、ＤＶ_０及びＤＶ_Ｎ−１は、シードＭＢを表し、完全探索方法または高速探索方法のような従来の方法により予測される。

図８に示したように、視差ベクトルの偏差が一定している場合、視差ベクトルの関係は、図９のようなグラフで表す。すなわち、ＭＢ間の距離がｉである場合、ＤＶの大きさがＤＶ_ＯからＤＶ_ｉに変化した比率が、ＭＢ間の距離がｉからＮ−１である場合、ＤＶの大きさがＤＶ_ｉからＤＶ_Ｎ−１に変化した比率と同じであると仮定して、式（３）を次の式（３−１）ないし式（３−３）により導出できる。

図１０は、本発明の他の実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。

式（３）は、図８を参照して前述したように、ＤＶの変化ライン、すなわちＤＶの偏差がほぼ一定している場合に有用である。しかし、ＤＶの偏差が一定でない場合、例えば図１１に示したように、ＤＶの変化ラインが曲線形態を有する場合には、式（４）を利用してＤＶを予測できる。

図１０及び式（４）から分かるように、二つ以上のＤＶを利用してｉ番目のＭＢに対するＤＶ_ｉを予測する。式（４）で、ＤＶ_ｉ＋ｈは、ノンシードＭＢであり、Ｃ_ｈは、マクロブロックに対するＤＶを生成するための補間係数である。式（４）を理解するために、ＤＶ_ｉを計算する過程の一例を説明する。例えば、ｉ＝４であり、Ｎ＝８である場合、式（４）は、式（４−１）のように表す。

式（４−１）で、ＤＶ_１，ＤＶ_３，ＤＶ_５及びＤＶ_７がシードＭＢである場合、シードＭＢではない任意のＤＶ、すなわちＤＶ_２，ＤＶ_４，ＤＶ_６及びＤＶ_８が０に設定されれば、ＤＶ_４を決定できる。

図１１は、本発明のさらに他の実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。図１１は、視差ベクトルを２次元的に予測するためのものであって、式（５）を利用して視差ベクトルを予測できる。

式（５）で、Ｃ（ｘ，ｙ）は、マクロブロックに対するＤＶを生成するための２次元係数である。式（５）で、ＤＶ（ｘ＋ｈ，ｙ＋ｖ）がシードＭＢではない場合、ＤＶ（ｘ＋ｈ，ｙ＋ｖ）が０に設定されれば、シードＭＢに対する値のみでＤＶ（ｘ，ｙ）を計算できる。本発明の視差ベクトル補間方法により求められる領域が広い場合に、図５のような式を使用できる。

図１２は、本発明の一実施形態による視差ベクトルを予測する方法を説明する図である。

前述したように視差ベクトルを予測するために、まず、従来の視差ベクトル探索方法を行って、シードＭＢに対する視差ベクトルを獲得する。シードＭＢは、計算を単純化するために一定間隔で離れている。視差ベクトル探索は、現在のフレームと参照フレームとの間で行う。次いで、残りのシードＭＢに隣接して位置するＭＢに対する視差ベクトルが、シードＭＢを利用して本発明の視差ベクトル補間方法により計算されて獲得される。

また、本発明の視差ベクトル補間で利用される所定の補間式は、あらかじめ符号化されたマクロブロック、すなわちシードＭＢに対して決定された視差ベクトルの特性によって選択される。ここで、視差ベクトルの特性は、式（３）及び（４）で説明したように、予測された視差ベクトルの偏差が一定であるか否かでありうる。また、ダイレクトモードで、式（３）ないし（５）のような数式は、多視点動画符号化及び復号化装置の設計ステップで決定されることが望ましい。そして、かかる数式は、多視点動画符号化及び復号化装置で共有されねばならない。

以下では、本発明の他の実施形態による視差ベクトルを予測して多視点動画を符号化する方法について説明する。

本発明の一実施形態による補間方法により獲得された視差ベクトルは、信頼性のある値であるが、そうでない場合がある。したがって、高い圧縮性能を獲得するために、本発明による視差ベクトル補間方法及び従来の方法による視差ベクトル探索方法、例えば完全または高速探索方法をいずれも行える。

すなわち、本発明の一実施形態によれば、視差ベクトル補間及び視差ベクトル探索いずれもに対する圧縮率を比較し、視差ベクトル補間の圧縮率が視差ベクトル探索に比べて同等であるか、またはさらに高い場合に、最終的に視差ベクトル補間方法の結果を利用する。視差ベクトル補間の結果が利用される場合、受信端では、ＤＶについての情報なしにＤＶがどのように生成されるかについての情報のみを有していれば、視差ベクトル補間の結果が再生成される。

一方、視差ベクトル探索に対する圧縮率がさらに高くて最終的に視差ベクトル探索が利用される場合には、ＤＶが符号化されて伝送されねばならない。このとき、本発明の一実施形態よって、視差ベクトル探索によるＤＶと視差ベクトル補間によるＤＶとの差が小さい場合には、その差が伝送される。

したがって、フレームが符号化されるとき、視差ベクトル探索によるＭＢと、本発明の一実施形態によるダイレクトモードによるＭＢとは区分されねばならない。次のようにダイレクトモードに対するフラッグｆｌａｇ＿ｄｉｒｅｃｔを定義して、各方法によるＭＢを区別できる。

−視差ベクトル探索によるＤＶ：ｆｌａｇ＿ｄｉｒｅｃｔ＝０
−ダイレクトモードによるＤＶ：ｆｌａｇ＿ｄｉｒｅｃｔ＝１
視差ベクトル探索によるＤＶのｆｌａｇ＿ｄｉｒｅｃｔを１に設定し、ダイレクトモードによるＤＶのｆｌａｇ＿ｄｉｒｅｃｔを０に設定できることはいうまでもない。復号化端では、ＭＢモードに対するフラッグがダイレクトモードであれば、式（３）ないし（５）のような視差ベクトル補間式を利用してＤＶを計算できる。式（３）ないし（５）のうちいかなる式が利用されねばならないかは、符号化端及び復号化端であらかじめ決まらねばならない。

一方、視差ベクトル探索によるＤＶとダイレクトモードによるＤＶとの差が伝送される場合を、基本的な視差ベクトル探索によるＤＶと区別するためにフラッグｆｌａｇ＿ｄｉｆｆを定義して利用できる。探索モード符号化により多視点動画を符号化しても、視差ベクトル補間による視差ベクトルＤＶ＿ｄと視差ベクトル探索による視差ベクトルＤＶ＿ｆとの差が小さい場合には、差値の符号化が圧縮率を高めるのに効率的であるためである。

−ｆｌａｇ＿ｄｉｆｆ＝０である場合には、視差ベクトル探索によるＤＶが伝送される。

−ｆｌａｇ＿ｄｉｆｆ＝１である場合には、視差ベクトル探索によるＤＶとダイレクトモードによるＤＶとの差が伝送される。

もちろん、前記と逆にｆｌａｇ＿ｄｉｆｆ値を設定できる。

したがって、本発明の多視点動画符号化方法では、三つの他のモードを定義できる。

第１モード：（ｆｌａｇ＿ｄｉｒｅｃｔ＝１）＆（ｆｌａｇ＿ｄｉｆｆ＝０または１）
第２モード：（ｆｌａｇ＿ｄｉｒｅｃｔ＝０）＆（ｆｌａｇ＿ｄｉｆｆ＝１）
第３モード：（ｆｌａｇ＿ｄｉｒｅｃｔ＝０）＆（ｆｌａｇ＿ｄｉｆｆ＝０）
第１モードの場合には、ダイレクトモードの場合であるので、残差映像のみを符号化して復号化器に伝達すればよい。第２モードの場合には、残差映像及びダイレクトモードによる視差ベクトルと視差ベクトル探索モードによる視差ベクトルとの差を符号化して伝達すればよい。第３モードの場合には、残差映像及び視差ベクトル探索による視差ベクトルを符号化して伝達すればよい。

図１３は、本発明の他の実施形態による多視点動画符号化装置の構成を示すブロック図である。

本発明の他の実施形態による多視点動画符号化装置は、ダイレクトモード実行部１３１０、補間式提供部１３２０、探索モード実行部１３３０、ダイレクトモードコスト計算部１３４１と探索モードコスト計算部１３４３とを備えるコスト計算部１３４０、比較部１３５０、モード選択部１３６０及び符号化部１３７０を備える。

図１３に示したように、ダイレクトモード実行部１３１０には、現在のフレーム及び参照フレームが入力される。ダイレクトモード実行部１３１０には、符号化しようとするフレームの所定の個数のマクロブロックをあらかじめ符号化し、その所定の個数の符号化されたマクロブロック、すなわちシードＭＢに対する視差ベクトルを従来の視差ベクトル探索により予測する。

次いで、ダイレクトモード実行部１３１０は、所定の個数のあらかじめ符号化されたマクロブロックに対する視差ベクトルを予測し、予測された視差ベクトルを利用して、前記あらかじめ符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを利用して、本発明の視差補間方法によって計算する。すなわち、補間式提供部１３２０により提供された所定の補間式を利用して視差ベクトルを補間することによって、ダイレクトモードによる視差ベクトルＤＶ＿ｄを計算する。

また、ダイレクトモード実行部１３１０は、視差ベクトルＤＶ＿ｄと参照フレームとで補償されたフレームを生成し、補償されたフレームから元来のフレームを差し引いて現在のフレームの残差映像を生成する。ダイレクトモード実行部１３１０は、生成されたＤＶ＿ｄと残差映像とをコスト計算部１３４０のダイレクトモードコスト計算部１３４１に伝達する。

補間式提供部１３２０は、所定の個数のあらかじめ符号化されたマクロブロックに対して予測された視差ベクトルの特性によって選択される少なくとも一つ以上の補間式、例えば式（３）、（４）または（５）を保存している。したがって、ダイレクトモード実行部１３１０は、補間式提供部１３２０により提供された補間式を利用して視差ベクトルを決定できる。

現在のフレーム及び参照フレームは、探索モード実行部１３３０にも入力される。探索モード実行部１３３０で、視差ベクトルＤＶ＿ｆは、従来の視差探索方法により決定され、現在のフレームの残差映像は、ＤＶ＿ｆと参照フレームとを利用して補償されたフレームを生成し、補償されたフレームから元来のフレームを差し引いて現在のフレームの残差映像を生成する。探索モード実行部１３３０は、生成されたＤＶ＿ｆと残差映像とをコスト計算部１３４０の探索モードコスト計算部１３４３に伝達する。

ダイレクトモードコスト計算部１３４１は、ダイレクトモード実行結果に対するコストを計算する。すなわち、ダイレクトモードコスト計算部１３４１は、ＤＶ＿ｄと残差映像とを受信して、ノンシードＭＢと視差ベクトル補間によるＤＶ＿ｄを利用して補償されたＭＢとの間のコストを計算する。

探索モードコスト計算部１３４３は、探索モード実行結果に対するコストを計算する。すなわち、探索モードコスト計算部１３４３は、ＤＶ＿ｆと残差映像とを受信して、ノンシードＭＢと視差探索によるＤＶを利用して補償されたＭＢとの間のコストを計算する。コストは、ビットレートまたは圧縮された映像のＰＳＮＲを計算または予測して決定できる。このとき、コストは、ビットレートのみを利用して決定されてもよく、ＰＳＮＲのみを利用して決定されてもよい。または、所定の基準によって、ビットレートまたはＰＳＮＲをいずれも考慮してコストが決定される。

比較部１３５０は、ダイレクトモードコスト計算部１３４１及び探索モードコスト計算部１３４３で計算された結果を比較して、比較結果をモード選択部１３６０に伝達する。比較部１３５０は、ダイレクトモードコストと探索モードコストとの差を所定の臨界値と比較できる。比較結果、ダイレクトモードコストと探索モードコストとの差が所定の臨界値以上である場合、比較部１３５０は、本発明の視差ベクトル補間による視差ベクトルと従来の視差ベクトル探索方法による視差ベクトルとの差を所定の臨界値と比較して、比較結果をモード選択部１３６０に伝達する。

モード選択部１３６０は、比較結果に基づいてフラッグを決定し、決定されたフラッグによる符号化モードを決定する。モード選択部１３６０は、比較部１３５０から２個のコスト関数間の差が所定の臨界値より小さいという結果が受信されれば、本発明によるダイレクトモードで符号化するためにｆｌａｇ＿ｄｉｒｅｃｔを１に設定できる。また、モード選択部１３６０は、２個のコスト関数間の差が所定の臨界値以上である場合には、従来の方法による視差ベクトル探索により視差ベクトルを決定して多視点映像を符号化するために、ｆｌａｇ＿ｄｉｒｅｃｔを０に設定できる。

ｆｌａｇ＿ｄｉｒｅｃｔを０に設定した場合、モード選択部１３６０は、比較部１３５０から、本発明の視差ベクトル補間による視差ベクトルと従来の視差ベクトル探索方法による視差ベクトルとの差を、所定の臨界値と比較した比較結果を受信してｆｌａｇ＿ｄｉｆｆも決定する。モード選択部１３６０は、前記差が所定の臨界値より小さい場合には、ｆｌａｇ＿ｄｉｆｆを１に設定し、前記差が所定の臨界値以上である場合には、ｆｌａｇ＿ｄｉｆｆを０に設定できる。

モード選択部１３６０は、（ｆｌａｇ＿ｄｉｒｅｃｔ＝１）＆（ｆｌａｇ＿ｄｉｆｆ＝０または１）である場合、第１モードに設定し、（ｆｌａｇ＿ｄｉｒｅｃｔ＝０）＆（ｆｌａｇ＿ｄｉｆｆ＝１）である場合、第２モードに設定し、（ｆｌａｇ＿ｄｉｒｅｃｔ＝０）＆（ｆｌａｇ＿ｄｉｆｆ＝０）である場合、第３モードに設定できる。

符号化部１３７０は、決定されたフラッグ情報と共に決定されたモードによって多視点動画を符号化して送信する。ｆｌａｇ＿ｄｉｒｅｃｔ＝１（第１モード）である場合には、符号化部１３７０は、フラッグ情報と残差映像のみを符号化する。ｆｌａｇ＿ｄｉｒｅｃｔ＝０であり、ｆｌａｇ＿ｄｉｆｆ＝１（第２モード）である場合、残差映像及びダイレクトモードによる視差ベクトルと探索モードによる視差ベクトルとの差を符号化して伝達する。ｆｌａｇ＿ｄｉｒｅｃｔ＝０であり、ｆｌａｇ＿ｄｉｆｆ＝０（第３モード）である場合、残差映像及び探索モードによる視差ベクトルを符号化して伝達する。

図１４は、本発明の他の実施形態による多視点動画符号化方法を示すフローチャートである。

あらかじめ符号化された所定の個数のマクロブロック、すなわちシードＭＢに対する視差ベクトルを従来の視差ベクトル予測方法により決定する（Ｓ１４１０）。ダイレクトモード実行部１３１０には、所定の補間式を利用して視差ベクトル補間により視差ベクトルを計算する（Ｓ１４２０）。ダイレクトモードコスト計算部１３４１は、ダイレクトモード実行部１３１０で生成されて伝達されるＤＶ＿ｄと残差映像とを受信して、ノンシードＭＢと視差ベクトル補間によるＤＶ＿ｄを利用して補償されたＭＢとの間のコストを計算する（Ｓ１４３０）。

一方、探索モード実行部１３３０で視差ベクトルＤＶ＿ｆを従来の視差探索方法により決定する（Ｓ１４４０）。探索モードコスト計算部１３４３は、探索モード実行部１３３０で生成されて伝達されるＤＶ＿ｆと残差映像とを受信して、ノンシードＭＢと視差ベクトル探索によるＤＶ＿ｆを利用して補償されたＭＢとの間のコストを計算する（Ｓ１４５０）。

比較部１３５０は、ダイレクトモードコスト計算部１３４１及び探索モードコスト計算部１３４３で計算された結果を比較して、比較結果をモード選択部１３６０に伝達する（Ｓ１４６０）。モード選択部１３６０は、比較結果に基づいてフラッグを決定し、決定されたフラッグによる符号化モードを決定する（Ｓ１４７０）。符号化部１３７０は、決定されたフラッグ情報と共に、符号化モードによって多視点動画を符号化する（Ｓ１４８０）。

図１５は、本発明の一実施形態による多視点動画復号化装置を示すブロック図である。本発明の一実施形態による多視点動画復号化装置は、モード確認部１５１０、視差ベクトル決定部１５２０、視差補間式提供部１５３０及び復号化部１５４０を備える。

モード確認部１５１０は、受信される多視点動画ビットストリームに含まれる多視点動画符号化モードを表すフラッグ、すなわちｆｌａｇ＿ｄｉｒｅｃｔ及びｆｌａｇ＿ｄｉｆｆを確認して、多視点動画の符号化モードを確認する。

視差ベクトル決定部１５２０は、確認された符号化モードによって視差ベクトルを決定する。視差補間式提供部１５３０は、多視点動画符号化装置と同じ視差補間式を保存しており、視差ベクトル決定部１５２０に視差補間式を提供する。視差ベクトル決定部１５２０は、視差補間式を利用して、ダイレクトモードによって符号化された多視点動画に対する視差ベクトルを計算できる。視差補間式提供部１５３０は、視差ベクトル決定部１５２０に含まれて構成される。

視差ベクトル決定部１５２０は、第１モード、すなわちダイレクトモードで視差ベクトルを決定する場合、残差映像が伝達されるので、多視点動画符号化装置と同じ補間式を利用して視差ベクトルを計算できる。

第２モードの場合には、残差映像及びダイレクトモードによる視差ベクトルＤＶ＿ｄと探索モードによる視差ベクトルＤＶ＿ｆとの差値が伝達される。第２モードの場合、ＤＶ＿ｆは、ダイレクトモードによる視差ベクトルと探索モードによる視差ベクトルとの差値及びＤＶ＿ｄの和であり、ＤＶ＿ｄは、視差補間式提供部１５３０により提供された視差補間式を利用して視差を計算できるので、ＤＶ＿ｆを求めることができる。

第３モードの場合には、残差映像及び探索モードによる視差ベクトルが伝達されるので、伝達された視差ベクトルが復号に利用される。

復号化部１５４０は、各モードによって決定された視差ベクトルと、モード確認部１５１０に受信されて伝達される多視点動画ビットストリームに含まれた残差映像データとを利用して、多視点動画を復号化する。

本発明による方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現される。前記プログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマにより容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上の説明は、本発明の一実施形態に過ぎないだけであり、当業者は、本発明の本質的特性から逸脱しない範囲で変形された形態で具現できるであろう。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。

ＭＰＥＧ−２ＭＶＰを利用したステレオ動画符号化器及び復号化器を示す図である。双方向予測のために、二つの視差予測を使用して視差のみを考慮した予測符号化を示す図である。双方向予測のために、視差ベクトルと移動ベクトルとを使用した予測符号化を示す図である。Ｂピクチャーのダイレクトモードを説明する図である。空間領域で移動ベクトルを予測する方法を説明する図である。本発明の一実施形態による多視点動画符号化装置の内部構成を示すブロック図である。多視点カメラにより撮影されたフレームシーケンスを示す図である。本発明の一実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。図８に示したように視差ベクトルの偏差が一定している場合、視差ベクトルの関係を示す図である。本発明の他の実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。本発明のさらに他の実施形態による既に符号化されたマクロブロックの視差ベクトルＤＶにより、隣接したマクロブロックの視差ベクトルを予測する方法を説明するための図である。本発明の一実施形態による視差ベクトルを予測する方法を説明する図である。本発明の他の実施形態による多視点動画符号化装置の構成を示すブロック図である。本発明の他の実施形態による多視点動画符号化方法を示すフローチャートである。本発明の一実施形態による多視点動画復号化装置を示すブロック図である。

Claims

多視点動画を符号化するために視差ベクトルを予測する方法において、
複数個の符号化されたマクロブロックに対する視差ベクトルを予測するステップと、
前記予測された視差ベクトルを利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するステップとを含み、
前記視差ベクトルを計算するステップは、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される補間式を利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算するステップを含む、
ことを特徴とする視差ベクトルの予測方法。
前記視差ベクトルを予測するステップは、完全探索方法または高速探索方法により、前記符号化されたマクロブロックに対する視差ベクトルを予測するステップを含む、
ことを特徴とする請求項１記載の視差ベクトルの予測方法。
現在のフレームと参照フレームとを受信し、複数個の符号化されたマクロブロックに対する視差ベクトルを予測し、前記予測された視差ベクトルを利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するダイレクトモード実行部と、
前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するための補間式を前記ダイレクトモード実行部に提供する補間式提供部と、前記補間式は、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択され、
前記現在のフレームと参照フレームとを受信し、前記フレームを探索して視差ベクトルを予測する探索モード実行部と、
前記ダイレクトモード実行部で行われた視差ベクトルの決定方法によるダイレクトモードコスト、及び前記探索モード実行部で行われた視差ベクトルの決定方法による探索モードコストをそれぞれ計算するコスト計算部と、
前記計算されたダイレクトモードコスト及び探索モードコストを比較する比較部と、
前記比較結果による符号化モードを選択するモード選択部と、
前記選択された符号化モードによる多視点動画の符号化を行う符号化部と、
を備えることを特徴とする多視点動画符号化装置。
前記ダイレクトモード実行部は、
完全探索方法または高速探索方法により、前記符号化されたマクロブロックに対する視差ベクトルを予測し、前記補間式を利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算する、
ことを特徴とする請求項３記載の多視点動画符号化装置。
前記補間式提供部は、所定の個数の符号化されたマクロブロックに対して予測された視差ベクトルの特性によって選択される少なくとも一つ以上の前記補間式を保存している、
ことを特徴とする請求項４記載の多視点動画符号化装置。
前記コスト計算部は、
前記ダイレクトモード実行部で計算された視差ベクトルＤＶ＿ｄを利用して、ダイレクトモードコストを計算するダイレクトモードコスト計算部と、
前記探索モード実行部で予測された視差ベクトルＤＶ＿ｆを利用して、探索モードコストを計算する探索モードコスト計算部と、
を備えることを特徴とする請求項３記載の多視点動画符号化装置。
前記コスト計算部は、ダイレクトモード及び探索モードそれぞれに対するビットレート及びＰＳＮＲのうち少なくとも一つを計算する、
ことを特徴とする請求項３記載の多視点動画符号化装置。
前記比較部は、前記ダイレクトモードコストと前記探索モードコストとの差及び第１臨界値を比較し、
前記モード選択部は、前記比較結果によってフラッグを設定し、設定されたフラッグによって符号化モードを選択する、
ことを特徴とする請求項６記載の多視点動画符号化装置。
前記比較部は、前記ダイレクトモードコストと前記探索モードコストとの差が第２臨界値以上である場合、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差を所定の臨界値と比較し、
前記モード選択部は、前記比較結果によって前記符号化モードによるフラッグを設定し、設定されたフラッグによって符号化モードを選択する、
ことを特徴とする請求項８記載の多視点動画符号化装置。
前記符号化部は、
前記選択された符号化モードがダイレクトモードである場合、残差映像を符号化し、
前記選択された符号化モードが探索モードであり、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値より小さい場合、残差映像及び前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差を符号化し、
前記選択された符号化モードが探索モードであり、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値以上である場合、残差映像及び前記探索モードによって決定された視差ベクトルＤＶ＿ｆを符号化する、
ことを特徴とする請求項３記載の多視点動画符号化装置。
現在のフレームと参照フレームとを受信するステップと、
複数個の符号化されたマクロブロックに対する視差ベクトルを予測し、前記予測された視差ベクトルを利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するダイレクトモードを行うステップと、前記ダイレクトモードを行うステップは、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される補間式を使用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算し、
前記現在のフレームと参照フレームとを探索して視差ベクトルを予測する探索モードを行うステップと、
前記ダイレクトモードの実行によるコストと、前記探索モードの実行によるコストとをそれぞれ計算するステップと、
前記計算されたコストを比較するステップと、
前記比較結果による符号化モードを選択するステップと、
前記選択された符号化モードによって多視点動画を符号化するステップと、
を含むことを特徴とする多視点動画符号化方法。
前記ダイレクトモードを行うステップは、
完全探索方法または高速探索方法により、前記符号化されたマクロブロックに対する視差ベクトルを予測するステップと、
前記補間式を利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算するステップと、
を含むことを特徴とする請求項１１記載の多視点動画符号化方法。
前記視差ベクトルを補間して計算するステップは、
前記符号化されたマクロブロックに対して予測された視差ベクトルの特性によって選択される少なくとも一つ以上の前記補間式のうち一つを利用して視差ベクトルを計算する、
ことを特徴とする請求項１２記載の多視点動画符号化方法。
前記コストを計算するステップは、
前記ダイレクトモードによって計算された視差ベクトルＤＶ＿ｄを利用して、ダイレクトモードコストを計算するステップと、
前記探索モードによって予測された視差ベクトルＤＶ＿ｆを利用して、探索モードコストを計算するステップと、
を含むことを特徴とする請求項１１記載の多視点動画符号化方法。
前記コストを計算するステップは、
前記ダイレクトモードまたは前記探索モードそれぞれに対するビットレート及びＰＳＮＲのうち少なくとも一つを計算するステップを含む、
ことを特徴とする請求項１１記載の多視点動画符号化方法。
前記コストを比較するステップは、
前記ダイレクトモードコストと前記探索モードコストとの差及び第１臨界値を比較するステップを含み、
前記符号化モードを選択するステップは、
前記比較結果によってフラッグを設定し、設定されたフラッグによって符号化モードを選択するステップを含む、
ことを特徴とする請求項１４記載の多視点動画符号化方法。
前記コストを比較するステップは、
前記ダイレクトモードコストと前記探索モードコストとの差が第１臨界値以上である場合、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差を第２臨界値と比較し、
前記符号化モードを選択するステップは、
前記比較結果によってフラッグを設定し、設定されたフラッグによって符号化モードを選択するステップを含む、
ことを特徴とする請求項１６記載の多視点動画符号化方法。
前記符号化するステップは、
前記選択された符号化モードがダイレクトモードである場合、残差映像を符号化するステップを含み、
前記選択された符号化モードが探索モードであり、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値より小さい場合、残差映像及び前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによる視差ベクトルＤＶ＿ｆとの差を符号化するステップを含み、
前記選択された符号化モードが探索モードであり、前記ダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差が所定の臨界値以上である場合、残差映像及び前記探索モードによる視差ベクトルを符号化するステップを含む、
ことを特徴とする請求項１１記載の多視点動画符号化方法。
受信される多視点動画ビットストリームに含まれる符号化モードを表すフラッグを確認して、符号化モードを確認する符号化モード確認部と、
前記確認された符号化モードによって視差ベクトルを決定する視差ベクトル決定部と、
前記確認された符号化モードによって決定された視差ベクトルと、前記多視点動画ビットストリームに含まれた残差映像データとを利用して多視点動画を復号化する復号化部と、を備え、
前記視差ベクトル決定部は、多視点動画符号化装置と同じ視差補間式を利用して視差ベクトルを計算し、前記視差補間式は、前記多視点動画符号化装置において、前記確認された符号化モードに従って符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するため、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される、
ことを特徴とする多視点動画復号化装置。
前記モード確認部で確認された符号化モードが、残差映像が受信される第１モードである場合、前記視差ベクトル決定部は、前記視差補間式を利用して視差ベクトルを計算し、
前記モード確認部で確認された符号化モードが、残差映像及びダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、前記探索モードによって決定された視差ベクトルＤＶ＿ｆとの差値が伝達される第２モードである場合、前記視差ベクトル決定部は、前記差値及び前記視差補間式を利用して計算された視差を合わせて視差ベクトルを計算する、
ことを特徴とする請求項１９記載の多視点動画復号化装置。
受信された多視点動画ビットストリームに含まれる符号化モードを表すモード情報を利用して符号化モードを決定するステップと、
前記符号化モードによって視差ベクトルを決定するステップと、
前記符号化モードによって決定された視差ベクトルと、前記多視点動画ビットストリームに含まれた残差映像データとを利用して、多視点動画を復号化するステップと、を含み、
前記視差ベクトルを決定するステップは、
多視点動画符号化装置と同じ視差補間式を利用して視差ベクトルを計算するステップを含み、前記視差補間式は、前記多視点動画符号化装置において、前記確認された符号化モードに従って符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するため、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される、
ことを特徴とする多視点動画復号化方法。
前記視差ベクトルを決定するステップは、
前記符号化モードが、残差映像が受信される第１モードである場合、前記視差補間式を利用して視差を計算するステップを含み、
前記符号化モードが、残差映像及びダイレクトモードによって決定された視差ベクトルＤＶ＿ｄと、探索モードによって決定された視差ベクトルＤＶ＿ｆとの差値が伝達される第２モードである場合、前記差値及び前記視差補間式を利用して計算された視差を合わせて視差ベクトルを計算するステップを含む、
ことを特徴とする請求項２１記載の多視点動画復号化方法。
コンピュータに、
複数個の符号化されたマクロブロックに対する視差ベクトルを予測するステップと、
前記予測された視差ベクトルを利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するステップとを含み、
前記視差ベクトルを計算するステップは、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される補間式を利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを補間して計算するステップを含む、
多視点動画を符号化するための視差ベクトルの予測方法を実行させるためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
コンピュータに、
現在のフレームと参照フレームとを受信するステップと、
複数個の符号化されたマクロブロックに対する視差ベクトルを予測し、前記予測された視差ベクトルを利用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するダイレクトモードを行うステップと、前記ダイレクトモードを行うステップは、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される補間式を使用して、前記符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算し、
前記現在のフレームと参照フレームとを探索して視差ベクトルを予測する探索モードを行うステップと、
前記ダイレクトモードの実行によるコストと、前記探索モードの実行によるコストとをそれぞれ計算するステップと、
前記計算されたコストを比較するステップと、
前記比較結果による符号化モードを選択するステップと、
前記選択された符号化モードによって多視点動画を符号化するステップと、
を含む多視点動画符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
受信される多視点動画ビットストリームに含まれる符号化モードを表すモード情報を利用して符号化モードを決定するステップと、
前記符号化モードによって視差ベクトルを決定するステップと、
前記符号化モードによって決定された視差ベクトルと、前記多視点動画ビットストリームに含まれた残差映像データとを利用して多視点動画を復号化するステップと、を含み、
前記視差ベクトルを決定するステップは、
多視点動画符号化装置と同じ視差補間式を利用して視差ベクトルを計算するステップを含み、前記視差補間式は、前記多視点動画符号化装置において、前記決定された符号化モードに従って符号化されたマクロブロックに隣接して位置するマクロブロックの視差ベクトルを計算するため、前記符号化されたマクロブロックに対して決定された視差ベクトルの特性によって選択される、
多視点動画復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。