JP5268645B2 - カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体 - Google Patents

Description

本発明は、多視点映像符号化及び復号化装置に係り、多視点映像符号化を迅速に行い、圧縮率を向上させるための視差ベクトルの予測方法、及び視差ベクトルの予測方法を利用する多視点映像符号化及び復号化装置に関する。

最近、新たなＨ．２６４ビデオコーディング標準が以前の標準に比べて高い符号化効率により注目されている。この新たな標準は、一般的な双方向Ｂ予測スライスを考慮するだけでなく、１６×１６から４×４にわたる可変ブロックサイズ、ループデブロッキングフィルタで移動補償のためのクワッドトリー構造、多重参照フレーム、イントラ予測、コンテキスト適応性エントロピーコーディングを考慮するように色々な新たな特性に依存する。ＭＰＥＧ−２及びＭＰＥＧ−４パート２のような標準と異なり、Ｂスライスは、同じ方向（順方向または逆方向）から得られる多重予測を利用しつつ、それらは、他のスライスの参照映像として利用される。しかし、この標準に関する前述したような特徴は、予測モード、移動ベクトル及び／または参照映像を含む移動情報を符号化するのに多くのビット量が要求されるという問題点がある。

この問題を緩和するために、スキップ及びダイレクトモードがＰスライス及びＢスライスにそれぞれ導入された。それらのモードは、以前に符号化された移動ベクトル情報を利用して、現在符号化しようとするピクチャーの任意のブロックの移動予測を可能にする。したがって、マクロブロックまたは所定のブロックに対するある付加的な移動データを符号化しない。それらのモードのための移動は、隣接したマクロブロックまたはピクチャーの移動の空間的（ＳＫＩＰ）または時間的（ＤＩＲＥＣＴ）関連性を利用して獲得される。

図１は、Ｂピクチャーのダイレクトモードを説明する図である。

ダイレクトモードは、現在符号化しようとするＢピクチャーの任意のブロックの移動予測において、時間的に次のピクチャーであるＰピクチャーの対応ブロックの移動ベクトルを利用して、順方向移動ベクトル及び逆方向移動ベクトルを求めるものである。

Ｂピクチャー１１０での移動を予測しようとするダイレクトモードブロック１０２の順方向移動ベクトルＭＶ_ＬＯ及び逆方向移動ベクトルＭＶ_Ｌ１を計算するために、時間的に次のピクチャーである参照リスト１ピクチャー１２０でのダイレクトモードブロック１０２と同じ位置のブロックである対応ブロック１０４が、移動ベクトルにより参照している参照リスト０ピクチャー１３０に対する移動ベクトルＭＶを探す。これにより、Ｂピクチャー１１０のダイレクトモードブロック１０２の順方向移動ベクトルＭＶ_ＬＯ及び逆方向移動ベクトルＭＶ_Ｌ１は、次の式（１），（２）により計算される。

ここで、ＭＶは、参照リスト１ピクチャー１２０の対応ブロック１０４の移動ベクトルを表す。ＴＲ_Ｄは、参照リスト０ピクチャー１３０と参照リスト１ピクチャー１２０との距離を表し、ＴＲ_Ｂは、Ｂピクチャー１１０と参照リスト０ピクチャー１３０との距離を表す。

図２は、空間領域で移動ベクトルを予測する方法を説明する図である。

動画データを符号化するために使われるＨ．２６４標準によれば、一つのフレームを所定サイズのブロックに分けて、既に符号化が終わった隣接したフレームを参照して最も類似したブロックを検索する移動検索を行う。すなわち、現在のマクロブロックｃの左側４、上端２及び上端右側３の三つのマクロブロックの移動ベクトルのうち中間値を移動ベクトルの予測値と決める。かかる移動ベクトル予測は、次の式（３）で表す。

このように、時間的な関連性だけでなく、空間的関連性を利用して動画を符号化する方法が提示されており、一般的な動画より情報量がはるかに多い多視点映像に対しても圧縮率を向上させ、処理速度を速める方法が必要な実情である。

本発明が解決しようとする課題は、カメラパラメータを利用して視差を予測することによって、多視点映像の圧縮率を向上させ、多視点映像符号化を迅速に行うための多視点映像符号化方法及び装置を提供するところにある。

前記課題を解決するために、本発明の一特徴による多視点映像の視差ベクトルを予測する方法は、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトルを決定するステップと、決定された視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算するステップと、を含む。

本発明の他の特徴による多視点映像符号化装置は、多視点映像及び所定のカメラパラメータを受信する多視点映像入力部と、所定のカメラパラメータ及び多視点映像を含む符号化された多視点ビットストリームを生成する符号化部と、を備え、符号化部は、所定のカメラパラメータがトランスレーションパラメータであるとき、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算する空間的ダイレクトモードで視差を予測する空間的ダイレクトモード実行部を備える。

本発明のさらに他の特徴による符号化された多視点映像ビットストリームを受信し、多視点映像ビットストリームに含まれた視差ベクトルの予測方法を表す情報を確認する情報確認部と、確認された情報によって、符号化された多視点映像を復号化する復号化部と、を備え、復号化部は、確認された情報が空間的ダイレクトモードを表すとき、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算して視差を予測する空間的ダイレクトモード実行部を備える。

本発明によれば、多視点映像の圧縮率を向上させ、多視点映像符号化を迅速に行うために、カメラパラメータ、特にトランスレーションパラメータを利用して視差を予測する方法を提供できる。

また、本発明によれば、カメラパラメータを利用して視差を予測する方法を利用して、多視点映像符号化及び復号化装置を提供できる。

以下、添付した図面を参照して、本発明の望ましい実施形態について詳細に説明する。

図３は、本発明の一実施形態による多視点映像符号化装置の構成を示すブロック図である。本発明の一実施形態による多視点映像符号化装置は、多視点映像バッファ３１０、予測部３２０、視差／移動補償部３３０、残差映像符号化部３４０及びエントロピー符号化部３５０を備える。

図３において、多視点映像符号化装置は、複数のカメラシステムまたは他の可能な方法から通常的に獲得される多視点ビデオソースを受信する。入力された多視点ビデオは、多視点映像バッファ３１０に保存される。多視点映像バッファ３１０は、保存された多視点映像ソースデータを予測部３２０及び残差映像符号化部３４０に提供する。

予測部３２０は、視差予測部３２２及び移動予測部３２４を備え、保存された多視点ビデオソースに対して移動予測及び視差予測を実行する。

視差／移動補償部３３０は、視差及び移動補償を、視差予測部３２２及び移動予測部３２４で予測された移動ベクトル及び視差ベクトルを利用して実行する。視差／移動補償部３３０は、予測された移動及び視差ベクトルを利用して復元された映像を残差映像符号化部３４０に提供する。

残差映像符号化部３４０は、多視点映像バッファ３１０から提供される元来映像と、視差／移動補償部３３０により補償された復元映像との残差情報を、さらに良好な画質と立体感とを提供するために残差映像の符号化を行って、エントロピー符号化部３５０に提供する。

エントロピー符号化部３５０は、予測部３２０で生成された視差ベクトル及び移動ベクトルについての情報と、残差映像符号化部３４０からの残差映像とを入力されて、多視点映像ソースデータに対するビットストリームを生成する。

Ｈ．２６４及びＭＰＥＧ ２／４のような従来のコーデックで利用される移動予測及び移動補償のための移動情報のように、図３の視差予測部３２２で予測される視差情報は、視差補償のために利用される。Ｈ．２６４で移動情報を減らして符号化効率を向上させるための試みが行われたように、ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）でも視差情報を減らして符号化効率を向上させるための試みが行われねばならない。

図４は、本発明の一実施形態によるカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。３個の多視点カメラが対応ポイントを撮影したとき、対応ポイントが３個の多視点カメラにより撮影された映像は、図４に示した通りである。映像１で対応ポイントはＸで表れ、映像２で対応ポイントはＸ’で表れ、映像３で対応ポイントはＸ”で表れる。

図４において、映像１のＸ−Ｙ−Ｚ座標系の３次元空間上の所定のピクセル位置にある映像ポイントＸの位置をＸ＝（ｘ，ｙ，１）^Ｔと仮定する。ここで、ｘ及びｙは、それぞれｘ−ｙ平面のｘ座標及びｙ座標に対する値をＺ軸に該当する値に正規化した値を意味したものである。これにより、映像２での対応ポイントＸ’及び映像３での対応ポイントＸ”は、それぞれ次の式（４）及び式（５）で表す。

式（４）及び（５）において、Ｋ、Ｋ’及びＫ”は、映像１、映像２及び映像３に対するカメラ内部のパラメータである。Ｒ_１２、Ｒ_１３は、映像１に対する映像２及び映像３のカメラローテーションパラメータである。ｔ_１２及びｔ_１３は、映像１に対する映像２及び映像３のカメラトランスレーションパラメータである。Ｚは、所定のポイントのＺ座標に対する値である。

図５は、本発明の一実施形態による純粋トランスレーションカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。カメラ固有の特性がいずれも同じ多視点カメラが所定の物体に対して一直線上に平行に配列されている時を純粋トランスレーションセットアップとするとき、３個の多視点カメラで撮影された映像は、図２に示した通りである。この場合、式（４）及び（５）で、Ｒ＝Ｉ（単位マトリックス）、Ｋ＝Ｋ’＝Ｋ”が成立される。

図５において、Ｘ’及びＸ”が映像１のポイントＸに対する対応ポイントである。純粋トランスレーションセットアップである時には、ＸとＸ’との位置の差は、ＸとＸ’との視差ベクトルｄｖ１に対応し、Ｘ’とＸ”との位置の差は、Ｘ’とＸ”との視差ベクトルｄｖ２に対応し、ＸとＸ”との位置の差は、ＸとＸ”との視差ベクトルｄｖ３に対応する。純粋トランスレーションセットアップであるとき、Ｘ、Ｘ’及びＸ”間の関係は、次のような式（６）、式（７）及び式（８）で表す。

式（６）及び式（７）から、次の式（９）が誘導される。

ｔ_１２、ｔ_１３及びＸ”−Ｘ、すなわちｄｖ３の値が分かるとき、Ｘ’−Ｘ、すなわちｄｖ１の値が従来の視差ベクトル探索方法によらずに式（９）を利用して得られる。

一方、式（６）及び式（８）から、次の式（１０）を誘導できる。

ｔ_１２、ｔ_２３及びＸ’−Ｘ、すなわちｄｖ１の値が分かるとき、Ｘ”−Ｘ’、すなわちｄｖ２の値が従来の視差ベクトル探索方法によらずに式（１０）を利用して得られる。

結果的に、多視点カメラのセットアップで純粋トランスレーションのみが存在し、カメラトランスレーションパラメータの値が知られているとき、現在の符号化フレームの所定のポイントＸ’と第１参照フレームの対応ポイントＸ”との視差ベクトルは、現在の符号化フレームの所定のポイントＸと第２参照フレームの対応ポイントＸ’との視差ベクトルを利用して予測できる。

純粋トランスレーション多視点カメラセットアップ以外にも、他の形態で多視点カメラを設置できる。しかし、他の形態で多視点カメラを設置して多視点映像を撮影する場合にも、多視点映像を符号化するための前処理または後処理として補正過程を経る場合には、純粋トランスレーション多視点カメラセットアップと同じ条件が成立される。したがって、純粋トランスレーション多視点カメラセットアップが成立される場合、前述したように視差ベクトルを予測することが可能になるので、トランスレーションに該当するカメラパラメータを利用して多視点映像を符号化する必要がある。

図６Ａは、多視点カメラから撮影された隣接した３個の映像を示す図であり、図６Ｂは、図６Ａに示した３個の映像を重ねた画面を示す図である。

３個の多視点カメラで図６Ａに示したような物体を撮影したとき、映像６０１は、左側に位置したカメラで撮影した第１視点の映像であり、映像６０２は、中間に位置したカメラで撮影した第２視点の映像であり、映像６０３は、右側に位置したカメラで撮影した第３視点の映像である。第１視点の映像６０１の左側面から所定のブロックＭＢ１までの距離は、Ｘ１である。第２視点の映像６０２の左側面から第１視点の映像６０１の所定のブロックＭＢ１に対応するブロックＭＢ２までの距離は、Ｘ２である。第３視点の映像６０３の左側面から第１視点の映像６０１の所定のブロックＭＢ１に対応するブロックＭＢ３までの距離は、Ｘ３である。

図６Ｂにおいて、映像６１１は、第１視点の映像６０１と第２視点の映像６０２とを重ねた映像であり、映像６１２は、第２視点の映像６０２と第３視点の映像６０３とを重ねた映像である。映像６１１のＸ１２は、第１視点の映像６０１のＭＢ１と第２視点の映像６０２のＭＢ２との視差であり、映像６１２のＸ２３は、第２視点の映像６０２のＭＢ２と第３視点の映像６０３のＭＢ３との視差である。すなわち、Ｘ１２＝Ｘ１−Ｘ２であり、Ｘ２３＝Ｘ２−Ｘ３である。多視点カメラが同じ間隔で平行に配列されているとき、視差Ｘ１２と視差Ｘ２３とは同一である。かかる場合を一般化させて、図７のように表す。

図７は、本発明の一実施形態によるマルチビューカメラ間の距離による対応ポイント間の関係を示す図である。図７において、ｃｄ１は、視点ｎ−１と視点ｎとのカメラの距離を表し、ｃｄ２は、視点ｎと視点ｎ＋１とのカメラの距離を表す。ｄｖ１は、視点ｎ−１と視点ｎとの所定の対応ブロックまたは対応ポイントに対する視差ベクトルを表し、ｄｖ２は、視点ｎと視点ｎ＋１との所定の対応ブロックまたは対応ポイントに対する視差ベクトルを表す。

図７に示したように、ｄｖ１及びｄｖ２が一直線上に位置すると表すとき、次のような式（１１）が成立する。

ｄｖ２＝ｄｖ１×ｃｄ２／ｃｄ１ （１１）
したがって、ｄｖ１、ｃｄ１及びｃｄ２があらかじめ知られるか、または予測される場合、ｄｖ２は、従来の予測方法によらずにそれらの値により計算される。また、図１０及び式（１１）から、ｃｄ１＝ｃｄ２であれば、ｄｖ２＝ｄｖ１という関係が成立されるということが分かる。また、ｃｄ２／ｃｄ１の値は、トランスレーションパラメータに対応する値である。

図８は、本発明の一実施形態による対応ポイントを探すための方法を示す図である。

図７を参照して説明したように、式（１１）を利用して視差ベクトルが計算される対応ブロックまたは対応ポイントを探しがたい。しかし、現在予測しようとする現在のブロックに隣接したブロックは、現在のブロックと類似した視差ベクトルを有する。したがって、図７は、図８のように変形して利用できる。

図８において、ｃｄ３は、視点ｎ−１と視点ｎとの間のカメラの距離を表し、ｃｄ４は、視点ｎと視点ｎ＋１との間のカメラの距離を表す。ｄｖ３は、視点ｎ−１と視点ｎとの所定の対応ブロックまたは対応ポイントに対する視差ベクトルを表し、ｄｖ４は、視点ｎ＋１の現在のブロックの視点ｎに対する視差ベクトルを表す。

本発明の一実施形態によれば、視点ｎ＋１に位置する現在のブロックの視点ｎに対する視差ベクトルｄｖ４は、視点ｎの現在のブロックと同一位置のブロックと、視点ｎ−１に存在する視点ｎの同一位置のブロックの対応ブロックとの視差ベクトルｄｖ３を利用して予測できる。したがって、現在のブロックに対する視差ベクトルは、式（１１）と類似した式（１２）のように計算される。

ｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３ （１２）
ｃｄ４／ｃｄ３の値は、トランスレーションパラメータに対応する値である。図７及び図８を参照して、視点ｎ−１、視点ｎ及び視点ｎ＋１の映像に対する視差ベクトルの関係を説明したが、式（１１）及び（１２）は、図７及び図８に示したように直接的に隣接した映像だけでなく、所定の間隔で離れている映像の間にも利用される。本明細書では、本発明の一実施形態によって視差ベクトルを予測する方法を空間的ダイレクトモードという。

図９は、本発明の一実施形態による空間的ダイレクトモードによる視差ベクトルの予測方法を示す図である。

ステップＳ９１０で、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトルを決定する。ステップＳ９２０で、このように決定された視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算する。

さらに詳細に説明すれば、例えば、現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、現在の視点フレームの視差ベクトルをｄｖ２とするとき、ｄｖ２は、式（１１）、すなわちｄｖ２＝ｄｖ１×ｃｄ２／ｃｄ１により計算される。ここで、ｄｖ１は、二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ２は、第２視点フレームの第１対応ブロックと、現在の視点フレームの第１対応ブロックに対応する第２対応ブロックとの視差ベクトルである。また、前述したように、ｃｄ１は、第１視点フレーム及び第２視点フレームをそれぞれ撮影したカメラ間の距離であり、ｃｄ２は、第２視点フレーム及び現在の視点フレームをそれぞれ撮影したカメラ間の距離であり、ｃｄ２／ｃｄ１は、トランスレーションパラメータに対応する値である。

一方、本発明の視差ベクトルの予測方法は、現在予測しようとする現在のブロックに隣接したブロックは、現在のブロックと類似した視差ベクトルを有するという点を考慮するとき、次のような場合にも利用される。例えば、現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、現在の視点フレームの視差ベクトルをｄｖ４とするとき、ｄｖ４は、式（１２）、すなわちｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３により計算される。

ここで、ｄｖ３は、二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ４は、現在の視点フレームの第１対応ブロックと同じ位置に存在する第２ブロックの第２視点フレームに対する視差ベクトルである。第２ブロックは、第１ブロックと同じ位置に存在する現在の視点フレームのブロックであり、図８に示した現在のブロックである。このように、ｄｖ４は、第２視点フレームと現在の視点フレームとの間の第１ブロックと同じ位置に存在する第２ブロックの視差ベクトルである。前述したように、ｃｄ３は、第１視点フレーム及び第２視点フレームをそれぞれ撮影したカメラ間の距離であり、ｃｄ４は、第２視点フレーム及び現在の視点フレームをそれぞれ撮影したカメラ間の距離であり、ｃｄ４／ｃｄ３は、トランスレーションパラメータに対応する値である。

本発明の一実施形態による第１視点フレーム、第２視点フレーム及び現在の視点フレームは、第１カメラ、第２カメラ及び第３カメラの順で平行に配列されている第１カメラ、第２カメラ及び第３カメラからそれぞれ撮影された映像である。また、本発明で利用されるトランスレーションパラメータは、前述したｃｄ２／ｃｄ１またはｃｄ４／ｃｄ３のように多視点カメラ間の距離と関連する値であって、多視点カメラシステムから伝達される。

本発明の一実施形態による空間的ダイレクトモードは、多視点映像符号化装置及び多視点映像復号化装置でそれぞれ行われる。本発明の視差ベクトルの予測方法を利用する場合には、多視点映像符号化装置は、あらゆる視差ベクトルを符号化して伝送する必要がなく、多視点映像復号化装置でも、本発明の空間的ダイレクトモードによる視差ベクトルの予測方法により視差ベクトルを決定できるので、多視点映像符号化及び復号化を効率的に行える。

図１０は、本発明の一実施形態による空間的ダイレクトモードを行う多視点映像符号化装置を示すブロック図である。

本発明の一実施形態による少なくとも３個の多視点映像を受信して符号化する多視点映像符号化装置は、多視点映像入力部１０１０及び符号化部１０２０を備える。

多視点映像入力部１０１０は、複数個のカメラで構成された多視点カメラシステムから多視点映像及び所定のカメラパラメータを受信する。符号化部１０２０は、所定のカメラパラメータ及び多視点映像を含む符号化された多視点映像ビットストリームを生成する。

符号化部１０２０は、視差ベクトルを予測するとき、本発明の一実施形態による空間的ダイレクトモードを行うために空間的ダイレクトモード実行部１０２１を備える。空間的ダイレクトモード実行部１０２１は、所定のカメラパラメータがトランスレーションパラメータであるとき、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算する空間的ダイレクトモードで視差を予測する。

空間的ダイレクトモード実行部１０２１の動作は、図９を参照して前述した通りである。空間的ダイレクトモード実行部１０２１は、式（１１）または式（１２）を利用して視差ベクトルを計算できる。

符号化部１０２０は、多視点映像符号化に利用された視差ベクトルの予測方法を表す情報を設定して、多視点映像ビットストリームを伝送する。また、符号化部１０２０は、以前に伝送したトランスレーションパラメータと同じ値を利用して多視点映像を符号化する場合、トランスレーション行列に変化のないことを表す情報をさらに設定して、多視点映像ビットストリームを伝送できる。したがって、本発明の多視点映像符号化装置は、あらかじめ伝送されたトランスレーションパラメータを再び送る必要がないので、多視点映像符号化効率が向上する。視差ベクトルの予測方法を表す情報やトランスレーション行列に変化のないことを表す情報は、それぞれ多視点映像ビットストリームに含まれるフラッグ情報に設定される。

また、本発明の一実施形態による多視点映像符号化装置は、従来の多視点映像符号化方法及び本発明の空間的ダイレクトモードを行う多視点映像符号化方法をそれぞれ行い、その結果、多視点映像の符号化効率の高い方法を選択して多視点映像を符号化するように構成されることもある。

図１１は、本発明の一実施形態による空間的ダイレクトモードを行う多視点映像復号化装置を示すブロック図である。

本発明の一実施形態による多視点映像を復号化する装置は、情報確認部１１１０及び復号化部１１２０を備える。情報確認部１１１０は、符号化された多視点映像ビットストリームを受信し、受信された多視点映像ビットストリームに含まれた視差ベクトルの予測方法を表す情報を確認する。そして、復号化部１１２０は、確認された情報によって符号化された多視点映像を復号化する。

復号化部１１２０は、本発明の一実施形態による空間的ダイレクトモードを行って視差ベクトルを決定するために、空間的ダイレクトモード実行部１１２１を備える。空間的ダイレクトモード実行部１１２１は、確認された情報が空間的ダイレクトモードを表すとき、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算して視差を決定する。

空間的ダイレクトモード実行部１１２１の動作は、図９を参照して前述した通りである。空間的ダイレクトモード実行部１１２１は、式（１１）または式（１２）を利用して視差ベクトルを計算できる。

一方、トランスレーションパラメータは、多視点カメラ間の距離と関連した値であって、多視点映像符号化装置から伝達される。多視点映像符号化装置からトランスレーションパラメータが伝送されず、あらかじめ受信されたトランスレーションパラメータが変更されていないことを表す情報が伝送される場合、復号化部１１２０は、あらかじめ伝送されて受信されたトランスレーションパラメータを利用して多視点映像を復号化できる。

本発明による方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現される。前記プログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマにより容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上の説明は、本発明の一実施形態に過ぎず、当業者は、本発明の本質的特性から逸脱しない範囲で変形された形態で具現できるであろう。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。

Ｂピクチャーのダイレクトモードを説明する図である。 空間領域で移動ベクトルを予測する方法を説明する図である。 本発明の一実施形態による多視点映像符号化装置の構成を示すブロック図である。 本発明の一実施形態によるカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。 本発明の一実施形態による純粋トランスレーションカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。 多視点カメラから撮影された隣接した３個の映像を示す図である。 図６Ａに示した３個の映像を重ねた画面を示す図である。 本発明の一実施形態によるマルチビューカメラ間の距離による対応ポイント間の関係を示す図である。 本発明の一実施形態による対応ポイントを探すための方法を示す図である。 本発明の一実施形態による空間的ダイレクトモードによる視差ベクトルの予測方法を示す図である。 本発明の一実施形態による空間的ダイレクトモードを行う多視点映像符号化装置を示すブロック図である。 本発明の一実施形態による空間的ダイレクトモードを行う多視点映像復号化装置を示すブロック図である。

Claims (12)

1. 多視点映像の視差ベクトルを予測する方法において、
   現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトルを決定するステップと、
   前記二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算するステップと、を含み、
   前記トランスレーションパラメータは、多視点映像を提供する複数個のカメラ間の距離と関連する値であり、
   前記現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、前記現在の視点フレームの視差ベクトルをｄｖ４とするとき、ｄｖ４は、次の式
   ｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３により計算され、
   ここで、ｄｖ３は、前記二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの前記所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ４は、前記第１対応ブロックと同じ位置に存在する現在の視点フレームの第２ブロックの第２視点フレームに対する視差ベクトルであり、ｃｄ４／ｃｄ３は、前記トランスレーションパラメータに対応する値であることを特徴とする視差ベクトルの予測方法。
2. 前記第１視点フレーム、前記第２視点フレーム及び前記現在の視点フレームは、第１カメラ、第２カメラ及び第３カメラの順で平行に配列されている第１カメラ、第２カメラ及び第３カメラからそれぞれ撮影された映像であることを特徴とする請求項１に記載の視差ベクトルの予測方法。
3. 前記トランスレーションパラメータは、複数個のカメラ間の距離と関連した値であって、複数のカメラを備える多視点カメラシステムから伝達されることを特徴とする請求項１に記載の視差ベクトルの予測方法。
4. 多視点映像及びトランスレーションパラメータを受信する多視点映像入力部と、
   トランスレーションパラメータ及び前記多視点映像を含む符号化された多視点映像ビットストリームを生成する符号化部と、を備え、
   前記符号化部は、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び前記トランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算する空間的ダイレクトモードで視差を予測する空間的ダイレクトモード実行部を備え、
   前記トランスレーションパラメータは、多視点映像を提供する複数個のカメラ間の距離と関連する値であり、
   前記空間的ダイレクトモード実行部は、
   前記現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、前記現在の視点フレームの視差ベクトルをｄｖ４とするとき、ｄｖ４は、次の式
   ｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３を利用して計算し、
   ここで、ｄｖ３は、前記二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの前記所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ４は、現在の視点フレームの前記第１対応ブロックと同じ位置に存在する第２ブロックの第２視点フレームに対する視差ベクトルであり、ｃｄ４／ｃｄ３は、前記トランスレーションパラメータに対応する値であることを特徴とする多視点映像符号化装置。
5. 前記第１視点フレーム、前記第２視点フレーム及び前記現在の視点フレームは、第１カメラ、第２カメラ及び第３カメラの順で平行に配列されている第１カメラ、第２カメラ及び第３カメラからそれぞれ撮影された映像であることを特徴とする請求項４に記載の多視点映像符号化装置。
6. 前記トランスレーションパラメータは、複数個のカメラ間の距離と関連した値であって、前記複数個のカメラを備える多視点カメラから伝達されることを特徴とする請求項４に記載の多視点映像符号化装置。
7. 前記符号化部は、前記多視点映像符号化に利用された視差ベクトルの予測方法を表す情報を設定して、前記多視点映像ビットストリームを伝送することを特徴とする請求項４に記載の多視点映像符号化装置。
8. 前記符号化部は、以前に伝送したトランスレーションパラメータと同じ値を利用して多視点映像を符号化する場合、前記トランスレーション行列に変化のないことを表す情報をさらに設定して、前記多視点映像ビットストリームを伝送することを特徴とする請求項７に記載の多視点映像符号化装置。
9. 符号化された多視点映像ビットストリームを受信し、前記多視点映像ビットストリームに含まれた視差ベクトルの予測方法を表す情報を確認する情報確認部と、
   前記確認された情報によって、前記符号化された多視点映像を復号化する復号化部と、を備え、
   前記復号化部は、前記確認された情報が空間的ダイレクトモードを表すとき、現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算して視差を予測する空間的ダイレクトモード実行部を備え、
   前記トランスレーションパラメータは、多視点映像を提供する複数個のカメラ間の距離と関連する値であり、
   前記空間的ダイレクトモード実行部は、
   前記現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、前記現在の視点フレームの視差ベクトルをｄｖ４とするとき、ｄｖ４は、次の式
   ｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３を利用して計算し、
   ここで、ｄｖ３は、前記二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの前記所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ４は、現在の視点フレームの前記第１対応ブロックと同じ位置に存在する第２ブロックの第２視点フレームに対する視差ベクトルであり、ｃｄ４／ｃｄ３は、前記トランスレーションパラメータに対応する値であることを特徴とする多視点映像復号化装置。
10. 前記トランスレーションパラメータは、前記多視点カメラ間の距離と関連した値であって、多視点映像符号化装置から伝達されることを特徴とする請求項９に記載の多視点映像復号化装置。
11. 多視点映像符号化装置から前記トランスレーションパラメータが受信されず、あらかじめ受信されたトランスレーションパラメータが変更されなかったことを表す情報が伝送される場合、前記復号化部は、前記受信されたトランスレーションパラメータを利用して多視点映像を復号化することを特徴とする請求項９に記載の多視点映像復号化装置。
12. 現在の視点とは異なる視点を有する二つのフレーム間の視差ベクトルを決定するステップと、
    前記二つのフレーム間の視差ベクトル及び所定のトランスレーションパラメータを利用して、現在の視点フレームの視差ベクトルを計算するステップと、を含み、
    前記トランスレーションパラメータは、多視点映像を提供する複数個のカメラ間の距離と関連する値であり、
    前記現在の視点とは異なる視点を有する二つのフレームが第１視点フレーム及び第２視点フレームであり、前記現在の視点フレームの視差ベクトルをｄｖ４とするとき、ｄｖ４は、次の式
    ｄｖ４＝ｄｖ３×ｃｄ４／ｃｄ３により計算され、
    ここで、ｄｖ３は、前記二つのフレーム間の視差ベクトルであって、第１視点フレームの所定のブロックと、第２視点フレームの前記所定のブロックに対応する第１対応ブロックとの視差ベクトルであり、ｄｖ４は、前記第１対応ブロックと同じ位置に存在する現在の視点フレームの第２ブロックの第２視点フレームに対する視差ベクトルであり、ｃｄ４／ｃｄ３は、前記トランスレーションパラメータに対応する値である多視点映像の視差ベクトルの予測方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images