JP4842945B2

JP4842945B2 - パノラマ映像の動き推定及び補償

Info

Publication number: JP4842945B2
Application number: JP2007525548A
Authority: JP
Inventors: パク，グァン−フン; ソン，ソン−ホ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-08-13
Filing date: 2005-08-12
Publication date: 2011-12-21
Anticipated expiration: 2025-08-12
Also published as: JP2008510358A; KR20060015225A; CN101002479A; US20060034374A1; KR100677142B1; CN100544444C

Description

本発明は、パノラマ映像の動き推定及び補償に係り、さらに詳細には、３６０°全方向映像情報を含むパノラマ映像の動き推定方法、動き推定装置、動き補償方法及び動き補償装置に関する。

全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向撮影の可能なカメラシステムをいう。全方向ビデオカメラシステムは、カメラに双曲面ミラーのような特殊形態のミラーや、魚眼レンズのような特殊レンズを装着するか、複数のカメラを利用して全方向を撮影する。

全方向ビデオエンコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技などで多様な視点からの光景についての映像情報は、視聴者側の端末に全て与えられる。すなわち、投手の立場からの視点、捕手の立場からの視点、打者の立場からの視点、一塁席観衆の立場からの視点などでの多様な映像情報が視聴者に提供される。視聴者は、見たい視点を自ら決定して、その視点からの映像を視聴しうる。

全方向カメラシステムにより撮影された映像は、３次元の球形環境に対応する特徴を有する。したがって、全方向カメラシステムにより撮影された３次元映像を２次元平面映像に変換する。このとき、２次元平面映像は、３６０°全方向映像を含むパノラマ映像となる。２次元パノラマ映像に対して全方向ビデオコーディングが行われる。

一方、映像符号化技術の一つである動き推定は、所定の評価関数を利用して現在フレーム内のデータユニットと最も類似したデータユニットを以前フレームで探索して、両データユニットの位置の差を表す動きベクトルを求める過程である。ここで、データユニットは、一般的に１６Ｘ１６サイズのマクロブロックが主に利用されるが、１６Ｘ８、８Ｘ１６及び８Ｘ８ブロックなどの多様なサイズのブロックが利用されうる。

１６ｘ１６サイズのマクロブロック単位で行われる従来の技術の一例による動き推定の過程をさらに詳細に説明する。まず、現在マクロブロックに隣接する複数の以前マクロブロックの動きベクトルを利用して、現在マクロブロックの動きベクトルを予測する。図１は、現在マクロブロックの動きベクトルの予測に利用される複数の以前マクロブロックを示す図である。Ｘは、現在マクロブロックを表し、Ａ、Ｂ、Ｃ及びＤは、現在マクロブロックＸの前に符号化された以前マクロブロックである。

しかし、現在フレーム内での現在マクロブロックＸの位置によって利用できない以前マクロブロックが発生する。図２Ａは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＢ、Ｃ及びＤが存在しない場合を表す。このような場合、現在マクロブロックＸの動きベクトルは、０に設定される。

図２Ｂは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＡ及びＤが存在しない場合を表す。このような場合、以前マクロブロックＡ及びＤの動きベクトルは、それぞれ０に設定される。現在マクロブロックＸの動きベクトルは、以前マクロブロックＡ、Ｂ、Ｃ及びＤの中間値に設定される。

図２Ｃは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＣが存在しない場合を表す。このような場合、以前マクロブロックＣの動きベクトルは、それぞれ０に設定される。現在マクロブロックＸの動きベクトルは、以前マクロブロックＡ、Ｂ、Ｃ及びＤの中間値に設定される。

現在マクロブロックＸの予測動きベクトルが求められれば、予測動きベクトルが表す、参照フレーム内の参照マクロブロックと現在のマクロブロックとの類似程度を所定の評価関数を利用して計算する。その後、所定の探索範囲内で現在マクロブロックと最も類似した参照フレーム内の参照マクロブロックを探索する。前記所定の評価関数としては、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）関数、ＳＡＴＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＴｒａｎｓｆｏｒｍｅｄＤｉｆｆｅｒｅｎｃｅ）関数またはＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）関数を利用することが一般的である。

所定の探索範囲内で現在マクロブロックと最も類似した参照マクロブロックの探索時、参照マクロブロックの一部または全画素が参照映像の外部に存在してもよい。このような場合、図３に示すように、参照映像の左側境界に位置した画素値を参照映像の左側境界の外側領域にパッディングし、参照映像の右側境界に位置した画素値を参照映像の右側境界の外側領域にパッディングした後に動き予測及び補償を行う。このような方式による動き予測及び補償をＵＭＶ（ＵｎｒｅｓｔｒｉｃｔｅｄＭｏｔｉｏｎＶｅｃｔｏｒ）モードによる動き予測及び補償という。

図４Ａは、３６０°全方向映像を含む円筒形の映像を示す図であり、図４Ｂは、図４Ａに示す円筒形の映像を基準線Ｘに沿って切断することによって生成された、３６０°全方向映像を含むパノラマ映像を表す。図４Ｂに示すように、人間状の客体の左側部分Ａは、パノラマ映像の右側境界部分に位置し、人間状の客体の右側部分Ｂは、パノラマ映像の左側境界部分に位置するということが分かる。すなわち、３６０°全方向映像を含むパノラマ映像の右側境界部分と左側境界部分との空間的な相関関係は非常に高い。

全方向映像情報を含むパノラマ映像のこのような特性を考慮せず、前述の従来の技術による動き予測及び補償方法をそのまま全方向映像情報を含むパノラマ映像に適用することは効率的ではない。したがって、全方向映像情報を含むパノラマ映像に適した動き予測及び補償方法が要求される。

本発明が解決しようとする技術的課題は、全方向映像情報を含むパノラマ映像の特性に合う、さらに効率的かつ正確な動き推定方法及びその装置を提供するところにある。

本発明が解決しようとする他の技術的課題は、全方向映像情報を含むパノラマ映像の特性に合う、さらに効率的かつ正確な動き補償方法及びその装置を提供するところにある。

前記課題を達成するための本発明の一実施形態に係る動き推定方法は、３６０°全方向映像情報を含むパノラマ映像の動き推定方法において、現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して、前記現在データユニットの動きベクトルを予測するステップと、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップと、を含むことを特徴とする。

前記現在データユニットの動きベクトルを予測するステップは、前記複数の以前データユニットのうち少なくとも一つが、前記現在パノラマ映像の左側境界または右側境界の外側に存在すれば、前記現在パノラマ映像の左側境界と右側境界とを連結して、前記現在パノラマ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことが望ましい。

前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。

また、所定の探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、決定された前記参照データユニットを表す動きベクトルを決定するステップとをさらに含むことが望ましい。

前記課題を達成するための本発明の他の実施形態に係る動き推定方法は、３６０°全方向映像情報を含むパノラマ映像の動き推定方法において、現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップとを含むことを特徴とする。

また、前記現在データユニットの動きベクトルを予測するステップは、前記複数の以前データユニットのうち少なくとも一つが前記現在パノラマ映像の左側境界または右側境界の外側に存在すれば、前記現在パノラマ映像の左側境界と右側境界とを連結して、前記現在パノラマ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことが望ましい。

また、前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。

また、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、決定された前記参照データユニットを表す動きベクトルを決定するステップとを含むことが望ましい。

前記課題を達成するための本発明の一実施形態に係る動き推定装置は、３６０°全方向映像情報を含むパノラマ映像の動き推定装置において、現在パノラマ映像の動き推定に利用するための参照映像及び現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、前記参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部と、を備えることを特徴とする。

また、前記動き推定部は、前記複数の以前データユニットのうち少なくとも一つが前記現在パノラマ映像の左側境界または右側境界の外側に存在すれば、前記現在パノラマ映像の左側境界と右側境界とを連結して、前記現在パノラマ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定することが望ましい。

また、前記動き推定部は、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定することが望ましい。

前記課題を達成するための本発明の他の実施形態に係る動き推定装置は、３６０°全方向映像情報を含むパノラマ映像の動き推定装置において、現在パノラマ映像の動き推定に利用するための参照映像及び現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部とを備えることを特徴とする。

前記他の課題を達成するための本発明の一実施形態に係る動き補償方法は、３６０°全方向映像情報を含むパノラマ映像の動き補償方法において、現在パノラマ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする。

前記他の課題を達成するための本発明の他の実施形態に係る動き補償方法は、３６０°全方向映像情報を含むパノラマ映像の動き補償方法において、現在パノラマ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする。

前記他の課題を達成するための本発明の一実施形態に係る動き補償装置は、３６０°全方向映像情報を含むパノラマ映像の動き補償装置において、現在パノラマ映像の動き補償に利用するための参照映像を保存するメモリと、前記現在パノラマ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部とを備えることを特徴とする。

前記他の課題を達成するための本発明の他の実施形態に係る動き補償装置は、３６０°全方向映像情報を含むパノラマ映像の動き補償装置において、現在パノラマ映像の動き補償に利用するための参照映像を保存するメモリと、前記現在パノラマ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部と、を備えることを特徴とする。

本発明によれば、３６０°全方向映像を含むパノラマ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、パノラマ映像の動き予測及び補償を行うことによって、動き推定及び補償の効率性及び正確度を向上させて画質を改善できる。特に、本発明によれば、３６０°全方向映像を含むパノラマ映像の右側境界部分及び左側境界部分の動き予測及び補償の効率性並びに正確度を向上させて、右側境界部分及び左側境界部分の画質を改善できる。

以下、添付された図面を参照して本発明に係る実施形態を詳細に説明する。

図５は、本発明の一実施形態に係るパノラマ映像の動きベクトルエンコーダのブロック図である。図５に示すように、本発明の一実施形態に係るパノラマ映像の動きベクトルエンコーダは、変換部１１０、量子化部１１５、逆量子化部１２０、逆変換部１２５、加算部１３０、クリッピング部１４０、フレームメモリ１５０、パノラマ映像動き推定部１６０、パノラマ映像動き補償部１７０、減算部１８０及び可変長符号化部（ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｅｒ：ＶＬＣ）１９０を備える。

変換部１１０は、パノラマ映像を入力されて、所定方式の変換方法によって入力パノラマ映像を変換した後に変換係数値を出力する。入力パノラマ映像は、図４Ｂは、図４Ａに示す円筒形の映像を基準線Ｘに沿って切断することによって生成された、３６０°全方向映像を含むパノラマ映像である。変換部１１０により行われる前記所定方式の変換方法は、例えば、８Ｘ８ブロック単位のＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）がある。

量子化部１１５は、変換部１１０から入力された変換係数値を量子化する。逆量子化部１２０及び逆変換部１２５によりそれぞれ逆量子化及び逆変換後に入力パノラマ映像が再生される。再生されたパノラマ映像は、クリッピング部１４０により正規化された後にフレームメモリ１５０に保存される。フレームメモリ１５０に保存されたパノラマ映像は、新たに入力されたパノラマ映像の動き推定及び補償に参照映像として利用される。加算部１３０は、所定値及び再生されたパノラマ映像を入力され、所定値を利用して再生されたパノラマ映像を変更し、再生されたパノラマ映像または変更されたパノラマ映像のうち一つを、クリッピング部１４０またはパノラマ映像動き補償部１７０に再生されたパノラマ映像として出力する。所定値によって変更されたパノラマ映像は、再生されたパノラマ映像と同一でありうる。

パノラマ映像動き推定部１６０は、フレームメモリ１５０に保存された参照パノラマ映像を利用して本発明に係る動き推定を行う。すなわち、パノラマ映像動き推定部１６０は、現在パノラマ映像情報を入力されて、フレームメモリ１５０に保存された参照パノラマ映像を利用して、前記現在パノラマ映像の動き推定を行って、前記現在パノラマ映像の動きベクトルを生成した後にＶＬＣ１９０に出力する。動き推定及び補償は、所定大きさのブロック単位で行われる。動き推定及び補償の単位ブロックをデータユニットという。本実施形態でデータユニットは、１６Ｘ１６マクロブロックと仮定する。

パノラマ映像動き補償部１７０は、本発明に係る動き補償を行う。すなわち、パノラマ映像動き推定部１６０により生成された現在マクロブロックの動きベクトルを入力されて、現在マクロブロックに対応する参照マクロブロックを減算部１８０に出力する。減算部１８０は、現在パノラマ映像の現在マクロブロックの動きベクトル及びフレームメモリ１５０の参照パノラマ映像を利用して、現在マクロブロックと参照マクロブロックとの間の残差信号を変換部１１０に出力する。パノラマ映像動き補償部１７０は、参照マクロブロックを生成するために、再生されたパノラマ映像及び動きベクトルを使用できる。前記残差信号は、変換部１１０及び量子化部１１５によりそれぞれ変換及び量子化された後にＶＬＣ１９０により可変長符号化される。一方、パノラマ映像動き推定部１６０により生成された現在マクロブロックの動きベクトルは、ＶＬＣ１９０に直接入力されて可変長符号化される。

以下では、図面を参照してパノラマ映像動き推定部１６０の動作をさらに詳細に説明する。図６Ａ及び図６Ｂは、本発明の一実施形態に係るパノラマ映像の動き推定方法のフローチャートである。パノラマ映像動き推定部１６０は、現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測する（Ｓ３１０）。図１に示すように、データユニットＸが現在データユニットであるとすると、データユニットＡ、Ｂ、Ｃ及びＤが、現在データユニットＸの動きベクトル予測のために必要な以前データユニットである。本実施形態でデータユニットは、１６Ｘ１６サイズのマクロブロックである。

パノラマ映像動き推定部１６０は、内部メモリに保存した以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルを探索する。以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルが何れも存在するならば、これらの動きベクトルを利用して所定方式または従来の技術によって現在マクロブロックＸの動きベクトルを予測する。

しかし、以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルのうち少なくとも一つが存在しなくてもよい。図７Ａは、以前マクロブロックＡ及びＤが存在せず、以前マクロブロックＡ及びＤの動きベクトルを使用できない場合を表し、図７Ｂは、以前マクロブロックＣが存在せず、以前マクロブロックＣの動きベクトルを使用できない場合を表す。

前述のように、３６０°全方向映像を含むパノラマ映像の右側境界部分と左側境界部分との空間的な相関関係は非常に高い。すなわち、パノラマ映像の右側境界部分と左側境界部分との実際の空間上の距離は０である。したがって、本発明では、現在マクロブロックＸの動きベクトルの予測に必要な以前マクロブロックＡ、Ｃ及びＤのうち、存在しない以前マクロブロックがあれば、前述のパノラマ映像の特性を利用して、必要な以前マクロブロックの動きベクトルを決定する。すなわち、図７Ａに示すように、以前マクロブロックＤと同じＹ軸上の右側境界部分に存在する以前マクロブロックＤ’は、以前マクロブロックＤと同じであると言える。したがって、以前マクロブロックＤ’の動きベクトルを以前マクロブロックＤの動きベクトルと見なして、現在マクロブロックＸの動きベクトルの予測に利用する。しかし、以前マクロブロックＡと同じＹ軸上の右側境界部分に存在する以前マクロブロックは、現在マクロブロックＸの動き推定後に動き推定されるので、利用する動きベクトルが存在しない。したがって、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＡの動きベクトルは、０に設定する。

図７Ｂに示すように、以前マクロブロックＣと同じＹ軸上の左側境界部分に存在する以前マクロブロックＣ’との以前マクロブロックＣと同じであると見ることができる。したがって、以前マクロブロックＣ’の動きベクトルを以前マクロブロックＣの動きベクトルと見做して現在マクロブロックＸの動きベクトルの予測に利用する。

パノラマ映像動き推定部１６０は、ステップ３１０によって現在マクロブロックＸの動きベクトルを予測した後、前記予測された動きベクトルが表す参照マクロブロックが参照映像内に存在するか否かを判断する（Ｓ３１５）。参照映像は、フレームメモリ１５０に保存されている。

現在マクロブロックＸの動きベクトルが表す参照マクロブロックのあらゆる画素が参照映像内に存在すれば、参照マクロブロックの全ての画素値をフレームメモリ１５０から獲得した後（Ｓ３３０）、現在マクロブロックＸと参照マクロブロックとの類似度を所定の評価関数を利用して評価する（Ｓ３３５）。

しかし、現在マクロブロックＸの動きベクトルが表す参照マクロブロックの一部または全画素が参照映像の左側境界または右側境界のうち、何れか一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングする（Ｓ３２０）。

図８Ａは、参照マクロブロックが参照映像の境界にまたがって存在する場合を表し、図８Ｂは、参照マクロブロックが参照映像の外側領域に存在する場合を表す。図３に示す従来の技術によれば、参照映像の左側境界に位置した画素値を参照映像の左側境界の外側領域にパッディングし、参照映像の右側境界に位置した画素値を参照映像の右側境界の外側領域にパッディングした後に動き予測及び補償を行った。

しかし、本発明では、３６０°全方向映像を含むパノラマ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、図９に示すように、参照映像の外側領域をパッディングする。図９に示すように、参照映像４００の左側境界の外側領域４８０は、参照映像４００の右側境界領域４７０に位置した画素値でパッディングする。参照映像４００の右側境界の外側領域４６０は、参照映像４００の左側境界領域４５０に位置した画素値でパッディングする。

パノラマ映像動き推定部１６０は、ステップ３２０によって参照映像をパッディングした後、パッディングされた参照映像から参照マクロブロックの全ての画素値をフレームメモリ１５０から獲得する（Ｓ３２５）。その後、現在マクロブロックＸと参照マクロブロックとの類似度を、所定の評価関数を利用して評価する（Ｓ３３５）。前記所定の評価関数としては、ＳＡＤ関数、ＳＡＴＤ関数またはＳＳＤ関数を利用することが一般的である。

一方、前述のようなパッディング過程を行わず、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定することによって、前記円筒形の映像から前記参照データユニットの全ての画素値を得てもよい。さらに具体的に説明すれば、参照映像は、図４Ｂに示すような２次元平面映像である。このような２次元平面映像の左側境界と右側境界とを連結すれば、図４Ａに示すような円筒形の映像となる。参照映像が円筒形の映像であると仮定すれば、前記円筒形の映像から前記参照データユニットの全ての画素値が得られる。

パノラマ映像動き推定部１６０は、所定の探索範囲内で参照マクロブロックの位置を変更し、変更された参照マクロブロックと現在マクロブロックＸとの類似度を評価する（Ｓ３４０、３４５）。パノラマ映像動き推定部１６０は、所定の探索範囲内で複数の参照マクロブロックと現在マクロブロックＸとの類似度の評価が完了すれば、前記複数の参照マクロブロックのうち、現在マクロブロックＸと最も類似した参照マクロブロックを決定し、その参照マクロブロックを表す動きベクトルを生成する（Ｓ３５０）。

図１０は、現在マクロブロックＸの動きベクトルを示す図である。図１０に示すように、現在マクロブロックＸ５１０と最も類似した参照マクロブロックのパッディングされた参照映像上では参照マクロブロック５３０であり、参照マクロブロック５３０に対応する、パッディングされていない参照映像５００上のマクロブロックは、マクロブロック５４０である。現在マクロブロックＸ５１０と最も類似した参照マクロブロックを参照マクロブロック５３０であるとするとき、参照番号５５０は、現在マクロブロックＸ５１０の動きベクトルを表す。現在マクロブロックＸ５１０と最も類似した参照マクロブロックを参照マクロブロック５４０であるとすると、参照番号５６０は、現在マクロブロックＸ５１０の動きベクトルを表す。すなわち、現在マクロブロックＸ５１０の動きベクトルは、前述の２つで表現できる。しかし、動き検出のための所定の探索範囲を逸脱したマクロブロックを表す動きベクトルをデコーダ側に伝送できないので、参照マクロブロック５３０を表す動きベクトル５５０を現在マクロブロックＸ５１０の動きベクトルとして決定する。

以下では、本発明の一実施形態に係るパノラマ映像の動き補償方法及び装置について説明する。

図１１は、本発明の一実施形態に係るパノラマ映像の動きベクトルデコーダのブロック図である。図１１に示すように、本発明の一実施形態に係るパノラマ映像の動きベクトルデコーダは、可変長復号化部（ＶａｒｉａｂｌｅＬｅｎｇｔｈＤｅｃｏｄｅｒ：ＶＬＤ）７１０、逆量子化部７２０、逆変換部７３０、加算部７４０、パノラマ映像動き補償部７５０、クリッピング部７６０及びフレームメモリ７７０を備える。

ＶＬＤ７１０は、入力ビットストリームを可変長復号化する。ＶＬＤ７１０の出力のうち動きベクトルは、パノラマ映像動き補償部７５０に出力され、現在マクロブロックと参照マクロブロックとの残差信号は、逆量子化部７２０に出力される。

フレームメモリ７７０には、逆量子化部７２０、逆変換部７３０及びクリッピング部７６０を経て再生された参照映像が保存される。フレームメモリ７７０に保存された参照映像は、新たに入力されたパノラマ映像の動き補償に利用される。

パノラマ映像動き補償部７５０は、フレームメモリ７７０に保存された参照パノラマ映像を利用して、本発明に係る動き補償を行う。図５に示すようなパノラマ映像動きベクトルエンコーダから伝送された現在マクロブロックの動きベクトルを入力されて、現在マクロブロックに対応する参照マクロブロックをフレームメモリ７７０から読み出して加算部７４０に出力する。さらに、加算部７４０は、逆量子化部７２０及び逆変換部７３０によりそれぞれ逆量子化及び逆変換された、現在マクロブロックと参照マクロブロックとの残差信号を入力される。

加算部７４０は、現在マクロブロックと参照マクロブロックとの残差信号と、パノラマ映像動き補償部７５０から参照マクロブロックとを入力されて現在マクロブロックを再生する。クリッピング部７６０は、加算部７４０から出力された再生された現在マクロブロックを正規化する機能を行う。

以下では、図面を参照してパノラマ映像動き補償部７５０の動作をさらに詳細に説明する。図１２は、本発明の一実施形態に係るパノラマ映像の動き補償方法のフローチャートである。

パノラマ映像動き補償部７５０は、動き補償を行う現在データユニットの動きベクトルをＶＬＤ７１０から入力される（Ｓ９１０）。本実施形態で、データユニットは、１６Ｘ１６サイズのマクロブロックである。

パノラマ映像動き補償部７５０は、前記現在マクロブロックの動きベクトルが表す参照マクロブロックが参照映像内に存在するか否かを判断する（Ｓ９２０）。参照映像は、フレームメモリ７７０に保存されている。

現在マクロブロックの動きベクトルが表す参照マクロブロックの全ての画素が参照映像内に存在すれば、参照マクロブロックの全ての画素値をフレームメモリ７７０から獲得した後（Ｓ９５０）、現在マクロブロックを再生する（Ｓ９６０）。加算部７４０は、逆変換部７３０から出力された、現在マクロブロックと参照マクロブロックとの残差信号と、パノラマ映像動き補償部７５０から出力された参照マクロブロックとを入力されて現在マクロブロックを再生する。

しかし、現在マクロブロックの動きベクトルが表す参照マクロブロックの一部または全画素が、図８Ａまたは図８Ｂに示すように、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を、前記一つの境界の外側にパッディングする（Ｓ９３０）。本発明では、３６０°全方向映像を含むパノラマ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、図９に示すように、参照映像の外側領域をパッディングする。

パノラマ映像動き補償部７５０は、ステップ９３０によって参照映像をパッディングした後、パッディングされた参照映像から参照マクロブロックの全ての画素値をフレームメモリ７７０から獲得する（Ｓ９４０）。

最後に、加算部７４０は、現在マクロブロックと参照マクロブロックとの残差信号と、パノラマ映像動き補償部７５０から出力された参照マクロブロックとを入力されて現在マクロブロックを再生する（Ｓ９６０）。

また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能ナコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ、例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存され、かつ実行されうる。

以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが理解できるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に記載されており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。

従来の技術に係る現在マクロブロックの動きベクトルの予測に利用される複数の以前マクロブロックを示す図である。現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。従来の技術に係る参照映像のパッディング方法を説明するための図である。３６０°全方向映像を含む円筒形の映像を示す図である。図４Ａに示す円筒形の映像に対応する２次元パノラマ映像を示す図である。本発明の一実施形態に係るパノラマ映像の動きベクトルエンコーダのブロック図である。本発明の一実施形態に係るパノラマ映像の動き推定方法のフローチャートである。本発明の一実施形態に係るパノラマ映像の動き推定方法のフローチャートである。現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックの選択の一例を示す図である。現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックの選択の他の一例を示す図である。参照マクロブロックが参照映像の境界にまたがって存在する場合を示す図である。参照マクロブロックが参照映像の外側領域に存在する場合を示す図である。本発明の一実施形態に係る参照映像のパッディング方法を説明するための図である。現在マクロブロックＸの動きベクトルを示す図である。本発明の一実施形態に係るパノラマ映像の動きベクトルデコーダのブロック図である。本発明の一実施形態に係るパノラマ映像の動き補償方法のフローチャートである。

Claims

３６０°全方向映像情報を含むパノラマ映像の動き推定方法であって、
現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して、前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップと、
所定の探索範囲内で前記現在データユニットに最も類似する参照データユニットを決定するステップと、
決定された前記参照データユニットの動きベクトルを決定するステップと、
を含むことを特徴とする方法。
前記現在データユニットの動きベクトルを予測するステップは、
前記複数の以前データユニットのうち少なくとも一つが、前記現在パノラマ映像の左側境界又は右側境界の外側に存在すれば、前記現在パノラマ映像の左側境界と右側境界とを連結して、前記現在パノラマ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含む、
ことを特徴とする請求項１記載の方法。
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットである、
ことを特徴とする請求項１記載の方法。
３６０°全方向映像情報を含むパノラマ映像の動き推定装置であって、
現在パノラマ映像の動き推定に利用するための参照映像及び現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、
前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、前記参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部であって、所定の探索範囲内で前記現在データユニットに最も類似する参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定する前記動き推定部と、
を備えることを特徴とする装置。
前記動き推定部は、
前記複数の以前データユニットのうち少なくとも一つが前記現在パノラマ映像の左側境界又は右側境界の外側に存在すれば、前記現在パノラマ映像の左側境界と右側境界とを連結して、前記現在パノラマ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定する、
ことを特徴とする請求項４記載の装置。
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットである、
ことを特徴とする請求項４記載の装置。
３６０°全方向映像情報を含むパノラマ映像の動き補償方法であって、
現在パノラマ映像の現在データユニットと参照パノラマ映像の参照データユニットとの間の残差信号を含むビットストリームを受信し、受信したビットストリームから、現在パノラマ映像を構成する現在データユニットの動きベクトルを取得するステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
前記現在データユニットと前記参照データユニットとの間の残差信号に、前記参照データユニットの画素値を加えることで前記現在データユニットを再生するステップと、
を含むことを特徴とする方法。
３６０°全方向映像情報を含むパノラマ映像の動き補償装置であって、
現在パノラマ映像の現在データユニットと参照パノラマ映像の参照データユニットとの間の残差信号を含むビットストリームを受信し、受信したビットストリームから、現在パノラマ映像を構成する現在データユニットの動きベクトルを取得する手段と、
現在パノラマ映像の動き補償に利用するための参照映像を保存するメモリと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、前記現在データユニットと前記参照データユニットとの間の残差信号に、前記参照データユニットの画素値を加えることで前記現在データユニットを再生する動き補償部と、
を備えることを特徴とする装置。
コンピュータに、
現在パノラマ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップと、
所定の探索範囲内で前記現在データユニットに最も類似するた参照データユニットを決定するステップと、
決定された前記参照データユニットの動きベクトルを決定するステップと、
を含む、３６０°全方向映像情報を含むパノラマ映像の動き推定方法を実行させるための命令を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
コンピュータに、
現在パノラマ映像の現在データユニットと参照パノラマ映像の参照データユニットとの間の残差信号を含むビットストリームを受信し、受信したビットストリームから、現在パノラマ映像を構成する現在データユニットの動きベクトルを取得するステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部又は全部が、参照映像の左側境界又は右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
前記現在データユニットと前記参照データユニットとの間の残差信号に、前記参照データユニットの画素値を加えることで前記現在データユニットを再生するステップと、
を含む、３６０°全方向映像情報を含むパノラマ映像の動き補償方法を実行させるための命令を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。