JP4575447B2 - パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置 - Google Patents

Description

本発明は、パノラマ画像の動き推定及び補償に係り、さらに詳細には、３６０°全方向画像情報を含むパノラマ画像の動き推定及び補償を効率的に行うために仮想画像領域を設定する方法及び装置に関する。

全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向画像を撮影できるカメラシステムを称す。全方向ビデオカメラシステムは、カメラに双曲面鏡のような特殊形態の鏡や魚眼レンズのような特殊レンズを装着するか、または複数のカメラを利用して全方向を撮影する。

全方向ビデオコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技で多様な視点での光景についての画像情報は、視聴者側端末機に何れも与えられる。すなわち、投手の立場での時点、捕手の立場での時点、打者の立場での時点、１塁席観衆の立場での時点での多様な画像情報が視聴者に提供される。視聴者は、所望の時点を自ら決定して、その時点での画像を視聴しうる。

全方向カメラシステムによって撮影された画像は、３次元の球形環境に対応する特徴を有する。したがって、全方向カメラシステムによって撮影された３次元画像を２次元平面画像に変換する。このとき、２次元平面画像は、３６０°全方向画像を含むパノラマ画像となり、２次元パノラマ画像に対して全方向ビデオコーディングが行われる。

このようなパノラマ画像は、一般的に既存の２次元画像に比べて、サイズが非常に大きく、かつ良好な画質の画像を伝送するために帯域幅が過度に大きくなる。全方向画像は、ユーザが一度に全方向カメラが獲得した全ての画像部分に対して関心があるものではなく、全体画像についての情報に基づいて、ユーザが視点変化を自由自在に行って、関心のある部分の画像のみを細密に観察することを所望するので、現在ユーザの関心外に該当する部分の画像については、最小の伝送帯域幅で受信端に伝送させるコーデックが必要である。このような側面で、パノラマ画像をタイル形式のパッチに分割して送受信する方法が提案された。

図１は、パノラマ画像をタイル形式のパッチに分割して伝送する方法を説明するための図面である。

このような方法は、エンコーディングを完了したパノラマ画像を部分的に小さなタイル形式のパッチに分けて保管し、ユーザの要求によって、見られるべき部分を中心に幾つかのパッチをデコーダ側に伝送する方法である。これは、パノラマ画像全体を一括的にデコーダ側に伝送するものではなく、画像をタイル形式のパッチに分けて伝送することによって、伝送されるデータの大きさ及び伝送帯域幅を大きく減らし、全ての画像情報を送るのに必要な初期化遅延を防止し、現在見えていないが、ユーザの要求によって見えている関心領域の周辺部も共に送受信することによって、ユーザが視点変換を比較的容易にする。

前記タイル単位のパッチをデコーダ側に伝送するとき、既存の２次元動画像コーディング技法を修正なしにそのまま使用して送受信する方法が提案されている。使われる既存の２次元動画像コーディング技法としては、ＭＰＥＧ−４ Ｐａｒｔ ２ Ｖｉｓｕａｌや、Ｈ.２６４などを例として挙げられるが、従来の技術によれば、図２に示したように、参照画像フレーム境界上で境界部にまたがった動き推定や補償時の効率を高めるために、ＵＭＶ（Ｕｎｒｅｓｔｒｉｃｔｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）モードをおいて参照画像フレームの外に仮想画像領域を置き、境界部のピクセル値を下、上、左、右にパッディングを行うことによって、現在画像の動き推定を行う。これは、２次元動画像の処理技法で伝送すべき画像フレーム以外には何らの画像データも参照できなくて、その状況によって高い効率を獲得するために使われた方法や、本発明で言及する巨大サイズのパノラマ画像を小さなタイル形式のパッチ単位の画像フレームをコーディングする場合には、各パッチの位置によって参照画像が存在しうるので、既存の２次元動画像のコーディング方法をそのまま使用することは適切でない。

本発明は、タイル形式のパッチ単位で分割されて送受信されるパノラマ画像の動き補償及び動き推定のために仮想画像領域を生成する方法において、無条件参照画像フレーム境界部のピクセルをフレーム外郭にパッディングするのではなく、以前のパノラマ画像内に仮想画像領域に属する実際画像データがある場合、それをそのまま使用して仮想画像領域を生成する方法及び装置を提供することをその目的とする。

前記目的を達成するための本発明は、タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定のために仮想画像領域を生成する方法において、（ａ）動き推定を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、（ｂ）前記検索結果に基づいて前記仮想画像領域の全部または一部に前記参照データを選択的にマッピングするステップと、を含む。

前記（ｂ）ステップは、（ｂ１）前記検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、（ｂ２）前記判断結果、所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、を含むことが望ましく、ここで、前記判断結果、前記所定時間内に更新されていなければ、前記参照データを前記仮想画像領域の全部または一部にマッピングするか、または前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして、前記仮想画像領域の全部または一部を生成するかを決定し、その決定によってマッピングまたはパッディングを行うことが望ましい。

一方、受信側でも同一に前記パッチに対する仮想画像領域の全部または一部を生成可能にする付加情報を伝送するために、前記決定に関する情報を記録するステップをさらに含むことが望ましい。

また、参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして前記仮想画像領域の全部または一部を生成することが望ましい。

また、前記検索ステップで、前記仮想画像領域の全部または一部が前記以前のパノラマ画像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記境界の反対側の境界から所定範囲までの画像を前記一つの境界の外側に存在する仮想画像領域部分についての参照データとして認知することが望ましい。

また、本発明は、タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定のために仮想画像領域を生成する装置において、動き推定を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在するか否かを検索する検索部と、前記検索部の検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断する判断部と、前記判断結果、前記参照データが前記所定時間内に更新された場合に、前記参照データを前記仮想画像領域の全部または一部にマッピングするマッピング部と、前記判断結果、前記参照データが前記所定時間内に更新されていなければ、マッピングを行うかパッディングを行うかを決定する決定部と、前記検索部の検索結果、前記参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして、前記仮想画像領域の全部または一部を生成するパッディング部と、を備える。

また、本発明は、タイル形式のパッチ単位で分割されて受信されたパノラマ画像の動き補償のために仮想画像領域を生成する方法において、（ａ）動き補償を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、（ｂ）前記検索結果に基づいて、前記仮想画像領域の全部または一部に前記参照データを選択的にマッピングするステップと、を含み、前記（ｂ）ステップは、（ｂ１）前記検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、（ｂ２）前記判断結果、前記参照データが前記所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、を含むことが望ましい。

また、本発明は、タイル形式のパッチ単位で分割されて受信されたパノラマ画像の動き補償のために仮想画像領域を生成する装置において、動き補償を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在するか否かを検索する検索部と、前記検索部の検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断する判断部と、前記判断部の判断結果、前記参照データが前記所定時間内に更新された場合に、前記参照データを前記仮想画像領域の全部または一部に選択的にマッピングするマッピング部と、前記判断部の判断結果、前記参照データが前記所定時間内に更新されていなければ、送信側から受信した付加情報として、送信側で前記参照データを前記仮想画像領域の全部または一部にマッピングしたか、または前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素をパッディングしたかを表す情報を解釈する付加情報解釈部と、前記検索部の検索結果、前記参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして前記仮想画像領域の全部または一部を生成するパッディング部と、を備える。

また、本発明は、コンピュータで読み取り可能な記録媒体において、動き推定及び動き補償を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、前記検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、前記判断結果、前記参照データが前記所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、を含む、タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成する方法を行うためのプログラムを記録した記録媒体を提供する。

また、本発明は、タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定方法において、（ａ）動き推定を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在する場合、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、（ｂ）前記参照データがマッピングされた前記仮想画像領域の全部または一部を利用して参照画像に対する前記現在パッチのモーションベクトルを生成するステップと、を含む。

また、本発明は、タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の符号化方法において、（ａ）動き推定を行おうとする現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在する場合、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、（ｂ）前記参照データがマッピングされた前記仮想画像領域の全部または一部を利用して、参照画像に対する前記現在パッチのモーションベクトルを生成するステップと、（ｃ）前記モーションベクトルを利用して前記現在パッチに対する動き補償を行うステップと、を含む。

また、本発明は、タイル形式のパッチ単位で分割されて受信されたパノラマ画像の動き補償方法において、（ａ）現在パノラマ画像に含まれた現在パッチに対するモーションベクトルを入力されるステップと、（ｂ）前記モーションベクトルが表す、現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在する場合、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、（ｃ）前記参照データがマッピングされた前記仮想画像領域の全部または一部を利用して、前記モーションベクトルが適用された参照画像のパッチを生成するステップと、を含む。

また、本発明は、タイル形式のパッチ単位で分割されて受信されたパノラマ画像の復号化方法において、（ａ）現在パノラマ画像に含まれた現在パッチに対するモーションベクトルを入力されるステップと、（ｂ）前記モーションベクトルが表す現在パッチの仮想画像領域の全部または一部に対応する参照データが以前のパノラマ画像中に存在する場合、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、（ｃ）前記参照データがマッピングされた前記仮想画像領域の全部または一部を利用して参照画像に対する動き補償を行うステップと、（ｄ）前記現在パッチと前記動き補償が行われたパッチとの間の差分信号及び前記動き補償が行われたパッチを利用して前記現在パッチを復元するステップと、を含む。

本発明によれば、パノラマ画像をタイル形式のパッチ単位で画像分割して伝送する時、各パッチ別に以前のパノラマ画像で参照可能なデータを直接仮想領域にマッピングすることによって、全方向画像情報を含んでいるパノラマ画像を、２次元動画像画像のコーディング方法をそのまま利用してコーディングしつつも、動き推定及び補償過程でコーディング効率を大きく向上させうる。

以下、添付された図面を参照して、本発明の望ましい実施形態を詳細に説明する。
図３は、タイル形式のパッチに対する仮想画像領域を８個のセクションに区分したところを示す図面である。本発明によれば、パノラマ画像全体がタイル形式のパッチに分割されるので、パッチの位置によって仮想画像領域の生成方法が各セクション別に変わりうる。以下で、さらに詳細に説明する。

図４は、本発明によってパッチの位置別に仮想画像領域を生成する方法を説明するための図面である。
まず、現在コーディングしようとするパッチの位置がＡのようにパノラマ画像のエッジに位置しない内部パッチである場合、仮想画像領域のセクション別に以前のパノラマ画像内に、それに該当する位置の領域に最近に更新された参照データが存在すれば、該当参照データを該当セクションにマッピングする。

もし、参照データの更新がかなり以前に行われた場合には、以前のパノラマ画像内で現在コーディングしようとするパッチと同じ位置に該当するフレーム（以下、参照パッチという）の境界画素値でパッディングを行うか、または該当参照データをそのまま使用するかを決定しうる。もし、決定を行う過程が含まれれば、受信側、すなわち、デコーディング側でも同一に仮想領域を設定可能にするために、その決定についての付加情報を生成して受信端側に伝送させることが望ましい。この付加情報については後述する。一方、参照データが存在しない場合、参照パッチの境界部にある画素をパッディングして該当セクションを生成する。

次いで、現在コーディングしようとするパッチの位置がＢのようにパノラマ画像の上端部のエッジに位置したパッチである場合、図３での５、６番セクションに該当する仮想画像領域は、該当領域を画素値１２８の値でマッピングし、残りのセクションについては、Ａでの仮想画像領域の生成過程と同じ手順を行う。

他の位置にあるパッチについても、前述した手順が同一に行われる。但し、Ｆ、Ｄ、Ｈ、Ｇ、Ｅ、Ｉのように、パノラマ画像の最左側または最右側に位置したパッチの場合、動き推定及び補償の効率を高めるためにやや異なる手順を行える。以下で詳細に説明する。

図５Ａは、コーディングしようとするパッチの位置がパノラマ画像の最左側に位置する場合、仮想画像領域を設定する方法を説明するための図面である。
パッチＤの場合、３、５、７番のセクションがパノラマ画像の外側に存在するので、前述したアルゴリズムによれば、これに対する参照データが存在しない。しかし、パノラマ画像の特性上、Ｄは、Ｇ、Ｅ、Ｉと相関関係が大きいので、３、５、７に対する仮想画像領域を無条件にパッディングを利用して生成するよりは、以前パノラマ画像のＧ、Ｅ、Ｉを参照して生成することが効率的である。すなわち、Ｄパッチの５番セクションにはＧの一部データが、３番セクションにはＥの一部データが、７番セクションにはＩの一部データがマッピングされる。但し、Ｇ、Ｅ、Ｉで参照される画像データが存在しないか、またはかなり前に更新された場合には、前述したアルゴリズムが使われうる。図５Ｂは、コーディングしようとするパッチの位置がパノラマ画像の最右側に位置する場合、仮想画像領域を設定する方法を説明するための図面である。このような場合、同様にＥパッチの４、６、８セクションのためには、以前パノラマ画像のＦ、Ｄ、Ｈが利用される。

図６は、本発明による仮想画像領域の生成方法と関連した付加情報を示す図面である。前述したように、参照データが存在するが、かなり前に更新されて信頼度が劣る場合、このような参照データをそのまま利用してマッピングするか、そうでなければ、参照パッチからパッディングして仮想画像領域を構成するかを決定し、それによってマッピングまたはパッディングを行うが、受信側でもこれと同一に仮想領域を設定する必要があるので、送信側では、仮想画像領域の各セクションに対してどんな方法を使用したかについての情報を受信側に伝送する必要がある。本実施形態のように、一つのパッチに対する仮想画像領域を８個のセクションに分割した場合、これについての付加情報のために、図示したように８ビットが必要となるであろう。図示したようにパッディングを使用した場合に、０、参照データを使用してマッピングした場合、１を使用すると、送信側と受信側とにあらかじめ定義されているならば、この８ビットの付加情報の伝送で送信側と受信側とは、同一に仮想画像領域を生成できるであろう。例えば、送信側で１番、４番、６番セクションにかなり以前に更新された参照データをそのまま利用すれば、“１００１０１００”の情報を受信側に伝送すればよく、もし参照パッチからのパッディングを行う場合ならば、“００００００００”の情報を受信側に伝送することによって、受信側でも同じ仮想画像領域を構築できるであろう。本実施形態では、固定長符号化を例としたが、情報の確率的な分布を利用した可変長符号化を使用してもよいであろう。

図７は、本発明による仮想画像領域の生成方法をエンコーダ側で行う過程を示す順序図である。図示したように、動き推定をしようとする現在パッチの一セクションに対して、以前のパノラマ画像で参照できる参照データが存在するか否かを検索する（７１０）。このとき、前述したように、パノラマ画像の最左側または最右側に存在するパッチの場合、反対側の端部の画像で参照データを検索しうる。参照データが存在する場合、検索された参照データが最近に更新されたか否かを判断する（７３０）。最近に更新されたかの基準時間は、多様に設定されうる。最近に更新されたと判断されれば、該当参照データを現在パッチの仮想画像領域として使用するために該当セクションにマッピングする。

参照データが最近に更新されていない場合には、参照データに対する信頼度が劣るので、このような参照データをそのまま使用するためにマッピングを行うか、そうでなければ、参照パッチの境界部にある画素からパッディングを行うかを決定せねばならない（７４０）。マッピングと決定した場合、該当参照データを現在パッチの仮想画像領域として使用するために、該当セクションにマッピングし（７５０）、パッディングと決定した場合、参照パッチの境界部にある画素からパッディングを行って仮想画像領域を生成する（７６０）。このとき、前述したようにエンコーダ及びデコーダの同期化のために、どんな方法を選択したかについての付加情報が生成されうる。

一方、参照データが存在しない場合には、参照パッチの境界部にある画素からパッディングを行って仮想画像領域を生成する。
このような過程を全てのセクションに対して反復することによって、一つのパッチに対する仮想画像領域が生成される。

図８は、本発明によってエンコーダでパッチの仮想画像領域を生成する装置のブロック図である。図示したように、本発明による仮想画像領域の生成装置は、検索部８１０、判断部８１５、マッピング部８２０、パッディング部８３０、付加情報生成部８４０及び決定部８５０を備える。

検索部８１０は、動き推定を行おうとする現在パッチの仮想画像領域の各セクションに対応する参照データが、以前のパノラマ画像中に存在するか否かを検索し、マッピング部８２０は、検索された参照データを該当セクションにマッピングする。

判断部８１５は、検索された参照データが最近に更新されたか否かを判断し、決定部８５０では、検索された参照データが最近に更新されたものでなければ、マッピングを行うかパッディングを行うかを決定する。このような決定によって、マッピングまたはパッディングが行われるが、前述したように、デコーダでも同じ方式で仮想画像領域を生成させるために、付加情報生成部８４０では、エンコーダの動き推定過程で仮想画像領域の生成時にどんな方式を使用したかについての情報を生成する。

パッディング部８３０は、参照データが存在しない場合または決定部８５０でパッディングすると決定した場合、以前のパノラマ画像内で現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして仮想画像領域を生成する。

図９は、本発明による仮想画像領域が適用されうるエンコーダのブロック図である。
図９を参照すれば、本発明の一実施形態によるパノラマ画像エンコーダは、変換部９１０、量子化部９１５、逆量子化部９２０、逆変換部９２５、加算部９３０、クリッピング部９４０、フレームメモリ９５０、パノラマ画像動き推定部９６０、パノラマ画像動き補償部９７０、減算部９８０及び可変長符号化部（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅｒ）９９０を備える。

変換部９１０は、パノラマ画像を入力されてＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの所定方式の変換方法によって入力パノラマ画像を変換した後に変換係数値を出力する。量子化部９１５は、変換部９１０から入力された変換係数値を量子化する。量子化されたデータは、逆量子化部９２０及び逆変換部９２５によってそれぞれ逆量子化及び逆変換した後に入力パノラマ画像が再生される。再生されたパノラマ画像は、クリッピング部９４０によって正規化された後にフレームメモリ９５０に保存される。フレームメモリ９５０に保存されたパノラマ画像は、新たに入力されたパノラマ画像の動き推定及び補償に参照画像として利用される。

パノラマ画像動き推定部９６０は、フレームメモリ９５０に保存された参照パノラマ画像を利用して動き推定を行う。すなわち、パノラマ画像動き推定部９６０は、現在パノラマ画像情報を入力され、フレームメモリ９５０に保存された参照パノラマ画像を利用して前記現在パノラマ画像の動き推定を行って、前記現在パノラマ画像のモーションベクトル及び本発明による付加情報を生成した後にＶＬＣ ９９０に出力する。動き推定及び補償は、タイル形式のパッチ単位で行われる。ここで、モーションベクトルを生成するために、動き推定ステップで本発明による仮想領域の生成方法が使われる。したがって、図８に示した装置は、パノラマ画像動き推定部９６０内に備えられることが望ましい。パノラマ画像動き補償部９７０は、モーションベクトルによる動き補償を行い、補償された画像を減算部９８０に出力する。減算部９８０は、現在画像とパノラマ画像動き補償部９７０によって補償された画像との差分信号を変換部９１０に出力する。前記差分信号は、変換部９１０及び量子化部９１５によってそれぞれ変換及び量子化された後に可変長符号化部９９０によって可変長符号化される。

図１０は、本発明による仮想画像領域の生成方法をデコーダ側で行う過程を示す順序図である。
デコーダ側では、エンコーダ側からモーションベクトル、差分信号及び付加情報を受信して動き補償を行うが、動き補償のために行われる仮想画像領域の生成過程は、エンコーダ側で行われる仮想画像領域の生成過程とほぼ同じであるので、これについての詳細な説明は省略する。但し、検索された参照データが最近に更新されていない場合の処理において、デコーダ側では、エンコーダ側で生成した仮想画像領域と同じ仮想画像領域を生成するために、エンコーダ側から受信した付加情報を解釈し、それにより、各セクションにマッピングまたはパッディングを行う。

図１１は、本発明によってデコーダに備えられてパッチの仮想画像領域を生成する装置のブロック図である。
図１１に示したように、本発明によってデコーダに備えられる仮想画像領域の生成装置は、検索部２００、判断部２３０、マッピング部２１０、パッディング部２２０、付加情報解釈部２４０を備える。

検索部２００は、動き推定を行おうとする現在パッチの仮想画像領域の各セクションに対応する参照データが以前のパノラマ画像中に存在するか否かを検索し、マッピング部２１０は、検索された参照データを該当セクションにマッピングする。判断部２３０は、検索された参照データが最近に更新されたか否かを判断し、検索された参照データが最近に更新されなかった場合、マッピングを行うかパッディングを行うかを決定するために、付加情報解釈部２４０は、エンコーダ側から受信された付加情報を解釈し、付加情報に記録された内容によって各セクションに対するマッピングまたはパッディングが行われる。

パッディング部２２０は、参照データが存在しない場合または決定部８５０でパッディングすると決定した場合、以前のパノラマ画像内で現在パッチの位置に該当する参照画像の境界部にある画素をパッディングして仮想画像領域を生成する。

図１２は、本発明による仮想画像領域の生成装置が適用されうるデコーダのブロック図である。
図１２を参照すれば、本発明の一実施形態によるパノラマ画像モーションベクトルデコーダは、可変長復号化部（ＶＬＤ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｅｒ）３１０、逆量子化部３２０、逆変換部３３０、加算部３４０、パノラマ画像動き補償部３５０、クリッピング部３６０及びフレームメモリ３７０を備える。

可変長復号化部３１０は、入力ビットストリームを可変長復号する。可変長復号化部３１０の出力中に、モーションベクトルは、パノラマ画像動き補償部３５０に出力され、差分信号は、逆量子化部３２０に出力される。フレームメモリ３７０には、逆量子化部３２０、逆変換部３３０及びクリッピング部３６０を経て再生された参照画像が保存される。フレームメモリ３７０に保存された参照画像は、新たに入力されたパノラマ画像の動き補償に利用される。

パノラマ画像動き補償部３５０は、フレームメモリ３７０に保存された参照パノラマ画像を利用して動き補償を行う。ここで、動き補償を行うために、本発明による仮想画像領域の生成方法が使われる。したがって、図１１に示した装置は、パノラマ画像動き補償部３５０内に備えられることが望ましい。パノラマ画像動き補償部３６０は、エンコーダから伝送されたモーションベクトルを入力されて現在パッチに対応する参照パッチをフレームメモリ３７０から読み出して動き補償を行い、その結果を加算部３４０に出力する。加算部３４０は、逆量子化部３２０及び逆変換部３３０によってそれぞれ逆量子化及び逆変換された、差分信号とパノラマ画像動き補償部３５０から動き補償された参照パッチとを入力されて現在パッチを再生する。クリッピング部３６０は、加算部３４０から出力された値を正規化する機能を行う。

一方、前述した本発明の実施形態は、コンピュータで実行されうるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。

前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが分かるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。

パノラマ画像をタイル形式のパッチに分割して伝送する方法を説明するための図面である。 従来の技術によってパッディングを利用して仮想画像領域を構成する方法を説明するための図面である。 本発明によってタイル形式のパッチに対する仮想画像領域を８個のセクションに区分したところを示す図面である。 本発明によってパッチの位置による仮想画像領域を生成する方法を説明するための図面である。 本発明によってコーディングしようとするパッチの位置がパノラマ画像の最左側に位置する場合、仮想画像領域を生成する方法を説明するための図面である。 本発明によってコーディングしようとするパッチの位置がパノラマ画像の最右側に位置する場合、仮想画像領域を生成する方法を説明するための図面である。 本発明による仮想画像領域の生成方法と関連した付加情報を示す図面である。 本発明による仮想画像領域の生成方法をエンコーダ側で行う過程を示す順序図である。 本発明によって、デコーダに備えられてパッチの仮想画像領域を生成する装置のブロック図である。 本発明による仮想画像領域が適用されうるエンコーダを示すブロック図である。 本発明による仮想画像領域の生成方法をデコーダ側で行う過程を示す順序図である。 本発明によって、デコーダに備えられてパッチの仮想画像領域を生成する装置を示すブロック図である。 本発明による仮想画像領域の生成装置が適用されうるデコーダを示すブロック図である。

符号の説明

２００ 検索部
２１０ マッピング部
２２０ パッディング部
２３０ 判断部
２４０ 付加情報解釈部
３１０ 可変長復号化部（ＶＬＤ：Variable Length Decoder）
３２０ 逆量子化部
３３０ 逆変換部
３４０ 加算部
３５０ パノラマ画像動き補償部
３６０ クリッピング部
３７０ フレームメモリ
８１０ 検索部
８１５ 判断部
８２０ マッピング部
８３０ パッディング部
８４０ 付加情報生成部
８５０ 決定部
９１０ 変換部
９１５ 量子化部
９２０ 逆量子化部
９２５ 逆変換部
９３０ 加算部
９４０ クリッピング部
９５０ フレームメモリ
９６０ パノラマ画像動き推定部
９７０ パノラマ画像動き補償部
９８０ 減算部
９９０ 可変長符号化部（ＶＬＣ：Variable Length Coder）

Claims (18)

1. タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成する方法において、
   （ａ）動き推定及び動き補償を行おうとする現在パッチの外郭の仮想画像領域の全部または一部の同じ位置に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、
   （ｂ）前記検索結果に基づいて、前記仮想画像領域の全部または一部に前記参照データを選択的にマッピングするステップと、を含むことを特徴とする方法。
2. 前記（ｂ）ステップは、
   （ｂ１）前記検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、
   （ｂ２）前記判断結果、所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、を含むことを特徴とする請求項１に記載の方法。
3. 前記（ｂ）ステップは、
   前記判断結果、前記所定時間内に更新されていなければ、前記参照データを前記仮想画像領域の全部または一部にマッピングするか、または前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングして、前記仮想画像領域の全部または一部を生成するかを決定するステップと、
   前記決定によってマッピングまたはパッディングを行うステップと、をさらに含むことを特徴とする請求項２に記載の方法。
4. 受信側でも同一に前記パッチに対する仮想画像領域の全部または一部を生成可能にする付加情報を伝送するために、前記決定に関する情報を記録するステップをさらに含むことを特徴とする請求項３に記載の方法。
5. 前記（ｂ）ステップは、
   前記検索結果、前記参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングして前記仮想画像領域の全部または一部を生成することを特徴とする請求項１に記載の方法。
6. 前記仮想画像領域の全部または一部が前記以前のパノラマ画像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記境界の反対側の境界から所定範囲までの画像を前記一つの境界の外側に存在する仮想画像領域部分に対する参照データとしてマッピングすることを特徴とする請求項１に記載の方法。
7. タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成する装置において、
   動き推定及び動き補償を行おうとする現在パッチの外郭の仮想画像領域の全部または一部の同じ位置に対応する参照データが以前のパノラマ画像中に存在するか否かを検索する検索部と、
   前記検索結果に基づいて、選択的に前記参照データを前記仮想画像領域の全部または一部にマッピングするマッピング部と、を備えることを特徴とする装置。
8. 前記検索部の検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断する判断部をさらに備え、
   前記マッピング部は、前記判断結果、前記参照データが前記所定時間内に更新された場合に前記マッピングを行うことを特徴とする請求項７に記載の装置。
9. 前記判断結果、前記参照データが前記所定時間内に更新されていなければ、マッピングを行うかパッディングを行うかを決定する決定部と、
   前記検索部の検索結果、前記参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングして、前記仮想画像領域の全部または一部を生成するパッディング部と、をさらに備え、
   前記判断結果、前記参照データが前記所定時間内に更新されていなければ、前記決定部の決定によって、前記マッピングまたは前記パッディングを行うことを特徴とする請求項８に記載の装置。
10. 受信側でも同一に、前記仮想画像領域の全部または一部を生成可能にする付加情報を伝送するために、前記決定に関する情報を記録する付加情報生成部をさらに備えることを特徴とする請求項９に記載の装置。
11. 前記検索部は、前記仮想画像領域の全部または一部が前記以前のパノラマ画像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記境界の反対側の境界から所定範囲までの画像を前記一つの境界の外側に存在する仮想画像領域部分に対する参照データとしてマッピングして検索することを特徴とする請求項７に記載の装置。
12. タイル形式のパッチ単位で分割されて受信されたパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成する方法において、
    （ａ）動き推定及び動き補償を行おうとする現在パッチの外郭の仮想画像領域の全部または一部の同じ位置に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、
    （ｂ）前記検索結果に基づいて、前記仮想画像領域の全部または一部に前記参照データを選択的にマッピングするステップと、を含むことを特徴とする方法。
13. 前記（ｂ）ステップは、
    （ｂ１）前記検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、
    （ｂ２）前記判断結果、前記参照データが前記所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、を含むことを特徴とする請求項１２に記載の方法。
14. 前記判断結果、前記参照データが前記所定時間内に更新されていなければ、送信側から受信した付加情報を参照して、前記参照データを前記仮想画像領域の全部または一部にマッピングするか、または前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングして、前記仮想画像領域の全部または一部を生成するかを決定するステップと、
    前記決定によって、前記マッピングまたは前記パッディングを行うステップと、をさらに含むことを特徴とする請求項１３に記載の方法。
15. タイル形式のパッチ単位で分割されて受信されたパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成する装置において、
    動き推定及び動き補償を行おうとする現在パッチの外郭の仮想画像領域の全部または一部の同じ位置に対応する参照データが以前のパノラマ画像中に存在するか否かを検索する検索部と、
    前記検索結果に基づいて、前記参照データを前記仮想画像領域の全部または一部に選択的にマッピングするマッピング部と、を備えることを特徴とする装置。
16. 前記検索部の検索結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断する判断部をさらに備え、
    前記マッピング部は、前記判断部の判断結果、前記参照データが前記所定時間内に更新された場合に、前記マッピングを行うことを特徴とする請求項１５に記載の装置。
17. 前記判断部の判断結果、前記参照データが前記所定時間内に更新されていなければ、送信側から受信した付加情報として、送信側で前記参照データを前記仮想画像領域の全部または一部にマッピングしたか、または前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングしたかを表す情報を解釈する付加情報解釈部と、
    前記検索部の検索結果、前記参照データが存在しない場合、前記以前のパノラマ画像内で前記現在パッチの位置に該当する参照画像の境界部にある画素でパッディングして、前記仮想画像領域の全部または一部を生成するパッディング部と、をさらに備え、
    前記判断部の判断結果、前記参照データが前記所定時間内に更新されていない場合、前記付加情報によって前記マッピングまたは前記パッディングを行うことを特徴とする請求項１６に記載の装置。
18. コンピュータで読み取り可能な記録媒体において、
    タイル形式のパッチ単位で分割して伝送するためのパノラマ画像の動き推定及び動き補償のために仮想画像領域を生成するために、
    動き推定及び動き補償を行おうとする現在パッチの外郭の仮想画像領域の全部または一部の同じ位置に対応する参照データが以前のパノラマ画像中に存在するか否かを検索するステップと、
    前記検索の結果、前記参照データが存在する場合、前記参照データが所定時間内に更新されたか否かを判断するステップと、
    前記判断の結果、前記参照データが前記所定時間内に更新されたならば、前記仮想画像領域の全部または一部に前記参照データをマッピングするステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images