JP4625082B2

JP4625082B2 - 多面体パノラマ画像の符号化及び復号化のための方法及び装置

Info

Publication number: JP4625082B2
Application number: JP2007525546A
Authority: JP
Inventors: ガン−フン・パク
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-08-13
Filing date: 2005-08-13
Publication date: 2011-02-02
Anticipated expiration: 2025-08-13
Also published as: CA2576686A1; KR100732958B1; AU2005272280B2; EP1779660A4; JP2008509626A; CA2576686C; KR20060050348A; US20060034523A1; EP1779660B1; EP1779660A1; CN101002474B; AU2005272280A1; US7483588B2; CN101002474A; WO2006016781A1

Description

本発明は、動画の符号化及び復号化に係り、さらに詳細には、多面体パノラマ動画のパッチを再構成して効率的に符号化及び復号化を行うための方法及び装置に関する。

全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向画像を撮影できるカメラシステムを称す。全方向ビデオカメラシステムは、カメラに双曲面鏡のような特殊形態の鏡や魚眼レンズのような特殊レンズを装着するか、または複数のカメラを利用して全方向を撮影する。

全方向ビデオコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技で多様な視点での光景に対する画像情報は、視聴者側端末機に全部与えられる。すなわち、投手の立場での視点、捕手の立場での視点、打者の立場での視点、１楼席の観衆の立場での視点などでの多様な画像情報が視聴者に提供される。視聴者は、所望の視点を自ら決定して、その視点での画像を視聴しうる。

全方向カメラシステムによって撮影された画像は、３次元の球形環境に対応する特徴を有する。したがって、全方向カメラシステムによって撮影された３次元画像を２次元平面画像に変換する。このとき、２次元平面画像は、全方向画像を含むパノラマ画像となり、２次元パノラマ画像に対して全方向ビデオコーディングが行われる。

このようなパノラマ画像は、通常的に既存の２次元画像に比べてサイズが非常に大きく、良好な画質の画像を伝送するために、帯域幅が過度に大きくなって、効率的なコーディングが非常に重要である。

全世界的に、全方向ビデオ画像を処理するための多様な方法が詳しく研究されている。特に、２０面体画像は、ビデオコーディングに適用する場合、その展開図は、図１に示したように、２０個の正三角形のパッチ画像で構成され、球に比較的正確にマッチングされて多くの研究対象となっている。

図２は、従来の技術によって２０面体パノラマ画像をコーディングする方法を説明するための図面である。
まず、２０面体の外郭線（点線で表示された直四角形）を設定し、外郭線を何れも含むようにマクロブロックを配列した後、２０面体パノラマ画像をマクロブロック単位でコーディングする。

黒い色で満たされたブロックは、２０面体の外に存在するブロックであり、何らの画像情報を含んでいないブロックであって、エンコーディング及びデコーディング時にスキップ処理する。

白色で満たされたブロックは、該当ブロックが２０面体の内部に位置するものであって、フレーム単位のコーディング技法で使われる方法を利用してコーディングを行う。しかし、灰色で満たされたブロックは、各パッチの境界面に位置したブロックであって、一般的なフレーム単位のコーディング技法を使用すれば、境界部で非常に多くの高周波成分が発生してコーディング効率が急に低下する。

例えば、図２の２０面体パノラマ画像を処理するためには、横２４個、縦１２個の総２８８個のマクロブロックを処理せねばならないが、そのうち１０９個の境界部のマクロブロックを処理せねばならず、これは、３８％のマクロブロックで低い効率のコーディングが行われるということを意味する。例えば、上端部の１、５、９、１３、１７パッチを処理するために、総９６個のマクロブロックのうち、４７個のマクロブロックが境界部マクロブロックで構成され、これは、上端部の約４９％のマクロブロックで低い効率のコーディングが行われるということを意味する。

本発明は、２０面体を構成する正三角形パッチ間の空間的な相関関係を利用して、コーディング効率が低下する可能性の高い境界部マクロブロックの数が減少するようにパッチを再構成して、高い動画コーディング効率の獲得を可能にする装置及び方法を提供することを目的とする。

前記目的を達成するための本発明は、多角形パッチで構成される２０面体パノラマ画像を符号化する方法において、（ａ）前記２０面体パノラマ画像の展開図で、それぞれ上端部及び下端部を構成するパッチを中間部を構成するパッチから分割するステップと、（ｂ）前記分割されたパッチを相関関係の高いパッチ同士隣接するように２次元平面に再構成するステップと、（ｃ）前記再構成されたパッチを符号化するステップと、を含む。

ここで、前記（ｂ）ステップは、前記上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成し、再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成した後、３次元空間上の２０面体の上端部と同一に５個の境界面が共有されるように、前記２次元平面上に再構成されたパッチの間に挿入することが望ましい。このような方法は、下端部に対しても同様に適用される。

一方、中間部の展開図では、最右側にあるパッチの右側部分を複写して最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して最右側にあるパッチと一境界面を共有するように挿入することが望ましい。

また、本発明は、２０個の正三角形パッチで構成される２０面体パノラマ画像を符号化する装置において、前記２０面体の展開図で、それぞれ前記２０面体の上端部及び下端部を構成するパッチを中間部を構成するパッチから分割する画像分割部と、前記画像分割部によって分割されたパッチを相関関係の高いパッチ同士隣接するように２次元平面に再構成する画像再構成部と、前記再構成されたパッチを符号化する画像符号化部と、を備える。

ここで、前記画像再構成部は、前記上端部を構成する５個のパッチを３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように２次元平面に再構成し、再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成し、前記生成されたパッチを３次元空間上の２０面体の下端部と同一に５個の境界面が共有されるように、前記２次元平面上に再構成されたパッチの間に挿入することが望ましい。これは、下端部に対しても同様に適用される。

一方、前記画像再構成部は、前記中間部の展開図で最右側にあるパッチの右側部分を複写して最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して最右側にあるパッチと一境界面を共有するように挿入することが望ましい。
また、本発明は、２０個の正三角形パッチで構成される２０面体パノラマ画像を復号化する方法において、（ａ）相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたストリームを受信して復号化するステップと、（ｂ）前記復号化の結果として生成されたパッチを前記再構成する以前の形態に復元するステップと、（ｃ）前記復元された再構成されたパッチを合体して前記２０面体の展開図を生成するステップと、を含む。

また、本発明は、２０個の正三角形パッチで構成される２０面体パノラマ画像を復号化する装置において、相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたビットストリームを受信して復号化する画像復号化部と、前記復号化の結果として生成されたパッチを前記再構成する以前の形態に復元する画像復元部と、前記復元されたパッチを合体して前記２０面体パノラマ画像の展開図を生成する画像合体部と、を備える。
また、本発明は、コンピュータで読み取り可能な記録媒体において、２０面体パノラマ画像の展開図で、それぞれ上端部及び下端部を構成するパッチを中間部を構成するパッチから分割するステップと、前記分割されたパッチを、相関関係の高いパッチ同士隣接するように２次元平面に再構成するステップと、前記再構成されたパッチを符号化するステップと、を含む、多角形パッチで構成される２０面体パノラマ画像を符号化する方法を行うためのプログラムが記録された記録媒体を提供する。

また、本発明は、コンピュータで読み取り可能な記録媒体において、２０面体パノラマ画像の展開図で、相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたビットストリームを受信して復号化するステップと、前記復号化の結果として生成されたパッチを前記再構成する以前の形態に復元するステップと、前記復元された再構成されたパッチを合体して前記２０面体パノラマ画像の展開図を生成するステップと、を含む、２０個の正三角形パッチで構成される２０面体パノラマ画像を復号化する方法を行うためのプログラムが記録された記録媒体を提供する。

本発明によれば、２０面体パノラマ画像の符号化において、コーディング効率の低い境界部マクロブロックの数を減らすと同時に、３次元空間で隣接するパッチ間の相関関係を動き推定や補償に利用できて、従来の技術に比べて非常に高いコーディング効率が得られる。

以下、添付された図面を参照して、本発明の望ましい実施形態を詳細に説明する。
図３は、２０面体パノラマ画像の正三角形パッチの間の空間的な相関関係を示す図面である。
図３に示したように、上端部の１、５、９、１３、１７パッチと下端部の４、８、１２、１６、２０パッチ、及び中央部の２、１９パッチは、２０面体を構成した時に相互連結されている。したがって、これらの間には、高い相関関係が存在するが、前述した従来の技術によれば、図１のような２０面体の展開図状態そのままコーディングが行われるので、このような相関関係を全く利用できなくなってコーディング効率が低下する。

図４Ａは、本発明による符号化過程を簡略に示す順序図である。
本発明によるデコーダに２０面体パノラマ画像が入力されれば（４１０）、上端部を構成するパッチ及び下端部を構成するパッチを中間部を構成するパッチのグループから分割する（４２０）。そして、分割されたパッチを相関関係の高いパッチが隣接するように再構成した後（４３０）、再構成されたパッチをコーディングする（４４０）。相関関係の高いパッチを再構成する方法には、色々なものがありうる。これについては後述する。

図４Ｂは、本発明による復号化過程を簡略に示す順序図である。デコーダでは、前記のエンコーダと逆順に復号化過程が行われる。すなわち、エンコーダからビットストリームが受信されれば（４５０）、受信されたビットストリームを復号化して２０面体パノラマ画像を構成するパッチを生成し（４６０）、生成されたパッチは、前述したように、エンコーダで再構成されたものであるので、このパッチを元来の形態に復元する（４７０）。最後に、復元された上端部、中間部、下端部のパッチを合体して、２０面体パノラマ画像の展開図の形態で構成する（４８０）。

図５Ａ及び図５Ｂは、２０面体の上端面に対する平面図及び斜視図である。
２０面体の上端部を上方から観察すれば、図５Ａのように、５個の正三角形で構成される。前述したように、この三角形が何れも連結されていて、空間的な相関関係が高いので、コーディング時にこれらの相関関係を利用すれば、境界部のマクロブロック数が減ってコーディング効率が向上する。しかし、コーディングのためには、２次元平面上に画像パッチを展開せねばならないが、上端部のパッチを何れも連結すれば、図５Ｂに示したように３次元空間上の立体形状となる。これはもちろん、下端部に対しても同様である。図５Ｃ及び図５Ｄは、２０面体パノラマ画像の上端部及び下端部に対する展開図である。前述したように、上端部及び下端部のパッチを何れも連結することが境界部のマクロブロックの数を減らせて理想的であるが、そのような形態では２次元平面に展開できないので、コーディングをできず、２次元平面に展開すれば、上端部は図５Ｃ、下端部は図５Ｄのような形態となる。

図６Ａ及び図６Ｂは、本発明の一実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。
図６Ａに示したように、本発明によって上端部のパッチのみを別途に展開してコーディングを行えば、図２に比べて相対的に少ない数の境界部マクロブロックが導出される。図２の場合、上端部パッチに対してコーディングせねばならない境界部マクロブロックの数は、４７個であるが、図６Ａに示したパッチの構成によれば、コーディングせねばならない境界部マクロブロックの数は、３２個に過ぎず、コーディング効率が向上するということが分かる。これは、図６Ｂに示した下端部に対しても同様である。

本実施形態によれば、図２に比べて、コーディング効率は向上したが、上端部の場合、１番パッチと１７番パッチ、下端部の場合、４番パッチと２０番パッチとの相関関係があるにもかかわらず、これを利用できない。以下では、これらの相関関係を利用するためのさらに他の実施形態を説明する。

図７Ａ及び図７Ｂは、本発明の他の実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。
本実施形態によれば、他のパッチを利用してダミーパッチを生成した後、これを挿入してエンコーディング及びデコーディングを行い、画像をディスプレイする時には、シェープマスクを利用してダミーパッチに該当する部分を除去する方法が使われる。

すなわち、図７Ａに示したように、上端部の場合、１番パッチと隣接した半分には、１７番パッチの右側半分部を複写して満たし、１７番パッチと隣接した半分には、１番パッチの右側部分半分を複写して満たした後に、エンコーディング及びデコーディングを行えば、図示したように、図６Ａに比べて、境界部のマクロブロック数が減ってコーディング効率を向上させうる。図６Ａと比較すれば、境界部のマクロブロックの数が４７個から２３個に半分以上減少したということが分かる。これは、、図７Ｂに示したように、下端部でも同様に適用される。すなわち、下端部では、４番パッチと隣接した半分には、２０番パッチの右側半分部を複写して満たし、２０番パッチと隣接した半分には、４番パッチの右側部分半分を複写してダミーパッチを生成する。

図８は、本発明の一実施形態によってパッチを再構成した結果、中間部の向上したコーディング効率を説明するための図面である。
本実施形態によって２０面体パノラマ画像の中間部分をコーディングする方法は簡単である。中間部分を構成する正三角形パッチの間には、密接な相関関係があるので、図８に示したように、長い菱形状の形態では、最左側と最右側とに幾つかの境界マクロブロックが現れ、これを２次元動画コーディング方法で処理すれば良い。但し、ここで、２番パッチと１９番パッチとの間には、空間的な相関関係が非常に大きく存在するが、このような相関関係を利用できないという短所がある。

図９は、本発明の他の実施形態によってパッチを再構成した結果、中間部の向上したコーディング効率を説明するための図面である。
本実施形態では、図８の構成で２番パッチと１９番パッチとの空間的な相関関係を利用できないという短所を解決するために、ダミーパッチを導入する。すなわち、２番パッチの左側領域に１９番パッチの右側部分を複写して満たし、１９番パッチの右側領域にパッチ２の右側部分を複写して仮想空間領域に満たして、直四角形のフレーム単位のコーディング技法を利用してコーディングを完了した後、画像をディスプレイする時には、シェープマスクを利用してダミーパッチに該当する部分を除去する方法が使われうる。このような方法によれば、２番パッチと１９番パッチとの相関関係を利用でき、境界部のマクロブロックを無くすことができて、図８の場合に比べて、コーディング効率を向上させうる。

図１０は、本発明の一実施形態によるエンコーダ７００及びデコーダ７９０のブロック図である。
図１０に示したように、エンコーダ７００は、画像分割部７１０、画像再構成部７２０、第１画像符号化部７３０及び第２画像符号化部７４０で構成される。

画像分割部７１０は、２０面体画像パノラマの展開図で、それぞれ前記２０面体の上端部及び下端部を構成するパッチを、中間部を構成するパッチから分割し、画像再構成部７２０は、前述した方法を利用して画像分割部７１０によって分割された正三角形パッチを相関関係の高いパッチ同士隣接するように２次元平面に再構成する。第１画像符号化部７３０及び第２画像符号化部７４０は、画像再構成部７２０によって再構成されたパッチを符号化するが、２０面体パノラマ画像の中間部は、上端部及び下端部とは異なる方式でエンコーディングされるので、二つの符号化部が必要である。もし、上端部及び下端部を別途にエンコーディングする場合には、何れも３個の符号化部が必要である。本実施形態では、中間部のパッチが画像再構成部７２０を経るようにしたが、上端部及び下端部から分割された中間部のパッチにダミーパッチを挿入せずに直ぐエンコーディングする場合には、画像分割部７１０から符号化部に直接入力されうる。

一方、デコーダ７９０は、画像合体部７６０、画像復元部７５０、第１画像復号化部７３５、第２画像復号化部７４５を備える。デコーダ７９０は、エンコーダ７００から２０面体パノラマ画像が符号化されたビットストリームを受信するが、第１画像復号化部７３５及び第２画像復号化部７４５は、これらをデコーディングしてエンコーダ７００の画像再構成部７２０で再構成した２０面体パノラマ画像の上端部、下端部、中間部パッチを生成する。画像復元部７５０では、２０面体パノラマ画像の上端部、下端部、中間部パッチをエンコーダの画像再構成部７２０で再構成する前の形状に復元する。画像合体部７６０では、画像復元部７５０によって復元された上端部、下端部、中間部のパッチグループを組合わせてエンコーダ７００の画像分割部７１０によって分割される前の２０面体展開図形状にパッチを合体する。

一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用ディジタルコンピュータで具現されうる。

前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが分かるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前記説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。

２０面体パノラマ画像を示す展開図である。従来の技術によって２０面体パノラマ画像をコーディングする方法を説明するための図面である。２０面体パノラマ画像の正三角形パッチ間の空間的な相関関係を示す図面である。本発明による符号化過程を簡略に示す順序図である。本発明による復号化過程を簡略に示す順序図である。２０面体パノラマ画像の上端部及び下端部に対する分析図である。２０面体パノラマ画像の上端部及び下端部に対する分析図である。２０面体パノラマ画像の上端部及び下端部に対する分析図である。２０面体パノラマ画像の上端部及び下端部に対する分析図である。本発明の一実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。本発明の一実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。本発明の他の実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。本発明の他の実施形態によってパッチを再構成した結果、上端部及び下端部の向上したコーディング効率を説明するための図面である。本発明の一実施形態によってパッチを再構成した結果、中間部の向上したコーディング効率を説明するための図面である。本発明の他の実施形態によってパッチを再構成した結果、中間部の向上したコーディング効率を説明するための図面である。本発明の一実施形態によるエンコーダ及びデコーダを示すブロック図である。

符号の説明

７００エンコーダ
７１０画像分割部
７２０画像再構成部
７３０第１画像符号化部
７３５第１画像復号化部
７４０第２画像符号化部
７４５第２画像復号化部
７５０画像復元部
７６０画像合体部
７９０デコーダ

Claims

多角形パッチで構成される多面体パノラマ画像を符号化する方法において、
（ａ）前記多面体パノラマ画像の展開図から、最外郭のパッチを空間的な相関関係の高いパッチ同士隣接するように２次元平面に再構成するステップと、
（ｂ）前記再構成されたパッチを符号化するステップと、を含み、
前記（ａ）ステップは、
（ａ１）前記多面体パノラマ画像の展開図で、それぞれ上端部及び下端部を構成するパッチを、中間部を構成するパッチから分割するステップと、
（ａ２）前記分割されたパッチを、空間的な相関関係の高いパッチ同士隣接するように２次元平面に再構成するステップと、を含み、
前記多面体パノラマ画像は、２０個の正三角形で構成される２０面体パノラマ画像であり、
前記（ａ）ステップは、
前記上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする方法。
前記再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成するステップと、
前記生成されたパッチを、前記共有されていない境界面が３次元空間上の２０面体と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
前記（ａ）ステップは、
前記下端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする請求項１に記載の方法。
前記再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように各パッチの一部を複写して一つの正三角形パッチを生成するステップと、
前記生成されたパッチを、前記共有されていない境界面が３次元空間上の２０面体と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入するステップと、をさらに含むことを特徴とする請求項３に記載の方法。
前記（ａ）ステップは、
前記中間部の展開図で最右側にあるパッチの右側部分を複写して生成したパッチを最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して生成したパッチを最右側にあるパッチと一境界面を共有するように挿入することを特徴とする請求項１に記載の方法。
多角形パッチで構成される多面体パノラマ画像を符号化する装置において、
前記多面体の展開図でそれぞれ前記多面体の上端部及び下端部を構成するパッチを、中間部を構成するパッチから分割する画像分割部と、
前記画像分割部によって分割されたパッチを空間的な相関関係の高いパッチ同士隣接するように２次元平面に再構成する画像再構成部と、
前記再構成されたパッチを符号化する画像符号化部と、を備え、
前記多面体パノラマ画像は、２０面体の正三角形で構成される２０面体パノラマ画像であり、
前記画像再構成部は、前記上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする装置。
前記画像再構成部は、前記再構成結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成し、前記生成されたパッチを前記共有されていない境界面が３次元空間上の２０面体と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入することを特徴とする請求項６に記載の装置。
前記画像再構成部は、前記下端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする請求項６に記載の装置。
前記画像再構成部は、前記再構成結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成し、前記生成されたパッチを前記共有されていない境界面が３次元空間上の２０面体と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入することを特徴とする請求項８に記載の装置。
前記画像再構成部は、前記中間部の展開図で最右側にあるパッチの右側部分を複写して生成したパッチを最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して生成したパッチを最右側にあるパッチと一境界面を共有するように挿入することを特徴とする請求項６に記載の装置。
多角形パッチで構成される多面体パノラマ画像を復号化する方法において、
（ａ）前記多面体パノラマ画像の展開図から、空間的な相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたストリームを受信して復号化するステップと、
（ｂ）前記復号化結果、生成されたパッチを前記再構成する以前の形態に復元するステップと、
（ｃ）前記復元された再構成されたパッチを合体して前記多面体パノラマ画像の展開図を生成するステップと、を含み、
前記多面体パノラマ画像は、２０個の正三角形で構成される２０面体パノラマ画像であり、
前記再構成は、
前記２０面体パノラマ画像の上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面を共有させることを特徴とする方法。
前記再構成は、
前記再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成するステップと、
前記生成されたパッチを前記共有されていない境界面が３次元空間上の２０面体の上端部と同様に共有されるように、２次元平面上に再構成されたパッチの間に挿入するステップと、を含むことを特徴とする請求項１１に記載の方法。
前記再構成は、
下端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする請求項１１に記載の方法。
前記再構成は、
前記再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように、各パッチの一部を複写して一つの正三角形パッチを生成するステップと、
前記生成されたパッチを前記共有されていない境界面が３次元空間上の２０面体の下端部と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入するステップと、をさらに含むことを特徴とする請求項１３に記載の方法。
前記再構成は、
前記２０面体パノラマ画像の中間部の展開図で、最右側にあるパッチの右側部分を複写して生成したパッチを最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して生成したパッチを最右側にあるパッチと一境界面を共有するように挿入することを特徴とする請求項１１に記載の方法。
多角形パッチで構成される多面体パノラマ画像を復号化する装置において、
前記多面体パノラマ画像の展開図から、空間的な相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたビットストリームを受信して復号化する画像復号化部と、
前記復号化の結果として生成されたパッチを、前記再構成する以前の形態に復元する画像復元部と、
前記復元されたパッチを合体して、前記多面体パノラマ画像の展開図を生成する画像合体部と、を備え、
前記多面体パノラマ画像は、２０個の正三角形で構成される２０面体パノラマ画像であり、
前記再構成は、前記２０面体パノラマ画像の上端部を構成する５個のパッチを３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成することを特徴とする装置。
前記再構成は、
前記再構成した結果、一つの境界面のみを他のパッチと共有している二つのパッチで、３次元空間上の２０面体では相互共有されたが、前記再構成した結果、共有されていない境界面が含まれるように各パッチの一部を複写して一つの正三角形パッチを生成し、前記生成されたパッチを前記共有されていない境界面が３次元空間上の２０面体の上端部と同様に共有されるように、前記２次元平面上に再構成されたパッチの間に挿入することを特徴とする請求項１６に記載の装置。
前記再構成は、
前記２０面体パノラマ画像の中間部の展開図で、最右側にあるパッチの右側部分を複写して生成したパッチを最左側にあるパッチと一境界面を共有するように挿入し、最左側にあるパッチの左側部分を複写して生成したパッチを最右側にあるパッチと一境界面を共有するように挿入することを特徴とする請求項１６に記載の装置。
コンピュータで読み取り可能な記録媒体において、
多面体パノラマ画像の展開図で、それぞれ上端部及び下端部を構成するパッチを、中間部を構成するパッチから分割するステップと、
前記分割されたパッチを空間的な相関関係の高いパッチ同士隣接するように２次元平面に再構成するステップと、
前記再構成されたパッチを符号化するステップと、を含む多角形パッチで構成される多面体パノラマ画像を符号化する方法をコンピュータに実行させるためのプログラムが記録され、
前記多面体パノラマ画像は、２０個の正三角形で構成される２０面体パノラマ画像であり、
前記再構成するステップは、
前記上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成する記録媒体。
コンピュータで読み取り可能な記録媒体において、
多面体パノラマ画像の展開図から、空間的な相関関係の高いパッチ同士隣接するように再構成されたパッチが符号化されたビットストリームを受信して復号化するステップと、
前記復号化の結果として生成されたパッチを前記再構成する以前の形態に復元するステップと、
前記復元された再構成されたパッチを合体して前記多面体パノラマ画像の展開図を生成するステップと、を含む、多角形パッチで構成される多面体パノラマ画像を復号化する方法をコンピュータに実行させるためのプログラムが記録され、
前記多面体パノラマ画像は、２０個の正三角形で構成される２０面体パノラマ画像であり、
前記再構成されたパッチは、前記上端部を構成する５個のパッチを、３次元空間上の２０面体で共有された５個の境界面のうち４個の境界面が共有されるように、２次元平面に再構成されていることを特徴とする記録媒体。