JP6019520B2 - 立体画像を生成、送信、および、受信するための方法、および関連するデバイス - Google Patents

Description

本発明は、マルチメディア分野に係り、特に、立体動画ストリームを生成、送信、および受信する方法、および、関連するデバイスに係り、立体動画ストリームとは、表示デバイスで適切な処理をされることで、観察者に３次元に見える連続した画像が生成されるような動画ストリームのことをいう。

特に、本発明は、請求項１のプリアンブル部分における立体動画ストリームの生成方法に係る。

公知であるが、１つが観察者の右目、他方が観察者の左目に対する、２つの画像を再生することで、三次元の視野を達成することができる。

したがって立体動画ストリームは、１つのオブジェクトまたはシーンの右目視野および左目視野（ここではそれぞれ右目画像よび左目画像と称される）に対応する２つの画像シーケンスに関する情報をトランスポートする。

立体動画ストリームが占有する帯域を制限するために、右画像および左画像を、１つの立体動画フレームを構成する合成画像に多重化する方法が知られている。

右画像および左画像をより小さな領域に分割して、その後、合成画像に入力する、という多重化法が知られている。

たとえば、国際特許２００８／１５３８６３号パンフレットは、右画像および左画像に７０％のスケーリングを行う方法を開示しており、スケーリングされた画像は、次に、８ｘ８画素のブロックに分割される。

各スケーリングされた画像のブロックは、合成画像の約半分に等しい領域にまで縮小される。

たとえば、国際特許２００８／１５３８６３号パンフレットで記載されている別の方法では、各右画像および左画像に対角スケーリングを行い、原画像を平行四辺形に変形している。そして２つの平行四辺形を三角形の領域に分割して、２つの平行四辺形を分割することで得られた三角形の領域を再構成、再配置した、矩形の合成画像を合成する。左画像および右画像の三角形の領域は、これらが合成画像の対角線で分割されるように構成される。

多重化段階の後に、当業者には公知な圧縮アルゴリズム（ＭＰＥＧ−２およびＪＰＥＧ規格）に従って立体動画ストリームを圧縮する。

これら圧縮アルゴリズムによって、合成画像が、所定の寸法を有する画素ブロックに分割される（これらは、今後マクロブロックと称する）。

マクロブロックには、空間相関性（spatial correlation）を利用するための離散コサイン変換（ＤＣＴ）、隣接するフレーム間の差の符号化、時間相関性を利用するための動き補償、統計的冗長性を低減させるための可変長符号化（ＶＬＣ）、および、最も重要性の低い情報を除去するためのＤＣＴ係数量子化などの、動画ストリームのビットレートを低減することを目的とする一連の処理段階（たとえば、）が行われる。

Ｈ.２６４規格の場合には、ブロックを二乗（square）して、１６ｘ１６画素のサイズを有するようにして、別の規格では、別のサイズのマクロブロックを利用する（たとえば、ＭＰＥＧ−２およびＪＰＥＧ規格では８ｘ８画素を利用する）。

本願の出願人が実行したいくつかの実験的な分析では、マクロブロックへの分割が利用される圧縮アルゴリズムを、国際特許２００８／１５３８６３号パフレットの方法で生成された合成画像に利用すると、眼に見えるアーチファクトをもつ圧縮画像が生成される場合がある（特に、合成画像が途切れている点において）。

この問題は、右画像および左画像の分割領域が小さくなるほど切実に感じられるようになり、実際にこの問題は、領域の端部に沿って顕著な途切れを生成することを示している。

したがって、国際出願ＷＯ２００８／１５３８６３号パンフレットの多重化方法は、明らかな圧縮アーチファクトを生成してしまう。

したがって、本発明の目的は、先行技術が抱えている問題の一部を解決することができる、立体動画ストリームを生成する方法の提供である。

特に、本発明の１つの目的は、後の圧縮に特に適した（つまり、圧縮アーチファクトを低減させるように）立体動画ストリームを生成する方法の提供である。

さらなる本発明の目的は、多大な計算リソースを必要としない立体動画ストリームを生成する方法の提供である。

これらおよびそのたの本発明の目的は、本記載の一部を形成している添付請求項に示される特徴を組み込んだ立体動画ストリームの生成方法およびシステムによって達成される。

本発明が元としている一般的な構想は、立体動画ストリームの右画像および左画像の対を含む合成画像を生成する方法からなる。

方法によると、合成画像のマクロブロック格子が定義され、格子の各マクロブロックが、複数の隣接する画素を含んでいる。右画像および左画像の対からなる１つの画像は、複数の領域に分割されて、これらがコンポーネント領域と称され、複数の隣接している画素を含んでいる。これらのコンポーネント領域は、次に、導出領域と称される他の対応する領域を生成するよう処理されるが、この導出領域には、対応するコンポーネント領域の画素全てが少なくとも含まれ、整数個のマクロブロックに分割することができる。この後に、分割されていない画像と、導出領域とを、そのすべての端部が、前に定義された格子のマクロブロックの端部に合致するように、合成画像に入力する。

方法によって、計算コストをあまり必要とせず、圧縮アーチファクトもあまりない動画ストリームが生成される。

本発明の一態様では、右画像および左画像を、スケーリング処理を行わずにコンテナフレームに入力することができる（つまり、表示する画像の画素全てをコンテナフレームに配置することによって）。

好適には、右画像および左画像のいずれかを、合成画像で利用可能なスペース、および、変更されない他の画像が占有するスペースを考慮に入れて、可能な限り最低数の領域に分割するとよい。

この方法は、多く計算リソースを必要としないので、本発明の方法を実装するデバイスは、コストの点で利点がある。

好適には、マクロブロックが１６ｘ１６画素のサイズであるとよい。この方法は、特に、高精細テレビ（Ｈ．２６４規格）に現在利用されている圧縮アルゴリズムでの利用に適している。

本発明はさらに、合成画像を生成する方法を実装することができるシステムに係る。

特に、本発明のシステムは、一対の右画像および左画像による１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割するための分割モジュールと、複数の連続画素を含む複数のコンポーネント領域と、対応する導出領域を生成するように、複数のコンポーネント領域を処理するための処理モジュールと、合成画像のマクロブロックの格子を定義して、一対の右画像および左画像、並びに、複数の導出画像を、分割されていない画像の、および、導出画像の端部全てが、格子内のマクロブロックの端部に合致するように、配置する合成画像生成モジュールとを備える。

さらなる態様によると、本発明はさらに、合成画像（特に、マクロブロックの格子の定義に基づいた、上述した種類の方法およびシステムの両方または片方により生成される合成画像）から始まり、一対の画像を再構築するための方法およびシステムに係る。

一実施形態では、一対の画像を再構築する方法は、合成画像の連続したマクロブロックからなる１つの群をコピーすることで、一対の画像のうちの第１の画像を生成する。逆に、他の画像は、合成画像の複数の導出領域を抽出するプロセスによって生成され、各導出領域は、格子のマクロブロックの端部に対応する端部を有している。導出領域は処理（たとえば回転による、コピーおよび変換の両方または片方という処理）を行われて、対応するコンポーネント領域が生成されるが、１つのコンポーネント領域のすべての画素は、１つの導出領域の画素に対応している。次に、画像が、コンポーネント領域を組み合わせることで生成される。

別の態様によると、本発明は、１つのマクロブロックの格子の定義に基づいて、圧縮および伸張を行われた合成画像から始まり、一対の右画像および左画像が再構成する。システムには、合成画像の１つの領域から１つの連続した画素群をコピーすることにより、一対の右画像および左画像の第１の画像を生成する第１の抽出モジュールと、圧縮されていない合成画像から複数の導出領域を抽出する第２の抽出モジュールとが備わり、複数の導出領域のそれぞれは、格子のマクロブロックの端部に対応しており、１つの連続した画素群に含まれていない複数の画素を含み、システムにはさらに、抽出モジュールに動作可能に接続されており、複数の導出領域を処理して、対応するコンポーネント領域を生成する処理モジュールと、処理モジュールに動作可能に接続されており、一対の右画像および左画像による１つの画像を生成するように複数のコンポーネント領域を結合する第２のリアセンブラモジュールとが備わる。

本発明のさらなる目的および利点は、以下の詳細な説明を読むことで明らかになるだろう。本発明の一部の好適な、有利な実施形態を、添付図面を参照して非限定的な例により記載する。

立体動画システムを生成するためのシステムのブロック図を示す。 第１の種類の合成画像を示す。 第２の種類の合成画像を示す。 図１のデバイスが実行する方法のフローチャートを示す。 合成画像に入力される画像の第１の分割形態を示す。 本発明の第１の実施形態による、図２に示す種類の合成画像を構築するための第１のステップを示す。 図６の完全な合成画像を示す。 １つの合成画像に入力される１つの画像の第２の分割形態を示す。 本発明の第２の実施形態による、図３に示す種類の合成画像を構築するための第１のステップを示す。 図９の完全な合成画像を示す。 １つの合成画像に入力される１つの画像の第３の分割形態を示す。 図１１に存在する領域が入力された合成画像を示す。 １つの合成画像を生成するためのそれぞれ異なるエレメントおよびステップのさらなる実施形態を示す。 １つの合成画像を生成するためのそれぞれ異なるエレメントおよびステップのさらなる実施形態を示す。 １つの合成画像を生成するためのそれぞれ異なるエレメントおよびステップのさらなる実施形態を示す。 合成画像のさらなる実施形態を示す。 合成画像のさらなる実施形態を示す。 合成画像のまた別の実施形態を示す。 合成画像のまた別の実施形態を示す。 本発明の方法により生成された合成画像を受信するためのレシーバのブロック図を示す。 図４の図に示す方法により、１つの合成画像に多重化される右画像および左画像を再構築する方法のフローチャートを示す。

マクロブロックを含むフレームを示している図においては、明瞭且つ読みやすくする目的から、実際に必要となる数より少ない数のマクロブロックが描かれていることを了解されたい。

上述した図面は、本発明の異なる態様および実施形態を示しており、必要に応じて、図面間で同様の構造、コンポーネント、材料、および、エレメントの少なくとも１つが、同じまたは同様の参照番号で示される場合があることを理解されたい。

図１は、圧縮された立体動画ストリーム１０７を生成するためのシステム１のブロック図であり、このシステム１は、圧縮モジュール１０６に接続されているパッカーデバイス１００を含む。別の実施形態では、合成モジュール１０６およびパッカーデバイス１００が、同じ装置に含まれていてもよい。

パッカーデバイス１００は、それぞれが左目（Ｌ）および右目（Ｒ）用である、一連の画像１０２および一連の画像１０３（たとえば２つの動画ストリーム）を受信する。

パッカーデバイス１００は、一連の画像１０２および一連の画像１０３を多重化することを含む、立体動画ストリームを生成する方法を実装することができる。

右画像および左画像を多重化する方法を実行するために、パッカーデバイス１００は、入力画像（図１の例における右画像Ｒ）を、それぞれが入力画像の１つの領域に対応している複数の副画像に分割するための分割モジュール１０４を含む。図１の実施形態では、右画像Ｒを、３つの副画像（Ｒ１、Ｒ２、Ｒ３）（つまり、最少数の矩形の副画像）に分割している。アセンブラーモジュール１０５は、分割モジュール１０４が出力し、おそらくはモジュール１０８が処理している、副画像Ｒ１、Ｒ２、およびＲ３と分割されていない画像とを受信するが、これに関しては後述する。

アセンブラーモジュール１０５は、次に、画像Ｌ、受信した副画像Ｒ１、Ｒ２、およびＲ３を入力して、パッカーデバイス１００が出力すべき１つの合成画像Ｃに入力して、コンテナフレームを構築する。

パッカーデバイス１００が出力する一連の合成画像Ｃは、圧縮されていない立体動画ストリーム１０１を構成する。

圧縮モジュール１０６は、立体動画ストリーム１０１を受信して、これを圧縮する。圧縮モジュール１０６は、次に、圧縮された立体動画ストリーム１０７を、圧縮されていない立体動画ストリーム１０１より低いビットレートで生成する。

圧縮モジュールは、動画ストリーム１０１を受信して、本質的に公知の圧縮アルゴリズム（たとえば、ＭＰＥＧ規格（ＭＰＥＧ２、ＭＰＥＧ４ＡＶＣまたはＨ．２６４）が利用する圧縮アルゴリズム）に従ってこれを処理する。

圧縮モジュール１０６が利用するアルゴリズムは、マクロブロックの通常の格子（つまり、所定のサイズ（たとえば１６ｘ１６、または、８ｘ８）を持つ連続した画素ブロック）に圧縮すべき画像を分割する動作をする。この後で、個々のマクロブロックを公知の技術により処理するが、これに関しては本文献では説明しない。

図２は、動画ストリーム１０１の合成画像２００の第１の例を示しており、ここで合成画像は、サイズが１９２０ｘ１０８８画素であり、整数個の１６ｘ１６画素の正方形のマクロブロックに分割することができる。明瞭に記載する目的から、図２の例には、実際の数より少ない数のマクロブロック２０１しか示していない。同じことが、マクロブロックを含んだすべての他の図面にもあてはまる。

マクロブロック２０１同士は重なることがなく、合成画像２００のすべての画素をカバーしているので、１つの定型格子を形成する。

圧縮モジュール１０６が受け取る合成画像Ｃのサイズが、整数個の均等なサイズのマクロブロックに分割するのに適さない場合には、圧縮モジュール１０６は、いくつかの画素を、受けた合成画像に追加して、全てが同じサイズの整数個のマクロブロックに分割することができるようにする。追加される画素は、クロミナンスおよび輝度が自由な値であってよい。

たとえば図３は、１０８０ｐタイプの（１９２０ｘ１０８０画素のプログレッシブフォーマット）の動画ストリームの１フレームである、１９２０ｘ１０８０画素のサイズの合成画像３００を示しており、最後の行のマクロブロックの垂直方向の長さは、全ての他のマクロブロックの半分となっている。合成画像３００を受信すると、圧縮モジュール１０６は、特に垂直方向においては、整数個の重なっていないマクロブロックに完全には分割できないことに気付く。

この結果、圧縮モジュール１０６は、合成画像３００の下端部に、１９２０画素を８行（３０３）追加して、１９２０ｘ１０８８画素を持つ新たな合成画像３０２を得るが（修正された合成画像と称する）、これは、ちょうど１６ｘ１６のサイズの８１６０個のマクロブロック３０１に分割することが可能である。実際の実装例では、８つの追加された行３０３のすべての画素が、緑（green）と認識されるクロミナンスおよび輝度を有している。最後に、圧縮モジュール１０６は、圧縮アルゴリズムを、修正された合成画像３０２に利用する。

上述した動作モードの結果、画像３０２の一番下には、不連続が多いマクロブロックが存在することになる（原画像３００の最後の８行と８つの追加された行３０３との間の遷移部）。これにより、次の圧縮ステップで、レシーバで伸張された合成画像にアーチファクトが現れることもあり、また、レシーバ自身が構築した画像ＬおよびＲに（今後、ＬｏｕｔおよびＲｏｕｔと称される）アーチファクトが現れることもある。もしこれらアーチファクトが、画像ＬｏｕｔまたはＲｏｕｔの端部にあるのであれば、あまり見えず気にならないが、領域Ｒに分割される画像の再構成プロセスによって、リアセンブルされた画像Ｒｏｕｔ内にも見えるようになる場合もあり、これらは、非常に目に見えて気になる。

パッカーデバイス１００が実装する多重化法の一例を、図４および図５を参照して説明する。

方法はステップ４００から始まり、後で（ステップ４０１）、コンテナフレームＣおよび、それぞれのマクロブロック格子を定義する。

一実施形態では、図６の例を参照して示すように、左画像ＬがコンテナフレームＣに入力されて、左上の隅に配置されている。これは、画像Ｌの１２８０ｘ７２０画素を、コンテナフレームＣの初めの７２０行の初めの１２８０画素からなる領域Ｃ１にコピーすることで行われる。

以下の記載において、画像をフレームに入力する、または、画素を１つのフレームから別のフレームに転送またはコピーする、といった言い回しが利用されている場合、これは、原画像と同じ画素を含む新たなフレームを生成する処理を実行する（ハードウェアおよびソフトウェア手段の両方または片方を利用することで）、という意味に捉えていただきたい。

原画像（または原画像の一群の画素）を対象画像に再生する技術（ソフトウェアおよびハードウェアの少なくとも一方の技術）は、本発明の趣旨にとってあまり重要ではないと思われ、当業者には本質的に公知であるので、ここでは深入りしないことにする。

２つの入力画像（右画像および左画像）の他の画像５０１は、図５に示すように複数の領域に分割される（ステップ４０２）。図５の例では、分割された画像５０１は、７２０ｐの動画ストリームのフレームＲである（つまり、１２８０ｘ７２０画素の解像度のプログレッシブフォーマット）。

画像５０１は、右目用の画像をトランスポートする動画ストリーム１０３からのものであり、３つの矩形領域Ｒ１'、Ｒ２'、およびＲ３'に分割され、これら領域それぞれが、整数倍の個数のマクロブロックを含むようにする（たとえば、一定のサイズの互いに重ならない１６ｘ１６画素を持つようにする）。Ｒ１'、Ｒ２'、Ｒ３'、およびＣ'は、それぞれ、後述する具体的な実施形態で得られる領域Ｒ１、Ｒ２、Ｒ３、およびフレームＣを示している。

画像５０１の分割は、２つの均等な部分への分割、および、この後で、これら２つの部分それぞれをさらに２つの他の部分に分割することを含む。

領域Ｒ１'は、６４０ｘ７２０画素のサイズを有し、各行の初めの６４０画素全てを取り入れることで得られる。

領域Ｒ２'は、６４０ｘ３６０画素のサイズを有し、最初の３６８行の６４１から１２８０番目の画素を取り入れることで得られる。

領域Ｒ３'は、６４０ｘ３５２画素のサイズを有し、画像Ｒの残りの画素（最後の３５２行の６４１から１２８０番目の画素）を取り入れることで得られる。

モジュール１０４が分割ステップを実行して、副画像Ｒ１'、Ｒ２'、Ｒ３'を出力する。

この後で、アセンブラーモジュール１０５は、合成画像Ｃを構築するが、この合成画像Ｃには、右入力画像および左入力画像の両方に関する情報が含まれ、後述する例において、合成画像Ｃが、出力立体動画ストリームの１フレームなので、これもコンテナフレームＣ'と称される。

本実施形態では、コンテナフレームＣ'は、図２を参照して上述したタイプのものである（つまり、整数個の１６ｘ１６のマクロブロックに、定型格子を使って完全に分割した１９２０ｘ１０８８画素の画像）。

もっと一般的には、コンポーネント領域と称される領域Ｒ１、Ｒ２、およびＲ３を、対応するコンポーネント領域のすべての画素を少なくとも含む対応する導出領域を生成するよう、処理することができる（ステップ４０３）。このステップは、モジュール１０８により実行され、これは図１の破線で描かれている。図５および図７に前に記載された実施形態では、領域Ｒ１'、Ｒ２'、Ｒ３'の処理は行われない。この結果、コンポーネント領域（Ｒ１、Ｒ２、Ｒ３）および導出領域（Ｒ１ｄｅｒ、Ｒ２ｄｅｒ、Ｒ３ｄｅｒ）が同一であるという意味で、ステップ４０３が行われない。加えて、本実施形態では、図１の処理モジュール１０８は、分割モジュール１０４が生成したコンポーネント領域を、アセンブラーモジュール１０５に転送するタスクのみを実行する。

本発明の様々な実施形態が示す図面および本文があまりに煩雑になりすぎるのを防止するために、コンポーネント領域と合致する場合には、導出領域は、Ｒｉ、Ｒｉ'、Ｒｉ''、Ｒｉ'' '、Ｒｉ' ' ' '等と示すこととし（Ｒｉｄｅｒ Ｒｉ'ｄｅｒ、Ｒｉ' 'ｄｅｒ、Ｒｉ' ' 'ｄｅｒ、Ｒｉ' ' ' '等とするのではなく）、このインデックス「ｉ」は、１から４の間の値をとることができる。本発明のいずれの実施形態においても、コンポーネント領域およびフレームまたは合成画像の総称として、カンマのない参照番号（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｃ）が利用される場合もある。

別の実施形態では、１以上の導出領域の形成を行うための動作は、回転、反転、画素追加等であってよく、分割モジュール１０４およびアセンブラーモジュール１０５の間に設けられる処理モジュール１０８によって実行される。

図７の例に戻ると、まず、変更されておらず、分割されていない左画像をコンテナフレームＣ'に入力することで、コンテナフレームがアセンブルされる（ステップ４０４）。特に、左画像Ｌは、端部全てがコンテナフレームＣ'のマクロブロックの端部に合致するように、コンテナフレームに入力される。

前にコピーした画像Ｌの次の、最初の７２０行（領域Ｃ２'）の最後の６４０個の画素に、領域Ｒ１'をコピーする。

領域Ｒ２'およびＲ３'は、それぞれが、領域Ｃ１'の下に（つまり、最後の３６８個の行の最初の６４０画素と、７２１から１０７２行の次の６４０個の画素とを含む、領域Ｃ３'およびＣ４'にそれぞれ）コピーされる。

領域Ｒ２'およびＲ３'が同じサイズである場合（両方とも６４０ｘ３６０）、マクロブロックの一番下の最後の行は、内部が不連続なマクロブロックを含むことになり、これらは、領域Ｒ２'およびＲ３'と、これに加えて、一番下の、通常は全て等しい画素を含む８つの追加行に属す８つの行とからなる。図５および図７をみれば、均等なサイズの領域Ｒ２およびＲ３を持つ場合には、画素がアーチファクトを受ける場合があり、これはＲの右下の端部（Ｒ３'の部分）のみならず、Ｒの中央部（Ｒ２'の下端に属する）にも存在することがあることがわかる。

パッカーデバイスが生成するコンテナフレームＣは、次に、圧縮モジュール１０６に送られ、ステップ４０５においてここで圧縮が行われ、圧縮された立体動画ストリーム１０７が生成される。方法はステップ４０６の、圧縮された立体動画ストリームを送信または格納することで終了する。

図５に示す解決法とは別の解決法では、領域Ｒ２'およびＲ３'を、一群の画素が分離する不連続の領域（重なっても隣接してもいない）にコピーすることもでき、この場合であっても、本発明の効果は制限されない。

上述した多重化方法は、Ｈ．２６４符号器に、１０８８行フォーマットではなく１０８０行のフォーマットで動画ストリームを提供することができる入力ＨＤ−ＳＤＩ（高精細、シリアルデジタルインターフェース）が提供されている場合には利用できない。したがって、同じ発明構想を利用する、このインターフェースでも利用可能な、別の可能性のある多重化方法を以下で説明する。

図５の実施形態とは別の１つの実施形態では、右画像を、最低数ではない複数の矩形の領域に分割することができる。この種類の解決法の１つを図８に示しており、この解決法では、４つの矩形の領域Ｒ１' '、Ｒ２' '、Ｒ３' '、および、Ｒ４' 'に画像８０１を分割して、これら領域のそれぞれが、１６ｘ１６個の整数個のマクロブロックを含むようにする。

一実施形態では、画像８０１を、２つの均等のサイズの部分に分割して、次いで、これら２つの部分それぞれを３つの均等の部分に分割することで、分割を行っている。

領域Ｒ１' 'は、６４０ｘ７２０画素を有しており、各行の最初の６４０個の画素を取り込むことで得られる。

領域Ｒ２' 'は、６４０ｘ２４０画素を有しており、最初の２４０個の行の６４１個目から１２８０個目までの画素を取り込むことで得られる。

領域Ｒ３' 'は、６４０ｘ２４０画素を有しており、２４１行目から４８０行目までの６４１個から１２８０個目までの画素を取り込むことで得られる。

最後に、領域Ｒ４' 'は、６４０ｘ２４０画素のサイズを有しており、画像８０１の残りの画素（つまり、４８１番目の行から７２０番目の行の６４１から１２８０番目の画素）を取り込むことで得られる。

図９および図１０を参照して後述する例では、画像８０１（つまり、整数個の重なりのない１６ｘ１６マクロブロックに完全に分割可能ではない画像）を、図３の画像３００を参照して前述したタイプのコンテナフレームＣ' 'に入力する。特に、コンテナフレームＣ' 'は、１９２０ｘ１０８０画素のサイズを有している。

図４の例では、多重化方法が、１６ｘ１６のマクロブロックの格子を定義し、これに、コンテナフレームＣ' 'が圧縮ステップ中に分割される。

格子は、左上の隅の一番目の画素から始まり定義される。コンテナフレームＣ' 'は、整数ではないマクロブロックを、一番下の端部に含んでいる。実際、マクロブロックのこの群の垂直方向のサイズは、残りのマクロブロックのものの半分である。

図９の例では、無変更の左画像Ｌが、その端部すべてが、コンテナフレームＣ' 'のマクロブロックの端部に合致するよう、左上の隅のコンテナフレームＣ' 'に入力される。これは、画像Ｌの１２８０ｘ７２０画素を、コンテナフレームＣ' 'の最初の７２０行の最初の１２８０画素からなる領域Ｃ１' 'にコピーすることで行われる。

次いで、モジュール１０４が分割する画像８０１を、コンテナフレームＣ' 'に入力する。これは、モジュール１０５が、分割された画像を、画像Ｌの占有していないコンテナフレームＣ' 'の領域（つまり、領域Ｃ１' 'の外部）にコピーすることで行うことができる。

右画像８０１が分割されているＲ１' '、Ｒ２' '、Ｒ３' '、および、Ｒ４' 'に対応する４つの副画像が、コンテナフレームＣ' 'に、互いに重ならないよう、且つ、これらの端部がコンテナフレームＣ' 'のマクロブロックの端部に合致するように入力される。

この例でも、領域Ｒ１' '、Ｒ２' '、Ｒ３' '、および、Ｒ４' 'が、フレームＣ' 'のそれぞれの領域に、変更なくコピーされるので、コピーされた領域が、コンポーネント領域に合致する。

モジュール１０５が出力するコンテナフレームＣ' 'の一例の概略を図１０に示す。

領域Ｒ１' 'が最初の７２０行の最後の６４０個の画素（領域Ｃ２' '）にコピーされる（つまり、前にコピーした画像Ｌの次に）。

領域Ｒ２' '、Ｒ３' 'は、Ｃ１' 'の下の、それぞれ領域Ｃ３' 'およびＣ４' '（それぞれ、７２１から９６０行の最初の６４０個の画素、および、７２１から９６０行の次の６４０個の画素）にコピーされる。領域Ｒ４' 'は、７２１から９６０行の最後の６４０個の画素に対応する、領域Ｃ２' 'の下の領域Ｃ５' 'にコピーされる。したがって最後の１２０行が空である。

図４に示すように、パッカーデバイス１００が生成するコンテナフレームＣ' 'は、圧縮モジュール１０６によって処理されて、圧縮された立体動画ストリームになる。

圧縮アルゴリズムを適用する前に、圧縮モジュール１０６は、コンテナフレームＣ' 'の底部に１９２０個の画素の８つの行を追加することで、マクロブロックの定型格子に分割可能な修正されたコンテナフレームが得られる。

画像８０１が４つの領域に分割され、その後、後者をフレームＣ' 'に配置することで、修正されたコンテナフレームの一番下のマクロブロックの最後の行に、有用な情報がなくなる。したがって、圧縮モジュール１０６が追加した８つの行が生成する可能性のある不連続性によって、再度組み立てられた（recomposed）画像に、アーチファクトは生成されない。

図１０に示す解決法とは別の方法として、領域Ｒ２' '、Ｒ３' '、Ｒ４' 'が、コンテナフレームＣ' 'の、領域ＬとＲ１' 'から切り離されている領域にコピーされる（つまり、これら領域と重なったり、境界を隔てたりしない（bordering））。

特に、領域Ｒ２' '、Ｒ３' '、Ｒ４' 'は、領域ＬおよびＲ１' '両方、並びに、コンテナフレームＣ' 'の下端部と位置合わせされつつ、かつ、分かれている。別の方法として、領域Ｒ２' '、Ｒ３' '、Ｒ４' 'は、互いに位置合わせされない位置に、それぞれ異なる高さとなるよう配置することもできる。

状況によっては効果があったり有用であったりするかもしれないが、上述した多重化法は、画像Ｒを４つの矩形領域に分割してしまう（つまり、コンテナフレームおよび画像ＲおよびＬのサイズを考慮に入れると、最低数より１多い数が必要となる）。

本発明の多重化法の別の実施形態を、図１１および図１２を参照して説明する。

７２０ｐ動画ストリームのシーケンス１０３からとった画像９０１を、３つの矩形領域Ｒ１' '、Ｒ２' '、Ｒ３' 'に分割する。特に、画像９０１は、２つの均等サイズの部分に分割して、その後、これら２つの部分のうち１つを２つの均等な部分に分割することで、分割される。

領域Ｒ１' 'は、６４０ｘ７２０の画素サイズを有し、各行の最初の６４０個の画素すべてを取り入れることで得られる。

領域Ｒ２' 'は、６４０ｘ３６０の画素サイズを有し、最初の３６０行の、６４１から１２８０番目の画素を取り入れることで得られる。

領域Ｒ３' 'は、６４０ｘ３６０の画素サイズを有し、３６１から７２０行の６４１から１２８０番目の画素を取り入れることで得られる。

上述した例からわかるように、右画像を分割するステップは、モジュール１０４により行われ、この具体的な例においては、３つの領域Ｒ１' '、Ｒ２' '、Ｒ３' 'に対応する３つの副画像が出力される。

合成画像Ｃ' ' '、またはコンテナフレームＣ' ' 'を次に構築する（これは、受信した２つの右画像および左画像の情報を含んでいる）。

この例では、コンテナフレームＣ' ' 'が、特に１９２０ｘ１０８０画素を有する、図３の画像３００を参照して前述した種類の合成画像である。

左画像Ｌは、左上の隅のコンテナフレームＣ' ' 'には何ら変更なく入力される（図７および図１０の例を参照して前述したとおりである）。

この後で、モジュール１０４が分割した画像９０１が、コンテナフレームＣ' ' 'の、画像Ｌが占有していない領域に入力される。

モジュール１０５が出力するコンテナフレームＣ' ' 'の一例を図１２に示す。

領域Ｒ１' ' 'は、最初の７２０行の最後の６４０個の画素にコピーされる（前にコピーした画像Ｌの次に）。

領域Ｒ２' ' 'およびＲ３' ' 'を、左フレームＬが占有する領域の下に、つまり、７２１から１０８０行の最初の６４０個の画素および７２１から１０８０行の次の６４０個の画素を含む領域に、コピーする。

次に、コンテナフレームＣ' ' 'を、圧縮モジュール１０６に移し、ここで、コンテナフレーム自身の一番下に１９２０個の画素をもつ８つの行１２００を追加して、１９２０ｘ１０８８画素のサイズを持つ修正されたフレーム１２０１を得る（これは、互いに重ならない整数個の１６ｘ１６のマクロブロックに完全に分割可能である）。

伸張ステップで歪みを生じさせないために、バッファー領域Ｒｃ２を領域Ｒ２' ' 'の下に入力する（つまり、修正されたフレーム１２０１のうちの追加分である最後の８つの行の最初の６４０個の画素に入力する）。

特に、図１３ａ、図１３ｂ、および、図１３ｃに示す具体的な実施形態においては、バッファー領域Ｒｃ２が、領域Ｒ３' ' 'の最初の８つの行のコピーである。したがい、モジュール１０８が実行するこの処理によって、領域Ｒ２' ' 'が、６４０ｘ３６８画素のサイズをもつ、導出領域Ｒ２' ' 'ｄｅｒに変換される。領域Ｒ２' ' 'ｄｅｒは、領域Ｒ２' ' 'ｄｅｒおよびバッファー領域Ｒｃ２を含み、整数個のマクロブロックによって完全に割り切れ、かつ、端部が、フレーム１２０１の格子のマクロブロックの端部と合致するよう配置されている。

領域Ｒ３' ' 'ｄｅｒに、さらに、８つの行のバッファ領域Ｒｃ３を追加すると、整数個のマクロブロックによって割り切れる導出領域Ｒ３' ' 'ｄｅｒが得られる。

一実施形態では、バッファー領域Ｒｃ３に、任意の画素値を持たせる（たとえば、すべてが同じ緑色に対応するようなもの）が、これは、生じる不連続性が生成する圧縮アーチファクトが、再構築される画像の端部に位置しているために、ユーザからはあまり認識されないからである。

最後に、修正されたコンテナフレーム１２０１を含む立体動画ストリームを、圧縮モジュール１０６によって圧縮する。

上述した実施形態はあくまで例であり、本発明は、上述した実施形態に限定はされず、当業者であれば、上述した方法に対する変形例を数多く想到するだろう（たとえば、図１４ａおよび図１４ｂの示す様々なバッファー領域Ｒｃ２を参照）。

図１３ａおよび図１３ｂの例同様、コンポーネント領域は、図１１を参照して前述したものと同じである。このケースでも、導出領域Ｒ２' ' 'ｄｅｒは、コンポーネント領域Ｒ２' ' 'およびバッファー領域Ｒｃ２を含み、６４０ｘ３６８画素を有している。バッファー領域Ｒｃ２は、領域Ｒ２' ' 'の下端部に追加され、逆の順序に配置されている領域Ｒ２' ' 'の３５２から３５９行に対応する画素を含む（つまり、行３５９は、バッファー領域Ｒｃ２の最初の行に対応しており、行３５８は、バッファー領域Ｒｃ２の二番目の行に対応しており、といった具合である）。

次に、図１５ａおよび図１５ｂを参照して、導出領域Ｒ２' ' 'を得るための別の方法を説明する。このケースでも、コンポーネント領域は、図１１を参照して前述したものと同じである。領域Ｒ２' ' 'をまず、下端部に対して反転させて、領域Ｒ２' ' 'ｉｎｖを得て、この下端部には、６４０画素をもつ８つの行を持つバッファー領域Ｒｃ２が追加される。バッファー領域Ｒｃ２の画素の値は任意である（たとえば、すべてが同じ緑色に対応していてもよい）。このようにして、６４０ｘ３６８画素のサイズの領域Ｒ２' ' 'ｄｅｒが取得され、これが、修正されたコンテナフレーム１２０１の最後の３６８行の最初の６４０画素に入力される。Ｒ２' ' 'の最後の下のほうのマクロブロックに存在している不連続性によって圧縮アーチファクトが生成され、これは、反転を行うことにより、再構築された画像Ｒの右上の端部に現れるために、観察者にはほとんど認識されない。

図１５ａおよび図１５ｂに示すこの例では、コンポーネント領域Ｒ２' ' 'から導出領域Ｒ２' ' 'ｄｅｒ を得るために実行される処理は、バッファー領域の追加だけではなく、前処理として（preliminary）Ｒ２' ' 'の上下の反転 も含む。

コンポーネント画像について上述した教授をまとめると、コンポーネント領域から導出領域に切り替えるための処理は、コンポーネント領域と、これに加えて、またはこれに変えて、任意の画素または別のコンポーネント領域からとられた画素を含むバッファー領域を、回転、上下または左右を反転させることを含む。この処理は、後で圧縮処理が導入するアーチファクトを低減させたり、これらを再構築された画像Ｒｏｕｔの端部に移動させることを目的としている。

さらなる実施形態では、合成画像で利用可能な残りのスペースを、右画像および左画像を再構築するためにデマルチプレクサレベル（demultiplexer level）の必要となりうる任意の形態の信号を入力するために利用することができる（たとえば、合成画像を形成した方法、または、どんな性質であってもよいメタデータ（たとえば深さマップ）を入力して、後者（例えばサブタイトル）が生成するグラフィックアイテムの正しい位置についての命令を復号器に供給するため）。

本実施形態では、コンテナフレームの、右画像または左画像、もしくは、これらの部分が占有していない領域を利用して信号を受信する。バイナリ信号の場合には、この信号領域の画素が、例えば、互いに非常に離れている値で特徴づけられる２つの色を付されており（たとえば白と黒）、これにより、任意の種類のバーコードを作成することができる（たとえば、信号情報を搬送することができる、線形または二次元のもの）。

好適には、フレームに入力する画像は、画像を、最小数の矩形領域に分割する必要性も考慮に入れて分割される（たとえば上述した例でいえばＲ）。

図１６は、受信した立体動画ストリームを伸張して、２つの右Ｒｏｕｔおよび左Ｌｏｕｔ画像を再構築することで、これらを、３Ｄコンテンツ表示を実現することができる表示デバイス（たとえば、テレビセット、モニタ、またはプロジェクタ）で利用可能にする。レシーバ１１００は、テレビセットに内蔵されているレシーバまたはセットトップボックスであってよい。

レシーバ１１００について後述するものと同様の点が、圧縮された立体動画ストリームを読みだして、コンテナフレームに多重化されている右画像および左画像を抽出するためのリーダ（たとえばＤＶＤリーダ）にも適用される。

再度図１６を参照すると、レシーバが、（ケーブルまたはアンテナを介して）圧縮された立体動画ストリーム１１０１を受信して、伸張モジュール１１０２によってこれを伸張して、フレームＣに対応する一連のコンテナフレームＣｏｕｔを含む動画ストリームを取得することができる。理想的なチャネルがある場合、または、コンテナフレームが、大容量メモリまたはデータ媒体（ブルーレイ（登録商標）ＣＤ、ＤＶＤ）からエラーなく読みだされる場合、フレームＣｏｕｔは、２つの右画像および左画像に関する情報を搬送するコンテナフレームＣに対応している（圧縮プロセスにより生じるアーチファクトを除く）。

これらフレームＣｏｕｔは、次に、再構築モジュール１１０３に供給され、ここで、図１６および図１７に関して後述する画像再構築方法が実行される。

再構築モジュール１１０３は、分割されている画像についての抽出モジュール１１０６、分割されていない画像についての処理モジュール１１０７、リアセンブラモジュール１１０８、および、抽出モジュール１１０９を含む。

再構築プロセスは、ステップ１３００から始まり、ここで、伸張されているコンテナフレームＣｏｕｔが受信される。この例のコンテナフレームは、図７を参照して前述したものと同様である。

抽出モジュール１１０９は（ステップ１３０１で）、伸張されているフレームの最初の１２８０ｘ７２０画素（領域Ｃ１'）を、コンテナフレームより小さい新たなフレーム（たとえば７２０ｐストリームのフレーム）にコピーする。左画像Ｌのこのようにして再構築されたＬｏｕｔが、レシーバ１１００に出力される（ステップ１３０２）。

次に、抽出モジュール１１０６は、コンテナフレームＣｏｕｔから、右画像Ｒを抽出する。

右画像を抽出するステップは、（ステップ１３０３）でフレームＣｏｕｔ（コンテナＲ１'を含んでいる）に存在している領域Ｃ２'を抽出することから始められる。より詳しく説明すると、抽出モジュール１１０６は、コンテナフレームの１２８１から１９２０の列、および、最初の７２０行の画素を抽出して、これらをリアセンブラモジュール１１０８に送る。リアセンブラモジュール１１０８は、抽出した画素を、再構築した画像Ｒｏｕｔを表す新たなフレームの、対応している最初の６４０ｘ７２０の画素に入力する。

領域Ｃ３'を次に抽出して（ステップ１３０４）、領域Ｃ３'の画素（元の領域Ｒ２'に対応している）を、伸張されているフレームＣｏｕｔから選択する。より詳しく説明すると、１から６４０の列およびコンテナフレームＣｏｕｔの最後の３６８行の画素を、画像Ｒｏｕｔの最初の３６８行の６４１から１２８０の行にコピーする。

Ｒ３'に関しては（ステップ１３０５）、領域Ｃ４'の画素を選択する。より詳しく説明すると、コンテナフレームＣｏｕｔの最後の３５２行のうち６４１から１２８０までの列の画素を、画像Ｒｏｕｔの６４１から１２８０の列にコピーする。

この時点で、右画像Ｒｏｕｔが完全に再構築されており、（ステップ１３０７で）リアセンブラモジュールによって出力される。

このようにしてコンテナフレームＣｏｕｔに含まれている右画像および左画像の再構築処理が完了する（ステップ１３０８）。

前述したプロセスは、レシーバ１１００が受信する動画ストリームの各フレームについて繰り返され、出力が、右画像および左画像それぞれについての２つの動画ストリーム１１０４および１１０５から構成される。

本実施形態では、領域Ｒ１、Ｒ２、Ｒ３をコンテナフレームから抽出して、単純な画素コピー処理によってフレームＲｏｕｔに入力する。

より一般的には、コンテナフレームから抽出される領域は、導出領域なので、さらなる処理を行って、対応するコンポーネント領域を生成して、次にフレームＲｏｕｔに入力する必要がある。

これら処理ステップは、もちろん、コンポーネント領域から導出領域を得るための生成サイドで行った処理の逆であり、画素（バッファー画素等）の回転、反転、および除去が含まれてよい。

処理ステップは、抽出モジュール１１０６およびリアセンブラモジュール１１０８との間に設けられた処理モジュール１１０７によって実行される。

図７および図１６を参照して今説明した例では、抽出された領域は、コンポーネント領域と合致しているので、処理モジュール１１０７は、単純に、モジュール１１０８に対して、モジュール１１０６から抽出した画素を送る。図１７のブロック図もこのケースを示している。

逆に、ステップ１３０２、１３０３、１３０４で抽出される領域が、コンポーネント領域と合致しない導出領域である場合には、ステップ１３０６が、導出領域からコンポーネント領域を得るために必要な処理を含んでよい。しかしこの場合にも、再構築された画像Ｒｏｕをステップ１３０７で出力してよい。

上述した右画像および左画像を再構築する処理は、デマルチプレクサ１１００が、コンテナフレームＣを構築した方法を知っているので、右画像および左画像を抽出することができる、という前提に基づいている。

もちろん、これは、多重化方法が標準的なものである場合に可能である。

コンテナフレームを上述した方法のいずれによっても生成できるという事実、または、添付請求項の主題である解決法を利用する方法のいずれかで生成できるという事実を考慮するためには、デマルチプレクサが、合成画像の所定の領域（例えば前述したバーコード）に含まれている信号情報を利用して、合成画像のコンテンツがどのようにして解凍して（unpacked）、右画像および左画像を再構築すればいいかを知る必要がある。

信号を復号した後で、デマルチプレクサは、変更されていない画像の位置（上述した例では左画像）並びに、他の画像（上述した例では右画像）を分割した領域の位置、およびもし行っていれば変換（回転、反転等）を知ることができる。

この情報を利用すると、デマルチプレクサは、変更していない画像（たとえが左画像）を抽出して、分割されていない画像（例えば右画像）を再構築することができる。

変更していない画像を抽出するため、および分割されている画像を抽出して再構築するために必要な情報も、合成フレームに含まれていないが、合成動画ストリームの他の部分に含まれているようなメタデータの形態で送信されてよい。この情報も、圧縮（packing）フォーマットが既知である場合には、自動的にデコーダにおいて推定されてよく、こうすることで、圧縮フォーマットの識別子を送信するだけの処理でよくなる。

本発明は、これまで一部の好適かつ有利な実施形態を参照して示されてきたが、これらの実施形態に限定はされず、合成画像に、オブジェクトまたはシーンの２つの異なる視野（右および左）を組み込もうとする当業者であれば多くの変形例を想到するであろうことは明らかである。

たとえば、上述したデバイス（特にデバイス１００およびレシーバ１１００）を実装する電子モジュールは、様々に分割され分配されてもよく、さらに、これらをハードウェアモジュールまたはプロセッサが実装するソフトウェアアルゴリズムの形態で提供してもよい（特に、受信した入力フレームを一時的に格納するのに適したメモリ領域を備える動画プロセッサ）。したがってこれらモジュールは、本発明による画像多重化および逆多重化方法の動画処理ステップの１以上を並列にまたは直列に実行することができる。

さらに、好適な実施形態は、２つの７２０ｐ動画ストリームを１つの１０８０ｐ動画ストリームに多重化することを説明したとしても、他のフォーマットも利用可能である点を理解されたい。

最後に、本発明は、本発明の保護範囲に含まれる上述した多重化のいずれかを逆に行うことで、右画像および左画像を抽出することができる任意の復号化解除方法に関するものであることは自明である。

Claims (29)

1. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成する方法であって、
   前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
   前記方法は、
   前記一対の右画像および左画像の画素すべてを含む合成画像を生成する段階と、
   前記合成画像のマクロブロックの格子を定義する段階であって、前記格子の各マクロブロックが、複数の隣接する画素を含む段階と、
   前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する段階であって、前記分割する段階は、まず前記１つの画像を垂直に均等サイズの２つの部分に分割し、その次にこれら２つの部分の1つを水平に均等サイズの２つの部分に分割する段階を含む、段階と、
   前記複数のコンポーネント領域から、対応する複数の導出領域を生成するように処理する段階であって、前記複数の導出領域は、対応するコンポーネント領域の画素すべてを少なくとも含み、整数個のマクロブロックに分割できるようになっている段階と、
   前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する段階と
   を備え、
   前記マクロブロックは、１６ｘ１６画素のサイズである、方法。
2. 前記コンポーネント領域および前記分割されていない画像は、前記格子の整数個のマクロブロックに分割可能である、請求項１に記載の方法。
3. 前記複数の導出領域の少なくとも１つは、前記コンポーネント領域の１つと同一である、請求項１または２に記載の方法。
4. 前記複数の導出領域の少なくとも１つは、対応するコンポーネント領域に、回転および反転の両方または片方を行うことで得られる、請求項１から３のいずれか一項に記載の方法。
5. 前記合成画像の端部と合致する前記複数の導出領域のうちの少なくとも１つの導出領域の端部は、前記分割された画像の端部に合致する、請求項１から４のいずれか一項に記載の方法。
6. 前記複数の導出領域のうちの少なくとも１つの導出領域は、対応するコンポーネント領域に複数の画素を追加することで得られ、前記複数の画素は、前記対応するコンポーネント領域に対して境界を隔てる別のコンポーネント領域の一部である、請求項１から５のいずれか一項に記載の方法。
7. １つのコンポーネント領域の一部を選択し、前記選択した部分は反転され、前記反転された部分が、前記コンポーネント領域の１つの端部に追加される、請求項１から６のいずれか一項に記載の方法。
8. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成する方法であって、
   前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
   前記方法は、
   前記一対の右画像および左画像の画素すべてを含む合成画像を生成する段階と、
   前記合成画像のマクロブロックの格子を定義する段階であって、前記格子の各マクロブロックが、複数の隣接する画素を含む段階と、
   前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する段階と、
   前記複数のコンポーネント領域から、対応する複数の導出領域を生成するように処理する段階であって、前記複数の導出領域は、対応するコンポーネント領域の画素すべてを少なくとも含み、整数個のマクロブロックに分割できるようになっている段階と、
   前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する段階と
   を備え、
   前記複数の導出領域のうちの少なくとも１つの導出領域は、対応するコンポーネント領域に複数の画素を追加することで得られ、前記複数の画素は、前記対応するコンポーネント領域に対して境界を隔てる別のコンポーネント領域の一部である、方法。
9. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成する方法であって、
   前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
   前記方法は、
   前記一対の右画像および左画像の画素すべてを含む合成画像を生成する段階と、
   前記合成画像のマクロブロックの格子を定義する段階であって、前記格子の各マクロブロックが、複数の隣接する画素を含む段階と、
   前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する段階と、
   前記複数のコンポーネント領域から、対応する複数の導出領域を生成するように処理する段階であって、前記複数の導出領域は、対応するコンポーネント領域の画素すべてを少なくとも含み、整数個のマクロブロックに分割できるようになっている段階と、
   前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する段階と
   を備え、
   １つのコンポーネント領域の一部を選択し、前記選択した部分は反転され、前記反転された部分が、前記コンポーネント領域の１つの端部に追加される、方法。
10. 前記分割した画像は、前記合成画像で利用可能なスペースおよび前記分割されていない画像が占有するスペースを考慮して、最小数の矩形コンポーネント領域に分割される、請求項１から９のいずれか一項に記載の方法。
11. 前記合成画像に残された利用可能なスペースの少なくとも一部を、デマルチプレクサレベルで前記右画像および左画像を再構築するために必要な信号を入力するために用いる、請求項１から１０のいずれか一項に記載の方法。
12. 前記合成画像を、前記マクロブロックの格子で定義されている複数のマクロブロックに分割する圧縮処理によって、前記合成画像を圧縮する段階を備える、請求項１から１１のいずれか一項に記載の方法。
13. 前記複数の導出領域は矩形である、請求項１から１２のいずれか一項に記載の方法。
14. マクロブロックの格子の定義に基づいて圧縮および伸張プロセスが行われた合成画像から一対の画像を再構築する方法であって、
    前記伸張された合成画像の１つの連続画素群をコピーすることで、前記一対の画像のうちの第１の画像を生成する段階と、
    前記伸張された合成画像の複数の導出領域を抽出する段階であって、前記複数の導出領域のうちの各導出領域は、前記格子のマクロブロックの端部に対応する端部を有し、前記マクロブロックは、１６ｘ１６画素のサイズであり、前記１つの連続画素群に含まれない複数の画素を含み、
    前記複数の導出領域を、対応するコンポーネント領域を生成するように処理する段階であって、１つのコンポーネント領域のすべての画素は、１つの導出領域の画素に対応し、前記コンポーネント領域は、前記一対の画像の1つの画像から、前記１つの画像をまず垂直に均等サイズの２つの部分に分割し、その次にこれら２つの部分の1つを水平に均等サイズの２つの部分に分割することにより得られた領域を含む、段階と、
    前記コンポーネント領域を結合することで、前記一対の画像のうちの第２の画像を生成する段階と
    を備える方法。
15. 前記コンポーネント領域の少なくとも１つを、対応する導出領域に、回転および反転の両方または片方を行うことで得る、請求項１４に記載の方法。
16. 前記合成画像の端部に合致する前記複数の導出領域のうちの少なくとも１つの導出領域の端部が前記第２の画像の端部に対応するように、前記導出領域を処理することで、前記第２の画像が生成される、請求項１４または１５に記載の方法。
17. 少なくとも１つのコンポーネント領域は、対応する導出領域の端部に隣接している部分を取り除くことで、対応する導出領域から得られる、請求項１４から１６のいずれか一項に記載の方法。
18. 前記複数の導出領域および前記１つの連続画素群は、前記伸張された合成画像の一領域に配置されている１つの情報に基づいて抽出される、請求項１４から１７のいずれか一項に記載の方法。
19. 圧縮された前記合成画像は、請求項１から１２のいずれか一項に記載されている方法により生成された合成画像を圧縮することで生成される、請求項１４から１８のいずれか一項に記載の方法。
20. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成するシステムであって、
    前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
    前記システムは、
    前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する分割モジュールと、
    前記複数のコンポーネント領域を、対応する複数の導出領域を生成するように処理する処理モジュールと、
    前記合成画像のマクロブロックの格子を定義して、前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する合成画像生成モジュールと、
    を備え、
    前記分割モジュールは、前記１つの画像をまず垂直に均等サイズの２つの部分に分割し、その次にこれら２つ部分の1つを水平に均等サイズの２つの部分に分割し、
    前記マクロブロックは、１６ｘ１６画素のサイズである、システム。
21. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成するシステムであって、
    前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
    前記システムは、
    前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する分割モジュールと、
    前記複数のコンポーネント領域を、対応する複数の導出領域を生成するように処理する処理モジュールと、
    前記合成画像のマクロブロックの格子を定義して、前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する合成画像生成モジュールと、
    を備え、
    前記複数の導出領域のうちの少なくとも１つの導出領域は、対応するコンポーネント領域に複数の画素を追加することで得られ、前記複数の画素は、前記対応するコンポーネント領域に対して境界を隔てる別のコンポーネント領域の一部である、システム。
22. １つのシーンの一対の右画像および左画像を含む立体動画ストリームの合成画像を生成するシステムであって、
    前記右画像および左画像は、観察者の右目および左目によってそれぞれ見られた場合に、前記観察者が前記シーンを三次元で見ることができるものであり、
    前記システムは、
    前記一対の右画像および左画像からなる１つの画像を、複数の連続した画素を含む複数のコンポーネント領域に分割する分割モジュールと、
    前記複数のコンポーネント領域を、対応する複数の導出領域を生成するように処理する処理モジュールと、
    前記合成画像のマクロブロックの格子を定義して、前記合成画像の前記複数の導出領域および前記対の分割されていない前記画像を、前記分割されていない画像および前記複数の導出領域のすべての端部が、前記格子のマクロブロックの端部と合致するように配置する合成画像生成モジュールと、
    を備え、
    １つのコンポーネント領域の一部を選択し、前記選択した部分は反転され、前記反転された部分が、前記コンポーネント領域の１つの端部に追加される、システム。
23. 前記生成モジュールに動作可能に接続されて、前記合成画像を圧縮する圧縮ユニットを備える、請求項２０から２２のいずれか1つに記載のシステム。
24. 請求項１から１２のいずれか一項に記載の方法を実装するための手段を備える請求項２０から２２のいずれか1つに記載のシステム。
25. マクロブロックの格子の定義に基づいて圧縮および伸張プロセスが行われた合成画像から一対の右画像および左画像を再構築するシステムであって、
    前記伸張された合成画像の１つの領域から、１つの連続画素群をコピーすることで、前記一対の右画像および左画像のうちの第１の画像を生成する第１の抽出モジュールと、
    伸張モジュールの出力に動作可能に接続され、前記伸張された合成画像の複数の導出領域を抽出する第２の抽出モジュールであって、前記複数の導出領域のうちの各導出領域は、前記格子のマクロブロックの端部に対応する端部を有し、前記マクロブロックは、１６ｘ１６画素のサイズであり、前記１つの連続画素群に含まれない複数の画素を含む、第２の抽出モジュールと、
    前記第２の抽出モジュールに動作可能に接続され、前記複数の導出領域を、対応するコンポーネント領域を生成するように処理する処理モジュールであって、１つのコンポーネント領域のすべての画素は、１つの導出領域の画素に対応している、処理モジュールと、
    前記処理モジュールに動作可能に接続され、前記コンポーネント領域を結合することで、前記一対の右画像および左画像のうちの第２の画像を生成するリアセンブラモジュールと
    を備え、
    前記コンポーネント領域は、前記一対の右画像および左画像の1つの画像から、前記１つの画像をまず垂直に均等サイズの２つの部分に分割し、その次にこれら２つの部分の1つを水平に均等サイズの２つの部分に分割することにより得られた領域を含む、システム。
26. 請求項１４から１９のいずれか一項に記載の方法を実装するための手段を備える、請求項２５に記載のシステム。
27. 圧縮された合成画像を伸張して、前記合成画像を出力する伸張モジュールを備える、請求項２６に記載のシステム。
28. 請求項２５、２６、および２７のいずれか一項に記載のシステムを備えるセットトップボックス。
29. 請求項２５、２６、および２７のいずれか一項に記載のシステムを備えるテレビセット。

Images