JP5021759B2 - デジタル画像シーケンスのビデオコーディング方法 - Google Patents

Description

本発明は、デジタル画像シーケンスのビデオコーディング方法、ならびに画像の送信方法、および符号化された画像の復号方法に関する。さらに本発明は、符号化画像を送信する相応の送信機、送信された符号化画像を受信し復号する相応の受信機に関する。

デジタル画像をビデオコーディングする多数の方法が存在する。これらの方法は部分的に相応の規格、例えばH.264/MPEG-4 AVCに規定されている。公知のビデオコーディング方法では、デジタル画像が画像群（いわゆるGOP= Group of Pictures）に配置され、その中で個々の画像が符号化される。効率的な符号化を達成するために、画像の選択部分だけがシーケンスの別の画像に依存しないで完全にフレーム内符号化される。残りの画像には予測が施される。この予測では、それぞれの画像に対して動きベクトルが検出される。この動きベクトルは、基準画像を基準にした画像ブロックのずれを記述する。このようにして予測画像が求められ、元の画像と予測画像との間の予測誤差が符号化され、動きベクトルとともに伝送される。予測によって符号化された、画像群の画像はインターピクチャと称される。なぜならこの画像は１つまたは複数の基準画像を基準にして符号化されているからである。

符号化されたビデオコンテンツを伝送するために例えば放送チャネルを使用することができ、これにより任意のユーザが相応に符号化されたコンテンツを受信することができる。ここで従来技術からマルチメディア・ブロードキャスト・マルチキャスト・サービス（ＭＢＭＳ）も公知であり、これにより将来的に、符号化されたビデオコンテンツが移動無線を介して伝送される。放送チャネルを介する伝送の場合、ユーザの相応の端末機により放送チャネルを切り換える際にシステマチックな遅延が発生するという問題がある。この遅延はとりわけ、符号化ビデオストリーム内でランダムアクセスのためのポイント（いわゆるランダムアクセスポイント）を発見しなければならないからであり、このアクセスポイントから、ビデオデータストリームを受信するビデオデコーダがこのビデオデータストリームを処理することができる。この形式の遅延は、いわゆるビデオチューニングディレイと称される。ここでランダムアクセスのためのポイントは、別の画像を考慮しないで符号化されたイントラピクチャである。画像の一部だけがイントラピクチャであるから、放送チャネルの切り換え時に相応のイントラピクチャが受信されるまでの遅延が発生する。

符号化されたビデオコンテンツを伝送する際にはエラー補正方法が頻繁に使用され、とりわけ従来技術から十分に公知の前方誤り訂正（以下、ＦＥＣ）が使用される。このようなエラー保護方法では、ビデオ画像を含むデータパケットの他に冗長パケットも伝送される。この冗長パケットにより、伝送エラーがある場合にビデオデータのエラー補正を実行することができる。誤り訂正方法を使用する場合には、誤り訂正を実行するために十分なビデオデータと冗長データが受信されるまで所定の時間を待機しなければならない。これにより初期遅延と称されるさらなる遅延が発生する。

以下、図１から図４に基づき従来技術の種々のアプローチを説明する。これらのアプローチにより、放送チャネルの切り換えの際に、符号化ビデオストリームの上記遅延を緩和することができる。

図１は、従来技術から公知の、画像群ＧＯＰを符号化するための従来の予測構造を示す。ここおよび以下では、イントラピクチャに参照符合Ｉｘ（ｘ＝整数）を付し、インターピクチャに参照符合ＰｘないしはＮｘを付す。ここで参照符合Ｐｘの画像は、ここから画像群ＧＯＰのさらなる画像が予測されるインターピクチャであり、これに対して参照符合Ｎｘの画像は、ここから画像群ＧＯＰのさらなる画像が予測されない非基準画像である。さらにすべての図面に示された画像シーケンスはビデオストリームの元の順序で再現されている。すなわち画像シーケンスの画像が順次連続する自然の時間的順序で再現されている。時間軸は以下のすべての図面で水平方向に左から右に経過し、比較的に大きな数字は相応する画像が比較的後の時点で表示されることを意味する。矢印は以下のすべての図面で、どの画像が画像の予測に用いられるかを意味する。すなわち矢印は、予測の行われる基準画像から、この基準画像から予測された予測画像までを示す。

図１の従来の予測構造では、画像群ＧＯＰが例えば８つの画像からなり、画像シーケンスの第１画像Ｉ０がフレーム内符号化され、後続のすべての画像Ｐ１からＮ７がフレーム間符号化される。ここで予測のためには時間的に先行する画像が常に使用される。通常、画像群ＧＯＰは図１に示された順序で伝送される。このとき伝送の終了時には再度、冗長情報ＦＥＣがエラー保護のために追加される。したがって従来の伝送順序は次のとおりである。

I0 P1 P2 P3 P4 P5 P6 P7 FEC。

ここで「ＦＥＣ」エラー保護データとは、ＧＯＰのエラーのあるデータを復元するために使用することのできるデータであると理解されたい。

さらに画像を変更された伝送順序で伝送することも公知である。この変更された伝送順序とは、従来の伝送順序とは反対の順序であり、次のとおりである。

P7 P6 P5 P4 P3 P2 P1 I0 FEC。

この変更された伝送順序により、画像群ＧＯＰに切り換えられる際に、少なくとも最後に受信された画像は復号することができるようになる。なぜならこの画像は他の画像からの情報を必要としないか、またはわずかしか必要としないからである。従来の伝送順序と同様に、冗長データは変更された伝送順序でも最後に送信される。

非特許文献１ではさらに、図１に対して変更された予測構造が提案されており、これが図２に示されている。この予測構造によれば、画像シーケンスは複数の非基準画像Ｎ１、Ｎ３、Ｎ５、Ｎ７を含み、これらからはこのシーケンスの他の画像が予測されない。さらに画像Ｐ２、Ｐ４、Ｐ６およびＰ８は直接先行する画像からは予測されず、画像Ｉ０とＰ４は時間的に後の画像の予測に複数回使用される。

上記非特許文献１からさらに、いわゆるマルチプル基準フレームの形態の別の予測構造が公知であり、この予測構造が図３に示されている。この構造によれば、１つのインターピクチャが複数の他の画像から予測される。このことは複数の矢印が１つのインターピクチャで終端していることにより示されている。例えばインターピクチャＮ５は時間的に先行の画像Ｐ４と、時間的に後続の画像Ｐ６およびＰ８から予測される。ここでマルチプル基準フレームによる予測を、従来技術から公知の双方向予測と混同してはならない。双方向予測では１つの画像の個々のブロックが、２つの異なる画像のブロックからの重み付けされた和によって予測される。マルチプル基準フレームによる予測では、観察されるインターピクチャの各画像ブロックが常にただ１つの画像から予測される。しかし各画像ブロックに対しては、相応の画像ブロックが予測される他の画像を使用することができる。

図３の予測構造にも、非基準画像Ｎ１、Ｎ３、Ｎ５、Ｎ７が含まれている。従来のように図２および図３の画像群の画像は、ストリームがその予測構造に基づいて符号化された順序で伝送される。従来の伝送順序は次のとおりである。

I0 P2 N1 P4 N3 P6 N5 P8 N7 FEC1 FEC2。

冗長情報はここでは２つの冗長ブロックＦＥＣ１とＦＥＣ２に分割されている。第１の冗長ブロックＦＥＣ１は画像Ｉ０、Ｐ２、Ｐ４、Ｐ６およびＰ８を保護し、第２の冗長ブロックＦＥＣ２は画像Ｎ１、Ｎ３、Ｎ５およびＮ７を保護する。

図２と図３の予測構造により、時間的にスケーラブルなビデオコーディングが複数の時間的解像度段階で行われる。第１の時間的解像度段階ではイントラピクチャＩ０だけが伝送される。第２の時間的解像度段階では、イントラピクチャＩ０の他に予測画像Ｐ２、Ｐ４、Ｐ６およびＰ８が伝送され、第３の時間的解像度段階では画像Ｉ０、Ｐ２、Ｐ４、Ｐ６およびＰ８の他に非基準画像Ｎ１、Ｎ３、Ｎ５およびＮ７が伝送される。現在伝送中のＧＯＰに切り換える際に遅延をできるだけ小さくするために、画像を変更された伝送順序で配置することができる。これは次のとおりである。

FEC2 N1 N3 N5 N7 FEC1 P8 P6 P4 P2 I0。

ここで画像は時間的解像度段階の下降順序でサブシーケンスに次のように配置される。すなわち、まず最高の時間的解像度段階で付加される画像Ｎ１、Ｎ３、Ｎ５およびＮ７が伝送され、続いて次に低い時間的解像度段階で追加される画像Ｐ８、Ｐ６、Ｐ４およびＰ２が伝送される。伝送順序の最後にはイントラピクチャＩ０が伝送される。さらに相応する時間的解像度段階の冗長ブロックは、それぞれの時間的解像度段階で追加されるブロックのサブシーケンスの開始に常に配置される。

上記の変更された伝送順序により、ＧＯＰへの切り換え時に、ＧＯＰの開始部で、例えば画像Ｎ１、Ｎ３、Ｎ５およびＮ７のサブシーケンス内で比較的に時間的解像度の低い画像を表示することができる。なぜなら時間的解像度の低い画像Ｐ８，Ｐ６，Ｐ４，Ｐ２は後で伝送され、これらの画像は先行の画像情報を必要としないからである。しかし上記図２と図３の予測構造は、ＧＯＰへの切り換えの際に画像が不均質に再生されることがあるという欠点を有する。例えば画像Ｐ２とＩ０がＧＯＰの最後で伝送されるので、この画像Ｐ２とＩ０だけが受信される場合、これらの画像はまず半分の時間的解像度で再生される。しかしこれらの画像はビデオストリームの自然の順序ではＧＯＰの開始部にあるから、このことにより次のＧＯＰの画像を表示するまでに非常に大きなギャップが発生してしまう。

さらに従来技術から図４に示された予測構造が公知である。これは非特許文献２に示されている。そこでは１５の画像を有するＧＯＰが示されており、イントラピクチャＩ７はＧＯＰの開始部ではなく、中央に配置されている。この予測構造も時間的にスケーラブルである。最低の時間的解像度段階では、イントラピクチャＩ７だけが伝送され、第２の時間的解像度段階では画像Ｉ７の他に別の予測画像Ｐ１、Ｐ５、Ｐ９およびＰ１３が伝送され、第３の時間的解像度段階ではさらに画像Ｐ３とＰ１１が伝送され、最高の時間的解像度段階ではさらに非基準画像Ｎ０、Ｎ２、Ｎ４、Ｎ６、Ｎ８、Ｎ１０、Ｎ１２およびＮ１４が伝送される。図４の予測構造は、時間的なスケーリングが規則的ではないという欠点を有する。なぜなら各時間的解像度段階（最低の時間的解像度段階は除外して）における画像の数を共通の係数により割り算できないからである。例えば２番目に高い時間的解像度段階の画像群が伝送される場合（すなわち画像Ｎ０からＮ１４は省略される）、２つのＧＯＰ間には２つの画像からなるギャップが発生する。これに対して各ＧＯＰ内では常に１つの画像からなる１つのギャップしか発生しない。これは、２番目に高い時間的解像度段階では、ＧＯＰの両終了部にある画像がそれぞれ省略されるからである。

Dong Tian, Vinod Kumar MV/ Miska Hannuksela, Stephan Wenger, Moncef Gabbouj, "Improved H.264/AVC Video Broadcast/Multicast", in Proceedings of SPIE Visual Communications and Image Processing 2005 (VCIP 2005), Bejing, China, July 2005. C. Bergeron, C. Lamy-Bergot, G. Pau, and B. Pesquet-Popescu, "Temporal Scalability through Adaptive M-Band Filter Banks for Robust H.264/MPEG4 AVC Video Coding", EURASIP Journal on Applied Signal Processing, vol. 2006, Articie ID 21930, 11 pages, 2006.

本発明の課題は、受信装置がビデオ画像を伝送するチャネルに切り替っても、ビデオ画像をできるだけ小さな遅延で均質に再生することのできるビデオコーディング方法および相応のビデオコーディング装置を提供することである。

この課題は独立請求項により解決される。本発明の有利な実施形態は従属請求項に記載されている。

本発明の方法では画像群が形成され、それぞれの画像群は、時間的に順次連続する複数の画像を元の時間的順序で含んでいる。ここで元の時間的順序は、ビデオストリームで再生されるシナリオの実際の時間的経過に相当する。

この方法では各画像群が次のようにコーディングされる。すなわち予測構造を形成し、この予測構造に従って画像群の１つまたは複数の画像をイントラピクチャとして決定し、このイントラピクチャはそれぞれフレーム内符号化され、この画像群の別の画像をインターピクチャとして決定し、このインターピクチャは画像群の少なくとも１つの基準画像から予測され、少なくとも１つの基準画像に基づいてフレーム間符号化される。この予測構造は次のように構成される：すなわち
ｉ）各イントラピクチャは、画像群のうちこのイントラピクチャに対して時間的に早い少なくとも１つの基準画像と、このイントラピクチャに対して時間的に後の基準画像が予測される基準画像であり、
ｉｉ）インターピクチャは複数の非基準画像を含んでおり、これらの非基準画像からはシーケンスの画像は予測されないように構成される。

続いて画像群の符号化された画像から、時間的伝送順序の伝送シーケンスが形成される。ここでは符号化された非基準画像の少なくとも若干は伝送順序で最初の画像である。ここで伝送順序とは、画像が符号化後に続いて伝送される順序である。

本発明の方法では非基準画像が画像シーケンスの開始部にあることによって、画像群に切り換えられるときに、この画像群を比較的に低い時間的解像度で再生することができる。なぜなら他の画像の復号に必要ない画像が画像群の開始部で伝送されるからである。さらに画像を均質に再生することが、イントラピクチャを画像シーケンスの縁部に配置せず、このイントラピクチャから少なくとも１つの時間的に早い画像と時間的に遅い画像を予測することによって可能になる。

本発明の有利な実施形態では、符号化されたイントラピクチャが伝送順序で最後の画像として配置される。これによって、画像群に切り換えるときに比較的に後の時点で、画像群の少なくともフレーム内符号化された画像を引き続き再生することができる。

本発明の方法の有利な構成では符号化された非基準画像のすべてが最初の画像として伝送順序の開始部に配置される。さらに有利な変形実施例では、イントラピクチャは実質的に中央に配置される。このことは、画像群の画像数が奇数の場合、画像群の中央の画像がイントラピクチャであり、画像群の画像数が偶数の場合、画像群の画像数を２で割り算した結果の個所、またはこの結果に１をプラスした個所にイントラピクチャが配置されることにより達成される。

本発明の別の有利な実施形態では、画像群はインターピクチャとして非基準画像だけでなく、画像群の１つまたは複数の画像が予測される画像も含む。伝送順序ではこの符号化された基準画像が、符号化された若干の非基準画像と、符号化された１つまたは複数のイントラピクチャとの間に配置される。このようにして相応の画像が復号化の際にどれだけ重要であるかに応じて画像がランク付けされる。復号化の際にその画像が重要であればあるほど、この画像は伝送順序で比較的後に配置される。

本発明の別の有利な実施形態では、画像群に対してそれぞれの冗長データが、それぞれの画像群の伝送の際のエラー保護として形成される。この冗長データは伝送シーケンスの形成の際に伝送順序に挿入される。この場合、冗長データの一部を伝送順序で最初の画像の前に配置するのが有利である。なぜなら画像群に切り換えるときに本来の画像情報が、冗長情報が画像群の終了部にある場合よりも比較的に後の時点で続くからである。

本発明の別の実施形態では、それぞれの画像群が複数の時間的解像度段階にスケーラブルである。
最低の時間的解像度段階は符号化されたイントラピクチャだけを含み、比較的高い時間的解像度段階は符号化された画像の数を特徴とする。すなわち、次に低い時間的解像度段階と比較して高い時間的解像度段階では画像が追加される。このようにして本発明がスケーラブルなビデオコーディングと有利に組み合わされる。ここで有利には、符号化された画像は伝送順序でサブシーケンスに配置され、これらのサブシーケンスに時間的解像度段階が割り当てられる。
それぞれのサブシーケンスは、次に低い時間的解像度段階と比較してそれぞれのサブシーケンスに割り当てられた時間的解像度段階で追加される符号化画像を含んでおり、このサブシーケンスは伝送順序は、時間的解像度段階が下降する順番に配置される。これによって画像群への切り換えの際に、画像のできるだけ高い時間的解像度段階が維持される。

本発明の別の構成では、サブシーケンスの少なく一部に対してそれぞれ別個の冗長データが形成される。この冗長データは伝送順序で相応のサブシーケンスのそれぞれ前に配置される。

これによってエラー保護を時間的解像度段階に応じてフレキシブルに設定することができる。相応の冗長データは少なくとも部分的に異なるエラー保護度を有し、サブシーケンスの冗長データに対するエラー保護度は、サブシーケンスの時間的解像度段階が高ければ高いほど低い。

本発明の別の有利な実施形態では、規則的な時間スケーラビリティが次のようにして保証される。すなわち時間的解像度段階が係数によって特徴付けられ、最低の時間的解像度段階を除いてすべての時間的解像度段階が前記係数により余りなしで割り切れるような画像数を有する。

本発明の方法の別の有利な構成では、少なくとも１つの非基準画像に所定数の画像が割り当てられるような予測構造となる。非基準画像は所定数の画像のうち、最小の予測数により形成される画像から予測される。したがって１つの画像の予測には、先行の予測ステップが可及的に少数である画像が常に使用される。これによりエラー頑強性が高まる。なぜなら、伝送にエラーがある場合でも、エラー伝搬が小さいからである。ここで有利には所定数の画像は、画像順序で非基準画像に時間的に最も近い２つの基準画像である。すなわち非基準画像ではない時間的に最も近い２つの画像である。

本発明の別の実施形態では、インターピクチャの少なくとも一部が複数の別の画像から予測される。インターピクチャの少なくとも一部のそれぞれのインターピクチャは複数のブロックに分割され、各ブロックに対して個別の画像が、このブロックが予測される複数の別の画像から設定される。これにより本発明の方法が、冒頭に述べたマルチプル基準フレームによる予測と組み合わせられる。

上記のビデオコーディング方法の他に、さらに本発明はデジタル画像シーケンスの送信方法に関するものである。デジタル画像シーケンスは本発明の方法により符号化され、引き続き画像は伝送シーケンスの時間的伝送順序で送信される。ここで送信は有利には放送サービスを介して１つまたは複数の放送チャネルで行われる。

上記のビデオコーディング方法の他に本発明はさらに、デジタル画像シーケンスの相応の復号方法に関するものである。デジタル画像シーケンスは本発明の方法により復号され、送信される。復号方法では、シーケンスの画像群の符号化された画像が伝送シーケンスで受信される。引き続き、使用される予測構造に依存して各伝送シーケンスの符号化画像が復号される。最後に、各伝送シーケンスの復号された画像は、画像群の元の時間的順序で読み出され、これにより元のビデオストリームが復元される。

上記の方法の他に、本発明はさらにデジタル画像シーケンスを送信するための相応の送信機に関するものである。この送信機は、本発明のコーディング方法ならびに本発明の任意の変形実施例による符号化画像の送信を可能にする手段を有する。

さらに本発明は、本発明の方法により送信されたデジタル画像シーケンスを受信し、復号するための受信機に関するものである。この受信機は、上記の復号方法を実施できる手段を有する。

以下では本発明の実施例を添付の図面に基づき詳細に説明する。

従来技術の方法により符号化された画像群を示す図である。 従来技術の方法により符号化された画像群を示す図である。 従来技術の方法により符号化された画像群を示す図である。 従来技術の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の方法により符号化された画像群を示す図である。 本発明の送信機および本発明の受信機を有する、ビデオストリームのための伝送システムを示す図である。

図１から図４は、従来技術の方法により符号化された種々の画像群ＧＯＰを示す。図１から図４についてはすでに説明したので、これらの図面については立ち入らない。

図５は、本発明の方法の実施例により符号化された画像シーケンス中の画像群を示す。図示の予測構造は非特許文献２から公知である。

ここでは画像群ＧＯＰが７つの画像を有しており、ツリー状の予測が次にように形成される。すなわち画像群の中央の画像がイントラピクチャＩ３であり、このイントラピクチャから時間的に先行する画像Ｐ１および時間的に後続の画像Ｐ５が予測されるのである。画像Ｐ１からさらに非基準画像Ｎ０およびＮ２が予測され、画像Ｐ５から非基準画像Ｎ４とＮ６が予測される。図５の予測構造から本発明により伝送順序が形成される。この伝送順序は２つの別個の冗長ブロックＦＥＣ１とＦＥＣ２を有し、非基準画像が伝送順序の開始部にある。伝送順序は次のとおりである。

FEC2 N0 N2 N4 N6 FEC1 P1 P5 I3。

ここで冗長ブロックＦＥＣ２は非基準画像を保護し、冗長ブロックＦＥＣ１はイントラピクチャならびに画像Ｐ１とＰ５を保護する。これらの画像は非基準画像を予測するために使用される。

画像は画像シーケンスの元の順序では受信機内で復号されないから、これらの画像を後で表示するためには受信機側で、いわゆるプレイアウトバッファに記憶しなければならない。この場合、イントラピクチャＩ３の復号後に、まずこの画像を記憶しなければならない。これに続くインターピクチャＰ１の復号の後、Ｉ３とＰ１はメモリに留まる。これに続く非基準画像Ｎ０の復号の間、この画像も同様にプレイアウトバッファに記憶され、その後の復号後に表示のために読み出され、バッファから消去される。その後に、画像をそれぞれ復号した後のプレイアウトバッファのコンテンツである、コンテンツシーケンスが表示される。それぞれの時点でのバッファのコンテンツは括弧でまとめられ、この括弧内で一番右にある画像がそれぞれの時点で復号された画像である。さらに下線によりそれぞれの時点での復号後にバッファから読み出され、消去される画像が示されている。以下のコンテンツシーケンスパターンは、本発明の他の実施形態の説明でも使用される。図５の画像シーケンスに対するプレイアウトバッファのコンテンツシーケンスは次のとおりである。

(I3) (I3 P1) (I3 P1 N0) (I3 P1 N2) (I3 N2 P5) (I3 P5 N4) (P5 N4 N6) (P5 N6) (N6）。

したがい図５の実施例では、１つのプレイアウトバッファが３つの符号化画像により形成される。

上記の実施形態で、第１の冗長ブロックＦＥＣ１は画像Ｉ３、Ｐ１とＰ５を保護し、第２の冗長ブロックＦＥＣ２は画像Ｎ０、Ｎ２、Ｎ４およびＮ６を保護する。最後の画像は他の画像により予測のため使用されないから、この画像に対する保護は有利には比較的弱い。場合により、エラー保護ＦＥＣ２は完全に省略することができる。この場合、基準画像Ｉ３、Ｐ１およびＰ５だけが保護される。これによって不均等なエラー保護ＵＥＰ(UEP = Unequal Error Protection)が達成される。相応にして均等なエラー保護ＥＥＰ(EEP = Equal Error Protection)では、両方のエラー保護ブロックＦＥＣ１とＦＥＣ２が１つのエラー保護ブロックＦＥＣにまとめられる。１つの画像が伝送の際に失われる（ここで、画像消失の際には均等分散を前提とする）ことから出発して、図５の予測構造に対しては消失画像の予想値Ｅが得られる。この予想値は次のとおりである。

E = 1/7*(4*1 + 2*3 + 1*7) = 2.43。

図６は、図５の予測構造の変形である予測構造を備える第２の変形実施例を示す。図６の予測構造では、いわゆる短縮予測経路が使用される。すなわち、非基準画像の予測の際には、基準画像としてそれ自体少数の予測から発生した画像を常に使用しようと試みられる。図６の例では、非基準画像Ｎ２とＮ４がそれぞれ少数の予測から発生した２つの隣接画像から予測される。すなわち図６では、画像Ｎ２が図５とは異なり画像Ｐ１からではなく、画像Ｉ３から予測され、画像Ｎ４は画像Ｐ５からではなく、画像Ｉ３から予測される。これにより誤り頑強性が向上する。なぜなら１つまたは複数の画像が消失する場合、残りの画像を復号できる確率が上昇するからである。図５の実施例と比較して、障害を受けた画像の予測値Ｅは次のとおりである。

E = 1/7*(4*1 + 2*2 + 1*7) = 2.14。

したがって誤り脆弱性が、図６の実施形態では図５の実施形態に対して低減される。

図６の実施形態の伝送順序は次のとおりである。

FEC2 N0 N2 N4 N6 FEC1 P1 P5 P6 I3。

ここで受信機のプレイバッファのコンテンツシーケンスは次のようになる。

（I3) (I3 P1) (I3 P1 N0) (I3 P1 N2) (I3 N2 N4) (I3 N4 P5) (N4 P5 N6) (P5 N6) (N6)。

図７は図６と同じ原理による予測構造を示すが、予測経路が短縮されている。しかし画像群の長さは１５画像に高められている。ここでは多数の時間的なスケーラビリティ段階が得られ、エラー保護を個々のスケーラビリティ段階に分散する手段もより多くある。

図８は、３段階の規則的スケーラビリティを有する予測構造を示す。ここで規則的スケーラビリティとは、時間的解像度が順次連続する画像群ＧＯＰにわたって一定であり、とりわけ拡大されたギャップが画像群の間に発生しないことを意味する。図８の例では、ダイアディックな時間的スケーラビリティが示されている。ダイアディックとは、それぞれのスケーラビリティ段階ないし時間的解像度段階（最低のものを除いて）内の画像数が常に２で割り切れることを意味する。図８によれば、最低の第１のスケーラビリティ段階はイントラピクチャＩ４により示され、第２のスケーラビリティ段階は画像Ｉ４と別の画像Ｎ０、Ｐ２およびＰ６により形成され、第３のスケーラビリティ段階は最低のスケーラビリティ段階の画像および第２のスケーラビリティ段階の画像、さらに画像Ｎ１、Ｎ３、Ｎ５およびＮ７により形成される。本発明によれば図８の画像群の画像は、相応の冗長ブロックＦＥＣ１およびＦＥＣ２とともに次の伝送順序で配置される。

FEC2 N1 N3 N5 N7 FEC1 N0 P2 P6 I4。

ここで受信機のプレイバッファのコンテンツシーケンスは次のようになる。

（I4) (I4 P2) (I4 P2 N0) (I4 P2 N1) (I4 P2 N3) (I4 N3 N5) (I4 N5 P6) (N5 P6 N7) (P6 N7) (N7)。

ここで第１の冗長ブロックＦＥＣ１は画像Ｉ４、Ｐ２、Ｎ０およびＰ６を保護し、第２の冗長ブロックＦＥＣ２は画像Ｎ１、Ｎ３、Ｎ５およびＮ７を保護する。最後の画像は他の画像により予測のため使用されないから、この画像に対する保護は比較的弱い。このことは不均等なエラー保護を実現する。均等なエラー保護では、両方のエラー保護ブロックＦＥＣ１とＦＥＣ２が１つのエラー保護ブロックＦＥＣにまとめられる。

図９は、さらなる時間的スケーラビリティ段階を備える予測構造を示す。全体で図９の予測構造は４つのスケーラビリティ段階を含む。図８とは異なり、非基準画像Ｎ０は画像Ｉ４から直接予測され、画像Ｐ２からは予測されない。これによりさらなるスケーラビリティ段階が形成される。図９によれば、最低の第１のスケーラビリティ段階は画像Ｉ４からなる。第２のスケーラビリティ段階は画像Ｉ４とＮ０を含む。第３のスケーラビリティ段階では画像Ｐ２とＰ６が追加される。第４のスケーラビリティ段階には画像Ｎ１、Ｎ３、Ｎ５およびＮ７が補充される。さらなるスケーラビリティ段階に基づき、別個のさらなるエラー保護ブロックＦＥＣ３を形成することができる。ここで伝送順序は本発明より次のように選択される。

FEC3 N1 N3 N5 N7 FEC2 P2 P6 FEC1 N0 I4。

ここでプレイバッファのコンテンツシーケンスは次のようになる。

（I4) (I4 N0) (I4 P2) (I4 P2 N1) (I4 P2 N3) (I4 N3 N5) (I4 N5 P6) (N5 P6 N7) (P6 N7) (N7)。

この変形実施例でも不均等なエラー保護を達成することができる。冗長ブロックＦＥＣ１は画像Ｉ０とＩ４を保護し、ＦＥＣ２は画像Ｐ２とＰ６を、そしてＦＥＣ３は画像Ｎ１、Ｎ３、Ｎ５およびＮ７を保護する。

図９の予測構造をわずかに変更することによって、プレイアウトバッファに対する要求が低減される。すなわち画像Ｎ１は画像Ｐ２からではなく、画像Ｎ０から予測される（すなわち画像Ｎ０が画像Ｐ０になる）。

図１０は、多段階のダイアディック時間的スケーラビリティに対する本発明の予測構造の実施形態を示す。ここで画像群の長さは１６の画像を含む。
本発明によれば図１０に対して次の伝送順序となる。

FEC3 N1 N3 N5 N7 N9 N11 N13 N15 FEC2 N2 N6 N10 P14 FEC1 P0 P4 P12 I8。

ここでプレイバッファのコンテンツシーケンスは次のようになる。

(I8) (I8 P4) (I8 P4 P0) (I8 P4 N1) (I8 P4 N2) (I8 P4 N3) (I8 P4 N5) (I8 N5 N6) (I8 N6 N7) (I8 N7 N9) (I8 N9 N10) (N9 N10 P12) (N10 P12 N11) (P12 N11 N13) (P12 N13 P14) (N13 P14 N15) (P14 N15) (N15)。

図１１と図１２は、上記のマルチプル基準フレームを使用した予測構造を示す。これらのマルチプル基準フレームでは１つの画像の予測のために複数の基準画像を使用することができる。図１１は、多段階のダイアディック時間的スケーラビリティに対する予測構造を示し、画像Ｎ１、Ｎ３およびＮ５に対しては２つの画像が、そして別のインターピクチャに対して１つの画像が予測に使用される。相応にして図１２は、多段階のダイアディック時間的スケーラビリティに対する予測を示し、ここでは画像Ｎ１が３つの画像から、画像Ｐ２が２つの画像から、画像Ｎ３が２つの画像から、画像Ｎ５が２つの画像から、画像Ｎ７が２つの画像から、そして別のインターピクチャが１つの画像から予測される。

図１１と１２については、画像群ＧＯＰの画像に対し次のような伝送順序となる。

FEC3 N1 N3 N5 N7 FEC2 P2 P6 FEC1 P0 I4。

ここでプレイバッファのコンテンツシーケンスは次のようになる。

(I4) (I4 P0) (I4 P0 P2) (I4 P2 N1) (I4 P2 N3) (I4 N3 N5) (I4 N5 P6) (N5 P6 N7) (P6 N7) (N7)。

本発明の上記変形実施例から複数の利点が得られる。放送チャネルに切り替える際に均質な画像再生が可能となる。さらに均等な（例えばダイアディックな）時間的スケーラビリティによって、複数のスケーラビリティ段階をサポートすることができるようになる。例えば非基準画像に対するエラー保護が、これを正しく復号するのに十分でなければ、半分の時間的解像度（半分の画像再生速度）により残りのビデオストリームを表示することができる。時間的スケーラビリティが規則的でない場合、画像は不規則な時間間隔で表示されることとなる。このことは障害と感じられる。場合により２つの異なるサービスクラスを規定することもできる。この場合、一方のクラスは完全な時間的解像度であり、他方のクラスは低減された時間的解像とする。予測経路の短縮された本発明の変形実施例のさらなる利点は、伝送の誤り頑強性が向上することである。

図１３は、本発明による伝送システムの概略図である。このシステムは、符号化された画像のビデオストリームを送信する送信機１を有する。この送信機は、画像群を形成するための手段２を有する。ここでそれぞれの画像群は、時間的に順次連続する複数の画像を元の時間的順序で含んでいる。さらに送信機１は、各画像群を符号化するための手段３を有する。この符号化は、予測構造を形成し、この予測構造に従って画像群の１つまたは複数の画像をイントラピクチャとして決定し、このイントラピクチャはフレーム内符号化され、この画像群の別の画像をインターピクチャとして決定し、このインターピクチャは画像群の少なくとも１つの基準画像からそれぞれ予測され、少なくとも１つの基準画像に基づいてフレーム間符号化される。この場合、予測構造は次のように構成される。すなわち、
ｉ）各イントラピクチャは、画像群のうちこのイントラピクチャに対して時間的に早い少なくとも１つの基準画像と、このイントラピクチャに対して時間的に後の基準画像から予測され、
ｉｉ）インターピクチャは複数の非基準画像を含んでおり、これらの非基準画像からはシーケンスの画像は予測されないように構成される。

さらに送信機は、符号化された画像を送信するための手段４を有する。この手段４は、各画像群の符号化された画像から、時間的伝送順序である伝送シーケンスを形成し、符号化された画像をこの伝送順序で送信するように構成されている。この場合、符号化された非基準画像の少なくともいくつかは伝送順序で第１の画像である。

画像は送信機１から伝送区間５を介して、有利には１つまたは複数の放送チャネルを介して伝送される。これらの放送チャネルは受信機６により受信され、その中の符号化されたデータストリームを受信機６により読み出すことができる。受信機６はそのために、ビデオストリームの画像群の符号化画像の伝送シーケンスを受信するための手段７、各伝送シーケンスの画像を予測構造に依存して復号するための手段８、および各伝送シーケンスの復号された画像を画像群の元の時間的順序で読み出すための手段９を有する。

Claims (19)

1. デジタル画像シーケンスのビデオコーディング方法において、
   ・画像群（ＧＯＰ）が形成され、それぞれの画像群（ＧＯＰ）は、時間的に順次連続する複数の画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を元の時間的順序で含んでおり、
   ・各画像群（ＧＯＰ）の符号化が、
   予測構造が形成され、この予測構造に従って画像群（ＧＯＰ）の１つまたは複数の画像がイントラピクチャとして決定され、
   該イントラピクチャがそれぞれフレーム内符号化され、
   前記画像群（ＧＯＰ）の別の画像がインターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）として決定され、
   該インターピクチャは画像群（ＧＯＰ）の少なくとも１つの基準画像から予測され、少なくとも１つの基準画像に基づいてフレーム間符号化されるようにして行われ、
   前記予測構造は次のように構成されており：すなわち
   ｉ）各イントラピクチャ（Ｉ３）は、前記画像群（ＧＯＰ）のうち前記イントラピクチャ（Ｉ３）に対して時間的に先行する画像（Ｐ１）と、前記イントラピクチャ（Ｉ３）に対して時間的に後続の画像（Ｐ５）が予測される基準画像であり、
   ｉｉ）インターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）は複数の非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）を含んでおり、これらの非基準画像からはシーケンスの画像は予測されないように構成されており、
   画像群（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）から、時間的伝送順序の伝送シーケンスが形成され、ここで符号化された非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）の少なくとも２つが伝送順序で最初の画像である、ことを特徴とする方法。
2. 請求項１記載の方法であって、
   符号化されたイントラピクチャ（Ｉ３）は伝送順序で最後の画像である方法。
3. 請求項１または２記載の方法であって、
   符号化された非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）のすべては伝送順序で最初の画像である方法。
4. 請求項１から３までのいずれか一項記載の方法であって、
   画像群（ＧＯＰ）はイントラピクチャ（Ｉ３）を含み、
   該イントラピクチャは、画像群（ＧＯＰ）の画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）数が奇数の場合は画像群（ＧＯＰ）の中央の画像であり、画像群（ＧＯＰ）の画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）数が偶数の場合は、画像群の画像数を２で割った結果またはこの結果に１を足した結果に相応する個所にある画像である方法。
5. 請求項１から４までのいずれか一項記載の方法であって、
   インターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）は、１つまたは複数の基準画像（Ｐ１、Ｐ５）を含んでおり、これらの基準画像から画像群（ＧＯＰ）の１つまたは複数の画像（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）が予測される方法。
6. 請求項５記載の方法であって、
   複数のインターピクチャから符号化された基準画像（Ｐ１、Ｐ５）は、伝送シーケンスで符号化された非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）の少なくともいくつかと、符号化されたイントラピクチャ（Ｉ３）との間に配置される方法。
7. 請求項１から６までのいずれか一項記載の方法であって、
   画像群（ＧＯＰ）に対してそれぞれの冗長データ（ＦＥＣ１、ＦＥＣ２）が、それぞれの画像群（ＧＯＰ）の伝送の際のエラー保護として形成され、
   前記冗長データ（ＦＥＣ１、ＦＥＣ２）は伝送シーケンスの形成の際に伝送順序に挿入される方法。
8. 請求項７記載の方法であって、
   冗長データ（ＦＥＣ１、ＦＥＣ２）の少なくとも一部は伝送順序で最初の画像の前に配置される方法。
9. 請求項１から８までのいずれか一項記載の方法であって、
   それぞれの画像群（ＧＯＰ）は複数の時間的解像度段階でスケーラブルであり、
   最低の時間的解像度段階では符号化されたイントラピクチャ（Ｉ３）だけが含まれ、比較的高い時間的解像度段階では、それより低い時間的解像度段階と比較して符号化された画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）の数が増えることを特徴とする方法。
10. 請求項９記載の方法であって、
    符号化された画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）は伝送順序でサブシーケンスに配置され、これらのサブシーケンスにはそれぞれ１つの時間的解像度段階が割り当てられ、
    それぞれのサブシーケンスは、次に低い時間的解像度段階と比較してそれぞれのサブシーケンスに割り当てられた時間的解像度段階で追加される符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を含んでおり、
    前記サブシーケンスは伝送順序は、時間的解像度段階の下降順に配置される方法。
11. 請求項７または８と組み合わされた請求項９または１０記載の方法であって、
    前記サブシーケンスの少なく一部に対してそれぞれ別個の冗長データ（ＦＥＣ１、ＦＥＣ２）が形成され、該冗長データは伝送順序で相応するサブシーケンスのそれぞれ前に配置される方法。
12. 請求項１１記載の方法であって、
    別個の冗長データ（ＦＥＣ１、ＦＥＣ２）は少なくとも部分的に、異なるエラー保護程度を有する方法。
13. 請求項１２記載の方法であって、
    サブシーケンスの冗長データ（ＦＥＣ１、ＦＥＣ２）に対するエラー保護程度は、該サブシーケンスの時間的解像度段階が高ければ高いほど低い方法。
14. 請求項１から１３までのいずれか一項記載の方法であって、
    インターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）の少なくとも一部はそれぞれ複数の別の画像から予測され、
    前記インターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）の少なくとも一部のそれぞれのインターピクチャは複数のブロックに分割され、各ブロックに対して個別の画像が、当該ブロックが予測される複数の別の画像から設定される方法。
15. デジタル画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）シーケンスの送信方法であって、
    デジタル画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）シーケンスが、請求項１から１４までのいずれか一項記載の方法にしたがい符号化され、符号化された画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）が伝送シーケンスの時間的伝送順序で送信される送信方法。
16. 請求項１５記載の方法であって、
    前記送信は１つまたは複数の放送チャネルを介して行われる方法。
17. 請求項１５または請求項１６の方法により送信されたデジタル画像シーケンスの復号方法であって、
    ・画像群（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）の伝送シーケンスを受信し、
    ・各伝送シーケンス（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を予測構造に依存して復号し、
    ・各伝送シーケンスの復号された画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を、画像群（ＧＯＰ）の元の時間的順序で読み出す復号方法。
18. デジタル画像シーケンスを送信するための送信機であって、
    ・画像群（ＧＯＰ）を形成する手段（２）を有し
    それぞれの画像群（ＧＯＰ）は、時間的に順次連続する複数の画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を元の時間的順序で含んでおり、
    ・各画像群（ＧＯＰ）を符号化する手段（３）を有し、
    該手段は、
    予測構造を形成し、該予測構造に従って画像群（ＧＯＰ）の１つまたは複数の画像をイントラピクチャ（３）として決定し、
    該イントラピクチャをフレーム内符号化し、
    前記画像群（ＧＯＰ）の別の画像をインターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）として決定し、
    該インターピクチャを画像群（ＧＯＰ）の少なくとも１つの基準画像からそれぞれ予測し、少なくとも１つの基準画像に基づいてフレーム間符号化するようにして符号化し、
    前記予測構造は次のように構成される：すなわち
    ｉ）各イントラピクチャ（Ｉ３）は、画像群（ＧＯＰ）のうち前記イントラピクチャ（Ｉ３）に対して時間的に先行する画像（Ｐ１）と、前記イントラピクチャ（Ｉ３）に対して時間的に後続の画像（Ｐ５）が予測される基準画像であり、
    ｉｉ）インターピクチャ（Ｎ０、Ｐ１、Ｎ２、Ｎ４、Ｐ５、Ｎ６）は複数の非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）を含んでおり、これらの非基準画像からはシーケンスの画像は予測されないように構成され、
    ・さらに符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を送信する手段（４）を有し、
    該送信する手段は、各画像群（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）から、時間的伝送順序の伝送シーケンスを形成し、
    前記符号化画像を前記伝送シーケンスで送信し、
    符号化された非基準画像（Ｎ０、Ｎ２、Ｎ４、Ｎ６）の少なくとも２つは伝送順序で最初の画像であるように構成されている送信機。
19. 請求項１５または請求項１６の方法により送信されたデジタル画像シーケンスを受信し、復号する受信機（６）であって、
    ・画像群（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）の伝送シーケンスを受信する手段（７）を有し、
    ・各伝送シーケンス（ＧＯＰ）の符号化画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を、予測構造に依存して復号する手段（８）を有し、
    ・さらに、各伝送シーケンスの復号された画像（Ｎ０、Ｐ１、Ｎ２、Ｉ３、Ｎ４、Ｐ５、Ｎ６）を、画像群（ＧＯＰ）の元の時間的順序で読み出す手段（９）を有する受信機。

Images