JP4982024B2

JP4982024B2 - ビデオ符号化方法

Info

Publication number: JP4982024B2
Application number: JP2001585523A
Authority: JP
Inventors: ハンナクセラミスカ
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2000-05-15
Filing date: 2001-05-11
Publication date: 2012-07-25
Anticipated expiration: 2021-05-11
Also published as: KR20080067375A; EP2124456A3; EP1287705A1; HK1097977A1; KR100878057B1; AU2001256354A1; US8144764B2; EP1287705B1; KR20100037162A; GB0011597D0; BR0110744A; CN100388796C; KR101012149B1; DK1287705T3; HUP0301966A3; EP2124456A2; ATE458356T1; EP2124456B1; US20060029129A1; CN101252696A

Description

【０００１】
（技術分野）
本発明は、ビデオ符号化に関する。
【０００２】
（背景技術）
ビデオ・シーケンスは一連の静止画像またはフレームから構成されている。ビデオ圧縮方法は、ビデオ・シーケンスの冗長部分および知覚的に無関係な部分を減らすことに基づいている。ビデオ・シーケンスにおける冗長性は、スペクトル冗長性、空間的冗長性および時間的冗長性に分類することができる。スペクトル冗長性は、同じ画像の異なるカラー成分間の類似性を指す。空間的冗長性は、１つの画像中の隣接しているピクセル間の類似性に起因する。時間的冗長性は前の画像の中に現れているオブジェクトが現在の画像中にも現れる可能性があるので存在する。この時間的冗長性を利用し、現在の画像を別の画像、すなわち、アンカー画像または基準画像から予測することによって圧縮を行うことができる。現在の画像と前の画像との間の動きを記述する動き補償データを生成することによって、さらに圧縮が行われる。
【０００３】
しかし、シーケンスの本来的な冗長性を減らすことだけによっては十分な圧縮が行われないのが普通である。それ故、ビデオ・エンコーダは、ビデオ・シーケンスの主観的にあまり重要でない部分の品質を低減しようとする。さらに、圧縮パラメータおよび係数の効率的な無損失符号化によって、符号化されたビット・ストリームの冗長性が減らされる。その主な技法は、可変長符号を使用する方法である。
【０００４】
ビデオ圧縮方法は、通常、時間的冗長性の削減を利用する画像と利用しない画像を識別する。時間的冗長性削減方法を利用しない圧縮された画像は、普通はINTRAフレームまたはＩフレームまたはＩ画像と呼ばれる。時間的に予測された画像は、普通は現在の画像の前に発生している画像から前方に予測されており、INTERフレームまたはＰフレームと呼ばれる。INTERフレームの場合、予測された動き補償された画像が十分に正確であることは稀であり、したがって、空間的に圧縮された予測誤差フレームが各INTERフレームに関連付けられる。INTER画像は、INTRA符号化領域を含むことができる。
【０００５】
多くのビデオ圧縮方式は、時間的双方向性予測フレームも使用する。それらは普通Ｂ画像またはＢフレームと呼ばれている。Ｂ画像はＩフレームおよび／またはＰフレームのアンカー画像ペア間に挿入され、これらのアンカー画像の１つまたは両方から予測される。Ｂ画像は、普通は前方予測型画像と比較して圧縮度が大きくなる。Ｂ画像はアンカー画像としては使用されない。すなわち、他の画像がＢ画像から予測されることはない。したがって、後続の画像の画像品質を損なわずにＢ画像を捨てる（意図的にまたは無意識的に）ことができる。Ｂ画像はＰ画像に比較して圧縮性能を改善することができるが、それらを生成するための計算が比較的複雑となり、より多くのメモリを必要とし、追加の遅延時間を導入する。これはビデオ・ストリーミングのような非リアルタイムの用途に対しては問題とならないが、ビデオ会議のようなリアルタイムの用途においては問題となる場合がある。
【０００６】
圧縮されたビデオ・クリップは、時間的に独立のINTRA画像と、時間的に差分符号化されたINTER画像とに大雑把に分類することができる画像のシーケンスから構成されている。INTRA画像における圧縮効率は、普通はINTER画像の場合より低いので、INTRA画像は慎重に使用され、特にビット・レートの低い用途に使用される。
【０００７】
ビデオ・シーケンスは、いくつかのシーンまたはショットから構成することができる。画像の内容はシーンごとに著しく異なっている場合があり、したがって、１つのシーンの最初の画像は、通常、INTRA符号化されている。テレビジョンおよび映画の中ではシーンが頻繁に変化するが、ビデオ会議においてはシーンの急激な場面転換は比較的稀である。さらに、再構成されたビデオ信号における伝送誤りの時間的な伝播を止めるために、そしてビデオのビット・ストリームに対するランダムなアクセス・ポイントを提供するために、通常、INTRA画像が挿入されている。
【０００８】
圧縮されたビデオは、主として２つの理由のために伝送誤りによって容易に破損する。第１に、時間的予測差分符号化（INTERフレーム）を利用するために、誤りが空間的および時間的の両方において伝播するからである。実際には、これは、誤りが一度発生すると、それは比較的長い時間にわたって人間の目に見えやすい。特に影響を受けやすいのは、低いビット・レートでの伝送の場合であり、その場合、少数のINTRA符号化フレームだけしかないので、時間的な誤りの伝播がある程度の時間止まらない。第２に、可変長符号を使用することによって誤りの影響を受けやすくなるからである。１ビット誤りが符号語を変化させると、そのデコーダは符号語の同期を失い、また次の同期化（すなわち、開始）符号まで後続の誤りのない符号語（いくつかのビットを含む）を誤って復号化する。同期化符号は他の符号語の合法的組合せから生成することができないビット・パターンであり、同期化を可能にするためにそのような符号がある間隔でビット・ストリームに追加される。さらに、伝送の間にデータが失われると誤りが発生する。たとえば、IPネットワークにおける信頼性の低いUDP転送プロトコルを使用しているビデオ・アプリケーションにおいては、ネットワーク要素が符号化ビデオ・ビット・ストリームの部分を捨てる場合がある。
【０００９】
伝送経路において生じた破損に受信機が対処する多くの方法がある。一般に、信号の受信時に、伝送誤りが先ず検出され、次に受信機によって補正または隠蔽される。誤り補正は誤りが最初に導入されなかったかのように、誤りデータを完全に復元するプロセスを指す。誤りの隠蔽は、伝送誤りの影響がその再構成されたビデオ・シーケンスにおいてほとんど見られないように隠蔽するプロセスを指す。通常、誤り検出、補正および隠蔽を助けるために、ソースまたはトランスポート符号化によってある程度の量の冗長性が追加される。誤りの隠蔽技法は、大雑把に３つのカテゴリーに分類される。それらは、前進型誤り隠蔽、後処理による誤り隠蔽および対話型誤り隠蔽である。「前進型誤り隠蔽」という用語は、送信機側が送信されるデータに対して冗長性を付加して符号化されたデータの誤り復元能力を高める技法を指す。後処理による誤り隠蔽は、受信した信号の特性に応答するデコーダにおける動作を指す。これらの方法は、誤って受信したデータの正しい表現を評価する。対話型誤り隠蔽においては、送信機および受信機は伝送誤りの影響を最小化するために協同動作する。これらの方法は、受信機によって提供されたフィードバック情報を十分に利用する。後処理による誤り隠蔽は、受動的誤り隠蔽とも呼ぶことができ、一方、他の２つのカテゴリーは能動的誤り隠蔽の形式を表す。
【００１０】
多くの隠蔽アルゴリズムが周知であり、そのレビューが、Ｙ．ワング（Wang）およびＱ．−Ｆ．ジュー（Zhu）によって“Error Control and Concealment for Video Communication：A Review”（ビデオ通信のための誤り制御および隠蔽：レビュー）、Proceedings of the IEEE, Vol.86，No.5, May 1998，pp.974−997および、Ｐ．サラマ（Salama）、Ｎ．Ｂ．シュロフ（Shroff）、およびＥ．Ｊ．デルプ（Delp）によってIEEE Journal on Selected Areas in Communicationsに提出された“Error Concealment in Encoded Video”（符号化されたビデオにおける誤り隠蔽）の中で与えられている。
【００１１】
現在のビデオ符号化規格は、自足可能なビデオ・ビット・ストリームに対する構文を定義している。現時点で最もポピュラーな規格は、ITU−T勧告H.263、“Video coding for low bit rate communication”（低ビット・レート通信のためのビデオ符号化）、February 1998;ISO／IEC 14496−2、“Generic Coding of Audio−Visual Objects: Part 2:Visual”（オーディオ−ビジュアル・オブジェクトの一般的符号化：第二部：ビジュアル）、1999（MPEG−４として知られている）；およびITU−T勧告H.262（ISO／IEC 13818−2）（MPEG−2として知られている）である。これらの規格はビット・ストリームに対する、したがって、画像シーケンスおよび画像に対する階層を定義している。
【００１２】
H.263における構文は、４層の階層構造を有している。それらは画像層、画像セグメント層、マクロブロック層、およびブロック層である。画像層のデータは、その画像全体の領域およびその画像データの復号化に影響を及ぼすパラメータを含んでいる。そのデータのほとんどがいわゆる画像ヘッダ内に配置されている。
画像セグメント層は、ブロック層またはスライス層の１つのグループのいずれかである可能性がある。デフォルトによって各画像は、ブロックのグループに分割されている。ブロックのグループ（GOB）は、通常、１６個の連続したピクセル・ラインを含む。各GOBに対するデータはオプションのGOBヘッダの次にマクロブロックに対するデータが続いているものから構成されている。オプションのスライス構造化モードが使用されている場合、各画像はGOBの代わりにスライスに分割されている。スライスは、走査順に連続するいくつかのマクロブロックを含む。各スライスに対するデータは、スライス・ヘッダの次にそのマクロブロックに対するデータが続いているものから構成されている。
【００１３】
各GOBまたはスライスはマクロブロックに分割されている。マクロブロックは、１６×１６ピクセル（または２×２ブロック）の輝度およびその空間的に対応している８×８ピクセル（またはブロック）の色彩成分に関連する。１つのブロックは、輝度または色彩の８×８ピクセルに関連する。
ブロック層のデータは、一様に量子化された個々のコサイン変換係数から構成され、それらはジグザグに走査され、ランレングス・エンコーダで処理され、可変長符号で符号化されている。MPEG−2およびMPEG−４層の階層はH.263の階層と似ている。
【００１４】
デフォルトによって、これらの規格は、通常、動き補償のための基準として、時間的に前の基準画像（ＩまたはP）（アンカー画像とも呼ばれる）を使用する。この一片の情報は伝送されない。すなわち、ビット・ストリームは基準画像を識別する情報を含まない。結果として、デコーダは基準画像が失われたかどうかを検出するための手段を持たない。多くのトランスポート・コーダは、ビデオ・データをパケット化し、そのパケットにシーケンス番号を関連付けるが、これらのシーケンス番号は、ビデオ・ビット・ストリームには関連付けられていない。たとえば、ビデオ・ビット・ストリームの１つのセクションは、Ｐ画像Ｐ１、Ｂ画像Ｂ２、Ｐ画像Ｐ３およびＰ画像Ｐ４がこの順序で捕捉（および表示）される。しかし、このセクションは、Ｐ１、Ｐ３、Ｂ２、Ｐ４の順序で圧縮され、伝送され、復号化されることになる。何故なら、Ｂ２を符号化または復号化できる前にＢ２はＰ１およびＰ３を必要とするからである。１つのパケットにつき１つの画像があり、各パケットがシーケンス番号を含み、B２を搬送するパケットが失われたと仮定すると、受信機はこの消失をパケットのシーケンス番号から検出することができる。しかし、受信機はＰ４に対する動き補償基準画像が失われているかどうか、あるいはＢ画像が失われているかどうかを検出するための手段を備えていない。その場合、受信機は復号化を普通に継続することができる。
【００１５】
したがって、デコーダは、普通はINTRA要求を送信機に送信し、その画像をディスプレイ上に凍結する。しかし、送信機はこの要求に応答することができない可能性がある。たとえば、非リアルタイムのビデオ・ストリーミングの用途においては、送信機はデコーダからのINTRA要求に応答することができない。したがって、デコーダは次のINTRAフレームが受信されるまでその画像を凍結する。ビデオ会議のようなリアルタイムの用途において、送信機は応答することができない可能性がある。たとえば、複数のパーティによる会議において、エンコーダは個々の要求に対応することができない場合がある。この場合も、デコーダは、INTRAフレームが送信機から出力されるまでその画像を凍結する。
【００１６】
（発明の開示）
第１の態様によれば、本発明は、画像のシーケンスを表すビデオ信号を符号化する方法を提供する。前記方法は、非時間的予測および時間的予測の両方を使用するものであり、別の画像の時間的予測に対する基準画像を形成する各画像に対して、前記各画像に、符号化されたビデオ信号内の他の基準画像に対する符号化されたビデオ信号内の基準画像の時間的順序を指示する指示子を関連付けるステップを含む。
【００１７】
それ故、各基準画像（たとえば、ＩフレームおよびＰフレーム）は、１つのシーケンス番号と関連付けられている。その指示子は、基準画像が符号化されるたびにインクリメントされることが好ましい。指示子は、１つの基準画像が符号化されるたびに１だけインクリメントされるのが最も有利である。それ故、指示子は前の基準画像から１だけインクリメントされる。
【００１８】
多層符号化が使用されている場合、この指示子は、同じエンハンスメント層内の前の基準画像から１だけインクリメントされることが好ましい。
この指示子を含んでいることは、基準画像が失われているかどうかをデコーダが決定することができ、可能ならば、適切なアクションを取ることができることを意味する。これはその転送プロトコルが送信されているパケットに関するシーケンス情報を含んでいない場合、あるいは送信機が可変カプセル化ストラテジーを使用している場合であってもそうである。たとえば、送信機がＧＯＢの可変番号を１つのパケット内にカプセル化する場合、受信機は、たとえパケットシーケンス番号からパケット損失を検出できたとしても、ＧＯＢまたは画像全体がどれだけ失われたかを高信頼度で知ることができない。
【００１９】
本発明によって、デコーダは、また、Ｂ画像の損失を基準画像の損失と区別することもできる。結果として、デコーダは、次のINTRA画像を待つ代わりに、Ｂ画像の損失後、復号化を継続することができる。
さらに、デコーダは、より高いエンハンスメント層から基準画像が失われた場合に、より低いエンハンスメント層を復号化し続けることができる。
【００２０】
基準画像の順序番号は、画像全体または画像の一部分に関してであってもよい。前者の場合、通常、基準画像の順序番号が画像ヘッダ内に含められている。本発明の１つの好適な実施形態においては、ビデオ信号はH.263規格に従って符号化され、その指示子は、「補助的エンハンスメント情報」内に含まれている。RPONが画像の一部分に関するものである場合、符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダ内にその基準画像順序番号を含めることができる。
【００２１】
第２の態様によれば、本発明は、画像のシーケンスを表す符号化されたビデオ信号を復号化する方法を提供する。前記方法は、符号化されたビデオ信号を受信するステップと、各受信した画像を復号化するステップと、別の画像に対する基準画像を形成する復号化される各画像に対して、基準フレームの時間的順序を表す指示子を調べるステップと、指示子が直前に復号化された基準フレームから連続して続いていない場合に、失われた基準フレームを検出するステップとを含む。
好適には、デコーダは、指示子が直前の復号化された基準フレームから連続して続いていない時、非時間的な方法で画像を符号化するように送信機に要求を送信することが好ましい。
【００２２】
第３の態様によれば、本発明は、符号化されたビデオ信号を提供する。前記ビデオ信号は、別の画像の時間的予測のための基準画像を形成する各画像に対して、符号化されたビデオ・ストリーム内の基準画像の時間的順序を示す指示子が前記各基準画像に関連付けられる。
【００２３】
第４の態様によれば、本発明は、ビデオ・エンコーダを提供する。前記ビデオ・エンコーダは、画像のシーケンスを表しているビデオ信号を受信し、符号化された画像を生成するための入力を含み、前記エンコーダは、非時間的予測および時間的予測の両方を使用するように構成され、前記エンコーダは、別の画像の時間的予測のための基準画像を形成する各画像に対して、符号化されたビデオ信号内の他の基準画像に対する符号化されたビデオ信号内の基準画像の時間的順序を示す指示子を、前記各基準画像に関連付けるように構成される。
好適には、指示子は、基準画像が符号化されるたびにインクリメントされることが好ましい。
【００２４】
第５の態様によれば、本発明は、ビデオ・デコーダを提供する。前記ビデオ・デコーダは、画像のシーケンスを表す符号化されたビデオ信号を受信するための入力と、受信された各画像を復号化するためのデコーダとを含み、前記デコーダは、別の画像に対する基準画像を形成する復号化された各画像に対して、基準フレームの時間的順序を表す指示子を調べ、指示子が直前に復号化された基準フレームから連続して続いていない時、失われた基準フレームを検出するように構成される。
【００２５】
本発明は、また、上記エンコーダおよび／またはデコーダを含む携帯用無線通信装置にも関する。
本発明を、添付の図面を参照しながら以下に記述するが、これは単なる例示としてのものにすぎない。
【００２６】
（発明を実施するための最良の形態）
図１は、代表的なマルチメディア移動通信システムを示している。第１のマルチメディア移動端末１は、無線リンク３を経由して移動通信ネットワーク４に対して第２のマルチメディア移動端末２と通信する。制御データがマルチメディア・データと同様に、２つの端末１、２の間で送信される。
【００２７】
図２は、端末１の代表的なマルチメディア構成部品を示している。前記端末は、ビデオ・コーデック１０と、オーディオ・コーデック２０と、データ・プロトコル・マネージャ３０と、制御マネージャ４０と、マルチプレクサ／デマルチプレクサ５０と、モデム６０（必要な場合）とを含む。ビデオ・コーデック１０は、端末のビデオ捕捉装置（図示せず）（たとえば、カメラ）からの信号を符号化のために受信し、ディスプレイ７０上で端末１において表示するためのリモート端末２からの信号を復号化するために受信する。オーディオ・コーデック２０は端末１のマイクロホン（図示せず）からの信号を符号化のために受信し、端末１のラウドスピーカ（図示せず）によって再生するためのリモート端末２からの信号を復号化のために受信する。
【００２８】
制御マネージャ４０は、ビデオ・コーデック１０、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０の動作を制御する。しかし、本発明はビデオ・コーデック１０の動作に関係しているので、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０についてはこれ以上説明しない。
【００２９】
図３は、本発明によるビデオ・コーデック１０の一例を示している。ビデオ・コーデックは、エンコーダ部分１００と、デコーダ部分２００とを含む。エンコーダ部分１００は、端末１のカメラまたはビデオ・ソース（図示せず）からビデオ信号を受信するための入力１０１を含む。スイッチ１０２が、INTRAモードの符号化とINTERモードの符号化との間でエンコーダを切り換える。
【００３０】
INTRAモードにおいては、入力１０１からのビデオ信号が、DCT変換器１０３によってDCT係数に変換される。次に、DCT係数が、その係数を量子化する量子化器１０４に渡される。スイッチ１０２および量子化器１０４は両方ともビデオ・コーデックの符号化制御マネージャ１０５によって制御される。また、符号化制御マネージャ１０５は、制御マネージャ４０によって受信側の端末２からフィードバック制御を受信する。
【００３１】
INTERモードにおいては、入力１０１からの信号と画像記憶装置１０７内に格納されている前画像との間の差を減算器１０６から受け入れるように操作される。減算器１０６から出力される差分データは、現在の画像と画像記憶装置１０７内に格納されている前画像との間の予測誤差を表す。画像記憶装置１０７内のデータは、量子化器によって出力されたデータを逆量子化器１０８を通して渡し、逆ＤＣＴ変換１０９を適用して逆量子化されたデータにすることによって生成される。結果のデータが、加算器１１０によって画像記憶装置１０７の内容に加算される。動き推定器１１１が、従来の方法で画像記憶装置１０７内のデータから動き補正データ（動きベクトル）生成しても良い。
【００３２】
符号化制御マネージャ１０５は、減算器１０６の出力または受信側のデコーダからのフィードバック制御データに対する応答のいずれかに基づいて、INTRAまたはINTER符号化を適用するかどうか、あるいはそのフレーム全体を符号化するかどうかを決定する。フィードバック制御データに応答しない時、エンコーダは、通常、符号化の開始時（他のすべてのフレームがＰである）または一定の周期、たとえば、５秒ごとのいずれかにおいて、あるいは減算器の出力から現在の画像と画像記憶装置１０７内に格納されている画像とがあまりにも違い過ぎる時に、INTRAフレームとしてフレームを符号化するのが普通である。また、エンコーダは、たとえば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰなどの特定の規則的なシーケンスでフレームを符号化するようにプログラムすることもできる。さらに、符号化制御マネージャは、受信フレームを符号化しないように決定することができる。これは、現在のフレームと基準フレームとの間の類似性が非常に高いか、あるいはフレームを符号化するための時間がない場合に起こる。符号化制御マネージャはそれに従ってスイッチを操作する。
【００３３】
ビデオ・コーデックは量子化されたDCT係数１１２ａと、量子化インデックス１１２ｂ（すなわち、使用されている量子化の詳細）と、実行される符号化のモード（ＩまたはＰ／Ｂ）を示すためのINTRA／INTERフラグ１１２ｃと、符号化されているフレームの数を示すための送信フラグ１１２ｄと、符号化されている画像に対する動きベクトル１１２ｅとを示すための送信フラグ１１２ｄとを出力する。これらは他のマルチメディア信号と一緒にマルチプレクサ５０によって多重化される。
【００３４】
ビデオ・コーデック１０のデコーダ部分２００は、逆量子化器１２０と、逆DCT変換器１２１と、動き補償器１２２と、画像記憶装置１２３と、コントローラ１２４とを含む。コントローラ１２４は符号化されたマルチメディア・ストリームからデマルチプレクサ５０によって逆多重化されたビデオ・コーデック制御信号を受信する。実際には、エンコーダのコントローラ１０５と、デコーダのコントローラ１２４とは同じプロセッサであってよい。
【００３５】
本発明によるエンコーダの動作が以下に記述される。ビデオ・コーデック１０は符号化されるビデオ信号を受信する。ビデオ・コーデックのエンコーダ１００はDCT変換、量子化および動き補償を実行することによって前記ビデオ信号を符号化する。符号化されたビデオ・データは、次にマルチプレクサ５０に出力される。マルチプレクサ５０は、ビデオ・コーデック１０からのビデオ・データ、およびコントロール４０からの制御データ（および、適当な他の信号）をマルチメディア信号に多重化する。端末１はこのマルチメディア信号をモデム６０（必要な場合）経由で受信側の端末２に出力する。
【００３６】
本発明の第１の実施形態においては、後続のフレームに対する基準フレームを形成することができるフレームをエンコーダが符号化するたびに、符号化制御マネージャ１０５は、そのフレームにいわゆる「基準画像順序番号」（RPON）を関連付ける。たとえば、RPONはビデオ信号のすべてのＩまたはＰフレームに関連付けられるが、Ｂフレームとは関連付けられない。RPONの値は、連続した基準画像が符号化されるたびに、好適には、１だけインクリメントされることが好ましい。
符号化制御マネージャ１０５は、符号化されたフレームに関連付けられた「基準画像順序番号」を示すRPON符号語を出力１１２ｆ上に出力する。これはマルチプレクサによってビデオのビット・ストリームに多重化される。
【００３７】
図４は、エンコーダの動作を示している。この実施形態においては、エンコーダは、符号化されているフレームと基準フレームとの間の類似性が第１のしきい値より小さい時、すなわち、減算器１０６からの出力が第１のしきい値より大きい時にＩフレームを出力するように構成されている。逆の場合、エンコーダはＰフレームを出力する。図４の第１行は、入力捕捉装置から受信し、入力１０１上でビデオ・エンコーダに入力されるデータのフレームを表す。図４の第２行は、エンコーダが符号化することを決定した入力信号のフレームおよび各フレームを符号化するために使用される符号化モードを表す。ある程度前に述べたように、符号化制御マネージャは、フレームが符号化されないように決定することができる。これはフレーム２、３および１１が符号化されないことによって図４で例示されている。
【００３８】
フレーム１は、INTRAモードで符号化され、フレーム４は、フレーム１を基準としてＰフレームとして符号化され、フレーム５は、フレーム４を基準としてＰフレームとして符号化され、フレーム６は、フレーム５を基準としてＰフレームとして符号化され、フレーム７は、フレーム６を基準としてＰフレームとして符号化され、フレーム８は、Ｉフレームとして符号化され、フレーム９は、フレーム８を基準としてＰフレームとして符号化され、フレーム１０は、フレーム９を基準としてＰフレームとして符号化され、フレーム１２は、フレーム１０を基準としてＰフレームとして符号化されている。
【００３９】
この実施形態においては、符号化されたフレームのすべて（最後のもの以外）が、後のフレームに対する基準フレームとして働く。したがって、図４の第３行に示されているように、符号化されるフレームのすべてにRPONが関連付けられている。図から分かるように、RPONはその都度１だけインクリメントされている。
【００４０】
図４の第４行は、符号化されたフレームの時間的基準（TR）を示している。これはH.263中に含まれる１つのフィールドであり、TRの値は時間的に前の基準画像ヘッダ内のその値を、前に送信された基準画像からスキップされたか、あるいは基準でない画像の数に１を足した値でインクリメントすることによって形成される。それ故、図４に示されている例においては、各フレームに対して示されているTRは、１０２に対する元の信号入力内の元の番号と同じになっている。
【００４１】
図５は、本発明によるエンコーダの第２の実施形態の動作を示している。この実施形態においては、エンコーダは規則的なシーケンスＩＢＢＰＢＢＰＢＢＰＢＢPＢＢＩＢＢＰに従ってフレームを符号化するように構成されている。図５の第１行は、入力フレームを示し、第２行は、符号化されたフレーム、および、その符号化モードＩ、Ｐ、またはＢを示す。
【００４２】
フレームは、ビデオ捕捉装置から１、２、３、４、５、６などの順序で受信され、この順序で表示される。すなわち、復号化されたフレームはＩ１、Ｂ２、Ｂ３、Ｐ４、Ｂ５、Ｂ６、Ｐ７などの順序で表示される。しかし、ビデオのビット・ストリームはＩ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５、Ｂ６などの順序で圧縮され、送信され、復号化される。これは、Ｂフレームは、それらを符号化／復号化することができる前に、前のおよび後続の基準フレームを必要とするからである。すなわち、フレームＢ２は、フレームＢ２を符号化／復号化することができる前に、フレームＩ１およびＰ４が符号化／復号化されることを必要とする。
【００４３】
前に説明したように、Ｂフレームは、Ｉおよび／またはＰフレームのアンカー画像ペア間に挿入され、これらのアンカー画像の１つまたは両方のいずれかから予測される。それ故、図５に与えられている例において、フレーム１はINTRAモードで符号化され、フレーム４は、フレーム１および／または６を基準としてＢフレームとして符号化され、フレーム５は、フレーム１および／または６を基準としてＢフレームとして符号化され、フレーム６は、フレーム１を基準としてＰフレームとして符号化され、フレーム７は、フレーム６および／または９を基準としてＢフレームとして符号化され、フレーム８は、フレーム６および／または９を基準としてＢフレームとして符号化され、フレーム９は、フレーム６を基準としてＰフレームとして符号化され、フレーム１０は、フレーム９および／または１３(図示せず)を基準としてＢフレームとして符号化され、フレーム１２は、フレーム９および／または１３を基準としてＢフレームとして符号化される。以下同様である。
【００４４】
この実施形態においては、符号化されたシーケンスの各ＩフレームおよびＰフレームは別のフレームに対する基準フレームとして働く。しかし、Ｂフレームは他のどのフレームに対しても基準画像として働かない。したがって、RPONは図５の第３行に示されているように、ＩフレームおよびＰフレームのすべてに関連付けられている。図から分かるように、RPONはその都度１だけインクリメントされる。それ故、フレーム１（Ｉフレーム）のRPONは１であり、フレーム４（Ｐフレーム）のRPONは２であり、フレーム９（Ｐフレーム）のRPONは３である。
【００４５】
図５の第４行は、符号化されたフレームの時間的基準（ＴＲ）を示している。図４に示されている例のように、各フレームに対して示されているＴＲは、１０に入力される元の信号における発生の順序と同じである。
端末１が端末２からの符号化されたビデオ・データを受信していると考えて、ビデオ・コーデック１０の動作が、その復号化の役割に関して以下に説明される。端末１は、送信端末２からマルチメディア信号を受信する。デマルチプレクサ５０が、そのマルチメディア信号を逆多重化し、そのビデオ・データをビデオ・コーデック１０に渡し、制御データを制御マネージャ４０に渡す。ビデオ・コーデックのデコーダ２００は、そのデータを逆量子化し、逆DCT変換し、そして動き補償することによって、その符号化されたビデオ・データを復号化する。デコーダのコントローラ１２４は、受信されたデータの完全性をチェックし、誤りが検出された場合、前に説明された方法でその誤りを隠蔽しようとする。次にその復号化され、補償され、隠蔽されたビデオ・データが、受信端末１のディスプレイ７０上で再生するために出力される。
ビデオ・データにおける誤りは、画像レベル、GOBレベルまたはマクロブロック・レベルにおいて発生する場合がある。誤りチェックをこれらのレベルのいずれか、またはそれぞれにおいて実行することができる。。
【００４６】
最初に図４に示されているような信号を考え、本発明によるデコーダが、この信号を受信すると、その信号の各信号フレームが、従来の方法で復号化されてからディスプレイ手段上で表示されると考える。復号化フレームは誤りが隠蔽されていて、誤りが従来の方法で符号化されている可能性がある。フレームが復号化されるたびに、デコーダはTRフィールドを調べて、そのフレームが表示される時期を決定する。ＴＲが連続していない場合（たとえば、デコーダがＴＲ＝１のフレームを受信してからＴＲ＝４のフレームを受信した場合）、デコーダはフレーム１をディスプレイ上に普通のフレーム期間の３倍の間、通常はそうであるように保持する。デコーダは、また、受信したフレームのRPONも調べる。図４に示されているケースにおいては、デコーダはフレーム１を受信し、このフレームはRPON＝１であることを知る。次に、デコーダは、ＴＲ＝４でRPON＝２のフレームを受信する。デコーダは現在受信しているフレームのRPONを、前に受信したフレームのRPONと比較し、そのRPON値間の差を計算する。この場合、その差は１であり、したがって、デコーダは現在のフレームと前の復号化された基準フレームとの間で基準フレームが失われていないことを知る。したがって、デコーダは従来の方法で信号を復号化し続ける。
【００４７】
ここで、このデコーダはフレーム５を再構成することができない（これはデータが大幅に破損しているか、あるいは全く失われているかのために生じる場合がある）と仮定し、デコーダによって受信し、復号化される次のフレームがフレーム６であると仮定する。デコーダは現在受信しているフレーム（フレーム６）のRPONを、前に受信し、復号化された基準フレーム（フレーム４）のRPONと比較し、そのRPON値間の差を計算する。この場合、差は２であり、したがって、デコーダは、現在のフレームの送信と前のフレームの送信との間で基準画像が失われたことを知る。デコーダが、送信側のビデオ・エンコーダに対して制御のフィードバック・データを送信する機能を有している場合、デコーダは送信側のビデオ・エンコーダに対してフレームをINTRAフレームとして符号化し、フレーム４を基準として復号化されているフレーム６から結果として生じる時間的な誤り伝播を停止させるための要求を送信することができる。
【００４８】
ここで図５に示されているような信号を考え、本発明によるデコーダが、この信号を受信すると、その信号の各フレームが従来の方法で復号化されてからディスプレイ手段上で表示されると考える。復号化フレームは、誤り訂正および誤り隠蔽が従来の方法で行われている可能性がある。フレームが復号化されるたびに、デコーダはそのＴＲフィールドを調べてそのフレームをいつ表示するかを決定する。デコーダは、また、受信したフレームのRPONも調べる。
【００４９】
図５に示されているケースにおいては、デコーダはフレーム１を受信し、このフレームはRPON＝１であることを知る。デコーダはこのフレームを従来のINTRAモードの方法で復号化する。デコーダによって受信される次のフレームはフレーム６であり、これはＴＲ＝６、およびRPON＝２である。デコーダは、現在受信しているフレーム（フレーム６）のRPONを前に受信されて復号化された基準フレーム（フレーム１）のRPONと比較し、そのRPON間の差を計算する。この場合、差は１であり、したがって、デコーダは現在のフレームの送信と前に復号化された基準フレームの送信との間で基準画像が失われていないことを知る。次にデコーダはフレーム１を基準としてフレーム６を復号化する。
【００５０】
次に、デコーダはＴＲ＝４でRPONのないフレームを受信する。この場合、デコーダはRPONをそれ以上使用せず、復号化されたフレーム１および６を基準としてフレーム４を復号化する。
ここで、デコーダがフレーム５を再構成することができないと仮定する（これはデータが大幅に破損しているか、あるいは完全に失われているかのために生じる場合がある）。Ｂフレーム５が失われたことは、デコーダにとって影響のないことである。何故なら、Ｂフレームは他のどのフレームに対する基準画像も形成せず、それ故、その消失によっては時間的誤りの伝播は導入されないからである。
【００５１】
受信される次のフレームはフレーム９である。しかし、ここで、デコーダは、Ｐフレームであるフレーム９を再構成することができない（これはデータが大幅に破損しているか、あるいは完全に失われているかのために生じる場合がある）と仮定する。したがって、デコーダは７、８、１０または１２のフレームのどれも正常に復号化することができない。何故なら、これらは、少なくとも部分的にフレーム９を基準としてすべて予測されている可能性があるからである。通常、この状況においては、デコーダは表示された画像を凍結する。
【００５２】
デコーダによって受信され、復号化される次のフレームはフレーム１３である。デコーダは、現在受信している基準フレーム（フレーム１３）のRPONを、前に受信されて復号化された基準フレーム（フレーム６）のRPONと比較し、そのRPON間の差を計算する。この場合、差は２であり、したがって、デコーダは現在のフレームと前の復号化された基準フレームとの間で１つの基準画像が失われたことを知る。デコーダが制御のフィードバック・データを送信側のビデオ・エンコーダに送信する機能を有している場合、デコーダは送信側のビデオ・エンコーダに対して、フレームをINTRAフレームとして符号化し、フレーム１３がフレーム６を基準として復号化される結果生じる時間的誤り伝播を停止させるようにする要求を送信することができる。
基準画像番号を符号化された信号内に含めることができる方法を、H.263ビデオ符号化規格を参照して以下に説明する。
【００５３】
図６は、H.263に従う、周知のビット・ストリーム構文を示している。以下の実施形態は、GOBフォーマットを記述するが、本発明は、スライス・フォーマットで実施することもできることは当業者にとって明らかである。
既に述べたように、ビット・ストリームは４つの層を備えている。それらは画像層、画像セグメント層、マクロブロック層およびブロック層である。画像層は、画像ヘッダの後にブロックのグループに対するデータが続き、最後に任意のオプションの「シーケンスの終り」符号およびスタッフビットが続く。
従来技術のH.263のビット・ストリームは、図６に示されているようにフォーマット化されている。各部分に対する記述子が以下に与えられる。
【００５４】
【表１】

【００５５】
図４に示されているような構造は、オプションのPLUSTYPEデータ・フィールドを含まない。PSBIは、CPMによって示されている場合にのみ存在する。TRＢおよびDBQUANTは、PTYPEがいわゆるPBフレーム・モードの使用を示している場合にのみ存在する（PLUSTYPEフィールドが存在してDBQUANTの使用がその中で示されていない限り）。これらの事項はH.263の仕様書中でより詳しく扱われている。
【００５６】
次のパラグラフでは、本発明の第１の態様によるエンコーダによって出力されるビット・ストリームの考えられる実施形態を概説する。
基準画像順序番号をH.263のビット・ストリーム中に、以下のように組み込むことができる。図７は、本発明の第１の実施形態によるエンコーダから出力されるビット・ストリームの一例を示している。図７に示されているように、そのビット・ストリームは、「基準画像番号」を示す符号語であるさらに１つの符号語RPONを含む。これは、上記のように、本発明によるエンコーダによって挿入される。
【００５７】
他の方法としては、基準画像の順序番号を「補助的エンハンスメント情報」PSUPP（H.263の付録Ｌおよび図４参照）内に含めることができる。補助的情報は、そのデコーダがそれを使用する強化機能を提供することができないか、あるいはそれを正しく解釈することができない場合であっても、そのビット・ストリーム内に存在することができる。この補助的情報を単純に捨てることは、デコーダが要求された機能を提供するための条件が送信機および受信機によってネゴシエートされていない限り可能である。
ＰＥＩが「１」に設定されている場合、８ビットのデータ（PSUPP）および、次に更なる９個のビットが続くかどうかを示すための別のＰＥＩビットから構成されている９個のビットが続く。以下同様。
【００５８】
PSUPPデータは４ビットの機能タイプ指示FTYPEと、その次に４ビットのパラメータ・データ・サイズ仕様DSIZEが続き、その後にファンクション・パラメータ・データのDSIZE個のオクテットが続き、オプションとして別のFTYPEが続くように構成されている。このPSUPP符号語を使用して各種の状況を知らせることは周知である。たとえば、PSUPPはサイズ変更あり／なしで画像全体または部分的な画像の凍結または凍結解除要求を示すため；外部使用のためにビデオ・ストリーム中の画像の特定の画像または画像のシーケンスにタグを付けるため；あるいは、ビデオ・コンポジットのための色彩キー情報を伝えるために使用される。
「補助的エンハンスメント」情報を使用して本発明を実施するために、さらに１つのFTYPEが「基準画像順序番号」として定義されている。
【００５９】
図８は、パラメータRPONが画像ヘッダのSEIの中に含められている例を示している。FTYPEはRPONとして定義される。DSIZEはそのパラメータのサイズを規定し、それに続くオクテットはパラメータ・データ、すなわち、RPONの値である。この値から、受信側のデコーダは基準画像が失われているかどうかを判定することができる。
【００６０】
他の方法としては、その情報を“Draft of new Annex W：Additional Supplementary Enhancement Information Specification”（新しい付録Ｗの草案：追加の補助的エンハンスメント情報の仕様）Ｐ．ニング（Ning）およびＳ．ウエンガ（Wenger），ITU−T Study Group 16 Question 15 Document Ｑ15−I−58，November 1999の中で規定されているような、追加の「補助的エンハンスメント」情報の中に含めることができる。
【００６１】
この草案の提案において、FTYPE１４が「画像メッセージ」として定義されている。このFTYPEが設定されていると、画像メッセージ機能が、メッセージ・データを表している１つまたはそれ以上のオクテットの存在を示す。そのメッセージ・データの最初のオクテットは、図７に示されている構造のメッセージ・ヘッダ、すなわち、CONT、EBITおよびMTYPEである。DSIZEは、最初のオクテット・メッセージ・ヘッダを含む画像メッセージ機能に対応しているメッセージ・データ中のオクテットの数に等しい。
【００６２】
継続フィールドCONTは、１に等しい場合、その画像メッセージに関連付けられているメッセージ・データが、次の画像メッセージ機能に関連付けられているメッセージ・データと同じ論理メッセージの部分であることを示している。「終りのビット位置」フィールドEBITは、最後のメッセージ・オクテットの中で無視される下位ビットの数を規定する。これらのフィールドの詳細は、以上で述べた付録Ｗの草案中に記載されている。
【００６３】
MTYPEフィールドはメッセージのタイプを示す。種々のタイプのメッセージが付録Ｗの草案の中で提案されている。本発明によれば、１つのタイプ、たとえば、MTYPE１２がRPONまたは「画像番号」として定義されている。そのメッセージは１０ビットの「画像番号」を運ぶ２つのデータ・バイトを含んでいる。結果としてDSIZEは３、CONTは０、そしてEBITは６でなければならない。「画像番号」は符号化されて送信されたＩまたはＰの各画像またはＰＢまたは改善されたＰＢのフレームごとに、１０ビットのモジュロ演算で１だけインクリメントされなければならない。ＥＩおよびＥＰ画像の場合、「画像番号」は同じスケーラビリティのエンハンスメント層内の各ＥＩまたはＥＰ画像に対してインクリメントされなければならない。Ｂ画像の場合、「画像番号」は、ビット・ストリームの順序でのＢ画像に先行するＢ画像の基準層内の最近の非Ｂ画像の値に対して相対的にインクリメントされなければならない（Ｂ画像に時間的に続く画像）。同じエンハンスメント層内の隣接画像が同じ時間的基準を有している場合、そして基準画像の選択モード（付録Ｎ参照）が使用されている場合、そのデコーダはこの発生をほぼ同じ撮影されたシーンの内容の冗長なコピーが送信された指示としてみなし、これらの画像のすべてが同じ「画像番号」を共有する必要がある。同じエンハンスメント層内の２つの連続して受信した非Ｂ画像の「画像番号」の差（モジュロ１０２４）が１でない場合、そしてその画像が上記のようなほぼ同じ撮影されたシーンの内容を表していない場合、画像の消失またはデータの破損がデコーダによって推論される可能性がある。RPONの値は、メッセージ・ヘッダに続くオクテットの中で定義されている。
【００６４】
１つの特定の例においては、このメッセージは１データ・バイトを含み、すなわち、DSIZEが２、CONTが０、そしてEBITが０である。
「基準画像順序番号」が以前に符号化された基準画像の対応している番号から１だけインクリメントされる。そのインクリメントの結果の下位８ビットがこのメッセージに関連付けられているデータ・バイト内に置かれている。
【００６５】
本発明は、また、H.263に対する付録Ｕに従って実施することもできる。
上記説明は双方向に予測された画像（Ｂ画像）が符号化される符号化されたビデオ・ストリームに関して行われてきた。前に述べたように、Ｂ画像は基準画像としては決して使用されない。後続の画像の画像品質に影響せずにＢ画像を捨てることができるので、それらは時間的なスケーラビリティを提供する。スケーラビリティによって２つ以上の品質レベルにおいて圧縮されたビデオ・シーケンスの復号化が可能である。言い換えれば、スケーラブルなマルチメディア・クリップを圧縮し、それを異なるデータ・レートでチャネル上でストリーム化し、リアルタイムで復号化して再生できるようにすることができる。
【００６６】
それ故、ビデオ・ストリームを異なるデコーダによって異なる方法で復号化することができる。たとえば、デコーダはそのデコーダが達成できる復号化の最大レートである場合に、信号のＩおよびＰ画像だけを復号化するように決定することができる。しかし、デコーダがその容量を有している場合、それはＢ画像も復号化することができ、したがって、画像の表示レートを増加させることができる。したがって、表示された画像の認識される画像品質がＩおよびＰの画像だけを復号化するデコーダ上で改善される。
【００６７】
スケーラブルなマルチメディアは、通常、データの階層的な層があるように順序付けられている。ベース層はそのマルチメディア・クリップの基本的な表示を含み、一方、エンハンスメント層はその下にある層のトップにリファインメント・データを含む。結果として、エンハンスメント層はそのクリップの品質を改善する。
スケーラビリティは、異種混合の、そして誤りが発生しやすい環境に対して望ましい性質である。この性質は、制限事項、たとえば、ビット・レート、ディスプレイの分解能、ネットワークのスループット、およびデコーダの複雑度における制約に対処するために望ましい。
【００６８】
階層型の符号化が、トランスポートの優先順位付けと組み合わされているトランスポート・システムにおいて誤りからの復元能力を改善するためにスケーラビリティを使用することができる。トランスポートの優先順位付けは、ここではトランスポートにおける異なるサービスの品質、たとえば、不平等な誤り保護を提供するため、誤り／消失レートが異なっている異なるチャネルを提供するための各種のメカニズムを指す。それらの性質に依存して、データが異なって割り当てられている。たとえば、ベース層は誤り保護が高度であるチャネルを通じて配送することができ、そしてエンハンスメント層は比較的誤りが起きやすいチャネルを通して送信することができる。
【００６９】
一般に、スケーラブルなマルチメディア符号化は非スケーラブルな符号化より圧縮効率が悪くなる。言い換えれば、エンハンスメント層を伴ってスケーラブルなマルチメディア・クリップとして符号化されたマルチメディア・クリップは、それが平等な品質の非スケーラブルな単独層のクリップとして符号化された場合より大きなバンド幅を必要とする。しかし、この一般的な規則に対する例外が存在する。たとえば、ビデオ圧縮における時間的にスケーラブルなＢフレームがその例外である。
【００７０】
本発明は、他のスケーラブルなビデオ圧縮システムに適用することができる。たとえば、H.263の付録Ｏにおいて、２つの他の形式のスケーラビリティが定義されている。それらは信号対雑音（ＳＮＲ）のスケーラビリティおよび空間的スケーラビリティである。
空間的スケーラビリティおよびＳＮＲのスケーラビリティは密接に関連付けられており、その唯一の違いは空間的スケーラビリティによって提供される増強された空間分解能である。ＳＮＲスケーラブルな画像の一例が図１０に示されている。ＳＮＲのスケーラビリティはマルチ・レートのビット・ストリームの生成を含む。それによって符号化誤り、または元の画像とその再構成画像との間の違いの回復が可能である。これはより細かい量子化器を使用してエンハンスメント層において異なる画像を符号化することによって達成される。この追加の情報によって再構成された画像の総合的なＳＮＲが増加する。
【００７１】
空間的スケーラビリティによって各種のディスプレイ条件および／または制約を満たすために複数分解能のビット・ストリームを生成することができる。空間的にスケーラブルな構造が図１１に示されている。それはＳＮＲのスケーラビリティと本質的に同じであるが、空間的エンハンスメント層は再構成された基準層画像のアップサンプルされたバージョンと元の画像のより高い分解能のバージョンとの間の符号化消失を回復しようとする。たとえば、その基準層が４分の１共通中間フォーマット（ＱＣＩＦ）の分解能を備えていて、エンハンスメント層が共通中間フォーマット（ＣＩＦ）分解能を備えている場合、その基準層の画像はそれに従ってスケールされ、エンハンスメント層の画像をそれから予測できるようにしなければならない。ＱＣＩＦ規格において、垂直方向のみ、水平方向のみ、あるいは垂直および水平の両方の方向において単独のエンハンスメント層に対して分解能を２倍増加させることができる。複数のエンハンスメント層があって、それぞれが前の層の画像分解能を増加させるようにすることができる。基準層の画像をアップサンプルするために使用される補間フィルタがH.263規格において明示的に定義されている。エンハンスメント層に対する基準からのアップサンプリング・プロセスはさておき、空間的にスケールされた画像の処理および構文はＳＮＲスケール型の画像の場合と同じである。
【００７２】
ＳＮＲまたは空間的のスケーラビリティのいずれにおいても、エンハンスメント層の画像はＥＩまたはＥＰ画像と呼ばれる。エンハンスメント層の画像が基準層における画像から上方に予測される場合、そのエンハンスメント層の画像はエンハンスメント−Ｉ（ＥＩ）画像と呼ばれる。このタイプのスケーラビリティにおいて、基準層は現在のエンハンスメント層の「下の」層を意味する。いくつかのケースにおいては、基準層の画像の予測が不完全であると、その画像の静的な部分の過剰符号化がエンハンスメント層において発生する可能性があり、不必要に過剰なビット・レートを生じる可能性がある。この問題を避けるために、エンハンスメント層においては前方向の予測が許される。前のエンハンスメント層の画像から前方向に予測することができるか、あるいは代わりに、基準層の画像から上方向に予測することができる画像はエンハンスメント−Ｐ（ＥＰ）画像と呼ばれる。上方向および前方向に予測された画像の平均を計算することによって、ＥＰ画像に対する双方向の予測を提供することができることに留意されたい。ＥＩおよびＥＰの画像の両方に対して、基準層の画像からの上方向の予測は、動きベクトルが不要であることを意味する。ＥＰ画像に対する前方向の予測の場合、動きベクトルが必要である。
【００７３】
本発明によれば、エンコーダが複数層の符号化が可能な場合（たとえば、H.263の付録Ｏに説明されているように）、各層の基準画像に連続した「基準画像順序番号」が与えられている。これらを現在の画像のエンハンスメント層番号（ＥＬＮＵＭ）と関連付けることができる。「基準画像順序番号」は、同じエンハンスメント層内の以前に符号化された基準画像の対応している番号から１だけインクリメントされる。
【００７４】
図１０および図１１に示されているように、エンハンスメント層の画像を、そのエンハンスメント層の前の画像からおよび／またはベース層の等価なＩまたはＰ画像から予測することができる。基準層におけるＢ画像からエンハンスメント層を予測することはできない。
同じエンハンスメント層内の隣接画像が同じ時間的基準を有していて、H.263の付録Ｎまたは付録Ｕが使用されている場合、デコーダは、好適には、この発生を、ほぼ同じ撮影されたシーンの内容の冗長のコピーが送信され、次にこれらの画像のすべてが同じRPONを共有することの指示としてみなすことが好ましい。
【００７５】
本発明によるデコーダは、上記多層信号の受信時に、その信号を従来の方法で復号化しようとする。各層において、基準画像が復号化されるたびに、デコーダはその復号化された画像のRPONを調べる。デコーダが、基準画像がエンハンスメント層から失われていると判定した場合、デコーダはＥＩ画像が受信されるまでエンハンスメント層からの画像を表示することを止める。デコーダは前に記述されたようにベース層を復号化し続ける。
【００７６】
本発明は、上記ビデオ符号化プロトコルに限定されるものではない。これらは単に例示としてのものに過ぎない。本発明は、時間的予測を使用することができる任意のビデオ符号化プロトコルに対して適用できる。上記のように情報を追加することによって、受信側のデコーダが、基準画像が失われたことを知り、適切なアクションを取ることができる。
【図面の簡単な説明】
【図１】マルチメディア移動通信システムを示す。
【図２】マルチメディア端末のマルチメディア構成部品の一例を示す。
【図３】ビデオ・コーデックの一例を示す。
【図４】本発明の第１の実施形態によるビデオ・エンコーダの第１の実施形態の動作を示す。
【図５】本発明の第１の実施形態によるビデオ・エンコーダの第２の実施形態の動作を示す。
【図６】 H.263による周知のビット・ストリームの構文を示す。
【図７】本発明によるエンコーダからのビット・ストリーム出力の第１の例を示す。
【図８】本発明によるエンコーダからのビット・ストリーム出力の第２の例を示す。
【図９】本発明によるエンコーダからのビット・ストリーム出力の第３の例を示す。
【図１０】 SNRスケーラビリティのためにビデオ符号化において使用されるエンハンスメント層を示す。
【図１１】空間的スケーラビリティのためにビデオ符号化において使用されるエンハンスメント層を示す。

Claims

画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出する方法であって、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを使用することであって、前記連続する符号化された時間的予測基準画像に付与される連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用すること、
を含む、方法。
請求項１に記載の方法において、
連続して符号化される時間的予測基準画像間で、前記シーケンス指示子値を１だけインクリメントすることを含む、方法。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項１または２に記載の方法。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項１または２に記載の方法。
請求項１から４のいずれか１項に記載の方法において、
特定の時間的予測基準画像の前記シーケンス指示子値を対応する画像ヘッダ内に与えることを含む、方法。
請求項１から５のいずれか１項に記載の方法において、
前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化することと、
特定の時間的予測基準画像の前記シーケンス指示子値を対応するＨ．２６３ビットストリームの補助的エンハンスメント情報内に与えることと、
を含む、方法。
請求項１から６のいずれか１項に記載の方法において、
シーケンス指示子値を時間的予測基準画像全体と関連付けることを含む、方法。
請求項１から６のいずれか１項に記載の方法において、
シーケンス指示子値を時間的予測基準画像の一部分と関連付けることを含む、方法。
請求項８に記載の方法において、
前記シーケンス指示子値を符号化された時間的予測基準画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダ内に与えることを含む、方法。
請求項１から９のいずれか１項に記載の方法において、
多層符号化を使用して前記ビデオ信号を符号化し符号化された多層ビデオ信号を生成することと、前記多層符号化ビデオ信号の前記多層のそれぞれについてシーケンス指示子値を提供することと、を含み、結果として前記連続するシーケンス指示子値によってデコーダに、前記多層符号化ビデオ信号の前記それぞれの層で前記時間的予測基準画像の破損または消失を検出させる、方法。
前記所定の大きさとして固定値を用いる、請求項１から１０のいずれか１項に記載の方法。
基準画像順序番号であるシーケンス指示子値を使用することを含む、請求項１から１１のいずれか１項に記載の方法。
符号化されたビデオ信号を復号化して、画像のシーケンスを表す復号化されたビデオ信号を形成する方法であって、前記方法が、
復号化された時間的予測基準画像を調べて、連続的に符号化された時間的予測基準画像にそれぞれ付与されたシーケンス指示子値の差を確認することと、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較することと、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出することと、
を含む、方法。
請求項１３に記載の方法において、
さらに、前記確認された差が前記所定の大きさと異なる時に、非時間的に予測された方法で符号化された画像を提供するようエンコーダに要求を送信することを含む、方法。
請求項１３または１４に記載の方法において、
符号化の順に連続する時間的予測基準画像に付与された前記シーケンス指示子値が１ずつ異なる時、前記比較において所定の大きさである１を用いることを含む、方法。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項１３から１５のいずれか１項に記載の方法。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項１３から１５のいずれか１項に記載の方法。
請求項１３から１７のいずれか１項に記載の方法において、
対応する画像ヘッダから特定の時間的予測基準画像の前記シーケンス指示子値を取得することを含む、方法。
請求項１３から１８のいずれか１項に記載の方法において、
Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信することと、
Ｈ．２６３ビットストリームの対応する補助的エンハンスメント情報から特定の時間的予測基準画像の前記シーケンス指示子値を取得することと、
を含む、方法。
請求項１３から１９のいずれか１項に記載の方法において、
シーケンス指示子値が時間的予測基準画像全体と関連付けられている、方法。
請求項１３から１９のいずれか１項に記載の方法において、
シーケンス指示子値が時間的予測基準画像の一部分と関連付けられている、方法。
請求項２１に記載の方法において、
前記シーケンス指示子値を、符号化された時間的予測基準画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダから取得することを含む、方法。
請求項１３から２２のいずれか１項に記載の方法において、
符号化された多層ビデオ信号の各層について提供されたシーケンス指示子値の確認された差を調べ、前記各層内の時間的予測基準画像の破損又は消失を検出することを含む、方法。
前記所定の大きさは固定値である、請求項１３から２３のいずれか１項に記載の方法。
前記シーケンス指示子値は基準画像順序番号である、請求項１３から２４のいずれか１項に記載の方法。
画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するエンコーダであって、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを使用することであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用するように構成される、エンコーダ。
請求項２６に記載のエンコーダにおいて、
前記エンコーダは連続して符号化される時間的予測基準画像間で前記シーケンス指示子値を１だけインクリメントするよう構成される、エンコーダ。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項２６または２７に記載のエンコーダ。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項２６または２７に記載のエンコーダ。
請求項２６から２９のいずれか１項に記載のエンコーダにおいて、
前記エンコーダはシーケンス指示子値を対応する時間的予測基準画像のヘッダ内に与えるよう構成される、エンコーダ。
請求項２６から３０のいずれか１項に記載のエンコーダにおいて、
前記エンコーダは前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化し、前記シーケンス指示子値を対応する時間的予測基準画像のＨ．２６３のビットストリームの補助的エンハンスメント情報内に与えるよう構成される、エンコーダ。
請求項２６から３１のいずれか１項に記載のエンコーダにおいて、
前記エンコーダはシーケンス指示子値を時間的予測基準画像全体と関連付けるよう構成される、エンコーダ。
請求項２６から３１のいずれか１項に記載のエンコーダにおいて、
前記エンコーダはシーケンス指示子値を時間的予測基準画像の一部分と関連付けるよう構成される、エンコーダ。
請求項３３に記載のエンコーダにおいて、
前記エンコーダは前記シーケンス指示子値を符号化された時間的予測基準画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダの中に与えるよう構成される、エンコーダ。
請求項２６から３４のいずれか１項に記載のエンコーダにおいて、
前記エンコーダは、多層符号化を使用して前記ビデオ信号を符号化し符号化された多層ビデオ信号を生成するとともに、前記多層符号化ビデオ信号の前記多層のそれぞれについてシーケンス指示子値を提供し、結果として前記連続するシーケンス指示子値によってデコーダに、前記多層符号化ビデオ信号の前記それぞれの層で前記時間的予測基準画像の破損または消失を検出させるよう構成される、エンコーダ。
前記所定の大きさとして固定値を用いる、請求項２６から３５のいずれか１項に記載のエンコーダ。
基準画像順序番号であるシーケンス指示子値を使用することを含む、請求項２６から３６のいずれか１項に記載のエンコーダ。
符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成するデコーダであって、前記デコーダは、
復号化された時間的予測基準画像を調べて、連続的に符号化された時間的予測基準画像にそれぞれ付与されたシーケンス指示子値の差を確認し、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較し、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出する、
よう構成される、
デコーダ。
請求項３８に記載のデコーダにおいて、
前記確認された差が前記所定の大きさと異なる時に、非時間的に予測された方法で符号化された画像を提供するようエンコーダに要求を送信するよう構成される、デコーダ。
請求項３８または３９に記載のデコーダにおいて、
符号化の順に連続する時間的予測基準画像に付与された前記シーケンス指示子値が１ずつ異なる時、前記比較において所定の大きさである１を用いるよう構成される、デコーダ。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項３８から４０のいずれか１項に記載のデコーダ。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項３８から４０のいずれか１項に記載のデコーダ。
請求項３８から４２のいずれか１項に記載のデコーダにおいて、
対応する時間的予測基準画像のヘッダから前記シーケンス指示子値を取得するよう構成される、デコーダ。
請求項３８から４３のいずれか１項に記載のデコーダにおいて、
Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信し、対応する時間的予測基準画像のＨ．２６３のビットストリームの補助的エンハンスメント情報から前記シーケンス指示子値を取得するよう構成される、デコーダ。
請求項３８から４４のいずれか１項に記載のデコーダにおいて、
シーケンス指示子値が時間的予測基準画像全体と関連付けられている、デコーダ。
請求項３８から４４のいずれか１項に記載のデコーダにおいて、
シーケンス指示子値が時間的予測基準画像の一部分と関連付けられている、デコーダ。
請求項４６に記載のデコーダにおいて、
前記デコーダは、前記シーケンス指示子値を、符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダから取得するよう構成される、デコーダ。
請求項３８から４７のいずれか１項に記載のデコーダにおいて、
前記デコーダは、符号化された多層ビデオ信号の各層について提供されたシーケンス指示子値の確認された差を調べ、前記各層内の時間的予測基準画像の破損又は消失を検出するよう構成される、デコーダ。
前記所定の大きさとして固定値を用いる、請求項３８から４８のいずれか１項に記載のデコーダ。
基準画像順序番号であるシーケンス指示子値を使用することを含む、請求項３８から４９のいずれか１項に記載のデコーダ。
請求項２６から３７のいずれか１項に記載のエンコーダまたは請求項３８から５０のいずれか１項に記載のデコーダを含む、携帯用無線通信装置。
請求項２６から３５のいずれか１項に記載のエンコーダまたは請求項３８から５０のいずれか１項に記載のデコーダを含む、マルチメディア端末装置。
画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するための装置であって、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを使用することであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用するように構成される、装置。
符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成するための装置であって、前記装置は、
復号化された時間的予測基準画像を調べて、連続的に符号化された時間的予測基準画像にそれぞれ付与されたシーケンス指示子値の差を確認し、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較し、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出する、
よう構成される、装置。
プログラム・コードを含み、画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するコンピュータ・プログラムであって、前記プログラム・コードが装置のプロセッサで実行されると、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを使用することであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用するように、
前記装置に実行させる、コンピュータ・プログラム。
プログラム・コードを含み、符号化されたビデオ信号を復号化して、画像のシーケンスを表す復号化されたビデオ信号を形成するコンピュータ・プログラムであって、前記プログラム・コードが装置のプロセッサで実行されると、
復号化された時間的予測基準画像を調べて、連続的に符号化された時間的予測基準画像にそれぞれ付与されたシーケンス指示子値の差を確認することと、
連続する時間的予測基準画像間で符号化される非基準画像の数とは無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較することと、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出することと、
を前記装置に実行させる、コンピュータ・プログラム。
画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出する方法であって、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを用いることであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用することを含む、方法。
請求項５７に記載の方法において、
連続して符号化される時間的予測基準画像間で前記シーケンス指示子値を１だけインクリメントすることを含む、方法。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項５７または５８に記載の方法。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項５７または５８に記載の方法。
請求項５７から６０のいずれか１項に記載の方法において、
特定の時間的予測基準画像の前記シーケンス指示子値を対応する画像ヘッダ内に提供することを含む、方法。
請求項５７から６１のいずれか１項に記載の方法において、
Ｈ．２６３ビデオ符号化規格に従って前記ビデオ信号を符号化することと、特定の時間的予測基準画像の前記シーケンス指示子値を対応するＨ．２６３ビットストリームの補助的エンハンスメント情報に与えることと、を含む、方法。
請求項５７から６２のいずれか１項に記載の方法において、
シーケンス指示子値を時間的予測基準画像全体と関連付けることを含む、方法。
請求項５７から６２のいずれか１項に記載の方法において、
シーケンス指示子値を時間的予測基準画像の一部と関連付けることを含む、方法。
請求項６４に記載の方法において、
前記シーケンス指示子値を符号化された時間的予測基準画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダ内に提供することを含む、方法。
請求項５７から６５のいずれか１項に記載の方法において、
多層符号化を使用して前記ビデオ信号を符号化し符号化された多層ビデオ信号を生成することと、
前記多層符号化されたビデオ信号の前記多層それぞれについてシーケンス指示子値を提供することと、を含み、結果として前記連続するシーケンス指示子値によってデコーダに、前記多層符号化ビデオ信号の前記それぞれの層で前記時間的予測基準画像の破損または消失を検出させる、方法。
請求項５７から６６のいずれか１項に記載の方法において、
前記所定の大きさとして固定値を用いる、方法。
請求項５７から６７のいずれか１項に記載の方法において、
基準画像順序番号であるシーケンス指示子値を使用することを含む、方法。
請求項５７から６８のいずれか１項に記載の方法において、
非基準画像がない場合、前記シーケンス指示子値を連続して符号化される時間的予測基準画像の間で前記所定の大きさだけインクリメントすることを含む、方法。
符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成する方法であって、
復号化された時間的予測基準画像を調べて連続して符号化された時間的予測基準画像に付与されるシーケンス指示子値の差を確認することと、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較することと、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出することと、
を含む、方法。
請求項７０に記載の方法において、
前記方法はさらに、前記確認された差が前記所定の大きさと異なる場合に、非時間的予測方法で符号化した画像の提供の要求をエンコーダに送信することを含む、方法。
請求項７０または７１に記載の方法において、
前記方法は符号化の順に連続した時間的予測基準画像に付与された前記シーケンス指示子値が１ずつ異なる時、前記比較において所定の大きさである１を用いることを含む、方法。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項７０から７２のいずれか１項に記載の方法。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項７０から７２のいずれか１項に記載の方法。
請求項７０から７４のいずれか１項に記載の方法において、
対応する画像ヘッダから特定の時間的予測基準画像の前記シーケンス指示子値を取得することを含む、方法。
請求項７０から７５のいずれか１項に記載の方法において、
Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信することと、Ｈ．２６３ビットストリームの対応する補助的エンハンスメント情報から特定の時間的予測基準画像の前記シーケンス指示子値を取得することと、を含む、方法。
請求項７０から７６のいずれか１項に記載の方法において、
シーケンス指示子値は時間的予測基準画像全体と関連付けられている、方法。
請求項７０から７６のいずれか１項に記載の方法において、
シーケンス指示子値は時間的予測基準画像の一部分と関連付けられている、方法。
請求項７８に記載の方法において、
前記シーケンス指示子値を、符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダから取得することを含む、方法。
請求項７０から７９のいずれか１項に記載の方法において、
符号化された多層ビデオ信号の各層について提供されたシーケンス指示子値の確認された差を調べ、前記各層内の時間的予測基準画像の破損または消失を検出することを含む、方法。
請求項７０から８０のいずれか１項に記載の方法において、
前記所定の大きさは固定された値である、方法。
請求項７０から８１のいずれか１項に記載の方法において、
前記シーケンス指示子値は基準画像順序番号である、方法。
請求項７０から８２のいずれか１項に記載の方法において、
非基準画像がない場合、前記シーケンス指示子値を連続して符号化される時間的予測基準画像の間で前記所定の大きさだけインクリメントすることを含む、方法。
画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するための装置であって、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを用いることであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用するよう構成される、装置。
請求項８４に記載の装置において、
前記装置は、連続して符号化された時間的予測基準画像間で前記シーケンス指示子値を１だけインクリメントするよう構成される、装置。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項８４または８５に記載の装置。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項８４または８５に記載の装置。
請求項８４から８７のいずれか１項に記載の装置において、
前記装置は、特定の時間的予測基準画像の前記シーケンス指示子値を対応する画像ヘッダ内に提供するよう構成される、装置。
請求項８４から８８のいずれか１項に記載の装置において、
前記装置は、Ｈ．２６３ビデオ符号化規格に従って前記ビデオ信号を符号化し、特定の時間的予測基準画像の前記シーケンス指示子値を対応するＨ．２６３ビットストリームの補助的エンハンスメント情報に含めるよう構成される、装置。
請求項８４から８９のいずれか１項に記載の装置において、
前記装置は、シーケンス指示子値を時間的予測基準画像全体と関連付けるよう構成される、装置。
請求項８４から８９のいずれか１項に記載の装置において、
前記装置は、シーケンス指示子値を時間的予測基準画像の一部分と関連付けるよう構成される、装置。
請求項９１に記載の装置において、
前記シーケンス指示子値を符号化された時間的予測基準画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダ内に提供するよう構成される、装置。
請求項８４から９２のいずれか１項に記載の装置において、
前記装置は、多層符号化を使用して前記ビデオ信号を符号化し符号化された多層ビデオ信号を生成するとともに、前記多層符号化されたビデオ信号の前記多層それぞれについてシーケンス指示子値を提供し、結果として前記連続するシーケンス指示子値によってデコーダに、前記多層符号化ビデオ信号の前記それぞれの層で前記時間的予測基準画像の破損または消失を検出させるよう構成される、装置。
請求項８４から９３のいずれか１項に記載の装置において、
前記所定の大きさとして固定値を用いるように構成される、装置。
請求項８４から９４のいずれか１項に記載の装置において、
基準画像順序番号であるシーケンス指示子値を使用するように構成される、装置。
請求項８４から９５のいずれか１項に記載の装置において、
前記装置は、非基準画像がない場合、前記シーケンス指示子値を連続して符号化される時間的予測基準画像の間で前記所定の大きさだけインクリメントするよう構成される、装置。
符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成するための装置であって、
復号化された時間的予測基準画像を調べて連続して符号化された時間的予測基準画像に付与されるシーケンス指示子値の差を確認し、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較し、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出する、
よう構成される、装置。
請求項９７に記載の装置において、
前記装置はさらに、前記確認された差が前記所定の大きさと異なる場合に、非時間的予測方法で符号化した画像の提供の要求をエンコーダに送信するよう構成される、装置。
請求項９７または９８に記載の装置において、
前記装置は、符号化の順に連続した時間的予測基準画像に付与された前記シーケンス指示子値が１ずつ異なる時、前記比較において所定の大きさである１を用いるよう構成される、装置。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項９７から９９のいずれか１項に記載の装置。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項９７から９９のいずれか１項に記載の装置。
請求項９７から１０１のいずれか１項に記載の装置において、
前記装置は、対応する画像ヘッダから特定の時間的予測基準画像の前記シーケンス指示子値を取得するよう構成される、装置。
請求項９７から１０２のいずれか１項に記載の装置において、
前記装置は、Ｈ．２６３規格に従って符号化されたビデオ信号を受信し、Ｈ．２６３ビットストリームの対応する補助的エンハンスメント情報から特定の時間的予測基準画像の前記シーケンス指示子値を取得するよう構成される、装置。
請求項９７から１０３のいずれか１項に記載の装置において、
シーケンス指示子値は時間的予測基準画像全体と関連付けられるよう構成される、装置。
請求項９７から１０３のいずれか１項に記載の装置において、
シーケンス指示子値は時間的予測基準画像の一部分と関連付けられるよう構成される、装置。
請求項１０５に記載の装置において、
前記装置は、シーケンス指示子値を符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダから取得するよう構成される、装置。
請求項９７から１０６のいずれか１項に記載の装置において、
前記装置は、符号化された多層ビデオ信号の各層について提供されたシーケンス指示子値の確認された差を調べ、前記各層内の時間的予測基準画像の破損または消失を検出するよう構成される、装置。
請求項９７から１０７のいずれか１項に記載の装置において、
前記所定の大きさは固定された値である、装置。
請求項９７から１０８のいずれか１項に記載の装置において、
前記シーケンス指示子値は基準画像順序番号である、装置。
請求項９７から１０９のいずれか１項に記載の装置において、
非基準画像がない場合、前記シーケンス指示子値は連続して符号化される時間的予測基準画像の間で前記所定の大きさだけインクリメントされる、装置。
請求項８４から９６のいずれか１項に記載のビデオ信号を符号化するための装置と、請求項９７から１１０のいずれか１項に記載の符号化されたビデオ信号を復号化するための装置の内、少なくとも１つを含む、携帯用無線通信装置。
請求項８４から９６のいずれか１項に記載の符号化するための装置と、請求項９７から１１０のいずれか１項に記載の復号化するための装置の内、少なくとも１つを含む、マルチメディア端末装置。
画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するためのエンコーダであって、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを用いることであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用するよう構成される、エンコーダ。
符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成するデコーダであって、
復号化された時間的予測基準画像を調べて連続して符号化された時間的予測基準画像に付与されるシーケンス指示子値の差を確認し、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較し、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出する、
よう構成される、デコーダ。
プログラム・コードを含み、画像のシーケンスを表すビデオ信号を符号化して時間的予測基準画像の破損または消失を検出するコンピュータ・プログラムであって、前記プログラム・コードが装置のプロセッサで実行されると、前記装置に動作を実行させ、前記動作は、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係に、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値を付与する順序番号付けスキームを用いることであって、前記連続する時間的予測基準画像にそれぞれ所定の大きさだけ互いに異なるシーケンス指示子値を付与されており、結果として前記連続するシーケンス指示子値によってデコーダに時間的予測基準画像の破損または消失を検出させる、前記順序番号付けスキームを使用すること
を含む、コンピュータ・プログラム。
請求項１１５に記載のコンピュータ・プログラムにおいて、
前記動作は、連続して符号化された時間的予測基準画像間で前記シーケンス指示子値を１だけインクリメントすることを含む、コンピュータ・プログラム。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項１１５または１１６に記載のコンピュータ・プログラム。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項１１５または１１６に記載のコンピュータ・プログラム。
請求項１１５から１１８のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、特定の時間的予測基準画像の前記シーケンス指示子値を対応する画像ヘッダ内に提供することを含む、コンピュータ・プログラム。
請求項１１５から１１９のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、Ｈ．２６３ビデオ符号化規格に従ってビデオ信号を符号化することと、特定の時間的予測基準画像の前記シーケンス指示子値をＨ．２６３ビットストリームの対応する補助的エンハンスメント情報に含めることと、
を含む、コンピュータ・プログラム。
請求項１１５から１２０のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、シーケンス指示子値を時間的予測基準画像全体と関連付けることを含む、コンピュータ・プログラム。
請求項１１５から１２０のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、シーケンス指示子値を時間的予測基準画像の一部分と関連付けることを含む、コンピュータ・プログラム。
請求項１２２に記載のコンピュータ・プログラムにおいて、
前記動作は、前記シーケンス指示子値を、符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダに提供することを含む、コンピュータ・プログラム。
請求項１１５から１２３のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、多層符号化を使用して前記ビデオ信号を符号化し符号化された多層ビデオ信号を生成することと、前記層の時間的予測基準画像の破損または消失の検出を可能にするため前記多層符号化されたビデオ信号の前記多層それぞれについてシーケンス指示子値を提供することと、を含み、結果として前記連続するシーケンス指示子値によってデコーダに、前記多層符号化ビデオ信号の前記それぞれの層で前記時間的予測基準画像の破損または消失を検出させる、コンピュータ・プログラム。
請求項１１５から１２４のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記所定の大きさは固定値である、コンピュータ・プログラム。
請求項１１５から１２５のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記シーケンス指示子値は基準画像順序番号である、コンピュータ・プログラム。
請求項１１５から１２６のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、非基準画像がない場合、前記シーケンス指示子値を連続して符号化される時間的予測基準画像の間で前記所定の大きさだけインクリメントすることを含む、コンピュータ・プログラム。
プログラム・コードを含み、符号化されたビデオ信号を復号化して画像のシーケンスを表す復号化されたビデオ信号を形成するためのコンピュータ・プログラムであって、前記プログラム・コードが装置のプロセッサで実行されると、前記装置に動作を実行させ、前記動作は、
復号化された時間的予測基準画像を調べて連続して符号化された時間的予測基準画像に付与されるシーケンス指示子値の差を確認することと、
連続する時間的予測基準画像間で符号化される非基準画像の数または／および連続する時間的予測基準画像間で符号化されていない画像の数には無関係の順序番号付けスキームであって、符号化の順に連続する時間的予測基準画像の各々にシーケンス指示子値が付与され、連続する前記シーケンス指示子値はそれぞれ所定の大きさだけ互いに異なるように付与されるという順序番号付けスキームに基づいて、前記シーケンス指示子値の前記確認した差を比較することと、
前記シーケンス指示子値の前記確認した差が前記所定の大きさよりも大きいとき、時間的予測基準画像の破損または消失を検出することと、
を含む、コンピュータ・プログラム。
請求項１２８に記載のコンピュータ・プログラムにおいて、
前記動作は前記確認された差が前記所定の大きさと異なる場合に、非時間的予測方法で符号化した画像の提供の要求をエンコーダに送信することを含む、コンピュータ・プログラム。
請求項１２８または１２９に記載のコンピュータ・プログラムにおいて、
前記動作は符号化の順に連続した時間的予測基準画像に付与された前記シーケンス指示子値が１ずつ異なる時、前記比較において所定の大きさである１を用いることを含む、コンピュータ・プログラム。
前記時間的予測基準画像はＩ画像とＰ画像である、請求項１２８から１３０のいずれか１項に記載のコンピュータ・プログラム。
前記時間的予測基準画像はＰ画像を含み、前記非基準画像はＢ画像である、請求項１２８から１３０のいずれか１項に記載のコンピュータ・プログラム。
請求項１２８から１３２のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は対応する画像ヘッダから特定の時間的予測基準画像の前記シーケンス指示子値を取得することを含む、コンピュータ・プログラム。
請求項１２８から１３３のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記動作は、Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信することと、Ｈ．２６３ビットストリームの対応する補助的エンハンスメント情報から特定の時間的予測基準画像の前記シーケンス指示子値を取得することと、を含む、コンピュータ・プログラム。
請求項１２８から１３４のいずれか１項に記載のコンピュータ・プログラムにおいて、
シーケンス指示子値は時間的予測基準画像全体と関連付けられている、コンピュータ・プログラム。
請求項１２８から１３４のいずれか１項に記載のコンピュータ・プログラムにおいて、
シーケンス指示子値は時間的予測基準画像の一部分と関連付けられている、コンピュータ・プログラム。
請求項１３６に記載のコンピュータ・プログラムにおいて、
前記動作は、前記シーケンス指示子値を符号化された画像の画像セグメント・ヘッダまたはマクロ・ブロック・ヘッダから取得することを含む、コンピュータ・プログラム。
請求項１２８から１３７のいずれか１項に記載のコンピュータ・プログラムにおいて、
符号化された多層ビデオ信号の各層について提供されたシーケンス指示子値の確認された差を調べ、前記各層内の時間的予測基準画像の破損または消失を検出することを含む、コンピュータ・プログラム。
請求項１２８から１３８のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記所定の大きさは固定された値である、コンピュータ・プログラム。
請求項１２８から１３９のいずれか１項に記載のコンピュータ・プログラムにおいて、
前記シーケンス指示子値は基準画像順序番号である、コンピュータ・プログラム。