JP4362259B2 - ビデオ符号化方法 - Google Patents
ビデオ符号化方法 Download PDFInfo
- Publication number
- JP4362259B2 JP4362259B2 JP2001585519A JP2001585519A JP4362259B2 JP 4362259 B2 JP4362259 B2 JP 4362259B2 JP 2001585519 A JP2001585519 A JP 2001585519A JP 2001585519 A JP2001585519 A JP 2001585519A JP 4362259 B2 JP4362259 B2 JP 4362259B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- current image
- indicator
- encoder
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000002123 temporal effect Effects 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 23
- 238000007906 compression Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 15
- 238000011524 similarity measure Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 8
- 239000010410 layer Substances 0.000 description 61
- 230000005540 biological transmission Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012913 prioritisation Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Color Television Systems (AREA)
- Glass Compositions (AREA)
- Analogue/Digital Conversion (AREA)
- Error Detection And Correction (AREA)
Description
(技術分野)
本発明はビデオ符号化に関する。
【0002】
(背景技術)
ビデオ・シーケンスは一連の静止画像またはフレームから構成されている。ビデオ圧縮方法は、ビデオ・シーケンスの冗長部分および知覚的に無関係な部分を減らすことに基づいている。ビデオ・シーケンスにおける冗長性は、スペクトル冗長性、空間的冗長性および時間的冗長性に分類することができる。スペクトル冗長性は、同じ画像の異なるカラー成分間の類似性を指す。空間的冗長性は、1つの画像中の隣接しているピクセル間の類似性に起因する。時間的冗長性は前の画像の中に現れているオブジェクトが現在の画像中にも現れる可能性があるので存在する。この時間的冗長性を利用し、現在の画像を別の画像、すなわち、アンカー画像または基準画像から予測することによって圧縮を行うことができる。現在の画像と前の画像との間の動きを記述する動き補償データを生成することによって、さらに圧縮が行われる。
【0003】
しかし、シーケンスの本来的な冗長性を減らすことだけによっては十分な圧縮が行われないのが普通である。それ故、ビデオ・エンコーダは、ビデオ・シーケンスの主観的にあまり重要でない部分の品質を低減しようとする。さらに、圧縮パラメータおよび係数の効率的な無損失符号化によって、符号化されたビット・ストリームの冗長性が減らされる。その主な技法は、可変長符号を使用する方法である。
【0004】
ビデオ圧縮方法は、通常、時間的冗長性の削減を利用する画像と利用しない画像を識別する。時間的冗長性削減方法を利用しない圧縮された画像は、普通はINTRAフレームまたはIフレームまたはI画像と呼ばれる。時間的に予測された画像は、普通は現在の画像の前に発生している画像から前方に予測されており、INTERフレームまたはPフレームと呼ばれる。INTERフレームの場合、予測された動き補償された画像が十分に正確であることは稀であり、したがって、空間的に圧縮された予測誤差フレームが各INTERフレームに関連付けられる。INTER画像は、INTRA符号化領域を含むことができる。
【0005】
多くのビデオ圧縮方式は、時間的双方向性予測フレームも使用する。それらは普通B画像またはBフレームと呼ばれている。B画像はIフレームおよび/またはPフレームのアンカー画像ペア間に挿入され、これらのアンカー画像の1つまたは両方から予測される。B画像は、普通は前方予測型画像と比較して圧縮度が大きくなる。B画像はアンカー画像としては使用されない。すなわち、他の画像がB画像から予測されることはない。したがって、以降の画像の画像品質を損なわずにB画像を捨てる(意図的にまたは無意識的に)ことができる。B画像はP画像に比較して圧縮性能を改善することができるが、それらを生成するための計算が比較的複雑となり、より多くのメモリを必要とし、追加の遅延時間を導入する。これはビデオ・ストリーミングのような非リアルタイムの用途に対しては問題とならないが、ビデオ会議のようなリアルタイムの用途においては問題となる場合がある。
【0006】
圧縮されたビデオ・クリップは、時間的に独立のINTRA画像と、時間的に差分符号化されたINTER画像とに大雑把に分類することができる画像のシーケンスから構成されている。INTRA画像における圧縮効率は、普通はINTER画像の場合より低いので、INTRA画像は慎重に使用され、特にビット・レートの低い用途に使用される。
【0007】
ビデオ・シーケンスは、いくつかのシーンまたはショットから構成することができる。画像の内容はシーンごとに著しく異なっている場合があり、したがって、1つのシーンの最初の画像は、通常、INTRA符号化されている。テレビジョンおよび映画の中ではシーンが頻繁に変化するが、ビデオ会議においてはシーンの急激な場面転換は比較的稀である。さらに、再構成されたビデオ信号における伝送誤りの時間的な伝播を止めるために、そしてビデオのビット・ストリームに対するランダムなアクセス・ポイントを提供するために、通常、INTRA画像が挿入されている。
【0008】
圧縮されたビデオは、主として2つの理由のために伝送誤りによって容易に破損する。第1に、時間的予測差分符号化(INTERフレーム)を利用するために、誤りが空間的および時間的の両方において伝播するからである。実際には、これは、誤りが一度発生すると、それは比較的長い時間にわたって人間の目に見えやすい。特に影響を受けやすいのは、低いビット・レートでの伝送の場合であり、その場合、少数のINTRA符号化フレームだけしかないので、時間的な誤りの伝播がある程度の時間止まらない。第2に、可変長符号を使用することによって誤りの影響を受けやすくなるからである。1ビット誤りが符号語を変化させると、そのデコーダは符号語の同期を失い、また次の同期化(すなわち、開始)符号まで後続の誤りのない符号語(いくつかのビットを含む)を誤って復号化する。同期化符号は他の符号語の合法的組合せから生成することができないビット・パターンであり、同期化を可能にするためにそのような符号がある間隔でビット・ストリームに追加される。さらに、伝送の間にデータが失われると誤りが発生する。たとえば、IPネットワークにおける信頼性の低いUDP転送プロトコルを使用しているビデオ・アプリケーションにおいては、ネットワーク要素が符号化ビデオ・ビット・ストリームの部分を捨てる場合がある。
【0009】
伝送経路において生じた破損に受信機が対処する多くの方法がある。一般に、信号の受信時に、伝送誤りが先ず検出され、次に受信機によって補正または隠蔽される。誤り補正は誤りが最初に導入されなかったかのように、誤りデータを完全に復元するプロセスを指す。誤りの隠蔽は、伝送誤りの影響がその再構成されたビデオ・シーケンスにおいてほとんど見られないように隠蔽するプロセスを指す。通常、誤り検出、補正および隠蔽を助けるために、ソースまたはトランスポート符号化によってある程度の量の冗長性が追加される。
【0010】
多くの隠蔽アルゴリズムが周知であり、そのレビューが、Y.ワング(Wang)およびQ.−F.ジュー(Zhu)によって“Error Control and Concealment for Video Communication:A Review”(ビデオ通信のための誤り制御および隠蔽:レビュー)、Proceedings of the IEEE, Vol.86,No.5, May 1998,pp.974−997および、P.サラマ(Salama)、N.B.シュロフ(Shroff)、およびE.J.デルプ(Delp)によってIEEE Journal on Selected Areas in Communicationsに提出された“Error Concealment in Encoded Video”(符号化されたビデオにおける誤り隠蔽)の中で与えられている。
【0011】
現在のビデオ符号化規格は、自足可能なビデオ・ビット・ストリームに対する構文を定義している。現時点で最もポピュラーな規格は、ITU−T勧告H.263、“Video coding for low bit rate communication”(低ビット・レート通信のためのビデオ符号化)、February 1998;ISO/IEC 14496−2、“Generic Coding of Audio−Visual Objects: Part 2:Visual”(オーディオ−ビジュアル・オブジェクトの一般的符号化:第二部:ビジュアル)、1999(MPEG−4として知られている);およびITU−T勧告H.262(ISO/IEC 13818−2)(MPEG−2として知られている)である。これらの規格はビット・ストリームに対する、したがって、画像シーケンスおよび画像に対する階層を定義している。
H.263においては、階層は4層になっている。それらは画像層、画像セグメント層、マクロブロック層、およびブロック層である。画像層のデータは、その画像全体の領域およびその画像データの復号化に影響を及ぼすパラメータを含んでいる。そのデータのほとんどがいわゆる画像ヘッダ内に配置されている。
【0012】
画像セグメント層は、ブロック層またはスライス層の1つのグループのいずれかである可能性がある。デフォルトによって各画像は、ブロックのグループに分割されている。ブロックのグループ(GOB)は、通常、16個の連続したピクセル・ラインを含む。各GOBに対するデータはオプションのGOBヘッダの次にマクロブロックに対するデータが続いているものから構成されている。オプションのスライス構造化モードが使用されている場合、各画像はGOBの代わりにスライスに分割されている。スライスは、走査順に連続するいくつかのマクロブロックを含む。各スライスに対するデータは、スライス・ヘッダの次にそのマクロブロックに対するデータが続いているものから構成されている。
【0013】
各GOBまたはスライスはマクロブロックに分割されている。マクロブロックは、16×16ピクセル(または2×2ブロック)の輝度およびその空間的に対応している8×8ピクセル(またはブロック)の色彩成分に関連する。1つのブロックは、輝度または色彩の8×8ピクセルに関連する。
ブロック層のデータは、一様に量子化された個々のコサイン変換係数から構成され、それらはジグザグに走査され、ランレングス・エンコーダで処理され、可変長符号で符号化されている。MPEG−2およびMPEG−4層の階層はH.263の階層と似ている。
【0014】
デフォルトによって、これらの規格は時間的予測のための基準として時間的に前のアンカー(I.EI、P、またはEP)画像を使用する。この一片の情報は伝送されない。すなわち、ビット・ストリームは基準画像の識別に関連する情報を含まない。結果として、デコーダは基準画像が失われたかどうかを検出するための手段を持たない。多くのトランスポート・コーダはビデオ・データをパケット化し、それらがそのパケットに付けられたシーケンス番号に関連するようにする。しかし、この種のシーケンス番号は、ビデオ・ビット・ストリームには関連付けられていない。たとえば、ビデオ・ビット・ストリームの1つのセクションは、P画像P1、B画像B2、P画像P3およびP画像P4がこの順序で捕捉された(そして表示される)データを含むことができる。しかし、ビデオ・ビット・ストリームのこのセクションは、P1、P3、B2、P4の順序で圧縮され、伝送され、復号化されることになる。何故なら、B2を符号化または復号化できる前にB2はP1およびP3を必要とするからである。1つの画像当たりに1つのパケットがあり、各パケットがシーケンス番号を含むと仮定する。さらに、B2を搬送しているパケットが失われていると仮定する。受信機はこの消失をパケットのシーケンス番号から検出することができる。しかし、受信機はP4に対する動きの補償基準画像が失われているかどうか、あるいはB画像が失われているかどうかを検出するための手段を備えていない。その場合、受信機は復号化を普通に継続することができる。
【0015】
したがって、デコーダは、普通はINTRA要求を送信機に送信し、その画像をディスプレイ上に凍結する。しかし、送信機はこの要求に応答することができない可能性がある。たとえば、非リアルタイムのビデオ・ストリーミングの用途においては、送信機はデコーダからのINTRA要求に応答することができない。したがって、デコーダは次のINTRAフレームが受信されるまでその画像を凍結する。ビデオ会議のようなリアルタイムの用途において、送信機は応答することができない可能性がある。たとえば、複数のパーティによる会議において、エンコーダは個々の要求に対応することができない場合がある。この場合も、デコーダは、INTRAフレームが送信機から出力されるまでその画像を凍結する。
【0016】
(発明の開示)
第1の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、符号化のために現在の画像を受信するステップと、現在の画像の時間的予測を現在の画像に対するデフォルト基準画像から形成するステップと、デフォルト基準画像を少なくとも1つの別の基準画像と比較するステップと、デフォルト基準画像と各別の基準画像との間の類似性の測度を計算するステップと、その類似性の測度が所定の基準を満たす場合に、その別の基準画像を識別する指示子を出力するステップと、その指示子を現在のフレームの時間的予測と関連付けるステップとを含む。
【0017】
エンコーダはこの指示子を使用して、どの画像が現在の動き補償基準画像とよく似ていて、伝送の間に実際の基準画像が失われた場合に、それらのうちの1つを予備基準画像として使用することができることをデコーダに知らせる。デコーダが実際の基準画像を失っているが、予備基準画像にアクセスすることができる場合、そのデコーダはINTRA画像更新要求を送信しないことが好ましい。その指示子は、どの基準画像がデフォルト基準画像に似ているかをデコーダに指示するので、予備基準画像番号と呼ぶことができる。この「予備」基準画像を使用して、デコーダは、何らかの理由のためにデフォルト基準画像が失われている場合に、現在のフレームを復号化することができる。
【0018】
予備基準画像番号は、画像全体または画像の一部分に関するものであってよい。前者の場合、通常、予備基準画像番号は画像ヘッダ内に含まれている。後者の場合、その予備基準画像番号は、画像セグメントのヘッダまたはその画像のマクロブロック・ヘッダ内に含まれている。本発明の1つの好適な実施形態においては、ビデオ信号はH.263規格に従って符号化され、その指示子は、「補助的エンハンスメント」(Supplemental Enhancement)情報の中に含められる。
【0019】
好適には、上記方法は、また、現在の画像に対する第1のデフォルト基準画像および第2のデフォルト基準画像から現在の画像の時間的予測を形成するステップを含み、前記第1のデフォルト基準画像は時間的に現在の画像の前に現れ、前記第2のデフォルト基準画像は時間的に現在の画像の後に現れ、上記方法は、さらに、第1のデフォルト基準画像を時間的に前記現在の画像の前に現れる少なくとも1つの別の基準画像と比較するステップと、第1のデフォルト基準画像と各別の基準画像との間の類似性の測度を計算するステップと、前記類似性の測度が所定の基準を満たす場合に、前記別の基準画像を識別する指示子を出力するステップとを含む。
【0020】
それ故、指示子は前方に予測されたフレームに対して提供され、後方に予測されたフレームには提供されない。
好適には、デフォルト基準画像は複数の別の基準画像と比較され、所定の基準を満たす各別の基準画像に指示子が出力される。有利なこととしては、所定の基準を満たす別の基準画像は類似性の順序でランク付けられ、その指示子にはランクの順序で現在のフレームの時間的予測に関連付けられ、デフォルト基準画像に最もよく似ている別の基準画像が最初に置かれる。その比較はある時点における画像の部分、たとえば、その画像のブロックまたは他の非四角形領域に対して実行されてもよい。
【0021】
第2の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、符号化のために現在の画像を受信するステップと、現在の画像に対するデフォルト基準画像から現在の画像の少なくとも一部分の予測を形成するステップと、デフォルト基準画像または現在の画像の一部分をそのシーケンスの少なくとも1つの別の画像の対応する部分と比較して類似性の測度を形成するステップと、類似性の測度が所定の基準を満たす場合に、現在のフレームのその部分に関してそのシーケンスの別の画像を識別する指示子を出力するステップとを含む。
【0022】
第3の態様によれば、本発明は、画像のシーケンスを表している符号化されたビデオ信号を復号化する方法を提供する。前記符号化された信号は、現在の画像に対するデフォルト基準画像から現在の画像の時間的予測を形成することによって符号化された画像を含み、前記方法は、現在の画像を表している符号化されたビデオ信号を受信するステップと、現在の画像の少なくとも画像ヘッダを復号化するステップとを含み、デコーダが現在の画像のデフォルト基準画像を復号化することができない時、別の基準画像を識別する指示子を調べるステップと、そのような指示子が現在の画像に関連付けられている場合に、前記別の基準画像を基準として現在の画像を復号化するステップとを含む。
【0023】
第4の態様によれば、本発明は、ビデオ・エンコーダを提供する。前記ビデオ・エンコーダは、画像のシーケンスを表しているビデオ信号を受信するための入力と、符号化のために現在の画像を受信するための入力と、現在の画像に対するデフォルト基準画像から現在の画像の時間的予測を形成するための予測コーダと、デフォルト基準画像または現在の画像を少なくとも1つの別の基準画像と比較し、類似性の測度を計算するためのコンパレータとを含み、類似性の測度が所定の基準を満たす時、前記別の基準画像を識別する指示子を出力する。
【0024】
第5の態様によれば、本発明は、ビデオ・デコーダを提供する。前記ビデオ・デコーダは画像のシーケンスを表している符号化されたビデオ信号を受信するための入力を含み、その符号化された信号は現在の画像に対するデフォルト基準画像から現在の画像の時間的予測を形成することによって符号化された画像を含み、さらに、デコーダは現在の画像を表している符号化されたビデオ信号を受信するための入力と、現在の画像の少なくとも画像ヘッダを復号化するためのプロセッサとを含み、デコーダが現在の画像のデフォルト基準画像を復号化することができない時、デコーダは別の基準画像を識別する指示子を調べ、上記指示子が現在の画像に関連付けられている場合に、前記別の基準画像を基準として現在の画像を復号化するように構成されている。
【0025】
本発明は、また、前記エンコーダおよび/またはデコーダを含む無線通信装置にも関する。
本発明を、添付の図面を参照しながら以下に記述するが、これは単なる例示としてのものにすぎない。
【0026】
(発明を実施するための最良の形態)
図1は、代表的なマルチメディア移動通信システムを示している。第1のマルチメディア移動端末1は、無線リンク3を経由して移動通信ネットワーク4に対して第2のマルチメディア移動端末2と通信する。制御データがマルチメディア・データと同様に、2つの端末1、2の間で送信される。
【0027】
図2は、端末1の代表的なマルチメディア構成部品を示している。前記端末は、ビデオ・コーデック10と、オーディオ・コーデック20と、データ・プロトコル・マネージャ30と、制御マネージャ40と、マルチプレクサ/デマルチプレクサ50と、モデム60(必要な場合)とを含む。ビデオ・コーデック10は、端末のビデオ捕捉装置(図示せず)(たとえば、カメラ)からの信号を符号化のために受信し、ディスプレイ70上で端末1において表示するためのリモート端末2からの信号を復号化するために受信する。オーディオ・コーデック20は端末1のマイクロホン(図示せず)からの信号を符号化のために受信し、端末1のラウドスピーカ(図示せず)によって再生するためのリモート端末2からの信号を復号化のために受信する。端末は、無線電話機のような携帯型無線通信装置であってよい。
【0028】
制御マネージャ40は、ビデオ・コーデック10、オーディオ・コーデック20およびデータ・プロトコル・マネージャ30の動作を制御する。しかし、本発明はビデオ・コーデック10の動作に関係しているので、オーディオ・コーデック20およびデータ・プロトコル・マネージャ30についてはこれ以上説明しない。
【0029】
図3は、本発明によるビデオ・コーデック10の一例を示している。
ビデオ・コーデックは、エンコーダ部分100と、デコーダ部分200とを含む。エンコーダ部分100は、端末1のカメラまたはビデオ・ソース(図示せず)からビデオ信号を受信するための入力101を含む。スイッチ102が、INTRAモードの符号化とINTERモードの符号化との間でエンコーダを切り換える。ビデオ・コーデック10のエンコーダ部分100は、DCT変換器103と、量子化器104と、逆量子化器108と、逆DCT変換器109と、加算器110と、複数の画像記憶装置107(詳細は図4参照)と、予測誤差を形成するための減算器106と、スイッチ113と、符号化制御マネージャ105とを含む。
【0030】
ビデオ・コーデック10のデコーダ部分200は、逆量子化器120と、逆DCT変換器121と、動き補償器122と、複数の画像記憶装置123と、コントローラ124とを含む。コントローラ124は符号化されたマルチメディア・ストリームからデマルチプレクサ50によって逆多重化されたビデオ・コーデック制御信号を受信する。実際には、エンコーダのコントローラ105と、デコーダのコントローラ124とは同じプロセッサであってよい。
【0031】
本発明によるエンコーダの動作が以下に記述される。ビデオ・コーデック10は符号化されるビデオ信号を受信する。ビデオ・コーデックのエンコーダ100はDCT変換、量子化および動き補償を実行することによって前記ビデオ信号を符号化する。符号化されたビデオ・データは、次にマルチプレクサ50に出力される。マルチプレクサ50は、ビデオ・コーデック10からのビデオ・データ、およびコントロール40からの制御データ(および、適当な他の信号)をマルチメディア信号に多重化する。端末1はこのマルチメディア信号をモデム60(必要な場合)経由で受信側の端末2に出力する。
【0032】
INTRAモードにおいては、入力101からのビデオ信号が、DCT変換器103によってDCT係数に変換される。次に、DCT係数が、その係数を量子化する量子化器104に渡される。スイッチ102および量子化器104は両方ともビデオ・コーデックの符号化制御マネージャ105によって制御される。また、符号化制御マネージャ105は、制御マネージャ40によって受信側の端末2からフィードバック制御を受信する。次に、復号化された画像が量子化器からのデータ出力を逆量子化器108を通して渡すことによって、そして逆量子化されたデータに対して逆DCT変換109を適用することによって形成される。次に、結果のデータが加算器110に入力される。INTRAモードにおいては、スイッチ113が、スイッチ113から加算器110への入力が0に設定されるように設定される。加算器110に対する2つの入力が一緒に加算され、その結果のデータが画像記憶装置107に入力される。
【0033】
INTERモードにおいては、入力101からの信号と画像記憶装置107内に格納されている基準画像との間の差を減算器106から受け入れるように操作される。減算器106から出力される差分データは、現在の画像と画像記憶装置107内に格納されている基準画像との間の予測誤差を表す。動き推定器111が、従来の方法で画像記憶装置107内のデータを基準にして動き補償データを生成することができる。
【0034】
符号化制御マネージャ105は、減算器106の出力または受信側のデコーダからのフィードバック制御データに対する応答のいずれかに基づいて、INTRAまたはINTER符号化を適用するかどうか、あるいはそのフレーム全体を符号化するかどうかを決定する。符号化制御マネージャは、現在のフレームと基準フレームとの間の類似性が非常に高いか、あるいはフレームを符号化するための時間がない場合、受信フレームを符号化しないように決定することができる。符号化制御マネージャはそれに従ってスイッチ102を操作する。
【0035】
フィードバック制御データに応答しない時、エンコーダは、通常、符号化の開始時(他のすべてのフレームがPである)または一定の周期、たとえば、5秒ごとのいずれかにおいて、あるいは減算器の出力から現在の画像と画像記憶装置107内に格納されている画像とがあまりにも違い過ぎると判断された時に、INTRAフレームとしてフレームを符号化するのが普通である。また、エンコーダは、たとえば、IBBPBBPBBPBBPBBIBBPなどの特定の規則的なシーケンスでフレームを符号化するようにプログラムすることもできる。
【0036】
ビデオ・コーデックは量子化されたDCT係数112aと、量子化インデックス112b(すなわち、使用されている量子化の詳細)と、実行される符号化のモード(IまたはP/B)を示すためのINTRA/INTERフラグ112cと、符号化されているフレームの数を示すための送信フラグ112dと、(INTERモードにおいては)符号化されている画像に対する動きベクトル112eとを示すための送信フラグ112dとを出力する。これらは他のマルチメディア信号と一緒にマルチプレクサ50によって多重化される。
【0037】
エンコーダ100が、ビデオ・コーデックのエンコーダ100の簡単な図を示す、図4を参照してさらに説明される。エンコーダ100は、複数の画像記憶装置107a〜107gを含む。この例においては7個の画像記憶装置が示されているが、画像記憶装置の数は2つ以上であってよい。
入力信号をIBBPBBPBBPBBPBBPBBPBBIなどのフォーマットで符号化するように構成されているエンコーダを考える。簡単にするため、エンコーダは入力信号のすべてのフレームを符号化する、すなわち、どのフレームもスキップされないと仮定する。これが図5に示されている。
【0038】
前に述べたように、フレームはビデオ捕捉装置から0、1、2、3、4、5、6などの順序で受信され、この順序で表示される。すなわち、復号化フレームはI0、B1、B2、P3、B4、B5、P6などの順序で表示される。しかし、ビデオのビット・ストリームは下記の順序、すなわち、I0、P3、B1、B2、P6、B4、B5などで圧縮され、送信され、復号化される。これは各Bフレームが符号化/復号化される前に、前の基準フレームおよび後続の基準フレームを必要とするからである。すなわち、フレームB1はそれが符号化/復号化される前に、フレームI0およびP3が符号化/復号化される必要がある。
【0039】
第1のフレームが受信される時、画像記憶装置107のすべてが空であり、スイッチ102は入力信号がINTRAフォーマットで符号化されるように符号化コントローラ105の制御下でINTRAモードに置かれている。入力信号がDCT変換および量子化される。これはマクロブロックについてマクロブロック・ベースで行われる。その結果の信号が次に逆量子化器108および逆DCT109によって復号化される。フレームがINTRA符号化されているので、スイッチ113は開いている。加算器110の出力が第1の画像記憶装置107aに入力される。この目的のために、スイッチ114aが閉じられ、一方、スイッチ114b〜gは開いている。それ故、フレーム記憶装置107aは基準画像I0の復号化バージョンを保持する。
【0040】
符号化されるべき次の画像はフレーム3であり、それはI0から前方に予測されるべきである。したがって、フレーム3が101において入力されると、スイッチ102がINTERモードに切り換えられ、最新の基準画像記憶装置の出力スイッチ115(すなわち、スイッチ115a)が閉じられ、画像記憶装置107aの動き補償された内容が入力信号から差し引かれ、動き補償されたデータが従来の方法で計算される。この予測誤差が次にDCT103および量子化器104によって符号化され、逆量子化器108およびIDCT109によって復号化される。次に、スイッチ113が閉じられ、スイッチ115aが閉じられ、スイッチ114bが閉じられる(他のスイッチ114および115は開いている)。それ故、加算器110は、復号化された画像を画像記憶装置107a内に格納されている画像に加算し、その結果を画像記憶装置107bに格納する。
【0041】
符号化される次のフレームはフレーム2であり、それはBフレームとして符号化される。それ故、フレーム記憶装置107aおよび107bの両方の内容が従来の方法で減算器106に対して利用できる。Bフレームは他のどのフレームに対する基準画像も形成しないので、符号化されたBフレームは復号化されず、基準画像記憶装置内に格納される。
それ故、上記の場合において、19フレームの後、フレーム記憶装置107aから107gまでが、フレームI0、P3、P6、P9、P12、P15およびP18の復号化バージョンをそれぞれ含む。
【0042】
本発明において、エンコーダがフレームを予測的な方法で符号化する時、符号化制御マネージャ105は、そのフレームを「予備基準画像番号」(SRPN)と関連付けることができる。たとえば、SRPNをビデオ信号のPフレームおよびBフレームと関連付けることができるが、Iフレームと関連付けることはできない。
エンコーダは、このメッセージを使用して、どの基準画像(または複数の基準画像)が現在の基準画像に似ているかをデコーダに知らせ、それらのうちの1つを、実際の基準画像が伝送の間に失われた場合に予備基準画像として使用することができるようにすることができる。
【0043】
フレーム3がフレーム0を基準として符号化される時、他の基準フレームは基準画像記憶装置107a〜gの中には格納されない。したがって、SRPNはフレーム3と関連付けられない。同様に、フレーム1および2がフレーム0および3を基準として双方向に符号化される時、基準画像記憶装置107a〜g内には他のフレームは保持されていない。したがって、SRPNはこれらのフレームのいずれにも関係付けられない。
【0044】
しかし、フレーム6がフレーム3(その復号化バージョンが画像記憶装置107b内に格納されている)から前方に予測される時、フレームI0の復号化されたコピーも画像記憶装置107a内にある。エンコーダは、現在のフレームのデフォルト基準画像(すなわち、フレーム6に対するフレーム3)と他の格納された画像記憶装置、すなわち、画像記憶装置107aの内容との間の類似性を計算する。2つの基準画像が十分によく似ていた場合(たとえば、フレーム記憶装置107aの内容と107bの内容との間の相関がしきい値以上であった場合)、エンコーダはSRPNをフレーム6に対するデータに関連付ける。そのSRPNは予備基準画像としてフレーム0を識別する。しかし、類似性が十分でなかった場合、SRPNはフレーム6に関連付けられない。
【0045】
類似性の測度を生成する方法は、本発明にとって重要ではなく、任意の適切な類似性の測度を使用することができる。たとえば、「差の絶対値の和」(SAD)を類似性の測度として使用することができる。好適には、SADの値は現在のフレームに対するデフォルト基準画像内の空間的に対応しているピクセルともう1つの「潜在的な」基準フレーム、すなわち、画像記憶装置107のうちの1つ内に格納されているフレームとの間の値の差を取ることによって計算される。各差の絶対値が得られ、その絶対値の差の値が累積されてSADを形成する。このように、デフォルト基準フレームと他の潜在的な基準フレームとの間の類似性をSADが表している。明らかに、2つの画像はそれらの間のSADがしきい値以下である時に十分に似ていると考えることができる。他の方法としては、現在の画像に対するデフォルト基準フレームと別の潜在的な基準フレームとの類似性を、画像のヒストグラムを使用して評価することができる。画像のヒストグラムは、所与の画像中のピクセル値の発生の回数の測度であり、2つの画像はそれぞれのヒストグラムの対応している度合が大きい場合に似ていると考えることができる。
【0046】
本発明の1つの代替実施形態においては、現在のフレームに対するデフォルト基準フレームと別の潜在的な基準フレームとの間の類似性を判定する代わりに、エンコーダは、画像記憶装置107の1つの中の利用できる別の潜在的な基準フレームと現在のフレームそのものとの間の類似性を調べる。本発明のこの代替実施形態においては、現在のフレームと潜在的な基準フレームとの間の許される最大の差を定義しているしきい値が設定される。それ故、現在のフレームと十分に高い類似性(小さい差)を示す任意の格納されたフレームを現在の画像に対する予備の基準フレームとして使用することができる。ふたたび、「差の絶対値の和」(SAD)、画像ヒストグラムまたは他の任意の適当な方法を使用して、現在のフレームと他の潜在的な基準フレームとの間の類似性/差を評価することができる。
【0047】
理解されるように、フレーム15が(Pフレームとして)符号化される時、フレーム0、3、6、9および12の復号化バージョンが、それぞれ画像記憶装置114a〜e内に保持されている。デフォルトによってフレーム15は画像記憶装置107e中に格納されているフレーム12を基準として符号化される。また、エンコーダは、画像記憶装置107e内のデータと画像記憶装置107a〜d内に格納されている他のデータとの間の相関の計算も実行する。エンコーダは、画像記憶装置107eの内容と相関が最も大きい、すなわち、符号化されている現在のフレームに対するデフォルト基準画像と相関が最も大きい画像記憶装置(したがって、基準画像)を識別する。次に、エンコーダは、その識別された基準画像を示す符号化されたデータにSRPNを追加する。このSRPNは以下に説明されるように、基準画像の時間的基準に等しくなる可能性がある。
【0048】
2つ以上のSRPNをフレームに関連付けることができる。この場合、SRPNは類似性の順序で画像ヘッダ内に順序付けられ、最もよく似ている基準画像(デフォルト以外の)が最初に配置されている。
符号化制御マネージャ105は、このSRPN符号語を出力112fにおいて出力し、それは符号化されたフレームと関連付けられた「予備基準画像番号」を示す。これはマルチプレクサによってビデオのビット・ストリームに多重化される。
【0049】
図5は、このエンコーダの第1の実施形態の動作を示している。図5の第1行は、捕捉入力装置から受信されたデータのフレームを表し、ビデオ・コーダに対して入力101において入力される。図5の第2行は、エンコーダが符号化することを決定する入力信号のフレームおよび各フレームを符号化するために使用される符号化モードを表す。前に述べたように、この例においては、エンコーダはすべてのフレームを符号化し、IBBP符号化フォーマットを使用するように構成されている。
【0050】
フレーム0はINTRAモードで符号化され;フレーム1はフレーム0および/または3を基準としてBフレームとして符号化され;フレーム2はフレーム0および/または3を基準としてBフレームとして符号化され;フレーム3はフレーム0を基準としてPフレームとして符号化され;フレーム4はフレーム3および/または6を基準としてBフレームとして符号化され;フレーム5はフレーム3および/または6を基準としてBフレームとして符号化され;フレーム6はフレーム3を基準としてPフレームとして符号化される。以下同様に符号化される。
【0051】
図5の第3行は、符号化された信号のフレームに関連付けられたSRPNフィールドを示している。この実施形態においては、SRPNは図5の第3行において示されているように、PフレームおよびBフレームに関連付けられている。符号化されたフレームのPフレームおよびBフレームは時間的に予測的に符号化され、Iフレームは符号化されない。
【0052】
図5の第4行は、符号化されたフレームの時間的基準(TR)を示している。これはH.263中に含まれる1つのフィールドであり、TRの値は時間的に前の基準画像ヘッダ内のその値を、前に送信された基準画像からスキップされたか、あるいは基準でない画像の数に1を足した値でインクリメントすることによって形成される。それ故、図5に示されている例においては、各フレームに対して示されているTRは101に対する元の信号入力内のフレームの元の時間的順序と同じになっている。
【0053】
SRPNの可能な値の例が示されている。これらの値は、上記のように、エンコーダによって識別された予備基準フレームのTRを示している。この例は以前に符号化された各画像に対して1つだけのSRPNを示しているが、以前に説明したように、2つ以上のSRPNを以前に符号化された各画像に関連付けることができる。
【0054】
図6は、本発明によるエンコーダの第2の実施形態の動作を示している。この実施形態においては、エンコーダは規則的なシーケンスIBBPBBPBBPBBIBBPBBPに従ってフレームを符号化するように構成されている。しかし、この実施形態においては、SRPNは前方に予測されたフレーム(すなわち、Pフレーム)だけに関連付けられている。
【0055】
図6の最初の行は、入力のフレームを示しており、第2行は符号化されたフレームおよびそれぞれの符号化モード、I、PまたはBを示している。
図6の第3行は、Pフレームに関連付けられたSRPNを示している。これらは、図4を参照して上で説明したように生成することができる。
図6の第4行は、符号化されたフレームの時間的基準(TR)を示している。図5に示された例の場合のように、各フレームに対して示されているTRは、101に対する元の信号入力内のフレームの元の時間的順序と同じである。
【0056】
端末1が端末2からの符号化されたビデオ・データを受信していると考えて、ビデオ・コーデック10の動作が、その復号化の役割に関して以下に説明される。端末1は、送信端末2からマルチメディア信号を受信する。デマルチプレクサ50が、そのマルチメディア信号を逆多重化し、そのビデオ・データをビデオ・コーデック10に渡し、制御データを制御マネージャ40に渡す。ビデオ・コーデックのデコーダ200は、そのデータを逆量子化し、逆DCT変換し、そして動き補償することによって、その符号化されたビデオ・データを復号化する。デコーダのコントローラ124は、受信されたデータの完全性をチェックし、誤りが検出された場合、前に説明された方法でその誤りを隠蔽しようとする。次にその復号化され、補償され、隠蔽されたビデオ・データが、画像記憶装置123の1つの中に格納され、受信端末1のディスプレイ70上で再生するために出力される。
【0057】
ビデオ・データにおける誤りは、画像レベル、GOBレベルまたはマクロブロック・レベルにおいて発生する場合がある。誤りチェックをこれらのレベルのいずれか、またはそれぞれにおいて実行することができる。
最初に図5に示されているような信号を考え、本発明によるデコーダが、この信号を受信すると、その信号の各信号フレームが、従来の方法で復号化されてからディスプレイ手段上で表示されると考える。復号化フレームは誤りが隠蔽されていて、誤りが従来の方法で符号化されている可能性がある。フレームが復号化されるたびに、デコーダはTRフィールドを調べて、そのフレームが表示される時期を決定する。
【0058】
図5に示されているケースにおいては、デコーダはフレーム0を受信し、その画像ヘッダからそのフレームがINTRA符号化されていると判定する。デコーダは、他のどの画像も参照せずにフレーム0を復号化し、それを画像記憶装置123a内に格納する。次に、デコーダは、フレーム3を受信し、その画像ヘッダからそのフレームがPフレームとしてINTER符号化されていることを判定する。したがって、デコーダは、前の基準フレーム0を基準としてフレーム3を復号化し、それを次の画像記憶装置123bに格納する。次に、デコーダは、フレーム0および3を基準としてフレーム1および2を復号化する。以下同様に続く。これらのフレームは画像記憶装置123には格納されない。何故なら、B画像と同様に、それらは他の任意のフレームに対する基準フレームとしては使用されないからである。
【0059】
ここで、デコーダが、フレーム9を復号化することができない(それ故、再構成することができない)と仮定する(これはフレーム9のデータが大きく破損しているか、または全て失われているために起こる)。デコーダによって受信される次のフレームはフレーム7であり、それはTR=7、SRPN=0である。フレーム9(フレーム7に対するデフォルト基準画像の1つ)は、デコーダによって復号化されなかったので、デコーダは後方予測に対する受信されたフレームのヘッダ内のSRPNを探す。しかし、フレーム7は後方向においてSRPNを含まない。したがって、デコーダはフレーム7を復号化することができない。これは、またフレーム8に対するケースでもある。
【0060】
受信される次のフレームはフレーム12であり、それは画像9を基準として符号化されたものであり、SRPN=6になっている。フレーム9が復号化されなかったので、デコーダはSRPNによって示されている基準画像(すなわち、画像記憶装置123cの中に格納されているフレーム6)を使用してフレーム12を復号化する。次に、デコーダはフレーム10を受信し、それはフレーム9および12を基準として符号化されたものであった。フレーム9はデコーダによって復号化されなかった。しかし、フレーム10は、SRPN=6になっている。したがって、デコーダは、フレーム7ではなく画像記憶装置123c内に格納されている復号化された基準フレーム6を使用し、前方においてフレーム10を復号化する。これはフレーム11の場合も同じである。
【0061】
デコーダは、基準フレームの省略をいくつかの方法で検出することができる。たとえば、各符号化されたフレームの時間的順序に関連している情報を調べることができる。他の方法としては、符号化された信号の基準フレームに、同じ日付で出願された英国特許出願の中に記述されているような順序で番号を割り当てることができる。
【0062】
デコーダが、制御フィードバック・データを送信ビデオ・エンコーダに送信する機能を有している場合、そのデコーダは送信側のビデオ・エンコーダに要求を送信し、フレームをINTRAフレームとして符号化し、したがって、フレーム10および11がフレーム6を基準として復号化されることの結果として生じることになる時間的な誤り伝播を停止させることができる。デコーダは信号を従来の方法で復号化し続ける。
【0063】
デコーダが、INTRAフレームであるフレーム21を受信すると、デコーダは、他のどのフレームも参照せずにフレーム21を復号化し、その復号化フレームを画像記憶装置123に格納する。次に、デコーダはフレーム18および21を基準としてフレーム19および20を復号化する。フレーム9ではなく、フレーム6を基準としてフレーム12を復号化することによって、フレーム18に対して、ある程度の誤りが入り込んだ可能性があるが、その結果の画像は満足できるものであり、表示される画像は、INTRA画像が受信されるまで凍結状態に保たれない。これは見る人により喜ばれるだろう。
【0064】
ここで図6に示されているような信号を考え、本発明によるデコーダが、この信号を受信すると、その信号の各フレームが、従来の方法で復号化されてからディスプレイ手段上で表示されると考える。復号化フレームは、誤り訂正および誤り隠蔽が従来の方法で行われている可能性がある。フレームが復号化されるたびに、デコーダはそのTRフィールドを調べてそのフレームをいつ表示するかを決定する。
【0065】
デコーダは、INTRAフレームであるフレーム0を受信し、それをそれに従って復号化し、画像記憶装置123aに格納する。ここでデコーダがフレーム3を再構成することができず(これはそのデータが大幅に破損しているか、あるいは全て失われているために発生する)、そしてデコーダによって受信されて復号化される次のフレームがフレーム1であると仮定する。フレーム1は、フレーム0および3を基準として符号化された双方向フレームである。フレーム3が失われているので、デコーダはフレーム1を再構成することができず、同様にフレーム2を再構成することができない。Bフレーム1および2が失われているという事実はデコーダに影響しない。何故なら、Bフレームは他のどのフレームに対しても基準画像を形成せず、それ故、その消失は時間的な誤り伝播を導入しないからである。デコーダは、その信号を通常の方法で復号化し続ける。
【0066】
デコーダによって受信されて復号化される次のフレームはフレーム6である。デコーダは、前の基準画像P3が失われていること(デコーダがフレーム1または2を復号化することができなかったので)を知っている。したがって、デコーダは、SRPNを求めて受信されたフレームのヘッダを調べる。デコーダは、フレーム6がSRPN=0であることを知り、したがって、画像記憶装置123a内のフレーム0を使用してフレーム6を復号化する。
【0067】
デコーダが、送信側のビデオ・エンコーダに制御フィードバック・データを送信する機能を備えている場合、そのデコーダは、送信側のビデオ・エンコーダに対してINTRAフレームとしてフレームを符号化するよう要求を送信し、デフォルト・フレーム3ではなく、フレーム0を基準として復号化されたフレーム6を基準として後続のフレームが復号化されることの結果として生じる時間的な誤り伝播を停止させることができる。しかし、デコーダは復号化を継続することができ、それがINTRA符号化されたフレームを待っている間、ディスプレイ上でその画像を凍結しない。
【0068】
予備基準画像番号を符号化された信号内に含めることができる方法を、H.263ビデオ符号化規格を参照して以下に説明する。
図7は、H.263に従う、周知のビット・ストリーム構文を示している。以下の実施形態は、GOBフォーマットを記述するが、本発明は、スライス・フォーマットで実施することもできることは当業者にとって明らかである。
既に述べたように、ビット・ストリームは4つの層を備えている。それらは画像層、画像セグメント層、マクロブロック層およびブロック層である。画像層は、画像ヘッダの後にブロックのグループに対するデータが続き、結果としてその次にオプションの「シーケンスの終り」符号およびスタッフビットが続く。
従来技術のH.263のビット・ストリームは、図7に示されているようにフォーマット化されている。各部分に対する記述子が以下に与えられる。
【0069】
【表1】
【0070】
図7に示されているような構造は、オプションのPLUSTYPEデータ・フィールドを含まない。PSBIは、CPMによって示されている場合にのみ存在する。TRBおよびDBQUANTは、PTYPEがいわゆるPBフレーム・モードの仕様を示している場合にのみ存在する(PLUSTYPEフィールドが存在してDBQUANTの使用がその中で示されていない限り)。これらの事項はH.263の仕様書の中でより詳しく扱われている。
【0071】
次のパラグラフでは、本発明の第1の態様によるエンコーダによって出力されるビット・ストリームの可能な実施形態を概説する。
予備基準画像番号をH.263のビット・ストリーム中に、以下のように組み込むことができる。図8は、本発明の第1の実施形態によるエンコーダから出力されるビット・ストリームの一例を示している。図8に示されているように、そのビット・ストリームは、「予備基準画像番号」を示す符号語であるさらに1つの符号語SRPNを含む。これは上記のように、本発明によるエンコーダによって挿入される。
【0072】
他の方法としては、SRPNは、「補助的エンハンスメント情報」PSUPP(H.263の付録および図5参照)に含めることができる。この補助的情報は、そのデコーダがそれを使用するための強化機能を提供することができない場合であっても、あるいはそれを正しく解釈することができない場合であっても、ビット・ストリーム中に存在することができる。この補助的情報を単純に捨てることは、要求された機能を提供するための条件が外部手段によってネゴシエートされていない限り、デコーダによって許される。
PEIが「1」に設定されている場合、8ビットのデータ(PSUPP)および、次に更なる9個のビットが続くかどうかを示すための別のPEIビットから構成されている9個のビットが続く。
【0073】
PSUPPデータは、4ビットの機能タイプ指示FTYPEと、その次に4ビットのパラメータ・データ・サイズ仕様DSIZEが続き、その後にファンクション・パラメータ・データのDSIZEのオクテットが続き、オプションとして別のFTYPEが続くように構成されている。このPSUPP符号語を使用して各種の状況を知らせることは周知である。たとえば、PSUPPはサイズ変更あり/なしで画像全体または部分的な画像の凍結または凍結−解放要求を示すため;外部使用のためにビデオ・ストリーム中の画像の特定の画像または画像のシーケンスにタグを付けるため;あるいは、ビデオ・コンポジットのための色彩キー情報を伝えるために使用される。
「補助的エンハンスメント」情報を使用して本発明を実施するために、さらに1つのFTYPEが「予備基準画像番号」として定義されている。
【0074】
図9は、パラメータSRPNが画像ヘッダのSEIの中に含められている例を示している。FTYPEはSRPNとして定義される。DSIZEはそのパラメータのサイズを規定し、それに続くオクテットはパラメータ・データ、すなわち、SRPNの値である。この値から、受信側のデコーダはメインの基準画像が失われたか、あるいは破損した場合に使用できる予備基準画像が定義されているかどうかを判定することができる。
【0075】
他の方法としては、その情報を“Draft of new Annex W:Additional Supplementary Enhancement Information Specification”(新しい付録Wの草案:追加の補助的エンハンスメント情報の仕様)P.ニング(Ning)およびS.ウエンガ(Wenger),ITU−T Study Group 16 Question 15 Document Q15−I−58,November 1999の中で規定されているような、追加の「補助的エンハンスメント」情報の中に含めることができる。
【0076】
付録Wに対するこの草案の提案において、FTYPE14が「画像メッセージ」として定義されている。このFTYPEが設定されていると、画像メッセージ機能が、メッセージ・データを表している1つまたはそれ以上のオクテットの存在を示す。そのメッセージ・データの最初のオクテットは、図10に示されている構造のメッセージ・ヘッダ、すなわち、CONT、EBITおよびMTYPEである。DSIZEは、最初のオクテット・メッセージ・ヘッダを含む画像メッセージ機能に対応しているメッセージ・データ中のオクテットの数に等しい。
【0077】
継続フィールドCONTは、1に等しい場合、その画像メッセージに関連付けられているメッセージ・データが、次の画像メッセージ機能に関連付けられているメッセージ・データと同じ論理メッセージの部分であることを示している。「終りのビット位置」フィールドEBITは、最後のメッセージ・オクテットの中で無視される下位ビットの数を規定する。これらのフィールドの詳細は、付録Wの中に記載されている。
【0078】
フィールドMTYPEはメッセージのタイプを示す。各種のタイプのメッセージが付録Wの草案の中で提案されている。本発明によれば、1つのタイプ、たとえば、MTYPE13が「予備基準画像」として定義されている。MTYPE13の値はメッセージ・ヘッダに続いているオクテットの中で定義されている。メッセージ・データのバイトは、好みの順序で予備基準画像の「画像番号」を含む(最も好ましいものが最初に現れる)。「画像番号」は、付録Uまたは付録WのセクションW.6.3.12に従って送信される値を指す。付録Wによるメッセージ・フォーマットをP、B、PB、改善されたPB、およびEPの画像タイプに対して使用することができる。しかし、付録Nまたは付録Uが使用されていて、その画像が複数の基準画像と関連付けられている場合、付録Wによるメッセージ・フォーマットは使用されないことが好ましい。EP画像の場合、そのメッセージは、好適には、前方予測のためだけに使用されるべきである。一方、上方向の予測は時間的に対応している基準層の画像から常に行うことができる。B、PBおよび改善されたPBの画像タイプに対して、メッセージは前方の動き予測基準として使用するための画像を規定する。このメッセージは、その画像がIまたはEIの画像である場合には使用されるべきではない。
【0079】
1つの予備基準画像が示されて、そのSRPNが10ビットで表されている特定の例において、このメッセージは1つのデータ・タイプ、すなわち、DSIZEが3、CONTが0、EBITが6であるデータ・バイトを含む。DSIZE、CONTおよびEBITの値は、示されている予備基準画像の数およびその予備基準画像番号が表される精度(ビットの数)によって変化することを理解されたい。2つ以上の予備基準画像番号が示されている場合、そのメッセージ・データ・タイプは好みの順序で(最も好ましいものが最初に現れる)で予備基準画像の「予備基準画像番号」を含むことが好ましい。
【0080】
上記説明は、双方向に予測された画像(B画像)を符号化する、符号化されたビデオ・ストリームに関して行われてきた。前に述べたように、B画像は基準画像としては決して使用されない。それ以降の画像の画像品質に影響を及ぼさずにB画像を捨てることができるので、それらは時間的なスケーラビリティを提供する。スケーラビリティによって2つ以上の品質レベルにおいて圧縮されたビデオ・シーケンスの復号化が可能である。言い換えれば、スケーラブルなマルチメディア・クリップを圧縮し、それを異なるデータ・レートでチャネル上でストリーム化し、リアルタイムで復号化して再生できるようにすることができる。
【0081】
それ故、ビデオ・ストリームを異なるデコーダによって異なる方法で復号化することができる。たとえば、デコーダは、そのデコーダが達成できる復号化の最大レートである場合に、信号のIおよびP画像だけを復号化するように決定することができる。しかし、デコーダがその容量を有している場合、それはB画像も復号化することができ、したがって、画像の表示レートを増加させることができる。したがって、表示された画像の認識される画像品質が、IおよびPの画像だけを復号化するデコーダ上で改善される。
【0082】
スケーラブルなマルチメディアは、通常、データの階層的な層があるように順序付けられている。ベース層は、そのマルチメディア・クリップの基本的な表示を含み、一方、エンハンスメント層はその下にある層のトップにリファインメント・データを含む。結果として、エンハンスメント層はそのクリップの品質を改善する。
スケーラビリティは異種混合の、そして誤りが発生しやすい環境に対して望ましい性質である。この性質は、制限事項、たとえば、ビット・レート、ディスプレイの分解能、ネットワークのスループット、およびデコーダの複雑度における制約に対処するために望ましい。
【0083】
階層型の符号化が、トランスポートの優先順位付けと組み合わされているトランスポート・システムにおいて、誤りからの復元能力を改善するために、スケーラビリティを使用することができる。トランスポートの優先順位付けは、ここではトランスポートにおける異なるサービスの品質、たとえば、不平等な誤り保護を提供するため、誤り/消失レートが異なる、異なるチャネルを提供するための各種のメカニズムを指す。それらの性質に依存して、データが異なって割り当てられている。たとえば、ベース層は誤り保護が高度であるチャネルを通じて配送することができ、そしてエンハンスメント層は比較的誤りが起きやすいチャネルを通して送信することができる。
【0084】
一般に、スケーラブルなマルチメディア符号化は非スケーラブルな符号化より圧縮効率が悪い。言い換えれば、エンハンスメント層を伴ってスケーラブルなマルチメディア・クリップとして符号化されたマルチメディア・クリップは、それが平等な品質の非スケーラブルな単独層のクリップとして符号化された場合より大きなバンド幅を必要とする。しかし、この一般的な規則に対する例外が存在する。たとえば、ビデオ圧縮における時間的にスケーラブルなBフレームがその例外である。
【0085】
本発明は、他のスケーラブルなビデオ圧縮システムに適用することができる。たとえば、H.263の付録Oにおいて、2つの他の形式のスケーラビリティが定義されている。それらは信号対雑音(SNR)のスケーラビリティおよび空間的スケーラビリティである。
空間的スケーラビリティおよびSNRのスケーラビリティは密接に関連付けられており、その唯一の違いは空間的スケーラビリティによって提供される増強された空間分解能である。SNRスケーラブルな画像の一例が図11に示されている。SNRのスケーラビリティはマルチ・レートのビット・ストリームの生成を含む。それによって符号化誤り、または元の画像とその再構成画像との間の違いの回復が可能である。これはより細かい量子化器を使用してエンハンスメント層において異なる画像を符号化することによって達成される。この追加の情報によって再構成された画像の総合的なSNRが増加する。
【0086】
空間的スケーラビリティによって、各種のディスプレイ条件および/または制約を満たすために複数分解能のビット・ストリームを生成することができる。空間的にスケーラブルな構造が図12に示されている。それはSNRのスケーラビリティと本質的に同じであるが、空間的エンハンスメント層は再構成された基準層画像のアップサンプルされたバージョンと元の画像のより高い分解能のバージョンとの間の符号化消失を回復しようとする。たとえば、その基準層が4分の1共通中間フォーマット(QCIF)の分解能を備えていて、エンハンスメント層が共通中間フォーマット(CIF)分解能を備えている場合、その基準層の画像はそれに従ってスケールされ、エンハンスメント層の画像をそれから予測できるようにしなければならない。QCIF規格において、垂直方向のみ、水平方向のみ、あるいは垂直および水平の両方の方向において単独のエンハンスメント層に対して分解能を2倍増加させることができる。複数のエンハンスメント層があって、それぞれが前の層の画像分解能を増加させるようにすることができる。基準層の画像をアップサンプルするために使用される補間フィルタがH.263規格において明示的に定義されている。エンハンスメント層に対する基準からのアップサンプリング・プロセスはさておき、空間的にスケールされた画像の処理および構文はSNRスケール型の画像の場合と同じである。
【0087】
SNRまたは空間的のスケーラビリティのいずれにおいても、エンハンスメント層の画像はEIまたはEP画像と呼ばれる。エンハンスメント層の画像が基準層における画像から上方に予測される場合、そのエンハンスメント層の画像はエンハンスメント−I(EI)画像と呼ばれる。このタイプのスケーラビリティにおいて、基準層は現在のエンハンスメント層の「下の」層を意味する。いくつかのケースにおいては、基準層の画像の予測が不完全であると、その画像の静的な部分の過剰符号化がエンハンスメント層において発生する可能性があり、不必要に過剰なビット・レートを生じる可能性がある。この問題を避けるために、エンハンスメント層においては前方の予測が許される。前のエンハンスメント層の画像から前方に予測することができるか、あるいは代わりに、基準層の画像から上方向に予測することができる画像はエンハンスメント−P(EP)画像と呼ばれる。上方向および前方に予測された画像の平均を計算することによって、EP画像に対する双方向の予測を提供することができることに留意されたい。EIおよびEPの画像の両方に対して、基準層の画像からの上方向の予測は、動きベクトルが不要であることを意味する。EP画像に対する前方予測の場合、動きベクトルが必要である。
【0088】
SRPNフィールドをP、PB、改善されたPB、およびエンハンスメント層(EP)の画像と関連付けることができる。PBおよび改善されたPBフレームの特性がH.263の付録Gおよび付録Mにそれぞれ記述されている。
しかし、付録Nまたは付録Uが使用されていて、その画像に複数の基準画像が関連付けられている場合、SRPNは使用されない。PBおよび改善されたPBの画像の場合、通常、メッセージはP部分だけに関係する。EP画像の場合、そのメッセージは前方に対して使用され、一方、上方向の予測は時間的に対応している基準層の画像から行われる。このメッセージは、その画像がI、EIまたはB画像である場合には使用されないことが好ましい。
【0089】
エンコーダが複数層の符号化(たとえば、H.263の付録Oにおいて説明されているような)が可能である場合、各層は連続した予備基準画像番号を持っている。これらを現在の画像のエンハンスメント層番号(ELNUM)と関連付けることができる。「予備基準画像番号」は、同じエンハンスメント層の中の以前に符号化された基準画像の対応している番号から1だけインクリメントされている。しかし、同じエンハンスメント層の中の隣接している画像が同じ時間的基準を有していて、H.263の付録Nまたは付録Uが使用されている場合、そのデコーダはこれをほぼ同じ画像のシーンの内容の冗長なコピーが送られたこと、そしてこれらの画像のすべてがその時同じ「画像番号」を共有していることの指示とみなすことが好ましい。
【0090】
本発明の1つの実施形態によれば、現在の画像の規定された四角形の領域に対してSRPNを示すことができることにも留意されたい。1つの画像に対して複数のメッセージがある可能性があり、それぞれが現在の画像のオーバラップしていない四角形の領域に対してSRPNを指定している場合がある。そのメッセージが画像のいくつかの領域に対してSRPNを指定していない場合、デコーダは誤り隠蔽を使用し、それらが予測された元の対応している基準フレーム(またはその領域)を復号化できない場合にそれらの領域における誤りを隠すことができる。この状況においては、デコーダは画像のタイプに対応する隠蔽方法を使用することが好ましい。すなわち、INTRA画像に対してはINTRA誤り隠蔽法が使用され、INTER画像に対してはINTER誤り隠蔽法が使用される。
【0091】
現在の画像の異なる領域に対して、SRPN値が提供されている上記の状況の1つの特定の例を以下に説明する。各SRPNメッセージは、1つのSRPNおよびその画像の規定された四角形の領域の左上隅の水平および垂直の位置を含む4つのPSUPPオクテットと、それぞれ8ビットを使用して16ピクセルの単位で表現されている四角形の領域の幅および高さ(明るい画像の)とを含む。たとえば、この決まりを使用し、QCIF画像全体が4つのパラメータ(0,0,11,9)によって規定される。
【0092】
幅および高さが16で割り切れない画像フォーマットの場合、16で割り切れる次のより大きいサイズまで、その規定された領域を拡張することができる。たとえば、160×120ピクセルのサイズの画像全体が4つのパラメータ(0,0,10,8)によって規定される。その規定された領域は、同じ画像の他の規定された誤り隠蔽領域と境界が交差しないか、あるいはオーバラップしないことが好ましい。
【0093】
本発明は、他のビデオ符号化プロトコルで実施することもできる。たとえば、MPEG−4は、任意のバイナリ・データを含み、画像と必ずしも関連付けられていない、いわゆるユーザ・データを提示している。これらのフィールドに対してフィールドを追加することができる。
本発明は、上記ビデオ符号化プロトコルに限定されることを意図しているものではない。これらは単に例示としてのものに過ぎない。本発明は、時間的予測を使用した任意のビデオ符号化プロトコルに対して適用することができる。上記のように情報を追加することによって、受信側のデコーダが、画像が失われた場合に最善のアクションの理由を決定することができる。
【図面の簡単な説明】
【図1】 マルチメディア移動通信システムを示す。
【図2】 マルチメディア端末のマルチメディア構成部品の一例を示す。
【図3】 ビデオ・コーデックの一例を示す。
【図4】 本発明によるビデオ・エンコーダのより詳しい図を示す。
【図5】 本発明によるビデオ・エンコーダの第1の実施形態の動作を示す。
【図6】 本発明によるビデオ・エンコーダの第2の実施形態の動作を示す。
【図7】 H.263により周知のビット・ストリームの構文を示す。
【図8】 本発明によるエンコーダからのビット・ストリーム出力の第1の例を示す。
【図9】 本発明によるエンコーダからのビット・ストリーム出力の第2の例を示す。
【図10】 本発明によるエンコーダからのビット・ストリーム出力の第3の例を示す。
【図11】 SNRスケーラビリティのためにビデオ符号化において使用されるエンハンスメント層を示す。
【図12】 空間的スケーラビリティのためにビデオ符号化において使用されるエンハンスメント層を示す。
Claims (85)
- 画像のシーケンスを表しているビデオ信号を符号化して符号化ビデオ信号を生成するための方法であって、前記方法が、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するステップと、
前記局所デフォルト基準画像に基づいて前記シーケンスの現在の画像または前記現在の画像の部分に対する動き補償予測を形成するステップと、
前記現在の画像または前記現在の画像の各部分に対する指示子を生成するステップであって、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記局所デフォルト基準画像に十分類似している代替可能な基準画像を識別するものであり、
前記対応する復号化処理中に使用する前記指示子を提供するステップとを含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記局所デフォルト基準画像を別の基準画像と比較して前記2つの画像の間の類似性の測度を計算することにより、前記現在の画像または前記現在の画像の前記各部分に対する前記代替可能な基準画像を識別するステップと、
前記類似性の測度を所定の類似性基準と比較するステップと、
前記比較に基づいて前記指示子を生成するステップとを含むことを特徴とする方法。 - 請求項1に記載の方法において、
第1の局所デフォルト基準画像および第2の局所デフォルト基準画像から前記現在の画像の少なくとも部分の動き補償予測を形成するステップであって、前記第1の局所デフォルト基準画像が、時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応し、前記第2の局所デフォルト基準画像が、時間的に前記現在の画像の後に発生する前記シーケンスの画像に対応するステップと、
前記第1の局所デフォルト基準画像を時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応する別の基準画像と比較して前記2つの画像の間の類似性の測度を計算するステップと、
前記類似性の測度を所定の類似性基準と比較するステップと、
前記比較に基づいて前記指示子を生成するステップとを含むことを特徴とする方法。 - 請求項2に記載の方法において、
前記局所デフォルト基準画像を複数の別の基準画像と比較して類似性の各測度を計算することにより、前記現在の画像または前記現在の画像の前記各部分に対する2つ以上の代替可能な基準画像を識別するステップと、
前記現在の画像または前記現在の画像の前記各部分に対して2つ以上の指示子を提供するために、所定の類似性の基準を満たす各別の基準画像に対する指示子を提供するステップと
を含むことを特徴とする方法。 - 請求項4に記載の方法において、前記比較に基づいて前記別の基準画像をランク付けするステップと、前記現在の画像または前記現在の画像の前記各部分に対して前記2つ以上の指示子をランク順に提供するステップとを含み、前記別の基準画像に関連する前記指示子は、前記局所デフォルト基準画像に最もよく似ているものが前記ランク順で最初に置かれていることを特徴とする方法。
- 請求項1に記載の方法において、前記指示子を前記符号化されたビデオ信号の画像ヘッダ内に提供するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、前記指示子が前記現在の画像の部分に関連付けられている場合に、前記指示子を前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかに提供するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、画像の前記シーケンスをH.263ビデオ圧縮規格に従って符号化するステップと、前記指示子を前記H.263ビデオ圧縮規格に従って「補助的エンハンスメント情報」の中に提供するステップとを含むことを特徴とする方法。
- 請求項1に記載の方法において、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを示す前記指示子を生成するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、B画像およびP画像に対して対応する代替可能な基準画像を示す各指示子を提供するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、P画像のみに対して代替可能な基準画像を示す指示子を提供するステップを含むことを特徴とする方法。
- 請求項2に記載の方法において、前記類似性の測度を、前記局所デフォルト基準画像と前記別の基準画像との間のピクセル値の違いを利用して絶対差の合計として計算するステップを含むことを特徴とする方法。
- 請求項2に記載の方法において、画像ヒストグラムを利用して、前記局所デフォルト基準画像と前記別の基準画像との間の前記類似性の測度を計算するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、前記ビデオ信号をスケーラブルに符号化するステップと、前記スケーラブルに符号化されたビデオ信号の予測的に符号化されたエンハンスメント層の画像に対して対応する代替可能な基準画像を示す各指示子を提供するステップとを含むことを特徴とする方法。
- 請求項1に記載の方法において、前記現在の画像または前記現在の画像の前記各部分とともに前記指示子を提供するステップを含むことを特徴とする方法。
- 画像のシーケンスを表している符号化されたビデオ信号を復号化するための方法であって、前記方法が、
現在の画像または前記現在の画像の部分に対する動き補償予測の形成に使用するデフォルト基準画像を再構成することができないと判断するステップと、
前記現在の画像または前記現在の画像の各部分に提供される指示子を調べ、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する代替可能な基準画像を識別するステップと、
前記デフォルト基準画像を再構成することができないと判断した場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測を形成するために、前記代替可能な基準画像を使用するステップとを含むことを特徴とする方法。 - 請求項16に記載の方法において、
前記現在の画像または前記現在の画像の前記各部分に提供される2つ以上の指示子のランク順を調べるステップと、
前記ランク順に基づいて指示子を選択するステップと、
前記現在の画像または現在の画像の前記各部分に対する動き補償予測を形成するために選択された前記指示子が識別した前記代替可能な基準画像を使用するステップとを含むことを特徴とする方法。 - 請求項16に記載の方法において、前記符号化されたビデオ信号の画像ヘッダから前記指示子を取得するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかから前記指示子を取得するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、H.263ビデオ圧縮規格に従って符号化されたビデオ信号の「補助的エンハンスメント情報」から前記指示子を取得するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを識別する前記指示子を使用するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、B画像およびP画像に対する対応する代替可能な基準画像を識別する各指示子を使用するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、スケーラブルに符号化されたビデオ信号の予測的に符号化されたエンハンスメント層の画像に対する対応する代替可能な基準画像を識別する各指示子を使用するステップを含むことを特徴とする方法。
- ビデオ信号を符号化して符号化ビデオ信号を生成するためのエンコーダであって、前記ビデオ信号が画像のシーケンスを表し、前記エンコーダが、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するように構成され、
前記局所デフォルト基準画像を使用して前記シーケンスの現在の画像または前記現在の画像の部分に対する動き補償予測を形成するように構成され、
前記現在の画像または前記現在の画像の各部分に対する指示子を生成するように構成され、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記局所デフォルト基準画像に十分類似している代替可能な基準画像を識別し、
また、前記対応する復号化処理中に使用する前記指示子を提供するように構成されたことを特徴とするエンコーダ。 - 請求項24に記載のエンコーダであって、前記エンコーダが、
前記局所デフォルト基準画像を別の基準画像と比較して前記2つの画像の間の類似性の測度を計算することにより、前記現在の画像または前記現在の画像の前記各部分に対する前記代替可能な基準画像を識別するように構成され、
前記類似性の測度を所定の類似性基準と比較するように構成され、
前記比較に基づいて前記指示子を生成するように構成されたことを特徴とするエンコーダ。 - 請求項24に記載のエンコーダであって、前記エンコーダが、
第1の局所デフォルト基準画像および第2の局所デフォルト基準画像から前記現在の画像の少なくとも部分に対する動き補償予測を形成するように構成され、前記第1の局所デフォルト基準画像が時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応し、前記第2の局所デフォルト基準画像が時間的に前記現在の画像の後に発生する前記シーケンスの画像に対応し、
前記第1の局所デフォルト基準画像を時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応する別の基準画像と比較して前記2つの画像の間の類似性の測度を計算するように構成され、
前記類似性の測度を所定の類似性基準と比較するように構成され、
前記比較に基づいて前記指示子を生成するように構成されたことを特徴とするエンコーダ。 - 請求項25に記載のエンコーダであって、前記エンコーダが、
前記局所デフォルト基準画像を複数の別の基準画像と比較して類似性の各測度を計算することによって、前記現在の画像または前記現在の画像の前記各部分に対する2つ以上の代替可能な基準画像を識別するように構成され、
前記現在の画像または前記現在の画像の前記各部分に対して2つ以上の指示子を提供するために、所定の類似性基準を満たす各別の基準画像に対する指示子を提供するように構成されたことを特徴とするエンコーダ。 - 請求項27に記載のエンコーダであって、前記エンコーダが、前記比較に基づいて前記別の基準画像をランク付けし、前記現在の画像または前記現在の画像の前記各部分に対して前記2つ以上の指示子をランク順に提供するように構成され、前記別の基準画像に関連付けられた指示子は、前記局所デフォルト基準画像に最もよく似ているものが前記ランク順で最初に置かれていることを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、前記符号化されたビデオ信号の画像ヘッダ内に前記指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、前記指示子が前記現在の画像の一部に関連づけられた場合に、前記指示子を前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかに提供するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、H.263ビデオ圧縮規格に従って前記ビデオ信号を符号化し、また、前記指示子を前記H.263ビデオ圧縮規格に従って「補助的エンハンスメント情報」の中に含めるように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを示す前記指示子を生成するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、B画像およびP画像に対して対応する代替可能な基準画像を示す各指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、P画像のみに対して代替可能な基準画像を示す指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項25に記載のエンコーダであって、前記エンコーダが、前記類似性の測度を、前記局所デフォルト基準画像と前記別の基準画像との間のピクセル値の違いを利用して絶対差の合計として計算するように構成されたことを特徴とするエンコーダ。
- 請求項25に記載のエンコーダであって、前記エンコーダが、画像ヒストグラムを利用して前記局所デフォルト基準画像と前記別の基準画像との間の前記類似性の測度を計算するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、前記ビデオ信号をスケーラブル・ビデオ・シーケンスとして符号化し、前記スケーラブル・ビデオ・シーケンスの予測的に符号化されたエンハンスメント層の画像に対して対応する代替可能な基準画像を示す各指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項24に記載のエンコーダであって、前記エンコーダが、前記現在の画像または前記現在の画像の前記各部分とともに前記指示子を提供するように構成されたことを特徴とするエンコーダ。
- 画像のシーケンスを表している符号化されたビデオ信号を復号化するためのデコーダであって、前記デコーダが、
現在の画像または前記現在の画像の部分に対する動き補償予測の形成に使用するデフォルト基準画像を再構成することができないと判断するように構成され、
前記現在の画像または前記現在の画像の前記各部分に提供される指示子を調べ、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する代替可能な基準画像を識別するように構成され、また、
前記デフォルト基準画像を再構成することができないと判断した場合に、前記現在の画像または前記現在の画像の前記各部分のための動き補償予測を形成するために、前記代替可能な基準画像を使用するように構成されたことを特徴とするデコーダ。 - 請求項39に記載のデコーダであって、前記デコーダが、前記現在の画像または前記現在の画像の前記各部分に提供される2つ以上の指示子のランク順を調べるように構成され、
前記ランク順に基づいて指示子を選択するように構成され、また、
前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測を形成するために選択された前記指示子が識別した前記代替可能な基準画像を使用するように構成されたことを特徴とするデコーダ。 - 請求項39に記載のデコーダであって、前記デコーダが、前記符号化されたビデオ信号の画像ヘッダから前記指示子を取得するように構成されたことを特徴とするデコーダ。
- 請求項39に記載のデコーダであって、前記デコーダが、前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかから前記指示子を取得するように構成されたことを特徴とするデコーダ。
- 請求項39に記載のデコーダであって、前記デコーダが、H.263ビデオ圧縮規格に従って符号化されたビデオ信号の「補助的エンハンスメント情報」から前記指示子を取得するように構成されたことを特徴とするデコーダ。
- 請求項39に記載のデコーダであって、前記デコーダが、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを識別する前記指示子を使用するように構成されたことを特徴とするデコーダ。
- 請求項39に記載のデコーダであって、前記デコーダが、B画像およびP画像に対して対応する代替可能な基準画像を識別する各指示子を使用するように構成されたことを特徴とするデコーダ。
- 請求項39に記載のデコーダであって、前記デコーダが、スケーラブルに符号化されたビデオ信号の予測的に符号化されたエンハンスメント層の画像に対する対応する代替可能な基準画像を識別する各指示子を使用するように構成されたことを特徴とするデコーダ。
- 請求項24乃至38のいずれかに記載のエンコーダを含むことを特徴とする無線通信装置。
- 請求項39乃至46のいずれかに記載のデコーダを含むことを特徴とする無線通信装置。
- 請求項24乃至38のいずれかに記載のエンコーダを含むことを特徴とするマルチメディア端末装置。
- 請求項39乃至46のいずれかに記載のデコーダを含むことを特徴とするマルチメディア端末装置。
- 画像のシーケンスを表しているビデオ信号を符号化して符号化ビデオ信号を生成するための方法であって、前記方法が、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するステップと、
前記局所デフォルト基準画像を使用して前記シーケンスの現在の画像または前記現在の画像の部分に対する動き補償予測を形成するステップと、
前記現在の画像または前記現在の画像の各部分に対する指示子を生成するステップであって、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記現在の画像に十分類似している代替可能な基準画像を識別するものであり、
前記対応する復号化処理中に使用する前記指示子を提供するステップとを含むことを特徴とする方法。 - 請求項51に記載の方法において、
前記現在の画像を別の基準画像と比較して2つの画像の間の類似性の測度を計算することにより、前記現在の画像または前記現在の画像の前記部分に対する前記代替可能な基準画像を識別するステップと、
前記類似性の測度を所定の類似性基準と比較するステップと、
前記比較に基づいて前記指示子を生成するステップとを含むことを特徴とする方法。 - 請求項51に記載の方法において、
第1の局所デフォルト基準画像および第2の局所デフォルト基準画像から前記現在の画像の少なくとも部分に対する動き補償予測を形成するステップであって、前記第1の局所デフォルト基準画像が、時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応し、前記第2の局所デフォルト基準画像が、時間的に前記現在の画像の後に発生する前記シーケンスの画像に対応するステップと、
前記現在の画像を時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応する別の基準画像と比較して前記2つの画像の間の類似性の測度を計算するステップと、
前記類似性の測度を所定の類似性基準と比較するステップと、
前記比較に基づいて前記指示子を生成するステップとを含むことを特徴とする方法。 - 請求項52に記載の方法において、
前記現在の画像を複数の別の基準画像と比較して類似性の各測度を計算することにより、前記現在の画像または前記現在の画像の前記各部分に対する2つ以上の代替可能な基準画像を識別するステップと、
前記現在の画像または前記現在の画像の前記各部分に対して2つ以上の指示子を提供するために、所定の類似性の基準を満たす各別の基準画像に対する指示子を提供するステップとを含むことを特徴とする方法。 - 請求項54に記載の方法において、前記比較に基づいて前記別の基準画像をランク付けするステップと、ランク順に前記現在の画像または現在の画像の前記各部分に対して前記2つ以上の指示子を提供するステップとを含み、前記別の基準画像に関連する前記指示子は、前記現在の画像に最もよく似ているものが前記ランク順で最初に置かれていることを特徴とする方法。
- 請求項51に記載の方法において、前記指示子を前記符号化されたビデオ信号の画像ヘッダ内に提供するステップを含むことを特徴とする方法。
- 請求項51に記載の方法において、前記指示子が現在の画像の部分に関連付けられている場合に、前記指示子を前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかに提供するステップを含むことを特徴とする方法。
- 請求項51に記載の方法において、画像の前記シーケンスをH.263ビデオ圧縮規格に従って符号化するステップと、前記指示子を前記H.263ビデオ圧縮規格に従って「補助的エンハンスメント情報」の中に提供するステップとを含むことを特徴とする方法。
- 請求項51に記載の方法において、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを示す前記指示子を生成するステップを含むことを特徴とする方法。
- 請求項51に記載の方法において、B画像およびP画像に対して対応する代替可能な基準画像を示す各指示子を提供するステップを含むことを特徴とする方法。
- 請求項51に記載の方法において、P画像のみに対して代替可能な基準画像を示す指示子を提供するステップを含むことを特徴とする方法。
- 請求項52に記載の方法において、前記類似性の測度を、前記現在の画像と前記別の基準画像との間のピクセル値の違いを利用して絶対差の合計として計算するステップを含むことを特徴とする方法。
- 請求項52に記載の方法において、画像ヒストグラムを利用して前記現在の画像と前記別の基準画像との間の前記類似性の測度を計算するステップを含むことを特徴とする方法。
- 請求項51に記載の方法において、前記ビデオ信号をスケーラブルに符号化するステップと、前記スケーラブルに符号化されたビデオ信号の予測的に符号化されたエンハンスメント層の画像に対して対応する代替可能な基準画像を示す各指示子を提供するステップとを含むことを特徴とする方法。
- 請求項51に記載の方法において、前記現在の画像または前記現在の画像の前記各部分とともに前記指示子を提供するステップを含むことを特徴とする方法。
- ビデオ信号を符号化して符号化ビデオ信号を生成するためのエンコーダであって、前記ビデオ信号が画像のシーケンスを表し、前記エンコーダが、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するように構成され、
前記局所デフォルト基準画像を使用して前記シーケンスの現在の画像または前記現在の画像の部分に対する動き補償予測を形成するように構成され、
前記現在の画像または前記現在の画像の各部分に対する指示子を生成するように構成され、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記現在の画像に十分類似している代替可能な基準画像を識別し、また、
対応する復号化処理中に使用する前記指示子を提供するように構成されたことを特徴とするエンコーダ。 - 請求項66に記載のエンコーダにおいて、前記エンコーダは、
前記現在の画像を別の基準画像と比較して2つの画像の間の類似性の測度を計算することにより、前記現在の画像または現在の画像の前記各部分に対する前記代替可能な基準画像を識別するように構成され、
前記類似性の測度を所定の類似性基準と比較するように構成され、また、
前記比較に基づいて前記指示子を生成するように構成されたことを特徴とするエンコーダ。 - 請求項66に記載のエンコーダであって、前記エンコーダが、
第1の局所デフォルト基準画像および第2の局所デフォルト基準画像から現在の画像の少なくとも部分に対する動き補償予測を形成するように構成され、前記第1の局所デフォルト基準画像が、時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応し、前記第2の局所デフォルト基準画像が、時間的に前記現在の画像の後に発生する前記シーケンスの画像に対応し、
前記現在の画像を時間的に前記現在の画像の前に発生する前記シーケンスの画像に対応する別の基準画像と比較して前記2つの画像の間の類似性の測度を計算するように構成され、
前記類似性の測度を所定の類似性基準と比較するように構成され、
前記比較に基づいて前記指示子を生成するように構成されたことを特徴とするエンコーダ。 - 請求項67に記載のエンコーダであって、前記エンコーダが、
前記現在の画像を複数の別の基準画像と比較して類似性の各測度を計算することによって前記現在の画像または前記現在の画像の前記各部分に対する2つ以上の代替可能な基準画像を識別するように構成され、
前記現在の画像または前記現在の画像の前記各部分に対して2つ以上の指示子を提供するために、所定の類似基準を満たす各別の基準画像に対する指示子を提供するように構成されたことを特徴とするエンコーダ。 - 請求項69に記載のエンコーダであって、前記エンコーダは、前記比較に基づいて前記別の基準画像をランク付けし、前記現在の画像または前記現在の画像の前記各部分に2つ以上の指示子をランク順に提供するように構成され、前記別の基準画像に関連付けられた指示子は、前記現在の画像に最もよく似ているものが前記ランク順で最初に置かれていることを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、前記符号化されたビデオ信号の画像ヘッダ内に前記指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、前記指示子が現在の画像の一部に関連づけられた場合に、前記指示子を前記符号化されたビデオ信号の画像セグメントのヘッダまたはマクロブロック・ヘッダのいずれかに提供するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、H.263ビデオ圧縮規格に従って前記ビデオ信号を符号化し、また、前記指示子を前記H.263ビデオ圧縮規格に従って「補助的エンハンスメント情報」の中に提供するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、前記代替可能な基準画像の時間的基準または前記代替可能な基準画像の画像番号のいずれかを示す前記指示子を生成するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、B画像およびP画像に対して対応する代替可能な基準画像を示す各指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、P画像のみに対して代替可能な基準画像を示す指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項67に記載のエンコーダであって、前記エンコーダが、前記類似性の測度を、前記現在の画像と前記別の基準画像との間のピクセル値の違いを利用して絶対差の合計として計算するように構成されたことを特徴とするエンコーダ。
- 請求項67に記載のエンコーダであって、前記エンコーダが、画像ヒストグラムを利用して前記現在の画像と前記別の基準画像との間の前記類似性の測度を計算するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、前記ビデオ信号をスケーラブル・ビデオ・シーケンスとして符号化し、前記スケーラブル・ビデオ・シーケンスの予測的に符号化されたエンハンスメント層の画像に対して対応する代替可能な基準画像を示す各指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項66に記載のエンコーダであって、前記エンコーダが、前記現在の画像または前記現在の画像の前記各部分とともに前記指示子を提供するように構成されたことを特徴とするエンコーダ。
- 請求項66乃至80のいずれかに記載のエンコーダを備えた無線通信装置。
- 請求項66乃至80のいずれかに記載のエンコーダを備えたマルチメディア端末装置。
- ビデオ信号を符号化して符号化ビデオ信号を生成するための装置であって、前記ビデオ信号が画像のシーケンスを表し、前記装置が、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するように構成され、
前記局所デフォルト基準画像を使用して前記シーケンスの現在の画像または現在の画像の部分に対する動き補償予測を形成するように構成され、
前記現在の画像または前記現在の画像の各部分のそれぞれに対する指示子を生成するように構成され、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記局所デフォルト基準画像に十分類似している代替可能な基準画像を識別し、また、
前記対応する復号化処理中に使用する前記指示子を提供するように構成されたことを特徴とする装置。 - ビデオ信号を符号化して符号化ビデオ信号を生成するための装置であって、前記ビデオ信号が画像のシーケンスを表し、前記装置が、
前記シーケンスの画像を符号化および局所復号化することにより局所デフォルト基準画像を入手するように構成され、
前記局所デフォルト基準画像を使用して前記シーケンスの現在の画像または前記現在の画像の部分に対する動き補償予測を形成するように構成され、
前記現在の画像または前記現在の画像の各部分に対する指示子を生成するように構成され、前記指示子が、対応するデフォルト基準画像を対応する復号化処理中に再構成することができない場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する、前記現在の画像に十分類似している代替可能な基準画像を識別し、また、
前記対応する復号化処理中に使用する前記指示子を提供するように構成されたことを特徴とする装置。 - 画像のシーケンスを表している符号化されたビデオ信号を復号化するための装置であって、前記装置が、
現在の画像または現在の画像の部分に対する動き補償予測の形成に使用するデフォルト基準画像を再構成することができないと判断するように構成され、
前記現在の画像または前記現在の画像の各部分に提供される指示子を調べ、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測の形成に使用する代替可能な基準画像を識別するように構成され、また、
前記デフォルト基準画像を再構成することができないと判断した場合に、前記現在の画像または前記現在の画像の前記各部分に対する動き補償予測を形成するために、前記代替可能な基準画像を使用するように構成されたことを特徴とする装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0011606A GB2362532B (en) | 2000-05-15 | 2000-05-15 | Video coding |
GB0011606.1 | 2000-05-15 | ||
PCT/EP2001/005453 WO2001089223A2 (en) | 2000-05-15 | 2001-05-14 | Video coding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003533950A JP2003533950A (ja) | 2003-11-11 |
JP2003533950A5 JP2003533950A5 (ja) | 2007-09-27 |
JP4362259B2 true JP4362259B2 (ja) | 2009-11-11 |
Family
ID=9891561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001585519A Expired - Lifetime JP4362259B2 (ja) | 2000-05-15 | 2001-05-14 | ビデオ符号化方法 |
Country Status (16)
Country | Link |
---|---|
US (1) | US7711052B2 (ja) |
EP (2) | EP1287699B1 (ja) |
JP (1) | JP4362259B2 (ja) |
KR (2) | KR100892119B1 (ja) |
CN (2) | CN100394802C (ja) |
AT (1) | ATE522086T1 (ja) |
AU (1) | AU2001272409A1 (ja) |
BR (1) | BRPI0110770B1 (ja) |
CA (1) | CA2409027C (ja) |
EE (1) | EE05652B1 (ja) |
GB (1) | GB2362532B (ja) |
HK (1) | HK1079938A1 (ja) |
HU (1) | HU230597B1 (ja) |
MX (1) | MXPA02011201A (ja) |
WO (1) | WO2001089223A2 (ja) |
ZA (1) | ZA200208744B (ja) |
Families Citing this family (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60139632D1 (de) | 2000-11-29 | 2009-10-01 | British Telecomm | Übertragen und empfangen von echtzeitdaten |
US20030219232A1 (en) * | 2001-10-01 | 2003-11-27 | Shu Lin | System and method for identifying data on a storage medium |
US7610358B2 (en) * | 2001-11-26 | 2009-10-27 | Time Warner Cable | System and method for effectively presenting multimedia information materials |
FR2834852B1 (fr) * | 2002-01-16 | 2004-06-18 | Canon Kk | Procede et dispositif de segmentation temporelle d'une sequence video |
FI114527B (fi) * | 2002-01-23 | 2004-10-29 | Nokia Corp | Kuvakehysten ryhmittely videokoodauksessa |
BR0306958A (pt) * | 2002-01-23 | 2004-11-03 | Nokia Corp | Método e aparelho para codificar os quadros de vìdeo, método e aparelho para decodificar uma sequência de vìdeo compactada escalavelmente, programa de computador, e, sinal de vìdeo |
JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
JP2004088722A (ja) | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
EP1359722A1 (en) | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
US20060133514A1 (en) * | 2002-03-27 | 2006-06-22 | Walker Matthew D | Video coding and transmission |
EP1411729B1 (en) | 2002-04-19 | 2016-03-23 | Panasonic Intellectual Property Corporation of America | Motion vector calculating method |
EP3525467B1 (en) * | 2002-04-19 | 2021-02-24 | Panasonic Intellectual Property Corporation of America | Bitstream decoding method and apparatus |
KR20040011903A (ko) * | 2002-07-31 | 2004-02-11 | 최두현 | 대본 혹은 영상의 유사성과 사람의 인지 능력을 고려한동영상 파일 인코딩 방법 |
KR20040035005A (ko) * | 2002-10-18 | 2004-04-29 | (주) 임펙링크제너레이션 | 비디오 압축을 위한 결정선택방법을 이용한모션정보예측보간 |
CN101304536B (zh) | 2002-11-20 | 2011-11-02 | 松下电器产业株式会社 | 动态图像编码方法及动态图像编码装置 |
GB0306296D0 (en) | 2003-03-19 | 2003-04-23 | British Telecomm | Data transmission |
JP2004350263A (ja) * | 2003-04-28 | 2004-12-09 | Canon Inc | 画像処理装置及び画像処理方法 |
US8472792B2 (en) | 2003-12-08 | 2013-06-25 | Divx, Llc | Multimedia distribution system |
US7519274B2 (en) | 2003-12-08 | 2009-04-14 | Divx, Inc. | File format for multiple track digital data |
US9560367B2 (en) * | 2004-09-03 | 2017-01-31 | Nokia Technologies Oy | Parameter set and picture header in video coding |
US20060083298A1 (en) * | 2004-10-14 | 2006-04-20 | Nokia Corporation | Reference picture management in video coding |
US7417632B2 (en) * | 2004-12-02 | 2008-08-26 | Sap Ag | Automatic testing of graphics programs |
US9049449B2 (en) * | 2005-04-13 | 2015-06-02 | Nokia Corporation | Coding of frame number in scalable video coding |
US7817180B2 (en) * | 2005-04-28 | 2010-10-19 | Apple Inc. | Video processing in a multi-participant video conference |
KR100878811B1 (ko) * | 2005-05-26 | 2009-01-14 | 엘지전자 주식회사 | 비디오 신호의 디코딩 방법 및 이의 장치 |
EP1793581A1 (en) * | 2005-12-05 | 2007-06-06 | Microsoft Corporation | Automatic selection of images for transfer depending on connection characteristics |
WO2007106844A2 (en) | 2006-03-14 | 2007-09-20 | Divx, Inc. | Federated digital rights management scheme including trusted systems |
US8253752B2 (en) * | 2006-07-20 | 2012-08-28 | Qualcomm Incorporated | Method and apparatus for encoder assisted pre-processing |
EP4184341A1 (en) | 2007-01-05 | 2023-05-24 | DivX, LLC | Video distribution system including progressive playback |
EP1944978A1 (en) * | 2007-01-12 | 2008-07-16 | Koninklijke Philips Electronics N.V. | Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal |
US8494049B2 (en) * | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
JP5513400B2 (ja) | 2007-11-16 | 2014-06-04 | ソニック アイピー, インコーポレイテッド | マルチメディアファイルのための階層的で簡略なインデックス構造体 |
US8638844B2 (en) * | 2008-07-01 | 2014-01-28 | Mediatek Inc. | Method and apparatus for storing decoded moving pictures with a reduced memory requirement |
FR2934453B1 (fr) * | 2008-07-22 | 2010-10-15 | Canon Kk | Procede et dispositif de masquage d'erreurs |
KR101631270B1 (ko) * | 2009-06-19 | 2016-06-16 | 삼성전자주식회사 | 의사 난수 필터를 이용한 영상 필터링 방법 및 장치 |
JP5723888B2 (ja) | 2009-12-04 | 2015-05-27 | ソニック アイピー, インコーポレイテッド | 基本ビットストリーム暗号材料伝送システムおよび方法 |
KR101681589B1 (ko) * | 2010-07-27 | 2016-12-01 | 엘지전자 주식회사 | 영상 처리 장치 및 그 방법 |
US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
US8914534B2 (en) | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
US8989256B2 (en) * | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
US8812662B2 (en) | 2011-06-29 | 2014-08-19 | Sonic Ip, Inc. | Systems and methods for estimating available bandwidth and performing initial stream selection when streaming content |
US9635374B2 (en) * | 2011-08-01 | 2017-04-25 | Apple Inc. | Systems and methods for coding video data using switchable encoders and decoders |
US9955195B2 (en) | 2011-08-30 | 2018-04-24 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
US8799647B2 (en) | 2011-08-31 | 2014-08-05 | Sonic Ip, Inc. | Systems and methods for application identification |
US8787570B2 (en) | 2011-08-31 | 2014-07-22 | Sonic Ip, Inc. | Systems and methods for automatically genenrating top level index files |
US8909922B2 (en) | 2011-09-01 | 2014-12-09 | Sonic Ip, Inc. | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information |
US8964977B2 (en) | 2011-09-01 | 2015-02-24 | Sonic Ip, Inc. | Systems and methods for saving encoded media streamed using adaptive bitrate streaming |
JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Nttドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US20130179199A1 (en) | 2012-01-06 | 2013-07-11 | Rovi Corp. | Systems and methods for granting access to digital content using electronic tickets and ticket tokens |
US20130208992A1 (en) * | 2012-02-13 | 2013-08-15 | Shu Lin | System and method for difference frame threshold encoding and decoding |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
US20130287109A1 (en) * | 2012-04-29 | 2013-10-31 | Qualcomm Incorporated | Inter-layer prediction through texture segmentation for video coding |
US9332276B1 (en) | 2012-08-09 | 2016-05-03 | Google Inc. | Variable-sized super block based direct prediction mode |
US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
US9936267B2 (en) | 2012-08-31 | 2018-04-03 | Divx Cf Holdings Llc | System and method for decreasing an initial buffering period of an adaptive streaming system |
US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
US9313510B2 (en) | 2012-12-31 | 2016-04-12 | Sonic Ip, Inc. | Use of objective quality measures of streamed content to reduce streaming bandwidth |
US10397292B2 (en) | 2013-03-15 | 2019-08-27 | Divx, Llc | Systems, methods, and media for delivery of content |
US9906785B2 (en) | 2013-03-15 | 2018-02-27 | Sonic Ip, Inc. | Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata |
US9094737B2 (en) | 2013-05-30 | 2015-07-28 | Sonic Ip, Inc. | Network video streaming with trick play based on separate trick play files |
US9100687B2 (en) | 2013-05-31 | 2015-08-04 | Sonic Ip, Inc. | Playback synchronization across playback devices |
US9380099B2 (en) | 2013-05-31 | 2016-06-28 | Sonic Ip, Inc. | Synchronizing multiple over the top streaming clients |
KR101502145B1 (ko) * | 2013-06-21 | 2015-03-12 | 주식회사 에스원 | 영상 부호화/복호화 방법 및 장치 |
US9386067B2 (en) | 2013-12-30 | 2016-07-05 | Sonic Ip, Inc. | Systems and methods for playing adaptive bitrate streaming content by multicast |
US9866878B2 (en) | 2014-04-05 | 2018-01-09 | Sonic Ip, Inc. | Systems and methods for encoding and playing back video at different frame rates using enhancement layers |
KR102548789B1 (ko) | 2014-08-07 | 2023-06-29 | 디빅스, 엘엘씨 | 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법 |
US20160127728A1 (en) * | 2014-10-30 | 2016-05-05 | Kabushiki Kaisha Toshiba | Video compression apparatus, video playback apparatus and video delivery system |
EP3243130B1 (en) | 2015-01-06 | 2019-08-14 | Sonic IP, Inc. | Systems and methods for encoding and sharing content between devices |
CN107251008B (zh) | 2015-02-27 | 2020-11-13 | 帝威视有限公司 | 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法 |
EP3200456A1 (en) * | 2016-01-28 | 2017-08-02 | Axis AB | Video encoding method and video encoder system for temporal noise reduction |
US10075292B2 (en) | 2016-03-30 | 2018-09-11 | Divx, Llc | Systems and methods for quick start-up of playback |
US10129574B2 (en) | 2016-05-24 | 2018-11-13 | Divx, Llc | Systems and methods for providing variable speeds in a trick-play mode |
US10231001B2 (en) | 2016-05-24 | 2019-03-12 | Divx, Llc | Systems and methods for providing audio content during trick-play playback |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10498795B2 (en) | 2017-02-17 | 2019-12-03 | Divx, Llc | Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming |
CN116527898A (zh) | 2018-04-03 | 2023-08-01 | 华为技术有限公司 | 基于子图像码流视角相关视频编码中的误差抑制 |
EP4398582A3 (en) | 2019-03-21 | 2024-08-07 | DivX, LLC | Systems and methods for multimedia swarms |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4972261A (en) * | 1987-08-28 | 1990-11-20 | The General Electric Company, P.L.C. | Motion compensation image signal encoding system |
US5150210A (en) * | 1988-12-26 | 1992-09-22 | Canon Kabushiki Kaisha | Image signal restoring apparatus |
US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
US5198901A (en) * | 1991-09-23 | 1993-03-30 | Matsushita Electric Corporation Of America | Derivation and use of motion vectors in a differential pulse code modulation system |
FR2696026B1 (fr) * | 1992-09-18 | 1994-12-30 | Sgs Thomson Microelectronics | Procédé de masquage d'erreurs de transmission d'image compressée en MPEG. |
US5515388A (en) * | 1993-03-19 | 1996-05-07 | Sony Corporation | Apparatus and method for preventing repetitive random errors in transform coefficients representing a motion picture signal |
CA2114052A1 (en) | 1993-07-29 | 1995-01-30 | Monica Medina-Puri | Method of detecting scene cuts |
GB2293293B (en) * | 1994-09-15 | 1998-10-21 | Northern Telecom Ltd | Interactive video system |
JPH08154247A (ja) | 1994-09-29 | 1996-06-11 | Sanyo Electric Co Ltd | 圧縮画像データ処理装置及び方法 |
EP1098527A1 (en) * | 1994-11-04 | 2001-05-09 | Matsushita Electric Industrial Co., Ltd. | Picture coding apparatus and decoding apparatus |
DE69619002T2 (de) * | 1995-03-10 | 2002-11-21 | Kabushiki Kaisha Toshiba, Kawasaki | Bildkodierungs-/-dekodierungsvorrichtung |
JP3068002B2 (ja) * | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
JP3347954B2 (ja) * | 1995-11-02 | 2002-11-20 | 三菱電機株式会社 | 動画像符号化装置及び動画像復号化装置 |
TW351903B (en) * | 1996-07-03 | 1999-02-01 | Matsushita Electric Ind Co Ltd | Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images |
JPH10191356A (ja) * | 1996-12-27 | 1998-07-21 | Oki Electric Ind Co Ltd | 画像符号化装置 |
US5880688A (en) * | 1997-04-09 | 1999-03-09 | Hewlett-Packard Company | Arithmetic coding context model that adapts to the amount of data |
US6438165B2 (en) * | 1998-03-09 | 2002-08-20 | Lg Electronics | Method and apparatus for advanced encoder system |
US6188728B1 (en) * | 1998-09-29 | 2001-02-13 | Sarnoff Corporation | Block motion video coding and decoding |
JP3606306B2 (ja) * | 1998-10-08 | 2005-01-05 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
US6700933B1 (en) * | 2000-02-15 | 2004-03-02 | Microsoft Corporation | System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding |
-
2000
- 2000-05-15 GB GB0011606A patent/GB2362532B/en not_active Expired - Lifetime
-
2001
- 2001-05-14 AU AU2001272409A patent/AU2001272409A1/en not_active Abandoned
- 2001-05-14 HU HU0302055A patent/HU230597B1/hu unknown
- 2001-05-14 JP JP2001585519A patent/JP4362259B2/ja not_active Expired - Lifetime
- 2001-05-14 WO PCT/EP2001/005453 patent/WO2001089223A2/en active Application Filing
- 2001-05-14 KR KR1020027015356A patent/KR100892119B1/ko active IP Right Grant
- 2001-05-14 AT AT01951502T patent/ATE522086T1/de not_active IP Right Cessation
- 2001-05-14 MX MXPA02011201A patent/MXPA02011201A/es active IP Right Grant
- 2001-05-14 CA CA2409027A patent/CA2409027C/en not_active Expired - Lifetime
- 2001-05-14 CN CNB2005100041642A patent/CN100394802C/zh not_active Expired - Lifetime
- 2001-05-14 EP EP01951502A patent/EP1287699B1/en not_active Expired - Lifetime
- 2001-05-14 CN CNB018124801A patent/CN1193622C/zh not_active Expired - Lifetime
- 2001-05-14 EE EEP200200642A patent/EE05652B1/xx unknown
- 2001-05-14 BR BRPI0110770A patent/BRPI0110770B1/pt active IP Right Grant
- 2001-05-14 EP EP09013205A patent/EP2148513B1/en not_active Expired - Lifetime
- 2001-05-14 KR KR1020087018587A patent/KR100929558B1/ko active IP Right Grant
- 2001-05-15 US US09/854,461 patent/US7711052B2/en not_active Expired - Lifetime
-
2002
- 2002-10-29 ZA ZA200208744A patent/ZA200208744B/en unknown
-
2005
- 2005-12-21 HK HK05111815A patent/HK1079938A1/xx unknown
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4362259B2 (ja) | ビデオ符号化方法 | |
JP5007012B2 (ja) | ビデオ符号化方法 | |
JP4982024B2 (ja) | ビデオ符号化方法 | |
US7751473B2 (en) | Video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090421 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090817 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4362259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |