JP2883833B2 - 信号の符号化方法と装置 - Google Patents
信号の符号化方法と装置Info
- Publication number
- JP2883833B2 JP2883833B2 JP7148400A JP14840095A JP2883833B2 JP 2883833 B2 JP2883833 B2 JP 2883833B2 JP 7148400 A JP7148400 A JP 7148400A JP 14840095 A JP14840095 A JP 14840095A JP 2883833 B2 JP2883833 B2 JP 2883833B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- frame
- frames
- codebook
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Description
する。更に詳細には、本発明は低ビット伝送速度におけ
るビデオ通信で使用するためのビデオ信号の符号化に関
する。
デオ信号の符号化は最近特に注目されている。特に、H
DTV(高品位テレビ)及び双方向テレビ(例えば、
“ビデオ・オン・デマンド”)のような技術への関心の
高まりに伴って大きな注目を集めている。
用途(例えば、MPEG−1及びMPEG−2のような
モーション・ピクチャ・エキスパート・グループ規格)
について規格化されている。しかし、これらの用途は一
般的に、56キロビット/秒超の符号化速度でビデオ信
号を符号化しなければならない。
ビデオフレーム(すなわち、各個別的静止画像)を可変
ビット伝送速度で符号化し、次いで、伝送又は記憶のた
めの固定データ伝送速度を得るためにバッファリングを
使用する。連続的フレームの全体的平均伝送速度がバッ
ファのオーバーフローを起こさせる場合、符号化フレー
ムはドロップされる(すなわち、先行フレームは復号化
が繰返される)。その結果、復号化ビデオは、効率的に
可変させることができるフレーム伝送速度と、バッファ
による遅延(伝送遅延に加えて)を有する。
は、利用可能帯域幅(すなわち、最大ビット伝送速度)
は、その他の用途で利用可能なビット伝送速度よりもか
なり小さい。符号化ビデオ信号を、常用のモデムを使用
する常用の電話線で伝送しようとする場合、ビット伝送
速度は、現在のモデム技術に基づいて、19.2キロビ
ット/秒又は9.6キロビット/秒に限定される。
低いビット伝送速度で前記の技術を使用する場合、得ら
れた復号化ビデオはしばしば容認できない。例えば、バ
ッファ遅延は最大符号化伝送速度の逆数に比例するの
で、また、符号化フレーム伝送速度はしばしば低符号化
ビット伝送速度を得るために低下されるので、容認不可
能な遅延がもたらされる。
反復を必要とするので、容認不可能な低平均フレーム伝
送速度を生じる。これらの問題点を解決するために、各
フレームを一定のビット伝送速度で符号化することが望
ましい。これにより、バッファリングの必要性が無くな
り、付随的な遅延が避けられ、生成復号化ビデオの一定
フレーム伝送速度が維持される。しかし、可変ビット伝
送速度相対物と同様に、常用の固定ビット伝送速度ビデ
オ符号化技術では、これらの低ビット伝送速度における
容認可能な品質レベルを得ることはできない。
トル量子化コードブックの使用を必要とする。ベクトル
量子化及びベクトル量子化コードブックの使用の一般的
原理は、A.Gersho and R.M.Gray,Vector Quantization
and Signal Compression, Kluwer Academic Publisher
s, Boston MA, 1992に詳細に説明されている。
的に、“ベクトル“又は“ブロック”と呼ばれるフレー
ム部分に分割される。これらの各ブロックは、複数のピ
クセル(個別的な画素)に関する信号データを包含す
る。例えば、可変ビット伝送速度に応じて、これらのブ
ロックの一部又は全部が量子化され、コードブック内の
エントリと比較され、最良一致(ベストマッチ)を発見
する。
インデックスがデコーダに伝送される。このデコーダは
同じコードブックを包含する。従って、コードブックエ
ントリインデックスを使用し、所定のブロックを示す。
所定のフレームのピクセルは他のフレームの内容に無関
係であり、この符号化のフォームは、“イントラフレー
ム”符号化として公知である。
周波数領域に変換され(例えば、離散コサイン変換を使
用することにより変換される)、対応する逆変換がデコ
ーダにより行われる。従って、コードブックエントリは
周波数領域エントリである。更に、コーダは、前記のイ
ントラフレームフ技術の他に、“インターフレーム”符
号化技術を使用することが好ましければ、この“インタ
ーフレーム”符号化技術を使用することもできる。
るべき各ブロックは、先行フレームからの対応する画素
ブロック(又はその変換体)と比較され、両者の差が、
異なるエントリを包含する“インターフレーム”コード
ブックに対して量子化及び整合される。
一致(すなわち、符号化されるべきブロックとの一層小
さな相違)を生成するために、“運動補正”することが
できる。すなわち、先行フレームの一部は映像内で再配
置され、現行フレームと比較され、シーン(情景又は場
面)の動きを示す“運動ベクトル”を決定する。
場合、先行フレームデータを“再構成”するために、エ
ンコーダ内にデコーダ回路を組込むことが好ましい。こ
の方法では、エンコーダにより行われる相違分析は、
(デコーダにおける現行フレームの復号化もこの復号化
先行フレームに基づくので)復号化先行フレームに基づ
くことが好ましい。これにより、現在のフレームの一層
正確な符号化が得られる。
のやり方は、A.Gersho and R.M.Gray の前掲書第11章
に説明されている適応型コードブックを使用する。適応
型コードブックは、一層優れた一致を得るための試みの
タイミングを符号化される信号の局所統計量に切り替え
る。すなわち、コードブック及びこれによるコーダは信
号の特性に適合する。
品質な復号化ビデオを生成できる。なぜなら、コーダは
実際、所定のシーン(すなわち、これらに包含される特
定の物体及び動き)にそれ自体が適合するからである。
すべきフレームからの情報を使用し、コードブックを改
変し、望むらくは、これによりコードブックを改良す
る。このような技術は一般的に、現行フレームの符号化
前に、一つ以上のコードブックエントリを新たなエント
リと置換する。
に小さなエラーしか有しない)ブロックは、新たなコー
ドブックエントリの基礎を形成するので、これにより例
えば、所定のブロックの改善されたまたは全くエラーを
有しない符号化が得られる。
供給しなければならないので、“副”情報として知られ
る追加情報を別に符号化し、そしてこれらの順方向適応
型コードブック技術により伝送しなければならない。そ
の結果、現行フレームをデコーダにより適正に復号化す
ることができる。従って、ビデオ用途で使用する場合、
コーダをシーンに適合させることができるにも拘わら
ず、これらの順方向適応型コードブック方式の使用は従
来、固定ビット伝送速度符号化の使用と相反していた。
は、固定ビット数で各フレームを符号化すると同時に、
順方向適応型コードブック方式を使用することができる
符号化方法を提供することである。
レームの符号化を符号化されるシーンに適合させる機構
を使用する固定ビット伝送速度ビデオ技術は一定のフレ
ーム伝送速度と低ビット伝送速度における容認可能な品
質を維持できる。固定ビット数で各フレームを符号化す
ると同時に、順方向適応型コードブック方式を使用する
ために、本発明では、コードブック更新の符号化と所定
フレームのブロックの符号化との間の二律背反的分析を
行う。
号化品質が改善される場合、コードブック更新は必要な
ビット数及び一つ以上のフレームブロックを使用するこ
とにより符号化される。フレームブロックは符号化され
ないビットを使用することにより別の方法で符号化する
ことができる。
ードブックの使用による信号の符号化方法で実現され
る。好都合なコードブック更新は、フレームの一次暫定
符号化に伴う符号化エラーと、フレームの二次暫定符号
化に伴う符号化エラーとを比較することにより決定され
る。
を符号化するために、一次暫定符号化は使用可能な固定
ビット数を使用する。これに対し、同じフレームを符号
化するために、二次暫定符号化は変更された(すなわ
ち、更新された)コードブックを使用する。
ビット数によりフレーム及びコードブック更新の両方を
符号化する。微細な符号化エラーしか有しない暫定符号
化は適合されるフレームの符号化として選択される。更
に、二次暫定符号化がこのように選択される場合、コー
ドブックは変更コードブックにより置き換えられる。こ
のようにして、コーダはコードブックをシーン(情景又
は場面)の特性に適合させる。
説明する。
ビデオ符号化システムの一例のブロック図である。図1
のビデオコーダは例えば、テレビ会議システム又はテレ
ビ電話の一部である。何れの場合でも、図1に示された
コーダ入力信号(“入力”)は、常用のアナログ/デジ
タルコンバータ(図示されていない)のような付属イン
ターフェース回路と共に、常用のビデオカメラ(図示さ
れていない)により供給される。更に、コーダ出力
(“符号化更新”,“符号化ブロック”及び“符号化運
動ベクトル”)は例えば、結合され、そして、例えば、
モデム(図示されていない)のような常用の伝送手段に
より本来の受信機に伝送される。
段(例えば、受信モデム)、受信ビデオ信号を復号化す
る対応デコーダ及び復号化信号を表示するビデオディス
プレイを配設し、双方向映像通信を行うこともできる。
図1に示されたビデオ符号化システムと共に動作させる
ことができる前記の構成部品は全て常用のデザインの部
品なので、図1からは省略されている。
所定フレームの“最適”符号化を選択し、連続フレーム
の符号化で使用するためにそのコードブックを更新する
ために、使用可能帯域幅の動的ビット割当を行う。同一
のコードブックがエンコーダ及びデコーダで維持され、
そして各連続フレームにおける歪み(すなわち、エラ
ー)を最小にするために調整される。
ームに関するブロックデータ及び運動ベクトルの符号化
の他に、デコーダへ連続伝送するために符号化される。
VQ(量子化ベクトル)コードブックは連続的に(すな
わち、フレーム毎に)適合するので、シーン内の物体及
び運動を的確に表示するベクトルが保持される。
40キロビット/秒に範囲内の低ビット伝送速度で動画
ビデオを符号化するのに使用することができる。コーダ
は一定のフレーム及びビット伝送速度を維持する。これ
により、復号化ビデオにおける滑らかな動きと音声/映
像同期(“口唇同期”)及び低遅延が得られる。
割当能力の他に、運動補償予測器(エンコーダ内のデコ
ーダのシミュレーションを使用する)及び適応型ベクト
ル量子化器を包含する。常用のエントロピー符号化技術
は、所定数の使用可能ビットで伝送できる符号化情報の
品質を更に高め、これにより復号化ビデオの品質を更に
高めるのに使用される。
フレームからなる。各フレームはベクトルに割当てら
れ、ブロックとも呼ばれる。各ブロックは例えば、8×
8画素平方(64画素を含有する)からなる。符号化さ
れる各ブロックは“インターフレーム”ブロックとして
符号化することができる。この場合、現行ブロックの画
素データと先行フレームからの(運動補償された)対応
ブロックの画素データとの差が符号化される。
を生成する。差を生成することが好ましい場合には、ブ
ロックは代わりに“イントラフレーム”ブロックとして
符号化することもできる。この場合、ブロックの画素デ
ータは直接符号化される。
最初に常用の離散コサイン変換(DCT)14及び16
により周波数領域に変換することが好ましい。周波数領
域への変換はその他の常用方法でも行うことができる。
ブロックデータの複数の周波数サブバンド(“サブバン
ド符号化”)への変換も使用できる。ビデオ信号の離散
コサイン変換及びサブバンド符号化を含む符号化を行う
様々なやり方は、当業者に公知の常用技術である。
る場合、良好な符号化(すなわち、微細なエラー)を生
成する符号化技術(インターフレーム又はイントラフレ
ーム)が、所定のブロックについて常用のイントラ/イ
ンター選択器26により選択される。従って、所定のフ
レーム内の幾つかのブロックはインターフレーム符号化
され、幾つかはイントラフレーム符号化される。
全てのブロックを符号化することはできないであろう。
従って、フレームの各ブロックは最初に分析され、先行
フレームからの対応する(運動補償された)ブロックに
基づいて、その“予測エラー)を決定する。ブロック記
憶及び優先化器17はこの機能を果たす。各ブロックは
入力され、分析され、そして得られた(周波数変換され
た)ブロックデータ及び付随予測エラーが記憶される。
距離は、ブロックがコードブックの使用により明快に符
号化されなかった場合に生じるであろうエラーを数量化
する。すなわち、デコーダは、先行フレームからの運動
補償対応ブロックにのみ基づいて、所定のブロックを決
定する。
優先化器17により集合され、そして予測エラーを減少
することにより順序付けられる。その後、ブロックはこ
の順序で符号化のために選択される。従って、全てのブ
ロックを符号化するのに十分なビットが存在するわけで
はないので、先行フレームからの予測が比較的優れた結
果を生じるこれらのブロックは、符号化されないブロッ
クである。
均平方エラー(すなわち、差の平方の平均)のようなブ
ロック内の(周波数変換された)画素差の単純関数であ
るか、又は“被知覚”エラーをモデル化する知覚距離で
ある。知覚距離を含むこのような距離は常用のものであ
り、当業者に周知である。例えば、使用される予測エラ
ー距離が平均平方エラーである場合、k番目のブロック
(ただし、8×8画素サイズのブロックと仮定する)に
関する予測エラーは次の数1により得られる。
内のj番目の画素であり、^Bk(j)は(運動補償さ
れた)予測ブロック内のj’番目の画素であり、合計は
j=1〜64にわたって行われる。
もむしろ前に ブロック記憶及び優先化器17を配置す
ることが望ましい。このようにして、非変換ブロックデ
ータが記憶され、予測エラーはこの非変換データに基づ
く。従って、符号化のために結局選択されるこれらのブ
ロックのついて離散コサイン変換を計算するだけでよ
い。
なぜなら、離散コサイン変換の計算は比較的集中計算動
作だからである。しかし、大抵の常用の知覚距離は周波
数領域データに基づく。従って、このような知覚距離が
使用される場合、変換データが使用される。
量子化(VQ)コードブックを使用して行われる。特
に、インターフレームコードブック24とイントラフレ
ームコードブック18の二つのコードブックが使用され
る。インターフレーム符号化の場合、所定のブロック
と、先行フレームからの運動補償予測ブロックとの間の
周波数変換差は、インターフレームコードブックを使用
し、常用のインターフレームベクトル量子化器(インタ
ーVQ)22により符号化される。換言すれば、予測エ
ラーの変換は符号化される特定のブロックデータであ
る。
ロック自体は周波数変換され、この変換ブロックは、イ
ントラフレームコードブックを使用し、常用のイントラ
フレームベクトル量子化器(イントラVQ)20により
直接符号化される。
ーム符号化の両方とも、符号化されるべきブロックデー
タに対する“最適一致”コードブックエントリが識別さ
れ、対応するコードブックインデックスが、所定のブロ
ックの(可能な)符号化として使用すべきために抽出さ
れる。すなわち、最小エラーを生じるコードブックエン
トリは各コードブックから選択される。
る(従って、良好な符号化をもたらす)符号化技術(イ
ンターフレーム又はイントラフレーム)は、所定のブロ
ックについて、常用のイントラ/インター選択器26に
より選択される。得られた符号化及び符号化の得られた
エラーは暫定符号化記憶装置27に記憶される。所定の
コードブックエントリにより符号化から生じるエラーを
決定するために使用される距離は、平均平方エラー又は
知覚距離のような別の常用の距離である。
である場合、ブロックを符号化するためのインターフレ
ームコードブックベクトルViは、次の数2により得ら
れるエラーmsekを最小にするために選択される。
わたって行われ、Bk(j)及び^Bk(j)は前記に定
義した通りのものである。
ラフレームコードブックベクトルが同様に選択される。
この場合、所定のブロック自体は予測エラーではなく、
符号化されるブロックデータなので、エラーmsekは
次の数3により得られる。
され、どちらの符号化技術(インターフレーム又はイン
トラフレーム)が所定のブロックについて選択されるか
決定し、得られた符号化エラーを決定する。
コードブック選択(インターフレーム又はイントラフレ
ーム)及びこのコードブック内のインデックスiとこの
ブロックに関する予測で使用される対応する運動ベクト
ルデータからなる。しかし、ブロックがイントラフレー
ム符号化される場合、このブロックに関する運動ベクト
ルデータは無関係になり、従って、廃棄できる。ブロッ
クの符号化及び得られた符号化エラーの両方とも暫定符
号化記憶装置27に記憶される。
能な固定数のビット内ではもはやブロックが符号化され
ないことをビット伝送速度分析器15が決定するまで、
ブロック記憶及び優先化器17は、減少予測エラー順序
のインターフレームベクトル量子化器22及びイントラ
フレームベクトル量子化器20によりブロックが符号化
されることを管理する。
ーコーダ28,44及び48により生成されるような符
号化フレームデータに基づいた決定を行う。これらのエ
ントロピーコーダは、符号化されたブロックデータ(す
なわち、コードブックインデックス)に関する常用のエ
ントロピー符号化、現行フレーム“予測”プロセス(下
記で説明する)で生成された運動ベクトルデータ及びコ
ードブックに対して為されるべき、従って、デコーダに
伝送されなければならない(下記で説明する)コードブ
ック更新を行う。
ーコーダを結合し、異なるタイプのデータをそれぞれ個
別に符号化するのではなくむしろ、データの組合せに関
する結合エントロピー符号化を行うことにより、一層効
率的な符号化を生成することができる。例えば、運動ベ
クトル及びコードブックベクトル間の空間的相関関係に
より、一層効率的な符号化は両方のベクトルの位置を一
緒に結合エントロピー符号化することにより得られる。
ことをビット伝送速度分析器15が決定する場合、暫定
符号化記憶装置27は全ての符号化ブロックに関する符
号化(すなわち、被選択コードブックエントリインデッ
クス)を記憶する。これは、付随運動ベクトル符号化と
共に、一次暫定符号化を示す。(一次暫定符号化は非変
更コードブックを使用する。)
エラー(すなわち、ブロックが符号化された後に残るエ
ラー)は、暫定符号化記憶装置27内に記憶される。従
来技術の固定ビット伝送速度システムでは、この一次暫
定符号化は、現行フレームに関する被適合符号化として
デコーダに伝送される。しかし、本発明によれば、動的
ビット割当器52はコードブックの変更群を用いて代替
符号化を斟酌する。
ームの再符号化が再構成フレームにおける全体的歪み
(すなわち、総エラー)を減少するような方法でコード
ブックを変更しようとする。総エラーは、符号化されな
いブロックに関する全ての予測エラーの合計と符号化さ
れたブロックに関する全ての生成符号化エラーの合計と
からなる。
ないブロックに関する運動補償先行フレームデータに基
づき、かつ、符号化されたブロックの符号化に基づき、
デコーダにより再構成される場合、総エラーは生成歪み
(すなわち、実際の現行フレームからのエラー)を評価
する。
るような一次暫定符号化に基づき、最大エラーを有する
ブロックを殆どエラー無しに再符号化することができる
コードブック更新はエラーの減少順序であると見做され
る。ベクトル自体がコードブックに追加される場合、ベ
クトルはエラー無しに符号化することができる。
クに追加する前に、ベクトル(すなわち、ブロック)の
係数についてスケーラー量子化を行うことが好ましい。
例えば、この方法により、知覚的にゼロに近い係数は挿
入する必要はない。従って、このようなコードブック更
新は所定のブロックを殆どエラー無しに符号化すること
ができる。
エラー無しの符号化について指定される。このコードブ
ックは、最大予測エラーを有する非符号化ブロック又は
最大生成符号化エラーを有する符号化ブロックのいずれ
かで、エラーの大きい方である。
応する予測ブロックの(スケーラー量子化後の)インタ
ーフレームコードブックへの追加又はブロック自体の
(スケーラー量子化後の)イントラフレームコードブッ
クの追加により行うことができる。どのコードブックを
更新するかに関する決定は例えば、どのコードブック更
新がデコーダへの伝送について最も効率的に符号化する
ことができるかに基づいて行われる。
を補償するための符号化ビットを得るために、先行符号
化ブロックの幾つかの符号化は、“二次暫定符号化”を
生成するために、動的ビット割当器52により一次暫定
符号化から放棄される。特に、これらのブロックの符号
化は、これらの“符号化エラー改善”の増大順序で、
(暫定符号化記憶装置27に記憶されるような)一次暫
定符号化から“除去”される。
sekは、このブロックの符号化の結果として低下され
たエラーの量である。すなわち、Δmsek=msep,k
−msekである。すなわち、符号化の結果としての改
善は、符号化無しにおける生成エラーである予測エラー
と、生成符号化エラーとの差である。従って、符号化が
最小利得を生じたブロックは、二次暫定符号化における
コードブック更新のための余地を形成するために、一次
暫定符号化から除去される。
につれて、エントロピーコーダ28はブロックデータの
符号化を再生成し、次いで、ビット伝送速度分析器15
は一つ以上のコードブック更新の符号化を包含する新た
な符号化が使用可能なビット数内で適合するかどうか決
定する。動的ビット割当器52は、新たな符号化が使用
可能なビット数内で適合するまで、増加符号化エラー改
善順序で、符号化ブロックを一度に一つずつ除去するた
めに、暫定符号化記憶装置27に指示し続ける。
約された符号化ビット数がコードブック更新を符号化す
るのに必要なビット数と等しいか又はこのビット数を越
えるまで、この処理を繰り返す。これが起こったら、
“曖昧”符号化(すなわち、使用可能なビット数により
伝送することができる符号化)が生成される。この符号
化は二次暫定符号化である。
は、一次暫定符号化の総エラーと比較され、どちらの符
号化の方が良好か(すなわち、どちらの方が一層小さな
総エラーを有するか)を決定する。符号化から除去され
る全てのブロックkに関する全符号化エラー改善Δms
ekの合計を、最大エラー(符号化された場合の生成エ
ラー又は符号化されなかった場合の予測エラー)を有し
ていた指定ブロックのエラーと比較される。
れている(すなわち、低総エラーを有する)ことが照明
される場合、コードブックは更新されず、一次暫定符号
化は所定フレームの符号化として適合される。従って、
用途に応じて、一次暫定符号化はデコーダへ伝送される
か又は記憶される。
であることが照明される場合、動的ビット割当器52は
コードブック更新56に、前記のように適当な(インタ
ーフレーム又はイントラフレーム)コードブックの更新
させる。新たなベクトルは未使用記憶場所で又は現存エ
ントリの置換(すなわち、初期削除)によりコードブッ
クに挿入される。
合、様々な技術を使用し、削除すべきエントリを選択す
ることができる。例えば、“最長時間未使用”方法を使
用することもできるし、所定のコードブックエントリの
“値”を決定する距離も使用できるし、あるいは、これ
らの2つの方法の組合せも使用できる。コードブックエ
ントリの“値”は、例えば、所定のエントリにより得ら
れる符号化エラー改善の実行時合計のような数量的基準
により示される。
ト”と、各コードブックエントリに関する時間重み付け
平均符号化エラー改善距離の両方を維持しなければなな
い。使用カウントは、最小及び最大値により結合させる
ことができる。この場合、ベクトルがコードブックに挿
入される場合、カウントは例えば、最大値に設定され、
ベクトルが使用される場合は各フレームについて増分さ
れ、ベクトルが使用されない場合各フレームについて減
分される。
は、所定のコードブックエントリの使用により最近のフ
レームのブロックに与えた相当な改善の度合いを計量す
る。例えば、コードブックベクトルjの符号化エラー改
善ΔmseAvg,jは下記の数4により計算することがで
きる。
のフレームである。例えば、更新により置換されるコー
ドブックエントリは使用カウント回数ΔmseAvg,jの
最小積を有するエントリである。
ず、現行フレームの符号化で使用されたエントリが全く
除去されないことを確保することが好ましい。なぜな
ら、エントリが除去されると動的ビット割当器52の符
号化分析に悪影響を及ぼすからである。
び先行ブロックデータの一部又は全部を使用して“再設
計”(すなわち、更新するよりもむしろスクラッチから
再構成する)ことができる。あるいは、コードブック更
新及びコードブック再設計方法を併用することもでき
る。
定される場合、更なるコードブック更新は符号化を更に
一層改善できる。従って、この場合、二次暫定符号化は
一次暫定符号化になり、前記の処理が繰り返される。特
に、動的ビット割当器52はエラー無し符号化について
最大エラーを有するブロックを再び指定する。しかし、
この場合のブロックは別のブロックである。なぜなら、
先行反復で指定されたブロックが先ずエラー無しで符号
化されるからである。
場合に、新たに生成された二次暫定符号化が総エラーの
増大を生じるまで、(各繰返しの二次暫定符号化が次の
繰返しの一次暫定符号化になるように)前記の処理を繰
返す。別のコードブックベクトルの追加が、コードブッ
ク更新の符号化を見込むのに必要な程度にまでブロック
の符号化の除去の結果として追加されるエラーよりも少
ない量までフレームの総エラーを低下させる場合に、こ
の繰返しが起こる。
の)一次暫定符号化は現行フレームの符号化として適合
される。しかし、図1のシステムは、“最終”再符号化
を行う。その結果、コードブック更新からの全ての副次
的利得が実現される。例えば、一つ以上の追加コードブ
ックエントリは、追加された指定ブロック以外のブロッ
クの改善符号化を生じる。
より、総エラーを増大させることはできない。なぜな
ら、現行フレームの符号化で既に使用されたコードブッ
クエントリは全く除去されていないからである。別の実
施例では、前記の手順の一回以上の反復は、更なるコー
ドブック更新が好ましいかどうか決定するために、“最
終”再符号化の後に再度行われる。
ために、デコーダ回路をエンコーダ内に組込むことが好
ましい。これにより、現行フレームに関する“予測”が
生成される。特に、図1のシステムでは、逆ベクトル量
子化器(IVQ)30は、(イントラ/インター選択器
26により決定されるように)どのようにして所定のブ
ロックが符号化されたかに基づいて、適当なコードブッ
ク(インターフレームコードブック24又はイントラフ
レームコードブック18)からコードブックエントリを
検索する。
T)32は、逆離散コサイン変換を行うことにより画素
データを復元する。ブロックがインターフレーム符号化
された場合、加算器34は、先行フレームからの運動補
償対応ブロックを複合化(及び逆周波数変換)された現
行フレームブロックに結合させ、そして、その結果をフ
レーム遅延メモリ38に記憶する。従って、所定の再構
成フレームブロックは、(減算器12による)符号化及
び後続フレームの(加算器34)による復号化の双方で
使用できる。
定されるように)所定のフレームがイントラフレーム符
号化された場合、逆変換ブロックはフレーム遅延メモリ
38に直接記憶される。逆ベクトル量子化器30,逆離
散コサイン変換器32,加算器34,インター/イント
ラ選択器36及びフレーム遅延メモリ38は全て常用の
デザインのものである。
化(すなわち、予測)で使用するための運動補償も編入
する。特に、所定の現行フレームブロックは、運動推定
器42により、先行フレームからの対応ブロックの複数
の変位バージョンと比較される。更に、現行フレームブ
ロックは、次のフレームに関する運動推定で使用するた
めにフレーム遅延メモリ40に記憶される。
器42により選択され、フィードバックのために運動補
償器46へ、符号化のために減算器12へ、また復号化
のために加算器34へ供給される。このようにして、
“運動ベクトル”(すなわち、“最適”変位)は連続フ
レーム内の実際のフレームデータに基づいて決定され、
現行フレームの符号化は前記のように、先行フレームの
再構成(すなわち、復号化)バージョンに基づく。
に)垂直及び水平翻訳運動に限定することもできるし、
あるいは更に回転運動を包含することもできる。映像符
号化で使用される回転運動補償の使用は例えば、V.Sefe
ridis and M.Ghanbari, General Approach to Block-ma
tching Motion Estimation, Optical Engineering, Vo
l.32, No.7, July 1993に記載されている。運動推定器
42,フレーム遅延メモリ40及び運動補償器46は全
て常用のデザインのものである。
明した方法の流れ図である。先ず、ステップ58で、現
行フレームの各ブロックに関する周波数変換予測ブロッ
ク差データを生成し、(ブロック記憶及び優先化器17
に)記憶する。予測ブロックは先行フレームの運動補償
再構成に基づいて決定される。ステップ60で、各予測
ブロックに関する対応する予測エラーを計算し、(ブロ
ック記憶及び優先化器17に)記憶する。ステップ58
及び60は結合させることもできる。(例えば、同時に
行うことができる。)
フレームブロックが分析され、記憶された後、ステップ
62で、最高予測エラーを有する(未だ符号化されてい
ない)ブロックを選択する。その後、このブロックはイ
ンターフレームコードブック24を用いるインターフレ
ーム符号化技術(ステップ64)、及びイントラフレー
ムコードブック18を用いるイントラフレーム符号化技
術(ステップ66)の双方により符号化される。
生成符号化エラーも計算する。ステップ68で、2つの
生成符号化エラーを比較し、“一次暫定符号化”となる
ものを挿入するために、低エラーを生成した方の符号化
を選択する。ステップ70で、この符号化を(予め符号
化されたブロックと共に)、一次暫定符号化の一部とし
て暫定符号化記憶装置27に保存する。
化されたブロックのエントロピー符号化を行う。これに
より、ビット伝送速度分析器15は、現行フレームの符
号化で使用された総ビット数を決定することができる。
ビット伝送速度分析器15が、一層多数のブロックを符
号化するために一層多数のビットを使用できることを決
定する場合(決定ステップ74)、制御はブロック記憶
及び優先化器17及びステップ62に戻り、符号化につ
いて未だ符号化されていないブロックとして別のブロッ
クを選択する。
存在しないと決定すると、一次暫定符号化は完了する。
その後、制御は動的ビット割当器52へ通過する。ステ
ップ76で、エラー無し符号化について、最高生成符号
化エラーを有する符号化ブロック又は最高予測エラーを
有する非符号化ブロックのうち何れか大きい方を指定す
る。換言すれば、指定ブロックは、一次暫定符号化を復
号化する結果として、最大再構成エラーを生じるブロッ
クである。
の基礎として暫定的に使用される。これにより、コード
ブック更新を伝送するのに必要なビットを考慮する前
に、一次暫定符号化に対する可能な最高の改善が得られ
る。その後、指定ブロックのエラー無し符号化を可能に
するコードブック更新が案出され、そしてその符号化が
生成される。
ドブック(ステップ78)及びイントラフレームコード
ブック(ステップ80)に関連する。生成された2つの
コードブック更新符号化のうち、最小のビット数を使用
する(すなわち、符号化が“最も安価”な)コードブッ
ク更新が選択され、“二次暫定符号化”に包含される
(ステップ82)。
小符号化エラー改善を与える一次暫定符号化におけるコ
ードブックブロックが選択され(ステップ84)、二次
暫定符号化から除外される(ステップ86)。次いで、
ステップ88で、新たなエントロピー符号化を行い、二
次暫定符号化により使用されるビット数を決定する。ビ
ット伝送速度分析器15は、二次暫定符号化が所定フレ
ームを符号化するのに使用可能な固定ビット数よりも多
数のビット数を使用するか否か決定する(ステップ9
0)。
暫定符号化から別の符号化ブロックを除外する。二次暫
定符号化に包含される全てのコードブック更新を符号化
するのに必要なビット数はこの計算に包含されなければ
ならない。なぜなら、現行フレームの符号化は全ての付
随コードブック更新の符号化を必ず包含するからであ
る。
め、二次暫定符号化が使用可能なビット数しか使用しな
いことが決定ステップ90で決定されると、除去ブロッ
クに関する符号化エラー改善の和は、指定ブロックの元
々の生成符号化エラー(これが符号化ブロックであった
場合)又は予測エラー(これが非符号化ブであった場
合)未満であるか否か決定ステップ92で決定する。
次暫定符号化よりも小さな総エラーを有するか否か、従
って、どちらの方が優れた符号化であるか否かを決定す
る。二次暫定符号化のほうが優れた符号化であると決定
される場合、追加のコードブック更新は符号化を更に改
善できる。
になり、動的ビット割当器52はこの分析を繰り返す。
すなわち、制御はステップ76に戻り、更に別のブロッ
クが更なるコードブック更新を生成するために指定され
る。
と、決定ステップ92が決定すると、ステップ94で、
現に一次暫定符号化であるものに包含される任意のコー
ドブック更新によりコードブックを更新する。次いで、
これらの変更コードブックに基づいて、現行フレームに
関する符号化の最終再構成はステップ96で行われ、こ
れにより、コードブック更新の所期の利益が完全に実現
される。特に、ステップ62−74が再び実施される。
成された全てのコードブック更新を符号化するのに必要
なビットを考慮しなければならない。決定ステップ74
が、使用可能なビットはもはや存在しないと決定する場
合、制御はステップ98に戻る。最後に、特定の用途に
応じて、ステップ98において、ステップ96で生成さ
れた最終符号化を復号化用のデコーダに伝送するか又は
後で使用するために現行フレームの最終符号化を記憶す
る。
いて説明してきたが、本発明の方法はこれに限定される
わけではない。前記の技術は、静止画像の符号化に関す
る他、音声信号の符号化にも応用できる。例えば、音声
信号の場合、符号化すべき信号からなるフレームは、前
記の二次元画像信号ではなく、“一次元”信号(すなわ
ち、所定の時間間隔にわたって変化する単一値の信号)
である。更に、音声符号化の場合は、個々に符号化され
るフレームの“部分”は一般的に、“ブロック”ではな
く、“サブフレーム”と呼ばれる。
能ブロック(“プロセッサ”と表示される機能ブロック
を含む)からなるものとして説明されている。これらブ
ロックが示す機能は、共用又は専用ハードウエア及びソ
フトウエアを実行できるハードウエアの使用により与え
られる。例えば、図1に示されたプロセッサの機能は、
単一の共用プロセッサにより与えられる。(“プロセッ
サ”という用語はソフトウエアを実行できるハードウエ
アしか示さないと解釈すべきではない。)
うソフトウエアを記憶するためのAT&TDSP16又
はDSP32C、読出専用メモリ(ROM)のようなデ
ジタル信号プロセッサ(DSP)ハードウエア及びDS
P結果を記憶するためのランダムアクセスメモリ(RA
M)からなる。超LSI(VLSI)ハードウエア及び
汎用DSP回路と併用されるカスタムVLSI回路も使
用できる。
法によれば、固定ビット数で各フレームを符号化すると
同時に、順方向適応型コードブック方式を使用すること
ができる。
ロック図である。
の流れ図である。
Claims (34)
- 【請求項1】 ベクトル量子化コードブックの使用によ
る信号の符号化方法であり、コードブックは複数のベク
トルからなり、信号は一連のフレームからなり、各フレ
ームは1つ以上のフレーム部分からなり、 前記信号の符号化方法は、 所定の一つ以上のフレームの一つ以上の部分の各々がコ
ードブックの使用により符号化されている所定の一つ以
上のフレームの一次暫定符号化を決定するステップと、
ここで、一次暫定符号化はせいぜい固定された所定のビ
ット数を使用する,コードブック内のベクトルを代替ベ
クトルで置換することにより変更コードブックを生成す
るステップと,所定の一つ以上のフレームの二次暫定符
号化を決定するステップと,ここで、 (i)コードブック内の一つ以上のベクトルを置換した一
つ以上の代替ベクトルが符号化され、 (ii)所定の一つ以上のフレームの一つ以上の部分の各々
が変更コードブックの使用により符号化され、二次暫定
符号化はせいぜい固定された所定のビット数を使用す
る,一次暫定符号化に付随する第1の符号化エラーと二
次暫定符号化に付随する第2の符号化エラーを決定する
ステップと,所定の一つ以上のフレームの符号化とし
て、より小さな付随符号化エラーを有する暫定符号化を
選択するステップとからなることを特徴とする信号の符
号化方法。 - 【請求項2】 第1の符号化エラーの方が第2の符号化
エラーよりも大きい場合、コードブックを変更コードブ
ックで置換するステップを更に有する請求項1の方法。 - 【請求項3】 各代替ベクトルは一つのフレーム部分か
らなる請求項1の方法。 - 【請求項4】 フレーム部分の符号化は、前記フレーム
部分の周波数領域への変換を行うことによりフレーム部
分を量子化することからなる請求項1の方法。 - 【請求項5】 フレーム部分の変換は離散コサイン変換
からなる請求項4の方法。 - 【請求項6】 各代替ベクトルは、一つのフレーム部分
の周波数領域への変換からなる請求項1の方法。 - 【請求項7】 フレーム部分の符号化は、一つ以上のフ
レームのうちの或るフレームのフレーム部分と一つ以上
のフレームのうちの先行フレームの対応部分との間の差
を周波数領域に変換することにより、この差を量子化す
ることからなる請求項1の方法。 - 【請求項8】 差の変換は離散コサイン変換からなる請
求項7の方法。 - 【請求項9】 各代替ベクトルは、一つ以上のフレーム
のうちの或るフレームのフレーム部分と一つ以上のフレ
ームのうちの先行フレームの対応部分との間の差の周波
数領域への変換からなる請求項1の方法。 - 【請求項10】 フレーム部分の符号化は、一つ以上の
フレームのうちの或るフレームのフレーム部分と一つ以
上のフレームのうちの先行フレームの対応運動補償部分
との間の差を周波数領域に変換することにより、この差
を量子化することからなる請求項1の方法。 - 【請求項11】 差の変換は離散コサイン変換からなる
請求項10の方法。 - 【請求項12】 各代替ベクトルは、一つ以上のフレー
ムのうちの或るフレームのフレーム部分と一つ以上のフ
レームのうちの先行フレームの対応運動補償部分との間
の差の周波数領域への変換からなる請求項1の方法。 - 【請求項13】 フレーム部分の符号化は、フレーム部
分のサブバンド分解を行うことによりフレーム部分を量
子化することからなる請求項1の方法。 - 【請求項14】 フレーム部分の符号化は、一つ以上の
フレームのうちの或るフレームのフレーム部分と一つ以
上のフレームのうちの先行フレームの対応部分との間の
差のサブバンド分解を行うことにより、この差を量子化
することからなる請求項1の方法。 - 【請求項15】 フレーム部分の符号化は、一つ以上の
フレームのうちの或るフレームのフレーム部分と一つ以
上のフレームのうちの先行フレームの対応運動補償部分
との間の差のサブバンド分解を行うことにより、この差
を量子化することからなる請求項1の方法。 - 【請求項16】 ベクトル量子化コードブックの使用に
よる信号の符号化装置であり、コードブックは複数のベ
クトルからなり、信号は一連のフレームからなり、各フ
レームは1つ以上のフレーム部分からなり、 前記信号の符号化装置は、 所定の一つ以上のフレームの一つ以上の部分の各々がコ
ードブックの使用により符号化されている所定の一つ以
上のフレームの一次暫定符号化を決定する手段と、ここ
で、一次暫定符号化はせいぜい固定された所定のビット
数を使用する,コードブック内の一つ以上のベクトルを
一つ以上の代替ベクトルで置換することにより変更コー
ドブックを生成する手段と,所定の一つ以上のフレーム
の二次暫定符号化を決定する手段と,ここで、 (i)コードブック内の一つ以上のベクトルを置換した一
つ以上の代替ベクトルが符号化され、 (ii)所定の一つ以上のフレームの一つ以上の部分の各々
が変更コードブックの使用により符号化され、二次暫定
符号化はせいぜい固定された所定のビット数を使用す
る,一次暫定符号化に付随する第1の符号化エラーと二
次暫定符号化に付随する第2の符号化エラーを決定する
手段と,所定の一つ以上のフレームの符号化として、よ
り小さな付随符号化エラーを有する暫定符号化を選択す
る手段とからなることを特徴とする信号の符号化装置。 - 【請求項17】 第1の符号化エラーの方が第2の符号
化エラーよりも大きい場合、コードブックを変更コード
ブックで置換する手段を更に有する請求項16の装置。 - 【請求項18】 一つ以上の代替ベクトルを生成する手
段を更に有し、各代替ベクトルは一つのフレーム部分か
らなる請求項16の装置。 - 【請求項19】 フレーム部分の周波数領域への変換を
行う手段を更に有する請求項16の装置。 - 【請求項20】 変換は離散コサイン変換からなる請求
項19の装置。 - 【請求項21】 一つ以上の代替ベクトルを生成する手
段を更に有し、各代替ベクトルは一つのフレーム部分の
周波数領域への変換からなる請求項16の装置。 - 【請求項22】 一つ以上のフレームのうちの或るフレ
ームのフレーム部分と一つ以上のフレームのうちの先行
フレームの対応部分との間の差を周波数領域に変換する
ことにより、この差を量子化する手段を更に有する請求
項16の装置。 - 【請求項23】 差の変換は離散コサイン変換からなる
請求項22の装置。 - 【請求項24】 一つ以上の代替ベクトルを生成する手
段を更に有し、各代替ベクトルは、一つ以上のフレーム
のうちの或るフレームのフレーム部分と一つ以上のフレ
ームのうちの先行フレームの対応部分との間の差の周波
数領域への変換からなる請求項16の装置。 - 【請求項25】 一つ以上のフレームのうちの或るフレ
ームのフレーム部分と一つ以上のフレームのうちの先行
フレームの対応運動補償部分との間の差を周波数領域に
変換することにより、この差を量子化する手段を更に有
する請求項16の装置。 - 【請求項26】 差の変換は離散コサイン変換からなる
請求項25の装置。 - 【請求項27】 一つ以上の代替ベクトルを生成する手
段を更に有し、各代替ベクトルは、一つ以上のフレーム
のうちの或るフレームのフレーム部分と一つ以上のフレ
ームのうちの先行フレームの対応運動補償部分との間の
差の周波数領域への変換からなる請求項16の装置。 - 【請求項28】 フレーム部分のサブバンド分解を行う
ことによりフレーム部分を量子化する手段を更に有する
請求項16の装置。 - 【請求項29】 一つ以上のフレームのうちの或るフレ
ームのフレーム部分と一つ以上のフレームのうちの先行
フレームの対応部分との間の差のサブバンド分解を行う
ことにより、この差を量子化する手段を更に有する請求
項16の装置。 - 【請求項30】 一つ以上のフレームのうちの或るフレ
ームのフレーム部分と一つ以上のフレームのうちの先行
フレームの対応運動補償部分との間の差のサブバンド分
解を行うことにより、この差を量子化する手段を更に有
する請求項16の装置。 - 【請求項31】 (イ)ビデオ入力信号を生成するビデオ
カメラと,(ロ)ベクトル量子化コードブックの使用によ
りビデオ信号を符号化する手段と、コードブックは複数
のベクトルからなり、ビデオ信号は一連のフレームから
なり、各フレームは1つ以上のフレーム部分からなり、 前記符号化手段は、 所定の一つ以上のフレームの一つ以上の部分の各々がコ
ードブックの使用により符号化されている所定の一つ以
上のフレームの一次暫定符号化を決定する手段と、ここ
で、一次暫定符号化はせいぜい固定された所定のビット
数を使用する,コードブック内の一つ以上のベクトルを
一つ以上の代替ベクトルで置換することにより変更コー
ドブックを生成する手段と,所定の一つ以上のフレーム
の二次暫定符号化を決定する手段と,ここで、 (i)コードブック内の一つ以上のベクトルを置換した一
つ以上の代替ベクトルが符号化され、 (ii)所定の一つ以上のフレームの一つ以上の部分の各々
が変更コードブックの使用により符号化され、二次暫定
符号化はせいぜい固定された所定のビット数を使用す
る,一次暫定符号化に付随する第1の符号化エラーと二
次暫定符号化に付随する第2の符号化エラーを決定する
手段と,所定の一つ以上のフレームの符号化として、よ
り小さな付随符号化エラーを有する暫定符号化を選択す
る手段とからなり,(ハ)符号化ビデオ入力信号をビデオ
受信機に伝送する手段とからなるテレビ会議システム。 - 【請求項32】 受信符号化ビデオ信号を受信する手段
と,復号化ビデオ信号を生成するための、受信符号化ビ
デオ信号を復号化する手段と,復号化ビデオ信号を表示
する表示手段とを更に有する請求項31のテレビ会議シ
ステム。 - 【請求項33】 (イ)ビデオ入力信号を生成するビデオ
カメラ手段と,(ロ)ベクトル量子化コードブックの使用
によりビデオ信号を符号化する手段と、コードブックは
複数のベクトルからなり、ビデオ信号は一連のフレーム
からなり、各フレームは1つ以上のフレーム部分からな
り、 前記符号化手段は、 所定の一つ以上のフレームの一つ以上の部分の各々がコ
ードブックの使用により符号化されている所定の一つ以
上のフレームの一次暫定符号化を決定する手段と、ここ
で、一次暫定符号化はせいぜい固定された所定のビット
数を使用する,コードブック内の一つ以上のベクトルを
一つ以上の代替ベクトルで置換することにより変更コー
ドブックを生成する手段と,所定の一つ以上のフレーム
の二次暫定符号化を決定する手段と,ここで、 (i)コードブック内の一つ以上のベクトルを置換した一
つ以上の代替ベクトルが符号化され、 (ii)所定の一つ以上のフレームの一つ以上の部分の各々
が変更コードブックの使用により符号化され、二次暫定
符号化はせいぜい固定された所定のビット数を使用す
る,一次暫定符号化に付随する第1の符号化エラーと二
次暫定符号化に付随する第2の符号化エラーを決定する
手段と,所定の一つ以上のフレームの符号化として、よ
り小さな付随符号化エラーを有する暫定符号化を選択す
る手段とからなり,(ハ)符号化ビデオ入力信号を電気通
信網に伝送する手段とからなるテレビ電話。 - 【請求項34】 受信符号化ビデオ信号を受信する手段
と,復号化ビデオ信号を生成するための、受信符号化ビ
デオ信号を復号化する手段と,復号化ビデオ信号を表示
する表示手段とを更に有する請求項33のテレビ電話。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US248982 | 1994-05-25 | ||
US08/248,982 US5457495A (en) | 1994-05-25 | 1994-05-25 | Adaptive video coder with dynamic bit allocation |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH089376A JPH089376A (ja) | 1996-01-12 |
JP2883833B2 true JP2883833B2 (ja) | 1999-04-19 |
Family
ID=22941539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7148400A Expired - Lifetime JP2883833B2 (ja) | 1994-05-25 | 1995-05-24 | 信号の符号化方法と装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5457495A (ja) |
EP (1) | EP0684737B1 (ja) |
JP (1) | JP2883833B2 (ja) |
CA (1) | CA2146048C (ja) |
DE (1) | DE69524141T2 (ja) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592227A (en) * | 1994-09-15 | 1997-01-07 | Vcom, Inc. | Method and apparatus for compressing a digital signal using vector quantization |
US5627601A (en) * | 1994-11-30 | 1997-05-06 | National Semiconductor Corporation | Motion estimation with bit rate criterion |
US5508750A (en) * | 1995-02-03 | 1996-04-16 | Texas Instruments Incorporated | Encoding data converted from film format for progressive display |
DE69619002T2 (de) * | 1995-03-10 | 2002-11-21 | Toshiba Kawasaki Kk | Bildkodierungs-/-dekodierungsvorrichtung |
GB2303267B (en) * | 1995-06-06 | 2000-03-22 | Sony Uk Ltd | Video compression |
US5748242A (en) * | 1995-08-25 | 1998-05-05 | Lucent Technologies Inc. | Color video vector quantization with chrominance codebook bypass |
US5778191A (en) * | 1995-10-26 | 1998-07-07 | Motorola, Inc. | Method and device for error control of a macroblock-based video compression technique |
GB9522077D0 (en) * | 1995-10-27 | 1996-01-03 | Univ Strathclyde | Data compression |
US5799110A (en) * | 1995-11-09 | 1998-08-25 | Utah State University Foundation | Hierarchical adaptive multistage vector quantization |
US5909513A (en) * | 1995-11-09 | 1999-06-01 | Utah State University | Bit allocation for sequence image compression |
US5844612A (en) * | 1995-11-09 | 1998-12-01 | Utah State University Foundation | Motion vector quantizing selection system |
US6011587A (en) * | 1996-03-07 | 2000-01-04 | Kokusai Denshin Denwa Kabushiki Kaisha | Packet video bitrate conversion system |
JP3157101B2 (ja) * | 1996-03-08 | 2001-04-16 | 沖電気工業株式会社 | 画像符号化方法及び画像符号化装置 |
US5867221A (en) * | 1996-03-29 | 1999-02-02 | Interated Systems, Inc. | Method and system for the fractal compression of data using an integrated circuit for discrete cosine transform compression/decompression |
US5844607A (en) * | 1996-04-03 | 1998-12-01 | International Business Machines Corporation | Method and apparatus for scene change detection in digital video compression |
GB2313974B (en) * | 1996-06-06 | 2000-06-28 | Berners Lee Charles Peter | Apparatus and method for encoding data |
US5926226A (en) * | 1996-08-09 | 1999-07-20 | U.S. Robotics Access Corp. | Method for adjusting the quality of a video coder |
US5861905A (en) * | 1996-08-21 | 1999-01-19 | Brummett; Paul Louis | Digital television system with artificial intelligence |
US6983018B1 (en) * | 1998-11-30 | 2006-01-03 | Microsoft Corporation | Efficient motion vector coding for video compression |
US6490250B1 (en) * | 1999-03-09 | 2002-12-03 | Conexant Systems, Inc. | Elementary stream multiplexer |
EP1262024A1 (en) * | 2000-02-11 | 2002-12-04 | Electronics for Imaging, Inc. | System and method for image compression using systolic vector quantization |
US6937814B1 (en) * | 2000-04-14 | 2005-08-30 | Realnetworks, Inc. | System and method for play while recording processing |
US6778607B2 (en) * | 2001-05-22 | 2004-08-17 | Intel Corporation | Method and apparatus for multi-rate encoding of video sequences |
US7003039B2 (en) * | 2001-07-18 | 2006-02-21 | Avideh Zakhor | Dictionary generation method for video and image compression |
EP2302929B1 (en) * | 2001-11-27 | 2015-03-25 | Samsung Electronics Co., Ltd. | Coding and decoding of a bitstream with a coordinate interpolator |
US7027982B2 (en) * | 2001-12-14 | 2006-04-11 | Microsoft Corporation | Quality and rate control strategy for digital audio |
US20030169816A1 (en) * | 2002-01-22 | 2003-09-11 | Limin Wang | Adaptive universal variable length codeword coding for digital video content |
US7016547B1 (en) | 2002-06-28 | 2006-03-21 | Microsoft Corporation | Adaptive entropy encoding/decoding for screen capture content |
US6980695B2 (en) * | 2002-06-28 | 2005-12-27 | Microsoft Corporation | Rate allocation for mixed content video |
US7433824B2 (en) | 2002-09-04 | 2008-10-07 | Microsoft Corporation | Entropy coding by adapting coding between level and run-length/level modes |
ES2297083T3 (es) | 2002-09-04 | 2008-05-01 | Microsoft Corporation | Codificacion entropica por adaptacion de la codificacion entre modos por longitud de ejecucion y por nivel. |
US7383180B2 (en) * | 2003-07-18 | 2008-06-03 | Microsoft Corporation | Constant bitrate media encoding techniques |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US7609763B2 (en) | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
US7499495B2 (en) | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
US7343291B2 (en) * | 2003-07-18 | 2008-03-11 | Microsoft Corporation | Multi-pass variable bitrate media encoding |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7577200B2 (en) | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Extended range variable length coding/decoding of differential motion vector information |
US7623574B2 (en) | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
US7688894B2 (en) * | 2003-09-07 | 2010-03-30 | Microsoft Corporation | Scan patterns for interlaced video content |
US7616692B2 (en) | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7782954B2 (en) * | 2003-09-07 | 2010-08-24 | Microsoft Corporation | Scan patterns for progressive video content |
US7620106B2 (en) | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
US7317839B2 (en) | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
US7599438B2 (en) | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US20050207501A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Method of and system for video bit allocation for scene cuts and scene changes |
US7684981B2 (en) | 2005-07-15 | 2010-03-23 | Microsoft Corporation | Prediction of spectral coefficients in waveform coding and decoding |
US7599840B2 (en) | 2005-07-15 | 2009-10-06 | Microsoft Corporation | Selectively using multiple entropy models in adaptive coding and decoding |
US7693709B2 (en) | 2005-07-15 | 2010-04-06 | Microsoft Corporation | Reordering coefficients for waveform coding or decoding |
US7565018B2 (en) * | 2005-08-12 | 2009-07-21 | Microsoft Corporation | Adaptive coding and decoding of wide-range coefficients |
US7933337B2 (en) * | 2005-08-12 | 2011-04-26 | Microsoft Corporation | Prediction of transform coefficients for image compression |
US8599925B2 (en) * | 2005-08-12 | 2013-12-03 | Microsoft Corporation | Efficient coding and decoding of transform blocks |
US8184710B2 (en) | 2007-02-21 | 2012-05-22 | Microsoft Corporation | Adaptive truncation of transform coefficient data in a transform-based digital media codec |
US7774205B2 (en) * | 2007-06-15 | 2010-08-10 | Microsoft Corporation | Coding of sparse digital media spectral data |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
US8179974B2 (en) | 2008-05-02 | 2012-05-15 | Microsoft Corporation | Multi-level representation of reordered transform coefficients |
US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
US7925774B2 (en) | 2008-05-30 | 2011-04-12 | Microsoft Corporation | Media streaming using an index file |
US8406307B2 (en) | 2008-08-22 | 2013-03-26 | Microsoft Corporation | Entropy coding/decoding of hierarchically organized data |
US8265140B2 (en) | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US8660178B2 (en) | 2010-07-01 | 2014-02-25 | Broadcom Corporation | Method and system for multi-layer rate control for a multi-codec system |
CN102025998B (zh) * | 2010-12-28 | 2013-05-08 | 重庆邮电大学 | 一种数字图像信号矢量量化码书设计方法 |
JP2015080025A (ja) * | 2013-10-15 | 2015-04-23 | 株式会社東芝 | 電子機器および通信制御方法 |
FR3033114A1 (fr) * | 2015-02-19 | 2016-08-26 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
WO2017133753A1 (en) * | 2016-02-01 | 2017-08-10 | Huawei Technologies Co., Ltd. | Vector quantization for video coding using codebook generated by selected training signals |
US11005909B2 (en) | 2019-08-30 | 2021-05-11 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
US11184648B2 (en) | 2019-08-30 | 2021-11-23 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
US10986378B2 (en) * | 2019-08-30 | 2021-04-20 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5194950A (en) * | 1988-02-29 | 1993-03-16 | Mitsubishi Denki Kabushiki Kaisha | Vector quantizer |
EP0387051B1 (en) * | 1989-03-10 | 1997-08-06 | Canon Kabushiki Kaisha | Method and apparatus for coding image information |
US5194864A (en) * | 1990-10-03 | 1993-03-16 | Olympus Optical Co., Ltd. | Vector quantization method and apparatus |
US5128756A (en) * | 1990-12-11 | 1992-07-07 | At&T Bell Laboratories | High definition television coding arrangement with graceful degradation |
US5134477A (en) * | 1990-12-11 | 1992-07-28 | At&T Bell Laboratories | Hdtv receiver |
US5172228A (en) * | 1991-11-19 | 1992-12-15 | Utah State University Foundation | Image compression method and apparatus employing distortion adaptive tree search vector quantization |
US5398069A (en) * | 1993-03-26 | 1995-03-14 | Scientific Atlanta | Adaptive multi-stage vector quantization |
-
1994
- 1994-05-25 US US08/248,982 patent/US5457495A/en not_active Expired - Lifetime
-
1995
- 1995-03-31 CA CA002146048A patent/CA2146048C/en not_active Expired - Fee Related
- 1995-05-17 EP EP95303305A patent/EP0684737B1/en not_active Expired - Lifetime
- 1995-05-17 DE DE69524141T patent/DE69524141T2/de not_active Expired - Lifetime
- 1995-05-24 JP JP7148400A patent/JP2883833B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0684737A3 (en) | 1999-08-18 |
DE69524141D1 (de) | 2002-01-10 |
DE69524141T2 (de) | 2002-07-04 |
JPH089376A (ja) | 1996-01-12 |
CA2146048C (en) | 1999-03-23 |
CA2146048A1 (en) | 1995-11-26 |
EP0684737B1 (en) | 2001-11-28 |
EP0684737A2 (en) | 1995-11-29 |
US5457495A (en) | 1995-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2883833B2 (ja) | 信号の符号化方法と装置 | |
US6414992B1 (en) | Optimal encoding of motion compensated video | |
US6084912A (en) | Very low bit rate video coding/decoding method and apparatus | |
US6084908A (en) | Apparatus and method for quadtree based variable block size motion estimation | |
CA2154885C (en) | Efficient transcoding device and method | |
KR100763182B1 (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
KR100703760B1 (ko) | 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치 | |
EP0739138A2 (en) | Method and apparatus for matching compressed video signals to a communications channel | |
US5748242A (en) | Color video vector quantization with chrominance codebook bypass | |
US6252905B1 (en) | Real-time evaluation of compressed picture quality within a digital video encoder | |
US20050105812A1 (en) | Video encoding methods and devices | |
JP2001511983A (ja) | 知覚特性利用型のトレリスに基づいて低ビットレートでビデオ符号化を行なうレート制御方法及び装置 | |
JP2012151894A (ja) | 画像シーケンスを符号化する方法または復号する方法および装置 | |
KR0178221B1 (ko) | 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템 | |
JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
Efstratiadis et al. | Motion-compensated priority discrete cosine transform coding of image sequences | |
WO2007024106A1 (en) | Method for enhancing performance of residual prediction and video encoder and decoder using the same | |
KR100335606B1 (ko) | 반복적움직임예측/보상을이용한영상부호화기및/또는복호화기 | |
KR100203709B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
KR0129579B1 (ko) | 전처리 필터를 이용한 영상 부호화기 | |
KR0178205B1 (ko) | 웨이브 렛 변환을 이용한 영상 부호화 시스템 | |
KR100207388B1 (ko) | 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 | |
Voukelatos et al. | Adaptive subband VQ for very low bit rate video coding | |
Ho | Digital coding of NTSC sequences with a subband-VQ scheme | |
Voukelatos et al. | An ASBVQ codec for VLBR video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080205 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110205 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110205 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120205 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 15 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |