JPH06327034A - 画像符号化方法および画像合成方法 - Google Patents

画像符号化方法および画像合成方法

Info

Publication number
JPH06327034A
JPH06327034A JP6066444A JP6644494A JPH06327034A JP H06327034 A JPH06327034 A JP H06327034A JP 6066444 A JP6066444 A JP 6066444A JP 6644494 A JP6644494 A JP 6644494A JP H06327034 A JPH06327034 A JP H06327034A
Authority
JP
Japan
Prior art keywords
image
subband
signal
bits
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6066444A
Other languages
English (en)
Other versions
JP2957083B2 (ja
Inventor
Anurag Bist
ビスト アヌラグ
Arnaud E Jacquin
イー.ジャクイン アーノウド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPH06327034A publication Critical patent/JPH06327034A/ja
Application granted granted Critical
Publication of JP2957083B2 publication Critical patent/JP2957083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【目的】 複数の画像信号からなる画像信号シーケンス
のカラー成分を効率よく符号化および復号する。 【構成】 画像信号シーケンスのカラー成分を複数のサ
ブバンド画像信号へとフィルタリングし、第1ビット数
のうちのビットを使用して画像構造を反映する第1サブ
バンドピクセルを符号化し、第1ビット数のうち第1サ
ブバンドピクセルの符号化に使用しなかったビットのう
ちのビットからなる第2ビット数を使用して画像対象運
動情報を反映する第2サブバンドピクセルを符号化す
る。また、第1または第2のサブバンドピクセルの符号
化に使用しなかったビットのうちのビットからなる第3
ビット数を使用して、運動対象のエッジを反映する第3
サブバンドピクセル信号を符号化する。復号は符号化の
ほぼ逆のプロセスによって実行される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、各ビデオフレームごと
に固定された低い速度でのカラービデオ信号の効率的デ
ィジタル符号化に関する。
【0002】
【従来の技術】良好な品質で、低いビットレートのカラ
ービデオ符号化が、現在および将来のネットワークによ
るテレビ電話会議やCD−ROM記憶装置のようなアプ
リケーションに必要とされている。効果的な低速符号器
は、時間的および空間的な相関による冗長性や、画像シ
ーケンスの知覚的に無関係な成分を除去すべきである。
【0003】サブバンドディジタル符号化法は当業者に
周知である。例えば、エヌ.エス.ジェイアント(N. S.
Jayant)とピー.ノル(P. Noll)、「波形のディジタル
符号化:原理と音声およびビデオへの応用」(1984
年)を参照。
【0004】
【発明が解決しようとする課題】サブバンド符号化法
は、3次元時空間サブバンド構成における画像符号化に
対して使用されており、ジー.カールソン(G. Karlsso
n)とエム.ヴェタリ(M. Vetterli)、「ビデオの3次元
サブバンド符号化」、Proceedings ICASSP(1988
年)第1100〜1103ページ、に記載されている。
これに記載されている技術は、多次元フィルタリングを
使用し、いわゆる直交ミラーフィルタを使用して時空間
周波数バンドまたはサブバンドを生成するものである。
これらのフィルタは、例えば、ジェー.ディ.ジョンス
トン(J. D. Johnston)、「直交ミラーフィルタバンドで
の使用のために設計されたフィルタ族」、Proceedings
ICASSP(1980年)に記載されている。
【0005】
【課題を解決するための手段】本発明は、第1のビット
数を使用して画像信号シーケンスのカラー成分を符号化
する技術を実現することにより、3次元サブバンド構成
を利用するものである。このカラー成分は、例えば、標
準的なYUVカラービデオフォーマットのUまたはV成
分である。画像信号シーケンスは複数の画像信号からな
る。
【0006】本発明の実施例によれば、画像信号シーケ
ンスのカラー成分は、3次元サブバンドフィルタバンク
を使用して複数のサブバンド画像信号へとフィルタリン
グされる。第1のサブバンド画像信号のピクセル信号
(単に「ピクセル」ともいう)は、第1のビット数のう
ちのビットを使用して符号化される。第1サブバンド
は、原画像の構造を反映する。
【0007】第2のビット数によって、第2のサブバン
ド画像信号のピクセルが符号化される。この第2のビッ
ト数は、第1サブバンド画像信号のピクセルを符号化す
る際に使用されなかった第1のビット数のうちのビット
からなる。第2サブバンドは、画像信号シーケンスのカ
ラー成分における対象の運動情報を反映する。第2サブ
バンド画像信号のピクセルは、第2のビット数のうちの
ビットで符号化される。
【0008】本実施例によれば、第3のビット数によっ
て、第3のサブバンド画像信号のピクセルが符号化され
る。この第3のビット数は、第1および第2のサブバン
ドのピクセルを符号化する際に使用されなかったビット
からなる。さらに、この第3のビット数は、複数のサブ
バンドのピクセルを符号化する際に使用するために共有
することも可能である。例えば、この第3のビット数の
うちのビットは、運動する画像対象のほぼ垂直および水
平のエッジをそれぞれ反映するサブバンド画像信号のピ
クセルを符号化するために使用することが可能である。
【0009】
【実施例】説明を明確にするため、本発明の実施例は、
個別の機能ブロック(「プロセッサ」とラベルされた機
能ブロックを含む)からなるものとして表現する。これ
らのブロックが表す機能は、共通または専用のハードウ
ェアを使用して実現することも可能であるが、ソフトウ
ェアを実行可能なハードウェアを使用することも可能で
あり、また、それに制限されるものではない。例えば、
図1に示されたプロセッサの機能は、単一の共通プロセ
ッサによって実現することも可能である。(「プロセッ
サ」という用語の使用は、ソフトウェアを実行可能なハ
ードウェアのみを指すものと解釈してはならない。)
【0010】実施例は、AT&TのDSP16またはD
SP32Cのようなディジタル信号プロセッサ(DS
P)ハードウェア、後述の動作を実行するソフトウェア
を記憶する読み出し専用メモリ(ROM)、および、D
SPの結果を記憶するランダムアクセスメモリ(RA
M)からなる。超大規模集積回路(VLSI)ハードウ
ェアによる実現や、カスタムVLSIと汎用DSP回路
の組合せも可能である。
【0011】図1に、本発明によるディジタルカラー画
像符号器の実施例を示す。本実施例は、毎秒15フレー
ムの速度で標準のYUVカラービデオフォーマットのビ
デオ信号を受信し、その信号をチャネル45を通じて受
信器/復号器へ送信するために符号化する。YUVカラ
ービデオフォーマットは、3個の信号成分からなる。そ
のうちの1成分(Y成分という)は、輝度(すなわちグ
レイスケール)ビデオ情報を表し、他の2成分(U成分
およびV成分という)は、クロミナンス(すなわちカラ
ー)ビデオ情報を表す。図1の実施例は、YUVカラー
ビデオフォーマットの3成分に対応する3個の符号化セ
クション1、10、および20を含む。各セクション
1、10、および20の符号化出力はマルチプレクサに
送られ、このマルチプレクサは、チャネル45へ送る通
常の方法で出力を合成する。チャネル45を通じてのビ
デオの通信のために本実施例で利用可能な全帯域幅は毎
秒368キロビット(kbps)である(さらに、音声
/オーディオ情報を符号化するために16kbpsが利
用可能である)。チャネル45は、電気通信網や記憶媒
体からなる。
【0012】実施例のセクション1は、符号化のため
に、輝度フレームのシーケンス3を受信する。各輝度フ
レームは、240×360ピクセル信号(単に「ピクセ
ル」ともいう)からなる。ここでの説明のためには、輝
度フレームのシーケンスは、例えば、米国特許出願第0
7/832,256号に記載の第1実施例であればよ
い。一貫性のため、第1符号化セクション1の要素を識
別する番号はこの米国特許出願で使用したものと同一で
ある。この米国特許出願に記載したように、符号化セク
ション1は、一様量子化または幾何学的ベクトル量子化
(GVQ)によるPCMに基づく条件付き補充および量
子化とともに適応ビット割当を使用する。実施例で利用
可能な368kbpsのうち、328kbpsがセクシ
ョン1によって符号化される輝度のために確保される。
【0013】符号化セクション1の他に、図1の実施例
は符号化セクション10および20を有し、これらはそ
れぞれ符号化のためにクロミンナンスフレームのシーケ
ンスを受信する。図示したように、符号化セクション1
0はU成分のフレームのシーケンス13を受信し、符号
化セクション20はV成分のフレームのシーケンス23
を受信する。符号化セクション10および20によって
受信されるU成分およびV成分の各フレームは120×
180ピクセルからなる。従ってこれらのフレームは輝
度フレームの4分の1のサイズである。このような縮小
されたクロミンナンスフレームのサイズは、通常のよう
にダウンサンプラ30によって与えられる。符号化セク
ション10および20はそれぞれU成分およびV成分を
符号化するために20kbpsずつの帯域幅を利用可能
である。
【0014】符号化セクション10および20は、その
構造および動作については同一である。明確化のため、
クロミンナンスフレームのシーケンスの符号化について
の説明は、セクション10およびU成分のみについて例
示的に行うことにする。しかし、セクション10および
U成分についての説明はセクション20およびV成分に
も適用可能である。
【0015】符号化セクション10の構造および動作に
ついて説明する。ダウンサンプリングされたUフレーム
のシーケンスはサブバンドフィルタバンク12に送られ
る。図2に示したように、フィルタバンク12はハイパ
ス(HP)またはローパス(LP)であって、時間
(t)、空間水平(h)、または空間垂直(v)のフィ
ルタのカスケードからなる。例示したフィルタバンク1
2の2個の時間フィルタHPtおよびLPtは、2タップ
ハールフィルタからなる。これらのフィルタは、フィル
タバンク12によって受信される連続するクロミンナン
スフレームの差分フレーム信号および平均フレーム信号
をそれぞれ形成することによって動作する。フィルタバ
ンク12は、クロミンナンス信号シーケンスのフレーム
を記憶するのに十分な、時間フィルタに接続されたメモ
リ、例えばRAM(図示せず)、を含む。
【0016】フィルタバンク12を形成する空間水平フ
ィルタ(HP)および空間垂直フィルタ(LP)は、ジ
ェー.ディ.ジョンストン(J. D. Johnston)、「直交ミ
ラーフィルタバンク用に設計されたフィルタ族(A Filte
r Family Designed for Usein Quadrature Mirror Filt
er Banks)」、Proceedings ICASSP(1980年)に記
載されたような10タップ1次元直交ミラーフィルタ
(QMF)からなる。
【0017】フィルタバンク12によって与えられるサ
ブバンド構成は、図3のように図形的に表現することが
できる。左側の大きい正方形は、最初のローパス時間フ
ィルタリングから得られるすべてのサブバンドを表す。
右側の大きい正方形は、最初のハイパス時間フィルタリ
ングから得られるすべてのサブバンドを表す。ハイパス
時間フィルタリングまたはローパス時間フィルタリング
によって与えられたサブバンドのセットに対して、水平
方向は空間水平フィルタリング(左側がハイパス、右側
がローパス)を表し、垂直方向は空間垂直フィルタリン
グ(上側がハイパス、下側がローパス)を表す。図2の
場合のように、HPおよびLPはそれぞれハイパスフィ
ルタリングおよびローパスフィルタリングを表し、添字
t、h、およびvはそれぞれ時間、水平および垂直のフ
ィルタリングを表す。
【0018】各サブバンド画像は、フィルタバンク12
によって規定される時間周波数および空間周波数を含
む。実施例によれば、ある高い時空間周波数のサブバン
ドは、一般的に知覚的重要性がないために破棄される。
図3のサブバンド4,5,6,7,8.2,8.3,
8.4,9,10,および11はこの理由で破棄され
る。このサブバンド情報を破棄することによって、画像
品質の重大な歪みは生じない。一般に、ビットレート、
求める品質、およびサブバンド構成に応じて、いくつか
の高周波サブバンドが破棄される。破棄されないサブバ
ンド画像は、符号化セクション10の量子化器16およ
びビット割当プロセッサ14に送られる。
【0019】量子化器16によるサブバンド画像量子化
は、動的ビット割当(DBA)プロセッサ14による動
的ビット割当に応答して実行される。DBAは2つの主
要な部分を有する。第1の部分は、知覚的重要性に基づ
いて、残っているサブバンドを順序づけすることであ
る。この場合、最低の時空間周波数サブバンド(すなわ
ちサブバンド1)のような、原画像の構造を反映するサ
ブバンドが、最も知覚的に重要であるとして取り扱われ
る。その結果、サブバンド1は非常に正確に符号化され
る。クロミンナンス情報のフレームを符号化するために
利用可能なすべてのビットが、このサブバンド画像を符
号化するために利用可能である(一般的には、サブバン
ド1で与えられる画像は、全利用可能ビットより少ない
ビットを使用して十分に符号化可能である)。
【0020】符号化のために次に重要なサブバンドは運
動サブバンド(例えば図3のサブバンド8.1に対応す
る)である。このサブバンドには、運動情報を符号化す
るために(サブバンド1の符号化後の)残りのすべての
ビットが割り当てられる(この場合も、このサブバンド
の符号化が実際にこのようなすべてのビットを必要とす
ることがない場合がある)。
【0021】サブバンド1および8.1の符号化後に残
っているすべてのビットは、空間高周波数サブバンドや
時間低周波数サブバンドのような、エッジ情報を反映す
るサブバンド(例えば、サブバンド2および3を符号化
するために使用される。当業者には理解されるように、
運動情報が多い場合には、より多くのビットが運動サブ
バンドに割り当てられ、空間高周波の詳細を符号化する
ために残るビットは少なくなる。運動情報が少ない場合
には、より多くのビットが空間高周波の詳細を符号化す
るために残される。
【0022】動的ビット割当の第2の部分は、符号化す
る各サブバンド画像内で重要なピクセルまたはピクセル
群(すなわち「ブロック」)を探索することである。実
施例では、これは、「条件付き補充」(サブバンド1の
符号化で使用)という方式の一部として、または、高エ
ネルギーの画像ピクセルまたはピクセル群を選択するこ
とによって(サブバンド8.1、2および3の符号化で
使用)なされる。
【0023】実施例のDBAプロトコルの第1の部分に
従って、サブバンド1が最初に符号化されると考えられ
る。DBAの条件付き補充条件に応答して、量子化器1
6−1は、以下の条件付き補充基準を満たすサブバンド
画像のピクセルx(i,j,t)のみを符号化する。
【数1】ただし、x(i,j,t)は、時刻tでのサブ
バンド1フレームの第i行第j列のピクセルであり、T
crは、経験的に導出された条件付き補充スカラーしきい
値である。この条件を満たさないピクセルは符号化され
ない。しかし、受信器はこのピクセルに対する直前の値
をこのピクセルに対する現在の値として使用すべきこと
を指示するサイド情報が、受信器へ通知するために生成
される(どのピクセルを前フレームから反復し、どのピ
クセルを量子化するかを指示するサイド情報は、符号化
を行うエントロピー符号器18へ送られる)。従って、
式(1)は、正確な表現のためにどのピクセルを符号化
する必要があり、受信器/復号器はどのピクセル値を単
に反復すればよいか(このような反復すなわち「補充」
を行う際に生じるエラーは式(1)によって許容可能で
あるため)を判断するエラーしきい値を与える。Tcr
選択は、どのくらいの量のサブバンドデータが前に符号
化されたサブバンドフレームから反復されるかを決定す
る。例えば、Tcrは5〜25の値をとる。ピクセルの
ブロックに対する条件付き補充方式は、個々のピクセル
の場合と類似する。ブロックのいずれかのピクセルが式
(1)の条件を満足すれば、そのブロックは符号化され
る。それ以外の場合は、受信器は、受信したサイド情報
に従って、ブロックを反復する。
【0024】量子化器16は、例えばジェイアント(Jay
ant)とノル(Noll)、「波形のディジタル符号化:原理と
音声およびビデオへの応用(Digital Coding of Wavefor
ms:Principles and Applications to Speech and Vide
o)」(1984年)に記載されたような一様6ビットス
カラーPCM量子化器(スカラーピクセルを符号化する
場合)、または、米国特許出願第07/832,526
号に記載されたような幾何学的ベクトル量子化器(ピク
セルのブロックを符号化する場合)からなる。
【0025】量子化器16−1からのすべての量子化さ
れたピクセルは、エントロピー符号器18に送られる。
エントロピー符号器18は、例えば、適応レンペル・ジ
ヴ符号器のような無損失符号器である。例えば、ティ.
エー.ウェルチ(T. A. Welch)、「高性能データ圧縮技
術(A Technique for High Performance Data Compressi
on)」、IEEE Computer Mag.、第17巻第6号第8〜1
9ページ(1984年6月)参照。エントロピー符号器
18が量子化されたピクセルを符号化するのに使用する
ビット数および条件付き補充サイド情報は、他のサブバ
ンドを符号化するために利用可能なビット数を更新する
ために、DBAプロセッサ14に送られる。
【0026】次に符号化されるサブバンドは、高い時間
周波数成分および低い空間周波数成分を含むサブバンド
のような、画像シーケンスにおける対象の運動を反映す
るサブバンドである。実施例では、これはサブバンド
8.1である。このサブバンドの信号エネルギーは、任
意の与えられた時刻におけるビデオシーケンス中の運動
の量の良好な指標を与える。DBAプロセッサ14に応
答して、サブバンド8.1は、DBAプロセッサ14に
よって次式のように決定される所定のしきい値を超過す
る局所エネルギーを有するブロック内のピクセルを量子
化することによって符号化される。
【数2】ただし、和はピクセルのブロックにわたって行
い、Nはブロックサイズ(例えばN=16)を表し、T
mは所定のスカラー運動しきい値である。この例では、
Tmは例えば100に設定される。しきい値Tmを超過
する平均エネルギーを有する運動サブバンド内のピクセ
ルブロックは、2レベルまたは3レベルの幾何学的ベク
トル量子化(米国特許出願第07/832,526号に
記載)を使用して量子化器16−8.1によって符号化
される。Nの値はGVQベクトルサイズである。GVQ
を使用しない場合、これらのブロックの各ピクセルが上
記のようなスカラー量子化器によって符号化される。式
(2)を満たさないブロックのピクセルは量子化され
ず、受信器に送られない。量子化されたピクセルブロッ
クおよびブロックを識別するサイド情報が、符号化を行
うエントロピー符号器18へ送られる。量子化されたピ
クセルブロックおよび対応するサイド情報を符号化する
のに要するビット数は、他のサブバンドを符号化するた
めに利用可能なビット数を更新するために、エントロピ
ー符号器18によってDBAプロセッサ14に送られ
る。
【0027】最後に符号化されるサブバンドは、画像シ
ーケンス中の運動対象(一般的にはゆっくりと運動する
対象)の水平および垂直のエッジ情報を反映する。例え
ば、これらは低い時間周波数成分および高い空間周波数
成分に対応するサブバンドである。実施例では、これら
はサブバンド2および3である。DBAプロセッサ14
に応答して、サブバンド情報を符号化するために残され
ているビットがサブバンド2および3に等分配される。
各サブバンドにおいて、式(2)で定義される局所エネ
ルギーが最大のピクセルブロックが符号化される。ブロ
ックは、上記のように、幾何学的ベクトル量子化または
スカラー量子化を使用して量子化される。ブロックは、
ブロック量子化を継続するのに十分なビットが残らなく
なるまで、ブロックエネルギーの減少順に量子化され
る。上記のように、量子化されたピクセルブロックの情
報はエントロピー符号器18に送られる。
【0028】図4に、図1の符号器の実施例とともに使
用する受信器/復号器の実施例を示す。実施例は、符号
化された信号(およびサイド情報)をチャネル45から
受信し、符号化されていない(すなわち「合成され
た」)ビデオ信号をYUVカラービデオフォーマットで
出力する。チャネル45からの符号化信号は、デマルチ
プレクサ50によって輝度信号(Y)および2つのクロ
ミンナンス信号(U,V)に分離される。符号化されて
いる各サブバンド信号は、各復号セクション55(Y成
分用)、60(U成分用)および80(V成分用)に送
られる。Yサブバンド成分は、上記の米国特許出願第0
7/832,256号の第1実施例の復号器によって復
号される。
【0029】符号化されているサブバンドクロミンナン
スフレームのUシーケンスおよびVシーケンスは、それ
ぞれ復号器60および80によって復号される。これら
の復号器は機能および構造は同一である。明確化のた
め、復号器60の動作のみを説明する。
【0030】符号化されたUクロミンナンスサブバンド
フレームのシーケンスは、エントロピー復号器62によ
って受信される。エントロピー復号器62は、エントロ
ピー符号器18によってなされるプロセスの逆を実行す
る。次に、これらのサブバンドフレームは、脱量子化器
66および脱量子化器制御プロセッサ64に送られる。
脱量子化器制御プロセッサ64は、受信したサイド情報
を使用して、どのピクセルを符号化された情報に基づい
て復号し、どのピクセルを前に復号したピクセル値で反
復するか(すなわち、どのピクセルを補充するか)を決
定する。復号したピクセルはサブバンドごとに脱量子化
器66に送られる。脱量子化器66は、図1の量子化器
16によってなされた符号化の逆を実行する。脱量子化
器66は、補充を実行するのに十分なフレームメモリを
有する。
【0031】サブバンドフレームが生成されると、それ
らはサブバンド合成フィルタ68によって合成され、U
クロミンナンス成分を生成する。サブバンド合成フィル
タ68は、上記のフィルタバンクプロセスの逆を実行す
る。次に、Uクロミンナンス成分は通常のアップサンプ
ラ90によってアップサンプリングされ、Uクロミンナ
ンス画像をフルサイズにする。
【0032】上記の実施例は、図3に例示した以外の構
成にも適用可能であって、知覚的に最重要であるサブバ
ンドおよび知覚的に最重要である画像領域に対する効果
的な制御が可能となる。また、上記の実施例は標準のY
UVフォーマットのビデオ信号で使用するように説明し
たが、本発明は、YIQフォーマットやRGBフォーマ
ットなどの他のカラービデオフォーマットにも適用可能
である。YUVフォーマットおよびYIQフォーマット
の場合、U成分、V成分、I成分およびQ成分は「クロ
ミンナンス」成分または「カラー」成分と呼ばれるが、
R成分、G成分、およびB成分は「カラー」成分と呼ば
れる。
【0033】
【発明の効果】以上述べたごとく、本発明によれば、複
数の画像信号からなる画像信号シーケンスのカラー成分
を効率よく符号化および復号することができる。
【図面の簡単な説明】
【図1】本発明のディジタル画像符号器の実施例の図で
ある。
【図2】図1の実施例によるサブバンドフィルタ配置の
例の図である。
【図3】図2のサブバンドフィルタによって生成される
サブバンドの図形的表現の図である。
【図4】本発明のディジタル画像復号器の実施例の図で
ある。
【符号の説明】
1 符号化セクション 3 輝度フレームシーケンス 10 符号化セクション 12 サブバンドフィルタバンク 13 U成分フレームシーケンス 14 動的ビット割当プロセッサ 16 量子化器 18 エントロピー符号器 20 符号化セクション 23 V成分フレームシーケンス 30 ダウンサンプラ 45 チャネル 50 デマルチプレクサ 55 復号セクション 60 復号セクション 62 エントロピー復号器 64 脱量子化器制御プロセッサ 66 脱量子化器 68 サブバンド合成フィルタ 80 復号セクション 90 アップサンプラ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アヌラグ ビスト アメリカ合衆国、96822 ハワイ、ホノル ル、ナンバ483、ドウル ストリート 2540 (72)発明者 アーノウド イー.ジャクイン アメリカ合衆国、10014 ニューヨーク、 ニューヨーク、エルシー、チャールズ ス トリート 135

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 複数の画像信号からなる画像信号シーケ
    ンスのカラー成分を第1のビット数のビットを使用して
    符号化する方法において、 画像信号シーケンスのカラー成分を複数のサブバンド画
    像信号へとフィルタリングするステップと、 第1ビット数のビットのうち1ビットまたは複数ビット
    を使用して、画像信号シーケンスのカラー成分の画像構
    造を反映する第1のサブバンド画像信号のピクセル信号
    を符号化するステップと、 画像信号シーケンスのカラー成分の画像対象運動情報を
    反映する第2のサブバンド画像信号のピクセル信号を符
    号化する際に使用するために、第1ビット数のビットの
    うち第1サブバンド画像信号のピクセル信号を符号化す
    る際に使用しなかったビットのうちの1ビットまたは複
    数ビットからなる第2のビット数のビットを準備するス
    テップと、 第2ビット数のビットのうち1ビットまたは複数ビット
    を使用して、第2サブバンド画像信号のピクセル信号を
    符号化するステップとからなることを特徴とする画像符
    号化方法。
  2. 【請求項2】 画像構造は、画像信号シーケンスのカラ
    ー成分の低い空間周波数および低い時間周波数を反映す
    ることを特徴とする請求項1の方法。
  3. 【請求項3】 第2サブバンド画像信号のピクセル信号
    は、そのピクセル信号に反映された信号エネルギーに応
    答して選択されることを特徴とする請求項1の方法。
  4. 【請求項4】 ピクセル信号に反映された信号エネルギ
    ーはしきい値を超過するものであることを特徴とする請
    求項3の方法。
  5. 【請求項5】 第1サブバンド画像信号のピクセル信号
    が前に復号した第1サブバンド画像信号のピクセル信号
    によって表現されることを反映する第1の信号を生成す
    るステップをさらに有することを特徴とする請求項1の
    方法。
  6. 【請求項6】 前記生成ステップは、第1サブバンド画
    像信号のピクセル信号を前の第1サブバンド画像信号の
    ピクセル信号と比較して、比較した信号の差がエラー基
    準を満たすかどうかを判定するステップからなることを
    特徴とする請求項5の方法。
  7. 【請求項7】 運動する対象のエッジを反映する第3の
    サブバンド画像信号のピクセル信号を符号化する際に使
    用するために、第1または第2のサブバンド画像信号の
    ピクセル信号を符号化する際に使用しなかったビットの
    うちの1ビットまたは複数ビットからなる第3のビット
    数のビットを準備するステップと、 第3ビット数のビットのうち1ビットまたは複数ビット
    を使用して、第3サブバンド画像信号のピクセル信号を
    符号化するステップとをさらに有することを特徴とする
    請求項1の方法。
  8. 【請求項8】 第3サブバンド画像信号が運動対象の垂
    直エッジを反映することを特徴とする請求項7の方法。
  9. 【請求項9】 第3サブバンド画像信号が運動対象の水
    平エッジを反映することを特徴とする請求項7の方法。
  10. 【請求項10】 第3サブバンド画像信号のピクセル信
    号は、そのピクセル信号に反映された信号エネルギーに
    応答して選択されることを特徴とする請求項7の方法。
  11. 【請求項11】 カラー成分はクロミナンス成分である
    ことを特徴とする請求項1の方法。
  12. 【請求項12】 原画像の画像信号シーケンスのカラー
    成分を反映する符号化されたサブバンド画像に基づいて
    カラー画像を合成する方法において、 カラー画像のカラー成分の画像構造を反映する、カラー
    成分の第1のサブバンド画像の符号化部分を復号するス
    テップと、 第1サブバンド画像の非符号化部分に対して、前に復号
    した第1サブバンド画像の対応部分を採用するステップ
    と、 復号部分および採用部分の組合せに基づいて第1サブバ
    ンド画像を生成するステップと、 画像信号シーケンスのカラー成分の対象運動情報を反映
    する、カラー成分の第2のサブバンド画像の符号化部分
    を復号するステップと、 生成した第1サブバンド画像および第2サブバンド画像
    の復号部分に基づいてカラー画像を合成するステップと
    からなることを特徴とする画像合成方法。
  13. 【請求項13】 画像構造は、画像信号シーケンスのカ
    ラー成分の低い空間周波数および低い時間周波数を反映
    することを特徴とする請求項12の方法。
  14. 【請求項14】 運動する画像対象のエッジ情報を反映
    する、カラー成分の第3のサブバンド画像の符号化部分
    を復号するステップをさらに有することを特徴とする請
    求項12の方法。
  15. 【請求項15】 第3サブバンド画像信号が運動対象の
    垂直エッジを反映することを特徴とする請求項14の方
    法。
  16. 【請求項16】 第3サブバンド画像信号が運動対象の
    水平エッジを反映することを特徴とする請求項14の方
    法。
  17. 【請求項17】 カラー成分はクロミナンス成分である
    ことを特徴とする請求項12の方法。
JP6066444A 1993-03-12 1994-03-11 画像符号化方法および画像合成方法 Expired - Fee Related JP2957083B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/030,516 US5404167A (en) 1993-03-12 1993-03-12 Subband color video coding using a reduced motion information subband
US030516 1993-03-12

Publications (2)

Publication Number Publication Date
JPH06327034A true JPH06327034A (ja) 1994-11-25
JP2957083B2 JP2957083B2 (ja) 1999-10-04

Family

ID=21854574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6066444A Expired - Fee Related JP2957083B2 (ja) 1993-03-12 1994-03-11 画像符号化方法および画像合成方法

Country Status (6)

Country Link
US (1) US5404167A (ja)
EP (1) EP0615385B1 (ja)
JP (1) JP2957083B2 (ja)
CA (1) CA2115281C (ja)
DE (1) DE69426842T2 (ja)
ES (1) ES2155081T3 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0502545B1 (en) * 1991-03-07 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus for encoding a digital image signal
JPH08186815A (ja) * 1994-12-28 1996-07-16 Pioneer Electron Corp サブバンド符号化方法
US6246783B1 (en) * 1997-09-17 2001-06-12 General Electric Company Iterative filter framework for medical images
US6947748B2 (en) * 2000-12-15 2005-09-20 Adaptix, Inc. OFDMA with adaptive subcarrier-cluster configuration and selective loading
KR100734790B1 (ko) * 2003-07-09 2007-07-03 닛본 덴끼 가부시끼가이샤 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체
US7778446B2 (en) * 2006-12-06 2010-08-17 Honda Motor Co., Ltd Fast human pose estimation using appearance and motion via multi-dimensional boosting regression
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817182A (en) * 1987-05-04 1989-03-28 General Electric Company Truncated subband coding of images
US5136374A (en) * 1990-04-03 1992-08-04 At&T Bell Laboratories Geometric vector quantization
KR920001926A (ko) * 1990-06-25 1992-01-30 강진구 슈퍼 hd-tv시스템의 인코더 전송장치 및 방식
KR930006739B1 (ko) * 1990-08-30 1993-07-23 주식회사 금성사 서브밴드 코딩방법 및 엔코딩/디코딩장치
US5115309A (en) * 1990-09-10 1992-05-19 At&T Bell Laboratories Method and apparatus for dynamic channel bandwidth allocation among multiple parallel video coders
GB2252002B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Compression of video signals
GB2251756B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Compression of video signals
US5218435A (en) * 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
CA2088082C (en) * 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding

Also Published As

Publication number Publication date
CA2115281A1 (en) 1994-09-13
EP0615385B1 (en) 2001-03-14
ES2155081T3 (es) 2001-05-01
US5404167A (en) 1995-04-04
DE69426842D1 (de) 2001-04-19
CA2115281C (en) 1999-06-15
EP0615385A3 (en) 1995-09-27
JP2957083B2 (ja) 1999-10-04
DE69426842T2 (de) 2001-09-06
EP0615385A2 (en) 1994-09-14

Similar Documents

Publication Publication Date Title
JP2915238B2 (ja) 信号符号化方法および信号符号化装置
PodilChuk et al. Three-dimensional subband coding of video
JP2669707B2 (ja) 2次元情報の符号化方法
Gharavi et al. Sub-band coding of monochrome and color images
JP4037271B2 (ja) 信号圧縮装置及び方法
US4943855A (en) Progressive sub-band image coding system
JP2823770B2 (ja) マルチレベル信号の符号化方法
US5808683A (en) Subband image coding and decoding
US5337085A (en) Coding technique for high definition television signals
JPH03136595A (ja) デイジタル動画像の記憶または伝送に用いるビデオ画像データの処理方法
US20070165713A1 (en) Method and device for encoding blocks of values
Gharavi et al. Application of quadrature mirror filtering to the coding of monochrome and color images
US5343539A (en) Method for spatial domain image compression
JP2957083B2 (ja) 画像符号化方法および画像合成方法
US5923787A (en) Quantization device and method, inverse-quantization device and method, and image processing device and method
WO1991014340A1 (en) Digital image processing including block edges filtering
JPH0918876A (ja) 動画像符号化装置及び動画像復号装置
Podilchuk et al. Subband video coding with a dynamic bit allocation and geometric vector quantization
Teng et al. A new quadtree predictive image coder
JP2705228B2 (ja) 画像信号用サブバンド符号化方式
Furukawa et al. Hierarchical coding of super high definition images with subband+ multistage VQ
JPH0335300A (ja) 音声符号・復号化伝送方式
Kim et al. Two-stage multirate coding of color images
Podilchuk Low-bit rate subband video coding
JPH09182074A (ja) 画像信号符号化方法及び装置、画像信号復号方法及び装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees