JPH10285604A - 単一処理段階による最適な映像圧縮方法及びシステム - Google Patents

単一処理段階による最適な映像圧縮方法及びシステム

Info

Publication number
JPH10285604A
JPH10285604A JP10072054A JP7205498A JPH10285604A JP H10285604 A JPH10285604 A JP H10285604A JP 10072054 A JP10072054 A JP 10072054A JP 7205498 A JP7205498 A JP 7205498A JP H10285604 A JPH10285604 A JP H10285604A
Authority
JP
Japan
Prior art keywords
data
frames
video
video signal
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10072054A
Other languages
English (en)
Inventor
Joseph W Niesen
ダブリュー ニーゼン ジョセフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Space and Mission Systems Corp
Original Assignee
TRW Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRW Inc filed Critical TRW Inc
Publication of JPH10285604A publication Critical patent/JPH10285604A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Abstract

(57)【要約】 （修正有） 【課題】 データ圧縮プロセスにおいてデータ圧縮を最
適化する方法及びシステムを提供する。 【解決手段】 映像信号データ圧縮動作(122) を遂行す
るために単一のコンプレッサが設けられる。該コンプレ
ッサは、複数の映像信号フレームからの空間及び時間デ
ータを含む映像信号を受け取る。コンプレッサは、複数
の映像信号フレームを同時に登録することにより複数の
映像フレームに対して動き補償(124,126)を遂行して、
複数の運動ベクトルを発生する。エネルギーコンパクシ
ョンパラメータを含む性能メトリックが複数の運動ベク
トル(128) から発生される。この性能メトリックは、動
き補償段階(124,126) に適用されて、その動き補償段階
及びその後のデータ圧縮プロセス段階においてレート歪
性能を最適化する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般に、デジタル
映像信号の圧縮に係り、より詳細には、初期の動き補償
段階中にレート歪性能を決定し、これにより、高い信号
圧縮比と低い送信レートとを達成するデジタル映像信号
のエネルギーコンパクション方法に係る。
【０００２】
【従来の技術】現在の映像用途では、大量のデータを高
いビットレート及び最小量の信号歪で送信することを必
要とする。例えば、ＶＣＲグレード映像（ＳＩＦ）、放
送テレビジョン映像（ＣＣＩＲ−６０１）及び高品位テ
レビビジョン（ＨＤＴＶ）のようなデジタル映像のため
の非圧縮のデータビットレートは、各々、４Ｍｂｐｓ、
１５Ｍｂｐｓ及び１６Ｍｂｐｓである。非圧縮状態にお
いては、これらデータビットレートは、このような映像
信号を商業的に実現可能なやり方で送信しそして処理す
るには高過ぎる。それ故、このような映像信号は、これ
を実際的なやり方で処理するために、送信の前に圧縮し
なければならない。
【０００３】映像をベースとする用途及び製品の普及に
応じて、標準的な映像信号圧縮シンタックスを生み出す
工業的規模の要求が生じている。インターナショナル・
スタンダード・オーガナイゼーション（ＩＳＯ）のもと
で、動画専門グループ（ＭＰＥＧ）と非公式に知られて
いるグループは、デジタル映像及び音声圧縮の規格を規
定するために創設された。ＭＰＥＧは、圧縮された映像
信号のビット流の内容を規定することによる標準的なシ
ンタックスと、送信の後にビット流を圧縮解除する方法
とを形成した。しかしながら、圧縮方法は規定されてお
らず、従って、個々の製造者は、規定の規格内でデータ
ビット流を実際に圧縮する種々の方法を開発することが
できる。
【０００４】ＭＰＥＧは、今日までに、デジタル映像業
界に広く使用されている２つのシンタックスを規定し
た。ＭＰＥＧ−１として知られているシンタックスは、
広範囲のビットレートとサンプルレートに適用できるよ
うに規定されている。特に、ＭＰＥＧ−１は、約１．５
Ｍｂ／ｓの送信レートを有するＣＤ／ＲＯＭ用途及び他
の非インターレース型映像用途に使用するのに適してい
る。ＭＰＥＧ−２として知られている第２のシンタック
スは、コード化ビットレートが４ないし９Ｍｂ／ｓの放
送映像及び他の映像信号用途のために規定されたもので
ある。又、ＭＰＥＧ−２シンタックスは、インターレー
スされた映像の効率的なコード化を必要とするＨＤＴＶ
及び他の用途にも適用できる。
【０００５】
【発明が解決しようとする課題】上記のＭＰＥＧ−１及
びＭＰＥＧ−２シンタックスは、充分な性能特性を示す
が、デジタル映像の現在の発展は、更なる技術進歩の必
要性を示している。というのは、現在のＭＰＥＧ映像シ
ンタックスの規定では、それに関連した制約があるから
である。例えば、非変化映像ピクセルに対してデータビ
ットレート送信を最小にすることにより映像圧縮を改善
する現象である時間的冗長性は、映像信号圧縮を最大に
する効率的な方法である。現在のＭＰＥＧ−１及び２の
データ圧縮に基づく方法は、時間的圧縮を使用する。
【０００６】しかしながら、ＭＰＥＧ−１及び２に基づ
く時間的圧縮は、フレームごとの判断をベースとするも
ので、この方法は、時間的圧縮の利点を完全に取り入れ
るものではない。特に、商業規格ＭＰＥＧ−１及びＭＰ
ＥＧ−２シンタックスは、時間的な冗長性を部分的に使
用するに過ぎない。更に、現在のＭＰＥＧシンタックス
は、多数の最適化変数（予想フレーム、双一次フレーム
及びフレーム内変数）を計算し、送信し、そしてＭＰＥ
Ｇ信号デコンプレッサによりデコードすることを必要と
する。これらの多数の変数の使用は、データ圧縮に計算
時間及び複雑さの両方を付加する。又、多数の現在のＭ
ＰＥＧシンタックスは、３０：１という関連ビットレー
ト圧縮を示すが、次第に複雑で且つデータ集中の映像用
途では、リアルタイム処理のために高い圧縮レートが必
要となる。２００：１という高い圧縮レートを要求する
データ圧縮方法も存在するが、このような方法は、映像
フレームシーケンスにおいてピクセルのアレーをサブサ
ンプリングし（即ち１つおきのピクセルを破棄し）そし
て他の簡単な解決策を使用して高い圧縮を得る。
【０００７】更に、上記ＭＰＥＧ−１及びＭＰＥＧ−２
シンタックスでは、ブロックマッチングアルゴリズム
（ＢＭＡ）として知られたデータ圧縮最適化動作が、Ｍ
ＰＥＧ映像圧縮プロセスにおいて最も計算能力のある動
作である。このＢＭＡ動作は、徹底的なものであるが、
著しい量の処理能力を必要とする。例えば、カリフォル
ニア州ミルピタスのＬＳＩロジック社は、現在、ＡＭＥ
Ｐという名前で市販されているＡＳＩＣチップを製造し
ており、これは、５００インテル・ペンティウム１６６
ＭＨｚプロセッサと同等のレートで計算を実行すること
ができる。ＢＭＡ段階を実行するのに、これらチップが
２つ必要とされるだけである一方、残りのデータ圧縮計
算を行うのに、通常は３つの付加的なチップが必要とさ
れるだけである。その結果、ＭＰＥＧ−２委員会は、最
近、既存のブロックマッチングアルゴリズム（ＢＭＡ）
を改善し、即ちデータ圧縮動作の複雑さを低減すると共
に、それに関連したデータ送信レートを減少するための
新規な別の方法を要求している。
【０００８】データ送信レートを最小にするデータ圧縮
最適化方法が存在する。例えば、参考としてここに取り
上げるＴＲＷ社に譲渡されたニーセン氏の「デジタル映
像システムの三次元圧縮方法及びシステム(Method and
System of Three Dimensional Compression of Digital
Video Systems) 」と題する米国特許出願第０８／６２
１，８５５号は、変換係数送信順序に基づいて映像圧縮
を最適化することによって映像圧縮変換動作の後に実行
される映像データ圧縮最適化方法を開示している。これ
らの方法は、動きの補償及び変換係数が計算された後に
プロセスの最終段階において実現される。上記のような
圧縮方法は、データ圧縮において著しい進歩をもたらす
が、まだ改善の余地がある。特に、プロセスのできるだ
け早期にレート歪を最小にすることにより、その後の段
階に得られるデータ圧縮を最適化するために、データ圧
縮プロセスの初期段階で実現されるデータ圧縮最大化方
法が要望される。
【０００９】
【課題を解決するための手段】本発明の教示によれば、
デジタル映像信号の圧縮を最適化する方法が提供され
る。本発明の方法は、現在のＭＰＥＧ規格よりも高い圧
縮比を示す。同時に、この方法は、従来のＢＭＡよりも
計算集中動作が少ない。特に、一次マルコフモデルをベ
ースとする本発明の映像信号圧縮方法は、データ圧縮の
動き補償段階にコンパクション性能メトリックを適用す
ることによって圧縮プロセスの早期に信号レート歪性能
を最大にする。動き補償段階は、他の全てのデータ圧縮
段階のレート歪性能に直接リンクされるので、データ圧
縮性が増加される。この方法は、ＭＰＥＧ対応フォーマ
ットで実現され、従って、この方法は、現在のデジタル
映像信号用途に使用することができる。
【００１０】本発明の解決策において、デジタル映像信
号を圧縮する方法が提供される。この方法は、ここに示
す形態において、圧縮プロセスで発生される離散的コサ
イン変換（ＤＣＴ）係数のサブセットを使用して、残り
の係数の状態を近似する。この方法は、映像信号データ
圧縮動作を遂行するコンプレッサを用意する段階を含
む。映像信号は、コンプレッサに受け取られ、複数の映
像信号フレームからの空間的及び時間的データを含む。
コンプレッサは、複数の映像フレームにおける動きを補
償し、そしてエネルギーコンパクションを最大にするた
めの性能メトリックを発生する。コンプレッサは、動き
に対する補償段階に性能メトリックを適用し、その後の
データ圧縮プロセス段階におけるレート歪性能を最適化
する。
【００１１】
【発明の実施の形態】本発明の他の目的及び効果は、添
付図面を参照した以下の詳細な説明より明らかとなろ
う。図１及び２を一般的に参照すれば、本発明の好まし
い実施形態を実施するシステムが１０ａ及び１０ｂで一
般的に示されている。本発明のデータ圧縮方法は、デー
タ圧縮性を最大にするが、これは、以下に詳細に述べる
コンパクション性能メトリックをデータ圧縮動作の動き
補償段階に適用して、残りの圧縮段階でのレート歪を最
小にすることによりデータ圧縮性を最大にする。その結
果、データ圧縮動作の複雑性が相当に減少され、そして
圧縮比は、現在のＭＰＥＧベースの方法と比較したとき
に著しく高められる。
【００１２】特に図１を参照すれば、映像信号ソース１
２において映像信号が発生される。この映像信号ソース
は、デジタル映像信号の何らかの発生源であってもよい
し、又はアナログ／デジタル映像フレームグラバ１４の
ような手段を通して後でデジタルに変換されるアナログ
映像信号であってもよいことが意図される。このような
映像信号ソースは、ビデオカセットレコーダ（ＶＣ
Ｒ）、ＣＤ／ＲＯＭ、放送テレビジョン信号発生器、高
品位テレビジョン信号発生器、或いは何らかの形式のコ
ンピュータネットワークアプリケーション又は他のリア
ルタイムデジタル映像ソースを含むが、これらに限定さ
れるものではない。映像信号ソース１２及び／又は映像
フレームグラバ１４から発生されたデジタル映像信号
は、１６で一般的に示された信号コンプレッサへ入力さ
れる。この信号コンプレッサは、プロセッサ１８、メモ
リ２０及び電源２２を備えている。又、中央ハードドラ
イブ２４のような外部記憶媒体がＣＰＵに作動的に接続
され、更なる計算及びメモリ能力をコンプレッサに付加
する。
【００１３】上記信号コンプレッサは、Ｓｕｎ Ｓｐａ
ｒｃ１０ワークステーションであるのが好ましい。しか
しながら、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）プ
ロセッサチップを有するＩＢＭ又はＩＢＭ対応のパーソ
ナルコンピュータのような他のコンピュータ、或いは同
等の処理能力を有する他のプロセッサユニットも、本発
明のデータ圧縮方法を実施するのに使用できる。本発明
の方法は、ＡＮＳＩＣプログラミング言語を用いて上記
信号コンプレッサの１つにプログラムすることができ
る。しかしながら、本発明の方法を実施できる他のコン
ピュータ言語を使用できることも明らかである。
【００１４】又、信号コンプレッサは、プロセッサ１８
に加えて、以下に述べる本発明の好ましい方法に基づい
て離散的コサイン変換（ＤＣＴ）又は他の変換動作を遂
行するためのアプリケーション指向の集積回路（ＡＳＩ
Ｃ）３０も備えている。又、信号コンプレッサ１８は、
参考としてここに取り上げるニーセン氏の米国特許出願
第０８／６２１，８５５号に開示されたように、データ
送信のためのヒストグラムを形成するのに使用できるヒ
ストグラムチップ３２も備えている。
【００１５】エネルギーコンパクション方法は、従来の
ソフトウェアプログラミング技術によりプロセッサ１８
を介して実現できることが明らかである。或いは又、本
発明のエネルギーコンパクション方法は、３４で示すＶ
ＬＳＩチップのようなＶＬＳＩハードウェアの実施によ
り実現することもできる。ソフトウェア、ハードウェア
又はその両方の組合せによる本発明の実現は、この技術
で良く知られたようにシステム全体の経費と処理速度と
の間の妥協を伴う。
【００１６】図２を参照すれば、信号受信器が１０ｂで
一般的に示されている。信号受信器は、４０で一般に示
された信号デコンプレッサを備えている。信号コンプレ
ッサの場合と同様に、デコンプレッサは、Ｓｕｎ Ｓｐ
ａｒｃ１０ワークステーション、Ｉｎｔｅｌ Ｐｅｎｔ
ｉｕｍ（登録商標）プロセッサを伴うＩＢＭパーソナル
コンピュータ、又は同様の処理能力を有する他のプロセ
ッサユニットである。コンプレッサ及びデコンプレッサ
は、実際に、同じプロセッサでよく、そしてデコンプレ
ッサは、プロセッサが行ったことを元に戻すことが明ら
かである。デコンプレッサは、信号コンプレッサ１６か
ら送信された圧縮された映像フレームを再構成するため
に逆変換を遂行するプロセッサ４２を含む。特に、ＡＳ
ＩＣ４４がこれらの逆変換を遂行する。又、プロセッサ
４２は、この技術で良く知られた形式のメモリ４６及び
電源４８も備えている。又、送信され再構成された映像
フレームを表示するためにプロセッサ４２には映像モニ
タ５０も接続される。この映像モニタは、この技術で良
く知られた形式のもので、テレビジョンやコンピュータ
ディスプレイや他の市販のピクセルベースの映像スクリ
ーンである。
【００１７】図３を参照すれば、従来のＭＰＥＧ−２を
ベースとするデータ圧縮プロセスの段階を示す図が５０
で示されている。映像信号ソース１２により発生されて
図４に５４で一般的に示された映像フレームの逐次グル
ープが、５２において、信号コンプレッサ１６に入力さ
れる。映像フレームの各々は、図４に時間指示５６で示
されそしてこの技術で良く知られたように、時間的に連
続するピクセルの配列を表す。図３に示すように、従来
のＭＰＥＧ−２シンタックスによれば、一連のフレーム
は、コンプレッサに入力された後に、ステップ５８で動
き補償分析を受ける。動き補償の一般的な数学表示は、
次の通りである。フレーム０（Ｓ0 ）からのマクロブロ
ックに対するマクロブロックフレームｎ（ｓn ）の動き
補償のための変位Δｘn 及びΔｙn は、次の数１の通り
であり、
【数１】 これは、フレームＳ0 において好ましくは１６ピクセル
ｘ１６ピクセルであるピクセルウインドウ内の全ての考
えられるΔｘn 、Δｙn に対するものである。図５に６
０で示すように、初期（Ｉ）フレームは、基準フレーム
Ｓ0 として使用される。残りのフレームＳn は、予想
（Ｐ）フレーム、又は双一次の補間（Ｂ）フレームのい
ずれかとして処理される。ピクセルのウインドウは、上
記式のデータを発生するために各フレームのまわりで移
動され、そして図６に６２で示すように、所定のシーケ
ンスで一度に２フレームづつフレームのグループにおい
て動き補償が行われる。
【００１８】再び図３を参照すれば、６６において、フ
レーム内に含まれたデータに対して二次元の離散的コサ
イン変換（ＤＣＴ）が行われて、データが空間位置ドメ
インから空間周波数ドメインに変換される。複数の映像
フレームの二次元空間ＤＣＴは、「時間タグ」インデッ
クスｔにより次の数２のように指示される。
【数２】 但し、Ｎは、フレームのグループにおけるフレーム数で
あり、そして次の数３の通りである。
【数３】
【００１９】又、６６において、時間次元における映像
フレームのデータに対して一次元の離散的コサイン変換
が行われて、空間変換係数の各々に対し「時間周波数タ
グ」が効率的に形成される。その結果、図４に示すフレ
ームのグループは、図７に６４で示すように、時間ドメ
インから周波数ドメインへ移行される。変換プロセスの
後に、エネルギーコンパクション計算が６７において実
行される。コンパクションプロセスは、高い帯域及び低
い帯域における変換係数間の相関を最適にし、そしてほ
とんどの係数エネルギーを、適切に動き補償されたブロ
ックに対して低い帯域に配置する。又、コンパクション
プロセスは、次の２つのペナルティも含む。１．動き補
償に使用されるＢＭＡによる準最適性、及び２．残留動
きエラーを効率的に変換する必要性。各映像フレームに
対して得られるデータは、６８において、量子化され、
そして図８に７０で一般的に示された二次元量子化マト
リクスに入力される。得られるマトリクスの各々は、一
般に、図７の７２に矢印Ｕで示された行当たり１２の係
数と、７４に矢印Ｖで示された列当たり１２の係数とを
含み、これらは、１２個の映像フレームのグループに対
応する。
【００２０】図３の８０において、プロセッサは、特定
の処理されたフレームグループに対して各係数がゼロで
ある確率を計算し、そしてそれに応じて、従来のＭＰＥ
Ｇ−２データ圧縮方法に使用されるジグザグ送信ブロッ
ク順序で係数を配列する。係数が量子化マトリクスにお
いて上記のジグザグ順の送信ブロックに配列された後
に、信号デコンプレッサ４２へ送信されるべきデータに
対して最適な歪及び送信レートの計算が行われる。８２
において、ＭＰＥＧ−２シンタックスは、ジグザグ順の
係数に対して二次元のゼロランレングスコード化を遂行
して、１２フレームの各グループごとにゼロランレング
スを最適化する。その結果、送信される圧縮ビット流
は、ゼロである確率が最も低い係数が最初に送信されそ
してゼロである確率が最も低い係数が次第に確率が高く
なる順に送信されるような順序を含む。ジグザグ順序で
は、量子化された係数の第１マトリクスの第１行は、最
小数のゼロをもつ処理されたフレームグループからの列
である。量子化された係数の第１マトリクスの第２行
は、第２の最小数のゼロをもつ処理されたフレームグル
ープからの列である。第１マトリクスの残りの行は、列
におけるゼロ係数の数に関して同様の順序で埋められ
る。第２マトリクスの行は、残りの列がある場合には、
非ゼロの係数で埋められる。このゼロランレングスコー
ド化は、関連エネルギーをもたずにゼロ値の係数で表さ
れるデータの送信量を最小にする。
【００２１】データ送信レートは、８２において、通常
は規格ＭＰＥＧシンタックスに基づく計算を使用して計
算される。しかしながら、送信レートは、参考としてこ
こに取り上げるニーセン氏の米国特許出願第０８／６２
１，８５５号に開示された三次元送信レート方法のよう
な方法により決定されてもよい。エントロピー計算は送
信レートを若干過剰に推定する。ＭＰＥＧ方法は、一般
に、次の数４により実現されるハフマンコードを用いて
レート決定を計算する。
【数４】 但し、Ｌi は、ゼロランレングス＋１であり、そしてｐ
i は、I ゼロの和の確率である。
【００２２】上記のＭＰＥＧ−２シンタックスは、量子
化マトリクスにおける量子化された係数の順序に関連し
てエネルギーコンパクションを使用し、それ故、エネル
ギーコンパクションの利点を完全に取り入れるものでは
ない。エネルギーコンパクション段階は、データ圧縮プ
ロセスにおいてできるだけ早期に行われるのが重要であ
る。というのは、順序付け及びコード化段階に入力され
る信号係数が良好なエネルギーコンパクションを示す場
合にこれら段階の最適な性能が高められるからである。
以下に述べるように、本発明のデータ圧縮方法は、エネ
ルギーコンパクションプロセス段階をデータ圧縮動き補
償段階と組み合わせることによりデータ圧縮を最適化
し、これにより、エネルギーコンパクションに関連した
利点を完全に利用するようにする。
【００２３】図９を参照すれば、本発明の最適化データ
圧縮方法を実現するのに使用される方法論の好ましい実
施形態が９０で一般的に示されている。本発明の方法
は、９２において、図１０に９４で示すデジタル化映像
フレームのセットを受け取り、そして９６においてフレ
ームに対して動き補償を実行する。処理されるグループ
を構成するフレームの数は、好ましくは８であるが、２
ないしＮの範囲でよい。但し、Ｎは、映像処理用途と、
Ｎ個のフレームの記憶をサポートするのに使用できるメ
モリとに基づいて、偶数の整数である。本発明による動
き補償段階は、時間的な強度の変化に対し一次マルコフ
モデルをベースとし、それ故、処理されているフレーム
のグループにおけるフレームの傾向に合致する。これ
は、従来のＭＰＥＧ−２シンタックスに関連した２つの
連続するフレームの相違について狭く収束される時間的
な最小化とは対照的である。その結果、一般にカメラの
ズーミング又はパン操作からのピクセルデータ入力に関
連したフレームデータを正確に処理する。例えば、収束
により物体が次第に拡大するシーンは、平均ルミナンス
強度の順次の増加／減少を経験する。このようなシーン
の変化は、ここに提案する本発明により最良に取り扱わ
れる。
【００２４】エネルギーコンパクションは、９８におい
て、動き補償段階に関連した上記の時間的周波数タグに
おいてそして図１１に１０２で示すようにデータを時間
ドメインから周波数ドメインへ変換する（１００）前に
フレームデータに対して実行される。従って、エネルギ
ーコンパクションプロセスを変換プロセスの前に動き補
償段階に統合することにより、１０４、１０６及び１０
８に示す上記と同様の量子化、順序付け及びコード化段
階のようなエネルギーコンパクション従属段階がデータ
圧縮を最大にすることができる。というのは、圧縮され
た映像データが１１０において出力される前にそして段
階１００の前に、エネルギーコンパクションに対する動
き補償の作用が最適化されるからである。
【００２５】本発明の方法の実現化について以下に説明
する。特に、図９に示す変換段階１００を参照すれば、
三次元ＤＣＴ変換のための係数エネルギーの大部分は、
時間係数Ｓ（０、０、ｗ）及びＳ（ｕ、ｖ、０）係数に
存在する。Ｓ（０、０、ｗ）係数は、１組の画像グルー
プ内の２つのフレームの種々の組合せのブロックからの
ピクセル強度の差として表すことができる。以下に述べ
るように、動き補償のためのコストのかかるメトリック
は、Ｓ（０、０、ｗ）係数に対して基本制約エラー（Ｂ
ＲＥ）の推定によって測定されるエネルギーコンパクシ
ョンである。Ｓ（０、０、０）係数は、フレームの差を
含まないので、エネルギーコンパクション最適化には含
まれない。Ｓ（０、０、４）係数は、４つのフレームの
差の変数がそれを最適化するだけのために発生されるこ
とを必要とし、これも、エネルギーコンパクション最適
化には含まれない。
【００２６】本発明の係数エネルギーコンパクション方
法の使用は、上記ＢＭＡ方法を従来使用する二次元の時
間的ＭＰＥＧ予想コード化方法の拡張である。ＢＭＡ
は、マクロブロックのフレーム差におけるエネルギーを
最小にする。２つのフレームに対し、Ｓ（０、０、１）
の時間的高周波数係数は、次の数５のように表される。
【数５】
【００２７】Ｓ（０、０、１）係数のエネルギーは、Ｎ
と上記式の平方の積である。ＭＰＥＧに使用されるＢＭ
Ａのコスト基準は、ｘ’＝ｘ及びｙ’＝ｙのときにＳ
（０、０、１）の式で表される高周波数係数のエネルギ
ー貢献である。従って、ＢＭＡは、２つのフレームに対
するＢＲＥの一部分を最小にするように働く。本発明の
動き補償方法は、ＢＲＥ推定を動き補償性能メトリック
として使用して３つ以上のフレーム（Ｎt ＞２）まで拡
張される。
【００２８】本発明の動き補償方法は、ＢＭＡが２つの
フレームのための高い時間的周波数サブ帯域におけるエ
ネルギーをほぼ最小にするという考え方を動機とする。
高い時間的周波数エネルギーの最小化は、１組のＳ
（０、０、ｗ）係数においてＢＲＥを最小にすることに
より２つ以上のフレームへと拡張される。但し、Ｓ
（０、０、ｗ）は、次の数６の通りである。
【数６】 この考え方は、いかなる偶数のフレームにも適用できる
が、次の分析においては１組の８個のフレームに適用さ
れる。又、ここに提案する変換方法は、Ｓ（１、１、
ｗ）のようにｕ≠０、ｖ≠０である三次元係数ベクトル
にも適用できる。この場合には、次の数７の通りである
か、
【数７】 又は次の数８の通りである。
【数８】 Ｓ（１、１、ｗ）は、差を同じ係数でスケーリングした
ものであるピクセルグループへと分離することができ
る。
【００２９】ここに提案する方法は、離散的サー(Sire)
変換及び離散的フーリエ変換にも適用される。本発明に
おいて、フレームの差は適切に重み付けされそして加算
されて、次の数９のような三次元ＤＣＴ係数を形成す
る。
【数９】
【００３０】ランダム変数γ1 、γ2 、γ3 、γ4 、γ
5 及びγ6 は、ピクセルのＮｘＮブロックの差であり、
次の数１０のように定義される。
【数１０】 但し、ｘ’＝ｘ＋δｘ、ｙ’＝ｙ＋δｙであり、そして
δｘ及びδｙは、基準フレーム内での変位が許される。
【００３１】γ1 の方程式において、ｓ（ｘ、ｙ、３）
は、サーチフレームであり、一方、ｓ（ｘ’、ｙ’、
０）は、γ6 の拡張における基準フレームである。フレ
ームの差γ1 が小さいと仮定すれば、ｓ（ｘ’、ｙ’、
０）はｓ（ｘ’、ｙ’、３）を近似するのに使用でき
る。γ4 及びγ6 の式において、基準フレームｓ
（ｘ’、ｙ’、２）及びｓ（ｘ’、ｙ’、３）は、ｓ
（ｘ’、ｙ’、１）及びｓ（ｘ’、ｙ’、０）により各
々近似できる。基準フレームに対して示唆された代入を
γ4及びγ6 に使用すると、６個の変位ベクトルが発生
される。基準フレーム１は、その後の映像圧縮プロセス
段階においてそれらの元の状態で使用される。上記の解
決策を使用するときには、フレーム０及び１は、８フレ
ームのグループの三次元動き補償の基準フレームとして
使用できる（図１４を参照）。
【００３２】本発明の動き補償／エネルギーコンパクシ
ョン方法の目的は、８フレームのグループからのブロッ
クを基準フレームのサーチ範囲内に配置して、係数ベク
トルｓ 00のＢＲＥを最小にすることである。従って、エ
ネルギーコンパクション能力を本質的に定める基本制約
エラー（ＢＲＥ）は、ピクセルの元のブロックと、ピク
セルの再構成されたブロックとの間の平均平方エラーと
して次の数１１のように表される。
【数１１】 ピクセルの再構成されたブロックは、より高い周波数の
多数の変換係数を切断した後に形成される。その結果、
基本制約エラーは、ｎ個の最も高い空間的周波数係数
と、ｍ個の最も高い時間的周波数係数とが切断されるの
で、単一の変換に対し、上記切断された係数の平方の和
として次の数１２のように表される。
【数１２】
【００３３】係数ベクトルは、次のように表される。ｓ 00 ＝〔Ｓ（０、０、１）、Ｓ（０、０、２）、Ｓ
（０、０、３）、Ｓ（０、０、５）、Ｓ（０、０、
６）、Ｓ（０、０、７）〕T 係数ベクトルｓ 00は、γベクトルにおける１組のフレー
ム差について次の数１３のように表される。但し、γ＝
〔γ1 、γ2 、γ3 、γ4 、γ5 、γ6 〕T である。
【数１３】 次いで、ｓ 00＝ｋγにセットする。その結果、ｓ T 00ｓ
00＝γT ＫT Ｋγ＝γTＬγとなる。但し、Ｌ＝ＫT Ｋ
である。
【００３４】本発明の別の実施形態において、動き補償
に対する異なるメトリックは、ＢＲＥではなく、係数ベ
クトルｓ 00の大きさ又は内積を使用することである。こ
の解決策において、大きさｓ 00、ｓ 00 T ｓ 00を使用し
て、内積を最大にする変位の最良の組が決定される。こ
の別の解決策において、レイリーの商を使用して、時間
的係数ベクトルｓ 00の内積を最小にする助けとする。ベ
クトルｓ 00の内積は、フレームの差のベクトルγ及びマ
トリクスＬについて述べることができる。但し、ｓ 00 T
ｓ 00＝γ T Ｌγである。
【００３５】係数マトリクスは、次のように分解でき
る。 Ｌ＝ＱT ΛＱ 但し、Ｑ＝〔ｅ 1 、ｅ 2 、ｅ 3 、ｅ 4 、ｅ 5 、ｅ 6 〕T
であり、そして次の数１４の通りである。
【数１４】 固有ベクトルｅ 1 及びｅ 6 は、各々、最小の固有値λ1
及び最大の固有値λ6に対応する。数１５のレイリーの
商は、ｘ＝ｅ 1 のときに値λ1 に最小化され、そしてｘ
＝ｅ 6 のときにλ6 に最大化される。
【数１５】
【００３６】レイリーの商は、フレームの差のベクトル
がγ＝αｅ 1 のときに最小になる。但し、αは倍率係数
で、α≠０である。αｅ 1 をｘに、そしてｓ 00 T ｓ 00を
ｘ TＬｘに代入すると、レイリーの商は、次の数１６の
ようになる。
【数１６】 係数ベクトルの内積ｓ 00 T ｓ 00は、γ＝αｅ 1 が｜α｜
の最小値に対して満足されるときに、次の数１７のよう
に値α2 λ1 に最小化される。
【数１７】 上記の最小化は、次のことに対する動機となる。次い
で、上記最小化の式を満足するα及びγの値が決定され
る。γ≠０でありそしてγの各成分が最小にされたとき
には、次の数１８のようにγ＝αｅ 1 から大きさが得ら
れる。
【数１８】
【００３７】次の手順は、α＞０の場合に１回そしてα
＜０の場合に１回の２回行われる。｜α｜max の値は、
α＞０の場合の最大値及びα＜０の場合の最小値をセッ
トするのに使用される。γ 1+が、αｅ 1 （ｉ）より大き
い最小値を発生するフレーム差であり、γ 1-が、αｅ 1
（ｉ）より小さい最小値を発生するフレーム差でありそ
してγ 10が、γ 10＝αｅ 1 （ｉ）のようなフレーム差で
ある場合には、レイリー商を最も小さくする１組のフレ
ーム差を評価するために、γ 1+、γ 1-及びγ 10の全ての
考えられる組合せが試行ベクトルαｅ1 へと形成され、
各試行ベクトルは、そのｊインデックスにより識別され
る。各試行ベクトルは、レイリー商とフレーム差の積に
おいて評価される。αｅ1 を最良に近似する試行ベクト
ルは、次の数１９を最小にするαｅ1jである。
【数１９】
【００３８】本発明のこの別の三次元動き補償エネルギ
ーコンパクション方法の有効性は、上記試行ベクトルに
より得られる最小値によって決定される。三次元の動き
補償方法に対する残留動きエラーのエネルギーは、他の
動き補償方法と比較するための標準的な方法を与える。
【００３９】本発明のこの別の方法は、ｓ 00の空間−時
間周波数成分の平方の和を最小にするように作用する。
というのは、動き補償のためのＢＲＥメトリックがｓ 00
のエネルギーコンパクションを最大にするように作用す
るからである。このような方法は、図９に１００で示さ
れたその後の変換プロセスと相乗作用し、これも、変換
係数のエネルギーコンパクションを最大にするように働
く。本発明のエネルギーコンパクション方法は、全デー
タ圧縮プロセスにおける残留動きエラーを減少する。と
いうのは、本発明のエネルギーコンパクションを用いる
データ圧縮方法により発生されるベクトル係数値は、従
来のＭＰＥＧ−２ベースの方法のブロックマッチングア
ルゴリズム（ＢＭＡ）により発生される対応するベクト
ル係数値よりエネルギーが低いからである。本発明のエ
ネルギーコンパクション方法は、従来のＭＰＥＧ−２概
念において発生されるものよりも健全な性能メトリック
を有し、それ故、残留動きエラーにおけるエネルギーの
最小化との結び付きがより強力である。図１２に１２０
で示すフローチャートは、図９の動き補償段階９６及び
エネルギーコンパクション段階９８に関連した方法を詳
細に示す。ステップ１２２において、映像データがデー
タコンプレッサに入力される。次いで、映像データに対
して動き補償が行われ、そして１２４において、係数ベ
クトルが発生される一方、図９について上記したよう
に、１２６において変位ベクトルが発生される。本発明
のＢＲＥベースのエネルギーコンパクション方法が使用
される場合には、ＢＲＥは、次に、ステップ１２８にお
いて発生される。ステップ１３０において、この方法
は、ＢＲＥが最小にされたかどうか決定する。もしそう
でなければ、この方法は、ステップ１２４へ復帰し、そ
してステップ１２４、１２６及び１２８を繰り返して、
ＢＲＥを最小にする。ステップ１３０において、この方
法が、ＢＲＥが最小にされたと決定した場合には、ステ
ップ１２４で発生された対応する変位ベクトルがステッ
プ１３２においてメモリに記憶される。
【００４０】本発明の別の実施形態の方法が、図１３に
フローチャート１３０で示されている。ステップ１３
２、１３４及び１３６は、図１２のフローチャートのス
テップ１２２、１２４及び１２６に一般的に対応する。
しかしながら、ステップ１３８において、この方法は、
上記の試行ベクトルを発生する。ステップ１４０におい
て、係数ベクトルと試行ベクトルが比較される。ステッ
プ１４２において、この方法は、係数ベクトルと試行ベ
クトルとの差が小さいかどうか決定する。この差が小さ
くない場合には、この方法は、ステップ１３４に復帰す
る。ステップ１３４、１３６、１３８及び１４０は、発
生された係数ベクトルと試行ベクトルとの差が小さくな
るまで繰り返される。その後、ステップ１４４におい
て、変位ベクトルは、図９の変換プロセス１００で使用
するために記憶される。
【００４１】ＭＰＥＧの動き補償プロセスは、運動ベク
トルをその出力として与えるだけであるので、本発明に
よる更に正確な運動ベクトルをＭＰＥＧの運動ベクトル
と置き換えて、低ビットレート及び低歪の変更されたＭ
ＰＥＧ映像圧縮プロセスを与えることができる。
【００４２】以上の説明から明らかなように、本発明の
映像信号圧縮方法は、最小の検出歪で低ビットレートの
送信を達成するやり方でデジタル映像信号を圧縮する方
法である。本発明の方法は、データ圧縮プロセスにおい
て早期にエネルギーコンパクションプロセスを実行する
ことによりエネルギーコンパクションの利用性を最大に
し、これにより、その後のエネルギーコンパクションに
従属する段階におけるデータ圧縮を最大にする。本発明
の方法は、従来の２つを取り入れる方法のＢＭＡにより
発生される係数値よりもエネルギーレベルの低い係数値
を発生し、ひいては、データ圧縮における残留動きエラ
ーを減少する更に健全な性能メトリックを使用する。
又、本発明のデータ圧縮方法は、現在のＭＰＥＧ−１及
びＭＰＥＧ−２ベースのデータ圧縮方法に比して圧縮比
の増加を示すと同時に、データ圧縮の複雑さを最小にす
る。添付図面に関連した上記の説明及び請求の範囲から
本発明の他の種々の効果が当業者に明らかとなろう。
【図面の簡単な説明】
【図１】本発明の信号圧縮方法を実施する信号コンプレ
ッサのブロック図である。
【図２】本発明の信号圧縮方法を実施する信号デコンプ
レッサのブロック図である。
【図３】公知のＭＰＥＧデータ圧縮プロセスのフローチ
ャートである。
【図４】図３に示すＭＰＥＧ−２データ圧縮プロセスの
動き補償段階によって処理される映像フレームのグルー
プを示す図である。
【図５】図４のフレームの動き補償グループ編成を示す
図である。
【図６】図４のフレームの動き補償処理シーケンスを示
す図である。
【図７】三次元の離散的コサイン変換を受けた後の図３
の映像フレームのグループを示す図である。
【図８】図４の全ての映像フレームに対して一次元の離
散的コサイン変換が行われた後の三次元係数を含む三次
元量子化マトリクスを示す図である。
【図９】本発明の好ましい実施形態により動き補償段階
にエネルギーコンパクションを用いたデータ圧縮プロセ
スのフローチャートである。
【図１０】図４のデータ圧縮プロセスの動き補償段階に
より処理された映像フレームのグループを示す図であ
る。
【図１１】空間ドメインから周波数ドメインへ変換され
た後の図９の映像フレームのグループを示す図である。
【図１２】本発明の第１の好ましい実施形態の動き補償
及びエネルギーコンパクション段階の方法論を示すフロ
ーチャートである。
【図１３】本発明の第２の好ましい実施形態の動き補償
及びエネルギーコンパクション段階の方法論を示すフロ
ーチャートである。
【符号の説明】
１２ 映像信号ソース １４ アナログ／デジタル映像フレームグラバ １６ 信号コンプレッサ １８ プロセッサ ２０ メモリ ２２ 電源 ２４ ハードドライブ ３０ アプリケーション指向の集積回路（ＡＳＩＣ） ３２ ヒストグラムチップ ３４ ＶＬＳＩチップ ４０ デコンプレッサ ４２ プロセッサ ４６ メモリ ４８ 電源 ５０ 映像モニタ

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 データ圧縮プロセスにおいてデータ圧縮
    を最適化する方法であって、 映像信号のデータ圧縮動作を遂行するための信号コンプ
    レッサを用意し、 上記信号コンプレッサにおいて映像信号を受け取り、こ
    の映像信号は、複数の映像信号フレームからの空間及び
    時間データを含み、 上記複数の映像信号フレームを同時に登録することによ
    り上記複数の映像フレームにおける動きを補償して、複
    数の運動ベクトルを発生し、 エネルギーコンパクションパラメータを含む性能メトリ
    ックを発生し、そして上記動きを補償する段階に上記性
    能メトリックを適用して、その段階及びその後のデータ
    圧縮プロセス段階においてレート歪性能を最適化する、
    という段階を備えたことを特徴とする方法。
  2. 【請求項２】 上記性能メトリックを適用する段階の後
    に上記コンディショニングされた空間及び時間データを
    位置ドメインから周波数ドメインへ変換し、 上記変換された空間及び時間データ係数をデータ送信の
    ための係数マトリクスへと順序付けし、そしてデータ送
    信のための上記コンディショニングされた係数マトリク
    スをコード化するという段階を更に備えこれにより、上
    記動き補償段階に上記性能メトリックを適用する上記段
    階は、上記変換、順序付け及びコード化段階においてレ
    ート歪性能を最適化する請求項１に記載の方法。
  3. 【請求項３】 上記変換段階は、上記空間及び時間デー
    タに対し二次元の離散的コサイン変換を実行することを
    含む請求項２に記載の方法。
  4. 【請求項４】 性能メトリックを発生する上記段階は、
    時間係数ベクトル成分が高い時間周波数に対するもので
    ある場合に時間係数ベクトル成分を最小にする段階を含
    む請求項１に記載の方法。
  5. 【請求項５】 時間係数ベクトル成分を最小にする上記
    段階は、レイリー商の適用により実現される請求項４に
    記載の方法。
  6. 【請求項６】 性能メトリックを適用する上記の段階
    は、上記動き補償段階で発生された係数ベクトルに基本
    制約エラーを適用して、上記複数の映像信号フレームの
    ３つ以上に対し高い時間周波数エネルギーを最小にする
    ことを含む請求項１に記載の方法。
  7. 【請求項７】 性能メトリックを適用する上記の段階
    は、係数ベクトルの内積を最小にして、レート歪性能を
    最適化することを含む請求項１に記載の方法。
  8. 【請求項８】 映像信号データを圧縮する方法におい
    て、 映像圧縮動作を遂行するための信号コンプレッサを用意
    し、 複数の映像フレームを含む映像信号データを上記信号コ
    ンプレッサに入力し、 上記複数の映像フレームにおける動きを補償し、 上記複数の映像フレームにおける動きを補償する上記段
    階の間にその動き補償された複数の映像フレームのエネ
    ルギーレベルのコンパクションを行い、 空間及び時間位置ドメインから周波数ドメインへの上記
    映像信号データの二次元変換を行って、二次元の空間的
    周波数係数を得、 上記映像信号の上記映像フレームの１つからの二次元の
    時間及び空間周波数係数に対応する２つの量子化係数を
    各々含む複数の二次元量子化マトリクスを形成し、 時間周波数ベクトルエネルギーレベルのコンパクション
    を行う上記段階から生じる最適化された歪レートで上記
    量子化マトリクスにおける上記データから上記送信ブロ
    ックの二次元の順序を形成し、そして時間周波数ベクト
    ルエネルギーレベルのコンパクションを行う上記段階か
    ら生じる最適化された歪レートでデータ送信のために上
    記量子化マトリクスにおける上記データをコード化す
    る、という段階を備えたことを特徴とする方法。
  9. 【請求項９】 デジタル映像信号を送信する方法におい
    て、 デジタル映像信号データにおける動きを補償し、 上記映像信号データのエネルギーの同時コンパクション
    を行い、 上記デジタル映像信号データを空間的及び時間的に変換
    し、 上記空間的及び時間的に変換されたデジタル映像信号デ
    ータを量子化して、最適な送信及び信号歪レートを計算
    し、 上記空間的に変換され、量子化されたデジタル映像信号
    データをコード化し、そして上記コード化され、量子化
    され、空間的に変換されたデジタル映像信号情報を上記
    エネルギーコンパクション段階から生じる最適な信号歪
    レートで送信するという段階を備えたことを特徴とする
    方法。
  10. 【請求項１０】 上記変換、コンパクション、量子化及
    びコード化段階は、単一のデータ圧縮プロセス段階へと
    結合される請求項９に記載の方法。
  11. 【請求項１１】 上記エネルギーの同時コンパクション
    の段階は、上記動き補償段階においてエネルギーコンパ
    クションを定義するための性能メトリックを発生するこ
    とを含む請求項９に記載の方法。
  12. 【請求項１２】 性能メトリックを発生する上記段階
    は、 映像フレームの入力組から複数のフレーム差を表す係数
    ベクトルを発生し、 ピクセルの元のブロックとピクセルの再構成されたブロ
    ックとの間の平均平方エラーを決定するための基本制約
    エラーを発生し、そして基本制約エラーを最小にして、
    エネルギーコンパクションを最大にする、という段階を
    含む請求項１２に記載の方法。
  13. 【請求項１３】 性能メトリックを発生する上記段階
    は、 映像フレームの入力組の複数のフレーム差を表す係数ベ
    クトルを発生し、 上記係数ベクトルの大きさを計算し、そして上記係数ベ
    クトルの大きさの使用により係数ベクトルの内積を最小
    にし、これにより、エネルギーコンパクションを最大に
    するような１組の変位ベクトルを計算する、という段階
    を備えた請求項１１に記載の方法。
  14. 【請求項１４】 映像データの複数のフレームを含む映
    像信号を受け取るための信号入力と、 映像信号コンプレッサとを備え、このコンプレッサは、 映像フレームのグループに対して動き補償を行い、映像
    フレームの上記グループにおける時間的傾向を識別する
    ためのエネルギーコンパクション性能メトリックを発生
    し、そして上記動き補償を行うときに映像フレームの上
    記グループに上記性能メトリックを適用して、複数の運
    動ベクトルを発生するためのプロセッサと、 上記プロセッサに作動的に関連され、その処理中に映像
    フレームの上記グループ及び上記複数の運動ベクトルを
    記憶するためのメモリとを含み、 上記プロセッサは、更に、映像信号の上記グループを周
    波数ドメイン係数のグループに変換し、上記変換係数を
    順序付けし、そしてその順序付けされた変換係数を、上
    記映像フレームのグループへの上記性能メトリックの適
    用に続いて最適な仕方でコード化して、圧縮された映像
    信号データを発生するように動作し、 更に、上記圧縮された映像信号データを送信のために出
    力する信号出力を備えたことを特徴とするデータ圧縮シ
    ステム。
  15. 【請求項１５】 ＭＰＥＧベースのデータ圧縮プロセス
    のためのエネルギーコンパクション方法において、 映像フレームのグループを表す映像データを入力し、 上記映像フレームのグループにおけるフレームの差から
    複数の変位ベクトルを発生し、 上記フレームの差について表された係数ベクトルを発生
    し、 変位ベクトルを発生する上記段階及び係数ベクトルを発
    生する上記段階に基づいて基本制約エラー推定値を発生
    し、 上記基本制約エラーを最小にして、上記変位ベクトルの
    最適なグループを決定し、そして変位ベクトルの上記最
    適なグループをその後のデータ圧縮段階に使用するため
    に記憶する、という段階を備えたことを特徴とするエネ
    ルギーコンパクション方法。
  16. 【請求項１６】 データ圧縮プロセスのエネルギーコン
    パクション方法において、 映像フレームのグループを表す映像データを入力し、 上記映像フレームのグループにおけるフレームの差を表
    す複数の変位ベクトルを発生し、 上記複数の変位ベクトルを発生する段階に応答して係数
    ベクトルを発生し、 上記映像フレームのグループにおける上記フレームの差
    の組合せから複数の試行ベクトルを形成し、 上記試行ベクトルを介して上記係数ベクトルを評価し
    て、関連するレイリー商を最も小さくする１組のフレー
    ム差を決定し、そして係数ベクトルを評価する上記段階
    に応答して１組の最適な変位ベクトルをその後のデータ
    圧縮のために記憶する、という段階を備えたことを特徴
    とする方法。
JP10072054A 1997-03-21 1998-03-20 単一処理段階による最適な映像圧縮方法及びシステム Pending JPH10285604A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/823,288 US6014172A (en) 1997-03-21 1997-03-21 Optimized video compression from a single process step
US08/823288 1997-03-21

Publications (1)

Publication Number Publication Date
JPH10285604A true JPH10285604A (ja) 1998-10-23

Family

ID=25238326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10072054A Pending JPH10285604A (ja) 1997-03-21 1998-03-20 単一処理段階による最適な映像圧縮方法及びシステム

Country Status (4)

Country Link
US (1) US6014172A (ja)
EP (1) EP0866622A3 (ja)
JP (1) JPH10285604A (ja)
TW (1) TW432880B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414992B1 (en) * 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6753929B1 (en) 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
US7564382B2 (en) * 2002-11-15 2009-07-21 Qualcomm Incorporated Apparatus and method for multiple description encoding
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US20060062308A1 (en) * 2004-09-22 2006-03-23 Carl Staelin Processing video frames
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4999705A (en) * 1990-05-03 1991-03-12 At&T Bell Laboratories Three dimensional motion compensated video coding
GB2252002B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Compression of video signals
US5121191A (en) * 1991-03-15 1992-06-09 Aware, Inc. Method and apparatus for coding motion pictures
US5293434A (en) * 1991-04-10 1994-03-08 International Business Machines Corporation Technique for use in a transform coder for imparting robustness to compressed image data through use of global block transformations
US5428693A (en) * 1991-04-12 1995-06-27 Mitsubishi Denki Kabushiki Kaisha Motion compensation predicting coding method and apparatus
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
ATE159396T1 (de) * 1991-06-04 1997-11-15 Qualcomm Inc System zur adaptiven kompression der blockgrössen eines bildes
JP2699703B2 (ja) * 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
JP2624087B2 (ja) * 1992-07-02 1997-06-25 松下電器産業株式会社 映像信号復号化方法
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5327242A (en) * 1993-03-18 1994-07-05 Matsushita Electric Corporation Of America Video noise reduction apparatus and method using three dimensional discrete cosine transforms and noise measurement
US5530661A (en) * 1994-10-05 1996-06-25 Winnov Data bit-slicing apparatus and method for computing convolutions
TW364107B (en) * 1996-03-25 1999-07-11 Trw Inc Method and system for three-dimensional compression of digital video signals

Also Published As

Publication number Publication date
US6014172A (en) 2000-01-11
EP0866622A3 (en) 2001-03-14
EP0866622A2 (en) 1998-09-23
TW432880B (en) 2001-05-01

Similar Documents

Publication Publication Date Title
US5933193A (en) Method and system for three-dimensional compression of digital video signals
JP4082525B2 (ja) Ｄｃｔ領域で効率性を改善した動き予測を実行するシステムと方法
US8086052B2 (en) Hybrid video compression method
US9350994B2 (en) Motion estimation technique for digital video encoding applications
JP4510463B2 (ja) ビデオ符号器においてマクロブロック量子化パラメータを選択する方法及び装置
EP0542261B1 (en) Method of performing high efficiency coding of image signal and system therefor
US6252905B1 (en) Real-time evaluation of compressed picture quality within a digital video encoder
US5848195A (en) Selection of huffman tables for signal encoding
US5610659A (en) MPEG encoder that concurrently determines video data encoding format and rate control
JPH104550A (ja) Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器
JPH10243396A (ja) 適応型量子化方法、ビデオ信号データを符号化する方法、およびサンプリングされたビデオ信号データを符号化するためのシステム
US6591018B2 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
JPH1093966A (ja) 画像符号化装置
US7054497B2 (en) Method and system for optimizing image sharpness during coding and image enhancement
EP1158806A1 (en) Motion vector coding
JPH10285604A (ja) 単一処理段階による最適な映像圧縮方法及びシステム
JPH09149414A (ja) 画像信号復号化装置
Lazar et al. Wavelet-based video coder via bit allocation
JPH10234036A (ja) バッファに記憶するデジタル画像データ圧縮のためのツリー検索ベクトル量子化方法、及びメモリ必要量を減少させたｍｐｅｇデコーダ及びｓｑｔｖ処理装置
US7751475B1 (en) Arbitrary-resolution, extreme-quality video codec
JPH0711832B2 (ja) 高能率画像符号化装置
JP2625424B2 (ja) テレビ信号符号化装置
JPH0937250A (ja) 画像データ復号装置及び画像データ復号方法
PO et al. Data Compression Techniques in Image Processing Systems
JPH06339134A (ja) 画像圧縮装置