JP3445919B2 - デジタル映像信号の三次元圧縮方法及びシステム - Google Patents
デジタル映像信号の三次元圧縮方法及びシステムInfo
- Publication number
- JP3445919B2 JP3445919B2 JP10801497A JP10801497A JP3445919B2 JP 3445919 B2 JP3445919 B2 JP 3445919B2 JP 10801497 A JP10801497 A JP 10801497A JP 10801497 A JP10801497 A JP 10801497A JP 3445919 B2 JP3445919 B2 JP 3445919B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- spatial
- temporal
- video signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
映像信号の圧縮に係り、より詳細には、高い圧縮比、最
小の信号歪みを示すデジタル映像信号の三次元圧縮方法
に係る。
いビットレートで且つ最小量の信号歪で送信することが
必要とされる。例えば、VCRグレードの映像(SI
F)、放送用のテレビジョン映像(CCIR−601)
及び高解像度テレビジョン(HDTV)のような白黒デ
ジタル映像のための非圧縮データビットレートは、各
々、16Mbps、67Mbps及び240Mbpsで
ある。非圧縮状態では、これらデータビットレートは、
このような映像信号を商業的に実現可能な形態で送信し
そして処理するには高過ぎる。それ故、このような映像
信号を実用的な仕方で処理するために、この映像信号を
送信の前に圧縮しなければならない。
伴い、標準的な映像信号圧縮構造を形成する要望が業界
に幅広く生じている。「動画専門グループ」(MPE
G)として非公式に知られているインターナショナル・
スタンダード・オーガナイゼーション(ISO)の傘下
のグループが、デジタル映像及び音声圧縮に関する規格
を制定するために創立された。その後、MPEGは、圧
縮された映像信号ビット流の内容と、そのビット流を送
信後に圧縮解除する方法とを定義することにより標準化
されたシンタックスを作成した。しかしながら、圧縮方
法については定義されておらず、従って、個々の製造者
は、その定義された規格内でデータビット流を実際に圧
縮する種々の方法を開発することが許されている。
界で広く使用される2つのシンタックスを定義した。M
PEG−1として知られているシンタックスは、広範囲
なビットレート及びサンプルレートに適用できるように
定義されている。特に、MPEG−1は、CD/ROM
の用途、及び送信レートが約1.5Mb/sの他の非飛
び越し映像の用途に使用するのに適している。MPEG
−2として知られている第2のシンタックスは、放送映
像の表示、及びコードビットレートが4ないし9Mb/
sの他の映像信号用途に対して定義されている。又、M
PEG−2シンタックスは、HDTVの用途や、飛び越
し映像の充分なコード化を必要とする他の用途にも適用
できる。
びMPEG−2シンタックスは、充分な性能特性を示す
が、デジタル映像が進化し続けている上に、現在のMP
EG映像シンタックスの定義がそれに関連した制約を有
するために、更なる技術的進歩が要求される。例えば、
時間的に変化しない映像ピクセルに対しデータビットレ
ート送信を最小にすることにより映像圧縮を増大するの
に使用できる現象、即ち時間的冗長性は、映像信号の圧
縮を最大にする効率的な方法である。現在のMPEG−
1及び2のデータ圧縮ベースの方法は、時間的な圧縮を
使用している。しかしながら、MPEG−1及び2に基
づく時間的な圧縮は、フレームごとの判断に基づくもの
で、この方法は、時間的圧縮の利点を完全に活用しな
い。特に、商業規格のMPEG−1及びMPEG−2シ
ンタックスは、時間的な冗長性を部分的にしか使用しな
い。加えて、現在のMPEGシンタックスは、多数の最
適化オプション(予想フレーム、バイリニアフレーム及
びフレーム内変数のような)を計算し、送信しそしてM
PEG信号圧縮解除装置によりデコードすることを必要
とする。これらの多数の変数を使用すると、データ圧縮
に対する計算時間及び複雑さの両方が増大する。又、多
数の現在のMPEG実施シンタックスは、30:1のよ
うな高い関連ビットレート圧縮を示すが、益々複雑で且
つデータに集中した映像用途では、リアルタイム処理の
ための高い圧縮率が必要とされる。200:1のような
高い圧縮比を請求した圧縮方法も存在するが、このよう
な方法は、映像フレームシーケンスでピクセルのアレー
をサブサンプルし(即ち、1つおきのフレームを破棄
し)、そして高い圧縮を得るための他の簡易手段を使用
している。
増え続けているのに伴い、MPEG−1及び2に基づく
規格により現在使用されている以上に時間的冗長性を完
全に利用して高い圧縮比を得ることにより現在のMPE
G−1又はMPEG−2規格より低い送信レートを示す
映像信号データ圧縮方法が要望される。同時に、計算の
複雑さが現在の方法より少なく且つMPEG−1及びM
PEG−2規格に合致する現在実施されているビデオシ
ステムに適合するようなデータ圧縮方法が要望される。
ル映像信号を圧縮する2つの方法が提供される。両方の
方法は、現在のMPEG規格よりも高い圧縮比を示すと
同時に、あまり計算に集中しない。特に、本発明の映像
信号圧縮方法は、標準的なMPEGの二次元空間量子化
マトリクスに加えて、時間的次元の量子化ベクトルを使
用し、人間の目には分からない関連信号歪で圧縮率を最
適化する。両方の方法は、MPEG対応フォーマットで
使用するのに適しており、従って、これら方法を現在の
デジタル映像信号の用途に使用することができる。
デジタル映像信号を圧縮するためのものである。この方
法は、映像信号データ圧縮動作を実行する圧縮装置を用
意する段階を含む。映像信号は、この圧縮装置に受け取
られ、複数の映像信号フレームからの空間的及び時間的
データを含む。圧縮装置は、空間的及び時間的データを
データ量子化のためにコンディショニングし、そしてそ
のコンディショニングされたデータを量子化し、変換さ
れた空間的データが変換された時間的データに関連する
ようにされる。次いで、量子化されたデータから最適な
変換レート及び信号歪レベルが決定される。変換された
空間的データは、その後、変換された時間的データに対
する順序から関連性が断たれ、その後、変換された空間
的及び時間的データのマトリクスは、データ送信のため
のジグザグ構成ブロックにおけるマトリクスへとフォー
マットされる。
の方法は、映像圧縮動作を実行するための信号圧縮装置
を用意することを含む。複数の映像フレームを含む映像
信号データが信号圧縮装置に入力される。圧縮装置は、
空間的及び時間的位置ドメインから三次元周波数ドメイ
ンへの映像信号データの三次元変換を実行する。次い
で、圧縮装置は、複数の三次元量子化マトリクスを形成
し、各マトリクスは、映像信号における1つの時間的周
波数からの変換データに対応する量子化係数を含む。複
数の量子化マトリクスの各々は、各時間的周波数に対
し、時間的量子化ベクトル成分が量子化係数の各々に関
連されるような第3の次元を含む。次いで、圧縮装置
は、量子化マトリクスにおけるデータから映像フレーム
に対し最大送信レート及び最適な信号歪パラメータを計
算する。最適に量子化されたデータは、時間的次元にお
いて量子化解除されそして時間的逆変換される(一次元
変換)。これにより得られる空間的変換は、MPEG規
定に従いジグザグに順序付けされて送信される。
付図面を参照した以下の詳細な説明から明らかとなろ
う。一般に図1及び2を参照すれば、本発明の好ましい
実施形態が具現化されたシステムが10a及び10bで
一般的に示されている。このシステムにおいて、本発明
による高圧縮データ方法の1つが具現化される。これら
のデータ圧縮方法は、三次元量子化マトリクスの使用に
より実施される時間的(temporal)圧縮を使用
する。本発明の方法は、第3の時間的次元を二次元の空
間的量子化マトリクスに付加する。時間的量子化ベクト
ルは、データのフレームを表すMPEGの二次元空間的
マトリクスにおいて係数を乗算する。時間的ドメインの
次元をMPEGの空間的係数マトリクスに追加すること
により、予想、バイリニア及びフレーム内変数といった
上記MPEGに基づくデータ圧縮方法におけるレート/
歪最適化計算に関連した変数が排除される。というの
は、時間的量子化の値は、本発明の圧縮方法においてレ
ート/歪最適化パラメータを計算するのに必要な唯一の
変数だからである。その結果、現在のMPEGに基づく
データ圧縮方法に比して、圧縮方法及びシステムの複雑
さが相当に減少され、そしてデータ圧縮比が相当に増加
される。
像信号ソース12において発生される。この映像信号ソ
ースは、デジタル映像信号又はアナログ映像信号のいず
れのソースでもよく、アナログ映像信号は、アナログ/
デジタル映像フレームグラバ14のような手段により後
でデジタル形態に変換されることが意図される。このよ
うな映像信号ソースは、ビデオカセットレコーダ(VC
R)、CD ROM、放送テレビ信号発生器、高解像度
テレビ信号発生器、或いは何らかの形式のコンピュータ
ネットワークアプリケーション又は他のリアルタイムデ
ジタルビデオソースを含むが、これに限定されるもので
はない。映像信号ソース12及び/又は映像フレームグ
ラバ14から発生されたデジタル映像信号は、一般的に
16で示された信号圧縮装置へ入力される。この信号圧
縮装置は、プロセッサ18、メモリ20及び電源22を
備えている。中央のハードドライブ24のような外部記
憶媒体がCPUに作動的に接続されて、更に別の計算及
び記憶能力を圧縮装置に付加することができる。
・スパーク(Sun Sparc)10ワークステーシ
ョンによって実施される。しかしながら、インテル社の
Pentium(登録商標)プロセッサチップを有する
IBM又はIBM対応のパーソナルコンピュータ、又は
同等の処理能力を有する他の処理ユニットのような他の
コンピュータを使用して、本発明のデータ圧縮方法を実
施できることが明らかであろう。本発明の方法は、AN
SI Cプログラミング言語を使用して実施することが
できる。しかしながら、他のコンピュータ言語を用いて
本発明を実施できることも理解されたい。
は、以下に述べるように本発明の好ましい方法に基づき
離散的コサイン変換(DCT)を実行するためのアプリ
ケーション指向の集積回路(ASIC)30も備えてい
る。又、信号圧縮装置16は、以下に詳細に述べるよう
に、データ送信のためのヒストグラムを形成するヒスト
グラムチップ32も備えている。
示されている。この信号受信器は、一般的に40で示さ
れた信号圧縮解除装置を備えている。信号圧縮装置の場
合と同様に、この信号圧縮解除装置は、サン・スパーク
10ワークステーション、インテル社のPentium
(登録商標)プロセッサを有するIBMパーソナルコン
ピュータ、又は同様の処理能力を有する他の処理ユニッ
トである。圧縮装置と圧縮解除装置は、実際には、同じ
処理ユニットでもよいことを理解されたい。圧縮解除装
置は、信号圧縮装置16から送信された圧縮された映像
フレームを再構成するように逆変換を実行するプロセッ
サ42を備えている。特に、ASIC44は、これらの
逆変換を実行する。又、プロセッサ42は、良く知られ
た形式のメモリ46及び電源48を備えている。又、送
信され再構成された映像フレームを表示するためにビデ
オモニタ50がプロセッサ42に接続される。このビデ
オモニタは、良く知られた形式のものであり、テレビ、
コンピュータディスプレイ或いは他の市販のピクセルベ
ースのビデオスクリーンでよい。
より発生された映像フレームの一連のグループが52で
一般的に示されている。映像フレームの各々は、良く知
られたように、54において時間表示t=0、t=1等
々で示されたように時間的に連続するピクセル配列を表
す。本発明の方法によれば、各映像フレームに含まれた
ピクセルデータは、ASICによる二次元の離散的コサ
イン変換(DCT)関数により空間的位置ドメインから
空間的周波数ドメインに変換される。
基づいてASIC30により一次元DCTが実行され
て、空間的変換係数の各々に対し「時間的周波数タグ」
を効果的に形成し、これにより、図4に56で一般的に
示されそして57においてw=1、w=2等々で示され
た映像フレームデータの係数変換を生じる。但し、wは
離散的な時間的周波数ドメインの増加を指示する。これ
らの係数は、以下に述べるように量子化される。離散的
コサイン変換関数は、本発明の方法の実施に対して、カ
ーハネンローベ(Karhunen Loeve)変換
として知られている理想的な変換を厳密に近似するとい
う点で望ましく、この変換は、信号処理の分野では、数
学的に最適な仕方で回答を計算するようにランダムプロ
セスの項と項との間に既知の相関係数を伴うランダムプ
ロセスの理想的な変換として知られている。複数の映像
フレームの二次元の空間的DCTは、「時間タグ」イン
デックスtによりインデックスされる。 但し、Nはピクセルブロックの片側におけるピクセルの
数であり、そして D(u)=2/√N u=0の場合、 D(v)=2/√N v=0の場合、 D(u)=2√2/N u>0の場合、及び D(v)=2√2/N v>0の場合、である。
がASIC30により実行された後に、各映像フレーム
に対して得られるデータが、58で一般的に示す三次元
量子化マトリクスにおいて量子化される。得られるマト
リクスの各々は、図5の59において矢印Uで示された
行当たり8個の係数と、60において矢印Vで示された
列当たり8個の係数と、61において矢印Wで示された
方向の各空間的係数に関連した時間的量子化ベクトルと
を備えている。三次元量子化マトリクスは、MPEGの
二次元空間的マトリクスからの64個のCuv量子化係
数と、時間的ベクトル素子により表されそして一次元の
離散的コサイン変換から導出された時間的スケーリング
項とを乗算することにより形成される。その式は、次の
ように表される。 Q3D=qW QMPEG 但し、qW=(qw0、qw1、・・・qw7)は、以
下に述べるレート・歪最適化方法から導出された時間的
スケーリング項である。従って、8個のフレームシーケ
ンスにおいて特定の映像フレームを表す各マトリクス
は、マトリクス58において一般的に示されたように項
uvwにより各々一般的に表された64個の三次元係
数を含む。二次元のDCTの場合に、DC値は、空間的
ドメインにおいて0、0項であり、当該映像フレームに
おけるピクセル強度の平均値を表す。残りの63個の係
数即ちAC値は、時間的に連続するフレームにおけるピ
クセル間の差に関連される。
態による第1のデータ圧縮方法を実施する好ましい方法
が62で一般的に示されており、これについて以下に説
明する。63で示すように、映像フレームの元のシーケ
ンスが圧縮装置16に入力される。このフレームのシー
ケンスは、良く知られた従来のMPEGシンタックスで
行われるように、ステップ64において動きの補償分析
を受ける。動き補償の一般的な数学的表示は、次の通り
である。フレーム0(S0)からマクロブロックに対す
るフレームn(sn)におけるマクロブロック(16x
16ピクセル)の動き補償のための変位Δxn及びΔy
nは、フレームScにおけるピクセルの窓内の全ての考
えられるΔxn、Δynに対し次のようになる。
的コサイン変換(DCT)がフレーム内に含まれたデー
タに対して実行され、空間的位置ドメインから空間的周
波数ドメインへデータを変換する。ステップ68におい
て、一次元離散的コサイン変換が時間的次元において上
記の映像フレームのデータに対して実行され、時間的周
波数ドメインにおける係数が形成される。変換係数の三
次元離散的コサイン変換グループは、8x8のマトリク
スのグループとして順序付けされ、マトリクスの数は、
処理されるフレームのグループに使用されるフレームの
数に等しい。
的ドメインにおける上記の離散的コサイン変換の後に、
プロセッサは、ステップ70において、各時間的周波数
におけるレートを最適化する時間的量子化ベクトル成分
を決定することにより、メモリ20の映像データのフレ
ームの各グループに対し三次元量子化マトリクスを適応
的に形成する。
送信される映像フレームの特定のシーケンスに対し最適
な歪又はエラーを計算する。更に、ステップ70におい
て、最適な送信ビットレートも、以下に詳細に述べるよ
うに計算される。最適な歪及びビットレート送信の計算
に続いて、ステップ72において、この方法は、ステッ
プ70で形成されたマトリクスの係数を、それら係数か
ら時間的スケーリングファクタCwを除去することによ
り、量子化解除する。ステップ74において、この方法
は、逆一次元DCTを実行して時間的ドメインから係数
を除去し、これにより、マトリクスを、信号データの空
間的位置を表す係数を伴う二次元MPEGマトリクスに
復帰させる。本発明による圧縮方法は、三次元マトリク
スを量子化解除し、そして送信に続いて係数に対して逆
一次元DCT機能を実行し、三次元DCTの時間的圧縮
の利点を取り入れると共に、信号圧縮解除装置がフレー
ム内コード化フレームをMPEG対応形態で受け取るよ
うな仕方でデータを送信する。
定の処理されたフレームグループに対し各係数がゼロで
ある確率を決定し、そしてそれに応じて係数を、従来の
MPEGデータ圧縮方法に使用されるジグザグ送信ブロ
ック順序で配列する。このジグザグ順序の送信ブロック
に係数が配置されるのに続いて、データは、ステップ7
8において、信号圧縮解除装置42へ送信される。送信
に続いて、ジグザグ順序にされたデータブロックは、ス
テップ80において、信号圧縮解除装置により二次元M
PEG空間位置係数マトリクスに戻るように再フォーマ
ットされる。その後、ステップ82において、信号圧縮
解除装置のプロセッサ42は、逆二次元離散的コサイン
変換を実行し、空間的周波数ドメインCuvtの映像デ
ータを空間的位置ドメインに復帰させる。 但し、Nは8で、ピクセルブロックの片側のサイズであ
り、そしてD(u)及びD(v)は既に定義されてい
る。ステップ83において、この方法は、動き補償の重
みをデータから除去する。ステップ84において、再構
成された映像フレームが形成され、ビデオモニタ26に
出力される。
在のMPEG対応の映像システムにおいて実施されて、
約40:1の圧縮率を達成することが示されたが、これ
は、現在のMPEG−2シンタックスの典型的な30:
1の圧縮率に比して著しい増加である。上記の三次元D
CTをベースとする方法は、4ないし8の映像フレーム
を時間的に圧縮し、従って、商業標準のMPEG−1及
び2シンタックスよりも潜在的に高い圧縮性能を有す
る。このMPEG−1及び2シンタックスは、典型的
に、時間的冗長性を最適化するために8個未満のフレー
ムを使用し、そして一度に2フレームの時間的圧縮しか
使用しない。時間的圧縮を最適化した後に、MPEG対
応のアルゴリズムが、MPEGに適合する二次元データ
フォーマットを残して、時間的次元をデータ送信の前に
圧縮解除する。従って、送信及び圧縮レートは、時間的
圧縮解除又は量子化解除及び逆変換が実行された後に決
定される。
間的周波数歪を同じ値にセットするか、又は各時間的周
波数に割り当てられた所与の目標レートに対して歪を最
小にするように時間的スケーリングパラメータを選択で
きることが明らかであろう。
形態による第2のデータ圧縮方法が一般的に90で示さ
れている。この第2のデータ圧縮方法は、映像フレーム
係数が三次元的に変換された後に送信順序の最適化に着
手するのであって、第1のデータ圧縮方法DCTにおい
てステップ64で逆時間的変換が実施された後にMPE
Gのジグザグ順序を使用するものではない。ステップ9
2において、元の映像フレームが映像信号源12から圧
縮装置に入力される。プロセッサ18は、最初に、ステ
ップ94においてフレームに対し動き補償を実行する。
ステップ96及び98において、この方法は、上記第1
の圧縮解除方法の場合と同様に、二次元の空間的及び一
次元の時間的DCT変換を映像データに対して各々実行
する。更に、ステップ100において、上記第1の方法
の場合と同様に、三次元の量子化マトリクスが適応的に
形成される。
01において、ヒストグラムチップ32が三次元マトリ
クスにおける量子化された係数のヒストグラムを形成す
る点で相違し、従って、この方法は、三次元係数送信順
序(即ち、三次元のジグザグ順序)ブロックを適応的に
形成する。従って、ヒストグラムチップは、ヒストグラ
ムが収集する情報に基づいて1つの三次元マトリクスを
別の三次元マトリクスに変換するために圧縮装置によっ
て使用されるヒストグラムを発生する。空間的一時間的
周波数の増加に基づく順序付け、即ち は、送信順序に対するMPEG解決策を表す。本発明の
データ圧縮方法は、送信順序を確率uvw=0に適応
させ、従って、フレームの各グループごとに三次元のゼ
ロ連続長さを最適化することによりMPEG方法を改善
する。従って、圧縮されたビット流は、最小の確率がゼ
ロである係数が最初に送信され、最小の確率がゼロであ
る係数が確率が増加する順に送信されるように順序付け
される。ジグザグ順序において、量子化解除された係数
の第1マトリクスの第1行は、最小数のゼロをもつフレ
ームの処理されたグループからの列である。量子化解除
された係数の第1マトリクスの第2行は、2番目に少な
い数のゼロをもつフレームの処理されたグループからの
列である。第1マトリクスの残りの行は、列におけるゼ
ロ係数の数に関して同様の順序で埋められる。第2マト
リクスの行は、非ゼロの係数をもつ残りの列がある場合
に埋められる。ブロック終了キャラクタは、非ゼロの係
数をもつ新たなマトリクスシステムの最後の行が送信さ
れた後に送信される。これは、エネルギーをもたずに送
信されるデータであってゼロ値をもつ係数で表されるデ
ータの量を最小にする。圧縮解除装置は、その後、他端
において、送信されたビット流の残りにゼロを埋めた後
に、データの圧縮解除を開始する。
G同様の順序付けは、データ送信の際に三次元のジグザ
グブロックが送信されるために失われる。というのは、
このブロックは、逆一次元変換が行われる前に再順序付
けしなければならないからである。しかしながら、高圧
縮の方法で送信されるゼロの数を切断しそして三次元ブ
ロックにおいてデータを送信することにより、ゼロ連続
長さが2つの異なる方向に増加され、これにより、MP
EG対応の方法よりも圧縮性が約5倍も増加する。
れるのに続いて、ステップ102においてマトリクス係
数が送信される。信号データを送信した後に、この方法
は、ステップ104において、三次元のジグザグ送信順
序ブロックを復帰させ、その後、逆一次元及び逆二次元
のDCT変換を各々ステップ106及び108において
実行することができる。その後、動き補償が除去され、
そしてステップ110及び112において、映像フレー
ムが再構成されそしてビデオモニタ26へ出力される。
上記両方の方法に時間次元の量子化マトリクスを使用す
ることにより、圧縮比を最適化できると同時に、信号歪
の量を人間の目で分からないレベルに維持することがで
きる。かくて、信号圧縮が最大にされる一方、計算の複
雑さが最小にされた。
より行われる送信レートの計算を示すフローチャートが
一般的に120で示されている。送信レートは、係数の
擬似確率分布に基づきエントロピー計算を用いて計算さ
れ、実際のMPEGシンタックス計算には基づかない。
エントロピー計算は、送信レートを若干過大に推定す
る。エントロピー計算は、量子化された全ての係数を加
味するが、MPEG方法は、係数がMPEG規格により
定められたある最小又は最大限界を越える場合に係数を
切断する。ハフマンコードを用いたレート決定のための
式は、次の通りである。 但し、pは、非ゼロ変換係数の確率ベクトルであり、L
iは、ゼロ連続長さ+1であり、そしてpiは、i個の
ゼロの和の確率である。インターネットにおいて一般に
入手できるMPEGソフトウェアを、エントロピー計算
に代わって使用することができる。
号データが入力される。このデータは、上記第1及び第
2の方法の各々ステップ60及び98で得られた三次元
量子化マトリクスを埋める三次元量子化係数に相関して
いる。ステップ124において、量子化装置は、小さな
増分で徐々にステップアップされる。各時間的周波数に
おいて、時間的量子化装置のスケーリング項が、その時
間的周波数におけるレート・歪性能の最適化から決定さ
れる。ステップ126において、歪レートが計算され
る。最適なは、送信レート対時間的量子化成分qwを
プロットすることにより計算される。このようなプロッ
トは、図10に127で一般的に示すように、最小のレ
ート値をもつ曲線を形成する。ステップ128におい
て、プロセッサは、この形成された曲線127のポイン
トを次々に選択することによりの最小値が見つかった
かどうか決定する。ステップ130において、この方法
は、プロセッサがの最小値を見つけたかどうか決定す
る。プロセッサが最小値を見つけた場合には、値qw
は、値(qw)を最小にするようにセットされる。
は、フレームのグループに対する平均レートの近似であ
り、これは、通常はフレームのグループの第1フレーム
に対するレートである。レートの最適化に対しては、フ
レームのグループのレートを表すのに1フレームを使用
すれば通常は充分である。最小値が見つからない場合に
は、この方法は、ステップ128へ戻り、の最小値を
サーチし続ける。ステップ130に続いて、この方法
は、ステップ132へ進み、各(qw)の全送信レー
トがqwに対して計算されるまでステップ124ないし
132がqw1、qw2、・・・に対して繰り返され
る。ステップ134において、この方法は、qwの次の
値がqw8に等しいかどうか決定する。もしそうであれ
ば、この方法は、次のグループのフレームが圧縮される
まで終了となる。qw8が計算されていない場合には、
この方法は、ステップ124へ復帰し、更なる送信レー
ト計算が行われる。
化計算を実行する好ましい方法が150で示されてい
る。ステップ152において、スケーリングファクタq
wが増加される。歪レートDは、ステップ154で示す
ように、プロセッサ18において送信レートの計算と並
列に計算される。歪レートは、次のように計算される。 図示されたように、歪レートは、時間的量子化ベクトル
の重み付けファクタを伴ったり伴わなかったりする係数
間の差の平方である。特定の係数に対する個々のエラー
作用の各々の和が量子化による全歪エラーを与える。
は、真の圧縮率の推定値であり、これは、レート最適化
手順の間に時間的量子化ベクトルの項をセットするのに
使用される性能尺度である。は、次のように計算され
る。qw値における1組の量子化された係数が作られ、
三次元量子化係数が時間的に量子化解除され、逆一次元
DCT変換が行われる。次いで、フレームの対するレー
トが決定され、に等しくセットされる。このプロセス
は、各時間的周波数に対して最小のがセットされるま
で繰り返される。
(qw)が人間の視覚系統のスレッシュホールドより大
きいかどうか決定する。歪がスレッシュホールドより大
きい場合には、この方法はステップ152へ戻り、D
(qw)の値が人間の視覚系統のスレッシュホールドよ
り大きくなるまで歪が計算される。このような値になる
と、ステップ158に示すように、qwの繰り返しが停
止される。
ムに対する次の空間的送信マトリクスの歪レートが計算
される。ステップ162において、この方法は、8個の
映像フレームより成るグループが圧縮されると仮定すれ
ば、w=0からw=7までの全てのwの値に対しD(q
w)が計算されたかどうか決定する。この方法が終了し
た場合には、次のグループのフレームからのデータが処
理のために入力されるまで、この方法は終了となる。こ
の方法が終了しない場合には、ステップ152へ戻り、
次のqwに対する歪レートの計算を続行する。
はqw0及びqw1のみが実際に歪レート及びビットレ
ート送信計算に測定可能な作用を及ぼすだけであること
が明らかとなろう。従って、qw2ないしqw7の値
は、上記データ圧縮方法を更に簡単化するためにデフォ
ールト値にセットすることができる。又、本発明の圧縮
方法のレート/歪シーケンスは、DC及びACの両係数
を別々に最適化することによって改善できることも明ら
かとなろう。又、レート/歪最適化方法は、ラグランジ
ェ乗数方法を用いても改善することができる。
的圧縮の使用を最大にし、これにより、データ圧縮に必
要な量子化変数の数、ひいては、データ圧縮動作の複雑
さを最小にする。本発明のデータ圧縮方法は、現在のM
PEG−1及びMPEG−2に基づくデータ圧縮方法に
比して高い圧縮比を示すと同時に、データ圧縮の複雑さ
を最小にする。
から、当業者であれば、本発明の他の種々の効果が明ら
かとなろう。
置のブロック図である。
除装置のブロック図である。
データを含む一連の映像フレームのグループを示した図
である。
離散的コサイン変換を実行した後の一連の二次元変換フ
レームを示す図である。
一次元の離散的コサイン変換を実行した後の三次元係数
を含む三次元量子化マトリクスを示す図である。
法を示したフローチャートである。
しい方法を示したフローチャートである。
な送信レートを計算する好ましい方法を示したフローチ
ャートである。
な歪レートを計算する好ましい方法を示したフローチャ
ートである。
トル重み付けファクタのグラフ分析図である。
Claims (5)
- 【請求項1】 映像信号データを圧縮する信号圧縮装置
を用意し、 複数の映像信号フレームからの空間的及び時間的データ
を含む映像信号を前記の信号圧縮装置で受け取り、 空間的位置ドメインから空間的周波数ドメインへ前記の
空間的データを変換し、そして時間的位置ドメインから
時間的周波数ドメインへ前記の時間的データを変換する
ことにより、前記の空間的データと時間的データを異な
るドメインに変換し、 その変換された空間的及び時間的データを量子化して前
記の変換された空間的データを前記の変換された時間的
データと組み合わせ、 前記の変換され、量子化された時間的データの量子化を
解除して前記の変換された空間的データから前記の変換
された時間的データを取り除き、そして前記の変換され
た空間的データをジグザグ構成ブロックのマトリックス
にフォーマットし、その場合前記の変換された空間的デ
ータをジグザグ構成ブロックに配列する順序は増大する
空間的周波数に基づいていることを特徴とする映像信号
データを圧縮する方法。 - 【請求項2】 前記のジグザグ構成ブロックを信号圧縮
解除装置に送信する段階と、 送信されたジグザグ構成ブロックから前記の映像信号デ
ータを再構成する段階とを更に含む請求項1に記載の方
法。 - 【請求項3】 前記の映像信号データを再構成する段階
は、 前記のドメイン変換された空間的データの前記のジグザ
グ構成ブロックを復帰させる段階と、 前記のドメイン変換された空間的データに逆変換を行っ
て、前記の映像信号フレームを再構成する段階とを含む
請求項2に記載の方法。 - 【請求項4】 前記の空間データをドメイン変換する段
階は、 前記のデータの二次元の離散的コサイン変換を実行する
ことを含み、 前記の時間的データをドメイン変換する段階は前記のデ
ータの一次元の離散的コサイン変換を実行することを含
む請求項1に記載の方法。 - 【請求項5】 映像データの複数のフレームを含む映像
信号を受ける信号入力と、映像信号圧縮装置と、送信器
と、信号圧縮解除装置とを備え、 前記の映像信号圧縮装置は、 二次元変換を使って空間ドメインデータを周波数ドメイ
ンデータに変換し、そして一次元離散余弦変換を使って
時間ドメインデータを周波数ドメインデータに変換する
プロセッサを含み、このプロセッサは、前記の変換され
た空間的及び時間的データを、メモリの量子化マトリッ
クスへロードして量子化を行い、そしてこの量子化マト
リックスにおける前記のデータに基づいて信号歪みと送
信レート最適化計算を実行し、 前記のプロセッサは、前記の時間的データの量子化を解
除し、そして前記の信号歪と送信レート最適化計算の実
行の後に前記の時間的データに対して逆変換を実施し、 前記のプロセッサは、その後、前記の量子化された空間
的データを、それの送信の前にジグザグ送信順序ブロッ
クの形に構成し、その場合前記の変換された空間的デー
タをジグザグ構成ブロックに配列する順序は増大する空
間的周波数に基づいており、 前記の送信器は前記の圧縮された映像信号データを前記
のプロセッサから送信し、そして前記の信号圧縮解除装
置は、前記のプロセッサから送信された前記のデータを
受け、そして前記のジグザグ送信順序から前記のデータ
を再構成した後に、前記のデータの逆変換を行って、前
記の映像データフレームを再構成することを特徴とする
映像信号データを送信するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US62185596A | 1996-03-25 | 1996-03-25 | |
US08/621855 | 1996-03-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1075446A JPH1075446A (ja) | 1998-03-17 |
JP3445919B2 true JP3445919B2 (ja) | 2003-09-16 |
Family
ID=24491933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10801497A Expired - Fee Related JP3445919B2 (ja) | 1996-03-25 | 1997-03-21 | デジタル映像信号の三次元圧縮方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US5936669A (ja) |
EP (1) | EP0798928A3 (ja) |
JP (1) | JP3445919B2 (ja) |
KR (1) | KR100262236B1 (ja) |
TW (1) | TW364107B (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3518717B2 (ja) * | 1996-09-20 | 2004-04-12 | ソニー株式会社 | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
US6272175B1 (en) * | 1997-02-13 | 2001-08-07 | Conexant Systems, Inc. | Video signal coding systems and processes using adaptive quantization |
US6014172A (en) * | 1997-03-21 | 2000-01-11 | Trw Inc. | Optimized video compression from a single process step |
WO1999025121A1 (en) * | 1997-11-07 | 1999-05-20 | Pipe Dream, Inc. | Method for compressing and decompressing motion video |
US6118822A (en) * | 1997-12-01 | 2000-09-12 | Conexant Systems, Inc. | Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes |
US6111914A (en) * | 1997-12-01 | 2000-08-29 | Conexant Systems, Inc. | Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes |
US6728313B1 (en) * | 1998-01-08 | 2004-04-27 | Intel Corporation | Method and apparatus for performing MPEG II dequantization and IDCT |
US6909746B2 (en) | 2001-03-30 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Fast robust data compression method and system |
US7209519B2 (en) * | 2001-04-16 | 2007-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Encoding a video with a variable frame-rate while minimizing total average distortion |
US6628300B2 (en) * | 2001-11-30 | 2003-09-30 | International Business Machines Corporation | Transcoding proxy and method for transcoding encoded streams |
US9350782B2 (en) * | 2002-01-29 | 2016-05-24 | Antonio Ortega | Method and system for delivering media data |
US10277656B2 (en) * | 2002-01-29 | 2019-04-30 | FiveOpenBooks, LLC | Method and system for delivering media data |
US20090064242A1 (en) * | 2004-12-23 | 2009-03-05 | Bitband Technologies Ltd. | Fast channel switching for digital tv |
KR100703799B1 (ko) * | 2005-07-19 | 2007-04-06 | 삼성전자주식회사 | 역 양자화 방법 및 장치, 상기 방법을 이용한 비디오디코딩 방법 및 장치 |
US8605797B2 (en) * | 2006-02-15 | 2013-12-10 | Samsung Electronics Co., Ltd. | Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium |
WO2007102147A2 (en) * | 2006-03-07 | 2007-09-13 | Bitband Technologies Ltd. | Personalized insertion of advertisements in streaming media |
MX2008008558A (es) * | 2007-06-29 | 2009-03-04 | Abl Ip Holding Llc | Conjuntos de iliminacion por led para cajas de exhibicion. |
US8842739B2 (en) * | 2007-07-20 | 2014-09-23 | Samsung Electronics Co., Ltd. | Method and system for communication of uncompressed video information in wireless systems |
US8243823B2 (en) | 2007-08-29 | 2012-08-14 | Samsung Electronics Co., Ltd. | Method and system for wireless communication of uncompressed video information |
US8700792B2 (en) * | 2008-01-31 | 2014-04-15 | General Instrument Corporation | Method and apparatus for expediting delivery of programming content over a broadband network |
CN101521819B (zh) * | 2008-02-27 | 2010-12-01 | 深圳市融创天下科技发展有限公司 | 一种在视频图像压缩中对率失真进行优化的方法 |
US8752092B2 (en) * | 2008-06-27 | 2014-06-10 | General Instrument Corporation | Method and apparatus for providing low resolution images in a broadcast system |
JP2012503416A (ja) * | 2008-09-18 | 2012-02-02 | トムソン ライセンシング | ビデオ画像の刈り取り方法及び装置 |
US9369759B2 (en) * | 2009-04-15 | 2016-06-14 | Samsung Electronics Co., Ltd. | Method and system for progressive rate adaptation for uncompressed video communication in wireless systems |
US20120215788A1 (en) * | 2009-11-18 | 2012-08-23 | Nokia Corporation | Data Processing |
US20120275510A1 (en) * | 2009-11-25 | 2012-11-01 | Massachusetts Institute Of Technology | Scaling signal quality with channel quality |
JP5625342B2 (ja) * | 2009-12-10 | 2014-11-19 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラム |
JP5428886B2 (ja) * | 2010-01-19 | 2014-02-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
US8525835B1 (en) | 2010-02-24 | 2013-09-03 | The Boeing Company | Spatial data compression using implicit geometry |
US9357244B2 (en) * | 2010-03-11 | 2016-05-31 | Arris Enterprises, Inc. | Method and system for inhibiting audio-video synchronization delay |
JP5703781B2 (ja) * | 2010-09-03 | 2015-04-22 | ソニー株式会社 | 画像処理装置および方法 |
JP2012209673A (ja) * | 2011-03-29 | 2012-10-25 | Sony Corp | 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム |
CN103597839B (zh) | 2011-05-31 | 2017-10-20 | 杜比实验室特许公司 | 视频压缩方法、视频重构方法和系统、及编码器 |
US20140328406A1 (en) | 2013-05-01 | 2014-11-06 | Raymond John Westwater | Method and Apparatus to Perform Optimal Visually-Weighed Quantization of Time-Varying Visual Sequences in Transform Space |
EP3085095B1 (en) | 2013-12-22 | 2020-07-08 | LG Electronics Inc. | Method and apparatus for intra prediction of a video signal |
RU2557449C1 (ru) * | 2014-04-07 | 2015-07-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства Обороны Российской Федерации (Минобороны России) | Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования |
US10553015B2 (en) | 2017-03-31 | 2020-02-04 | Google Llc | Implicit view-dependent quantization |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2627926A1 (fr) * | 1988-02-29 | 1989-09-01 | Labo Electronique Physique | Procede et dispositif de codage de signaux video numeriques, et dispositif de decodage correspondant |
US4999705A (en) * | 1990-05-03 | 1991-03-12 | At&T Bell Laboratories | Three dimensional motion compensated video coding |
GB2252002B (en) * | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Compression of video signals |
US5293434A (en) * | 1991-04-10 | 1994-03-08 | International Business Machines Corporation | Technique for use in a transform coder for imparting robustness to compressed image data through use of global block transformations |
US5428693A (en) * | 1991-04-12 | 1995-06-27 | Mitsubishi Denki Kabushiki Kaisha | Motion compensation predicting coding method and apparatus |
ES2110504T3 (es) * | 1991-06-04 | 1998-02-16 | Qualcomm Inc | Sistema de compresion de imagenes por dimensionado autoadaptivo de bloques. |
US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
US5367629A (en) * | 1992-12-18 | 1994-11-22 | Sharevision Technology, Inc. | Digital video compression system utilizing vector adaptive transform |
US5530661A (en) * | 1994-10-05 | 1996-06-25 | Winnov | Data bit-slicing apparatus and method for computing convolutions |
-
1997
- 1997-01-11 TW TW086100246A patent/TW364107B/zh not_active IP Right Cessation
- 1997-01-16 EP EP97100607A patent/EP0798928A3/en not_active Withdrawn
- 1997-01-23 KR KR1019970001819A patent/KR100262236B1/ko not_active IP Right Cessation
- 1997-03-21 JP JP10801497A patent/JP3445919B2/ja not_active Expired - Fee Related
- 1997-04-25 US US08/848,000 patent/US5936669A/en not_active Expired - Fee Related
- 1997-10-20 US US08/954,634 patent/US5933193A/en not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
1.電子情報通信学会論文誌、J78−A[7](1995−7−25)p.839−847(適応型3次元走査を用いた画像変換符号化、図4参照) |
2.IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING VOL.33[1](1995.1)P.26−34(P.30のB.Side Information and Rate Allocation参照) |
Also Published As
Publication number | Publication date |
---|---|
EP0798928A2 (en) | 1997-10-01 |
JPH1075446A (ja) | 1998-03-17 |
EP0798928A3 (en) | 1997-12-29 |
TW364107B (en) | 1999-07-11 |
KR100262236B1 (ko) | 2000-07-15 |
US5936669A (en) | 1999-08-10 |
US5933193A (en) | 1999-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3445919B2 (ja) | デジタル映像信号の三次元圧縮方法及びシステム | |
US5786856A (en) | Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix | |
US6658157B1 (en) | Method and apparatus for converting image information | |
US6963606B1 (en) | Digital signal conversion method and digital signal conversion device | |
US6757438B2 (en) | Method and apparatus for video compression using microwavelets | |
US8086052B2 (en) | Hybrid video compression method | |
US5714950A (en) | System for variable-length-coding and variable-length-decoding digitaldata | |
US6252905B1 (en) | Real-time evaluation of compressed picture quality within a digital video encoder | |
JPH10322699A (ja) | 高速逆離散コサイン変換方法およびシステム | |
CN1421102A (zh) | 基于方差的自适应块大小dct图像压缩 | |
WO1999027715A1 (en) | Method and apparatus for compressing reference frames in an interframe video codec | |
JPH10243396A (ja) | 適応型量子化方法、ビデオ信号データを符号化する方法、およびサンプリングされたビデオ信号データを符号化するためのシステム | |
KR100651316B1 (ko) | 정보 스트림 디코더에서 메모리 자원 이용을 증가시키는 방법 및 장치 | |
US6014172A (en) | Optimized video compression from a single process step | |
US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
JPH0711832B2 (ja) | 高能率画像符号化装置 | |
KR100203695B1 (ko) | 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치 | |
Joshi et al. | Performance Analysis of 2D-DCT based JPEG Compression Algorithm | |
JP2776425B2 (ja) | セル廃棄補償画像復号化方式 | |
Moayeri | A low-complexity, fixed-rate compression scheme for color images and documents | |
JP2710135B2 (ja) | フレーム間/フレーム内適応符号化方式 | |
Nadu | Removing Coding and Inter Pixel Redundancy in High Intensity Part of Image | |
PO et al. | DATA COMPRESSION TECHNIQUES IN IMAGE PROCESSING SYSTEMS | |
Sampson et al. | Image and video compression for multimedia applications | |
Gershikov et al. | On a Probabilistic Approach to Rate Control for Optimal Color Image Compression and Video Transmission |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080627 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080627 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090627 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090627 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100627 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |