JPH0670304A - 動画像圧縮装置 - Google Patents
動画像圧縮装置Info
- Publication number
- JPH0670304A JPH0670304A JP23893492A JP23893492A JPH0670304A JP H0670304 A JPH0670304 A JP H0670304A JP 23893492 A JP23893492 A JP 23893492A JP 23893492 A JP23893492 A JP 23893492A JP H0670304 A JPH0670304 A JP H0670304A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- axis
- wavelet
- data
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 構成が非常に簡単な動画像圧縮装置を提供す
る。 【構成】 動画像圧縮装置は、画像データをウェーブレ
ット変換するウェーブレット変換51と、動き予測のた
めの変換軸ループ上に変換軸データの荷重平均をとる荷
重平均装置54とを設け、変換軸上でシフトを計算す
る。
る。 【構成】 動画像圧縮装置は、画像データをウェーブレ
ット変換するウェーブレット変換51と、動き予測のた
めの変換軸ループ上に変換軸データの荷重平均をとる荷
重平均装置54とを設け、変換軸上でシフトを計算す
る。
Description
【0001】
【産業上の利用分野】本発明は、動画像圧縮処理等に用
いられる動画像圧縮装置に係り、詳細には、動き補償の
構造を簡素化できる動画像圧縮装置に関する。
いられる動画像圧縮装置に係り、詳細には、動き補償の
構造を簡素化できる動画像圧縮装置に関する。
【0002】
【従来の技術】ISDNやCD−ROMを前提とした画
像の高能率符号化技術において、DCT(離散コサイン
変換)が高能率符号化技術の主流になりつつある。ま
た、DCT専用LSIも開発され、DCTが通信から、
コンピュータ、AV(オーディオ・ビジュアル)へと広
がっている。現行NTSC方式カラー・テレビ信号をそ
のままディジタル化すると、ビット・レートは約115
Mビット/秒(量子化8ビット,標本化14.32MH
z)にもなり、データ量が多すぎて、ISDNやCDで
は扱えなかったが、DCTを用いた高能率符号化方式を
使えばNTSC信号を1/100程度にデータ圧縮(高
能率符号化)でき、「動画」をISDNで伝送したりC
Dに記録することが可能になる。
像の高能率符号化技術において、DCT(離散コサイン
変換)が高能率符号化技術の主流になりつつある。ま
た、DCT専用LSIも開発され、DCTが通信から、
コンピュータ、AV(オーディオ・ビジュアル)へと広
がっている。現行NTSC方式カラー・テレビ信号をそ
のままディジタル化すると、ビット・レートは約115
Mビット/秒(量子化8ビット,標本化14.32MH
z)にもなり、データ量が多すぎて、ISDNやCDで
は扱えなかったが、DCTを用いた高能率符号化方式を
使えばNTSC信号を1/100程度にデータ圧縮(高
能率符号化)でき、「動画」をISDNで伝送したりC
Dに記録することが可能になる。
【0003】従来のこの種の変換符号を用いた動画像圧
縮装置としては、例えば図4に示すようなものがある。
図4において、11は現在より1フレーム前のフレーム
情報を記憶するフレームメモリ(FM)であり、12は
適応的にフレームメモリ(FM)のある部分にフィルタ
をかけるフィルタ装置である。入力画像はまず、所定の
(16pel×16pelなど)ブロックに分割され、
その1ブロックが1フレーム前のどの部分に一番似てい
るかが計算される。そして、その位置の情報としてMC
ベクトルを計算し、さらに減算器13で差分をとる。こ
の差分の情報を後にDCT14で符号化する理由は、ベ
クトルが正確に求まれば求まるほど差分の情報は0(1
6×16すべての画素が0ということ)に近づくため、
後の処理の負担が軽くなるようにするためである。ある
意味で上記MC処理は時間方向の冗長性を取り除く処理
であるということができる。
縮装置としては、例えば図4に示すようなものがある。
図4において、11は現在より1フレーム前のフレーム
情報を記憶するフレームメモリ(FM)であり、12は
適応的にフレームメモリ(FM)のある部分にフィルタ
をかけるフィルタ装置である。入力画像はまず、所定の
(16pel×16pelなど)ブロックに分割され、
その1ブロックが1フレーム前のどの部分に一番似てい
るかが計算される。そして、その位置の情報としてMC
ベクトルを計算し、さらに減算器13で差分をとる。こ
の差分の情報を後にDCT14で符号化する理由は、ベ
クトルが正確に求まれば求まるほど差分の情報は0(1
6×16すべての画素が0ということ)に近づくため、
後の処理の負担が軽くなるようにするためである。ある
意味で上記MC処理は時間方向の冗長性を取り除く処理
であるということができる。
【0004】また、差分をとった1ブロックをDCT処
理する理由であるが、通常DCT14もブロックでDC
T処理するため、MCのブロックと同一のブロック又は
それの約数のブロックに分割してDCT処理するためで
ある。そして、周波数成分に分割された要素を量子化装
置15で適当に量子化することによって情報量を減らし
て、MCベクトルとともにVLC(バリアブルコードレ
ングス)16を実行して通信路17を通してデコーダ側
に送る。最後に、次のフレームの処理に必要となる現在
のフレーム(量子化歪み付き)を計算するため、IDC
T18で、逆DCT処理を行ない、さらに以前差分をと
ったブロックを加算器19により加算して出力し現在の
フレーム内容を得ることができる。ここで注目すべき点
は、上記フレームメモリ(FM)11、フィルタ装置1
2に、IDCT18及び加算器19のコーダ側の構成は
デコーダ側のフレームメモリ(FM)20,フィルタ装
置21,IDCT22及び加算器23の構成と全く同一
であるため、通信路17及びIVLC24を通して入力
されたIDCT22の入力情報としてIDCT18の入
力情報と同一の情報が入力されればフィルタ装置21の
デコーダ側の出力として現在のフレーム内容を得ること
ができることである。
理する理由であるが、通常DCT14もブロックでDC
T処理するため、MCのブロックと同一のブロック又は
それの約数のブロックに分割してDCT処理するためで
ある。そして、周波数成分に分割された要素を量子化装
置15で適当に量子化することによって情報量を減らし
て、MCベクトルとともにVLC(バリアブルコードレ
ングス)16を実行して通信路17を通してデコーダ側
に送る。最後に、次のフレームの処理に必要となる現在
のフレーム(量子化歪み付き)を計算するため、IDC
T18で、逆DCT処理を行ない、さらに以前差分をと
ったブロックを加算器19により加算して出力し現在の
フレーム内容を得ることができる。ここで注目すべき点
は、上記フレームメモリ(FM)11、フィルタ装置1
2に、IDCT18及び加算器19のコーダ側の構成は
デコーダ側のフレームメモリ(FM)20,フィルタ装
置21,IDCT22及び加算器23の構成と全く同一
であるため、通信路17及びIVLC24を通して入力
されたIDCT22の入力情報としてIDCT18の入
力情報と同一の情報が入力されればフィルタ装置21の
デコーダ側の出力として現在のフレーム内容を得ること
ができることである。
【0005】ところで、このDCT14に限らず、高能
率符号化して画素当たりの平均ビット数を減らすと、画
像の品質は落ち、圧縮率を上げると、画質の劣化を引き
起こす。現行の標準テレビ信号を1.5Mビット/秒に
圧縮した場合に問題となるのは、輪郭部分の劣化とDC
Tで処理するブロック単位(例えば8×8画素)に発生
するブロック歪みである。逆変換して画素を再生すると
きに、ブロック内のDCT出力をすべて線形和すること
になるが、8×8画素から成るブロックのDCT出力6
4個のうち、一つでも情報損失があると、ブロック内全
体の再生画素に劣化が生じる。
率符号化して画素当たりの平均ビット数を減らすと、画
像の品質は落ち、圧縮率を上げると、画質の劣化を引き
起こす。現行の標準テレビ信号を1.5Mビット/秒に
圧縮した場合に問題となるのは、輪郭部分の劣化とDC
Tで処理するブロック単位(例えば8×8画素)に発生
するブロック歪みである。逆変換して画素を再生すると
きに、ブロック内のDCT出力をすべて線形和すること
になるが、8×8画素から成るブロックのDCT出力6
4個のうち、一つでも情報損失があると、ブロック内全
体の再生画素に劣化が生じる。
【0006】そこで、このようなブロック歪みをできる
だけ軽減するため、参考文献 IEEETRANSACTIONS ON ACO
USTICS,SPEECH,AND SIGNAL PROCESSING.VOL.37.NO.4.AP
RIL1989(The LOT Transform Coding Without Blockig E
ffects,HENRIQUE S.MALVAR,DAVID H.STAELIN)に開示さ
れたLOT演算が提案されている。図5は、このLOT
演算処理を行なうLOT演算装置を示すものであり、1
次元LOTのブロック図を示している。図5において、
1はLOT演算装置、2,3はDCT装置であり、DC
T装置2,3には図9〜図12に示す各種演算器が接続
されている。ここで、図6は減算c=a+(−b)を示
す演算を、図7は加算c=a+bを示す演算を、図11
は所定のゲイン(例えば、1/2)を調整する演算を、
図9はベクトル回転を行なう演算をそれぞれ示してい
る。DCT装置2,3の出力はイーブン(even:偶
数)出力0,2,4,6とオッド(odd:奇数)出力
1,3,5,7とに分けて加減算され、最後に奇数成分
のみが図12に示す演算器でベクトル回転されてLOT
データとなる。図5に示す1次元LOT構成ではLOT
演算装置1を構成するDCT装置2,3に16画素(X
〜X ,X ’〜X’)を入力すればLOT演算によっ
て8データ(Y 〜Y )の出力が得られる。すなわち、
入力初段では1次元のDCT演算を行なって、16デー
タを得、この16データを各種バタフライ演算を行なっ
た後ベクトル回転して最終的に8データを得る。このL
OT演算は1次元であるため、16×16の入力画素に
対し8×16出力となっており、これを再び縦横を入れ
替えて同様のLOT演算を行なって8×8のデータを得
る。
だけ軽減するため、参考文献 IEEETRANSACTIONS ON ACO
USTICS,SPEECH,AND SIGNAL PROCESSING.VOL.37.NO.4.AP
RIL1989(The LOT Transform Coding Without Blockig E
ffects,HENRIQUE S.MALVAR,DAVID H.STAELIN)に開示さ
れたLOT演算が提案されている。図5は、このLOT
演算処理を行なうLOT演算装置を示すものであり、1
次元LOTのブロック図を示している。図5において、
1はLOT演算装置、2,3はDCT装置であり、DC
T装置2,3には図9〜図12に示す各種演算器が接続
されている。ここで、図6は減算c=a+(−b)を示
す演算を、図7は加算c=a+bを示す演算を、図11
は所定のゲイン(例えば、1/2)を調整する演算を、
図9はベクトル回転を行なう演算をそれぞれ示してい
る。DCT装置2,3の出力はイーブン(even:偶
数)出力0,2,4,6とオッド(odd:奇数)出力
1,3,5,7とに分けて加減算され、最後に奇数成分
のみが図12に示す演算器でベクトル回転されてLOT
データとなる。図5に示す1次元LOT構成ではLOT
演算装置1を構成するDCT装置2,3に16画素(X
〜X ,X ’〜X’)を入力すればLOT演算によっ
て8データ(Y 〜Y )の出力が得られる。すなわち、
入力初段では1次元のDCT演算を行なって、16デー
タを得、この16データを各種バタフライ演算を行なっ
た後ベクトル回転して最終的に8データを得る。このL
OT演算は1次元であるため、16×16の入力画素に
対し8×16出力となっており、これを再び縦横を入れ
替えて同様のLOT演算を行なって8×8のデータを得
る。
【0007】図10および図11はDCT及びLOTの
基底関数を示す図である。図10及び図11示すように
DCTもLOTもほぼ同一の特性を示すが、大きく異な
るのはDCTの基底関数に対してLOTの基底関数は2
倍の長さをもっていることにある。LOTはDCTのブ
ロック間に及ぶ基底関数を用いることによってブロック
歪みを減少させる働きがある。図12及び図13はDC
T及びLOTの入出力画素を示す図である。LOTは従
来のDCTを拡張したものであり、DCTと同様に2次
元のブロック処理を行なう。DCTでは、入力を8×8
画素とすれば8×8のデータが得られたのに対し、LO
Tでは8×8の出力を得るためには図13の破線部に示
すようにその8×8を含む16×16画素が必要であ
る。図13破線部がLOT入力画素であり、実線部が出
力データである。
基底関数を示す図である。図10及び図11示すように
DCTもLOTもほぼ同一の特性を示すが、大きく異な
るのはDCTの基底関数に対してLOTの基底関数は2
倍の長さをもっていることにある。LOTはDCTのブ
ロック間に及ぶ基底関数を用いることによってブロック
歪みを減少させる働きがある。図12及び図13はDC
T及びLOTの入出力画素を示す図である。LOTは従
来のDCTを拡張したものであり、DCTと同様に2次
元のブロック処理を行なう。DCTでは、入力を8×8
画素とすれば8×8のデータが得られたのに対し、LO
Tでは8×8の出力を得るためには図13の破線部に示
すようにその8×8を含む16×16画素が必要であ
る。図13破線部がLOT入力画素であり、実線部が出
力データである。
【0008】ところが、LOTの基底関数が2倍あると
いうことはあるブロックの周波数成分を計算する際にD
CTではそのブロックの情報だけでよいが、LOTはそ
の周辺の情報を必要とする。そのため、図4の減算器1
3の出力をそのままLOT変換することはできず(なぜ
なら、減算器の出力のブロックはMCにより関係のない
場所と差分をとっている。すなわち、隣のブロックとは
何も関係いのに隣の情報を必要としている。)両立でき
ないという欠点があった。そこで本発明者は、先にLO
Tを用いてブロック歪みの防止を図ることができる動画
像圧縮装置を提供した(特願平2−415835)。先
ず、この動画像圧縮装置の基本的な考え方は次のような
ものであった。LOT及びDCTは線形変換であるから
LOT処理をLで表わすと式1が成り立つ。 L(α+β)=L(α)+L(β) 式1 これを前記図4の減算器13及びDCT14をLOTに
換えた場合について適用してみると、図14に示すよう
に加減算とLOTの順序を逆にすることができる。先
ず、図15には前記図4に示した動画像圧縮装置のコー
ダ側のDCTをLOTに換えたものが示されている。こ
こで、図15中、LはLOTを、ILは逆LOTを、Q
は量子化装置を、Fはフレームメモリを、Fiはフィル
タ装置をそれぞれ表すものとする。この図15に対して
図1で示した加減算の順序を逆にする考え方を適用する
と、図15は図16に示すようにLOT31を減算器に
対して外側に出したような形になる。次に、LOT32
に着目し、このLOT32を図17の位置に移動させた
とすると、LOT32から加算器に出力される信号経路
にLOTの逆関数IL33が挿入されたものとなる。図
17のIL33及び加算器について図1の考え方を適用
すると図17は最終的には図18に示すように2つのL
OT、1つのILOTを有する動画像圧縮装置になる。
いうことはあるブロックの周波数成分を計算する際にD
CTではそのブロックの情報だけでよいが、LOTはそ
の周辺の情報を必要とする。そのため、図4の減算器1
3の出力をそのままLOT変換することはできず(なぜ
なら、減算器の出力のブロックはMCにより関係のない
場所と差分をとっている。すなわち、隣のブロックとは
何も関係いのに隣の情報を必要としている。)両立でき
ないという欠点があった。そこで本発明者は、先にLO
Tを用いてブロック歪みの防止を図ることができる動画
像圧縮装置を提供した(特願平2−415835)。先
ず、この動画像圧縮装置の基本的な考え方は次のような
ものであった。LOT及びDCTは線形変換であるから
LOT処理をLで表わすと式1が成り立つ。 L(α+β)=L(α)+L(β) 式1 これを前記図4の減算器13及びDCT14をLOTに
換えた場合について適用してみると、図14に示すよう
に加減算とLOTの順序を逆にすることができる。先
ず、図15には前記図4に示した動画像圧縮装置のコー
ダ側のDCTをLOTに換えたものが示されている。こ
こで、図15中、LはLOTを、ILは逆LOTを、Q
は量子化装置を、Fはフレームメモリを、Fiはフィル
タ装置をそれぞれ表すものとする。この図15に対して
図1で示した加減算の順序を逆にする考え方を適用する
と、図15は図16に示すようにLOT31を減算器に
対して外側に出したような形になる。次に、LOT32
に着目し、このLOT32を図17の位置に移動させた
とすると、LOT32から加算器に出力される信号経路
にLOTの逆関数IL33が挿入されたものとなる。図
17のIL33及び加算器について図1の考え方を適用
すると図17は最終的には図18に示すように2つのL
OT、1つのILOTを有する動画像圧縮装置になる。
【0009】図18は上記考え方に基づいて作成された
動画像圧縮装置40を示す図であり、図4に対応する図
である。なお、前述したようにデコーダ側はコーダ側の
一部と同一構成であるためコーダ側のみを表わしてい
る。図18中、41はLOT、42はILOTである。
このように、LOTは線形変換であり加減器と順序を逆
にできること及びLOT・ILOT=Eであることに着
目して前記図4のDCT14の代わりにLOT41,4
2を代入してMCを無視して順序を入れ換えれば図18
に示すようになる。この場合に問題となるのはMCであ
るがMCの目的は図4の減算器13の出力のエネルギー
を最小にすることによってDCT出力のエネルギーを最
小となるようにして(パッシベルのTh)量子化時の劣
化を少なくすることにある。すなわち、図4のDCT1
4は図18の減算器に対応するため、それが最小になる
ように図18のフィルタ装置12の出力のブロック切出
しを動かしてLOTを実行し差分をとればよい。但し、
従来のDCTの時と異なり、切出すブロックは若干大き
目のものが必要となる。このように、上記動画像圧縮装
置ではCCITT勧告H.261に代表されるMC,V
LC,フィルタ等を備えた動画像圧縮装置40において
MCとLOT変換順を逆にして図18に示す構成として
いるので、DCTに換えてLOT41,42を用いるこ
とができるようになり、動画像圧縮装置にLOT41,
42が導入できるのでブロック歪みのない高画質な動画
像を得ることができる。
動画像圧縮装置40を示す図であり、図4に対応する図
である。なお、前述したようにデコーダ側はコーダ側の
一部と同一構成であるためコーダ側のみを表わしてい
る。図18中、41はLOT、42はILOTである。
このように、LOTは線形変換であり加減器と順序を逆
にできること及びLOT・ILOT=Eであることに着
目して前記図4のDCT14の代わりにLOT41,4
2を代入してMCを無視して順序を入れ換えれば図18
に示すようになる。この場合に問題となるのはMCであ
るがMCの目的は図4の減算器13の出力のエネルギー
を最小にすることによってDCT出力のエネルギーを最
小となるようにして(パッシベルのTh)量子化時の劣
化を少なくすることにある。すなわち、図4のDCT1
4は図18の減算器に対応するため、それが最小になる
ように図18のフィルタ装置12の出力のブロック切出
しを動かしてLOTを実行し差分をとればよい。但し、
従来のDCTの時と異なり、切出すブロックは若干大き
目のものが必要となる。このように、上記動画像圧縮装
置ではCCITT勧告H.261に代表されるMC,V
LC,フィルタ等を備えた動画像圧縮装置40において
MCとLOT変換順を逆にして図18に示す構成として
いるので、DCTに換えてLOT41,42を用いるこ
とができるようになり、動画像圧縮装置にLOT41,
42が導入できるのでブロック歪みのない高画質な動画
像を得ることができる。
【0010】
【発明が解決しようとする課題】上記図18に示す動画
像圧縮装置では、最初に変換を行い、残りすべて変換軸
上でループを回している。ここで、減算器13にマイナ
スとして入力されるのは予測画像の変換軸成分である
が、これを直接求めているのではなく、ILOT43に
より、一時、時間軸にもってきて、ベクトルによりシフ
トした後、再びLOT42により変換軸上にもってきて
いる。このように変換軸→時間→シフト→変換軸と変換
するようにしているが、これは本質的なものではなく、
もし何等かの方法で変換軸上のデータがシフトできるな
らば、それにこしたことはない。また、図18に示す動
画像圧縮装置ではブロック単位の変換系ではない変換系
においても、MC、イントラ、インターなどのブロック
処理が可能となっているが、この点においても上記変換
軸→時間→シフト→変換軸が変換軸→シフト→変換軸と
なっていても損なうことはない。すなわち、図18に示
す動画像圧縮装置では変換軸上でのシフトを行っていな
いため、処理が非常に複雑になるという欠点があった。
具体的には、ILOT43により時間軸上の変換をし、
FM11及びフィルタ12によりシフトし、更にシフト
したブロックだけLOT42により変換軸上にもってき
ているため、変換する数が多く、ハード的に負担がかか
っていた。そこで本発明は、構成が非常に簡単な動画像
圧縮装置を提供することを目的としている。
像圧縮装置では、最初に変換を行い、残りすべて変換軸
上でループを回している。ここで、減算器13にマイナ
スとして入力されるのは予測画像の変換軸成分である
が、これを直接求めているのではなく、ILOT43に
より、一時、時間軸にもってきて、ベクトルによりシフ
トした後、再びLOT42により変換軸上にもってきて
いる。このように変換軸→時間→シフト→変換軸と変換
するようにしているが、これは本質的なものではなく、
もし何等かの方法で変換軸上のデータがシフトできるな
らば、それにこしたことはない。また、図18に示す動
画像圧縮装置ではブロック単位の変換系ではない変換系
においても、MC、イントラ、インターなどのブロック
処理が可能となっているが、この点においても上記変換
軸→時間→シフト→変換軸が変換軸→シフト→変換軸と
なっていても損なうことはない。すなわち、図18に示
す動画像圧縮装置では変換軸上でのシフトを行っていな
いため、処理が非常に複雑になるという欠点があった。
具体的には、ILOT43により時間軸上の変換をし、
FM11及びフィルタ12によりシフトし、更にシフト
したブロックだけLOT42により変換軸上にもってき
ているため、変換する数が多く、ハード的に負担がかか
っていた。そこで本発明は、構成が非常に簡単な動画像
圧縮装置を提供することを目的としている。
【0011】
【課題を解決するための手段】請求項1記載の発明は、
上記目的達成のため、画像データに対してウェーブレッ
ト(wavelet)理論に基づくウェーブレット変換を実行
するウェーブレット変換手段と、変換軸上において動き
予測を行なう動き予測手段とを備えている。請求項2記
載の発明は、画像データに対してウェーブレット理論に
基づくウェーブレット変換を実行するウェーブレット変
換手段と、変換軸上で変換軸データの位相をずらすシフ
ト手段と、前記シフト手段によるシフトデータに基づい
て変換軸上における動き予測を行なう動き予測手段とを
備えている。請求項3記載の発明は、画像データに対し
てウェーブレット理論に基づくウェーブレット変換を実
行するウェーブレット変換手段と、変換軸上で変換軸デ
ータの荷重平均を算出する荷重平均手段と、前記荷重平
均手段の出力に基づいて変換軸上における動き予測を行
なう動き予測手段とを備えている。
上記目的達成のため、画像データに対してウェーブレッ
ト(wavelet)理論に基づくウェーブレット変換を実行
するウェーブレット変換手段と、変換軸上において動き
予測を行なう動き予測手段とを備えている。請求項2記
載の発明は、画像データに対してウェーブレット理論に
基づくウェーブレット変換を実行するウェーブレット変
換手段と、変換軸上で変換軸データの位相をずらすシフ
ト手段と、前記シフト手段によるシフトデータに基づい
て変換軸上における動き予測を行なう動き予測手段とを
備えている。請求項3記載の発明は、画像データに対し
てウェーブレット理論に基づくウェーブレット変換を実
行するウェーブレット変換手段と、変換軸上で変換軸デ
ータの荷重平均を算出する荷重平均手段と、前記荷重平
均手段の出力に基づいて変換軸上における動き予測を行
なう動き予測手段とを備えている。
【0012】
【作用】本発明の手段の作用は次の通りである。請求項
1、2及び3記載の発明では、画像データは高い周波数
帯のもの程時間分解能を上げるようにしたウェーブレッ
ト変換手段により変換される。また、ウェーブレット変
換軸上で周波数シフトをするため例えば荷重平均手段に
より変換軸データの荷重平均が算出され、算出された荷
重平均成分が位相をずらしたサンプルデータとされ、動
き予測手段がこの荷重平均成分を基に動き予測を行な
う。従って、変換軸上における変換→時間→シフト→変
換をなくすことができ、装置の構造を格段に簡素化する
ことができる。
1、2及び3記載の発明では、画像データは高い周波数
帯のもの程時間分解能を上げるようにしたウェーブレッ
ト変換手段により変換される。また、ウェーブレット変
換軸上で周波数シフトをするため例えば荷重平均手段に
より変換軸データの荷重平均が算出され、算出された荷
重平均成分が位相をずらしたサンプルデータとされ、動
き予測手段がこの荷重平均成分を基に動き予測を行な
う。従って、変換軸上における変換→時間→シフト→変
換をなくすことができ、装置の構造を格段に簡素化する
ことができる。
【0013】
【実施例】以下、本発明を図面に基づいて説明する。原理説明 まず、従来の動画像圧縮装置では変換する数が多くなる
ことについて述べ、次に本発明の基本原理を説明する。
図18の動き補償(MC)においては周波数成分のまま
シフトすることができない。すなわち、画面全体を変換
することができることが図4を図18に変形した有利な
ところであるが、変形した周波数軸上のまま予測元を動
かした周波数成分を求めることはできない(動かしたこ
とにより変換をし直さなければならない)。また、MC
は時間軸上でどけだけずらすかを計算するものでありこ
れを周波数軸上でそのまま計算することはできない。そ
のために、クレームメモリ11には一旦時間軸上のもの
を蓄えるとともに(ILOT43によりILOTをして
時間軸上のものに変換する)、そこでフィルタ12でシ
フトした後、LOT42によりシフトしたブロックだけ
LOT演算をすることによって位相を調整することがで
きる。従って、変換の数が多く、ハード的な負担が大き
かった。
ことについて述べ、次に本発明の基本原理を説明する。
図18の動き補償(MC)においては周波数成分のまま
シフトすることができない。すなわち、画面全体を変換
することができることが図4を図18に変形した有利な
ところであるが、変形した周波数軸上のまま予測元を動
かした周波数成分を求めることはできない(動かしたこ
とにより変換をし直さなければならない)。また、MC
は時間軸上でどけだけずらすかを計算するものでありこ
れを周波数軸上でそのまま計算することはできない。そ
のために、クレームメモリ11には一旦時間軸上のもの
を蓄えるとともに(ILOT43によりILOTをして
時間軸上のものに変換する)、そこでフィルタ12でシ
フトした後、LOT42によりシフトしたブロックだけ
LOT演算をすることによって位相を調整することがで
きる。従って、変換の数が多く、ハード的な負担が大き
かった。
【0014】ところで、近年、モスキートノイズを減ら
す方法として高い周波数帯域のものは時間分解能をup
し、周波数分解能をdownさせ、逆に低い周波数帯域
のものは時間分解能をdownし、周波数分解能をup
するウェーブレット(wavelet)理論に基づく方法が考
えられている。すなわち、例えばDCTでは低い周波数
帯域から高い周波数帯域までサンプリング個数は1個
(固定)であり周波数とサンプリングの関係は固定であ
った。しかし、DCTで代表される周波数帯域に毎にサ
ンプリング個数を均一に分割する方法では位相関係は適
正に表現される反面、一様な画面(例えば、空)に不自
然な歪が生じるモスキートノイズが発生することがあ
る。そこで、高い周波数帯域のもの程時間分解能を上げ
る(周波数分解能は下げる)ウェーブレット変換方法を
適用して人間の視覚特性に合った画像圧縮を行なうこと
ができる。
す方法として高い周波数帯域のものは時間分解能をup
し、周波数分解能をdownさせ、逆に低い周波数帯域
のものは時間分解能をdownし、周波数分解能をup
するウェーブレット(wavelet)理論に基づく方法が考
えられている。すなわち、例えばDCTでは低い周波数
帯域から高い周波数帯域までサンプリング個数は1個
(固定)であり周波数とサンプリングの関係は固定であ
った。しかし、DCTで代表される周波数帯域に毎にサ
ンプリング個数を均一に分割する方法では位相関係は適
正に表現される反面、一様な画面(例えば、空)に不自
然な歪が生じるモスキートノイズが発生することがあ
る。そこで、高い周波数帯域のもの程時間分解能を上げ
る(周波数分解能は下げる)ウェーブレット変換方法を
適用して人間の視覚特性に合った画像圧縮を行なうこと
ができる。
【0015】上述したように、MC計算の際、周波数軸
上でシフトをしなければならず、従来では多くの変換が
必要であった。本発明者は、上記ウェーブレット変換が
周波数軸上の情報に時間軸上の情報を含んでいることに
着目し、周波数成分を有する特徴と時間軸成分の特徴と
を併せ持つウェーブレット変換を利用して変換軸ループ
を非常に簡単に構成できるようにする。
上でシフトをしなければならず、従来では多くの変換が
必要であった。本発明者は、上記ウェーブレット変換が
周波数軸上の情報に時間軸上の情報を含んでいることに
着目し、周波数成分を有する特徴と時間軸成分の特徴と
を併せ持つウェーブレット変換を利用して変換軸ループ
を非常に簡単に構成できるようにする。
【0016】実施例 図1〜図3は本発明に係る動画像圧縮装置の一実施例を
示す図である。先ず、構成を説明する。図1はウェーブ
レット変換を適用した動画像圧縮装置を示す図であり、
前記図18に対応する図である。図1において、前記図
18と同一構成部分には同一符号を付すものとすると、
変換軸をLOT,ILOTに代えてウェーブレット変換
51,52、逆ウェーブレット変換(Iウェーブレット
変換)53として構成する。しかし、図1に示すように
LOT,ILOTを単にウェーブレット変換、逆ウェー
ブレット変換に置換えてただけでは変換の数は変わらな
いことになる。本実施例では、変換→時間→シフト→変
換を行うことなく位相をずらすために図2に示すように
変換軸ループにウェーブレット変換におけるサンプル
(変換軸データ)の荷重平均をとる荷重平均装置54を
設け、これによって図1に示すウェーブレット変換52
及び逆ウェーブレット変換53をなくすようにしてい
る。
示す図である。先ず、構成を説明する。図1はウェーブ
レット変換を適用した動画像圧縮装置を示す図であり、
前記図18に対応する図である。図1において、前記図
18と同一構成部分には同一符号を付すものとすると、
変換軸をLOT,ILOTに代えてウェーブレット変換
51,52、逆ウェーブレット変換(Iウェーブレット
変換)53として構成する。しかし、図1に示すように
LOT,ILOTを単にウェーブレット変換、逆ウェー
ブレット変換に置換えてただけでは変換の数は変わらな
いことになる。本実施例では、変換→時間→シフト→変
換を行うことなく位相をずらすために図2に示すように
変換軸ループにウェーブレット変換におけるサンプル
(変換軸データ)の荷重平均をとる荷重平均装置54を
設け、これによって図1に示すウェーブレット変換52
及び逆ウェーブレット変換53をなくすようにしてい
る。
【0017】次に、本実施例の動作を説明する。図3は
ウェーブレット変換軸におけるサンプリングを示す図で
あり、同図○印は時間軸データ及び変換軸データを示
し、同図●印は前記荷重平均装置54による荷重平均
(内分)により求められるシフトデータを示す。
ウェーブレット変換軸におけるサンプリングを示す図で
あり、同図○印は時間軸データ及び変換軸データを示
し、同図●印は前記荷重平均装置54による荷重平均
(内分)により求められるシフトデータを示す。
【0018】図3に示すように、時間データ(○印参
照)があるものとすると、ウェーブレット変換による変
換軸データは図3(I)〜(IV)に示すようなサンプリ
ングとなる。いま、例えばDCTのようなブロックに合
わせて同図破線に示すような時間データを8個づつに区
切られている場合を例に採ると、8個づつのブロックに
区切ったデータと同じ位相のデータのものもあるが、D
CTのようにサンプル間隔が時間軸方向において等間隔
ではなく異なっている。すなわち、周波数成分が高いも
のは時間軸データを多く持ち(時間密度のサンプリング
が多い)、周波数成分が低いものは時間密度のサンプリ
ングが少ない。特に、高周波ほど情報量が多くなるため
に、量子化雑音が空間的に広がるのを抑えることととな
り、さらに、高周波数領域ほど空間解像度が小さくなる
ために、画像符号化において、モスキートノイズやエッ
ジ周辺の量子化ノイズが視覚的に知覚されにくくなる。
また、周波数が低いものは画像の変化が少ないため時間
密度のサンプリングが少なくとも画質の影響は受けにく
い。
照)があるものとすると、ウェーブレット変換による変
換軸データは図3(I)〜(IV)に示すようなサンプリ
ングとなる。いま、例えばDCTのようなブロックに合
わせて同図破線に示すような時間データを8個づつに区
切られている場合を例に採ると、8個づつのブロックに
区切ったデータと同じ位相のデータのものもあるが、D
CTのようにサンプル間隔が時間軸方向において等間隔
ではなく異なっている。すなわち、周波数成分が高いも
のは時間軸データを多く持ち(時間密度のサンプリング
が多い)、周波数成分が低いものは時間密度のサンプリ
ングが少ない。特に、高周波ほど情報量が多くなるため
に、量子化雑音が空間的に広がるのを抑えることととな
り、さらに、高周波数領域ほど空間解像度が小さくなる
ために、画像符号化において、モスキートノイズやエッ
ジ周辺の量子化ノイズが視覚的に知覚されにくくなる。
また、周波数が低いものは画像の変化が少ないため時間
密度のサンプリングが少なくとも画質の影響は受けにく
い。
【0019】本実施例では、上述したウェーブレット変
換の特徴を考慮しつつ、動画像圧縮装置の構造を簡素化
するために荷重平均装置54を設け、この荷重平均装置
54により変換軸データを内分してシフトデータを算出
しウェーブレット変換において位相をずらす(周波数シ
フトさせる)ようにする。変換軸データを内分してシフ
トデータを求める方法を図3を参照して具体的に説明す
る。図3の○印は時間データを変換軸に変換する様子を
位相的に示したものである。この状態のものを図1に示
すように変換→時間→シフト→変換をすることなく位相
をずらすために荷重平均により成分を求める。例えば、
図3(I)に示す周波数成分の高い変換軸データの場合
は荷重平均装置54によりこの変換軸データを図3
(I)a,bに示すように荷重平均(a+b)/2して
右方向1シフトしたシフト成分(図3(I)●印参照)
を求める。また、図3(II)に示す周波数成分の変換軸
データの場合はこの変換軸データを図3(II)c,dに
示すように荷重平均(c+3d)/4してシフト成分
(図3(II)●印参照)を求める。同様に、図3(II
I)に示す周波数成分の変換軸データの場合はこの変換
軸データを図3(III)e,fに示すように荷重平均
(e+3f)/8してシフト成分(図3(III)●印参
照)を求めるようにする。このようにしても時間方向で
精度を要する高い変換のものはサンプルが多いため問題
を生ずることはなく、時間方向であまり精度を必要とし
ない低い変換のものでも適当な精度のシフトデータを求
めることができる。また、このようにして求めたデータ
は、あくまで予測として使用するのみであって、若干の
誤差は影響しない。
換の特徴を考慮しつつ、動画像圧縮装置の構造を簡素化
するために荷重平均装置54を設け、この荷重平均装置
54により変換軸データを内分してシフトデータを算出
しウェーブレット変換において位相をずらす(周波数シ
フトさせる)ようにする。変換軸データを内分してシフ
トデータを求める方法を図3を参照して具体的に説明す
る。図3の○印は時間データを変換軸に変換する様子を
位相的に示したものである。この状態のものを図1に示
すように変換→時間→シフト→変換をすることなく位相
をずらすために荷重平均により成分を求める。例えば、
図3(I)に示す周波数成分の高い変換軸データの場合
は荷重平均装置54によりこの変換軸データを図3
(I)a,bに示すように荷重平均(a+b)/2して
右方向1シフトしたシフト成分(図3(I)●印参照)
を求める。また、図3(II)に示す周波数成分の変換軸
データの場合はこの変換軸データを図3(II)c,dに
示すように荷重平均(c+3d)/4してシフト成分
(図3(II)●印参照)を求める。同様に、図3(II
I)に示す周波数成分の変換軸データの場合はこの変換
軸データを図3(III)e,fに示すように荷重平均
(e+3f)/8してシフト成分(図3(III)●印参
照)を求めるようにする。このようにしても時間方向で
精度を要する高い変換のものはサンプルが多いため問題
を生ずることはなく、時間方向であまり精度を必要とし
ない低い変換のものでも適当な精度のシフトデータを求
めることができる。また、このようにして求めたデータ
は、あくまで予測として使用するのみであって、若干の
誤差は影響しない。
【0020】以上説明したように、本実施例の動画像圧
縮装置は、画像データをウェーブレット変換するウェー
ブレット変換51と、動き予測のための変換軸ループ上
に変換軸データの荷重平均をとる荷重平均装置54とを
設け、変換軸上でシフトを計算するようにしているの
で、従来必要であった変換→時間→シフト→変換をなく
すことができ、具体的には図1に示す逆ウェーブレット
変換53(図18ではILOT43)、フィルタ装置1
2、ウェーブレット変換52(図18ではLOT42)
を削除することができ、動画像圧縮装置の構成を飛躍的
に簡素化することができる。これにより、現実的な装置
に利用できる。
縮装置は、画像データをウェーブレット変換するウェー
ブレット変換51と、動き予測のための変換軸ループ上
に変換軸データの荷重平均をとる荷重平均装置54とを
設け、変換軸上でシフトを計算するようにしているの
で、従来必要であった変換→時間→シフト→変換をなく
すことができ、具体的には図1に示す逆ウェーブレット
変換53(図18ではILOT43)、フィルタ装置1
2、ウェーブレット変換52(図18ではLOT42)
を削除することができ、動画像圧縮装置の構成を飛躍的
に簡素化することができる。これにより、現実的な装置
に利用できる。
【0021】また、本実施例では、動画像圧縮装置をM
PEGアルゴリズムに基づく動画像圧縮装置に適用した
例であるが、勿論これには限定されず、ウェーブレット
変換に基づいて符号化を行うものであれば全ての装置に
適用可能であることは言うまでもない。
PEGアルゴリズムに基づく動画像圧縮装置に適用した
例であるが、勿論これには限定されず、ウェーブレット
変換に基づいて符号化を行うものであれば全ての装置に
適用可能であることは言うまでもない。
【0022】さらに、上記動画像圧縮装置等を構成する
回路や部材の数、種類などは前述した実施例に限られな
いことは言うまでもなく、ソフトウェア(例えば、C言
語)により実現するようにしてもよい。
回路や部材の数、種類などは前述した実施例に限られな
いことは言うまでもなく、ソフトウェア(例えば、C言
語)により実現するようにしてもよい。
【0023】
【発明の効果】請求項1、2及び3記載の発明によれ
ば、画像データに対してウェーブレット理論に基づくウ
ェーブレット変換を実行するウェーブレット変換手段
と、変換軸上において動き予測を行なう動き予測手段
と、前記荷重平均手段の出力に基づいて変換軸上におけ
る動き予測を行なう動き予測手段とを備えているので、
変換軸上における変換シフト、逆変換をなくしながら変
換軸ループにおける予測を簡単に行なうことができ、装
置の構成を大幅に簡素化することができる。
ば、画像データに対してウェーブレット理論に基づくウ
ェーブレット変換を実行するウェーブレット変換手段
と、変換軸上において動き予測を行なう動き予測手段
と、前記荷重平均手段の出力に基づいて変換軸上におけ
る動き予測を行なう動き予測手段とを備えているので、
変換軸上における変換シフト、逆変換をなくしながら変
換軸ループにおける予測を簡単に行なうことができ、装
置の構成を大幅に簡素化することができる。
【図1】動画像圧縮装置の全体構成図である。
【図2】動画像圧縮装置の符号化した場合の全体構成図
である。
である。
【図3】動画像圧縮装置のウェーブレット変換における
時間データを変換軸に変換する様子を示すタイミングチ
ャートである。
時間データを変換軸に変換する様子を示すタイミングチ
ャートである。
【図4】従来の動画像圧縮装置の全体構成図である。
【図5】従来のLOTの構成図である。
【図6】従来のLOTのバタフライ演算のための演算器
を示す図である。
を示す図である。
【図7】従来のLOTのバタフライ演算のための演算器
を示す図である。
を示す図である。
【図8】従来のLOTのバタフライ演算のための演算器
を示す図である。
を示す図である。
【図9】従来のLOTのバタフライ演算のための演算器
を示す図である。
を示す図である。
【図10】従来のDCTの基底関数を示す図である。
【図11】従来のLOTの基底関数を示す図である。
【図12】従来のDCTとLOTの出力画素を示す図で
ある。
ある。
【図13】従来のLOTの出力画素を示す図である。
【図14】従来の動画像圧縮装置のLOTを導入するた
めの考え方を説明するための図である。
めの考え方を説明するための図である。
【図15】従来の動画像圧縮装置のLOTを導入するた
めの考え方を説明するための図である。
めの考え方を説明するための図である。
【図16】従来の動画像圧縮装置のLOTを導入するた
めの考え方を説明するための図である。
めの考え方を説明するための図である。
【図17】従来の動画像圧縮装置のLOTを導入するた
めの考え方を説明するための図である。
めの考え方を説明するための図である。
【図18】従来の動画像圧縮装置の全体構成図である。
11 フレームメモリ 13 減算器 15 量子化装置 16 VLC 19 加算器 51 ウェーブレット変換 54 荷重平均装置
Claims (3)
- 【請求項1】 画像データに対してウェーブレット(wa
velet)理論に基づくウェーブレット変換を実行するウ
ェーブレット変換手段と、 変換軸上において動き予測を行なう動き予測手段と、 を具備したことを特徴とする動画像圧縮装置。 - 【請求項2】 画像データに対してウェーブレット理論
に基づくウェーブレット変換を実行するウェーブレット
変換手段と、 変換軸上で変換軸データの位相をずらすシフト手段と、 前記シフト手段によるシフトデータに基づいて変換軸上
における動き予測を行なう動き予測手段と、 を具備したことを特徴とする動画像圧縮装置。 - 【請求項3】 画像データに対してウェーブレット理論
に基づくウェーブレット変換を実行するウェーブレット
変換手段と、 変換軸上で変換軸データの荷重平均を算出する荷重平均
手段と、 前記荷重平均手段の出力に基づいて変換軸上における動
き予測を行なう動き予測手段と、 を具備したことを特徴とする動画像圧縮装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23893492A JPH0670304A (ja) | 1992-08-14 | 1992-08-14 | 動画像圧縮装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23893492A JPH0670304A (ja) | 1992-08-14 | 1992-08-14 | 動画像圧縮装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0670304A true JPH0670304A (ja) | 1994-03-11 |
Family
ID=17037454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23893492A Pending JPH0670304A (ja) | 1992-08-14 | 1992-08-14 | 動画像圧縮装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0670304A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008514115A (ja) * | 2004-09-14 | 2008-05-01 | ギャリー デモス | 高品質広帯域多層画像圧縮符号化システム |
-
1992
- 1992-08-14 JP JP23893492A patent/JPH0670304A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008514115A (ja) * | 2004-09-14 | 2008-05-01 | ギャリー デモス | 高品質広帯域多層画像圧縮符号化システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3441132B2 (ja) | 動画像圧縮装置およびその方法 | |
JP4863333B2 (ja) | 高分解能静止画像を創出するための方法及び装置 | |
US5852682A (en) | Post-processing method and apparatus for use in a video signal decoding apparatus | |
JP2728619B2 (ja) | 符号化/復号化装置のブロッキングアーティファクト抑制方法及びその装置 | |
US6873655B2 (en) | Codec system and method for spatially scalable video data | |
JP3678481B2 (ja) | 映像データ後処理方法 | |
JPH0970044A (ja) | 画像信号処理装置および方法 | |
JPH1051775A (ja) | 動映像復号化器のブロック化現象除去方法及び装置 | |
JPH06189281A (ja) | 適応的フレーム/フィールドフォーマット圧縮を用いた映像信号符号化装置 | |
JP2001112000A (ja) | 映像信号符号化装置 | |
JP4382284B2 (ja) | サブバンドの符号化/復号 | |
JPH10191391A (ja) | データ処理装置および方法、動画像符号化装置および方法、並びに、動画像復号化装置および方法 | |
US5748787A (en) | Hierarchy type encoding/decoding apparatus | |
JPH07143491A (ja) | 画像信号処理方法 | |
US6081552A (en) | Video coding using a maximum a posteriori loop filter | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
US20030194008A1 (en) | Computationally fast and efficient DV to DVD transcoding | |
RU2154917C2 (ru) | Улучшенный способ заключительной обработки и устройство для использования в системе декодирования сигнала изображения | |
JPH0670304A (ja) | 動画像圧縮装置 | |
JP2802066B2 (ja) | 画像信号のフレーム間圧縮装置 | |
JPH08242450A (ja) | 画像符号化装置及び画像復号化装置 | |
JP2007516639A (ja) | 符号化方法及び符号化装置 | |
JP2938652B2 (ja) | 時変フレーム間サブバンド符号化方法 | |
EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
KR100317228B1 (ko) | 압축영상에대한시각특수효과처리방법 |