JPH09307896A - 動画像符号化方法及び動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 複雑な画像や動きの激しい画像を符号化する
際に発生する符号量を量子化幅のみにより制御すると、
低周波成分の劣化による復合画像の画質劣化が生じてし
まう。また、これらを入力信号に対してフィルタをかけ
ることにより高周波成分を抑制しても、ＭＰＥＧなどの
符号化方法ではフレーム間圧縮符号化を用いるために大
きな遅延を生じ、効率の良いフィードバック制御ができ
ない。 【解決手段】 入力された動画像信号から動き量を検出
し、検出した動き量に基づいて周波数変換後の出力に帯
域制限を行い、帯域制限後のデータを量子化手段に入力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ（ＩＳＯ
１１１７２，ＩＳＯ１３８１８）、Ｈ.２６１等の入力
動画像に周波数変換及び量子化を施し、これを可変長符
号化を用いて符号化出力を得る動画像符号化方法及び動
画像符号化装置に関するものである。

【０００２】

【従来の技術】ＭＰＥＧ（ＩＳＯ１１１７２，ＩＳＯ１
３８１８）、Ｈ.２６１等の動画像圧縮符号化方法にお
いては、入力された動画像信号をそのまま、若しくは動
き補償を行った差分データに対しＤＣＴ等の周波数変換
が施される。そして、周波数領域出力に対し所定の量子
化行列によって量子化処理が成される。この出力を可変
長符号化し、符号化出力が得られる。

【０００３】この符号化装置の例を図２に示す。入力さ
れた動画像信号は、領域分割手段２０１により所定の領
域に分割される。この分割された各領域はＭＰＥＧでは
マクロブロックと呼ばれる単位（輝度領域で１６×１６
画素）となり、符号化の基本単位となる。そして、この
領域毎に動き予測などが行われ、符号化のタイプ等が決
定される。

【０００４】前記領域分割手段２０１により分割された
各領域データは動き予測手段２０２に入力され、他の画
像から動き予測を行い、似ている領域が検索された場合
にはその差分だけを符号化する。ここで、動き予測は後
述の画像データの復元手順によって、復合装置と同じ条
件で復元された画像を用いて、その画像データから動き
予測が行われる。動き予測による符号化が行われる場合
には、この出力は差分データとなり、動き予測による符
号化が行われない場合には、画素データがそのまま出力
されることになる。

【０００５】出力された差分データ若しくは画素データ
は周波数変換手段２０３に送られる。該周波数変換手段
２０３は周波数変換を行う手段であり、図２においては
ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓ
ｆｏｒｍ）としてあるが、これに限らず、他の周波数変
換方法でもよい。ＭＰＥＧ、Ｈ.２６１等ではＤＣＴが
用いられており、人間の視覚特性を利用して、高周波成
分を低減するために周波数成分を求める演算を行う。Ｄ
ＣＴ演算の場合、通常マクロブロック中の８×８画素を
単位として行う。

【０００６】演算された周波数成分は、量子化手段２０
４に入力され、該量子化手段２０４により入力された周
波数成分を所定の行列を用いて除算する量子化が行われ
る。この場合に高周波成分の除算値を大きく設定し、同
じ行列でデコーダ側で乗算することにより、高周波成分
の精度を落として符号化することができる。この量子化
を行う行列は、後述するレート制御手段２０７から得ら
れる量子化幅を乗算して演算される。これは、量子化幅
の値を大きく設定すれば高周波成分の丸めを大きくする
ことができ、符号量の削減が行えるためである。従っ
て、主にこの量子化幅を制御することにより発生符号量
が制御される。

【０００７】得られた量子化データは可変長符号化手段
２０５により符号化される。この場合の符号化方法は、
周波数変換と量子化を行ったデータに適応した符号化方
法が取られることになる。通常の画像データにおいて
は、エネルギー分布は低周波側に集中している。高周波
成分の精度を落とした量子化後のデータは、更にエネル
ギー分布が低周波側に集中し、高周波領域は０の多いも
のとなる。このため、このようなデータの符号化は、低
周波側から高周波側へジグザグにデータをスキャンし、
０の数とそれに続くデータ値という対応テーブルを用い
て行われる。但し、これらのデータの中でも当然出現頻
度が高いのは０の数が少ないもの、それに続く値が小さ
いものとなり、このようなデータに相当する符号は符号
長の短いものが割り当てられる。逆に０の数が極端に多
いもの、それに続く値が極端に大きいものについては殆
どデータ中には出現しないためにテーブル自体が存在せ
ず例外処理として符号化が成されることになる。この場
合、ＭＰＥＧ２（ＩＳＯ１３８１８）ではＥｓｃａｐｅ
と呼ばれる符号（２進数で０００００１）に続き、０の
数（６ｂｉｔ）、実際の値（１２ｂｉｔ）が付加される
ことになり、常に２４ｂｉｔの符号長を必要とすること
になる。

【０００８】そして、符号化された出力データは、出力
バッファメモリ２０６に送られる。ＭＰＥＧ等の符号化
方法では、一画像辺りのデータ量が固定しないために、
バッファメモリを用いてその変化を緩和する。また、レ
ート制御手段２０７は可変長符号化手段２０５により発
生したデータ量を観測し、量子化の度合いを変更して発
生ビットレートを制御する。

【０００９】逆量子化手段２０８、逆周波数変換手段２
０９、動き補償手段２１０及び画像メモリ手段２１１
は、動き補償を行うためのデータを内部で復元処理する
ための手段であり、前記逆量子化手段２０８は量子化と
逆条件で乗算を行う。逆周波数変換手段２０９は、前記
周波数変換手段２０３の逆変換を行い、以下逆ＤＣＴ手
段として説明する。動き補償手段２１０は逆ＤＣＴ手段
２１０によって得られたデータに対し動き補償を符号化
と逆に行い、画像データを復元する動き補償手段であ
る。そして、復元されたデータを画像メモリ２１１に記
憶し、次の画像の動き補償に用いる。

【００１０】また、動き情報やマクロブロックをどのよ
うに符号化したかという情報も同様に可変長符号化さ
れ、出力バッファメモリ２０６に入力されるが、ここで
は簡単のため説明を省略する。上記のような符号化方法
では、高周波成分の多い複雑な画像や動きの激しい画像
などを符号化した場合に、非常に多くのデータ量を必要
とするために、前述の量子化幅を制御して出力符号量を
目標値に制御する必要がある。量子化幅が大きい程、周
波数領域のデータは粗く量子化されるため、符号量が少
なくなる。しかし、量子化幅が変更になった場合、まず
変更されたという旨の情報が付加されるため、量子化幅
のデータ（ＭＰＥＧでは５ｂｉｔ）が必要となり、変更
になった各マクロブロックにおいて６〜８ｂｉｔ程度の
符号が付加されることになる。また、画像信号にノイズ
が混入した場合には殆どが高周波成分となり、この結果
ノイズを忠実に符号化するために、他の画像中の必要な
成分に与えられる符号量が削減されてしまうことにな
る。さらに、量子化幅の変更による制御は低周波成分に
対しても高周波成分に対しても量子化行列に対する線形
乗算という形で実現される。ＭＰＥＧの場合には、量子
化後のデータ値Ｑｄ［ｉ，ｊ］（ｉ，ｊは整数で行列の
要素を示す）は周波数変換後のデータをＤ［ｉ，ｊ］、
量子化行列Ｑ［ｉ，ｊ］、得られた量子化幅Ｑｍとする
と、Ｑｄ［ｉ，ｊ］＝Ｄ［ｉ，ｊ］×８／（Ｑ［ｉ，
ｊ］×Ｑｍ）として与えられる。このように空間周波数
に対して一様に重み付けが行われるため、高周波成分の
多い場合には、これを制御するために画像の復元に重要
な低周波成分をも大きく劣化させてしますことになる。
このような原因により、量子化幅のみを制御する場合に
は、復合画像の画質が低下してしまうことになる。

【００１１】上記の問題を解決する方法として、入力動
画像信号にフィルタ処理を施し、映像信号中の高周波成
分を一様に、若しくは適応的に除去することによりノイ
ズ成分を低減させ、その結果、符号量の変化や量子化幅
の変化を抑制する方法が特開平２−１０５６０８、特開
平２−２３７８６、特開平６−２９６２７６に開示され
ている。しかし、このような入力動画像信号にフィルタ
処理を施す方法では、通常ＭＰＥＧ等の動画像符号化方
法においてはフレーム間圧縮符号化を行うために画像デ
ータが表示順に符号化されない。この結果、入力画像と
出力ビットストリームの間には大きな遅延が生じること
になり、このような入力動画像信号にフィルタ処理を施
す方法では非常に遅いフィードバックしか行えないこと
になってしまう。

【００１２】

【発明が解決しようとする課題】上記に述べたように、
複雑な画像や動きの激しい画像を符号化する際に発生す
る符号量を量子化幅のみにより制御すると、低周波成分
の劣化による復合画像の画質劣化が生じてしまうという
問題があった。また、これらを入力信号に対してフィル
タをかけることにより高周波成分を抑制しても、ＭＰＥ
Ｇなどの符号化方法ではフレーム間圧縮符号化を用いる
ために大きな遅延を生じ、効率の良いフィードバック制
御ができないと言う問題があった。

【００１３】本発明は、上述のような問題を解決し、複
雑な画像や動きの激しい画像を符号化する際に発生する
符号量を効率よく制御し、復合画像の画質改善を可能に
する動画像符号化方法及び動画像符号化装置の実現を目
的とするものである。

【００１４】

【課題を解決するための手段】本発明は、入力された動
画像信号に周波数変換を施し、周波数変換後の出力に量
子化行列を用いて量子化処理を施し、量子化出力をテー
ブルに従って可変長符号化する動画像符号化方法であっ
て、動画像信号の動き情報を検出する第１工程と、検出
された動き情報に応じて周波数変換後若しくは量子化処
理前のデータに帯域制限を行う第２工程とから成ること
を特徴とする。

【００１５】また、本発明は、入力された動画像信号に
周波数変換を施し、周波数変換後の出力に量子化行列を
用いて量子化処理を施し、量子化出力をテーブルに従っ
て可変長符号化する動画像符号化方法であって、動画像
信号の動き情報を検出する第１工程と、検出された動き
情報に応じて量子化処理を行った後のデータに帯域制限
を行う第２工程とから成ることを特徴とする。

【００１６】また、本発明は、入力された動画像信号に
周波数変換を施し、周波数変換後の出力に量子化行列を
用いて量子化処理を施し、量子化出力をテーブルに従っ
て可変長符号化する動画像符号化方法であって、動画像
信号の動き情報を検出する第１工程と、検出された動き
情報に応じて量子化処理に用いる量子化行列を変更する
第２工程とから成ることを特徴とする。

【００１７】また、本発明は、動き情報が動き量である
ことを特徴とする。また、本発明は、動き情報が最適な
動きベクトルを検出した場合の誤差平均であることを特
徴とする。また、本発明は、動き情報が前マクロブロッ
クと動きベクトルとの差であることを特徴とする。

【００１８】また、本発明は、入力された動画像信号に
周波数変換を行う周波数変換手段と、周波数変換手段か
らの出力を量子化行列により量子化する量子化手段と、
量子化手段からの出力を符号化テーブルで可変長符号化
する可変長符号化手段とを有する動画像符号化装置にお
いて、動画像信号から動き情報を検出する動き検出手段
と、動き検出手段の出力に応じて周波数変換手段の出力
に帯域制限を行い、帯域制限後の出力を量子化手段へ入
力する帯域制限手段とを有することを特徴とする。

【００１９】また、本発明は、入力された動画像信号に
周波数変換を行う周波数変換手段と、周波数変換手段か
らの出力を量子化行列により量子化する量子化手段と、
量子化手段からの出力を符号化テーブルで可変長符号化
する可変長符号化手段とを有する動画像符号化装置にお
いて、動画像信号から動き情報を検出する動き検出手段
と、動き検出手段の出力に応じて量子化手段の出力に帯
域制限を行い、帯域制限後の出力を可変長符号化手段へ
入力する帯域制限手段とを有することを特徴とする。

【００２０】また、本発明は、入力された動画像信号に
周波数変換を行う周波数変換手段と周波数変換手段から
の出力を量子化行列により量子化する量子化手段と量子
化手段からの出力を符号化テーブルで可変長符号化する
可変長符号化手段とを有する動画像符号化装置におい
て、動画像信号から動き情報を検出する動き検出手段と
動き検出手段の出力に応じて量子化手段の量子化行列の
値を変更する制御手段とを有することを特徴とする。

【００２１】また、本発明は、動き検出手段が検出する
動き情報が動き量であることを特徴とする。また、本発
明は、動き検出手段が検出する動き情報が最適な動きベ
クトルを検出した場合の誤差平均であることを特徴とす
る。また、本発明は、動き検出手段が検出する動き情報
が前マクロブロックと動きベクトルとの差であることを
特徴とする。

【００２２】また、本発明は、動き検出手段が検出する
動き情報を動き検出手段の出力から帯域制限手段への入
力までに要する遅延時間分遅延し、帯域制限手段に入力
する遅延手段を有することを特徴とする。また、本発明
は、動き検出手段が検出する動き情報を動き検出手段の
出力から量子化行列の値を変更する制御手段の行列の値
変更までに要する遅延時間を減じた時間分遅延し、制御
手段に入力する遅延手段を有することを特徴とする。

【００２３】また、本発明は、帯域制限手段が入力信号
中の処理単位の先頭に同期して周期的に動作するカウン
タと、カウンタの値と動き情報に従って帯域制限行列を
出力する帯域制限テーブルと、帯域制限テーブルの出力
する帯域制限行列と、入力信号との演算を行う演算手段
とで構成されることを特徴とする。また、本発明は、制
御手段が動画像信号中の処理単位の先頭に同期して周期
的に動作するカウンタと、カウンタの値と動き情報に従
って量子化行列を出力する量子化幅テーブルとで構成さ
れることを特徴とする。

【００２４】

【発明の実施の形態】本発明の実施の形態を図を参照し
つつ説明する。本発明は、複雑な画像や動きの激しい画
像を符号化する際に発生する符号量を効率良く制限する
ために、帯域制限を行い、高周波成分を減衰させるもの
である。 第１実施例 図１は、本発明の第１実施例を示す図である。従来例を
示す図２と同じ動作をする部分については同一の符号を
示す。動き検出手段１０１は、入力された動画像信号の
動き情報を検出するものである。具体的には、入力され
た動画像信号が所定の領域毎に動きベクトルやその大き
さ、その最適動きベクトルを使用した際の参照領域と符
号化領域との誤差平均、自乗誤差平均等を検出する。周
波数変換手段１０２は、前記動き検出手段１０１から送
られてきた所定画素領域内の周波数成分の係数を出力す
る。以下の説明においては、周波数変換手段１０２とし
てＭＰＥＧ（ＩＳＯ１１１７２（ＭＰＥＧ１）、（ＩＳ
Ｏ１３８１８（ＭＰＥＧ２））やＨ.２６１で用いられ
るＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎ
ｓｆｏｒｍ 二次元離散余弦変換）を用いる。帯域制限
手段１０３は、前記周波数変換手段１０２の出力である
周波数成分の係数に帯域制限を施す。この帯域制限にお
いては、前記動き検出手段１０１で得られた情報を基に
帯域制限が行われる。量子化手段２０４は、前記帯域制
限手段１０３により帯域制限された周波数成分に対して
所定の行列で除算を行う。この場合、高周波成分の除算
値を大きく設定し、同じ行列でデコーダ側で乗算を行う
ことにより、高周波成分の精度を落として符号化するこ
とができる。量子化を行う行列は、後述の制御手段２０
７により得られる量子化幅を乗算して演算される。量子
化幅を大きく設定すれば高周波成分の丸めを大きく行う
ことができ、符号量の削減が行えるため、主に量子化幅
を制御することにより発生符号量を制御することができ
る。量子化手段２０４により得られた量子化データは可
変長符号化手段２０５により符号化され、符号化された
出力データは出力バッファメモリ２０６に送られる。Ｍ
ＰＥＧ等の符号化方法では、一画像辺りのデータ量が固
定しないために、バッファメモリを用いてその変化を緩
和している。

【００２５】前記可変長符号化手段２０５により可変長
符号化される際に発生するデータ量をレート制御手段２
０７により観測し、その観測値に応じて量子化の度合い
を変更して発生ビットレートを制御する。前記レート制
御手段２０７において、前述の帯域制限の割合を前記動
き検出手段１０１から得られた情報を基に可変させる。
ここで得られる情報としては、例えば以下のものがあ
る。

【００２６】１.動きベクトル ２.予測誤差（誤差絶対値平均、自乗誤差平均） また、これらの値を演算することにより、以下のような
値を評価の指標として用いることができる。 ３.動きベクトルの絶対値 ４.周囲の領域との動きベクトルの差 上記の動きベクトル、動きベクトルの絶対値は、その動
き量が大きい場合には、差分データの高周波成分を発生
させることが多くなる。これは、動きが大きい場合に
は、対象物の位置や方向が変化しやすく、その結果、差
分を周波数変換した際に生じる高周波成分が多くなって
しまうためである。従って、動きベクトルや動きベクト
ルの絶対値が大きい場合には、差分データの周波数変換
を行った後に、該データの高域を減衰させるか、若しく
は高域をカットさせる帯域制限を行う。これにより、不
要な高周波成分を適応的に除去できる。

【００２７】また、上記の予測誤差量は、これが大きい
場合には当然高周波成分を含む可能性が高くなる。従っ
て、この場合も差分データの周波数変換を行った後に、
該データの高域を減衰させるか、若しくは高域をカット
させる帯域制限を行う。さらに、上記の周囲の領域との
動きベクトルの差は、対象物の大きさを示す指標の一つ
となり、例えば、左右の符号化領域との動きベクトルが
同じであった場合には、三つの領域に跨った対象物が移
動していることになり、これは、比較的動きベクトルが
効率的に測定されていることがわかる。しかし、周囲と
全く違う値が出現した場合には、全く新しい領域が出現
したか、非常に小さい対象物である可能性が高い。全く
新しい領域が出現した場合には差分が大きくなり、高周
波成分も多くなる。また、非常に小さい対象物の場合に
は、方向や状態が変化する可能性が高く、高周波成分が
多くなる可能性も高い。従って、全く新しい領域が出現
した場合や非常に小さい対象物の場合も、差分データの
周波数変換を行った後に、該データの高域を減衰させる
か、若しくは高域をカットさせる帯域制限を行う。

【００２８】上記のように処理を行うことにより適応的
に高周波成分を減衰することができ、不要な高周波成分
の符号量を削減することができる。その結果、量子化幅
の変動を少なくすることができ、復合画像の画質の改善
が期待できる。また、上記の条件に優先順位を設ける
か、若しくは重み付けを行って帯域制限の度合いを決定
しても良い。この場合の帯域制限の方法を図５に示す。
周波数変換後のデータ５０１に帯域制限行列５０２を乗
算する。この乗算においては、乗算の結果、１に満たな
い部分は全て０となるために、容易に高周波成分を除去
することができる。本発明においては、前記周波数変化
後のデータ５０１に帯域制限行列を乗算する場合のみな
らず、帯域制限行列の逆数に相当する値で前記周波数変
換後のデータ５０１を除算してもよい。

【００２９】図６は帯域制限の度合いを変化させた例を
示したものである。帯域制限行列６０１、６０２、６０
３と高周波成分の減衰領域が広くなり、帯域制限の割合
が大きくなっている。このように、所定の符号化単位毎
の発生符号量が大きくなるに従って強い帯域制限を行
い、高域成分を除去することができる。図７は、帯域制
限行列の値として１と０だけを用いたものである。帯域
制限行列７０１、７０２、７０３の順に高周波成分の減
衰領域が広くなり、帯域制限の割合が大きくなってお
り、行列の値が０の部分はデータが全て除去される。 第２実施例 図３は本発明の第２実施例を示すものである。動き検出
手段３０１は、入力された動画像信号の動き情報を検出
し、前記動画像信号が所定の領域毎に動きベクトルやそ
の大きさ、最適動きベクトルを使用した際の参照領域と
符号化領域の誤差平均、自乗誤差平均等を検出する。周
波数変換手段３０２は、所定の画素領域内の周波数成分
の係数を出力する。第２実施例においても上記第１実施
例と同様に前記周波数変換手段３０２としてＤＣＴを用
いるものとする。量子化手段３０３は前記周波数変換手
段３０２により得られた周波数成分を所定の行列を用い
て除算する。この場合、高周波成分の除算値を大きく設
定し、同じ行列でデコーダ側で乗算することにより、高
周波成分の精度を落として符号化することができる。量
子化を行う行列は、上記第１実施例と同様に前記レート
制御手段２０７から得られる量子化幅を乗算して演算さ
れる。この場合、量子化幅を大きく設定すれば高周波成
分の丸めを大きくすることができ、符号量の削減ができ
るため、主に量子化幅を制御することにより発生符号量
を制御することができる。帯域制限手段３０４は、量子
化の出力、即ち、周波数領域の係数に重み付け演算を行
ったデータに帯域制限を施す。帯域制限が施された量子
化データは可変長符号化手段２０５で符号化され、出力
バッファメモリ２０６に送られる。ＭＰＥＧ等の符号化
方法では、一画像辺りのデータ量が固定しないために、
バッファメモリを用いてその変化を緩和している。

【００３０】本第２実施例においても、前記レート制御
手段２０７により、可変長符号化により発生したデータ
量を観測し、量子化の度合いを変更して発生ビットレー
トを制御する。量子化後のデータは、周波数変換後の周
波数領域の係数に対し、所定の量子化行列を除算するこ
とによって得られる。従って、周波数変換後の係数デー
タに帯域制限を行う上記第１実施例と同様に、帯域制限
を行うことにより、高周波領域の効果的な削減が可能に
なる。そして、この際に前記動き検出手段３０１により
得られた動き情報を基にその帯域制限を行い、動き量や
ベクトルの内容、差分量の大きい程、高周波成分を制限
するよう変更する。

【００３１】上記のような処理を行うことにより適応的
に高周波成分を減衰することができ、不要な高周波成分
の符号量を削減することができる。その結果、量子化幅
の変動を少なくすることができ、復合画像の画質の改善
が期待できる。 第３実施例 図４に本発明の第３実施例を示す。動き検出手段４０１
は、入力された動画像信号の動き情報を検出し、前記動
画像信号が所定の領域毎に動きベクトルやその大きさ、
最適動きベクトルを使用した際の参照領域と符号化領域
の誤差平均、自乗誤差平均等を検出する。周波数変換手
段４０２は、所定の画素領域内の周波数成分の係数を出
力する。第３実施例においても、上記第１及び第２実施
例と同様に、前記周波数変化手段４０２としてＭＰＥＧ
等で用いられているＤＣＴを用いるものとする。量子化
手段４０３は、前記周波数変換手段４０２により得られ
た周波数成分を所定の行列を用いて除算を行う。この場
合、高周波成分の除算値を大きく設定し、同じ行列でデ
コーダ側で乗算することにより、高周波成分の精度を落
として符号化することができる。この量子化を行う行列
は、上記第１及び第２実施例と同様に前記レート制御手
段２０７から得られる量子化幅を乗算して演算される。
この場合、量子化幅を大きく設定すれば高周波成分の丸
めを大きくすることができ、符号量の削減ができるた
め、主に量子化幅を制御することにより発生符号量を制
御することができる。この場合、量子化幅が前記レート
制御手段２０７から、量子化行列が量子化行列変更手段
４０４から前記量子化手段４０３に与えられる。前記量
子化行列変更手段４０４が与える量子化行列は、前述す
る図１における前記帯域制限手段１０２、図３における
前記帯域制限手段３０１と演算上同一の結果をもたらす
ように演算することによって決定される。前記量子化手
段４０３により得られた量子化データは、可変長符号化
手段２０５に送られ、符号化された後に、出力バッファ
メモリ２０６に送られる。本第３実施例においても、Ｍ
ＰＥＧ等の符号化方法では、一画像辺りのデータ量が固
定しないために、バッファメモリを用いてその変化を緩
和する。

【００３２】本第３実施例においても、前記レート制御
手段２０７により、可変長符号化により発生したデータ
量を観測し、量子化の度合いを変更して発生ビットレー
トを制御する。量子化行列の変更方法を図９に示す。符
号９０１は、上記図１で説明した本発明の一実施例の中
の周波数変換手段から量子化手段までのデータの流れを
示したものである。また、符号９０２は、上記図４で説
明した本発明の一実施例中の周波数変換手段から量子化
手段までのデータの流れを示したものである。量子化幅
をＱｍとすると、前記９０１の流れにおいて、最終的な
出力は前記量子化手段１０３の出力であるＯ［ｉ，ｊ］
として与えられるが、この場合、Ｏ［ｉ，ｊ］＝Ｄ
［ｉ，ｊ］×Ｂ［ｉ，ｊ］／（Ｑ［ｉ，ｊ］×Ｑｍ）と
同一になる。このため、量子化手段において前記９０１
における前記帯域制限手段１０２と前記量子化手段１０
３の処理を併せて行うようにＱ（ｉ，ｊ）で除算する代
わりに、Ｑ［ｉ，ｊ］／Ｂ［ｉ，ｊ］で除算することに
すれば、前記９０２に示すように同じ結果が得られるこ
とになる。このような量子化行列の変更が図４中の量子
化行列変更手段によって為される。この量子化行列に演
算する値としては図６若しくは図７に示したのと同様な
帯域制限行列が用いられる。

【００３３】また、ＭＰＥＧではピクチャ単位で量子化
行列を変更することが可能となっており、通常量子化行
列を変更した場合にはこれらはビットストリームに反映
されることになる。しかし、本発明の場合には高域を不
可逆に遮断、若しくは制限することを目的としているた
め、ビットストリームとは量子化幅の変更を行っていな
いものとして符号化し、デコーダ側では通常の量子化行
列を用いて逆量子化を行うこととなる。これにより、高
域を遮断することができる。

【００３４】このように量子化幅を変更する処理を行う
ことにより、適応的に高周波成分を減衰することがで
き、不要な高周波成分の符号量を削減することができ
る。その結果、量子化幅の変動を少なくすることがで
き、復号画像の画質の改善が期待できる。次に、本発明
の第４実施例に相当する動画像符号化装置の一例を図８
に示す。図８の基本構成は第１実施例と同一であり、機
能として同じ内容の部分は同じ番号とした。動き検出手
段１０１は、入力された動画像信号の動き情報を検出す
る。ここでは、入力された動画像信号が、所定の領域毎
に、動きベクトルやその大きさ、最適動きベクトルを使
用した際の参照領域と符号化領域との誤差平均、自乗誤
差平均等を検出する。

【００３５】周波数変換手段１０２は、所定の画素領域
内の周波数成分の係数を出力する。本第４実施例におい
ても上記第１、第２及び第３実施例と同様に周波数変換
手段１０２として前記ＤＣＴを用いるものとする。帯域
制限手段１０３は、ＤＣＴ演算の出力、即ち周波数領域
の係数に帯域制限を施す。ここで、この帯域制限の内容
は、前記動き予測手段の動き情報は、まず遅延手段８０
１に入力される。これは、周波数変換手段１０２の演算
により生じる遅延分を補償するものである。この結果、
動き予測を行った、つまり帯域制限のための情報を取っ
たデータ自体に対し、周波数変換後の係数データに帯域
制限を施すことが可能になる。

【００３６】量子化手段２０４は、得られた周波数成分
を所定の行列を用いて除算を行う。この場合、高周波成
分の除算値を大きく設定し、同じ行列でデコード側で乗
算することにより、高周波成分の精度を落として符合す
ることができる。この量子化を行う行列は、上記第１、
第２及び第３実施例と同様に前記レート制御手段２０７
から得られる量子化幅を乗算して演算される。この場
合、量子化幅を大きく設定すれば高周波成分の丸めを大
きくすることができ、符号量の削減ができるため、主に
量子化幅を制御することにより発生符号量を制御するこ
とができる。得られた量子化データは、前記可変長符号
化手段２０５で符号化され、該符号化された出力データ
は出力バッファメモリ２０６に送られる。ＭＰＥＧ等の
符号化方法では、一画面辺りのデータ量が固定しないた
めに、バッファメモリを用いてその変化を緩和する。そ
して、本第４実施例においても、前記レート制御手段２
０７により、可変長符号化により発生したデータ量を観
測し、量子化の度合いを変更して発生ビットレートを制
御する。尚、上記の方法は周波数変化を行ったその出力
に帯域制限を施しているが、これを上記第２実施例で述
べたように量子化後に行っても良く、この場合には、前
記遅延手段８０１遅延時間は前記周波数変換（ＤＣＴ）
手段２０３と前記量子化手段２０４の演算時間を補償す
る。かかる処理を行うことにより適応的に高周波成分を
減衰することができ、不要な高周波成分の符号量を削減
することができる。その結果、量子化幅の変動を少なく
することができ、復号画像の画質の改善が期待できる。

【００３７】また、上記第３実施例で述べたように、量
子化時に量子化幅を変更することにより帯域制限を行っ
てもよく、この場合には、前記遅延手段８０１の遅延時
間は周波数変換（ＤＣＴ）の遅延時間と、前記量子化手
段２０４内の該当係数の演算までの遅延時間を補償する
ものであればよい。次に、上記で説明した前記帯域制限
手段１０３の実現方法について説明する。図１０は、帯
域制限手段の構成の一例を示したものである。動き検出
手段１００１は入力された動画像信号の各符号化単位毎
に動き情報を情報を求め、得られた動き情報は帯域制限
の条件として用いられる。周波数変換手段１００２は、
所定の画素領域尚の周波数成分の係数を出力し、その
後、量子化手段１００３で量子化される。該量子化手段
１００３の出力は図１０中の点線で示された帯域制限手
段１００８に入力される。該帯域制限手段１００３は、
上記第１及び第２実施例で示した前記帯域制限手段１０
３の一例である。帯域制限手段１００８への入力は前記
量子化手段１００３の出力データ（１０Ｂ、１０Ｃ）と
前記動き検出手段１００１の出力である動き情報１０Ａ
である。ここで、１０Ｂはデータ中の位置を示し、周波
数変換や量子化処理を行う場合、所定のデータ単位（Ｍ
ＰＥＧでは８×８画素）でこれらの演算処理を行う。こ
のため、周波数変換後もこの単位（８×８）で出力され
る結果、以降の処理においては、この領域の先頭位置を
知る必要がある。通常は、この先頭位置に別データを多
重することによりデータの先頭が入力されることが知ら
れる。１０Ｂはこの先頭位置を知らせるデータを意味す
る。カウンタ１００４は、先頭位置入力に同期して動作
し、先頭位置入力でリセットした後、０にすることによ
りカウンタの値を実現することができる。カウンタを８
×８画素を単位で符号化する場合には、６４値、即ち、
６ｂｉｔカウンタとする。その結果、各周波数領域の係
数に対応した帯域制限値をテーブル１００５に記録して
おけば、この値が乗算器１００７に入力され、希望の値
で量子化後のデータが乗算されることになり、データの
帯域制限が可能になる。ここでテーブルのデータが除算
用の１よりも大きい値と成っている構成も可能であり、
この場合には除算器１００７とする。尚、このテーブル
は各種ＲＯＭ又はＲＡＭによって構成可能である。

【００３８】また、動き情報のデータを保持回路１００
６に入力し、１ブロック間保持する。これは、１符号化
単位の処理のバラ付きを防ぐものであり、これは動き検
出手段において保持されているものでも良い。この出力
をカウンタ値と同様にテーブルのアドレスとして入力
し、動き情報に従ってこのテーブルバンクを切換えれば
動き情報に従って異なる帯域制限が可能となる。

【００３９】尚、上記では量子化後に帯域制限を行うこ
ととして説明したが、これに限らず、周波数変換後に帯
域制限を行っても良い。この場合は、周波数変換手段１
００２の出力を帯域制限手段１００８に入力することと
なる。また、量子化行列を変更する構成であっても良
い。この場合には、図１０において乗算用のデータ記憶
用として用意したデーブルを、量子化行列そのものを出
力するものとして、量子化手段１００３に量子化行列を
出力する構成とすれば良い。

【００４０】上記のように処理を行うことにより適応的
に高周波成分を減衰することができ、不要な高周波成分
の符号量を削減することができる。その結果、量子化幅
の変動を少なくすることができ、複号画像の画質を改善
できる。

【００４１】

【発明の効果】本発明によれば、入力された動画像信号
に周波数変換を施し、周波数変換後の出力を所定の量子
化処理を施し、この量子化出力を可変長符号化する場合
に、入力動画像信号の動き情報を検出し、検出した動き
情報の内容に応じて周波数変換の出力に帯域制限を行う
ことにより、符号化時に発生する差分データの高周波成
分を適応的に除去することができ、その結果、量子化幅
の変動を少なくでき、復号画像の画質の改善が可能とな
る。

【００４２】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する場合に、入力動画像信号の動き情報
を検出し、検出した動き情報の内容に応じて量子化処理
の出力に帯域制限を行うことにより、符号化時に発生す
る差分データの高周波成分を適応的に除去することがで
き、その結果、量子化幅の変動を少なくでき、復号画像
の画質を改善できる。

【００４３】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する場合に、入力動画像信号の動き情報
を検出し、検出した動き情報の内容に応じて量子化処理
の行列を変更することにより符号化時に発生する差分デ
ータの高周波成分を適応的に除去することができ、その
結果、量子化幅の変動を少なくでき、復号動画像の画質
を改善できる。

【００４４】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する場合に、入力動画像信号の動き情報
を検出し、検出した動き情報の内容に応じて周波数変換
後の出力に帯域制限を行うことにより、符号化時に発生
する差分データの高周波成分を適応的に除去することが
でき、その結果、量子化幅の変動を少なくでき、復号画
像の画質を改善できる。また、本発明によれば、入力さ
れた動画像信号に周波数変換を施し、周波数変換後の出
力を所定の量子化行列を用いて量子化処理を施し、この
量子化出力を可変長符号化する場合に、入力動画像信号
の最適動きベクトル検出時の誤差平均を検出し、検出し
た内容に応じて周波数変換後の出力に帯域制限を行うこ
とにより、符号化時に発生する差分データの高周波成分
を適応的に除去することができ、その結果、量子化幅の
変動を少なくでき、復号画像の画質の改善が可能にな
る。

【００４５】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する場合に、入力動画像信号のマクロブ
ロックとの動きベクトルの差を検出し、検出した内容に
応じて周波数変換後の出力に帯域制限を行うことによ
り、符号化時に発生する差分データの高周波成分を適応
的に除去することができ、その結果、量子化幅の変動を
少なくでき、復号画像の画質の改善が可能になる。

【００４６】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、検出した内容に応じて周
波数変換の出力に帯域制限を行うことにより、符号化時
に発生する差分データの高周波成分を適応的に除去する
ことができ、その結果、量子化幅の変動を少なくでき、
復号画像の画質の改善が可能になる。

【００４７】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、検出した内容に応じて量
子化処理の出力に帯域制限を行うことにより、符号化時
に発生する差分データの高周波成分を適応的に除去する
ことができ、その結果、量子化幅の変動を少なくでき、
復号画像の画質の改善が可能になる。

【００４８】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、検出した内容に応じて量
子化処理の行列を変更することにより、符号化時に発生
する差分データの高周波成分を適応的に除去することが
でき、その結果、量子化幅の変動を少なくでき、復号画
像の画質の改善が可能になる。

【００４９】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き量を検出し、検出した内容に応じて周波
数変換後の出力に帯域制限を行うことにより、符号化時
に発生する差分データの高周波成分を適応的に除去する
ことができ、その結果、量子化幅の変動を少なくでき、
復号画像の画質の改善が可能になる。

【００５０】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の最適動きベクトル検出時の誤差平均を検出
し、検出した内容に応じて周波数変換後の出力に帯域制
限を行うことにより、符号化時に発生する差分データの
高周波成分を適応的に除去することができ、その結果、
量子化幅の変動を少なくでき、復号画像の画質の改善が
可能になる。

【００５１】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号のマクロブロックとの動きベクトルの差を検出
し、検出した内容に応じて周波数変換後の出力に帯域制
限を行うことにより、符号化時に発生する差分データの
高周波成分を適応的に除去することができ、その結果、
量子化幅の変動を少なくでき、復号画像の画質の改善が
可能になる。

【００５２】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、検出した情報を動き検出
から帯域制限までに所要する遅延時間分遅延させ、その
情報に応じて周波数変換後の出力に帯域制限を行うこと
により、符号化時に発生する差分データの高周波成分を
適応的に除去することができ、その結果、量子化幅の変
動を少なくでき、復号画像の画質の改善が可能になる。

【００５３】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、量子化行列を変更する場
合に、動画像信号が動き検出から量子化処理までに所要
する遅延時間から、量子化行列の変更が為されてから量
子化が行われるまでに所要する時間を差し引いた時間分
遅延し、この遅延された値に従って量子化行列を変更す
ることにより、符号化時に発生する差分データの高周波
成分を適応的に除去することができ、その結果、量子化
幅の変動を少なくでき、復号画像の画質の改善が可能に
なる。

【００５４】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、処理単位の先頭入力に同
期して周期的にカウンタを動作させ、このカウンタ値と
動き情報に従って帯域制限行列をテーブルによって決定
し、このテーブルに従って入力信号に演算を施すことに
よって帯域制限を行うことにより、符号化時に発生する
差分データの高周波成分を適応的に除去することがで
き、その結果、量子化幅の変動を少なくでき、復号画像
の画質の改善が可能になる。

【００５５】また、本発明によれば、入力された動画像
信号に周波数変換を施し、周波数変換後の出力を所定の
量子化行列を用いて量子化処理を施し、この量子化出力
を可変長符号化する動画像符号化装置において、入力動
画像信号の動き情報を検出し、入力動画像中の処理単位
の先頭に同期してカウンタを動作させ、このカウンタ値
と動き情報に従って量子化行列を出力させ、この量子化
行列に従って量子化処理を行うことにより、符号化時に
発生する差分データの高周波成分を適応的に除去するこ
とができ、その結果、量子化幅の変動を少なくでき、復
号画像の画質の改善が可能になる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の一例を示す説明図
である。

【図２】従来の動画像符号化装置の他の例を示す説明図
である。

【図３】本発明の動画像符号化装置の他の例を示す説明
図である。

【図４】本発明の動画像符号化装置の他の例を示す説明
図である。

【図５】帯域制限方法の説明図である。

【図６】帯域制限行列の一例である。

【図７】帯域制限行列の一例である。

【図８】本発明の動画像符号化装置の一例を示す説明図
である。

【図９】本発明の動画像符号化装置の量子化行列を変更
する場合の説明図である。

【図１０】帯域制限の一構成例の説明図である。

【符号の説明】

１０１・・・動き検出手段 １０２・・・周波数変換手段 １０３・・・帯域制限手段 ３０３・・・量子化手段 ４０４・・・量子化行列変更手段 ８０１・・・遅延手段

Claims (16)

【特許請求の範囲】
1. 【請求項１】 入力された動画像信号に周波数変換を施
   し、 前記周波数変換後の出力に量子化行列を用いて量子化処
   理を施し、 前記量子化出力をテーブルに従って可変長符号化する動
   画像符号化方法であって、 前記動画像信号の動き情報を検出する第１工程と、 前記検出された動き情報に応じて周波数変換後若しくは
   量子化処理前のデータに帯域制限を行う第２工程とから
   成ることを特徴とする動画像符号化方法。
2. 【請求項２】 入力された動画像信号に周波数変換を施
   し、 前記周波数変換後の出力に量子化行列を用いて量子化処
   理を施し、 前記量子化出力をテーブルに従って可変長符号化する動
   画像符号化方法であって、 前記動画像信号の動き情報を検出する第１工程と、 前記検出された動き情報に応じて前記量子化処理を行っ
   た後のデータに帯域制限を行う第２工程とから成ること
   を特徴とする動画像符号化方法。
3. 【請求項３】 入力された動画像信号に周波数変換を施
   し、 前記周波数変換後の出力に量子化行列を用いて量子化処
   理を施し、 前記量子化出力をテーブルに従って可変長符号化する動
   画像符号化方法であって、 前記動画像信号の動き情報を検出する第１工程と、 前記検出された動き情報に応じて量子化処理に用いる量
   子化行列を変更する第２工程とから成ることを特徴とす
   る動画像符号化方法。
4. 【請求項４】 請求項１から３において、 前記動き情報は、動き量であることを特徴とする動画像
   符号化方法。
5. 【請求項５】 請求項１から３において、 前記動き情報は、最適な動きベクトルを検出した場合の
   誤差平均であることを特徴とする動画像符号化方法。
6. 【請求項６】 請求項１から３において、 前記動き情報は、前マクロブロックと動きベクトルとの
   差であることを特徴とする動画像符号化方法。
7. 【請求項７】 入力された動画像信号に周波数変換を行
   う周波数変換手段と、 該周波数変換手段からの出力を量子化行列により量子化
   する量子化手段と、 該量子化手段からの出力を符号化テーブルで可変長符号
   化する可変長符号化手段とを有する動画像符号化装置に
   おいて、 前記動画像信号から動き情報を検出する動き検出手段
   と、 該動き検出手段の出力に応じて前記周波数変換手段の出
   力に帯域制限を行い、帯域制限後の出力を前記量子化手
   段へ入力する帯域制限手段と、 を有することを特徴とする動画像符号化装置。
8. 【請求項８】 入力された動画像信号に周波数変換を行
   う周波数変換手段と、 該周波数変換手段からの出力を量子化行列により量子化
   する量子化手段と、 該量子化手段からの出力を符号化テーブルで可変長符号
   化する可変長符号化手段とを有する動画像符号化装置に
   おいて、 前記動画像信号から動き情報を検出する動き検出手段
   と、 該動き検出手段の出力に応じて前記量子化手段の出力に
   帯域制限を行い、帯域制限後の出力を前記可変長符号化
   手段へ入力する帯域制限手段と、 を有することを特徴とする動画像符号化装置。
9. 【請求項９】 入力された動画像信号に周波数変換を行
   う周波数変換手段と、 該周波数変換手段からの出力を量子化行列により量子化
   する量子化手段と、 該量子化手段からの出力を符号化テーブルで可変長符号
   化する可変長符号化手段とを有する動画像符号化装置に
   おいて、 前記動画像信号から動き情報を検出する動き検出手段
   と、 該動き検出手段の出力に応じて前記量子化手段の量子化
   行列の値を変更する制御手段とを有することを特徴とす
   る動画像符号化装置。
10. 【請求項１０】 請求項７から９において、 前記動き検出手段が検出する動き情報は、動き量である
    ことを特徴とする動画像符号化装置。
11. 【請求項１１】 請求項７から９において、 前記動き検出手段が検出する動き情報は、最適な動きベ
    クトルを検出した場合の誤差平均であることを特徴とす
    る動画像符号化装置。
12. 【請求項１２】 請求項７から９において、 前記動き検出手段が検出する動き情報は、前マクロブロ
    ックと動きベクトルとの差であることを特徴とする動画
    像符号化装置。
13. 【請求項１３】 請求項７、８において、 前記動き検出手段が検出する動き情報を、前記動き検出
    手段の出力から前記帯域制限手段への入力までに要する
    遅延時間分遅延し、前記帯域制限手段に入力する遅延手
    段を有することを特徴とする動画像符号化装置。
14. 【請求項１４】 請求項９において、 前記動き検出手段が検出する動き情報を、前記動き検出
    手段の出力から量子化行列の値を変更する制御手段の行
    列の値変更までに要する遅延時間を減じた時間分遅延
    し、前記制御手段に入力する遅延手段を有することを特
    徴とする動画像符号化装置。
15. 【請求項１５】 請求項７、８、１３において、 前記帯域制限手段は、入力信号中の処理単位の先頭に同
    期して周期的に動作するカウンタと、 前記カウンタの値と前記動き情報に従って帯域制限行列
    を出力する帯域制限テーブルと、 前記帯域制限テーブルの出力する帯域制限行列と、入力
    信号との演算を行う演算手段とで構成されることを特徴
    とする動画像符号化装置。
16. 【請求項１６】 請求項９又は１４において、 前記制御手段は、前記動画像信号中の処理単位の先頭に
    同期して周期的に動作するカウンタと、 前記カウンタの値と前記動き情報に従って量子化行列を
    出力する量子化幅テーブルとで構成されることを特徴と
    する動画像符号化装置。