JPH0686264A - 可変速度画像符号化方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 高画質で高効率な画像符号化を行うための量
子化制御方式で、ＡＴＭなどの階層伝送や従来の固定速
度符号化方式にも適用できる符号化方式を提供する。 【構成】 直交変換を基本とする可変速度符号化方式に
おいて、変換を施すブロック単位毎に画像の動き量、パ
ワーの集中度、パワー分布、周波数成分を計算し、段階
的に量子化をフィードフォワード制御する。又パワー分
布に合わせてジグザグスキャン法を適応化する。さらに
このフィードフォワード制御の外側のループに速度平滑
化バッファからのフィードバック制御を施す。 【効果】 ブロック単位でのきめ細かな量子化制御を行
うので、高画質な符号化が可能である。ＡＴＭ伝送網へ
の階層伝送にも適しており、適応ジグザグスキャンによ
り可変長符号化での符号化効率も上がる。固定速度画像
符号化装置への適用も可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、高能率符号化された画
像信号をディジタル伝送路で効率よく伝送する画像通信
システムに適用する変速度画像符号化方式に関する。画
像信号の持つ本来の情報量の変化と、人間の視覚特性を
組み合わせて効率よく伝送する方式であるので、特に高
画質で比較的低圧縮・高速度の画像通信端末、ディジタ
ル放送機器、ディジタルＶＴＲ、ＣＤ−ＲＯＭ等のディ
ジタル画像符号化・復号化装置に利用可能である。

【０００２】

【従来の技術】画像のディジタル高能率符号化方式に
は、例えば既に標準化されているものとして、ＣＣＩＴ
Ｔのテレビ電話・テレビ会議用Ｈ．２６１方式、ＩＳＯ
／ＣＣＩＴＴの静止画用ＪＰＥＧ方式、或いはＩＳＯ／
ＩＥＣの蓄積メディア用ＭＰＥＧ１方式等がある。ＪＰ
ＥＧを除きこれらは約１．５Ｍｂ／ｓまでの高圧縮／低
速度符号化方式である。またこれらは全て離散コサイン
変換（ＤＣＴ：Discrete Cosine Transform）と呼ばれ
る直交変換符号化を基本としている。また現在これに引
き続きより高画質な符号化方式として、ＣＣＩＴＴで
Ｈ．２６Ｘ方式や、ＩＳＯでＭＰＥＧ２方式を検討中で
ある。特にＨ．２６Ｘ方式では、Ｂ−ＩＳＤＮのＡＴＭ
（非同期転送モード）に適した可変速度画像符号化方式
を検討しており、これらの標準化委員会の中でより高画
質・低圧縮・比較的高速度の効率良い符号化方式を検討
している。これらを狙って最近数Ｍｂ／ｓから１０Ｍｂ
／ｓ程度の高画質符号化方式がいくつか提案されてい
る。また、可変速度画像符号化方式も提案され始めてい
る。

【０００３】図１にこう言った従来の技術の一例を示
す。６は動き補償フレーム／フィールド間予測符号化
器、１はＤＣＴ変換器、２は固定量子化器、３はジグザ
グスキャン器、４は可変長符号化器、５は局部復号器で
ある。しかし、これらの内の主な方式は、量子化器の設
定を固定にしており、画像の特徴によってこの設定を変
更できるものではない。即ち、可変速度の場合は量子化
ステップを一定にすることによって、基本的に画質を一
定に保ち、画像自体の持つ特徴のみで可変速度化を実現
するものである。一方固定速度の場合は、符号器出力に
設けられた速度平滑化バッファのバッファ内メモリ容量
をみて、使用量がオーバフローにもアンダーフローにも
ならないように、量子化器の量子化ステップを変化させ
て調整するものである。

【０００４】

【発明が解決しようとする課題】上記従来の方式では、
符号化速度の平滑化はバッファ容量の１０倍程度の時間
内において比較的ゆっくりと定常的に行えるが、逆に画
像の局所的な情報量の変化に伴って量子化を変更するこ
とができない。又長時間の範囲においてできたとして
も、制御の遅延や制御の発振現象が生じる可能性がある
ため、高画質符号化に適した量子化器設定法とは言えな
い。

【０００５】又従来にテレビ電話の符号化方式のよう
に、量子化に直交変換係数の次数、或いは周波数によっ
て人間の視覚特性を考慮した量子化ステップ数を割り当
てた方式があるが、これもあくまで固定であり、画像に
よって適応的に量子化器の量子化特性を切り替えるもの
ではなかった。また、固定速度符号化方式では、速度平
滑化バッファにおいてフィードフォバックの量子化器制
御を行っているが、可変速度符号化において速度平滑化
バッファが無い場合は、画像内容によって発生情報量が
大きく変化するため、フィードフォワードによっても人
間の視覚特性に合った符号化、量子化が十分には行い得
ない。

【０００６】そこで本発明の目的はより高画質化、高効
率の画像符号化伝送を実行可能な符号化方式を提供する
ことにある。

【０００７】特に、可変速度符号化方式において、量子
化器の設定を適応的に変化させる方式を提供する。

【０００８】さらに、本発明では、画像内容によって発
生情報量が大きく変化する場合を行う必要がある。特に
通常のテレビ或いはそれ以上の高画質化を狙った符号化
においては、短時間内における最適量子化を行い、高解
像度を達成するとともに、最大速度と最低速度の差、即
ち情報発生量のダイナミックレンジを抑える必要があ
る。さらには、可変速度符号化に適した将来の広帯域Ｉ
ＳＤＮのＡＴＭ網（短パケット）伝送にも適した方式で
あることが望ましい。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、先ず第１に直交変換後の変換係数を量子化するの
に、そのブロックが前画面から大きく動いたかどうかと
いう動き量に従って量子化特性を変化させる。第２にブ
ロック内の変換係数のパワー（２乗和）の大きさによっ
ても量子化特性を変化させる。さらにブロック内変換係
数の周波数成分によって２種類の量子化特性を持たせ、
各々伝送品質特性の異なる伝送路（例えば広帯域ＩＳＤ
ＮのＡＴＭ網）で伝送する。第３にブロック内変換係数
の分布の偏りによって、上記水平、垂直の周波数分割と
次の可変長符号化のためのジグザグスキャンの方法を変
える。第４にこれらの制御を基本的に量子化のステップ
幅で制御し、又フレーム間予測や、動き補償フレーム間
予測符号化に適用する。さらに可変速度だけでなく、速
度平滑化バッファを用いた固定速度符号化におけるフィ
ードバック量子化制御と共にこのフィードフォワード制
御を併用する。

【００１０】

【作用】上記構成により可変速度画像符号化の速度制御
方式が確立する。又ブロック単位でのきめ細かな量子化
制御を行っているので、高画質な符号化装置に特に適し
ている。周波数成分分離をそのまま利用して、ＡＴＭ伝
送網への階層伝送にも適しており、又適応ジグザグスキ
ャンにより可変長符号化での符号化効率も上がる。さら
に速度平滑化化バッファからのフィードバック制御との
組み合わせによって従来の固定速度画像符号化装置への
適用も可能となる。

【００１１】

【実施例】図２に、本発明の可変速度画像符号化方式を
実施する代表適実施例の概要説明を行う。図において、
６は通常フレーム内、或いはフレーム間予測符号化など
の前処理を行う部分、つまりフレーム／フィールド間予
測符号化器である。前処理した符号をＤＣＴ符号化器
１、量子化器２０、ジグザグスキャン器３０、可変長符
号化器４に通し、もって伝送用符号列を得る。ただし量
子化２０は従来のものと異なる適応量子化多モード量子
化器であり、画像の持つ特徴に従って適応化を行う。ま
たジグザグスキャン器３０も画像の持つ特徴に従って適
応化したモードのスキャニングを行う。すなわち、ブロ
ック内画像特徴計算装置７の動き量計算回路１１で動き
ベクトルを計算して、前フレーム或いは前フィールドの
同位置のブロックからの画像の動き量を基に量子化モー
ドを制御する。またブロック内変換係数のパワー（２乗
和）の大きさをパワー計算回路１０で算出し、これを基
に量子化モードを制御する。更にブロック内変換係数の
低周波／高周波成分に異なった２種類の量子化モードを
割り当てる。この周波数モードに対応して、例えばＢ−
ＩＳＤＮのＡＴＭ網のような伝送品質の異なった２種類
の伝送路を割り当てる。又ブロック内変換係数の水平／
垂直分布の特徴を分布計算回路９で計算して、量子化モ
ードを切り替える。この時、次の可変長符号化のための
ジグザグスキャンの方法もこれに対応して、より水平或
いは垂直に偏ったスキャン法を適応させる。図より分か
るように、これらの量子化適応化は全てフィードフォワ
ードで行うが、固定速度符号化のように速度平滑化バッ
ファを介して出力する場合は、バッファの占有率を基に
フィードバック制御で量子化器を制御しても良い。

【００１２】図３に、本発明による動き量と周波数成分
による量子化モード適応化お行う１実施例を示す。この
例では動き量を２種類に分類、周波数も低周波／高周波
の２種類に分類している。動き量ＭＶは現画面ブロック
の絶対値ａｉと前画面ブロックの絶対値ｂｉとの差の絶
対値和を１ブロック（８×８画素）分積算し、この大き
さに基づいて動きの激しい場合と動きのゆっくりした場
合に分類する。又周波数成分に関しては、例えばＤＣＴ
変換係数を直流成分からジグザグスキャンして、第１０
次成分までを低周波、第１１次成分からを高周波として
分類する。基本的な量子化モードの適応化としては、動
きが早いブロックは人間の視覚特性上認識が鈍いので、
粗く量子化する。即ち量子化ステップ幅を大きくする。
又ブロック内の高周波成分に関しても人間の視覚特性に
鈍いので量子化ステップ幅を大きくする。逆に動き量の
小さいブロックの、特に低周波成分に関しては、人間の
視覚特性上鋭いので、量子化を密にする。即ち、量子化
ステップ幅を小さくする。動きが大きくて低周波成分、
或いは動きが小さくて高周波成分に関してはこの場合は
同じ中間の量子化ステップ幅とする。もちろん動き量、
周波数成分に関する分類数はもっと多くても良いし、量
子化ステップ幅の種類に関しても細かくても良い。これ
らの組み合わせにおいては、周波数成分の分類次数を固
定にしないで、パワーのブロック内分布の周波数集中度
で次数を可変にしても良い。又制御は基本的にフィード
フォワードで行っているので、動き量を計算する時間は
ＤＣＴ演算の時間内となる。

【００１３】図４に、ブロック内パワーの集中度と変換
係数の分布による量子化モード適応化を行う本発明の１
実施例を示す。この例の場合にはパワーの集中度よって
４種類、パワーの分布に関しては、水平寄り、垂直寄
り、中間分布の３種類を想定して、各々の組み合わせを
考える。但し、パワーが極めて高周波まで分布している
場合と、パワーが低周波にみに集中している場合は、元
々低周波成分しか係数が分布していないので、この場合
も分布は中間分布１種類とする。実際には係数分布によ
る多モード化は、低周波／高周波のモード分類の次数を
閾値として、その次数までの係数パターンをより水平寄
りと垂直寄りに分布させることで実現する。この量子化
制御も、もちろん基本的にはフィードフォワードである
ので、ブロック内パワー計算、分布計算時間分ＤＣＴ変
換から量子化までに遅延が必要である。又低周波／高周
波の閾値となる次数はパワーの集中度によって各々対応
させた次数とする。

【００１４】図５に、パワー、及び係数分布による量子
化モード適応化のための全パワー、係数分布計算法の例
を示す。直行変換器１でＤＣＴ変換した変換係数から、
パワー計算回路１０は、ブロック内の種々の部分係数の
パワーを計算する。８画素×８画素のブロック内全ての
係数パワーを８Ｈ×８Ｈのように示す。パワー比計算回
路９−１では、８Ｈ×８Ｈのパワーと、３Ｈ×３Ｈの低
周波成分のパワー比を計算し、もって係数の低周波への
パワー集中度を計算する。この場合には４種類のパワー
集中度のモードを検出する。パワー比計算回路９−２で
は、３Ｈ×８Ｖの垂直長方形と８Ｈ×３Ｖの水平長方形
のパワー比較を行う。この大小計算によって水平／垂直
の係数分布の偏りを検出し、中間分布を含めて３種類の
モードを生成する。これらの係数分布の偏りの特徴の組
み合わせにより、多モード量子化器の中から最適な量子
化モードを選択することになる。

【００１５】図６には、ジグザグスキャン法の適応化を
行う本発明の１実施例を示す。通常量子化された変換係
数は、次の可変長符号化を効率よく行うために、低周波
成分の直流項から係数面をジグザグスキャンするが、図
５に示した水平／垂直の係数分布の偏りを持つブロック
に対しては、ジグザグスキャンも水平或いは垂直に偏り
を持つ方法をとる。これはブロック内変換係数の値の大
きい周波数成分から順に可変長符号化を行うという意味
においては効率のよい方法である。

【００１６】図７には、本発明による動き量、周波数成
分、ブロック内パワー、係数分布による量子化適応化の
組み合わせの１実施例を示す。これらの量子化適応化パ
ターンがブロック内パワーの大きさに対応して例えば３
種類あると考えればよい。ここではブロック内パワーが
最も大きい場合について示す。従って、ブロック内パワ
ーが中間値の場合、量子化ステップｑ＝ｉ＋１、ブロッ
ク内パワーが最も小さい場合には、量子化ステップをｑ
＝ｉ＋２として考えれば良い。例えばｉ＝１として考え
ればよい。図において、先ず動きが大きい場合（ＭＶ＝
大）、ブロック内係数の分布を計算する。最もパワーが
低周波に集中している場合は量子化パターンＡを採用す
る。やや低周波に集中している場合はその偏りによって
垂直方向はＢ１，水平方向はＢ３，中間分布はＢ２とな
る。やや高周波の場合はＣ１，Ｃ２，Ｃ３となる。高周
波まで分散している場合はＤパターンとなる。各量子化
パターン毎に低周波側がｑ＝１、高周波側がｑ＝２とす
ればよい。次に動きが小さい場合（ＭＶ＝小）は、量子
化分布パターンは動きが大きい場合とかわらないが、各
周波の量子化ステップを１段階粗くすればよい。ブロッ
ク内パワーが次に大きい場合は図７の量子化ステップｉ
をｉ＋１として１段階それぞれ粗くし、ブロック内パワ
ーが最小の場合は量子化ステップｉをｉ＋２とすればよ
い。又ジグザグスキャンに関しては、図６において、図
７のＢ１，Ｃ１を垂直よりスキャンに、Ｂ３，Ｃ３を水
平よりスキャンに対応させればよい。さらには、各量子
化モードにおける低周波成分と高周波成分のデータを別
々に可変長符号化し、別の伝送路に送出すればＡＴＭ網
のような階層伝送に適した符号化ができる。

【００１７】図８には、動き補償フレーム間／フィール
ド間適応予測とＤＣＴ変換、可変長符号化を行う本発明
の１実施例を示す。前述したように、本方式では動き量
に対応した量子化を行っているので、図２における前処
理部でもちろん予測符号化をおこなってもよい。従来標
準化されているテレビ電話・テレビ会議用のＨ．２６１
符号化のように動き補償フレーム間予測符号化を用いる
と、ここで自動的に動き量が計算されるのでこの結果を
使用すれば回路は簡単化される。さらに図８において
は、Ｈ．２６１のようにフレーム間動き補償予測だけで
なくフィールド間動き補償予測符号化を併用していると
ころが異なる。これは、Ｈ．２６１の場合には片フィー
ルドしか使用していなかったのに対し、今回より高画質
・高レートの符号化において両フィールドを使用するた
め動きの激しいブロックはフィールド間を、動きのゆる
やかな、或いは水平の動きの激しいブロックはフレーム
間符号化を、適応的に使い分ける方式を使用した方が符
号化効率の改善が期待できると考えられるからである。

【００１８】図９には、本発明を固定速度符号化方式へ
適用した１実施例を示す。この場合には、従来からのコ
ーデックのように速度平滑化バッファで出力速度を固定
化し、バッファ内占有量が増加すれば量子化ステップを
粗くするというものである。図７の例に示した場合に
は、パワーが大きい場合は動き大でｑ＝１又は２、動き
小でｑ＝２又は３、パワー中間の場合は動き大でｑ＝２
又は３、動き小でｑ＝３又は４、パワー小さい場合は動
き大でｑ＝３又は４、動き小でｑ＝４又は５であり、こ
の設定は自由である。即ちパワー大きい場合はｑ＝ｉ〜
ｉ＋２、中間の場合はｑ＝ｊ〜ｊ＋２、小さい場合はｑ
＝ｋ〜ｋ＋２でｉ＜ｊ＜ｋであればよい。又このｉ，
ｊ，ｋの設定値も目標とする平均速度（ビットレート）
から決定すればよい。従ってこれを固定速度符号化に適
用した場合には、平滑化バッファからのフィードバック
制御信号としてこのｉ，ｊ，ｋの値を条件を守りながら
変化させていけばよいことになる。制御ループは完全に
ブロック内特徴によるフィードフォワード制御の外側に
バッファからのフィードバック制御がかかることにな
る。この場合には１階層の伝送路となる。

【００１９】

【発明の効果】本発明によれば、高画質な可変速度符号
化装置において、特にブロック単位に変換符号化を施す
符号化装置において、ブロック毎の画像の特徴を抽出し
て効率良く符号化するのに適している。特にブロック内
パワー、変換係数の周波数成分、ブロック内パワー分布
とこれに伴うジグザグスキャン法、動き速度によってき
め細かく量子化をフィードフォワード制御しているの
で、より高画質で高効率な可変速度の符号化制御を行う
ことができる。又ブロック内変換係数の低周波成分と高
周波成分を別々に符号化できるので、Ｂ−ＩＳＤＮのＡ
ＴＭ伝送のような２階層の伝送品質の異なる伝送路で画
質劣化無く効率良く伝送する方式に適している。さらに
は、可変速度画像符号化方式だけでは無く、従来のよう
な固定速度画像符号化方式においても速度平滑化バッフ
ァからのフィードバック制御を提案したフィードフォワ
ード制御の外側に機能させることによって容易に適用可
能である。

【図面の簡単な説明】

【図１】従来の可変速度画像符号化装置のブロック図。

【図２】本発明の実施例の可変速度画像符号化装置の基
本ブロック図。

【図３】動き量と周波数成分による量子化モード適応化
を行う実施例の適用化法の概念図。

【図４】変換係数のパワーと分布による量子化モード適
応化を行う実施例の適用化法の概念図。耐え着法

【図５】ブロック内パワー，係数分布計算法の例

【図６】ジグザグスキャン法の適応化法

【図７】量子化適応化の組み合わせ例

【図８】適応動き補償予測ＤＣＴを用いた可変速度画像
符号化装置ブロック図

【図９】固定速度符号化への本発明

【符号の説明】

１…直交変換或いはＤＣＴ変換、２…適応多モード或い
は固定量子化器、３…固定或いは適応ジグザグスキャ
ン、４…可変長符号化器、５…局部復号器、６…前処
理、例えば動き補償フレーム／フィールド間予測符号化
器、７…量子化モード選択回路、８…ブロック内画像の
特徴計算回路、９…パワー比／パワー比較等のブロック
内分布計算、１０…ブロック内変換係数のパワー計算、
１１…動き量計算回路、１２…速度平滑化バッファ。

Claims (9)

【特許請求の範囲】
1. 【請求項１】画像信号をブロック単位に直交変換し、そ
   の直交変換係数を量子化して高能率符号化を行う可変速
   度画像符号化方式において、符号化するブロックの前画
   面（フレーム或いはフィールド）からの画像の動き速度
   に応じて量子化特性を適応的に切り替える手段を有する
   ことを特徴とする可変速度画像符号化方式。
2. 【請求項２】請求項１に記載の可変速度画像符号化方式
   において、さらに符号化するブロック内変換係数のパワ
   ー（２乗和）に応じて量子化特性を適応的に切り替える
   手段を有することを特徴とする可変速度画像符号化方
   式。
3. 【請求項３】上記請求項１或いは２に記載の可変速度画
   像符号化方式において、符号化するブロック内変換係数
   の周波数成分に応じて、低周波成分と高周波成分の２種
   類の量子化特性を持つ量子化器を適応的に切り替えるこ
   とを特徴とする可変速度画像符号化方式。
4. 【請求項４】上記請求項３に記載の可変速度画像符号化
   方式において、低周波成分のデータと高周波成分のデー
   タを、伝送品質特性の異なる伝送路に対応させて伝送す
   ることを特徴とする可変速度画像符号化方式。
5. 【請求項５】上記請求項１，２，３或いは４に記載の可
   変速度画像符号化方式において、符号化するブロック内
   変換係数の分布、偏りに応じて量子化特性を適応的に切
   り替えることを特徴とする可変速度画像符号化方式。
6. 【請求項６】上記請求項５に記載の可変速度画像符号化
   方式において、量子化後のエントロピー（可変長）符号
   化を行う際に、量子化された変換係数のデータ入力順序
   （スキャニング方法）を各々適応的に切り替えることを
   特徴とする可変速度画像符号化方式。
7. 【請求項７】上記請求項の１から６のいずれかに記載の
   可変速度画像符号化方式において、フレーム（フィール
   ド）間予測と直交変換符号化、或いは動き補償フレーム
   （フィールド）間予測と直交変換符号化方式の量子化器
   及び（エントロピー）可変長符号化器に適用することを
   特徴とする可変速度画像符号化方式。
8. 【請求項８】上記請求項の１から７のいずれかに記載の
   可変速度画像符号化方式において、速度平滑化出力バッ
   ファメモリを介して伝送する固定速度画像符号化方式に
   適用し、速度平滑化バッファからのフィードバック制御
   でも量子化器の量子化特性を切り替えられるようにした
   事を特徴とする固定速度画像符号化方式。
9. 【請求項９】上記請求項の１から８のいずれかに記載の
   可変速度画像符号化方式において、量子化特性の適応化
   を、量子化ステップのみを変化させることで、各量子化
   器を一元的に制御し、構成することを特徴とする固定／
   可変速度画像符号化方式。