JPH05227525A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】画像の大局的な絵柄から視覚特性を考慮して、
より適切な量子化幅のコントロールを可能にした画像符
号化装置を提供することを目的とする。 【構成】入力画像データを所定の複数画素で構成される
複数のブロックに分割するブロック切り出し部１０１
と、分割された各ブロック内について求められた変換係
数に対して各ブロック毎に決定される量子化幅により量
子化を行う量子化器１０３と、量子化されたデータを符
号化する可変長符号化部１０４と、各ブロック毎に該ブ
ロック内の画素値の変化の度合いを表わすパラメータと
して例えばアクティビティを定め、各ブロックに対し該
ブロックのパラメータの値および該ブロック以外のブロ
ックから得られるパラメータの値を用いて、該ブロック
の量子化幅を決定する制御を行う適応量子化制御部１０
８とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、静止画像または動画像
のための画像符号化装置に関する。方式に関する。

【０００２】

【従来の技術】ＴＶや写真の様な多階調の画像信号は情
報量が膨大であるため、ディジタル化してテープやディ
スクなどの記録媒体に記録したり伝送する場合、媒体の
記録容量や伝送路の帯域の問題からデータレートを削減
する必要がある。この目的のために、画像データの冗長
性を利用して符号量削減を行なう高能率符号化に関する
研究が各種行われている。

【０００３】このような画像の符号化方式としてよく使
われているものに、直交変換符号化方式がある。この方
式では入力ディジタル画像データをｍ×ｎ画素からなる
ブロックに分割し、ブロック毎に２次元離散的コサイン
変換（ＤＣＴ）のような直交変換を行い、この変換によ
り得られた各係数（変換係数という）に対して、予め定
められた量子化幅により量子化処理を行なう。その後、
量子化された各変換係数を１次元データ列に並べ替え、
ランレングス符号化し、さらに可変長符号化等を併用す
ることにより、符号量の削減を行なう。

【０００４】以上の基本的な構成に加えて、量子化幅を
ブロック毎に適応的に切替え、符号化の際の量子化歪が
目立ち易いブロックに関しては量子化幅を小さくして量
子化歪の発生を抑えることで、視覚的な画質特性の改善
を行なうこともある。この際、符号量増加を抑えるため
に、量子化歪が目立ち難いブロックに対しては逆に量子
化幅を粗く設定することが行われる。

【０００５】このように各ブロック毎に適応的に量子化
幅の設定を行うためには、ブロックを視覚的に画質劣化
が目立ち易いブロックとそうでないブロックとに分類す
る必要がある。従来においては、量子化の対象となって
いるブロックだけに注目し、その内の画素の値、あるい
は変換係数の値から計算されるパラメータを用いて、量
子化モードの設定を行っていた。例えば、１９９０年テ
レビジョン学会年次大会７−１「ディジタルＶＴＲ用高
能率符号化方式の検討」においては、量子化の対象とす
るブロックをさらにサブブロックに分割し、各サブブロ
ックが平坦部であるか変化が激しいかを検知し、その結
果に従って量子化特性を決定する、ということが行われ
ている。これは、画質劣化の目立つブロックは１ブロッ
クの中に平坦部と変化の激しい部分が混在するようなブ
ロックであり、ブロック全体にわたって変化が激しく、
平坦部がほとんど無いようなブロックにおいては、粗く
量子化しても画質劣化が目立たない、という考え方に基
づいている。

【０００６】この方法は、ブロック内にエッジが存在す
るような場合において、そのブロックで得られた直交変
換係数を粗く量子化することによるリンギングの発生が
ブロック内の平坦部に著しい悪影響を及ぼすことを軽減
するためには、比較的有効な方法である。

【０００７】一方、ＴＶ電話、ＴＶ会議、光ディスク装
置、ＶＴＲおよびＣＡＴＶ等の装置では、動画像信号を
高能率符号化する技術が必要となる。このような動画像
の符号化方式として、符号化しようとする入力画像（符
号化対象画像）の画素値を動きベクトルで指定される符
号化済みの参照画像の画素値を用いて予測し、その予測
誤差と動きベクトルを符号化する、いわゆる動き補償予
測符号化が知られている。

【０００８】この動き補償予測符号化方式においては、
符号化対象画像を複数画素からなる小領域（ブロック）
に分割して動き補償を行うため、符号化済みの参照画像
に対する符号化対象画像のずれ、換言すれば符号化対象
画像のブロックが参照画像のどのブロックから動いたも
のかを表す情報である動きベクトルをブロック毎に求め
ることを行う。動きベクトルを求める際は、予め定めら
れた動きベクトルの探索範囲内で順番に少しずつ位置を
変えて参照画像からブロックを切り出し、切り出した参
照画像のブロックと、動きベクトル検出の対象ブロック
の対応する位置にある画素値の差分の絶対値和を求め、
この絶対値和が最小となる位置の対象ブロックに対する
変位を対象ブロックの動きベクトルとする。動きベクト
ルを画素の大きさを単位として求めるだけではなく、周
囲の画素値から補間して参照ブロックを作り、画素の大
きさよりも小さな動きの精度まで求めることにより、さ
らに符号化効率が上がる場合もある。

【０００９】また、動画像符号化方式においては、例え
ばＶＴＲにおける特殊再生などの場合、参照画像として
１フレーム前つまり時間的に直前の画像のみでなく、数
フレーム前の画像や数フレーム後の画像を参照画像とす
る場合もある。この場合、符号化対象画像と参照画像が
時間的に離れているため、隣接画像を参照する場合より
一般的に動きが大きく、動きベクトルの探索範囲を広く
する必要がある。符号化対象画像と参照画像の時間的な
距離に応じて探索範囲を広げ、その領域内のすべての候
補に対して前記絶対値和を計算して動きベクトルを求め
る方法をフルサーチと呼ぶ。

【００１０】さらに、時間的に離れている参照画像から
の動きベクトルを求める際に、符号化対象画像に時間的
に隣接する画像に対してある探索範囲で動きベクトルを
求め、その動きベクトルを探索の中心として、さらに隣
の画像に対して動きベクトルを求めることを順次行って
いくことにより、参照画像からの動きベクトルを求める
テレスコーピックサーチという手法が用いられることも
ある。

【００１１】また、動きベクトルの探索を符号化済み画
像全体について行うと、その演算量が膨大になるので、
時間的に隣接した画像から動きベクトルを求める場合、
動きベクトルの探索範囲を符号化済み画像の入力画像デ
ータの符号化対象ブロックと画面上で同位置にあるブロ
ックの近傍に制限し、該ブロックの中心を探索中心とす
ることにより、効率よく探索を行う手法もある。

【００１２】さらに、入力画像および符号化済み画像を
図１９に示すようなピラミッド構造として、画素数の少
ない上位層で予測信号として最適と思われるブロックを
検出し、検出したブロックの位置を画素数の多い下位層
の探索領域の中心に用いて、階層的に探索画素単位を細
かくして探索する方法も知られている。しかし、この方
法でも図２０に示すように上位層での探索範囲をある程
度制限するため、動きが大きく上位層で得られたブロッ
クが探索範囲の周辺部Ａであり、Ｂを中心とした最適な
ブロックに近い検出ができていない場合にも、相関のそ
れ程高くないＡを中心としたブロックを細かい画素単位
で探索することになる。従って、装置が持つ演算能力を
有効に使用できず、下位層でもＢを中心とした最適なブ
ロックが検出されない。

【００１３】そのため、動きが大きな場合には入力画像
の符号化対象ブロックと最も相関の高いブロックが符号
化済み画像中に存在しているにも拘らず、そのブロック
を検出することが出来ずに、それよりも相関の低いブロ
ックとの差分あるいは入力画像の部分領域の画素値その
ものを符号化することになる。この結果、符号量が非常
に多くなったり、また符号量を所定値以下に制限する場
合には量子化幅を大きくする必要があり、再生画質が著
しく劣化する。

【００１４】

【発明が解決しようとする課題】（１）ブロック毎の量
子化幅のコントロールを視覚的な特性を考慮して行なう
場合、画像の大局的な絵柄の構造に着目する方がより効
果的である。例えば、画像の中で広い平坦部の中に弧立
して存在する小さな模様等は、僅かな量子化歪でも画像
劣化感が大きくなる、一方、複雑な構造をしている非定
型パターンが広がっている画像の部分、例えば自然の風
景、乱雑な模様等の画像部分は、多少量子歪による劣化
が生じても、視覚的にはそれほど劣化感を生じせしめる
ものではない。

【００１５】しかし、通常は８×８画素程度の大きさの
ブロックを用いることが多いが、その場合には、量子化
の対象としているブロックのみで量子化幅の決定を行な
う従来の方式では、そのような大局的な絵柄から視覚的
特性を考慮して量子化幅のコントロールを行なうことは
不可能であった。とくに、解像度の高い画像では、画像
の大きさに比べてブロックの大きさがかなり小さくなる
ため、劣化の目立つ部分とそうでない部分の分類が困難
であった。

【００１６】また、従来の方法では、隣接するブロック
で大きく量子化幅が異なる場合が生じ、画質劣化感が画
像内で部分的に急激に変化し、不自然な印象を与える場
合が少なからずあった。

【００１７】従って、本発明の第１の目的は、画像の大
局的な絵柄から視覚特性を考慮してより適切な量子化幅
のコントロールを可能にした画像符号化装置を提供する
ことにある。

【００１８】（２）一方、動き補償予測符号化方式にお
いて、予め定められている探索範囲内の全ての候補位置
に対して対象ブロックと参照画像のブロック間のブロッ
ク内の全ての画素に対する差分の絶対値和を求め、この
絶対値が最小となる位置を調べるという操作を画像内の
全てのブロックに対して行うことにより動きベクトルを
求める方法では、大きな動きがある動画像に対して十分
な動き補償を行う場合、かなり広い探索範囲を設定する
必要があり、膨大な計算量となる。また、高精細の画像
に対しては、低解像度の画像と同じ面積の探索を行う場
合でも、その中に含まれる画素数が多くなるため、同様
に計算量が膨大になるという問題が生じる。

【００１９】このため、計算機上で動画像データの符号
化を行う場合に、７２０×２４０画素程度大きさの動画
像を符号化する場合でも、十分な探索範囲を設定しよう
とすると実用的な時間では処理ができなくなってしま
う。逆に、処理時間を減らすために、動きベクトルの探
索範囲を狭くした場合には、動きの大きな画像が入力さ
れると動き補償が十分に行われず、符号化効率が低下し
てしまう。

【００２０】従って、本発明の第２の目的は、より少な
い演算量で精度の良い効果的な動き補償予測を行うこと
ができる動画像のための画像符号化装置を提供すること
にある。

【００２１】（３）また、予め定められた動きベクトル
探索範囲内だけを探索して動きベクトルを求める方法で
は、動きの大きな画像が入力された場合に正しい動きベ
クトルを求めることができず、符号化効率の著しい低下
を来たすことがあった。

【００２２】従って、本発明の第３の目的は、動きの大
きな画像で動きベクトルの探索範囲が十分でない場合で
も符号効率が低下しない動画像のための画像符号化装置
を提供することにある。

【００２３】（４）さらに、従来の動き補償予測符号化
方式では、入力画像中の動きの大きな領域に対しては、
動きベクトルを探索しても余り効果の望めないような狭
い領域についても、高い探索精度で動きベクトルを探索
しているため、装置の処理能力を充分に活用できず、最
適な予測信号が得られないという問題があった。

【００２４】従って、本発明の第４の目的は、最適な予
測信号が得られるような効果的な動きベクトル検出を行
うことができる画像符号化装置を提供することにある。

【００２５】

【課題を解決するための手段】（１）本発明は第１の目
的を達成するため、入力画像データを所定の複数画素で
それぞれ構成される複数のブロックに分割するブロック
分割手段と、このブロック分割手段により分割された各
ブロック内の情報を表現するデータに対して各ブロック
毎に決定される量子化幅により量子化を行う量子化手段
と、この量子化手段により量子化されたデータを符号化
する符号化手段と、前記各ブロック毎に該ブロック内の
画素値の変化の度合いを表わすパラメータを定め、各ブ
ロックに対し該ブロックのパラメータの値および該ブロ
ック以外のブロックから得られるパラメータの値を用い
て、該ブロックの量子化幅を決定する量子化幅決定手段
とを有することを特徴とする。

【００２６】ここで、量子化幅決定手段において前記該
ブロック以外でパラメータを参照すべきブロックは、該
ブロックに空間的または時間的、あるいは空間的かつ時
間的に隣接するブロックであることが望ましい。

【００２７】以下に、より好ましい実施態様を列挙す
る。

【００２８】(a) 前記各ブロック毎に設定するパラメー
タの大きさに応じて、各ブロックを複数のクラスに分類
する。あるブロック幅における量子化幅は、ブロック内
の情報を表す複数のデータの各要素に対して設定された
基本となる量子化テーブルの値と、画像の複数のブロッ
クから構成される予め定められた大きさの領域に対して
設定される係数の値と、前記各クラスに応じて設定され
る前記係数からの変化量とで決定される。そして、ある
ブロックをクラスに分類する際に、該ブロックのパラメ
ータの値が、前記係数を大きくする方向に変化させるよ
うなクラスに分類されるような範囲の値であっても、該
ブロックに空間的または時間的あるいは空間的かつ時間
的に隣接する所定の位置関係にあるブロックにおいて、
そのパラメータの値が前記係数を大きくする方向に変化
させるようなクラスに分類されるような範囲の値である
ブロックの数が、予め設定された数よりも少ない場合に
は、該ブロックのクラスを前記係数を小さくする方向に
変化させるようなクラスに分類する。

【００２９】(b) 量子化幅を粗くするクラスに分類され
たブロックに対応する量子化幅の変化量は、前記各ブロ
ック毎に設定したパラメータの１画面全体にわたる合計
値に応じて設定される。

【００３０】(c) 量子化幅を細かくするクラスに分類さ
れたブロック対応する量子化幅の変化量は、各クラスに
分類されたブロックの数の比に応じて設定される。

【００３１】(d) 各ブロックに対する量子化幅を設定す
る際に、（１）の方法で第一段階の設定を行ない、第一
段階で設定された量子化幅に対応するパラメータからな
る配列を考え、その配列に対してローパス特性のフィル
タ処理を施すことにより、最終的に各ブロックの量子化
幅を決定する。

【００３２】（２）本発明は第２の目的を達成するた
め、入力画像データを所定の複数画素でそれぞれ構成さ
れる複数の符号化対象ブロックに分割するブロック分割
手段と、このブロック分割手段により分割された各符号
化対象ブロックに対して動きベクトルの少なくとも探索
範囲および探索中心を設定する設定手段と、この設定手
段により設定された前記探索中心を基準位置として前記
設定手段により設定された前記探索範囲の中から複数の
動きベクトル候補を選択的に発生する動きベクトル候補
発生手段と、この動きベクトル候補発生手段により発生
された複数の動きベクトル候補について、動きベクトル
で指定される符号化済み画像データ中の参照画像ブロッ
クと前記入力画像データ中の符号化対象ブロックとの予
測誤差の大きさの指標値を計算する計算手段と、この計
算手段により計算された前記指標値に従って、前記動き
ベクトル候補発生手段により発生された複数の動きベク
トル候補から最適な動きベクトルを選択する選択手段
と、この選択手段により選択された最適な動きベクトル
により指定される前記参照画像ブロックと前記符号化対
象ブロックとの差分を符号化する符号化手段とを有する
ことを特徴とする。

【００３３】（３）本発明は第３の目的を達成するた
め、前記設定手段によりさらに動きベクトルの探索精度
を設定できるようにすると共に、前記動きベクトル候補
発生手段により発生された動きベクトル候補と前記計算
手段により計算された前記指標値との組から、前記計算
手段により所定数の前記指標値が計算された段階で前記
設定手段により設定された前記探索範囲および探索精度
を再設定する再設定手段をさらに追加したことを特徴と
する。

【００３４】（４）本発明は第４の目的を達成するた
め、画像データに対して解像度を低下させる処理を施す
信号処理手段と、この信号処理手段により処理された後
の入力画像データ中の符号化対象ブロックについて、前
記信号処理手段により処理された後の符号化済み画像デ
ータ中の参照画像ブロックを参照して所定の動きベクト
ル探索範囲にわたり一次動きベクトルを検出する第１の
動きベクトル検出手段と、前記信号処理手段により処理
されない入力画像データ中の符号化対象ブロックについ
て、前記信号処理手段により処理されない符号化済み画
像データ中の参照画像ブロックを参照して所定の探索範
囲にわたり所定の探索精度で二次動きベクトルを求める
第２の動きベクトル検出手段と、前記第１の動きベクト
ル検出手段により検出された一次動きベクトルが前記探
索範囲内のどの領域から検出されたかに応じて、前記第
２の動きベクトル検出手段における探索範囲および探索
精度の少なくとも一方を制御する制御手段と、前記第２
の動きベクトル検出手段により検出された二次動きベク
トルにより指定される前記参照画像ブロックと前記符号
化対象ブロックとの差分を符号化する符号化手段とを有
することを特徴とする。

【００３５】

【作用】（１）本発明では、各ブロックに対応した量子
化幅の決定に際し、当該ブロックを含む他のブロックの
パラメータを参照することによって、より大局的な絵柄
から主観的な画質劣化感を考慮した量子化幅の決定が可
能となる。従って、より効率的で、かつ画質の良い符号
化が行なわれる。

【００３６】（２）従来では動きベクトルの探索は分割
されたブロック毎に独立して行われ、画像内の各領域毎
に動きの方向や大きさは異なるにも関わらず、各ブロッ
クに対して一律の探索範囲を設定していた。これに対
し、本発明では各ブロック毎に適切な探索範囲を設定で
きるようにしているため、例えば動きが小さいと予想さ
れるブロックに対しては探索範囲を小さく設定して、少
ない演算量で最適な動きベクトルを求め、逆に動きが大
きいと予想されるブロックに対しては十分な探索範囲を
設定して、符号化効率の低下を来すことのない最適な動
きベクトルを求めることができる。

【００３７】また、本発明では動きベクトルの探索精度
をブロック毎に設定できるため、例えば動きによる変形
が少なく解像度の高いパターンを有する領域において
は、より高い探索精度で動きベクトルを求めて参照画像
ブロックを生成することにより予測誤差を大きく減ら
し、逆に動きによる変形が大きな図形、あるいは解像度
があまり高くなく平坦な画像領域においては、高い探索
精度で動きベクトルを求めても符号化効率の向上にはつ
ながらないので、各ブロック毎に探索範囲探索精度を適
切にコントロールすることにより、演算の無駄を省いて
符号化時間の短縮を図ることが可能となる。

【００３８】また、動画像では時間的に連続したそれぞ
れの画像の絵柄は、シーンチェンジが無い場合には、空
間的に連続して移動を行っていると考えて良く、画像内
にある特定の絵柄に着目した場合、その位置の時間的な
変化もある程度連続していると考えられる。そこで、本
発明では符号化対象ブロックの符号化済み画像からの動
きベクトルを求める際に、基本的にその符号化対象ブロ
ックに対応する位置にある符号化済み画像中の参照画像
ブロックを符号化した際に用いた最適な動きベクトルで
示される位置を動きベクトルの探索中心として設定す
る。

【００３９】（３）さらに、本発明では動きベクトル候
補とそれに対応する予測誤差の大きさを表す指標の挙動
に着目して、所定数の指標値が計算された段階で動きベ
クトルの探索範囲や探索精度などのパラメータを再設定
することによって、より効果的な動きベクトルの探索を
行う。このような処理を行うことにより、無駄な指標値
の計算を減らすことが可能となり、符号化処理全体の時
間が短縮される。

【００４０】しかも、上述した探索範囲、探索中心およ
び探索精度などの動きベクトルの探索パラメータの初期
設定や再設定に要する計算量は、動きベクトル候補に対
する指標値を計算するのに比べてはるかに少ない計算量
で行えるので、結果として処理時間の大幅な削減ができ
ることになる。

【００４１】（４）本発明では、第１の動きベクトル検
出手段により検出された一次動きベクトルが動きベクト
ル探索範囲内のどの領域から検出されたかに応じて、第
２の動きベクトル検出手段における二次動きベクトルの
探索範囲および探索精度の少なくとも一方を制御する。

【００４２】具体的には、第１の動きベクトル検出手段
により得た一次動きベクトルがその探索領域の中央部分
から得られた場合には、第２の動きベクトル検出手段の
探索精度（探索の画素単位）を細かくして、狭い探索範
囲から動きの小さなブロックに最適な二次動きベクトル
を探索し、一次動きベクトルがその探索範囲の外周部分
から得られた場合には、第２の動きベクトル検出手段の
探索精度を粗くして、広い探索範囲から動きの大きなブ
ロックに最適な二次動きベクトルを探索する。

【００４３】また、第１の動きベクトル検出手段により
得られた一次動きベクトルがその探索範囲の外周部分か
ら得られた場合には、第２の動きベクトル検出手段での
探索範囲が第１の動きベクトル検出手段での探索範囲と
重なる部分が少なくなるように、第２の動きベクトル検
出手段での探索範囲の中心位置を第１の動きベクトル検
出手段での探索範囲の中心から更に離れるように制御
し、動きの大きなブロックに最適な二次動きベクトルが
得られるようにする。

【００４４】さらに、第１の動きベクトル検出手段によ
り得た一次動きベクトルがその探索範囲の中央部分から
得られた場合には、第２の動きベクトル検出手段の探索
範囲の中心位置を第１の動きベクトルに相当する位置と
して探索精度を細かくして、狭い探索範囲から動きの小
さなブロックに最適な二次動きベクトルを探索し、一次
動きベクトルがその探索範囲の外周部分から得られた場
合には、第２の動きベクトル検出手段での探索範囲が第
１の動きベクトルでの探索範囲と重なる部分が少なくな
るように、第２の動きベクトル検出手段での探索範囲の
中心位置を第１の探索範囲の中心から更に離れるように
制御し、第２の動きベクトル検出手段の探索精度を粗く
して、広い探索範囲から動きの大きなブロックに最適な
二次動きベクトルを探索する。

【００４５】このように、本発明によれば一次動きベク
トルが探索範囲内のどの領域から検出されたかに応じ
て、二次動きベクトルの探索範囲および探索精度の少な
くとも一方を制御することにより、最適な動きベクトル
を二次動きベクトルとして検出でき、それにより画像の
動きの大きさによらず常に最適な予測信号を得ることが
できるので、符号化効率が向上する。

【００４６】この場合、第１の動きベクトル検出手段は
探索範囲のどの領域から一次動きベクトルを検出したか
を大まかに知ることができればよいことに着目して、解
像度を低下させた画像データに対して動きベクトル検出
を行うため、一次動きベクトルの検出に必要な処理量や
ハードウェア量は少なくて済む。

【００４７】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００４８】図１は、第１の実施例として本発明を離散
的直交変換による画像圧縮に適用した画像符号化装置の
構成例である。

【００４９】図１において、入力信号であるディジタル
画像データはブロック切り出し部１０１で例えば８×８
画素のサイズのブロックに切り出された後、２次元離散
的直交変換部１０２に入力され、各ブロック毎に２次元
離散的直交変換、例えば２次元ＤＣＴがなされる。この
２次元離散的直交変換部１０２の出力は変換係数のデー
タであり、量子化器１０３において後述する量子化幅設
定方法により計算された量子化幅で量子化され、情報量
の削減が行われる。量子化器１０３の出力は、可変長符
号化部１０４に入力されて例えばハフマン符号化のよう
な可変長符号化がなされることにより、符号量の削減が
行なわれる。可変長符号化部１０４から出力される符号
化データは、バッファ１０５に蓄えられる。

【００５０】量子化器１０３における量子化幅は、乗算
器１３１，１３２において、基本量子化テーブル１０７
に収められている、各変換係数に対する量子化幅の比率
を決定する値に対して、量子化幅制御パラメータ計算部
１０９で計算される、量子化スケールの基準値と、本発
明に基づき新たに設けられた適応量子化制御部１０８に
よって計算された、上記量子化スケールの基準値からの
変化量を乗じた値が設定される。

【００５１】量子化幅制御パラメータ計算部１０９で
は、バッファ１０５から出力される符号量が設定符号レ
ートに収まるように、可変長符号化部１０４で発生した
符号のバッファ１０５での占有状態によってモニタし、
それに応じて量子化スケールを制御する。すなわち、発
生符号量がある設定値よりも多ければ、量子化幅制御パ
ラメータ計算部１０９で量子化スケールを大きくするこ
とにより、量子化幅を粗くして発生符号量を抑える。逆
に、発生符号量が設定値よりも少ない場合には、量子化
スケールを小さくすることにより量子化幅を細かくして
画質の向上を図り、設定符号レートまで発生符号量を増
加させる。

【００５２】この様に量子化幅制御パラメータ計算部１
０９の計算結果に従い、入力される画像データの性質に
応じて量子化幅を変化させることにより、適正な符号レ
ートになるように制御を行なう。しかし、このような量
子化幅制御では視覚的な画質劣化感を考慮せずに量子化
幅を変えることになるため、画像内の符号量配分におい
て無駄が生じる。すなわち、劣化があまり気にならない
ような画像部分に対しては、さらに量子化幅を粗くして
符号量を減らし、その分劣化が目立つような画像部分に
対しては、量子化幅を細かくすることにより、主観的な
画質の改善を行なうことが望まれる。この制御を行なう
のが適応量子化制御部１０８である。

【００５３】以下、適応量子化制御部１０８による制御
方法を図２を用いて説明する。図２（ａ）に示した９個
のブロックで中心のブロックの量子化幅を決定すること
を考える。まず、各ブロック毎に、そのブロックが画像
の変化の少ない平坦な画像ブロックであるか、あるいは
変化の激しい画像ブロックであるかを示すパラメータ
（これをブロックアクティビティと呼ぶ）をブロックア
クティビティ計算部１０６においてそれぞれ計算する。
換言すれば、ブロックアクティビティは符号化の難しさ
の度合いであり、この値が大きいほど符号化が難しいこ
とを意味する。このブロックアクティビティとして、本
実施例においては(1) ブロック内の画素の値の平均値と
各画素の値の差分の絶対値和を用いているが、(2) ブロ
ック内の画素の値の平均値と各画素の値の差分の２乗
和、(3) 隣接画素との差分値の絶対値和、あるいは(4)
ＤＣＴ変換係数の直流成分を除く係数の絶対値和、とい
った値を用いることも可能である。

【００５４】本実施例においては、量子化サイズを４段
階に変化させる適応量子化を行なっている。そこで、適
応量子化制御部１０８では以下に示すステップにより量
子化の変化幅の設定を行なう。

【００５５】まず、第１のステップとして、クラス化部
１１４で各ブロックをブロックアクティビティの大きさ
に応じて４つのクラスに分類する。この４つのクラス
は、ブロックアクティビティが小さい方から順にＡ，
Ｂ，Ｃ，Ｄとする。そして、各ブロックのクラス情報を
メモリ１１１に記憶する。

【００５６】次に、第２ステップとして、これから量子
化幅を決定しようとしている中心のブロックが図２
（ｂ）（ｃ）のようにＤクラスに分類された場合、周辺
の８ブロックのクラスを見て、その中でＤクラスに分類
されたブロックの個数がある規定値（例えば３個）以下
かどうかを調べる。そして、周辺８ブロックのＤクラス
のブロック数が図２（ｂ）のように規定値を越える場合
はそのままとし、このブロック数が図２（ｃ）のように
規定値以下の場合には、中心のブロックをＡクラスに変
更する、という操作を画像内の全てのブロックに関して
行なう。

【００５７】その後、第３ステップとして、各クラスに
対する量子化幅の変化を図３のように決定する。図３
は、ブロックアクティビティの各クラスＡ〜Ｄに対応し
た量子化幅の基準値からの変化量を示したものであり、
この例ではＣクラスに対応する量子化幅を量子化幅制御
パラメータ計算部１０９により得られた基準の量子化幅
に一致させている。

【００５８】すなわち、アクティビティの高いブロック
が集中している画像領域は、視覚的な画質劣化が比較的
目立たない部分であると判断して量子化を粗くし、逆に
アクティビティが比較的小さい画像領域は劣化が目立ち
やすいため、量子化幅を小さくすることにより画質の向
上を図る。これに加えて、比較的平坦な画像領域の中に
アクティビティが高いブロックが弧立しているような状
態の場合には、そのブロックの劣化が目立ちやすくなる
ため、量子化幅を細かくして劣化が少なくなるようにし
ている。

【００５９】第１ステップで初めからＡクラスに分類さ
れているブロックは、画像の平坦な領域に対応する。こ
のような領域では量子化幅を粗くするとブロック歪みに
よる劣化が生じるため、量子化サイズを細かくしている
が、このブロック内の情報量はもともと少ないため、量
子化幅を細かくすることによる符号量増大はそれほど多
くはない。従って、第１ステップではＤクラスに分類さ
れていた歪みの目立ちやすいブロックに対する符号量配
分を多くすることができ、画質改善効果が高くなる。

【００６０】図３において、各クラスＡ〜Ｄに属するブ
ロックの量子化幅の基準値から変化量は、１画面内の各
クラスに分類されたブロックの数に応じて決定される。
すなわち、ある量子化幅に設定した時の発生符号量を予
測し、Ａ及びＢクラスに属するブロックの量子化幅につ
いては、Ｄクラスに属するブロックの量子化幅ΔＱを視
覚上許容し得る程度まで基準値より粗くした時に、基準
値を用いた場合よりも減少する１画面の符号量と同程度
の符号量増大となるような量子化幅に下げて設定する。

【００６１】この際、クラスＤに属するブロックの視覚
上許容できる量子化幅は、画面全体のアクティビティに
応じて変化し、画面全体のアクティビティが高いほどそ
の許容できる量子化幅の変化量は小さくなる。この様子
を示したのが図４であり、横軸に画面全体のアクティビ
ティ（全アクティビティ）、縦軸にＤクラスに属するブ
ロックの量子化幅ΔＱをそれぞれとっている。

【００６２】なお、こうして量子化幅制御パラメータ計
算部１０９および適応量子化制御部１０８において得ら
れる量子化パラメータは、符号化された画像データと多
重化部１２０で多重化されて出力される。

【００６３】上述した第１の実施例において、適応量子
化制御部１０８における第３ステップまでによる量子化
幅の設定でも良好な結果が得られるが、さらに多くのク
ラスに分類することが可能な場合には、画面内で量子化
幅が急激に変化することにより生じる画質の不連続的な
変化が引き起こす画像の不自然感を低減するために、さ
らなる改良を行なうことができる。

【００６４】図６は、この改良された第２の実施例であ
り、図１に示した第１の実施例の構成に加えて、適応量
子化制御部１０８内に２次元ローパスフィルタ１１３が
新たに追加されている。この実施例では、第１の実施例
における第３ステップで得られた各ブロックの量子化の
変化幅からなる２次元配列を考え、この２次元配列に２
次元ローパスフィルタ１１３を作用させることにより、
画像の各領域において急激な量子化幅の変化が生じるの
を避けている。

【００６５】本発明は、フレーム間予測を用いる画像符
号化装置にも適用できる。フレーム間予測では、図６に
示すように時間方向に隣接した複数のフレームの画像を
用いるため、適応量子化を行なう際、時間方向に隣接す
るブロックからの情報をも用いることができ、これによ
り画質が時間的に急激に変化することに対する不自然さ
を防止することができることになる。

【００６６】図７は、本発明をフレーム間予測を用いる
画像符号化に適用した第３の実施例を示している。この
実施例では、量子化器１０３の出力を逆量子化器１１
５、２次元離散的逆直交変換部１１６、加算器１３３お
よびフレームメモリ１１７を経て局所復号された１フレ
ーム前の画像信号を動き補償部１１８により動き補償し
た信号と、入力画像信号との差分を減算器１３４でと
り、その差分である予測残差信号に対して２次元離散直
交変換部１０２でＤＣＴ等の直交変換を行ない、得られ
た変換係数を量子化器１０３で量子化し、可変長符号化
器１０４で可変長符号化を行なう。

【００６７】この実施例における量子化幅の設定は、第
１の実施例と同様に量子化幅制御パラメータ計算部１０
９でバッファ１０５に蓄積された可変長符号の符号量に
応じて求めた係数に、本発明による適応量子化による修
正を行ない、その値を基本量子化テーブル１０７の各量
子化スケールに対応した値に乗じることにより設定す
る。

【００６８】そして、本実施例では適応量子化制御部１
０８において現在符号化の対象としているフレームにつ
いてクラス化部１１４で分類されたクラス情報が第１の
メモリ１１１に記憶され、前フレームの最終的に求めら
れたクラスの情報が第２のメモリ１２１に記憶されてい
る。量子化幅の修正値は、その各値とシーンチェンジ検
出部１１９の出力とを用いて求める。

【００６９】ここでは、図６の中心のブロックにおいて
量子化幅の変化を求める際に、このブロックに空間的に
隣接する８ブロックと、時間的に先行して空間的には同
一位置にあるブロックの情報を用いている。

【００７０】まず、空間内で隣接するブロックの情報を
用いて第１の実施例における第１ステップ、第２ステッ
プの操作を同様に行ない、クラス化部１１４で得られた
クラスへの分類の修正を行なう。

【００７１】次に、前フレームのブロックのクラスと比
較して、それらが予め設定された値以上の差を持つ場
合、例えば２クラス以上の差を生じるような場合には、
その差を１段階減らす方向にクラスの修正を行なう。例
えば、第２ステップの結果、当該ブロックがＤクラスに
分類された場合に、前フレームの同一位置のブロックが
ＡクラスあるいはＢクラスであった場合には、当該ブロ
ックのクラスをさらにＣクラスに修正することを行な
う。このようにして最終的に求められたクラス情報をメ
モリ１２１に書き込み、その次のフレームの量子化幅の
修正値を決定するために備える。但し、シーンチェンジ
検出部１１９でシーンチェンジがあったと判定された場
合には、時間的に隣接するブロックからの情報による修
正は行なわないことにする。

【００７２】最後に、最終的に決定された各ブロックの
クラスに従って図３に示した量子化幅の変化値を決定す
る。

【００７３】なお、上述した各実施例では、計算を容易
にするために、ブロックアクティビティから、まず最初
に各ブロックを４クラスに分類して、分類されたクラス
を周囲のブロックのクラスに応じて修正するという方式
を用いているが、周囲のブロックのアクティビティを直
接用いて、中心ブロックの量子化幅を決定する方法も当
然可能である。

【００７４】また、上述の各実施例では、量子化幅の設
定において適応量子化制御部１０８と量子化幅制御パラ
メータ計算部１０９を説明の都合上分けて記述したが、
実際にはこれら適応量子化制御部１０８および量子化幅
制御パラメータ計算部１０９の機能を統合して適応量子
化制御を行なうのが有利である場合もある。

【００７５】次に、本発明を動き補償予測符号化方式を
用いた動画像符号化装置に適用した実施例について説明
する。

【００７６】まず、本実施例の原理について説明する。
動きベクトルの探索は分割されたブロック毎に独立して
行われ、画像内の各領域毎に動きの方向や大きさは異な
るにも関わらず、従来の技術では各ブロックに対して一
律の動きベクトル探索範囲を設定していた。

【００７７】これに対し、本実施例では各ブロック毎に
適切な動きベクトル探索範囲を設定し、動きが小さいと
予想されるブロックに対しては探索範囲を小さく設定す
ることにより、少ない演算量で最適な動きベクトルを求
める。逆に、動きが大きいと予想されるブロックに対し
ては十分な探索範囲を設立することにより、符号化効率
の低下を来たすことのない最適な動きベクトルを求め
る。

【００７８】また、動きによる変形が少なく、解像度の
高いパターンを有する画像領域においては、より高い精
度で動きベクトルを求めて参照画像ブロックを生成する
ことにより、符号化しなければならない予測誤差を大き
く減らすことができる。逆に、動きによる変形が大きな
図形、あるいは、解像度があまり高くなく平坦な画像領
域においては、高い精度で動きベクトルを求めても、符
号化効率の向上にはつながらない。そこで、各ブロック
毎に動きベクトル探索領域の設定と動きベクトルを求め
る際の精度を適切にコントロールすることにより、演算
の無駄を省き、符号化時間の短縮を図ることが可能とな
る。

【００７９】さらに、動画像では時間的に連続したそれ
ぞれの画像の絵柄は、シーンチェンジが無い場合には、
空間的に連続して移動を行っていると考えて良い。従っ
て、画像内にある特定の絵柄に着目した場合、その位置
の時間的な変化もある程度連続していると考えられる。
すなわち、あるブロックの動きベクトルを求める際、そ
のブロックに生じた過去の動き（あるいは未来から遡っ
てみたときの動き）を知ることにより、そのブロックが
その後（あるいはそれ以前に）どのような動きを行うか
ということを、大まかに予測することが可能である。

【００８０】このことを利用して、本実施例ではある符
号化対象ブロックの参照画像からの動きベクトルを求め
る際に、その符号化対象ブロックに対応する位置にある
参照画像ブロックを符号化した際に用いた最適な動きベ
クトルで示される位置を探索中心に設定する。これを示
したものが図１０である。符号化対象画像４０３内のブ
ロック４０５に対する動きベクトルを求める際に、既に
符号化を終えた参照画像４０２の同位置にあるブロック
に対して求めた動きベクトル４０６と同じベクトル４０
７を考えて、そのベクトルで定められる位置４０８を探
索中心として設定する。

【００８１】この方法では、ある物体の動きに追随して
動きベクトルを追跡しているのではなく、予め定められ
た位置のブロックにおける物体の動きを予測している。
つまり、図１０において例えば４１０の位置に存在して
いた物体が画面４０３上での予想される位置が４１１に
なる、という関係を直接用いるのではなく、この物体の
周囲も同様な動きをするであろう、という予測のもとに
ブロック４０５における動きの予測を行っている。その
ため、二つの異なる動きをしている領域の境界の部分、
例えば背景と前景の境界領域においては、このような探
索中心の設定方法で通常の探索範囲の大きさを設定して
しまうと、正確な動きベクトルを求めることができなく
なってしまう場合がある。

【００８２】そこで、本実施例においては、符号化対象
である入力画像の直前の画像において求めた各ブロック
の動きベクトルを調べて、周囲のブロックの動きベクト
ルと大きく異なるような動きベクトルを持つ領域に有る
ブロックに対しては、図１０のベクトル４０７で与えら
れるような探索範囲の中心の移動は行わず、さらに通常
のブロックに対する探索範囲よりも広い領域を探索の範
囲として設定することを行う。

【００８３】さらに、本実施例では動きベクトル候補
と、それに対する予測誤差の大きさを表す指標の挙動に
着目して、より効果的な動きベクトルの探索を行うよう
にしている。予測誤差の大きさを表す指標は、例えば動
きベクトル候補で指定される参照ブロックの候補と、符
号化対象ブロックのブロック内の対応する位置にある画
素の差分値の絶対値和あるいは差分値の２乗和を求め
て、それが最小となるような動きベクトルが最適な動き
ベクトルであるとの判断によって求めることができる。

【００８４】ここで、動きベクトル候補とそれに対する
予測誤差の大きさの指標の挙動を調べると、図１１に示
すような典型的な振る舞いをする場合が多い。図１１に
おいて、横軸はある方向の直線上に位置する動きベクト
ル候補を空間的な位置関係の順に並べたもので、縦軸は
予測誤差の大きさとなる指標である。図１１Ａは、比較
的複雑な絵柄があまり動きによる変形等を起こさずに平
行移動している画像の場合で、適切な動きベクトルの推
定を行うことにより予測誤差を小さくすることができ
る。図１１Ｂは、平坦な画像の場合で、あまり正確な動
き補償を行わなくても符号化効率の低下は少ない領域に
対応する。図１１Ｃは、動きによる変形が大きい画像
で、動き補償による符号化効率の向上があまり得られな
い領域である。図１１Ｄは、図１１Ａと同様な振る舞い
であるが、図の横軸に示した範囲ではまだ適切な動きベ
クトルは求められていない状況となっている。

【００８５】動きベクトル候補を発生する順序として、
図１２に示すように動きベクトル探索範囲の中心から始
めて内周上から順次外周上に動きベクトル候補が位置す
るように設定し、しかも外周に移行するにつれて動きベ
クトル候補の設定点間隔が広くなるようにする。このよ
うに設定した動きベクトル候補に対して前記の指標値を
計算し、予め設定した数の候補に対して計算を終えた段
階で、図１３に示した縦方向、横方向および斜め方向の
直線上に位置する動きベクトル候補に対する指標値が図
１１に示したような傾向を持つかどうかを各方向毎に調
べる。

【００８６】その結果、ある方向で図１１Ａのような傾
向があれば、その方向に対しては最適な動きベクトルを
既に探索した範囲内に含むと判断して、それ以上広い領
域に存在する動きベクトル候補の指標値を計算すること
を停止し、既に計算を終えた指標値の中で最低の値をと
る位置の動きベクトル候補の近傍に対してさらに探索精
度を高くして指標値の計算を続行する。

【００８７】図１１Ｂや図１１Ｃのような傾向があれ
ば、動きベクトルの精度の高い推定を行っても符号化効
率の向上はあまり見込めないので、動きベクトル候補の
間隔を広げるか、指標値の計算を停止する。

【００８８】図１１Ｄのような傾向を示す場合には、指
標値が上昇する方向に対する計算を停止する。このよう
な処理を行うことにより、無駄な指標値の計算を減らす
ことが可能となり、符号化処理全体の時間を低減できる
ことになる。

【００８９】また、予め設定した探索範囲内の動きベク
トル候補に対して全て計算を終えた後に、同様の傾向を
調べて、図１１Ｄのような傾向がまだ検出できるようで
あれば、図１２に示すように指標値が小さくなる方向に
さらに探索範囲を広げて同様な処理を行う。このことに
より、探索範囲が不十分であることに起因する符号化効
率の低下を避けることが可能となる。

【００９０】このような動きベクトル候補の位置とそれ
に対する指標値の組から得られる傾向は、図１１Ａ〜Ｄ
のようなカテゴリに分類されて各ブロック毎に１画面分
記憶され、引き続き処理を行う画像の動きベクトルの求
める際の動きベクトル探索範囲の探索中心の初期値と探
索精度を設定するのに用いられる。

【００９１】以上説明したような動きベクトルを探索す
る際の探索範囲、探索中心および探索精度といったパラ
メータの初期設定や再設定に要する計算量は、動きベク
トル候補に対する指標値を計算するのに比べてはるかに
少ない計算量で行えるので、結果として処理時間の大幅
な削減ができることになる。

【００９２】次に、本実施例に係る動画像符号化装置の
構成を図８を参照して説明する。

【００９３】図８において、入力画像データ３１３はブ
ロック切り出し部２０１により複数画素からなる複数ブ
ロックに分割され、符号化対象となる８×８画素のブロ
ックに切り出される。切り出された符号化対象ブロック
の画像信号は、動きベクトル探索部２０４内の後述する
動き補償部により動き補償された参照画像ブロックの画
像信号３０１と共に符号化部２０２に入力され、符号化
対象ブロックと参照画像ブロックの各画素毎の差分であ
る予測誤差信号に対して符号化が行われる。

【００９４】符号化部２０２では符号化処理の典型的な
処理として、予測誤差信号に対して２次元離散的コサイ
ン変換を施し、各変換係数に対して量子化処理を行い、
その量子化結果についてゼロランとそれに続く変換係数
の値の組に対してハフマンコード等を用いて高能率符号
化を行う。符号化部２０２からの符号化出力３１５は、
参照画像ブロックを生成するために用いた動きベクトル
３０２と共に多重化部２０７により多重化され、最終的
な符号化出力３１４として出力される。

【００９５】さらに、この符号化出力３１５は符号化部
２０２と逆の操作を行う局部復号部２０６で復号されて
符号化済み画像データとなり、次の入力画像データの符
号化を行う際の参照画像データとして画像バッファ２０
５に記憶される。

【００９６】動きベクトル探索部２０４では、探索パラ
メータ設定部２０３で初期設定された動きベクトルの探
索中心と探索範囲および探索の細かさなどのパラメータ
に従って、複数の動きベクトル候補に対して定められた
順序で前記指標値の計算を行う。この複数の動きベクト
ル候補に対して指標値を計算している課程で、動きベク
トル候補の位置とその指標値の組等のデータを探索パラ
メータ設定部２０３に戻して、探索範囲や探索の細かさ
の再設定を行う。

【００９７】動きベクトル探索部２０４では、複数の動
きベクトル候補から最終的にその指標値が最小となる動
きベクトル３０２を求めて、この動きベクトル３０２と
共に、符号化対象ブロックから動きベクトル３０２で示
される位置だけずらせた位置の参照画像ブロック３０１
を画像バッファ２０５から取り出して出力する。

【００９８】図９は、動きベクトル探索部２０４および
探索パラメータ設定部２０３の詳細な構成例を示すブロ
ック図である。まず、動きベクトル探索部２０４につい
て説明する。

【００９９】図８のブロック切り出し部２０１からの入
力画像データ中の符号化対象ブロック３１１に対して最
適に動き補償された参照画像ブロックを求めるために、
ベクトル候補発生部２１０により順次出力される動きベ
クトル候補３１０に従って、参照候補ブロック切り出し
部２０９により画像バッファ２０５に入っている参照画
像データ３１２から参照候補ブロック３１５が出力され
る。

【０１００】この参照候補ブロック３１５と符号化対象
ブロック３１１は指標計算部２１６に入力され、ここで
両ブロック３１５，３１１の対応する位置にある各画素
の差分値の絶対値が計算され、この絶対値のブロック内
の全ての画素に対する和が、与えられた動きベクトル候
補３１０に対する指標値３０６として最適ベクトル検出
部２０８に入力される。

【０１０１】動きベクトル探索部２０４では最初は粗い
探索を行っているので、その中で最適な動きベクトルを
最適ベクトル検出部２０８により求めた後、その周囲の
小領域に対して細かい探索を行い、最終的な動きベクト
ルを求める。

【０１０２】最適ベクトル検出部２０８では、順次入力
される動きベクトル候補３１０とそれに対する指標値３
０６に対して、既に入力された指標値よりも小さな指標
値が入力された場合に、最適動きベクトルの候補として
保持し、全ての動きベクトル候補に対する指標値の計算
が終了した段階で、最適動きベクトル３０２と対応する
参照画像ブロック３０１を出力する。

【０１０３】なお、図９では動きベクトル探索部２０４
より参照画像ブロック３０１が出力され、図８の符号化
部２０２において符号化対象ブロックとの差分（予測誤
差信号）を再び生成しているが、指標計算部２１６で生
成した差分を最適ベクトル検出部２０８から符号化部２
０２に出力する構成としてもよい。

【０１０４】次に、探索パラメータ設定部２０３につい
て説明する。

【０１０５】ある符号化対象ブロックに対する動きベク
トルを求める最初の段階として、探索パラメータ初期設
定部２１１により探索パラメータとして動きベクトルの
探索中心、探索範囲および探索精度の初期値を決定す
る。これらの初期値を決定する際に、直前の符号化済み
画像中の各ブロックに対する動きベクトルおよび後述す
る判定モードを用いる。これらの動きベクトルおよび判
定モードの情報は、それぞれベクトルメモリ２１２およ
び判定モードメモリ２１５に記憶されている。

【０１０６】動きベクトルの探索中心は、ベクトルメモ
リ２１２に記憶されている直前の符号化済み画像の、符
号化対象ブロックと同位置のブロックに対するベクトル
で指定される値を通常はそのまま使用する。しかし、ベ
クトルメモリ２１２に記憶されている計算対象のブロッ
クのベクトルと、その周囲の８ブロックに対するベクト
ルとの差分ベクトルの大きさの和が予め設定した値より
も大きければ、その領域は異なる動きをしている２つの
物体の境界になっているか、あるいは動きが激しい部分
であると判断して、例外的に探索中心の前記ベクトルに
よるシフトは行わない。

【０１０７】図１２における動きベクトルの探索範囲５
０２の初期設定範囲は、通常は予め定められた範囲に設
定するが、上述した探索中心の設定において説明した例
外の判定がなされた場合には、通常よりも広く設定す
る。また、判定モード３０５が図１１Ｃに示すような傾
向を示す場合にも、動きが激しい領域であると判定して
探索範囲を通常よりも広く設定する。

【０１０８】動きベクトル探索の細かさの初期設定は、
図１２に示すように探索中心５０１付近は細かく設定
し、中心から離れるに従って動きベクトルの候補点が少
しずつ粗くなるように設定する。ただし、判定モードが
図１１Ｂあるいは図１１Ｃのような場合には、図１１Ａ
のモードの場合よりも若干粗くなるように初期設定を行
う。

【０１０９】次に、動きベクトル探索範囲の再設定につ
いて説明する。

【０１１０】本実施例においては、前述した探索パラメ
ータの初期設定に従って探索中心に近い候補点から動き
ベクトル候補を発生し、さらにそれらの動きベクトル候
補に対する指標値を計算して、順に探索中心から遠い候
補点の指標値を計算するようにしている。動きベクトル
探索範囲の再設定は、探索範囲内の初期設定で定めた領
域内の候補点に対する全ての指標値を計算する前に、あ
る一定数の候補に対する指標値、すなわち探索中心から
ある範囲内に存在する候補に対する指標値を計算した段
階で、探索パラメータの初期設定の見直しを行い、必要
ならばその再設定をする。

【０１１１】この段階で求められている候補点とその評
価値の組に対して、図１３で示す縦方向６０２、横方向
６０４および斜め方向６０３，６０５の４つの直線上に
あるものを抽出し、横軸に候補点の位置関係を保存して
並べ、縦軸にその候補点に対する指標値をプロットした
ときのグラフ形状の傾向を調べることを行う。実際に
は、平均値および分散を求め、さらにスムージング処理
を行った後に４点の評価値を調べてグラフの傾きを判定
する。その結果により、図１１に従ってＡ，Ｂ，Ｃ，Ｄ
およびそれ以外という５つのカテゴリに分類する。

【０１１２】そして、ある方向でカテゴリがＡの場合に
は、その方向に対しては最適な動きベクトルの値を既に
探索した範囲内に含むと判断して、それ以上広い領域に
存在する動きベクトル候補の指標値を計算することを停
止し、既に計算を終えた指標値の中で最低の値をとる位
置の動きベクトル候補の近傍に対してさらに探索精度を
高くして計算を続行する。

【０１１３】また、カテゴリがＢあるいはＣの場合に
は、動きベクトルの精度の高い推定を行っても符号化効
率の向上はあまり見込めないので、候補点の間隔を広げ
るか、指標値の計算を停止する。カテゴリがＤの場合に
は、指標値が上昇する方向に対する計算を停止する。

【０１１４】さらに、探索範囲内の候補に対して全て計
算を終えた後に、同様の分類を行ってカテゴリＤに分類
できる場合には、図１３に示すように指標値が小さくな
る方向にさらに探索範囲を広げて同様な処理を行う。図
１３では斜め方向６０３および横方向６０４において探
索範囲を広げる場合の例を示している。斜線で示した６
０６の領域が拡張した探索範囲である。

【０１１５】この分類した結果は各ブロック毎に判定モ
ードメモリ２１５に記憶され、次の画像を符号化する際
に、既に説明したように探索パラメータの初期設定をす
るために参考とされる。

【０１１６】次に、本発明を動き補償予測方式を用いた
動画像符号化装置に適用した他の実施例について図１４
を参照して説明する。

【０１１７】図１４において、低域通過フィルタ処理部
１０１０は入力端子１００１より順次入力される画像デ
ータの空間的高周波数成分を抑圧する、低域通過フィル
タ処理を施して出力する。サブサンプル処理部１０２０
は、低域通過フィルタ処理部１０１０によりフィルタ処
理を施された画像データから所定画素間隔で一部の画素
信号を取り出すサブサンプル処理を施して出力する。こ
のように、低域通過フィルタ処理部１０１０およびサブ
サンプル処理部１０２０によって、入力画像データの解
像度を低下させる処理が行われる。

【０１１８】参照画像メモリ部１０３０は、サブサンプ
ル処理部１０２０により作成される図１９に示すような
上位層の画像を記憶し、符号化済み画像の上位層画像を
出力する。

【０１１９】第１のブロックスキャン変換処理部１０４
０は、サブサンプル処理部１０２０により作成される、
符号化対象画像の上位層画像を複数画素で構成されるブ
ロック単位で出力する。

【０１２０】第１の動きベクトル検出部１０５０は、参
照画像メモリ部１０３０に記憶された符号化済み画像の
上位層画像から、動きベクトル記憶部１０６０に予め記
憶された動きベクトルで指定される点を中心にした所定
の探索範囲について、入力画像データの上位層画像のブ
ロックと出来るだけ相関の高い一次検出ブロックを探索
し、その一次ブロックの位置を示す一次動きベクトルを
出力する。

【０１２１】第２のブロックスキャン変換処理部１０７
０は、入力端子１００１より順次入力される画像データ
を複数画素で構成されるブロック単位で出力する。

【０１２２】第２の動きベクトル検出／動き補償誤差計
算部１０８０は、第１の動きベクトル検出部１０５０よ
り出力され動きベクトル記憶部１０６０を介して入力さ
れる一次動きベクトルの種類、つまりその一次動きベク
トルが探索範囲のどの領域から検出されたかに応じて、
探索範囲の中心位置と探索精度（探索する画素単位）の
何れか一方または両方が制御される。そして、第２の動
きベクトル検出／動き補償誤差計算部１０８０では、再
生参照画像メモリ部１０９０に記憶された参照用の局部
復号画像から、入力画面のブロックと最も相関の高い二
次検出ブロックを探索する。この二次検出ブロックの画
素デ−タは局部復号用加算部１１４０へ入力され、入力
画面のブロックとその二次検出ブロックとの差分デ−タ
がＤＣＴ処理部１１００へ、その二次検出ブロックの位
置を示す二次動きベクトルが符号化処理部１１５０と動
きベクトル記憶部１０６０へそれぞれ出力される。

【０１２３】動きベクトル記憶部１０６０は、第１の動
きベクトル検出部１０５０からの一次動きベクトルを記
憶し、第２の動きベクトル検出／動き補償誤差計算部１
０８０における探索範囲と探索精度を制御すると共に、
第２の動きベクトル検出／動き補償誤差計算部１０８０
からの二次動きベクトルを一次動きベクトル検出の探索
精度と同じ画素単位のデ−タに変換して記憶し、次の符
号化対象画像の一次動きベクトル探索に使用する。

【０１２４】ＤＣＴ処理部１１００は、第２の動きベク
トル検出／動き補償誤差計算部１０８０から出力される
ブロック単位の差分デ−タに対して離散的コサイン変換
処理を行って出力する。量子化処理部１１１０は、ＤＣ
Ｔ処理部１１００から出力されるデ−タに対して所定の
量子化幅による除算処理によって再量子化を行う。符号
化処理部１１５０は、動きベクトル検出／動き補償誤差
計算部１０８０から出力される動きベクトルと量子化処
理部１１１０から出力される量子化されたＤＣＴデ−タ
を符号化して出力する。

【０１２５】逆量子化処理部１１２０は、将来に参照用
画像として使用される画像の符号化の時に、量子化処理
部１１１０から出力されるデ−タに対して、符号化時に
使用した量子化幅による乗算処理によって逆量子化を行
う。逆ＤＣＴ処理部１１３０は、逆量子化処理部１１２
０から出力されるブロック単位のデ−タに対して逆離散
的コサイン変換を行い、差分デ−タを復元する。

【０１２６】局部復号用加算部１１４０は、第２のベク
トル検出／動き補償誤差計算部１０８０から出力される
二次検出ブロックの画素デ−タと逆ＤＣＴ処理部１１３
０から出力される復元された差分デ−タとを加算して、
再生参照画像メモリ部１０９０に出力する。

【０１２７】このようにして符号化されたデ−タ１００
２は、通信装置又は記録装置２０００を介して局部復元
処理部３０１０に入力され、前記動きベクトル情報と量
子化されたＤＣＴデ−タが復号される。そして、量子化
されたＤＣＴデ−タを逆量子化処理部３０２０に出力す
ると共に、動きベクトル情報を用いて参照用再生画像メ
モリ部３０５０から二次検出ブロックの画素デ−タを読
み出す。

【０１２８】逆量子化処理部３０２０は、前記の量子化
されたＤＣＴデ−タに対して、符号化時に使用した量子
化幅による乗算処理によって逆量子化を行う。逆ＤＣＴ
処理部３０３０は、前記逆量子化処理部３０２０から出
力されるブロック単位のデ−タに対して、逆離散的コサ
イン変換を行い、差分デ−タを復元する。局部復号用加
算部３０４０は、参照用再生画像メモリ部３０５０から
出力される二次検出ブロックの画素デ−タと逆ＤＣＴ処
理部３０３０から出力される復元された差分デ−タとを
加算して出力する。再生参照画像メモリ部３０５０は、
再生画面が将来の参照用画面として使用する画面の時
に、局部復号用加算部３０４０から出力される再生画素
デ−タを記憶する。ラインスキャン変換処理部３０６０
は、局部復号用加算部３０４０からブロック単位で出力
される再生画素デ−タを画面表示のためにライン単位の
画素デ−タにして出力する。

【０１２９】図１５に、本実施例における動きベクトル
検出方法の第１の例を示す。

【０１３０】ここでは、符号化する画面の上位層画面Ｒ
ｕ及び下位層画面Ｒｌのブロックサイズをそれぞれ４画
素及び８画素とし、参照用画面の上位層画面Ｓｕ及び下
位層画面Ｓｌの探索範囲をともに±２画素として説明す
る。図１５（ｂ−１）、（ｂ−５）に示すように、第１
の動きベクトル検出部１０５０により得た一次検出動き
ベクトルがその探索範囲の外周の場合には、第２の動き
ベクトル検出／動き補償誤差計算部１０８０での探索領
域が第１の動きベクトル検出部１０５０で探索した領域
と重なる部分が少なくなるように、第２の動きベクトル
検出／動き補償誤差計算部１０８０での探索範囲の中心
位置を第１の動きベクトル検出部１０５０での探索範囲
の中心から更に離れるように制御し、動きの大きな部分
領域に最適な予測信号を得られるようにする。これによ
り、図２０に示した従来の動きベクトル検出方法では見
逃していた最適な探索位置Ｂも、従来と同じ処理量で検
出できるようになる。

【０１３１】図１６に、本実施例における動きベクトル
検出方法の第２の例を示す。この例においても、符号化
する画面の上位層画面Ｒｕおよび下位層画面Ｒｌのブロ
ックサイズをそれぞれ４画素および８画素とし、参照用
画面の上位層画面Ｓｕおよび下位層画面Ｓｌの探索範囲
をともに±２画素として説明する。図１６の（ｂ−２）
や（ｂ−４）に示すように、前記第１の動きベクトル検
出部１０５０により得た動きベクトルが、その探索範囲
の内周の場合には、第２の動きベクトル検出／動き補償
誤差計算部１０８０での探索精度を半画素単位に細かく
して、狭い範囲から探索するように制御し、動きの小さ
な部分領域に最適な予測信号を得られるようにする。こ
れにより、図２０に示した従来の動きベクトル検出方法
では検出出来なかった微妙な探索位置も、従来と同じ処
理量で検出できるようになる。

【０１３２】図１７に、本実施例における動きベクトル
検出方法の第３の例を示す。この例においても、符号化
する画面の上位層画面Ｒｕおよび下位層画面Ｒｌのブロ
ックサイズをそれぞれ４画素および８画素とし、参照用
画面の上位層画面Ｓｕおよび下位層画面Ｓｌの探索範囲
をともに±２画素として説明する。図１７の（ｂ−１）
や（ｂ−５）に示すように、第１の動きベクトル検出部
１０５０により得た動きベクトルがその探索範囲の外周
の場合には、第２の動きベクトル検出／動き補償誤差計
算部１０８０での探索した領域が第１の動きベクトル検
出部１０５０で探索した領域と重なる部分が少なくなる
ように、第２の動きベクトル検出／動き補償誤差計算部
１０８０での探索範囲の中心位置を第１の動きベクトル
検出部１０５０での探索範囲の中心から更に離れるよう
に制御し、動きの大きな部分領域に最適な予測信号を得
られるようにする。

【０１３３】また、図１７の（ｂ−２）や（ｂ−４）に
示すように、第１の動きベクトル検出部１０５０により
得た動きベクトルがその探索範囲の内周の場合には、第
２の動きベクトル検出／動き補償誤差計算部１０８０で
探索する領域の中心位置を一次検出動きベクトルで示さ
れる位置にするように制御し、通常の動きの部分領域に
最適な予測信号を得られるようにする。

【０１３４】また、図１７の（ｂ−３）に示すように、
第１の動きベクトル検出部１０５０により得た動きベク
トルが、その探索範囲の中心に位置する場合には、第２
の動きベクトル検出／動き補償誤差計算部１０８０での
探索範囲の中心位置を一次検出動きベクトルで示される
位置になるように制御し、通常の動きの部分領域に最適
な予測信号を得られるようにする。これにより、図２０
に示した従来の動きベクトル検出方法では検出出来なか
った微妙な探索位置も、従来と同じ処理量で検出できる
ようになる。

【０１３５】さらに、第２の動きベクトル検出／動き補
償誤差計算部１０８０で探索する画素単位半画素単位に
細かくして、狭い範囲から探索するように制御し、動き
の小さな部分領域に最適な予測信号を得られるようにす
る。これにより、図２０に示した従来の動きベクトル検
出方法では見逃していた最適な探索位置や検出出来なか
った微妙な探索位置も、従来と同じ処理量で検出できる
ようになる。

【０１３６】図１８に、本実施例における動きベクトル
検出方法の第４の例を示す。この例では、符号化する画
面の上位層画面Ｒｕおよび下位層画面Ｒｌのブロックサ
イズをそれぞれ４画素および８画素とし、参照用画面の
上位層画面Ｓｕおよび下位層画面Ｓｌの探索範囲をとも
に偶数である８画素として説明する。

【０１３７】図１８の（ａ）に示すように、符号化する
画面の上位層画面のサンプル点の位置と参照用画面の上
位層画面のサンプル点の位置を互いに逆位相となるよう
にすることにより、上位層での探索を左右対象にするこ
とができる。従って、所有する探索範囲が偶数であって
も、第１の例や第３の例を利用することにより、下位層
画面の探索範囲を左右対象にすることができ、所有する
処理能力を有効に利用することができる。

【０１３８】

【発明の効果】本発明によれば、より効率的で、かつ視
覚的に画質劣化の少ない画像符号化装置を提供すること
ができる。

【０１３９】また、本発明によればより少ない演算量で
動き補償予測を行って符号化を行うことができると同時
に、画像の動きが少なく動きベクトルの探索範囲が十分
でない場合にも符号化効率が低下しない動画像のための
画像符号化装置を提供することができる。

【０１４０】さらに、本発明によれば一次動きベクトル
が探索範囲内のどの領域から検出されたかに応じて、最
終的な二次動きベクトルの探索範囲および探索精度の少
なくとも一方を制御することにより、画像の動きの大き
さによらず常に最適な予測信号を得ることができ、符号
化効率の高い動画像のための画像符号化装置を提供する
ことができる。

【図面の簡単な説明】

【図１】本発明の画像符号化装置の一実施例を示すブロ
ック図

【図２】本発明による適応量子化の説明図

【図３】適応量子化による量子化幅の変化の一例を示す
図

【図４】アクティビティに対する量子化幅の変化の特性
を示す図

【図５】本発明における適応量子化方法の説明図

【図６】本発明の画像符号化装置の他の実施例を示すブ
ロック図

【図７】本発明をフレーム間予測を用いる画像符号化装
置に適用した実施例を示すブロック図

【図８】本発明を動き補償予測符号化を用いる動画像符
号化装置に適用した実施例を示すブロック図

【図９】図８における動きベクトル探索部と探索範囲設
定部の構成を示すブロック図

【図１０】同実施例における動きベクトル探索中心の設
定の説明図

【図１１】同実施例における動きベクトル候補とその指
標値の特性を示す図

【図１２】同実施例における動きベクトル探索範囲と動
きベクトル候補の設定図

【図１３】同実施例における探索パラメ−タの再設定の
説明図

【図１４】本発明を動き補償予測符号化を用いる動画像
符号化装置に適用した他の実施例を示すブロック図

【図１５】同実施例における動きベクトル検出方法の第
１の例を示す図

【図１６】同実施例における動きベクトル検出方法の第
１の例を示す図

【図１７】同実施例における動きベクトル検出方法の第
１の例を示す図

【図１８】同実施例における動きベクトル検出方法の第
１の例を示す図

【図１９】ピラミッド構造を示す図

【図２０】従来の動きベクトル検出方法の説明図

【符号の説明】

１０１…ブロック切り出し部 １０２…２次元離散的直交変換部 １０３…量子化器 １０４…可変長符号化部 １０５…バッファ １０６…ブロックアクティビティ計算部 １０７…基本量子化テーブル １０８…適応量子化制御部 １０９…量子化幅制御パラメータ計算部 １１０…全アクティビティ計算部 １１１…メモリ １１２…量子化変化幅計算部 １１３…２次元ローパスフィルタ １１４…クラス化部 １１５…逆量子化器 １１６…２次元離散的直交逆変換部 １１７…フレームメモリ １１８…動き補償部 １１９…シーンチェンジ検出部 １２０…多重化部 １２１…メモリ ２０１…ブロック切り出し部 ２０２…符号化部 ２０３…探索パラメ−タ設定部 ２０４…動きベクトル探索部 ２０５…画像バッファ ２０６…局部復号部 ２０７…多重化部 ２０８…最適ベクトル検出部 ２０９…参照候補ブロック切り出し部 ２１０…ベクトル候補発生部 ２１１…探索パラメ−タ初期設定部 ２１２…ベクトルメモリ ２１４…探索パラメ−タ再設定部 ２１５…判定モ−ドメモリ ２１６…指標計算部 １０２０…サブサンプル処理部 １０３０…参照画像メモリ部 １０４０，１０７０…ブロックスキャン変換処理部 １０５０…第１の動きベクトル検出部 １０８０…第２の動きベクトル検出／動き補償誤差計算
部 １０９０…参照用再生画像メモリ部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山影 朋夫 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝総合研究所内 (72)発明者 奥 忠宏 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝総合研究所内

Claims (5)

【特許請求の範囲】
1. 【請求項１】入力画像データを所定の複数画素でそれぞ
   れ構成される複数のブロックに分割するブロック分割手
   段と、 このブロック分割手段により分割された各ブロック内の
   情報を表現するデータに対して各ブロック毎に決定され
   る量子化幅により量子化を行う量子化手段と、 この量子化手段により量子化されたデータを符号化する
   符号化手段と、 前記各ブロック毎に該ブロック内の画素値の変化の度合
   いを表わすパラメータを定め、各ブロックに対し該ブロ
   ックのパラメータの値および該ブロック以外のブロック
   から得られるパラメータの値を用いて、該ブロックの量
   子化幅を決定する量子化幅決定手段とを有することを特
   徴とする画像符号化装置。
2. 【請求項２】入力画像データを所定の複数画素でそれぞ
   れ構成される複数のブロックに分割するブロック分割手
   段と、 このブロック分割手段により分割された各ブロック内の
   情報を表現するデータに対して各ブロック毎に決定され
   る量子化幅により量子化を行う量子化手段と、 この量子化手段により量子化されたデータを符号化する
   符号化手段と、 前記各ブロック毎に該ブロック内の画素値の変化の度合
   いを表わすパラメータを定め、各ブロックに対し該ブロ
   ックのパラメータの値および該ブロックに空間的または
   時間的あるいは空間的かつ時間的に隣接するブロックか
   ら得られるパラメータの値を用いて、該ブロックの量子
   化幅を決定する量子化幅決定手段とを有することを特徴
   とする画像符号化装置。
3. 【請求項３】入力画像データを所定の複数画素でそれぞ
   れ構成される複数の符号化対象ブロックに分割するブロ
   ック分割手段と、 このブロック分割手段により分割された各符号化対象ブ
   ロックに対して動きベクトルの少なくとも探索範囲およ
   び探索中心を設定する設定手段と、 この設定手段により設定された前記探索中心を基準位置
   として前記設定手段により設定された前記探索範囲の中
   から複数の動きベクトル候補を選択的に発生する動きベ
   クトル候補発生手段と、 この動きベクトル候補発生手段により発生された複数の
   動きベクトル候補について、動きベクトルで指定される
   符号化済み画像データ中の参照画像ブロックと前記入力
   画像データ中の符号化対象ブロックとの予測誤差の大き
   さの指標値を計算する計算手段と、 この計算手段により計算された前記指標値に従って、前
   記動きベクトル候補発生手段により発生された複数の動
   きベクトル候補から最適な動きベクトルを選択する選択
   手段と、 この選択手段により選択された最適な動きベクトルによ
   り指定される前記参照画像ブロックと前記符号化対象ブ
   ロックとの差分を符号化する符号化手段とを有すること
   を特徴とする画像符号化装置。
4. 【請求項４】入力画像データを所定の複数画素でそれぞ
   れ構成される複数の符号化対象ブロックに分割するブロ
   ック分割手段と、 このブロック分割手段により分割された各符号化対象ブ
   ロックに対して動きベクトルの探索範囲と探索中心およ
   び探索精度を設定する設定手段と、 この設定手段により設定された前記探索中心を基準位置
   として前記設定手段により設定された前記探索範囲の中
   から複数の動きベクトル候補を選択的に発生する動きベ
   クトル候補発生手段と、 この動きベクトル候補発生手段により発生された複数の
   動きベクトル候補について、動きベクトルで指定される
   符号化済み画像データ中の参照画像ブロックと前記入力
   画像データ中の符号化対象ブロックとの予測誤差の大き
   さの指標値を計算する計算手段と、 前記動きベクトル候補発生手段により発生された動きベ
   クトル候補と前記計算手段により計算された前記指標値
   との組から、前記計算手段により所定数の前記指標値が
   計算された段階で前記設定手段により設定された前記探
   索範囲および探索精度を再設定する再設定手段と、 前記計算手段により計算された前記指標値に従って、前
   記動きベクトル候補発生手段により発生された複数の動
   きベクトル候補から最適な動きベクトルを選択する選択
   手段と、 この選択手段により選択された最適な動きベクトルによ
   り指定される前記参照画像ブロックと前記符号化対象ブ
   ロックとの差分を符号化する符号化手段とを有すること
   を特徴とする画像符号化装置。
5. 【請求項５】画像データに対して解像度を低下させる処
   理を施す信号処理手段と、 この信号処理手段により処理された後の入力画像データ
   中の符号化対象ブロックについて、前記信号処理手段に
   より処理された後の符号化済み画像データ中の参照画像
   ブロックを参照して所定の動きベクトル探索範囲にわた
   り一次動きベクトルを検出する第１の動きベクトル検出
   手段と、 前記信号処理手段により処理されない入力画像データ中
   の符号化対象ブロックについて、前記信号処理手段によ
   り処理されない符号化済み画像データ中の参照画像ブロ
   ックを参照して所定の探索範囲にわたり所定の探索精度
   で二次動きベクトルを求める第２の動きベクトル検出手
   段と、 前記第１の動きベクトル検出手段により検出された一次
   動きベクトルが前記探索範囲内のどの領域から検出され
   たかに応じて、前記第２の動きベクトル検出手段におけ
   る探索範囲および探索精度の少なくとも一方を制御する
   制御手段と、 前記第２の動きベクトル検出手段により検出された二次
   動きベクトルにより指定される前記参照画像ブロックと
   前記符号化対象ブロックとの差分を符号化する符号化手
   段とを有することを特徴とする画像符号化装置。