JPH066784A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】圧縮効率を低下させることなく、視覚特性の解
像度に応じて量子化制御特性を可変し、再生画質の視覚
上の歪みを低減する。 【構成】量子化器１８の量子化ビットを制御する場合、
量子化制御器２４には、バッファメモリ２５からの量子
化モード信号、動きベクトル検出器１５からの動きベク
トル大きさ判定信号、エッジ成分検出器１３からのエッ
ジ成分判定信号が入力され、これらの情報に基づいて量
子化ビットの粗、密制御が行われる。つまり、視覚的に
歪みが目立ちやすい絵柄の平坦部を密の量子化特性で、
逆に歪みの知覚感度が低下し、視覚特性の解像度も低下
するような画像信号に一定速度以上の動きがあり、視線
がその動きに追従できない絵柄部分は、粗い量子化特性
で直交変換係数に量子化するようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像信号を複数のブ
ロック単位で符号化する画像符号化装置に関する。

【０００２】

【従来の技術】従来、画像信号の高能率符号化方式とし
て、フレーム内、フレーム間の相関を利用して予測符号
化と可変長符号化等を行う方式が知られている。この種
の符号化システムでは、通常は符号化されたデータを一
定の伝送ビットレートで伝送路に送出するために、出力
バッファメモリの情報占有量及び伝送ビットレートの容
量に応じた値内で、量子化モードを適応的に設定する手
段を有している。

【０００３】量子化モードを設定するパラメータとし
て、画像の動き方向と量を示す動きベクトルを利用する
装置が提案されている（例えば特願平３−１６４９０
号）。この装置は、入力画像信号のフレーム間のブロッ
クで検出した動きベクトルにより、そのブロックの画像
が動いているか否かを判定し、画像が動いていると判定
した場合には、粗い量子化モードを設定し、そのブロッ
クが動いていないと判定した場合には、密の量子化モー
ドを設定し、この設定した量子化モードで直交変換係数
を量子化するようにした画像符号化装置である。これ
は、画像に一定速度以上の動きがあり、視線がその動き
に追従できない場合には歪みの知覚感度が低下し視覚特
性の解像度も低下するという視覚の歪みに対する特性を
利用して。視覚的冗長性を削除し、さらに再生画質の視
覚上の歪みを抑圧しようとしたものである。

【０００４】ところが、画像信号の性質によっては、こ
のようにブロックの動きベクトルに注目しただけではそ
のブロックに動きがあるか無いかを単純に判断しては都
合が悪い場合が多々ある。

【０００５】図４はその例を示すデータパターンの説明
図である。画像信号の現フレームから切り出した入力ブ
ロックが、図４（Ａ）のように４画素×２ラインの８画
素からなるものとする。さらにこのブロックの位置に対
応する動きベクトルを求めるためのサーチエリアが、図
４（Ｂ）に示すように設定されているものとする。この
とき、サーチエリア内で入力ブロックとの最小歪みを得
る参照ブロックは、図のようなデータパターンであると
３つ存在し、この動き量と方向を動きベクトルとする場
合、動きベクトルの候補は図４（Ｃ）に示すようにｖ１
〜ｖ３のベクトルである。

【０００６】単純なマッチング法による動きベクトル検
出の場合、この３つのうちからどのベクトルを動きベク
トルとして採用するかは、参照ブロックの計算順位、あ
るいは現フレーム入力ブロックと前フレーム参照ブロッ
クとの相対的な位置関係によって決定されるが、参照ブ
ロックによっては検出された動きベクトルにより入力ブ
ロックの動きの有無を判断し量子化モードを決定すると
圧縮効率が向上せず、しかも視覚上歪みが目立つ場合が
ある。

【０００７】具体的には、実際の画像信号において、図
４（Ａ）に示すように画素ごとの信号レベル差が殆どな
い絵柄、例えば空や雲のような一様のトーンの画面、つ
まり平坦な絵柄の部分では、歪みは敏感に検知されやす
いという視覚上の歪みに対する特性がある。よって、こ
のようなブロックの直交変換係数は密の量子化モードで
量子化し、再生画質の視覚上の歪みを抑圧することが本
来は望ましい。ところが、図４（Ｃ）に示すベクトルｖ
１あるいはｖ２が動きベクトルとして採用された場合、
このブロックは動き有りとして判定されるために、粗い
量子化モードで予測誤差信号が量子化されることにな
り、この結果、再生画の視覚上の歪みが非常に目立つと
いう問題がある。

【０００８】

【発明が解決しようとする課題】上記したように、フレ
ーム間で求めた動きベクトルだけにたより、入力ブロッ
クの画像動きの有無を判定し、この動きの有無により直
交変換係数を量子化するための量子化モードを切り換え
るようにすると、本来密のモードで量子化すべきブロッ
クを粗い量子化モードで量子化してしまったり、またそ
の逆に、歪みの知覚感度が低下するので粗く量子化して
も良いブロックを密の量化モードで量子化することがあ
り、結果的に再生画像の視覚上の歪みが目立ち、また圧
縮効率が上がらない場合があった。そこでこの発明は、
圧縮効率を低下させることなく、再生画質の視覚上の歪
みを低減することができる画像符号化装置を提供するこ
とを目的とする。

【０００９】

【課題を解決するための手段】この発明は、画像信号を
複数のブロックに分割し、これらを入力ブロックとし
て、動き量分ずれた比較画像の複数の参照ブロックとの
歪みを算出し、このうちの最小歪みに対応した前記動き
量を動きベクトルとして出力する動きベクトル検出手段
と、前記画像信号と前記動きベクトルにより予測誤差を
算出する予測手段と、前記ブロック内における入力画像
データの高域成分を検出する高域成分検出手段と、前記
動きベクトルの大きさと、前記高域成分の大きさに応じ
て異なる量子化モードを設定する手段と、前記設定手段
により設定された量子化モードで前記予測誤差を量子化
する手段とを備える。

【００１０】

【作用】上記の手段により、高域成分検出手段により量
子化モードを設定した場合は、入力ブロックにおいて、
フレーム間で算出した動きベクトルの大きさが大きく、
かつ高域成分が検出された場合には粗い量子化モードを
設定して予測誤差信号を量子化するようにし、高域成分
が検出されなかった場合は密の量子化モードで予測誤差
信号を量子化できる。

【００１１】つまり視覚特性上歪みが検知されやすい絵
柄の平坦な部分は密の量子化モードで量子化し、歪みの
知覚感度が低下する一定速度以上の動きがあるブロック
は粗く量子化できるので、圧縮効率を低下させることな
く、再生画質の視覚上の歪みを低減することができる。

【００１２】

【実施例】以下、この発明の実施例を図面を参照して説
明する。

【００１３】図１はこの発明の一実施例によるフレーム
間予測符号化装置である。また図２は、図１のフレーム
間予測符号化装置に組み込まれた量子化制御器を示して
いる。図１において、入力端子１１には、入力画像デー
タが入力され、この入力画像データは入力バッファ１２
に入力される。入力バッファ１２は、入力された画像デ
ータを所定の画素単位（入力画素ブロック単位）でエッ
ジ成分検出器１３（高域成分検出器）及び減算器１４及
び動きベクトル検出器１５に出力する。減算器１４は、
後述する動き補償器１６から動き補償された前フレーム
の入力ブロックデータを与えらえており、フレーム間差
分信号（予測誤差信号）を求めて直交変換器１７に入力
する。直交変換器１７は、入力されたブロックデータを
直交変換処理して、水平及び垂直方向の周波数成分に分
離して量子化器１８に入力する。量子化器１８は、直交
変換器１７の出力を量子化してビットレートを低減し、
符号化器１９及び逆量子化器２０に出力する。

【００１４】符号化器１９は、量子化器１８の出力に対
して、平均的な符号長が短くなるように符号割当てを行
い、その出力をバッファメモリ２５に供給する。バッフ
ァメモリ２５は、符号化器１９の出力を低レート化して
伝送路に送り出すと共に、バッファメモリ２５の情報占
有量に応じた量子化モード信号を１つ選択して、量子化
制御器２４に出力する。

【００１５】逆量子化器２０は、量子化器１８の出力を
逆量子化して逆直交変換器２１に与え、逆直交変換器２
１は逆量子化器２０の出力を逆直交変換して加算器２２
に与える。逆量子化器２０及び逆直交変換器２１により
復号化処理が行われ、符号化前の差分データと同様なデ
ータが得られる。

【００１６】加算器２２は、動き補償器１６からの動き
補償された前フレームのブロックデータと逆直交変換器
２１からの差分データとを加算して、現フレームの入力
ブロックデータを再生してフレームメモリ２３に入力す
る。フレームメモリ２３は、入力されたブロックデータ
を１フレーム期間遅延させて前フレームデータとして動
き補償器１６及び動きベクトル検出器１５に与える。

【００１７】動きベクトル検出器１５には、入力バッフ
ァ１２から現フレームのブロックデータが与えられ、フ
レームメモリ２３から現フレームの１フレーム前の画像
データが与えられることになる。動きベクトル検出器１
５は、これらのデータをそれぞれ入力データ及び参照デ
ータとして入力されたブロックデータについて前フレー
ムと現フレームとの間の動きベクトルを求め、求めた動
きベクトルを動き補償器１６に与える。さらに動きベク
トル検出器１５では、検出した動きベクトルから動きベ
クトルの大きさを算出し、この大きさに対応する動きベ
クトル大きさ判定信号を量子化制御器２４に与える。動
き補償器１６には、フレームメモリ２３から前フレーム
のブロックデータが与えられており、このブロックデー
タを動きベクトルによって動き補償することにより、動
き補償された前フレームブロックデータを作成して、減
算器１４に与えるようになっている。

【００１８】エッジ成分検出器１３には、入力バッファ
１２から現フレームのブロックデータが与えられており
このデータから入力ブロックのエッジ成分の大きさを判
定し、この判定結果をエッジ成分判定信号として量子化
制御器２４に与えている。

【００１９】量子化制御器２４には、エッジ成分検出器
１３からは入力ブロックデータのエッジ成分の大きさを
表す例えば２ビットの判定信号が入力され、動きベクト
ル検出器１５から入力ブロックデータの動きベクトル大
きさ判定信号が入力され、バッファメモリ２５から量子
化モード信号が入力される。量子化制御器２４は、この
３つの量子化モード決定パラメータにより入力ブロック
データの直交変換係数を量子化するのに最適な量子化特
性を選択し、量子化器１８に与えている。次に、上記の
ように構成された実施例における量子化制御器１８の動
作について説明する。

【００２０】図２において、量子化制御器２４の入力端
子１２１には入力データとして量子化モード信号が入力
され、この信号は、加算器１２２と制御信号発生器１２
３に与えられる。また量子化制御器２４の入力端子１２
４には、入力データとして入力ブロックの動きベクトル
大きさ判定信号が入力され、加算モード信号発生器１２
５に与えられる。さらに量子化制御器２４の入力端子１
２６には、入力データとして入力ブロックのエッジ成分
判定信号が入力され、これは加算モード信号発生器１２
５に与えられる。

【００２１】加算モード信号発生器１２５は、エッジ成
分判定信号と、動きベクトル大きさ判定信号とを組み合
わせて、１つの加算モード信号を決定し、加算器１２２
に与える。加算器１２２は、加算モード信号発生器１２
５からの加算モード信号と入力端子１２１からの量子化
モード信号とを加算し、第２の量子化モード信号として
選択器１２７に与える。この選択器１２７には、入力端
子１２１からの量子化モード信号が第１の量子化モード
信号として与えられている。

【００２２】選択器１２７は、制御信号発生器１２３か
らの制御信号に応じて、第１の量子化モード信号または
第２の量子化モード信号を選択的に導出し、量子化特性
決定器１２８に与えている。量子化特性決定器１２８
は、選択器１２７からの量子化モード信号に応じて量子
化特性を１つ決定し、その制御出力を入力ブロックの直
交変換係数を量子化する量子化特性として図１の量子化
器１８に与えている。

【００２３】今、バッファメモリ２５から返還されてく
る第１の量子化モード信号の値として１〜１６があるも
のとする。第１の量子化モード信号は、バッファメモリ
の情報占有量により変化するが、第１の量子化モード信
号の値が１、２のときは情報占有量が非常に低く、アン
ダーフローの危険があり、第１の量子化モード信号の値
が１５、１６のときは情報占有量が非常に高く、オーバ
ーフローの危険があるものとする。制御信号発生器１２
３は、上記値１、２、１５、１６を判定し、こような場
合は、選択器１２７は、第１の量子化モード信号をスト
レートに選択して導出する。従って、アンダーフローや
オーバーフローが生じる危険があるときは、出力バッフ
ァメモリ２５からの第１の量子化モード信号に基づいて
量子化特性が決定される。しかし、第１の量子化モード
信号の値が３〜１４の場合には、制御信号発生器１２３
は、選択器１２７が加算器１２２の出力である第２の量
子化モード信号を選択導出するように制御する。

【００２４】図２（Ａ）の（ａ）は、上記制御信号発生
器１２３の動作を示す説明図である。即ち、第１の量子
化モード信号が、１、２、１５、１６のときは、制御信
号発生器１２３の出力はハイレベル（Ｈ）となり、選択
器１２７は第１の量子化モード信号を直接選択して導出
し、その他の場合は、制御信号発生器１２３の出力はロ
ーレベル（Ｌ）となり、選択器１２７は第２の量子化モ
ード信号を選択導出する。次に、第２の量子化モード信
号が作成される経過を説明する。

【００２５】加算モード信号発生器１２５は、エッジ成
分判定信号と、動きベクトル大きさ判定信号とを用いて
１つの判定信号を作成している。今、エッジ成分判定信
号の大きさとして１、２、３が得られ、動きベクトル大
きさ判定信号の大きさとして１、２、３、４が得られる
ものとする。そして数値の大きい方が、エッジ成分が大
きく、また動き量が大きいものとする。ここで、上記情
報を受け取る加算モード信号発生器１２５のテーブル
は、図２（Ａ）の（ｂ）のようになっているものとす
る。すると、エッジ成分が最も大きく、かつ動き量が最
も大きい場合には、−２、逆にエッジ成分が最も小さ
く、かつ動き量が最も小さい場合には、＋２という加算
モード信号が得られることになる。

【００２６】この結果、第１の量子化モード信号が３〜
１４の間のときには、第１の量子化モード信号に対し
て、エッジ成分と動きベクトルの値、つまり画像内容に
よって、加算モード信号の値−２〜＋２が加算されるこ
とになる。

【００２７】例えば量子化モード信号として８が得ら
れ、エッジ成分判定信号として１、動きベクトル判定信
号として２が得られたとすると、加算モード信号発生器
１２５からは＋２が得られ、加算器１２２の出力は１０
となる。このために、動きベクトル判定信号８に直接的
に対応した量子化特性が決定されず、このシステムでは
＋２された１０に対応する量子化特性が決定されること
になる。このことは、動きベクトルにエッジ成分の量も
加味して、同じ動き量であってもエッジ成分が少ない場
合には、量子化モードをより細かい方へ制御するという
ことである。逆に同じ動き量であってもエッジ成分が多
い場合には、量子化モードを粗い方へ制御することであ
る。

【００２８】このように、同じ動き量の画像をエッジ成
分が少ない場合と多い場合とで比較すると、エッジ成分
の少ないほうが視覚の解像度も良い（知覚特性から細か
い点が目立ちやすい）ために、画質をよりきめ細かに表
すほうが良く、このシステムはこの期待に答えるように
動作することができる。

【００２９】この発明は、上記の実施例に限定されるも
のではない。加算モード信号発生器１２５の変換テーブ
ルを図２（Ｂ）に示すように、全て負の極性となるよう
に設定しても良い。このようにすると、加算器１２２に
おいて演算を行う場合は、第１の量子化モード信号から
モード信号を引き算する処理のみが行われる。つまり第
１の量子化モード信号よりも第２の量子化モード信号は
必ず低い値となる。つまり、第２の量子化モード信号に
よる量子化は、第１の量子化モード信号による量子化よ
りも密になることが無い。このことは、先の実施例のよ
うに制御信号発生器１２３において、オーバーフロー判
定（この例では１５、１６）を行い選択器１２７が第１
の量子化モード信号を選択するように制御する必要がな
いことを意味する。この実施例では、アンダーフロー判
定（１、２）を行い、このときは選択器１２７が第１の
量子化モード信号を選択するようにし、その他は、選択
器１２７は加算器１２２の出力を選択するようになって
いれば良い。またこの実施例によると、加算器１２２で
は減算処理のみを行えば良い。よって、ハードウエア構
成が簡素になる利点がある。次に上記のエッジ成分の大
きさ判定の例と装置の動作をさらに説明する。

【００３０】エッジ成分検出器１３においては、以下の
ような判定ロジックが組まれている。今、１ブロックを
８画素×８ラインのサイズとし、入力ブロックが図２
（Ｃ）のようになっていたとする。またこの入力ブロッ
クの動きベクトルが（ｘ，ｙ）＝（８，４）（単位は１
画素／１ライン）とする。 水平エッジ成分＝各画素間の水平方向の差分の絶対値の
和。 垂直エッジ成分＝各画素間の水平方向の差分の絶対値の
和。 このブロックのエッジ成分＝水平エッジ成分と垂直エッ
ジ成分の論理和。２４／２５６＜エッジ成分のとき判定
信号を３として出力する。１２＜エッジ成分＜２４／２
５６のとき判定信号を２として出力する。エッジ成分＜
１２／２５６のとき判定信号を１として出力する。

【００３１】図２（Ｃ）の例のように入力ブロックの動
きベクトルが（ｘ，ｙ）＝（８，４）であると平方根か
らＭＶ＝２となる。また図２（Ｃ）の画素データを見る
と、各画素間の水平差分値と垂直差分値の和が２５６レ
ベル（階調）で１２を越える画素がないことからエッジ
判定信号は１となり、この２つの情報と、第１の量子化
モード信号８により、先に説明した信号１０が選択器１
２７に与えられることになる。

【００３２】また動きベクトルの大きさ判定基準は、動
きベクトルの探索範囲（サーチエリア）によって異なる
が、今、仮に動きベクトルの大きさを水平・垂直の２乗
和の平行根とし、探索範囲を水平＋１５から−１６画
素、垂直＋１５から−１６画素とし、以下の式で動きベ
クトルの大きさの判定を行うことができる。 動きベクトルＭＶ＝水平・垂直の２乗和の平方根 １８≦ＭＶ のとき判定信号４ １０≦ＭＶ＜１８ のとき判定信号３ ４≦ＭＶ＜１０ のとき判定信号２ ０≦ＭＶ＜４ のとき判定信号１

【００３３】なおこの実施例では、入力ブロックのエッ
ジ成分の大きさ判定を、レベル大、レベル中、レベル小
の３通りで説明したが、これとは異なる場合分けにして
も良いし、判定基準の数値はこれとは異なる値に設定し
ても良い。また動きベクトル大きさの判定も同様に上記
実施例とは異なる値に設定しても良いし、それにより決
定される加算項も２つの実施例に示した値に限定するも
のではない。また量子化モード信号をバッファメモリ占
有量と前入力ブロックの量子化モード信号により１６種
類のモードとしたが、これとは異なる種類のモードで切
り換えるようにしても何等差支えないし、オーバーフロ
ー、アンダーフローの判定基準を異なる値にしてもかま
わない。また符号化効率を向上させ視覚上の歪みを抑圧
するためのフレーム間予測符号化に適用した例を示した
が、他の画像符号化装置にも適用することができる。こ
の他にもこの発明はその要旨を逸脱しない範囲で種々変
形実施することが可能である。

【００３４】

【発明の効果】以上説明したようにこの発明によれば、
視覚的に歪みが目立ちやすい絵柄の平坦部を密の量子化
特性で、逆に歪みの知覚感度が低下し、視覚特性の解像
度も低下するような画像信号に一定速度以上の動きがあ
り、視線がその動きに追従できない絵柄部分は、粗い量
子化特性で直交変換係数に量子化するようにしたので、
全体の符号化効率を低下させることなく、再生画質の視
覚上の歪みを抑圧することができる。

【図面の簡単な説明】

【図１】この発明の一実施例を示す回路図。

【図２】図１の量子化制御器を具体的に示す回路図。

【図３】この発明の装置の動作例を説明するために示し
た説明図。

【図４】従来の予測符号化装置の動作を説明するために
示した説明図。

【符号の説明】

１２…入力バッファ、１３…エッジ成分検出器、１４…
減算器、１５…動きベクトル検出器、１６…動き補償
器、１７…直交変換器、１８…量子化器、１９…符号化
器、２０…逆量子化器、２１…逆直交変換器、２２…加
算器、２３…フレームメモリ、２４…量子化制御器。

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像信号を複数のブロックに分割し、これ
   らを入力ブロックとして、動き量分ずれた比較画像の複
   数の参照ブロックとの歪みを算出し、このうちの最小歪
   みに対応した前記動き量を動きベクトルとして出力する
   動きベクトル検出手段と、 前記画像信号と前記動きベクトルにより予測誤差を算出
   する予測手段と、 前記ブロック内における入力画像データの高域成分を検
   出する高域成分検出手段と、 前記動きベクトルの大きさと、前記高域成分の大きさに
   応じて異なる量子化モードを設定する手段と、 前記設定手段により設定された量子化モードで前記予測
   誤差を量子化する手段とを具備したことを特徴とする画
   像符号化装置。
2. 【請求項２】前記高域成分検出手段は、前記画像信号の
   空間的差分値を検出する検出手段であることを特徴とす
   る請求項１記載の画像符号化装置。