JPH08339447A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画および静止画の符号化方式において、人
間の目の特性を利用して符号化データの省略を行い、符
号量の削減と演算時間の短縮を図れる画像符号化装置を
提供することを目的とする。 【構成】 入力画像データのうち輝度成分から特徴抽出
手段３により画像の特徴抽出を行う。高輝度、低輝度、
高周波成分の何れかが検出された場合、色成分の演算時
にスイッチ手段から成る第１の判定手段５、第２の判定
手段８、第３の判定手段１１、第４の判定手段１４の可
変端子であるｃ端は演算を行わないａ端に接続され、零
入力用の端子９から零を入力する事で、色成分の符号化
演算を省略し演算時間の短縮および符号量を削減する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、静止画及び動画像の圧
縮、特に離散コサイン変換を行って符号化を行う画像符
号化装置に関するものである。

【０００２】

【従来の技術】近年、画像圧縮を行う際にイメージデー
タの１フレームを複数のブロックに分割して、各ブロッ
ク毎にＤＣＴ（離散コサイン変換）等の処理を行う技術
が開発されてきている。以下、従来の画像圧縮装置につ
いて説明する。

【０００３】図５は、従来の画像圧縮装置のブロック図
であって、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ ｉ
ｍａｇｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）に代表される動画像圧縮方式の一構成例を示してい
る。ＭＰＥＧで標準化されている画像の高能率符号化
は、動画の性質を利用した時間軸方向の冗長度の削減と
周波数領域での画像の性質を利用した空間軸方向の冗長
度の削減手法を組み合わせた技術である。ＭＰＥＧで行
われる演算は８×８画素の領域で構成されるブロックを
基本ブロックとしている。

【０００４】図５において１は入力信号やデータを符号
化するための演算を行う単位ブロック（ＭＰＥＧでは８
×８画素の単位ブロック）に分割するブロック分割手段
であり、入力される輝度信号、色差信号を各々８×８の
ブロックに分割する。２は符号化しようとしている入力
画像と時間的に先に入力された画像より作られた予測画
像との差分信号を得るための減算器であり、連続シーン
での動画像が一般的には注目フレームの前後で似ている
という特徴を利用して、フレーム間の異なった成分、い
わゆる予測誤差成分だけを符号化して時間的冗長度を削
減する。６は減算器２より得られた差分信号やデータに
対して直交変換、ここでは離散コサイン変換（ＤＣＴ：
Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒ
ｍ）を行うＤＣＴ変換部であり、８×８の単位ブロック
に対して輝度、色の各々に２次元のＤＣＴを行い周波数
空間への変換を行っている。７はＤＣＴ変換部６で得れ
たＤＣＴ係数に対して任意の係数を用いて除算を行い符
号量を削減する量子化部である。

【０００５】一般に風景画等の自然画は低周波成分を多
く含んでいるためＤＣＴ変換を行った場合その変換係数
は低次の項に集中し、高次の項はパワーが小さい事を利
用して、高次の項を量子化により切り捨てることで空間
的冗長度を削減している。１９は量子化部７より得られ
る係数に対してハフマン符号等で知られる可変長の符号
化を行い符号量の削減を行う可変長符号化部であり、図
示はしていないがジグザグスキャンされた量子化後の係
数とその他の符号化情報、ヘッダ情報などを伝送データ
として不図示の送信用バッファに送り出す。

【０００６】１２は量子化部７で用いた量子化係数を乗
算することで局部的にＤＣＴ係数を復号する逆量子化
部、１３はＤＣＴ変換部６のＤＣＴとは逆の演算を行う
ことで差分信号やデータを復号する逆ＤＣＴ変換部、１
５は逆ＤＣＴ変換部１３で得られた差分信号やデータに
減算器２で減算される予測信号やデータを加算すること
で予測画像信号やデータを得る加算器、１６は加算器１
５で得られた予測画像信号やデータの一時蓄積を行うフ
レームメモリであり、動き検出器１８から与えられる動
きベクトルを利用して動き補償を行い、減算器２で使わ
れる予測画像を生成する。動き検出器１８は入力信号や
データより動き量を検出し、動き補償のための動きベク
トル１７をフレームメモリ１６に対して出力する。以上
のような構成でＭＰＥＧでの高能率符号化は実現されて
いる。

【０００７】

【発明が解決しようとする課題】ところが、上記構成に
おいては各ブロック毎に輝度成分、色成分のＤＣＴを行
うため演算量が多く、またＤＣＴ後の高次の項のパワー
が大きい場合、量子化を行っても非零係数を削減するこ
とが出来ず、伝送時の符号量を更に削減したい場合に効
果的な手法がなく圧縮効率を高めることができないとい
う問題点があった。

【０００８】そこで本発明は、圧縮効率を高めて符号量
の削減を演算時間の短縮を図れる画像符号化装置を提供
することを目的とする。

【０００９】

【課題を解決するための手段】このために本発明は、任
意の整数に対して入力画像をこの整数に対応する数の小
ブロックに連続的に分割するブロック分割手段と、この
ブロック分割手段により得られた各小ブロック毎に画像
の特徴を抽出する特徴抽出手段と、この特徴抽出手段に
より抽出された結果より演算を行うか否かを判定する判
定手段とから画像符号化装置を構成した。

【００１０】また好ましくは、上記特徴抽出手段を、輝
度レベル検出手段と輪郭検出手段のうちの少なくとも何
れか一方で構成した。

【００１１】また好ましくは、上記特徴抽出手段により
上記特徴が抽出された場合に、上記特徴が抽出された上
記ブロックに対して輝度成分のみの直交変換を行い、色
成分の直交変換は行わず色データを零にするようにし
た。

【００１２】また好ましくは、上記判定手段が、高輝度
レベルと低輝度レベルと高周波領域のうちの少なくとも
１つの特徴に対して判定を行うようにした。

【００１３】また好ましくは、上記特徴抽出手段のう
ち、高周波領域の検出を輝度成分の直交変換後に得られ
る直交変換係数を用いて行うようにした。

【００１４】

【作用】上記構成によれば、人間の目が低輝度部や極高
輝度部、更には高周波成分の多い領域では色成分を識別
しにくいことを利用して、これらの状況が発生したとき
色成分に関する演算特にＤＣＴ演算を省略し、色データ
を零に固定することで圧縮効率を高めると共に圧縮作業
の時間短縮を図ることができ、これにより圧縮符号量の
削減とリアルタイム性を実現する。

【００１５】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１は本発明の第一実施例の画像符号化装置のブ
ロック図である。図１において１は入力画像データを順
次８×８の単位ブロックに分割するブロック分割手段、
２はブロック分割手段１から出力される単位ブロックと
時間的に１フレーム前の時間に符号化された画像から予
測された予測画像との差分データを得るための減算器、
３は画像の特徴を検出して後の色成分のＤＣＴ演算を行
うか否かの判定基準データを出力する特徴検出手段であ
る。５は第１の判定手段、８は第２の判定手段、１１は
第３の判定手段、１４は第４の判定手段であって、特徴
抽出手段３から出力される判定基準データを基にＤＣＴ
演算あるいは逆ＤＣＴ演算を行うか否かのスイッチ操作
を行う判定手段であり、それぞれ固定端子であるａ端、
ｂ端と、可変端子であるｃ端を有している。即ち特徴抽
出手段３により後述する画像の特徴が抽出された場合に
は、第１の判定手段５と第２の判定手段８ではＤＣＴ、
量子化が行なわれない側のａ端にｃ端が接続される。但
し、第２の判定手段８は色成分の演算を行わなかったと
きに色データとして零を次段のブロックに送るために、
零入力用の端子９より零データが入力される。

【００１６】６は８×８のＤＣＴ演算を行なうＤＣＴ変
換部であり、７はＤＣＴ変換部６からのＤＣＴ係数に対
して任意の量子化係数で量子化を行なう量子化部であ
る。第２の判定手段８の出力は不図示のジグザグスキャ
ンを経てハフマン符号による可変長符号化部１９へ接続
されると同時に予測画像を生成するための局部復号部２
０へ接続される。

【００１７】局部復号部２０では、まず量子化時に用い
た量子化係数を用いて逆量子化を行ない周波数成分を表
すＤＣＴ係数を復元した後、ＤＣＴ演算と逆の演算を行
なうことによって周波数空間から実空間への係数変換を
行ない、差分信号を復元する。このとき特徴抽出手段３
により後述する画像の特徴が抽出された場合、第３の判
定手段１１と第４の判定手段１４では逆量子化、逆ＤＣ
Ｔが行なわれない側のａ端にｃ端が接続される。但し、
第４の判定手段１４は色成分の演算を行わなかったとき
に色データとして零を次段のブロックに送るために零入
力用の端子９より零データが入力される。１２は量子化
部７で用いた量子化係数と同じ係数を入力データに対し
て乗算することで量子化前のＤＣＴ係数を求める逆量子
化部、１３はＤＣＴ変換部６とは逆の演算を行なうこと
で逆量子化部１２の出力係数からＤＣＴ演算を行なう前
の差分信号を復元する逆ＤＣＴ変換部である。

【００１８】逆ＤＣＴ後の復元差分信号又は零データの
どちらかが第４の判定手段１４により選択され、加算器
１５において先に予測された画像と加算が行なわれ、新
しい予測画像としてフレームメモリ１６に蓄積される。
フレームメモリ１６内では、動き検出器１８によって検
出された動きベクトル１７を使って動き補償を行ない、
予測画像データとして出力する。

【００１９】次に、特徴抽出手段３について詳しく説明
する。図２は本発明の第一実施例の画像符号化装置の特
徴抽出手段のブロック図であって、（ａ）は輝度レベル
を検出する特徴抽出手段、（ｂ）および（ｃ）は高周波
領域を検出する特徴抽出手段である。図２は（ａ）にお
いて２０１、２０３は輝度レベルのしきい値入力端子、
２０２は図１のブロック分割手段１において単位ブロッ
クに分割されたデータが入力される入力端子である。演
算器２０４は、 ｂ＞ａ：ｃ＝１、ｂ＜ａ：ｃ＝０ の比較演算を行ない、演算器２０５は、 ｄ＞ｅ：ｆ＝１、ｄ＞ｅ：ｆ＝０ なる比較演算を行なう。但し、ａ＞ｅである。さらに演
算器２０６では、 ｉ＝ｇ＋ｈ なる理論和演算を行ない出力端子２０７に演算結果を導
く。即ち、図２（ａ）ではｅ＜ｄ（又はｂ）＜ａなる関
係が成り立つとき、出力端子２０７に０が出力され、そ
れ以外のときには１が出力されることになる。従って、
高輝度レベルのしきい値をａに設定し、低輝度レベルを
ｅに設定することで出力端子２０７に輝度レベルに関す
る特徴を抽出することが出来る。この例は高輝度、低輝
度を同時に検出する構成であるが、演算の簡略化のため
どちらか一方のみを検出する構成にしても良い。

【００２０】図２（ｂ）において２０２はブロック分割
手段１において単位ブロックに分割されたデータが入力
される入力端子、２０８は高域通過フィルタ（ＨＰＦ）
であり単位ブロックの高周波成分を検出する。２０９は
しきい値入力端子であり比較演算器２１０においてＨＰ
Ｆ２０８の出力としきい値とが比較される。即ち、 ｊ＞ｋ：ｌ＝１、ｊ＜ｋ：ｌ＝０ の演算が比較演算器２１０で行なわれ、出力端子２１１
に結果が出力される。従って、高周波成分が検出された
場合には、出力端子２１１には１が出力され、それ以外
では０が出力される。

【００２１】図２（ｃ）は図２（ｂ）の改良版であり、
比較演算器２１０の出力は加算演算器２１２に入力さ
れ、加算演算器２１２では、 ｒ＝ｐ＋ｑ（但しｑは遅延手段２１３により１単位時間
遅延したｒの値） なる演算が行なわれ、１マクロブロックのうち輝度４ブ
ロック分の演算結果が比較演算器２１５へ出力される。
比較演算器２１５では入力端子２１４に入力されたしき
い値と加算演算器２１２の出力との比較を１マクロブロ
ックに１回行なう。即ち、 ｓ＞ｔ：ｕ＝１、ｓ＜ｔ：ｕ＝０ なる演算が行なわれる。これはマクロブロック毎に高周
波成分の存在する割合を検出して、しきい値以上であれ
ば高周波成分の多いマクロブロックとなり出力端子２１
６に１が出力され、それ以外であれば高周波成分の少な
いマクロブロックとなり出力端子２１６には１が出力さ
れる。

【００２２】このように特徴抽出手段３で輝度レベル域
は高周波成分を検出して、その結果高輝度、又は低輝度
あるいは高周波（輪郭部分を含む）領域であるなど人間
の視覚特性からは色成分を識別しにくい部分であると判
定したときに、１マクロブロックの演算過程で色成分の
演算を省略するように第１〜第４の判定手段５、８、１
１、１４ではＤＣＴ演算を行なわないａ端側にスイッチ
操作が行なわれる。以上の説明では輝度レベルの検出と
周波数の検出を別々に行なっているが、より符号量を削
減するために両者を組み合わせて特徴抽出しても効果を
上げられる。

【００２３】次に、本発明の第二実施例について説明す
る。図３は本発明の第二実施例の画像符号化装置のブロ
ック図、図４は同画像符号化装置におけるＤＣＴ演算に
よる演算データの順序および結果を示すブロック図であ
る。図３において第一実施例と同等の機能を有する要素
には同一の符号を用いて説明は省略する。特徴抽出手段
３０はＤＣＴ変換部６の出力から周波数成分を検出し
て、高周波成分が任意のレベル以上の時に第一実施例と
同様に後段の色成分に関する処理を省略するように制御
信号を出力する。これは図４（ｂ）に示すように、直交
変換後に得られるデータは全て周波数成分を示してお
り、本発明で検出している高周波成分は図の右下に集中
することを利用している。

【００２４】また、データの処理は図４（ａ）のマクロ
ブロック構成に示すように輝度データ（Ｙ１〜Ｙ４）を
処理した後に、色データ（Ｕ５，Ｕ６）を処理する事か
ら輝度成分のＤＣＴ演算を行った後に、高周波成分を例
えば図２（Ｃ）に示すような演算を行う事で検出した
後、色データの直交変換、量子化演算を行うか否かを判
定する。但し図２（Ｃ）では高域通過フィルタ２０８が
設定されているが、本実施例ではＤＣＴ演算により既に
周波数成分は検出されているので新たに高域通過フィル
タを設定しなくともＤＣＴ変換部６の出力を比較演算器
２１０の入力ｍに直接入力すれば良い。

【００２５】また、図示はしていないが本実施例の特徴
抽出手段の構成に加えて第一実施例の輝度レベル検出手
段（例えば図２（ａ））を同時に動作させる構成にした
場合でも効果を上げることは言うまでもない。

【００２６】

【発明の効果】以上説明したように本発明の画像符号化
装置によれば、色成分の値に零を挿入して演算を省略し
て後段の演算時間を短縮すると共に、零を挿入した分の
符号量を削減することができる。

【図面の簡単な説明】

【図１】本発明の第一実施例の画像符号化装置のブロッ
ク図

【図２】本発明の第一実施例の画像符号化装置の特徴抽
出手段のブロック図

【図３】本発明の第二実施例の画像符号化装置のブロッ
ク図

【図４】本発明の第二実施例の画像符号化装置における
ＤＣＴ演算による演算データの順序および結果を示すブ
ロック図

【図５】従来の画像圧縮装置のブロック図

【符号の説明】

１ ブロック分割手段 ３ 特徴抽出手段 ５ 第１の判定手段 ６ ＤＣＴ変換部 ７ 量子化部 ８ 第２の判定手段 ９ 零入力用の端子 １１ 第３の判定手段 １２ 逆量子化部 １３ 逆ＤＣＴ変換部 １４ 第４の判定手段 １６ フレームメモリ １７ 動きベクトル １８ 動き検出器 １９ 可変長符号化部

Claims (5)

【特許請求の範囲】
1. 【請求項１】任意の整数に対して入力画像をこの整数に
   対応する数の小ブロックに連続的に分割するブロック分
   割手段と、このブロック分割手段により得られた各小ブ
   ロック毎に画像の特徴を抽出する特徴抽出手段と、この
   特徴抽出手段により抽出された結果より演算を行うか否
   かを判定する判定手段とを備えていることを特徴とする
   画像符号化装置。
2. 【請求項２】前記特徴抽出手段が、輝度レベル検出手段
   と輪郭検出手段のうちの少なくとも何れか一方で構成さ
   れていることを特徴とする請求項１記載の画像符号化装
   置。
3. 【請求項３】前記特徴抽出手段により前記特徴が抽出さ
   れた場合に、前記特徴が抽出された前記ブロックに対し
   て輝度成分のみの直交変換を行い、色成分の直交変換は
   行わず色データを零にすることを特徴とする請求項１記
   載の画像符号化装置。
4. 【請求項４】前記判定手段が、高輝度レベルと低輝度レ
   ベルと高周波領域のうちの少なくとも１つの特徴に対し
   て判定を行うことを特徴とする請求項１記載の画像符号
   化装置。
5. 【請求項５】前記特徴抽出手段のうち、高周波領域の検
   出を輝度成分の直交変換後に得られる直交変換係数を用
   いて行うことを特徴とする請求項４記載の画像符号化装
   置。