JP3653799B2 - 画像符号化装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、静止画及び動画像の圧縮、特に離散コサイン変換を行って符号化を行う画像符号化装置に関するものである。
【０００２】
【従来の技術】
近年、画像圧縮を行う際にイメージデータの１フレームを複数のブロックに分割して、各ブロック毎にＤＣＴ（離散コサイン変換）等の処理を行う技術が開発されてきている。以下、従来の画像圧縮装置について説明する。
【０００３】
図５は、従来の画像圧縮装置のブロック図であって、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像圧縮方式の一構成例を示している。ＭＰＥＧで標準化されている画像の高能率符号化は、動画の性質を利用した時間軸方向の冗長度の削減と周波数領域での画像の性質を利用した空間軸方向の冗長度の削減手法を組み合わせた技術である。ＭＰＥＧで行われる演算は８×８画素の領域で構成されるブロックを基本ブロックとしている。
【０００４】
図５において１は入力信号やデータを符号化するための演算を行う単位ブロック（ＭＰＥＧでは８×８画素の単位ブロック）に分割するブロック分割手段であり、入力される輝度信号、色差信号を各々８×８のブロックに分割する。２は符号化しようとしている入力画像と時間的に先に入力された画像より作られた予測画像との差分信号を得るための減算器であり、連続シーンでの動画像が一般的には注目フレームの前後で似ているという特徴を利用して、フレーム間の異なった成分、いわゆる予測誤差成分だけを符号化して時間的冗長度を削減する。６は減算器２より得られた差分信号やデータに対して直交変換、ここでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行うＤＣＴ変換部であり、８×８の単位ブロックに対して輝度、色の各々に２次元のＤＣＴを行い周波数空間への変換を行っている。７はＤＣＴ変換部６で得れたＤＣＴ係数に対して任意の係数を用いて除算を行い符号量を削減する量子化部である。
【０００５】
一般に風景画等の自然画は低周波成分を多く含んでいるためＤＣＴ変換を行った場合その変換係数は低次の項に集中し、高次の項はパワーが小さい事を利用して、高次の項を量子化により切り捨てることで空間的冗長度を削減している。１９は量子化部７より得られる係数に対してハフマン符号等で知られる可変長の符号化を行い符号量の削減を行う可変長符号化部であり、図示はしていないがジグザグスキャンされた量子化後の係数とその他の符号化情報、ヘッダ情報などを伝送データとして不図示の送信用バッファに送り出す。
【０００６】
１２は量子化部７で用いた量子化係数を乗算することで局部的にＤＣＴ係数を復号する逆量子化部、１３はＤＣＴ変換部６のＤＣＴとは逆の演算を行うことで差分信号やデータを復号する逆ＤＣＴ変換部、１５は逆ＤＣＴ変換部１３で得られた差分信号やデータに減算器２で減算される予測信号やデータを加算することで予測画像信号やデータを得る加算器、１６は加算器１５で得られた予測画像信号やデータの一時蓄積を行うフレームメモリであり、動き検出器１８から与えられる動きベクトルを利用して動き補償を行い、減算器２で使われる予測画像を生成する。動き検出器１８は入力信号やデータより動き量を検出し、動き補償のための動きベクトル１７をフレームメモリ１６に対して出力する。以上のような構成でＭＰＥＧでの高能率符号化は実現されている。
【０００７】
【発明が解決しようとする課題】
ところが、上記構成においては各ブロック毎に輝度成分、色成分のＤＣＴを行うため演算量が多く、またＤＣＴ後の高次の項のパワーが大きい場合、量子化を行っても非零係数を削減することが出来ず、伝送時の符号量を更に削減したい場合に効果的な手法がなく圧縮効率を高めることができないという問題点があった。
【０００８】
そこで本発明は、圧縮効率を高めて符号量の削減を演算時間の短縮を図れる画像符号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
このために本発明は、任意の整数に対して入力画像をこの整数に対応する数の小ブロックに連続的に分割するブロック分割手段と、このブロック分割手段により得られた各小ブロック毎に画像の特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された結果より演算を行うか否かを判定する判定手段とから画像符号化装置を構成した。
【００１０】
また好ましくは、上記特徴抽出手段を、輝度レベル検出手段と輪郭検出手段のうちの少なくとも何れか一方で構成した。
【００１１】
また好ましくは、上記特徴抽出手段により上記特徴が抽出された場合に、上記特徴が抽出された上記ブロックに対して輝度成分のみの直交変換を行い、色成分の直交変換は行わず色データを零にするようにした。
【００１２】
また好ましくは、上記判定手段が、高輝度レベルと低輝度レベルと高周波領域のうちの少なくとも１つの特徴に対して判定を行うようにした。
【００１３】
また好ましくは、上記特徴抽出手段のうち、高周波領域の検出を輝度成分の直交変換後に得られる直交変換係数を用いて行うようにした。
【００１４】
【作用】
上記構成によれば、人間の目が低輝度部や極高輝度部、更には高周波成分の多い領域では色成分を識別しにくいことを利用して、これらの状況が発生したとき色成分に関する演算特にＤＣＴ演算を省略し、色データを零に固定することで圧縮効率を高めると共に圧縮作業の時間短縮を図ることができ、これにより圧縮符号量の削減とリアルタイム性を実現する。
【００１５】
【実施例】
以下、本発明の実施例を図面を参照して説明する。図１は本発明の第一実施例の画像符号化装置のブロック図である。図１において１は入力画像データを順次８×８の単位ブロックに分割するブロック分割手段、２はブロック分割手段１から出力される単位ブロックと時間的に１フレーム前の時間に符号化された画像から予測された予測画像との差分データを得るための減算器、３は画像の特徴を検出して後の色成分のＤＣＴ演算を行うか否かの判定基準データを出力する特徴検出手段である。５は第１の判定手段、８は第２の判定手段、１１は第３の判定手段、１４は第４の判定手段であって、特徴抽出手段３から出力される判定基準データを基にＤＣＴ演算あるいは逆ＤＣＴ演算を行うか否かのスイッチ操作を行う判定手段であり、それぞれ固定端子であるａ端、ｂ端と、可変端子であるｃ端を有している。即ち特徴抽出手段３により後述する画像の特徴が抽出された場合には、第１の判定手段５と第２の判定手段８ではＤＣＴ、量子化が行なわれない側のａ端にｃ端が接続される。但し、第２の判定手段８は色成分の演算を行わなかったときに色データとして零を次段のブロックに送るために、零入力用の端子９より零データが入力される。
【００１６】
６は８×８のＤＣＴ演算を行なうＤＣＴ変換部であり、７はＤＣＴ変換部６からのＤＣＴ係数に対して任意の量子化係数で量子化を行なう量子化部である。第２の判定手段８の出力は不図示のジグザグスキャンを経てハフマン符号による可変長符号化部１９へ接続されると同時に予測画像を生成するための局部復号部２０へ接続される。
【００１７】
局部復号部２０では、まず量子化時に用いた量子化係数を用いて逆量子化を行ない周波数成分を表すＤＣＴ係数を復元した後、ＤＣＴ演算と逆の演算を行なうことによって周波数空間から実空間への係数変換を行ない、差分信号を復元する。このとき特徴抽出手段３により後述する画像の特徴が抽出された場合、第３の判定手段１１と第４の判定手段１４では逆量子化、逆ＤＣＴが行なわれない側のａ端にｃ端が接続される。但し、第４の判定手段１４は色成分の演算を行わなかったときに色データとして零を次段のブロックに送るために零入力用の端子９より零データが入力される。１２は量子化部７で用いた量子化係数と同じ係数を入力データに対して乗算することで量子化前のＤＣＴ係数を求める逆量子化部、１３はＤＣＴ変換部６とは逆の演算を行なうことで逆量子化部１２の出力係数からＤＣＴ演算を行なう前の差分信号を復元する逆ＤＣＴ変換部である。
【００１８】
逆ＤＣＴ後の復元差分信号又は零データのどちらかが第４の判定手段１４により選択され、加算器１５において先に予測された画像と加算が行なわれ、新しい予測画像としてフレームメモリ１６に蓄積される。フレームメモリ１６内では、動き検出器１８によって検出された動きベクトル１７を使って動き補償を行ない、予測画像データとして出力する。
【００１９】
次に、特徴抽出手段３について詳しく説明する。図２は本発明の第一実施例の画像符号化装置の特徴抽出手段のブロック図であって、（ａ）は輝度レベルを検出する特徴抽出手段、（ｂ）および（ｃ）は高周波領域を検出する特徴抽出手段である。図２は（ａ）において２０１、２０３は輝度レベルのしきい値入力端子、２０２は図１のブロック分割手段１において単位ブロックに分割されたデータが入力される入力端子である。演算器２０４は、
ｂ＞ａ：ｃ＝１、ｂ＜ａ：ｃ＝０
の比較演算を行ない、演算器２０５は、
ｄ＞ｅ：ｆ＝１、ｄ＞ｅ：ｆ＝０
なる比較演算を行なう。但し、ａ＞ｅである。さらに演算器２０６では、
ｉ＝ｇ＋ｈ
なる理論和演算を行ない出力端子２０７に演算結果を導く。即ち、図２（ａ）ではｅ＜ｄ（又はｂ）＜ａなる関係が成り立つとき、出力端子２０７に０が出力され、それ以外のときには１が出力されることになる。従って、高輝度レベルのしきい値をａに設定し、低輝度レベルをｅに設定することで出力端子２０７に輝度レベルに関する特徴を抽出することが出来る。この例は高輝度、低輝度を同時に検出する構成であるが、演算の簡略化のためどちらか一方のみを検出する構成にしても良い。
【００２０】
図２（ｂ）において２０２はブロック分割手段１において単位ブロックに分割されたデータが入力される入力端子、２０８は高域通過フィルタ（ＨＰＦ）であり単位ブロックの高周波成分を検出する。２０９はしきい値入力端子であり比較演算器２１０においてＨＰＦ２０８の出力としきい値とが比較される。即ち、
ｊ＞ｋ：ｌ＝１、ｊ＜ｋ：ｌ＝０
の演算が比較演算器２１０で行なわれ、出力端子２１１に結果が出力される。従って、高周波成分が検出された場合には、出力端子２１１には１が出力され、それ以外では０が出力される。
【００２１】
図２（ｃ）は図２（ｂ）の改良版であり、比較演算器２１０の出力は加算演算器２１２に入力され、加算演算器２１２では、
ｒ＝ｐ＋ｑ（但しｑは遅延手段２１３により１単位時間遅延したｒの値）
なる演算が行なわれ、１マクロブロックのうち輝度４ブロック分の演算結果が比較演算器２１５へ出力される。比較演算器２１５では入力端子２１４に入力されたしきい値と加算演算器２１２の出力との比較を１マクロブロックに１回行なう。即ち、
ｓ＞ｔ：ｕ＝１、ｓ＜ｔ：ｕ＝０
なる演算が行なわれる。これはマクロブロック毎に高周波成分の存在する割合を検出して、しきい値以上であれば高周波成分の多いマクロブロックとなり出力端子２１６に１が出力され、それ以外であれば高周波成分の少ないマクロブロックとなり出力端子２１６には１が出力される。
【００２２】
このように特徴抽出手段３で輝度レベル域は高周波成分を検出して、その結果高輝度、又は低輝度あるいは高周波（輪郭部分を含む）領域であるなど人間の視覚特性からは色成分を識別しにくい部分であると判定したときに、１マクロブロックの演算過程で色成分の演算を省略するように第１〜第４の判定手段５、８、１１、１４ではＤＣＴ演算を行なわないａ端側にスイッチ操作が行なわれる。以上の説明では輝度レベルの検出と周波数の検出を別々に行なっているが、より符号量を削減するために両者を組み合わせて特徴抽出しても効果を上げられる。
【００２３】
次に、本発明の第二実施例について説明する。図３は本発明の第二実施例の画像符号化装置のブロック図、図４は同画像符号化装置におけるＤＣＴ演算による演算データの順序および結果を示すブロック図である。図３において第一実施例と同等の機能を有する要素には同一の符号を用いて説明は省略する。特徴抽出手段３０はＤＣＴ変換部６の出力から周波数成分を検出して、高周波成分が任意のレベル以上の時に第一実施例と同様に後段の色成分に関する処理を省略するように制御信号を出力する。これは図４（ｂ）に示すように、直交変換後に得られるデータは全て周波数成分を示しており、本発明で検出している高周波成分は図の右下に集中することを利用している。
【００２４】
また、データの処理は図４（ａ）のマクロブロック構成に示すように輝度データ（Ｙ１〜Ｙ４）を処理した後に、色データ（Ｕ５，Ｕ６）を処理する事から輝度成分のＤＣＴ演算を行った後に、高周波成分を例えば図２（Ｃ）に示すような演算を行う事で検出した後、色データの直交変換、量子化演算を行うか否かを判定する。但し図２（Ｃ）では高域通過フィルタ２０８が設定されているが、本実施例ではＤＣＴ演算により既に周波数成分は検出されているので新たに高域通過フィルタを設定しなくともＤＣＴ変換部６の出力を比較演算器２１０の入力ｍに直接入力すれば良い。
【００２５】
また、図示はしていないが本実施例の特徴抽出手段の構成に加えて第一実施例の輝度レベル検出手段（例えば図２（ａ））を同時に動作させる構成にした場合でも効果を上げることは言うまでもない。
【００２６】
【発明の効果】
以上説明したように本発明の画像符号化装置によれば、色成分の値に零を挿入して演算を省略して後段の演算時間を短縮すると共に、零を挿入した分の符号量を削減することができる。
【図面の簡単な説明】
【図１】本発明の第一実施例の画像符号化装置のブロック図
【図２】本発明の第一実施例の画像符号化装置の特徴抽出手段のブロック図
【図３】本発明の第二実施例の画像符号化装置のブロック図
【図４】本発明の第二実施例の画像符号化装置におけるＤＣＴ演算による演算データの順序および結果を示すブロック図
【図５】従来の画像圧縮装置のブロック図
【符号の説明】
１ ブロック分割手段
３ 特徴抽出手段
５ 第１の判定手段
６ ＤＣＴ変換部
７ 量子化部
８ 第２の判定手段
９ 零入力用の端子
１１ 第３の判定手段
１２ 逆量子化部
１３ 逆ＤＣＴ変換部
１４ 第４の判定手段
１６ フレームメモリ
１７ 動きベクトル
１８ 動き検出器
１９ 可変長符号化部

Claims (3)

1. 入力画像を順次任意の整数に対応する数の小ブロックに連続的に分割するブロック分割手段と、前記小ブロックと時間的に１フレーム前の時間に符号化された画像から予測された予測画像との差分を得るための減算器と、前記ブロック分割手段から得られた各小ブロック毎に画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段から抽出された結果により演算を行うか否かを判定する判定手段と、前記小ブロックのＤＣＴ演算を行なうＤＣＴ変換部と、前記ＤＣＴ変換部のＤＣＴ係数に対して量子化係数により量子化を行なう量子化部と、ハフマン符号による可変長符号化部と、前記量子化係数を乗算して量子化前のＤＣＴ係数を求める逆量子化部と、前記ＤＣＴ変換部と逆の演算を行いＤＣＴ演算前の差分信号を復元する逆ＤＣＴ変換部と、新たに予測画像として蓄積するフレームメモリとを有する画像符号化装置であって、
   前記特徴抽出手段は、高輝度しきい値と低輝度しきい値とを設け前記高輝度しきい値よりも大きな高輝度と前記低輝度しきい値よりも小さな低輝度とを抽出する輝度抽出手段を有し、
   前記判定手段は、前記輝度抽出手段の抽出結果に基づいて色データを零にして前記可変長符号化部と前記逆量子化部とに供給することを特徴とする画像符号化装置。
2. 前記特徴抽出手段は、さらに、周波数しきい値を設け、前記周波数しきい値よりも高周波成分を検出する高周波検出手段を有し、
   前記判定手段は、前記輝度抽出手段の抽出結果または前記高周波検出手段の検出結果に基づいて色データを零にして前記可変長符号化部と前記逆量子化部とに供給することを特徴とする画像符号化装置。
3. 前記特徴抽出手段は、前記ブロック分割手段に換えて前記ＤＣＴ変換部の出力から特徴を抽出することを特徴とする請求項１または請求項２に記載の画像符号化装置。

Images