JP2760711B2 - 画像符号化装置及び画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は入力された画像信号を符
号化することにより、画像に含まれる情報量を削減する
画像符号化装置、及び符号化された画像情報を復号化し
てもとの画像情報を得る画像復号化装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮの普及により、新しい通
信サービスとして画像通信サービスに対する要求が高ま
っており、テレビ電話、テレビ会議システムへの期待が
大きい。

【０００３】一般に、テレビ電話、テレビ会議システム
のように画像情報を伝送する場合に於いては、画像の情
報量が膨大なのに対して、伝送に用いる回線の回線速度
やコストの点から、伝送する画像の情報量を圧縮符号化
し情報量を少なくして伝送する事が必要となってくる。

【０００４】圧縮するための符号化方式の検討はいろい
ろ行われており、一部ではテレビ電話、テレビ会議シス
テム等で実用化されつつある。また、さらに高度なサー
ビスの提供を目指し、広帯域ＩＳＤＮに代表される新た
な通信ネットワークの検討も活発に行われている。

【０００５】実用化されつつある画像の高能率符号化方
式として、動き補償フレーム間予測直交変換符号化方式
がある。これは、画像を複数個のサンプルからなる小ブ
ロックに分割して、その各小ブロックの画像信号に対し
て、あるいは各小ブロックにおける各種予測誤差信号に
対して離散的コサイン変換等の直交変換を施し、その変
換係数を量子化し、非零係数とそれに続く零係数の長さ
との組にし、その組に対してエントロピー符号化を行い
符号化伝送するものである。

【０００６】図４にその方式を用いた従来の符号化装置
の概略ブロック図、図５に従来の復号化装置の概略ブロ
ック図を示す。

【０００７】まず符号化装置について説明する。

【０００８】符号化装置は、動き補償フレーム間予測部
４１２、該動き補償フレーム間予測部４１２に接続する
フレームメモリ部４１１、該フレームメモリ部４１１に
接続するとともに入力画像信号が入力される減算部４０
２、該減算部４０２に（切り替え手段を介して）接続す
る直交変換部４０３、該直交変換部４０３に接続する量
子化部４０６、該量子化部４０６に接続する２次元符号
化部４０５、該２次元符号化部４０５に接続するエント
ロピー符号化部４１３、及び符号化制御部４０１を備え
る。

【０００９】入力画像信号は画像フレーム毎に動き補償
フレーム間予測部４１２によって動き補償フレーム間予
測される。

【００１０】動き補償に於ける動きの検出は、フレーム
メモリ部４１１に記憶された１フレーム前の画像信号と
入力画像信号とを、１６画素×１６画素の大きさのブロ
ックに分割して、入力画像信号のブロックが１フレーム
前の画像信号のどの部分から動いてきたものかを検出す
るものである。

【００１１】動き補償フレーム間予測部４１２はこの動
きの検出を行い、動き補償値を外部に出力するととも
に、動きの検出結果を利用して、フレームメモリ部４１
１に格納された１フレーム前に符号化された画像フレー
ムを予測値として読み出す。

【００１２】減算部４０２に於いては入力画像フレーム
とフレームメモリ部４１１から読みだした予測値との差
を求めることによってフレーム間予測符号化を行う。

【００１３】続いて減算部４０２から出力される予測誤
差信号は８画素×８画素のブロック単位に直交変換部４
０３に送られ、直交変換演算が施される。

【００１４】直交変換部４０３からは直交変換された６
４個の直交変換係数が出力され、ついで、６４個の直交
変換係数の各々は量子化部４０６で符号化制御部４０１
から送られてくる量子化レベルで除算することにより量
子化される。

【００１５】量子化された６４個の係数は２次元符号化
部４０５で非零係数とそれに続く零係数の個数とからな
る２次元符号に符号化され、それらの２次元符号につい
てエントロピー符号化部４１３に於いて可変長符号化さ
れ、符号化出力として外部に出力される。

【００１６】また、画像符号化装置は、量子化部４０６
の出力に接続する逆量子化部４０７と、該逆量子化部４
０７に接続する逆直交変換部４０９と、該逆直交変換部
４０９に接続する加算部４１０とを備えている。

【００１７】量子化部４０６からの６４個の量子化出力
は、逆量子化部４０７へ送られる。

【００１８】逆量子化部４０７では量子化部とは逆の処
理（乗算）が行われて、直交変換係数が出力され、逆直
交変換部４０９に於いて逆直交変換演算が行われ、予測
誤差信号が出力される。

【００１９】これら一連の演算処理も動き補償における
動き検出同様演算を効率的に行うために、画像をある大
きさのブロックに分割して行われる。

【００２０】逆直交変換部４０９の出力は加算部４１０
に於いてフレームメモリ部４１１から読み出された予測
値と加算された後、フレームメモリ部４１１に格納さ
れ、次の入力画像フレームのフレーム間予測に使われ
る。

【００２１】入力画像信号は、この様にループ状の構成
（符号化ループ）に従って符号化される。

【００２２】一方、復号化装置は、符号化装置からの符
号化信号が供給されるエントロピー復号化部５０１、該
エントロピー復号化部５０１に接続する２次元復号化部
５０３、該２次元復号化部５０３に接続する逆量子化部
５０２、該逆量子化部５０２に接続する逆直交変換部５
０４、フレーム間予測部５０７、該フレーム間予測部５
０７に接続するフレームメモリ部５０６、及びフレーム
メモリ部５０６と逆直交変換部５０４とに接続する加算
部５０５からなる。

【００２３】復号化装置では、入力符号化信号は、エン
トロピー復号化部５０１に於いて可変長符号を復号し２
次元符号化された符号を得る。非零係数とそれに続く零
係数の個数とからなる２次元符号化された符号は２次元
復号化部５０３に於いて６４個の量子化係数に復号化さ
れ、続いて符号化装置に於ける符号化ループ内での処理
と同様に逆量子化部５０２へ送られる。逆量子化部で
は、量子化ステップに基づき量子化部とは逆の処理が行
われて、直交変換係数が逆直交変換部５０４へ出力され
る。逆直交変換部５０４に於いて逆直交変換演算が行わ
れる。逆直交変換部５０４の出力は加算部５０５に於い
てフレーム間予測部５０７よりの予測動き値にしたがっ
てフレームメモリ部５０６から読み出された予測値と加
算された後、出力信号として出力されると共にフレーム
メモリ部５０６に格納される。

【００２４】

【発明が解決しようとする課題】従来の画像符号化装置
では、８画素×８画素のブロック単位の予測誤差信号デ
ータに直交変換演算を施し、得られた６４個の変換係数
についてそれぞれ所定の量子化レベルで量子化するた
め、６４回の除算が必要となる。これを符号化する画面
全部に行うため数多くの除算が必要となり、かつ除算は
処理時間を費やす演算であるため、符号化処理に多大な
時間を費やす結果となってしまう。

【００２５】加えて、逆量子化に於いても量子化された
６４個の量子化係数についてそれぞれ逆量子化を行うた
め量子化係数の値に係わらず６４回の乗算を行うか、あ
るいは量子化係数が零であるか否かを判定しながら零で
ない係数について乗算を行わなければならない。したが
って、量子化と併せて多大な符号化処理時間を費やして
しまう結果となる。

【００２６】また、従来の画像復号化装置では、画像符
号化装置の逆量子化処理と同様、量子化係数の値に係わ
らず６４回の乗算を行うか、あるいは量子化係数が零で
あるか否かを判定しながら零でない係数について乗算を
行わなければならず、多大な復号化処理時間を費やして
しまう結果となる。

【００２７】本発明の目的は、以上の課題を解決するた
めに、除算回数を削減した量子化・２次元符号化処理及
び乗算係数を削減した逆量子化・２次元復号化処理によ
り符号化処理時間を短縮した画像符号化装置、並びに乗
算回数を削減した逆量子化・２次元復号化処理により復
号化処理時間を短縮した画像復号化装置を提供すること
である。

【００２８】

【課題を解決するための手段】上記目的を解決するため
に本発明は、入力された画像信号とフレームメモリ手段
に記憶された画像信号からフレーム毎に画像信号を予測
符号化し予測誤差信号を直交変換する直交変換手段と、
直交変換手段によって直交変換された変換係数をある設
定レベルで閾値処理する閾値処理手段と、閾値処理手段
によってある設定レベルで閾値処理された変換係数を、
零でない係数と連続する零係数の長さとに符号化する２
次元符号化手段と、２次元符号化された２次元符号化係
数列の非零係数を量子化する量子化手段と、量子化手段
により量子化された量子化係数列をエントロピー符号化
し、符号化フォーマットにまとめるマルチプレクス手段
とを備え、量子化に於ける除算回数を削減したことを特
徴とする画像符号化装置である。

【００２９】また、本発明は符号化フォーマットからデ
ータをエントロピー復号化し量子化された量子化係数列
を分離するデマルチプレクス手段と、デマルチプレクス
手段によって分離された量子化係数列を逆量子化し２次
元符号化係数列を求める逆量子化手段と、逆量子化手段
によって逆量子化された２次元符号化係数列を変換係数
列に戻す２次元復号化手段と、変換係数列を逆直交変換
して予測誤差信号を得るための逆直交変換手段と、逆直
交変換手段から出力される予測誤差信号から画像信号を
得るために前の画像信号を記憶しておくフレームメモリ
手段とを備え、逆量子化に於ける乗算回数を削減したこ
とを特徴とする画像復号化装置である。

【００３０】

【作用】本発明に係わる画像符号化装置では、入力され
た画像信号とフレームメモリに記憶された画像信号から
フレーム毎に画像信号を予測符号化しその予測誤差信号
を直交変換する。直交変換された変換係数を最初に量子
化レベルで閾値処理し量子化レベル未満の係数は零にす
る。閾値処理された変換係数を、零でない係数と連続す
る零係数の長さとに符号化し、非零係数のみを除算する
事により量子化を実行する。量子化された量子化係数列
をエントロピー符号化する。

【００３１】また、本発明に係わる画像復号化装置で
は、エントロピー復号化した２次元符号化係数列の非零
係数のみを乗算により逆量子化し、２次元復号化によっ
て変換係数列を求める。続いて変換係数列を逆直交変換
して予測誤差信号を求め、フレームメモリに記憶されて
いる前の画面データと加える事により画像信号を復号す
る。

【００３２】

【実施例】以下に本発明の一実施例を説明する。

【００３３】図１に本発明に係わる画像符号化装置の一
実施例の概略ブロック図を示す。

【００３４】画像符号化装置は、１フレーム前の画像信
号を記憶するフレームメモリ部１１１と、該フレームメ
モリ部１１１と接続するとともに、入力画像信号が供給
され、画像フレーム毎に動き補償フレーム間予測を行う
動き補償フレーム間予測部１１２とを備えている。

【００３５】動き補償フレーム間予測部１１２は入力画
像信号のブロックが１フレーム前の画像信号のどの部分
から動いてきたものかを検出し、動き補償値を外部に出
力するとともに、動きの検出結果を利用して、フレーム
メモリ部１１１に格納された１フレーム前に符号化され
た画像フレームを予測値として読み出する。フレームメ
モリ部１１１からの出力は、予測誤差信号を生成するた
めの減算部１０２に供給されている。減算部１０２には
同様に入力画像信号が供給されており、フレームメモリ
部１１１からの予測値と入力画像信号とを減算し、予測
誤差信号として８×８画素のブロック単位ごとに出力す
る。減算部１０２の出力は、入力信号に対して直交変換
演算を行い直交変換係数を出力する直交変換部１０３に
（切り替え手段を介して）供給されている。切り替え手
段は、入力画像信号が一番始めのフレームのとき、入力
画像信号が直交変換部１０３に直接供給されるように符
号化制御部１０１によって制御されている。また直交変
換部１０３の出力は、入力信号を所定のレベルで閥値処
理する閥値制御部１０４に供給されている。閥値制御部
１０４からの出力は、入力信号を非零係数とそれに続く
零係数の個数とからなる２次元符号に符号化するための
２次元符号化部１０５に供給されている。２次元符号化
部１０５の出力は符号化制御部１０１からの量子化レベ
ルで入力信号の量子化を行う量子化部１０６に供給さ
れ、また量子化部１０６の出力は量子化された２次元符
号を可変長符号化するエントロピー符号化部１１３に供
給されている。エントロピー符号化部１１３からの出力
は符号化出力信号として外部に出力される。

【００３６】また、量子化部１０６の出力は、量子化さ
れた入力信号を符号化制御部１０１からの量子化レベル
に基づき逆量子化する逆量子化部１０７に供給されてい
る。逆量子化部１０７の出力は、入力された２次元符号
を復号化する２次元復号化部１０８に供給されている。
２次元復号化部１０８の出力は、入力信号に対して逆直
交変換を行う逆直交変換部１０９に供給されている。逆
直交変換部１０９の出力は、加算部１１０に供給されて
いる。該加算部１１０には同様にフレームメモリ部１１
１からの出力が（切り替え手段を介して）供給されてお
り、これら２つの入力を加算する。加算部１１０の出力
はフレームメモリ部１１１に供給されている。切り替え
手段は、入力画像信号が一番始めのフレームのとき、加
算部１１０にフレームメモリ部１１１からの出力が入力
されないように、動き補償フレーム間予測部１１２によ
って制御されている。

【００３７】上記構成における動作を以下に説明する。

【００３８】入力信号は従来例と同様、動き検索された
データとの予測誤差信号が直交変換部１０３で変換され
た後、符号化制御部１０１からの量子化ステップの値で
閾値制御部１０４において閾値処理を行う。量子化ステ
ップより小さな値を持つ係数は量子化の際当然零となる
ので、この閾値制御部１０４において閾値処理する事に
より量子化ステップより小さな値を持つ係数を予め零と
する事ができる。

【００３９】閾値処理された係数列は２次元符号化部１
０５において２次元符号化される。２次元符号化の手順
を示す一例を第３図に示す。まず、８画素×８画素のブ
ロックに対応する６４個の直交変換係数は第３図（ａ）
に示すようにして数列化される。数列化は、左上隅の画
素に対応する直交変換係数から始めて１画素分右に進
み、ついで左斜め下方向に進み、端まできたら１画素分
下がって、ついで右斜め上方向に進み、端まできたら再
び１画素分右に進み、以下同様にして行う。この後、得
られた直交変換係数列を第３図（ｂ）に示すようにして
２次元符号化列に変換する。２次元符号化列への変換
は、直交変換係数列を零でない係数とその後に続く零係
数の連続長との組（２次元符号）の列に変換することに
より行われる。

【００４０】２次元符号化された係数列は量子化部１０
６において符号化制御部１０１からの量子化ステップで
量子化される。ここで量子化する係数は２次元符号化さ
れた係数のうち非零係数（各２次元符号の前の方の数
字）のみ処理を行えば良い。従って従来例では量子化の
ための除算処理を８画素×８画素のブロックデータに付
いて６４回行わなければならないが、本実施例に於いて
は量子化は非零係数のみであるので除算回数は減少す
る。一般に非零係数は数個になるので、除算回数は１０
分の１程度に削減される。

【００４１】量子化部１０６からの量子化出力は、エン
トロピー符号化部１１３にてエントロピー符号化され、
符号化フォーマットにまとめられる。

【００４２】また、量子化部１０６からの量子化出力は
逆量子化部１０７へ送られる。

【００４３】逆量子化部１０７では量子化部とは逆の処
理が行われて、非零係数のみ逆量子化され２次元符号化
された直交変換係数が出力される。本実施例に於いては
逆量子化は非零係数のみであるので乗算回数は減少す
る。一般に非零係数は数個になるので、乗算回数は１０
分の１程度に削減される。２次元復号化部１０８にて、
２次元符号化された直交変換係数が復号化され直交変換
係数が出力される。逆直交変換部１０９に於いて直交変
換係数に対して逆直交変換演算が行われ、予測誤差信号
が出力される。

【００４４】これら一連の演算処理も動き補償における
動き検出同様演算を効率的に行うために、画像をある大
きさのブロックに分割して行われる。

【００４５】逆直交変換部１０９の出力は加算部１１０
に於いてフレームメモリ部１１１から読み出された予測
値と加算された後、フレームメモリ部１１１に格納さ
れ、次の入力画像フレームのフレーム間予測に使われ
る。

【００４６】入力画像信号は、この様にループ状の構成
（符号化ループ）に従って符号化される。

【００４７】図２は本発明に係わる画像符号化装置の概
略ブロック図を示す図である。

【００４８】復号化装置は、符号装置からの可変長符号
化信号が供給され、該信号を２次元符号に変換するエン
トロピー復号化部２０１、該エントロピー復号化部２０
１に接続し、入力された２次元符号化信号を逆量子化す
る逆量子化部２０４、逆量子化された２次元符号化信号
を復号化し、直交変換係数を出力する２次元復号化部２
０３、該２次元復号化部２０３に接続し、直交変換係数
を逆直交変換し、予測誤差信号を出力する逆直交変換部
２０４、フレーム間予測部２０７、該フレーム間予測部
２０７に接続するフレームメモリ部２０６、及びフレー
ムメモリ部２０６と逆直交変換部２０４とに接続する加
算部２０５からなる。

【００４９】復号化装置では、入力符号化信号は、エン
トロピー復号化部５０１に於いて可変長符号を復号し非
零係数とそれに続く零係数の個数とからなる２次元符号
化された符号を得る。ついで逆量子化部２０２に於いて
非零係数のみ逆量子化され、その後２次元復号化部２０
３に於いて逆直交変換すべき係数列に変換する。従って
従来例では逆量子化のための乗算処理を８画素×８画素
のブロックデータに付いて６４回行わなければならない
が、本実施例に於いては非零係数のみの逆量子化である
ので乗算回数は減少する。前述した画像符号化装置の場
合と同様、一般に非零係数は数個になるので、乗算回数
は１０分の１程度に削減される。２次元復号化部２０３
からは、直交変換係数が逆直交変換部５０４へ出力され
る。逆直交変換部２０４に於いて逆直交変換演算が行わ
れ、予測誤差信号が出力される。逆直交変換部５０４の
出力は加算部５０５に於いて予測部２０７よりの予測動
き値にしたがってフレームメモリ部２０６から読み出さ
れた予測値と加算された後、出力信号として出力される
と共にフレームメモリ部２０６に格納される。

【００５０】

【発明の効果】以上説明してきたように、本発明の画像
符号化装置では、直交変換手段によって直交変換された
変換係数をある設定レベルで閾値処理する閾値処理手段
と、閾値処理手段によってある設定レベルで閾値処理さ
れた変換係数を、零でない係数と連続する零係数の長さ
とに符号化する２次元符号化手段と、２次元符号化され
た２次元符号化係数列の非零係数部分を量子化する量子
化手段とを設けることにより、量子化での除算回数及び
逆量子化での乗算回数を大幅に削減でき符号化処理の高
速化が図れる。

【００５１】また本発明の画像復号化装置では、デマル
チプレクス手段によって分離された量子化係数列を逆量
子化し２次元符号化係数列を求める逆量子化手段と、逆
量子化手段によって逆量子化された２次元符号化係数列
を変換係数列に戻す２次元復号化手段とを設けることに
より、逆量子化での乗算回数を大幅に削減でき復号処理
の高速化が図れる。

【００５２】このように本発明を用いることにより、画
像情報をより高速により効率よく処理することができ、
高度な画像情報システムを構築することができる。

【図面の簡単な説明】

【図１】本発明に係わる画像符号化装置の一実施例の概
略ブロック図である。

【図２】本発明に係わる画像復号化装置の一実施例の概
略ブロック図である。

【図３】２次元符号化の手順を示す図である。

【図４】従来の画像符号化装置の概略ブロック図であ
る。

【図５】従来の画像復号化装置の概略ブロック図であ
る。

【符号の説明】

１０１ 符号化制御部 １０２ 減算部 １０３ 直交変換部 １０４ 閥値制御部 １０５ ２次元符号化部 １０６ 量子化部 １０７ 逆量子化部 １０８ ２次元復号化部 １０９ 逆直交変換部 １１０ 加算部 １１１ フレームメモリ部 １１２ 動き補償フレーム間予測部 １１３ エントロピー符号化部 ２０１ エントロピー復号化部 ２０２ 逆量子化部 ２０３ ２次元復号化部 ２０４ 逆直交変換部 ２０５ 加算部 ２０６ フレームメモリ部 ２０７ フレーム間予測部

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 入力された画像信号を複数のブロックに
   分割し、各ブロックの画像データについて２次元直交変
   換符号化を行い画像データを圧縮する画像符号化装置に
   於いて、 入力された画像信号とフレームメモリ手段に記憶された
   画像信号からフレーム毎に画像信号を予測符号化し予測
   誤差信号を直交変換する直交変換手段と、 直交変換手段によって直交変換された変換係数をある設
   定レベルで閾値処理する閾値処理手段と、 閾値処理手段によってある設定レベルで閾値処理された
   変換係数を、零でない係数と連続する零係数の長さとに
   符号化する２次元符号化手段と、 ２次元符号化された２次元符号化係数列の非零係数を量
   子化する量子化手段と、 量子化手段により量子化された量子化係数列をエントロ
   ピー符号化し、符号化フォーマットにまとめるマルチプ
   レクス手段とを備え、 量子化に於ける除算回数を削減したことを特徴とする画
   像符号化装置。
2. 【請求項２】 請求項１に記載の画像符号化装置によっ
   て得られた符号化フォーマットからデータをエントロピ
   ー復号化し量子化された量子化係数列を分離するデマル
   チプレクス手段と、 デマルチプレクス手段によって分離された量子化係数列
   のうち非零係数のみを逆量子化し２次元符号化係数列を
   求める逆量子化手段と、 逆量子化手段によって逆量子化された２次元符号化係数
   列を変換係数列に戻す２次元復号化手段と、 変換係数列を逆直交変換して予測誤差信号を得るための
   逆直交変換手段と、 逆直交変換手段から出力される予測誤差信号から画像信
   号を得るために前の画像信号を記憶しておくフレームメ
   モリ手段とを備え、 逆量子化に於ける乗算回数を削減したことを特徴とする
   画像復号化装置。