JPH0818956A - 画像データ符号化方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠する画像
データ符号化装置において、ブロック歪みの目立たない
効率の良い符号化を実現する。 【構成】原画像を分割した８×８画素正方形ブロックご
とに、２次元ＤＣＴ変換過程Ｓ１でブロック内の６４個
の画素の階調値に２次元ＤＣＴ変換を施して、その変換
係数を量子化過程Ｓ２で量子化し、符号化過程Ｓ３で符
号化する場合に、一辺が４個の直流成分の変換係数を含
む正方形ブロック内の予め決められたｋ個（但しｋは１
以上１６以下の整数）の変換係数だけを選択して量子
化、符号化する、あるいは２次元直交変換して求めるよ
うにし、さらに、入力画像そのものを符号化処理するフ
レーム内モードと、フレーム直前の画像の復号化画像と
の差分を符号化処理するフレーム間モードを備え、マク
ロブロック毎に差分画像を求め、その時の直流成分の値
によって前記モードの切り替えを行うようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多値画像を２次元離散
コサイン変換（Discrete Cosine Transform、以下、略
してＤＣＴと称する）後、量子化、符号化するＣＣＩＴ
Ｔ（THE INTERNATIONAL TELEGRAPH AND TELEPHONE CONS
ULTATIVE COMMITTEE）勧告Ｈ．２６１に即した画像デー
タ符号化方法及びこの方法に基づく画像データ符号化装
置に係り、特に、限られた符号レート内で高品質な画像
を低コストかつ高速に蓄積、伝送するための技術に関す
る。

【０００２】

【従来の技術】周知のように、数値データや文字データ
と比べて情報量が桁違いに大きいカラー画像を低コスト
かつ高速に蓄積、伝送するためには、演算量を大幅に低
減しつつ高能率に符号化する必要がある。このため、Ｃ
ＣＩＴＴ勧告Ｈ．２６１には、「ＰＸ６４Ｋｂｉｔ／ｓ
オーディオビジュアル・サービス用ビデオ符号化方式」
と題され、６４Ｋｂｉｔ／ｓから２Ｍｂｉｔ／ｓまでの
動画像通信用の映像符号化標準が規定されている。具体
的な用途としては、テレビ電話、会議システム等が考え
られている。

【０００３】しかしながら、システムコストやランニン
グコスト等の問題で、この標準の普及は遅れており、６
４Ｋｂｉｔ／ｓのように符号レートが非常に制限されて
いる条件の下で、高品質な画像の符号化を、普及してい
る低コストのパーソナルコンピュータ等で実行できるシ
ステムの実現が望まれている。

【０００４】ところで、動画像通信用の映像符号化国際
標準としてのＣＣＩＴＴ勧告Ｈ．２６１は、直交変換の
一種である２次元の離散コサイン変換を用いた符号化方
法を規定したものである。この国際標準では、一般にＤ
ＣＴの演算量の負荷が大きいため、William B.Pennebak
er, Joan L.Mitchell 共著「ＪＰＥＧ−STILL IMAGEDAT
A COMPRESSION STANDARD −」（p.39-64 Van Nostrand
Reinhold 出版 1993）に見られるような各種の高速化Ｄ
ＣＴの方法が提案されている。

【０００５】２次元ＤＣＴ変換、逆ＤＣＴ変換の定義を
式（１），（２）に示すが、デジタル画像に対する２次
元ＤＣＴは１次元のＤＣＴを水平、垂直方向に分離して
実行可能である。

【０００６】

【数１】

【０００７】しかしながら、提案されているＤＣＴの高
速化手法を使用した場合でも、わずか８×８画素のブロ
ックのＤＣＴを実行には少なくとも４００回以上の乗
算、加減算が必要となる。このため、実際の応用製品、
装置には、ほとんどの場合、ＤＣＴ用のハードウェア、
ＬＳＩ化されたチップが使われることになり、このこと
がコスト増の要因になっている。

【０００８】またＤＣＴを使った符号化では、圧縮率を
上げて行くとＤＣＴの処理対象のブロック内の画素間の
相関が高まるため、階調変化の緩やかな領域でブロック
の境界が見えるブロック歪みと呼ばれる画質の劣化の発
生が知られている。

【０００９】もちろん、ＣＣＩＴＴ勧告Ｈ．２６１でも
グループ・オブ・ブロック（GroupOf Block、略してＧ
ＯＢ）またはマクロ・ブロック（Macro Block 、略して
ＭＢ）の量子化特性情報（量子化ステップサイズの半分
の値）を画像の領域の性質に従って削減する、即ち階調
変化の激しい領域には大きな値を設定し、ブロック歪み
が目につきやすい特に階調変化の緩やかな領域ではそれ
を避けるために量子化特性情報に小さな値を設定して低
周波成分を残すようにして画質の改善を図ることができ
る。

【００１０】しかしながら、このような方法をＣＩＴＴ
勧告Ｈ．２６１仕様として採用した場合、階調変化の程
度を調べるための演算と量子化特性情報の変更のために
５ビットの情報が必要であり、新たなオーバーヘッド負
荷となる。また、ブロックによって量子化係数が異なる
ため、背景画像のような階調変化がなめらかなところで
のブロック歪みが目立つ。したがって、特に６４Ｋｂｉ
ｔ／ｓのように、非常に符号化レートが制限されている
ような場合、ＣＣＩＴＴ勧告Ｈ．２６１と互換性を保ち
つつ、満足できる画質で、５乃至１０フレーム／秒程度
の符号化レートを達成するのは非常に困難である。

【００１１】尚、ＪＰＥＧのプログレッシブモードのス
ペクトラルセレクション（SpectralSelection）「Infor
mation technology - Digital compression and coding
ofcontinuous-tone still images - 」（DRAFT INTERN
ATIONAL STANDARD ISO/IECDIS 10918-1のAnnex G ）に
は、予め決められた周波数帯ごとに符号化していく方法
が規定されている。

【００１２】しかしながら、この方法はスペクトラルセ
レクションが全ての有効な周波数成分を符号化すること
を前提とし、これによって通信等でのオペレータの心理
的負担を軽減することを目的とするものであって、ＤＣ
Ｔの演算量の低減及び画質の改善を目的としたものでは
ない。

【００１３】

【発明が解決しようとする課題】以上述べたように、従
来より、ＣＣＩＴＴ勧告Ｈ．２６１に即した画像データ
符号化方法及びこの方法に基づく画像データ符号化装置
において、限られた符号レート内で高品質な画像を低コ
ストかつ高速に蓄積、伝送できるようにすることが強く
望まれている。

【００１４】本発明は上記の課題を解決するためになさ
れたもので、ＣＣＩＴＴ勧告Ｈ．２６１に規定される限
られた符号レート内であっても、圧縮率を保ったまま、
ＤＣＴ変換、量子化、符号化の演算量を大幅に減らすと
共にブロック歪みを低減することができ、また符号レー
トの向上や制御を容易に実現でき、しかも量子化特性情
報の頻繁な変更に伴う符号レートの低下やその変更判断
に伴う演算の増加を抑え、画面内の画質のばらつきも抑
制することのできる画像データ符号化方法及びこの方法
を用いた画像データ符号化装置を提供することを目的と
する。

【００１５】

【課題を解決するための手段】上記課題を解決するため
に本発明に係る画像データ符号化方法は、原画像を一辺
が８画素の正方形ブロックに分割したブロック画像を順
次入力し、ブロック内の６４個の画素の階調値に２次元
の離散コサイン変換を施して、各ブロック画像の直流成
分とそれに続く低周波成分からなる交流成分の変換係数
を求める変換係数演算過程と、この過程で得られる各ブ
ロック画像の変換係数を量子化する量子化過程と、この
過程で量子化された変換係数のうち、一辺が４個の直流
成分の変換係数を含む正方形ブロック内の予め決められ
たｋ個（但しｋは１以上１６以下の整数）以外の量子化
された係数に０以外の値を有する係数が少なくとも１個
以上存在するブロックについて、前記の予め決められた
係数ｋ個の変換係数だけを選択して符号化する符号化過
程とを具備し、さらに、入力画像そのものを符号化処理
するフレーム内モードと、フレーム直前の画像の復号化
画像との差分を符号化処理するフレーム間モードを備
え、フレーム内モードでは、予め決められた変換係数ｋ
個（但しこの場合のｋはｍ×ｍ−１以下の整数）の内、
直流成分とそれに続く低周波数成分からなる交流成分の
変換係数計ｐ個（但しｐは１以上、ｋ以下の整数）だけ
を処理し、フレーム間モードでは、フレーム内モードで
の処理に加えて前記ｐがｋ未満の整数の時で、ｐ個の量
子化後の値を入力として関数またはテーブルによって変
換された値が特定範囲内にある場合に、ｐ個以外の変換
係数ｒ個（但しｒ＝ｋ−ｐなる整数）だけを処理するこ
とを特徴とする。

【００１６】一方、本発明に係る画像データ符号化装置
は、原画像を一辺が８画素の正方形ブロックに分割した
ブロック画像を順次入力し、ブロック内の６４個の画素
の階調値に２次元の離散コサイン変換を施して、各ブロ
ック画像の直流成分とそれに続く低周波成分からなる交
流成分の変換係数を求める変換係数演算部と、この変換
係数演算部で得られる各ブロック画像の変換係数を量子
化する量子化部と、この量子化部で量子化された変換係
数のうち、一辺が４個の直流成分の変換係数を含む正方
形ブロック内の予め決められたｋ個（但しｋは１以上１
６以下の整数）以外の量子化された係数に０以外の値を
有する係数が少なくとも１個以上存在するブロックにつ
いて、前記の予め決められた係数ｋ個の変換係数だけを
選択して符号化する符号化部とを具備し、さらに、入力
画像そのものを符号化処理するフレーム内モードと、フ
レーム直前の画像の復号化画像との差分を符号化処理す
るフレーム間モードを備え、フレーム内モードでは、予
め決められた変換係数ｋ個（但しこの場合のｋはｍ×ｍ
−１以下の整数）の内、直流成分とそれに続く低周波数
成分からなる交流成分の変換係数計ｐ個（但しｐは１以
上、ｋ以下の整数）だけを処理し、フレーム間モードで
は、フレーム内モードでの処理に加えて前記ｐがｋ未満
の整数の時で、ｐ個の量子化後の値を入力として関数ま
たはテーブルによって変換された値が特定範囲内にある
場合に、ｐ個以外の変換係数ｒ個（但しｒ＝ｋ−ｐなる
整数）だけを処理することを特徴とする。

【００１７】

【作用】上記画像データ符号化方法／装置では、原画像
を一辺がは８画素の正方形ブロックに分割したブロック
画像について、ブロック内の６４個の画素の階調値に２
次元の離散コサイン変換を施して、各ブロック画像の直
流成分とそれに続く低周波成分からなる交流成分の変換
係数を求め、これによって得られる各ブロック画像の変
換係数を量子化し、量子化された変換係数を符号化する
場合に、一辺がｍ個（但しｍは１以上（ｎ＋１）／２以
下の整数）の直流成分の変換係数を含む正方形ブロック
内の予め決められたｋ個（但しｋは１以上ｍ×ｍ以下の
整数）の変換係数だけを符号化する。この際、入力画像
そのものを符号化処理するフレーム内モードでは、予め
決められた変換係数ｋ個（但しこの場合のｋはｍ×ｍ−
１以下の整数）の内、直流成分とそれに続く低周波数成
分からなる交流成分の変換係数計ｐ個（但しｐは１以
上、ｋ以下の整数）だけを処理し、フレーム直前の画像
の復号化画像との差分を符号化処理するフレーム間モー
ドでは、フレーム内モードでの処理に加えて前記ｐがｋ
未満の整数の時で、ｐ個の量子化後の値を入力として関
数またはテーブルによって変換された値が特定範囲内に
ある場合に、ｐ個以外の変換係数ｒ個（但しｒ＝ｋ−ｐ
なる整数）だけを処理することで、ＣＣＩＴＴ勧告Ｈ．
２６１に規定される限られた符号レート内であっても、
圧縮率を保ったまま、少なくとも符号化の演算量を大幅
に減らすと共にブロック歪みを低減している。

【００１８】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図２は本発明に係る画像データ符号化方法の基
本的な処理の流れを示すもので、ここではＣＣＩＴＴ勧
告Ｈ．２６１との互換性を考慮し、例として原画像を８
×８画素からなる正方形ブロックした場合を想定し、直
流成分を含む予め決められた求める変換係数を４×４画
素からなる正方形ブロックから取り出す場合を想定して
いる。

【００１９】まず最初に、画像から切り出された８×８
画素からなるブロック画像は、２次元ＤＣＴ変換過程Ｓ
１において、水平方向１次元ＤＣＴ変換過程Ｓ１１で水
平方向の１次元ＤＣＴ変換が施された後、垂直方向１次
元ＤＣＴ変換過程Ｓ１２で垂直方向の１次元ＤＣＴ変換
が施されて、１個の直流成分（ＤＣ）の係数（ブロック
画像の画素平均値）と８×８−１＝６３個の交流成分
（ＡＣ）の係数に変換される。このように２次元ＤＣＴ
変換過程Ｓ１によって得られた変換係数は、量子化過程
Ｓ２で量子化され、最後に符号化過程Ｓ３で可変長符号
化が施される。

【００２０】上記のような処理過程を備える画像データ
符号化方法について、さらに具体的に説明する。まず、
２次元ＤＣＴ変換過程Ｓ１の水平方向１次元ＤＣＴ変換
過程Ｓ１１では、８×８画素からなるブロック画像につ
いて、図２（ａ）に示すように水平方向の１次元ＤＣＴ
を８回繰り返す。これによって、図２（ｂ）に示すよう
に、８水平ラインの直流成分の係数ＤＣ及びそれに続く
交流成分の係数ＡＣ１〜ＡＣ７からなる水平方向の１次
元ＤＣＴ変換係数によるブロック画像が求まる。

【００２１】次に、垂直方向１次元ＤＣＴ変換過程Ｓ１
２では、Ｓ１１で求めたブロック画像について、図２
（ｃ）に示すように垂直方向の１次元ＤＣＴを８回繰り
返す。これによって、図２（ｄ）に示すように、全画素
の直流成分の係数ＤＣと水平、垂直方向に続く交流成分
ＡＣ０１〜ＡＣ７７からなる２次元ＤＣＴ変換係数によ
るブロック画像が求まる。このようにして求められたブ
ロック画像は、量子化過程Ｓ２で各変換係数が量子化さ
れ、符号化過程Ｓ３で可変長符号化される。

【００２２】ここで、量子化過程Ｓ２で量子化された変
換係数のうち、直流成分の変換係数を含む４×４個の正
方形ブロック内から予め決められたｋ＝１０個の変換係
数だけを選択して符号化する。これにより、符号化演算
回数を低減することができる。このとき、選択する変換
係数は直流成分の変換係数１個とそれに続く低周波成分
９個とする。

【００２３】例えば、２次元ＤＣＴ変換過程Ｓ１で図３
（ａ）に示すような２次元ＤＣＴ変換結果が得られた場
合、量子化過程Ｓ２では図３（ｂ）に示すように全ての
係数を量子化するが、符号化過程Ｓ３では図３（ｃ）中
網点で示す部分の係数のみ符号化する。尚、図３におい
て、×は０でない係数を示している。

【００２４】また、量子化過程Ｓ２の段階で、２次元Ｄ
ＣＴ変換結果から直流成分の変換係数を含む４×４個の
正方形ブロック内の予め決められたｋ＝１０個の変換係
数だけを選択して量子化し、その量子化された係数のみ
符号化処理すれば、量子化、符号化の演算回数を共に低
減することができる。この場合も、選択する変換係数は
直流成分の変換係数１個とそれに続く低周波成分９個と
する。

【００２５】例えば、２次元ＤＣＴ変換過程Ｓ１で図４
（ａ）に示すような２次元ＤＣＴ変換結果が得られた場
合、量子化過程Ｓ２、符号化過程Ｓ３では、それぞれ図
４（ｂ），（ｃ）に示すように、図中網点で示す部分の
係数のみ量子化、符号化を行う。尚、図４においても、
×は０でない係数を示している。

【００２６】さらに、２次元ＤＣＴ変換過程Ｓ１の段階
で、直流成分の変換係数を含む４×４個の正方形ブロッ
ク内の予め決められたｋ＝１０個の変換係数だけが求ま
るように２次元ＤＣＴ変換し、その変換係数ブロック画
像を量子化し、符号化処理すれば、２次元ＤＣＴ変換、
量子化、符号化の各演算回数を全て低減することができ
る。この場合も、選択する変換係数は直流成分の変換係
数１個とそれに続く低周波成分９個とする。

【００２７】例えば、２次元ＤＣＴ変換過程Ｓ１で、図
５（ａ）に示すように図中網点で示す部分の係数のみを
求め、量子化過程Ｓ２、符号化過程Ｓ３で、それぞれ図
５（ｂ），（ｃ）に示すように、図中網点で示す部分の
係数のみ量子化、符号化を行う。尚、図５においても、
×は０でない係数を示している。

【００２８】また、２次元ＤＣＴ変換過程Ｓ１の段階
で、直流成分の変換係数を含む４×４個の正方形ブロッ
ク内の予め決められたｋ＝１０個の変換係数だけが求ま
るように２次元ＤＣＴ変換した後、その変換係数ブロッ
ク画像のうちのｐ＝６個のみを量子化し、符号化処理す
るようにすれば、量子化、符号化の各演算回数をさらに
低減することができる。

【００２９】例えば、２次元ＤＣＴ変換過程Ｓ１で、図
６（ａ）に示すように図中網点で示す部分の係数のみを
求め、量子化過程Ｓ２、符号化過程Ｓ３で、それぞれ図
６（ｂ），（ｃ）に示すように、図中網点で示す部分の
係数のみ量子化、符号化を行う。尚、図６においても、
×は０でない係数を示している。

【００３０】ここで、上記２次元ＤＣＴ変換過程Ｓ１の
段階で変換係数の個数を制限する場合、図７に示すよう
な演算方法をとれば、効率良く所望の変換係数を求める
ことができる。

【００３１】まず、水平方向１次元ＤＣＴ変換過程Ｓ１
１で、８×８画素からなるブロック画像について、図７
（ａ）に示すように水平方向の１次元ＤＣＴを８回繰り
返す。このとき、図７（ｂ）に示すように、８水平ライ
ンの直流成分の係数ＤＣ及びそれに続く３個の低周波成
分の係数ＡＣ１〜ＡＣ３からなる水平方向の１次元ＤＣ
Ｔ変換係数によるブロック画像を求める。

【００３２】次に、垂直方向１次元ＤＣＴ変換過程Ｓ１
２で、Ｓ１１で求めたブロック画像について、図７
（ｃ）に示すように垂直方向の１次元ＤＣＴを４回繰り
返す。このとき、図７（ｄ）に示すように、全画素の直
流成分の係数ＤＣと水平、垂直方向に続く３個の低周波
成分ＡＣ０１〜ＡＣ３３からなる２次元ＤＣＴ変換係数
によるブロック画像を求める。このようにして得られた
４×４個の変換係数のうち、予め決められたｋ＝１０個
の変換係数だけを選択的に導出する。

【００３３】このような演算方法をとれば、図７を図２
と比較することで明らかなように、最終的に得られる１
０個の符号化データを劣化させることなく、ＤＣＴ変換
の演算回数を大幅に低減することができる。

【００３４】すなわち、上記のような処理過程からなる
画像データ符号化方法によれば、まず予め決められた係
数だけを取り出す段階は、図３、図４、図５、図６に示
したように、符号化時、量子化時、ＤＣＴ変換時のいず
れの段階であってもよい。特に、ＤＣＴ変換時に行う場
合には、図７に示したように、予め決められた係数に関
する演算だけを実行することにより、演算量を大幅に削
減することができる。

【００３５】勿論、ＤＣＴ変換時だけでなく、量子化
時、符号化時にも演算対象となる係数が予めわかってお
り、その数は理論的に従来方式の１／４以下なので、こ
れらの処理時にも演算量は大幅に削減できる。それだけ
ではなく、既存システムを流用する場合にも、予め決め
られた係数だけを符号化することが可能なシステムであ
れば、既存のＤＣＴ変換器、量子化器、符号化器がハー
ドウェア化されていても適用、変更が可能である。

【００３６】ここで、従来のＣＣＩＴＴ勧告Ｈ．２６１
に準拠した画像データ符号化方法で再生画像にブロック
歪みの領域が発生するのは、ブロック内の画素値が比較
的なだらかに変化している場合に、低周波成分が量子化
によって失われたためであると考えられる。

【００３７】そこで、本発明では、ブロック内の画素値
が比較的緩やかに変化している場合、その画像領域で低
周波成分が失われないような値で量子化を行い、かつ符
号化する係数の数を減らすことによって、従来の画像デ
ータ符号化方法と同等の圧縮率を達成している。

【００３８】勿論、この処理により以前にブロック歪み
が発生していない領域で高周波成分の損失による画質の
劣化が生ずるが、人間の視覚特性が低周波成分に大きく
依存していることを考えれば、ブロック歪みを取り除く
ことによる画質の改善ははるかに価値の高いものであ
る。

【００３９】ところで、本発明の符号化対象となる係数
は、直流成分を含む４×４個の画素からなるブロック内
の係数で、フレーム内モードでは直流成分を含め、交流
成分を低い周波数成分から順にかつ使用する回線の通信
速度と要求される画質から決定される。

【００４０】特に、「低い周波数成分から」という意味
は、図８（ａ）に示すＣＣＩＴＴ勧告Ｈ．２６１の符号
化の時のジグザグスキャンの順序と同様に、図８（ｂ）
に示すようにジグザグスキャンの順序と解釈してもよい
が、直流成分から各交流成分の距離が短い順序、例えば
図８（ｃ）に示す直流成分からの距離の２乗テーブルに
基づく順序と解釈してもよい。

【００４１】但し、直線成分からの距離で決める場合、
ＣＣＩＴＴ勧告Ｈ．２６１との互換性のために、図９
（（ａ）〜（ｆ）はそれぞれｐが６，８，９，１１，１
３，１５の場合について、８×８ブロックの内の直流成
分を含む１／４ブロックのみをを示す）に示すように、
符号化の順番をジグザグスキャンの番号の昇順とし、符
号化対象外の周波数成分もゼロランレングスにカウント
して符号化する。

【００４２】また、非常に高い圧縮率が要求される場合
には、２つの色差成分について、直流成分のみ符号化す
るようにしてもよい。人間の視覚特性は低周波成分に大
きく依存しているだけでなく、輝度成分に大きく依存し
ているので、輝度成分の低周波成分が保存されていれ
ば、ブロック歪みはある程度抑制可能である。これによ
り、フレーム内モードでは固定圧縮率となり、フレーム
間モードでも直流成分だけの符号化となるので、符号レ
ートの制御が容易になる。このように直流成分だけを求
める場合は、ＤＣＴ変換においても、そのブロック内の
全画素値の加算だけの演算量で行えるので、演算量を少
なくすることができる。

【００４３】図１０はＣＣＩＴＴ勧告Ｈ．２６１に準拠
した、本発明に係る画像データ符号化方法を用いた符号
化装置として動画像符号化装置の具体的な構成を示すブ
ロック回路図である。

【００４４】図１０において、１はビデオ信号入力端
子、２は差分画像を得るための差分処理部、３は２次元
離散コサイン変換を行うＤＣＴ変換部、４は量子化部、
５は本発明の最終的な出力である可変長符号処理を行う
符号化部、６は可変長符号と画像データに関する制御情
報等との多重化出力を行うビデオ信号マルチプレクサ
（ＭＰＸ）部である。

【００４５】また、７は差分画像処理用の逆量子化部、
８は２次元逆離散コサイン変換を行う逆ＤＣＴ変換部、
９は次回の差分処理のための画像を更新する画像加算処
理部、１０は９の処理で得られた画像を保持する差分画
像処理用メモリ、１１は全体の符号量、符号化方式等を
制御する符号化制御部である。

【００４６】この実施例では差分画像を用いず、入力画
像そのものを符号化するいわゆるフレーム内モードと、
直前の画像の復号化画像との差分を符号化するいわゆる
フレーム間モードを実現している。これらのモードの切
り替えは、マクロブロック毎に差分画像を求め、その時
の直流成分の値によって行うものとする。

【００４７】すなわち、あるマクロブロックの６つのブ
ロックの内のあるブロックを最初にフレーム内モードで
図１１（ａ）に示すようにＤＣＴ変換、量子化、符号化
したとする。次に取り込んだ画像の対応するブロックが
全く前の画像と同じであった場合、この差分画像の変換
後の係数は、前にフレーム内モードで符号化した低周波
成分ｐ個の値が全て０になる。このため、フレーム間モ
ードとして符号化し、図１１（ｂ）に示すように解像度
を上げるためにｒ個だけを符号化してもよい。また、符
号化効率を優先してこのブロックのデータをＨ．２６１
に規定されているように符号化しなくてもよい。尚、図
１１（ａ）、（ｂ）において、ｋ＝１０、ｐ＝６であ
り、×は０でない係数を示している。

【００４８】問題は、前述の取り込んだ画像の対応する
ブロックが全く前の画像と大幅に異なり、差分画像の変
換後の係数の低周波成分に大きな値を持つ場合である
が、この場合は２つの対応が考えられる。１つ目は、図
１２（ａ）に示すように、フレーム間モードのまま差分
画像の直流成分を含む低周波成分ｐ個だけを符号化する
方法である。２つ目は、図１２（ｂ）に示すように、フ
レーム内モードに切り替え、前述の取り込んだ画像をそ
のまま差分を取らずにフレーム内モードとして処理する
ことも可能である。尚、図１２（ａ）、（ｂ）におい
て、ｋ＝１０、ｐ＝６、ｒ＝４であり、×は０でない係
数を示している。

【００４９】但し、Ｈ．２６１の規格に準拠している場
合は、フレーム内／フレーム間モードの切り替えはマク
ロブロック単位であるので、１つのブロックの差分画像
の評価だけでは行えず、６つのブロックの低周波成分を
総合的に評価して切り替えることが必要である。

【００５０】上記構成において、まずフレーム内モード
では、ビデオ信号入力端子１から入力される８×８画素
からなるブロックに分割された画像データは順次ＤＣＴ
変換部３で周波数成分の係数に変換され、量子化部４で
量子化された後、符号化部５で可変長符号化される。可
変長符号は符号化制御部１１からの出力である量子化情
報、フレーム内／フレーム間モードの識別フラグ等の制
御情報と共にビデオ信号マルチプレクサ部６を介して出
力される。

【００５１】また、量子化部４から出力される量子化係
数は同時に逆量子化部７へ送られ、逆量子化されてコサ
イン変換係数となる。このコサイン変換係数は逆ＤＣＴ
変換部８に送られ、ここで符号化された画像と同一の再
現画像のデータが得られる。この再現画像データは、フ
レーム内モードでは画像加算処理部９の処理は行わられ
ず、差分画像処理用メモリ１０に次回の差分処理用とし
て保存される。

【００５２】一方、フレーム間モードでは、ビデオ信号
入力端子１から入力される８×８画素からなるブロック
に分割された画像データは、順次、差分処理部２でメモ
リ１０からの前回の再現画像データと差分処理される。
この差分データはＤＣＴ変換部３で周波数成分の係数に
変換され、量子化部４で量子化された後、符号化部５で
可変長符号化される。可変長符号は符号化制御部１１か
らの出力である量子化情報、フレーム内／フレーム間モ
ードの識別フラグ等の制御情報と共にビデオ信号マルチ
プロクサ部６を介して出力される。

【００５３】また、量子化部４から出力される量子化係
数は同時に逆量子化部７に送られ、そこで逆量子化され
たコサイン変換係数は逆ＤＣＴ変換部８に送られ、ここ
で符号化された差分画像と同一の再現差分画像のデータ
が得られる。この再現差分画像データは画像加算処理部
９で前回の差分処理に使われた差分画像データと加算
後、差分画像処理用メモリ１０に次回の差分処理用とし
て保存される。

【００５４】ここで、同一フレームの全マクロブロック
に対する量子化特性情報には単一の値を適用する。これ
により、量子化特性情報の頻繁な変更に伴う符号レート
の低下やその変更判断に伴う演算の増加を抑え、画面内
の画質のばらつきを抑制することができる。

【００５５】図１３は図１０に示した動画像符号化装置
で生成された符号化データから原画像を復号する動画像
復号化部の具体的な構成を示すブロック回路図である。
図１３において、２１は可変長符号と画像データに関す
る制御情報等との分離出力を行うビデオ信号デマルチプ
レクサ（ＤＭＰＸ）部、２２は可変長符号の復号化部、
２３は逆量子化部、２４は２次元逆離散コサイン変換を
行う逆ＤＣＴ変換部、２５は最終的な復号化された画像
を出力するビデオ出力端子、２６はフレーム間モードの
ときに差分画像を処理する画像加算処理部、２７はフレ
ーム間モード用の画像を保存する差分画像処理用メモ
リ、２８は復号化処理を制御する復号化制御部である。

【００５６】上記構成において、ビデオ信号デマルチプ
レクサ部２１で分離出力された画像データに関する制御
情報等は復号化制御部２８に出力される。この復号化制
御部２８から、量子化レベルの情報は逆量子化部２３へ
送られる。また、フレーム内／フレーム間モードの識別
フラグ等の制御情報は復号化された画像の差分処理の制
御に使われる。

【００５７】復号化部２２には可変長符号データが入力
され、そこで復号化された後、８×８画素からなるブロ
ック毎に順に逆量子化部２３へ送られる。ここで逆量子
化されたコサイン変換係数は逆ＤＣＴ変換部２４に送ら
れ、２次元逆離散コサイン変換によって復号化された再
現画像のデータが得られる。

【００５８】逆ＤＣＴ変換部２４から出力された再現画
像データは、フレーム内モードの場合、最終結果として
ビデオ出力端子２５から出力されると同時に、フレーム
間モードのために差分画像処理用メモリ２７に保存され
る。このとき、画像加算処理部２６は復号化制御部２８
からの信号によって動作しない。

【００５９】フレーム間モードの場合は、まず再現画像
データは画像加算処理部２６で差分画像処理用メモリ２
７に保存されている画像データと加算され、最終的に再
現された画像のデータとして差分画像処理用メモリ２７
に保存されると共に、ビデオ出力端子２５から出力され
る。

【００６０】以上説明してきたように本発明では、ＣＣ
ＩＴＴ勧告Ｈ．２６１に規定される限られた符号レート
内であっても、従来方式でブロック歪みが目につく符号
レートの画像に適用することで、圧縮率を保ったまま、
ＤＣＴの演算量を大幅に減らすと共に、ブロック歪みの
低減を実現することができる。

【００６１】また、色差成分は直流成分だけに限定する
ことにより、符号レートの向上や制御が容易に実現でき
る。さらに、同一フレームの全マクロブロックに対する
量子化特性情報に単一の値が適用することにより、量子
化特性情報の頻繁な変更に伴う符号レートの低下やその
変更判断に伴う演算の増加を抑え、画面内の画質のばら
つきも抑制することが実現できる。

【００６２】その他、予め決められた符号化する係数を
その値がゼロであるかどうかにかかわらず符号化するこ
とによって、符号化しないことによりさらに符号化効率
を高めることが可能である。但し、この場合はＨ．２６
１との互換性が失われる。

【００６３】このように、本発明によって、直交変換で
の大幅な演算量の低減により、従来実用化時に問題とな
っていたハードウェアコストの大幅な低減を可能とし、
かつ画質の改善、符号化効率の向上を実現することがで
きる。本発明は上記実施例に限定されるものではなく、
本発明の要旨を変更しない範囲で種々変形しても実施可
能であることはいうまでもない。

【００６４】

【発明の効果】以上述べたように本発明によれば、ＣＣ
ＩＴＴ勧告Ｈ．２６１に規定される限られた符号レート
内であっても、圧縮率を保ったまま、ＤＣＴ変換、量子
化、符号化の演算量を大幅に減らすと共にブロック歪み
を低減することができ、また符号レートの向上や制御を
容易に実現でき、しかも量子化特性情報の頻繁な変更に
伴う符号レートの低下やその変更判断に伴う演算の増加
を抑え、画面内の画質のばらつきも抑制することのでき
る画像データ符号化方法及びこの方法を用いた画像デー
タ符号化装置を提供することができる。

【図面の簡単な説明】

【図１】 この発明に係る画像データ符号化方法の一実
施例として基本的なの処理の流れを示す図である。

【図２】 同実施例において、２次元ＤＣＴ変換過程の
動作を説明するための概念図である。

【図３】 同実施例において、符号化時に予め決められ
た個数の変換係数を取り出す場合の処理動作を示す概念
図である。

【図４】 同実施例において、量子化時に予め決められ
た個数の変換係数を取り出す場合の処理動作を示す概念
図である。

【図５】 同実施例において、ＤＣＴ変換時に予め決め
られた個数の変換係数を取り出す場合の処理動作を示す
概念図である。

【図６】 同実施例において、ＤＣＴ変換時に予め決め
られた個数の変換係数を取り出し、さらに量子化時に予
め決められた個数の変換係数を取り出す場合の処理動作
を示す概念図である。

【図７】 同実施例において、２次元ＤＣＴ変換過程で
効率良く所望の変換係数を求める演算方法を説明するた
めの概念図である。

【図８】 同実施例において、ＤＣＴの符号化する周波
数成分の決め方を説明するための図である。

【図９】 同実施例において、直流成分からの距離によ
るＤＣＴの符号化する周波数成分の決め方と符号化の順
番の例を示す図である。

【図１０】 本発明に係る画像データ符号化方法を用い
た符号化装置として動画像符号化装置の具体的な構成を
示すブロック回路図である。

【図１１】 同実施例において、フレーム内モードとフ
レーム間モードの切り替え及び符号化処理内容を説明す
るための図である。

【図１２】 同実施例において、差分画像の変換後の係
数の低周波成分に大きな値を持つ場合の対応を説明する
ための図である。

【図１３】 図１０に示した動画像符号化装置で生成さ
れた符号化データから原画像を復号する動画像復号化部
の具体的な構成を示すブロック回路図である。

【符号の説明】 Ｓ１…２次元ＤＣＴ変換過程、Ｓ１１…水平方向１次元
ＤＣＴ変換過程、Ｓ１２…垂直方向１次元ＤＣＴ変換過
程、Ｓ２…量子化過程、Ｓ３…符号化過程、１…ビデオ
信号入力端子、２…差分処理部、３…ＤＣＴ変換部、４
…量子化部、５…符号化部、６…ビデオ信号マルチプレ
クサ（ＭＰＸ）部、７…逆量子化部、８…逆ＤＣＴ変換
部、９…画像加算処理部、１０…差分画像処理用メモ
リ、１１…符号化制御部、２１…ビデオ信号デマルチプ
レクサ（ＤＭＰＸ）部、２２…復号化部、２３…逆量子
化部、２４…逆ＤＣＴ変換部、２５…ビデオ出力端子、
２６…画像加算処理部、２７…差分画像処理用メモリ、
２８…復号化制御部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０３Ｍ 7/36 9382−5Ｋ Ｈ０４Ｎ 1/41 Ｂ 11/04 Ｚ 9185−5Ｃ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 原画像を一辺が８画素の正方形ブロック
   に分割したブロック画像を順次入力し、ブロック内の６
   ４個の画素の階調値に２次元の離散コサイン変換を施し
   て、各ブロック画像の直流成分とそれに続く低周波成分
   からなる交流成分の変換係数を求める変換係数演算過程
   と、 この過程で得られる各ブロック画像の変換係数を量子化
   する量子化過程と、 この過程で量子化された変換係数のうち、一辺が４個の
   直流成分の変換係数を含む正方形ブロック内の予め決め
   られたｋ個（但しｋは１以上１６以下の整数）以外の量
   子化された係数に０以外の値を有する係数が少なくとも
   １個以上存在するブロックについて、前記の予め決めら
   れた係数ｋ個の変換係数だけを選択して符号化する符号
   化過程とを具備し、 さらに、入力画像そのものを符号化処理するフレーム内
   モードと、フレーム直前の画像の復号化画像との差分を
   符号化処理するフレーム間モードを備え、 フレーム内モードでは、予め決められた変換係数ｋ個
   （但しこの場合のｋはｍ×ｍ−１以下の整数）の内、直
   流成分とそれに続く低周波数成分からなる交流成分の変
   換係数計ｐ個（但しｐは１以上、ｋ以下の整数）だけを
   処理し、 フレーム間モードでは、フレーム内モードでの処理に加
   えて前記ｐがｋ未満の整数の時で、ｐ個の量子化後の値
   を入力として関数またはテーブルによって変換された値
   が特定範囲内にある場合に、ｐ個以外の変換係数ｒ個
   （但しｒ＝ｋ−ｐなる整数）だけを処理することを特徴
   とする画像データ符号化方法。
2. 【請求項２】 前記量子化過程は、前記変換係数演算過
   程で求められた変換係数のうち、一辺が４個の直流成分
   の変換係数を含む正方形ブロック内の予め決められたｋ
   個（但しｋは１以上１６以下の整数）以外の量子化され
   た係数に０以外の値を有する係数が少なくとも１個以上
   存在するブロックについて、前記の予め決められた係数
   ｋ個の変換係数だけを選択して量子化し、 前記符号化過程は、前記量子化過程で選択的に量子化さ
   れるｋ個の変換係数を符号化することを特徴とする請求
   項１記載の画像データ符号化方法。
3. 【請求項３】 前記変換係数演算過程は、前記符号化過
   程で選択されるｋ個の変換係数だけを求める２次元離散
   コサイン変換を施し、 前記量子化過程、符号化過程は、それぞれ前記変換係数
   演算過程で選択されたｋ個の変換係数についてのみ処理
   を行うことを特徴とする請求項１記載の画像データ符号
   化方法。
4. 【請求項４】 前記原画像が輝度成分と２つの色差成分
   からなるカラー画像であるとき、２つの色差成分につい
   ては２次元離散コサイン変換の直流成分の変換係数各１
   個だけを処理することを特徴とする請求項１、２、３い
   ずれか記載の画像データ符号化方法。
5. 【請求項５】 原画像を一辺が８画素の正方形ブロック
   に分割したブロック画像を順次入力し、ブロック内の６
   ４個の画素の階調値に２次元の離散コサイン変換を施し
   て、各ブロック画像の直流成分とそれに続く低周波成分
   からなる交流成分の変換係数を求める変換係数演算部
   と、 この変換係数演算部で得られる各ブロック画像の変換係
   数を量子化する量子化部と、 この量子化部で量子化された変換係数のうち、一辺が４
   個の直流成分の変換係数を含む正方形ブロック内の予め
   決められたｋ個（但しｋは１以上１６以下の整数）以外
   の量子化された係数に０以外の値を有する係数が少なく
   とも１個以上存在するブロックについて、前記の予め決
   められた係数ｋ個の変換係数だけを選択して符号化する
   符号化部とを具備し、 さらに、入力画像そのものを符号化処理するフレーム内
   モードと、フレーム直前の画像の復号化画像との差分を
   符号化処理するフレーム間モードを備え、 フレーム内モードでは、予め決められた変換係数ｋ個
   （但しこの場合のｋはｍ×ｍ−１以下の整数）の内、直
   流成分とそれに続く低周波数成分からなる交流成分の変
   換係数計ｐ個（但しｐは１以上、ｋ以下の整数）だけを
   処理し、 フレーム間モードでは、フレーム内モードでの処理に加
   えて前記ｐがｋ未満の整数の時で、ｐ個の量子化後の値
   を入力として関数またはテーブルによって変換された値
   が特定範囲内にある場合に、ｐ個以外の変換係数ｒ個
   （但しｒ＝ｋ−ｐなる整数）だけを処理することを特徴
   とする画像データ符号化装置。
6. 【請求項６】 前記量子化部は、前記変換係数演算部で
   求められた変換係数のうち、一辺が４個の直流成分の変
   換係数を含む正方形ブロック内の予め決められたｋ個
   （但しｋは１以上１６以下の整数）以外の量子化された
   係数に０以外の値を有する係数が少なくとも１個以上存
   在するブロックについて、前記の予め決められた係数ｋ
   個の変換係数だけを選択して量子化し、 前記符号化部は、前記量子化部で選択的に量子化される
   ｋ個の変換係数を符号化することを特徴とする請求項５
   記載の画像データ符号化装置。
7. 【請求項７】 前記変換係数演算部は、前記符号化部で
   選択されるｋ個の変換係数だけを求める２次元離散コサ
   イン変換を施し、 前記量子化部、符号化部は、それぞれ前記変換係数演算
   部で選択されたｋ個の変換係数についてのみ処理を行う
   ことを特徴とする請求項５記載の画像データ符号化装
   置。
8. 【請求項８】 前記原画像が輝度成分と２つの色差成分
   からなるカラー画像であるとき、２つの色差成分につい
   ては２次元離散コサイン変換の直流成分の変換係数各１
   個だけを処理することを特徴とする請求項５、６、７い
   ずれか記載の画像データ符号化装置。