JPH07184195A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【構成】 １フレームの画像データを、所定数の画素か
らなるマクロブロックに分割し、マクロブロック単位で
量子化して符号化するものであって、上記マクロブロッ
クの画素を間引く画素間引き部６と、この間引かれたマ
クロブロックおよび、前回の符号化データにより決定さ
れる参照量子化幅によって量子化幅を決定する量子化幅
決定部７とを備えている。 【効果】 量子化幅を求めるための演算量を小さくする
ことができ、且つ、良好な画質を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル画像処理に
おいて、画像データの高能率符号化を可能にし得る画像
符号化装置に関するものである。

【０００２】

【従来の技術】従来より、ディジタル画像データとし
て、例えばディジタル動画像データを、フレーム間予
測、直交変換、量子化、可変長符号化等の技術を用いて
高能率符号化する方法が提案されている。

【０００３】例えば「テレビジョン学会技術報告Vol.1
6,No61,p.37-42 」に報告された『ＭＰＥＧ２フレーム
間予測方式』には、フレーム内符号化のみを行うフレー
ム（Ｉピクチャ）、時間的に前のフレームから予測符号
化を行うフレーム（Ｐピクチャ）、時間的に前後のフレ
ームから予測符号化を行うフレーム（Ｂピクチャ）の３
種類の各フレーム予測モードによって、画像データの高
能率符号化を行う方法が開示されている。

【０００４】ところが、上述した画像データの高能率符
号化方法を、ディジタルＴＶやディジタルビデオディス
ク等の画像伝送や画像蓄積に応用する際、上記各ピクチ
ャの符号化量が異なるので、画像データの符号化後のデ
ータの転送速度（以下、データレートと称する）の制御
をどのようにするかが問題となっている。

【０００５】例えば、「テレビジョン学会技術報告Vol.
16,No61,p.43-48 」に報告された『ＭＰＥＧ２量子化と
符号化制御』には、group of pictures （ＧＯＰ）と呼
ばれる与えられた区間内( 通常、十数フレーム) の平均
ビット数を、ほぼ一定に制御することで、転送する符号
化量を一定にして画像データの符号化後のデータレート
を制御する方法が開示されている。

【０００６】即ち、１フレーム分の画像データを、所定
の画素数からなるマクロブロックと呼ばれるブロックに
分割して、動き補償予測、直交変換、量子化等をマクロ
ブロック単位で行うことで、上記フレームをマクロブロ
ック単位で符号化しており、このときの量子化で用いら
れる量子化幅によって、ＧＯＰ内の平均ビット数をほぼ
一定に制御して、画像データの符号化後のデータレート
を制御している。

【０００７】上記のデータレート制御方法を、図３を参
照しながら以下に説明する。まず、原画像の１フレーム
分の画像データを、ブロック分割部５１にてマクロブロ
ックに分割し、このマクロブロックの画像データ（以
下、ＭＢデータと称する）を予測部５２に出力する一
方、アクティビティ計算部６０に出力する。

【０００８】上記予測部５２では、入力されたＭＢデー
タを、前回のフレームデータから動き補償予測等によっ
て予測して、この予測後のＭＢデータを、直交変換部５
３に出力して符号化に適した形式（変換係数）に変換
し、量子化部５４に出力している。

【０００９】この量子化部５４では、量子化幅決定部５
７により得られる量子化幅によって、変換係数を量子化
している。そして、この量子化されたＭＢデータを、可
変長符号化部５５に出力し、この可変長符号化部５５に
て上記ＭＢデータは可変長符号化され、符号化データと
してバッファメモリ等に出力される一方、ビット割り当
て部５８に出力される。

【００１０】このビット割り当て部５８では、前回まで
のフレームの符号化データをもとに、今回の符号化しよ
うとするフレームに割り当てるビット数を決定し、この
ビット数に基づいて参照量子化幅決定部５９にて参照量
子化幅が決定される。このとき、参照量子化幅決定部５
９では、ＭＢデータ毎にバッファフルネスを計算して、
このバッファフルネスの値に基づいて参照量子化幅が計
算される。

【００１１】一方、ブロック分割部５１から入力された
ＭＢデータに基づいて、アクティビティ計算部６０で
は、マクロブロックの絵柄や細かさを示すアクティビテ
ィを計算するようになっており、このアクティビティ
を、量子化幅決定部５７に出力する。

【００１２】尚、上記アクティビティは、マクロブロッ
クの画素値の分散によって計算される。このため、マク
ロブロックに平坦部が含まれる場合では、そのマクロブ
ロックのアクティビティは小さくなり、平坦部中にエッ
ジが含まれる場合には、アクティビティは大きくなる。

【００１３】上記量子化幅決定部５７の正規化部６１で
は、上記アクティビィを、前フレームの量子化幅の平均
値を計算する平均値計算部６３により得られた量子化幅
の平均値に基づいて、正規化して乗算部６２に出力す
る。そして、乗算部６２にて、上記参照量子化幅決定部
５９により得られた参照量子化幅を、正規化されたアク
ティビティによって補正して量子化幅を決定する。

【００１４】

【発明が解決しようとする課題】ところが、上記の画像
符号化装置では、量子化幅を決定するために、ＭＢデー
タ毎に参照量子化幅を計算し、また、ＭＢデータのアク
ティビティを計算する必要がある。このため、上記参照
量子化幅決定部５９では、ＭＢデータ毎にバッファフル
ネスを計算したり、マクロブロックの全ての画素にアク
セスしなければならず、量子化幅決定のための演算量が
多くなるという問題が生じている。

【００１５】また、上記アクティビティは、マクロブロ
ックの画素値の分散によって計算されているので、平坦
部中にエッジが含まれる時、マクロブロックのアクティ
ビティが大きくなり、それ故、次回のマクロブロックの
アクティビティが小さくなり、量子化幅が大きくなる。
ところが、「１９９２年テレビジョン学会年次大会２０
−２」にて報告された『画像符号化における量子化制御
の手法』で指摘されているように、符号化による劣化は
平坦部で目立ちやすいので、量子化幅が大きくなると画
質の劣化がよりいっそう目立つという問題が生じてい
る。

【００１６】本発明は、上記問題点に鑑みなされたもの
であって、その目的は、マクロブロックの画素を間引い
て少なくすることで、量子化幅決定のための演算量を低
減させるとともに、平坦部での画質の劣化を低減させる
画像符号化装置を提供することにある。

【００１７】

【課題を解決するための手段】本発明の画像符号化装置
は、上記課題を解決するために、１フレームの画像デー
タを、所定数の画素からなるマクロブロックに分割し、
マクロブロック単位で量子化して符号化する画像符号化
装置であって、上記マクロブロックの画素を間引く画素
間引き手段と、この画素間引き手段によって画素の間引
かれたマクロブロックからアクティビティを決定するア
クティビティ決定手段と、前フレームまでの符号化デー
タをもとに、量子化幅決定手段により得られる量子化幅
の参照値を決定する参照量子化幅決定手段と、この参照
量子化幅決定手段により決定された参照量子化幅を、上
記アクティビティ決定手段にて得られたアクティビティ
によって補正し、量子化幅を決定する量子化幅決定手段
とが設けられていることを特徴としている。

【００１８】

【作用】上記の構成によれば、所定数の画素を有するマ
クロブロックから画素を間引くことで、アクティビティ
を求める際にアクセスする画素数を低減させることがで
きる。これにより、アクティビティ決定手段での演算量
を低減させることができるので、量子化幅を決定するた
めの全体の演算量を低減させることができる。

【００１９】また、画素値の分散によってアクティビテ
ィを決定している場合、平坦部中にエッジが含まれると
きには、アクティビティは大きくなるが、画素が間引か
れて減少しているので、アクティビティを、従来のよう
に全画素にアクセスしてアクティビティを求めるときよ
りも小さくすることができる。これにより、平坦部を含
むマクロブロックの量子化幅を小さくすることができる
ので、符号化による画像の歪みを目立たなくすることが
できる。

【００２０】したがって、量子化幅を求めるための演算
量を小さくすることができ、且つ、良好な画質を得るこ
とができる。

【００２１】

【実施例】本発明の一実施例について図１および図２に
基づいて説明すれば、以下の通りである。尚、本実施例
では、３種類のピクチャ、即ちフレーム内符号化のみを
行うＩピクチャ、時間的に前のフレームから予測符号化
を行うＰピクチャ、時間的に前後のフレームから予測符
号化を行うＢピクチャの３種類のピクチャに基づいて、
画像の高能率符号化を行う。

【００２２】本実施例にかかる画像符号化装置は、図１
に示すように、ブロック分割部１、予測部２、直交変換
部３、量子化部４、可変長符号化部５を備えている。

【００２３】上記ブロック分割部１は、入力された原画
像のデータを所定の画素数（１６×１６画素）からなる
マクロブロックに分割し、このマクロブロックの画像デ
ータ（以下、ＭＢデータと称する）を上記予測部２に出
力する一方、後述する画素間引き手段としての画素間引
き部６に出力するようになっている。

【００２４】上記予測部２には、図示しない逆量子化
部、逆直行変換部、動き補償部等が備えられており、ブ
ロック分割部１から入力された今回のＭＢデータを、他
のフレームから予測して、予測後のＭＢデータを直交変
換部３に出力するようになっている。

【００２５】即ち、上記予測部２では、上記量子化部４
により得られた前回の量子化されたＭＢデータを、逆量
子化部にて逆量子化し、逆直行変換部にて逆直行変換し
て、前回のＭＢデータの復元値（復元画像データ）を求
める。この復元画像データは、動き補償部にてフレーム
間予測の参照画像データとして用いられ、今回のＭＢデ
ータを予測するようになっている。

【００２６】また、上記直交変換部３は、予測後のＭＢ
データを、ＤＣＴ（discrete cosine transform ：離散
コサイン変換）等の２次元直交変換によって、符号化に
適したデータ（変換係数）に変換するようになってい
る。そして、この変換係数を、量子化部４に出力する。

【００２７】この量子化部４では、入力された変換係数
を、後述の量子化幅決定手段としての量子化幅決定部７
により得られた量子化幅によって量子化するようになっ
ている。この量子化幅によって、変換係数のとり得る値
の数（以後、レベル数と呼ぶ）が制御される。つまり、
量子化幅が大きいと、レベル数が減り、これによって、
可変長符号化部５での符号化データ量も減る。また、量
子化幅が小さいと、レベル数が増え、これによって、可
変長符号化部５での符号化データ量も増える。

【００２８】即ち、この量子化幅を制御することで、符
号化データ量を制御することができるので、これによっ
て、可変長符号化部５による符号化後のデータ転送速度
（以下、データレートと称する）を制御することができ
る。

【００２９】そして、上記量子化部４にて量子化された
変換係数は、可変長符号化部５に出力される一方、上記
予測部２に出力される。

【００３０】上記可変長符号化部５は、量子化された変
換係数を、可変長符号化し、この符号化された変換係数
（以下、符号化データと称する）を、図示しないバッフ
ァメモリに出力し、このバッファメモリから一定のデー
タレートで外部装置に転送される。また、この符号化デ
ータは、後述のビット割り当て部８に転送される。

【００３１】一方、上記画素間引き部６は、ブロック分
割部１から入力されたＭＢデータの画素を間引くように
なっている。例えば、このマクロブロックが横Ｘ画素、
縦Ｙ画素から成るとき、次式によって画素を間引く。

【００３２】 f'(i,j)=f(mi,nj) (0≦mi＜X ， 0≦nj＜Y) (1) ここで、ｆ’（ｉ，ｊ）は、間引かれたマクロブロック
の座標（ｉ，ｊ）の画素値、ｆ（ｘ，ｙ）は、マクロブ
ロックの座標（ｘ，ｙ）の画素値を示し、ｍ、ｎは自然
数である。

【００３３】したがって、上記（1)式により、マクロブ
ロックの座標（ｍｉ，ｍｊ）の画素値のみがサンプリン
グされる。例えば、ｍ＝ｎ＝２とすれば、マクロブロッ
クは、４分の１の大きさに間引かれることになる。

【００３４】尚、インタレース画像でｎ＝２とすれば、
間引かれたマクロブロックは、片方のフィールドの画素
値のみを含むことになり、これを避けるために、ｎ＝
１，３，…等と選ぶこともできる。あるいは、マクロブ
ロックを２つのフィールドに分離した後、それぞれのフ
ィールドに対し、次式によって画素を間引いても良い。

【００３５】 f'1(i,j)=f1(mi,nj) (0≦mi＜X ， 0≦nj＜Y/2) (2) f'2(i,j)=f2(mi,nj) (0≦mi＜X ， 0≦nj＜Y/2) (3) ここで、f1、f2は、マクロブロックのそれぞれ第１およ
び第２フィールドを示し、f'1 、f'2 は、間引かれたマ
クロブロックの、それぞれ第１および第２フィールドを
示している。

【００３６】そして、上記画素間引き部６によって画素
の間引かれたＭＢデータは、アクティビティ決定手段と
してのアクティビティ計算部１０に出力される。

【００３７】上記アクティビティ計算部１０は、マクロ
ブロック単位でアクティビティを求めるようになってお
り、ｊ番目のマクロブロックのアクティビティ act
_j は、次式によって求められる。

【００３８】 act_j =1＋ min(var_i,j ) (4) ここで、 var_i,j は、ｊ番目のマクロブロックを４つの
ブロックに分割したときのｉ番目のサブブロックの画素
値の分散値である。つまり、マクロブロックが16画素×
16画素からなれば、そのサブブロックは８画素×８画素
となり、その画素数は64個となり、この64個の画素に対
して上記の分散値が求められる。

【００３９】ところが、上記マクロブロックは、画素間
引き部６によって所定数の画素が間引かれているので、
16画素×16画素よりも少ない画素数となっている。した
がって、そのサブブロックの画素数も上記の８画素×８
画素より少なくなっている。

【００４０】即ち、アクティビティ act_j は、間引かれ
たマクロブロックを４つのサブブロックに分割し、各々
のサブブロックの画素値の分散の最小値から計算するよ
うになる。

【００４１】したがって、ここでのアクティビティの計
算量は、従来のアクティビティの計算量よりも少なくな
っている。

【００４２】尚、上記のアクティビティの計算は、画素
値の分散値の代わりに、画素値のダイナミックレンジを
用いても良い。あるいは、次式によって、間引かれたマ
クロブロックの画素値の分散またはダイナミックレンジ
を用いても良い。

【００４３】 act_j =var_j ＋1 (5) ここで、 var_j は、間引かれたマクロブロックの画素値
の分散またはダイナミックレンジである。

【００４４】このようにして求められたアクティビティ
は、量子化幅決定部７に出力される。

【００４５】上記量子化幅決定部７は、正規化部１１、
乗算部１２、平均値計算部１３を備えている。

【００４６】上記正規化部１１では、上記アクティビテ
ィ計算部１０により得られたアクティビティと、平均値
計算部１３により得られた量子化幅の平均値とで次式に
より正規化されたアクティビティNact_j を求める。

【００４７】 Nact_j ＝ (2act_j ＋avg)/( act_j ＋2avg) (6) ここで、avg は、平均値計算部１３により得られた量子
化幅の平均値である。但し、avg は、符号化の初期で
は、定められた初期値が設定されている。

【００４８】そして、正規化されたアクティビティNact
_j は、後述の参照量子化幅決定手段としての参照量子化
幅決定部９により得られた参照量子化幅とともに、乗算
部１２に出力される。

【００４９】上記乗算部１２では、参照量子化幅を、正
規化されたアクティビティNact_j にもとづいて補正し
て、量子化幅を決定するようになっている。そして、こ
の決定された量子化幅は、上記量子化部４に出力される
一方、平均値計算部１３に出力される。

【００５０】上記平均値計算部１３では、１フレーム分
の量子化幅の平均値を計算し、この量子化幅平均値を上
記ビット割り当て部８に出力するとともに、上記正規化
部１１に出力するようになっている。

【００５１】また、ビット割り当て部８は、可変長符号
化部５による前フレームまでの発生ビット数等の符号化
データと、可変長符号化部５に与えられたデータレート
とをもとに、これから符号化しようとするフレームに割
り当てるビット数を決定する。

【００５２】上記参照量子化幅決定部９は、前マクロブ
ロックまでの発生ビット数と、割り当てられたビット数
とをもとに、マクロブロック毎に参照量子化幅ｑ_j ^I 、
ｑ_j ^P 、ｑ_j ^B を決定する。

【００５３】ここで、j はマクロブロックの番号を表
し、I 、P 、B はピクチャのタイプを表す。例えば、I
ピクチャのj 番目のブロックにおける仮想バッファフル
ネスｄ_j ^I を次式によって求める。

【００５４】 ｄ_j ^I =ｄ₀ ^I ＋B _j-1 −(T_I (j-1))／MB cnt (7) 上式 (7)により得られた仮想バッファフルネスｄ_j ^I に
もとづいて、参照量子化幅ｑ_j ^I を次式によって求め
る。

【００５５】 ｑ_j ^I =3１ｄ_j ^I /r (8) ここで、ｄ₀ ^I は初期のバッファフルネスであり、前回
のＩピクチャを符号化したときの最後のバッファフルネ
スｄ_MBcnt ^I である。但し、初期値は、任意の定数であ
る。また、Ｂ_j はｊ番目のブロックまでに画像内で発生
した全ビット数、MBcnt は画像中のマクロブロックの総
数、ｒは反応パラメータである。

【００５６】上式 (7)は、各マクロブロックにＴ_I ビッ
トが均等に割り当てられたとしたとき、前マクロブロッ
クまでの割り当てビット数と実際の発生ビット数との差
を、仮想バッファフルネスに反映させている。

【００５７】したがって、上式 (7)および (8)によれ
ば、前マクロブロックまでの発生ビット数が大きいと仮
想バッファフルネスが大きくなり、これによって、参照
量子化幅が大きくなる。この結果、参照量子化幅決定部
９は、以降のフレームの発生ビット数を小さくするよう
に働く。一方、前マクロブロックまでの発生ビット数が
小さいと仮想バッファフルネスが小さくなり、これによ
って、参照量子化幅も小さくなる。この結果、参照量子
化幅決定部９は、以降のフレームの発生ビット数を大き
くするように働く。

【００５８】尚、Ｐピクチャ、Ｂピクチャにおいても同
様の方法によって参照量子化幅を決定する。

【００５９】ここで、上記参照量子化幅決定部９での参
照量子化幅の決定動作について、図２を参照しながら以
下に説明する。尚、ｊはマクロブロックの番号、Ｎは定
数、ｊ％ＮはｊをＮで割った余りを示す。

【００６０】まず、ｊ％Ｎが０であるか否かが判定され
る（Ｓ１）。ここで、ｊ％Ｎが０であれば、上記した
(7)式に基づいて、各ピクチャの仮想バッファフルネス
を求める（Ｓ２）。そして、この仮想バッファフルネス
に基づいて、 (8)式によって量子化幅を計算して、乗算
部１２に出力する（Ｓ３）。

【００６１】一方、Ｓ１でｊ％Ｎが０でないと判定され
れば、ｊ−１番目のマクロブロックをｊ番目のマクロブ
ロックの参照量子化幅として乗算部１２に出力する（Ｓ
４）。例えば、Ｉピクチャの参照量子化幅を次式によっ
て求める。

【００６２】 ｑ_j ^I ＝ｑ_j-1 ^I (9) 尚、以上のような量子化幅を求める計算は、Ｎマクロブ
ロックについて１回行われる。

【００６３】上記乗算部１２では、上述した決定動作に
より得られた参照量子化幅と正規化されたアクティビテ
ィNact_j とから次式によって量子化幅Ｑ_j ^I 、Ｑ_j ^P 、
Ｑ_j ^B を算出する。

【００６４】 Ｑ_j ^I = ｑ_j ^I ・Nact_j (10) Ｑ_j ^P = ｑ_j ^P ・Nact_j (11) Ｑ_j ^B = ｑ_j ^B ・Nact_j (12) 上記の構成において、画素間引き部６によって、マクロ
ブロックから画素が間引かれるので、アクティビティを
求める際にアクセスする画素数を低減させることができ
る。これにより、アクティビティ計算部１０での演算量
を低減させることができるので、量子化幅を決定するた
めの全体の演算量を低減させることができる。

【００６５】また、画素値の分散によってアクティビテ
ィを決定している場合、通常、平坦部中にエッジが含ま
れるときには、アクティビティは大きくなり、次回の量
子化幅が大きくなるが、本実施例では、アクティビティ
を計算する際にアクセスする画素数を少なくしているの
で、次回のアクティビティを、従来のように全画素に対
してアクセスし、アクティビティを求めたときよりも小
さくすることができる。これにより、ＭＢデータに、平
坦部が含まれている場合でも、次回の量子化幅を小さく
することができるので、符号化による画質の劣化を低減
させることができる。

【００６６】したがって、量子化幅を決定するための演
算量を小さくすることができ、且つ、良好な画質を得る
ことができる。

【００６７】尚、本実施例では、参照量子化幅決定部９
にて参照量子化幅を計算する際に、定数Ｎのマクロブロ
ックに１回だけ計算を行っているが、これに限定するも
のではなく、例えばＮを定数ではなく可変としても良
い。この場合、例えば、１フレームの符号化終了時に仮
想バッファフルネスを、予め定められた値と比較して、
この仮想バッファフルネスの方が大きければＮを小さく
し、そうでなればＮを変化させない。あるいは、このよ
うにＮを変化させる処理をＮマクロブロック毎に行って
もよい。

【００６８】また、本実施例では、１フレームの画像デ
ータを分割して得られるマクロブロックを、１６画素×
１６画素としているが、これに限定するものではない。

【００６９】

【発明の効果】本発明の画像符号化装置は、以上のよう
に、１フレームの画像データを、所定数の画素からなる
マクロブロックに分割し、マクロブロック単位で量子化
して符号化する画像符号化装置であって、上記マクロブ
ロックの画素を間引く画素間引き手段と、この画素間引
き手段によって画素の間引かれたマクロブロックからア
クティビティを決定するアクティビティ決定手段と、前
フレームまでの符号化データをもとに、量子化幅決定手
段により得られる量子化幅の参照値を決定する参照量子
化幅決定手段と、この参照量子化幅決定手段により決定
された参照量子化幅を、上記アクティビティ決定手段に
て得られたアクティビティによって補正し、量子化幅を
決定する量子化幅決定手段とが設けられている構成であ
る。

【００７０】これにより、アクティビティ決定手段での
演算量を低減させることができるので、量子化幅を決定
するための全体の演算量を低減させることが可能とな
る。また、平坦部を含むマクロブロックの量子化幅を小
さくすることができるので、符号化による劣化を低減さ
せることが可能となる。

【００７１】この結果、量子化幅を求めるための演算量
を小さくすることができ、且つ、良好な画質を得ること
ができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例の画像符号化装置のブロック
図である。

【図２】図１に示す画像符号化装置に備えられた参照量
子化幅決定部でのデータ処理のフローチャートである。

【図３】従来の画像符号化装置のブロック図である。

【符号の説明】

１ ブロック分割部 ４ 量子化部 ５ 可変長符号化部 ６ 画素間引き部（画素間引き手段） ７ 量子化幅決定部（量子化幅決定手段） ９ 参照量子化幅決定部（参照量子化幅決定手段） １０ アクティビティ計算部（アクティビティ決定手
段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/41 Ｂ

Claims (1)

【特許請求の範囲】
1. 【請求項１】１フレームの画像データを、所定数の画素
   からなるマクロブロックに分割し、マクロブロック単位
   で量子化して符号化する画像符号化装置であって、 上記マクロブロックの画素を間引く画素間引き手段と、 この画素間引き手段によって画素の間引かれたマクロブ
   ロックからアクティビティを決定するアクティビティ決
   定手段と、 前フレームまでの符号化データをもとに、量子化幅決定
   手段により得られる量子化幅の参照値を決定する参照量
   子化幅決定手段と、 この参照量子化幅決定手段により決定された参照量子化
   幅を、上記アクティビティ決定手段にて得られたアクテ
   ィビティによって補正し、量子化幅を決定する量子化幅
   決定手段とが設けられていることを特徴とする画像符号
   化装置。