JP3382292B2 - 画像符号化装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データを符号化す
る画像符号化装置及びその方法に関する。

【０００２】

【従来の技術】テレビ会議やテレビ電話のように音声と
画像を同時に双方向で伝送するシステムでは、画像のフ
ォーマットとして、例えばＣＣＩＴＴ勧告Ｈ．２６１に
従う共通フォーマットであるＣＩＦフォーマット又はＱ
ＣＩＦフォーマットが使用される。

【０００３】図２を参照して、ＣＩＦフォーマットの構
造を簡単に説明する。ＣＩＦフォーマットでは、輝度信
号Ｙのフレームは３５２画素×２８８ラインからなり、
色差信号Ｃｒ，Ｃｂのフレームは１７６画素×１４４ラ
インからなり、データ幅は８ビットである。

【０００４】１フレームの画像データが、ＧＯＢ（グル
ープ・オブ・ブロック）と呼ばれる１２個のブロックか
らなる。各ＧＯＢは、マクロブロック（ＭＢ）と呼ばれ
る３３個のブロックからなる。各マクロブロック（Ｍ
Ｂ）は、８画素×８ラインからなる６個のブロック（４
つのＹブロックと、１つのＣｂブロック及び１つのＣｒ
ブロック）からなる。

【０００５】符号化処理は、フレーム内ではＧＯＢ＃１
から＃１２の順、各ＧＯＢ内ではマクロブロック＃１か
ら＃３３の順、各マクロブロック内ではＹブロック＃１
から＃４、Ｃｂブロック及びＣｒブロックの順に行なわ
れる。

【０００６】ＱＣＩＦフォーマットは、図３に示すよう
に、ＣＩＦフォーマットの画素とラインをそれぞれ１／
２にしたものである。ＧＯＢは＃１，＃３，＃５のみと
なるが、それ以外はＣＩＦフォーマットと同じである。

【０００７】図４は、ＣＩＦフォーマット又はＱＣＩＦ
フォーマットでのブロック内の画素順を示す。

【０００８】どちらのフォーマットも、符号化伝送はＧ
ＯＢ単位である。ＧＯＢ＃１〜＃１２（ＱＣＩＦフォー
マットでは＃１，＃３，＃５）の順で、また、各ＧＯＢ
内ではＭＢ＃１〜＃３３の順となる。各ＭＢ内では、輝
度ブロック＃１〜＃４、Ｃｂブロック＃５及びＣｒブロ
ック＃６の順になる。

【０００９】動き補償、量子化ステップ・サイズ及び符
号化モードの選択はマクロブロック単位であり、ＤＣＴ
（離散コサイン変換）やフィルタ処理はブロック単位で
ある。符号化方式モードには、フレーム間符号化（ＩＮ
ＴＥＲ）モード、フレーム内符号化（ＩＮＴＲＡ）モー
ド及び動き補償付きフレーム間符号化（ＭＣ）モードが
あり、通常、これらが適応的に選択されるようになって
いる。

【００１０】フレーム間符号化（ＩＮＴＥＲ）は、図５
に示すように、処理ブロックの１枚前のフレームの、同
一画面位置のブロックとの差分をとり、その差分を符号
化する方法である。フレーム間の動きの無い物体に対し
ては差分が０になるので、非常に高い符号化効率を得る
ことができる。

【００１１】動き補償付きフレーム間符号化（ＭＣ）
は、図６に示すように、フレーム間での物体の動きを検
出し、前フレームの参照ブロックを動きに合わせて移動
するものである。フレーム間で物体に動きがあった場
合、現フレームには、前フレーム（参照フレーム）から
物体の動き分だけ離れた位置に、前フレームと類似する
画素データが存在することになる。そこで、前フレーム
と現フレームから物体の動きベクトルを推定し、似通っ
たブロックとの差分を符号化する。勿論、動きベクトル
も符号化して一緒に伝送する。動き補償フレーム間符号
化における予測誤差は、動き補償しない単純フレーム間
符号化における予測誤差よりも小さくなるので、動きの
大きな画像に対して効率良く符号化できる。しかし、あ
る程度以上に動きが大きくなると、逆に符号化効率が悪
化する。

【００１２】例えば、ＣＣＩＴＴ勧告Ｈ．２６１では、
１６画素×１６画素のマクロブロックに対して、４８画
素×４８画素の動きベクトル・サーチ・ウインドウを用
い、動きベクトルの水平成分及び垂直成分を、−１５〜
＋１５の整数で検出するとしている。

【００１３】フレーム内符号化（ＩＮＴＲＡ）は、図７
に示すように、前フレームを参照せずに、ブロック内の
データのみで符号化する方法であり、物体の動きが大き
過ぎるときや、シーン・チェンジなどのように前フレー
ムとの相関が弱いときに、用いられる。

【００１４】図８は、従来の画像符号化装置の概略構成
ブロック図を示す。入力端子１１０には、符号化しよう
とする画像データが入力する。この入力画像データは、
上述のＣＩＦフォーマット又はＱＣＩＦフォーマットに
なっている。１１２は、入力端子１１０からの画素デー
タと、フレーム間符号化（ＩＮＴＥＲ又はＭＣ）の場合
の予測値との予測誤差を算出する減算器、１１４は、入
力端子１１０からの画像データ（ａ接点）又は減算器１
１２の出力（ｂ接点）を選択するスイッチである。スイ
ッチ１１４はマクロブロック単位で切り換えられ、ＩＮ
ＴＲＡモードではａ接点に接続し、ＩＮＴＥＲモード又
はＭＣモードではｂ接点に接続する。

【００１５】１２０は、スイッチ１１４の出力を離散コ
サイン変換し、ＤＣＴ係数データを出力するＤＣＴ回
路、１２２はＤＣＴ回路１２０から出力されるＤＣＴ係
数データを、指定された量子化ステップ・サイズで量子
化する量子化回路、１２４は、量子化回路１２２の出力
を可変長符号化する可変長符号化回路、１２６は可変長
符号化回路１２４の出力をバッファリングする出力バッ
ファ、１２８は出力バッファ１２６の出力を外部に出力
する符号化画像データ出力端子である。

【００１６】１３０は、量子化回路１２２の出力を逆量
子化する逆量子化回路、１３２は逆量子化回路１３０の
出力を逆離散コサイン変換する逆ＤＣＴ回路である。１
３４は、ＩＮＴＥＲモード又はＭＣモードで逆ＤＣＴ回
路１３２の出力に予測値を加算して出力し、ＩＮＴＲＡ
モードでは逆ＤＣＴ回路１３２の出力をそのまま出力す
る加算器である。１３６は、動き補償フレーム間予測の
ためのフレーム・メモリであり、局部復号値である加算
器５８の出力を記憶する。

【００１７】１３８は、入力端子１１０から入力する画
像信号とフレーム・メモリ１３６に記憶される前フレー
ムの画像信号とをマクロブロック単位で比較して動きベ
クトルを検出する動きベクトル検出回路、１４０は、動
きベクトル検出回路１３８により検出された動きベクト
ルに従い、フレーム・メモリ１３６からの前フレームの
データをマクロブロック単位で画面内で移動させて動き
を相殺する動き補償回路、１４２は動き補償回路１４０
の出力をマクロブロック単位でフィルタリングするロー
パス・フィルタ、１４４は、ＩＮＴＥＲモード又はＭＣ
モードで閉成してフィルタ１４２の出力を加算器１３４
に印加し、ＩＮＴＲＡモードでは０値に接続して加算器
１３４に０値を印加するスイッチである。フィルタ１４
０の出力がフレーム間予測の予測値になり、減算器１１
２、及びスイッチ１４４を介して加算器１３４に印加さ
れる。

【００１８】１４６は、出力バッファ１２６からのバッ
ファ蓄積量信号に従い、量子化回路１２２の量子化ステ
ップ・サイズを制御し、また、ＩＮＴＲＡモード、ＩＮ
ＴＥＲモード又はＭＣモードの適応的な選択に従いスイ
ッチ１１４，１４４をマクロブロック単位で制御する符
号化制御回路である。

【００１９】図８の動作を簡単に説明する。入力端子１
１０には輝度データ及び色差データがマクロブロック単
位でそのブロック順（Ｙ，Ｙ，Ｙ，Ｙ，Ｃｂ，Ｃｒ）に
入力する。

【００２０】入力端子１１０に入力する画像データは減
算器１１２、スイッチ１１４のａ接点、及び動きベクト
ル検出回路１３８に入力する。減算器１１２は、入力端
子１１０からの画素データと、フィルタ１４２から出力
される予測値との差分（予測誤差）を算出し、スイッチ
１１４のｂ接点に出力する。符号化制御回路１４６は、
最初のフレームではスイッチ１１４をａ接点に接続する
が、以後のフレームでは、適応的なＩＮＴＲＡモード、
ＩＮＴＥＲモード及びＭＣモードの選択に従いマクロブ
ロック単位でａ接点又はｂ接点に接続する。

【００２１】スイッチ１１４の出力はＤＣＴ回路１２０
に印加され、ブロック単位でＤＣＴ変換される。即ち、
ＤＣＴ回路１２０は、ＩＮＴＲＡモードでは画素値その
ものをＤＣＴ変換し、ＩＮＴＥＲモード又はＭＣモード
では、予測誤差をＤＣＴ変換する。量子化回路１２２
は、符号化制御回路１４６からの量子化特性制御信号に
より指定される量子化ステップ・サイズで、ＤＣＴ回路
１２２からのＤＣＴ係数データを量子化する。

【００２２】可変長符号化回路１２４は、量子化回路１
２２の出力を可変長符号化し、出力バッファ１２６は、
可変長符号化回路１２４による可変長符号化データをバ
ッファリングして出力端子１２８に出力する。出力バッ
ファ１２６はまた、バッファ残量を監視し、バッファ残
量に関する情報を符号化制御回路１４６に通知する。

【００２３】符号化制御回路１４６はバッファ残量に従
って量子化回路１２２の量子化ステップ・サイズを制御
する。なお、量子化ステップ・サイズの変更タイミング
は、マクロブロック単位である。出力バッファ１２６の
データ量が多くなると、量子化ステップを小さくして可
変長符号化回路１２４の発生する符号量が少なくなるよ
うにし、出力バッファ１２６のデータ量が少なくなる
と、量子化ステップを大きくして可変長符号化回路１２
４の発生する符号量が多くなるようにする。

【００２４】逆量子化回路１３０は、量子化回路１２２
で選択されたのと同じ量子化ステップ・サイズで、量子
化回路１２２の出力を逆量子化し、ＤＣＴ係数の代表値
を出力する。逆ＤＣＴ回路１３２は、逆量子化回路１２
２の出力を逆離散コサイン変換する。符号化制御回路１
４６は、ＩＮＴＥＲモード又はＭＣモードの符号化ブロ
ックに対してはスイッチ１４４をフィルタ１４２の出力
に接続し、ＩＮＴＲＡモードでは’０’値に接続する。
従って、加算器１３４は、ＩＮＴＥＲモード又はＭＣモ
ードでは、逆ＤＣＴ回路１３２の出力に予測値（フィル
タ１４２の出力）を加算して出力し、ＩＮＴＲＡモード
では逆ＤＣＴ回路１３２の出力をそのまま出力する。加
算器１３４の出力は、フレーム・メモリ１３６に格納さ
れる。

【００２５】フレーム・メモリ１３６は通常、２フレー
ム分の記憶容量を具備し、加算器１３４の出力画素値
（即ち、局部復号値）を記憶する。動きベクトル検出回
路１３８は、入力端子１１０からの現フレームの画素デ
ータとフレーム・メモリ１３６に記憶される前フレーム
の画素データとを比較し、画像の動きを検出する。具体
的には、現フレームの処理中のマクロブロック付近を動
きベクトル・サーチ・ウインドウとして前フレームの画
素データをフレーム・メモリ１３６から読み出し、ブロ
ック・マッチング演算して動きベクトルを検出する。

【００２６】動き補償回路１４０は、動きベクトル検出
回路１３８で検出された動きベクトルに従い、その動き
を相殺するようにフレーム・メモリ１３６からの前フレ
ームの画素データを画面方向に移動する。フィルタ１４
２は、動き補償回路１４０により動き補償された前フレ
ームの画素データに対し、ブロック境界における不連続
性を緩和するフィルタ処理を施し、処理データを減算器
１１２及び、スイッチ１４４を介して加算器１３４に予
測値として供給する。

【００２７】

【発明が解決しようとする課題】上記従来例では、出力
バッファ１２６のデータ蓄積量に応じて量子化回路１２
２の量子化ステップ・サイズを変更する際、色成分と輝
度成分の両方を一括して変更する。色成分と輝度成分の
両方の量子化ステップ・サイズが一緒に大きくなった
り、小さくなったりするので、画像の劣化が目立ちがち
である。

【００２８】本発明は、このような欠点の無い画像符号
化装置を提示することを目的とする。

【００２９】また、テレビ電話やテレビ会議ではグラフ
などの静止画像、所謂書画画像を伝送することもあり、
その符号化にも上述の画像符号化装置を併用している。
書画画像を伝送する書画モードでは、従来、量子化ステ
ップ・サイズを１フレーム内で一括して小さく設定して
おり、発生符号量が膨大になり、符号化及び伝送に時間
がかかるという問題点があった。

【００３０】本発明は、このような問題点を解決する画
像符号化装置及びその方法を提示することを目的とす
る。

【００３１】

【課題を解決するための手段】本発明に係る画像符号化
装置は、画像データを入力する入力手段と、前記入力手
段によって入力された画像データに対して下位ｎビット
（ｎは自然数）を零に固定する丸め処理を行う処理手段
と、前記処理手段によって処理された画象データを周波
数成分に変換する変換手段と、前記変換手段によって変
換された画像データを量子化する量子化手段と、前記量
子化手段によって量子化された画像データを符号化する
符号化手段と、前記符号化手段によって符号化された画
像データを記憶する記憶手段と、前記記憶手段のデータ
占有量に応じて前記処理手段の丸め処理と前記量子化手
段の量子化処理を制御する制御手段とを有し、前記制御
手段は前記データ占有量が多くなるに従い、前記ｎを大
きくするように制御することを特徴とする。

【００３２】本発明に係る画像符号化方法は、画像デー
タを入力する入力ステップと、前記入力ステップで入力
された画像データに対して下位ｎビット（ｎは自然数）
を零に固定する丸め処理を行う処理ステップと、前記処
理ステップで処理された画象データを周波数成分に変換
する変換ステップと、前記変換ステップで変換された画
像データを量子化する量子化ステップと、前記量子化ス
テップで量子化された画像データを符号化する符号化ス
テップと、前記符号化ステップで符号化された画像デー
タを記憶媒体に記憶する記憶ステップと、前記記憶媒体
のデータ占有量に応じて前記処理ステップの丸め処理と
前記量子化ステップの量子化処理を制御する制御ステッ
プとを有し、前記制御ステップでは前記記憶媒体のデー
タ占有量が多くなるに従い、前記ｎを大きくするように
制御することを特徴とする。

【００３３】

【００３４】

【００３５】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００３６】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は、ＣＩＦ又はＱＣＩＦフォーマッ
トの画像データが入力する入力端子、１２は、減算器１
１２と同様に機能する減算器、１４は、スイッチ１１４
と同様に機能するスイッチである。

【００３７】１６は、入力端子１０に入力する画像デー
タが輝度成分データか色成分データかを検出する輝度／
色検出回路、１８は、制御信号に応じてスイッチ１４の
出力を再量子化（量子化ステップ・サイズの変換）する
変換回路である。検出回路１６及び変換回路１８が、本
実施例の主たる特徴部分である。

【００３８】２０は、変換回路１８の出力を離散コサイ
ン変換するＤＣＴ回路である。ＤＣＴ回路２０、量子化
回路２２、可変長符号化回路２４、出力バッファ２６、
出力端子２８、逆量子化回路３０、逆ＤＣＴ回路３２、
加算器３４、フレーム・メモリ３６、動きベクトル検出
回路３８、動き補償回路４０、ローパス・フィルタ４２
及びスイッチ４４は、それぞれ、図８の回路１２０〜１
４４と対応しており、回路１２０〜１４４と全く同じに
機能する。

【００３９】４６は全体を制御する符号化制御回路であ
り、出力バッファ２６からのバッファ蓄積量信号に従っ
た量子化回路２２の量子化ステップ・サイズの制御と、
ＩＮＴＲＡモード、ＩＮＴＥＲモード又はＭＣモードの
適応的な選択に従ったスイッチ１４，４４の制御は、符
号化制御回路１４６と同様である。本実施例では更に、
出力バッファ２６からのバッファ蓄積量信号に従い、変
換回路１８を制御する。出力バッファ２６はバッファ残
量を５０％以上、２５％以上、１２％以上、１２％未満
の４段階で検出し、符号化制御回路４６に通知するもの
とする。

【００４０】図９を参照して、変換回路１８の作用を詳
細に説明する。検出回路１６は、変換回路１８が現在処
理しようとするデータが輝度成分データか色成分データ
かを変換回路１８に通知する。図９では、入力端子１０
に入力する画像データは、９ビットで線形量子化されて
いるとする。

【００４１】検出回路１６の検出結果により、輝度デー
タでないとき（Ｓ１）、又は、輝度データであっても
（Ｓ１）、出力バッファ２６のバッファ残量が５０％以
上のときには（Ｓ２）、変換回路１８は、符号化制御回
路４６の制御信号に従い、スイッチ１４の出力をそのま
まＤＣＴ回路２０に印加する。

【００４２】輝度データであり（Ｓ１）、且つ、出力バ
ッファ２６のバッファ残量が５０％未満で２５％以上の
とき（Ｓ３）、変換回路１８は、符号化制御回路４６の
制御信号に従い、スイッチ１４の９ビット出力の下位２
ビットを丸め処理（又は切り捨て若しくは切り上げ）に
より’００’に固定する（Ｓ５）。例えば、スイッチ１
４の出力ビット列が０００１０００１０〜０００１００
１０１のとき、０００１０００１００に変換され、００
０１００１１０〜０００１０１００１のとき、０００１
００１０００に変換される。

【００４３】輝度データであり（Ｓ１）、且つ、出力バ
ッファ２６のバッファ残量が２５％未満で１２％以上の
とき（Ｓ４）、変換回路１８は、符号化制御回路４６の
制御信号に従い、スイッチ１４の９ビット出力の下位４
ビットを丸め処理（又は切り捨て若しくは切り上げ）に
より’００００’に固定する（Ｓ６）。例えば、スイッ
チ１４の出力ビット列が０００１１１０００〜００１０
００１１１のとき、００１００００００に変換される。

【００４４】輝度データであり（Ｓ１）、且つ、出力バ
ッファ２６のバッファ残量が１２％未満のとき（Ｓ
４）、変換回路１８は、符号化制御回路４６の制御信号
に従い、スイッチ１４の９ビット出力の下位６ビットを
丸め処理（又は切り捨て若しくは切り上げ）により’０
０００００’に固定する（Ｓ６）。

【００４５】このような変換又は再量子化により、有効
ビット数が少なくなり、バックグラウンド・ノイズや熱
雑音、並びに画面の変化によるフレーム間の時間的な高
周波成分が削減され、結果的に発生符号量が少なくな
る。出力バッファ２６の残量が回復するに連れ、量子化
ステップを細かくする。

【００４６】色データについても、同様の処理で再量子
化できることは明らかであるり、輝度データと色データ
で変換回路１８における削減ビット数又は再量子化の量
子化ステップを相違させれば、画質の劣化を目立たなく
することができる。

【００４７】次に、書画画像を符号化する場合を説明す
る。書画画像のように低階調でよい静止画の符号化で
は、画像内の文字をはっきりと読み取れるようにする必
要がある。輝度の細かな変化があると文字の明瞭度が低
下し、輝度の変化が急峻であれば文字の明瞭度が向上す
る。つまり、画像の明瞭度を下げずに発生符号量を少な
くするには、輝度データの量子化ステップを大きくすれ
ばよい。そこで本実施例では、書画モードのとき、符号
化制御回路４６は、変換回路１８を図１０に示すように
制御する。

【００４８】即ち、符号化制御回路４６は、外部からの
制御信号により書画モードか否かを知り、その結果を変
換回路１８に通知する。変換回路１８は、書画モードの
輝度データに対して（Ｓ１１，１２）、丸め処理により
下位４ビットを’００００’に固定する（Ｓ１３）。こ
れにより、輝度データのみ、量子化ステップ・サイズが
大きくなる。勿論、丸めの対象を下位２ビット又は下位
６ビットなどとしてもよい。

【００４９】このように、輝度データの有効ビット数を
少なくすると、画像の明瞭度を下げずに発生符号量を削
減できる。また、前フレームの画像との間に生じる輝度
データの揺らぎによる画像のちらつきも低減され、この
点で明瞭度が改善される。

【００５０】本実施例の主要な機能をソフトウエアによ
り実現できることは云うまでもない。

【００５１】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、画質をあまり損なうことなしに、
発生符号量を削減することができる。

【図面の簡単な説明】

【図１】 本発明の一実施例の概略構成ブロック図であ
る。

【図２】 ＣＩＦフォーマットの階層構造図である。

【図３】 ＱＣＩＦフォーマットの階層構造図である。

【図４】 基本となるブロックの画素順を示す図であ
る。

【図５】 フレーム間符号化の説明図である。

【図６】 動き補償フレーム間符号化の説明図である。

【図７】 フレーム内符号化の説明図である。

【図８】 従来例の概略構成ブロック図である。

【図９】 変換回路１８の動作フローチャートである。

【図１０】 書画モードでの変換回路１８の動作フロー
チャートである。

【符号の説明】

１０：入力端子 １２：減算器 １４：スイッチ １
６：輝度／色検出回路 １８：変換回路 ２０：ＤＣＴ
回路 ２２：量子化回路 ２４：可変長符号化回路 ２６：出力バッファ ２８：出力端子 ３０：逆量子化
回路 ３２：逆ＤＣＴ回路 ３４：加算器 ３６：フレ
ーム・メモリ ３８：動きベクトル検出回路 ４０：動き補償回路 ４２：ローパス・フィルタ ４
４：スイッチ ４６：符号化制御回路 １１０：入力端
子 １１２：減算器 １１４：スイッチ １２０：ＤＣ
Ｔ回路 １２２：量子化回路 １２４：可変長符号化回
路 １２６：出力バッファ １２８：出力端子 １３
０：逆量子化回路 １３２：逆ＤＣＴ回路 １３４：加
算器 １３６：フレーム・メモリ １３８：動きベクト
ル検出回路 １４０：動き補償回路 １４２：ローパス
・フィルタ １４４：スイッチ １４６：符号化制御回
路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 画像データを入力する入力手段と、 前記入力手段によって入力された画像データに対して下
   位ｎビット（ｎは自然数）を零に固定する丸め処理を行
   う処理手段と、 前記処理手段によって処理された画象データを周波数成
   分に変換する変換手段と、 前記変換手段によって変換された画像データ を量子化す
   る量子化手段と、 前記量子化手段によって量子化された画像データを符号
   化する符号化手段と、 前記符号化手段によって符号化された画像データを記憶
   する記憶手段と、 前記記憶手段のデータ占有量に応じて前記処理手段の丸
   め処理と前記量子化手段の量子化処理を制御する制御手
   段とを有し、前記制御手段は前記データ占有量が多くな
   るに従い、前記ｎを大きくするように制御することを特
   徴とする画像符号化装置。
2. 【請求項２】 画像データを入力する入力ステップと、 前記入力ステップで入力された画像データに対して下位
   ｎビット（ｎは自然数）を零に固定する丸め処理を行う
   処理ステップと、 前記処理ステップで処理された画象データを周波数成分
   に変換する変換ステップと、 前記変換ステップで変換された画像データ を量子化する
   量子化ステップと、 前記量子化ステップで量子化された画像データを符号化
   する符号化ステップと、 前記符号化ステップで符号化された画像データを記憶媒
   体に記憶する記憶ステップと、 前記記憶媒体のデータ占有量に応じて前記処理ステップ
   の丸め処理と前記量子化ステップの量子化処理を制御す
   る制御ステップとを有し、前記制御ステップでは前記記
   憶媒体のデータ占有量が多くなるに従い、前記ｎを大き
   くするように制御することを特徴とする画像符号化方
   法。