JPH06507536A - 非常に低いデータ伝送レートにて画像を符号化する方法及びこの方法を実現する符号化／復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 非常に低いデータ伝送レートにて画像を符号化する方法及びこの方法を実現する 符号化／復号化装置本発明は、非常に低いデータ伝送レートにて画像を符号化す る方法及びこの方法を実現するための符号化／復号化装置に関する。

本発明は、特に、そのデータ伝送レートのレンジが８から１　６　Ｋ　ｂ　／　 ｓの間に入る低データ伝送レートのデジタル符号化複合化装置（コーディック， ＣＯＤＥＣ）の生成に関する。

これら符号化器においては、使用される主なコーディング（符号化）モード（ｃ ｏｄ　１　ｎｇｍｏｄｅ）は画像内コーディングモード（ｉｎｔｒａ−ｉｍａｇ ｅ　ｃｏｄｉｎｇ　Ｉｌｏｄｅ）及び動き補償（ｍｏｖｅＩｌｅｎｔ　ｃｏｍｐ ｅｎｓａｔｔｏｎ）を伴う画像間コーディングモード（ｉｎｔｅｒ−ｉｍａｇｅ 　ｃｏｄｉｎｇ　ｍｏｄｅｓ）である。ただし、画像内モードは、一方において 、これが伝送されるビットの数から見た場合に極端に割高であるという事実、そ して他方において、伝送された画像のシーケンスの変化（ｓｅｑｕｅｎｃｅ　ｃ ｈａｎｇｅｓ）が通常大きな問題を与え、これらが、例えば、バッファメモリの 記憶容量のオーバフローの原因となるために殆ど使用されない。

周知の符号化方法のなかで、例えば、“視覚的な電話通信のための符号化に関す るＣＩＴＴ専門家グループ：勧告Ｈ２６１バージョン１　１　／　１　９　８　 ９　（ＣＩＴＴｓｐｅｃｉａｌｉｓｔ　ｇｒｏｕｐ　ｏｎ　ｃｏｄｉｎｇ　ｒｏ ｔ　ｖｌｓｕａｌ　ｔｅｌｅｐｈｏｎｙ　。

Ｒｅｃｏａ＋Ｉｌｅｎｄａｔｉｏｎ　ｌｌ２［ｉｌ　ｖｅｒｓｉｏｎ　１１７１ ９８９）”において説明される標準的な方法は、確かに、これが時間領域内で差 分モード（ｄｌｒｆ’ｅｒｅｎｔｉａｌ　ｍｏｄｅ）にて動作し、また空間領域 内でコサイン変換によって動作するために非常に低いデータ伝送レートにて画像 を伝送するように最も良く設計された方法の一つである。差分画像間モード（ｄ ｉｔ’ｆｅｒｅｎｔｉａｌ　ｉｎｔｅｒ−ｉＩｌａｇｅ　ｍｏｄｅ）にて動作す ることの最も重要な長所は、冗長の低減、従って、符号化されるべき情報の量の 低減にある。コサイン変換による符号化のモードの使用は完全に相関のない画像 （ｔｏｔａｌ　Ｉｙｄｅｃｏｒｒｅｌａｔｅｄ　ｉｍａｇｅ）が供給されるとい う長所を持つ。

ただし、符号化器及び復号器内で行なわれる予測が空間領域内で起こるために直 接コサイン変換（ｄｉｒｅｃｔｃｏｓｉｎｅ　ｔｒａｎｓｒｏｒａ）及び逆コサ イン変換（ｉｎｖｅｒｓｅ　ｃｏｓｌｎｅ　ｔｒａｎｓｆ’ｏｒｓ）の両方を使 用することが必要である。

さらに、これは、画像をブロック及びマクロブロックに構造化することを必要と するが、このマクロブロックは、一例として、８×８サイズの４つの輝度ブロッ ク及び二つの色信号ブロックから構成される。一つの１６Ｘ１６輝度マクロブロ ックは、画像上では、使用されるサブサンプリングの理由から一つの８×８色ブ ロックと同−の表面積を表わす。動き補償（ｍｏｖｓｅｎｔ　ｃｏｍｐｅｎｓａ ｔｉｏｎ）に起因する高周波数内のアーティフィシャル効果（ａｒｔｉＮｃｉａ ｌ　ｅｆ’ｒｅｃｔ）を低減するため、及び予測ループ（ｐｒｅｄｉｃｔｉｏｎ 　１ｏｏｐ）内の量子化ノイズ（ｑｕａｎｔＨ’１ｃａｔｉｏｎｎｏｉｓｅ）を 低減するために符号化ループ内に低域フィルタが挿入される。係数の符号化の前 に、先験的アプローチ（ａ　ｐｒｉｏｒｌ　ａｐｐｒｏａｃｈ）における符号化 モードの選択が、早い順に（ｃｈｒｏｎｏｌｏｇｌｃａｌｌｙ）　、まず最初に 、動きの補償を行なったモードと画像間モードとの間で画像間差の測定値に基づ いて遂行され、次に、こうして採用されたモードと画像内モードとの間の選択が 伝送されるべきブロック内に含まれるグレイレベルのアクティビティ（ａｃｔｉ ｖＨｙ）或は分散（ｖａｒｉａｎｃｅ）の比較に基づいて行なわれる。

再生された前の画像を含む画像メモリは画像間予δ−１器及び動き補償画像間予 ｍｊ器を介して時間領域内で差分モードにて動作することを可能にする。バッフ ァメモリの満杯状態に従って、これら係数が量子化され、次に、レギュレーショ ンステージ（ｒｅｇｕｌａＮｏｎ　ｓｔａｇｅ）によって計算されたステップに て逆量子化（ｄｅｑｕａｎｔｌｒｉｅｄ）される。

可変長コーディングは符号語（ｃｏｄｅ讐ｏｒｄｓ）を伝送されるべき情報の統 計的特性に適合させる。レギュレーションの役割は伝送されるべき画像の内容の 符号化のための様々なパラメータが要求されるデータ伝送レートが保証されるよ うに展開されるようにすることにある。ビデオ多重化（マルチブレキシング、　 ｖｉｄｅｏ　ｍｕｌｔｉｐｌｅｘｌｎｇ）は、なかんずく、符号化された係数、 画像内コーディング語、画像間コーディング語、モード補償された（ｍｏｄｅｓ ｃｏｍｐｅｎｓａｔｅｄ）画像間コーディング語及び画像の様々な構造の同期語 を含む二進値列（ｂｉｎａｒｙ　ｔｒａｉｎ）を生成する機能を持つ。ただし、 このレギュレーションモードは満足のできる性能を持つが、常に、特に、第一の 画像の伝送時の初期化の際に、或は画像シーケンス内の観察される光景の変化の 際にバッファメモリのオーバフローが起こる危険性を持つ。このため画像の伝送 がこの危険性が存在する度に停止され、これは伝送された情報の完全性を害する こととなる。

本発明の目的は、上述した欠点を軽減することにある。

これを達成するために、本発明の課題は、テレビジョン画像のブロックの差分符 号化の方法にあるが、この方法は、伝送されるべき画像の現（ｃｕｒｒｅｎｔ） ブロックと、現ブロックの周辺に最も近接している、再生された現画像の４つの ブロックの中のいずれか一つとの間で最小限となるような各画素毎の差について 、これを符号化するステップを含み、この最も近接しているブロックがこれら４ つの中の符号化に対して現ブロックの最良の予ｉｌｌを与えるブロックであるこ とを特徴とする。

本発明の課題は、また、この方法を実現するための装置にある。

本発明による方法及び装置は、これらが画像内コーディングモードの使用を、例 えば、観察されている光景の突然の変化、シーケンスの最初の画像の伝送の際、 光景の変化の際、或は画像センサの利得の変動の際に、低減することを可能にす るという長所を持つ。画像内コーディング（ｉｎｔｒａ−Ｉｍａｇｅ　ｃｏｄｉ ｎｇ）モードに対する本発明に従うコーディングモードの代用は、ブロックの符 号化のコストのかなりの低減、及び変換された係数に対する量子化ステップの増 加の回避を可能にする。この発明はまた符号化器か定常状態体制（ｓｔｅａｄｙ −ｓｔａｔｅ　ｒｅｇｉｍｅ）での動作に向かって収斂する時間を短縮すること を可能にするという長所を持つ。

本発明のその他の特徴及び長所は図面を参照しながら以下の説明を読むことによ って明らかとなるものである。

第１図は本発明に従う符号化器の一つの実施例を示し；第２図は本発明に従う復 号器の一つの実施例を示し；そして 第３図は再生された隣接するマクロブロックの助けをかりての現マクロブロック の予７１Ｐｊのモードを図解する。

図１に示される本発明に従う符号化器（ｃｏｄｅｒ）は、例えば、テレビジョン カメラ３からのビデオ信号を取込むビデオ信号取込装置（ライン／ブロック変換 ）２と、伝送チャネル４との間に結合された、閉じた点線内に表わされる差分符 号化装置（ｄｉｆｆｅｒｅｎｔｉａｌ　ｃｏｄｉｎｇ　ｄｅｖｉｃｅ）１を含む 。差分符号化装置１は、周知の方法で、予測器（ｐｒｅｄ！ｃｔｏｒ）　５、量 子化器（Ｑｕａｎｔｌｆｌｅｒ）　６、伝送画像再生（再構築）装置（ｔｒａｎ ｓｍｉｔｔｅｄ　ｉｍａｇｅｓ　ｒｅｃｏｎｓｔｒｕｎｃｔｌ。

ｎ　ｄｅｖｉｃｅ）　７並びに可変長符号化装置（ｖａｒｉａｂｌｅ−１ｅｎｇ ｔｈｃｏｄｉｎｇ　ｄｅｖｉｃｅ））　８によって形成される符号割当器（ｃｏ ｄｅ　ａｌｌｏｃａｔｏｒ）を含む。伝送されるべきビデオ画像は、画像取込装 置２によって引算回路（ｓｕｂｔｒａｃｔｏｒ　ｃｉｒｃｕｉｔ）９の第１の入 力に加えられるが、この回路の他方の入力はループフィルタ（ｌｏｏｐ　ｒｉｌ ｔｅｒ）　１０を介して或はこれを介することなく画像予測器５の出力に接続さ れる。

引算回路９の出力は、コサイン変換計算装置（ｃｏｓ　１ｎｅｔｒａｎｓｒｏｒ ｉ　ｃａｌｃｕｌａｔｉｎｇ　ｄｅｖｉｃｅ）　１１を介して量子化器６の人力 に連結される。予測器５は予ｎ１値ｐを引き算回路９の第１の入力に引き渡す。

符号化されるべき各画像値Ｘは、その予測値ｐだけ低減されて、コサイン変換計 算装置１１によって変換された後に、量子化器６の入力に差（ｄｌｆｒｅｒｅｎ ｃｅ）　ｄ　−ｘ　−ｐの形式ニテ加えられる。

各量子化レベルに対して、符号割当器８は伝送チャネル４に伝送される前にバッ ファメモリ（ｂｕｆＴｅｒ■ｅ麿ｏｒｙ）１２内に格納される符号Ｃ１を対応さ せる。多重化回路（ｍｕｌｔｉｐｌｅｘｉｎｇ　ｃｉｒｃｕｉｔ）　１３はノ（ ・ソファメモ１）１２内への符号Ｃ１の伝送を行なう。量子化回路６の出力の所 で得られた量子化された信号は逆量子化回路（ｄｅｑｕａｎｔｉｒｉｃａｔｉｏ ｎ　ｃｉｒｃｕｉｔ）　１４及び逆コサイン変換計算袋Ｗ　（ｊｎｖｅｒｓｅ　 ｃｏｓｉｎｅ　ｔｒａｎｓｆ’ｏｒｍ　ｃａｌｃｕｌａｔｌｎｇ　ｄｅｖｉｃｅ ）１５を介して再生回路７の第１の入力に加えられる。再生回路７の第２の入力 は、予測回路５の出力、或はルート設定回路（ｒｏｕｔｉｎｇ　ｃｉｒｃｕｉｔ ）　１６を介してループフィルタ１０の出力に接続される。

画像再生回路７によって再生された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）画像サンプ ルは画像メモリ１７内に格納される。これらサンプルは、次に、動き補償装置（ ■ｏｖｅｓｅｎｔ　ｃｏ■ｐｅｎｓａｔ　ｉｏｎ　ｄｅｖｉｃｅ）　１８を通じ て予Δ−１回路５に加えられ、他方においては、再生された現画像に先行する各 再生画像をメモリ内に入れるために画像メモリ１９内に加えされる。

制御装置２０は、画像間（ｉ　ｎｔｅｒ−１ｓａｇｅ）コーディングモードと画 像内（ｉｎｔｒａ−１ｍａｇｅ）コーディングモードの切り替えを行なうことを 可能にする。現画像に先行する画像の再生画像を含む画像メモリ１９は、画像間 予測或は動き補償画像間予測を行うことによって時間領域内において差分モード （ｄｉｆｒｅｒｅｎｔｊａｌ　ｍｏｄｅ）にて動作することを可能にする。

バッファメモリ１２の満杯状態（ｒｌｌｌ　５ｔａｔｅ）に従って、これら係数 は量子化器６によって量子化され、逆量子化器］４によって速量子されるが、量 子化ステップはレギュレーンヨンステージ（ｒｅｇｕｌａｔｉｏｎ　ｓｔａｇｅ ）によって計算される。符号割当器８によって行われる可変長符号化は符号語（ ｃｏｄｅ　ｗｏｒｄｓ）を伝送されるべき情報の統計的特性（ｓｔａｔｉｓｔｊ ｃａｌ　ｐｒｏｐｅｒｔｉｅｓ）に適合させる。要素５から１９によって形成さ れるループが持つレギュレーションの役割（ｒｅｑｕｌａｔｌｏｎ　ｒｏｌｅ） は、伝送されるべき９画像の内容を符号化するための様々なパラメータが、要求 されるデータ伝送レートを提供するという観点から導き出されるようにすること である。マルチプレクサ１３によって行われるビデオ多重化は、とりわけ、符号 化された係数、画像内、画像間及び補償された画像間符号化モード並びに画像の 様々な構造に対する同期語（ｓｙｎｃｈｒｏｎｌｚａｔｌｏｎｗｏｒｄｓ）を含 む二進値列（ｂｉｎａｒｙ　ｔｒａｉｎ）を生成するための機能を持つ。

本発明によると、現画像内の画像間コーディングの第４のモードが前に説明され た３つのコーディングモードの間に挿入される。これは再生された現画像の画像 メモリ１７の使用によって特徴づけられ、図３に示されるように、現マクロブロ ックと、（−１６，０）、（−１６、−１６）、（０、−１６）、（＋１６、− １６）の現ブロックに対する位置オフセット、つまり水平軸上のｄｘ及び垂直軸 上のｄｙＯ所でそれぞれ再生された４つの画像の中で最も類似する、現画像に隣 接するマクロブロックと、の間に存在する差を符号化することを可能にする。

先行する再生マクロブロックとの関連で見た場合のエツジの所の決定の問題を解 決するためには、左上角の所に位置する第１のマクロブロックがこのモードによ って符号化できないこと、或は、第１のマクロブロックラインに対しては同一ラ イン（−１６，０）上の先行マクロブロックのみが考慮できること、或は、マク ロブロックの第１のカラムに対しては、位置（０、−１６）及び（＋１６、−１ ６）内のマクロブロックのみが考慮されるべきこと、或は、最後に、マクロブロ ックの最終カラムに対しては、（−１６，０）、（−１６、−１６）及び（Ｏｌ −１６）内のマクロブロックが考慮できることを、考慮することが必要である。

これら４つの符号化の可能性が存在するなかで、先験的アプローチ（ａ　ｐｒｉ ｏｒｌａｐｐｒｏａｃｈ）におけるコーディングモードの選択は、従って、符号 化されるべきマクロブロックと補償されたマクロブロックとの間に存在する差に 依存して現画像内の画像間補償モード（ｉｎｔｅｒ−Ｉｍａｇｅ　ｃｏｍｐｅｎ ｓａｔｅｄ　ｍｏｄｅ）とインク補償モード（ｉｎｔｅｒ　ｃｏｍｐｅｎｓａｔ ｅｄ　ｍｏｄｅ）との間の選択を行ない、次に、画像間差（ｉｎｔｅｒ−１ｓａ ｇｅ　ｄ１ｆｆ’ｅｒｅｎｃｅ）の測定に基づき補償モード（ｃｏｍｐｅｎｓａ ｔｅｄ　ｍｏｄｅ）と画像間モード（ｉｎｔｅｒ−ｉｍａｇｅ　ａｂｏｄｅ）と の間の選択を行ない、最後に、伝送されるべきブロック内に含まれるグレイレベ ル（ｇｒｅｙ　１ｅｖｅｌｓ）内のアクティビティ（ａｃｔｔｒｔｔｙ）或は分 散の比較によって以前に適合させた（前に採用された）モートと画像内モード（ ｉｎｔｒａ−１ｍａｇｅ　ｍｏｄｅ）との間の選択を行なうことによって達成さ れる。

Ｔ−１１ＦＩモードの選択の実現は、再生された現画像のメモリ１７及び再生さ れた先行する現画像の画像メモリ１９によって行なわれるが、これは、制御装置 ２０が伝送されるべき各々の現マクロブロックと再生された隣接するマクロブロ ックとの間の差を生成することを可能にする。

制御装置２０によって行なわれる再生された現画像のメモリ１７内のマクロブロ ックの選択は、従って、図３の隣接するマクロブロックと伝送されるべきマクロ ブロックとの間の最小の差を計算することによって得られる現マクロブロックの 最良の予測（ｂｅｓｔ　ｐｒｅｄｌｃｔｌｏｎ）に対応する。これは、新たな画 像シーケンスの初期化からの場合のように、非常に低コーディングコストでの現 画像内の画像間コーディングモードでの作業を可能にし、バッファメモリがオー バフローする危険性を排除する。追加の符号語の追加は他のモードからこの新た な予測モードを分離するために制御装置２０によって制御される。

対応する復号器が図２に示される。これは、バッファメモリ２１、逆量子化回路 ２３に結合された可変長符号語復号器２２及び逆コサイン変換計算回路２４を含 むが、要素２１．２２．２３及び２４はこの順番で直列に接続される。これはま た先行する画像に対する画像メモリに結合された現画像のメモリ２５を含む。画 像の再生のための回路２７は、第１の入力上に要素２１．２２．２３及び２４に よって復号された信号を受信し、第２の入力上に動き補償装置２８を通じて、そ しておそらくは低帯域フィルタ２９からメモリ２５に書き込まれた信号を受信す る。制御装置３０は復号器によって受信された符号語に基づいて動き補償器及び 画像メモリ２８．２５及び２６の制御を行ない、画像再生回路２７を画像間コー ディングモード、動きの補償を持つ画像間コーディングモード、画像内コーディ ングモード、或は各々の現ブロックと最も近い前に再生されメモリ２５内に格納 された他の４つとの間の差を符号化するためのモードのいずれかに置く。

これは、例えば、シーケンスの最初の画像の伝送、光景の変化、或は画像センサ の利得の変動に起因して観察されるように、光景が急激に変化したとき、変換さ れた係数に対する量子化のステップを減少することによって画像内コーディング モードの使用を制限し、こうして、符号化器と復号器による定常状態リジーム（ ｓｔｅａｄｙ−ｓｔａｔｅ　ｒｅｇｉｍｅ）での動作への収斂時間を制限するこ とを可能にする。

ＦＩＧ、１ ＦＩＧ、２

Claims (5)

【特許請求の範囲】
1. １．テレビジョン画像のブロックを差分符号化するための方法であって、この方 法が、伝送されるべき画像の現ブロックと、この現ブロックに最も近接する再生 された現面像（１７）の４つのブロックの中の１つとの間で最小限となるような 各画素毎の差について、これを符号化するステップ（９、１１、６、８）を含み 、４つのブロックの中の１つである、この最も近接するプロロックが符号化のた めに現ブロックの最良の予測を与えるブロックであることを特徴とする方法。
2. ２．画像メモリ（１７）内に現画像のブロックを格納するステップが含まれるこ とを特徴とする請求項１の方法。
3. ３．前記画像ブロックがコサイン変換によって符号化されることを特徴とする請 求の範囲１または２に記載の方法。
4. ４．請求の範囲１乃至３のいずれか１つに従う方法を実現するための装置であっ て、この装置が可変長符号化装置（８）に結合された量子化器（６）、予測器（ ５）及び第１の画像メモリ（１７）に結合された伝送された画像を再生するため の装置（７）を含む差分画像符号化装置から構成され、この装置が現画像に先行 する画像内に再生された画像ブロックを格納するための第２の画像メモリ（１９ ）を含むことを特徴とする装置。
5. ５．単純な“画像間”モード、“動きの補償を伴う画像間”モード及び“画像内 ”モードにおいての画像の符号化、並びに伝送されるべき画像の各々の現ブロッ クと現画像内の現ブロックに最も近い再生された４つのブロックの１つとの間の 差の符号化の実行を可能にするために予測器（５）を制御するための装置（２０ ）を含むことを特徴とする請求の範囲３に記載の装置。