WO2001063938A1 - Video encoding apparatus and video encoding method - Google Patents

Description

明 細 書

映像符号化装置及び映像符号化方法 技術分野

こ の発明は、 ディ ジタル動画像の信号を符号化する映像符 号化装置に係り 、 特に、 ディ ジタル動画像等の映像信号を所 定の符号化方式で信号処理する際に信号処理されたビッ トス ト リ ームに所定のスタ ッフイ ングビッ トを挿入する映像符号 化装置に関する。 背景技術

一般に、 ビデオ信号、 即ち、 映像信号を符号化する映像符 号化装置では、 映像信号を所定の方式で符号化して所定の符 号量を有する単位に区分され、 こ の単位を有する ビ ッ ト ス ト リ ームを出力 しなければな らないと されている。 即ち、 ビッ ト ス ト リ ームを受ける受信側の複号化装置におけるバッ ファ において、 オーバーフロー、 或いは、 アンダーフ ローが生じ ないよ う にするために、 ビッ トス ト リ ームの出力側の符号化 装置においては、 そのビッ ト ス ト リ ーム の符号量が制御され る こ とが要求されている。 こ のオーバー フ ロ ーを防ぐ一般的 な方法と しては、 量子化パラメ ータの制御及び符号化フ レー ム の制御等があ り 、 これらの制御によって符号量が所定の符 号量に調整されている。 また、 アンダーフ ローを防ぐ方法と しては、 ス タ ッ フイ ングを挿入する方法がある。 こ の方法で は、 受信側における復号処理で捨て去られる冗長ビッ トがス タ ツ フィ ングと してビッ ト ス ト リ ームの所定の箇所に揷入さ れる。 尚、 スタ ッ フイ ング自体は、 揷入を意味し、 スタ ッフ イ ングの挿入は、 正確にはス タ ッ フイ ングビッ ト の揷入を意 味している。 （単に省略してス タ ッ フイ ングの挿入と表現さ れるこ と もある。 ）

映像信号符号化方式と して近年 M P E G - 4 が提案され、 実 用化されつつある。 この M P E G- 4 の規格においては、 一例 と してマク ロブロ ック M B (Macro-block) 単位でスタ ッ フィ ングが挿入される。 （こ のマク ロブ口 ッ ク M B単位で挿入さ れたス タ ッ フ ィ ン グは、 M B ス タ ッ フ ィ ン グ と 称せ られ る。 ） M B スタ ッ フイ ングであれば、 マク ロ ブロ ッ ク M Bの 符号化方法が特定され、 その符号化方法は、 M B タイ プと し て定義される。 M B タイ プでは、 イ ン ト ラ （ I n t r a ) 、 或いは、 イ ンター （ I n t e r ) 、 差分量子化スケール （ D Q u a n t ) の有無を表す M B タイ プが現れるまで何個でも 繰 り 返しス タ ッ フイ ングビッ ト を揷入する こ と ができ る。 尚、 揷入するス タ ッ フ イ ングビッ ト の 1 単位は、 9 ビッ ト の符号 列に定められている。

前述したよ う に、 ス タ ッ フイ ングは、 復号化装置における バッフ ァアンダーフローを防ぐための方法であ り 、 通常、 ビ ッ トス ト リ ーム中でマク ロプロ ッ ク M B (M B ) 毎に不足し ている符号量が求め られ、 その符号量に相当する M B ス タ ッ フイ ングが実施される。 即ち、 映像信号が所定の方式で信号 処理され、 この信号処理された信号が可変長符号化処理され、 可変長符号化処理された信号の発生符号量が所定の符号量に 達していない場合において、 ス タ ッフィ ングが実行される。 このス タ ッ フ イ ングにおいて、 挿入すべき符号量は、 その不 足している符号量が求め られ、 その符号量に対応するスタ ツ フイ ングがなされる。

M B情報が可変長符号化された後、 ビッ トス ト リ ームにマ ク ロブロ ック M B ( M B ) スタ ッフイ ングを揷入するには、 可変長符号化処理されたマク ロブ口 ック M B毎にスタ ッフィ ングを挿入する方法が考えられる。 このため、 ビッ トス ト リ ームを送信する送信バッファの前段にスタ ッフィ ングを揷入 するための装置を追加するこ とが必要と される。 この追加す る装置と しては、 例えば、 M Bスタ ッフイ ングを有しないビ ッ トス ト リ ームを一時的に格納するノ ッファ、 或いは、 ビッ トス ト リ ーム中に M Bスタ ッフイ ングを挿入可能なよ う にそ の揷入箇所を示す装置が予想される。

ビッ トス ト リ ーム中に M Bスタ ッフイ ングを挿入するには、 バッファ と してのメモ リ が必要され、 この装置の消費電力が 大き く なる問題点がある。 また、 追加する装置を必要とする こ とから、 回路が大き く な り 、 消費電力も増大し、 信号処理 に遅延が生じる虞がある問題がある。

発明の開示

この発明の 目的は、 可変長符号化処理前に符号化すべきデ ータに対してスタ ッフイ ング量を推定し、 この符号化すべき データにスタ ッフィ ングを挿入して符号化するこ とが可能な 映像符号化装置及び映像符号化方法を提供するにある。

また、 この発明の目的は、 符号化すべきデータにスタ ッ フ ィ ングが挿入 された後に可変長符号化処理がなされる こ と で、 回路を増やすこ となく 、 また、 遅延を生じさせるこ となく 、 所定のビッ トス ト リ ームを出力するこ とができる映像符号化 装置及び映像符号化方法を提供するにある。

この発明によれば、

ある単位の映像信号をこの映像信号を構成するプロ ッ ク毎 に直交変換し、 量子化してプロ ッ ク情報生成する信号処理手 段と、

こ のブロ ッ ク情報を一定の方式に従って統合して統合情報 を生成する統合手段と、

こ の統合情報のブロ ッ ク情報に対してブロ ッ ク情報毎に可 変長符号化する符号化手段と、

から構成される映像符号化装置において、

前記統合されたプロ ッ ク情報から可変長符号化後の発生符 号量を推定してブロ ク毎に揷入すべきス タ ッ フ ィ ングビッ ト を算出する推定算出手段を具備し、 前記統合手段においてこ の算出されたス タ ッ フイ ングビッ ト を統合情報の所定の箇所 に揷入させ、 前記符号化手段にこ のス タ ッ フイ ングビッ トが 付加されたプロ ッ ク情報を可変長符号化させる映像符号化装 置が提供される。

この発明によれば、 上述した発明において、

前記推定算出手段は、

前記信号処理手段から出力 される符号化前プロ ック情報に 含まれる量子化 D C T係数をカ ウン トする第 1 のカ ウン ト手 段と、

前記符号化手段から出力される符号化された符号列の発生 符号量をカ ウン トする第 2のカ ウン ト手段と、

第 1 及び第 2 のカ ウン ト手段からの出力に基づいて前記ブ ロ ッ ク情報を符号化した際のプロ ッ ク情報の平均符号語長を 算出する平均符号語長算出手段と、

前記信号処理手段から前記統合手段に入力 されるあるプロ ッ ク情報が符号化された際の発生符号量の推定する推定手段 と、

を更に具備する映像符号化装置が提供される。

また、 この発明によれば、 上述した発明において、

前記推定手段は、

(平均符号語長） X (量子化 D C T係数の総数） の推定式 を基に発生符号量を推定する映像符号化装置が提供される。

更に、 こ の発明によれば、 上述した発明において、 前記平 均符号語長算出手段は、

前記第 2 カ ウン ト手段からの可変長符号化後の累積発生符 号量及び前記第 2 カ ウン ト手段からの前記統合情報内のプロ ック情報の量子化 D C T係数の総数から

(累積発生符号量） / (量子化 D C T係数の累積数） に基づ いて平均符号語長を算出する映像符号化装置が提供される。

更にまた、 この発明によれば、 上述した発明において、

前記推定算出手段は、

前記推定された発生符号量と前記第 2 の力 ゥン ト手段で 力 ゥン ト された符号量を累積した符号化累積数を比較してス タ ッ フィ ング量を決定するスタ ッフィ ング算出部を更に具備 する映像符号化装置が提供される。 また、 更にこの発明によれば、

ある単位の映像信号をこ の映像信号を構成するブロ ック 毎に直交変換し、 量子化してプロ ッ ク情報生成する信号処理 工程と、

このブロ ッ ク情報を一定の方式に従って統合して統合情報 を生成する統合工程と、

この統合情報のブロ ッ ク情報に対してプロ ッ ク情報毎に可 変長符号化する符号化工程と、

から構成される映像符号化方法において、

前記統合されたプロ ッ ク情報から可変長符号化後の発生符 号量を推定してブロ ク毎に挿入すべきス タ ッ フィ ングビッ ト を算出する推定算出工程を具備し、 前記統合工程においてこ の算出 されたス タ ッ フイ ングビッ ト を統合情報の所定の箇所 に揷入させ、 前記符号化工程において、 このスタ ッフイ ング ビッ トが付加されたプロ ッ ク情報を可変長符号化させる映像 符号化方法が提供される。

この発明においては、 複号化装置におけるバッファアンダ 一フローを防ぐために行う スタ ッフィ ングに関して、 新たに 追加する回路および処理が極力少ないので、 消費電力も抑え られ、 リ アルタイ ム性も保つこ と ができ る。 図面の簡単な説明

図 1 は、 この発明の一実施例に係る映像符号化装置の構成 を示すブロ ック図である。

図 2 は、 図 1 に示した信号処理部 1 0の構成を示すブロ ッ ク図である。

図 3 は、 図 1 に示された発生符号量推定部における処理を 示す機能ブロ ッ ク図である。

図 4は、 図 1 に示したスタ ッフイ ング量算出部 1 7 におい て、 目標ビッ ト レー ト T br、 目標フ レームレー ト T f r及び信 号処理部 1 0 で処理された信号処理済のマク ロブ口 ック M B (M B ) 数 Nmb(x)から 目標発生符号量 T code (X)を算出する 過程を示すフローチャー トである。

図 5 は、 図 1 に示したス タ ッ フイ ング量算出部 1 7 におい て、 図 1 に示された発生符号量カウン ト部 1 4でカ ウン ト さ れた可変長符号化済のマク ロブロ ック M B (M B ) の発生符 号量 C (x)、 図 4 に示された処理で求められた目標発生符号量 T code(x), 図 3 に示した処理で算出された推定発生符号量 E (X)からス タ ッフィ ング量 S (X)を求める過程を示すフローチ ヤー トである。

図 6 は、 ス タ ッフィ ングが挿入される場合におけるマク 口 プロ ック M B情報を符号化して図 1 に示される装置から出力 される ビッ トス ト リ ームに変換する過程及びマク ロプロ ック M Bのデータを含むビ ッ ト ス ト リ ームの構造を示す説明図で める。

図 7は、 ス タ ッ フ ィ ングが揷入されない場合におけるマク ロブロ ック M B情報を符号化して図 1 に示される装置から出 力される ビッ ト ス ト リ ームに変換する過程及びマク ロブロ ッ ク M Bのデータを含むビッ ト ス ト リ ームの構造を示す説明図 である。 図 8 A及ぴ 8 Bは、 ビデオオブジェク トプレーンの符号化 順序を説明する平面図及び符号化済みマク ロブロ ック M B と 符号化マク ロブ口 ック M B との関係を示す平面図である。

図 9 は、 この発明の変形実施例に係るスタ ッフイ ング量を 求める過程を示すフローチヤ一トであって、 図 1 に示したス タツフィ ング量算出部において、 発生符号量カ ウン ト部 1 4 でカウン ト された可変長符号化済のマク ロブ口 ック M B (M B ) の発生符号量 C (x)、 図 4 に示された処理と同様の処理で 求められる符号化ビデオパケッ トの目標符号量 T code (x)、 図 3 に示した処理と同様の処理で算出された符号化ビデオパケ ッ トの推定符号量 E (X)からビデオパケッ トに揷入されるスタ ッフイ ング量 S (X)を求める過程を示すフローチヤ一トである , 図 1 0 A、 1 0 B、 1 0 〇及び 1 0 0は、 この発明の変形 実施例に係る図 1 に示されるシステムから出力されるデータ パーティ ショ ユングモー ドにおけるのビッ ト.ス ト リ ームにス タ ツフイ ングが挿入されている場合のデータ構造を示す説明 図である。 . 発明を実施するための最良の形態

以下、 図面を参照してこの発明の一実施例に係る映像符号 化装置を説明する。

図 1 には、 こ の発明の一実施例に係る映像信号、 即ち、 ビ デォ信号を可変長符号化する映像符号化装置のプロ ッ ク 図が 示されている。 こ の図 1 に示される装置は、 こ の装置内の各 部を制御する装置制御部 2 0及びビデオオブジェク トプレー ン （ V O P ) の単位で、 付帯的には、 フ レーム或いはフ ィ ー ル ド単位で入力 されるディ ジタル化映像信号を所定の映像信 号圧縮方式 （M P E G- 4方式、 或いは、 I T U— T勧告の H . 2 6 3方式、 又は、 これらを変更した方式） に従って所定の ブロ ック 、 即ち、 マク ロブロ ック M B に分割 し、 マク ロプロ ック M B を信号処理して圧縮する信号処理部 1 0 を備えてい る。

この信号処理部 1 0 は、 図 2 に示される よ う に量子化 D C T係数 (Discrete Cosine Transform： 離散コサイ ン変換） 部 2 4及び量子化部 2 5 を含んでいる.。 制御装置 2 0 の制御に 従って入力 されたディ ジタル化映像信号は、 D C T部 2 4 に おいて、 フ レーム或いはフ ィ ール ドの最小単位であるマク ロ ブロ ック M B毎に直交変換、 即ち、 D C T演算され、 得られ た D C T係数が量子化部 2 5 において D C (直流） 成分及ぴ A C (交流） 成分毎に独立して量子化され、 量子化された D C T係数は、 テク スチャ （量子化 D C T係数） と して図 1 に 示されるシンタ ックス生成部 1 2に出力される。

図 2 に示される信号処理部 1 0 は、 更に量子化されたビッ ト ス ト リ ームを逆量子化する逆量子化部 2 6 、 逆量子化され た D C T係数を逆 D C T変換する逆 D C T部 2 7及びマク ロ プロ ック M B単位で次のフ レーム と比較する動き補償部、 即 ち、 M C (Motion Compensation) ¾ 2 9 力 ら構成されている。 この信号処理部 1 0 においては、 D C T係数が逆 D C T変換 されて符号 2 8 で示すよ う に複号化画像が再現され、 こ の復 号化画像が次に入力 される フ レーム或いはフ ィ ール ドとマク ロブロ ッ ク M B単位で M C部 2 9 において比較され、 その両 者の比較から動きベク ト ル及び予測参照画像がこ の M C部 2 9 カゝら出力される。 動きべク トルは、 テ ク ス チ ャ （量子化 D C T係数） と 同様に図 1 に示されるシンタ ッ ク ス生成部 1 2 に出力 される。 また、 予測参照画像は、 D C T変換される前 に次のフ レーム画像と比較されてその差分が D C T部 2 4 に おいて D C T変換され、 D C T係数が量子化されてマク ロブ 口 ック M B毎にシンタ ッ ク ス生成部 1 2 に出力される。

シンタ ッ ク ス生成部 1 2 においては、 入力 されたテク スチ ャ （量子化 D C T係数） 及び動きべク ト ルを含むマク ロ ブロ ッ ク M B ( M B ) 情報及び後に説明するス タ ッ フイ ング量か ら、 M P E G - 4 の規格に基づく 符号化モー ドに従ったシンタ ッ ク スが生成され、 こ の シンタ ッ ク ス が可変長符号化部 1 3 に入力される。 尚、 こ の符号化モー ドの制御は装置制御部 2 0で設定される。

シンタ ッ ク ス生成部 1 2 力 ら の シンタ ッ ク スは、 可変長符 号化処理部 1 3 において、 順次可変長で符号化され、 可変長 符号化された ビ ッ ト ス ト リ ームは、 送信バ ッ フ ァ 2 2 に与え られ、 装置制御部 1 0 で設定された 目標ビ ッ ト レー ト に従つ て送信される。

図 1 に示される映像符号化装置は、 更に量子化 D C T (離 散コサイ ン変換） 係数カ ウン ト部 2 1 、 可変長符号化処理部 1 3 、 発生符号量カ ウン ト部 1 4 、 平均符号語長算出部 1 5 、 発生符号量推定部 1 6及びス タ ッ フイ ング量算出部 1 7 を備 えている。 尚、 装置制御部 2 0 は、 これらの各部を制御する と共に装置に入力される映像信号を制御し、 装置が出力すベ き ビッ トス ト リ ームを制御している'。 こ こで、 ビッ トス ト リ ー ム の制御 と は、 目標 と なる発生符号量 （ 目 標 ビ ッ ト レー ト） 或いはフ レーム数 （ 目標フ レーム レー ト） の設定、 レー ト制御或いは誤り 耐性な どの符号化モー ドの設定等を含んで いる。

可変長符号化部 1 3 の出力は、 発生符号量カ ウン ト部 1 6 に与えられ、 この発生符号量カ ウン ト部 1 6 において、 その 符号量がカ ウン ト され、 そのカ ウン ト値がス タ ッ フイ ング量 算出部 1 7及び平均符号語長算出部 1 5 に与えられる。

量子化 D C T係数カ ウン ト部 2 1 には、 信号処理部 1 0 で 生成された M B情報に含まれる量子化 D C T係数がカ ウン ト され、 そのカ ウ ン ト値が平均符号語長算出部 1 5及び発生符 号量推定部 1 6 に与えられる。

平均符号語長算出部 1 5 は、 量子化 D C T係数カ ウン ト部 2 1 でカ ウ ン ト された量子化 D C T係数の累積数と発生符号 量カ ウン ト部 1 4 でカ ウン ト された符号量の累積数から、 量 子化 D C T係数の平均符号語長 Lを算出 し、 こ の平均符号語 長 L を符号量推定部 1 6 に与えている。 累積発生符号量を C sura, 量子化 D C T係数の累積数を N sumとする と、 平均符号 語長 Lは、 C sum/ N sumと なる。 こ こで、 平均符号語長と し て可変値ではな く 固定値を用いても良い。 例えば、 平均符号 語長と して固定値 L = 8 に定めても良い。 また、 累積数は、 ある フ レー ム の入力開始力 らその内の該当するマク ロブ口 ッ ク M B の処理までの発生符号量或いは量子化 D C T係数の総 数に相当 している。

発生符号量推定部 1 6 は、 図 3 に示すよ う に量子化 D C T 係数カ ウ ン ト部 2 1 でカ ウ ン ト される あるマク ロ プロ ッ ク M B の量子化 D C T係数 N coef と 、 平均符号語長算出部 1 6 で 算出 される量子化 D C T係数の平均符号語長 から、 当該マ ク ロ ブ口 ッ ク M B に関 して可変長符号化処理部 1 3 で発生さ れる と 予想される符号量の推定値を算出 している。 可変長符 号化処理部 1 3 において、 シ ンタ ッ ク ス生成部か らのシンタ ッ ク ス 出力が可変長符号化処理される前にこ の推定値が算出 される。

推定発生符号量 E (X)は、

E (x) = N coef X L

と なる。 こ こで、 Xは、 ビデオオブジェ ク トプレーン （ V O P ： V i d e o O b j e c t P l a n e ) 、 即ち、 フ レ 一ム或レヽはフ ィ ール ド内でのマク 口 プロ ッ ク M B の番号を示 す正の整数とする。

ス タ ッ フ イ ング量算出部 1 7 は、 装置制御部 1 0 で設定さ れる 目標 と なる発生符号量 （ 目標ビ ッ ト レー ト ） T br、 フ レ ーム数 （ 目 標フ レーム レー ト） T fr、 信号処理部 1 1 で得ら れる 1 フ レーム内における信号処理済のマク ロ ブロ ッ ク M B (M B ) 数 Nmb(x)から、 目標発生符号量 T code ）を算出 し ている。 こ こで、 予め定まっ ている 1 V O P 当た り のマク ロ ブロ ッ ク M B (M B ) の総数を Nvopとする と 、 目標発生符号 量 T code (x)は、

T code (x) = ( T br/ Τ fr) X ( Ν mb (χ) / Ν νορ) と なる。 こ こ で、 （ T br/ T fr) は、 1 フ レーム当た り の 目 標 ビッ ト レー ト 、 即ち、 1 ビデオオブジェ ク ト プレーン内に おけ る 目標符号量である。 また、 ( Nmb(x)/ N vop) は、 1 ビデオオブジェ ク トプレーン内における全体のマ ク ロ プロ ッ ク M B数に対する信号済マク ロ ブ口 ッ ク M B数の割合である。 この 目標発生符号量 T code(x)は、 上記式から明 らかなよ う に 信号処理の対象 と される X番 目 マ ク ロ ブ口 ッ ク M Bが符号化 された後に 1 ビデオオブジェ ク ト プレーン内において累積的 に発生されるべき 目標とする符号量と して定義される。

こ の 目標発生符号量 T code (X) と発生符号量カ ウ ン ト部 1

4 で得られる可変長符号化済のマク ロ ブロ ッ ク M Bの発生符 号量 C (X)を用いて、 現在符号化しているマク ロ ブ口 ッ ク M B

(以下、 符号化 M B と呼ぶ） の 目標発生符号量 Tmb(_X)が

x-1

Tmb (X) = Tcode (x)— C (i)

i=0

で算出される。 ただし、 C (0) = 0。

こ の 目標発生符号量 Tmb (x)と発生符号量推定部 1 6 で得ら ' れる推定発生符号量 E ）から予測、 即ち、 推定される不足符 号量 S (X)が以下の通 り に算出される。

( 1 ) 推定発生符号量 T mb (X)が 目標発生符号量 E ）よ り 小さいと き、

S (x) = T mb (x)一 E (x) if T mb (x) > E (x) とする。

( 2 ) 他方、 ί|定発生符号量 T mb (x)が 目 標発生符号量 E ）よ り 大きい場合、 S (x) = 0 if T mb (x) < = E (x)

とする。 この S (x)がスタ ッフイ ング量と な り 、 この値をシ ンタ ッ ク ス生成部 2 に与え られる。 尚、 こ のスタ ッ フイ ング 量は、 9 ビッ トを 1 単位と してその整数倍に定められる。

図 1 に示された映像符号化装置における動作について図 3 から図 8 Bを参照して説明する。

信号処理部 1 0 には、 図 8 Aに示すよ う にビデオオブジェ ク トプレーン内の画像信号が矢印で示すよ う に順次入力 され る。 この信号処理部 1 0 に映像信号が与え られる と 、 映像信 号は、 信号処理部 1 0 において、 図 6 及び図 7 に示すよ う に マク ロブ口 ッ ク M B単位で信号処理されてテク スチャ （量子 化 D C T係数） 及び動きべク トルを含むマク ロブロ ッ ク M B 情報が生成される。 テク スチャ （量子化 D C T係数） の D C T係数が D C T係数カ ウ ン ト部 2 1 でカ ウン ト されて符号量 が算出される。 D C T係数カ ウ ン ト部 2 1 でカ ウン ト された 符号量の累積値が量子化 D C T係数の累積数 N sumと して平均 符号語長算出部 1 5 に与えられる。 また、 マク ロブロ ッ ク M B情報を基に してシンタ ッ ク ス生成部 1 2 でシンタ ッ ク スが 生成され、 こ のシンタ ッ ク スが可変長符号化部' 1 3 で可変長 符号化される。 こ の符号化されたビッ ト ス ト リ ームの符号量 が発生符号量カ ウ ン ト部 1 4 でカ ウン ト され、 発生符号量の 累積値が累積発生符号量 C sumと して同様に平均符号語長算出 部 1 5 に与え られる。 この累積発生符号量 C sumは、 図 8 Bに 示すビデオオブジェク トプレーン内において斜線で示す領域 のマク ロ ブロ ッ ク M B を可変長符号化後に発生される発生符 号量の総数に相当する。

平均符号語長算出部 1 5 において、 与え られた累積発生符 号量 C sum及び量子化 D C T係数の累積数 N sumから、 平均符 号語長 L ( L = C sum/ N sum) が算出される。 こ の平均符号 語長 Lは、 発生符号量推定部 1 6 に与え られる.。 こ こで、 発 生符号量推定部 1 6 には、 マク ロブロ ッ ク M B毎の D C T係 数 N coefが量子化 D C T係数カ ウン ト部 2 1 から次々 と与え られる こ とから、 図 3 に示すよ う に推定発生符号量 E (x) ( E (x) = N coef X L ) が求められる。

推定発生符号量 E (_X)は、 スタ ッ フイ ング量算出部 1 7 に与 えられる。 こ のス タ ッ フイ ング量算出部 1 7 には、 装置制御 部 2 0 力、ら図 4 のステ ップ S 4 1 及ぴ S 4 2 で示すよ う に 目 標ビッ ト レー ト T br及び目標フ レーム レー ト T f r並ぴに 1 ォ ブジェ ク トプレーン V O P 当た り のマク ロブロ ッ ク M B (M B ) の総数を Nvopが与えられ、 また、 図 4 のステ ップ S 4 4 に示すよ う に信号処理部 1 0 から 1 ォブジェ ク トプレーン V 〇 Ρ内における信号処理済のマク ロブロ ック M B (M B ) 数 N mb (X)が与えられている。 従って、 ステップ S 4 3 に示すよ う に 1 ビデオオブジェ ク ト プレーン内における 目標符号量 ( T br/ T fr) が求め られ、 ステ ップ S 4 5 に示すよ う に 1 ビデオオブジェ ク トプレーン内における信号処理済マク ロブ ロ ッ ク M B (M B ) 率 （ N mb (X) Z N vop) が求め られる。 ス テ ツプ S 4 7 に示すよ う にこ の 目標符号量 .（ T br/ T fr) 及 び信号処理済マク ロ ブロ ッ ク M B (M B ) 率 （ Nmb(x) Z N vop) から次式で定め られる信号処理済みのマク ロプロ ック M Bの目標発生符号量 T code (x)が求められる。

T code (x) = (TbrZTfr) X ( Nmb (x) / N vop) この 目標発生符号量 T code (x)は、 x番目 のマク ロブロ ック M B を可変長符号化処理部 1 3 で符号化する場合、 X番目 の マク 口プロ ッ ク M Bまでに発生される、 符号化している ビデ ォォブジェク トプレーン V O P における 目標とする総符号量 に該当する。

図 5 のステ ッ プ 5 1 に示すよ う に こ の 目標発生符号量 T code(x)が定まる と、 発生符号量カ ウン ト部 1 4 から与えられ る可変長符号化済のマク ロブ口 ッ ク M Bの発生符号量 C ）と 比較され、 図 8 B に示すよ う にその差に相当する現在符号化 している X番目 のマク ロブロ ッ ク M B (M B ) の 目標とする 発生符号量 T mb (X)が求められる。

また、 ステ ップ S 5 4及びステ ップ S 5 6 に示すよ う に算 出された平均符号長 L及ぴ符号化マク ロブ口 ッ ク M Bの量子 化 D C T係数の総数 N coefからステ ップ S 5 5 に示すよ う に 符号化されたマク ロブロ ッ ク M B の推定符号量 E ( X ) が演 算 される。 ステ ッ プ S 5 7 で示すよ う に こ の発生符号量 T mb(x)と推定符号量 E ( X ) とが比較され、 推定発生符号量が 目標発生符号量よ り 小さいと きには、 ステップ S 5 8 に示す よ う にその差がスタ ッ フイ ングすべき量 S (X)と して設定され る。 この場合、 その量 S (X)を基準にスタ ッ フイ ングが図 6 に 示すよ う にマク ロブ口 ッ ク M B情報毎にマク 口 プロ ック M B タイ プ （M B タイ プ） と して挿入され、 そのマク ロブロ ッ ク M B情報が図 1 に示すよ う に可変長符号化処理.部で可変長符 号化され、 送信バッ ファ に出力 される。 これに対して、 ステ ップ S 5 9 に示すよ う に、 推定発生符号量 T mb (X)が 目標発生 符号量 E (X)よ り 大きい場合には、 図 7 に示すよ う にス タ ッ フ イ ングが挿入される こ と なく 、 図 7 に示すよ う にマク ロ プロ ック M B情報が可変長符号化される。

図 6 は、 マク ロブロ ッ ク M B にスタ ッ フイ ングが挿入され たマク ロブロ ッ ク M Bデータの構造を示 し、 図 7 は、 マク ロ ブロ ック M B にスタ ッフ ィ ングが挿入されてレヽないマク ロブ 口 ッ ク M Bデータの構造を示している。 マク ロ ブ口 ック M B データには、 可変長符号化されたマク ロプロ ック M B情報が 複数個連続して配置され、 図 6 に示すよ う にスタ ッ フィ ング、 動きべク ト ル （MV ) 及びテ ク ス チャ （量子化 D C T係数） の順序で各マク ロブ口 ッ ク M B情報が構成されている。 これ に対して、 図 7 に示す構造では、 ス タ ッ フイ ングが不要と さ れたこ と 力ゝら、 各マ ク ロ プロ ッ ク M B情報には、 動きべタ ト ル （MV ) 及びテク スチャ (量子化 D C T係数） のみが配置 されている。

尚、 1 オブジェク トプレーン内の全てのマク ロブロ ッ ク M Bが可変長符号化された後に、 量子.化 D C T係数カ ウン ト部 2 1 及び発生符号量カ ウ ン ト部 1 4 がク リ ア され、 再び次の ビデオオブジェク トプ レー ンの為の上述した処理が開始され る。

上述した実施例においては、 マク ロブロ ック M B (M B ) 単位で随時ス タ ッ フ ィ ングを揷入する方法を示したが、 すべ てのマ ク ロ ブ ロ ッ ク M B (M B ) に対してス タ ッ フイ ングす るか否かを決定してスタ ッフィ ングの必要がある毎にマク 口 ブロ ッ ク M B にス タ ッ フイ ングを揷入しなく と も良い。 例え ば、 ある時点まで符号化信号量の総数を計測 し、 ビデオォブ ジェク トプレーン （ V O P ) の最後列、 或いは、. 最後のマク ロブ口 ッ ク M B に対してのみスタ ッ フィ ングが上述の方法で 挿入されても良い。

また、 上述 した実施例においては、 マ ク ロ ブロ ッ ク M B (M B ) 単位でスタ ッフイ ングする方法を示したが、 M P E G - 4 で規定されている ビデオバケツ ト （VP: Video Packet)単 位でス タ ッ フ イ ングがなされても良い。 ビデオバケツ ト V P は、 ま と めて符号化する隣接する M B を少な く と も 1 つ含ん でいる。 ビデオパケッ ト V P単位でス タ ッ フイ ングを行 う場 合、 発生符号量も ビデオパケッ ト V P単位で推定する こ と に なる。 ビデオパケッ ト V P単位で発生符号量を推定する と、 推定精度は少 し落ちるが、 推定回数が減 り 、 全体の処理量が 減る ため リ アル タ イ ム処理に有効である。 また、 後記デー タ ' ノ 一テ ィ シシ ョ ニングモー ド (Data Partitioning Mode) の符号化では、 ビデオパケッ ト V P単位に可変長符号化処理 を行 う ので特に有効である。 具体的な変更は、 上記で設定し た M B番号 Xを V P番号 Xと し、 符号化 M B の 目標発生符号量 T mb ）を符号化 V P の 目標発生符号量 T vp ） とする。 推定 に関する計算はすべて同一である。

以下、 V P単位のスタ ッフイ ングの方法を M B単位の と き と変更がある箇所、 発生符号量推定部 1 6 と ス タ ッ フイ ング 量算出部 1 7 の動作について説明する。 発生符号量推定部 1 6 は、 図 9 のステ ップ S 9 6 で示され る量子化 D C T係数カ ウ ン ト部 2 1 で得られる数 N coef (j) (ビデオノ ケ ッ ト V P内のすべてのマク 口プロ ック M B の量 子化 D C T係数の総数） と、 図 9 のステ ップ S 9 4 で示され る平均符号語長算出部 1 6 で算出 される量子化 D C T係数の 平均符号語長 から、 図 9 のステ ップ S 9 5 で示される よ う に可変長符号化処理部 1 3 で発生される符号量の推定値 E ( X ) が可変長符号化処理前に算出される。

ビデオバケツ ト V P番号 j の V Pの推定発生符号量 E ( j)は、

E (j) = N coef (j) X L

と な る 。 た だ し、 jは、 ビデオオブ ジェ ク ト プ レー ン (VOP: Video Object Plane)内での ビデオノ ケ ッ 卜 V Pの番号 を示す正の整数とする。 X ( j ) は番号 j の ビデオパケ ッ ト V P に含まれる最後のマク ロブ口 ック M B の番号を示す正の 整数とする。

ス タ ッ フ イ ング量算出部 1 7 は、 装置制御部 2 0 で設定さ れる 目標ビ ッ ト レー ト T br、 目標フ レーム レー ト T fr、 信号 処理部 1 0 で得られる信号処理済の M B数 N mb (X ( j) )から、 図 9 の ス テ ッ プ S 9 1 に示す よ う に 目 標発生符号量 T code (x(j))を算出する。 こ こ で、 1 V O P あた り の総マク ロ ブロ ック M B (M B ) 数を Nvopとする と、 目標発生符号量 Τ code (x ( j) )は

T code(x(j)) = ( T br/ T fr ) X ( N mb(x(j)) / N vop)

と なる。 こ の T code (x (j) ).と 図 9 のステ ップ S 9 2 に示 される発生 符号量カ ウ ン ト部 1 4 で得られる可変長符号化済の V P の発 生符号量 C (j)を用いて、 ステ ップ S 9 3 に示される よ う に現 在符号化 している ビデオパケ ッ ト V P (以下、 符号化 V P と 呼ぶ） の 目標発生符号量 T vp(x(j))が

x(j-l)

T vp(j) = T code(x(j)) -∑C (i)

i = 0

と算出される。 ただし、 C (0) = 0。

この符号化ビデオバケ ツ ト V P の 目標発生符号量 T vp ( j) と 発生符号量推定部 1 6 で得られる推定発生符号量 E (j)からス テ ツプ S 9 7 に示される よ う に予測、 即ち、 推定される不足 符号量 S (j)が以下の通 り 算出される。

推定発生符号量が 目標発生符号量よ り 小さいと き、

S (j) = T vp(j) - E (j) if T vp(j) > Ε (j)

とする。 他方、 推定発生符号量が 目標発生符号量よ り 大き い場合、 ステップ S 9 7 に示すよ う に

S (j) = 0 if T vp (j) < = E (j)

とする。 この S (j)がス タ ッ フイ ング量と な り 、 この値をシ ンタ ッ クス生成部 2へと与える。

こ こで、 映像信号符号化方式 M P E G - 4 においては、 ステ ップ S 9 8 に示される よ う に ビデオパケ ッ ト V P のサイ ズに 上限がある。 そのため、 この不足符号量 S (j)を制限な しにス タ ツ フ イ ングと して揷入する と 、 ビデオバケ ツ ト V P のサイ ズの上限を超えて しま う こ と がある。 そ こで、 ビデオバケ ツ ト V Pのサイ ズの上限値 V P maxをも と に目標ビデオバケツ ト V P のサイズ V P target ( < V P max) を装置制御部 2 0 で設 定する。 この 目標ビデオパケ ッ ト V Pのサイ ズは、 ステ ップ S 9 9 に示される よ う にビデオバケツ ト V P のサイズの'上限 値 V P maxよ り 小さ く 、 かつ発生符号量の推定精度にも よるが 推定誤差を考慮した数値、 例えば、 上限値の半分に設定され る。

これらを考慮して、 ステップ S 9 9 に示すよ う にビデオパ ケッ ト V P単位に符号化を行 う場合のスタ ッ フ ィ ング量は、 前記不足符号量 S (j)と前記推定発生符号量 E (j)の和が 目標 V Pサイ ズが V P targetを超えないよ う に している。 つま り 符号化 V P の 目 標発生符号量 T vp(j) と 目標 V P サイ ズ V P targetを比較 して、 小さい値から符号化 V P の推定発生符号 量 E (j)を減算 した値をス タ ッ フイ ング量 S (j)とする。 こ の スタ ッフィ ング量 S (j)をシンタ ックス生成部 2 1 に与えてい る。

S (j) = S (j)

if T vp ( j) < = V P target

S (j) = V P target- E (j)

if T vp (j)〉 V P target、 且つ、 V P target > E

(j)

S (j) = 0 if V P targetく = E (j)

即ち、 ステ ップ S 1 0 1 に示すよ う に 目標 V Pサイ ズが V P targetを超えない場合には、 ス タ ッ フイ ング量 S (j)は、 目 標 V Pサイ ズと V P targetと の差に定め られる。 また、 ス テ ップ S 1 0 0 に示すよ う に 目標 V Pサイズが V P targetを超 え、 しかも、 推定発生符号量 E (j)が V P targetよ り も小さい 場合には、 ス タ ッ フイ ング量 S (j)は、 目標 V Pサイズと推定 発生符号量 E (j)と の差に定め られる。 また、 目標 V Pサイズ が V P targetを超え、 しかも、 推定発生符号量 E ( j )が V P targetよ り も小さい場合には、 ス タ ッ フイ ング量 S (j)は、 ゼ 口 と してス タ ッ フイ ングが与えられないこ と となる。

上述したス タ ッ フ ィ ング量を決定する方法は、 データパー ティ シ ョ ユング（Data Partitioning)モー ドにおける符号ィ匕方 法についても同様に適用するこ とができる。

図 1 0 A〜 1 0 D は、 データ ノ ーテ ィ シ ョ ユ ング （Data Partitioning)モー ドにおけるのビ ッ ト ス ト リ ームを示してい る。 データノヽ⁰ —テ ィ シ ョ ユ ング (Data Partitioning)モー ドの 符号化と は、 図 1 0 Dに示すよ う な 1 つ以上のマク ロブロ ッ ク M B のマク ロ ブロ ッ ク M B (M B ) 情報 （動きべク ト ルや テ ク スチャ （量子化 D C T係数） ） を

1 . (M Bタイプ及び動きベク トル）

2. (テク ス チャ）

と に統合して、 図 1 0 Cに示すよ う に可変長符号化する方 法である。 上記 1 と 2 は、 図 1 0 B に示すよ う にモーシ ョ ン マーカー（Motion Marker)を挿入し分割される。 前記の通 り ス タ ツ フ ィ ングビッ トは、 マク ロブロ ック M B (M B ) タイプ の位置に揷入される。 ビデオパケッ ト V P は、 図 1 0 Aに示 すよ う に互いに再同期マーカー（Resync Marker)によ り 区切ら れて レヽ る 。 こ の よ う な デー タ ノ ーテ ィ シ ョ ユ ン グ （Data Partitioning)モー ドにおけるの ビ ッ ト ス ト リ ームの構造にお いて も 同様に上述 した方法を適用 して図 1 0 B に示す M B ス タ ッ フ ィ ングの符号量が決定される。

尚、 図 1 0 Aに示すよ う に、 ノ ケ ッ ト のヘッダには、 再同 期マーカー、 マク ロ ブロ ッ ク M B番号、 量子化ス ケール及び H E C ( Header Extension Code) 等が記述され、 これに続い てマク ロ ブ口 ッ ク M Bデータが配置されている。 産業上の利用可能性

上述した よ う に、 こ の発明によれば、 可変長符号化処理前 にス タ ッ フ ィ ング量が推定され、 ス タ ッ フ ィ ングがな されて から可変長符号化処理がな される こ と で、 回路を増やすこ と な く 、 また遅延も生 じる こ と な く 、 所定の ビ ッ ト ス ト リ ーム を出力する こ と ができ る。 したがって、 ビッ ト ス ト リ ーム の 再構成のために、 新たなメ モ リ が必要と なる問題、 或いは、 処理量が増加する こ と によ り 遅延が生じ、 リ アルタ イ ム性を 損な う 問題を解消する こ と ができ る。

Claims

請 求 の 範 囲

1 . ある単位の映像信号をこの映像信号を構成するプロ ック 毎に直交変換し、 量子化してブロ ック情報を生成する信号処 理手段と、

このプロ ッ ク情報を一定の方式に従って統合して統合情報 を生成する統合手段と、

こ の統合情報のプロ ッ ク情報に対してプロ ッ ク情報毎に可 変長符号化する符号化手段と、

から構成される映像符号化装置において、

前記統合されたプロ ッ ク情報から可変長符号化後の発生符 号量を推定してブロ ク毎に挿入すべきス タ ッ フ ィ ングビッ ト を算出する推定算出手段を具備し、 前記統合手段においてこ の算出されたス タ ッ フイ ングビッ ト を統合情報の所定の箇所 に挿入させ、 前記符号化手段にこ のスタ ッ フイ ングビッ トカ S 付加されたプロ ッ ク情報を可変長符号化させる映像符号化装

2 . 前記推定算出手段は、

前記信号処理手段から出力 される符号化前プロ ッ ク情報に 含まれる量子化 D C T係数をカ ウン トする第 1 のカ ウン ト手 段と、

前記符号化手段から出力 される符号化された符号列の発生 符号量をカ ウン トする第 2のカウン ト手段と、

第 1 及び第 2 のカ ウン ト手段からの出力に基づいて前記プ ロ ッ ク情報を符号化した際のプロ ック情報の平均符号語長を 算出する平均符号語長算出手段と、 前記信号処理手段から前記統合手段に入力 されるあるプロ ック情報が符号化された際の発生符号量の推定する推定手段 と、

を更に具備する請求項 1 の映像符号化装置。

3 . 前記推定手段は、

(平均符号語長） X (量子化 D C T係数の総数） の推定式 を基に発生符号量を推定する請求項 2 の映像符号化装置。

4 . 前記平均符号語長算出手段は、

前記第 2 のカ ウン ト手段からの可変長符号化後の累積発生 符号量及び前記第 1 の力 ゥン ト手段からの前記統合情報内の プロ ック情報に関する量子化 D C T係数の総数から

(累積発生符号量） / (量子化 D C T係数の累積数）

に基づいて平均符号語長を算出する請求項 2 の映像符号化 装置。

5 . 前記推定算出手段は、

前記推定された発生符号量と前記第 2 のカ ウン ト手段で 力 ゥン ト された符号量を累積した符号化累積数を比較してス タ ツ フ ィ ング量を決定するス タ ッ フ イ ング算出部を更に具備 する請求項 2 の映像符号化装置。

6 . 前記ス タ ッ フイ ングビッ トは、 前記ブロ ック情報毎に付 加される請求項 1 の映像符号化装置。.

7 . 前記ス タ ッ フイ ングビッ トは、 前記ブロ ック情報の集合 に対して付加される請求項 1 の映像符号化装置。

8 . ある単位の映像信号をこの映像信号を構成するブロ ック 毎に直交変換し、 量子化してプロ ック情報生成する信号処理 工程と、

こ のプロ ッ ク情報を一定の方式に従って統合して統合情報 を生成する統合工程と、

この統合情報のブロ ッ ク情報に対してブロ ッ ク情報毎に可 変長符号化する符号化工程と、

から構成される映像符号化方法において、

前記統合されたプロ ッ ク情報から可変長符号化後の発生符 号量を推定してプロ ク毎に挿入すべきスタ ッ フ ィ ングビッ ト を算出する推定算出工程を具備し、 前記統合工程においてこ の算出されたス タ ッ フイ ングビッ ト を統合情報の所定の箇所 に挿入させ、 前記符号化工程において、 こ のス タ ッ フイ ング ビッ トが付加されたブロ ック情報を可変長符号化させる映像 符号化方法。

9 . 前記推定算出工程は、

前記信号処理工程において、 出力 される符号化前ブロ ック 情報に含まれる量子化 D C T係数をカ ウ ン トする第 1 のカ ウ ン ト工程と、

前記符号化工程において、 出力 される符号化された符号列 の発生符号量をカウン トする第 2 のカ ウン ト工程と、

第 1 及び第 2 の力 ゥン ト工程における出力に基づいて前記 ブロ ック情報を符号化した際のプロ ッ ク情報の平均符号語長 を算出する平均符号語長算出工程と、

前記信号処理工程から前記統合工程に入力 されるあるプロ ック情報が符号化された際の発生符号量の推定する推定工程 と、 を更に具備する請求項 8 の映像符号化方法。

1 0 . 前記推定工程では、

(平均符号語長） X (量子化 D C T係数の総数） の推定式 を基に発生符号量を推定する請求項 8 の映像符号化方法。

1 1 . 前記平均符号語長算出工程では、

前記第 2 カ ウン ト工程における可変長符号化後の累積発生 符号量及び前記第 1 カ ウ ン ト工程における前記統合情報内の ブロ ック情報に関する量子化 D C T係数の総数から

(累積発生符号量） / (量子化 D C T係数の累積数） に基づいて平均符号語長を算出する請求項 8 の映像符号化 方法。

1 2 . 前記推定算出工程では、

前記推定された発生符号量と前記第 2 のカ ウ ン ト工程に おいて力 ゥン ト された符号量を累積した符号化累積数を比較 してス タ ッ フ ィ ング量を決定するス タ ッ フ ィ ング算出工程を 更に具備する請求項 8 の映像符号化方法。

1 3 . 前記スタ ッ フイ ングビッ トは、 前記ブロ ッ ク情報毎に 付加される請求項 8 の映像符号化方法。

1 4 . 前記スタ ッ フイ ングビッ ト は、 前記ブロ ッ ク情報の 集合に対して付加される請求項 8 の映像符号化方法。