JP3521794B2 - データ符号化方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば符号化した
オーディオ及びビデオデータをそれぞれ所定時間内に再
生されるべきパック列としてユニット内に格納するデー
タ符号化方法及び装置に関し、特に、オーディオ及びビ
デオデータの符号化に先行して、それらの符号化データ
の符号量に相当する値から算出されるデータ長や開始ア
ドレスなどのナビゲーションデータを記述するような符
号化において、画質を安定に保ちながら実現することが
できるデータ符号化方法及び装置に関する。

【０００２】

【従来の技術】近年は、動画に対するデータ圧縮方式が
ＭＰＥＧ（Moving Picture Image Coding Expert Grou
p）方式として国際標準化されるに至っている。このＭ
ＰＥＧ方式は、映像データを可変圧縮する方式として知
られている。このＭＰＥＧ方式には、ＭＰＥＧ１（ＭＰ
ＥＧフェーズ１）やＭＰＥＧ２（ＭＰＥＧフェーズ２）
と呼ばれる圧縮方式が規定されている。

【０００３】具体的には、ＭＰＥＧは、幾つかの技術を
組み合わせて作成されており、先ず、入力画像信号から
動き補償器で復号化した画像信号を差し引くことで時間
冗長部分の削減を行う。

【０００４】予測の方法には、基本的なモードとして、
過去の画像からの予測を行うモードと、未来の画像から
の予測を行うモードと、過去と未来の両方の画像からの
予測を行うモードとの３モードが存在する。またこれら
のモードは、１６画素×１６画素のマクロブロック（Ｍ
Ｂ：Macroblock）毎に切り替えて使用できる。予測方法
は、入力画像に与えられたピクチャタイプ（Picture＿T
ype）によって決定される。ピクチャタイプには、片方
向ピクチャ間予測符号化画像（Ｐピクチャ：P-pictur
e）と、双方向ピクチャ間予測符号化画像（Ｂピクチ
ャ：B-Picture）と、ピクチャ内独立符号化画像（Ｉピ
クチャ：I-picture）がある。過去の画像から予測を行
って符号化するモードと予測をしないでそのマクロブロ
ックを独立に符号化するモードとの２つのモードが存在
するのが、Ｐピクチャ（片方向ピクチャ間予測符号化画
像）である。また、未来の画像からの予測を行うモード
と、過去の画像からの予測を行うモードと、過去と未来
の両方の画像からの予測を行うモードと、予測をしない
で独立に符号化するモードの４つのモードが存在するの
が、Ｂピクチャ（双方向ピクチャ間予測符号化画像）で
ある。そして、全てのマクロブロックを独立に符号化す
るのが、Ｉピクチャ（ピクチャ内独立符号化画像）であ
る。なお、Ｉピクチャはイントラピクチャと呼ばれ、こ
のため、片方向ピクチャ間予測符号化画像と双方向ピク
チャ間予測符号化画像は非イントラピクチャということ
ができる。

【０００５】動き補償では、動き領域をマクロブロック
毎にパターンマッチングすることによってハーフペル精
度で動きベクトルを検出し、その検出した動きベクトル
の動き分だけマクロブロックをシフトしてから予測す
る。動きベクトルは、水平方向と垂直方向の動きベクト
ルが存在し、何処からの予測かを示すＭＣ（Motion Com
pensation）モードとともにマクロブロックの付加情報
として伝送される。

【０００６】Ｉピクチャから次のＩピクチャの前のピク
チャまではＧＯＰ（Group Of Picture）と呼ばれ、蓄積
メディアなどで使用される場合には、一般に約１５ピク
チャ程度が１ＧＯＰとして使用される。

【０００７】図８には、ＭＰＥＧが適用されるオーディ
オビデオ符号化装置のうち、ビデオエンコーダの基本的
な構成を示している。

【０００８】この図８において、入力端子１０１には入
力画像信号が供給され、この入力画像信号は演算器１０
２と後述する動き補償予測器１１１に送られる。

【０００９】演算器１０２では、動き補償予測器１１１
にて復号化した画像信号と入力画像信号との差分が求め
られ、その差分画像信号がＤＣＴ器１０３に送られる。

【００１０】ＤＣＴ器１０３では、供給された差分画像
信号を直交変換する。ここでＤＣＴ（Discrete Cosine
Transform）とは、余弦関数を積分核とした積分変換を
有限空間への離散変換とする直交変換である。ＭＰＥＧ
ではマクロブロックを４分割した８×８のＤＣＴブロッ
クに対して、２次元ＤＣＴを行う。なお、一般に、ビデ
オ信号は低域成分が多く、高域成分が少ないため、ＤＣ
Ｔを行うと係数が低域に集中する。このＤＣＴ器１０３
でのＤＣＴによって得られたデータ（ＤＣＴ係数）は、
量子化器１０４に送られる。

【００１１】量子化器１０４では、ＤＣＴ器１０３から
のＤＣＴ係数を量子化する。この量子化器１０４におけ
る量子化では、量子化マトリックスという８×８の２次
元周波数を視覚特性で重み付けした値と、その全体をス
カラー倍する量子化スケールという値で乗算した値とを
量子化値として、ＤＣＴ係数をその量子化値で除算す
る。なお、当該ビデオエンコーダにて符号化された後の
符号化データを、後にデコーダ（ビデオ復号装置）で復
号して逆量子化するときは、そのビデオエンコーダにて
使用した量子化値で乗算を行うことにより、元のＤＣＴ
係数に近似している値を得ることができる量子化器１０
４にて量子化されたデータは、可変長符号化器（ＶＬ
Ｃ）１０５に送られる。

【００１２】ＶＬＣ１０５は、量子化器１０４からの量
子化データを可変長符号化する。このＶＬＣ１０５で
は、量子化された値のうち、直流（ＤＣ）成分に対して
は、予測符号化の一つであるＤＰＣＭ（differential p
ulse code modulation）を使用して符号化する。一方、
交流（ＡＣ）成分に対しては、低域から高域に向けてい
わゆるジグザグスキャン（zigzag scan）を行い、ゼロ
のラン長及び有効係数値を１つの事象とし、出現確率の
高いものから符号長の短い符号を割り当てていく、いわ
ゆるハフマン符号化を行う。また、このＶＬＣ１０５に
は、動き補償予測器１１１から動きベクトルと予測モー
ドの情報も供給され、当該ＶＬＣ１０５は、可変長符号
化データと共に、これら動きベクトルと予測モードの情
報をマクロブロックの付加情報として出力する。ＶＬＣ
１０５にて可変長符号化されたデータは、バッファメモ
リ１０６に送られる。

【００１３】バッファメモリ１０６では、ＶＬＣ１０５
からの可変長符号化データを一時蓄える。その後、この
バッファメモリ１０６から所定の転送レートで読み出さ
れた符号化データ（符号化ビットストリーム）は、出力
端子１１３から出力されることになる。

【００１４】また、その出力される符号化データにおけ
るマクロブロック毎の発生符号量情報は、後述する符号
量制御器１１２に送信される。この符号量制御器１１２
は、マクロブロック毎の発生符号量と目標符号量との差
分である誤差符号量を求め、当該誤差符号量に応じた符
号量制御信号を生成して量子化器１０４にフィードバッ
クすることにより、発生符号量制御を行う。当該符号量
制御のために量子化器１０４にフィードバックされる符
号量制御信号は、量子化器１０４における量子化スケー
ルを制御するための信号である。

【００１５】一方、量子化器１０４にて量子化された画
像データは、逆量子化器１０７にも送られる。

【００１６】この逆量子化器１０７では、量子化器１０
４からの量子化データを逆量子化する。この逆量子化に
より得られたＤＣＴ係数データは、逆ＤＣＴ器１０８に
送られる。

【００１７】逆ＤＣＴ器１０８は、逆量子化器１０７か
らのＤＣＴ係数データを逆ＤＣＴした後、演算器１０９
に送る。

【００１８】演算器１０９では、逆ＤＣＴ器１０８の出
力信号に動き補償予測器１１１からの予測差分画像を加
算する。これにより、画像信号が復元される。

【００１９】この復元された画像信号は、画像メモリ１
１０に一時蓄えられた後、読み出されて動き補償予測器
１１１に送られる。

【００２０】画像メモリ１１０から動き補償予測器１１
１に送られた画像信号は、演算器１０２にて差分画像を
計算するためのリファレンスの復号化画像を生成するた
めに使用される。

【００２１】動き補償予測器１１１では、入力画像信号
から動きベクトルを検出し、その検出した動きベクトル
の動き分だけ画像をシフトしてから予測を行う。この予
測によりえられた予測差分画像信号が、演算器１０２及
び１０９に送られることになる。また、動き補償予測器
１１１にて検出された動きベクトルは、予測モード（Ｍ
Ｃモード）の情報と共に、ＶＬＣ１０５に送られる。

【００２２】なお、上述のように差分画像信号の符号化
を行うのはＰピクチャ及びＢピクチャの場合であり、Ｉ
ピクチャの場合には入力画像信号をそのまま符号化す
る。

【００２３】図９には、図８に示したビデオエンコーダ
にて符号化された符号化データを復号するビデオデコー
ダの基本的な構成を示す。

【００２４】この図９において、入力端子１２１には符
号化データが供給される。この符号化データは、可変長
復号化器（ＶＬＤ）１２２に送られる。このＶＬＤ１２
２は、図８のＶＬＣ１０５における可変長符号化の逆処
理である可変長復号化を行う。当該可変長復号により得
られるデータは、図８のＶＬＣ１０５への入力である量
子化データに、動きベクトル及び予測モードの情報が付
加されたものに相当する。ＶＬＤ１２２での可変長復号
化により得られた量子化データは、逆量子化器１２３に
送られる。

【００２５】逆量子化器１２３では、ＶＬＤ１２２から
の量子化データを逆量子化する。当該逆量子化されたデ
ータは、図８の量子化器１０４への入力であるＤＣＴ係
数データに相当する。この逆量子化器１２３での逆量子
化により得られたＤＣＴ係数データは、逆ＤＣＴ器１２
４に送られる。また、動きベクトル及び予測モードの情
報は、当該逆量子化器１２３から動き補償予測器１２７
に送られる。

【００２６】逆ＤＣＴ器１２４では、逆量子化器１２３
からのＤＣＴ係数を逆ＤＣＴする。当該逆ＤＣＴ器１２
４にて逆ＤＣＴされたデータは、図８のＤＣＴ器１０３
への入力である差分画像信号に相当する。この逆ＤＣＴ
器１２４にて逆ＤＣＴされた差分画像信号は、演算器１
２５に送られる。

【００２７】演算器１２５では、逆ＤＣＴ器１２４から
の差分画像信号に、動き補償予測器１２７からの予測差
分画像を加算する。これにより、復号化データすなわち
画像信号が復元される。この復元された画像信号は、図
８の入力端子１０１への入力画像信号に略々相当する。
当該復元された画像信号（復号化データ）は、出力端子
１２８から出力されると同時に、一時、画像メモリ１２
６に蓄えられた後、動き補償予測器１２７に送られる。

【００２８】動き補償予測器１２７では、動きベクトル
及び予測モードに基づいて、画像メモリ１２６から供給
された画像信号から予測差分画像を生成し、この予測差
分画像を演算器１２５に送る。

【００２９】ＭＰＥＧ２では、前述したように、ビデオ
データ及びオーディオデータを同期して転送、且つ再生
できるように、それぞれのデータを基準時刻を用いて表
現した転送開始時刻と再生時刻を設定することが規定さ
れているが、これらの転送開始時刻や再生開始時刻の情
報だけでは、通常再生には問題がないものの、早送りや
巻き戻し再生、ランダム再生等の特殊再生や、インタラ
クティブ性をシステムに持たせる等の再生処理が困難で
あることが指摘されている。

【００３０】このようなことから、特開平８−２７３３
０４号公報に開示されているように、ＭＰＥＧにて符号
化されたオーディオ及びビデオデータを所定時間内に再
生されるべきパック列としてビデオオブジェクトユニッ
ト内に格納し、さらに、このユニットを再生するための
再生情報及びサーチをするためのサーチ情報を、当該パ
ック列の先頭にナビゲーションデータとして記録したよ
うなアプリケーションが存在する。

【００３１】ビデオオブジェクトユニット及びナビゲー
ションデータについては特開平８−２７３３０４号公報
にて既に開示及び詳述されているため、その詳細な説明
は省略するが、図１０に示すように、ビデオオブジェク
トユニット８５は複数集まってセル８４を構成し、また
セル８４は複数集まってビデオオブジェクト８３を構成
し、さらに、このビデオオブジェクト８３が複数集まっ
てビデオオブジェクトセット８２を構成している。

【００３２】ビデオオブジェクトユニット８５は、１つ
のナビゲーションパック８６を先頭に有するパック列と
して定義されている。また、このビデオオブジェクトユ
ニット８５内には、ＭＰＥＧ規格に定められたビデオパ
ック８８、副映像パック９０及びオーディオパック９１
が配置される。また、ビデオオブジェクトユニット８５
には再生順序に従った番号が付されており、当該ビデオ
オブジェクトユニット８５の再生時間はビデオオブジェ
クトユニット８５中に含まれる単数又は複数個のＧＯＰ
から構成されるビデオデータの再生時間に相当する。

【００３３】ナビゲーションパック８６には、ビデオオ
ブジェクトユニット８５を再生するための再生制御情報
及びサーチをするためのサーチ情報等が、ナビゲーショ
ンデータとして配されている。再生制御情報は、ビデオ
オブジェクトユニット８５内のビデオデータの再生状態
に同期してプレゼンテーションするため、つまり表示の
内容を変更するためのナビゲーションデータである。す
なわち再生制御情報は、プレゼンテーションデータの状
態に従って再生条件を決定するための情報であり、デー
タストリーム上に分散配置されたリアルタイム制御デー
タである。また、サーチ情報は、ビデオオブジェクトユ
ニット８５のサーチを実行する為のナビゲーションデー
タである。すなわち、当該サーチ情報は、順早送り／逆
早戻し再生とシームレス再生のための情報であり、デー
タストリーム上に分散配置されたリアルタイム制御デー
タである。

【００３４】特に、ビデオオブジェクトユニット８５を
サーチするためのサーチ情報には、セル８４内の先頭ア
ドレスを特定する為の情報が記述される。すなわち、ビ
デオオブジェクトユニット８５のサーチ情報には、当該
サーチ情報を含むビデオオブジェクトユニット８５を基
準の第０番とし、再生順序に従って順方向に再生するた
めのアドレス（フォワードアドレス）として、第１番
（＋１）から第２０番（＋２０）、第６０番（＋６
０）、第１２０番（＋１２０）及び第２４０番（＋２４
０）までのビデオオブジェクトユニット８５の番号（ス
タートアドレス）が記載される。同様に、ビデオオブジ
ェクトユニット８５のサーチ情報には、当該サーチ情報
を含むビデオオブジェクトユニット８５を基準の第０番
とし、再生順序とは逆方向に再生するためのアドレス
（バックワードアドレス）として第１番（−１）から第
２０番（−２０）、第６０番（−６０）、第１２０番
（−１２０）及び第２４０番（−２４０）までのビデオ
オブジェクトユニット８５のスタートアドレスが記載さ
れる。

【００３５】

【発明が解決しようとする課題】ところで、上述のよう
なビデオオブジェクトユニットを再生するための再生制
御情報及びサーチをするためのサーチ情報を含むナビゲ
ーションデータを、ＭＰＥＧ符号化を開始する前に、ナ
ビゲーションパック内に記述するためには、記憶容量の
大きなメモリが必要であり、さらに当該符号化が終了し
た後に、その符号化結果（符号量）を観測して、所定の
再生情報情報を算出して、ナビゲーションデータを生成
しなければならない。

【００３６】また、特開平８−２７３３０４号公報に記
載されているように、そのビデオオブジェクトユニット
を再生順序で第０番とし、そのビデオオブジェクトユニ
ットを基準として、少なくともその再生順序で前後１５
番まで再生されるビデオオブジェクトユニットのアドレ
ス、再生順序において第２０番、第３０番、第６０番、
第１２０番、及び第２４０番までのビデオオブジェクト
ユニットのアドレスを記述しようとした場合、基本的に
ＭＰＥＧビデオの符号化データが可変長符号化によるも
のであるため、いわゆる２パスによる符号化などのよう
に、全部のビデオ符号化データが揃ってからでないと、
ビデオオブジェクトユニットのアドレスを算出すること
ができず、したがって、リアルタイムな符号化とナビゲ
ーションデータの記録が出来ない。

【００３７】本発明は、上述の課題に鑑みてなされたも
のであり、最小限の容量のメモリで、ビデオオブジェク
トユニットを再生するための再生制御情報及びサーチを
するためのサーチ情報を記述するナビゲーションデータ
を、符号化が開始される前に記述することを可能とし、
また、どのような符号化レートであっても最適な画質を
維持したまま、リアルタイムな符号化とナビゲーション
データの記載とを可能とするデータ符号化方法及び装置
の提供を目的とする。

【００３８】

【課題を解決するための手段】請求項１記載の本発明に
係るデータ符号化方法は、上述の課題を解決するため
に、所定単位の入力データを符号化する際に、符号化レ
ートを決定し、復号時の復号バッファに相当する仮想バ
ッファのバッファ占有量の推移を求めながら、符号化時
点での前記仮想バッファのバッファ占有量を所定の値に
収束するように符号化するデータ符号化方法において、
前記符号化レートに対応して前記所定単位毎の目標符号
量を求め、前記入力データのうち所定のリファレンスデ
ータについては、前記仮想バッファのバッファ占有量を
収束させる前記所定の値に基づいて設定された目標符号
量となるように符号化し、前記符号化された符号化デー
タを所定時間内に再生されるべきパック列としてユニッ
ト内に格納し、サーチのための基準ユニット及び当該基
準ユニットの少なくとも前後に再生される所定数のユニ
ットのアドレスと、当該ユニット内の前記所定のリファ
レンスデータの終了アドレスとを、前記符号化レートに
基づいて求め、前記ユニットのアドレス及び前記ユニッ
ト内の所定のリファレンスデータの終了アドレスを当該
ユニットの先頭に記述することを特徴とするものであ
る。

【００３９】請求項２記載の本発明に係るデータ符号化
方法は、上述の課題を解決するために、請求項１記載の
データ符号化方法において、前記ユニット内の所定のリ
ファレンスデータの符号化の際には、前記仮想バッファ
のバッファ占有量を収束させる前記所定の値に基づいて
設定された目標符号量に対して所定量だけ低く設定した
仮目標符号量を求め、当該仮目標符号量での符号化によ
る発生符号量と前記設定された目標符号量との差を無効
ビットで調整して符号化を行うことを特徴とするもので
ある。

【００４０】請求項３記載の本発明に係るデータ符号化
装置は、上述の課題を解決するために、所定単位の入力
データを符号化する際に、符号化レートを決定し、復号
時の復号バッファに相当する仮想バッファのバッファ占
有量の推移を求めながら、符号化時点での前記仮想バッ
ファのバッファ占有量を所定の値に収束するように符号
化するデータ符号化装置において、前記符号化レートに
対応して前記所定単位毎の目標符号量を求める目標符号
量計算手段と、前記入力データのうち所定のリファレン
スデータについては、前記仮想バッファのバッファ占有
量を収束させる前記所定の値に基づいて前記目標符号量
を設定する目標符号量設定手段と、前記目標符号量設定
手段からの前記目標符号量となるように前記所定のリフ
ァレンスデータを符号化する符号化手段と、前記符号化
された符号化データを所定時間内に再生されるべきパッ
ク列としてユニット内に格納するユニット化手段と、サ
ーチのための基準ユニット及び当該基準ユニットの少な
くとも前後に再生される所定数のユニットのアドレス
と、前記ユニット内の所定のリファレンスデータの終了
アドレスとを、前記符号化レートに基づいて求めるアド
レス決定手段と、前記ユニットのアドレス及び前記ユニ
ット内の所定のリファレンスデータの終了アドレスを当
該ユニットの先頭に記述する記述手段とを有することを
特徴とするものである。

【００４１】請求項４記載の本発明に係るデータ符号化
装置は、上述の課題を解決するために、請求項３記載の
データ符号化装置において、前記符号化制御手段は、前
記ユニット内の所定のリファレンスデータの符号化の際
に、前記仮想バッファのバッファ占有量を収束させる前
記所定の値に基づいて設定された目標符号量に対して所
定量だけ低く設定した仮目標符号量を求め、当該仮目標
符号量での符号化による発生符号量と前記設定された目
標符号量との差を無効ビットで調整するよう符号化を制
御することを特徴とするものである。

【００４２】

【００４３】

【００４４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の説明を行う。

【００４５】図１には、本発明のデータ符号化方法及び
装置が適用される第１の実施の形態のオーディオビデオ
符号化装置の概略的な構成を示す。なお、図１には、ビ
デオデータの符号化を行うビデオエンコーダの構成を主
に示しており、オーディオデータの符号化を行うオーデ
ィオエンコーダの構成については図示を省略している。

【００４６】この図１において、入力端子１には入力画
像信号が供給され、この入力画像信号は演算器２と動き
補償予測器１１に送られる。

【００４７】演算器２では、動き補償予測器１１にて復
号化した画像信号と入力画像信号との差分を求め、その
差分画像信号をＤＣＴ器３に送る。なお、差分画像信号
の符号化を行うのはＰピクチャ及びＢピクチャの場合で
あり、Ｉピクチャの場合には入力画像信号をそのまま符
号化するが、以下の説明では差分画像信号を符号化する
場合を例に挙げて説明する。

【００４８】ＤＣＴ器３では、演算器２から供給された
差分画像信号を直交変換する。このＤＣＴ器３でのＤＣ
Ｔ処理によって得られたデータ（ＤＣＴ係数）は、量子
化器４に送られる。

【００４９】量子化器４では、ＤＣＴ器３からのＤＣＴ
係数を量子化し、その量子化データを可変長符号化（Ｖ
ＬＣ）器５に送る。

【００５０】ＶＬＣ器５では、量子化器４からの量子化
データを可変長符号化する。また、このＶＬＣ器５に
は、動き補償予測器１１から動きベクトルと予測モード
の情報も供給され、当該ＶＬＣ器５は、可変長符号化デ
ータと共に、これら動きベクトルと予測モードの情報を
マクロブロックの付加情報として出力する。当該ＶＬＣ
器５にて可変長符号化されたデータは、一時、バッファ
メモリ６に蓄えられた後、このバッファメモリ６から所
定の転送レートで読み出され、ビデオ符号化データとし
て後述するユニット化器１７に送られる。

【００５１】また、バッファメモリ６から出力されるビ
デオ符号化データにおけるマクロブロック毎の発生符号
量は、ＶＢＶバッファ制御器４０に送信される。このＶ
ＢＶバッファ制御器４０は、詳細については後述する
が、復号時に復号バッファ占有量がオーバーフローやア
ンダーフローしないように、ＭＰＥＧにおいてＶＢＶバ
ッファと呼ばれている仮想的な復号バッファを設定し、
このＶＢＶバッファの占有量に基づいて実際の符号化に
よる発生符号量を制御するものである。当該ＶＢＶバッ
ファ制御器４０は、符号化の際の発生符号量制御のため
の符号量制御信号を発生し、量子化器４にフィードバッ
クする。この量子化器４にフィードバックされる符号量
制御信号は、量子化器４における量子化スケールを制御
するための信号である。

【００５２】一方、量子化された画像データは、逆量子
化器７にも送られる。

【００５３】逆量子化器７では、量子化器４からの量子
化データを逆量子化する。この逆量子化により得られた
ＤＣＴ係数データは、逆ＤＣＴ器８に送られる。

【００５４】逆ＤＣＴ器８では、逆量子化器７からのＤ
ＣＴ係数データを逆ＤＣＴ処理した後、演算器９に送
る。

【００５５】演算器９では、動き補償予測器１１からの
予測差分画像と逆ＤＣＴ器８からの信号とを加算する。
これにより、画像信号が復元される。この復元された画
像信号は、一時、画像メモリ１０に蓄えられた後、動き
補償予測器１１に送られる。当該画像メモリ１０から動
き補償予測器１１に送られた画像信号は、演算器２にて
差分画像を計算するためのリファレンスの復号化画像を
生成するために使用される。

【００５６】動き補償予測器１１では、入力画像信号か
ら動きベクトルを検出し、その検出した動きベクトルの
動き分だけ画像をシフトしてから予測を行う。この予測
により得られた予測差分画像信号が、演算器２及び演算
器９に送られることになる。また、動き補償予測器１１
にて検出された動きベクトルは、予測モード（ＭＣモー
ド）の情報と共に、ＶＬＣ器５に送られる。

【００５７】ここまでの構成は前述した図８と略々同様
であるが、本発明の第１の実施の形態のオーディオビデ
オ符号化装置では、更に以下のような構成を有してい
る。

【００５８】オーディオビデオ符号化レート決定器１３
では、これから符号化しようとするオーディオ及びビデ
オの符号化レートが決定される。なお、このオーディオ
及びビデオの符号化レートは、ユーザが決定しても、ま
た、自動的に設定されても良い。当該オーディオビデオ
符号化レート決定器１３にて決定された符号化レート情
報は、ＶＢＶバッファ制御器４０及びユニットアドレス
計算器１５に送られる。

【００５９】ここで、当該第１の実施の形態のオーディ
オビデオ符号化装置のＶＢＶバッファ制御器４０での処
理を、図２を用いて以下に説明する。

【００６０】この図２において、ＶＢＶバッファ制御器
４０の端子５３には、バッファメモリ６からのマクロブ
ロック毎の発生符号量情報が入力される。また、端子５
２には、オーディオビデオ符号化レート決定器１３にて
決定された符号化レート情報が入力され、端子５１から
は、量子化器４に対する符号量制御信号（量子化スケー
ルを制御するための信号、すなわち量子化値）が出力さ
れる。

【００６１】端子５２に入力された符号化レート情報
は、目標符号量計算器５６とＶＢＶバッファ推移観測器
５７とに送られる。目標符号量計算器５６は、符号化レ
ート情報に基づいてピクチャ単位で目標となる符号量
（目標符号量）を計算する。

【００６２】以下に、ＶＢＶバッファ制御器４０におけ
るピクチャ単位での目標符号量の計算から発生符号量の
制御までの流れについて説明する。

【００６３】例えば、ビデオオブジェクトユニットの目
標符号量をＴ(U)とし、また、１ビデオオブジェクトユ
ニットを１ＧＯＰ、１ＧＯＰを１５フレームとする。こ
の１ビデオオブジェクトユニットは時間にして０．５秒
に相当するので、当該ビデオオブジェクトユニット（１
ＧＯＰの１５ピクチャ分）の目標符号量Ｔ(U)の計算式
は、例えば以下の式（１）のようになる。ただし、式中
のＮは転送レート（Ｍｂｐｓ）である。

【００６４】 Ｔ(U)＝Ｎ／２ （Ｍビット） （１） 目標符号量計算器５６では、当該式（１）の計算によっ
て、ビデオオブジェクトユニット毎の目標符号量を求め
る。

【００６５】次に、目標符号量計算器５６では、こうし
て決定したビデオオブジェクトユニットの目標符号量に
基づいて、以下に説明するように、第１のステップによ
り各ピクチャ毎の目標符号量の設定（符号量配分）を行
う。

【００６６】具体的に説明すると、ＶＢＶバッファ制御
器４０の目標符号量計算器５６では、当該第１のステッ
プとして、ＧＯＰ内の各ピクチャに対する目標符号量
を、符号化対象のピクチャを含めＧＯＰ内で未だ符号化
されていないピクチャに対する目標符号量Ｒを基にして
配分する、この配分をＧＯＰ内の符号化ピクチャ順に繰
り返す。その際、以下のような２つの仮定を用いて各ピ
クチャへの目標符号量を設定する。

【００６７】第１の仮定として、各ピクチャを符号化す
る際に用いる平均量子化スケールと発生符号量との積
は、画面が変化しない限りピクチャタイプ毎に一定値と
なると仮定する。各ピクチャを符号化した後、各ピクチ
ャタイプ毎に所定の重み付けパラメータ（例えば画面の
複雑さを示す重み付けパラメータ）Ｘｉ，Ｘｐ，Ｘｂ
を、以下の式（２）〜式（４）により更新する。

【００６８】Ｘｉ＝Ｓｉ×Ｑｉ （２） Ｘｐ＝Ｓｐ×Ｑｐ （３） Ｘｂ＝Ｓｂ×Ｑｂ （４） なお、これら式中のｉはＩピクチャを、ｐはＰピクチャ
を、ｂはＢピクチャを表す。また、これら式中のＳｉ，
Ｓｐ，Ｓｂは各ピクチャの一つ前の同ピクチャタイプの
符号化結果の発生符号量であり、Ｑｉ，Ｑｐ，Ｑｂは各
ピクチャの符号化時の平均量子化スケールである。すな
わち、重み付けパラメータＸｉ，Ｘｐ，Ｘｂは、これら
式（２）〜式（４）から、一つ前の同ピクチャタイプの
符号化結果の発生符号量Ｓと平均量子化スケールＱの積
で定義される。

【００６９】また、第２の仮定として、独立符号化され
るＩピクチャの量子化スケールＱｉを基準とし、このＩ
ピクチャの量子化スケールＱｉとＰピクチャの量子化ス
ケールＱｐとの比率ＫｐがＫｐ＝１．０、Ｉピクチャの
量子化スケールＱｉとＢピクチャの量子化スケールＱｂ
との比率ＫｂがＫｂ＝１．４となるときに、常に全体の
画質が最適化される（理想的な画質が達成される）と仮
定する。

【００７０】これら第１，第２の仮定の元で、目標符号
量計算器４０では、例えば以下の式（５）〜（７）によ
り、Ｉピクチャの目標符号量Ｔｉ、Ｐピクチャの目標符
号量Ｔｐ、Ｂピクチャの目標符号量Ｔｂを求める。

【００７１】

【数１】 ただし、これら式（５）〜式（７）中のＮｐ，ＮｂはＧ
ＯＰ内のＰピクチャやＢピクチャの未符号化ピクチャ枚
数である。

【００７２】すなわち、先ず、ＧＯＰ内の未符号化ピク
チャのうち、符号化対象となるピクチャとピクチャタイ
プの異なるピクチャについては、上述した画質最適化条
件のもとで、そのピクチャの発生する符号量が、符号化
対象ピクチャの発生符号量の何倍となるか推定する。

【００７３】次に、未符号化ピクチャ全体で発生する推
定符号量が、符号化対象ピクチャの何枚分の符号量に相
当するかを求める。符号化対象ピクチャに対する目標符
号量は、未符号化ピクチャに対する目標符号量Ｒを、こ
の枚数で割ることによって与えられる。このようにして
求めた目標符号量を基にして、各ピクチャタイプを符号
化する毎に、ＧＯＰ内の未符号化ピクチャに対する目標
符号量Ｒを、下記式（８）〜式（１０）のように更新す
る。

【００７４】Ｒ＝Ｒ−Ｓｉ （８） Ｒ＝Ｒ−Ｓｐ （９） Ｒ＝Ｒ−Ｓｂ （１０） 次に、ＶＢＶバッファ制御器４０では、目標符号量発生
符号量比較器５５において、目標符号量計算器５６の第
１のステップで求められた各ピクチャに対する目標符号
量Ｔｉ，Ｔｐ，Ｔｂと、図２の端子５３を介してバッフ
ァメモリ６から供給された実際の発生符号量とを比較
し、各ピクチャの目標符号量に対する発生符号量との誤
差符号量を生成する。この誤差符号量情報は、フィード
バック量子化値決定器５４に送られる。

【００７５】当該フィードバック量子化値決定器５４で
は、第２のステップとして、各ピクチャに対する目標符
号量Ｔｉ，Ｔｐ，Ｔｂと実際の発生符号量とを一致させ
るために、各ピクチャタイプ毎に独立に設定した３種類
の仮想バッファの容量を元に、量子化スケールをマクロ
ブロック単位のフィードバック制御で求める。

【００７６】すなわち、先ず、例えばｊ番目のマクロブ
ロックの符号化に先立ち、仮想バッファの占有量を、下
記式（１１）〜（１３）にて求める。

【００７７】

【数２】 これら式中のｄ０ⁱ，ｄ０^p，ｄ０^bは各ピクチャタイプ
毎の仮想バッファの初期占有量で、Ｂ_jはピクチャの先
頭からｊ番目のマクロブロックまでの発生ビット量、Ｍ
Ｂ＿cntはＩピクチャ内のマクロブロック数である。

【００７８】次に、ｊ番目のマクロブロックに対する量
子化スケールＱｊを下記式（１４）により計算する。

【００７９】Ｑ_j＝ｄｊ×３１／ｒ （１４） なお、式中のｒはフィードバックの応答速度を決定する
パラメータであり、当該ｒは下記式（１５）で与えられ
る。

【００８０】 ｒ＝２×bit_rate／picture_rata （１５） 上述したアルゴリズムは、ＭＰＥＧ標準化で使用された
テストモデルＴＭ５に記載されており、１９９５年テレ
ビジョン学会誌vol49、No.4、P４５５〜４５６にも掲載
されている。

【００８１】ここで、本発明の第１の実施の形態のオー
ディオビデオ符号化装置の場合、ＶＢＶバッファ制御器
４０では、前述したように目標符号量計算器５６が第１
のステップとして各ピクチャの目標符号量を計算した時
点で、ＶＢＶバッファ推移観測器５７において、前記Ｖ
ＢＶバッファの推移をその目標符号量で符号化したと仮
定した場合のＶＢＶバッファ値を予め予想し、その予想
値の基づいて目標符号量を設定するようにしている。す
なわち、ＶＢＶバッファ推移観測器５７では、端子５３
を介してバッファメモリ６から供給される発生符号量
と、端子５２を介してオーディオビデオ符号化レート決
定器１３から供給される符号化レートとに基づいて、Ｖ
ＢＶバッファ量を監視し、そのＶＢＶバッファ量に基づ
いて、目標符号量計算器５６が第１のステップにて設定
した目標符号量を設定するようにしている。

【００８２】ところで、一般的なＭＰＥＧにおけるＶＢ
Ｖバッファ制御器は、本来は、図３に示すように、復号
装置において復号を行ったとした場合に復号バッファ
（符号化装置におけるＶＢＶバッファ）の占有値がどの
ように推移しているかを予想しながら符号量を制御する
ものである。当該予想に用いるバッファ（ＶＢＶバッフ
ァ）はあくまで仮想バッファであるが、ＭＰＥＧではＣ
ＢＲ（constant bit rate）の場合に、当該ＶＢＶバッ
ファの最大容量（MaxValue値）をオーバーフローしない
ように、また、最小容量（０）をアンダーフローしない
ように制御しながら符号化を行わなければならない。な
お、図３の縦軸はこの仮想的な復号装置の復号バッファ
（すなわちＶＢＶバッファ）の占有量を表し、横軸は時
間を表している。また、バッファ占有量の変化を表す傾
きは、転送レートすなわち符号化レートに相当する。

【００８３】この図３では、標準テレビジョン放送方式
のＮＴＳＣ（National TelevisionSystem Committee）
に対応したビデオ信号を符号化した場合を例に上げてお
り、したがって、各ピクチャの復号タイミングは１／２
９．９７秒単位で行われることになる。すなわち、復号
バッファ（ＶＢＶバッファ）には、ビデオオブジェクト
ユニットの第１番目のピクチャであるＩピクチャの１２
０Ｋビットの圧縮データが初期値として溜められ、その
後、この１２０Ｋビット分のデータが読み出されて復号
されることになる。ただし、当該ＶＢＶバッファにおけ
る復号は仮想的な復号であり、ＭＰＥＧで規定したモデ
ルでは時間０で一瞬にして復号されることになるため、
このときのＶＢＶバッファ（復号バッファ）からは１２
０Ｋビットのデータが一瞬に抜き取られる。次に、１／
２９．９７秒かけて第２番目のピクチャであるＰピクチ
ャの８０Ｋビット分の圧縮データが当該復号バッファ
（ＶＢＶバッファ）に入力され、その後、当該Ｐピクチ
ャの復号のためにその８０Ｋビットの圧縮データが一瞬
にして抜き取られる。次に、１／２９．９７秒かけて第
３番目のピクチャであるＢピクチャの４０Ｋビット分の
圧縮データが当該復号バッファ（ＶＢＶバッファ）に入
力され、その後、当該Ｂピクチャの復号のためにその４
０Ｋビットの圧縮データが一瞬にして抜き取られる。以
下、各ピクチャについて上述同様のデータ入力と抜き取
り処理がなされる。

【００８４】このように、ＭＰＥＧにおける一般的なＶ
ＢＶバッファ制御は、復号バッファ（ＶＢＶバッファ）
に入力される圧縮データの転送レート、すなわち図３の
グラフの直線の傾きに相当する符号化レートに依存す
る。

【００８５】これに対し、本発明の第１の実施の形態の
オーディオビデオ符号化装置では、ＶＢＶバッファ制御
器４０のＶＢＶバッファ推移観測器５７において、端子
５３を介してバッファメモリ６から供給される発生符号
量と、端子５２を介してオーディオビデオ符号化レート
決定器１３から供給される符号化レートとに基づいてＶ
ＢＶバッファ量を監視し、図３と同様に表記する図４に
示すように、ビデオオブジェクトユニット内で最初に他
の画像の復号のために参照されることになる第１のリフ
ァレンス画像の符号化時点（すなわち独立符号化される
画像データであるＩピクチャの符号化時点）では、当該
ＶＢＶバッファ占有値を図中ＶＢＶ値１に収束するよう
にし、次に、他の画像の復号のために参照されることに
なる第２のリファレンス画像の復号化時点（すなわち最
初のＰピクチャの符号化時点）では、ＶＢＶバッファ占
有値を図中ＶＢＶ値２に収束するように、さらに次に、
他の画像の復号のために参照されることになる第３のリ
ファレンス画像の復号化時点（すなわち次のＰピクチャ
の符号化時点）では、ＶＢＶバッファ占有値を図中ＶＢ
Ｖ値３に収束するようにする処理を繰り返し、ビデオオ
ブジェクトユニットの最後の画像符号化時点（すなわち
最後のＢピクチャの符号化時点）のＶＢＶバッファ占有
値を図中ＶＢＶ値Ｅに収束するように、目標符号量計算
器５６が第１のステップにて設定した目標符号量を設定
するようにしている。

【００８６】このように、ＶＢＶバッファ制御器４０に
おいて、独立符号化されるＩピクチャと、復号時に他の
画像の参照画像となるＰピクチャと、ビデオオブジェク
トユニットの最後のＢピクチャの目標符号量とを設定す
ることにより、後述するユニットアドレス計算器１５に
おいて、サーチのための基準ユニット及び当該基準ユニ
ットの少なくとも前後に再生される所定数のユニットの
アドレスと、当該ユニット内のデータのうち前記独立符
号化されるＩピクチャ、及び復号時に他のデータの参照
データとなされるＰピクチャ、及びビデオオブジェクト
ユニットの最後のＢピクチャの各終了アドレスの計算が
非常に容易となり、予め指定したアドレス値に簡単に制
御することが可能となる。

【００８７】図１に戻り、ユニットアドレス計算器１５
では、図４にて説明したのと同様のＶＢＶ値１〜ＶＢＶ
値Ｅと転送レート情報（符号化レート情報）とを用い、
以下に説明する各式によって、図５に示すようにビデオ
オブジェクトユニット内で最初に他の画像の復号のため
に参照されることになる第１のリファレンス画像（独立
符号化される画像データであるＩピクチャ）の終了アド
レス１ＥＡを計算し、他の画像の復号のために参照され
ることになる第２のリファレンス画像（最初のＰピクチ
ャ）の終了アドレス２ＥＡを計算し、次に他の画像の復
号のために参照されることになる第３のリファレンス画
像（次のＰピクチャ）の終了アドレス３ＥＡを計算し、
以下同様に、各リファレンス画像の終了アドレスを計算
し、さらに、ビデオオブジェクトユニットの最後の画像
（最後のＢピクチャ）の終了アドレスＴＥＡを計算す
る。

【００８８】ここで、オーディオビデオ符号化レート決
定器１３からの符号化レート情報のうち、ビデオデータ
の符号化レートをVideoRate（ｋｂｐｓ）とし、オーデ
ィオデータの符号化レートをAudioRate（ｋｂｐｓ）と
すると、ビデオオブジェクトユニットの最後の画像（Ｂ
ピクチャ）の終了アドレスＴＥＡは、次式（１６）のよ
うに算出される。

【００８９】 ＴＥＡ＝（VideoRate＋AudioRate）×15／29.97 （１６） また、ＶＢＶバッファに予め設定した最大容量をMaxVal
ueとし、図５に示したように、ビデオオブジェクトユニ
ット内のＩピクチャの終了アドレスを１ＥＡとし、ビデ
オオブジェクトユニット内の最初のＰピクチャの終了ア
ドレスを２ＥＡ、ビデオオブジェクトユニット内の次の
Ｐピクチャの終了アドレスを３ＥＡとすると、これら終
了アドレス１ＥＡ〜３ＥＡは、下記式（１７）〜式（１
９）のように算出される。

【００９０】 1EA =(MaxValue-VBV値1)+(AudioRate)×1/29.97 (17) 2EA =(MaxValue-VBV値1)+(VideoRate)×3/29.97-(VBV値2-VBV値1) +(AudioRate)×4/29.97 (18) 3EA =(MaxValue-VBV値1)+(VideoRate)×6/29.97-(VBV値3-VBV値1) +(AudioRate)×7/29.97 (19) 但し、これら式（１６）〜式（１９）において単位はｋ
ビット、ビデオオブジェクトユニットは１５フレームで
丁度１ＧＯＰ、ＩピクチャやＰピクチャの間にあるＢピ
クチャは２枚であることが分かっていると仮定する。ま
た、オーディオデータは固定転送レートと仮定し、単位
時間当たりのサンプル数を固定としているが、オーディ
オデータの符号化が可変長符号化であれば、ビデオデー
タに対応した位置の（ビデオデータが出力される時間に
対応する）オーディオデータの符号量を考慮して計算す
ればよい。また、このようなことは、目標符号量計算器
５６、後述する目標符号量メモリをオーディオ用に装備
することにより実現可能である。

【００９１】上述したように、本実施の形態のオーディ
オビデオ符号化装置によれば、ＶＢＶバッファ制御器４
０において、独立符号化されるＩピクチャと復号時に他
の画像の参照画像となるＰピクチャとビデオオブジェク
トユニットの最後のＢピクチャの目標符号量とを設定す
ると共に、それら目標符号量に合うように発生符号量を
制御し、また、ユニットアドレス計算器１５において、
サーチのための基準ユニット及び当該基準ユニットの少
なくとも前後に再生される所定数のユニットのアドレス
と当該ユニット内のデータのうち前記独立符号化される
Ｉピクチャ、及び復号時に他のデータの参照データとな
されるＰピクチャ、ビデオオブジェクトユニットの最後
のＢピクチャの各終了アドレスを計算することにより、
図１０に示したようなビデオオブジェクトユニットを再
生するためのサーチ情報を記録するナビゲーションデー
タ、すなわち、サーチのためにそのビデオオブジェクト
ユニットを基準として少なくとも前後に再生される所定
数のユニットのアドレス（ＴＥＡ）と、独立符号化され
た画像（Ｉピクチャ）を構成できるデータの終了アドレ
ス（第１のリファレンス画像の終了アドレス１ＥＡ）、
及び第２，第３，・・・のリファレンス画像までの各終
了アドレス（２ＥＡ，３ＥＡ，・・・）を、予め指定し
た値に簡単に制御することが可能となる。

【００９２】このユニットアドレス計算器１５にて求め
られた情報は、ナビゲーションデータ生成器１６に送ら
れる。

【００９３】ナビゲーションデータ生成器１６は、その
ビデオオブジェクトユニットを再生順序で第０番とし
て、そのビデオオブジェクトユニットを基準として少な
くともその再生順序で前後１５番まで再生されるビデオ
オブジェクトユニット、再生順序において第２０番、第
３０番、第６０番、第１２０番、及び第２４０番までの
ビデオオブジェクトユニットのアドレスなどを、必要に
応じてアドレスをスカラー倍することで計算し、所定の
順番にレイアウトして、ユニット化器１７へ送信する。

【００９４】ユニット化器１７では、端子１９から供給
されたオーディオ符号化データと、バッファメモリ６か
ら供給されたビデオ符号化データと、ナビゲーションデ
ータ生成器１６から供給されたナビゲーションデータと
を用いて、図１０にて説明したようなビデオオブジェク
トユニットを生成し、そのユニット化された符号化デー
タを出力する。すなわち当該ユニット化器１７では、送
信されてきたナビゲーションデータをパケット化（パッ
ク化）すると共にビデオ符号化データとオーディオ符号
化データなどをパケット化（パック化）し、さらにナビ
ゲーションデータのパケット（ナビゲーションパック）
を先頭に配置し、その後にビデオデータのパケット（ビ
デオパック）とオーディオデータのパケット（オーディ
オパック）などを配置して、所定の１つのビデオオブジ
ェクトユニットを生成し、この１つのビデオオブジェク
トユニットを送信する。当該１つのビデオオブジェクト
ユニットを送信し終わると、次のビデオオブジェクトユ
ニットのためのナビゲーションデータを受け取って同様
にユニット化する。これらのユニット化された符号化デ
ータは出力端子１８から出力される。

【００９５】上述したように本発明の第１の実施の形態
のオーディオビデオ符号化装置においては、余分なメモ
リを持たずに、ビデオオブジェクトユニットを再生する
ための再生制御情報及びサーチをするためのサーチ情報
を記述するナビゲーションデータを、符号化が開始され
る前に、記録することが可能となる。

【００９６】次に、図６には、本発明の第２の実施の形
態のオーディオビデオ符号化装置の概略構成を示す。な
お、この図６に示すオーディオビデオ符号化装置におい
て、図１と同一の構成要素には同じ指示符号を付し、そ
れらの説明は省略し、図１とは異なる構成要素について
のみ説明する。

【００９７】この図６に示す第２の実施の形態のオーデ
ィオビデオ符号化装置では、ＶＬＣ器５とバッファメモ
リ６との間に後述する無効ビット付加器２２を設けると
共に、ＶＢＶバッファ制御器４１が図７ような構成を有
している。なお、図７において、前述した図２と同一の
構成要素には同じ指示符号を付し、それらの説明は省略
し、図２と異なる構成要素についてのみ説明する。

【００９８】図７に示すＶＢＶバッファ制御器４１にお
いて、端子５３を介してバッファメモリ６から供給され
た発生符号量情報は、目標符号量発生符号量比較器５５
に送られると同時に、無効ビット計算器６８にも送られ
る。

【００９９】目標符号量計算器５６は前述同様であり符
号化レート情報に基づいて各ピクチャの目標符号量を求
める。また、この第２の実施の形態においても、ＶＢＶ
バッファ推移観測器５７によって、ＶＢＶバッファの占
有量を前述したＶＢＶ値１〜ＶＢＶ値Ｅの値に収束させ
るべきタイミングは、それぞれ、独立符号化される画像
である第１リファレンス画像（Ｉピクチャ）及び、第２
リファレンス画像（最初のＰピクチャ）、第３リファレ
ンス画像（次のＰピクチャ）、・・・、及びビデオオブ
ジェクトユニットの最終画像（最後のＢピクチャ）の符
号化時点である。なお、以下の説明では、これらのＶＢ
Ｖバッファの値がＶＢＶ値１〜ＶＢＶ値Ｅに収束される
各画像を収束点画像と呼ぶとする。

【０１００】目標符号量メモリ６７は、目標符号量計算
器５６から供給された目標符号量情報を一時蓄積し、そ
の後読み出して仮目標符号量設定器６６と無効ビット計
算器６８に供給する。

【０１０１】仮目標符号量設定器６６は、目標符号量メ
モリ６７から供給された目標符号量の値の約１０％程度
低めの値を、仮目標符号量として設定する。

【０１０２】ここで、上述した各収束点画像の目標符号
量は、当該仮目標符号量設定器６６において、上記目標
符号量計算器５６にて算出された目標符号量の約１０％
程度低めに設定される。この仮目標符号量は、目標符号
量発生符号量比較器５５に送られる。

【０１０３】したがって、この図７の場合、目標符号量
発生符号量比較器５５は、端子５３を介してバッファメ
モリ６から供給された発生符号量と、仮目標符号量設定
器６６にて設定された仮目標符号量とを比較し、仮目標
符号量に対する発生符号量との誤差符号量を生成する。
この誤差符号量情報は、フィードバック量子化値決定器
５４に送られる。これにより、発生符号量は、仮目標符
号量に制御される。

【０１０４】一方、無効ビット計算器６８では、１ピク
チャ分の符号化が終了した時点で、予めバッファメモリ
６から入力されたマクロブロック毎の発生符号量を加算
して、１ピクチャの総発生符号量とピクチャの目標符号
量との差を計算し、ピクチャの目標符号量に足りない分
の符号量を、無効ビット符号量情報として出力する。こ
の無効ビット符号量情報は、端子５９を介して図６の無
効ビット付加器２２に送られる。

【０１０５】図６の無効ビット付加器２２では、ＶＬＣ
器５からの符号化データに、ＶＢＶバッファ制御器４１
からの無効ビット符号量情報に対応した無効ビットを付
加する。これにより、当該無効ビット付加器２２から出
力されるデータは、目標符号量に合うように正確に制御
されたデータとなり、この符号化データがバッファメモ
リ６に送られる。

【０１０６】また、無効ビット計算器６８からの無効ビ
ット符号量情報は、ＶＢＶバッファ推移観測器５７にも
送信される。ＶＢＶバッファ推移観測器５７では、当該
無効ビット符号量の値も前述の収束点画像の符号量とし
てカウントする。

【０１０７】なお、収束点画像のみでは、収束不可能な
場合も考えられる。すなわち、収束点画像以前のピクチ
ャが大きな符号量を発生してしまう可能性である。した
がって、本実施の形態では、ある画像に対して多くの符
号量を割り当てたい場合であっても、下記式（２０）に
適合するように、その画像に対する符号量を配分するこ
とが望ましい。

【０１０８】 （収束点画像nから次の収束点画像n+1までの画像の枚数）×（VideoRate/29.9 7）−（VBV値n−VBV値n-1） （２０） この第２の実施の形態のオーディオビデオ符号化装置に
よれば、第１の実施の形態のオーディオビデオ符号化装
置と同様の効果を有するだけでなく、符号量を１バイト
の誤差も含まずに非常に正確に制御できるので、ナビゲ
ーションデータの内容と実際の符号化データとが矛盾す
る可能性を非常に低くすることが可能である。

【０１０９】

【発明の効果】請求項１記載の本発明に係るデータ符号
化方法は、所定単位の入力データを符号化する際に、符
号化レートを決定し、復号時の復号バッファに相当する
仮想バッファのバッファ占有量の推移を求めながら、符
号化時点での前記仮想バッファのバッファ占有量を所定
の値に収束するように符号化するデータ符号化方法にお
いて、前記符号化レートに対応して前記所定単位毎の目
標符号量を求め、前記入力データのうち所定のリファレ
ンスデータについては、前記仮想バッファのバッファ占
有量を収束させる前記所定の値に基づいて設定された目
標符号量となるように符号化し、前記符号化された符号
化データを所定時間内に再生されるべきパック列として
ユニット内に格納し、サーチのための基準ユニット及び
当該基準ユニットの少なくとも前後に再生される所定数
のユニットのアドレスと、当該ユニット内の前記所定の
リファレンスデータの終了アドレスとを、前記符号化レ
ートに基づいて求め、前記ユニットのアドレス及び前記
ユニット内の所定のリファレンスデータの終了アドレス
を当該ユニットの先頭に記述することにより、最小限の
容量のメモリを用いて、例えばユニットを再生するため
の再生制御情報及びサーチをするためのサーチ情報を記
述するためのアドレスを、符号化が開始される前に記録
することが可能であり、また、符号化レート値に対応す
る目標符号量を決定できるので、符号化を行うに当っ
て、それらの値を統計的にもっとも信号品質が良くなる
値にすることで、どのような符号化レートでも最適な信
号品質を維持したまま、符号化を行うことが可能とな
る。

【０１１０】請求項２記載の本発明に係るデータ符号化
方法は、請求項１記載のデータ符号化方法において、前
記ユニット内の所定のリファレンスデータの符号化の際
には、前記仮想バッファのバッファ占有量を収束させる
前記所定の値に基づいて設定された目標符号量に対して
所定量だけ低く設定した仮目標符号量を求め、当該仮目
標符号量での符号化による発生符号量と前記設定された
目標符号量との差を無効ビットで調整して符号化を行う
ことにより、符号量を非常に正確に制御でき、実際の符
号化データとアドレスとが矛盾する可能性を非常に低く
することが可能である。

【０１１１】請求項３記載の本発明に係るデータ符号化
装置は、所定単位の入力データを符号化する際に、符号
化レートを決定し、復号時の復号バッファに相当する仮
想バッファのバッファ占有量の推移を求めながら、符号
化時点での前記仮想バッファのバッファ占有量を所定の
値に収束するように符号化するデータ符号化装置におい
て、前記符号化レートに対応して前記所定単位毎の目標
符号量を求める目標符号量計算手段と、前記入力データ
のうち所定のリファレンスデータについては、前記仮想
バッファのバッファ占有量を収束させる前記所定の値に
基づいて前記目標符号量を設定する目標符号量設定手段
と、前記目標符号量設定手段からの前記目標符号量とな
るように前記所定のリファレンスデータを符号化する符
号化手段と、前記符号化された符号化データを所定時間
内に再生されるべきパック列としてユニット内に格納す
るユニット化手段と、サーチのための基準ユニット及び
当該基準ユニットの少なくとも前後に再生される所定数
のユニットのアドレスと、前記ユニット内の所定のリフ
ァレンスデータの終了アドレスとを、前記符号化レート
に基づいて求めるアドレス決定手段と、前記ユニットの
アドレス及び前記ユニット内の所定のリファレンスデー
タの終了アドレスを当該ユニットの先頭に記述する記述
手段とを有することにより、最小限の容量のメモリで、
例えばユニットを再生するための再生制御情報及びサー
チをするためのサーチ情報を記述するためのアドレス
を、符号化が開始される前に記録することが可能であ
り、また、符号化レート値に対応する目標符号量を決定
できるので、符号化を行うに当って、それらの値を統計
的にもっとも信号品質が良くなる値にすることで、どの
ような符号化レートでも最適な信号品質を維持したま
ま、符号化を行うことが可能となる。

【０１１２】請求項４記載の本発明に係るデータ符号化
装置は、請求項３記載のデータ符号化装置において、前
記符号化制御手段は、前記ユニット内の所定のリファレ
ンスデータの符号化の際に、前記仮想バッファのバッフ
ァ占有量を収束させる前記所定の値に基づいて設定され
た目標符号量に対して所定量だけ低く設定した仮目標符
号量を求め、当該仮目標符号量での符号化による発生符
号量と前記設定された目標符号量との差を無効ビットで
調整するよう符号化を制御することにより、符号量を非
常に正確に制御でき、実際の符号化データとアドレスと
が矛盾する可能性を非常に低くすることが可能である。

【０１１３】

【０１１４】

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のオーディオビデオ
符号化装置の概略構成を示すブロック図である。

【図２】本発明の第１の実施の形態のオーディオビデオ
符号化装置のＶＢＶバッファ制御器の具体的構成をブロ
ック図である。

【図３】符号化の際の一般的な仮想復号バッファ（ＶＢ
Ｖバッファ）占有量制御の説明に用いる図である。

【図４】本発明の実施の形態のオーディオビデオ符号化
装置による符号化の際の仮想復号バッファ（ＶＢＶバッ
ファ）占有量のバッファ制御タイミングと収束値の説明
に用いる図である。

【図５】ユニットアドレス計算器の計算内容の説明に用
いる図である。

【図６】本発明の第２の実施の形態のオーディオビデオ
符号化装置の概略構成を示すブロック図である。

【図７】本発明の第２の実施の形態のオーディオビデオ
符号化装置のＶＢＶバッファ制御器の具体的構成をブロ
ック図である。

【図８】従来のビデオエンコーダの概略構成を示すブロ
ック図である。

【図９】従来のビデオデコーダの概略構成を示すブロッ
ク図である。

【図１０】ビデオオブジェクトユニットとナビゲーショ
ンデータが配されるビデオオブジェクトセットの構成説
明に用いる図である。

【符号の説明】

１…画像信号の入力端子、２、９…演算器、３…ＤＣＴ
器、４…量子化器、５…ＶＬＣ、６…バッファメモリ、
７…逆量子化器、８…逆ＤＣＴ器、１０…画像メモリ、
１１…動き補償予測器、１３…オーディオビデオ符号化
レート決定器（符号化レート決定手段）、１５…ユニッ
トアドレス計算器（アドレス決定手段）、１６…ナビゲ
ーションデータ生成器（記述手段）、１７…ユニット化
器（ユニット化手段）、１８…出力端子、１９…オーデ
ィオ符号化のデータ入力端子、２２…無効ビット付加
器、４０，４１…ＶＢＶバッファ制御器（符号量制御手
段）、５１…符号量制御信号の出力端子、５２…符号化
レート情報の入力端子、５３…発生符号量の入力端子、
５４…フィードバック量子化値決定器、５５…目標符号
量発生符号量比較器、５６…目標符号量計算器（目標符
号量計算手段）、５７…ＶＢＶバッファ推移観測器（バ
ッファ推移観測手段）、６６…仮目標符号量設定器、６
７…目標符号量メモリ、６８…無効ビット計算器、５９
…無効ビット符号量情報の出力端子

フロントページの続き (56)参考文献 特開 平７−284097（ＪＰ，Ａ) 特開 平11−74799（ＪＰ，Ａ) 特開2000−23096（ＪＰ，Ａ) 特開2000−83255（ＪＰ，Ａ) 国際公開97／039588（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H03M 3/00 - 11/00 H04N 7/24

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 所定単位の入力データを符号化する際
   に、符号化レートを決定し、復号時の復号バッファに相
   当する仮想バッファのバッファ占有量の推移を求めなが
   ら、符号化時点での前記仮想バッファのバッファ占有量
   を所定の値に収束するように符号化するデータ符号化方
   法において、 前記符号化レートに対応して前記所定単位毎の目標符号
   量を求め、 前記入力データのうち所定のリファレンスデータについ
   ては、前記仮想バッファのバッファ占有量を収束させる
   前記所定の値に基づいて設定された目標符号量となるよ
   うに符号化し、 前記符号化された符号化データを所定時間内に再生され
   るべきパック列としてユニット内に格納し、 サーチのための基準ユニット及び当該基準ユニットの少
   なくとも前後に再生される所定数のユニットのアドレス
   と、当該ユニット内の前記所定のリファレンスデータの
   終了アドレスとを、前記符号化レートに基づいて求め、 前記ユニットのアドレス及び前記ユニット内の所定のリ
   ファレンスデータの終了アドレスを当該ユニットの先頭
   に記述 することを特徴とするデータ符号化方法。
2. 【請求項２】 前記ユニット内の所定のリファレンスデ
   ータの符号化の際には、前記仮想バッファのバッファ占
   有量を収束させる前記所定の値に基づいて設定された目
   標符号量に対して所定量だけ低く設定した仮目標符号量
   を求め、当該仮目標符号量での符号化による発生符号量
   と前記設定された目標符号量との差を無効ビットで調整
   して符号化を行うことを特徴とする請求項１記載のデー
   タ符号化方法。
3. 【請求項３】 所定単位の入力データを符号化する際
   に、符号化レートを決定し、復号時の復号バッファに相
   当する仮想バッファのバッファ占有量の推移を求めなが
   ら、符号化時点での前記仮想バッファのバッファ占有量
   を所定の値に収束するように符号化するデータ符号化装
   置において、 前記符号化レートに対応して前記所定単位毎の目標符号
   量を求める目標符号量計算手段と、 前記入力データのうち所定のリファレンスデータについ
   ては、前記仮想バッファのバッファ占有量を収束させる
   前記所定の値に基づいて前記目標符号量を設定する目標
   符号量設定手段と、 前記目標符号量設定手段からの前記目標符号量となるよ
   うに前記所定のリファレンスデータを符号化する符号化
   手段と、 前記符号化された符号化データを所定時間内に再生され
   るべきパック列としてユニット内に格納するユニット化
   手段と、 サーチのための基準ユニット及び当該基準ユニットの少
   なくとも前後に再生される所定数のユニットのアドレス
   と、前記ユニット内の所定のリファレンスデータの終了
   アドレスとを、前記符号化レートに基づいて求めるアド
   レス決定手段と、 前記ユニットのアドレス及び前記ユニット内の所定のリ
   ファレンスデータの終了アドレスを当該ユニットの先頭
   に記述する記述手段とを有する ことを特徴とするデータ
   符号化装置。
4. 【請求項４】 前記符号化制御手段は、前記ユニット内
   の所定のリファレンスデータの符号化の際に、前記仮想
   バッファのバッファ占有量を収束させる前記所定の値に
   基づいて設定された目標符号量に対して所定量だけ低く
   設定した仮目標符号量を求め、当該仮目標符号量での符
   号化による発生符号量と前記設定された目標符号量との
   差を無効ビットで調整するよう符号化を制御することを
   特徴とする請求項３記載のデータ符号化装置。