JP3918208B2 - 映像データ圧縮装置およびその方法 - Google Patents
映像データ圧縮装置およびその方法 Download PDFInfo
- Publication number
- JP3918208B2 JP3918208B2 JP22964896A JP22964896A JP3918208B2 JP 3918208 B2 JP3918208 B2 JP 3918208B2 JP 22964896 A JP22964896 A JP 22964896A JP 22964896 A JP22964896 A JP 22964896A JP 3918208 B2 JP3918208 B2 JP 3918208B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- value
- data
- video data
- data amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly predictive coded picture)およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１の観点に係る映像データ圧縮装置は、ＶＢＶバッファの制約条件を満たすように非圧縮映像データを圧縮して圧縮映像データを生成する映像データ圧縮装置であって、前記圧縮映像データから、映像の複雑さを示す難度データをピクチャーごとに算出する難度データ算出手段と、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当てるデータ量割当手段と、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出する目標値算出手段と、前記圧縮映像データの各ピクチャーのデータ量が前記目標値算出手段において算出された目標値になるように、前記非圧縮映像データを圧縮する圧縮手段とを有する。前記データ量割当手段は、前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、前記１のピクチャーが前記圧縮手段によって圧縮されると、その圧縮後のデータ量と所定の基準データ量との差を前記初期値に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する。
【００１０】
本発明の第２の観点は、動画像の非圧縮映像データを圧縮するとともに、その圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすように前記圧縮映像データのデータレートを制御する映像データ圧縮方法であって、映像の複雑さを示す難度データを前記圧縮映像データのピクチャーごとに算出し、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当て、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出し、前記圧縮映像データの各ピクチャーのデータ量が前記算出された目標値になるように、前記非圧縮映像データを所定の圧縮方法で圧縮する。前記データ量の割り当てにおいては、前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、前記１のピクチャーの圧縮を行った後、その圧縮後のデータ量と所定の基準データ量との差を前記初期値に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する。
【００２３】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２４】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２５】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２６】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２７】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２８】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２９】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００３０】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３１】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００３２】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３３】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３４】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３５】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３６】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３７】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３８】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３９】
【数１】
【００４０】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００４１】
【数２】
【００４２】
【数３】
【００４３】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+Lは、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示し、本発明の所定の基準データ量に対応している。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔjに基づいて調節する量子化値Ｑjにより量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔjに近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４４】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００４５】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４６】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４７】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４８】
第２実施形態
以下、本発明の第２の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【００４９】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj ’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【００５０】
第２の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【００５１】
図５は、第２の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図６は、図５に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図５および図６において、映像データ圧縮装置２の構成部分のうち、第１の実施形態において説明した映像データ圧縮装置１（図１〜図３）の構成部分と同一のものには同一の符号を付して示してある。
【００５２】
図５に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１〜図３）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図６に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【００５３】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【００５４】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【００５５】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【００５６】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【００５７】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【００５８】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【００５９】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図６）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１，図２）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【００６０】
ＭＥ残差と実難度データＤ j との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）の注目マクロブロックと、参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求める。ＭＥ残差は、このように、動きベクトルを求める際に、最小になった各マクロブロックの差分値の絶対和または自乗和を、ピクチャー全体について総和した値として定義される。
【００６１】
図７は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図８は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図７および図８においては、実難度データＤj として、エンコーダ１８が固定の量子化値を用いて圧縮符号化して得られた圧縮映像データのデータ量を用いており（以下、図１０，図１１において同じ）、図７および図８は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図７および図８において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図７および図８を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【００６２】
フラットネスと実難度データＤ j との関係
図９は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図９に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【００６３】
図１０は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図１０は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図１０において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図１０に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【００６４】
イントラＡＣと実難度データＤ j との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式４により求めることができる。
【００６５】
【数４】
【００６６】
図１１は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図１１は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図１１において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がイントラＡＣを示す。
図１１に示すように、イントラＡＣと実難度データＤj には、強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【００６７】
ここまでに説明したように、各指標データ（統計量）により実難度データＤj を一次関数等により近似可能であることが分かる。従って、各ピクチャータイプの実難度データＤj は、以下に示すように算出可能である。
【００６８】
Ｐピクチャーについては下に示す式５により、Ｂピクチャーについては下に示す式６により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式５，６と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【００６９】
【数５】
【００７０】
【数６】
【００７１】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１に代入することにより目標データ量Ｔj が算出される。
【００７２】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図９および式４に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【００７３】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【００７４】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式５および式６に示した演算処理を行って実難度データＤj を近似し、式５および式６と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【００７５】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【００７６】
なお、ＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式７に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【００７７】
【数７】
【００７８】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第２の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態示した映像データ圧縮装置１に対してと同様の変形が可能である。
【００７９】
第３実施形態
本発明の第３の実施形態の説明に先立ち、図１２を参照して、第３の実施形態における本発明に係る映像データ圧縮装置の背景および目的等を説明する。
図１２は、ＭＰＥＧのＭＰ＠ＭＬ方式によりＴＭ５に示された圧縮アルゴリズムを用いて、映像データ圧縮装置１，２（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰのデータ量（発生ビット量）をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１２においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【００８０】
ＴＭ５に示された圧縮アルゴリズムは、圧縮映像データのＧＯＰ当たりのデータ量を、ほぼ一定にすることができる点で優れている。しかしながら、圧縮映像データのデータレートを固定値にするＭＰＥＧの固定レート符号化方式においては、必ずしもＧＯＰ単位にデータ量を一定にする必要はない。
【００８１】
この固定レート符号化方式は、圧縮符号化後の映像データをバッファリングする仮想的なＶＢＶバッファ(video buffering verifier buffer) が要求する制約条件を満たすこと、つまり、ＶＢＶバッファにバッファリングされている圧縮映像データのデータ量（占有量Ｂn ）が規定値を上回ったり（オーバーフローを生じたり）、逆に、規定値以下になったり（アンダーフローを生じたり）しないことのみを圧縮映像データに要求する。
【００８２】
ＭＰ＠ＭＬ方式により、ＴＭ５に示される圧縮アルゴリズムを用いて圧縮符号化を行うと、バッファリング容量１．８ＭｂｉｔのＶＢＶバッファにおける圧縮映像データの占有量Ｂn を評価すると、例えば、図１２に示すように、占有量Ｂn は高い値で推移し、ＶＢＶバッファを必ずしも有効に利用できないことが分かる。
【００８３】
ＶＢＶバッファを有効利用しえないのは、ＶＢＶバッファにおける占有量Ｂn が高い値で推移するのは、ＶＢＶバッファのバッファリング容量が約１．８Ｍｂｉｔと大きいにもかかわらず、ＶＢＶバッファの入出力の単位となる圧縮映像データのピクチャーのデータ量が少ないためである。
このように、低いデータレートの圧縮映像データを生成する際に、非圧縮映像データの映像の複雑さのいかんにかかわらず、所定の枚数のピクチャー（ＧＯＰ）のデータ量をほぼ一定にすると、複雑な絵柄の部分の非圧縮映像データを圧縮符号化して得られる圧縮映像データを伸長復号して得られる映像の品質が極端に劣化し、逆に、簡単な絵柄の部分から得られる圧縮映像データの品質が比較的よくなる。従って、全体として見た場合には、圧縮映像データに多くのむらが生じ、しかも、絵柄が不安定になり、品質が悪くなる。
【００８４】
第３の実施形態に示すフィードバックレート制御方式は、かかる問題点に鑑みてなされたものであり、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【００８５】
図１３は、第３の実施形態における本発明に係るエンコーダ２６の構成を示す図である。
なお、図１３においては、エンコーダ２６の構成部分の内、図１〜図３および図５，図６に示したエンコーダ１８の構成部分と同一のものには同一の符号を付してある。
【００８６】
エンコーダ２６は、映像データ圧縮装置２（図５，図６）のエンコーダ１８の代わりに用いられる装置であって、図１３に示すように、エンコーダ２６は、量子化制御回路１８０の代わりに、グローバルコンプレクシティ算出回路（ＧＣ算出回路）２６２、目標データ量算出（Ｔj 算出）回路２６４および量子化インデックス生成回路２６６を含む量子化制御部２６０を有し、ホストコンピュータ２０によらずに、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn 、および、実難度データＤj またはグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【００８７】
エンコーダ２６は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードバック制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【００８８】
エンコーダ２６の各構成部分の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２（図１〜図３，図５，図６）のエンコーダ１８と異なる部分（量子化制御部２６０）の動作を説明する。
ＧＣ算出回路２６２の動作
ＧＣ算出回路２６２は、可変長符号化回路１７０から出力される圧縮映像データのデータ量ＳI ，Ｓp ，ＳB と、量子化回路１６８が量子化に用いた量子化値の平均値ＱI ，Ｑp ，ＱB とに基づいて、各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出し、目標データ量算出回路２６４、量子化インデックス生成回路２６６、および、必要に応じてホストコンピュータ２０に対して出力する。
【００８９】
なお、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、ＭＰＥＧのＴＭ５方式の第１段階（ステップ１）においてピクチャータイプごとに算出され、〔Ｘ（Ｉ，Ｐ，Ｂ）；ＸI ＝ＳI ＱI ，Ｘp ＝Ｓp Ｑp ，ＸB ＝ＳB ＱB と定義され、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データＤI ，Ｄp ，ＤB とほぼ同値（ＸI ，Ｘp ，ＸB ≒ＤI ，Ｄp ，ＤB ）になる。
【００９０】
目標データ量算出回路２６４の動作
動作（処理）の概要
目標データ量算出回路２６４は、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。なお、目標データ量算出回路２６４が算出した目標データ量Ｔj は、量子化インデックス生成回路２６６に対して出力される。
【００９１】
目標データ量Ｔ j の算出方法
まず、目標データ量算出回路２６４における目標データ量Ｔj の基本的な算出方法を説明する。
上述のように、各ピクチャータイプの実難度データＤj はそれぞれ、グローバルコンプレクシティＸI ，Ｘp ，ＸB とほぼ同値である。従って、目標データ量算出回路２６４は、グローバルコンプレクシティＸI ，Ｘp ，ＸB から各ピクチャータイプの目標データ量Ｔj を算出することができる。
なお、上記各関係式において、重み付け係数Ｋp ，ＫB は、ピクチャータイプごとに目標データ量Ｔj に異なった重み付けを行うために導入された係数であり、重み付け係数Ｋp ，ＫB の値をそれぞれ大きくすればするほど、Ｉピクチャーの目標データ量Ｔj と比較して、ＰピクチャおよびＢピクチャーの目標データ量Ｔj が少なくなる。例えば、ＭＰＥＧ方式のＴＭ５方式においては、重み付け係数Ｋp ，ＫB は固定値であり、それぞれ１．０，１．４（Ｋp ＝１．０，ＫB ＝１．４、デフォルト値）である。
【００９２】
このように、ＭＰＥＧ方式のＴＭ５方式においては、Ｐピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＰピクチャーのグローバルコンプレクシティＸp の比率の通りの目標データ量Ｔj が与えられ、Ｂピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＢピクチャーのグローバルコンプレクシティＸB の比率よりも意図的に小さい目標データ量Ｔj が与えられる。
【００９３】
レート制御方法
次に、目標データ量算出回路２６４におけるレート制御方法を説明する。
ＭＰＥＧのＴＭ５方式のレート制御において、重要な役割を果たすパラメータとしてパラメータＲがある。このパラメータＲは、ＭＰＥＧ方式において、レート制御の制御単位（例えばＧＯＰ）の残りのピクチャーに割り当てることができるデータ量を示す。
【００９４】
ここで、映像データ圧縮装置１，２（図１〜図３，図５，図６）においては、例えば、ＧＯＰの前半のピクチャーの映像が複雑である（実難度データＤj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB 等の値が大きい）場合等に、ＧＯＰの前半のピクチャーに多くのデータ量を割り当てると、ＧＯＰの後半のピクチャーに対するパラメータＲが極端に少ない値になったり、さらには、負数となったりして、ＧＯＰの後半のピクチャーに割り当てるべきデータ量が不足してしまうことがある。
【００９５】
このように、映像データ圧縮装置１，２において、パラメータＲの値が極端に小さくなったり負数になってしまうことがあるのは、ホストコンピュータ２０（図１，図５）が、レート制御の制御単位であるＧＯＰそれぞれのデータ量を一定に保つように、ＧＯＰの前半のピクチャーに対して多く割り当てすぎたデータ量を、ＧＯＰの後半のピクチャーに対してデータ量を少なく割り当てることにより補償するようにデータ量を割り当てるからである。ホストコンピュータ２０において、パラメータＲは、このように、ＧＯＰといった比較的短い期間におけるデータ量の補償処理に用いられる。
【００９６】
一方、エンコーダ２６の目標データ量算出回路２６４においては、このような短い制御単位でデータ量を一定にするためのパラメータＲのみでレート制御を行うのではなく、ＶＢＶバッファの制約条件の範囲内で、長期間におけるデータ量が一定になるように、残りのデータ量を均等に割り当てるパラメータＲj ’を制御する。
【００９７】
つまり、目標データ量算出回路２６４はパラメータＲj ’を制御し、非圧縮映像データのある期間に含まれるピクチャーに対して過剰に割り当てデータ量を、データ量を少なく割り当てると圧縮映像データの品質が劣化しそうな期間では補償せず、絵柄が簡単で、少ないデータ量を割り当てても圧縮映像データの品質の劣化が少ない期間で補償するように目標データ量Ｔj を調節する。
さらに、目標データ量算出回路２６４は、エンコーダ２６が１枚のピクチャーを圧縮符号化するたびに、式３と同様の処理を行ってパラメータＲj ’の値を更新する。
【００９８】
ＶＢＶバッファに対する考慮
しかしながら、パラメータＲj ’を圧縮映像データのデータ量が多く（データレートが高く）なるように調節する場合、圧縮映像データのデータ量の増加量を予測することが難しく、ＶＢＶバッファにアンダーフローが生じる可能性がある。従って、圧縮映像データのデータ量を多くするようにレート制御を行う場合には、未来のＶＢＶバッファの占有量Ｂn を考慮して、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn （圧縮映像データの残りデータ量）が多い場合にのみ、パラメータＲj ’の調節を行う。
【００９９】
なお、以上説明したＶＢＶバッファの占有量Ｂn を考慮したレート制御を実現するために、目標データ量算出回路２６４は、以下に説明する処理をさらに行う。
つまり、目標データ量算出回路２６４は、映像データの映像が複雑な部分に多く割り当てるデータ量を、エンコーダ２６が出力する圧縮映像データのデータレートではなく、ＶＢＶバッファがアンダーフローするまでのデータ量に基づいて求める。
【０１００】
また、目標データ量算出回路２６４は、映像データの映像が複雑な部分に、所定のデータレートよりも多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplement（初期値０）として記憶し、所定数のピクチャーの実難度データＤj の値の合計が小さくなった際にパラメータsum-supplementの値を減ずるようにレート制御を行い、非圧縮映像データの圧縮符号化が終了した時点でのパラメータsum-supplementの値が０にごく近い負値になるようにレート制御を行う。ただし、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn が少ない場合には、実難度データＤj の値にかかわらず、映像データの各ピクチャーの目標データ量Ｔj の値が小さくなるようにレート制御を行い、アンダーフローの発生を防ぐ。
【０１０１】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１４および数式を参照して、目標データ量算出回路２６４による目標データ量Ｔj を詳細に説明する。
図１４は、図１３に示した目標データ量算出回路２６４の処理を示すフローチャート図である。
図１４に示すように、ステップ５００（Ｓ５００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn をチェックし、ＶＢＶバッファに十分な量の圧縮映像データがバッファリングされており、アンダーフローが生じない余裕があるか否かを判断し、余裕がある場合にはＳ５０２の処理に進み、余裕がない場合にはＳ５１２の処理に進む。
【０１０２】
なお、ＶＢＶバッファの占有量Ｂn の判断には、下の式８に示す閾値VBV-R'j-Marginが用いられる。
【０１０３】
【数８】
【０１０４】
なお、式８において、last-I-genbit は、最新のＩピクチャーのデータ量であり、VBV-Marginは、目標データ量Ｔj の計算の際のアンダーフロー対策のための定数であり、frame-bit は１ピクチャー当たりのデータ量である。式８に示したように、閾値VBV-R'j-Marginの算出に最近のＩピクチャーのデータ量last-I-genbit を用いることにより、エンコーダ２６が次に、データ量が多いＩピクチャーの圧縮映像データを生成する場合にも、アンダーフローの発生を、ほぼ、完全に防止することができる。目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn と閾値VBV-R'j-Marginとを比較することにより、Ｓ５００の処理においてＶＢＶバッファに余裕があるか否かの判断を行う。
【０１０５】
また、目標データ量算出回路２６４は、Ｓ５００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がピクチャを圧縮符号化するごとに行う必要は必ずしもなく、例えば、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１０６】
これは、以下の理由による。つまり、エンコーダ２６がＩピクチャーを生成した直後はＶＢＶバッファの占有量が低くなるが、次にＩピクチャーを生成するまでに、通常、占有量が回復するので、エンコーダ２６がＩピクチャーを生成した直後には、目標データ量算出回路２６４はＳ５００の処理における判断を行う必要がなく、逆に、エンコーダ２６がデータ量が少ないＢピクチャーを生成した直後に、目標データ量算出回路２６４がＳ５００の処理における判断を行うと、ＶＢＶバッファがアンダーフローを生じるまでに十分な余裕があると誤って判断し、却ってＶＢＶバッファにアンダーフローを生じさせてしまう可能性が生じるからである。
【０１０７】
ステップ５０２（Ｓ５０２）において、目標データ量算出回路２６４は、下の式９−１に示すＮ枚のピクチャーのグローバルコンプレクシティＸI ，Ｘp ，ＸB の総和の値が閾値Ｔｈ１より大きいか否かを判断する。総和sum-difficultyの値が閾値Ｔｈ１より大きい場合にはＳ５０４の処理に進み、閾値Ｔｈ１以下である場合にはＳ５０８の処理に進む。なお、閾値Ｔｈ１は、パラメータＲj ’の値を大きくして圧縮映像データのデータ量を増やすか、あるいは逆に、パラメータＲj ’の値を小さくして圧縮映像データのデータ量を減らすかを定めるために重要である。
【０１０８】
ステップ５０４（Ｓ５０４）において、目標データ量算出回路２６４は、下の式９−２に示すように、パラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断する。パラメータＲj ’の値が閾値（Ｇ＋Ｔｈ２）よりも大きい場合にはＳ５０６の処理に進み、閾値（Ｇ＋Ｔｈ２）よりも小さい場合にはＳ５１６の処理に進む（Ｇ＝ N x bit-rate / picture-rate）。
【０１０９】
【数９】
【０１１０】
ステップ５０６（Ｓ５０６）において、目標データ量算出回路２６４は、例えば、下の式１０−１により、パラメータＲj ’に加算（補給）するデータ量（補給データ量）supplementを算出する。なお、式１０−１中のパラメータβ（０＜β＜１）は、式１０−２に示すように定義され、ＶＢＶバッファがアンダーフローを生じるまでのデータ量を判断するためのパラメータであり、パラメータβの値が大きく、ＶＢＶバッファのアンダーフローに対する余裕が大きければ大きいほどほど、補給データ量supplementの値は大きくなる。
【０１１１】
【数１０】
【０１１２】
また、式１０−１中の閾値Ｔｈ３は、補給データ量supplementの値を決定するための定数であり、MAX-supplementは、補給データ量supplementを制限するための制限値である。
【０１１３】
総和sum-difficultyの値が（Ｔｈ１＋Ｔｈ３）よりも大きくなると、式１０−１の右辺の分数項の値が１より大きくなってしまうので、下の式１１に示すように、補給データ量supplementの値を補正する。
【０１１４】
【数１１】
【０１１５】
ステップ５０８（Ｓ５０８）において、目標データ量算出回路２６４は、パラメータsum-supplementが正値であり、映像データの絵柄が複雑な部分に補給した補給データ量supplementが、完全には補償されていない（借金がある）状態にあるか否かを判断する。借金がある場合にはＳ５１０の処理に進み、借金がない場合にはＳ５１２の処理に進む。
【０１１６】
ステップ５１０（Ｓ５１０）において、目標データ量算出回路２６４は、映像データの絵柄が複雑な部分に補給した補給データ量supplementを補償するために、式１０−１のパラメータβの値を１とし、下の式１２に示す負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少してパラメータsum-supplementを０に近づけること（借金の返済）ができる。
【０１１７】
【数１２】
【０１１８】
ステップ５１２（Ｓ５１２）において、目標データ量算出回路２６４は、ＶＢＶバッファにアンダーフローが生じる可能性があると判断し、下の式１３により負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少し、ＶＢＶバッファのアンダーフローが防止される。
【０１１９】
【数１３】
【０１２０】
ステップ５１４（Ｓ５１４）において、目標データ量算出回路２６４は、下の式１４，式１５によりパラメータＲj ’，sum-supplementを更新する。
【０１２１】
【数１４】
【０１２２】
【数１５】
【０１２３】
ステップ５１６（Ｓ５１６）において、目標データ量算出回路２６４は、下式１６に示すように目標データ量Ｔj を算出し、量子化インデックス生成回路２６６に対して出力する。
【０１２４】
【数１６】
【０１２５】
ただし、式１６において、ＮI ，Ｎp ，ＮB はそれぞれ、１ＧＯＰ中に現れるＩピクチャー、ＰピクチャーおよびＢピクチャーの数を示し、１ＧＯＰの構成がＮ＝１，Ｍ＝３である場合には、ＮI ＝１，Ｎp ＝４，ＮB ＝１０である。
【０１２６】
ステップ５１８（Ｓ５１８）において、量子化インデックス生成回路２６６は、目標データ量算出回路２６４が生成した目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１２７】
ステップ５２０（Ｓ５２０）において、エンコーダ２６の量子化制御部２６０以外の構成部分は、量子化インデックス生成回路２６６が生成した量子化インデックスＱＩＮＤに基づいて非圧縮映像データを圧縮符号化する。
ステップ５２２（Ｓ５２２）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１２８】
量子化インデックス生成回路２６６の動作
以下、再び図１３を参照して、量子化インデックス生成回路２６６の動作（処理）を説明する。
量子化インデックス生成回路２６６は、例えば、ＭＰＥＧ方式のＴＭ５の第２段階および第３段階（ステップ２，ステップ３）と同様に、目標データ量算出回路２６４から入力された目標データ量Ｔj 、および、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB から量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１２９】
なお、量子化インデックスは、量子化回路１６８において、量子化処理の単位となるマクロブロックごとに変化する量子化値Ｑj の組み合わせを示すインデックスとして用いられるデータであって、量子化値Ｑj と等価である。つまり、量子化インデックス生成回路２６６から量子化インデックスを受けた量子化回路１６８は、受けた量子化インデックスが示す量子化値Ｑj の組み合わせに変換し、ＤＣＴ回路１６６から入力される映像データを量子化する。
【０１３０】
以下、エンコーダ２６（図１３）の動作を説明する。
動き検出器１４は、第１の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態と同様に、ピクチャーの並び替え処理等を行う。
【０１３１】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、図１４を参照して説明したように、最も新しく生成された各ピクチャータイプの目標データ量Ｔj を算出する。
【０１３２】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態および第２の実施形態においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１３３】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態および第２の実施形態においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１３４】
なお、第３の実施形態として示したエンコーダ２６の処理の内容は、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、エンコーダ２６の目標データ量算出回路２６４は、実難度データＤj を用いて目標データ量Ｔj を算出するように構成しても、グローバルコンプレクシティＸI ，Ｘp ，ＸB を用いて目標データ量Ｔj を算出してもよい。
【０１３５】
また、エンコーダ２６において量子化制御部２６０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第３の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
また、第３の実施形態に示したエンコーダ２６に対しては、第１の実施形態および第２の実施形態に示した変形が可能である。
【０１３６】
図１５は、ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ２６（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１５においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【０１３７】
以上説明したエンコーダ２６により圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行うと、ＶＢＶバッファの占有量Ｂn の占有量Ｂn は、図１５に示すように大きな範囲で変化し、図１２に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）を圧縮映像データを生成した場合に比べて、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファを有効に利用していることが分かる。
また、エンコーダ２６によれば、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることができる。
【０１３８】
第４実施形態
以下、本発明の第４の実施形態として、フィードフォワードレート制御方式を説明する。フィードフォワードレート制御方式は、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【０１３９】
図１６は、第４の実施形態における本発明に係る映像データ圧縮装置４の構成を示す図である。
図１７は、図１６に示したエンコーダ２８の構成を示す図である。
図１８は、図１７に示した量子化制御部２８０の構成を示す図である。
なお、図１６〜図１８においては、映像データ圧縮装置４の構成部分の内、図１〜図３，図５，図６，図１３に示した映像データ圧縮装置１〜２およびエンコーダ２６の構成部分と同一のものには同一の符号を付してある。
【０１４０】
図１６に示すように、映像データ圧縮装置４は、映像データ圧縮装置２，３（図５，図６，図１３）のエンコーダ１８を、エンコーダ２８で置換した構成を採る。
また、図１７に示すように、エンコーダ２８は、量子化制御回路１８０を量子化制御部２８０で置換した構成を採り、図１８に示すように、量子化制御部２８０は、実難度データ（Ｄj ）算出回路２８２、目標データ量（Ｔj ）算出回路２８４、パラメータ（Ｒj ’）算出回路２８６および量子化インデックス生成回路２８８から構成される。
【０１４１】
量子化制御部２８０は、エンコーダ２６（図１３）においてと同様に、ホストコンピュータ２０によらずに、指標データ〔統計量；第２の実施形態において説明したフラットネス（図９，図１０）、イントラＡＣ（図１１）、アクティビティ（式７）およびＭＥ残差（図７，図８）〕、および、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【０１４２】
映像データ圧縮装置４は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードフォワード制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【０１４３】
映像データ圧縮装置４の各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置１，２，３（図１〜図３，図５，図６，図１３）と異なる部分（量子化制御部２８０）の動作を説明する。
実難度データ算出回路２８２算出回路
実難度データ算出回路２８２は、動き検出器１４から入力される指標データ（ＭＥ残差による近似により、式５，式６に示したように、ＰピクチャーおよびＢピクチャーの実難度データＤj を算出し、また、エンコーダ制御部２２の統計量算出回路２２４から入力される指標データ（フラットネス、イントラＡＣおよびアクティビティ）による近似により、式５，式６と同様にＩピクチャーの実難度データＤj を算出し、パラメータ算出回路２８６およびパラメータ算出回路２８６に対して出力する。
【０１４４】
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、エンコーダ２６（図１３）の目標データ量算出回路２６４と同様に、第１の実施形態において式１に示した処理を行い、実難度データ算出回路２８２から入力された実難度データＤj 、および、パラメータ算出回路２８６から入力されるパラメータＲj ’に基づいて、各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１４５】
パラメータ算出回路２８６の動作
パラメータ算出回路２８６は、エンコーダ２６の目標データ量算出回路２６４（図１３）と同様に、式８〜式１５および図１４に示した処理を行ってパラメータＲj ’を調節し、更新する。ただし、パラメータ算出回路２８６は、図１４に示したＳ５１６の処理において、式１６の代わりに式１により、目標データ量Ｔj を算出し、量子化インデックス生成回路２８８に対して出力する。
【０１４６】
量子化インデックス生成回路２８８の動作
量子化インデックス生成回路２８８は、エンコーダ２６の量子化インデックス生成回路２６６（図１３）と同様に、目標データ量算出回路２８４から入力された目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１４７】
以下、映像データ圧縮装置４の動作を説明する。
量子化制御部２８０の実難度データ算出回路２８２は、動き検出器１４およびエンコーダ制御部２２から入力される指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）から、式５，式６に示したように、実難度データＤj を算出する。
【０１４８】
パラメータ算出回路２８６は、式８〜式１５に示したように、ＶＢＶバッファの占有量および映像データの絵柄の複雑さに応じてパラメータＲj ’を調節し、レート制御を行う。
目標データ量算出回路２８４は、パラメータ算出回路２８６が調節したパラメータＲj ’を、式１に代入し、目標データ量Ｔj を算出する。
【０１４９】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj から量子化インデックスＱＩＮＤを算出する。
エンコーダ２８の量子化制御部２８０以外の部分は、パラメータ算出回路２８６が算出した量子化インデックスＱＩＮＤを用いて非圧縮映像データを圧縮符号化する。
【０１５０】
なお、第４の実施形態として示した映像データ圧縮装置４の処理の内容は、第１の実施形態〜第３の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、映像データ圧縮装置４において量子化制御部２８０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第４の実施形態に示した映像データ圧縮装置４に対しても、第１の実施形態〜第３の実施形態に示した変形が可能である。
【０１５１】
第５実施形態
以下、本発明の第５の実施形態として、第３の実施形態に示したエンコーダ２６の動作の変形例を説明する。
ここまで、第１の実施形態において簡易２パスエンコード方式、第２の実施形態においてＦＦＲＣ方式を説明し、さらに、第３の実施形態および第４の実施形態において、ＶＢＶバッファの占有量に応じて圧縮映像データのデータ量を調節するフィードバックレート制御方式およびフィードフォワードレート制御方式を説明した。
【０１５２】
ＭＰＥＧ方式のＴＭ５はパラメータＲを、第１の実施形態〜第４の実施形態に示した各方式はパラメータＲj ’（式１等）を用いて目標データ量Ｔj を算出する。これらの各方式により、非圧縮映像データの非常に映像の絵柄が難しい（符号化難度が高い）部分を、低いデータレートの圧縮映像データに圧縮符号化しようとする場合、いかに量子化値Ｑj （量子化インデックスＱＩＮＤ）の値を大きくして圧縮率を上げ、データ量を少なくしようとしても、実際に生成した圧縮映像データのデータ量が目標データ量Ｔj を上回り、パラメータＲ，Ｒj ’の値が急速に減少し、レート制御の単位（例えばＧＯＰ）の最後の方のピクチャーでは、パラメータＲ，Ｒj ’の値が０以下になってしまうことがある。
【０１５３】
例えば、ＭＰＥＧのＴＭ５においては、パラメータＲの値が０以下になると、各ピクチャーには最低のデータ量（frame-bit/8 ；但し、frame-bit は圧縮映像データの所望の１ピクチャー当たりのデータ量）が割り当てられることになる。このように、最低のデータ量が割り当てられたピクチャーを、所望のデータレートの１／８という低いデータレートの圧縮映像データに圧縮符号化すると、かかる部分から得られる圧縮映像データの品質は顕著に低下してしまう。
【０１５４】
また、例えば、映像の絵柄が難しい非圧縮映像データの圧縮符号化処理を長い間、続けると、パラメータＲ，Ｒj ’の値が非常に小さくなり、非圧縮映像データの映像の絵柄が簡単になった後も、しばらくの間、パラメータＲ，Ｒj ’の値がある程度大きな正値に回復せず、パラメータＲ，Ｒj ’の値が回復するまでの間ずっと、最低データ量が各ＧＯＰに割り当てられてしまい、圧縮映像データの歪みが多くなってしまう。
一方、パラメータＲj ’は、本来、ＦＩＦＯメモリ１６０の遅延時間に対応するＬ枚のピクチャーに割り当てるデータ量の平均値であるため、その値は、（frame-bit ×Ｌ）から大きく外れることはない。
【０１５５】
本発明の第５の実施形態は、上述した問題点に鑑みてなされたものであり、非圧縮映像データの映像の絵柄が複雑で（実難度データＤj の値が大きく）、目標データ量Ｔj に対して、実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復可能であることを目的とし、第３の実施形態に示したエンコーダ２６の量子化制御部２６０の目標データ量算出回路２６４（図１３）の処理内容を変更したものである。
【０１５６】
第５の実施形態において、エンコーダ２６は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量Ｂn およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj をフィードバック制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第３の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１５７】
目標データ量算出回路２６４の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２およびエンコーダ２６（図１〜図３，図５，図６，図１３）と処理内容が異なる目標データ量算出回路２６４の動作（処理内容）を説明する。
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１５８】
レート制御方法
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’を調節し、パラメータＲj ’に、グローバルコンプレクシティＸI ，Ｘp ，ＸB 等から算出される乗数を乗算して目標データ量Ｔj を調節する。
但し、第３の実施形態においてと異なり、第５の実施形態においては、目標データ量算出回路２６４は、パラメータＲj ’に対して下限値Ｒmin を設定し、第３の実施形態においてと同様に算出したパラメータＲj ’が、下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１５９】
第１の実施形態において式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、（Ｒj ’−Ｓj ＋Ｆj+L ）〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、下式１７に示すように下限値Ｒmin に制限する。
【０１６０】
【数１７】
【０１６１】
また、目標データ量算出回路２６４は、第３の実施形態においてと同様に、映像データの映像が複雑な部分に多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、下式１８に示すように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１６２】
【数１８】
【０１６３】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１９を参照して、第５の実施形態における目標データ量算出回路２６４によるレート制御処理を詳細に説明する。
図１９は、第５の実施形態における目標データ量算出回路２６４の処理を示すフローチャート図である。
図１９に示すように、目標データ量算出回路２６４は、第３の実施形態において図１４に示した各処理と同様の処理を行う。
【０１６４】
ステップ６００（Ｓ６００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、目標データ量算出回路２６４は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１６５】
ステップ６０２（Ｓ６０２）において、目標データ量算出回路２６４は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、目標データ量算出回路２６４は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１６６】
ステップ６０６（Ｓ６０６）において、目標データ量算出回路２６４は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、目標データ量算出回路２６４は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、目標データ量算出回路２６４は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１６７】
ステップ６１２（Ｓ６１２）において、目標データ量算出回路２６４は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、目標データ量算出回路２６４は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj ’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１６８】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２６４は、式１６に示したように目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２６は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、目標データ量算出回路２６４は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１６９】
ステップ６２２（Ｓ６２２）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１７０】
ステップ６２６（Ｓ６２６）において、目標データ量算出回路２６４は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１７１】
以下、第５の実施形態におけるエンコーダ２６（図１３）の動作を説明する。動き検出器１４は、第１の実施形態および第３の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態等においてと同様に、ピクチャーの並び替え処理等を行う。
ＦＩＦＯメモリ１６０は、第１の実施形態等においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０１７２】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、最も新しく生成された各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、図１９を参照して説明したように、次のピクチャーの目標データ量Ｔj を算出する。
【０１７３】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１７４】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１７５】
変形例
以下、第５の実施形態の変形例を説明する。
第５の実施形態において示した改良フィードバックレート制御方式は、第１の実施形態、第２の実施形態および第４の実施形態に示した映像データ圧縮装置１，２，４（図１〜図３，図５，図６，図１６〜図１８）にも応用可能である。また、第５の実施形態においては、目標データ量算出回路２６４が、ＶＢＶバッファを考慮して目標データ量Ｔj を算出する場合について説明したが、ＶＢＶバッファを考慮せずに目標データ量Ｔj を生成するように目標データ量算出回路２６４の動作を変更してもよい。
【０１７６】
以下、図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を応用する変形例を説明する。
図２０は、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
図２０に示すように、映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０１７７】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１７８】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１７９】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
なお、映像データ圧縮装置４（図１６〜図１８）において、第４の実施形態に示したフィードフォーワードレート制御を改良し、第５の実施形態に示した改良フィードフォーワードレート制御と同等の効果を得るためには、映像データ圧縮装置４のパラメータ算出回路２８６の動作を変更し、図１４に示した各処理を実行すればよい。但し、この場合、Ｓ６１６の処理において、式１６の代わりに式１により目標データ量Ｔj を算出する必要がある。
【０１８０】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０１８１】
そこで、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示すように、下限値Ｒmin を定める関数を導入することにより、第５の実施例においてと同様の効果を得ることができる。
【０１８２】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１において点線で例示するように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第５の実施形態に示した改良フィードバックレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
【０１８３】
また、第５の実施形態においてエンコーダ２６の量子化制御部２６０が行った処理を、ホストコンピュータ２０が行うことも可能である。
また、第５の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
【０１８４】
以上説明したように、第５の実施形態に示した改良フィードバックレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【０１８５】
第６実施形態
以下、本発明の第６の実施形態として、第４の実施形態に示した映像データ圧縮装置４（図１６）の動作の変形例（改良フィードフォワードレート制御方式）を説明する。
改良フィードフォワードレート制御方式は、第４の実施形態に示したフィードフォワードレート制御方式を、目標データ量Ｔj に対して実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復するように改良したものである。
【０１８６】
第６の実施形態において、映像データ圧縮装置４は、ＶＢＶバッファの占有量Ｂn および指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）に基づいて目標データ量Ｔj をフィードフォワード制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第４の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１８７】
各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置４においてと処理内容が異なる量子化制御部２８０（図１７）の目標データ量算出回路２８４およびパラメータ算出回路２８６（図１８）の動作（処理内容）を説明する。
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、実難度データ算出回路２８２が指標データから算出した実難度データＤj （ＤI ，Ｄp ，ＤB ）と、パラメータ算出回路２８６がＶＢＶバッファの占有量Ｂn および実難度データＤj から算出したパラメータＲj ’とに基づいて各ピクチャータイプの目標データ量Ｔj を算出する。
【０１８８】
パラメータ算出回路２８６の動作
レート制御方法
パラメータ算出回路２８６は、第４の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’の値を調節することによりレート制御を行う。
但し、パラメータ算出回路２８６は、パラメータＲj ’に対して下限値Ｒmin を設定し、パラメータＲj ’が下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１８９】
式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、式１７に示したように下限値Ｒmin に制限する。
【０１９０】
また、パラメータ算出回路２８６は、借金額をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、式１８に示したように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１９１】
パラメータ算出回路２８６の処理内容のまとめ
以下、再び図１９を参照して、第６の実施形態におけるパラメータ算出回路２８６によるレート制御処理および関連部分の処理の内容を詳細に説明する。
ステップ６００（Ｓ６００）において、パラメータ算出回路２８６は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、パラメータ算出回路２８６は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２８がＰピクチャーを生成した直後にのみ行ってもよい。
【０１９２】
ステップ６０２（Ｓ６０２）において、パラメータ算出回路２８６は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、パラメータ算出回路２８６は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１９３】
ステップ６０６（Ｓ６０６）において、パラメータ算出回路２８６は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、パラメータ算出回路２８６は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、パラメータ算出回路２８６は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１９４】
ステップ６１２（Ｓ６１２）において、パラメータ算出回路２８６は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、パラメータ算出回路２８６は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj ’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１９５】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２８４は、第５の実施形態に示したエンコーダ２６の目標データ量算出回路２６４とは異なり、式１６の代わりに式１を用いて目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、パラメータ算出回路２８６は、式３により次のパラメータＲj+1 ’を算出し、更新する。
【０１９６】
ステップ６２２（Ｓ６２２）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１９７】
ステップ６２６（Ｓ６２６）において、パラメータ算出回路２８６は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、パラメータ算出回路２８６は、変数ｊをインクリメントする。
【０１９８】
以下、第６の実施形態における映像データ圧縮装置４（図１６）の動作を説明する。
動き検出器１４は、動きベクトルおよびＭＥ残差の生成等の処理を行う。
エンコーダ制御部２２は、ピクチャーの並び替え処理および指標データ（フラットネス、イントラＡＣおよびアクティビティ）の生成等の処理を行う。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【０１９９】
エンコーダ２８（図１６）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２８０の実難度データ算出回路２８２は、実難度データＤj を算出する。
パラメータ算出回路２８６は、図１９に示したようにパラメータＲj ’の算出を行い、目標データ量算出回路２８４は、最も新しく生成された各ピクチャータイプのピクチャーの実難度データＤj （ＤI ，Ｄp ，ＤB ）に基づいて、式１により目標データ量Ｔj を算出する。
【０２００】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj に基づいて、量子化インデックスを算出し、エンコーダ２８の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０２０１】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０２０２】
変形例
以下、再び図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第６の実施形態に示した改良フィードフォワードレート制御を応用する変形例を説明する。
映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０２０３】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０２０４】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０２０５】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
【０２０６】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０２０７】
そこで、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示したように、下限値Ｒmin を定める関数を導入することにより、第６の実施例においてと同様の効果を得ることができる。
【０２０８】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１に例示したように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第６の実施形態に示した改良フィードフォワードレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
また、第６の実施形態に示した各パラメータを定義する式は例示であり、映像データ圧縮装置４の構成・用途に合わせて、各式を変更することができる。
【０２０９】
以上説明したように、第６の実施形態に示した改良フィードフォワードレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【０２１０】
【発明の効果】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】第２の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図６】図５に示した映像データ圧縮装置２の圧縮符号化部の詳細な構成を示す図である。
【図７】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図８】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図９】フラットネスの計算方法を示す図である。
【図１０】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１１】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
【図１２】ＭＰＥＧのＭＰ＠ＭＬ方式により、映像データ圧縮装置（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰの発生ビット量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１３】図１３に示したエンコーダの構成を示す図である。
【図１４】図１３に示した目標データ量算出回路の処理を示すフローチャート図である。
【図１５】ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１６】第４の実施形態における本発明に係る映像データ圧縮装置の構成を示す図である。
【図１７】図１６に示したエンコーダの構成を示す図である。
【図１８】図１７に示した量子化制御部の構成を示す図である。
【図１９】第５の実施形態における目標データ量算出回路の処理を示すフローチャート図である。
【図２０】映像データ圧縮装置（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
【図２１】第５の実施形態に示した改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合に用いる下限値Ｒmin を定める関数を示す図である。
【符号の説明】
１，２，４…映像データ圧縮装置、１０，２４…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８，２６，２８…エンコーダ、２６０，２８０…量子化制御部、２６２…ＧＣ算出回路、２８２…実難度データ算出回路、２８４，２６４…目標データ量算出回路、２８６…パラメータ算出回路、２６６，２８８…量子化インデックス生成回路、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly predictive coded picture)およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１の観点に係る映像データ圧縮装置は、ＶＢＶバッファの制約条件を満たすように非圧縮映像データを圧縮して圧縮映像データを生成する映像データ圧縮装置であって、前記圧縮映像データから、映像の複雑さを示す難度データをピクチャーごとに算出する難度データ算出手段と、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当てるデータ量割当手段と、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出する目標値算出手段と、前記圧縮映像データの各ピクチャーのデータ量が前記目標値算出手段において算出された目標値になるように、前記非圧縮映像データを圧縮する圧縮手段とを有する。前記データ量割当手段は、前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、前記１のピクチャーが前記圧縮手段によって圧縮されると、その圧縮後のデータ量と所定の基準データ量との差を前記初期値に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する。
【００１０】
本発明の第２の観点は、動画像の非圧縮映像データを圧縮するとともに、その圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすように前記圧縮映像データのデータレートを制御する映像データ圧縮方法であって、映像の複雑さを示す難度データを前記圧縮映像データのピクチャーごとに算出し、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当て、前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出し、前記圧縮映像データの各ピクチャーのデータ量が前記算出された目標値になるように、前記非圧縮映像データを所定の圧縮方法で圧縮する。前記データ量の割り当てにおいては、前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、前記１のピクチャーの圧縮を行った後、その圧縮後のデータ量と所定の基準データ量との差を前記初期値に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する。
【００２３】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２４】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２５】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２６】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２７】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２８】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２９】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００３０】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３１】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００３２】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３３】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３４】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３５】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３６】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３７】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３８】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３９】
【数１】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００４１】
【数２】
【数３】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+Lは、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示し、本発明の所定の基準データ量に対応している。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔjに基づいて調節する量子化値Ｑjにより量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔjに近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４４】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００４５】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４６】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４７】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４８】
第２実施形態
以下、本発明の第２の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【００４９】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj ’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【００５０】
第２の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【００５１】
図５は、第２の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図６は、図５に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図５および図６において、映像データ圧縮装置２の構成部分のうち、第１の実施形態において説明した映像データ圧縮装置１（図１〜図３）の構成部分と同一のものには同一の符号を付して示してある。
【００５２】
図５に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１〜図３）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図６に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【００５３】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【００５４】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【００５５】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【００５６】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【００５７】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【００５８】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【００５９】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図６）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１，図２）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【００６０】
ＭＥ残差と実難度データＤ j との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）の注目マクロブロックと、参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求める。ＭＥ残差は、このように、動きベクトルを求める際に、最小になった各マクロブロックの差分値の絶対和または自乗和を、ピクチャー全体について総和した値として定義される。
【００６１】
図７は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図８は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図７および図８においては、実難度データＤj として、エンコーダ１８が固定の量子化値を用いて圧縮符号化して得られた圧縮映像データのデータ量を用いており（以下、図１０，図１１において同じ）、図７および図８は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図７および図８において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図７および図８を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【００６２】
フラットネスと実難度データＤ j との関係
図９は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図９に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【００６３】
図１０は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図１０は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図１０において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図１０に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【００６４】
イントラＡＣと実難度データＤ j との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式４により求めることができる。
【００６５】
【数４】
図１１は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図１１は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図１１において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がイントラＡＣを示す。
図１１に示すように、イントラＡＣと実難度データＤj には、強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【００６７】
ここまでに説明したように、各指標データ（統計量）により実難度データＤj を一次関数等により近似可能であることが分かる。従って、各ピクチャータイプの実難度データＤj は、以下に示すように算出可能である。
【００６８】
Ｐピクチャーについては下に示す式５により、Ｂピクチャーについては下に示す式６により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式５，６と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【００６９】
【数５】
【数６】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１に代入することにより目標データ量Ｔj が算出される。
【００７２】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図９および式４に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【００７３】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【００７４】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式５および式６に示した演算処理を行って実難度データＤj を近似し、式５および式６と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【００７５】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【００７６】
なお、ＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式７に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【００７７】
【数７】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第２の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態示した映像データ圧縮装置１に対してと同様の変形が可能である。
【００７９】
第３実施形態
本発明の第３の実施形態の説明に先立ち、図１２を参照して、第３の実施形態における本発明に係る映像データ圧縮装置の背景および目的等を説明する。
図１２は、ＭＰＥＧのＭＰ＠ＭＬ方式によりＴＭ５に示された圧縮アルゴリズムを用いて、映像データ圧縮装置１，２（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰのデータ量（発生ビット量）をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１２においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【００８０】
ＴＭ５に示された圧縮アルゴリズムは、圧縮映像データのＧＯＰ当たりのデータ量を、ほぼ一定にすることができる点で優れている。しかしながら、圧縮映像データのデータレートを固定値にするＭＰＥＧの固定レート符号化方式においては、必ずしもＧＯＰ単位にデータ量を一定にする必要はない。
【００８１】
この固定レート符号化方式は、圧縮符号化後の映像データをバッファリングする仮想的なＶＢＶバッファ(video buffering verifier buffer) が要求する制約条件を満たすこと、つまり、ＶＢＶバッファにバッファリングされている圧縮映像データのデータ量（占有量Ｂn ）が規定値を上回ったり（オーバーフローを生じたり）、逆に、規定値以下になったり（アンダーフローを生じたり）しないことのみを圧縮映像データに要求する。
【００８２】
ＭＰ＠ＭＬ方式により、ＴＭ５に示される圧縮アルゴリズムを用いて圧縮符号化を行うと、バッファリング容量１．８ＭｂｉｔのＶＢＶバッファにおける圧縮映像データの占有量Ｂn を評価すると、例えば、図１２に示すように、占有量Ｂn は高い値で推移し、ＶＢＶバッファを必ずしも有効に利用できないことが分かる。
【００８３】
ＶＢＶバッファを有効利用しえないのは、ＶＢＶバッファにおける占有量Ｂn が高い値で推移するのは、ＶＢＶバッファのバッファリング容量が約１．８Ｍｂｉｔと大きいにもかかわらず、ＶＢＶバッファの入出力の単位となる圧縮映像データのピクチャーのデータ量が少ないためである。
このように、低いデータレートの圧縮映像データを生成する際に、非圧縮映像データの映像の複雑さのいかんにかかわらず、所定の枚数のピクチャー（ＧＯＰ）のデータ量をほぼ一定にすると、複雑な絵柄の部分の非圧縮映像データを圧縮符号化して得られる圧縮映像データを伸長復号して得られる映像の品質が極端に劣化し、逆に、簡単な絵柄の部分から得られる圧縮映像データの品質が比較的よくなる。従って、全体として見た場合には、圧縮映像データに多くのむらが生じ、しかも、絵柄が不安定になり、品質が悪くなる。
【００８４】
第３の実施形態に示すフィードバックレート制御方式は、かかる問題点に鑑みてなされたものであり、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【００８５】
図１３は、第３の実施形態における本発明に係るエンコーダ２６の構成を示す図である。
なお、図１３においては、エンコーダ２６の構成部分の内、図１〜図３および図５，図６に示したエンコーダ１８の構成部分と同一のものには同一の符号を付してある。
【００８６】
エンコーダ２６は、映像データ圧縮装置２（図５，図６）のエンコーダ１８の代わりに用いられる装置であって、図１３に示すように、エンコーダ２６は、量子化制御回路１８０の代わりに、グローバルコンプレクシティ算出回路（ＧＣ算出回路）２６２、目標データ量算出（Ｔj 算出）回路２６４および量子化インデックス生成回路２６６を含む量子化制御部２６０を有し、ホストコンピュータ２０によらずに、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn 、および、実難度データＤj またはグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【００８７】
エンコーダ２６は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードバック制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【００８８】
エンコーダ２６の各構成部分の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２（図１〜図３，図５，図６）のエンコーダ１８と異なる部分（量子化制御部２６０）の動作を説明する。
ＧＣ算出回路２６２の動作
ＧＣ算出回路２６２は、可変長符号化回路１７０から出力される圧縮映像データのデータ量ＳI ，Ｓp ，ＳB と、量子化回路１６８が量子化に用いた量子化値の平均値ＱI ，Ｑp ，ＱB とに基づいて、各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出し、目標データ量算出回路２６４、量子化インデックス生成回路２６６、および、必要に応じてホストコンピュータ２０に対して出力する。
【００８９】
なお、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、ＭＰＥＧのＴＭ５方式の第１段階（ステップ１）においてピクチャータイプごとに算出され、〔Ｘ（Ｉ，Ｐ，Ｂ）；ＸI ＝ＳI ＱI ，Ｘp ＝Ｓp Ｑp ，ＸB ＝ＳB ＱB と定義され、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データＤI ，Ｄp ，ＤB とほぼ同値（ＸI ，Ｘp ，ＸB ≒ＤI ，Ｄp ，ＤB ）になる。
【００９０】
目標データ量算出回路２６４の動作
動作（処理）の概要
目標データ量算出回路２６４は、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。なお、目標データ量算出回路２６４が算出した目標データ量Ｔj は、量子化インデックス生成回路２６６に対して出力される。
【００９１】
目標データ量Ｔ j の算出方法
まず、目標データ量算出回路２６４における目標データ量Ｔj の基本的な算出方法を説明する。
上述のように、各ピクチャータイプの実難度データＤj はそれぞれ、グローバルコンプレクシティＸI ，Ｘp ，ＸB とほぼ同値である。従って、目標データ量算出回路２６４は、グローバルコンプレクシティＸI ，Ｘp ，ＸB から各ピクチャータイプの目標データ量Ｔj を算出することができる。
なお、上記各関係式において、重み付け係数Ｋp ，ＫB は、ピクチャータイプごとに目標データ量Ｔj に異なった重み付けを行うために導入された係数であり、重み付け係数Ｋp ，ＫB の値をそれぞれ大きくすればするほど、Ｉピクチャーの目標データ量Ｔj と比較して、ＰピクチャおよびＢピクチャーの目標データ量Ｔj が少なくなる。例えば、ＭＰＥＧ方式のＴＭ５方式においては、重み付け係数Ｋp ，ＫB は固定値であり、それぞれ１．０，１．４（Ｋp ＝１．０，ＫB ＝１．４、デフォルト値）である。
【００９２】
このように、ＭＰＥＧ方式のＴＭ５方式においては、Ｐピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＰピクチャーのグローバルコンプレクシティＸp の比率の通りの目標データ量Ｔj が与えられ、Ｂピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＢピクチャーのグローバルコンプレクシティＸB の比率よりも意図的に小さい目標データ量Ｔj が与えられる。
【００９３】
レート制御方法
次に、目標データ量算出回路２６４におけるレート制御方法を説明する。
ＭＰＥＧのＴＭ５方式のレート制御において、重要な役割を果たすパラメータとしてパラメータＲがある。このパラメータＲは、ＭＰＥＧ方式において、レート制御の制御単位（例えばＧＯＰ）の残りのピクチャーに割り当てることができるデータ量を示す。
【００９４】
ここで、映像データ圧縮装置１，２（図１〜図３，図５，図６）においては、例えば、ＧＯＰの前半のピクチャーの映像が複雑である（実難度データＤj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB 等の値が大きい）場合等に、ＧＯＰの前半のピクチャーに多くのデータ量を割り当てると、ＧＯＰの後半のピクチャーに対するパラメータＲが極端に少ない値になったり、さらには、負数となったりして、ＧＯＰの後半のピクチャーに割り当てるべきデータ量が不足してしまうことがある。
【００９５】
このように、映像データ圧縮装置１，２において、パラメータＲの値が極端に小さくなったり負数になってしまうことがあるのは、ホストコンピュータ２０（図１，図５）が、レート制御の制御単位であるＧＯＰそれぞれのデータ量を一定に保つように、ＧＯＰの前半のピクチャーに対して多く割り当てすぎたデータ量を、ＧＯＰの後半のピクチャーに対してデータ量を少なく割り当てることにより補償するようにデータ量を割り当てるからである。ホストコンピュータ２０において、パラメータＲは、このように、ＧＯＰといった比較的短い期間におけるデータ量の補償処理に用いられる。
【００９６】
一方、エンコーダ２６の目標データ量算出回路２６４においては、このような短い制御単位でデータ量を一定にするためのパラメータＲのみでレート制御を行うのではなく、ＶＢＶバッファの制約条件の範囲内で、長期間におけるデータ量が一定になるように、残りのデータ量を均等に割り当てるパラメータＲj ’を制御する。
【００９７】
つまり、目標データ量算出回路２６４はパラメータＲj ’を制御し、非圧縮映像データのある期間に含まれるピクチャーに対して過剰に割り当てデータ量を、データ量を少なく割り当てると圧縮映像データの品質が劣化しそうな期間では補償せず、絵柄が簡単で、少ないデータ量を割り当てても圧縮映像データの品質の劣化が少ない期間で補償するように目標データ量Ｔj を調節する。
さらに、目標データ量算出回路２６４は、エンコーダ２６が１枚のピクチャーを圧縮符号化するたびに、式３と同様の処理を行ってパラメータＲj ’の値を更新する。
【００９８】
ＶＢＶバッファに対する考慮
しかしながら、パラメータＲj ’を圧縮映像データのデータ量が多く（データレートが高く）なるように調節する場合、圧縮映像データのデータ量の増加量を予測することが難しく、ＶＢＶバッファにアンダーフローが生じる可能性がある。従って、圧縮映像データのデータ量を多くするようにレート制御を行う場合には、未来のＶＢＶバッファの占有量Ｂn を考慮して、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn （圧縮映像データの残りデータ量）が多い場合にのみ、パラメータＲj ’の調節を行う。
【００９９】
なお、以上説明したＶＢＶバッファの占有量Ｂn を考慮したレート制御を実現するために、目標データ量算出回路２６４は、以下に説明する処理をさらに行う。
つまり、目標データ量算出回路２６４は、映像データの映像が複雑な部分に多く割り当てるデータ量を、エンコーダ２６が出力する圧縮映像データのデータレートではなく、ＶＢＶバッファがアンダーフローするまでのデータ量に基づいて求める。
【０１００】
また、目標データ量算出回路２６４は、映像データの映像が複雑な部分に、所定のデータレートよりも多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplement（初期値０）として記憶し、所定数のピクチャーの実難度データＤj の値の合計が小さくなった際にパラメータsum-supplementの値を減ずるようにレート制御を行い、非圧縮映像データの圧縮符号化が終了した時点でのパラメータsum-supplementの値が０にごく近い負値になるようにレート制御を行う。ただし、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn が少ない場合には、実難度データＤj の値にかかわらず、映像データの各ピクチャーの目標データ量Ｔj の値が小さくなるようにレート制御を行い、アンダーフローの発生を防ぐ。
【０１０１】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１４および数式を参照して、目標データ量算出回路２６４による目標データ量Ｔj を詳細に説明する。
図１４は、図１３に示した目標データ量算出回路２６４の処理を示すフローチャート図である。
図１４に示すように、ステップ５００（Ｓ５００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn をチェックし、ＶＢＶバッファに十分な量の圧縮映像データがバッファリングされており、アンダーフローが生じない余裕があるか否かを判断し、余裕がある場合にはＳ５０２の処理に進み、余裕がない場合にはＳ５１２の処理に進む。
【０１０２】
なお、ＶＢＶバッファの占有量Ｂn の判断には、下の式８に示す閾値VBV-R'j-Marginが用いられる。
【０１０３】
【数８】
なお、式８において、last-I-genbit は、最新のＩピクチャーのデータ量であり、VBV-Marginは、目標データ量Ｔj の計算の際のアンダーフロー対策のための定数であり、frame-bit は１ピクチャー当たりのデータ量である。式８に示したように、閾値VBV-R'j-Marginの算出に最近のＩピクチャーのデータ量last-I-genbit を用いることにより、エンコーダ２６が次に、データ量が多いＩピクチャーの圧縮映像データを生成する場合にも、アンダーフローの発生を、ほぼ、完全に防止することができる。目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn と閾値VBV-R'j-Marginとを比較することにより、Ｓ５００の処理においてＶＢＶバッファに余裕があるか否かの判断を行う。
【０１０５】
また、目標データ量算出回路２６４は、Ｓ５００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がピクチャを圧縮符号化するごとに行う必要は必ずしもなく、例えば、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１０６】
これは、以下の理由による。つまり、エンコーダ２６がＩピクチャーを生成した直後はＶＢＶバッファの占有量が低くなるが、次にＩピクチャーを生成するまでに、通常、占有量が回復するので、エンコーダ２６がＩピクチャーを生成した直後には、目標データ量算出回路２６４はＳ５００の処理における判断を行う必要がなく、逆に、エンコーダ２６がデータ量が少ないＢピクチャーを生成した直後に、目標データ量算出回路２６４がＳ５００の処理における判断を行うと、ＶＢＶバッファがアンダーフローを生じるまでに十分な余裕があると誤って判断し、却ってＶＢＶバッファにアンダーフローを生じさせてしまう可能性が生じるからである。
【０１０７】
ステップ５０２（Ｓ５０２）において、目標データ量算出回路２６４は、下の式９−１に示すＮ枚のピクチャーのグローバルコンプレクシティＸI ，Ｘp ，ＸB の総和の値が閾値Ｔｈ１より大きいか否かを判断する。総和sum-difficultyの値が閾値Ｔｈ１より大きい場合にはＳ５０４の処理に進み、閾値Ｔｈ１以下である場合にはＳ５０８の処理に進む。なお、閾値Ｔｈ１は、パラメータＲj ’の値を大きくして圧縮映像データのデータ量を増やすか、あるいは逆に、パラメータＲj ’の値を小さくして圧縮映像データのデータ量を減らすかを定めるために重要である。
【０１０８】
ステップ５０４（Ｓ５０４）において、目標データ量算出回路２６４は、下の式９−２に示すように、パラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断する。パラメータＲj ’の値が閾値（Ｇ＋Ｔｈ２）よりも大きい場合にはＳ５０６の処理に進み、閾値（Ｇ＋Ｔｈ２）よりも小さい場合にはＳ５１６の処理に進む（Ｇ＝ N x bit-rate / picture-rate）。
【０１０９】
【数９】
ステップ５０６（Ｓ５０６）において、目標データ量算出回路２６４は、例えば、下の式１０−１により、パラメータＲj ’に加算（補給）するデータ量（補給データ量）supplementを算出する。なお、式１０−１中のパラメータβ（０＜β＜１）は、式１０−２に示すように定義され、ＶＢＶバッファがアンダーフローを生じるまでのデータ量を判断するためのパラメータであり、パラメータβの値が大きく、ＶＢＶバッファのアンダーフローに対する余裕が大きければ大きいほどほど、補給データ量supplementの値は大きくなる。
【０１１１】
【数１０】
また、式１０−１中の閾値Ｔｈ３は、補給データ量supplementの値を決定するための定数であり、MAX-supplementは、補給データ量supplementを制限するための制限値である。
【０１１３】
総和sum-difficultyの値が（Ｔｈ１＋Ｔｈ３）よりも大きくなると、式１０−１の右辺の分数項の値が１より大きくなってしまうので、下の式１１に示すように、補給データ量supplementの値を補正する。
【０１１４】
【数１１】
ステップ５０８（Ｓ５０８）において、目標データ量算出回路２６４は、パラメータsum-supplementが正値であり、映像データの絵柄が複雑な部分に補給した補給データ量supplementが、完全には補償されていない（借金がある）状態にあるか否かを判断する。借金がある場合にはＳ５１０の処理に進み、借金がない場合にはＳ５１２の処理に進む。
【０１１６】
ステップ５１０（Ｓ５１０）において、目標データ量算出回路２６４は、映像データの絵柄が複雑な部分に補給した補給データ量supplementを補償するために、式１０−１のパラメータβの値を１とし、下の式１２に示す負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少してパラメータsum-supplementを０に近づけること（借金の返済）ができる。
【０１１７】
【数１２】
ステップ５１２（Ｓ５１２）において、目標データ量算出回路２６４は、ＶＢＶバッファにアンダーフローが生じる可能性があると判断し、下の式１３により負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少し、ＶＢＶバッファのアンダーフローが防止される。
【０１１９】
【数１３】
ステップ５１４（Ｓ５１４）において、目標データ量算出回路２６４は、下の式１４，式１５によりパラメータＲj ’，sum-supplementを更新する。
【０１２１】
【数１４】
【数１５】
ステップ５１６（Ｓ５１６）において、目標データ量算出回路２６４は、下式１６に示すように目標データ量Ｔj を算出し、量子化インデックス生成回路２６６に対して出力する。
【０１２４】
【数１６】
ただし、式１６において、ＮI ，Ｎp ，ＮB はそれぞれ、１ＧＯＰ中に現れるＩピクチャー、ＰピクチャーおよびＢピクチャーの数を示し、１ＧＯＰの構成がＮ＝１，Ｍ＝３である場合には、ＮI ＝１，Ｎp ＝４，ＮB ＝１０である。
【０１２６】
ステップ５１８（Ｓ５１８）において、量子化インデックス生成回路２６６は、目標データ量算出回路２６４が生成した目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１２７】
ステップ５２０（Ｓ５２０）において、エンコーダ２６の量子化制御部２６０以外の構成部分は、量子化インデックス生成回路２６６が生成した量子化インデックスＱＩＮＤに基づいて非圧縮映像データを圧縮符号化する。
ステップ５２２（Ｓ５２２）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１２８】
量子化インデックス生成回路２６６の動作
以下、再び図１３を参照して、量子化インデックス生成回路２６６の動作（処理）を説明する。
量子化インデックス生成回路２６６は、例えば、ＭＰＥＧ方式のＴＭ５の第２段階および第３段階（ステップ２，ステップ３）と同様に、目標データ量算出回路２６４から入力された目標データ量Ｔj 、および、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB から量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１２９】
なお、量子化インデックスは、量子化回路１６８において、量子化処理の単位となるマクロブロックごとに変化する量子化値Ｑj の組み合わせを示すインデックスとして用いられるデータであって、量子化値Ｑj と等価である。つまり、量子化インデックス生成回路２６６から量子化インデックスを受けた量子化回路１６８は、受けた量子化インデックスが示す量子化値Ｑj の組み合わせに変換し、ＤＣＴ回路１６６から入力される映像データを量子化する。
【０１３０】
以下、エンコーダ２６（図１３）の動作を説明する。
動き検出器１４は、第１の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態と同様に、ピクチャーの並び替え処理等を行う。
【０１３１】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、図１４を参照して説明したように、最も新しく生成された各ピクチャータイプの目標データ量Ｔj を算出する。
【０１３２】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態および第２の実施形態においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１３３】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態および第２の実施形態においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１３４】
なお、第３の実施形態として示したエンコーダ２６の処理の内容は、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、エンコーダ２６の目標データ量算出回路２６４は、実難度データＤj を用いて目標データ量Ｔj を算出するように構成しても、グローバルコンプレクシティＸI ，Ｘp ，ＸB を用いて目標データ量Ｔj を算出してもよい。
【０１３５】
また、エンコーダ２６において量子化制御部２６０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第３の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
また、第３の実施形態に示したエンコーダ２６に対しては、第１の実施形態および第２の実施形態に示した変形が可能である。
【０１３６】
図１５は、ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ２６（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１５においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【０１３７】
以上説明したエンコーダ２６により圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行うと、ＶＢＶバッファの占有量Ｂn の占有量Ｂn は、図１５に示すように大きな範囲で変化し、図１２に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）を圧縮映像データを生成した場合に比べて、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファを有効に利用していることが分かる。
また、エンコーダ２６によれば、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることができる。
【０１３８】
第４実施形態
以下、本発明の第４の実施形態として、フィードフォワードレート制御方式を説明する。フィードフォワードレート制御方式は、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【０１３９】
図１６は、第４の実施形態における本発明に係る映像データ圧縮装置４の構成を示す図である。
図１７は、図１６に示したエンコーダ２８の構成を示す図である。
図１８は、図１７に示した量子化制御部２８０の構成を示す図である。
なお、図１６〜図１８においては、映像データ圧縮装置４の構成部分の内、図１〜図３，図５，図６，図１３に示した映像データ圧縮装置１〜２およびエンコーダ２６の構成部分と同一のものには同一の符号を付してある。
【０１４０】
図１６に示すように、映像データ圧縮装置４は、映像データ圧縮装置２，３（図５，図６，図１３）のエンコーダ１８を、エンコーダ２８で置換した構成を採る。
また、図１７に示すように、エンコーダ２８は、量子化制御回路１８０を量子化制御部２８０で置換した構成を採り、図１８に示すように、量子化制御部２８０は、実難度データ（Ｄj ）算出回路２８２、目標データ量（Ｔj ）算出回路２８４、パラメータ（Ｒj ’）算出回路２８６および量子化インデックス生成回路２８８から構成される。
【０１４１】
量子化制御部２８０は、エンコーダ２６（図１３）においてと同様に、ホストコンピュータ２０によらずに、指標データ〔統計量；第２の実施形態において説明したフラットネス（図９，図１０）、イントラＡＣ（図１１）、アクティビティ（式７）およびＭＥ残差（図７，図８）〕、および、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【０１４２】
映像データ圧縮装置４は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードフォワード制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【０１４３】
映像データ圧縮装置４の各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置１，２，３（図１〜図３，図５，図６，図１３）と異なる部分（量子化制御部２８０）の動作を説明する。
実難度データ算出回路２８２算出回路
実難度データ算出回路２８２は、動き検出器１４から入力される指標データ（ＭＥ残差による近似により、式５，式６に示したように、ＰピクチャーおよびＢピクチャーの実難度データＤj を算出し、また、エンコーダ制御部２２の統計量算出回路２２４から入力される指標データ（フラットネス、イントラＡＣおよびアクティビティ）による近似により、式５，式６と同様にＩピクチャーの実難度データＤj を算出し、パラメータ算出回路２８６およびパラメータ算出回路２８６に対して出力する。
【０１４４】
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、エンコーダ２６（図１３）の目標データ量算出回路２６４と同様に、第１の実施形態において式１に示した処理を行い、実難度データ算出回路２８２から入力された実難度データＤj 、および、パラメータ算出回路２８６から入力されるパラメータＲj ’に基づいて、各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１４５】
パラメータ算出回路２８６の動作
パラメータ算出回路２８６は、エンコーダ２６の目標データ量算出回路２６４（図１３）と同様に、式８〜式１５および図１４に示した処理を行ってパラメータＲj ’を調節し、更新する。ただし、パラメータ算出回路２８６は、図１４に示したＳ５１６の処理において、式１６の代わりに式１により、目標データ量Ｔj を算出し、量子化インデックス生成回路２８８に対して出力する。
【０１４６】
量子化インデックス生成回路２８８の動作
量子化インデックス生成回路２８８は、エンコーダ２６の量子化インデックス生成回路２６６（図１３）と同様に、目標データ量算出回路２８４から入力された目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１４７】
以下、映像データ圧縮装置４の動作を説明する。
量子化制御部２８０の実難度データ算出回路２８２は、動き検出器１４およびエンコーダ制御部２２から入力される指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）から、式５，式６に示したように、実難度データＤj を算出する。
【０１４８】
パラメータ算出回路２８６は、式８〜式１５に示したように、ＶＢＶバッファの占有量および映像データの絵柄の複雑さに応じてパラメータＲj ’を調節し、レート制御を行う。
目標データ量算出回路２８４は、パラメータ算出回路２８６が調節したパラメータＲj ’を、式１に代入し、目標データ量Ｔj を算出する。
【０１４９】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj から量子化インデックスＱＩＮＤを算出する。
エンコーダ２８の量子化制御部２８０以外の部分は、パラメータ算出回路２８６が算出した量子化インデックスＱＩＮＤを用いて非圧縮映像データを圧縮符号化する。
【０１５０】
なお、第４の実施形態として示した映像データ圧縮装置４の処理の内容は、第１の実施形態〜第３の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、映像データ圧縮装置４において量子化制御部２８０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第４の実施形態に示した映像データ圧縮装置４に対しても、第１の実施形態〜第３の実施形態に示した変形が可能である。
【０１５１】
第５実施形態
以下、本発明の第５の実施形態として、第３の実施形態に示したエンコーダ２６の動作の変形例を説明する。
ここまで、第１の実施形態において簡易２パスエンコード方式、第２の実施形態においてＦＦＲＣ方式を説明し、さらに、第３の実施形態および第４の実施形態において、ＶＢＶバッファの占有量に応じて圧縮映像データのデータ量を調節するフィードバックレート制御方式およびフィードフォワードレート制御方式を説明した。
【０１５２】
ＭＰＥＧ方式のＴＭ５はパラメータＲを、第１の実施形態〜第４の実施形態に示した各方式はパラメータＲj ’（式１等）を用いて目標データ量Ｔj を算出する。これらの各方式により、非圧縮映像データの非常に映像の絵柄が難しい（符号化難度が高い）部分を、低いデータレートの圧縮映像データに圧縮符号化しようとする場合、いかに量子化値Ｑj （量子化インデックスＱＩＮＤ）の値を大きくして圧縮率を上げ、データ量を少なくしようとしても、実際に生成した圧縮映像データのデータ量が目標データ量Ｔj を上回り、パラメータＲ，Ｒj ’の値が急速に減少し、レート制御の単位（例えばＧＯＰ）の最後の方のピクチャーでは、パラメータＲ，Ｒj ’の値が０以下になってしまうことがある。
【０１５３】
例えば、ＭＰＥＧのＴＭ５においては、パラメータＲの値が０以下になると、各ピクチャーには最低のデータ量（frame-bit/8 ；但し、frame-bit は圧縮映像データの所望の１ピクチャー当たりのデータ量）が割り当てられることになる。このように、最低のデータ量が割り当てられたピクチャーを、所望のデータレートの１／８という低いデータレートの圧縮映像データに圧縮符号化すると、かかる部分から得られる圧縮映像データの品質は顕著に低下してしまう。
【０１５４】
また、例えば、映像の絵柄が難しい非圧縮映像データの圧縮符号化処理を長い間、続けると、パラメータＲ，Ｒj ’の値が非常に小さくなり、非圧縮映像データの映像の絵柄が簡単になった後も、しばらくの間、パラメータＲ，Ｒj ’の値がある程度大きな正値に回復せず、パラメータＲ，Ｒj ’の値が回復するまでの間ずっと、最低データ量が各ＧＯＰに割り当てられてしまい、圧縮映像データの歪みが多くなってしまう。
一方、パラメータＲj ’は、本来、ＦＩＦＯメモリ１６０の遅延時間に対応するＬ枚のピクチャーに割り当てるデータ量の平均値であるため、その値は、（frame-bit ×Ｌ）から大きく外れることはない。
【０１５５】
本発明の第５の実施形態は、上述した問題点に鑑みてなされたものであり、非圧縮映像データの映像の絵柄が複雑で（実難度データＤj の値が大きく）、目標データ量Ｔj に対して、実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復可能であることを目的とし、第３の実施形態に示したエンコーダ２６の量子化制御部２６０の目標データ量算出回路２６４（図１３）の処理内容を変更したものである。
【０１５６】
第５の実施形態において、エンコーダ２６は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量Ｂn およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj をフィードバック制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第３の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１５７】
目標データ量算出回路２６４の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２およびエンコーダ２６（図１〜図３，図５，図６，図１３）と処理内容が異なる目標データ量算出回路２６４の動作（処理内容）を説明する。
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１５８】
レート制御方法
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’を調節し、パラメータＲj ’に、グローバルコンプレクシティＸI ，Ｘp ，ＸB 等から算出される乗数を乗算して目標データ量Ｔj を調節する。
但し、第３の実施形態においてと異なり、第５の実施形態においては、目標データ量算出回路２６４は、パラメータＲj ’に対して下限値Ｒmin を設定し、第３の実施形態においてと同様に算出したパラメータＲj ’が、下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１５９】
第１の実施形態において式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、（Ｒj ’−Ｓj ＋Ｆj+L ）〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、下式１７に示すように下限値Ｒmin に制限する。
【０１６０】
【数１７】
また、目標データ量算出回路２６４は、第３の実施形態においてと同様に、映像データの映像が複雑な部分に多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、下式１８に示すように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１６２】
【数１８】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１９を参照して、第５の実施形態における目標データ量算出回路２６４によるレート制御処理を詳細に説明する。
図１９は、第５の実施形態における目標データ量算出回路２６４の処理を示すフローチャート図である。
図１９に示すように、目標データ量算出回路２６４は、第３の実施形態において図１４に示した各処理と同様の処理を行う。
【０１６４】
ステップ６００（Ｓ６００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、目標データ量算出回路２６４は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１６５】
ステップ６０２（Ｓ６０２）において、目標データ量算出回路２６４は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、目標データ量算出回路２６４は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１６６】
ステップ６０６（Ｓ６０６）において、目標データ量算出回路２６４は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、目標データ量算出回路２６４は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、目標データ量算出回路２６４は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１６７】
ステップ６１２（Ｓ６１２）において、目標データ量算出回路２６４は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、目標データ量算出回路２６４は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj ’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１６８】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２６４は、式１６に示したように目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２６は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、目標データ量算出回路２６４は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１６９】
ステップ６２２（Ｓ６２２）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１７０】
ステップ６２６（Ｓ６２６）において、目標データ量算出回路２６４は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１７１】
以下、第５の実施形態におけるエンコーダ２６（図１３）の動作を説明する。動き検出器１４は、第１の実施形態および第３の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態等においてと同様に、ピクチャーの並び替え処理等を行う。
ＦＩＦＯメモリ１６０は、第１の実施形態等においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０１７２】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、最も新しく生成された各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、図１９を参照して説明したように、次のピクチャーの目標データ量Ｔj を算出する。
【０１７３】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１７４】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１７５】
変形例
以下、第５の実施形態の変形例を説明する。
第５の実施形態において示した改良フィードバックレート制御方式は、第１の実施形態、第２の実施形態および第４の実施形態に示した映像データ圧縮装置１，２，４（図１〜図３，図５，図６，図１６〜図１８）にも応用可能である。また、第５の実施形態においては、目標データ量算出回路２６４が、ＶＢＶバッファを考慮して目標データ量Ｔj を算出する場合について説明したが、ＶＢＶバッファを考慮せずに目標データ量Ｔj を生成するように目標データ量算出回路２６４の動作を変更してもよい。
【０１７６】
以下、図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を応用する変形例を説明する。
図２０は、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
図２０に示すように、映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０１７７】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１７８】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１７９】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
なお、映像データ圧縮装置４（図１６〜図１８）において、第４の実施形態に示したフィードフォーワードレート制御を改良し、第５の実施形態に示した改良フィードフォーワードレート制御と同等の効果を得るためには、映像データ圧縮装置４のパラメータ算出回路２８６の動作を変更し、図１４に示した各処理を実行すればよい。但し、この場合、Ｓ６１６の処理において、式１６の代わりに式１により目標データ量Ｔj を算出する必要がある。
【０１８０】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０１８１】
そこで、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示すように、下限値Ｒmin を定める関数を導入することにより、第５の実施例においてと同様の効果を得ることができる。
【０１８２】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１において点線で例示するように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第５の実施形態に示した改良フィードバックレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
【０１８３】
また、第５の実施形態においてエンコーダ２６の量子化制御部２６０が行った処理を、ホストコンピュータ２０が行うことも可能である。
また、第５の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
【０１８４】
以上説明したように、第５の実施形態に示した改良フィードバックレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【０１８５】
第６実施形態
以下、本発明の第６の実施形態として、第４の実施形態に示した映像データ圧縮装置４（図１６）の動作の変形例（改良フィードフォワードレート制御方式）を説明する。
改良フィードフォワードレート制御方式は、第４の実施形態に示したフィードフォワードレート制御方式を、目標データ量Ｔj に対して実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復するように改良したものである。
【０１８６】
第６の実施形態において、映像データ圧縮装置４は、ＶＢＶバッファの占有量Ｂn および指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）に基づいて目標データ量Ｔj をフィードフォワード制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第４の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１８７】
各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置４においてと処理内容が異なる量子化制御部２８０（図１７）の目標データ量算出回路２８４およびパラメータ算出回路２８６（図１８）の動作（処理内容）を説明する。
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、実難度データ算出回路２８２が指標データから算出した実難度データＤj （ＤI ，Ｄp ，ＤB ）と、パラメータ算出回路２８６がＶＢＶバッファの占有量Ｂn および実難度データＤj から算出したパラメータＲj ’とに基づいて各ピクチャータイプの目標データ量Ｔj を算出する。
【０１８８】
パラメータ算出回路２８６の動作
レート制御方法
パラメータ算出回路２８６は、第４の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’の値を調節することによりレート制御を行う。
但し、パラメータ算出回路２８６は、パラメータＲj ’に対して下限値Ｒmin を設定し、パラメータＲj ’が下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１８９】
式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、式１７に示したように下限値Ｒmin に制限する。
【０１９０】
また、パラメータ算出回路２８６は、借金額をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、式１８に示したように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１９１】
パラメータ算出回路２８６の処理内容のまとめ
以下、再び図１９を参照して、第６の実施形態におけるパラメータ算出回路２８６によるレート制御処理および関連部分の処理の内容を詳細に説明する。
ステップ６００（Ｓ６００）において、パラメータ算出回路２８６は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、パラメータ算出回路２８６は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２８がＰピクチャーを生成した直後にのみ行ってもよい。
【０１９２】
ステップ６０２（Ｓ６０２）において、パラメータ算出回路２８６は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、パラメータ算出回路２８６は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１９３】
ステップ６０６（Ｓ６０６）において、パラメータ算出回路２８６は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、パラメータ算出回路２８６は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、パラメータ算出回路２８６は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１９４】
ステップ６１２（Ｓ６１２）において、パラメータ算出回路２８６は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、パラメータ算出回路２８６は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj ’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１９５】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２８４は、第５の実施形態に示したエンコーダ２６の目標データ量算出回路２６４とは異なり、式１６の代わりに式１を用いて目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、パラメータ算出回路２８６は、式３により次のパラメータＲj+1 ’を算出し、更新する。
【０１９６】
ステップ６２２（Ｓ６２２）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１９７】
ステップ６２６（Ｓ６２６）において、パラメータ算出回路２８６は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、パラメータ算出回路２８６は、変数ｊをインクリメントする。
【０１９８】
以下、第６の実施形態における映像データ圧縮装置４（図１６）の動作を説明する。
動き検出器１４は、動きベクトルおよびＭＥ残差の生成等の処理を行う。
エンコーダ制御部２２は、ピクチャーの並び替え処理および指標データ（フラットネス、イントラＡＣおよびアクティビティ）の生成等の処理を行う。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【０１９９】
エンコーダ２８（図１６）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２８０の実難度データ算出回路２８２は、実難度データＤj を算出する。
パラメータ算出回路２８６は、図１９に示したようにパラメータＲj ’の算出を行い、目標データ量算出回路２８４は、最も新しく生成された各ピクチャータイプのピクチャーの実難度データＤj （ＤI ，Ｄp ，ＤB ）に基づいて、式１により目標データ量Ｔj を算出する。
【０２００】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj に基づいて、量子化インデックスを算出し、エンコーダ２８の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０２０１】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０２０２】
変形例
以下、再び図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第６の実施形態に示した改良フィードフォワードレート制御を応用する変形例を説明する。
映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０２０３】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０２０４】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０２０５】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
【０２０６】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０２０７】
そこで、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示したように、下限値Ｒmin を定める関数を導入することにより、第６の実施例においてと同様の効果を得ることができる。
【０２０８】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１に例示したように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第６の実施形態に示した改良フィードフォワードレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
また、第６の実施形態に示した各パラメータを定義する式は例示であり、映像データ圧縮装置４の構成・用途に合わせて、各式を変更することができる。
【０２０９】
以上説明したように、第６の実施形態に示した改良フィードフォワードレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【０２１０】
【発明の効果】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】第２の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図６】図５に示した映像データ圧縮装置２の圧縮符号化部の詳細な構成を示す図である。
【図７】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図８】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図９】フラットネスの計算方法を示す図である。
【図１０】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１１】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
【図１２】ＭＰＥＧのＭＰ＠ＭＬ方式により、映像データ圧縮装置（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰの発生ビット量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１３】図１３に示したエンコーダの構成を示す図である。
【図１４】図１３に示した目標データ量算出回路の処理を示すフローチャート図である。
【図１５】ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１６】第４の実施形態における本発明に係る映像データ圧縮装置の構成を示す図である。
【図１７】図１６に示したエンコーダの構成を示す図である。
【図１８】図１７に示した量子化制御部の構成を示す図である。
【図１９】第５の実施形態における目標データ量算出回路の処理を示すフローチャート図である。
【図２０】映像データ圧縮装置（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
【図２１】第５の実施形態に示した改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合に用いる下限値Ｒmin を定める関数を示す図である。
【符号の説明】
１，２，４…映像データ圧縮装置、１０，２４…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８，２６，２８…エンコーダ、２６０，２８０…量子化制御部、２６２…ＧＣ算出回路、２８２…実難度データ算出回路、２８４，２６４…目標データ量算出回路、２８６…パラメータ算出回路、２６６，２８８…量子化インデックス生成回路、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。
Claims (14)
- ＶＢＶバッファの制約条件を満たすように非圧縮映像データを圧縮して圧縮映像データを生成する映像データ圧縮装置であって、
前記圧縮映像データから、映像の複雑さを示す難度データをピクチャーごとに算出する難度データ算出手段と、
前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当てるデータ量割当手段と、
前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出する目標値算出手段と、
前記圧縮映像データの各ピクチャーのデータ量が前記目標値算出手段において算出された目標値になるように、前記非圧縮映像データを圧縮する圧縮手段と
を有し、
前記データ量割当手段は、
前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、
前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、
前記１のピクチャーが前記圧縮手段によって圧縮されると、その圧縮後のデータ量と所定の基準データ量との差を前記初期値に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する、
映像データ圧縮装置。 - 前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が前記マージン値より多くなるほど前記第１の値を大きくする、
請求項１に記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と前記第１のしきい値との差に基づいて、当該複数のピクチャーの映像が複雑になるほど前記第１の値を大きくする、
請求項１または２に記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記第１の値が所定の最大値より大きくならないように制限する、
請求項２又は３に記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と前記第１のしきい値との差に基づいて、当該複数のピクチャーの映像が簡単になるほど前記第２の値を大きくする、
請求項１乃至４の何れか１つに記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記ＶＢＶバッファの占有データ量と前記マージン値との差に基づいて、前記占有データ量が前記マージン値より少なくなるほど前記第３の値を大きくする、
請求項１乃至５の何れか１つに記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記割当データの初期値が所定の最小値以下にならないように制限する、
請求項１乃至６の何れか１つに記載の映像データ圧縮装置。 - 前記データ量割当手段は、前記占有データ量が前記マージン値より多く、かつ、前記１のピクチャーの映像が複雑であると判定したとき、前記初期値が所定の平均値より大きい場合には、その超過分が第２のしきい値よりも小さいならば、前記割当データ量を当該初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算する、
請求項１乃至７の何れか１つに記載の映像データ圧縮装置。 - 前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮し、
前記データ量割当手段は、前記ＶＢＶバッファの前記マージン値として、最新のＩピクチャーのデータ量に、前記圧縮映像データの１ピクチャーあたりの所望のデータ量に応じた加算値、および、固定の加算値を加算した数値を用いる
請求項１乃至８の何れか１つに記載の映像データ圧縮装置。 - 前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮し、
前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が前記マージン値より多いか否かの判断を、前記圧縮手段が、前記非圧縮映像データをＰピクチャーに圧縮した直後に行う、
請求項１乃至９の何れか１つに記載の映像データ圧縮装置。 - 前記目標量算出手段は、前記１のピクチャーの難度データを当該１のピクチャーを含む前記所定数のピクチャーの難度データの総和で除算した値に、当該所定数のピクチャーの割当データ量を乗算することにより、当該１のピクチャーの目標値を算出する、
請求項１乃至９の何れか１つに記載の映像データ圧縮装置。 - 前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮し、
前記難度データ算出手段は、前記難度データとして、ＰピクチャーまたはＢピクチャーに圧縮されるピクチャーについてはＭＥ残差を算出し、Ｉピクチャーに圧縮されるピクチャーについてはフラットネス、イントラＡＣデータ、またはアクティビティを算出する、
請求項１乃至１１の何れか１つに記載の映像データ圧縮装置。 - 前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮し、
前記難度データ算出手段は、前記難度データとしてグローバルコンプレクシティを算出する
請求項１乃至１１の何れか１つに記載の映像データ圧縮装置。 - 動画像の非圧縮映像データを圧縮するとともに、その圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすように前記圧縮映像データのデータレートを制御する映像データ圧縮方法であって、
映像の複雑さを示す難度データを前記圧縮映像データのピクチャーごとに算出し、
前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む圧縮前の所定数のピクチャーに対して圧縮後のデータ量（割当データ量）を割り当て、
前記圧縮映像データの１のピクチャーを圧縮する場合、当該１のピクチャーを含む前記所定数のピクチャーの割当データ量に比例して値が大きくなるように、当該１のピクチャーの圧縮後のデータ量の目標値を算出し、
前記圧縮映像データの各ピクチャーのデータ量が前記算出された目標値になるように、前記非圧縮映像データを所定の圧縮方法で圧縮し、
前記データ量の割り当てにおいては、
前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）が所定のマージン値より多い場合、前記１のピクチャーに連なる複数のピクチャーについて算出された難度データの総和と第１のしきい値との比較結果に基づいて、前記１のピクチャーの映像が複雑か否か判定し、複雑であると判定した場合は、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を初期値から第１の値だけ増やすとともに当該増加分の第１の値を累加算し、前記１のピクチャーの映像が複雑でないと判定した場合は、前記第１の値の累加算結果が正であるならば当該所定数のピクチャーの割当データ量を前記初期値から第２の値だけ減らすとともに前記第１の値の累加算結果から前記第２の値を減算し、
前記ＶＢＶバッファの占有データ量が前記マージン値より少ない場合、前記１のピクチャーを含む前記所定数のピクチャーの割当データ量を前記初期値から第３の値だけ減らすとともに前記第１の値の累加算結果から前記第３の値を減算し、
前記１のピクチャーの圧縮を行った後、その圧縮後のデータ量と所定の基準データ量との差を前記初期データ量に加算し、当該加算後の初期値を、次に圧縮するピクチャーを含む前記所定数のピクチャーの割当データ量の初期値として使用する、
映像データ圧縮方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22964896A JP3918208B2 (ja) | 1996-08-30 | 1996-08-30 | 映像データ圧縮装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22964896A JP3918208B2 (ja) | 1996-08-30 | 1996-08-30 | 映像データ圧縮装置およびその方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006270958A Division JP2007053788A (ja) | 2006-10-02 | 2006-10-02 | 映像データ圧縮装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1075443A JPH1075443A (ja) | 1998-03-17 |
| JP3918208B2 true JP3918208B2 (ja) | 2007-05-23 |
Family
ID=16895497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22964896A Expired - Fee Related JP3918208B2 (ja) | 1996-08-30 | 1996-08-30 | 映像データ圧縮装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3918208B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4203707B2 (ja) * | 2001-01-31 | 2009-01-07 | 日本電気株式会社 | 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。 |
| JP2005311559A (ja) | 2004-04-20 | 2005-11-04 | Sony Corp | データ処理装置およびその方法と符号化装置 |
| CN110213585B (zh) * | 2018-10-31 | 2022-10-28 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、计算机可读存储介质和计算机设备 |
-
1996
- 1996-08-30 JP JP22964896A patent/JP3918208B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1075443A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100756596B1 (ko) | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 | |
| US7881373B2 (en) | Video data compression apparatus and method of same | |
| US5933532A (en) | Video data compression apparatus and method of same | |
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP2006295449A (ja) | レート変換方法及びレート変換装置 | |
| JPH10191343A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2001028753A (ja) | 動画像符号化装置及びその方法 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP2007053788A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3149673B2 (ja) | 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク | |
| JP4186543B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP3765129B2 (ja) | 符号化装置および符号化方法 | |
| JP3800965B2 (ja) | データレート変換装置 | |
| JPH1075444A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3765130B2 (ja) | 符号化装置および符号化方法 | |
| JP4228739B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP2001186519A (ja) | 動画像の伝送レート変換装置 | |
| JP4273386B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4273385B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP4186544B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP2003264839A (ja) | 符号化動画像データのビットレート変換装置 | |
| JP2006136010A (ja) | 映像データ圧縮装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| LAPS | Cancellation because of no payment of annual fees |