JP3765130B2 - 符号化装置および符号化方法 - Google Patents
符号化装置および符号化方法 Download PDFInfo
- Publication number
- JP3765130B2 JP3765130B2 JP21470896A JP21470896A JP3765130B2 JP 3765130 B2 JP3765130 B2 JP 3765130B2 JP 21470896 A JP21470896 A JP 21470896A JP 21470896 A JP21470896 A JP 21470896A JP 3765130 B2 JP3765130 B2 JP 3765130B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- picture
- video data
- encoding
- difficulty
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly coded picture) およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明によれば、映像データを符号化処理する符号化装置において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出手段と、
上記映像データを所定ピクチャ分遅延させる遅延手段と、
上記統計量算出手段により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出手段と、
上記近似難度データ算出手段により算出された上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延手段より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出手段と、
上記目標符号量算出手段により算出された上記目標符号量に基づいて、上記遅延手段より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出手段により算出された上記統計量と上記遅延手段により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化手段と
を備えることを特徴とする、符号化装置が提供される。
【０００７】
好ましくは、上記符号化手段は、上記映像データをピクチャ毎に符号化処理するたびに、上記換算係数を更新する。
【０００８】
また好ましくは、上記近似難度データ算出手段は、上記統計量算出手段により算出された上記統計量と上記換算係数とを積算することにより上記近似難度データを算出する。
【０００９】
好ましくは、上記換算係数は、上記映像データをピクチャ毎に符号化することによって得られるグローバルコンプレクシティと上記統計量算出手段により算出された上記統計量との比率である。
【００１０】
好ましくは、上記統計量算出手段は、上記符号化手段がＩピクチャとして符号化処理する上記映像データのピクチャから、フラットネス又はイントラＡＣを前記統計量として算出する。
また好ましくは、上記統計量算出手段は、上記符号化手段がＰピクチャ又はＢピクチャとして符号化処理する上記映像データのピクチャから、ＭＥ残差を前記統計量として算出する。
【００１１】
また本発明によれば、映像データを符号化処理する符号化方法において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出工程と、
上記映像データを所定ピクチャ分遅延させる遅延工程と、
上記統計量算出工程により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出工程と、
上記近似難度データ算出工程により算出された上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延工程より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出工程と、
上記目標符号量算出工程により算出された上記目標符号量となるように、上記遅延工程より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出工程により算出された上記統計量と上記遅延工程により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化工程と
を備えることを特徴とする、符号化方法が提供される。
【００１２】
本発明に係る符号化装置は、非圧縮映像データを圧縮符号化して、記録媒体の記憶容量あるいは伝送路の伝送容量に適合するデータ量の圧縮映像データを生成する。
【００１３】
本発明に係る符号化装置において、統計量算出手段は、映像データのピクチャーそれぞれの絵柄の複雑（難しさ）さを示す統計量を生成する。圧縮後にＩピクチャーとなるピクチャーの指標データとしては、例えば、絵柄の平坦さを示す値として新たに定義したフラットネス(flatness)、ＤＣＴ処理の処理単位となるＤＣＴブロックごとの映像データの平均値とＤＣＴブロックごとの映像データとの差分の絶対値の総和として新たに定義したイントラＡＣ、および、ＭＰＥＧ方式の圧縮アルゴリズムとして知られているＴＭ５[test model 5; ISO/IEC JTC/SC29/WG11/NO400 (Apr. 1993)] 等において、マクロブロックの量子化値(MQUANT)の算出のためのアクティビティ(activity)が用いられる。
また、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの統計量としては、動き予測の予測誤差量（ＭＥ残差）が用いられる。
【００１４】
近似符号化難易度算出手段は、算出された統計量が難度データに強い相関関係を有することを利用して、統計量に所定の係数を乗算して重み付けして所定の演算処理、例えば、一次関数による近似を行って、絵柄の複雑さ（難しさ）を示す難度データ（近似符号化難易度）を算出する。この難度データは、従来、例えば、非圧縮映像データを予備的に圧縮符号化して実際に圧縮映像データを生成し、この圧縮映像データのデータ量を計数することにより求められていたが、統計量で難度データを近似することにより、難度データ算出のためのエンコーダが不要になり、しかも、予備的な圧縮符号化に要する処理時間が不要になる。
【００１５】
目標符号量算出手段は、算出した難度データに基づいて、絵柄が複雑なピクチャーに多くのデータ量を割り当て、絵柄が平坦なピクチャーに少ないデータ量を割り当てるように、ピクチャーそれぞれの圧縮後のデータ量の目標値を算出する。このように目標値を算出することにより、圧縮後の映像の品質を高く保ちつつ、圧縮後のデータ量を記録媒体の記録容量等に適合させる。
【００１８】
符号化制御手段は、例えば、符号化手段が、１つのピクチャーを圧縮するたびに、符号化手段に設定する量子化値の平均値と、圧縮映像データのデータ量（発生符号量）とを乗算し、ＭＰＥＧ方式のＴＭ５においてグローバルコンプレクシティと呼ばれる数値を算出し、このグローバルコンプレクシティを、統計量算出手段が算出した統計量（フラットネス、イントラＡＣ、アクティビティおよびＭＥ残差）で除算して、難度データの近似に用いられる換算係数を算出し、演算処理に用いられる換算係数を更新する。この換算係数の更新により、常に、映像データの絵柄に最適な換算係数を用いることができ、統計量により難度データを高い精度で近似することが可能になる。
【００１９】
また、本発明に係る符号化方法は、映像データを符号化処理する符号化方法であって、上記映像データから、上記映像データを符号化処理することによって得られる符号化難易度と相関性を有する統計量を算出する統計量算出工程と、上記統計量算出工程において算出された上記統計量を上記符号化難易度の近似値である近似符号化難易度に換算する換算係数を用いて、上記近似符号化難易度を算出する近似発生符号量算出工程と、上記近似符号化難易度算出工程において算出された上記近似符号化難易度から、上記映像データを符号化処理する際の目標符号量を算出する目標符号量算出工程と、上記目標符号量算出工程により算出された上記目標符号量に基づいて、フィード・フォワード制御により上記映像データの符号化処理を行うとともに、上記統計量と当該符号化処理により得られた発生符号量とに基づいて、上記換算係数を逐次更新する符号化工程と、を備える。
【００２０】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２１】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２２】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２３】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２４】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２５】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２６】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００２７】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００２８】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００２９】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３０】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３１】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３２】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３３】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３５】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３６】
【数１】
【００３７】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４１】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００４２】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４３】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４４】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４５】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔj の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４６】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔj の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤj 〜Ｄj+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄj+L 〜Ｄj+L+B を算出し、実際に得られた難度データＤj 〜Ｄj+L-1 （実難度データ）および予測によって得られた難度データＤ’j+L 〜Ｄ’j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔj の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４７】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４８】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４９】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００５０】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００５１】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００５２】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５３】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤj を順次、算出する。
【００５４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５５】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄj-A ，Ｄj-A+1 ，…，Ｄj ，Ｄj+1，Ｄj+2 ，…，Ｄj+L-1 の算出を既に終了している。なお、Ａは、難度データを予測するためのピクチャー範囲を特定する所定の整数であり、正負を問わない。
【００５６】
ホストコンピュータ２０は、実難度データＤj-A ，Ｄj-a+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’j+L ，Ｄ’j+L+1 ，Ｄ’j+L+2 ，…，Ｄ’j+L+B を予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、予測難度データＤj ’は、例えば、実難度データＤj を直線近似し、近似により得られた直線を外挿する等の方法により算出されうる。
【００５７】
【数４】
【００５８】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔj に基づいて、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤj-A+1 ，Ｄj-A+2 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’j+L+1 ，Ｄ’j+L+2 ，Ｄ’j+L+3 ，…，Ｄ’j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５９】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’1 を、ｊ＝−（Ｌ−１），Ｒ’1 ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００６０】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤj+L を生成する。
【００６１】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００６２】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤj-A 〜Ｄj+L-1 に基づいて、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ1 〜Ｄj+L-1 から、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
【００６３】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓj を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤj+L を出力する。
【００６４】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆj+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’j+1 ＝Ｒ’j −Ｓj ＋Ｆj+L ）を行う。
【００６５】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６６】
第３実施形態
以下、本発明の第３の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式、および、第２の実施形態に示した予測簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【００６７】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj ’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【００６８】
第３の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【００６９】
図７は、第３の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図８は、図７に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図７および図８において、映像データ圧縮装置２の構成部分のうち、第１の実施形態および第２の実施形態において説明した映像データ圧縮装置１（図１，図２）の構成部分と同一のものには同一の符号を付して示してある。
【００７０】
図７に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１，図２）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図８に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【００７１】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【００７２】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【００７３】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【００７４】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【００７５】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【００７６】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態および第２の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【００７７】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図８）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【００７８】
ＭＥ残差と実難度データＤ j との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）の注目マクロブロックと、参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求める。ＭＥ残差は、このように、動きベクトルを求める際に、最小になった各マクロブロックの差分値の絶対和または自乗和を、ピクチャー全体について総和した値として定義される。
【００７９】
図９は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図１０は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図９および図１０においては、実難度データＤj として、エンコーダ１８が固定の量子化値を用いて圧縮符号化して得られた圧縮映像データのデータ量を用いており（以下、図１２，図１３において同じ）、図９および図１０は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図９および図１０において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図９および図１０を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【００８０】
フラットネスと実難度データＤ j との関係
図１１は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図１１に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。
なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【００８１】
図１２は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図１２は、図９および図１０と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図１２において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図１２に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【００８２】
イントラＡＣと実難度データＤ j との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式５により求めることができる。
【００８３】
【数５】
【００８４】
図１３は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図１３は、図９および図１０と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図１３において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がフラットネスを示す。
図１３に示すように、イントラＡＣと実難度データＤj には、強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【００８５】
ここまでに説明したように、各指標データ（統計量）により実難度データＤj を一次関数等により近似可能であることが分かる。従って、各ピクチャータイプの実難度データＤj は、以下に示すように算出可能である。
【００８６】
Ｐピクチャーについては下に示す式６により、Ｂピクチャーについては下に示す式７により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式６，７と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【００８７】
【数６】
【００８８】
【数７】
【００８９】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１に代入することにより目標データ量Ｔj が算出される。
あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj から予測難度データＤj ’が算出され、実難度データＤj および予測難度データＤj ’を式４に代入することにより目標データ量Ｔj が算出される。
【００９０】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図１１および式５に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【００９１】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【００９２】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式６および式７に示した演算処理を行って実難度データＤj を近似し、式６および式７と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【００９３】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【００９４】
なお、ＭＰＥＧの圧縮アルゴリズムとして知られるＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式８に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【００９５】
【数８】
【００９６】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第３の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１に対してと同様の変形が可能である。
【００９７】
第４実施形態
以下、本発明の第４の実施形態を説明する。
第３の実施形態に示したＦＦＲＣ方式においては、統計的に求められた指標データ（統計量）、つまり、ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティを、式６および式７等の一次関数に代入して実難度データＤj を近似する。
これらの指標データと難度データＤj とは、図９、図１０、図１２および図１３に示したように、強い相関関係を有するが、映像データの絵柄によっては、上記一次関数から若干の誤差が生じる。
【００９８】
第４の実施形態における映像データ圧縮装置２の処理は、かかる問題点を解決するためになされたものであり、映像データの絵柄等に応じて、式６および式７等に示した重み付け係数ａp ，ａB 等を、適応的に刻一刻と調節して、第３の実施形態においてより高い精度で実難度データＤj を指標データで近似することができ、より高い品質の圧縮映像データを生成することができるように改良されている。
【００９９】
以下、第４の実施形態における映像データ圧縮装置２の処理の概要を説明する。
映像データ圧縮装置２（図８）のエンコーダ１８が、１ピクチャー分の圧縮符号化を終了するたびに、ホストコンピュータ２０には、生成した圧縮映像データの１ピクチャー分のデータ量が判明し、さらに、圧縮符号化時の量子化値Ｑj の平均値、および、以下に説明するグローバルコンプレクシティ(global complexity) を算出することができる。
グローバルコンプレクシティは、ＭＰＥＧのＴＭ５において、圧縮映像データのデータ量と量子化値Ｑj とを乗算した値として、下の式９−１〜式９−３に示すように定義され、映像の絵柄の複雑さを示す。
【０１００】
【数９】
【０１０１】
なお、式９−１〜式９−３において、Ｓi ，Ｓb ，Ｓp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのデータ量を示し、Ｑi ，Ｑb ，Ｑp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーを生成する際の量子化値Ｑj の平均値を示し、Ｘi ，Ｘb ，Ｘp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのグローバルコンプレクシティを示す。
式９−１〜９−３に示したグローバルコンプレクシティは、実難度データＤj とは必ずしも一致しないが、量子化値Ｑj の平均値が極端に大きかったり小さかったりしない限り、実難度データＤj とほぼ一致する。
【０１０２】
ここで、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの指標データ、例えばイントラＡＣ（他のパラメータでも可）およびＭＥ残差（ＭＥ＿ｒｅｓｉｄ）と、グローバルコンプレクシティとが比例関係にあるとすると、これらの指標データとグローバルコンプレクシティとの比例係数εＩ，εＰ，εＢは、下の式１０−１〜式１０−３により算出できる。
【０１０３】
【数１０】
【０１０４】
各ピクチャータイプの実難度データＤj は、式１０−１〜式１０−３により算出した比例係数εI ，εP ，εB を用いて、下の式１１−１〜式１１−３に示すように算出される。
【０１０５】
【数１１】
【０１０６】
ホストコンピュータ２０が、数１０−１〜数１０−３に示したように、比例係数εI ，εP ，εB を、エンコーダ１８がピクチャーを１枚圧縮符号化するたびに算出して最適化し、式１１−１〜式１１−３により各ピクチャータイプの実難度データＤj の値を求めることにより、映像データの絵柄に関わらず、指標データにより実難度データＤj を、常に最適に近似することができる。
【０１０７】
ホストコンピュータ２０は、式１０および式１１に示したように近似された実難度データＤj に対して、式１に示した演算処理を行って目標データ量Ｔj を算出する。
なお、ＭＰＥＧのＴＭ５におけるように、実難度データＤj に基づいて定める値に対して、意図的に、実際に算出する目標データ量Ｔj の値を一定の比率で変更する場合には、下の式１２−１〜式１２−３により、目標データ量Ｔj を算出することができる。
【０１０８】
【数１２】
【０１０９】
なお、式１２−１〜式１２−３全ての分母において、ＤＩ，Ｐ，Ｂは、エンコーダ１８に入力される前のＦＩＦＯメモリ１６０にバッファリングされているＬピクチャー分の非圧縮映像データから生成された指標データにより近似された実難度データＤj を示し、Ｒj は、第ｊ番目のピクチャー以降のＬ枚のピクチャーに割り当てることができるデータ量の平均値を示す。Ｋ Ｐ およびＫ Ｂ は、所定の重み付け係数である。
【０１１０】
以下、図１４を参照して、第４の実施形態における映像データ圧縮装置２の動作を説明する。
図１４は、第４の実施形態における映像データ圧縮装置２（図８）の圧縮符号化動作を示す図である。
エンコーダ制御部２２は、第３の実施形態においてと同様に、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、ピクチャー・フィールド変換等を行い、Ｉピクチャーに圧縮符号化される第ｊ＋Ｌ番目のピクチャーからフラットネスおよびイントラＡＣ等の統計量を算出する（図１４ａ）。
【０１１１】
動き検出器１４は、第１の実施形態〜第３の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第ｊ＋Ｌ番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図１４ａ）。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第３の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１１−１，１１−２に示した演算処理を行って実難度データＤj を近似し、式１１−３に示した演算処理を行って、イントラＡＣ等により実難度データＤj を近似する（図１４ｂ）。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１あるいは式１２−１〜１２−３に代入し、目標データ量Ｔj を算出して、エンコーダ１８の量子化制御回路１８０に設定する（図１４ｃ）。
【０１１２】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第３の実施形態においてと同様に、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化するとともに、第ｊ番目のピクチャーの圧縮符号化に用いた量子化値Ｑj の平均値を算出し、ホストコンピュータ２０に対して出力する。
可変長符号化回路１７０は、第１の実施形態〜第３の実施形態においてと同様に、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０１１３】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化制御回路１８０から入力される第ｊ番目のピクチャーに対する量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式９−１〜式９−３に示したようにグローバルコンプレクシティを算出する（図１４ｄ）。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１０−１〜式１０−３に示したように比例係数εＩ，εＰ，εＢを更新する（図１４ｅ）。更新された比例係数εＩ，εＰ，εＢは、次のピクチャーの圧縮符号化の際の変換式（式１１−１〜式１１−３）に反映される（図１４ｆ）。
【０１１４】
図１５を参照して、第４の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図１５は、第４の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図８）の処理内容を示す図である。
図１５に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第ｊ＋Ｌ番目のＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込む。
【０１１５】
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第ｊ＋１番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第ｊ＋１番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３０４の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３０６の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３０８の処理に進む。
【０１１６】
ステップ３０４（Ｓ３０４）、ステップ３０６（Ｓ３０６）およびステップ３０８（Ｓ３０８）それぞれにおいて、ホストコンピュータ２０は、式１１−１〜式１１−３により実難度データＤj を近似する。
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、近似した実難度データＤj を用いて、式１あるいは式１２−１〜式１２−３により、目標データ量Ｔj を算出する。
ステップ３１２（Ｓ３１２）において、エンコーダ１８は、第ｊ番目のピクチャーを圧縮符号化する。
【０１１７】
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、エンコーダ１８が圧縮した第ｊ番目のピクチャーのデータ量、および、量子化制御回路１８０が量子化回路１６８に設定する量子化値Ｑj の平均値から、グローバルコンプレクシティＸi ，Ｘb ，Ｘp 〔Ｘ（Ｉ，Ｂ，Ｐ）〕を算出する。
【０１１８】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、第ｊ＋１番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第ｊ＋１番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３１８の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３２０の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３２０の処理に進む。
ステップ３１８（Ｓ３１８）、ステップ３２０（Ｓ３２０）およびステップ３２２（Ｓ３２２）それぞれにおいて、ホストコンピュータ２０は、式１０−１〜式１０−３により比例係数εI ，εP ，εB を更新する。
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１１９】
なお、第３の実施形態に述べたように、例えば、実難度データＤｊと、比例係数εＩ，εＰ，εＢと指標データとの乗算値との間にオフセット（δＰ）が存在する場合がある。このような場合には、グローバルコンプレクシティＸｉ，Ｘｂ，Ｘｐからオフセット値δＩ，δＰ，δＢを減算した値を指標データで除算することにより、比例係数εＩ，εＰ，εＢを算出することができる。
また、第４の実施形態に示した映像データ圧縮装置２の動作についても、第３の実施形態等に示したものと同様な変形が可能である。
【０１２０】
以上述べたように、第４の実施形態における映像データ圧縮装置２の動作によれば、第３の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、第３の実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、この結果、圧縮映像データの品質を向上させることができる。
【０１２１】
【発明の効果】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】第３の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図８】図７に示した映像データ圧縮装置の圧縮符号化部の詳細な構成を示す図である。
【図９】図１および図７に示した映像データ圧縮装置により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１０】図１および図７に示した映像データ圧縮装置により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１１】フラットネスの計算方法を示す図である。
【図１２】図１および図７に示した映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１３】図１および図７に映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１４】第４の実施形態における映像データ圧縮装置（図８）の圧縮符号化動作を示す図である。
【図１５】第４の実施形態における映像データ圧縮装置２のホストコンピュータ（図８）の処理内容を示す図である。
【符号の説明】
１，２…映像データ圧縮装置、１０…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８…エンコーダ、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly coded picture) およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明によれば、映像データを符号化処理する符号化装置において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出手段と、
上記映像データを所定ピクチャ分遅延させる遅延手段と、
上記統計量算出手段により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出手段と、
上記近似難度データ算出手段により算出された上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延手段より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出手段と、
上記目標符号量算出手段により算出された上記目標符号量に基づいて、上記遅延手段より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出手段により算出された上記統計量と上記遅延手段により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化手段と
を備えることを特徴とする、符号化装置が提供される。
【０００７】
好ましくは、上記符号化手段は、上記映像データをピクチャ毎に符号化処理するたびに、上記換算係数を更新する。
【０００８】
また好ましくは、上記近似難度データ算出手段は、上記統計量算出手段により算出された上記統計量と上記換算係数とを積算することにより上記近似難度データを算出する。
【０００９】
好ましくは、上記換算係数は、上記映像データをピクチャ毎に符号化することによって得られるグローバルコンプレクシティと上記統計量算出手段により算出された上記統計量との比率である。
【００１０】
好ましくは、上記統計量算出手段は、上記符号化手段がＩピクチャとして符号化処理する上記映像データのピクチャから、フラットネス又はイントラＡＣを前記統計量として算出する。
また好ましくは、上記統計量算出手段は、上記符号化手段がＰピクチャ又はＢピクチャとして符号化処理する上記映像データのピクチャから、ＭＥ残差を前記統計量として算出する。
【００１１】
また本発明によれば、映像データを符号化処理する符号化方法において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出工程と、
上記映像データを所定ピクチャ分遅延させる遅延工程と、
上記統計量算出工程により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出工程と、
上記近似難度データ算出工程により算出された上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延工程より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出工程と、
上記目標符号量算出工程により算出された上記目標符号量となるように、上記遅延工程より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出工程により算出された上記統計量と上記遅延工程により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化工程と
を備えることを特徴とする、符号化方法が提供される。
【００１２】
本発明に係る符号化装置は、非圧縮映像データを圧縮符号化して、記録媒体の記憶容量あるいは伝送路の伝送容量に適合するデータ量の圧縮映像データを生成する。
【００１３】
本発明に係る符号化装置において、統計量算出手段は、映像データのピクチャーそれぞれの絵柄の複雑（難しさ）さを示す統計量を生成する。圧縮後にＩピクチャーとなるピクチャーの指標データとしては、例えば、絵柄の平坦さを示す値として新たに定義したフラットネス(flatness)、ＤＣＴ処理の処理単位となるＤＣＴブロックごとの映像データの平均値とＤＣＴブロックごとの映像データとの差分の絶対値の総和として新たに定義したイントラＡＣ、および、ＭＰＥＧ方式の圧縮アルゴリズムとして知られているＴＭ５[test model 5; ISO/IEC JTC/SC29/WG11/NO400 (Apr. 1993)] 等において、マクロブロックの量子化値(MQUANT)の算出のためのアクティビティ(activity)が用いられる。
また、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの統計量としては、動き予測の予測誤差量（ＭＥ残差）が用いられる。
【００１４】
近似符号化難易度算出手段は、算出された統計量が難度データに強い相関関係を有することを利用して、統計量に所定の係数を乗算して重み付けして所定の演算処理、例えば、一次関数による近似を行って、絵柄の複雑さ（難しさ）を示す難度データ（近似符号化難易度）を算出する。この難度データは、従来、例えば、非圧縮映像データを予備的に圧縮符号化して実際に圧縮映像データを生成し、この圧縮映像データのデータ量を計数することにより求められていたが、統計量で難度データを近似することにより、難度データ算出のためのエンコーダが不要になり、しかも、予備的な圧縮符号化に要する処理時間が不要になる。
【００１５】
目標符号量算出手段は、算出した難度データに基づいて、絵柄が複雑なピクチャーに多くのデータ量を割り当て、絵柄が平坦なピクチャーに少ないデータ量を割り当てるように、ピクチャーそれぞれの圧縮後のデータ量の目標値を算出する。このように目標値を算出することにより、圧縮後の映像の品質を高く保ちつつ、圧縮後のデータ量を記録媒体の記録容量等に適合させる。
【００１８】
符号化制御手段は、例えば、符号化手段が、１つのピクチャーを圧縮するたびに、符号化手段に設定する量子化値の平均値と、圧縮映像データのデータ量（発生符号量）とを乗算し、ＭＰＥＧ方式のＴＭ５においてグローバルコンプレクシティと呼ばれる数値を算出し、このグローバルコンプレクシティを、統計量算出手段が算出した統計量（フラットネス、イントラＡＣ、アクティビティおよびＭＥ残差）で除算して、難度データの近似に用いられる換算係数を算出し、演算処理に用いられる換算係数を更新する。この換算係数の更新により、常に、映像データの絵柄に最適な換算係数を用いることができ、統計量により難度データを高い精度で近似することが可能になる。
【００１９】
また、本発明に係る符号化方法は、映像データを符号化処理する符号化方法であって、上記映像データから、上記映像データを符号化処理することによって得られる符号化難易度と相関性を有する統計量を算出する統計量算出工程と、上記統計量算出工程において算出された上記統計量を上記符号化難易度の近似値である近似符号化難易度に換算する換算係数を用いて、上記近似符号化難易度を算出する近似発生符号量算出工程と、上記近似符号化難易度算出工程において算出された上記近似符号化難易度から、上記映像データを符号化処理する際の目標符号量を算出する目標符号量算出工程と、上記目標符号量算出工程により算出された上記目標符号量に基づいて、フィード・フォワード制御により上記映像データの符号化処理を行うとともに、上記統計量と当該符号化処理により得られた発生符号量とに基づいて、上記換算係数を逐次更新する符号化工程と、を備える。
【００２０】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２１】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２２】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２３】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２４】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２５】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２６】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００２７】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００２８】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００２９】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３０】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３１】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３２】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３３】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３５】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３６】
【数１】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３８】
【数２】
【数３】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４１】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００４２】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４３】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４４】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４５】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔj の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４６】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔj の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤj 〜Ｄj+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄj+L 〜Ｄj+L+B を算出し、実際に得られた難度データＤj 〜Ｄj+L-1 （実難度データ）および予測によって得られた難度データＤ’j+L 〜Ｄ’j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔj の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４７】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４８】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４９】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００５０】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００５１】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００５２】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５３】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤj を順次、算出する。
【００５４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５５】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄj-A ，Ｄj-A+1 ，…，Ｄj ，Ｄj+1，Ｄj+2 ，…，Ｄj+L-1 の算出を既に終了している。なお、Ａは、難度データを予測するためのピクチャー範囲を特定する所定の整数であり、正負を問わない。
【００５６】
ホストコンピュータ２０は、実難度データＤj-A ，Ｄj-a+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’j+L ，Ｄ’j+L+1 ，Ｄ’j+L+2 ，…，Ｄ’j+L+B を予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、予測難度データＤj ’は、例えば、実難度データＤj を直線近似し、近似により得られた直線を外挿する等の方法により算出されうる。
【００５７】
【数４】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔj に基づいて、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤj-A+1 ，Ｄj-A+2 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’j+L+1 ，Ｄ’j+L+2 ，Ｄ’j+L+3 ，…，Ｄ’j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５９】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’1 を、ｊ＝−（Ｌ−１），Ｒ’1 ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００６０】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤj+L を生成する。
【００６１】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００６２】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤj-A 〜Ｄj+L-1 に基づいて、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ1 〜Ｄj+L-1 から、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
【００６３】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓj を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤj+L を出力する。
【００６４】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆj+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’j+1 ＝Ｒ’j −Ｓj ＋Ｆj+L ）を行う。
【００６５】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６６】
第３実施形態
以下、本発明の第３の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式、および、第２の実施形態に示した予測簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【００６７】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj ’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【００６８】
第３の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【００６９】
図７は、第３の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図８は、図７に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図７および図８において、映像データ圧縮装置２の構成部分のうち、第１の実施形態および第２の実施形態において説明した映像データ圧縮装置１（図１，図２）の構成部分と同一のものには同一の符号を付して示してある。
【００７０】
図７に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１，図２）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図８に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【００７１】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【００７２】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【００７３】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【００７４】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【００７５】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【００７６】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態および第２の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【００７７】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図８）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【００７８】
ＭＥ残差と実難度データＤ j との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）の注目マクロブロックと、参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求める。ＭＥ残差は、このように、動きベクトルを求める際に、最小になった各マクロブロックの差分値の絶対和または自乗和を、ピクチャー全体について総和した値として定義される。
【００７９】
図９は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図１０は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図９および図１０においては、実難度データＤj として、エンコーダ１８が固定の量子化値を用いて圧縮符号化して得られた圧縮映像データのデータ量を用いており（以下、図１２，図１３において同じ）、図９および図１０は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図９および図１０において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図９および図１０を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【００８０】
フラットネスと実難度データＤ j との関係
図１１は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図１１に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。
なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【００８１】
図１２は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図１２は、図９および図１０と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図１２において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図１２に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【００８２】
イントラＡＣと実難度データＤ j との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式５により求めることができる。
【００８３】
【数５】
図１３は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図１３は、図９および図１０と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図１３において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がフラットネスを示す。
図１３に示すように、イントラＡＣと実難度データＤj には、強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【００８５】
ここまでに説明したように、各指標データ（統計量）により実難度データＤj を一次関数等により近似可能であることが分かる。従って、各ピクチャータイプの実難度データＤj は、以下に示すように算出可能である。
【００８６】
Ｐピクチャーについては下に示す式６により、Ｂピクチャーについては下に示す式７により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式６，７と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【００８７】
【数６】
【数７】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１に代入することにより目標データ量Ｔj が算出される。
あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj から予測難度データＤj ’が算出され、実難度データＤj および予測難度データＤj ’を式４に代入することにより目標データ量Ｔj が算出される。
【００９０】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図１１および式５に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【００９１】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【００９２】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式６および式７に示した演算処理を行って実難度データＤj を近似し、式６および式７と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【００９３】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【００９４】
なお、ＭＰＥＧの圧縮アルゴリズムとして知られるＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式８に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【００９５】
【数８】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第３の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１に対してと同様の変形が可能である。
【００９７】
第４実施形態
以下、本発明の第４の実施形態を説明する。
第３の実施形態に示したＦＦＲＣ方式においては、統計的に求められた指標データ（統計量）、つまり、ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティを、式６および式７等の一次関数に代入して実難度データＤj を近似する。
これらの指標データと難度データＤj とは、図９、図１０、図１２および図１３に示したように、強い相関関係を有するが、映像データの絵柄によっては、上記一次関数から若干の誤差が生じる。
【００９８】
第４の実施形態における映像データ圧縮装置２の処理は、かかる問題点を解決するためになされたものであり、映像データの絵柄等に応じて、式６および式７等に示した重み付け係数ａp ，ａB 等を、適応的に刻一刻と調節して、第３の実施形態においてより高い精度で実難度データＤj を指標データで近似することができ、より高い品質の圧縮映像データを生成することができるように改良されている。
【００９９】
以下、第４の実施形態における映像データ圧縮装置２の処理の概要を説明する。
映像データ圧縮装置２（図８）のエンコーダ１８が、１ピクチャー分の圧縮符号化を終了するたびに、ホストコンピュータ２０には、生成した圧縮映像データの１ピクチャー分のデータ量が判明し、さらに、圧縮符号化時の量子化値Ｑj の平均値、および、以下に説明するグローバルコンプレクシティ(global complexity) を算出することができる。
グローバルコンプレクシティは、ＭＰＥＧのＴＭ５において、圧縮映像データのデータ量と量子化値Ｑj とを乗算した値として、下の式９−１〜式９−３に示すように定義され、映像の絵柄の複雑さを示す。
【０１００】
【数９】
なお、式９−１〜式９−３において、Ｓi ，Ｓb ，Ｓp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのデータ量を示し、Ｑi ，Ｑb ，Ｑp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーを生成する際の量子化値Ｑj の平均値を示し、Ｘi ，Ｘb ，Ｘp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのグローバルコンプレクシティを示す。
式９−１〜９−３に示したグローバルコンプレクシティは、実難度データＤj とは必ずしも一致しないが、量子化値Ｑj の平均値が極端に大きかったり小さかったりしない限り、実難度データＤj とほぼ一致する。
【０１０２】
ここで、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの指標データ、例えばイントラＡＣ（他のパラメータでも可）およびＭＥ残差（ＭＥ＿ｒｅｓｉｄ）と、グローバルコンプレクシティとが比例関係にあるとすると、これらの指標データとグローバルコンプレクシティとの比例係数εＩ，εＰ，εＢは、下の式１０−１〜式１０−３により算出できる。
【０１０３】
【数１０】
各ピクチャータイプの実難度データＤj は、式１０−１〜式１０−３により算出した比例係数εI ，εP ，εB を用いて、下の式１１−１〜式１１−３に示すように算出される。
【０１０５】
【数１１】
ホストコンピュータ２０が、数１０−１〜数１０−３に示したように、比例係数εI ，εP ，εB を、エンコーダ１８がピクチャーを１枚圧縮符号化するたびに算出して最適化し、式１１−１〜式１１−３により各ピクチャータイプの実難度データＤj の値を求めることにより、映像データの絵柄に関わらず、指標データにより実難度データＤj を、常に最適に近似することができる。
【０１０７】
ホストコンピュータ２０は、式１０および式１１に示したように近似された実難度データＤj に対して、式１に示した演算処理を行って目標データ量Ｔj を算出する。
なお、ＭＰＥＧのＴＭ５におけるように、実難度データＤj に基づいて定める値に対して、意図的に、実際に算出する目標データ量Ｔj の値を一定の比率で変更する場合には、下の式１２−１〜式１２−３により、目標データ量Ｔj を算出することができる。
【０１０８】
【数１２】
なお、式１２−１〜式１２−３全ての分母において、ＤＩ，Ｐ，Ｂは、エンコーダ１８に入力される前のＦＩＦＯメモリ１６０にバッファリングされているＬピクチャー分の非圧縮映像データから生成された指標データにより近似された実難度データＤj を示し、Ｒj は、第ｊ番目のピクチャー以降のＬ枚のピクチャーに割り当てることができるデータ量の平均値を示す。Ｋ Ｐ およびＫ Ｂ は、所定の重み付け係数である。
【０１１０】
以下、図１４を参照して、第４の実施形態における映像データ圧縮装置２の動作を説明する。
図１４は、第４の実施形態における映像データ圧縮装置２（図８）の圧縮符号化動作を示す図である。
エンコーダ制御部２２は、第３の実施形態においてと同様に、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、ピクチャー・フィールド変換等を行い、Ｉピクチャーに圧縮符号化される第ｊ＋Ｌ番目のピクチャーからフラットネスおよびイントラＡＣ等の統計量を算出する（図１４ａ）。
【０１１１】
動き検出器１４は、第１の実施形態〜第３の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第ｊ＋Ｌ番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図１４ａ）。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第３の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１１−１，１１−２に示した演算処理を行って実難度データＤj を近似し、式１１−３に示した演算処理を行って、イントラＡＣ等により実難度データＤj を近似する（図１４ｂ）。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１あるいは式１２−１〜１２−３に代入し、目標データ量Ｔj を算出して、エンコーダ１８の量子化制御回路１８０に設定する（図１４ｃ）。
【０１１２】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第３の実施形態においてと同様に、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化するとともに、第ｊ番目のピクチャーの圧縮符号化に用いた量子化値Ｑj の平均値を算出し、ホストコンピュータ２０に対して出力する。
可変長符号化回路１７０は、第１の実施形態〜第３の実施形態においてと同様に、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０１１３】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化制御回路１８０から入力される第ｊ番目のピクチャーに対する量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式９−１〜式９−３に示したようにグローバルコンプレクシティを算出する（図１４ｄ）。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１０−１〜式１０−３に示したように比例係数εＩ，εＰ，εＢを更新する（図１４ｅ）。更新された比例係数εＩ，εＰ，εＢは、次のピクチャーの圧縮符号化の際の変換式（式１１−１〜式１１−３）に反映される（図１４ｆ）。
【０１１４】
図１５を参照して、第４の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図１５は、第４の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図８）の処理内容を示す図である。
図１５に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第ｊ＋Ｌ番目のＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込む。
【０１１５】
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第ｊ＋１番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第ｊ＋１番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３０４の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３０６の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３０８の処理に進む。
【０１１６】
ステップ３０４（Ｓ３０４）、ステップ３０６（Ｓ３０６）およびステップ３０８（Ｓ３０８）それぞれにおいて、ホストコンピュータ２０は、式１１−１〜式１１−３により実難度データＤj を近似する。
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、近似した実難度データＤj を用いて、式１あるいは式１２−１〜式１２−３により、目標データ量Ｔj を算出する。
ステップ３１２（Ｓ３１２）において、エンコーダ１８は、第ｊ番目のピクチャーを圧縮符号化する。
【０１１７】
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、エンコーダ１８が圧縮した第ｊ番目のピクチャーのデータ量、および、量子化制御回路１８０が量子化回路１６８に設定する量子化値Ｑj の平均値から、グローバルコンプレクシティＸi ，Ｘb ，Ｘp 〔Ｘ（Ｉ，Ｂ，Ｐ）〕を算出する。
【０１１８】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、第ｊ＋１番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第ｊ＋１番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３１８の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３２０の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３２０の処理に進む。
ステップ３１８（Ｓ３１８）、ステップ３２０（Ｓ３２０）およびステップ３２２（Ｓ３２２）それぞれにおいて、ホストコンピュータ２０は、式１０−１〜式１０−３により比例係数εI ，εP ，εB を更新する。
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１１９】
なお、第３の実施形態に述べたように、例えば、実難度データＤｊと、比例係数εＩ，εＰ，εＢと指標データとの乗算値との間にオフセット（δＰ）が存在する場合がある。このような場合には、グローバルコンプレクシティＸｉ，Ｘｂ，Ｘｐからオフセット値δＩ，δＰ，δＢを減算した値を指標データで除算することにより、比例係数εＩ，εＰ，εＢを算出することができる。
また、第４の実施形態に示した映像データ圧縮装置２の動作についても、第３の実施形態等に示したものと同様な変形が可能である。
【０１２０】
以上述べたように、第４の実施形態における映像データ圧縮装置２の動作によれば、第３の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、第３の実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、この結果、圧縮映像データの品質を向上させることができる。
【０１２１】
【発明の効果】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】第３の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図８】図７に示した映像データ圧縮装置の圧縮符号化部の詳細な構成を示す図である。
【図９】図１および図７に示した映像データ圧縮装置により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１０】図１および図７に示した映像データ圧縮装置により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１１】フラットネスの計算方法を示す図である。
【図１２】図１および図７に示した映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１３】図１および図７に映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１４】第４の実施形態における映像データ圧縮装置（図８）の圧縮符号化動作を示す図である。
【図１５】第４の実施形態における映像データ圧縮装置２のホストコンピュータ（図８）の処理内容を示す図である。
【符号の説明】
１，２…映像データ圧縮装置、１０…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８…エンコーダ、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。
Claims (7)
- 映像データを符号化処理する符号化装置において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出手段と、
上記映像データを所定ピクチャ分遅延させる遅延手段と、
上記統計量算出手段により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出手段と、
上記近似難度データ算出手段により算出された上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延手段より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出手段と、
上記目標符号量算出手段により算出された上記目標符号量となるように、上記遅延手段より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出手段により算出された上記統計量と上記遅延手段により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化手段と
を備えることを特徴とする、符号化装置。 - 上記符号化手段は、上記映像データをピクチャ毎に符号化処理するたびに、上記換算係数を更新する
請求項１に記載の符号化装置。 - 上記近似難度データ算出手段は、上記統計量算出手段により算出された上記統計量と上記換算係数とを積算することにより、上記近似難度データを算出する
請求項１に記載の符号化装置。 - 上記換算係数は、上記映像データをピクチャ毎に符号化することによって得られるグローバルコンプレクシティと、上記統計量算出手段により算出された上記統計量との比率である
請求項１に記載の符号化装置。 - 上記統計量算出手段は、上記符号化手段がＩピクチャとして符号化処理する上記映像データのピクチャから、フラットネス又はイントラＡＣを前記統計量として算出する
請求項１に記載の符号化装置。 - 上記統計量算出手段は、上記符号化手段がＰピクチャ又はＢピクチャとして符号化処理する上記映像データのピクチャから、ＭＥ残差を前記統計量として算出する
請求項１に記載の符号化装置。 - 映像データを符号化処理する符号化方法において、
上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎に算出する統計量算出工程と、
上記映像データを所定ピクチャ分遅延させる遅延工程と、
上記統計量算出工程により算出された上記統計量を、上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより算出される近似難度データに換算する換算係数を用いて、上記統計量から上記近似難度データをピクチャ毎に算出する近似難度データ算出工程と、
上記近似難度データ算出工程により算出された上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の上記近似難度データの総和との比に従って、上記遅延工程より遅延された上記映像データを符号化処理する際に割り当てる目標符号量をピクチャ毎に算出する目標符号量算出工程と、
上記目標符号量算出工程により算出された上記目標符号量となるように、上記遅延工程より遅延された上記映像データをピクチャ毎に符号化処理するとともに、上記統計量算出工程により算出された上記統計量と上記遅延工程により遅延された上記映像データをピクチャ毎に符号処理した際の発生符号量とに基づいて、上記換算係数を更新させながら符号化処理する符号化工程と
を備えることを特徴とする、符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21470896A JP3765130B2 (ja) | 1996-08-14 | 1996-08-14 | 符号化装置および符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21470896A JP3765130B2 (ja) | 1996-08-14 | 1996-08-14 | 符号化装置および符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1066068A JPH1066068A (ja) | 1998-03-06 |
| JP3765130B2 true JP3765130B2 (ja) | 2006-04-12 |
Family
ID=16660305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21470896A Expired - Fee Related JP3765130B2 (ja) | 1996-08-14 | 1996-08-14 | 符号化装置および符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3765130B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010104059A (ko) * | 2000-05-12 | 2001-11-24 | 박종섭 | 부호화기의 폴트 검출기 |
-
1996
- 1996-08-14 JP JP21470896A patent/JP3765130B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1066068A (ja) | 1998-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3864461B2 (ja) | 映像データ圧縮装置およびその方法 | |
| KR100512389B1 (ko) | 영상데이터의 압축장치 및 그 방법 | |
| KR100756596B1 (ko) | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 | |
| US6084636A (en) | Video signal encoding method and apparatus employing an adaptive quantization technique | |
| EP1445958A1 (en) | Quantization method and system, for instance for video MPEG applications, and computer program product therefor | |
| KR20000023174A (ko) | 엔코딩 장치 및 방법 | |
| JPH10191343A (ja) | 映像データ圧縮装置およびその方法 | |
| JP4081727B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 | |
| JP3765129B2 (ja) | 符号化装置および符号化方法 | |
| KR100394014B1 (ko) | 영상 변환 부호화 장치 | |
| JP3765130B2 (ja) | 符号化装置および符号化方法 | |
| JP3879134B2 (ja) | 符号化装置およびその方法 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JPH04329089A (ja) | 動画像符号化装置 | |
| JP3800965B2 (ja) | データレート変換装置 | |
| JP2900927B2 (ja) | 符号化方法及び符号化装置 | |
| JP2006136010A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2007053788A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JPH1066092A (ja) | 映像データ圧縮装置およびその方法 | |
| JPH1075444A (ja) | 映像データ圧縮装置およびその方法 | |
| JPH1066082A (ja) | 映像データ圧縮装置およびその方法 | |
| KR20040067239A (ko) | 양자화 수행시에 사용되는 비트의 할당방법 및 장치 | |
| JP2006148953A (ja) | 映像データ圧縮装置およびその方法 | |
| JPH1075452A (ja) | 映像データ圧縮装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |