JP3800965B2 - データレート変換装置 - Google Patents
データレート変換装置 Download PDFInfo
- Publication number
- JP3800965B2 JP3800965B2 JP2001028929A JP2001028929A JP3800965B2 JP 3800965 B2 JP3800965 B2 JP 3800965B2 JP 2001028929 A JP2001028929 A JP 2001028929A JP 2001028929 A JP2001028929 A JP 2001028929A JP 3800965 B2 JP3800965 B2 JP 3800965B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- code amount
- input
- gop
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はデータレート変換装置に係り、特にデータレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止するデータレート変換装置に関する。
【０００２】
【従来の技術】
今日、コンピュータ、放送メディア、通信メディア及び蓄積メディアにおいて、ディジタル技術が盛んに用いられている。これらの情報インフラにおいて最も重要な役割を果たすのが、ＭＰＥＧ（Moving Picture Experts Group）であり、これについて簡単に説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称の略称である。
【０００３】
ＭＰＥＧにはＭＰＥＧ１、ＭＰＥＧ２その他の規格がある。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は、１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、サービス統合ディジタル網（ＩＳＤＮ）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。また、ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８、Ｈ．２６２として成立している。
【０００４】
ＭＰＥＧの符号化部分は幾つかの技術を組み合わせて作成されている。図６はＭＰＥＧによる画像圧縮符号化装置の一例のブロック図を示す。同図において、入力画像は動き補償予測器２で復号化され、この動き補償予測画像と入力画像の差分を減算回路１でとることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。
【０００５】
ピクチャタイプはＰピクチャとＢピクチャとＩピクチャがある。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャである。そして全てのＭＢが独立で符号化するのがＩピクチャである。
【０００６】
動き補償（ＭＣ：Motion Compensation）は、動き領域をＭＢ毎にパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣモードと共に、ＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【０００７】
減算回路１より取り出された差分画像信号は、ＤＣＴ器３において直交変換が行われる。離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【０００８】
ＤＣＴされた画像データ（ＤＣＴ係数）は、量子化器４で量子化が行われる。この量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【０００９】
量子化されたデータはＶＬＣ器９で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化の一つであるＤＰＣＭ（Differential Pulse Code Modulation）を使用する。また交流（ＡＣ）成分は低域から高域にジクザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時バッファ１０に蓄えられ、所定の転送レートで符号化データとして出力される。
【００１０】
また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器１１に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器５にて逆量子化、逆ＤＣＴ器６にて逆ＤＣＴされた後、加算器７を通して画像メモリ８に一時蓄えられたのち、動き補償予測器２において、差分画像を計算するためのリファレンスの復号化画像として使用される。動き補償予測器２の出力信号は減算回路１と加算器７に入力される。
【００１１】
バッファ１０より出力される符号化ビットストリームは、ビデオの場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性がある。動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【００１２】
この場合、多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。このバッファの制限は、復号装置側のバッファがオーバーフローもアンダーフローも発生しないように符号化することであり、ＭＰＥＧでＶＢＶ（Video Buffering Verifier）として規定されている。これについての詳細は国際標準化機構（ＩＳＯ）によりＩＳＯ−１１１７２−２、ＩＳＯ１３８１８−２に記述されている。この規定を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定転送レートであると定義する。
【００１３】
図７はＭＰＥＧにより圧縮符号化された符号化データの復号化装置の一例のブロック図を示す。同図において、ＭＰＥＧにより圧縮符号化された符号化データは、バッファ３２を通してＶＬＤ器３３に入力され、ここで可変長復号されてから逆量子化器３４で量子化幅と乗算されることにより、元のＤＣＴ係数に近似した値とされた後、逆ＤＣＴ器３５に供給されて逆ＤＣＴされることにより局部復号化される。
【００１４】
また、ＶＬＤ器３３より取り出された動きベクトルと予測モードは、動き補償予測器３８に画像メモリ３７よりの復号化データと共に供給され、これより動き補償予測化した画像データを出力させる。加算器３６は逆ＤＣＴ器３５からのデータと動き補償予測器３８よりの動き補償予測化した画像データとを加算することにより、符号化装置に入力された画像データと等価な画像データを復号し、復号化データとして画像メモリ３７に供給する一方、外部へ出力する。
【００１５】
このようなＭＰＥＧシステムでは、例えば映像ソース（ディジタル放送その他）からの高符号化レートの符号化データを、限られた容量の記録媒体に記録する場合や、画質を多少劣化させても、番組圧縮データの更なる圧縮を希望する場合や、圧縮符号化データを編集して繋げる場合に、どうしてもＶＢＶバッファ占有値をビットストリーム上で調節したいような場合、入力時よりも低符号化レートにレート変換することが行われる。
【００１６】
従来の符号化や復号化技術を用いて、圧縮符号化レートを変換するには、一度、元の圧縮符号化データを復号化して画像データを得て画像メモリに展開し、その画像データを再度、所望のレートで符号化し直す再圧縮を施すことが考えられる。
【００１７】
また、従来のデータレート変換装置の中には、元の圧縮符号化データを復号化せずに、ＤＣＴ係数までの復号を行って、そのＤＣＴ係数領域でＡＣ係数の高域成分を削減する、もしくは量子化スケールを大きく設定し直してＡＣ係数を変換する装置も知られている（特開平８−２５１５８７号公報）。
【００１８】
【発明が解決しようとする課題】
しかるに、上記の再圧縮を行う従来のデータレート変換装置では、復号化、符号化が同時に行える処理能力を必要とし、一度復号化したデータを画像メモリに展開しなければならないため、余分なメモリの追加が必要となる。
【００１９】
また、特開平８−２５１５８７号公報記載の従来のデータレート変換装置においては、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、Ｑ（量子化）スケールを変更すると、本来、元の符号化ピクチャを作成するときに、動き補償の参照ピクチャとして使用していた過去のＩピクチャやＰピクチャの画質が変更されていることになり、予測残差成分に誤差が発生する。その誤差は、ＭＰＥＧ特有のＩピクチャから始まり数枚のＰピクチャへの順方向予測で、巡回して予測していく途中で蓄積され、その誤差蓄積が再生画像に顕著な画質劣化をもたらすことがある。
【００２０】
本発明は以上の点に鑑みなされたもので、データレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止し得るデータレート変換装置を提供することを目的とする。
【００２１】
また、本発明の他の目的は、メモリの追加をすることなく、データレートを好適に変換し得るデータレート変換装置を提供することにある。
【００２２】
【課題を解決するための手段】
本発明は上記の目的を達成するため、入力符号化データであるＭＰＥＧの可変長符号を復号すると共に、ＡＣ符号とその符号長を示すＡＣ符号のＶＬＣコードと動きベクトルとを出力する可変長復号手段と、入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子へ入力信号を出力し、Ｂピクチャの場合は第２の端子へ入力信号を出力する選択動作を行う第１のスイッチ手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子の入力信号を選択して出力し、Ｂピクチャの場合は第２の端子の入力信号を選択して出力する第２のスイッチ手段と、第２のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＢピクチャとＶＬＣコードが入力信号として入力され、その入力Ｂピクチャに対して、量子化スケールをそのままにしてＡＣ符号であるＶＬＣコード化されたＡＣ係数部分に対応するＶＬＣコードを削減する再符号化を行って、第２のスイッチ手段の第２の端子に入力する再符号化手段と、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＩピクチャ又はＰピクチャと動きベクトルとが入力信号として入力され、その入力信号に対してＭＰＥＧ規定の復号化動作を行って復号データを得る復号手段と、量子化器を含み、復号手段から出力された復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得て、第２のスイッチ手段の第１の端子に入力する符号化手段と、ＭＰＥＧに規定されたＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量が、一つ前のＧＯＰの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められたＧＯＰの目標符号量内で配分されており、再符号化手段による再符号化又は符号化手段による符号化によってマクロブロック単位に発生し、第２のスイッチ手段を経由してバッファに蓄積されるＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャの合計の発生符号量と、ＧＯＰの目標符号量とのマクロブロック単位毎の差分に応じて、ＧＯＰ内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内でＧＯＰ内のまだ符号化されていないＩピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量を画面の複雑さを示すパラメータと目標レートとを用いて決定し、Ｉピクチャ又はＰピクチャ検出時は、決定したＩピクチャ、Ｐピクチャの割り当て符号量に応じて符号化手段の量子化器の量子化幅を制御し、Ｂピクチャ検出時は再符号化手段により入力信号のＡＣ符号を削減させる符号量制御手段とを有する構成としたものである。
【００２３】
この発明では、入力符号化データのＢピクチャに対しては直接に再符号化手段によりＡＣ符号の削減を行い、ＩピクチャとＰピクチャに対しては復号した後、再度符号化するようにしたため、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することがない。また、Ｉピクチャ又はＰピクチャに対しては、ＭＰＥＧ規定の復号化動作を行って復号データを得た後、その復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得るようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【００２４】
また、本発明は上記の目的を達成するため、上記の発明における再符号化手段を、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＢピクチャとＡＣ係数とが入力信号として入力され、その入力Ｂピクチャに対して、可変長復号手段の入力符号化データを量子化した際に用いられている量子化スケール以上の値に変更された量子化スケールで再量子化を行うことにより、ＡＣ係数を削減する再符号化を行って、第２のスイッチ手段の第２の端子に入力する構成としたことを特徴とする。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になるデータレート変換装置の第１の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付してある。図１に示す第１の実施の形態では、Ｂピクチャの符号量変換をＡＣ符号削減器２１で行う点に特徴がある。
【００２６】
入力符号化データは、まずＶＬＤ器１３に入力される。ＶＬＤ器１３は可変長符号デコーダ（Variable Length Code Decoder）といって、ＭＰＥＧ方式により圧縮符号化された可変長符号を復号する部分である。このＶＬＤ器１３は、入力符号化データ、すなわち、可変長符号を復号するとともに、ピクチャのタイプをピクチャタイプ検出器１４に供給する。
【００２７】
ピクチャタイプ検出器１４では、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているかを検出し、その検出信号をスイッチ回路（ＳＷ）１５及び２４へそれぞれ供給し、それらをスイッチング制御する。すなわち、ピクチャタイプがＩピクチャもしくはＰピクチャの場合、ＳＷ１５及び２４は図中、ＩＰの方へ切り替えられ、Ｂピクチャの場合には図中、Ｂの方へ切り替えられる。
【００２８】
まず、Ｂピクチャが検出されて、ＳＷ１５及び２４がＢ側に切り替えられたときの動作を説明する。この場合、ＶＬＤ器１３で復号されたＢピクチャのデータは、ＳＷ１５を経由してＡＣ符号削減器２１に入力される。ＡＣ符号削減器２１では、符号量制御器２３によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャあたりの目標符号量になるようＡＣ符号（ＶＬＣコード化されたＡＣ係数部分に対応するＶＬＣコードで、以下、ＡＣ係数符号ともいう）を削減する。
【００２９】
各ピクチャのマクロブロックのＡＣ符号コードは表１に示したＭＰＥＧで規定されたハフマン符号（ＶＬＣコード）で符号化されている。なお、表１中、符号長はＡＣ係数のハフマン符号（ＶＬＣコード）の符号長を示す。
【００３０】
【表１】
ＭＰＥＧで規定されたマクロブロックの中には、８×８画素のブロックが、輝度信号４つ、２種類の色差信号各１つの計６つ分存在する。これらのブロックそれぞれにＡＣ符号が存在する。これらブロック内のハフマン符号事象は、図３に示すように、ジグザグにＤＣＴ係数を並べた時、０以外の有効係数が検出されるまでの、０の個数（０ランレングス）と有効係数という組み合わせの事象によって表現されている。
【００３１】
すなわち、これらを展開したとすると、図３のイントラの場合と、図４に示すノンイントラの場合では、左上にくるＤＣ符号コードの存在、非存在の違いがある。ＶＬＤ器１３ではこのようにＡＣ係数の”０ランレングスと有効係数”事象とその符号長を検出して、図３、図４に示すようなＡＣ係数符号の送られてくる順番、すなわち、低域の信号から並べたときの、その符号長の累積符号量と、ジグザグスキャンした場合の係数位置を示すアドレスを計算して、その情報をＶＬＤ情報として、符号化データと共にＡＣ符号削減器２１に供給する。
【００３２】
ＡＣ符号削減器２１ではＶＬＤ器１３からの符号化データとＶＬＤ情報、符号量制御器２３からの目標符号量ＴｂをもとにＡＣ係数符号を削減する。ＶＬＤ情報は、ＡＣ係数符号とその符号長を含んでいる。図５に示すように、ＡＣ係数符号の低域の信号から並べて、その符号長の累積符号量のトータル符号量２７８ビットに対し、元の符号化ピクチャデータと目標符号量との概略の比率（１−削除率Ｒｃ）を乗じた値までを有効として、それ以降の符号は削除する。削除後のＡＣ符号にＥＯＢ（END OF BLOCK）コードを送信する。
【００３３】
従って、例えば、Ｒｃ＝０.５の場合、元の符号化ピクチャデータの累積符号長が、トータル符号量である２７８ビットに０.５（＝１−０．５）を乗じた値１３９ビットに達するまでのＡＣ係数のＶＬＣコードはそのままとし、それ以降のＶＬＣコードを削除することとなり、この場合、表１のアドレス１４以降のＶＬＣコードが削除される（値が０とされる）。なお、図５の数値は、ＡＣ係数の値を示す。
【００３４】
このようにして、ＡＣ符号削減器２１において、全部のブロックについて処理された符号化データは、ＳＷ２４がＢ側に切り替えられているときに、ＳＷ２４を通して１ピクチャ分バッファ２５に供給されて蓄積される。
【００３５】
バッファ２５は発生符号量を符号量カウンタ２２に供給する。符号量カウンタ２２は発生符号量を１ピクチャ毎にカウントしているので、符号量制御器２３で制御される削除の割合は、１ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【００３６】
次に、Ｉピクチャ又はＰビクチャがピクチャタイプ検出器１４で検出されて、ＳＷ１５及び２４がＩＰ側に切り替えられたときの動作を説明する。この場合、ＶＬＤ器１３で復号されたＩピクチャ又はＰピクチャのデータは、ＳＷ１５を経由して逆量子化器１７に供給され、逆量子化が行われる。逆量子化されたデータは逆ＤＣＴ器１８にて、逆ＤＣＴされる。逆ＤＣＴにより得られた差分画像データは、動き補償予測器１６からの一つ前の動き補償後の画像データに加算器１９で加算され、減算回路１へ供給される。
【００３７】
また、同時に加算器１９により加算された後の画像データは、画像メモリ２０に供給されて蓄積され、次の動き補償のためのリファレンス画像（参照画像）として再度、動き補償予測器１６に入力される。動き補償予測器１６では、ＶＬＤされたマクロブロック毎の動きベクトルをもとに画像メモリ２０に蓄積された画像データを動き補償して、次の、逆ＤＣＴされた差分画像データに加算器１９にて加算される画像を計算する。
【００３８】
減算回路１ではＩピクチャの場合には減算操作をすることなく、入力画像データをそのままＤＣＴ器３へ供給する。Ｐピクチャの場合には、ＶＬＤ器１３からの動きベクトルをもとに動き補償予測器２で動き補償予測が行われ、減算回路１で予測画像との差分が計算される。差分画像データはＤＣＴ器３においてＤＣＴが行われてＤＣＴ係数とされる。
【００３９】
このＤＣＴ係数は量子化器４で量子化され、動きベクトルや符号化モードとともにＶＬＣ器９で可変長符号化（ＶＬＣ）後、ＳＷ２４を通してバッファ２５に供給されて一旦、蓄積され、これよりレート変換されたＭＰＥＧビデオストリームとして出力される。
【００４０】
このとき、符号量制御器２３はバッファ２５の充足度（蓄積符号量）を符号量カウンタ２２の値から監視して、基本的にはバッファ２５の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように、量子化器４の量子化幅を制御する。
【００４１】
また、Ｉピクチャ及びＰピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化器４で量子化された情報は逆量子化器５、逆ＤＣＴ器６及び動き補償予測器２により、逆量子化、逆ＤＣＴ、動き補償されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ８に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【００４２】
このように、本実施の形態では、ＩピクチャとＰピクチャは、バッファ２５の充足度（蓄積符号量）に応じてステップ幅が制御される量子化器４の出力信号を局部復号して参照画像として用い、一方、Ｂピクチャは直接にＡＣ符号を削除することにより、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決できる。
【００４３】
また、逆量子化器１７から加算器１９までの回路部でＭＰＥＧ規定の復号化を行ってから、減算回路１からＶＬＣ器９までの回路部でＭＰＥＧ規定の符号化をするようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【００４４】
次に、符号量制御の方法について説明する。符号化されたデータは一時バッファ２５に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量カウンタ２２を通して符号量制御器２３に供給され、目標符号量に対する発生符号量との差分を量子化器４にフィードバックして符号量制御する。例えば、短区間を１ＧＯＰ（Group of Picture）とすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【００４５】
（ａ）ステップＳ１
まず、各ＧＯＰのレート変換後の目標符号量をＲとすると、ステップＳ１ではＧＯＰの各ピクチャに対する割り当て符号量を、ＧＯＰ内でまだ符号化していないピクチャに対してある重みをつけて配分する。
Xi＝Si×Qi Xp＝Sp×Qp Xb＝Sb×Qb
ここで、Ｘはグローバル・コンプレキシティ・メジャー（global complexity measure）と呼ばれ、一つ前の同ピクチャタイプの符号化結果のＳ（発生符号量）とＱ（平均量子化スケール）の積で定義される、画面の複雑さを示すパラメータである。
【００４６】
また、理想的な画質を達成する量子化スケールは、Ｉピクチャを基準とした場合のＰピクチャとの比率はＫｐ＝１．０、Ｂピクチャとの比率はＫｂ＝１．４と仮定する。ここで、ＧＯＰ中のＩピクチャ、Ｐピクチャ及びＢピクチャに対する割り当て符号量Ｔｉ、Ｔｐ及びＴｂは次式で表される。
Ti＝MAX{R/(1＋(NpXp/XiKp)＋NbXb/XiKb)}、bit_rate/(8*picture_rate)}
Tp＝MAX{R/(Np＋(NbKpXb/KbXp))、bit_rate/(8*picture_rate)}
Tb＝MAX{R/(Nb＋(NpKbXp/KbXb))、bit_rate/(8*picture_rate)}
ただし、上式中、Ｎｐ、ＮｂはＧＯＰ内のＰやＢの未符号化ピクチャ枚数である。Ｒの初期値はそのＧＯＰに与えられた符号量である。また、bit_rateは目標レートである。
【００４７】
このようにして求めた割り当て符号量をもとにして、各ピクチャを符号化する毎に、ＧＯＰ内のまだ符号化されていないピクチャに対して割り当てられる目標符号量Ｒは次のように更新される。
Ｒ＝Ｒ−Ｓi,p,b
【００４８】
（ｂ）ステップＳ２
ステップＳ２ではステップＳ１で割り当てられた各ピクチャの符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符号量を一致させるため、マクロブロック（ＭＢ）毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を量子化スケールにＭＢ単位でフィードバックする。ここで、ｊ番目のＭＢの符号化に先立ち、Ｉ、Ｐ及びＢピクチャの各先頭からｊ番目における各仮想バッファの占有量ｄｊｉ、ｄｊｐ及びｄｊｂをそれぞれ次式により求める。
【００４９】
ｄji＝d0i＋Bj −１−(Ti・(j−１)/MB_cnt)
ｄjp＝d0p＋Bj −１−(Tp・(j−１)/MB_cnt)
ｄjb＝d0b＋Bj −１−(Tb・(j−１)/MB_cnt)
ただし、上式中、ｄ０ｉ、ｄ０ｐ、ｄ０ｂはＩ、Ｐ、Ｂピクチャの各仮想バッファの初期占有量、Ｂｊは符号量カウンタ２２でカウントされた各ピクチャの先頭からｊ番目のＭＢまでの発生符号量、ＭＢ＿ｃｎｔは１ピクチャ内のＭＢ数である。
【００５０】
また、Ｉ及びＰピクチャの量子化スケールＱは次式により求める。
Ｑ＝ｄｊ×３１／ｒ （１≦Ｑ≦３１）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、ｒはフィードバックの応答速度を決定するパラメータである。このようにして、符号量制御を行うことが可能となる。
【００５１】
なお、Ｂピクチャの場合には、符号量制御はＡＣ係数のＶＬＣコードを削減することで行うこととしているので、量子化スケールは固定とし、前述したＡＣ係数削除により符号量を制御するが、Ｂピクチャにおいても、以下のような式で符号量制御することが可能である。
【００５２】
Ｒｃ＝ｄｊ×０．９／ｒ （０．１≦Ｑ・Ｒｃ≦０．９）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、Ｒｃは削減率である。このようにして符号量制御を行うことが可能となる。また、ここでは、Ｒｃをｄｊのバッファでフィードバックするように示したが、Ｒｃは固定でＡＣ係数削減を行ってもよい。
【００５３】
次に、本発明の第２の実施の形態について説明する。図２は本発明になるビットレート変換装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、入力符号化データは、まずＶＬＤ器１３に入力され、ここで可変長符号が復号されるとともに、ピクチャのタイプがピクチャタイプ検出器１４に供給されて、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているか検出される。
【００５４】
第１の実施の形態と同様に、ピクチャタイプがＩピクチャもしくはＰピクチャの場合、ＳＷ１５及び２９はＩＰ側へ切り替えられる。Ｂピクチャの場合にはＢ側へ切り替えられる。
【００５５】
まず、ＢピクチャヘＳＷ１５及び２９を切り替えたときの説明をする。ＶＬＤ器１３で復号されたＢピクチャのデータは、ＳＷ１５を経由して再量子化器２８に入力される。再量子化器２８は、符号量制御器２３によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャ当たりの目標符号量になるよう、量子化スケールを制御する。その場合、元の符号化データに記述されている対象のＢピクチャの各マクロブロックごとの量子化スケールに比較して、その量子化スケール以上の値で量子化するようにする。
【００５６】
すなわち、符号量カウンタ２２によるバッファ３０からの符号量カウンタ値を基に、レート変換する前の元のピクチャ全体の符号量より小さい値を目標符号量とするために、基本的には量子化スケールは大きい方向へ制御されるはずであるが、局所的にバッファ３０のフィードバック制御状態によっては、元の量子化スケールより小さい値になる可能性がある。その場合、画像の品質は元の画質より向上することはないので、再量子化器２８で再量子化をする場合に制御される量子化スケールは、元の量子化スケールに対してリミッタをかけて、元の量子化スケール以上の値で量子化するように変更し、これにより量子化スケールが無駄に小さい値をとることで、画質向上につながらない符号量増加を防止する。
【００５７】
再量子化器２８ではＶＬＤ器１３からのＢビクチャの符号化データとＶＬＤ情報、符号量制御器２３からの目標符号量Ｔｂを基に、量子化スケールを上記のように制御する。符号量制御の方法は次に述べるＩピクチャ及びＰピクチャの場合と同じアルゴリズムを用いればよい。
【００５８】
このようにして、再量子化器２８で全部のブロックを再量子化処理されて得られた符号化データは、Ｂ側に接続されているＳＷ２９を経由して１ピクチャ分バッファ３０に供給されて蓄積される。バッファ３０は発生符号量を符号量カウンタ２２に供給する。符号量カウンタ２２は前述したように、発生符号量を１ピクチャ毎にカウントしているので、符号量制御器２３で制御される削除の割合は、１ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【００５９】
次に、ピクチャタイプ検出器１４でピクチャタイプがＩピクチャもしくはＰピクチャとして検出された場合の動作について説明する。ＶＬＤ器１３により復号されたＩピクチャ又はＰピクチャの符号化データは、ＩＰ側に接続されているＳＷ１５を通して逆量子化器１７に供給され、ここで逆量子化が行われる。逆量子化されたデータは、逆ＤＣＴ器１８にて逆ＤＣＴされた後、加算器１９に供給され、ここで動き補償予測器１６からの一つ前の動き補償後の画像データと加算され、減算回路１へ供給される。
【００６０】
また、同時に、加算器１９からの画像データは画像メモリ２０に供給されて蓄積され、次の動き補償のためのリファレンス画像として再度、動き補償予測器１６に入力される。動き補償予測器１６は、ＶＬＤされたマクロブロックごとの動きベクトルを基に画像メモリ２０にメモリされた画像を動き補償して、次の逆ＤＣＴされた差分画像データに加算器１９にて加算される画像を計算する。
【００６１】
減算回路１はＩピクチャの場合には減算操作をすることなく、入力データをそのままＤＣＴ器３へ伝送する。Ｐピクチャの場合には、ＶＬＤ器１３からの動きベクトルをもとに動き補償予測器２で動き補償予測が行われ、減算回路１で動き補償予測器２からの予測画像との差分が計算される。
【００６２】
減算回路１からの差分画像データはＤＣＴ器３においてＤＣＴが行われる。ＤＣＴ係数は量子化器４で量子化され、動きベクトルや符号化モードとともにＶＬＣ器９で可変長符号化（ＶＬＣ）後、ＩＰ側に接続されているＳＷ２９を経由してバッファ３０に供給されて蓄積された後、ＭＰＥＧビデオストリームとして出力される。
【００６３】
符号量制御器２３はバッファ３０の充足度（蓄積符号量）を符号量カウンタ２２を通して監視して、基本的にはバッファ３０の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように量子化器４の量子化幅を制御する。
【００６４】
また、Ｉピクチャ、Ｐピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化された情報は逆量子化器５、逆ＤＣＴ器６および動き補償予測器２により、逆量子化、逆ＤＣＴ、動き補償予測されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ８に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【００６５】
次に、Ｉピクチャ、Ｐピクチャ及びＢピクチャの各ピクチャ共通の符号量制御の方法について説明する。符号化されたデータは一時バッファ３０に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２３に出力され、目標符号量に対する発生符号量との差分を量子化器４にフィードバックして符号量制御される。例えば、短区間を１ＧＯＰとすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【００６６】
すなわち、まず、各ＧＯＰのレート変換後の目標符号量をＲとすると、ＧＯＰの各ピクチャに対する割り当て符号量を、ステップＳ１では、前述した第１の実施の形態でのステップＳ１と同様に、ＧＯＰ内でまだ符号化していないピクチャに対してある重みをつけて配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、前述した第１の実施の形態のステップＳ１での動作と同じ符号量割り当て動作を行う。また、ＧＯＰ内で符号化が進むごとにＲは次のように更新する。
Ｒ＝Ｒ−Ｓi,p,b
【００６７】
次に、ステップＳ２では、ステップＳ１で求めた各ピクチャに対する割り当て符号量Ｔｉ、Ｔｐ及びＴｂと、実際の発生符号量とを一致させるため、まず、ｊ番目のマクロブロックの符号化に先立ち、仮想バッファの占有量ｄｊｉ、ｄｊｐ及びｄｊｂを、第１の実施の形態で前述したｄｊｉ、ｄｊｐ、ｄｊｂの式と同じ式により求めた後、ｊ番目のマクロブロックに対する量子化スケールＱを次式により求める。
【００６８】
Ｑ＝ｄｊ×３１／ｒ （ｐｒｅｖＱ≦Ｑ≦３１）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、ｒはフィードバックの応答速度を決定するパラメータ、ｐｒｅｖＱは、レート変換前のマクロブロックで使用されていた量子化スケールである。このようにして、符号量制御を行うことが可能になる。
【００６９】
本実施の形態によれば、ＩピクチャとＰピクチャのデータに対しては、局部復号することで次の予測画像の参照データとして再符号化し、Ｂピクチャに関しては再量子化器２８により直接再符号化するようにしたため、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて再生画像に顕著に発生することを防止できる。
【００７０】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１及び図２において、量子化器４の出力信号を逆量子化器５に供給するのではなく、ＶＬＣ器９の出力側に逆ＶＬＣ器を設け、その逆ＶＬＣ器からの信号を逆量子化器５に供給するように構成してもよい。従って、この場合は、レート変換のためのＶＬＣ後のデータが局部復号されることになる。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、ＩピクチャデータとＰピクチャデータに関しては、ＭＰＥＧ規定の復号してから、その復号データに対するレート変換のための量子化後、若しくはＶＬＣ後のデータを局部復号することで次の予測画像の参照データとして再符号化をし、Ｂピクチャに関しては直接再符号化するようにしたので、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決し、レート変換後の再生画像の品質を向上することができる。
【００７２】
また、本発明によれば、従来の再圧縮の方式のように、復号化、符号化が同時に行える処理能力を必要としないため、一度復号化したデータを蓄積するための余分なメモリ追加が必要なくなり、コスト低減ができる。
【図面の簡単な説明】
【図１】本発明のレート変換装置の第１の実施の形態のブロック図である。
【図２】本発明のレート変換装置の第２の実施の形態のブロック図である。
【図３】ＤＣＴ係数のイントラＭＢのスキャン方法を説明する説明図である。
【図４】ＤＣＴ係数のノンイントラＭＢのスキャン方法を説明する説明図である。
【図５】ＤＣＴ係数の発生例を示す説明図である。
【図６】ＭＰＥＧ符号化器の一例のブロック図である。
【図７】ＭＰＥＧ復号化器の一例のブロック図である。
【符号の説明】
１ 減算回路
２、１６、３８ 動き補償予測器
３ ＤＣＴ器
４ 量子化器
５、１７、３４ 逆量子化器
６、１８、３５ 逆ＤＣＴ器
７、１９、３６ 加算器
８、２０、３７ 画像メモリ
９ ＶＬＣ器
１０、２５、３０、３２ バッファ
１１、２３ 符号量制御器
１３、３３ ＶＬＤ器
１４ ピクチャタイプ検出器
１５、２４、２９ スイッチ回路（ＳＷ）
２１ ＡＣ符号削減器
２２ 符号量カウンタ
２８ 再量子化器
【発明の属する技術分野】
本発明はデータレート変換装置に係り、特にデータレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止するデータレート変換装置に関する。
【０００２】
【従来の技術】
今日、コンピュータ、放送メディア、通信メディア及び蓄積メディアにおいて、ディジタル技術が盛んに用いられている。これらの情報インフラにおいて最も重要な役割を果たすのが、ＭＰＥＧ（Moving Picture Experts Group）であり、これについて簡単に説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称の略称である。
【０００３】
ＭＰＥＧにはＭＰＥＧ１、ＭＰＥＧ２その他の規格がある。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は、１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、サービス統合ディジタル網（ＩＳＤＮ）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。また、ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８、Ｈ．２６２として成立している。
【０００４】
ＭＰＥＧの符号化部分は幾つかの技術を組み合わせて作成されている。図６はＭＰＥＧによる画像圧縮符号化装置の一例のブロック図を示す。同図において、入力画像は動き補償予測器２で復号化され、この動き補償予測画像と入力画像の差分を減算回路１でとることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。
【０００５】
ピクチャタイプはＰピクチャとＢピクチャとＩピクチャがある。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャである。そして全てのＭＢが独立で符号化するのがＩピクチャである。
【０００６】
動き補償（ＭＣ：Motion Compensation）は、動き領域をＭＢ毎にパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣモードと共に、ＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【０００７】
減算回路１より取り出された差分画像信号は、ＤＣＴ器３において直交変換が行われる。離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【０００８】
ＤＣＴされた画像データ（ＤＣＴ係数）は、量子化器４で量子化が行われる。この量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【０００９】
量子化されたデータはＶＬＣ器９で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化の一つであるＤＰＣＭ（Differential Pulse Code Modulation）を使用する。また交流（ＡＣ）成分は低域から高域にジクザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時バッファ１０に蓄えられ、所定の転送レートで符号化データとして出力される。
【００１０】
また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器１１に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器５にて逆量子化、逆ＤＣＴ器６にて逆ＤＣＴされた後、加算器７を通して画像メモリ８に一時蓄えられたのち、動き補償予測器２において、差分画像を計算するためのリファレンスの復号化画像として使用される。動き補償予測器２の出力信号は減算回路１と加算器７に入力される。
【００１１】
バッファ１０より出力される符号化ビットストリームは、ビデオの場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性がある。動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【００１２】
この場合、多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。このバッファの制限は、復号装置側のバッファがオーバーフローもアンダーフローも発生しないように符号化することであり、ＭＰＥＧでＶＢＶ（Video Buffering Verifier）として規定されている。これについての詳細は国際標準化機構（ＩＳＯ）によりＩＳＯ−１１１７２−２、ＩＳＯ１３８１８−２に記述されている。この規定を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定転送レートであると定義する。
【００１３】
図７はＭＰＥＧにより圧縮符号化された符号化データの復号化装置の一例のブロック図を示す。同図において、ＭＰＥＧにより圧縮符号化された符号化データは、バッファ３２を通してＶＬＤ器３３に入力され、ここで可変長復号されてから逆量子化器３４で量子化幅と乗算されることにより、元のＤＣＴ係数に近似した値とされた後、逆ＤＣＴ器３５に供給されて逆ＤＣＴされることにより局部復号化される。
【００１４】
また、ＶＬＤ器３３より取り出された動きベクトルと予測モードは、動き補償予測器３８に画像メモリ３７よりの復号化データと共に供給され、これより動き補償予測化した画像データを出力させる。加算器３６は逆ＤＣＴ器３５からのデータと動き補償予測器３８よりの動き補償予測化した画像データとを加算することにより、符号化装置に入力された画像データと等価な画像データを復号し、復号化データとして画像メモリ３７に供給する一方、外部へ出力する。
【００１５】
このようなＭＰＥＧシステムでは、例えば映像ソース（ディジタル放送その他）からの高符号化レートの符号化データを、限られた容量の記録媒体に記録する場合や、画質を多少劣化させても、番組圧縮データの更なる圧縮を希望する場合や、圧縮符号化データを編集して繋げる場合に、どうしてもＶＢＶバッファ占有値をビットストリーム上で調節したいような場合、入力時よりも低符号化レートにレート変換することが行われる。
【００１６】
従来の符号化や復号化技術を用いて、圧縮符号化レートを変換するには、一度、元の圧縮符号化データを復号化して画像データを得て画像メモリに展開し、その画像データを再度、所望のレートで符号化し直す再圧縮を施すことが考えられる。
【００１７】
また、従来のデータレート変換装置の中には、元の圧縮符号化データを復号化せずに、ＤＣＴ係数までの復号を行って、そのＤＣＴ係数領域でＡＣ係数の高域成分を削減する、もしくは量子化スケールを大きく設定し直してＡＣ係数を変換する装置も知られている（特開平８−２５１５８７号公報）。
【００１８】
【発明が解決しようとする課題】
しかるに、上記の再圧縮を行う従来のデータレート変換装置では、復号化、符号化が同時に行える処理能力を必要とし、一度復号化したデータを画像メモリに展開しなければならないため、余分なメモリの追加が必要となる。
【００１９】
また、特開平８−２５１５８７号公報記載の従来のデータレート変換装置においては、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、Ｑ（量子化）スケールを変更すると、本来、元の符号化ピクチャを作成するときに、動き補償の参照ピクチャとして使用していた過去のＩピクチャやＰピクチャの画質が変更されていることになり、予測残差成分に誤差が発生する。その誤差は、ＭＰＥＧ特有のＩピクチャから始まり数枚のＰピクチャへの順方向予測で、巡回して予測していく途中で蓄積され、その誤差蓄積が再生画像に顕著な画質劣化をもたらすことがある。
【００２０】
本発明は以上の点に鑑みなされたもので、データレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止し得るデータレート変換装置を提供することを目的とする。
【００２１】
また、本発明の他の目的は、メモリの追加をすることなく、データレートを好適に変換し得るデータレート変換装置を提供することにある。
【００２２】
【課題を解決するための手段】
本発明は上記の目的を達成するため、入力符号化データであるＭＰＥＧの可変長符号を復号すると共に、ＡＣ符号とその符号長を示すＡＣ符号のＶＬＣコードと動きベクトルとを出力する可変長復号手段と、入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子へ入力信号を出力し、Ｂピクチャの場合は第２の端子へ入力信号を出力する選択動作を行う第１のスイッチ手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子の入力信号を選択して出力し、Ｂピクチャの場合は第２の端子の入力信号を選択して出力する第２のスイッチ手段と、第２のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＢピクチャとＶＬＣコードが入力信号として入力され、その入力Ｂピクチャに対して、量子化スケールをそのままにしてＡＣ符号であるＶＬＣコード化されたＡＣ係数部分に対応するＶＬＣコードを削減する再符号化を行って、第２のスイッチ手段の第２の端子に入力する再符号化手段と、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＩピクチャ又はＰピクチャと動きベクトルとが入力信号として入力され、その入力信号に対してＭＰＥＧ規定の復号化動作を行って復号データを得る復号手段と、量子化器を含み、復号手段から出力された復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得て、第２のスイッチ手段の第１の端子に入力する符号化手段と、ＭＰＥＧに規定されたＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量が、一つ前のＧＯＰの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められたＧＯＰの目標符号量内で配分されており、再符号化手段による再符号化又は符号化手段による符号化によってマクロブロック単位に発生し、第２のスイッチ手段を経由してバッファに蓄積されるＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャの合計の発生符号量と、ＧＯＰの目標符号量とのマクロブロック単位毎の差分に応じて、ＧＯＰ内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内でＧＯＰ内のまだ符号化されていないＩピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量を画面の複雑さを示すパラメータと目標レートとを用いて決定し、Ｉピクチャ又はＰピクチャ検出時は、決定したＩピクチャ、Ｐピクチャの割り当て符号量に応じて符号化手段の量子化器の量子化幅を制御し、Ｂピクチャ検出時は再符号化手段により入力信号のＡＣ符号を削減させる符号量制御手段とを有する構成としたものである。
【００２３】
この発明では、入力符号化データのＢピクチャに対しては直接に再符号化手段によりＡＣ符号の削減を行い、ＩピクチャとＰピクチャに対しては復号した後、再度符号化するようにしたため、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することがない。また、Ｉピクチャ又はＰピクチャに対しては、ＭＰＥＧ規定の復号化動作を行って復号データを得た後、その復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得るようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【００２４】
また、本発明は上記の目的を達成するため、上記の発明における再符号化手段を、第１のスイッチ手段により選択され、可変長復号手段により可変長復号されたＢピクチャとＡＣ係数とが入力信号として入力され、その入力Ｂピクチャに対して、可変長復号手段の入力符号化データを量子化した際に用いられている量子化スケール以上の値に変更された量子化スケールで再量子化を行うことにより、ＡＣ係数を削減する再符号化を行って、第２のスイッチ手段の第２の端子に入力する構成としたことを特徴とする。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になるデータレート変換装置の第１の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付してある。図１に示す第１の実施の形態では、Ｂピクチャの符号量変換をＡＣ符号削減器２１で行う点に特徴がある。
【００２６】
入力符号化データは、まずＶＬＤ器１３に入力される。ＶＬＤ器１３は可変長符号デコーダ（Variable Length Code Decoder）といって、ＭＰＥＧ方式により圧縮符号化された可変長符号を復号する部分である。このＶＬＤ器１３は、入力符号化データ、すなわち、可変長符号を復号するとともに、ピクチャのタイプをピクチャタイプ検出器１４に供給する。
【００２７】
ピクチャタイプ検出器１４では、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているかを検出し、その検出信号をスイッチ回路（ＳＷ）１５及び２４へそれぞれ供給し、それらをスイッチング制御する。すなわち、ピクチャタイプがＩピクチャもしくはＰピクチャの場合、ＳＷ１５及び２４は図中、ＩＰの方へ切り替えられ、Ｂピクチャの場合には図中、Ｂの方へ切り替えられる。
【００２８】
まず、Ｂピクチャが検出されて、ＳＷ１５及び２４がＢ側に切り替えられたときの動作を説明する。この場合、ＶＬＤ器１３で復号されたＢピクチャのデータは、ＳＷ１５を経由してＡＣ符号削減器２１に入力される。ＡＣ符号削減器２１では、符号量制御器２３によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャあたりの目標符号量になるようＡＣ符号（ＶＬＣコード化されたＡＣ係数部分に対応するＶＬＣコードで、以下、ＡＣ係数符号ともいう）を削減する。
【００２９】
各ピクチャのマクロブロックのＡＣ符号コードは表１に示したＭＰＥＧで規定されたハフマン符号（ＶＬＣコード）で符号化されている。なお、表１中、符号長はＡＣ係数のハフマン符号（ＶＬＣコード）の符号長を示す。
【００３０】
【表１】
【００３１】
すなわち、これらを展開したとすると、図３のイントラの場合と、図４に示すノンイントラの場合では、左上にくるＤＣ符号コードの存在、非存在の違いがある。ＶＬＤ器１３ではこのようにＡＣ係数の”０ランレングスと有効係数”事象とその符号長を検出して、図３、図４に示すようなＡＣ係数符号の送られてくる順番、すなわち、低域の信号から並べたときの、その符号長の累積符号量と、ジグザグスキャンした場合の係数位置を示すアドレスを計算して、その情報をＶＬＤ情報として、符号化データと共にＡＣ符号削減器２１に供給する。
【００３２】
ＡＣ符号削減器２１ではＶＬＤ器１３からの符号化データとＶＬＤ情報、符号量制御器２３からの目標符号量ＴｂをもとにＡＣ係数符号を削減する。ＶＬＤ情報は、ＡＣ係数符号とその符号長を含んでいる。図５に示すように、ＡＣ係数符号の低域の信号から並べて、その符号長の累積符号量のトータル符号量２７８ビットに対し、元の符号化ピクチャデータと目標符号量との概略の比率（１−削除率Ｒｃ）を乗じた値までを有効として、それ以降の符号は削除する。削除後のＡＣ符号にＥＯＢ（END OF BLOCK）コードを送信する。
【００３３】
従って、例えば、Ｒｃ＝０.５の場合、元の符号化ピクチャデータの累積符号長が、トータル符号量である２７８ビットに０.５（＝１−０．５）を乗じた値１３９ビットに達するまでのＡＣ係数のＶＬＣコードはそのままとし、それ以降のＶＬＣコードを削除することとなり、この場合、表１のアドレス１４以降のＶＬＣコードが削除される（値が０とされる）。なお、図５の数値は、ＡＣ係数の値を示す。
【００３４】
このようにして、ＡＣ符号削減器２１において、全部のブロックについて処理された符号化データは、ＳＷ２４がＢ側に切り替えられているときに、ＳＷ２４を通して１ピクチャ分バッファ２５に供給されて蓄積される。
【００３５】
バッファ２５は発生符号量を符号量カウンタ２２に供給する。符号量カウンタ２２は発生符号量を１ピクチャ毎にカウントしているので、符号量制御器２３で制御される削除の割合は、１ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【００３６】
次に、Ｉピクチャ又はＰビクチャがピクチャタイプ検出器１４で検出されて、ＳＷ１５及び２４がＩＰ側に切り替えられたときの動作を説明する。この場合、ＶＬＤ器１３で復号されたＩピクチャ又はＰピクチャのデータは、ＳＷ１５を経由して逆量子化器１７に供給され、逆量子化が行われる。逆量子化されたデータは逆ＤＣＴ器１８にて、逆ＤＣＴされる。逆ＤＣＴにより得られた差分画像データは、動き補償予測器１６からの一つ前の動き補償後の画像データに加算器１９で加算され、減算回路１へ供給される。
【００３７】
また、同時に加算器１９により加算された後の画像データは、画像メモリ２０に供給されて蓄積され、次の動き補償のためのリファレンス画像（参照画像）として再度、動き補償予測器１６に入力される。動き補償予測器１６では、ＶＬＤされたマクロブロック毎の動きベクトルをもとに画像メモリ２０に蓄積された画像データを動き補償して、次の、逆ＤＣＴされた差分画像データに加算器１９にて加算される画像を計算する。
【００３８】
減算回路１ではＩピクチャの場合には減算操作をすることなく、入力画像データをそのままＤＣＴ器３へ供給する。Ｐピクチャの場合には、ＶＬＤ器１３からの動きベクトルをもとに動き補償予測器２で動き補償予測が行われ、減算回路１で予測画像との差分が計算される。差分画像データはＤＣＴ器３においてＤＣＴが行われてＤＣＴ係数とされる。
【００３９】
このＤＣＴ係数は量子化器４で量子化され、動きベクトルや符号化モードとともにＶＬＣ器９で可変長符号化（ＶＬＣ）後、ＳＷ２４を通してバッファ２５に供給されて一旦、蓄積され、これよりレート変換されたＭＰＥＧビデオストリームとして出力される。
【００４０】
このとき、符号量制御器２３はバッファ２５の充足度（蓄積符号量）を符号量カウンタ２２の値から監視して、基本的にはバッファ２５の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように、量子化器４の量子化幅を制御する。
【００４１】
また、Ｉピクチャ及びＰピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化器４で量子化された情報は逆量子化器５、逆ＤＣＴ器６及び動き補償予測器２により、逆量子化、逆ＤＣＴ、動き補償されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ８に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【００４２】
このように、本実施の形態では、ＩピクチャとＰピクチャは、バッファ２５の充足度（蓄積符号量）に応じてステップ幅が制御される量子化器４の出力信号を局部復号して参照画像として用い、一方、Ｂピクチャは直接にＡＣ符号を削除することにより、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決できる。
【００４３】
また、逆量子化器１７から加算器１９までの回路部でＭＰＥＧ規定の復号化を行ってから、減算回路１からＶＬＣ器９までの回路部でＭＰＥＧ規定の符号化をするようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【００４４】
次に、符号量制御の方法について説明する。符号化されたデータは一時バッファ２５に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量カウンタ２２を通して符号量制御器２３に供給され、目標符号量に対する発生符号量との差分を量子化器４にフィードバックして符号量制御する。例えば、短区間を１ＧＯＰ（Group of Picture）とすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【００４５】
（ａ）ステップＳ１
まず、各ＧＯＰのレート変換後の目標符号量をＲとすると、ステップＳ１ではＧＯＰの各ピクチャに対する割り当て符号量を、ＧＯＰ内でまだ符号化していないピクチャに対してある重みをつけて配分する。
Xi＝Si×Qi Xp＝Sp×Qp Xb＝Sb×Qb
ここで、Ｘはグローバル・コンプレキシティ・メジャー（global complexity measure）と呼ばれ、一つ前の同ピクチャタイプの符号化結果のＳ（発生符号量）とＱ（平均量子化スケール）の積で定義される、画面の複雑さを示すパラメータである。
【００４６】
また、理想的な画質を達成する量子化スケールは、Ｉピクチャを基準とした場合のＰピクチャとの比率はＫｐ＝１．０、Ｂピクチャとの比率はＫｂ＝１．４と仮定する。ここで、ＧＯＰ中のＩピクチャ、Ｐピクチャ及びＢピクチャに対する割り当て符号量Ｔｉ、Ｔｐ及びＴｂは次式で表される。
Ti＝MAX{R/(1＋(NpXp/XiKp)＋NbXb/XiKb)}、bit_rate/(8*picture_rate)}
Tp＝MAX{R/(Np＋(NbKpXb/KbXp))、bit_rate/(8*picture_rate)}
Tb＝MAX{R/(Nb＋(NpKbXp/KbXb))、bit_rate/(8*picture_rate)}
ただし、上式中、Ｎｐ、ＮｂはＧＯＰ内のＰやＢの未符号化ピクチャ枚数である。Ｒの初期値はそのＧＯＰに与えられた符号量である。また、bit_rateは目標レートである。
【００４７】
このようにして求めた割り当て符号量をもとにして、各ピクチャを符号化する毎に、ＧＯＰ内のまだ符号化されていないピクチャに対して割り当てられる目標符号量Ｒは次のように更新される。
Ｒ＝Ｒ−Ｓi,p,b
【００４８】
（ｂ）ステップＳ２
ステップＳ２ではステップＳ１で割り当てられた各ピクチャの符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符号量を一致させるため、マクロブロック（ＭＢ）毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を量子化スケールにＭＢ単位でフィードバックする。ここで、ｊ番目のＭＢの符号化に先立ち、Ｉ、Ｐ及びＢピクチャの各先頭からｊ番目における各仮想バッファの占有量ｄｊｉ、ｄｊｐ及びｄｊｂをそれぞれ次式により求める。
【００４９】
ｄji＝d0i＋Bj −１−(Ti・(j−１)/MB_cnt)
ｄjp＝d0p＋Bj −１−(Tp・(j−１)/MB_cnt)
ｄjb＝d0b＋Bj −１−(Tb・(j−１)/MB_cnt)
ただし、上式中、ｄ０ｉ、ｄ０ｐ、ｄ０ｂはＩ、Ｐ、Ｂピクチャの各仮想バッファの初期占有量、Ｂｊは符号量カウンタ２２でカウントされた各ピクチャの先頭からｊ番目のＭＢまでの発生符号量、ＭＢ＿ｃｎｔは１ピクチャ内のＭＢ数である。
【００５０】
また、Ｉ及びＰピクチャの量子化スケールＱは次式により求める。
Ｑ＝ｄｊ×３１／ｒ （１≦Ｑ≦３１）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、ｒはフィードバックの応答速度を決定するパラメータである。このようにして、符号量制御を行うことが可能となる。
【００５１】
なお、Ｂピクチャの場合には、符号量制御はＡＣ係数のＶＬＣコードを削減することで行うこととしているので、量子化スケールは固定とし、前述したＡＣ係数削除により符号量を制御するが、Ｂピクチャにおいても、以下のような式で符号量制御することが可能である。
【００５２】
Ｒｃ＝ｄｊ×０．９／ｒ （０．１≦Ｑ・Ｒｃ≦０．９）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、Ｒｃは削減率である。このようにして符号量制御を行うことが可能となる。また、ここでは、Ｒｃをｄｊのバッファでフィードバックするように示したが、Ｒｃは固定でＡＣ係数削減を行ってもよい。
【００５３】
次に、本発明の第２の実施の形態について説明する。図２は本発明になるビットレート変換装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、入力符号化データは、まずＶＬＤ器１３に入力され、ここで可変長符号が復号されるとともに、ピクチャのタイプがピクチャタイプ検出器１４に供給されて、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているか検出される。
【００５４】
第１の実施の形態と同様に、ピクチャタイプがＩピクチャもしくはＰピクチャの場合、ＳＷ１５及び２９はＩＰ側へ切り替えられる。Ｂピクチャの場合にはＢ側へ切り替えられる。
【００５５】
まず、ＢピクチャヘＳＷ１５及び２９を切り替えたときの説明をする。ＶＬＤ器１３で復号されたＢピクチャのデータは、ＳＷ１５を経由して再量子化器２８に入力される。再量子化器２８は、符号量制御器２３によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャ当たりの目標符号量になるよう、量子化スケールを制御する。その場合、元の符号化データに記述されている対象のＢピクチャの各マクロブロックごとの量子化スケールに比較して、その量子化スケール以上の値で量子化するようにする。
【００５６】
すなわち、符号量カウンタ２２によるバッファ３０からの符号量カウンタ値を基に、レート変換する前の元のピクチャ全体の符号量より小さい値を目標符号量とするために、基本的には量子化スケールは大きい方向へ制御されるはずであるが、局所的にバッファ３０のフィードバック制御状態によっては、元の量子化スケールより小さい値になる可能性がある。その場合、画像の品質は元の画質より向上することはないので、再量子化器２８で再量子化をする場合に制御される量子化スケールは、元の量子化スケールに対してリミッタをかけて、元の量子化スケール以上の値で量子化するように変更し、これにより量子化スケールが無駄に小さい値をとることで、画質向上につながらない符号量増加を防止する。
【００５７】
再量子化器２８ではＶＬＤ器１３からのＢビクチャの符号化データとＶＬＤ情報、符号量制御器２３からの目標符号量Ｔｂを基に、量子化スケールを上記のように制御する。符号量制御の方法は次に述べるＩピクチャ及びＰピクチャの場合と同じアルゴリズムを用いればよい。
【００５８】
このようにして、再量子化器２８で全部のブロックを再量子化処理されて得られた符号化データは、Ｂ側に接続されているＳＷ２９を経由して１ピクチャ分バッファ３０に供給されて蓄積される。バッファ３０は発生符号量を符号量カウンタ２２に供給する。符号量カウンタ２２は前述したように、発生符号量を１ピクチャ毎にカウントしているので、符号量制御器２３で制御される削除の割合は、１ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【００５９】
次に、ピクチャタイプ検出器１４でピクチャタイプがＩピクチャもしくはＰピクチャとして検出された場合の動作について説明する。ＶＬＤ器１３により復号されたＩピクチャ又はＰピクチャの符号化データは、ＩＰ側に接続されているＳＷ１５を通して逆量子化器１７に供給され、ここで逆量子化が行われる。逆量子化されたデータは、逆ＤＣＴ器１８にて逆ＤＣＴされた後、加算器１９に供給され、ここで動き補償予測器１６からの一つ前の動き補償後の画像データと加算され、減算回路１へ供給される。
【００６０】
また、同時に、加算器１９からの画像データは画像メモリ２０に供給されて蓄積され、次の動き補償のためのリファレンス画像として再度、動き補償予測器１６に入力される。動き補償予測器１６は、ＶＬＤされたマクロブロックごとの動きベクトルを基に画像メモリ２０にメモリされた画像を動き補償して、次の逆ＤＣＴされた差分画像データに加算器１９にて加算される画像を計算する。
【００６１】
減算回路１はＩピクチャの場合には減算操作をすることなく、入力データをそのままＤＣＴ器３へ伝送する。Ｐピクチャの場合には、ＶＬＤ器１３からの動きベクトルをもとに動き補償予測器２で動き補償予測が行われ、減算回路１で動き補償予測器２からの予測画像との差分が計算される。
【００６２】
減算回路１からの差分画像データはＤＣＴ器３においてＤＣＴが行われる。ＤＣＴ係数は量子化器４で量子化され、動きベクトルや符号化モードとともにＶＬＣ器９で可変長符号化（ＶＬＣ）後、ＩＰ側に接続されているＳＷ２９を経由してバッファ３０に供給されて蓄積された後、ＭＰＥＧビデオストリームとして出力される。
【００６３】
符号量制御器２３はバッファ３０の充足度（蓄積符号量）を符号量カウンタ２２を通して監視して、基本的にはバッファ３０の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように量子化器４の量子化幅を制御する。
【００６４】
また、Ｉピクチャ、Ｐピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化された情報は逆量子化器５、逆ＤＣＴ器６および動き補償予測器２により、逆量子化、逆ＤＣＴ、動き補償予測されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ８に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【００６５】
次に、Ｉピクチャ、Ｐピクチャ及びＢピクチャの各ピクチャ共通の符号量制御の方法について説明する。符号化されたデータは一時バッファ３０に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２３に出力され、目標符号量に対する発生符号量との差分を量子化器４にフィードバックして符号量制御される。例えば、短区間を１ＧＯＰとすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【００６６】
すなわち、まず、各ＧＯＰのレート変換後の目標符号量をＲとすると、ＧＯＰの各ピクチャに対する割り当て符号量を、ステップＳ１では、前述した第１の実施の形態でのステップＳ１と同様に、ＧＯＰ内でまだ符号化していないピクチャに対してある重みをつけて配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、前述した第１の実施の形態のステップＳ１での動作と同じ符号量割り当て動作を行う。また、ＧＯＰ内で符号化が進むごとにＲは次のように更新する。
Ｒ＝Ｒ−Ｓi,p,b
【００６７】
次に、ステップＳ２では、ステップＳ１で求めた各ピクチャに対する割り当て符号量Ｔｉ、Ｔｐ及びＴｂと、実際の発生符号量とを一致させるため、まず、ｊ番目のマクロブロックの符号化に先立ち、仮想バッファの占有量ｄｊｉ、ｄｊｐ及びｄｊｂを、第１の実施の形態で前述したｄｊｉ、ｄｊｐ、ｄｊｂの式と同じ式により求めた後、ｊ番目のマクロブロックに対する量子化スケールＱを次式により求める。
【００６８】
Ｑ＝ｄｊ×３１／ｒ （ｐｒｅｖＱ≦Ｑ≦３１）
ｒ＝２×bit_rate／picture_rate
ただし、上式中、ｒはフィードバックの応答速度を決定するパラメータ、ｐｒｅｖＱは、レート変換前のマクロブロックで使用されていた量子化スケールである。このようにして、符号量制御を行うことが可能になる。
【００６９】
本実施の形態によれば、ＩピクチャとＰピクチャのデータに対しては、局部復号することで次の予測画像の参照データとして再符号化し、Ｂピクチャに関しては再量子化器２８により直接再符号化するようにしたため、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて再生画像に顕著に発生することを防止できる。
【００７０】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１及び図２において、量子化器４の出力信号を逆量子化器５に供給するのではなく、ＶＬＣ器９の出力側に逆ＶＬＣ器を設け、その逆ＶＬＣ器からの信号を逆量子化器５に供給するように構成してもよい。従って、この場合は、レート変換のためのＶＬＣ後のデータが局部復号されることになる。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、ＩピクチャデータとＰピクチャデータに関しては、ＭＰＥＧ規定の復号してから、その復号データに対するレート変換のための量子化後、若しくはＶＬＣ後のデータを局部復号することで次の予測画像の参照データとして再符号化をし、Ｂピクチャに関しては直接再符号化するようにしたので、ＩピクチャやＰピクチャにおいてＡＣ係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決し、レート変換後の再生画像の品質を向上することができる。
【００７２】
また、本発明によれば、従来の再圧縮の方式のように、復号化、符号化が同時に行える処理能力を必要としないため、一度復号化したデータを蓄積するための余分なメモリ追加が必要なくなり、コスト低減ができる。
【図面の簡単な説明】
【図１】本発明のレート変換装置の第１の実施の形態のブロック図である。
【図２】本発明のレート変換装置の第２の実施の形態のブロック図である。
【図３】ＤＣＴ係数のイントラＭＢのスキャン方法を説明する説明図である。
【図４】ＤＣＴ係数のノンイントラＭＢのスキャン方法を説明する説明図である。
【図５】ＤＣＴ係数の発生例を示す説明図である。
【図６】ＭＰＥＧ符号化器の一例のブロック図である。
【図７】ＭＰＥＧ復号化器の一例のブロック図である。
【符号の説明】
１ 減算回路
２、１６、３８ 動き補償予測器
３ ＤＣＴ器
４ 量子化器
５、１７、３４ 逆量子化器
６、１８、３５ 逆ＤＣＴ器
７、１９、３６ 加算器
８、２０、３７ 画像メモリ
９ ＶＬＣ器
１０、２５、３０、３２ バッファ
１１、２３ 符号量制御器
１３、３３ ＶＬＤ器
１４ ピクチャタイプ検出器
１５、２４、２９ スイッチ回路（ＳＷ）
２１ ＡＣ符号削減器
２２ 符号量カウンタ
２８ 再量子化器
Claims (2)
- 入力符号化データであるＭＰＥＧの可変長符号を復号すると共に、ＶＬＣコードと動きベクトルとを出力する可変長復号手段と、
前記入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子へ入力信号を出力し、Ｂピクチャの場合は第２の端子へ入力信号を出力する選択動作を行う第１のスイッチ手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子の入力信号を選択して出力し、Ｂピクチャの場合は第２の端子の入力信号を選択して出力する第２のスイッチ手段と、
前記第２のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、
前記第１のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたＢピクチャと前記ＶＬＣコードが入力信号として入力され、その入力Ｂピクチャに対して、量子化スケールをそのままにしてＡＣ符号であるＶＬＣコード化されたＡＣ係数部分に対応するＶＬＣコードを削減する再符号化を行って、前記第２のスイッチ手段の第２の端子に入力する再符号化手段と、
前記第１のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたＩピクチャ又はＰピクチャと前記動きベクトルとが入力信号として入力され、その入力信号に対してＭＰＥＧ規定の復号化動作を行って復号データを得る復号手段と、
量子化器を含み、前記復号手段から出力された復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得て、前記第２のスイッチ手段の第１の端子に入力する符号化手段と、
前記ＭＰＥＧに規定されたＧＯＰ内の前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量が、一つ前のＧＯＰの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められた前記ＧＯＰの目標符号量内で配分されており、前記再符号化手段による再符号化又は前記符号化手段による符号化によってマクロブロック単位に発生し、前記第２のスイッチ手段を経由して前記バッファに蓄積される前記ＧＯＰ内の前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャの合計の発生符号量と、前記ＧＯＰの目標符号量との前記マクロブロック単位毎の差分に応じて、前記ＧＯＰ内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内で前記ＧＯＰ内のまだ符号化されていない前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量を前記画面の複雑さを示すパラメータと前記目標レートとを用いて決定し、前記Ｉピクチャ又はＰピクチャ検出時は、決定した前記Ｉピクチャ、Ｐピクチャの割り当て符号量に応じて前記符号化手段の前記量子化器の量子化幅を制御し、前記Ｂピクチャ検出時は前記再符号化手段により入力信号のＡＣ符号を削減させる符号量制御手段と
を有することを特徴とするデータレート変換装置。 - 入力符号化データであるＭＰＥＧの可変長符号を復号すると共に、ＡＣ係数と動きベクトルとを出力する可変長復号手段と、
前記入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子へ入力信号を出力し、Ｂピクチャの場合は第２の端子へ入力信号を出力する選択動作を行う第１のスイッチ手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがＩピクチャもしくはＰピクチャの場合は第１の端子の入力信号を選択して出力し、Ｂピクチャの場合は第２の端子の入力信号を選択して出力する第２のスイッチ手段と、
前記第２のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、
前記第１のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたＢピクチャと前記ＡＣ係数とが入力信号として入力され、その入力Ｂピクチャに対して、前記可変長復号手段の入力符号化データを量子化した際に用いられている量子化スケール以上の値に変更された量子化スケールで再量子化を行うことにより、前記ＡＣ係数を削減する再符号化を行って、前記第２のスイッチ手段の第２の端子に入力する再符号化手段と、
前記第１のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたＩピクチャ又はＰピクチャと前記動きベクトルとが入力信号として入力され、その入力信号に対してＭＰＥＧ規定の復号化動作を行って復号データを得る復号手段と、
量子化器を含み、前記復号手段から出力された復号データに対してＭＰＥＧ規定の符号化を行って符号化データを得て、前記第２のスイッチ手段の第１の端子に入力する符号化手段と、
前記ＭＰＥＧに規定されたＧＯＰ内の前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量が、一つ前のＧＯＰの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められた前記ＧＯＰの目標符号量内で配分されており、前記再符号化手段による再符号化又は前記符号化手段による符号化によってマクロブロック単位に発生し、前記第２のスイッチ手段を経由して前記バッファに蓄積される前記ＧＯＰ内の前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャの合計の発生符号量と、前記ＧＯＰの目標符号量との前記マクロブロック単位毎の差分に応じて、前記ＧＯＰ内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内で前記ＧＯＰ内のまだ符号化されていない前記Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対する各割り当て符号量を前記画面の複雑さを示すパラメータと前記目標レートとを用いて決定し、前記Ｉピクチャ又はＰピクチャ検出時は、決定した前記Ｉピクチャ、Ｐピクチャの割り当て符号量に応じて前記符号化手段の前記量子化器の量子化幅を制御し、前記Ｂピクチャ検出時は前記再符号化手段により入力信号の前記ＡＣ係数を削減させる符号量制御手段と
を有することを特徴とするデータレート変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001028929A JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001028929A JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232894A JP2002232894A (ja) | 2002-08-16 |
| JP3800965B2 true JP3800965B2 (ja) | 2006-07-26 |
Family
ID=18893339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001028929A Expired - Lifetime JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3800965B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
| JP4798652B2 (ja) * | 2005-11-11 | 2011-10-19 | Ｋｄｄｉ株式会社 | 動画像のレート変換装置 |
| JP2008244993A (ja) * | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | トランスコーディングのための装置および方法 |
| JP5256803B2 (ja) | 2008-03-19 | 2013-08-07 | 株式会社メガチップス | トランスコーダ |
-
2001
- 2001-02-06 JP JP2001028929A patent/JP3800965B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002232894A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6658157B1 (en) | Method and apparatus for converting image information | |
| US7822118B2 (en) | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders | |
| US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
| US7809065B2 (en) | Picture encoding system conversion device and encoding rate conversion device | |
| EP1445958A1 (en) | Quantization method and system, for instance for video MPEG applications, and computer program product therefor | |
| US5461422A (en) | Quantizer with automatic pre-threshold | |
| US20050036549A1 (en) | Method and apparatus for selection of scanning mode in dual pass encoding | |
| EP1032212A2 (en) | Transcoder, transcoding system, and recording medium | |
| JPH09322176A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JP3800965B2 (ja) | データレート変換装置 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| Kim et al. | An accurate bit-rate control for real-time MPEG video encoder | |
| JP2900927B2 (ja) | 符号化方法及び符号化装置 | |
| JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP3765129B2 (ja) | 符号化装置および符号化方法 | |
| JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP4007398B2 (ja) | 量子化制御装置およびその方法 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP3765130B2 (ja) | 符号化装置および符号化方法 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060424 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3800965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |