JP4023451B2

JP4023451B2 - 圧縮動画像再符号化装置及び圧縮動画像再符号化方法

Info

Publication number: JP4023451B2
Application number: JP2004026118A
Authority: JP
Inventors: 純二田治米
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-02-02
Filing date: 2004-02-02
Publication date: 2007-12-19
Anticipated expiration: 2019-12-24
Also published as: JP2004180339A

Description

本発明は、圧縮動画像再符号化装置及び圧縮動画像再符号化方法に関し、特に、入力信号となる圧縮動画像の符号量を削減する圧縮動画像再符号化装置および圧縮動画像再符号化方法に関する。

従来、圧縮動画像再符号化装置および圧縮動画像再符号化方法は、例えば、ディジタル放送システムやサービス等、動画像信号を伝送・蓄積する装置または方法に適用される。このディジタル放送システムやサービス等、動画像信号を伝送・蓄積する場合に、動画像信号は圧縮符号化され伝送・蓄積される。さらに近年では、動画像信号の圧縮符号化方式としてISO/ICE IS13818-2(MPEG-2 VIDEO) 等が規格化され、ディジタル放送システムやサービス等に用いられている。

一方、放送局や家庭では、所定のビットレートで圧縮符号化された圧縮動画ストリームを、異なるビットレートの圧縮動画ストリームとして再符号化して伝送・蓄積するアプリケーションが期待されている。例えば、ディジタル記録装置への録画機能がある。

放送局から家庭に分配される圧縮動画ストリームは、所定のビットレートで符号化されている。視聴者が長時間録画等を目的とし、限られた記憶容量に分配された圧縮動画ストリームを録画する場合、分配時のビットレートよりも低いビットレートで圧縮動画ストリームを再符号化する必要がある。この場合、再符号化時の画質劣化を抑制することが望ましい。以下では、そのような圧縮動画ストリームの再符号化処理に関する従来技術を具体的に述べる。

以下の説明では、圧縮動画ストリームはMPEG-2 VIDEOに従って圧縮符号化されているものとする。よって以下では、MPEG-2ビットストリームとする。MPEG-2 VIDEOでは、ピクチャを複数の画素の集合からなるブロックに分割し、各ブロックに対して離散コサイン変換（ＤＣＴ）を施すことにより、空間領域の信号を周波数領域の信号に変換する。この離散コサイン変換により得られる各周波数成分は、定められた量子化幅で量子化され、量子化変換係数に可変長符号を割り当てることで可変長符号化し、MPEG-2ビットストリームとして出力する。圧縮動画像再符号化装置は、基本的には入力信号であるMPEG-2ビットストリームを動画像信号に復号し、復号された動画像信号を再符号化することで実現できる。そのため圧縮動画像再符号化装置は、直列に接続された復号器と符号化器から構成される。

図１２に、復号器の基本構成を示す。この図１２に示す復号器は、可変長復号器２０１と、逆量子化器２０２と、逆離散コサイン変換器２０３と、加算器２０４と、フレームメモリ２０５と、動き補償予測器２０６とにより構成される。

図１３に、符号化器の基本構成を示す。この図１３に示す符号化器は、減算器３０１と、離散コサイン変換器３０２と、量子化器３０３と、可変長符号化器３０４と、符号量制御手段３０５と、逆量子化器３０６と、逆離散コサイン変換器３０７と、加算器３０８と、フレームメモリ３０９と、動き補償予測器３１０とにより構成される。

図１４に、圧縮動画像再符号化装置の基本構成を示す。説明のため以下では、可変長復号器２０１と逆量子化器２０２を復号経路部４１、量子化器３０３と可変長符号化器３０４を符号化経路部４３とし、復号経路部４１と符号化経路部４３と符号量制御手段４０１以外の構成部を誤差補償部４２とする。

前述したように、図１４に示す圧縮動画像再符号装置は、直列に接続された復号器と符号器とで構成するため、図１２に示す復号器と図１３に示す符号化器を直列に接続している。また、圧縮動画像再符号化装置は、処理の高速化、画質向上の目的で可変長復号器２０１で復号された符号化情報を再符号化時の符号化パラメータとして再利用する。

これに対し、より低コストかつ簡易に圧縮動画像の再符号化を行う装置が特許文献１や特許文献２等において開示されている。図１５に、特許文献１に開示されている圧縮動画像再符号装置の基本構成を示す。本図１５に示す圧縮動画像再符号装置は、処理の簡略化のために、図１４の誤差補償部４２を省略した構成になっており、復号経路５１と符号化経路５２と符号量制御器５０１のみで構成される。ただし、この装置を用いた場合、再量子化による量子化誤差の蓄積のために画質劣化が生じる。

図１６に、特許文献２に開示されている圧縮動画像再符号装置の基本構成を示す。本図１６に示す圧縮動画像再符号装置は、図１４の誤差補償部４２に対して等価な変換である、誤差補償部６２を用いることで処理の簡単化を行う。

これらの従来技術は、圧縮動画像再符号化装置の構成について開示されたものであり、符号量制御手段４０１における符号量制御に関しては述べられていない。次に圧縮動画像再符号化装置の符号量制御方式における従来技術について述べる。

従来例１として、符号化装置の符号量制御方式であるMPEG-2のテストモデル（Test Model 5, ISO/ICE JTC1/SC21/WG11/N0400, 1993年4 月）の方式が知られている。この方式では、フレーム内符号化およびフレーム間予測符号化により発生した符号量を、ある単位時間毎に一定にしようとする固定ビットレート符号化方式を採用している。この結果、複数ピクチャの集合であるＧＯＰ（Group Of Pictures ）を単位として、ＧＯＰ毎に対する符号化処理により発生する符号量が一定になるよう、ピクチャを１６×１６画素に分割したマクロブロック単位毎に設定する基本量子化幅を設定することで、符号量を制御する。

しかしながら、上記従来例１は符号化装置の符号量制御方式であり、制御にはMPEG-2ビットストリームに含まれていない情報を必要とするため、直接適用することはできない。これに対し、上記従来例１の符号量制御方式に代わり、圧縮動画像再符号化装置に適した符号量制御方式が提案されている。例えば、従来例２として、図１５に示した圧縮動画像再符号装置における符号量制御方式が、United State Patent 5,657,015 に開示されている。

この方式では、マクロブロック毎に再符号化後のピクチャの平均量子化幅と、ピクチャの目標符号量と、実際の符号量から基本量子化幅を設定する。次にピクチャの平均量子化幅と、符号化を行うマクロブロックの量子化幅の比率またはピクチャの符号量と、符号化を行うマクロブロックの符号量の比率を用いてアクティビティを計算し、基本量子化幅を調整することで符号量の制御を行う。

従来例３として、United State Patent 5,805,224 が開示されている。この方式では、入力ビットレートと、出力ビットレートと、符号化を行うピクチャの符号量から再符号化時のサブピクチャの目標符号量を設定し、符号量と量子化幅の積によりピクチャの複雑度を求める。次に、複雑度をサブピクチャの目標発生符号量に応じて分配し、サブピクチャの量子化幅を設定する。また次に、目標符号量と実際の符号量の差分を制御に反映し、量子化幅を調整することで符号量の調整を行う。これら従来例２および従来例３では、再符号化時の目標符号量を入力圧縮動画ストリームのピクチャの符号量と、入力ビットレートと、出力ビットレートを用いて、設定している。
特開平８−２３５３９号公報特開平８−５１６３１号公報

しかしながら、上記従来の方式では、入力圧縮動画ストリームの符号量に応じて、再符号化時の目標符号量を設定し、動画像のシーン特性や符号化に必要となる符号量に係わらずほぼ一様に発生符号量を削減するため、画質が劣化する問題を伴う。

本発明は、圧縮動画像の再符号化時における処理遅延の短縮と画質の向上と符号化効率の向上とを実現した、圧縮動画像再符号化装置および圧縮動画像再符号化方法を提供することを目的とする。さらに述べると、本発明は、リアルタイム処理可能な圧縮動画像データの再符号化装置において、より高効率でより高画質な動画像データの再符号化を実現する圧縮動画像再符号化装置および圧縮動画像再符号化方法を提供することを目的とする。

請求項１記載の発明は、動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定し、予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度を計算し、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を計算する手段と、複数の前記複雑度から最小の複雑度を選択し、前記量子化幅を変更するために利用する複雑度として出力する手段とを有することを特徴とする。

請求項２記載の発明は、請求項１記載の圧縮動画像再符号化装置において、前記複雑度は、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量との積であることを特徴とする。

請求項３記載の発明は、請求項１または２記載の圧縮動画像再符号化装置において、再符号化に用いる量子化幅が前記入力圧縮動画ストリームの量子化幅を下回らないように制御する手段を有することを特徴とする。

請求項４記載の発明は、請求項１または２に記載の圧縮動画像再符号化装置において、前記現在符号化している直前のあらかじめ定めた枚数における複数のピクチャとして、フレーム内符号化された画像を一枚含む複数のピクチャを使用することを特徴とする。

請求項５記載の発明は、請求項３または４記載の圧縮動画像再符号化装置において、前記複雑度を計算する手段に用いられる前記入力圧縮動画ストリームの量子化幅に対して画像特性による重み付けをする手段を有することを特徴とする。

請求項６記載の発明は、請求項５記載の圧縮動画像再符号化装置において、前記入力圧縮動画ストリームの量子化幅と符号量の積による複雑度を計算し、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャの複雑度と再符号化対象の複雑度との比率を計算し、前記入力圧縮動画ストリームの量子化幅の重み付けをする手段を有することを特徴とする。

請求項７記載の発明は、動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量の積として計算する手段と、前記複数の複雑度から最小の複雑度を出力する手段と、前記予め設定された平均ビットレートを用いて目標符号量を計算する手段と、前記目標符号量と前記出力された複雑度とを用いて第一の量子化幅を計算する手段と、前記入力圧縮動画ストリームの量子化幅を用いて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから前記入力圧縮動画ストリームの量子化幅を用いて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから量子化幅の平均を計算する手段と、前記第一の量子化幅と前記量子化幅の平均の減算により加算値を計算し、前記入力圧縮動画ストリームの量子化幅に前記加算値を加算し、再符号化する量子化幅を計算する手段とを有することを特徴とする。

請求項８記載の発明は、動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して、予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量の積として計算する手段と、複数の前記複雑度から最小の複雑度を出力する手段と、前記予め設定された平均ビットレートを用いて目標符号量を計算する手段と、前記目標符号量と前記出力された複雑度とを用いて第一の量子化幅を計算する手段と、前記入力圧縮動画ストリームの量子化幅を用いて前記入力圧縮動画ストリームの符号化予測モードに応じて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから量子化幅の平均を計算する手段と、前記第一の量子化幅と前記量子化幅の平均の減算により符号化予測モード毎の加算値を計算し、前記入力圧縮動画ストリームの量子化幅に前記加算値を加算し、再符号化する量子化幅を計算する手段とを有することを特徴とする。

請求項９記載の発明は、動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化方法において、再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を計算する工程と、複数の前記複雑度から最小の複雑度を選択し、前記量子化幅を変更するために利用する複雑度として出力する工程とを有することを特徴とする。

請求項１０記載の発明は、請求項９記載の圧縮動画像再符号化方法において、符号化に用いて量子化幅が前記入力圧縮動画ストリームの量子化幅を下回らないように制御する工程を有することを特徴とする。

以上の説明より明かなように、本発明の圧縮動画像再符号化装置および圧縮動画像再符号化方法は、再符号化に用いる量子化幅を計算し、計算された量子化幅と入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力している。よって、入力圧縮動画ストリームに含まれる符号化情報を用いて動画像のシーン特性を求め、特性に応じた量子化幅の設定を行い、設定した量子化幅に対して目標符号量と実際の符号量との差分を用いて修正を行うことで、ある期間に渡り、画質が一定の品質となり、平均ビットレートを満たし、目標符号量に近づくような制御を実現できる。これにより、高画質な再符号化を達成することができる。また、圧縮動画ストリーム全体を復号し、動画像の特性を求めることなく再符号化を行うため、低遅延かつリアルタイムに圧縮動画像ストリームの再符号化を達成することができる。

次に、添付図面を参照して本発明による圧縮動画像再符号化装置および圧縮動画像再符号化方法の実施形態を詳細に説明する。図１から図１１を参照すると、本発明の圧縮動画像再符号化装置および圧縮動画像再符号化方法の一実施形態が示されている。

図１は、本発明の圧縮動画像再符号化装置を説明するための図である。ここで、圧縮符号化方式としてMPEG-2 VIDEOを用いることとするが、圧縮符号化方式としては、MPEG-2VIDEO に限らず、量子化幅により符号量の制御を行う圧縮符号化方式であればよい。例えば、ISO/ICE IS１１172（MPEG-1 VIDEO）あるいはITU-T H.261 、ITU-T H.263 等の方式を用いてもよい。また、複雑度の計算を行う期間は符号化開始時から現在まで符号化した全ピクチャと、複数のピクチャから構成されるピクチャ群とし、目標符号量と実際の符号量の過不足量を調整する期間としては、マクロブロック単位とする。

この符号化単位は、画像符号化単位の一例を示したにすぎず、複雑度の計算を行う期間は一定期間の画質を制御する単位であり、過不足量を調整する期間としてはより細かな制御を行うための複雑度の計算を行う期間より小さな単位であればよい。他に、ピクチャ群の単位としては、フレーム内予測された画像を一枚含む複数ピクチャ群や、一枚のピクチャや、ある時間におけるピクチャ等もある。ここで、図１によれば、本発明の圧縮動画像再符号装置は、復号経路部１１と、誤差補償部１２と、符号化経路部１３と、符号量制御手段１４から構成される。

まず、MPEG-2ビットストリームが入力として復号経路部１１に供給される。復号経路部１１においては、入力ビットストリームの可変長復号および逆量子化を行い、入力ビットストリームのビットレートと、フレームレート、およびマクロブロック毎に入力ビットストリームの量子化幅と、入力ビットストリームの符号量を符号量制御手段１４に供給する。また、復号経路部１１においては、ＤＣＴ係数と、動きベクトル等を誤差補償部１２へ供給し、再符号化時に再利用できる符号化情報を符号化経路部１３に供給する。

誤差補償部１２においては、復号経路部１１から供給される再量子化前のＤＣＴ係数と、動きベクトル等と、符号化経路部１３から供給される再量子化後のＤＣＴ係数を用いて、再量子化による誤差の蓄積を防止し、再量子化を行うＤＣＴ係数を符号化経路部１３に供給する。

符号化経路部１３においては、復号経路部１１から供給される符号化情報と、誤差補償部１２から供給されるＤＣＴ係数と、符号量制御手段１４から供給される量子化幅と、外部から供給される目標平均ビットレートを用いて、ＤＣＴ係数の再量子化と、再符号化を行い出力ビットストリームを出力し、再符号化後の符号量を符号量制御手段１４に供給する。

符号量制御手段１４においては、復号経路部１１から供給される入力ビットストリームのビットレートと、フレームレートと、入力ビットストリームの量子化幅と、入力ビットストリームの符号量、符号化経路部１３から供給される再符号化後の符号量、外部から供給される目標平均ビットレートを用いて量子化幅を計算し、符号化経路部１３に供給する。ここで、符号量制御手段１４は、複雑度計算手段１０１と、ピクチャ群量子化幅計算手段１０２と、量子化幅調整手段１０３と、量子化幅選択器１０４から構成される。

複雑度計算手段１０１においては、復号経路部１１からマクロブロック毎に供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、複数ピクチャにおけるピクチャ群複雑度および符号化を行った全ピクチャにおける複雑度を計算し、ピクチャ群量子化幅計算手段１０２に供給する。

ピクチャ群量子化幅計算手段１０２においては、復号経路部１１から供給されるフレームレート、外部から供給される目標平均ビットレートと、複雑度計算手段１０１から供給される複雑度と、ピクチャ群複雑度を用いて基本量子化幅を計算し、計算した結果を量子化幅調整手段１０３に供給する。

量子化幅調整手段１０３においては、復号経路部１１から供給される入力ビットストリームのビットレートと、フレームレートと、入力ビットストリームの符号量、外部から供給される目標平均ビットレートを用いて目標符号量を設定し、符号化経路部１３から供給される再符号化後の符号量との差分を求め、差分に応じてピクチャ群量子化幅計算手段１０２から供給される基本量子化幅の調整を行い、調整した量子化幅を量子化幅選択器１０４に供給する。

量子化幅選択器１０４においては、量子化幅調整手段１０３から供給される量子化幅が復号経路部１１から供給される入力ビットストリームの量子化幅よりも小さい値であれば、入力ビットストリームの量子化幅を符号化経路部１３に供給する。

次に、本発明の符号量制御手段１４における動作例を説明する。なお、以下に示す式（１）〜式（１６）は、複雑度計算における処理例であり、これらの式は、複雑度計算１０１における処理例を表している。本複雑度計算１０１においては、復号経路部１１からマクロブロック毎に供給される入力ビットストリームの量子化幅Ｑｏｊと入力ビットストリームの符号量Ｓｏｊを用いて、複数ピクチャにおけるピクチャ群の量子化幅累算値Ｑｏｐおよび符号量累算値Ｓｏｐおよび複雑度Ｘｐ、全ピクチャにおける量子化幅累算値Ｑｏｔおよび符号量累算値Ｓｏｔおよび複雑度Ｘｔを、例えば式（１）〜式（６）により計算し、ピクチャ群複雑度Ｘｐと複雑度Ｘｔをピクチャ群量子化幅計算手段１０２に供給する。ここで、符号Ｎｐはピクチャ群におけるピクチャ数、符号Ｎｔは符号化を行った全ピクチャ数、符号Ｎｍｂはピクチャ当たりのマクロブロック数を表す。

ピクチャ群量子化幅計算手段１０２においては、復号経路部１１から供給されるフレームレートＦＲと、外部から供給される目標平均ビットレートＡＢＲと、複雑度計算手段１０１から供給される複雑度Ｘｔと、ピクチャ群複雑度Ｘｐを用いて、基本量子化幅Ｑｂを、例えば式（７）により計算し、量子化幅調整手段１０３に供給する。ここで、ｍｉｎ（Ｘｔ，Ｘｐ）はＸｔとＸｐの小さい値を選択する。上記計算では、入力ビットストリームの長期的なシーン特性とそれよりも短い期間のシーン特性を複雑度の比較を行うことで実現し、小さい値を選択することで多くの符号量を発生させる制御となり、画質の低下を抑えることができる。

量子化幅調整手段１０３においては、符号化経路部１１から供給される入力ビットストリームのビットレートＢＲと、フレームレートＦＲと、入力ビットストリームの符号量Ｓｏｊと、外部から供給される目標平均ビットレートＡＢＲを用いて、ピクチャ群符号量累算値Ｓｏｐと、ピクチャ群目標符号量Ｔｐと、全ピクチャの目標符号量Ｔｔを、例えば上記の式（２）、並びに下記の式（８）および式（９）により計算する。また、符号化経路部１３からマクロブロック毎に供給される再符号化後の符号量Ｓｒｊを用いて、全ピクチャの符号量累算値Ｓｒｔを式（１０）により計算し、差分ＶＢＯを式（１１）により求める。さらに、ピクチャ群量子化手段１０２から供給される基本量子化幅Ｑｂの調整を、例えば式（１２）により計算し、量子化幅選択器１０４に調整を行った量子化幅Ｑｍを供給する。

ここで、上記の式（９）はピクチャ群目標符号量Ｔｐの累算値であり、符号α、ｒは目標平均ビットレートに対する発生符号量の差分における制御の反応の大きさを決めるパラメータである。

量子化幅選択器１０４においては、量子化幅調整手段１０３から供給される量子化幅Ｑｍが、復号経路部１１から供給される入力ビットストリームの量子化幅Ｑｊよりも小さい値であれば、入力ビットストリームの量子化幅Ｑｊを符号化経路部１３に供給する。

次に、本発明の第２の実施形態を図２に示す。第１の実施形態では、複雑度計算手段１０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、複雑度およびピクチャ群複雑度を計算する。本実施形態によれば、複雑度計算手段１０１においては、符号化経路部１３から供給される再符号化後の量子化幅と、再符号化後の符号量を用いて、複雑度およびピクチャ群複雑度を計算する。

次に、本発明の第３の実施形態を図３に示す。第１の実施形態では、量子化幅選択器１０４においては、量子化幅調整手段１０３から供給された量子化幅を用いて、量子化幅の選択を行っている。本実施形態は図１に示されるブロック図に適応量子化手段９０１を追加したものである。適応量子化手段９０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、量子化幅調整手段１０３から供給される量子化幅をさらに調整し、量子化幅選択器１０４へ供給する。

次に適応量子化手段９０１の動作の一例を示す。適応量子化手段９０１においては復号経路１１から供給される入力ビットストリームの量子化幅Ｑｊと、符号量Ｓｊ、量子化幅調整手段１０３から供給される量子化幅Ｑｍを用いて、例えば式（３）から得られるピクチャ群複雑度Ｘｐおよび下記の式（１３）により量子化幅Ｑａを計算し、量子化幅選択器１０４へ供給する。ここで、ピクチャ群におけるピクチャ数Ｎｐは、複雑度計算手段１０１で用いられるピクチャ群のピクチャ数と同じである必要はない。本実施形態では、通常画像信号を用いて行うアクティビティの計算を、入力ビットストリームの量子化幅と符号量を用いて計算を行い、量子化幅を修正する。その結果、画像信号レベルまで復号を行わない構成の圧縮画像再符号化装置に対しても、画像の性質を用いた適応量子化を行える。

次に、本発明の第４の実施形態を図４に示す。第１の実施形態では、ピクチャ群複雑度１０１においては、複雑度の計算に入力ビットストリームの量子化幅を用いている。本実施形態は、図１に示されるブロック図に逆適応量子化器１００１を追加したものである。

逆適応量子化器１００１においては、復号経路部１１から供給されるビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、復号経路部１１から供給される入力ビットストリームの量子化幅を調整し、複雑度計算手段１０１に供給する。逆適応量子化手段１００１の動作例としては、例えば、図３における適応量子化手段９０１の逆変換が考えられる。本実施形態では、複雑度の計算のために、入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、入力ビットストリームの量子化幅を調整する。その結果、符号化時に適応量子化が行われた入力ビットストリームの量子化幅に対しても、適応量子化前の量子化幅を推定することが可能であり、適応量子化前の量子化幅を用いた複雑度の計算が可能になる。

次に、本発明の第５の実施形態を図５に示す。本実施形態は、図１に対して、量子化幅選択器１０４の外部入力が追加されている。第１の実施形態の量子化幅選択器１１０１においては、量子化幅調整手段１０３から供給される量子化幅が復号経路部１１から供給される入力ビットストリームの量子化幅よりも小さい値であれば、入力ビットストリームの量子化幅を符号化経路部１３に供給している。本実施形態の量子化幅選択器１１０１においては、上記入力に加え、外部から最小量子化幅が供給され、量子化幅調整手段１０３から供給される量子化幅と入力ビットストリームの量子化幅が最小量子化幅よりも小さい値であれば、最小量子化幅を符号化経路部１３に供給する。これにより本実施形態では、量子化幅を小さく設定しすぎることによる無駄な符号の発生を抑えることが可能になる。

次に、本発明の第６の実施形態を図６に示す。本実施形態は図１に示されるブロック図に最大ビットレート量子化幅計算手段１２０１を追加したものである。最大ビットレート量子化幅計算手段１２０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量と、入力ビットストリームのビットレートおよびフレームレート、復号経路部１３から供給される再符号化後の量子化幅と、再符号化後の符号量、外部から供給される最大ビットレート等を用いて、指定された最大ビットレートを超えないような最大ビットレート量子化幅を設定し、量子化幅選択器１０４へ供給する。

量子化幅選択器１２０２においては、上記入力に加え、最大ビットレート量子化幅計算手段１２０１から供給される最大ビットレート量子化幅を用いて、量子化幅調整手段１０３から供給される量子化幅と、入力ビットストリームの量子化幅が最大ビットレート量子化幅よりも小さい値であれば、最大ビットレート量子化幅を符号化経路部１３に供給する。ここで、最大ビットレート量子化幅計算手段１２０１における最大ビットレート量子化幅の計算方法としては、例えば、入力ビットストリームのビットレートと最大ビットレート比率および入力ビットストリームの符号量を用いて、目標符号量を設定し、目標符号量を満たすような符号量制御を用いて、マクロブロック単位の量子化幅を計算することで実現できる。本実施形態では、入力ビットストリームのビットレートが非常に高く、目標平均ビットレートが低い場合に、必要以上に符号化幅を小さく設定しすぎて、無駄な符号の発生を抑えることが可能になる。

次に、本発明の第７の実施形態を図７に示す。本実施形態の、符号量制御手段１４は、複雑度計算手段１０１と、ピクチャ群量子化幅計算手段１０２と、量子化幅調整手段１０３と、量子化幅選択器１０４と、平均量子化幅計算手段１３０１と、加算値計算手段１３０２から構成される。

以下では、第１の実施形態と異なる部分に関してのみ説明する。平均量子化幅計算手段１３０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅を複数ピクチャ期間累算し、その平均値を加算値計算手段１３０２に供給する。

加算値計算手段１３０２においては、ピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される平均量子化幅の差分値を、復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅調整手段１０３に供給する。

次に平均量子化幅計算手段１３０１および加算値計算手段１３０２の動作の一例を示す。平均量子化幅計算手段１３０１においては、平均量子化幅Ｑａｖｅは復号経路部１１から供給される量子化幅Ｑｊを用いて、上記の式（１）および下記の式（１４）により計算され、加算値計算手段１３０２へ供給される。ここで、ピクチャ群におけるピクチャ数Ｎｐは、複雑度計算手段１０１で用いられるピクチャ群のピクチャ数と同じである必要はない。

加算値計算手段１３０２においては、加算値Ａをピクチャ群量子化幅計算手段１０２から供給される量子化幅Ｑｂ、平均量子化幅計算手段１３０１から供給される平均量子化幅Ｑａｖｅを用いて、例えば下記の式（１５）により計算し、量子化幅調整手段１０３へ供給する。これにより本実施形態では、入力ビットストリームの量子化幅に加算値を加えるため、符号化時に適応量子化を用いて量子化幅が設定されている場合、適応量子化を考慮することなく量子化幅を設定できる。

次に、本発明の第８の実施形態を図８に示す。本実施形態は、図７に対して、加算値計算手段１３０２への外部入力が追加されている。第７の実施形態の加算値計算手段１３０２においては、ピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される平均量子化幅の差分値を、復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅を計算している。

本実施形態の量子化幅設定手段１４０１においては、上記入力に加え、外部から最小量子化幅もしくは閾値が供給される。加算値計算手段１４０１においては、計算した量子化幅と、量子化幅もしくは閾値を比較することで、量子化幅の選択を行い、量子化幅調整手段１０３に量子化幅を供給する。

加算値計算手段の動作例を図９に示す。本図９は、最小量子化幅と閾値が設定されていた場合にどの量子化幅が選択されるかを示したものである。横軸は入力ビットストリームの量子化幅を表し、縦軸は再符号化後の量子化幅を表す。グラフの太線が本量子化幅設定により選択される量子化幅である。

ここで、最小量子化幅により、量子化幅の最小値を設定し、閾値によりある量子化幅以降においては、入力ビットストリームの量子化幅が閾値を超えるまでは、再符号化後の量子化幅が閾値を越えないように量子化幅が設定される。これにより本実施形態では、再量子化後の量子化幅の最小値を設定することで過剰な符号量の発生を抑制する。また、閾値よりも大きな量子化幅を選択しないようにし、画質劣化を抑制する。

次に、本発明の第９の実施形態について説明する。第７および第８の実施形態では、どの符号化予測方式においても等しい加算値を入力ビットストリームの量子化幅に加算している。第９の実施形態では、ピクチャの符号化予測方式毎に加算値を保持する。例えば、MPEG-2におけるフレーム内符号化（Ｉピクチャ）、前方向フレーム間符号化（Ｐピクチャ）、双方向フレーム間符号化（Ｂピクチャ）に対して、平均量子化幅計算手段１３０１において符号化モード毎に平均量子化幅Ｑａｖｅを計算し、加算値計算手段１３０２へ供給する。

加算値計算手段１３０２においてピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される符号化モード毎の平均量子化幅の差分値を計算し、符号化モード毎に復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅の計算を行う。これにより本実施形態では、符号化モードに応じて加算値を切り替えるため、単一の加算値よりも細かな制御が可能になり、画質を向上させることが可能になる。

上記の実施形態において、例えば、入力である圧縮動画ストリーム１を再符号化し、圧縮動画ストリーム２を出力することを考える。図１０は圧縮動画ストリーム１および再符号化後の圧縮動画ストリーム２におけるピクチャ当たりの平均量子化幅と時間の関係と、図１１はその時の発生符号量と時間の関係の一例を示したものである。図１０および図１１の細い実線が圧縮動画ストリーム１を表す。

一般に、符号量の削減は、圧縮動画ストリーム１における量子化幅よりも大きな量子化幅を設定して再量子化することで実現できる。ちなみに従来の方式では、圧縮動画ストリーム１の符号量に応じて、再符号化時の目標符号量を設定し、量子化幅を設定する。例えば図１１のような場合には、どの期間においても、ほぼ一定の符号量を削減する必要があるため、一様に量子化幅を大きく設定してまう。その結果、図１０の破線に示すように、入力圧縮動画ストリームの量子化幅が大きく画質の悪いピクチャに対しても、再符号化時にさらに大きい値を設定してしまい、画質劣化を引き起こす原因になる。そこで、図１０の太い実線で示すような、動画像のシーン特性に応じた量子化幅の設定をすれば、このような問題は解決できる。本発明では、入力圧縮動画ストリームに含まれる符号化情報を用いて、動画像のシーン特性を求め、特性に応じた量子化幅を設定する。

次に、設定した量子化幅に対して、平均ビットレート等を用いて求めた目標符号量と、実際の符号量との差分を用いて修正を行う。その結果、ある期間にわたり画質が一定の品質となり、また平均ビットレートを満たし、目標符号量に近づくような制御を実現できる。また、量子化幅は入力圧縮動画ストリームの量子化幅よりも小さな値にならないようにすることで、必要以上に多くの符号量を割り当てることなく、より平均的な画質の向上を実現できる。さらに、本発明では、一旦、圧縮動画ストリーム全体を復号し、動画像の特性を求めることなく再符号化を行うため、遅延の少ないリアルタイム処理が実現できる。

尚、上述の実施形態は本発明の好適な実施の一例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。

本発明の圧縮動画像再符号化装置の実施形態の構成例を示すブロック図である。第２の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第３の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第４の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第５の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第６の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第７の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第８の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。第８の実施形態における量子化幅設定手段の動作例の説明図である。原理説明図である。原理説明図である。従来の復号器の構成を示すブロック図である。従来の符号化器の構成を示すブロック図である。従来の圧縮動画像再符号化装置の構成例を示すブロック図である。従来の圧縮動画像再符号化装置の構成例を示すブロック図である。従来の圧縮動画像再符号化装置の構成例を示すブロック図である。

符号の説明

１１復号経路部
１２誤差補償部
１３符号化経路部
１４符号量制御手段
１０１複雑度計算手段
１０２ピクチャ群量子化幅計算手段
１０３量子化幅調整手段
１０４量子化幅選択器
２０１可変長復号器
２０２逆量子化器
２０３逆離散コサイン変換器
２０４加算器
２０５フレームメモリ
２０６動き補償予測器
３０１減算器
３０２離散コサイン変換器
３０３量子化器
３０４可変長符号化器
３０５符号量制御手段
３０６逆量子化器
３０７逆離散コサイン変換器
３０８加算器
３０９フレームメモリ
３１０動き補償予測器
４１復号経路部
４２誤差補償部
４３符号化経路部
４０１符号量制御手段
５１復号経路部
５２符号化経路部
５０１符号量制御手段
６１復号経路部
６２誤差補償部
６３符号化経路部
６０１減算器
６０２逆量子化器
６０３減算器
６０４逆離散コサイン変換器
６０５フレームメモリ
６０６動き補償予測器
６０７離散コサイン変換器
６０８符号量制御手段
９０１適応量子化手段
１００１逆適応量子化手段
１１０１量子化幅選択器
１２０１最大ビットレート量子化幅計算手段
１２０２量子化幅選択器
１３０１平均量子化幅計算手段
１３０２、１４０１加算値計算手段

Claims

動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定し、予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、
再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度を計算し、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を計算する手段と、
複数の前記複雑度から最小の複雑度を選択し、前記量子化幅を変更するために利用する複雑度として出力する手段とを有することを特徴とする圧縮動画像再符号化装置。
前記複雑度は、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量との積であることを特徴とする請求項１に記載の圧縮動画像再符号化装置。
再符号化に用いる量子化幅が前記入力圧縮動画ストリームの量子化幅を下回らないように制御する手段を有することを特徴とする請求項１または２に記載の圧縮動画像再符号化装置。
前記現在符号化している直前のあらかじめ定めた枚数における複数のピクチャとして、フレーム内符号化された画像を一枚含む複数のピクチャを使用することを特徴とする請求項１または２に記載の圧縮動画像再符号化装置。
前記複雑度を計算する手段に用いられる前記入力圧縮動画ストリームの量子化幅に対して画像特性による重み付けをする手段を有することを特徴とする請求項３または４に記載の圧縮動画像再符号化装置。
前記入力圧縮動画ストリームの量子化幅と符号量の積による複雑度を計算し、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャの複雑度と再符号化対象の複雑度との比率を計算し、前記入力圧縮動画ストリームの量子化幅の重み付けをする手段を有することを特徴とする請求項５に記載の圧縮動画像再符号化装置。
動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、
再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量の積として計算する手段と、
前記複数の複雑度から最小の複雑度を出力する手段と、
前記予め設定された平均ビットレートを用いて目標符号量を計算する手段と、
前記目標符号量と前記出力された複雑度とを用いて第一の量子化幅を計算する手段と、
前記入力圧縮動画ストリームの量子化幅を用いて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから前記入力圧縮動画ストリームの量子化幅を用いて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから量子化幅の平均を計算する手段と、
前記第一の量子化幅と前記量子化幅の平均の減算により加算値を計算し、前記入力圧縮動画ストリームの量子化幅に前記加算値を加算し、再符号化する量子化幅を計算する手段とを有することを特徴とする圧縮動画像再符号化装置。
動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して、予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化装置において、
再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を、前記入力圧縮動画ストリームあるいは再符号化した圧縮動画ストリームのいずれかにおける量子化幅と符号量の積として計算する手段と、
複数の前記複雑度から最小の複雑度を出力する手段と、
前記予め設定された平均ビットレートを用いて目標符号量を計算する手段と、
前記目標符号量と前記出力された複雑度とを用いて第一の量子化幅を計算する手段と、
前記入力圧縮動画ストリームの量子化幅を用いて前記入力圧縮動画ストリームの符号化予測モードに応じて、現在符号化している直前の前記あらかじめ定めた枚数とは別にあらかじめ定めた枚数における複数のピクチャから量子化幅の平均を計算する手段と、
前記第一の量子化幅と前記量子化幅の平均の減算により符号化予測モード毎の加算値を計算し、前記入力圧縮動画ストリームの量子化幅に前記加算値を加算し、再符号化する量子化幅を計算する手段とを有することを特徴とする圧縮動画像再符号化装置。
動画像を圧縮符号化して生成された入力圧縮動画ストリームに対して、動画像のピクチャの複雑度を求め、該複雑度と再符号化対象画像の目標符号量とを利用して前記再符号化対象画像の量子化幅を決定して予め設定した平均ビットレートで、かつ可変ビットレートの圧縮動画ストリームに再符号化する圧縮動画像再符号化方法において、
再符号化開始から現在再符号化している直前のピクチャまでの期間における複数のピクチャから動画像の長期的なシーン特性を示す複雑度、及び、現在符号化している直前のあらかじめ定めた枚数における複数のピクチャから動画像の短期的なシーン特性を示す複雑度を計算する工程と、
複数の前記複雑度から最小の複雑度を選択し、前記量子化幅を変更するために利用する複雑度として出力する工程とを有することを特徴とする圧縮動画像再符号化方法。
符号化に用いて量子化幅が前記入力圧縮動画ストリームの量子化幅を下回らないように
制御する工程を有することを特徴とする請求項９記載の圧縮動画像再符号化方法。