JP4788653B2 - 画像データトランスコーディング装置及びトランスコーディング方法 - Google Patents

Description

本発明は、圧縮符号化された画像データのトランスコーディング装置及びトランスコーディング方法に関する。特にＭＰＥＧ符号化方式による低ビットレート変換に適用される。

現在、携帯電話端末の処理性能が多岐にわたっており、映像コンテンツの配信においては、それぞれの機種に対する最適な符号化パラメータ（ビットレートや画像サイズなど）が異なっている。このため、コンテンツ作成に際し、このようにパラメータの異なる複数のビットストリームをトランスコードにより簡易に生成できる技術が望まれている。

従来のトランスコード技術として、特許文献１では、第１映像符号化方式から第２の映像符号化方式へのトランスコーディングの際に、第２の映像符号化方式への動きベクトル再利用や符号化モード判定を行うことのできる映像データ変換装置及び映像データ変換方法について述べられている。

また、特許文献２では、トランスコーダ内再量子化処理における削減符号量と発生歪みを考慮することにより、入力ビットストリーム中より得られる量子化パラメータの大きさに応じて削減符号量を制御し、再量子化にともない発生する歪みを最小化するトランスコーダ符号量制御方法について述べられている。

また、非特許文献１では、以下の内容が開示されている。

ＭＰＥＧ−２／Ｈ．２６４トランスコーダであり、ＭＰＥＧ−２既符号化情報を利用し、発生符号量を目標符号量に一致させることを目的としているＭＰＥＧ−２デコーダとＨ．２６４エンコーダをカスケード接続したトランスコーダである。Ｉフレームに関して以下の２つの特徴が挙げられるとしている。
（１）入力ＭＰＥＧ−２符号化時の量子化ステップサイズと、トランスコード処理（Ｈ．２６４符号化）時の量子化ステップサイズを同一の値にしトランスコード処理を行うと、入出力の符号量はほぼ同等になる。
（２）トランスコード処理後の出力Ｈ．２６４の量子化パラメータＱＰと１画素あたりの発生符号量ｂｐｐの関係が以下に定義するＱＰ更新関数に近似可能になる。

以下、Ｋを比例係数として、ＱＰ更新関数を示す。
ｂｐｐ＝Ｋ×（−０．０９×ＱＰ＋２．５５） （ＱＰ≦１５）
ｂｐｐ＝Ｋ×（−０．０６×ＱＰ＋２．１０） （１５＜ＱＰ≦２５）
ｂｐｐ＝Ｋ×（−０．０４×ＱＰ＋１．６０） （２５＜ＱＰ≦３５）
ｂｐｐ＝Ｋ×（−０．０１×ＱＰ＋０．５５） （３５＜ＱＰ≦４５）
ｂｐｐ＝Ｋ×０．１ （４５＜ＱＰ）
Ｉフレームに関するＭＰＥＧ−２／Ｈ．２６４トランスコーダ符号量制御手法は、以下の４つのステップをＧＯＰ毎に繰り返す。ただし、ＩフレームのＱＰ以外の各種パラメータの更新は、Ｈ．２６４／ＡＶＣ符号化リファレンスソフト（以下、ＪＭ）の手法を適応する。
ステップ１：ＭＰＥＧ−２既符号化情報を取得する。トランスコード処理時にＭＰＥＧ−２を復号する際、ＭＰＥＧ−２符号化時の量子化パラメータＱＰ、及び、Ｉフレームの符号量を取得する。
ステップ２：ＱＰ更新関数の比例係数Ｋを算出する。ステップ１で取得したＭＰＥＧ−２のＱＰ、算出した１画素当たりの符号量ｂｐｐ、ＱＰ更新関数より、出力Ｈ．２６４の符号量を予測する際の基準となる比例係数Ｋを算出する。当該フレームが第２番ＧＯＰ以降のフレームであれば、ステップ４で取得した誤差率を利用しＫを補正する。
ステップ３：量子化パラメータＱＰを更新する。目標符号量より、Ｉフレームに割り当てる符号量ＴＩを設定する。ＴＩの設定は、ＭＰＥＧ−２のＴＭ−５を基に修正したものを利用する。算出したＴＩを利用して１画素あたりの目標符号量を算出し、ＫをＱＰ更新関数に代入することにより、ＱＰを更新する。
ステップ４：Ｋの誤差を補正する。ステップ２で算出したＫと、出力結果を利用して算出したＫの誤差率を算出する。

上記手法により、Ｉフレームに関して入力のＭＰＥＧ−２の符号量と出力のＨ．２６４符号量をほぼ一致させることができ、それにより画質（フレーム毎のＳＮＲ）も安定するとされている。なお、本方式ではＩフレームのみ制御が行われ、Ｐ、Ｂフレームに関しては引継ぎ情報は活用されない。

特開２００３−３０９８５１号公報 特開２００１−１４５１０２号公報 電子情報通信学会総合大会、２００６年３月、Ｄ−１１−２１、「ＭＰＥＧ−２／Ｈ．２６４ トランスコーダ符号量制御方式に関する検討」

しかしながら、特許文献１のトランスコード方法では、動きベクトルや符号化モードについては、入力ストリームの情報引き継ぎによる効率化が述べられているが、画質に関わる量子化制御については、量子化パラメータの再利用方法などは述べられていない。

また、特許文献２のトランスコード方法では、入力ストリームの量子化パラメータを引き継ぎ、その大小に応じた再量子化制御を行っているが、基本的に、ＱＰ値が元々大きい部分、すなわち元々画質が悪いフレームやマクロブロックは、低ビットレート変換においてはデコード後に別の大きなＱＰ値で再エンコードが行われることにより、画質はさらに悪化することが考えられる。さらに、入力ストリームの発生符号量を継承させる方式のため、符号量、画質とも入力ストリームに影響され、入力においてその変動が大きい場合、出力についても同様になる。

また、非特許文献１の方法では、ＱＰ値の大小について入力から出力へ継承されてしまうため、ＱＰ値が元々大きい部分、すなわち元々画質が悪いフレームやマクロブロックは、低ビットレート変換においてはデコード後に別の大きなＱＰ値で再エンコードが行われることより、画質がさらに悪化することが考えられる。さらに、
・入力ストリームの発生符号量を継承させる方式のため、符号量、画質とも入力ストリームに影響され、入力においてその変動が大きい場合、出力についても同様になる。
・入力はＭＰＥＧ−２、出力はＨ．２６４に限定されている。
・Ｉフレーム以外は単純再エンコード方式であり、符号量の制御はエンコーダに大きく依存してしまう。
・イントラマクロブロックの集まりであるＩフレームに対して特別に制御しているのだが、Ｐフレームのイントラマクロブロックについては考慮されていない。
という課題を有している。

そこで、本発明は、上記課題を解決した画像データトランスコーディング装置及びトランスコーディング方法を提供することを目的とする。

上記目的を実現するため本発明によるトランスコーディング装置は、画像データをトランスコードするトランスコーディング装置において、前記画像データをフレーム単位に復号するデコーダと、前記画像データのフレームから各マクロブロック単位で、量子化パラメータＱＰ、イントラ符号量、及びインター符号量で構成される符号化情報を取得する情報抽出部と、前記符号化情報から全てのＱＰ値を固定と仮定した場合のフレーム単位での符号化ビット量を予測し、前記フレーム単位での符号化ビット量を蓄積し、前記蓄積したフレーム単位での符号化ビット量から対象シーケンス全体の予測符号量を計算し、前記予測符号量及び対象シーケンス全体の目標符号量から初期ＱＰ値と全フレームに対するフレーム毎の目標符号量を求める制御部と、前記フレーム単位での符号化ビット量を蓄積する制御情報メモリと、前記初期ＱＰ値とフレーム毎の目標符号量で前記復号されたフレームを再エンコードするエンコーダと、を備えている。

また、前記制御部において、全てのＱＰ値を固定と仮定した場合の符号化ビット量予測には、
ｆ_Ｉ（ＱＰ１）＝αｉ×｛ｆ_ｓ（ＱＰ１）｝^ｔｉ＋βｉ （式３）
及び、
ｆ_Ｐ（ＱＰ１）＝αｐ×｛ｆ_ｓ（ＱＰ１）｝^ｔｐ＋βｐ （式４）
に記載される、イントラ及びインターマクロブロックにおけるＱＰに対する予測符号化ビット量の変換係数導出関数で得られる値を用いることも好ましい。

また、前記制御部において、全てのＱＰ値を固定と仮定した場合の符号化ビット量予測には、
ＩＭＢ＝ｉＭＢ×ｆ_Ｉ（ＱＰ２）／ｆ_Ｉ（ＱＰ１） （式５）
及び
ＰＭＢ＝ｐＭＢ×ｆ_Ｐ（ＱＰ２）／ｆ_Ｐ（ＱＰ１） （式６）
に記載される、イントラ及びインターマクロブロックにおける予測発生符号量の算出値を用いることも好ましい。

また、前記制御部において、対象シーケンス全体の予測発生符号量を目標発生符号量に合致させるために、

を用いることも好ましい。

また、前記制御部において、各フレームの目標発生符号量を算出するために
ＦＢ（ｘ）＝ｆ_Ｉ（ＱＰ３）×ＩＦＢ（ｘ）／ｆ_Ｉ（ＱＰ２）
＋ｆ_ｐ（ＱＰ３）×ＰＦＢ（ｘ）／ｆ_ｐ（ＱＰ２） （式１１）
を用いることも好ましい。

また、前記制御部において、入出力コーデックが異なる場合には、前記式１０および前記式１１の固定ＱＰ値（ＱＰ３）を引数とする変換係数導出関数ｆ_Ｉ（ＱＰ３）、ｆ_ｐ（ＱＰ３）に、出力側コーデックの量子化ステップｆ_ｓ（ＱＰ）を用いることも好ましい。

また、前記制御部において、入出力コーデックが異なる場合の変換係数導出関数ｆ_Ｉ（ＱＰ３）、ｆ_ｐ（ＱＰ３）内のパラメータには、

に示す値を用いることも好ましい。

また、前記制御部において、前記表１に示す値は、入力画像データに応じて更新することも好ましい。また、前記制御部において、前記表１に示す値は、使用するコーデックに応じて更新することも好ましい。

また、前記エンコーダにおいて、ＣＰＢ（Ｃｏｄｉｎｇ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）やＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）の制御を追加することで、ＣＢＲにも適用可能であることも好ましい。

また、前記制御部及びエンコーダにおいて、フレームスキップ処理が行えることも好ましい。

また、前記制御部及びエンコーダにおいて、画像縮小処理が行えることも好ましい。

また、前記制御部及びエンコーダにおいて、画像拡大処理が行えることも好ましい。

上記目的を実現するため本発明による方法は、画像データをトランスコードするトランスコーディングの方法において、前記画像データをフレーム単位に復号するステップと、 前記画像データのフレームから各マクロブロック単位で、量子化パラメータＱＰ、イントラ符号量、及びインター符号量で構成される符号化情報を取得するステップと、前記符号化情報から全てのＱＰ値を固定と仮定した場合のフレーム単位での符号化ビット量を予測するステップと、前記フレーム単位での符号化ビット量を制御情報メモリに蓄積するステップと、前記蓄積したフレーム単位での符号化ビット量から、対象シーケンス全体の予測符号量を計算するステップと、前記予測符号量及び対象シーケンス全体の目標符号量から初期ＱＰ値と全フレームに対するフレーム毎の目標符号量を求めるステップと、前記初期ＱＰ値とフレーム毎の目標符号量で前記復号されたフレームを再エンコードするステップとを含む。

本発明は、図１のように動画像のトランスコードを行う為のデコーダ、エンコーダの組み合わせに、デコーダから各マクロブロック単位でのＱＰ値とイントラ、インター別の符号量を抽出する情報抽出部、抽出した結果からフレーム単位での制御情報を計算し、エンコーダへフレーム単位のＱＰ値と目標符号量を引き渡す制御部、及び制御情報を蓄積する制御情報メモリを設けたものである。

本発明は、入力のストリームからマクロブロック単位でＱＰ値と発生符号量を抽出し、特定の固定ＱＰ値（ＱＰ２）に対応したフレーム符号量を予測計算してバッファに記憶する。これをシーケンス内の全フレームについて行う。これをフェーズ１とする（図２）。

フェーズ１が完了したならば、シーケンス全体の予測発生符号量が、シーケンス全体の目標符号量に合致するように、固定ＱＰ値（ＱＰ３）を繰り返し演算により求める。続いて、求められた固定ＱＰ値（ＱＰ３）とＱＰ２の時の各フレームの予測符号量からスケーリングによりＱＰ３の時の各フレームの予測符号量を全て求め、これを各フレームの目標符号量とする。これをフェーズ２とする。

その結果（固定ＱＰ値（ＱＰ３）および各フレームの目標発生符号量）を制御情報としてフレーム毎にデコード画像とともにエンコーダへ引渡し出力ストリームを生成する。これをフェーズ３とする（図３）。図４に全体の処理フローを示す。

このように、３つのフェーズによる処理により、所望の低ビットレートに変換した場合においても、ＱＰ値の変動を抑えられることにより、シーケンス全体を通して画質が安定する。

本発明は、入力ストリームのＱＰ値を継承せず、ＱＰ値を固定化させる方式のため、低ビットレート変換において、入力が低画質であるフレームやマクロブロックについてさらに画質を悪化させることがない。また、入力ストリームの符号量割当てに依存しない安定した画質で出力が得られるという効果を有している。さらに、入力ストリームから抽出した情報は長時間を対象とするため、対象となる全フレームの発生符号量のスケーリングが計画でき、発生符号量、ＱＰ値の制御が簡素化されるという効果も有する。また、入力ストリームから抽出した情報は長時間を対象とするため、対象となる全フレームの目標発生符号量をスケーリングにより調整ができるため、発生符号量の総和は目標値と一致させることが可能である。

また、１パスエンコードでありながら２パスエンコード方式と同等の画質安定化効果を得ることが可能であり、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４等、多種のコーデック間でのトランスコードが可能である。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。なお、本発明は、入力ストリームからのコンテンツが動画に限らず、動画、静止画の両方について実施することができるが、以下では、入力ストリームからのコンテンツが動画である場合を前提に説明を進める。

本発明は、画質の向上を目的としているため、本実施形態では変換元コンテンツのマクロブロック（以下、ＭＢ）ごとの潜在的な情報量に比例するよう各ＭＢの消費ビット量を予測することで変換後のＱＰ変動を抑え、画質の安定化をはかり、目標のビットレートの動画を出力する。図１は、本発明の実施形態での全体構成のブロック図を示す。本実施形態は、デコーダ１、情報抽出部２、制御部３、制御情報メモリ４、エンコーダ５の構成要素から構成されており、各構成要素間でＱＰ値、符号量、発生符号量、動画データがやり取りされる。

本発明の第１の実施形態は、入出力のコーデックが同じ場合である。本実施形態ではコーデックとしてＨ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４を用いた場合を説明する。

本実施形態は、大きく３つのフェーズに分けることができ、各フェーズの処理の詳細を以下に示す。
［フェーズ１］
図２は、フェーズ１に関係する構成要素のブロック図を示す。情報抽出部２は、対象とする元画像の各フレームからＱＰ値と、イントラ及びインター別の符号化ビット量をＭＢ単位で抽出して、制御部３に渡す。制御部３は、イントラ・インター別に特定の固定ＱＰへの変換を仮想的に行うための、符号化ビット量の予測計算を行って、イントラ符号量、インター符号量と、イントラもしくはインターＭＢ個数をフレーム毎に記録していく。この予測計算には次の式を適用して行う。

１．量子化パラメータ（ＱＰ）を量子化ステップ（ｆ_ｓ（ＱＰ））で置き換える。
・コーデックがＨ．２６４ の場合
ｆ_ｓ（ＱＰ）＝２^{（（ＱＰ−４）／６）} （式１）
・コーデックがＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４の場合
ｆ_ｓ（ＱＰ）＝ＱＰ×２ （式２）

２．イントラＭＢ、インターＭＢ別に、ＱＰに対する予測符号化ビット量の変換係数導出関数ｆ_Ｉ、ｆ_Ｐを求める式を以下のように定義する。
・イントラＭＢにおけるＱＰに対する予測符号化ビット量の変換係数導出関数
ｆ_Ｉ（ＱＰ１）＝αｉ×｛ｆ_ｓ（ＱＰ１）｝^ｔｉ＋βｉ （式３）
・インターＭＢにおけるＱＰに対する予測符号化ビット量の変換係数導出関数
ｆ_Ｐ（ＱＰ１）＝αｐ×｛ｆ_ｓ（ＱＰ１）｝^ｔｐ＋βｐ （式４）
ここで、αｉ、ｔｉ、βｉは、イントラＭＢにおける予測符号化ビット量の変換係数算出におけるパラメータであり、αｐ、ｔｐ、βｐはインターＭＢにおける予測符号化ビット量の変換係数算出におけるパラメータである。
各コーデックに対応した、変換係数導出関数の中で用いられるパラメータの設定例を表１に示す。本パラメータは、入力画像にある程度依存する値であるため、変換係数導出関数ｆ_Ｉ、ｆ_Ｐは、入力画像ごとに更新しても良い。

３．上記の式を用いて特定のＱＰ値（ＱＰ２）への変換と符号化ビット量の予測を次の式により行う。
ＩＭＢ＝ｉＭＢ×ｆ_Ｉ（ＱＰ２）／ｆ_Ｉ（ＱＰ１） （式５）
ＰＭＢ＝ｐＭＢ×ｆ_Ｐ（ＱＰ２）／ｆ_Ｐ（ＱＰ１） （式６）
ここで、ｉＭＢは、入力イントラＭＢビット量であり、ｐＭＢは入力インターＭＢビット量であり、ＱＰ１は、元画像から抽出したＭＢ毎のＱＰ値であり、ＱＰ２は特定の固定ＱＰ値（最初にマニュアルで設定）である。
ＩＭＢは、固定ＱＰへ変換した時のイントラＭＢの予測符号量であり、ＰＭＢは、固定ＱＰへ変換した時のインターＭＢの予測符号量になる。
尚、ｆ_Ｉ（ＱＰ２）／ｆ_Ｉ（ＱＰ１）は、符号量比率を近似する値である。具体的な処理としては、１フレーム分の予測符号化ビット量をイントラＭＢ、インターＭＢ別に制御情報メモリ４に記憶した後、これを対象シーケンス内の全てのフレームに対して実行する。ここまでがフェーズ１である。
１フレーム分の予測符号化ビット量の合計ＩＦＢ、ＰＦＢは、以下の式により求まる。

ここで、ｍｉは、ｘ番目のフレーム内のイントラＭＢ数であり、ｍｐはｘ番目のフレーム内のインターＭＢ数である。
ＩＦＢ（ｆｎ＝ｘ）は、ＱＰ２の時のｘ番目のフレーム内のイントラＭＢの予測符号量の和であり、ＰＦＢ（ｆｎ＝ｘ）は、ＱＰ２の時のｘ番目のフレーム内のインターＭＢの予測符号量の和である。
また、ＱＰ２の時の対象シーケンス全体の予測符号量ＳＢ_ＱＰ２は、

より求まる。ここで、ＦＮはシーケンス内のフレーム数である。
［フェーズ２］

４．次のフェーズ２では、先ずフェーズ１で記録したＱＰ２の時のシーケンス全体の予測符号量の総和ＳＢ_ＱＰ２を元に以下の式１０を用いて新たな固定ＱＰ値（ＱＰ３）に変更することで、予測符合量の総和ＳＢ_ＱＰ３が対象シーケンス全体の目標符号量（低レートへのトランスコード時に与えられたシーケンス全体の符号量）と一致するように繰り返し演算によりＱＰ３を求める。

式１０により、ＱＰ３を求める際、インターＭＢとイントラＭＢに使用する式が異なるので単純な逆算はできない。そのため、目標符号量ＳＢ_ＱＰ３が求まるまでＱＰ３をループで調整する。ＱＰ３＝０〜５１（Ｈ．２６４）、１〜３１（ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４）の範囲で最も近いビット量を求める。目標ビット量との誤差が１％未満になるようにさらにＱＰ３を０．５、０．２５、０．１２５… の値で加減し調整する。この値はフェーズ３の初期ＱＰ３として使用する。

５．求めたＱＰ３を用いて各フレームの目標符号量をスケーリングにより求める。このスケーリングは、イントラ符号量とインター符号量とを別々に行う。
ＦＢ（ｘ）＝ｆ_Ｉ（ＱＰ３）×ＩＦＢ（ｘ）／ｆ_Ｉ（ＱＰ２）
＋ｆ_ｐ（ＱＰ３）×ＰＦＢ（ｘ）／ｆ_ｐ（ＱＰ２） （式１１）
ＦＢ（ｘ）は、ＱＰ３（既知）の時のｘ番目のフレームの目標符号量である。
［フェーズ３］

図３は、フェーズ３に関係する構成要素のブロック図を示す。デコーダ１は、動画データをエンコーダ５に渡し、圧縮符号化処理を行う。この時、フェーズ２で求めた各フレームの目標符号量（ＦＢ（ｘ））とシーケンスを通して固定のＱＰ値（ＱＰ３）もエンコーダ５へ引き渡す。順次フレームをエンコードしていくが、エンコーダ５への設定ビット量と実際の出力ビット量との誤差から、次のフレームへのＱＰ値とビット量の再設定を順次行う。尚、本方式はＶＢＲ符号化を基本とするが、フェーズ３において、ＣＰＢ（Ｃｏｄｉｎｇ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）やＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）の制御を追加することで、ＣＢＲにも適用可能である。

本発明の第２の実施形態では、入出力で別々のコーデックを使用する場合である。実施形態１は、入出力が同様のコーデックの場合であり、Ｈ．２６４同士もしくは、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４の何れか同士である。本実施形態のコーデックが異なる場合においては、式１０、式１１の固定ＱＰ値（ＱＰ３）を引数とする変換係数導出関数ｆ_Ｉ（ＱＰ３）、ｆ_ｐ（ＱＰ３）には、出力側コーデックに対応した量子化ステップｆ_ｓ（ＱＰ）、及び変換係数導出関数中のパラメータ（表１にパラメータ例を記載する）を用いる。

本発明の第３の実施形態では、フレームスキップにより、フレームレートを下げ、全体的に画質を向上させることもできる。その場合は、フェーズ１において、スキップされたフレームビット量は計算に含めない。しかしそれでは、ビット量が実際より少なく見積もられることが考えられるため、スキップされたフレーム（連続する複数フレームである場合がある）とその後に続くスキップされないフレームの内、最も大きいビット量のフレーム情報を使用することが考えられる。

例えば、１５ｆｐｓから１０ｆｐｓに変換する場合は次のようにフレームをスキップする。

１５ｆｐｓ：Ｉ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ …
１０ｆｐｓ：Ｉ Ｘ Ｐ Ｐ Ｘ Ｐ Ｐ Ｘ Ｐ Ｐ Ｘ Ｐ Ｐ Ｘ …
ここで、Ｉは、Ｉフレームを、ＰはＰフレームを、Ｘはスキップフレームを表す。

予測に使用するフレームを、上記のように最も大きいビット量のフレームを使用する場合、例えば、
１５ｆｐｓ： Ｉ_０ Ｐ_１ Ｐ_２ …
１０ｆｐｓ： Ｉ_０ Ｘ Ｐ_ｎ …
であったとき、
Ｐ_２のビット量≧Ｐ_１のビット量ならば、Ｐ_ｎとしてＰ_２を用いて、
Ｐ_２のビット量＜Ｐ_１のビット量ならば、Ｐ_ｎとしてＰ_１を用いる。

本発明の第４の実施形態では、デコード画像の拡大や縮小を行い、それをエンコーダへ入力する。この場合は、フェーズ１にて元画像との面積比によりフレームビット量を調整する。

また、図５は、本発明のシミュレーションによるフレーム対ＰＳＮＲの推移を示す。全体的に平均ＰＳＮＲが向上し、かつ画質変動が抑制されていることが確認できる。ここで、Ｏｒｉｇｉｎａｌは、デコーダとエンコーダ（低レート）をタンデムに接続した場合であり、Ｐｒｏｐｏｓａｌは本発明の方式（入力ストリームからフレーム毎の目標ビット量とＱＰ値を算出して後段のエンコーダ（低レート）に渡してエンコードする方式）による場合である。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。

本発明の実施形態での全体構成のブロック図を示す。 本発明の実施形態のフェーズ１に関係する構成要素のブロック図を示す。 本発明の実施形態のフェーズ３に関係する構成要素のブロック図を示す。 本発明の全体の処理フローを示す。 本発明のシミュレーションによるフレーム対ＰＳＮＲの推移を示す。

符号の説明

１ デコーダ
２ 情報抽出部
３ 制御部
４ 制御情報メモリ
５ エンコーダ

Claims (13)

1. 画像データをトランスコードするトランスコーディング装置において、
   前記画像データをフレーム単位に復号するデコーダと、
   前記画像データのフレームから各マクロブロック単位で、量子化パラメータＱＰ１、イントラ符号量ｉＭＢ、及びインター符号量ｐＭＢで構成される符号化情報を取得する情報抽出部と、
   前記符号化情報から全ての量子化パラメータ値をＱＰ２と固定と仮定した場合のフレーム単位での符号化ビット量を、
   イントラ及びインターマクロブロックにおける量子化パラメータＱＰに対する予測符号化ビット量の変換係数導出関数ｆ _Ｉ （ＱＰ）及びｆ _Ｐ （ＱＰ）を求め、
   前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）を、前記変換係数導出関数の量子化パラメータＱＰ１での値ｆ _Ｉ （ＱＰ１）及びｆ _Ｐ （ＱＰ１）で割った値に、イントラ符号量ｉＭＢ及びインター符号量ｐＭＢを掛けることからイントラ及びインターマクロブロックにおける予測発生符号量ＩＭＢ及びＰＭＢを求め、
   該イントラ及びインターマクロブロックにおける予測発生符号量をフレーム内のイントラ及びインターマクロブロック数分加算することで、予測し、
   前記フレーム単位での符号化ビット量を蓄積し、前記蓄積したフレーム単位での符号化ビット量から対象シーケンス全体の予測符号量ＳＢ _ＱＰ２ を計算し、前記予測符号量ＳＢ _ＱＰ２ 及び対象シーケンス全体の目標符号量から、初期ＱＰ値と全フレームに対するフレーム毎の目標符号量を、
   前記変換係数導出関数の新たな固定量子化パラメータＱＰ３での値ｆ _Ｉ （ＱＰ３）及びｆ _Ｐ （ＱＰ３）を、前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）で割った値に、対象シーケンスのイントラ及びインターマクロブロックにおける予測発生符号量を掛け、イントラ及びインターマクロブロックでの値を加算することから、新たな固定量子化パラメータＱＰ３での予測符合量の総和ＳＢ _ＱＰ３ を求め、該総和ＳＢ _ＱＰ３ が前記予測符号量ＳＢ _ＱＰ２ に一致するような新たな固定量子化パラメータＱＰ３を初期ＱＰ値とすることで求め、
   前記変換係数導出関数の量子化パラメータＱＰ３での値ｆ _Ｉ （ＱＰ３）及びｆ _Ｐ （ＱＰ３）を、前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）で割った値に、イントラ及びインターマクロブロックにおける予測発生符号量を掛け、イントラ及びインターマクロブロックでの値を加算することから、スケーリングによりフレーム毎の目標符号量を
   求める制御部と、
   前記フレーム単位での符号化ビット量を蓄積する制御情報メモリと、
   前記初期ＱＰ値とフレーム毎の目標符号量で前記復号されたフレームを再エンコードするエンコーダと、
   を備えていることを特徴とするトランスコーディング装置。
2. 前記制御部において、ｆ _ｓ （ＱＰ）を量子化パラメータＱＰを量子化ステップに置き換える関数、αｉ、ｔｉ、βｉをイントラマクロブロックにおけるパラメータ、αｐ、ｔｐ、βｐをインターマクロブロックにおけるパラメータとし、
   前記変換係数導出関数ｆ _Ｉ （ＱＰ）及びｆ _Ｐ （ＱＰ）は、
   ｆ_Ｉ（ＱＰ）＝αｉ×｛ｆ_ｓ（ＱＰ））｝^ｔｉ＋βｉ （式３）
   及び、
   ｆ_Ｐ（ＱＰ）＝αｐ×｛ｆ_ｓ（ＱＰ））｝^ｔｐ＋βｐ （式４）
   で表されることを特徴とする請求項１に記載のトランスコーディング装置。
3. 前記制御部において、イントラ及びインターマクロブロックにおける予測発生符号量ＩＭＢ及びＰＭＢは、
   ＩＭＢ＝ｉＭＢ×ｆ_Ｉ（ＱＰ２）／ｆ_Ｉ（ＱＰ１） （式５）
   及び
   ＰＭＢ＝ｐＭＢ×ｆ_Ｐ（ＱＰ２）／ｆ_Ｐ（ＱＰ１） （式６）
   で表されることを特徴とする請求項１に記載のトランスコーディング装置。
4. 前記制御部において、ｍｉをｘ番目のフレーム内のイントラマクロブロック数、ｍｐをｘ番目のフレーム内のインターマクロブロック数、ＦＮをシーケンス内のフレーム数とし、前記新たな固定量子化パラメータＱＰ３での予測符合量の総和ＳＢ _ＱＰ３ は、
   

   

   で表されることを特徴とする請求項１に記載のトランスコーディング装置。
5. 前記制御部において、ｘ番目のフレームでのイントラ及びインターマクロブロックにおける予測発生符号量をＩＦＢ（ｘ）及びＰＦＢ（ｘ）とし、フレーム毎の目標符号量ＦＢ（ｘ）は、
   ＦＢ（ｘ）＝ｆ_Ｉ（ＱＰ３）×ＩＦＢ（ｘ）／ｆ_Ｉ（ＱＰ２）
   ＋ｆ_ｐ（ＱＰ３）×ＰＦＢ（ｘ）／ｆ_ｐ（ＱＰ２） （式１１）
   で表されることを特徴とする請求項１に記載のトランスコーディング装置。
6. 前記制御部において、入出力コーデックが異なる場合には、前記式１０および前記式１１の固定ＱＰ値（ＱＰ３）を引数とする変換係数導出関数ｆ_Ｉ（ＱＰ３）、ｆ_ｐ（ＱＰ３）に、出力側コーデックの量子化ステップｆ_ｓ（ＱＰ）を用いることを特徴とする請求項１から５のいずれか１項に記載のトランスコーディング装置。
7. 前記制御部において、入出力コーデックが異なる場合の変換係数導出関数ｆ_Ｉ（ＱＰ３）、ｆ_ｐ（ＱＰ３）内のパラメータには、
   

   

   に示す値を用いることを特徴とする請求項６に記載のトランスコーディング装置。
8. 前記制御部において、前記表１に示す値は、入力画像データに応じて更新することを特徴とする請求項７に記載のトランスコーディング装置。
9. 前記エンコーダにおいて、ＣＰＢ（Ｃｏｄｉｎｇ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）やＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）の制御を追加することで、ＣＢＲにも適用可能であることを特徴とする請求項１から８のいずれか１項に記載のトランスコーディング装置。
10. 前記制御部及びエンコーダにおいて、フレームスキップ処理が行えることを特徴とする請求項１から９のいずれか１項に記載のトランスコーディング装置。
11. 前記制御部及びエンコーダにおいて、画像縮小処理が行えることを特徴とする請求項１から１０のいずれか１項に記載のトランスコーディング装置。
12. 前記制御部及びエンコーダにおいて、画像拡大処理が行えることを特徴とする請求項１から１１のいずれか１項に記載のトランスコーディング装置。
13. 画像データをトランスコードするトランスコーディングの方法において、
    前記画像データをフレーム単位に復号するステップと、
    前記画像データのフレームから各マクロブロック単位で、量子化パラメータＱＰ１、イントラ符号量ｉＭＢ、及びインター符号量ｐＭＢで構成される符号化情報を取得するステップと、
    前記符号化情報から全ての量子化パラメータ値をＱＰ２と固定と仮定した場合のフレーム単位での符号化ビット量を、
    イントラ及びインターマクロブロックにおける量子化パラメータＱＰに対する予測符号化ビット量の変換係数導出関数ｆ _Ｉ （ＱＰ）及びｆ _Ｐ （ＱＰ）を求め、
    前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）を、前記変換係数導出関数の量子化パラメータＱＰ１での値ｆ _Ｉ （ＱＰ１）及びｆ _Ｐ （ＱＰ１）で割った値に、イントラ符号量ｉＭＢ及びインター符号量ｐＭＢを掛けることからイントラ及びインターマクロブロックにおける予測発生符号量ＩＭＢ及びＰＭＢを求め、
    該イントラ及びインターマクロブロックにおける予測発生符号量をフレーム内のイントラ及びインターマクロブロック数分加算することで、予測するステップと、
    前記フレーム単位での符号化ビット量を制御情報メモリに蓄積するステップと、
    前記蓄積したフレーム単位での符号化ビット量から、対象シーケンス全体の予測符号量ＳＢ _ＱＰ２ を計算するステップと、
    前記予測符号量ＳＢ _ＱＰ２ 及び対象シーケンス全体の目標符号量から、初期ＱＰ値と全フレームに対するフレーム毎の目標符号量を、
    前記変換係数導出関数の新たな固定量子化パラメータＱＰ３での値ｆ _Ｉ （ＱＰ３）及びｆ _Ｐ （ＱＰ３）を、前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）で割った値に、対象シーケンスのイントラ及びインターマクロブロックにおける予測発生符号量を掛け、イントラ及びインターマクロブロックでの値を加算することから、新たな固定量子化パラメータＱＰ３での予測符合量の総和ＳＢ _ＱＰ３ を求め、該総和ＳＢ _ＱＰ３ が前記予測符号量ＳＢ _ＱＰ２ に一致するような新たな固定量子化パラメータＱＰ３を初期ＱＰ値とすることで求め、前記変換係数導出関数の量子化パラメータＱＰ３での値ｆ _Ｉ （ＱＰ３）及びｆ _Ｐ （ＱＰ３）を、前記変換係数導出関数の量子化パラメータＱＰ２での値ｆ _Ｉ （ＱＰ２）及びｆ _Ｐ （ＱＰ２）で割った値に、イントラ及びインターマクロブロックにおける予測発生符号量を掛け、イントラ及びインターマクロブロックでの値を加算することから、スケーリングによりフレーム毎の目標符号量を求めるステップと、
    前記初期ＱＰ値とフレーム毎の目標符号量で前記復号されたフレームを再エンコードするステップと
    を含むことを特徴とするトランスコーディングの方法。

Images