JP4231045B2 - 動画像符号化方法及び装置 - Google Patents

Description

本発明は動画像符号化方法及び装置に係り、特に再符号化時のビットレート制御に関する。

ＭＰＥＧのような動き補償予測を用いた符号化フォーマットによって符号化された動画像データを異なる符号化フォーマットの動画像データに変換したり、動画像データの符号化レートを変更したりすることをトランスコードという。トランスコードは、元の動画像データのＧＯＰ(Group of Picture)構造を変えずに行う方が、効率が良いことが知られている。例えば、ＭＰＥＧ−２方式によりＩピクチャ→Ｐピクチャ→Ｂピクチャ→Ｂピクチャ→Ｐピクチャ→Ｂピクチャ…という順で符号化されている動画像データをＨ．２６４方式の動画像データに変換する場合、ＭＰＥＧ−２方式の動画像データと同じＩピクチャ→Ｐピクチャ→Ｂピクチャ→Ｂピクチャ→Ｐピクチャ→Ｂピクチャ・・・という順で符号化する方が良い。

一方、ＭＰＥＧに代表される動画像符号化では、動画像データのビットレートを制御することが行われる。一般的にビットレート制御（例えばＭＰＥＧ−２ Test Model 5。以降、ＴＭ５とする）を行うには、ＧＯＰ構造が事前に既知である必要がある。そこで、特許文献１に開示されているように動画像データを先読みし、必要な情報を取得してからビットレート制御を行う方法が提案されている。
特開２００１−１４５１１３公報（１６頁、図４）

特許文献１の手法では、ビットレートの制御に際して動画像データの先読みを行う必要があるため、先読み分のバッファが余計に必要になるという問題があった。また、ディジタル放送のようにリアルタイムに受信される動画像データについては先読みすることができないため、高精度なビットレート制御を行うことが難しい。

本発明は、動画像データの先読みを必要とすることなくトランスコード時に高精度なビットレート制御を可能とする動画像符号化方法及び装置を提供することを目的とする。

本発明の一観点によれば、符号化された入力動画像データを再符号化して出力動画像データを得る動画像符号化装置において、前記出力動画像データ中の符号化対象ピクチャのピクチャタイプを予測するピクチャタイプ予測手段と、予測されたピクチャタイプに対する基本割り当て符号量を算出する基本符号量割り当て手段と、前記基本割り当て符号量を調整した調整割り当て符号量を算出する調整符号量算出手段と、前記基本割り当て符号量と前記調整割り当て符号量との差分符号量を累積して累積符号量を算出する差分符号量累積手段と、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと異なる場合は前記符号化対象ピクチャに前記調整割り当て符号量を割り当て、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと同一の場合は前記基本割り当て符号量に前記累積符号量から振り分けられた符号量を加えた割り当て符号量を前記符号化対象ピクチャに割り当てる符号量割り当て手段と、割り当てられた符号量に従って前記入力動画像データを符号化する符号化手段とを具備する動画像符号化装置を提供する。

本発明によれば、符号化対象ピクチャについて予測されたピクチャタイプと実際のピクチャタイプとの違いを符号量割り当てに逐次フィードバックすることにより、トランスコード時に動画像データの先読みを不要として、先読みによるメモリの増加や遅延を生じることなく高精度なビットレート制御を行うことが可能となる。

以下、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る動画像符号化装置の概略構成を示している。本実施形態ではＭＰＥＧ−２に基づく力動画像データを再符号化してＨ．２６４に基づく出力動画像データに変換するトランスコードを例に説明するが、入力動画像データ及び出力動画像データの符号化方式やトランスコードの方式は特に制限されない。

図１において、トランスコーダ１００はＭＰＥＧ−２方式により符号化された入力動画像データであるＭＰＥＧ−２ビットストリーム１０１をデコードして解析するＭＰＥＧ−２デコーダ１０２、ＭＰＥＧ−２デコーダ１０２からのＭＰＥＧ−２解析データ１０３を受け取り、ＭＰＥＧ−２ビットストリームをＨ．２６４方式により再符号化して出力動画像データであるＨ．２６４ビットストリーム１０５に変換するＨ．２６４エンコーダ１０４を有する。

トランスコーダ１００には、さらにＭＰＥＧ−２デコーダ１０２からのＭＰＥＧ−２解析データ１０３とＨ．２６４エンコーダ１０４からの発生符号量情報１０７を受け取り、Ｈ．２６４エンコーダ１０４のビットレートを制御するビットレート制御器１０６が接続される。すなわち、ビットレート制御器１０６はＨ．２６４エンコーダ１０４が再符号化を行う際の各ピクチャに対する割り当て符号量を求め、割り当て符号量情報１０８をＨ．２６４エンコーダ１０４に与える。Ｈ．２６４エンコーダ１０４は、割り当て符号量情報１０８に基づいて例えば量子化スケールを変更することにより、再符号化時の出力動画像データ１０５のビットレートを制御する。

ＭＰＥＧ−２解析データ１０３は、ＭＰＥＧ−２デコーダ１０２内の図示しない可変長復号器から出力される。ＭＰＥＧ−２解析データ１０３の具体例については、後に説明する。

次に、図２を用いてビットレート制御器１０６について説明する。ビットレート制御器１０６は、図２に示されるようにＧＯＰ予測器２０１、基本割り当て符号量算出器２０２、調整割り当て符号量算出器２０３、差分器２０４、差分符号量累積器２０５、累積符号量割り当て器２０６、加算器２０７及び割り当て符号量選択器２０８を有する。

ＧＯＰ予測器２０１は、ＭＰＥＧ−２解析データ１０３からＭＰＥＧ−２ストリーム１０１のＧＯＰ構造を予測し、予測ＧＯＰ構造を示す情報を基本割り当て符号量算出器２０２に与える。基本割り当て符号量算出器２０２は、予測ＧＯＰ構造に応じて入力動画像データ１０１のうちこれから符号化しようとするピクチャ（符号化対象ピクチャという）のピクチャタイプタイプに対して基本的に割り当てる符号量（基本割り当て符号量）を算出する。

調整割り当て符号量算出器２０３は、ＭＰＥＧ−２ストリーム１０１の実際のＧＯＰ構造（以下、実ＧＯＰ構造という）が予測ＧＯＰ構造ではなかった場合、すなわち予測されたピクチャタイプが実際のピクチャタイプと異なる場合に、符号化対象ピクチャに対する割り当て符号量を調整するために、基本割り当て符号量を調整した調整割り当て符号量を算出する。

より具体的には、例えば後述する差分符号量が、予測ＧＯＰ構造に基づき予測されたピクチャタイプが動き補償予測符号化に用いる参照画像でかつ他のピクチャタイプが非参照画像の場合は正の値を取り、予測されたピクチャタイプが非参照画像でかつ他のピクチャタイプが参照画像の場合は負の値を取るように調整割り当て符号量を算出する。

あるいは差分符号量が、予測ＧＯＰ構造に基づき予測されたピクチャタイプが画面間予測符号化画像（Ｐピクチャ）でかつ他のピクチャタイプが双方向画面間予測符号化画像（Ｂピクチャ）である場合は正の値を取り、予測されたピクチャタイプが双方向画面間予測符号化画像（Ｂピクチャ）でかつ他のピクチャタイプが画面間予測符号化画像(Ｐピクチャ)である場合は負の値を取るように調整割り当て符号量を算出する。

差分器２０４は、基本割り当て符号量と調整割り当て符号量との差分（差分符号量）を求める。差分符号量累積器２０５は、差分器２０４により求められた差分符号量を累積する。累積符号量割り当て器２０６は、差分符号量累積器２０３により累積された差分符号量（累積符号量）から符号化対象ピクチャに割り当てる符号量を算出する。加算器２０７は、累積符号量割り当て器２０６により割り当てられた符号量に調整割り当て符号量算出器２０３により算出された調整割り当て符号量を加算する。

符号量選択部２０８は、発生符号量情報１０７と予測ＧＯＰ構造に基づいて調整割り当て符号量及び加算符号量のいずれかを最終的な割り当て符号量として選択し、割り当て符号量情報１０８を出力する。具体的には、符号化対象ピクチャのピクチャタイプが予測ＧＯＰ構造に基づき予測されたピクチャタイプと異なる場合は符号化対象ピクチャに調整割り当て符号量を割り当て、符号化対象ピクチャのピクチャタイプが予測されたピクチャタイプと同一の場合は基本割り当て符号量に累積符号量から振り分けられた符号量を加えた割り当て符号量を符号化対象ピクチャに割り当てる。

次に、図３に示すフローチャートを用いて図２のビットレート制御器１０６の処理手順について説明する。
まず、ＧＯＰ予測器２０１はＭＰＥＧ−２デコーダ１０２からのＭＰＥＧ−２解析データ１０３として、符号化対象ピクチャを表示する順序を示す情報、例えば時刻基準（temporal_reference；ＭＰＥＧ−２ストリーム１０２の各ピクチャのヘッダ情報に存在する、ピクチャの表示順が示される情報）を受け取り、これに基づき符号化対象ピクチャのＧＯＰ構造を予測する（ステップＳ３０１）。ＧＯＰの先頭には必ず符号化順でＩピクチャが来るため、ＧＯＰ予測器２０１は先頭以降のピクチャタイプの並びを予測する。

表１は、Ｐピクチャの間隔が３の場合のＧＯＰ構造とtemporal_referenceの関係を示している。timeは時刻、coding orderは符号化順を表している。表１から明らかなように、例えば現在の時刻がｋ、temporal_referenceが３であった場合、Ｐピクチャの間隔が３でＰピクチャと次のＰピクチャとの間に２枚のＢピクチャが存在することが時刻ｋにおいて判明する。この場合、ＧＯＰ予測器２０１では次の時刻ｋ＋３のＰピクチャが入力されるまで、入力動画像データ１０１を先読みすることなくＧＯＰ構造の予測、すなわちピクチャタイプの予測を行うことが可能となる。

次に、基本割り当て符号量算出器２０２は予測ＧＯＰ構造を元に、Ｈ．２６４エンコーダ１０４が符号化を行う際の各符号化対象ピクチャへの基本的な割り当て符号量（以下、基本割り当て符号量という）を算出する（ステップＳ３０２）。基本割り当て符号量の算出には、様々な方法を用いることができるが、一例としてＴＭ５の場合を例として説明する。

ＴＭ５では、Ｉ／Ｐ／Ｂピクチャタイプに所定の重みを付けて符号量を算出する。例えば、表１に示したようなＰピクチャの間隔が３の構造では、図４に示すような基本割り当て符号量が各符号化対象ピクチャに対して算出される。このとき基本割り当て符号量算出器２０２は、Ｈ．２６４エンコーダ１０４において実際に発生した符号量を示す発生符号量情報１０７を受け取り、次の基本割り当て符号量の算出に実際の発生符号量と基本割り当て符号量との差分符号量をフィードバックする。

次に、Ｈ．２６４エンコーダ１０４はＭＰＥＧ−２デコーダ１０２からのＭＰＥＧ−２解析データ１０３を受け取り、これをＨ．２６４ビットストリームに変換するために、符号化対象ピクチャ（現ピクチャ）の符号化を開始する（ステップＳ３０３）。ＭＰＥＧ−２解析データ１０３は、例えばＭＰＥＧデコーダ１０２がＭＰＥＧ−２ストリーム１０１を完全にデコードしたベースバンド画像データを含んだり、符号化対象のピクチャタイプを含んだり、マクロブロックの符号化モードあるいは動きベクトルを含んだりする。ＭＰＥＧ−２解析データ１０３がマクロブロックの動きベクトルを含んでいる場合は、Ｈ．２６４エンコーダ１０４でエンコード時に必要な動き検出の演算量を減らすことができる。その際、Ｈ．２６４エンコーダ１０４の内部の構成は大きく変わる場合があるが、発明の主旨に関係ないため、ここでは詳細な説明を省略する。

ＭＰＥＧ−２解析データ１０３が符号化対象のピクチャタイプを含んでいる場合、Ｈ．２６４エンコーダ１０４は解析データ１０３に含まれる符号化対象のピクチャタイプと同じピクチャタイプでＨ．２６４ビットストリーム１０５への符号化を行う。このようにＨ．２６４エンコーダ１０４がＭＰＥＧ−２ストリーム１０１中の符号化対象のピクチャタイプと同じピクチャタイプで符号化を行うことで、符号化効率の低下を抑えることができる。以下では、ＭＰＥＧ−２解析データ１０３に符号化対象のピクチャタイプが含まれるものとして説明を行う。

一方、ＭＰＥＧ−２解析データ１０３に符号化対象のピクチャタイプが含まれない場合は、Ｈ．２６４エンコーダ１０４は予測ＧＯＰ構造に従ったピクチャタイプで符号化を行えばよい。

Ｈ．２６４エンコーダ１０４は、ＭＰＥＧ−２解析データ１０３から認識した符号化対象のピクチャタイプで符号化を開始するが、その際、予測ＧＯＰ構造に従った符号化対象のピクチャタイプと一致するか確認する（ステップＳ３０４）。本実施形態のようにＭＰＥＧ−２解析データ１０３がtemporal_referenceであり、temporal_referenceからＧＯＰ予測器２０１がＧＯＰ構造を予測している場合は、ほぼ間違いなく予測ＧＯＰ構造に従った符号化対象のピクチャタイプとＨ．２６４エンコーダ１０４がこれから符号化しようとする符号化対象ピクチャのピクチャタイプは一致する。この場合、処理はステップＳ３０４からステップＳ３０５に移行する。

一方、予測ＧＯＰ構造に従った符号化対象のピクチャタイプがＨ．２６４エンコーダ１０４の符号化対象ピクチャのピクチャタイプと一致しない場合、例えばＭＰＥＧ−２ビットストリーム１０１に付加されていたtemporal_referenceが間違っていた場合や、ＭＰＥＧ−２デコーダ１０２がtemporal_referenceを解析できなかった場合には、予測ＧＯＰ構造は実ＧＯＰ構造と大きく異なる場合が発生する。このような場合は、ステップＳ３０４からステップＳ３０６に移行して調整割り当て符号量を求め、これを用いて符号量割り当てを行うことにより、符号化対象の予測されたピクチャタイプと実際のピクチャタイプの違いを吸収する。

以下、ステップＳ３０６について詳しく説明する。予測ＧＯＰ構造はＰ０→Ｂ１→Ｂ２であるが、実ＧＯＰ構造はＰ０→Ｐ１→Ｐ２であった場合に、Ｈ．２６４エンコーダ１０４がこれからＰ１ピクチャを符号化対象として符号化を行う状況を考える。この場合、当初の予測では符号化対象ピクチャがＢ１ピクチャであったため、基本割り当て符号量算出器２０２ではＢピクチャ分の基本割り当て符号量、すなわちＰピクチャ分よりも少ない基本割り当て符号量を算出している。図４中に示されるようにＢピクチャ分の基本割り当て符号量をαとおき、Ｐピクチャ分の基本割り当て符号量をβとおく。実際に符号化するピクチャはＰ１ピクチャであるため、基本割り当て符号量がαのままでは符号量が足らずに画質に劣化が生じる可能性が高い。

そこで、調整割り当て符号量算出器２０３ではＰピクチャの基本割り当て符号量を画質劣化が生じない程度に調整した符号量（これを調整割り当て符号量という）を算出する。調整割り当て符号量の算出には様々な方法を用いることができるが、例えば単純にα＋（β−α）／２としてもよい。他の算出方法として、Ｂ１→Ｐ１であることから予測して次のＢ２ピクチャもＰ２ピクチャになると考えて、本来Ｐ０→Ｐ１→Ｐ２で割り当てられる基本割り当て符号量を基本割り当て符号量算出器２０２と同様の方法で算出し、それを調整割り当て符号量としてもよい。ここでは図５に示すように、前者の単純な計算で得られる符号量α＋（β−α）／２を調整割り当て符号量γとする。

こうして得られた調整割り当て符号量γの情報が割り当て符号量選択器２０８によって選択され、この情報がビットレート制御部１０６から割り当て符号量情報１０８としてＨ．２６４エンコーダ１０４に入力されることにより、符号化が行われる。調整割り当て符号量γは、当初予定していた基本割り当て符号量（ここではα）よりも大きな値になっているため、差分器２０４によって両者の差分符号量α−γ（以降、δと記載する）を求め、これを差分符号量累積器２０５によって蓄積する。

次に、ステップＳ３０５について詳しく説明する。予測ＧＯＰ構造がＰ０→Ｂ１→Ｂ２であり、実ＧＯＰ構造もＰ０→Ｂ１→Ｂ２であった場合に、ＭＰＥＧ−４エンコーダ１０４がこれからＢ１ピクチャを符号化する状況を考える。当初の予測通りのＢ１ピクチャであるため、基本的には基本割り当て符号量算出器２０２によって算出された基本割り当て符号量が割り当て符号量選択器２０８によって選択され、ビットレート制御部１０６から割り当て符号量情報１０８としてＨ．２６４エンコーダ１０４に入力されることにより、符号化が行われる。

ここで、差分符号量累積器２０５において差分符号量が累積されている場合は、累積された差分符号量（累積符号量という）Σδを累積符号量割り当て器２０６によって基本割り当て符号量にどの程度加えるかを算出する。例えば、累積符号量Σδを現在の基本割り当て符号量αにすべて加えると、予測ＧＯＰ構造と実ＧＯＰ構造との割り当て符号量の差分を１ピクチャでフィードバックすることになる。累積符号量Σδの絶対値が基本割り当て符号量αに比べて非常に大きな値であった場合は、画質変動が大きくなるため、図６に示すようにＮ枚のピクチャに累積符号量Σδを分配したほうがよい。累積符号量Σδの絶対値が基本割り当て符号量αに比べて十分に小さな値であった場合は、画質変動は大きくないため、１枚のピクチャでフィードバックしても問題はない。従って、累積符号量割り当て器２０６は累積符号量Σδの絶対値の大きさを見て、割り当てる符号量の算出方法を切り替えればよい。

次に、予測ＧＯＰ構造が終了したか否か確認を行う（ステップＳ３０７）。予測ＧＯＰ構造がまだ終了していなければ、ステップＳ３０３に戻って次に入力されるピクチャの符号化を開始する。予測ＧＯＰ構造が終了した場合は、ステップＳ３０８に移行する。ステップＳ３０８では、入力されたＭＰＥＧ−２ビットストリーム１０１が終端か否か確認を行う。入力されたＭＰＥＧ−２ビットストリーム１０１が終端であれば、エンコードは終了となる。入力されたＭＰＥＧ−２ビットストリーム１０１が終端でなければ、ステップＳ３０１に戻って再びＧＯＰ構造の予測をＧＯＰ予測器２０１で行う。

以上の処理フローで各ピクチャに対する割り当て符号量が算出され、Ｈ．２６４エンコーダ１０４に入力される。Ｈ．２６４エンコーダ１０４では、与えられた割り当て符号量から実際のエンコード時にビットレート制御のために必要となる量子化スケールを算出する。割り当て符号量から量子化スケールを算出する方式は様々なものがあげられるが、例えばＴＭ５に従えばよい。

このように本実施形態によれば、予測ＧＯＰ構造とは異なるＧＯＰ構造に対して適応的に符号量割り当てを行うことで、トランスコーダにおいて精度の高いビットレート制御を行うことが可能となる。

上記説明ではＭＰＥＧ−２ストリーム１０１からＨ．２６４ストリーム１０５へのトランスコードを示したが、例えばＭＰＥＧ−４ストリームからＨ．２６４ストリームへのトランスコードを行う場合にも、基本的に上記と同様にしてビットレート制御を行うことができる。その場合、ＭＰＥＧ−２デコーダ１０２はＭＰＥＧ−４デコーダに置き換わり、ＧＯＰ予測器２０１に入力される、符号化対象ピクチャを表示する順序を示す情報はvop_time_incrementとなる。表２は、Ｐピクチャの間隔が２の場合のＧＯＰ構造とvop_time_incrementの関係を示している。timeは時刻、coding orderは符号化順を表している。

例えば、ＭＰＥＧ−４ストリームが２９．９７Ｈｚで符号化されている状況下で現在の時刻がｋであったとする。そのときのvop_time_incrementが２００２であった場合、Ｐピクチャの間隔が２でＰピクチャと次のＰピクチャとの間に１枚のＢピクチャが存在することが時刻ｋで判明し、次の時刻ｋ＋２時刻でＰピクチャが来るまで先読みすることなくＧＯＰ構造を予測することが可能となる。

ただし、上記のvop_time_increment ＝２００２→Ｐピクチャ間隔が２という算出の流れにおいては、vop_time_incrementは正確にはfixed_vop_time_incrementがなければ得られないが、fixed_vop_time_incrementはＭＰＥＧ−４ビットストリームを解析すればＭＰＥＧ−４デコーダで得られる。もしfixed_vop_time_incrementが得られなかったとしても、fixed_vop_time_increment はVideo Object Layerに存在するものであって逐次変化するものでないため、数フレーム符号化すれば容易に推定される。従って、最初の数フレームにおいてはＧＯＰ予測器２０１によるＧＯＰ構造の予測精度は落ちるものの、その後は正確なＧＯＰ構造の予測が可能である。

また、符号化方式の変更を伴わずＨ．２６４ストリーム（但し、高ビットレート）からＨ．２６４ストリーム（但し、低ビットレート）へのトランスコードを行う場合にも、同様にビットレート制御を行うことができる。その場合、ＭＰＥＧ−２デコーダ１０２はＨ．２６４デコーダに置き換わり、ＧＯＰ予測器２０１に入力される、符号化対象ピクチャを表示する順序を示す情報は、picture order count（ＰＯＣ)あるいはcpb_removal_delayとなる。

表３は、Ｐピクチャの間隔が３の場合のＧＯＰ構造とＰＯＣの関係を示している。timeは時刻、coding orderは符号化順を表す。

例えば、ＰＯＣを受け取ったとき現在の時刻がｋであったとし、そのときのＰＯＣが６であった場合、Ｐピクチャ間隔が３で、Ｐピクチャと次のＰピクチャとの間に２枚のＢピクチャが存在することが時刻ｋにおいて判明し、次のＰピクチャ（ｋ＋３時刻）が来るまで先読みすることなくＧＯＰ構造を予測することが可能となる。ただし、このＰＯＣ＝６→Ｐピクチャ間隔が３という算出の流れは正確ではなく、ＰＯＣの単位増加分は逐次変化する場合もある。しかし、一般的なＨ．２６４ビットストリームに付加されるＰＯＣは固定幅で増加するものが多いため、数フレーム符号化すればＰＯＣの単位増加分は容易に推定できる値であり、最初の数フレームにおいてはＧＯＰ予測器２０１のＧＯＰ構造の予測精度は落ちるものの、その後は正確なＧＯＰ構造の予測が可能である。

表４は、Ｐピクチャの間隔が３の場合のＧＯＰ構造とcpb_removal_delayの関係を示している。timeは時刻、coding orderは符号化順を表す。

例えば、cpb_removal_delayを受け取っとき現在の時刻がｋであったとし、そのときのcpb_removal_delayが６であった場合、Ｐピクチャ間隔が３でＰピクチャと次のＰピクチャとの間に２枚のＢピクチャが存在することが時刻ｋにおいて判明し、次のＰピクチャ（ｋ＋３時刻）が来るまで先読みすることなくＧＯＰ構造を予測することが可能となる。ただし、このcpb_removal_delay＝６→Ｐピクチャの間隔が３という算出の流れは正確ではなく、cpb_removal_delayの単位増加分は逐次変化する場合もある。しかし、一般的なＨ．２６４ビットストリームは固定フレームレートのものが多く、付加されるcpb_removal_delayは固定幅で増加するものが多い。従って、数フレーム符号化すればcpb_removal_delayの単位増加分は容易に推定できる値であり、最初の数フレームにおいてはＧＯＰ予測器２０１におけるＧＯＰ構造の予測精度は落ちるものの、その後は正確なＧＯＰ構造の予測が可能である。あるいは場合によってＨ．２６４ビットストリームに付加されているtime_scale及びnum_units_in_tickを解析すれば、最初から単位増加分が判明するため、ＧＯＰ予測器２０１はより正確なＧＯＰ構造の予測が可能となる。

なお、上述した動画像符号化装置は、例えば汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、上記のコンピュータ装置に搭載されたプロセッサに符号化された入力動画像データを再符号化して出力動画像データを得る動画像符号化処理をコンピュータに行わせるためのプログラム、例えば（ａ）出力動画像データ中の符号化対象ピクチャのピクチャタイプを予測する処理と、（ｂ）予測されたピクチャタイプに対する基本割り当て符号量を算出する処理と、（ｃ）前記基本割り当て符号量を調整した調整割り当て符号量を算出する処理と、（ｄ）前記基本割り当て符号量と前記調整割り当て符号量との差分符号量を累積して累積符号量を算出する処理と、（ｅ）前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと異なる場合は前記符号化対象ピクチャに前記調整割り当て符号量を割り当て、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと同一の場合は前記基本割り当て符号量に前記累積符号量から振り分けられた符号量を加えた割り当て符号量を前記符号化対象ピクチャに割り当てる処理と、（ｅ）割り当てられた符号量に従って前記入力動画像データを再符号化する処理とを含む動画像符号化処理を前記コンピュータに行わせるためのプログラムを実行させることにより実現することができる。

このとき、動画像符号化装置は上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、上記のプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して配布して、コンピュータ装置に適宜インストールすることで実現してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る動画像符号化装置の概略構成を示すブロック図 図１中のビットレート制御部の詳細を示すブロック図 同実施形態におけるビットレート制御の流れを示すフローチャート ピクチャタイプ毎の基本符号量割り当てを示す図 予測ＧＯＰ構造と実ＧＯＰ構造が同一でない場合の割り当て符号量の変化を示す図 予測ＧＯＰ構造と実ＧＯＰ構造が同一の場合の割り当て符号量の変化を示す図

符号の説明

１００・・・トランスコーダ；
１０１・・・ＭＰＥＧ−２ビットストリーム（入力動画像データ）；
１０２・・・ＭＰＥＧ−２デコーダ；
１０３・・・ＭＰＥＧ−２解析データ；
１０４・・・Ｈ．２６４エンコーダ；
１０５・・・Ｈ．２６４ビットストリーム；
１０６・・・ビットレート制御器；
１０７・・・発生符号量情報；
１０８・・・割り当て符号量情報；
２０１・・・ＧＯＰ予測器；
２０２・・・基本割り当て符号量算出器；
２０３・・・調整割り当て符号量算出器；
２０４・・・差分器；
２０５・・・差分符号量算出器；
２０６・・・累積符号量割り当て器；
２０７・・・加算器；
２０８・・・割り当て符号量選択器。

Claims (13)

1. 符号化された入力動画像データを再符号化して出力動画像データを得る動画像符号化方法において、
   前記出力動画像データ中の符号化対象ピクチャのピクチャタイプを予測するステップと、
   予測されたピクチャタイプに対する基本割り当て符号量を算出するステップと、
   前記基本割り当て符号量を調整した調整割り当て符号量を算出するステップと、
   前記基本割り当て符号量と前記調整割り当て符号量との差分符号量を累積して累積符号量を算出するステップと、
   前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと異なる場合は前記符号化対象ピクチャに前記調整割り当て符号量を割り当て、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと同一の場合は前記基本割り当て符号量に前記累積符号量から振り分けられた符号量を加えた割り当て符号量を前記符号化対象ピクチャに割り当てるステップと、
   割り当てられた符号量に従って前記入力動画像データを再符号化するステップとを具備する動画像再符号化方法。
2. 符号化された入力動画像データを再符号化して出力動画像データを得る動画像符号化装置において、
   前記出力動画像データ中の符号化対象ピクチャのピクチャタイプを予測するピクチャタイプ予測手段と、
   予測されたピクチャタイプに対する基本割り当て符号量を算出する基本符号量割り当て手段と、
   前記基本割り当て符号量を調整した調整割り当て符号量を算出する調整符号量算出手段と、
   前記基本割り当て符号量と前記調整割り当て符号量との差分符号量を累積して累積符号量を算出する差分符号量累積手段と、
   前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと異なる場合は前記符号化対象ピクチャに前記調整割り当て符号量を割り当て、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと同一の場合は前記基本割り当て符号量に前記累積符号量から振り分けられた符号量を加えた割り当て符号量を前記符号化対象ピクチャに割り当てる符号量割り当て手段と、
   割り当てられた符号量に従って前記入力動画像データを再符号化する符号化手段とを具備する動画像符号化装置。
3. 前記ピクチャタイプは、前記符号化対象ピクチャが動き補償予測符号化に用いる参照画像か非参照画像かを示す請求項２記載の動画像符号化装置。
4. 前記ピクチャタイプは、前記符号化対象ピクチャが画面内符号化画像（Ｉピクチャ）、画面間予測符号化画像（Ｐピクチャ）、あるいは双方向画面間予測符号化画像（Ｂピクチャ）のいずれであるかを示す請求項２または３のいずれか１項記載の動画像符号化装置。
5. 前記ピクチャタイプ予測手段は、前記符号化対象ピクチャを表示するタイミングを示す情報を解析することにより前記符号化対象ピクチャのピクチャタイプを予測する請求項２記載の動画像符号化装置。
6. 前記入力動画像データはＭＰＥＧ−２方式により符号化されたＭＰＥＧ−２ストリームであり、前記符号化対象ピクチャを表示するタイミングを示す情報は前記ＭＰＥＧ−２ストリームにおけるtemporal_referenceである請求項５記載の動画像符号化装置。
7. 前記入力動画像データはＭＰＥＧ−４方式により符号化されたＭＰＥＧ−４ストリームであり、前記符号化対象ピクチャを表示するタイミングを示す情報は前記ＭＰＥＧ−４ストリームにおけるvop_time_incrementである請求項５記載の動画像符号化装置。
8. 前記符号化対象ピクチャを表示するタイミングを示す情報は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４ストリームにおけるpicture order count（ＰＯＣ）である請求項５記載の動画像符号化装置。
9. 前記符号化対象ピクチャを表示するタイミングを示す情報は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４ストリームにおけるcpb_removal_delayである請求項５記載の動画像符号化装置。
10. 前記ピクチャタイプ予測手段は、符号化順にＧＯＰ(Group of Picture)の先頭を画面内予測符号化画像（Ｉピクチャ）とし、その後に少なくとも１個の双方向画面間予測符号化（Ｂピクチャ）及び１個の画面間予測符号化（Ｐピクチャ）が周期的に存在するとして前記符号化対象ピクチャのピクチャタイプを予測する請求項２記載の動画像符号化装置。
11. 前記調整割り当て符号量算出手段は、前記差分符号量が、前記予測されたピクチャタイプが動き補償予測符号化に用いる参照画像でかつ他のピクチャタイプが非参照画像の場合は正の値を取り、前記予測されたピクチャタイプが前記非参照画像でかつ他のピクチャタイプが前記参照画像の場合は負の値を取るように前記調整割り当て符号量を算出する請求項２記載の動画像符号化装置。
12. 前記調整割り当て符号量算出手段は、前記差分符号量が、前記予測されたピクチャタイプが画面間予測符号化画像（Ｐピクチャ）でかつ他のピクチャタイプが双方向画面間予測符号化画像（Ｂピクチャ）である場合は正の値を取り、前記予測されたピクチャタイプが双方向画面間予測符号化画像（Ｂピクチャ）でかつ他のピクチャタイプが画面間予測符号化画像(Ｐピクチャ)である場合は負の値を取るように前記調整割り当て符号量を算出する請求項２記載の動画像符号化装置。
13. 符号化された入力動画像データを再符号化して出力動画像データを得る動画像符号化処理をコンピュータに行わせるためのプログラムにおいて、
    前記出力動画像データ中の符号化対象ピクチャのピクチャタイプを予測する処理と、
    予測されたピクチャタイプに対する基本割り当て符号量を算出する処理と、
    前記基本割り当て符号量を調整した調整割り当て符号量を算出する処理と、
    前記基本割り当て符号量と前記調整割り当て符号量との差分符号量を累積して累積符号量を算出する処理と、
    前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと異なる場合は前記符号化対象ピクチャに前記調整割り当て符号量を割り当て、前記符号化対象ピクチャのピクチャタイプが前記予測されたピクチャタイプと同一の場合は前記基本割り当て符号量に前記累積符号量から振り分けられた符号量を加えた割り当て符号量を前記符号化対象ピクチャに割り当てる処理と、
    割り当てられた符号量に従って前記入力動画像データを再符号化する処理とを含む動画像符号化処理を前記コンピュータに行わせるためのプログラム。

Images