JP4527756B2 - 映像符号化制御装置、映像符号化制御方法、映像符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、画像の複雑さ指数に基づいて符号化対象ピクチャのターゲット符号量を決定する映像符号化制御装置およびその方法と、その映像符号化制御装置の実現に用いられる映像符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

ＭＰＥＧ２ test Ｍodel５（以下、ＭＰＥＧ2 ＴＭ５と称する）では、レート制御（量子化制御）を行うにあたって必要となる符号化対象ピクチャのターゲット符号量の決定方法について規格化している（例えば、非特許文献１参照）。

このＭＰＥＧ2 ＴＭ５では、これから符号化する各ピクチャタイプのピクチャ枚数と符号化した各ピクチャタイプのピクチャの複雑さ指数とに基づいて、符号化対象ピクチャのターゲット符号量を決定することについて規格化している。

ここで、あるピクチャβの複雑さ指数Ｘ〔β〕とは、そのピクチャβを符号化したときに発生した符号量Ｓ〔β〕と、その符号化で用いた量子化ステップの平均値 aveＱ（β〕とに基づいて、
Ｘ〔β〕＝Ｓ〔β〕× aveＱ〔β〕
という式に従って導出されることになる。

次に、図１２に従って、ＭＰＥＧ2 ＴＭ５の規格化する符号化対象ピクチャのターゲット符号量の決定方法について説明する。

図１２に示すように、符号化対象ピクチャ（図中に示すピクチャα）を含む未来Ｚ枚のピクチャに含まれるＩピクチャの枚数をＮi 、Ｐピクチャの枚数をＮp 、Ｂピクチャの枚数をＮb と表すならば、ＭＰＥＧ2 ＴＭ５では、符号化対象ピクチャがＰピクチャである場合には、下記の式（１）に従って、そのターゲット符号量Ｔp を決定することを規定し、符号化対象ピクチャがＢピクチャである場合には、下記の式（２）に従って、そのターゲット符号量Ｔb を決定することを規定し、符号化対象ピクチャがＩピクチャである場合には、下記の式（３）に従って、そのターゲット符号量Ｔi を決定することを規定する。

ここで、式中のＫp,Ｋb は定数を表す。また、ＲはＺ枚のピクチャに対する残存符号量（Ｚ枚のピクチャに対する総ターゲット符号量）を表す。また、Ｘi は符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャ（図中に示すピクチャβ）の複雑さ指数を表し、Ｘp は符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの複雑さ指数を表し、Ｘb は符号化対象ピクチャよりも前にかつ最後に符号化したＢピクチャの複雑さ指数を表す。

このように、ＭＰＥＧ2 ＴＭ５では、未来Ｚ枚のピクチャに含まれる各ピクチャに対して、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのそれぞれに、
Ｔi ：Ｔp ：Ｔb ＝（Ｘi ／１）：（Ｘp ／Ｋp ）：（Ｘb ／Ｋb ）
の比でもって、残存符号量Ｒを割り当てることを規定しているのである。

従来技術では、このようなＭＰＥＧ2 ＴＭ５の規格に従って、図１３および図１４に示すフローチャートの処理を実行することで、符号化対象ピクチャのターゲット符号量を決定するようにしている。

すなわち、図１３のフローチャートに示すように、先ず最初に、ステップＳ３００で、ＧＯＰの先頭ピクチャの符号化に入ると、ＧＯＰのピクチャ枚数(gopＮ）と１ピクチャ当たりの平均符号量とを乗算することで、これから符号化するＧＯＰの総ターゲット符号量を算出するとともに、その算出した総ターゲット符号量に対して１つ前のＧＯＰにおいて残った符号量を加算することで、これから符号化するＧＯＰの残存符号量Ｒを求める。

続いて、ステップＳ３０１で、ＧＯＰの先頭ピクチャからの順番に従って符号化対象ピクチャを選択する。続いて、ステップＳ３０２で、メモリから、符号化済みの各種ピクチャタイプのピクチャの複雑さ指数Ｘを読み出す。

続いて、ステップＳ３０３で、読み出した複雑さ指数Ｘの中から、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの複雑さ指数Ｘi と、符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使って符号化対象ピクチャのターゲット符号量Ｔを決定する。

すなわち、図１４のフローチャートに示すように、符号化対象ピクチャがＰピクチャである場合には、複雑さ指数Ｘi,Ｘp,Ｘb を使い、式（１）に従ってターゲット符号量Ｔp を決定し、符号化対象ピクチャがＢピクチャである場合には、複雑さ指数Ｘi,Ｘp,Ｘb を使い、式（２）に従ってターゲット符号量Ｔb を決定し、符号化対象ピクチャがＩピクチャである場合には、複雑さ指数Ｘi,Ｘp,Ｘb を使い、式（３）に従ってターゲット符号量Ｔi を決定する。

続いて、ステップＳ３０４で、決定したターゲット符号量Ｔに従って量子化ステップを設定して符号化対象ピクチャを符号化する。続いて、ステップＳ３０５で、符号化対象ピクチャの符号化で発生した符号量Ｓを測定する。続いて、ステップＳ３０６で、残存符号量Ｒから発生符号量Ｓを差し引くことで残存符号量Ｒを更新する。

続いて、ステップＳ３０７で、符号化対象ピクチャの符号化に用いた量子化ステップＱの平均値 aveＱを算出する。続いて、ステップＳ３０８で、“Ｘ＝Ｓ× aveＱ”に従って符号化対象ピクチャの複雑さ指数Ｘを算出して、メモリに書き込む。

続いて、ステップＳ３０９で、ＧＯＰが終了したのか否かを判断して、ＧＯＰが終了していないことを判断するときには、ステップＳ３０１の処理に戻り、ＧＯＰが終了したことを判断するときには、次のＧＯＰを処理すべくステップＳ３００の処理に戻る。

図１５に、この処理を実行する従来の映像符号化装置の装置構成を図示する。

この図に示すように、従来の映像符号化装置は、符号化部１００とレート制御部２００とで構成され、符号化部１００は、マクロブロック分割部１０１、動き予測部１０２、動き補償部１０３、イントラ・インター選択部１０４、減算器１０５、ＤＣＴ部１０６、量子化部１０７、情報源符号化部１０８、逆量子化部１０９、逆ＤＣＴ部１１０、加算器１１１およびフレームメモリ１１２を備えて、レート制御部２００から与えられる量子化ステップ値に従って符号化対象のマクロブロックを符号化して、そのときに発生した符号量をレート制御部２００に通知する。

一方、レート制御部２００は、ＧＯＰの残りのピクチャ枚数を更新する残りＩＰＢ枚数更新部２０１と、ＧＯＰの残りの符号量を更新するＧＯＰ残り符号量更新部２０２と、ＩＰＢ枚数とＧＯＰ残り符号量と符号化済みピクチャ複雑さ指数メモリ３００から読み出される複雑さ指数とに基づいて、符号化対象ピクチャのターゲット符号量を算出するターゲット符号量算出部２０３と、ターゲット符号量に基づいてマクロブロックの量子化ステップ値を算出して量子化部１０７に与えるマクロブロック量子化ステップ算出部２０４と、情報源符号化部１０８から与えられるマクロブロックの発生符号量を集計することで符号化対象ピクチャの発生符号量を算出するピクチャ発生符号量算出部２０５と、量子化部１０７に与えた量子化ステップ値の符号化対象ピクチャにおける平均値を算出するピクチャ平均量子化ステップ算出部２０６と、量子化ステップ値の平均値と発生符号量とに基づいて符号化を終えた符号化対象ピクチャの複雑さ指数を算出して符号化済みピクチャ複雑さ指数メモリ３００に書き込む複雑さ指数算出部２０７とを備えることで、符号化部１００の実行する符号化を制御する。

従来の映像符号化装置は、この図１５の構成に従って、図１３および図１４のフローチャートを実行することで、ＭＰＥＧ2 ＴＭ５の規格に従って符号化対象ピクチャのターゲット符号量を決定して、それに基づいて符号化対象ピクチャを符号化するようにしているのである。
インターネット＜ＵＲＬ：http://www.mpeg.org/MSSG/tm5/Ch10/Ch10.html ＞

動画像の映像効果の一つであるフェード映像は、シーンチェンジが発生することなく画像の難しさが漸次変化することから、映像符号化におけるレート制御（量子化制御）が困難であるという問題がある。

一方、前述したように、従来の映像符号化装置では、ＭＰＥＧ2 ＴＭ５の規格に従って符号化対象ピクチャのターゲット符号量を決定するようにしている。

これから、従来の映像符号化装置では、フェード映像のような画像の難しさが漸次変化する映像を符号化する場合にも、直近に符号化したＩ・Ｐ・Ｂピクチャの符号化結果である複雑さ指数Ｘi,Ｘp,Ｘb を使って符号化対象ピクチャのターゲット符号量を決定するようにしている。

しかしながら、このような方法では、時間的にかなり前に求まった複雑さ指数を未来に符号化する同種のピクチャタイプの複雑さ指数として利用して、これから符号化する符号化対象ピクチャのターゲット符号量を予測することになる。

これから、従来の映像符号化装置では、符号化対象ピクチャのターゲット符号量の予測精度が上がらず、フェードイン映像（暗い画面がだんだん明るくなっていく映像）の符号化の場合には、符号量が予想よりも出すぎるという問題や、逆に、フェードアウト映像（明るい画面がだんだん暗くなってなっていく映像）の符号化の場合には、符号量が予想よりも出ないという問題がある。

このように、従来技術では、時間的にかなり前に求まった複雑さ指数を未来に符号化する同種のピクチャタイプの複雑さ指数として利用して、これから符号化する符号化対象ピクチャのターゲット符号量を決定するようにしていることから、ターゲット符号量の予測精度が上がらず、画像の難しさが漸次変化する映像を符号化する場合に、符号化制御が安定しないことで画質が劣化するという問題がある。

特に、ＩピクチャはＧＯＰの先頭に出現するだけであり、ＰピクチャやＢピクチャに比べて出現回数が少ないことから、時間的にかなり前に求まった複雑さ指数を使うことになり、この問題を大きなものにしている。

本発明はかかる事情に鑑みてなされたものであって、画像の難しさが漸次変化する映像を符号化する場合にも、安定した符号化制御を実現できるようにする新たな映像符号化制御技術の提供を目的とする。

〔１〕本発明の構成
前述の目的を達成するために、本発明の映像符号化制御装置は、これから符号化する所定枚数のピクチャに含まれる各ピクチャタイプのピクチャ枚数と、符号化対象ピクチャよりも前にかつ最後に符号化した各ピクチャタイプのピクチャの複雑さ指数とに基づいて、符号化対象ピクチャの目標符号量を決定するという構成を採るときに、（１）符号化対象ピクチャの画面特徴量を算出する算出手段と、（２）算出手段の算出した画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定する設定手段と、（３）設定手段の設定した複雑さ指数を用いて、符号化対象ピクチャの目標符号量を決定する決定手段とを備えるように構成する。
ここで、符号化対象ピクチャがＢピクチャである場合には、（ｉ）設定手段は、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を補正しないようにし、（ii）決定手段は、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数として、符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの目標符号量の決定の際に用いたＩピクチャの複雑さ指数を用いることを決定するようにする。

この構成を採るときに、画面特徴量として画面分散合計値を用いることがあり、この場合には、算出手段は、画面特徴量として画面分散合計値を算出し、設定手段は、算出手段の算出した画面分散合計値と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面分散合計値とに基づいて、Ｉピクチャの複雑さ指数を設定する。

以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化制御装置では、画像の複雑さ指数の示す挙動と画面分散合計値（画像内の画素についてのＬ１分散やＬ２分散などの値）などのような画面特徴量の示す挙動とが類似しているということに着目して、Ｉ・Ｐ・Ｂピクチャの内で出現頻度が最も少ないことで時間的にかなり前に求まった複雑さ指数を使うことになるＩピクチャの複雑さ指数を補正対象として、符号化対象ピクチャの画面特徴量を算出し、その算出した符号化対象ピクチャの画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定して、その設定した複雑さ指数を用いて符号化対象ピクチャの目標符号量を決定するようにする。

このとき、Ｂピクチャについては並び替えが起こることを考慮して、符号化対象ピクチャがＢピクチャである場合には、Ｉピクチャの複雑さ指数の補正は行わずに、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数として、符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの目標符号量の決定の際に用いたＩピクチャの複雑さ指数を用いるようにする。

このようにして、本発明の映像符号化制御装置では、符号化対象ピクチャの目標符号量を決定するにあたって、Ｉピクチャの複雑さ指数に関して、時間的にかなり前の複雑さ指数を使うのではなくて、画面特徴量の変化を使って予測した符号化対象ピクチャ時点の複雑さ指数を使うようにすることから、符号化対象ピクチャの目標符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化を発生を防ぐことができるようになる。

〔２〕本発明に関連する発明の構成
前述の目的を達成するために、本発明に関連する発明の映像符号化制御装置は、これから符号化する所定枚数のピクチャに含まれる各ピクチャタイプのピクチャ枚数と、符号化対象ピクチャよりも前にかつ最後に符号化した各ピクチャタイプのピクチャの複雑さ指数とに基づいて、符号化対象ピクチャの目標符号量を決定するという構成を採るときに、（１）符号化対象ピクチャよりも後にかつ最初に符号化することになるＩピクチャの画面特徴量を算出する算出手段と、（２）算出手段の算出した画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定する設定手段と、（３）設定手段の設定した複雑さ指数を用いて、符号化対象ピクチャの目標符号量を決定する決定手段とを備えるように構成する。

この構成を採るときに、画面特徴量として画面分散合計値を用いることがあり、この場合には、算出手段は、画面特徴量として画面分散合計値を算出し、設定手段は、算出手段の算出した画面分散合計値と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面分散合計値とに基づいて、Ｉピクチャの複雑さ指数を設定する。

以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明に関連する発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明に関連する発明を実現することになる。

このように構成される本発明に関連する発明の映像符号化制御装置では、画像の複雑さ指数の示す挙動と画面分散合計値（画面内の画素についてのＬ１分散やＬ２分散などの値）などのような画面特徴量の示す挙動とが類似しているということに着目して、Ｉ・Ｐ・Ｂピクチャの内で出現頻度が最も少ないことで時間的にかなり前に求まった複雑さ指数を使うことになるＩピクチャの複雑さ指数を補正対象として、符号化対象ピクチャよりも後にかつ最初に符号化することになるＩピクチャの画面特徴量を算出し、その算出した符号化対象ピクチャの画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定して、その設定した複雑さ指数を用いて符号化対象ピクチャの目標符号量を決定するようにする。

このようにして、本発明に関連する発明の映像符号化制御装置では、符号化対象ピクチャの目標符号量を決定するにあたって、Ｉピクチャの複雑さ指数に関して、時間的にかなり前の複雑さ指数を使うのではなくて、画面特徴量の変化を使って予測した符号化対象ピクチャよりも未来の時点の複雑さ指数を使うようにすることから、符号化対象ピクチャの目標符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化を発生を防ぐことができるようになる。

本発明によれば、符号化対象ピクチャの目標符号量を決定するにあたって、Ｉピクチャの複雑さ指数に関して、時間的にかなり前の複雑さ指数を使うのではなくて、画面特徴量の変化を使って予測した符号化対象ピクチャ時点の複雑さ指数を使うようにすることから、符号化対象ピクチャの目標符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化を発生を防ぐことができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明の適用される映像符号化装置１の装置構成を図示する。

この図に示すように、本発明の適用される映像符号化装置１は、符号化部１００とレート制御部２００とで構成され、符号化部１００は、レート制御部２００から与えられる量子化ステップ値に従って符号化対象のマクロブロックを符号化して、そのときに発生した符号量をレート制御部２００に通知し、レート制御部２００は、符号化部１００から受け取った発生符号量に基づいて残存するターゲット符号量を更新しつつ、符号化対象のマクロブロックの量子化ステップ値を設定して符号化部１００に与える。

〔１〕本発明の一実施形態例
次に、図２に従って、本発明の一実施形態例による符号化対象ピクチャのターゲット符号量の決定方法について説明する。

本実施形態例では、
（イ）画像の複雑さ指数の示す挙動と画面分散合計値の示す挙動とが類似していると いうことと、
（ロ）符号化対象ピクチャをピクチャαと表し、符号化対象ピクチャよりも前にかつ 最後に符号化したＩピクチャをピクチャβと表すならば、ピクチャαとピクチ ャβとについては画面分散合計値が算出可能であるということ
に着目して、ピクチャβの複雑さ指数Ｘi[β] と、ピクチャβの画面分散合計値var[β] と、ピクチャαの画面分散合計値var[α] とに基づいて、ピクチャαがＩピクチャである場合の複雑さ指数Ｘi[α] を、
Ｘi[α] ＝Ｘi[β] ×（var[α] ／var[β] ）
と予測して、従来技術がピクチャαのターゲット符号量の決定に用いていた式（１）や式（３）に示す複雑さ指数Ｘi の代わりに、この予測したＸi[α] を用いるようにするという構成を採る。

なお、以下では、Ｉピクチャであるピクチャβを簡単のためにＩピクチャβと記載することがある。

ここで、画面分散合計値としては、下記に示すＬ１分散の値やＬ２分散の値などを用いることが可能である。

Ｌ１分散値＝ΣΣ｜Ｉ_xy−Ａ_ve｜
ただし、ΣΣはマクロブロック内画素についての総和
Ｉ_xyはマクロブロック内画素の画素値
Ａ_veはマクロブロック内画素の画素値の平均値
Ｌ２分散値＝ΣΣ｜Ｉ_xy−Ａ_ve｜²
ただし、ΣΣはマクロブロック内画素についての総和
Ｉ_xyはマクロブロック内画素の画素値
Ａ_veはマクロブロック内画素の画素値の平均値
図３および図４に、本実施形態例で構成されるレート制御部２００が実行するフローチャートを図示する。

次に、図３および図４のフローチャートに従って、本実施形態例が実行する符号化対象ピクチャのターゲット符号量の決定処理について説明する。

本実施形態例に従う場合、レート制御部２００は、図３のフローチャートに示すように、先ず最初に、ステップＳ１００で、ＧＯＰの先頭ピクチャの符号化に入ると、ＧＯＰのピクチャ枚数(gopＮ）と１ピクチャ当たりの平均符号量とを乗算することで、これから符号化するＧＯＰの総ターゲット符号量を算出するとともに、その算出した総ターゲット符号量に対して１つ前のＧＯＰにおいて残った符号量を加算することで、これから符号化するＧＯＰの残存符号量Ｒを求める。

続いて、ステップＳ１０１で、ＧＯＰの先頭ピクチャからの順番に従って符号化対象ピクチャαを選択する。

続いて、ステップＳ１０２で、符号化対象ピクチャαの画面分散合計値var[α] を算出する。

続いて、ステップＳ１０３で、メモリから、符号化対象ピクチャαよりも前にかつ最後に符号化したＩピクチャβの画面分散合計値var[β] を読み出す。Ｉピクチャβについては符号化対象ピクチャαよりも前に符号化しており、その際に画面分散合計値var[β] を算出してメモリに保存しているので、それをメモリから読み出すのである。

続いて、ステップＳ１０４で、メモリから、Ｉピクチャβの複雑さ指数Ｘi[β] を含む、符号化済みの各種ピクチャタイプのピクチャの複雑さ指数Ｘを読み出す。

続いて、ステップＳ１０５で、メモリから読み出した複雑さ指数Ｘと、算出した画面分散合計値var[α] と、メモリから読み出した画面分散合計値var[β] と、前述したＮi,Ｎp,Ｎb とを使って符号化対象ピクチャαのターゲット符号量Ｔを決定する。

すなわち、ステップＳ１０５の処理に入ると、図４のフローチャートに示すように、先ず最初に、ステップＳ１０５０で、符号化対象ピクチャαがＰピクチャであるのか否かを判断して、符号化対象ピクチャαがＰピクチャであることを判断するときには、ステップＳ１０５１に進んで、Ｉピクチャβの複雑さ指数Ｘi[β] と、Ｉピクチャβの画面分散合計値var[β] と、符号化対象ピクチャαの画面分散合計値var[α] とに基づいて、
Ｘi[α] ＝Ｘi[β] ×（var[α] ／var[β] ）
という算出式に従って、符号化対象ピクチャαがＩピクチャであるならば持つであろう複雑さ指数Ｘi[α] を予測する。

続いて、ステップＳ１０５２で、その予測した複雑さ指数Ｘi[α] を式（１）で用いる複雑さ指数Ｘi として設定するとともに、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（１）に従ってターゲット符号量Ｔp を決定する。

一方、ステップＳ１０５０で符号化対象ピクチャがＰピクチャでないことを判断するときには、ステップＳ１０５３に進んで、符号化対象ピクチャαがＢピクチャであるのか否かを判断して、符号化対象ピクチャαがＢピクチャであることを判断するときには、ステップＳ１０５４に進んで、メモリから、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャのターゲット符号量の算出の際に用いた複雑さ指数Ｘi を取得する。

続いて、ステップＳ１０５５で、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、その取得した複雑さ指数Ｘi とその抽出したＸp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（２）に従ってターゲット符号量Ｔb を決定する。

ここで、符号化対象ピクチャαがＢピクチャである場合に、ステップＳ１０５１で実行するような予測処理を行わないのは、Ｂピクチャについては並び替えが起こることで、そのような予測処理を行うことが適切ではないからである。

一方、ステップＳ１０５３で符号化対象ピクチャαがＢピクチャでないことを判断するとき、すなわち、符号化対象ピクチャαがＩピクチャであることを判断するときには、ステップＳ１０５６に進んで、Ｉピクチャβの複雑さ指数Ｘi[β] と、Ｉピクチャβの画面分散合計値var[β] と、Ｉピクチャである符号化対象ピクチャαの画面分散合計値var[α] とに基づいて、
Ｘi[α] ＝Ｘi[β] ×（var[α] ／var[β] ）
という算出式に従って、Ｉピクチャである符号化対象ピクチャαを符号化する場合の複雑さ指数Ｘi[α] を予測する。

続いて、ステップＳ１０５７で、その予測した複雑さ指数Ｘi[α] を式（３）で用いる複雑さ指数Ｘi として設定するとともに、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（３）に従ってターゲット符号量Ｔi を決定する。

このようにして、図４のフローチャートを実行することでステップＳ１０５の処理を終了すると、続いて、ステップＳ１０６で、決定したターゲット符号量Ｔに従って量子化ステップを設定して符号化対象ピクチャαを符号化する。

続いて、ステップＳ１０７で、符号化対象ピクチャαの符号化で発生した符号量Ｓを測定する。続いて、ステップＳ１０８で、残存符号量Ｒから発生符号量Ｓを差し引くことで残存符号量Ｒを更新する。

続いて、ステップＳ１０９で、符号化対象ピクチャαの符号化に用いた量子化ステップＱの平均値 aveＱを算出する。続いて、ステップＳ１１０で、“Ｘ＝Ｓ× aveＱ”に従って符号化対象ピクチャαの複雑さ指数Ｘを算出して、メモリに書き込む。

続いて、ステップＳ１１１で、ＧＯＰが終了したのか否かを判断して、ＧＯＰが終了していないことを判断するときには、ステップＳ１０１の処理に戻り、ＧＯＰが終了したことを判断するときには、次のＧＯＰを処理すべくステップＳ１００の処理に戻る。

図５に、この処理を実行する本実施形態例の映像符号化装置１の装置構成を図示する。ここで、図１５に示したものと同じものについては同一の記号で示してある。

この図５に示すように、本実施形態例では、図１５に示した従来技術と異なって、符号化済みＩピクチャ分散値メモリ３０１を備え、さらに、符号化部１００がマクロブロック分散値算出部１１３を備え、さらに、レート制御部２００がピクチャ分散値算出部２０８とＩピクチャ複雑さ指数補正部２０９とを備え、さらに、レート制御部２００が図１５に示したターゲット符号量算出部２０３とは異なる処理を実行するターゲット符号量算出部２０３ｘを備える。

この符号化済みＩピクチャ分散値メモリ３０１は、符号化を終えたＩピクチャβの画面分散合計値var[β] を保存する。

マクロブロック分散値算出部１１３は、符号化対象マクロブロックの分散値を算出する。

ピクチャ分散値算出部２０８は、マクロブロック分散値算出部１１３の算出した分散値を集計することで符号化対象ピクチャαの画面分散合計値var[α] を算出する。

Ｉピクチャ複雑さ指数補正部２０９は、符号化済みピクチャ複雑さ指数メモリ３００から読み出したＩピクチャβの複雑さ指数Ｘi[β] と、符号化済みＩピクチャ分散値メモリ３０１から読み出したＩピクチャβの画面分散合計値var[β] と、ピクチャ分散値算出部２０８の算出した符号化対象ピクチャαの画面分散合計値var[α] とに基づいて、符号化対象ピクチャαがＰピクチャである場合には、符号化対象ピクチャαがＩピクチャであるならば持つであろう複雑さ指数Ｘi[α] を予測し、符号化対象ピクチャαがＩピクチャである場合には、その複雑さ指数Ｘi[α] を予測する。

ターゲット符号量算出部２０３ｘは、Ｉピクチャ複雑さ指数補正部２０９の予測した複雑さ指数Ｘi[α] と、符号化済みピクチャ複雑さ指数メモリ３００から読み出した複雑さ指数Ｘとに基づいて、図４のフローチャートを実行することで、符号化対象ピクチャαのターゲット符号量Ｔを算出する。

本実施形態例の映像符号化装置１は、この図５の構成に従って、図３および図４のフローチャートを実行することで、符号化対象ピクチャαのターゲット符号量を決定するにあたって、Ｉピクチャの複雑さ指数に関して、画面分散合計値の変化を使って予測した符号化対象ピクチャαの時点の複雑さ指数Ｘi[α] を使うように処理するのである。

この構成に従って、本実施形態例の映像符号化装置１によれば、符号化対象ピクチャαのターゲット符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化を発生を防ぐことができるようになる。

〔２〕本発明に関連する発明
次に、図６に従って、本発明に関連する発明による符号化対象ピクチャのターゲット符号量の決定方法について説明する。

本発明に関連する発明では、
（イ）画像の複雑さ指数の示す挙動と画面分散合計値の示す挙動とが類似していると いうことと、
（ロ）符号化対象ピクチャをピクチャαと表し、符号化対象ピクチャよりも前にかつ 最後に符号化したＩピクチャをピクチャβと表すならば、ピクチャβについて は画面分散合計値が算出可能であるということ
（ハ）符号化対象ピクチャよりも後にかつ最初に符号化することになるＩピクチャを ピクチャγと表すならば、ピクチャγまでの映像を先読みしておくことで、ピ クチャγについては画面分散合計値が算出可能であるということ
に着目して、ピクチャβの複雑さ指数Ｘi[β] と、ピクチャβの画面分散合計値var[β] と、ピクチャγの画面分散合計値var[γ] とに基づいて、ピクチャγの複雑さ指数Ｘi[γ] を、
Ｘi[γ] ＝Ｘi[β] ×（var[γ] ／var[β] ）
と予測して、従来技術が符号化対象ピクチャαのターゲット符号量の決定に用いていた式（１）〜式（３）に示す複雑さ指数Ｘi の代わりに、この予測したＸi[γ] を用いるようにするという構成を採る。

図７および図８に、本発明に関連する発明で構成されるレート制御部２００が実行するフローチャートを図示する。

次に、図７および図８のフローチャートに従って、本発明に関連する発明が実行する符号化対象ピクチャαのターゲット符号量の決定処理について説明する。

本発明に関連する発明に従う場合、レート制御部２００は、図７のフローチャートに示すように、先ず最初に、ステップＳ２００で、ＧＯＰの先頭ピクチャの符号化に入ると、ＧＯＰのピクチャ枚数(gopＮ）と１ピクチャ当たりの平均符号量とを乗算することで、これから符号化するＧＯＰの総ターゲット符号量を算出するとともに、その算出した総ターゲット符号量に対して１つ前のＧＯＰにおいて残った符号量を加算することで、これから符号化するＧＯＰの残存符号量Ｒを求める。

続いて、ステップＳ２０１で、ＧＯＰの先頭ピクチャからの順番に従って符号化対象ピクチャαを選択する。

続いて、ステップＳ２０２で、次にＩピクチャとして符号化することになるピクチャγの画面分散合計値var[γ] を算出する。ピクチャγについては先読みしているので、その先読みしているピクチャγの画面分散合計値var[γ] を算出するのである。

続いて、ステップＳ２０３で、メモリから、符号化対象ピクチャαよりも前にかつ最後に符号化したＩピクチャβの画面分散合計値var[β] および複雑さ指数Ｘi[β] を読み出す。Ｉピクチャβについては符号化対象ピクチャαよりも前に符号化しており、その際に画面分散合計値var[β] および複雑さ指数Ｘi[β] を算出してメモリに保存しているので、それらをメモリから読み出すのである。

続いて、ステップＳ２０４で、Ｉピクチャβの複雑さ指数Ｘi[β] と、Ｉピクチャβの画面分散合計値var[β] と、ピクチャγの画面分散合計値var[γ] とに基づいて、
Ｘi[γ] ＝Ｘi[β] ×（var[γ] ／var[β] ）
という算出式に従って、Ｉピクチャであるピクチャγを符号化する場合の複雑さ指数Ｘi[γ] を予測する。

なお、以下では、Ｉピクチャであるピクチャγを簡単のためにＩピクチャγと記載することがある。

続いて、ステップＳ２０５で、メモリから、符号化済みの各種ピクチャタイプのピクチャの複雑さ指数Ｘを読み出す。

続いて、ステップＳ２０６で、予測した複雑さ指数Ｘi[γ] と、メモリから読み出した複雑さ指数Ｘと、前述したＮi,Ｎp,Ｎb とを使って符号化対象ピクチャαのターゲット符号量Ｔを決定する。

すなわち、ステップＳ２０６の処理に入ると、図８のフローチャートに示すように、先ず最初に、ステップＳ２０６０で、符号化対象ピクチャαがＰピクチャであるのか否かを判断して、符号化対象ピクチャαがＰピクチャであることを判断するときには、ステップＳ２０６１に進んで、ステップＳ２０４で予測した複雑さ指数Ｘi[γ] を式（１）で用いる複雑さ指数Ｘi として設定するとともに、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（１）に従ってターゲット符号量Ｔp を決定する。

一方、ステップＳ２０６１で符号化対象ピクチャαがＰピクチャでないことを判断するときには、ステップＳ２０６２に進んで、符号化対象ピクチャαがＢピクチャであるのか否かを判断して、符号化対象ピクチャαがＢピクチャであることを判断するときには、ステップＳ２０６３に進んで、ステップＳ２０４で予測した複雑さ指数Ｘi[γ] を式（２）で用いる複雑さ指数Ｘi として設定するとともに、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（２）に従ってターゲット符号量Ｔb を決定する。

一方、ステップＳ２０６２で符号化対象ピクチャαがＢピクチャでないことを判断するとき、すなわち、符号化対象ピクチャαがＩピクチャであることを判断するときには、ステップＳ２０６４に進んで、ステップＳ２０４で予測した複雑さ指数Ｘi[γ] を式（３）で用いる複雑さ指数Ｘi として設定するとともに、メモリから読み出した複雑さ指数Ｘの中から、符号化対象ピクチャαよりも前にかつ最後に符号化したＰピクチャの複雑さ指数Ｘp と、符号化対象ピクチャαよりも前にかつ最後に符号化したＢピクチャの複雑さ指数Ｘb とを抽出して、それらの複雑さ指数Ｘi,Ｘp,Ｘb と前述したＮi,Ｎp,Ｎb とを使い、前述した式（３）に従ってターゲット符号量Ｔi を決定する。

このようにして、図８のフローチャートを実行することで、ステップＳ２０６の処理を終了すると、続いて、ステップＳ２０７で、決定したターゲット符号量Ｔに従って量子化ステップを設定して符号化対象ピクチャαを符号化する。

続いて、ステップＳ２０８で、符号化対象ピクチャαの符号化で発生した符号量Ｓを測定する。続いて、ステップＳ２０９で、残存符号量Ｒから発生符号量Ｓを差し引くことで残存符号量Ｒを更新する。

続いて、ステップＳ２１０で、符号化対象ピクチャαの符号化に用いた量子化ステップＱの平均値 aveＱを算出する。続いて、ステップＳ２１１で、“Ｘ＝Ｓ× aveＱ”に従って符号化対象ピクチャαの複雑さ指数Ｘを算出して、メモリに書き込む。

続いて、ステップＳ２１２で、ＧＯＰが終了したのか否かを判断して、ＧＯＰが終了していないことを判断するときには、ステップＳ２０１の処理に戻り、ＧＯＰが終了したことを判断するときには、次のＧＯＰを処理すべくステップＳ２００の処理に戻る。

図９に、この処理を実行する本発明に関連する発明の映像符号化装置１の装置構成を図示する。ここで、図１５に示したものと同じものについては同一の記号で示してある。

この図９に示すように、本発明に関連する発明では、図１５に示した従来技術と異なって、符号化済みＩピクチャ分散値メモリ３０１とフレームメモリ４００とピクチャ分散先行算出部５００とを備え、さらに、レート制御部２００がピクチャ分散値算出部２０８ｙとＩピクチャ複雑さ指数補正部２０９ｙとを備え、さらに、レート制御部２００が図１５に示したターゲット符号量算出部２０３とは異なる処理を実行するターゲット符号量算出部２０３ｙを備える。

この符号化済みＩピクチャ分散値メモリ３０１は、符号化を終えたＩピクチャβの画面分散合計値var[β] を保存する。

フレームメモリ４００は、符号化部１００へ入力される入力画像を遅延させることで、ピクチャγの先読みを実現する。

ピクチャ分散先行算出部５００は、フレームメモリ４００へ入力される入力画像を先読みする形で入力して、その入力した入力画像をマクロブロックに分割するマクロブロック分割部５０１と、マクロブロック分割部５０１の分割したマクロブロックの分散値を算出するマクロブロック分散先行算出部５０２とを備える。

ピクチャ分散値算出部２０８ｙは、マクロブロック分散先行算出部５０２の算出した分散値を集計することで符号化対象ピクチャαに先行するＩピクチャγの画面分散合計値var[γ] を算出する。

Ｉピクチャ複雑さ指数補正部２０９ｙは、符号化済みピクチャ複雑さ指数メモリ３００から読み出したＩピクチャβの複雑さ指数Ｘi[β] と、符号化済みＩピクチャ分散値メモリ３０１から読み出したＩピクチャβの画面分散合計値var[β] と、ピクチャ分散値算出部２０８ｙの算出したピクチャγの画面分散合計値var[γ] とに基づいて、ピクチャγを符号化する場合の複雑さ指数Ｘi[γ] を予測する。

ターゲット符号量算出部２０３ｙは、Ｉピクチャ複雑さ指数補正部２０９ｙの予測した複雑さ指数Ｘi[γ] と、符号化済みピクチャ複雑さ指数メモリ３００から読み出した複雑さ指数Ｘとに基づいて、図８のフローチャートを実行することで、符号化対象ピクチャαのターゲット符号量Ｔを算出する。

本発明に関連する発明の映像符号化装置１は、この図９の構成に従って、図７および図８のフローチャートを実行することで、符号化対象ピクチャαのターゲット符号量を決定するにあたって、Ｉピクチャの複雑さ指数に関して、画面分散合計値の変化を使って予測した未来のＩピクチャγの複雑さ指数Ｘi[γ] を使うように処理するのである。

この構成に従って、本発明に関連する発明の映像符号化装置１によれば、符号化対象ピクチャαのターゲット符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化を発生を防ぐことができるようになる。

〔３〕本発明の有効性を検証するために行った実験結果について
図１０および図１１に、本発明の有効性を検証すべく、グレー画像から動画像へとフェードすることを想定して行った実験結果を図示する。

図１０は前述した本発明の一実施形態例を用いた場合の実験結果を示し、図１１は従来技術を用いた場合の実験結果を示す。

ここで、横軸はフレーム番号０のグレー画像から動画像へとフェードする映像のフレーム番号を示し、縦軸は複雑さ指数値および画面分散合計値を示している。

図１０と図１１を比較すれば分かるように、従来技術では、最後にＩピクチャを符号化した際のＩピクチャの複雑さ指数を用いることから、複雑さ指数の動きが画面分散合計値の動きについていくことができないのに対して、本発明では、最後にＩピクチャを符号化した際のＩピクチャの複雑さ指数をＰピクチャ周期で補正していくことから、複雑さ指数の動きが画面分散合計値の動きについていくことができることになる。この実験結果から、本発明の有効性を確認することができた。

本発明は、複雑さ指数に基づいて符号化対象ピクチャのターゲット符号量を決定する映像符号化制御に適用できるものであり、符号化対象ピクチャのターゲット符号量の予測精度が上がり、画像の難しさが漸次変化する映像を符号化する場合にも、符号化制御が安定して画質の劣化の発生を防ぐことができるようになる。

本発明の適用される映像符号化装置の装置構成図である。 本発明の一実施形態例の説明図である。 本発明の一実施形態例の実行するフローチャートである。 本発明の一実施形態例の実行するフローチャートである。 本発明の一実施形態例の映像符号化装置の装置構成図である。 本発明に関連する発明の説明図である。 本発明に関連する発明の実行するフローチャートである。 本発明に関連する発明の実行するフローチャートである。 本発明に関連する発明の映像符号化装置の装置構成図である。 本発明の有効性を検証するために行った実験結果の説明図である。 本発明の有効性を検証するために行った実験結果の説明図である。 従来技術の説明図である。 従来の映像符号化装置の実行するフローチャートである。 従来の映像符号化装置の実行するフローチャートである。 従来の映像符号化装置の装置構成図である。

符号の説明

１ 映像符号化装置
１００ 符号化部
２００ レート制御部
２０１ 残りＩＰＢ枚数更新部
２０２ ＧＯＰ残り符号量更新部
２０３ｘ ターゲット符号量算出部
２０４ マクロブロック量子化ステップ算出部
２０５ ピクチャ発生符号量算出部
２０６ ピクチャ平均量子化ステップ算出部
２０７ 複雑さ指数算出部
２０８ ピクチャ分散値算出部
２０９ Ｉピクチャ複雑さ指数補正部
３００ 符号化済みピクチャ複雑さ指数メモリ
３０１ 符号化済みＩピクチャ分散値メモリ

Claims (6)

1. これから符号化する所定枚数のピクチャに含まれる各ピクチャタイプのピクチャ枚数と、符号化対象ピクチャよりも前にかつ最後に符号化した各ピクチャタイプのピクチャの複雑さ指数とに基づいて、符号化対象ピクチャの目標符号量を決定する映像符号化制御装置であって、
   符号化対象ピクチャの画面特徴量を算出する算出手段と、
   前記算出手段の算出した画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定する設定手段と、
   前記設定手段の設定した複雑さ指数を用いて、符号化対象ピクチャの目標符号量を決定する決定手段とを備え、
   かつ、符号化対象ピクチャがＢピクチャである場合には、
   前記設定手段は、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を補正しないようにし、
   前記決定手段は、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数として、符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの目標符号量の決定の際に用いたＩピクチャの複雑さ指数を用いることを決定することを、
   特徴とする映像符号化制御装置。
2. 請求項１に記載の映像符号化制御装置において、
   前記算出手段は、前記画面特徴量として画面分散合計値を算出し、
   前記設定手段は、前記算出手段の算出した画面分散合計値と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面分散合計値とに基づいて、Ｉピクチャの複雑さ指数を設定することを、
   特徴とする映像符号化制御装置。
3. これから符号化する所定枚数のピクチャに含まれる各ピクチャタイプのピクチャ枚数と、符号化対象ピクチャよりも前にかつ最後に符号化した各ピクチャタイプのピクチャの複雑さ指数とに基づいて、符号化対象ピクチャの目標符号量を決定する映像符号化制御方法であって、
   符号化対象ピクチャの画面特徴量を算出する過程と、
   前記算出した画面特徴量と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面特徴量とに基づいて、そのＩピクチャの複雑さ指数を補正することで、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を設定する過程と、
   前記設定した複雑さ指数を用いて、符号化対象ピクチャの目標符号量を決定する過程とを備え、
   かつ、符号化対象ピクチャがＢピクチャである場合には、
   前記設定する過程では、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数を補正しないようにし、
   前記決定する過程では、符号化対象ピクチャの目標符号量を決定するのに用いるＩピクチャの複雑さ指数として、符号化対象ピクチャよりも前にかつ最後に符号化したＰピクチャの目標符号量の決定の際に用いたＩピクチャの複雑さ指数を用いることを決定することを、
   特徴とする映像符号化制御方法。
4. 請求項３に記載の映像符号化制御方法において、
   前記算出する過程では、前記画面特徴量として画面分散合計値を算出し、
   前記設定する過程では、前記算出した画面分散合計値と、符号化対象ピクチャよりも前にかつ最後に符号化したＩピクチャの画面分散合計値とに基づいて、Ｉピクチャの複雑さ指数を設定することを、
   特徴とする映像符号化制御方法。
5. 請求項１または２に記載の映像符号化制御装置を構成する手段としてコンピュータを機能させるための映像符号化制御プログラム。
6. 請求項１または２に記載の映像符号化制御装置を構成する手段としてコンピュータを機能させるための映像符号化制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images