JP4934411B2 - 画像符号化装置 - Google Patents

Description

本発明は、画像符号化装置に関するものである。

画像の圧縮符号化の方式としてＭＰＥＧ方式が広く知られている。ＭＰＥＧ方式は動き補償予測符号化とＤＣＴにより、画像を圧縮符号化する高能率符号化方式である。画像は、フレーム内符号化を行うＩピクチャ、前方予測符号化を行うＰピクチャ、双方向予測符号化を行うＢピクチャで構成され、ＧＯＰと呼ばれる１５フレーム前後でグループ化されている。

ＭＰＥＧ方式では画像の絵柄によって発生する符号量が大きく異なる。精細で複雑な絵柄の画像は発生する符号量が多く、平坦で単純な絵柄の画像は発生する符号量が少ない。そのため、発生する符号量を一定に保つために符号量制御が行われている。符号量制御の代表的な方式としてＴＭ（Ｔｅｓｔ Ｍｏｄｅｌ）がある。この方式は、１ＧＯＰ単位でほぼ同じ符号量になるように以下のように制御を行う。

目標ビットレートをBitRate、１秒当たりのフレーム数をPictureRate、１ＧＯＰのフレーム数をNとすると１ＧＯＰに割り当てられる符号量Rは次の式で与えられる。

R=（BitRate/PictureRate）* N （式１）

式１で求められた１ＧＯＰの符号量Rを１ＧＯＰ内のピクチャ毎に配分を行う。各ピクチャへの配分は符号化を行うフレーム毎に、次のようにして行われる。まず、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの画面複雑度を、既に符号化された同タイプのピクチャの発生符号量と平均量子化スケールの積により求め、Xi、Xp、Xbとする。次にＧＯＰ内の符号化していないＰピクチャ、Ｂピクチャのフレーム数をNp、Nbとし、Ｉピクチャに対するＰピクチャ、Ｂピクチャの量子化スケールの設定比率をそれぞれKp、Kbとする。各ピクチャの目標符号量Ti、Tp、Tbは次の式で求められる。max[a,b]はaとｂのいずれか大きい方を選択する処理を示す。

Ti = max[ R/[ 1 + Np*Xp/(Xi*Kp) + Nb*Xb/(Xi*Kb)], Bitrate/(8*PictureRate)] （式２）
Tp = max[ R/[ Np + Nb*Kp*Xb/(Xp*Kb)], Bitrate/(8*PictureRate)] （式３）
Tb = max[ R/[ Nb + Np*Kb*Xp/(Xb*Kp)], Bitrate/(8*PictureRate)] （式４）

なお、符号量Rは１フレームの符号化が終了する毎に、そのフレームで実際に発生した発生符号量を減算し、１ＧＯＰの符号化を開始する毎に、式１の値を加算する。

このようにしてピクチャの目標符号量が決定されると、１６画素×１６画素のマクロブロック単位での符号量制御が行われる。マクロブロック単位での符号量制御はマクロブロック毎に発生した符号量によって量子化スケールを調整し、目標符号量に近づくように行われる。このような符号化装置は特許文献１に開示されている。

特開平１０−１６４５７７号公報

上記、従来の方式ではピクチャ毎の画面複雑度Xi、Xp、Xbの算出に過去の符号化の発
生符号量と平均量子化スケールを用いているが、符号化開始直後の最初（先頭）の画像においては過去に符号化された画像がないため、ディフォルトの画面複雑度を用いる必要がある。そのため、実際の複雑度がディフォルト値と異なっていた場合、適切な符号量割り当てにならないため、フレームによって画質がよくなったり、悪くなったりする現象が数フレーム間連続して発生するという問題があった。

本発明はこのような状況に鑑みてなされたものであり、符号化開始直後の最初の画像に対して適切な目標符号量を決定することにより、安定した画質で符号化を行う画像符号化装置を提供することを目的とする。

本発明の画像符号化装置は、フレーム内符号化及びフレーム間予測符号化によって動画像データを符号化する画像符号化装置であって、入力された動画像データに含まれるフレームを複数枚記憶するフレームメモリと、前記フレームメモリ内に記憶された複数フレームを符号化する符号化器と、画面複雑度を演算する演算器とを有し、符号化の開始が命令されると、前記符号化器は、符号化順で先頭となる先頭フレームよりも表示順で過去に位置し、前記先頭フレームに対するフレーム内符号化の後にフレーム間予測符号化されるために待機されるフレームを前記フレームメモリから読み出して、前記先頭フレームに対するフレーム内符号化の前にフレーム内符号化により仮符号化し、前記演算器は、前記仮符号化の結果を基に画面複雑度を演算し、さらに前記符号化器は、前記仮符号化の結果に基づいて演算された画面複雑度を基に、前記フレームメモリ内に記憶された複数フレームを、前記符号化順で前記先頭フレームから本符号化することを特徴とする。

画像データの仮符号化の結果を基に画面複雑度を演算し、これによって本符号化の符号量割り当て及び目標符号量を得ることができる。そのため、符号開始直後から安定した画質での符号化が可能となる。

図１は、本発明の実施形態による画像符号化装置の構成例を示す。同図において、１０１は入力される動画像データを複数フレーム記憶可能な領域をもつフレームメモリであり、書き込み及び読み出しがそれぞれ別々に任意のフレーム領域に対して行えるよう構成されている。フレームメモリ１０１は、符号化処理の前段でフレームの並べ替えをするために複数フレームの入力画像を記憶する役割を担っている。

１０２はＭＰＥＧ（Moving Picture Experts Group）エンコーダであり、１ピクチャごとに任意のピクチャタイプで動画像データの符号化処理を行う。ＭＰＥＧエンコーダ（符号化器）１０２は、フレームメモリ１０１内の動画像データをフレーム単位で順次ＭＰＥＧ方式により符号化する。

１０３はフレームメモリ１０１とＭＰＥＧエンコーダ１０２を制御するコントローラである。コントローラ１０３は１フレームごとにフレームメモリ１０１に対し、書き込みフレーム番号を指示し入力される画像データがどのフレーム領域に書かれるかを制御する。また、コントローラ（演算器）１０３は、画面複雑度を演算する。

またコントローラ１０３は、１フレームごとにフレームメモリ１０１に対し、読み出しフレーム番号を指示し、ＭＰＥＧエンコーダ１０２への画像データの読み出しをどのフレーム領域から行うかを制御する。

また、コントローラ１０３は、１フレームごとにＭＰＥＧエンコーダ１０２に対してピクチャタイプや目標符号量など符号化に必要なパラメータの設定を行い、さらにエンコードの開始、停止を指示する。

このように構成した本画像符号化装置による画像符号化方法の処理を図２のタイミング図及び図３のフローチャートを用いて説明する。図２はＭＰＥＧエンコーダ１０２の符号化シーケンスを示しているとも表現できる。図２において、横軸は時間軸であり、１区間は画像フレームの１フレーム期間をあらわしている、またＴ０からＴ１１はそれぞれのフレーム期間を示している。Ｆ０からＦ８は入力される動画像データのフレームを表している。Ｆ０は符号化開始の最初の第１の画像フレームであり、Ｆ１は第２の画像フレームである。また、本実施形態では１ＧＯＰは９フレームとし、符号化ピクチャタイプは表示順で「ＢＢＩＢＢＰＢＢＰ」であり、符号化順は「ＩＢＢＰＢＢＰＢＢ」である。なお、表示順で最初の２枚のＢピクチャの予測方向は後方のみとしている。表示順で最初の２枚のＢピクチャとは、Ｆ０及びＦ１に相当する。図中、矢印は画像データが書き込まれた期間と、読み出される期間を結ぶように書かれてあり、画像フレームの流れを示している。矢印の破線は仮符号化時のデータの流れであり、実線は、本符号化時のデータの流れを示している。なお、説明の便宜上１ＧＯＰを９フレームとしたが、１ＧＯＰが１５フレーム、或いはその他のフレーム数であっても同様に実現できる。

コントローラ１０３によって符号化の開始が命令されると、Ｔ０からＴ２の期間で、画面複雑度Xi、Xp、Xbを求めるために、以下のようにして、ＭＰＥＧエンコーダ１０２は、仮符号化を行う（Ｓ３０１）。すなわち、ＭＰＥＧエンコーダ１０２は、符号化開始直後の２ピクチャ（２フレーム）分の画像データをフレームメモリ１０１から読み出してＩピクチャ及びＰピクチャで仮符号化する。ここで、Ｉピクチャはフレーム内符号化によって生成されるピクチャであり、Ｐピクチャはフレーム間予測符号化の１つである前方予測符号化によって生成されるピクチャである。

まず、期間Ｔ０においては、コントローラ１０３は、符号化対象として入力される動画像データのうち、符号化開始直後の１番目の画像フレームＦ０をフレームメモリ１０１のフレーム領域０に書き込む。ここではＭＰＥＧエンコーダ１０２は動作しない。

次に、期間Ｔ１において、コントローラ１０３は、符号化対象として入力される動画像データのうち、符号化開始直後の２番目の画像フレームＦ１をフレームメモリ１０１のフレーム領域１に書き込む。それと同時に、コントローラ１０３はフレームメモリ１０１のフレーム領域０から画像フレームＦ０を読み出し、ＭＰＥＧエンコーダ１０２はその画像フレームＦ０の画像データについてＩピクチャによる仮符号化を行う（Ｓ３０１）。この仮符号化での目標符号量はディフォルト値が用いられる。仮符号化されたときの符号化データは実際には出力されず、ＭＰＥＧエンコーダ１０２は発生符号量と平均量子化スケール値をコントローラ１０３に出力する。コントローラ１０３は、発生符号量と平均量子化スケール値の積により、Ｉピクチャの画面複雑度Xiを演算する（Ｓ３０２）。

次に、期間Ｔ２において、コントローラ１０３は、画像フレームＦ２をフレームメモリ１０１のフレーム領域２に書き込む。それと同時に、コントローラ１０３はフレームメモリ１０１のフレーム領域１から画像フレームＦ１を読み出し、ＭＰＥＧエンコーダ１０２はその画像フレームＦ１の画像データについてＰピクチャの仮符号化を行う（Ｓ３０１）。ここでの目標符号量はディフォルト値が用いられる。また、フレーム間予測のための参照画像は先に仮符号化された前記フレームＦ０のＩピクチャのローカルデコード画像を用いる。仮符号化されたときの符号化データは実際は出力されず、ＭＰＥＧエンコーダ１０２は発生符号量の値と平均量子化スケール値をコントローラ１０３に出力する。

コントローラ１０３は、発生符号量と平均量子化スケール値の積により、Ｐピクチャの画面複雑度Xpを演算する（Ｓ３０２）。Ｂピクチャ（双方向予測符号化）の画面複雑度Xbは、Ｐピクチャの画面複雑度Xpに所定の係数Kpbを乗じて算出する。Ｂピクチャの画面複雑度Xbは、Ｐピクチャの画面複雑度Xpの約０．４〜０．７倍であることから、係数Kpbは０．５程度が望ましい。

このように、コントローラ１０３は、Ｉピクチャによる仮符号化の結果を基にＩピクチャの画面複雑度Xiを演算し、Ｐピクチャによる仮符号化の結果を基にＰピクチャの画面複雑度Xp及びＢピクチャの画面複雑度Xbを演算する。

ここまでの処理によって、画像フレームＦ０、Ｆ１から画面複雑度Xi、Xp、Xbが得られ、この後に行われる本符号化の目標符号量算出に用いられる。

これ以降、本符号化として、通常と同様な符号化が行われる（Ｓ３０３）。すなわち、ＭＰＥＧエンコーダ１０２は、画面複雑度Xi、Xp、Xbを基に目標符号量を設定して本符号化を行う。期間Ｔ３において、ＭＰＥＧエンコーダ１０２は、フレームメモリ１０１に記憶された画像フレームＦ２の画像データをＩピクチャで符号化する。そして、期間Ｔ４において、ＭＰＥＧエンコーダ１０２は、フレームメモリ１０１に記憶された画像フレームＦ０の画像データをＢピクチャで符号化する。そして、期間Ｔ５において、ＭＰＥＧエンコーダ１０２は、フレームメモリ１０１に記憶された画像フレームＦ１の画像データをＢピクチャで符号化する。そして、期間Ｔ６において、ＭＰＥＧエンコーダ１０２は、フレームメモリ１０１に記憶された画像フレームＦ５の画像データをＰピクチャで符号化する。以上のようにして、図２に示すように順次符号化が行われていく。この本符号化過程における少なくとも最初のピクチャの符号化時、或いは最初のＧＯＰ（Group Of Pictures）の符号化時の目標符号量算出において、上記仮符号化によって得られた画面複雑度Xi、Xp、Xbの各情報を利用する。

以上のように、図３において、ステップＳ３０１では、ＭＰＥＧエンコーダ１０２は、符号化開始直後において符号化対象である動画像データの一部をフレームメモリ１０１から読み出して仮符号化する（仮符号化ステップ）。例えば、ＭＰＥＧエンコーダ１０２は、符号化開始直後の２フレーム分の画像データをフレームメモリ１０１から読み出して、一方のフレームをフレーム内予測符号化により仮符号化し、他方のフレームをフレーム間予測符号化により仮符号化する。次に、ステップＳ３０２では、コントローラ１０３は、前記仮符号化の結果を基に画面複雑度を演算する（演算ステップ）。次に、ステップＳ３０３では、ＭＰＥＧエンコーダ１０２は、前記画面複雑度を基に前記動画像データを本符号化する（本符号化ステップ）。

従って、仮符号化によって得られた情報に応じて本符号化開始直後の目標符号量や符号量の割り当てを調整することができ、符号開始直後から安定した画質での符号化が可能となる。

本実施形態は、符号化開始直後の画質と発生符号量とを安定させるために、フレーム順入れ替えのための２フレーム分の空き時間を使って、最初の２フレームをＩピクチャ、Ｐピクチャで仮符号化することで、画面複雑度を得、適切な符号量割り当てを可能にする。

本実施形態の画像符号化装置によれば、実際の符号化対象である、画像フレームＦ０、Ｆ１を仮符号化して得られた発生符号量、及び平均量子化スケール値によって画面複雑度Xi、Xp、Xbを算出する。これによって適切な符号量割り当て及び目標符号量が得られるため、符号開始直後から安定した画質での符号化が可能となる。

また、仮符号化を行う期間Ｔ１及びＴ２はフレーム順番入れ替えのための空き期間であり、本実施形態を実施するにあたり、処理時間の増加やフレームメモリ領域の増加などは必要ない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態による画像符号化装置の構成例を示すブロック図である。 本発明の実施形態による画像符号化装置の動作を示すタイミング図である。 本発明の実施形態による画像符号化装置の動作を示すフローチャートである。

符号の説明

１０１ フレームメモリ
１０２ ＭＰＥＧエンコーダ
１０３ コントローラ

Claims (8)

1. フレーム内符号化及びフレーム間予測符号化によって動画像データを符号化する画像符号化装置であって、
   入力された動画像データに含まれるフレームを複数枚記憶するフレームメモリと、
   前記フレームメモリ内に記憶された複数フレームを符号化する符号化器と、
   画面複雑度を演算する演算器とを有し、
   符号化の開始が命令されると、
   前記符号化器は、符号化順で先頭となる先頭フレームよりも表示順で過去に位置し、前記先頭フレームに対するフレーム内符号化の後にフレーム間予測符号化されるために待機されるフレームを前記フレームメモリから読み出して、前記先頭フレームに対するフレーム内符号化の前にフレーム内符号化により仮符号化し、
   前記演算器は、前記仮符号化の結果を基に画面複雑度を演算し、
   さらに前記符号化器は、前記仮符号化の結果に基づいて演算された画面複雑度を基に、前記フレームメモリ内に記憶された複数フレームを、前記符号化順で前記先頭フレームから本符号化することを特徴とする画像符号化装置。
2. 前記符号化器は、前記待機されるフレームである前記表示順で１番目のフレームを前記フレームメモリから読み出して、フレーム内符号化により仮符号化することを特徴とする請求項１記載の画像符号化装置。
3. 前記符号化器は、前記表示順で１番目のフレームをフレーム内符号化により仮符号化し、さらに、前記待機されるフレームである前記表示順で２番目のフレームを前方向のフレーム間予測符号化により仮符号化して、前記演算器は、フレーム内符号化及び前方向のフレーム間予測符号化のそれぞれについての画面複雑度を演算することを特徴とする請求項２記載の画像符号化装置。
4. 前記演算器は、前記仮符号化による発生符号量及び平均量子化スケール値を基に前記画面複雑度を演算することを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記符号化器は、前記待機されるフレームである前記表示順で１番目と２番目のフレームを前記フレームメモリから読み出して、一方のフレームをフレーム内符号化により仮符号化し、他方のフレームをフレーム間予測符号化により仮符号化することを特徴とする請求項１記載の画像符号化装置。
6. 前記演算器は、フレーム内符号化による仮符号化の結果を基にフレーム内符号化の画面複雑度を演算し、フレーム間予測符号化による仮符号化の結果を基に前方向のフレーム間予測符号化の画面複雑度及び双方向のフレーム間予測符号化の画面複雑度を演算することを特徴とする請求項５記載の画像符号化装置。
7. 前記符号化器は、前記仮符号化の結果に基づいて演算された画面複雑度を基に目標符号量を設定して本符号化を行うことを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
8. フレーム内符号化及びフレーム間予測符号化によって動画像データを符号化する画像符号化装置であって、
   入力された動画像データに含まれるフレームを複数枚記憶するフレームメモリと、
   前記フレームメモリ内に記憶された複数フレームについて、フレーム順を並べ替えてから符号化する符号化器と、
   画面複雑度を演算する演算器とを有し、
   符号化の開始が命令されると、
   前記符号化器は、前記フレーム順の並べ替えに要する本符号化の開始までの空き時間を使って、符号化順で先頭となる先頭フレームよりも表示順で過去に位置し、前記先頭フレームに対するフレーム内符号化の後にフレーム間予測符号化されるフレームを前記フレームメモリから読み出して、フレーム内符号化により仮符号化し、
   前記演算器は、前記仮符号化の結果を基に画面複雑度を演算し、
   さらに前記符号化器は、前記仮符号化の結果に基づいて演算された画面複雑度を基に、前記フレームメモリ内に記憶された複数フレームを、前記符号化順で前記先頭フレームから本符号化することを特徴とする画像符号化装置。

Images