JP4249218B2 - 画像符号化装置 - Google Patents

Description

本発明は、画像を圧縮符号化する画像符号化装置に関する。

動画像圧縮符号化技術の国際規格として、ＭＰＥＧ−２（Moving Picture Experts Group Phase 2）がある。このＭＰＥＧ−２においては、動画像を符号化した際に発生する符号量は一定ではないため、発生符号量を制御するためにＴＭ５（Test Model 5）と呼ばれる符号化制御方式が用いられている（非特許文献１参照）。

ＴＭ５には、ビットレートが一定であるＣＢＲ（Constant Bit Rate）制御がある。このＣＢＲ制御では、連続する複数の画像で構成されるＧＯＰ（Group of Pictures）単位で発生符号量が一定の符号量（以下、規定符号量）となるように制御される。

ＧＯＰ内の各画像（ピクチャ）への目標符号量の割り当ては、ピクチャごとの複雑さから決定される配分率によって、ＧＯＰの目標符号量を各ピクチャに配分している。一般的には、ピクチャの目標符号量は、Ｉピクチャ（Intra-Picture：フレーム内符号化画像）が最大で、以下Ｐピクチャ（Predictive-Picture：フレーム間順方向予測符号化画像）、Ｂピクチャ（Bi-directional Predictive-Picture：双方向予測符号化画像）の順で小さくなる。

ここで、Ｉピクチャは、ＧＯＰの独立性を保つためのものであり、その画像内だけで独立して符号化（イントラ符号化）することによって得られるものである。Ｐピクチャは、時間的に過去に存在するＩピクチャまたはＰピクチャを用いて順方向に予測符号化することによって得られるものである。Ｂピクチャは、時間的に過去および未来に存在するＩピクチャまたはＰピクチャを用いて双方向から予測符号化することによって得られるものである。

ＴＭ５では、画像内の縦横複数の画素からなる画像ブロック（以下、マクロブロック）ごとに量子化パラメータを変化させることによって、発生符号量がピクチャの目標符号量に極力近くなるように制御を行う。量子化パラメータは、マクロブロック単位で、各マクロブロックの平坦度を示す空間的アクティビティと呼ばれる指標を基にして微調整することができる。量子化パラメータを小さくすると発生符号量は大きくなり画質は上がり、反対に量子化パラメータを大きくすると発生符号量は小さくなり画質は下がる。

具体的には、空間的アクティビティが大きい場合（細かい画像の場合）は、画質の良し悪しが分かりにくいため、量子化パラメータを大きめにして発生符号量を小さくすることで画質を下げる。逆に、空間的アクティビティが小さい場合（粗い画像の場合）は、画質の良し悪しが目立つため、量子化パラメータを小さめにして発生符号量を大きくすることで画質を上げている。

ＴＭ５における符号量制御は、以下の３段階（ステップ１〜３）から構成される。まず、ステップ１では、ＧＯＰ内の残り符号量から、次に符号化するピクチャの目標符号量を決定する。

次のステップ２では、ステップ１で求めたピクチャの目標符号量を達成するように、マクロブロックごとに、マクロブロックの平均目標符号量に相当する仮想バッファを設定し、この仮想バッファの占有率（以下、仮想バッファフルネス）を計算し、これをもとに量子化パラメータを求める。これによって、ピクチャの発生符号量が、ステップ１で求めたピクチャの目標符号量を達成するように、マクロブロックごとの符号量を制御する。

そして、ステップ３では、ステップ２で求めた量子化パラメータをマクロブロックごとの空間的アクティビティに基づいて変化させることで画質を制御する。

画像符号化装置において生成された符号化データは、符号化バッファに格納された後、一定のビットレートで出力される。上記ＴＭ５のステップ１で求められるピクチャの目標符号量は、符号化バッファがオーバーフローしたりアンダーフローしたりしない範囲で、その上限値、下限値が設定される。図７に符号化バッファ量の遷移を示す。図７では、画像（Ｉ１，Ｂ２，Ｂ３，…）を符号化した際に発生する符号化データ量を縦軸にとり、発生した符号化データ量を一定のビットレートで送出している。

ＴＭ５では、過去の同じピクチャタイプ（Ｉピクチャ、ＰピクチャまたはＢピクチャ）のピクチャの情報をもとに、当該ピクチャの複雑さ指標を求め、その複雑さ指標を用いて符号量の制御を行っている。そのため、シーンチェンジやフェードといったシーンの変わり目では、情報量が大きく変化するために、図８の画像Ｐ４に示すように符号量が増大する。

ＴＭ５の処理モデルでは、ＧＯＰの目標符号量を規定符号量Ｇｔｒで一定にしているため、あるピクチャで符号量が増大すると、ＧＯＰ内のその後のピクチャに割り当てられる符号量が少なくなる。

例えば、ＧＯＰ構造がＭ＝３、Ｎ＝９である場合の符号量制御について、図９および図１０を参照して説明する。ここで、ＭはＩピクチャまたはＰピクチャの現れる周期、ＮはＧＯＰ内のピクチャ数である。また、図９において、Ｉ，Ｐ，Ｂはそれぞれの画像のピクチャタイプを示し、Ｉ，Ｐ，Ｂの次の数字は符号化順を示す。図９に示すように、画像の入力順がＢ２，Ｂ３，Ｉ１，Ｂ５，Ｂ６，Ｐ４，Ｂ８，Ｂ９，Ｐ７であった場合、符号化順はＩ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９となる。

１つのＧＯＰの目標符号量を規定符号量Ｇｔｒ、図１０（ａ）に示すようにシーンチェンジがない場合のそれぞれのピクチャ目標符号量をそれぞれＴｉ１，Ｔｂ２，Ｔｂ３，Ｔｐ４，Ｔｂ５，Ｔｂ６，Ｔｐ７，Ｔｂ８，Ｔｂ９とする。

ここで、図９および図１０（ｂ）に示すように、５枚目に入力される画像Ｂ６でシーンチェンジが発生したとすると、情報量が大きく変化するために、発生符号量が大きくなる。具体的には、シーンチェンジを検出した画像Ｂ６以後で最初に入力される、ピクチャタイプがＩピクチャまたはＰピクチャである画像の目標符号量を、シーンチェンジがなかった場合よりも大きくすることで、シーンチェンジ時の画質低下に対応する。図９に示す例では、画像Ｂ６の次に入力される画像Ｐ４の目標符号量Ｔｐ４を、シーンチェンジがなかった場合に比べて、Δ４だけ大きくし、Ｔｐ４＋Δ４とする。

しかし、ＧＯＰ内での総符号量は、規定符号量Ｇｔｒで一定であるため、シーンチェンジ直後の画像Ｐ４で符号量を大きく使用してしまうと、残りの画像を符号化する際の符号量が不足する。そのため、ＧＯＰ内で画像Ｐ４よりも後に符号化される画像の符号量を少なくする必要がある。

この場合、図１０（ｂ）に示すように、ＧＯＰの総符号量が規定符号量Ｇｔｒになるように、画像Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９の発生符号量をそれぞれΔ５，Δ６，Δ７，Δ８，Δ９だけ削減し、Ｔｂ５−Δ５，Ｔｂ６−Δ６，Ｔｐ７−Δ７，Ｔｂ８−Δ８，Ｔｂ９−Δ９とする。ここで、削減量は、画像Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９で削減された符号量Δ５〜Δ９の合計と、画像Ｐ４で増加した符号量Δ４とが同じになる量である。

また、シーンチェンジが行われた場合において、シーンチェンジを検出して画像の符号化をする技術としては、特許文献１に開示されたものがある。特許文献１に記載された発明では、シーンチェンジ時にピクチャの分散値または予測誤差値から当該ピクチャの複雑さ指標を求め、その複雑さ指標を用いて符号量の制御を行っている。
特開２００２−２４７５８４号公報 "Test Model 5"、インターネット〈ＵＲＬ：http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html〉

上述のように、ＴＭ５の処理モデルでは、ＧＯＰの目標符号量を規定符号量Ｇｔｒで一定にしているため、図１０（ｂ）に示すように、シーンチェンジを検出した画像Ｂ６の次に入力される画像Ｐ４よりも後に符号化される画像Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９では、符号量が削減される。このため、画像Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９において、画質の低下が発生するという問題があった。

また、特許文献１におけるシーンチェンジ時の符号化処理では、シーンチェンジ時に分散値または予測誤差値からそのピクチャの複雑さ指標を推定している。そのため、符号化対象ピクチャを符号化する際に、分散値または予測誤差値を取得できない場合には、複雑さ指標を指定することができず、符号量配分の調整を行うことができないため、画質の低下を招いていた。

本発明は上記に鑑みてなされたもので、シーンチェンジのような画質低下の要因が現れた場合でも、画質低下の発生を抑制するように画像符号化することができる画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明の画像符号化装置は、画像をブロック単位に分割して符号化処理を行う画像符号化装置において、入力された各画像からシーンチェンジを伴う画像を検出するシーンチェンジ検出手段と、入力された前記各画像に対して、現画像を直交変換した後に量子化および可変長符号化する画面内符号化、現画像の時間軸上における過去の画像を参照画像として動き補償を行い、前記現画像と前記動き補償後の参照画像との差分情報を直交変換した後に量子化および可変長符号化する順方向の画面間符号化、および現画像の時間軸上における未来および過去のうちの少なくとも一方の画像を参照画像として動き補償を行い、前記現画像と前記動き補償後の参照画像との差分情報を直交変換した後に量子化および可変長符号化する双方向の画面間符号化を選択的に行い符号化データを生成する符号化手段と、連続する複数の画像で構成される画像グループごとに、前記符号化手段による符号化により発生する符号量の目標値をグループ目標符号量として決定するとともに、前記各画像グループに属する各画像に対して、前記グループ目標符号量を前記各画像の複雑さに応じて配分してピクチャ目標符号量を決定し、このピクチャ目標符号量を用いて前記符号化手段における符号化で用いられるブロック単位の量子化パラメータを決定し、この量子化パラメータを用いて前記各画像の符号化を行うように前記符号化手段を制御する符号量制御手段と、前記符号化手段で生成された前記符号化データを一時的に蓄積した後、所定単位ごとに外部に出力する蓄積手段とを備え、前記符号量制御手段は、前記シーンチェンジ検出手段でシーンチェンジを伴う画像が検出された場合、前記シーンチェンジを伴う画像以後に入力された画像であって画面内符号化または順方向の画面間符号化により符号化される画像のうち最初に入力された画像である符号量増加対象画像のピクチャ目標符号量を、前記シーンチェンジを伴う画像が検出されない場合の前記符号量増加対象画像のピクチャ目標符号量に所定の符号量を加算した値に決定するとともに、前記符号量増加対象画像が属する画像グループより後に符号化する所定数の画像グループそれぞれのグループ目標符号量を、前記シーンチェンジを伴う画像が検出されなかった場合の当該画像グループのグループ目標符号量より減少した値とし、前記所定数の画像グループにおけるグループ目標符号量の減少分の合計が、前記符号量増加対象画像のピクチャ目標符号量に加算した符号量と等しくなるように決定することを特徴とする。

また、本発明の画像符号化装置は、入力された前記各画像の各画素データについて、当該画像の１つ前に入力された画像における同位置の画素データとの差分絶対値を算出し、前記各画素データに対応する前記差分絶対値を当該画像のトップフィールド全体について累積したトップフィールド間画素間差分絶対値累積値と、前記各画素データに対応する前記差分絶対値を当該画像のボトムフィールド全体について累積したボトムフィールド間画素間差分絶対値累積値とを算出するフィールド間画素間差分絶対値累積値算出手段を備え、前記シーンチェンジ検出手段は、入力された前記各画像について、当該画像の前記トップフィールド間画素間差分絶対値累積値と当該画像の１つ前に入力された画像の前記トップフィールド間画素間差分絶対値累積値とからトップフィールド間画素間差分絶対値累積値の変化率を算出し、当該画像の前記ボトムフィールド間画素間差分絶対値累積値と当該画像の１つ前に入力された画像の前記ボトムフィールド間画素間差分絶対値累積値とからボトムフィールド間画素間差分絶対値累積値の変化率を算出し、算出した前記トップフィールド間画素間差分絶対値累積値の変化率または前記ボトムフィールド間画素間差分絶対値累積値の変化率の少なくともいずれか一方が所定の閾値以上のとき、当該画像を前記シーンチェンジを伴う画像として検出することを特徴とする。

また、本発明の画像符号化装置は、前記蓄積手段を監視して前記蓄積手段における前記符号化データの占有量を算出する占有量算出手段を備え、前記符号量制御手段は、前記占有量算出手段で算出された前記占有量を用いて、前記各画像のピクチャ目標符号量の上限値を決定し、この上限値を超えないように前記各画像のピクチャ目標符号量を決定することを特徴とする。

また、本発明の画像符号化装置は、入力された前記各画像から高周波成分を除去するフィルタ処理手段を備え、前記フィルタ処理手段は、前記符号量制御手段で決定される前記ブロック単位の量子化パラメータを１画像あたりで平均して得られる画像あたりの平均量子化パラメータに基づいてフィルタ強度を変更することを特徴とする。

本発明によれば、入力画像からシーンチェンジを伴う画像を検出し、シーンチェンジを伴う画像以後に入力された画像であって画面内符号化または順方向の画面間符号化により符号化される画像のうち最初に入力された画像である符号量増加対象画像のピクチャ目標符号量を、シーンチェンジを伴う画像が検出されない場合の符号量増加対象画像のピクチャ目標符号量に所定の符号量を加算した値に決定するとともに、符号量増加対象画像が属する画像グループより後に符号化する所定数の画像グループそれぞれのグループ目標符号量を、シーンチェンジを伴う画像が検出されなかった場合の当該画像グループのグループ目標符号量より減少した値とし、所定数の画像グループにおけるグループ目標符号量の減少分の合計が、符号量増加対象画像のピクチャ目標符号量に加算した符号量と等しくなるように決定するので、シーンチェンジのような画質低下の要因が現れた場合でも、画質低下の発生を抑制するように画像符号化することができる。

以下、本発明の画像符号化装置を実施するための最良の形態について、図面を参照して説明する。

図１は本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。図１に示すように本実施の形態に係る画像符号化装置は、画像入力部１１と、フレームメモリ１２と、フィルタ処理部１３と、アクティビティ算出部１４と、フィールド間画素間差分絶対値累積値算出部１５と、シーンチェンジ検出部１６と、符号化部１７と、発生符号量計測部１８と、バッファ制御部１９と、符号量制御部２０と、平均量子化パラメータ算出部２１とを備える。

画像入力部１１は、符号化しようとする入力画像をフレームメモリ１２およびフィールド間画素間差分絶対値累積値算出部１５に出力する。フレームメモリ１２は、画像入力部１１から供給された入力画像を格納し、この入力画像のＧＯＰ構造に応じて、符号化順に画像の並べ替えを行う。

フィルタ処理部１３は、低域通過フィルタによって、フレームメモリ１２から供給される画像の高周波成分を削減する。

アクティビティ算出部１４は、フレームメモリ１２から供給される各画像について、各マクロブロックの平坦度を示す空間的アクティビティを算出する。ここで、マクロブロックの空間的アクティビティとは、１６×１６画素のマクロブロック内の４つの８×８画素ブロックの分散の最小値などで定義されるものである。このとき用いる８×８画素ブロックの分散値とは、８×８画素ブロック内の輝度値の平均値とそのブロック内の各画素の輝度値との差分の絶対値の総和をとったものである。

フィールド間画素間差分絶対値累積値算出部１５は、画像入力部１１から供給される各画像の各画素データについて、フレームメモリ１２から読み出した当該画像の１つ前に入力された画像における同位置の画素データとの差分絶対値を算出する。そして、フィールド間画素間差分絶対値累積値算出部１５は、各画素データに対応する差分絶対値を当該画像のトップフィールド全体について累積したトップフィールド間画素間差分絶対値累積値Ｄｆ_１と、各画素データに対応する差分絶対値を当該画像のボトムフィールド全体について累積したボトムフィールド間画素間差分絶対値累積値Ｄｆ_２とを算出する。

シーンチェンジ検出部１６は、各入力画像について、当該画像のトップフィールド間画素間差分絶対値累積値Ｄｆ_１と、当該画像の１つ前に入力された画像のトップフィールド間画素間差分絶対値累積値Ｄｆ_１´とからトップフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_１−Ｄｆ_１´）を算出する。

また、シーンチェンジ検出部１６は、当該画像のボトムフィールド間画素間差分絶対値累積値Ｄｆ_２と、当該画像の１つ前に入力された画像のボトムフィールド間画素間差分絶対値累積値Ｄｆ_２´とからボトムフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_２−Ｄｆ_２´）を算出する。

さらに、シーンチェンジ検出部１６は、算出したトップフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_１−Ｄｆ_１´）、またはボトムフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_２−Ｄｆ_２´）の少なくともいずれか一方が所定の閾値以上のとき、当該画像をシーンチェンジを伴う画像として検出し、シーンチェンジ検出情報を出力する。

符号化部１７は、フィルタ処理部１３から供給される画像を、当該画像のピクチャタイプがＩピクチャの場合はイントラ符号化により符号化し、当該画像のピクチャタイプがＰピクチャまたはＩピクチャの場合はインター符号化により符号化する。

符号化部１７は、図２に示すように、減算部１７１と、直交変換部１７２と、量子化部１７３と、可変長符号化部１７４と、符号化バッファ１７５と、逆量子化部１７６と、逆直交変換部１７７と、加算部１７８と、フレームメモリ１７９と、動き検出部１８０と、動き補償部１８１とを備える。

減算部１７１は、インター符号化においては、入力された現画像から、動き補償部１８１により生成される予測信号を減算し、差分信号を求める。イントラ符号化においては、減算部１７１は入力された現画像をスルーする。

直交変換部１７２は、インター符号化においては、減算部１７１で生成された差分信号に離散コサイン変換等の直交変換を施す。また、直交変換部１７２は、イントラ符号化においては、入力された現画像をマクロブロックごとに直交変換する。量子化部１７３は、符号量制御部２０により生成される量子化パラメータを用いて、直交変換部１７２で得られた変換係数の量子化処理を行い量子化データを出力する。

可変長符号化部１７４は、量子化部１７３で生成された量子化データを可変長符号化して出力する。符号化バッファ１７５は、可変長符号化部１７４の出力データを一時的に蓄積した後、所定単位ごとに外部に出力する。

逆量子化部１７６は、量子化部１７３で生成された量子化データの逆量子化を行う。逆直交変換部１７７は、逆量子化部１７６で逆量子化されたデータに逆直交変換を施す。

加算部１７８は、インター符号化においては、逆直交変換部１７７の出力信号と、動き補償部１８１より供給される予測信号とを加算して参照画像を生成し、これをフレームメモリ１７９に供給する。イントラ符号化においては、加算部１７８は、逆直交変換部１７７で生成された参照画像をスルーしてフレームメモリ１７９に供給する。フレームメモリ１７９は、加算部１７８からの参照画像を保持する。

動き検出部１８０は、インター符号化において、入力された現画像とフレームメモリ１７９に保持された参照画像とを比較して動きベクトルを検出し、検出された動きベクトルを動き補償部１８１に供給する。動き補償部１８１は、参照画像に対して動きベクトルを用いた動き補償処理を行い、予測信号を生成する。

発生符号量計測部１８は、符号化バッファ１７５の空き容量を監視し、この監視結果により符号化処理によるマクロブロックあたりの発生符号量、およびピクチャ単位で累積されたピクチャあたりの発生符号量を算出する。

バッファ制御部１９は、発生符号量計測部１８による符号化バッファ１７５の監視結果により、符号化バッファ１７５に蓄積されている符号化データの符号量（以下、占有量）を算出する。

符号量制御部２０は、ＧＯＰ目標符号量算出部２０１と、複雑さ指標算出部２０２と、ピクチャ目標符号量算出部２０３と、ピクチャ目標符号量決定部２０４と、量子化パラメータ決定部２０５とを備える。

ＧＯＰ目標符号量算出部２０１は、ＴＭ５のＣＢＲ制御における規定符号量Ｇｔｒを用いて、１つのＧＯＰの符号化処理で発生させる符号量の目標値であるＧＯＰの目標符号量を算出する。

複雑さ指標算出部２０２は、前の時間で符号化したピクチャのピクチャあたりの発生符号量と、ピクチャあたりの平均量子化パラメータとに基づいて、各ピクチャの複雑さを示す複雑さ指標を算出する。

ピクチャ目標符号量算出部２０３は、ＧＯＰ目標符号量算出部２０１で算出されたＧＯＰ目標符号量、複雑さ指標算出部２０２で算出された各ピクチャの複雑さ指標、およびシーンチェンジ検出部１６からのシーンチェンジ検出情報に基づいて、各ピクチャの符号化処理で発生させる符号量の目標値であるピクチャ目標符号量を暫定的に算出する。

ピクチャ目標符号量決定部２０４は、ピクチャ目標符号量算出部２０３で算出された暫定的なピクチャ目標符号量と、バッファ制御部１９で算出された符号化バッファ１７５の占有量とに基づいて、符号化バッファ１７５がアンダーフローやオーバーフローしないようにピクチャ目標符号量を決定する。

量子化パラメータ決定部２０５は、ピクチャ目標符号量決定部２０４で決定されたピクチャ目標符号量から１マクロブロックあたりの目標符号量を算出し、この算出した１マクロブロックあたりの目標符号量と、１つ前に符号化したマクロブロックの発生符号量との差分を算出し、この差分を仮想バッファフルネスに変換することで、暫定的に量子化パラメータを決定する。

また、量子化パラメータ決定部２０５は、符号化しようとするマクロブロックの空間的アクティビティをアクティビティ算出部１４から受け取り、この空間的アクティビティを用いて、暫定的に決定した量子化パラメータを微調整して量子化パラメータを決定する。

平均量子化パラメータ算出部２１は、量子化パラメータ決定部２０５で決定したマクロブロック単位の量子化パラメータから、ピクチャあたりの平均量子化パラメータを算出し、これを複雑さ指標算出部２０２およびフィルタ処理部１３に出力する。

次に、本実施の形態に係る画像符号化装置の動作を説明する。

フレームメモリ１２は、画像入力部１１から入力された入力画像を一旦格納し、入力画像のＧＯＰ構造に応じて、符号化順に画像を並べ替えて出力する。

フィルタ処理部１３は、低域通過フィルタによって、フレームメモリ１２から供給される画像の高周波成分を削減し、フィルタリング処理された画像をアクティビティ算出部１４および符号化部１７に出力する。そして、アクティビティ算出部１４は、フレームメモリ１２から供給される各画像について、各マクロブロックの平坦度を示す空間的アクティビティを算出し、これを量子化パラメータ決定部２０５に出力する。

ここで、本実施の形態の画像符号化装置におけるシーンチェンジ検出処理について説明する。本実施の形態におけるシーンチェンジの検出は、画像入力のタイミングで、入力画像のフィールド間における画素間差分絶対値累積値の変化率を監視することにより行う。

まず、フィールド間画素間差分絶対値累積値算出部１５は、画像入力部１１から供給される各画像の各画素データについて、フレームメモリ１２から読み出した当該画像の１つ前に入力された画像における同位置の画素データとの差分絶対値を算出する。そして、フィールド間画素間差分絶対値累積値算出部１５は、各画素データに対応する差分絶対値を当該画像のトップフィールド全体について累積したトップフィールド間画素間差分絶対値累積値Ｄｆ_１と、各画素データに対応する差分絶対値を当該画像のボトムフィールド全体について累積したボトムフィールド間画素間差分絶対値累積値Ｄｆ_２とを算出する。

そして、シーンチェンジ検出部１６は、各入力画像について、当該画像のトップフィールド間画素間差分絶対値累積値Ｄｆ_１と、当該画像の１つ前に入力された画像のトップフィールド間画素間差分絶対値累積値Ｄｆ_１´とからトップフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_１−Ｄｆ_１´）を算出する。

また、シーンチェンジ検出部１６は、当該画像のボトムフィールド間画素間差分絶対値累積値Ｄｆ_２と、当該画像の１つ前に入力された画像のボトムフィールド間画素間差分絶対値累積値Ｄｆ_２´とからボトムフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_２−Ｄｆ_２´）を算出する。

そして、シーンチェンジ検出部１６は、図３に示すように、トップフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_１−Ｄｆ_１´）、またはボトムフィールド間画素間差分絶対値累積値の変化率（Ｄｆ_２−Ｄｆ_２´）の少なくともいずれか一方が所定の閾値以上のとき、当該画像をシーンチェンジを伴う画像として検出し、シーンチェンジ検出情報をピクチャ目標符号量算出部２０３に出力する。このフィールド間画素間差分絶対値累積値算出部１５およびシーンチェンジ検出部１６によるシーンチェンジ検出処理は、符号化部１７での符号化処理を開始する前に遅れることなく行う。

次に、符号化部１７は、フィルタ処理部１３から出力された画像を、当該画像のピクチャタイプがＩピクチャの場合はイントラ符号化により符号化し、当該画像のピクチャタイプがＰピクチャまたはＩピクチャの場合はインター符号化により符号化する。

イントラ符号化では、直交変換部１７２において、フィルタ処理部１３からの現画像のマクロブロックごとに直交変換を行い、量子化部１７３において、符号量制御部２０で生成される量子化パラメータにより量子化を行う。そして、可変長符号化部１７４において、量子化部１７３で生成された量子化データを可変長符号化し、符号化バッファ１７５において、可変長符号化部１７４の出力データを一時的に蓄積した後、所定単位ごとに外部に出力する。

このとき、量子化部１７３から出力された量子化データに対して逆量子化部１７６で逆量子化を行い、逆直交変換部１７７で逆直交変換を施すことにより参照画像を生成し、これをフレームメモリ１７９に保存する。

インター符号化では、フィルタ処理部１３からの現画像とフレームメモリ１７９に保持された参照画像とを動き検出部１８０で比較して動きベクトルを検出する。そして、動き補償部１８１において、参照画像に対して動きベクトルを用いた動き補償処理を行い、予測信号を生成する。

減算部１７１では、現画像と、動き補償部１８１により生成された予測信号との差分信号を求め、これを直交変換部１７２に出力する。そして、直交変換部１７２において、差分信号に対して直交変換を行い、量子化部１７３において、符号量制御部２０で生成される量子化パラメータにより量子化を行う。そして、可変長符号化部１７４において、量子化部１７３で生成された量子化データを可変長符号化し、符号化バッファ１７５において、可変長符号化部１７４の出力データを一時的に蓄積した後、所定単位ごとに外部に出力する。

このとき、量子化部１７３から出力された量子化データに対して逆量子化部１７６で逆量子化を行い、逆直交変換部１７７で逆直交変換を施し、さらに、動き補償部１８１から出力される予測信号を加算部１７８で加算することにより参照画像を生成し、これをフレームメモリ１７９に保存する。

発生符号量計測部１８は、符号化バッファ１７５の空き容量を監視し、この監視結果により符号化処理によるマクロブロックあたりの発生符号量、およびピクチャ単位で累積されたピクチャあたりの発生符号量を算出する。また、バッファ制御部１９は、発生符号量計測部１８による符号化バッファ１７５の監視結果により、符号化バッファ１７５に蓄積されている符号化データの符号量（占有量）を算出する。

次に、符号量制御部２０における符号量制御処理について説明する。ＧＯＰ目標符号量算出部２０１は、ＴＭ５のＣＢＲ制御における規定符号量Ｇｔｒを用いて、１つのＧＯＰの符号化処理で発生させる符号量の目標値であるＧＯＰの目標符号量を算出する。

また、複雑さ指標算出部２０２は、前の時間で符号化したピクチャのピクチャあたりの発生符号量と、ピクチャあたりの平均量子化パラメータとに基づいて、ピクチャの複雑さを示す複雑さ指標を算出する。

そして、ピクチャ目標符号量算出部２０３は、ＧＯＰ目標符号量算出部２０１で算出されたＧＯＰ目標符号量、複雑さ指標算出部２０２で算出された各ピクチャの複雑さ指標、およびシーンチェンジ検出部１６からのシーンチェンジ検出情報に基づいて、各ピクチャの符号化処理で発生させる符号量の目標値であるピクチャ目標符号量を暫定的に算出する。

次いで、ピクチャ目標符号量決定部２０４は、ピクチャ目標符号量算出部２０３で算出された暫定的なピクチャ目標符号量と、バッファ制御部１９で算出された符号化バッファ１７５の占有量とに基づいて、符号化バッファ１７５がアンダーフローやオーバーフローしないようにピクチャ目標符号量を決定する。

次いで、量子化パラメータ決定部２０５は、ピクチャ目標符号量決定部２０４で決定されたピクチャ目標符号量から１マクロブロックあたりの目標符号量を算出し、この算出した１マクロブロックあたりの目標符号量と、１つ前に符号化したマクロブロックの発生符号量との差分を算出し、この差分を仮想バッファフルネスに変換することで、暫定的に量子化パラメータを決定する。

そして、量子化パラメータ決定部２０５は、符号化しようとするマクロブロックの空間的アクティビティをアクティビティ算出部１４から受け取り、この空間的アクティビティを用いて、暫定的に決定した量子化パラメータを微調整して量子化パラメータを決定し、この量子化パラメータを符号化部１７の量子化部１７３および平均量子化パラメータ算出部２１に出力する。

平均量子化パラメータ算出部２１は、量子化パラメータ決定部２０５で決定したマクロブロック単位の量子化パラメータから、１ピクチャあたりの平均をとることでピクチャあたりの平均量子化パラメータを算出し、これを複雑さ指標算出部２０２およびフィルタ処理部１３に出力する。

本実施の形態の画像符号化装置では、シーンチェンジを伴う画像を検出した場合に、シーンチェンジ画像以後に入力された画像であって、そのピクチャタイプがＩピクチャまたはＰピクチャである画像のうち最初に入力された画像に対して、大きく符号量を割り当てることでシーンチェンジ直後の画質低下を防ぐように符号量制御を行う。

その際、符号量を大きく割り当てた画像（符号量増加対象画像）が属する第ｎ番目のＧＯＰの総符号量Ｇｔｎを、規定符号量Ｇｔｒよりも大きくとる。規定符号量Ｇｔｒを超えた分の符号量Ｇｄ（＝Ｇｔｎ−Ｇｔｒ）は、第ｎ＋１番目以降の複数のＧＯＰの目標符号量を規定符号量Ｇｔｒよりも小さくとることで、任意の数のＧＯＰあたりの発生符号量の平均値が規定符号量を超えないように制御する。

以下、本実施の形態の画像符号化装置において、シーンチェンジが発生した場合の符号量制御について説明する。

図４および図９に示すように、ＧＯＰ構造がＭ＝３、Ｎ＝９、画像の入力順がＢ２，Ｂ３，Ｉ１，Ｂ５，Ｂ６，Ｐ４，Ｂ８，Ｂ９，Ｐ７、符号化順がＩ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９であるとする。また、このときＧＯＰ目標符号量算出部２０１で算出したＧＯＰの目標符号量が規定符号量Ｇｔｒ、ピクチャ目標符号量算出部２０３で算出したピクチャ目標符号量がそれぞれＴｉ１，Ｔｂ２，Ｔｂ３，Ｔｐ４，Ｔｂ５，Ｔｂ６，Ｔｐ７，Ｔｂ８，Ｔｂ９であるとする。

ここで、第ｎ番目のＧＯＰにおいて、５枚目に入力される画像Ｂ６でシーンチェンジが発生したとする。このとき、ピクチャ目標符号量算出部２０３は、シーンチェンジ検出部１６からのシーンチェンジ検出情報を受け取り、画像Ｂ６以後に入力された画像であって、そのピクチャタイプがＩピクチャまたはＰピクチャである画像のうち最初に入力された画像である画像Ｐ４の目標符号量を、図４（ｂ）に示すように、シーンチェンジがなかった場合に比べてΔ４だけ大きくする。

このとき、シーンチェンジが発生した第ｎ番目のＧＯＰの総符号量Ｇｔｎは、Ｇｔｒ＋Δ４になる。ここで、第ｎ番目〜第ｎ＋ｍ番目のＧＯＰ間の発生符号量の平均値は規定符号量Ｇｔｒを超えてはならない。そこで、本実施の形態では、符号量制御部２０において、第ｎ番目のＧＯＰの画像Ｐ４で多く発生する符号量Δ４をその後の第ｎ＋１番目のＧＯＰから第ｎ＋ｍ番目のＧＯＰの間で減少していくように制御する。

図４（ｂ）では、第ｎ＋１番目および第ｎ＋２番目のＧＯＰに属する画像Ｉ１０〜Ｂ２７の発生符号量をそれぞれΔ１０〜Δ２７だけ削減し、削減された符号量Δ１０〜Δ２７の合計と、画像Ｐ４で増加した符号量Δ４とが同じになるようにしている。

図５は、本実施の形態における符号化バッファ１７５のバッファ量の遷移を示す図である。シーンチェンジが発生したＧＯＰ（以下、ＧＯＰ１）の符号化を、シーンチェンジによる符号量が増加した画像Ｐ４以降も符号化バッファ１７５が破綻しない限り、通常同様に符号化を行うことによって、シーンチェンジが発生したＧＯＰ内での画質の低下を軽減する。そして、ＧＯＰ１以降のＧＯＰにおいては、発生符号量の調整を行うことによって、画質低下を最小限にすることが可能になる。

図５の場合、ＧＯＰ１の符号化が完了した際の残符号量がα、シーンチェンジが発生したＧＯＰ１の次のＧＯＰ（以下、ＧＯＰ２）の符号化が完了した際の残符号量がβとすると、ＧＯＰ２の符号化は、符号化バッファ１７５がオーバーフロー、アンダーフローを起こさないように制御を行えばよい。

ここで、ＧＯＰ目標符号量算出部２０１において、第ｎ＋１番目〜第ｎ＋ｍ番目の各ＧＯＰにおける目標符号量Ｇｔ（ｎ＋１＋ｋ）は、以下の（数式１）で求められる。

Ｇｔ（ｎ＋１＋ｋ）＝Ｇｔｒ−（Δ（ｎ＋ｋ）／ｘ），ｋ＝［０，ｍ］ （数式１）
ここで、ｘは任意の数である。

例えば、第ｎ番目のＧＯＰで符号量がΔ（ｎ）だけ大きくなり、その増加分Δ（ｎ）を第ｎ＋１番目以後の任意のｘ個のＧＯＰで少なくしようとする場合、第ｎ＋１番目のＧＯＰで発生する総符号量Ｇｔ（ｎ＋１）は、以下の（数式２）で表される。

Ｇｔ（ｎ＋１）＝Ｇｔｒ−Δ（ｎ）／ｘ （数式２）
すなわち、第ｎ＋１番目のＧＯＰにおける総符号量は、第ｎ番目のＧＯＰで発生した符号量の増加分Δ（ｎ）を任意の数ｘで割った値を、シーンチェンジが発生しなかった場合の総符号量である規定符号量Ｇｔｒから引いた値となる。

第ｎ＋１番目のＧＯＰの符号化が完了した段階での符号量の増加分Δ（ｎ＋１）は、以下の（数式３）で表される。

Δ（ｎ＋１）＝Δ（ｎ）−Δ（ｎ）／ｘ （数式３）
このとき、符号量の増加分を補正しているｍ＋１個のＧＯＰにおける発生符号量は、符号化バッファ１７５の容量を超えないようにする。また、シーンチェンジがあった場合は、ピクチャ最初（画像左上）の数マイクロブロックの仮想バッファフルネスを初期値に戻すことで、シーンチェンジ前の画像の性質が影響を与えないようにする。

上述のようにＧＯＰ目標符号量算出部２０１において算出されたＧＯＰの目標符号量は、ピクチャ目標符号量算出部２０３に出力され、複雑さ指標算出部２０２で算出された過去のピクチャの複雑さ指標とともに、暫定的なピクチャ目標符号量を算出する際に使用される。

また、図６（ａ）に示すような、符号量が符号化バッファ１７５の容量を超えるオーバーフローを起こさないように、ピクチャ目標符号量決定部２０４で決定するピクチャ目標符号量に上限を設ける必要がある。このため、ピクチャ目標符号量決定部２０４は、バッファ制御部１９で算出された符号化バッファ１７５の占有量を用いて、ピクチャ目標符号量の上限値を設定し、この上限値を超えないようにピクチャ目標符号量を決定する。この処理をシーンチェンジの発生による符号量の増加分が相殺されるまでの間、行うことによって、符号化バッファ制御の安定化を図ることができる。

例えば、Ｎ枚目の画像でシーンチェンジを検出し、ピクチャ目標符号量決定部２０４において算出したシーンチェンジ検出画像のピクチャ目標符号量Ｔｓｃが以下の（数式４）を満たす場合は、ピクチャ目標符号量Ｔｓｃを（数式５）のように置き換える。これによって、図６（ｂ）に示すように、符号化バッファ１７５がオーバーフローしないようにすることができる。

Ｔｓｃ＞Ｂ（ｎ−１）−ｘｂ−ｋ×ｖｂｖ （数式４）
Ｔｓｃ＝Ｂ（ｎ−１）−ｘｂ−ｋ×ｖｂｖ （数式５）
ここで、ｋは１より小さい任意の正数、Ｂ（ｎ−１）は符号化バッファ１７５の占有量、ｘｂは符号化バッファ１７５に設定された符号化データ量のマージン、ｖｂｖはＶＢＶバッファサイズである。

上記説明は、シーンチェンジによる符号量の増加が１回のみの場合であるが、符号量の増加分の相殺が完了する前に、次のシーンチェンジによる符号量の増加が発生する場合がある。その場合は、上記（数式５）を用いて符号化バッファ１７５がオーバーフローしないようにピクチャ目標符号量を調整すればよい。この場合、シーンチェンジによる符号量の増加は１回目のシーンチェンジと比較して少なくなるが、符号量の補正を行っているため、従来技術と比較して画質の低下は抑えられる。

また、本実施の形態では、平均量子化パラメータ算出部２１で算出した１ピクチャあたりの平均量子化パラメータを用いてフィルタ処理部１３における帯域制限を制御する。例えば、１ピクチャあたりの平均量子化パラメータが所定の閾値以上となった場合、フィルタ処理部１３における低域通過フィルタのフィルタ強度を高める。これにより、符号化処理における発生符号量を抑え、画質の安定化を図ることができる。

上記説明のように本実施の形態の画像符号化装置は、シーンチェンジを伴う画像を検出した場合に、シーンチェンジ画像以後に入力された画像であって、そのピクチャタイプがＩピクチャまたはＰピクチャである画像のうち最初に入力された画像に対して、大きく符号量を割り当てるように符号量制御を行う。そして、符号量を大きく割り当てた画像が属する第ｎ番目のＧＯＰの総符号量Ｇｔｎを、規定符号量Ｇｔｒよりも大きくとる。規定符号量Ｇｔｒを超えた符号量Ｇｄ（＝Ｇｔｎ−Ｇｔｒ）は、第ｎ＋１番目以降の複数のＧＯＰの目標符号量を規定符号量Ｇｔｒよりも小さくとることで、任意の数のＧＯＰあたりの発生符号量の平均値が規定符号量を超えないように制御する。

これにより、シーンチェンジ直後の画質低下を軽減することができ、さらに、第ｎ＋１番目以降の複数のＧＯＰにおいて、発生符号量の調整を行うことによって、画質低下を最小限に抑えることができる。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置の符号化部の構成を示すブロック図である。 フィールド間画素間差分絶対値累積値の変化率を示す図である。 （ａ）は、シーンチェンジが発生しない場合の符号量制御を説明するための図であり、（ｂ）は、図１に示す画像符号化装置におけるシーンチェンジが発生した場合の符号量制御を説明するための図である。 図１に示す画像符号化装置の符号化バッファにおけるバッファ量の遷移を示す図である。 （ａ）は、符号化バッファがオーバーフローする場合を説明するための図であり、（ｂ）は、符号化バッファがオーバーフローしない場合のバッファ量の遷移を示す図である。 従来の画像符号化装置における符号化バッファ量の遷移を示す図である。 従来の画像符号化装置におけるシーンチェンジが発生した場合の符号化バッファ量の遷移を示す図である。 入力画像の一例を示す図である。 （ａ）は、シーンチェンジが発生しない場合の符号量制御を説明するための図であり、（ｂ）は、従来の画像符号化装置におけるシーンチェンジが発生した場合の符号量制御を説明するための図である。

符号の説明

１１ 画像入力部
１２ フレームメモリ
１３ フィルタ処理部
１４ アクティビティ算出部
１５ フィールド間画素間差分絶対値累積値算出部
１６ シーンチェンジ検出部
１７ 符号化部
１８ 発生符号量計測部
１９ バッファ制御部
２０ 符号量制御部
２１ 平均量子化パラメータ算出部
１７１ 減算部
１７２ 直交変換部
１７３ 量子化部
１７４ 可変長符号化部
１７５ 符号化バッファ
１７６ 逆量子化部
１７７ 逆直交変換部
１７８ 加算部
１７９ フレームメモリ
１８０ 動き検出部
１８１ 動き補償部
２０１ ＧＯＰ目標符号量算出部
２０２ 複雑さ指標算出部
２０３ ピクチャ目標符号量算出部
２０４ ピクチャ目標符号量決定部
２０５ 量子化パラメータ決定部

Claims (4)

1. 画像をブロック単位に分割して符号化処理を行う画像符号化装置において、
   入力された各画像からシーンチェンジを伴う画像を検出するシーンチェンジ検出手段と、
   入力された前記各画像に対して、現画像を直交変換した後に量子化および可変長符号化する画面内符号化、現画像の時間軸上における過去の画像を参照画像として動き補償を行い、前記現画像と前記動き補償後の参照画像との差分情報を直交変換した後に量子化および可変長符号化する順方向の画面間符号化、および現画像の時間軸上における未来および過去のうちの少なくとも一方の画像を参照画像として動き補償を行い、前記現画像と前記動き補償後の参照画像との差分情報を直交変換した後に量子化および可変長符号化する双方向の画面間符号化を選択的に行い符号化データを生成する符号化手段と、
   連続する複数の画像で構成される画像グループごとに、前記符号化手段による符号化により発生する符号量の目標値をグループ目標符号量として決定するとともに、前記各画像グループに属する各画像に対して、前記グループ目標符号量を前記各画像の複雑さに応じて配分してピクチャ目標符号量を決定し、このピクチャ目標符号量を用いて前記符号化手段における符号化で用いられるブロック単位の量子化パラメータを決定し、この量子化パラメータを用いて前記各画像の符号化を行うように前記符号化手段を制御する符号量制御手段と、
   前記符号化手段で生成された前記符号化データを一時的に蓄積した後、所定単位ごとに外部に出力する蓄積手段とを備え、
   前記符号量制御手段は、前記シーンチェンジ検出手段でシーンチェンジを伴う画像が検出された場合、前記シーンチェンジを伴う画像以後に入力された画像であって画面内符号化または順方向の画面間符号化により符号化される画像のうち最初に入力された画像である符号量増加対象画像のピクチャ目標符号量を、前記シーンチェンジを伴う画像が検出されない場合の前記符号量増加対象画像のピクチャ目標符号量に所定の符号量を加算した値に決定するとともに、前記符号量増加対象画像が属する画像グループより後に符号化する所定数の画像グループそれぞれのグループ目標符号量を、前記シーンチェンジを伴う画像が検出されなかった場合の当該画像グループのグループ目標符号量より減少した値とし、前記所定数の画像グループにおけるグループ目標符号量の減少分の合計が、前記符号量増加対象画像のピクチャ目標符号量に加算した符号量と等しくなるように決定することを特徴とする画像符号化装置。
2. 入力された前記各画像の各画素データについて、当該画像の１つ前に入力された画像における同位置の画素データとの差分絶対値を算出し、前記各画素データに対応する前記差分絶対値を当該画像のトップフィールド全体について累積したトップフィールド間画素間差分絶対値累積値と、前記各画素データに対応する前記差分絶対値を当該画像のボトムフィールド全体について累積したボトムフィールド間画素間差分絶対値累積値とを算出するフィールド間画素間差分絶対値累積値算出手段を備え、
   前記シーンチェンジ検出手段は、入力された前記各画像について、当該画像の前記トップフィールド間画素間差分絶対値累積値と当該画像の１つ前に入力された画像の前記トップフィールド間画素間差分絶対値累積値とからトップフィールド間画素間差分絶対値累積値の変化率を算出し、当該画像の前記ボトムフィールド間画素間差分絶対値累積値と当該画像の１つ前に入力された画像の前記ボトムフィールド間画素間差分絶対値累積値とからボトムフィールド間画素間差分絶対値累積値の変化率を算出し、算出した前記トップフィールド間画素間差分絶対値累積値の変化率または前記ボトムフィールド間画素間差分絶対値累積値の変化率の少なくともいずれか一方が所定の閾値以上のとき、当該画像を前記シーンチェンジを伴う画像として検出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記蓄積手段を監視して前記蓄積手段における前記符号化データの占有量を算出する占有量算出手段を備え、
   前記符号量制御手段は、前記占有量算出手段で算出された前記占有量を用いて、前記各画像のピクチャ目標符号量の上限値を決定し、この上限値を超えないように前記各画像のピクチャ目標符号量を決定することを特徴とする請求項１または２に記載の画像符号化装置。
4. 入力された前記各画像から高周波成分を除去するフィルタ処理手段を備え、
   前記フィルタ処理手段は、前記符号量制御手段で決定される前記ブロック単位の量子化パラメータを１画像あたりで平均して得られる画像あたりの平均量子化パラメータに基づいてフィルタ強度を変更することを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
   

Images