JP6806466B2 - 画像符号化装置及びその制御方法 - Google Patents

Description

本発明は、画像データの符号化技術に関するものである。

現在、デジタルビデオカメラ等、動画像を記録するデジタル機器が普及している。このようなデジタル機器では、所定の記録媒体に一定時間の動画像が記録できるよう、動画像データの圧縮符号化を行っている。従来の代表的な圧縮符号化方式として、Ｈ．２６４(H.264/ MPEG-4 Part10 : Advanced Video Coding)が知られている。この圧縮符号化方式では、１フレーム内の所定画素数から成るブロック毎に、動画像が有する時間冗長性と空間冗長性を利用してデータ量を圧縮する。上記Ｈ．２６４では、時間冗長性に対する動き検出及び動き補償、空間冗長性に対する周波数変換として離散コサイン変換(Descrete Cosine Transform;DCT) を行う。そして、更に量子化やエントロピー符号化といった技術を組み合わせることで圧縮符号化を実現している。ただし、ある程度以上圧縮率を上げると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に画像劣化が目立つようになる。

かかる点、水平と垂直方向それぞれに、低域及び高域フィルタリングを適用することで、サブバンドと呼ばれる複数の周波数帯に分解する離散ウェーブレット変換(Discrete Wavelet Transform; DWT)を用いる技術が、ＪＰＥＧ２０００方式として知られている。サブバンド符号化は、ＤＣＴを用いた符号化技術に比べ、ブロック歪みが生じにくく、高圧縮時の圧縮特性が良いといった特徴を有する。

一般的な符号量制御は、符号化が完了しているフレームの発生符号量を元に、次に符号化するフレームの目標符号量を決定する。そして、１フレームあたりの目標符号量へ発生符号量を収束させるために、量子化に利用する量子化パラメータＱｐを画像の所定の領域毎に変更する量子化制御を行うことで符号量の制御を行う。なお、Ｑｐは、その値が大きい程符号量を削減することができるパラメータである一方、画質劣化の原因になるため、出来るだけ小さく、かつ画面内で一定であることが望ましい。

量子化制御により、所望の符号量へ画像データを圧縮することが可能である。特に、サブバンド符号化では、サブバンド毎に周波数帯に応じた目標符号量を設定し、サブバンド間のＱｐの比率を所定の関係にすることで符号化効率を向上させることができる。例えば、ＪＰＥＧ２０００では、高域サブバンドほど量子化パラメータを大きく設定する関係式が、暗示的な量子化として規定されている。

一般に、動画像の圧縮符号化にはリアルタイム性が求められるため、現フレームの符号量制御には１フレーム前の符号化結果を利用したフィードバック制御が利用される。特に、動画像がセンサから入力された後、ＲＡＭを介さず直接符号化器に入力される等して、符号化前にフィードフォワード制御が介在できない場合は、フィードバック制御のみで符号量制御が行われることもある。しかし、フィードバック制御は、フレーム間に相関性があるものとして行われる制御であるため、急なシーンの切り替わり(シーンチェンジ)が発生すると、フィードバック制御の信頼性が低下する。

なお、前述のシーンチェンジとは、符号量制御において、1フレーム前と同じ目標符号量、同じＱｐを当該フレームに与えた場合に、当該フレームの発生符号量が一定以上1フレーム前よりも大きくなるフレームを指す。例えば動画記録中にフラッシュが焚かれるといったシーンチェンジが起きると、シーンが変わっていない前提の設定値で符号量制御を行うことで、１フレーム当たりの目標符号量を大きく超えた発生符号量が出てしまう可能性がある。そして、場合によっては記録メディアに書き込めなくなってしまう。

そこで、シーンチェンジを精度よく検出するために、周波数変換としてアダマール変換を行い、周波数成分の内交流成分の絶対値を合計したアダマール値に基づいてピクチャでシーンチェンジが発生したか否かを判定する技術が特許文献１に記載されている。この 特許文献１によれば、ピクチャ間の周波数成分の変動を考慮して、シーンチェンジの有無を判定することができる。

再表２０１２−１１７９５５号公報

しかしながら、特許文献１に記載された技術では、周波数変換した周波数帯毎に符号量制御を行う場合、各周波数帯の特徴がピクチャとしては打ち消されてしまう可能性がある。例えば、高域周波数帯の周波数成分がＸ増加し、低域周波数帯の周波数成分がＸ減少するような場合、明らかに各周波数帯ではシーンチェンジだったとしても、周波数成分の合計には変化がないため、シーンチェンジを検出することができない。

本発明は上記の問題点に鑑み、シーンチェンジの有無をこれまでより精度よく検出し、画質劣化を抑制した符号化データを生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データにおける着目フレームを周波数変換し、複数のサブバンドを生成する周波数変換手段と、
設定された目標符号量に応じて決定される量子化パラメータに従い、各サブバンドの係数データを量子化する量子化手段と、
量子化後の係数データを符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成された直前のフレームの符号量に基づいて、目標符号量を設定する符号量制御手段と、
前記複数のサブバンド毎に、前記着目フレームと前記直前のフレームとの間でシーンチェンジがあるかを判定する判定手段とを有する。

本発明によれば、シーンチェンジの有無をこれまでより精度よく検出し、画質劣化を抑制した符号化データを生成することが可能となる。

第１の実施形態の画像符号化装置のブロック構成図。 離散ウェーブレット変換(DWT)を３回実行した際のサブバンド形成図。 第１の実施形態における画素データの入力順を示す説明図。 第１の実施形に係る離散ウェーブレット変換(DWT)後の各サブバンドにおける同一画素位置の関係を示した図。 第１の実施形態に係るシーンチェンジ時のライン数に対応した発生符号量積算量の概念図。 第１の実施形態に係る１ラインにおける発生符号量比較部及びシーンチェンジ判定部のフローチャート。 第１の実施形態に係る保持符号量調整部のフローチャート。 第１の実施形態に係るSminと発生符号量積算量との関係例を示した図。 第１の実施形態に係る各サブバンドの複雑度分布のイメージ図。 シーンチェンジ補正時における発生符号量積算量の推移とラインに対するＱｐの推移を示す図。 第２の実施形態に係る、シーンチェンジ判定時の各サブバンドの符号量の関係例を示す図。 第２の実施形態に係る発生符号量比較部のフローチャート。 第２の実施形態に係るシーンチェンジ判定部のフローチャート。 第２の実施形態に係るシーンチェンジと判定されない場合とシーンチェンジと判定される場合における連続する２フレームの関係例を示す図。 第３の実施形態に係る画像符号化装置のブロック構成図。 第４の実施形態に係るシーンチェンジ時の前フレームに対する符号量増加量の例を示す図。

以下添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は、第１の実施形態に係る画像符号化装置の構成例を示すブロック図である。この画像符号化装置は、デジタルビデオカメラなどの撮像装置に適用されるものでもある。図示において符号150は、装置全体の制御を司る主制御部であり、以下の説明する各種処理部の制御を司る。撮像部100は、光学レンズ、ベイヤ配列の撮像素子、Ａ／Ｄ変換器等を収容し、例えば１秒当たり３０フレームの動画像を、フレーム単位に画像符号化部100に供給する。画像符号化部100は、このフレームを順に符号化し、生成した符号化データを記録部152に出力する。記録部152は、画像符号化部100から供給されや符号化データを、予め設定されたフォーマットのデータ構造にし、且つ、復号に必要な情報をヘッダに付加して、記録媒体153に書き込む。記録媒体153は、不揮発性の記憶媒体である。

以下、図１を参照して、実施形態における画像符号化部100における符号化処理の概要について説明するが、まず、離散ウェーブレット変換について説明する。

＜離散ウェーブレット変換＞
本実施形態で実施する周波数変換方式である離散ウェーブレット変換について説明する。図２は、離散ウェーブレット変換(DWT)部101にて垂直、水平フィルタリングをそれぞれ３回実施した場合のサブバンド形成図である。

離散ウェーブレット変換は、画像データに対し、垂直、水平にそれぞれフィルタをかけることで、画像データを複数の周波数帯域（サブバンド）に分解する。そして、変換により生成された低域サブバンド（ＬＬサブバンド）に対して再帰的にＤＷＴを施すことで分解レベルを増加させ、図２のように周波数分解の粒度を細かくすることができる。なお、図２における“L”,“H”はそれぞれ低域、高域を示し、その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示し、Lvの後の数字はＤＷＴの分解レベルを示す。また、ＬＬは、最低域サブバンドを示す。

後述する符号量制御部104は、高域のサブバンドほど量子化パラメータを大きく、低域のサブバンドほど量子化パラメータを小さく設定し符号量制御を行う。これにより、人間の視覚特性上視認しづらい画像データの高域ほど発生符号量を圧縮し、符号化効率を向上させる。

＜装置構成＞
画像符号化部100は、撮像部151から供給された動画像データを、フレーム単位に符号化する。離散ウェーブレット変換部101は、入力した１フレームの画像データを複数のサブバンドへ変換する。

図３は、図１で示す画像符号化部100へ入力される符号化対象の画像データの画素入力順を示す説明図である。図３のように、画像データはラスタースキャン順に画像符号化部100へ供給され、圧縮符号化される。

量子化部102は、符号量制御部104から設定される量子化パラメータＱｐを利用し、入力されるサブバンド内の変換係数データを１つずつ量子化する。Ｑｐは、その値が大きいほど符号量削減効果が大きいが、その一方で、その値が大きいほど画質劣化が顕著になるので、量子化パラメータは画像劣化度を表す指標値とも解釈できる。

符号化部103は、量子化部102による量子化後の係数データをエントロピー符号化して、符号化データを生成し、記録部152に供給する。この際、符号化部103は、予め設定された変換係数データの符号化を行う度（例えば着目サブバンドの１ライン分の変換係数データの符号化を行う度）に、生成された符号化データのデータ量（符号量）を、符号量制御部104に供給する。

次に、符号量制御部104について説明する。符号量制御部104は、サブバンド量子化設定部106で設定されるサブバンド毎の初期Ｑｐ及びサブバンド毎のシーンチェンジＱｐ、サブバンド目標符号量設定部107で設定されるサブバンド毎の目標符号量及びサブバンド毎のシーンチェンジ目標符号量、サブバンド複雑度設定部108で設定されるサブバンド毎の複雑度、制御感度設定部115で設定される制御感度及びシーンチェンジ制御感度を用いて、サブバンド目標符号量に各サブバンドの発生符号量が収束するようにライン単位にＱｐを制御（更新）し、そのＱｐを量子化部102に設定する。そして、符号量制御部104は、サブバンド毎に制御を行う。以下は１つのサブバンドに着目した説明である。

矩形ブロック複雑度算出部109は、着目サブバンドにおける、次に符号化するライン（着目ライン）に対して１ライン前のラインの複雑度Ｘ[i-1]を算出する（詳細は後述）。なお、以降、第ｉラインを、符号化対象の着目ラインを指し示すものとする。

矩形ブロック目標符号量算出部111は、サブバンド目標符号量設定部107で設定されるサブバンド目標符号量Ｔsb、及びシーンチェンジ目標符号量Ｔsc、サブバンド複雑度設定部108で設定されるサブバンド複雑度Ｘsb、矩形ブロック複雑度算出部109で算出される矩形ブロック複雑度Ｘ[i-1]に従い、着目サブバンド内の次に符号化する着目ラインの目標符号量Ｔ[i]を算出する（詳細後述）。

差分算出部112は、着目サブバンドのライン毎に、発生符号量保持部105で保持されたライン発生符号量Ｓ[i-1]と矩形ブロック目標符号量算出部111から出力される矩形ブロック目標符号量Ｔ[i]の差分を算出する。そして差分算出部112は、この算出値を積算した積算差分値ΣＥ[i-1]を保持する。ここで、着目サブバンドの目標符号量Ｔtarget、着目サブバンドが含むライン数をＭとし、水平軸をライン数、垂直軸を符号量と定義する座標空間を定義したとする。積算差分値ΣＥ[i-1]は、原点（０，０）と（Ｍ、Ｔtarget）とを結ぶ理想とする符号量推移線上から、どれだけずれているかを示していることになる。

量子化値算出部114は、差分保持部113で保持された積算差分値ΣＥ[i-1]と量子化パラメータ保持部110で保持された初期ＱｐであるＱｐini、又はシーンチェンジＱｐであるＱｐinisc、そして、制御感度設定部115で設定される制御感度ｒ又はシーンチェンジ制御感度ｒsc用いて、着目サブバンド内の着目ラインの量子化パラメータＱｐ[i]を決定する。

量子化値算出部114は、着目差分バンドにおいて、着目ラインまでの発生符号量積算量が、同目標符号量積算量へ近付くように、言いかえると、積算差分値ΣＥ[i-1]の絶対値が小さくなるように、着目ラインの量子化パラメータＱｐ[i]を算出する（詳細後述）。

次に、サブバンド毎のシーンチェンジを検出するフレーム間相関検出部118について説明する。フレーム間相関検出部118は、シーンチェンジ検出位置判定部117、保持符号量調整部119、前フレーム発生符号量保持部120及び発生符号量比較部121を含む。

シーンチェンジ検出位置判定部117は、各サブバンドでシーンチェンジ検出を行うラインを判定し、その判定位置になった場合に保持符号量調整部119及び発生符号量比較部121に検出許可を通知する。

保持符号量調整部119は、次のフレームで符号量の比較に利用する発生符号量積算量に、所定の調整を行い、前フレーム発生符号量保持部120では調整済みの発生符号量積算量を保持する。

発生符号量比較部117は、着目フレームの着目サブバンド発生符号量積算量と、前フレーム発生符号量保持部120で保持された前フレームの該当するサブバンド発生符号量積算量とを比較する。

シーンチェンジ判定部116は、発生符号量比較部121で得たシーンチェンジ情報を元に、シーンチェンジか否かを判定し、矩形ブロック目標符号量算出部111及び、量子化値算出部114へ判定情報通知する。フレーム間相関検出部及びシーンチェンジ判定部の詳細な動作は後述する。以上により符号量を制御する。

図４は、離散ウェーブレット変換（ＤＷＴ）の垂直、水平フィルタリングをそれぞれ３回施した場合の各サブバンドの離散ウェーブレット変換前の画像に対する同一画素位置の関係を示した図である。

ＤＷＴでは変換前の画像の２画素ラインに対して１画素ライン分の変換係数が生成される。また、ＤＷＴ変換はＬＬサブバンドに対して再帰的に行われるため、分解レベル2は分解レベル1の２画素ラインに対して１画素ライン分の変換係数が生成される。以降分解レベルを増やしても同様の関係である。

上記の関係から、最高域であるLv1のM/2ラインに対して、Lv2のM/4ライン、Lv3のM/8ラインが同一画素位置に相当する。つまり、ＤＷＴの分解数が3の場合、図４のように、同一画素位置と見なせる最小ライン数の関係は、Lv1の4ラインに対して、Lv2の2ライン、Lv3の1ラインとなる。ここで、Ｍは整数である。

また、係数データは、図４のように、サブバンド毎にライン単位に出力される。ＤＷＴでは、一般に画像全体に対してフィルタリングを行うが、フィルタタップ数分の画素がメモリに溜まったタイミングで、垂直方向及び水平方向のフィルタリングを行うことも可能である。そのため、ＤＷＴを入力画像の１ライン単位に行い、更に生成された低域サブバンドに対して再帰的にＤＷＴをかけることで、各サブバンドをライン単位に並列に処理することが可能である。

なお、各サブバンドを順次処理することも可能である。本実施形態では、各サブバンドを同一画素位置毎に順次量子化部102へ通知するものとする。符号量制御部104は、上記ライン単位で量子化パラメータを変更し、符号量制御を行う。

＜複雑度の算出＞
複雑度は、画像の符号化効率に対する難易度を示す指標値であり、画像が難しいほど大きく、易しいほど小さい値となる。画像が難しいとは、符号量がより発生することを示している。

矩形ブロック複雑度算出部109は、矩形ブロック目標符号量（実施形態では１ライン＝１矩形ブロックとしている）を算出するために、次に符号化することになる着目ラインに対して１ライン前のラインの複雑度を算出する。

１ライン前の符号化に利用した量子化パラメータＱｐ[i-1]と、実際に発生した符号化データ量Ｓ[i-1]を用いれば、１ライン前の複雑度Ｘ[i-1]は、次式（１）で表せる。
Ｘ[i-1] ＝ Ｑｐ[i-1] × Ｓ[i-1] …（１）

＜矩形ブロック目標符号量の算出＞
まず、シーンチェンジではない、通常動作時の矩形ブロック目標符号量の算出方法について説明する。なお、シーンチェンジ判定後の算出方法については後述する。

各サブバンドでは、画像の難しいラインほど大きな目標符号量を割り当て、易しいラインほど小さな目標符号量を割り当てる。これにより画質劣化度を意味するＱｐの変動を、サブバンド内で極力小さくすることができる。

そこで、矩形ブロック目標符号量算出部111は、サブバンド目標符号量設定部107で設定されるサブバンド目標符号量Ｔsb、サブバンド複雑度設定部108で設定されるサブバンド複雑度Ｘsb及び、矩形ブロック複雑度Ｘ[i-1]に従い、着目サブバンド内の次に符号化する着目ラインのライン目標符号量Ｔ[i]を算出する。矩形ブロックの目標符号量算出式は次式（２）の通りである。
Ｔ[i] ＝ Ｔｓｂb × Ｘ[i-1] ／ Ｘsb_N-1 …（２）
式（１）のように、複雑度は符号化しなければ算出できないフィードバック量であるため、Ｘsbには、着目フレームであるＮフレームに対して、１フレーム前のサブバンド複雑度Xsb_N-1をフィードバックし用いる。ただし、Ｎは整数で有り、以降Ｎフレームと記載した場合、それは符号化対象の着目フレームを指す。式（２）のように、サブバンド全体に対する当該ラインの複雑度の比率をＴsbに乗算する。これにより難しいラインでは目標符号量を多く割り当て、易しいラインでは目標符号量を少なく割り当てることができ、サブバンド内でＱｐの変動を極力小さくすることができる。

＜量子化制御＞
矩形ブロック目標符号量の算出と同様、ここではシーンチェンジではない、通常動作時の矩形ブロック目標符号量の算出方法について説明する。

量子化パラメータ算出方法の一つに『ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５』に示された公知技術がある。この公知技術から、差分保持部113で保持された積算差分値ΣＥ[i-1]と量子化パラメータ保持部110で保持された初期量子化パラメータＱｐini、制御感度設定部115で設定された制御感度ｒを用い、着目サブバンド内の次に符号化する着目ラインの量子化パラメータＱｐ[i]を次式（３）のように算出する。
Ｑｐ[i]＝Ｑｐini + r ×ΣＥ[i-1] …（３）
なお、制御感度ｒは、大きいほど積算差分値に応じて急峻にＱｐ[i]を変動させる一方、符号量の制御性が良くなるパラメータである。上記公知技術を利用することで、目標符号量に対して発生符号量が大きければ量子化パラメータを大きく、小さければ量子化パラメータを小さく設定し、符号量を制御することが可能である。

＜シーンチェンジ＞
本実施形態では、シーンチェンジを、符号量制御において１フレーム前と同じ目標符号量、同じＱｐで着目フレームを符号化した場合に、着目フレームの発生符号量が所定以上１フレーム前よりも大きくなるフレームを指す。言いかえると、１つ前のフレームの画像に対して着目フレームの画像難易度が大きいフレームを指す。かかる点は、例えば、暗闇の中で動画像を撮影し、Ｎフレームでフラッシュが焚かれた場合を考えるとわかりやすい。この場合、直前のＮ−１フレームでは暗闇で物体が視認できないような画像であったのに対し、Ｎフレームではフラッシュにより物体が視認できる画像になり、Ｎフレームの画像難易度はＮ−１フレームに対して高くなる。以上と似通った動画像は、程度の差はあれば、通常の撮影時に頻繁に起こるものである。

図５に、シーンチェンジ時のライン数に対応した発生符号量積算量の概念図を示す。

フィードバック制御で符号量制御を実施する場合、１フレーム前と同じ画像という前提で目標符号量や初期Ｑｐ、複雑度が設定されるため、着目フレーム（Ｎフレーム）の複雑度が大きい場合、符号量が大きく発生する可能性がある。

式（１）、（２）にも示した通り、複雑度は符号化しなければ算出できないため、シーンチェンジの場合、式（２）をそのまま利用し目標符号量を算出すると、発生符号量は、Ｔsbよりも大きく発生することになる。

＜シーンチェンジ検出＞
そこで、符号量の制御性を向上させるために、画像中でシーンチェンジを検出し、シーンチェンジと判定した場合は通常時の処理から、シーンチェンジ用の処理を切り替える方法について説明する。

シーンチェンジ検出位置判定部117は、各サブバンドでシーンチェンジ検出を行うラインを判定し、保持符号量調整部119及び発生符号量比較部121に検出許可を通知することで、シーンチェンジの検出動作が開始される。

この判定は、予め固定のライン位置とする。例えば、Ｌｖ１のサブバンドＨＬ，ＬＨ，ＨＨでは、Ｌライン間隔（Ｌ，２Ｌ，３Ｌ…）でこの判定を行うとした場合、Ｌｖ２では、その半分のＬ／２，Ｌ，３Ｌ／２…、Ｌｖ３では更にその半分のＬ／４，Ｌ／２，３Ｌ／４…のラインの符号化を終えたタイミングでこの判定が行われることになる。

図６に、着目サブバンドの１ラインにおける、発生符号量比較部121及びシーンチェンジ判定部116のフローチャートを示し、図７に着目サブバンドの保持符号量調整部119のフローチャートを示す。

まず、図６を参照してシーンチェンジ検出及び判定方法について説明する。

S601で、シーンチェンジ判定部116は、シーンチェンジ補正フラグscflag=0であればS602に分岐し、そうでなければ、処理を終了する。ここで、sc_flagは、シーンチェンジと判定されれば１となる信号を指す。S602で、シーンチェンジ検出位置であればS603に分岐し、そうでなければ、処理を終了する。

S603で、発生符号量比較部121は、符号量閾値＝前フレーム発生符号量×compratioを算出する。ここで、compratioとは、予め設定した前フレーム発生符号量に重み付けを行うパラメータであり、compratioが小さい程、シーンチェンジを検出し易くなる。

S604で、発生符号量比較部121は、符号量閾値よりも発生符号量積算量のほうが大きければS605に処理を進め、そうでなければ処理を終了する。S605で、発生符号量比較部121は、scflag=1にする。

以上のようにすることで、所定のcompratioに応じて各サブバンドの前フレームに対する発生符号量の増加量を予測し、一定以上発生符号量が増加したことに対応して、符号化途中でシーンチェンジと検出することができる。

図６で説明したように、シーンチェンジ検出には前フレームの発生符号量の情報が必要になるため、シーンチェンジ検出位置が多い程、シーンチェンジの検出精度が上がる。しかしその一方で、検出に利用する前フレームの発生符号量積算量も検出位置分保持しておかなければならず、トレードオフの関係がある。以上から、前フレーム発生符号量保持部120は、各サブバンドで検出する回数分の発生符号量積算量が保持できる容量を有する必要があることになる。

なお、シーンチェンジ検出位置は、サブバンドのライン数を等割にした位置に設定するような限定をすることはなく、シーンチェンジは符号化開始直後に検出する程、符号量制御として符号量を抑えることができるため、例えば、サブバンドの上端程多く、下端程少なく検出位置を設定しても良い。

次に、図７を用いて、前述の符号量閾値を算出するために保持する保持符号量の算出方法について説明する。

S701にて、保持符号量調整部119は、シーンチェンジ検出位置であればS702に分岐し、そうでなければ処理を終了する。S702にて、保持符号量調整部119は、符号量閾値と発生符号量積算量の比較が完了していればS703に分岐し、そうでなければ処理を終了する。このようにすることで、前フレーム発生符号量保持部は常に1フレーム分の発生符号量のみ保持すれば良く、余分なメモリを必要としない。

S703にて、保持符号量調整部119は、発生符号量積算量がSminよりも多ければS704へ、そうでなければS705へ分岐する。

ここで、Sminとは、予め設定した最小符号量を示す。本実施形態におけるSminは、統計的なサブバンドのライン目標符号量Ｔsb_st及び重み付け量αajst(＜１)を用いて、次式（４）で示される。
Smin ＝ Ｔsb_st × line × αajst …（４）
なお、lineは着目サブバンドの符号化済みのライン数を示す。

S704で、保持符号量調整部119は、発生符号量積算量を前フレーム発生符号量保持部に保持する。そして、S705にて、保持符号量調整部119は、Sminを前フレーム発生符号量保持部に保持させる。

図７のフローチャートのように、保持符号量をSminでクリップすることにより、１フレーム前の符号量との比率でシーンチェンジを検出することによる弊害を低減することができる。

図８に、着目フレーム（Ｎフレーム）と直前フレーム（Ｎ−１フレーム）におけるSminと発生符号量積算量との関係例を示す。動画像では画面上部が空、中央以下に主被写体が構図されることが一般的にあり、図８は上部が空のため、上部のラインでは複雑度が小さい画像をイメージした発生符号量の積算量の推移を示している。

前述の通り、シーンチェンジ検出には、１フレーム前の符号量積算量と当該フレームの符号量積算量の比率を利用する。そのため、発生符号量が小さい画像の場合、量子化に利用するＱｐが前フレームに対して少し変化するだけでも発生符号量の比率は大きく変化する。図８のようにＮフレームとＮ−１フレームの発生符号量積算量が画面を通じてほとんど変わらない場合でも、画面上部の符号量の比率は大きくなり、シーンチェンジを誤判定してしまう。本実施形態では、図８のSminを発生符号量を保持する際のクリップ量（下限値）にすることで、ＮフレームとＮ−１フレームの発生符号量積算量差分が誤差範囲である場合に、誤ってシーンチェンジと判定することを防ぐようにした。

＜シーンチェンジ補正＞
着目サブバンドがsc_flag=1と判定された場合、矩形ブロック目標符号量算出部111は次式（５）に示すように、次に符号化する着目ラインのライン目標符号量Ｔ[i]を決定する。
Ｔ[i]＝Ｔsc …（５）
また、このとき、量子化値算出部114は、着目ラインの量子化パラメータＱｐ[i]を次式（６）のように決定する。
Ｑｐ[i]＝Ｑｐinisc + ｒsc ×ΣＥ[i-1] …（６）
なお、値Ｔscは着目サブバンドの統計的に求めたライン目標符号量（固定値）であり、Ｑｐiniscは着目サブバンドの統計的なＱｐを示している。統計的とは、各種入力動画像に対して、所定の目標符号量に制御する際に、最も符号化効率が良い設定値を平均化した値である。また、ｒscは、シーンチェンジ向けに再設定する制御感度を示す所定値である。

式（６）において、Ｑｐ[i]はシーンチェンジを検出した後もΣＥ[i-1]を引き継いで算出されるが、シーンチェンジが生じたラインで積算差分量をリセット(ΣＥ[i-1]=0)し、iラインから積算をし直してもよい。積算差分量をリセットすることで、リセットしない場合に対して符号量制御性よりも画質を重視した制御を行うことができる。

＜サブバンド単位のシーンチェンジ検出による効果＞
図９に、各サブバンドの複雑度の分布のイメージ図を示す。なお、波線の数が多いほど複雑度平均よりも大きく、小さい程平均よりも小さいことを示している。図９は、N-1フレームとNフレームの複雑度のサブバンド毎の分布が変化する一方で、フレーム間でピクチャ複雑度の変化はない画像をイメージしている。例えば、水平線の非常に多い画像から、垂直線の非常に多い画像へのシーンチェンジが図９のパターンに該当する。

このような画像パターンで符号量制御を行う場合、画像の傾向がわかっていれば、符号量をＨＬサブバンドに割り当てたい。しかし、ＮフレームではＮ−１フレームと同じ画像が来る前提で、ＬＨサブバンドに符号量を多く、ＨＬサブバンドに符号量を少なく割り当てるため、縦線が消えてしまうような画像劣化が起きてしまう。

従来技術では、フレーム間ピクチャ複雑度の変化がないため、シーンチェンジと判定することが出来ない。これに対し、本実施形態を適応すれば、サブバンド毎にシーンチェンジを検出できるため、より精度よくシーンチェンジの検出が可能となる。

＜シーンチェンジ補正による効果＞
図１０に、シーンチェンジ補正時の発生符号量積算量及びＱｐの説明図を示す。同図(ａ）がサブバンド内の発生符号量積算量の推移を示す図であり、同図（ｂ）がサブバンド内のＱｐの推移を示す図である。

図１０のように、シーンチェンジ補正を行うことで、発生符号量の増加を抑制することができる。また、Ｑｐは平均的な値に修正するので、平均的な画質を維持することができる。ただし、図１０（ｂ）は簡単のためシーンチェンジ判定後のＱｐが固定で推移する図となっているが、式（６）の通り、積算差分値が一定以上増減すれば、Ｑｐは同様に変移することになる。図示はあくまで例示である。

なお、シーンチェンジ補正時の制御感度ｒscは、シーンチェンジ補正時には式（２）のようにサブバンド内で目標符号量に重みをつけられないため、Ｑｐの変動を通常時よりも小さくし、画質を重視したい観点から、通常時の制御感度に対して、ｒ＞ｒscとしてもよい。

以上のようにすることで、各サブバンドの傾向を加味してシーンチェンジを精度よく検出し、符号量制御性の高い画像符号化装置を提供することができる。

なお、シーンチェンジ判定部で設定するsc_flagは、画像符号化装置外部から設定しても良く、例えば、符号化先頭フレームはフィードバック情報が全くないので、シーンチェンジと同じ制御を各サブバンドの１ライン目から実施してもよい。

また、シーンチェンジ検出は、特定のサブバンドのみで実施することも、本発明の範疇である。例えば、低域サブバンドは画像に応じた複雑度の変化が高域ほど大きくなく、符号量の絶対量自体も大きくないため、低域サブバンドではシーンチェンジ検出を実施しないことが可能である。

［第２の実施形態］
以下、第２の実施形態を説明する。第２の実施形態における装置構成は、第１の実施形態における図１と同じであるものとする。異なる点は、シーンチェンジ検出結果を点数化し、シーンチェンジ最終判定をその点数に応じて実施する点である。

図１１は、図９に示したシーンチェンジ判定時の各サブバンドの符号量の関係を示している。

図１１のように、Lv1ＨＬサブバンドのみＮ−１フレームに対しＮフレームの複雑度が大きい場合、第１の実施形態を利用すると、Lv1ＨＬサブバンドのみシーンチェンジと判定され、補正が実施される。このとき、Ｎフレームの目標符号量は図１１のように、Lv1ＨＬが補正されるが、本来画像の特徴が分かっていれば、Lv1ＨＬに符号量を多めに割り当てる分、他のサブバンドの符号量を減らさなければならない。以上から、第１の実施形態では、ピクチャ合計の符号量がその分増加してしまう可能性がある。

そのため、シーンチェンジの場合、全サブバンドの符号量比率を設定し直すことが望ましい。そこで、本第２の実施形態では、シーンチェンジ検出を各サブバンドで行い、かつ、シーンチェンジ判定はピクチャ単位で行うことで、全サブバンドでシーンチェンジの補正を実施する。

図１２は、フレーム間相関検出部118の内発生符号量比較部のフローチャートである。図１３は、シーンチェンジ判定部116のフローチャートである。以下、これらを参照した第２の実施形態を説明する。

まず、着目サブバンドに対する発生符号量比較部121の処理を図12を参照して説明する。なお、各サブバンドの最初のラインの符号化を開始する際に、そのサブバンドの評価値であるScoreは0に初期化されるものとする。

S1201にて、発生符号量比較部121は、シーンチェンジ補正フラグscflag=0であるか否かを判定する。シーンチェンジ補正フラグscflag=0であればS1202に分岐し、そうでなければ、処理を終了する。

S1202にて、発生符号量比較部121は、シーンチェンジ検出位置であるか否かを判定し、シーンチェンジ検出位置であると判定した場合にはS1203に分岐し、そうでなければ、処理を終了する。

S1203にて、発生符号量比較部121は、前フレーム発生符号量×compratioを算出して、符号量閾値を算出する。そして、S1204にて、発生符号量比較部121は、Score＝発生符号量積算量／符号量閾値を算出する。なお、Scoreは小数精度でも整数精度でも良い。

上記処理は１つのサブバンドに対するものであったが、全サブバンドについて実行する。本実施形態では、全サブバンドについて実行するものとしたが、全分解レベルが、Ｌｖ１，Ｌｖ２となる一部のサブバンドについてのみ実行するようにしてもよい。この場合、以降で説明する全サブバンドに対する処理は、全サブバンドではなく一部のサブバンドについて行うことになる。

次に、シーンチェンジ判定部116の処理を図１３を参照して説明する。

S1301にて、シーンチェンジ判定部116は、シーンチェンジ補正フラグscflag=0であればS1302に分岐し、そうでなければ、処理を終了する。

S1302にて、シーンチェンジ判定部116は、全サブバンドにて、同一画素を含むラインでのシーンチェンジ検出位置になったか否かを判定し、シーンチェンジ検出位置に到達したと判定した場合にはSS1303へ、そうでなければ、処理を終了する。

S1303にて、シーンチェンジ判定部116は、全サブバンドのScoreを加算する。そして、
S1304にて、シーンチェンジ判定部116は、加算後のScoreがシーンチェンジ閾値よりも大きいか否かを判定し、大きければS1305へ、そうでなければ処理を終了する。

なお、シーンチェンジ閾値は、予め設定するシーンチェンジ判定に利用するパラメータであり、シーンチェンジ閾値が小さい程、シーンチェンジと判定されやすい。S1305にて、シーンチェンジ判定部116は、sc_flag=1にする。

本第２の実施形態では、sc_flag=1となった場合、符号量制御部104は、各サブバンドの該当するライン以降、着目フレームの符号化が完了するまでの間、全サブバンドそれぞれに対し、予め統計的に求めたＱｐをセットし符号化を行う。

＜効果＞
図１４（ａ）、（ｂ）を参照して、本第２の実施形態における作用効果を説明する。図１４（ａ）は、シーンチェンジと判定されないケース、同図（ｂ）はシーンチェンジと判定される例である。

簡単のため、シーンチェンジ閾値を５、シーンチェンジ検出結果の各サブバンドのScoreは、フレーム間において、易→普通、普通→難は１、易→難は２とする。

図１４（ａ）の場合、シーンチェンジ閾値(=5)＞Scoreの合計(=3)となるため、シーンチェンジとは判定されない。一方、図１４（ｂ）の場合シーンチェンジ閾値(=５)＜Scoreの合計(=６)となるため、シーンチェンジと判定される。

図１４のように、シーンチェンジ閾値を適切に設定することで、多少符号量が目標を超えても、次のフレームで対応できる場合はちょっとしたシーンの変化では制御を切り替えないようにできる。また、ピクチャとしてどの程度符号量が余分に発生してしまうかを各サブバンドのScoreの合計値から予測することで、画面内で制御すべきか否かを判断できる 。

以上のようにすることで、サブバンド毎の特徴を加味してピクチャとしてシーンチェンジの判定が可能であり、かつ、全サブバンドの目標符号量やＱｐの比率をリセット出来るため、シーンチェンジでも平均的な画質を得ることができる。

なお、ＤＷＴ前に撮像部151で撮像した画像を複数の成分に分解し、各成分で構成されるプレーンを独立して符号化する場合であっても、本実施形態は適用可能である。この際、各プレーンを、複数の処理部（複数のコア）で並列化しても構わない。また、このとき、分解以前の原画像の同一位置で、各コア各サブバンドのシーンチェンジ検出及び補正を行い、シーンチェンジ判定部116は同一位置の全Scoreを持って判定を行えば良い。

［第３の実施形態］
以下、第３の実施形態を説明する。図１５は第３の実施形態における画像符号化装置のブロック構成図である。第１、第２の実施形態と異なる点は、シーンチェンジ検出に複雑度を利用する点である。

図１５において、参照符号100-117、150-153は、第１の実施形態の同じであるので、その説明は省略する。

本第３の実施形態におけるフレーム間相関検出部1500は、第１、第２の実施理恵と同様にシーンチェンジを検出するが、検出基準を複雑度とする。

そのため、シーンチェンジ検出位置判定部117が各サブバンドでシーンチェンジ検出を行うラインを判定した場合、保持複雑度調整部1501は、矩形ブロック複雑度算出部109で算出された当該サブバンドの複雑度の積算量に所定の調整を行い、前フレーム複雑度保持部1502は調整済みの複雑度積算量を保持する。

なお、保持複雑度調整部の動作方法は、図７における符号量を複雑度に置き換えれば同様である。予め設定する最小複雑度をＸminとすれば、着目サブバンドのＸminは統計的なサブバンド複雑度Ｘsb_st及び重み付け量αajst(＜１)を用いて次式（７）のように算出される。
Ｘmin = Ｘsb_st × line ×αajst …（７）
複雑度比較部1503は、Ｎフレーム内（着目フレーム内）の着目サブバンドの複雑度積算量と、前フレーム複雑度保持部1502で保持された前フレームの該当するサブバンドの複雑度積算量を比較することになる。

前述の通り、複雑度は画面（画像）の難易度を示す指標であり、Ｑｐに依存しない。そのため、Ｑｐが直前のフレームと着目フレームで大きく異なったとしても、安定して画面の難易度を取得できるため、安定してシーンチェンジを検出することができる。

［第４の実施形態］
以下、第４の実施形態を説明する。本第４の実施形態における装置構成は、第２の実施形態と同様、図１の構成であるものとする。本第４の実施形態が、第２の実施形態と異なる点は、compratioの設定を画面の位置及びサブバンド毎に変更できる点である。

先に説明したように、compratioは予め設定した前フレーム発生符号量に重み付けを行うパラメータであり、compratioが小さい程、シーンチェンジを検出し易くなる。compratioを利用した符号量閾値の算出方法を次式（８）に示す。
符号量閾値＝前フレーム発生符号量×compratio …（８）
シーンチェンジ判定部116は、サブバンド毎のScoreの合計値からシーンチェンジを検出する。Scoreは、符号量閾値に対する着目フレームの発生符号量積算量の倍率なので、compratioによって前フレームとの符号量の増加量の予測値を制御することが可能である。

図１６に、シーンチェンジ時の前フレームに対する符号量増加量の例を示した表を示す。

例えば、図１６のLv1ＨＬサブバンドの前フレーム発生符号量＝200、compraio＝2、Score＝1だったとすれば、符号量閾値＝400であり、前フレームに対する符号量の増加量＝符号量閾値−前フレーム発生符号量＝200と予測できる。

一方、別のサブバンドLv1ＬＨで、前フレーム発生符号量＝400の場合、compraio＝2、Score＝1といずれもLv1ＨＬと同じとき、前フレームに対する符号量の増加量は400となる。

つまり、Score当たりの符号量の増加量がサブバンド毎に異なる。そこで、Lv1ＬＨのCompratioを、前フレーム発生符号量を元に1.5と設定することで、各サブバンドのScoreの重みを一律にすることができる。

シーンチェンジに限らず、符号量の変化量は、サブバンドによって異なるので、compratioの値をサブバンド毎に適切に設定することで、Scoreの値を各サブバンド等しくすれば、ピクチャとしての符号量の増分を予測できる。

また、前述の通り、符号化開始直後に検出できる程、シーンチェンジ検出は望ましく、画面の後半で検出される程、符号量調整可能な残りのラインが少ない。そこで、画面後半のcompratio程小さく設定することで、よりシーンチェンジ検出をしやすくし、符号量制御性を向上させることができる。

なお、compratioの設定粒度を細かくするほど、設定メモリ量が増加するため、検出位置毎ではなく、２以上の検出位置毎に１つのcompratioを設定することも、本発明の範疇である。

以上のようにすることで、ピクチャとしての符号量の増加量を予測でき、より精度の高い符号量制御を実施することができる。

（その他の実施例）
以上、各実施形態について詳述したが、本発明は特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像符号化部、１０１…離散ウェーブレット変換部、１０２…量子化部、１０３…符号化部、１０４…符号量制御部、１０５…発生符号量保持部、１０６…サブバンド量子化設定部、１０７…サブバンド目標符号量設定部、１０８…サブバンド複雑度設定部、１０９…矩形ブロック複雑度算出部、１１０…量子化パラメータ保持部、１１１…矩形ブロック目標符号量算出部、１１２…差分算出部、１１３…差分保持部、１１４…量子化値算出部、１１５…制御感度設定部、１１６…フレーム間相関検出部、１１７…シーンチェンジ検出位置判定部、１１８…シーンチェンジ検出部、１１９…保持符号量調整部、１２０…前フレーム発生符号量保持部、１２１…発生符号量比較部、１５０…主制御部、１５１…撮像部、１５２…記録部、１５３…記憶媒体、１５００…フレーム間相関検出部、１５０１…保持複雑度調整部、１５０２…前フレーム複雑度保持部、１５０３…複雑度比較部

Claims (15)

1. 撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
   前記動画像データにおける着目フレームを周波数変換し、複数のサブバンドを生成する周波数変換手段と、
   設定された目標符号量に応じて決定される量子化パラメータに従い、各サブバンドの係数データを量子化する量子化手段と、
   量子化後の係数データを符号化し、符号化データを生成する符号化手段と、
   前記符号化手段で生成された直前のフレームの符号量に基づいて、目標符号量を設定する符号量制御手段と、
   前記複数のサブバンド毎に、前記着目フレームと前記直前のフレームとの間でシーンチェンジがあるかを判定する判定手段と
   を有することを特徴とする画像符号化装置。
2. 前記判定手段は、前記符号化手段によるサブバンドの係数データの符号化結果に応じて、当該サブバンドにシーンチェンジがあるかを決定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号量制御手段は、前記判定手段によりシーンチェンジがあると判定されたサブバンドについては、前記符号化手段で生成された前のフレームの符号量に応じて決定される目標符号量ではなく、予め設定されているシーンチェンジ用の目標符号量を設定することを特徴とする請求項１に記載の画像符号化装置。
4. 前記符号量制御手段は、前記判定手段によりシーンチェンジがないと判定されたサブバンドについては、前記符号化手段で生成された前のフレームの符号量に応じて決定される目標符号量を設定することを特徴とする請求項３に記載の画像符号化装置。
5. 前記量子化手段は、各サブバンドの係数データを所定の領域単位に量子化し、
   前記符号化手段は、前記所定の領域毎に符号化を行い、
   前記判定手段は、各サブバンドにおいて、予め設定された領域の符号化が完了したタイミングで、シーンチェンジがあるかを判定することを特徴とする請求項１に記載の画像符号化装置。
6. 前記所定の領域は１ラインであって、
   前記判定手段は、各サブバンドにて、予め設定されたラインの位置の符号化が完了するたびに前記判定を行うことを特徴とする請求項５に記載の画像符号化装置。
7. 前記判定手段は、符号化が完了したライン位置までに発生した符号量と、前記直前のフレームにおいて前記ライン位置までに発生した符号量に所定値を乗算した値とを比較することにより、シーンチェンジがあるか否かを判定することを特徴とする請求項６に記載の画像符号化装置。
8. 前記判定手段は、前記複数のサブバンド毎に、前記着目フレームと前記直前のフレームとの間の変化の程度を示す評価値を算出し、全サブバンドの評価値の合計値と所定の閾値とを比較することでシーンチェンジがあるか否かを判定し、
   前記符号量制御手段は、前記判定手段によりシーンチェンジがあると判定された場合は、全サブバンドについて、前記符号化手段で生成された前のフレームの符号量に応じて決定される目標符号量ではなく、予め設定されているシーンチェンジ用の目標符号量を設定することを特徴とする請求項１に記載の画像符号化装置。
9. 前記判定手段は、前記周波数変換手段により生成された全てのサブバンドではなく、予め決められた複数のサブバンドについてシーンチェンジがあるか否かを判定することを特徴とする請求項１に記載の画像符号化装置。
10. 前記判定手段は、
    前記複数のサブバンド毎に、当該サブバンドの画像の難易度を示す指標値づいて、シーンチェンジがあるか否かを判定する
    ことを特徴とする請求項１に記載の画像符号化装置。
11. 前記符号量制御手段は、
    前記判定手段によってシーンチェンジが無いと判定されたサブバンドでは、次に量子化することになる前記所定の領域の目標符号量を前記着目フレームにおける当該サブバンドで発生した符号量に関する情報と前記直前のフレームの該当するサブバンドの符号量に関する情報に基づいて算出し、当該目標符号量に対する実際の符号化データ量との差から前記量子化パラメータを設定し、
    前記判定手段によってシーンチェンジが有ると判定されたサブバンドでは、次に量子化することになる前記所定の領域の目標符号量を予め設定された固定値に設定し、前記着目フレームにおける当該サブバンドで発生した符号量と前記固定値との差から前記量子化パラメータを設定する設定手段とを含む
    ことを特徴とする請求項５に記載の画像符号化装置。
12. 前記設定手段は、
    着目サブバンドにおける着目する第ｉラインの直前である第ｉ−１ラインで用いた量子化パラメータをＱｐ[i-1]、前記第ｉ−１ラインの符号化データの符号量をＳ[i-1]としたとき、前記第ｉ−１ラインの複雑度Ｘ[i-1]を次式（１）により求め、
    Ｘ[i-1]＝Ｑｐ［i-1］ × Ｓ[i-1] …（１）
    着目サブバンドの目標符号量をＴsb、前記直前のフレームの該当するサブバンドの複雑度の合計値をＸsb_N-1としたとき、シーンチェンジが無いと判定されたサブバンド内の次に量子化することになるラインのライン目標符号量Ｔ[i]を
    Ｔ[i]＝Ｔsb × Ｘ[i-1] ／ Ｘsb_N-1
    として算出し、
    シーンチェンジが有りと判定されたサブバンド内の次に量子化することになるラインのライン目標符号量Ｔ[i]を予め統計的に求めた値Ｔscとする
    ことを特徴とする請求項１１に記載の画像符号化装置。
13. 前記設定手段は、
    シーンチェンジが無い場合の初期の量子化パラメータをＱｐini、
    シーンチェンジが無い場合の制御感度をｒ、
    シーンチェンジが有りの場合の初期の量子化パラメータをＱｐinisc、
    シーンチェンジが有りの場合の制御感度をｒsc、
    第ｉ−１ラインまでの符号化データ量と目標符号量との差の積算をΣＥ[i-1]
    と定義したとき、
    シーンチェンジが無い場合の前記着目サブバンド内の次に量子化するラインの量子化パラメータＱｐ[i]を次式（２）により求め
    Ｑｐ[i]＝Ｑｐini ＋ｒ × ΣＥ[i-1] …（２）
    シーンチェンジが有りの場合の前記着目サブバンド内の次に量子化するラインの量子化パラメータＱｐ[i]を次式（３）により求める
    Ｑｐ[i]＝Ｑｐinisc ＋ｒsc × ΣＥ[i-1] …（３）
    ことを特徴とする請求項１２に記載の画像符号化装置。
14. 撮像手段で撮像した動画像データを符号化する画像符号化装置の制御方法であって、
    周波数変換手段が、前記動画像データにおける着目フレームを周波数変換し、複数のサブバンドを生成する周波数変換工程と、
    量子化手段が、設定された目標符号量に応じて決定される量子化パラメータに従い、各サブバンドの係数データを量子化する量子化工程と、
    符号化手段が、量子化後の係数データを符号化し、符号化データを生成する符号化工程と、
    符号量制御手段が、前記符号化工程で生成された直前のフレームの符号量に基づいて、目標符号量を設定する符号量制御工程と、
    判定手段が、前記複数のサブバンド毎に、前記着目フレームと前記直前のフレームとの間でシーンチェンジがあるかを判定する判定工程と
    を有することを特徴とする画像符号化装置の制御方法。
15. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至１３のいずれか１項に記載の画像符号化装置として機能させるためのプログラム。

Images