JP7387333B2 - 符号化装置及びその制御方法 - Google Patents

Description

本発明は、画像を符号化する符号化装置に関するものである。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化し、記録媒体に記録するのが一般的である。

一方、撮像センサーで得られた直後の現像未処理の撮像データ（ＲＡＷ画像）を記録媒体に格納する撮像装置もある。ＲＡＷ画像は、撮像センサーからの色情報を損ねることなく豊富な色階調数を保ったまま記録するため、自由度の高い編集が可能である。しかし、ＲＡＷ画像はデータ量が膨大であるため、記録メディアの空き領域を圧迫させてしまうという問題がある。そのため、ＲＡＷ画像においても圧縮符号化を行い、データ量を抑えて記録することが望まれる。

ここで、ＲＡＷ画像データの符号化において、符号化効率を高めるために、視覚特性に応じて量子化パラメータを補正して量子化する符号化方法が特許文献１に開示されている。

特開２００７－２４３５１５号広報

しかしながら、特許文献１に記載される技術は、符号量制御を用いた画像符号化において、画像全体の画質を考慮した符号化方法となっていない。一般的に符号量制御では、所定の単位で目標符号量を設定し、発生符号量が目標符号量に近づくように量子化パラメータを制御する。ここで、量子化パラメータを下げて符号量が大きくなる箇所が画像全体に多く存在する画像が入力されると、先に符号量制御を行った画像上部で符号を多く使ってしまい、画像下部では割り振る符号量が不足し、量子化パラメータを下げられなくなる。そのため、特に圧縮率が高い場合に、画像の上部の画質と下部の画質との差が大きくなり、画像の下部の画質劣化が顕著に目立ってしまう。

そこで本発明は上記の問題点に鑑み、画像の特徴に応じて量子化することにより、画像全体の画質を考慮し、画質低下を抑制する符号化装置を提供することを目的とする。

上述の目的を達成するため、本発明の符号化装置は、
画像データを符号化する符号化装置であって、画像データを複数の周波数帯域に周波数変換して変換係数を生成する周波数変換手段と、周波数変換手段で生成した変換係数を量子化する量子化手段と、量子化手段で生成した量子化後の変換係数を符号化する符号化手段と、量子化手段で用いる量子化パラメータを制御する量子化制御手段と、を備え、量子化制御手段は、量子化パラメータを設定する量子化パラメータ設定手段と、画像データに対する複数の特徴情報をブロック毎に生成する特徴情報生成手段と、特徴情報生成手段により生成された特徴情報に基づき、ブロックが複数の特徴分類のうちのいずれの特徴分類であるかを判定する特徴分類手段と、ブロック毎に、特徴分類手段により判定された特徴分類に対応する量子化パラメータ補正量に基づいて、量子化パラメータ設定手段により設定された量子化パラメータを補正する量子化パラメータ補正手段とを備え、特徴分類手段は、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定することを特徴する。

本発明によれば、画像の特徴に応じて量子化することにより、画像全体の画質を考慮し、画質低下を抑制する符号化装置を提供することが可能となる。

符号化装置の構成を示すブロック図である。 量子化制御部１０５の構成を示すブロック図である。 ベイヤー配列の画像データを示す図である。 ウェーブレット変換を説明するための図である。 発生符号量の推移を示す図である。 サブバンド係数を用いた特徴情報の生成処理の処理単位となるブロックを説明するための図である。 特徴情報を用いた特徴分類を説明するための図である。 エッジ有の場合の特徴分類の変更を説明するための図である。 第一の実施例に係る量子化パラメータ補正手順を示すフローチャートである。 特徴分類処理、量子化パラメータ変更処理を示すフローチャートである。 第二の実施例に係る量子化パラメータ補正手順を示すフローチャートである。 第三の実施例に係る量子化パラメータ補正手順を示すフローチャートである。 補正過多時の量子化パラメータ補正量の変更方法を示す図である。 補正過多時の量子化パラメータ補正方法量の変更を示す図である。 補正過多時の量子化パラメータ補正方法を量の変更示す図である。

［第１の実施例］
［符号化装置１００の構成］
本発明を適用可能な実施形態である符号化装置１００の構成及び処理の流れについて図１、図２に示すブロック図を参照しながら説明を行う。

制御部１０１は、符号化装置１００を構成する各処理部を制御したり、各種演算処理等を実行する。制御部１０１は、不図示のプログラムメモリから読み出したプログラムに基づき、各処理部の制御及び演算処理などを実行する。また、制御部１０１は、ユーザが不図示の操作部を介して設定した撮影設定に応じて、記録するＲＡＷ画像の圧縮率を決定する。動画の場合は、ユーザにより設定されたビットレートに応じて圧縮率を算出する。圧縮率の算出式を式０に示す。
（式０）
圧縮率［％］＝｛ビットレート／（水平画素数×垂直画素数×ビット深度×フレームレート）｝×１００

撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系とレンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサー又は、ＣＭＯＳセンサーなどの撮像素子を含み、撮像素子により得られた電気信号をディジタル信号に変換したＲＡＷデータをプレーン変換部１０３へ出力する。本実施例における、ＲＡＷデータは、図３に示すベイヤー配列のＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の４つの色要素で構成されるものとして説明する。

プレーン変換部１０３は、撮像部１０２から入力されたＲＡＷデータを読み出し、４つの独立したプレーンデータに変換する。そして、生成した４つのプレーンデータを周波数変換部１０４に出力する。ここで、プレーンデータへの変換式を式１に示す。式１は、近似的に輝度プレーン（Ｙ）と、色差などを含むその他のプレーン（Ｃ０、Ｃ１、Ｃ２）に変換している。
（式１）
Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
Ｃ０＝Ｒ－Ｂ
Ｃ１＝（Ｇ０＋Ｇ１）／２－（Ｒ＋Ｂ）／２
Ｃ２＝Ｇ０－Ｇ１

なお、プレーンデータへの変換方法はこれに限定されるものではなく、Ｒ、Ｇ１、Ｇ２、Ｂに分離して出力するなど別の方法を用いてもよい。また、静止画はＲ、Ｇ１、Ｇ２、Ｂに分離し、動画はＹ、Ｃ０、Ｃ１、Ｃ２に分離するなど、画像の用途や撮影モードによって切り替えてもよい。

周波数変換部１０４は、プレーン変換部１０３から入力されたプレーンデータを読み出し、周波数変換を施す。そして、得た変換係数を量子化制御部１０５と量子化部１０６に出力する。本実施形態では、ウェーブレット変換を用いた周波数変換を行う。ウェーブレット変換を行った場合の例を図４に示す。図４は、ウェーブレット変換を垂直方向、水平方向にそれぞれ１回施した、分解レベル１の場合のサブバンド形成図である。図４において、ＬＬサブバンドは低周波成分を表し、それ以外のサブバンド（ＨＬ、ＬＨ、ＨＨ）は高周波成分を表す。また、階層的にウェーブレット変換を実行する場合（分解レベル２以降）は、分解レベル１と同様の処理を、ＬＬ成分に対してのみ実施する。つまり、分解レベル２の場合は、さらに、１ＬＬサブバンドに対して垂直方向、水平方向にウェーブレット変換を実行する。

量子化制御部１０５は、図２に示すように量子化パラメータ設定部１０５ａ、特徴情報生成部１０５ｂ、量子化パラメータ補正部１０５ｃで構成されており、量子化部１０６で使用する量子化パラメータを決定する。

量子化パラメータ設定部１０５ａは、量子化パラメータを設定し、設定した量子化パラメータを量子化パラメータ補正部１０５ｃへ出力する。静止画の場合は、１つの画像に同一の量子化パラメータを設定するが、動画の場合は、１つのフレーム内の複数の領域で異なる量子化パラメータを設定する符号量制御処理を行う。動画の場合、量子化パラメータ設定部１０５ａは、制御部１０１が算出した圧縮率に基づき目標符号量を設定し、発生符号量が目標符号量に近づくようにフレーム内の複数の領域毎に量子化パラメータを算出する。符号量制御処理の詳細は後述する。

特徴情報生成部１０５ｂは、周波数変換部１０４から入力される特定のプレーンのサブバンドデータを用いて、明度、複雑度、エッジ有無、３つの特徴情報を生成する。特徴情報を生成する際には、輝度成分のプレーンを使用する。本実施形態では、Ｙプレーンを用いる。生成した３つの特徴情報を量子化パラメータ補正部１０５ｃへ出力する。特徴情報の生成処理の詳細は後述する。なお、Ｒ、Ｇ１、Ｇ２、Ｂのプレーンデータを生成して、各プレーンについて、周波数変換、量子化、符号化する場合については、各画素についてＲ、Ｇ１、Ｇ２、Ｂの平均値から構成される疑似輝度プレーンを特徴情報算出用に生成する。そして、疑似輝度プレーンを周波数変換部１０４により周波数変換して各サブバンドデータの係数を取得し、疑似輝度プレーンの係数から特徴情報を生成するようにするとよい。

量子化パラメータ補正部１０５ｃは、撮影設定等に応じて、特徴情報生成部１０５ｂから入力される３つの特徴情報のうち使用する特徴情報を選択し、選択した特徴情報を用いて特徴分類する。そして、特徴分類に対応する量子化パラメータの補正量を用いて、量子化パラメータ設定部１０５ａから入力される量子化パラメータを補正して量子化部１０６へ出力する。特徴情報と量子化パラメータ補正量の関係、ならびに、特徴分類処理の詳細は後述する。

量子化部１０６は、周波数変換部１０４から入力されるサブバンドデータに対して、量子化制御部１０５（量子化パラメータ補正部１０５ｃ）から入力される量子化パラメータを用いて量子化を実行し、量子化後の係数をエントロピー符号化部１０７に出力する。量子化部１０６では、量子化制御部１０５から入力される量子化パラメータに対して、プレーン毎、サブバンド毎にあらかじめ設定されている重みづけを行うことで、全プレーンの全サブバンド毎に量子化パラメータを算出し、サブバンド毎に算出された量子化パラメータを用いて、サブバンドデータの係数を量子化する。

エントロピー符号化部１０７は、量子化部１０６で量子化した係数を圧縮符号化し、符号化データを記録媒体１０８に出力する。この圧縮符号化は、例えば、ゴロム符号化のようなエントロピー符号化を用いて実施する。

記録制御部１０８は、エントロピー符号化部１０７が出力した符号化データを記録媒体１０９にＲＡＷ画像ファイルとして記録する処理を行う。

記録媒体１０９は、例えば不揮発性メモリで構成される記録メディアである。本実施形態では、符号化装置１００に着脱可能なメモリカードとするが、符号化装置１００の内部に設けてもよい。

次に、量子化制御部１０５において実行される、符号量制御処理、特徴情報と量子化パラメータ補正量の関係、特徴情報の生成処理の詳細について説明する。

［符号量制御処理］
動画の場合に行う符号量制御処理について詳細に説明する。量子化パラメータ設定部１０５ａでは、画面（１フレーム）内の発生符号量を制御部１０１が算出した圧縮率から求まる目標符号量に収束させるために、サブバンドのラインを設定単位として量子化パラメータを変更しながら量子化する。サブバンドのラインを目標符号量の設定単位として各ラインの量子化パラメータを変更して符号量を制御する。図５は、サブバンドをライン０から順に量子化、符号化を行った際の符号量の推移を示している。図５の右肩上がりの点線は、操作部１０１が算出した圧縮率から求まるピクチャの目標符号量と原点を結んだものである。また、第０ラインから第ｉラインまでの累積目標符号量をＴＡ（ｉ）とする。実際の発生符号量はＴＡ（ｉ）に沿って推移するとは限らず、ＴＡ（ｉ）を上回ったり、下回ったりする。ＴＡ（ｉ）は第ｉライン目までにおける目標符号量を意味するため、ＴＡ（ｉ）を上回った場合、符号量の発生を抑制する必要がある。それ故、次ラインの量子化の際には、量子化パラメータを所定値だけ増加させる。一方、ＴＡ（ｉ）を下回った場合には、符号量を増やして画質を高めても良い。それ故、次ラインの量子化の際には、量子化パラメータを所定値だけ減少させる。なお、累積発生符号量ＴＡ（ｉ）は、エントロピー符号化部１０７が、ライン毎にフィードバックしてくる発生符号量を用いて算出する。なお、最初のフレームの最初のライン（第０ライン）には、圧縮率に応じて決定される動画用の量子化パラメータを用いて量子化し、次のライン（第１ライン）以降は、符号量制御処理により算出された量子化パラメータを使用して量子化する。２枚目以降のフレームの最初のライン（第０ライン）については、最初のフレームの最初のラインで使用した量子化パラメータを用いずに、前のフレームの量子化パラメータの平均値を用いるようにするとよい。

［各特徴情報と量子化パラメータ補正量の関係］
明度は、ＲＡＷデータの輝度レベルを表す。量子化処理では、輝度レベルが低い暗部領域に対して粗い量子化を施すと、量子化後の係数が０になりやすく、微細な情報を失いやすい。更に、ＲＡＷデータは、記録後のポスト処理にてガンマ補正処理、トーンカーブ補正処理といった輝度レベルの調整が行われる。ここでは、暗部領域の輝度レベルを持ち上げ、明部領域の輝度レベルを下げる調整が一般的である。仮に暗部領域と、明部領域とで同一の量子化パラメータで量子化を行っても、輝度レベルの増幅の大きい暗部は量子化歪みの増幅度も大きいため画質劣化が目立ちやすく、また、輝度レベルの増幅の小さい明部は量子化歪みの増幅度も小さいため画質劣化が目立ちにくい。従って、暗部領域では量子化歪みが少なくなるよう細かく量子化し、また、明部領域では符号量が増加しないよう粗く量子化することが望ましい。

複雑度は、ＲＡＷデータの空間周波数の高さを表し、空間周波数が低いほど平坦、空間周波数が高いほど複雑な領域を表す。画像圧縮においては、平坦領域の情報を削減すると、視覚的劣化が目立ちやすく、複雑領域の情報を削減しても視覚的に目立ちにくい。ただし、空間周波数が高い領域の中でも、輝度レベルが急激に変化しているエッジ箇所は視覚的劣化が目立ちやすい。従って、視覚的劣化の目立ちやすい平坦な領域やエッジを含む領域は細かく量子化を行い、視覚的劣化の目立ちにくい複雑な領域は粗く量子化を行うことが望ましい。

以上のように、暗部領域、平坦領域、エッジ領域ほど量子化パラメータを小さくし、明部領域、複雑領域ほど量子化パラメータが大きくなるように量子化パラメータの重み付けを行うことで、符号化効率を高めることが可能である。

［各特徴情報の生成処理］
特徴情報生成部１０５ｂでは、Ｙプレーンのサブバンド係数を使用して、明度、複雑度、エッジ有無、３つの特徴情報をブロック毎に生成する。本実施例ではブロックの単位を水平４係数とし、分解レベル１の各サブバンド（１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨ）の同一空間座標となる水平方向の４係数、合計１６係数を１つのブロックとする。このブロックごとに、特徴量情報の生成処理、及び、量子化パラメータの補正処理が行われる。

図６は、分解レベル１の各サブバンドと、ブロックの構成を説明するための図である。６００は、分解レベル１のＹプレーンのサブバンドを示す。６０１～６０４は、特徴情報の生成単位となるブロックを示している。１ＬＬサブバンドの水平方向の４係数のブロック６０１、１Ｈサブバンドの水平方向の４係数のブロック６０２、１ＬＨサブバンドの水平方向の４係数のブロック６０３、１ＨＨサブバンドの水平方向の４係数のブロック６０４が、特徴情報の生成単位のブロックとなる。ブロック６０１～６０４は、それぞれ同一空間座標を指す。ここで、１ＬＬサブバンドのブロック６０１内の４つの係数を、Ａ０、Ａ１、Ａ２、Ａ３とする。１ＨＬサブバンドのブロック６０２内の４つの係数を、Ｂ０、Ｂ１、Ｂ２、Ｂ３とする。１ＬＨサブバンドのブロック６０３内の４つの係数を、Ｃ０、Ｃ１、Ｃ２、Ｃ３とする。１ＨＨサブバンドのブロック６０４内の４つの係数を、Ｄ０、Ｄ１、Ｄ２、Ｄ３とする。

＜明度情報＞
明度情報は輝度レベルの高さを表すため、ＤＣ成分である１ＬＬサブバンド係数のブロック６０１を用いて生成する。明度情報Ｐ１は以下の式２で算出する。
（式２）
Ｐ１＝（Ａ０＋Ａ１＋Ａ２＋Ａ３＋２）＞＞２

＜複雑度情報＞
複雑度情報は、画像のＡＣ成分である１ＨＬサブバンド係数のブロック６０２、１ＬＨサブバンド係数のブロック６０３、１ＨＨサブバンド係数のブロック６０４を用いて生成する。複雑度情報Ｐ２は以下の式３で算出する。
（式３）
Ｐ２＝ＭＡＸ（ＰＨＬ，ＰＬＨ，ＰＨＨ）

式３におけるＰＨＬは１ＨＬサブバンド係数のブロック６０２で生成する中間評価値、ＰＬＨは１ＬＨサブバンド係数のブロック６０３で生成する中間評価値、ＰＨＨは１ＨＨサブバンド係数のブロック６０４で生成する中間評価値であり、複雑度情報Ｐ２は、高周波（ＨＬ、ＬＨ、ＨＨ）の各サブバンドブロック中間評価値の最大値とする。ＰＨＬ、ＰＬＨ、ＰＨＨの計算式をそれぞれ式４、式５、式６に示す。ＡＢＳは絶対値変換処理を表す。
（式４）
ＰＨＬ＝｛ＡＢＳ（Ｂ０）＋ＡＢＳ（Ｂ１）＋ＡＢＳ（Ｂ２）＋ＡＢＳ（Ｂ３）＋２｝＞＞２
（式５）
ＰＬＨ＝｛ＡＢＳ（Ｃ０）＋ＡＢＳ（Ｃ１）＋ＡＢＳ（Ｃ２）＋ＡＢＳ（Ｃ３）＋２｝＞＞２
（式６）
ＰＨＨ＝｛ＡＢＳ（Ｄ０）＋ＡＢＳ（Ｄ１）＋ＡＢＳ（Ｄ２）＋ＡＢＳ（Ｄ３）＋２｝＞＞２

＜エッジ有無情報＞
エッジは、輝度が急峻に変化する箇所であるため、他のブロックと比べてブロック内係数間の輝度レベルの差が大きくなる。また、エッジは高周波成分に属するため、式３で算出する複雑度も自ずと高くなる。

まずは以下の式７～式１０の計算フローによって輝度の急峻な変化を検出する。
始めに、式７を用いてブロック内の係数最大値ＭＡＸ＿ＶＡＬを算出する。式７のＭＡＸは最大値を選択する処理である。
（式７）
ＭＡＸ＿ＶＡＬ＝ＭＡＸ（Ａ０，Ａ１，Ａ２，Ａ３）

次に、式８を用いてブロック内の係数最小値ＭＩＮ＿ＶＡＬを算出する。式８のＭＩＮは最小値を選択する処理である。
（式８）
ＭＩＮ＿ＶＡＬ＝ＭＩＮ（Ａ０，Ａ１，Ａ２，Ａ３）

次に、式７と式８の結果を用いて、ブロック内の輝度差分量の最大値ＤＣ＿ＤＩＦＦを算出する。
（式９）
ＤＣ＿ＤＩＦＦ＝（ＭＡＸ＿ＶＡＬ）－（ＭＩＮ＿ＶＡＬ）

最後にＤＣ＿ＤＩＦＦと、予め設定されているＤＣ用のエッジ判定のための閾値Ｔｄとで大小比較を行い、ブロック内で輝度が急峻に変化するか否かを判定する。輝度が急峻に変化する領域であるか否かのフラグ情報ＤＣ＿ＥＤＧＥ＿ＦＬＧを式１０に示す。ＤＣ＿ＤＩＦＦがＴｄよりも大きく輝度の差分量が大きい領域であればＤＣ＿ＥＤＧＥ＿ＦＬＧを１とし、ＤＣ＿ＤＩＦＦがＴｄよりも小さく輝度の差分量が小さい領域であればＤＣ＿ＥＤＧＥ＿ＦＬＧを０とする。
（式１０）
ＤＣ＿ＥＤＧＥ＿ＦＬＧ＝（ＤＣ＿ＤＩＦＦ＞Ｔｄ）？１：０

また、対象ブロックに高周波成分が含まれるか否かを判定する。高周波成分が含まれるか否かのフラグ情報ＡＣ＿ＥＤＧＥ＿ＦＬＧを式１１に示す。ここでは、式３で算出した複雑度Ｐ２と予め設定されているＡＣ用のエッジ判定のための閾値Ｔａとで大小比較を行うことで判定する。Ｐ２がＴａよりも大きく複雑度が高い領域であればＡＣ＿ＥＤＧＥ＿ＦＬＧを１とし、Ｐ２がＴａよりも小さく複雑度が低い領域であればＡＣ＿ＥＤＧＥ＿ＦＬＧを０とする。
（式１１）
ＡＣ＿ＥＤＧＥ＿ＦＬＧ＝（Ｐ２＞Ｔａ）？１：０

そして、式１０と式１１の結果を用いて、エッジ有無の情報を生成する。エッジ有無の情報Ｐ３は、以下の式１２で算出する。
（式１２）
Ｐ３＝（ＤＣ＿ＥＤＧＥ＿ＦＬＧ ＆＆ ＡＣ＿ＥＤＧＥ＿ＦＬＧ）？１：０

ここで、エッジ有無情報Ｐ３において、「１」はエッジ有を示し、「０」はエッジ無を示す。本実施例のエッジ有無情報Ｐ３は、ＤＣ＿ＥＤＧＥ＿ＦＬＧとＡＣ＿ＥＤＧＥ＿ＦＬＧの両方が有効（「１」）である場合に、エッジ有りと判定する方法を説明した。しかし、ウェーブレット係数の性質として、高輝度箇所の係数値は大きく（複雑度高い）、低輝度箇所の係数値は小さく（複雑度低い）なる傾向がある。これは、高輝度箇所は、空間的に隣接する係数間の差分量が相対的に大きく、低輝度箇所は、空間的に隣接する係数間の差分量が相対的に小さいためである。このように、ＤＣ＿ＥＤＧＥ＿ＦＬＧとＡＣ＿ＥＤＧＥ＿ＦＬＧは相関があるため、どちらか一方のフラグ情報のみでエッジの有無を判定することができ、より簡易的にエッジ有無の情報Ｐ３を生成することも可能である。つまり、ＤＣ＿ＥＤＧＥ＿ＦＬＧと、ＡＣ＿ＥＤＧＥ＿ＦＬＧのうちの一方のみを算出し、その値をエッジ有無情報Ｐ３としてもよい。また、ＤＣ＿ＥＤＧＥ＿ＦＬＧを生成する場合には、ＤＣ成分ブロック内の係数毎にＴｄと大小比較を行い、暗部係数の数と非暗部係数の数から輝度が急峻に変化する箇所かどうか判定する等して、ＤＣ＿ＥＤＧＥ＿ＦＬＧの計算コストを低減することも可能である。また、比較などをせずに、単に、暗部係数が所定の数以上ある場合にエッジ有りと判定することにより、エッジ有無情報の計算コストを低減することもできる。エッジ有無の特徴情報は、これらに限定されず、その他の生成方法によって実現されても良い。

［特徴分類］
ここで、図７に示す特徴分類表を用いて量子化パラメータ補正部１０５ｃが行う特徴分類について説明する。

図７（ａ）は、明度情報Ｐ１、複雑度情報Ｐ２を用いて特徴分類した場合の、各閾値（ＴＨ０～ＴＨ３）及び量子化パラメータの補正量（Ｑ０～Ｑ８）の関係を示している。

図７（ａ）において、ＴＨ０は低輝度と中輝度に分類するための閾値、ＴＨ１は中輝度と高輝度に分類するための閾値、ＴＨ２は低周波と中周波に分類するための閾値、ＴＨ３は中周波と高周波に分類するための閾値である。各閾値（ＴＨ０～ＴＨ３）は、画像のビット深度や圧縮率等の記録設定に応じて設定される。

明度を用いた特徴分類を行う場合は、前述した明度情報Ｐ１と、閾値ＴＨ０、ＴＨ１との大小関係に応じて、低輝度（暗部）、中輝度、高輝度（明部）のいずれかに特徴分類する。すなわち、明度に関しては、明度情報Ｐ１が閾値ＴＨ０より小さい場合は＜低輝度＞、明度情報Ｐ１が閾値ＴＨ０以上かつ閾値ＴＨ１未満の場合は＜中輝度＞、明度情報Ｐ１が閾値ＴＨ１以上の場合は＜高輝度＞に分類される。

また、複雑度を用いた特徴分類を行う場合は、前述した複雑度情報Ｐ２と、閾値ＴＨ２、ＴＨ３との大小関係に応じて、低周波（平坦）、中周波、高周波（複雑）のいずれかに特徴分類する。すなわち、複雑度に関しては、複雑度情報Ｐ２が閾値ＴＨ２より小さい場合は＜低周波＞、複雑度情報Ｐ２が閾値ＴＨ２以上かつ閾値ＴＨ３未満の場合は＜中周波＞、複雑度情報Ｐ２が閾値ＴＨ３以上の場合は＜高周波＞に分類される。

明度と複雑度の両方を用いた特徴分類を行う場合は、明度情報Ｐ１と、閾値ＴＨ０、ＴＨ１との大小関係、複雑度情報Ｐ２と、閾値ＴＨ２、ＴＨ３との大小関係から、＜低輝度・低周波＞、＜低輝度・中周波＞、＜低輝度・高周波＞、＜中輝度・低周波＞、＜中輝度・中周波＞、＜中輝度・高周波＞、＜高輝度・低周波＞、＜高輝度・中周波＞、＜高輝度・高周波＞、の９つに特徴分類される。

そして、特徴分類毎に、量子化パラメータの補正量が決定される。図７（ａ）に示すＱ０～Ｑ８は、明度情報Ｐ１、複雑度情報Ｐ２を用いて分類した場合に、特徴分類毎に適用する量子化パラメータの補正量である。

Ｑ０は、＜低輝度・低周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ１は、＜低輝度・中周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ２は、＜低輝度・高周波＞に特徴分類された場合の量子化パラメータの補正量である。Ｑ３は、＜中輝度・低周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ４は、＜中輝度・中周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ５は、＜中輝度・高周波＞に特徴分類された場合の量子化パラメータの補正量である。Ｑ６は、＜高輝度・低周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ７は、＜高輝度・中周波＞に特徴分類された場合の量子化パラメータの補正量であり、Ｑ８は、＜高輝度・高周波＞に特徴分類された場合の量子化パラメータの補正量である。

特徴分類毎の補正量の大小関係の例を以下に示す。
Ｑ０＜Ｑ１≦Ｑ３≦Ｑ２≦Ｑ４≦Ｑ６＜Ｑ５≦Ｑ７＜Ｑ８

補正量は画像のビット深度や圧縮率に応じて変更するが、視覚特性を考慮して、暗部平坦な特徴分類である＜低輝度・低周波＞のＱ０が最も補正量が小さく、明部複雑な特徴分類である＜高輝度・高周波＞のＱ８が最も補正量が大きくなるように重み付けを設定することが望ましい。なお上記の例における補正量の大小関係は、補正量Ｑ０となる特徴分類＜低輝度・低周波＞の領域からの各特徴分類の領域までの距離を基準に設定している。

続いて、複雑度情報Ｐ２を用いずに明度情報Ｐ１を用いて特徴分類する場合について、図７（ｂ）を用いて説明する。複雑度情報Ｐ２を用いずに、明度情報Ｐ１を用いて特徴分類する場合は、明度情報Ｐ１と、閾値ＴＨ０、ＴＨ１との大小関係により特徴分類する。すなわち、明度情報Ｐ１が閾値ＴＨ０より小さい場合は＜低輝度＞、明度情報Ｐ１が閾値ＴＨ０以上かつ閾値ＴＨ１未満の場合は＜中輝度＞、明度情報Ｐ１が閾値ＴＨ１以上の場合は＜高輝度＞に特徴分類する。複雑度情報Ｐ２を用いずに明度情報Ｐ１のみを用いて特徴分類する場合は、＜低輝度＞、＜中輝度＞、＜高輝度＞の３つに特徴分類される。

＜低輝度＞に特徴分類された場合の量子化パラメータの補正量がＱ０、＜中輝度＞に特徴分類された場合の量子化パラメータの補正量がＱ１、＜高輝度＞に特徴分類された場合の量子化パラメータの補正量がＱ２となる。そして、この時の補正量の関係は、Ｑ０＜Ｑ１＜Ｑ２となる。

本実施形態では、明度情報Ｐ１により特徴分類する場合には、複雑度情報Ｐ２を用いずに３つの特徴分類に分類するものとした。しかし。図７（ａ）と同様に複雑度情報Ｐ２も用いて９つに特徴分類し、量子化パラメータの補正量を、Ｑ０＝Ｑ３＝Ｑ６、Ｑ１＝Ｑ４＝Ｑ７、Ｑ２＝Ｑ５＝Ｑ８と設定することで、複雑度情報Ｐ２を用いない場合と同様の効果を得るようにしてもよい。

次に、エッジ有無情報を用いた場合の特徴分類の変更処理について、図８に示す特徴分類表を用いて説明する。

図８は、明度情報Ｐ１と複雑度情報Ｐ２と、閾値（ＴＨ０～ＴＨ３）によって特徴分類を行う点は図７（ａ）と同様である。ただし、エッジ有無情報がエッジ有の情報である「１」を示している場合は、その特徴分類を変更する処理を実行する。つまり、エッジ有無情報が「１」でエッジ有である場合、変更対象の特徴分類８０２（＜中輝度・中周波＞、＜中輝度・高周波＞、＜高輝度・中周波＞、＜高輝度・高周波＞）に分類されているときは、変更後の特徴分類８０１（＜低輝度・低周波＞）に特徴分類を変更する。こうすることで、エッジがあるブロックにおいて、暗部平坦な領域と同等の画質を保つことが可能になる。なお、エッジ無の場合は、特徴分類の変更処理は行わない。

本実施形態では、エッジ有の時に、変更対象となる複数の特徴領域８０２のいずれかに分類された場合には、変更後の特徴領域８０１＜低輝度・低周波＞に特徴分類を変更することにより、量子化パラメータ補正量を小さくしてエッジ領域の画質を保つようにした。しかし、特徴分類の変更方法はこれに限らない。例えば、変更対象となる複数の特徴領域８０２を、＜中輝度・中周波＞、＜中輝度・高周波＞、＜高輝度・中周波＞、＜高輝度・高周波＞の４つの特徴分類だけでなく、＜中輝度・低周波＞、＜高輝度・低周波＞を含む６つの特徴分類にしてもよい。この場合、変更対象となる特徴領域は、低輝度以外のすべての特徴分類となる。また、変更後の特徴分類を＜低輝度・低周波＞ではなく、他の特徴分類にしてもよい。ただしこの場合、エッジ領域の画質を保持するためには、変更後の特徴分類は、量子化パラメータの補正量が、変更対象の特徴分類の量子化パラメータの補正量よりも小さい特徴分類となるようにする必要がある。また、エッジ有の場合にエッジ領域専用の特徴分類を設け、エッジ有、かつ、変更対象の特徴分類に分類された場合に、エッジ領域専用の特徴分類に変更するようにしてもよい。

［量子化パラメータ補正手順］
量子化パラメータ補正部１０５ｃが行う量子化パラメータの補正手順を図９に示す。本実施例では、任意の圧縮率閾値ＴＲ０、ＴＲ１（ＴＲ０＞ＴＲ１）が予め設定されている。そして、ユーザに設定された圧縮率と、閾値との大小関係に基づき、使用する特徴情報を選択し、選択された特徴情報に基づいて画像データの各ブロックを特徴分類する。そして特徴分類に応じて、量子化パラメータの補正量を決定して量子化パラメータを補正するように動作する。明度の特徴情報を用いた特徴分類を行うか否かを示すフラグ情報をｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ、複雑度の特徴情報を用いた特徴分類を行うか否かを示すフラグ情報をａｃ＿ｅｎａｂｌｅ＿ｆｌｇ、エッジ有無の特徴情報を用いた特徴分類を行うか否かを示すフラグ情報をｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇとする。各フラグ情報については、１の場合有効としてその特徴情報を用いた特徴分類を行い、０の場合無効としてその特徴分類を用いた特徴分類を行わないようにする。

図９Ａ、図９Ｂは、量子化制御部１０５が行う量子化パラメータの補正手順であり、量子化制御部１０５は、予め組み込まれたプログラムに基づいて図９Ａ、図９Ｂのフローチャートの各処理を実行する。量子化制御部１０５は、不図示のプログラムメモリからプログラムを読み出して、読み出したプログラムに基づいて図９の処理を実行するようにしてもよい。

Ｓ９０１では、量子化パラメータ補正部１０５ｃは、制御部１０１が前述のように算出した圧縮率Ｒを、制御部１０１から取得する。

前述の説明では、ビットレートに応じて圧縮率を算出するものとしたが、ユーザが操作部を介して圧縮率を設定できるようにし、ユーザにより設定された圧縮率を制御部１０１から取得してもよい。動画についてはビットレートに基づいて制御部１０１が圧縮率を算出し、静止画については、ユーザの設定に応じた圧縮率を制御部１０１から取得するようにしてもよい。また、ビットレートに対応する圧縮率を不図示のメモリに保持しておき、設定されたビットレートに対応する圧縮率を制御部１０１がメモリから読み出すようにして圧縮率を取得してもよい。あるいは、ビットレートではなく記録画質をユーザに設定させ、ユーザに設定された記録画質に対応する圧縮率をメモリから読み出すようにしてもよい。

Ｓ９０２では、量子化パラメータ補正部１０５ｃは、Ｓ９０１で取得した圧縮率Ｒと圧縮率閾値ＴＲ０との大小比較を行う。圧縮率Ｒのほうが大きい場合はＳ９０３に処理を進め、そうでない場合はＳ９０４に処理を進める。

Ｓ９０３では、量子化パラメータ補正部１０５ｃは、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝０に設定する。そしてＳ９０７に処理を進める。ここで、Ｓ９０３では、Ｓ９０２において圧縮率が低圧縮であることが判定されたため、明度、複雑度、エッジ有無のすべての特徴情報を使用しないと決定する。この場合、特徴情報を用いた特徴分類及び量子化パラメータの補正処理は実行しない。

Ｓ９０４では、量子化パラメータ補正部１０５ｃは、Ｓ９０１で取得した圧縮率Ｒと圧縮率閾値ＴＲ１との大小比較を行う。圧縮率Ｒのほうが大きい場合はＳ９０５に処理を進める。また、そうでない場合はＳ９０６処理を進める。

Ｓ９０５では、量子化パラメータ補正部１０５ｃは、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝１に設定する。そしてＳ９０７に処理を進める。ここで、Ｓ９０５では、Ｓ９０４において圧縮率が中圧縮であることが判定されたため、明度、複雑度、エッジ有無のすべての特徴情報を使用して、特徴分類及び量子化パラメータの補正処理を実行するように各フラグ情報を設定する。

Ｓ９０６では、量子化パラメータ補正部１０５ｃは、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝０に設定する。そしてＳ９０７に処理を進める。ここで、Ｓ９０６では、Ｓ９０４において圧縮率が高圧縮であることが判定されたため、明度、複雑度の特徴情報を使用して、量子化パラメータの補正処理を実行し、エッジ有無の特徴情報は使用しないように各フラグ情報を設定する。エッジ有の場合に量子化パラメータを補正すると圧縮率が低下してしまうため、高圧縮の場合は、エッジ有無の特徴情報を用いた量子化パラメータの補正処理は行わないようにする。

Ｓ９０７では、量子化パラメータ補正部１０５ｃは、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０であるかを判定する。特徴情報を用いて量子化パラメータの補正処理を行う場合は、少なくとも明度情報は使用するため、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０の場合は、特徴情報を用いた量子化パラメータの補正処理は行わないこととなる。したがって、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０の場合は、特徴情報を用いた量子化パラメータの補正処理は行わずに本堤順を終了する。特徴情報を用いた量子化パラメータの補正処理を行わない場合は、量子化パラメータ補正部１０５ｃは、量子化パラメータ設定部１０５ａで設定された量子化パラメータを補正せずにそのまま量子化部１０６に出力する。

Ｓ９０８では、量子化パラメータ補正部１０５ｃは、特徴分類毎の量子化パラメータの補正量Ｑ０～Ｑ８と、特徴分類の閾値ＴＨ０～ＴＨ３を設定する。これらは、撮影モード（静止画撮影、動画撮影）や、圧縮率に応じた値が設定される。また、Ｓ９０３，Ｓ９０５、Ｓ９０６で設定されるｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇの値に応じて異なる量子化パラメータの補正量Ｑ０～Ｑ８を設定するようにしてもよい。

Ｓ９０９では、特徴情報生成部１０５ｂ及び量子化パラメータ補正部１０５ｃは、特徴分類処理及び量子化パラメータの補正処理を行う。特徴分類処理及び量子化パラメータの補正処理は、前述した画像データのブロック毎に実行する。まずは各サブバンドについて０ライン目の４係数を処理の対象ブロックとし、全ブロックについて処理を繰り返す。

図９Ｂを用いて特徴分類処理及び量子化パラメータの補正処理の処理手順について説明する。

まずＳ９２１では、特徴情報生成部１０５ｂは、周波数変換部１０４から出力される対象のブロックのサブバンドデータを用いて、前述の特徴情報の生成処理のように、明度情報Ｐ１、複雑度情報Ｐ２、エッジ有無情報Ｐ３を生成し、量子化パラメータ補正部１０５ｃに出力する。

Ｓ９２２では、量子化パラメータ補正部１０５ｃは、特徴情報生成部１０５ｂが生成した特徴情報である明度情報Ｐ１、複雑度情報Ｐ２と、Ｓ９０８で設定した閾値ＴＨ０～ＴＨ３を比較し、前に説明したように対象ブロックの特徴分類を決定する。なお、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝０の場合は、複雑度情報Ｐ２による特徴分類を行わずに、図７（ｂ）のように明度情報Ｐ１のみを用いて特徴分類を決定する。

Ｓ９２３では、量子化パラメータ補正部１０５ｃは、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝１であるかを判定する。ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝１の場合はエッジ有無に応じた量子化パラメータの補正量の変更処理を行うためＳ９２４に進む。ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝０の場合は、エッジ有無にかかわらず量子化パラメータの補正量を決定するためＳ９２４、Ｓ９２５の処理を実行せずにＳ９２６に進む。

Ｓ９２４では、量子化パラメータ補正部１０５ｃは、特徴情報生成部１０５ｂから取得したエッジ有無情報Ｐ３が「１」であるか、つまり、対象ブロック内にエッジ領域が含まれているかを判定する。エッジ有無情報Ｐ３＝１で、対象ブロック内にエッジ領域が含まれていると判定された場合はＳ９２５に進んで特徴分類の変更処理を行う。エッジ有無情報Ｐ３＝１でなく、対象ブロック内にエッジ領域が含まれない場合は、特徴分類の変更処理は行なわずにＳ９２６に進む。

Ｓ９２５では、量子化パラメータ補正部１０５ｃは、前に図８で説明したように、Ｓ９２２で決定された特徴分類が、変更対象の特徴分類８０２である場合は、特徴分類を＜低輝度・低周波＞の特徴分類に変更する。変更対象の特徴分類８０２ではない場合は、エッジがあった場合でも、Ｓ９２２で決定された特徴分類を維持する。

Ｓ９２６では、Ｓ９２２及びＳ９２５の処理で決定された特徴分類に対応する量子化パラメータの補正量を用いて、量子化パラメータ設定部１０５ａで設定された量子化パラメータを補正し、補正した量子化パラメータを、量子化部１０６に出力する。量子化部１０６では、特徴分類に対応する量子化パラメータの補正量は、Ｓ９０８で設定された補正量Ｑ０～Ｑ８である。

このように、特徴分類処理及び量子化パラメータの補正処理では、ブロックの特徴情報に応じて特徴分類を決定し、決定した特徴分類に対応する量子化パラメータの補正量を用いて、量子化パラメータ設定部１０５ａで設定された量子化パラメータを補正する。本実施形態では、特徴情報と閾値（ＴＨ０～ＴＨ３）に基づいて特徴分類したが、特徴分類せずに、特徴情報と閾値（ＴＨ０～ＴＨ３）とから、対応する量子化パラメータ補正量を決定するような構成にしてもよい。

対象ブロックの特徴分類処理及び量子化パラメータの補正処理を実行した後は、Ｓ９１０に進む。

Ｓ９１０では、量子化パラメータ補正部１０５ｃは、フレーム内の全ブロックについてＳ９０９の特徴分類処理及び量子化パラメータの補正処理を実行したかを判定し、全ブロックについて処理完了している場合はＳ９１１に進む。未処理のブロックが残っている場合は、量子化パラメータ補正部１０５ｃは、処理の対象ブロックを次のブロックに変更し、対象ブロックについてＳ９０９の処理を実行する。

Ｓ９１０では、量子化パラメータ補正部１０５ｃは、記録対象となる全フレームについて処理が完了したかを判定し、処理が完了していない場合は、処理対象のフレームを次のフレームに設定し、Ｓ９０９に進み、特徴分類処理及び量子化パラメータの補正処理を繰り返す。記録対象の全フレームについて処理が完了していると判定した場合は、本処理を終了する。なお、静止画の単写撮影の場合は１枚分の画像つまり１フレームしか記録しないため、Ｓ９１１の処理を省略してもよい。

このように、全フレームの全ブロックについて特徴分類処理及び量子化パラメータの補正処理を実行する。

ここで、各圧縮分類に対する特徴情報の設定意図について説明する。

高圧縮時（Ｒ≦ＴＲ１）は、エッジ有無の情報を特徴情報として使わずに特徴を分類する。エッジは、視覚的劣化が目立ちやすい箇所であるため、量子化パラメータを下げる領域に分類する。入力画像の全域に視覚的劣化が目立ちやすい領域が存在し、画面上部で量子化パラメータのマイナス補正が大量に発生する（以下、補正過多）と画面下部の視覚的劣化が目立ちやすい領域で割り振る符号量が不足し、画面トータルとしての画質が低下する可能性がある。そのため、高圧縮時は、エッジ有無の特徴情報を使用せず、エッジに対する量子化パラメータの変更が無効となる設定を施すことで、画面下部の画質劣化を抑制するように動作させる。

中圧縮時（Ｒ＞ＴＲ１）は、エッジ有無の情報を含む全ての特徴情報を使って特徴を分類する。中圧縮時は、高圧縮時と比べて目標符号量に余裕があり、画面下部の視覚的劣化が目立ちやすい領域に対しても高圧縮時と比べて多くの符号量を割り振ることができる。そのため、中圧縮時は、エッジに対する量子化パラメータの変更が有効となる設定を施すことで、視覚的劣化の目立ちやすい箇所の画質を向上するように動作させる。

低圧縮時（Ｒ＞ＴＲ０）は、特徴分類を実施しない。量子化パラメータ設定部１０５ａが決定する量子化パラメータがもともと小さく十分な画質が担保される。そこで、低圧縮時においては、符号量の制御性を重視し、特徴情報による量子化パラメータ補正を行わない。

以上のように、圧縮率に応じて特徴分類処理を切り替えて量子化パラメータを補正することで、符号量割り振りの偏りによって生じる画質劣化を抑制し、画面全体の画質を向上することが可能である。

本実施例では、明度情報によって３段階、複雑度情報によって３段階、計９つの領域に特徴を分類する例を用いて説明した。しかし、特徴分類する領域の数はこれに限定されるものではなく、明度情報、複雑度情報のみで特徴分類を行ってもよい。また各特徴の段階を更に増やしてもよい。

また、特徴分類に使用する各特徴情報の閾値を圧縮率に応じて変更することも可能である。例えば、高圧縮時は、図７に示すＴＨ０とＴＨ２を上げて、マイナス方向に量子化パラメータを補正する領域に分類されにくくする。そうすることで、補正過多による画面全体の画質劣化を抑制することが可能である。

また、図７では、エッジ有無によって、特徴分類結果をＱ０領域に変更する例を説明したが、エッジ有無による分類結果の変更先はこれに限定されるものではない。エッジ領域に対する量子化パラメータの補正量を別途保持しておき、エッジ有りと判定した場合はその補正量を用いて量子化パラメータを補正するように動作してもよい。

［第２の実施例］
本発明の第２の実施例に係る符号化装置の構成および基本的な処理は、第１の実施例に示す符号化装置と同様であるため、説明は省略する。第１の実施例では、圧縮率に応じて特徴分類において使用する特徴情報を切り替えて量子化パラメータを補正する方法について説明した。本実施例では、静止画、動画等の記録モードに応じて使用する特徴情報、特徴分類処理を切り替えて量子化パラメータを補正する。

本実施例の量子化パラメータの補正手順を図１０に示す。図１０は、図９と同様に、量子化制御部１０５が行う量子化パラメータの補正手順であり、量子化制御部１０５は、予め組み込まれたプログラムに基づいて図１０のフローチャートの各処理を実行する。量子化制御部１０５は、不図示のプログラムメモリからプログラムを読み出して、読み出したプログラムに基づいて図１０の処理を実行するようにしてもよい。

Ｓ１００１では、量子化パラメータ補正部１０５ｃは、符号化装置に設定されている記録モードを取得する。本実施例における記録モードとは、動画記録モードまたは静止画記録モードである。記録モードは不図示の操作部を介してユーザにより設定され、不図示のメモリに設定が保持されている。

Ｓ１００２では、量子化パラメータ補正部１０５ｃは、Ｓ１００１で取得した記録モードが、動画記録モードであるか否かを判定する。動画記録モードである場合は、Ｓ１００３に処理を進め、そうでない場合、つまり、静止画記録モードの場合はＳ１００４に処理を進める。

Ｓ１００３では、量子化パラメータ補正部１０５ｃは、動画記録モード用の設定として、特徴分類で使用する特徴情報を示す各フラグ情報を、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝０に決定する。

Ｓ１００４では、量子化パラメータ補正部１０５ｃは、静止画記録モード用の設定として、特徴分類で使用する特徴情報を示す各フラグ情報を、ｄｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ａｃ＿ｅｎａｂｌｅ＿ｆｌｇ＝１、ｅｄｇｅ＿ｅｎａｂｌｅ＿ｆｌｇ＝０に決定する。

Ｓ１００５～Ｓ１００９は、第１の実施例のＳ９０７～Ｓ９１１にそれぞれ相当するため、説明を省略する。

このように、第２の実施例では、圧縮率ではなく、記録モードに応じて、特徴分類処理及び量子化パラメータ補正処理に用いる特徴情報を切り替える。

ここで、各記録モードに対する特徴情報の設定意図について説明する。

動画記録モード時は、エッジ有無の情報を特徴情報として使わずに特徴を分類する。動画記録においては、記録時間を保証するために、ビットレートを超えないように記録しなければならない。特に、高圧縮時は、目標符号量の余裕が少ないことが想定されるため、量子化パラメータの補正過多が発生すると、符号量制御の結果、マイナス補正が発生した箇所以外の量子化パラメータが大きくなり、画面トータルとしての画質が低下する可能性がある。従って、動画記録モード時は、目標符号量の割り振りを考慮してエッジ有無の特徴情報を使用せず、エッジに対する量子化パラメータの変更を無効とすることで、画面全体の画質劣化を抑制するように動作する。

一方、静止画記録モード時は、記録フレームが１枚であるため、目標符号量に余裕があり、量子化パラメータの補正過多が発生しても所定のビットレートに収まりやすい。従って、静止画記録モード時は、目標符号量を考慮することなくエッジに対する量子化パラメータの変更を有効とすることで、エッジ領域に対する画質を高めるように動作する。

以上のように、記録モードに応じて特徴の分類方法を切り替えて量子化パラメータを補正することで、符号量割り振りの偏りによって生じる画質劣化を抑制し、画面全体の画質を向上することが可能である。

［第３の実施例］
第１、第２の実施例では、圧縮率や記録モード等の静的なパラメータから特徴分類及び量子化パラメータ変更処理において使用する特徴情報を決定し切り替えていた。これまでの実施例で述べた通り、画像トータルとして発生する画質劣化は、前半で量子化パラメータの補正過多が発生することで後に割り振る符号量が不足することが原因である。そのため、入力画像のほとんどの領域が視覚的劣化の目立ちやすい領域であったとすると、補正過多を防ぐことは難しく、そのような場合は量子化パラメータの補正量を減らして画像全体の画質劣化を抑制するように動作するのが望ましい。本実施例では、特徴分類結果を用いて補正過多が発生しているか否かをフレーム毎に動的に判定し、補正過多の判定結果に応じて量子化パラメータの補正量を変更する。

第３の実施例に係る符号化装置の構成は、第１、第２の実施例に示す符号化装置と同様であるが、量子化パラメータ補正部１０５ｃには、フレーム毎に、各特徴分類に分類したブロックの数をカウントする機能、及び、ブロック数のカウントに基づく補正過多検出機能が備わる。このカウント機能は補正過多が発生しているか否かを判定するために用いる。

本実施例の量子化パラメータの補正手順を図１１に示す。なお、本実施例では、１フレーム内の量子化パラメータが大きく変化することによる画質劣化を防ぐため、フレーム単位で量子化パラメータの補正量を変更するものとする。また、補正過多が発生した場合に、次のフレームの量子化パラメータの補正量を変更するため、複数フレームを処理する動画記録モードを想定している。

図１１のフローチャートは、図９、図１０と同様に、量子化制御部１０５が行う量子化パラメータの補正手順（の一部の処理）であり、量子化制御部１０５は、予め組み込まれたプログラムに基づいて図９Ａ、図９Ｂのフローチャートの各処理を実行する。量子化制御部１０５は、不図示のプログラムメモリからプログラムを読み出して、読み出したプログラムに基づいて図１１の処理を実行するようにしてもよい。なお。図１１の処理は、第１の実施例のＳ９０１～Ｓ９０８処理の後、または、第２の実施例のＳ１００１～Ｓ１００６の処理の後に実行される処理を示している。つまり、図１１の処理は、第１の実施例のＳ９０９～Ｓ９１１、または、第２の実施例のＳ１００７～Ｓ１００９の代わりに実行される処理である。

Ｓ１１０１では、量子化パラメータ補正部１０５ｃは、Ｓ９０９、Ｓ１００７と同様に、処理の対象となるブロックについて、特徴分類処理・量子化パラメータ補正処理を実行する。

Ｓ１１０２では、量子化パラメータ補正部１０５ｃは、Ｓ１１０１で決定した処理対象のブロックが分類された特徴分類について、ブロック数のカウントを１追加する。なお、各特徴分類に分類されたブロック数のカウントは、フレーム単位で行うため、フレームの最初のブロックの時は、カウントを初期化してからカウントを追加する。第１の実施例のように明度情報によって３段階、複雑度情報によって３段階で特徴分類を行う場合は、計９つの特徴分類毎に、分類されたブロック数をカウントすることになる。

Ｓ１１０３では、量子化パラメータ補正部１０５ｃは、フレーム内の全ての係数のブロックについて、Ｓ１１０１、Ｓ１１０２の処理が完了したか否かを判定する。全ブロックについて処理が完了した場合はＳ１１０４に処理を進め、そうでない場合はＳ１１０１に処理を戻し、次のブロックを処理対象ブロックとして、Ｓ１１０１、Ｓ１１０２の処理を実行する。

Ｓ１１０４では、量子化パラメータ補正部１０５ｃは、記録対象となるすべてのフレームについて量子化パラメータ補正処理が完了したか否かを判定する。全フレームの処理が完了した場合は処理を終了し、そうでない場合はＳ１１０５に処理を進める。

Ｓ１１０５では、量子化パラメータ補正部１０５ｃは、Ｓ１００２でカウントした各特徴分類のブロック数に基づいて、処理対象のフレームにおける、各特徴分類に分類されたブロック数の割合を算出する。本実施例では、フレーム内の全ブロック数に対する、各特徴分類に分類されたブロック数の割合を算出するが、割合を算出せずに、各特徴分類のブロックのカウント数をそのまま使用するようにしてもよい。

Ｓ１１０６では、量子化パラメータ補正部１０５ｃは、補正過多が発生したか否かを判定する。具体的には、Ｓ１１０５で算出した割合が、予め設定してある所定の割合以上となる特徴分類があるか否かを判定し、所定の割合以上の特徴分類がある場合は、補正過多が発生したと判定する。なお、各特徴分類のブロックのカウント数をそのまま使用する場合は、ブロック数が所定数以上のブロックがある場合に、補正過多が発生したと判定する。補正過多が発生したと判定される場合はＳ１１０７に処理を進め、そうでない場合はＳ１１０１に処理を戻し、次のフレームについて、Ｓ１１０１以降の処理を実行する。

補正過多が発生したかどうかの判定は、上記の方法ではなく他の方法で行ってもよい。

例えば、Ｓ１１０５において、補正量がマイナスとなるマイナス補正の特徴分類に分類されたブロック数（つまり、補正量がマイナスとなったブロック数）をカウントし、マイナス補正のブロック数の割合が所定の割合以上の場合に補正過多と判定してもよい。

あるいは、特徴分類毎のブロック数の割合、又は、ブロック数だけでなく、特徴分類毎のブロック数の割合又はブロック数と、量子化パラメータ設定部１０５ａから入力される次のフレームの画面先頭ラインの量子化パラメータ値と、に応じて、補正過多を判定してもよい。例えば、量子化パラメータ設定部１０５ａから入力される次のフレームの画面先頭ラインの量子化パラメータ値と、処理対象のフレームにおける各量子化パラメータがマイナス補正される特徴分類のカウント数を用いて行うようにしてもよい。この場合、マイナス方向の補正を行う特徴分類に分類されたブロック数が所定値よりも多く、量子化パラメータ設定部１０５ａから入力される量子化パラメータが所定値（例えば圧縮率に基づく統計値など）よりも大きい場合、補正過多であると判定する。マイナス補正される（量子化パラメータの補正量がマイナスである）特徴分類に分類されるブロック数が極端に多いと、補正過多が発生しやすく、次のフレームの先頭ラインの量子化パラメータは大きくなる可能性が高い。従って、各特徴分類のブロック数（又はブロック数の割合）と量子化パラメータ設定部１０５ａから入力される量子化パラメータの大きさとを用いることで、補正過多が起きているかどうかを判定するようにしてもよい。

また、特徴分類のブロック数（又は割合）は使用せずに、量子化パラメータ設定部１０５ａから入力される次のフレームの画面先頭ラインの量子化パラメータ値が所定値以上であるか基づいて、補正過多を判定することも考えられる。

また、量子化パラメータ設定部１０５ａから入力される次のフレームの先頭ラインの量子化パラメータを用いず、量子化パラメータ設定部１０５ａから入力される処理対象の現フレームの最終ラインの量子化パラメータや、量子化パラメータの平均値を用いてもよい。

Ｓ１１０７は、量子化パラメータ補正部１０５ｃは、各特徴分類に対する量子化パラメータの補正量を変更する。変更した量子化パラメータの補正量については、次のフレームから適応される。補正量を変更では、量子化パラメータ設定部１０５ａから入力される量子化パラメータの上昇を防ぐため、少なくとも、マイナス方向に補正される（量子化パラメータの補正量がマイナスとなる）特徴分類における量子化パラメータの補正量の絶対量を減らす。

ここで、補正過多を検出したフレームをＮフレーム目としたとき、Ｎ＋１フレーム目の量子化パラメータの補正量の変更処理の例を図１２に示す。補正過多を検出して量子化パラメータの補正量を変更する前のＮフレームの量子化パラメータの補正量については、Ｑ０、Ｑ１、Ｑ３については補正量がマイナスであり、Ｑ２、Ｑ４、Ｑ６については補正量０、つまり、補正なしであり、Ｑ５、Ｑ７、Ｑ８については補正量がプラスであるとする。Ｎフレームで補正過多を検出すると、補正過多検出前は補正量がマイナスであったＱ０、Ｑ１、Ｑ３の補正量が０となるように量子化パラメータの補正量を変更し、次のＮ＋１フレームからは、変更した量子化パラメータの補正量を使用する。図１２の量子化パラメータの補正量の変更処理では、Ｑ０、Ｑ１、Ｑ３の補正量が０となるように量子化パラメータの補正量を変更したが、補正量を０に変更せずに、補正量の絶対値が小さくなるようなマイナスの補正量に変更するようにしてもよい。あるいは、一度に補正量を０に変更せずに、２～４回に分けて段階的に補正量の絶対値を減少させて、２～４フレーム後に補正量が０となるように量子化パラメータの補正量を変更してもよい。

以上のように、本実施例では、各特徴分類に分類されたブロックのカウント数から補正過多の発生有無を判定し、補正過多に応じて各特徴領域に対する量子化パラメータの補正量を変更する。そのため、符号量割り振りの偏りによって生じる画質劣化を抑制し、フレーム内の画質を安定させると共に動画データ全体の画質を向上することが可能である。

本実施例の補正量の変更処理について、他の例を説明する。上記では、図１２のようにマイナス方向の補正量であったＱ０、Ｑ１、Ｑ３の補正量のみを変更する例を説明したが、全ての特徴領域に対する補正量の絶対量を減らすように動作させても良い。補正過多を検出したフレームをＮフレーム目としたとき、Ｎ＋１フレーム目に対する量子化パラメータの補正量の変更処理の他の例を図１３に示す。図１３の例においても図１２と同様に、補正過多を検出して量子化パラメータの補正量を変更する前のＮフレームの量子化パラメータの補正量については、Ｑ０、Ｑ１、Ｑ３については補正量がマイナスであり、Ｑ２、Ｑ４、Ｑ６については補正量０、つまり、補正なしであり、Ｑ５、Ｑ７、Ｑ８については補正量がプラスであるとする。図１３の例では、量子化パラメータの補正量の変更処理前に、マイナスの補正量となっているであるＱ０、Ｑ１、Ｑ３だけでなく、プラスの補正量となっているＱ５、Ｑ７、Ｑ８についても、補正量が０となるように量子化パラメータの補正量を変更する。なお、補正量を０に変更せずに、補正量の絶対値が小さくなるような補正量に変更するようにしてもよい。あるいは、１回の量子化パラメータの補正量の変更処理に補正量を０に変更せずに、２～４回に分けて段階的に補正量の絶対値を減少させて、２～４フレーム後に補正量が０となるように量子化パラメータの補正量を変更してもよい。

図１２、図１３の量子化パラメータの補正量の変更処理では、補正過多検出後、１フレームで補正量を変更するように動作する例を説明した。しかし、フレーム間で画質の変化が大きくなりユーザに違和感を与える可能性があるため、複数フレームかけて徐々に量子化パラメータの補正量の絶対値を減らすようにすることがより望ましい。そこで、図１４では、補正過多を検出したフレームをＮフレーム目としたとき、Ｎ＋１フレーム目、Ｎ＋２フレーム目と２フレームかけて量子化パラメータの補正量を変更する量子化パラメータの補正量の変更処理の例を示す。

図１４の例においても、図１２、図１３と同様に、補正過多を検出して量子化パラメータの補正量を変更する前のＮフレームの量子化パラメータの補正量については、Ｑ０、Ｑ１、Ｑ３については補正量がマイナスであり、Ｑ２、Ｑ４、Ｑ６については補正量０、つまり、補正なしであり、Ｑ５、Ｑ７、Ｑ８については補正量がプラスであるとする。なお、前に説明したように、Ｑ０＜Ｑ１≦Ｑ３であり、Ｑ５≦Ｑ７＜Ｑ８である。

変更前であるＮフレーム目においてマイナスの補正量であったＱ１、Ｑ３と、変更前であるＮフレーム目においてプラスの補正量であったＱ５、Ｑ７の補正量が、変更後となるＮ＋１フレーム目では０となるように量子化パラメータの補正量を変更する。Ｑ０については、変更前であるＮフレーム目においてマイナスの補正量ではあるものの、Ｎフレーム目のＱ０と比べて補正量の絶対量が小さくなるように補正量を変更し、変更後となるＮ＋１フレーム目の補正量とする。また、Ｑ８についても変更前となるＮフレーム目のＱ８と比べて補正量の絶対量が小さくなるように補正量を変更し、変更後となるＮ＋１フレーム目の補正量とする。

そして、次のＮ＋２フレーム目では、全ての特徴領域に対応する補正量が０となるように量子化パラメータの補正量を変更する。このように量子化パラメータの補正量を段階的に変更することで、フレーム間の画質の大きな変化を減らし、ユーザに与える違和感を軽減することが可能となる。

本実施例では、補正過多が発生した時の量子化パラメータの補正量の変更処理についてのみ説明したが、各特徴分類へ分類されるブロック数の偏りによる補正過多の条件から外れれば、量子化パラメータの補正量は元の状態に復帰するように再度量子化パラメータの補正量を変更する処理を行ってもよい。図１４を用いて説明したように、複数フレームかけて補正量を変更するのと同様に、複数フレームかけて補正量が元の状態に復帰するようにすると良い。

［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０１ 制御部
１０２ 撮像部
１０３ プレーン変換部
１０４ 周波数変換部
１０５ 量子化制御部
１０５ａ 量子化パラメータ設定部
１０５ｂ 特徴情報生成部
１０５ｃ 量子化パラメータ補正部
１０６ 量子化部
１０７ エントロピー符号化部
１０８ 記録制御部
１０９ 記録媒体

Claims (20)

1. 画像データを符号化する符号化装置であって、
   画像データを複数の周波数帯域に周波数変換して変換係数を生成する周波数変換手段と、
   前記周波数変換手段で生成した変換係数を量子化する量子化手段と、
   前記量子化手段で生成した量子化後の変換係数を符号化する符号化手段と、
   前記量子化手段で用いる量子化パラメータを制御する量子化制御手段と、を備え、
   前記量子化制御手段は、
   量子化パラメータを設定する量子化パラメータ設定手段と、
   前記画像データに対する複数の特徴情報をブロック毎に生成する特徴情報生成手段と、
   前記特徴情報生成手段により生成された特徴情報に基づき、ブロックが複数の特徴分類のうちのいずれの特徴分類であるかを判定する特徴分類手段と、
   前記ブロック毎に、前記特徴分類手段により判定された特徴分類に対応する量子化パラメータ補正量に基づいて、前記量子化パラメータ設定手段により設定された量子化パラメータを補正する量子化パラメータ補正手段とを備え、
   前記特徴分類手段は、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定することを特徴する符号化装置。
2. 前記特徴情報生成手段は、ブロック内にエッジ領域が含まれるかに関するエッジ情報を含む複数の特徴情報を生成し、
   前記特徴分類手段は、前記特徴情報生成手段により生成された前記エッジ情報が、ブロック内にエッジ領域が含まれることを示す場合は、当該ブロックを所定の特徴分類であると判定し、前記特徴情報生成手段で生成した前記エッジ情報が、ブロック内にエッジ領域が含まれることを示さない場合は、前記特徴情報生成手段で生成した特徴情報に基づき、当該ブロックの特徴分類を判定する、
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記所定の特徴分類は、前記複数の特徴分類のうちの、低輝度・低周波を示す特徴分類であり、量子化パラメータの補正量が最も小さい特徴分類であることを特徴とする請求項１または２に記載の符号化装置。
4. 前記所定の特徴分類は、前記特徴分類手段により前記特徴情報に基づいて分類される前記複数の特徴分類とは異なる特徴分類であることを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
5. 前記複数の特徴情報の一つは明度情報であり、
   前記特徴情報生成手段は、前記周波数変換手段で生成した変換係数のＤＣ成分を用いて前記明度情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。
6. 前記複数の特徴情報の一つは複雑度情報であり、
   前記特徴情報生成手段は、前記周波数変換手段で生成した変換係数のＡＣ成分を用いて前記複雑度情報を生成することを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
7. 画像データの記録に関する記録設定を行う設定手段を有し、
   前記記録設定に応じて、前記特徴分類手段は、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定するか、ブロック内にエッジ領域が含まれるかに関わらず特徴分類を判定するかを切り替えることを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
8. 前記記録設定は、画像データの圧縮率であり、
   前記特徴分類手段は、前記圧縮率が第１の閾値よりも小さい場合は、ブロック内にエッジ領域が含まれるかに関わらず特徴分類を判定し、前記圧縮率が前記第１の閾値よりも大きい場合は、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定することを特徴とする請求項７に記載の符号化装置。
9. 前記記録設定は、静止画像データを記録するか、動画像データを記録するかに関する設定であることを特徴とする請求項８に記載の符号化装置。
10. 前記特徴分類手段は、静止画像データを記録する設定の場合は、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定し、動画像データを記録する設定の場合は、ブロック内にエッジ領域が含まれるかに関わらず特徴分類を判定することを特徴とする請求項９に記載の符号化装置。
11. 画像データの記録に関する記録設定を行う設定手段を有し、
    前記記録設定が所定の設定の場合は、前記量子化パラメータ補正手段による特徴分類に応じた量子化パラメータの補正を行わず、前記量子化パラメータ設定手段により設定された量子化パラメータを用いて前記量子化手段により量子化することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
12. 前記特徴分類手段は、画像データの明度に応じて特徴分類を判定し、
    明度が高い特徴分類に対応する量子化パラメータ補正量は、明度が低い特徴分類に対応する量子化パラメータ補正量よりも大きい値が設定されていることを特徴とする請求項１乃至１１のいずれか１項に記載の符号化装置。
13. 前記特徴分類手段は、画像データの複雑度に応じて特徴分類を判定し、
    複雑度が高い特徴分類に対応する量子化パラメータ補正量は、複雑度が低い特徴分類に対応する量子化パラメータ補正量よりも大きい値が設定されていることを特徴とする請求項１乃至１２のいずれか１項に記載の符号化装置。
14. 前記複数の特徴分類毎に、前記特徴分類手段により分類されたブロック数をカウントするカウント手段と、
    前記カウント手段によりカウントされた特徴分類のブロック数に応じて、前記特徴分類に対応する量子化パラメータの補正量を変更する補正量変更手段と、
    を有することを特徴とする請求項１乃至１３のいずれか１項に記載の符号化装置。
15. 所定以上のブロック数が前記カウント手段によりカウントされた特徴分類がある場合に、前記補正量変更手段は、量子化パラメータの補正量の絶対値が減少するように、特徴分類に対応する量子化パラメータの補正量を変更することを特徴とする請求項１４に記載の符号化装置。
16. 前記複数の特徴分類のうち、特徴分類に対応する量子化パラメータの補正量がマイナスである特徴分類に分類されたブロック数をカウントするカウント手段と、
    前記カウント手段によりカウントされたブロック数に応じて、前記特徴分類に対応する量子化パラメータの補正量を変更する補正量変更手段と、
    を有することを特徴とする請求項１乃至１３のいずれか１項に記載の符号化装置。
17. 前記カウント手段によりカウントされたブロック数が所定以上の場合に、前記補正量変更手段は、量子化パラメータの補正量の絶対値が減少するように、特徴分類に対応する量子化パラメータの補正量を変更することを特徴とする請求項１６に記載の符号化装置。
18. コンピュータを請求項１乃至１７に記載の符号化装置の各手段として機能させるためのプログラム。
19. 画像データを符号化する符号化装置の制御方法であって、
    画像データを複数の周波数帯域に周波数変換して変換係数を生成する周波数変換工程と、
    前記周波数変換により生成された変換係数を量子化する量子化工程と、
    量子化後の変換係数を符号化する符号化工程と、
    前記量子化工程で用いる量子化パラメータを制御する量子化制御工程と、を備え、
    前記量子化制御工程は、
    量子化パラメータを設定する量子化パラメータ設定工程と、
    前記画像データに対する複数の特徴情報をブロック毎に生成する特徴情報生成工程と、
    前記特徴情報に基づき、ブロックが複数の特徴分類のうちのいずれの特徴分類であるかを判定する特徴分類工程と、
    前記ブロック毎に、前記判定された特徴分類に対応する量子化パラメータ補正量に基づいて、前記量子化パラメータ設定工程で設定された量子化パラメータを補正する量子化パラメータ補正工程と、を備え、
    前記特徴分類工程では、ブロック内にエッジ領域が含まれるブロックを所定の特徴分類であると判定する、
    ことを特徴する符号化装置の制御方法。
20. 請求項１９に記載の符号化装置の制御方法をコンピュータに実行させるためのプログラム。

Images