JP6226578B2 - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Description

本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に画面内の適応的な符号量制御に関する。

動画像の圧縮記録に用いられる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においては、画像をブロック単位に符号化を行うが、画像を量子化する際に使用する量子化パラメータは、ブロック毎に可変である。この量子化パラメータを制御する事によって、ブロックに割り当てる符号量を変えて画質を制御する事ができる。

特許文献１で開示された技術では、圧縮する画像の複雑さや滑らかさを示す指標値を基に、圧縮処理による画質劣化が視覚的に目立ちやすい、画像が単調で滑らかな領域（以下、平坦領域）が高画質になるよう制御している。同様に特許文献１の開示技術では、画質劣化の目立ちにくい、画像が複雑な領域（以下、非平坦領域）が低画質になるよう制御している。なお、画像の複雑度の判定には、ブロックの輝度の平均値と各画素の輝度の差分値を用いている。以上述べたような適応的な画質制御により、特許文献１の技術は、画質の最適化を図っている。

また、特許文献１の開示技術では、平坦領域を判定する指標値を、ブロックをさらに分割したサブブロック単位で求めることで、ブロック内に平坦領域と非平坦領域が混在する場合でも平坦領域を検出することを可能としている。

以下、図６を用いて特許文献１における平坦領域判定による画質制御について説明する。図６は、白い背景に黒いオブジェクトが存在している画像を示しており、実線で表される個々の正方形は１６×１６画素のブロックを表す。６０１は、白い背景の一部のブロック（白ブロック）であり、該ブロックに属する画素の画素値は全て大きいためブロックの複雑度は低い。６０３は、黒いオブジェクトの一部のブロック（黒ブロック）であり、該ブロックに属する画素の画素値は全て小さいためブロックの複雑度は低い。ここで、６０２は、白いブロックと黒いブロックの境界に位置するブロックである。ブロック６０２は、黒い画素と白い画素が混在するため、ブロックの輝度の平均値と各画素の輝度の差分値が大きく複雑度が高い。そのため、単にブロック単位の複雑度をもとに平坦領域の判定を行い、量子化パラメータを決定する場合には、複雑度が高いブロックの量子化パラメータは大きく設定されることになる。しかし、ブロック６０２のように、境界に位置するブロックは一般的に画質の劣化が目立ち易く、量子化パラメータは小さく設定する事が望ましい。

ここで、図６中に点線で表されるように、各ブロックを８ｘ８画素のサブブロックに分割を行うと、ブロック６０２の各サブブロックは、全画素が黒いサブブロック２個と、全画素が白いサブブロック２個で構成されることになる。すなわち、サブブロック単位で見た場合の複雑度はブロック６０１やブロック６０３と同等になる。このように、サブブロック単位に複雑度を求めることで、画質劣化の目立ち易い境界ブロックであるか否かを判定する事ができ、量子化パラメータを大きく設定して画質が劣化する事を防ぐ事ができる。

ＷＯ０２／０８０５７４号公報

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ

しかしながら、特許文献１に示した制御方法では、平坦領域を決定するための指標値をサブブロックの個数だけ計算することが必要となり、計算コストが増大する。また、特許文献１に示した制御方法では、平坦領域と判定されたサブブロックが存在するブロックは全て高画質になるよう制御するため、高画質にするブロックの割合が増えてしまう。この場合、平坦領域の高画質化による全体の符号量の増大度合いが高くなるため、符号量が限られた条件下では、平坦領域をあまり高画質に出来ないという問題があった。

以下、図１１、図１２を用いて特許文献１における画質制御の課題について説明する。図１１は、ブロック単位に求めた複雑度順に１１０１〜１１０７の各ブロックを配置したものであり、ブロックはそれぞれの複雑度に応じて平坦領域の判定を受け、量子化パラメータが決定される。以上述べたような複雑度による分類および量子化パラメータの決定を、ブロックを４分割したサブブロック単位で行った場合を図１２に示す。サブブロック単位に複雑度を求めた場合、ブロック１１０５以外のブロック内のサブブロックはすべて同一画素で構成されるため、複雑度は一様になってしまう。すなわち平坦領域と判定されるブロックが増えるため、量子化パラメータを低くして高画質に符号化することで全体の符号量が増大してしまうことになる。

したがって、本発明は、視覚劣化が目立ちにくいブロックの符号量を減らし、劣化が目立ちやすいブロックに多くの符号量を割り当てて高画質にすることを目的とする。更に、高画質にするブロックの数を抑えて全体符号量の増大を防ぐことを目的とする。

上述の課題を解決するため、本発明の画像符号化装置は、入力された画像をブロック単位に符号化する符号化手段と、前記ブロックに対応したブロック評価値を算出するブロック評価値算出手段と、前記ブロックをＮ個（Ｎは２以上の自然数）のサブブロックに分割し、前記サブブロックに対応したサブブロック評価値を算出するサブブロック評価値算出手段と、前記ブロック評価値と前記サブブロック評価値とを用いて、前記ブロックの量子化パラメータを決定する決定手段と、を有し、前記決定手段が用いる前記サブブロック評価値は、第１の種類の評価値であり、前記決定手段が用いる前記ブロック評価値は、前記第１の種類とは異なる第２の種類の評価値を少なくとも含む。

本発明により、視覚劣化が目立ちにくいブロックの符号量を減らし、劣化が目立ちやすいブロックに多くの符号量を割り当てて高画質にすることで、主観的な画質が向上する。また、全てのブロックに対してサブブロック単位の判定をしなくて済むため、計算量を減らせるとともに、高画質にするブロック数の増大を抑えることが可能になる。

第１の実施形態における画像符号化装置の構成を示すブロック図 第１の実施形態におけるフレーム符号化のフローチャート 第１の実施形態におけるブロック判別情報生成のフローチャート 第１の実施形態における量子化パラメータ生成のフローチャート 第２の実施形態におけるブロックサイズと画質制御の関係を示す図 従来技術におけるオブジェクトとサブブロックの関係を示す図 第１の実施形態におけるブロックの判別を示す図 第３の実施形態における画像符号化装置の構成を示すブロック図 第５の実施形態におけるブロックの判別を示す図 第５の実施形態における領域と評価値の関係を示す図 従来技術におけるブロックとブロック複雑度の関係を示す図 従来技術におけるブロックとサブブロック複雑度の関係を示す図 第３の実施形態におけるフレーム符号化のフローチャート 本発明の画像符号化装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の第一の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。

図１において、１０１は、入力画像の評価値を算出するブロック評価値算出部である。ブロック評価値算出部１０１にはブロック単位に画像が入力され、前記ブロック毎のブロック評価値が算出される。１０２は、複数の前記ブロック評価値を基にブロック判別情報を生成するブロック判別部である。１０３は、前記ブロック判別情報に基づいて、ブロックの量子化パラメータを決定する制御部である。１０４は、入力された画像を符号化する符号化部である。符号化部１０４には、ブロック単位に画像が入力され、制御部１０３から生成された量子化パラメータに基づいてブロックが符号化され、符号化ストリームが生成される。サブブロック評価値算出部１０５はブロック単位の画像を入力とし、前記ブロックを複数のサブブロックに分割し、各サブブロックについてサブブロック評価値を算出する。

本実施形態の画像符号化装置の動作を、図２のフローチャートを用いて詳細に説明する。本実施形態では動画像データはフレーム単位に入力され、ブロックに分割されてラスタ順に処理される。しかし本発明はこれに限定されるものではなく、例えばフレームを分割したスライス単位に画像を入力しても構わない。また、本実施形態におけるブロックのサイズは１６×１６画素とするが、本発明はこれに限定されるものではなく、例えば８×８画素や３２×３２画素でもよく、３２×１６画素のようなサイズでもよい。

ステップＳ２０１において、ブロック評価値算出部１０１は、入力されたブロックのブロック評価値を算出する。ブロック評価値は、処理対象のブロックを符号化した時の画質指標に関するものとする。ここで、画質指標とは、ブロックを符号化する際に生じる量子化誤差が人間の視覚に影響を与える度合いであり、評価値はこの度合いを判定するために算出される。本実施形態では、ブロックに属する各画素の輝度の平均値及び輝度の複雑度をブロック評価値として算出する。輝度の複雑度には、ブロックに属する各画素の輝度値と該ブロックの輝度の平均値との差分の大きさ（絶対値）の合計値を用いる。しかし、本発明の画像符号化装置はこれに限定されるものではなく、人間の視覚に与える度合いを判定できる指標であればよい。例えば輝度の分散、色差の平均値、複雑度、分散等を算出してもよいし、動きベクトル、予測誤差等の符号化結果を指標として用いてもよい。また、算出されるブロック評価値の数は２種類に限定されるものではなく、輝度の平均値と複雑度に加えて、色差の平均値等、他のブロック評価値を算出する事も可能である。

また、Ｓ２０１において、サブブロック評価値算出部１０５は、入力されたブロックを複数個のサブブロックに分割し、サブブロック評価値を算出する。サブブロック評価値は、ブロック評価値と同様に、処理対象を符号化した時の画質指標に関するものとする。本実施形態では、輝度の複雑度として、サブブロックに属する各画素の輝度値と該ブロックの輝度の平均値との差分の大きさ（絶対値）の合計値を用いる。また、本実施形態では、各サブブロックについて輝度の複雑度を求めたのち、その最小値を前記サブブロック評価値として算出する。しかし、本発明の画像符号化装置におけるサブブロック評価値の算出方法はこれに限定されるものではなく、人間の視覚に与える度合いを判定できる指標であればよいし、同様に、サブブロック毎の最小値でなくてもよい。

ステップＳ２０２において、ブロック判別部１０２は、前記ブロック評価値を基に当該ブロックに対してブロック判別情報を生成する。ブロック判別情報の生成方法の詳細に関しては後述する。

ステップＳ２０３において、制御部１０３は、前記サブブロック評価値および前記ブロック判別情報に基づき、当該ブロックの属性に対応した量子化パラメータを生成する。量子化パラメータの生成方法の詳細に関しては後述する。

ステップＳ２０４において、符号化部１０４は、前記量子化パラメータに基づいてブロックを符号化し、符号化ストリームを生成する。

ステップＳ２０５では、フレーム内の全てのブロックが符号化されたか否かが判定される。全てのブロックが符号化されたならば（ステップＳ２０５でＹｅｓ）、フレームの符号化処理を終了する。全てのブロックが符号化されていなければ（ステップＳ２０５でＮｏ）、ステップＳ２０１の処理に進み後続のブロックを符号化する。

次に本実施形態におけるブロック判別情報の生成方法（ステップＳ２０２）を説明する。本実施形態では、ブロックの輝度の平均値Ｓ１と輝度の複雑度Ｓ２から成る２個のブロック評価値を、ブロック判別情報の生成に用いる。また、評価値Ｓ１，Ｓ２それぞれに対し閾値配列Ｔ１，Ｔ２を定義する。ｋ個の評価値Ｓ１，Ｓ２，…，Ｓｋ毎にそれぞれ閾値配列Ｔｋが保持される。図７に、輝度の平均値及び複雑度を評価値とした際のブロックの判別の一例を示す。横軸は複雑度Ｓ２、縦軸は輝度の平均値Ｓ１であり、計７２個の領域に分割されている。Ｔ１、Ｔ２はそれぞれの領域を定義する閾値の組で構成される。図７の例ではＴ１＝｛Ｔ１［１］，Ｔ１［２］，Ｔ１［３］，Ｔ１［４］，Ｔ１［５］，Ｔ１［６］，Ｔ１［７］，Ｔ１［８］，Ｔ１［９］｝である。また、Ｔ２＝｛Ｔ２［１］，Ｔ２［２］，Ｔ２［３］，Ｔ２［４］，Ｔ２［５］，Ｔ２［６］，Ｔ２［７］，Ｔ２［８］｝である。また、ブロック判別情報Ｐとして、当該ブロックが各評価値のどの領域に位置するかを、領域を定義する閾値の組であらわす。例えば図７において斜線で示した領域はＰ＝｛Ｔ１［６］，Ｔ２［５］｝である。

図３のフローチャートを用いてブロック判別情報の生成方法（ステップＳ２０２）を詳細に説明する。まず、ステップＳ３０１では、変数ｉが１に、ステップＳ３０２では、変数ｊが１に初期化される。次に、ステップＳ３０３では、評価値Ｓｉが閾値Ｔｉ［ｊ］で定義される領域内に属しているか否かが判定される。評価値Ｓｉが閾値Ｔｋ［ｉ］に属しているならば（ステップＳ３０３でＹｅｓ）ステップＳ３０６の処理に進み、そうでないならばステップＳ３０４の処理に進む。次に、ステップＳ３０４では変数ｊに１が加算される。

次にステップＳ３０５では、評価値Ｓｉを全ての閾値（閾値配列Ｔｉに属するすべての閾値）と比較したか否かが判定される。全ての閾値と比較したならば（ステップＳ３０５でＹｅｓ）ステップＳ３０６の処理に進み、そうでないならばステップＳ３０３の処理に進む。ステップＳ３０６では、評価値Ｓｉにおけるブロック判別情報Ｐｉ（ブロック判別情報Ｐのｉ番目の要素）に、当該評価値について属していると判定された閾値が代入され、ステップＳ３０７に進む。ステップＳ３０７では、変数ｉに１が加算され、ステップＳ３０８に進む。ステップＳ３０８では、変数ｉがｋより大きい、すなわちｋ個の評価値全てにおいて閾値との比較がなされたかどうかを判定する。全ての比較が終わっていれば（ステップＳ３０８でＹｅｓ）ステップＳ３０９に、終わっていなければ（ステップＳ３０８でＮｏ）ステップＳ３０２に進む。

ステップＳ３０９では、ブロック判別情報Ｐに各評価値について属していると判定された閾値の組が代入され、ブロック判別情報の生成を終了する。このようにして生成したブロック判別情報は当該ブロックが図７の格子状の領域のどの部分に位置されるかを示しており、このブロック判別情報にブロックの特性および特性に適した量子化パラメータを対応付ける。

本実施形態においてブロック判別情報の生成は、処理対象ブロックの画質劣化度合いを判定するために行われる。例えば、人間の目は高い空間周波数の画像よりも低い空間周波数の画像のほうが、画質の劣化に対して敏感である。そのため、前記複雑度が低いブロックは空間周波数も低く、量子化誤差による画質劣化が人の視覚に目立ち易く、複雑度が高いブロックは空間周波数が高く画質劣化が目立ちにくい。輝度の平均値も同様で、暗い領域の方が人の視覚に対して画質劣化が目立ち易く、明るい領域は画質劣化が目立ちにくいといった特性を持つ。これら複数の評価値をもとに、例えば図７の左下の領域は画質劣化の目立ちやすい領域であるため量子化パラメータを小さくして画質劣化を抑える。同時に図７の右上の画質劣化の目立ちづらい領域の量子化パラメータを大きくして全体の符号量の上昇を抑えることで、同等のビットレートを保ったまま主観的な画質を向上させることが可能となる。

次に図４のフローチャートを用いて本実施形態における量子化パラメータの生成方法（ステップＳ２０３）を詳細に説明する。まず、ステップＳ４０１では、ステップＳ２０２で生成されたブロック判別情報が、特定の条件を満たすかどうかを判定する。特定の条件を満たす場合（ステップＳ４０１でＹｅｓ）、ステップＳ４０２において、サブブロック評価値を用いて、サブブロックの特性に適した量子化パラメータが対応づけられる。

ここで特定の条件とは、ブロック単位の画質指標をもとに決定されたブロック判別情報の結果、サブブロック単位の画質指標の評価が必要と判定されたことを指す。例えば、図７の右上の領域（ブロックに属する各画素の輝度の平均値が第１の閾値以上でありかつ輝度の複雑度が第２の閾値以上）と判定された場合、すなわち画質劣化が目立ちづらく、量子化パラメータを大きくできる可能性のある領域と判定された場合である。ただし、ブロック単位の特性では量子化パラメータを大きくできると判定された場合であっても、サブブロック単位では、例えば前述した平坦な領域が存在し、量子化パラメータを大きくした場合に画質劣化が目立ってしまう場合がある。

この問題を回避するため、ステップＳ４０２では、サブブロック評価値から導出される量子化パラメータの生成を行う。ステップＳ４０１で特定の条件を満たさない場合（ステップＳ４０１でＮｏ）、例えば、ブロック単位の特性情報で既に画質劣化が目立ちやすいと判定された場合には、ステップＳ４０３に進む。一方、ステップＳ４０３では、サブブロック評価値を用いずに量子化パラメータの生成を行う。

ステップＳ４０２およびステップＳ４０３における量子化パラメータの生成方法の詳細は特に規定しないが、例えばテーブルルックアップ等の処理でブロックの判別結果に１対１に対応した量子化パラメータを返す方法などがある。

ステップＳ４０２およびステップＳ４０３における処理の結果、視覚劣化が目立ちにくいブロックの符号量を減らし、劣化が目立ちやすいブロックに多くの符号量を割り当てて高画質にすることで、主観的な画質が向上する。また、一部のブロックに対してのみサブブロック単位の判定を行うことで、高画質にするブロック数の増大を抑える。

本実施形態では、ブロック判別情報の評価指標として輝度の平均値と複雑度の２種類を使用し２次元空間の位置情報に基づいて量子化パラメータを設定する例を説明したが、更に評価値をｋ種類（ｋ＞２）に増やしてＫ次元空間上に拡張してもよい。

＜実施形態２＞
本発明の第２の実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図１に示した本発明の第１の実施形態の画像符号化装置の構成と同一である。本実施形態では、図２のフローチャートで表される画像符号化装置の動作のうち、ブロック評価値算出（ステップＳ２０１の処理）が第１の実施形態と異なる。

ステップＳ２０１において、ブロック評価値算出部１０１は、入力されたブロックのブロック評価値を算出する。ブロック評価値として第１の実施形態に記載の指標値に加え、ブロックを更にＭ個（ＭはＮ以下の自然数）に分割したサブブロック毎に指標値を取得し、得られた複数の指標値の中で最小の値をブロック評価値として用いることとする。本実施形態では、サブブロック毎に画素値の分散値を取得し、得られた複数の分散値の中で最小の値を選択する事で決定される指標を用いることとするが、本発明はこれに限定されるものではない。また、Ｓ２０１において、サブブロック評価値算出部１０５は、入力されたブロックをＮ個のサブブロックに分割し、サブブロック評価値を算出する。その他のサブブロック評価値算出部に関する説明は第１の実施形態に準ずる。

ステップＳ２０２以降の処理に関しては第１の実施形態と同一であるため説明を省略する。また、図３のフローチャートで表されるステップＳ２０２のブロック判別情報の生成方法、および図４のフローチャートで表されるステップＳ２０３の量子化パラメータの生成方法に関しても第１の実施形態と同一であるため説明を省略する。

以上述べたように、一部もしくはすべてのブロック評価値をブロックをＭ分割したサブブロック単位の指標値から算出する、すなわち評価指標算出に用いるブロックの大きさを変えることで、入力画像に応じた画質制御が可能となる。以下、図５を用いて、評価指標算出に用いるブロックの大きさと画質制御の関係について示す。

図５において、５０１は撮影する被写体、５０２はその部分領域を示しており、本説明では、部分領域５０２中の白および黒の平坦部分の境界における視覚的な画質劣化に着目する。ブロック符号化結果５１１は、被写体５０１を横１２ブロック及び縦８ブロックで符号化したとき（以下、符号化結果Ａとする）の各ブロックを点線で示しており、部分領域５０２はブロック５１２、５１３，５１４，５１５の４ブロックで符号化される。ブロック符号化結果５２１は被写体５０１を横６ブロック及び縦４ブロック、すなわち縦横半分のブロック数で符号化したとき（以下、符号化結果Ｂとする）の各ブロックを点線で示しており、部分領域５０２はブロック５２２で符号化される。ここで、各ブロックの大きさ（構成画素数）は符号化結果ＡおよびＢで同一であるとする。ブロック符号化結果５３１およびブロック５３２は、符号化結果Ｂのブロックサイズを縦横２倍に拡大し、再生時の被写体の大きさを符号化結果Ａと同等にした場合のイメージを示す。

符号化結果Ａ，Ｂともにブロック単位で平坦領域の判定をして符号化を行った場合、符号化結果Ａにおいては、部分領域中のブロック５１５の部分（全て黒い画素で構成）は輝度の複雑度のみで平坦領域と判定され、相応の画質制御がなされる。また、ブロック５１２，５１３においても、白い画素が多数を占めることから、同様に平坦領域と判定されると考えられる。しかし、符号化結果Ｂでは部分領域が１ブロックで表されており、ブロック単位の輝度の複雑度だけでは平坦領域と判定することは難しい。すなわち、符号化結果ＡとＢを同一のサイズで視聴した場合に、それぞれの部分領域における画質制御の差異により、符号結果Ｂでは視覚的な画質劣化が目立ってしまうことが考えられる。よって、符号化結果Ｂにおいて同様の画質制御を行うためには、評価指標を算出するブロック（サブブロック）の大きさをより小さくすることが望ましい。

Ｈ．２６４をはじめ多くの符号化方式では符号化単位であるブロックのサイズは決まっており、ブロック分割数は画像のサイズに比例する。すなわち画像サイズが大きいほどブロック分割数が増え、被写体はより多くのブロックに分割される。このことから、画像サイズに応じて評価指標を算出するブロック（サブブロック）の大きさを変更することが、視覚的な画質劣化の防止に有効であるといえる。

＜実施形態３＞
本発明の第３の実施形態の画像符号化装置について、図８のブロック図を用いて説明する。図８の１０１、１０２、１０４に関しては、図１の１０１、１０２、１０４と同一の機能であるため説明を省略する。

８０３は、ブロック判別情報に基づいて、ブロックの量子化パラメータを決定する制御部である。８０５はブロック単位の画像を入力とし、前記ブロックを複数のサブブロックに分割し、各サブブロックについてサブブロック評価値を算出するサブブロック評価値算出部である。第１の実施形態の制御部１０３と異なり、制御部８０３はブロック判別情報の結果に基づき、サブブロック評価値を算出するか否かを決定し、サブブロック評価値算出部８０５へと送る。サブブロック評価値算出部８０５は該決定に基づいてサブブロック評価値を算出する。

図１３のフローチャートを用いて本実施形態の画像符号化装置の動作を詳細に説明する。図１３において、ステップＳ１３０１では、ブロック評価値算出部８０１が入力されたブロックのブロック評価値を算出する。ブロック評価値は、第１の実施形態と同様、処理対象のブロックを符号化した時の画質指標に関するものとする。本実施形態では、ブロックに属する各画素の輝度の平均値及び輝度の複雑度をブロック評価値として算出する。輝度の複雑度には、ブロックに属する各画素の輝度値と該ブロックの輝度の平均値との差分の大きさ（絶対値）の合計値を用いる。

第１の実施形態のステップＳ２０１とは異なり、ステップＳ１３０１ではサブブロック評価値は算出されない。本実施形態において、サブブロック評価値は後述するステップＳ１３０５で算出される。

ステップＳ１３０２は、図２のステップＳ２０２と同一のため説明を省略する。次に、ステップＳ１３０３において、制御部８０３において判別情報が特定の条件を満たすか否かが判定される。特定の条件を満たす場合（ステップＳ１３０３でＹｅｓ）、ステップＳ１３０５の処理に進み、そうでない場合ステップＳ１３０４の処理に進む。ここで特定の条件とは、第１の実施形態のステップＳ４０１と同様に、ブロック単位の画質指標をもとに決定されたブロック判別情報の結果、サブブロック単位の画質指標の評価が必要と判定されたことを指す。

ステップＳ１３０４の処理では、サブブロック単位の画質指標の評価が不要と判断されたため、ステップＳ１３０１で算出されたブロック評価値のみから量子化パラメータの生成を行う。一方、ステップＳ１３０５の処理では、サブブロック単位の画質指標の評価が必要と判断されたため、サブブロック評価値算出部８０５においてサブブロック評価値が算出される。サブブロック評価値に関しては第１の実施形態と同様であるため説明を省略する。

次に、ステップＳ１３０６、ステップＳ１３０７の処理は図４のステップＳ４０２、図２のＳ２０４と夫々同一であるため説明を省略する。

次に、ステップＳ１３０７の処理において、フレームの全てのブロックが符号化されたか否かが判定される。全てのブロックが符号化されたならば（ステップＳ１３０７でＹｅｓ）フレームの符号化処理を終了し、そうでない場合はステップＳ１３０１の処理に戻り後続のブロックを符号化する。

本実施形態では第１の実施形態とは異なり、ステップＳ１３０４で、判別情報が特定の条件を満たす場合のみにサブブロック指標値を生成している。判別情報が特定の条件を満たさない場合は、サブブロック指標値は量子化パラメータの決定に使用されない。そのため常にサブブロック指標値を算出するのは冗長である。本実施形態ではサブブロック評価値算出部８０５が量子化パラメータの決定に必要な時のみ起動されるため、第１の実施形態と比較した場合に消費電力を削減することができる。

＜実施形態４＞
本発明の第４の実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図８に示した本発明の第３の実施形態の画像符号化装置の構成と同一である。本実施形態では、図１３のフローチャートで表される画像符号化装置の動作のうち、ブロック評価値算出（ステップＳ１３０１の処理）が第３の実施形態と異なる。

ステップＳ１３０１において、ブロック評価値算出部８０１は、入力されたブロックのブロック評価値を算出する。ブロック評価値として、第３の実施形態に記載の指標値に加え、ブロックを更にＭ個（Ｍは２以上の自然数）に分割した、サブブロック毎に指標値を取得し、得られた複数の指標値の中で最小の値をブロック評価値として用いることとする。

本実施形態では、サブブロック毎に画素値の分散値を取得し、得られた複数の分散値の中で最小の値を選択する事で決定される指標を用いることとするが、本発明はこれに限定されるものではない。また、Ｓ１３０５において、サブブロック評価値算出部８０５は、入力されたブロックをＮ個（ＮはＭより大きい自然数）のサブブロックに分割し、サブブロック評価値を算出する。その他のサブブロック評価値算出部に関する説明は第３の実施形態に準ずる。ステップＳ１３０２以降の処理に関しては第３の実施形態と同一であるため説明を省略する。

以上のように、一部もしくはすべてのブロック評価値をサブブロック単位の指標値から算出する、すなわち評価指標算出に用いるブロックの大きさを変えることで、入力画像に応じた画質制御が可能となる。

本実施形態では第２の実施形態とは異なり、ステップＳ１３０４で、判別情報が特定の条件を満たす場合のみにサブブロック指標値を生成している。判別情報が特定の条件を満たさない場合は、サブブロック指標値は量子化パラメータの決定に使用されない。そのため常にサブブロック指標値を算出するのは冗長である。本実施形態ではサブブロック評価値算出部８０５が量子化パラメータの決定に必要な時のみ起動されるため、第２の実施形態と比較した場合に消費電力を削減することができる。

＜実施形態５＞
本発明の第５の実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図１に示した本発明の第１の実施形態の画像符号化装置の構成と同一である。また、本実施形態の画像符号化装置の動作に関しても図２，図３，図４のフローチャートで表される第１の実施形態と同一であるため説明を省略する。

本実施形態では同様に評価値Ｓ１，Ｓ２および対応する閾値配列Ｔ１，Ｔ２に関しても第１の実施形態と同じである。しかし図９で示されるように、実線もしくは破線によって、ブロックの判別結果としての領域の数が７２個でなく１３個｛Ｒ１，Ｒ２，…，Ｒ１３｝になっていることが異なる。

第１の実施形態における領域（図７において閾値配列Ｔ１、Ｔ２で区切られる各領域を参照）を複数個まとめ、単に閾値との比較を行うだけでブロックの判別を決定しているため、第１の実施形態と比較して多くの場合処理負荷が軽減される。具体的には、第１の実施形態においては７２個の領域判定には最大で７２回の比較処理が必要になるが、図１０で示すように、Ｒ１，Ｒ２，…，Ｒ１３の順に領域を判定することで、最大で１３回の比較処理で１３個の領域判定処理が可能となる。本実施形態では、領域を１３個に分割する例を紹介したが、本発明はこれに限定されるものではなく、領域数を増やして更に緻密に画質を制御する事も可能である。

＜実施形態６＞
図１、図８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図８に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１４は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図８に示した各処理部として機能することになる。ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を出力する。また表示部１４０５は例えば液晶ディスプレイのような表示装置で構成される。外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図８に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６は、処理対象としての各画像データや処理結果である符号化データの保存先であっても良い。外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。上述の構成からなる作動は、前述の図２，図３，図４，図１３で示したフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (12)

1. 入力された画像をブロック単位に符号化する符号化手段と、
   前記ブロックに対応したブロック評価値を算出するブロック評価値算出手段と、
   前記ブロックをＮ個（Ｎは２以上の自然数）のサブブロックに分割し、前記サブブロックに対応したサブブロック評価値を算出するサブブロック評価値算出手段と、
   前記ブロック評価値と前記サブブロック評価値とを用いて、前記ブロックの量子化パラメータを決定する決定手段と、
   を有し、
   前記決定手段が用いる前記サブブロック評価値は、第１の種類の評価値であり、
   前記決定手段が用いる前記ブロック評価値は、前記第１の種類とは異なる第２の種類の評価値を少なくとも含む
   ことを特徴とする画像符号化装置。
2. 前記ブロック評価値算出手段により算出されたブロック評価値から、処理対象のブロックの画質を判別するブロック判別情報を生成するブロック判別手段を更に有し、
   前記決定手段は、前記ブロック判別情報と前記サブブロック評価値とに基づいて、前記ブロックの量子化パラメータを決定する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の種類の評価値は輝度の複雑度合いを表す評価値であり、前記第２の種類の評価値は輝度の平均値を表す評価値である
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記決定手段が用いる前記ブロック評価値は、前記第１の種類の評価値を更に含む
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記ブロック評価値は、当該ブロックに属する画素の輝度の平均値を表す評価値と輝度の複雑度合いを表す評価値とを含む
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 前記決定手段は、前記平均値を表す評価値が第１の閾値以上であり、かつ前記複雑度合いを表す評価値が第２の閾値以上である場合に、前記サブブロック評価値に基づいて前記ブロックの量子化パラメータを決定する
   ことを特徴とする請求項５に記載の画像符号化装置。
7. 前記ブロック評価値算出手段は、前記ブロックをＭ個（ＭはＮ以下の自然数）のサブブロックに分割し、各サブブロックに対応したサブブロック評価値を算出し、当該サブブロック評価値に基づいて前記ブロックの評価値を算出する
   ことを特徴とする請求項１に記載の画像符号化装置。
8. 前記サブブロック評価値算出手段は、入力画像のサイズが第１のサイズよりも小さい第２のサイズの場合、前記ブロックの分割数を、前記第１のサイズの入力画像のときの分割数よりも多くする
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像符号化装置。
9. 前記サブブロック評価値算出手段は、前記第１の種類の評価値として、輝度の複雑度合いを表す評価値を算出し、
   前記決定手段は、前記Ｎ個のサブブロックのそれぞれの前記第１の種類の評価値の中の最も複雑度合いが低いことを示す評価値を前記サブブロック評価値として用いて、前記ブロックの量子化パラメータを決定する
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像符号化装置。
10. 前記サブブロック評価値算出手段は、前記第１の種類の評価値として、輝度の複雑度合いを表す評価値を算出し、
    前記決定手段は、前記サブブロック評価値が、所定の閾値よりも複雑度合いが高い値である場合、前記サブブロック評価値が、所定の閾値よりも複雑度合いが低い値である場合よりも、低画質となるように、前記量子化パラメータを決定する
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像符号化装置。
11. 入力された画像をブロック単位に符号化する符号化工程と、
    前記ブロックに対応したブロック評価値を算出するブロック評価値算出工程と、
    前記ブロックをＮ個（Ｎは２以上の自然数）のサブブロックに分割し、前記サブブロックに対応したサブブロック評価値を算出するサブブロック評価値算出工程と、
    前記ブロック評価値と前記サブブロック評価値とを用いて、前記ブロックの量子化パラメータを決定する決定工程と、
    を有し、
    前記決定工程において用いられる前記サブブロック評価値は、第１の種類の評価値であり、
    前記決定工程において用いられる前記ブロック評価値は、前記第１の種類とは異なる第２の種類の評価値を少なくとも含む
    ことを特徴とする画像符号化方法。
12. コンピュータを、請求項１〜１０のいずれか１項に記載の画像符号化装置の各手段として機能させることを特徴とするプログラム。

Images