JP5593468B1 - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

入力画像を符号化する画像符号化装置（１００）であって、入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する特定領域判定部（１０３）と、複数の変換処理単位の中から適応的に選択された変換処理単位で、判定ブロックの直交変換を選択的に行うことで、残差係数を出力する直交変換部（１０５）とを備え、直交変換部（１０５）は、特定領域判定部（１０３）によって判定ブロックが特定領域であると判定された場合、常に４×４画素のブロックサイズに設定された変換処理単位毎に、判定ブロックの直交変換を選択的に行う。

Description

本開示は、符号化動作における直交変換を選択的に行うことができる画像符号化装置に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。

一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、及び、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる次世代画像符号化方式の標準化活動が進んでいる。

このような画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また、空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。

得られた差分画像に対して離散コサイン変換等の直交変換及び量子化を行う。直交変換では、輝度成分情報及び色差成分情報を周波数成分情報に変換する。一般的に、周波数成分が高いほど、人間の目で認識しにくい情報となる。そのため、通常、量子化では高周波数領域ほど量子化の幅を粗くし、人間の目で認識しにくい情報を省略し、人間の目で劣化が分かりにくいように符号化が行われる。さらに、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

ＨＥＶＣ（非特許文献１参照）では、前述の直交変換において、直交変換対象のブロックサイズが、４×４画素、８×８画素、１６×１６画素、３２×３２画素の４候補がある。ブロックサイズを決定する際には、符号化対象のブロック毎に、四分木構造で分割できる範囲の中で、４候補の中からコスト判定によっていずれか１つのブロックサイズを選択する。

これにより、画像の性質に応じて直交変換のサイズを適応的に切り替えることで符号化効率の向上に大きく貢献している。また、４×４画素のサイズを選択した場合に限り、直交変換を行わずに差分画像をそのまま量子化するという方法を選択することも可能となっている。

また、前述の量子化処理では、ブロック毎に設定した量子化パラメータと、ピクチャ毎に設定した量子化行列とを掛け合わせることで決定される量子化幅によって量子化が行われる。

ＪＣＴＶＣ−Ｌ１００３：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０（０１／２０１３）

ＨＥＶＣでは、前述の通り、直交変換のブロックサイズが４種類あり、分割方法も複雑なため、いずれか１つのサイズを選ぼうとすると、直交変換に要する演算処理量がＨ．２６４に比べ多くなる。

また、単に演算処理量を低減するために、直交変換対象のブロックを一意に定めた場合、画像の種類によっては、直交変換及び量子化により発生したノイズによって主観的な画質が低下する恐れもある。

そこで、本開示は、主観画質を向上させ、かつ、演算処理量を削減することができる画像符号化装置及び画像符号化方法を提供する。

本開示に係る画像符号化装置は、入力画像を符号化する画像符号化装置であって、入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する判定部と、複数の変換処理単位の中から適応的に選択された変換処理単位で、判定ブロックの直交変換を選択的に行うことで、残差係数を出力する直交変換部とを備え、直交変換部は、判定部によって判定ブロックが特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、判定ブロックの直交変換を選択的に行う。

本開示に係る画像符号化装置によれば、主観画質を向上させ、かつ、演算処理量を削減することができる。

図１は、実施の形態１に係る画像符号化装置を示すブロック図である。 図２は、実施の形態１に係る特定領域の判定と直交変換処理とを示すフローチャートである。 図３は、実施の形態２に係る画像符号化装置を示すブロック図である。 図４は、実施の形態２に係る特定領域の判定と直交変換処理とを示すフローチャートである。 図５は、実施の形態２の変形例に係る特定領域の判定と直交変換処理とを示すフローチャートである。 図６は、実施の形態３に係る画像符号化装置を示すブロック図である。 図７は、実施の形態３に係る特定領域の判定と直交変換処理と量子化パラメータの設定とを示すフローチャートである。 図８は、実施の形態３に係る量子化パラメータの設定を示すフローチャートである。 図９は、実施の形態４に係る画像符号化装置を示すブロック図である。 図１０は、実施の形態４に係る特定領域の判定と直交変換処理と量子化パラメータの設定とを示すフローチャートである。 図１１は、実施の形態４の変形例に係る特定領域の判定と直交変換処理と量子化パラメータの設定とを示すフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１及び図２を用いて、実施の形態１を説明する。

［画像符号化装置全体の処理説明］
図１は、本実施の形態に係る画像符号化装置１００のブロック図である。画像符号化装置１００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理を行うことで、符号列を生成する。

図１に示すように、画像符号化装置１００は、ピクチャメモリ１０１と、ブロック分割部１０２と、特定領域判定部１０３と、差分演算部１０４と、直交変換部１０５と、量子化部１０６と、逆量子化部１０７と、逆直交変換部１０８と、加算演算部１０９と、予測画像生成部１１０と、符号列生成部１１１とを備える。

ピクチャメモリ１０１は、入力画像信号をピクチャ単位で格納する。ピクチャメモリ１０１は、ブロック分割部１０２からの読出し命令を受け付けた場合に、当該読出し命令に係る画像信号を出力する。

なお、入力画像信号は、例えば、新聞又は雑誌などの紙面の静止画を示す画像データである。あるいは、入力画像信号は、文字又は線画が多重化された映像、例えば、字幕を含む映像を示す動画像データでもよい。

ブロック分割部１０２は、ピクチャメモリ１０１から入力された画像信号を、符号化処理単位であるコーディングユニット（ＣＵ）と呼ばれる、例えば、６４×６４画素のブロックに分割する。

ブロック分割部１０２は、さらに、ＣＵを予測画像生成の処理単位であるプレディクションユニット（ＰＵ）と呼ばれる、例えば、８×８画素のブロックに分割する。

上記においてＣＵは、６４×６４画素のブロックを説明したが、３２×３２画素、１６×１６画素、８×８画素のブロックサイズでも構わない。

上記においてＰＵは、８×８画素のブロックを説明したが、例えば８×１６画素、８×４画素などの別のサイズでも構わない。なお、ＰＵは、ＣＵのブロックサイズと同じサイズ、又は、ＣＵを２分割若しくは４分割したサイズとなる。

特定領域判定部１０３は、入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する。具体的には、特定領域判定部１０３は、ブロック分割部１０２から出力された符号化対象ピクチャから画像特徴量を取得し、予め定められる判定ブロック毎に特定領域であるか否かを判定する。

なお、特定領域とは、文字又は線画を含む領域をいう。文字又は線画で描画された領域には、文字又は線画と背景画像との間にエッジが発生しやすい。したがって、特定領域は、エッジを含む領域でもある。

特定領域と判定された判定ブロックは、直交変換の処理単位であるトランスフォームユニット（ＴＵ）と呼ばれるブロックのサイズ（ＴＵサイズ）として、常に４×４画素が選択される。ＴＵサイズは、３２×３２画素、１６×１６画素、８×８画素、４×４画素のブロックがある。特定領域でないと判断された判定ブロックのＴＵサイズは、上記の３２×３２画素〜４×４画素のブロックのうち、直交変換及び量子化などの符号化効率が高くなる１つが選ばれる。

なお、ＴＵは、ＣＵのブロックサイズと同じサイズか、それよりも小さいブロックサイズとなる。また、以降の処理は、処理内容に応じて、ＣＵ、ＰＵ、ＴＵのいずれかのブロック単位で処理が行われるものとする。

特定領域の判定の詳細については、後述する。

差分演算部１０４は、特定領域判定部１０３から入力されたＰＵ単位の画像信号と、予測画像生成部１１０から入力されたＰＵ単位の予測画像信号との差分値である差分画像信号を生成する。差分演算部１０４は、生成した差分画像信号を直交変換部１０５に出力する。

直交変換部１０５は、複数の変換処理単位の中から適応的に選択された変換処理単位で、判定ブロックの直交変換を選択的に行うことで、残差係数信号を出力する。具体的には、直交変換部１０５は、差分演算部１０４から入力される差分画像信号に、ＴＵ単位で直交変換を行うことで、残差係数信号を生成する。

なお、直交変換部１０５は、変換処理単位（ＴＵ）が４×４画素の場合に、直交変換を行うか否かを選択可能である。つまり、直交変換部１０５は、ＴＵサイズが４×４画素の場合、直交変換を選択的に行う。

例えば、直交変換部１０５は、ＴＵサイズが４×４画素の場合、差分画像信号に直交変換を行うことで、残差係数信号を生成して出力することができる（動作Ａ）。あるいは、直交変換部１０５は、ＴＵサイズが４×４画素の場合、差分画像信号に直交変換を行うことなく、差分画像信号をそのまま残差係数信号として出力することもできる（動作Ｂ）。直交変換部１０５は、例えば、所定のコスト判定に基づいて、動作Ａ及び動作Ｂのうち符号化効率の優れた方を選択する。

直交変換部１０５は、特定領域判定部１０３によって判定ブロックが特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位（ＴＵ）毎に、判定ブロックの直交変換を選択的に行うことで、残差係数を出力する。すなわち、直交変換部１０５は、判定ブロックに含まれるＴＵ毎に、直交変換を行うか否かを判定する。直交変換部１０５は、ＴＵ毎に、（ｉ）直交変換を行う場合は、差分画像信号を直交変換することで残差係数信号を生成して出力し、（ｉｉ）直交変換を行わない場合は、差分画像信号をそのまま残差係数信号として出力する。

また、直交変換部１０５は、特定領域判定部１０３によって判定ブロックが特定領域ではないと判定された場合、予め定められた複数の変換処理単位（ＴＵ）から選択された変換処理単位で、判定ブロックの直交変換を選択的に行うことで、残差係数を出力する。具体的には、直交変換部１０５は、判定ブロックが特定領域ではないと判定された場合、３２×３２画素〜４×４画素のブロックから１つのブロックを選択する。なお、４×４画素のブロックが変換処理単位として選択された場合、上述したように、直交変換部１０５は、直交変換を行うか否かを選択可能である。

量子化部１０６は、直交変換部１０５から入力される残差係数信号に、ＴＵ単位で量子化を行う。このとき、量子化部１０６は、ＣＵ単位で設定される量子化値（量子化パラメータ）及び量子化行列に従って、残差係数信号の量子化を行うことで、量子化残差係数信号を生成する。

逆量子化部１０７は、量子化部１０６から入力される量子化残差係数信号に、ＴＵ単位で逆量子化を行うことで、再構成残差係数信号を生成する。逆量子化部１０７は、生成した再構成残差係数信号を逆直交変換部１０８に出力する。

逆直交変換部１０８は、逆量子化部１０７から入力される再構成残差係数信号に、ＴＵ単位で逆直交変換を行うことで、再構成差分画像信号を生成する。そして、逆直交変換部１０８は、生成した再構成差分画像信号を加算演算部１０９に出力する。

なお、逆直交変換部１０８は、ＴＵサイズが４×４画素の場合に、逆直交変換を行うか否かを選択可能である。具体的には、逆直交変換部１０８は、逆量子化部１０７から再構成残差係数信号が入力された場合、再構成残差係数信号が直交変換部１０５において直交変換したものである場合、再構成残差係数信号を逆直交変換することで、再構成差分画像信号を生成して出力する。また、逆直交変換部１０８は、再構成残差係数信号が直交変換部１０５において直交変換せずに得られたものである場合、再構成残差係数信号を逆直交変換せずにそのまま再構成差分画像信号として加算演算部１０９に出力する。

加算演算部１０９は、逆直交変換部１０８から入力される再構成差分画像信号と、予測画像生成部１１０から入力される予測画像信号とをＰＵ単位で加算することにより、再構成画像信号を生成する。

予測画像生成部１１０は、特定領域判定部１０３から入力されたＰＵ単位の画像信号に、加算演算部１０９から入力される再構成画像信号を用いて、ＰＵ単位で画面内予測（イントラ予測）又は画面間予測（インター予測）を行うことで、予測画像を生成する。予測画像生成部１１０は、画面間予測を用いる場合は、既に符号化済みの過去のピクチャの再構成画像信号を用いる。一方、予測画像生成部１１０は、画面内予測を用いる場合は、符号化対象のＰＵに隣接する既に符号化済みの同じピクチャの再構成画像信号を用いる。なお、画像符号化装置１００に入力される入力画像が１枚のピクチャのみから構成される静止画である場合は、過去のピクチャが存在しないため、常に画面内予測のみが用いられる。

符号列生成部１１１は、量子化部１０６から入力された量子化残差係数信号、量子化行列信号、及び、その他の復号化処理時に必要となる符号化情報信号に、可変長符号化及び算術符号化を行うことで、符号列を生成する。

［特定領域判定部及び直交変換部］
ここで、特定領域判定部１０３及び直交変換部１０５が行う処理について、図２を用いて具体的に説明する。図２は、本実施の形態に係る特定領域の判定と直交変換処理とを示すフローチャートである。

まず、特定領域判定部１０３は、入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する（Ｓ１１０）。具体的には、特定領域判定部１０３は、ブロック分割部１０２から出力された符号化対象ブロック（ＣＵ）に含まれる判定ブロックから画像特徴量を算出して、当該判定ブロックが特定領域であるか否かを判定する。

ここで、特定領域判定部１０３は、例えば、輝度成分に基づく情報を画像特徴量として算出する。文字又は線画の輝度成分は、一般的に、高輝度と低輝度とに大きく集中し、小さな範囲で輝度が極端に変化する。したがって、隣接する画素間の輝度成分の傾斜は、大きくなる傾向がある。

特定領域判定部１０３は、例えば、隣接する画素間の輝度差を画像特徴量として算出する。特定領域判定部１０３は、判定ブロックの中における画素の割合であって、隣接する画素間の輝度差が大きい画素の割合が、所定の割合以上の場合は、当該判定ブロックが特定領域であると判定する。

具体的には、特定領域判定部１０３は、隣接する画素間の輝度値の差分を算出する。そして、特定領域判定部１０３は、算出した差分が予め定められた第１閾値より大きいか否かを判定する。第１閾値より大きいと判定した場合、当該隣接する画素は、輝度差が大きい画素であると判定する。特定領域判定部１０３は、判定ブロックに含まれる全ての画素に対して、輝度値の差分と第１閾値との比較を行う。第１閾値は、例えば、輝度値の最小値と最大値との差の５０％以上の値である。

さらに、特定領域判定部１０３は、輝度差が大きい画素と判定した画素が、判定ブロックの中で占める割合を算出する。そして、特定領域判定部１０３は、算出した割合が所定の割合（第２閾値）以上であるか否かを判定する。例えば、特定領域判定部１０３は、画素の割合が第２閾値以上であるか否かを判定する。画素の割合が第２閾値以上である場合、特定領域判定部１０３は、判定ブロックが特定領域であると判定する。第２閾値は、例えば、２０％以上の値である。

なお、上記においては、輝度成分を画像特徴量の基準としたが、符号化対象ピクチャから算出される情報であればどのような基準でも構わない。

また、特定領域判定部１０３は、判定ブロックのサイズを、例えば、８×８画素に設定する。本実施の形態では、後述するように特定領域と判定された判定ブロックを４×４画素の変換処理単位で直交変換する。このため、判定ブロックのサイズは、４×４画素以上の大きさであればよい。しかし、判定ブロックが４×４画素の場合、１つの判定ブロックあたりの画素サンプル数が少なく、ノイズに影響され誤判定が多くなる。したがって、特定領域を判断する判定ブロックは、８×８画素からなるブロックであることが好ましい。

判定ブロックが特定領域であると判定した場合（Ｓ１１０でＹｅｓ）、特定領域判定部１０３は、ＴＵサイズとして４×４画素ブロックを常に選択する（Ｓ１２０）。一方、判定ブロックが特定領域でないと判断した場合（Ｓ１１０でＮｏ）、特定領域判定部１０３は、３２×３２画素〜４×４画素のうちいずれか１つをＴＵサイズとして選択する（Ｓ１３０）。ＴＵサイズは、例えば、符号化対象ブロックに基づいて判断され、例えば、複雑な画像に対しては小さなＴＵサイズが、簡単な画像に対しては大きなＴＵサイズが選ばれる。

直交変換部１０５は、選択されたＴＵ毎に判定ブロックの直交変換を選択的に行う（Ｓ１４０）。例えば、直交変換部１０５は、ＴＵサイズが４×４画素の場合に、直交変換を行うことを選択した場合は、差分画像信号を直交変換することで、残差係数信号を生成して出力する。また、直交変換部１０５は、ＴＵサイズが４×４画素の場合に、直交変換を行わないことを選択した場合は、差分画像信号をそのまま残差係数信号として出力する。また、直交変換部１０５は、ＴＵサイズが４×４画素ではない場合、差分画像信号を必ず直交変換することで、残差係数信号を生成して出力する。なお、直交変換部１０５は、特定領域判定部１０３から出力されるＴＵを受け取ることで、ＴＵサイズが４×４画素であるか否かを判定する。

なお、上記の説明では、ＴＵサイズとして４×４画素を選択する処理では、特定領域判定部１０３がＴＵサイズを決める場合について説明したが、これに限らない。例えば、ブロック分割部１０２がＴＵサイズを決定した後で、特定領域判定部１０３がＴＵサイズを上書きすることで４×４画素に決定しても構わない。また、上記の説明では、ブロック分割部１０２が各々のブロックサイズを決めていたが、特定領域判定部１０３が決定したＴＵのサイズに応じてＣＵ及びＰＵのサイズを決めても構わない。

また、上記の説明では判定ブロックサイズを８×８画素としたが、４×４画素以上のサイズであれば、それ以外の予め定められたサイズでも構わない。この予め定められたサイズは、取得した入力画像内の１文字に占める画素数に依存して設定しても構わない。

具体的には、特定領域判定部１０３は、入力画像内の１文字が１つの判定ブロックに収まるように判定ブロックサイズを決定してもよい。入力画像内の文字のサイズは、入力画像の画面解像度に依存する。例えば、雑誌又は新聞などを符号化する場合において、画面解像度が決定した場合、文字のサイズも自ずと決定することが多い。したがって、画面解像度に応じて判定ブロックを設定することで、１文字が１つの判定ブロックに収まるようにすることができる。

したがって、例えば、特定領域判定部１０３は、入力画像の画面解像度に応じて判定ブロックサイズを決定してもよい。具体的には、特定領域判定部１０３は、入力画像の画面解像度が１９２０×１０８０（フルＨＤ）以上、３８４０×２１６０（４Ｋ２Ｋ）以下である場合に、判定ブロックサイズを８×８画素に決定してもよい。これにより、８×８画素の判定ブロック内に１文字が収まるようにすることができる。なお、この場合、エッジを含む判定ブロックの数を減らすこともできる。

また、特定領域判定部１０３は、判定ブロックサイズをＣＵサイズなどの、入力画像に対して非固定のサイズに決定しても構わない。つまり、特定領域判定部１０３は、判定ブロックのサイズをＮ×Ｎ画素（Ｎは４以上の整数）に設定してもよい。一例として、Ｎは８である。

以上のように、特定領域判定部１０３によって、特定領域であると判定された判定ブロックのＴＵサイズが常に４×４画素ブロックに限定される。特定領域では、文字又は線画に接する周辺で高周波成分が多い。直交変換と量子化とにより、高周波成分の情報が失われやすくなるため、文字又は線画に接する周辺でノイズが発生しやすい。

そこで、４×４画素という小さなブロックサイズを用いて直交変換及び量子化を行うことで、ノイズの発生を小さなブロックに留めることができる。したがって、ブロックサイズが大きい場合より、符号化対象ピクチャ内における文字又は線画の領域に対する主観画質を向上させることができる。

また、通常、ＴＵサイズは４種類あり、複雑な分割方法によって決定される。このため、ＴＵサイズを決定する際には、演算処理量が多くなる。しかし、特定領域を判定することにより、特定領域であると判定された判定ブロックのＴＵサイズを常に４×４画素ブロックと一意に設定することで、処理を省くことができる。そのため、文字又は線画の多い入力画像ほど演算処理量を大幅に削減できる。

［まとめ］
本実施の形態に係る画像符号化装置は、入力画像を符号化する画像符号化装置１００であって、入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する特定領域判定部１０３と、複数の変換処理単位の中から適応的に選択された変換処理単位で、判定ブロックの直交変換を選択的に行うことで、残差係数を出力する直交変換部１０５とを備え、直交変換部１０５は、特定領域判定部１０３によって判定ブロックが特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、判定ブロックの直交変換を選択的に行う。

このように、特定領域であると判定された判定ブロックでは、常に４×４画素のサイズで直交変換を行い、特定領域ではないと判定された判定ブロックでは、予め定められた複数のＴＵサイズの中から選択されたＴＵサイズで直交変換を行う。このとき、特定領域は、高周波成分が多いので、量子化によってノイズが発生しやすい領域である。しかしながら、発生したノイズは、４×４画素という小さなサイズに抑えられているので、主観的な画質を向上させることができる。

また、判定ブロックが特定領域であると判定された場合、当該判定ブロックのＴＵサイズとして常に４×４画素が一意的に決定されるので、ＴＵサイズの決定に要する処理を省くことができ、演算処理量を削減することができる。このように、適したサイズで直交変換が行われることで、特定領域の高画質化が実現し、また、特定領域においてＴＵサイズを一意に決定できるため、演算処理量が削減できる。

（実施の形態２）
以下では、図３及び図４を用いて、実施の形態２を説明する。

［画像符号化装置全体の処理説明］
図３は、本実施の形態に係る画像符号化装置２００のブロック図である。画像符号化装置２００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理を行うことで、符号列を生成する。なお、実施の形態２において、実施の形態１と異なる点を中心に説明し、同一の構成については、説明を省略する場合がある。

図３に示すように、本実施の形態に係る画像符号化装置２００は、図１に示す画像符号化装置１００と比べて、特定領域判定部１０３及び直交変換部１０５の代わりに、特定領域判定部２０３及び直交変換部２０５を備える点が異なっている。

特定領域判定部２０３は、実施の形態１に示す動作に加えて、判定ブロックが特定領域であるか否かを判定した結果を直交変換部２０５に出力する。

直交変換部２０５は、特定領域判定部２０３によって判定ブロックが特定領域ではないと判定された場合、判定ブロックの直交変換を必ず実行する。具体的には、直交変換部２０５は、特定領域判定部２０３から判定結果を受け取り、受け取った判定結果に基づいて直交変換を行うか否かを決定する。

ＨＥＶＣでは、ＴＵサイズが４×４画素の場合に限り、直交変換を行うか否かを選択可能である。しかしながら、本実施の形態では、特定領域判定部２０３によって判定ブロックが特定領域ではないと判定された場合に、ＴＵサイズとして４×４画素のブロックが選択された場合であっても、直交変換部２０５は、必ず直交変換を実行する。

一方で、特定領域判定部２０３によって判定ブロックが特定領域であると判定された場合には、ＴＵサイズとして常に４×４画素が選択される。この場合は、直交変換部２０５は、直交変換を選択的に実行することができる。

［特定領域判定部及び直交変換部］
ここで、本実施の形態に係る特定領域判定部２０３及び直交変換部２０５における処理について、図４を用いて具体的に説明する。図４は、本実施の形態に係る特定領域の判定と直交変換処理とを示すフローチャートである。

ここで、ＴＵのサイズを決定するまでの処理（Ｓ１１０〜Ｓ１３０）は、図２と同じであるため、説明を省略する。

判定ブロックが特定領域であると判定された場合（Ｓ１１０でＹｅｓ）、判定ブロックのＴＵサイズとして常に４×４画素が選択される（Ｓ１２０）。このとき、直交変換部２０５は、４×４画素ブロック毎に判定ブロックに直交変換を選択的に実行する（Ｓ１４０）。

例えば、直交変換部２０５は、直交変換しない場合よりも直交変換した場合に得られる再構成画像と入力画像との差分が小さい場合、直交変換の実行を選択する。一方で、直交変換部２０５は、直交変換する場合よりも直交変換しない場合に得られる再構成画像と入力画像との差分が小さい場合、直交変換を実行しないことを選択する。このように、直交変換部２０５は、判定ブロックが特定領域であると判定された場合は、実施の形態１と同様にして、直交変換を選択的に実行する。

一方で、判定ブロックが特定領域ではないと判定された場合（Ｓ１２０でＮｏ）、判定ブロックのＴＵサイズとして４×４画素〜３２×３２画素のうちいずれか１つが選択される。この場合、直交変換部２０５は、選択されたＴＵサイズで常に直交変換を行う（Ｓ２５０）。

例えば、直交変換部２０５は、ＴＵサイズとして４×４画素が選択された場合は、通常であれば、直交変換を実行するか否かを選択可能である。しかしながら、直交変換を行うか否かを全ての４×４画素のブロックで判定することは、多大な演算処理量を必要とする。

これに対して、本実施の形態に係る直交変換部２０５は、判定ブロックが特定領域ではないと判定された場合に、ＴＵサイズが４×４画素が選択されたとしても、直交変換を必ず実行する。これにより、直交変換を行うか否かを決定するのに要する演算処理量を削減することができる。

特定領域ではないと判定された判定ブロックは、文字又は線画を含まない領域、例えば、自然画などである。このため、直交変換及び量子化によって高周波成分が失われたとしても、主観的には目立たない。つまり、主観的な画質は劣化しない。

一方で、特定領域であると判定された領域は、文字又は線画を含む領域であるので、上述したように、高周波成分が失われた場合には、ノイズが目立ち、主観的な画質が劣化する場合がある。このため、直交変換を行わない方が主観的な画質が良い場合は、直交変換部２０５が直交変換を行わないと選択することで、主観的な画質を向上させることができる。

以上のように、特定領域判定部２０３及び直交変換部２０５によって、判定ブロックが文字又は線画を含む特定領域である場合、判定ブロックのＴＵサイズを常に４×４画素ブロックとして一意に設定できる。さらに、特定領域に対してのみ直交変換を行うか否かを切り替えて動作させることができる。

ＨＥＶＣでは、４×４画素ブロックにおいて、直交変換を行うか否かを切り替えることができ、高画質化に効果的である。しかしながら、全ての４×４画素ブロックで直交変換を行うか否かを切り替えた場合、処理量が大幅に増加する。

そこで、本実施の形態のように、直交変換を行うか否かを切り替えると効果の大きい特定領域である場合にのみ、選択的な直交変換を行うことで、処理量を大幅に増加させることなく、適した直交変換及び量子化処理が行うことができる。これにより、符号化対象ピクチャ内における特定領域に対して高い符号化効率を得ることができ、符号化後における画像の主観画質の向上及び演算処理量の増加を抑制させることができる。

また、特定領域でない領域では、周波数成分が特定の成分に集中せず広がりを持つ。そのため、常に直交変換を行うことで、符号化効率を向上させることができる。

［まとめ］
本実施の形態に係る画像符号化装置では、直交変換部２０５は、特定領域判定部２０３によって判定ブロックが特定領域ではないと判定された場合、判定ブロックの直交変換を必ず実行する。

これにより、特定領域ではないと判定された場合には直交変換を必ず実行するので、直交変換を行うか否かを決定するのに要する処理量を削減することができる。一方で、特定領域であると判定された場合には、主観画質が向上するように選択的に直交変換を行うことができる。このように、必要な場合にのみ、適応的に直交変換を行うか否かを切り替えることができるため、演算処理量を抑えつつ、主観画質の向上及び符号化効率の向上を実現できる。

なお、例えば、図５に示すように、判定ブロックが特定領域であると判定された場合にも（Ｓ１１０でＹｅｓ）、直交変換部２０５は、４×４画素ブロック毎に判定ブロックに直交変換を必ず実行してもよい。なお、図５は、本実施の形態の変形例に係る特定領域の判定と直交変換処理とを示すフローチャートである。

図５に示すように、判定ブロックが特定領域であると判定された場合（Ｓ１１０でＹｅｓ）、及び、判定ブロックが特定領域ではないと判定された場合（Ｓ１１０でＮｏ）のいずれの場合でも、直交変換部２０５は、設定された変換処理単位毎に、判定ブロックの直交変換を必ず実行する（Ｓ２５０）。つまり、特定領域判定部２０３の判定結果によらず、直交変換部２０５は、直交変換を必ず実行してもよい。言い換えると、判定ブロックが特定領域であるか否かに関わらず、直交変換部２０５は、直交変換を必ず実行してもよい。

このように、本実施の形態の変形例に係る画像符号化装置では、直交変換部２０５は、特定領域判定部２０３によって判定ブロックが特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、判定ブロックの直交変換を必ず実行する。

これにより、４×４画素ブロックで直交変換を行うか否かを判定するのに要する処理を削減することができるので、演算処理量を削減することができる。

（実施の形態３）
以下では、図６〜図８を用いて、実施の形態３を説明する。

［画像符号化装置全体の処理説明］
図６は、本実施の形態に係る画像符号化装置３００のブロック図である。画像符号化装置３００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理を行うことで、符号列を生成する。なお、実施の形態３において、実施の形態１と異なる点を中心に説明し、同一の構成については、説明を省略する場合がある。

図６に示すように、本実施の形態に係る画像符号化装置３００は、図１に示す画像符号化装置１００と比べて、特定領域判定部１０３の代わりに特定領域判定部３０３を備える点と、新たに量子化パラメータ設定部３１２を備える点とが異なっている。

なお、特定領域判定部３０３は、実施の形態１に示す動作に加えて、判定ブロックが特定領域であるか否かを判定した結果を量子化パラメータ設定部３１２に出力する。

量子化パラメータ設定部３１２は、特定領域判定部３０３から出力される判定結果を用いて、量子化部１０６で利用する量子化パラメータの設定を行う。

具体的には、量子化パラメータ設定部３１２は、予め定められた基準に基づいて量子化パラメータを所定の処理単位で設定する。例えば、量子化パラメータ設定部３１２は、レート制御などに基づいて量子化パラメータを所定の処理単位で設定する。具体的には、量子化パラメータ設定部３１２は、生成される符号列が所定のビットレートに近づくように量子化パラメータを設定する。ここで、所定の処理単位は、量子化パラメータを変更可能な処理単位である。例えば、所定の処理単位は、判定ブロックである。

さらに、量子化パラメータ設定部３１２は、判定ブロックが特定領域である場合に、設定した量子化パラメータをより大きな値に再設定する。言い換えると、量子化パラメータ設定部３１２は、判定ブロックが特定領域である場合、判定ブロックが特定領域ではないと判定された場合に設定される量子化パラメータの値Ｑ２より大きな値であるＱ１に、量子化パラメータを設定する。

そして、量子化パラメータ設定部３１２は、設定した量子化パラメータを量子化部１０６に出力する。

量子化部１０６は、直交変換部１０５から入力される残差係数信号に対してＴＵ単位で量子化を行う。このとき、量子化部１０６は、量子化パラメータ設定部３１２で設定される量子化値（量子化パラメータ）及び量子化行列を用いて量子化を行うことで、量子化残差係数信号を生成する。量子化部１０６の詳細については、後述する。

逆量子化部１０７は、量子化部１０６から入力される量子化残差係数信号に、当該量子化残差係数信号が量子化部１０６において量子化された際に用いられた量子化値（量子化パラメータ）及び量子化行列を用いて逆量子化することで、量子化残差係数信号を逆直交変換部１０８に出力する。

［特定領域判定部、直交変換部及び量子化パラメータ設定部］
続いて、本実施の形態に係る特定領域判定部３０３、直交変換部１０５及び量子化パラメータ設定部３１２における処理について、図７及び図８を用いて具体的に説明する。図７は、本実施の形態に係る特定領域の判定と直交変換処理と量子化パラメータの設定とを示すフローチャートである。

ここで、ＴＵのサイズの決定（Ｓ１１０〜Ｓ１３０）と、直交変換（Ｓ１４０）とは、図２と同じであるため、説明を省略する。

判定ブロックが特定領域であると判定された場合（Ｓ１１０でＹｅｓ）、量子化パラメータ設定部３１２は、量子化パラメータをＱ１に設定する（Ｓ３６０）。

一方、判定ブロックが特定領域ではないと判定された場合（Ｓ１１０でＮｏ）、量子化パラメータ設定部３１２は、量子化パラメータをＱ２に設定する（Ｓ３７０）。

量子化パラメータは、例えば、判定ブロック毎に設定される。量子化パラメータ設定部３１２は、判定ブロックが特定領域であるか否かに応じて、量子化パラメータを設定する。例えば、判定ブロックが特定領域である場合、判定ブロックの量子化に用いる量子化パラメータをＱ１に、判定ブロックが特定領域ではない場合、判定ブロックの量子化に用いる量子化パラメータをＱ２に設定する。

Ｑ１は、Ｑ２以上の値に設定される。Ｑ２は、特定領域と判定されない場合に設定される値であり、レート制御などに基づいて決定される値である。これに対して、量子化パラメータ設定部３１２は、レート制御などに基づいて決定されたＱ２に、オフセットを加えることで、Ｑ２より大きな値になるＱ１を量子化パラメータとして設定する。これにより、特定領域と判定された判定ブロックを、粗く量子化することができる。

判定ブロックが特定領域である場合、ＴＵサイズが常に４×４画素に設定される。これにより、特定領域の高画質化が実現しているが、ＴＵがたくさん存在するため、オーバーヘッドが大きくなり、符号量増加につながる。そこで、特定領域の量子化パラメータを特定領域でない領域の量子化パラメータよりも大きな値に設定することで、符号量の増加を抑制することが可能となる。特定領域では、ＴＵサイズが４×４画素の小さいブロックであるため、予測方向が当たりやすく、予測精度が高い。例えば、符号化対象の入力画像が自然画などの複雑な画像である場合でも、ＴＵサイズが４×４画素の小さいブロックサイズであるために、ＴＵは、単純な直線などの画像になる。このため、予測精度が高くなって、残差成分を減らすことができるため、粗く量子化しても画質が劣化しにくい。

なお、上記の説明においては、判定ブロック毎に量子化パラメータを設定したが、量子化パラメータを設定する処理単位である所定の処理単位のサイズは、どのような基準でも構わない。例えば、所定の処理単位は、複数の判定ブロックから構成されてもよい。例えば、所定の処理単位は、ＣＵでもよい。

この場合、所定の処理単位には、判定ブロックが少なくとも１つ以上含まれる。つまり、所定の処理単位が判定ブロックのサイズ以上の大きさである。このように、複数の判定ブロックをまとめる場合、量子化パラメータ設定部３１２は、所定の処理単位内における特定領域であると判定された判定ブロックの割合に基づいて量子化パラメータを設定する。具体的には、量子化パラメータ設定部３１２は、所定の処理単位内における特定領域と判定された判定ブロックの割合が予め定められた閾値より大きい場合、予め定められた基準に基づいて決定される量子化値を、より大きな値に設定する。

例えば、所定の処理単位のサイズが３２×３２画素であり、その中に１６個の８×８画素の判定ブロックが含まれている場合を想定する。このとき、１６個の判定ブロックのうち特定領域と判定された判定ブロックが８個以上存在すると判定した場合に、量子化パラメータ設定部３１２は、特定領域と判定された判定ブロックが７個以下存在すると判定した場合に比べて、量子化パラメータを大きくする。

ここで、量子化パラメータの設定方法の一例について、図８を用いて説明する。図８は、本実施の形態に係る量子化パラメータの設定を示すフローチャートである。

まず、量子化パラメータ設定部３１２は、予め定められた基準に基づいて量子化パラメータをＱ２に設定する（Ｓ３６１）。例えば、量子化パラメータ設定部３１２は、レート制御などに基づいて量子化パラメータを決定する。

次に、量子化パラメータ設定部３１２は、所定の処理単位内における特定領域と判定された判定ブロックの割合が、予め定められた閾値より大きいか否かを判定する（Ｓ３６２）。

特定領域と判定された判定ブロックの割合が閾値より大きい場合（Ｓ３６２でＹｅｓ）、量子化パラメータ設定部３１２は、Ｑ２にオフセットを加えることで、Ｑ２より大きい値であるＱ１を量子化パラメータとして設定する（Ｓ３６３）。特定領域と判定された判定ブロックの割合が閾値以下である場合（Ｓ３６２でＮｏ）、量子化パラメータ設定部３１２は、Ｑ２に設定された量子化パラメータをそのまま量子化部１０６に出力する。

このように、量子化パラメータ設定部３１２は、特定領域と判定された判定ブロックの割合が閾値より大きい場合の量子化パラメータとして、特定領域と判定された判定ブロックの割合が閾値以下である場合の量子化パラメータより大きな値を設定する。

［まとめ］
本実施の形態に係る画像符号化装置３００は、特定領域判定部３０３によって特定領域であると判定された判定ブロックの量子化パラメータを、当該判定ブロックが特定領域ではないと判定された場合に設定される量子化パラメータより大きな値に設定する量子化パラメータ設定部３１２と、量子化パラメータ設定部３１２によって設定された量子化値を用いて残差係数を量子化する量子化部１０６とを備える。

これにより、特定領域であると判定された判定ブロックの量子化パラメータを、特定領域でないと判定された場合に設定される量子化パラメータより大きな値にするので、特定領域と判定された判定ブロックの符号量を削減することができる。また、特定領域と判定された判定ブロックは、ＴＵサイズとして４×４画素、すなわち、小さいブロックが選択されるので、画質の劣化は目立ちにくい。したがって、特定領域の主観画質の劣化を抑制し、かつ、符号量を削減することができる。

また、本実施の形態に係る画像符号化装置３００は、量子化値を設定する処理単位である所定の処理単位が判定ブロックのサイズ以上である場合において、所定の処理単位内における特定領域であると判定された判定ブロックの割合が予め定められた閾値より大きい場合の量子化パラメータを、所定の処理単位内における特定領域と判定された判定ブロックの割合が閾値以下である場合の量子化パラメータより大きな値に設定する量子化パラメータ設定部３１２と、量子化パラメータ設定部３１２によって設定された量子化値を用いて残差係数を量子化する量子化部１０６とを備えてもよい。

これにより、特定領域の割合が大きい領域の量子化パラメータを、特定領域の割合が小さい領域の量子化パラメータより大きな値にするので、特定領域の割合が大きい領域の符号量を削減することができる。

（実施の形態４）
以下では、図９及び図１０を用いて、実施の形態４を説明する。

なお、実施の形態４は、上述した実施の形態２と実施の形態３とを組み合わせた実施の形態である。

［画像符号化装置全体の処理説明］
図９は、実施の形態の変形例に係る画像符号化装置４００のブロック図である。画像符号化装置４００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理を行うことで、符号列を生成する。なお、実施の形態４において、実施の形態２及び３と異なる点を中心に説明し、同一の構成については、説明を省略する場合がある。

図９に示すように、画像符号化装置４００は、図６に示す実施の形態３に係る画像符号化装置３００と比べて、直交変換部１０５の代わりに直交変換部２０５を備える点が異なっている。直交変換部２０５は、実施の形態２に係る直交変換部２０５と同一の構成である。

［特定領域判定部、直交変換部及び量子化パラメータ設定部］
続いて、本実施の形態に係る特定領域判定部３０３、直交変換部２０５及び量子化パラメータ設定部３１２における処理について、図１０を用いて説明する。図１０は、実施の形態の変形例に係る特定領域の判定と直交変換処理と量子化パラメータの設定とを示すフローチャートである。

図１０に示すように、ＴＵのサイズを決定するまでの処理（Ｓ１１０〜Ｓ１３０）と、直交変換の選択的な実行（Ｓ１４０）及び直交変換の実行（Ｓ２５０）とは、実施の形態２で説明した図４と同じである。量子化パラメータの設定（Ｓ３６０及びＳ３７０）は、実施の形態３で説明した図８と同じである。

［まとめ］
以上のように、本実施の形態に係る画像符号化装置４００では、特定領域であると判定された判定ブロックには、ＴＵサイズとして選択された４×４画素のブロック毎に、直交変換が選択的に実行される。さらに、特定領域であると判定された判定ブロックの量子化に用いる量子化パラメータは、特定領域ではないと判定された場合に設定される量子化パラメータの値Ｑ２より大きな値であるＱ１に設定される。

これにより、例えば、４×４画素のブロックに直交変換が実行されない場合、量子化の対象となる残差係数は、周波数領域ではなく空間領域の値である。具体的には、残差係数は、輝度値の差分を示している。空間領域で量子化が行われるので、高周波成分が失われるという影響は現れず、画質の劣化を抑制することができる。

また、特定領域は文字又は線画を含む領域であるので、自然画に比べてイントラ予測の精度もよく、残差係数は小さな値になる場合が多い。このため、ＴＵのブロック数は多くなるが、１つのＴＵの符号量を削減することができ、全体としての符号量を抑制することもできる。このとき、特定領域と判定された判定ブロックに対する量子化パラメータを大きくするので、１つのＴＵの符号量をさらに削減することができる。

また、ＴＵサイズが４×４画素の小さいブロックであるため、予測方向が当たりやすく、予測精度が高い。例えば、符号化対象の入力画像が自然画などの複雑な画像である場合でも、ＴＵサイズが４×４画素の小さいブロックサイズであるために、ＴＵは、単純な直線などの画像になり、予測精度が高くなる。

一方で、特定領域ではないと判定された判定ブロックでは、直交変換が必ず実行される。特定領域ではないと判定された判定ブロックは、自然画などの複雑な画像である。このため、直交変換及び量子化によって高周波成分が失われたとしても、主観的な画質の劣化は抑制される。したがって、主観的な画質を劣化させることなく、直交変換を行うか否かを決定するのに要する処理量を削減することができる。

以上のように、本実施の形態に係る画像符号化装置４００によれば、主観画質を向上させ、かつ、演算処理量を削減することができる。

なお、実施の形態２の変形例と同様に、例えば、図１１に示すように、判定ブロックが特定領域であると判定された場合にも（Ｓ１１０でＹｅｓ）、直交変換部２０５は、４×４画素ブロック毎に判定ブロックに直交変換を必ず実行してもよい。なお、図１１は、本実施の形態の変形例に係る特定領域の判定と直交変換処理とを示すフローチャートである。

図１１に示すように、判定ブロックが特定領域であると判定された場合（Ｓ１１０でＹｅｓ）、及び、判定ブロックが特定領域ではないと判定された場合（Ｓ１１０でＮｏ）のいずれの場合でも、直交変換部２０５は、設定された変換処理単位毎に、判定ブロックの直交変換を必ず実行する（Ｓ２５０）。つまり、特定領域判定部２０３の判定結果によらず、直交変換部２０５は、直交変換を必ず実行してもよい。言い換えると、判定ブロックが特定領域であるか否かに関わらず、直交変換部２０５は、直交変換を必ず実行してもよい。

これにより、実施の形態２の変形例と同様に、４×４画素ブロックで直交変換を行うか否かを判定するのに要する処理を削減することができるので、演算処理量を削減することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

例えば、実施の形態２の変形例及び実施の形態４の変形例において、判定ブロックが特定領域であるか否かに関わらず、直交変換部２０５は、設定された変換処理単位毎に、判定ブロックに直交変換を必ず実行する例について説明したが、これに限らない。例えば、実施の形態２とは逆に、直交変換部２０５は、判定ブロックが特定領域であると判定された場合（Ｓ１１０でＹｅｓ）に、直交変換を必ず実行し、判定ブロックが特定領域ではないと判定された場合（Ｓ１１０でＮｏ）に、直交変換を選択的に実行してもよい。この場合においても、判定ブロックが特定領域であると判定された場合には、直交変換を行うか否かを判定するのに要する処理を削減することができるので、演算処理量を削減することができる。

実施の形態１〜４では、各実施の形態に係る画像符号化装置が利用する符号化規格としてＨＥＶＣ規格を説明した。符号化規格は、直交変換を選択的に実行できればよい。したがって、符号化規格は、ＨＥＶＣ規格に限定されない。

さらに、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）カセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部又は全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

具体的には、本開示に係る画像符号化装置１００、２００、３００及び４００を構成する各構成要素（ピクチャメモリ１０１と、ブロック分割部１０２と、特定領域判定部１０３、２０３及び３０３と、差分演算部１０４と、直交変換部１０５及び２０５と、量子化部１０６と、逆量子化部１０７と、逆直交変換部１０８と、加算演算部１０９と、予測画像生成部１１０と、符号列生成部１１１と、量子化パラメータ設定部３１２と）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ、通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。

また、上記実施の形態に係る、画像符号化装置、又はその変形例の機能のうち少なくとも一部を組み合わせてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、例えば、新聞又は雑誌等の紙面を静止画の画像データとして入力し、符号化処理を行うことで静止画像符号列として出力する画像符号化装置に有用である。また、文字又は図が多重化された映像を動画の画像データとして入力し、符号化処理を行うことで動画像符号列として出力する画像符号化装置として有用である。

１００、２００、３００、４００ 画像符号化装置
１０１ ピクチャメモリ
１０２ ブロック分割部
１０３、２０３、３０３ 特定領域判定部
１０４ 差分演算部
１０５、２０５ 直交変換部
１０６ 量子化部
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 加算演算部
１１０ 予測画像生成部
１１１ 符号列生成部
３１２ 量子化パラメータ設定部

Claims (8)

1. 入力画像を符号化する画像符号化装置であって、
   前記入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定する判定部と、
   複数の変換処理単位の中から適応的に選択された変換処理単位で、前記判定ブロックの直交変換を選択的に行うことで、残差係数を出力する直交変換部とを備え、
   前記直交変換部は、前記判定部によって前記判定ブロックが前記特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、前記判定ブロックの直交変換を選択的に行う
   画像符号化装置。
2. 前記直交変換部は、前記判定部によって前記判定ブロックが前記特定領域ではないと判定された場合、前記判定ブロックの直交変換を必ず実行する
   請求項１に記載の画像符号化装置。
3. 前記直交変換部は、前記判定部によって前記判定ブロックが前記特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、前記判定ブロックの直交変換を必ず実行する
   請求項１又は２に記載の画像符号化装置。
4. 前記判定部は、さらに、前記判定ブロックのサイズをＮ×Ｎ画素（Ｎは４以上の整数）に設定する
   請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記Ｎは、８である
   請求項４に記載の画像符号化装置。
6. 前記画像符号化装置は、さらに、
   前記判定部によって前記特定領域であると判定された判定ブロックの量子化パラメータを、当該判定ブロックが前記特定領域ではないと判定された場合に設定される量子化パラメータより大きな値に設定する設定部と、
   前記設定部によって設定された量子化値を用いて前記残差係数を量子化する量子化部とを備える
   請求項１〜５のいずれか１項に記載の画像符号化装置。
7. 前記画像符号化装置は、さらに、
   量子化値を設定する処理単位である所定の処理単位が前記判定ブロックのサイズ以上である場合において、前記所定の処理単位内における前記特定領域であると判定された判定ブロックの割合が予め定められた閾値より大きい場合の量子化パラメータを、前記所定の処理単位内における前記特定領域と判定された判定ブロックの割合が前記閾値以下である場合の量子化パラメータより大きな値に設定する設定部と、
   前記設定部によって設定された量子化値を用いて前記残差係数を量子化する量子化部とを備える
   請求項１〜５のいずれか１項に記載の画像符号化装置。
8. 入力画像を符号化する画像符号化方法であって、
   前記入力画像に含まれる複数の画素からなる判定ブロック毎に、当該判定ブロックが文字又は線画を含む特定領域であるか否かを判定し、
   複数の変換処理単位の中から適応的に選択された変換処理単位で、前記判定ブロックの直交変換を選択的に実行することで、残差係数を出力し、
   前記直交変換の選択的な実行では、
   前記判定ブロックが前記特定領域であると判定された場合、４×４画素のブロックサイズに常に設定された変換処理単位毎に、前記判定ブロックの直交変換を選択的に行う
   画像符号化方法。

Images