WO2014147679A1 - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

　画像符号化装置（１００）は、ピクチャを取得する取得部（１０２）と、取得部（１０２）が取得したピクチャである入力ピクチャ内に文字または線画を含む領域である文字領域があるか否かを判定する判定部（１１１）と、入力ピクチャごとに、互いにサイズの異なる複数の直交変換単位のブロックサイズのそれぞれに対して量子化行列を設定する量子化行列設定部（１１２）とを備え、量子化行列設定部（１１２）は、複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対しては、入力ピクチャ内に文字領域があると判定されたか否かに応じて異なる量子化行列を設定する。

Description

画像符号化装置および画像符号化方法

　本開示は、入力されたピクチャをブロックに分割して符号化する画像符号化装置に関するものである。

　現在、ＩＴＵ－ＴとＩＳＯ／ＩＥＣとの共同により、ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）と呼ばれる次世代画像符号化方式の標準化活動が進んでいる（非特許文献１参照）。

　一般に、画像符号化処理（以下、単に、符号化処理とも記載する）においては、情報量の圧縮を目的として、符号化対象のブロックと、これに対応する予測画像との差分画像に対して、直交変換および量子化を行い、さらに可変長符号化を行うことで符号列に変換する。

　ＨＥＶＣでは、直交変換において、符号化対象ブロックごとに、４×４画素、８×８画素、１６×１６画素、および３２×３２画素の中から任意のサイズの直交変換処理単位であるトランスフォームユニット（以下、ＴＵと称す）を選択して直交変換を行う。さらに、４×４画素のＴＵが選択された場合に限り、直交変換を行わずに差分画像をそのまま量子化することが可能である。

　また、量子化においては、量子化行列を用いて周波数成分ごとに異なる量子化幅を設定することで、主観的に劣化が目立ち難くなるように量子化を行う。

JCTVC-L1003: High Efficiency Video Coding （HEVC) text specification draft10 (01/2013)

　しかしながら、ＨＥＶＣでは、規格上、ブロックサイズが４×４画素のＴＵに対して１つの量子化行列が設定され、直交変換の有無に応じて量子化行列を変更することはできない。したがって、ＨＥＶＣでは、ブロックサイズが４×４画素のＴＵに対して、直交変換の有無が切り替えられることを考慮せずに量子化行列が設定された場合、適切な量子化行列が設定されていないことによる画質の劣化や符号化効率の低下が発生する場合がある。

　本開示は、上記課題を解決するものであり、ＨＥＶＣで定められるような直交変換の有無の切り替えを含む符号化処理を実行する場合に、画質劣化や符号化効率の低下を抑制することができる画像符号化装置等を提供する。

　本開示に係る画像符号化装置は、ピクチャを所定の符号化規格にて符号化する画像符号化装置であって、ピクチャを取得する取得部と、前記取得部が取得したピクチャである入力ピクチャ内に文字または線画を含む領域である文字領域があるか否かを判定する判定部と、前記入力ピクチャごとに、互いにサイズの異なる複数の直交変換単位のブロックサイズのそれぞれに対して量子化行列を設定する量子化行列設定部と、前記入力ピクチャを分割した画像である単位画像を生成するピクチャ分割部と、前記単位画像に対応する予測画像を生成する予測画像生成部と、前記単位画像と、当該単位画像に対応する予測画像との画素値の差分を示す画像である差分画像を生成する差分演算部と、前記差分画像をさらに少なくとも１つ以上の前記直交変換単位に分割し、ブロックサイズが４×４画素である前記直交変換単位については、前記直交変換単位ごとに（１）前記差分画像を直交変換した残差係数を生成して出力する第１処理と、（２）前記差分画像をそのまま残差係数として出力する第２処理と、を選択的に実行する変換部と、前記変換部が出力する残差係数を、前記複数の直交変換単位のブロックサイズのそれぞれに対して設定された量子化行列を用いて量子化する量子化部と、前記量子化部が量子化した残差係数が符号化された符号列であって、前記量子化行列設定部が設定した量子化行列がヘッダ領域に記述された符号列を生成する符号列生成部とを備え、前記量子化行列設定部は、前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに応じて異なる量子化行列を設定する。

　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

　本開示における画像符号化装置は、直交変換の有無を切り替えて符号化処理を実行する場合に、画質劣化や符号化効率の低下を抑制することができる。

図１は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２は、直交変換部および非直交変換部のそれぞれが行う処理を説明するための概念を示す図である。 図３は、逆量子化部の逆量子化と、逆直交変換部および逆非直交変換部の変換処理とを説明するための模式図である。 図４は、実施の形態１に係る画像符号化装置の量子化行列の設定処理を示すフローチャートである。 図５は、符号列生成部によって生成される符号列の一例を示す図である。 図６は、４×４画素のＴＵ用の量子化行列の具体例を説明するための図である。 図７は、実施の形態２に係る画像符号化装置の構成を示すブロック図である。 図８は、実施の形態２に係る画像符号化装置の量子化行列の設定処理を示すフローチャートである。

　（本開示の基礎となった知見）
　近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。

　ここで、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。

　例えば、画像圧縮技術の標準規格としては、ＩＴＵ－Ｔ（国際電気通信連合　電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ－１、ＭＰＥＧ－３、ＭＰＥＧ－４、ＭＰＥＧ－４ＡＶＣなどがある。また、現在は、ＩＴＵ－ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣ（非特許文献１）と呼ばれる次世代画像符号化方式の標準化活動が進んでいる。

　このような画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、符号化単位ブロックごとに時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。

　時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。

　また、空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報をから予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。そして、さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

　ＨＥＶＣでは、前述の直交変換において、符号化対象ブロックごとに、ブロックサイズが４×４画素のＴＵ、８×８画素のＴＵ、１６×１６画素のＴＵ、３２×３２画素のＴＵの中から任意のブロックサイズのＴＵを選択して直交変換を行うことが可能となっている。画像の性質に応じてＴＵのブロックサイズを適応的に切り替えることで符号化効率の向上が可能となる。また、４×４画素のＴＵが選択された場合に限り、直交変換を行わずに差分画像をそのまま量子化することも可能である。

　また、前述の量子化処理では、符号化対象ブロックごとに設定した量子化パラメータとピクチャごとに設定した量子化行列とを掛け合わせることで決定される量子化幅によって量子化が行われる。

　一般的に量子化行列は、人が認識し易い（人が画質の劣化に気付き易い）低周波数領域の成分に対してはより細かい係数値を適用するように構成される。一方、人が認識し難い（人が画質の劣化に気付き難い）高周波数領域の成分に対してはより粗い係数値を適用するように構成される。

　つまり、量子化行列は、低周波数領域から高周波数領域にかけて傾斜を持つ係数値で構成される。また、量子化行列は、直交変換のサイズごとに定義されることが必要であるため、ＨＥＶＣでは、４×４画素のＴＵ、８×８画素のＴＵ、１６×１６画素のＴＵ、３２×３２画素のＴＵそれぞれに対応した量子化行列が設定される。

　ＨＥＶＣでは前述の通り、直交変換を行う際に４×４画素のブロックサイズのＴＵが選択された場合、（１）直交変換によって生成された残差係数に対して量子化する方法（第１の量子化処理）と、（２）直交変換を行わずに差分画像をそのまま量子化する方法（第２の量子化処理）とをＴＵごとに切り替えることが可能である。

　しかしながら、ＨＥＶＣでは、規格上、量子化を行うために使用される量子化行列は、ブロックサイズが４×４画素ＴＵに対して１つしか設定することができない。つまり、ＨＥＶＣでは、第１の量子化処理と第２の量子化処理との両方の量子化処理において共通の量子化行列が用いられる。

　したがって、第１の量子化処理に対して最適化された量子化行列が設定されると、第２の量子化処理を行った場合に画質劣化が発生してしまう。逆に、第２の量子化処理に対して最適化された量子化行列が設定されると、第１の量子化処理を行った場合に符号化効率の低下を発生させてしまう。

　本開示は、上記課題を解決するものであり、直交変換の有無の切り替えを含む符号化処理において、画質劣化や符号化効率の低下を抑制することができる画像符号化装置等を提供する。

　本開示の一態様に係る画像符号化装置は、ピクチャを所定の符号化規格にて符号化する画像符号化装置であって、ピクチャを取得する取得部と、前記取得部が取得したピクチャである入力ピクチャ内に文字または線画を含む領域である文字領域があるか否かを判定する判定部と、前記入力ピクチャごとに、互いにサイズの異なる複数の直交変換単位のブロックサイズのそれぞれに対して量子化行列を設定する量子化行列設定部と、前記入力ピクチャを分割した画像である単位画像を生成するピクチャ分割部と、前記単位画像に対応する予測画像を生成する予測画像生成部と、前記単位画像と、当該単位画像に対応する予測画像との画素値の差分を示す画像である差分画像を生成する差分演算部と、前記差分画像をさらに少なくとも１つ以上の前記直交変換単位に分割し、ブロックサイズが４×４画素である前記直交変換単位については、前記直交変換単位ごとに（１）前記差分画像を直交変換した残差係数を生成して出力する第１処理と、（２）前記差分画像をそのまま残差係数として出力する第２処理と、を選択的に実行する変換部と、前記変換部が出力する残差係数を、前記複数の直交変換単位のブロックサイズのそれぞれに対して設定された量子化行列を用いて量子化する量子化部と、前記量子化部が量子化した残差係数が符号化された符号列であって、前記量子化行列設定部が設定した量子化行列がヘッダ領域に記述された符号列を生成する符号列生成部とを備え、前記量子化行列設定部は、前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに応じて異なる量子化行列を設定する。

　また、前記量子化行列設定部は、前記複数の直交変換単位のブロックサイズのうち４×４画素以外のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに関係なく同じ量子化行列を設定してもよい。

　また、前記量子化部は、前記第１処理および前記第２処理のいずれの処理が行われたかに関係なく、ブロックサイズが４×４画素である前記直交変換単位を同じ量子化行列を用いて量子化してもよい。

　また、前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、全ての係数値が同じ値である量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定してもよい。

　また、前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、少なくとも一部の係数値が低周波数成分から高周波数成分にかけて傾斜を有し、前記少なくとも一部の係数値以外の全ての係数値が同じ値である量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定してもよい。

　また、前記少なくとも一部の係数値は、ＤＣ成分の係数値および前記ＤＣ成分に隣接する成分の係数値であってもよい。

　また、前記少なくとも一部の係数値は、ＤＣ成分の係数値および前記ＤＣ成分の近隣に位置する低周波数成分の係数値であってもよい。

　また、前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される第１量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて前記第１量子化行列よりも急な傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定してもよい。

　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

　（実施の形態１）
　以下、実施の形態１について、図面を参照しながら説明する。

　［画像符号化装置の構成および動作］
　図１は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図１に示される画像符号化装置１００は、ピクチャ単位で入力された画像をブロック（処理単位）に分割する。そして、画像符号化装置１００は、ブロック単位で符号化処理を行い、符号列を生成する。

　画像符号化装置１００は、ピクチャメモリ１０１と、取得部１０２と、ピクチャ分割部１０３と、変換部１０４（直交変換部１０４ａおよび非直交変換部１０４ｂ）と、量子化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、逆非直交変換部１０８とを備える。また、画像符号化装置１００は、予測画像生成部１０９と、符号列生成部１１０と、判定部１１１と、量子化行列設定部１１２とを備える。

　ピクチャメモリ１０１は、映像信号をピクチャ単位で格納し、ピクチャ分割部１０３からの読出し命令を受け付けると当該読出し命令に係る画像信号を出力する。ピクチャメモリ１０１は、具体的には、半導体メモリや強誘電体メモリなどである。なお、映像信号には、静止画の映像信号および動画の映像信号の両方が含まれる。

　取得部１０２は、ピクチャメモリ１０１からピクチャを取得する。以下、取得部１０２が取得したピクチャを入力ピクチャと記載する。

　ピクチャ分割部１０３は、入力ピクチャを、符号化処理単位であるコーディングユニット（以下、ＣＵと称す）と呼ばれるブロックに分割する。ピクチャ分割部１０３は、例えば、画像信号を６４×６４画素のブロックサイズのＣＵに分割する。なお、ＣＵ単位に分割された入力ピクチャを単位画像とも称する。

　さらに、ピクチャ分割部１０３は、ＣＵを予測画像生成の処理単位であるプレディクションユニット（以下、ＰＵと称す）と呼ばれるブロックに分割する。ピクチャ分割部１０３は、例えば、ＣＵをさらに８×８画素のＰＵに分割する。

　また、ピクチャ分割部１０３は、ＣＵを直交変換の処理単位であるトランスフォームユニット（以下、ＴＵと称す）と呼ばれるブロックに分割する。ピクチャ分割部１０３は、例えば、画像信号を８×８画素のＴＵに分割する。

　以降の処理は、処理内容に応じて、ＣＵ、ＰＵ、およびＴＵのいずれかのブロック単位で行われる。なお、ＣＵからＰＵ、ＴＵへの分割は、画像符号化装置１００の他の構成要素によって行われてもよい。例えば、変換部１０４が、ＣＵからＴＵへの分割を行ってもよい。

　差分演算部１１３は、ピクチャ分割部１０３から入力されたＰＵ単位の画像信号（処理画像）と、予測画像生成部１０９から入力されたＰＵ単位の予測画像信号（予測画像）との差分を算出し、差分画像信号（差分画像）を生成する。言い換えれば、差分演算部１１３は、処理画像と、当該処理画像に対応する予測画像との画素値の差分を示す画像である差分画像を生成する。

　また、差分演算部１１３は、生成した差分画像信号を直交変換部１０４ａもしくは非直交変換部１０４ｂのいずれかに出力する。

　このとき、差分演算部１１３は、ピクチャ分割部１０３によって分割されたＴＵのブロックサイズに基づいて、直交変換部１０４ａおよび非直交変換部１０４ｂのうちいずれか一方に出力する。

　ＴＵのブロックサイズが８×８画素、１６×１６画素、または３２×３２画素である場合、差分演算部１１３は、差分画像信号を直交変換部１０４ａに出力する。

　一方、ＴＵのブロックサイズが４×４画素である場合、差分演算部１１３は、直交変換部１０４ａおよび非直交変換部１０４ｂのうちいずれか一方に差分画像信号を出力する。この場合、差分演算部１１３は、直交変換部１０４ａおよび非直交変換部１０４ｂのうち、再構成画像の画質がよりよくなると判断される方に差分画像信号を出力する。再構成画像とは、符号化されたピクチャを復号した画像のことである。

　直交変換部１０４ａは、差分演算部１１３から入力される差分画像信号をＴＵ単位で直交変換し、残差係数信号（残差係数）を生成する。すなわち、直交変換部１０４ａは、ＴＵごとに差分画像を直交変換した残差係数を生成して出力する第１処理を行う。

　一方、非直交変換部１０４ｂは、差分演算部１１３から入力される差分画像信号を直交変換することなく、差分画像信号をそのまま残差係数信号（残差係数）として生成する。すなわち、非直交変換部１０４ｂは、差分画像をそのまま残差係数として出力する第２処理を行う。

　以上説明したように、変換部１０４は、直交変換部１０４ａおよび非直交変換部１０４ｂからなり、ブロックサイズが４×４画素のＴＵについては、ＴＵごとに第１処理と第２処理とを選択的に実行する。

　ここで、直交変換部１０４ａおよび非直交変換部１０４ｂのそれぞれが行う処理について説明する。図２は、直交変換部１０４ａおよび非直交変換部１０４ｂのそれぞれが行う処理を説明するための模式図である。なお、図２ではＴＵのブロックサイズは、４×４画素である。

　図２の（ａ）は、直交変換部１０４ａが生成する残差係数を示す。直交変換部１０４ａは、差分画像を直交変換し、図２の（ａ）に示される残差係数を生成する。生成される残差係数における各々の係数値は、周波数成分ごとの信号の大きさを示すものであり、左上が低周波数成分の係数、右下が高周波数成分の係数となっている。図２の（ａ）に示される残差係数では、直交変換を行ったことにより大きな信号が左上の低周波数成分に集中している。

　図２の（ｂ）は、非直交変換部１０４ｂが直交変換せずにそのまま残差画像を出力した場合の残差係数を示す。図２の（ｂ）における残差係数における各々の係数値は、差分画像の対応する画素位置の画素値そのものであり、信号の変換は行われていない。

　量子化部１０５は、直交変換部１０４ａまたは非直交変換部１０４ｂから出力される残差係数信号をＴＵ単位で量子化する。量子化部１０５は、具体的には、設定された量子化値と量子化行列とを用いて、残差係数信号をＴＵ単位で量子化し、量子化残差係数信号（量子化残差係数）を生成する。

　ここで、量子化値は、ＣＵ単位で設定される。一方、量子化行列は、ピクチャ単位で量子化行列設定部１１２によって設定される。つまり、量子化部１０５は、量子化行列設定部１１２から量子化行列を取得する。

　以下、量子化部１０５の処理の具体例について図２を用いて説明する。量子化部１０５は、図２の（ａ）に示される残差係数を量子化することにより、図２の（ｃ）に示される量子化残差係数を生成する。

　また、量子化部１０５は、図２の（ｂ）に示される残差係数を量子化することにより、図２の（ｄ）に示される量子化残差係数を生成する。

　逆量子化部１０６は、量子化部１０５から入力される量子化残差係数信号をＴＵ単位で逆量子化し、再構成残差係数信号（再構成残差係数）を生成する。そして、逆量子化部１０６は、生成した再構成残差係数を、逆直交変換部１０７および逆非直交変換部１０８のいずれかに出力する。

　逆量子化部１０６は、逆量子化の対象となる量子化残差係数信号が、直交変換部１０４ａの第１処理によって生成されたものである場合、生成した再構成残差係数を逆直交変換部１０７に出力する。一方、逆量子化部１０６は、逆量子化の対象となる量子化残差係数信号が、非直交変換部１０４ｂの第２処理によって生成されたものである場合、生成した再構成残差係数を逆非直交変換部１０８に出力する。

　ここで、逆量子化部１０６の逆量子化の具体例について説明する。図３は、逆量子化部１０６の逆量子化と、逆直交変換部１０７および逆非直交変換部１０８の変換処理とを説明するための模式図である。

　逆量子化部１０６は、図３の（ｃ）に示される量子化残差係数を逆量子化することにより、図３の（ｅ）に示される再構成残差係数を生成する。一方、逆量子化部１０６は、図３の（ｄ）に示される量子化残差係数を逆量子化することにより、図３の（ｆ）に示される再構成残差係数を生成する。

　逆直交変換部１０７は、逆量子化部１０６から入力される再構成残差係数信号をＴＵ単位で逆直交変換し、再構成差分画像信号（再構成差分画像）を生成する。

　具体的には、逆直交変換部１０７は、上述の図３の（ｅ）に示される再構成残差係数を逆直交変換し、図３の（ｇ）に示される再構成差分画像を生成する。

　一方、逆非直交変換部１０８は、逆量子化部１０６から入力される再構成残差係数信号に対してＴＵ単位で逆直交変換を行わず、再構成残差係数信号をそのまま再構成差分画像として生成する。

　具体的には、逆直交変換部１０７は、上述の図３の（ｆ）に示される再構成残差係数を逆直交変換せずに、この再構成残差係数を図３の（ｈ）に示される再構成差分画像として出力する。

　加算演算部１１４は、逆直交変換部１０７または逆非直交変換部１０８から入力される再構成差分画像信号と、予測画像生成部１０９から入力される予測画像信号とをＰＵ単位で加算することにより再構成画像信号（再構成画像）を生成する。

　予測画像生成部１０９は、ピクチャ分割部１０３から入力されたＰＵ単位の画像信号を基に、加算演算部１１４から入力される再構成画像信号を用いてＰＵ単位で画面内予測または画面間予測を行って予測画像を生成する。

　画面間予測を用いる場合、予測画像生成部１０９は、既に符号化済みの過去のピクチャの再構成画像信号を用いる。

　一方、画面内予測を用いる場合、予測画像生成部１０９は、符号化対象のＰＵに隣接する既に符号化済みの同じピクチャの再構成画像信号を用いる。なお、画像符号化装置１００に入力される映像信号が１枚のピクチャのみから構成される静止画の映像信号である場合は、過去のピクチャが存在しないため、画面内予測が用いられる。

　符号列生成部１１０は、量子化部１０５から入力された量子化残差係数信号、量子化行列設定部１１２から入力された量子化行列信号、および、その他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化を行うことで符号列を生成する。つまり、符号列生成部１１０は、量子化部１０５が量子化した残差係数が符号化された符号列であって、量子化行列設定部１１２が設定した量子化行列がヘッダ領域に記述された符号列を生成する。

　［判定部および量子化行列設定部］
　ここで、画像符号化装置１００の特徴的な構成である、判定部１１１および量子化行列設定部１１２について、図４のフローチャートを用いて具体的に説明する。図４は、画像符号化装置１００の量子化行列の設定処理のフローチャートである。

　まず、判定部１１１は、画像符号化装置１００を動作させる際に外部から入力される外部信号に基づいて、入力ピクチャに文字や線画を含む領域である文字領域があるか否かを判定する（Ｓ４０１）。外部信号は、入力ピクチャに文字領域があるか否かを示す信号である。

　外部信号は、入力インターフェースを通じてユーザによって画像符号化装置１００（判定部１１１）に入力されてもよい。外部信号は、例えば、ユーザが文字領域を有するピクチャを符号化したい場合などに、ユーザによって直接入力されてもよい。

　また、外部信号は、入力ピクチャが新聞や雑誌などの出版物の紙面である場合に自動的に画像符号化装置１００（判定部１１１）に設定されてもよい。

　量子化行列設定部１１２は、変換部１０４が第１処理を実行するか第２処理を実行するかに関係なく、入力ピクチャごとに量子化行列を設定する。

　具体的には、ステップＳ４０１において、入力ピクチャに文字領域がないと判定された場合（Ｓ４０１でＮｏ）、量子化行列設定部１１２は、４×４画素のＴＵに対応する量子化行列を生成および設定する。このとき、量子化行列設定部１１２が生成する量子化行列は、低周波数領域から高周波数領域にかけて傾斜を有する量子化行列である（Ｓ４０２）。

　一方、ステップＳ４０１において、入力ピクチャに文字領域があると判定された場合（Ｓ４０１でＹｅｓ）、量子化行列設定部１１２は、４×４画素のＴＵに対応する量子化行列を生成および設定する。このとき、量子化行列設定部１１２が生成する量子化行列は、低周波数領域から高周波数領域にかけて傾斜を持たない量子化行列である（Ｓ４０３）。

　以上のように、量子化行列設定部１１２は、複数のブロックサイズのＴＵのうちブロックサイズが４×４画素のＴＵに対応する量子化行列として、入力ピクチャ内に文字領域があると判定されたか否かに応じて異なる量子化行列を設定する。

　さらに、量子化行列設定部１１２は、ブロックサイズが４×４画素以外の大きさのＴＵ（例えば、ブロックサイズが８×８画素、１６×１６画素、３２×３２画素のＴＵ）の各々に対応する複数の量子化行列を生成および設定する。このとき、量子化行列設定部１１２が生成および設定する量子化行列のそれぞれは、低周波数領域から高周波数領域にかけて傾斜を有する量子化行列である（Ｓ４０４）。

　このように、量子化行列設定部１１２は、複数のＴＵのうち４×４画素のＴＵ以外のＴＵには、入力ピクチャ内に文字領域があると判定されたか否かに関係なく量子化行列を設定する。

　以上をまとめると、４×４画素のＴＵの量子化に利用される量子化行列は、判定部１１１の判定結果に応じて係数値が変化する。一方、ブロックサイズが４×４画素のＴＵ以外の大きさのＴＵの量子化に利用される量子化行列は、判定部１１１の判定結果に依存せずに設定される。

　量子化行列設定部１１２は、設定した量子化行列を量子化部１０５に出力する。そして、量子化部１０５は、ＴＵ単位の残差係数信号を量子化する際に、当該ＴＵに設定された量子化行列を使用する。

　また、量子化行列設定部１１２は、設定した量子化行列を符号列生成部１１０に出力する。そして、符号列生成部１１０は、この量子化行列に関する情報がヘッダ領域に記述（記載）された符号列を生成する。

　図５は、符号列生成部１１０によって生成される符号列の一例を示す図である。

　図５に示される符号列においては、符号列のヘッダ領域の一部であるＰｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ（ＰＰＳ）の中に、４×４画素のＴＵに対応する量子化行列（４×４ＱＭ）から、３２×３２画素のＴＵに対応する量子化行列（３２×３２ＱＭ）までの４種類の量子化行列（量子化行列の係数値）が記載されている。

　なお、図５の例ではＰＰＳに量子化行列が記載されているが、Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ（ＳＰＳ）に量子化行列が記載されてもよく、ＰＰＳとＳＰＳの両方に量子化行列が記載されてもよい。

　また、図５の例では、４×４ＱＭから３２×３２ＱＭまでの４種類の量子化行列全てが記載されているが、少なくとも入力ピクチャの量子化に使用されるＴＵに対応した量子化行列が記載されればよい。

　［４×４画素のＴＵ用の量子化行列］
　図４で説明したように、４×４画素のＴＵに設定される量子化行列は、低周波数領域（低周波数成分）から高周波数領域（高周波数成分）にかけて傾斜を有するものと、傾斜を持たないものとの２種類ある。以下、４×４画素のＴＵ用の量子化行列について図面を参照しながら説明する。

　図６は、４×４画素のＴＵ用の量子化行列の具体例を説明するための図である。

　なお、量子化行列では、係数値が小さいほど細かく量子化を行うことを意味する。また、量子化行列の最も左上の係数値は、ＤＣ（Ｄｉｒｅｃｔ　Ｃｕｒｒｅｎｔ）成分である。すなわち量子化行列の左上は低周波数成分に対応する係数値であり、量子化行列の右下は、高周波数成分に対応する係数値である。

　図６の（ａ）は、図４のステップＳ４０２において設定される傾斜を持つ量子化行列の一例である。図６の（ａ）に示される量子化行列では、最も左上に位置するＤＣ成分の係数値が８、最も右下に位置する係数値が４８となっており、低周波数成分である左上から高周波数成分である右下にかけて係数値に傾斜がある。

　図６の（ａ）に示されるような量子化行列は、量子化部１０５に入力される残差係数信号が直交変換されたものであることを前提とするものである。したがって、量子化部１０５に入力される残差係数信号が直交変換部１０４ａから入力されたものである場合に、図６の（ａ）のような傾斜を有する量子化行列が用いられれば、効率のよい量子化が可能となる。

　具体的には、人が認識し易い（人が画質の劣化に気付き易い）低周波数成分は、小さな量子化幅（細かい精度）で量子化され、低周波数成分についての発生符号量は大きくなるが情報の精度は高くなる。逆に、人が認識し難い（人が画質の劣化に気付き難い）高周波数成分は大きな量子化幅（粗い精度）で量子化され、高周波数成分についての情報の精度は低くなるが発生符号量は小さくなる。その結果、両者のバランスが取れることで効率の良い量子化を行うことができる。

　一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４ｂから入力されたものである場合に、図６の（ａ）のような傾斜を有する量子化行列が用いられれば、画質の悪化が発生してしまう。なぜなら、周波数成分とは無関係に、符号化対象のＴＵの左上の画素位置における画素は細かい精度で量子化され、符号化対象のＴＵの右下の画素位置における画素は粗い精度で量子化されることになるからである。つまり、ＴＵ内の画素位置によって画質の良し悪しが異なる主観的に違和感のある再構成画像が生成されてしまう。

　図６の（ｂ）は、ステップＳ４０３において生成される傾斜を持たない量子化行列の一例である。図６の（ｂ）に示される量子化行列では、ＤＣ成分から右下に位置する高周波数成分の係数値まで、全ての係数値が１６となっており、左上から右下にかけて係数値に傾斜がないことが分かる。

　量子化部１０５に入力される残差係数信号が直交変換部１０４ａから入力されたものである場合に、図６の（ｂ）のような傾斜を有しない量子化行列が用いられれば、人が認識し易い（人が画質の劣化に気付き易い）低周波数成分も、人が認識し難い（人が画質の劣化に気付き難い）高周波数成分も、同じ量子化幅で量子化される。その結果、人の視覚特性に即した量子化が行われず効率の悪い量子化が行われることになる。

　一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４ｂから入力されたものである場合に、図６の（ｂ）のような傾斜を有しない量子化行列が用いられれば、画質が均一化される。なぜなら、周波数成分とは無関係に、符号化対象のＴＵの左上の画素位置における画素も、符号化対象のＴＵの右下の画素位置における画素も、同じ量子化幅で量子化が行われるからである。つまり、ＴＵ内の画素位置によって画質の良し悪しが均一な主観的に違和感が少ない再構成画像が生成される。

　［文字領域を含む画像の符号化における効果］
　一般的に、文字や線画のように隣接する画素の画素値が極端に変化するような画像（ピクチャ）に対しては、小さなブロックサイズのＴＵを用いた方が符号化ノイズを抑制しやすい。また、このような画像は、直交変換部１０４ａを用いた直交変換を行っても、周波数成分が想定どおりに偏らないため、非直交変換部１０４ｂを用いた直交変換を行わない処理が効果的に働く場合が多い。

　したがって、文字や線画を含む画像の量子化においては、図６の（ｂ）に示されるような傾斜を持たない量子化行列を使用したほうが、符号化効率が高くなる傾向がある。逆に、文字や線画を含む画像の量子化において、図６の（ａ）に示されるような傾斜を持つ量子化行列を使用してしまうと主観的に違和感のある画像となってしまう可能性が高くなる。

　一方、自然画像のように隣接する画素の画素値が連続的に変化するような画像（ピクチャ）に対しては、大きなブロックサイズのＴＵを用いた方が発生符号量を削減しやすい。また、このような画像は、直交変換部１０４ａを用いた直交変換を行う処理が効果的に働く場合が多い。

　したがって、自然画像の量子化においては、図６の（ａ）に示されるような傾斜を持つ量子化行列を使用すると、符号化効率が高くなる傾向がある。逆に、自然画像の量子化において、図６の（ｂ）に示されるような傾斜を持たない量子化行列を使用すると、主観的には大きな違和感は発生しないが符号化効率が低下してしまう可能性が高くなる。

　ここで、上述のように、画像の文字領域の符号化においては、ＨＥＶＣで規定されるＴＵの中では最もブロックサイズの小さい４×４画素のＴＵを選択し、直交変換を行わずに量子化することが好ましい場合が多くなる。つまり、文字領域を含む入力ピクチャの符号化においては、４×４画素のＴＵが選択された場合に、直交変換の有無が切り替えられることが想定される。

　しかしながら、ＨＥＶＣでは、入力ピクチャごとに４×４画素のＴＵに設定する量子化行列を変更することは可能であるが、直交変換の有無に連動して４×４画素のＴＵに設定する量子化行列を変更することはできない。

　そこで、実施の形態１では、文字領域を含む入力ピクチャの符号化においては、４×４画素のＴＵが選択された場合に直交変換の有無が切り替えられることを想定し、４×４画素のＴＵには、入力ピクチャに文字領域が含まれるか否かに応じて異なる量子化行列を設定する。具体的には、量子化行列設定部１１２は、入力ピクチャに文字領域が含まれる場合、図６の（ｂ）に示されるような傾斜を持たない量子化行列を４×４画素のＴＵに設定する。

　これにより、入力ピクチャ内の文字領域の符号化においては、高い符号化効率を得ることが可能となる。一方、入力ピクチャ内の自然画像の領域の符号化では４×４画素のＴＵを使用する頻度が低いため、図６の（ｂ）に示されるような量子化行列が用いられることによる符号化効率の低下は限定的である。

　また、実施の形態１では、入力ピクチャに文字領域が含まれない場合は、量子化行列設定部１１２は、図６の（ａ）に示されるような低周波数領域から高周波数領域にかけて傾斜を持つ量子化行列を４×４画素のＴＵに設定する。これにより、入力ピクチャに文字領域が含まれない場合には、従来と同様の高い符号化効率を得ることが可能となる。

　［量子化行列の別の例］
　上記実施の形態１では、４×４画素のＴＵに設定される量子化行列は、図６の（ａ）および（ｂ）にそれぞれ示される２つの量子化行列のいずれかであるとした。しかしながら、図６の（ａ）および（ｂ）にそれぞれ示される量子化行列は一例であり、図６に記載された係数値とは異なる係数値で構成される量子化行列が設定されてもよい。

　例えば、傾斜を持たない量子化行列に代えて、少なくとも一部に傾斜を有する量子化行列が設定されてもよい。図６の（ｃ）に示される量子化行列は、一部に傾斜を有する量子化行列の一例である。

　図６の（ｃ）に示される量子化行列は、ＤＣ成分の係数値およびＤＣ成分に隣接する成分の係数値のみ低周波数成分から高周波数成分にかけて傾斜を有している。ＤＣ成分の係数値およびＤＣ成分に隣接する成分以外の係数値は全て同じ値である。具体的には、ＤＣ成分の係数値は８であり、およびＤＣ成分に隣接する成分の係数値は、８よりも大きく１６よりも小さな値である。ＤＣ成分の係数値およびＤＣ成分に隣接する成分以外の係数値は、全て１６である。

　４×４画素のＴＵに図６の（ｃ）に示される量子化行列が設定された場合、量子化部１０５に入力される残差係数信号が直交変換部１０４ａから入力されたものであるときは、低周波数成分の周辺の成分のみ小さな量子化幅（細かい精度）で量子化が行われる。これに対し、低周波数成分の周辺以外の成分は中間的な量子化幅で量子化が行われる。図６の（ａ）に示される傾斜を持った量子化行列が設定された場合のように高周波数成分の発生符号量を小さくする効果はないが、低周波数成分の周辺の情報の精度を高くする効果を得ることができる。

　一方、４×４画素のＴＵに図６の（ｃ）に示される量子化行列が設定された場合、量子化部１０５に入力される残差係数信号が非直交変換部１０４ｂから入力されたものであるときは、符号化対象のＴＵの左上の画素位置とその周辺における画素は小さい量子化幅で量子化される。また、これら以外の画素は中間的な量子化幅で量子化が行われることになる。傾斜を持たない量子化行列が設定された場合のように全画素の画質を均一にすることはできないが、ＴＵ内の一部分の画素位置のみ極端に画質が悪くなるという現象は発生しないため主観的に違和感のない画像を得ることができる。

　なお、図６の（ｃ）に示される量子化行列は、ＤＣ成分の係数値およびＤＣ成分に隣接する成分の係数値のみ低周波数成分から高周波数成分にかけて傾斜を有していたが、ＤＣ成分に隣接していなくてもＤＣ成分の近隣の成分の係数値のみ低周波数成分から高周波数成分にかけて傾斜を有するように設定してもよい。なお、「ＤＣ成分の近隣の成分」とは、例えば、最も周波数の高い成分よりもＤＣ成分（最も周波数の低い成分）の近くに位置する成分を意味する。

　また、例えば、傾斜を持たない量子化行列に代えて、緩い傾斜を有する量子化行列が設定されてもよい。図６の（ｄ）に示される量子化行列は、緩い傾斜を有する量子化行列の一例である。

　図６の（ｄ）に示される量子化行列が有する傾斜は、図６の（ａ）に示される量子化行列が有する傾斜よりも緩い。言い換えれば、図６の（ａ）に示される量子化行列が有する傾斜は、図６の（ｄ）に示される量子化行列が有する傾斜よりも急である。

　具体的には、図６の（ｄ）に示される量子化行列は、ＤＣ成分の係数値が８、右下に位置する高周波数成分の係数値が２８となっており、左上から右下にかけて係数値にやや傾斜がある。しかしながら、図６の（ｄ）に示される量子化行列は、図６（ａ）に示される量子化行列と比較すると傾斜が半分以下であり、ほとんど傾斜を持たない量子化行列である。

　４×４画素のＴＵに図６の（ｄ）に示される量子化行列が設定された場合、量子化部１０５に入力される残差係数信号が直交変換部１０４ａから入力されたものであるときは、低周波数成分の情報の精度を高めながら、高周波数成分の発生符号量を小さくする効果を得ることができる。しかしながら、図６の（ａ）に示される量子化行列が設定された場合に比べると、上記効果は、小さくなる。

　一方、４×４画素のＴＵに図６の（ｄ）に示される量子化行列が設定された場合、量子化部１０５に入力される残差係数信号が非直交変換部１０４ｂから入力されたものであるときは、符号化対象のＴＵの左上に位置する画素は細かい精度で量子化される。また、符号化対象のＴＵの右下に位置する画素はやや粗い精度で量子化される。しかしながら、図６の（ａ）に示される量子化行列が設定された場合に比べるとブロック内の画素位置による画質差を低減できるため、主観的に違和感のない画像を得ることができる。

　（実施の形態２）
　以下、実施の形態２について、図面を参照しながら説明する。

　［画像符号化装置の構成および動作］
　図７は、実施の形態２に係る画像符号化装置１００ａの構成を示すブロック図である。画像符号化装置１００ａは、ピクチャ単位で入力された画像をブロック（処理単位）に分割し、ブロック単位で符号化処理を行い、符号列を生成する。

　画像符号化装置１００ａと、画像符号化装置１００との違いは、画像符号化装置１００ａの判定部１１１ａが、ピクチャメモリ１０１から入力された画像信号を用いて処理を行っている点のみである。画像符号化装置１００ａの判定部１１１ａ以外の構成要素については、画像符号化装置１００と同様であるのでここでは説明を省略する。

　［判定部および量子化行列設定部］
　画像符号化装置１００ａの特徴的な構成である、判定部１１１ａおよび量子化行列設定部１１２について、図８のフローチャートを用いて具体的に説明する。図８は、画像符号化装置１００ａの量子化行列の設定処理のフローチャートである。

　まず、判定部１１１ａは、ピクチャメモリ１０１から入力された符号化対象のピクチャの画像信号から画像特徴量を算出して文字領域を抽出する（Ｓ８０１）。なお、判定部１１１ａは、取得部１０２が取得した入力ピクチャの画像信号から画像特徴量を算出して文字領域を抽出してもよい。

　画像特徴量の算出には、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）など、どのような方法が用いられてもよい。例えば、判定部１１１ａは、画素値が特定の２値に集中しているかどうかを表す情報を画像特徴量とし、算出された画像特徴量が特定の閾値以上の領域を文字領域として抽出する。

　次に、判定部１１１ａは、ステップＳ８０１における抽出結果に従って、入力ピクチャに文字領域があるか否かを判定する（Ｓ８０２）。入力ピクチャに文字領域がない場合は（Ｓ８０２でＮｏ）、量子化行列設定部１１２は、ステップＳ４０２の処理を実行する（Ｓ４０２）。入力ピクチャに文字領域がある場合は（Ｓ８０２でＹｅｓ）、量子化行列設定部１１２は、ステップＳ４０３の処理を実行する（Ｓ４０３）。

　ステップＳ４０２、Ｓ４０３、およびＳ４０４の各々における量子化行列設定部１１２の処理については、実施の形態１で説明したものと同様である。また、画像符号化装置が生成する符号列についても、実施の形態１で説明したものと同様である。

　実施の形態２では、画像符号化装置１００ａは、符号化対象のピクチャ（入力ピクチャ）を用いて符号化対象のピクチャ内に文字領域があるかどうかを判定する。すなわち、画像符号化装置１００ａでは、実施の形態１で説明した外部信号が必要ないため、ユーザは符号化対象のピクチャがどのようなコンテンツであるかを意識せずに符号化処理を実施することが可能となる。

　（その他の実施の形態）
　以上のように、本開示における実装の例示として、実施の形態１を説明した。しかしながら、本開示は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

　上記実施の形態では、変換部１０４は、第１処理（直交変換部１０４ａによる変換処理）と第２処理（非直交変換部１０４ｂによる変換処理）とを選択的に実行したが、変換部１０４の第１処理と第２処理との切り替えについては様々な方法が考えられる。例えば、変換部１０４は、各ＴＵに対して第１処理を行い、第１処理の結果、周波数成分の偏りが小さいＴＵについてはさらに第２処理を行ってもよい。

　また、実施の形態２のような構成であれば、変換部１０４は、文字領域を含むＴＵには、第１処理と第２処理とを選択的に実行し、文字領域を含まないＴＵには、常に第１処理のみを行ってもよい。

　また、上記実施の形態では、量子化行列設定部１１２は、各ブロックサイズのＴＵに対応する量子化行列を生成した。しかしながら、量子化行列は、画像符号化装置１００（１００ａ）の内部または外部に設けられた記憶部に予め記憶されていてもよい。この場合、量子化行列設定部１１２は、記憶部から読み出した量子化行列を各ＴＵに設定する。

　また、上記実施の形態では、ＴＵのブロックサイズは、ＰＵのブロックサイズと等しいものとして説明したが、ＴＵのブロックサイズは、ＰＵのブロックサイズよりも小さくてもよい。すなわち、ＰＵ単位の差分画像をさらに分割したＴＵ単位で量子化が行われてもよい。また、ＴＵのブロックサイズは、ＰＵのブロックサイズよりも大きくてもよい。すなわち、ＰＵ単位の差分画像を統合したＴＵ単位で量子化が行われてもよい。

　なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

　なお、上記実施の形態では、所定の符号化規格の一例であるＨＥＶＣにしたがって符号化処理を行う画像符号化装置１００（１００ａ）について説明した。しかしながら、本開示は、ＨＥＶＣとは異なる符号化規格であって、ＨＥＶＣに類似する符号化規格にしたがって符号化処理を行う画像符号化装置（画像符号化方法）として実現されてもよい。

　また、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

　また、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

　また、上記実施の形態に係る、画像符号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

　なお、上記実施の形態は、いずれも包括的または具体的な例を示すものであり、上記実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例である。

　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

　本開示は、例えば、新聞や雑誌等の紙面の静止画の画像データに符号化処理を行い、静止画像符号列として出力する画像符号化装置として有用である。また、本開示は、文字や図が多重化された動画像の画像データに符号化処理を行い、動画像符号列として出力する画像符号化装置として有用である。

　１００、１００ａ　画像符号化装置
　１０１　ピクチャメモリ
　１０２　取得部
　１０３　ピクチャ分割部
　１０４　変換部
　１０４ａ　直交変換部
　１０４ｂ　非直交変換部
　１０５　量子化部
　１０６　逆量子化部
　１０７　逆直交変換部
　１０８　逆非直交変換部
　１０９　予測画像生成部
　１１０　符号列生成部
　１１１、１１１ａ　判定部
　１１２　量子化行列設定部
　１１３　差分演算部
　１１４　加算演算部

Claims (9)

1. 　ピクチャを所定の符号化規格にて符号化する画像符号化装置であって、
   　ピクチャを取得する取得部と、
   　前記取得部が取得したピクチャである入力ピクチャ内に文字または線画を含む領域である文字領域があるか否かを判定する判定部と、
   　前記入力ピクチャごとに、互いにサイズの異なる複数の直交変換単位のブロックサイズのそれぞれに対して量子化行列を設定する量子化行列設定部と、
   　前記入力ピクチャを分割した画像である単位画像を生成するピクチャ分割部と、
   　前記単位画像に対応する予測画像を生成する予測画像生成部と、
   　前記単位画像と、当該単位画像に対応する予測画像との画素値の差分を示す画像である差分画像を生成する差分演算部と、
   　前記差分画像をさらに少なくとも１つ以上の前記直交変換単位に分割し、ブロックサイズが４×４画素である前記直交変換単位については、前記直交変換単位ごとに（１）前記差分画像を直交変換した残差係数を生成して出力する第１処理と、（２）前記差分画像をそのまま残差係数として出力する第２処理と、を選択的に実行する変換部と、
   　前記変換部が出力する残差係数を、前記複数の直交変換単位のブロックサイズのそれぞれに対して設定された量子化行列を用いて量子化する量子化部と、
   　前記量子化部が量子化した残差係数が符号化された符号列であって、前記量子化行列設定部が設定した量子化行列がヘッダ領域に記述された符号列を生成する符号列生成部とを備え、
   　前記量子化行列設定部は、前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに応じて異なる量子化行列を設定する
   　画像符号化装置。
2. 　前記量子化行列設定部は、前記複数の直交変換単位のブロックサイズのうち４×４画素以外のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに関係なく同じ量子化行列を設定する
   　請求項１に記載の画像符号化装置。
3. 　前記量子化部は、前記第１処理および前記第２処理のいずれの処理が行われたかに関係なく、ブロックサイズが４×４画素である前記直交変換単位を同じ量子化行列を用いて量子化する
   　請求項１または２に記載の画像符号化装置。
4. 　前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、全ての係数値が同じ値である量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、
   　前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定する
   　請求項１～３のいずれか１項に記載の画像符号化装置。
5. 　前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、少なくとも一部の係数値が低周波数成分から高周波数成分にかけて傾斜を有し、前記少なくとも一部の係数値以外の全ての係数値が同じ値である量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、
   　前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定する
   　請求項１～３のいずれか１項に記載の画像符号化装置。
6. 　前記少なくとも一部の係数値は、ＤＣ成分の係数値および前記ＤＣ成分に隣接する成分の係数値である
   　請求項５に記載の画像符号化装置。
7. 　前記少なくとも一部の係数値は、ＤＣ成分の係数値および前記ＤＣ成分の近隣に位置する低周波数成分の係数値である
   　請求項５に記載の画像符号化装置。
8. 　前記入力ピクチャ内に前記文字領域があると判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて傾斜を持った係数値で構成される第１量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定し、
   　前記入力ピクチャ内に前記文字領域がないと判定された場合、前記量子化行列設定部は、低周波数成分から高周波数成分にかけて前記第１量子化行列よりも急な傾斜を持った係数値で構成される量子化行列を前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対して設定する
   　請求項１～３のいずれか１項に記載の画像符号化装置。
9. 　ピクチャを所定の符号化規格にて符号化する画像符号化方法であって、
   　ピクチャを取得する取得ステップと、
   　前記取得ステップにおいて取得したピクチャである入力ピクチャ内に文字または線画を含む領域である文字領域があるか否かを判定する判定ステップと、
   　前記入力ピクチャごとに、互いにサイズの異なる複数の直交変換単位のブロックサイズのそれぞれに対して量子化行列を設定する量子化行列設定ステップと、
   　前記入力ピクチャを分割した画像である単位画像を生成するピクチャ分割ステップと、
   　前記単位画像に対応する予測画像を生成する予測画像生成ステップと、
   　前記単位画像と、当該単位画像に対応する予測画像との画素値の差分を示す画像である差分画像を生成する差分演算ステップと、
   　前記差分画像をさらに少なくとも１つ以上の前記直交変換単位に分割し、ブロックサイズが４×４画素である前記直交変換単位については、前記直交変換単位ごとに（１）前記差分画像を直交変換した残差係数を生成して出力する第１処理と、（２）前記差分画像をそのまま残差係数として出力する第２処理と、を選択的に実行する変換ステップと、
   　前記変換ステップにおいて出力する残差係数を、前記複数の直交変換単位のブロックサイズのそれぞれに対して設定された量子化行列を用いて量子化する量子化ステップと、
   　前記量子化ステップにおいて量子化した残差係数が符号化された符号列であって、前記量子化行列設定ステップにおいて設定した量子化行列がヘッダ領域に記述された符号列を生成する符号列生成ステップとを含み、
   　前記量子化行列設定ステップにおいては、前記複数の直交変換単位のブロックサイズのうち４×４画素のブロックサイズに対しては、前記入力ピクチャ内に前記文字領域があると判定されたか否かに応じて異なる量子化行列を設定する
   　画像符号化方法。

Images