JP5917117B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は、画素相関を利用して映像データを圧縮する画像符号化技術、また圧縮された符号化データを映像データに伸張する画像復号化技術に関し、特に情報量削減に用いる量子化技術に関する。

ＭＰＥＧ−２、ＭＰＥＧ−４などで知られる画像符号化技術では、入力ピクチャを１６×１６画素のマクロブロック（以降、マクロブロックをＭＢと称する）と呼ばれる基本処理単位に分割して符号化処理を行う。
ＭＢ単位に行う符号化処理には、予測処理、変換処理、量子化処理、及びエントロピー符号化処理がよく知られている。
このうち、本発明に関わる量子化処理では、入力ブロックの各係数を、任意の量子化ステップサイズに基づいて、量子化を行う。
量子化ステップサイズをＱｓｔｅｐ、入力係数をＣ、量子化結果をＺとして、一般的な量子化処理の演算式（式（１））を次に示す。

量子化ステップサイズＱｓｔｅｐを大きくすれば圧縮率は向上する。しかし、情報の欠落が多くなる。
ただし、情報の欠落が画質劣化に与える影響は、対象とするＭＢの絵柄によって異なる。具体的には、空や壁のように絵柄が単純な領域や、動きの少ない領域は画質劣化を知覚し易く、逆に絵柄が複雑な領域や、動きの激しい領域の画質劣化は知覚し難い傾向にある。
このような視覚特性を利用し、画質劣化を知覚し難い領域では、量子化ステップサイズを大きく設定し、逆に知覚し易い領域では、量子化ステップサイズを小さく設定することにより、主観品質を向上させることができる（特許文献１〜特許文献３参照。）。

図１によって、従来の量子化ステップサイズの制御について説明する。図１は、従来の符号化処理装置の処理ブロック構成を示す図である。１００は符号化処理装置、１０１はＭＢ分割部、１０２は劣化コスト評価部、１０３は量子化ステップサイズ判定部、１０４は予測処理部、１０５は変換処理部、１０６は量子化処理部、１０７はエントロピー符号化部、１０８は逆量子化部、１０９は逆変換処理部、１１０は再構成処理部である。

図１において、符号化処理部１００は、まず、入力画像をＭＢ分割部１０１に入力する。ＭＢ分割部１０１は、入力画像を１６×１６画素のＭＢと呼ばれるブロックに分割して、ＭＢを劣化コスト評価部１０２と予測処理部１０４に出力する。
劣化コスト評価部１０２は、入力したＭＢの画質劣化コスト値を算出し、量子化ステップサイズ判定部１０３に出力する。例えば、劣化コスト評価部１０２は、画素値の変化量を画質劣化コストとする場合には、次の式（２）及び式（３）を用いて画質劣化コスト値を算出する。

ここで、ＤＣは、ＭＢ内の画素値平均を示し、ＣＯＳＴは、ＤＣからの差分絶対値和であり、本例における画質劣化コストである。

量子化ステップサイズ判定部１０３は、まず、外部から入力された目標ビットレートに従い、基準となる量子化ステップサイズを決定する。続いて、劣化コスト評価部１０２から入力した画質劣化コスト値に基づき、画質が均一になるよう量子化ステップサイズを求める。
入力した画質劣化コスト値に基づいて量子化ステップサイズを決定するには、例えば、図１０に示すようなテーブル１０を用意する。テーブル１０中のＱｓｔｅｐは、基準となる量子化ステップサイズを示す。
量子化ステップサイズ判定部１０３は、決定した量子化ステップサイズを量子化処理部１０６に出力する。なお、量子化ステップサイズは、ＭＢ毎に設定される。

予測処理部１０４は、ＭＢ近傍画素との相関や、時間的に前後するフレームとの相関を利用して予測画像を生成し、予測画像とＭＢの差分画像を変換処理部１０５に出力する。
変換処理部１０５は、入力した差分画像を２次元ＤＣＴ変換などで知られる直交変換を利用して、４×４ブロック、または８×８ブロック単位に変換し、量子化処理部１０６に出力する。
量子化処理部１０６は、入力した変換係数を、量子化ステップサイズ判定部１０３から入力した量子化ステップサイズに基づいて量子化し、エントロピー符号化部１０７と逆量子化部１０８に出力する。

エントロピー符号化部１０７は、入力した量子化係数及び量子化ステップサイズなどの符号化制御情報を変換して、ビットストリームとして出力する。また、エントロピー符号化部１０７は、ビットストリームに変換する時に発生した符号量（発生符号量）を量子化ステップサイズ判定部１０３に出力する。
量子化ステップサイズ判定部１０３は、発生符号量が目標ビットレートに一致するかを監視し、一致しない場合には基準となる量子化ステップサイズを微調整して、発生符号量が目標ビットレートに一致させるよう制御を行う。
また量子化係数は、逆量子化部１０８による逆量子化、逆変換処理部１０９による逆変換、及び再構成処理部１１０による再構成によって再構成画像を生成し、予測処理部１０４に出力する。

国際公開第２０１１／０６４９２６号 特許第４１４６４４４号公報 特許第４７６８７７９号公報

ＭＰＥＧ−２やＭＰＥＧ−４などの画像符号化技術では、量子化ステップサイズをＭＢ単位で制御する。
しかし、符号化対象となる画像は、ＭＢ境界とは無関係な画像である。そのため画像内に存在するオブジェクトの境界部分に位置するＭＢでは、複雑な領域と単純な領域が混在する場合がある。こうしたオブジェクト境界のＭＢに、低い量子化ステップサイズを設定すると、複雑な領域の符号量が大きくなり圧縮率が低下する。逆に高い量子化ステップサイズを設定すると、単純な領域の画質劣化が目立つという問題があった。

例えば、図２は、符号化前の原画像を示す図であり、図３は符号化後の画像を示す図である。図２及び図３における符号化処理では、ＭＢ内で画素値の変化が大きい場合には高い量子化ステップサイズで量子化処理を行い、変化が小さい場合には低い量子化ステップサイズで量子化処理を行っている。
符号化後の画像を見ると、木の葉部分の劣化が目立たないが、木の葉と空の境界部分（破線の楕円で囲んだ部分）で符号化処理特有のブロックノイズが確認することができる。

本発明の目的は、視覚特性に応じてサブブロック毎の量子化処理を行うことにより、高効率な画像符号化装置及び画像符号化方法を提供することである。

上記の目的を達成するために、本発明の画像符号化装置は、入力画像を所定の第１のサイズのマクロブロックに分割し、分割された前記マクロブロック毎に所定の第２のサイズのサブブロックに分割し、前記サブブロック毎に異なる量子化パラメータで符号化処理を行うことを第１の特徴とする。また本発明の復号化処理装置は、ビットストリームに多重されたサブブロック単位の量子化ステップサイズ情報を抽出する手段を有し、さらに抽出した量子化ステップサイズ情報に従ってサブブロック単位に逆量子化処理をおこなう手段を有する。

上記本発明の第１の特徴の画像符号化装置において、前記サブブロック毎に劣化コストを評価する評価手段と、前記評価手段に基づいて前記サブブロックの画像領域について量子化ステップサイズを決定する決定手段と、前記決定した量子化ステップサイズに基づいて前記画像領域を量子化する量子化手段を備えたことを本発明の第２の特徴とする。

上記本発明の第１の特徴または第２の特徴の画像符号化装置において、前記サブブロック毎に異なる量子化パラメータで符号化した制御情報をビットストリームに多重する手段を備えたことを本発明の第３の特徴とする。

また、上記の目的を達成するために、本発明の画像符号化方法は、入力画像を所定の第１のサイズのマクロブロックに分割し、分割された前記マクロブロック毎に所定の第２のサイズのサブブロックに分割し、前記サブブロック毎に劣化コストを評価し、前記評価に基づいて前記サブブロックの画像領域について量子化ステップサイズを決定し、前記決定した量子化ステップサイズに基づいて前記画像領域を量子化することによって、前記サブブロック毎に異なる量子化パラメータで符号化処理を行うことを本発明の第４の特徴とする。

上記本発明の第４の特徴の画像符号化方法において、前記サブブロック毎に異なる量子化パラメータで符号化した制御情報をビットストリームに多重することを本発明の第５の特徴とする。

本発明によれば、視覚特性に応じてサブブロック毎の量子化処理を行うことにより、高効率な画像符号化装置及び画像復号化装置が提供可能となる。

従来の符号化処理装置の処理ブロックの構成を示す図である。 従来の符号化前の原画像を示す図である。 従来の符号化後の画像を示す図である。 本発明による符号化画像を示す図である。 本発明の符号化処理装置の処理ブロックの構成の一実施例を示す図である。 ピクチャヘッダのsecond_qp_delta_modeが１のときのsecond_qp_delta_mapを示す図である。 ピクチャヘッダのsecond_qp_delta_modeが２のときのsecond_qp_delta_mapを示す図である。 second_qp_delta_modeのシンタクスを追加したピクチャパラメータセットの一例を示す図である。 図６及び図７のsecond_qp_delta_mapのシンタクスを追加したＭＢレイヤーの一例を示す図である。 従来の画質劣化コスト値に基づく量子化ステップサイズを決定するためのテーブルである。 本発明のサブブロック画質劣化コスト値に基づくサブブロック量子化ステップサイズを決定するためのテーブルである。

本発明における符号化処理装置では、ＭＢを、例えば、８×８画素のサブブロック単位に量子化ステップサイズを設定し、量子化処理を行う手段を有する。さらに設定されたサブブロック単位の量子化ステップサイズをビットストリームに多重する手段を有する。なお、復号化処理部では、ビットストリームに多重されたサブブロック単位の量子化ステップサイズ情報を抽出する手段を有し、さらに抽出した量子化ステップサイズ情報に従ってサブブロック単位に逆量子化処理を行う手段を有する。
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、既に説明した図面を含め、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、説明を省略する。

本発明における符号化処理装置の一実施例を図５によって説明する。図５は、本発明の符号化処理装置の処理ブロックの構成の一実施例を示す図である。５００は符号化処理装置、５０２はサブブロック劣化コスト評価部、５０３はサブブロック量子化ステップサイズ判定部、５０７はエントロピー符号化部、５１１はサブブロック量子化情報多重部である。
本発明における符号化処理装置５００は、従来の符号化処理装置１００の構成に対し、サブブロック単位に劣化コストを評価するサブブロック劣化コスト評価部５０２と、サブブロック単位に量子化ステップサイズ判定を行うサブブロック量子化ステップサイズ判定部５０３と、エントロピー符号化部５０７内に設けたサブブロック単位の量子化情報を多重するサブブロック量子化情報多重部５１１を備える。

図５において、サブブロック劣化コスト評価部５０２は、入力したＭＢを、例えば８×８画素サイズのサブブロックに分割し、下記式（４）及び式（５）を用いて、サブブロック単位の劣化コストを評価し、サブブロック量子化ステップサイズ判定部５０３に出力する。

サブブロック量子化ステップサイズ判定部５０３は、入力したサブブロック単位の劣化コスト値から、サブブロック単位の量子化ステップサイズを判定し、量子化処理部１０６に出力する。サブブロック単位の劣化コスト値と、サブブロック単位の量子化ステップサイズの対応付けは、図１１に示すテーブル１１で求める。図１１のテーブル１１で使用する閾値は、従来例（図１０）で示した閾値Ｔｈの４分の１程度であるのが望ましい。なお、サブブロック単位の量子化ステップサイズは、各ＭＢのサブブロック毎に設定される。
量子化処理部１０６は、入力した変換係数を、サブブロック量子化ステップサイズ判定部５０３から入力したサブブロック単位の量子化ステップサイズに基づいて量子化し、エントロピー符号化部５０７と逆量子化部１０８に出力する。

エントロピー符号化部５０７は、入力した量子化係数及び量子化ステップサイズなどの符号化制御情報を変換して、ビットストリームとして出力する。また、エントロピー符号化部５０７は、ビットストリームに変換する時に発生した符号量（発生符号量）を量子化ステップサイズ判定部１０３に出力する。
即ち、エントロピー符号化部５０７は、サブブロック毎に異なる量子化パラメータで符号化した制御情報をビットストリームに多重して出力する。

続いて、エントロピー符号化部５０７のサブブロック量子化情報多重部５１１について説明する。
サブブロック量子化情報多重部５１１では、復号化処理において正しく復号できるように、量子化ステップサイズに対する△値、ＭＢ内のどのサブブロックに△値を適用するか、という２つの情報を多重する。
まず量子化ステップサイズに対する△値は、ピクチャヘッダに多重し、ピクチャ内毎に固定とするのが望ましい。
Ｈ．２６４符号化標準への拡張実施例としては、ピクチャパラメータセット（図８参照）に、図６のようなsecond_qp_delta_mode_flag、及びsecond_qp_deltaシンタクスを追加する。
second_qp_delta_mode_flagは、サブブロック単位の△値による量子化制御のモード情報を示す。また、second_qp_deltaシンタクスは、ピクチャ内の基準ＱＰに対する△値を示す。

続いて、ＭＢ内のどのサブブロックに△値を適用するか、という情報は、ＭＢヘッダに多重するのが望ましい。Ｈ．２６４符号化標準への拡張実施例を図９に示す。
ＭＢヘッダには、図７のようなsecond_qp_delta_flagとsecond_qp_delta_mapの２種類のシンタクスを追加する（図９参照）。
second_qp_delta_flagは、前述したピクチャヘッダのecond_qp_delta_modeが０でない場合に多重される。second_qp_delta_flagが０の時は、ＭＢ内は全て共通のＱＰで量子化されていることを示し、１のときは、後述するsecond_qp_delta_mapが示すサブブロックの量子化パラメータにsecond_qp_delta値を補正して量子化されることを示す。
second_qp_delta_mapは、ＱＰ＋△値となるサブブロックの位置を示すシンタクスであり、３bitまたは４bit符号長を有する。
ピクチャヘッダのsecond_qp_delta_modeが１のとき、second_qp_delta_mapは、３bitのシンタクスとなり、マッピングは図６のようになる。

ピクチャヘッダのsecond_qp_delta_modeが２のとき、second_qp_delta_mapは、４bitのシンタクスとなり、マッピングは図７に示すようになる。

ここまで説明した本発明の実施形態を用いることにより、サブブロック単位に量子化パラメータの制御が可能となり、オブジェクト境界に位置するＭＢの高品質な符号化が可能となる。
図４は、本発明による符号化画像を示す。本例における符号化処理では、ＭＢを８×８画素のサブブロックに分割し、サブブロック単位に画素値の変化量を評価して、量子化ステップサイズを制御している。
その結果、視覚特性に応じてサブブロック毎の量子化処理を行うことにより、高効率な画像符号化装置及び画像符号化方法を実現した。

１００：符号化処理装置、 １０１：ＭＢ分割部、 １０２：劣化コスト評価部、 １０３：量子化ステップサイズ判定部、 １０４：予測処理部、 １０５：変換処理部、 １０６：量子化処理部、 １０７：エントロピー符号化部、 １０８：逆量子化部、 １０９：逆変換処理部、 １１０：再構成処理部、 ５００：符号化処理装置、 ５０２：サブブロック劣化コスト評価部、 ５０３：サブブロック量子化ステップサイズ判定部、 ５０７：エントロピー符号化部、 ５１１：サブブロック量子化情報多重部。

Claims (6)

1. 入力画像を所定の第１のサイズのマクロブロックに分割するＭＢ分割部（101）と、
   分割された前記マクロブロックを所定の第２のサイズのサブブロックに分割し、前記サブブロック内の画素値平均に対する各画素の差分絶対値和を、前記サブブロックの画質劣化コストとするコスト評価器(502)と、
   外部から入力された目標ビットレートに従い、基準となる量子化ステップサイズである基準サイズを決定するとともに、前記サブブロックの画像に対して、前記コスト評価器により評価された画質劣化コストに基づいて、量子化ステップサイズを決定するサイズ決定器(503)と、
   前記決定した量子化ステップサイズに基づいて前記画像を量子化する量子化器(106)と、
   前記量子化された前記画像と、前記サブブロック毎の前記量子化ステップサイズを表す情報とを所定のシンタクスで符号化する符号化器(507)と、を備え、
   前記サイズ決定器(503)は、前記画質劣化コストが所定の閾値未満であるような前記サブブロックに対し、前記基準サイズに△値を加算し、前記画質劣化コストが所定の閾値以上であるような前記サブブロックに対しては、前記基準サイズをそのまま用いる様態で前記量子化ステップサイズを決定し、
   前記符号化器(507)は、前記マクロブロック毎に、該マクロブロック内のどのサブブロックに前記△値を適用するかを示す第１の符号を、シンタクスの所定の位置に追加することを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置において、
   前記符号化器は、前記△値を示す第２の符号を、ピクチャヘッダのシンタクスの所定の位置に追加することを特徴とする画像符号化装置。
3. 前記符号化器は、前記第１の符号として、△値が適用されるサブブロックについての８個のパターンを示す３bitの符号と、１４個のパターンを示す４bitの符号と、を選択的に使用するとともに、第１の符号が３bitの符号か４bitの符号かを示す第３の符号を、ピクチャヘッダのシンタクスの所定の位置に追加することを特徴とする請求項２記載の画像符号化装置。
4. 前記３bitの符号が示す前記８個のパターンは、１つのマクロブロックから分割された４つの前記サブブロックの中に、△値が加算されないサブブロックが１つ存在する場合の４個のパターンと、△値が加算されないサブブロックが２つ存在し且つそれらが上下又は左右で隣接する場合の４個のパターンと、からなることを特徴とする請求項３記載の画像符号化装置。
5. 前記量子化器は、サブブロック毎に、予測画像との差分が直交変換された画像を量子化することを特徴とする請求項１乃至４のいずれかに記載の画像符号化装置。
6. 入力画像を所定の第１のサイズのマクロブロックに分割するＭＢ分割ステップと、
   分割された前記マクロブロックを所定の第２のサイズのサブブロックに分割し、前記サブブロック内の画素値平均に対する各画素の差分絶対値和を、前記サブブロックの画質劣化コストとするコスト評価ステップと、
   外部から入力された目標ビットレートに従い、基準となる量子化ステップサイズである基準サイズを決定するとともに、前記サブブロックの画像に対して、前記コスト評価ステップにより評価された画質劣化コストに基づいて、量子化ステップサイズを決定するサイズ決定ステップと、
   前記決定した量子化ステップサイズに基づいて前記画像を量子化する量子化ステップと、
   前記量子化された前記画像と、前記サブブロック毎の前記量子化ステップサイズを表す情報とを所定のシンタクスで符号化する符号化ステップと、を備え、
   前記サイズ決定ステップは、前記画質劣化コストが所定の閾値未満であるような前記サブブロックに対し、前記基準サイズに△値を加算し、前記画質劣化コストが所定の閾値以上であるような前記サブブロックに対しては、前記基準サイズをそのまま用いる様態で前記量子化ステップサイズを決定し、
   前記符号化ステップは、前記マクロブロック毎に、該マクロブロック内のどのサブブロックに前記△値を適用するかを示す第１の符号を、シンタクスの所定の位置に追加することを特徴とする画像符号化方法。

Images