JP4847890B2

JP4847890B2 - 符号化方式変換装置

Info

Publication number: JP4847890B2
Application number: JP2007035877A
Authority: JP
Inventors: 啓田坂; 達郎重里; 賀津雄西郷; 秀之大古瀬; 耕治有村; 博荒川; 悠樹丸山
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-02-16
Filing date: 2007-02-16
Publication date: 2011-12-28
Anticipated expiration: 2027-02-16
Also published as: US8045821B2; JP2008205534A; US20080199090A1

Description

本発明は、動画像の画像情報を符号化する符号化方式変換装置に関し、特に量子化されたＤＣＴ係数などを可変長符号化して出力する符号化方式変換装置に関する。

動画像の符号化技術において、符号化効率の向上が図られている。これにより、携帯電話機で滑らかな動きのテレビ電話を実現したり、高画質な動画像を撮影したりすることも可能になりつつある。このような符号化技術の進展において、異なる機器間での動画像データの相互運用、長時間録画などを目的に、異なる符号化技術の間での変換の必要性が生じている。例えば、地上デジタルＴＶでは、ＭＰＥＧ２と呼ばれる動画像符号化技術が用いられている。これらのＴＶ番組をＨＤＤレコーダ等に記録する際に、放送波のＭＰＥＧ２より低符号化レートの記録方式（同一方式間での符号化レートの変更を含む）を選択すれば、より長時間の録画が可能となる。

画像領域を特定の画像ブロックに分割し、面内予測／面間予測した予測残差を直交変換、量子化した後に可変長符号化して出力するＭＰＥＧ２などに代表される符号化装置（以下、ＭＰＥＧ系符号化装置）では、復号化信号にブロックノイズと呼ばれる特有のノイズが発生する傾向がある。そこで、異なる符号化技術の間での変換の際に、第１の符号化機器から復号化信号にポストフィルタを実施し、ブロックノイズを軽減したあと第２の符号化手段により符号化する技術が開示されている（特許文献１参照。）。

これは、復号化信号の符号化タイプの検出を行い、検出された符号化タイプが面内予測か面間予測かに応じて、ポストフィルタ強度を決定している。
特開２００３−２３６４０号公報

しかしながら、符号化技術の進展において、Ｈ．２６４／ＡＶＣ規格では、復号化信号にブロックノイズの発生を押さえる目的で、符号化器内で用いるループ内フィルタが導入された。このフィルタ（以下、デブロックフィルタ）は、マクロブロック境界及びブロック境界の位置（以下、フィルタ位置）の両方に処理をするか、マクロブロックの境界位置にのみ処理をするか、またはＯＦＦ（デブロック処理を行わない）にするかを指定できる。また、Ｈ．２６４／ＡＶＣの規格上、フィルタ強度は量子化パラメータに連動して変化するが、オフセット（フィルタ強度オフセット）を指定することも可能である。

そのため、先行技術のように復号化信号の符号化タイプにのみ応じてフィルタ強度を調整していたのでは、復号化信号の符号化タイプのみの情報しか使わないため、Ｈ．２６４／ＡＶＣのデブロックフィルタのフィルタ位置、フィルタ強度オフセットを適切に決定できないという課題がある。

また、ブロックノイズは、一般的に低符号化レートの時ほど目立ち易いので、レート情報などに依存せず、復号化信号の符号化タイプの情報のみでフィルタ強度を決定すると、残差信号に十分な符号量が割り当てられている高符号化レートでは、画像のボケが目立つなどの問題が生じる。

上記課題に鑑み、本発明は、デブロックフィルタのフィルタ位置およびフィルタ強度オフセットを適正に設定でき、高符号化レートでも画像にボケを生じない符号化方式変換装置を提供することを目的とする。

上記課題を解決するために、本発明の一形態である符号化方式変換装置は、第１符号化方式で符号化された第１符号化データを、第２符号化データに変換する符号化方式変換装置であって、前記第１符号化データを復号化する復号化手段と、前記第１符号化データに適用された直交変換サイズと、復号化後の前記第１符号化データを前記第２符号化データに再符号化する際に適用する直交変換サイズのうち、小さい方のブロック境界を、デブロックフィルタ処理する前記ブロック境界として決定するデブロックフィルタ位置決定部と、前記決定したデブロックフィルタ位置にデブロックフィルタ処理を施し、復号化後の前記第１符号化データを符号化する符号化部と、を備えることを特徴とする。
また、本発明の他の形態である符号化方式変換装置は、第１符号化方式で符号化された第１符号化データを、第２符号化データに変換する符号化方式変換装置であって、前記第１符号化データを復号化する復号化手段と、前記第１符号化データを復号化することによって得られるデコード情報のうち前記第１符号化データの符号化タイプ以外のいずれかを用いて、第２符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出手段と、前記デブロックフィルタ強度算出手段により算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ手段とを備えることを特徴とする。

なお、本発明は、このような符号化方式変換装置として実現することができるだけでなく、このような符号化方式変換装置が備える特徴的な手段をステップとする画像情報符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上のように本発明によれば、第１の画像圧縮方式を第１の方式を含む第２の画像圧縮方式に変換する符号化方式変換装置において、第２の圧縮方式の規格で定められたデブロックのフィルタ位置および、フィルタ強度オフセットを適正に設定できる。

（実施の形態）
図１は、第１の画像圧縮符号化方式を第２の画像圧縮符号化方式に変換する符号化方式変換装置の概略的構成を示すブロック図である。ここで、第１の画像圧縮方式は例えば、低解像度のＨ．２６４／ＡＶＣ、第２の画像圧縮方式は高解像度のＨ．２６４／ＡＶＣであるとする。図１に示す本実施の形態の符号化方式変換装置は、復号化信号の符号化タイプだけでなく、さらにそれ以外の情報に基づいてエンコーダ内のデブロックフィルタの強度及びフィルタ位置を決定する符号化方式変換装置であって、Ｈ．２６４デコーダ１０１、Ｈ．２６４エンコーダ１０２、デブロックフィルタの強度算出部１０３、デブロックフィルタ１０４、復号情報解析部１０５及び符号情報解析部１０６を備える。なお、ここではＨ．２６４デコーダ１０１を備え、第１の画像圧縮方式をＨ．２６４／ＡＶＣとしたが、本発明はこれに限定されず、Ｈ．２６４デコーダ１０１の代わりにＭＰＥＧ２デコーダを備えることとし、第１の画像圧縮方式をＭＰＥＧ２としてもよい。

Ｈ．２６４デコーダ１０１は、前記第１符号化データを復号化する復号化手段の一例であり、例えば、高圧縮低解像度のＨ．２６４ストリームをデコードする。その際に復号情報解析部１０５は、前記第１符号化データを復号化することによって得られるシンタックス・エレメントと付加情報とから、符号量、量子化パラメータの平均値、イントラマクロブロック数、動きベクトルの絶対値の総和及び動きベクトルの単純総和のいずれかを前記デコード情報として算出する復号情報解析手段の一例であり、復号化された低解像度Ｈ．２６４ストリームからＨ．２６４デコード情報を抽出し、デブロックフィルタの強度算出部１０３内のメモリに格納する。Ｈ．２６４デコード情報には、符号量、量子化スケール（量子化パラメータ）、イントラマクロブロック数、動きベクトル（絶対値総和、単純総和）、符号化タイプ（ピクチャタイプ、またはスライスタイプ）がある。具体的に、復号情報解析部１０５は、デコードされた各ＳｙｎｔａｘＥｌｅｍｅｎｔ（シンタックス・エレメント）を復号情報解析部１０５内のメモリに格納する。ＳｙｎｔａｘＥｌｅｍｅｎｔとは、符号化時に記録／伝送される情報全般をさすものとする。復号情報解析部１０５は、ＳｙｎｔａｘＥｌｅｍｅｎｔの集計情報として、符号量、ピクチャ単位などの所定の単位で、量子化スケールの平均値、イントラマクロブロック数、動きベクトル（絶対値総和、単純総和）、ピクチャタイプを算出し、これらを前記所定の単位でデブロックフィルタの強度算出部１０３内のメモリに格納する。ここでは、ＳｙｎｔａｘＥｌｅｍｅｎｔから符号量を集計するとしたが、ストリームのヘッダ情報から求めてもよく、集計方法はこれらに限定されない。更に、ここでは、ピクチャ単位で管理するとするが、より小規模／大規模な単位の管理でもよい。例えばマクロブロック単位、マクロブロックライン単位、スライス単位、フィールド単位、フレーム単位などがあげられる。第１の画像圧縮符号化方式がＭＰＥＧ２であり、ＭＰＥＧ２デコード情報を解析する場合の方法も同様である。復号情報解析部１０５は、抽出されたＨ．２６４デコード情報から、デブロックフィルタの強度を決定するための評価値を作成し、デブロックフィルタの強度算出部１０３に出力する。なお、ここでは、Ｈ．２６４デコード情報をピクチャ単位で管理するが、より小規模または大規模な単位で管理してもよい。例えば復号情報解析部１０５は、Ｈ．２６４デコード情報を、マクロブロック単位、マクロブロックライン単位などを単位として管理してもよい。

次に、符号情報解析部１０６は、前記第２符号化データを生成する際に得られるシンタックス・エレメントと付加情報とから、量子化パラメータの平均値、目標符号量及び符号化ターゲットレートのいずれかを符号化情報として算出する符号化情報解析手段の一例であり、Ｈ．２６４の符号化情報として、ピクチャ単位またはスライス単位の量子化パラメータ、符号化タイプ、目標符号量、ターゲットレートなどをＨ．２６４エンコーダ１０２から取得し、デブロックフィルタの強度算出部１０３内のメモリに、ピクチャ単位またはスライス単位で格納する。具体的には、符号情報解析部１０６は、Ｈ．２６４エンコーダで符号化した際の各ＳｙｎｔａｘＥｌｅｍｅｎｔを符号情報解析部１０６内のメモリに格納する。符号情報解析部１０６は、ＳｙｎｔａｘＥｌｅｍｅｎｔとストリームのヘッダ情報である付加情報からの集計情報として、ピクチャ単位などの所定の単位で、量子化パラメータの平均値、目標符号量、符号化ターゲットレートを強度算出部１０３内のメモリに格納する。また、符号情報解析部１０６は、Ｈ．２６４エンコーダ１０２から取得されたＨ．２６４の符号化情報から、デブロックフィルタの強度を決定するための評価値を作成し、デブロックフィルタの強度算出部１０３に出力する。

デブロックフィルタの強度算出部１０３は、前記第１符号化データを復号化することによって得られるデコード情報のうち前記第１符号化データの符号化タイプ以外のいずれかを用いて、第２符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出手段の一例であり、これらのＨ．２６４デコード情報とＨ．２６４の符号化情報とにより、Ｈ．２６４のデブロックフィルタの強度に関するパラメータであるｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２（以下、αと記載する）、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２（以下、βと記載する）を決定する。デブロックフィルタ１０４は、前記デブロックフィルタ強度算出手段により算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ手段の一例であり、ブロック境界の高周波成分を低減する。なお、デブロックフィルタの強度算出部１０３では、Ｈ．２６４デコード情報とＨ．２６４の符号化情報とをピクチャ単位／スライス単位で格納するとしたが、より小規模／大規模な単位で格納してもよい。

図２は、図１に示した符号化方式変換装置に、さらに、デブロックフィルタ処理を施す位置を決定する処理部を備えた符号化方式変換装置の構成を示すブロック図である。図２に示す符号化方式変換装置と図１に示した符号化方式変換装置との相違点は、図２の符号化方式変換装置が、Ｈ．２６４デコーダ１０１、Ｈ．２６４エンコーダ１０２、デブロックフィルタの強度算出部１０３、デブロックフィルタ１０４、復号情報解析部１０５及び符号情報解析部１０６に加えて、さらに、デブロックフィルタ位置決定部１０９を備える点である。ただし、図２のＨ．２６４エンコーダ１０２は、デブロックフィルタ１０４に加えて、さらに、量子化部１０７及びフィルタ強度調節部１０８を備える点が、図１のＨ．２６４エンコーダ１０２と異なる。デブロックフィルタ位置決定部１０９は、復号情報解析部１０５から得られるＨ．２６４デコード情報とＨ．２６４エンコーダ１０２から得られるＨ．２６４の符号化情報とにより、ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（以下、ＣＦＬＡＧと記載する）、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ（以下、ＩＤＣと記載する）を決定する。（以下、「α」「β」「ＣＦＬＡＧ」及び「ＩＤＣ」の４つをデブロックフィルタの強度変数という）ここで、ＣＦＬＡＧとは、ＩＤＣをＨ．２６４ストリーム上で送信するか否かを示すパラメータである。ＩＤＣとは、デブロックフィルタを実施する画像の位置を示すパラメータである。具体的には、ＩＤＣの値が０の場合は、ブロック境界とマクロブロック境界とにデブロックフィルタを実施する。また、ＩＤＣの値が１の場合はデブロックフィルタを実施しない。ＩＤＣの値が２の場合は、スライス境界にデブロックフィルタを実施しない。

図３（ａ）は、デブロックフィルタ位置決定部１０９が復号情報解析部１０５から取得したＨ．２６４のデブロックフィルタ位置に応じて、デブロックフィルタ処理を行う場合のデブロックフィルタ位置の一例を示す図である。例えば、デブロックフィルタ位置決定部１０９は、符号化方式変換装置が高圧縮低解像度のＨ．２６４動画像データを高解像度のＨ．２６４動画像データに変換する場合には、より多くのブロック境界にデブロックフィルタ処理が行われるようにデブロックフィルタ位置を決定する。例えば、復号情報解析部１０５から得られるＩＤＣが１の場合には、デブロックフィルタ１０４におけるＩＤＣが０になるようにデブロックフィルタ位置を決定する。

図３（ｂ）は、デブロックフィルタ位置決定部１０９が復号情報解析部１０５から得られる第１の動画像データのブロック境界と、Ｈ．２６４エンコーダ１０２から得られる第２の動画像データのブロック境界とから決定するデブロックフィルタ位置の一例を示す図である。デブロックフィルタ位置決定部１０９は、前記復号化情報解析手段と前記符号化情報解析手段とによって取得されたブロックサイズのうち、いずれか一方のブロックサイズのブロック境界を、デブロックフィルタを施すべきデブロックフィルタ位置と決定する第１デブロックフィルタ位置決定手段の一例である。同図では、第一の画像符号化方式の直交変換サイズと第二の画像符号化方式の直交変換サイズのブロック境界を示す。ここでは、マクロブックを１６×１６画素、第一の画像符号化方式の直交変換サイズを８×８、第二の画像符号化方式の直交変換サイズ４×４として説明する。

一般的にブロックノイズは、直交変換サイズの画素境界位置に生じる。この場合は、第二の画像符号化方式の直交変換サイズである４×４単位の境界位置にデブロックフィルタを実施することで、第一の画像符号化方式の直交変換サイズである８×８サイズのブロックのブロックノイズを含めて軽減できる。しかし、マクロブックを１６×１６画素、第一の画像符号化方式の直交変換サイズを４×４、第二の画像符号化方式の直交変換サイズ８×８の場合、第二の画像符号化方式の直交変換サイズに合わせてデブロックフィルタを実施しても、第一の画像符号化方式の直交変換サイズのブロックノイズを軽減できない。そこで、第一の画像符号化方式の直交変換サイズと第二の画像符号化方式の直交変換サイズの小さい方の位置に合わせて、デブロックフィルタを実施することで、両方のサイズのブロックノイズを軽減できる。

図４は、図１に示した復号情報解析部１０５のより詳細な構成を示すブロック図である。同図に示すように、図１に示した復号情報解析部１０５は、イントラＭＢ数フィルタ強度評価値生成部３２０、符号量フィルタ強度評価値生成部３２１、動きベクトルフィルタ強度評価値生成部３２２、及び符号化領域タイプフィルタ強度評価値生成部３２３を備える。

同図において、Ｈ．２６４デコーダ１０１から出力されるイントラＭＢ数、符号量、動きベクトル、ピクチャタイプまたはスライスタイプ及び量子化スケールの各項目は、それぞれを評価するブロックに入力される。すなわち、イントラＭＢ数は、イントラＭＢ数フィルタ強度評価値生成部３２０に入力される。量子化ステップと符号量は、符号量フィルタ強度評価値生成部３２１に入力される。動きベクトルは、動きベクトルフィルタ強度評価値生成部３２２に入力される。ピクチャタイプとスライスタイプは、符号化領域タイプフィルタ強度評価値生成部３２３にそれぞれ入力される。同様にＨ．２６４エンコーダ１０２から出力されるピクチャ／スライスの量子化パラメータ、ピクチャタイプ、スライスタイプとターゲットレート（シーケンス）、目標符号量（ピクチャ）は、図示しない画像符号化情報フィルタ強度評価値生成部３１３に入力される。これらの５つの評価値に対して、デブロックフィルタの強度算出部１０３で、重み付け加算した総合評価値（ＴｏｔａｌＣｏｓｔ）を生成する。デブロックフィルタの強度算出部１０３では、総合評価値とフィルタ強度（α、β）との関係をあらかじめ定めた、内部に保持しているテーブルを検索して、生成された総合評価値に対応するフィルタ強度をＨ．２６４エンコーダ１０２に出力する。

なお、図２では、別途備えられたデブロックフィルタ位置決定部１０９においてデブロックフィルタ位置を決定するとしたが、ここでは、デブロックフィルタの強度算出部１０３は、図１において説明したデブロックフィルタの強度算出部１０３およびデブロックフィルタ位置決定部１０９の両方の処理を行う。すなわち、このデブロックフィルタの強度算出部１０３が出力するフィルタ強度には、Ｈ．２６４のＣＦＬＡＧ、ＩＤＣ、α、βに相当し、フィルタ位置を含む。

次に、各フィルタ強度評価値生成部の具体的動作について述べる。図５は、図４に示した各フィルタ強度評価値生成部及びフィルタ強度決定器が保持するフィルタ強度評価値対応表の一例を示す図である。事前にシミュレーションを行い、入力項目、例えば、量子化スケールとフィルタ強度評価値の関係をデータベース化しておき、最適なフィルタ強度と入力項目との関係を示す表を作成する。各フィルタ強度評価値生成部は、入力項目に応じてフィルタ強度評価値をテーブル引きすることで評価値を求める。

＜イントラＭＢ数に基づくフィルタ強度評価値算出＞
図５（ａ）は、イントラＭＢ数フィルタ強度評価値生成部３２０が保持するフィルタ強度評価値対応表の一例を示す図である。第１の画像圧縮方式において、イントラＭＢ数が多い場合には、ブロックノイズが目立ちやすい。面内予測において、予測誤差を直交変換するＨ．２６４に対して、ＭＰＥＧ系の画像符号化方式では入力された画素値をそのまま直交変換するので情報量が多く、情報量を削減すると量子化誤差が目立ちやすい。このような場合は、第２の画像圧縮方式のＨ．２６４エンコーダ１０２内のデブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できる。イントラＭＢ数フィルタ強度評価値生成部３２０は、第１の画像圧縮方式において、イントラＭＢ数があらかじめ定めた所定の閾値を超えた場合に、第２の画像圧縮方式でデブロックフィルタの強度を大きくする。所定の閾値を超えた場合とは、画面の３／４以上のＭＢがイントラＭＢである場合などを意味する。画面中央の矩形領域の３／４以上のＭＢがイントラＭＢである場合としてもよい。その際に、イントラＭＢ数フィルタ強度評価値生成部３２０は、デコード情報から得られたイントラＭＢ数で、図５（ａ）に示したフィルタ強度評価値対応表をテーブル引きすることによって、フィルタ強度評価値を算出することができる。

＜符号化領域タイプに基づくフィルタ強度評価値算出＞
図５（ｂ）は、符号化領域タイプフィルタ強度評価値生成部３２３が保持するフィルタ強度評価値対応表の一例を示す図である。例えば、符号化領域タイプフィルタ強度評価値生成部３２３は、第１の画像圧縮方式でのピクチャタイプに応じて、Ｈ．２６４エンコーダ１０２でのフィルタ強度評価値を同図に示すフィルタ強度評価値対応表からテーブル引きする。例えば、第１の画像圧縮方式でＩピクチャであれば、面内予測されているので、イントラＭＢと同じ理由で量子化誤差が目立ちやすい。このような場合、デブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できるので、フィルタ強度評価値対応表をテーブル引きすることによって、フィルタ強度評価値５を出力する。

＜量子化スケールに基づくフィルタ強度評価値算出＞
図５（ｃ）は、符号量フィルタ強度評価値生成部３２１が保持するフィルタ強度評価値対応表の一例を示す図である。デブロックフィルタの強度算出部１０３は、前記デコード情報である前記量子化パラメータの平均値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第１の画像圧縮方式において、量子化を荒くおこなった場合、つまり、量子化ステップが大きい場合には、復号化信号にブロックノイズが目立ちやすくなる。このように量子化パラメータが大きい場合には、デブロックフィルタの強度算出部１０３は、第２の画像圧縮方式において、デブロックフィルタの強度を強くする。そのために、符号量フィルタ強度評価値生成部３２１は、図５（ｃ）に示すような第１の画像圧縮方式の特性に応じた量子化ステップの閾値を設け、その閾値と量子化ステップを比較する。閾値を超える場合には、第２の画像圧縮方式の特性に応じたデブロックフィルタの強度を強くするためのフィルタ強度評価値を出力する。このフィルタ強度評価値が、デブロックフィルタの強度算出部１０３で、重み付け加算によって総合評価されることにより、第１の画像圧縮方式にも第２の画像圧縮方式にも適合するようデブロックフィルタの強度を強めブロックノイズを軽減することができる。通常、ブロックノイズは、画像符号化処理単位の画像領域境界に生じやすい。例えば、マクロブロック同士の境界や、直交変換サイズのブロックの境界が上げられる。そこで、第１の画像圧縮方式と第２の画像圧縮方式の画像符号化処理単位及び、直交変換サイズに合わせて、第２の画像圧縮方式でのデブロックフィルタの適用位置を切り替えるとより効果が高い。

図５（ｃ）に示すように、第１の画像圧縮方式の量子化スケールが閾値１０より小さいときは、フィルタ強度評価値を０とし、第１の画像圧縮方式の量子化スケールが閾値１１より大きく、閾値２０より小さいときはフィルタ強度評価値を１とする。このフィルタ強度評価値により実際のフィルタ強度を決定する。フィルタ強度はフィルタ評価値に比例するとしてもいいし、関数により変換してもよい。また、他のフィルタ強度評価値とおもみ付け加算してもよい。ここでは、テーブル引きを示したが、それを表す近似直線などの関数としてもよい。

＜コンプレキシティに基づくフィルタ強度評価値算出＞
図５（ｄ）は、符号量フィルタ強度評価値生成部３２１が保持するフィルタ強度評価値対応表の一例を示す図である。このフィルタ強度評価値対応表は、量子化スケールと符号量の積であるコンプレキシティと、フィルタ強度評価値との対応を示すテーブルである。デブロックフィルタの強度算出部１０３は、前記デコード情報である前記量子化パラメータの平均値と前記符号量との演算によって得られるコンプレキシティの値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第１の画像圧縮方式において、量子化スケールと符号量の積であるコンプレキシティが大きい場合つまり、対象画像が圧縮し難い場合には、ブロックノイズが目立ちやすい。このとき、第２の画像圧縮方式において、デブロックフィルタの強度を強くすることでブロックノイズが軽減できる。逆に、量子化スケールと符号量の積が小さい場合つまり、対象画像が圧縮し易い場合には、画像に対し十分な符号量が割り当てられ、ブロックノイズが発生しにくい。このような場合にデブロックフィルタを用いると画像のブロック境界にボケが生じるので、適用しない、または、フィルタ強度をコンプレキシティに応じて弱める。量子化スケールと符号量の積は一般的に画像の複雑度を示すコンプレキシティと呼ばれる。コンプレキシティの算出は、量子化ステップと符号量とを重み付け加算することで簡略化してもよい。また、関数による所定の簡易演算でもよい。評価値の算出方法は、量子化ステップによる算出方法と同様に、図５（ｄ）に示すようなテーブルを作成することでおこなうことができる。

＜動きベクトルの総和に基づくフィルタ強度評価値算出＞
図５（ｅ）は、動きベクトルフィルタ強度評価値生成部３２２が保持するフィルタ強度評価値対応表の一例を示す図である。デブロックフィルタの強度算出部１０３は、前記デコード情報である前記動きベクトルの絶対値の総和及び前記動きベクトルの単純総和のいずれかについて、その値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第１の画像圧縮方式において、ピクチャ単位またはスライス単位などでの動きベクトルの総和が大きい場合、つまり画面全体が一定方向に動いている場合、動きベクトルが正しいブロックを示さないので、ブロックノイズが目立ちやすい。このような場合は、第２の画像圧縮方式でデブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できる。量子化ステップによる算出方法と同様に図５（ｅ）に示すようなテーブルを作成することでフィルタ強度評価値を算出することができる。

なお、図示しないが、画像符号化情報フィルタ強度評価値生成部３１３でも上記と同様に符号化情報のそれぞれについてフィルタ強度評価値対応表を保持し、各符号化情報からフィルタ強度評価値を算出し、デブロックフィルタの強度算出部１０３に出力する。

＜フィルタ強度決定＞
図５（ｆ）は、フィルタ強度決定器が保持する対応表の一例を示す図である。図５（ｆ）の対応表は、各フィルタ強度評価値生成部から出力されたフィルタ強度評価値の重み付け加算値と、フィルタ強度との関係を示している。デブロックフィルタの強度算出部１０３は、例えば、前述の動きベクトルの総和による評価値、イントラＭＢ数による評価値、コンプレキシティによる評価値、量子化スケールによる評価値をそれぞれ、ＭＶＣｏｓｔ、ＩｎｔｒａＣｏｓｔ、ＣｏｍｐｌｅｘｉｔｙＣｏｓｔ、ＱｕａｎｔＣｏｓｔと表記する。次にこれらの評価値の重み付け加算値をＴｏｔａｌＣｏｓｔと表す。

ＴｏｔａｌＣｏｓｔは、以下の式より表現する。

ＴｏｔａｌＣｏｓｔ＝ａ０×ＭＶＣｏｓｔ＋ａ１×ＩｎｔｒａＣｏｓｔ＋ａ２×ＣｏｍｐｌｅｘｉｔｙＣｏｓｔ＋ａ３×ＱｕａｎｔＣｏｓｔ

ここで、ａ０，ａ１，ａ２，ａ３は各評価値への重み付けの係数を示す。

これらの係数は、画質への影響度を加味し、任意に設定してもよい。
一例としては、符号化レートが低い場合には、量子化誤差によるブロックノイズが支配的となるので、ａ０を０、ａ１を０、ａ２を１、ａ３を１などとし、影響の大きい係数の重みを大きく設定するとよい。

＜フィルタ強度調節＞
フィルタ強度調節部１０８は、前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータが第２符号化方式の規格で定められた値の範囲を越える場合、前記フィルタ強度を変化させず、かつ、第２符号化方式の規格で定められた範囲内の値をとる量子化パラメータを選択し、選択した量子化パラメータから決まる量子化ステップに、量子化ステップの倍率である量子化マトリックスを乗算して、乗算後の量子化ステップが、前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータに対応する値となるよう調節するフィルタ強度調節手段の一例であり、Ｈ．２６４エンコーダ１０２は、前記フィルタ強度調節手段によって選択された第２符号化方式の規格で定められた範囲内の値をとる前記量子化パラメータと、乗算された前記量子化マトリックスの値とを符号化する符号化手段の一例である。すなわち、フィルタ強度調節部１０８は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃが１以外の場合、つまりデブロックフィルタ処理を実行する際、フィルタ強度の初期値を、量子化パラメータＱＰからテーブル引きすることで決定する。この初期値に対して、上記のＦｉｌｔｅｒＯｆｆｓｅｔＡとＦｉｌｔｅｒＯｆｆｓｅｔＢにより強度を微調整することができる。ＦｉｌｔｅｒＯｆｆｓｅｔＡとＦｉｌｔｅｒＯｆｆｓｅｔＢは共に−６から６までの整数値をとり、全部で１３段階の調整が可能である。初期値のＱＰとＦｉｌｔｅｒＯｆｆｓｅｔＡの加算により決定される値ＩＮＤＥＸにより決まるフィルタ強度をα、ＱＰとＦｉｌｔｅｒＯｆｆｓｅｔＢの加算により決定される値ＩＮＤＥＸにより決まるフィルタ強度をβとする。具体例を示す。仮に量子化パラメータが３０、ＦｉｌｔｅｒＯｆｆｓｅｔＡが１である場合、ＩＮＤＥＸは、３０＋１＝３１となり、量子化パラメータ３１の場合の初期フィルタ強度αが設定される。図６は、ＩＮＤＥＸとフィルタ強度αとの対応を示すテーブルである。同図において、ＩＮＤＥＸは、符号化される量子化パラメータである。このことは、量子化パラメータが３０の時は、量子化パラメータが２４から３６までの各ＱＰに対応する初期フィルタ強度しか設定できないことを意味する。βもαと同様に決定される。また、Ｈ．２６４では、ｗｅｉｇｈｔＳｃａｌｅと呼ばれる量子化マトリックスが存在する。これは、量子化の際に、ＤＣＴ係数の周波数成分毎に量子化ステップの倍率を設定するための仕組みである。この仕組みにより量子化パラメータが３０より小さい場合でも、ｗｅｉｇｈｔＳｃａｌｅを大きくすると量子化パラメータを３６とした場合の量子化スケールを用いて量子化を行うことができる。Ｈ．２６４では量子化パラメータが６大きくなると量子化ステップが２倍になるように設計されている。このことから、量子化パラメータが３０の場合でもｗｅｉｇｈｔＳｃａｌｅを２倍に設定すると量子化パラメータが３６のときの量子化ステップとすることができる。本来ｗｅｉｇｈｔＳｃａｌｅは、量子化ステップをＤＣＴ係数の周波数成分毎に変更し、特定の周波数成分の係数を量子化により保護し、主観画質を向上するために導入された。本発明では、この仕組みを転用することで、デブロックフィルタの強度設定の範囲を拡大する。次に、このことを簡略化した式で再度説明する。Ｈ．２６４では量子化パラメータが６大きくなると量子化ステップが２倍になるように設計されているので、量子化パラメータを量子化ステップに変換する関数は次のように示せる。

Ｑｓｔｅｐ（ＱＰ）＝ｗｅｉｇｈｔＳｃａｌｅ×ｃｏｎｓｔ×２＾（（ＱＰ−ＱＰ％６）／６）

ここで、ｗｅｉｇｈｔＳｃａｌｅは量子化ステップの倍率、ｃｏｎｓｔは定数、ＱＰ％６はＱＰを６で割った余りを示す。

上記の式にしたがうとｗｅｉｇｈｔＳｃａｌｅ＝２の場合のＱｓｔｅｐ（３０）は、
Ｑｓｔｅｐ（３０）＝２×ｃｏｎｓｔ×２＾（（３０−３０％６）／６）＝２×ｃｏｎｓｔ×２＾５＝ｃｏｎｓｔ×２＾６
となる。

また、ｗｅｉｇｈｔＳｃａｌｅ＝１の場合のＱｓｔｅｐ（３６）は、
Ｑｓｔｅｐ（３６）＝１×ｃｏｎｓｔ×２＾（（３６−３６％６）／６）＝ｃｏｎｓｔ×２＾６
となり、ｗｅｉｇｈｔＳｃａｌｅ＝２の場合のＱｓｔｅｐ（３０）とｗｅｉｇｈｔＳｃａｌｅ＝１の場合のＱｓｔｅｐ（３６）は等しくなる。

これを利用すると、ＱＰ３６で符号化したい場合、量子化パラメータが３０から４２までの各ＱＰに対応する初期フィルタ強度しか設定できなかったのに対して、ｗｅｉｇｈｔＳｃａｌｅ＝２、ＱＰ３０とすることで、量子化パラメータが２４から３６までの各ＱＰに対応する初期フィルタ強度が可能となる。同様にｗｅｉｇｈｔＳｃａｌｅ＝１／２、ＱＰ３６とすることで、量子化パラメータが３０から４２までの各ＱＰに対応する初期フィルタ強度が可能となる。

つまり、ｗｅｉｇｈｔＳｃａｌｅを変更することで実質的な量子化パラメータ３０に相当する量子化ステップ値に保ったまま、見かけのＱＰ（符号化される量子化パラメータ）を変更することができ、規格を満たしたまま、より広くフィルタ強度を設定できることになる。

デブロックフィルタの強度算出部１０３により決定されたフィルタ強度α、βにより、フィルタ強度調節部１０８で量子化マトリックス、量子化パラメータ、ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢを決定し、量子化部で量子化及び、デブロックフィルタ部でデブロックフィルタを実施する。α、βがＨ．２６４エンコーダで決定された量子化パラメータとＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢで設定可能な範囲であれば、Ｈ．２６４エンコーダ１０２は、α、βと量子化パラメータできまるＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢを符号化する。設定可能な範囲を超えていた場合は、予め作成しておいたα、βから量子化パラメータと量子化マトリックスを決定するテーブルの量子化パラメータと量子化マトリックスの値を用いて符号化する。同じフィルタ強度を設定する量子化パラメータと量子化マトリックスの組み合わせは多数存在し、図示したテーブルに限定されるものではない。しかし、その組み合わせは量子化パラメータと直前のＭＢの量子化パラメーとの差がもっと小さいことが規格の性質上望ましい。それは、量子化パラメータは、前マクロブロックの差分値として符号化されるためである。フィルタ強度調節部１０８は、前記フィルタ強度に対応する量子化パラメータが第２符号化方式の規格で定められた値の範囲を越える場合、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分が最小となるように前記量子化パラメータを選択する前記フィルタ強度調節手段の一例である。また、Ｈ．２６４エンコーダ１０２は、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分を符号化する前記符号化手段の一例である。図７は、実質的な量子化パラメータが３０である場合のｗｅｉｇｈｔＳｃａｌｅとフィルタ強度との関係を示す図である。同図では、この場合の見かけの量子化パラメータとｗｅｉｇｈｔＳｃａｌｅの組み合わせとその際の強度αを示している。実質的な量子化パラメータを３０に保ったまま、デブロックフィルタを図６に示した規格の初期値より弱く掛けたい場合は、見かけの量子化パラメータが２４、１８、１２の位置のｗｅｉｇｈｔＳｃａｌｅを利用すればよい。この場合、利用されるｗｅｉｇｈｔＳｃａｌｅに対応した見かけの量子化パラメータの値（２４、１８、１２のいずれか）が符号化される。このようにすることで、フィルタ強度調節部１０８は、実質的な量子化パラメータを３０に保ったまま、量子化パラメータが２４、１８、１２に対応する強度αでデブロックフィルタをかけることができる。加えて、ＦｉｌｔｅｒＯｆｆｓｅｔＡを設定することで、より細かくフィルタ強度を調整できる。デブロックフィルタを図６に示した規格の初期値より強く掛けたい場合の説明は同様の原理で実施できるのでここでは、省略する。

なお、ブロック図（図１、図２及び図４など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明は、異なる機器間での動画像データの相互運用などに適用でき、特にテレビ電話を行う携帯電話機、ハイビジョン放送などの高解像度画像の長時間録画などを行うＨＤＤレコーダ、ＤＶＤレコーダ等に適用できる。

第１の画像圧縮符号化方式を第２の画像圧縮符号化方式に変換する符号化方式変換装置の概略的構成を示すブロック図である。図１に示した符号化方式変換装置に、さらに、デブロックフィルタ処理を施す位置を決定する処理部を備えた符号化方式変換装置の構成を示すブロック図である。（ａ）は、デブロックフィルタ位置決定部が復号情報解析部から取得したＨ．２６４のデブロックフィルタ位置に応じて、デブロックフィルタ処理を行う場合のデブロックフィルタ位置の一例を示す図である。（ｂ）は、デブロックフィルタ位置決定部が復号情報解析部から得られる第１の動画像データのブロック境界と、Ｈ．２６４エンコーダから得られる第２の動画像データのブロック境界とから決定するデブロックフィルタ位置の一例を示す図である。図１に示した復号情報解析部のより詳細な構成を示すブロック図である。（ａ）は、イントラＭＢ数フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。（ｂ）は、符号化領域タイプフィルタ強度評価値生成部３２３が保持するフィルタ強度評価値対応表の一例を示す図である。（ｃ）は、符号量フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。（ｄ）は、符号量フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。（ｅ）は、動きベクトルフィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。（ｆ）は、フィルタ強度決定器が保持する対応表の一例を示す図である。ＩＮＤＥＸとフィルタ強度αとの対応を示すテーブルである。実質的な量子化パラメータが３０である場合のｗｅｉｇｈｔＳｃａｌｅとフィルタ強度との関係を示す図である。

符号の説明

１０１Ｈ．２６４デコーダ
１０２Ｈ．２６４エンコーダ
１０３デブロックフィルタの強度算出部
１０４デブロックフィルタ
１０５復号情報解析部
１０６符号情報解析部
１０７量子化部
１０８フィルタ強度調節部
１０９デブロックフィルタ位置決定部
３２０イントラＭＢ数フィルタ強度評価値生成部
３２１符号量フィルタ強度評価値生成部
３２２動きベクトルフィルタ強度評価値生成部
３２３符号化領域タイプフィルタ強度評価値生成部

Claims

第１符号化方式で符号化された第１符号化データを、第２符号化データに変換する符号化方式変換装置であって、
前記第１符号化データを復号化する復号化手段と、
前記第１符号化データに適用された直交変換サイズと、復号化後の前記第１符号化データを前記第２符号化データに再符号化する際に適用する直交変換サイズのうち、小さい方のブロック境界を、デブロックフィルタ処理する前記ブロック境界として決定するデブロックフィルタ位置決定部と、
前記決定したデブロックフィルタ位置にデブロックフィルタ処理を施し、復号化後の前記第１符号化データを符号化する符号化部と、
を備えることを特徴とする符号化方式変換装置。