JPWO2010140308A1

JPWO2010140308A1 - 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法

Info

Publication number: JPWO2010140308A1
Application number: JP2011518233A
Authority: JP
Inventors: 村上　智一; 智一村上; 昌史高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-06-02
Filing date: 2010-05-18
Publication date: 2012-11-15
Anticipated expiration: 2030-05-18
Also published as: WO2010140308A1; JP5181059B2

Abstract

画像符号化装置１は、入力画像を符号化する画像符号化部１２と、符号化した画像を復号化して復号画像を得る画像復号化部１３と、復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成部１４と、入力画像と復号画像との差分から補正情報を生成する補正情報生成部１５と、補正情報をパターン画像のパターン情報と対応付けたルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成部１６と、ＬＵＴを符号化するＬＵＴ符号化部１７を備える。これにより、符号化処理で生じたノイズを好適に除去し、高画質の画像を復元する。

Description

本発明は、高画質に画像を符号化及び復号化するための画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法に関する。

画像、音声情報をデジタルデータ化して記録、伝達する手法として、ＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格等が定められている。

また、ルックアップテーブル（ＬＵＴ）を用いた画像処理によって、画像を変換したり圧縮したりする技術が提案されている。例えば特許文献１の技術は、カラールックアップテーブル（ＣＬＵＴ）を用いてカラー画像を符号化し、ＣＬＵＴを用いてカラー画像を復元するものである。また非特許文献１の技術は、ＬＵＴを用いてハーフトーン画像からグレースケール画像を合成するものである。

特開２０００−２４４７４５号公報

M. Mese and P. Vaidyanathan: "Look-Up Table (LUT) Method for Inverse Halftoning", IEEE Transactions on Image Processing, Vol.10, No.10, pp.1566-1578, (2001)

一般に、符号化装置によって画像を圧縮すると、ブロックノイズ、モスキートノイズと呼ばれる符号化処理によって生じる特有のノイズが付加され、画質劣化の一因となっている。これらのノイズを除去するために様々なポストフィルタが開発されているが、単純にフィルタのみを用いても画質の向上には限界がある。

前記特許文献１や非特許文献１では、画像データをＬＵＴの値で置換するものであるが、それにより画像データの補正を行うものではなく、よって符号化画像の画質を向上させることはできない。

本発明は、上記課題に鑑みて為されたものであり、その目的は、符号化処理で生じたノイズを好適に除去し、高画質の画像を復元する技術を提供することにある。

本発明による画像符号化装置は、入力画像を符号化する画像符号化部と、符号化した画像を復号化して復号画像を得る画像復号化部と、復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成部と、入力画像と復号画像との差分から補正情報を生成する補正情報生成部と、補正情報をパターン画像のパターン情報と対応付けたルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成部と、ＬＵＴを符号化するＬＵＴ符号化部を備える。

本発明による画像復号化装置は、画像データを復号化して復号画像を得る画像復号化部と、復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成部と、符号化ストリームからパターン情報と補正情報が対応付けて記述されたルックアップテーブル（ＬＵＴ）を復号化するＬＵＴ復号化部と、復号化されたＬＵＴからパターン画像のパターン情報に対応する補正情報を取得して復号画像を補正する画像補正部を備える。

本発明による画像符号化方法は、入力画像を符号化する画像符号化ステップと、符号化した画像を復号化して復号画像を得る画像復号化ステップと、復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成ステップと、入力画像と復号画像との差分から補正情報を生成する補正情報生成ステップと、補正情報をパターン画像のパターン情報と対応付けたルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成ステップと、ＬＵＴを符号化するＬＵＴ符号化ステップを備える。

本発明による画像復号化方法は、画像データを復号化して復号画像を得る画像復号化ステップと、復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成ステップと、符号化ストリームからパターン情報と補正情報が対応付けて記述されたルックアップテーブル（ＬＵＴ）を復号化するＬＵＴ復号化ステップと、復号化されたＬＵＴからパターン画像のパターン情報に対応する補正情報を取得して復号画像を補正する画像補正ステップを備える。

本発明によれば、画像符号化時のノイズを好適に除去し高画質な画像を復元することができる。

本発明の第１の実施例に係る画像符号化装置の構成を示す図。第１の実施例におけるＬＵＴ生成処理を詳細に説明する図。第１の実施例における画像符号化処理の流れを示すフローチャート図。本発明の第２の実施例に係る画像復号化装置の構成を示す図。第２の実施例における画像補正処理を詳細に説明する図。第２の実施例における画像復号化処理の流れを示すフローチャート図。第３の実施例におけるＬＵＴ生成処理を説明する図。第３の実施例における画像補正処理を説明する図。第４の実施例に係る画像符号化装置の構成を示す図。第４の実施例におけるＬＵＴ生成方法を詳細に説明する図。第４の実施例に係る画像復号化装置の構成を示す図。第４の実施例における画像補正処理を詳細に説明する図。第５の実施例に係る画像符号化装置の構成を示す図。第５の実施例におけるＬＵＴ生成方法を詳細に説明する図。第５の実施例に係る画像復号化装置の構成を示す図。第５の実施例における画像補正処理を詳細に説明する図。

以下、本発明の各実施例を、図面を参照して説明する。

図１は、本発明の第１の実施例に係る画像符号化装置の構成を示す図である。画像符号化装置１は、画像を入力する画像入力部１１と、入力画像を符号化し符号化ストリームを生成する画像符号化部１２と、符号化ストリームを復号化する画像復号化部１３と、復号画像からパターン画像を生成するパターン画像生成部１４と、入力画像と復号画像から補正情報を生成する補正情報生成部１５と、補正情報とパターン画像からルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成部１６と、ＬＵＴを符号化するＬＵＴ符号化部１７と、画像の符号化ストリームと符号化されたＬＵＴを統合する符号統合部１８を備える。

各部の動作を説明する。画像入力部１１は入力された画像を保持し、画像符号化部１２に渡す。画像符号化部１２は画像の符号化を行う。これにはＨ．２６４／ＡＶＣ等、既存の国際標準符号化方式を用いればよい。画像の符号化ストリームは、画像復号化部１３と符号統合部１８に渡される。画像復号化部１３は符号化ストリームを復号化して復号画像を生成する。これは符号化器（エンコーダ）における内部デコーダと同様の動作である。復号画像はパターン画像生成部１４と補正情報生成部１５に渡される。

パターン画像生成部１４は復号画像からパターン画像を生成する。パターン画像とは、復号画像を変換し局所的な画像特徴を少ない情報量のパターン情報で表現した画像である。例えば、２値画像や階調数を削減した画像、カラーパレットによって変換された画像等が相当する。以下では、誤差拡散法（Error Diffusion）によって生成された２値画像を例として説明する。生成されたパターン画像の情報はＬＵＴ生成部１６に渡される。

補正情報生成部１５は、入力画像（原画像）と復号画像から補正情報を生成する。補正情報とは、復号画像の画像データを補正し高画質化するための情報であり、これにより符号化処理に伴うノイズを除去するものである。以下では、補正情報として、画素単位で入力画像と復号画像の差分値を用いる場合を説明する。位置（ｘ，ｙ）の入力画像の画素値をＶｉ（ｘ，ｙ）、復号画像の画素値をＶｄ（ｘ，ｙ）とすると、補正情報（差分値）Ｖｃ（ｘ，ｙ）は、
Ｖｃ（ｘ，ｙ）＝Ｖｉ（ｘ，ｙ）−Ｖｄ（ｘ，ｙ）（１）
で求められる。なお、補正情報は入力画像の画素値Ｖｉ（ｘ，ｙ）そのものとしても良いし、差分値Ｖｃ（ｘ，ｙ）をいくつかの画素のまとまり毎に周波数変換したものでも良い。周波数変換には、例えばＤＣＴ（Discrete Cosine Transform）やウェーブレット変換等を用いる。生成された補正情報はＬＵＴ生成部１０６に渡される。

ＬＵＴ生成部１６は、任意の画素のまとまり毎にパターン情報と補正情報を処理し、ＬＵＴを生成する。ＬＵＴでは、様々なパターン情報に対して補正情報が記述される。ＬＵＴは画像１フレームに対して１つ作成してもよいし、複数のフレームをまとめて１つのＬＵＴを作成してもよい。複数フレームのＬＵＴをまとめると１枚あたりのＬＵＴサイズを小さくすることができる。ＬＵＴ生成処理の詳細については後述する。

ＬＵＴ符号化部１７はＬＵＴを符号化する。符号化には既存のハフマン符号化や算術符号化等を用いる。符号化されたＬＵＴは符号統合部１８に渡される。符号統合部１８は、画像の符号化ストリームと符号化されたＬＵＴを統合し、１つのストリームとして出力し伝送する。なお、画像の符号化ストリームと符号化されたＬＵＴとを別々に伝送しても良い。

このように、本実施例の画像符号化装置１では、復号画像を高画質化するための補正情報を生成してＬＵＴに記述し、これを符号化して伝送する。そのときＬＵＴには、補正情報とパターン情報とを対応付けて記述する。これは、画像の圧縮符号化処理時に発生する誤差（ノイズ）は、処理対象の画像パターンと相関があるとの知見によるものである。よって、画像復号化側では伝送されたＬＵＴを参照し、パターン情報に応じて必要な補正情報を取得することができる。

図２は、ＬＵＴ生成部１６によるＬＵＴ生成処理を詳細に説明する図である。ＬＵＴ１０５は、原画像（入力画像）１０１と復号画像１０２から求めた補正情報（差分値）Ｖｃと、パターン画像１０３から求めたパターン情報Ｐとから生成する。ここでは、画素単位で１画面を処理し、１画面に対して１つのＬＵＴ１０５を生成する例について説明する。

現在の処理対象位置を（ｘ，ｙ）とし、原画像１０１と復号画像１０２の画素値をそれぞれＶｉ（ｘ，ｙ）、Ｖｄ（ｘ，ｙ）とする。補正情報Ｖｃ（ｘ，ｙ）は前記（１）式で求める。

一方パターン画像１０３は、復号画像１０２を誤差拡散処理して２値化して生成する。パターン画像１０３に対して、符号１０４に示すような例えば４×４画素のテンプレートを用意する。テンプレート１０４の形状やサイズは任意でよいが、サイズが大きいほど補正精度が高くなる。処理対象画素位置を星印＊で示すと、これを囲むテンプレート１０４内の４×４画素の２値化パターンを求める。具体的には、黒画素を「１」ビット、白画素を「０」ビットとして、左上から右下にラスタスキャン順にビット列を読み取る。そして、読み取ったビット列を４ビットを１桁とする１６進数で表示して、パターン情報Ｐとする。この例では、パターン情報Ｐは、「０ｘ４８５Ａ」となる。

ＬＵＴ１０５には、前記求めた補正情報Ｖｃとパターン情報Ｐとを対応させて登録する。この例では、パターン情報Ｐ＝「０ｘ４８５Ａ」に対して補正情報Ｖｃ＝＋３を登録している。１つの画素について処理が終了したら、次の処理画素に移動し、同様に補正情報Ｖｃとパターン情報Ｐを求めて登録する。１つのパターン情報Ｐに対して異なる補正情報Ｖｃが候補として挙がった場合には、統計処理により最適値を決定する。その評価法としては、例えば、各パターンＰについて補正情報Ｖｃの範囲をＲｖ＝−１６〜１５までとした時、補正情報の候補Ｖｘに対する評価値を、
Ｅ（Ｒｖ）＝｜Ｖｘ｜−｜Ｒｖ−Ｖｘ｜
として投票し、Ｅ（Ｒｖ）が正で、かつ最大のものを選べば良い。
このようにＬＵＴ１０５には、補正情報がパターン情報に対応付けて記述されているので、少ないデータ量で効率良く伝送することができる。

図３は、本実施例における画像符号化処理の流れを示すフローチャート図である。
ステップＳ３０１において、画像入力部１１に原画像を入力する。
ステップＳ３０２において、画像符号化部１２は入力した画像を符号化し、符号統合部１８と画像復号化部１３に渡す。

ステップＳ３０３において、画像復号化部１３はＳ３０２で符号化された画像を復号化する。
ステップＳ３０４において、パターン画像生成部１４はＳ３０３の復号画像からパターン画像を生成する。

ステップＳ３０５において、補正情報生成部１５は原画像と復号画像から補正情報を生成する。
ステップＳ３０６において、ＬＵＴ生成部１６は補正情報とパターン画像のパターン情報からＬＵＴを生成する。

ステップＳ３０７において、ＬＵＴ符号化部１７はＬＵＴを符号化する。
ステップＳ３０８において、符号統合部１８は符号化した画像とＬＵＴを統合した符号
化ストリームを出力する。
以上により、ＬＵＴ生成を含めた画像符号化処理を終了する。

図４は、本発明の第２の実施例に係る画像復号化装置の構成を示す図である。画像復号化装置２は、符号化ストリームを受信し画像データとＬＵＴに分離する符号分離部２１と、画像データを復号化する画像復号化部２２と、復号画像からパターン画像を生成するパターン画像生成部２３と、ＬＵＴを復号化するＬＵＴ復号化部２４と、ＬＵＴとパターン画像を用いて復号画像を補正する画像補正部２５と、補正された画像を出力する画像出力部２６を備える。なお、画像復号化部２２とパターン画像生成部２３は、前記図１（画像符号化装置）の画像復号化部１３とパターン画像生成部１４に相当する。

各部の動作を説明する。符号分離部２１は符号化ストリームを受信し、符号化された画像データと符号化されたＬＵＴを分離して、それぞれ画像復号化部２２とＬＵＴ復号化部２４に渡す。画像復号化部２２は画像データを復号化して復号画像を生成する。復号画像はパターン画像生成部２３と画像補正部２５に渡される。

パターン画像生成部２３は復号画像からパターン画像を生成する。パターン画像については前述と同様である。ＬＵＴ復号化部２４は符号化されたＬＵＴを復号化してＬＵＴを取得し、これを画像補正部２５に渡す。画像補正部２５はパターン画像のパターン情報とＬＵＴの補正情報を用いて復号画像を補正する。位置（ｘ，ｙ）の復号画像の画素値をＶｄ（ｘ，ｙ）、ＬＵＴに記述されたパターン情報Ｐに対応する補正情報（差分値）をＶｃ（Ｐ）とすると、出力画像の画素値Ｖｏ（ｘ，ｙ）は、
Ｖｏ（ｘ，ｙ）＝Ｖｄ（ｘ，ｙ）＋Ｖｃ（Ｐ）（２）
と補正される。画像補正処理の詳細は後述する。画像出力部２６は補正された画像を出力する。
このように本実施例の画像復号装置２では、伝送されたＬＵＴを参照して復号画像を補正し高画質の画像を復元することができる。

図５は、画像補正部２５による画像補正処理を詳細に説明する図である。画像補正処理では、復号画像２０１に対し、そのパターン画像２０２とＬＵＴ２０５の補正情報Ｖｃを用いて補正し、補正画像２０３を生成する。

パターン画像２０２の処理対象位置（ｘ，ｙ）に対して、ＬＵＴ作成時と同様にテンプレート２０４を用いてパターン情報Ｐを求める。ここではＰ＝「０ｘ４８５Ａ」を得る。また伝送されたＬＵＴ２０５を参照し、Ｐ＝「０ｘ４８５Ａ」に対応する補正情報Ｖｃ＝＋３を取得する。

補正演算は前記（２）式による。補正画像２０３の画素値Ｖｏ（ｘ，ｙ）は、対応する復号画像２０１の画素値Ｖｄ（ｘ，ｙ）に補正情報Ｖｃ＝＋３を加算して、
Ｖｏ（ｘ，ｙ）＝Ｖｄ（ｘ，ｙ）＋３
として求める。上記処理を対象画素位置を移動しながら画面全体に対して行う。

このように、画像補正処理においては対象画像のパターン情報を手掛かりにＬＵＴから補正情報を取得する。そのとき、符号化時と同様の手法でパターン画像を生成し、同一のテンプレートを使用してパターン情報を求めるので、符号化時のパターン情報をよく再現し、精度の高い補正が可能となる。

図６は、本実施例における画像復号化処理の流れを示すフローチャート図である。
ステップＳ４０１において、符号化ストリームを入力し、符号分離部２１は符号化された画像とＬＵＴに分離する。
ステップＳ４０２において、画像復号化部２２は符号化された画像を復号化する。

ステップＳ４０３において、ＬＵＴ復号化部２４は符号化されたＬＵＴを復号化する。
ステップＳ４０４において、パターン画像生成部２３はＳ４０２の復号画像からパターン画像を生成する。

ステップＳ４０５において、画像補正部２５は、パターン画像のパターン情報とＬＵＴの補正情報とを用いて復号画像を補正する。
ステップＳ４０６において、画像出力部２６は補正された画像を出力する。
以上により、画像補正を含めた画像復号化処理を終了する。

前記実施例１，２の画像処理では、画素単位で１画面を処理していたが、第３の実施例ではブロック単位で処理を行う。すなわち、ブロック単位で補正情報を求め、ブロック単位で画像補正を行うものである。なお、画像符号化装置と画像復号化装置の基本構成は、実施例１，２（図１，図４）と同様である。

図７は、第３の実施例におけるＬＵＴ生成部１６のＬＵＴ生成処理を説明する図である。以下では、４×４画素のブロックを単位として処理する。
現在の処理ブロックがｋ番目のブロックで、ブロック内位置を（ｕ，ｖ）とした時、原画像１１１のブロック内画素値をＶｉ＿ｋ（ｕ，ｖ）、復号画像１１２のブロック内画素値をＶｄ＿ｋ（ｕ，ｖ）とする。ここで各（ｕ，ｖ）について差分をとり、差分ブロックＶｃ＿ｋ（ｕ，ｖ）を
Ｖｃ＿ｋ（ｕ，ｖ）＝Ｖｉ＿ｋ（ｕ，ｖ）−Ｖｄ＿ｋ（ｕ，ｖ）
として求める。この差分ブロックＶｃ＿ｋ（ｕ，ｖ）に対して、４×４のＤＣＴによる周波数変換と量子化を行って、このブロックｋに対する補正情報Ｖｃ’とする。その結果、補正情報Ｖｃ’にはＤＣ成分と複数のＡＣ成分が含まれるが、ＡＣ成分の一部あるいは全部を削除してデータ量を削減しても良い。

一方、パターン画像１１３に対してブロックと同サイズのテンプレート１１４を用意して、前記実施例１と同様に対象ブロックｋのパターン情報Ｐを求める。
ＬＵＴ１１５には、前記求めた補正情報Ｖｃ’とパターン情報Ｐとを対応させて登録する。この例では、パターン情報Ｐ＝「０ｘ４８５Ａ」に対して補正情報Ｖｃ’＝＋３（ＤＣ成分のみ）を登録している。この処理をブロック単位で画面全体に対して行う。１つのパターン情報Ｐに対して異なる補正情報Ｖｃ’が候補として挙がった場合には、前記実施例１と同様の処理を行い最適値を決定する。

このようにＬＵＴ１１５には、ブロック単位の補正情報が、ブロック単位のパターン情報に対応付けて記述される。よって、実施例１の画素単位で処理する場合に比べて、ＬＵＴ生成処理の処理時間が短縮され、またＬＵＴ１１５のデータ量がより低減する。

図８は、第３の実施例における画像補正部２５の画像補正処理を説明する図である。ここでも、４×４画素のブロック単位で処理する。
パターン画像２１２の処理対象のｋ番目のブロックについて、テンプレート２１４を用いてパターン情報Ｐを求める。ここではＰ＝「０ｘ４８５Ａ」を得る。また受信したＬＵＴ２１５を参照し、Ｐ＝「０ｘ４８５Ａ」に対応する補正情報Ｖｃ’を取得する。この例では補正情報Ｖｃ’＝＋３でＤＣ成分のみであるが、ＡＣ成分を含むときには、補正情報Ｖｃ’を逆変換（逆量子化と逆ＤＣＴによる周波数変換）することによって、補正用の差分ブロックＶｃ（ｕ，ｖ）を復元する。

補正演算では、ｋ番目の処理ブロックにおける復号画像２１１の画素値Ｖｄ＿ｋ（ｕ，ｖ）に対し、補正用の差分ブロックＶｃ（ｕ，ｖ）の値を各位置で加算し、対応する補正画像２１３のｋ番目の処理ブロックにおける画素値Ｖｏ＿ｋ（ｕ，ｖ）を求める。その演算式は、
Ｖｏ＿ｋ（ｕ，ｖ）＝Ｖｄ＿ｋ（ｕ，ｖ）＋Ｖｃ（ｕ，ｖ）
となる。補正情報Ｖｃ’がＤＣ成分（この例では＋３）のみの場合は、Ｖｃ（ｕ，ｖ）＝＋３として求める。当然ながら、補正情報Ｖｃ’がＤＣ成分のみの場合は、ブロック内の各画素値は一様な値だけ補正される。上記処理をブロック単位で画面全体に対して行う。

第４の実施例は、画像を縮小して符号化及び復号化する場合である。
図９は、第４の実施例に係る画像符号化装置の構成を示す図である。画像符号化装置３は、画像を入力する画像入力部１１と、入力画像を縮小する画像縮小部３１と、縮小画像を符号化し符号化ストリームを生成する画像符号化部１２と、符号化ストリームを復号化する画像復号化部１３と、復号画像を拡大する画像拡大部３２と、拡大復号画像からパターン画像を生成するパターン画像生成部１４と、入力画像と拡大復号画像から補正情報を生成する補正情報生成部１５と、補正情報とパターン画像からＬＵＴを生成するＬＵＴ生成部１６と、ＬＵＴを符号化するＬＵＴ符号化部１７と、画像の符号化ストリームと符号化されたＬＵＴを統合する符号統合部１８を備える。

本実施例は、前記実施例１（図１）の構成に、画像縮小部３１と画像拡大部３２を追加したものである。入力画像を画像縮小部３１で一旦縮小してから符号化し、縮小画像の状態で伝送するので画像の符号量を削減できる。補正情報の生成は、縮小された復号画像を画像拡大部３２にて拡大し、原画像と同サイズにして比較する。ＬＵＴ生成処理は実施例１（図２）と同様に次のように行う。

図１０は、第４の実施例におけるＬＵＴ生成方法を詳細に説明する図である。本実施例では、縮小された復号画像１２２を元のサイズの拡大復号画像１２２ｅに拡大し、原画像１２１と比較して補正情報を求める。原画像１２１と拡大復号画像１２２ｅの画素値をそれぞれＶｉ（ｘ，ｙ）、Ｖｄｅ（ｘ，ｙ）とすると、補正情報Ｖｃ（ｘ，ｙ）は、
Ｖｃ（ｘ，ｙ）＝Ｖｉ（ｘ，ｙ）−Ｖｄｅ（ｘ，ｙ）
となる。一方パターン情報Ｐは、拡大復号画像１２２ｅから拡大されたパターン画像１２３ｅを生成してテンプレート１２４を用いて取得する。ＬＵＴ１２５には、パターン情報Ｐと補正情報Ｖｃを記述する。

図１１は、第４の実施例に係る画像復号化装置の構成を示す図である。画像復号装置４は、符号化ストリームを受信し画像データとＬＵＴに分離する符号分離部２１と、画像データを復号化する画像復号化部２２と、復号画像を元のサイズに拡大する画像拡大部４１と、拡大復号画像からパターン画像を生成するパターン画像生成部２３と、ＬＵＴを復号化するＬＵＴ復号化部２４と、ＬＵＴとパターン画像を用いて拡大復号画像を補正する画像補正部２５と、補正された画像を出力する画像出力部２６を備える。

本実施例は、実施例２（図４）の構成に、画像拡大部４１を追加したものである。画像拡大部４１は、図９の画像符号化装置３から伝送される縮小画像を元のサイズに拡大する。画像補正処理は実施例２（図５）と同様に次のように行う。

図１２は、第４の実施例における画像補正処理を詳細に説明する図である。本実施例では、復号画像２２１を拡大復号画像２２１ｅに拡大し、パターン画像２２２ｅを生成してパターン情報Ｐを求める。一方受信したＬＵＴ２２５を参照し、パターン情報Ｐに対応する補正情報Ｖｃ（Ｐ）を取得する。拡大復号画像２２１ｅの画素値Ｖｄｅ（ｘ，ｙ）と補正情報Ｖｃ（Ｐ）を用いて、補正画像２２３の画素値Ｖｏ（ｘ，ｙ）は、
Ｖｏ（ｘ，ｙ）＝Ｖｄｅ（ｘ，ｙ）＋Ｖｃ（Ｐ）
として求める。

このように、ＬＵＴ１２５，２２５には原画像の各画素位置での補正情報を記述されているので、伝送する画像が縮小されていても復号化側では画像拡大後の各画素について補正することができる。
実施例４によれば、符号化画像の符号量を削減できるとともに、画像を高画質に復元することができる。

第５の実施例も、実施例４と同様に画像を縮小して符号化及び復号化するが、ＬＵＴ生成と画像補正処理においては、復号画像やパターン画像が縮小された状態で取り扱う場合である。

図１３は、第５の実施例に係る画像符号化装置の構成を示す図である。画像符号化装置５は、画像を入力する画像入力部１１と、入力画像を縮小する画像縮小部５１と、縮小画像を符号化し符号化ストリームを生成する画像符号化部１２と、符号化ストリームを復号化する画像復号化部１３と、復号画像から縮小されたパターン画像を生成するパターン画像生成部１４と、入力画像と縮小された復号画像から補正情報を生成する補正情報生成部１５と、補正情報とパターン画像からＬＵＴを生成するサイズ補正ＬＵＴ生成部５２と、ＬＵＴを符号化するＬＵＴ符号化部１７と、画像の符号化ストリームと符号化されたＬＵＴを統合する符号統合部１８を備える。

本実施例は、前記実施例４（図９）から画像拡大部３２を削除し、ＬＵＴ生成部１６をサイズ補正ＬＵＴ生成部５２として再構成したものである。本実施例では、補正情報とＬＵＴ生成において復号画像とパターン画像は縮小サイズで取り扱うが、補正情報は原画像のサイズの各画素に対応して生成する。

図１４は、サイズ補正ＬＵＴ生成部５２によるＬＵＴ生成方法を詳細に説明する図である。以下では画像の縮小は縦横それぞれ１／２とする。画像縮小には一般的なフィルタを用いる。

原画像１３１の現在の処理対象位置を（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１）の４点とし、その画素値をそれぞれＶｉ（ｘ，ｙ）〜Ｖｉ（ｘ＋１，ｙ＋１）とする。復号画像１３２は縦横１／２に縮小されているため、対応する処理対象位置は（ｘ／２，ｙ／２）の１点でその画素値をＶｄ（ｘ／２，ｙ／２）とする。これより、４点の処理対象位置（ｘ，ｙ）〜（ｘ＋１，ｙ＋１）における補正情報Ｖｃ（ｘ，ｙ）〜Ｖｃ（ｘ＋１，ｙ＋１）は、
Ｖｃ（ｘ，ｙ）＝Ｖｉ（ｘ，ｙ）−Ｖｄ（ｘ／２，ｙ／２）
Ｖｃ（ｘ＋１，ｙ）＝Ｖｉ（ｘ＋１，ｙ）−Ｖｄ（ｘ／２，ｙ／２）
Ｖｃ（ｘ，ｙ＋１）＝Ｖｉ（ｘ，ｙ＋１）−Ｖｄ（ｘ／２，ｙ／２）
Ｖｃ（ｘ＋１，ｙ＋１）＝Ｖｉ（ｘ＋１，ｙ＋１）−Ｖｄ（ｘ／２，ｙ／２）
となる。

一方パターン画像１３３は、復号画像１３２と同じサイズに縮小されている。復号画像１３２の処理対象位置（ｘ／２，ｙ／２）をテンプレート１３４における星印＊として、パターン情報Ｐを求める。この場合、１個のパターン情報Ｐに対して上記４個の補正情報Ｖｃが対応する。すなわち、原画像１３１における処理対称位置（ｘ，ｙ）〜（ｘ＋１，ｙ＋１）は、星印＊を囲むＡ，Ｂ，Ｃ，Ｄの位置に対応するので、各位置の補正情報を［Ａ］［Ｂ］［Ｃ］［Ｄ］で区別する。

その結果ＬＵＴ１３５には、例えばパターン情報Ｐ＝「０ｘ４８５Ａ」であった場合には、これを４通り「０ｘ４８５Ａ［Ａ］」〜「０ｘ４８５Ａ［Ｄ］」に区分し、前記求めた各補正情報Ｖｃ（ｘ，ｙ）〜Ｖｃ（ｘ＋１，ｙ＋１）を記述する。同じパターンに対して異なる補正情報が候補として挙がった場合は、前記実施例と同様に処理する。
このように、ＬＵＴ１３５には原画像の各画素位置での補正情報を記述しているので、伝送する画像が縮小されていても復号化側では高画質に復元することができる。

図１５は、第５の実施例に係る画像復号化装置の構成を示す図である。画像復号化装置６は、符号化ストリームを受信し画像データとＬＵＴに分離する符号分離部２１と、画像データを復号化する画像復号化部２２と、復号画像からパターン画像を生成するパターン画像生成部２３と、ＬＵＴを復号化するＬＵＴ復号化部２４と、ＬＵＴとパターン画像を用いて縮小された復号画像を拡大しながら補正する画像拡大補正部６１と、補正された画像を出力する画像出力部２６を備える。
本実施例は、実施例４（図１１）から画像拡大部４１を削除し、画像補正部２５を画像拡大補正部６１として再構成したものである。

図１６は、画像拡大補正部６１による画像補正処理を詳細に説明する図である。本実施例では、復号画像２３１から縮小されたパターン画像２３２を生成し、パターン情報Ｐを求める。一方受信したＬＵＴ２３５を参照して、パターン情報Ｐに対応する補正情報Ｖｃ（Ｐ）を取得する。このとき、復号画像２３１とパターン画像２３２の処理対象位置（ｘ／２，ｙ／２）は、補正画像２３３の４点の処理対象位置（ｘ，ｙ）〜（ｘ＋１，ｙ＋１）に対応し、ＬＵＴ２３５には４通りの補正情報Ｖｃが［Ａ］［Ｂ］［Ｃ］［Ｄ］で区別して記述されている。例えば、パターン情報Ｐ＝「０ｘ４８５Ａ」を得た場合、各処理対象位置での補正情報Ｖｃ（ｘ，ｙ）〜Ｖｃ（ｘ＋１，ｙ＋１）は、Ｐ＝「０ｘ４８５Ａ［Ａ］」〜「０ｘ４８５Ａ［Ｄ］」にそれぞれ対応している。

よって補正画像２３３の画素値Ｖｏ（ｘ，ｙ）〜Ｖｏ（ｘ＋１，ｙ＋１）は、復号画像の画素値Ｖｄ（ｘ／２，ｙ／２）を用いて、
Ｖｏ（ｘ，ｙ）＝Ｖｄ（ｘ／２，ｙ／２）＋Ｖｃ［Ａ］
Ｖｏ（ｘ＋１，ｙ）＝Ｖｄ（ｘ／２，ｙ／２）＋Ｖｃ［Ｂ］
Ｖｏ（ｘ，ｙ＋１）＝Ｖｄ（ｘ／２，ｙ／２）＋Ｖｃ［Ｃ］
Ｖｏ（ｘ＋１，ｙ＋１）＝Ｖｄ（ｘ／２，ｙ／２）＋Ｖｃ［Ｄ］
となる。

このように、ＬＵＴ１３５，２３５には原画像の各画素位置での補正情報を記述されているので、伝送する画像が縮小されていても復号化側では拡大後の各画素について補正することができる。また実施例５では、縮小画像に基づきＬＵＴを生成しているので、サイズを合わせるための画像拡大処理が不要となり構成が簡素化できる。

以上のように各実施例によれば、補正情報を記述したＬＵＴを用いることで、復号画像を高画質に補正することが可能となる。ＬＵＴではパターン画像のパターン情報に対応させて補正情報を記述しているので、データ量が低減し効率の良い符号化処理とすることができる。

以上説明した各実施例は、単独でも組み合わせても有効である。本発明に係る画像符号化技術と画像復号化技術は、画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラＴＶ、プロジェクタ、各種ディスプレイ、ゲーム機等の各種の映像処理装置に広く適用することができる。

１，３，５…画像符号化装置、２，４，６…画像復号化装置、１１…画像入力部、１２…画像符号化部、１３…画像復号化部、１４…パターン画像生成部、１５…補正情報生成部、１６…ＬＵＴ生成部、１７…ＬＵＴ符号化部、１８…符号統合部、２１…符号分離部、２２…画像復号化部、２３…パターン画像生成部、２４…ＬＵＴ復号化部、２５…画像補正部、２６…画像出力部、３１，５１…画像縮小部、３２，４１…画像拡大部、５２…サイズ補正ＬＵＴ生成部、６１…画像拡大補正部。

Claims

入力画像を符号化する画像符号化装置において、
前記入力画像を符号化する画像符号化部と、
符号化した画像を復号化して復号画像を得る画像復号化部と、
前記復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成部と、
前記入力画像と前記復号画像との差分から補正情報を生成する補正情報生成部と、
前記補正情報を前記パターン画像のパターン情報と対応付けたルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成部と、
前記ＬＵＴを符号化するＬＵＴ符号化部を備えることを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記補正情報生成部は、前記入力画像と前記復号画像との差分を所定のブロックを単位として求め、求めた差分ブロックを周波数変換して補正情報を生成し、
前記ＬＵＴ生成部は、前記補正情報を前記ブロックに対するパターン情報と対応付けてＬＵＴを生成することを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記入力画像を縮小する画像縮小部と、
前記画像復号化部からの縮小された復号画像を元のサイズに拡大する画像拡大部とを備え、
前記画像符号化部は縮小された画像を符号化するとともに、
前記パターン画像生成部と前記補正情報生成部は拡大された復号画像を用いて処理することを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記入力画像を縮小する画像縮小部を備え、
前記画像符号化部は縮小された画像を符号化するとともに、
前記補正情報生成部は、前記入力画像と縮小された前記復号画像との差分から前記入力画像の各画素に対する補正情報を生成し、
前記ＬＵＴ生成部は、前記補正情報を基に前記入力画像のサイズに補正したＬＵＴを生成することを特徴とする画像符号化装置。
画像データに補正情報が付加された符号化ストリームを復号化する画像復号化装置において、
前記画像データを復号化して復号画像を得る画像復号化部と、
前記復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成部と、
前記符号化ストリームからパターン情報と補正情報が対応付けて記述されたルックアップテーブル（ＬＵＴ）を復号化するＬＵＴ復号化部と、
前記復号化されたＬＵＴから前記パターン画像の前記パターン情報に対応する補正情報を取得して前記復号画像を補正する画像補正部を備えることを特徴とする画像復号化装置。
請求項５に記載の画像復号化装置において、
前記ＬＵＴには、所定のブロックを単位とする前記パターン情報と前記補正情報が記述され、該補正情報は差分ブロックが周波数変換されて記述されたものであって、
前記画像補正部は、前記ＬＵＴから取得した補正情報を逆周波数変換して補正用の差分ブロックとし、前記復号画像をブロック単位で補正することを特徴とする画像復号化装置。
請求項５に記載の画像復号化装置において、
前記符号化ストリームは画像サイズが縮小されたものであって、
前記画像復号化部からの縮小された復号画像を元のサイズに拡大する画像拡大部を備え、
前記パターン画像生成部と前記画像補正部は、前記拡大された復号画像を用いて処理することを特徴とする画像復号化装置。
請求項５に記載の画像復号化装置において、
前記符号化ストリームは画像サイズが縮小されたものであって、
前記パターン画像生成部は、縮小された前記復号画像から縮小された前記パターン画像を生成し、
前記画像補正部は、前記ＬＵＴから前記縮小されたパターン画像のパターン情報に対応し元のサイズの画像の各画素に対する補正情報を取得して、前記復号画像を拡大させながら補正することを特徴とする画像復号化装置。
入力画像を符号化する画像符号化方法において、
前記入力画像を符号化する画像符号化ステップと、
符号化した画像を復号化して復号画像を得る画像復号化ステップと、
前記復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成ステップと、
前記入力画像と前記復号画像との差分から補正情報を生成する補正情報生成ステップと、
前記補正情報を前記パターン画像のパターン情報と対応付けたルックアップテーブル（ＬＵＴ）を生成するＬＵＴ生成ステップと、
前記ＬＵＴを符号化するＬＵＴ符号化ステップを備えることを特徴とする画像符号化方法。
請求項９に記載の画像符号化方法において、
前記補正情報生成ステップでは、前記入力画像と前記復号画像との差分を所定のブロックを単位として求め、求めた差分ブロックを周波数変換して補正情報を生成し、
前記ＬＵＴ生成ステップでは、前記補正情報を前記ブロックに対するパターン情報と対応付けてＬＵＴを生成することを特徴とする画像符号化方法。
画像データに補正情報が付加された符号化ストリームを復号化する画像復号化方法において、
前記画像データを復号化して復号画像を得る画像復号化ステップと、
前記復号画像から画像特徴をパターン情報で表現したパターン画像を生成するパターン画像生成ステップと、
前記符号化ストリームからパターン情報と補正情報が対応付けて記述されたルックアップテーブル（ＬＵＴ）を復号化するＬＵＴ復号化ステップと、
前記復号化されたＬＵＴから前記パターン画像の前記パターン情報に対応する補正情報を取得して前記復号画像を補正する画像補正ステップを備えることを特徴とする画像復号化方法。
請求項１１に記載の画像復号化方法において、
前記ＬＵＴには、所定のブロックを単位とする前記パターン情報と前記補正情報が記述され、該補正情報は差分ブロックが周波数変換されて記述されたものであって、
前記画像補正ステップでは、前記ＬＵＴから取得した補正情報を逆周波数変換して補正用の差分ブロックとし、前記復号画像をブロック単位で補正することを特徴とする画像復号化方法。