JP4775756B2 - 復号化装置及びそのプログラム - Google Patents
復号化装置及びそのプログラム Download PDFInfo
- Publication number
- JP4775756B2 JP4775756B2 JP2005079246A JP2005079246A JP4775756B2 JP 4775756 B2 JP4775756 B2 JP 4775756B2 JP 2005079246 A JP2005079246 A JP 2005079246A JP 2005079246 A JP2005079246 A JP 2005079246A JP 4775756 B2 JP4775756 B2 JP 4775756B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- value
- quantization index
- filter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
また、特許文献2は、画像内のエッジの有無を判別し、判別結果に応じて、適用すべきフィルタを選択する方式を開示する。
また、特許文献3は、歪が目立ち易い領域であると判断した場合に、DCT係数に雑音を付加する方式を開示する。
また、非特許文献1は、JPEG標準を開示する。
また、非特許文献2は、JPEG2000標準を開示する。
また、非特許文献3は、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法を開示する。
上記目的を達成するために、本発明にかかる復号化装置は、変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、前記参照値抽出手段により抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとに基づいて、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出する補正係数算出手段と、前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正する補正係数修正手段と、前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成する、補正後逆量子化値生成手段を有する。
好適には、前記補正係数算出手段は、前記処理対象の量子化インデクスと、前記他の量子化インデクスとの差分に対してフィルタ処理を行うことにより、前記補正係数を算出する。
また、本発明にかかるプログラムは、変換符号化処理により生成された量子化インデクスの逆量子化処理をコンピュータに実行させるプログラムであって、処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出するステップと、抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとに基づいて、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出するステップと、前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正するステップと、前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成するステップとをコンピュータに実行させる。
画像データ及び音声データなどは、データ量が膨大であるため、圧縮してデータ量を削減して保持、伝送等を行うことが一般的である。例えば、カラー原稿や写真を画像スキャナで電子化した場合に生成される多値画像データ、あるいは、ディジタルカメラで風景等の写真を撮った場合に生成される多値画像データは、JPEG、あるいは、JPEG2000等の非可逆符号化方式で圧縮することにより、より小さなデータ量とすることができる。
図1は、JPEG方式及びJPEG2000方式などの変換符号化方式の概略を説明する図であり、図1(A)は、符号化処理の概略を示し、図1(B)は、復号化処理の概略を示す。
図2は、変換符号化方式における量子化処理を説明する図である。なお、図2に示された変換係数T(c,i,j)及び量子化インデクスQ(c,i,j)は、変数c,i,jの関数である。また、変数cは、変換係数の種類を示すインデクスであり、例えば、8×8ブロックを用いたDCT変換であれば、64種類(8×8)存在する変換係数のいずれかを示す値(1〜64の整数など)であり、ウェーブレット変換であれば、1HH成分、1LH成分、1HL成分、2HH成分、2LH成分、2HL成分、・・・、NLLL成分のいずれかを示す値である。また、変数i,jは、各変換係数の位置を示す変数であり、例えば、DCT変換であれば、上からi番目、左からj番目のブロックのc番目の変換係数がT(c,i,j)と表され、ウェーブレット変換であれば、c番目の変換係数の、上からi番目、左からj番目のデータがT(c,i,j)と表される。
ここで、量子化インデクスとは、量子化値を識別するための情報である。また、量子化値とは、一定の範囲(量子化区間)にある数値群が縮退する値であり、図2に例示するように、量子化区間「A−2」〜「A2」それぞれを代表する離散的な値(本例では、「−2×D(c)」〜「2×D(c)」)である。
さらに、量子化インデクスQは、逆量子化され、変換係数(すなわち、逆量子化値)Rとなり、この変換係数Rが逆変換され、復号画像Hが生成される。
ここで、逆量子化値とは、量子化インデクス又は量子化値に基づいて生成され、復号データの復号化に用いられる値であり、例えば、JPEG方式又はJPEG2000方式の変換係数(量子化インデクスに対応付けられた変換係数)である。
量子化は、各変換係数c毎に用意された量子化ステップ幅D(c)を用いて行う。量子化ステップ幅Dは、変換係数の種類cの関数である。例えば、JPEG方式であれば、量子化時に、以下の式で量子化インデクスQを算出する。
また、逆量子化時には、以下の式で逆量子化値Rを算出する。
Q(c,i,j)>0である場合に、R(c,i,j)=(Q(c,i,j)+r)×D(c)
Q(c,i,j)<0である場合に、R(c,i,j)=(Q(c,i,j)-r)×D(c)
Q(c,i,j)=0である場合に、R(c,i,j)=0
また、rは、0から1までの範囲にある数値であり、典型的にはr=0.5を用いる。ただし、JPEG2000方式では、下位ビットを符号化しない場合があるが、ここでは、最下位ビットまで全て符号化する場合を具体例として説明する。
変換係数Tが量子化区間A0に存在している場合には、量子化処理により、量子化インデクスQは、0となる。同様に、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQは、qとなる。
そして、これを逆量子化する場合には、量子化インデクスQが0である場合には、逆量子化処理により、逆量子化値R=0が生成され、量子化インデクスQが1である場合には、逆量子化値R=D(c)が生成される。
JPEG2000方法でも同様で、図2(B)に例示するように、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQはqとなり、これを逆量子化すると、量子化インデクスQに1対1で対応する逆量子化値が生成される。
変換係数Tは、量子化区間Aq内に存在しているとする。
図2(C)に例示するように、量子化区間Aqは、d1〜d2の範囲であるとする。このとき、変換係数Tは、d1〜d2の範囲に含まれる。また、この変換係数Tの逆量子化値はRであるとする。
この状況において、復号画像を生成するための変換係数は、逆量子化値Rである。しかしながら、原画像の変換係数Tは、d1〜d2の範囲のいずれかの値であり、逆量子化値Rであるとは限らない。このとき、元の変換係数Tと逆量子化値Rとの差分が生じる。この差分が符号化歪の原因である。
このように、非可逆符号化方式では、複数のデータ値(それぞれの量子化区間に存在する元データ値)を、1つの量子化値(それぞれの量子化区間に対応する量子化値)に縮退させることにより、非可逆なデータ圧縮を実現しているが、同時に、この量子化により符号化歪が生ずる。
しかしながら、この場合には、符号化効率が低下し、データ量が多くなってしまうという問題点がある。
また、既に符号化されたデータを高画質化しようとする場合には、この圧縮効率を低下させるという方式を採用することはできない。
大別して、復号画像に低域通過フィルタをかけることにより、符号化歪をぼかして見えないようにする方式(フィルタ方式)と、復号画像あるいは変換係数にノイズを付加することにより、符号化歪をぼかして見えないようにする方式(ノイズ方式)の2種類がある。
例えば、特開平5−14735号公報には、DCTのブロック境界にのみ低域通過フィルタをかけることによって、ブロック歪を除去しようとする方式が提案されている。
この方式は、低域通過フィルタを用いて符号化歪をぼかして判別し難くしようとするものである。
ただし、この方式では、もともとの原画に存在するエッジ成分も同様にボケてしまうという問題である。
例えば、特開平7−336684号公報には、符号化歪が目立ち易い領域であると判断した場合に、DCT係数に対して雑音を付加することにより、符号化歪を目立たなくしようとする方式が開示されている。
この方式では、平坦な画像領域であると判断した場合に、符号化歪が目立ちやすいと判断している。
この観点から見ると、低域通過フィルタによる画像のぼかし又はノイズの付与が復号画像を原画像に近づけるとは限らないため、上記の方式が最適であるとはいえない。
具体的には、上記の方式を用いると、以下に示すような副作用が発生する可能性がある。
(1)低域通過フィルタをかける方式では、復号画像の高周波領域の信号が抑圧されてしまう。そのため、原画像に高周波成分のテクスチャが存在していた場合には、そのテクスチャ成分を再現することが不可能となる。
(2)低域通過フィルタをかける方式では、エッジ判定が正しいとは限らないため、エッジが鈍ってしまう虞がある。
(3)ノイズを付加する方式では、付加ノイズに起因して、原画像には存在しないテクスチャを発生させてしまう虞がある。
すなわち、JPEG方式あるいはJPEG2000方式等の標準技術では、逆量子化値の頻度分布が値Rの一点にのみ分布させていることになる。しかしながら、逆量子化値の頻度分布を、原画像の変換係数の頻度分布にできるだけ近づけることにより、よりよい復号化が実現される。
なぜなら、頻度分布が一致している場合に、原画像と復号画像が一致するとは限らないが、原画像と頻度分布が異なる復号画像と、原画像と頻度分布が近い復号画像とでは、頻度分布が近い復号画像のほうが原画像により近いと考えられるからである。実際に、非特許文献3(D. Heeger and J. Bergen, "Pyramid based texture analysis/synthesis," Computer Graphics, pp. 229-238, SIGGRAPH 95, 1995.)には、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法が述べられている。
本実施形態における復号化装置2は、原画像と頻度分布が近い復号画像を生成することによって、より原画像に近いテクスチャを持つ復号画像を生成する。
この補正後の逆量子化値Ry(c,i,j)は、より原画像の頻度分布に近いと期待できる逆量子化値であり、例えば、以下の式で表される。
上記のα値の制限は、元々の量子化区間(d1とd2の間)を超えないようにするために設定されている。
以下、本発明の実施形態を説明する。
本実施形態では、JPEG方式により符号化された符号データを復号化する場合を具体例として説明する。なお、本実施形態で説明する復号化処理は、概略において、ITU-T勧告T.81に記載されているものと同様であるが、本発明にかかる逆量子化処理を適用する点で異なる。
まず、本実施形態における復号化装置2のハードウェア構成を説明する。
図3は、本発明にかかる復号化方法が適応される復号化装置2のハードウェア構成を、制御装置20を中心に例示する図である。
図3に例示するように、復号化装置2は、CPU202及びメモリ204などを含む制御装置20、通信装置22、HDD・CD装置などの記録装置24、並びに、LCD表示装置あるいはCRT表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)26から構成される。
復号化装置2は、例えば、復号化プログラム5(後述)がインストールされた汎用コンピュータであり、通信装置22又は記録装置24などを介して符号データを取得し、取得された符号データを復号化して出力する。
図4は、制御装置20(図3)により実行され、本発明にかかる復号化方法を実現する復号化プログラム5の機能構成を例示する図である。
図4に例示するように、復号化プログラム5は、エントロピ復号部40、逆量子化部50及び逆変換部60を有する。
また、逆量子化部50は、逆量子化値推定部500、分布推定部520、期待値推定部540、乱数発生部560、補正部580及び逆量子化値出力部590を含む。
本例のエントロピ復号部40は、入力された符号データを復号化して、量子化インデクスQを生成し、生成された量子化インデクスを逆量子化部50に出力する。
より具体的には、逆量子化値推定部500は、処理対象である部分データの量子化インデクスと、この部分データの近傍にある部分データ(例えば、注目画像領域の近傍にある画像領域の画像データ)の量子化インデクス(例えば、同じ変換係数種類cの量子化インデクス)とに基づいて、処理対象である部分データの逆量子化値を推定する。
本例の逆量子化値推定部500は、注目ブロックの量子化インデクスと、注目ブロックの周囲にあるブロックの量子化インデクス(同じ変換係数種類cのものに限る)とに基づいて、注目ブロックの量子化インデクスに対応する逆量子化値Rの補正係数αを算出し、算出された補正係数αを補正部580に出力する。
また、補正部580は、期待値推定部540から入力された逆量子化値の分布データ又は期待値に応じて、逆量子化値推定部500から入力された逆量子化値(本例では、逆量子化値の補正係数α)を補正する。
本例の補正部580は、逆量子化値推定部500から入力された補正係数αを補正する。より具体的には、本例の補正部580は、JPEG方式において、補正係数αが−0.5から0.5の範囲に入るように、αを線形補正する。すなわち、補正部580は、同一の量子化インデクスに対応する補正係数αの中から、最大値αmax及び最小値αminを選択し、選択された最大値αmax及び最小値αminが既定の範囲(JPEGでは、-0.5から0.5の範囲)におさまるように、これらの補正係数α全体を線形変換する。
また、JPEG2000方式では、補正係数αの範囲がJPEG方式と異なるだけである。すなわち、JPEG2000方式では、補正部580は、補正係数αの範囲は、Q(c,i,j)>0の時に、0≦r+α≦1を満たす範囲、Q(c,i,j)<0の時に、-1≦-r+α≦0を満たす範囲、Q(c,i,j)=0の時に、-1≦α≦1を満たす範囲を、それぞれ基準として補正係数αを補正する。
本例の逆量子化値出力部590は、補正部580又は乱数発生部560から入力された補正係数αと、量子化インデクスに対応付けられた逆量子化値とに基づいて、逆量子化値を算出する。
図5は、逆量子化値推定部500(図4)をより詳細に説明する図である。
図5に例示するように、逆量子化値推定部500は、周辺信号抽出部502、差分演算部504、非相関信号除去部506及びフィルタ処理部508を含む。
逆量子化値推定部500において、周辺信号抽出部502(参照値抽出手段)は、処理対象である量子化インデクスQ(c,i,j)の周囲量子化インデクスQ(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。なお、ここで抽出された周囲量子化インデクスは、(2M+1)×(2N+1)の行列となる。
本例の差分演算部502は、以下の演算を行って、差分値P(m,n)で構成された(2M+1)×(2N+1)の差分行列を作成する。
P(m,n)=Q(c,i+m,j+n)-Q(c,i,j)
より具体的には、非相関信号除去部504は、差分演算部502により周囲量子化インデクスQ(c,i+m,j+n)それぞれについて算出された差分が、閾値THよりも大きい場合には、相関が少ないものと判定して、この周囲量子化インデクスQ(c,i+m,j+n)を除去する。
本例の非相関信号除去部504は、差分演算部502により作成された差分行列において、差分値の絶対値|P(m,n)|が閾値THよりも大きい場合に、このP(m,n)=0とする。
閾値THは、例えば、1である。
より具体的には、フィルタ処理部508は、差分演算部504により算出された差分(非相関信号除去部504により除去されたものを除く)に基づいて、補正係数αを算出する。
本例のフィルタ処理部508は、(2M+1)×(2N+1)のフィルタカーネルK(m,n)を用意する。このフィルタカーネルKは、2次元の低域通過特性を持つフィルタであることが望ましい。
フィルタ処理部508は、以下の式(数1)によって、補正係数α値を算出する。
また、上記は、JPEG方式のように、量子化区間の幅(量子化ステップ幅)が全体に渡って均一である場合の動作を示したものであるが、JPEG2000方式では、量子化区間の幅が均一ではない。例えば、量子化インデクスが0のときは、量子化ステップ幅が他の場合の2倍となっている。そのような場合には、逆量子化値推定部500は、量子化インデクスQを用いて推定するのではなく、逆量子化値Rを量子化ステップ幅D(c)で割った値を用いて推定すればよい。
すなわち、
(1)周辺信号抽出部502は、注目量子化インデクスQ(c,i,j)の周囲の量子化インデクスを逆量子化した値である逆量子化値R(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。ここで抽出された逆量子化値Rは、(2M+1)×(2N+1)の行列となる。
(2)差分演算部504は、P(m,n)={R(c,i+m,j+n)-R(c,i,j)}/D(c)の演算を行って、(2M+1)×(2N+1)の差分行列Pを作成する。
(3)以下、非相関除去部506及びフィルタ処理部508による処理は、上記と同様である。
(1)周辺信号抽出部502は、注目量子化インデクスQ(c,i,j)の周囲量子化インデクスQ(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。ここで抽出された周囲量子化インデクスは、(2M+1)×(2N+1)の行列となる。
(2)差分演算部504は、Rt(c、i、j)=R(c,i,j)/D(c)と定義して、
Q(c,i,j)>0である場合、Rt(c,i,j)=Q(c,i,j)+r
Q(c,i,j)<0である場合、Rt(c,i,j)=Q(c,i,j)-r
Q(c,i,j)=0である場合、Rt(c,i,j)=0
としてRtを求めることができる。このとき、
P(m,n)=Rt(c,i+m,j+n)-Rt(c,i,j)
としてPを求める。
(3)以下、非相関除去部506及びフィルタ処理部508による処理は、上記と同様である。
次に、復号化装置2(復号化プログラム5)の全体動作を説明する。
図6は、復号化プログラム5(図4)による復号化処理(S10)のフローチャートである。なお、本例では、画像データの符号データ(JPEG方式)が入力される場合を具体例として説明する。
図6に示すように、ステップ100(S100)において、エントロピ復号部40(図4)は、入力された符号データを復号化して、各ブロック(8×8ブロック)の量子化インデクスを生成し、生成された各ブロックの量子化インデクスを逆量子化部50に出力する。
逆量子化部50は、逆量子化値の推定が可能であると判定された場合に、S105の処理に移行し、逆量子化値の推定が不可能であると判定された場合に、S130の処理に移行する。
抽出される周囲量子化インデクスは、注目ブロックを中心とした3×3個のブロックにおける変換係数種類cの量子化インデクスであり、3×3の行列となる。
P(m,n)= Q(c,i+m, j+n) - Q(c,i,j)
差分行列Pは、3×3の行列となる。
すなわち、非相関信号除去部506は、差分行列Pに含まれる各差分値の絶対値|P(m,n)|と、閾値THとを比較して、閾値THよりも大きな差分値P(m,n)を0にする。
期待値推定部540は、分布推定部520から入力された分布データに基づいて、期待値を算出し、算出された期待値と、分布データとを補正部580に出力する。
補正部580は、フィルタ処理部508から入力された補正係数αを、期待値推定部540から入力された期待値及び分布データに基づいて補正する。例えば、補正部580は、分布推定部520により生成された分布と一致するように、フィルタ処理部508から入力された複数の補正係数αの値をまとめてシフトする。
具体的には、本例の逆量子化値出力部590は、以下の演算を行って逆量子化値Ryを算出する。
Ry(c,i,j)={Q(c,i,j)+α(c,i,j)}×D(c)
フィルタ処理部508は、差分演算部504により生成された差分行列Pが入力される場合には、図7(A)に例示するように、中央の値が0であるフィルタカーネルKを適用する。
この場合に、非相関信号除去部506(図5)は、閾値THを用意しておき、|P(m,n)|>THのとき、Q(c,i+m,j+n)=Q(c,i,j)とする処理を行う。
そして、フィルタ処理部508は、以下の式(数2)によりQ1を算出する。
逆量子化値出力部590は、Ry(c,i,j)=Q2(c,i,j)×D(c)の演算を行って、逆量子化値Ryを算出する。
なお、本例では、最終的にD(c)をかけて逆量子化値Ryを求めたが、フィルタカーネル自体をD(c)で乗じておけば、最終的にD(c)を乗じる必要はなくなる。
逆量子化部500は、R(c,i,j)=Q(c,i,j)×D(c)の演算を行って、それぞれの量子化インデクスQに対応付けられた逆量子化値Rを算出する。
周囲信号抽出部502は、この場合に、量子化インデクスQではなく、逆量子化値Rの周囲信号を抽出する。抽出する範囲は、上記と同様である。
差分演算部504は、P(m,n)=R(c,i+m,j+n)-R(c,i,j)の演算を行う。
非相関信号除去部506は、閾値THを用意しておき、|P(m,n)|>THのとき、R(c,i+m,j+n)=R(c,i,j)とする処理を行う。THの典型的な値は、D(c)である。
フィルタ処理部508は、以下の式(数4)により、逆量子化値R1(c,i,j)を算出する。
逆量子化値出力部590は、補正部580から入力荒れた逆量子化値R2をそのまま最終的な逆量子化値Ryとする。
次に、具体的なフィルタ係数の求め方を説明する。なお、本例では、求めるフィルタカーネルが3×3のフィルタK(m,n)(-1≦m,n≦1)であり、入力が差分値P(m,n)である場合を具体例として説明する。
また、各差分値(m,n)の表記を簡単化するため、X0=P(0,0)、X1=P(-1,-1)、X2=P(-1,0)、X3=P(-1,1)、X4=P(0,-1)、X5=P(0,1)、X6=P(1,-1)、X7=P(1,0)、X7=P(1,1)とする。
Xp(p=0,1,2,...,8)は、図8(A)に例示された位置に存在する。
同様に、各フィルタ係数Kの表記を簡単化するため、K0=K(0,0)、K1=K(-1,-1)、K2=K(-1,0)、K3=K(-1,1)、K4=K(0,-1)、K5=K(0,1)、K6=K(1,-1)、K7=K(1,0)、K7=K(1,1)と表記する。Kp(p=0,1,2,...,8)も、図8(B)に例示された位置に存在する。
Y0={T(c,i,j)-R(c,i,j)}/D(c)
Y0は、変換係数Tと逆量子化値Rとの差分を量子化ステップ幅D(c)で除算した値である。すなわち、Y0は、標準JPEG方式における逆量子化を行ったときの正規化誤差であり、-0.5から0.5の値を取る。このY0を推定することによって、より確からしい逆量子化値を求めることができる。Y0の推定値をW0とする。
W0=Σ(Xp×Kp)
E[]を期待値を求める関数とすると、自乗誤差Iは、以下のように表される。
I=E[(Y0-W0)2]
このIを最小とするためには、自乗誤差Iが以下の式(数5)を満たせばよい。
E[Y0×Xp]=E[W0×Xp]
となる。さらに上式を変形すると、式(数6)となる。
なお、本例では、3×3のフィルタについて説明したが、他の形状のフィルタでも各フィルタ係数K(i,j)と、入力値P(i,j)を1次元に並べて、フィルタ係数最適化を同様に行うことができる。
また、符号化装置が、符号化時に上記のフィルタ係数算出処理を行って、算出された最適なフィルタ係数を符号データに入れ混むようにしてもよい。
この場合には、フィルタ処理部508は、符号データに入れ込まれたフィルタ係数を用いて、フィルタ処理を行うことにより、符号データに適合したフィルタ処理を行うことができる。
また、本実施形態における復号化装置2は、注目量子化インデクスとの相関が少ないと判定される周囲量子化インデクスを除去することにより、より適切な逆量子化値を算出できる。
上記実施形態では、固定的なフィルタ又は符号データに埋め込まれたフィルタを適用する形態を説明したが、第1の変形例では、フィルタを切り替えて適用する形態を説明する。
図9に例示するように、第1の変形例における逆量子化値推定部500は、上記実施形態の逆量子化推定部500(図5)に、フィルタ選択部510を追加した構成をとる。
フィルタ選択部510は、予め用意された複数のフィルタの中から、適用すべきフィルタを選択し、選択されたフィルタをフィルタ処理部508に出力する。
より具体的には、フィルタ選択部500は、以下の各判定要素に応じて、互いに異なるフィルタを選択することができる。
判定要素(2):量子化インデクスが0の場合、正の場合、及び、負の場合
判定要素(3):量子化インデクスが0の場合と、量子化インデクスが0以外の場合
判定要素(4):(変換係数の標準偏差)/(量子化ステップサイズ)を計算して、算出された値
判定要素(5):AC成分の場合とDC成分の場合
また、本例のフィルタ選択部510は、さらに、変換係数種類cの情報も入力し、変換係数種類c毎にフィルタを選択する。特に、変換係数種類がDC成分である場合とAC成分である場合とで変換係数の特性が比較的大きく異なるため、少なくとも、AC成分とDC成分とで互いに異なるフィルタを適用する。
この場合に、フィルタ処理部508は、フィルタ選択部510により選択されたフィルタを用いて、フィルタ処理を行う。
図10に示すように、量子化インデクスQが0である場合と、正の値である場合、及び、負の値である場合で、最適なフィルタ係数の対角成分及び水平線が互いに異なる。特に、量子化インデクスQが0である場合は、量子化インデクスQが正又は負の値である場合と比較すると、フィルタ係数が大幅に小さい。
また、図10に示すように、(変換係数の標準偏差)/(量子化ステップ)の値(すなわち、横軸)に応じて、フィルタ係数の値が変化することがわかる。すなわち、変換係数及び量子化ステップサイズ(量子化区間の幅)の値で最適なフィルタ係数が異なることが分かる。
そこで、本変形例のフィルタ選択部510は、量子化インデクスQの値、変換係数の標準偏差、又は、量子化区間の幅に応じて、最適なフィルタを選択する。すなわち、逆量子化値推定部500は、量子化インデクスQの値、変換係数の標準偏差、又は、量子化区間の幅に応じて、フィルタを切り替える。これにより、最適なフィルタが適用されることになり、より適切な逆量子化値が生成される。
フィルタ処理部508により適用されるフィルタは、基本的には低域通過特性を持つものである。そのため、復号画像は、ボケた画像になる虞がある。特に、細い線(細線)が消えてしまう可能性がある。
そこで、第2の変形例における逆量子化値推定部500は、細線の探索を行い、細線が検知された場合に、フィルタ処理部508によるフィルタリングを禁止する。
図11に例示するように、第2の変形例における逆量子化値推定部500は、上記第1の変形例の逆量子化推定部500(図9)に、細線検知部512を追加した構成をとる。
細線検知部512は、入力された符号データに基づいて、細線の有無を検知し、その検知結果をフィルタ選択部510に出力する。
本例の細線検知部512は、非相関信号除去部506からの出力に基づいて、細線を検知する。なお、本例では、非相関信号除去部506で適用される閾値THが1であり、非相関信号除去部506からの出力が、0、-1、1のうちのいずれかの値を取る場合を具体例として説明する。
また、本例の細線検知部512は、連続した細線に加えて、点線などのように不連続な細線も検知する。
細線検知部512は、非相関信号除去部506からの出力に基づいて、図12(A)に例示する細線検知パターンのXの位置の値が、全て1あるいは全て−1であるか否かを判断し、Xの位置の値が全て1又は−1である場合に、中央の横線が線となっているか、あるいは、点線となっている、あるいは、中央の値が孤立点となっていると判断する。
細線検知部512は、図12(B)に例示する細線検知パターンを用いて、縦方向の細線又は点線、あるいは、孤立点を検知し、図12(C)及び図12(D)の細線検知パターンを用いて、斜め方向の細線又は点線、あるいは、孤立点を検知する。
そして、フィルタ選択部510は、細線検知部512により細線が検知された場合に、フィルタ処理部508によるフィルタ処理を禁止することにより、検知された細線、点線又は孤立点を保存することができる。
上記実施形態及び変形例では、JPEG方式を具体例として説明したが、JPEG2000方式でも適用できる。
5・・・復号化プログラム
40・・・エントロピ復号部
50・・・逆量子化部
500・・・逆量子化値推定部
502・・・周辺信号抽出部
504・・・差分演算部
506・・・非相関信号除去部
508・・・フィルタ処理部
510・・・フィルタ選択部
512・・・細線検知部
520・・・分布推定部
540・・・期待値推定部
560・・・乱数発生部
580・・・補正部
590・・・逆量子化値出力部
60・・・逆変換部
Claims (11)
- 変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、
処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、
前記参照値抽出手段により抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとの差分に対してフィルタ処理を行なうことにより、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出する補正係数算出手段と、
前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正する補正係数修正手段と、
前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成する、補正後逆量子化値生成手段
を有する復号化装置。 - 前記補正後逆量子化値生成手段は、前記修正された補正係数と、前記処理対象の量子化インデクスとを合算し、該合算した値に対して、前記変換符号化処理の量子化幅をかけて、前記補正後逆量子化値を生成する
請求項1に記載の復号化装置。 - 前記他の量子化インデクスと、前記処理対象の量子化インデクスとの差分が既定値以下となる他の量子化インデクスに基づいて、前記補正係数を算出する
請求項1又は2に記載の復号化装置。 - 前記補正係数修正手段は、前記補正係数算出手段により算出された同じ量子化インデクス値に対応する複数の補正係数の中から最大値及び最小値を選択し、選択された最大値及び最小値が既定の範囲におさまるように該複数の補正係数を線形変換して修正する
請求項1〜3のいずれかに記載の復号化装置。 - 前記補正係数算出手段は、前記処理対象の量子化インデクスが0である場合に、前記フィルタ処理を行わないように制御する
請求項1に記載の復号化装置。 - 前記補正係数算出手段は、処理対象となる量子化インデクスがAC成分に対応するかDC成分に対応するかに応じて、前記フィルタ処理で用いるフィルタを異ならせる
請求項1に記載の復号化装置。 - 前記処理対象の量子化インデクスに対応する変換係数の標準偏差と、前記処理対象の量子化インデクスに対応する量子化幅とに応じて、前記フィルタ処理で用いられるフィルタを選択するフィルタ選択手段をさらに有する
請求項1に記載の復号化装置。 - 前記処理対象の量子化インデクスが細線又は孤立点に相当するか否かを判定する細線判定手段
をさらに有し、
前記補正係数算出手段は、前記細線判定手段により前記処理対象の量子化インデクスが細線又は孤立点に相当すると判定された場合に、前記フィルタ処理を行わないように制御する
請求項1に記載の復号化装置。 - 変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、
量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、
前記参照値抽出手段により抽出された他の量子化インデクスと前記処理対象の量子化インデクスとの差分値を算出する差分算出手段と、
前記差分算出手段により算出された差分値に対して、既定のフィルタ処理を施すことにより、前記処理対象量子化インデクスに対応する逆量子化値を補正する補正係数を算出するフィルタ処理手段と
を有する復号化装置。 - 前記フィルタ処理手段は、0以上のフィルタ係数を有し、かつ、フィルタ係数の総和が1/2以下であるフィルタを用いて、前記フィルタ処理を行う
請求項9に記載の復号化装置。 - 変換符号化処理により生成された量子化インデクスの逆量子化処理をコンピュータに実行させるプログラムであって、
処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出するステップと、
抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとの差分に対してフィルタ処理を行なうことにより、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出するステップと、
前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正するステップと、
前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成するステップと
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005079246A JP4775756B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びそのプログラム |
US11/151,212 US7486830B2 (en) | 2005-03-18 | 2005-06-14 | Decoding apparatus, decoding method and program product therefor |
CNB200510079564XA CN100448261C (zh) | 2005-03-18 | 2005-06-17 | 解码装置和解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005079246A JP4775756B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006262278A JP2006262278A (ja) | 2006-09-28 |
JP4775756B2 true JP4775756B2 (ja) | 2011-09-21 |
Family
ID=37003134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005079246A Expired - Fee Related JP4775756B2 (ja) | 2005-03-18 | 2005-03-18 | 復号化装置及びそのプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7486830B2 (ja) |
JP (1) | JP4775756B2 (ja) |
CN (1) | CN100448261C (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4725127B2 (ja) * | 2005-02-16 | 2011-07-13 | ソニー株式会社 | 復号装置および方法、記録媒体、並びにプログラム |
FR2889778A1 (fr) * | 2005-08-12 | 2007-02-16 | Thomson Licensing Sas | Procede de codage et de decodage d'images video avec echelonnabilite spatiale |
JP5102122B2 (ja) * | 2008-06-11 | 2012-12-19 | キヤノン株式会社 | 復号化装置及び復号化方法 |
MY154427A (en) * | 2008-07-30 | 2015-06-15 | Hitachi Maxell | Compressed image noise removal device and reproduction device |
EP2192786A1 (en) * | 2008-11-27 | 2010-06-02 | Panasonic Corporation | Frequency domain filters for video coding |
US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
US8917774B2 (en) * | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
JP4951113B1 (ja) | 2010-12-20 | 2012-06-13 | 株式会社東芝 | 画像復号化装置、画像復号化方法およびプログラム |
JP5715533B2 (ja) * | 2011-09-13 | 2015-05-07 | Kddi株式会社 | 動画像画質復元装置、動画像画質復元方法、およびプログラム |
US9483413B2 (en) | 2014-10-24 | 2016-11-01 | Samsung Electronics Co., Ltd. | Nonvolatile memory devices and methods of controlling the same |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3485192B2 (ja) * | 1991-01-10 | 2004-01-13 | オリンパス株式会社 | 画像信号復号化装置 |
US5625714A (en) * | 1991-01-10 | 1997-04-29 | Olympus Optical Co., Ltd. | Image signal decoding device capable of removing block distortion with simple structure |
JPH0514735A (ja) | 1991-07-01 | 1993-01-22 | Kubota Corp | 画像処理装置 |
JPH05260310A (ja) * | 1992-03-12 | 1993-10-08 | Fujitsu Ltd | 逆量子化方法、画像データ符号化装置、および画像データ復号化装置 |
JPH05316361A (ja) | 1992-04-24 | 1993-11-26 | Sony Corp | ブロック歪除去フィルタ |
US5615288A (en) * | 1993-04-26 | 1997-03-25 | Fuji Xerox Co., Ltd. | Singular value decomposition coding and decoding apparatuses |
JP3466705B2 (ja) * | 1993-05-28 | 2003-11-17 | ゼロックス・コーポレーション | 圧縮画像の圧縮解除方法 |
JP3271097B2 (ja) * | 1993-08-19 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の復号装置 |
JP2921358B2 (ja) * | 1993-10-06 | 1999-07-19 | 富士ゼロックス株式会社 | 画像符号化装置 |
KR0128881B1 (ko) * | 1994-04-30 | 1998-04-10 | 배순훈 | 디지틀화상복호화장치 |
JP3166501B2 (ja) * | 1994-09-13 | 2001-05-14 | 松下電器産業株式会社 | 画像再圧縮方法及び画像再圧縮装置 |
JP2914607B2 (ja) | 1994-06-10 | 1999-07-05 | シャープ株式会社 | 画像信号復号化装置 |
JPH08102943A (ja) * | 1994-09-30 | 1996-04-16 | Fuji Xerox Co Ltd | 画像符号化装置 |
KR0165497B1 (ko) * | 1995-01-20 | 1999-03-20 | 김광호 | 블럭화현상 제거를 위한 후처리장치 및 그 방법 |
US6072909A (en) * | 1995-12-13 | 2000-06-06 | Fuji Xerox Co., Ltd. | Image coding devise and image decoding devise using with image disassembly |
JP2888186B2 (ja) * | 1996-02-19 | 1999-05-10 | 富士ゼロックス株式会社 | 画像符号化装置および画像復号装置 |
JP2002091691A (ja) * | 2000-09-20 | 2002-03-29 | Nagano Fujitsu Component Kk | ポインティングデバイス |
US6473533B1 (en) * | 1996-10-25 | 2002-10-29 | Fuji Xerox Co., Ltd. | Image encoding apparatus and image decoding apparatus |
JP3176601B1 (ja) * | 1996-10-30 | 2001-06-18 | 松下電器産業株式会社 | 画像復号化装置 |
JPH10243402A (ja) * | 1997-02-27 | 1998-09-11 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP3087835B2 (ja) * | 1997-04-22 | 2000-09-11 | 富士ゼロックス株式会社 | 画像符号化方法および装置ならびに画像復号方法および装置 |
JP3959698B2 (ja) * | 1998-02-24 | 2007-08-15 | ソニー株式会社 | 画像処理方法および装置 |
JP3921678B2 (ja) * | 1998-02-24 | 2007-05-30 | ソニー株式会社 | 画像処理方法および装置 |
US6393155B1 (en) * | 1998-11-04 | 2002-05-21 | International Business Machines Corporation | Error reduction in transformed digital data |
CN1286575A (zh) | 1999-08-25 | 2001-03-07 | 松下电器产业株式会社 | 噪声检测方法、噪声检测装置及图象编码装置 |
JP4365957B2 (ja) * | 1999-11-05 | 2009-11-18 | キヤノン株式会社 | 画像処理方法及びその装置及び記憶媒体 |
US7035471B2 (en) * | 2000-05-09 | 2006-04-25 | Sony Corporation | Data processing device and data processing method and recorded medium |
US6675185B1 (en) * | 2000-06-07 | 2004-01-06 | International Business Machines Corporation | Hybrid domain processing of multi-dimensional transformed data |
US7092578B2 (en) * | 2001-10-23 | 2006-08-15 | Agilent Technologies, Inc. | Signaling adaptive-quantization matrices in JPEG using end-of-block codes |
JP2003134346A (ja) * | 2001-10-26 | 2003-05-09 | Nec Microsystems Ltd | 符号化/復号化処理方法及び装置 |
JP4309703B2 (ja) | 2002-06-21 | 2009-08-05 | 日本放送協会 | 符号化誤差推定装置 |
US7362474B2 (en) * | 2004-06-07 | 2008-04-22 | Lite-On Technology Corp. | Printing quality enhancement via graphic/text detection method in compression (JPEG) image |
JP2006074339A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Xerox Co Ltd | 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム |
-
2005
- 2005-03-18 JP JP2005079246A patent/JP4775756B2/ja not_active Expired - Fee Related
- 2005-06-14 US US11/151,212 patent/US7486830B2/en not_active Expired - Fee Related
- 2005-06-17 CN CNB200510079564XA patent/CN100448261C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN100448261C (zh) | 2008-12-31 |
US20060210182A1 (en) | 2006-09-21 |
JP2006262278A (ja) | 2006-09-28 |
CN1835548A (zh) | 2006-09-20 |
US7486830B2 (en) | 2009-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4775756B2 (ja) | 復号化装置及びそのプログラム | |
JP4737711B2 (ja) | 復号化装置、逆量子化方法、分布決定方法及びこのプログラム | |
Jung et al. | A new histogram modification based reversible data hiding algorithm considering the human visual system | |
Wu et al. | Reversible image watermarking on prediction errors by efficient histogram modification | |
KR100809409B1 (ko) | 복호화 장치, 역양자화 방법 및 이들의 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
JP2002325170A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
CN101105857A (zh) | 一种基于预测和压扩技术的高容量可逆水印方法 | |
JP2006340345A (ja) | ビデオから抽出された画像を強調する方法 | |
US7778468B2 (en) | Decoding apparatus, dequantizing method, and program thereof | |
Efimushkina et al. | Rate-distortion based reversible watermarking for JPEG images with quality factors selection | |
JP4645948B2 (ja) | 復号化装置及びプログラム | |
JP2006270737A (ja) | 復号化装置、分布推定方法、復号化方法及びこれらのプログラム | |
JP4784386B2 (ja) | 復号化装置、逆量子化方法及びプログラム | |
JP4730144B2 (ja) | 復号化装置、逆量子化方法及びこれらのプログラム | |
JP2007166492A (ja) | 画像処理装置、符号化方法及びプログラム | |
US10015507B2 (en) | Transform system and method in video and image compression | |
CN115278314B (zh) | 一种多值数字视频水印嵌入及盲提取方法 | |
Brabin et al. | QET based steganography technique for JPEG images | |
US8254709B2 (en) | Variable length encoding device of image compression system | |
JP4766382B2 (ja) | 画像評価装置、画像評価方法及びプログラム | |
JP4083043B2 (ja) | 符号化ノイズ除去装置 | |
Naheed et al. | Intelligent reversible digital watermarking technique using interpolation errors | |
JP4952624B2 (ja) | 圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラム | |
CN114998081A (zh) | 一种基于h.265/hevc的视频盲水印嵌入和提取方法 | |
JP3945503B2 (ja) | 係数データ生成装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110606 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4775756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110619 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |