JP4775756B2 - 復号化装置及びそのプログラム - Google Patents

復号化装置及びそのプログラム Download PDF

Info

Publication number
JP4775756B2
JP4775756B2 JP2005079246A JP2005079246A JP4775756B2 JP 4775756 B2 JP4775756 B2 JP 4775756B2 JP 2005079246 A JP2005079246 A JP 2005079246A JP 2005079246 A JP2005079246 A JP 2005079246A JP 4775756 B2 JP4775756 B2 JP 4775756B2
Authority
JP
Japan
Prior art keywords
quantization
value
quantization index
filter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005079246A
Other languages
English (en)
Other versions
JP2006262278A (ja
Inventor
俊一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2005079246A priority Critical patent/JP4775756B2/ja
Priority to US11/151,212 priority patent/US7486830B2/en
Priority to CNB200510079564XA priority patent/CN100448261C/zh
Publication of JP2006262278A publication Critical patent/JP2006262278A/ja
Application granted granted Critical
Publication of JP4775756B2 publication Critical patent/JP4775756B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、符号化処理により生成された符号データを復号化する復号化装置に関する。特に、本発明は、データの量子化を伴う符号化処理により生成された符号データを、逆量子化を行うことにより復号化する復号化装置に関する。
例えば、特許文献1は、DCTのブロック境界にのみ低域通過フィルタをかける方式を開示する。
また、特許文献2は、画像内のエッジの有無を判別し、判別結果に応じて、適用すべきフィルタを選択する方式を開示する。
また、特許文献3は、歪が目立ち易い領域であると判断した場合に、DCT係数に雑音を付加する方式を開示する。
また、非特許文献1は、JPEG標準を開示する。
また、非特許文献2は、JPEG2000標準を開示する。
また、非特許文献3は、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法を開示する。
特開平5−14735号公報 特開平5−316361号公報 特開平7−336684号公報 ITU−T勧告 T.81 ITU−T勧告 T.800 D. Heeger and J. Bergen, "Pyramid based texture analysis/synthesis," Computer Graphics, pp. 229-238, SIGGRAPH 95, 1995.
本発明は、上述した背景からなされたものであり、符号データをより適切に復号化する復号化装置を提供することを目的とする。
[復号化装置]
上記目的を達成するために、本発明にかかる復号化装置は、変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、前記参照値抽出手段により抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとに基づいて、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出する補正係数算出手段と、前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正する補正係数修正手段と、前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成する、補正後逆量子化値生成手段を有する。
好適には、前記補正後逆量子化値生成手段は、前記修正された補正係数と、前記処理対象の量子化インデクスとを合算し、該合算した値に対して、前記変換符号化処理の量子化幅をかけて、前記補正後逆量子化値を生成する
好適には、前記他の量子化インデクスと、前記処理対象の量子化インデクスとの差分を算出する差分算出手段をさらに有し、前記補正係数算出手段は、前記差分算出手段により算出された差分が既定値以下となる他の量子化インデクスに基づいて、前記補正係数を算出する
好適には、前記補正係数修正手段は、前記補正係数算出手段により算出された同じ量子化インデクス値に対応する複数の補正係数の中から最大値及び最小値を選択し、選択された最大値及び最小値が既定の範囲におさまるように該複数の補正係数を線形変換して修正する
好適には、前記補正係数算出手段は、前記処理対象の量子化インデクスと、前記他の量子化インデクスとの差分に対してフィルタ処理を行うことにより、前記補正係数を算出する。
好適には、前記補正係数算出手段は、前記処理対象の量子化インデクスが0である場合に、前記フィルタ処理を行わないように制御する
好適には、前記補正係数算出手段は、処理対象となる量子化インデクスがAC成分に対応するかDC成分に対応するかに応じて、前記フィルタ処理で用いるフィルタを異ならせる
好適には、 前記処理対象量子化インデクスに対応する変換係数の標準偏差と、前記処理対象の量子化インデクスに対応する量子化幅とに応じて、前記フィルタ処理で用いられるフィルタを選択するフィルタ選択手段をさらに有する
好適には、前記処理対象の量子化インデクスが細線又は孤立点に相当するか否かを判定する細線判定手段をさらに有し、前記補正係数算出手段は、前記細線判定手段により前記処理対象の量子化インデクスが細線又は孤立点に相当すると判定された場合に、前記フィルタ処理を行わないように制御する
また、本発明にかかる復号化装置は、変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、前記参照値抽出手段により抽出された他の量子化インデクスと前記処理対象の量子化インデクスとの差分値を算出する差分算出手段と、前記差分算出手段により算出された差分値に対して、既定のフィルタ処理を施すことにより、前記処理対象量子化インデクスに対応する逆量子化値を補正する補正係数を算出するフィルタ処理手段とを有する。
好適には、前記フィルタ処理手段は、0以上のフィルタ係数を有し、かつ、フィルタ係数の総和が1/2以下であるフィルタを用いて、前記フィルタ処理を行う。
[プログラム]
また、本発明にかかるプログラムは、変換符号化処理により生成された量子化インデクスの逆量子化処理をコンピュータに実行させるプログラムであって、処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出するステップと、抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとに基づいて、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出するステップと、前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正するステップと、前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成するステップとをコンピュータに実行させる。
本発明の復号化装置によれば、符号データをより適切に復号化することができる。
まず、本発明の理解を助けるために、その背景及び概略を説明する。
画像データ及び音声データなどは、データ量が膨大であるため、圧縮してデータ量を削減して保持、伝送等を行うことが一般的である。例えば、カラー原稿や写真を画像スキャナで電子化した場合に生成される多値画像データ、あるいは、ディジタルカメラで風景等の写真を撮った場合に生成される多値画像データは、JPEG、あるいは、JPEG2000等の非可逆符号化方式で圧縮することにより、より小さなデータ量とすることができる。
これらの非可逆符号化を行った場合、符号化歪が発生することが問題となっている。特に、JPEG方式を適用する場合には、復号化された画像(復号画像)のDCTブロック境界に発生するブロック歪(符号化歪)が問題となっている。
まず、非可逆符号化の符号化歪がどのようなメカニズムで発生するかを説明する。
図1は、JPEG方式及びJPEG2000方式などの変換符号化方式の概略を説明する図であり、図1(A)は、符号化処理の概略を示し、図1(B)は、復号化処理の概略を示す。
図2は、変換符号化方式における量子化処理を説明する図である。なお、図2に示された変換係数T(c,i,j)及び量子化インデクスQ(c,i,j)は、変数c,i,jの関数である。また、変数cは、変換係数の種類を示すインデクスであり、例えば、8×8ブロックを用いたDCT変換であれば、64種類(8×8)存在する変換係数のいずれかを示す値(1〜64の整数など)であり、ウェーブレット変換であれば、1HH成分、1LH成分、1HL成分、2HH成分、2LH成分、2HL成分、・・・、NLLL成分のいずれかを示す値である。また、変数i,jは、各変換係数の位置を示す変数であり、例えば、DCT変換であれば、上からi番目、左からj番目のブロックのc番目の変換係数がT(c,i,j)と表され、ウェーブレット変換であれば、c番目の変換係数の、上からi番目、左からj番目のデータがT(c,i,j)と表される。
図1(A)に示すように、変換符号化方式の符号化処理では、入力画像Gに対して離散コサイン変換又はウェーブレット変換などの変換処理が施されて、入力画像Gの変換係数Tが生成され、この変換係数Tは、さらに量子化されて、量子化インデクスQとなる。量子化インデクスQは、エントロピ符号化(可逆符号化)されて、圧縮符号Fとなる。
ここで、量子化インデクスとは、量子化値を識別するための情報である。また、量子化値とは、一定の範囲(量子化区間)にある数値群が縮退する値であり、図2に例示するように、量子化区間「A−2」〜「A2」それぞれを代表する離散的な値(本例では、「−2×D(c)」〜「2×D(c)」)である。
このように生成された符号データ(圧縮符号F)は、図1(B)に示すように、エントロピ復号されて、量子化インデクスQとなる。この量子化インデクスQは、符号化時の量子化インデクスQと同じものである。
さらに、量子化インデクスQは、逆量子化され、変換係数(すなわち、逆量子化値)Rとなり、この変換係数Rが逆変換され、復号画像Hが生成される。
ここで、逆量子化値とは、量子化インデクス又は量子化値に基づいて生成され、復号データの復号化に用いられる値であり、例えば、JPEG方式又はJPEG2000方式の変換係数(量子化インデクスに対応付けられた変換係数)である。
以上のプロセスにおいて、符号化歪が発生するのは、量子化を行う時である。元画像の変換係数Tと、量子化インデクスQとの精度を比較すると、一般に変換係数Tの精度が量子化インデクスQよりも高い。そのため、量子化インデクスQを用いて再現した変換係数Rは、もともとの変換係数Tとは異なったものとなる。これが符号化歪の原因である。
次に、図2を参照して、量子化及び逆量子化をより詳細に説明する。
量子化は、各変換係数c毎に用意された量子化ステップ幅D(c)を用いて行う。量子化ステップ幅Dは、変換係数の種類cの関数である。例えば、JPEG方式であれば、量子化時に、以下の式で量子化インデクスQを算出する。
Q(c,i,j)=round(T(c,i,j)/D(c))
ここでround()は、入力値に最も近い整数を出力する関数である。
また、逆量子化時には、以下の式で逆量子化値Rを算出する。
R(c,i,j)=Q(c,i,j)×D(c)
あるいは、JPEG2000方式であれば、以下の式により、量子化インデクスQ及び逆量子化値Rを算出する。
Q(c,i,j)=sign(T(c,i,j))×floor(|T(c,i,j)|/D(c))
Q(c,i,j)>0である場合に、R(c,i,j)=(Q(c,i,j)+r)×D(c)
Q(c,i,j)<0である場合に、R(c,i,j)=(Q(c,i,j)-r)×D(c)
Q(c,i,j)=0である場合に、R(c,i,j)=0
ここで、sign()は、正負の符号を出力する関数、floorは、小数点以下を0とする関数、||は、絶対値を示す記号である。
また、rは、0から1までの範囲にある数値であり、典型的にはr=0.5を用いる。ただし、JPEG2000方式では、下位ビットを符号化しない場合があるが、ここでは、最下位ビットまで全て符号化する場合を具体例として説明する。
図2(A)に示すように、JPEG方式の符号化処理において、入力画像Gに対して変換処理を施して生成された変換係数T(量子化前)は、数直線x軸上に分布する。
変換係数Tが量子化区間A0に存在している場合には、量子化処理により、量子化インデクスQは、0となる。同様に、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQは、qとなる。
そして、これを逆量子化する場合には、量子化インデクスQが0である場合には、逆量子化処理により、逆量子化値R=0が生成され、量子化インデクスQが1である場合には、逆量子化値R=D(c)が生成される。
JPEG2000方法でも同様で、図2(B)に例示するように、変換係数Tが量子化区間Aqに存在している場合には、量子化インデクスQはqとなり、これを逆量子化すると、量子化インデクスQに1対1で対応する逆量子化値が生成される。
ここで、問題を単純化するために、量子化インデクスQがqとなる量子化区間Aq内のみに関して考察する。
変換係数Tは、量子化区間Aq内に存在しているとする。
図2(C)に例示するように、量子化区間Aqは、d1〜d2の範囲であるとする。このとき、変換係数Tは、d1〜d2の範囲に含まれる。また、この変換係数Tの逆量子化値はRであるとする。
この状況において、復号画像を生成するための変換係数は、逆量子化値Rである。しかしながら、原画像の変換係数Tは、d1〜d2の範囲のいずれかの値であり、逆量子化値Rであるとは限らない。このとき、元の変換係数Tと逆量子化値Rとの差分が生じる。この差分が符号化歪の原因である。
このように、非可逆符号化方式では、複数のデータ値(それぞれの量子化区間に存在する元データ値)を、1つの量子化値(それぞれの量子化区間に対応する量子化値)に縮退させることにより、非可逆なデータ圧縮を実現しているが、同時に、この量子化により符号化歪が生ずる。
このような符号化歪を小さくするためには、符号化時に圧縮効率を低くするようなパラメータを選択すればよい。
しかしながら、この場合には、符号化効率が低下し、データ量が多くなってしまうという問題点がある。
また、既に符号化されたデータを高画質化しようとする場合には、この圧縮効率を低下させるという方式を採用することはできない。
そこで、復号時に上記画像歪を解消させようとする技術が様々に提案されている。
大別して、復号画像に低域通過フィルタをかけることにより、符号化歪をぼかして見えないようにする方式(フィルタ方式)と、復号画像あるいは変換係数にノイズを付加することにより、符号化歪をぼかして見えないようにする方式(ノイズ方式)の2種類がある。
まず、低域通過フィルタを用いる方式(フィルタ方式)を述べる。
例えば、特開平5−14735号公報には、DCTのブロック境界にのみ低域通過フィルタをかけることによって、ブロック歪を除去しようとする方式が提案されている。
この方式は、低域通過フィルタを用いて符号化歪をぼかして判別し難くしようとするものである。
ただし、この方式では、もともとの原画に存在するエッジ成分も同様にボケてしまうという問題である。
また、特開平5−316361号公報には、複数の低域通過フィルタを用意して、画像内のエッジの有無を判別し、エッジが鈍らないフィルタを選択してかける方式が提案されている。
次に、ノイズを付加する方式(ノイズ方式)を述べる。
例えば、特開平7−336684号公報には、符号化歪が目立ち易い領域であると判断した場合に、DCT係数に対して雑音を付加することにより、符号化歪を目立たなくしようとする方式が開示されている。
この方式では、平坦な画像領域であると判断した場合に、符号化歪が目立ちやすいと判断している。
符号データから復号画像を生成する場合(すなわち、復号化する場合)に、目標とすることは、復号画像を符号化前の原画像にできるだけ近づけたいということである。
この観点から見ると、低域通過フィルタによる画像のぼかし又はノイズの付与が復号画像を原画像に近づけるとは限らないため、上記の方式が最適であるとはいえない。
具体的には、上記の方式を用いると、以下に示すような副作用が発生する可能性がある。
(1)低域通過フィルタをかける方式では、復号画像の高周波領域の信号が抑圧されてしまう。そのため、原画像に高周波成分のテクスチャが存在していた場合には、そのテクスチャ成分を再現することが不可能となる。
(2)低域通過フィルタをかける方式では、エッジ判定が正しいとは限らないため、エッジが鈍ってしまう虞がある。
(3)ノイズを付加する方式では、付加ノイズに起因して、原画像には存在しないテクスチャを発生させてしまう虞がある。
そこで、本実施形態における復号化装置2は、逆量子化値Rの頻度分布を、入力画像の変換係数Tの頻度分布にできるだけ近づけることによって、できるだけ入力画像に近い復号画像を生成する。
すなわち、JPEG方式あるいはJPEG2000方式等の標準技術では、逆量子化値の頻度分布が値Rの一点にのみ分布させていることになる。しかしながら、逆量子化値の頻度分布を、原画像の変換係数の頻度分布にできるだけ近づけることにより、よりよい復号化が実現される。
なぜなら、頻度分布が一致している場合に、原画像と復号画像が一致するとは限らないが、原画像と頻度分布が異なる復号画像と、原画像と頻度分布が近い復号画像とでは、頻度分布が近い復号画像のほうが原画像により近いと考えられるからである。実際に、非特許文献3(D. Heeger and J. Bergen, "Pyramid based texture analysis/synthesis," Computer Graphics, pp. 229-238, SIGGRAPH 95, 1995.)には、変換係数の頻度分布を合わせることによって、よく似たテクスチャを持つ画像を合成する手法が述べられている。
本実施形態における復号化装置2は、原画像と頻度分布が近い復号画像を生成することによって、より原画像に近いテクスチャを持つ復号画像を生成する。
より具体的には、本実施形態の復号化装置2は、処理対象の量子化インデクスQに対応付けられた逆量子化値Rを、他の量子化インデクスQに基づいて補正して、補正された逆量子化値Ryを生成する。
この補正後の逆量子化値Ry(c,i,j)は、より原画像の頻度分布に近いと期待できる逆量子化値であり、例えば、以下の式で表される。
Ry(c,i,j)=R(c,i,j)+α×D(c)
ここで、αは、補正係数であり、JPEG方式では、αは、-0.5≦α≦0.5を満たす数値とする。また、JPEG2000方式では、Q(c,i,j)>0の時に、αは、0≦r+α≦1を満たす数値とし、Q(c,i,j)<0の時に、-1≦-r+α≦0 を満たす数値とし、Q(c,i,j)=0の時に、-1≦α≦1を満たす数値とする。
上記のα値の制限は、元々の量子化区間(d1とd2の間)を超えないようにするために設定されている。
本実施形態の復号化装置2は、補正係数αを推定するために、処理対象である量子化インデクスQ(c,i,j)と同じ種類cの周囲の量子化インデクスQ(c,i+m, j+n)を用いる(ただし、-M≦m≦M,-N≦n≦N)を用いる。すなわち、数値αの推定にあたって、周囲の量子化インデクス値と数値αとの間の相関を利用する。
[実施形態]
以下、本発明の実施形態を説明する。
本実施形態では、JPEG方式により符号化された符号データを復号化する場合を具体例として説明する。なお、本実施形態で説明する復号化処理は、概略において、ITU-T勧告T.81に記載されているものと同様であるが、本発明にかかる逆量子化処理を適用する点で異なる。
[ハードウェア構成]
まず、本実施形態における復号化装置2のハードウェア構成を説明する。
図3は、本発明にかかる復号化方法が適応される復号化装置2のハードウェア構成を、制御装置20を中心に例示する図である。
図3に例示するように、復号化装置2は、CPU202及びメモリ204などを含む制御装置20、通信装置22、HDD・CD装置などの記録装置24、並びに、LCD表示装置あるいはCRT表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)26から構成される。
復号化装置2は、例えば、復号化プログラム5(後述)がインストールされた汎用コンピュータであり、通信装置22又は記録装置24などを介して符号データを取得し、取得された符号データを復号化して出力する。
[復号化プログラム]
図4は、制御装置20(図3)により実行され、本発明にかかる復号化方法を実現する復号化プログラム5の機能構成を例示する図である。
図4に例示するように、復号化プログラム5は、エントロピ復号部40、逆量子化部50及び逆変換部60を有する。
また、逆量子化部50は、逆量子化値推定部500、分布推定部520、期待値推定部540、乱数発生部560、補正部580及び逆量子化値出力部590を含む。
復号化プログラム5において、エントロピ復号部40は、入力された符号データを、エントロピ復号化して、逆量子化部50に出力する。
本例のエントロピ復号部40は、入力された符号データを復号化して、量子化インデクスQを生成し、生成された量子化インデクスを逆量子化部50に出力する。
逆量子化部50は、エントロピ復号部40から入力された量子化インデスクに基づいて、逆量子化値を生成し、生成された逆量子化値を逆変換部60に出力する。
逆変換部60は、逆量子化部50から入力された逆量子化値に基づいて、逆変換処理を行い、復号画像を生成する。
逆量子化部50において、逆量子化値推定部500は、エントロピ復号部40から入力された複数の量子化インデクスに基づいて、1つの逆量子化値を推定し、推定した逆量子化値を補正部580に出力する。
より具体的には、逆量子化値推定部500は、処理対象である部分データの量子化インデクスと、この部分データの近傍にある部分データ(例えば、注目画像領域の近傍にある画像領域の画像データ)の量子化インデクス(例えば、同じ変換係数種類cの量子化インデクス)とに基づいて、処理対象である部分データの逆量子化値を推定する。
本例の逆量子化値推定部500は、注目ブロックの量子化インデクスと、注目ブロックの周囲にあるブロックの量子化インデクス(同じ変換係数種類cのものに限る)とに基づいて、注目ブロックの量子化インデクスに対応する逆量子化値Rの補正係数αを算出し、算出された補正係数αを補正部580に出力する。
分布推定部520は、エントロピ復号部40から入力される複数の量子化インデクス(又は、これらに対応付けられた逆量子化値)に基づいて、変換係数(元データ)の分布を推定し、推定された変換係数の分布を示す分布データを期待値推定部540及び乱数発生部560に出力する。
期待値推定部540は、分布推定部520から入力された分布データに基づいて、逆量子化値の期待値を算出し、算出された期待値と分布データとを補正部580に出力する。
乱数発生部560は、分布推定部520から入力された分布データに応じて、乱数を生成し、生成された乱数を逆量子化値出力部590に出力する。
補正部580は、逆量子化値推定部500から入力された逆量子化値(本例では、逆量子化値の補正係数α)を、既定の範囲(例えば、逆量子化値の場合に、量子化インデクスに対応する量子化区間)におさまるように補正し、補正された逆量子化値(補正係数α)を逆量子化値出力部590に出力する。
また、補正部580は、期待値推定部540から入力された逆量子化値の分布データ又は期待値に応じて、逆量子化値推定部500から入力された逆量子化値(本例では、逆量子化値の補正係数α)を補正する。
本例の補正部580は、逆量子化値推定部500から入力された補正係数αを補正する。より具体的には、本例の補正部580は、JPEG方式において、補正係数αが−0.5から0.5の範囲に入るように、αを線形補正する。すなわち、補正部580は、同一の量子化インデクスに対応する補正係数αの中から、最大値αmax及び最小値αminを選択し、選択された最大値αmax及び最小値αminが既定の範囲(JPEGでは、-0.5から0.5の範囲)におさまるように、これらの補正係数α全体を線形変換する。
なお、補正部580は、補正係数αが−0.5から0.5の範囲を超える場合に、αをこの範囲の境界値としてもよい。また、補正部580は、補正係数αが−0.5から0.5の範囲を超える場合に、αを0としてもよい。
また、JPEG2000方式では、補正係数αの範囲がJPEG方式と異なるだけである。すなわち、JPEG2000方式では、補正部580は、補正係数αの範囲は、Q(c,i,j)>0の時に、0≦r+α≦1を満たす範囲、Q(c,i,j)<0の時に、-1≦-r+α≦0を満たす範囲、Q(c,i,j)=0の時に、-1≦α≦1を満たす範囲を、それぞれ基準として補正係数αを補正する。
逆量子化値出力部590(復号データ生成手段)は、補正部580から入力された逆量子化値(本例では、逆量子化値の補正係数α)、又は、乱数発生部560から入力された乱数を用いて、適用すべき逆量子化値を決定し、決定された逆量子化値を逆変換部60に出力する。
本例の逆量子化値出力部590は、補正部580又は乱数発生部560から入力された補正係数αと、量子化インデクスに対応付けられた逆量子化値とに基づいて、逆量子化値を算出する。
[逆量子化値推定部]
図5は、逆量子化値推定部500(図4)をより詳細に説明する図である。
図5に例示するように、逆量子化値推定部500は、周辺信号抽出部502、差分演算部504、非相関信号除去部506及びフィルタ処理部508を含む。
逆量子化値推定部500において、周辺信号抽出部502(参照値抽出手段)は、処理対象である量子化インデクスQ(c,i,j)の周囲量子化インデクスQ(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。なお、ここで抽出された周囲量子化インデクスは、(2M+1)×(2N+1)の行列となる。
差分演算部502は、周辺信号抽出部502により抽出されたそれぞれの周囲量子化インデクスQ(c,i+m,j+n)と、処理対象である量子化インデクスQ(c,i,j)との差分を算出する。
本例の差分演算部502は、以下の演算を行って、差分値P(m,n)で構成された(2M+1)×(2N+1)の差分行列を作成する。
P(m,n)=Q(c,i+m,j+n)-Q(c,i,j)
非相関信号除去部504は、既定の閾値THを用いて、処理対象である量子化インデクスQ(c,i,j)との相関が少ない周囲量子化インデクスQ(c,i+m,j+n)を除去する。
より具体的には、非相関信号除去部504は、差分演算部502により周囲量子化インデクスQ(c,i+m,j+n)それぞれについて算出された差分が、閾値THよりも大きい場合には、相関が少ないものと判定して、この周囲量子化インデクスQ(c,i+m,j+n)を除去する。
本例の非相関信号除去部504は、差分演算部502により作成された差分行列において、差分値の絶対値|P(m,n)|が閾値THよりも大きい場合に、このP(m,n)=0とする。
閾値THは、例えば、1である。
フィルタ処理部508は、周辺信号抽出部502により抽出された周囲量子化インデクスQ(c,i+m,j+n)(ただし、非相関信号除去部504により除去された周囲量子化インデクスを除く)に基づいて、処理対象である量子化インデクスQ(c,i,j)の補正係数αを算出する。
より具体的には、フィルタ処理部508は、差分演算部504により算出された差分(非相関信号除去部504により除去されたものを除く)に基づいて、補正係数αを算出する。
本例のフィルタ処理部508は、(2M+1)×(2N+1)のフィルタカーネルK(m,n)を用意する。このフィルタカーネルKは、2次元の低域通過特性を持つフィルタであることが望ましい。
フィルタ処理部508は、以下の式(数1)によって、補正係数α値を算出する。
Figure 0004775756
例えば、閾値TH=1、かつ、フィルタKの係数(中心を除く)が正の値である場合の演算結果を考察すると、正となる周囲量子化インデクスが多いときには、α値は、正の値を取る。また、正となる周囲量子化インデクスが多ければ多いほど、α値が大きな値を取る。負となる周囲量子化インデクスが多い場合も同様にα値が負となる。正負同数の場合には、α値の推定値は0となる。また、周囲量子化インデクスの値が注目量子化インデクスとかけ離れている場合には、α値の推定にその値を用いないことができる。
また、中心のフィルタ係数(すなわち、注目量子化インデクスに対応する係数)が0であるフィルタKを適用する場合に、フィルタ係数の和が0.5であることが望ましい。このようにフィルタ係数を設計しておくと、フィルタ入力値が0または1または−1である場合に、フィルタ出力の範囲が−0.5〜0.5となり、補正係数αの範囲と一致するため都合が良い。あるいは、フィルタ係数の和が0.5以下となるようにフィルタ係数を設計しておくと、フィルタ入力値が0または1または−1である場合に、フィルタ出力の範囲が−0.5〜0.5の範囲内に収まることとなり、補正係数αの範囲外になることがないため都合が良い。
なお、上記では、フィルタカーネルKは、奇数×奇数の行列としたが、実際にはどのような行列であってもよいし、mやnの範囲も-M≦m≦M,-N≦n≦Nのように正負の方向で対称としたが、このような対称の形状には限定されない。
また、上記は、JPEG方式のように、量子化区間の幅(量子化ステップ幅)が全体に渡って均一である場合の動作を示したものであるが、JPEG2000方式では、量子化区間の幅が均一ではない。例えば、量子化インデクスが0のときは、量子化ステップ幅が他の場合の2倍となっている。そのような場合には、逆量子化値推定部500は、量子化インデクスQを用いて推定するのではなく、逆量子化値Rを量子化ステップ幅D(c)で割った値を用いて推定すればよい。
すなわち、
(1)周辺信号抽出部502は、注目量子化インデクスQ(c,i,j)の周囲の量子化インデクスを逆量子化した値である逆量子化値R(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。ここで抽出された逆量子化値Rは、(2M+1)×(2N+1)の行列となる。
(2)差分演算部504は、P(m,n)={R(c,i+m,j+n)-R(c,i,j)}/D(c)の演算を行って、(2M+1)×(2N+1)の差分行列Pを作成する。
(3)以下、非相関除去部506及びフィルタ処理部508による処理は、上記と同様である。
ただし、JPEG2000方式の場合には、D(c)の乗算/除算を省くために以下のようにすることもできる。
(1)周辺信号抽出部502は、注目量子化インデクスQ(c,i,j)の周囲量子化インデクスQ(c,i+m,j+n)を抽出する(ただし、-M≦m≦M,-N≦n≦N)。ここで抽出された周囲量子化インデクスは、(2M+1)×(2N+1)の行列となる。
(2)差分演算部504は、Rt(c、i、j)=R(c,i,j)/D(c)と定義して、
Q(c,i,j)>0である場合、Rt(c,i,j)=Q(c,i,j)+r
Q(c,i,j)<0である場合、Rt(c,i,j)=Q(c,i,j)-r
Q(c,i,j)=0である場合、Rt(c,i,j)=0
としてRtを求めることができる。このとき、
P(m,n)=Rt(c,i+m,j+n)-Rt(c,i,j)
としてPを求める。
(3)以下、非相関除去部506及びフィルタ処理部508による処理は、上記と同様である。
[全体動作]
次に、復号化装置2(復号化プログラム5)の全体動作を説明する。
図6は、復号化プログラム5(図4)による復号化処理(S10)のフローチャートである。なお、本例では、画像データの符号データ(JPEG方式)が入力される場合を具体例として説明する。
図6に示すように、ステップ100(S100)において、エントロピ復号部40(図4)は、入力された符号データを復号化して、各ブロック(8×8ブロック)の量子化インデクスを生成し、生成された各ブロックの量子化インデクスを逆量子化部50に出力する。
ステップ105(S105)において、逆量子化部50(図4)は、入力された量子化インデクスを順に、注目量子化インデクスに設定し、この注目量子化インデクスについて逆量子化値の推定が可能であるか否かを判定する。例えば、逆量子化部50は、注目量子化インデクスと、全ての周囲量子化インデクス(周囲にあるブロックの量子化インデクス)とが一致する場合に、逆量子化値の推定が不可能であると判定し、これ以外の場合に、逆量子化値の推定が可能であると判定する。
逆量子化部50は、逆量子化値の推定が可能であると判定された場合に、S105の処理に移行し、逆量子化値の推定が不可能であると判定された場合に、S130の処理に移行する。
ステップ110(S110)において、逆量子化値推定部500(図4)に設けられた周辺信号抽出部502(図5)は、注目量子化インデクスQ(c,i,j)の周囲量子化インデクスQ(c,i+m,j+n)を抽出する(本例では、-1≦m≦1,-1≦n≦1)。
抽出される周囲量子化インデクスは、注目ブロックを中心とした3×3個のブロックにおける変換係数種類cの量子化インデクスであり、3×3の行列となる。
ステップ115(S115)において、差分演算部504(図5)は、周辺信号抽出部502により抽出された周囲量子化インデクスと、注目量子化インデクスとを用いて、以下の演算を行い、差分行列Pを作成する。
P(m,n)= Q(c,i+m, j+n) - Q(c,i,j)
差分行列Pは、3×3の行列となる。
ステップ120(S120)において、非相関信号除去部506(図5)は、差分演算部504により作成された差分行列Pに対して、閾値THを用いた閾値処理を行う。
すなわち、非相関信号除去部506は、差分行列Pに含まれる各差分値の絶対値|P(m,n)|と、閾値THとを比較して、閾値THよりも大きな差分値P(m,n)を0にする。
ステップ125(S125)において、フィルタ処理部508(図5)は、3×3のフィルタカーネルK(m,n)を用いて、非相関信号除去部506により処理された差分行列Pに対してコンボリューション演算を行い、補正係数α(c,i,j)を算出する。算出された補正係数α(c,i,j)は、補正部580に出力される。
ステップ130(S130)において、分布推定部520は、エントロピ復号部40から入力された複数の量子化インデクスに基づいて、変換係数の分布を推定し、推定された分布を示す分布データを乱数発生部560に出力する。
乱数発生部560は、分布推定部520から入力された分布データに応じて、乱数を生成し、生成された乱数を補正係数αとして逆量子化値出力部590に出力する。
ステップ135(S135)において、逆量子化部50は、全ての量子化インデクスについて補正係数αが生成されたか否かを判定し、全ての量子化インデクスについて補正係数αが生成された場合に、S140の処理に移行し、これ以外の場合に、S105の処理に戻って、次の量子化インデクスを注目量子化インデクスとして処理する。
ステップ140(S140)において、分布推定部520は、エントロピ復号部40から入力された複数の量子化インデクスに基づいて、変換係数の分布を推定し、推定された分布を示す分布データを期待値推定部540に出力する。
期待値推定部540は、分布推定部520から入力された分布データに基づいて、期待値を算出し、算出された期待値と、分布データとを補正部580に出力する。
補正部580は、フィルタ処理部508から入力された補正係数αを、期待値推定部540から入力された期待値及び分布データに基づいて補正する。例えば、補正部580は、分布推定部520により生成された分布と一致するように、フィルタ処理部508から入力された複数の補正係数αの値をまとめてシフトする。
補正部580(図4)は、上記のように補正された補正係数αを、−0.5〜0.5の範囲におさまるように補正し、補正された補正係数αを逆量子化値出力部590に出力する。
ステップ145(S145)において、逆量子化値出力部590(図4)は、注目量子化インデクスQと、補正部580から入力された補正係数αとに基づいて、適用すべき逆量子化値Ryを算出し、算出された逆量子化値Ryを逆変換部60に出力する。
具体的には、本例の逆量子化値出力部590は、以下の演算を行って逆量子化値Ryを算出する。
Ry(c,i,j)={Q(c,i,j)+α(c,i,j)}×D(c)
ステップ150(S150)において、逆変換部60(図4)は、逆量子化部50から入力された逆量子化値(近似的な変換係数)を用いて、逆変換処理(本例では逆DCT変換)を行って、復号画像Hを生成する。
図7は、フィルタ処理部508により適用されるフィルタカーネルKを例示する図であり、図7(A)は、フィルタへの入力が差分値Pである場合のフィルタカーネルKを例示し、図7(B)は、フィルタへの入力が量子化インデクスQ又は逆量子化値R(量子化インデクスQに対応付けられたもの)である場合のフィルタカーネルKを例示する。なお、本例は、周辺信号抽出部502により3×3の行列が抽出される場合に相当する。
フィルタ処理部508は、差分演算部504により生成された差分行列Pが入力される場合には、図7(A)に例示するように、中央の値が0であるフィルタカーネルKを適用する。
また、フィルタ処理部508は、図7(B)に例示するフィルタカーネルKを用いて、周囲量子化インデクスQ又はその逆量子化値Rから、補正後の量子化インデクスQ1又は補正後の逆量子化値Ryを算出してもよい。
まず、図7(B)に例示するフィルタカーネルKに、量子化インデクスを入力する形態を説明する。
この場合に、非相関信号除去部506(図5)は、閾値THを用意しておき、|P(m,n)|>THのとき、Q(c,i+m,j+n)=Q(c,i,j)とする処理を行う。
そして、フィルタ処理部508は、以下の式(数2)によりQ1を算出する。
Figure 0004775756
ここで、フィルタカーネルKは、
m=n=0のとき、
Figure 0004775756
それ以外のとき、
K1(m,n)=K(m,n)
とすることで、図7(A)に例示するフィルタKと同値にすることができる。
補正部508は、この場合に、α=Q1-Qとして、αの値が-0.5〜0.5の範囲に入るように、量子化インデクスQ1を補正して、量子化インデクスQ2を生成する。
逆量子化値出力部590は、Ry(c,i,j)=Q2(c,i,j)×D(c)の演算を行って、逆量子化値Ryを算出する。
なお、本例では、最終的にD(c)をかけて逆量子化値Ryを求めたが、フィルタカーネル自体をD(c)で乗じておけば、最終的にD(c)を乗じる必要はなくなる。
次に、図7(B)に例示するフィルタカーネルKに、逆量子化値Rを入力する形態を説明する。
逆量子化部500は、R(c,i,j)=Q(c,i,j)×D(c)の演算を行って、それぞれの量子化インデクスQに対応付けられた逆量子化値Rを算出する。
周囲信号抽出部502は、この場合に、量子化インデクスQではなく、逆量子化値Rの周囲信号を抽出する。抽出する範囲は、上記と同様である。
差分演算部504は、P(m,n)=R(c,i+m,j+n)-R(c,i,j)の演算を行う。
非相関信号除去部506は、閾値THを用意しておき、|P(m,n)|>THのとき、R(c,i+m,j+n)=R(c,i,j)とする処理を行う。THの典型的な値は、D(c)である。
フィルタ処理部508は、以下の式(数4)により、逆量子化値R1(c,i,j)を算出する。
Figure 0004775756
補正部580は、逆量子化値R1を、量子化区間におさまるように補正して、逆量子化値R2を生成する。
逆量子化値出力部590は、補正部580から入力荒れた逆量子化値R2をそのまま最終的な逆量子化値Ryとする。
[フィルタ係数の算出方法]
次に、具体的なフィルタ係数の求め方を説明する。なお、本例では、求めるフィルタカーネルが3×3のフィルタK(m,n)(-1≦m,n≦1)であり、入力が差分値P(m,n)である場合を具体例として説明する。
また、各差分値(m,n)の表記を簡単化するため、X0=P(0,0)、X1=P(-1,-1)、X2=P(-1,0)、X3=P(-1,1)、X4=P(0,-1)、X5=P(0,1)、X6=P(1,-1)、X7=P(1,0)、X7=P(1,1)とする。
Xp(p=0,1,2,...,8)は、図8(A)に例示された位置に存在する。
同様に、各フィルタ係数Kの表記を簡単化するため、K0=K(0,0)、K1=K(-1,-1)、K2=K(-1,0)、K3=K(-1,1)、K4=K(0,-1)、K5=K(0,1)、K6=K(1,-1)、K7=K(1,0)、K7=K(1,1)と表記する。Kp(p=0,1,2,...,8)も、図8(B)に例示された位置に存在する。
まず、Y0を以下のように定める。
Y0={T(c,i,j)-R(c,i,j)}/D(c)
Y0は、変換係数Tと逆量子化値Rとの差分を量子化ステップ幅D(c)で除算した値である。すなわち、Y0は、標準JPEG方式における逆量子化を行ったときの正規化誤差であり、-0.5から0.5の値を取る。このY0を推定することによって、より確からしい逆量子化値を求めることができる。Y0の推定値をW0とする。
ここで、W0をXpを用いて線形に推定する。
W0=Σ(Xp×Kp)
次に、Y0とW0との自乗誤差が最小になるようなKpを求める。
E[]を期待値を求める関数とすると、自乗誤差Iは、以下のように表される。
I=E[(Y0-W0)2]
このIを最小とするためには、自乗誤差Iが以下の式(数5)を満たせばよい。
Figure 0004775756
この式(数5)を変形すると、
E[Y0×Xp]=E[W0×Xp]
となる。さらに上式を変形すると、式(数6)となる。
Figure 0004775756
この式(数6)をベクトルKに関して解けばよいことになる。この式(数6)は、連立一次方程式であり、この式を満たすKpを求めればよい。
なお、本例では、3×3のフィルタについて説明したが、他の形状のフィルタでも各フィルタ係数K(i,j)と、入力値P(i,j)を1次元に並べて、フィルタ係数最適化を同様に行うことができる。
また、符号化装置が、符号化時に上記のフィルタ係数算出処理を行って、算出された最適なフィルタ係数を符号データに入れ混むようにしてもよい。
この場合には、フィルタ処理部508は、符号データに入れ込まれたフィルタ係数を用いて、フィルタ処理を行うことにより、符号データに適合したフィルタ処理を行うことができる。
以上説明したように、本実施形態における復号化装置2は、他の量子化インデクス(又は、これに対応付けられた逆量子化値)を参照して、注目量子化インデクス又はこれに対応付けられた逆量子化値を補正することにより、元の変換係数と近似した分布を有する逆量子化値を得ることができる。これにより、より高画質な復号画像を得ることができる。
また、本実施形態における復号化装置2は、注目量子化インデクスとの相関が少ないと判定される周囲量子化インデクスを除去することにより、より適切な逆量子化値を算出できる。
[変形例1]
上記実施形態では、固定的なフィルタ又は符号データに埋め込まれたフィルタを適用する形態を説明したが、第1の変形例では、フィルタを切り替えて適用する形態を説明する。
図9は、第1の変形例における逆量子化値推定部500の構成を例示する図である。
図9に例示するように、第1の変形例における逆量子化値推定部500は、上記実施形態の逆量子化推定部500(図5)に、フィルタ選択部510を追加した構成をとる。
フィルタ選択部510は、予め用意された複数のフィルタの中から、適用すべきフィルタを選択し、選択されたフィルタをフィルタ処理部508に出力する。
より具体的には、フィルタ選択部500は、以下の各判定要素に応じて、互いに異なるフィルタを選択することができる。
判定要素(1):量子化インデクスの値
判定要素(2):量子化インデクスが0の場合、正の場合、及び、負の場合
判定要素(3):量子化インデクスが0の場合と、量子化インデクスが0以外の場合
判定要素(4):(変換係数の標準偏差)/(量子化ステップサイズ)を計算して、算出された値
判定要素(5):AC成分の場合とDC成分の場合
なお、(変換係数の標準偏差)は、量子化インデクスの標準偏差を元に計算することができる。
本例のフィルタ選択部510は、量子化インデクスQ(c,i,j)が0である場合と、0以外である場合で互いに異なるフィルタを選択する。
また、本例のフィルタ選択部510は、さらに、変換係数種類cの情報も入力し、変換係数種類c毎にフィルタを選択する。特に、変換係数種類がDC成分である場合とAC成分である場合とで変換係数の特性が比較的大きく異なるため、少なくとも、AC成分とDC成分とで互いに異なるフィルタを適用する。
この場合に、フィルタ処理部508は、フィルタ選択部510により選択されたフィルタを用いて、フィルタ処理を行う。
図10は、テスト画像を用いて算出された最適フィルタ係数のグラフである。なお、本図において、「対角成分」は、図8(B)に示すK1,K3,K6,K8の平均値を示し、「水平鉛直成分」は、図8(B)に示すK2,K4,K5,K7の平均値を示す。また、横軸は、(変換係数の分散)/(量子化ステップサイズ)であり、縦軸は、フィルタ係数の値(平均値)を示す。
図10に示すように、量子化インデクスQが0である場合と、正の値である場合、及び、負の値である場合で、最適なフィルタ係数の対角成分及び水平線が互いに異なる。特に、量子化インデクスQが0である場合は、量子化インデクスQが正又は負の値である場合と比較すると、フィルタ係数が大幅に小さい。
また、図10に示すように、(変換係数の標準偏差)/(量子化ステップ)の値(すなわち、横軸)に応じて、フィルタ係数の値が変化することがわかる。すなわち、変換係数及び量子化ステップサイズ(量子化区間の幅)の値で最適なフィルタ係数が異なることが分かる。
そこで、本変形例のフィルタ選択部510は、量子化インデクスQの値、変換係数の標準偏差、又は、量子化区間の幅に応じて、最適なフィルタを選択する。すなわち、逆量子化値推定部500は、量子化インデクスQの値、変換係数の標準偏差、又は、量子化区間の幅に応じて、フィルタを切り替える。これにより、最適なフィルタが適用されることになり、より適切な逆量子化値が生成される。
なお、図10に示すように、量子化インデクスQが0である場合のフィルタ係数がほぼ0であるため、フィルタ選択部510は、量子化インデクスQ(c,i,j)が0である場合に、フィルタ処理部508によるフィルタ処理を禁止してもよい。
[変形例2]
フィルタ処理部508により適用されるフィルタは、基本的には低域通過特性を持つものである。そのため、復号画像は、ボケた画像になる虞がある。特に、細い線(細線)が消えてしまう可能性がある。
そこで、第2の変形例における逆量子化値推定部500は、細線の探索を行い、細線が検知された場合に、フィルタ処理部508によるフィルタリングを禁止する。
図11は、第2の変形例における逆量子化値推定部500の構成を例示する図である。
図11に例示するように、第2の変形例における逆量子化値推定部500は、上記第1の変形例の逆量子化推定部500(図9)に、細線検知部512を追加した構成をとる。
細線検知部512は、入力された符号データに基づいて、細線の有無を検知し、その検知結果をフィルタ選択部510に出力する。
本例の細線検知部512は、非相関信号除去部506からの出力に基づいて、細線を検知する。なお、本例では、非相関信号除去部506で適用される閾値THが1であり、非相関信号除去部506からの出力が、0、-1、1のうちのいずれかの値を取る場合を具体例として説明する。
また、本例の細線検知部512は、連続した細線に加えて、点線などのように不連続な細線も検知する。
図12は、細線検知パターンを例示する図であり、図12(A)は、横方向の細線に対応する細線検知パターンを例示し、図12(B)は、縦方向の細線に対応する細線検知パターンを例示し、図12(C)及び図12(D)は、斜め方向の細線に対応する細線検知パターンを例示する。なお、本図では、3×3のマトリクスを具体例として説明する。
細線検知部512は、非相関信号除去部506からの出力に基づいて、図12(A)に例示する細線検知パターンのXの位置の値が、全て1あるいは全て−1であるか否かを判断し、Xの位置の値が全て1又は−1である場合に、中央の横線が線となっているか、あるいは、点線となっている、あるいは、中央の値が孤立点となっていると判断する。
細線検知部512は、図12(B)に例示する細線検知パターンを用いて、縦方向の細線又は点線、あるいは、孤立点を検知し、図12(C)及び図12(D)の細線検知パターンを用いて、斜め方向の細線又は点線、あるいは、孤立点を検知する。
このように、本例の細線検知部512は、細線の位置そのものを検査して検知するのではなく、細線の周囲位置に同一信号値が存在するかどうかを判定して、細線を検出する。これにより、細線の位置に、連続な線、破線等の不連続な線、又は、孤立点等が存在していても、それらを検知することができる。
そして、フィルタ選択部510は、細線検知部512により細線が検知された場合に、フィルタ処理部508によるフィルタ処理を禁止することにより、検知された細線、点線又は孤立点を保存することができる。
[その他の変形例]
上記実施形態及び変形例では、JPEG方式を具体例として説明したが、JPEG2000方式でも適用できる。
また、上記実施形態では、補正部580が、逆量子化値推定部500により推定された逆量子化値(又は、補正係数α)を、既定の範囲内におさまるように補正しているが、フィルタ係数の値を適切に設定することにより、逆量子化値(又は、補正係数α)を既定の範囲内におさめることができる。したがって、逆量子化値推定部500により推定された逆量子化値、補正係数α、又は、量子化インデクスに対して、必ずしも補正を行う必要はない。例えば、閾値THを1とし、かつ、フィルタ係数の和を1/2以下とすることによって、補正部580による補正は不要となる。
JPEG方式及びJPEG2000方式などの変換符号化方式の概略を説明する図であり、(A)は、符号化処理の概略を示し、(B)は、復号化処理の概略を示す。 変換符号化方式における量子化処理を説明する図である。 本発明にかかる復号化方法が適応される復号化装置2のハードウェア構成を、制御装置20を中心に例示する図である。 制御装置20(図3)により実行され、本発明にかかる復号化方法を実現する復号化プログラム5の機能構成を例示する図である。 逆量子化値推定部500(図4)をより詳細に説明する図である。 復号化プログラム5(図4)による復号化処理(S10)のフローチャートである。 フィルタ処理部508により適用されるフィルタカーネルKを例示する図であり、(A)は、フィルタへの入力が差分値Pである場合のフィルタカーネルKを例示し、(B)は、フィルタへの入力が量子化インデクスQ又は逆量子化値Rである場合のフィルタカーネルKを例示する。 フィルタ係数K及びその算出に用いる差分値Xの配置を例示する図である。 第1の変形例における逆量子化値推定部500の構成を例示する図である。 テスト画像を用いて算出された最適フィルタ係数のグラフである。 第2の変形例における逆量子化値推定部500の構成を例示する図である。 細線検知パターンを例示する図であり、(A)は、横方向の細線に対応する細線検知パターンを例示し、(B)は、縦方向の細線に対応する細線検知パターンを例示し、(C)及び(D)は、斜め方向の細線に対応する細線検知パターンを例示する。
符号の説明
2・・・復号化装置
5・・・復号化プログラム
40・・・エントロピ復号部
50・・・逆量子化部
500・・・逆量子化値推定部
502・・・周辺信号抽出部
504・・・差分演算部
506・・・非相関信号除去部
508・・・フィルタ処理部
510・・・フィルタ選択部
512・・・細線検知部
520・・・分布推定部
540・・・期待値推定部
560・・・乱数発生部
580・・・補正部
590・・・逆量子化値出力部
60・・・逆変換部

Claims (11)

  1. 変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、
    処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、
    前記参照値抽出手段により抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとの差分に対してフィルタ処理を行なうことにより、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出する補正係数算出手段と、
    前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正する補正係数修正手段と、
    前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成する、補正後逆量子化値生成手段
    を有する復号化装置。
  2. 前記補正後逆量子化値生成手段は、前記修正された補正係数と、前記処理対象の量子化インデクスとを合算し、該合算した値に対して、前記変換符号化処理の量子化幅をかけて、前記補正後逆量子化値を生成する
    請求項1に記載の復号化装置。
  3. 前記他の量子化インデクスと、前記処理対象の量子化インデクスとの差分が既定値以下となる他の量子化インデクスに基づいて、前記補正係数を算出する
    請求項1又は2に記載の復号化装置。
  4. 前記補正係数修正手段は、前記補正係数算出手段により算出された同じ量子化インデクス値に対応する複数の補正係数の中から最大値及び最小値を選択し、選択された最大値及び最小値が既定の範囲におさまるように該複数の補正係数を線形変換して修正する
    請求項1〜3のいずれかに記載の復号化装置。
  5. 前記補正係数算出手段は、前記処理対象の量子化インデクスが0である場合に、前記フィルタ処理を行わないように制御する
    請求項に記載の復号化装置。
  6. 前記補正係数算出手段は、処理対象となる量子化インデクスがAC成分に対応するかDC成分に対応するかに応じて、前記フィルタ処理で用いるフィルタを異ならせる
    請求項に記載の復号化装置。
  7. 前記処理対象の量子化インデクスに対応する変換係数の標準偏差と、前記処理対象の量子化インデクスに対応する量子化幅とに応じて、前記フィルタ処理で用いられるフィルタを選択するフィルタ選択手段をさらに有する
    請求項に記載の復号化装置。
  8. 前記処理対象の量子化インデクスが細線又は孤立点に相当するか否かを判定する細線判定手段
    をさらに有し、
    前記補正係数算出手段は、前記細線判定手段により前記処理対象の量子化インデクスが細線又は孤立点に相当すると判定された場合に、前記フィルタ処理を行わないように制御する
    請求項に記載の復号化装置。
  9. 変換符号化処理により生成された量子化インデクスの逆量子化処理を行う復号化装置であって、
    量子化インデクスに関して、参照すべき他の量子化インデクスを抽出する参照値抽出手段と、
    前記参照値抽出手段により抽出された他の量子化インデクスと前記処理対象の量子化インデクスとの差分値を算出する差分算出手段と、
    前記差分算出手段により算出された差分値に対して、既定のフィルタ処理を施すことにより、前記処理対象量子化インデクスに対応する逆量子化値を補正する補正係数を算出するフィルタ処理手段と
    を有する復号化装置。
  10. 前記フィルタ処理手段は、0以上のフィルタ係数を有し、かつ、フィルタ係数の総和が1/2以下であるフィルタを用いて、前記フィルタ処理を行う
    請求項に記載の復号化装置。
  11. 変換符号化処理により生成された量子化インデクスの逆量子化処理をコンピュータに実行させるプログラムであって、
    処理対象の複数の量子化インデクスに関して、参照すべき他の量子化インデクスを抽出するステップと、
    抽出された他の量子化インデクスと、前記処理対象の量子化インデクスとの差分に対してフィルタ処理を行なうことにより、前記処理対象の量子化インデクスに対応する逆量子化値を補正する補正係数を算出するステップと、
    前記算出された補正係数が既定の範囲におさまるように、前記算出された補正係数を修正するステップと、
    前記修正された補正係数を用いて、前記処理対象の量子化インデクスに対応する逆量子化値を補正し、補正後逆量子化値を生成するステップと
    をコンピュータに実行させるプログラム。
JP2005079246A 2005-03-18 2005-03-18 復号化装置及びそのプログラム Expired - Fee Related JP4775756B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005079246A JP4775756B2 (ja) 2005-03-18 2005-03-18 復号化装置及びそのプログラム
US11/151,212 US7486830B2 (en) 2005-03-18 2005-06-14 Decoding apparatus, decoding method and program product therefor
CNB200510079564XA CN100448261C (zh) 2005-03-18 2005-06-17 解码装置和解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005079246A JP4775756B2 (ja) 2005-03-18 2005-03-18 復号化装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2006262278A JP2006262278A (ja) 2006-09-28
JP4775756B2 true JP4775756B2 (ja) 2011-09-21

Family

ID=37003134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005079246A Expired - Fee Related JP4775756B2 (ja) 2005-03-18 2005-03-18 復号化装置及びそのプログラム

Country Status (3)

Country Link
US (1) US7486830B2 (ja)
JP (1) JP4775756B2 (ja)
CN (1) CN100448261C (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
JP5102122B2 (ja) * 2008-06-11 2012-12-19 キヤノン株式会社 復号化装置及び復号化方法
MY154427A (en) * 2008-07-30 2015-06-15 Hitachi Maxell Compressed image noise removal device and reproduction device
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
JP4951113B1 (ja) 2010-12-20 2012-06-13 株式会社東芝 画像復号化装置、画像復号化方法およびプログラム
JP5715533B2 (ja) * 2011-09-13 2015-05-07 Kddi株式会社 動画像画質復元装置、動画像画質復元方法、およびプログラム
US9483413B2 (en) 2014-10-24 2016-11-01 Samsung Electronics Co., Ltd. Nonvolatile memory devices and methods of controlling the same

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3485192B2 (ja) * 1991-01-10 2004-01-13 オリンパス株式会社 画像信号復号化装置
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
JPH0514735A (ja) 1991-07-01 1993-01-22 Kubota Corp 画像処理装置
JPH05260310A (ja) * 1992-03-12 1993-10-08 Fujitsu Ltd 逆量子化方法、画像データ符号化装置、および画像データ復号化装置
JPH05316361A (ja) 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
US5615288A (en) * 1993-04-26 1997-03-25 Fuji Xerox Co., Ltd. Singular value decomposition coding and decoding apparatuses
JP3466705B2 (ja) * 1993-05-28 2003-11-17 ゼロックス・コーポレーション 圧縮画像の圧縮解除方法
JP3271097B2 (ja) * 1993-08-19 2002-04-02 ソニー株式会社 ディジタル画像信号の復号装置
JP2921358B2 (ja) * 1993-10-06 1999-07-19 富士ゼロックス株式会社 画像符号化装置
KR0128881B1 (ko) * 1994-04-30 1998-04-10 배순훈 디지틀화상복호화장치
JP3166501B2 (ja) * 1994-09-13 2001-05-14 松下電器産業株式会社 画像再圧縮方法及び画像再圧縮装置
JP2914607B2 (ja) 1994-06-10 1999-07-05 シャープ株式会社 画像信号復号化装置
JPH08102943A (ja) * 1994-09-30 1996-04-16 Fuji Xerox Co Ltd 画像符号化装置
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
US6072909A (en) * 1995-12-13 2000-06-06 Fuji Xerox Co., Ltd. Image coding devise and image decoding devise using with image disassembly
JP2888186B2 (ja) * 1996-02-19 1999-05-10 富士ゼロックス株式会社 画像符号化装置および画像復号装置
JP2002091691A (ja) * 2000-09-20 2002-03-29 Nagano Fujitsu Component Kk ポインティングデバイス
US6473533B1 (en) * 1996-10-25 2002-10-29 Fuji Xerox Co., Ltd. Image encoding apparatus and image decoding apparatus
JP3176601B1 (ja) * 1996-10-30 2001-06-18 松下電器産業株式会社 画像復号化装置
JPH10243402A (ja) * 1997-02-27 1998-09-11 Toshiba Corp 画像処理装置及び画像処理方法
JP3087835B2 (ja) * 1997-04-22 2000-09-11 富士ゼロックス株式会社 画像符号化方法および装置ならびに画像復号方法および装置
JP3959698B2 (ja) * 1998-02-24 2007-08-15 ソニー株式会社 画像処理方法および装置
JP3921678B2 (ja) * 1998-02-24 2007-05-30 ソニー株式会社 画像処理方法および装置
US6393155B1 (en) * 1998-11-04 2002-05-21 International Business Machines Corporation Error reduction in transformed digital data
CN1286575A (zh) 1999-08-25 2001-03-07 松下电器产业株式会社 噪声检测方法、噪声检测装置及图象编码装置
JP4365957B2 (ja) * 1999-11-05 2009-11-18 キヤノン株式会社 画像処理方法及びその装置及び記憶媒体
US7035471B2 (en) * 2000-05-09 2006-04-25 Sony Corporation Data processing device and data processing method and recorded medium
US6675185B1 (en) * 2000-06-07 2004-01-06 International Business Machines Corporation Hybrid domain processing of multi-dimensional transformed data
US7092578B2 (en) * 2001-10-23 2006-08-15 Agilent Technologies, Inc. Signaling adaptive-quantization matrices in JPEG using end-of-block codes
JP2003134346A (ja) * 2001-10-26 2003-05-09 Nec Microsystems Ltd 符号化/復号化処理方法及び装置
JP4309703B2 (ja) 2002-06-21 2009-08-05 日本放送協会 符号化誤差推定装置
US7362474B2 (en) * 2004-06-07 2008-04-22 Lite-On Technology Corp. Printing quality enhancement via graphic/text detection method in compression (JPEG) image
JP2006074339A (ja) * 2004-09-01 2006-03-16 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム

Also Published As

Publication number Publication date
CN100448261C (zh) 2008-12-31
US20060210182A1 (en) 2006-09-21
JP2006262278A (ja) 2006-09-28
CN1835548A (zh) 2006-09-20
US7486830B2 (en) 2009-02-03

Similar Documents

Publication Publication Date Title
JP4775756B2 (ja) 復号化装置及びそのプログラム
JP4737711B2 (ja) 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
Jung et al. A new histogram modification based reversible data hiding algorithm considering the human visual system
Wu et al. Reversible image watermarking on prediction errors by efficient histogram modification
KR100809409B1 (ko) 복호화 장치, 역양자화 방법 및 이들의 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
JP2002325170A (ja) 画像処理装置及びその方法並びにプログラムコード、記憶媒体
CN101105857A (zh) 一种基于预测和压扩技术的高容量可逆水印方法
JP2006340345A (ja) ビデオから抽出された画像を強調する方法
US7778468B2 (en) Decoding apparatus, dequantizing method, and program thereof
Efimushkina et al. Rate-distortion based reversible watermarking for JPEG images with quality factors selection
JP4645948B2 (ja) 復号化装置及びプログラム
JP2006270737A (ja) 復号化装置、分布推定方法、復号化方法及びこれらのプログラム
JP4784386B2 (ja) 復号化装置、逆量子化方法及びプログラム
JP4730144B2 (ja) 復号化装置、逆量子化方法及びこれらのプログラム
JP2007166492A (ja) 画像処理装置、符号化方法及びプログラム
US10015507B2 (en) Transform system and method in video and image compression
CN115278314B (zh) 一种多值数字视频水印嵌入及盲提取方法
Brabin et al. QET based steganography technique for JPEG images
US8254709B2 (en) Variable length encoding device of image compression system
JP4766382B2 (ja) 画像評価装置、画像評価方法及びプログラム
JP4083043B2 (ja) 符号化ノイズ除去装置
Naheed et al. Intelligent reversible digital watermarking technique using interpolation errors
JP4952624B2 (ja) 圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラム
CN114998081A (zh) 一种基于h.265/hevc的视频盲水印嵌入和提取方法
JP3945503B2 (ja) 係数データ生成装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110606

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4775756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110619

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees