JP6806136B2

JP6806136B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6806136B2
Application number: JP2018504440A
Authority: JP
Inventors: 健太先崎
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-03-10
Filing date: 2017-03-03
Publication date: 2021-01-06
Anticipated expiration: 2037-03-03
Also published as: US20200311875A1; WO2017154762A1; US10997695B2; JPWO2017154762A1

Description

本開示は、画像処理に関する。

画像に含まれるノイズを低減する技術は、画像をより鮮明に再現するためだけでなく、画像処理に起因するノイズの強調を抑制するためにも必要な技術である。ここでいうノイズとは、例えば、加法性白色ガウシアンノイズやポアソンノイズである。

画像に含まれるノイズを低減する技術として、例えば、離散コサイン変換（Discrete Cosine Transform。以下「ＤＣＴ」ともいう。）の一種である冗長離散コサイン変換（Redundant DCT。以下「ＲＤＣＴ」ともいう。）が知られている（例えば、非特許文献１参照）。ＲＤＣＴは、ブロック毎のＤＣＴによって得られる変換係数（振幅）を軟判定閾値処理（Soft Shrinkage）や硬判定閾値処理（Hard Shrinkage）などによって補正し、さらに、補正された変換係数を逆変換することによってノイズが低減された画像を得る手法である。

入力画像に含まれるノイズが平均０、分散σ²の加法性白色ガウシアンノイズであると仮定した場合、そのノイズ成分は、ＤＣＴ後の全ての変換係数に拡散する。一方、画像信号の疎表現理論から、一般に、ノイズフリーな画像信号には、ＤＣＴ後に特定の周波数成分にエネルギーが集中する傾向がある。したがって、ノイズフリーな画像信号は、比較的少数の変換係数で表現可能である。このような性質に基づき、絶対値が小さな変換係数を棄却し、絶対値が大きな変換係数を維持する閾値処理を実行することで、ノイズ成分を低減しつつ原信号の成分を維持することが可能になる。なお、このようなノイズの低減に用いられる周波数変換には、ＤＣＴのほか、アダマール変換やウェーブレット変換がある。

小松隆、上田康隆、齊藤隆弘、"Super-resolution decoding of JPEG-compressed image data with the shrinkage in the redundant DCT domain, " Picture Coding Symposium (PCS), 2010 , pp.114-117, 8-10 Dec. 2010

画像の平坦領域、すなわち画素値に相違がない（又は少ない）領域において、上述のような閾値処理によって大多数の周波数成分が０になるような場合に一部の周波数成分が０にならずに残存すると、その周波数の基底パターンが画像に現れてしまう問題がある。この基底パターンは、本来は平坦領域に存在しない模様として視認され得る。特に、この問題は、ブロックのサイズが大きくなると顕著となる。

本開示の例示的な目的の一つは、周波数変換における閾値処理によって発生し得るノイズを抑制することである。

本開示の一態様に係る画像処理装置は、複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行する閾値処理手段と、前記ブロックを構成する複数の画素の特徴量を算出する算出手段と、前記算出された特徴量に基づいて第２のパラメータを決定する決定手段と、前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正する補正手段とを含む。

本開示の別の態様に係る画像処理装置は、画像を複数の画素により構成されたブロックに分割する分割手段と、前記ブロックを周波数変換した場合の各周波数成分の変換係数をブロック毎に算出する変換手段と、前記算出されたブロック毎の変換係数に対して第１のパラメータを用いた閾値処理を実行する閾値処理手段と、前記ブロックを構成する複数の画素の特徴量をブロック毎に算出する算出手段と、前記算出された特徴量に基づいて第２のパラメータをブロック毎に決定する決定手段と、前記閾値処理が実行された各周波数成分の変換係数を前記決定された第２のパラメータを用いてブロック毎に補正する補正手段と、前記補正された各周波数成分の変換係数を用いた前記周波数変換の逆変換により、前記ブロックに対応する補正後のブロックを生成する逆変換手段と、前記生成されたブロックを統合した画像データを生成する統合手段と、前記生成された画像データを正規化する正規化手段とを含む。

本開示のさらに別の態様に係る画像処理方法は、複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行し、前記ブロックを構成する複数の画素の特徴量を算出し、前記算出された特徴量に基づいて第２のパラメータを決定し、前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正する。

本開示のさらに別の態様に係るプログラム記録媒体は、コンピュータに、複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行する処理と、前記ブロックを構成する複数の画素の特徴量を算出する処理と、前記算出された特徴量に基づいて第２のパラメータを決定する処理と、前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正する処理とを実行させるためのプログラムをコンピュータ読み取り可能に記録する。

本開示によれば、周波数変換における閾値処理によって発生し得るノイズを抑制することが可能である。

図１は、画像処理装置の構成の一例を示すブロック図である。図２は、画像処理装置の動作を示すフローチャートである。図３は、画像処理装置の構成の別の例を示すブロック図である。図４は、画像処理部の構成を示す機能ブロック図である。図５は、画像データの分割を例示する図である。図６は、画像処理部の動作の一例を示すフローチャートである。図７は、画像処理部の構成の別の例を示す機能ブロック図である。図８Ａは、標準正規分布表を例示する図である。図８Ｂは、標準正規分布表と標準正規分布の関係を説明するための図である。図９は、画像処理部の動作の別の例を示すフローチャートである。図１０は、画像処理部の構成のさらに別の例を示す機能ブロック図である。図１１は、画像処理部の動作のさらに別の例を示すフローチャートである。図１２は、画像処理装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一の実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、閾値処理部１１０と、算出部１２０と、決定部１３０と、補正部１４０とを含む。ただし、画像処理装置１００は、必要に応じて他の構成要素を含んでもよい。

画像処理装置１００は、周波数変換における閾値処理によって発生し得るノイズを抑制するための画像処理装置である。ここでいう周波数変換は、画像を所定のサイズに分割した場合の画素の集合（以下「ブロック」という。）を周波数領域に変換する処理である。周波数変換は、例えば、ＤＣＴ、ＲＤＣＴ、フーリエ変換、アダマール変換及びウェーブレット変換のいずれかであるが、これらに限定されない。

ブロックのサイズ及び形状は、特に限定されない。ただし、以下においては、説明の便宜上、ブロックの形状は正方形であるとする。また、この正方形の辺の方向を水平方向及び垂直方向とする。すなわち、本実施形態のブロックは、垂直方向及び水平方向に同数の画素により構成される。ブロックのサイズは、例えば、８×８（すなわち６４）画素又は１６×１６（すなわち２５６）画素である。

閾値処理部１１０は、閾値処理を実行する。閾値処理部１１０は、絶対値が小さな変換係数を棄却し、絶対値が大きな変換係数を維持することが可能であれば、閾値処理の具体的な手法は限定されない。閾値処理部１１０は、上述された硬判定閾値処理又は軟判定閾値処理を実行してもよいし、他の閾値処理を実行してもよい。

具体的には、閾値処理部１１０は、あるブロックを周波数変換した場合の各周波数成分の変換係数に対して、所定のパラメータを用いた閾値処理を実行する。このパラメータのことを、以下においては「第１のパラメータ」という。例えば、閾値処理部１１０は、各周波数成分の変換係数の絶対値を第１のパラメータと比較し、絶対値が第１のパラメータ以下である変換係数を棄却し（すなわち０にし）、絶対値が第１のパラメータより大きい変換係数を棄却しない。閾値処理部１１０は、絶対値が第１のパラメータより大きい変換係数の値を変更せずにそのままとしてもよいし、元の値より０に近い値に変更してもよい。

算出部１２０は、ブロックの特徴量を算出する。算出部１２０は、ブロックを構成する複数の画素に関する特徴量を算出する。すなわち、算出部１２０により算出される特徴量は、ブロックを構成する画素に依存し、ブロックを構成する画素に応じて異なり得る。一の態様において、特徴量は、ブロックを構成する画素の分布に基づいて特定される。例えば、特徴量は、画素値の分散や標準偏差に基づいて特定される。

決定部１３０は、変換係数を補正するためのパラメータを決定する。このパラメータのことを、以下においては「第２のパラメータ」という。決定部１３０は、算出部１２０により算出された特徴量に基づいて第２のパラメータを決定する。第２のパラメータは、例えば、所定の条件を満たす場合には変換係数を棄却し、当該条件を満たさない場合には変換係数を維持するように決定される。

補正部１４０は、変換係数を補正する。補正部１４０は、閾値処理部１１０により閾値処理が実行された各周波数成分の変換係数を、決定部１３０により決定された第２のパラメータを用いて補正する。補正部１４０は、補正された変換係数を出力する。

図２は、画像処理装置１００の動作を示すフローチャートである。画像処理装置１００は、図２に示される処理をブロック単位で実行する。すなわち、画像処理装置１００は、複数のブロックを処理対象とする場合には、それぞれのブロックについて図２に示される処理を実行する。

ステップＳ１０１において、閾値処理部１１０は、処理対象のブロックを周波数分解して得られる各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行する。このとき、閾値処理部１１０は、各周波数成分の変換係数を取得する。ブロックの画素値から変換係数を算出する処理は、画像処理装置１００と異なる装置で実行されてもよく、閾値処理部１１０の前段に設けられる他の構成要素によって実行されてもよい。

ステップＳ１０２において、算出部１２０は、処理対象のブロックの特徴量を算出する。なお、ステップＳ１０２の処理を実行するタイミングは、ステップＳ１０１の処理を実行するタイミングに依存しない。算出部１２０は、閾値処理部１１０による閾値処理と並行して特徴量を算出してもよく、閾値処理の開始前に特徴量を算出してもよい。

ステップＳ１０３において、決定部１３０は、ステップＳ１０２において算出された特徴量に基づいて第２のパラメータを決定する。換言すると、決定部１３０は、処理対象のブロックを補正するか否かをステップＳ１０２において算出された特徴量に基づいて決定する。なお、第２のパラメータは、直流成分を除く全ての周波数成分の変換係数に対して一律に適用される。

ステップＳ１０４において、補正部１４０は、ステップＳ１０１において閾値処理が実行された変換係数を第２のパラメータを用いて補正する。例えば、補正部１４０は、各周波数成分の変換係数に対して第２のパラメータを乗じる。この例の場合、補正部１４０は、第２のパラメータの値が０であれば、直流成分を除く全ての変換係数を０にする。また、補正部１４０は、第２のパラメータの値が１であれば、いずれの変換係数も補正することなくそのまま出力する。

以上のとおり、本実施形態の画像処理装置１００は、閾値処理が実行された変換係数に対して、ブロックの特徴量に応じた補正を実行する構成を有する。この構成により、画像処理装置１００は、閾値処理によって変更された変換係数をさらに変更することが可能である。したがって、画像処理装置１００は、このような構成を有しない場合に比べ、閾値処理によって発生し得るノイズを抑制することが可能である。

［第２実施形態］
図３は、別の実施形態に係る画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、入力部２１０と、画像処理部２２０と、出力部２３０とを含む。なお、本実施形態以降の実施形態において、第１実施形態に記載された用語と同一の用語は、特に定義又は説明がある場合を除き、第１実施形態と同様の意味で用いられる。

入力部２１０は、画像データを画像処理部２２０に入力する。入力部２１０は、例えば、デジタルスチルカメラ、イメージスキャナ等の撮像装置や、画像データが蓄積されたデータベースである。あるいは、入力部２１０は、このような撮像装置やデータベースから画像データを取得するインタフェースであってもよい。なお、入力部２１０は、画像データを画像処理部２２０に入力する前に、画像データを画像処理部２２０における画像処理に適した形式に変換する処理（色空間の変換等）を実行してもよい。

説明の便宜上、以下においては、入力部２１０によって画像処理部２２０に入力される画像データを「原画像データ」ともいう。換言すれば、原画像データは、画像処理部２２０による画像処理が実行されていない状態の画像データである。同様に、画像処理部２２０による画像処理が実行されていない状態の画像を「原画像」ともいう。原画像データのサイズ（すなわち画素数）や色深度は、画像処理部２２０による画像処理が実行可能であれば、特に限定されない。

画像処理部２２０は、入力部２１０により入力された画像データに対し、周波数変換及びその逆変換を含む画像処理を実行する。本実施形態において例示される周波数変換は、ＲＤＣＴである。また、画像処理部２２０が実行する画像処理には、ＲＤＣＴに起因して発生し得るノイズを抑制する処理が含まれる。画像処理部２２０は、特定のハードウェアによって構成されてもよく、汎用のハードウェアと特定のソフトウェアの組み合わせによって実現されてもよい。

出力部２３０は、画像処理部２２０により画像処理が実行された画像データを出力する。例えば、出力部２３０は、ディスプレイ、プリンタ等の画像データを可視化する装置や、ハードディスク、メモリカード等の記憶媒体に画像データを記録する装置である。あるいは、出力部２３０は、このような装置に画像データを供給するインタフェースであってもよい。

図４は、画像処理部２２０の構成を示す機能ブロック図である。画像処理部２２０は、分割部２２１と、変換部２２２と、閾値処理部２２３と、算出部２２４と、決定部２２５と、補正部２２６と、逆変換部２２７と、統合部２２８と、正規化部２２９とを含む。画像処理部２２０は、第１実施形態の画像処理装置１００の具体例に相当する。

なお、図４は、画像処理部２２０の構成要素の機能的な分類を示す。したがって、図４に示された構成要素は、それぞれが独立したハードウェアである必要はなく、例えば、複数の構成要素が単一のハードウェアによって実現されてもよい。

分割部２２１は、画像データを複数のブロックに分割する。本実施形態において、ブロックのサイズは、８×８（すなわち６４）画素であるとする。分割部２２１による画像データの分割は、ブロックの重複（オーバーラップ）を許容する。すなわち、分割部２２１により分割される複数のブロックは、同一の画素を含み得る。

図５は、分割部２２１による画像データの分割を例示する図である。図５において、Ｐ_ijは、ｉ行ｊ列の画素を表す。この例において、画素Ｐ₁₂は、ブロックＢ１、Ｂ２に含まれる。同様に、画素Ｐ₂₁は、ブロックＢ１、Ｂ３に含まれる。また、画素Ｐ₂₂は、ブロックＢ１、Ｂ２、Ｂ３、Ｂ４のいずれにも含まれる。

以下においては、原画像データを構成する各画素について、当該画素を含んで構成されるブロックの数を、当該画素の冗長度という。本実施形態、すなわちブロックのサイズが８×８画素である場合において、画素の冗長度は、最小で１、最大で６４である。図５の例において、画素Ｐ₁₁の冗長度は、１である。また、画素Ｐ₁₂、Ｐ₂₁の冗長度は、いずれも２である。また、画素Ｐ₂₂の冗長度は、４である。

変換部２２２は、分割部２２１により分割されたブロックのそれぞれに対してＤＣＴを実行する。変換部２２２は、ブロックを周波数領域で表現した場合の各周波数成分の変換係数（以下「ＤＣＴ係数」という。）を算出する。ＤＣＴは、周知の手法で実行される。

閾値処理部２２３は、閾値処理をブロック毎に実行する。閾値処理部２２３は、変換部２２２により算出された変換係数に対し、所定のパラメータ（以下「閾値パラメータ」という。）を用いた閾値処理を実行する。閾値処理は、本実施形態においては硬判定閾値処理である。閾値パラメータは、第１のパラメータの一例に相当する。

ここにおいて、位置（ｉ，ｊ）における閾値処理前のＤＣＴ係数をｆ（ｉ，ｊ）、閾値パラメータをτとすると、閾値処理後のＤＣＴ係数ｆ′（ｉ，ｊ）は、以下の（１）式によって表すことができる。ここにおいて、位置（ｉ，ｊ）は、水平方向及び垂直方向の周波数成分を表し、ｉ，ｊの値が大きいほど高い周波数成分に相当する。また、（ｉ，ｊ）＝（０，０）におけるＤＣＴ係数は、直流成分のＤＣＴ係数に相当する。

（１）式に示されるように、閾値処理部２２３は、ＤＣＴ係数の絶対値が閾値パラメータτよりも大きい場合にはＤＣＴ係数を変更せず、ＤＣＴ係数の絶対値が閾値パラメータτ以下である場合にはＤＣＴ係数を０に変更する。なお、位置（ｉ，ｊ）＝（０，０）におけるＤＣＴ係数は、閾値処理の対象から除外される。

閾値パラメータτの具体的な値は、特定の値に限定されない。一の態様において、閾値パラメータτは、ブロックを構成する画素の分布によらずに、例えば全ブロックについて同一の値が用いられる。例えば、閾値パラメータτは、加法性白色ガウシアンノイズの分散をσ²、標準偏差をσとした場合、２σ≦τ≦３σを満たす値である。あるいは、閾値パラメータτは、ブロックを構成する画素の分布に基づいて、すなわちブロック毎に決定されてもよい。

算出部２２４は、分割部２２１により分割されたブロックの特徴量をブロック毎に算出する。本実施形態において、算出部２２４は、ブロックを構成する画素の画素値の分散を特徴量として算出する。具体的には、算出部２２４は、以下の（２）式により画素値の平均値μを算出し、以下の（３）式により分散σ_c ²を算出する。ただし、ｂ（ｘ，ｙ）は、位置（ｘ，ｙ）にある画素の画素値を表す。また、ｎは、ブロックの１辺の長さ（本実施形態では８）を表す。
である。

ここで、ブロックが原画像中の平坦領域にあり、画素間の画素値の変動が全てノイズの分散に起因するとした場合、原画像に含まれるノイズの分散をσ²とすると、σ_c ²はσ²とほぼ等しくなる。一方、ブロックが原画像中のテクスチャ領域、すなわち特定のパターンが繰り返される領域にある場合や、エッジ上にある場合は、σ_c ²はσ²に比して十分に大きくなる。したがって、分散σ_c ²は、ブロックが平坦領域にあるか否かの推定に用いることが可能である。

決定部２２５は、算出部２２４により算出された特徴量に基づいて所定のパラメータ（以下「補正パラメータ」という。）を決定する。より詳細には、決定部２２５は、（３）式により算出される分散σ_c ²と所定の閾値ξとを用いて、以下の（４）式により補正パラメータγを計算する。補正パラメータγは、第２のパラメータの一例に相当する。

ここで、ξは、原画像に含まれるノイズの標準偏差σと所定の係数αの積によって表される。ただし、係数αは、実用上は１．０とほぼ等しい。標準偏差σ_cと閾値ξとを比較することは、ブロックにおける画素値の分散が原画像に含まれるノイズの分散と同等であることを推定すること、すなわち当該ブロックが平坦領域に相当するかを推定することに等しい。

補正部２２６は、閾値処理部２２３により閾値処理が実行された各周波数成分のＤＣＴ係数を、決定部２２５により決定された補正パラメータを用いて補正する。具体的には、補正部２２６は、以下の（５）式により補正後のＤＣＴ係数ｆ″（ｉ，ｊ）を算出する。

（４）式より、本実施形態の補正パラメータγは、０又は１のいずれかである。したがって、補正部２２６は、標準偏差σ_cと閾値ξの大小に応じて、直流成分を除く全てのＤＣＴ係数をそのまま出力する（すなわち補正しない）か、０に変更するかのいずれかの処理を実行する。補正部２２６は、この処理をブロック単位で実行する。

逆変換部２２７は、補正部２２６により補正されたＤＣＴ係数を用いて、変換部２２２による周波数変換の逆変換、すなわちＩＤＣＴ（Inverse DCT）を実行する。換言すれば、逆変換部２２７は、補正部２２６により補正されたＤＣＴ係数を用いて、分割部２２１により分割されたブロックに対応する補正後のブロックを生成する。ＩＤＣＴは、ＤＣＴと同様に、周知の手法で実行される。

統合部２２８は、逆変換部２２７により生成された補正後のブロックを統合し、画像データを生成する。ここでいう統合は、異なるブロックによって算出された同じ位置の画素の画素値を加算する処理である。例えば、図５の例において、冗長度が４である画素Ｐ₂₂を統合する場合であれば、統合部２２８は、４個のブロックＢ１、Ｂ２、Ｂ３、Ｂ４のそれぞれに基づいて算出された画素Ｐ₂₂の画素値を加算する。このような統合処理により生成される画像データは、原画像データと同じ画素数になる。

正規化部２２９は、統合部２２８により生成された画像データを正規化する。ここでいう正規化とは、冗長度と同じ回数加算された各画素の画素値を冗長度で除する処理をいう。すなわち、統合処理及び正規化処理の組み合わせは、ブロック毎に算出された画素値の平均値を算出する処理に相当する。例えば、図５の例において、冗長度が４である画素Ｐ₂₂を統合する場合であれば、正規化部２２９は、統合部２２８により４ブロック分加算された画素値を４で除する。

図６は、画像処理部２２０の動作を示すフローチャートである。画像処理部２２０は、入力部２１０から原画像データの入力を受け付けると、図６に示される処理を実行する。なお、図６において、ステップＳ２０２〜Ｓ２０３の処理とＳ２０４〜Ｓ２０５の処理とは、並行して実行可能な処理である。画像処理部２２０は、ステップＳ２０２〜Ｓ２０３の処理とＳ２０４〜Ｓ２０５の処理とを順次実行する場合には、いずれを先に実行してもよい。

ステップＳ２０１において、分割部２２１は、原画像データを複数のブロックに分割する。ステップＳ２０２において、変換部２２２は、ブロック毎にＤＣＴを実行する。ステップＳ２０３において、閾値処理部２２３は、ＤＣＴにより算出されたＤＣＴ係数に対して、その一部を棄却する閾値処理を実行する。

ステップＳ２０４において、算出部２２４は、ブロック毎に特徴量、すなわち分散σ_c ²を算出する。ステップＳ２０５において、決定部２２５は、ステップＳ２０４において算出された特徴量に基づいて補正パラメータを決定する。決定部２２５は、補正パラメータをブロック毎に決定する。

ステップＳ２０６において、補正部２２６は、ステップＳ２０３及びＳ２０５の実行結果に基づいた処理を実行する。具体的には、補正部２２６は、ステップＳ２０３において閾値処理が実行されたＤＣＴ係数を、ステップＳ２０５において決定された補正パラメータを用いて補正する。補正部２２６は、このような補正処理をブロック毎に実行する。

ステップＳ２０７において、逆変換部２２７は、ステップＳ２０６において補正されたＤＣＴ係数を用いてＩＤＣＴを実行する。これにより、逆変換部２２７は、ＤＣＴ係数に対応する補正後のブロックを生成する。ステップＳ２０８において、統合部２２８は、ステップＳ２０７において生成されたブロックを統合することにより画像データを生成する。

ステップＳ２０９において、正規化部２２９は、ステップＳ２０８において生成された画像データの各画素を当該画素の冗長度に応じて正規化する。正規化部２２９は、全ての画素の正規化を実行したら、補正後の画像データを出力部２３０に供給する。

以上のとおり、本実施形態の画像処理装置２００は、第１実施形態に係る画像処理装置１００と同様に、閾値処理によって変更されたＤＣＴ係数をさらに変更することが可能である。これにより、特定のブロックにおいて一部の周波数成分が残存してノイズを発生させることを抑制することが可能である。

画像処理装置２００は、あるブロックを構成する画素の特徴量が所定の条件を満たす場合に、当該ブロックに対応する変換係数を棄却する方向に補正することが可能である。このような補正は、上述された問題、すなわち、特定のブロックにおける一部の周波数成分が０にならずに残存する問題を解決し、当該周波数成分に起因するノイズの発生を抑制することを可能にする。

一例として、本実施形態において、閾値パラメータτを２σとすると、平均から±２σの範囲に含まれる画素の（理論上の）数は、標準正規分布の性質から全体の９５．４５％である。そうすると、ブロックに対して閾値処理が実行された場合、理論上は、直流成分を除く６３個のＤＣＴ係数のうち２．８７個（６３×（１．０−０．９５４５）個）のＤＣＴ係数が変換されないまま残存する可能性がある。このようにＤＣＴ係数が残存した周波数成分（特に、高周波成分）は、平坦領域において基底パターンのノイズを発生させる要因となる。

画像処理装置２００は、閾値処理部２２３により棄却されない場合、すなわちＤＣＴ係数の絶対値が閾値パラメータτよりも大きい場合であっても、ブロックにおける画素値の標準偏差σ_cが閾値ξよりも小さければ、ＤＣＴ係数の直流成分以外を全て０にする。換言すれば、画像処理装置２００は、ブロックが平坦領域であるとの推定が成り立つ場合には、ＤＣＴ係数の直流成分以外を全て棄却する。これにより、画像処理装置２００は、例えば、閾値処理のみでは平坦領域にノイズの高周波成分が残存するような場合に、当該成分を打ち消すことが可能である。

したがって、画像処理装置２００は、上述の平坦領域におけるノイズの発生要因をブロック単位で除去することが可能である。これにより、画像処理装置２００は、本実施形態の構成（特に、算出部２２４、決定部２２５及び補正部２２６）を有しない場合に比べ、このようなノイズを含むブロックを画像から減少させることが可能である。

［第３実施形態］
図７は、さらに別の実施形態に係る画像処理部３２０の構成を示す機能ブロック図である。本実施形態の構成は、第２実施形態に係る画像処理部２２０を画像処理部３２０に置き換えた点を除き、画像処理装置２００の構成と同様である。また、本実施形態以降の実施形態において、第２実施形態と同一の符号を付された構成要素は、第２実施形態と同様の構成又は機能を有する。上述された実施形態と重複する説明は、適宜省略される。

画像処理部３２０は、分割部２２１、変換部２２２、閾値処理部２２３、補正部２２６、逆変換部２２７、統合部２２８及び正規化部２２９に加え、算出部３２１及び決定部３２２を含む。すなわち、画像処理部３２０は、算出部２２４及び決定部２２５に代えて算出部３２１及び決定部３２２を有する点において画像処理部２２０と相違する。

算出部３２１は、非ゼロ要素数をブロック毎に算出する。ここにおいて、非ゼロ要素数（Number of non-zero elements）とは、閾値処理部２２３により閾値処理が実行されたＤＣＴ係数のうち０でないものの総数をいう。算出部３２１は、閾値処理部２２３により閾値処理が実行されたＤＣＴ係数を参照し、値が０のＤＣＴ係数（又は値が０でないＤＣＴ係数）をカウントすることによって非ゼロ要素数を算出する。非ゼロ要素数は、特徴量の一例に相当する。

また、算出部３２１は、非ゼロ要素数をその予測値と比較する。一の態様において、非ゼロ要素数の予測値は、閾値パラメータに応じて一意的に特定される。例えば、算出部３２１は、以下のように非ゼロ要素数の予測値を算出することができる。

算出部３２１は、閾値パラメータτとノイズの標準偏差σとに基づき、以下の（６）式によりパラメータｚを算出する。また、算出部３２１は、標準正規分布表３２３を参照することにより、標準正規分布において±ｚの範囲内にＤＣＴ係数が存在する確率ｐを算出する。

図８Ａは、標準正規分布表３２３を例示する図である。また、図８Ｂは、標準正規分布を例示する図である。標準正規分布表３２３は、図８Ｂに示される標準正規分布のグラフにおいて、この標準正規分布曲線と横軸とによって囲まれる部分の面積に対するハッチングで示される部分の面積の割合を百分率で記述した表である。

例えば、閾値パラメータτが２σである場合、パラメータｚは２．０である。この場合、確率ｐは、ｚ＝２．００である場合の面積の割合が０．４７７２であるため、０．９５４４である。算出部３２１は、パラメータｚが異なる値である場合においても、同様の要領で確率ｐを算出することができる。

確率ｐが算出されたら、算出部３２１は、以下の（７）式により非ゼロ要素数の予測値ＮＮＺ_pを算出する。ここにおいて、関数round(x)は、ｘの小数部を四捨五入する関数である。また、βは、あらかじめ設定される適当なパラメータである。ｎは、ブロックの１辺の長さ（画素数）であり、ここでは８である。

なお、算出部３２１は、図８Ａに示された標準正規分布表３２３と異なるデータを参照して予測値を算出してもよい。また、標準正規分布表３２３は、図８Ａの記載よりも多くの数値（ｚ≧２．１を満たす場合の数値）を含んで構成されてもよく、小数部の桁数（すなわち精度）が異なってもよい。

さらに、予測値は閾値パラメータから一意的に特定可能であるため、算出部３２１は、上述の計算を実行することなく予測値を特定することも可能である。例えば、閾値パラメータが固定値である場合には、予測値も固定値である。このような場合、画像処理部３２０は、標準正規分布表３２３に相当するデータを用いる必要がない。

決定部３２２は、算出部３２１により算出された特徴量、すなわち非ゼロ要素数に基づいて補正パラメータを決定する。より詳細には、決定部３２２は、非ゼロ要素数をＮＮＺ、その予測値をＮＮＺ_pとした場合、以下の（８）式により補正パラメータγを計算する。補正パラメータγは、第２のパラメータの一例に相当する。

補正部２２６は、決定部３２２により決定された補正パラメータを用いてＤＣＴ係数を補正する。（４）式及び（８）式のとおり、補正パラメータは、本実施形態と第２実施形態とで算出方法が異なるが、補正部２２６においては同様に扱われる。すなわち、補正部２２６は、（７）式により決定された補正パラメータγを（５）式に用いて補正後のＤＣＴ係数ｆ″（ｉ，ｊ）を算出する。

図９は、画像処理部３２０の動作を示すフローチャートである。画像処理部３２０は、ステップＳ３０１及びＳ３０２の処理を除き、第２実施形態の画像処理部２２０（図６参照）と同様の処理を実行する。ただし、画像処理部３２０の動作は、ステップＳ２０４、Ｓ２０５の処理を含まない点において画像処理部２２０の動作と異なる。ここにおいて、図６と同一の符号を付されたステップは、第２実施形態において説明された処理と同様の処理を実行するステップである。

ステップＳ３０１において、算出部３２１は、ステップＳ２０３において閾値処理が実行されたＤＣＴ係数に基づいて非ゼロ要素数を算出する。ステップＳ３０２において、決定部３２２は、ステップＳ３０１において算出された非ゼロ要素数に基づいて補正パラメータを決定する。ステップＳ２０６において、補正部２２６は、ステップＳ２０３において閾値処理が実行されたＤＣＴ係数を、ステップＳ３０２において決定された補正パラメータを用いて補正する。

以上のとおり、本実施形態の画像処理部３２０は、第２実施形態に係る画像処理装置２２０と同様に、閾値処理によって変更されたＤＣＴ係数をさらに変更することが可能である。これにより、特定のブロックにおいて一部の周波数成分が残存してノイズを発生させることを抑制することが可能である。

本実施形態において、ブロックの非ゼロ要素数ＮＮＺを予測値ＮＮＺ_pと比較することは、当該ブロックが平坦領域であるかを推定することに相当する。画像処理部３２０は、あるブロックの非ゼロ要素数ＮＮＺが予測値ＮＮＺ_pより小さい場合に、当該ブロックが平坦領域であるとみなしてＤＣＴ係数の直流成分以外を０に補正する。本実施形態に係る補正方法は、ブロックを平坦領域と推定する基準が第２実施形態と異なるため、第２実施形態と異なる結果が得られる。

第２実施形態に係る補正方法の場合、ブロックの画素値の標準偏差が小さいときにＤＣＴ係数の直流成分以外が０に補正される。したがって、この補正方法では、高周波成分によってエッジやテクスチャが表現された平坦でない領域であっても、画素値の標準偏差が小さければＤＣＴ係数の直流成分以外が０に補正される可能性がある。一方、本実施形態に係る補正方法によれば、このような平坦でない領域であっても、非ゼロ要素数が予測値以上であればＤＣＴ係数を維持することが可能であるため、当該領域のエッジやテクスチャの情報が失われないようにすることができる。

［第４実施形態］
図１０は、さらに別の実施形態に係る画像処理部４２０の構成を示す機能ブロック図である。本実施形態の構成は、第２実施形態に係る画像処理部２２０を画像処理部４２０に置き換えた点を除き、画像処理装置２００の構成と同様である。

画像処理部４２０は、分割部２２１、変換部２２２、閾値処理部２２３、補正部２２６、逆変換部２２７、統合部２２８及び正規化部２２９に加え、第１算出部４２１、第２算出部４２２及び決定部４２３を含む。すなわち、画像処理部４２０は、算出部２２４及び決定部２２５に代えて第１算出部４２１、第２算出部４２２及び決定部４２３を有する点において画像処理部２２０と相違する。

第１算出部４２１は、第２実施形態の算出部２２４と同様に動作する。すなわち、第１算出部４２１は、分割部２２１により分割されたブロックを構成する画素の画素値の分散を算出する。

第２算出部４２２は、第３実施形態の算出部３２１と同様に動作する。すなわち、第２算出部４２２は、非ゼロ要素数をブロック毎に算出し、各々の非ゼロ要素数をその予測値と比較する。第２算出部４２２は、標準正規分布表３２３を参照することによって予測値を算出してもよいが、他の方法で予測値を特定してもよい。

本実施形態において、第１算出部４２１により算出される画素値の分散と、第２算出部４２２により算出される非ゼロ要素数は、いずれも特徴量の一例に相当する。すなわち、本実施形態においては、２種類の特徴量が用いられる。決定部４２３は、これらの特徴量に基づいて、以下のように補正パラメータを決定する。説明の便宜上、以下においては、第１算出部４２１により算出される画素値の分散を「第１の特徴量」、第２算出部４２２により算出される非ゼロ要素数を「第２の特徴量」ともいう。

決定部４２３は、（３）式により算出される分散σ_c ²と閾値ξとを用いて、以下の（９）式により第１のフラグφ₁を算出する。第１のフラグφ₁は、（４）式との比較から明らかなように、第２実施形態の補正パラメータγと同様の値である。

また、決定部４２３は、非ゼロ要素数をＮＮＺ、その予測値をＮＮＺ_pとした場合、以下の（１０）式により第２のフラグφ₂を算出する。第２のフラグφ₂は、（８）式との比較から明らかなように、第３実施形態の補正パラメータγと同様の値である。

第１のフラグφ₁及び第２のフラグφ₂が算出されたら、決定部４２３は、以下の（１１）式により補正パラメータγを算出する。補正パラメータγは、第２のパラメータの一例に相当する。決定部４２３は、補正パラメータγを補正部２２６に供給する。

図１１は、画像処理部４２０の動作を示すフローチャートである。画像処理部４２０は、ステップＳ３０１及びＳ４０１の処理を除き、第２実施形態の画像処理部２２０（図６参照）と同様の処理を実行する。ただし、画像処理部４２０の動作は、ステップＳ２０５の処理を含まない点において画像処理部２２０の動作と異なる。ここにおいて、図６又は図９と同一の符号を付されたステップは、第２実施形態又は第３実施形態において説明された処理と同様の処理を実行するステップである。

ステップＳ４０１において、決定部４２３は、ステップＳ２０４において算出された分散と、ステップＳ３０１において算出された非ゼロ要素数とに基づいて補正パラメータを決定する。具体的には、決定部４２３は、（９）〜（１１）式に示される計算を実行することによって補正パラメータγをブロック毎に決定する。

以上のとおり、本実施形態の画像処理部４２０は、第２実施形態に係る画像処理装置２２０と同様に、閾値処理によって変更されたＤＣＴ係数をさらに変更することが可能である。これにより、特定のブロックにおいて一部の周波数成分が残存してノイズを発生させることを抑制することが可能である。画像処理部４２０によれば、第２実施形態に係る補正方法と第３実施形態に係る補正方法とを組み合わせた効果を奏することができる。

［変形例］
本開示は、上述された第１実施形態〜第４実施形態に限定されない。本開示は、上述された実施形態に対して当業者が把握し得る変形又は応用を適用した実施形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。

（変形例１）
第２のパラメータは、０又は１の二値に限定されない。第２のパラメータは、０と１の中間の値をとり得る。例えば、第２実施形態における補正パラメータγは、（４）式に代えて、以下の（１２）式又は（１３）式によって算出されてもよい。ここにおいて、ξ_low、ξ_mid、ξ_highは、ξ_low＜ξ_mid＜ξ_highを満たす所定の閾値である。また、ｒは、所定のパラメータである。pow(x,y)関数は、ｘのｙ乗を計算する関数である。これらの例の場合、補正パラメータγは、ξ_low＜σ_c＜ξ_highの範囲において漸次的に変化する。

（変形例２）
本開示に係る画像処理装置の具体的なハードウェア構成は、さまざまなバリエーションを含み、特定の構成に限定されない。例えば、本開示に係る画像処理装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図１２は、本開示に係る画像処理装置を実現するコンピュータ装置５００のハードウェア構成の一例を示すブロック図である。コンピュータ装置５００は、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、記憶装置５０４と、ドライブ装置５０５と、通信インタフェース５０６と、入出力インタフェース５０７とを備える。本開示に係る画像処理装置は、図１２に示される構成（又はその一部）によって実現され得る。

ＣＰＵ５０１は、ＲＡＭ５０３を用いてプログラム５０８を実行する。プログラム５０８は、ＲＯＭ５０２に記憶されていてもよい。また、プログラム５０８は、メモリカード等の記録媒体５０９に記録され、ドライブ装置５０５によって読み出されてもよいし、外部装置からネットワーク５１０を介して送信されてもよい。通信インタフェース５０６は、ネットワーク５１０を介して外部装置とデータをやり取りする。入出力インタフェース５０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース５０６及び入出力インタフェース５０７は、データを取得又は出力する手段として機能することができる。

なお、本開示に係る画像処理装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置１００又は２００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。

この出願は、２０１６年３月１０日に出願された日本出願特願２０１６−０４６５５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、２００画像処理装置
２２０、３２０、４２０画像処理部
２１０入力部
２３０出力部
２２１分割部
２２２変換部
２２３、１１０閾値処理部
２２４、３２１、１２０算出部
２２５、３２２、４２３、１３０決定部
２２６、１４０補正部
２２７逆変換部
２２８統合部
２２９正規化部
４２１第１算出部
４２２第２算出部

Claims

複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行する閾値処理手段と、
前記ブロックを構成する複数の画素の特徴量を算出する算出手段と、
前記算出された特徴量に基づいて第２のパラメータを決定する決定手段と、
前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正する補正手段と
を備え、
前記算出手段は、前記ブロックを構成する複数の画素について、前記変換係数の非ゼロ要素数を算出し、
前記決定手段は、前記非ゼロ要素数が予測値を下回るか否かに基づいて、前記第２のパラメータを決定し、
前記補正手段は、前記非ゼロ要素数が前記予測値を下回る場合、前記変換係数を０に補正する
画像処理装置。
前記特徴量は、前記複数の画素の分布に関する特徴量を含む
請求項１に記載の画像処理装置。
前記特徴量は、前記複数の画素の画素値の分散又は標準偏差を含む
請求項２に記載の画像処理装置。
画像を複数の画素により構成されたブロックに分割する分割手段と、
前記ブロックを周波数変換した場合の各周波数成分の変換係数をブロック毎に算出する変換手段と、
前記算出されたブロック毎の変換係数に対して第１のパラメータを用いた閾値処理を実行する閾値処理手段と、
前記ブロックを構成する複数の画素の特徴量をブロック毎に算出する算出手段と、
前記算出された特徴量に基づいて第２のパラメータをブロック毎に決定する決定手段と、
前記閾値処理が実行された各周波数成分の変換係数を前記決定された第２のパラメータを用いてブロック毎に補正する補正手段と、
前記補正された各周波数成分の変換係数を用いた前記周波数変換の逆変換により、前記ブロックに対応する補正後のブロックを生成する逆変換手段と、
前記生成されたブロックを統合した画像データを生成する統合手段と、
前記生成された画像データを正規化する正規化手段と
を備え、
前記算出手段は、前記ブロックを構成する複数の画素について、前記変換係数の非ゼロ要素数を算出し、
前記決定手段は、前記非ゼロ要素数が予測値を下回るか否かに基づいて、前記第２のパラメータを決定し、
前記補正手段は、前記非ゼロ要素数が前記予測値を下回る場合、前記変換係数を０に補正する
画像処理装置。
複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行し、
前記ブロックを構成する複数の画素の特徴量を算出し、
前記算出された特徴量に基づいて第２のパラメータを決定し、
前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正し、
前記ブロックを構成する複数の画素について、前記変換係数の非ゼロ要素数を算出し、
前記非ゼロ要素数が予測値を下回るか否かに基づいて、前記第２のパラメータを決定し、
前記非ゼロ要素数が前記予測値を下回る場合、前記変換係数を０に補正する
画像処理方法。
コンピュータに、
複数の画素により構成されたブロックを周波数変換した場合の各周波数成分の変換係数に対し、第１のパラメータを用いた閾値処理を実行する処理と、
前記ブロックを構成する複数の画素の特徴量を算出する処理と、
前記算出された特徴量に基づいて第２のパラメータを決定する処理と、
前記閾値処理が実行された各周波数成分の変換係数を、前記決定された第２のパラメータを用いて補正する処理と
を実行させ、
前記特徴量を算出する処理において、前記ブロックを構成する複数の画素について、前記変換係数の非ゼロ要素数を算出し、
前記第２のパラメータを決定する処理において、前記非ゼロ要素数が予測値を下回るか否かに基づいて、前記第２のパラメータを決定し、
前記変換係数を補正する処理において、前記非ゼロ要素数が前記予測値を下回る場合、前記変換係数を０に補正する
ためのプログラム。