JPWO2018225134A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JPWO2018225134A1
JPWO2018225134A1 JP2019523226A JP2019523226A JPWO2018225134A1 JP WO2018225134 A1 JPWO2018225134 A1 JP WO2018225134A1 JP 2019523226 A JP2019523226 A JP 2019523226A JP 2019523226 A JP2019523226 A JP 2019523226A JP WO2018225134 A1 JPWO2018225134 A1 JP WO2018225134A1
Authority
JP
Japan
Prior art keywords
image
input image
noise
image processing
noise level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019523226A
Other languages
English (en)
Other versions
JP6564158B2 (ja
Inventor
永男 蔡
永男 蔡
玖 徐
玖 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of JPWO2018225134A1 publication Critical patent/JPWO2018225134A1/ja
Application granted granted Critical
Publication of JP6564158B2 publication Critical patent/JP6564158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る画像処理装置は取得部、生成部、算出部、および推定部を備える。取得部は入力画像を取得する。生成部は、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する。算出部は、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する。推定部は、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する。

Description

本発明の一側面は画像処理装置、画像処理方法、および画像処理プログラムに関する。
ノイズが含まれる画像を処理するためには予めそのノイズ度を推定する必要がある。非特許文献1に記載の手法では、撮影に用いるカメラを実際に測定することで、カメラ特性を考慮したノイズモデルを構築する。
上村健二,伊東ひとみ,津村徳道,中口俊哉,三宅洋一、「単一画像からのノイズ推定手法の評価と改善」、映像情報メディア学会誌、Vol.63,No.1,pp.101−104,2009.
非特許文献1の手法では、カメラ特性とノイズ量との関係を事前にモデル化する必要がある。したがって、ノイズモデルやカメラの情報などの事前情報を得てからでないとノイズ度を推定することができない。そこで、事前情報が無くても入力画像のノイズ度を推定することが望まれている。
本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定部とを備える。
本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとを含む。
本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとをコンピュータに実行させる。
このような側面においては、入力画像に複数のノイズを重畳することで複数の比較画像が得られる。入力画像に元々含まれるノイズよりも密度が低いノイズを該入力画像に重畳しても該入力画像はほとんど劣化しない。一方、入力画像に元々含まれるノイズよりも密度が高いノイズを該入力画像に重畳すると、該入力画像は劣化する。ノイズに関するこのような性質を利用し、入力画像から複数の比較画像を生成して、これらの比較画像を用いて入力画像のノイズ度を推定することで、事前情報が無くても入力画像のノイズ度を推定することができる。
本発明の一側面によれば、事前情報が無くても入力画像のノイズ度を推定することができる。
実施形態におけるノイズ度の推定の概念を示す図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る画像処理装置の機能構成を示す図である。 実施形態に係る画像処理装置の処理を示すフローチャートである。 比較画像を生成する処理の例を示す図である。 ノイズ度の推定の例について説明するための図である。 ノイズ度の推定の例について説明するための図である。 実施形態に係る画像処理プログラムの構成を示す図である。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
[概要]
実施形態に係る画像処理装置10は、画像のノイズ度を客観的に推定するコンピュータまたはコンピュータシステムである。
「画像」とは、人の視覚で捉えることができるように対象物を何らかの媒体に定着させた像である。画像は、コンピュータでの処理が可能な、画像を示すデータ(画像データ)を処理することで視認可能となる。具体的には、画像は、メモリなどの記憶装置に記録され、プロセッサの処理によりモニタなどの出力装置に出力されることで、視認可能となる。画像は静止画でもよいし、動画を構成する個々のフレームでもよい。
「ノイズ」とは、画像に含まれる不要なデータまたはデータの乱れのことをいい、画質を劣化させる要素の一つである。「ノイズ度」とは、画像がどれくらい多くのノイズを含んでいるかを示す指標である。本実施形態では一例として、ランダムノイズの一種であるガウスノイズの標準偏差σによりノイズ度を表すものとする。ガウスノイズは、平均aおよび標準偏差σを用いてN(a,σ)と表すことができる。
図1は、本実施形態におけるノイズ度の推定の概念を示す図である。この例では、画像処理装置10が、実際のノイズ度が10(これはガウスノイズN(0,10)に相当する)である入力画像21のノイズ度を推定するものとする。まず、画像処理装置10はその入力画像21に、互いに密度が異なる複数のノイズを重畳することで複数の比較画像を生成する。ノイズの「密度」とはノイズの量または強さを示す指標である。密度が高いほど、ノイズは強くなり画像上でよりはっきりと現れる。本実施形態では、画像処理装置10はランダムノイズ(画像の全体にわたって不規則に現れるノイズ)を入力画像21に重畳する。より具体的には、画像処理装置10は、ランダムノイズの一種であるガウスノイズを入力画像21に重畳する。本実施形態では、ランダムノイズの密度を単に「ノイズ密度」ともいう。ガウスノイズではノイズ密度は標準偏差σで示され、したがって、標準偏差σが高いほどノイズ密度は高くなる。
図1の例では、画像処理装置10は入力画像21にガウスノイズN(0,2)を重畳することで比較画像22を生成する。また、画像処理装置10は入力画像21にガウスノイズN(0,10)を重畳することで比較画像23を生成し、入力画像21にガウスノイズN(0,18)を重畳することで比較画像24を生成する。画像処理装置10はノイズ密度をさらに変えながら(例えば、標準偏差を26,34…と変えながら)比較画像を生成する。なお、図1では、それぞれのガウスノイズを点の集まりで模式的に表している。
鮮明であるべき画像にノイズが含まれている場合、画質は当初から低下している。画質とは画像の見た目の質であり、解像度、階調、コントラストなどの様々な要因で決まる。ノイズの有無もその要因の一つであり、ノイズを含むと画質が低下する。重畳されるノイズ密度が、原画像が元々抱えているノイズ密度以下であれば、ランダムノイズを重畳しても画質は実質的には低下しない。すなわち、この場合には比較画像の画質は原画像と同じか、または略同じといえる。一方、重畳されるノイズ密度が、原画像が元々抱えているノイズ密度より大きいと、比較画像の画質は原画像よりも低下する。
図1の例では、入力画像21のノイズ度が、ガウスノイズN(0,10)に相当する10であるとする。すなわち、仮に、ノイズを含まない画像にガウスノイズN(0,10)を重畳すると入力画像21が得られるものとする。この場合、ガウスノイズN(0,2)を重畳することで得られる比較画像22のノイズ度も10である。また、ガウスノイズN(0,10)の重畳により得られる比較画像23のノイズ度も10である。しかし、ガウスノイズN(0,18)は、入力画像21が元々抱えるガウスノイズN(0,10)よりも密度が高いので、ガウスノイズN(0,18)により得られる比較画像24のノイズ度は、10より大きくなる(例えば、そのノイズ度は18になる)。ガウスノイズの標準偏差をさらに高くした場合にも、比較画像のノイズ度は10よりも大きい。したがって、入力画像21のノイズ度は10か、または10から18の間であると推定できる。
このように、画像処理装置10は、原画像に対して複数のノイズを重畳することで複数の比較画像を生成し、これらの比較画像の画質の低下の度合いを判定することで、原画像のノイズ度を推定する。
[装置の構成]
図2は画像処理装置10の一般的なハードウェア構成を示す。画像処理装置10は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ101と、ROMおよびRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードまたは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、モニタなどの出力装置106とを備える。
画像処理装置10の各機能要素は、プロセッサ101または主記憶部102の上に所定のソフトウェア(例えば、後述する画像処理プログラムP1)を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ101はそのソフトウェアに従って、通信制御部104、入力装置105、または出力装置106を動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部102または補助記憶部103内に格納される。
画像処理装置10は1台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つの画像処理装置10が構築される。
図3は画像処理装置10の機能構成を示す。本実施形態では、画像処理装置10は機能的構成要素として取得部11、生成部12、算出部13、および推定部14を備える。
取得部11は、入力画像を取得する機能要素である。入力画像とは、ノイズ度を推定する対象として処理される画像である。入力画像は原画像と言い換えることもできる。
生成部12は、取得された入力画像のノイズ度を推定するために用いる複数の比較画像を生成する機能要素である。生成部12は入力画像の少なくとも一部を対象領域として設定し、その対象領域にランダムノイズを重畳することで比較画像を得る。比較画像は、入力画像の画質を意図的に劣化させることで得られる画像であるといえる。ただし、図1を参照しながら説明したように、比較画像に含まれるノイズの程度が入力画像と同じかまたは略同じこともあり得る。「対象領域」とは、連続して並ぶ画素から成る範囲である。対象領域は入力画像の一部のみであってもよいし入力画像の全体であってもよい。
算出部13は、生成部12により得られた複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する機能要素である。したがって、算出部13は一つの入力画像に対して複数の劣化度を得る。「劣化度」とは、ランダムノイズによる影響により比較画像の画質が入力画像の画質よりどれくらい低いかを示す指標である。算出部13は、算出した複数の劣化度を推定部14に出力する。
推定部14は、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する機能要素である。
[装置の動作]
次に、図4〜図7を参照しながら、画像処理装置10の動作を説明するとともに本実施形態に係る画像処理方法について説明する。
図4は、画像処理装置10の処理を示すフローチャートである。まず、取得部11が一つの入力画像を取得する(ステップS11、取得ステップ)。入力画像の取得方法は限定されない。例えば、取得部11は任意の画像を記憶する画像データベースにアクセスして入力画像を読み出してもよい。なお、画像データベースは画像処理装置10とは別の装置であってもよいし、画像処理装置10の一部であってもよい。あるいは、取得部11は画像処理装置10のユーザにより入力または指定された入力画像を取得してもよい。あるいは、取得部11は他のコンピュータから入力画像を受信してもよい。
続いて、取得部11はその入力画像をグレースケール画像に変換する(ステップS12)。グレースケール画像は、ピクセル値に光度以外の情報が含まれていない画像である。入力画像に重畳されるガウスノイズは色情報を持たないので、そのガウスノイズに合わせて入力画像をグレースケール画像に変換することで、ノイズ度をより正確に求めることができる。
続いて、生成部12が入力画像から複数の比較画像を生成する(ステップS13、生成ステップ)。生成部12は一つの比較画像を次のように生成する。生成部12は、グレースケールに変換された入力画像を複製することで、比較画像を生成するための入力画像(以下ではこれも単に「入力画像」という。)を得る。続いて、生成部12はその入力画像の少なくとも一部を対象領域として設定し、その対象領域の画質を低下させることで比較画像を得る。生成部12は、対象領域にガウスノイズを重畳することで比較画像を得る。
図5は比較画像を生成する処理の例を示す図である。この例では、生成部12は4(ピクセル)×4(ピクセル)の対象領域31に、正規分布32で示されるガウスノイズ33を重畳することで、比較画像の少なくとも一部を構成する対象領域34を生成する。この処理により対象領域31内の少なくとも一部の光度が変化するので、対象領域34ではノイズが生じる。図5では、ノイズの重畳により光度が変化した画素をハッチングで示している。
生成部12はガウスノイズの標準偏差を変えながら複数の比較画像を生成する。これは、ランダムノイズの密度(強さ)が互いに異なる複数の比較画像が生成されることを意味する。ガウスノイズの標準偏差の設定および比較画像の個数はいずれも限定されない。例えば、生成部12は標準偏差を2,10,18,26…と変えながら複数の比較画像を生成してもよいし、標準偏差を2,6,10,14…と変えながら複数の比較画像を生成してもよい。
続いて、算出部13が、入力画像に対する各比較画像の劣化度を算出する(ステップS14、算出ステップ)。本実施形態では、算出部13は構造的類似性(SSIM:structural similarity)を劣化度として用いる。SSIMとは、輝度平均の差と、画素値の標準偏差の差と、画素間の共分散との積により、2画像間の類似度を評価する手法および指標である。一般にSSIMは、人間の主観的判断に近い指標と言われている。2画像間のSSIMは0から1の間の値になり、値が高いほど2画像が互いに似ているということができる。
二つの画像x,yにおけるSSIMをSSIM(x,y)と表すとすると、このSSIM(x,y)は下記の式(1)で得られる。
この式の各変数の意味は次の通りである。
・μ:画像xの平均画素値
・μ:画像yの平均画素値
・σ:画像xの画素値の標準偏差
・σ:画像yの画素値の標準偏差
・σxy:画像x,yの共分散
・c=(kL),c=(kL):分母の値が非常に小さくなった場合でも評価値を安定させるための定数。Lは画素値のダイナミックレンジである(8ビット画像では255)。k,kは任意に設定できる値であり、その初期値は一般にk=0.01,k=0.03と設定される。
算出部13は入力画像(画像x)と比較画像(画像y)との間のSSIMを求める。図1の例では、算出部13は少なくとも、入力画像21および比較画像22から得られるSSIMと、入力画像21および比較画像23から得られるSSIMと、入力画像21および比較画像24から得られるSSIMとを求める。
続いて、推定部14が複数の劣化度(本実施形態ではSSIM)に基づいて入力画像のノイズ度を推定する(ステップS15、推定ステップ)。より具体的には、推定部14はノイズ密度と劣化度との関係を求め、その関係に基づいてノイズ度を推定する。本実施形態ではノイズ密度(ガウスノイズの標準偏差σ)をそのままノイズ度とする。ノイズ度の推定手法は限定されない。
例えば、推定部14は複数のSSIMを閾値と比較することでノイズ度を推定してもよい。具体的には、推定部14はノイズ密度(ガウスノイズの標準偏差)とSSIMとの関係を求め、SSIMが閾値であるときのノイズ密度をノイズ度として推定してもよい。推定部14は、ノイズ密度とSSIMとの関係を示す関数を最小二乗法や線形補間などにより求めることで、SSIMが閾値であるときのノイズ密度を特定することができる。閾値は入力画像に応じて変更されてもよい。
あるいは、推定部14はノイズ密度(ガウスノイズの標準偏差)とSSIMとの関係を非線形関数で近似し、その非線形関数の最高次係数(より具体的には、非線形関数を定義する多項式の最高次係数)に基づいてノイズ度を推定してもよい。非線形関数は限定されず、例えば2次関数または3次関数でもよいし、より高次の関数であってもよい。非線形関数による近似の方法も限定されないが、例えば最小二乗法が用いられてもよい。非線形関数を得る際に、推定部14はSSIMを正規化する。この正規化は、SSIMの水準を画像間で統一させるための処理である。
被写体が相異なる複数の画像の間でノイズ度が同じかまたは近似する場合に、各画像のノイズ密度(ガウスノイズの標準偏差)とSSIMとの関係をグラフで示すと、個々のグラフの曲がり具合(曲率)は概ね似た値を示す。一方、画像が同じであってもノイズ度が異なると、ノイズ密度とSSIMとの関係も変わる。
図6は、ある一つの画像に対して5種類のノイズ度(2、6,10,14、および18)を適用した上で、それぞれのノイズ度についてノイズ密度(ガウスノイズの標準偏差)とSSIMとの関係をプロットすることで得られたグラフである。このように、画像が同じであってもノイズ度が異なると、グラフの曲がり具合が変化する。原画像のノイズ度が小さい場合には、密度が小さいランダムノイズを重畳したときから画質が低下し始める(SSIMが下がり始める)。一方、原画像のノイズ度が大きい場合には、密度が小さいランダムノイズを重畳しても画質はあまり低下しない(SSIMはあまり下がらない)。したがって、ノイズ密度の増加に伴うSSIMの減少の程度を見ることでノイズ度を推定することができる。SSIMの減少を示すグラフの曲がり具合は非線形関数の最高次係数に大きく依存するので、その最高次係数を用いることで、様々な画像のノイズ度を統一された基準で推定することができる。図6におけるそれぞれのグラフを2次関数「y=ax+bx+c」で近似したならば、推定部14は係数aを用いてノイズ度を推定する。
図7は、5種類の画像A〜Eについての、ノイズ度と2次関数(ノイズ密度とSSIMとの関係を示す非線形関数)の最高次係数との対応の例を示すグラフである。グラフの横軸はノイズ度に対応し、グラフの縦軸は2次関数の最高次係数を示す。それぞれの2次関数は、ノイズ密度(ガウスノイズの標準偏差)を1,2,3,4…と変えながらSSIMを算出し、それぞれのSSIMを正規化することで得られた、ノイズ密度とSSIMとの関係を近似するものである。
図7から分かるように、正規化されたSSIMから得られる2次関数(非線形関数)の最高次係数は、画像の種類にかかわらずノイズ度に応じて一定の範囲を取る。したがって、最高次係数とノイズ度との対応関係を予め設定した上で、得られた最高次係数がどのノイズ度に対応するかを判定することで、画像のノイズ度を決定することができる。ここで、対応関係の表現方法は限定されず、例えば表(対応表)で表現されてもよい。画像処理装置10(例えば推定部14)はその対応関係を予め保持している。図7の例では、最高次係数がTa以上であればノイズ度は2であり、最高次係数がTb以上Ta未満であればノイズ度は6であり、最高次係数がTc以上Tb未満であればノイズ度は10であり、最高次係数がTc未満であればノイズ度は14である。
推定部14は推定したノイズ度を出力する(ステップS16)。ノイズ度の出力方法は限定されない。例えば、推定部14はノイズ度を、所定のデータベースに格納してもよいし、他のコンピュータに送信してもよいし、モニタ上に表示してもよい。推定部14はノイズ度および入力画像のセットを出力してもよい。
画像処理装置10が複数の入力画像を処理する場合には、ステップS11〜S16の処理が繰り返し実行される。
推定されたノイズ度の利用方法は限定されない。例えば、入力画像のノイズ除去のためにそのノイズ度が用いられてもよい。推定されたノイズ度に基づいて入力画像からノイズを除去することで、入力画像の画質を上げることができる。また、ノイズが除去された画像に対して超解像などの更なる画像処理を実行することで、ノイズに邪魔されることなく所望の画像を得ることができる。推定されたノイズ度を用いる更なる処理は画像処理装置10により実行されてもよいし、他の情報処理装置により実行されてもよい。
[プログラム]
次に、図8を参照しながら、コンピュータを画像処理装置10として機能させるための画像処理プログラムP1を説明する。図8は画像処理プログラムP1の構成を示す図である。
画像処理プログラムP1はメインモジュールP10、取得モジュールP11、生成モジュールP12、算出モジュールP13、および推定モジュールP14を含む。メインモジュールP10は、ノイズ度の推定を統括的に管理する部分である。取得モジュールP11、生成モジュールP12、算出モジュールP13、および推定モジュールP14を実行することで、取得部11、生成部12、算出部13、および推定部14が実現する。
画像処理プログラムP1は、例えば、CD−ROM、DVD−ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、画像処理プログラムP1は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
[効果]
以上説明したように、本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定部とを備える。
本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとを含む。
本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のノイズ度を推定する推定ステップとをコンピュータに実行させる。
このような側面においては、入力画像に複数のノイズを重畳することで複数の比較画像が得られる。入力画像に元々含まれるノイズよりも密度が低いノイズを該入力画像に重畳しても該入力画像はほとんど劣化しない。一方、入力画像に元々含まれるノイズよりも密度が高いノイズを該入力画像に重畳すると、該入力画像は劣化する。ノイズに関するこのような性質を利用し、入力画像から複数の比較画像を生成して、これらの比較画像を用いて入力画像のノイズ度を推定することで、事前情報が無くても入力画像の絶対的な(または本質的な)ノイズ度を推定することができる。対象領域が入力画像の全体である場合には、画像の局所的なノイズ度ではなく、画像全体にわたるノイズ度を求めることができる。
他の側面に係る画像処理装置では、劣化度が構造的類似性であってもよい。SSIMは輝度値、コントラスト、および構造のそれぞれに関する変化に基づく指標であるから、入力画像にノイズを重畳することで得られる比較画像を用いたノイズ度の推定に適しているといえる。したがって、SSIMを用いることで入力画像のノイズ度を正確に推定することができる。
他の側面に係る画像処理装置では、推定部が、複数の劣化度を閾値と比較することでノイズ度を推定してもよい。閾値を用いることで、ノイズ度を簡単な処理でかつ高速に推定することができる。
他の側面に係る画像処理装置では、推定部が、推定部が、密度と劣化度との関係を示す非線形関数の最高次係数に基づいてノイズ度を推定してもよい。その非線形関数を示すグラフの曲がり具合は、画像の被写体に関係なくノイズ度に応じて変わる傾向があり、その曲がり具合は、非線形関数の最高次係数に大きく依存する。したがって、その最高次係数に基づいてノイズ度を正確に判定することができる。
他の側面に係る画像処理装置では、最高次係数とノイズ度との対応関係が予め設定されており、推定部が、複数の密度および複数の劣化度から非線形関数の最高次係数を算出し、対応関係を参照することで、算出した最高次係数に対応するノイズ度を決定してもよい。予め用意された対応関係を用いることで、最高次係数からノイズ度を簡単に得ることができる。
[変形例]
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
上記実施形態では画像処理装置10が劣化度としてSSIMを用いるが、他の指標が劣化度として用いられてもよい。
上記実施形態では画像処理装置10はガウスノイズを用いたが、入力画像に重畳されるノイズの種類はこれに限定されない。例えば、画像処理装置は他の種類のランダムノイズを入力画像に重畳してもよい。
上記実施形態ではノイズ密度(ガウスノイズの標準偏差)をそのままノイズ度として設定するが、ノイズ度の設定方法はこれに限定されない。例えば、推定部は、予め定められた演算によりノイズ密度からノイズ度を求めてもよい。
少なくとも一つのプロセッサにより実行される画像処理方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ(処理)の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
10…画像処理装置、11…取得部、12…生成部、13…算出部、14…推定部、P1…画像処理プログラム、P10…メインモジュール、P11…取得モジュール、P12…生成モジュール、P13…算出モジュール、P14…推定モジュール。

Claims (7)

  1. 入力画像を取得する取得部と、
    前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成部と、
    前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出部と、
    算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定部と
    を備える画像処理装置。
  2. 前記劣化度が構造的類似性である、
    請求項1に記載の画像処理装置。
  3. 前記推定部が、前記複数の劣化度を閾値と比較することで前記ノイズ度を推定する、
    請求項1または2に記載の画像処理装置。
  4. 前記推定部が、前記密度と前記劣化度との関係を示す非線形関数の最高次係数に基づいてノイズ度を推定する、
    請求項1または2に記載の画像処理装置。
  5. 前記最高次係数と前記ノイズ度との対応関係が予め設定されており、
    前記推定部が、複数の前記密度および前記複数の劣化度から前記非線形関数の最高次係数を算出し、前記対応関係を参照することで、前記算出した最高次係数に対応する前記ノイズ度を決定する、
    請求項4に記載の画像処理装置。
  6. プロセッサを備える画像処理装置により実行される画像処理方法であって、
    入力画像を取得する取得ステップと、
    前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、
    前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
    算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定ステップと
    を含む画像処理方法。
  7. 入力画像を取得する取得ステップと、
    前記入力画像の少なくとも一部である対象領域に、互いに密度が異なる複数のノイズのそれぞれを重畳することで、複数の比較画像を生成する生成ステップと、
    前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
    算出された複数の劣化度に基づいて前記入力画像のノイズ度を推定する推定ステップと
    をコンピュータに実行させる画像処理プログラム。
JP2019523226A 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム Active JP6564158B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020845 WO2018225134A1 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2018225134A1 true JPWO2018225134A1 (ja) 2019-08-08
JP6564158B2 JP6564158B2 (ja) 2019-08-21

Family

ID=64566044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019523226A Active JP6564158B2 (ja) 2017-06-05 2017-06-05 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US11798134B2 (ja)
JP (1) JP6564158B2 (ja)
WO (1) WO2018225134A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105375B (zh) * 2019-12-17 2023-08-22 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备
EP3846118A1 (en) * 2020-01-06 2021-07-07 Samsung Electronics Co., Ltd. Image display apparatus and image displaying method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
JP5672527B2 (ja) * 2010-09-01 2015-02-18 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法
EP3071101B1 (en) * 2013-11-18 2019-07-24 Regents of the University of Minnesota System and method for temporal sparse promoting imaging of cardiac activation
JP2015122619A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US9591240B1 (en) * 2014-12-01 2017-03-07 The Florida State University Research Foundation, Inc. System and method for generating a dataset for real noise reduction evaluation
EP3166072A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method for denoising an image and apparatus for denoising an image
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
WO2017182952A1 (en) * 2016-04-18 2017-10-26 King Abdullah University Of Science And Technology System and method for free-boundary surface extraction
US10572978B2 (en) * 2016-12-05 2020-02-25 Kennesaw State University Research And Service Foundation, Inc. Moran's / for impulse noise detection and removal in color images

Also Published As

Publication number Publication date
US20190333191A1 (en) 2019-10-31
JP6564158B2 (ja) 2019-08-21
WO2018225134A1 (ja) 2018-12-13
US11798134B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
JP5389903B2 (ja) 最適映像選択
EP2942776B1 (en) System and method for enhancing displayed images
JP2020160616A (ja) 生成装置、コンピュータプログラム、生成方法
JP6554253B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN103854259A (zh) 图像处理设备以及处理图像的方法
JP6369150B2 (ja) アンチエイリアシングエッジを回復するフィルタリング方法及びフィルタリング装置
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
CN109035167B (zh) 对图像中的多个人脸进行处理的方法、装置、设备和介质
JP2020191046A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101874738B1 (ko) 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법
JP6564158B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2015226228A (ja) 画像処理装置及びプログラム
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
WO2016098323A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP2020181402A (ja) 画像処理装置、画像処理方法、およびプログラム
JPWO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
JP5660300B2 (ja) 画像処理装置
Ghous et al. Efficient image enhancement using improved RIQMC based ROHIM model
Liu et al. Lightness modulated deep inverse tone mapping
Cyriac et al. Perceptual dynamic range for in-camera image processing.
JP6164024B2 (ja) 画像処理装置及びプログラム
JP2015076676A (ja) 画像処理装置、画像処理方法及びプログラム
JP7372072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190517

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190725

R150 Certificate of patent or registration of utility model

Ref document number: 6564158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250