JP7409606B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7409606B2
JP7409606B2 JP2020022178A JP2020022178A JP7409606B2 JP 7409606 B2 JP7409606 B2 JP 7409606B2 JP 2020022178 A JP2020022178 A JP 2020022178A JP 2020022178 A JP2020022178 A JP 2020022178A JP 7409606 B2 JP7409606 B2 JP 7409606B2
Authority
JP
Japan
Prior art keywords
correction
pixel
patches
patch
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022178A
Other languages
English (en)
Other versions
JP2021129190A (ja
Inventor
洋佑 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020022178A priority Critical patent/JP7409606B2/ja
Priority to US17/166,954 priority patent/US11508039B2/en
Publication of JP2021129190A publication Critical patent/JP2021129190A/ja
Application granted granted Critical
Publication of JP7409606B2 publication Critical patent/JP7409606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像のノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関する。
従来、カメラで撮影した画像に含まれるノイズを抑制するため、画像中の複数画素からなるパッチに着目し、パッチベースでノイズを低減する技術が知られている。非特許文献1に記載された処理は、撮影画像中の複数のパッチからなるパッチ集合を選び出してその平均と共分散行列で表されるパッチの確率モデルを生成し、パッチ集合を構成するパッチ各々に対して最大事後確率法に基づいたノイズ低減処理を行う。そして、ノイズ低減処理されたパッチを用い出力画像を生成する。この時、前記共分散行列の逆行列である逆共分散行列を算出し、これに基づいてノイズ低減処理後の画素値を決定する。
Implementation of the "Non-Local Bayes" (NL-Bayes) Image Denoising Algorithm。 Image Processing On Line, 3 (2013), pp. 1-42.
しかしながら、従来の技術では、ノイズ低減処理後のパッチ内の画素の値が異常値になる場合があり、結果として出力画像が破綻する可能性があった。
本発明は、上記課題を鑑みてなされたものであり、ノイズ低減処理後の出力画像の破綻を抑制することを目的とする。
本発明は、画像のノイズを低減する画像処理装置であって、前記画像中に複数のパッチを設定する設定手段と、前記複数のパッチから基準パッチを算出する第1の算出手段と、前記複数のパッチと前記基準パッチとから共分散行列を算出する第2の算出手段と、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第1の補正を行い第1の補正画素を取得する第1の補正手段と、前記第1の補正画素に異常があるか否か判定する判定手段と、前記判定手段で異常があると判定された前記第1の補正画素の位置の画素に対して、前記第1の補正と異なる第2の補正を行い、第2の補正画素を取得する第2の補正手段と、
前記第1の補正画素もしくは前記第2の補正画素で出力画像を生成する生成手段と、を有することを特徴とする。
本発明によれば、ノイズ低減処理後の出力画像の破綻を抑制することが出来る。
実施形態1のハードウェア構成 実施形態1の画像処理のブロック図 実施形態1の画像処理のフローチャート 実施形態1の第1の補正処理のフローチャート 実施形態1の異常判定処理のフローチャート 実施形態2の画像処理のブロック図 実施形態2の画像処理のフローチャート
(実施形態1)
本実施形態では、パッチベースのノイズ低減処理において共分散行列を用いた補正の異常を判定して、異常である場合に出力画像の破綻を回避する方法を説明する。図1は、本実施形態に係るハードウェア構成を示すブロック図である。図1において、画像処理装置はCPU101、RAM102、HDD103、汎用インターフェース(I/F)104、モニタ108、及びメインバス109を備える。汎用I/Fは、カメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、及びメモリカードなどの外部メモリ107をメインバス109に接続する。
以下では、CPU101がHDD103に格納された各種ソフトウェア(コンピュータプログラム)を動作させることで実現する各種処理について述べる。
まず、CPU101はHDD103に格納されている画像処理アプリケーションを起動し、RAM102に展開するとともに、モニタ108にユーザインターフェース(UI)を表示する。続いて、HDD103や外部メモリ107に格納されている各種データ、撮像装置105で撮影された画像データ、入力装置106からの指示などがRAM102に転送される。さらに、画像処理アプリケーション内の処理に従って、RAM102に格納されているデータはCPU101からの指令に基づき各種演算される。演算結果はモニタ108に表示したり、HDD103または外部メモリ107に格納したりする。なお、HDD103や外部メモリ107に格納されている画像データがRAM102に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがRAM102に転送されてもよい。
上記の構成に於いて、CPU101からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像データの一部を切りだした部分画像をパッチと呼ぶ。着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとし、着目パッチに対応したノイズ低減処理をする際に参照する。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチの画素値分布と類似したパッチを類似パッチとして検出し、それらをパッチ集合とする。なお、複数の参照パッチの中には着目パッチ自身が含まれていても構わない。パッチ集合に基づいて、各類似パッチに対してノイズ低減処理を実行する。ノイズを低減した類似パッチを集約(Aggregation)することにより、入力画像データに対してノイズ低減処理した画像を生成する。
図2は、本実施形態にかかる画像処理のブロック図である。画像入力部201は、入力画像データを取得する。着目パッチ設定部202は、入力画像データから所定の形状の部分画像を切り出し着目パッチとする。本実施形態では、所定の形状を6画素×6画素の正方形とする。類似パッチ検出部203は、着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定し、参照パッチの内で着目パッチに類似するものを類似パッチとして検出する。各参照パッチは着目パッチと同一の形状である。また、本実施形態では類似パッチの中に着目パッチを含むものとする。基準パッチ算出部204は、複数の類似パッチに基づいて基準パッチを算出する。ノイズ量パッチ算出部205は、基準パッチを用いてノイズ量パッチを算出する。共分散行列算出部206は、複数の類似パッチに基づいて共分散行列を算出する。第1の補正部207は、共分散行列を用いて複数の類似パッチに含まれる画素を補正する。
異常判定部208は、複数の類似パッチ各々に対して、補正済の補正画素毎に異常であるか否(正常である)かを判定する。第2の補正部209は、異常判定部208で異常と判定された画素があった場合に、第1の補正前のパッチにおける同座標の画素に対して、第1の補正とは異なる補正を行う。パッチ修正部210は、第2の補正による結果を用いて複数の第1の補正結果を修正する。
パッチ集約部211は、補正された複数の類似パッチを集約(Aggregation)して、ノイズ低減された出力画像を生成する。パッチベースのノイズ低減処理において、複数の類似パッチの補正前後の変化から補正後のパッチの異常を画素毎に判定する異常判定部を持ち、異常である画素がある場合は別の補正を行ってパッチを修正する点が本発明の特徴である。本実施形態では、2つの異なる補正処理部を持ち、異常判定部の判定結果に応じて2つの補正処理部による補正結果を選択して用いる構成を説明する。本実施形態では、処理対象パッチについて、第1の補正結果が異常であると判定された場合にのみ、第2の補正部209が当該パッチを補正する構成について説明する。
図3は、本実施形態にかかる画像処理のフローチャートである。
ステップS301で画像入力部201は、入力画像データを取得する。また、集約用画像データをゼロで初期化する。集約用画像データは分母画像データと分子画像データからなり、いずれも入力画像データと同じ画素数である。ステップS302で着目パッチ設定部202は、着目パッチを1つ設定する。一般に1つの入力画像データに対して複数のパッチを着目パッチとして設定することができる。本ステップ以降の処理は、設定する着目パッチの位置を変えて繰り返し実行される。その際、すべてのパッチを1回ずつ着目パッチとして設定するように制御してもよいし、一部のパッチのみを着目パッチとして設定するように制御してもよい。本実施形態では、左上からラスタ順に全てのパッチを着目パッチとして設定する。前述の通り、本実施形態では入力画像データから6画素×6画素の正方形の部分画像を切り出し着目パッチとする。つまり着目パッチは36画素からなる。以下では、着目パッチを、36画素を縦に並べた列ベクトルTで表す。一般に着目パッチがM画素からなる場合、着目パッチを、M画素を縦に並べた列ベクトルTで表す。
ステップS303で類似パッチ検出部203は、類似パッチを検出する。まず、着目パッチT近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定する。各参照パッチの形状は、着目パッチTの形状と一致する。以下では、i番目の参照パッチを、M画素を縦に並べた列ベクトルR_iで表す。次に、複数の参照パッチそれぞれについて、着目パッチTとの類似度を算出する。類似度は、参照パッチと着目パッチTの、各画素の差分二乗和(SSD)により算出される。具体的には、i番目の参照パッチR_iの類似度SSD_iは以下の式(1)で算出される。
Figure 0007409606000001
ここで、ベクトルTのj番目の成分(画素値)をT(j)で表している。この算出方法から明らかなように、類似度SSD_iの値が小さいほど、参照パッチR_iが着目パッチTに類似していることを意味する。さらに、複数の参照パッチの内から、類似度に基づいて一部のパッチを類似パッチとして検出する。本実施形態では、予め定める閾値th1より類似度が小さいパッチを類似パッチとして検出する。ここで検出された類似パッチの個数をNとし、i番目の類似パッチをP_iで表す。本実施形態では着目パッチが36画素から成るため、類似パッチの個数は最低限37個必要である。最低限の個数を検出できなかった場合には、閾値th1を大きくして再度類似パッチを検出する。
ステップS304で基準パッチ算出部204は、複数の類似パッチに基づいて基準パッチQを以下の式(2)で算出する。
Figure 0007409606000002
ステップS305でノイズ量パッチ算出部205は、基準パッチQを用いてパッチ内の画素(j)毎のノイズ量を示すノイズ量パッチVを以下の式(3)で算出する。
Figure 0007409606000003
ここで、kは定数、V_0は基準パッチQと同じ形状のベクトルであり、いずれも予め定めて保存しておく。
ステップS306で共分散行列算出部206は、複数の類似パッチに基づいて共分散行列を算出する。ステップS304で算出した基準パッチQを用いて、共分散行列Cを以下の式(4)で算出する。
Figure 0007409606000004
ここでは、パッチを表すベクトルを行列とみなし、行列としての演算を行う。tは行列の転置である。
ステップS307で、第1の補正部207は、複数の類似パッチに対して第1の補正処理を行う。以下、第1の補正処理の詳細について説明する。図4は第1の補正処理のフローチャートである。各ステップは全て第1の補正部207が行う。以下では、第1の補正を行う前の類似パッチを第1補正前パッチ、第1の補正を行った後の類似パッチを第1補正後パッチと表す。
ステップS401で、ステップS306で算出した共分散行列Cの逆行列である逆共分散行列C^-1を算出する。
ステップS402で、補正行列Hを以下の式(5)で算出する。
Figure 0007409606000005
ここでdiag(V)は主対角上にベクトルVの要素をもつ正方対角行列を表す。
ステップS403で、複数の類似パッチそれぞれP_iに対応する補正済みパッチO_iを以下の式(6)で算出する。
Figure 0007409606000006
以上が第1の補正処理の詳細である。
続いて、メインの画像処理フローに戻り、ステップS308で、異常判定部208は、第1補正後パッチに対して異常判定を行う。以下、異常判定処理について詳細を説明する。図5は異常判定のフローチャートである。各ステップは全て異常判定部208が行う。
ステップS501で、異常判定結果を記憶する判定データを初期化する。判定データには、全処理対象パッチについて正常(=「0」)か異常(=「1」)かを判定した結果と、全処理対象パッチの画素位置が記憶される。
ステップS502で、第1補正前パッチと第1補正後パッチの中から処理対象パッチをそれぞれ1つ選択する。第1補正前パッチから選択したパッチを処理対象パッチI、第1補正後パッチから選択したパッチを処理対象パッチI’とする。さらに、選択する両パッチは画素位置が一致するものとする。
ステップS503で、処理対象パッチIと処理対象パッチI’から同座標の画素をそれぞれ1つ選択する選択した画素を順にI_j、I’_jとする。
ステップS504で、異常な画素であるか否かの判定を行うための閾値th2を決定する。閾値th2は、ノイズ量パッチVと予め定めた係数m(本実施形態ではm=5)を用いて画素(j)毎に以下の式(7)で算出される。
Figure 0007409606000007
ステップS505で、画素I_j、I’_jの差分絶対値と閾値th2_jを比較する。差分絶対値が閾値th2_j以上である場合にS506に進み、そうでない場合にS507に進む。
ステップS506で、ステップS505で異常と判定された画素(以後、異常画素)の画素位置を記録する。
ステップS507で、処理対象パッチ内の全画素が選択済みであるか否かを判定する。処理対象パッチ内の全画素が選択済みである場合はステップS508に進み、そうでない場合はS503に進む。
ステップS508で、全ての処理対象パッチが処理済みであるか否かを判定する。全ての処理対象パッチが処理済みである場合は第1の異常判定処理を終了し、そうでない場合はS502に進む。以上が異常判定処理の詳細である。
再びメインの画像処理フローに戻り、ステップS309で、異常判定部208は、ステップS308の異常判定処理の結果に基づき、全ての第1補正後パッチについて異常画素があるか否かを判定する。第1補正後パッチに異常画素があると判定された場合は、ステップS310へ進み、異常画素が無いと判定された場合は、ステップS312に進む。
ステップS310で、第2の補正部209は、第1補正前パッチについて、異常画素と同座標の画素(以後、補正対象画素)に対して第2の補正を行う。第2の補正は、第1の補正とは異なる処理であり、本実施形態では、補正対象画素とその周辺画素に対して平均値フィルタを適用する。
ステップS311で、パッチ修正部210は、第2の補正結果を用いて第1補正後パッチを修正する。具体的には、第1補正後パッチの異常画素を第2の補正結果の同座標の画素に置換する。
ステップS312において、全ての着目パッチが処理済みであるか否かを判定する。全ての着目パッチが処理済みである場合にS313に進み、そうでない場合にS302に進む。
ステップS313で、パッチ集約部211は、第1あるいは第2の補正が成された複数の補正済みパッチに基づき集約用画像データを編集する。前述の通り、集約用画像データは分母画像データと分子画像データからなる。複数の補正済みパッチO_iそれぞれについて、全画素の値を分子用画像データの対応する位置に加算する。この位置は、入力画像データにおいて各画素が存在した位置である。また、分母用画像における同じ位置に1を加算する。
以上が本実施形態の画像処理のフローである。
以上の処理により、共分散行列を用いたパッチベースのノイズ低減処理において、ノイズ低減後に異常が生じた場合でも当該異常を修正し、好適な出力画像を得ることができる。
なお、本実施形態の処理は、各種の形式の画像データに適用できる。例えばモノクロ画像に対して適用できるし、複数の色成分からなるカラー画像にも適用できるし、Bayer配列の画像にも適用できる。
また、参照パッチと着目パッチTの類似度を、各画素の差分二乗和(SSD)により算出したが、他の方法で算出してもよい。例えば、各画素の差分絶対値和(SAD)で算出してもよいし、各画素の差分の絶対値の最大値、最小値、平均値、中央値などを用いてもよい。
また、第2の補正として、第1補正前パッチに平均値フィルタを適用する例について述べたが、他の方法で補正してもよい。例えば、第1補正前パッチにガウシアンフィルタのようなノイズを低減可能なローパスフィルタを適用してもよい。他に、第1補正前パッチに対して、異常と判定された画素のみ補正を行わず、補正前の値をそのまま出力してもよいし、パッチ内の数画素から算出した平均画素値を出力してもよい。
また、基準パッチを、複数の類似パッチの平均で算出したが、これに限らない。例えば、基準パッチの各画素の値を、複数の類似パッチの対応する画素の中央値や最小値などで定めても良い。
また、異常判定として、第1補正前パッチと第1補正後パッチの中から処理対象パッチをそれぞれ1つ選択し、各パッチ内の同位置の画素毎に画素値の差分絶対値と閾値th2とを比較したが、他の方法で異常を判定してもよい。例えば、処理対象パッチ内の各画素の画素値とノイズ量パッチV_iの平方根との差分を比較してもよい。
(実施形態2)
実施形態1では、第1補正後パッチの各画素が異常であるか否かの判定に用いる閾値th2について、ノイズ量パッチVに基づいて決定した。ノイズ量パッチは、ステップS303で検出した全ての類似パッチから求めた基準パッチを用いて算出している。共分散行列を算出するためには、最低限必要な類似パッチの個数があり、この条件を満たすために、類似度が低い類似パッチを検出して基準パッチを算出している。このため、閾値th2の精度が低下する場合がある。そこで、実施形態2では、閾値th2を決定する際、類似度の高い類似度パッチのみから算出した基準パッチを用いる例について説明する。
具体的には、パッチ間の類似度を算出した後、第1の補正と閾値算出の処理に分岐して、閾値算出用に所定の類似度よりも高い類似度のパッチのみを集める工程を加えた例を説明する。なお、実施形態1と共通の部分は説明を省略する。
図6は、本実施形態にかかる画像処理のブロック図である。類似パッチ選定部601は、類似パッチ検出部203で検出した類似パッチの中から類似度が高いパッチのみを選定する。異常判定用ノイズ量パッチ算出部602は、選定した類似パッチに基づいて基準パッチを算出し、それを用いてノイズ量パッチを算出する。異常判定部603は、補正した複数の類似パッチ各々に対して、画素毎に異常であるか否(正常である)かを判定する。
図7は、本実施形態にかかる画像処理のフローチャートである。
ステップS701で、類似パッチ選定部601は、類似パッチの中から類似度が高いパッチのみを選定する。具体的には、閾値th1を小さくし(例えば係数c=0.5を乗算する)、閾値th1より小さい類似パッチを選定する。あるいは、類似度の高い上位x%(x=60)を類似パッチとして選定してもよい。
ステップS702で、異常判定用ノイズ量パッチ算出部602は、選定した全ての類似パッチについて画素毎の平均値を取って基準パッチQ’を算出し、以下の式(8)によりノイズ量パッチV’を算出する。
Figure 0007409606000008
ステップS703で、異常判定部603は、第1補正後パッチに対して異常判定を行う。実施形態1との差異点であるステップS504について説明する。実施形態2では、ノイズ量パッチV’と予め定めた係数m(本実施形態ではm=5)を用いて画素(j)毎にth2が以下の式(9)で算出される。
Figure 0007409606000009
以上、第1の補正処理用と閾値算出処理用に適したノイズ量パッチを算出することで、より精度良く第1の補正処理の異常結果を修正し、好適な出力画像を得ることができる。
(その他の実施形態)
本発明は、前述の各実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。
また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、二次関数係数演算部の一部は上位の制御手段から与えられる演算開始信号によって動作し、演算結果を保持しておき、画像が入力されている間は、ここで保持したデータ参照するのみにすることで電力を削減することが可能である。

Claims (10)

  1. 画像のノイズを低減する画像処理装置であって、
    前記画像中に複数のパッチを設定する設定手段と、
    前記複数のパッチから基準パッチを算出する第1の算出手段と、
    前記複数のパッチと前記基準パッチとから共分散行列を算出する第2の算出手段と、
    前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第1の補正を行い第1の補正画素を取得する第1の補正手段と、
    前記第1の補正画素に異常があるか否か判定する判定手段と、
    前記判定手段で異常があると判定された前記第1の補正画素の位置の画素に対して、前記第1の補正と異なる第2の補正を行い、第2の補正画素を取得する第2の補正手段と、
    前記第1の補正画素もしくは前記第2の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
  2. 前記第1の算出手段は、前記複数のパッチの平均により前記基準パッチを算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の算出手段は、類似度に基づき、前記複数のパッチから選定された複数のパッチの平均により前記基準パッチを算出することを特徴とする請求項1に記載の画像処理装置。
  4. 前記判定手段は、前記複数のパッチに含まれる画素と前記第1の補正画素との差分が所定の閾値よりも大きい場合に、前記第1の補正画素に異常があると判定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記所定の閾値は、画素毎に異なる値であり、前記基準パッチとノイズ量とに基づき算出されることを特徴とする請求項4に記載の画像処理装置。
  6. 前記第2の補正手段は、前記判定手段で異常があると判定された前記第1の補正画素が含まれるパッチ内における前記第1の補正前の画素の平均値を前記第2の補正画素とすることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記第2の補正手段は、前記判定手段で異常があると判定された前記第1の補正画素が含まれるパッチにおける前記第1の補正前の画素にローパスフィルタを適用し、前記第2の補正画素を取得することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  8. 前記第2の補正手段は、前記判定手段で異常があると判定された前記第1の補正画素の位置の画素を、前記第2の補正画素で置換することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 画像のノイズを低減する画像処理方法であって、
    設定手段が、前記画像中に複数のパッチを設定する設定工程と、
    第1の算出手段が、前記複数のパッチから基準パッチを算出する第1の算出工程と、
    第2の算出手段が、前記複数のパッチと前記基準パッチとから共分散行列を算出する第2の算出工程と、
    第1の補正手段が、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第1の補正を行い第1の補正画素を取得する第1の補正手段と、
    判定手段が、前記第1の補正画素に異常があるか否か判定する判定工程と、
    第2の補正手段が、前記判定工程で異常があると判定された前記第1の補正画素の位置の画素に対して、前記第1の補正と異なる第2の補正を行い、第2の補正画素を取得する第2の補正工程と、
    生成手段が、前記第1の補正画素もしくは前記第2の補正画素で出力画像を生成する生成工程と、を有することを特徴とする画像処理方法。
  10. コンピュータを、
    画像のノイズを低減する画像処理装置であって、
    前記画像中に複数のパッチを設定する設定手段と、
    前記複数のパッチから基準パッチを算出する第1の算出手段と、
    前記複数のパッチと前記基準パッチとから共分散行列を算出する第2の算出手段と、
    前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第1の補正を行い第1の補正画素を取得する第1の補正手段と、
    前記第1の補正画素に異常があるか否か判定する判定手段と、
    前記判定手段で異常があると判定された前記第1の補正画素の位置の画素に対して、前記第1の補正と異なる第2の補正を行い、第2の補正画素を取得する第2の補正手段と、
    前記第1の補正画素もしくは前記第2の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置として機能させるためのプログラム。
JP2020022178A 2020-02-13 2020-02-13 画像処理装置、画像処理方法およびプログラム Active JP7409606B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020022178A JP7409606B2 (ja) 2020-02-13 2020-02-13 画像処理装置、画像処理方法およびプログラム
US17/166,954 US11508039B2 (en) 2020-02-13 2021-02-03 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022178A JP7409606B2 (ja) 2020-02-13 2020-02-13 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021129190A JP2021129190A (ja) 2021-09-02
JP7409606B2 true JP7409606B2 (ja) 2024-01-09

Family

ID=77272915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022178A Active JP7409606B2 (ja) 2020-02-13 2020-02-13 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11508039B2 (ja)
JP (1) JP7409606B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128497A (ja) * 2020-02-13 2021-09-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN113724171B (zh) * 2021-09-14 2024-08-09 浙江华感科技有限公司 图像的校正方法、装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041732A (ja) 2015-08-19 2017-02-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2018185586A (ja) 2017-04-24 2018-11-22 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
JP2019101686A (ja) 2017-11-30 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072513B2 (en) * 2007-05-02 2011-12-06 Canon Kabushiki Kaisha Image capturing system, signal processing circuit, and signal processing method
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7328096B2 (ja) * 2019-09-13 2023-08-16 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022125787A1 (en) * 2020-12-09 2022-06-16 Zesty.Ai, Inc. Determining 3d structure features from dsm data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041732A (ja) 2015-08-19 2017-02-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2018185586A (ja) 2017-04-24 2018-11-22 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
JP2019101686A (ja) 2017-11-30 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2021129190A (ja) 2021-09-02
US11508039B2 (en) 2022-11-22
US20210256661A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
JP7030493B2 (ja) 画像処理装置、画像処理方法およびプログラム
TW201821788A (zh) 檢查裝置及檢查方法
US9542725B2 (en) Image processing device, image processing method and medium
US10692215B2 (en) Image processing apparatus, image processing method, and storage medium
US11000253B2 (en) Image processing apparatus, radiation imaging apparatus, image processing method, and storage medium
JP7409606B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10740878B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
US11798227B2 (en) Image processing apparatus and image processing method
US20240338933A1 (en) Image generation apparatus, image generation method, image generation program, learning device, and learning data
KR101362183B1 (ko) 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
JP2019106173A (ja) 画像処理方法、画像処理装置およびプログラム
JP7409607B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2019116975A1 (ja) 画像処理方法、画像処理装置およびプログラム
JP6564158B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US11212480B2 (en) Brightness and contrast optimization of images in real time
JP6254813B2 (ja) X線画像処理装置および方法、並びにx線撮像装置、プログラム
JP2021077037A (ja) 画像処理装置、画像処理方法、及びプログラム。
EP3719740B1 (en) Image processing device, image processing method, and image processing program
JP2018166331A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021128497A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021077038A (ja) 画像処理装置、画像処理方法、及びプログラム。
JP7372072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R151 Written notification of patent or utility model registration

Ref document number: 7409606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151