WO2018087806A1 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

画像処理方法、画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2018087806A1
WO2018087806A1 PCT/JP2016/083061 JP2016083061W WO2018087806A1 WO 2018087806 A1 WO2018087806 A1 WO 2018087806A1 JP 2016083061 W JP2016083061 W JP 2016083061W WO 2018087806 A1 WO2018087806 A1 WO 2018087806A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction amount
column
resolution
unit
Prior art date
Application number
PCT/JP2016/083061
Other languages
English (en)
French (fr)
Inventor
健太 先崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018549652A priority Critical patent/JPWO2018087806A1/ja
Priority to PCT/JP2016/083061 priority patent/WO2018087806A1/ja
Priority to US16/345,278 priority patent/US10964002B2/en
Publication of WO2018087806A1 publication Critical patent/WO2018087806A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to an image processing method, an image processing apparatus, and an image processing program.
  • the technology for suppressing the noise included in the image is used not only to reproduce the photographed object more clearly in the photographed image but also to prevent noise enhancement in various image processing. That is, the noise suppression technique is an indispensable technique among the image processing techniques.
  • the row noise is expressed by replacing “column” in the definition of column noise with “row”. That is, the pixel value y (i, j) at the position (i, j) in the image including row noise is expressed by the following equation (2) using the offset value ⁇ row (i) in the i row of the image. Is done.
  • the image processing program generates a plurality of low-resolution images having different resolutions in the row direction by changing the resolution in the row direction of the processing target image to a plurality of resolutions lower than the resolution.
  • Generation processing, second generation processing for generating a difference image by taking a difference between two low-resolution images among a plurality of low-resolution images, and a processing target using a statistic of pixel values in a predetermined column of the difference image A calculation process for calculating a correction amount of a pixel value of a predetermined column of an image is executed.
  • the column noise correction amount calculation unit 1220 uses the pixel value of the frequency component image decomposed for each band included in the input image input from the frequency component decomposition unit 1210 to calculate the column noise correction amount for each band. Each has a function to calculate.
  • the column noise correction amount calculation unit 1220 inputs the calculated column noise correction amount to the column noise correction unit 1230.
  • the multi-resolution image generation unit 1211 of the present embodiment generates N low-frequency component images by applying N moving average filters to the input image.
  • the pixel values of the generated images are represented as b 0 , b 1 ,..., B N ⁇ 1 , respectively.
  • the frequency of the offset value ⁇ col (j) caused by column noise is the largest in the generated histogram.
  • step S208 If there is no median value less than the threshold value (No in step S208), the correction amount calculation unit 1223 advances the process to step S210.
  • the correction amount calculation unit 1223 for example, as shown in the following equation (11), the first column of frequency components in which the difference between the first column noise correction amount of the current frame and the correction amount of the previous frame is less than the threshold value.
  • the noise correction amount c (j) is calculated using only the noise correction amount.
  • the image processing apparatus can suppress column noise while leaving edges included in most of the columns.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

画像処理装置10は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部11と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部12と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部13とを備える。

Description

画像処理方法、画像処理装置および画像処理プログラム
　本発明は、画像処理方法、画像処理装置および画像処理プログラムに関する。
　画像に含まれるノイズを抑圧する技術は、撮影された画像において撮影物がより鮮明に再現されるためだけでなく、様々な画像処理におけるノイズ強調を防ぐためにも使用される。すなわち、ノイズ抑圧技術は、画像処理技術の中でも特に不可欠な技術である。
　ノイズ抑圧技術の一種に、撮像素子間の感度のばらつき(non-uniformity)が原因で発生する固定パターンノイズ(Fixed Pattern Noise;FPN) を抑圧する処理である、Non-Uniformity Correction(NUC)と呼ばれる補正処理がある。
　広く用いられているNUC では、カメラ内のセンサの前にシャッタが実装され、周期的にシャッタ面が撮影されることによってFPN が推定され、推定されたFPN が撮影された画像から差し引かれる。すなわち、シャッタ面の画素値として設計値等の既知の値が使用されると、シャッタ面が一度撮影されるだけで、FPN が高精度に推定される。
　しかし、上記の方法には、シャッタが閉じられる数フレームの間にシーン情報が全く得られないという問題、機械的な機構の実装による筐体の大型化の問題、製造コストの増加の問題、および故障の増加の問題がある。従って、撮影された画像のみを用いてFPN を推定する手法の研究および開発が行われている。
　特許文献１には、撮影された画像のみを用いてFPN を推定する手法の例が記載されている。特許文献１に記載されている手法は、画像の列方向に発生するFPN 、または行方向に発生するFPN を、撮影された１枚の画像のみを用いて推定し、推定されたFPN を抑圧する手法である。
　列ノイズは、画像の列方向に同じオフセット値を有するノイズである。シーン情報の真の値をx 、撮影された画像の画素値をy とすると、列ノイズを含む画像内の位置(i,j) における画素値y(i,j)は、画像のj 列におけるオフセット値βcol(j)を用いて、以下の式（１）で表される。
　y(i,j) = x(i,j) + βcol(j)　・・・式（１）
　なお、行ノイズは、列ノイズの定義における「列」が「行」に読み替えられることによって表現される。すなわち、行ノイズを含む画像内の位置(i,j) における画素値y(i,j)は、画像のi 行におけるオフセット値βrow(i)を用いて、以下の式（２）で表される。
　y(i,j) = x(i,j) + βrow(i)　・・・式（２）
　特許文献１に記載されている手法は、列ごとのノイズの抑圧処理をそれぞれ独立に実行する。最初に、入力画像の処理対象列が選択される。次に、処理対象列内の任意の１行が選択され、行方向の隣接画素と中央の画素との差分値が計算される。中央の画素と隣接画素との差分値の計算が、処理対象列の全ての行に渡って繰り返し実行される。
　次いで、特許文献１に記載されている手法は、得られた差分値の統計量を求め、求められた統計量を処理対象列における列ノイズと推定する。求められる統計量は、例えば中央値である。
　特許文献１に記載されている手法は、上記の処理を入力画像の全ての列に渡って繰り返し実行する。最後に、特許文献１に記載されている手法は、入力画像から推定された列ノイズを差し引くことによって対象列の画像を補正する。全ての列の画像が補正された後、列ノイズの抑圧処理は終了する。
　また、特許文献１に記載されている手法は、差分計算を行う対象の隣接画素の参照範囲（以下、参照画素範囲という。）を変化させながら上記の処理を繰り返し実行することによって、様々な周波数の列ノイズを抑圧できる。
　なお、特許文献１に記載されている手法が実行する行ノイズの抑圧処理は、「列」が「行」に、「行」が「列」にそれぞれ読み替えられた上記の列ノイズの抑圧処理に相当する。
米国特許第８２０８０２６号明細書
　しかし、特許文献１に記載されている手法が使用された場合、参照画素範囲が拡大すると画素値の差分の計算コストが増加する。また、参照画素範囲が拡大すると、列間の画素値の差分に関するヒストグラムの生成コスト、および行間の画素値の差分に関するヒストグラムの生成コストが増加する。
　さらに、様々な周波数の列ノイズおよび行ノイズを効果的に除去するためには、参照画素範囲を変えながらノイズの推定処理および抑圧処理を繰り返し実行することが求められる。すなわち、ノイズの除去全体に掛かる計算コストが増加する。
　よって、より低い計算コストで様々な周波数の列ノイズおよび行ノイズを効果的に抑圧できる技術が求められている。
［発明の目的］
　そこで、本発明は、上述した課題を解決する、低演算コストで様々な周波数の列ノイズを抑圧できる画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。
　本発明による画像処理方法は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成し、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出することを特徴とする。
　本発明による画像処理装置は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部とを備えることを特徴とする。
　本発明による画像処理プログラムは、コンピュータに、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出処理を実行させることを特徴とする。
　本発明によれば、低演算コストで様々な周波数の列ノイズを抑圧できる。
本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態の画像処理部1200の構成例を示すブロック図である。 第１の実施形態の周波数成分分解部1210の構成例を示すブロック図である。 第１の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。 ヒストグラム生成部1221が生成するヒストグラムの例を示す説明図である。 第１の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。 本発明による画像処理装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の画像処理部1200の構成例を示すブロック図である。 第２の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。 第２の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。 本発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の画像処理部1200の構成例を示すブロック図である。 第３の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。 第３の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。 本発明による画像処理装置の概要を示すブロック図である。
＜第１の実施形態＞
［構成の説明］
　以下、本発明の実施形態を、図面を参照して説明する。
（第１の実施形態の画像処理装置1000）
　図１は、本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置1000は、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
　画像入力部1100は、処理対象の画像のデータを画像処理部1200に入力する機能を有する。画像入力部1100は、例えばカメラやスキャナ等の撮像機器である。また、画像入力部1100は、撮像機器により撮影された画像のデータが蓄積されている画像データベースでもよい。
　また、画像入力部1100は、撮像機器と、撮像機器と通信ネットワークを介して通信可能に接続された画像データベースとで構成されていてもよい。画像入力部1100は、原画像のデータを画像処理部1200に入力する。
　画像処理部1200は、入力される原画像のデータに対して固定パターンノイズ抑圧処理を行う機能を有する。画像処理部1200は、固定パターンノイズ抑圧処理が実行されたことによって生成されたノイズ抑圧後の画像を画像出力部1300に入力する。
　画像出力部1300は、補正された原画像のデータを出力する機能を有する。画像出力部1300は、例えばディスプレイやプリンタ等の出力機器である。また、画像出力部1300は、画像のデータを保持するハードディスクやメモリカード等の記憶媒体である。
　また、画像出力部1300は、出力機器と、出力機器と通信ネットワークを介して通信可能に接続された画像のデータを保持する記憶媒体とで構成されていてもよい。画像出力部1300は、画像の表示、画像の蓄積、または画像の伝送を行う。
　図２は、第１の実施形態の画像処理部1200の構成例を示すブロック図である。図２に示すように、本実施形態の画像処理部1200は、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230とを含む。
　周波数成分分解部1210は、画像入力部1100から入力された入力画像に含まれている周波数成分を周波数帯域（以下、帯域ともいう。）ごとに分解する機能を有する。
　周波数成分分解部1210は、例えば入力画像に含まれている水平方向の周波数成分に対して、周波数成分を少なくとも２つの帯域に分解するためのバンドパスフィルタを適用する。周波数成分分解部1210は、バンドパスフィルタの適用により得られた帯域ごとの周波数成分の画像を列ノイズ補正量算出部1220に入力する。
　列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値を用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する機能を有する。列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。
　列ノイズ補正部1230は、入力画像と列ノイズ補正量算出部1220から入力された列ノイズ補正量とを用いて、入力画像を補正する機能を有する。列ノイズ補正部1230は、補正された入力画像を出力画像として画像出力部1300に入力する。
　以下、本実施形態の画像処理部1200の各構成要素の構成および動作を説明する。
（周波数成分分解部1210）
　図３は、第１の実施形態の周波数成分分解部1210の構成例を示すブロック図である。図３に示すように、本実施形態の周波数成分分解部1210は、多重解像度画像生成部1211と、差分画像生成部1212とを有する。
（多重解像度画像生成部1211）
　多重解像度画像生成部1211は、入力画像を基に解像度が異なる複数の画像を生成する機能を有する。多重解像度画像生成部1211は、入力画像に対して、例えば低域通過フィルタを適用することによって解像度が異なる複数の画像を生成する。多重解像度画像生成部1211は、低域通過フィルタとして、例えば移動平均フィルタを用いる。
　入力画像内の位置(i,j) における画素値をy(i,j)、n 番目の移動平均フィルタ（以下、フィルタn という。）の参照画素数をTnとそれぞれすると、フィルタn が用いられた時に抽出される低周波成分の画像の位置(i,j) における画素値bn(i,j) は、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000001
 　
　本実施形態の多重解像度画像生成部1211は、入力画像に対してN 個の移動平均フィルタを適用することによって、N 個の低周波成分の画像をそれぞれ生成する。なお、生成される各画像の画素値をそれぞれb0,b1,・・・,bN-1 と表す。
　なお、低周波成分の画像を求める際に移動平均フィルタを用いる場合、多重解像度画像生成部1211は、以下の式（４）で求められる行ごとの積分画像yintを用いてもよい。
Figure JPOXMLDOC01-appb-M000002
 　
　行i における積分画像yintが使用されるフィルタn が用いられた時に抽出される低周波成分の画像の画素値bn(i,j) は、以下の式（５）で表される。
Figure JPOXMLDOC01-appb-M000003
 　
　すなわち、積分画像yintを用いることによって、多重解像度画像生成部1211は、参照画素範囲がどのような範囲であっても画素あたりO(1)の計算コストで解像度が異なる画像を生成できる。
　多重解像度画像生成部1211は、式（３）等に示す算出処理をフィルタごとに実行することによって、行方向の解像度が異なる複数の画像を生成する。なお、積分画像を用いる場合、多重解像度画像生成部1211は、最初に入力画像にフィルタを適用する際に積分画像を一度生成すれば、入力画像に他のフィルタを適用する際に既に生成された積分画像を使い回すことができる。
　なお、多重解像度画像生成部1211は、低域通過フィルタとして移動平均フィルタの他に、重み付きフィルタやメディアンフィルタを用いてもよい。
　多重解像度画像生成部1211は、入力画像（画素値y ）と、得られたN 個の低周波成分の画像（画素値b0,b1,・・・,bN-1 ）とを差分画像生成部1212に入力する。
（差分画像生成部1212）
　差分画像生成部1212には、多重解像度画像生成部1211から入力画像（画素値y ）と、N 個の低周波成分の画像（画素値b0,b1,・・・,bN-1 ）とが入力される。差分画像生成部1212は、入力された情報を用いて、差分画像を生成する。
　説明の簡略化のため、N 個の低周波成分の画像は、適用された低域通過フィルタの通過域が広い順に並べられているとする。すなわち、画素値がb0の画像より画素値がbN-1の画像の方がよりぼかされた画像になるように、N 個の画像は並べられている。
　差分画像生成部1212は、以下の式（６）に示すように、解像度が最も近い画像間の画素値の差分を計算することによって、通過帯域がそれぞれ異なるN 個の帯域通過成分の画像（画素値d0,d1,・・・,dN-1 ）を生成する。
Figure JPOXMLDOC01-appb-M000004
 　
　入力画像、およびN 個の低周波成分の画像それぞれに含まれる周波数成分の帯域は少しずつ異なる。差分画像生成部1212は、各画像間の画素値の差分を計算することによって、帯域通過フィルタが適用された結果に相当する出力結果を生成できる。
　以上の処理により、周波数成分分解部1210は、入力画像に含まれる周波数成分を少なくとも２つの帯域に分解できる。差分画像生成部1212は、得られたN 個の周波数成分の画像（画素値d0,d1,・・・,dN-1 ）を列ノイズ補正量算出部1220に入力する。
（列ノイズ補正量算出部1220）
　図４は、第１の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図４に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
（ヒストグラム生成部1221）
　ヒストグラム生成部1221には、周波数成分分解部1210からN 個の周波数成分の画像（画素値d0,d1,・・・,dN-1 ）が入力される。ヒストグラム生成部1221は、入力された各周波数成分の画像に対して、図５に示すような差分画素値のヒストグラムを列ごとに生成する。
　図５は、ヒストグラム生成部1221が生成するヒストグラムの例を示す説明図である。なお、ヒストグラムを生成する際、ヒストグラム生成部1221は、入力画像のビット精度に応じてbin 数（ヒストグラムの階級数）を適宜変えてもよい。
　図５に示すような差分ヒストグラムの場合、差分画素値の取り得る範囲は-255～255 である。よって、全ての差分画素値を網羅するヒストグラムが生成されるためには、bin 数が511 に設定されることが求められる。
　ヒストグラム生成の対象列が画像内の画素値の変化が小さい領域である平坦な領域に存在する場合、生成されるヒストグラムでは、列ノイズが原因で生じるオフセット値βcol(j)の度数が最も大きくなる。
　特許文献１に記載されている手法が使用される場合、ヒストグラム生成のための累積加算のコストは、差分計算が行われる参照画素範囲に比例して増加する。本実施形態の累積加算では、１列あたり画像の垂直方向の画素数と同じ数だけ加算が行われるため、累積加算のコストは、特許文献１に記載されている手法が使用される場合に比べて低くなる。
　ヒストグラム生成部1221は、各周波数成分の画像の列ごとに生成されたヒストグラムを、ヒストグラム解析部1222に入力する。入力画像の列数がJ であるとすると、ヒストグラム生成部1221は、(N×J)個のヒストグラムを生成する。
（ヒストグラム解析部1222）
　ヒストグラム解析部1222は、ヒストグラム生成部1221から入力される各ヒストグラムを解析することによって、各周波数帯域の第１の列ノイズ補正量を列ごとに算出する。第１の列ノイズ補正量として、例えばヒストグラムの中央値、平均値、最頻値等の統計量が用いられる。
　例えば、ヒストグラム解析部1222は、入力画像の所定の列に対して第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)を、各周波数成分のヒストグラムからそれぞれ算出する。ヒストグラム解析部1222は、算出された各列に対する第１の列ノイズ補正量を、補正量算出部1223に入力する。
（補正量算出部1223）
　補正量算出部1223は、ヒストグラム解析部1222から入力された第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)を用いて、列におけるノイズ補正量c(j)を算出する。補正量算出部1223は、例えば以下の式（７）に示すように、各周波数帯域に渡って第１の列ノイズ補正量の和をとることによって、ノイズ補正量c(j)を算出する。
Figure JPOXMLDOC01-appb-M000005
 　
　以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像を用いて、各列の列ノイズ補正量を算出できる。補正量算出部1223は、上記のように得られた列におけるノイズ補正量c(j)を、列ノイズ補正部1230に入力する。
（列ノイズ補正部1230）
　列ノイズ補正部1230は、入力画像の画素値y と入力された列におけるノイズ補正量c(j)とを用いて、以下の式（８）に示すように出力画像の画素値xoutを生成する。
　xout(i,j) = y(i,j) - c(j)　・・・式（８）
　列ノイズ補正部1230は、上記のように生成された出力画像を画像出力部1300に入力する。
［動作の説明］
　以下、本実施形態の画像処理装置1000の動作を図６を参照して説明する。図６は、第１の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
　最初に、列ノイズ補正部1230は、各列における列ノイズ補正量を０に初期化する（ステップS101）。
　次いで、画像入力部1100は、画像処理部1200に入力画像を入力する。周波数成分分解部1210に入力された入力画像に対して、多重解像度画像生成部1211は、入力画像の行ごとに積分画像を生成する（ステップS102）。
　次いで、多重解像度画像生成部1211は、ステップS102で生成された積分画像を用いて、行方向の解像度が異なる複数の画像を生成する（ステップS103）。多重解像度画像生成部1211は、生成された複数の画像を差分画像生成部1212に入力する。
　次いで、差分画像生成部1212は、ステップS103で生成された行方向の解像度が異なる複数の画像のうち、行方向の解像度が最も近い２つの画像の差分画像を生成する（ステップS104）。差分画像生成部1212は、生成された複数の差分画像を列ノイズ補正量算出部1220に入力する。
　次いで、ヒストグラム生成部1221は、ステップS104で生成された差分画像から画像を１つ選択する（ステップS105）。ヒストグラム生成部1221は、選択された差分画像の列ごとに、差分画素値のヒストグラムを生成する（ステップS106）。ヒストグラム生成部1221は、生成された列ごとのヒストグラムをヒストグラム解析部1222に入力する。
　次いで、ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS107）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
　次いで、補正量算出部1223は、算出された各列の中央値を、対応する列ノイズ補正量にそれぞれ加算する（ステップS108）。
　次いで、列ノイズ補正量算出部1220は、生成された全ての差分画像に関してステップS105～ステップS108の処理を実行したか否かを確認する（ステップS109）。未だ処理が実行されていない差分画像が存在する場合（ステップS109におけるNo）、列ノイズ補正量算出部1220は、再度ステップS105の処理を行う。
　全ての差分画像に関して処理が実行された場合（ステップS109におけるYes ）、補正量算出部1223は、算出された各列における列ノイズ補正量を列ノイズ補正部1230に入力する。
　次いで、列ノイズ補正部1230は、算出された列ノイズ補正量を入力画像の画素値から減算することによって、出力画像を生成する（ステップS110）。出力画像を生成した後、画像処理装置1000は、画像処理を終了する。
　なお、ステップS105～ステップS108の処理は、差分画像ごとに逐次的に実行される。しかし、差分画像に対する処理は他の差分画像に対する処理から独立しているため、複数の差分画像に対するステップS105～ステップS108の処理は、並列に実行されてもよい。
［効果の説明］
　本実施形態の画像処理装置1000は、入力画像に含まれる周波数成分を周波数帯域ごとに分解し、分解された周波数成分の画像ごとに各列のヒストグラムを生成し、生成されたヒストグラムの解析結果に基づいて列ノイズ補正量を算出し、算出された列ノイズ補正量を用いて入力画像を補正する。
　周波数成分分解部1210は、式（４）～式（６）に示すような簡易な計算をすることによって周波数成分を周波数帯域ごとに分解できる。すなわち、本実施形態では周波数成分分解が低コストで実行される。
　また、特許文献１に記載されている手法のように出力画像を次の処理の入力画像として用いるような計算コストの高い反復処理を実行せずに様々な周波数帯域の列ノイズを推定できるため、本実施形態の画像処理装置1000は、補正処理全体の演算コストを低減できる。
＜第２の実施形態＞
［構成の説明］
　次に、本発明の第２の実施形態を、図面を参照して説明する。
（第２の実施形態の画像処理装置1000）
　第１の実施形態では、列の大部分にエッジが存在するような場合に、算出された補正量にエッジの影響が含まれることがある。なお、エッジは、画素値の変化が大きい領域の境界のうち、所定の長さの境界である。
　画像処理装置1000がエッジの影響が含まれる補正量を用いて列ノイズ補正を行うと、出力画像のエッジが弱められるという問題が発生する。本実施形態の画像処理装置1000は、補正量算出部1223が列ノイズ補正量を算出する際に閾値パラメータも使用することによって、上記の問題を解決する。
　図７は、本発明による画像処理装置の第２の実施形態の構成例を示すブロック図である。図７に示すように、本実施形態の画像処理装置1000は、第１の実施形態の画像処理装置1000と同様に、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
　本実施形態の画像入力部1100は、第１の実施形態の画像入力部1100と同様の機能を有する。また、本実施形態の画像出力部1300は、第１の実施形態の画像出力部1300と同様の機能を有する。
　本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200が有する機能以外の機能も有する。以下、本実施形態の画像処理部1200の構成および動作を説明する。
　図８は、第２の実施形態の画像処理部1200の構成例を示すブロック図である。図８に示すように、本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200と同様に、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230とを含む。
　また、図８に示すように、本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200と異なり、閾値格納部1240を含む。以下、第１の実施形態の列ノイズ補正量算出部1220と異なる本実施形態の列ノイズ補正量算出部1220と閾値格納部1240の各動作を説明する。
　列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値と、閾値格納部1240から入力された所定の閾値とを用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する。
　列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。以下、本実施形態の列ノイズ補正量算出部1220の具体的な動作を説明する。
（列ノイズ補正量算出部1220）
　図９は、第２の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図９に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
　本実施形態のヒストグラム生成部1221は、第１の実施形態のヒストグラム生成部1221と同様の機能を有する。また、本実施形態のヒストグラム解析部1222は、第１の実施形態のヒストグラム解析部1222と同様の機能を有する。
　本実施形態の補正量算出部1223は、ヒストグラム解析部1222から入力された第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)と、閾値格納部1240から入力された所定の閾値τ0,τ1,・・・,τN-1 とを用いて、列におけるノイズ補正量c(j)を算出する。
　補正量算出部1223は、例えば以下の式（９）に示すように、閾値未満の周波数成分の第１の列ノイズ補正量のみを用いて、ノイズ補正量c(j)を算出する。
Figure JPOXMLDOC01-appb-M000006
 　
　式（９）に従ってノイズ補正量を算出することによって、補正量算出部1223は、大部分にエッジが存在するような列に対する補正処理で発生する可能性があるエッジの消失を防止できる。
　なお、補正量算出部1223がノイズ補正量を算出する際に使用する式は、式（９）に限定されない。補正量算出部1223は、例えば以下の式（１０）に示すように、式（９）と同様に値が大きい第１の列ノイズ補正量を補正する処理であるクリップ処理を適用することによってノイズ補正量c(j)を算出する。
Figure JPOXMLDOC01-appb-M000007
 　
　式（１０）に示すように、クリップ処理は、画素が取り得る値の最大値と最小値をそれぞれ設定し、処理対象の画素値が最大値より大きい場合には最大値に、最小値より小さい場合には最小値にそれぞれ補正する処理である。
　以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像と、所定の閾値パラメータとを用いて、列ノイズ補正量を算出できる。
［動作の説明］
　以下、本実施形態の画像処理装置1000の動作を図１０を参照して説明する。図１０は、第２の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
　ステップS201～ステップS206の処理は、図６に示すステップS101～ステップS106の処理とそれぞれ同様である。
　ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS207）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
　次いで、補正量算出部1223は、算出された各列の中央値のうち閾値未満の中央値が存在するか否かを確認する（ステップS208）。
　閾値未満の中央値が存在する場合（ステップS208におけるYes ）、補正量算出部1223は、閾値未満の中央値を対応する列ノイズ補正量にそれぞれ加算する（ステップS209）。
　閾値未満の中央値が存在しない場合（ステップS208におけるNo）、補正量算出部1223は、ステップS210に処理を進める。
　ステップS210～ステップS211の処理は、図６に示すステップS109～ステップS110の処理とそれぞれ同様である。
［効果の説明］
　本実施形態の画像処理装置1000は、列の大部分にエッジが存在するような場合であっても、エッジを残したまま列ノイズ補正処理を実行できる。その理由は、補正量算出部1223がエッジに対応する値以上の補正量を省いて列ノイズ補正量を算出できるためである。また、第１の実施形態と同様に、本実施形態の画像処理装置1000は、列ノイズ補正処理の演算コストを低減できる。
＜第３の実施形態＞
［構成の説明］
　次に、本発明の第３の実施形態を、図面を参照して説明する。
（第３の実施形態の画像処理装置1000）
　第１の実施形態の画像処理装置1000、および第２の実施形態の画像処理装置1000では、１枚の画像が処理対象として想定されている。よって、動画が処理される時、列ノイズが過剰に抑圧されることによって、出力動画においてちらつきが発生する場合がある。
　ちらつきは、画像フレームごとに所定の範囲で規則的に画素値が変動する現象である。画像の１列分の画素値の平均値がフレームごとに変動すると、ちらつきは十分に視認される。
　一般的に、固定パターンノイズは短時間で変化しない。しかし、動画が示す撮影対象が変化している場合、第１の実施形態の画像処理装置1000、および第２の実施形態の画像処理装置1000は、固定パターンノイズの推定に失敗する場合がある。固定パターンノイズの推定が失敗すると、上記のように１列分の画素値の平均値がフレームごとに変動する現象、すなわちちらつきが発生する可能性がある。
　本実施形態の画像処理装置1000は、補正量算出部1223が列ノイズ補正量を算出する際に閾値パラメータおよび直前フレームに対する補正量も使用することによって、上記の問題を解決する。
　図１１は、本発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。図１１に示すように、本実施形態の画像処理装置1000は、第１の実施形態の画像処理装置1000と同様に、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
　本実施形態の画像入力部1100は、第１の実施形態の画像入力部1100と同様の機能を有する。また、本実施形態の画像出力部1300は、第１の実施形態の画像出力部1300と同様の機能を有する。
　本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200が有する機能以外の機能も有する。以下、本実施形態の画像処理部1200の構成および動作を説明する。
　図１２は、第３の実施形態の画像処理部1200の構成例を示すブロック図である。図１２に示すように、本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200と同様に、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230と、閾値格納部1240とを含む。
　また、図１２に示すように、本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200と異なり、補正量格納部1250を含む。以下、第２の実施形態の列ノイズ補正量算出部1220と異なる本実施形態の列ノイズ補正量算出部1220、閾値格納部1240、および補正量格納部1250の各動作を説明する。
　列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値と、閾値格納部1240から入力された所定の閾値と、補正量格納部1250から入力された直前フレームに対する補正量とを用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する。
　列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。以下、本実施形態の列ノイズ補正量算出部1220の具体的な動作を説明する。
（列ノイズ補正量算出部1220）
　図１３は、第３の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図１３に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
　本実施形態のヒストグラム生成部1221は、第１の実施形態のヒストグラム生成部1221と同様の機能を有する。また、本実施形態のヒストグラム解析部1222は、第１の実施形態のヒストグラム解析部1222と同様の機能を有する。
　本実施形態の補正量算出部1223には、ヒストグラム解析部1222から現フレームの第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)と、閾値格納部1240から所定の閾値ξ0,ξ1,・・・,ξN-1 とがそれぞれ入力される。また、補正量算出部1223には、補正量格納部1250から直前フレームに対する帯域ごとの補正量c0 prev(j),c1 prev(j),・・・,cN-1 prev(j)が入力される。補正量算出部1223は、入力された情報を用いて、列におけるノイズ補正量c(j)を算出する。
　補正量算出部1223は、例えば以下の式（１１）に示すように、現フレームの第１の列ノイズ補正量と前フレームの補正量との差分が閾値未満である周波数成分の第１の列ノイズ補正量のみを用いて、ノイズ補正量c(j)を算出する。
Figure JPOXMLDOC01-appb-M000008
 　
　式（１１）に従ってノイズ補正量を算出することによって、補正量算出部1223は、処理対象が動画像である場合であってもちらつきの発生を抑制しつつ列ノイズを抑圧できる。
　なお、補正量算出部1223がノイズ補正量を算出する際に使用する式は、式（１１）に限定されない。補正量算出部1223は、例えば以下の式（１２）に示すように、式（１１）と同様に前フレームの補正量から大きく変動した現フレームの第１の列ノイズ補正量を補正する処理であるクリップ処理を適用することによってノイズ補正量c(j)を算出する。
Figure JPOXMLDOC01-appb-M000009
 　
　ノイズ補正量を算出した後、補正量算出部1223は、以下の式（１３）に示すように前フレームの補正量を現フレームの各周波数帯域の補正量に更新することによって、現フレームの補正量を補正量格納部1250に格納する。
Figure JPOXMLDOC01-appb-M000010
 　
　なお、補正量算出部1223が格納処理で使用する式は、式（１３）に限定されない。第１の列ノイズ補正量を補正する処理としてクリップ処理が適用された場合、補正量算出部1223は、例えば以下の式（１４）を格納処理で用いてもよい。
Figure JPOXMLDOC01-appb-M000011
 　
　以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像と、所定の閾値パラメータと、直前フレームに対する補正量とを用いて、列ノイズ補正量を算出できる。
［動作の説明］
　以下、本実施形態の画像処理装置1000の動作を図１４を参照して説明する。図１４は、第３の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
　ステップS301～ステップS306の処理は、図６に示すステップS101～ステップS106の処理とそれぞれ同様である。
　ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS307）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
　次いで、補正量算出部1223は、算出された各列の中央値のうち直前フレームに対する補正量との差分が閾値未満である中央値が存在するか否かを確認する（ステップS308）。
　差分が閾値未満である中央値が存在する場合（ステップS308におけるYes ）、補正量算出部1223は、算出された対象の中央値を対応する列ノイズ補正量にそれぞれ加算する（ステップS309）。次いで、補正量算出部1223は、直前フレームに対する補正量を、現フレームで算出された中央値を用いて更新する（ステップS310）。
　差分が閾値未満である中央値が存在しない場合（ステップS308におけるNo）、補正量算出部1223は、ステップS311に処理を進める。
　ステップS311～ステップS312の処理は、図６に示すステップS109～ステップS110の処理とそれぞれ同様である。
［効果の説明］
　本実施形態の画像処理装置1000は、連続するフレームにおいて固定パターンノイズの発生個所やオフセット値に相関があることを考慮することによって、処理対象が動画像である場合に発生する可能性があるちらつきを抑えることができる。その理由は、補正量算出部1223が直前フレームに対する補正量との差分が閾値以上の補正量を省いて列ノイズ補正量を算出できるためである。また、第１の実施形態と同様に、本実施形態の画像処理装置1000は、列ノイズ補正処理の演算コストを低減できる。
　なお、各実施形態の画像処理装置1000は、列ノイズ補正処理の他に行ノイズ補正処理も実行できる。行ノイズ補正処理は、「列」が「行」に、「行」が「列」にそれぞれ読み替えられた各実施形態の列ノイズ補正処理である。また、各実施形態の画像処理装置1000は、列ノイズ補正処理と行ノイズ補正処理をそれぞれ独立に実行できる。
　なお、各実施形態の画像処理装置1000は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち画像入力部1100、画像処理部1200、および画像出力部1300は、例えば、プログラム制御に従って処理を実行するCPU によって実現される。また、各実施形態の画像処理装置1000の一部の構成要素のみがCPU によって実現されてもよい。
　また、各実施形態の画像処理装置1000における各部は、ハードウェア回路によって実現されてもよい。一例として、画像入力部1100、画像処理部1200、および画像出力部1300が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSI で実現されていてもよい。
　次に、本発明の概要を説明する。図１５は、本発明による画像処理装置の概要を示すブロック図である。本発明による画像処理装置10は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部11（例えば、多重解像度画像生成部1211）と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部12（例えば、差分画像生成部1212）と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部13（例えば、ヒストグラム解析部1222）とを備える。
　そのような構成により、画像処理装置は、低演算コストで様々な周波数の列ノイズを抑圧できる。
　また、第１生成部11は、処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって処理対象画像の行方向の解像度を変更してもよい。
　そのような構成により、画像処理装置は、移動平均フィルタの適用時の演算コストをより低減できる。
　また、画像処理装置10は、含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の列に関する複数の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する第２算出部（例えば、補正量算出部1223）を備えてもよい。
　そのような構成により、画像処理装置は、複数の周波数帯域の列ノイズが抑圧される補正量を算出できる。
　また、第２算出部は、複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の列の画素値の補正量を算出してもよい。
　そのような構成により、画像処理装置は、列の大部分に含まれるエッジを残したまま列ノイズを抑圧できる。
　また、処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、第２算出部は、処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて処理対象画像の所定の列の画素値の補正量を算出してもよい。
　そのような構成により、画像処理装置は、ちらつきの発生を抑えつつ動画像の列ノイズを抑圧できる。
　また、画像処理装置10は、補正量を用いて処理対象画像の所定の列の画素値を補正し、補正された処理対象画像を出力する補正部（例えば、列ノイズ補正部1230）を備えてもよい。
　そのような構成により、画像処理装置は、特定された列ノイズが抑圧された画像を出力できる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
　（付記１）処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成し、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出することを特徴とする画像処理方法。
　（付記２）処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する付記１記載の画像処理方法。
　（付記３）含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の行に関する複数の統計量を用いて処理対象画像の前記所定の行の画素値の補正量を算出する付記１または付記２記載の画像処理方法。
　（付記４）複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の行の画素値の補正量を算出する付記３記載の画像処理方法。
　（付記５）処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、前記処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて前記処理対象画像の所定の行の画素値の補正量を算出する付記３または付記４記載の画像処理方法。
　（付記６）補正量を用いて処理対象画像の所定の行の画素値を補正し、補正された前記処理対象画像を出力する付記１から付記５のうちのいずれか１項に記載の画像処理方法。
　（付記７）処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出する算出部とを備えることを特徴とする画像処理装置。
　（付記８）第１生成部は、処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する付記７記載の画像処理装置。
　（付記９）コンピュータに、処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出する算出処理を実行させるための画像処理プログラム。
　（付記１０）コンピュータに、処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する変更処理を実行させる付記９記載の画像処理プログラム。
10、1000　画像処理装置
11　第１生成部
12　第２生成部
13　算出部
1100　画像入力部
1200　画像処理部
1300　画像出力部
1210　周波数成分分解部
1211　多重解像度画像生成部
1212　差分画像生成部
1220　列ノイズ補正量算出部
1221　ヒストグラム生成部
1222　ヒストグラム解析部
1223　補正量算出部
1230　列ノイズ補正部
1240　閾値格納部
1250　補正量格納部

Claims (10)

  1. 　処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成し、
    　前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、
    　前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する
    　ことを特徴とする画像処理方法。
  2. 　処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する
    　請求項１記載の画像処理方法。
  3. 　含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の列に関する複数の統計量を用いて処理対象画像の前記所定の列の画素値の補正量を算出する
    　請求項１または請求項２記載の画像処理方法。
  4. 　複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する
    　請求項３記載の画像処理方法。
  5. 　処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、
    　前記処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて前記処理対象画像の所定の列の画素値の補正量を算出する
    　請求項３または請求項４記載の画像処理方法。
  6. 　補正量を用いて処理対象画像の所定の列の画素値を補正し、
    　補正された前記処理対象画像を出力する
    　請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
  7. 　処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、
    　前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、
    　前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する算出部とを備える
    　ことを特徴とする画像処理装置。
  8. 　第１生成部は、処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する
    　請求項７記載の画像処理装置。
  9. 　コンピュータに、
    　処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、
    　前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および
    　前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する算出処理
    　を実行させるための画像処理プログラム。
  10. 　コンピュータに、
    　処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する変更処理を実行させる
    　請求項９記載の画像処理プログラム。
PCT/JP2016/083061 2016-11-08 2016-11-08 画像処理方法、画像処理装置および画像処理プログラム WO2018087806A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018549652A JPWO2018087806A1 (ja) 2016-11-08 2016-11-08 画像処理方法、画像処理装置および画像処理プログラム
PCT/JP2016/083061 WO2018087806A1 (ja) 2016-11-08 2016-11-08 画像処理方法、画像処理装置および画像処理プログラム
US16/345,278 US10964002B2 (en) 2016-11-08 2016-11-08 Image processing method, image processing apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/083061 WO2018087806A1 (ja) 2016-11-08 2016-11-08 画像処理方法、画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2018087806A1 true WO2018087806A1 (ja) 2018-05-17

Family

ID=62110407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083061 WO2018087806A1 (ja) 2016-11-08 2016-11-08 画像処理方法、画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US10964002B2 (ja)
JP (1) JPWO2018087806A1 (ja)
WO (1) WO2018087806A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399900A (zh) * 2019-06-26 2019-11-01 腾讯科技（深圳）有限公司 对象检测方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066738A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034648A (ja) * 2005-07-27 2007-02-08 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2009010517A (ja) * 2007-06-26 2009-01-15 Toshiba Corp 画像処理装置、映像受信装置および画像処理方法
JP2015090678A (ja) * 2013-11-07 2015-05-11 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
JP2015177244A (ja) * 2014-03-13 2015-10-05 キヤノン株式会社 画像処理装置及び画像処理方法
WO2016051716A1 (ja) * 2014-09-29 2016-04-07 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69214229T2 (de) * 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
US7657118B2 (en) * 2004-06-09 2010-02-02 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using image data converted from a different color space
WO2010038378A1 (ja) * 2008-10-02 2010-04-08 パナソニック株式会社 画素ずらし型撮像装置
US8208026B2 (en) 2009-03-02 2012-06-26 Flir Systems, Inc. Systems and methods for processing infrared images
JP2010268225A (ja) 2009-05-14 2010-11-25 Sony Corp 映像信号処理装置および表示装置
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
US9135680B2 (en) * 2011-09-08 2015-09-15 Bae Systems Information And Electronic Systems Integration Inc. Method for reducing row and column noise in imaging systems
US10699410B2 (en) * 2017-08-17 2020-06-30 Siemes Healthcare GmbH Automatic change detection in medical images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034648A (ja) * 2005-07-27 2007-02-08 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2009010517A (ja) * 2007-06-26 2009-01-15 Toshiba Corp 画像処理装置、映像受信装置および画像処理方法
JP2015090678A (ja) * 2013-11-07 2015-05-11 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
JP2015177244A (ja) * 2014-03-13 2015-10-05 キヤノン株式会社 画像処理装置及び画像処理方法
WO2016051716A1 (ja) * 2014-09-29 2016-04-07 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399900A (zh) * 2019-06-26 2019-11-01 腾讯科技（深圳）有限公司 对象检测方法、装置、设备及介质

Also Published As

Publication number Publication date
US10964002B2 (en) 2021-03-30
JPWO2018087806A1 (ja) 2019-09-26
US20190295233A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
EP2489007B1 (en) Image deblurring using a spatial image prior
US8379120B2 (en) Image deblurring using a combined differential image
EP2293239B1 (en) Line noise reduction apparatus and method
EP2560368B1 (en) Blur correction device and blur correction method
US7668389B2 (en) Image processing method, image processing apparatus, and image processing program
US8004586B2 (en) Method and apparatus for reducing noise of image sensor
JP5864958B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN110263699B (zh) 视频图像处理方法、装置、设备及存储介质
WO2005086984A2 (en) Method and apparatus for providing noise reduction
JP5027757B2 (ja) 動画像雑音除去装置、その方法およびそのプログラム
EP1668593B1 (en) Robust recursive envelope operators for fast retinex-type processing of images
US9014503B2 (en) Noise-reduction method and apparatus
CN113096013B (zh) 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统
WO2018087806A1 (ja) 画像処理方法、画像処理装置および画像処理プログラム
KR100753345B1 (ko) 데이터 처리 방법 및 장치
JP6253633B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
US20100104208A1 (en) Image processing method and program
CN112805989A (zh) 基于全局运动估计的时域滤波方法、装置及存储介质
CN114205521A (zh) 一种运动视频图像的稳像方法、装置、设备及存储介质
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
Abang et al. Application of blind deconvolution and Lucy-Richardson Deconvolution for image deblurring
JP3105626B2 (ja) 映像信号の雑音除去装置およびこれに用いる動き検出回路
JP4435838B2 (ja) デジタルイメージ強化方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16921071

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018549652

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16921071

Country of ref document: EP

Kind code of ref document: A1