JP5157895B2 - 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ - Google Patents

信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ Download PDF

Info

Publication number
JP5157895B2
JP5157895B2 JP2008507473A JP2008507473A JP5157895B2 JP 5157895 B2 JP5157895 B2 JP 5157895B2 JP 2008507473 A JP2008507473 A JP 2008507473A JP 2008507473 A JP2008507473 A JP 2008507473A JP 5157895 B2 JP5157895 B2 JP 5157895B2
Authority
JP
Japan
Prior art keywords
noise
signal
estimated
fpn
correction target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008507473A
Other languages
English (en)
Other versions
JPWO2007111264A1 (ja
Inventor
暁彦 宇津木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008507473A priority Critical patent/JP5157895B2/ja
Publication of JPWO2007111264A1 publication Critical patent/JPWO2007111264A1/ja
Application granted granted Critical
Publication of JP5157895B2 publication Critical patent/JP5157895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、信号に含まれるノイズを補正するための信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラに関する。
一般に、デジタルカメラの画像では、露光で発生した電荷を増幅して信号に変換する素子の特性のばらつきによって、縦すじ状(または横すじ状)のノイズがFPN(Fixed Pattern Noise)として発生する。ここで、FPNとは、同一の撮像素子で撮像した複数の画像に共通した形状で生じるノイズである。このようなFPNはCCDにおいても、CMOSイメージセンサーにおいても発生する。従来、撮像した画像からオフセット性の縦すじ状FPNを除去するために次のような処理を行っている。まず、遮光状態で撮像素子を駆動させて撮像した校正用画像の各縦ラインにおいて、所定画素数の長さの領域を設定し、その領域において画素値の平均値を求めることにより、各縦ラインにおけるFPN値を推定する。そして、露光状態で撮像素子を駆動させて補正対象画像を撮像し、撮像した補正対象画像の各縦ラインからあらかじめ算出しておいたFPN推定値を減算することにより、補正対象画像からFPNを除去している。あるいは、遮光状態で撮影する代わりにOB領域(撮像素子の端にある、遮光された撮像領域)を校正用画像として用いてFPNを推定する方法もある(特許文献1参照)。
特開2003−153088号公報
しかしながら、従来の方法でFPN推定値を求める場合、校正用画像に含まれるFPN以外のノイズの影響による推定誤差が生じる。ただし、FPNを求めるための縦ライン領域の画素数を充分大きくすれば、FPN以外のノイズは縦ライン領域内で相殺されてFPN推定誤差を小さく抑えられる。しかし、レリーズタイムラグの抑制や連射速度の維持のため、この縦ライン領域の画素数を充分に確保できない場合があり(例えば128画素程度)、その場合FPN推定誤差は充分に抑制されず、FPN補正後の画像に縦すじ状のノイズが生じてしまう。従来の信号検出装置においては、入力画像内に設定した縦方向の所定領域内で画素値の平均値を算出してFPN値とするため、この推定値が推定誤差を含んでいる場合であっても当該FPN推定値を入力画像から減算してしまい、FPNを除去した後の画像にFPN推定誤差などのノイズが残ってしまう可能性があった。
本発明の第1の態様は補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号に含まれることが推定される推定ノイズ形状を算出し、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状の振幅を減衰してノイズ形状補正値を生成し、生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする。
本発明の第2の態様は、請求項1に記載の信号処理方法において、前記校正用信号の所定範囲内の信号値の平均的な値を算出することによって、前記推定ノイズ形状を算出する。
本発明の第3の態様は、補正対象信号のノイズと相関するノイズを含む校正用信号、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記補正対象信号に含まれることが推定される推定ノイズ形状の推定誤差に関する情報に基づいて、ノイズ形状補正値を生成し、生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする。
本発明の第4の態様は、補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号のノイズ形状を推定して推定ノイズ形状を求め、前記推定ノイズ形状に基づいて、前記推定ノイズ形状の推定誤差に関する情報を生成し、前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状を修正してノイズ形状補正値を生成し、前記ノイズ形状補正値を用いて補正対象信号のノイズを補正する信号処理方法であって、前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする。
本発明の第5の態様は、補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号に含まれることが推定される推定ノイズ形状を算出し、前記推定ノイズ形状の振幅を減衰してノイズ形状補正値を生成し、生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする。
本発明の第6の態様は、請求項5に記載の信号処理方法において、前記校正用信号の所定範囲内の信号値の平均的な値を算出することによって、前記推定ノイズ形状を算出する。
本発明の第7の態様は、請求項5または6に記載の信号処理方法において、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状の振幅を減衰する。
本発明の第8の態様は、補正対象信号のノイズと相関するノイズを含む校正用信号、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記補正対象信号に含まれることが推定される推定ノイズ形状の推定誤差に関する情報に基づいてノイズ形状補正値を生成し、生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする。
本発明の第9の態様は、補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号のノイズ形状を推定して推定ノイズ形状を求め、前記推定ノイズ形状に基づいて、前記推定ノイズ形状の推定誤差に関する情報を生成し、前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状を修正してノイズ形状補正値を生成し、前記ノイズ形状補正値を用いて補正対象信号のノイズを補正する信号処理方法であって、前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする。
本発明の第10の態様は、請求項7〜9のいずれか一項に記載の信号処理方法において、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報を生成する。
本発明の第11の態様は、補正対象画像のノイズを補正するための信号処理システムであって、係数生成装置と、デジタルカメラとから構成され、前記係数生成装置は、前記デジタルカメラで撮像される補正対象画像に含まれることが推定される推定ノイズ形状の振幅を減衰するための係数を算出する係数算出部と、前記係数算出部で算出した前記係数を前記デジタルカメラへ出力する出力部とを備え、前記デジタルカメラは、前記係数生成装置から入力される前記係数を記録する記録部と、前記補正対象画像のノイズと相関するノイズを含む校正用画像に基づいて、前記補正対象画像に含まれることが推定される推定ノイズ形状を算出する算出部と、前記算出部で算出した前記推定ノイズ形状の振幅を、前記記録部に記録した係数を用いて減衰してノイズ形状補正値を生成する生成部と、前記生成部で生成した前記ノイズ形状補正値を用いて、前記補正対象画像のノイズを補正するノイズ補正部とを備える。
本発明の第12の態様は、請求項11に記載の信号処理システムにおいて、前記補正対象信号の取得とともに、前記校正用信号の取得が行なわれる。
本発明の第13の態様は、請求項11または12に記載の信号処理システムで用いる。
本発明の第14の態様は、請求項11または12に記載の信号処理システムで用いる。
本発明によれば、校正用画像に基づいて推定された推定ノイズ形状の振幅を減衰してノイズ形状補正値を算出し、算出したノイズ形状補正値を用いて補正対象画像のノイズを補正するようにした。このため、推定ノイズ形状が誤差を含んでいる場合であってもその誤差の影響を低減して補正対象画像のノイズを補正することができる。
信号処理システムの一実施の形態の構成を示すブロック図。 デジタルカメラ200の処理手順を表すフローチャート図。 係数生成処理の手順を示すフローチャート図。 第3の実施の形態におけるFPN減衰部205βの構成を示すブロック図。
―第1の実施の形態―
図1は、第1の実施の形態における信号処理方法を実行するための信号処理システムの一実施の形態の構成を示すブロック図である。信号処理システム100は、デジタルカメラ200と、係数生成装置300とで構成される。
デジタルカメラ200は、入力スイッチ201と、制御装置202と、レンズ203と、撮像部204と、FPN補正部205と、画像処理部206と、モニタ207と、メモリカードスロット208とを備えている。なお、FPN補正部205と画像処理部206の機能は、ASIC回路によって実現される。
入力スイッチ201は、使用者がデジタルカメラ200を操作するための入力部材の集合であり、レリーズスイッチなどの操作ボタンを含む。
制御装置202は、入力スイッチ201からの入力に基づき、デジタルカメラ200のそれぞれの構成要素を制御する。撮像部204は、例えばCCDであり、使用者によって入力スイッチ201に含まれるレリーズスイッチが押下されるたびに、遮光状態で撮像された校正用画像と、レンズ203を通して結像された被写体像を撮像して得られた補正対象画像をFPN補正部205へ出力する。
FPN補正部205は、FPN推定部205aと、FPN減衰部205bと、FPN減衰係数記憶メモリ205cと、FPN除去部205dとから成る。FPN推定部205aは校正用画像に基づいてFPN推定値を出力する。そして、FPN減衰部205bは、FPN減衰係数記憶メモリ205cから読み出したFPN減衰係数に応じて、FPN推定値を減衰してFPN補正値を出力する。さらに、FPN除去部205dは、FPN減衰部205bから出力されたFPN補正値を補正対象画像から減算し、画像処理部206へ出力する。ここで、FPN減衰係数記憶メモリ205cには、係数生成装置300によって生成されたFPN減衰係数が、デジタルカメラ200が出荷される前にあらかじめ記憶されている。なお、FPNを補正する処理の詳細については後述する。
画像処理部206は、FPN補正部205によってFPNが補正された画像に対して、公知の補間処理、色変換処理、エッジ強調処理などの種々の画像処理を施し、完成画像を出力する。そして、モニタ207は完成画像を縮小して表示し、メモリカードスロット208は完成画像をメモリカードに記憶する。
係数生成装置300は、FPN減衰係数を生成するための装置であり、撮像部301と、カメラメーカーが所有するパソコンと、そのパソコン上で動作する画像処理プログラムから構成される。上記画像処理プログラムは、上記パソコンをFPN推定部302と、高精度FPN測定部303と、FPN推定誤差算出部304と、FPN分散算出部305と、FPN減衰係数算出部306として動作させる。なお、上記パソコンに備えられたハードディスクドライブやキーボードやモニタなどの表記は省略している。
撮像部301は撮像部204と同型の撮像素子であり、同等のノイズ性能を備えている。撮像部301は遮光状態で擬似校正用画像と擬似補正対象画像を撮像する。そして、撮像された画像データはUSBなどのインターフェイスを通して上記パソコンのハードディスクドライブに記録される。そして、上記画像処理プログラムが起動されて、上記画像データのノイズ特性を解析してFPN減衰係数を生成する。そして、生成されたFPN減衰係数は、デジタルカメラ200の機種の画像処理パラメータとして仕様書101に記載される。そして、デジタルカメラ200が製造されて画像処理エンジンのパラメータがカメラ内に設定される時、仕様書101に記載のFPN減衰係数がFPN減衰係数記憶メモリ205cに記憶される。なお、FPN減衰係数を生成する処理の詳細については後述する。
以下、オフセット性縦すじ状FPN補正を例に、その処理を図1と図2を用いて詳細に説明する。図2はデジタルカメラ200の処理手順を表すフローチャートであり、入力スイッチ201に含まれるレリーズスイッチが押下されると、図2に記載の処理が開始される。
ステップS1では、撮像部204が遮光状態で駆動して校正用画像を撮像し、FPN推定部205aへ出力する。この校正用画像には、後で撮像される補正対象画像と相関する縦すじ状FPNが含まれている。また、縦すじ状FPNは同じ縦ライン上の画素に共通して生じている。
ステップS2では、FPN推定部205aが、校正用画像に基づいてFPN推定値を算出する。この処理では、校正用画像の各縦ラインの画素値を画素数Lに渡って平均した値を、その縦ラインのFPN推定値nl’とする。ここで、もしも画素数Lを充分大きくすることができれば、FPN以外のノイズは各縦ラインで相殺されるので、FPN推定値nl’は高精度に求められる。しかし、画素数Lを大きくするためには、校正用画像の広い領域に渡って画素値を読み出すことが必要であり、レリーズタイムラグの増加や、連続撮影速度の低下を招く。そのため、画素数Lは、例えば128画素程度に設定され、その結果、FPN推定値には、FPN以外のノイズに起因するFPN推定誤差が含まれる。
ステップS3では、FPN減衰部205bが、FPN推定値nl’を減衰してFPN補正値nl”を生成する。この処理では、FPN減衰係数記憶メモリ205cから、FPN減衰係数kを読み出し、各縦ラインのFPN補正値nl”を次式(1)で算出する。
nl” = k × nl’ ・・・(1)
なお、FPN減衰係数kは係数生成装置300で生成され、デジタルカメラ200が出荷される前にあらかじめFPN減衰係数記憶メモリ205cに記憶されている。このFPN減衰係数kを生成する処理については後述するが、生成されるFPN減衰係数kの値は通常0.8〜0.9程度である。
ステップS4では、撮像部204が露光状態で駆動し、レンズ203を通して結像された被写体像を撮像し、補正対象画像として出力する。
ステップS5では、FPN除去部205bが、補正対象画像の各縦ラインの画素値から、FPN補正値nl”を減算し、FPNを補正した画像を出力する。
ステップS6では、画像処理部206が、FPNが補正された画像に対して、黒レベル補正、Bayer補間、色変換、エッジ強調などの、公知の画像処理を施し、完成画像を出力する。
ステップS7では、画像処理部206は、モニタ207に完成画像を縮小して表示し、メモリカードスロット208に挿入されているメモリカードに完成画像を記録する。
次に、本発明によるFPN補正の原理、従来の手法に対して有利である理由、およびFPN減衰係数kの算出方法について説明する。ステップS2で生成されたFPN推定値nl’は、FPNの真値nlにFPN推定誤差neを加算した値である。ここで、FPN推定誤差neは、FPN以外のノイズを各縦ラインで画素数Lに渡って平均した値である。数式で表現すると次式(2)になる。
nl’ = nl + ne ・・・(2)
そして、ステップS3でFPN推定値nl’を減衰してFPN補正値nl”=k×nl’を生成し、ステップS5で補正対象画像の各ラインからFPN補正値nl”を減算している。よってFPN補正後の画像に生じる縦すじ状ノイズnl”’は次式(3)で与えられる。
nl”’ = nl − k × nl’ = (1−k) × nl − k × ne ・・・(3)
ただし、右辺への移項には式(2)を用いた。
ここで、FPN推定誤差neはFPN以外のノイズに起因する値であり、FPNの真値nlとは無相関な確率変数である。従って、nl”’の分散σ2は次式(4)で与えられる。
σ2 = (1−k) 2 × σl2 + k2 × σe2 ・・・(4)
式(4)において、σl2 はFPNの真値nlの分散であり、σe2はFPN推定誤差neの分散である。
従来のFPN補正処理ではFPN推定値を減衰する処理は行わない。従って、その補正後の縦すじ状ノイズの分散σ2は式(4)でk=1とすると求められ、σ2=σe2となる。一方、本発明では、FPN減衰係数kを適切に設定することにより、従来よりも優れた補正処理を行うことができる。kの最適な値は、式(4)で与えられるσ2を最小にする値であり、次の方程式(5)を解くことにより求められ、その解は次式(6)で与えられる。
∂σ2/∂k = 2(k−1))σ + 2kσ =0 ・・・(5)
k = σl2 / ( σl2 + σe2 ) ・・・(6)
本発明による補正後の縦すじ状ノイズの分散σ2は、式(4)に式(6)を代入することによって得られ、σ2=k×σe2となる。通常、kの値は0.8〜0.9程度なので、従来方法に比べてσ2を1割から2割も改善できることになる。本実施の形態が従来方法に対して追加した回路はFPN減衰部205bとFPN減衰係数記憶メモリ205cだけであり、回路規模の増加が少ないことを考慮すると、この改善は大きい。
なお、本発明の効果を別の理論的側面から説明すると、FPN推定値nl’に基づいてFPN推定誤差neの情報(期待値)を得て、その情報に基づいてFPN推定値nl’を修正する処理と見なすこともできる。以下でその説明をするが、表記簡略化のためnl’の平均を0とするオフセット処理を行っているとする。また、neの平均は0である。FPN推定値nl’ と、FPN推定誤差neの間には相関があり、その共分散は次式(7)で与えられる。
<nl’ × ne>=<(nl + ne) × ne>=<ne2>=σe2 ・・・(7)
従って、FPN推定値nl’を算出することで、FPN推定誤差neに対する情報を追加できる。すなわち、FPN推定値を算出する前のneの期待値は0だが、FPN推定値がnl’として算出されたもとでのneの期待値は0ではなく、次式(8)で求められる。
<ne>= nl’ × (nl’とneの共分散) / (nl’の分散)
= nl’ × σe2 / (σl2 + σe2) ・・・(8)
この<ne>をnl’=nl+neから減算することにより、nl’よりもnlに統計的に近いFPN補正値nl”を求められるが、このnl”は次式(9)で求められ、これはkを式(6)で与えたときに式(1)で与えられるFPN補正値nl”に一致する。
nl” = nl’ − nl’ × σe2 / (σl2 + σe2)
= nl’ × σl2 / (σl2 + σe2) ・・・(9)
以上の説明により、適切なFPN減衰係数kを求めるためには、FPNの真値nlの分散σl2とFPN推定誤差の分散σe2を求めて式(6)に代入すれば良いことがわかる。それらの処理は係数生成装置300によって行われる。以下、係数生成装置300の具体的な動作を、図1と図3を用いて説明する。図3は係数生成処理の手順を示すフローチャートであり、その処理内容は以下の通りである。
ステップS10では、撮像部301が遮光状態で駆動し、擬似校正用画像を生成する。撮像部301は撮像部204と同型であり、同等のノイズ性能を備えている。すなわち、撮像部301による撮像画像の、FPNの平均的な振幅と、FPN以外のノイズの平均的な振幅は、撮像部204のそれと等しい。ただし、FPNの形状は両者で異なっている。
ステップS20では、撮像部301が遮光状態で駆動し、擬似補正対象画像を生成する。上記の通り、撮像部301は撮像部204と同型なので、撮像部301が撮像する擬似補正対象画像に含まれるFPNの平均的な振幅は、撮像部204が撮像する補正対象画像のそれと等しい。ただし、FPNの形状は両者で異なっている。
ステップS30では、FPN推定部302が擬似校正用画像に基づいてFPN推定値を算出する。この処理は、FPN推定部205aの処理をシミュレートして行う。すなわち、擬似校正用画像の各縦ライン領域において、FPN推定部205aと同じ画素数Lに渡って画素値を平均することにより、FPN推定値nl’を算出する。従って、FPN推定部302が算出するFPN推定値nl’に含まれるFPN推定誤差は、FPN推定部205aのそれと同等の大きさである。
ステップS40では、高精度FPN測定部303が擬似補正対象画像に含まれるFPNを高精度に測定する。この処理では、擬似補正対象画像の各縦ラインにおいて、充分大きな画素数(例えば2048画素)に渡って画素値を平均する。この処理によりFPN以外のノイズは各縦ラインで相殺されて殆ど0となり、FPNの真値nlに実質的に等しいFPN測定値が算出される。従って、このFPN測定値をnlと表記する。
ステップS50では、FPN推定誤差算出部304が、FPN推定値nl’とFPN測定値nlに基づき、FPN推定誤差neを次式(10)によって求める。
ne = nl’ − nl ・・・(10)
そして、全ての縦ラインについてFPN推定誤差neを求めた後、それらの分散σe2を算出する。
ステップS60では、FPN分散算出部305が、FPN測定値nlの分散σl2を算出する。
ステップS70では、FPN減衰係数算出部306が、FPN測定値の分散σl2FPN推定誤差の分散σe2に基づき、式(6)を用いてFPN減衰係数kを算出する。そして、算出されたFPN減衰係数kは仕様書101に記載され、デジタルカメラ200が製造された後、FPN減衰係数記憶メモリ205cに記憶される。
以上の処理により、デジタルカメラ200のFPN補正処理に適したFPN減衰係数kがFPN減衰係数記憶メモリ205cに記憶され、デジタルカメラ200で撮影する画像のFPNを高精度に補正することができるようになる。
以上説明した第1の実施の形態によれば、FPN推定値を減衰して生成したFPN補正値を用いてFPN補正処理を行うことにより、補正処理後の縦すじ状ノイズを従来方法よりも1割から2割も軽減できる。本発明が従来方法に対して追加した処理はFPN推定値の減衰だけであり、回路規模の増加が少ないことを考慮すると、この改善は大きい。
―第2の実施の形態―
第1の実施の形態によるFPN補正では、回路規模が従来方法に比べてわずかに増加した。これに対して第2の実施の形態では上記回路規模の増加を抑制し、従来方法に対して回路規模を増加させずにFPN補正精度を向上させる方法を説明する。
本実施の形態によるデジタルカメラは、図1のデジタルカメラ200において、FPN推定部205a、FPN減衰部205b、およびFPN減衰係数記憶メモリ205cを合わせた回路を、以下で説明するFPN補正値算出部205eに置き換えたものである。なお、デジタルカメラ200の上記以外の動作は第1の実施の形態と同様である。
FPN補正値算出部205eは、まず、校正用画像の各縦ラインの画素値を積算画素数Lに渡って積算する。そして、上記積算値をLよりも大きな値L’で割り、FPN補正値として出力する。ただし、係数生成装置300が出力する最適なFPN減衰係数k_bestに対して、k=L/L’が近い値となるようにLとL’を設定する。例えば、k_bestが0.8〜0.9程度の場合は、L=112、L’=128とすればよい。
上記FPN補正値算出部205eは、第1の実施の形態で以下の処理を行う場合と等価な処理結果をもたらす。すなわち、FPN推定部205aにおいて校正用画像の各縦ラインにおいて画素数L=112に渡る平均値を求めてFPN推定値とし、FPN推定値に対してFPN減衰係数k=0.875をかけてFPN補正値を出力する処理と等しい。また、本実施の形態は、従来のFPN補正処理と同等の回路規模で実現できる。なぜなら、従来のFPN補正処理は本実施の形態でL=L’とした場合に等しいからである。
ただし、本実施の形態では、k=L/L’の値を自由に設定することは困難である。従って、係数生成装置300が出力する最適なFPN減衰係数k_bestに対して、kは正確には一致しない場合が多い。しかし、それでも本実施形態は従来よりも高精度なFPN補正処理を行える。このことを以下で説明する。
式(4)によると、FPN減衰係数kを次の不等式(11)の範囲内に設定すると、補正後の分散σは従来の補正後の分散であるσeよりも小さくなる。
2 × k_best − 1 < k < 1 ・・・(11)
ただし、式(11)において、k_best =σl2 / ( σl2 + σe2 )
である。
従って、kをある値に設定したもとでは、k_bestが次の不等式(12)の範囲内にあれば、本実施形態のFPN補正精度は従来よりも改善する。
k_best <(k+1)/ 2 ・・・(12)
例えば、本実施形態でk=0.875と設定した場合には、k_best<0.9375となるような撮像部とFPN推定部の組み合わせに対して、FPN補正精度が従来より向上する。そして、ほとんどの場合、k_bestは0.8〜0.9程度なので、k=0.875と設定すれば充分な改善効果が得られる。
以上説明した第2の実施の形態によれば、校正用画像の各縦ラインの画素値を積算画素数Lに渡って積算し、その積算値を上記積算画素数Lよりも大きな値で割ってFPN補正値を算出する。この構成によると、回路規模を従来と同程度に抑制しながら、FPN補正精度を従来よりも改善することができる。
―第3の実施の形態―
多くの撮像素子については、第1または第2の実施の形態により適切なFPN補正処理が行える。しかし、撮像素子の中には低周波成分に大きなFPNを生じるものもあり、そのような撮像素子の画像に対して、第1の実施の形態によるFPN補正を施すと、低周波成分に対するFPN補正効果が従来よりも少し低下してしまう。そこで、第3の実施の形態では上記の不具合を改善したFPN補正方法を説明する。
本実施形態を実現するための装置は、図1のデジタルカメラ200のFPN減衰部205bを図4のFPN減衰部205βに置き換えたものである。なお、FPN減衰部205b以外は、第1の実施の形態と同様に動作する。以下、FPN減衰部205βの動作を、図4を用いて説明する。
FPN推定値は、校正用画像の各縦ラインについて算出されている。それらのFPN推定値を横座標の順に一列に配列したデータに対して、平滑化部205β1は例えば幅7のガウシアン型平滑化フィルタを演算し、FPNの低周波成分を抽出する。上記フィルタ演算の加重係数は、例えば(1/64,6/64,15/64,20/64,15/64,6/64,1/64)とすればよい。
次に、減算部205β2は、上記FPNの低周波成分を、上記平滑化を行う前のFPN推定値から減算することにより、FPNの高周波成分を抽出する。そして、減衰部205β3は、FPN減衰係数kを読み込み、上記FPNの高周波成分に対してFPN減衰係数kをかけて、減衰されたFPNの高周波成分を算出する。そして、加算部205β4は、平滑化部205β1が算出した上記FPNの低周波成分と、減衰部205β3が算出した上記減衰されたFPNの高周波成分を加算し、FPN補正値を算出する。
この第3の実施の本実施の形態によれば、FPN推定値の高周波成分のみを減衰し、低周波成分は減衰せずにFPN補正値を生成した。従って、低周波成分に大きなFPNを含む画像に対しても、低周波成分に対するFPN補正精度を従来と同じに保ちながら、高周波成分に対するFPN補正精度を従来よりも向上させることができる。
―第4の実施の形態―
第1から第3の実施の形態では、オフセット性FPNの補正について説明した。しかし、本発明はオフセット性FPNの補正に限定されず、ゲイン性FPNの補正に対しても適用できる。そこで、第4の実施の形態では、本発明をデジタルカメラのゲイン性FPNの補正に適用した場合の具体的な処理を説明する。本実施の形態による信号処理システムは、第1の実施の形態と同様に、図1に記載の構成と、図2と図3に記載の処理手順により実現される。ただし、各処理内容は第1の実施形態とは異なる。まず、デジタルカメラ200の具体的な動作について、図1と図2を用いて説明する。
図2において、ステップS1では、デジタルカメラ200のユーザーが、入力スイッチ201を操作し、デジタルカメラ200の撮影モードを「校正用画像撮影モード」に設定する。そして、ユーザーは無彩色で一様な壁や空などに向けてデジタルカメラ200を構えてレリーズスイッチを押す。すると、制御装置202は、レンズ203の絞りを制御し、周辺減光がなるべく生じないF値(例えばF5.6程度)に設定する。さらに、制御装置202は、不図示のオートフォーカス装置の出力に基づいてレンズ203のフォーカスを制御し、被写体がピンボケして撮影されるように設定する。
また、不図示の測光計が上記壁または空の輝度を測光し、制御装置202は上記測光結果に基づき、撮像部204が所定の露光量で露光されるように露光時間を設定する。そして、撮像部204は上記のレンズ状態と露光時間で露光して校正用画像を撮像し、FPN推定部205aへ出力する。この校正用画像には、後で撮像される補正対象画像と相関する縦すじ状FPNが含まれている。また、縦すじ状FPNは同じ縦ライン上の画素に共通して生じている。
ステップS2では、FPN推定部205aが、校正用画像に基づいてFPN推定値を算出する。この処理では、まず、校正用画像の各縦ラインの画素値を所定画素数に渡って平均することにより、「縦ライン平均値」を算出する。そして、上記「縦ライン平均値」を横座標の順に一列に並べた配列に対して、例えば幅7のガウシアン型平滑化フィルタを演算することにより、「高周波FPNを除去された縦ライン平均値」を生成する。そして、各縦ラインについて、「縦ライン平均値」を「高周波FPNを除去された縦ライン平均値」で割った値を、FPN推定値nl’として算出する。上記FPN推定値nl’には、FPN以外のノイズに起因するFPN推定誤差が含まれる。
ステップS3では、FPN減衰部205bが、FPN推定値nl’を減衰してFPN補正値nl”を生成する。この処理では、FPN減衰係数記憶メモリ205cから、FPN減衰係数kを読み出し、各縦ラインのFPN補正値nl”を次式(13)で算出する。
nl” = nl’k ・・・(13)
なお、FPN減衰係数kは係数生成装置300で生成され、デジタルカメラ200が出荷される前にあらかじめFPN減衰係数記憶メモリ205cに記憶されている。ただし、FPN減衰係数kを生成する処理は後述する。
ステップS4では、デジタルカメラ200のユーザーが、入力スイッチ201を操作し、デジタルカメラ200の撮影モードを「通常撮影モード」に設定する。そして、ユーザーは撮影したい被写体に向けてデジタルカメラ200を構えてレリーズスイッチを押す。すると、撮像部204が露光状態で駆動し、レンズ203を通して結像された被写体像を撮像し、補正対象画像として出力する。
ステップS5では、FPN除去部205bが、補正対象画像の各縦ラインの画素値をFPN補正値nl”で除算し、FPNを補正された画像を出力する。
ステップS6では、画像処理部206が、FPNを補正された画像に対して、黒レベル補正、Bayer補間、色変換、エッジ強調などの、公知の画像処理を施し、完成画像を出力する。
ステップS7では、画像処理部206は、モニタ207に完成画像を縮小して表示し、メモリカードスロット208に挿入されているメモリカードに完成画像を記録する。
次に、本発明によるFPN補正の原理、FPNを減衰しない方法に対して有利である理由、およびFPN減衰係数kの算出方法について説明する。ステップS2で生成されたFPN推定値nl’は、FPNの真値nlにFPN推定誤差neをかけた値である。数式で表現すると次式(14)になる。
nl’ = nl × ne ・・・(14)
そして、ステップS3でFPN推定値nl’を減衰してFPN補正値nl”=nl’kを生成し、ステップS5で補正対象画像の各ラインの画素値をFPN補正値nl”で除算している。よってFPN補正後の画像に生じる縦すじ状ノイズnl”’は次式(15)で与えられる。
nl”’ = nl / nl’k = nl1−k / nek ・・・(15)
ただし、右辺への移項には式(14)を用いた。
式(15)を対数で表現すると次式(16)になる。
log(nl”’)=(1−k)×log(nl)−k×log(ne) ・・・(16)
ここで、log(ne)はFPN以外のノイズに起因する値であり、log(nl)とは無相関な確率変数である。従って、log(nl”’)の分散σ2は次式(17)で与えられる。
σ2=(1−k) 2×σl2+k 2×σe2 ・・・(17)
ここで、σl2 はlog(nl)の分散であり、σe2はlog(ne)の分散である。
FPN推定値を減衰しない補正後の縦すじ状ノイズの対数の分散σ2は式(17)でk=1とすると求められ、σ2 =σe2となる。一方、本発明では、FPN減衰係数kを適切に設定することにより、従来よりも優れた補正処理を行うことができる。kの最適な値は、式(17)で与えられるσ2を最小にする値であり、次の方程式(18)を解くと求められる。そして、その解は次式(19)で与えられる。
∂σ2/∂k = 2(k − 1)σl2 + 2kσe2 =0 ・・・(18)
k = σl2 / (σl2 + σe2 ) ・・・(19)
本発明による補正後の縦すじ状ノイズの対数の分散σ2は、式(17)に式(19)を代入すると得られ、σ2=k×σe2となる。kは1未満の係数なので、FPN推定値を減衰しない補正に比べて改善することになる。
以上より、本実施形態での適切なFPN減衰係数kを求めるためには、FPNの真値の対数log(nl)の分散σl2とFPN推定誤差の対数log(ne)の分散σe2を求めて式(19)に代入すれば良いことがわかる。それらの処理は係数生成装置300によって行われる。以下、係数生成装置300の具体的な動作を、図1と図3を用いて説明する。図3は係数生成処理の手順を示すフローチャートであり、その処理内容は以下の通りである。
ステップS10では、カメラメーカーの開発者が、撮像部301に対して不図示の照明装置を用いて一様に照明し、その照明の下で撮像部301を駆動して擬似校正用画像を撮影する。ただし、この撮影の露光量が、デジタルカメラ200の「校正用画像撮影モード」で撮像する時の露光量と等しくなるように、露光条件を設定しておく。なお、撮像部301は撮像部204と同型であり、同等のノイズ性能を備えている。また、デジタルカメラ200の「校正用画像撮影モード」とほぼ同じ露光量で擬似校正用画像を撮影するので、そのFPNの平均的な振幅と、FPN以外のノイズの平均的な振幅は、デジタルカメラ200の「校正用画像撮影モード」のそれと等しい。ただし、FPNの形状は両者で異なっている。
ステップS20では、ステップS10と同様の処理で、擬似補正対象画像を複数枚(例えば64枚)撮影する。
ステップS30では、FPN推定部302が擬似校正用画像に基づいてFPN推定値を算出する。この処理は、FPN推定部205aの処理をシミュレートして行う。従って、FPN推定部302が算出するFPN推定値nl’に含まれるFPN推定誤差は、FPN推定部205aのそれと同等の大きさである。
ステップS40では、高精度FPN測定部303がこの撮像部301のFPNを高精度に測定する。この処理では、まず、ステップS20で撮影した複数枚(例えば64枚)の擬似補正対象画像の平均画像を作成する。この平均処理で、FPN以外のノイズはほとんど相殺される。そして、この平均画像に対してステップS30と同様の処理でFPN測定値を求める。平均画像にはFPN以外のノイズが無いので、FPN測定値はFPN推定誤差を含まない。従って、このFPN測定値をnlと表記する。
ステップS50では、FPN推定誤差算出部304が、FPN推定値nl’とFPN測定値nlに基づき、FPN推定誤差の対数neを次式(20)によって求める。
log(ne) = log(nl’) − log(nl) ・・・(20)
そして、全ての縦ラインについてFPN推定誤差の対数log(ne)を求めた後、それらの分散σe2を算出する。
ステップS60では、FPN分散算出部305が、FPN測定値の対数log(nl)の分散σl2を算出する。
ステップS70では、FPN減衰係数算出部306が、FPN測定値の対数の分散σl2とFPN推定誤差の対数の分散σe2に基づき、式(19)を用いてFPN減衰係数kを算出する。そして、算出されたFPN減衰係数kは仕様書101に記載され、デジタルカメラ200が製造された後、FPN減衰係数記憶メモリ205cに記憶される。
以上の処理により、デジタルカメラ200のFPN補正処理に適したFPN減衰係数kがFPN減衰係数記憶メモリ205cに記憶され、デジタルカメラ200で撮影する画像のFPNを高精度に補正することができるようになる。
また、校正用画像を用いてゲイン性FPNを推定する場合、通常はFPN推定誤差を抑制するために多くの校正用画像を撮影してその平均を求める必要がある。しかし、そのように多くの校正用画像を撮影することは、ユーザーに負荷を与えることになるので望ましくない。従って、1枚または少数の校正用画像から簡易にFPNを推定することが望ましいが、本実施形態によると、その際に生じるFPN推定誤差による悪影響を抑制し、高精度なゲイン性FPN補正処理を行うことができる。
―変形例―
なお、上述した実施の形態の信号処理装置は、以下のように変形することもできる。
(1)上述した第1の実施の形態では、FPNがホワイトノイズ的に発生している場合の処理を説明した。しかし、実際のFPNには、それよりも低周波のノイズ成分が多く含まれる場合がある。その場合、係数生成装置300において、FPN推定値とFPN測定値の低周波成分を除去する処理を、上記実施形態に対して追加する必要がある。この処理は以下のようになされる。FPN推定部302が各縦ライン毎に算出したFPN推定値を横座標の順に1列に並べた配列に対して、例えば幅7のガウシアン型平滑化フィルタを演算することにより低周波成分を抽出する。このときフィルタ演算の加重係数は、例えば(1/64,6/64,15/64,20/64,15/64,6/64,1/64)とすればよい。そして、平滑化する前のFPN推定値の配列から前記低周波成分を減算する。FPN測定値についても同様に低周波成分を除去する。これ以外の処理は、FPNに低周波ノイズ成分が多く含まれない場合と同様である。
(2)第1から第3の実施の形態では、撮像部204は、補正対象画像と校正用画像を別個に撮像した。しかしこれに限定されず、補正対象画像の上端または下端領域に、OB領域(遮光状態の撮像領域)を設け、OB領域を校正用画像として用いてFPN推定値を算出しても良い。なぜなら、上記OB領域には、露光する領域と共通する縦すじ状FPNが含まれているからである。
(3)第1から第4の実施の形態では、撮像部301は、擬似補正対象画像と擬似校正用画像を別個に撮像した。しかし、両者の画像のノイズ特性は実質的に等しいので、同一の画像を擬似補正対象画像と擬似校正用画像の二つの用途で用いても良い
(4)第1から第4の実施の形態では、係数生成装置300はFPN減衰係数生成処理を1回だけ実施した。しかしそれに限定されず、FPN減衰係数生成処理を複数回行い、生成された複数のFPN減衰係数の平均的な値を算出することにより、FPN減衰係数を高精度に求めても良い。
(5)第1から第3の実施の形態ではオフセット性FPNの補正処理を説明し、第4の実施の形態ではゲイン性FPNの補正処理を説明した。すなわち、オフセット性FPNとゲイン性FPNのどちらかを補正する処理について説明した。しかしこれに限定されず、オフセット性FPNの補正とゲイン性FPNの補正を組み合わせても良い。例えば、第1、第2、または第3の実施の形態に記載のオフセット性FPN補正処理を行った後、第4の実施の形態に記載のゲイン性FPN補正処理を行っても良い。これによって、オフセット性FPNとゲイン性FPNをそれぞれ補正することができる。
(6)また、本発明の特徴的な機能は、校正用信号に基づいて推定されたノイズ形状を減衰して補正処理に用いることである。本発明の特徴的な機能を生かした処理として、上述した実施の形態以外に次のような処理がある。
従来、デジタルカメラの長秒時露光時における暗電流ノイズを補正する方法として、遮光状態で校正用画像を撮像し、露光状態で撮像した補正対象画像から上記校正用画像を減算する方法がある。上記補正方法に対して本発明を適用し、上記校正用画像を減衰したものを上記補正対象画像から減算することにより、従来よりも高精度に長秒時露光時における暗電流ノイズを補正できる。
また、従来、周囲騒音をキャンセルして騒音のない音楽を聴くことができるヘッドフォンが開発されている。上記ヘッドフォンは、上記周囲騒音の情報を取得し、ユーザーの耳に到達する音波信号に含まれる騒音信号をキャンセルするような、キャンセル音波信号を発する。上記ヘッドフォンに対して本発明を適用し、上記キャンセル音波信号を減衰させることにより、従来よりも高精度に騒音をキャンセルすることができる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2006年第083237号(2006年3月24日出願)

Claims (14)

  1. 補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号に含まれることが推定される推定ノイズ形状を算出し、
    前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状の振幅を減衰してノイズ形状補正値を生成し、
    生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、
    前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする信号処理方法。
  2. 請求項1に記載の信号処理方法において、
    前記校正用信号の所定範囲内の信号値の平均的な値を算出することによって、前記推定ノイズ形状を算出する信号処理方法。
  3. 補正対象信号のノイズと相関するノイズを含む校正用信号、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記補正対象信号に含まれることが推定される推定ノイズ形状の推定誤差に関する情報に基づいて、ノイズ形状補正値を生成し、
    生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、
    前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする信号処理方法。
  4. 補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号のノイズ形状を推定して推定ノイズ形状を求め、
    前記推定ノイズ形状に基づいて、前記推定ノイズ形状の推定誤差に関する情報を生成し、
    前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状を修正してノイズ形状補正値を生成し、
    前記ノイズ形状補正値を用いて補正対象信号のノイズを補正する信号処理方法であって、
    前記推定ノイズ形状の推定誤差に関する情報は、前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて生成されることを特徴とする信号処理方法。
  5. 補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号に含まれることが推定される推定ノイズ形状を算出し、
    前記推定ノイズ形状の振幅を減衰してノイズ形状補正値を生成し、
    生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、
    前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする信号処理方法。
  6. 請求項5に記載の信号処理方法において、
    前記校正用信号の所定範囲内の信号値の平均的な値を算出することによって、前記推定ノイズ形状を算出する信号処理方法。
  7. 請求項5または6に記載の信号処理方法において、
    前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状の振幅を減衰する信号処理方法。
  8. 補正対象信号のノイズと相関するノイズを含む校正用信号、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記補正対象信号に含まれることが推定される推定ノイズ形状の推定誤差に関する情報に基づいてノイズ形状補正値を生成し、
    生成した前記ノイズ形状補正値を用いて前記補正対象信号のノイズを補正する信号処理方法であって、
    前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする信号処理方法。
  9. 補正対象信号のノイズと相関するノイズを含む校正用信号に基づいて、前記補正対象信号のノイズ形状を推定して推定ノイズ形状を求め、
    前記推定ノイズ形状に基づいて、前記推定ノイズ形状の推定誤差に関する情報を生成し、
    前記推定ノイズ形状の推定誤差に関する情報に基づいて、前記推定ノイズ形状を修正してノイズ形状補正値を生成し、
    前記ノイズ形状補正値を用いて補正対象信号のノイズを補正する信号処理方法であって、
    前記ノイズ形状補正値は、前記推定ノイズ形状を高周波帯域と低周波帯域とに分離し、前記高周波帯域の推定ノイズ形状の振幅を減衰し、振幅を減衰した前記高周波帯域の推定ノイズ形状と、前記低周波帯域の推定ノイズ形状とを合成することによって生成することを特徴とする信号処理方法。
  10. 請求項7〜9のいずれか一項に記載の信号処理方法において、
    前記補正対象信号とノイズ特性が等しい擬似補正対象信号と、前記校正用信号とノイズ特性が等しい擬似校正用信号とに基づいて、前記補正対象信号と前記校正用信号に相関して含まれるノイズ形状の平均的な振幅、および前記推定ノイズ形状の推定誤差に関する情報を生成する信号処理方法。
  11. 補正対象画像のノイズを補正するための信号処理システムであって、
    係数生成装置と、
    デジタルカメラとから構成され、
    前記係数生成装置は、
    前記デジタルカメラで撮像される補正対象画像に含まれることが推定される推定ノイズ形状の振幅を減衰するための係数を算出する係数算出部と、
    前記係数算出部で算出した前記係数を前記デジタルカメラへ出力する出力部とを備え、
    前記デジタルカメラは、
    前記係数生成装置から入力される前記係数を記録する記録部と、
    前記補正対象画像のノイズと相関するノイズを含む校正用画像に基づいて、前記補正対象画像に含まれることが推定される推定ノイズ形状を算出する算出部と、
    前記算出部で算出した前記推定ノイズ形状の振幅を、前記記録部に記録した係数を用いて減衰してノイズ形状補正値を生成する生成部と、
    前記生成部で生成した前記ノイズ形状補正値を用いて、前記補正対象画像のノイズを補正するノイズ補正部とを備える信号処理システム。
  12. 請求項11に記載の信号処理システムにおいて、
    前記補正対象信号の取得とともに、前記校正用信号の取得が行なわれる信号処理システム。
  13. 請求項11または12に記載の信号処理システムで用いるための係数生成装置。
  14. 請求項11または12に記載の信号処理システムで用いるためのデジタルカメラ。
JP2008507473A 2006-03-24 2007-03-23 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ Active JP5157895B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008507473A JP5157895B2 (ja) 2006-03-24 2007-03-23 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006083237 2006-03-24
JP2006083237 2006-03-24
JP2008507473A JP5157895B2 (ja) 2006-03-24 2007-03-23 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ
PCT/JP2007/056065 WO2007111264A1 (ja) 2006-03-24 2007-03-23 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ

Publications (2)

Publication Number Publication Date
JPWO2007111264A1 JPWO2007111264A1 (ja) 2009-08-13
JP5157895B2 true JP5157895B2 (ja) 2013-03-06

Family

ID=38541181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008507473A Active JP5157895B2 (ja) 2006-03-24 2007-03-23 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ

Country Status (4)

Country Link
US (1) US8106970B2 (ja)
EP (1) EP2001220B1 (ja)
JP (1) JP5157895B2 (ja)
WO (1) WO2007111264A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862897B2 (ja) * 2007-02-02 2012-01-25 株式会社ニコン 画像処理方法
US8149300B2 (en) * 2008-04-28 2012-04-03 Microsoft Corporation Radiometric calibration from noise distributions
JP4900401B2 (ja) * 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
US8120679B2 (en) * 2008-08-01 2012-02-21 Nikon Corporation Image processing method
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5493760B2 (ja) * 2009-01-19 2014-05-14 株式会社ニコン 画像処理装置およびデジタルカメラ
JP2010193042A (ja) * 2009-02-17 2010-09-02 Hoya Corp 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム
JP2010200179A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP5489527B2 (ja) * 2009-05-11 2014-05-14 キヤノン株式会社 撮像装置及びその制御方法
JP5235804B2 (ja) * 2009-07-10 2013-07-10 Hoya株式会社 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム
US8355064B2 (en) * 2010-09-27 2013-01-15 Sharp Laboratories Of America, Inc. Noise reduction for machine vision systems
US8355063B2 (en) * 2010-09-27 2013-01-15 Sharp Laboratories Of America, Inc. Camera noise reduction for machine vision systems
CN104620282B (zh) * 2012-07-16 2018-01-12 菲力尔系统公司 用于抑制图像中的噪声的方法和系统
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
WO2014142171A1 (ja) * 2013-03-13 2014-09-18 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム
TWI528816B (zh) * 2013-04-18 2016-04-01 聯詠科技股份有限公司 固定樣式雜訊移除方法
JP6418839B2 (ja) * 2014-08-04 2018-11-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
CN110574363A (zh) * 2017-11-22 2019-12-13 深圳市大疆创新科技有限公司 图像噪声标定方法及装置、图像降噪方法及装置、图像处理装置
CN111417898B (zh) * 2017-12-08 2022-09-16 索尼半导体解决方案公司 摄像装置和摄像装置的制造方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10313428A (ja) * 1997-05-13 1998-11-24 Sony Corp 固体撮像素子の固定パターンノイズ除去方法と、固定パターンノイズ除去装置
JPH1169226A (ja) * 1997-08-14 1999-03-09 Konica Corp 電子カメラ
JP2002199285A (ja) * 2000-12-26 2002-07-12 Canon Inc 画像取得装置及び方法
JP2003153088A (ja) * 2001-08-31 2003-05-23 Fuji Photo Film Co Ltd 信号検出方法および装置
JP2003153085A (ja) * 2001-11-15 2003-05-23 Japan Science & Technology Corp 高感度撮像方法及びその装置
JP2005094338A (ja) * 2003-09-17 2005-04-07 Olympus Corp 撮像装置
JP2005167918A (ja) * 2003-12-05 2005-06-23 Sony Corp 固体撮像装置、撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881182A (en) * 1997-05-12 1999-03-09 Eastman Kodak Company Adaptive process for removing streaks in digital images
JP3264659B2 (ja) * 1999-06-17 2002-03-11 松下電器産業株式会社 ノイズリダクション装置および方法とその記録媒体
US7092016B2 (en) * 2001-02-09 2006-08-15 Eastman Kodak Company Method and system for motion image digital processing
US7260267B2 (en) * 2002-02-20 2007-08-21 Fujifilm Corporation Image processing apparatus, computer readable medium storing program, image processing method, image capturing apparatus, printing apparatus, and scanning apparatus
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
JP4777629B2 (ja) 2004-09-14 2011-09-21 信越化学工業株式会社 シリコーンゴムスポンジ組成物およびシリコーンゴムスポンジ
JPWO2006068129A1 (ja) * 2004-12-22 2008-06-12 松下電器産業株式会社 撮像装置およびその製造方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10313428A (ja) * 1997-05-13 1998-11-24 Sony Corp 固体撮像素子の固定パターンノイズ除去方法と、固定パターンノイズ除去装置
JPH1169226A (ja) * 1997-08-14 1999-03-09 Konica Corp 電子カメラ
JP2002199285A (ja) * 2000-12-26 2002-07-12 Canon Inc 画像取得装置及び方法
JP2003153088A (ja) * 2001-08-31 2003-05-23 Fuji Photo Film Co Ltd 信号検出方法および装置
JP2003153085A (ja) * 2001-11-15 2003-05-23 Japan Science & Technology Corp 高感度撮像方法及びその装置
JP2005094338A (ja) * 2003-09-17 2005-04-07 Olympus Corp 撮像装置
JP2005167918A (ja) * 2003-12-05 2005-06-23 Sony Corp 固体撮像装置、撮像方法

Also Published As

Publication number Publication date
EP2001220A2 (en) 2008-12-10
JPWO2007111264A1 (ja) 2009-08-13
EP2001220A4 (en) 2010-06-30
US20090021611A1 (en) 2009-01-22
WO2007111264A1 (ja) 2007-10-04
EP2001220B1 (en) 2015-01-14
EP2001220A9 (en) 2009-02-25
US8106970B2 (en) 2012-01-31

Similar Documents

Publication Publication Date Title
JP5157895B2 (ja) 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ
JP5374217B2 (ja) 画像処理装置およびその方法
US8111306B2 (en) Apparatus, method and computer-readable medium for eliminating dark current components of an image pickup device
JP2003204486A (ja) 撮像装置
US10397473B2 (en) Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus
KR101121528B1 (ko) 고체 촬상 장치, 카메라 및 신호 처리 방법
KR20080108964A (ko) 촬상 장치
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
JP2009111541A (ja) 画像処理装置及び画像処理方法
JP2015023511A (ja) 撮像装置、画像処理方法及び画像処理プログラム
EP3021570B1 (en) Imaging device, camera system, and image processing method
JP4749397B2 (ja) 赤外線撮像装置
JP4765387B2 (ja) ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JPWO2005004467A1 (ja) 電子カメラの映像信号補正装置
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
CN111212240B (zh) 图像生成装置、图像生成方法和记录介质
JP2013070241A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2007053464A (ja) ダークシェーディング除去装置および撮像装置
JP4322258B2 (ja) ノイズ処理装置および撮像装置
JP2009258284A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011135194A (ja) 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体
JP2012235283A (ja) 固定パターンノイズ除去回路、イメージセンサユニット及びデジタルカメラ
JP2010193093A (ja) 画像処理装置、撮像装置、及び、画像処理方法
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5157895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250