JP6680884B2 - 画像補正方法及び撮像装置 - Google Patents

Description

本発明は、画像補正方法及び撮像装置に係り、特に補正値算出時の突発的なフレーム変動の影響を抑え、固定パターンノイズを精度よく除去して、良好な品質の画像を得ることができる画像補正方法及び撮像装置に関する。

［先行技術の説明］
撮像装置からの映像信号に含まれるノイズには、時間変動するランダムノイズと、時間変動しない固定パターンノイズ（ＦＰＮ:Fixed Pattern Noise）がある。
ランダムノイズは、規則性がないため、解像度や画質を劣化させずに映像信号上のノイズを抑圧することは困難であり、改善のためには撮像素子そのものの性能改善が必要である。

一方、ＦＰＮは、その規則性に基づいて、信号処理により除去又は抑圧することが可能である。
具体的には、撮像装置のＦＰＮ補正部において、遮光時の映像信号からＦＰＮを抽出して補正値として記憶しておき、実際の映像信号から補正値を差し引いて、ＦＰＮが除去された補正映像信号を出力するようにしている。

［従来の撮像装置の構成：図５］
従来の撮像装置におけるＦＰＮ補正部について図５を用いて説明する。図５は、従来の撮像装置におけるＦＰＮ補正部の構成ブロック図である。
図５に示すように、従来の撮像装置のＦＰＮ補正部（従来のＦＰＮ補正部）は、黒レベル減算部５１と、加算部５２と、第１のラインバッファ５３と、メモリコントローラ５４と、ＤＤＲ（Double Data Rate）フレームメモリ５５と、第２のラインバッファ５６と、除算器５７と、減算器５８とを備えている。

従来のＦＰＮ補正部の各部について説明する。
黒レベル減算部５１は、入力された遮光時の映像信号から基準となる黒レベルを減算する。
加算部５２は、黒レベル減算部５１からの遮光時の映像データを、ＤＤＲフレームメモリ５６に蓄積され、読み出された累積補正値に画素毎に加算する。
第１のラインバッファ５３は、加算部５２からの出力を１行（１ライン）分保持してメモリコントローラ５４に出力する。

ＤＤＲフレームメモリ５５は、１フレーム分の累積補正値を画素毎に記憶する。尚、ＤＤＲフレームメモリ５５に記憶されている累積補正値は、補正値算出の処理が終了するまでは暫定的な値となる。

メモリコントローラ５４は、第１のラインバッファ５３から出力された加算された値でＤＤＲフレームメモリ５５に記憶されている累積補正値を更新する。また、メモリコントローラ５４は、ＤＤＲフレームメモリ５５に記憶されている累積補正値を読み出して第２のラインバッファ５６に出力する。

具体的には、メモリコントローラ５４は、第１のラインバッファ５３から１行ずつ累積補正値のデータを受け取って、ＤＤＲフレームメモリ５５にライン毎に書き込む。そして、次のフレームのデータが加算器５２に出力されるタイミングに合わせて、最初のラインからラインバッファ５６への出力を行う。尚、ＤＤＲフレームメモリ５５への書き込みと読み出しが並行して行われてもよい。
第２のラインバッファ５６は、読み出された累積補正値を１行分保持して、画素毎に加算部５２に出力する。

除算器５７は、ＤＤＲフレームメモリ５５から読み出された画素毎の累積補正値を、規定回数（ｋ）で除算する。
規定回数は、累積補正値算出のために必要なフレーム数であり、例えば２５６回としている。累積補正値算出の処理が終了すると、ＤＤＲフレームメモリに記憶された累積補正値は、黒レベル減算器５１からの出力が規定回数分加算されたものとなる。
つまり、除算器５７からの出力は、各画素における固定パターンノイズが反映された遮光時の平均レベルであり、各画素の固定パターンノイズを補正するＦＰＮ補正値となるものである。

減算器５８は、撮影時に入力された映像データから、画素毎に除算器５７の出力を減算して固定パターンノイズを除去し、補正された映像データを出力する。

［従来の画像補正方法：図５］
図５に示した従来の撮像装置のＦＰＮ補正部における画像補正方法について説明する。
従来の撮像装置では、まず、補正値算出の処理を行うため、遮光時の映像データが入力され、黒レベル減算部５１で黒レベルが減算される。
一方、ＤＤＲフレームメモリ５５にその時点で記憶されている累積補正値が、メモリコントローラ５４によって読み出され、ラインバッファ５６を介して加算器５２に入力される。
そして、加算器５２において、黒レベル減算器５１からの映像データと累積補正値とが加算され、加算された累積補正値が、ラインバッファ５３を介してメモリコントローラ５４によってＤＤＲフレームメモリ５５に記憶され、累積補正値が更新される。

また、メモリコントローラ５４は、映像データを累積補正値に加算した加算回数を保持し、累積補正値を更新する毎に加算回数をインクリメントし、加算回数が規定（所定）回数（ｋ回）に達するまで遮光した映像データを入力し、累積補正値の更新を続ける。
加算回数が規定回数に達すると、補正値算出の処理を終了し、撮影に移行する。

撮影時には、ＤＤＲフレームメモリ５５から読み出された累積補正値が除算器５７において規定回数ｋで除算されて画素毎のＦＰＮ補正値が算出され、減算器５８において、入力された画素毎の映像データから除算器５７の出力が減算されて、補正された映像データが出力される。
このようにして従来の画像補正方法が行われる。

［突発的なレベル変動の影響］
ＦＰＮの抽出（ＦＰＮ補正値の生成）には、加算平均回路を用いることが多い。加算平均にはフレーム回路を使用するため、メモリ容量の制約が発生する。
また、ランダムノイズ成分の減衰率と加算回数（k）の関係は、式（１）で示される。
Ｓ／Ｎ（dB）＝20*log₁₀(1/√k) 式（１） つまり、加算回数が多くなると、ランダムノイズ成分は低減する。
しかし、遮光時において突発的なフレーム変動があると、そのノイズは直接的に直流成分となり、レベルの変動が生じ、ＦＰＮ補正値に影響を与えることになる。

［関連技術］
尚、撮像装置において固定パターンノイズを除去する技術としては、特開２０１５−１０００９９号公報「撮像装置及び固定パターンノイズ除去方法」（日本放送協会、株式会社日立国際電気、特許文献１）がある。
特許文献１には、映像信号から、暗時ＦＰＮと明時ＦＰＮの両方を除去し、真の信号値を得て、精度の高い映像信号を出力することが記載されている。

特開２０１５−１０００９９号公報

しかしながら、従来の画像補正方法及び撮像装置では、ＦＰＮ補正値の生成時に突発的なフレーム変動があると、補正値に影響を与えてしまい、撮影時の画像に対して精度の高い固定パターンノイズの補正を行うことができないという問題点があった。

尚、特許文献１には、遮光時の映像データについて、１フレーム加算平均値を算出し、１フレーム加算平均値が適正範囲外であれば、当該フレームをＦＰＮ補正値の算出に用いないようにすることは記載されていない。

本発明は上記実状に鑑みて為されたもので、突発的なフレーム変動の影響を抑え、精度の高い固定パターンノイズの補正を行って、良好な品質の画像を出力することができる画像補正方法及び撮像装置を提供することを目的とする。

上記従来例の問題点を解決するための本発明は、撮像装置における画像補正方法であって、遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共に映像データについて１フレーム加算平均値を算出し、１フレーム加算平均値が予め設定された範囲内であれば、１フレーム分の映像データを、累積加算された映像データである累積補正値に加算し、累積補正値を更新してフレームメモリに記憶し、累積補正値の更新が規定回数に達した後、フレームメモリに記憶された累積補正値を規定回数で除して補正値とし、撮影時に入力された映像データから、補正値を減算して、画像を補正することを特徴としている。

また、本発明は、撮像装置における画像補正方法であって、遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共記映像データについて１フレーム加算平均値を算出し、保持された映像データから１フレーム加算平均値を減算して差分を算出し、差分を累積加算して、累積差分値を更新してフレームメモリに記憶し、算出された全ての１フレーム加算平均値の加算平均を全フレーム加算平均値として算出し、累積差分値の更新が規定回数に達した後、累積差分値を規定回数で除した値を、全フレーム加算平均値に加算して補正値とし、撮影時に入力された映像データから、補正値を減算して、画像を補正することを特徴としている。

また、本発明は、入力された画像信号について画像を補正する撮像装置であって、遮光時の１フレーム分の映像データと、累積加算された映像データである累積補正値とを記憶するフレームメモリと、フレームメモリに対する入出力を制御するメモリコントローラと、１フレーム分の映像データについて１フレーム加算平均値を算出する１フレーム加算平均演算部と、累積補正値と１フレーム分の映像データとを加算する加算器と、１フレーム分の映像データの加算器への入力／非入力を切り替えるスイッチと、１フレーム加算平均値が予め設定された範囲内であるかどうかを判定し、範囲内であった場合には、スイッチを入力側に切り替え、範囲外であった場合には、スイッチを非入力側に切り替える判定処理を行う判定回路と、累積補正値を規定回数で除算して補正値を算出する除算器と、撮影時に入力された映像データから累積補正値を減算して画像を補正する減算器とを備え、メモリコントローラが、フレームメモリから１フレーム分の映像データをスイッチに出力し、累積補正値を加算器に出力し、加算器における加算結果でフレームメモリに記憶された累積補正値を更新し、累積補正値の更新を規定回数行い、累積補正値を除算器に出力することを特徴としている。

また、本発明は、上記撮像装置において、判定回路が、１フレーム加算平均値の下限値となる第１のしきい値と、上限値となる第２のしきい値とを記憶しており、１フレーム加算平均演算部からの１フレーム加算平均値が、第１のしきい値以上で第２のしきい値以下の場合に範囲内であると判定することを特徴としている。

また、本発明は、入力された画像信号について画像を補正する撮像装置であって、遮光時の１フレーム分の映像データと、画像を補正する補正値の算出に用いられる累積差分値とを記憶するフレームメモリと、フレームメモリに対する入出力を制御するメモリコントローラと、１フレーム分の映像データについて１フレーム加算平均値を算出する１フレーム加算平均演算部と、１フレーム分の映像データから１フレーム加算平均値を減算する第１の減算器と、累積差分値と第１の減算器における減算結果とを加算する第１の加算器と、累積差分値を規定回数で除算する除算器と、規定回数分の１フレーム加算平均値の加算平均を全フレーム加算平均値として算出する全フレーム加算平均演算部と、全フレーム加算平均値と、除算器での除算結果を加算する第２の加算器と、撮影時に入力された映像データから第２の加算器における加算結果を減算して画像を補正する第２の減算器とを備え、メモリコントローラが、フレームメモリから１フレーム分の映像データを第１の減算器に出力し、累積差分値を第１の加算器に出力し、第１の加算器における加算結果でフレームメモリに記憶された累積差分値を更新し、累積差分値の更新を規定回数行い、累積差分値を除算器に出力することを特徴としている。

本発明によれば、撮像装置における画像補正方法であって、遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共に映像データについて１フレーム加算平均値を算出し、１フレーム加算平均値が予め設定された範囲内であれば、１フレーム分の映像データを、累積加算された映像データである累積補正値に加算し、累積補正値を更新してフレームメモリに記憶し、累積補正値の更新が規定回数に達した後、フレームメモリに記憶された累積補正値を規定回数で除して補正値とし、撮影時に入力された映像データから、補正値を減算して、画像を補正する画像補正方法としているので、固定パターンノイズの補正値を算出する際に、突発的なフレーム変動の影響を除去して、精度の高い補正値を算出することができ、撮影時に高品質の画像を出力することができる効果がある。

また、本発明によれば、撮像装置における画像補正方法であって、遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共記映像データについて１フレーム加算平均値を算出し、保持された映像データから１フレーム加算平均値を減算して差分を算出し、差分を累積加算して、累積差分値を更新してフレームメモリに記憶し、算出された全ての１フレーム加算平均値の加算平均を全フレーム加算平均値として算出し、累積差分値の更新が規定回数に達した後、累積差分値を規定回数で除した値を、全フレーム加算平均値に加算して補正値とし、撮影時に入力された映像データから、補正値を減算して、画像を補正する画像補正方法としているので、固定パターンノイズの補正値を算出する際に、突発的なフレーム変動の影響を抑制して、精度の高い補正値を算出することができ、撮影時に高品質の画像を出力することができる効果がある。

本発明の実施の形態に係る撮像装置の概略構成ブロック図である。 本発明の第１の実施の形態に係る撮像装置のＦＰＮ補正部の構成ブロック図である。 第１の撮像装置における判定回路１５の処理を示すフローチャートである。 本発明の第２の実施の形態に係る撮像装置のＦＰＮ補正部の構成ブロック図である。 従来の撮像装置におけるＦＰＮ補正部の構成ブロック図である。

本発明の実施の形態について図面を参照しながら説明する。［実施の形態の概要］
本発明の実施の形態に係る画像補正方法及び撮像装置は、遮光時の映像信号を入力して、１フレーム加算平均部が、１フレーム分の映像データについて１フレーム加算平均値を算出し、判定回路が、当該１フレーム加算平均値が特定範囲内かどうかを判定し、範囲内であれば、加算器が、当該１フレーム分の映像データをフレームメモリに記憶されている累積補正値に加算して累積補正値を更新し、累積補正値の更新を所定の回数行った後、除算器が、画素毎に累積補正値を規定回数で除した値をＦＰＮ補正値として算出し、減算器が、撮影時の映像データからＦＰＮ補正値を減算して、画像を補正するようにしており、突発的なフレーム変動があっても、当該フレームの映像データを累積補正値に加算しないようにすることで、フレーム変動の影響を受けないＦＰＮ補正値を算出し、固定パターンノイズを精度よく補正して良好な品質の画像を出力することができるものである。

また、本発明の実施の形態に係る画像補正方法及び撮像装置は、遮光時の１フレーム分の映像データを入力してフレームメモリに保持し、１フレーム加算平均部が、１フレーム分の映像データについて１フレーム加算平均値を算出し、第１の減算器が、保持された１フレーム分の映像データと１フレーム加算平均値との差分を算出し、第１の加算器が、差分を累積加算して累積差分値を算出し、全フレーム加算平均演算部が、全ての１フレーム加算平均値の加算平均値を全フレーム加算平均値として算出し、差分の累積加算が規定回数行われると、除算器が、累積差分値を規定回数で除し、第２の加算器が、当該除算結果と全フレーム加算平均値とを加算してＦＰＮ補正値を算出し、第２の減算器が、撮影時の映像データから画素毎にＦＰＮ補正値を減算して、画像を補正するようにしており、フレーム毎に１フレーム加算平均値と映像データとの差分を算出することで、突発的なフレーム変動を吸収して、フレーム変動の影響を低減し、固定パターンノイズを精度よく補正して良好な品質の画像を出力することができるものである。

［実施の形態に係る撮像装置の構成：図１］
本発明の実施の形態に係る撮像装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態に係る撮像装置の概略構成ブロック図である。尚、図１の構成は、後述する第１の撮像装置、第２の撮像装置に共通するものである。
図１に示すように、本発明の実施の形態に係る画像補正方法及び撮像装置は、基本的に、撮影を行うカメラヘッドと、信号処理を行うＣＣＵ（Camera Control Unit）とを備えている。
カメラヘッドには、撮像素子１と、ＦＰＮ補正部２と、白補正部３と、電気／光変換部（図では電→光変換部と記載）４とが設けられ、ＣＣＵには、光／電気変換部（図では光→電変換部と記載）５と、映像信号処理部６とが設けられている。
カメラヘッドの電気／光変換部４とＣＣＵの光／電気変換部５との間は光ケーブルで接続されている。

カメラヘッドの撮像素子１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から成る固体撮像素子であり、複数の画素が行列状（マトリクス状）に配置されている。各画素は、受光量に応じた電気信号を生成する。

ＦＰＮ補正部２は、本実施の形態の特徴部分であり、映像信号から固定パターンノイズ（ＦＰＮ）を除去する画像補正を行う。
白補正部３は、ホワイトバランスの調整を行う。
電気／光変換部４は、電気信号を光信号に変換し、光ケーブルに出力する。

光／電気変換部５は、光ケーブルから受信した光信号を電気信号に変換する。映像信号処理部６は、ＳＤＩ（Serial Digital Interface）への映像出力に伴う信号処理を行う。
以下、ＦＰＮ補正部２の構成及び動作について、第１の実施の形態、第２の実施の形態として具体的に説明する。

尚、本発明の実施の形態に係る画像補正方法及び撮像装置は、放送用カメラ、高精細８ｋカメラ等に使用されるものであり、更に高画素用素子貼り合わせ超高精細撮像カメラにも適用可能である。

［第１の撮像装置におけるＦＰＮ補正部の構成：図２］
本発明の第１の実施の形態に係る撮像装置（第１の撮像装置）の構成について図２を用いて説明する。図２は、本発明の第１の実施の形態に係る撮像装置のＦＰＮ補正部の構成ブロック図である。
第１の撮像装置は、遮光時に入力された映像データの１フレーム加算平均値を算出し、これに基づいて、突発的な変動があるフレームを補正値算出から除外することで、良好な補正値を算出できるようにしている。

図２に示すように、第１の撮像装置のＦＰＮ補正部は、黒レベル減算器１１と、メモリコントローラ１２と、ＤＤＲフレームメモリ１３と、１フレーム加算平均演算部１４と、判定回路１５と、スイッチ１６と、加算器１７と、ラインバッファ１８，１９と、除算器２０と、減算器２１とを備えている。

第１の撮像装置におけるＦＰＮ補正部の各部について説明する。
黒レベル減算器１１は、ＦＰＮ補正の補正値の基になる累積補正値を算出する補正値算出処理において、遮光時の映像信号から黒基準レベルを減算する。これにより、ＦＰＮレベルの基準をデジタル値ゼロとするものである。

メモリコントローラ１２は、ＤＤＲフレームメモリ１３に対するデータの入出力を制御する。
ＤＤＲフレームメモリ１３は、映像データを記憶するものであり、黒レベル減算器１１から入力された遮光時の１フレーム分の映像データを記憶するエリアと、１フレーム分の累積補正値を記憶するエリアとを備えている。
尚、入力データ用のメモリと累積補正値用のメモリの２つを備えるようにしてもよい。

１フレーム加算平均演算部１４は、黒レベル減算器１１から出力された遮光時の１フレーム分の映像データについて、全画素の加算平均演算を行って、１フレーム加算平均値を算出する。
具体的には、１フレーム加算平均演算部１４は、入力された画素のデータを累積加算し、１フレーム分加算した後、総画素数で除して当該フレームの１フレーム加算平均値とする。
突発的なフレーム変動があった場合には、当該フレームの１フレーム加算平均値は、正常なフレームの１フレーム加算平均値から離れた値となる。

スイッチ１６は、２つの入力端子の一方にＤＤＲフレームメモリ１３からの１フレーム分の映像データが入力され、他方にゼロが入力されており、判定回路１５からの制御に基づいて、加算器１７への入力を１フレーム分の映像データ又はゼロに切り替える。
ゼロに切り替えられた場合には、一方の入力端子に入力された１フレーム分の映像データは加算器１７には入力されず、累積補正値の算出には利用されない。

判定回路１５は、１フレーム加算平均値に基づいて、当該フレームの映像データが、ＦＰＮ補正値の基となる累積補正値を算出するデータとして適しているかどうかを判定する。
具体的には、判定回路１５は、１フレーム加算平均値の適正な範囲を規定する下限値となる第１のしきい値と、上限値となる第２のしきい値とを記憶しており、１フレーム加算平均演算部１４からの１フレーム加算平均値を第１のしきい値及び第２のしきい値と比較して、当該１フレーム加算平均値が適正範囲内であるか否かを判定する。

そして、判定回路１５は、判定結果に応じてスイッチ１６を切り替える。つまり、１フレーム加算平均値が適正範囲内であれば、スイッチ１６を１フレーム分の映像データ側（入力側）に切り替え、適正範囲外であれば、ゼロ側（非入力側）に切り替える。スイッチ１６の切り替えは高速で行われるものである。
更に、判定回路１５は、補正値算出処理において、累積補正値として何フレーム分の映像データを加算したかを示す加算回数を保持しており、スイッチ１６を入力側に切り替えた場合には加算回数に１を加えて更新し、規定回数に達するまで補正値算出処理を継続する。

加算器１７は、ＤＤＲフレームメモリ１３から読み出された累積補正値と、スイッチ１６からの出力とを画素毎に加算する。
ラインバッファ１８は、加算器１７からの出力を行毎に保持し、行単位でメモリコントローラ１２に出力する。
ラインバッファ１９は、メモリコントローラ１２からの行毎の出力を保持し、加算器１７に画素毎に出力する。

除算器２０は、ＤＤＲフレームメモリ１３から読み出された累積補正値を画素毎に所定の加算回数（ｋ回とする）で除算して、遮光時の映像データの平均レベルを算出し、画素毎のＦＰＮ補正値として減算器２１に出力する。ＦＰＮ補正値は、請求項に記載した補正値に相当する。
減算器２１は、補正値算出処理が終了後、撮影時に入力された映像データから、除算器２０からのＦＰＮ補正値を画素毎に減算して、補正された映像データを出力する。

［第１の撮像装置の動作：図２］
次に、第１の撮像装置のＦＰＮ補正部の動作について図２を用いて説明する。
第１の撮像装置では、まず、累積補正値を算出する補正値算出処理が行われる。
遮光時の１フレーム分の映像データが入力されると、黒レベル減算器１１で黒レベルが減算され、メモリコントローラ１２を介してＤＤＲフレームメモリ１３に保持される。そして、メモリコントローラ１２を介してスイッチ１６の一方の入力端子に入力される。
また、当該１フレーム分の映像データについて、１フレーム加算平均演算部１４で１フレーム加算平均値が算出され、判定回路１５で当該１フレーム加算平均値が適正範囲内か否かが判定され、判定結果に応じて上述したようにスイッチ１６が切り替えられる。

つまり、判定回路１５で、入力された遮光時の映像データの１フレーム加算平均値が適正範囲内と判定されると、ＤＤＲフレームメモリ１３に記憶された当該フレームの映像データがスイッチ１６を介して加算器１７に入力され、加算器１７において、ＤＤＲフレームメモリ１３から読み出されて加算器１７に入力された累積補正値と画素毎に加算され、加算結果が、ＤＤＲフレームメモリ１３に更新された累積補正値として記憶される。

また、１フレーム加算平均値が適正範囲外と判定されると、スイッチ１６から加算器１７にゼロが出力され、当該フレームの映像データは累積補正値に加算されず、破棄される。
これにより、フレーム変動により１フレーム加算平均値が適正範囲から外れた映像データを累積補正値の算出に利用しないようにして、固定パターンノイズの補正値を精度よく算出することができるものである。
そして、ＦＰＮ補正部は、判定回路１５で、累積補正値に加算されたフレームの数を示す加算回数をカウントし、予め設定された規定回数に達するまで、遮光して補正値算出処理を続ける。

加算回数が規定回数に達した場合、補正値算出処理を終了して撮影に移行し、この時点でＤＤＲフレームメモリ１３に記憶されている累積補正値に基づいて、実際の撮影時の映像データの補正を行う。

ＤＤＲフレームメモリ１３から読み出された累積補正値は、除算器２０に入力されて、画素毎に規定回数（ｋ）で除算され、画素毎の遮光時の平均レベルがＦＰＮ補正値として算出される。
そして、撮影時の映像データが入力されると、減算器２１において、映像データから除算器２０の出力（ＦＰＮ補正値）が画素毎に減算されて固定パターンノイズの補正が行われ、補正された映像データが出力される。
このようにして第１の撮像装置における動作が行われるものである。

［判定回路１５の処理：図３］
次に、第１の撮像装置における判定回路１５の処理について図３を用いて説明する。図３は、第１の撮像装置における判定回路１５の処理を示すフローチャートである。
図３に示すように、判定回路１５は、加算回数を０に設定しておき、１フレーム加算平均値が入力されると（１００）、当該１フレーム加算平均値が、第１のしきい値（下限値）以上で第２のしきい値（上限値）以下となる適正範囲内に入っているかどうかを判断する（１０２）。

処理１０２において、１フレーム加算平均値が適正範囲内であれば（Yesの場合）、判定回路１５は、スイッチ１６を１フレーム分の映像データを入力する一方の端子側に切り替え（１０４）、加算回数をインクリメント（＋１）し（１０６）、処理１１０に移行する。

また、処理１０２において、１フレーム加算平均値が適正範囲外であれば（Noの場合）、判定回路は、スイッチ１６をゼロを入力する他方の端子側に切り替え、処理１１０に移行する。

そして、判定回路１５は、加算回数が規定回数（ｋ回）になった（加算回数＝ｋ）かどうかを判断し、規定回数に達していない場合は（Noの場合）、処理１００に戻って処理を繰り返す。
また、処理１１０で加算回数が規定回数になった場合（Yesの場合）、判定回路１５は処理を終了する。
このようにして、判定回路１５の処理が行われる。

［第１の実施の形態の効果］
本発明の第１の実施の形態に係る画像補正方法及び撮像装置によれば、遮光時の映像信号を入力して、１フレーム加算平均演算部１４が１フレーム加算平均値を算出し、判定回路１５が、当該１フレーム加算平均値が適正範囲内であれば、当該１フレーム分の映像データを加算器１６に入力するようにスイッチ１６を切り替えて、加算器１７で累積補正値と加算して累積補正値を更新してＤＤＲフレームメモリ１３に記憶し、当該１フレーム加算平均値が適正範囲外であれば、当該１フレーム分の映像データを加算器１６に入力しないようにスイッチ１６を切り替え、累積補正値の更新が規定回数に達するまで更新を行った後、ＤＤＲフレームメモリ１３に記憶された累積補正値を規定回数で除して遮光時の平均レベルをＦＰＮ補正値として算出し、撮影時に入力された映像データからＦＰＮ補正値を減算して、画像を補正するようにしているので、突発的なフレーム変動により通常から大きく外れた映像データをＦＰＮ補正値の算出に利用しないようにして、ＦＰＮ補正値を適切に算出し、固定パターンノイズを精度よく補正して良好な画像を出力することができる効果がある。

［第２の撮像装置におけるＦＰＮ補正部の構成：図４］
次に、本発明の第２の実施の形態に係る撮像装置（第２の撮像装置）の構成について図４を用いて説明する。
第２の撮像装置では、遮光時に入力された映像データについて、各フレームにおいて１フレーム加算平均値と映像データとの差分を画素毎に求め、差分を規定回数分累積した累積差分値を用いて補正を行うようにしている。
これにより、突発的なフレーム変動があっても、１フレーム加算平均値との差分を取ることで、当該フレーム内で変動を吸収して平滑化することができ、ＦＰＮ補正値への影響を抑えることができるものである。

図４は、本発明の第２の実施の形態に係る撮像装置のＦＰＮ補正部の構成ブロック図である。
図４に示すように、第２の撮像装置のＦＰＮ補正部は、黒レベル減算器３１と、メモリコントローラ３２と、ＤＤＲフレームメモリ３３と、１フレーム加算平均演算部３４と、第１の減算器３５と、第１の加算器３６と、ラインバッファ３７，３８と、加算平均演算部３９と、除算器４０と、第２の加算器４１と、第２の減算器４２とを備えている。
上記構成部分の内、黒レベル減算器３１、１フレーム加算平均演算部３４、ラインバッファ３７，３８は、第１の撮像装置と同様の部分であるため、説明は省略する。

第２の撮像装置におけるＦＰＮ補正部の各部について説明する。
第１の減算器３５は、１フレーム分の映像データと、当該フレームの１フレーム加算平均値との差分を算出する。
第１の加算器３６は、ＤＤＲフレームメモリ３３からの累積差分値に、減算器３５からの差分を加算する。加算された累積差分値は、ＤＤＲフレームメモリ３３に記憶される。
ＤＤＲフレームメモリ３３は、１フレーム分の映像データと、累積された累積差分値とを記憶する。

メモリコントローラ３２は、ＤＤＲフレームメモリ３３に対する入出力を制御すると共に、第２の撮像装置では、累積差分値の加算が行われた加算回数をカウントし、規定回数（ｋ回）に達するまで補正値算出処理を行うよう制御する。
第１の撮像装置では、１フレーム加算平均値が適正範囲外となるフレームがあった場合には、当該フレームは破棄されるため、遮光時に読み込まれる映像データはｋ個より多くなるが、第２の撮像装置では、遮光時の映像データｋ個を読み込むと、加算回数が規定回数に達して補正値算出処理を終了する。

全フレーム加算平均演算部３９は、算出された全ての１フレーム加算平均値の加算平均を全フレーム加算平均値として算出する。規定回数（ｋ回）の加算が行われた場合には、ｋ個の１フレーム加算平均値について加算平均された全フレーム加算平均値が算出される。

除算器４０は、累積差分値を規定回数ｋで除して、画素毎に遮光時の平均差分値を算出する。
第２の加算器４１は、全フレーム加算平均演算部３９から出力される全フレーム加算平均値と、除算器４０からの平均差分値とを加算して、遮光時の平均レベルとなる画素毎のＦＰＮ補正値を算出する。
第２の減算器４２は、撮影時に入力された映像データから加算器４１のＦＰＮ補正値を画素毎に減算して、映像データを補正し、補正された映像データを出力する。

［第２の撮像装置の動作：図４］
次に、第２の撮像装置のＦＰＮ補正部の動作について図４を用いて説明する。
第２の撮像装置における補正値算出処理では、遮光時の１フレーム分の映像データが入力されると、黒レベル減算器３１で黒レベルが減算され、メモリコントローラ３２を介してＤＤＲフレームメモリ３３に保持される。そして、メモリコントローラ３２を介して減算器３５に画素毎に入力される。
また、当該１フレーム分の映像データについて、１フレーム加算平均演算部３４で１フレーム加算平均値が算出され、２つに分岐されてその一方が第１の減算器３５に入力される。

第１の減算器３５において、１フレーム分の映像データと１フレーム加算平均値との差分が算出され、第１の加算器３６において、画素毎の差分値が第１の加算器３６に出力され、ＤＤＲフレームメモリ３３から読み出された累積差分値に加算される。

加算された累積差分値は、ラインバッファ３７、メモリコントローラ３２を介して、ＤＤＲフレームメモリ３３に記憶され、累積差分値が更新される。そして、メモリコントローラ３２によって、加算回数がインクリメント（＋１）される。
加算回数が規定回数に達した場合、第２の撮像装置は補正値算出処理を終了して、撮影に移行する。

ＤＤＲフレームメモリ３３に記憶された累積差分値は、メモリコントローラ３２、ラインバッファ３８を介して除算器４０に入力され、除算器４０において、規定回数ｋで除算される。
また、分岐された１フレーム加算平均値の他方は、全フレーム加算平均演算部３９に入力されて、全フレーム加算平均値が算出され、第２の加算器４１に入力される。

第２の加算器４１において、除算器４０からの出力と、全フレーム加算平均値とが加算されて、画素毎のＦＰＮ補正値が生成される。
そして、撮影時の映像データが入力されると、第２の減算器４２において、映像データから、第２の加算器４１で生成されたＦＰＮ補正値が減算されて、固定パターンノイズが補正された映像データが出力される。
このようにして第２の撮像装置における動作が行われるものである。

［第２の実施の形態の効果］
本発明の第２の実施の形態に係る画像補正方法及び撮像装置によれば、遮光時の１フレーム分の映像データを入力してＤＤＲフレームメモリ３３に保持し、１フレーム加算平均部３４が、１フレーム分の映像データについて１フレーム加算平均値を算出し、第１の減算器が、保持された１フレーム分の映像データと１フレーム加算平均値との差分を算出し、第１の加算器が、差分を累積加算して累積差分値を算出すると共に、全フレーム加算平均演算部が、全ての１フレーム加算平均値の加算平均値を全フレーム加算平均値として算出し、メモリコントローラ１２が、加算器３６における差分の累積加算が規定回数行われ多かどうか判断し、規定回数以上行われると、除算器４０が、ＤＤＲフレームメモリ３３からの累積差分値を規定回数で除し、第２の加算器４１が、当該除算結果と全フレーム加算平均値とを加算して画素毎のＦＰＮ補正値を算出し、撮影時の映像データが入力されると、第２の減算器４１が、入力された映像データから画素毎にＦＰＮ補正値を減算して、固定パターンノイズを補正して補正映像データを出力するようにしており、フレーム毎に１フレーム加算平均値と映像データとの差分を算出することで、突発的なフレーム変動を吸収して、ＦＰＮ補正値に対するフレーム変動の影響を低減し、固定パターンノイズを精度よく補正して良好な品質の画像を出力することができるものである。

本発明は、補正値算出時の突発的なフレーム変動の影響を抑え、固定パターンノイズを精度よく除去して、良好な品質の画像を得ることができる画像補正方法及び撮像装置に適している。この出願は、２０１６年８月８日に出願された日本出願特願２０１６−１５５８９７を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

１...撮像素子、 ２...ＦＰＮ補正部、 ３...白補正部、 ４...電気／光変換部、 ５...光／電気変換部、 ６...映像信号処理部、 １１，３１，５１...黒レベル減算器、 １２，３２，５４...メモリコントローラ、 １３，３３，５５...ＤＤＲフレームメモリ、 １４，３４...１フレーム加算平均演算部、 １５...判定回路、 １６...スイッチ、 １７...加算器、 １８，１９，３７，３８，５３，５６...ラインバッファ、 ２０，４０，５７...除算器、 ２１，５８...減算器、 ３５...第１の減算器、 ３６...第１の加算器、 ３９...全フレーム加算平均演算部、 ４１...第２の加算器、 ４２...第２の減算器

Claims (5)

1. 撮像装置における画像補正方法であって、
   遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共に前記映像データについて１フレーム加算平均値を算出し、
   前記１フレーム加算平均値が予め設定された範囲内であれば、前記１フレーム分の映像データを、累積加算された映像データである累積補正値に加算し、前記累積補正値を更新してフレームメモリに記憶し、
   前記累積補正値の更新が規定回数に達した後、前記フレームメモリに記憶された累積補正値を前記規定回数で除して補正値とし、撮影時に入力された映像データから、前記補正値を減算して、画像を補正することを特徴とする画像補正方法。
2. 撮像装置における画像補正方法であって、
   遮光時の映像信号を入力して、１フレーム分の映像データを保持すると共に前記映像データについて１フレーム加算平均値を算出し、
   保持された前記映像データから前記１フレーム加算平均値を減算して差分を算出し、
   前記差分を累積加算して、累積差分値を更新してフレームメモリに記憶し、
   算出された全ての前記１フレーム加算平均値の加算平均を全フレーム加算平均値として算出し、
   前記累積差分値の更新が規定回数に達した後、前記累積差分値を前記規定回数で除した値を、前記全フレーム加算平均値に加算して補正値とし、撮影時に入力された映像データから、前記補正値を減算して、画像を補正することを特徴とする画像補正方法。
3. 入力された画像信号について画像を補正する撮像装置であって、
   遮光時の１フレーム分の映像データと、累積加算された映像データである累積補正値とを記憶するフレームメモリと、
   前記フレームメモリに対する入出力を制御するメモリコントローラと、
   前記１フレーム分の映像データについて１フレーム加算平均値を算出する１フレーム加算平均演算部と、
   前記累積補正値と前記１フレーム分の映像データとを加算する加算器と、
   前記１フレーム分の映像データの前記加算器への入力／非入力を切り替えるスイッチと、
   前記１フレーム加算平均値が予め設定された範囲内であるかどうかを判定し、前記範囲内であった場合には、前記スイッチを入力側に切り替え、前記範囲外であった場合には、前記スイッチを非入力側に切り替える判定処理を行う判定回路と、
   前記累積補正値を規定回数で除算して補正値を算出する除算器と、
   撮影時に入力された映像データから前記累積補正値を減算して画像を補正する減算器とを備え、
   前記メモリコントローラが、前記フレームメモリから前記１フレーム分の映像データを前記スイッチに出力し、前記累積補正値を前記加算器に出力し、前記加算器における加算結果で前記フレームメモリに記憶された前記累積補正値を更新し、前記累積補正値の更新を規定回数行い、前記累積補正値を前記除算器に出力することを特徴とする撮像装置。
4. 判定回路が、１フレーム加算平均値の下限値となる第１のしきい値と、上限値となる第２のしきい値とを記憶しており、１フレーム加算平均演算部からの１フレーム加算平均値が、前記第１のしきい値以上で前記第２のしきい値以下の場合に範囲内であると判定することを特徴とする請求項３記載の撮像装置。
5. 入力された画像信号について画像を補正する撮像装置であって、
   遮光時の１フレーム分の映像データと、画像を補正する補正値の算出に用いられる累積差分値とを記憶するフレームメモリと、
   前記フレームメモリに対する入出力を制御するメモリコントローラと、
   前記１フレーム分の映像データについて１フレーム加算平均値を算出する１フレーム加算平均演算部と、
   前記１フレーム分の映像データから前記１フレーム加算平均値を減算する第１の減算器と、
   前記累積差分値と前記第１の減算器における減算結果とを加算する第１の加算器と、
   前記累積差分値を規定回数で除算する除算器と、
   前記規定回数分の前記１フレーム加算平均値の加算平均を全フレーム加算平均値として算出する全フレーム加算平均演算部と、
   前記全フレーム加算平均値と、前記除算器での除算結果を加算する第２の加算器と、
   撮影時に入力された映像データから前記第２の加算器における加算結果を減算して画像を補正する第２の減算器とを備え、
   前記メモリコントローラが、前記フレームメモリから前記１フレーム分の映像データを前記第１の減算器に出力し、前記累積差分値を前記第１の加算器に出力し、前記第１の加算器における加算結果で前記フレームメモリに記憶された前記累積差分値を更新し、前記累積差分値の更新を規定回数行い、前記累積差分値を前記除算器に出力することを特徴とする撮像装置。

Images