JP6126491B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像素子を有する撮像装置に関するものである。

撮像素子を有する撮像装置では、露光時間の長時間化、撮像素子の温度上昇に従い撮像素子内で暗電流成分が増加することで発生する欠陥画素によるキズやダークシェーディングなどが、出力画像に固定パターンノイズ成分として重畳し、画質悪化の要因となっている。これらの固定パターンノイズ成分は、一般的に本露光画像と同条件で撮影した黒画像（遮光画像）を本露光画像から減算する黒引き処理を行うことで除去することが可能である。

特許文献１においては、撮像素子のもつ固定パターンノイズに対応する暗時出力信号をメモリに予め記録しておき、被写体を撮影した際に上記の暗時出力信号をメモリから読み出して撮影画像から減算することで固定パターンノイズ補正を行っている。

特開平１−３９１７１号公報

ここで図１２に示すように夜空を移動する星を連続的に撮影し、得られた本露光画像を合成することで一枚の絵に星空の軌跡を描きだす星空軌跡画像を作成する場合について考える。このとき被写体である夜空や星は低照度であるため、撮像装置の本露光時間を十分長く（数分〜数十分程度）設定する必要がある。また、星の軌跡として合成するためには、刻々と移動する星々を連続的に、かつ長時間撮影し合成することが必要となる。夜空の星は北極星を中心に１時間で１５°移動するため、撮影する方向や、どの程度の長さの軌跡にするかにもよるが、星空軌跡画像として記録するためには通常は数十分〜数時間程度撮影し続けることとなる。

しかしながら、上記のように露光時間を長く設定すると、キズやダークシェーディングなどの固定パターンノイズが発生し易くなる。また、長時間撮影し続けることで撮像素子の温度も刻々と上昇するため、それに応じてさらに固定パターンノイズが発生しやすくなる。そのため、上記のような星空軌跡画像として高画質な画像を得るためには固定パターンノイズ補正が不可欠となる。

本来であれば本露光画像を撮影する前後の時間、つまり撮像素子の温度が殆ど変わらない条件下にて黒画像を撮影し本露光画像毎に黒引き処理を行うことで固定パターンノイズを除去することが望ましい。しかしながらこのような処理を行えば、黒画像の撮影中の星の動きが画像として記録出来ないために、図１３のように合成後の星の軌跡画像が離散的になってしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、星空軌跡画像のように長秒露光画像を連続的に撮影して合成する場合においても、固定パターンノイズの少ない高画質な画像を生成することができる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素が２次元に配置された撮像素子と、前記撮像素子を遮光する遮光手段と、前記撮像素子により複数枚の露光画像の連続撮影を行い、該連続撮影で得られた複数枚の露光画像を合成するように制御するとともに、前記連続撮影の前に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第１の黒画像を取得し、前記連続撮影の後に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第２の黒画像を取得するように制御する制御手段と、前記連続撮影で得られた複数枚の露光画像の各々に対して前記第１の黒画像を用いた第１のノイズリダクション処理を行い、前記複数枚の露光画像を合成した露光画像に対して前記第２の黒画像を用いた第２のノイズリダクション処理を行う画像処理手段と、を備えることを特徴とする。

本発明によれば、星空軌跡画像のように長秒露光画像を連続的に撮影して合成する場合においても、固定パターンノイズの少ない高画質な画像を生成することができる撮像装置を提供することが可能となる。

本発明の第１の実施形態の撮像装置の構成を示したブロック図である。 第１の実施形態における画像の撮影順序を示した図である。 第１の実施形態における画像の信号処理の概要を示した図である。 第１の実施形態における撮影シーケンスを示したフローチャートである。 第１の実施形態において動作切替えの際に参照する参照テーブルを示した図である。 第１の実施形態における第１のノイズ補正処理を示したフローチャートである。 第２のキズ補正におけるキズ検出に用いる画素の配置を示した図である。 第１の実施形態において動作切替えの際に参照する参照テーブルを示した図である。 第１の実施形態における第２のノイズ補正処理を示したフローチャートである。 第２の実施形態における撮影シーケンスを示したフローチャートである。 第３の実施形態における第２のノイズ補正処理を示したフローチャートである。 夜空での星の動く軌跡を描き出す星空軌跡画像のイメージ図である。 夜空での星の動く軌跡を描き出す星空軌跡画像の失敗例のイメージ図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図９を用いて説明する。本発明の第１の実施形態では、星空を撮影しながら順次星空軌跡画像を合成して行く星空軌跡モードを例に挙げて説明する。

本実施形態では、ユーザーに星空軌跡画像の合成状況が分かるように、星空の軌跡を複数枚撮影しながらその時点までに合成処理された星空軌跡画像をモニタに表示する。そして、最終出力画像として合成した星空軌跡画像と、合成する前の刻々と変わる星空を撮影した画像（以下、途中星空画像と呼ぶ）を保存する。

図１は、本実施形態の撮像装置の構成を示したブロック図である。

レンズ１０１を通った被写体像は、絞り１０４にて適切な光量に調整され、撮像素子１０６に結像される。撮像素子１０６は、光電変換素子がｋ列，ｍ行の２次元のマトリックス状に配置されており、それぞれの画素には赤（Ｒ）、緑（Ｇｒ）、緑（Ｇｂ）、青（Ｂ）の４つの色フィルタのいずれかを備えている。この４つの色フィルタは、ベイヤ配列を構成している。撮像素子１０６に結像された被写体像は、相関２重サンプリング、ゲイン調整、Ａ／Ｄ変換を行う回路（以下、ＣＤＳ・Ａ／Ｄと呼ぶ）１０７にて、相関２重サンプリング、ゲイン調整、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われ、Ｒ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路１０８に送られる。撮像信号処理回路１０８では、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、ピークホールド処理、さらに撮像素子１０６の欠陥画素によるキズを補正するキズ補正やダークシェーディング補正、黒引き処理等の各種の補正、画像データの圧縮等を行う。

レンズ部１０１は、ズーム、フォーカス等を行うように、レンズ駆動部１０２によって駆動制御される。メカニカルシャッタ（以下、メカシャッタと呼ぶ）１０３は、後段の絞り１０４、撮像素子１０６へ入射する光の照射時間を機械的に制御するシャッタ機構である。このメカシャッタ１０３、絞り１０４は、メカニカルシャッタ・絞り駆動部（以下、シャッタ・絞り駆動部と呼ぶ）１０５によって駆動制御される。タイミング発生部１０９は、撮像素子１０６、ＣＤＳ・Ａ／Ｄ１０７に各種タイミング信号を出力する。全体制御演算部１１１は、撮像装置全体の制御と各種演算を行う。

第１のメモリ部１１０は、画像データを一時的に記憶する。記録媒体制御インターフェース部（以下、記録媒体制御Ｉ／Ｆ部と呼ぶ）１１２では、記録媒体に画像データの記録または読み出しを行う。表示部１１３は、画像データの表示を行う。半導体メモリ等の記録媒体１１４は、着脱可能であり、画像データが記憶される。外部インターフェース部（以下、外部Ｉ／Ｆ部と呼ぶ）１１５は、外部コンピュータ等と通信を行うためのインターフェースである。第２のメモリ部１１６は、全体制御演算部１１１での演算結果を記憶する。

操作部１１７にてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部１１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。温度計１１８は、撮像素子１０６の温度を測定し、測定した温度情報を全体制御演算部１１１へと送る。全体制御演算部１１１では、送られて来た撮像素子の温度情報を第２のメモリ部１１６に格納する。温度計１１８は、サーミスタや熱電対など温度情報を直接計測するデバイスで構成しても良いし、撮像素子１０６の出力データの暗電流成分から間接的に温度情報を求めるものでも良い。

次に、図２、図３を用いて、本実施形態における星空軌跡モードの動作の概要について説明する。図２は、星空軌跡モードにて撮影する画像を始めに撮影する画像から順番に並べたものである。

本露光の前に、まず撮像素子１０６を遮光した状態で電荷の蓄積を行わせ黒画像１を撮影する。その後、本露光を開始し、本露光画像１、本露光画像２、本露光画像３、…、本露光画像ｎと順次、連続的に星空の画像の撮影を行う。そして最後に、再度、撮像素子１０６を遮光した状態で黒画像２を撮影する。

図３は、図２で撮影した画像をどの様に画像信号処理し合成して行くか、その概要を表わした図である。図３の黒画像１、本露光画像１〜本露光画像ｎ、黒画像２は、図２の同名の画像それぞれと同じものである。

撮影した画像（黒画像１、本露光画像１〜本露光画像ｎ、黒画像２）に対し、それぞれのＯＢレベルが所定の値となるようにクランプ処理が施される。さらに、それぞれの画像に対し、第１のキズ補正処理を実施する。この第１のキズ補正処理は、予めメモリに記憶されているキズ情報に基づいて、各画像に対するキズ補正を行うものである。ここで、予めメモリに記憶されているキズ情報とは、所定の条件で撮影した画像から検出した撮像素子１０６の欠陥画素のアドレスや欠陥レベル等に関する情報である。その後、黒画像１を各本露光画像（本露光画像１、本露光画像２、…、本露光画像ｎ）からそれぞれ減算する黒引き処理を行う。黒引き処理を行った各本露光画像は、そのままそれぞれ現像し、途中星空画像として保存する。

一方で上記の黒引き処理を行った各本露光画像に対し、ピークホールド処理を実施する。ピークホールド処理は、本露光画像を撮影する毎に実施し、また、ピークホールド処理を実施する毎に第２のキズ補正処理を実施する。第２のキズ補正処理は、ピークホールド処理した画像自体からキズ画素（撮像素子１０６の欠陥画素）を検出し、検出したキズ画素に関する情報に基づいて、各画像に対するキズ補正を行うものである。さらに、全ての本露光画像に対してピークホールド処理、第２のキズ補正処理を実施した画像に対し、黒画像２から検出したキズ情報に基づいて第３のキズ補正処理を行う。第３のキズ補正処理は、黒画像２からキズ画素（撮像素子１０６の欠陥画素）を検出し、検出したキズ画素に関する情報に基づいて、各画像に対するキズ補正を行うものである。さらにクランプ処理、現像処理を行い、星空軌跡画像として保存する。

図３における撮影シーケンス、信号処理の詳細を図４〜図９を用いて説明する。

図４は、本実施形態における星空軌跡モードの撮影シーケンス、信号処理をフローチャートとして記載したものである。本露光撮影にあたり、１枚当りの露光時間Ｔｖ、絞り値Ａｖ、ＩＳＯ感度Ｇ、星空軌跡を撮影する撮影全体の時間Ｔallが、事前に、操作部１１７からユーザーが入力した設定に基づき第２のメモリ部１１６に保存されている。

Ｓ２０１では、全体制御演算部１１１にて、操作部１１７からユーザーが入力した設定に基づき各種パラメータを初期化する。また、その際、第２のメモリ部１１６から読みだした１枚当りの露光時間Ｔｖ（時間間隔）、星空軌跡を撮影する撮影全体の時間Ｔallから、撮影する総枚数Ｎを下記のように算出する。

Ｎ＝Ｔall／Ｔｖ …（式１）
初期化したパラメータ、算出された総枚数Ｎは第２のメモリ部１１６に記録する。

Ｓ２０２では、撮影枚数カウント係数ｎを０にリセットする。Ｓ２０３では、全体制御演算部１１１から制御して、第２のメモリ部１１６から撮影条件（Ｔｖ、Ａｖ、Ｇ）、温度計１１８にて計測された撮像素子１０６の温度情報ｔを読み出す。そして、読みだした撮影条件（Ｔｖ、Ａｖ、Ｇ）と温度情報ｔから図５の参照テーブルに基づいて黒画像１を撮影するか否かを決定する。

図５は、撮像素子１０６の温度ｔ、撮影時の露光時間Ｔｖ、撮影時のＩＳＯ感度Ｇにより、黒画像１を撮影するか否かを判定するフラグＮｒ１のテーブルを示している。黒画像１撮影判定フラグＮｒ１が「０」であれば黒画像１を撮影しない。また、黒画像１撮影判定フラグＮｒ１が「１」であれば黒画像１を撮影する。

このテーブルは、事前に撮像素子１０６の温度、露光時間、ＩＳＯ感度を振って撮影した画像を確認し、固定パターンノイズが目立つ条件を抽出することで作成したものである。固定パターンノイズが発生する条件では黒画像１を用いた補正を行う必要があるため、Ｎｒ１を「１」とする。固定パターンノイズが発生しない場合には黒画像１を用いた補正が必要ないため、Ｎｒ１を「０」と記載している。Ｓ２０３でＮｒ１＝「１」であればＳ２０４に、Ｓ２０３でＮｒ１＝「０」であればＳ２０６へ進む。

Ｓ２０４では、全体制御演算部１１１から指令を出し、メカシャッタ１０３を閉じた状態で撮像素子１０６による撮影を行うことにより、黒画像１を取得する。ここでは、第２のメモリ部１１６から読み出した撮影条件（Ｔｖ、Ｇ）で撮影を行う。

Ｓ２０５では、Ｓ２０４で取得された黒画像１は、キズ補正処理を行ったのち第１のメモリ部１１０に保存する。このキズ補正処理は、撮像信号処理回路１０８にて事前に所定の条件で撮影した画像からキズの位置、キズのレベルなどを抽出して第２のメモリ部１１６に保存していたキズ情報に基づいて実施される。上記キズ補正処理を以後「第１のキズ補正処理」と記載する。

Ｓ２０６では、全体制御演算部１１１から指令を出しメカシャッタ１０３を開いた状態で撮像素子１０６による撮影を行う。この撮影は、撮影条件（Ｔｖ、Ａｖ、Ｇ）で行う。Ｓ２０７では、撮影枚数カウント係数ｎに１加える。Ｓ２０８では、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にて第１のＮＲ処理（ノイズリダクション処理、画像処理）を実施する。

ここで、第１のＮＲ処理の詳細について、図６を用いて説明する。図６は第１のＮＲ処理の流れをフローチャートとして記載したものである。

Ｓ３０１では、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にてＳ２０６で撮影された本露光画像に対し、第１のキズ補正処理を実施する。

Ｓ３０２では、全体制御演算部１１１から指令を出し、第１のメモリ部１１０に黒画像１が保存されているか否か確認する。黒画像１が保存されていればＳ３０３に進み、黒画像１が保存されていなければ第１のＮＲ処理を終了する。

Ｓ３０３では、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にて第１のメモリ部１１０に保存していた黒画像１を読出す。そして、Ｓ３０１で第１のキズ補正を行った本露光画像に対し黒画像１を用いて黒引き処理を実施し、第１のＮＲ処理を終了する。そして、第１のＮＲ処理の後、Ｓ２０９へ進む。

Ｓ２０９では、全体制御演算部１１１から指令を出す。そしてＳ２０８にて第１のＮＲ処理を行った本露光画像に対し、撮像信号処理回路１０８にてノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。これを記録媒体１１４に途中星空画像として記録する。

Ｓ２１０では、Ｓ２０８にて第１のＮＲ処理を行った本露光画像に対し、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にてピークホールド処理を行う。ピークホールド処理では画素毎に下記のような処理を行う。

Ｓ２０６でｎ枚目の本露光画像として撮影された画像をＡｎとする。Ａｎはｋ列，ｍ行の２次元のマトリックス状の光電変換素子から構成される撮像素子１０６からの出力画像であることから、Ａｎのアドレス（ｉ，ｊ）、（１≦ｉ≦ｋ, １≦ｊ≦ｍ）での出力値をａｎ（ｉ，ｊ）としたとき、本露光画像Ａｎの出力は以下のようにマトリックスとして表わすことができる。

Ａｎ＝（ａｎ（1, 1），ａｎ（1, 2），ａｎ（1, 3），…，ａｎ（i, j），…，ａｎ（k, m）） …（式２）
また、１枚目の本露光画像Ａ１からｎ枚目の本露光画像Ａｎまでの本露光画像にてピークホールド処理を行った画像（以下ピークホールド画像と記載）をＰｎとしたとき、このピークホールド画像Ｐｎの出力も以下のようにマトリックスとして表わすことができる。

Ｐｎ＝（ｐｎ（1, 1），ｐｎ（1, 2），ｐｎ（1, 3），…，ｐｎ（i, j），…，ｐｎ（k, m）） …（式３）
ｎ＝１の時はピークホールド処理は行わない。つまり、Ｐ１は以下のようになる。

Ｐ１＝Ａ１ …（式４）
Ｐ１は第１のメモリ部１１０に保存する。

ｎ＞１の時、全体制御演算部１１１から指令を出して第１のメモリ部１１０からＰｎ-1を読出し、撮像信号処理回路１０８にて以下の式で表わされるピークホールド処理を行う。つまり、前回までのピークホールド画像の画像上の全画素と新しく撮影した画像上の全画素について、同アドレスの画素の出力値同士を比較し、大きい方の出力値をピークホールド画像の出力値とする処理を行っている。

Ｓ２１１では、Ｓ２１０で作成したピークホールド画像に対し、全体制御演算部１１１から指令を出して、撮像信号処理回路１０８にて第２のキズ補正処理を実施する。第２のキズ補正処理の実施方法について、図７と（式６）〜（式１０）を用いて説明する。

図７におけるｐｎ（i, j）を対象画素としたとき、その周りの８つの隣接同色画素ｐｎ（i-2, j-2）、ｐｎ（i, j-2）、ｐｎ（i+2, j-2）、ｐｎ（i-2, j）、ｐｎ（i, j）、ｐｎ（i+2, j）、ｐｎ（i-2, j+2）、ｐｎ（i, j+2）、ｐｎ（i+2, j+2）から下記のように方向係数ｄ１，ｄ２，ｄ３，ｄ４を求める。

ｄ１＝（ｐｎ（i, j-2）＋ ｐｎ（i, j+2））／２ …（式６）
ｄ２＝（ｐｎ（i-2, j）＋ ｐｎ（i+2, j））／２ …（式７）
ｄ３＝（ｐｎ（i-2, j-2）＋ ｐｎ（i+2, j+2））／２ …（式８）
ｄ４＝（ｐｎ（i+2, j-2）＋ ｐｎ（i-2, j+2））／２ …（式９）
上記で求めたｄ１〜ｄ４の中でｐｎ（i, j）との差が最も小さいものを選びｄminとする。そしてｄminとｐｎ（i, j）の差Δｄを下記のように算出する。

Δｄ＝｜ｐｎ（i, j）−ｄmin｜ …（式１０）
このΔｄが所定の閾値Ｔｈ２より大きい場合、対象画素ｐｎ（i, j）をキズ（欠陥画素）として検出する。そして検出された画素の位置情報（i, j）をキズアドレス情報として抽出する。上記のキズ検出を画像Ｐｎ上のすべての画素（ｐｎ（i, j），１≦ｉ≦ｋ，１≦ｊ≦ｍ）について行う。このように検出されたキズアドレス情報に基づき、ピークホールド画像に対しキズ補正処理を実施する（以後、このキズ補正処理を「第２のキズ補正処理」と記載する）。

上記のように第２のキズ補正処理では、方向係数ｄ１〜ｄ４の中で最もｐｎ（i, j）との差が小さいｄminを選び、その値と比較することでキズを検出する。つまり、対象画素が一部を構成している画像が描く形状を考慮し、周りの画素との関連性の高い方向を選択し、その方向に存在する画素と比較することでキズ検出を行っている。このため、キズ補正による画質の劣化を軽減することができる。Ｐｎは第１のメモリ部１１０に保存する。

Ｓ２１２では、Ｓ２１１で第２のキズ補正処理を行ったピークホールド画像に対し、撮像信号処理回路１０８にてクランプ処理を行う。一般的に画像データには一定量のランダムノイズ成分が含まれており、同条件で同じ被写体を複数回撮影した場合、ランダムノイズ成分は所定の変動幅の間でランダムな値を取る。そのため、同条件で同じ被写体を複数回影した画像データはこのランダムノイズ成分の変動幅分だけ全体的に出力レベルが変動する。

Ｓ２１０にてピークホールド処理を行うと、画像データに含まれるランダムノイズ成分の変動幅の中で高い方の値に画像全体がホールドされてしまうため、ＯＢレベルも適正値から変わってしまう。上記の理由からピークホールド処理を行った際は、再度ＯＢレベルを合わせ直す必要があり、そのためＳ２１２でクランプ処理を行っている。

Ｓ２１３では、さらに撮像信号処理回路１０８にてノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。作成した画像は、表示部１１３に表示するための表示用画像として使用する。Ｓ２１４では、撮影枚数を確認する。撮影枚数カウント係数ｎ＝ＮであればＳ２１５に、ｎ≠ＮであればＳ２０６へ戻る。

Ｓ２１５では、全体制御演算部１１１から制御して、第２のメモリ部１１６から、温度計１１８にて計測された撮像素子１０６の一枚目の本露光画像を撮影したときの温度Ｔ１、Ｎ枚目の本露光画像を撮影したときの温度ＴＮ、撮影条件（Ｔｖ、Ｇ）を読み出す。そして、温度Ｔ１、温度ＴＮから下記のように本露光画像の撮影開始から終了までの撮像素子１０６の温度変化量ΔＴを算出する。このΔＴと撮影条件（Ｔｖ、Ｇ）から図８の参照テーブルを元に黒画像２を撮影するか否かを決定する。

ΔＴ＝ＴＮ−Ｔ１ …(式１１)
図８は、本露光画像の撮影開始から終了までの撮像素子１０６の温度変化量ΔＴと撮影時の露光時間Ｔｖ、撮影時のＩＳＯ感度Ｇにより、黒画像２を撮影するか否かを判定するフラグＮｒ２のテーブルを示している。黒画像２の撮影判定フラグＮｒ２が「０」であれば黒画像２を撮影しない。また、黒画像２撮影判定フラグＮｒ２が「１」であれば黒画像２を撮影する。

このテーブルは、事前に撮像素子１０６の温度、露光時間、ＩＳＯ感度を振って撮影した画像を確認し、固定パターンノイズの変化が目立つ条件を抽出することで作成したものである。固定パターンノイズの変化が目立つ条件では黒画像２を用いた補正を行う必要があるため、Ｎｒ２＝「１」とする。固定パターンノイズの変化が目立たない場合には黒画像２を用いた補正が必要ないため、Ｎｒ２＝「０」とする。Ｓ２１５でＮｒ２＝「１」であればＳ２１６に、Ｓ２１５でＮｒ２＝「０」であればＳ２１８へ進む。

なお、図８は、撮影条件（Ｔｖ、Ｇ）と、１枚目の本露光画像を撮影したときの温度Ｔ１とＮ枚目の本露光画像を撮影したときの温度ＴＮとから算出したΔＴから黒画像２を撮影するか否かを判断するテーブルとなっている。しかしながら、撮影条件（Ｔｖ、Ｇ）と、温度ＴＮ、撮影条件（Ｔｖ、Ｇ）と撮影枚数Ｎから判断するテーブルとすることも可能である。

Ｓ２１６では、全体制御演算部１１１から指令を出し、メカシャッタ１０３を閉じた状態で撮像素子１０６による撮影を行うことにより、黒画像２を取得する。ここでは、第２のメモリ部１１６から読み出した撮影条件（Ｔｖ、Ｇ）で撮影を行う。

Ｓ２１７では、撮像信号処理回路１０８にてＳ２１６で取得された黒画像２に対し、第１のキズ補正処理を実施する。第１のキズ補正処理を実施後、黒画像２を第１のメモリ部１１０に保存する。Ｓ２１８では、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にて第２のＮＲ処理を実施する。

ここで、第２のＮＲ処理の詳細について、図９を用いて説明する。図９は第２のＮＲ処理の流れをフローチャートとして記載したものである。

Ｓ４０１では、全体制御演算部１１１から指令を出し、第１のメモリ部１１０に黒画像２が保存されているか否か確認する。黒画像２が保存されていればＳ４０２に進み、黒画像２が保存されていなければ第２のＮＲ処理を終了する。

Ｓ４０２では、撮像信号処理回路１０８にて第１のメモリ部１１０に保存していた黒画像２を読出し、所定の閾値Ｔｈ３以上（所定値以上）の出力レベルの画素を検出する。そして検出された画素の位置情報をキズアドレス情報（キズ検出データ）として抽出する。このキズアドレス情報に基づきＳ２１１で第２のキズ補正を行ったピークホールド画像に対し、さらにキズ補正を実施する。以後、このキズ補正処理を「第３のキズ補正処理」と記載する。第３のキズ補正処理を実施後、第２のＮＲ処理を終了する。そして、第２のＮＲ処理が終了の後、Ｓ２１９へ進む。Ｓ４０２を実行した場合は、第１及び第２のＮＲ処理の両方を行ったことになる。

Ｓ２１９では、さらに撮像信号処理回路１０８にてクランプ処理を行う。Ｓ２１９でクランプ処理を行うのは、Ｓ２１２でクランプ処理を行う理由と同じである。

Ｓ２２０では、全体制御演算部１１１から指令を出し、撮像信号処理回路１０８にてノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。そして、星空軌跡画像として記録媒体１１４に記録する。

以上のように、本実施形態においては、長秒露光を長時間繰り返して撮影した複数の画像から星空軌跡画像を合成するようなモードにおいて、キズの少ない高画質な星空軌跡画像を作成することができる。

また、本実施形態では、星空軌跡画像の出力画像に対しては、最大限高画質な画像を得るため出来る限りのノイズリダクション処理を行っている。しかしながら、星空軌跡の合成の途中経過を表示する表示用画像や途中星空画像については、その時点で出来るレベルのノイズリダクション処理を行うことでリアルタイム表示を可能にしている。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、合成して作成したピークホールド画像に対して第３のキズ補正処理を実施することで高画質な星空軌跡画像を得ることができる。しかしながら、星空軌跡画像を作成する過程で取得するＮ枚の途中星空画像については、第３のキズ補正処理を実施していない。そのため、星空軌跡モードの撮影開始時点から時間が経てば経つほど（Ｎ枚目に近い途中星空画像ほど）、また撮影環境の温度が高ければ高いほど、より多くのより大きなキズが残ってしまう。

そこで、第２の実施形態では、第１の実施形態のようにピークホールド画像に対してだけではなく、星空軌跡画像を合成する前の刻々と変わる星空を撮影したＮ枚の本露光画像に対しても、連続撮影の最後に撮影した黒画像２により第３のキズ補正処理を実施する。

以下、本発明の第２の実施形態について、図１、図５〜図１０を用いて説明する。本実施形態の撮像装置の構成は第１の実施形態の図１と同様であるため説明は省略する。また、第１のＮＲ処理、第２のＮＲ処理についても第１の実施形態で説明した図６、図９と全く同様であるため説明を省略する。第２のキズ補正処理の実施方法についても、第１の実施形態の図７で説明したものと同様であるため、ここでは説明を省略する。

以下、本発明の第２の実施形態における撮影シーケンスのフローについて図１０を用いて説明する。

図１０において、Ｓ９０１〜Ｓ９０８、Ｓ９１０、Ｓ９１１、Ｓ９１４、Ｓ９１６、Ｓ９１７は、図４におけるＳ２０１〜Ｓ２０８、Ｓ２１０、Ｓ２１１、Ｓ２１４、Ｓ２１６、Ｓ２１７と全く同じ処理であるためここでは説明を省略する。Ｓ９０３で参照する図５に示す参照テーブルについては、第１の実施形態で説明したものと全く同様であるためここでは説明を省略する。

Ｓ９２１では、Ｓ９０８で第１のＮＲ処理を施した本露光画像を第１のメモリ部１１０に保存する。Ｓ９１５では、全体制御演算部１１１から制御して、第２のメモリ部１１６から、温度計１１８にて計測された撮像素子１０６の１枚目の本露光画像を撮影したときの温度Ｔ１、Ｎ枚目の本露光画像を撮影したとき（撮影終了時）の温度ＴＮ、撮影条件（Ｔｖ、Ｇ）を読み出す。この温度Ｔ１、温度ＴＮから（式１１）のように撮影開始から終了までの撮像素子１０６の温度変化量ΔＴを算出する。そしてΔＴが所定値以下かという条件と、撮影条件（Ｔｖ、Ｇ）から図８の参照テーブルに基づいて、黒画像２を撮影するか否かを決定する。なお、Ｓ９１５で参照する図８に示す参照テーブルの詳細については、第１の実施形態で説明したものと全く同様であるためここでは説明を省略する。

Ｓ９１５でＮｒ２＝「１」であればＳ９１６に、Ｓ９１５でＮｒ２＝「０」であればＳ９２２へ進む。Ｓ９２２では、Ｓ９２１で第１のメモリ部１１０に保存したＳ９０８で第１のＮＲ処理を施した後のＮ枚の本露光画像を読み出す。

Ｓ９１８、Ｓ９１９、Ｓ９２０は、それぞれ図４のＳ２１８、Ｓ２１９、Ｓ２２０にて説明したものと同様の処理を行う。Ｓ２１８、Ｓ２１９、Ｓ２２０ではピークホールド画像にのみそれぞれ処理を行うが、Ｓ９１８、Ｓ９１９、Ｓ９２０では、ピークホールド画像に対してだけでなく、Ｓ９２２で読みだしたＮ枚の本露光画像に対してもそれぞれ同様の処理を行う。

以上のように、本実施形態においては、長秒露光を長時間繰り返して撮影した複数の画像から星空軌跡画像を合成するようなモードにおいて、本露光画像を合成して作成する星空軌跡画像だけでなく、星空軌跡画像を作成する過程で取得するＮ枚の途中星空画像についてもキズの少ない高画質な画像として作成することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。第１の実施形態では、ピークホールド画像に対して第３のキズ補正処理を実施することで高画質な星空軌跡画像を得ることができる。しかしながら、撮像素子の特性によっては、キズだけでなくダークシェーディングなどの固定パターンノイズが発生し、これが星空軌跡画像の画質悪化の要因になる場合がある。

そこで第３の実施形態では、第１の実施形態においてピークホールド画像に対して実施する第２のＮＲ処理の信号処理において、第３のキズ補正処理だけではなくダークシェーディング補正処理も行う。

以下、本発明の第３の実施形態について、図１、図４〜図８、図１１を用いて説明する。本実施形態の撮像装置の構成は第１の実施形態の図１と同様であるため、説明を省略する。また、撮影シーケンスのフローについては第１の実施形態の図４で説明したものと同様であるため、説明を省略する。さらに、第１のＮＲ処理については第１の実施形態で説明した図６と全く同様であるため、説明を省略する。Ｓ２０３で参照する図５に示す参照テーブル、Ｓ２１５で参照する図８に示す参照テーブルについては、第１の実施形態で説明したものと全く同様であるため、ここでは説明を省略する。第２のキズ補正処理の実施方法についても第１の実施形態の図７で説明したものと同様であるため、ここでは説明を省略する。

以下、本発明の第３の実施形態における第２のＮＲ処理の信号処理の流れについて、図１１を用いて説明する。

Ｓ１００１では、全体制御演算部１１１から指令を出し、第１のメモリ部１１０に黒画像２が保存されているか否か確認する。黒画像２が保存されていればＳ１００２に、黒画像２が保存されていなければ第２のＮＲ処理を終了する。

Ｓ１００２では、撮像信号処理回路１０８にて第１のメモリ部１１０に保存していた黒画像２を読出し、これを用いてピークホールド画像に対し第３のキズ補正処理を実施する。その後Ｓ１００３へ進む。

Ｓ１００３では、撮像信号処理回路１０８にて、第１のメモリ部１１０に保存していた黒画像１（Ｂ１）と黒画像２（Ｂ２）を読出し、黒画像１（Ｂ１）と黒画像２（Ｂ２）にローパスフィルタ処理を施す。さらに黒画像１（Ｂ１）と黒画像２（Ｂ２）から下記の式で示す処理を行い、ダークシェーディング補正用画像ＤｓｈｄＩ（ダークシェーディング量）を作成する。黒画像１（Ｂ１）が無い場合は、ＤｓｈｄＩ＝Ｂ２となる。

ただし
Ｂ１＝（b1（1,1），b1（1,2），b1（1,3），…，b1（i,j），…，b1（k,m））
…（式１３）
Ｂ２＝（b2（1,1），b2（1,2），b2（1,3），…，b2（i,j），…，b2（k,m））
…（式１４）
そして、Ｓ１００２にて第３のキズ補正処理を行ったピークホールド画像に対し、上記ＤｓｈｄＩを減算することでダークシェーディング成分を除去し、第２のＮＲ処理を終了する。そして第２のＮＲ処理の終了後、Ｓ２１９へ進む。

以上のように、本実施形態においては、長秒露光を長時間繰り返して撮影した複数の画像から星空軌跡画像を合成するようなモードにおいて、キズやダークシェーディングなどの固定パターンノイズの少ない高画質な星空軌跡画像を作成することができる。

また、本実施形態では、星空軌跡画像の出力画像に対しては、最大限高画質な画像を得るため出来る限りのノイズリダクション処理を行っている。しかしながら、星空軌跡の合成の途中経過を表示する表示用画像や途中星空画像については、その時点で出来るレベルのノイズリダクション処理を行うことでリアルタイム表示を可能にしている。

（第４の実施形態）
以下、本発明の第４の実施形態について説明する。第２の実施形態では、ピークホールド画像とＮ枚の本露光画像に対して第３のキズ補正処理を実施することで、高画質な星空軌跡画像と途中星空画像を得ることができる。しかしながら、撮像素子の特性によっては、キズだけでなくダークシェーディングなどの固定パターンが発生し、これが星空軌跡画像や途中星空画像の画質悪化の要因になる場合がある。

そこで第４の実施形態では、第２の実施形態においてピークホールド画像とＮ枚の本露光画像に対して実施する第２のＮＲ処理の信号処理において、第３のキズ補正処理だけではなくダークシェーディング補正処理も行う。

以下、本発明の第４の実施形態について、図１、図５〜図８、図１０〜図１１を用いて説明する。

本実施形態の撮像装置の構成は第１の実施形態の図１と同様であるため、説明を省略する。本実施形態では、撮影シーケンスについては第２の実施形態の図１０で示した場合と同様であるため、説明を省略する。第１のＮＲ処理についても第２の実施形態で説明した図６と全く同様であるため、説明を省略する。Ｓ９０３で参照する図５に示す参照テーブル、Ｓ９１５で参照する図８に示す参照テーブルについても第２の実施形態で説明したものと全く同様であるため、ここでは説明を省略する。第２のキズ補正処理の実施方法についても第１の実施形態の図７で説明したものと同様であるため、ここでは説明を省略する。

以下、本発明の第４の実施形態における第２のＮＲ処理の信号処理の流れについて図１１を用いて説明する。

Ｓ１００１では、全体制御演算部１１１から指令を出し、第１のメモリ部１１０に黒画像２が保存されているか否か確認する。黒画像２が保存されていればＳ１００２に、黒画像２が保存されていなければ第２のＮＲ処理を終了する。

Ｓ１００２では、撮像信号処理回路１０８にて第１のメモリ部１１０に保存していた黒画像２を読出し、これを用いてＮ枚の本露光画像とピークホールド画像に対し第３のキズ補正処理を実施する。その後Ｓ１００３へ進む。

Ｓ１００３では、撮像信号処理回路１０８にて、第１のメモリ部１１０に保存していた黒画像１（Ｂ１）と黒画像２（Ｂ２）を読出し、黒画像１（Ｂ１）と黒画像２（Ｂ２）にローパスフィルタ処理を施す。さらに黒画像１（Ｂ１）と黒画像２（Ｂ２）から下記の式で示す処理を行い、ダークシェーディング補正用画像ＤｓｈｄＩとＤｓｈｄII（ｎ）を作成する。なお、１≦ｎ≦Ｎであり、ＤｓｈｄII（１）〜ＤｓｈｄII（Ｎ）はそれぞれ１枚目に撮影した本露光画像からＮ枚目に撮影した本露光画像のダークシェーディング補正用画像である。ＤｓｈｄＩは第３の実施形態の（式１２）と同様に算出する。ＤｓｈｄII（ｎ）は下記のように算出する。

黒画像１（Ｂ１）が無い場合は、Ｂ１にて、

としてＤｓｈｄII（ｎ）を算出する。

ＤｓｈｄII（ｎ）＝Ｂ１×（Ｎ−ｎ）／Ｎ＋Ｂ２×ｎ／Ｎ …(式１５)
ただし、１≦ｎ≦Ｎである。

そして、Ｓ１００２にてキズ補正処理を行ったＮ枚の本露光画像に対して、それぞれ対応するＤｓｈｄII（ｎ）（１≦ｎ≦Ｎ）を減算し、ピークホールド画像に対しては上記ＤｓｈｄＩを減算することでダークシェーディング成分を除去して第２のＮＲ処理を終了する。そして、第２のＮＲ処理終了の後、Ｓ９１９へ進む。

以上のように、本実施形態においては、長秒露光を長時間繰り返して撮影した複数の画像から星空軌跡画像を合成するようなモードにおいて、本露光画像を合成して作成する星空軌跡画像だけでなく星空軌跡画像を作成する過程で取得するＮ枚の途中星空画像についても、キズやダークシェーディングなどの固定パターンノイズの少ない高画質な画像として作成することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 複数の画素が２次元に配置された撮像素子と、
   前記撮像素子を遮光する遮光手段と、
   前記撮像素子により複数枚の露光画像の連続撮影を行い、該連続撮影で得られた複数枚の露光画像を合成するように制御するとともに、前記連続撮影の前に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第１の黒画像を取得し、前記連続撮影の後に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第２の黒画像を取得するように制御する制御手段と、
   前記連続撮影で得られた複数枚の露光画像の各々に対して前記第１の黒画像を用いた第１のノイズリダクション処理を行い、前記複数枚の露光画像を合成した露光画像に対して前記第２の黒画像を用いた第２のノイズリダクション処理を行う画像処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記画像処理手段は、前記第１のノイズリダクション処理として、画像から黒画像を差し引く黒引き処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、前記第２のノイズリダクション処理として、前記第２の黒画像からダークシェーディング量を算出し、算出したダークシェーディング量を前記複数枚の画像を合成した画像から減算するダークシェーディング補正を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記画像処理手段は、前記第１の黒画像と前記第２の黒画像からダークシェーディング量を算出することを特徴とする請求項３に記載の撮像装置。
5. 前記連続撮影の開始時の前記撮像素子の温度と、前記連続撮影の終了時の前記撮像素子の温度の差が所定値以下である場合には、前記第２の黒画像の撮像を行わず、かつ前記第２のノイズリダクション処理を行わないことを特徴とする請求項１に記載の撮像装置。
6. 前記連続撮影の終了時の前記撮像素子の温度が所定値以下である場合には、前記第２の黒画像の撮像を行わず、かつ前記第２のノイズリダクション処理を行わないことを特徴とする請求項１に記載の撮像装置。
7. 前記連続撮影の画像の枚数が所定値以下である場合には、前記第２の黒画像の撮像を行わず、かつ前記第２のノイズリダクション処理を行わないことを特徴とする請求項１に記載の撮像装置。
8. 前記連続撮影の開始時と、前記連続撮影の終了時の時間間隔が所定値以下である場合には、前記第２の黒画像の撮像を行わず、かつ前記第２のノイズリダクション処理を行わないことを特徴とする請求項１に記載の撮像装置。
9. 前記連続撮影の際の前記撮像素子の露光時間、感度、または前記連続撮影の開始時の撮像素子の温度に応じて、前記第２の黒画像の撮像と前記第２のノイズリダクション処理とを行うか否かを切り替えることを特徴とする請求項１に記載の撮像装置。
10. 前記連続撮影の際の前記撮像素子の露光時間、感度、前記連続撮影の開始時の撮像素子の温度に応じて、前記第１の黒画像と前記第２の黒画像の両方の撮像と、前記第１のノイズリダクション処理と前記第２のノイズリダクション処理の両方とを行うか否かを切り替えることを特徴とする請求項１に記載の撮像装置。
11. 前記画像処理手段は、前記第２のノイズリダクション処理として、前記第２の黒画像から所定の値以上のキズを検出し、該キズの検出データに基づいて前記複数枚の画像を合成した画像に対してキズ補正処理を行うことを特徴とする請求項１に記載の撮像装置。
12. 前記画像処理手段は、前記複数枚の画像の合成処理をピークホールド処理により行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 複数の画素が２次元に配置された撮像素子と、前記撮像素子を遮光する遮光手段とを備える撮像装置を制御する方法であって、
    前記撮像素子により複数枚の露光画像の連続撮影を行う工程と、
    該連続撮影で得られた複数枚の露光画像を合成する工程と、
    前記連続撮影の前に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第１の黒画像を取得する工程と、
    前記連続撮影の後に前記遮光手段により前記撮像素子を遮光した状態で前記撮像素子に電荷の蓄積を行わせることで第２の黒画像を取得する工程と、
    前記連続撮影で得られた複数枚の露光画像の各々に対して前記第１の黒画像を用いた第１のノイズリダクション処理を行う工程と、
    前記複数枚の露光画像を合成した露光画像に対して前記第２の黒画像を用いた第２のノイズリダクション処理を行う工程と、
    を有することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images