JP4924408B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置によって取得された画像の処理技術に関する。

近年、ＣＣＤ等の撮像素子を用いて被写体像に関する画像（撮影画像）を取得するデジタルカメラと称される撮像装置が広く普及している。デジタルカメラが備える撮像素子には、暗電流と呼ばれる電荷が発生するため、当該撮像素子によって取得される撮影画像には、暗電流によるノイズ（「暗電流ノイズ」とも称する）が含まれることになる。

撮影画像から暗電流ノイズを除去する手法として、例えば、撮像素子の露光（本露光）終了後に、撮像素子を遮光した状態で撮影（暗露光）を行い、本露光における撮像素子の出力から暗露光における撮像素子の出力を減算することで、撮影画像から暗電流ノイズを除去する技術が提案されている（特許文献１）。

特開２０００−２０９５０６号公報

しかしながら、撮像素子において発生する暗電流は、撮像素子の温度に応じて変化するため、撮像素子の駆動による発熱で、本露光において発生する暗電流ノイズのノイズ量と、暗露光において発生する暗電流ノイズのノイズ量とが変化すると、特許文献１に記載の技術では、本露光において取得された撮影画像から暗電流ノイズを精度良く除去できなくなる。

そこで、本発明は、本露光において取得された撮影画像からノイズ成分を精度良く除去することが可能な技術を提供することを目的とする。

本発明の第１の側面は、撮像装置であって、被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、前記第１の撮影動作によって前記第１画素から取得される第１画像データと、前記第２の撮影動作によって前記第１画素から取得される第２画像データとを記憶する記憶手段と、前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記第２の撮影動作によって前記第２画素で生成される画素信号に基づいて第２ノイズデータを取得するノイズデータ取得手段と、前記第１ノイズデータと前記第２ノイズデータとを用いて、前記露光期間において生じたノイズと前記非露光期間において生じたノイズとのノイズ比を算出し、当該ノイズ比を用いて前記第２画像データから、前記第１画像データに含まれるノイズ成分を推定するノイズ推定手段と、前記第１画像データから前記ノイズ成分を除去するノイズ補正手段とを備えることを特徴とする。

また、本発明の第２の側面は、撮像装置であって、被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、前記第１の撮影動作によって前記第１画素から取得される第１画像データと、前記第２の撮影動作によって前記第１画素から取得される第２画像データとを記憶する記憶手段と、前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記第２の撮影動作によって前記第２画素で生成される画素信号に基づいて第２ノイズデータを取得するノイズデータ取得手段と、前記第２ノイズデータのデータ量を監視する監視手段と、前記第１画像データからノイズ成分を除去するノイズ補正手段とを備え、前記撮影制御手段は、前記第１の撮影動作終了後に前記第２の撮影動作を開始させるとともに、前記第２ノイズデータのデータ量が前記第１ノイズデータのデータ量と略同一になったときに、前記第２の撮影動作を終了させ、前記ノイズ補正手段は、前記第１画像データから前記第２画像データを減算することによって、前記ノイズ成分を除去することを特徴とする。

また、本発明の第３の側面は、撮像装置であって、被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、前記第１の撮影動作によって前記第１画素から取得される第１画像データを記憶する第１記憶手段と、前記第２の撮影動作によって前記第１画素から取得される第２画像データと、前記第２の撮影動作によって前記第２画素から取得されるノイズ画像データとを記憶する第２記憶手段と、前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記ノイズ画像データに基づいて第２ノイズデータを取得するノイズデータ取得手段と、前記第１ノイズデータと前記第２ノイズデータとを用いて、前記露光期間において生じたノイズと前記非露光期間において生じたノイズとのノイズ比を算出し、当該ノイズ比を用いて前記第２画像データから、前記第１画像データに含まれるノイズ成分を推定するノイズ推定手段と、前記第１画像データから前記ノイズ成分を除去するノイズ補正手段とを備えることを特徴とする。

本発明によれば、露光期間において生じたノイズと非露光期間において生じたノイズとのノイズ比を算出し、当該ノイズ比を用いて非露光期間において取得された第２画像データから、露光期間において取得された第１画像データに含まれるノイズ成分を推定するので、本露光において取得された撮影画像からノイズ成分を精度良く除去することが可能となる。

＜１．第１実施形態＞
以下、本発明の第１実施形態について図面を参照して説明する。

＜１−１．構成＞
図１、図２および図３は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの上面外観図であり、図３は、撮像装置１Ａの背面外観図である。

撮像装置１Ａは、デジタルカメラとして構成されており、その前面（図１参照）において撮影レンズ３を有している。

撮影レンズ３は、主として、レンズ群及び絞り等によって構成される。レンズ群には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

また、撮像装置１Ａは、その上面（図２参照）において露光開始を指示するためのレリーズボタン（シャッターボタン）１１とフラッシュ４とモードダイアル５とを備えている。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）の２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされ半押し状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、位相差による自動合焦（ＡＦ）制御動作および自動露出（ＡＥ）制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれて全押し状態になると、本撮影画像の撮影動作（撮像素子（後述）を用いて被写体像に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

モードダイアル５は、回転可能な円盤状の部材によって構成され、ユーザは、モードダイアル５を回転させることによって、所望の撮影モードを選択して有効化することができる。

例えば、モードダイアル５を回転させてマニュアルモード（Ｍモード）を選択すると、ユーザはシャッタースピードおよび絞り値の双方を手動で決定することが可能になる。また、マニュアルモードにおいて方向選択キー１７（図３）等を操作することによって、バルブ（長時間露光）撮影を行う撮影モードを選択することができる。バルブ撮影では、レリーズボタン１１を押し続けている（全押し状態を継続している）間、シャッターが開いたままになり、所望の時間露光された画像（長時間露光画像）を取得することが可能になる。

また、撮像装置１Ａは、その背面（図３参照）において、モニタ１２とファインダ窓１０とメインスイッチ（電源スイッチ）１５とメニューボタン１６と方向選択キー１７とを備えている。

より詳細には、撮像装置１Ａの背面の略中央には、モニタ（「表示部」とも称する）１２が設けられている。モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。モニタ１２には、撮影条件等を設定するためのメニュー画面を表示したり、メモリカード等の記録デバイス１０５（図４参照）に記録された撮影画像を再生表示したりすることができる。

モニタ１２の上部には、ファインダ窓１０が設けられている。ファインダ窓１０には、被写体像が導かれ、撮影者は、ファインダ窓１０を覗くことによって、被写体像を視認し、構図決めを行うことが可能である。

モニタ１２の左上部にはメインスイッチ１５が設けられている。メインスイッチ１５は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、撮像装置１Ａの電源がオフになり、接点を右方の「ＯＮ」位置に設定すると、撮像装置１Ａの電源がオンになる。

モニタ１２の右側には、方向選択キー（カーソルキー）１７が設けられている。この方向選択キー１７は、上下左右の４方向の押圧操作が検出されるようになっている。なお、方向選択キー１７は、上記４方向の押圧操作とは別に、中央部のプッシュボタン（決定ボタン）１７ａの押圧操作も検出されるようになっている。

モニタ１２の左側には、メニューボタン１６が設けられている。メニューボタン１６が押下されるとモニタ１２には、メニュー画面（設定画面）が表示される。ユーザは、メニュー画面上において方向選択キー１７等を用いた選択操作または設定操作（単に「メニュー操作」とも称する）を行うことによって、撮像装置１Ａの詳細動作（例えば、ＡＦモード）の設定、および撮影条件の登録等を行うことができる。

＜１−２．機能＞
次に、撮像装置１Ａの機能の概要について説明する。図４は、撮像装置１Ａの機能構成を示すブロック図である。図５は、撮像素子Ｃ１０の受光面を示す図である。

図４に示すように、撮像装置１Ａは、撮像部１０１、ＡＦＥ（アナログフロントエンド）１０２、画像処理部１０３、画像メモリ１０４、着脱可能な記録デバイス１０５、操作部１０６、および全体制御部１１０等を備えている。

操作部１０５は、レリーズボタン１１、モードダイアル５（図１参照）およびメニューボタン１６（図３参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部１０５に対するユーザの入力操作に応答して、全体制御部１１０等が各種動作を実現する。例えば、レリーズボタン１１の全押し状態が検出されると、本撮影画像の撮影動作が実行される。

撮像部１０１は、撮像素子（ＣＣＤまたはＣＭＯＳ）Ｃ１０等の光学センサを備えて構成されている。撮像素子Ｃ１０では、フォトダイオードを有して構成される複数の画素が水平方向および垂直方向にマトリクス状に２次元配置されている。そして、当該複数の画素には、被写体像を形成する光（「被写体光」とも称する）を受光可能な有効画素領域ＮＲに含まれる画素（「有効画素」とも称する）ＵＧと、被写体光を受光不可能なオプティカルブラック（ＯＰＢ）領域ＢＲに含まれる画素（「ブラック画素」とも称する）ＢＧとがある。

例えば、図５に示される撮像素子Ｃ１０では、撮像素子Ｃ１０の中央部が有効画素領域ＮＲとして設定（規定）され、撮像素子Ｃ１０の周辺部のうち上部（上端部）がオプティカルブラック領域ＢＲとして設定されている。なお、ここでは撮像素子Ｃ１０の上端部をオプティカルブラック領域ＢＲとして設定したがこれに限定されず、撮像素子Ｃ１０の下端部、左端部または右端部をオプティカルブラック領域ＢＲとして設定してもよい。

有効画素ＵＧは、露光されて被写体光を受光し、被写体像に関する画像信号（画素信号）を生成する。具体的には、各有効画素ＵＧの受光面ＲＭには、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターが市松状にベイヤー配列され、各有効画素ＵＧは、結像された被写体の光像をＲ（赤）、Ｇ（緑）、Ｂ（青）各色成分のアナログの電気信号に変換し、画像信号を生成する。

一方、ブラック画素ＢＧは、画素表面に被写体光を遮光する遮光部材を有し、暗電流によるノイズ成分の信号（「ノイズ信号」とも称する）を画素信号の基準信号として生成する。当該ノイズ信号は、後述のノイズ除去部３１において、有効画素ＵＧによって取得された画像信号に含まれるノイズ成分を除去するために利用される。

ＡＦＥ１０２は、撮像素子Ｃ１０に対して所定の動作を行わせるタイミングパルスを与える。そして、撮像素子Ｃ１０を構成する各画素から出力される信号に所定の信号処理を施して、デジタル信号（「デジタル画素信号」とも称する）に変換し、画像処理部１０３に出力する機能を有している。

画像処理部１０３へ出力されたデジタル信号は、撮像素子Ｃ１０の読み出しに同期して画像メモリ１０４に一旦格納される。画像メモリ１０４への格納は、撮像素子Ｃ１０の読み出しが終了するまで（露光が終了するまで）行われ、露光終了後には、画像メモリ１０４内において撮像データが形成されている。

画像処理部１０３は、画像メモリ１０４に格納された撮像データにアクセスして所定の信号処理を行うもので、ノイズ除去部３１、ホワイトバランス（ＷＢ）制御部３２およびガンマ補正部３３等を備えて構成されている。

ノイズ除去部３１は、例えば、バルブ撮影における長時間露光時において、撮像素子Ｃ１０において発生するノイズを画像データから除去する。なお、ノイズ除去部３１では、画像データが有するノイズのうち、特に、暗電流によるノイズ（「暗電流ノイズ」とも称する）を精度良く除去することができる。詳細は、後述する。

ホワイトバランス制御部３２は、光源に応じた白の基準に基づいて、Ｒ(赤)、Ｇ(緑)、Ｂ(青)各色成分のデジタル信号のレベル変換（ホワイトバランス(ＷＢ)調整）を行う。具体的には、ホワイトバランス制御部３２は、全体制御部１１０から与えられるＷＢ調整データに基づき、輝度または彩度データ等から撮影被写体において本来白色であると推定される部分を特定し、その部分のＲ、Ｇ、Ｂそれぞれの色成分の平均と、Ｇ／Ｒ比およびＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。

ガンマ補正部３３は、ＷＢ調整された画像データの階調特性を補正するものである。具体的には、ガンマ補正部３３は、予め設定されたガンマ補正用テーブルを用いて、画像データのレベルを色成分毎に非線形変換するとともにオフセット調整を行う。

画像メモリ１０４は、不揮発性メモリによって構成され、撮影モード時には、画像処理部１０３から出力される画像データを一時的に記憶するとともに、この画像データに対し全体制御部１１０により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、記録デバイス１０５から読み出された画像データを一時的に記憶する。

全体制御部１１０は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭ１１０ＡおよびＲＯＭ１１０Ｂ等を備えている。全体制御部１１０は、ＲＯＭ１１０Ｂ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能を実現する。図４における、撮像データ形成部１１１および撮影制御部１１２は、全体制御部１１０においてプログラムを実行することによって実現される機能を機能ブロックとして表したものである。

撮像データ形成部１１１は、ＡＦＥ１０２から順次に出力されるデジタル信号を画像処理部１０３を介して画像メモリ１０４へと転送するとともに、画像メモリ１０４内において共通する画素ごとに順次積算して撮像データを形成する機能を有している。なお、画像メモリ１０４において形成される撮像データには、有効画素ＵＧから得られた画像信号に基づく画像データと、ブラック画素ＢＧから得られたノイズ信号に基づくノイズ画像データとが含まれている。

撮影制御部１１２は、選択された撮影モードにおける各種撮影動作を制御する機能を有している。

例えば、バルブ撮影では、レリーズボタン１１の全押し状態が検出されている間、撮像素子Ｃ１０の露光（「本露光」とも称する）が継続して行われるように制御される。具体的には、全押し状態が検出されている間、シャッターが開いたままになり、撮像素子Ｃ１０において長時間の電荷蓄積が行われ、本撮像データ（「本露光データ」とも称する）ＨＥが取得される。そして、全押し状態の解除が検出されると、シャッターを閉じた状態（「暗露光」または「非露光」とも称する）での撮影が行われ、撮像素子Ｃ１０において発生する暗電流または白キズ等のノイズ成分によって形成された撮像データ（「ダーク撮像データ」または「暗露光データ」とも称する）ＢＥが取得される。当該暗露光データＢＥは、本露光データＨＥに含まれる画像データ（「本画像データ」とも称する）のノイズを除去する際に用いられ、暗露光データＢＥには、有効画素ＵＧから得られる画像データ（「ダーク画像データ」とも称する）と、ブラック画素ＢＧから得られるノイズ画像データ（「ダークノイズ画像データ」とも称する）とが含まれている。なお、本実施形態における暗露光は、本露光期間（詳細には、本撮影における電荷蓄積時間）と同じ期間、行われるものとする。

＜１−３．ノイズ除去＞
次に、ノイズ除去部３１において実行されるノイズ除去処理について詳述する。図６は、ノイズ除去処理に関するブロック図である。

図６に示されるように、ノイズ除去部３１は、オプティカルブラック（ＯＰＢ）検波部（「ノイズデータ取得部」とも称する）３１０、ノイズ推定部３１１およびノイズ補正部（「ノイズ減算部」とも称する）３１２を有し、バルブ撮影時において取得された画像データからノイズを除去する機能を有し、特に暗電流ノイズを精度良く除去する機能を有している。

具体的には、ノイズデータ取得部３１０には、本露光時において撮像部１０１およびＡＦＥ１０２によって生成されたデジタル画素信号（「本露光画素信号」とも称する）ＨＳがＡＦＥ１０２のタイミングパルスに応じて順次に入力される。そして、ノイズデータ取得部３１０では、本露光画素信号ＨＳのうちブラック画素ＢＧにおいて取得されたデジタル信号（「本露光ノイズ信号」とも称する）ＢＮＳが順次に検出され、当該本露光ノイズ信号がノイズ積算値（「ノイズデータ」とも称する）ＨＩとして蓄積（取得）される。なお、ノイズ積算値ＨＩは、本露光において、各ブラック画素ＢＧで生成されるデジタル信号を全て積算することによって取得される。

また、暗露光時には、撮像部１０１およびＡＦＥ１０２によって生成されたデジタル画素信号（「暗露光画素信号」または「ダーク画素信号」とも称する）ＤＳがＡＦＥ１０２のタイミングパルスに応じて順次に入力され、ノイズデータ取得部３１０では、暗露光画素信号ＤＳのうちブラック画素ＢＧにおいて取得されたデジタル信号（「ダークノイズ信号」とも称する）ＤＮＳが順次に検出され、当該ダークノイズ信号がダークノイズ積算値（「ダークノイズデータ」とも称する）ＢＩとして蓄積される。なお、ダークノイズ積算値ＢＩは、暗露光において、各ブラック画素ＢＧで生成されるデジタル信号を順次積算して取得される。

そして、暗露光が終了すると、ノイズ積算値ＨＩとダークノイズ積算値ＢＩとがノイズ推定部３１１にそれぞれ出力される（図６参照）。

また、本露光画素信号ＨＳおよび暗露光画素信号ＤＳは、ノイズデータ取得部３１０から画像メモリ１０４に転送される。画像メモリ１０４では、撮像データ形成部１１１によって、本露光画素信号ＨＳに基づいて本露光データＨＥが形成され、暗露光画素信号ＤＳに基づいて暗露光データＢＥが形成される。

ノイズ推定部３１１では、画像メモリ１０４に格納されている暗露光データＢＥが読み出され、当該暗露光データＢＥとノイズ積算値ＨＩおよびダークノイズ積算値ＢＩとを用いて、本露光において取得された本画像データの各画素ＰＸの画素値に含まれる暗電流のノイズ成分ＣＮが推定される。具体的には、本画像データにおける各画素ＰＸの画素値に含まれる暗電流のノイズ成分ＣＮは、ノイズ積算値ＨＩとダークノイズ積算値ＢＩとのノイズ比に、暗露光データＢＥに含まれるダーク画像データの各画素の画素値がそれぞれ乗算されることによって算出される。

ノイズ補正部３１２では、画像メモリ１０４に格納されている本露光データＨＥが読み出され、当該本露光データＨＥに含まれる本画像データの各画素ＰＸの画素値から、暗電流のノイズ成分ＣＮを除去する本画像データの補正処理が行われる。

ここで、本露光において有効画素領域ＮＲ内の或る有効画素ＵＧｊ（ただし、ｊはｉ番目の画素を表している）によって取得された画素値から暗電流ノイズを除去する際のノイズ除去処理について図７を参照して説明する。図７は、ノイズ除去処理の概要図である。

図７では、本露光において有効画素ＵＧｊからノイズ成分ＣＮ（Ｑｊ）と画像成分（Ｐｊ）とを含む画素値（Ｕｊ）が取得されるとともに、ノイズデータ取得部３１０によってブラック画素ＢＧからノイズ積算値ＨＩ（Ｍ）が取得されている。また、暗露光において有効画素ＵＧｊからノイズ成分の画素値（Ｒｊ）が取得されるとともに、ノイズデータ取得部３１０によってブラック画素ＢＧからダークノイズ積算値ＢＩ（Ｎ）が取得されている。なお、本露光において有効画素ＵＧｊから取得された画素値（Ｕｊ）は、画像メモリ１０４に格納されている本画像データを構成する或る画素（詳細には、有効画素ＵＧｊに対応する対応画素ＰＸｊ）の画素値であり、暗露光において有効画素ＵＧｊから取得された画素値（Ｒｊ）は、画像メモリ１０４に格納されているダーク画像データを構成する或る画素（詳細には、有効画素ＵＧｊに対応する対応画素ＤＸｊ）の画素値である。

有効画素ＵＧｊによって取得された画素値（Ｕｊ）から暗電流ノイズを除去する場合、ノイズ推定部３１１によって、ノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とのノイズ比（Ｍ／Ｎ）が算出される。そして、当該ノイズ比（Ｍ／Ｎ）がダーク画像データの画素ＤＸｊの画素値（Ｒｊ）に乗算されて、本画像データの各画素ＰＸｊの画素値（Ｕｊ）に含まれるノイズ成分ＣＮ（Ｑｊ）の推定値（Ｒｊ・Ｍ／Ｎ）が取得される。

そして、ノイズ補正部３１２によって、本画像データの画素ＰＸｊの画素値（Ｕｊ）からノイズ成分の推定値（Ｒｊ・Ｍ／Ｎ）が減算され、ノイズ成分ＣＮ（Ｑｊ）が除去された画素値（Ｐｊ）が取得される。

このように、ノイズ除去部３１において実行されるノイズ除去処理では、ノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とダーク画像データの各画素ＤＸｊの画素値（Ｒｊ）とを用いて、式（１）に示される演算を本画像データを構成する画素ＰＸｊごとに実行することによって、本画像データの各画素ＰＸｊの画素値（Ｕｊ）から暗電流のノイズ成分ＣＮ（Ｑｊ）を除去した画素値（Ｐｊ）が取得される。

本実施形態では、上記ノイズ推定部３１１においてノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とのノイズ比（Ｍ／Ｎ）をダーク画像データの各画素値に乗じることによって本画像データのノイズ成分ＣＮが推定されているが、これには、撮像素子Ｃ１０の温度ＴＣに応じた暗電流ノイズの変化率（変化割合）が、撮像素子Ｃ１０内の各画素でほぼ等しいという関係が利用されている。以下では、本画像データのノイズ成分ＣＮが推定される原理について詳述する。

図８は、撮像素子Ｃ１０の温度ＴＣに応じた暗電流の変化を示す図である。なお、図８において、破線グラフＮＲ１は、有効画素領域ＮＲ内の或る有効画素ＵＧ１において生じる暗電流ＢＣ１の変化の様子を表し、実線グラフＢＲ２は、オプティカルブラック領域ＢＲ内の或るブラック画素ＢＧ２において生じる暗電流ＢＣ２の変化の様子を表している。

撮像素子Ｃ１０は、駆動されると発熱するため、撮影が長時間に及ぶと撮像素子Ｃ１０の温度ＴＣが上昇する。そして、図８に示されるように、撮像素子Ｃ１０の温度ＴＣが上昇すると、撮像素子Ｃ１０において生じる暗電流ＢＣが増加する。

撮像素子Ｃ１０の温度上昇による暗電流ＢＣの増加率は、撮像素子Ｃ１０内の各画素においてほぼ等しくなる。具体的には、撮像素子Ｃ１０の温度ＴＣに応じた、有効画素領域ＮＲ内の有効画素ＵＧ１において生じる暗電流ＢＣ１の変化率は、撮像素子Ｃ１０の温度ＴＣに応じた、オプティカルブラック領域ＢＲ内のブラック画素ＢＧ２において生じる暗電流ＢＣ２の変化率とほぼ等しくなる。

例えば、図８では、撮像素子Ｃ１０の温度ＴＣが約３５（℃）のときは、有効画素ＵＧ１の暗電流ＢＣ１（Ｃａ）は、約１．３（ｍＶ）であり、ブラック画素ＢＧ２の暗電流ＢＣ２（Ｃｍ）は、約１．４（ｍＶ）であるが、撮像素子Ｃ１０の温度ＴＣが約５０（℃）になると、有効画素ＵＧ１の暗電流ＢＣ１（Ｃｂ）は、約３．４（ｍＶ）となり、ブラック画素ＢＧ２の暗電流ＢＣ２（Ｃｎ）は、約４．０（ｍＶ）となっている。すなわち、有効画素ＵＧ１の暗電流ＢＣ１の変化率（Ｃｂ／Ｃａ）は、約２．６となり、ブラック画素ＢＧ２の暗電流ＢＣ２の変化率（Ｃｎ／Ｃｍ）は、約２．９となっていることから、有効画素ＵＧ１およびブラック画素ＢＧ２それぞれにおける暗電流の変化率は、ほぼ等しく、式（２）の関係式が成り立つと言える。

上式（２）を変形すると、式（３）となり、当該式（３）の右辺（Ｃｍ／Ｃｎ）は、本露光の際にブラック画素ＢＧ２で生じた暗電流と暗露光の際にブラック画素ＢＧ２で生じた暗電流との暗電流比（「ブラック暗電流比」とも称する）を表している。当該ブラック暗電流比（Ｃｍ／Ｃｎ）は、本露光と暗露光とにおいてブラック画素ＢＧ２で生じる暗電流ノイズの比と等価であり、式（１）に含まれるノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とのノイズ比（Ｍ／Ｎ）と等しくなる。

一方、式（３）の左辺（Ｃａ／Ｃｂ）は、本露光の際に有効画素ＵＧ１で生じた暗電流と暗露光の際に有効画素ＵＧ１で生じた暗電流との暗電流比を表し、当該暗電流比（Ｃａ／Ｃｂ）は、本露光と暗露光とにおいて有効画素ＵＧ１で生じる暗電流ノイズの比と等価になる。

ここで、式（３）は等式であることから、ブラック暗電流比（Ｃｍ／Ｃｎ）に暗露光の際に有効画素ＵＧ１で生じた暗電流ノイズを掛けると、本露光の際に有効画素ＵＧ１で生じた暗電流ノイズが算出されることになる。すなわち、ノイズ比（Ｍ／Ｎ）に暗露光において有効画素ＵＧｊから得られたダーク画像データの各画素の画素値（Ｒｊ）を掛けると、本画像データの画素ＰＸｊに含まれるノイズ成分ＣＮの推定値が算出されることになる。

＜１−４．動作＞
次に、撮像装置１Ａにおいて、バルブ撮影を行う撮影モードが選択されたときの撮像装置１Ａの動作について説明する。図９は、撮像装置１Ａのバルブ撮影における動作フローチャートである。

図９に示されるように、まず、ステップＳＰ１では、レリーズボタン１１が全押し状態であるか否かが検出される。全押し状態が検出されない場合は、全押し状態が検出されるまで待ち状態となり、全押し状態が検出されると、ステップＳＰ２に移行する。

ステップＳＰ２では、本露光が開始される。具体的には、被写体光が撮像素子Ｃ１０に照射され、撮像素子Ｃ１０を構成する各画素において画素信号が生成される。

ステップＳＰ３では、ノイズデータ取得部３１０によってノイズ積算値ＨＩが蓄積されるとともに、撮像データ形成部１１１によって画像メモリ１０４内に本露光データＨＥが形成される。

ステップＳＰ４では、レリーズボタン１１の全押し状態が解除されたか否かが検出される。全押し状態の解除が検出されない場合は、ステップＳＰ３へと戻り、本露光が継続して実行される。一方、全押し状態の解除が検出された場合は、ステップＳＰ５へと移行し、本露光を終了させる処理が行われる。

ステップＳＰ６では、暗露光が開始される。具体的には、シャッターを閉じた状態での撮影（暗露光）が開始され、撮像素子Ｃ１０の各画素では、暗電流ノイズによる画素信号が生成される。

ステップＳＰ７では、ノイズデータ取得部３１０によってダークノイズ積算値ＢＩが蓄積されるとともに、撮像データ形成部１１１によって画像メモリ１０４内に暗露光データＢＥが形成される。

ステップＳＰ８では、暗露光を終了させるか否かが判断される。撮像装置１Ａでは、本露光期間と同じ期間、暗露光が行われたか否かが判断される。暗露光を終了させない場合は、ステップＳＰ７へと戻り、暗露光が継続して実行される。一方、暗露光を終了させる場合は、ステップＳＰ９へと移行し、暗露光を終了させる処理が行われる。

ステップＳＰ１０では、ノイズ推定部３１１によって、本画像データの各画素ＰＸの画素値に含まれる暗電流のノイズ成分ＣＮが推定される。

ステップＳＰ１１では、ノイズ補正部３１２によって、本画像データの各画素ＰＸの画素値から、暗電流のノイズ成分ＣＮが減算され、ノイズ成分ＣＮが除去された本画像データが取得される。

以上のように、撮像装置１Ａでは、本露光において生じた暗電流ノイズと暗露光において生じた暗電流ノイズとのノイズ比を算出し、当該ノイズ比を用いて暗露光において各有効画素ＵＧで発生していた暗電流ノイズから、本露光において各有効画素ＵＧで発生していたと推定される暗電流ノイズを取得する。

これによれば、長時間露光が行われ、撮像素子Ｃ１０の発熱による温度上昇によって暗電流ノイズが増加し、本露光において取得された本画像データに含まれる暗電流ノイズと、暗露光において取得された画像データに含まれる暗電流ノイズとのノイズ量が変化した場合にも、本画像データに含まれる暗電流ノイズを精度の良く推定することができるので、本画像データに含まれる暗電流ノイズを精度良く取り除くことが可能になる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る撮像装置１Ｂでは、長時間露光において、暗露光される期間（暗露光期間）が本露光期間よりも短く（短期間に）設定される。図１０は、撮像装置１Ｂにおいて実行されるノイズ除去処理の概要図である。

なお、第２実施形態に係る撮像装置１Ｂは、長時間露光撮影における暗露光期間が本露光期間よりも短期間である点以外は、第１実施形態に係る撮像装置１Ａと同様の構成および機能（図１〜図６参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

図１０に示されるように、暗露光期間が短く設定されたことにより、暗露光においてノイズデータ取得部３１０で取得されるダークノイズ積算値ＢＩ（Ｎ）、および画像メモリ１０４で形成されるダーク画像データの各画素ＤＸｊの画素値（Ｒｊ）は、ともに小さくなる。

しかし、撮像素子Ｃ１０の温度に応じた、有効画素ＵＧ１において生じる暗電流ＢＣ１の変化率は、撮像素子Ｃ１０の温度に応じた、ブラック画素ＢＧ２において生じる暗電流ＢＣ２の変化率とほぼ等しく、撮像装置１Ａのノイズ推定部３１１では、ノイズ成分ＣＮの推定が本露光と暗露光とにおいてブラック画素ＢＧ２で生じる暗電流ノイズの比に基づいて行われるので、撮像装置１Ｂでも、撮像装置１Ａのノイズ除去部３１において実行される処理をそのまま実行することによって本画像データに含まれる暗電流ノイズを精度良く取り除くことができる。

すなわち、撮像装置１Ｂでは、ノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とダーク画像データの各画素ＤＸｊの画素値（Ｒｊ）とを用いて、式（１）に示される演算を本画像データを構成する画素ＰＸｊごとに実行することによって、本画像データの各画素ＰＸｊの画素値（Ｕｊ）に含まれるノイズ成分ＣＮ（Ｑｊ）の除去が行われる。

このように、本露光において生じた暗電流ノイズと暗露光において生じた暗電流ノイズとのノイズ比を算出し、当該ノイズ比を用いてダーク画像データから本画像データに含まれるノイズ成分を推定することによれば、暗露光を本露光と同じ時間実行しない場合にも、本画像データに含まれるノイズ成分を精度良く除去することができる。すなわち、撮像装置１Ｂでは、暗露光期間を本露光期間よりも短縮することができるので、長時間露光撮影に要する時間（総撮影時間）を短縮することが可能となる。

＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。第３実施形態に係る撮像装置１Ｃは、ノイズデータ取得部３１０において、暗露光において取得されるダークノイズ積算値ＢＩを監視し、当該ダークノイズ積算値ＢＩとノイズ積算値ＨＩとのデータ量が略同一となったときに、暗露光を終了する。図１１は、撮像装置１Ｃの機能構成を示すブロック図である。図１２は、撮像装置１Ｃにおいて実行されるノイズ除去処理の概要図である。

なお、第３実施形態に係る撮像装置１Ｃは、ダークノイズ積算値ＢＩを監視し、当該ダークノイズ積算値ＢＩがノイズ積算値ＨＩと略同一となったときに、暗露光を終了する点以外は、第１実施形態に係る撮像装置１Ａと同様の構成および機能（図１〜図３、図５および図６参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

図１１に示されるように、撮像装置１Ｃは、全体制御部１１０において実行される機能部として、ノイズ積算値監視部１１３をさらに備えている。

ノイズ積算値監視部１１３は、ノイズデータ取得部３１０において順次に蓄積されるダークノイズ積算値ＢＩを監視し、ダークノイズ積算値ＢＩがノイズ積算値ＨＩと略同一となったときに、撮影制御部１１２に暗露光を終了させる制御を実行させる機能を有している。

具体的には、図１２に示されるように、ノイズデータ取得部３１０において本露光時にノイズ積算値ＨＩ（Ｍ）が取得された後、暗露光時にダークノイズ積算値ＢＩ（Ｎ）がノイズ積算値監視部１１３によって監視（モニタ）されながら順次に取得される。そして、ダークノイズ信号ＤＮＳが順次に蓄積されて、ダークノイズ積算値ＢＩ（Ｎ）がノイズ積算値ＨＩ（Ｍ）と略同一となったときに撮影制御部１１２によって暗露光が終了される。

なお、略同一であるか否かは、例えば、ノイズ積算値ＨＩ（Ｍ）がダークノイズ積算値ＢＩ（Ｎ）以上であることが検出されると、ダークノイズ積算値ＢＩ（Ｎ）がノイズ積算値ＨＩ（Ｍ）と略同一になったと判断するようにすればよい。

そして、暗露光が終了すると、ノイズ推定部３１１およびノイズ補正部３１２において、ノイズ除去処理が行われる。ここで、ノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とのノイズ比（Ｍ／Ｎ）は「１」となり、上記式（１）は式（４）となるので、ノイズ推定部３１１およびノイズ補正部３１２によって、実質的には、式（４）に示される演算が実行されることになる。より詳細には、本画像データを構成する各画素ＰＸｊの画素値（Ｕｊ）からダーク画像データにおいて対応する各画素ＤＸｊの画素値（Ｒｊ）が減算されることによって、本画像データの各画素ＰＸｊの画素値（Ｕｊ）から暗電流のノイズ成分ＣＮ（Ｑｊ）が除去される。

このように、撮像装置１Ｃでは、順次に蓄積されるダークノイズ積算値ＢＩを監視し、ダークノイズ積算値ＢＩがノイズ積算値ＨＩと略同一となったときに、暗露光を終了するので、暗露光期間を短縮することが可能になる。具体的には、撮像素子Ｃ１０の駆動が長時間になると撮像素子Ｃ１０の温度が上昇し、暗電流ノイズが増加することから、本露光時よりも撮像素子Ｃ１０の温度が高くなると予想される暗露光時には、本露光において生じる暗電流ノイズよりも多くの暗電流ノイズが発生すると予想される。このため、暗露光において取得されるダークノイズ積算値ＢＩは、比較的短時間に本露光において取得されるノイズ積算値ＨＩに等しくなると考えられる。すなわち、撮像装置１Ｃでは、本露光期間に比べて暗露光期間を短くすることができる。

また、撮像装置１Ｃでは、ノイズ除去を実行する際の演算を、本画像データとダーク画像データとの画素間の減算処理に単純化できるので、ノイズ除去に要する演算時間を短縮できる。

＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。第４実施形態に係る撮像装置１Ｄでは、暗露光によって取得される暗露光データＢＥが長時間露光前に予め取得されている。図１３は、ノイズ除去処理に関するブロック図である。図１４は、撮像装置１Ｄにおいて実行されるノイズ除去処理の概要図である。

なお、第４実施形態に係る撮像装置１Ｄは、暗露光データＢＥが長時間露光前に予め取得されている点以外は、第１実施形態に係る撮像装置１Ａと同様の構成および機能（図１〜図６参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

上述のように、撮像装置１Ｄでは、長時間露光前に暗露光が行われ、暗露光データＢＥ（詳細には、ダーク画像データおよびダークノイズ画像データ）が予め取得され、当該暗露光データＢＥが全体制御部１１０のＲＯＭ１１０Ｂに格納されている。

そして、図１３に示されるように、長時間露光撮影の際、ノイズデータ取得部３１０では、本露光においてノイズ積算値ＨＩが取得されるとともに、ＲＯＭ１１０Ｂから読み出された暗露光データＢＥからダークノイズ積算値ＢＩが取得される。なお、撮像装置１Ｄでは、本露光後の暗露光は実行されない。

ノイズ推定部３１１では、ＲＯＭ１１０Ｂに格納されている暗露光データＢＥが読み出され、当該暗露光データＢＥとノイズ積算値ＨＩとを用いて、本露光において取得された本画像データの各画素ＰＸに含まれる暗電流のノイズ成分ＣＮが推定される。具体的には、図１４に示されるように、ノイズ積算値ＨＩ（Ｍ）とダークノイズ積算値ＢＩ（Ｎ）とのノイズ比（Ｍ／Ｎ）が算出され、当該ノイズ比（Ｍ／Ｎ）がダーク画像データの画素ＤＸｊの画素値（Ｒｊ）に乗算されて、本画像データの画素ＰＸｊに含まれるノイズ成分ＣＮの推定値（Ｒｊ・Ｍ／Ｎ）が取得される。

ノイズ補正部３１２では、画像メモリ１０４に格納されている本露光データＨＥが読み出され、当該本露光データＨＥに含まれる本画像データの画素ＰＸｊの画素値（Ｕｊ）からノイズ成分の推定値（Ｒｊ・Ｍ／Ｎ）が減算され、ノイズ成分ＣＮ（Ｑｊ）が除去された画素値（Ｐｊ）が取得される（図１３、１４参照）。

このように、撮像装置１Ｄでは、暗露光データＢＥが予め取得されているので、長時間露光撮影の際の暗露光を省略することが可能になり、総撮影時間を短縮することができる。

なお、暗露光データＢＥは、撮像装置１Ｄの出荷段階で取得してもよく、また長時間露光前にユーザの指示に基づいて暗露光を行い、当該暗露光において取得してもよい。

＜５．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

例えば、上記第１実施形態では、撮像部１０１およびＡＦＥ１０２によって生成されたデジタル画素信号（詳細には、本露光画素信号ＨＳおよび暗露光画素信号ＤＳ）がＡＦＥ１０２のタイミングパルスに応じてノイズデータ取得部３１０に入力され、その後、画像メモリ１０４に転送されていたが、これに限定されない。図１５は、変形例に係る撮像装置１Ｅのノイズ除去処理に関するブロック図である。

具体的には、図１５に示されるように、デジタル画素信号を画像メモリ１０４に直接転送してもよい。これにより、画像メモリ１０４では、本露光画素信号ＨＳに基づいて本露光データＨＥが形成され、暗露光画素信号ＤＳに基づいて暗露光データＢＥが形成される。

そして、ノイズデータ取得部３１０では、本露光データＨＥが読み出され、ノイズ積算値ＨＩが取得されるとともに、暗露光データＢＥが読み出され、ダークノイズ積算値ＢＩが取得される。

撮像装置の外観構成を示す図である。 撮像装置の外観構成を示す図である。 撮像装置の外観構成を示す図である。 撮像装置の機能構成を示すブロック図である。 撮像素子の受光面を示す図である。 ノイズ除去処理に関するブロック図である。 第１実施形態におけるノイズ除去処理の概要図である。 撮像素子の温度に応じた暗電流の変化を示す図である。 バルブ撮影における動作フローチャートである。 第２実施形態におけるノイズ除去処理の概要図である。 第３実施形態に係る撮像装置の機能構成を示すブロック図である。 第３実施形態におけるノイズ除去処理の概要図である。 ノイズ除去処理に関するブロック図である。 第４実施形態におけるノイズ除去処理の概要図である。 変形例に係る撮像装置のノイズ除去処理に関するブロック図である。

符号の説明

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ 撮像装置
１０１ 撮像部
Ｃ１０ 撮像素子
１０３ 画像処理部
１０４ 画像メモリ
１１０ 全体制御部
１１１ 撮像データ形成部
１１２ 撮影制御部
１１３ ノイズ積算値監視部
３１ ノイズ除去部
３１０ オプティカルブラック（ＯＰＢ）検波部
３１１ ノイズ推定部
３１２ ノイズ補正部
ＮＲ 有効画素領域
ＢＲ オプティカルブラック領域
ＵＧ，ＵＧ１，ＵＧｊ 有効画素
ＢＧ，ＢＧ２ ブラック画素
ＨＥ 本露光データ
ＢＥ 暗露光データ
ＨＩ ノイズ積算値
ＢＩ ダークノイズ積算値

Claims (6)

1. 撮像装置であって、
   被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、
   前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、
   前記第１の撮影動作によって前記第１画素から取得される第１画像データと、前記第２の撮影動作によって前記第１画素から取得される第２画像データとを記憶する記憶手段と、
   前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記第２の撮影動作によって前記第２画素で生成される画素信号に基づいて第２ノイズデータを取得するノイズデータ取得手段と、
   前記第１ノイズデータと前記第２ノイズデータとを用いて、前記露光期間において生じたノイズと前記非露光期間において生じたノイズとのノイズ比を算出し、当該ノイズ比を用いて前記第２画像データから、前記第１画像データに含まれるノイズ成分を推定するノイズ推定手段と、
   前記第１画像データから前記ノイズ成分を除去するノイズ補正手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮影制御手段は、前記第１の撮影動作終了後に、前記露光期間よりも短い前記非露光期間で前記第２の撮影動作を実行させることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記第２ノイズデータのデータ量を監視する監視手段、
   をさらに備え、
   前記撮影制御手段は、前記第１の撮影動作終了後に前記第２の撮影動作を開始させるとともに、前記第２ノイズデータのデータ量が前記第１ノイズデータのデータ量と略同一になったときに、前記第２の撮影動作を終了させることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記第２画素は、前記被写体光を遮光するオプティカルブラック領域内の画素であることを特徴とする撮像装置。
5. 撮像装置であって、
   被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、
   前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、
   前記第１の撮影動作によって前記第１画素から取得される第１画像データと、前記第２の撮影動作によって前記第１画素から取得される第２画像データとを記憶する記憶手段と、
   前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記第２の撮影動作によって前記第２画素で生成される画素信号に基づいて第２ノイズデータを取得するノイズデータ取得手段と、
   前記第２ノイズデータのデータ量を監視する監視手段と、
   前記第１画像データからノイズ成分を除去するノイズ補正手段と、
   を備え、
   前記撮影制御手段は、前記第１の撮影動作終了後に前記第２の撮影動作を開始させるとともに、前記第２ノイズデータのデータ量が前記第１ノイズデータのデータ量と略同一になったときに、前記第２の撮影動作を終了させ、
   前記ノイズ補正手段は、前記第１画像データから前記第２画像データを減算することによって、前記ノイズ成分を除去することを特徴とする撮像装置。
6. 撮像装置であって、
   被写体光を受光可能な第１画素および前記被写体光を受光不可能な第２画素を有する撮像素子と、
   前記撮像素子を露光した露光期間に第１の撮影動作を実行させ、前記撮像素子を露光しない非露光期間に第２の撮影動作を実行させる撮影制御手段と、
   前記第１の撮影動作によって前記第１画素から取得される第１画像データを記憶する第１記憶手段と、
   前記第２の撮影動作によって前記第１画素から取得される第２画像データと、前記第２の撮影動作によって前記第２画素から取得されるノイズ画像データとを記憶する第２記憶手段と、
   前記第１の撮影動作によって前記第２画素で生成される画素信号に基づいて第１ノイズデータを取得するとともに、前記ノイズ画像データに基づいて第２ノイズデータを取得するノイズデータ取得手段と、
   前記第１ノイズデータと前記第２ノイズデータとを用いて、前記露光期間において生じたノイズと前記非露光期間において生じたノイズとのノイズ比を算出し、当該ノイズ比を用いて前記第２画像データから、前記第１画像データに含まれるノイズ成分を推定するノイズ推定手段と、
   前記第１画像データから前記ノイズ成分を除去するノイズ補正手段と、
   を備えることを特徴とする撮像装置。

Images