JP4027632B2

JP4027632B2 - 撮像装置

Info

Publication number: JP4027632B2
Application number: JP2001307693A
Authority: JP
Inventors: 順三桜井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-10-03
Filing date: 2001-10-03
Publication date: 2007-12-26
Anticipated expiration: 2021-10-03
Also published as: JP2003116064A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラ（デジタルカメラ）やビデオカメラ等の撮像装置に係わり、特にノイズ低減機構の改良をはかった撮像装置に関する。
【０００２】
【従来の技術】
近年、主として静止画を撮像記録するために、電子スチルカメラが開発されている。この種のカメラに用いられる撮像素子には、暗時信号のような固定パターンノイズ（以下、ＦＰＮと称する）が存在するため、撮像素子の出力信号をそのまま用いたのでは、有効な信号成分にこのＦＰＮが重畳され画質劣化の原因となる。このため、予め撮像素子の各画素のＦＰＮを検出してメモリに記憶しておき、撮像素子の出力信号からこのＦＰＮを差し引くことによってＦＰＮを除去した画像信号を得ている。
【０００３】
固体撮像装置におけるノイズには、ＦＰＮ以外にアンプ雑音等のランダムノイズがあり、このランダムノイズは画面に固定して現れるものではなく、画像とは無関係にザラザラと動くものである。固定パターンノイズは上記したように、非遮光状態で撮像素子により撮像して得られる明時信号から遮光状態で撮像素子により得られる暗時信号を減算することにより除去することが可能である。しかしながら、ランダムノイズはこのような方法では除去することはできない。
【０００４】
特開昭６２−２８５５８３号公報に記載のデジタル画像処理装置は、非遮光状態でＮ（Ｎは整数）回の積分を行って加算したフレーム信号を得、遮光状態で得た暗時信号を読み出して上記フレーム信号からこの暗時信号を減算する演算をＮ回行うと共にゲインを調整して、ノイズレベルに応じた画像の改善を行うものである。しかしながらこの装置においては、非遮光状態においても複数回の積分を行うためにレリーズタイムラグが長くなり、迅速な撮影に支障をきたすという問題があった。
【０００５】
特開平６−２５３２０６号公報に記載の撮像装置は、ＡＥ条件，温度などの環境条件に拘わらずランダムノイズの画質への影響を抑え、常に良好な画質を得ることを目的とし、映像信号中のノイズ量を測定し、このノイズ量と基準ノイズデータとの比較結果に基づいて撮像部の露出制御や、デジタル信号処理手段の動作を制御するものである。同公報には、暗電流ノイズが温度やゲインに左右されること、ノイズを含むデータを加算平均することでノイズを減らすことが可能なこと等が記載されている。しかしながらこの装置においても、電子スチルカメラに必須の要件である速写性の要求を満たすために、レリーズタイムラグを短縮させながら撮像信号中のノイズの軽減をはかる点については何ら示唆されていない。
【０００６】
【発明が解決しようとする課題】
このように従来、明時信号から暗時信号を差し引くことによりＦＰＮは簡易に除去することができるが、ランダムノイズを除去することは困難であった。ランダムノイズを除去するために明時信号及び暗時信号共に複数回の積分を行うことは、レリーズタイムラグが長くなり、電子スチルカメラ等に望まれる迅速な撮影に支障をきたすことになる。
【０００７】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、レリーズタイムラグを短縮させながら、撮像信号中のノイズの軽減が可能な撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【０００９】
即ち本発明は、撮像装置において、被写体を撮像するための撮像素子と、
非遮光状態で前記撮像素子により露光して得られる撮像信号を読み出す撮像信号読み出し手段と、前記撮像素子から撮像信号を読み出すときのゲインを制御するゲイン制御手段と、遮光状態で前記撮像素子の暗時信号を複数回読み出す暗時信号読み出し手段と、前記ゲイン制御手段により制御されたゲインの値に基づいて、前記暗時信号読み出し手段により読み出す回数を制御する（ゲインが大きいほど回数を増やすように制御する）暗時信号読み出し回数制御手段と、前記暗時信号読み出し手段により回数制御されて読み出された暗時信号を加算する暗時信号加算手段と、前記非遮光状態で露光して読み出された撮像信号から前記暗時信号加算手段により得られた暗時信号を減算して、暗時信号を抑圧する暗時信号抑圧手段と、を備えたことを特徴とする。
【００１２】
（作用）
本発明によれば、撮像素子から明時信号を読み出す際のゲインや撮像素子の温度等の条件に応じて暗時信号を読み出す回数、或いは暗時信号の蓄積時間を制御（具体的には、ゲインの増大，温度上昇に伴って読み出し回数を増やす、蓄積時間を長くする）することにより、暗時信号におけるランダムノイズを低減することができる。
【００１３】
従って、明時信号から暗時信号を減算して得られる信号（画像信号）におけるランダムノイズを抑制することが可能となる。そしてこの場合、明時信号に関しては１回の読み出しであるため、明時信号，暗時信号共に複数回の読み出し及び積分を行う従来例に比して、レリーズタイムラグを短縮することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１５】
（実施形態）図１は、本発明の一実施形態に係わるデジタルカメラの基本構成を示すブロック図である。
【００１６】
図中１１は被写体からの光を選択的に遮光するための遮光フィルタ、１２は各種レンズからなるレンズ系、１３はＣＣＤカラー撮像素子であり、被写体の像は遮光フィルタ１１及びレンズ１２を介して撮像素子１３の受光面に結像される。
【００１７】
１４は撮像素子１３の温度を検出するための温度センサ、１５は撮像素子１３の撮像信号を増幅するためのゲイン可変のアナログアンプ、１６は撮像信号をＡ／Ｄ変換するＡ／Ｄ変換器である。なお、図には示さないが、Ａ／Ｄ変換された信号を選択的に階調圧縮するための階調圧縮回路が設けられている。
【００１８】
１７は明示信号（非遮光状態で撮像素子により通常の撮像を行って得られる信号）を記憶するための第１のメモリ、１８は暗時信号（遮光状態で撮像素子により得られる信号）を記憶するための第２のメモリ、１９は加算回路、２１はオフセット量を入力するためのオフセット回路である。加算回路１９では、第１のメモリ１７に記憶された明示信号に対し、第２のメモリ１８に記憶された暗時信号が減算されると共に、オフセットが加えられる。
【００１９】
２２は切り替えスイッチ、２３はゲイン可変のデジタルアンプであり、第１のメモリ１７に記憶された明示信号か加算回路１９により加算された信号の何れかが、切り替えスイッチ２２により選択されてデジタルアンプ２３に入力され、所定のゲインで増幅される。
【００２０】
２４は画素欠陥検出回路、２５は欠陥メモリ、２６は画素欠陥補償回路である。第２のメモリ１８に記憶された暗時信号を基に画素欠陥検出回路２４により欠陥が検出され、欠陥のアドレスが欠陥メモリ２５に記録される。そして、この欠陥メモリ２５の記憶情報を基に、画素欠陥補償回路２６により隣接補完等の方法により欠陥画素が補償される。この補償されたデータは、コンパクトフラッシュ(登録商標)等のメモリカード２７に記録される。ここで、前記のＡ／Ｄ変換出力を階調圧縮した場合、欠陥補償された画像データは図示しない階調伸張回路により伸張される。
【００２１】
また、図中の３０は各部を制御するためのＣＰＵ、３１はＣＣＤ撮像素子１３の駆動タイミングを制御するタイミングジェネレータ（ＴＧ）、３２はＴＧ３１を駆動するためのシグナルジェネレータ（ＳＧ）を示している。
【００２２】
図２は、本実施形態における基本的な動作を説明するためのフローチャートである。
【００２３】
まず、撮像信号に対するゲイン値，撮像時のシャッタ速度及び温度を演算する（ステップＳ１）。次いで、ノイズキャンセルモードにするか否かを判定する（Ｓ２）。ノイズキャンセルモードにしない場合は、通常の撮影を行い（Ｓ３）、さらに欠陥補償演算を行う（Ｓ４）。そして、メモリカード２７に画像信号を記録することになる（Ｓ１２）。ここで、ノイズキャンセルモードにしない場合、通常の画像処理システムと同様に、階調圧縮を行ってもよい。しかし、後述するように、ノイズキャンセルモードにする場合は階調圧縮は行わないようにする。
【００２４】
一方、Ｓ２の判定においてノイズキャンセルモードにする場合は、所定のゲイン値及びシャッタ速度で本露光撮影を行ったのち（Ｓ５）、遮光フィルタ１１により遮光した状態で（Ｓ６）、撮像素子１３から明時信号を読み出して第１のメモリ１７に一時記憶する（Ｓ７）。
【００２５】
次いで、遮光状態で撮影を行い（Ｓ８）、撮像素子１３から暗時信号を読み出して第２のメモリ１８に一時記憶する（Ｓ９）。そして、暗時信号の多数回取り込みを判定し（Ｓ１０）、十分な取り込み回数であれば、ノイズキャンセル演算を行う（Ｓ１１）。ここで、暗時信号の取り込み回数は、撮像素子１３から明時信号を読み出すときのゲイン値に応じて設定する。具体的には、ゲイン値が大きくなるに伴い取り込み回数を増やす。
【００２６】
ノイズキャンセル演算は、まず第２のメモリ１８から暗時信号を読み出し、画素欠陥検出回路２４により欠陥検出の演算を行い、欠陥データを欠陥メモリ２５に格納する。続いて、第１のメモリ１７から明時信号を読み出し、明時信号から暗時信号を減算し、さらにオフセットを加える演算を行う。そして、画素欠陥補償回路２６により欠陥データに基づく欠陥補償演算を行って画像データを得る。
【００２７】
Ｓ１１におけるノイズキャンセル演算又はＳ４における欠陥補償演算が終了したら、画像データをメモリカード２７に記録する。但し、Ｓ１１の場合はそのまま記録するが、Ｓ４の場合は予め階調圧縮処理を行っているので、伸張処理した後に記録する。
【００２８】
図３は、本実施形態におけるシースケンスを説明するためのタイミングチャートである。
【００２９】
メカシャッタ（図１では遮光フィルタ１１）を開いた状態で撮像を行い、所定の時間だけ明時信号を蓄積する。そして、メカシャッタを閉じた後、明時信号を読み出し、第１のメモリ１７に記憶する。さらに、メカシャッタを閉じた状態で再度の撮像を行って暗時信号を読み出し、第２のメモリ１８に記憶する。このとき、暗時信号の蓄積及び読み出しを複数回行い、暗時信号を巡回加算する。これにより、暗時信号におけるランダムノイズ成分は平均化されて減少することになる。なお、暗時信号の加算回数は明時信号を得る際のゲインに応じて設定する。
【００３０】
次いで、第１のメモリ１７に記憶された明時信号から第２のメモリ１８に記憶された暗時信号を減算することにより画像信号が得られる。この画像信号は、暗時信号のランダムノイズ成分が極めて小さいことから、ランダムノイズ成分が抑制されたものとなる。つまり、ＦＰＮは勿論のこと、ランダムノイズが抑制された良質の画像信号が得られることになる。
【００３１】
次に、本実施形態においてランダムノイズを抑制できる原理について、図４〜図６を参照して説明する。
【００３２】
図４（ａ）に示すように、明時信号には、暗時信号と共にランダムノイズが含まれている。同様に図４（ｂ）に示すように、暗時信号にもランダムノイズが含まれている。そして、図４（ａ）に示す明時信号から図４（ｂ）に示す暗時信号を減算することにより、図４（ｃ）に示すような信号（画像信号）が得られる。この画像信号においては、暗時信号は確かに除去されているが、ランダムノイズは残っている。
【００３３】
ランダムノイズが比較的小さい場合は図４の方法でも問題ないが、図５（ａ）（ｂ）に示すようにランダムノイズが大きい場合、図５（ｃ）に示すように、明時信号から暗時信号を減算して得られる画像信号におけるランダムノイズが大きくなる。明時信号に含まれるランダムノイズが大きい場合とは一般に、撮像素子出力に対するゲインを大きくした場合や撮像素子の温度が上昇した場合に相当する。
【００３４】
これに対し本実施形態では、暗時信号に対して複数回の蓄積及び読み出しを行うことにより、図６（ｂ）に示すように、暗時信号におけるランダムノイズは平均化されて抑制されることになる。従って、図６（ａ）に示す明時信号から図６（ｂ）に示す暗時信号を減算した場合、図６（ｃ）に示すように、明時信号中のランダムノイズは残るものの暗時信号におけるランダムノイズが除去されていることから、ランダムノイズが抑制された良質の画像信号が得られる。この画像信号は、図５（ｃ）に比してランダムノイズが約半分に抑制されたものとなる。
【００３５】
このように本実施形態によれば、撮像素子から明時信号を読み出す際のゲインに応じて暗時信号を読み出す回数を制御、具体的にはゲインの増大に伴って読み出し回数を増やすことにより、暗時信号におけるランダムノイズを低減することができる。従って、ゲインが大きい場合であっても、明時信号から暗時信号を減算して得られる信号（画像信号）におけるランダムノイズを抑制することが可能となる。また、明時信号，暗時信号共に複数回の読み出し及び積分を行う例に比して、レリーズタイムラグを短縮することができる。
【００３６】
（第１の参照例）
図７は、本発明の撮像装置に関連する第１の参照例におけるシースケンスを説明するためのタイミングチャートである。撮像装置の構成は及び基本的な動作は前記図１及び図２と同様であるので省略する。
【００３７】
メカシャッタ（図１では遮光フィルタ１１）を開いた状態で撮像を行い、所定の時間だけ明時信号を蓄積する。そして、メカシャッタを閉じた後、明時信号を読み出し、第１のメモリ１７に記憶する。さらに、メカシャッタを閉じた状態で再度の撮像を行って暗時信号を読み出し、第２のメモリ１８に記憶する。このとき、暗時信号の蓄積時間を長くすると共に暗時信号に対するゲインを小さくしている。これにより、暗時信号におけるランダムノイズ成分は平均化されて減少することになる。なお、暗時信号の蓄積時間は明時信号を得る際のゲインに応じて設定する。
【００３８】
次いで、第１のメモリ１７に記憶された明時信号から第２のメモリ１８に記憶された暗時信号を減算することにより画像信号が得られる。この画像信号は、暗時信号のランダムノイズ成分が極めて小さいことから、ランダムノイズ成分が抑制されたものとなる。つまり、ＦＰＮは勿論のこと、ランダムノイズが抑制された良質の画像信号が得られることになる。
【００３９】
このように本参照例では、暗時信号の読み出し回数を増やす代わりに、暗時信号の蓄積時間を長くすることにより、暗時信号におけるランダムノイズを低減することができる。従って、前記図６に示したように画像信号におけるランダムノイズを抑制することができ、先に説明した実施形態と同様の効果が得られる。特に本参照例では、シャッタースピード優先などの撮影者の撮影意図を反映した撮影を行うことにより、撮影時のゲインが大きくなって撮像信号のＳ／Ｎが悪くなる場合に有効である。
【００４０】
（第２の参照例）
図８は、本発明の撮像装置に関連する第２の参照例におけるシースケンスを説明するためのタイミングチャートである。撮像装置の構成は及び基本的な動作は前記図１及び図２と同様であるので省略する。
【００４１】
メカシャッタ（図１では遮光フィルタ１１）を開いた状態で撮像を行い、所定の時間だけ明時信号を蓄積する。そして、メカシャッタを閉じた後、明時信号を読み出し、第１のメモリ１７に記憶する。さらに、メカシャッタを閉じた状態で再度の撮像を行って暗時信号を読み出し、第２のメモリ１８に記憶する。ここで、撮像素子の温度が高い場合に、暗時信号の蓄積時間を長くすると共に暗時信号に対するゲインを小さくしている。これにより、暗時信号におけるランダムノイズ成分は平均化されて減少することになる。なお、暗時信号の蓄積時間は撮像素子の温度に応じて設定する。
【００４２】
次いで、第１のメモリ１７に記憶された明時信号から第２のメモリ１８に記憶された暗時信号を減算することにより画像信号が得られる。この画像信号は、暗時信号のランダムノイズ成分が極めて小さいことから、ランダムノイズ成分が抑制されたものとなる。つまり、ＦＰＮは勿論のこと、ランダムノイズが抑制された良質の画像信号が得られることになる。
【００４３】
このように本参照例では、撮像素子の温度に応じて暗時信号の蓄積時間を長くすることにより、暗時信号におけるランダムノイズを低減することができる。従って、前記図６に示したように画像信号におけるランダムノイズを抑制することができ、先の実施形態と同様の効果が得られる。特に本参照例では、温度上昇により撮像素子のノイズが増加する場合に有効である。
【００４４】
（第３の参照例）図９は、本発明の撮像装置に関連する第３の参照例におけるシースケンスを説明するためのタイミングチャートである。撮像装置の構成は及び基本的な動作は前記図１及び図２と同様であるので省略する。
【００４５】
メカシャッタ（図１では遮光フィルタ１１）を開いた状態で撮像を行い、所定の時間だけ明時信号を蓄積する。この明時信号の蓄積時間は、長時間露光等であり比較的長いものとする。そして、メカシャッタを閉じた後、明時信号を読み出し、第１のメモリ１７に記憶する。さらに、メカシャッタを閉じた状態で再度の撮像を行って暗時信号を読み出し、第２のメモリ１８に記憶する。このとき、暗時信号の蓄積時間を短くすると共に暗時信号に対するゲインを大きくしている。その後、第１のメモリ１７に記憶された明時信号から第２のメモリ１８に記憶された暗時信号を減算することにより画像信号が得られる。
【００４６】
このように本参照例では、第１の参照例とは逆に、暗時信号を取り込むときに、ゲインを上げると共に蓄積時間を短くしている。この場合、ランダムノイズの低減という効果は得られないものの、レリーズタイムラグを更に短くできる効果が得られる。
【００４７】
図１０は、本参照例における明時信号，暗時信号，及び画像信号を示す図である。暗時信号におけるゲインを高くしているので、図１０（ｂ）に示すように、暗時信号におけるランダムノイズは大きくなっている。そして、図１０（ａ）に示す明時信号から図１０（ｂ）に示す暗時信号を減算した場合、図１０（ｃ）に示すように、画像信号におけるランダムノイズが大きくなっている。しかし、元々のランダムノイズが比較的小さく通常の撮影に問題ないレベルであれば、暗時信号の蓄積時間を短くしてレリーズタイムを短くできる効果は極めて有効である。
【００４８】
なお、本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４９】
【発明の効果】
以上詳述したように本発明によれば、撮像素子から撮像信号を読み出すときのゲインや撮像素子の温度等に応じて、暗時信号を読み出す回数、或いは暗時信号の蓄積時間を制御することにより、レリーズタイムラグを短縮させながら、撮像信号中のノイズの軽減が可能となる。
【図面の簡単な説明】
【図１】実施形態に係わるデジタルカメラの基本構成を示すブロック図。
【図２】実施形態における基本的な動作を説明するためのフローチャート。
【図３】実施形態におけるシースケンスを説明するためのタイミングチャート。
【図４】従来方法における明時信号，暗時信号，画像信号の関係を示す図。
【図５】ランダムノイズが大きい場合における明時信号，暗時信号，画像信号の関係を示す図。
【図６】実施形態における明時信号，暗時信号，画像信号の関係を示す図。
【図７】第１の参照例におけるシースケンスを説明するためのタイミングチャート。
【図８】第２の参照例におけるシースケンスを説明するためのタイミングチャート。
【図９】第３の参照例におけるシースケンスを説明するためのタイミングチャート。
【図１０】第３の参照例における明時信号，暗時信号，画像信号の関係を示す図。
【符号の説明】
１１…遮光フィルタ
１２…レンズ系
１３…ＣＣＤカラー撮像素子
１４…温度センサ
１５…アナログアンプ
１６…Ａ／Ｄ変換器
１７…第１のメモリ
１８…第２のメモリ
１９…加算回路
２１…オフセット回路
２２…切り替えスイッチ
２３…デジタルアンプ
２４…画素欠陥検出回路
２５…欠陥メモリ
２６…画素欠陥補償回路
２７…メモリカード
３０…ＣＰＵ
３１…タイミングジェネレータ（ＴＧ）
３２…シグナルジェネレータ（ＳＧ）

Claims

被写体を撮像するための撮像素子と、
非遮光状態で前記撮像素子により露光して得られる撮像信号を読み出す撮像信号読み出し手段と、
前記撮像素子から撮像信号を読み出すときのゲインを制御するゲイン制御手段と、
遮光状態で前記撮像素子の暗時信号を複数回読み出す暗時信号読み出し手段と、
前記ゲイン制御手段により制御されたゲインの値に基づいて、前記暗時信号読み出し手段により読み出す回数を制御する暗時信号読み出し回数制御手段と、
前記暗時信号読み出し手段により回数制御されて読み出された暗時信号を加算する暗時信号加算手段と、
前記非遮光状態で露光して読み出された撮像信号から前記暗時信号加算手段により得られた暗時信号を減算して、暗時信号を抑圧する暗時信号抑圧手段と、
を備えたことを特徴とする撮像装置。