JP6124506B2

JP6124506B2 - 撮像装置及び撮像方法

Info

Publication number: JP6124506B2
Application number: JP2012091213A
Authority: JP
Inventors: 憲太朗小暮
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-12
Filing date: 2012-04-12
Publication date: 2017-05-10
Anticipated expiration: 2032-04-12
Also published as: JP2013222980A

Description

本発明は、撮像装置及び撮像方法に関し、撮影画像に係る感度を向上させるための画像処理技術に関する。

近年、ＣＣＤ等の撮像素子を有する撮像装置は、多画素化が進んでいる。一方で、撮像装置の本体自体は、小型化が進んでいる。撮像装置の小型化に伴って撮像素子も小型化せざるを得ない状況になってきており、多画素化を行うためには撮像素子における画素のサイズを小さくするしかないという現状がある。しかしながら、画素の大きさを縮小すると単位画素あたりの受光量が減少してしまうため、露光時間が長くなったり低照度時のノイズ量が多くなったりと感度が低下してしまう原因となる。監視カメラ等の暗闇を撮影する撮像装置において、低照度での撮影性能は重要な要素であり、低照度時に所望の撮影性能を満たすためにノイズリダクションや画像の縮小処理や画素加算などの技術が浸透してきている。

例えば、特許文献１には、画像サイズの拡大縮小率に応じてゲインを設定し、撮影画像に係る感度を上げる技術が開示されている。また、特許文献２には、複数段階からなる画素加算のモードを有し、ユーザーの期待する解像度と画質のバランスのとれた画像を得る技術が開示されている。

特開２００６−２４５７０９号公報特開２００９−１１８２４７号公報

しかしながら、特許文献１に開示された技術では画像サイズやノイズレベルに応じてゲインの設定を行っているが、十分な信号対ノイズ比（Ｓ／Ｎ）は得られない。また、特許文献２に開示された技術では画素加算を用いて感度を向上させているが、多画素の撮像装置で撮影された画像に対して感度を向上させることができても解像度が低下したり、ジャギーが目立ってしまったりといった問題があった。

本発明の目的は、撮影された画像の解像度及びＳ／Ｎを劣化させずに感度を維持又は向上させることができる撮像装置及び撮像方法を提供することにある。

本発明に係る撮像装置は、被写体からの光を光電変換し画像信号を生成する撮像素子と、前記撮像素子にて生成された前記画像信号のためのゲインを制御する露出制御手段と、前記撮像素子にて生成された前記画像信号に対してノイズ低減処理を行う第１の画像処理手段と、設定された拡大縮小比率に応じた補間処理を行い、前記撮像素子にて生成された前記画像信号の拡大縮小を行う第２の画像処理手段とを備え、前記露出制御手段が前記ゲインの上限を前記拡大縮小比率に応じて設定するとともに、前記第１の画像処理手段が前記ノイズ低減処理の強度を、前記拡大縮小比率及びシャッター速度に応じて変更することを特徴とする。

本発明によれば、露出制御に係るゲインの上限及びノイズ低減処理の強度を適切に変更し、撮像された画像の解像度及びＳ／Ｎを劣化させずに感度を維持又は向上させることができる。

本発明の第１の実施形態に係る撮像装置の構成例を示す図である。第１の実施形態における出力画像サイズに応じた最大ゲイン及びＮＲレベルの決定方法の例を示すフローチャートである。第１の実施形態におけるＡＥモード及びシャッター速度に応じたＮＲ強度の上限設定の例を示すフローチャートである。第１の実施形態における撮影画像の露出に応じた画像サイズの決定方法の例を示すフローチャートである。本発明の第２の実施形態に係る撮像装置の構成例を示す図である。第２の実施形態における出力画像サイズ及び撮影モードに応じた最大ゲインの決定方法の例を示すフローチャートである。第２の実施形態におけるＮＲレベルの決定方法の例を示すフローチャートである。本実施形態における処理を実行可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る撮像装置の構成例を示すブロック図である。

図１に示す撮像装置において、光学撮像系１００は、入射光を結像するための撮像レンズ及び絞りを有する。撮像素子１０１は、光学撮像系１００により撮像面に結像された被写体からの光を光電変換し被写体の画像信号を生成する。ＣＤＳ（Correlated Double Sampling）回路１０２は、撮像素子１０１から読み出された画像信号に含まれるアンプ雑音及びリセット雑音を除去する。ＡＧＣ（Auto Gain Control）回路１０３は、入力信号を増幅する。Ａ／Ｄ変換回路１０４は、ＣＤＳ回路１０２及びＡＧＣ回路１０３を介して入力される撮像素子１０１からのアナログの画像信号をアナログデジタル変換（Ａ／Ｄ変換）してデジタル画像信号に変換する。

露出制御部１０５は、露出制御（ＡＥ：Auto Exposure）を行う。例えば、露出制御部１０５は、ゲインとシャッタースピードと絞り値の内から少なくとも１つの値を用いて適正な露出になるように制御し、入力信号のレベルを制御する。また、露出制御部１０５は、露出がアンダー（光量が不足）であるか、オーバー（光量が過多）であるかも判定する。最大ゲイン設定部１０６は、画像サイズ判定部１０８で判定された出力画像サイズ、言い換えれば画像の拡大縮小比率に応じて、露出制御で用いるゲインの上限である最大ゲインを設定する。

ノイズ除去部１０７は、第１の画像処理手段としてノイズ低減処理を行い撮影画像のノイズを低減する。例えば、ノイズ除去部１０７は、撮影画像全体から一様にランダムノイズを除去するεフィルタ、及び撮影画像における動きの部分に対してノイズを除去する巡回型フィルタの２つのフィルタで構成される。ノイズ除去部１０７は、ノイズ除去に係る処理強度の変更が可能である。画像サイズ判定部１０８は、撮影画像の出力サイズを判定する。

画像サイズ変更部１０９は、第２の画像処理手段として補間処理を行うことにより撮影画像を拡大縮小し、撮影画像を所望の画像サイズの画像にする。画像サイズ変更部１０９は、撮影画像の拡大縮小比率の変更が可能であり、撮影画像を任意のサイズに拡大縮小することができる。また、画像サイズ変更部１０９は、撮影画像を拡大縮小する際にＬＰＦ（Low Pass Filter）等のフィルタ処理や補間処理でノイズを除去することができる。画像出力部１１０は、各種の画像処理が施された撮影画像を出力する。なお、画像出力部１１０は、画像処理が施された撮影画像を本撮像装置外に外部出力してもよい。

図１に示した撮像装置において、撮像素子１０１から出力されるアナログ画像信号は、ＣＤＳ回路１０２及びＡＧＣ回路１０３を介してＡ／Ｄ変換回路１０４に入力され、Ａ／Ｄ変換回路１０４でデジタル画像信号にＡ／Ｄ変換される。そして、デジタル画像信号は、ノイズ除去部１０７及び画像サイズ変更部１０９等により、ノイズを低減するためのノイズ低減処理（ＮＲ処理）や、補間処理を用いた拡大縮小処理等の画像処理が施されて、画像出力部１１０に出力される。本実施形態に係る撮像装置での画像処理では、ＮＲ処理における処理強度（ＮＲレベル）が、出力画像サイズやシャッター速度に応じて制御される。また、撮影画像の露出（輝度）に応じて、撮影画像の拡大縮小比率、つまり出力画像サイズが適宜変更される。

以下に、出力画像サイズに応じた最大ゲインとＮＲ処理の強度（ＮＲレベル）の決定方法について説明する。図２は、第１の実施形態における出力画像サイズに応じた最大ゲイン及びＮＲレベルの決定方法の例を示すフローチャートである。ここで、本実施形態では、最大ゲイン（１〜３）については数字が大きくなるに従って最大ゲインの値が小さくなり、ＮＲレベル（１〜３）については数字が大きくなるに従ってＮＲ処理の効果が強くなるものとする。つまり、図２に示す例では、最大ゲインの値は、最大ゲイン１が最も大きく、最大ゲイン３が最も小さい。また、ＮＲ処理の処理強度は、ＮＲレベル１が最も弱く、ＮＲレベル３が最も強い。

また、図２に示す例では、出力画像サイズについてはＳＭＡＬＬ、ＭＩＤＤＬＥ、ＬＡＲＧＥの３パターンで示した。ＭＩＤＤＬＥをフルサイズとして、それを拡大処理するものをＬＡＲＧＥ、縮小処理するものをＳＭＡＬＬと表したが、このような形態によらず３パターン以上の画像サイズで分別してもよい。なお、出力画像サイズについては、以降の説明においても同様とする。

まず、画像サイズ判定部１０８が、出力画像サイズの判定を行う（Ｓ１０１）。判定の結果、出力画像サイズがフルサイズよりも小さい場合（Ｓ１０１；ＳＭＡＬＬ）には、縮小処理においてＳ／Ｎが改善するので、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン１を選択する（Ｓ１０２）。このとき、縮小処理によってランダムノイズが平均化されるため、ノイズ除去部１０７は、ＮＲ処理の処理強度として相対的に効果の弱いＮＲレベル１を選択する（Ｓ１０３）。

また、判定の結果、出力画像サイズがフルサイズと同じ場合（Ｓ１０１；ＭＩＤＤＬＥ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン２を選択する（Ｓ１０４）。このとき、ノイズ除去部１０７は、ＮＲ処理の処理強度として通常レベルの効果のＮＲレベル２を選択する（Ｓ１０５）。また、判定の結果、出力画像サイズがフルサイズよりも大きい場合（Ｓ１０１；ＬＡＲＧＥ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン３を選択する（Ｓ１０６）。このとき、拡大処理によってノイズが増えるため、ノイズ除去部１０７は、ＮＲ処理の処理強度として相対的に効果の強いＮＲレベル３を選択する（Ｓ１０７）。

以上のようにして、画像の出力サイズに応じて露出制御で用いる最大ゲインを設定し、そのときのノイズ量に応じたＮＲレベルを適切に選択する。これにより、撮影された画像の解像度の劣化及びＳ／Ｎの劣化を最低限に抑えることができるともに、感度が低下するのを抑制することができる。出力画像サイズが小さくなるにともない、感度が向上した画像を得ることができる。

次に、露出制御に係るＡＥモード及びシャッター速度に応じたＮＲ処理の強度の上限設定手法について説明する。図３は、第１の実施形態におけるＡＥモード及びシャッター速度に応じたＮＲ処理の強度の上限設定の例を示すフローチャートである。図３に示す例において、シャッター優先ＡＥモードは、シャッター速度を任意に設定して自動で適正な露出にする露出制御のモードの１つである。また、シャッター速度に関しては、シャッター速度が所定の速さ（本実施形態では、３０分の１秒とする）よりも遅い場合をスローシャッターとし、シャッター速度が所定の速さよりも速い場合を高速シャッターとする。シャッター速度が高速シャッターであるときは、動きの速い被写体をブレなく撮影することができる。

まず、露出制御部１０５は、露出制御のモードがシャッター優先ＡＥモードであるか否かを判定する（Ｓ２０１）。判定の結果、シャッター優先ＡＥモードである場合で、シャッター速度が高速シャッター時（Ｓ２０２；ＹＥＳ）には、動き被写体の認識性を重視するので、ノイズ除去部１０７でのＮＲ処理の強度の上限を低くする（Ｓ２０３）。このようにして、シャッター優先ＡＥモードで、かつシャッター速度が高速シャッターのときには、被写体がボケない程度にノイズ除去部１０７でのＮＲ処理の強度の上限を抑える。

また、判定の結果、シャッター優先ＡＥモードである場合で、シャッター速度がスローシャッター時（Ｓ２０２；ＮＯ）には、静止被写体の検出を重視する目的でノイズ除去部１０７でのＮＲ処理の強度の上限を高くする（Ｓ２０４）。これは、既に動き被写体が像流れしてしまって、動き被写体の認識が困難であるためである。また、判定の結果、露出制御のモードがシャッター優先ＡＥモードでない場合には、ノイズ除去部１０７でのＮＲ処理の強度の上限は変化させない。

このように露出制御に係るＡＥモード及びシャッター速度に応じてＮＲ処理の強度の上限設定を行うことで、動き被写体の検出と静止被写体の検出との優先度を切り分けて画像処理を行うことができ、撮影シーンのニーズに応じた画像を得ることができる。

次に、出力画像サイズ別に撮影画像の露出（輝度）に応じて、出力画像サイズ（拡大縮小比率）を変更する手法について説明する。図４は、第１の実施形態における撮影画像の露出に応じた画像サイズの決定方法の例を示すフローチャートである。図４に示す例では、画像サイズは、ＥＸＴＲＡＳＭＡＬＬ、ＳＭＡＬＬ、ＭＩＤＤＬＥ、ＬＡＲＧＥの順に大きくなるものとする。

まず、画像サイズ判定部１０８が、出力画像サイズの判定を行う（Ｓ３０１）。また、露出制御部１０５が、撮影画像の露出の判定を行う（Ｓ３０２、Ｓ３０５、Ｓ３０７）。判定の結果、出力画像サイズがフルサイズよりも大きい場合で、撮影画像の露出がアンダーであるとき（Ｓ３０１；ＬＡＲＧＥ、Ｓ３０２；ＹＥＳ）には、感度を上げるために出力画像サイズがフルサイズ相当に縮小される（Ｓ３０３）。言い換えれば、出力画像サイズがフルサイズよりも大きく、かつ撮影画像の輝度が所定の値より小さい場合には、出力画像サイズがフルサイズ相当に縮小される。なお、撮影画像の露出がアンダーでない、すなわち適正露出又は露出がオーバーであるとき（Ｓ３０２；ＮＯ）には、出力画像サイズは変更されずフルサイズよりも大きいままである（Ｓ３０４）。

また、判定の結果、出力画像サイズがフルサイズ相当の場合で、撮影画像の露出がアンダーであるとき（Ｓ３０１；ＭＩＤＤＬＥ、Ｓ３０５；ＹＥＳ）には、感度を上げるために出力画像サイズがフルサイズよりも小さく縮小される（Ｓ３０６）。言い換えれば、出力画像サイズがフルサイズ相当で、かつ撮影画像の輝度が所定の値より小さい場合には、出力画像サイズがフルサイズより小さく縮小される。なお、撮影画像の露出がアンダーでないとき（Ｓ３０５；ＮＯ）には、出力画像サイズは変更されずフルサイズ相当のままである（Ｓ３０３）。

また、判定の結果、出力画像サイズがフルサイズよりも小さい場合で、撮影画像の露出がアンダーであるとき（Ｓ３０１；ＳＭＡＬＬ、Ｓ３０７；ＹＥＳ）には、感度を上げるために出力画像サイズがさらに小さく縮小される（Ｓ３０８）。言い換えれば、出力画像サイズがフルサイズよりも小さく、かつ撮影画像の輝度が所定の値より小さい場合には、出力画像サイズがさらに小さく縮小される。なお、撮影画像の露出がアンダーでないとき（Ｓ３０７；ＮＯ）には、出力画像サイズは変更されない（Ｓ３０６）。

以上のように、撮影画像の露出がアンダーであるときには、光量が足りず画像全体が暗くなってしまうため、各画像サイズで縮小処理を行うことで、感度を上げることができるとともにＳ／Ｎを改善することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図５は、第２の実施形態に係る撮像装置の構成例を示すブロック図である。図５において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

第２の実施形態に係る撮像装置は、赤外線カットフィルター（以下、ＩＲＣＦ）挿抜機能を備える。ＩＲＣＦ２００は、色再現性を人間の色覚特性に合わせるために撮像素子１０１へ近赤外領域の光線を通過させない目的で用いられる。ＩＲＣＦ制御部２０１は、ＩＲＣＦ２００の挿抜を制御する。ＩＲＣＦ制御部２０１による制御によって、光学撮像系１００と撮像素子１０１との間の光路へのＩＲＣＦ２００の挿入及び抜去が行われる。ＩＲＣＦ挿抜判定部２０２は、現在のＩＲＣＦ２００の挿抜状態を取得し、デイモードであるか、ナイトモードであるかを判定する。最大ゲイン判定部２０３は、露出制御におけるゲインが最大ゲインであるか否かを判定する。

ここで、第２の実施形態における撮像装置でのデイモード及びナイトモードの使用環境について説明する。監視カメラのように昼夜を問わずに使用される撮像装置においては、日中のような十分照度時にはＩＲＣＦ制御部２０１によってＩＲＣＦ２００を光路中に挿入し（デイモード）、カラーの映像又は静止画像の出力を行う。一方、夜間のような低照度時には、ゲインによるノイズの影響から色再現性よりも感度を重視する。その場合には、可視光に加えて近赤外領域の光を利用するため、ＩＲＣＦ制御部２０１によってＩＲＣＦ２００を光路外に退避させ（ナイトモード）、撮像素子１０１に可視光及び近赤外光を受光させる。

第２の実施形態に係る撮像装置での処理は、光学撮像系１００と撮像素子１０１との間の光路に対するＩＲＣＦ２００の挿抜に係る処理以外は、第１の実施形態に係る撮像装置での処理と同様であり、第１の実施形態と同様の効果が得られる。以下では、第２の実施形態に係る撮像装置での画像処理及びＩＲＣＦ挿抜判定部２０２を含むＩＲＣＦ制御部２０１で実行される処理について説明する。

まず、出力画像サイズ及び撮影モードに応じた最大ゲインの決定方法について説明する。図６は、第２の実施形態における出力画像サイズ及び撮影モードに応じた最大ゲインの決定方法の例を示すフローチャートである。本実施形態では、最大ゲイン（１〜４）については数字が大きくなるに従って最大ゲインの値が小さくなるものとする。つまり、図６に示す例では、最大ゲインの値は、最大ゲイン１、最大ゲイン２、最大ゲイン３、最大ゲイン４の順に小さくなり、最大ゲイン１が最も大きく、最大ゲイン４が最も小さい。

まず、画像サイズ判定部１０８が、出力画像サイズの判定を行う（Ｓ４０１）。また、ＩＲＣＦ挿抜判定部２０２が、現在のＩＲＣＦ２００の状態を基に、撮影モードがデイモードであるか、ナイトモードであるかを判定する（Ｓ４０２、Ｓ４０５、Ｓ４０７）。

判定の結果、出力画像サイズがフルサイズよりも小さい場合（Ｓ４０１；ＳＭＡＬＬ）で、撮影モードがデイモードであるとき（Ｓ４０２；ＮＯ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン１を設定する（Ｓ４０３）。一方、撮影モードがナイトモードであるとき（Ｓ４０２；ＹＥＳ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン２を設定する（Ｓ４０４）。

また、出力画像サイズがフルサイズ相当の場合（Ｓ４０１；ＭＩＤＤＬＥ）で、撮影モードがデイモードであるとき（Ｓ４０５；ＮＯ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン２を設定する（Ｓ４０４）。一方、撮影モードがナイトモードであるとき（Ｓ４０５；ＹＥＳ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン３を設定する（Ｓ４０６）。

また、出力画像サイズがフルサイズよりも大きい場合（Ｓ４０１；ＬＡＲＧＥ）で、撮影モードがデイモードであるとき（Ｓ４０７；ＮＯ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン３を設定する（Ｓ４０６）。一方、撮影モードがナイトモードであるとき（Ｓ４０７；ＹＥＳ）には、最大ゲイン設定部１０６は、露出制御で用いる最大ゲインとして最大ゲイン４を設定する（Ｓ４０８）。

以上のようにして、各出力画像サイズ別に、撮影モードがデイモードであるかナイトモードであるかの判別を行って、露出制御で用いる最大ゲインを設定する。これにより、撮影モードがデイモードであるときには、ナイトモードであるときよりも最大ゲインを高く設定することができ、デイモードでの撮影画像の感度を向上させることができる。

次に、第２の実施形態におけるＮＲ処理の強度（ＮＲレベル）の決定方法について説明する。図７は、第２の実施形態におけるＮＲレベルの決定方法の例を示すフローチャートである。本実施形態では、ＮＲレベル（１〜５）については数字が大きくなるに従ってＮＲ処理の効果が強くなるものとする。つまり、図７に示す例では、ＮＲ処理の処理強度は、ＮＲレベル１、ＮＲレベル２、ＮＲレベル３、ＮＲレベル４、ＮＲレベル５の順に強くなり、ＮＲレベル１が最も弱く、ＮＲレベル５が最も強い。

まず、画像サイズ判定部１０８が、出力画像サイズの判定を行う（Ｓ５０１）。また、最大ゲイン判定部２０３が、露出制御におけるゲインが最大ゲインであるかの判定を行う（Ｓ５０２、Ｓ５０６、Ｓ５１１）。また、ＩＲＣＦ挿抜判定部２０２が、撮影モードがデイモードであるか、ナイトモードであるかを判定する（Ｓ５０３、Ｓ５０７、Ｓ５０９、Ｓ５１２）。

判定の結果、出力画像サイズがフルサイズよりも小さい場合（Ｓ５０１；ＳＭＡＬＬ）には、ノイズ除去部１０７は、以下のようにＮＲ処理の処理強度を選択する。露出制御におけるゲインが最大ゲインではなく（Ｓ５０２；ＮＯ）、かつ撮影モードがデイモードであるとき（Ｓ５０３；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル１を選択する（Ｓ５０４）。一方、露出制御におけるゲインが最大ゲインではなく（Ｓ５０２；ＮＯ）、かつ撮影モードがナイトモードであるとき（Ｓ５０３；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル２を選択する（Ｓ５０５）。また、露出制御におけるゲインが最大ゲインであり（Ｓ５０２；ＹＥＳ）、かつ撮影モードがデイモードであるとき（Ｓ５０７；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル２を選択する（Ｓ５０５）。一方、露出制御におけるゲインが最大ゲインであり（Ｓ５０２；ＹＥＳ）、かつ撮影モードがナイトモードであるとき（Ｓ５０７；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル３を選択する（Ｓ５０８）。

また、判定の結果、出力画像サイズがフルサイズ相当の場合（Ｓ５０１；ＭＩＤＤＬＥ）には、ノイズ除去部１０７は、以下のようにＮＲ処理の処理強度を選択する。露出制御におけるゲインが最大ゲインではなく（Ｓ５０６；ＮＯ）、かつ撮影モードがデイモードであるとき（Ｓ５０７；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル２を選択する（Ｓ５０５）。一方、露出制御におけるゲインが最大ゲインではなく（Ｓ５０６；ＮＯ）、かつ撮影モードがナイトモードであるとき（Ｓ５０７；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル３を選択する（Ｓ５０８）。また、露出制御におけるゲインが最大ゲインであり（Ｓ５０６；ＹＥＳ）、かつ撮影モードがデイモードであるとき（Ｓ５０９；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル３を選択する（Ｓ５０８）。一方、露出制御におけるゲインが最大ゲインであり（Ｓ５０６；ＹＥＳ）、かつ撮影モードがナイトモードであるとき（Ｓ５０９；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル４を選択する（Ｓ５１０）。

また、判定の結果、出力画像サイズがフルサイズよりも大きい場合（Ｓ５０１；ＬＡＲＧＥ）には、ノイズ除去部１０７は、以下のようにＮＲ処理の処理強度を選択する。露出制御におけるゲインが最大ゲインではなく（Ｓ５１１；ＮＯ）、かつ撮影モードがデイモードであるとき（Ｓ５０９；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル３を選択する（Ｓ５０８）。一方、露出制御におけるゲインが最大ゲインではなく（Ｓ５１１；ＮＯ）、かつ撮影モードがナイトモードであるとき（Ｓ５０９；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル４を選択する（Ｓ５１０）。また、露出制御におけるゲインが最大ゲインであり（Ｓ５１１；ＹＥＳ）、かつ撮影モードがデイモードであるとき（Ｓ５１２；ＮＯ）には、ＮＲ処理の処理強度としてＮＲレベル４を選択する（Ｓ５１０）。一方、露出制御におけるゲインが最大ゲインであり（Ｓ５１１；ＹＥＳ）、かつ撮影モードがナイトモードであるとき（Ｓ５１２；ＹＥＳ）には、ＮＲ処理の処理強度としてＮＲレベル５を選択する（Ｓ５１３）。

以上のようにして、各出力画像サイズ別に、露出制御におけるゲインが最大ゲインであるか否かの判定、及び撮影モードがデイモードであるかナイトモードであるかの判定を行って、ＮＲ処理の処理強度を決定する。これにより、撮影された画像の解像度の劣化及びＳ／Ｎの劣化を防止できるとともに、感度を向上させることができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

例えば、第１及び第２の実施形態に示した撮像装置における画像処理は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により第１及び第２の実施形態での動作が実施される。コンピュータ機能８００は、図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及び各種記憶媒体等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。

ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ８０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１撮像素子、１０５露出制御部、１０６最大ゲイン設定部、１０７ノイズ除去部、１０８画像サイズ判定部、１０９画像サイズ変更部、２００赤外線カットフィルター（ＩＲＣＦ）、２０１ＩＲＣＦ制御部、２０２ＩＲＣＦ挿抜判定部、２０３最大ゲイン判定部

Claims

被写体からの光を光電変換し画像信号を生成する撮像素子と、
前記撮像素子にて生成された前記画像信号のためのゲインを制御する露出制御手段と、
前記撮像素子にて生成された前記画像信号に対してノイズ低減処理を行う第１の画像処理手段と、
設定された拡大縮小比率に応じた補間処理を行い、前記撮像素子にて生成された前記画像信号の拡大縮小を行う第２の画像処理手段とを備え、
前記露出制御手段が前記ゲインの上限を前記拡大縮小比率に応じて設定するとともに、前記第１の画像処理手段が前記ノイズ低減処理の強度を、前記拡大縮小比率及びシャッター速度に応じて変更することを特徴とする撮像装置。
前記第２の画像処理手段により拡大縮小した後の画像サイズが小さいほど、前記露出制御手段が前記ゲインの上限を大きく設定することを特徴とする請求項１記載の撮像装置。
前記第１の画像処理手段は、前記シャッター速度が所定の速さより速い場合に、前記シャッター速度が所定の速さより遅い場合に比べて、前記ノイズ低減処理の強度の上限を下げることを特徴とする請求項１又は２記載の撮像装置。
前記第２の画像処理手段は、撮影画像の輝度に応じて、前記拡大縮小比率を変更することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
前記第２の画像処理手段は、前記撮影画像の輝度が所定の値より小さい場合に、前記撮影画像の輝度が所定の値より小さくない場合に比べて、拡大縮小する画像サイズを小さい画像サイズに変更することを特徴とする請求項４記載の撮像装置。
被写体からの光を光電変換し画像信号を生成する撮像素子にて生成された前記画像信号のためのゲインを制御する露出制御工程と、
前記撮像素子にて生成された前記画像信号に対してノイズ低減処理を行う第１の画像処理工程と、
設定された拡大縮小比率に応じた補間処理を行い、前記撮像素子にて生成された前記画像信号の拡大縮小を行う第２の画像処理工程とを有し、
前記ゲインの上限を前記拡大縮小比率に応じて設定するとともに、前記ノイズ低減処理の強度を、前記拡大縮小比率及びシャッター速度に応じて変更することを特徴とする撮像方法。
被写体からの光を光電変換し画像信号を生成する撮像素子にて生成された前記画像信号のためのゲインを制御する露出制御ステップと、
前記撮像素子にて生成された前記画像信号に対してノイズ低減処理を行う第１の画像処理ステップと、
設定された拡大縮小比率に応じた補間処理を行い、前記撮像素子にて生成された前記画像信号の拡大縮小を行う第２の画像処理ステップとをコンピュータに実行させ、
かつ前記ゲインの上限を前記拡大縮小比率に応じて設定し、前記ノイズ低減処理の強度を、前記拡大縮小比率及びシャッター速度に応じて変更することを特徴とするプログラム。