JP5316098B2 - 撮像装置、撮像方法、および、プログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、および、プログラムに関し、特に、高フレームレートの動画撮像に好適な撮像装置、撮像方法、および、プログラムに関する。

デジタルカメラに用いられる撮像素子として、ＣＣＤ（Charge Coupled Device：電荷結合素子）などよりも高速な信号読み出しをおこなえるＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などが広く普及しつつある。このような高速読み出しをおこなえる撮像素子を用いることにより、動画撮像機能を備えるデジタルスチルカメラにおいても、秒間１００コマ以上で動画像を撮像することのできる高速動画撮像機能が実現されている（いわゆる、ハイスピードカメラ）。

高速動画撮像においては、フレーム単位での露光時間が短くなるため、全体として露出不足となってしまう場合が多い。露光時間が短いことによる露出不足に対しては、撮像感度を高めることが対応策となる。このため、撮像素子の開口率を高めることで撮像感度を上げる技術などが提案されている（例えば、特許文献１）。

特開２００８−２８８４４９号公報

特許文献１の場合、撮像素子の各受光素子にマイクロレンズを形成することで、受光素子の開口率を高めて感度の向上を図っているが、このような効果を得るためには、各受光素子が比較的大きい面積である必要がある。

すなわち、サイズが比較的大きい撮像素子（例えば、３５ミリフィルムの画面サイズに相当する３５ミリ判フルサイズ撮像素子など）の場合には有効であるが、コンパクトデジタルカメラなどに用いられるような、比較的サイズの小さい撮像素子（例えば、１／１．８インチや１／２．５インチなど）の場合、受光素子の面積が微小となるためマイクロレンズの形成が困難となる。また、マイクロレンズを形成できた場合でも、開口率の変化が大きくないため、高速動画撮像における露出不足を十分に解消できるほどの感度向上を実現することは困難である。

このように、撮像素子における光学的な感度向上が効果的とならない場合、撮像素子が出力する電気信号を増幅させることで撮像感度を上げることになる。よって、高速動画撮像機能を有するデジタルカメラの多くが、適正露出とするために高感度撮像をおこなっている。このような信号増幅による高感度撮像の場合、ノイズ成分も増幅させてしまうため、ノイズが多くなってしまうという問題がある。

本発明は、上記実状に鑑みてなされたものであり、高速動画撮像におけるノイズを低減することのできる撮像装置、撮像方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する判別手段と、を備えていることが望ましく、この場合、
前記感度設定手段は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記感度制御手段は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更することが望ましい。

上記撮像装置において、
前記マルチプレーン処理手段は、対象となる前記複数の撮像画像のすべてが、前記感度設定手段が設定した撮像感度で撮像された場合、当該複数の撮像画像を加算平均するマルチプレーン処理をおこなうことが望ましい。

上記撮像装置において、
前記マルチプレーン処理手段は、対象となる前記複数の撮像画像についての撮像感度に、前記感度制御手段によって変更された撮像感度が含まれる場合、当該複数の撮像画像の枚数と撮像感度とに基づいて係数を算出し、当該複数の撮像画像の輝度についての加算値に前記係数を乗じるマルチプレーン処理をおこなうことが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる撮像装置は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、を備え、
前記感度制御手段は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記感度設定手段が設定した撮像感度の変更をおこなわないことが望ましい。

上記撮像装置において、
前記感度設定手段は、前記動画撮像にかかるフレームレートに基づいた適正露出とするための撮像感度を設定することが望ましい。

あるいは、
前記撮像手段が、前記動画撮像にかかるフレームレートに基づく単位時間に複数の撮像画像を得られる場合、前記感度設定手段は、当該単位時間に得られる撮像画像の枚数と、当該単位時間を露光時間とした場合に適正露出となる撮像感度とに基づいて撮像感度を設定してもよく、この場合、
前記マルチプレーン処理手段は、前記単位時間毎に得られる前記複数の撮像画像を加算するマルチプレーン処理をおこなうことが望ましい。

上記目的を達成するため、本発明の第３の観点にかかる撮像方法は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別するステップと、を含み、
前記設定するステップでは、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更するステップでは、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。
上記目的を達成するため、本発明の第４の観点にかかる撮像方法は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、を含み、
前記変更するステップでは、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とする。

上記目的を達成するため、本発明の第５の観点にかかるプログラムは、
コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する機能、
を実現させるためのプログラムであって、
前記設定する機能は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更する機能は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。
上記目的を達成するため、本発明の第６の観点にかかるプログラムは、
コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
を実現させるためのプログラムであって、
前記変更する機能は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とする。

本発明によれば、高速動画撮像における撮像感度によるノイズを低減させることができる。

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態１にかかる「高速動画撮像処理（１）」を説明するためのフローチャートである。 図３に示した「高速動画撮像処理（１）」で実行される「輝度補正処理」を説明するためのフローチャートである。 図３に示した「高速動画撮像処理（１）」で実行される「感度制御処理」を説明するためのフローチャートである。 図３に示す「高速動画撮像処理（１）」にかかる被写体変化量に基づく判別を説明するための図であり、（ａ）は、ある撮像画像の例を示し、（ｂ）〜（ｉ）は、（ａ）に示した撮像画像と比較される撮像画像における被写体変化と判別結果の例を示す。 図３に示す「高速動画撮像処理（１）」にかかる動作例を説明するための模式図である。 図３に示す「高速動画撮像処理（１）」にかかる他の動作例を説明するための模式図である。 本発明の実施形態２にかかる「高速動画撮像処理（２）」を説明するためのフローチャートである。 図９に示す「高速動画撮像処理（２）」にかかる動作を説明するための模式図である。 本発明の実施形態３にかかる「高速動画撮像処理（３）」を説明するためのフローチャートである。 図１１に示す「高速動画撮像処理（３）」にかかる動作を説明するための模式図である。

（実施形態１）
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、動画撮像機能を有するデジタルスチルカメラ（以下、「デジタルカメラ」とする）によって本発明を実現した場合を例示する。すなわち、本実施形態にかかるデジタルカメラ１は、基本機能であるスチル撮像機能に加え、動画像を撮像することのできる動画撮像機能を有しているものである。そして、この動画撮像機能には、高速動画撮像機能が含まれているものとする。

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図１に示すように、光学装置１１０やイメージセンサ部１２０などから構成されている。

光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０にシャッタ機構が含まれていなくてもよい。また、光学装置１１０は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成するイメージセンサから構成される。本実施形態では、イメージセンサとして、ＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）が用いられるものとし、特に、高速読み出し（例えば、全画素で６０ｆｐｓ（frames per second）以上）をおこなうことのできる、いわゆる高速ＣＭＯＳであるものとする。本実施形態では、このような高速読み出しのイメージセンサを用いることで、デジタルカメラ１で高速動画撮像が実現されているものとする。

本実施形態における「高速動画撮像」とは、ハイスピードカメラの一般的な定義である秒間１００コマ以上の動画撮像を指すものとし、本実施形態にかかるデジタルカメラ１では、３００ｆｐｓのフレームレートで高速動画撮像をおこなえるものとする。この高速動画撮像は、時間伸張再生（すなわち、スロー再生）をおこなうためのものであり、３００ｆｐｓで撮像された動画像を、通常のフレームレート（例えば、３０ｆｐｓ）で再生することで、時間伸張再生が実現されるものである。

このような高速動画撮像を実現するイメージセンサは、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。また、イメージセンサ部１２０は、イメージセンサが出力したアナログ電気信号を処理するアナログ信号処理回路（いわゆる、ＡＦＥ（Analog Front End：アナログ前処理回路）を備える。ＡＦＥは、少なくとも信号増幅回路を備えており、イメージセンサの出力信号を増幅して、撮像感度（ゲイン）の調整をおこなう。ＡＦＥは、制御部２１０が指定する増幅率で増幅をおこなうことで、露出に応じた撮像感度の調整をおこなう。

データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１２０によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。なお、動画撮像（高速動画撮像）時においては、所定の動画像フォーマット（例えば、H.264/AVCなど）に基づいた符号化処理などが画像処理部２２０によっておこなわれる。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、再生画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、撮像動作を指示するためのボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

このような構成のデジタルカメラ１においては、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図２を参照して説明する。

図２は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、デジタルカメラ１の高速動画撮像機能によって高速動画撮像にかかる動作を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、撮像感度制御部２１３、画像判別部２１４、フレーム画像生成部２１５、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出して制御部２１０の主記憶装置（メモリ）にロードする。本実施形態では、高フレームレート（例えば、３００ｆｐｓ）での動画像撮像をおこなう「高速動画撮像モード」が用意されているものとし、この高速動画撮像モードが選択されたことを動作モード処理部２１１が認識した場合に、以下の各機能が制御部２１０によって実現される。

撮像制御部２１２は、デジタルカメラ１のユーザによる操作部３３０の操作に応じて制御部２１０に入力した入力信号などに基づいて撮像部１００を制御することで、デジタルカメラ１での撮像動作を実行する。高速動画撮像モードにおいては、操作部３３０を構成しているスタート／ストップボタンが操作されたことで生成された入力信号に基づいて、撮像部１００による高速動画撮像動作の開始／終了を制御する。

撮像感度制御部２１３は、高速動画撮像モードで動画撮像をおこなう際の撮像感度を設定するとともに、撮像された動画像を用いた判別動作に基づいて、設定された撮像感度の変更をおこなう。この場合、撮像感度制御部２１３は、設定すべき撮像感度の数値を決定し、設定すべき撮像感度で高速動画撮像動作がおこなわれるようＡＦＥの信号増幅回路を制御する。

画像判別部２１４は、撮像部１００の高速動画撮像によって得られた撮像画像から被写体を検出し、連続する撮像画像間での被写体の変化に基づいて、撮像画像を用いたマルチプレーン処理（詳細後述）が可能であるか否かを判別する。

フレーム画像生成部２１５は、撮像画像から、再生対象となる動画像データを構成するフレーム画像を生成する。本実施形態では、便宜上、撮像部１００の高速動画撮像動作によって得られたフレーム画像を「撮像画像」とし、撮像画像を用いて生成された、再生対象となる動画像データを構成しているフレーム画像を「フレーム画像」とする。

フレーム画像生成部２１５は、画像判別部２１４の判別結果に応じた処理をおこなうことで、フレーム画像を生成する。この場合において、画像判別部２１４によってマルチプレーン処理が可能であると判別された撮像画像については、フレーム画像を生成する際に、フレーム画像生成部２１５がマルチプレーン処理をおこなう。

ここで、本実施形態における「マルチプレーン処理」とは、複数の撮像画像の輝度成分を加算する合成により、一定の輝度となるフレーム画像を生成するものである。つまり、フレーム毎の露光時間が短い高速動画撮像において、露出不足となった複数の撮像画像の輝度成分を加算した合成画像によって再生対象となるフレーム画像を生成することで、適正露出となる輝度に補正する。

また、撮像感度の調整により、撮像画像が適正露出となっている場合もある。マルチプレーン処理の対象となる撮像画像が適正露出である場合、加算平均によって輝度成分を加算する。加算平均は、例えば、適正露出となっている撮像画像の輝度成分を加算してから枚数で除する。高速動画撮像において、撮像画像が適正露出となっている場合は、輝度は十分であるが、高感度で撮像されているためノイズが多くなっている。このような撮像画像については、加算平均をおこなうことで、輝度を維持しつつノイズを低減させることができる。

また、マルチプレーン処理対象とされた撮像画像が露出不足である場合、もしくは、適正露出の画像と露出不足の画像が混在している場合、マルチプレーン処理の際に輝度成分を加算するが、加算する枚数に応じた係数を乗じることにより、一定の輝度となるようにする。この場合、撮像画像全体の輝度と、撮像感度との間に相関関係があるため、対象となっている撮像画像に適用された撮像感度に基づいて係数を設定することができる。

例えば、適正露出となる撮像感度がＩＳＯ８００（高感度）で、露出不足となった撮像画像の撮像感度がＩＳＯ４００（低感度）であった場合に、低感度で撮像された画像の輝度は、高感度で撮像された画像の輝度の１／２とみなすことができる。この場合、低感度で撮像された画像を２枚加算すれば、高感度で撮像された画像の輝度と同じになる。

しかしながら、このような画像を３枚加算する場合には、高感度で撮像された画像（適正露出）の輝度よりも高くなる。この場合、撮像感度の数値に基づいて係数を設定する。ＩＳＯ感度４００（低感度）で撮像した画像を３枚加算した場合、撮像感度を枚数分加算した数値は「１２００」となるので、適正露出となる撮像感度を示す数値である「８００」にするための係数として「２／３」が設定される。

このような係数を用いたマルチプレーン処理は、撮像感度が混在する場合にもおこなわれる。例えば、高感度（ＩＳＯ８００）で撮像された画像と、低感度（ＩＳＯ４００）で撮像された画像とがマルチプレーン処理の対象となっている場合、感度の数値を加算すると「１２００」になる。この場合も、適正露出となる撮像感度を示す数値である「８００」にするための係数として「２／３」が設定されることになる。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図２に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、高速動画撮像モードが選択されている場合に実行される「高速動画撮像処理（１）」を、図３に示すフローチャートを参照して説明する。この「高速動画撮像処理（１）」は、デジタルカメラ１のユーザが操作部３３０を操作することで、デジタルカメラ１の動作モードを高速動画撮像モードに設定したことを契機に開始される。

処理が開始されると、動作モード処理部２１１は、高速動画撮像モードが設定された旨を撮像制御部２１２および撮像感度制御部２１３に通知するとともに、高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ１０１）。ここで、高速動画撮像モードとして用意されるフレームレートが１種類であれば、そのフレームレートを設定し、複数種類ある場合は、フレームレートの設定画面を表示部３１０に表示することで、ユーザが所望するフレームレートを設定する。

このとき、撮像制御部２１２は、撮像部１００を制御し、高速動画撮像の動作準備をおこなう。ここでは、ファインダ表示用の動画像を取得するために撮像部１００を動作させる。この場合、通常のフレームレート（例えば、３０ｆｐｓ）、もしくは、ファインダ表示用に通常のフレームレートよりも落としたフレームレートで動画撮像がおこなわれるよう撮像部１００を制御する。この撮像動作の際に測光動作がおこなわれ、撮影環境における光量などが計測される。ここでは、イメージセンサ部１２０のイメージセンサでの受光量に基づいた測光動作がおこなわれるものとする。

フレームレートを設定すると、動作モード処理部２１１は、設定したフレームレート（ここでは、３００ｆｐｓであるものとする）を撮像感度制御部２１３に通知する。また、撮像制御部２１２からは、ファインダ表示用の撮像動作による測光値が撮像感度制御部２１３に通知される。

撮像感度制御部２１３は、動作モード処理部２１１から通知されたフレームレートと、撮像制御部２１２から通知された測光値から、現在の撮影環境で高速動画撮像をおこなう場合に適正露出となる撮像感度を算出して設定する（ステップＳ１０２）。

この場合、フレームレートから１フレーム分の時間（３００ｆｐｓの場合、３．３ミリ秒。以下、「単位時間」）が求められるので、その単位時間内となる露光時間で適正露出のＥｖ値（Ｅｖ：Exposure Value）とするために必要な撮影感度を算出する。この演算には、既知の露出制御アルゴリズムが用いられるものとし、撮像部１００を構成しているレンズのＦナンバーなどをパラメータとした演算により、必要な撮像感度が設定される。

ここで、高速動画撮像の場合は、１フレーム分の露光時間が通常の動画撮像よりも格段に短くなるため、設定される撮像感度は比較的高感度（例えば、ＩＳＯ感度８００以上など）となる。すなわち、高速動画撮像においては、高感度域の撮像感度がデフォルトで設定される。

このようにして、設定されたフレームレートと測光値から撮像感度が設定されると、撮像感度制御部２１３はその旨を動作モード処理部２１１に通知する。動作モード処理部２１１は、撮像感度制御部２１３からの通知に基づいて、所定の表示を表示部３１０に表示させることで、高速動画撮像が開始できることをユーザに通知する。

この通知を認識したユーザは、高速動画撮像を開始したいタイミングで操作部３３０を操作する。この操作によって生成された入力信号が操作部３３０から制御部２１０に入力されると、撮像制御部２１２は、撮像開始指示がなされたと判別し（ステップＳ１０３：Ｙｅｓ）、撮像部１００を制御して高速動画撮像を開始する（ステップＳ１０４）。この場合、撮像制御部２１２は、ステップＳ１０１で設定されたフレームレートで高速動画撮像がおこなわれるよう撮像部１００を制御する。

また、撮像制御部２１２は、高速動画撮像を開始した際に、その旨を撮像感度制御部２１３に通知する。撮像感度制御部２１３は、撮像制御部２１２からの通知に応じて、ステップＳ１０２で設定した撮像感度となるよう、撮像部１００のＡＦＥを制御するとともに、高速動画撮像動作が開始されたことを画像判別部２１４に通知する。

このようにして高速動画撮像が開始されると、設定されたフレームレートに基づく単位時間毎に撮像画像が生成され、画像メモリ２３０に順次展開される。このとき、各撮像画像には、例えば、Exif（Exchangeable Image File Format）データが付加されるものとし、撮像時のパラメータ（撮像感度や露光時間、絞り値、など）が記録される。

ここで、１枚目の撮像画像（ステップＳ１０５：Ｎｏ）については、フレーム画像生成部２１５の処理により、当該撮像画像がそのまま１枚目のフレーム画像となる（ステップＳ１０８）。

１枚目のフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップＳ１０５以降の処理が繰り返し実行される（ステップＳ１０９：Ｎｏ）。そして、撮像画像が２枚以上得られると（ステップＳ１０５：Ｙｅｓ）、画像判別部２１４は、画像メモリ２３０に展開された撮像画像から被写体検出をおこなう（ステップＳ１０６）。この場合の被写体検出は、既知の方法が用いられるものとし、例えば、画像中の輝度分布に基づいたセグメンテーションなどによって被写体部分を検出する。あるいは、デジタルカメラ１が顔認識機能を備えている場合には、顔認識によって認識された顔部分を被写体として検出してもよい。

画像メモリ２３０に展開されている複数の撮像画像で被写体を検出すると、画像判別部２１４は、連続する撮像画像間で検出された被写体の変化量を検出する（ステップＳ１０７）。

本実施形態では、高速動画撮像時における高感度撮像に起因するノイズを低減するため、被写体の変化量に基づいて、撮像感度を制御するとともに、撮像感度の違いによる輝度のバラツキを補正することで、ノイズの低減を図る。このため、画像判別部２１４によって被写体の変化量が検出されると、撮像画像の輝度を補正するための「輝度補正処理」（ステップＳ１２０）と、撮像感度を制御するための「感度制御処理」（ステップＳ１４０）と、が並行して実行される。これらの処理を、図４および図５に示すフローチャートを参照して説明する。

まず、「輝度補正処理」を、図４に示すフローチャートを参照して説明する。処理が開始されると、画像判別部２１４により、検出された被写体部分の撮像画像間での変化量が、所定の許容範囲内にあるか否かを判別される（ステップＳ１２１）。

ここでは、被写体の変化量が許容範囲内にあるか否かにより、マルチプレーン処理が可能であるか否かの判別がなされる。すなわち、本実施形態にかかるマルチプレーン処理は、上述したように、撮像画像の輝度成分を加算する画像合成をおこなうものであるため、画像合成により不自然な動画とならないようにする必要がある。よって、連続する撮像画像間で検出された被写体に変化がない場合や、変化があっても位置合わせをおこなうことのできる変化のしかたや変化量である場合にマルチプレーン処理がおこなえることになる。

ここで、被写体変化と許容範囲の例を、図６を参照して説明する。ここでは、本実施形態にかかるデジタルカメラ１が顔認識機能を備えているものとし、顔認識機能によって人間の顔が被写体として検出された場合を例に以下説明する。

図６において、図６（ａ）は、ある撮像画像の例を示し、図６（ｂ）〜図６（ｉ）は、図６（ａ）に示した撮像画像に連続する撮像画像の例を示している。つまり、図６（ｂ）〜図６（ｉ）に示す撮像画像で検出された被写体と、図６（ａ）に示す撮像画像で検出された被写体とを比較することで、被写体の変化のしかたや変化量が検出される。

図６（ｂ）は、検出された被写体の位置が、図６（ａ）に示す被写体の位置からズレており、そのズレ量が微小である場合を示している。このような微小な位置ズレの場合は、両画像の位置合わせをおこなっても画像全体の変化が微小であるので、マルチプレーン処理によって合成しても問題がない。よって、位置ズレのズレ量が微小である場合には、許容範囲内である（ＯＫ）と判別される。

一方、図６（ｃ）は、検出された被写体の位置が、図６（ａ）に示す被写体の位置からズレており、そのズレ量が大きい場合を示している。このような大きな位置ズレの場合は、両画像の位置合わせをおこなうと画像全体も大きく変化してしまうので、マルチプレーン処理の合成には適さない。よって、位置ズレのズレ量が大きい場合には、許容範囲外である（ＮＧ）と判別される。

すなわち、検出された被写体に位置ズレがある場合は、位置合わせによる影響に基づいてズレ量についての許容範囲が規定されることになる。この場合、ズレ量と画像変化の影響は、画像全体のサイズ（画素数）などによって相対的に異なるため、撮像画像の画像サイズに応じて予め規定されるものとする。例えば、「被写体の位置ズレにおける横方向および縦方向それぞれのズレ量が、その画像の横方向および縦方向画素数の１％未満であれば許容範囲内である」、などと規定する。

図６（ｄ）および図６（ｅ）は、撮像画像間で被写体の角度ズレがある場合の例を示している。この場合も、ズレ量分の角度で画像全体を回転させることで位置合わせをおこなうことができるが、回転角度が大きいと、画像全体の形状が規定のフォーマットと異なってしまう。よって、角度ズレについても、そのズレ量（角度）が微小である場合（図６（ｄ））は、許容範囲内（ＯＫ）とすることができ、大きい場合（図６（ｅ））は、許容範囲外（ＮＧ）となる。

角度については、画像サイズなどにかかわらず、角度の大きさと位置合わせによる影響とが絶対的な関係となるので、例えば、「角度ズレのズレ量（角度）が１度未満であれば許容範囲内である」、などと規定することができる。

図６（ｆ）〜図６（ｉ）は、いずれも、許容範囲外（ＮＧ）となる被写体変化の例を示している。図６（ｆ）は、連続する撮像画像間で、検出された被写体の大きさが変化した例を示している。例えば、高速動画撮像中にズーム操作がなされた場合や、被写体とデジタルカメラ１との距離が変化した場合などが相当する。このように被写体の大きさが変化してしまうと、画像上での位置に大きな変化がない場合であっても、被写体を示している領域の範囲が異なっているため、輝度成分の加算による合成をおこなうと、被写体部分がブレたようになってしまうので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の大きさが変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。

図６（ｇ）は、被写体の向きが変化した例を示している。輝度成分の加算による画像合成は、ほぼ同じ被写体画像である必要があるが、向きが変化してしまった場合は、同じ被写体であっても被写体画像間では類似していないので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の向きが変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。

図６（ｈ）は、検出された被写体の形状が部分的に変化した例を示しており、例えば、被写体となっている人物の表情が変化した場合などが相当する。この場合、被写体画像を構成している要素（例えば、目、鼻、口、など）の位置が変わってしまうので、同じ被写体であっても被写体画像間では類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の形状が部分的に変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。

図６（ｉ）は、検出された被写体の形状が全体的に変化した例を示しており、例えば、シーンチェンジなどにより、別の被写体に変わった場合などが相当する。この場合は、被写体自体が異なるため、被写体画像間で類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体全体の形状が変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。

このようにして、連続する撮像画像間で検出された被写体の変化と、その変化量に基づいて、比較された撮像画像を用いたマルチプレーン処理をおこなえるか否かが判別される。なお、図６に示した例などに基づく判別基準を示す情報が、記憶部２５０に予め格納されているものとし、画像判別部２１４は、記憶部２５０に格納されている判別基準を参照して判別をおこなう。

ここで、被写体の変化量が許容範囲内であると判別した場合（ステップＳ１２１：Ｙｅｓ）、画像判別部２１４は、少なくとも、被写体の変化量が検出された連続する２枚の撮像画像を用いたマルチプレーン処理が可能である（「ＯＫ」）と判別し、その旨をフレーム画像生成部２１５に通知する。

フレーム画像生成部２１５は、画像判別部２１４からの通知を受けると、判別結果が連続して「ＯＫ」となっている撮像画像（以下、「連続ＯＫ画像」とする）の枚数（以下、「連続枚数」とする）を計数し（ステップＳ１２２）、連続ＯＫ画像の輝度値を加算する（ステップＳ１２３）。

フレーム画像生成部２１５は、輝度値を加算した連続ＯＫ画像のそれぞれについて、例えば、各撮像画像に付加されているExifデータを参照することなどにより、当該画像の撮像時に設定されていた撮像感度を認識する。そして、連続ＯＫ画像のすべてが「高感度」である場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２３で算出した加算値を、ステップＳ１２２で計数した連続ＯＫ画像の枚数で除することで（ステップＳ１２５）、連続ＯＫ画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理（１）」（図３）のフローに戻る。

つまり、高感度撮像では、撮像画像の輝度が十分であるため、輝度値を加算すると露出オーバーとなる。よって、輝度の加算値を平均する加算平均をおこなうことで適正露出とする。また、高感度撮像ではノイズが多くなるが、ノイズ成分は撮像画像毎にランダムに発生しているので、加算平均をおこなうことでノイズは低減する。

一方、連続ＯＫ画像のすべてが高感度撮像によって得られたものではない場合（ステップＳ１２４：Ｎｏ）、すなわち、連続ＯＫ画像のすべてが低感度撮像で得られているか、高感度撮像で得られた画像と低感度撮像で得られた画像が混在している場合、フレーム画像生成部２１５は、ステップＳ１２２で計数した連続ＯＫ画像の枚数と、各画像の撮像感度から係数αを算出する（ステップＳ１２６）。

ここで、「高速動画撮像処理（１）」（図３）のステップＳ１０２で設定された撮像感度（高感度）が、設定されたフレームレートを基に適正露出とする感度であるため、フレーム画像生成部２１５は、連続ＯＫ画像のそれぞれの撮像感度に基づいて、ステップＳ１２３で算出した輝度の加算値が、適正露出時の輝度となるような係数αを算出する。

よって、ステップＳ１２３で算出した輝度の加算値に、ステップＳ１２６で算出した係数αを乗じることで（ステップＳ１２７）、連続ＯＫ画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理（１）」（図３）のフローに戻る。

このような「輝度補正処理」と並行して実行される「感度制御処理」を、図５に示すフローチャートを参照して説明する。

処理が開始されると、画像判別部２１４により、検出された被写体変化量が許容範囲内（「ＯＫ」）であるか否（「ＮＧ」）かの判別がおこなわれ（ステップＳ１４１）、判別結果を撮像感度制御部２１３に通知する。

撮像感度制御部２１３は、画像判別部２１４から通知された判別結果が「ＯＫ」である場合（ステップＳ１４１：Ｙｅｓ）、現在設定している撮像感度が、「高速動画撮像処理（１）」（図３）のステップＳ１０２で設定した撮像感度（すなわち、高感度）であるか否かを判別する（ステップＳ１４２）。

現在設定されている撮像感度が高感度である場合（ステップＳ１４２：Ｙｅｓ）、撮像感度制御部２１３は、撮像感度を低感度に変更し（ステップＳ１４３）、現在設定されている撮像感度が低感度である場合（ステップＳ１４２：Ｎｏ）は、撮像感度の変更をおこなわずに、「高速動画撮像処理（１）」（図３）のフローに戻る。

つまり、高速動画撮像の場合、フレームレートが高いため、通常、撮像画像間での変化は小さい。よって、変化量が許容範囲内であると判別された場合は、その後に続く撮像画像においても同様の傾向となる可能性が高い。この場合、マルチプレーン処理によって輝度を向上させることができるので、撮像感度を下げても適正露出とすることができる。このため、被写体の変化量が許容範囲内であると判別された場合には、高速動画撮像においてデフォルトとなっている高めの撮像感度を下げることで、高感度撮像時に発生するノイズの低減を図る。

一方、判別結果が「ＮＧ」である場合（ステップＳ１４１：Ｎｏ）、撮像感度制御部２１３は、現在設定されている撮像感度が低感度であるか否かを判別する（ステップＳ１４４）。判別された撮像感度が低感度である場合（ステップＳ１４４：Ｙｅｓ）は、撮像感度を高感度に変更し（ステップＳ１４５）、高感度である場合（ステップＳ１４４：Ｎｏ）は、撮像感度の変更をおこなわずに、「高速動画撮像処理（１）」（図３）のフローに戻る。

つまり、被写体の変化量が許容範囲外となった場合、当該撮像画像を用いたマルチプレーン処理による輝度補正がおこなえないので露出不足となるが、このような状態が連続する場合に備え、撮像感度を高感度に再度変更することで、適正露出の撮像画像が得られるようにする。

「高速動画撮像処理（１）」（図３）のフローでは、上述した「輝度補正処理」での処理結果を用いて、フレーム画像生成部２１５がフレーム画像の生成をおこなう（ステップＳ１０８）。

すなわち、被写体の変化量が許容範囲内となる撮像画像が連続している間は、マルチプレーン処理によって輝度補正された画像データによってフレーム画像が生成される。また、例えば、シーンチェンジなどにより、被写体の変化量が許容範囲外となった場合には、マルチプレーン処理による輝度補正をおこなわず、そのときの撮像画像でフレーム画像を生成する。

フレーム画像生成部２１５により１つのフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップＳ１０５以降の処理が繰り返し実行される（ステップＳ１０９：Ｎｏ）。

そして、ユーザが操作部３３０を操作することで撮像終了指示が入力されたり、画像メモリ２３０の記憶容量などに基づいて規定される撮像可能時間や撮像可能データ量の上限に達したりするなどの終了イベントが発生すると（ステップＳ１０９：Ｙｅｓ）、高速動画撮像動作を停止するよう撮像制御部２１２が撮像部１００を制御することで本処理を終了する。

なお、フレーム画像生成部２１５によって生成されたフレーム画像は、時系列順に編成され、再生対象となる動画像データとして外部記憶部２６０などに保存される。

以上説明した「高速動画撮像処理（１）」による動作例を、図７を参照して説明する。図７は、撮像部１００の高速撮像動作によって得られた撮像画像（Ｃ１〜Ｃ８）と、撮像画像間での被写体変化量に基づく判別結果（「ＯＫ」か「ＮＧ」か）、撮像感度の切替タイミング、および、生成されたフレーム画像（Ｆ１〜Ｆ８）を時系列に沿って模式的に示したものである。

この例では、単位時間あたりの露光時間および絞りが一定であるものとする。すなわち、撮像状況に応じた露出制御をおこなわない撮像動作とする。

「高速動画撮像処理（１）」では、撮像開始時の撮像感度がデフォルトの「高感度」であるため、最初の撮像画像Ｃ１は、高感度で撮像されている。よって、撮像画像Ｃ１については、適正露出となっているので、最初のフレーム画像Ｆ１は、撮像画像Ｃ１をそのまま用いたものになる。

２枚目の撮像画像Ｃ２が得られると、連続する撮像画像Ｃ１とＣ２の間で被写体変化量を検出することができる。ここで、撮像画像Ｃ１とＣ２との間で検出した被写体変化量に基づく判別結果が「ＯＫ」である場合、２枚目のフレーム画像であるＦ２は、撮像画像Ｃ１とＣ２を用いたマルチプレーン処理によって生成される。この場合、Ｃ１およびＣ２は、いずれも高感度撮像によって得られているので、マルチプレーン処理では加算平均がなされる。

また、判別結果が「ＯＫ」であるため、撮像感度がデフォルトの「高感度」から「低感度」に変更される。すなわち、３枚目の撮像画像Ｃ３は、低感度撮像によって得られたものになる。

連続する撮像画像Ｃ２とＣ３の判別結果も「ＯＫ」であると、撮像画像Ｃ１〜Ｃ３が「連続ＯＫ画像」となる。よって、撮像画像Ｃ３に対応するフレーム画像Ｆ３は、撮像画像Ｃ１〜Ｃ３を用いたマルチプレーン処理によって輝度補正がなされる。

この場合、Ｃ１およびＣ２は高感度撮像により得られ、Ｃ３は低感度撮像によって得られているため、Ｃ１〜Ｃ３の輝度値を加算した後、撮像感度と枚数に基づいて算出された係数αを乗じることで、輝度補正がなされる。

ここで、撮像画像Ｃ４とＣ５の間で、例えば、シーンチェンジなどが発生した場合、撮像画像Ｃ４とＣ５の被写体変化量は許容範囲外（ＮＧ）となる（ここでは撮像対象が別の被写体になったものとする）。この場合、マルチプレーン処理はおこなわないので、撮像画像Ｃ５がフレーム画像Ｆ５となる。

撮像画像Ｃ２とＣ３の間で撮像感度が「低感度」に変更されているので、撮像画像Ｃ５は低感度撮像によって得られている。この場合、マルチプレーン処理による輝度補正がなされていないので、フレーム画像Ｆ５は露出不足となってしまう。

また、判別結果が「ＮＧ」であったことで、判別結果が「ＯＫ」である撮像画像の連続ではなくなる。つまり、撮像画像Ｃ５以降については、それ以前の連続ＯＫ画像とは関連せず、連続ＯＫ画像となるか不明であるため、撮像感度をデフォルトの「高感度」に戻す。

この場合、次の撮像画像Ｃ６については高感度撮像となるので適正露出となる。このとき、Ｃ５とＣ６の間での判別結果が「ＯＫ」であれば、撮像画像Ｃ６に対応するフレーム画像Ｆ６は、Ｃ５とＣ６を用いたマルチプレーン処理で輝度補正されたものになる。この場合、Ｃ５は低感度撮像であり、Ｃ６は高感度撮像であるため、係数αを用いたマルチプレーン処理となる。

このように、撮像画像間の被写体変化量に基づいて、マルチプレーン処理をおこなえると判別された場合には撮像感度を下げるので、高感度撮像によって発生するノイズを低減することができる。そして、低感度撮像で得られた撮像画像が含まれる場合には、マルチプレーン処理によって輝度補正されるので、撮像画像のそれぞれが露出不足となっていても、適正露出のフレーム画像が生成されるので、全体として適正露出を維持しつつ、ノイズの低減を図ることができる。また、マルチプレーン処理の対象となる画像がすべて高感度撮像で得られている場合は、加算平均によりノイズの低減が図られる。

「高速動画撮像処理（１）」による他の動作例を、図８を参照して説明する。この例では、単位時間毎の露光時間や絞りを制御することで、露出（Ｅｖ値）が一定となるよう露出制御されているものとする。

このような露出制御により、各撮像画像は適正露出となっているので、１枚目のフレーム画像（Ｆ１）や、判別結果が「ＮＧ」となった時のフレーム画像（Ｆ５）以外のフレーム画像は、すべて加算平均によるマルチプレーン処理を適用することができる。この場合、１枚目のフレーム画像（Ｆ１）や、判別結果が「ＮＧ」となった時のフレーム画像（Ｆ５）についてはノイズ低減効果が得られないが、それ以外の多くのフレーム画像においては、加算平均によるノイズ低減効果が得られるとともに、係数αを用いたマルチプレーン処理をおこなわないので、処理負荷が軽減される。

このように、適正露出となる撮像画像が連続して得られるのであれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。したがって、撮像感度を高感度とすることによってすべての撮像画像を適正露出とすれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。この場合の動作例を、実施形態２として以下に説明する。

（実施形態２）
本実施形態にかかる「高速動画撮像処理（２）」を、図９に示すフローチャートを参照して説明する。この「高速動画撮像処理（２）」も、実施形態１における「高速動画撮像処理（１）」と同様、高速動画撮像モードが設定されたことを契機に開始される。

処理が開始されると、実施形態１の「高速動画撮像処理（１）」におけるステップＳ１０１と同様の動作により、動作モード処理部２１１が、高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ２０１）。

次に、撮像感度制御部２１３により撮像感度が設定されるが、実施形態１と同様に、高速動画撮像のデフォルトである「高感度」を設定する（ステップＳ２０２）。

そして、デジタルカメラ１のユーザが操作部３３０を操作することで、撮像開始指示が入力されると（ステップＳ２０３：Ｙｅｓ）、撮像制御部２１２が撮像部１００を制御することで高速動画撮像が開始され（ステップＳ２０４）、フレーム画像生成部２１５が、１枚目の撮像画像を用いて１枚目のフレーム画像を生成する（ステップＳ２０５：Ｎｏ、ステップＳ２０８）。撮像画像が２枚目以降になると、画像判別部２１４により、各撮像画像での被写体検出（ステップＳ２０６）、撮像画像間での被写体変化量の検出（ステップＳ２０７）がおこなわれ、検出結果に基づいて「輝度補正処理」（図４）が実行される（ステップＳ１４０）。

本実施形態では、実施形態１と異なり、「感度制御処理」（図５）はおこなわない。よって、ステップＳ２０２で設定した撮像感度（高感度）のまま撮像動作がおこなわれる。よって、すべての撮像画像が高感度撮像で得られることになるため、２枚目以降のフレーム画像については、すべて加算平均によるマルチプレーン処理がおこなわれる（ステップＳ１４０、ステップＳ２０８）。

このような動作を所定の終了イベントが発生するまで繰り返しおこない（ステップＳ２０９：Ｎｏ）、終了イベントの発生とともに（ステップＳ２０９：Ｙｅｓ）、高速動画撮像動作を終了する（ステップＳ２１０）。

このような「高速動画撮像処理（２）」による動作を、図１０を参照して説明する。図１０は、実施形態１で示した図７または図８と同様の模式図である。

本実施形態の場合、高速動画撮像をおこなっている間、撮像感度が「高感度」に設定されているため、撮像画像Ｃ１〜Ｃ８のすべてが高感度撮像による適正露出の画像となっている。

よって、１枚目のフレーム画像（Ｆ１）と、判別結果がＮＧとなったときのフレーム画像（Ｆ５）以外のフレーム画像については、加算平均によるマルチプレーン処理がなされているので、適正露出が維持されるとともに、ノイズの低減が図られている。

このような動作であれば、感度制御をおこなう必要がないため、処理負荷が軽減する。また、フレーム画像の大部分において、加算平均によるマルチプレーン処理がなされるので、高感度で撮像していてもノイズを低減することができる。

（実施形態３）
上記各実施形態では、フレームレートに基づく単位時間毎に１枚の撮像画像を取得していたが、例えば、比較的低いフレームレート（例えば、１５０ｆｐｓなど）が設定された場合、高フレームレート時よりも単位時間が長くなるため、同じ撮像能力である場合、単位時間毎に複数回の撮像動作をおこなうことができる。あるいは、より高速なイメージセンサを使用した場合には、高フレームレート（例えば、３００ｆｐｓ）であっても、単位時間毎に複数回の撮像動作をおこなうことができる。

このように、フレームレートに基づく単位時間毎に複数の撮像画像が得られる場合に好適な処理を、図１１および図１２を参照して説明する。この場合に実行される「高速動画撮像処理（３）」を、図１１に示すフローチャートを参照して説明する。本処理の開始条件などは、上記各実施形態の場合と同様である。

処理が開始されると、動作モード処理部２１１が高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ３０１）。動作モード処理部２１１は、撮像部１００の動作能力などに基づき、設定されたフレームレートによる単位時間内に複数枚の撮像が可能であるか否かを判別する（ステップＳ３０２）。

ここで、単位時間内に複数枚の撮像ができない場合（ステップＳ３０２：Ｎｏ）は、本処理を終了する。この場合、上記実施形態１または実施形態２で例示した処理がおこなわれる。

一方、単位時間に複数枚の撮像が可能である場合（ステップＳ３０２：Ｙｅｓ）、動作モード処理部２１１は、その旨を撮像感度制御部２１３に通知する。この場合、撮像感度制御部２１３は、ステップＳ３０１で設定したフレームレートに基づく単位時間を露光時間とした場合に適正露出となる撮像感度（高感度）を算出し（ステップＳ３０３）、算出した撮像感度（高感度）の値を、単位時間に撮像可能な枚数で除算した値の撮像感度（低感度）を設定する（ステップＳ３０４）。

そして、デジタルカメラ１のユーザが操作部３３０を操作することで、撮像開始指示が入力されると（ステップＳ３０５：Ｙｅｓ）、撮像制御部２１２が撮像部１００を制御することで高速動画撮像が開始される（ステップＳ３０６）。

この場合、撮像制御部２１２は、ステップＳ３０１で設定されたフレームレートに基づく単位時間毎に複数枚の撮像画像を得る撮像動作をおこなうよう撮像部１００を制御する（ステップＳ３０７）。

すなわち、図１２に示すように、各単位時間に複数の撮像画像が得られることになる（図１２では、各単位時間に３枚の撮像画像が得られる例を示している）。

このような撮像動作によって撮像画像が画像メモリ２３０に展開されると、フレーム画像生成部２１５は、各単位時間で得られた複数の撮像画像でマルチプレーン処理をおこなうことで（ステップＳ３０８）、当該単位時間に対応するフレーム画像を生成する（ステップＳ３０９）。

図１２の例の場合、最初の単位時間で得られた撮像画像Ｃ１１〜Ｃ１３の輝度成分を加算平均することで、当該単位時間に対応するフレーム画像Ｆ１が生成され、以降の各単位時間においても同様の動作でフレーム画像が生成される。

１つの単位時間についてのフレーム画像を生成すると、所定の終了イベントが発生するまでステップＳ３０７以降の処理をおこなうことで（ステップＳ３１０：Ｎｏ）、フレーム画像が生成される。

そして、終了イベントの発生とともに（ステップＳ３１０：Ｙｅｓ）、高速動画撮像動作を終了して（ステップＳ３１１）、本処理は終了する。

このような動作によれば、撮像画像を用いたマルチプレーン処理によってすべてのフレーム画像を生成するので、撮像感度を終始「低感度」とすることができる。このため、高感度撮像によるノイズが発生しない。また、撮像感度を切り替えないため、処理負荷が低減する。

さらに、マルチプレーン処理をおこなえるか否かの判別をおこなわないので、この判別動作だけでなく、判別に必要となる被写体検出動作も不要となり、処理負荷が大幅に軽減される。

以上説明したように、本発明を上記実施形態の如く適用することにより、高速動画撮像時のノイズを低減することができる。

この場合において、撮像画像の輝度値を加算平均するマルチプレーン処理をおこなったり、マルチプレーン処理によって適正露出にできる場合には撮像感度を低感度に変更したりするので、高感度撮像により発生するノイズを低減させることができる。

ここで、各撮像画像で被写体検出をおこない、連続する撮像画像間での被写体変化量に基づいて、マルチプレーン処理をおこなえるか否かの判別をおこなうので、撮影内容に応じた効果的なノイズ低減を図ることができる。

また、マルチプレーン処理の際には、対象となる撮像画像についての撮像感度（適正露出か露出不足か）に応じてマルチプレーン処理の方法を変えるので、適正露出としつつ、ノイズ低減を図ることができる。

また、撮像感度を一定とした場合は、マルチプレーン処理の方法を変えることなくノイズ低減を図ることができるので、処理負荷を軽減することができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、図６に示した被写体変化と判別結果は一例であり、マルチプレーン処理の適否を判別できるものであれば、判別条件は任意である。

また、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置として機能させることもできる。この場合、高速動画撮像機能を有する撮像装置であれば、本発明の適用により、高速動画撮像時の高感度撮像に起因するノイズの発生を低減させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…撮像感度制御部、２１４…画像判別部、２１５…フレーム画像生成部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部

Claims (10)

1. 動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
   前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
   前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
   前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、
   連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する判別手段と、を備え、
   前記感度設定手段は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
   前記感度制御手段は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
   ことを特徴とする撮像装置。
2. 前記マルチプレーン処理手段は、対象となる前記複数の撮像画像のすべてが、前記感度設定手段が設定した撮像感度で撮像された場合、当該複数の撮像画像を加算平均するマルチプレーン処理をおこなう、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記マルチプレーン処理手段は、対象となる前記複数の撮像画像についての撮像感度に、前記感度制御手段によって変更された撮像感度が含まれる場合、当該複数の撮像画像の枚数と撮像感度とに基づいて係数を算出し、当該複数の撮像画像の輝度についての加算値に前記係数を乗じるマルチプレーン処理をおこなう、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
   前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
   前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
   前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、を備え、
   前記感度制御手段は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記感度設定手段が設定した撮像感度の変更をおこなわない、
   ことを特徴とする撮像装置。
5. 前記感度設定手段は、前記動画撮像にかかるフレームレートに基づいた適正露出とするための撮像感度を設定する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段が、前記動画撮像にかかるフレームレートに基づく単位時間に複数の撮像画像を得られる場合、前記感度設定手段は、当該単位時間に得られる撮像画像の枚数と、当該単位時間を露光時間とした場合に適正露出となる撮像感度とに基づいて撮像感度を設定し、
   前記マルチプレーン処理手段は、前記単位時間毎に得られる前記複数の撮像画像を加算するマルチプレーン処理をおこなう、
   ことを特徴とする請求項４に記載の撮像装置。
7. 動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
   前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
   前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
   前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、
   連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別するステップと、を含み、
   前記設定するステップでは、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
   前記変更するステップでは、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
   ことを特徴とする撮像方法。
8. 動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
   前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
   前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
   前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、を含み、
   前記変更するステップでは、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
   ことを特徴とする撮像方法。
9. コンピュータに、
   動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
   前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
   前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
   前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
   連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する機能、
   を実現させるためのプログラムであって、
   前記設定する機能は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
   前記変更する機能は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
   ことを特徴とするプログラム。
10. コンピュータに、
    動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
    前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
    前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
    前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
    を実現させるためのプログラムであって、
    前記変更する機能は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
    ことを特徴とするプログラム。

Images