JP6727975B2 - 撮像装置、その制御方法とプログラム - Google Patents

Description

本発明は、高速なフレームレートを設定して被写体を撮像可能な撮像装置およびその制御方法、プログラムに関する。

高速なフレームレートを設定して被写体を撮像可能な撮像装置がある。取得した動画像を、撮像時よりも低速なフレームレートで再生することにより、所謂スローモーション再生を行うことができる。以下では、高速なフレームレートの設定に基づく撮像および再生が可能な動画を、高速動画と称する。高速動画は、低速なフレームレートで再生することで被写体やシーンの変化を正確に視認可能であり、かつ、通常時よりも強調して記録できるので、被写体の動きやシーンが短時間で大きく変化する場合などに有効である。例えば、フレームレート１０００fps（frames per second）で撮像された動体（被写体）の動画像を３０fpsで再生可能である。物体の落下や衝突の様子、動物や昆虫の高速な動きなどのように、目視では確認が困難な状況を正確に確認できる。

一方、高速動画の取得中に、被写体やシーンの変化に合わせてＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）／ＡＦ（ＡｕｔｏＦｏｃｕｓ）／ＷＢ（ＷｈｉｔｅＢｌａｎｃｅ）等の処理を実行することで、被写体の変化に滑らかに追従した動画像を取得できる。動画撮影中のＡＥ処理では、撮像素子により取得されたデータから輝度成分を抽出し、抽出された輝度成分に基づいて適切な明るさの画像になるように露出制御が行われる。高速動画の取得時には撮像素子の駆動周期が短く、高速であるため、当該駆動周期ごとにＡＥ処理を完了できない場合が起こり得る。この場合、高速動画を再生した際に被写体の明るさが不自然に変化する可能性がある。特許文献１では、事前に計測した被写体の明るさの変化に基づくタイムテーブルに従って、露光時間およびゲインの少なくとも一方を変化させる技術が開示されている。

特開２０１２−１５６８０５号公報

しかしながら、特許文献１に開示の技術では、事前に計測した被写体の明るさの変化に基づいて露出が制御されるので、事前に計測されていない被写体の明るさの変化には対応できない。
本発明の目的は、被写体の輝度変化に対して、被写体画像の不自然な明るさの変化を抑制することである。

本発明の一実施形態の装置は、撮像素子から画像データを取得して処理する撮像装置であって、被写体の輝度の情報を用いて前記撮像素子への露光量を制御する制御手段と、前記画像データと、当該画像データが前記制御手段によって露出制御の行われたタイミングで取得された第１の画像データであるか、または前記制御手段によって露出制御の行われたタイミングで取得されていない第２の画像データであるかを示す付加情報とを記憶する記憶手段と、前記第１の画像データの露光量から前記第２の画像データに対する輝度補正量を算出する算出手段と、前記記憶手段から前記画像データおよび付加情報を取得して現像処理を行う画像処理手段と、を備える。前記画像処理手段は、前記記憶手段から前記第１の画像データを取得した場合、前記輝度補正量を用いた輝度補正を行わず、前記記憶手段から前記第２の画像データを取得した場合に、前記輝度補正量を用いて前記第２の画像データの輝度補正を行う。

本発明によれば、被写体の輝度変化に対して、被写体画像の明るさが不自然に変化することを抑制できる。

本発明の実施形態に係る撮像装置の全体構成を例示するブロック図である。 本実施形態に係る撮像装置の外観図である。 撮像素子の撮像周期に対してＡＥ処理が間に合わない様子を示す図である。 図３の露出制御の状態を示すタイミング図である。 本実施形態における露出制御の状態を示すタイミング図である。 画像の一時記憶と画像処理の説明図である。 図５とは異なる補正例を示すタイミング図である。 本実施形態における全体的な動作を説明するフローチャートである。 動画の画像処理を説明するフローチャートである。

以下、図面に沿って本発明の実施形態を説明する。図１は本実施形態に係る撮像装置のシステム全体を示すブロック図である。レンズユニット１０は被写体からの光を集光して結像させる撮像光学系を構成する。機構部駆動回路１６は、レンズユニット１０内の可動レンズを光軸方向に沿って駆動することで焦点調節や画角調節を行う。また機構部駆動回路１６は、手ぶれなどによるカメラのブレに応じて補正レンズを、光軸方向と異なる方向に駆動することで像ブレ補正を行う。像ブレ補正については撮像部２０の移動制御によっても同様に実現可能である。

レンズユニット１０を通過した光は光量調節機構を介して、光量を調節可能である。図１には、開口径を変化させる光彩絞り１３、光透過量を低下させるＮＤ（Neutral Density）フィルタ１４、全閉により遮光するメカニカルシャッタ１２を例示し、用途に応じて使い分けが可能である。光彩絞り１３、ＮＤフィルタ１４、メカニカルシャッタ１２は機構部駆動回路１６によって駆動制御される。

撮像部２０はＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサなどの撮像素子を備える。撮像素子は、レンズユニット１０および光量調節機構を通過した光を受光し、光電変換によって画像信号を出力する。撮像部２０は撮像駆動回路２２からの駆動指示信号により動作し、撮像素子への露光、露光量の調節、露光データの読み出し、読み出された画像信号の増幅または減衰、画像信号のＡ(Analog)／Ｄ（Digital）変換などを行う。撮像部２０から出力される画像データは、画像処理回路４０に入力されるか、または一時記憶用のメモリ４６であるＲＡＭ(Random Access Memory)に記憶される。

画像処理回路４０は、撮像部２０から直接に、あるいはメモリ４６を経由して入力された画像データに対し、画像処理や画像解析などの様々な処理を行う。例えば、撮像時の露出合わせ(AE:AutoExposure)やピント合わせ(AF:AutoFocus)にて画像処理回路４０は、撮像部２０から順次出力される画像データを用いて輝度成分や周波数成分を抽出する。抽出された信号成分のデータを評価値として用いることで自動露出制御や自動焦点調節が行われる。

また画像処理回路４０は、撮像部２０から得た画像データを現像処理して画質を調節する。つまり、色合い、階調、明るさなどを適切に設定して鑑賞に適した写真に仕上げる処理が実行される。また画像処理回路４０は、入力された画像の一部の切り出しや、画像の回転、画像の合成などの各種処理を行うことができる。さらに画像処理回路４０は、入力された画像内における被写体の検出、例えば人物の顔を代表とする特定のオブジェクトを検出する。画像内における人物の顔の位置、大きさ、傾き、顔の確からしさを示す情報などを得ることができる。また、検出した被写体人物の顔の特徴情報を抽出することで、被写体が特定の個人であるか否かを認証することができる。認証にあたっては、ＲＯＭ（Read Only Memory）４８に記憶されている個人の特徴情報が読み出され、画像処理回路４０は特徴情報を比較して一致処理を行い、登録済みの個人情報と一致するか否かを判別する。また、画像処理回路４０は被写体人物の顔の詳細な解析を行い、例えば被写体人物の眼を解析して視線方向を検出することができる。

システム制御部４２は撮像装置全体の制御を統括する。システム制御部４２はＣＰＵ（中央演算処理装置）を備え、所定の制御プログラムを実行することにより、後述の処理を行う。操作部４４はユーザが操作する操作部材やタッチパネルなどを備え、ユーザの操作指示信号をシステム制御部４２に出力する。システム制御部４２は操作指示信号を受け付けて各種の処理を実行する。例えばストロボユニット３０の発光制御にてシステム制御部４２は、発光制御回路３２に制御指示を出力し、ストロボユニット３０の発光や消光を制御する。

表示装置５０はＬＣＤ（Liquid Crystal Display）などの表示デバイスを備える。表示装置５０は、画像処理回路４０が現像処理した画像データにしたがって画面上に画像を表示し、また文字やアイコンなどを表示することでユーザに情報を提示する。

撮像装置１００に対して外部メモリ９０の挿入や、外部機器９２を接続することができる。ユーザが撮像装置１００に外部メモリ９０を挿入して外部メモリＩ／Ｆ（インタフェース）部５２に接続し、または外部機器９２を外部機器Ｉ／Ｆ部５４に接続することができる。これにより、撮像装置１００と外部メモリ９０、外部機器９２との間で、画像データや、互いの機器を動作させるコマンド情報などを送受することができる。

図２を参照して、撮像装置１００の外観を説明する。図２（Ａ）は撮像装置１００を正面側から見た場合の模式図、図２（Ｂ）は撮像装置１００を背面側から見た場合の模式図である。以下では、被写体側を前面側とし、被写体側から見た場合の上下左右を定義することにより、各部の位置関係を説明する。

撮像装置１００の前面部にはレンズユニット１０が配置され、被写体を撮像する。レンズユニット１０の右上には、ストロボユニット３０が配置されている。被写体の明るさが暗い場合に、ストロボユニット３０を発光させることで十分な光量を得ることができる。つまり、暗い撮影環境でも速いシャッタ速度を保ち、好適な画像を得ることができる。ユーザは、操作部材２００,２０２,２１０,２２０,２２２,２２４,２２６,２２８を用いて撮像装置１００に対して各種の操作指示を行う。これらの操作部材は操作部４４（図１）に含まれ、電源投入、撮影モードの切り替え、各種設定などの際にユーザが使用し、操作指示に応じた機能が発動する。

以下、撮像装置１００において、高速フレームレートの設定で撮像動作が行われる場合に、被写体の明るさの変化に追従するＡＥ制御を実現する方法について説明する。高速動画の撮影では、高速フレームレートの設定に基づく撮像動作が行われる。高速フレームレートとは、所定の閾値以上のフレームレートであり、撮像装置１００の仕様やユーザの操作設定に応じて事前に決定されているものとする。図３から図７を参照して具体例を説明する。

図３は、高速フレームレートで撮像素子を駆動した際、撮像周期に対してＡＥ処理が間に合わない様子を示した図である。時間の経過方向は、図３の左方から右方への方向とする。垂直同期信号３０１を“VD”と表記し、撮像素子の露光動作３０３は垂直同期信号３０１に同期して行われる。数字１から４０は露光回数に対応する。撮像素子は垂直同期信号３０１の周期で駆動され、１周期で１回の露光動作が行われ、画像データが取得される。評価値の取得タイミング３０５は、撮像素子が露光されて、撮像素子より読み出されたデータからＡＥ処理に適した評価値が抽出される時点を示す。図３の例では、第１、８、１５、２２、２９、３６回目の露光にそれぞれ対応して、各評価値が取得される様子を示す。ＡＥ演算３０７は、第１、８、１５、２２、２９、３６回目の露光にそれぞれ対応するＡＥ演算の期間を示す。被写体の明るさを好適にするために、取得された評価値から輝度成分を抽出する処理が実行される。

評価値を評価するＡＥ演算が行われる際、評価値は撮像画像内を複数の領域に分割して取得可能である。分割数に応じて評価値の情報量は増減する。評価値の情報量が増えるほど、ＡＥ演算にかかる時間は延びる傾向がある。撮像素子の駆動周期との関係にもよるが、ＡＥ演算の結果を撮像動作に反映できる撮像タイミングが遅延していく可能性がある。図３では、１回目の露光の評価値を取得してＡＥ演算が行われ、そのＡＥ演算結果が８回目の露光（被写体の撮像動作）に反映されたことを示している。換言すれば、２回目から７回目の露光に対応する画像については、ＡＥ演算中であるため露光量の制御に使用できなかった（露出制御を実行できなかった）ことを示している。撮像された画像（動画像）の輝度変化をグラフ３０９に示す。輝度のプラス側は露出オーバー側に対応し、マイナス側は露出アンダー側を示す。±０は適正露出であることを示す。

輝度変化のグラフ３０９に示すとおり、被写体輝度がオーバーになってから、適正露出（±０）まで収束させる制御が行われる際、露光量の制御が間に合った露光回数は第８、１５、２２、２９、３６回目となり、露光量変化が階段状になっている。動画を再生して閲覧する際、露出制御ができた区間３１３と、露出制御ができなかった区間３１５を、両向きの矢印でそれぞれ示す。区間３１３の長さは、区間３１５の長さに比べて短く、交互に発生している。このように、輝度変化が階段状になることで、滑らかな輝度変化を実現できず、画像の品位が低下する可能性がある。

図４は、図３で示した露出制御に関して、露出制御デバイスごとの状態を表現したタイミング図である。時間の経過方向は、図４の左方から右方への方向とする。フレーム番号４０１として、第７フレームから第１７フレームまでを例示する。絞り値４０３は、撮像素子の露光量を調節する絞り機構の制御値に対応する。シャッタ速度４０５は、撮像素子の露光時間を調節するシャッタ機構の制御値に対応する。撮像ゲイン４０７は、撮像素子から読み出したデータのレベルを調節するゲイン部の設定値（利得値）に対応する。輝度変化のグラフ４０９は、撮像された画像（動画像）の輝度変化を示す。輝度のプラス側は露出オーバー側に対応し、±０は適正露出であることを示す。図４の例では、第８フレーム（Frame8）と第１５フレーム（Frame15）でのみシャッタ速度の切り替えを行うことができた様子を示している。

図５は、図４で示した露出に対し、本実施形態を適用した場合のタイミング図である。図４に対応する、フレーム番号５０１、絞り値５０３、シャッタ速度５０５、撮像ゲイン５０７については同様であるため、それらの説明を省略して相違点を説明する。

本実施形態では露出制御に画像処理ゲイン５１１が加わることで、滑らかな露出変化を実現できる。画像処理ゲイン５１１は、システム制御部４２からの制御指示にしたがって画像処理回路４０にて設定されるゲインである。シャッタ速度については、図４と同様にFrame8とFrame15でのみ切り換えが行われるが、画像処理ゲインの設定値５１３をFrame9〜14でフレームごとに変更する制御が行われる。図５では、画像処理ゲインの設定値５１３をマイナス側へ段階的に変化させる例を示す。輝度変化のグラフ５０９は、各フレームで輝度レベルを段階的に変化させることができた様子を示している。シャッタ速度はFrame8とFrame15にて0.2段ずつ変化しているが、その変化の間に画像処理ゲイン５１１は、-0.02〜-0.03段ずつ変化している。

ここで、絞り、シャッタ、撮像ゲインについては、所定期間内の全フレームに対して露出制御が間に合わないのに対し、画像処理ゲインの制御を所定期間内で行うことができる仕組みを説明する。図６は、主に画像データの流れを簡略化して示す、撮像装置１００内の主要部のブロック図である。撮像素子７０１は垂直同期信号にしたがう周期で駆動され、撮像画像データを順次出力する。絞り、シャッタ、撮像ゲインは、撮像素子７０１に対して効果のある露出制御手段である。絞りとシャッタは機構部駆動回路１６により制御され、撮像ゲインは撮像駆動回路２２により制御され、いずれも撮像素子７０１の駆動周期に合わせて制御される。しかしながら、撮像素子の駆動が高速になると、図３で示したように、絞り、シャッタ、撮像ゲインの制御が間に合わなくなる可能性がある。

そこで本実施形態では、撮像素子７０１から読み出した連続する画像データが一時記憶用メモリ７１１に蓄積される。その際、画像データに付加情報が関連付けられて一時記憶用メモリ７１１に保存される。付加情報とは、例えば（１）から（３）のいずれかに示す情報である。
（１） 所定の露出制御が行われたタイミングで取得された画像データであることを示す情報
（２） 所定の露出制御が行われたタイミングで取得されていない画像データであることを示す情報
（３） （１）および（２）の情報。

本実施形態では、付加情報として（１）の情報を用いる。具体的には、図３にて所定の露出パラメータ（本実施形態ではシャッタ速度）を用いた露光量の制御が間に合った露光回数８、１５、２２、２９、３６にそれぞれ対応する画像データに付加情報が付随する。この付加情報は露出条件の情報を含む。露出条件の情報とは、絞り値、シャッタ速度、撮像ゲインなどである。露光量の制御が間に合わない場合の画像データに付加情報は付随しない。また、（２）では所定の露出パラメータを用いた露光量の制御が間に合わない場合の画像データについて付加情報が付随する。この付加情報は、当該画像データよりも前に露出制御が行われたタイミングで取得された画像データに関する露出条件の情報を含む。付加情報は露出制御に応じてシステム制御部４２によって生成される。

付加情報が関連付けられた画像データ７２１（例えばFrame9からFrame15のフレーム画像データ）は一時記憶用メモリ７１１から順次読み出され、画像処理エンジン７０３にて現像処理が行われた後、記憶媒体７１３に格納される。画像処理エンジン７０３は画像処理回路４０により実現される処理機能である。読み出し後の画像データを現像する際の周期は、撮像素子７０１を駆動する周期に依存しない。すなわち、撮像素子７０１の駆動が非常に高速であったとしても、一時記憶用メモリ７１１に画像データを蓄積することで全フレームのデータの現像処理を行うことが可能となる。このとき、画像処理エンジン７０３は現像処理で任意の明るさ補正を行うことができる。付加情報に基づく画像処理ゲインの設定によって、撮像素子７０１で露出制御できなかった画像のデータに対し、明るさを調節することができる。

一時記憶用メモリ７１１の記憶容量は、撮像素子７０１の駆動周期と自動露出演算の処理時間により決定される。一時記憶用メモリ７１１に蓄積される画像データのデータ量は、少なくとも撮像素子７０１上で露出制御できなかった一連の画像群のデータを蓄積することが可能な量である。これにより、図３では階段状に不連続な変化となってしまう明るさの変化は、図５に示すとおり、現像処理での画像処理ゲインの変化にしたがって徐々に変化することになる。したがって、滑らかな輝度変化を実現できるので、画像品位の向上に寄与する。

図５では、画像処理ゲインを±０からマイナス方向に変化させて、各フレーム画像の明るさを補正する例を示したが、この限りでは無い。図７は、画像処理ゲインをプラス方向にて変化させて各フレーム画像の明るさを補正する例を示す。フレーム番号６０１、絞り値６０３、撮像ゲイン６０７については図５と同様であるため、それらの説明を省略して相違点を説明する。露光時間を決定するシャッタ速度６０５は、第７フレームでＴｖ値６．２、第８フレームから第１４フレームでＴｖ値６．４、第１５フレームから第１７フレームでＴｖ値６．６とする。図７では、シャッタ速度をあらかじめ、本来（適正シャッタ速度）よりも高速側に制御して露出アンダーの状態にしておくことで、画像処理ゲイン６１１にてゲインアップの余地を作ることがポイントである。輝度変化のグラフ６０９は、画像処理ゲイン６１１の設定値６１３の変化、つまり正値から±０への変化にしたがって、徐々に適正露出へと漸近していく。

図８および図９のフローチャートを参照して、撮像装置１００の動作を説明する。各ステップに示す処理は、撮像装置１００の主電源スイッチがＯＮ操作されて電源が投入されてから開始し、ＣＰＵが所定の制御プログラムを実行することにより実現される。図８は動作全体を示すフローチャートである。

Ｓ１０１で処理が開始し、システムが起動される（Ｓ１０３）。カメラシステムの動作に必要なＣＰＵやＬＳＩ（大規模集積回路）への電源供給、クロック信号の供給をはじめ、メモリやＯＳ（Operating System）の初期化など、基本システムの起動が行われる。

次に撮像素子７０１の起動や、鏡筒系デバイスの起動が行われる（Ｓ１０５）。鏡筒系デバイスは、撮像光学系の構成要素であるフォーカスレンズやズームレンズなどである。メカニカルシャッタや絞り機構が動作し、撮像素子７０１に外光が導かれ始める。続いて、撮像素子７０１の駆動が開始する（Ｓ１１１）。起動直後の撮影待機状態では、低フレームレートで撮像素子７０１が駆動される。低フレームレートとは、高速動画の撮像時の高速フレームレートに比べて相対的に低速なフレームレートであり、例えば、３０fpsや６０fpsなどである。この撮像駆動は、カメラ操作者が被写体をフレーミング可能なファインダの用に足る駆動である。この後で高速フレームレートでの高速動画を撮影する場合であっても、撮影前に高速フレームレートで撮像素子７０１を駆動しても画像データは記録されず、表示装置５０への全コマ表示も行われない。よって、無駄な電力消費を避けるために、低フレームレートで撮像素子７０１の駆動が行われる。

Ｓ１１３でシステム制御部４２はＡＥ、ＡＦ、ＡＷＢの制御を開始し、被写体に対して適切な明るさ、ピント、色になるように制御する。Ｓ１１５で撮影待機用の画像処理が開始する。表示装置５０に出力するライブビュー用の画像データの現像処理が開始され、カメラ操作者は表示装置５０の画面上のライブビュー映像を確認可能となる。

Ｓ１１７でシステム制御部４２は、動画撮影の開始について判断する。カメラ操作者が撮影対象を捉え、動画撮影の開始指示をシステム制御部４２が受け付けた場合、Ｓ１２１に処理を進める。動画撮影の開始指示がない場合には、当該開始指示があるまでＳ１１７の判断処理が繰り返される。Ｓ１２１でシステム制御部４２は、動画撮影用の撮像制御への切り替えを行う。動画撮影のフレームレートについてはカメラの仕様によって様々であるが、ここでは少なくとも、撮影前のフレームレート（Ｓ１１１での低フレームレート）よりも高いフレームレートで撮像素子７０１の駆動が行われるものとする。続いてシステム制御部４２は動画撮影用のＡＥ制御を開始し（Ｓ１２３）、次に動画撮影用の画像処理を開始する（Ｓ２０１）。Ｓ２０１の処理の詳細については図９を参照して後述する。

Ｓ１２７でシステム制御部４２は、動画撮影の終了について判断する。ユーザ操作により、システム制御部４２が動画撮影の終了指示を受け付けた場合、動画撮影動作を終了してＳ１１１へ処理を戻す。また動画撮影の終了指示がない場合には、動画撮影動作を続行し、Ｓ１２７の判断処理が繰り返される。

図９のフローチャートを参照して、動画撮影用の画像処理（図８のＳ２０１）について説明する。システム制御部４２は、画像処理中で一時的にメモリへ記憶する画像の数（以下、補間画像数といい、ＰｉｃＮｕｍと記す）の初期値をゼロに設定する（Ｓ２０３）。次に、露光により発生した電荷が撮像素子７０１から画像データとして読み出される（Ｓ２１１）。読み出された画像データは、露出制御に応じてシステム制御部４２により生成された付加情報が関連付けられた上で一時記憶用メモリ７１１に順次保存されていく（Ｓ２１３）。

次のＳ２１５でシステム制御部４２は、一時記憶される各画像データについてＡＥ処理によって所望の露出制御が行われたかどうかを判断する。所望の露出制御が行われなかった場合は、高速フレームレートでの露出制御が間に合わなかった画像が存在する場合に相当する。この場合、Ｓ２１７に進み、システム制御部４２は当該画像のデータを一時記憶用メモリ７１１に記憶すると共に、補間画像数ＰｉｃＮｕｍをインクリメントする。そしてＳ２１１に処理を戻す。

また、Ｓ２１７にて、高速フレームレートで所望の露出制御が行われた画像である場合、Ｓ２１９に進み、現像処理が開始する。システム制御部４２は、今回の露光量（ＮｏｗＥｘｐと記す）を取得する。露光量Ｅｘｐは、下記式（１）に示すように、絞り値Ａｖ、シャッタ速度Ｔｖ、撮像ゲインＧａｉｎから算出され、その時点のＡＥの制御目標値として位置付けられる。
Ｅｘｐ ＝ Ａｖ ＋ Ｔｖ − Ｇａｉｎ （１）

Ｓ２１９の後でＳ２１１へ進み、システム制御部４２は、所望の露出制御がされていない画像データを現像処理する際に用いる補正量を算出する。輝度補正に用いる補正量をＤｅｌｔａＥｘｐと表記する。補正量ＤｅｌｔａＥｘｐは、所望の露出制御が行われた今回の露光量ＮｏｗＥｘｐと、所望の露出制御が行われた前回の露光量（ＯｌｄＥｘｐと記す）との差分と、補間画像数ＰｉｃＮｕｍから、下記式（２）により算出される。
ＤｅｌｔａＥｘｐ ＝ （ＮｏｗＥｘｐ− ＯｌｄＥｘｐ） ／ ＰｉｃＮｕｍ （２）

次にＳ２３１でシステム制御部４２は、現像処理で使用する計数用の変数Ｎｕｍを１に初期化し、Ｓ２３３では変数Ｎｕｍの値を補間画像数ＰｉｃＮｕｍと比較する。“Ｎｕｍ＜ＰｉｃＮｕｍ”であると判定された場合、Ｓ２３５に進み、“Ｎｕｍ≧ＰｉｃＮｕｍ”であると判定された場合、Ｓ２３９に進む。

一時記憶用メモリ７１１に蓄積された画像データはFIFO（First In, First Out）順に処理される。一時記憶用メモリ７１１の残量が一時記憶の対象とする画像データのサイズより小さくなったときに、記憶された順番に画像データが読み出される。Ｓ２３５でシステム制御部４２は、Ｓ２２１の処理で求めておいた補正量ＤｅｌｔａＥｘｐに対し、計数用の変数Ｎｕｍの値を乗算し（ＤｅｌｔａＥｘｐ×Ｎｕｍ）、該当画像に用いる輝度補正量を算出する。画像処理エンジン７０３は輝度補正量を用いて、付加情報が付随しない画像データの現像処理を行う。輝度補正量は前記の画像処理ゲインに相当する。次にＳ２３７でシステム制御部４２は、計数用の変数Ｎｕｍのインクリメントを行った後、Ｓ２３３に戻って処理を続行する。所望の露出制御が行われていない画像数だけ、Ｓ２３３、Ｓ２３５、Ｓ２３７の処理が繰り返される。Ｓ２３３にて所望の露出制御が行われた画像データに該当した場合（判定結果：ＮＯ）、ループ処理を抜けてＳ２３９へ移行する。Ｓ２３９では、付加情報が付随する画像データに対して輝度補正の無い通常の現像処理が行われる。次にＳ２４１でシステム制御部４２は、今回の露光量ＮｏｗＥｘｐを、前回の露光量ＯｌｄＥｘｐに設定することで更新し、Ｓ２０３の処理に戻る。

本実施形態では、所望の露出制御がされていない画像データをメモリへ一旦蓄積し、所望の露出制御が行われた画像データが得られた時点で補間演算により求めた輝度補正量を乗算して画像処理が行われる。所望の露出制御が行われた第１の撮像画像と第２の撮像画像との間には、所望の露出制御がされていない第３の撮像画像が存在するが、当該撮像画像の明るさを適正化できる。よって、被写体の輝度変化に対して、高速動画における明るさが不自然に変化することを抑制し、良好な輝度変化の高速動画再生を実現できる。

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明は特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、前述した実施形態では、撮像素子の駆動周期とＡＥ演算との関係から、所望の露出制御が行われたとする露光に関して間隔が８フレーム程度である場合を説明した。さらに駆動周期が短い動画撮影、またはＡＥ演算の所要時間が延びるケースではこの限りでは無い。例えば、一時記憶用メモリ７１１に蓄積される画像データの数は変化するため、その変化に応じた一時記憶用メモリ７１１の記憶容量を確保してもよい。

また、上述した実施形態では、所定の露出パラメータを用いた露光量の制御が行われていない画像に対して略同一の輝度補正量にて補正を実行する構成について説明したが、これに限定されるものではない。例えば、露光量の制御が行われた画像間で取得される各画像に対する輝度補正量の総量が同一であれば、画像ごとに異なる輝度補正量を適用する構成であってもよい。また、例えば、露出補正が必要な量が比較的少ない場合などでは、所定の露出パラメータを用いた露光量の制御が行われていない画像のうち、所望の画像のみ補正処理を実行する構成であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

４０ 画像処理回路
４２ システム制御部
１００ 撮像装置

Claims (11)

1. 撮像素子から画像データを取得して処理する撮像装置であって、
   被写体の輝度の情報を用いて前記撮像素子への露光量を制御する制御手段と、
   前記画像データと、当該画像データが前記制御手段によって露出制御の行われたタイミングで取得された第１の画像データであるか、または前記制御手段によって露出制御の行われたタイミングで取得されていない第２の画像データであるかを示す付加情報とを記憶する記憶手段と、
   前記第１の画像データの露光量から前記第２の画像データに対する輝度補正量を算出する算出手段と、
   前記記憶手段から前記画像データおよび付加情報を取得して現像処理を行う画像処理手段と、を備え、
   前記画像処理手段は、前記記憶手段から前記第１の画像データを取得した場合、前記輝度補正量を用いた輝度補正を行わず、前記記憶手段から前記第２の画像データを取得した場合に、前記輝度補正量を用いて前記第２の画像データの輝度補正を行うことを特徴とする撮像装置。
2. 前記第１の画像データに関連付けられる前記付加情報は露出制御が行われたときの露出条件の情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記算出手段は、第１のフレームおよび該第１のフレームよりも後の第２のフレームでそれぞれ取得される複数の前記第１の画像データの間に存在する前記第２の画像データに対して、複数の前記第１の画像データに係る露光量の差分と、前記第２の画像データの数からフレームごとに前記輝度補正量を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記画像データから抽出される輝度成分により前記被写体の輝度の情報を取得して絞り、露光時間、または撮像ゲインを制御し、
   前記画像処理手段は、フレームごとに変更される画像処理ゲインを用いて現像処理を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段はシャッタを制御して露出アンダーの状態とし、前記画像処理手段は、前記画像処理ゲインをゲインアップさせて現像処理を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記画像処理手段は、前記第１の画像データが得られたタイミングで、前記記憶手段から取得される画像データの現像処理を開始することを特徴する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記画像処理手段は、動画像のフレームレートが閾値以上である場合に前記第２の画像データの輝度補正を行うことを特徴する請求項１から６のいずれか１項に記載の撮像装置。
8. 前記画像処理手段は、前記記憶手段の残量が前記画像データのサイズより小さくなったときに、前記記憶手段から画像データから読み出して現像処理を行うことを特徴する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記記憶手段は、前記撮像素子の駆動周期と自動露出演算の処理時間により決定される記憶容量を有することを特徴する請求項１から８のいずれか１項に記載の撮像装置。
10. 撮像素子から画像データを取得して処理する撮像装置にて実行される制御方法であって、
    被写体の輝度の情報を用いて前記撮像素子への露光量を制御手段が制御する工程と、
    前記画像データと、当該画像データが前記制御手段によって露出制御の行われたタイミングで取得された第１の画像データであるか、または前記制御手段によって露出制御の行われたタイミングで取得されていない第２の画像データであるかを示す付加情報とを記憶手段が記憶する工程と、
    前記第１の画像データの露光量から前記第２の画像データに対する輝度補正量を算出手段が算出する工程と、
    画像処理手段が前記記憶手段から前記画像データおよび付加情報を取得して現像処理を行う工程と、を有し、
    前記画像処理手段は、前記記憶手段から前記第１の画像データが取得された場合、前記輝度補正量を用いた輝度補正を行わず、前記記憶手段から前記第２の画像データが取得された場合に、前記輝度補正量を用いて前記第２の画像データの輝度補正を行うことを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の各工程を撮像装置のコンピュータに実行させるプログラム。
    
    

Images