JP6343200B2 - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特にハイダイナミックレンジ画像の生成技術に関する。

異なる露出（アンダー露出、オーバー露出）で撮影された複数枚の画像を合成して、画像のダイナミックレンジを拡大するハイダイナミックレンジ（ＨＤＲ）合成といわれる技術が知られている。この技術では、各画像の適正露出部分を合成することで、白とびや黒つぶれを抑制し、暗部から明部まで良好な階調性を有する画像を得ることができる。

ＨＤＲ合成技術は、静止画を撮影する場合のみならず、動画の撮影を行う場合にも適用可能な技術である。動画の撮影時にＨＤＲ合成（動画ＨＤＲ撮影）を行う構成には、例えば動画の各フレームに異なる露出（アンダー露出、オーバー露出）を交互に適用して撮影する構成が知られている。

特許文献１には、動画の各フレームに対してホワイトバランス制御を適用し、ホワイトバランス制御の行われた画像を用いてＨＤＲ合成する技術が開示されている。また、特許文献２には、露出を変更して連続的に撮影し、時間的に隣り合う複数枚の画像を用いてＨＤＲ合成を行う技術が開示されている。ＨＤＲ合成に係る処理では、時間的に隣り合う画像の処理をそれぞれオーバーラップさせ、最初に処理した画像における処理結果を次のＨＤＲ合成のために再利用して処理の効率化を図っている。

特開２０１２−０４９６００号公報 特許２００９−２７８５２４号公報

特許文献１に開示された技術では、ホワイトバランス制御に必要な色情報の抽出や光源情報の推定、ホワイトバランスゲインの設定等の処理を各フレームについて完了するまで、ＨＤＲ合成処理を遅延させる。このため、露出の異なる２フレームの画像を用いてＨＤＲ合成を行う場合、フレームレートが半分に低下する。一方、特許文献２に開示された技術では、時間的に隣り合う画像の一方に対する処理を再利用するため実質的にフレームレートを維持することが可能である。しかし、１つの画像における画像処理結果を再利用してＨＤＲ合成を行うため、色や輝度が時間経過とともに変化するシーンでは、適切な画像処理を適用できずに、例えばトーンジャンプなどの色や輝度の画質劣化が発生することが想定される。

本発明は、上述の従来技術の問題点に鑑みてなされ、動画によるＨＤＲ撮影において色や輝度が変化するシーンであっても生成画像の画質劣化を低減させることが可能な撮像装置およびその制御方法ならびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、撮像手段と、露出の異なるフレームの画像を繰り返し撮像するように撮像手段を制御する撮像制御手段と、撮像されたフレームの画像のそれぞれに現像処理を施す現像手段と、現像手段により現像された時間的に連続する画像を合成して合成画像を生成する合成手段と、を有し、現像手段は、１つの撮像されたフレームの画像から現像パラメータの異なる第１および第２の画像を生成し、合成手段は、時間的に連続する撮像されたフレームの画像のそれぞれから生成された第１および第２の画像のいずれかを合成して第１の合成画像を生成し、第１の合成画像に続く第２の合成画像を生成する際には、前フレームの画像から生成された第１の画像と第２の画像のうち第１の合成画像の生成に用いたものとは異なる画像を用いる、ことを特徴とする。

本発明によれば、動画によるＨＤＲ撮影において色や輝度変化のあるシーンであっても生成画像の画質劣化を低減させることが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の断面図（ａ）および機能構成例を示すブロック図（ｂ） 実施形態１に係る動画ＨＤＲ撮影処理の一連の動作を示すフローチャート 実施形態１に係る測光用の信号取得と領域分割を示す図 実施形態１に係る動画ＨＤＲ撮影処理において露出条件を決定するために用いるプログラム線図 撮像のフレームレートが半分になる動画ＨＤＲの様子を説明する図 撮像のフレームレートを維持する動画ＨＤＲの様子を説明する図 現像結果を次のＨＤＲ合成に用いるフレームとして再利用する様子を説明する図 実施形態１に係る現像処理および合成処理のための機能構成例を示すブロック図 実施形態１に係る、パターンを変更したホワイトバランス係数により現像を行ってＨＤＲ合成する様子を説明する図 ＨＤＲ合成処理における２つの画像の合成割合の一例を示す図 実施形態２に係る動画ＨＤＲ撮影処理の一連の動作を示すフローチャート 実施形態２に係る現像処理および合成処理のための機能構成例を示すブロック図 実施形態２に係る階調補正に用いるルックアップテーブルを生成する方法を示す図 実施形態２に係る色輝度調整におけるルックアップテーブルを用いて現像を行ってＨＤＲ合成する様子を示す図 実施形態３に係る動画ＨＤＲ撮影処理の一連の動作を示すフローチャート 実施形態３に係る移動体を多重描写にしてＨＤＲ合成する例を示す図 実施形態３に係る移動体対策処理ための機能構成例を示すブロック図 実施形態３に係る合成比率と基準輝度との関係を示す図 実施形態３に係る合成比率に応じてノイズ低減処理の強度を変更する例を示す図 実施形態３に係る現像処理および合成処理のための機能構成例を示すブロック図 実施形態３に係るノイズ低減処理のための機能構成例を示すブロック図 実施形態３に係るノイズ低減処理後の画像割合と合成比率との関係を示した図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、露出を変更して動画を取得可能な撮像機能を備えるデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像機能を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１ デジタルカメラの構成）
図１（ａ）は、実施形態の撮像装置の一例としてのデジタルカメラ１００の、主として光学部材やセンサ等の配置を示す断面図である。デジタルカメラ１００は、レンズ交換可能ないわゆるデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。

カメラ本体１における撮像素子１０は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。また、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。撮像素子１０は、画素に対する電荷の蓄積時間や電荷の読み出しを調節することで、撮像素子による露出制御が可能な電子シャッター機能を実現する。交換レンズ２の備える撮影光学系により結像された被写体光学像を各画素で光電変換し、画素単位の画像信号を出力する。

撮像素子１０の前方近傍に設けられていたメカニカルシャッター１１は、撮像素子１０の露出タイミングおよび露出時間を調節する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、ＡＦセンサ９に入射させる。ＡＦセンサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８およびＡＦセンサ９は、撮影画面内の任意の位置での位相差検出方式で焦点検出を行うための構成である。なお、ライブビュー表示および動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。

ＡＥセンサ６は、測光用センサであり、ペンタプリズム４および第３の反射ミラー５で反射された被写体の光束を受光して測光を行う。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。

ペンタプリズム４によってファインダー光学系が構成される。ペンタプリズム４で反射された被写体光学像は図示しないアイピースから観察可能である。またペンタプリズム４で反射された光束のうち、主ミラー３によって反射されてピント板１２によって拡散された光線の光軸外の一部は、ＡＥセンサ６に入射する。

交換レンズ２は、取り外し可能なレンズであり、カメラ本体１に設けられたレンズマウントの接点を通じて、必要に応じてカメラ本体１と通信を行う。

図１（ｂ）は、図１（ａ）に示したデジタルカメラ１００のカメラ本体１とその交換レンズ２の機能構成例を示すブロック図である。なお、図１（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

制御部２１は、例えば内部にＡＬＵ(Arithmetic and Logic Unit)３３、ＲＯＭ３４、ＲＡＭ３５やＡ／Ｄコンバータ３１、タイマー３２、シリアル通信ポート（ＳＰＩ）３６等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭ３４に記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。例えば、制御部２１は後述する動画ＨＤＲ撮影に係る処理を実行するためカメラ本体１の各部を制御する。制御部２１のＡ／Ｄコンバータ３１には、ＡＦセンサ９およびＡＥセンサ６の出力信号が入力される。

信号処理部２５は、制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０によって出力された信号にＡ／Ｄ変換および信号処理を適用して画像信号を得る。信号処理部２５は、得られた画像信号を記録する場合には、予め定められた形式で画像信号を圧縮し、記憶部２６に出力する。また、後述する動画ＨＤＲ撮影に必要な現像処理や合成処理を行う。

メモリ２８は、ＤＲＡＭ等により構成される記憶装置である。メモリ２８は、信号処理部２５が種々の信号処理を行う際のワーク用メモリとして使用されるほか、後述する表示部２７に画像を表示する際のＶＲＡＭとして使用される。

表示部２７は、液晶ディスプレイパネル等で構成され、カメラの設定値やメッセージ、メニュー画面等の情報や撮像した画像を表示する。表示部２７は制御部２１からの指示により制御される。記憶部２６は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理部２５から入力される。

モータ２２は、制御部２１の制御に従い、主ミラー３および第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。

操作部２３は、ユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。

接点部２９は、交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は、例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を制御部２１に通知する。

フォーカスレンズ駆動部５２は、レンズ制御部５１の指示に基づいてフォーカスレンズを駆動し、ズーム駆動部５３は、レンズ制御部５１の指示に基づいて交換レンズの画角を変更する。

絞り駆動部５４は、レンズ制御部５１の指示に基づいて絞りの開口量を調整し、撮像素子１０に入射する光量を調整する。

交換レンズ２がカメラ本体１に装着されると、レンズ制御部５１および制御部２１とは接点部２９および５０を介してデータ通信が可能になる。例えば、制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や距離エンコーダに基づいた被写体距離に関する情報等が、レンズ制御部５１から制御部２１へデータ通信によって出力される。また、制御部２１が焦点検出や露出演算により得られた焦点や絞りの制御情報をレンズへ送信すると、レンズ制御部５１は、受信した制御情報に従って絞り等を制御する。また、接点部２９は、レンズ側の接点部５０を介して、交換レンズ２に備えられた図示しないモータやアクチュエータに対して電力を供給する。

（２．動画ＨＤＲ撮影に係る一連の動作）
次に、図２を参照して、動画ＨＤＲ撮影に係る一連の動作を説明する。なお、本処理は、制御部２１がＲＯＭ３４に記憶されたプログラムをＲＡＭ３５の作業用領域に展開し、実行することにより実現される。

Ｓ１１において制御部２１は、たとえば操作部２３に含まれる電源スイッチがオンされるなどにより動作が可能になると、交換レンズ２のレンズ制御部５１と通信を行なって、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。

Ｓ１２において制御部２１は、操作部２３に含まれる動画モード切り替えスイッチがオンされたことを検出すると、メモリ２８の配置処理などを動画モードへと切り替えて、撮像を開始する。

Ｓ１３において制御部２１は、操作部２３に含まれるスイッチにおいて動画ＨＤＲ撮影に切り替えられたことを検出すると、撮影モードを動画ＨＤＲ撮影モードに切り替える。Ｓ１４において制御部２１は、初期化処理を行う。初期化処理の具体的な内容についてはＳ１７〜Ｓ２１の処理において後述する。

Ｓ１５において制御部２１は、適正露出条件を設定する。動画ＨＤＲ撮影モードでは、予め設定された露出、例えば適正露出に対して＋１ＥＶのオーバー露出および−１ＥＶのアンダー露出の設定で撮像を交互に繰り返す撮像制御を行う。本実施形態では、各露出を設定するための適正露出を算出する。適正露出の算出は、一度適正露出の算出を行って適正露出に制御した後であっても、シーンが変わった場合などに対応するために撮像中に定期的に実行される。その後、オーバー露出を設定した撮像（オーバー撮像）とアンダー露出を設定した撮像（アンダー撮像）を行うために露出制御をそれぞれ行う。

以下に、本ステップにおける適正露出の算出処理について、より詳細に説明する。Ｓ１２において開始された動画モードでは、制御部２１は、いわゆるライブビュー画像（またはスルー画像）と呼ばれる、表示部２７を電子ビューファインダとして機能させる動画撮影を実行する。この撮影はいわゆる電子シャッターによる撮影を連続的に実行することで行われる。この状態ではミラーアップしている状態となるため、ＡＥセンサ６によって測光することができない。

制御部２１は、ライブビュー画像の撮影中に定期的に撮像素子１０による測光用の信号取得を行って測光を行う。例えばライブビュー画像の１フレームを測光用の画像信号として取得すればよい。制御部２１は、画像信号を撮像素子１０から読み出し、Ａ／Ｄ変換を行ってＲＡＭに格納する。制御部２１は、取得した画素信号を、図３に示すように、画素領域を例えば９×７個のブロックに分割して、各ブロックに含まれる画素信号を用いてブロックごとに輝度情報を算出する。各ブロックの輝度情報は、例えばブロック内の全画素の輝度を平均することにより算出する。なお、輝度の演算は、例えばＡＰＥＸ（Additive System of Photographic Exposure ）表現におけるＢｖ値（適正露出における被写体の輝度）に換算して行う。これらの輝度情報に基づいてＹ１〜Ｙ７およびＸ１〜Ｘ９の射影データを算出する。一般にｍ行×ｎ列といった２次元配列のデータから行方向や列方向に加算或いは加算平均した１次元配列のデータに変換する手法のことを２次元から１次元への投影又は射影という。また、列方向や行方向に加算した結果得られた１次元配列のデータのことを射影像或いは射影データと呼ぶ。本実施形態においては射影データＹ１〜Ｙ７およびＸ１〜Ｘ９を以下のように算出する。
（数式１）
Ｘ１＝Σ（ｘ１）÷７ 但し、ｘ＝１〜７
Ｘ２＝Σ（ｘ２）÷７ 但し、ｘ＝１〜７
Ｘ３＝Σ（ｘ３）÷７ 但し、ｘ＝１〜７
Ｘ４＝Σ（ｘ４）÷７ 但し、ｘ＝１〜７
Ｘ５＝Σ（ｘ５）÷７ 但し、ｘ＝１〜７
Ｘ６＝Σ（ｘ６）÷７ 但し、ｘ＝１〜７
Ｘ７＝Σ（ｘ７）÷７ 但し、ｘ＝１〜７
Ｘ８＝Σ（ｘ８）÷７ 但し、ｘ＝１〜７
Ｘ９＝Σ（ｘ９）÷７ 但し、ｘ＝１〜７
Ｙ１＝Σ（１ｙ）÷９ 但し、ｙ＝１〜９
Ｙ２＝Σ（２ｙ）÷９ 但し、ｙ＝１〜９
Ｙ３＝Σ（３ｙ）÷９ 但し、ｙ＝１〜９
Ｙ４＝Σ（４ｙ）÷９ 但し、ｙ＝１〜９
Ｙ５＝Σ（５ｙ）÷９ 但し、ｙ＝１〜９
Ｙ６＝Σ（６ｙ）÷９ 但し、ｙ＝１〜９
Ｙ７＝Σ（７ｙ）÷９ 但し、ｙ＝１〜９
制御部２１は、算出された射影データＹ１〜Ｙ７およびＸ１〜Ｘ９の中の最大値Ｅ_ｍａｘを求め、求めた最大値Ｅ_ｍａｘに基づいて露出補正値γを算出する。具体的には、Ｅ_ｍａｘの値がＢｖ値で１０を超える場合に下記の式により算出する。

γ＝（Ｅ_ｍａｘ−１０）×０．２５
ここで、露出補正値γは、Ｂｖ値で１０を超えるような高輝度被写体は明るく写った方が好ましい場合が多いという経験則に従い露出補正を行うものである。係数０．２５はあくまで例であって、高輝度被写体をどの程度明るく写るようにするかで最適値を決めれば良い。また画像信号全体の平均Ｂｖ（ＡＶＥＢｖ）を下記の式により算出する
（数式２）
ＡＶＥＢｖ＝Σ（Ｘｘ＋Ｙｙ）÷（７×９）
但し、ｘ＝１〜７、ｙ＝１〜９

これによりＢｖ値に対する制御値は、数式３より
（数式３）
適正露出：ＡＶＥＢｖ＋γ
となる。

制御部２１は、このＢｖ値に対する制御値に基づいて予め設定したプログラム線図を参照して露出条件を決定する。図４は、本動画ＨＤＲ撮影において使用するプログラム線図の例を示している。実線は適正露出を、破線はオーバー露出を、二点鎖線はアンダー露出をそれぞれ示している。右側縦軸は絞り値Ａｖを、左側縦軸および上部横軸はＢｖ値を示している。また、下部横軸はＴｖ（シャッタースピード）を示しているが、図４に示す線図では、１／３０秒以上の場合についてはＩＳＯ感度を用いて表示している。これは、動画撮影においてはフレームレートに応じてＴｖ値の限界があるためである。例えば図４において適正露出が３０／ｆｐｓである場合、オーバー側の最長秒設定も１／３０秒となるため、これよりも露出が増大する側はＩＳＯ感度を上げることで実現することを示している。制御部２１は、上述したＢｖ値に対する制御値をもとに、プログラム線図に対応したデータテーブルを参照して露出条件（ＩＳＯ感度、絞り、秒時）を決定し、当該条件に合わせて露出制御を行う。引き続きオーバー露出、アンダー露出の露出条件を決定するが以下のようにＢｖ値に対する制御値を修正してからプログラム線図を参照すればよい。
（数式４）
オーバー：ＡＶＥＢｖ＋γ＋α 但し、αは適正露出に対する露出差
（数式５）
アンダー：ＡＶＥＢｖ＋γ―β 但し、βは適正露出に対する露出差

制御部２１は、数式４または数式５により決定した露出条件になるように、オーバーとアンダーの露出を制御する。Ｓ１６において制御部２１は、焦点検出処理および求めた焦点位置にレンズを駆動させる。制御部２１は、撮像素子１０で焦点検出用の信号蓄積を行なわせる。なお、ＡＦセンサ９を用いた焦点検出を行わないのは、動画記録を行うために、ミラーアップして連続的な撮影を行っているためである。従って、撮像素子１０で得られる画像信号から、コントラスト検出方式の焦点検出を行う。蓄積が終了すると蓄積された信号を読み出しながらＡ／Ｄ変換を行い、焦点検出用の画像信号としてＲＡＭ３５に格納する。さらにＳ１１で得ているレンズ情報と焦点検出用の画像信号とから、撮影画面の各部の焦点状態を演算し、合焦させる焦点検出領域を決定する。なお、焦点検出領域の位置の決定は他の方法によってもよく、例えば予め操作部２３を通じてユーザから指定されている焦点検出領域に決定してもよいし、顔検出などの画像認識技術を用いて人物の顔に焦点検出領域を設定してもよい。制御部２１は、決定した焦点検出領域における焦点状態とレンズ情報とに従って、焦点検出領域に合焦させるためのレンズ移動量を算出し、レンズ制御部５１を通じてフォーカスレンズ駆動部５２を制御する。これにより、交換レンズ２は焦点検出領域内の被写体に対して合焦状態となる。フォーカスレンズを駆動すると距離エンコーダの情報が変化するので、制御部２１は交換レンズ２内の各種レンズ情報の更新も行う。

以下に説明するＳ１７〜Ｓ２７の処理では、オーバー撮像とアンダー撮像を交互に繰り返し、時間的に隣り合う２つのフレームでＨＤＲ合成画像を順次生成していく処理を行う。ここで時間的に連続する２つのフレームでＨＤＲ合成画像を生成することのメリットについて、図５〜７を参照して説明する。なお、以降の説明において、オーバー撮像により得られる画像信号をオーバー画像、アンダー撮像により得られる画像信号をアンダー画像という。

まず、図５に示すように、一般的にはＨＤＲ合成に用いるフレームは、以下のように、撮像した２つのフレームを１組として１つのＨＤＲ合成画像を生成する。
（数式６）
この方法では、各組で撮像された画像は、１つのＨＤＲ合成画像の生成にのみ用いられるため、ＨＤＲ合成画像のフレームレートは撮像するフレームレートに対して半分になる。

一方、図６に示すようにＨＤＲ合成に用いられるフレームのうちの１つを以下のように再利用することができる。本実施形態では、図６に示すようにフレームの１つを再利用する方法により動画ＨＤＲ合成を行う。
（数式７）
この方法をとることで、撮像時のフレームレートに対してＨＤＲ合成後のフレームレートが落ちないというメリットが得られる。一方で、フレームの再利用に留まらず、現像処理を含む画像処理結果を再利用すると、例えば時間経過とともに色や輝度が変化するシーンでは、色や輝度の画質劣化（例えばトーンジャンプ）などが発生することが想定される。

この点の詳細について、図７を参照してさらに説明する。図７では、上方から下方へ時間が経過しており、オーバー撮像とアンダー撮像を繰り返している。また、図７に示す１〜４のフレームでは、時間とともにシーンが変化しており、シーンの変化に伴って４つのパターンのホワイトバランス係数（ＷＢ係数）がＷＢ係数１〜ＷＢ係数４へと変化していく例を示している。１フレーム目のオーバー撮像により得られたオーバー画像に対してＷＢ係数１を用いてホワイトバランス処理を行い、現像した結果が現像画像の１フレーム目となる。同様に２フレーム目のアンダー画像に対してＷＢ係数２を用いてホワイトバランス処理を行い、現像した結果が現像画像の２フレーム目となる。ＷＢ係数３およびＷＢ係数４についても同様である。次に１フレーム目の現像画像と２フレーム目の現像画像を用いてＨＤＲ合成画像の１フレーム目を生成する。同様に２フレーム目の現像画像と３フレーム目の現像画像を元にＨＤＲ合成画像の２フレーム目を生成する。ＨＤＲ合成画像の３フレーム目も同様の手順で生成する。

ＨＤＲ合成処理については後述するが、結果としてＨＤＲ合成画像には異なるＷＢ係数でホワイトバランス処理されたオーバー画像とアンダー画像が混在することになる。例えば３フレーム目の現像画像に着目して、画面下部左側が低輝度部、右側が高輝度部であるとする。ＨＤＲ合成処理では、低輝度部はオーバー画像を積極的に使用し、高輝度部はアンダー画像を積極的に使用する。このため、画面下部左側と右側とで異なる色味となり、オーバー画像を使用した部分とアンダー画像を使用した部分との境界でトーンジャンプが発生することが想定される。なお、図７に示す基準フレームは、ＨＤＲ合成に用いる２つのフレームのうち時間的に最も早いフレームを、非基準フレームはそれ以外を指し、以降の説明でも同様とする。

図２を再び参照して、Ｓ１７以降の処理について説明する。なお、Ｓ１４において制御部２１は、以下に示す初期化処理を行っている。具体的には、フレームナンバーｉを１フレーム目に初期化し、また後述するホワイトバランスの目標値を定期的に更新するためのカウンタｋを０に初期化する。また、ＨＤＲ合成に用いる画像のうち、何番目を基準フレームとするかもこのタイミングで決定する。

Ｓ１７において制御部２１は、処理対象のフレームが最初の１フレーム目かを判定する。制御部２１は、フレームナンバーのｉが１と等しい場合には基準フレームの撮像を行うためにＳ１８に処理を進め、その他の場合にはＳ１９に処理を進める。

Ｓ１８において撮像素子１０は、制御部２１の指示に従って基準フレームの撮像を行う。撮像素子１０は撮像した画像をＲＡＭ３５に格納する。

Ｓ１９において制御部２１は、処理対象のフレームがαフレーム周期の先頭かを判定する。制御部２１は、処理対象のフレームがαフレーム周期の先頭である場合、Ｓ２０に処理を進め、αフレーム周期の先頭でない場合は処理をＳ２２に処理を進める。

Ｓ２０において制御部２１は、ホワイトバランス処理用のパラメータとなるホワイトバランス係数（ＷＢ係数）を算出する。本実施形態では、制御部２１は、処理負荷軽減のためにＷＢ係数の算出を例えばαフレームごとに行い、一回の演算でαフレーム先の係数まで一括で算出する。

上述したトーンジャンプの発生を低下させるために、本実施形態では、図６に示すような、１つの現像画像を第２回目のＨＤＲ合成に再利用するのではなく、図９に示すような、１つの撮像画像に対して、現像パラメータを変更して複数回の現像を行う。

本実施形態に係る現像処理の概要について説明する。１フレーム目がＷＢ係数の算出タイミングである、図２のフローチャート内で示すα周期の１枚目とする。ここで後述するホワイトバランス係数算出方法により算出したαフレーム先の目標ホワイトバランス係数は、
（数式８）
となる。
現在のフレームにおけるホワイトバランス係数を
（数式９）
とすると、αフレームをかけてホワイトバランス係数を線形に変化させていくと任意のフレームｉにおけるホワイトバランス係数は
（数式１０）
となる。

以上の方法により、制御部２１は、図９の１フレーム〜６フレームまでの６パターンのＷＢ係数（ＷＢ係数１〜ＷＢ係数６まで）を算出する。算出したＷＢ係数は、図９に示すように各撮像画像に適用されてＨＤＲ合成画像が生成される。ＨＤＲ合成画像に使用されるオーバー画像とアンダー画像のホワイトバランス係数を合わせるために、１つの撮像画像に対してＷＢ係数を変更して２回現像する。変更するホワイトバランスの基準としては常に基準フレームのホワイトバランス係数を使用する。例えばＨＤＲ合成画像の１フレーム目に用いられる現像画像１−２フレームは、ＷＢ係数１で現像され、現像画像２−１フレームは非基準フレームであるため基準フレームのＷＢ係数１で現像する。現像画像２−１に用いられる撮像画像の２フレーム目は、ＨＤＲ合成画像の２フレーム目用に再利用されるが、現像画像２−２は基準フレームとなるためＷＢ係数２を用いて現像される。

制御部２１は、ＷＢ係数の算出を行うと算出したＷＢ係数をメモリ２８に格納すると、図２に示すＳ２２に処理を進めてカウンタｋを１だけインクリメントする。

Ｓ２２〜Ｓ２３において実行される現像パラメータの生成と現像処理について、図８を参照して説明する。各機能ブロックの処理は、オーバーフレームとアンダーフレームのそれぞれの撮像画像に対して行われる。

被写体像は、結像光学系（レンズ）によって撮像素子１０の撮像素子上に結像されて光電変換される。撮像素子１０は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子である。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタは画素ごとに空間的に配列され、各画素は各々単一の色プレーンにおける光の強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される（８０１および８０７）。ホワイトバランス部８０２では、白を白くする処理がなされる。具体的には、撮像画像を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットし、その結果その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ、Ｇ、Ｂを積分する。そして、得られた積分値からＲ及びＢ成分のＷＢ係数Ｇ／Ｒ及びＧ／Ｂを算出する。なお、ＷＢ係数を算出する方法としては、上記の方法に限らず、任意の公知な方法やさらに複雑な方法等を適用することができる。

Ｓ２２において信号処理部２５は、制御部２１の指示に応じて基準フレームｉ用の現像パラメータを生成するとともにメモリ２８に保存したホワイトバランス係数８０２１を読み出す。

Ｓ２３において信号処理部２５は、基準フレームの現像処理を行う。色補間部８０３では、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部８０４およびガンマ変換部８０５を経て基本的なカラー画像が生成される。

ハイダイナミックレンジ合成に先だって、異なる露出で撮影したオーバーフレームとアンダーフレームの各々の輝度レベルを揃えておく必要がある。ガンマ変換部８０５において適用されるゲインは、白飛びや黒潰れをしないように設定する必要があるため一律なゲインではなくガンマ曲線を用いて行う。これらのガンマ曲線の設計に関しては、例えば２ＥＶの露出差によるゲイン、即ちアンダーに対して２倍のゲインやオーバーに対して１／２のゲインをかけたときに、ガンマ曲線と特性が同じになるように設計する。こうすることで、輝度域に応じて複数枚の画像を切り換えた際に、境界を滑らかにすることができる。色輝度調整部８０６で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、逆光補正や夕景検出して彩度強調といった画像補正がシーンに応じて行われる。色輝度調整部８０６による処理が終わると現像処理が完了する。制御部２１は、基準フレームｉの現像処理が終わると、続いて非基準フレームｉ＋１に処理を進めるため、Ｓ２４に処理を進める。

Ｓ２４において制御部２１は、上述の基準フレームに対する処理と同様に、非基準フレームｉ＋１（アンダーフレーム）の撮像を行い、さらにＳ２５における現像パラメータの生成、Ｓ２６において現像処理を行う。

Ｓ２７において信号処理部２５は、制御部２１の指示に応じてＨＤＲ合成部８１３によりＨＤＲ合成処理を行う。静止画のＨＤＲ合成の場合は、合成前にさらに、一方の画像を基準として、手振れ等により生じた画像上の動きに対して空間的な位置合わせがなされることが一般的である。しかし、動画ＨＤＲ合成の場合は、オーバーとアンダーの撮影間隔が静止画撮影と比較して格段に短く、位置合わせを行うとフレームレートが低下したような描写になること、処理の計算量などの理由により位置合わせ処理を行わないことが一般的である。信号処理部２５は、オーバー現像の処理を完了すると処理をＳ２８に進める。

ＨＤＲ合成処理について図１０を参照して説明する。横軸は基準輝度を、縦軸は各画像を加算合成する際の合成比率を表す。合成する際の基準輝度の閾値Ｙ１より暗い領域はオーバー現像画像のみを使用し、基準輝度の閾値Ｙ２より明るい領域ではアンダー現像画像のみを用いる。また、基準輝度の閾値付近の境界Ｙ１〜Ｙ２の中間領域では、合成比率を徐々に変化させることで画像の切り替えを滑らかにすることができる。基準輝度として用いるのは、本実施形態ではアンダーフレームとする。以上の処理により信号処理部は、ＨＤＲ画像を生成して生成したＨＤＲ画像をメモリ２８に格納する。

Ｓ２８において制御部２１は、操作部２３を介してＲＥＣ釦等の押下による撮像終了の指示があったかを判定する。撮像終了の指示がないと判定した場合は、再び処理をＳ１４に戻してＳ１５〜Ｓ２７までの処理を繰り返す。一方、撮像終了の指示があったと判定した場合は、生成したＨＤＲ動画を圧縮するためにＳ２９に処理を進める。

Ｓ２９において信号処理部２５は、制御部２１の指示に応じてメモリに格納していたＨＤＲ動画を所定の形式で圧縮したうえで、Ｓ３０においてメモリなどの記憶部２６に記録して一連の動作を終了する。

なお、本実施形態では、オーバーフレームとアンダーフレームの２枚の現像画像を用いてＨＤＲ合成処理を行う例を説明したが、３枚以上のフレームを繰り返し取得する場合についても適用可能である。例えば３枚のフレームのＨＤＲ合成する場合、各フレームに対して現像画像を３枚生成し、同一のＷＢ係数を適用した３枚のフレームをＨＤＲ合成すればよい。

以上説明したように本実施形態では、露出の異なる２つのフレームを繰り返し撮像する構成において、１つの撮像画像に対してＷＢ係数を変更した現像処理を複数行って、前フレームに対するＨＤＲ合成で用いた現像画像を用いないようにした。さらに、ＨＤＲ合成に用いる現像画像のＷＢ係数が同一になるようにした。このようにすることで、動画によるＨＤＲ撮影において色や輝度変化のあるシーンであっても生成画像の画質劣化を低減させることが可能になる。即ち、同一のＷＢ係数が適用された現像画像同士を合成することで、色や輝度変化のあるシーンであってもトーンジャンプの発生を抑えて画質劣化を低減させることができる。さらに、本実施形態では、１枚の撮像画像が、処理対象のフレームにおけるＨＤＲ合成処理と次のフレームにおけるＨＤＲ合成処理のいずれにも用いられるようにした。このようにすることで、撮像画像の得られるフレームレートに対応した数のＨＤＲ合成画像を生成することができ、フレームレートを低下させることなく動画ＨＤＲ撮影を行うことができる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、値を変更した２つのホワイトバランス係数（ＷＢ係数）を用いて１つの撮像画像から２つの現像画像を生成し、ホワイトバランス係数の同一な２つの現像画像を用いてＨＤＲ合成を行った。これに対して、本実施形態では、色または輝度調整用のルックアップテーブルを変更して１つの撮像画像から２つの現像画像を生成する。なお、本実施形態のデジタルカメラ１００の構成は実施形態１と同一でよい。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

具体的な色または輝度調整の方法について、図１１〜図１３を用いて説明する。図１２（ａ）に示す色輝度調整部１２０２は、図１２（ｂ）に示す各機能ブロックから構成される。詳細は後述するが、色輝度調整部１２０２は、ヒストグラム検出部９０６２、補正量算出部９０６３、ＬＵＴ読み出し部９０６４、階調補正部９０６５から構成されている。

まず、図１１のＳ１１０における、色輝度調整ＬＵＴを生成する処理について詳細に説明する。なお、本処理は、Ｓ１９において制御部２１が、色輝度調整ＬＵＴ更新のフレームになったと判定した場合に実行される。

色輝度調整部１２０２のヒストグラム検出部９０６２は、ガンマ変換部８０５の出力画像の輝度ヒストグラムの検出を行う。画像の全画素に対して検出を行うことが望ましいが、処理時間やメモリ量の節約のために、間引き処理やローパスフィルタ処理等によって画像を縮小した上で行っても良い。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。その後、ヒストグラム検出部９０６２は、ヒストグラム特徴量を検出する。ヒストグラム特徴量は、例えばヒストグラムで暗部側から累積度数が１０％である画素が属するレベル（ＳＤ）等であってよい。

補正量算出部９０６３は、ヒストグラム検出部９０６２の出力したヒストグラム特徴量に基づいて入力輝度に対する補正量を算出する。補正量算出部９０６３は、ヒストグラムの代表輝度値ごとに、いくつかの入力輝度値に対する目標輝度を求め、目標輝度と画像の輝度の最小値と最大値からスプライン補間などにより各入力輝度に対する目標出力輝度を算出する。入力輝度と目標出力輝度の差が目標補正量であり、各輝度に対する目標出力輝度により形成されるトーンカーブが階調補正特性を表す。階調補正特性は、入力輝度と出力輝度の対応を示すルックアップテーブル（ＬＵＴ）によって表現することができる。

補正量算出部９０６３の動作例について、図１３を参照してさらに説明する。図１３（ａ）は、ヒストグラムの代表輝度値と、３つの入力輝度値（６４ＬＳＢ，１２８ＬＳＢ，２２４ＬＳＢ）に対する目標輝度との関係の例を示している。なお、ＬＳＢは分解能を意味し、本実施形態では輝度値のフルスケール（最小値〜最大値）を８ビットの分解能（０〜２５５ＬＳＢ）で表すものとする。図１３（ａ）において、「６４ＬＳＢの点」に対応する横方向の線は、入力輝度が６４ＬＳＢの画素の目標出力輝度と、ヒストグラムの代表輝度値との関係を示している。例えば、撮像された画像から検出されたヒストグラムの代表輝度値が２５５ＬＳＢ〜１４０ＬＳＢの範囲であれば、その画像のうち６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢ（すなわち、変化無し）である。また、ヒストグラムの代表輝度値が７０ＬＳＢ〜０ＬＳＢの範囲の画像においては、６４ＬＳＢの輝度を有する画素の目標出力輝度は１１０ＬＳＢである。そして、ヒストグラムの代表輝度値が１４０〜７０の範囲では、６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢから１１０ＬＳＢの間で線形に変化する。

ヒストグラムの代表輝度値が１１０ＬＳＢである場合、６４ＬＳＢ、１２８ＬＳＢおよび２２４ＬＳＢの輝度を有する画素の目標出力輝度はそれぞれ図１３（ａ）から８２ＬＳＢ，１３５ＬＳＢおよび２２６ＬＳＢである（順に１３０１〜１３０３）。従って、顔の代表輝度値が１１０ＬＳＢの画像に対する階調補正特性は、この３点の入出力関係を表す３点と輝度の最低値（０ＬＳＢ）および最大値（２５５ＬＳＢ）に対応する点とをスプライン補間することにより、図１３（ｂ）に示す階調補正特性が得られる。このように、画像のヒストグラムを解析して、例えばＳＤレベルの画素（アンダー気味なシーン）を補正することができる。

なお、上述した説明ではヒストグラム検出部９０６２および補正量算出部９０６３は、色輝度調整部１２０２に含まれるが、色輝度調整部１２０２の外部、例えば制御部２１に含まれても良い。また、本実施形態では入力画像のヒストグラムを例に説明したが、ヒストグラムに限らず例えば顔検出を用いて顔の代表輝度を算出し、代表輝度に基づいて暗い顔を明るく補正するような補正テーブルを生成しても構わない。

次に、再び図１１を参照して、Ｓ１９において制御部２１は、処理対象のフレームが色輝度調整ＬＵＴを更新のフレームで無いと判定した場合、Ｓ２２に処理を進める。

Ｓ２２においてＬＵＴ読み出し部９０６４は、メモリ２８に保存されているＬＵＴ情報を取得し、Ｓ２３において階調補正部９０６５が、ガンマ変換部９０５の出力画像に対して階調補正を行う。

より具体的には、実施形態１と同様に、変更した現像パラメータを用いて撮像画像に対する２回の現像処理を行う。このとき、本実施形態における現像パラメータの変更は、色輝度調整ＬＵＴを変更することに対応する。以下では、色輝度調整ＬＵＴを用いて２回の現像処理を行う処理の概要を、図１４を参照して説明する。

図１４に示す１フレーム目は、色輝度調整ＬＵＴの算出タイミング、即ち図２で示したα周期の１枚目とする。さらに、色輝度調整ＬＵＴの算出方法によって算出するαフレーム先の目標色輝度調整ＬＵＴを、ＬＵＴαとする。実施形態１と同様にαフレームかけて色輝度調整ＬＵＴを線形に変化させていくように各フレームの色輝度調整ＬＵＴをＬＵＴ１〜ＬＵＴ６として求め、各ＬＵＴを各現像画像の生成に適用する。

ところで、実施形態１では、各撮像画像の現像処理において予め求めた１つのＷＢ係数を適用した。しかし、予め求めた複数の現像パラメータを混合して現像処理を行うことも可能である。例えば、本実施形態では、基準フレームと非基準フレームの色輝度調整ＬＵＴを混合する例を説明する。具体的には、隣り合うＬＵＴ１とＬＵＴ２を混合したＬＵＴ１・２を生成する場合、以下に示すように各ＬＵＴを加重加算すればよい。
（数式１１）
ここでａ、bはＬＵＴの要素を表しており、８ｂｉｔのテーブル精度を想定している。また、各ＬＵＴの加重加算割合を示すβは単に０．５として平均をとってもよい。また、オーバー露出とアンダー露出の露出差を秒時により実現している場合は、秒時に応じてより長秒なオーバー露出画像の重みが大きくなるようにβを設定しても良い。図１４に示すＨＤＲ合成画像の生成方法では、撮像画像に対応するＬＵＴをオーバーフレームとアンダーフレームのそれぞれのＬＵＴを混合したＬＵＴを用いて現像画像を生成する。例えば、２フレーム目のＨＤＲ合成画像を生成する場合、アンダー画像に対応するＬＵＴ２とオーバー画像に対応するＬＵＴ３を混合した現像パラメータをそれぞれ施した基準フレームと非基準フレームを合成してＨＤＲ合成画像を生成している。

以上説明したように、本実施形態では、露出の異なる２つのフレームを繰り返し撮像する構成において、１つの撮像画像に対して色輝度調整ＬＵＴを変更した現像処理を２回行って、前フレームに対するＨＤＲ合成で用いた現像画像を用いないようにした。そして、ＨＤＲ合成に用いる現像画像（即ちオーバー画像とアンダー画像に対する現像画像）を生成するための色輝度調整ＬＵＴが同一になるようにした。このようにするために、オーバーフレームとアンダーフレームの色輝度調整ＬＵＴを混合したＬＵＴを使ってオーバー撮像とアンダー撮像とで同じ現像パラメータになるようにした。このようにすることで、動画によるＨＤＲ撮影において色や輝度変化のあるシーンであっても、生成画像の画質劣化を低減させることが可能になる。即ち、同一のＬＵＴが適用された現像画像を合成することで、色や輝度変化のあるシーンであってもトーンジャンプの発生を抑えて画質劣化を低減させることができる。

（実施形態３）
さらに実施形態３について説明する。本実施形態では、時間の経過に合わせて変化しないノイズ低減（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理を対象とし、移動体の描写方法とそれに応じたノイズ低減処理のパラメータ設定を行う。なお、本実施形態のデジタルカメラ１００の構成は実施形態１と同一でよい。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

本実施形態に係る動画ＨＤＲ撮影の一連の動作について、図１５を参照して説明する。上述のように、実施形態１および２に示した時間経過とともに変化していくパラメータではないノイズ低減処理を対象としているため、図２に示したＳ１７〜Ｓ２１の処理は行わない。一方、Ｓ２７におけるＨＤＲ合成の処理後に、Ｓ３１において後述する移動体対策の処理を行う。

まず、移動体対策の処理の概要について説明する。複数枚の画像を合成するＨＤＲ合成における移動体の描写方法については幾つか考えられる。例えば基準フレームの移動体を毎フレーム１００％表示するという方法がある。しかし、動画ＨＤＲ撮影の特性上、オーバー画像は飽和する部分を多く有していることが想定される。移動体部分が飽和している場合、飽和する部分を有しているオーバー画像と有していないアンダー画像が交互に現れてフリッカーのようなちらつき現象が発生することが懸念される。一方、基準フレームであるか非基準フレームであるかに依らず、常にアンダー画像を１００％表示させるという方法もある。しかし、合成画像における移動体部分は、アンダー画像のみを用いて合成されるため移動体部分のフレームレートが半分になってしまう。

そこで本実施形態では、ＨＤＲ合成画像の移動体部分については、基準フレームに非基準フレームも幾らか混合させた多重描写を行う。このようにすれば、移動体部分が飽和していたとしてもちらつきを低減させることができる。

移動体の描写、即ち移動体対策処理について、図１５〜図１７を参照して説明する。図１７に示す輝度合成比率算出部１９０１およびベース合成部１９０３は、図１５に示すＳ２７の処理を、移動体対策部１９０５はＳ３１の処理をそれぞれ行う。ＨＤＲ合成に用いる２つの入力画像はｔフレームの現像画像とｔ＋１フレームの現像画像である。

まず輝度合成比率算出部１９０１は、ｔフレームの現像画像を基準輝度として図１０に示した合成割合を算出して、ベース合成部１９０３が算出された合成割合に従ってベース合成画像を生成する。このベース合成画像は、移動体対策部１９０５に対する１つの入力画像となる。ｔフレームは時間経過とともにオーバーフレームとアンダーフレームが交互に入れ替わるので参照する基準輝度も交互に入れ替わることになる。このようにすることで基準輝度のフレームレートを維持することができる。

次に、移動体検出部１９０２は、移動体部分を抽出する。抽出の方法としては幾つか存在するが、例えば本実施形態では、ｔフレームの画像とｔ＋１フレームの画像の差分絶対値をとる。すなわち、差分の無い領域は移動の無い部分であり差分の有る領域は変化のある移動体部分であることが特定できる。

置き換え用多重合成部１９０４は、ｔフレームの画像とｔ＋１フレームの画像の多重合成を行う。本処理の多重合成に用いる合成比率（多重割合）は、基準輝度に依らない予め定めた固定の比率、例えば基準フレーム８０％、非基準フレーム２０％とする。後述する図１６には、基準フレームおよび非基準フレームを固定の比率で合成する様子を示している。なお、図１８（ａ）、および（ｂ）に示すように、基準輝度に応じて多重割合を適応的に変動させても良い。このようにすれば、移動体であっても飽和しにくい中低輝度域については基準フレームが１００％表示され、飽和しやすい高輝度域についてはアンダー画像が支配的な多重割合とすることができる。

最後に移動体対策部１９０５は、ベース合成部１９０３により出力されたベース合成画像の移動体部分を、置き換え用多重合成部１９０４により出力された置き換え用多重画像で置き換える処理を行う。

上述の方法により移動体部分を多重描写にすると、移動体部分の割合には、例えば図１６に示すようにアンダー画像が８０％と支配的になる基準フレームの場合と２０％と支配的にならない非基準フレームの場合とがある。上述したように、オーバーフレームに対するゲインダウン処理またはアンダーフレームに対するゲインアップ処理がガンマ変換により施され、現像後の露出を合わせる処理が行われる。このため、デジタルゲインでゲインアップするとノイズ成分まで増幅されてしまうためアンダーフレームの方がノイジーになることが想定される。そしてその影響はノイズの少ないフレームとノイズの多いフレームとが交互に使用されることでちらつきとなって現れる場合が想定される。

そこで、本実施形態ではさらに、アンダーフレームの多重割合が大きい場合にノイズ低減処理の強度を高める処理を行う。ノイズ低減処理の詳細については後述するが、本実施形態に係る現像処理およびＨＤＲ合成処理の機能ブロックについて図２０および図２１を参照して説明する。本実施形態に係る現像処理およびＨＤＲ合成処理の機能ブロックは、色補間部８０３の後段にノイズ低減部２００２が追加され、最後段のＨＤＲ合成部２００３は移動体対策部１９０５を有する。

ノイズ低減部２００２の詳細について図２１を参照して説明する。光ショットノイズや暗電流ノイズなどのノイズを除去するには画像信号をぼかすと効果的である。しかし、画像信号を単にぼかすだけでは被写体のエッジもぼけてしまい全体的に鮮鋭度の落ちた眠い画像となってしまう。そこで、画像信号のテクスチャを破壊せずにノイズ成分のみを低減する方法として、非線形フィルタであるバイラテラルフィルタを用いる。バイラテラルフィルタは、エッジ部分の強度を保持しつつ、平滑化によりノイズを除去する効果を有するフィルタである。なお、バイラテラルフィルタの適用については公知の技術を用いることができるため、詳細の説明は省略する。バイラテラルフィルタ部２３１が入力画像２３０に対してバイラテラルフィルタをかけると、加重平均部２３２は対象フレームの多重割合２００１に応じた割合で入力画像２３０とバイラテラルフィルタをかけた出力画像とを加重平均し出力画像２３４を出力する。このようにバイラテラルフィルタを通してノイズが低減された画像と元画像とを所定の割合で混合させることで、ノイズ感を制御することが可能となる。

ここで、ノイズ低減部２００２による出力画像を用いたＨＤＲ合成画像の例を、図１９を参照して説明する。図１９に示すアンダー画像が基準フレームになった場合（ＨＤＲ合成画像の２フレーム、４フレーム）、アンダー画像の多重割合が８０％と支配的になるため、バイラテラルフィルタの出力画像の割合を入力画像と比べて多くしてノイズ低減の効果を高める。多重割合とノイズ低減強度の関係は、図２２に示すように多重割合が上がるに従ってノイズ低減の効果が強まるようにする。なお、本実施形態ではノイズ低減処理としてバイラテラルフィルタを使ったが、他の方法としてメディアンフィルタやシグマフィルタなどを使っても良くその方法は問わない。そして、多重割合について例示した割合である必要はなく、基準フレームの割合が非基準フレームの割合よりも高い範囲内でどの数値を設定しても構わない。

なお、本実施形態では、実施形態１および２に示した現像パラメータを適用した画像にさらに本実施形態におけるノイズ低減処理を行う構成としてもよいのは言うまでもない。例えば、図１９における２フレーム目のＨＤＲ合成画像の生成において、画像基準フレームおよび非基準フレームのそれぞれにＷＢ係数２が適用されていてよい。このようにすれば、色や輝度変化のあるシーンであっても画質劣化を低減させた移動体対策処理が可能になる。

以上説明したように、本実施形態では、露出の異なる２つのフレームを繰り返し撮像する構成において、１つの撮像画像に対して現像パラメータを変更した現像処理を２回行って、前フレームに対するＨＤＲ合成で用いた現像画像を用いないようにした。さらに、２つの現像画像の多重割合に応じて各現像時のノイズ低減処理の強度をそれぞれ調整するようにした。このようにすることで、動画によるＨＤＲ撮影において色や輝度が変化するシーンであっても生成画像の画質劣化を低減させることが可能となり、特に生成されたＨＤＲ合成画像のフレーム間に生じるノイズ感を低減することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０…撮像素子、２５…信号処理部、２１…制御部、５１…レンズ制御部、５４…絞り駆動部、８０５…ガンマ変換部、８０９…ホワイトバランス係数補正部、８１６…ＨＤＲ合成部、１３０９…制御Ｂｖ値推定部、１３１０…ガンマテーブル修正部

Claims (12)

1. 撮像手段と、
   露出の異なるフレームの画像を繰り返し撮像するように前記撮像手段を制御する撮像制御手段と、
   前記撮像されたフレームの画像のそれぞれに現像処理を施す現像手段と、
   前記現像手段により現像された時間的に連続する画像を合成して合成画像を生成する合成手段と、を有し、
   前記現像手段は、１つの前記撮像されたフレームの画像から現像パラメータの異なる第１および第２の画像を生成し、
   前記合成手段は、時間的に連続する前記撮像されたフレームの画像のそれぞれから生成された第１および第２の画像のいずれかを合成して第１の合成画像を生成し、前記第１の合成画像に続く第２の合成画像を生成する際には、前フレームの画像から生成された第１の画像と第２の画像のうち前記第１の合成画像の生成に用いたものとは異なる画像を用いることを特徴とする撮像装置。
2. 前記合成手段は、前記現像された時間的に連続する画像のうち、同一の現像パラメータを適用して現像された画像を合成して合成画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記現像手段は、時間的に連続する前記撮像されたフレームの画像に、パターンが時間経過とともに変化する現像パラメータを用いて現像処理を施すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記現像パラメータは、前記撮像されたフレームの画像のホワイトバランスの制御に用いるホワイトバランス係数であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記現像パラメータは、前記撮像されたフレームの画像の色または輝度の階調を補正するための階調補正特性であることを特徴とする請求項１ないし３のいずれか1項に記載の撮像装置。
6. 前記現像手段は、時間的に連続する前記撮像されたフレームの画像のそれぞれに対する階調補正特性を加重加算して得られる、混合した階調補正特性を現像パラメータとして用いることを特徴とする請求項５に記載の撮像装置。
7. 前記階調補正特性は、前記撮像された画像の予め定められた数の色または輝度の情報に基づいて補間により生成される階調補正特性であることを特徴とする請求項５または６に記載の撮像装置。
8. 前記現像手段は、前記撮像されたフレームの画像が適正露出に対して露出の少ない画像である場合、ノイズの平滑化された第１の画像と、該第１の画像より強くノイズの平滑化された第２の画像を生成することを特徴とする請求項１に記載の撮像装置。
9. 前記現像された時間的に連続する画像に対して移動体の領域を検出する検出手段をさらに有し、
   前記合成手段は、前記検出された移動体の領域について、前記現像された時間的に連続する画像を予め定められた合成比率で合成した画像を生成することを特徴とする請求項８項に記載の撮像装置。
10. 撮像手段と、
    露出の異なるフレームの画像を繰り返し撮像するように前記撮像手段を制御する撮像制御手段と、
    前記撮像されたフレームの画像のそれぞれに現像処理を施す現像手段と、
    前記現像手段により現像された時間的に連続する画像を合成して合成画像を生成する合成手段と、を有し、
    前記現像手段は、１つの前記撮像されたフレームの画像から現像パラメータの異なる第１および第２の画像を生成し、
    前記合成手段は、時間的に連続する前記撮像されたフレームの画像のそれぞれから生成された画像のうち、同一の現像パラメータで生成された画像同士を合成することを特徴とする撮像装置。
11. 撮像手段が撮像を行う撮像工程と、
    撮像制御手段が、露出の異なるフレームの画像を繰り返し撮像するように前記撮像手段を制御する撮像制御工程と、
    現像手段が、前記撮像されたフレームの画像のそれぞれに現像処理を施す現像工程と、
    合成手段が、前記現像手段により現像された時間的に連続する画像を合成して合成画像を生成する合成工程と、を有し、
    前記現像工程では、１つの前記撮像されたフレームの画像から現像パラメータの異なる第１および第２の画像を生成し、
    前記合成工程では、時間的に連続する前記撮像されたフレームの画像のそれぞれから生成された第１および第２の画像のいずれかを合成して第１の合成画像を生成し、前記第１の合成画像に続く第２の合成画像を生成する際には、前フレームの画像から生成された第１の画像と第２の画像のうち前記第１の合成画像の生成に用いたものとは異なる画像を用いることを特徴とする撮像装置の制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。