JP6887853B2 - 撮像装置、その制御方法、プログラム - Google Patents

Description

本発明は、特にデジタル化された動画像信号において、複数フレームの画像からハイダイナミックレンジ合成されたフレームに対してエフェクト効果を付加した動画像を取得する画像処理に関するものである。

従来からの技術として、異なる露光量により撮影した複数フレームの画像を合成することによりハイダイナミックレンジ画像を得る画像処理（以下ＨＤＲ）がある。この技術では、各画像の適正露出の信号をつなぎ合わせることで白飛びや黒潰れの無い画像を得ることができる。この技術において、複数フレーム撮影したものを１フレームに合成することを時系列で繰り返すことにより、動画像でも実現可能である。しかしながら動画像で実現する場合、一般的に合成された動画像のフレームレートは撮像のフレームレートよりも低下してしまい、移動被写体部分の動きが不自然に見えてしまう問題があった。これに対して、移動被写体部分検出して、検出結果に応じて多重などの合成手段によって合成して被写体がブレたような効果を付加することにより、動きを自然に見せる方法が知られている。

一方で、合成を行う前の各画像に対して個別にエフェクトをかけることにより、更に大きなエフェクト効果を得ることが出来る。それら場合、撮影するフレーム数が多く、かつ露出差が大きいほどエフェクトの効果は大きくなる。しかしながら、同じ露出のフレーム同士で移動体検出を行うと考えた場合、撮影するフレーム数と露出差が大きくなればなるほど、同じ露出フレーム間の距離が大きくなり、移動被写体検出の精度が低下する。また、オートフォーカス（以下ＡＦ）やオートエクスポージャー（以下ＡＥ）、オートホワイトバランス（以下ＡＷＢ）等（以下オート補正系）の情報を画像から得る場合、適正露出のフレームから得ることが望ましく、その情報を適正露出フレーム以外のフレームに適用して補正することになる。その場合、適正露出フレームとそれ以外のフレームの距離が離れている場合、補正精度が低下してしまう。

特許文献１は、複数枚の画像を合成して、１枚の画像を生成する際に、ノイズ量とコントラストの必要量に基づいて、合成枚数を決定するものである。

また特許文献２は、被写体を異なる露光時間で撮像した画像を１つの動画データに記憶し、複数の再生モードで動画データを再生することができるものであり、２種類の画像を１ストリームにおさめ、再生時にフレーム選択をすることで、２種類の雰囲気の異なる画像が再生可能な技術である。

特開２０１１−１９９７８７号公報 特開２００６−５６８１号公報

特許文献１に関しては、動画像での合成を想定した場合、合成フレーム数を可変にするとそれに応じてフレームレートを変更する必要がある。さらに、合成枚数を増やした場合に同じ露出のフレーム同士の時間的な距離が遠くなり、移動被写体検出の精度が著しく低下してしまう。また、オート補正系の情報をあるフレームから得る場合、情報を得るフレームと補正を行うフレームとの時間的な距離が離れてしまうため補正精度が低下する。

また特許文献２に関しては、撮影方法は動画でのＨＤＲの場合と似た構成になっているが、合成を行わないため、ＨＤＲ効果を出すことは困難である。

つまり従来技術では、合成フレーム数を増やした上で、移動被写体検出精度やオート補正系の補正精度を維持しながらＨＤＲ効果を出すには不十分である。

本発明の撮像装置の１つは、露出の異なるフレームを含むフレーム群を撮像し、前記フレーム群を合成して得られた合成画像を１フレームとする動画像を出力する撮像装置であって、１フレームおきの適フレーム、その間のうちの１フレームがアンダーフレーム、残りの１フレームがオーバーフレームからなる連続する４フレームを含むフレーム群を撮像する撮像手段と、前記撮像手段により撮像された４フレームのうち２つの適フレームから、所定の画像情報を取得する取得手段と、前記取得手段により取得された所定の画像情報を用いて前記フレーム群を合成して合成画像を生成し、前記合成画像を１フレームとする動画像を出力する合成手段と、を備えることを特徴とする。

本発明は、ＨＤＲ合成画像を含む動画像において、移動体検出やオート補正系等の検出系の精度を維持しつつ、画像に付与するエフェクトの効果を高めることができる。

第１の実施形態を説明するためのブロック図である 第１の実施形態のＨＤＲ絵画調処理部を説明するためのブロック図である 第１の実施形態の撮像順序を説明するための図である 第１の実施形態の現像部を説明するためのブロック図である 第１の実施形態のガンマを説明するための図である 第１の実施形態の合成部を説明するためのブロック図である 第１の実施形態の輝度合成比率を説明するための図である 第１の実施形態の輝度差合成比率を説明するための図である 第１の実施形態の合成部を説明するためのブロック図である 第１の実施形態の輝度合成比率を説明するための図である 第１の実施形態の輝度差合成比率を説明するための図である 第１の実施形態のトーンカーブを説明するための図である 第１の実施形態の局所コントラスト補正部を説景するためのブロック図である 第１の実施形態の領域分割を説明するための図である 第１の実施形態の領域毎の代表値を説明するための図である 第１の実施形態のゲインテーブルを説明するための図である 第２の実施形態のＨＤＲ絵画調処理部を説明するためのブロック図である 第２の実施形態の現像部を説明するためのブロック図である 第２の実施形態のガンマを説明するための図である 第２の実施形態の合成部を説明するためのブロック図である 第２の実施形態の輝度合成比率を説明するための図である 第２の実施形態の輝度差合成比率を説明するための図である 第２の実施形態の合成部を説明するためのブロック図である 第２の実施形態の輝度合成比率を説明するための図である 第２の実施形態の輝度差合成比率を説明するための図である 第２の実施形態のオーバーラップ撮影を説明するための図である 第３の実施形態のブロック図を説明するための図である 第３の実施形態のメモリの格納状況を説明するための図である 第３の実施形態を説明するためのフローチャートである 第３の実施形態の画像処理を説明するためのフローチャートである

以下に、本発明の実施形態について説明する。

（第１の実施形態）
本実施形態においては、動画撮影を行うデジタルカメラにおいて、時系列順に適フレーム、アンダーフレーム、適フレーム、オーバーフレームの４フレームを撮像して、ＨＤＲ合成を行い、生成されるＨＤＲ画像に対して絵画調のエフェクトをかける構成について説明する。それぞれのフレームに対しては、それぞれのフレームの明るさを合わせるようなガンマを用いて現像する。そのため、動画において必須となる移動体検出が、隣り合うフレーム間での差分値を算出することにより可能となる。

また、それぞれの適フレームを用いてＷＢ係数の算出を行い、それぞれの適フレームの直後に撮影されたアンダーフレームおよびオーバーフレームのＷＢ補正に用いる方法を提案する。また、動画に付与するエフェクト効果として、トーンを補正することにより明部を暗くし、暗部を明るくすることに加えて、濃淡差の大きなエッジ部にハロ（白または黒い後光）を生成させる処理（絵画調エフェクト）を例として説明する。

このように本実施形態では、３種類の露出を用いてＨＤＲ合成を行い、エフェクトをかけることで絵画調エフェクトの効果を維持することと、定期的に挿入する適フレームを利用してＷＢ係数を算出することで、動画としてのＷＢ補正の連続性を両立することを狙いとしている。

図１は第１の実施形態におけるカメラシステムの一例を示すブロック図である。

図１に示すカメラシステムは、撮像部としての撮像系１、信号処理部２、ＨＤＲ絵画調処理部３、信号処理部４、符号化処理部５、出力部６、ＵＩ部７、バス８を備える。

また、図２はＨＤＲ絵画調処理部３の一例を示すブロック図である。

図２に示すＨＤＲ絵画調処理部３は、入力端子３０１、入力端子３０２、入力端子３０３、入力端子３０４、ＷＢ係数算出部３０５、ＷＢ係数算出部３０６、現像部３０７、現像部３０８、現像部３０９、合成部３１０、合成部３１１、トーン補正部３１２、局所コントラスト補正部３１３、出力端子３１４、からなる。

上記構成における本装置の処理概要は、次の通りである。

撮像系１は、アイリス、レンズ等を通った光をＣＭＯＳ、ＣＣＤ等で構成される撮像素子で光電変換し、光電変換した画像データを信号処理部２に供給する。ここで、撮像素子はベイヤー配列である。信号処理部２は光電変換された画像データに対してＡ／Ｄ変換やゲインコントロール等を行い、処理結果をデジタル画像信号としてＨＤＲ絵画調処理部３に供給する。またＵＩ部７では、動画／静止画モードの選択やＨＤＲ絵画調モード、ＩＳＯ感度、シャッタースピードなど撮影設定が行われ、それらの設定情報はバス８を通して撮像系１、信号処理部２、ＨＤＲ絵画調処理部３、信号処理部４、符号化処理部５、出力部６に供給される。

ＨＤＲ絵画調処理部３に対して、信号処理部２から入力端子３０１、３０２、３０３、３０４を介して適フレーム１０１、アンダーフレーム１０２、適フレーム１０３、オーバーフレーム１０４が入力され、適フレーム１０１はＷＢ係数算出部３０５、アンダーフレーム１０２は現像部３０７、適フレーム１０３はＷＢ係数算出部３０６、現像部３０８、オーバーフレーム１０４は現像部３０９に供給される。ＷＢ係数算出部３０５は、入力された適フレーム１０１に基づいてＷＢ係数を算出して、ＷＢ係数を現像部３０７に供給する。同様にＷＢ係数算出部３０６は、入力された適フレーム１０３に基づいてＷＢ係数を算出して、ＷＢ係数を現像部３０８、３０９に供給する。

現像部３０７は、入力されるＷＢ係数を基にアンダーフレーム１０２の現像を行い、合成部３１０に供給する。現像部３０８は、入力されるＷＢ係数を基に、適フレーム１０３の現像を行い、合成部３１０に供給する。現像部３０９は、入力されるＷＢ係数を基に、オーバーフレーム１０４の現像を行い、合成部３１１に供給する。

合成部３１０は、現像されたアンダーフレーム１０２と適フレーム１０３の合成を行い、第１合成フレームとして合成部３１１に供給する。合成部３１１は、第１合成フレームと現像されたオーバーフレーム１０４の合成を行い、第２合成フレームとしてトーン補正部３１２に供給する。

トーン補正部３１２は、第２合成フレームに対してトーンの補正を行い、トーンカーブ補正画像として局所コントラスト補正部３１３に供給する。局所コントラスト合成部３１３は、画像データに対して局所的なコントラスト補正を行い、その結果を出力画像として出力端子３１４に出力する。

上記のように構成されたカメラシステムにおいて、ＨＤＲ絵画調処理部４における処理について、さらに詳しく説明する。

図３は本実施形態における撮像順序を示している。図は、時系列で適フレーム１０１、アンダーフレーム１０２、適フレーム１０３、オーバーフレーム１０４の順で撮影を行うことを示しており、それらの４フレームを合成フレーム群として合成し、１フレームを生成する。更に次の１フレームを生成するためには、適フレーム１０５、アンダーフレーム１０６、適フレーム１０７、アンダーフレーム１０８が合成フレーム群として順次入力される。ここでは、適フレーム１０１、アンダーフレーム１０２、適フレーム１０３、アンダーフレーム１０４を入力する場合を例に説明する。

入力端子３０１からは適フレーム１０１、入力端子３０２からはアンダーフレーム１０２、入力端子３０３からは適フレーム１０３、入力端子３０４からはオーバーフレーム１０４がフレーム単位で順次入力される。また説明のため適フレームとアンダーフレームの露出差と、適フレームとオーバーフレームの露出差を、それぞれ例えばＩＳＯ感度の差による２段とする。

ＷＢ係数算出部３０５では、白を白くするような処理、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ信号値になるようなゲイン（ＷＢ係数と等価）の算出を、入力される適フレーム１０１の情報を用いて行う。またＷＢ係数算出部３０６では、ＷＢ係数算出部３０５と同等の処理を、適フレーム１０３の情報を用いて行う。

通常、ＷＢ係数の算出は適露出付近のフレームで算出することが望ましい。

したがって、本実施形態では、適フレームを１フレームおきに撮像して、その情報を用いてＷＢ係数を算出し、そのＷＢ係数をＷＢ係数算出に用いた適フレームと、その直後の適フレーム以外のフレームに適用する。このように適フレームを定期的に挿入することで、ＷＢ係数を算出するフレームと、それを適用するフレームとの時間的な距離を近くすることが可能となり、精度の高いホワイトバランス処理を行うことが出来る。また、適フレームが定期的に入ることによりＷＢ係数の算出を連続的に行えることが出来るため、動画として必須である処理の連続性も担保することが可能となる。

現像部３０７ではアンダーフレーム１０２の現像処理、現像部３０８では適フレーム１０３の現像処理、現像部３０９ではオーバーフレーム１０４の現像処理が行われる。図４は現像部３０７、３０８、３０９のブロック図を示したものである。処理概要の説明については、現像部３０７、３０８、３０９で殆どの部分が共通であるため共通部分については現像部３０７を用いて説明する。

ホワイトバランス部３０７１では、入力されるＷＢ係数を用いて、白を白くする処理が行われる。ＮＲ処理部３０７２は、入力画像の被写体像に由来しないセンサ起因のノイズ等を低減する。色補間部３０７３は、色モザイク画像を補間することによって全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部３０７４およびガンマ変換部３０７５を経て基本的なカラー画像が生成される。その後色調整部３０７６で画像の見栄えを改善するための処理がカラー画像に対して行われ、例えば、彩度強調、色相補正、エッジ強調といった画像補正が行われる。

本実施形態では、異なる露出で撮影した画像信号に対して、予めゲインをかけて輝度レベルを揃えておく。ゲインは白飛びや黒つぶれをしないように設定する必要があるため、一律なゲインではなく図５で示すような露出値に応じたガンマで行う。ここでは、実線は適フレーム用のガンマ、点線はアンダーフレーム用のガンマ、太線はオーバーフレーム用のガンマの一例を示している。これらのガンマを用いて、アンダーフレーム用のガンマに関しては、ガンマ変換部３０７５で、適フレーム用のガンマに関しては、ガンマ変換部３０８５で、オーバーフレーム用のガンマに関しては、ガンマ変換部３０９５でガンマをかける。

図５で示すガンマ特性をみて分かるように、アンダーフレームに対しては適フレームにかかるゲインよりも大きいゲインがかかるため、現像後のアンダーフレームに対しては適フレームと比較してノイズが増大することが懸念される。また、適フレームに対してはオーバーフレームにかかるゲインよりも大きいゲインがかかるため、現像後の適フレームに対してはオーバーフレームと比較してノイズが増大することが懸念される。そのため、ＮＲ処理部３０７２ではＮＲ処理部３０８２よりも強いＮＲを、またＮＲ処理部３０８２ではＮＲ処理部３０９２よりも強いＮＲをかけることにより、現像後の適フレーム、アンダーフレーム、オーバーフレームのノイズ量を揃える。この処理により、ＨＤＲ合成後の適フレームとアンダーフレームとオーバーフレームの画像の違いによる違和感を低減することが出来る。ノイズ低減の具体的な方法については、適当なカーネルサイズにおける平滑化処理などの一般的な方法や、εフィルタやエッジ保存型のバイラテラルフィルタといったフィルタによる方法など色々と考えられるが、システムの処理速度やメモリといったリソースとのバランスを考慮して適宜適切な方法を用いれば良い。

以上の現像処理に関して、現像部３０７、３０８、３０９について説明を行ったが、ブロック構成自体は同じものであるため、現像に用いるパラメータを適フレーム、アンダーフレーム、オーバーフレームの入力に応じて切り替えるようにして１つの現像部を共通で使用しても構わない。

合成部３１０は、アンダーフレーム１０２の輝度に応じて算出する輝度合成比率と、アンダーフレーム１０２と適フレーム１０３の差分値に応じて算出する輝度差合成比率を用いて、アンダーフレーム１０２の合成比率を算出する。さらに合成部３１０では、算出された合成比率に基づいて、アンダーフレーム１０２と適フレーム１０３の合成を行い、第１合成フレームとして出力する。

図６は合成部３１０のブロック図を示すものである。入力端子３１０１からはアンダーフレーム１０２が入力され、輝度合成比率算出部３１０３、輝度差合成比率算出部３１０４、合成処理部３１０６に供給される。入力端子３１０２からは適フレーム１０３が入力され、輝度差合成比率算出部３１０４、合成処理部３１０６に供給される。

輝度合成比率算出部３１０３では、アンダーフレーム１０２の輝度に応じて輝度合成比率を算出し、輝度合成比率を合成比率算出部３１０５に供給する。輝度差合成比率算出部３１０４では、アンダーフレーム１０２と適フレーム１０３の輝度差に応じて輝度差合成比率を算出し、合成比率算出部３１９５に供給する。合成比率算出部３１０５では、領域毎に輝度合成比率と輝度差合成比率との大きい値の方を最終的な合成比率として合成処理部３１０６に供給する。合成処理部３１０６では、適フレーム１０３とアンダーフレーム１０２を最終的な合成比率に基づいて合成して、第１合成画像フレームを出力端子３１０７から出力する。

以下、さらに詳しく説明を行う。

まず、輝度合成比率算出部３１０３について説明を行う。

輝度合成比率算出部３１０３では、アンダーフレーム１０２の輝度に対して、アンダーフレーム１０２の輝度合成比率を算出する。図７は輝度合成比率を算出するためのグラフの一例である。以下、図７を用いて説明する。輝度合成比率は、アンダーフレーム１０２の輝度に応じて領域毎に算出する。図７は、ＨＤＲ合成画像を取得するために、輝度合成閾値Ｙ１より暗い領域は適フレーム１０３を使用し、輝度合成閾値Ｙ２より明るい領域はアンダーフレーム１０２を使用することを意味する。また、輝度合成閾値付近の境界Ｙ１〜Ｙ２の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、輝度差合成比率算出部３１０４について説明を行う。

輝度差合成比率算出部３１０４では、アンダーフレーム１０２と適フレーム１０３の輝度差に対して、アンダーフレーム１０２の輝度差合成比率を算出する。図８は輝度差合成率を算出するためのグラフの一例である。以下、図８を用いて説明する。輝度差合成比率は、アンダーフレーム１０２と適フレーム１０３の輝度差に応じて領域毎に算出する。図は、輝度差合成閾値ｄ１より輝度差が小さい領域は適フレームを使用し、輝度差合成閾値ｄ２より輝度差が大きければ、アンダーフレーム１０２を使用することを意味する。また、輝度差合成閾値付近の境界ｄ１〜ｄ２の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、合成比率算出部３１０５について説明を行う。

合成比率算出部３１０５では、輝度合成比率と輝度差合成比率を用いて最終的な合成比率を算出する。ここでは、画素毎に輝度合成比率と輝度差合成比率とで、値の大きい方を最終的な合成比率として算出する。

最後に、合成処理部３１０６では、算出された最終的な合成比率を用いて次の式により第１合成フレームの合成画像データを算出する。
ＦＩ１＝ＭＩ１×（１−ｆｇ１）＋ＵＩ１×ｆｇ１ （式１）
但し、
ｆｇ１：合成比率
ＦＩ１：第１合成フレームの画像データ
ＵＩ１：アンダーフレーム１０２の画像データ
ＭＩ１：適フレーム１０３の画像データ
とする。

合成部３１１は、オーバーフレーム１０４の輝度に応じて算出する輝度合成比率と、オーバーフレーム１０４と第１合成フレームの差分値に応じて算出する輝度差合成比率を用いて、オーバーフレーム１０４の合成比率を算出する。さらに合成部３１１では、算出された合成比率に基づいて、オーバーフレーム１０４と第１合成フレームの合成を行い、第２合成フレームとして出力する。

図９は合成部３１１のブロック図を示すものである。入力端子３１１１からはオーバーフレーム１０４が入力され、輝度合成比率算出部３１１３、輝度差合成比率算出部３１１４、合成処理部３１１６に供給される。入力端子３１１２からは第１合成フレームが入力され、輝度差合成比率算出部３１１４、合成処理部３１１６に供給される。

輝度合成比率算出部３１１３では、オーバーフレーム１０４の輝度に応じて輝度合成比率を算出し、輝度合成比率を合成比率算出部３１１５に供給する。輝度差合成比率算出部３１１４では、オーバーフレーム１０４と第１合成フレームの輝度差に応じて輝度差合成比率を算出し、合成比率算出部３１１５に供給する。合成比率算出部３１１５では、領域毎に輝度合成比率と輝度差合成比率との大きい値の方を最終的な合成比率として合成処理部３１１６に供給する。合成処理部３１１６では、第１合成フレームとオーバーフレーム１０４を最終的な合成比率に基づいて合成して、合成画像データ（第２合成フレーム）として出力端子３１１７から出力する。

以下、さらに詳しく説明を行う。

まず、輝度合成比率算出部３１１３について説明を行う。

輝度合成比率算出部３１１３では、オーバーフレームの輝度に対して、オーバーフレーム１０４の輝度合成比率を算出する。図１０は輝度合成比率を算出するためのグラフの一例である。以下、図１０を用いて説明する。輝度合成比率は、オーバーフレーム１０４の輝度に応じて領域毎に算出する。図１０は、ＨＤＲ合成画像を取得するために、輝度合成閾値Ｙ３より暗い領域はオーバーフレーム１０４を使用し、輝度合成閾値Ｙ４より明るい領域は第１合成フレームを使用することを意味する。また、輝度合成閾値付近の境界Ｙ３〜Ｙ４の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、輝度差合成比率算出部３１１４について説明を行う。

輝度差合成比率算出部３１１４では、オーバーフレーム１０４と第１合成フレームの輝度差に対して、オーバーフレーム１０４の輝度差合成比率を算出する。図１１は輝度差合成率を算出するためのグラフの一例である。以下、図１１を用いて説明する。輝度差合成比率は、オーバーフレーム１０４と第１合成フレームの輝度差に応じて領域毎に算出する。図１１は、輝度差合成閾値ｄ３より輝度差が小さい領域は第１合成フレームを使用し、輝度差合成閾値ｄ４より輝度差が大きければ、オーバーフレーム１０４を使用することを意味する。また、輝度差合成閾値付近の境界ｄ３〜ｄ４の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、合成比率算出部３１１５について説明を行う。

合成比率算出部３１１５では、輝度合成比率と輝度差合成比率を用いて最終的な合成比率を算出する。ここでは、輝度合成比率と輝度差合成比率とで、値の大きい方を最終的な合成比率として算出する。

最後に、合成処理部３１１６では、算出された最終的な合成比率を用いて次の式により第２合成フレームの合成画像データを算出する。
ＦＩ２＝ＦＩ１×（１−ｆｇ２）＋ＯＩ１×ｆｇ２ （式２）
但し、
ｆｇ２：合成比率
ＦＩ２：第２合成フレームの画像データ（合成画像データ）
ＯＩ１：オーバーフレーム１０４の画像データ
ＦＩ１：第１合成フレーム１１１の画像データ
とする。

トーン補正部３１２では、合成画像データに対して、ＬＵＴを用いてトーンカーブの補正を行う。図１２はＬＵＴのトーンカーブの一例を示しており、横軸に入力の輝度、縦軸に出力の輝度を示している。このように、暗部と明部のコントラストを強調し、中輝度部のコントラストを落とすことで、画像を絵画のような効果に見せることが可能となる。このように、合成画像データトーンカーブ補正を行った画像は、トーンカーブ補正画像１１３として局所コントラスト補正部３１３へ出力される。

トーンカーブ補正に関しては、図１２に示すように、暗部と明部のコントラストを強調するような処理を行っている。しかしながら暗部と明部に階調が残っていない場合は、いくらコントラストの強調処理を加えても強調効果は少ない。本実施例では、３種類の露出を用いてＨＤＲ合成した暗部と明部に階調を残した画像に対してトーンカーブ補正を行うため、例えば２種類の露出を用いたＨＤＲ合成した画像に比べて、より大きなコントラストの強調効果を得ることが出来る。

局所コントラスト補正部３１３では、明暗差が大きなエッジ付近にハロを生成するための処理を行う。図１３は局所コントラスト補正部３１３におけるブロック図を示している。

入力端子３１３１からはトーンカーブ補正画像１１３が入力され領域情報生成部３１３２、輝度補正部３１３５に供給される。領域情報生成部３１３２は、画像をブロック単位の領域に分割して、それぞれの平均値を算出し、その値を領域毎の代表値として領域情報置換部３１３３に供給する。領域情報置換部３１３３は、領域毎の代表値に対してゲインテーブルを用いてゲイン値に変換し、ゲイン値をゲイン値算出部３１３４に供給する。ゲイン値算出部３１３４は、領域毎のゲイン値を画素毎のゲイン値に変換して、変換されたゲイン値を輝度補正部３１３５に供給する。輝度補正部３１３５は、トーンカーブ補正画像１１３と画素毎のゲイン値に基づいて、輝度補正画像１１４（非図示）を算出し、出力端子３１３６から出力する。

次に、局所コントラスト補正部３１３についてさらに詳しく説明する。

領域情報生成部３１３２は、入力されるトーンカーブ補正画像１１３を領域に分割する。図１４は画像を横方向に９分割、縦方向に６分割した例である。また、本実施例では方形状に分割をしているが、三角形や六角形などの多角形形状をはじめ、任意の形状に分割することが出来る。さらに、分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として算出する。図１５に、図１４に対応する領域毎の代表輝度値の例を示す。なお、本実施形態では領域の代表値を輝度の平均値としているが、ＲＧＢ値のいずれかの平均値を領域の代表値としても良い。

領域情報置換部３１３３は、領域毎の代表輝度値をゲイン値に置き換える。例えば予め記憶させておいたゲインテーブルを参照することにより、代表輝度値をゲイン値に置き換えることが出来る。図１６は本実施形態のゲインテーブルの特性の例を示したものである。ここで、ゲインテーブルの特性を調整することで、輝度補正部３１３５が出力する画像に生じるハロの強度を変えることが出来る。例えば、生じるハロを強くする場合、輝度平均値が低い領域に対するゲインと、輝度平均値が高い領域に対するゲインとの差分を大きくすれば良い。

ゲイン値算出部３１３４は、領域毎のゲイン値を入力として、画素毎のゲイン値を算出する。例えば以下のような原理で画素毎のゲインを算出する。まず、ゲインを算出する画素（注目画素）から、注目画素を含む領域の近傍の複数の領域の中心または重心までの距離を求め、距離が短い順から４つまでの領域を選択する。そして、選択した４つの領域のゲイン値を、注目画素と領域の中心／重心との距離が小さいほど大きな重みを有するようにして、２次元の線形補間を行い、画素毎のゲイン値を算出する。なお、画素毎のゲイン値を領域毎のゲイン値に基づいて算出する方法に制限は無く、他の方法を用いても良いことは言うまでもない。

元の画像が１９２０ｘ１０８０画素であり、縦１９２画素、横１０８画素のブロックに分割したとすると、領域情報生成部３１３２から出力される画素（代表輝度値からなる画像）は１０ｘ１０となる。この画像の各画素の値（代表輝度値）を、領域情報置換部３１３３でゲイン値に置き換えた画像を、元の画像の画素数に線形補間で拡大すれば、拡大後各画素の値が元の画像に対応する画素のゲイン値となる。

輝度補正部３１３５は、トーンカーブ補正画像１１３に対して、画素毎に算出したゲイン値を適用することで、画素毎の輝度補正を行い、出力端子３１３６に出力する。輝度補正に関しては、以下の式で実現される。
Ｒｏｕｔ＝ＧａｉｎｘＲｉｎ （式３）
Ｇｏｕｔ＝ＧａｉｎｘＧｉｎ （式４）
Ｂｏｕｔ＝ＧａｉｎｘＢｉｎ （式５）

但し、Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔはそれぞれ輝度補正後のＲＧＢの画素値を、Ｒｉｎ，Ｇｉｎ，Ｂｉｎはそれぞれ、トーンカーブ補正画像１１３のＲＧＢの画素値を、Ｇａｉｎは各画素のゲイン値を示している。

局所コントラスト補正に関しては、図１６のゲインテーブルに示すように、画像の暗い部分に対してより大きなゲインをかけるような処理になっている。この場合、暗部に階調が残っていない場合は、ゲインをかけてもその効果を得ることは出来ないばかりか、暗部のノイズが持ち上げって来てしまい、画質を大きく劣化させてしまう場合もある。本実施例では、オーバーフレームをＨＤＲ合成に用いているため、暗部のノイズはオーバーフレームを用いない場合と比べて抑えることが可能であるし、暗部の階調に関しても維持することが出来ている。

最後に、輝度補正された画像を出力端子３１４から出力する。

以上説明したように、本実施形態によれば、適フレーム、アンダーフレーム、オーバーフレームの３種類の露出の画像を用いてＨＤＲ画像を作成することによって、暗部や明部の階調を残したような画像の生成が可能となっている。それに対して絵画調効果を出すようなトーンカーブ補正や局所コントラスト補正を施しているため、例えば適フレームとアンダーフレームのみでＨＤＲ画像を生成した場合よりもより高い絵画調効果を実現している。また、３種類の露出の画像を撮像しながら、１フレームおきに挿入される適フレームを用いてＷＢ係数を算出することで、適フレーム以外のＷＢ補正の時間的なズレを低減できており、より精度が高く、動画に必須である連続性を維持したＷＢ補正が実現できている。

なお本実施形態では、ＷＢ係数を例に説明を行ったが、例えば画像のヒストグラムを基に階調補正を行うといった、適フレームで検出を行い、その結果をアンダーフレームやオーバーフレームに適用するような処理にも適用可能であることは言うまでもない。

（第２の実施形態）
本実施形態においては、第１の実施形態よりも絵画調のエフェクト効果が大きくなるよう、異なる露出間のフレームの明るさを合わせずに現像を行う。第１の実施形態では異なる露出間の明るさをガンマで合わせていたため、異なる露出間の差分を取る事により移動体検出が可能であったが、本実施形態ではそれが不可能である。そのため本実施形態では、移動体検出のために時系列順の適フレーム、アンダーフレーム、適フレーム、オーバーフレームに加えてオーバーフレーム後に撮像される適フレーフレームも含めた５フレームにおける、明るさの合っている適フレーム同士の差分値を算出することで、移動体検出を行う方法を提案する。また、絵画調のエフェクトとして、ガンマでのトーン補正効果に加えて、ＨＤＲ合成後のトーン補正による効果と濃淡差の大きなエッジ部にハロを生成させる処理を例として説明する。

図１は第２の実施形態におけるカメラシステムの一例を示すブロック図である。図１の構成、処理概要に関しては第１の実施形態と同様であるため、説明は割愛する。

図１７はＨＤＲ絵画調処理部３の一例を示すブロック図である。

図に示すＨＤＲ絵画調処理部３は、入力端子３２１、入力端子３２２、入力端子３２３、入力端子３２４、入力端子３２５、現像部３２６、現像部３２７、現像部３２８、現像部３２９、現像部３３０、動き検出部３３１、動き検出部３３２、合成部３３３、合成部３３４、トーン補正部３３５、局所コントラスト補正部３３６、出力端子３３７、からなる。

上記構成におけるＨＤＲ絵画調処理部３の処理概要は、次の通りである。

信号処理部２から入力端子３２１、３２２、３２３、３２４、３２５を介して適フレーム１０５、適フレーム１０１、適フレーム１０３、アンダーフレーム１０２、オーバーフレーム１０４が入力され、適フレーム１０５は現像部３２６に、適フレーム１０１は現像部３２７に、適フレーム１０３は現像部３２８に、アンダーフレーム１０２は現像部３２９に、オーバーフレーム１０４は現像部３３０にそれぞれ供給される。

現像部３２６、３２７、３２８、３２９、３３０は、それぞれの画像入力に対して現像処理を行い、現像画像を現像部３２６からは動き検出部３３１に、現像部３２７からは動き検出部３３２に、現像部３２８からは動き検出部３３１、３３２、合成部３３３に、現像部３２９からは合成部３３３に、現像部３３０からは合成部３３４にそれぞれ供給する。動き検出部３３１は、現像された適フレーム１０５と適フレーム１０３を基に、動き検出を行い、動き検出結果を合成部３３４に供給する。

動き検出部３３２は、現像された適フレーム１０１と適フレーム１０３を基に動き検出を行い、動き検出結果を合成部３３３に供給する。合成部３３３は、現像された適フレーム１０３と、アンダーフレーム１０２とを動き検出結果に基づいて合成し、第３合成フレームとして合成部３３４に供給する。合成部３３４は、現像されたオーバーフレーム１０４と第３合成フレームとを動き検出結果に基づいて合成し、第４合成フレームとしてトーン補正部３３５に供給する。

トーン補正部３３５は、第４合成フレームに対してトーン補正処理を行い、トーン補正フレームとして局所コントラスト補正部３３６に供給する。局所コントラスト補正部３３６は、トーン補正フレームに対して局所コントラスト補正処理を行い、局所コントラスト補正フレームとして出力端子３３７から出力する。

上記のように構成されたカメラシステムにおいて、ＨＤＲ絵画調処理部４における処理について、さらに詳しく説明する。

図３は本実施形態における撮影順序を示している。図３に関しては第１の実施形態と同様であるため説明を割愛するが、本実施形態では、前述のように適フレーム１０５、適フレーム１０１、適フレーム１０３、アンダーフレーム１０２、オーバーフレーム１０４が入力する場合を例に説明する。

入力端子３２１からは適フレーム１０５、入力端子３２２からは適フレーム１０１、入力端子３２３からは適フレーム１０３、入力端子３２４からはアンダーフレーム１０２、入力端子３２５からはオーバーフレーム１０４がフレーム単位で入力される。また説明のため、適フレームとアンダーフレームの露出差と、適フレームとオーバーフレームの露出差を、それぞれ例えばＩＳＯ感度の差による２段とする。

現像部３２６では適フレーム１０５の現像処理、現像部３２７では適フレーム１０１の現像処理、現像部３２８では適フレーム１０３の現像処理、現像部３２９ではアンダーフレーム１０２の現像処理、現像部３３０ではオーバーフレーム１０４の現像処理が行われる。現像部３２６、３２７、３２８、３２９、３３０はブロック構成が共通であるため、共通部分は現像部３２６で代表して説明を行い、処理の異なる部分はそれぞれのブロックにおける説明を行う。図１８は現像部３２６のブロック図を示したものである。

ホワイトバランス部３２６１は、白を白くするような処理、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ信号値になるようなゲイン（ＷＢ係数と等価）の算出を、それぞれ入力されるフレーム情報を用いて行う。ＮＲ処理部３２６２は、入力画像の被写体像に由来しないセンサ起因のノイズ等を低減する。色補間部３０６３は、色モザイク画像を補間することによって全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部３２６４およびガンマ変換部３２６５を経て基本的なカラー場増が生成される。その後色調整部３２６６で画像の見栄えを改善するための処理がカラー画像に対して行われ、例えば、彩度強調、色相補正、エッジ強調といった画像補正が行われる。

本実施形態では、異なる露出で撮影した画像信号に対して、予め同じゲインをかけておく。ゲインは白飛びや黒つぶれをしないように設定する必要があるため、一律なゲインではなく図１９で示すようなガンマで行う。本実施例では絵画調の効果をより大きなものにするために、暗部を明るくし、明部を暗くするといった処理を行う。最終的な目標としては、アンダーフレームは明部に、オーバーフレームは暗部に、適フレームは中間部に割りあたるような合成を行いたい。そのため、適フレームの明るさを基準とした場合、アンダーフレームに対しては適フレームと比較して暗くなるようなガンマ、オーバーフレームに対しては適フレームと比較して明るくなるようなガンマを適用する。つまりそれぞれのフレームに対して同じガンマを適用することで、最終的な合成画像の暗部が明るくなり、明部が暗くなるような効果を得ることが出来る。以上のようなガンマ処理をガンマ変換部３２６５、３２７５、３２８５、３２９５、３３０５においてそれぞれのフレームに対してガンマ処理を行う。

以上現像処理に関して、物理的に現像部３２６、３２７，３２８，３２９，３３０が存在しているものとして説明を行ったが、ブロック構成自体は同じものであるため、現像に用いるパラメータを適フレーム、アンダーフレーム、オーバーフレームの入力に応じて切り替えるようにして１つの現像部を共通で使用しても構わない。

動き検出部３３１は、現像された適フレーム１０５と適フレーム１０３との間の動きを検出する。具体的には、適フレーム１０５と適フレーム１０３との各画素の差分値を算出し、その各画素での差分値を第１動き検出フレームとして出力する。同様に、動き検出部３３２では、現像された適フレーム１０１と適フレーム１０３との間の動きを検出するため、適フレーム１０１と適フレーム１０３との各画素の差分値を算出し、その各画素での差分値を第２動き検出フレームとして出力する。

合成部３３３は、現像されたアンダーフレーム１０２の輝度に応じて算出する輝度合成比率と、第１動き検出フレームに応じて算出する輝度差合成比率を用いてアンダーフレーム１０２の合成比率を算出する。さらに合成部３３３では、算出された合成比率に基づいてアンダーフレーム１０２と適フレーム１０３の合成を行い、第３合成フレームとして出力する。

図２０は合成部３３３のブロック図を示すものである。入力端子３３３１からは現像されたアンダーフレーム１０２が入力され、合成処理部３３３７に供給される。入力端子３３３２からは、第２動き検出フレームが入力され、輝度差合成比率算出部３３３５に供給される。入力端子３３３３からは、現像された適フレーム１０３が入力され、輝度合成比率算出部３３３４、合成処理部３３３７に供給される。

輝度合成比率算出部３３３４は、現像された適フレーム１０３の輝度に基づいて輝度合成比率を算出して、輝度合成比率を合成比率算出部３３３６に供給する。輝度差合成比率算出部３３３５は、第２動き検出フレームに基づいて輝度差合成比率を算出して、輝度差合成比率を合成比率算出部３３３６に出力する。合成比率算出部３３３６は、領域毎に輝度合成比率と輝度差合成比率との大きい値の方を最終的な合成比率として合成処理部３３３７に供給する。合成処理部３３３７は、適フレーム１０３と、アンダーフレーム１０２を最終的な合成比率に基づいて合成して、第３合成フレーム１２１として出力端子３３３８から出力する。

以下、更に詳しく説明を行う。

まず輝度合成比率算出部３３３４について説明を行う。

輝度合成比率算出部３３３４では、適フレーム１０３の輝度を用いて、アンダーフレーム１０２の輝度合成比率を算出する。図２１は輝度合成比率を算出するためのグラフの一例である。以下、図を用いて説明する。輝度合成比率は、適フレーム１０３の輝度に応じて領域毎に算出する。図は、ＨＤＲ合成画像を取得するために、輝度合成閾値Ｙ５より暗い領域は適フレーム１０３を使用し、輝度合成閾値Ｙ６より明るい領域はアンダーフレーム１０２を使用することを意味する。また、輝度合成閾値付近の境界Ｙ５〜Ｙ６の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、輝度差合成比率算出部３３３５について説明を行う。

輝度差合成比率算出部３３３５では、第２動き検出フレームを用いてアンダーフレーム１０２の輝度差合成比率を算出する。図２２は輝度差合成比率を算出するためのグラフの一例である。以下、図２２を用いて説明する。輝度差合成比率は、第２動き検出フレームを用いて領域毎に算出する。図は輝度差合成閾値ｄ５よりも動き検出フレームの値が小さい領域は適フレーム１０３を使用し、輝度差合成閾値ｄ６よりも動き検出フレームの値が大きい場合はアンダーフレーム１０２を使用することを意味する。また、輝度差合成閾値付近の境界ｄ５〜ｄ６の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、合成比率算出部３３３６について説明を行う。

合成比率算出部３３３６では、輝度合成比率と輝度差合成比率を用いて最終的な合成比率を算出する。ここでは、画素毎で輝度合成比率と輝度差合成比率とで、値の大きい方を最終的な合成比率ｆｇ３として算出する。

最後に、合成処理部３３３７では、算出された最終的な合成比率を用いて次の式により第３合成フレーム１２１の合成画像データを算出する。
ＦＩ３＝ＭＩ３×（１−ｆｇ３）＋ＵＩ３×ｆｇ３ （式６）
但し、
ｆｇ３：合成比率
ＦＩ３：第３合成フレームの画像データ
ＭＩ３：適フレーム１０３の画像データ
ＵＩ３：アンダーフレーム１０２の画像データ
とする。

合成部３３４は、第３合成フレームの輝度に応じて算出する輝度合成比率と、第１動き検出フレームに応じて算出する輝度差合成比率を用いてオーバーフレーム１０４の合成比率を算出する。さらに合成部３３４では、算出された合成比率に基づいて合成フレーム１２１とオーバーフレーム１０４の合成を行い、第４合成フレーム１２２として出力する。

図２３は合成部３３４のブロック図を示すものである。入力端子３３４１からは現像されたオーバーフレーム１０４が入力され、合成処理部３３４７に供給される。入力端子３３４２からは、第１動き検出フレームが入力され、輝度差合成比率算出部３３４５に供給される。入力端子３３４３からは、第３合成フレームが入力され、輝度合成比率算出部３３４４、合成処理部３３４７に供給される。

輝度合成比率算出部３３４４は、第３合成フレームの輝度に基づいて輝度合成比率を算出して、輝度合成比率を輝度合成比率算出部３３４６に供給する。輝度差合成比率算出部３３４５は、第１動き検出フレームに基づいて輝度差合成比率を算出して、輝度差合成比率を合成比率算出部３３４６に出力する。合成比率算出部３３４６は、領域毎に輝度合成比率と輝度差合成比率との大きい値のほうを最終的な合成比率として合成処理部３３４７に供給する。合成処理部３３４７は、第３合成フレームとオーバーフレーム１０４を最終的な合成比率に基づいて合成して、第４合成フレームとして出力端子３３４８から出力する。

以下、更に詳しく説明を行う。

まず輝度合成比率算出部３３４４について説明を行う。

輝度合成比率算出部３３４４では、第３合成フレームの輝度を用いてオーバーフレーム１０４の輝度合成比率を算出する。図２４は輝度合成比率を算出するためのグラフの一例である。以下、図２４を用いて説明する。輝度合成比率は、オーバーフレーム１０４の輝度に応じて領域毎に算出する。

図２４は、ＨＤＲ合成画像を取得するために、輝度合成閾値Ｙ７より暗い領域はオーバーフレーム１０４を使用し、輝度合成閾値がＹ８よりも明るい領域は第３合成フレームを使用することを意味する。また、輝度合成閾値付近の境界Ｙ７〜Ｙ８の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、輝度差合成比率算出部３３４５について説明を行う。

輝度差合成比率算出部３３４５では、第１動き検出フレームに対して、オーバーフレーム１０４の輝度差合成比率を算出する。図２５は輝度差合成比率を算出するためのグラフの一例である。以下、図２５を用いて説明する。図は、輝度差合成閾値ｄ７より動き検出フレーム値が小さい領域は第３合成フレームを使用し、輝度差合成閾値ｄ８より動き検出フレーム値が大きければ、オーバーフレーム１０４を使用することを意味する。また、輝度差合成閾値付近の境界ｄ７〜ｄ８の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

次に、合成比率算出部３３４６について説明を行う。

合成比率算出部３３４６では、輝度合成比率と輝度差合成比率を用いて最終的な合成比率を算出する。ここでは、画素毎で輝度合成比率と輝度差合成比率とで、値の大きい方を最終的な合成比率ｆｇ４として算出する。

最後に、合成処理部３３４７では、算出された最終的な合成比率を用いて次の式により第４合成フレームの合成画像データを算出する。
ＦＩ４＝ＦＩ３×（１−ｆｇ４）＋ＯＩ４×ｆｇ４ （式７）
但し、
ｆｇ４：合成比率
ＦＩ４：第４合成フレームの画像データ
ＯＩ４：オーバーフレーム１０４の画像データ
ＦＩ３：第３合成フレームの画像データ
とする。

トーン補正部３３５では、第３合成フレームに対して、ＬＵＴを用いてトーンカーブの補正を行う。ここでのトーンカーブは、実施例１の図１２で用いたトーンカーブを用いることにより、ガンマの効果分実施例１よりも暗部と明部のコントラストを強調し、中輝度部のコントラストを落とすことで、画像を絵画のような効果を得ることを狙うか、トーンカーブを線形にすることで、ガンマの効果分のみの効果を狙うか、何れでも構わない。また、トーン補正部３３５の構成に関しては、実施例１のトーン補正部３１２と同様であることから、ここでの説明は割愛する。

最後に局所コントラスト補正部３３６では、明暗差が大きなエッジ付近にハロを生成するための処理を行う。この処理に関しても、実施例で説明した局所コントラスト補正部３１３と同様であるため、ここでの説明は割愛する。

以上説明したように、本実施例によれば、実施形態１に加えてＨＤＲ合成前の各フレームに対して明るさを合わせないようなガンマを適用することで、より絵画調効果を強調することが可能である。また、そのような画像の生成を実現しながら、動き検出を明るさの合った適フレーム同士で行うことで、精度の高い移動体検出を実現できている。また本実施例では、動き検出を例に説明を行ったが、例えばフレーム間の位置合わせ処理といった明るさの合ったフレーム同士でなければ実現できないような処理に対しても実現可能であることは言うまでもない。

また、実施形態１、２で示した方法ではフレームレートが撮像フレームレートよりも低下することになるが、図２６に示すように、合成に用いるフレームを一部オーバーラップさせることで、極力フレームレートを落とさずに実現することも可能である。

（第３の実施形態）
上記第１，第２の実施形態における画像処理装置およびその制御方法を、パーソナルコンピュータなどの汎用の情報処理装置と、その情報処理装置に実行されるコンピュータプログラムで持って実現しても構わない。

図２７は第３の実施形態における情報処理装置のブロック構成図である。

図中、９００は装置全体の制御、及び種種の処理を行う中央演算装置（以下ＣＰＵ）である。９０１は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭ及びＣＰＵ３００がワークエリアとして使用するＲＡＭで構成されるメモリである。９０３はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される指示入力部である。９０４は外部記憶装置（例えば、ハードディスク装置）であり、本装置の制御に必要なオペレーティングシステム（ＯＳ）、第１の実施例におけるコンピュータプログラム、演算に必要な記憶領域を提供する。９０５は動画データを記憶する可搬性記憶媒体（例えばＢＤ−ＲＯＭやＤＶＤ−ＲＯＭディスク）をアクセスする記憶装置である。９０２はバスであり、コンピュータと外部インタフェースとの間で画像データのやり取りを行う。

９０６は画像を撮像すると共に、各速度センサからの出力である各速度を取得するためのデジタルカメラである。９０７は処理結果を出力するためのディスプレイであり、９０９は通信回路であり、ＬＡＮ、公衆回路、無線回路、放送電波で構成されている。９０８は通信回路９０９を介して画像データを送受信する通信インタフェースである。

このような構成における情報処理装置について説明する。

処理に先立ち、指示入力部９０３で装置に電源が入力されると、ＣＰＵ９００はメモリ９０１のブートプログラム（ＲＯＭに格納されている）に従って、外部記憶装置９０４がメモリ９０１（ＲＡＭ）にＯＳをロードする。そして、ユーザーによる指示に従い、外部記憶装置９０４からアプリケーションプログラムをメモリ９０１にロードすることで、本装置が画像処理装置として機能することになる。このアプリケーションプログラムがメモリ９０１にロードした際のメモリの格納状況を示すのが図２８である。

メモリ９０１には装置全体を制御し、各種ソフトウェアを制御するためのＯＳ、ＨＤＲ合成、絵画調効果付加を行うような映像処理ソフトウェアが格納されている。さらに、カメラ９０６を制御して、適フレーム、アンダーフレーム、適フレーム、オーバーフレームの順で撮像させ、動画像として１フレームずつ入力（キャプチャ）する画像入力ソフトウェアが格納されている。さらに、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。

図２９はＣＰＵ９００が実行するアプリケーションにおける映像処理を示すフローチャートである。

ステップＳ１は各部の初期化が行われる。ステップＳ２はプログラムが終了かどうかの判定を行う。この終了は、ユーザーが指示入力部３０３から終了指示が入力されたか否かに基づいて判定する。

ステップＳ３はフレーム単位でのメモリ３０１の画像エリアへの画像の入力、ステップＳ４では画像処理として、ＨＤＲ合成と絵画調効果付加が行われ、ステップＳ２の処理に戻る。

ここで、ステップＳ４の画像処理を図３０のフローチャートを用いて詳しく説明する。

Ｓ４０１で記憶装置９０５に記憶されている画像の中の少なくとも時間的に連続した適フレーム、アンダーフレーム、適フレーム、オーバーフレームと、各種パラメータをメモリ９０１に記憶させる。Ｓ４０２では、適フレームを用いてＷＢ係数の算出を行う。Ｓ４０３では、適フレームは自らを用いて算出したＷＢ係数を用いて現像を行い、それ以外のフレームは時間的に一つ前の適フレームを用いて算出したＷＢ係数を用いて現像を行う。Ｓ４０４では、アンダーフレームとオーバーフレームを用いてそれぞれにおいて輝度合成比率を算出する。Ｓ４０５では適フレームとオーバーフレーム、適フレームとオーバーフレームを用いてそれぞれの輝度差合成比率を算出する。Ｓ４０６では、輝度合成比率と輝度差合成比率を用いて適、アンダー、オーバーフレームの合成を行う。Ｓ４０７では合成されたフレームに対して、トーン補正を行い、最後にＳ４０８では局所コントラスト補正処理を行い、算出された画像フレームをメモリ９０１に格納する。

以上説明したように、本実施形態によれば、画像品質において実施形態１と同等な効果を得ることが出来る。など、通常コンピュータプログラムはコンピュータ可読装置に格納されており、これをコンピュータが有する読み取り装置にセットし、システムにコピーもしくはインストールすることで実行可能である。従って、このようなコンピュータ可読記憶媒体が本発明の範疇に入ることは明らかである。

２ 信号処理部
３ ＨＤＲ絵画調処理部
６ 出力部
３０７ 現像部
３１０ 合成部

Claims (13)

1. 露出の異なるフレームを含むフレーム群を撮像し、前記フレーム群を合成して得られた合成画像を１フレームとする動画像を出力する撮像装置であって、
   １フレームおきの適フレーム、その間のうちの１フレームがアンダーフレーム、残りの１フレームがオーバーフレームからなる連続する４フレームを含むフレーム群を撮像する撮像手段と、
   前記撮像手段により撮像された４フレームのうち２つの適フレームから、所定の画像情報を取得する取得手段と、
   前記取得手段により取得された所定の画像情報を用いて前記フレーム群を合成して合成画像を生成し、前記合成画像を１フレームとする動画像を出力する合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記取得手段は、前記２つの適フレームを用いて、画像内の移動被写体に関する情報を前記所定の画像情報として取得することを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、前記２つの適フレームの各画素の差分値に基づいて、前記画像内の移動被写体に関する情報を取得することを特徴とする請求項２に記載の撮像装置。
4. 前記合成画像は、ＨＤＲ（ハイダイナミックレンジ）画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 露出の異なるフレームを含むフレーム群を撮像し、前記フレーム群を合成して１フレームを生成する画像処理装置であって、
   １フレームおきの適フレーム、その間のうちの１フレームがアンダーフレーム、残りの１フレームがオーバーフレームからなる連続する４フレームを含むフレーム群を撮像する撮像手段と、
   前記撮像手段により撮像されたフレーム群の合成比率を特定する特定手段と、
   前記特定手段により特定された合成比率に基づき、前記フレーム群を合成し合成フレームを得る合成手段と、
   前記合成された合成フレームに基づいてエフェクト効果を施す処理手段と、
   を備えることを特徴とする撮像装置。
6. 前記合成手段は、前記撮像手段により撮像された連続する４フレームのうち少なくともアンダーフレームとオーバーフレームを用いて合成を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記適フレームは、オートフォーカスやオートエクスポージャー、オートホワイトバランスの少なくとも１つの処理を行うための情報を検出するために用いることを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記撮像手段により撮像されたフレーム群を現像する現像手段をさらに有し、
   前記現像手段により前記適フレーム、前記アンダーフレーム、前記オーバーフレームそれぞれの明るさを合わせない場合、前記合成手段は前記適フレーム同士で移動被写体検出を行うことを特徴とする請求項５から請求項７までの何れか１項に記載の撮像装置。
9. 前記現像手段により前記適フレーム、前記アンダーフレーム、前記オーバーフレームそれぞれの明るさを合わせる場合、前記合成手段は前記適フレームと前記アンダーフレーム、または前記適フレームと前記オーバーフレームで移動被写体検出を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記合成手段は、前記移動被写体検出の結果に基づいて所定の処理を行うことを特徴とする請求項８または請求項９に記載の撮像装置。
11. 露出の異なるフレームを含むフレーム群を撮像し、前記フレーム群を合成して得られた合成画像を１フレームとする動画像を出力する撮像装置の制御方法であって、
    １フレームおきの適フレーム、その間のうちの１フレームがアンダーフレーム、残りの１フレームがオーバーフレームからなる連続する４フレームを含むフレーム群を撮像する撮像工程と、
    前記撮像工程で撮像された４フレームのうち２つの適フレームから、所定の画像情報を取得する取得工程と、
    前記取得工程で取得された所定の画像情報を用いて前記フレーム群を合成して合成画像を生成し、前記合成画像を１フレームとする動画像を出力する合成工程と、
    を備えることを特徴とする撮像装置の制御方法。
12. 露出の異なるフレームを含むフレーム群を撮像し、前記フレーム群を合成して１フレームを生成する撮像装置の制御方法であって、
    １フレームおきの適フレーム、その間のうちの１フレームがアンダーフレーム、残りの１フレームがオーバーフレームからなる連続する４フレームを含むフレーム群を撮像する撮像工程と、
    前記撮像工程で撮像されたフレーム群の合成比率を特定する特定工程と、
    前記特定工程で特定された合成比率に基づき、前記フレーム群を合成し合成フレームを得る合成工程と、
    前記合成された合成フレームに基づいてエフェクト効果を施す処理工程と、
    を備えることを特徴とする撮像装置の制御方法。
13. コンピュータを、請求項１から請求項１０までの何れか１項に記載の撮像装置の各手段として機能させる、コンピュータが実行可能なプログラム。

Images