JP6554009B2 - 画像処理装置、その制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、その制御方法、プログラム及び記録媒体に関する。

従来、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成や覆い焼き等、入力のダイナミックレンジを拡大した信号を、出力する段階で階調圧縮する処理が知られている。さらに、撮影時のシーンを判別して各シーンに対応する露出制御や階調補正を適用することによって、そのシーンの雰囲気を保持した画像を出力する技術が提案されている。

このような技術のうち、シーンの判別処理においては、画角や露出等の撮影状況が変化すると適切に撮影シーンを判定することができなくなるため、撮影状況の変化を考慮したうえで撮影シーンの判定を行う技術が提案されている。

特許文献１は、ズーム検出部によるズーム動作の検出に応じて、撮影シーンの判別において用いる情報を異ならせ、ズーム動作中のシーン判別の精度を向上させる技術を開示している。より具体的には、ズーム動作中におけるシーン判別処理では、ズーム動作中に更新された顔情報及び距離情報を用いるほか、随時更新される輝度情報及び色情報に代えてズーム動作が行われる前に更新された輝度情報及び色情報を用いる。また、特許文献２では、露光量が適切でない場合にはシーン判別を適切に行えないため、露出が目標値に対して所定の範囲内に収束してからシーン判別を行う技術を開示している。

特開２０１１−１３００７２号公報 特開２０１３−１５３５００号公報

特許文献１に開示された技術では、例えばズームアウト後に画角内に空が含まれるようなズーム動作を行う場合、ズーム動作を行う前の情報には空領域に対する情報が含まれないため、シーン判別を適切に行うことができない可能性がある。また、特許文献２に開示された技術では、空が飽和した（白とびした）状態で露出が収束するような場合には依然として適切なシーン判別が行えない可能性がある。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、画角や露出等の撮影状況の変化に対して、より適切に撮影シーンの判別を行うことが可能な画像処理装置、その制御方法、プログラム及び記録媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、動画像の各フレームのうち、第１のフレームにおける第１の画像と、第１のフレームより後の第２のフレームにおける第２の画像とを入力する入力手段と、入力した画像について複数の被写体領域を判別する判別手段と、入力した画像から得られる特徴量に基づいて、各フレームについて所定の撮影シーンである可能性を示すシーン度合を算出する度合算出手段と、シーン度合を用いて得られる複数の被写体領域のそれぞれに対する階調補正量を算出する階調補正量算出手段と、を有し、度合算出手段は、第１の画像から第２の画像への露出の変化量に応じて、第１のフレームに対して算出されたシーン度合を加味することにより、第２のフレームに対するシーン度合を算出する、ことを特徴とする。

本発明によれば、画角や露出等の撮影状況の変化に対して、より適切に撮影シーンの判別を行うことが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図 本実施形態における画像処理部１０４、露光量算出部１０５、階調特性算出部２０４の機能構成例を示すブロック図 本実施形態における輝度値算出時の重みの一例を示す図 本実施形態における入力画像群の一例を示す図 本実施形態におけるシーン度合算出処理を含んだ画像処理部１０４の動作を示すフローチャート 本実施形態における被写体領域の判別結果の一例を示す図 本実施形態における被写体領域の目標露光量及び出力露光量の一例を示す図 本実施形態におけるシーン度合算出処理に係る特徴量の一例を示す図 本実施形態におけるシーン度合算出処理に係る加重加算係数Ｋの一例を示す図 本実施形態における露光量算出処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮像が可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、撮像が可能なデジタルカメラに限らず、撮像済みの画像を取得して画像処理を施すことが可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

なお、本実施形態は、被写体領域の情報及びシーン判別結果を用いて階調補正処理を行うものである。本実施形態では、例えば空が最も明るい被写体であるような夕景シーンや、曇天シーンを想定したシーン判別処理について説明する。ただし、本実施形態の処理はこれらのシーン以外にも適用可能である。

（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置およびシャッター装置を含み、撮像部１０２に到達する被写体像の倍率、ピント位置あるいは撮像部１０２に入射する光量を調整する。撮像部１０２は、ＣＣＤやＣＭＯＳセンサ等の光電変換素子を含み、光学系１０１を通過した被写体の光束を光電変換することにより電気信号に変換し、アナログ画像信号を出力する。

Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ画像信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。

画像処理部１０４は、画素補間処理等の現像処理や記録部１１０に画像を記録するための所定の圧縮処理を行うほか、後述する階調処理を行う。画像処理部１０４は、階調処理を適用した複数の画像を生成して、各画像から各被写体領域を抽出した出力画像を生成する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像に限らず、記録部１１０から読み出した画像に対しても同様の画像処理や伸張処理を行うことができる。

露光量算出部１０５は、本実施形態に係る階調処理を行うための最適な入力画像を得るため、撮影時の露光量を算出する。画像処理部１０４の処理結果を入力として、後述する露光量の算出処理を行って露光量制御部１０６に対して制御情報を出力する。

露光量制御部１０６は、露光量算出部１０５により入力された制御情報（例えば露光量）に基づいて光学系１０１および撮像部１０２の絞り、シャッタースピード、センサのアナログゲインを制御する。

表示部１０７は、ＬＣＤなどの表示用部材を含み、画像処理部１０４から出力される画像を当該表示部材に逐次表示することにより、例えば電子ビューファインダ（ＥＶＦ）として機能する。

制御部１０８は、例えばＣＰＵあるいはＭＰＵであり、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体を制御する。

記録部１１０は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた記録媒体を含み、撮影された画像を記録する。

（画像処理部１０４の構成）
図２（Ａ）には、画像処理部１０４のより詳細な機能構成例を示すブロック図を示している。以下の各機能ブロックは、全体として入力画像に対する階調処理を行う。被写体領域判別部２０１は、入力画像に対して被写体領域を判別する。輝度値算出部２０３は、判別された被写体領域を入力して当該領域ごとの代表輝度値を算出する。ヒストグラム算出部２０２は、判別された被写体領域について、当該領域ごとのヒストグラムを算出する。階調特性算出部２０４は、後述するシーン判別処理においてシーン度合を算出し、算出したシーン度合と、輝度値算出部２０３およびヒストグラム算出部２０２における算出結果を用いて、入力画像に対する階調特性を算出する。階調特性の算出は、例えば被写体領域ごとに適用するゲイン量を算出することにより行う。ゲインテーブル算出部２０５は、階調特性算出部２０４から入力した階調特性に応じた階調変換用のゲインテーブルを算出し、ゲイン処理部２０６は、入力画像に対してゲインをかける処理を行う。さらに、階調圧縮処理部２０７は、ゲイン処理後の信号を表示系に合わせるために階調圧縮処理を行う。

（露光量算出部１０５の構成）
図２（Ｂ）には、露光量算出部１０５のより詳細な機能構成例を示すブロック図を示している。露光量算出部１０５は、撮影のための適切な露光量を算出する。露光量算出部１０５は、輝度値算出部２０３から出力される被写体領域ごとの代表輝度値を入力して、輝度段差算出部３０２が被写体領域間の輝度段差を算出する。また、出力輝度値算出部３０１は、輝度値算出部２０３から出力される被写体領域ごとの代表輝度値を入力して主被写体の出力輝度値を算出する。なお、出力輝度については、露光量の算出処理の説明において後述する。そして、露光量決定部３０３は、出力輝度値算出部３０１によって算出された出力輝度値と輝度段差算出部３０２によって算出された輝度段差に基づいて、露光量を決定し、露光量制御部１０６或いは画像処理部１０４に出力する。

（階調特性算出部２０４の構成）
図２（Ｃ）には、階調特性算出部２０４のより詳細な機能構成例を示すブロック図を示している。輝度段差算出部４０１は、輝度値算出部２０３から入力する、被写体領域ごとの代表輝度値を用いて被写体領域間の輝度段差を算出する。また、出力輝度値決定部４０２は、主被写体に対する出力輝度値を決定する。階調補正量算出部４０３は、輝度段差算出部４０１から得られる被写体領域間の輝度段差と、出力輝度値決定部４０２から得られる主被写体の出力輝度値とを用いて各被写体領域の階調補正量を算出する。階調補正量とは、対象の被写体領域に適用するゲイン量を表す。シーン度合算出部４０５は、後述するように画像内の特徴量を用いてシーン度合を算出し、処理対象であるフレームの画像が示すシーンの度合を算出する。階調特性作成部４０４は、算出したシーン度合に基づいて階調補正量算出部４０３により算出された各領域のゲイン量をさらに補正する。階調特性決定部４０６は、領域ごとのゲイン量に基づいて画像に一様に適用する階調特性を決定する。

なお、本実施形態に係るシーン度合算出処理及び露光量算出処理に関する各ブロックの具体的な動作については、各処理の一連の動作についての説明とともに後述する。

（本実施形態の説明に用いる入力画像の一例）
次に、本実施形態で想定する入力画像の一例及び露出制御について、図３及び図４を参照して説明する。露光量算出部１０５は、本撮影前に、露光量を算出するための画像を所定の間隔（例えば２フレームに１回）で取得しながら、画像全体の輝度値を算出した上で露出を変更する。具体的には、例えば図３に示すように、画像をブロック領域に分割して、各ブロックの平均輝度値に対して画像の中央部がより強くなる重み付けを適用して加重加算する。露光量算出部１０５は、得られた輝度値を、予め設定された目標輝度値（例えば１０ｂｉｔで１３０）に近づけるように露光量を定める。

動画像として連続的に得られる画像の一例を図４（Ａ）に示している。図中のＮ−２、Ｎ−１、Ｎ、・・は、各フレームの時刻に対応し、各画像はそれぞれの時刻に画像処理部１０４から出力されて表示部１０７に表示される。時刻Ｎ−２では、日没夕景時の明るい空が画像の大部分を占めており、空の領域は白とびせずに階調が残っている。これに対し、空の領域以外の例えば背景領域は黒潰れして階調がなくなっていることを示している。これは、図３における重みで加重加算された輝度値（すなわち空領域がより優位になるように算出された輝度値）に基づいて、露光量が決定されたためである。

これに対し、時刻Ｎでは、撮影者によって画角が変更された結果、空領域が少なくなるとともに低輝度な背景領域が画角の大部分を示すようになっている。その結果、背景領域がより優位になるように算出された輝度値に基づいて露光量が決定されるため、背景領域は黒潰れせずに階調が残る一方、空領域は白とびして階調がなくなっている。図４（Ｂ）は、画角の変化について図４（Ａ）とは逆に、Ｎ−２において空領域は白とびしていたが、後に画角を占める割合が大きくなり、Ｎ以降では、白とびせずに階調が現れている状態となる。

（画像処理部１０４の動作）
次に、図５（Ａ）を参照して、シーン判別処理を含む画像処理部１０４の動作を説明する。また各ステップの説明において図５（Ｂ）、図６乃至図９を適宜参照する。なお、画像処理部１０４によって実行される階調制御処理のうち、本実施形態の要部となるシーン度合算出処理について重点的に説明する。

Ｓ７０１において、画像処理部１０４は、例えば図４（Ａ）で示したような連続的な画像を順次入力する。

Ｓ７０２において、被写体領域判別部２０１は、Ｓ７０１で取得した画像に対して被写体領域の判別を行う。本実施形態では、雲・太陽等を含む空領域を被写体領域として判別すると共に、空領域以外の領域を背景領域として判別する。図６は、入力画像に対して被写体領域の判別処理を行った結果の一例を示している。すなわち、図６の左図に示す例では、太陽や雲を含む領域が空領域として判別され、その他の領域が背景領域として判別されている。なお、被写体領域の判別方法については、公知の方法、例えばニューラルネットワークによる学習データを用いた物体認識（特開２００６−３９６６６号公報）や、一定のサイズで区切られたブロック毎の判別する方法などを用いることができる。

Ｓ７０３において、輝度値算出部２０３は、Ｓ７０２における被写体判別結果を用いて被写体領域別に代表輝度値を算出する。代表輝度値は、対象となる被写体領域における輝度信号の平均値、もしくは図３に示した画像上の座標に応じた重み付けによる加重平均値を指す。すなわち、輝度値算出部２０３は、判別された背景領域及び空領域の２つの領域に対して代表輝度値を算出する。なお、以下の説明では、空領域及び背景領域の代表輝度値をそれぞれBACK_Y、SKY_Yという。

Ｓ７０４において、階調特性算出部２０４の輝度段差算出部４０１は、Ｓ７０３で算出された代表輝度値に基づいて、被写体領域間の輝度段差を算出する。図７（Ａ）には、入力画像の露光量を基準に各被写体領域の目標露光量を算出し、更に算出した目標露光量に基づいて輝度段差を算出する様子を示している。本実施形態において目標露光量は、対象となる被写体領域の代表輝度値を目標輝度値まで変化させるために、基準とする入力画像の露光量から何段オーバー或いは何段アンダーの露光量にすれば良いかを示す。また、オーバーとは入力画像の露光量よりも大きくすること、アンダーとは入力画像の露光量よりも小さくすることを指す。なお、目標輝度値は、上述したように、各被写体領域に予め定められた輝度値である。背景、空領域の目標輝度値をそれぞれBACK_ref_Y、SKY_ref_Yとすると、各被写体領域の目標露光量ΔBV_BACK_ref、ΔBV_SKY_refは式１によって算出される。

輝度段差算出部４０１は、算出された各被写体領域の目標露光量に基づいて、各被写体領域間の輝度段差を算出する。また、輝度段差算出部４０１は、背景領域と空領域の輝度段差であるΔBSを式２に基づいて算出する。

Ｓ７０５において、シーン度合算出部４０５は、入力した画像が示すシーン度合を算出する。シーン度合算出部４０５によるシーン度合算出処理について、更に図５（Ｂ）を参照して説明する。なお、図５（Ｂ）に示す処理は、シーン度合算出部４０５がＳ７０５の処理を行う際に開始される。

Ｓ７１１において、シーン度合算出部４０５は、被写体領域判別部２０１、輝度値算出部２０３及び輝度段差算出部４０１からの出力に基づいて、シーンの夕景度を算出するための特徴量である３つの係数α、β、γを算出し、最終的な夕景度を算出する。以下、各特徴量である３つの係数の算出処理について、図８（Ａ）〜図８（Ｃ）を参照して説明する。

係数αは、判別された空領域の画素の総数に対して、色相角が赤〜黄を示す画素が占める割合に基づいて算出される。図８（Ａ）に示す例では、シーン度合算出部４０５は、この割合が大きいほど夕焼け空（すなわち夕景）である可能性が高いものとして係数αの値を大きな値（最大で１００）にする。

係数βは、判別された空領域の明るさ、すなわちＢｖ値が夕景の空らしい値を持っているかに基づいて算出される。空領域のＢｖ値は、Ｓ７０３で算出された空領域の代表輝度値SKY_Y、空領域の目標輝度値SKY_REF_Y（例えば１０ｂｉｔで１３０）及び撮影時の露光量ΔBV_SKYを用いて、以下の式により算出される。

図８（Ｂ）に示す例では、シーン度合算出部４０５は、Ｂｖ値が４〜６であれば夕景の空である可能性が高いものとして係数βを大きな値（最大で１００）にする。

係数γは、判別された空領域と背景領域の輝度段差ΔBSに基づいて算出される。図８（Ｃ）に示す例では、シーン度合算出部４０５は、ΔBSの値が大きいほど（すなわち空と背景の輝度段差が大きいほど）夕景の雰囲気を示すシーンである可能性が高いものとして係数γを大きな値（最大で１００）にする。

シーン度合算出部４０５は、係数α、βのうちより大きな値を選択し、かつ選択した値にγ／１００を乗算して最終的な夕景度を算出する。例えば、入力された画像が日没前の夕景シーンである場合、空の色相が赤〜黄を示す領域を含むためにαの値が大きくなり、また太陽を含む空と薄暗い背景とで輝度段差も大きくなるためにγの値が大きくなる。このため、当該入力された画像の夕景度は、大きな値として算出される。

Ｓ７１２において、シーン度合算出部４０５は、曇天度を算出する。具体的には、曇天度を算出するための２つの係数α、βを算出する。

係数αは、判別された空領域の画素の総数に対して、空領域の画素のうち無彩色を示す画素数が占める割合に基づいて算出される。図８（Ｄ）に示す例では、この割合が大きいほど曇り空（すなわち曇天）である可能性が高いものとして係数αの値を大きな値（最大で１００）にする。

係数βは、夕景度を算出するための係数βと同様に、式３に示した空領域のＢｖ値に基づいて算出される。シーン度合算出部４０５は、図８（Ｂ）に示したように、空のＢｖ値が４〜６である場合に曇りの空である可能性が高いものとして係数βの値を大きな値（最大で１００）にする。

そして、シーン度合算出部４０５は、係数αと係数βを乗算して１００で除算した値を最終的な曇天度を算出する。

シーン度合算出部４０５は、算出した夕景度及び曇天度を比較した上でより大きい値を有するシーン度合を選択し、最終的なシーン度合を算出する。例えば、上述した日没前の夕景シーンに関する入力画像では、曇天度に対して夕景度の方が高くなり、夕景度の度合が選択される。

シーン度合算出部４０５は、Ｓ７１２に係る処理を終了するとＳ７０６に処理を進める。

Ｓ７０６において、シーン度合算出部４０５は、時系列上の異なる時点で算出された２つのシーン度合を加重加算することにより、現時刻における画像が示す最終的なシーン度合を算出する。より具体的に、シーン度合の加重加算処理について図４（Ａ）及び図９を参照して説明する。

図４（Ａ）に示した入力画像がある場合、シーン度合算出部４０５は、時刻Ｎ−２の画像に対するシーン度合Ｓ（Ｎ−２）を例えば７０と算出する。これは夕焼け空の階調が残っており、夕景度が高くなるためである。その後、シーン度合算出部４０５は、時刻Ｎにおいて撮影者によって画角が変更されて時刻Ｎ−１及びＮの画像が順次得られる場合、時刻Ｎのタイミングで、シーン度合算出部４０５は再びシーン度合を算出する。このとき、シーン度合算出部４０５は、他の時刻のシーン度合を加味していない、時刻Ｎの画像に対する基礎的なシーン度合ｓ（Ｎ）を例えば２０と算出する。これは夕焼け空が白とびして階調があまり残っていないため、夕景度が小さな値となるためである。

時刻Ｎの時点において、シーン度合算出部４０５は、時系列上の異なる時点で算出された２つのシーン度合（すなわちシーン度合Ｓ（Ｎ−２）と基礎的な度合ｓ（Ｎ））と係数Ｋとを用いて時刻Ｎにおける最終的なシーン度合Ｓ（Ｎ）を算出する。

式４において、係数Ｋは以前の時刻（上述した例ではＮ−２）に算出したシーン度合に対する重みを表わす。ここで、係数Ｋは、時間による露出の変化を考慮してシーン度合を加重加算するように設定される。

係数Ｋの設定について、図９（Ａ）及び（Ｂ）を参照して説明する。図９（Ａ）及び（Ｂ）に示すグラフの横軸は、時間方向の露出変化を示しており、所定の時間間隔（例えば時刻Ｎ−２から時刻Ｎ）において露出が何段オーバー（＋方向）あるいはアンダー（−方向）に変化したか（すなわち露出の変化量）を表す。

図９（Ａ）に示すように、係数Ｋは、露出がオーバー側に大きく変化した場合、より大きな値が設定され、逆に露出がアンダー側に大きく変化した場合、より小さい値が設定される。

一般に、露出の変化がオーバーである場合は高輝度である空領域が白とびし易くなり、正しいシーン度合が算出されなくなる可能性が高い。このため、シーン度合算出部４０５が、露出変化の前後において算出したシーン度合に対して、露出の変化前に算出したシーン度合に対する重みを大きくすることで、白とびの発生前のシーン度合を保持する。一方、たとえオーバー側に変化した場合であっても、シーン度合算出部４０５は、空領域が白とびしていない（ここでは露出の変化量が大きくない）のであれば係数Ｋを過剰に小さくならないようにする。

反対に、露出変化がアンダーである場合は、一般に高輝度である空が白とびし難くなり、正しいシーン度合が算出される可能性が高い。このため、シーン度合算出部４０５は、露出が変化した後に算出したシーン度合の重みを大きくすることで、露出変化の後に算出したシーン度合を積極的に利用した正しいシーン度合を得る。

再び図４（Ａ）或いは（Ｂ）を参照してシーン度合の加重加算する例について説明する。例えば図４（Ａ）において、Ｓ（Ｎ−２）＝７０、ｓ（Ｎ）＝２０と算出されており、かつ、露出がオーバー側に大きく変化したことによりＫ＝０．８と算出されているとする。この場合、シーン度合の加重加算は式５に示すように算出される。

すなわち、時刻Ｎのシーン度合については、空領域について白とびが発生していない時刻Ｎ−２におけるシーン度合が優先的に（すなわち影響が相対的に高まるように）加味される。これにより、空領域について白とびしている時刻Ｎにおけるシーン度合の影響が相対的に低減された精度の良いシーン度合が算出される。また、図４（Ｂ）の例では、シーン度合算出部４０５が、Ｓ（Ｎ−２）＝１０、ｓ（Ｎ）＝６０と算出し、かつ、露出がアンダー側に大きく変化したことからＫ＝０．２と算出したとする。この場合、シーン度合の加重加算は、式６に示すように算出される。

すなわち、時刻Ｎのシーン度合は、空が白とびしていない時刻Ｎのシーン度合がより優先的に加味された、精度の良いシーン度合となる。

さらに、露出変化が小さい場合の係数Ｋの算出処理について説明する。露出変化が所定よりも小さい（例えば±１段以内）場合、シーン度合算出部４０５は、時間的にさらに前の時点の露出変化を参照して係数Ｋを算出する。具体的には、シーン度合算出部４０５は、まず最近の時刻において露出変化の大きかった場合にオーバー側に変化したかアンダー側に変化したかを参照する。そして、オーバー側に変化した場合は係数Ｋを大きな値に（すなわち露出の変化前におけるシーン度合の重みを大きく）設定し、アンダー側に変化していた場合は係数Ｋを小さな値に（すなわち露出の変化後におけるシーン度合の重みを大きく）設定する。

露出変化が小さい場合の係数Ｋの算出処理について、再び図４（Ａ）及び図４（Ｂ）を参照して説明する。まず、図４（Ａ）の例では、時刻Ｎから時刻Ｎ＋２の間には大きな露出変化が無かったものとする。この場合、シーン度合算出部４０５は、最近の時刻で露出変化の大きかった時刻Ｎ−１から時刻Ｎにおける変化がオーバー方向であるため、係数Ｋを大きな値に設定する。なお、図９（Ｂ）には、露出変化が小さい場合の係数Ｋの算出処理を示している。例えば、時刻Ｎ−１から時刻Ｎにおける露出変化がオーバー側に大きかったことから、係数Ｋは大きな値（例えば０．８）に設定されている。さらに、時刻Ｎ＋２におけるシーン度合ｓ（Ｎ＋２）を算出する場合において、空が白とびしてシーン度合が小さくなることからｓ（Ｎ＋２）＝１０が得られているとする。この場合、シーン度合Ｓ（Ｎ＋２）は下記のように算出される。

一方、図４（Ｂ）の例では、時刻Ｎから時刻Ｎ＋２の間には大きな露出変化がなかったものとする。この場合、シーン度合算出部４０５は、最近の時刻で露出変化の大きかった時刻Ｎ−１から時刻Ｎにおける変化がアンダー側であることから、係数Ｋを小さな値に設定する。また、時刻Ｎ−１から時刻Ｎにおける露出変化がアンダー側に大きかったことから、図９（Ｂ）に示すように係数Ｋを小さな値（＝０．２）に設定する。さらに、時刻Ｎ＋２におけるシーン度合ｓ（Ｎ＋２）を算出した場合に、空領域が白とびせずシーン度合が大きくなることからｓ（Ｎ＋２）＝７０が得られたとする。この場合、シーン度合Ｓ（Ｎ＋２）は下記のように算出される。

なお、時刻Ｎ−１から時刻Ｎの間においても露出変化が小さい場合、シーン度合算出部４０５は、さらに前の時刻（図４には不図示）における露出変化を参照し、上述した方法と同様に係数Ｋを算出する。所定の時刻まで遡った場合であっても露出変化が小さい場合、シーン度合算出部４０５は、得られた露出変化の値に応じて図９（Ｂ）に示すように係数Ｋを０．３〜０．７に設定する。このようにすれば、処理対象となる時刻における露出変化に関わらず、シーン度合を精度良く算出することが可能となる。

なお、階調特性算出部２０４は、シーン度合算出部４０５が処理を終えると、算出されたシーン度合に基づいて階調特性作成部４０４等の処理を行って処理を終了する。そして、画像処理部１０４は、階調特性算出部２０４の処理が完了するとゲインテーブル算出部２０５等による階調処理を行い、その後画像処理部１０４に係る一連の動作を終了する。

以上のように、階調制御におけるシーン度合の算出処理について説明したが、算出したシーン度合を用いて階調制御を行う方法については、被写体領域の代表輝度値およびヒストグラムを用いた、公知の領域別トーンマッピングの処理を適用することができる。詳細な説明は省略するが、被写体領域の情報に基づいて階調特性算出部２０４が決定した階調特性を用いて、ゲインテーブル算出部２０５がゲインテーブルを生成する。階調特性算出部２０４は、階調特性を決定する際に、上述した方法で算出されたシーン度合いが高いほど、背景領域および空領域の階調補正量を小さくし、かつ、背景領域の階調補正量と空領域の階調補正量との差が小さくなるようにする。その後ゲイン処理部２０６が入力画像にゲインをかけた後、階調圧縮処理部２０７によりガンマ特性を用いて階調圧縮を行う。このように階調制御を行うことで、上述した夕景シーンでは、夕景度が大きい値であるほど背景領域にかけるゲイン量と空領域にかけるゲイン量の差小さくなり、また背景領域および空領域にかかるゲイン量が小さくなる。これにより、撮影したシーンの雰囲気を残すこと、すなわち空と背景領域の明暗差を残し、かつ両領域の明るさを日中シーンよりもアンダーとすることが可能となる。なお、本実施形態においては夕景シーンを例として説明したが、曇天シーンなど他のシーンについても同様の処理を適用することができる。

（露光量算出処理に係る一連の動作）
次に、撮影者による撮影の指示がなされた際に露光量を決定する処理（露光量算出処理）に係る一連の動作について、図１０を参照して説明する。

上述した階調処理を適切に行うためには、最適な露光量で撮影された画像を得る必要がある。このため、露光量算出部１０５は、以下に説明する露光量算出処理を実行して撮影のための適切な露光量を算出する。なお、Ｓ１２０１〜Ｓ１２０３は、上述したＳ７０１〜Ｓ７０３における各処理と同様である。また、Ｓ１２０４における被写体領域間の輝度段差の算出は、露光量算出部１０５の輝度段差算出部３０２が行う点を除いてＳ７０４の処理と同様である。従って、これらの説明は省略する。

Ｓ１２０５において、露光量算出部１０５の出力輝度値算出部３０１は、入力画像とＳ１２０３で算出された各被写体領域の代表輝度値に基づいて、主被写体の出力輝度値を算出する。ここで主被写体の出力輝度値とは、生成される撮影画像において最終的に出力したい主被写体領域の輝度値を指す。目標輝度値と出力輝度値は異なってよいが、本実施形態では、例えば背景領域を主被写体とした場合に、背景領域の目標輝度値をそのまま背景領域の出力輝度値BACK_OUT_Yとして用いるものとして説明する。

Ｓ１２０６において、露光量決定部３０３は、Ｓ１２０４で算出された被写体領域間の輝度段差ΔBSと、Ｓ１２０５で算出された主被写体の出力輝度値BACK_OUT_Yを入力して、階調処理を行う為に最適な撮像時の露光量を決定する。

図７（Ｂ）は、入力画像の露光量に対する各被写体領域の出力露光量を示している。出力露光量とは、最終的に出力したい各被写体領域の明るさを実現する為に、入力画像の露光量に対し、何段オーバー或いは何段アンダーの露光量にすれば良いかを示すものである。背景領域の代表輝度値をBACK_Y、背景領域、空領域の出力露光量をそれぞれ、ΔBV_BACK、ΔBV_SKYとすると、露光量決定部３０３は式９のように各被写体領域の出力露光量を算出する。

すなわち、露光量決定部３０３は、Ｓ１２０５で算出した出力輝度値に基づいて決定した主被写体の露光量を基準に、Ｓ１２０４で算出した領域間の輝度段差を１／２に縮めた段差を維持する様に主被写体領域以外の被写体領域の露光量を決定する。露光量決定部３０３は、各被写体領域の出力露光量のうち最も露光量の小さい出力露光量を、階調処理を行うために最適な撮影時の露光量として決定する。つまり、図７（Ｂ）の例では、各被写体領域のうちの最も露光量の小さい出力露光量である空領域のΔBV_SKYが撮影時の露光量として算出される。露光量決定部３０３は、撮影時の露光量を算出すると露光量算出処理の一連の動作を終了する。

以上説明したように本実施形態では、動画像の各画像から得られる特徴量に基づいてシーン度合を算出し、さらに近接するフレームの露出の変化に応じて、異なるフレームに対して算出されたシーン度合を加味（加重加算）するようにした。このとき、露出がオーバー側に大きく変化する場合、過去に算出したシーン度合が優位になるように加重加算を行う。また、露出がアンダー側に大きく変化する場合、最新のシーン度合が優位になるように加重加算を行うようにした。このようにすることで、画角や露出等の撮影状況の変化に対して、より適切に撮影シーンの判別を行うことができる。また、より適切なシーン判別を行うことにより、撮影シーンが持つ雰囲気を残しながらも、被写体領域毎に最適な階調を持つ画像を生成することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…撮像部、１０４…画像処理部、１０５…露光量算出部、２０１…被写体領域判別部、２０３…輝度値算出部、２０４…階調特性算出部、４０５…シーン度合算出部

Claims (12)

1. 動画像の各フレームのうち、第１のフレームにおける第１の画像と、前記第１のフレームより後の第２のフレームにおける第２の画像とを入力する入力手段と、
   前記入力した画像について複数の被写体領域を判別する判別手段と、
   前記入力した画像から得られる特徴量に基づいて、各フレームについて所定の撮影シーンである可能性を示すシーン度合を算出する度合算出手段と、
   前記シーン度合を用いて得られる前記複数の被写体領域のそれぞれに対する階調補正量を算出する階調補正量算出手段と、を有し、
   前記度合算出手段は、前記第１の画像から前記第２の画像への露出の変化量に応じて、前記第１のフレームに対して算出された前記シーン度合を加味することにより、前記第２のフレームに対する前記シーン度合を算出する、ことを特徴とする画像処理装置。
2. 前記度合算出手段は、
   前記第２の画像から得られる特徴量に基づいて、前記第２の画像が所定の撮影シーンである可能性を示す基礎的な度合を算出し、
   前記第１のフレームに対して算出された前記シーン度合を、前記第１の画像から前記第２の画像への露出の変化量に応じて、この第２の画像に対する前記基礎的な度合に加重加算することにより、前記第２のフレームに対する前記シーン度合を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記度合算出手段は、前記第１の画像から前記第２の画像への露出がオーバー側に変化した場合であって、かつその変化量が所定の変化量より大きい場合、前記第１のフレームに対して算出された前記シーン度合の影響が相対的に高まるように加味する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記度合算出手段は、前記第１の画像から前記第２の画像への露出がアンダー側に変化した場合であって、かつその変化量が所定の変化量より大きい場合、前記第１のフレームに対して算出された前記シーン度合の影響が相対的に低減するように加味する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記度合算出手段は、前記第１の画像から前記第２の画像への露出の変化量が所定の変化量より小さい場合、前記第１のフレームより前のフレームに対して算出された前記シーン度合を、前記第１のフレームに対して算出された前記シーン度合の代わりに加味する、
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記度合算出手段は、前記第２の画像が所定の撮影シーンである可能性を示す基礎的な度合を算出する際に、異なる撮影シーンに対する複数の度合を算出し、前記複数の度合のうち度合の高いものを選択する、
   ことを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記判別手段は、前記複数の被写体領域として少なくとも背景領域と空領域を判別し、
   前記度合算出手段は、前記第２の画像が、夕景シーンである可能性を示す度合及び曇天シーンである可能性を示す度合を算出し、
   前記階調補正量算出手段は、前記夕景シーンである可能性を示す度合又は前記曇天シーンである可能性を示す度合が高いほど、前記背景領域および前記空領域の階調補正量が小さくなり、かつ、前記背景領域の階調補正量と前記空領域の階調補正量との差が小さくなるように階調補正量を算出する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記度合算出手段は、各画像から得られる特徴量として、前記判別手段により判別された被写体領域に対する、所定の特徴を有する画素の割合、及び前記判別された被写体領域の明るさを少なくとも用いる、ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
9. 前記階調補正量算出手段は、前記複数の被写体領域のうち主被写体領域に対する階調補正量を算出し、前記複数の被写体領域のうち前記主被写体領域でない被写体領域については、前記主被写体領域に対する階調補正量と、前記主被写体領域との輝度の差とに基づいて、階調補正量を算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 入力手段が、動画像の各フレームのうち、第１のフレームにおける第１の画像と、前記第１のフレームより後の第２のフレームにおける第２の画像とを入力する入力工程と、
    判別手段が、前記入力した画像について複数の被写体領域を判別する判別工程と、
    度合算出手段が、前記入力した画像から得られる特徴量に基づいて、各フレームについて所定の撮影シーンである可能性を示すシーン度合を算出する度合算出工程と、
    階調補正量算出手段が、前記シーン度合を用いて得られる前記複数の被写体領域のそれぞれに対する階調補正量を算出する階調補正量算出工程と、を有し、
    前記度合算出工程では、前記第１の画像から前記第２の画像への露出の変化量に応じて、前記第１のフレームに対して算出された前記シーン度合を加味することにより、前記第２のフレームに対する前記シーン度合を算出する、ことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納した記録媒体。