JPWO2016009699A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

本発明は、本撮影を含めた２回の撮影で得られる画像であって、ノイズの影響、被写体の移動によるブレ、及び手振れの影響が抑えられた画像を使用して、主要被写体領域と背景領域との判定を正確に行うことができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的とする。本発明の好ましい態様に係る画像処理装置（３１）は、フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、第１のフラッシュ発光画像の露光時間とは異なる露光時間で、第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得部（４１）と、各領域における、第１の撮像信号と第２の撮像信号との信号割合を算出する割合算出部（４３）と、閾値に応じて、主要被写体領域と背景領域と判定する判定部（４５）と、を備える。

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に画像データにおいて主要被写体領域と背景領域とを分離する技術に関する。

フラッシュ光を発光させて撮影を行う場合に、被写体距離が近い主要被写体と被写体距離が遠い背景とでは、主に影響を受ける光源が異なる。すなわち、被写体距離が近くフラッシュ光の届きやすい主要被写体は主にフラッシュ光からの影響を受けて撮影され、被写体距離が遠くフラッシュ光が届きにくい背景は主に環境光からの影響を受けて撮影される。

主要被写体と背景とで影響を受ける光源が異なる場合には、主要被写体が写っている画像の領域（以下、「主要被写体領域」と称する）と背景が写っている画像の領域（以下、「背景領域」と称する）とに対して、各領域に適した画像処理を行うことが求められる。

具体的には、ホワイトバランス処理（以下、「ＷＢ処理」と称する）によって主要被写体領域の色相（カラーバランス）を良好にする場合には、フラッシュ光の影響をキャンセルするホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）を主要被写体領域に適用することが求められる。一方で、ＷＢ処理によって背景領域の色相（カラーバランス）を良好にする場合には、環境光の影響をキャンセルするＷＢゲインを背景領域に適用することが求められる。したがって、画像を構成する全領域に関して共通のＷＢゲインを適用することにより、主要被写体領域の色相（カラーバランス）と背景領域の色相（カラーバランス）とを両立させることは困難な場合がある。

そこで、マルチエリアホワイトバランス処理（以下、「マルチエリアＷＢ処理」と称する）により、主要被写体領域と背景領域とに異なるホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）を適用する手法が知られている。マルチエリアＷＢ処理によれば、複数の光源からの光が領域毎に異なる比率で被写体に照射されている画像であっても、各領域の色相（カラーバランス）を適正に補正することができる。

しかし、マルチエリアＷＢ処理を行う場合には、主要被写体領域と背景領域とを正確に判定する必要があり、主要被写体領域と背景領域との判定が不正確であるとかえって不自然な画像となってしまう。そこで、主要被写体領域と背景領域との判定に関して、従来より、様々な方法が考えられてきた。

例えば、特許文献１では、主要被写体領域と背景領域とを分離する技術として、同一シーンに対してフラッシュ光を発光させて撮影した画像とフラッシュ光を発光させないで撮影した画像とを取得し、取得した２枚の画像の差分から主要被写体領域と背景領域とを分離する方法が開示されている。

特許文献２では、同一シーンに対してフラッシュ光の発光強度を強くして撮影した画像とフラッシュ光の発光強度を弱くして撮影した画像とを取得し、その取得した２枚の画像の差分から主要被写体領域と背景領域とを分離する方法が開示されている。

特開２０００−３０８０６８号公報 特開２００９−２００９２４号公報

しかしながら、特許文献１に記載された技術は、フラッシュ光を発光させないで暗いシーンを撮影する場合には、シャッタスピードを遅くして十分な光量を得て黒つぶれが生じないようにする必要がある。シャッタスピードを遅くして撮影された画像には、主要被写体が動くことによる画像のブレ又は手振れによる画像のブレが生じる可能性が高くなる。ブレを有する画像は、主要被写体領域と背景領域との境界が曖昧になってしまい、主要被写体領域と背景領域との分離を正確に行うことができない。

このような主要被写体領域と背景領域との分離が正確に行われていない画像は、マルチエリアＷＢ処理が行われるとかえって不自然な画像となってしまう。

一方で、フラッシュ光を発光しない場合であってもブレの発生を抑えるためにシャッタスピードを高速に維持すると、光量（例えば輝度値で表される）が不十分な領域は、画像の撮像信号とノイズとの判別ができなくなる。なお、シャッタスピードを１／４秒から１／６４秒に速めると、環境光による輝度は１／１６になってしまう。具体的には、８bitで７０あった輝度は、輝度が１／１６になると４．３７５まで下がって、輝度が４．３７５まで下がった領域はノイズと見分けがつきにくい。

さらに、特許文献１に記載された技術は、室内灯に近い主要被写体領域を正しく判定できない場合がある。すなわち、複数の人物が主要被写体である場合に、室内灯に近くフラッシュ光も当たる人物の明るさはダイナミックレンジの上限により正しく表されず、主要被写体領域であってもフラッシュ光の発光画像と非発光画像との差分が閾値以下となってしまい、正確に主要被写体領域と背景領域とを判定できない場合がある。

また、特許文献２に記載された技術では、本撮影（適正露出の撮影）により取得した画像は、主要被写体領域と背景領域とを分離するために使用されない。すなわち、特許文献２に記載された技術は、本撮影された画像、フラッシュ光の発光強度が強い画像、及びフラッシュ光の発光強度が弱い画像を取得する必要があり、同一シーンに対して少なくとも３回の撮影が必要になってしまう。

本発明はこのような事情に鑑みてなされたもので、その目的は、本撮影を含めた２回の撮影で得られる画像であって、ノイズの影響、被写体の移動によるブレ、及び手振れの影響が抑えられた画像を使用して、主要被写体領域と背景領域との判定を正確に行うことができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することである。

本発明の一の態様である画像処理装置は、フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、第１のフラッシュ発光画像の露光時間とは異なる露光時間で、第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得部と、第１の撮像信号の各領域に対応する第２の撮像信号の各領域における、第１の撮像信号と第２の撮像信号との信号割合を算出する割合算出部と、第１のフラッシュ発光画像において、信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定部と、を備える。

本態様によれば、同一シーンに対してフラッシュ光を発光させて得た２枚のフラッシュ発光画像の信号割合により主要被写体領域と背景領域とを判定するので、画像においてノイズの影響、被写体のブレの影響、及び手振れの影響が抑制され、主要被写体領域と背景領域との判定を正確に行うことができる。特に、本態様によれば、主要被写体領域と背景領域との境界において、適切な判定がされる。また、本態様によれば、本撮影で得た画像も主要被写体領域と背景領域との判定に使用するので、本撮影を含めた少なくとも２回の撮影で得られる画像で判定を行うことができる。

望ましくは、割合算出部は、第１の撮像信号の各領域に対応する第２の撮像信号の各領域における、第１の撮像信号と第２の撮像信号との信号変化量を取得し、各領域の第１の撮像信号又は第２の撮像信号に基づく値に対する信号変化量の割合である信号割合を算出し、判定部は、第１のフラッシュ発光画像において、信号割合が閾値以下の領域を主要被写体領域とし、信号割合が閾値より大きい領域を背景領域と判定する。

本態様によれば、第１のフラッシュ発光画像と第２のフラッシュ発光画像との信号変化量が算出され、信号変化量に基づく信号割合により、主要被写体領域と背景領域との判定が行われる。これにより、本態様は、第１のフラッシュ発光画像と第２のフラッシュ発光画像との差分に基づいて正確に、主要被写体領域と背景領域との判定を行うことができる。

望ましくは、判定部は、第１のフラッシュ発光画像において、信号割合が閾値以上の領域を主要被写体領域とし、信号割合が閾値より小さい領域を背景領域と判定する。

本態様によれば、閾値に基づいて主要被写体領域と背景領域との判定を行うので、より正確な判定を行うことができる。

望ましくは、第１のフラッシュ発光画像の露光時間は、フラッシュ光の発光時間よりも長い。

本態様によれば、本撮影で得られる第１のフラッシュ発光画像の露光時間がフラッシュ光の発光時間よりも長いので、本撮影により得られた十分な明るさが確保された画像を使用して、判定を行うことができる。

望ましくは、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短い。

本態様によれば、参照撮影で撮影される第２のフラッシュ発光画像の露光時間は本撮影で撮影される第１のフラッシュ発光画像の露光時間より短いので、本撮影では十分な露光時間を確保しつつ、第１のフラッシュ発光画像及び第２のフラッシュ発光画像の取得は短時間で取得可能である。

望ましくは、第１のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の適正露出から決定される。

本態様によれば、第１のフラッシュ発光画像が適正露出により撮影されているので、良質な画質を有する第１のフラッシュ発光画像により判定を行うことができる。

望ましくは、判定部で判定された主要被写体領域と背景領域とに対して異なる信号処理を行う信号処理部、を備える。

本態様によれば、判定された主要被写体領域と背景領域とに対して異なる信号処理を行うので、主要被写体領域及び背景領域に応じて適切な画像処理を行うことができる。

望ましくは、信号処理部は、主要被写体領域と背景領域とに対して異なるホワイトバランス処理を行う。

本態様によれば、主要被写体領域に行われるホワイトバランス処理と背景領域に行われるホワイトバランス処理とは異なるので、主要被写体領域及び背景領域の光源に適したホワイトバランス処理を行うことができる。

望ましくは、第１のフラッシュ発光画像の輝度情報と第２のフラッシュ発光画像の輝度情報とを取得する輝度情報取得部と、第１のフラッシュ発光画像の輝度情報と第２のフラッシュ発光画像の輝度情報とを比較する輝度情報比較部と、を備え、信号処理部は、輝度情報比較部の比較結果に応じて、信号処理を行わない。

本態様によれば、第１のフラッシュ発光画像の輝度情報と第２のフラッシュ発光画像の輝度情報の比較結果に応じて、主要被写体領域と背景領域とで異なる信号処理を行わない。したがって、本態様は、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間で被写体が動いた場合など判定が適切に行えない場合に、信号処理による画質の劣化を防ぐことができる。

望ましくは、輝度情報比較部は、第１のフラッシュ発光画像の輝度情報と第２のフラッシュ発光画像の輝度情報との重なりを算出することにより比較を行う。

本態様によれば、第１のフラッシュ発光画像の輝度情報と第２のフラッシュ発光画像の輝度情報との重なりにより比較を行うので、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間での主要被写体の移動の有無を把握することができる。

望ましくは、信号処理部は、第１のフラッシュ発光画像及び第２のフラッシュ発光画像の撮影されたシャッタスピードがフラッシュ光の発光時間よりも短い場合は、信号処理を行わない。

本態様によれば、第１のフラッシュ発光画像と第２のフラッシュ発光画像とのシャッタスピードがフラッシュ光の発光時間よりも短い場合は、主要被写体領域と背景領域に対する信号処理部の異なる信号処理は行われない。例えば、高速のシャッタスピードでフォーカルプレーンシャッタを使用した場合に、１枚目の幕が降り始めて直ぐに２枚目の幕が降り始め、撮像面の全体にフラッシュ光が均一に当たらないため、フラッシュ発光画像には輝度ムラが発生してしまう。よって、本態様は、主要被写体領域と背景領域とに異なる信号処理を行わないので、信号処理による画質の劣化を抑制することができる。

望ましくは、第１のフラッシュ発光画像が撮影され、続いて第２のフラッシュ発光画像が撮影される場合において、第１のフラッシュ発光画像は後幕シンクロのフラッシュ発光タイミングで撮影され、第２のフラッシュ発光画像は先幕シンクロのフラッシュ発光タイミングで撮影される。

本態様によれば、第１のフラッシュ発光画像が撮影され続いて第２のフラッシュ発光画像が撮影される場合に、第１のフラッシュ発光画像は後幕シンクロで、第２のフラッシュ発光画像は先幕シンクロで撮影されているので、主要被写体やシーンの変動を抑えられ、正確に主要被写体領域と背景領域との判定を行うことができる。

望ましくは、第２のフラッシュ発光画像が撮影され、続いて第１のフラッシュ発光画像が撮影される場合において、第１のフラッシュ発光画像は先幕シンクロのフラッシュ発光タイミングで撮影され、第２のフラッシュ発光画像は後幕シンクロのフラッシュ発光タイミングで撮影される。

本態様によれば、第２のフラッシュ発光画像が撮影され続いて第１のフラッシュ発光画像が撮影される場合に、第２のフラッシュ発光画像は後幕シンクロで、第１のフラッシュ発光画像は先幕シンクロで撮影されているので、主要被写体やシーンの変動を抑えられ、正確に主要被写体領域と背景領域との判定を行うことができる。

望ましくは、第２のフラッシュ発光画像が撮影され、続いて第１のフラッシュ発光画像が撮影され、第１のフラッシュ発光画像が先幕シンクロのフラッシュ発光タイミングで撮影される場合には、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短い。

本態様によれば、第２のフラッシュ発光画像、続いて先幕シンクロにより第１のフラッシュ発光画像が撮影される場合には、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短い。これにより、本態様は、本撮影である第１のフラッシュ発光画像までの時間がより短くなるので、ユーザが意図した本撮影画像を取得することができる。

望ましくは、第２のフラッシュ発光画像は、後幕シンクロのフラッシュ発光タイミングで撮影される。

本態様によれば、後幕シンクロにより第２のフラッシュ発光画像、続いて先幕シンクロで第１のフラッシュ発光画像が撮影される場合には、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短い。これにより、本態様は、主要被写体やシーンの変動を抑えられ、正確に主要被写体領域と背景領域との判定を行うことができる。

望ましくは、第１のフラッシュ発光画像が撮影され、続いて第２のフラッシュ発光画像が撮影され、第１のフラッシュ発光画像が後幕シンクロのフラッシュ発光タイミングで撮影される場合には、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短い。

本態様によれば、第１のフラッシュ発光画像が撮影され、続いて後幕シンクロにより第２のフラッシュ発光画像が撮影される場合には、第２のフラッシュ発光画像の露光時間は第１のフラッシュ発光画像の露光時間よりも短い。これにより、本態様は、本撮影である第１のフラッシュ発光画像を撮影した後により早く参照撮影が終了するので、ユーザの利便性が向上する。

望ましくは、第２のフラッシュ発光画像は、先幕シンクロのフラッシュ発光タイミングで撮影される。

本態様によれば、後幕シンクロにより第１のフラッシュ発光画像が撮影された後に先幕シンクロにより第２のフラッシュ発光画像が撮影される場合には、第２のフラッシュ発光画像の露光時間は第１の露光時間よりも短い。これにより、本態様は、主要被写体及びシーンの変動が抑えられた画像により判定を行うことができるので、正確な主要被写体領域と背景領域との判定を行うことができる。

望ましくは、第１のフラッシュ発光画像及び第２のフラッシュ発光画像は、フラッシュ光の発光量の設定が同じである。

本態様によれば、第１のフラッシュ発光画像と第２のフラッシュ発光画像は、フラッシュ光の発光量の設定が同じであるので、正確に主要被写体領域と背景領域とを判定することができる。

望ましくは、第１の撮像信号及び第２の撮像信号の領域は１画素である。

本態様によれば、１画素毎に主要被写体領域及び背景領域の判定を行うので、より精度が良い判定を行うことができる。

本発明の他の態様である撮像装置は、上述の画像処理装置を備える。

望ましくは、上述の撮像装置は、手振れを検知する手振れセンサ、を備え、第１のフラッシュ発光画像及び第２のフラッシュ発光画像の少なくとも一方の撮影において、手振れセンサが手振れを検知した場合には、判定部は主要被写体領域及び背景領域の判定を行わない。

本態様によれば、手振れセンサが手振れを検知した場合には、判定部は判定を行わない。これにより、本態様は、判定部が行う判定の精度を確保することができる。

本発明の他の態様である画像処理方法は、フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、第１のフラッシュ発光画像の露光時間とは異なる露光時間で、第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得ステップと、第１の撮像信号の各領域に対応する第２の撮像信号の各領域における、第１の撮像信号と第２の撮像信号との信号割合を算出する割合算出ステップと、第１のフラッシュ発光画像において、信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定ステップと、を含む。

本発明の他の態様であるプログラムは、フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、第１のフラッシュ発光画像の露光時間とは異なる露光時間で、第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得ステップと、第１の撮像信号の各領域に対応する第２の撮像信号の各領域における、第１の撮像信号と第２の撮像信号との信号割合を算出する割合算出ステップと、第１のフラッシュ発光画像において、信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定ステップと、をコンピュータに実行させる。

本発明によれば、同一シーンの本撮影を含む少なくとも２枚のフラッシュ発光画像により主要被写体領域と背景領域とを判定するので、画像におけるノイズの影響、被写体のブレの影響、及び手振れの影響が抑制され、主要被写体領域と背景領域との判定を正確に行うことができる。

デジタルカメラの正面斜視図である。 デジタルカメラの背面斜視図である。 デジタルカメラの制御処理系を示すブロック図である。 第１実施形態の画像処理部のブロック図である。 信号割合の算出に関して説明する図である。 信号割合の算出に関して説明する図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 第１のフラッシュ発光画像と第２のフラッシュ発光画像の明るさ比を示す図である。 閾値とシャッタスピードの倍率に関して説明する図である。 フラッシュ光の発光強度と発光時間に関して説明する概念図である。 露光時間とフラッシュ光の発光時間とのタイミングチャートである。 第１実施形態の画像処理部のフロー図である。 第２実施形態の画像処理部のブロック図である。 第３実施形態の画像処理部のブロック図である。 輝度情報の一例を示す概念図である。 スマートフォンの外観を示す図である。 図２０に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用する例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法及びプログラムにも本発明を適用することが可能である。

図１は、デジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４及びカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。

カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード、画像を再生表示する再生モード、等がある。また他の撮影モードとして、オートフォーカスを行うＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）モード及びマニュアルフォーカス操作を行うＭＦ（Ｍａｎｕａｌ Ｆｏｃｕｓ）モードがある。一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

カメラ本体３の底部（図示省略）には、メインメモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。メインメモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。メインメモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体をメインメモリ１０として用いることが可能である。

図３は、デジタルカメラ２の制御処理系を示すブロック図である。

被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。レンズ部１２は、撮影レンズ（レンズ群）及び絞りを含む撮影光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサとを有する。撮像素子２１から出力される撮像信号は、プロセス処理部２２でＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等によってプロセス処理が施され、その後ＡＤ変換部２３によってアナログ形式の撮像信号がデジタル形式の撮像信号に変換される。デジタル化された撮像信号はバッファメモリ２４に保存される。

バッファメモリ２４は、撮像信号を一時的に記憶する領域であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成される。ＡＤ変換部２３から送られてきてバッファメモリ２４に蓄えられた撮像信号は、システム制御部２５により制御される画像処理部（画像処理装置）３１によって読み出される。画像処理部３１は、撮像素子２１が生成する撮像信号を入力撮像信号として使用し、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の撮像信号を再びバッファメモリ２４に保存する。

画像処理部３１において画像処理が施されてバッファメモリ２４に保存された撮像信号は、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、バッファメモリ２４から読み出した撮像信号を表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた撮像信号は、撮影確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、バッファメモリ２４から読み出した撮像信号の圧縮処理を行って、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意の圧縮形式の撮像信号を作成する。圧縮処理後の撮像信号は、メインメモリ１０への撮像信号の記憶処理及びメインメモリ１０からの撮像信号の読み出し処理をコントロールする記憶制御部３３によって、メインメモリ１０に記憶される。なおメインメモリ１０に撮像信号等のデータ類を記憶する場合、記憶制御部３３は、システム制御部２５から取得される撮影条件に基づいて、撮影条件の情報を撮像信号に付加する。この撮影条件の情報は任意のフォーマットで撮像信号に付加され、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）形式を採用可能である。

メインメモリ１０に保存されている撮像信号を再生する再生モードにおいて、メインメモリ１０に保存されている撮像信号は、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にバッファメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってバッファメモリ２４から撮像信号が読み出され、表示部８において撮像信号が再生表示される。

システム制御部２５は、上述のようにバッファメモリ２４、画像処理部３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部もコントロールする。例えば、システム制御部２５は、レンズ駆動部２７を制御してレンズ部１２の駆動をコントロールし、シャッタ駆動部２６を制御してメカニカルシャッタ２０の駆動をコントロールし、撮像素子２１を制御して撮像信号の出力をコントロールする。またシステム制御部２５は、フラッシュ発光部５を制御してフラッシュ光の発光及び非発光をコントロールし、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。なお、図示はしていないが、電源制御部２８が行う電池残量の検知は、電池残量センサにより行われる。また、システム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。さらに、システム制御部２５は、画像処理部３１を構成する各種の処理部を制御し、手振れセンサ７０を制御して手振れセンサ７０の検知結果に基づいて各部をコントロールする。

さらにまた、システム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。例えば、システム制御部２５は、シャッタボタン６から受信したレリーズ信号に応じてシャッタ駆動部２６を制御し、メカニカルシャッタ２０の開閉をコントロールする。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。

システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば設定されたホワイトバランスモード（以下、「ＷＢモード」と称する）の種類やホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。またシステム制御部２５は、表示制御部３５を制御して、各部から取得した各種情報を表示部８に表示させることができる。なおシステム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。

（第１実施形態）
次に、第１実施形態の画像処理部３１に関して説明をする。本実施形態の画像処理部３１は、同一シーンに対してフラッシュ光を発光させて撮影した２枚の画像により、主要被写体領域と背景領域とを判定する。

図４は、第１実施形態の画像処理部３１のブロック図である。画像処理部３１は、画像取得部４１、割合算出部４３、及び判定部４５を備える。

画像取得部４１は、第１の撮像信号と第２の撮像信号とをバッファメモリ２４から取得する。ここで、第１の撮像信号は、フラッシュ発光部５からのフラッシュ光を伴い本撮影された第１のフラッシュ発光画像を示す信号である。なお、本撮影とは、メインメモリ１０に撮影画像として記録することを意図する画像の撮影であり、適正な撮影条件により行われる撮影のことである。また、第２の撮像信号は、フラッシュ発光部５からのフラッシュ光を伴い、第１の撮像信号とは異なる露光時間で参照撮影された第２のフラッシュ発光画像を示す信号である。なお、参照撮影とは、本撮影ではない撮影であり、必ずしも適正な撮影条件で行われなくてもよい。また、露光時間とは、撮像素子２１において受光した光に応じて電荷が蓄積される時間のことであり、シャッタスピードに対応する。

画像取得部４１が取得する第１の撮像信号及び第２の撮像信号は、上述したように、撮影条件等の情報がＥｘｉｆ形式等により付与されている。ここで、撮影条件とは、画像を撮影する際に考慮される様々な条件を意味し、一般に知られているＥｘｉｆ形式等により撮像信号に付与される情報を含む意味である。例えば、撮影条件として、絞り値（Ｆ値）、ＩＳＯ感度、シャッタスピード、フラッシュ光の有り無し、フラッシュ光の発光強度の設定、フラッシュ光の発光タイミング、及びフラッシュ光の発光量の設定等がある。

割合算出部４３は、各領域における第１の撮像信号と第２の撮像信号との信号割合を算出する。割合算出部４３が行う具体的な信号割合の算出に関しては後で説明する。

判定部４５は、割合算出部４３により算出された信号割合及び閾値に基づいて、第１のフラッシュ発光画像における主要被写体領域と背景領域とを判定する。例えば、判定部４５は、領域の信号割合が閾値以上の領域を主要被写体領域とし、領域の信号割合が閾値より小さい領域を背景領域と判定する。また、信号割合の算出方法によっては、判定部４５は、領域の信号割合が閾値以下の領域を主要被写体領域とし、領域の信号割合が閾値より大きい領域を背景として判定してもよい。なお、閾値の具体的な決定方法に関しては後で説明をする。

＜信号割合＞
次に、割合算出部４３が行う信号割合の算出について説明する。先ず、図５及び図６に沿って、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間の光量の変化の関係に関して説明する。

図５は、第１のフラッシュ発光画像及び第２のフラッシュ発光画像を示す概念図である。図５（Ａ）に示された第１のフラッシュ発光画像は、被写体距離が近い場所に位置する人の顔の主要被写体４７、被写体距離が比較的遠い場所に位置する建物の中間被写体４９、及び被写体距離が非常に遠い場所に位置する山の背景５１が撮影されている。図５（Ａ）に示す第１のフラッシュ発光画像は、本撮影されているので、十分な露光時間により撮影されている。すなわち、第１のフラッシュ発光画像は、フラッシュ光が届かない環境光のみの領域（例えば、山の背景５１が写っている領域）においても黒つぶれしないように十分な光量で撮影されている。例えば、第１のフラッシュ発光画像は、適正露出が得られる露光時間により撮影されている。ここで、適正露出とは、オーバーやアンダーとならない露出のことをいう。しかし、第１のフラッシュ発光画像がマニュアル露出で撮影される場合は、第１のフラッシュ発光画像の露出は、アンダーやオーバーであってもよい。また、中間被写体４９とは、例えばユーザの意図やシーンにより、主要被写体又は背景と見なされる被写体のことである。

図５（Ｂ）には、第１のフラッシュ発光画像の露光時間よりも短い露光時間で撮影された第２のフラッシュ発光画像が示されている。第２のフラッシュ発光画像は、露光時間が短いので第１のフラッシュ発光画像よりも光量が少ない画像となる。特に、環境光の影響が大きい背景５１では、露光時間の長さに応じて得られる光量が減少する。なお、本発明は、第１のフラッシュ発光画像と第２のフラッシュ発光画像とにおける光量の相違によって、主要被写体領域５３と背景領域５７とを判定するので、第１のフラッシュ発光画像の露光時間と第２のフラッシュ発光画像の露光時間とは異なることが必要となる。しかし、第１のフラッシュ発光画像の露光時間と第２のフラッシュ発光画像の露光時間は異なればよく、それぞれの露光時間は特に限定されるものではない。例えば、第２のフラッシュ発光画像の露光時間が第１のフラッシュ発光画像の露光時間よりも短くてもよい。本撮影である第１のフラッシュ発光画像は十分な露光時間を確保することができ、参照撮影である第２のフラッシュ発光画像の撮影は短時間で終わらすことができる。

図６は、図５に示した第１のフラッシュ発光画像と第２のフラッシュ発光画像の領域毎の光量を示した概念図である。図６（Ａ）は図５（Ａ）に示した第１のフラッシュ発光画像における領域毎の光量が示されており、図６（Ｂ）は図５（Ｂ）に示した第２のフラッシュ発光画像における領域毎の光量が示されている。また、図６（Ａ）及び図６（Ｂ）は、人の顔の主要被写体４７が写っている領域である主要被写体領域５３と、建物の中間被写体４９が写っている中間被写体領域５５と、山の背景５１が写っている背景領域５７とを有する。

図６（Ａ）及び図６（Ｂ）に示されるように、第１のフラッシュ発光画像及び第２のフラッシュ発光画像は、Ａ１〜Ａ５、Ｂ１〜Ｂ５、Ｃ１〜Ｃ５、Ｄ１〜Ｄ５、及びＥ１〜Ｅ５の５×５の領域に分割されており、この５×５の領域毎に信号割合が算出される。各領域においてはフラッシュ光からの光量はＦで環境光からの光量はＬで表されており、例えば、領域Ａ１は、フラッシュ光からの光量「１」（図６（Ａ）ではＦ（１）と表現されている）、環境光からの光量「９」（図６（Ａ）ではＬ（９）と表現されている）、及び総光量「１０」（図６（Ａ）ではＡ１（１０）と表現されている）を有する。なお、光量は様々な数値によって表され、例えば、光量は領域における平均の輝度値で表される。

なお、図５及び図６の説明では、画像を５×５に分割したものを領域としたが、これに限定されるものではない。例えば、領域は、画像をｍ×ｎ（ｍ及びｎは１以上の整数）に分割したものでもよいし、各領域を複数の画素や１画素で構成してもよい。

背景領域５７を構成するＡ１〜Ａ５及びＢ１〜Ｂ５の各領域は、フラッシュ光からの光量は「１」であり、環境光からの光量は「９」であり、総光量は「１０」である。背景領域５７を構成する各領域は、山の背景５１の被写体距離が遠いので、フラッシュ光があまり届かなくフラッシュ光からの影響をあまり受けない。中間被写体領域５５を構成するＣ１〜Ｃ２、Ｄ１〜Ｄ２、及びＥ１〜Ｅ２の各領域は、フラッシュ光からの光量は「２５」であり、環境光からの光量は「２５」であり、総光量は「５０」である。中間被写体領域５５を構成する各領域は、建物の中間被写体４９の被写体距離が比較的遠くなるので、フラッシュ光からの光量は「２５」となる。主要被写体領域５３を構成するＣ３〜Ｃ５、Ｄ３〜Ｄ５、及びＥ３〜Ｅ５の各領域は、フラッシュ光からの光量は「９０」であり、環境光からの光量は「１０」であり、総光量は「１００」である。主要被写体領域５３を構成する各領域は、主要被写体４７の被写体距離が近いためにフラッシュ光からの光量は「９０」となる。

図６（Ｂ）では、シャッタスピードが第１のフラッシュ発光画像よりも１６倍の速さで撮影された第２のフラッシュ発光画像の光量が示されている。第２のフラッシュ発光画像は、シャッタスピードが第１のフラッシュ発光画像を撮影した際のシャッタスピードよりも１６倍の速さなので、環境光による光量が第１のフラッシュ発光画像（図６（Ａ））に比べて１／１６となっている。具体的には、背景領域５７では環境光からの光量は「９」から「０．５６」となり、中間被写体領域５５では環境光からの光量は「２５」から「１．５６」となり、主要被写体領域５３では環境光からの光量は「１０」から「０．６３」となる。一方、フラッシュ光からの光量は、第１のフラッシュ発光画像及び第２のフラッシュ発光画像のシャッタスピードがフラッシュ光の発光時間よりも長いので、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間で変化はない。したがって、第２のフラッシュ発光画像の各領域では、シャッタスピードが短くなった分の環境光の減少分だけ光量が減少する。すなわち、背景領域５７の各領域では、第１のフラッシュ発光画像において総光量「１０」であったのが第２のフラッシュ発光画像において総光量「１．５６」となり、中間被写体領域５５の各領域では、第１のフラッシュ発光画像において総光量「２５」であったのが第２のフラッシュ発光画像において総光量「２６．５６」となり、主要被写体領域５３の各領域では、第１のフラッシュ発光画像において総光量「１００」であったのが第２のフラッシュ発光画像において総光量「９６．３」となる。

以上で説明したように、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間では、シャッタスピードの倍率又は露光時間の差異に応じて環境光からの光量が変化する。本発明は、この光量の変化を利用して、主要被写体領域５３と背景領域５７とを判定する。なお、図５及び図６では説明の都合上主要被写体領域５３は主要被写体４７が写っている領域としたが、判定部４５が判定する主要被写体領域は、これに限定されるものではない。すなわち、判定部４５は、閾値に応じて、中間被写体領域５５を主要被写体領域として判定することができる。同じく、判定部４５は、閾値に応じて中間被写体領域５５を背景領域５７と判定することができる。

次に、割合算出部４３が行う第１のフラッシュ発光画像と第２のフラッシュ発光画像との間の信号割合の算出に関して説明する。ここで、信号割合とは、第１のフラッシュ発光画像及び第２のフラッシュ発光画像間の撮像信号の割合である。例えば、信号割合は、光量に関する信号の変化割合とすることができる。

割合算出部４３は、図６（Ａ）に示された第１の撮像信号及び図６（Ｂ）に示された第２の撮像信号間の光量に関する信号の割合（信号割合）を算出する。割合算出部４３は、様々な方法で、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間の信号割合を算出することができる。例えば、割合算出部４３は、第１のフラッシュ発光画像の光量と第２のフラッシュ発光画像の光量との信号割合を以下の（式１）により算出することができる。

信号割合＝（第２のフラッシュ発光画像の光量／第１のフラッシュ発光画像の光量）×１００…（式１）
（式１）により、信号割合を算出すると、背景領域５７の信号割合は１５．６（＝１．５６／１０×１００）％となり、中間被写体領域５５の信号割合は５３．１２（＝２６．５６／５０×１００）％となり、主要被写体領域５３の信号割合は９６．３（＝９６．３／１００×１００）％となる。

また、割合算出部４３は、領域における第１の撮像信号と第２の撮像信号との信号変化量を取得し、各領域の第１の撮像信号又は第２の撮像信号に基づく値に対する信号変化量の割合である信号割合を算出してもよい。この場合には、第１のフラッシュ発光画像と第２のフラッシュ発光画像との差分に基づいて正確な、主要被写体領域と背景領域との判定を行うことができる。

例えば、図６に示した場合では、割合算出部４３は、背景領域５７の信号変化量を８．４４（１０−１．５６）、中間被写体領域５５の信号変化量を２３．４４（５０−２６．５６）、主要被写体領域５３の信号変化量を３．７（１００−９６．３）と算出する。さらに、割合算出部４３は、例えば、第１のフラッシュ発光画像の各領域の総光量に対する信号変化量の割合を信号割合として、以下に示す（式２）により算出する。

信号割合＝（信号変化量／第１のフラッシュ発光画像の光量）×１００…（式２）
（式２）により、信号割合を算出すると、背景領域５７の信号割合は８４．４４（８．４４／１０×１００）％、中間被写体領域５５の信号割合は４６．８８（２３．４４／５０×１００）％、主要被写体領域５３の信号割合は３．７（３．７／１００×１００）％となる。

上述のように求められた信号割合は割合算出部４３から判定部４５に送られ、判定部４５は、信号割合と閾値に応じて、主要被写体領域５３と背景領域５７との判定を行う。なお、判定部４５により判定される主要被写体領域５３は、例えばユーザが主要被写体用の画像処理を行いたい領域のことを意味し、判定部４５により判定される背景領域５７は、例えばユーザが背景用の画像処理を行いたい領域のことを意味する。ユーザは、閾値の設定により、所望の領域を判定部４５に判定させることが可能である。

＜閾値について＞
次に、判定部４５が主要被写体領域５３か背景領域５７かを判定する際に使用する閾値に関して説明する。閾値の決定の方法は、特に限定されず、ユーザが意図する主要被写体領域５３と背景領域５７との判定が行える範囲で様々な方法を採用することができる。なお、閾値は、予めデジタルカメラ２の制御メモリ３０等に記憶されていてもよいし、ユーザが直接入力を行ってもよい。

例えば、閾値は、第１のフラッシュ発光画像と第２のフラッシュ発光画像との間でフラッシュ光の影響が一定であり、第１のフラッシュ発光画像の露光時間と第２のフラッシュ発光画像の露光時間との割合により環境光からの光量が変わること、及び任意に設定されるフラッシュ光からの光量の割合に基づいて算出される。

図７〜図１２で示された第１のフラッシュ発光画像と第２のフラッシュ発光画像との明るさ比を示す図を使用して具体例を説明する。図７〜図１２の縦軸は明るさを表しており、横軸はシャッタスピードの倍率（図中では「ＳＳ倍率」と表記）を表している。なお、明るさは、公知の様々な指標で表され、例えば、明るさは輝度値により表される。また、図中に示される明るさ比とは、第１のフラッシュ発光画像の領域の明るさに対する第２のフラッシュ発光画像の領域の明るさを示すものである。

図７は、フラッシュ光からの光量の割合が４０％以上ある領域を主要被写体領域５３として判定する場合の閾値の決め方を説明する図である。図７は、第２のフラッシュ発光画像のシャッタスピードを第１のフラッシュ発光画像のシャッタスピードの１／１６倍とした場合について説明する。ここで、シャッタスピードが１／１６倍とは、第１のフラッシュ発光画像がシャッタスピード１／４秒で撮影され、第２のフラッシュ発光画像がシャッタスピード１／６４秒で撮影されている場合のことである。

シャッタスピードが第１のフラッシュ発光画像の１／１６で撮影された第２のフラッシュ発光画像では、フラッシュ光からの光量は、露光時間の影響を受けずに変わらないので第１のフラッシュ発光画像の４０％の光量が維持される。一方、環境光からの光量は、露光時間の影響を受けるので第１のフラッシュ発光画像の３．７５％（第１のフラッシュ発光画像の６０％の１／１６）となる。したがって、第１のフラッシュ発光画像においてフラッシュ光の光量と環境光の光量とが４０％と６０％である領域は、第２のフラッシュ発光画像の対応する領域では、第１のフラッシュ発光画像の光量の４３．７５％（明るさ比４３．７５％）の光量を有する。

したがって、閾値を４３．７５％とすると、判定部４５は、第１のフラッシュ発光画像においてフラッシュ光の光量の明るさ比が４０％以上の領域を主要被写体領域５３として判定することができる。

図８は、図７と同様の方法で、フラッシュ光からの光量の割合が８０％以上ある領域を主要被写体として判定する場合の閾値の決め方を説明する。図８においても、第２のフラッシュ発光画像は、第１のフラッシュ発光画像の１／１６のシャッタスピードにより撮影されている。第２のフラッシュ発光画像において、フラッシュ光からの光量は、露光時間に影響されないため第１のフラッシュ発光画像の８０％の光量を維持する。一方、第２のフラッシュ発光画像において、環境光からの光量は、露光時間に影響を受けるので第１のフラッシュ発光画像の１．２５％と（第１のフラッシュ発光画像の２０％の１／１６）となる。したがって、第１のフラッシュ発光画像においてフラッシュ光の光量と環境光の光量とが８０％と２０％である領域は、第２のフラッシュ発光画像では、第１のフラッシュ発光画像の光量の８１．２５％（明るさ比８１．２５％）の光量を有する。そして、閾値を８１．２５％とすると、判定部４５は、第１のフラッシュ発光画像においてフラッシュ光の光量の明るさ比が８０％以上の領域を主要被写体領域５３として判定することができる。

図９は、図７及び図８と同様の方法で、フラッシュ光からの光量の割合が２０％以上ある領域を主要被写体領域５３として判定する場合の閾値の決め方を説明する。第２のフラッシュ発光画像において、環境光からの光量は、露光時間に影響を受けるので第１のフラッシュ発光画像の５％と（第１のフラッシュ発光画像の８０％の１／１６）となる。したがって、閾値を２５％とすると、判定部４５は、第１のフラッシュ発光画像においてフラッシュ光の光量の明るさ比が２０％以上の領域を主要被写体領域５３として判定することができる。

図１０は、図７で説明したフラッシュ光からの光量が４０％以上の領域を判定する閾値（明るさ比４３．７５％）、第１のフラッシュ発光画像においてフラッシュ光からの光量が８０％の領域の第２の発光画像における明るさ比（８１．２５％）（図８を参照）、及び第１のフラッシュ発光画像においてフラッシュ光からの光量が２０％の領域の第２の発光画像における明るさ比（２５％）（図９を参照）を示す。

判定部４５が閾値以上の明るさ比を有する領域を主要被写体領域５３と判定し、閾値より小さい明るさ比を有する領域を背景領域５７と判定する場合、第１のフラッシュ発光画像においてフラッシュ光からの光量が８０％の領域は、８１．２５％の明るさ比を有するので主要被写体領域５３として判定される。一方、第１のフラッシュ発光画像においてフラッシュ光からの光量が２０％の領域は、２５％の明るさ比を有するので背景領域５７として判定される。

図１１は、図１０の場合において、閾値を明るさ比９０．６２５％とした場合を示す。この閾値は、第２のフラッシュ発光画像のシャッタスピードが１／１６である場合に、第１のフラッシュ発光画像においてフラッシュ光からの光量が９０％以上の領域を判定することができる。判定部４５がこの閾値で判定を行うと、フラッシュ光からの光量が８０％の領域（第２のフラッシュ発光画像では８１．２５％）及びフラッシュ光からの光量が２０％の領域（第２のフラッシュ発光画像では２５％）は、背景領域５７として判定される。

図１２は、図１０の場合において、閾値を明るさ比１５．６２５％とした場合を示す。この閾値は、第２のフラッシュ発光画像のシャッタスピードが１／１６である場合に、第１のフラッシュ発光画像においてフラッシュ光からの光量が１０％以上の領域を判定することができる。判定部４５がこの閾値に判定を行うと、フラッシュ光からの光量が８０％の領域（第２のフラッシュ発光画像では８１．２５％）及びフラッシュ光からの光量が２０％の領域（第２のフラッシュ発光画像では２５％）は、主要被写体領域５３として判定される。

図１０から図１２で説明をしたように、ユーザが第１のフラッシュ発光画像における任意のフラッシュ光からの光量の比率を選択し、その比率より閾値が算出され、判定部４５により閾値を使用して主要被写体領域５３及び背景領域５７の判定が行われる。これにより、ユーザは、例えば、フラッシュ光からの光量に応じて領域を選択し、各領域において異なる画像処理を行わせることができる。

図１３は、第１のフラッシュ発光画像においてフラッシュ光からの光量が４０％の領域を主要被写体領域５３として判定する場合の閾値を、第２のフラッシュ発光画像を撮影するシャッタスピードに応じて示した図である。第１のフラッシュ発光画像と第２のフラッシュ発光画像とのシャッタスピードの倍率が１／２、１／４、１／８、１／１６、１／３２、１／６４、及び１／１２８と変化するにしたがって、閾値（明るさ比）は、７０％、５５％、４７．５％、４３．７５％、４１．８５％、４０．９３７５％、及び４０．４６８７５％となる。これは、フラッシュ光からの光量は露光時間に影響されずに第１のフラッシュ発光画像の４０％で一定であるのに対して、環境光からの光量は露光時間によって変化するからである。

次に、図１４及び図１５を使用して、フラッシュ光の発光量、フラッシュ光の発光時間、露光時間とに関して説明する。

図１４は、フラッシュ光の発光強度と発光時間に関して説明する概念図である。図１４では、縦軸はフラッシュ光の発光強度を示しており、横軸は時間を示している。図１４に示した図は、キセノンランプの一般的な発光強度と時間の関係を示している。一般的に１／１０００秒の露光時間があれば、フラッシュ光からの光量を十分に受光することが可能である。なお、図１４はキセノンランプに関しての図であるが、フラッシュ光を発光するものであれば特にキセノンランプに限定されない。例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を利用したフラッシュ装置を使用することも可能である。

図１５は、露光時間とフラッシュ光の発光時間とのタイミングチャートである。第１のフラッシュ発光画像は露光時間Ｔ１及びフラッシュ光の発光時間ＴＦ１により撮影され、第２のフラッシュ発光画像は露光時間Ｔ２及びフラッシュ光の発光時間ＴＦ２により撮影されている。

露光時間Ｔ２が露光時間Ｔ１よりも短い場合には、第１のフラッシュ発光画像（本撮影画像）において十分な露光時間を確保することができる。また、露光時間Ｔ１はフラッシュ光の発光時間ＴＦ１よりも長く設定され、露光時間Ｔ２はフラッシュ光の発光時間ＴＦ２よりも長く設定されているので、フラッシュ光からの光量を十分に取得でき且つ環境光からの光量もより多く取得することができる。さらに、露光時間Ｔ１は、特に限定されるものではないが、第１のフラッシュ発光画像が本撮影の画像であることを考慮すると、適正露出を得られる露光時間であることが好ましい。

図１５に示した場合では、第１のフラッシュ発光画像の撮影では後幕シンクロの発光タイミング（フラッシュ発光タイミング）でフラッシュ光が発光され、第２のフラッシュ発光画像の撮影では先幕シンクロの発光タイミングでフラッシュ光が発光される。このようなフラッシュ光の発光タイミングにより第１のフラッシュ発光画像及び第２のフラッシュ発光画像が撮影されると、１回目のフラッシュ光の発光と２回目のフラッシュ光の発光の間隔が短くなり、主要被写体やシーンの変動がより抑えられる。したがって、図１５に示したフラッシュ発光タイミングに撮影された第１のフラッシュ発光画像と第２のフラッシュ発光画像を使用することにより、より正確に主要被写体領域５３と背景領域５７とを判定することができる。

なお、第１のフラッシュ発光画像のフラッシュ光の発光タイミングは、後幕シンクロに限定されるものではなく先幕シンクロ（先幕シンクロ設定）であってもよい。また、第２のフラッシュ発光画像のフラッシュ光の発光タイミングは、先幕シンクロに限定されるものではなく後幕シンクロ（後幕シンクロ設定）であってもよい。例えば、第２のフラッシュ発光画像、続いて第１のフラッシュ発光画像が撮影される場合には、第１のフラッシュ発光画像が先幕シンクロのフラッシュ発光タイミングで撮影され、第２のフラッシュ発光画像が後幕シンクロのフラッシュ発光タイミングで撮影されてもよい。さらに、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短く、フラッシュ光の発光時間よりも長いことが好ましい。これにより、本撮影である第１のフラッシュ発光画像までの時間がより短くなるので、ユーザが意図した本撮影画像を取得することができる。さらに、第１のフラッシュ発光画像が後幕シンクロのフラッシュ発光タイミングで撮影され、第１のフラッシュ発光画像、続いて第２のフラッシュ発光画像が撮影される場合には、第２のフラッシュ発光画像の露光時間は、第１のフラッシュ発光画像の露光時間よりも短く、フラッシュ光の発光時間よりも長いことが好ましい。これにより、本撮影である第１のフラッシュ発光画像を撮影した後により早く参照撮影が終了するので、ユーザの利便性が向上する。

また、例えば、第１のフラッシュ発光画像及び第２のフラッシュ発光画像が先幕シンクロのフラッシュ光の発光タイミングで撮影される場合には、参照撮影である第２のフラッシュ発光画像が先に撮影され、本撮影である第１のフラッシュ発光画像が後に撮影される。そして、第２のフラッシュ発光画像の露光時間を第１のフラッシュ発光画像の露光時間よりも短くすると、１回目のフラッシュ光の発光と２回目のフラッシュ光の発光との間隔が短くなり、主要被写体やシーンの変動を抑えることができる。また、例えば、第１のフラッシュ発光画像及び第２のフラッシュ発光画像が後幕シンクロのフラッシュ光の発光タイミングで撮影される場合には、本撮影である第１のフラッシュ発光画像を先に撮影して、参照撮影である第２のフラッシュ発光画像を後に撮影する。そして、第２のフラッシュ発光画像の露光時間を第１のフラッシュ発光画像の露光時間よりも短くすると、１回目のフラッシュ光の発光と２回目のフラッシュ光の発光との間隔が短くなり、主要被写体やシーンの変動を抑えることができる。

また、ＬＥＤを利用したフラッシュ装置を使用した場合には、第１のフラッシュ発光画像のフラッシュ光の発光タイミングが後幕シンクロであって、第２のフラッシュ発光画像のフラッシュ光の発光タイミングが先幕シンクロで設定されていると、フラッシュ光を発光時間ＴＦ１の開始からフラッシュ光の発光時間ＴＦ２の終了まで発光させつづけてもよい。

さらに、発光時間ＴＦ１及び発光時間ＴＦ２は、等しく設定されていることが好ましい。発光時間ＴＦ１及び発光時間ＴＦ２が等しい場合には、同じフラッシュ光（装置）を使用していれば、第１のフラッシュ発光画像と第２のフラッシュ発光画像とのフラッシュ光からの発光量が等しくなる。これにより、第１のフラッシュ発光画像と第２のフラッシュ発光画像のシャッタスピードがフラッシュ光の発光時間よりも十分長く、第１のシャッタスピードが第２のシャッタスピードと比べて遅い場合には、主要被写体の明るさは同じになるが、背景の明るさには差分がでるため、より正確な主要被写体領域５３と背景領域５７との判定が行われる。なお、第１のフラッシュ発光画像と第２のフラッシュ発光画像のフラッシュ光からの発光量は等しい場合に限定されない。例えば、ノイズが少ない撮像素子２１やノイズの影響が抑制されるＩＳＯ感度で撮影される場合には、第２のフラッシュ発光画像は、フラッシュ光からの発光量を第１のフラッシュ発光画像の半分に設定され、ＩＳＯ感度を第１のフラッシュ発光画像から１段上げて撮影されてもよい。これにより、第１のフラッシュ発光画像及び第２のフラッシュ発光画像が同じフラッシュ光からの発光量により撮影されなくても、正確な主要被写体領域５３と背景領域５７との判定を行うことができる。さらに、このような態様では、電池の消費が抑えられ、コンデンサの充電時間の短縮も可能である。

また、図１５では、露光時間Ｔ１と露光時間Ｔ２は時間的に間隔があるが、ローリングシャッタ方式のＣＭＯＳセンサの場合であって、グローバルシャッタが可能なセンサ等を使うことにより、この間隔を限りなく０に近づけることが好ましい。例えば、撮影開始時にメカシャッタが開かれ、１枚目の露光終了はセンサのグローバルシャッタで行われ、２枚目の露光終了でメカシャッタが閉じられれば、１枚目と２枚目の露光時間の時間的間隔はほぼ０となる。

図１６は、第１実施形態の画像処理装置のフロー図である。先ず、画像取得部４１は、互いに露光時間が異なる第１のフラッシュ発光画像と第２のフラッシュ発光画像とを取得する（ステップＳ１：画像取得ステップ）。そして、割合算出部４３は、第１のフラッシュ発光画像の各領域における光量及び第２のフラッシュ発光画像の各領域における総光量（フラッシュ光からの光量及び環境光からの光量）から信号割合を算出する（ステップＳ２：割合算出ステップ）。例えば、信号割合は、第１のフラッシュ発光画像の各領域における明るさに対する第２のフラッシュ発光画像の各領域における明るさ、すなわち明るさ比であってもよい。そして、ユーザによりフラッシュ光からの光量の任意の割合が決定され、第１のフラッシュ発光画像と第２のフラッシュ発光画像とのシャッタスピードの倍率に応じて、閾値が決定される（ステップＳ３）。その後、閾値を使用して、判定部４５は、第１のフラッシュ発光画像の各領域を主要被写体領域５３又は背景領域５７と判定する（ステップＳ４：判定ステップ）。

以上、説明したように本発明の画像処理装置は、同一シーンに対してフラッシュ光を発光させて得た２枚のフラッシュ発光画像における変化割合により主要被写体領域５３と背景領域５７とを判定する。したがって、ノイズの影響、被写体のブレの影響、及び手振れの影響が抑制され、主要被写体領域５３と背景領域５７との判定を適切に行うことができる。また、本体態様によれば、本撮影で得た画像も主要被写体領域と背景領域との領域判定に使用するので、領域判定を本撮影を含めた２回の撮影で行うことができる。

（第２実施形態）
本発明の第２実施形態に関して説明する。本発明の第２実施形態は、判定部４５で判定された主要被写体領域５３と背景領域５７とに対して異なる信号処理を行う。

図１７は、第２実施形態の画像処理部３１のブロック図である。第２実施形態の画像処理部３１は、画像取得部４１、割合算出部４３、判定部４５、及び信号処理部６１を備える。なお、図４で既に説明したブロックは、同じ符号を付して説明は省略する。

信号処理部６１は、判定部４５で判定された主要被写体領域５３及び背景領域５７に別々の信号処理を行う。主要被写体領域５３と背景領域５７とでは画像の特性が異なる場合があるので、主要被写体領域５３と背景領域５７とで異なる信号処理を行うことにより、より適切な信号処理を行うことができる。

信号処理部６１は、例えば、主要被写体領域５３と背景領域５７とで異なるＷＢ処理を行う。すなわち、信号処理部６１は、第１のフラッシュ発光画像に対してマルチエリアＷＢ処理を行い、主要被写体領域５３と背景領域５７とに対して異なるＷＢゲインを適用するＷＢ処理を行う。主要被写体領域５３と背景領域５７とに対して異なるＷＢゲインのＷＢ処理を行うことにより、主要被写体領域５３ではフラッシュ光の影響をキャンセルすることができ、背景領域５７では環境光の影響をキャンセルすることができる。

上述したように、第２実施形態は、信号処理部６１により判定部４５の主要被写体領域５３及び背景領域５７の判定結果に応じて信号処理を変えるので、画像の特性に応じた信号処理を行うことができる。

（第３実施形態）
本発明の第３実施形態に関して説明する。本発明の第３実施形態では、条件に応じて、第２実施形態で説明した信号処理部６１の信号処理が行われない、又は、条件に応じて、第１のフラッシュ発光画像及び第２のフラッシュ発光画像を使用しての主要被写体領域５３と背景領域５７との判定が行われない。

例えば、主要被写体の動きが速くて正確な判定が行えない場合、又はシャッタスピードを十分高速にすることができ本発明の判定を行う必要がない場合では、信号処理部６１は主要被写体領域５３と背景領域５７とで異なる信号処理を行わない。また、例えば、手振れが起こり正確な判定が行えない場合、又は電池残量が少ない場合では、判定部４５は判定を行わない。なお、判定部４５が上述した判定を行わない場合には、公知の手法により主要被写体領域５３と背景領域５７との判定を行ってもよい。主要被写体領域５３と背景領域５７との判定の公知の手法とは、例えば本願の従来技術として説明を行った手法である。

信号処理部６１が主要被写体領域５３と背景領域５７とで異なる信号処理を行うか否かの決定は、信号処理部６１、又はシステム制御部２５（図３参照）により行われる。また、判定部４５が第１のフラッシュ発光画像及び第２のフラッシュ発光画像から主要被写体領域５３と背景領域５７の判定を行うか否かの決定は、判定部４５、又はシステム制御部２５（図３参照）により行われる。

＜主要被写体の動きが速い場合＞
主要被写体の動きが速い場合には、第１のフラッシュ発光画像及び第２のフラッシュ発光画像での主要被写体の位置がズレてしまう場合があり、第１のフラッシュ発光画像の光量と第２のフラッシュ発光画像の光量との変化割合が正確に算出されない場合がある。したがって、信号処理部６１は、主要被写体の動きが速い場合には、主要被写体領域５３と背景領域５７とに異なる信号処理を行わない。

主要被写体の速度（移動速度）は、様々な方法で検知することができる。例えば、第１のフラッシュ発光画像と第２のフラッシュ発光画像の輝度情報が比較されることにより、主要被写体の移動速度が検知されてもよい。

図１８は、図１７で説明した画像処理部３１が、輝度情報取得部６２と輝度情報比較部６３とをさらに有する場合を示す。なお、図４及び図１７と同じブロックは、同じ符号を付し説明は省略する。

輝度情報取得部６２は、画像取得部４１で取得された第１のフラッシュ発光画像と第２のフラッシュ発光画像の輝度情報を取得する。輝度情報取得部６２は、様々な方法により、第１のフラッシュ発光画像及び第２のフラッシュ発光画像から輝度情報を取得することができる。ここで、輝度情報とは輝度に関する様々な情報を意味し、例えば輝度情報は輝度値やヒストグラムである。

図１９は、輝度情報取得部６２が取得する輝度情報の一例を示す図である。図１９（Ａ）に示された輝度情報は、第１のフラッシュ発光画像に関する輝度情報６５である。図１９（Ｂ）に示された輝度情報は、第２のフラッシュ発光画像に関する輝度情報６７である。図１９（Ａ）の輝度情報６５では、ある値（閾値）以上輝度値を有する領域６９が抽出され、図１９（Ｂ）の輝度情報６７では図１９（Ａ）の場合と同じ値以上の輝度値を有する領域７３が抽出されている。フラッシュ光を発光させて撮影した場合、主要被写体が主にフラッシュ光を反射するので、ある値以上の輝度値を有する領域６９及び領域７３は、主要被写体が写っている画像領域と考えることができる。したがって、第１のフラッシュ発光画像のある値以上の輝度値を有する領域６９と第２のフラッシュ発光画像のある値以上の輝度値を有する領域７３の重なりを調べることにより、主要被写体の移動の有無を知ることができる。なお、ある値（閾値）は、主要被写体の輝度情報を抽出する観点で決められる。また、ここで重なりとは、ある値以上の領域どうしが位置的に重なることを意味する。

輝度情報比較部６３は、輝度情報取得部６２で取得した輝度情報の比較を行い、比較結果を判定部４５に送る。具体的には、図１９（Ａ）の領域６９と図１９（Ｂ）の領域７３との位置を比較して重なりの割合を算出する。図１９に示す場合では、領域６９と領域７３とは重なりが０％である。

領域６９と領域７３との比較結果は重なり０％となり、輝度情報比較部６３は、その比較結果を信号処理部６１に送る。信号処理部６１は、輝度情報比較部６３から取得した比較結果に基づいて、信号処理を行うか否かを決定する。例えば、信号処理部６１は、重なり部分が０％以上から５０％以下である場合には、主要被写体の移動速度が速いので、第１のフラッシュ発光画像及び第２のフラッシュ発光画像を使用しての主要被写体領域５３及び背景領域５７の判定を行わない。

＜シャッタスピードを高速にすることが可能な場合＞
撮影環境が十分に明るく、シャッタスピードを速くしても十分な光量を有する画像を取得できる場合には、フラッシュ光を発光させなくても撮影した２枚の画像において、ブレが発生しにくい。したがって、信号処理部６１は、２枚のフラッシュ光の発光画像（第１のフラッシュ発光画像及び第２のフラッシュ発光画像）から得た主要被写体領域５３及び背景領域５７に対して、異なる信号処理を行わなくてもよい。また、フラッシュ光を発光させて、フォーカルプレーンシャッタで速いシャッタスピードで撮影した場合には、１枚目の画像を取得する際に幕が下り始めて、直ぐに、２枚目が降り始めるので撮像面全体にフラッシュ光が均一に当たらないため、フラッシュ光を発光すると輝度ムラが発生してしまう。よって、シャッタスピードを速くしても十分な光量を有する画像を取得できる場合には、信号処理部６１は、主要被写体領域５３と背景領域５７とに対して異なる信号処理を行わない。

＜カメラが手振れしている場合＞
第１のフラッシュ発光画像及び第２のフラッシュ発光画像に手振れによるブレが生じている場合には、割合算出部４３は変化割合を不正確に算出してしまう。したがって、判定部４５は、デジタルカメラ２の手振れセンサ７０（図３参照）が手振れを検知した結果に基づいて、上述した主要被写体領域５３と背景領域５７との判定を行わない。これにより、本態様は、不正確な変化割合が算出されてしまうことを防ぐことができる。

＜電池残量が不足している場合＞
デジタルカメラ２の電池残量が不足している場合には、判定部４５は、上述した主要被写体領域５３と背景領域５７との判定を行わない。デジタルカメラ２は、判定部４５での判定が行われないことにより電池消費を抑えることができ、電池を長持ちさせることができる。これにより、デジタルカメラ２のユーザの利便性が向上する。

上述したように、第３実施形態では、信号処理部６１が主要被写体領域５３と背景領域５７とに対して異なる信号処理を行わない場合や、判定部４５が主要被写体領域５３と背景領域５７との判定を行わない場合がある。これにより、信号処理部６１が行う信号処理の質が高められ、判定部４５が判定を行った際の判定の正確性を向上させることができる。

上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像処理部３１等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様はデジタルカメラ２には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２０は、スマートフォン１０１の外観を示す図である。図２０に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、かかる筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。

図２１は、図２０に示すスマートフォン１０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図２０に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２０に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。かかる検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２０に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述の画像処理部３１（図４、１７、及び１８参照）は、例えば主制御部１００によって実現可能である。

２…デジタルカメラ、３…カメラ本体、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…メインメモリ、１２…レンズ部、２０…メカニカルシャッタ、２１…撮像素子、２２…プロセス処理部、２３…ＡＤ変換部、２４…バッファメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、２８…電源制御部、２９…電源、３０…制御メモリ、３１…画像処理部、３２…圧縮伸張部、３３…記憶制御部、３４…クロックデバイス、３５…表示制御部、３６…ユーザインタフェース、４１…画像取得部、４３…割合算出部、４５…判定部、６１…信号処理部、６２…輝度情報取得部、６３…輝度情報比較部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…受信部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (24)

1. フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、前記第１のフラッシュ発光画像の露光時間とは異なる露光時間で、前記第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得部と、
   前記第１の撮像信号の各領域に対応する前記第２の撮像信号の各領域における、前記第１の撮像信号と前記第２の撮像信号との信号割合を算出する割合算出部と、
   前記第１のフラッシュ発光画像において、前記信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定部と、
   を備える画像処理装置。
2. 前記割合算出部は、前記第１の撮像信号の各領域に対応する前記第２の撮像信号の各領域における、前記第１の撮像信号と前記第２の撮像信号との信号変化量を取得し、各領域の前記第１の撮像信号又は前記第２の撮像信号に基づく値に対する前記信号変化量の割合である前記信号割合を算出し、
   前記判定部は、前記第１のフラッシュ発光画像において、前記信号割合が閾値以下の領域を主要被写体領域とし、前記信号割合が前記閾値より大きい領域を背景領域と判定する請求項１に記載の画像処理装置。
3. 前記判定部は、前記第１のフラッシュ発光画像において、前記信号割合が閾値以上の領域を主要被写体領域とし、前記信号割合が前記閾値より小さい領域を背景領域と判定する請求項１に記載の画像処理装置。
4. 前記第１のフラッシュ発光画像の前記露光時間は、フラッシュ光の発光時間よりも長い請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２のフラッシュ発光画像の前記露光時間は、前記第１のフラッシュ発光画像の前記露光時間よりも短い請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１のフラッシュ発光画像の前記露光時間は、前記第１のフラッシュ発光画像の適正露出から決定される請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記判定部で判定された前記主要被写体領域と前記背景領域とに対して異なる信号処理を行う信号処理部、を備える請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記信号処理部は、前記主要被写体領域と前記背景領域とに対して異なるホワイトバランス処理を行う請求項７に記載の画像処理装置。
9. 前記第１のフラッシュ発光画像の輝度情報と前記第２のフラッシュ発光画像の輝度情報とを取得する輝度情報取得部と、
   前記第１のフラッシュ発光画像の前記輝度情報と前記第２のフラッシュ発光画像の前記輝度情報とを比較する輝度情報比較部と、を備え、
   前記信号処理部は、前記輝度情報比較部の比較結果に応じて、前記信号処理を行わない請求項７または８に記載の画像処理装置。
10. 前記輝度情報比較部は、前記第１のフラッシュ発光画像の前記輝度情報と前記第２のフラッシュ発光画像の前記輝度情報との重なりを算出することにより比較を行う、請求項９に記載の画像処理装置。
11. 前記信号処理部は、前記第１のフラッシュ発光画像及び前記第２のフラッシュ発光画像の撮影されたシャッタスピードがフラッシュ光の発光時間よりも短い場合は、前記信号処理を行わない請求項７または８に記載の画像処理装置。
12. 前記第１のフラッシュ発光画像が撮影され、続いて前記第２のフラッシュ発光画像が撮影される場合において、
    前記第１のフラッシュ発光画像は後幕シンクロのフラッシュ発光タイミングで撮影され、前記第２のフラッシュ発光画像は先幕シンクロのフラッシュ発光タイミングで撮影される請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記第２のフラッシュ発光画像が撮影され、続いて前記第１のフラッシュ発光画像が撮影される場合において、
    前記第１のフラッシュ発光画像は先幕シンクロのフラッシュ発光タイミングで撮影され、前記第２のフラッシュ発光画像は後幕シンクロのフラッシュ発光タイミングで撮影される請求項１から１１のいずれか１項に記載の画像処理装置。
14. 前記第２のフラッシュ発光画像が撮影され、続いて前記第１のフラッシュ発光画像が撮影され、前記第１のフラッシュ発光画像が先幕シンクロのフラッシュ発光タイミングで撮影される場合には、
    前記第２のフラッシュ発光画像の前記露光時間は、前記第１のフラッシュ発光画像の前記露光時間よりも短い請求項１から１１のいずれか１項に記載の画像処理装置。
15. 前記第２のフラッシュ発光画像は、後幕シンクロのフラッシュ発光タイミングで撮影される請求項１４に記載の画像処理装置。
16. 前記第１のフラッシュ発光画像が撮影され、続いて前記第２のフラッシュ発光画像が撮影され、前記第１のフラッシュ発光画像が後幕シンクロのフラッシュ発光タイミングで撮影される場合には、
    前記第２のフラッシュ発光画像の前記露光時間は、前記第１のフラッシュ発光画像の前記露光時間よりも短い請求項１から１１のいずれか１項に記載の画像処理装置。
17. 前記第２のフラッシュ発光画像は、先幕シンクロのフラッシュ発光タイミングで撮影される請求項１６に記載の画像処理装置。
18. 前記第１のフラッシュ発光画像及び前記第２のフラッシュ発光画像は、フラッシュ光の発光量の設定が同じである請求項１から１７のいずれか１項に記載の画像処理装置。
19. 前記第１の撮像信号及び前記第２の撮像信号の前記領域は１画素である請求項１から１８のいずれか１項に記載の画像処理装置。
20. 請求項１から１９のいずれか１項に記載の画像処理装置を備える撮像装置。
21. 手振れを検知する手振れセンサ、を備え、
    前記第１のフラッシュ発光画像及び前記第２のフラッシュ発光画像の少なくとも一方の撮影において、
    前記手振れセンサが手振れを検知した場合には、前記判定部は前記主要被写体領域及び前記背景領域の判定を行わない請求項２０に記載の撮像装置。
22. フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、前記第１のフラッシュ発光画像の露光時間とは異なる露光時間で、前記第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得ステップと、
    前記第１の撮像信号の各領域に対応する前記第２の撮像信号の各領域における、前記第１の撮像信号と前記第２の撮像信号との信号割合を算出する割合算出ステップと、
    前記第１のフラッシュ発光画像において、前記信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定ステップと、
    を含む画像処理方法。
23. フラッシュ光を発光して本撮影された第１のフラッシュ発光画像を示す第１の撮像信号と、前記第１のフラッシュ発光画像の露光時間とは異なる露光時間で、前記第１のフラッシュ発光画像と同一シーンがフラッシュ光を発光して参照撮影された第２のフラッシュ発光画像を示す第２の撮像信号とを取得する画像取得ステップと、
    前記第１の撮像信号の各領域に対応する前記第２の撮像信号の各領域における、前記第１の撮像信号と前記第２の撮像信号との信号割合を算出する割合算出ステップと、
    前記第１のフラッシュ発光画像において、前記信号割合と閾値に応じて、主要被写体領域と背景領域とを判定する判定ステップと、
    をコンピュータに実行させるためのプログラム。
24. 請求項２３に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images