JP6235919B2 - 画像処理装置、撮像装置及びそれらの制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、複数の画像を合成して適切な明るさの画像を生成する技術に関する。

デジタルカメラなどの撮像装置において、夜景や星空を撮影するためにはマニュアルでシャッター速度を遅くして長秒撮影を行う方法や夜景モードを用いて撮像素子の感度を上げずに低ノイズで撮影する方法などが存在する。また、スローシンクロ撮影のように、主被写体はフラッシュを発光させて適切な明るさで撮影を行い、背景は長秒撮影により明るく撮影する方法もある。さらに、特許文献１のように、フラッシュ発光撮影と長秒撮影の多重露光を行う撮影方法もある。

特開平４−２１５６３３号公報

しかしながら、上記従来の撮影方法では主被写体と背景とを共に適切な明るさで撮影することができない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体領域ごとに撮影された複数の画像を合成する際に、主被写体やその一部が欠けた画像が生成されることを抑制する技術を実現することである。

上記課題を解決するために、本発明の画像処理装置は、閃光手段が発光されている状態で撮像手段により撮影される第１の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される第２の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される前記第２の画像よりも露出が多い第３の画像とを取得する取得手段と、前記第１の画像または前記第２の画像の撮影と前記第３の画像の撮影との間に待機時間を設定する設定手段と、前記第１の画像と前記第２の画像の明るさの比較に基づいて当該第１の画像から領域を抽出して、前記第３の画像と合成する合成手段と、前記設定手段による前記待機時間の設定に基づいて、前記合成手段による前記領域の抽出方法を制御する制御手段と、を有することを特徴とする。

本発明によれば、被写体領域ごとに撮影された複数の画像を合成する際に、主被写体やその一部が欠けた画像が生成されることを抑制することができる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の画像処理部の機能および構成を説明する図。 本実施形態の画像合成処理を説明する図。 本実施形態の撮像装置によるフラッシュ発光撮影から合成画像の生成までの処理を示すフローチャート。 本実施形態の光照射状態マップの作成処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、例えば、動画や静止画を撮影可能なデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置１００において、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。なお、上記機械式シャッター１２以外にも、撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理部２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及び測距制御部４２に対して制御を行う、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御部２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ ＬＣＤ等からなる表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御部２２を介して表示部２８により表示される。表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、表示部２８は、システム制御部５０の制御により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には装置の電力消費を大幅に低減することができる。画像処理部２０は、上記のように逐次撮像されて表示される画像データから人物の顔などの所定の被写体の特徴情報を検出することが可能である。

３０は撮影した静止画や動画を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

不揮発性メモリ３１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ３１には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、装置全体を統括して制御する演算処理装置であって、不揮発性メモリ３１に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ３３はＲＡＭなどであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ３１から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部５０は、メモリ３０や表示部２８などを制御することにより表示制御も行う。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は機械式シャッター１２を制御する露光制御部であり、閃光手段としてのフラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御部である。

６０、６２、６４、６６、７０及び７２は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、静止画撮影モード、フラッシュ発光撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、外部接続モードなどの各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ発光撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行う処理、記録媒体２００に画像データを書き込む処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、表示部２８の表示を切替えることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる電源部である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０４は光学ファインダであり、表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する通信部である。

１１２は、通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

ここで、本実施形態の特徴部分に係る、主被写体と背景とを別々に撮影し、主被写体を切り出して背景画像と合成することにより適切な明るさの画像を生成する処理について説明する。本実施形態では、例えばフラッシュを発光させて撮影したときの画像の照明光量（輝度）を算出し、閃光（フラッシュ光）が十分に届いているか否かを判定するための光照射状態マップを作成し、この光照射状態マップに基づき画像を合成する。

この光照射状態マップは、フラッシュを発光させて短秒撮影した画像とフラッシュ非発光で短秒撮影した画像の輝度値の差分を検出し、検出された輝度差分値と閾値との比較に基づいて作成される。ところが、この閾値をどのように設定するかによってフラッシュ光が照射されたと判定される被写体領域（輝度の差分値が大きい領域）が変動する。例えば、フラッシュ光の照射判定がされにくい、大きい閾値に設定した場合、主被写体が人物ならば頭部などの黒色部分が検出できず、頭部が欠けた人物を含む合成画像が生成される可能性がある。反対に、照射判定がされやすい、小さい閾値に設定した場合、主被写体の周囲の領域も主被写体の一部として誤検出されてしまい、主被写体以外の領域が主被写体に含まれる合成画像が生成される可能性がある。

そこで、本実施形態では、上記被写体領域の抽出方法を撮影時の設定に応じて制御することを特徴とする。

＜画像処理部で処理されるデータフロー＞図２を参照して、本実施形態に特徴的なフラッシュ発光撮影と非発光撮影を伴う、夜景と主被写体をどちらも適切な明るさで写す画像を生成するための撮影で得られた画像に対する画像処理部のデータフローについて説明する。

図２において、本実施形態の画像処理部２０は、撮像素子１４で生成された撮像信号がＡ／Ｄ変換器１６でデジタル信号に変換されてベイヤ配列のＲＡＷ画像データを得る。

また、画像処理部２０は、フラッシュ４８を発光させて短秒撮影を行って得られた発光短秒画像データ２２１と、フラッシュ非発光で短秒撮影を行って得られた非発光短秒画像データ２２２と、フラッシュ非発光で長秒撮影を行って得られた長秒画像データ２２３を取得する。これら取得された画像について現像処理回路２２４によって輝度信号と色差信号に変換し、エッジ強調、ホワイトバランス、ガンマ変換などの画像処理を施したＹＵＶ画像データをそれぞれ生成する。

本実施形態では説明の便宜上、第１の現像処理回路２２５により第１の画像としての発光短秒画像データ２２１から第１のＹＵＶ画像データ２２８が得られ、第２の現像処理回路２２６により第２の画像としての非発光短秒画像データ２２２から第２のＹＵＶ画像データ２２９が得られ、第３の現像処理回路２２７により第３の画像としての長秒画像データ２２３から第３のＹＵＶ画像データ２３０が得られるものとして説明しているが、このような構成に限られるものではない。例えば、現像処理後の画像データとしてＹＣｂＣｒ（ＹＰｂＰｒ）、Ｌ*ａ*ｂ*などの形式が利用されても良い。

次に、差分検出回路２３１にて第１のＹＵＶ画像データ２２８と第２のＹＵＶ画像データ２２９の輝度値の差分を検出することにより光照射状態マップ２３２が作成される。ここで、各画像データがＬ*ａ*ｂ*の色空間で表されている場合、Ｌ信号の値（明度値）を輝度値の代わりに用いるなど、画像データの明るさの差分を検出することができれば良く、輝度値に限らない。

次に、合成回路２３３にて、光照射状態マップ２３２に基づいて、主被写体領域として、フラッシュ発光撮影された第１のＹＵＶ画像データ２２８の主被写体領域と、背景領域として、長秒撮影された第３のＹＵＶ画像データ２３０の背景領域が主として合成されたＹＵＶ合成画像データ２３４が最終画像として出力される。また、合成回路２３３から出力された最終画像データは、メモリ３０に書き込まれた後、ＬＣＤなどの表示媒体からなる表示部２８に表示され、および／または、圧縮・伸長部３２にて圧縮処理がなされて記録媒体２００に記録される。なお、本実施形態では、ＹＵＶ画像データを合成しているが、光照射状態マップ２３２を用いて現像処理前のＲＡＷ画像データを合成しても良い。

ここで、図３を参照して、本実施形態の画像合成処理として、フラッシュ発光短秒撮影で主被写体である人物へのフラッシュ光の照射量が足りず、光照射状態マップによる主被写体の抽出において主被写体の一部である頭部が抽出されない場合について説明する。なお、説明の便宜上、主被写体としての人物の頭部は、黒髪などのように明るさおよび彩度が共に背景の暗部と差が付きにくい領域であるものとする。

まず、図３（ａ）を参照して、長秒画像撮影前に人物が退避するためのタイマーを設けない場合の動作について説明する。

発光短秒画像３０１には、フラッシュ光が照射された人物３０１１およびその頭部３０１２と、遠景の山３０１３と、空３０１４が存在する。非発光短秒画像３０２には、フラッシュ光が照射されない人物３０２１およびその頭部３０２２と、遠景の山３０２３と、空３０２４が存在する。人物３０２１はうっすら外光が照射されていることにより頭部３０２２よりやや明るい。フラッシュ非発光長秒画像３０３には、フラッシュ光が照射されない人物３０３１およびその頭部３０３２と、遠景の山３０３３と、空３０３４が存在する。長秒画像３０３は非発光短秒画像３０２より露光時間が長いため、人物３０３１と空３０３４はそれぞれ短秒画像３０２より明るくなる。

光照射状態マップ３０４は、発光短秒画像３０１と非発光短秒画像３０２の輝度値の差分から生成される。本例では人物へのフラッシュ光の照射量が足りないため、発光短秒画像３０１と非発光短秒画像３０２の頭部の輝度値に差分がなく、頭部を除く人物領域３０４１が白色、頭部を含む背景領域３０４２が黒色となる。そして、合成回路２３３にて頭部が欠けた光照射状態マップ３０４を用いて合成処理が行われる。この場合、発光短秒画像３０１から頭部３０１２を除く人物３０１１が抽出されて（切り出されて）合成され、頭部３０５２と遠景の山３０５３と空３０５４は長秒画像３０３の頭部３０３２と遠景の山３０３３と空３０３４が合成された最終画像３０５が出力される。最終画像３０５の人物３０５１は、長秒画像３０３の頭部３０３２が合成された状態となる。このように、図３（ａ）の場合、光照射状態マップ３０４の生成において人物の頭部を背景と誤判定していることにより、頭部が長秒画像３０３の頭部３０３２となり、より暗く表現されてしまっているが、長秒画像３０３にも人物が写っているため、人物像全体は崩れにくい。

次に、図３（ｂ）を参照して、長秒画像撮影前に人物が退避するためのタイマーを設けた場合の動作について説明する。

発光短秒画像３１１には、フラッシュ光が照射された人物３１１１およびその頭部３１１２と、遠景の山３１１３と、空３１１４が存在する。非発光短秒画像３１２には、フラッシュ光が照射されない人物３１２１およびその頭部３１２２と、遠景の山３１２３と、空３１２４が存在する。人物３１２１はうっすら外光が照射されていることにより頭部３１２２よりやや明るい。フラッシュ非発光長秒画像３１３には、人物は退避したため存在せず、遠景の山３１３１と、空３１３２のみが存在し、長秒画像３１３は非発光短秒画像３０２より露光時間が長いため、少なくとも空３１３２は短秒画像３０２より明るくなる。

光照射状態マップ３１４は、発光短秒画像３１１と非発光短秒画像３１２の輝度値の差分から生成される。本例では人物へのフラッシュ光の照射量が足りないため、発光短秒画像３１１と非発光短秒画像３１２の頭部の輝度値に差分がなく、頭部を除く人物領域３１４１が白色、頭部を含む背景領域３１４２が黒色となる。そして、合成回路２３３にて頭部が欠けた光照射状態マップ３１４を用いて合成処理が行われる。この場合、発光短秒画像３１１から頭部３１１２を除く人物３１１１が切り出されて合成され、遠景の山３１５２と空３１５３は長秒画像３１３の遠景の山３１３１と空３１３２が合成された最終画像３１５が出力される。最終画像３１５の人物３１５１は頭部が欠けた状態となる。このように、図３（ｂ）の場合も、光照射状態マップ３０４の生成において人物の頭部を背景と誤判定しているが、長秒画像３１３には人物が写っていないため、人物像が崩れ、頭部が欠けた最終画像３１５となってしまう。

本実施形態では、このような人物の頭部などの主被写体の一部が欠けた最終画像が生成されることを抑制するため、タイマー設定された状態で光照射状態マップを作成するときの輝度差分値の閾値を、タイマー設定されていない状態での閾値よりも小さくする。すなわち、２画像から明るさの比較に基づく領域を抽出する抽出方法を、撮影の待機時間の設定がなされた場合は、待機時間の設定がなされていない場合より、フラッシュ光が届いた領域との照射判定がより小さな明るさの差でもなされるように制御する。

上記のように領域の抽出方法を制御することで、頭部を含む人物領域３１６１が白色、人物以外の背景領域３１６２が黒色となる光照射状態マップ３１６が作成される。そして、合成回路２３３にて光照射状態マップ３１６を用いて合成処理が行われる。この場合、発光短秒画像３１１から頭部３１１２を含む人物３１１１が切り出されて合成され、遠景の山３１７３と空３１７４は長秒画像３１３の遠景の山３１３１と空３１３２が合成された最終画像３１７が出力される。最終画像３１７の人物３１７１は、発光短秒画像３１１の頭部３１１２合成された状態となる。

なお、本実施形態では説明の便宜上、露光時間（シャッター速度）を短秒と長秒として露出を少なくしたり、多くするように制御したが、これに限られるものではない。例えば、ＩＳＯ感度や絞り値を異ならせても良い。また、光照射状態マップ３０４は、フラッシュ光が到達した領域を白、到達しない領域を黒としたが、これに限られるものではなく、より多値に分類されても良い。

＜撮影処理＞次に、図４を参照して、本実施形態の撮像装置によるフラッシュ発光撮影から合成画像の生成までの処理について説明する。

なお、図４の処理は、システム制御部５０が、不揮発性メモリ３１に格納された制御プログラムを、システムメモリ３３に展開し、実行することで実現される。

図４（ａ）はメインルーチンの動作を示している。システム制御部５０は、ユーザによりシャッターボタンが操作され、シャッタースイッチＳＷ２がＯＮされると、画像処理部２０を制御して、発光短秒画像、非発光短秒画像、長秒画像の撮影を行う（Ｓ４０１）。そして、画像処理部２０は、それぞれの画像を現像し（Ｓ４０２）、現像後のＹＵＶ画像データから光照射状態マップを作成し（Ｓ４０３）、画像の合成処理を行う（Ｓ４０４）。

図４（ｂ）は、図４（ａ）の撮影処理（Ｓ４０１）におけるサブルーチンの動作を示している。システム制御部５０は、最初にフラッシュ４８を発光させて発光短秒画像を撮影し（Ｓ４１１）、次にフラッシュ４８を発光させないで非発光短秒画像を撮影する（Ｓ４１２）。その後、タイマー設定された状態ならば、人物などの主被写体が退避できる時間だけ撮影間隔を空けるために、予め設定された待機時間の経過をタイマーによりカウントした後（Ｓ４１３）、最後にフラッシュ４８を発光させないで長秒画像を撮影する（Ｓ４１４）。

図４（ｃ）は、図４（ａ）の現像処理（Ｓ４０２）におけるサブルーチンの動作を示している。画像処理部２０は、Ｓ４１１で撮影された発光短秒画像を現像し（Ｓ４２１）、第１のＹＵＶ画像データを生成する。次に、画像処理部２０は、Ｓ４１２で撮影された非発光短秒画像を現像し（Ｓ４１２）、第２のＹＵＶ画像データを生成する。最後に、画像処理部２０は、Ｓ４１４で撮影された長秒画像を現像し（Ｓ４２３）、第３のＹＵＶ画像データを生成する。

図４（ｄ）は、図４（ａ）の光照射状態マップ作成処理（Ｓ４０３）におけるサブルーチンの動作を示している。画像処理部２０は、Ｓ４２１で生成された第１のＹＵＶ画像データと、Ｓ４２２で生成された第２のＹＵＶ画像データの輝度値の差分を検出し（Ｓ４３１）、図５で後述する光照射状態マップを作成する際の輝度差分閾値を設定する（Ｓ４３２）。次に、画像処理部２０は、Ｓ４３１で検出された輝度値の差分とＳ４３２で設定された輝度差分閾値との比較に応じて光照射状態マップを作成する（Ｓ４３３）。

上記Ｓ４３２の輝度差分閾値の設定において、画像処理部２０は、Ｓ４１３でタイマー設定された状態では光照射状態マップの輝度差分閾値を、タイマー設定されていない状態での輝度差分閾値よりも小さくする。すなわち、タイマー設定された場合は、タイマー設定されていない場合よりフラッシュ光が届いた領域との照射判定がされやすい値に変更する。ここで、タイマー設定、すなわち待機時間の設定があるとは、所定時間より長い時間を設定されている場合を含み、待機時間の設定がないとは、待機時間がゼロあるいは所定時間より短い時間に設定されている場合を含むものとする。

なお、本実施形態では発光短秒画像、非発光短秒画像、長秒画像の順序に撮影を行っているが、撮影時の順序や枚数は本例に限られるものではなく、現像処理の順序も同様に本例に限定されない。また、本実施形態では全ての画像の撮影後に現像処理を行っているが、各画像の撮影ごとに現像処理を行っても良い。さらに、本実施形態ではＳ４１３でのタイマー設定の有無のみに基づいて光照射状態マップの輝度差分閾値を変更しているが、顔検出処理により得られた情報などを併用して判定しても良い。この場合、逐次表示される画像データや発光短秒画像、長秒画像から主被写体の顔が検出された状態であって、タイマー設定がされた状態ならば輝度差分閾値を変更する。さらにまた、輝度差分閾値が変更されたことの警告表示を行うように制御を行っても良い。

＜光照射状態マップの作成処理＞次に、図５を参照して、図４（ｄ）の光照射状態マップの作成処理（Ｓ４３３）について説明する。

図５（ａ）は多値画像である発光短秒画像データと非発光短秒画像データの輝度値の差分を入力して多値の光照射状態マップとして出力する例を示しており、横軸は入力である輝度差分値、縦軸は出力であるマップである。輝度差分値の変化点をｘ１、ｘ２に設定し、輝度差分閾値ｘ１未満の輝度差分値は差分なしとして「０」（フラッシュ光未達）を出力し、輝度差分閾値ｘ２以上の輝度差分値は「１」（フラッシュ光到達）を出力する。輝度差分閾値ｘ１以上ｘ２未満の中間領域はフラッシュ光の照射判定結果を急峻にしないために中間値が付与される。

図５（ｂ）は多値画像である発光短秒画像データと非発光短秒画像データの輝度値の差分を入力して二値の光照射状態マップとして出力する例を示しており、横軸と縦軸は図５（ａ）と同様である。輝度差分値の変化点をｘ１＝ｘ２に設定し、輝度差分閾値ｘ１未満の輝度差分値は差分なしとして「０」（フラッシュ光未達）出力し、輝度差分閾値ｘ１（＝ｘ２）以上の輝度差分値は「１」（フラッシュ光到達）を出力する。

以上のように、本実施形態によれば、主被写体が適切な明るさで撮影された画像から主被写体を抽出して、主被写体と背景がともに適切な明るさの画像を生成する画像処理方法において、２画像の明るさの比較に基づいて主被写体の領域を抽出する抽出方法を制御する。具体的には、主被写体と背景が存在する画像を撮影後、主被写体が存在しない背景の画像を撮影するために撮影の待機時間の設定がなされた場合は、待機時間の設定がなされていない場合より、より小さな明るさの差でも主被写体の領域として抽出されるように領域の抽出方法を制御する。これにより、主被写体の領域のうち、背景との明るさの差が小さい領域が背景と誤判定されて抽出されなくなることを抑制し、最終画像において主被写体が欠けた画像が生成されてしまうことを抑制することができる。例えば図３（ｂ）の最終画像３１５のように、人物の頭部などの主被写体の一部が欠けた最終画像が生成されることを抑制することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

1. 閃光手段が発光されている状態で撮像手段により撮影される第１の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される第２の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される前記第２の画像よりも露出が多い第３の画像とを取得する取得手段と、
   前記第１の画像または前記第２の画像の撮影と前記第３の画像の撮影との間に待機時間を設定する設定手段と、
   前記第１の画像と前記第２の画像の明るさの比較に基づいて当該第１の画像から領域を抽出して、前記第３の画像と合成する合成手段と、
   前記設定手段による前記待機時間の設定に基づいて、前記合成手段による前記領域の抽出方法を制御する制御手段と、を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記設定手段による前記待機時間の設定がある場合に、前記待機時間の設定がない場合に比べてより小さな明るさの差でも前記領域が抽出されるように、前記領域の抽出方法を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記明るさの差と閾値とを比較することで当該第１の画像から前記領域を抽出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記第１の画像において前記明るさの差が前記閾値より大きい領域を前記領域として抽出することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記待機時間の設定がある場合に、前記待機時間の設定がない場合に比べて、前記閾値を小さく設定することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記合成手段は、前記第１の画像と前記第２の画像の明るさの差を検出し、当該差に応じた値からなるマップを作成し、
   前記制御手段は、前記待機時間の設定がある場合に前記マップを作成するときの閾値を、前記待機時間の設定がない場合の前記閾値よりも小さい値に変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１の画像から前記領域として抽出されるべき被写体として人物の顔を検出する顔検出手段をさらに有し、
   前記制御手段は、前記顔が検出された場合に、前記顔が検出されていない場合に比べてより小さな明るさの差でも前記領域が抽出されるように、前記領域の抽出方法を制御することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記顔検出手段は、前記撮像手段により逐次撮像されて表示される画像から人物の顔を検出することを特徴とする請求項７に記載の画像処理装置。
9. 前記明るさとは輝度であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記撮像手段は、前記第１の画像、前記第２の画像、前記第３の画像の順に撮影を行い、前記第２の画像と前記第３の画像の撮影の間に、前記設定手段により設定される待機時間に従って撮影間隔を空けることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記待機時間の設定があるとは、所定時間より長い時間を設定されている場合を含み、前記待機時間の設定がないとは、前記待機時間がゼロあるいは前記所定時間より短い時間に設定されている場合を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
13. 取得手段が、閃光手段が発光されている状態で撮像手段により撮影される第１の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される第２の画像と、前記閃光手段が発光されていない状態で前記撮像手段により撮影される前記第２の画像よりも露出が多い第３の画像とを取得する取得ステップと、
    設定手段が、前記第１の画像または前記第２の画像の撮影と前記第３の画像の撮影との間に待機時間を設定する設定ステップと、
    合成手段が、前記第１の画像と前記第２の画像の明るさの比較に基づいて当該第１の画像から領域を抽出して、前記第３の画像と合成する合成ステップと、を有し、
    前記合成ステップにおいて、前記設定ステップにて設定される前記待機時間の設定に基づいて、前記領域の抽出方法を制御することを特徴とする画像処理装置の制御方法。
14. 撮影手段が、閃光手段が発光されている状態で第１の画像を撮影し、前記閃光手段が発光されていない状態で第２の画像を撮影し、前記第１の画像または前記第２の画像の撮影との間に待機時間を設けて、前記閃光手段が発光されていない状態で前記第２の画像よりも露出が多い第３の画像を撮影する撮影ステップと、
    設定手段が、前記待機時間を設定する設定ステップと、
    合成手段が、前記第１の画像と前記第２の画像の明るさの比較に基づいて当該第１の画像から領域を抽出して、前記第３の画像と合成する合成ステップと、を有し、
    前記合成ステップにおいて、前記設定ステップにて設定される前記待機時間の設定に基づいて、前記領域の抽出方法を制御することを特徴とする撮像装置の制御方法。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images