JP5004816B2 - 撮像装置および制御方法 - Google Patents

Description

本発明は撮像装置および撮像方法に関し、更に詳しくは、撮影した画像から被写体を検出することのできる撮像装置及び撮像方法に関する。

従来、デジタルカメラにおいて、撮像して得られた画像データに基づいて自動的に露出を決定する自動露出制御機能を備えた撮像装置がある。自動露出制御の為に行われる測光方式として、例えば、画面全体を考慮して行う測光や、画面内の測光領域を複数のブロックに分割し、各ブロックの測光を行う多分割測光がある。他にも、画面の中央部に重点を置いて測光を行う中央重点測光や、画面の中央部の任意の範囲のみ測光するスポット測光などがある。

また、主被写体の輝度が適正になるようにするために、ユーザーに主被写体が存在するエリアを指示させ、指示されたエリアの輝度に合わせて露出を調節するものがある。更に、撮像して得られた画像データの中から形状解析等の手法によって主被写体として例えば顔を自動的に検出し、検出された顔が適正な露出になるように、露出制御を行うカメラが提案されている（例えば、特許文献１を参照）。このカメラでは、画面全体の輝度が適正でも、顔がアンダーであれば場合は画面全体を明るくし、顔がオーバーな場合は画面全体を暗くする（特許文献１の図７参照）。また、フラッシュ撮影時においても、テスト発光して得た画像から顔を検出し、顔領域が適正な露出になるように露出制御を行うカメラも提案されている（例えば、特許文献２を参照）。

特開２００３‐１０７５５５号公報 特開２００４‐１８４５０８号公報

しかしながら、上記特許文献１及び２に開示されている方法では、フラッシュ撮影を行う場合に、顔が適正な輝度になるように照射光量を制御（明るさの調節）ができないことがあった。

図９は、従来の２段式のシャッタボタンの操作に伴ってフラッシュ撮影を行った場合に、顔が適正な輝度になるように照射光量を制御できなかった場合の例を示す図である。

図９（ａ）は、フラッシュの照射光量を決定するためのプリ発光時に得られる画像において、顔が白とびして検出できなかった場合を示している。先ず、シャッタボタンが半押し（ＳＷ１ＯＮ）されると、露出・焦点制御の為に画像ＩＭ１Ｐを１枚撮像し、撮像した画像ＩＭ１Ｐから顔を検出する。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてシャッタボタンが全押し（ＳＷ２ＯＮ）されると、本撮影に先だってプリ発光を行って画像ＩＭ２Ｐを撮像する。この画像ＩＭ２Ｐで、顔が白とびした場合には、顔を検出することができないために顔が適正輝度となるような照射光量を算出することができず、フラッシュを本発光させて得られた画像ＩＭ３Ｐの顔が暗くなってしまうことがあった。

また、図９（ｂ）は、ＳＷ１ＯＮ時に得られた画像で顔検出を行い、顔領域をその検出した領域に固定した場合を示している。先ず、ＳＷ１ＯＮに伴って画像ＩＭ４Ｐを１枚撮像し、撮像した画像ＩＭ４Ｐから顔を検出し、この検出した顔の領域を、以降の露出制御を含む各制御に用いる領域として固定する。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてＳＷ２ＯＮとなると、本撮影に先だってプリ発光を行って画像ＩＭ５Ｐを撮像する。ここで、画像ＩＭ４Ｐを撮像してから画像ＩＭ５Ｐを撮像するまでの間に撮影画角が変化し、固定された顔領域に顔が存在し無くなってしまったものとする。その場合、その固定された顔領域の画像信号を基にして照射光量を設定すると、フラッシュを本発光させて得られた画像ＩＭ６Ｐの顔が明るくなり過ぎてしまうことがあった。また、被写体が動いた場合にも同様の問題が起きることがあった。

上記問題を解決するために、本発明にかかる撮像装置は、発光手段を発光させた撮影が可能な撮像装置であって、撮像して画像データを取得する撮像手段と、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定手段と、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記発光手段を発光させたときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて前記発光手段の照射光量を演算する演算手段と、を有することを特徴とする。

また、上記問題を解決するために、本発明にかかる撮像装置は、発光手段を発光させた撮影が可能な撮像装置であって、撮像して画像データを取得する撮像手段と、本撮影処理を実行させるための操作を受け付ける操作手段と、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定手段と、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記操作手段により前記操作を受け付けた後の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算手段と、を有することを特徴とする。

また、上記問題を解決するために、本発明にかかる撮像装置の制御方法は、撮像して画像データを取得する撮像手段を有し、発光手段を発光させた撮影が可能な撮像装置の制御方法であって、決定手段が、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定ステップと、演算手段が、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記発光手段を発光させたときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算ステップと、を有することを特徴とする。

また、上記問題を解決するために、本発明にかかる撮像装置の制御方法は、撮像して画像データを取得する撮像手段と、本撮影処理を実行させるための操作を受け付ける操作手段と、を有し、発光手段を発光させた撮影が可能な撮像装置の制御方法であって、決定手段が、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定ステップと、演算手段が、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記操作手段により前記操作を受け付けた後の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算ステップと、を有することを特徴とする。

本発明によれば、様々な撮影条件下において、所望の被写体が適正輝度になるように照射光量を制御することが可能になる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

本実施形態では、撮像装置としてデジタルカメラを用いた場合について説明する。図１は、本実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

１０１は操作部であり、デジタルカメラ１００の操作者が各種指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１にはシャッタボタンも含まれており、このシャッタボタンが半押しされた状態では、撮影準備を指示するＳＷ１がＯＮとなり、操作部１０１から制御部１０２に通知される。また、シャッタボタンが全押しされるとＳＷ２がＯＮとなり、操作部１０１から制御部１０２に通知される。

１０２は制御部であり、図１に示すデジタルカメラ１００の各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。

１０３はＣＣＤやＣＭＯＳセンサに代表される撮像素子、１０８ａはレンズである。図１では便宜上１枚のレンズにより表しているが、実際には、フォーカスレンズを含む複数のレンズから構成されている。また、１０９ａは露出機構で、メカニカルシャッタを含む。撮像素子１０３はレンズ１０８ａ及び露出機構１０９ａを介して入射する光を受け、その光量に応じた電荷を出力する。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号を出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたデジタル画像信号をＹＵＶ画像信号に変換して出力する。画像処理部１０５は、更に、プリ発光時の画像と非発光時の画像との差分をとることによりプリ発光による反射光データを算出することで被写体切り出しも行う。

１０６は顔検出部、１０８はレンズ１０８ａのフォーカスレンズを制御することにより焦点調節を行うＡＦ処理部、１０９は露出機構１０９ａを制御することにより露出を制御するＡＥ処理部である。

顔検出部１０６は、画像処理部１０５から出力されたデジタル画像信号が示す画像から主被写体として人の顔の領域を検出し、この領域に係る情報を制御部１０２に通知する。なお、顔の領域を検出する際に、画像処理部１０５の被写体切り出し結果を利用することもできる。制御部１０２はこの顔の領域に係る情報を受けると、画像において検出された人の顔の領域に合焦するようにＡＦ処理部１０８に指示すると共に、この人の顔の領域の露出が適正となるようにＡＥ処理部１０９に指示する。制御部１０２からの指示に基づいて、ＡＦ処理部１０８はレンズ１０８ａに含まれるフォーカスレンズの位置などを制御すると共に、ＡＥ処理部１０９は露出機構１０９ａを制御する。

また、制御部１０２がフラッシュが必要と判断した場合には、ＥＦ処理部１１０に、フラッシュオンを指示する。ＥＦ処理部１１０は、フラッシュオンの指示を受けると、フラッシュ部１１１を制御し、発光させる。

表示部１０７は、小型液晶画面などにより構成されており、画像処理部１０５による処理済みの画像データに従った画像を表示する。

記録形式変換部１１２は、画像処理部１０５から出力されたデジタル画像信号（画像データ）の記録形式をＪＰＥＧなどの記録形式に変換し、画像記録部１１３に出力するものである。画像記録部１１３は、記録形式変換部１１２から受けた記録形式変換済みの画像データを、デジタルカメラ１００内の不図示のメモリや、デジタルカメラ１００に挿入されている外部メモリなどに記録する処理を行う。

外部接続部１１４は、デジタルカメラ１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースとして機能する。

＜第１の実施形態＞
次に、上記構成を有するデジタルカメラ１００の本第１の実施形態における動作について説明する。

図２は本実施形態のデジタルカメラ１００の撮像モードにおける主ルーチンのフローチャートであり、操作部１０１に含まれる電源スイッチがＯＮされ、撮像モードが選択されている場合に実行される。

電源スイッチがＯＮの状態では、デジタルカメラ１００を構成する各部に電源が供給されると露出機構１０９ａに含まれるシャッタが開き、撮像素子１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入射する。この状態で、ステップＳ１１において撮像処理を行う。ここでは先ず、撮像素子１０３を露光して、電子シャッタ制御により所定時間蓄積した電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として画像処理部１０５に出力する。画像処理部１０５はこのデジタル画像信号に対して各種の画像処理を行う。画像処理されたデジタル画像信号は不図示のメモリに一時的に格納される。

次に、ステップＳ１２において、メモリに記憶されたデジタル画像信号を読み出して表示部１０７に表示する（スルー表示）。このように、所定フレームレートで順次得られた画像信号を逐次表示部１０７に表示することで、電子ビューファインダ（ＥＶＦ）機能を実現することができる。

メモリに記憶されたデジタル画像信号を表示部１０７に表示すると共に、同じ画像信号を用いて公知の方法で測光処理を行って露出値を求めると共に、焦点調節処理を行う（ステップＳ１３）。なお、ステップＳ１２及びＳ１３の処理順は特に限られるものではなく、何れが先であっても平行して行っても構わない。また、顔検出を行って、顔に露出及び焦点を合わせる場合には、例えば、特許文献１及び２に記載された方法を用いることができる。

そして、操作部１０１に含まれるシャッタボタンの状態を調べる。シャッタボタンが押されておらず、ＳＷ１がＯＦＦであれば（ステップＳ１４でＯＦＦ）、ステップＳ１１に戻って上記処理を繰り返す。なお、繰り返しの際のステップＳ１１における撮像処理では、ステップＳ１３で求めた露出値を用いて撮像を行う。この時、制御部１０２はメモリから露出値を読み出し、読み出した露出値に基づいてＡＥ処理部１０９を制御する。ＡＥ処理部１０９は、この制御部１０２からの指示に基づいて露出機構１０９ａを制御する。

一方、ＳＷ１がＯＮであればステップＳ１５に進み、本撮影の準備を行う。撮影準備中、先ずステップＳ１５において、直前のステップＳ１３で求めた露出値を用いてステップＳ１１と同様の撮像を行い、次のステップＳ１６において得られた画像をステップＳ１２と同様にスルー表示する。また、ステップＳ１７において、顔検出部１０６により撮像した画像から顔検出を行い、検出した顔領域の大きさ及び位置（顔情報ａ）を不図示のメモリに記憶しておく。また、ステップＳ１７で得られた顔情報ａに応じて、ステップＳ１８において測光及び焦点調節処理を行う。また、ステップＳ１８における測光処理の結果、必要であればフラッシュ・フラグをセットし、フラッシュの設定も行う。なお、フラッシュを発光するか否かの判断は、測光の結果に基づいて行わなくても良く、例えば、操作部１０１を用いて予め設定するようにしても良い。また周囲の暗さを検知して自動的に判断するようにしても良い。

ステップＳ１８の測光及び焦点調節処理を終えると、ステップＳ１９に進んでＳＷ２の状態を判断し、ＳＷ２がＯＦＦであればステップＳ１４に戻り、ここでＳＷ１がＯＮであればステップＳ１５〜Ｓ１８の上記処理を繰り返す。ＳＷ１がＯＮ時の２回目以降のルーチンでは、ステップＳ１８で求めた測光結果（露出値）を用いてステップＳ１５の撮像を行う。ステップＳ１４でさらにＳＷ１もＯＦＦと判断されると、ステップＳ１１に戻る。一方、ＳＷ２がＯＮであれば（ステップＳ１９でＯＮ）、ステップＳ２０に進む。

ＳＷ２ＯＮによる撮影指示後、ステップＳ２０では、本撮影で用いる照射光量の算出を行い、ステップＳ２１において本撮影処理を実行する。なお、ステップＳ２０における照射光量算出処理及びステップＳ２１における本撮影処理の詳細は、図３及び図４を参照してそれぞれ後述する。

本撮影処理が終了するとステップＳ２２に進み、制御部１０２は、メモリに書き込まれた画像データを読み出して、各種画像処理を行う現像処理を実行する。更に、記録形式変換部１１２により所定の記録形式に変換した後、画像記録部１１３により、不図示の記録媒体或いはメモリへ画像データの書き込みを行う記録処理を実行する（ステップＳ２２）。このステップＳ２２における記録処理の詳細は図５を用いて後述する。

記録処理（ステップＳ２２）が終了すると、制御部１０２はＳＷ２の状態を判断し（ステップＳ２３）、ＳＷ２がＯＦＦとなるのを待ち、ＯＦＦになるとステップＳ１４に戻る。

次に、図２のステップＳ２０で行われる照射光量演算処理について、図３のフローチャートを参照して説明する。

先ず、ステップＳ１０１において、フラッシュ・フラグを調べることによりフラッシュ撮影を行うか否かを判断する。フラッシュ撮影を行わない場合には、照射光量を求める必要が無いのでこのまま処理を終了し、図２のステップＳ２１に進む。

一方、フラッシュ撮影を行う場合には、ステップＳ１７で不図示のメモリに記憶しておいた顔情報ａ（顔領域ａの大きさ及び位置）を読み出す（ステップＳ１０２）。次に、フラッシュ部１１１によるプリ発光を行って撮像し（ステップＳ１０３）、得られた画像から被写体の切り出しを行うと共に、顔領域ｂ（被写体部分）の大きさ及び位置（顔情報ｂ）を取得する（ステップＳ１０４）。なお、ここでは、上述したように画像処理部１０５においてプリ発光時の画像と非発光時の画像との差分をとることによりプリ発光による反射光データを算出することで被写体切り出しを行う。また、被写体切り出しの結果に基づき、顔領域の大きさや、その位置等（顔情報b）を求める。なお、顔情報に基づいて表示用の検出枠の設定が行われる。

次に、顔情報ａと顔情報ｂとの比較（顔情報ａを取得した検出枠内において、顔領域ｂが、その検出枠内にどの程度の割合で存在しているか）を行う。そして、検出枠内におけるそれぞれの被写体の占有率を求める（ステップＳ１０５）。

占有率に変化が無いとみなせる（略一致する）場合（数％程度の誤差は許容）には（ステップＳ１０６でＹＥＳ）、顔情報ａが示す顔領域を照射範囲として設定し、この照射範囲が適正輝度となるように照射光量を演算する（ステップＳ１０７）。なお、「適正輝度」とは、暗すぎず、明るすぎない輝度の概念を指し、具体的にはステップＳ１０７において、予め設定された輝度の範囲となるように照射光量を演算する。以下、「適正輝度」となるように照射光量を演算する処理とは、予め設定された輝度の範囲となるように照射光量を演算する処理のことを指す。

占有率に変化があった場合には（ステップＳ１０６でＮＯ）、占有率の一致度αを算出する（ステップＳ１０８）。なお、占有率の一致度αは、それぞれの被写体の占有率に基づき算出する。

求めた一致度αを閾値Ｔｈと比較し（ステップＳ１０９）、閾値Ｔｈより小さかった場合には顔領域が大きく動いていると判断する。そして、顔情報ａの情報を用いず、フラッシュ被写体切り出しにより得られた被写体の反射光データに基づいて照射光量を演算する（ステップＳ１１２）。

一方、一致度αが閾値Ｔｈ以上（閾値以上）である場合には顔領域があまり動いていない、つまり横方向へはあまり動かず撮影者に対して近づいてくる、遠ざかっているのいずれかであると判断する。そして、顔情報ａと顔情報ｂから本撮影時の顔領域の位置を推測し（ステップＳ１１０）、推測した顔領域が適正輝度となるような照射光量を算出する（ステップＳ１１１）。なお、顔領域の推測方法としては、顔情報ａと顔情報ｂが示す顔領域の位置の単位時間当たりの動き量と、顔領域の大きさの単位時間当たりの変化量と、プリ発光から本発光までの時間とにより、顔領域の位置及び大きさを求める。

このように、プリ発光時とその前に撮像された画像における顔領域に基づいて照射光量を求めることにより、顔領域が変化している場合であっても顔領域の輝度が適正となる照射光量を求めることが可能となる。

次に、図２のステップＳ２１で行われる本撮影処理について、図４のフローチャートを参照して説明する。

制御部１０２は、ステップＳ１８で取得し、不図示のメモリに格納された露出値を読み出し、ＡＥ処理部１０９により、露出機構１０９ａの絞りを読み出した露出値に対応する絞り値に応じてシャッタを開放する（ステップＳ４１）。そして、撮像素子１０３の露光を開始する（ステップＳ４２）。なお、シャッタの開放の直前または直後に撮像素子１０３のリセットを行って、不要電荷を掃き捨てる。

ステップＳ４３で、フラッシュ・フラグがセットされているかをチェックしてフラッシュが必要か否かを判断する。フラッシュの発光を行う場合には、制御部１０２はＥＦ処理部１１０を制御し、ステップＳ２０で演算された照射光量でフラッシュ部１１１を発光させる（ステップＳ４４）。

次に、制御部１０２は、露出値に従って撮像素子１０３の露光終了を待ち（ステップＳ４５）、ＡＥ処理部１０９を制御して露出機構１０９ａのシャッタを閉じる（ステップＳ４６）。そして、撮像素子１０３から蓄積された電荷信号を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する（ステップＳ４７）。撮像素子１０３から読み出したアナログ画像信号に対して、Ａ／Ｄ変換部１０４はサンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。次に画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を不図示のメモリに書き込む（ステップＳ４８）。一連の処理を終えると、本撮影ルーチン（ステップＳ２１）を終了する。

図５は、図２のステップＳ２２における記録処理の詳細なフローチャートを示す。

ステップＳ５１において、画像処理が施された処理済みのデジタル画像信号に対して、記録形式変換部１１２によりＪＰＥＧなどの記録形式に変換し、画像記録部１１３へ出力する。そして、画像記録部１１３は、メモリカードやコンパクトフラッシュ（登録商標）カード等の不図示の外部記録媒体や内部記録媒体へ、記録形式変換された画像データの書き込みを行う（ステップＳ５２）。記録媒体への書き込みが終わったならば、記録処理ルーチン（ステップＳ２２）を終了する。

図７（ａ）は、ＳＷ１ＯＮから本撮影を行うまでの間に撮影画角が変化した場合の、本第１の実施形態における照射光量制御により得られる画像の一例を示す図である。

先ず、ＳＷ１ＯＮに伴って、画像ＩＭ１を１枚撮像し（図２のステップＳ１５）、撮像した画像ＩＭ１から顔を検出する（ステップＳ１７）。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてＳＷ２ＯＮとなると、本撮影に先だってプリ発光を行って画像ＩＭ２を撮像する（ステップＳ１０３）。そして、プリ発光による反射光データに基づいて撮像した画像ＩＭ２から被写体の切り出しを行い、被写体の切り出しによって算出された被写体情報から顔情報ｂを取得する（ステップＳ１０４）。図７（ａ）に示す例では、画像ＩＭ１から検出した顔領域の検出枠における占有率と、画像ＩＭ１での検出枠の位置における画像ＩＭ２から検出した顔領域の占有率は異なる（ステップＳ１０６でＮＯ）。また、顔情報ａと顔情報ｂの比較から明らかに占有率の一致度が低いので（ステップＳ１０９でＮＯ）、フラッシュ被写体切り出しにより得られた被写体に基づいて照射光量を演算する（ステップＳ１１２）。そして、本撮影ではここで演算した照射光量を用いてフラッシュ部１１１を発光させるため（図４のステップＳ４４）、被写体が適切な輝度となった画像ＩＭ３を得ることができる。

また、図７（ｂ）は、ＳＷ１ＯＮから本撮影を行うまでの間に被写体が奥側から手前側に移動した場合の、本第１の実施形態における照射光量制御により得られる画像の一例を示す図である。

先ず、ＳＷ１ＯＮに伴って、画像ＩＭ４を１枚撮像し（図２のステップＳ１５）、撮像した画像ＩＭ４から顔を検出する（ステップＳ１７）。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてＳＷ２ＯＮとなると、本撮影に先だってプリ発光を行って画像ＩＭ５を撮像する（ステップＳ１０３）。そして、プリ発光による反射光データに基づいて撮像した画像ＩＭ５から被写体の切り出しを行い、被写体の切り出しによって算出された被写体情報から顔情報ｂを取得する（ステップＳ１０４）。図７（ｂ）に示す例では、画像ＩＭ４から検出した顔領域の、検出枠における占有率と、画像ＩＭ４での検出枠の位置における画像ＩＭ５から検出した顔領域の占有率は異なる（ステップＳ１０６でＮＯ）。ただし、この場合にはほぼ同じ位置を検出しているために一致度が高いので（ステップＳ１０９でＹＥＳ）、画像ＩＭ４から得られた顔情報ａ及び画像ＩＭ５から得られた顔情報ｂに基づいて、本撮影時の顔領域を推測する（ステップＳ１１０）。そして、推測した顔領域に基づいて照射光量を演算する（ステップＳ１１１）。本撮影ではここで演算した照射光量を用いてフラッシュ部１１１を発光させるため（図４のステップＳ４４）、顔領域が適切な輝度となった画像ＩＭ６を得ることができる。

なお、本実施形態においては、奥側から手前側に移動する被写体を対象としたが、手前側から奥側に移動する被写体が撮影対象だったとしても同様に処理することができる。

また、画像ＩＭ１及びＩＭ４はＳＷ１ＯＮに伴い撮影されているが、ＳＷ２がＯＮされる前のタイミングであればいつ画像を取得しても良い。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、図３を参照して説明した照射光量算出処理の代わりに図６に示す照射光量算出処理を行うところが第１の実施形態と異なる。それ以外の処理は第１の実施形態と同様であるので適宜説明を省略する。

本第２の実施形態の図６と、上述した図３との差は、ＳＷ２がＯＮされた直後にステップＳ２０３でフラッシュを用いずに１回撮像を行い、得られた画像から顔検出部１０６により顔領域を検出する点である。ここで検出された顔領域の大きさ及び位置（顔情報ｃ）は、不図示のメモリに記憶しておく。また、プリ発光しながら撮像素子により撮像して得られた画像データから顔領域を検出する点も異なっている。

図６は、図２のステップＳ２０で行われる照射光量の算出処理を示すフローチャートである。

先ず、ステップＳ２０１において、フラッシュ・フラグを調べることによりフラッシュ撮影を行うか否かを判断する。フラッシュ撮影を行わない場合には、照射光量を求める必要が無いのでこのまま処理を終了し、図２のステップＳ２１に進む。

一方、フラッシュ撮影を行う場合には、ステップＳ１７で不図示のメモリに記憶しておいた顔情報ａ（顔領域の大きさ及び位置）を読み出す（ステップＳ２０２）。次に、フラッシュ部１１１によるプリ発光を行わずに撮像し（ステップＳ２０３）、得られた画像を用いて顔検出部１０６により顔検出を行い、顔領域の大きさ及び位置（顔情報ｂ）を取得する（ステップＳ２０４）。

次に、フラッシュ部１１１によるプリ発光を行って撮像し（ステップＳ２０５）、得られた画像から被写体の切り出しを行うとともに、得られた画像を用いて顔検出部１０６により顔検出を行う。そして、顔領域の大きさ及び位置（顔情報ｃ）を取得する（ステップＳ２０６）。

ここで、ステップＳ２０６で顔検出ができたかどうかを判断する（ステップＳ２０７）。これは、シーンによっては被写界に顔が存在しても（白飛び、黒潰れ等）検出が成功しないこともあるため、成功の可否を判断している。

顔検出ができていれば、顔情報ｃが示す顔領域を照射領域として設定し、この照射領域が適正輝度となるように照射光量を演算する（ステップＳ２０８）。

一方、ステップＳ２０６で顔検出ができなかったと判断した場合には（ステップＳ２０７でＮＯ）、ステップＳ２０９に進む。そして、顔情報ａと顔情報ｂとの比較（顔情報ａを取得した検出枠内において、顔領域ｂが、その検出枠内にどの程度の割合で存在しているか）を行う。そして、領域内における被写体の占有率をそれぞれ求める。

占有率に変化が無いとみなせる場合（数％程度の誤差は許容）には（ステップＳ２１０でＹＥＳ）、顔情報ａが示す顔領域を照射範囲として設定し、この照射範囲が適正輝度となるように照射光量を演算する（ステップＳ２１１）。

占有率に変化があった場合には（ステップＳ２１０でＮＯ）、占有率の一致度αを算出する（ステップＳ２１２）。

求めた一致度αを閾値Ｔｈと比較し（ステップＳ２１３）、閾値Ｔｈより小さかった場合には顔領域が大きく動いていると判断する。そして、顔情報ａの情報を用いず、フラッシュ被写体切り出しにより得られた被写体情報に基づいて照射光量を演算する（ステップＳ２１６）。

一方、一致度αが閾値Ｔｈ以上であった場合には顔領域があまり動いていない、つまり横方向へはあまり動かず撮影者に対して近づいてくる、遠ざかっているのいずれかであると判断する。そして、顔情報aと顔情報bから本撮影時の顔領域の位置を推測し（ステップＳ２１４）、推測した顔領域が適正輝度となるような照射光量を算出する（ステップＳ２１５）。なお、顔領域の推測方法としては、顔情報ａと顔情報ｂが示す顔領域の位置の単位時間当たりの動き量と、顔領域の大きさの単位時間当たりの変化量と、プリ発光から本発光までの時間とにより、顔領域の位置及び大きさを求める。

このように、本第２の実施形態では、ＳＷ１ＯＮ時に撮像した画像と、ＳＷ２ＯＮ時にプリ発光を行わずに撮像した画像と、プリ発光して撮像した画像における顔領域に基づいて照射光量を求める。これにより、第１の実施形態と同様の効果に加えて、更に、プリ発光時に得られた画像から、例えば白とび等により顔領域の検出に失敗した場合であっても顔領域の輝度が適正となる照射光量を求めることが可能となる。

図８（ａ）は、プリ発光して得られた画像の顔が白とびしており、顔検出に失敗した場合の、本第２の実施形態における照射光量制御により得られる画像の一例を示す図である。

先ず、ＳＷ１ＯＮに伴って、画像ＩＭ２１を１枚撮像し（図２のステップＳ１５）、撮像した画像ＩＭ２１から顔を検出する（ステップＳ１７）。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてＳＷ２ＯＮとなると、本撮影に先だって、プリ発光を行わずに画像ＩＭ２２を撮像し（ステップＳ２０３）、撮像した画像ＩＭ２２から顔を検出する（ステップＳ２０４）。更に、プリ発光を行って画像ＩＭ２３を撮像し（ステップＳ２０５）、撮像した画像ＩＭ２３から被写体の切り出しを行うとともに、得られた画像を用いて顔検出部１０６により顔検出を行い顔を検出する（ステップＳ２０６）。ここで、顔が白とび等の原因により検出できなかった場合（ステップＳ２０７でＮＯ）、画像ＩＭ２１から検出した顔領域の検出枠における占有率と、画像ＩＭ２１での検出枠の位置における画像ＩＭ２２から検出した顔領域の占有率とを比較する。

図８（ａ）に示す例では、画像ＩＭ２１から検出した顔領域の検出枠における占有率と、画像ＩＭ２１での検出枠の位置における画像ＩＭ２２から検出した顔領域の占有率が変わらない（ステップＳ２１０でＮＯ）。したがって、画像ＩＭ２１から検出した顔領域に基づいて照射光量を演算する（ステップＳ２１１）。そして、本撮影ではここで演算した照射光量を用いてフラッシュ部１１１を発光させるため（図４のステップＳ４４）、顔領域が適切な輝度となった画像ＩＭ２４を得ることができる。

また、図８（ｂ）は、ＳＷ１ＯＮから本撮影を行うまでの間に被写体が、奥側から手前側に移動した場合の、本第２の実施形態における照射光量制御により得られる画像の一例を示す図である。

先ず、ＳＷ１ＯＮに伴って、画像ＩＭ２５を１枚撮像し（図２のステップＳ１５）、撮像した画像ＩＭ２５から顔を検出する（ステップＳ１７）。ここで検出した顔が暗く、フラッシュによる明るさの調節が必要であると判断され、引き続いてＳＷ２ＯＮとなると、本撮影に先だってプリ発光を行わずに画像ＩＭ２６を撮像する（ステップＳ２０３）。そして、撮像した画像ＩＭ２６から顔を検出し、顔情報ｂを取得する（ステップＳ２０４）。更に、プリ発光を行って画像ＩＭ２７を撮像し（ステップＳ２０５）、撮像した画像ＩＭ２７から被写体の切り出しを行うとともに、得られた画像を用いて顔検出部１０６により顔検出を行う（ステップＳ２０６）。ここで、画像ＩＭ２７から顔領域が検出できなかった場合（ステップＳ２０７でＮＯ）の例を図８（ｂ）に示す。

図８（ｂ）に示す例では、画像ＩＭ２５から検出した顔領域の検出枠における占有率と、画像ＩＭ２５での検出枠の位置における画像ＩＭ２６から検出した顔領域の占有率は異なる（ステップＳ２１０でＮＯ）。ただし、この場合にはほぼ同じ位置を検出しているために占有率の一致度は高いので（ステップＳ２１２でＹＥＳ）、画像ＩＭ２５から得られた顔情報ａ及び画像ＩＭ２６から得られた顔情報ｂに基づいて、本撮影時の顔領域を推測する（ステップＳ２１４）。

そして、推測した顔領域に基づいて照射光量を演算する（ステップＳ２１５）。本撮影ではここで演算した照射光量を用いてフラッシュ部１１１を発光させるため（ステップＳ４４）、顔領域が適切な輝度となった画像ＩＭ２８を得ることができる。

なお、本実施形態においては、奥側から手前側に移動する被写体を対象としたが、手前側から奥側に移動する被写体が撮影対象だったとしても同様に処理することができる。

また、画像ＩＭ２１及びＩＭ２５はＳＷ１ＯＮに伴い撮影されているが、ＳＷ２がＯＮされる前のタイミングであればいつ画像を取得しても良い。

以上、第１及び第２の実施形態について図面を参照して詳述してきたが、具体的な構成は第１及び第２の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、上記第１及び第２の実施形態では、主被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用することが可能である。

また、上記第１及び第２の実施形態では、１つの被写体（顔）が検出された場合について説明した。これに対し、複数の被写体が検出された場合、予め設定された条件に基づいて各被写体の領域に対して重み付けを行い、重み付けの結果に基づいて輝度を算出するようにしても良い。予め設定された条件としては、例えば、画面中央からの距離、大きさ、被写体検出の信頼性、予め登録された人物か否か等が考えられる。勿論、これら以外の条件に基づいて重み付けを行うようにしても勿論構わないし、重み付けを行わなくても構わない。

本発明の実施の形態におけるデジタルカメラの概略構成を示すブロック図である。 本発明の実施形態におけるデジタルカメラの撮影モードにおけるメインルーチンを示すフローチャートである。 本発明の第１の実施形態における照射光量演算処理を示すフローチャートである。 本発明の第１の実施形態における本撮影処理を示すフローチャートである。 本発明の第１の実施形態における記録処理を示すフローチャートである。 本発明の第２の実施形態における照射光量演算処理を示すフローチャートである。 本発明の第１の実施形態の照射光量制御を行った場合に得られる画像の一例を示す図である。 本発明の第２の実施形態の照射光量制御を行った場合に得られる画像の一例を示す図である。 従来の顔検出を利用した露出制御の問題点を説明するための概念図である。

符号の説明

１００ デジタルカメラ
１０１ 操作部
１０２ 制御部
１０３ 撮像素子
１０４ Ａ／Ｄ変換部
１０５ 画像処理部
１０６ 顔検出部
１０７ 表示部
１０８ ＡＦ処理部
１０８ａ レンズ
１０９ ＡＥ処理部
１０９ａ 露出機構
１１０ ＥＦ処理部
１１１ フラッシュ部
１１２ 記録形式変換部
１１３ 画像記録部
１１４ 外部接続部

Claims (12)

1. 発光手段を発光させた撮影が可能な撮像装置であって、
   撮像して画像データを取得する撮像手段と、
   前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定手段と、
   前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記発光手段を発光させたときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて前記発光手段の照射光量を演算する演算手段と、
   を有することを特徴とする撮像装置。
2. 前記決定手段は、前記発光手段を発光させたときに前記撮像手段により撮像して取得された前記画像データに基づいて、前記予め設定された条件を満たす被写体が存在する第２の領域を決定し、
   前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が第１の閾値よりも小さい場合、前記第２の領域の輝度に基づいて前記発光手段の照射光量を演算することを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が前記第１の閾値以上であって該第１の閾値より大きい第２の閾値よりも小さい場合、前記第１の領域の輝度と前記第２の領域の輝度とに基づいて、前記第１の領域と前記第２の領域とに基づいて本撮影を行う時に前記予め設定された条件を満たす被写体が存在すると推定される第３の領域の輝度が、前記予め設定された輝度の範囲となる、前記発光手段の照射光量を演算することを特徴とする請求項２に記載の撮像装置。
4. 前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が前記第２の閾値以上の場合、前記第１の領域の輝度に基づいて前記発光手段の照射光量を演算することを特徴とする請求項３に記載の撮像装置。
5. 発光手段を発光させた撮影が可能な撮像装置であって、
   撮像して画像データを取得する撮像手段と、
   本撮影処理を実行させるための操作を受け付ける操作手段と、
   前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定手段と、
   前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記操作手段により前記操作を受け付けた後の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算手段と、
   を有することを特徴とする撮像装置。
6. 前記決定手段は、前記操作手段により前記操作を受け付けた後の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データに基づいて、前記予め設定された条件を満たす被写体が存在する第２の領域を決定し、
   前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が第１の閾値よりも小さい場合、前記第２の領域の輝度に基づいて前記発光手段の照射光量を演算することを特徴とする請求項５に記載の撮像装置。
7. 前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が前記第１の閾値以上であって該第１の閾値より大きい第２の閾値よりも小さい場合、前記第１の領域の輝度と前記第２の領域の輝度とに基づいて、前記第１の領域と前記第２の領域とに基づいて本撮影を行う時に前記予め設定された条件を満たす被写体が存在すると推定設定される第３の領域の輝度が、前記予め設定された輝度の範囲となる、前記発光手段の照射光量を演算することを特徴とする請求項６に記載の撮像装置。
8. 前記演算手段は、前記第１の占有率と前記第２の占有率との一致度が前記第２の閾値以上の場合、前記第１の領域の輝度に基づいて前記発光手段の照射光量を演算することを特徴とする請求項７に記載の撮像装置。
9. 前記決定手段は、前記発光手段を発光させたときに前記撮像手段により撮像して取得された画像データに基づいて、前記予め設定された条件を満たす被写体が存在する第４の領域を決定し、
   前記演算手段は、前記決定手段により前記第４の領域が決定された場合、当該第４の領域の輝度に基づいて前記発光手段の照射光量を演算し、前記決定手段により前記第４の領域が決定できない場合、前記第１の占有率と前記第２の占有率とを比較した結果に基づいて前記発光手段の照射光量を演算することを特徴とする請求項５ないし８のいずれか１項に記載の撮像装置。
10. 前記演算手段は、前記決定手段により前記第４の領域が決定された場合、前記第１の占有率と前記第２の占有率との比較を行わないことを特徴とする請求項９に記載の撮像装置。
11. 撮像して画像データを取得する撮像手段を有し、発光手段を発光させた撮影が可能な撮像装置の制御方法であって、
    決定手段が、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定ステップと、
    演算手段が、前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記発光手段を発光させたときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算ステップと、
    を有することを特徴とする撮像装置の制御方法。
12. 撮像して画像データを取得する撮像手段と、本撮影処理を実行させるための操作を受け付ける操作手段と、を有し、発光手段を発光させた撮影が可能な撮像装置の制御方法であって、
    決定手段が、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データに基づいて、該画像データにおいて、予め設定された条件を満たす被写体が存在する第１の領域を決定する決定ステップと、
    演算手段が、前記操作手段により前記操作を受け付ける前の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された前記画像データの前記第１の領域における前記被写体の占有率である第１の占有率と、前記操作手段により前記操作を受け付けた後の前記発光手段を発光させていないときに前記撮像手段により撮像して取得された画像データの前記第１の領域における前記被写体の占有率である第２の占有率と、を比較した結果に基づいて、前記発光手段の照射光量を演算する演算ステップと、
    を有することを特徴とする撮像装置の制御方法。