JP4567538B2 - 露出量算出システムならびにその制御方法およびその制御プログラム - Google Patents

Description

この発明は，露出量算出システムならびにその制御方法およびその制御プログラムに関する。

一般的なディジタル・スチル・カメラにおいては，平均測光，中央重点測光などにより測光値が得られ，得られた測光値を用いて自動露出制御が行われる。自動露出制御が終わると，自動合焦制御が行われる。しかしながら，人物などの対象物が撮影範囲の中央などに存在しない場合には正確な自動露出制御，自動合焦制御が行われないことがある。このために顔などの対象物を検出して自動露出制御を行うもの（特許文献１），自動合焦制御を行うもの（特許文献２），自動露出制御および自動合焦制御の両方を行うもの（特許文献３）などがある。
特開平2003-107555号公報 特開平2003-107335号公報 特開平2003-344891号公報

しかしながら，自動露出制御および自動合焦制御のいずれも行われていない状態で対象物の検出処理が行なわれるから対象物を検出できない，あるいは正確に検出できないことがある。したがって，対象画像が適正な明るさをもつように自動露出制御できないことがある。

この発明は，対象画像が比較的適正な明るさをつようにすることを目的とする。

この発明による露出量算出システムは，露光量に応じた露出量で被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，上記露出量を変えながら被写体を複数回撮像するように上記固体電子撮像装置を制御する第１の撮像制御手段，上記第１の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中からあらかじめ定められた対象画像（撮像によって得られた被写体像そのものではない）を検出する第１の対象画像検出手段，上記第１の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて露出量（露光量）を算出する露出量（露光量）算出手段を備えていることを特徴とする。

この発明による露出量算出システムの制御方法は，露出量に応じた露光量で，固体電子撮像装置を用いて被写体を撮像し，被写体像を表す画像データを得，上記露出量を変えながら被写体を複数回撮像するように上記固体電子撮像装置を制御し，この制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中からあらかじめ定められた対象画像を検出し，対象画像が検出されたことに応じて，検出された対象画像にもとづいて露出量を算出するものである。

この発明は，上記露出量算出システムを制御するのに適したプログラムも提供している。

この発明によると，露出量が変えられながら被写体が複数回撮像される。撮像によって得られた複数駒の画像の中からあらかじめ定められた対象画像（人物像，顔の画像など）が検出される（対象画像は撮像によって得られた画像そのものから検出されずに，撮像によって得られた画像を間引いて得られる画像から検出されるようにしてもよい。）。対象画像が検出されると，その検出された対象画像にもとづいて露出量が算出される。対象画像を撮像するのに適した露出量が算出される。

この発明によると，露出量が変えられながら被写体が複数回撮像され，撮像により得られた複数の画像の中からあらかじめ定められた対象画像が検出される（第１回目の検出処理）。検出された対象画像にもとづいて露出量が算出されるので，対象画像の明るさが比較的正確となるような露出量が得られる。

好ましくは，上記固体電子撮像装置の受光面前方に，光軸方向に相対的に移動自在に配置されている撮像レンズ，上記撮像レンズの相対的な位置を変えながら（撮像レンズと固体電子撮像装置との間の距離が変われば良く，撮像レンズおよび固体電子撮像装置の少なくとも一方が移動すればよい。）上記露出量算出手段によって算出された露出量を用いて被写体を複数回撮像するように（露光量算出手段によって算出された露光量となるように）上記固体電子撮像装置および上記撮像レンズを制御する第２の撮像制御手段，上記第２の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中から上記あらかじめ定められている対象画像を検出する第２の対象画像検出手段，ならびに上記第２の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出する合焦位置算出手段を備える。

これにより，算出された露出量を用いて撮像レンズの位置を変えながら被写体が複数回撮像される。露出量が変えられながら対象画像が検出されたときの検出精度よりも高い検出精度によって，撮像レンズ位置が変えられながら撮像される。得られた複数駒の画像の中から対象画像が再び検出される。検出された対象画像にもとづいて撮像レンズの合焦位置（被写体像が合焦する撮像レンズの位置）が決定される。

得られた露出量を用いて撮像レンズの位置が変えられながら被写体が複数回撮像され，撮像により得られた複数の画像の中から再び対象画像が検出される（第２回目の検出処理）。検出された対象画像にもとづいて撮像レンズの合焦位置が決定されるので，対象画像のピントが合う。とくに，第１回目の検出処理の検出精度よりも第２回目の検出処理の検出精度の方が高い。したがって，第２回目の検出処理において検出された対象画像については比較的合焦精度が高くなる。また，第１回目の検出処理における検出精度は比較的緩やかなので，露出量があまり正確でなかったとしても対象画像を検出することができる。上記第２の対象画像検出手段は，上記第１の対象画像検出手段の検出精度よりも高い検出精度をもつことが好ましい。

上記第１の対象画像検出手段によって検出された対象画像の対象画像らしさが所定のしきい値以上かどうかを判定する判定手段，ならびに上記判定手段によって上記対象画像らしさが所定のしきい値以上であると判定されたことに応じて，上記第２の撮像制御手段および上記第２の対象画像検出手段によるそれぞれの処理を停止し，かつ上記合焦位置制御手段が，上記第１の対象画像検出手段によって検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出するように，上記第２の撮像制御手段，上記第２の対象画像検出手段ならびに上記合焦位置制御手段を制御する手段を備えるようにしてもよい。

所定のしきい値以上の対象画像らしさをもつ対象画像が検出されると，正確に対象画像を検出することができたと考えられる。このために，再び対象画像の検出処理は行われずに，その検出された対象画像のピントが合うように撮像レンズの合焦位置が算出される。比較的簡単にピントがあった対象画像が得られる。

上記第１の対象画像検出手段は，たとえば，上記複数駒の画像の中から第１のしきい値以上の対象画像らしさをもつ自動露出／合焦対象画像を検出するものである。また，上記第２の対象画像検出手段は，たとえば，上記複数駒の画像の中から上記第１のしきい値よりも大きな第２のしきい値以上の対象画像らしさをもつ自動露出／合焦対象画像を検出するものである。第１回目の検出処理の検出精度よりも第２回目の検出処理の検出精度の方が高くなる。

上記第１の対象画像検出手段および上記第２の対象画像検出手段が，サンプル対象画像を撮像によって得られた画像上を所定距離ずつ移動しながら，サンプル対象画像と撮像によって得られた画像のうちサンプル画像の位置に対応する領域内の画像との一致度を算出し，算出された一致度にもとづいて上記あらかじめ定められた対象画像を検出するものでもよい。この場合，上記第１の対象画像検出手段におけるサンプル対象画像の移動距離よりも上記第２の対象画像検出手段におけるサンプル対象画像の移動距離の方を短くするとよい。第１回目の検出処理の検出精度よりも第２回目の検出処理の検出精度の方が高くなる。

上記第１の対象画像検出手段および上記第２の対象画像検出手段は，対象画像検出枠を，撮像によって得られた画像上を所定距離ずつ移動し，上記撮像によって得られた画像のうち上記対象画像検出枠に対応する画像の特徴部分に基づいて上記あらかじめ定められた対象画像を検出するものでもよい。

上記露出量算出手段は，たとえば，上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のうちもっとも対象画像らしさの高い対象画像を決定する決定手段を備え，上記決定手段によって決定された対象画像にもとづいて露出量を算出するものである。

また，上記合焦位置算出手段は，たとえば，上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のうちもっとも対象画像らしさの高い対象画像を決定する決定手段を備え，上記決定手段によって決定された対象画像にもとづいて上記撮像レンズの合焦位置を算出するものである。

露出量の算出，撮像レンズの合焦位置の算出のいずれの場合も対象画像が検出されない場合には，撮像により得られた画像の全体，中央部分などの所定領域内の画像などを用いて露出量の算出，撮像レンズの合焦位置の算出などを行ってもよい。

上記露出量算出手段は，たとえば，上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，１または複数の対象画像にもとづいて露出量を算出する。

また，上記合焦位置算出手段も，たとえば，上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，１または複数の対象画像にもとづいて上記撮像レンズの合焦位置を算出する。

上記露出量算出手段は，上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のそれぞれの対象画像らしさを算出する対象画像らしさ算出手段，および上記対象画像らしさ算出手段によって算出された対象画像らしさに応じた重み付けを対応する対象画像に付与する重み付け付与手段をさらに備えてもよい。この場合，上記重み付け付与手段によって付与された重み付けをもつ対象画像にもとづいて露出量を算出するものとなろう。

同様に，上記合焦位置算出手段は，上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のそれぞれの対象画像らしさを算出する対象画像らしさ算出手段，および上記対象画像らしさ算出手段によって算出された対象画像らしさに応じた重み付けを対応する対象画像に付与する重み付け付与手段をさらに備えてもよい。上記重み付け付与手段によって付与された重み付けをもつ対象画像にもとづいて上記撮像レンズの合焦位置を算出するものとなる。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラ１の全体の動作は，ＣＰＵ３によって統括される。ＣＰＵ３には，後述する動作プログラム，データ等を記憶するメモリ３Ａが接続されている。

ディジタル・スチル・カメラには，モード・スイッチ，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどを含む操作器２が含まれている。この操作器２から出力される操作信号は，ＣＰＵ３に入力する。

モード・スイッチによって撮像モードが設定されると，撮像レンズ７がレンズ制御回路４によって所定位置に位置決めされ，かつ絞り８が絞り駆動回路５によって所定の絞り値となるように制御される。撮像レンズ７によって集光された光線束は，絞り８を通ってＣＣＤ９の受光面上に結像する。ＣＣＤ９は，撮像素子制御回路６によって制御され，被写体像を表す映像信号を出力する。アナログ映像信号は，アナログ信号処理回路10において，白バランス調整，ガンマ補正などの所定のアナログ信号処理回路が行われる。アナログ信号処理回路10から出力された映像信号は，Ａ／Ｄ変換回路11においてディジタル画像データに変換される。

ディジタル画像データは，ディジタル信号処理回路12において色補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路12から出力された画像データは，メモリ14を通過して表示制御回路15に与えられる。表示制御回路15によって表示装置16が制御されることにより，表示装置16の表示画面上に撮像された被写体像が表示される。

シャッタ・レリーズ・ボタンの第一段階の押下があると，被写体が撮像され被写体像を表す画像データがディジタル信号処理回路12から顔検出回路13に入力する。顔検出回路13において顔の画像が検出され，その検出された顔の画像にもとづいて露出量（絞り値，シャッタ速度）および撮像レンズ７の位置がそれぞれ算出される。これらの算出処理について詳しくは後述する。算出された露出量となるように絞り８の絞り値およびＣＣＤ９のシャッタ速度が絞り駆動回路５および撮像素子制御回路６によってそれぞれ制御され，かつ算出された位置となるように撮像レンズ７の位置がレンズ制御回路４によって制御される。そして，シャッタ・レリーズ・ボタンの第二段階の押下があると，再び被写体が撮像され，上述のようにしてディジタル信号処理回路12から出力された画像データはメモリ14に与えられ，一時的に記憶される。画像データはメモリ14から読み取られ記録／読出制御回路17によってメモリ・カード18に記録される。

モード・スイッチによって再生モードが設定されると，メモリ・カード18に記録されている画像データが記録／読出制御回路17によって読み出される。読み出された画像データは，メモリ14を通過して表示制御回路15に与えられる。表示制御回路15によって表示装置16が制御され，メモリ・カード18に記録されている画像データによって表される画像が表示されるようになる。

図２は，ディジタル・スチル・カメラ１を用いて被写体を撮像する様子を示している。

ディジタル・スチル・カメラ１の前方に人物の被写体21と樹木の被写体22とを含む被写体20が存在している。ディジタル・スチル・カメラ１の撮像範囲には被写体21および22が含まれており，被写体21および22を撮像することができる。被写体21はディジタル・スチル・カメラ１から距離Ｌ２の位置にあり，被写体22はディジタル・スチル・カメラ１から距離Ｌ３（Ｌ３＞Ｌ２）の位置にある。ディジタル・スチル・カメラ１から距離Ｌ１（Ｌ３＞Ｌ２＞Ｌ１）には被写体は存在しない。ディジタル・スチル・カメラ１によって被写体20が撮像される場合に，被写体21および22以外に撮像範囲内に被写体が存在すれば（たとえば，被写体22よりも遠くに被写体が存在する場合），その被写体も撮像されることとなる。以下，このような被写体20を撮像することを前提とするが，その他の被写体（位置関係，撮像する対象となる被写体の種類，大きさなど）を撮像する場合でもよいのはいうまでもない。

図３および図４は，ディジタル・スチル・カメラの処理手順を示すフローチャートである。この処理手順は，露出量と撮像レンズ位置とを決定するものである。上述したように，撮像モードにおいてシャッタ・レリーズ・ボタンの第一段階の押下があると，この処理が開始する。図３に示すステップ31からステップ37までの処理が露出量を算出処理であり，図４に示すステップ38からステップ44までの処理が撮像レンズの位置を算出する処理である。もっとも，撮像レンズの位置を算出したあとに露出量を算出してもよい。

まず，露出量を変えながら（絞り８の絞り値およびＣＣＤ９の電子シャッタのシャッタ速度の少なくとも一方を変えながら），被写体が複数回（この実施例では３回）撮像される（ステップ31）。

図５（Ａ），（Ｂ）および（Ｃ）は，露出量を変えながら３回撮像された画像の一例を示している。

（Ａ）は，露光量が少なくなるような露出量で上述した被写体20が撮像された場合に得られた被写体像50である。このために，被写体像52の中に含まれている人物像51（被写体21に対応する人物像）は暗くなっている（人物像51のハッチングの密度が暗さを示している）。また被写体21の後方に偶然にいた人物の顔の像56も写っている。

（Ｂ）は，露光量が中くらい（上述した露光量よりも多い露光量）となるような露出量で上述した被写体20が撮像された場合に得られた被写体像52である。被写体像52の中に含まれている人物像53（この人物像53も被写体21に対応する人物像である）は比較的適正な明るさとなっている（人物像53のハッチングの密度が人物像53の明るさを示している）。被写体像52にも，被写体21の後方に偶然いた人物の顔の像58も写っている。

（Ｃ）は，露光量が多くなるような露出量で上述した被写体20が撮像された場合に得られた被写体像54である。被写体像54の中に含まれている人物像55（この人物像55も被写体21に対応する人物像である）は明るいものとなっている（人物像55が明るいことを示すようにハッチングない）。

露出量を変えながら被写体20が３回撮像されることにより，図５（Ａ），（Ｂ）および（Ｃ）に示すような明るさの異なる３駒の被写体像50，52および54が得られる。図３に戻って，得られた３駒の被写体像50，52および54のそれぞれの被写体像から顔の画像（自動露出／合焦の対象画像）の検出処理が行われる（ステップ32）。

図６（Ａ）および（Ｂ）の画像は，上述した図５（Ａ）および（Ｂ）の被写体像に対応するものである。図６（Ａ）の画像50について顔の画像の検出処理が行われることにより，顔の画像56が含まれている領域56Ａが検出される。同様に，図６（Ｂ）の画像52について顔の画像の検出処理が行われることにより，顔の画像が含まれている領域57および58Ａがそれぞれ検出される。図６（Ｂ）に示す領域57は，被写体21に対応する人物像53の顔の画像が検出されたことにより得られる領域である。図６（Ａ）に示す領域56Ａおよび図６（Ｂ）に示す領域58Ａは，それぞれ撮像範囲内に偶然にいた人物の顔の画像が検出されることにより得られたものである。このようにして，３回の撮像により得られた３駒の被写体像50，52および54の中から顔の画像が含まれている領域（顔の画像）が検出される。

図３に戻って，顔の画像が検出されると（ステップ33でＹＥＳ），検出された顔の画像が一つかどうかが確認される（ステップ35）。検出された顔の画像が一つであれば（ステップ35でＹＥＳ），検出されたその一つの顔の画像が適正な明るさとなるように，その顔の画像を表す画像データの輝度レベルにもとづいて露出量が算出される（ステップ36）。検出された顔の画像が複数であれば（ステップ35でＮＯ），複数の中の特定の一つの顔の画像を表す画像データの輝度レベルまたは複数の顔の画像を表す画像データの輝度レベルにもとづいて露出量が算出される（ステップ37）。複数の顔の画像が検出された場合には，顔検出処理においてもっとも顔らしいと判断された顔の画像を表す画像データを用いて露出量を算出してもよいし，検出された顔の画像の大きさのもっとも大きいもの，検出された顔の画像が撮像範囲の中心に近いものを表す画像データを用いて露出量を算出してもよい。

顔の画像が検出されないと（ステップ33でＮＯ），得られた３駒の被写体像を表す画像データの輝度値の平均値から露出量が算出される（ステップ34）。

このようにして露出量が算出されると，その算出された露出量となるように絞り８の絞り値およびシャッタ速度が決定され，かつ設定される。すると，撮像レンズ７の位置の決定処理に移行する。

図４を参照して，被写体深度が深いところから浅いところに移動するように撮像レンズ７の位置が変えられながら被写体が複数回（この実施例では３回）撮像される（ステップ38）。

図７（Ａ），（Ｂ）および（Ｃ）は，撮像レンズ７の位置が変えられながら３回撮像された画像の一例を示している。

（Ａ）は，上述したように（図２参照），ディジタル・スチル・カメラ１の前方の距離Ｌ１にある被写体が合焦するように撮像レンズ７の位置が位置決めされて被写体20が撮像されて得られた被写体像60である。被写体像60に含まれている像61および像62は，それぞれ被写体20のうちディジタル・スチル・カメラ１から距離Ｌ２の位置にある人物21および距離Ｌ３の位置にある樹木22に対応するものであるから，ピントが合っていない。このために，被写体像60に含まれている像61および62はいずれもぼけている。

（Ｂ）は，ディジタル・スチル・カメラ１の前方の距離Ｌ２にある被写体21が合焦するように撮像レンズ７の位置が位置決めされて被写体20を撮像して得られた被写体像63である。被写体像65に含まれている像63および64は，それぞれ人物21および樹木22に対応するものである。人物21はディジタル・スチル・カメラ１から距離Ｌ２の位置にあるから像63のピントは合っているが，樹木22はディジタル・スチル・カメラ１から距離Ｌ３の位置にあるから像64のピントは合っていない。像64はぼけている。

（Ｃ）は，ディジタル・スチル・カメラ１の前方の距離Ｌ３にある被写体22が合焦するように撮像レンズ７の位置が位置決めされて被写体20を撮像して得られた被写体像66である。被写体像66に含まれている像67および68は，それぞれ人物21および樹木22に対応するものである。人物21はディジタル・スチル・カメラ１から距離Ｌ２の位置にあるから像67はピントが合わずにぼけている。樹木22はディジタル・スチル・カメラ１から距離Ｌ３の位置にあるから像68のピントは合っている。

図４に戻って，撮像レンズ７の位置が変えられながら被写体が３回撮像され，このようにして３駒の被写体像60，65および66が得られると，それぞれの被写体像60，65および66の中から顔の画像が検出される（ステップ39）。この顔の画像の検出処理においては，上述したステップ32における顔の画像の検出処理よりも検出精度が高くされる。顔らしさの高い顔の画像が検出される。

図７（Ｂ）の画像63について顔の画像の検出処理が行われることにより，顔の画像が含まれている領域69が検出される。

図４に戻って，顔の画像が検出されると（ステップ40でＹＥＳ），検出された顔の画像が一つかどうかが確認される（ステップ42）。検出された顔の画像が一つであれば（ステップ42でＹＥＳ），検出された顔の画像のピントが合うように，その顔の画像の画像データの高周波数成分にもとづいて撮像レンズ７の位置が算出される（ステップ43）。検出された顔の画像が複数であれば（ステップ42でＮＯ），複数の中の特定の顔の画像を表す画像データの高周波数成分または複数の顔の画像を表す画像データの高周波数成分にもとづいて撮像レンズ７の位置が算出される（ステップ44）。この場合も複数の顔の画像が検出された場合には，顔検出処理においてもっとも顔らしいと判断された顔の画像を表す画像データの高周波数成分を用いて撮像レンズ７の位置を算出してもよいし，検出された顔の画像の大きさのもっとも大きいもの，検出された顔の画像が撮像範囲の中心に近いものを表す画像データの高周波数成分を用いて撮像レンズ７の位置を算出してもよい。

このように，顔の画像を検出して，その顔の画像の明るさが適正な明るさとなるように露出量が算出され，かつ顔の画像にピントが合うように撮像レンズ７の位置が算出される。シャッタ・レリーズ・ボタンの第二段階の押下があると，算出された露出量および撮像レンズ７の位置で被写体が撮像される（本撮影が行われる）。撮像によって得られた画像データが上述のようにメモリ・カード18に記録される。

図８は，顔の画像を検出する仕方を示している。

顔検出処理においては，顔の画像を検出するためのサンプル画像71が用意されている。このサンプル画像71を表す画像データはメモリ３Ａに記憶されている。

サンプル画像71が顔の画像を検出しようとする画像70上を所定距離ずつ移動させられて走査される。サンプル画像71と画像70のうちそのサンプル画像71に対応する領域内の画像との一致度を示すスコアが算出される。算出されたスコアが所定のしきい値以上となる領域が顔の画像の領域として検出される。サンプル画像71はさまざまな大きさに縮小（または必要であれば拡大も）されて縮小されたサンプル画像71と画像70のサンプル画像71に対応する領域との一致度のスコアが算出されて顔の画像の検出処理が行われる。

上述したように，露出量を変えながら得られた３駒の画像から顔の画像を検出する第一回目の検出処理の検出精度よりも撮像レンズの位置を変えながら得られた３駒の画像から顔の画像を検出する第二回目の検出処理の検出精度の方を高くするためには，所定のしきい値以上のスコアをもつ領域内の画像が顔の画像と判断される場合には，第一回目のしきい値よりも第二回目のしきい値の方を高くすればよい。また，第１回目の検出処理におけるサンプル画像71の移動距離よりも第二回目の検出処理におけるサンプル画像71の移動距離を短くするようにしても，第一回目の検出精度よりも第二回目の検出精度の方を高くできる。

また，上述したように，複数の顔の画像が検出された場合にはスコアのもっとも高い顔の画像を表す画像データを用いて露出量の算出，撮像レンズ７の位置の算出をするようにしてもよい。

図９は，顔の画像を検出する他の仕方を示している。

顔の画像を検出するために，顔の画像の特徴を表すベクトル（顔の構成要素である目，鼻，口などの位置を示すベクトル）が記憶されている顔検出辞書73が設けられている。

顔の画像を検出するための顔検出枠（対象画像検出枠）71Ａが規定されている。上述したのと同様に，顔の画像を検出しようとする画像70上を顔検出枠71Ａが所定距離ずつ移動させられて走査される。顔検出枠71Ａが移動した位置ごとに顔検出枠71Ａ内の画像の特徴が抽出され，その特徴を表すベクトル（ｆ１，ｆ２，ｆ３・・・ｆｎ）72が検出される。検出されたベクトル72はマッチング回路74に与えられる。

マッチング回路74には，顔検出辞書73に記憶されている顔の画像の特徴を表すベクトルも与えられている。マッチング回路74において，顔検出枠71Ａ内の画像の特徴から抽出されたベクトルと顔検出辞書73から与えられたベクトルのマッチング処理が行われ，スコア（一致度）が検出される。検出されたスコアが所定のしきい値以上であれば，顔検出枠71Ａ内の画像が顔の画像として検出される。

図10は，複数の顔の画像が検出された場合に露出量を算出する処理手順（図３ステップ37の処理に相当する処理）を示すフローチャートである。

まず，検出された各顔画像の重み付けＷｉが算出される（ステップ81）。重み付けＷｉは，式１にしたがって算出される。
Ｗｉ＝ｓｉ／Ｓ・・・式１
但し，ｓｉは，検出された顔の画像領域のスコアであり，Ｓは，そのスコアを全て加算した値である。

つづいて，検出された複数の領域のうち領域ごとに露出量Ｌｉが算出される（ステップ82）。最終的な露出量Ｌは，式２から得られる。
Ｌ＝ΣＷｉ×Ｌｉ・・・式２

たとえば，図６（Ａ）および（Ｂ）に示すように３個の顔の画像の領域56，57および58が検出されたものとする。領域56，57および58のスコア（スコアはたとえば０〜1.0）は，それぞれ0.2，0.9および0.3であったとする。スコアの総加算値Ｓは，Ｓ＝0.2＋0.9＋0.3＝1.4である。領域56，57および58のそれぞれの重み付けＷ56，Ｗ57およびＷ58は，Ｗ56＝ｓｉ／Ｓ＝0.2／1.4，Ｗ57＝ｓｉ／Ｓ＝0.9／1.4およびＷ58＝ｓｉ／Ｓ＝0.3／1.4となる。領域56，57および58のそれぞれの露出量をＬ56，Ｌ57およびＬ58とすると，最終的な露出量Ｌは，Ｌ＝（0.2／1.4）×Ｌ56＋（0.9／1.4）×Ｌ57＋（0.3／1.4）×Ｌ58となる。

図11は，複数の顔の画像が検出された場合に撮像レンズ７の位置を算出する処理手順（図４ステップ44の処理に相当する処理）を示すフローチャートである。

図10に示す処理と同様に，検出された各顔画像の重み付けＷｉが式１にしたがって算出される（ステップ91）。つづいて，検出された複数の領域のうち領域ごとに，それぞれの領域内の画像のピントが合うような撮像レンズ７の位置Ｄｉが算出される（ステップ92）。そして，撮像レンズ７の最終的な位置Ｄは，式３から得られる。
Ｄ＝ΣＷｉ×Ｄｉ・・・式３

図12は，複数の顔の画像が検出された場合に露出量を算出する他の処理手順を示すフローチャートである。この図において図10に示すものと同一の処理については同一符号を付して説明を省略する。

上述した露出量の算出においては，顔画像のスコアにかかわらず検出された複数の顔の画像のすべてを用いて最終的な露出量Ｌを算出しているが，図12に示す処理においては所定のスコア以上のスコアをもつ顔画像を用いて最終的な露出量Ｌが算出される。

まず，検出された顔画像の中から所定のスコア以上（たとえば0.4以上）のスコアをもつ顔の画像の領域が選択される（ステップ84）。選択された顔の画像について重み付けＷｉが算出される（ステップ85）。その後，領域ごとの露出量の算出（ステップ82）および最終的な露出量Ｌの算出（ステップ83）が行われる。

図13は，複数の顔の画像が検出された場合に撮像レンズの位置を算出する他の処理手順を示すフローチャートである。この図において図11に示すものと同一の処理については同一符号を付して説明を省略する。

図12の処理と同様に，検出された顔画像の中から所定のスコア以上のスコアをもつ顔の画像の領域が選択される（ステップ94）。選択された顔の画像について重み付けＷｉが差出される（ステップ95）。その後，領域ごとの撮像レンズ７の位置Ｄｉの算出（ステップ92）および最終的な露出量Ｄの算出（ステップ93）が行われる。

図14は，ディジタル・スチル・カメラの処理手順の一部を示すもので，撮像レンズの位置を算出する処理手順を示している。図14において，図４と同じ処理については同じ符号を付して説明を省略する。

上述した実施例においては，撮像レンズ７の位置を算出するために第二回目の顔検出処理が常に行われていたが，図14に示す処理においては第一回目の顔検出処理において検出された顔の画像のスコアのうち最高のスコアが所定のしきい値（たとえば，0.9）以上であれば（ステップ45でＹＥＳ），第二回目の顔検出処理は行わない。第一回目の顔検出処理における最高のスコアをもつ顔の画像を表す画像データから高周波数成分が抽出されて，撮像レンズ７の位置が算出される（ステップ46）。スコアの値が比較的高い場合には検出された顔の画像の信頼性が高いので，改めて顔画像の検出処理が行われなくなる。不要な処理を省略することができる。

上述した実施例では，被写体像の中から顔の画像を検出していたが人物像を検出するようにしてもよい。人物像を検出する場合には，顔画像のサンプル画像の代わりに人物像のサンプル画像が用意されるのはいうまでもない。また，顔画像または人物像の検出においては，必ずしもサンプル画像を用いずに顔らしさ，人物像らしさを計算してスコアを得るようにしてもよい。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 被写体とディジタル・スチル・カメラとの位置関係を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 （Ａ），（Ｂ）および（Ｃ）は，被写体像の一例を示している。 （Ａ）および（Ｂ）は，被写体像の一例を示している。 （Ａ），（Ｂ）および（Ｃ）は，被写体像の一例を示している。 顔画像の検出の仕方を示している。 顔画像の検出の他の仕方を示している。 複数の画像から露出量を算出する処理手順を示すフローチャートである。 複数の画像から撮像レンズの位置を算出する処理手順を示すフローチャートである。 複数の画像から露出量を算出する他の処理手順を示すフローチャートである。 複数の画像から撮像レンズの位置を算出する他の処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順の一部を示すフローチャートである。

符号の説明

３ ＣＰＵ
４ レンズ制御回路
５ 絞り駆動回路
６ 撮像素子制御回路
７ 撮像レンズ
８ 絞り
９ ＣＣＤ
13 顔検出回路

Claims (14)

1. 露出量に応じた露光量で被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，
   上記露出量を変えながら被写体を複数回撮像するように上記固体電子撮像装置を制御する第１の撮像制御手段，
   上記第１の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中からあらかじめ定められている自動露出対象画像を検出する第１の対象画像検出手段，
   上記第１の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて露出量を算出する露出量算出手段，
   上記固体電子撮像装置の受光面前方に，光軸方向に相対的に移動自在に配置されている撮像レンズ，
   上記撮像レンズの相対的な位置を変えながら上記露出量算出手段によって算出された露出量を用いて被写体を複数回撮像するように上記固体電子撮像装置および上記撮像レンズを制御する第２の撮像制御手段，
   上記第２の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中から上記あらかじめ定められている対象画像を検出する第２の対象画像検出手段，
   上記第２の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出する合焦位置算出手段，
   上記第１の対象画像検出手段によって検出された対象画像の対象画像らしさが所定のしきい値以上かどうかを判定する判定手段，ならびに
   上記判定手段によって上記対象画像らしさが所定のしきい値以上であると判定されたことに応じて，上記第２の撮像制御手段および上記第２の対象画像検出手段によるそれぞれの処理を停止し，かつ上記合焦位置制御手段が，上記第１の対象画像検出手段によって検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出するように，上記第２の撮像制御手段，上記第２の対象画像検出手段ならびに上記合焦位置算出手段を制御する手段，
   を備えた露出量算出システム。
2. 上記第２の対象画像検出手段が，上記第１の対象画像検出手段の検出精度よりも高い検出精度をもつものである，
   請求項１に記載の露出量算出システム。
3. 上記第１の対象画像検出手段が，
   上記複数駒の画像の中から第１のしきい値以上の対象画像らしさをもつ自動露出／合焦対象画像を検出するものであり，
   上記第２の対象画像検出手段が，
   上記複数駒の画像の中から上記第１のしきい値よりも大きな第２のしきい値以上の対象画像らしさをもつ自動露出／合焦対象画像を検出するものである，
   請求項１に記載の露出量算出システム。
4. 上記第１の対象画像検出手段および上記第２の対象画像検出手段が，
   サンプル対象画像を，撮像によって得られた画像上を所定距離ずつ移動しながら，サンプル対象画像と撮像によって得られた画像のうちサンプル画像の位置に対応する領域内の画像との一致度を算出し，算出された一致度にもとづいて上記あらかじめ定められた対象画像を検出するものである，
   請求項１に記載の露出量算出システム。
5. 上記第１の対象画像検出手段におけるサンプル対象画像の移動距離よりも上記第２の対象画像検出手段におけるサンプル対象画像の移動距離の方が短いものである，
   請求項４に記載の露出量算出システム。
6. 上記第１の対象画像検出手段および上記第２の対象画像検出手段が，
   対象画像検出枠を，撮像によって得られた画像上を所定距離ずつ移動し，上記撮像によって得られた画像のうち上記対象画像検出枠に対応する画像の特徴部分に基づいて上記あらかじめ定められた対象画像を検出するものである，
   請求項１に記載の露出量算出システム。
7. 上記露出量算出手段が，
   上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のうちもっとも対象画像らしさの高い対象画像を決定する決定手段を備え，
   上記決定手段によって決定された対象画像にもとづいて露出量を算出するものである，
   請求項１に記載の露出量算出システム。
8. 上記合焦位置算出手段が，
   上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のうちもっとも対象画像らしさの高い対象画像を決定する決定手段を備え，
   上記決定手段によって決定された対象画像にもとづいて上記撮像レンズの合焦位置を算出するものである，
   請求項１に記載の露出量算出システム。
9. 上記露出量算出手段が，
   上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，１または複数の対象画像にもとづいて露出量を算出するものである，
   請求項１に記載の露出量算出システム。
10. 上記合焦位置算出手段が，
    上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，１または複数の対象画像にもとづいて上記撮像レンズの合焦位置を算出するものである，
    請求項１に記載の露出量算出システム。
11. 上記露出量算出手段が，
    上記第１の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のそれぞれの対象画像らしさを算出する対象画像らしさ算出手段，および
    上記対象画像らしさ算出手段によって算出された対象画像らしさに応じた重み付けを対応する対象画像に付与する重み付け付与手段をさらに備え，
    上記重み付け付与手段によって付与された重み付けをもつ対象画像にもとづいて露出量を算出するものである，
    請求項１に記載の露出量算出システム。
12. 上記合焦位置算出手段が，
    上記第２の対象画像検出手段によって複数の対象画像が検出された場合に，検出された複数の対象画像のそれぞれの対象画像らしさを算出する対象画像らしさ算出手段，および
    上記対象画像らしさ算出手段によって算出された対象画像らしさに応じた重み付けを対応する対象画像に付与する重み付け付与手段をさらに備え，
    上記重み付け付与手段によって付与された重み付けをもつ対象画像にもとづいて上記撮像レンズの合焦位置を算出するものである，
    請求項１に記載の露出量算出システム。
13. 固体電子撮像装置が，露出量に応じた露光量で被写体を撮像し，被写体像を表す画像データを出力し，
    第１の撮像制御手段が，上記露出量を変えながら被写体を複数回撮像するように上記固体電子撮像装置を制御し，
    第１の対象画像検出手段が，上記第１の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中からあらかじめ定められている自動露出対象画像を検出し，
    露出量算出手段が，上記第１の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて露出量を算出し，
    撮像レンズが，上記固体電子撮像装置の受光面前方に，光軸方向に相対的に移動自在に配置されており，
    第２の撮像制御手段が，上記撮像レンズの相対的な位置を変えながら上記露出量算出手段によって算出された露出量を用いて被写体を複数回撮像するように上記固体電子撮像装置および上記撮像レンズを制御し，
    第２の対象画像検出手段が，上記第２の撮像制御手段による制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中から上記あらかじめ定められている対象画像を検出し，
    合焦位置算出手段が，上記第２の対象画像検出手段によって対象画像が検出されたことに応じて，検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出し，
    判定手段が，上記第１の対象画像検出手段によって検出された対象画像の対象画像らしさが所定のしきい値以上かどうかを判定し，
    制御手段が，上記判定手段によって上記対象画像らしさが所定のしきい値以上であると判定されたことに応じて，上記第２の撮像制御手段および上記第２の対象画像検出手段によるそれぞれの処理を停止し，かつ上記合焦位置制御手段が，上記第１の対象画像検出手段によって検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出するように，上記第２の撮像制御手段，上記第２の対象画像検出手段ならびに上記合焦位置算出手段を制御する，
    露出量算出システムの制御方法。
14. 露出量に応じた露光量で被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置を備え，撮像レンズが，上記固体電子撮像装置の受光面前方に，光軸方向に相対的に移動自在に配置されているディジタル・カメラの露出量算出システムを制御するプログラムであって，
    露出量を変えながら被写体を複数回撮像するように上記固体電子撮像装置を制御させる第１の撮像制御を行わせ，
    上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中からあらかじめ定められている自動露出対象画像を検出する第１の対象画像検出処理を行わせ，
    上記第１の対象画像検出処理により対象画像が検出されたことに応じて，検出された対象画像にもとづいて露出量を算出させ，
    上記撮像レンズの相対的な位置を変えながら，算出された露出量を用いて被写体を複数回撮像するように上記固体電子撮像装置および上記撮像レンズを制御する第２の撮像制御を行わせ，
    第２の撮像制御にもとづいて上記固体電子撮像装置から出力される複数駒分の画像データによって表される複数駒の画像の中から上記あらかじめ定められている対象画像を検出する第２の対象画像検出処理を行わせ，
    上記第２の対象画像検出処理により対象画像が検出されたことに応じて，検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出させ，
    上記第１の対象画像検出処理によって検出された対象画像の対象画像らしさが所定のしきい値以上かどうかを判定させ，
    上記対象画像らしさが所定のしきい値以上であると判定されたことに応じて，上記第２の撮像制御および上記第２の対象画像検出処理によるそれぞれの処理を停止し，上記第１の対象画像検出処理によって検出された対象画像にもとづいて上記撮像レンズの合焦位置を算出するように，上記第２の撮像制御，上記第２の対象画像検出処理ならびに上記合焦位置を算出する処理を制御するように露出量算出システムを制御するプログラム。
    

Images