JP5036334B2 - 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム - Google Patents

Description

本発明は、使用者が意図した被写体を効率的にかつ確実に検出して、撮像条件を設定する機能を備えた、撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムに関するものである。

従来のデジタルカメラ等の撮像装置でフォーカス位置や露出を決定する技術として、画面内の測光範囲を複数のエリアに分割し、各エリアの測距、測光結果からフォーカス位置や露出を決定するものがある。
しかし、フォーカス位置を決定する技術は、最も至近の被写体に焦点を合わせ、露出を決定するものである。このような技術は、あらかじめ決められた画角中央部と周辺部の測光結果の加重平均をとるなどの技術であって、真にユーザが意図する被写体について最適な撮影条件を取得するものではなかった。したがって、以上のような従来の技術では、被写体が複数あって、中間距離のものが主要被写体である場合、また、あらかじめ決められた測距、測光エリアに対して被写体が小さい場合などには、正確なフォーカス位置及び露出量を求めることができない。

以上の技術的な問題を解決することを目的とした技術として、撮像データ中で被写体を認識し、認識した被写体に対してフォーカス位置や露出を合わせるようにした撮像装置が提案されている（例えば、特許文献１参照）。

特許文献１記載の発明は、複数の被写体を検出した場合に、測距エリアや測光エリアをユーザに選択させ、あるいは、画面中央部にある被写体を優先させてこれにフォーカス位置や露出を合わせるように構成されている。しかしながら、実際に使用者が意図する被写体にフォーカス位置や露出が合っているかどうかは不明であり、この点が技術的な課題となっている。

また、カメラなどの撮像装置では、一般的に、撮像データの明るさに関するダイナミックレンジが狭く、明るい個所が白とびし、暗い個所が黒つぶれするなどして、所望の被写体を認識することができないことも多い。被写体の認識に限らず、ピント合わせや露出制御などを行なうのに必要な個々の検波データを得る場合にも、撮像データにハイパスフィルタをかけ、あるいは輝度信号を積算することによって得られる検波データを使用しており、これも撮像データの明るさに関する狭いダイナミックレンジのため、白とびや黒つぶれで所望の検波データを得ることができないことが多い。
そこで、ピント合わせや露出制御に最適な撮像データを得ようとすると、その都度露出の明暗が変わり、表示部で表示している撮像画像が見難いものになる。

特開２００３−１０７３３５号公報

本発明は、以上説明したような従来技術の問題点を解消すること、すなわち、使用者が意図している被写体を、効率的かつ効果的に検出し判定することができ、露出制御及びピント合わせに最適な撮像データを得ることができるとともに、表示部において撮影画像を観察するのに最適な撮像データを得ることができるようにした撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムを提供することを目的とする。

本発明は、
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する
ことを最も主要な特徴とする。

上記最も主要な特徴を備える本発明によれば、使用者が意図している被写体すなわち主要被写体部を、短時間にかつ確実に検出し判定することができる。
その他、各請求項に記載された発明によれば、以下のような効果を得ることができる。
操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えることにより、主要被写体部の追尾性能を改善することができる。
主要被写体の変化に応じて撮影直前にフォーカス位置や露出条件を変更することにより、より正確な主要被写体部の撮影が可能である。
主要被写体部の情報で、周辺の被写体検出に応じて判定条件を変更することで、主要被写体の検出および判定時間を短縮化することができる。
被写体としての撮影頻度が最も高い人間を検出することができる。
複数の被写体を検出し判定することができる。
被写体の種類を追加し、また削除することができ、使用者が必要な対象に最適化することができる。

信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算、又はフォーカス位置演算することにより、黒つぶれや白とびが現れやすい被写体であっても、表示部に、画角の観察などに適した露出量で被写体を表示しながら、これを正確に判定することができる。また、かかる被写体であっても正確に測光することができ、正確にピントを合わせることができる。
黒つぶれや白とびが現れやすい被写体であると判断される場合にのみ、上述の方法を行なわせることにより、消費電力の無駄を抑えることができる。

以下、本発明にかかる撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムの実施例を、図面を参照しながら説明する。

まず、本発明にかかる撮像装置の一例であるデジタルカメラの構成を、図１に示すブロック図を参照しながら説明する。図１において、符号１は撮影レンズを示しており、撮影レンズ１の後方（図１において右方）には、メカニカルな絞りおよびシャッタからなる機構部２、さらに撮像素子であるＣＣＤ３が配置されている。撮影レンズ１によってＣＣＤ３の撮像面に被写体像が結ばれ、ＣＣＤ３によって被写体画像に対応した撮像信号に変換される。この撮像信号は、ＣＤＳ、ＡＤ部４に入力され、相関二重サンプリングおよびアナログ・デジタル変換処理が行なわれ、撮像データとしてデジタル信号プロセッサ（以下「ＤＳＰ」という）５に入力される。

ＤＳＰ５は、デジタル信号に変換された撮像データを、輝度信号Ｙ、青色と黄色の色差信号Ｕ、赤色と黄色の色差信号Ｖに変換し、このＹＵＶ信号をＪＰＥＧ規格に則って圧縮する、などのデジタル信号処理を行なう。符号６はメカニカル駆動部を示している。メカニカル駆動部６は、上記撮影レンズ１のフォーカスレンズを駆動するフォーカス駆動部および機構部２のシャッタを開閉するシャッタ駆動部を備える。上記フォーカス駆動部にはフォーカスレンズの位置検出部も含む。ＣＣＤ３はＣＣＤ駆動回路７によって駆動され、各画素で変換された信号が順に出力される。カメラ全体を制御するＣＰＵ８を備えていて、上記ＤＳＰ５、メカニカル駆動部６、ＣＣＤ駆動回路７はＣＰＵ８によって制御される。

ＣＰＵ８につながるバスラインに上記ＤＳＰ５がつながっており、さらに、メモリ９、通信ドライバ１０、メモリカード１１がつながっている。メモリ９は、撮像データおよび保存されているファイルから読み出されるデータを一時的に保存するメモリで、ＤＳＰ５およびＣＰＵ８のワークメモリとして利用される。通信ドライバ１０はカメラの外部との通信部として機能する。メモリカード１１はカメラに設けられているスロットに着脱可能なカード型のメモリで、主として撮像データの保存に用いられる。

ＤＳＰ５には、例えば液晶表示パネル（ＬＣＤ）からなる表示部１２が接続されている。表示部１２は、ＤＳＰ５から出力される撮像データをパネルに表示可能な信号に変換する表示コントローラと、このコントローラで変換された撮像データに基づいて被写体の画像その他を表示する上記表示パネルを備えている。ＣＰＵ８には、カメラユーザが操作可能な操作部１３が接続されている。操作部１３は、各種動作モード設定スイッチ、シャッタボタンの押し下げに連動して動作するレリーズスイッチ、後で説明するターゲット表示部周辺の被写体判定機能を起動させるスイッチ、フォーカス条件や露光条件を設定、変更するスイッチなど、ユーザが操作するあらゆるスイッチ類を包含している。操作部１３を操作するとその信号がＣＰＵ８に入力され、ＣＰＵ８は操作信号に応じて各部の動作を制御する。ＤＳＰ５にはＡＦ（オートフォーカス）部１４がつながれている。ＡＦ部１４は、例えば三角測量方式で被写体距離を測定し、測定データをＤＳＰ５に入力する。

ＣＰＵ８はまた、カメラに内蔵されているストロボ発光部１５の発光開始、発光停止を制御するようになっている。ストロボ発光部１５は周知のようにメインコンデンサ１６を備えていて、その充電電圧をＣＰＵ８で監視するようになっている。ストロボ発光部１５から放射される照明の、被写体による反射光はストロボ受光部１７によって受光されるようになっている。ストロボ受光部１７は光センサを備えていて、ＣＰＵ８によって受光開始命令を受けた時点からの受光量を積分し、積分量がＣＰＵ８によって設定された値に達したとき、ストロボ発光部１５に向けて発光停止信号を出力するようになっている。

ここまで説明してきたハードウェア構成は従来のデジタルカメラに見られるハードウェア構成と変わりがない。本発明の特徴は、上記構成部分、特にＤＳＰ５やＣＰＵ８が独特のソフトウェア構成を持っている点にある。以下、実施例ごとに説明する。

図２、図３はプログラム構成図で、図２に示すメイン処理ブロックと、メイン処理と併行して処理される図３に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可／禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「第一優先顔登録」、「ＡＥ，ＡＦ，ＡＷＢ処理」、「静止画撮影処理」、「ターゲット顔タイマ」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図１に示す操作部１３の状態の読み込みなどを行う。

次に、実施例１の具体的な構成を、図１乃至図８を参照しながら説明する。図４は記録時のメイン処理フローを示す。この例は、静止画として撮影し記録する場合である。動作ステップには、Ｓ１，Ｓ２，・・のような符号を付している。
記録モードでカメラ電源がＯＮされると、図示されていないが、カメラ内部のハードウェア初期化や、カード内のファイル情報をメモリ９内に作成するなどの初期処理を行い、その後、図４に示すメイン処理が開始される。メイン処理では、モニタリング状態をチェックし（Ｓ１）、モニタリング停止状態であれば、モニタリング開始処理を行う（Ｓ４）。モニタリング開始処理とは、撮像部すなわち図１における撮影レンズ１、機構部２、ＣＣＤ３を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動するものである。メイン処理に最初に入った場合にもモニタリング開始処理（Ｓ４）は実行されることになる。

図３に示す併行処理のモニタリング処理は、カメラのスルー画像を表示している際のＡＥ（自動露出）、ＡＷＢ（自動ホワイトバランス）追尾処理を実行する。これにより、カメラの表示部１２に表示している画像を、常時適正な明るさ、および自然な色合いに保つことができる。具体的には、撮像部で得た画像データからデジタル画像処理部（ＤＳＰ５）で、各ＡＥ、ＡＷＢに対する評価値を取得し、ＣＰＵ８はその評価値が所定値になるように、駆動回路７に電子シャッタ秒時をセットする。撮像部の電子シャッタには設定可能な最長秒時、最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダー、オーバーがある場合、ＣＰＵ８は撮像部に含まれる機構部２の絞り径を変更し、あるいは、ＣＣＤ３における撮像信号の増幅率を変更する、というような制御動作を行なう。また、ＤＳＰ５の画像処理色パラメータを調節するというようなフィードバック制御も行う。以上のモニタリング処理や、先に述べた操作部１３の状態の読み込み処理の併行処理は、２０ｍｓの定期タイマ割り込みで実行される。

図４に示すメイン処理において、モニタリング状態のチェック（Ｓ１）でモニタリングＯＮすなわちモニタリング中であれば、スイッチ判定処理（Ｓ２）に行く。スイッチ判定処理（Ｓ２）は、上述の２０ｍｓごとの定期タイマ割り込み処理で入力されるスイッチ情報を確定して、操作されたスイッチに対応した処理を行う。有効なスイッチ情報がなければなにもせず、再びモニタリング状態チェック（Ｓ１）、スイッチ判定処理（Ｓ２）のループを繰り返す。

ここでは静止画を撮影する場合について、そのメイン処理動作を、図１、図４とともに説明する。図１に示す操作部１３には、シャッタ釦がある。シャッタ釦は２段階にわたって押し下げ操作するようになっていて、静止画撮影時に、第１段階の押し下げ操作で第一スイッチがオンされ、第２段階の押し下げ操作すなわち最終段階まで押し下げ操作すると第２スイッチがオンされるようになっている。図４に示すメイン処理フローにおいて、スイッチ判定処理（Ｓ２）において第一スイッチがオンであることを判定すると、それに対応した処理すなわちＡＥ処理が行われる（Ｓ３）。ＡＥ処理では、撮像データをＤＳＰ５で評価し、撮影露出時にＣＣＤ駆動回路７に設定する撮像素子３の露光時間値、ＣＣＤ３の増幅率を決める。

次に、メカニカル駆動部６により、撮影レンズ１内のフォーカスレンズを駆動しながら撮像データの先鋭度を検出し、最も検出量が大きいフォーカス位置にレンズを停止させる山登り方式により自動合焦動作（以下「ＡＦ」という）を行う。その状態で上記第二スイッチがオンされると、撮像データをメモリ９に取り込み、ＤＳＰ５で輝度信号、色差信号に変換するなどの必要な映像信号処理や、ＪＰＥＧ圧縮処理をし、そのデータをファイルとしてメモリカード１１に書き込む静止画記録処理を行う。この処理は、図４に示す動作フローにおける、その他スイッチ処理（Ｓ６）に該当する。

本発明は、前述のように、被写体が何であるかを検出し、検出した被写体の表示部内での移動を追跡することを特徴としている。ここでは、被写体が人間の顔である場合につきその特徴を検出する顔検出処理について説明する。被写体像の中から人物像を検出する方法は、以下に示すようないくつかの手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
１． テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されているように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
２． 電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
３． 画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」に示されているように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
４． 被写体検出においては、上述の方法以外に、画像に対するレクタングルフィルタ（白、黒の組み合わせの帯状フィルタ）をかけた非常に多くの特徴抽出結果を識別空間に配置し、対象被写体の場合と非対象被写体の境界をＡｄａｂｏｏｓｔ方法で学習させ、装置に組み込むレクタングルフィルタ定数及び識別空間境界定数を研究段階で決定する方式もある。最終的に決定された必要最小限のフィルタ定数及境界定数を装置に組み込み、それにより被写体検出する。この方式は、特徴量を学習により判定するので、顔以外の検出にも有効である。

図４に示すとおり、モニタリング状態の開始（Ｓ４）で、被写体の特徴を検出する顔検出モニタリングを有効にする（Ｓ５）。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図６に顔検出モニタリングの動作フローを示す。図６において、まず、顔検出モニタリングが許可されているか又は禁止されているかを判断し（Ｓ３１）、禁止すなわち顔検出モニタリング処理無効の場合は何もすることなく動作を終了する。顔検出モニタリング有効の場合すなわち顔検出モニタリングが許可されている場合は、顔検出モニタリングタイマの動作を判定する（Ｓ３２）。顔検出モニタリングタイマが所定時間をオーバーしている場合又は未計時の場合は、新たに顔検出処理を行ない（Ｓ３３）、再び顔検出モニタリングタイマの動作を開始して（Ｓ３４）動作を終了する。所定の計時時間内にあって上記タイマが計時中であれば、検出済みの顔があればその顔追尾処理を行なう。
一般的に、表示画面上の任意の位置にありかつ任意の大きさの対象物を検出するには処理時間がかかる。そこで、上述のように定期的に検出するだけとし、それ以外では、検出した顔付近の時間的な画像データ差分検出をＤＳＰ５で行ない、表示部１２内での被写体の移動を検出し、追尾するようにしている。
このような動作を行なう部分を「被写体追尾部」という。被写体追尾は、顔検出エリア内の特徴量を抽出して、その特徴量のエリア付近での特徴量と比較を繰り返し、差分が少ないエリアがあった場合に、顔がその位置に移動したと判定する。「被写体追尾部」はＣＰＵ８が機能の一つとして備えている。

前記第一スイッチがオンした場合の処理について、図５に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し（Ｓ１１）、上述の併行処理を無効とする。次にターゲット顔タイマの動作を判定する（Ｓ１１）。ターゲット顔タイマがオーバー又は未計時であれば表示部１２に表示されているターゲット付近の顔の検出動作を行い（Ｓ１３）、ターゲット付近に人の顔があるか否かの判定を行なう（Ｓ１４）。

図７、図８は、表示部１２内のターゲット表示付近での人の顔の検出動作（Ｓ１３）の様子を模式的に示している。図７、図８において、表示部の中央の十字状の線はターゲット表示を、点線で示す四角はターゲット表示付近のエリアを、実線で示す四角は顔検出エリアを示している。上記ターゲット表示は、前記ＣＰＵ８がＤＳＰ５を介して、表示部１２に表示データを書き込むように制御することによって行なわれ、「ターゲット表示部」とは、表示部１２の、ターゲットが表示される部分のことをいう。図７、図８に示すように、顔検出エリアを小さいエリアから順次大きいエリアに変更しながら、かつ、ターゲット表示付近のエリア内で顔検出エリアを移動させながら、人の顔を検出する。検出動作の結果をもとに上記の判定（Ｓ１４）を行い、所望の被写体すなわち人の顔が検出されたら、その枠の位置と大きさを主要被写体部と判定する。かかる判定を行なう部分を「被写体判定部」という。「被写体判定部」はＣＰＵ８が機能の一つとして備えている。そして、この顔を第一優先顔として登録する（Ｓ２３，Ｓ２４）。続いてターゲット顔タイマの計時を開始する（Ｓ２５）。第二スイッチがオンされて撮影される際に、第一優先顔に登録された顔にピントが合い、露出量、色が最適になるようにＡＥ処理、ＡＷＢ処理およびＡＦ処理が行なわれる（Ｓ１６）。

ステップＳ１４において、ターゲット付近に顔を検出できなかった場合は、顔検出モニタリング処理で検出し追尾していた複数の顔のうち、最も大きな顔を第一優先顔とするなどのルールで第一優先顔を決定する（Ｓ１５）。第一優先顔が決定されたら、第一優先顔が最適になるＡＦ、ＡＥ、ＡＷＢ処理を行なう（Ｓ１６）。具体的には、第一優先顔の範囲を測光し、撮影時に最適な露光量になるように、ＣＣＤ駆動回路７に設定するＣＣＤ３の露光時間値、ＣＣＤ３の増幅率を決める。また、少なくとも複数あるＣＣＤＡＦエリアに第一優先顔の範囲を設定し、第一優先顔が焦点深度内にはいるフォーカス位置に制御する。第一スイッチがオンで第二スイッチがオフの間は、第一優先顔も含め、検出した顔を追尾処理する（Ｓ２６）。第二スイッチがオンされると、上記のようにして決定した各制御量で撮影動作を行なう（Ｓ２０，Ｓ２１）。

なお、一旦は、フォーカス位置や露出量を決定しているが、追尾中の主要被写体の大きさが変わるなどした場合は、第二スイッチの操作で撮影される直前に、再度フォーカス位置や露出量を決定する処理を実行するのがよい。
第一スイッチの操作時に、ターゲット表示付近の顔を検出した場合に、検出情報をターゲット顔として登録すれば、その情報を用いて、顔検出モニタリング処理の効率化を図ることができる。
ターゲット顔情報は、使用者が目的とした対象の情報であるので、新規の顔検出開始時の顔検出範囲の大きさを、ターゲット顔の大きさに近い大きさから開始すると、他の顔の検出までの時間を短縮できる可能性が大きい。任意の大きさの顔を検出するには有効な時間短縮方法である。
また、ターゲット顔として登録した顔の追尾を、第一スイッチ操作解除後も一定時間保持するようにしてもよい。
撮影直後に、ターゲット顔がターゲット表示からずれた状態で、即座に次の撮影をする場合、第一スイッチ操作時にターゲット付近に顔を検出できなくても、ターゲット顔タイマ計時中の一定時間うちなら、追尾している前回のターゲット顔を第一優先顔として登録するようにしてもよい。この第一優先顔にピントが合って、露出量、色が最適になるＡＥ、ＡＷＢ処理を行なうことができる。

上述の例では、顔検出モニタリングで常時顔を検出し、追尾するように構成しているが、顔検出モニタリング自体も、常時ターゲット周辺のみを検出判定領域とすると、情報処理の簡易化を図ることができる。
図６に示す顔検出処理動作は、これを図５に示すターゲット付近顔検出の処理動作と共通にすることができる。
顔検出モニタリングタイマを使用することなく、第一スイッチがオンしたときの顔検出のみとするのも効果的である。これにより、常時ＤＳＰ５、メモリ９を最高動作周波数で動作させる必要がなく、消費電力を少なくすることができる。また、撮影者が主要被写体をターゲット表示付近に収めるので、無駄なく主要被写体を判定することができる。
従来、第一スイッチがオンすることで、ターゲット表示付近の主要被写体とその周辺を含んだエリアにフォーカス位置や露出量を合わせる機能は一般的である。本発明の上記実施例によれば、被写体判定機能により、主要被写体部の大きさも検知でき、主要被写体だけにフォーカスし、あるいは露出を合わせることができる。

以上、主要被写体として人間の顔を想定し、その検出および追尾について説明したが、撮影モードによって、例えば、ポートレート撮影モードであれば、上述の人間の顔検出とし、花撮影モードであれば、花の検出であってもよい。さらに、カメラなどの撮像装置内に、「人間」、「花」などの複数種類の被写体分類を判定する機能があれば、ターゲット付近の被写体判定で両方を判定処理し、いずれかを自動で検出できた場合に、その被写体分類に最適な撮影条件を決定することもできる。例えば、顔ではなく花を検出した場合は、色の彩度を上げる処理などを実施することができる。

なお、被写体判定機能は撮像装置内のプログラム又は、プログラムが参照するパラメータ値により決定されるものであり、プログラムの記憶媒体として書き換え可能なメモリを使用すれば、あとから被写体分類を追加、または消去するようにすることが可能である。

次に、実施例２について説明する。実施例２も、主要被写体、例えば人の顔を検出し、検出結果に基づいてフォーカス位置、露出量などを求めるものであるが、例えば、逆光などによって主要被写体を精度良く検出することができない場合があるので、実施例２はこのような悪条件下であっても、主要被写体を精度良く検出することができるように工夫したものである。実施例２のハードウェア構成は実施例１について説明した図１の構成と同じであるから、ハードウェア構成の説明は省略する。

図９、図１０はプログラム構成図で、図９に示すメイン処理ブロックと、メイン処理と併行して処理される図１０に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可／禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「ＡＥ，ＡＦ，ＡＷＢ処理」、「静止画撮影処理」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図１に示す操作部１３の状態の読み込みなどを行う。

記録時のメイン処理フローは、図４に示す実施例１のメイン処理フローと同じである。すなわち、記録モードでカメラ電源がＯＮされると、カメラ内部のハードウェア初期化やカード内のファイル情報を、メモリ９内に作成するなどの初期処理を行い、その後、図４に示す記録のメイン処理が開始される。メイン処理では、モニタリング状態をチェックし（Ｓ１）、モニタリング停止状態であれば、モニタリング開始処理を行う（Ｓ４）。モニタリング開始処理とは、撮像部すなわち図１における撮影レンズ１、機構部２、ＣＣＤ３を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動する。メイン処理に最初に入った場合にもモニタリング開始処理（Ｓ４）は実行される。

図４に示すメイン処理フローと同様に、モニタリング状態の開始で被写体の特徴を検出する顔検出モニタリングを有効にする。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図１２に示す顔検出モニタリング処理において、無効の場合すなわち顔検出モニタリング（Ｓ５１）において禁止の場合は何もしない。有効の場合すなわちモニタリング許可の場合は、検出更新タイマ（顔検出モニタリングタイマ）の動作状態を見て（Ｓ５２）、所定時間経過してオーバーの場合に、新規顔検出処理（Ｓ５３）を行なう。続いて顔モニタリングタイマの動作を開始する（Ｓ５４）。所定時間内であれば、検出済みの顔があればその顔追尾処理を行なう（Ｓ５５）。

前記第一スイッチがオンした場合の処理について、図１１に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し（Ｓ４１）、上述の併行処理を無効とする。次に顔検出モニタリングで検出済みの顔につきＡＥ，ＡＦ，ＡＷＢ処理を行なう（Ｓ４２）。次に第一スイッチの状態を判定し（Ｓ４３）、オフであれば終了、オンであれば次の第二スイッチ判定へ行く（Ｓ４４）。第２スイッチがオフであればステップＳ４３に戻り、オンであれば静止画撮影処理（Ｓ４５）を行い終了する。

撮影環境が逆光の場合で、図１３に示すようにユーザが意図している被写体が画角の端の人物であったとする。モニタリング時の自動露出制御（ＡＥ）は、主に画角中央に重点をおいた測光値に基づいて行なわれるため、画角端の人物は黒色状につぶれてしまい、顔を検出することができない。
そこで、本発明の実施例２では、図１５に示すように、表示用ＡＥの結果による撮像データ信号レベルを変えるために、電子シャッタ速度やＣＣＤ３によって得られる画像信号の増幅率を設定する。これを図１５では露出設定Ａ−１，Ａ−２，Ａ−３，・・・で時間順に示している。露出設定Ａ−１で設定された値により撮像素子で露光される。この露光をＢ−１で示している。露光により得られた撮像データはメモリ９に転送され（Ｃ−１）、ＤＳＰ５により輝度や色の映像信号に変換する画像処理を行なう（Ｄ−１）。その映像信号を表示部１２に表示する（Ｅ−１）。また、上記伝送Ｃ−１と同時に明るさに関する積算を行い、その結果をＡＥ演算し（Ｇ−１）、露出設定Ａ−４において撮像データ信号レベルを変える設定に反映する。また、Ｆ−１で顔検出を行なう。

露出設定は、一定の時間間隔をおいてＡ−１，Ａ−２，Ａ−３，のように行い、Ａ−２において、Ａ−１より露出量が大きくなる設定をし、露光Ｂ−２、転送Ｃ−２、画像処理Ｄ−２を経た結果によって顔検出処理Ｆ−２を行なう。さらに、露出設定Ａ−３において、Ａ−２より露出量が大きくなる設定をし、露光Ｂ−３、転送Ｃ−３、画像処理Ｄ−３を経た結果によって顔検出処理Ｆ−３を行なう。例えばＡ−１の露出設定で白とびしていた顔があったとしても、顔検出処理Ｆ−２又はＦ−３で検出が可能となる。以上のように構成することで、表示部１２には画角観察に適した明るさで表示することができ、しかも、暗く沈んだ顔があったとしても、それを正確に検出することができる。

さらに、撮像素子は一般的に、設定した信号レベルを基準に、明暗に対して図１４に示すような特性をもっており、暗い場合に分解能が粗く、明るい場合に余裕が少ない。主要被写体が暗部にある場合は、それを正しく測光できない。しかし、図１５に破線で示すように、Ａ−２、Ａ−３での露光に対してもＧ−２、Ｇ−３で示すようにＡＥ演算を行ない、Ｇ−１でのＡＥ演算結果とも合成することで、ダイナミックレンジの広い測光が可能となる。以上のように、表示上は画角観察に最適な表示の明るさとしながら、正確な顔検出やダイナミックレンジの広い測光ができる。

ここで、前記シャッタボタンの押し下げによる第一スイッチのオンで検出した顔の領域にＣＣＤＡＦを行なうが、この場合もＣＣＤＡＦに最適な検波データを取得するために、ＣＣＤＡＦ用の露出設定にする必要があり、ＣＣＤＡＦ中のみ、上述の表示の明るさを変えてしまう問題がある。逆光の場合や、また、撮像素子に手動のマニュアル露出補正機能があり、使用者がそれを用いている場合に上記の問題が発生する。
その対策として、図１６に示すように、露出設定Ａ−１で表示用の撮像を行い、露出設定Ａ−４以降に表示する（Ｅ−１）。ＣＣＤＡＦ用には、露出設定Ａ−２のタイミングでフォーカスを駆動する（Ｉ−２）とともに、ＣＣＤＡＦ用露出設定Ａ−２で撮像（露光）を行い（Ｂ−２）、露出設定Ａ−４のタイミングでＣＣＤＡＦ用ハイパスフィルタの検波データを取得する（Ｈ−２）。以降、同様に、フォーカス駆動Ｉ−３でのＣＣＤＡＦ検波データをＨ−３で取得して、検波データが最も高かったフォーカス位置を合焦位置と判定することができる。

以上の動作はいずれも、表示更新より撮像のサイクルを早くしているため、消費電力が大きい。撮像データの輝度分布で順光環境のような明暗差が少なく、信号レベルも基準に近い場合は、上述の処理を行なう必要がないので、図１７に示す例のように、表示に使用できない露光Ａ−２、Ａ−３を中止し、撮像レートを表示の低速レートと同じになるように切り替えるのが良い。レート切り替えは、撮像データの輝度分布により、自動で切り替えるのが良い。また、撮影者が設定する低消費電力モードがあれば、その時に切り替えるのも良い。

本発明にかかる撮像装置の実施例を示す機能ブロック図である。 本発明の実施例１のメイン処理の各要素を示すブロック図である。 本発明の実施例１の併行処理の各要素を示すブロック図である。 実施例１のメイン処理を示すフローチャートである。 実施例１の第一スイッチオン処理を示すフローチャートである。 実施例１の顔検出モニタリング動作を示すフローチャートである。 実施例１においてターゲット表示付近での人の顔の検出動作の様子を示す模式図である。 実施例１において図７に示す検出動作に続く検出動作の様子を示す模式図である。 本発明の実施例２のメイン処理の各要素を示すブロック図である。 本発明の実施例２の併行処理の各要素を示すブロック図である。 実施例２の第一スイッチオン処理を示すフローチャートである。 実施例２の顔検出モニタリング動作を示すフローチャートである。 逆光下での表示部における被写体表示の様子を示す模式図である。 撮像素子の明るさに対する信号レベルの特性図である。 実施例２の動作例を示すタイミングチャートである。 実施例２の別の動作を示すタイミングチャートである。 実施例２のさらに別の動作を示すタイミングチャートである。

符号の説明

１ 撮影レンズ
２ 機構部
３ 撮像素子であるＣＣＤ
５ ＤＳＰ
６ メカニカル駆動部
７ ＣＣＤ駆動回路
８ ＣＰＵ
９ メモリ
１２ 表示部
１３ 操作部
１４ ＡＦ部

Claims (7)

1. 被写体に応じた撮像データを得るための撮像手段と、
   前記撮像データに基づいて画像を表示する表示手段と、
   前記撮像データから前記被写体を検出する被写体検出手段と、
   前記撮像データの信号レベルを可変する信号可変手段と、
   前記撮像データに基づいて測光演算を行う測光演算手段と、
   を備え、
   前記表示手段は、前記信号可変手段により信号レベルを第１の信号レベルに変更した撮像データに基づいて画像を表示し、前記信号可変手段により信号レベルを第２の信号レベルに変更した撮像データに基づいては画像を表示せず、
   前記測光演算手段は、前記信号可変手段により信号レベルを前記第１の信号レベルに変更した撮像データと前記第２の信号レベルに変更した撮像データとに基づいて測光演算を行い、
   前記被写体検出手段は、前記表示手段が前記第１の信号レベルの撮像データに基づいて画像を表示している間に、前記測光演算手段で演算した値を用いて前記撮像手段により得られた前記第１の信号レベルの撮像データと前記第２の信号レベルの撮像データとから被写体を検出し、
   前記表示手段による画像の表示のサイクルより、前記撮像手段による撮像のサイクルの方が早いことを特徴とする撮像装置。
2. 前記撮像データの信号レベルに応じて、前記測光演算手段で演算した値を用いて撮像をするか否かを選択する請求項１記載の撮像装置。
3. 前記撮像データの信号レベルに応じて、前記撮像手段による撮像のサイクルを、前記表示手段による画像の表示のサイクルと同じなるように切り替える請求項１または２記載の撮像装置。
4. 被写体に応じた撮像データを得る撮像工程と、
   前記撮像データに基づいて画像を表示する表示工程と、
   前記撮像データから前記被写体を検出する被写体検出工程と、
   前記撮像データの信号レベルを可変する信号可変工程と、
   前記撮像データに基づいて測光演算を行う測光演算工程と、
   を備え、
   前記表示工程は、前記信号可変工程により信号レベルを第１の信号レベルに変更した撮像データに基づいて画像を表示し、前記信号可変工程により信号レベルを第２の信号レベルに変更した撮像データに基づいては画像を表示せず、
   前記測光演算工程は、前記信号可変工程により信号レベルを前記第１の信号レベルに変更した撮像データと前記第２の信号レベルに変更した撮像データとに基づいて測光演算を行い、
   前記被写体検出工程は、前記表示工程において前記第１の信号レベルの撮像データに基づいた画像が表示されている間に、前記測光演算工程で演算した値を用いて前記撮像工程により得られた前記第１の信号レベルの撮像データと前記第２の信号レベルの撮像データとから被写体を検出し、
   前記表示工程による画像の表示のサイクルより、前記撮像工程による撮像のサイクルの方が早いことを特徴とする撮像方法。
5. 前記撮像データの信号レベルに応じて、前記測光演算工程で演算した値を用いて撮像をするか否かを選択する工程を備えた請求項４記載の撮像方法。
6. 前記撮像データの信号レベルに応じて、前記撮像工程による撮像のサイクルを、前記表示工程による画像の表示のサイクルと同じなるように切り替える工程を備えた請求項４または５記載の撮像方法。
7. 撮像方法をコンピュータに実行させるプログラムであって、
   前記撮像方法は、請求項４乃至６のいずれかに記載の撮像方法であることを特徴とするプログラム。

Images