JP5207918B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、予め決められた被写体を検出することが可能な画像処理装置、撮像装置及び画像処理方法に関するものである。

近年、デジタルカメラ等の撮像装置の中には、例えば顔等の被写体の特徴を検出する機能を備え、その検出結果を利用して被写体を自動的に捉えることができるものがある。

例えば、被写体の顔を検出し、その顔の位置にフォーカス枠を自動的に設定することで、被写体の顔にフォーカスを合わせて撮影することが簡単にできるデジタルカメラが市販されている。ここで、被写体の特徴を検出して被写体を捉える技術として、例えば、特許文献１に開示されている技術が提案されている。

特開２００４−３２０２８７号公報

特許文献１に開示されている技術においては、画像データより特徴を検出し、その結果から撮影者の指定により特徴を選択し、その選択結果が示す特徴の位置特定情報を画像データとともに重畳して表示することが可能である。しかし、特許文献１においては、選択した特徴が検出できなくなった場合の特徴の選択に関しては優先順位による特徴選択がなされる。そのため、例えば、第一優先で選択された特徴が検出できなくなり第二優先で選択された特徴が検出された場合には、直ちに特徴の位置特定情報の表示が移り変わってしまうという課題があった。

本発明は上記問題点を鑑みてなされたものであり、主たる被写体以外の被写体の状態に応じて、主たる被写体を見失ったときの処理を好適化することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、前記検出手段により前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択手段と、前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段と、前記検出手段により検出された被写体の状態に応じて、前記継続時間を設定する設定手段とを有し、前記設定手段は、前記検出手段により検出された被写体の数が多い場合に、少ない場合よりも長い時間を前記継続時間として設定する。

また、本発明の画像処理方法は、検出手段が、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、選択手段が、前記検出工程で前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択工程と、設定手段が、前記検出工程で検出された被写体の状態に応じて、継続時間を設定する設定工程と、表示制御手段が、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから前記設定工程において設定された前記継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御工程とを有し、前記設定工程では、前記検出工程で検出された被写体の数が多い場合に、少ない場合よりも長い時間を前記継続時間として設定する。

本発明によれば、主たる被写体以外の被写体の状態に応じて、主たる被写体を見失ったときの処理を好適化することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

なお、以下に説明する実施の形態は本発明の実現手段としての一例である。本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［装置の説明］
図１は、本発明の実施の形態における画像処理機能を有する撮像装置の構成を示すブロック図である。なお撮像装置としては、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）、スキャナ等があり、被写体光学像を変換して電気的な画像信号を出力可能なものであれば、本発明を適用することが可能である。

図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

さらに、画像処理部２０においては、撮像した画像データから被写体の顔の部分を顔領域として検出する顔検出処理も行っている。画像データから被写体の顔を検出すると、検出した顔の領域の位置やサイズ、顔の確からしさ等の顔情報を出力する。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合、また、動画撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長部である。圧縮・伸長部３２は、メモリ３０に格納された画像を読み込んで、例えばＪＰＥＧ或いはＭＰＥＧ形式で圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する焦点調節部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び焦点調節部４２を制御する。

５０は撮像装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、撮像装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどに表示するものとしては以下のものがある。まず、動作モード表示、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示なども行われる。

また、通知部５４の表示内容の内、光学ファインダー１０４内に表示するものとしては、合焦表示、手ぶれ警告表示、フラッシュ充電表示などがある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの途中操作（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む記録処理が行われる。

７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、顔指定モード設定ボタンなども含む。

６６は傾斜センサからなる姿勢検知部で、撮像装置が構えられているのが横位置であるか、縦位置であるか等の装置の姿勢を検出する。

８０は電源制御部で、電源検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、外部電源の接続の有無、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター、または外部バッテリー等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護装置であるバリアである。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッタースピード、絞り値、露出補正などが表示される。

１１０は通信回路で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信回路１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００及び２１０はメモリカードやハードディスク等の記録媒体である。この記録媒体２００及び２１０は、それぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２、撮像装置１００とのインタフェース２０４及び２１４、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。

記録媒体２００及び２１０としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

図２は、上記構成を有する撮像装置１００の一例である電子カメラの背面構成を示す斜視図である。

図２において、３００は撮像装置１００の電源をＯＮ／ＯＦＦするための電源ボタン、６０は撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り換えるためのモードダイアルである。３０１はシャッタースイッチＳＷ１、ＳＷ２を操作するためのレリーズボタンである。３０２はセット（ＳＥＴ）ボタン、３０３はメニュー（ＭＥＮＵ）ボタン、３０４は十字ボタンで、操作部７０に対応し、撮像装置１００の設定変更や、再生モードにおける画像送りや動画再生の際の様々な操作に使用する。

画像表示部２８にはカメラの撮影画像が表示されると共に、静止画像及び或いは再生時の動画像もこの画像表示部２８に表示される。

＜第１の実施形態＞
次に、上記構成を有する撮像装置１００の本第１の実施形態における動作について説明する。

●撮影動作
図３は、本第１の実施形態における撮影の全体動作を示すフローチャートである。

電源ボタン３００のＯＮ操作により撮像装置１００に電源が投入されて起動が完了すると、システム制御部５０は、ステップＳ１００にて、ＥＶＦ画像（入力画像毎）の画像データから被写体として顔を検出する。更に、検出した顔の情報を基にＡＥ処理やＡＦ処理等に使用する顔枠（すなわち、主被写体を示す領域表示）を設定し、設定した顔枠をＥＶＦ画像に重畳表示する顔枠表示処理を行う。なお、本第１の実施形態における顔枠表示処理の詳細については、図４〜図９を参照して後述する。

次に、システム制御部５０は、ステップＳ１０１にてシャッタースイッチＳＷ１（６２）がＯＮ状態であるか否かを判定する。シャッタースイッチＳＷ１（６２）がＯＮ状態であれば、システム制御部５０は処理をステップＳ１０２へ進め、ＯＦＦ状態であれば、システム制御部５０は処理をステップＳ１００へ戻して顔枠表示処理を繰り返す。

撮影者によりレリーズボタン３０１が押し込まれ、シャッタースイッチＳＷ１（６２）がＯＮ状態になると、システム制御部５０は、ステップＳ１０２にて、露光制御部４０と画像処理部２０を用いてＡＦ用ＡＥ処理を行う。この際に、ステップＳ１００で顔枠が表示されていれば、顔枠内の輝度が適正になるように絞りとシャッタースピードを決定する。一方、ステップＳ１００で顔枠が表示されていなければ、システム制御部５０は画像全体の輝度が適正になるように絞りとシャッタースピードを決定する。

ＡＦ用ＡＥ処理が終了すると、システム制御部５０は、ステップＳ１０３にてＡＦ処理を行う。ＡＦ処理では、システム制御部５０は、焦点調節部４２により撮影レンズ１０の一部であるフォーカスレンズを一定量ずつ駆動しながら順次撮像を行い、ＡＦ信号を生成する。そして、生成したＡＦ信号が最も大きくなるフォーカスレンズ位置を求めて、その位置を合焦位置と決定する。この際もＡＥ処理と同様に、ステップＳ１００で顔枠が表示されていれば、顔枠内の画像データにバンドパスフィルター等の処理を行ってＡＦ信号を生成する。一方、ステップＳ１００で顔枠が表示されていなければ、例えば、予め設定された領域（例えば、画面中央など）の画像データを用いる等、公知の方法によりＡＦ処理を行う。

次に、ステップＳ１０４にて本露光用ＡＥ処理が実施される。ステップＳ１０２ではステップＳ１０３のＡＦ動作に適した露出条件を実現するように設定するが、ここでは実際の撮影に適した露出条件となるように絞りやシャッタスピードが設定される。

本露光用ＡＦ処理が終了すると、システム制御部５０は、ステップＳ１０５にてシャッタースイッチＳＷ１（６２）がＯＮ状態であるか否かを判断する。この時点でシャッタースイッチＳＷ１（６２）がＯＦＦ状態であれば、撮影の準備動作が途中キャンセルされたものと判断し、ステップＳ１００に戻って顔枠表示処理を行う。一方、ステップＳ１０５においてシャッタースイッチＳＷ１（６２）がＯＮ状態であれば、次のステップＳ１０６に進み、シャッタースイッチＳＷ２（６４）がＯＮ状態であるか否かを判断する。

この時点でシャッタースイッチＳＷ２（６４）がＯＮ状態でなければ、撮影の準備が完了し、撮影者はシャッタースイッチＳＷ１（６２）を保持しながら撮影のタイミングを待ち構えている状態であると判断する。そして、ステップＳ１０５に戻り、引き続きシャッタースイッチＳＷ１（６２）の状態を監視する。

撮影者によりレリーズボタン３０１が押し込まれ、シャッタースイッチＳＷ２（６４）がＯＮ状態になると、システム制御部５０は、処理をステップＳ１０７に進める。ステップＳ１０７では、ステップＳ１０３のＡＦ及び処理ステップＳ１０４の本露光用ＡＥ処理で決定した絞り、シャッタースピードおよび合焦位置を用いて、上述した露光処理、現像処理からなる撮影処理を行い、現像した画像データをメモリ３０に書き込む。

撮影処理が終了すると、ステップＳ１０８にて、システム制御部５０は、メモリ３０から画像データを読み出し、インタフェース９０あるいは９４、コネクタ９２あるいは９６を介して、記録媒体２００あるいは２１０へ書き込む記録処理を実行する。記録処理が終了すると、撮影の動作を終了する。

●顔枠表示処理
次に、図３のステップＳ１００で行われる顔枠表示処理の動作について、図４のフローチャートを参照して説明する。

システム制御部５０は、ステップＳ２００にて、ＥＶＦ画像データから被写体の顔を検出する。この顔検出処理では、システム制御部５０は、画像処理部２０を用いてＥＶＦ画像データから被写体の顔を検出し、検出した全ての顔について、顔の領域の位置やサイズ、顔の確からしさ、顔の数等の顔情報を、メモリ３０に記録する。即ち、画像処理部２０は検出手段を構成する。

次に、システム制御部５０は、ステップＳ２０１にて、ステップＳ２００でメモリ３０に記録した顔情報を基に、検出した顔の中から主被写体とする顔を選択して主顔とする、主顔選択処理を行う。即ち、システム制御部５０は、選択手段としての役割を担う。なお、主顔選択処理の詳細については図５を用いて後述する。

最後に、システム制御部５０は、ステップＳ２０２にて、画像表示部２８に表示しているＥＶＦ画像に、図７（ａ）または（ｂ）に示すように、ステップＳ２０１で選択された主顔の領域を示す顔枠４００または４０１を重ねて表示する顔枠表示制御を行う。即ち、システム制御部５０は、表示制御手段としての役割も担う。なお、顔枠表示処理の詳細については図６を用いて後述する。

以上の顔枠表示処理を繰り返し実行することにより、ＥＶＦ画像の主被写体の顔部分に顔枠を重畳表示するとともに、顔枠を主被写体の顔部分に追従させて表示し続けることができ、顔枠を使用してＡＦ処理およびＡＥ処理等を行って撮影することが可能となる。

●主顔選択処理
図５は、図４のステップＳ２０１で行われる主顔選択処理の動作を示すフローチャートである。

先ずステップＳ３００において、システム制御部５０は、上述したステップＳ２００で顔が検出されたかどうかを判断する。検出されていなければ、そのまま主顔選択処理を終了し、検出されていれば、ステップＳ３０１に進む。

システム制御部５０は、ステップＳ３０１にて、現在の顔選択モードが、検出した顔の中から主被写体とする顔を撮影者が選択して主顔とする、顔指定モードかどうかを判定する。

顔指定モードでない場合、即ち、検出した顔の中から主被写体とする顔を撮像装置１００が自動的に選択して主顔とする顔オートモードの場合、システム制御部５０はステップＳ３０２に処理を進める。なお、本第１の実施形態においては、初期値として自動選択モードが設定されているものとする。ステップＳ３０２では、メモリ３０に記録されている検出された顔の位置やサイズ、顔の確からしさ等の顔情報を基にして、検出された顔の中から主顔を選択する。そして、ステップＳ３０７にて選択された主顔の現在位置をメモリ３０に記録して、主顔選択処理を終了する。ここで、一つの顔しか検出されなければ、その顔が主顔として選択され、複数の顔が検出されれば、顔の位置、サイズ、確からしさのそれぞれの項目の合計点が最も高い顔が主顔として選択される。検出された顔の位置やサイズに変化が生じれば、その度に主顔が変更されることになる。

一方、顔選択モードが顔指定モードの場合、システム制御部５０は、ステップＳ３０３に処理を進める。ステップＳ３０３では、すでに主顔が選択されている場合、選択されている主顔を現在検出できていない状態（主顔ロスト中）であるか否かを判定する。ここで、顔指定モード中は主顔の検出範囲を現在の主顔の周辺に限定している。

ステップＳ３０３にて主顔ロスト中でないと判定された場合、システム制御部５０は、ステップＳ３０４に処理を進め、主顔以外に顔を検出しているか否かを判定する。主顔以外に顔を検出していない場合、処理をステップＳ３０７に進めて主顔の現在位置をメモリ３０に記録し、主顔選択処理を終了する。一方、主顔以外に顔を検出している場合、処理をステップＳ３０５に進める。

ステップＳ３０５においては、システム制御部５０は、ユーザから十字ボタン３０４の操作により主顔の切り換えを指示されているか否かを判定する。この主顔の切り替え指示では、撮影者によりセットボタン３０２が押されているか否かを判断している。主顔の切り替え指示があった場合は、システム制御部５０は、例えば、図７（ｃ）に示すＥＶＦ画面表示例の顔枠４０２のように顔枠の左右両側に矢印を表示し、十字ボタン３０４の左右ボタンにより主顔を切り換え可能な状態であること示す。この状態で、撮影者から主顔の切り換えが指示された場合は、図７（ｃ）に示すように現在指定されている主顔以外に検出されている顔の位置に主顔の枠の位置を切り替えることができる（ステップＳ３０６）。撮影者が主顔を選択した後、再度セットボタン３０２を押すことにより主顔の選択状態から抜けることができる。そして、処理をステップＳ３０７に進めて主顔の現在位置をメモリ３０に記録し、主顔選択処理を終了する。

一方、撮影者から主顔の切り換えが指示されていない場合は、システム制御部５０は処理をステップＳ３０７に進めて主顔の現在位置をメモリ３０に記録し、主顔選択処理を終了する。

また、ステップＳ３０３にて主顔ロスト中と判定された場合、システム制御部５０はステップＳ３０７における主顔現在位置の記録をせずに、そのまま主顔選択処理を終了する。

以上の通り、顔オートモードでは検出した顔の中から撮像装置１００が主顔を自動的に選択するとともに、顔指定モードの場合には、検出した顔の中から撮影者が任意の顔を主顔として選択することができる。

●顔枠表示制御
図６は、図４のステップＳ２０２で行われる顔枠表示制御処理の動作を示すフローチャートである。

システム制御部５０は、まず、ステップＳ４００にて現在の顔選択モードが、顔オートモードと顔指定モードのどちらであるかを判定する。顔オートモードの場合は（ステップＳ４００でＮＯ）ステップＳ４１１に処理を移し、図７（ａ）に示すように、顔枠４００を自動的に選択された主顔に重ねて描画する。この処理にて描画される顔枠は、図５の主顔選択処理にて選択され、メモリ３０に記録された情報に基づいて描画される。

一方で、顔指定モードであれば（ステップＳ４００でＹＥＳ）、次のステップＳ４０１に進む。ステップＳ４０１では撮影者が指定した顔が検出できているか否かを判断する。検出できている場合には、ステップＳ４０６に進んで主顔をロストしている状態であるか否かを示す顔ＬＯＳＴフラグをＦＡＬＳＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）の主顔選択枠４０１のような表示となる。

一方、ステップＳ４０１にて撮影者が指定した顔が検出できていない場合は、次のステップＳ４０２に進み、顔ＬＯＳＴフラグの状態を調べる。ステップＳ４０２の時点で顔ＬＯＳＴフラグがＦＡＬＳＥである場合には、次のステップＳ４０３にて図４を参照して上述した顔検出処理により、メモリ３０に記憶されている検出されている顔の数を調べる。ステップＳ４０３では検出されている顔の数が所定値以上の場合は次のステップＳ４０４に進み、所定値未満の場合はステップＳ４０５に進む。本第１の実施形態中においてはこの所定値を「５」とする。なお、所定値の値に関しては本第１の実施形態中での説明に制限されるものではなく、例えば、焦点距離を変更可能な構成の撮像装置であれば、焦点距離に応じて先に述べた検出顔数の所定値を切り替えても良い。

次にステップＳ４０４では、システム制御部５０は、主顔をロストした場合に、主顔が最後に検出された位置に主顔選択枠を保持するための表示継続時間を設定する。ここでは時間Ｔ２を設定する。即ち、システム制御部５０は設定手段として機能する。

一方、ステップＳ４０５では主顔をロストした場合に、主顔が最後に検出された位置に主顔選択枠を保持するための表示継続時間を設定し、ここでは時間Ｔ１を設定する。この時間Ｔ１、Ｔ２の関係については後述する。

ステップＳ４０４またはステップＳ４０５の処理が完了すると、次にステップＳ４０７に進む。ステップＳ４０７では顔ＬＯＳＴフラグをＴＲＵＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）の主顔選択枠４０１のように表示される。

また、ステップＳ４０２にて顔ＬＯＳＴフラグがＴＲＵＥの場合には、ステップＳ４０９にて主顔選択枠の表示継続時間の経過を判断する。先に述べたとおり、一旦主顔をロストした場合、ステップＳ４０２〜Ｓ４０７の処理において表示継続時間として、時間Ｔ１もしくはＴ２が設定されている。この期間中は、主顔が検出されなくても主顔の情報が更新されないため、ＥＶＦ画像における主顔選択枠の表示やＡＥ、ＡＦ処理においてもメモリ３０に記憶されている最後に検出された主顔の情報が継続して使用される。このステップＳ４０９において、表示継続時間が経過していないと判断される場合はステップＳ４０８の処理を実施し、主顔選択枠を描画する。一方で、表示継続時間が経過している場合はステップＳ４１０に進む。

ステップＳ４１０ではこれまで設定されていた顔指定モードを解除する。本第１の実施形態では、選択された顔をロストし、その際に検出されていた顔の数で決まる表示継続時間（Ｔ１もしくはＴ２）中に再度主顔が検出できなかった場合には、顔指定モードが自動的に解除され、顔オートモードに移行する。

次にステップＳ４１１にて通常顔枠表示処理を実施する。ただし、ステップＳ４１０よりステップＳ４１１に移った場合は表示すべき顔枠が確定していないため、通常の顔枠（図７（ａ）の顔枠４００）として表示すべきものがない。従って、顔枠を表示せずに直ちに処理が終了することになる。しかし、図４で示した顔枠表示処理は図３に示すように継続して実施されているため、再度、図５の主顔選択処理を実行し、顔オートモードとして主顔選択処理を行うことによりステップＳ４１１にて顔枠の表示が行われる。

ここで、ステップＳ４０４とステップＳ４０５で設定する主顔選択枠の表示継続時間の関係について説明する。Ｔ１、Ｔ２には「Ｔ２＞Ｔ１」の関係を持つように設定し、本第１の実施形態においては
Ｔ１＝２秒
Ｔ２＝６秒

と設定する。これにより、顔指定モードにおいて検出されている顔の数が多い（所定数以上）状況で主顔をロストした場合には、検出されている顔の数が少ない（所定数未満）の場合よりも、主顔選択枠の表示を元の位置に継続する時間を長くするような制御が可能となる。
上記の通り本第１の実施形態によれば、図８に示すように、元々人が少ない状況で主顔をロストした場合には短時間で顔指定モードを解除し、他の検出されている顔に顔枠が移るようにする。一方で図９で示すような集合写真のように、検出されている顔の数が多い状況では、顔をロストした際に顔指定モードを解除し、他の顔に顔枠を移しにくくすることが可能となる。つまり、顔枠の表示継続時間を検出されている顔の数に応じて切り替えることで、顔が密集している状態で主顔を検出できなくなった場合などに、想定外の顔に顔枠が移り変わってしまうことを抑え、撮影者のストレスを低減することが可能となる。

なお、上記第１の実施形態では、検出された顔の数が所定数以上か未満かに応じて、顔枠の表示継続時間を２段階に切り替える場合について説明したが、閾値を２つ以上設定して、３段階以上に切り替えるように制御しても構わない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

なお、第２の実施形態における撮像装置の構成及び、基本的な撮影動作、顔枠表示処理の概要及び、顔枠表示処理における主顔選択処理は第１の実施形態と同様であるため、説明を省略する。本第２の実施形態は、図４に示す顔枠表示処理の内、ステップＳ２０２で行われる顔枠表示制御処理が第１の実施形態で図６を参照して説明した処理と異なると共に、ステップＳ２００で行われる顔検出処理も第２の実施形態に特徴的な処理である。従って、以下、図１０〜図１２を用いて顔検出処理及び顔枠表示処理について説明する。

第２の実施形態では第１の実施形態と同様に画像データ全域を顔の検出領域とする検出領域１と、図１２のように顔指定モードにおける主顔選択枠を中心とした主顔選択枠よりも大きく画像データ全域よりも小さい密集度カウント領域５００を検出領域２とする。そして、この２つの顔検出領域における検出結果を用いて、主顔を中心とした顔の密集度を元に主顔ロスト時の表示継続時間を切り替える。なお本第２の実施形態では検出領域２の大きさは、画像データに対して縦横５０％と設定するが、本発明はこれに限定されるものではなく、焦点距離等により比率を変えても良い。

図１１は、本第２の実施形態における顔検出処理を示すフローチャートであり、上述したように図４に示す顔枠表示処理のステップＳ２００で行われる。

まず、ステップＳ８００で、画像データの全域（検出領域１）を対象とした顔検出処理を実施し、検出結果はメモリ３０に記憶する。次にステップＳ８０１にて現在の設定が顔指定モードであるか否かを判断する。ここで顔指定モードでないと判断された場合はそのまま処理を終了する。つまり顔オートモードの場合は第１の実施形態と同様の動作となる。また、ステップＳ８０１で顔指定モードであると判断された場合にはステップＳ８０２に進む。

ステップＳ８０２では先に述べた主顔を中心とした検出領域２にて顔検出処理を実施し、その結果をメモリ３０に記憶し、処理を終了する。

このように、顔指定モードが設定されている場合、検出領域１と検出領域２の２つの領域について顔検出を行い、これらの顔検出結果がメモリ３０に記憶されることになる。

●顔枠表示制御
次に、図４のステップＳ２０２で行われる本第２の実施形態における撮像装置１００の顔枠表示制御処理について、図１０のフローチャートを用いて説明する。なお、図６と同様の処理には、同じ参照番号を付している。

システム制御部５０は、まず、ステップＳ４００にて現在の顔選択モードが、顔オートモードと顔指定モードのどちらであるかを判定する。顔オートモードの場合は（ステップＳ４００でＮＯ）ステップＳ４１１に処理を移し、図７（ａ）に示すように、顔枠４００を自動的に選択された主顔に重ねて描画する。この処理にて描画される顔枠は、図５の主顔選択処理にて選択され、メモリ３０に記録された情報に基づいて描画される。

一方で、顔指定モードであれば（ステップＳ４００でＹＥＳ）、次のステップＳ４０１に進む。ステップＳ４０１では撮影者が指定した顔が検出できているか否かを判断する。検出できている場合には、ステップＳ５０１に進み、現在検出されている主顔を中心として検出領域２の領域を設定し直す。設定された検出領域２は次に先に述べた顔検出処理を実施する際に使用される。そして、ステップＳ４０６に進んで主顔をロストしている状態であるか否かを示す顔ＬＯＳＴフラグをＦＡＬＳＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）に示した主顔選択枠４０１のような表示となる。

一方、ステップＳ４０１にて撮影者が指定した顔が検出できていない場合は、次のステップＳ４０２に進み、顔ＬＯＳＴフラグの状態を調べる。ステップＳ４０２の時点で顔ＬＯＳＴフラグがＦＡＬＳＥである場合には、次のステップＳ５０２にて、先に述べた図４のステップＳ２００での顔検出処理によりメモリ３０上に記憶されている検出されている検出領域１、検出領域２の顔の数より密集度を算出する。

ここで、密集度についてその算出方法を説明する。本第２の実施形態においては下記の式にて密集度を算出する。
密集度 ＝ 検出領域２の顔検出数 ／ 検出領域１の顔検出数

例えば、図１２（ａ）のような集合写真のような状況においては、密集度は１．０となり、図１２（ｂ）のような２ショット写真のような状況でも密集度は１．０となる。これらは共に密集度の高い場合の例である。また、図１２（ｃ）のように、全体としては検出数が多いものの主顔近傍では検出されていないような場合には、密集度は０．２となる。また、図１２（ｄ）のように全体としての検出数自体も少なく、また主顔近傍でも検出されていない場合では、密集度は０．５となる。これらは共に密集度の低い場合の例である。
次にステップＳ５０３では先に計算した密集度が所定値以上かどうかを判断し、所定値以上の場合はステップＳ５０５に進み、所定値未満の場合はＳ５０４に進む。本実施例中においてはこの所定値を「０．６」とする。なお、所定値の値に関しては本第２の実施形態での説明に制限されるものではなく、例えば、焦点距離を変更可能な構成の撮像装置であれば、焦点距離に応じて先に述べた基準となる密集度を切り替えても良い。ステップＳ５０５では、主顔をロストした場合に主顔が最後に検出された位置に主顔選択枠を保持するための表示継続時間を設定する。ここでは時間Ｔ２を設定する。

一方でステップＳ５０３にて密集度が所定値未満である場合には、ステップＳ５０４に進み、主顔をロストした場合に、主顔が最後に検出された位置に主顔選択枠を保持するための表示継続時間を設定する。ここでは時間Ｔ１を設定する。この時間Ｔ１、Ｔ２の関係は、例えば、第１の実施形態と同様である。

ステップＳ５０４またはステップＳ５０５の処理が完了すると、次にステップＳ４０７に進む。ステップＳ４０７では顔ＬＯＳＴフラグをＴＲＵＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）の主顔選択枠４０１のように表示される。

なお、ステップＳ４０２にて顔ＬＯＳＴフラグがＴＲＵＥの場合の処理は、第１の実施形態の図６における処理と同様であるため、ここでは説明を省略する。

上記の通り本第２の実施形態によれば、図１２（ｃ）及び（ｄ）に示すように、主顔の近傍に他の顔が少ない場合には短時間で顔指定モードを解除し、他の検出されている顔に顔枠が移るようにする。一方で図１２（ａ）及び（ｂ）のような集合写真や２ショット写真のように主顔の近傍に他の顔が多数検出できるような状況では、顔をロストした際に他の顔に顔指定モードを解除し、他の顔に顔枠を移しにくくすることが可能となる。つまり、顔枠の表示継続時間を検出されている顔の数より求めた密集度に応じて切り替えることで、顔が密集している状態で主顔を検出できなくなった場合に、想定外の顔に顔枠が移り変わってしまうことを抑え、撮影者のストレスを低減することが可能となる。

なお、上記第２の実施形態では、顔の密集度が所定数以上か未満かに応じて、顔枠の表示継続時間を２段階に切り替える場合について説明したが、閾値を２つ以上設定して、３段階以上に切り替えるように制御しても構わない。

＜第３の実施形態＞
次に、第３の実施形態について説明する。

なお、第３の実施形態における撮像装置の構成及び、基本的な撮影動作、顔枠表示処理の概要及び、顔枠表示処理における主顔選択処理は第１の実施形態と同様であるため、説明を省略する。また、本第３の実施形態において、図４のステップＳ２００で行われる顔検出処理は、第２の実施形態で図１１を参照して上述した処理を行う。本第３の実施形態は、図４に示す顔枠表示制御の内、ステップＳ２０２で行われる顔枠表示制御処理が、第１の実施形態で図６を参照して説明した処理と異なる。従って、以下、図１３〜図１５を用いて顔枠表示処理について説明する。

●顔枠表示制御
図１３は、本発明の第３の実施形態における撮像装置１００の顔枠表示処理を示すフローチャートである。なお、図６または図１０と同様の処理には、同じ参照番号を付している。

システム制御部５０は、まず、ステップＳ４００にて現在の顔選択モードが、顔オートモードと顔指定モードのどちらであるかを判定する。顔オートモードの場合は（ステップＳ４００でＮＯ）ステップＳ４１１に処理を移し、図７（ａ）に示すように、顔枠４００を自動的に選択された主顔に重ねて描画する。この処理にて描画される顔枠は、図５の主顔選択処理にて選択され、メモリ３０に記録されている情報に基づいて描画される。

一方で、顔指定モードであれば（ステップＳ４００でＹＥＳ）、次のステップＳ５１０に進む。ステップＳ５１０では主顔をロストした場合の主顔選択枠の表示継続時間を算出する。

ここで表示継続時間の算出について図１４を用いて説明する。先ず、ステップＳ６００にて顔指定モード時に指定された顔が検出されているか否かを判断する。ここで、主顔が検出されていない場合は処理を終了する。

一方で、主顔が検出できている場合には次のステップＳ６０１に進む。ステップＳ６０１では密集度を算出する。この密集度の算出処理は、上述した第２の実施形態における処理と同様にして行う。次にステップＳ６０２にて、現在の密集度と直前に算出された密集度とを比較し、現在の密集度の方が大きければステップＳ６０３にて主顔ロスト時の顔枠表示継続時間をＴ２に設定する。一方、現在の密集度が直前の密集度以下の場合はステップＳ６０４にて顔枠表示継続時間をＴ１に設定する。次にステップＳ６０５にて算出した密集度をメモリ３０に記憶する。なお、メモリ３０には現在の算出結果と直前の算出結果が記録される。

つまり、主顔が検出されている期間はその情報を基にして算出した密集度に応じて、随時主顔ロスト時の顔枠表示継続時間を決定し、主顔が検出できない場合は直前の顔枠表示継続時間を使用することになる。

ステップＳ５１０の処理後、ステップＳ４０１では撮影者が指定した顔が検出できているか否かを判断する。検出できている場合には、ステップＳ５０１に進み、現在検出されている主顔を中心として検出領域２の領域を設定し直す。設定された検出領域２は次に先に述べた顔検出処理を実施する際に使用される。そして、ステップＳ４０６に進んで主顔をロストしている状態であるか否かを示す顔ＬＯＳＴフラグをＦＡＬＳＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）に示した主顔選択枠４０１のような表示となる。

一方、ステップＳ４０１にて撮影者が指定した顔が検出できていない場合は、次のステップＳ４０２に進み、顔ＬＯＳＴフラグの状態を調べる。ステップＳ４０２の時点で顔ＬＯＳＴフラグがＦＡＬＳＥである場合には、次のステップＳ５１１に進む。

ステップＳ５１１では、主顔をロストした場合に主顔選択枠を最後に検出された位置に保持するための表示継続時間を設定する。ここではステップＳ５１０において図１４で説明したようにして算出した顔枠表示継続時間を設定する。ステップＳ４０７では顔ＬＯＳＴフラグをＴＲＵＥに設定し、次のステップＳ４０８にて指定されている主顔に対してメモリ３０に記録されている情報に基づいて顔枠を描画する。その際、図７（ｂ）の主顔選択枠４０１のように表示される。

なお、ステップＳ４０２にて顔ＬＯＳＴフラグがＴＲＵＥの場合の処理は、第１の実施形態の図６における処理と同様であるため、ここでは説明を省略する。

上記の通り本第３の実施形態によれば、図１５（ａ）に示すように、元々密集度の低い状況で主顔をロストした場合には短時間で顔指定モードを解除し、他の検出されている顔に顔枠が移りやすくなる。一方で図１５（ａ）から（ｂ）にシーンが変化した場合、例えば集合写真を撮影するような状況で、最初は密集度が低い状況から徐々に人が集まり密集度が高くなった状況では、次のように顔枠表示継続時間を制御することができる。即ち、最初の状態で主顔をロストした場合には顔指定モードを解除し、他の顔に顔枠を移しやすく制御できるが、密集度が高くなるにつれて顔指定モード解除までの時間を延ばす。つまり、顔枠の表示継続時間を密集度の変化に応じて切り替えることで、顔が密集していない状態、顔が密集している状態、それぞれのシーンにあった顔枠表示継続時間を反映することができる。これにより、撮影者の意思に反した顔枠の移り変わりに伴うストレスを低減することが可能となる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えば、画像処理装置を構成するホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態における撮像装置の構成を示すブロック図である。 本発明の実施の形態における撮像装置の背面を示す斜視図である。 本発明の実施の形態における撮影の全体動作を示すフローチャートである。 本発明の実施の形態における顔枠表示処理の動作を示すフローチャートである。 本発明の実施の形態における主顔選択処理の動作を示すフローチャートである。 本発明の第１の実施形態における顔枠表示制御処理を示すフローチャートである 本発明の第１の実施形態における顔枠の表示状態を説明するための図である。 本発明の第１の実施形態における顔の検出数が少ない場合の顔枠の表示状態を示す図である。 本発明の第１の実施形態における顔の検出数が多い場合の顔枠の表示状態を示す図である。 本発明の第２の実施形態における顔枠表示制御処理を示すフローチャートである。 本発明の第２及び第３の実施形態における顔検出処理を示すフローチャートである。 本発明の第２の実施形態における顔の密集度を説明するための図である。 本発明の第３の実施形態における顔枠表示制御処理を示すフローチャートである。 本発明の第３の実施形態における表示継続時間の設定処理を示すフローチャートである。 本発明の第３の実施形態における顔の密集度の変化を説明するための図である。

符号の説明

１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生部、２０：画像処理部、２２：メモリ制御部、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮・伸長部、４０：露光制御部、４２：焦点調節部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御部、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：姿勢検知部、７０：操作部、８０：電源制御部、８２、８４：コネクタ、８６：電源部、９０、９４：入出力Ｉ／Ｆ、９２、９６：コネクタ、９８：記録媒体着脱検知部、１００：撮像装置、１０２：バリア、１０４：光学ファインダ、１１０：通信回路、１１２：コネクタ（アンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ、３００：電源ボタン、３０１：レリーズボタン、３０２：セットボタン、３０３：メニューボタン、３０４：十字ボタン、４００、４０１、４０２：顔枠

Claims (12)

1. 撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、
   前記検出手段により前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択手段と、
   前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段と、
   前記検出手段により検出された被写体の状態に応じて、前記継続時間を設定する設定手段とを有し、
   前記設定手段は、前記検出手段により検出された被写体の数が多い場合に、少ない場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理装置。
2. 撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、
   前記検出手段により前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択手段と、
   前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段と、
   前記検出手段により検出された被写体の状態に応じて、前記継続時間を設定する設定手段とを有し、
   前記設定手段は、前記検出手段により検出された被写体の密集度が高い場合に、低い場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理装置。
3. 撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、
   前記検出手段により前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択手段と、
   前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段と、
   前記検出手段により検出された被写体の状態に応じて、前記継続時間を設定する設定手段とを有し、
   前記設定手段は、前記検出手段により検出された被写体の密集度が、直前に検出された被写体の密集度よりも上がった場合に、下がった場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理装置。
4. 前記設定手段は、前記入力画像の全体から検出された被写体の数に対する、前記主被写体を中心として予め設定された検出領域において検出された被写体の数の比を、前記密集度として求めることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記画像処理装置は、選択する主被写体を撮影者が指定する指定モードと、主被写体を自動的に選択するオートモードとを有し、
   前記表示制御手段は、前記指定モードが設定され、且つ、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから前記継続時間、前記領域表示の前記入力画像への重畳表示を継続する処理を行い、前記継続時間、前記主被写体を選択できなかった場合に、前記オートモードに移行することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記被写体は、人の顔であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置と、
   前記撮像素子と、
   前記表示された前記領域表示により示される領域の画像データに基づいて、露光を制御する露光制御手段と、
   前記表示された前記領域表示により示される領域の画像データに基づいて、焦点調節を行う焦点調節手段と
   を有することを特徴とする撮像装置。
8. 検出手段が、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、
   選択手段が、前記検出工程で前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択工程と、
   設定手段が、前記検出工程で検出された被写体の状態に応じて、継続時間を設定する設定工程と、
   表示制御手段が、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから前記設定工程において設定された前記継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御工程とを有し、
   前記設定工程では、前記検出工程で検出された被写体の数が多い場合に、少ない場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理方法。
9. 検出手段が、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、
   選択手段が、前記検出工程で前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択工程と、
   設定手段が、前記検出工程で検出された被写体の状態に応じて、継続時間を設定する設定工程と、
   表示制御手段が、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから前記設定工程において設定された前記継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御工程とを有し、
   前記設定工程では、前記検出工程で検出された被写体の密集度が高い場合に、低い場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理方法。
10. 検出手段が、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、
    選択手段が、前記検出工程で前記入力画像毎に検出された被写体の中から、予め決められた主被写体を選択する選択工程と、
    設定手段が、前記検出工程で検出された被写体の状態に応じて、継続時間を設定する設定工程と、
    表示制御手段が、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから前記設定工程において設定された前記継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御工程とを有し、
    前記設定工程では、前記検出工程で検出された被写体の密集度が、直前に検出された被写体の密集度よりも上がった場合に、下がった場合よりも長い時間を前記継続時間として設定することを特徴とする画像処理方法。
11. コンピュータに、請求項８乃至１０のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images