JP4950836B2

JP4950836B2 - 撮像装置およびその動作制御方法

Info

Publication number: JP4950836B2
Application number: JP2007276128A
Authority: JP
Inventors: 章弘笠川
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-10-24
Filing date: 2007-10-24
Publication date: 2012-06-13
Anticipated expiration: 2027-10-24
Also published as: JP2009105705A

Description

この発明は，撮像装置およびその動作制御方法に関する。

ディジタル・スチル・カメラの背面には表示画面が形成されており，被写体をくり返して撮像することにより得られる被写体像を表わす画像が表示画面に表示される。表示画面に表示される被写体像を見ながらカメラ・アングルが決定される。

人物を撮像することが多いから，表示画面に表示されている被写体像の中から顔の画像部分を検出できるディジタル・スチル・カメラが増えてきた。顔画像が検出されることにより，検出された顔画像を囲むように枠が表示される（特許文献１）。顔画像の検出は連続して行われることが多い。このために，被写体の撮像中に，被写体とカメラとの間に髪の毛，手，歩行者，車などの障害物がさえぎったり，被写体の顔の向きが変わったりすると，顔画像の検出ができないことがある。すると，顔画像を囲んでいた枠の表示が消えたり，警告が出たりすることがある（特許文献２）。
特開2007-274207号公報特開2006-101186号公報

とくに，複数の顔画像が含まれている場合において，複数の顔画像の中から主要な顔画像について特定の枠を表示するときに，主要な顔画像を頻繁に変わると，枠が頻繁に移動する。枠がちらつくこととなりユーザに不快感を与えてしまう。また，主要な顔画像を表す枠内の画像の合焦制御，適正な明るさとする制御を行う場合には，正確な制御を実行できないことがある。

この発明は，主要な顔画像を特定する枠等の領域の表示の変動をできるだけ防ぐことを目的とする。

この発明による撮像装置は，一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力する撮像手段，上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示する表示装置，上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出する顔画像部分検出手段，上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御する表示制御手段，上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において,上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定する第１の判定手段，上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて,所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御する表示保持手段，上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定する第２の判定手段，および上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御する顔画像検出制御手段を備えていることを特徴とする。

この発明は，上記撮像手段が，一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力し，表示装置が，上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示し，顔画像部分検出手段が，上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出し，表示制御手段が，上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御し，第１の判定手段が，上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において，上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定し，表示保持手段が，上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて，所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御し，第２の判定手段が，上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定し，顔画像検出制御手段が，上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御するものである。

この発明によると，一定周期で被写体がくり返して撮像されることにより被写体像が表示装置の表示画面に表示される。被写体像に含まれている複数の顔画像部分の中から主要顔画像部分が検出される。検出された主要顔画像部分の位置に，主要顔画像領域が表示される。主要顔画像部分の検出後に，主要顔画像領域に主要顔画像部分が含まれていないかどうかが判定される。主要顔画像部分が含まれていないと判定されると，所与の保持時間の間主要顔画像領域の表示が保持される。所与の保持時間が経過すると，主要顔画像領域近傍に主要顔画像部分が含まれていないかどうかが判定される。含まれていないと，再び主要顔画像部分検出処理が行われる。再び行われた主要顔画像部分検出処理において検出された主要顔画像部分の位置に主要顔画像領域が表示されるようになる。その後，同様の処理が繰り返される。

主要顔画像部分が存在する位置に主要顔画像領域が表示された後で，その主要顔画像領域に主要顔画像部分が含まれていない場合であっても，所与の保持時間の間主要顔画像領域が表示される。主要顔画像領域に主要顔画像部分が含まれなくなっても所与の保持時間の間は主要顔画像領域が表示されるので，主要顔画像領域の表示位置が頻繁に変動してしまうことを未然に防止できる。主要顔画像領域のちらつきを防ぐことができる。

上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から主要顔画像部分を指定する主要顔画像部分指定手段をさらに備えるようにしてもよい。この場合，上記主要顔画像部分検出手段は，上記主要顔画像部分指定手段によって指定された主要顔画像部分を検出するものとなろう。

上記顔画像検出制御手段の制御のもとに主要顔画像部分検出処理が再び行われることにより検出された主要顔画像部分の位置が，前回の主要顔画像部分検出処理により検出された主要顔画像部分の位置と異なる場合に，前回の主要顔画像部分の位置に主要顔画像領域を表示するかどうかを報知する報知手段をさらに備えてもよい。この場合，上記表示制御手段が，前回の主要顔画像部分の位置に表示顔画像領域を表示する指令に応じて，前回の主要顔画像部分の位置に主要顔画像領域を表示するものとなろう。

被写体に応じた撮像モードを設定する撮像モード設定手段，および上記撮像モード設定手段によって設定された撮像モードに対応した保持時間を決定する決定手段をさらに備えてもよい。この場合，上記表示保持手段は，上記決定手段によって決定された保持時間の間，主要顔画像領域の表示を保持するように上記表示制御手段を制御するものとなろう。

上記主要顔画像部分検出手段は，たとえば，上記撮像モード設定手段によって設定された撮像モードに対応した検出ルールにもとづいて主要顔画像部分検出処理を行うものである。

上記主要顔画像部分検出手段によって検出された主要顔画像部分の動きが遅いか速いかを判定する動き判定手段をさらに備えてもよい。この場合，上記表示保持手段は，たとえば，上記動き判定手段によって主要顔画像部分の動きが遅いと判定されたことに応じて主要顔画像領域の保持時間を相対的に長くし，上記動き判定手段によって主要顔画像領域の保持時間を相対的に短くするものである。

上記動き判定手段は，たとえば，上記所与の保持時間前後の主要顔画像部分が，主要顔画像部分にもとづいて決定される動作範囲内に含まれていることに応じて主要顔画像部分の動きが遅いと判定し，動作範囲外となることに応じて主要顔画像部分の動きが速いと判定するものである。

上記動き判定手段は，たとえば，上記主要顔画像部分検出手段によって検出された主要顔画像部分に含まれる特徴点の位置の動きが遅いか速いかを判定するものである。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラ１の全体の動作は，ＣＰＵ２によって統括される。

ディジタル・スチル・カメラ１には，電源スイッチ，シャッタ・レリーズ・ボタン，モード・スイッチ，メニュー・ボタン，上下キー，左右キー，決定ボタンなどのスイッチ類３が含まれている。スイッチ類３から出力される操作信号は，操作系制御装置４を介してＣＰＵ２に入力する。

また，ディジタル・スチル・カメラ１には，所定のクロック・パルスを生成するタイミング・ジェネレータ５が含まれている。タイミング・ジェネレータ５によって生成されたクロック・パルスがズーム・レンズ駆動装置７，シャッタ駆動装置９，ＣＣＤ制御装置10，アナログ信号処理装置16などに入力する。

ＣＣＤ15の受光面前方には，フォーカス・レンズ駆動装置６によって位置決めされるフォーカス・レンズ11およびズーム・レンズ駆動装置７によって位置決めされるズーム・レンズ12が光軸方向に移動自在に設けられている。ズーム・レンズ12とＣＣＤ15との間には，絞り駆動装置８によって開口量が制御される絞り13およびシャッタ駆動装置９によって制御されるシャッタ14が設けられている。撮像モードが設定されると，フォーカス・レンズ11およびズーム・レンズ12によって光線束が集光し，絞り13およびシャッタ14を介してＣＣＤ15の受光面に入射する。ＣＣＰ15の受光面上に被写体像が結像する。ＣＣＤ制御装置10の制御のもとにＣＣＤ15が駆動させられることにより，ＣＣＤ15によって被写体が一定周期で撮像される。

ＣＣＤ15から一定周期で出力される画像信号は，アナログ信号処理装置16において相関二重サンプリング，アナログ／ディジタル変換などの所定のアナログ信号処理が行われる。アナログ信号処理装置16から出力された画像データは，画像入力コントローラ17を介してＡＦ（自動合焦）処理装置18に入力し，高周波数成分が抽出される。抽出された高周波数成分にもとづいて，被写体像が合焦するように，フォーカス・レンズ11が位置決めされる。また，画像データはＡＥ（自動露光）／ＡＷＢ（自動白バランス）処理装置19にも入力する。ＡＥ／ＡＷＢ処理装置19において，輝度データが抽出される。抽出された輝度データにもとづいて適正露光となるように絞り13の開口量およびシャッタ14のシャッタ速度が決定される。また，ＡＷ／ＡＷＢ処理装置19において白バランス調整が行われる。

画像入力コントローラ17から出力した画像データは画像処理装置20においてガンマ補正などの所定の画像処理が行われる。画像処理装置20から出力された画像データが表示制御装置26に入力することにより，液晶表示装置27の表示画面上に撮像によって得られた被写体像が表示される。液晶表示装置27の表示画面上にはタッチ・パネル28が形成されており，このタッチ・パネル28をタッチした旨の信号がディジタル・スチル・カメラ１に入力する。

ディジタル・スチル・カメラ１には，顔検出装置29が含まれている。顔検出装置29に画像データが入力することにより，その画像データによって表される画像に含まれている顔画像部分が検出される。顔画像部分が検出されると，その検出された顔画像部分を囲むような顔枠が液晶表示装置27の表示画面に表示される。

シャッタ・レリーズ・ボタンが押されると，上述のようにして得られた画像データはフレーム・メモリ23に与えられて一時的に記憶される。画像データはフレーム・メモリ23から読み出されて圧縮／伸長処理装置22において圧縮される。圧縮された画像データがメディア制御装置24の制御によりメモリ・カード25に記録される。

再生モードが設定されると，メモリ・カード25に記録されている画像データが読み取られて圧縮／伸長処理装置22に入力する。圧縮／伸長処理装置22において圧縮されている画像データが伸長される。伸長された画像データが表示制御装置26に与えられることにより，液晶表示装置27に与えられることにより，メモリ・カード25に記録されている画像データによって表される画像が液晶表示装置27の表示画面上に表示される。

図２および図３は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。図４（Ａ），（Ｂ），（Ｃ）および（Ｄ）は，ディジタル・スチル・カメラ１の表示装置27の表示画面に表示される被写体像の一例である。

上述したように一定周期で被写体が撮像され（ステップ41），図４（Ａ）に示すように被写体像（動画）が液晶表示装置27の表示画面60に表示される（ステップ42）。

つづいて，表示画面60に表示されている被写体像から所定の検出ルールにもとづいて，顔画像部分および主要顔画像部分が検出される（ステップ43）。たとえば，顔画像らしさの程度がもっとも大きいものが主要顔画像部分と判定されてもよいし，検出された複数の顔画像分の中からユーザによって選択されたものが主要顔画像部分と判定されてもよい。顔画像部分および主要顔画像部分が検出されると，図４（Ｂ）に示すように，検出された顔画像部分を囲む顔枠62および検出された主要顔画像部分を囲む主要顔枠61が表示されるようになる（ステップ44）。

図４（Ｂ）を参照して，表示画面60には被写体像が表示されている。上述したように，顔検出処理が行われると，検出された顔画像部分を囲むように顔枠62が表示される。さらに，検出された顔画像部分うち主要顔画像部分については，主要顔画像部分ではない顔画像部分の顔枠62と異なる態様の主要顔枠61が表示される。たとえば，主要顔枠61は実線で表示され，主要顔枠61以外の顔枠62は波線で表示される。主要顔枠61は主要顔画像部分以外の顔画像部分の顔枠62と異なっているので，複数の顔画像部分があっても主要顔画像部分が分かりやすい。

図２に戻って，主要顔画像部分が検出されると，その主要顔画像部分についての撮像条件が設定される（ステップ45）。撮像条件は，たとえば，主要顔画像部分を優先的に適正な明るさとする，合焦するなどである。この撮像条件は，あらかじめ設定されていてもよい。

一定周期での被写体の撮像が繰り返されており，顔枠および主要顔枠の表示も続けられている。すでに検出された主要顔画像部分と同じ主要顔画像部分が認識できるかどうかが確認される（ステップ46）。主要顔画像部分の特徴が記憶され，記憶された特徴部分を用いてすでに検出された主要顔画像部分と同じ主張顔画像部分が認識できるかどうかが確認される。

主要顔画像部分が認識できなくなった場合でも（ステップ46でＮＯ），主要顔画像部分が認識できなくなってから所与の保持時間を経過するまでは顔枠62および主要顔枠61の表示が続けられる（ステップ47，48）。

図４（Ｃ）を参照して，主要被写体Sb１の主要顔枠61内に主要被写体Sb１の腕などが入り込むと，主要顔枠61内に存在する主要顔画像が認識されないことがある。検出された主要顔画像が認識されない場合であっても，主要顔枠61は所与の時間の間，同じ位置で表示され続ける。検出された主要顔画像が検出されなくなった場合に，新たな主要顔画像を囲むように主要顔枠が新たな位置に表示されるのでなく，所与の保持時間の間は同じ位置に主要顔枠61が表示続けられる。主要顔枠61の表示位置が頻繁に変わってしまうことを未然に防止でき，ちらつきを防止できる。

図３に戻って，主要顔画像部分が認識できなくなってから所与の保持時間が経過すると（ステップ48でＹＥＳ），主要顔枠61の近傍で主要顔画像部分が認識できるかどうかが確認される（ステップ49）。

主要顔枠61の近傍で主要顔画像部分が認識できるのであれば（ステップ49でＹＥＳ），撮像が終了するまでステップ48および49の処理が繰り返される（ステップ50）。主要顔枠61の近傍で主要顔画像部分が認識できないと（ステップ49でＮＯ），撮像終了指令が与えられなければ（ステップ51でＮＯ），検出ルールにもとづいて顔画像部分および主要顔画像部分の検出処理が行われ（ステップ43），新たな顔画像部分および主要顔画像部分の検出が行われる。図４（Ｄ）を参照して，新たな検出処理により，被写体Sb２の顔画像部分が主要顔画像部分であると検出されると被写体Sb２の顔画像部分の位置に主要顔枠61が表示されるようになる。

主要顔画像部分を認識できる場合には（ステップ46でＹＥＳ），再びステップ43からの処理が繰り返される。主要顔画像部分は変わらないから，主要顔枠61の位置も変わらずに表示され続けることとなる。

図５から図７は，他の処理手順を示すフローチャートである。図８（Ａ）〜図８（Ｅ）は，表示画面60に表示される被写体像の一例である。

上述したのと同様に，一定周期で被写体の撮像が繰り返されて被写体像が表示画面60に表示される（ステップ71，72）。得られた被写体像の中から顔画像部分が検出される（ステップ73）。

複数の顔画像部分が検出されると（ステップ74でＹＥＳ），上述したように，主要顔画像部分を囲む主要顔枠61が他の顔画像部分を囲む顔枠62と異なるように表示される（ステップ75）。図８（Ａ）に示すように被写体像Sb３の顔画像部分が主要顔画像部分と判断されて，被写体像Sb３の顔画像部分の位置に主要顔枠61が表示される。この実施例においては，主要顔画像部分をユーザが選択することができる。スイッチ類に含まれている左右キー（左ボタンと右ボタンとから構成される）が押されることに応じて，検出された主要顔枠61が主要顔画像の左または右の顔画像を囲むように移動する。図８（Ａ）に示す状態で，左右キーの右ボタンが二回押されると，図８（Ｂ）に示すように，ユーザSb３の二人右隣のユーザSb４の顔画像を囲むように主要顔枠61が表示される。図５に戻って主要顔枠61の表示位置を変更する場合には（ステップ76でＹＥＳ），ユーザによってその主要顔枠61の表示位置が移動させられる（ステップ77）。

被写体像の中から複数の顔画像部分が検出されないと（ステップ74でＮＯ），一つの顔画像部分が検出される。検出された一つの顔画像部分に主要顔枠61が表示される（ステップ78）。もっとも顔画像部分が全く検出されなければ顔枠62も表示されないのはいうまでもない。

つづいて，複数の顔画像部分がある場合に，主要顔画像部分の優先順位が設定される（図６ステップ79）。優先順位の設定は，上述のように左右キーを操作して主要顔枠61を移動させながら決定ボタンを随時押すことにより行ってもよいし，顔画像部分を設定しようとする優先順位にしたがってタッチすることにより行ってもよい。

その後は，上述したのと同様に，設定した主要顔画像部分が認識されなくとも（図６ステップ80でＮＯ），所与の時間の間，顔枠62および主要顔枠61の表示位置が変動することなく表示され続ける（図６ステップ81，82）。図８（Ｃ）に示すように，被写体Sb４の前方を歩行者αが遮り，被写体Sb３の顔画像部分が認識されなくなっても主要顔枠61は被写体Sb４の顔画像部分が存在していた位置に，所与の保持時間の間表示され続ける。

所与の保持時間経過後に主要顔枠61の近傍で主要顔画像部分を認識できるようになれば（図６ステップ83でＹＥＳ），撮像終了指令が与えられるまでステップ82および83の処理が繰り返される（図６ステップ84）。所与の保持時間経過しても主要顔枠61の近傍で主要顔画像部分を認識できなければ（図６ステップ83でＮＯ），次の優先順位の顔画像部分が主要顔画像部分として主要顔枠61が表示される（図７ステップ85）。図８（Ｄ）を参照して，次の優先順位の顔画像部分が被写体Sb３の顔画像部分であるとすると，被写体Sb３の顔画像部分の位置に主要顔枠61が表示されるようになる。

図７に戻って，最初に設定された最優先の主要顔画像部分を顔画像部分として認識できるようになっていれば（ステップ86でＹＥＳ），その最優先の主要顔画像部分に主要顔枠61が表示されるようになる（ステップ87）。図８（Ｅ）に示すように，たとえば，歩行者αが最初に設定された主要顔画像部分に対応する被写体Sb４の前方からいなくなると，被写体Sb４の顔画像部分を認識できるから，被写体Sb４の顔画像部分を囲むように主要顔枠61が表示されるようになる。

再び図７に戻って，最初に設定された再優先の主要顔画像部分を認識できなければ（ステップ86でＮＯ），次の優先順位の顔画像部分が認識できるかどうかが確認される（ステップ88）。認識できれば（ステップ88でＹＥＳ），上述したのと同様に顔検出処理が行われて，その次の優先順位の顔画像部分に主要顔枠61が表示される。次の優先順位の顔画像部分が認識できなければ（ステップ88でＮＯ），所与の保持時間の間，顔枠62，主要顔枠61の表示が続けられる（ステップ89，90）。

所与の保持時間を経過しても主要顔枠近傍で主要顔画像部分を認識できなければ（ステップ91でＮＯ），他の認識できる顔画像部分があれば（ステップ92でＹＥＳ），その次に優先される主要顔画像部分に主要顔枠62が表示されるようになる（ステップ93）。

このように，ユーザの優先順位にしたがって，主要顔枠62を所与の保持時間の間，表示続けることができる。

図９は，変形例を示すもので，ディジタル・スチル・カメラ１の処理手順の一部を示すフローチャートである。図９において，図７に示す処理と同じ処理については同じ符号を付して説明を省略する。図10は，表示画面60に表示される被写体像の一例である。

図７に示す処理においては，最初に設定された最優先の主要顔画像部分を認識できなくなった後に，再び最初に設定された最優先の主要顔画像部分を認識できた場合には，ユーザの意志にかかわらず，その最優先の主要顔画像部分の位置に主要顔枠61が表示されるが，図９に示す処理においては，再び最初に設定された最優先の主要顔画像部分を認識できた場合には（ステップ86でＹＥＳ），その再び認識できた顔画像部分を主要顔画像部分として，主要顔枠を表示するかどうかが確認される（ステップ94）。

再び認識できた顔画像部分を主要顔画像部分とする場合には（ステップ95でＹＥＳ），その最優先の主要顔画像部分に主要顔枠61が表示されるようになる。最初に設定された最優先の主要顔画像部分に主要顔枠61を表示しない場合には（ステップ95でＮＯ），次の優先順位の顔画像に主要顔枠61が表示されるようになる。

図10を参照して，被写体像Sb４の前方から歩行者αがいなくなり，最初に設定された最優先の主要顔画像（被写体像Sb４の顔画像）が認識できるようになると，主要顔枠を「元の顔に合わせますか？」という文章が表示画面60の上部に表示される。元の顔が被写体像Sb４の顔画像であることがわかるように被写体像Sb４の顔枠62Ａが鎖線で示される。最初に設定された最優先の主要顔画像部分の位置に主要顔枠61を表示する場合には，メニュー・ボタンが押される。主要顔枠61は，図８（Ｅ）と同じように被写体像Sb４の顔画像部分に表示されるようになる。メニュー・ボタンが押されなければ，次の優先順位の顔画像部分であるユーザSb３の顔画像部分が主要顔画像部分とされる。被写体像Sb３の顔画像部分に主要顔枠61が表示される。

図11から図14は，他の実施例を示すものである。この実施例は，主要顔画像部分が認識できなくなった後に主要顔枠61の表示を続ける所与の保持時間を，ユーザによって設定された撮像モードに対応した時間とするものである。

図11は，表示画面60に表示される画像の一例を示している。

撮像モード・スイッチによって撮像モードが設定されると，表示画面60には，図11に示すように撮像モード設定画像が表示される。表示画面60の右側には，設定できる撮像モードの種類が表示されている撮像モード設定領域65が形成されている。設定できる撮像モードには，赤ちゃん撮像モード，スポーツ撮像モード，集合写真撮像モード，飲み会撮像モード，犬撮像モード，および猫撮像モードがある。スイッチ類に含まれている上下キーの上キーまたは下キーの押下に応じてカーソル66が各撮像モードを囲むようにして上または下に移動する。表示画面60の中央部分には，カーソル66によって囲まれている撮像モードを用いて撮像した場合の特性が表示されている。スイッチ類に含まれている決定ボタンが押されることにより，カーソル66によって囲まれている撮像モードでの撮像が決定する。

図12は，撮像モードに対応してあらかじめ定められている保持時間および検出ルールを示している。

被写体の動きが速いと考えられる撮像モードについては保持時間は長くなり，被写体の動きが遅いと考えられる撮像モードについては保持時間は短くなる。たとえば，スポーツ撮像モードおよび犬撮像モードでの被写体となるスポーツ選手および犬の動きは比較的速いと考えられるので，保持時間はｔ１である。猫撮像モードの保持時間はｔ２であり，赤ちゃん撮像モードの保持時間はｔ３である。集合撮像モードおよび飲み会撮像モードでの被写体となる人物の動きは比較的遅いと考えられるので，保持時間はｔ４である（ｔ１＜ｔ２＜ｔ３＜ｔ４）。動きが速い被写体を撮像する撮像モードでは保持時間が短いので，主要顔画像部分が移動してしまった場合に主要顔枠61だけが主要顔画像部分と無関係に表示され続けているということを未然に防止できる。

検出ルールには，顔の検出範囲と検出する顔の大きさとが規定されている。他のルールについても規定してもよいのはいうまでもない。赤ちゃん，犬，または猫が被写体の場合には，それらの被写体は撮像範囲のほぼ中心に存在することが多いので，顔の検出範囲も撮像範囲のほぼ中央部分に規定される。集合写真または飲み会の場合には撮像範囲の周辺部分には対象人物がいないことが多いので，撮像範囲の内側ほぼ４／５の領域が顔の検出範囲と規定される。スポーツ撮像モードに設定される場合には，顔の検出範囲は撮像範囲のほぼ全体とされる。また，赤ちゃんが撮像される場合にはアップが多いので，一定上の大きさの顔画像が検出される。これに対して，集合写真を撮像する場合には多くの人数を撮像するために顔画像の大きさは比較的小さいことが多い。このために，一定以下の大きさの顔画像が検出される。スポーツ撮像モード，飲み会撮像モード，犬撮像モード，および猫撮像モードが設定される場合には，すべての大きさの顔画像が検出される。

図13および図14は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。これらの図において，図３，図５などの処理と同一の処理については同一符号を付して説明を省略する。

図13を参照して，ユーザによって撮像モードが設定されると（ステップ101），設定された撮像モードが判定される（ステップ102）。判定された撮像モードに対応する設定時間および検出ルールが読み取られる（ステップ103）。

一定周期で被写体が撮像され（ステップ71），撮像された被写体像が表示される（ステップ72）。読み取られた検出ルールにもとづいて顔画像部分が検出される（ステップ73Ａ）。複数の顔画像部分が検出されると（ステップ74でＹＥＳ），主顔画像部分と顔画像部分とが区別されて顔枠61，62が表示される（ステップ75）。複数の顔画像部分が検出されなければ（ステップ74でＮＯ），検出された顔画像部分に主要顔枠61が表示される（ステップ78）。

図14を参照して，主要顔画像部分が認識できなくなっても（ステップ46でＮＯ），撮像モードに応じた保持時間の間，顔枠62，主要顔枠61の表示が続けられる（ステップ47，48Ａ）。

このように，ユーザによって設定された撮像モードに対応した時間の間は主要顔枠61が，最初に認識された主要顔画像部分の位置に表示され続けられる。また，顔画像部分の検出ルールもユーザによって設定された撮像モードに対応したものが利用されるようになる。

図15から図17（Ａ）〜（Ｅ）は，さらに他の実施例を示すものである。この実施例では，被写体の動きが速いか遅いかが検出される。被写体の動きが速い場合には主要顔枠61を主要顔画像部分と認識した位置に表示する保持時間が短く設定され，被写体の動きが遅い場合には主要顔枠61を主要顔画像部分と認識した位置に表示する時間が長く設定される。

図15および図16は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。この図において，図３に示す処理と同じ処理については，同一符号を付して説明を省略する。

一定周期で被写体が撮像され（ステップ111），被写体像が表示画面60に表示される（ステップ112）。検出ルールにもとづいて，顔画像部分，主要顔画像部分が検出され，検出された顔画像部分，主要顔画像部分の位置かが内部メモリに一時的に記憶される（ステップ113）。検出された顔画像部分，主要顔画像部分の位置にもとづいて，それらの顔画像部分，主要顔画像部分よりも一回り大きい動作範囲が設定される（ステップ114）。顔枠62，主要顔枠61が表示画面60に表示される（ステップ115）。

図17（Ａ）を参照して，主要顔画像部分の位置に主要顔枠61が表示され，主要顔画像部分でない顔枠部分の位置に顔枠62が表示される。これらの主要顔枠61，顔枠62を囲むように，主要顔枠61，顔枠62よりも一回り大きい動作範囲63が設定される。図17（Ａ）においては分かりやすくするために動作範囲63が明示されているが（他の図においても同様），必ずしも表示されなくともよい。

図15に戻って，一定時間が経過するまでステップ113から115の処理が繰り返される（ステップ116）。一定時間が経過すると（ステップ116でＹＥＳ），その一定時間経過前の主要顔枠61，顔枠62が，動作範囲63内に含まれているかどうかが確認される（ステップ118）。一定時間経過前の主要顔枠61，顔枠62が動作範囲63内に含まれている場合には（ステップ118でＹＥＳ），被写体の移動が速いと判定される（ステップ119）。最初に主要顔画像部分であると認識された位置に主要顔枠61を表示する保持時間が短く設定される（ステップ120）。一定時間経過前の主要顔枠61，顔枠62が動作範囲63内に含まれていない場合には（ステップ118でＮＯ），被写体の移動が遅いと判定される（ステップ121）。最初に主要顔画像部分であると認識された位置への主要顔枠61の保持時間は長く設定される（ステップ122）。

主要顔画像部分が認識できなくなり，かつ設定された時間が経過した後でも主要顔枠近傍で主要顔画像が認識されないと（ステップ49でＮＯ），顔枠61，62が消去される（ステップ123）。

図17（Ｂ）を参照して，被写体の動きが遅い場合には，主要顔枠61，顔枠62が設定された動作範囲63に含まれている。この場合，上述のように主要顔枠61，顔枠62の保持時間は相対的に長くされる。図17（Ｃ）を参照して，主要顔枠61，顔枠62の保持時間が長く設定されている場合に，歩行者αにより顔画像部分の認識ができなくなっても保持時間が長く設定されているので，主要顔枠61，顔枠62の表示位置は依然として保持されることとなる。

図17（Ｄ）を参照して，被写体の動きが速い場合には，主要顔枠61，顔枠62は設定された動作範囲63に含まれない。この場合，上述のように主要顔枠61，顔枠62の保持時間は相対的に短くされる。図17（Ｅ）を参照して，主要顔枠61，顔枠62の保持時間が短く設定されているので，歩行者αなどによって主顔枠近傍で主顔画像部分が認識できなくなると，所要顔枠61，顔枠62が消去されることとなる。

図18および図19は，図15から図17（Ａ）〜（Ｅ）の変形例を示している。上述した実施例においては，一定時間経過した後に主要顔枠61，顔枠62が動作範囲63内に含まれているかどうかにより，主要顔枠61，顔枠62の保持時間の長さが決定されているが，図18および図19に示す処理においては，顔画像部分の中の特徴点に着目し，その特徴点の一定時間前後の移動距離にもとづいて主要顔枠61，顔枠62の保持時間の長さが決定される。

図18は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。この図において，図15および図16に示す処理と同一の処理については同一符号を付して説明を省略する。

検出ルールにもとづいて顔画像部分および主要顔画像部分が検出されると（ステップ113Ａ），検出された顔画像部分および主要顔画像部分のそれぞれの顔の特徴点の位置が記憶される（ステップ114Ａ）。顔の特徴点は，例えば，目，鼻，口，耳などである。

顔の特徴点が一定時間前から一定の距離内に無ければ（ステップ118ＡでＮＯ），被写体の移動は速いと判定され（ステップ119），主要顔枠61，顔枠62の保持時間が短く設定される（ステップ120）。

顔の特徴点が一定時間の前から一定の距離内にあれば（ステップ118ＡでＹＥＳ），被写体の移動は遅いと判定され（ステップ121），主要顔枠61，顔枠62の保持時間が長く設定される（ステップ122）。

図19および図20は一定時間前後の被写体の移動の様子を示している。

図19を参照して，一定時間前の被写体Sb10が一定時間後には被写体Sb11の位置に移動したものとする。特徴点を目とすると，一定時間前後で特徴点の移動距離はΔL1である。この移動距離ΔL1が所定のしきい値以下であると被写体の移動は遅いと判定される。上述したように主要顔枠61，顔枠62の表示保持時間は相対的に長く設定される。

図20を参照して，一定時間前の被写体Sb12が一定時間後には被写体Sb13の位置に移動したものとする。特徴点を目とすると，一定時間前後で特徴点の移動距離はΔL2である。この移動距離ΔL2が所定のしきい値以上であると被写体の移動は速いと判定される。上述したように主要顔枠61，顔枠62の表示保持時間は相対的に短く設定される。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。（Ａ）〜（Ｄ）は，表示画面に表示される被写体像の一例である。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。（Ａ）〜（Ｅ）は，表示画面に表示される被写体像の一例である。ディジタル・スチル・カメラの処理手順を示すフローチャートである。表示画面に表示される被写体像の一例である。表示画面に表示される撮像モード設定画像の一例である。撮像モードと表示保持時間と検出ルールとの関係を示している。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。ディジタル・スチル・カメラの処理手順を示すフローチャートである。（Ａ）〜（Ｅ）は，表示画面に表示される被写体像の一例である。ディジタル・スチル・カメラの処理手順を示すフローチャートである。被写体が移動する様子を示している。被写体が移動する様子を示している。

符号の説明

１ディジタル・スチル・カメラ
２ＣＰＵ
15 ＣＣＤ
26 表示制御装置
27 液晶表示装置
29 顔検出装置

Claims

一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力する撮像手段，
上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示する表示装置，
上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出する顔画像部分検出手段，
上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御する表示制御手段，
上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において,上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定する第１の判定手段，
上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて,所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御する表示保持手段，
上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定する第２の判定手段，
上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御する顔画像検出制御手段，および
上記顔画像検出制御手段の制御のもとに主要顔画像部分検出処理が再び行われることにより検出された主要顔画像部分の位置が，前回の主要顔画像部分検出処理により検出された主要顔画像部分の位置と異なる場合に，前回の主要顔画像部分の位置に主要顔画像領域を表示するかどうかを報知する報知手段を備え，
上記表示制御手段が，前回の主要顔画像部分の位置に表示顔画像領域を表示する指令に応じて，前回の主要顔画像部分の位置に主要顔画像領域を表示するものである，
を備えた撮像装置。
上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から主要顔画像部分を指定する主要顔画像部分指定手段をさらに備え，
上記主要顔画像部分検出手段は，上記主要顔画像部分指定手段によって指定された主要顔画像部分を検出するものである，
請求項１に記載の撮像装置。
被写体に応じた撮像モードを設定する撮像モード設定手段，および
上記撮像モード設定手段によって設定された撮像モードに対応した保持時間を決定する決定手段をさらに備え，
上記表示保持手段は，上記決定手段によって決定された保持時間の間，主要顔画像領域の表示を保持するように上記表示制御手段を制御するものである，
請求項１または２に記載の撮像装置。
上記主要顔画像部分検出手段が，上記撮像モード設定手段によって設定された撮像モードに対応した検出ルールにもとづいて主要顔画像部分検出処理を行うものである，
請求項３に記載の撮像装置。
上記主要顔画像部分検出手段によって検出された主要顔画像部分の動きが遅いか速いかを判定する動き判定手段をさらに備え，
上記表示保持手段は，上記動き判定手段によって主要顔画像部分の動きが遅いと判定されたことに応じて主要顔画像領域の保持時間を相対的に長くし，上記動き判定手段によって主要顔画像領域の保持時間を相対的に短くするものである，
請求項１から４のうちいずれか一項に記載の撮像装置。
上記動き判定手段は，上記所与の保持時間前後の主要顔画像部分が，主要顔画像部分にもとづいて決定される動作範囲内に含まれていることに応じて主要顔画像部分の動きが遅いと判定し，動作範囲外となることに応じて主要顔画像部分の動きが速いと判定するものである，
請求項５に記載の撮像装置。
上記動き判定手段は，上記主要顔画像部分検出手段によって検出された主要顔画像部分に含まれる特徴点の位置の動きが遅いか速いかを判定するものである，
請求項５に記載の撮像装置。
撮像手段が，一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力し，
表示装置が，上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示し，
顔画像部分検出手段が，上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出し，
表示制御手段が，上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御し，
第１の判定手段が，上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において，上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定し，
表示保持手段が，上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて，所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御し，
第２の判定手段が，上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定し，
顔画像検出制御手段が，上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御し，
報知手段が，上記顔画像検出制御手段の制御のもとに主要顔画像部分検出処理が再び行われることにより検出された主要顔画像部分の位置が，前回の主要顔画像部分検出処理により検出された主要顔画像部分の位置と異なる場合に，前回の主要顔画像部分の位置に主要顔画像領域を表示するかどうかを報知し，
上記表示制御手段が，前回の主要顔画像部分の位置に表示顔画像領域を表示する指令に応じて，前回の主要顔画像部分の位置に主要顔画像領域を表示するものである，
撮像装置の動作制御方法。
一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力する撮像手段，
上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示する表示装置，
上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出する顔画像部分検出手段，
上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御する表示制御手段，
上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において,上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定する第１の判定手段，
上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて,所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御する表示保持手段，
上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定する第２の判定手段，
上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御する顔画像検出制御手段，
被写体に応じた撮像モードを設定する撮像モード設定手段，および
上記撮像モード設定手段によって設定された撮像モードに対応した保持時間を決定する決定手段を備え，
上記表示保持手段は，上記決定手段によって決定された保持時間の間，主要顔画像領域の表示を保持するように上記表示制御手段を制御するものである，
を備えた撮像装置。
撮像手段が，一定周期で被写体をくり返して撮像して被写体像を表す画像データを出力し，
表示装置が，上記撮像手段から出力された画像データによって表される被写体像を表示画面上に表示し，
顔画像部分検出手段が，上記撮像手段から出力される画像データによって表される被写体像に含まれている複数の顔画像部分の中から所与の検出ルールにもとづいて主要顔画像部分を検出し，
表示制御手段が，上記主要顔画像部分検出手段によって検出された主要顔画像部分の位置に，主要顔画像領域を表示するように上記表示装置を制御し，
第１の判定手段が，上記主要顔画像部分検出手段による主要顔画像部分検出処理後に上記撮像手段から出力された画像データによって表される被写体像において，上記表示制御手段の制御のもとに表示されている主要顔画像領域に主要顔画像部分が含まれていないかどうかを判定し，
表示保持手段が，上記第１の判定手段によって主要顔画像領域に主要顔画像部分が含まれていないと判定されたことに応じて，所与の保持時間の間主要顔画像領域の表示を保持するように上記表示制御手段を制御し，
第２の判定手段が，上記表示保持手段の制御のもとに主要顔画像領域の所与の保持時間の表示が終了したことに応じて主要顔画像表示領域近傍に主要顔画像部分が含まれていないかどうかを判定し，
顔画像検出制御手段が，上記第２の判定手段によって主要顔画像領域近傍に主要顔画像部分が含まれていないと判定されたことに応じて主要顔画像部分検出処理を再び行うように上記主要顔画像部分検出手段を制御し，
撮像モード設定手段が，被写体に応じた撮像モードを設定し，
決定手段が，上記撮像モード設定手段によって設定された撮像モードに対応した保持時間を決定し，
上記表示保持手段は，上記決定手段によって決定された保持時間の間，主要顔画像領域の表示を保持するように上記表示制御手段を制御するものである，
撮像装置の動作制御方法。