JP7277149B2 - 撮像装置及びその制御方法 - Google Patents

Description

瞳に自動的にピントを合わせることができる撮像装置に関する。

撮像素子を使用したデジタルカメラにおいて、撮像素子から得られた画像データ人の顔を検出し、顔に対応する画像データの領域から瞳が検出された場合には当該瞳にピントを合わせる技術が知られている。

特許文献１では、左右の瞳のいずれかにピントを合わせることをユーザが指定するモードの場合に、選択された瞳にピントを合わせることが開示されている。

特開２０１５－９６９６１号公報

特許文献１によれば、左右の瞳のうち、ユーザが意図した瞳にピントを合わせることが可能である。しかしながら、特許文献１ではユーザビリティの面で課題が残る。例えば、ユーザが左右の瞳のいずれかを指定した場合に、ユーザが指定しなおさない限りは、指定された瞳とは異なる瞳にピントを合わせたい場合であっても指定された瞳にピントが合ってしまう。また、例えば、同じ人物の顔かそうでないかによらず、左右の瞳のうち同じ瞳にピントを合わせてしまう。

そこで、本発明では、先行技術と比較して、より撮影者の意図通りした瞳にピントを合わせる技術を提供することを目的としている。

そこで、本発明は、撮像素子から出力された画像信号に基づいて第１の領域を検出する第１の検出手段と、前記第１の領域に含まれる、第１の瞳に対応する第２の領域又は前記第１の瞳とは異なる第２の瞳に対応する第３の領域を検出する第２の検出手段と、前記第２の領域又は前記第３の領域のいずれかを自動的に選択する選択手段を有し、ユーザによって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズを駆動する第１のモードと、前記選択手段によって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズの駆動を制御する第２のモードと、のいずれかのモードによってフォーカスレンズの駆動を制御する制御手段と、を有し、前記制御手段は、前記第１の検出手段によって前記第１の領域が検出されなくなった場合には、前記第１のモードから前記第２のモードへと移行するよう構成したことを特徴とする。

本発明によれば、先行技術と比較して、より撮影者の意図通りした瞳にピントを合わせることができる。

本発明を実施するための構成図 本発明の実施例１の動作を示すフローチャート 自動瞳選択の方法を示すフローチャート 実施例１における、顔枠あるいは瞳枠表示の遷移例を示した図 本発明の実施例２の動作を示すフローチャート 顔認証動作による顔検知再開方法に関するフローチャート

本発明の各種実施例について、添付図面を参照して説明する。各実施形態では、瞳検出機能を有する撮像装置を例示する。瞳検出機能を有する撮像装置としては、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラや、さらにカメラ機能を搭載したスマートフォンなどの携帯機器も本発明の一側面を構成する。

図１は本発明の第１実施形態に係る撮像装置の構成例を示す図であり、瞳ＡＦ機能を搭載したミラーレスカメラ（以下、カメラ）の構成を例示したものである。

交換レンズ１００は、カメラ本体部１２０に装着可能な光学機器のうちの一つである。交換レンズ１００は、主撮影光学系１０２、光量調節を行う絞り１０３、およびピント調節を行うフォーカスレンズ群１０４を含む撮影レンズユニット１０１を備える。

レンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１１は、絞り１０３の動作を制御する絞り制御部１１２、フォーカスレンズ群１０４の動作（駆動とも称する）を制御するフォーカスレンズ制御部１１３、などを備える。フォーカスレンズ制御部１１３は、カメラ本体部１２０から取得したフォーカスレンズ駆動情報に基づいてフォーカスレンズ群１０４を撮影レンズユニット１０１の光軸方向に駆動させ、カメラのピント調節を行う。

なお、フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していても良い。また、ここでは図の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であっても良い。ズームレンズである場合には、レンズ制御部１１３はズームレンズ位置を検出するエンコーダ出力から焦点距離情報する。また、手振れ補正機能を搭載したレンズの場合には、レンズ制御部１１３は、振れ補正用のシフトレンズ群などの制御も行う。

カメラ本体部１２０は、露出制御に用いるシャッター１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。撮像素子１２２の出力する撮像信号は、アナログ信号処理回路１２３で処理された後、カメラ信号処理回路１２４に送られる。

カメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３１は、撮像装置全体を制御する。例えば、カメラ制御部１３１は不図示のシャッター駆動用のモータを駆動制御し、シャッター１２１を駆動する。メモリカード１２５は撮影された画像のデータを記録する記録媒体である。撮影者によって操作されるレリーズスイッチ１８１の押下状態がカメラ制御部１３１に送られ、その状態に応じて撮像した画像がメモリカード１２５に記憶される。

画像表示部１７１は、撮影者がカメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（ＬＣＤ）等の表示デバイスを備える。また、タッチパネル１７２は撮影者が指やタッチペンにより画像表示部１７１における座標を指定することができる操作部であり、画像表示部１７１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が画像表示部１７１の表示を妨げないように構成し、画像表示部１７１の表示面の内部に組み込む内蔵型（インセル型）などである。そして、タッチパネル１７２上の入力座標と、画像表示部１７１上の表示座標とを対応付ける。これにより、あたかもユーザが画像表示部１７１上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。操作部１７２への操作状態はカメラ制御部１３１で管理される。

カメラ本体部１２０は、交換レンズ１００とのマウント面に、交換レンズ１００と通信を行うための通信端子であるマウント接点部１６１を備える。また、交換レンズ１００は、カメラ本体１２０とのマウント面に、カメラ本体１２０と通信を行うための通信端子であるマウント接点部１１４を備える。

レンズ制御部１０５とカメラ制御部１３１は、マウント接点部１１４および１６１を介して所定のタイミングでシリアル通信を行うよう通信を制御する。この通信により、カメラ制御部１３１からレンズ制御部１１１にはフォーカスレンズ駆動情報、絞り駆動情報などが送られ、レンズ制御部１１１からカメラ制御部１３１へ焦点距離などの光学情報が送られる。

カメラ信号処理回路１２４は、顔情報検出部１４１を備え、さらに器官情報検出部１４２を備えており、器官情報検出部１４２は顔情報検出部１４１で検出した顔情報から、瞳、口などの器官情報を検出する。顔情報検出部１４１、器官情報検出部１４２における検出結果はカメラ制御部１３１に送られる。

カメラ制御部１３１には、本発明に関連するブロックとして、対象とする瞳を検出した顔情報から自動で選択する瞳自動選択部１５０、検出した顔、あるいは瞳情報に対応して表示部１７１に表示させるための検出枠を設定する表示枠設定部１５１を有する。また、撮影者による操作に応じて、撮影者が指定した瞳を検出し続ける瞳として指定、あるいは指定を解除する瞳指定／指定解除部１５２を有する。また、ユーザによる操作に応じて指定した瞳や顔を記憶する記憶部１５３、さらに、選択あるいは指定した瞳や顔を、ピントを合わせるべき被写体（対象被写体とも称する）として焦点検出部１５５に通知するＡＦ対象被写体設定部１５４がある。これらは顔情報検出部１４１、器官情報検出部１４２の出力に基づいて動作する。焦点検出部１５５は、ＡＦ対象被写体設定部１５４によって通知されたピントを合わせるべき被写体に対応する画像信号に基づいて、焦点検出処理を行う。焦点検出処理は、例えば公知の位相差検出式や、コントラスト検出式等によって実行される。位相差検出式の場合、焦点検出処理として、視差を有する一対の像信号を相関演算することで算出された像すれ量の算出、もしくは像ずれ量を更にデフォーカス量に変換して算出する処理が行われる。デフォーカス量は、交換レンズ１００のレンズ駆動時の敏感度等を考慮することで、更にフォーカスレンズ駆動量へと変換することができる。カメラ制御部１５２は、焦点検出部１５５によって検出された焦点検出結果（像ずれ量またはデフォーカス量）あるいは焦点検出結果に基づいて算出されたフォーカスレンズ駆動量をレンズ制御部１１１に送信する。フォーカスレンズ制御部１１３は、カメラ制御部１３１から受信したフォーカスレンズ駆動情報に基づいて、フォーカスレンズの駆動を制御する。換言すると、カメラ制御部１３１がフォーカスレンズ制御部１１３を介してフォーカスレンズの駆動を制御する。

＜瞳指定処理＞
図２はカメラ制御部１３１内での本発明の実施例１に関する動作を示すフローチャートである。図２の処理は、フレーム毎の画像が生成される度に行われるものとして説明するが、適宜変更可能である。

以下、図１、図２を参照しながら、本発明の実施例１の動作について詳細に説明する。

まず、顔情報検出部１４１は、撮像された画像信号から顔に対応する領域（第１の領域に対応する）を検出する処理が行われる（不図示）。更に器官情報検出部１４２は、当該画像信号から、顔情報検出部１４１で検出された顔に対応するに含まれる領域であって、瞳に対応する領域を検出する処理が行われる。

Ｓ２０１で、カメラ制御部１３１は、撮像された画像に対して、顔情報検出部１４１で顔が検出されたかどうかを判定する。顔が検出されていればＳ２０２に進み、顔一重枠表示フラグをセットする。

次にＳ２０３でカメラ制御部１３１は、器官情報検出部１４２によって瞳が検出されたかどうかを判定する。

Ｓ２０３で瞳が検出されていると、Ｓ２０４で、カメラ制御部１３１は、瞳指定中フラグがセットされているかどうかを判定する。

Ｓ２０３で瞳指定中フラグがセットされていない場合、Ｓ２０５において、カメラ制御部１３１は、前述のタッチパネル１７２の操作により左右どちらかの瞳が指定されたかどうかを判定する。より具体的には、カメラ制御部１３１は、瞳指定／指定解除部１５２が撮影者による操作に応じて、左右のどちらかの瞳を指定している状態かどうかを判定する。撮影者はタッチパネル１７２においてピントを合わせたい瞳をタッチすることにより左右どちらかの瞳を指定することができる。瞳指定のためのタッチ操作が行われた場合に、瞳が選択されたと判断する。

まだ瞳の指定が行われていない場合は、Ｓ２０６において瞳自動選択処理が実行される。瞳自動選択処理について、詳しくは図３で後述する。

Ｓ２０６で左右の瞳のどちらかが自動で選択されると、Ｓ２０７で、カメラ制御部１３１は、自動選択された瞳位置に対し、一重の瞳枠表示フラグをセットし、Ｓ２１６へと進む。

一方Ｓ２０５で瞳指定されていた場合、Ｓ２０８で、瞳指定記憶処理を行う。ここでは記憶部１５３が、指定された瞳が左目であるか右目であるかを記憶する処理が行われる。また、自動選択に関するパラメータをリセットする。本実施例における自動選択に関するパラメータは、自動選択した瞳の左右を変更するためのカウンタ、瞳自動選択中フラグであり、これらがリセット対象になる。

そして、Ｓ２０９において、カメラ制御部１３１は瞳指定中フラグをセットし、Ｓ２１１へと移行する。

さて、ここで一旦Ｓ２０４の処理に戻る。Ｓ２０４で瞳指定中フラグがセットされているという状態は、つまり、撮影者によって指定された左右どちらかの瞳が記憶部１５３に記憶されている状態であることを示している。瞳指定中フラグがセットされている、すなわち左右どちらかの瞳が撮影者により指定されている場合は、Ｓ２１０で次の処理を行う。カメラ制御部１３１は、Ｓ２０３で検出したとされている瞳がＳ２０８で記憶した、タッチパネル１７２で指定した瞳（第１の瞳に対応する）と一致しているかどうかを判定する。そして、指定した瞳が検出されている（第１の瞳に対応する第２の領域が検出されている）場合にはＳ２１１へと移行する。

Ｓ２１１では指定された瞳が画角上に存在する状況になっているため、指定された瞳位置に対して、瞳が指定されていることを示す二重枠の瞳表示フラグをセットし、Ｓ２１６へと進む。

さて、カメラ制御部１３１は、Ｓ２０３において器官情報検出部１４２で瞳が検出できなかった場合は、Ｓ２１２において、瞳指定中フラグがセットされているかどうかを判定する。ここで瞳指定中フラグがセットされていれば、瞳は検出できていないが顔はまだ検出されている状態であり、指定した瞳が再度検出できる可能性が高いと考えられる。そこで、カメラ制御部１３１は、瞳指定が継続していることを示すために、Ｓ２１３で顔二重枠表示フラグをセットし、Ｓ２１６へと進む。

Ｓ２１２で瞳指定中フラグがセットされていない場合は瞳が指定されておらず、また瞳の検出もできていない状態であり、そのままＳ２１６へと進むことになる。

一方、カメラ制御部１３１は、Ｓ２１０で検出していると判定された瞳が指定された瞳とは異なる瞳（第２の瞳に対応する）である（第２の瞳に対応する第３の領域が検出されている）場合にはＳ２１３に進む。Ｓ２１３で顔二重枠表示フラグをセットした後Ｓ２１６へと進む。

Ｓ２１３で顔二重枠表示フラグをセットするところが本発明の実施例１の特徴的なところであり、指定した瞳が見つからなくても、顔が見つかっている間は瞳指定フラグをクリアせずに、つまり、指定した左右どちらかの瞳を記憶したままという状態になる。また、顔二重枠表示を行うことで、撮影者に対し、瞳指定が解除されていないことを明示できるようになっている。

さて、カメラ制御部１３１は、Ｓ２０１で顔検出できなかった場合には、Ｓ２１４で瞳指定中フラグをクリアして瞳指定を解除する。さらに、カメラ制御部１３１は、Ｓ２１５で顔枠あるいは瞳枠ではなく、顔、瞳ともに検出できていない状態を示す多点枠表示を行うためのフラグをセットし、Ｓ２１６へと進む。

そして、Ｓ２１６において、焦点検出部１５５による焦点検出を行う。そして、当該焦点検出の結果に基づいて、レンズ制御部１１１がフォーカスレンズの駆動を制御する。ここで、Ｓ２０１で顔検出がなされてないと判断された場合には、例えば多点枠の各々に対応する画像信号に基づいて焦点検出が行われる。このとき、例えば多点枠のうち最至近の焦点検出結果を選択するなど、公知の方法で枠を選択し、選択された枠に対応する焦点検出結果によってフォーカスレンズの駆動が制御される。また、Ｓ２０３で瞳検出がなされていないと判断された場合には、顔に対応する領域の画像信号を用いて焦点検出が行われる。これら以外の場合には、Ｓ２０６又はＳ２０８において選択／指定された瞳として記憶された瞳に対応する領域の画像信号を用いて焦点検出が行われる。

また、Ｓ２１６において、セットされた枠表示フラグの条件に合わせて表示枠設定部１５１が表示枠設定部１５１により顔枠、瞳枠などを設定し、表示部１７１は当該設定に応じた表示を実行し、Ｓ２１７へと進む。

Ｓ２１７で、カメラ制御部１３１は、現在のフレームにおける検出結果に基づいて設定された枠表示フラグをすべてクリアする。この処理により、次のフレームの検出結果に対し、新たに表示する枠の状態が決定されることになる。

＜瞳自動選択処理＞
図３はＳ２０６でカメラ制御部１３１によって実行される瞳自動選択処理を説明するフローチャートである。

Ｓ３０１で、カメラ制御部１３１は、器官情報検出部１４２によって両目ともに検出されているか、片目のみが検出されているかを判定する。

両目が検出されている場合、Ｓ３０２において、瞳自動選択部１５０は、顔情報検出部１４１で検出された顔の向き、顔位置に応じて左右どちらかの瞳を選択する。例えば顔が正面を向いている場合、画角の中心に近い瞳が選択され、顔が左右のどちらかを向いている場合はカメラに近い側の瞳を選択する。

瞳自動選択部１５０は、Ｓ３０１で瞳が片側しか検出されていない場合は、Ｓ３０３で検出されている瞳を選択する。

次にＳ３０４で、カメラ制御部１３１は、現在瞳が自動選択中であるかどうかを判定している。自動選択中でない場合は、Ｓ３１２へと移行する。Ｓ３１２以降の処理は、瞳の自動選択が初めて実行される場合の処理となる。

そしてＳ３１２で、カメラ制御部１３１は、Ｓ３０２あるいはＳ３０３で選択した瞳を対象被写体として設定する。

Ｓ３１３で、カメラ制御部１３１は、今回対象被写体として選択した瞳が左右のどちらであるかを記憶部１５３記憶させ、Ｓ３１４で瞳自動選択中フラグをセットする。

一方、カメラ制御部１３１は、Ｓ３０４ですでにどちらかの瞳が対象被写体として選択されていた場合には、Ｓ３０５において、Ｓ３０２あるいはＳ３０３で選択された瞳が、前回対象被写体として設定した瞳と同じかどうかを判定する。同じでない場合はＳ３０６以降で、対象被写体として設定している瞳をもう一方の瞳に変更するかどうかを決定する処理を行う。

Ｓ３０６で、カメラ制御部１３１は、カウンタをインクリメントする。

Ｓ３０７で、カメラ制御部１３１は、カウンタが所定値以上かどうかを判定する。所定値以上の場合は、カメラ制御部１３１は、Ｓ３０８で、瞳自動選択部１５０に対象とする瞳を現在の瞳からもう一方の瞳へと変更させる。そして、カメラ制御部１３１は、Ｓ３０９で、記憶部１５３に対象としている瞳を新たに記憶させ直すよう制御する。そして、カメラ制御部１３１は、Ｓ３１０でカウンタをリセットし、次の瞳の変更処理に備える。

Ｓ３０７でカウンタが所定値以上になっていない場合は、カメラ制御部１３１は、Ｓ３１１で前回と同じ瞳を対象被写体として再設定する。あるいは、前回と同じ瞳が検出できていない場合は前回被写体として設定していた瞳と同じ位置を対象被写体として設定し、瞳の変更処理を保留する。このカウンタによる処理は、選択した瞳が切り替わり続けることにより表示が不自然になることを防ぐためである。

また、Ｓ３０５で選択した瞳が前回と同じ瞳だった場合は、カメラ制御部１３１は、Ｓ３１０でカウンタをクリアする。

以上のように、瞳自動選択処理では、例えば、顔が正面を向いている場合は画角内のより中心に近い瞳、また顔向きが正面ではなく左右どちらかに動いている場合にはより手前にある瞳を選択することによって、ピントが合わせやすくなるように設定する。また、選択していない方の瞳のピントが合いやすい状況になった場合には、選択する瞳を自動で切り替えるという動作を行っている。

＜表示枠の表示例＞
図４は、図２のフローチャートで示した表示枠の表示例を示したものであり、表示部１７１に表示される顔枠および瞳枠の例となる。

図４（ａ）は、瞳自動選択時の表示であり、Ｓ２０２→Ｓ２０３→Ｓ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０７→Ｓ２１６と遷移した場合に表示される。

図４（ｂ）は瞳指定時の枠表示であり、一重の顔枠と、二重の瞳枠が表示される。Ｓ２０５→Ｓ２０８→Ｓ２０９→Ｓ２１１→Ｓ２１６、あるいはＳ２０４→Ｓ２１０→Ｓ２１１→Ｓ２１６と遷移した場合の表示である。

また、図４（ｃ）はＳ２１０→Ｓ２１３→Ｓ２１６、あるいはＳ２０３→Ｓ２１２→Ｓ２１３→Ｓ２１６と遷移した場合の表示で、瞳指定はしているが、指定した瞳が検出できなかった場合の表示枠である。

そして図４（ｄ）は、Ｓ２１４→Ｓ２１５→Ｓ２１６と遷移した場合、すなわち顔が検出できなかった場合の多点枠表示となる。

尚、本実施例では、指定した瞳以外の瞳が検出された場合には顔枠のみを表示する構成としたが、これに限らない。指定した瞳以外の瞳のみが検出された場合には例えば瞳枠を一重にして、顔枠を二重枠にする（図４、（ｅ）の表示）など、撮影者が瞳を指定中であることがわかるものであれば指定した瞳以外の瞳に枠がついても良い。

なお、本実施例ではピントを合わせるべき被写体として、左右どちらの瞳が選択されるかに着目して説明した。不図示であるが、選択された瞳に対応する撮像信号に基づいて、焦点検出部１５５による焦点検出処理が行われる。そして、焦点検出部１５５によって得られた焦点検出結果に基づいて、基づいて算出されたフォーカスレンズ駆動情報（フォーカスレンズの駆動情報又はこれに類する情報）を、カメラ制御部１３１がレンズ制御部１１１に送信する。これにより、適切な瞳にピントを合わせることができる。本実施例でユーザの指定した瞳に対してピントを合わせるようにカメラ制御部１３１がフォーカスレンズ１０４の駆動を制御するモードが、第１のモードに対応する。また、瞳自動選択処理によって選択された瞳に対してピントを合わせるようにカメラ制御部１３１がフォーカスレンズ１０４の駆動を制御するモードが、第２のモードに対応する。

以上、説明したように、左右、どちらかの瞳が指定された場合に、瞳に対応した顔の検出が継続されている間は、指定状態を設定し続ける。これにより、撮影者が撮影を望んで設定した瞳にピントを合わせ続けることが可能である。また、当該顔が検出されなくなった場合には、当初撮影者が意図していたシーンとは異なるシーンになったと考えられることから、ユーザによる瞳の指定を解除して自動的に選択された瞳にピントを合わせる。これにより、シーンの変化にも柔軟に対応して瞳にピントを合わせ続けることが可能である。さらに、常に指定した瞳が選択できることにより、撮影者が望んだ瞳に対し常にピントを合わせることができる。

なお、本実施例では瞳に対応した顔の検出が継続されている間は瞳の指定状態を維持し、顔が検出されなくなったことに応じてユーザによる瞳の指定を解除する例を説明したが。ここで、顔に代えて人体や頭部を用いても良い。瞳に対応する人体や頭部を用いることで、顔の場合と同様、撮影者が意図している被写体を捉えることができている間は意図した瞳にピントを合わせ続けることができる。

次に、本発明の第２の実施形態について説明する。本実施例では、ユーザによって顔認証された被写体について、左右のいずれかの瞳をＡＦの対象被写体として指定することができる。これにより、顔自体を一時的に見失ったり、大きく構図が変化した場合であっても、同じ人を再び捉えた場合には同じ瞳にピントを合わせることができる。

本実施例の構成や処理で、実施例１と同じ構成は極力説明を省略し、差異を中心に説明する。実施例２においては、顔情報検出部１４１が公知の顔認証機能を有する点が異なる。顔認証機能では、顔情報検出部１４１によって検出された顔であってユーザによって指定操作がなされた顔を特定するための情報（顔の特徴点情報などであり、認証情報とも称する）を不図示のメモリに記憶しておく機能である。これにより、例えば顔認証がなされた顔は優先的にピントを合わせるようにすることもできる。ここで、本実施例では、このユーザによって登録された認証情報とともに、ユーザによって左右いずれの瞳が選択されたかに関する情報（指定情報とも称する）を紐づけて記憶させておく。これにより、顔認証機能によって認証された顔に関しては、常に同じ瞳にピントを合わせることが可能である。

図５は実施例２に関するカメラ制御部１３１内のフローチャートを示している。図５において図２と共通する部分は極力説明を省略し、主に図２との差異部分に着目して説明する。

Ｓ５０１で、カメラ制御部１３１は、顔情報検出部１４１によって顔が検出されているかどうかを判定する。

顔が検出されていると、Ｓ５０２で、カメラ制御部１３１は、検出された顔が顔情報検出部１４１によって認証済か否かを判定する。

認証済でない場合、Ｓ５０３で、カメラ制御部１３１は、現在検出されている顔に対する顔認証の指定があったか否かを判定する。この顔認証の指定は、現在検出されている顔を撮影者が認証したい場合に、例えばタッチパネル１７２上の操作によって行われる。

そして、カメラ制御部１３１は、顔認証の指定がなされている場合には、Ｓ５０４で顔情報検出部１４１が指定された顔の認証を行うよう制御する。また、カメラ制御部１３１は、顔の認証情報を記憶部１５３に記憶させるよう制御する。さらに、カメラ制御部１３１は、認証済フラグをセットする。

Ｓ５０２ですでに認証が行われている場合は、Ｓ５０５で、カメラ制御部１３１は、認証を解除するための情報をリセットする。この認証を解除するための情報については、後に詳細に説明する。

Ｓ５０２～Ｓ５０５で一連の認証関連の設定が終わると、Ｓ５０６に進む。ここで、Ｓ５０６～Ｓ５１７、およびＳ５１９～Ｓ５２１のフローに関しては、実施例１の図２、Ｓ２０２～Ｓ２１３、およびＳ２１５～Ｓ２１７までの処理と同一のため、説明は省略する。ただし、Ｓ５１２において瞳の指定情報を不図示のメモリに記憶する際には、Ｓ５０４にて記憶された認証情報と紐づけて記憶するようカメラ制御部１３１が制御する。

さて、Ｓ５０１で顔検出してない場合はＳ５１８に進み。ここで、カメラ制御部１３１は、認証状態確認処理を実行するよう制御する。

＜認証状態確認処理＞
図６はＳ５１８の認証状態確認処理を詳細に示した図であり、図６を用いてＳ５１８の処理、また、認証を解除するための情報に関して詳細に説明する。

Ｓ６０１で、カメラ制御部１３１は、現在顔認証中かどうかを判定している。認証中でない場合は、実施例１と同様、Ｓ６０５で瞳指定中フラグをクリアする。一方顔認証中である場合、Ｓ６０２に進み、Ｓ６０２以降で、カメラ制御部１３１は、認証を解除するかどうかの判定を行うよう制御する。ここではその一例として顔を見失ってからの時間経過が所定時間以上になった場合に認証を解除するような設定としている。すなわち、顔が検出できなくなり、図６（図５、Ｓ５１８）の処理に進むたびにＳ６０２でカウンタを加算していき、Ｓ６０３でカウンタの値が閾値以上かどうかを判定する。カウンタの値が閾値を超えていない場合は何もせずこのフローの処理を終了する。閾値以上になると、Ｓ６０４に進み、カメラ制御部１３１は、認証済フラグをクリアする。この処理により、所定時間が過ぎても顔が再び検出されなければ、認証を解除し、瞳指定も同時に解除されることになる。前述の認証を解除するための情報はこの例ではカウンタ値に相当し、カウンタ値が閾値に達する前に再度認証した顔が見つかれば、カウンタをリセットすることで、初期状態に戻すことができる。

顔が検出できなくなった後、長く時間が経過している場合は、撮影シーンが大きく変化し、撮影対象も変化した可能性が高いと考えられるため、この処理を行うことで、認証状態を自動で解除することが可能となる。

もちろんこのカウンタの閾値を撮影者が設定可能にし、閾値を無限に設定しておけば、認証した人を検出するたびに必ず同じ瞳が指定されるようにすることもできる。

さらに本実施例では顔の認証は撮影者の設定により行われる構成としたが、他にも例えば検出した顔に対して自動で認証を行い、その後、瞳指定が行われた場合に認証結果を有効にするといった構成にしても構わない。以上説明したように、認証機能を使用することにより、さらに撮影者の意図を損なうことなく必要な検出動作が行われることになる。

＜その他の実施例＞
以上、２つの実施例によって本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１２２ 撮像素子
１２４ カメラ信号処理回路
１３１ カメラ制御部
１４１ 顔情報検出部
１４２ 器官情報検出部
１５０ 瞳自動選択部
１５１ 表示枠設定部
１５２ 瞳指定／指定解除部
１５３ 指定瞳記憶部
１７１ 表示部
１７２ タッチパネル

Claims (6)

1. 撮像素子から出力された画像信号に基づいて第１の領域を検出する第１の検出手段と、
   前記第１の領域に含まれる、第１の瞳に対応する第２の領域又は前記第１の瞳とは異なる第２の瞳に対応する第３の領域を検出する第２の検出手段と、
   前記第２の領域又は前記第３の領域のいずれかを自動的に選択する選択手段を有し、
   ユーザによって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズを駆動する第１のモードと、前記選択手段によって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズの駆動を制御する第２のモードと、のいずれかのモードによってフォーカスレンズの駆動を制御する制御手段と、を有し、
   前記制御手段は、前記第１の検出手段によって前記第１の領域が検出されなくなった場合には、前記第１のモードから前記第２のモードへと移行することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の検出手段によって前記第１の領域の検出が継続されている場合に、前記第２の検出手段によって前記第２の領域が検出されなくなった場合には、前記第１の領域に対応する画像信号に基づいてフォーカスレンズを駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１の検出手段によって前記第１の領域の検出が継続されている場合に前記第２の検出手段によって前記第２の領域が検出されなくなってから、前記第２の検出手段によって前記第２の領域が検出された場合には、前記第２の領域に対応する画像信号に基づいてフォーカスレンズの駆動を制御することを特徴とする請求項２に記載の撮像装置。
4. ユーザによって登録された顔と当該顔に含まれる瞳に対するユーザの指定情報を記憶する記憶手段を有し、
   前記選択手段は、前記第１の検出手段によって前記顔が検出されなくなった場合であっても、当該顔がユーザによって登録された顔である場合には、前記第１の瞳への指定を解除しないことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記第１の領域は顔に対応する領域であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 撮像素子から出力された画像信号に基づいて第１の領域を検出する第１の検出ステップと、
   前記第１の領域に含まれる、第１の瞳に対応する第２の領域又は前記第１の瞳とは異なる第２の瞳に対応する第３の領域を検出する第２の検出ステップと、
   前記第２の領域又は前記第３の領域のいずれかを自動的に選択する選択手段を有し、
   ユーザによって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズを駆動する第１のモードと、前記選択手段によって選択された前記第２の領域又は前記第３の領域に対応する画像信号に基づいてフォーカスレンズの駆動を制御する第２のモードと、のいずれかのモードによってフォーカスレンズの駆動を制御する制御ステップと、を有し、
   前記制御ステップでは、前記第１の検出ステップにおいて前記第１の領域が検出されなくなった場合には、前記第１のモードから前記第２のモードへと移行することを特徴とする撮像装置の制御方法。

Images