JP5499531B2

JP5499531B2 - 電子カメラ

Info

Publication number: JP5499531B2
Application number: JP2009157776A
Authority: JP
Inventors: 幸和岩根
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-07-02
Filing date: 2009-07-02
Publication date: 2014-05-21
Anticipated expiration: 2029-07-02
Also published as: JP2011015201A

Description

本発明は、電子カメラに関する。

従来から、一例として特許文献１に示すように、動きのある被写体に追従してフォーカス調整や露光条件の演算などを行うために、テンプレートマッチングによる被写体追尾機能を備えた電子カメラが種々提案されている。

特開２００１−６０２６９号公報

しかし、従来の技術では、被写体追尾を行うときには、ユーザが追尾対象の被写体を指定してテンプレートを生成することが必要となる。そのため、追尾対象の指定時の操作がユーザにとってなお煩雑である点で改善の余地があった。

そこで、本発明は、追尾対象の指定時におけるユーザの煩雑さを軽減した被写体追尾機能を有する電子カメラを提供することを目的とする。

一の態様の電子カメラは、撮像部と、特定被写体検出部と、テンプレート生成部と、被写体追尾部とを備える。撮像部は、被写体の像を連続的に撮像して複数の撮像画像を取得する。特定被写体検出部は、撮像部で取得された撮像画像から特定被写体を検出する。テンプレート生成部は、撮像画像のうちで特定被写体に対応する部分画像を用いて、追尾対象の特徴を示すテンプレートを生成する。被写体追尾部は、テンプレートを用いたマッチング処理によって、テンプレート生成後に時系列に取得される複数の撮像画像から追尾対象を継続的に検出する。また、テンプレート生成部は、取得時期が前後する２枚の撮像画像間で特定被写体の位置が第３閾値より大きく移動しているときに、テンプレートの生成を許容しない判定を行う。

本発明では、特定被写体検出部が検出した特定被写体に対応する部分画像を用いて電子カメラがテンプレートを生成することで、追尾対象の指定時におけるユーザの煩雑さが軽減される。

一の実施形態における電子カメラの構成例を説明するブロック図一の実施形態における被写体追尾処理の動作例を示す流れ図ガイドマークの重畳されたビュー画像の表示例を示す図顔検出時のビュー画像の表示例を示す図被写体追尾時のビュー画像の表示例を示す図他の実施形態における電子カメラの動作例の流れ図

＜一の実施形態の説明＞
図１は一の実施形態における電子カメラの構成例を説明するブロック図である。一の実施形態の電子カメラは、時系列に取得される複数の画像から追尾対象の被写体を継続的に検出する被写体追尾機能を有している。一の実施形態では、任意の撮影モード（例えば子供の撮影に適したキッズモードなど）の一機能として、被写体追尾機能が電子カメラに実装される。

電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、ＣＰＵ１５と、第１メモリ１６および第２メモリ１７と、記録Ｉ／Ｆ１８と、モニタ１９と、レリーズ釦２０および操作部材２１とを有している。ここで、上記の各構成部品はそれぞれ筐体２２に格納されている。また、レンズ駆動部１２、ＡＦＥ１４、第１メモリ１６および第２メモリ１７、記録Ｉ／Ｆ１８、モニタ１９、レリーズ釦２０および操作部材２１は、それぞれＣＰＵ１５に接続されている。

撮像光学系１１は、ズームレンズ、フォーカスレンズを含む複数のレンズ群で構成されている。また、上記のフォーカスレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１３は、撮像光学系１１を通過した光束に基づく被写体の像を撮像し、撮像した画像の画像信号を生成するデバイスである。この撮像素子１３の出力はＡＦＥ１４に接続されている。

ここで、電子カメラの撮影モードにおいて、撮像素子１３はレリーズ釦２０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ１９での動画像表示やＣＰＵ１５による各種の演算処理に使用される。

ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４から出力される画像信号はＣＰＵ１５に入力される。

ＣＰＵ１５は、電子カメラの動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。このＣＰＵ１５は、第２メモリ１７に格納されたプログラムの実行によって、画像処理部２３、撮像条件調整部２４、特定被写体検出部２５、テンプレート生成部２６、被写体追尾部２７として動作する。

画像処理部２３は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部２３は、画像の解像度変換（画素数変換）を実行する。一例として、撮影モードでの撮影待機時には、画像処理部２３は、スルー画像に解像度変換を施してモニタ表示用のビュー画像を生成する。

撮像条件調整部２４は、スルー画像のデータを用いて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や、公知の自動露出（ＡＥ）演算をそれぞれ実行する。

特定被写体検出部２５は、予め既知となっている特定被写体の形態的特徴に基づいて、スルー画像から特定被写体を検出する。一の実施形態での特定被写体検出部２５は、スルー画像のデータに顔検出処理を施して画像から人物の顔を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、特定被写体検出部２５は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて画像内の顔の位置を特定する。また、他の例として、特定被写体検出部２５は、予め用意された顔のパーツの画像と判定対象の画像との相関の高さを求め、上記の相関の高さが閾値を超え、かつ顔のパーツの位置関係が所定の条件を満たすときに判定対象の画像を人物の顔であると判定してもよい。

テンプレート生成部２６は、スルー画像に含まれる部分画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。一の実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成できる。なお、上記のテンプレートのデータは、例えば、被写体の輝度情報（Ｙ成分）または被写体の色差情報（ＣｂＣｒ成分）のいずれかから生成されたものでもよく、あるいは、被写体の輝度情報および色差情報を両方とも有するものであってもよい。

被写体追尾部２７は、上記のテンプレートを用いたマッチング処理により、時系列に取得される複数のスルー画像から追尾対象の被写体の位置を継続的に検出する。これにより、撮像条件調整部２４では、テンプレートに対応する被写体の動きに追従してＡＦ制御を行うこともできる。また、ＣＰＵ１５は、テンプレートに対応する被写体の位置を示すマークをビュー画像上にオーバーレイ表示させることもできる。

第１メモリ１６は、ＣＰＵ１５による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第１メモリ１６は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

第２メモリ１７は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ１７には、上記のテンプレートのデータや、被写体追尾処理に必要となる各種データ（例えば、追尾対象の検出位置のデータなど）が記憶される。なお、第２メモリ１７には、ＣＰＵ１５によって実行されるプログラムも記憶される。このプログラムによる被写体追尾処理の動作例については後述する。

記録Ｉ／Ｆ１８は、不揮発性の記憶媒体１８ａを接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体１８ａに対してデータの書き込み／読み込みを実行する。上記の記憶媒体１８ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８ａの一例としてメモリカードを図示する。

モニタ１９は、ＣＰＵ１５の指示に応じて各種画像を表示する。例えば、撮影モードでの撮影待機時において、ＣＰＵ１５の制御によりモニタ１９には上記のビュー画像が動画表示される。このとき、ＣＰＵ１５は、撮影に必要となる各種情報をビュー画像上にオーバーレイ表示させることもできる。なお、一の実施形態の例でのモニタ１９は、筐体２２の背面に配置された液晶ディスプレイで構成される。

レリーズ釦２０は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。

操作部材２１は、例えば、動作モードの切り替え操作を行うコマンドダイヤルや、カーソルキー２１ａ、決定釦２１ｂなどを含む。そして、操作部材２１は、電子カメラの各種入力をユーザから受け付ける。また、操作部材２１の決定釦２１ｂは、電子カメラの、後述する被写体追尾指示の操作などに用いられる。なお、操作部材２１のカーソルキー２１ａおよび決定釦２１ｂは、筐体２２の背面からみて右側に寄せて配置されている。

以下、図２の流れ図を参照しつつ、一の実施形態における被写体追尾処理の動作例を説明する。この被写体追尾処理での電子カメラの動作は、ＣＰＵ１５が実行するプログラムによって制御される。また、図２の流れ図の処理は、被写体追尾機能を有する撮影モードの起動操作（例えば電源オン操作やモード切替操作など）をＣＰＵ１５がユーザから受け付けたときに開始される。

ステップＳ１０１：ＣＰＵ１５は、撮影モードの起動操作を受け付けると、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。

そして、ＣＰＵ１５は、スルー画像から生成されたビュー画像をモニタ１９に動画表示させる。このとき、ＣＰＵ１５は、マニュアルでテンプレートを生成する場合のテンプレート生成範囲を示すガイドマーク（矩形の枠表示）をビュー画像に重畳させる（図３参照）。上記の枠表示は、ＣＰＵ１５の制御によってビュー画像の中央部に白色で表示される。なお、ユーザが被写体追尾指示の操作（例えば、決定釦２１ｂの押圧）を実行すると、電子カメラは枠表示内の被写体のテンプレートを生成する。

ステップＳ１０２：ＣＰＵ１５は、レンズ駆動部１２を介して、撮像光学系１１のフォーカスレンズを初期位置に移動させる。

ステップＳ１０３：特定被写体検出部２５は、スルー画像に対して顔検出処理を施す。なお、スルー画像から顔が検出された場合には、ＣＰＵ１５はモニタ１９のビュー画像上に顔の検出位置を示すマーク（黄色の枠表示）を重畳表示させる（図４参照）。

ステップＳ１０４：ＣＰＵ１５は、顔検出処理（Ｓ１０３）によってスルー画像から人物の顔を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０５に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１３に処理が移行する。

ステップＳ１０５：テンプレート生成部２６は、顔検出処理（Ｓ１０３）で検出された顔が、テンプレート生成条件を満たすか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１３に処理が移行する。
一例として、Ｓ１０５でのテンプレート生成部２６は、（ａ）検出した顔の大きさが所定の範囲内であって、かつ（ｂ）取得時点がわずかに前後する２枚のスルー画像間で顔の検出位置が大きく移動していないときに、テンプレート生成条件を満たすと判定する。

一般に、テンプレートのサイズが非常に小さい場合には追尾対象の情報量が少なくなるので、被写体追尾処理によって被写体を追尾することが困難となる。一方、テンプレートのサイズが非常に大きな場合には追尾対象が撮影範囲から外れやすくなるので、被写体追尾処理によって被写体を追尾することがやはり困難である。よって、一の実施形態でのテンプレート生成部２６は、上記の理由からテンプレート生成条件の一つとして顔のサイズを判定する。例えば、スルー画像の解像度（画像サイズ）がＱＶＧＡ（３２０×２４０画素）であるときに、検出した顔のサイズが３０画素平方から１２０画素平方までの範囲内にあれば、テンプレート生成部２６は上記（ａ）の条件を満たすと判定する。

また、わずかな時間差で取得された２枚のスルー画像間で顔の検出位置が大きく移動している場合には被写体ブレが生じている可能性があり、テンプレートを生成しても精度の高い被写体追尾処理が困難となる。よって、一の実施形態でのテンプレート生成部２６は、上記の理由からテンプレート生成条件の一つとして被写体の動きの大きさを判定する。例えば、スルー画像の解像度がＱＶＧＡであるときに、Ｓ１０３で検出した顔の座標と、その直後（所定間隔後）に取得したスルー画像で検出した顔の座標との差が５画素以内であれば、テンプレート生成部２６は上記（ｂ）の条件を満たすと判定する。

ここで、特定被写体検出部２５が複数の顔を検出した場合、テンプレート生成部２６は、スルー画像内で画像の中心から最も近い位置にある顔を選択し、選択した顔について上記のテンプレート生成条件を判定する。一般に、撮影範囲の中心近傍にある顔は主要被写体である可能性が高いからである。また、撮影範囲の外縁部では、シェーディングやレンズの収差の影響により、撮影範囲の中心と比べて追尾対象の特徴をよく反映したテンプレートの生成が困難となるためである。

ステップＳ１０６：撮像条件調整部２４は、検出した顔の位置（複数ある場合には画像の中心から最も近い位置にある顔）を焦点検出エリアとしてＡＦ制御を実行する。

ステップＳ１０７：ＣＰＵ１５は、Ｓ１０６のＡＦ制御でフォーカスレンズの合焦位置が検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５は、検出された顔に合焦できない旨の表示をモニタ１９で行うとともに、Ｓ１０３に戻って上記動作を繰り返す。この場合には、スルー画像の顔の部分から電子カメラが適正なテンプレートを生成できないからである。

ステップＳ１０８：テンプレート生成部２６は、ＡＦ後に撮像されたスルー画像の顔の部分を用いて、追尾対象の特徴を示すテンプレートを生成する。

一例として、テンプレート生成部２６は、上記のスルー画像から顔の位置に対応する部分画像を切り出す。そして、テンプレート生成部２６は、部分画像の輝度成分を参照して追尾対象の輝度情報（Ｙ）のテンプレートを生成する。また、テンプレート生成部２６は、部分画像の色差成分を参照して追尾対象の色差情報（Ｃｂ，Ｃｒ）のテンプレートを生成してもよい。なお、上記のテンプレートのデータは、ＣＰＵ１５によって第２メモリ１７に記録される。

また、Ｓ１０８の処理が終了すると、ＣＰＵ１５の被写体追尾部２７は上記のテンプレートを用いて被写体追尾処理を開始する。このとき、ＣＰＵ１５は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ１９に出力する。一例として、ＣＰＵ１５は、顔の検出位置に緑色の枠表示を重畳表示する。これにより、ユーザはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ１９で確認できる（図５参照）。

ステップＳ１０９：ＣＰＵ１５は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５は判定フレームの撮像を待機する。

ステップＳ１１０：被写体追尾部２７は、判定フレーム（Ｓ１０９）に含まれる被写体とテンプレート（Ｓ１０８）との類似度を求めるマッチング処理を実行する。このＳ１１０のマッチング処理では、被写体追尾部２７は、以下の（イ）から（ホ）の処理を実行する。なお、ＹＣｂＣｒのテンプレートがある場合には、各テンプレートで以下の各処理がそれぞれ行われるものとする。

（イ）被写体追尾部２７は、判定フレームのうちの探索エリア（マッチング処理を行う範囲）から、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、テンプレートの生成範囲と同じサイズに設定される。

なお、上記の探索エリアの位置は、例えば、前回の判定時にスルー画像上で追尾対象を検出できた位置（初回の判定のときはテンプレートの生成位置）を中心として設定されるものとする（図５参照）。

（ロ）次に、被写体追尾部２７は、上記（イ）で設定された対象領域の画像とテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部２７は、上記の対象領域での類似度を以下の式（１）によって求める。なお、類似度の値は、被写体追尾部２７によって第２メモリ１７に記録される。

ここで、式（１）において、Ｉ_１はテンプレートに対応し、Ｉ_２は対象領域の画像に対応する。そして、Ｉ_１およびＩ_２の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式（１）では、テンプレートおよび判定フレームでの階調がともに８ｂｉｔ（０〜２５５の階調値）であることを前提とする。なお、上記の類似度の単位は％である。すなわち、上記の式（１）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（１）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。

（ハ）被写体追尾部２７は、対象領域をシフトさせて上記（ロ）の処理を繰り返す。これにより、被写体追尾部２７は、探索エリア内の各位置でテンプレートとの類似度をそれぞれ求めることとなる。

（ニ）被写体追尾部２７は、判定フレーム内での類似度の最大値（最大類似度）を抽出する。そして、被写体追尾部２７は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。これにより、被写体追尾部２７は、テンプレート生成後に取得されるスルー画像から追尾対象を継続的に検出できる。

また、上記の（ニ）において、最大類似度がロスト判定用の閾値未満である場合、被写体追尾部２７は、撮影範囲から追尾対象をロストしたと判定する。この場合、被写体追尾部２７は被写体追尾処理を終了し、ビュー画像の被写体追尾マークを消灯させる。その後、ＣＰＵ１５は、テンプレート生成範囲を示すガイドマークをビュー画像に重畳表示してＳ１０３に戻る（なお、図２ではロスト時の処理の図示を省略する）。

（ホ）被写体追尾部２７は、追尾対象の検出位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ１９での枠表示の位置は追尾対象の被写体の動きに追従してシフトする。これにより、ユーザは被写体の追尾状態をモニタ１９で確認できる。

ステップＳ１１１：ＣＰＵ１５は、被写体追尾処理の停止操作を受け付けたか否かを判定する。一例として、ＣＰＵ１５は、被写体追尾処理の実行中に決定釦２１ｂの押圧があったときに、被写体追尾処理の停止操作を受け付けたと判定する。

上記要件を満たす場合（ＹＥＳ側）には、被写体追尾部２７は被写体追尾処理を終了し、ビュー画像の被写体追尾マークを消灯させる。その後、ＣＰＵ１５は、テンプレート生成範囲を示すガイドマークをビュー画像に重畳表示してＳ１０３に戻る。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１２に処理が移行する。

ステップＳ１１２：ＣＰＵ１５は、レリーズ釦２０の半押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ１０９に戻って被写体追尾処理を継続する。

ステップＳ１１３：ＣＰＵ１５は、決定釦２１ｂが押圧されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１４に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ１０３に戻って上記動作を繰り返す。

ステップＳ１１４：撮像条件調整部２４は、撮影範囲の中央部（テンプレート生成範囲の枠表示の位置）を焦点検出エリアとしてＡＦ制御を実行する。

ステップＳ１１５：ＣＰＵ１５は、Ｓ１１４のＡＦ制御でフォーカスレンズの合焦位置が検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５は、テンプレート生成範囲の被写体に合焦できない旨の表示をモニタ１９で行うとともに、Ｓ１０３に戻って上記動作を繰り返す。この場合には、スルー画像の中央の部分から電子カメラが適正なテンプレートを生成できないからである。

ステップＳ１１６：テンプレート生成部２６は、ＡＦ後に撮像されたスルー画像のテンプレート生成範囲の部分を用いて、追尾対象の特徴を示すテンプレートを生成する。なお、Ｓ１１６の処理は、上記のＳ１０８の処理に対応するので重複説明は省略する。

ステップＳ１１７：ＣＰＵ１５は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５は判定フレームの撮像を待機する。

ステップＳ１１８：被写体追尾部２７は、判定フレーム（Ｓ１１７）に含まれる被写体とテンプレート（Ｓ１１６）との類似度を求めるマッチング処理を実行する。なお、Ｓ１１８の処理は、上記のＳ１１０の処理に対応するので重複説明は省略する。

ステップＳ１１９：ＣＰＵ１５は、被写体追尾処理の停止操作を受け付けたか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）には、被写体追尾部２７は被写体追尾処理を終了し、ビュー画像の被写体追尾マークを消灯させる。その後、ＣＰＵ１５は、テンプレート生成範囲を示すガイドマークをビュー画像に重畳表示してＳ１０３に戻る。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２０に処理が移行する。

ステップＳ１２０：ＣＰＵ１５は、レリーズ釦２０の半押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ１１７に戻って被写体追尾処理を継続する。

ステップＳ１２１：ＣＰＵ１５は、被写体追尾部２７による被写体の追尾を一時停止させる。そして、撮像条件調整部２４は、被写体追尾処理で最後に検出された追尾対象の位置を焦点検出エリアとしてＡＦ制御を実行する。その後、撮像条件調整部２４は、本画像の撮像が行われるまでＡＦ制御を停止してフォーカスレンズの焦点位置を固定する（ＡＦロック）。

また、Ｓ１２１での撮像条件調整部２４は、追尾対象の位置を基準としてスポット測光によるＡＥ演算を実行してもよい。

ステップＳ１２２：ＣＰＵ１５は、レリーズ釦２０の半押しが解除されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、図２の流れ図の処理が終了する。一方、上記要件を満たさない場合（ＮＯ側）には、Ｓ１２３に処理が移行する。

ステップＳ１２３：ＣＰＵ１５は、レリーズ釦２０の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２４に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ１２２に戻って上記動作を繰り返す。

ステップＳ１２４：ＣＰＵ１５は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部２３で所定の処理が施された後に、記録Ｉ／Ｆ１８を介して記憶媒体１８ａに記録される。以上で、図２の流れ図の説明を終了する。

以下、一の実施形態での作用効果を述べる。一の実施形態の電子カメラは、特定被写体検出部２５が人物の顔を検出した場合に、スルー画像のうちの顔の部分画像を用いて電子カメラが自動的にテンプレートを生成する。すなわち、追尾対象に設定する顔の位置をテンプレート生成範囲の位置に合わせる作業をユーザが行わなくても、電子カメラは所望の人物を対象とした被写体追尾処理を行うことができる。これにより、追尾対象の指定時におけるユーザの煩雑さが軽減され、電子カメラの被写体追尾機能の使い勝手をより向上させることができる。

また、一の実施形態での電子カメラは、追尾対象の顔を実際に撮像して得た画像情報を用いてテンプレートを生成するので、被写体追尾処理において精度よく追尾対象を検出できる。

＜他の実施形態の説明＞
図６は、他の実施形態における電子カメラの動作例の流れ図である。他の実施形態は上記した一の実施形態の変形例であって、電子カメラが動画撮影時に顔検出処理と被写体追尾処理とを選択的に実行する。なお、他の実施形態の電子カメラの構成は図１と同じであるので、共通する構成要素には同一符号を付して重複説明を省略する。

ステップＳ２０１：ＣＰＵ１５は、撮像素子１３を駆動させて動画像の撮像処理を開始する。順次取得される動画像の各フレームのデータは、ＡＦＥ１４および画像処理部２３で所定の処理が施された後に、記録Ｉ／Ｆ１８を介して記憶媒体１８ａに記録される。なお、図６の処理では、動画像の撮影終了があるまでＣＰＵ１５は動画像の撮像を継続するものとする。

ステップＳ２０２：特定被写体検出部２５は、動画撮影で取得した任意のフレームに顔検出処理を施す。

ステップＳ２０３：ＣＰＵ１５は、動画像のフレームから人物の顔領域を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０４に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ２０２に戻って上記動作を繰り返す。

ステップＳ２０４：撮像条件調整部２４は、検出した顔の位置（複数ある場合には画像の中心から最も近い位置にある顔）を焦点検出エリアとしてＡＦ制御を実行する。なお、Ｓ２０４での撮像条件調整部２４は、顔の位置を基準としてスポット測光によるＡＥ演算を実行してもよい。

ステップＳ２０５：特定被写体検出部２５は、動画撮影でその後に取得したフレームに顔検出処理を施す。

ステップＳ２０６：ＣＰＵ１５は、動画像のフレームから人物の顔領域を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１５はＳ２０４に戻って上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、Ｓ２０７に処理が移行する。

ステップＳ２０７：テンプレート生成部２６は、動画像のフレームのうち、最後に顔を検出できた位置の部分画像を用いて、追尾対象の特徴を示すテンプレートを生成する。なお、Ｓ２０７の処理は、図２のＳ１０８の処理に対応するので重複説明は省略する。

ステップＳ２０８：被写体追尾部２７は、テンプレート生成後に入力されたフレームに含まれる被写体とテンプレート（Ｓ１０８）との類似度を求めるマッチング処理を実行する。なお、Ｓ２０８の処理は、図２のＳ１１０の処理に対応するので重複説明は省略する。

ステップＳ２０９：ＣＰＵ１５は、マッチング処理で追尾対象の被写体を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１５はＳ２０２に戻って上記動作を繰り返す。なお、Ｓ２０９のＮＯ側の場合、特定被写体検出部２５は、追尾対象をロストした位置を基準として顔を検出するようにしてもよい。

ステップＳ２１０：撮像条件調整部２４は、追尾対象の検出位置を焦点検出エリアとしてＡＦ制御を実行する。Ｓ２１０での撮像条件調整部２４は、追尾対象の位置を基準としてスポット測光によるＡＥ演算を実行してもよい。その後、ＣＰＵ１５はＳ２０８に戻って被写体追尾処理を継続する。以上で、図６の流れ図の説明を終了する。

他の実施形態での電子カメラは、顔検出処理またはテンプレートマッチングによる被写体追尾処理を動画撮影時に実行する。そして電子カメラは、一方の処理で被写体を検出できない場合には、他方の処理に切り替えて被写体の検出を行う。これにより、顔検出処理およびテンプレートマッチング処理の欠点を補完しつつ、継続的に所望の被写体に対するＡＦを行うことが可能となる。

なお、他の実施形態の処理は、記憶媒体１８ａへの記録を伴う動画撮影の場合に限定されず、一の実施形態のように静止画撮影時においてスルー画像を取得する場合（ライブビュー撮影時）にも当然に応用できる。

＜実施形態の補足事項＞
上記した一の実施形態では、特定被写体検出部２５が特定被写体として人物の顔を検出する例を説明したが、特定被写体は人物の顔以外の他の被写体であってもよい。

また、上記した一の実施形態では、画像処理部２３、撮像条件調整部２４、特定被写体検出部２５、テンプレート生成部２６、被写体追尾部２７の各機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの一部または全部の構成をハードウエア的に実現してもよい。

また、上記した一の実施形態では、追尾対象の輝度情報および色差情報のテンプレートを生成する例を説明した。しかし、上記実施形態はあくまで一例にすぎず、本発明の被写体追尾部２７は、例えば、画像のＲＧＢの階調値、画像の輪郭成分または画像のコントラスト比の情報などを用いて、スルー画像から追尾対象を検出してもよい。

また、図２の流れ図において、Ｓ１０５の判定でテンプレート生成条件を満たす場合（ＹＥＳ側）、電子カメラはＳ１０６およびＳ１０７の処理（顔に対するＡＦ）を省略してテンプレートを生成してもよい。上記の場合には、顔検出からテンプレート生成までの遅延時間をより少なくすることができる。

また、図２の流れ図において、Ｓ１１０のマッチング処理で人物の顔をロストした場合には、電子カメラは再び顔検出処理を行って被写体を検出し、必要に応じて顔のテンプレートを再び生成してもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１１…撮像光学系、１２…レンズ駆動部、１３…撮像素子、１４…ＡＦＥ、１５…ＣＰＵ、１６…第１メモリ、１７…第２メモリ、１８…記録Ｉ／Ｆ、１８ａ…記憶媒体、１９…モニタ、２０…レリーズ釦、２１…操作部材、２１ａ…カーソルキー、２１ｂ…決定釦、２２…筐体、２３…画像処理部、２４…撮像条件調整部、２５…特定被写体検出部、２６…テンプレート生成部、２７…被写体追尾部

Claims

被写体の像を連続的に撮像して複数の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像から特定被写体を検出する特定被写体検出部と、
前記撮像画像のうちで前記特定被写体に対応する部分画像を用いて、追尾対象の特徴を示すテンプレートを生成するテンプレート生成部と、
前記テンプレートを用いたマッチング処理によって、前記テンプレート生成後に時系列に取得される複数の前記撮像画像から前記追尾対象を継続的に検出する被写体追尾部と、
を備え、
前記テンプレート生成部は、取得時期が前後する２枚の前記撮像画像間で前記特定被写体の位置が第３閾値より大きく移動しているときに、前記テンプレートの生成を許容しない判定を行う電子カメラ。
請求項１に記載の電子カメラにおいて、
前記テンプレート生成部は、前記撮像画像での前記特定被写体のサイズが第１閾値より小さいとき、または前記撮像画像での前記特定被写体のサイズが前記第１閾値よりも大きな値の第２閾値よりも大きいときに、前記テンプレートの生成を許容しない判定を行う電子カメラ。
請求項１または請求項２に記載の電子カメラにおいて、
前記特定被写体検出部は、前記撮像画像から人物の顔を検出する電子カメラ。
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記テンプレート生成部は、前記特定被写体検出部が複数の前記特定被写体を検出したときに、前記撮像画像内で画像の中心から最も近い位置にある前記特定被写体を選択して前記テンプレートを生成する電子カメラ。