JP5062095B2 - 撮像装置 - Google Patents

Description

本発明は、被写体の追尾機能を有する撮像装置に関する。

従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、被写体追尾機能を備えた撮像装置が種々提案されている。一例として、特許文献１には、入力画像に対してテンプレートマッチング処理を施して被写体追尾を行う撮像装置において、レンズのズームに応じてテンプレートを拡大または縮小する構成例が開示されている。
特開２００１−２４３４７６号公報

しかし、上述の従来技術では、レンズのズームに応じてテンプレートの画像サイズを調整したときに、被写体追尾の精度が低下しやすくなる点で改善の余地があった。

そこで、本発明は、ズームレンズのレンズ位置が変化した場合でも、比較的精度良く追尾対象の検出を可能とする手段を提供することを目的とする。

一の態様の撮像装置は、撮像部と、メモリと、レンズ位置判定部と、画像サイズ決定部と、画像処理部と、被写体追尾部と、テンプレート更新部とを備える。撮像部は、ズームレンズを通過した光束による像を撮像する。メモリは、追尾対象の特徴を示すテンプレートを記憶する。レンズ位置判定部は、ズームレンズのレンズ位置が広角側に変更されたか否かを判定する。画像サイズ決定部は、追尾対象の検索対象となる被検索画像の画像サイズを、レンズ位置に応じて決定する。画像処理部は、画像サイズ決定部が決定した画像サイズに基づいて、撮像部の出力から被検索画像を生成する。被写体追尾部は、テンプレートを用いて、被検索画像から追尾対象を検出する。テンプレート更新部は、被検索画像から追尾対象を検出できたときに、被検索画像のうちの追尾対象を含む部分領域を用いてテンプレートを更新する。そして、画像サイズ決定部は、レンズ位置が広角側に変更されると被検索画像の画像サイズをより大きく変更する。また、テンプレート更新部は、レンズ位置が広角側に変更されたときに、更新前のテンプレートよりも大きな画像サイズで更新後のテンプレートを生成する。

上記の一の態様において、被写体追尾部は、ズームレンズをズームさせる前の撮像範囲に基づいて、被検索画像のうちで追尾対象を検索する検索範囲を決定してもよい。

上記の一の態様において、レンズ位置判定部は、レンズ位置が望遠側に変更されたか否かをさらに判定してもよい。また、画像サイズ決定部は、レンズ位置が望遠側に変更されると被検索画像の画像サイズをより小さく変更してもよい。また、被写体追尾部は、変更後の被検索画像の画像サイズに応じてトリミングされたテンプレートを用いて、被検索画像から追尾対象を検出してもよい。また、テンプレート更新部は、レンズ位置が望遠側に変更されたときに、更新前のテンプレートよりも小さな画像サイズで更新後のテンプレートを生成してもよい。

上記の一の態様の撮像装置は、被写体の観察に用いる表示用画像を表示する表示部と、撮像制御部とをさらに備えていてもよい。この撮像制御部は、画像サイズ決定部が決定した画像サイズに応じて撮像部の駆動タイミングを変化させて、表示用画像および被検索画像をそれぞれ所定の周期で撮像部に撮像させる。

このとき、撮像制御部は、表示用画像および被検索画像を撮像部から交互に出力させてもよい。

また、撮像制御部は、被検索画像の画像サイズが表示用画像の画像サイズよりも大きくなるときには、被検索画像の１フレームを複数回に分けて取得するとともに、表示用画像と被検索画像の一部とを撮像部から一定間隔で出力させてもよい。

また、撮像制御部は、被検索画像の画像サイズが表示用画像の画像サイズよりも大きくなるときには、被検索画像の１フレームを複数回に分けて取得するとともに、表示用画像が撮像部から出力された後に、被検索画像の１フレーム分を撮像部に連続的に出力させてもよい。

なお、一の態様の撮像装置が、第１出力モードと第２出力モードとの切替操作を受け付ける操作部をさらに備えていてもよい。このとき、撮像制御部は、被検索画像の画像サイズが表示用画像の画像サイズよりも大きくなるときには、被検索画像の１フレームを複数回に分けて取得してもよい。そして、撮像制御部は、第１出力モードのときには表示用画像と被検索画像の一部とを撮像部から一定間隔で出力させる制御を行い、第２出力モードのときには被検索画像の１フレーム分を撮像部に連続的に出力させる制御を行うようにしてもよい。

上記の一の態様の撮像装置は、被写体の観察に用いる表示用画像を表示する表示部をさらに備えていてもよい。また、画像処理部は、撮像部の出力から表示用画像を生成するとともに、被検索画像の画像サイズが表示用画像の画像サイズ以下のときには、表示用画像を用いて被検索画像を生成してもよい。

本発明によれば、ズームレンズのレンズ位置が広角側に変更された場合に、被検索画像の画像サイズをより大きく変更して追尾対象の検出を行う。そして、被検索画像から追尾対象を検出できたときには、更新前のテンプレートよりも大きな画像サイズで更新後のテンプレートが生成される。これにより、ズームレンズのレンズ位置が広角側に変更された場合にも、追尾対象の検出を比較的精度良く行うことが可能となる。

＜一の実施形態の構成の説明＞
図１は、一の実施形態の電子カメラの構成例を示すブロック図である。ここで、一の実施形態の電子カメラは、撮影モードの一つとして被写体追尾モードを有している。なお、被写体追尾モードでは、時系列に取得される複数の画像から追尾対象の被写体を電子カメラが継続的に検出することができる。なお、上記の被写体追尾モードは、例えば、子供の撮影に適したキッズモードなどの一機能として電子カメラに実装されるものでもよい。

電子カメラは、ズームレンズ１１およびフォーカシングレンズ１２と、第１レンズ駆動部１３および第２レンズ駆動部１４と、撮像素子１５と、ＡＦＥ１６と、撮像制御部１７と、画像処理部１８と、第１メモリ１９および第２メモリ２０と、記録Ｉ／Ｆ２１と、モニタ２２と、操作部材２３と、ＣＰＵ２４およびバス２５とを有している。ここで、画像処理部１８、第１メモリ１９、第２メモリ２０、記録Ｉ／Ｆ２１、モニタ２２およびＣＰＵ２４は、バス２５を介してそれぞれ接続されている。また、第１レンズ駆動部１３、第２レンズ駆動部１４、撮像制御部１７および操作部材２３は、それぞれＣＰＵ２４に接続されている。

ズームレンズ１１は、撮影倍率を光学的に変更するためのレンズである。このズームレンズ１１のレンズ位置は、第１レンズ駆動部１３によって光軸方向に調整される。ここで、一の実施形態でのズームレンズ１１は、望遠端から広角端に向けてズームさせたときに、望遠側位置、標準位置、広角側位置の３つのレンズ位置をとるものとする。また、第１レンズ駆動部１３は、ズームレンズ１１の光軸方向の位置を検出するエンコーダを内蔵している。なお、ズームレンズ１１のレンズ位置の情報はＣＰＵ２４に入力される。

フォーカシングレンズ１２は、焦点調節を行うためのレンズである。このフォーカシングレンズ１２のレンズ位置は、第２レンズ駆動部１４によって光軸方向に調整される。

撮像素子１５は、ズームレンズ１１およびフォーカシングレンズ１２を通過した光束による結像を撮像してアナログの画像信号を生成する。この撮像素子１５の出力はＡＦＥ１６に接続されている。なお、一の実施形態の撮像素子１５は、アドレス指定した画素の信号をランダムアクセスで読み出し可能なＸＹアドレス型の撮像素子１５（例えばＣＭＯＳ等）で構成されている。

ここで、被写体追尾モードでの撮像素子１５は、後述のレリーズ釦の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、被写体追尾モードでの撮像素子１５は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。

ＡＦＥ１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１６の出力は画像処理部１８に接続されている。

撮像制御部１７は、ＣＰＵ２４の指示に基づいて、撮像素子１５およびＡＦＥ１６に対して制御パルスを供給する。ここで、ＣＰＵ２４は、撮像制御部１７の制御パルスによって、撮像素子１５のうちの読み出し画素を指定することで、スルー画像の画像サイズ（画像の解像度）を調整できる。また、ＣＰＵ２４は、撮像制御部１７の制御パルスによって、上述のスルー画像のフレームレートを調整できる。

画像処理部１８は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１８は、上述のスルー画像から、ビュー画像と被検索画像とをそれぞれ生成する。ここで、ビュー画像は、フレーミングのためにモニタ２２の表示に用いられる画像である。一の実施形態において、ビュー画像の画像サイズは６４０×４８０画素のサイズに設定されている。一方、被検索画像は、被写体追尾処理において追尾対象の検索対象となる画像である。

第１メモリ１９は、画像処理部１８による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第１メモリ１９は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２０には、ＣＰＵ２４によって実行されるプログラムや、被写体追尾モードで用いられる後述のテンプレートのデータが記憶される。なお、このプログラムによる被写体追尾モードでの動作例については後述する。

記録Ｉ／Ｆ２１は、不揮発性の記憶媒体２６（ハードディスクや、半導体メモリを内蔵したメモリカードなど）を着脱可能に接続するためのコネクタを有している。そして、記録Ｉ／Ｆ２１は、上記の記憶媒体２６に対してデータの書き込み／読み込みを行う。なお、図１では記憶媒体２６の一例としてメモリカードを図示する。

モニタ２２は、ＣＰＵ２４の指示に応じて各種画像を表示する。なお、一の実施形態でのモニタ２２は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれでもよい。

上記のモニタ２２には、被写体追尾モードでの撮影待機時において、ＣＰＵ２４の制御によりビュー画像が動画表示される。このとき、ＣＰＵ２４は、モニタ２２のビュー画像に、撮影に必要となる各種情報の表示をオーバーレイさせることもできる。

操作部材２３は、ユーザーからの操作を受け付ける複数のスイッチを有している。具体的には、一の実施形態の操作部材２３には、レリーズ釦、十字キー、決定釦が含まれる。

レリーズ釦は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。また、十字キーおよび決定釦は、例えば、電子カメラの設定変更の操作などをユーザーから受け付ける。なお、被写体追尾モードでは、被写体追尾処理の開始を指示する操作が上記の決定釦に割り当てられている。

ＣＰＵ２４は、電子カメラの動作を統括的に制御するプロセッサである。例えば、ＣＰＵ２４は、ズームレンズ１１のレンズ位置の変化の有無を判定するとともに、ズームレンズ１１のレンズ位置に応じて被検索画像の画像サイズを決定する。このとき、ＣＰＵ２４は、ズームレンズ１１のレンズ位置が広角端に近いほど、被検索画像の画像サイズをより大きく設定する。

図２は、一の実施形態の各レンズ位置における被検索画像の画像サイズを示す図である。一例として、ズームレンズ１１が望遠側位置の場合、ＣＰＵ２４は被検索画像の画像サイズを３２０×２４０画素のサイズに設定する（図２（ａ）参照）。また、ズームレンズ１１が標準位置の場合、ＣＰＵ２４は被検索画像の画像サイズを６４０×４８０画素のサイズに設定する（図２（ｂ）参照）。さらに、ズームレンズ１１が広角側位置の場合、ＣＰＵ２４は被検索画像の画像サイズを１０２４×７６８画素のサイズに設定する（図２（ｃ）参照）。

また、ＣＰＵ２４は、第２メモリ２０に記憶されているプログラムの実行により、撮像条件調整部２７、テンプレート管理部２８、被写体追尾部２９としてそれぞれ機能する。

撮像条件調整部２７は、スルー画像のデータを用いて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や、公知の自動露出（ＡＥ）演算をそれぞれ実行する。

テンプレート管理部２８は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。一の実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成することが可能である。一例として、テンプレート管理部２８は、撮影画面内に設定されているテンプレート生成範囲のスルー画像を用いてテンプレートのデータを生成する。上記のテンプレートのデータには、例えば、ＹＣｂＣｒの各チャンネルのデータ（被写体の輝度情報、色差情報）が含まれる。

また、テンプレート管理部２８は、被検索画像から追尾対象を検出できたときに、被検索画像を用いてテンプレートの更新処理を実行する。このとき、テンプレート管理部２８は、被検索画像の画像サイズに応じて更新後のテンプレートの画像サイズを設定する。

一例として、被検索画像の画像サイズが３２０×２４０画素の場合、テンプレート管理部２８は更新後のテンプレートの画像サイズを５０×５０画素のサイズに設定する（図２（ａ）参照）。また、被検索画像の画像サイズが６４０×４８０画素の場合、テンプレート管理部２８は更新後のテンプレートの画像サイズを１００×１００画素のサイズに設定する（図２（ｂ）参照）。また、被検索画像の画像サイズが１０２４×７６８画素の場合、テンプレート管理部２８は更新後のテンプレートの画像サイズを１６０×１６０画素のサイズに設定する（図２（ｃ）参照）。

被写体追尾部２９は、上記のテンプレートを用いて、撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、撮像条件調整部２７では、テンプレートに対応する被写体の動きに追従してＡＦ制御を行うことができる。また、ＣＰＵ２４は、テンプレートに対応する被写体の位置を示すマークをビュー画像上にオーバーレイ表示させることもできる。

＜被写体追尾モードの動作例＞
次に、一の実施形態の電子カメラにおける被写体追尾モードの動作例を説明する。この被写体追尾モードでの電子カメラの動作は、ＣＰＵ２４の実行するプログラムによって制御される。

ユーザーの操作に応じて電子カメラが被写体追尾モードで起動すると、ＣＰＵ２４は、撮像素子１５を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。ここで、被写体追尾処理が開始される前（決定釦の押圧前の状態）において、ＣＰＵ２４は、ビュー画像用のスルー画像のみを３０ｆｐｓのフレームレートで取得する（図５参照）。

上記のビュー画像は、ＣＰＵ２４の制御によってモニタ２２に動画表示される。これにより、ユーザーは、モニタ２２のビュー画像を参照しつつ、撮影構図を決定するためのフレーミングを行うことができる。このとき、ＣＰＵ２４は、撮影画面内のテンプレート生成範囲を示すガイドマーク（矩形の枠表示）をビュー画像に重畳させる（ガイドマークの表示状態の図示は省略する）。

そして、上記の枠表示の中に追尾対象の被写体を収めた状態でユーザーが決定釦を押圧すると、ＣＰＵ２４は被写体追尾処理のシーケンスを開始する。以下、図３、図４の流れ図を参照しつつ、被写体追尾処理の動作例を説明する。

ステップＳ１０１：ＣＰＵ２４は、第１レンズ駆動部１３からズームレンズ１１のレンズ位置の情報を取得する。

ステップＳ１０２：ＣＰＵ２４は、ズームレンズ１１のレンズ位置（Ｓ１０１）に応じて被検索画像の画像サイズを決定する。そして、ＣＰＵ２４は、撮像制御部１７を介して撮像素子１５の駆動タイミングを調整することで、被検索画像用のスルー画像の取得を開始させる。

図５に、一の実施形態におけるスルー画像の読み出し例を示す。被写体追尾処理が開始されると、撮像制御部１７は、スルー画像のフレームレートを６０ｆｐｓに変更するとともに、ビュー画像用のスルー画像と被検索画像用のスルー画像とを撮像素子１５に交互に撮像させる。

ここで、ズームレンズ１１が望遠側位置にある場合には、撮像制御部１７は、ビュー画像用のスルー画像（６４０×３２０画素）と、被検索画像用のスルー画像（３２０×２４０画素）とを撮像素子１５から交互に出力させる。また、ズームレンズ１１が標準位置にある場合には、撮像制御部１７は、ビュー画像用のスルー画像（６４０×３２０画素）と、被検索画像用のスルー画像（６４０×３２０画素）とを撮像素子１５から交互に出力させる。これにより、画像処理部１８は、ビュー画像および被検索画像をそれぞれ３０ｆｐｓのフレームレートで取得できる。

一方、ズームレンズ１１が広角側位置にある場合には、被検索画像の画像サイズがビュー画像の画像サイズよりも大きくなる。そのため、撮像制御部１７は、被検索画像の１フレーム分を画像縦方向に３分割して上から順に取得する（図６参照）。そして、撮像制御部１７は、ビュー画像用のスルー画像（６４０×３２０画素）と、被検索画像用のスルー画像（１０２４×２５６画素）とを撮像素子１５から交互に出力させる。これにより、画像処理部１８は、３０ｆｐｓのフレームレートでビュー画像を取得するとともに、１０ｆｐｓのフレームレートで１フレーム分の被検索画像を取得できる。

ステップＳ１０３：テンプレート管理部２８は、被検索画像を用いて追尾対象のテンプレートを生成する。一例として、テンプレート管理部２８は、上記の被検索画像のうちからテンプレート生成範囲の部分画像を切り出す。そして、テンプレート管理部２８は、例えば、部分画像の輝度情報（Ｙ）および色差情報（Ｃｂ，Ｃｒ）の少なくとも一方を用いてテンプレートを生成する。なお、上記のテンプレートのデータは、ＣＰＵ２４によって第２メモリ２０に記録される。

その後、被写体追尾部２９は、上記のテンプレートを用いて被写体の追尾を開始する。また、被写体の追尾が開始されると、ＣＰＵ２４は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ２２のビュー画像に重畳させる。一例として、ＣＰＵ２４は、上述したガイドマークの枠表示を白色から黄色に変更して追尾対象の被写体を示す。これにより、ユーザーはテンプレートの生成完了と、被写体の追尾が開始されたこととをモニタ２２で確認できる。

ステップＳ１０４：ＣＰＵ２４は、新たな１フレーム分の被検索画像が取得できたか（１フレーム分の被検索画像が第１メモリ１９に書き込まれているか）否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０５に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２４は新たな被検索画像の取得を待機する。

ステップＳ１０５：ＣＰＵ２４は、新たな被検索画像を取得したときのズームレンズ１１のレンズ位置が、現在のテンプレートの取得時よりも望遠側に変化しているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１３に移行する。

ステップＳ１０６：テンプレート管理部２８は、現在の被検索画像の画像サイズに合わせてテンプレートのトリミングを行う。

一例として、テンプレート管理部２８は、ズームレンズ１１が標準位置にある状態では、１６０×１６０画素のテンプレートの中央部を切り出して１００×１００画素分のテンプレートを生成する。また、テンプレート管理部２８は、ズームレンズ１１が望遠側位置にある状態では、１００×１００画素のテンプレートの中央部を切り出して５０×５０画素分のテンプレートを生成する。

ステップＳ１０７：被写体追尾部２９は、被検索画像の被写体とテンプレートとのテンプレートマッチング処理を実行する。このＳ１０７では、被写体追尾部２９は、以下の（イ）から（ハ）の処理を実行する。

（イ）被写体追尾部２９は、被検索画像のうちで追尾対象を検索する検索エリアの範囲から、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、現在のテンプレートの画像サイズと同じサイズに設定される。

（ロ）次に、被写体追尾部２９は、上記（イ）で設定された対象領域の画像とテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部２９は、上記の対象領域での類似度を以下の式（１）によって求める。

ここで、式（１）において、Ｉ₁はテンプレートに対応し、Ｉ₂は対象領域の画像に対応する。そして、Ｉ₁およびＩ₂の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式（１）では、テンプレートおよび被検索画像での階調がともに８ｂｉｔ（０〜２５５の階調値）であることを前提とする。なお、上記の類似度の単位は％である。すなわち、上記の式（１）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（１）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。

（ハ）被写体追尾部２９は、対象領域をシフトさせて上記（ロ）の処理を繰り返す。これにより、被写体追尾部２９は、検索エリア内の各位置でテンプレートとの類似度をそれぞれ求めることとなる。

なお、図７は、ズームレンズが標準位置にあるときの被検索画像の例を示している。また、図８は、図７の状態からズームレンズを望遠側位置に変化させたときのテンプレートマッチング処理の例を示している。

ステップＳ１０８：被写体追尾部２９は、追尾対象をロストしたか否かを判定する。具体的には、被写体追尾部２９は、テンプレートマッチング処理（Ｓ１０７）で求めた類似度がいずれもロスト状態を示す判定閾値未満であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１８に移行する。なお、この場合（Ｓ１０８のＹＥＳ側）には、ＣＰＵ２４は、追尾対象のロストを示すエラー表示をモニタ２２に出力するようにしてもよい。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０９に移行する。

ステップＳ１０９：ＣＰＵ２４は、被写体追尾処理の停止操作を受け付けたか否かを判定する。被写体追尾処理の停止操作があった場合（ＹＥＳ側）にはＳ１１８に移行する。一方、被写体追尾処理の停止操作がない場合（ＮＯ側）にはＳ１１０に移行する。

ステップＳ１１０：被写体追尾部２９は、Ｓ１０７で求めた類似度の最大値（最大類似度）を抽出する。そして、被写体追尾部２９は、被検索画像内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。

そして、被写体追尾部２９は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ２２上の枠表示の位置は追尾対象の被写体の動きに追従してシフトする。これにより、ユーザーは追尾対象の検出結果をモニタ２２で確認できる。

ステップＳ１１１：テンプレート管理部２８は、追尾対象の検出位置（Ｓ１１０で決定したもの）を基準として、被検索画像のうちで追尾対象を含む部分領域を用いて新たにテンプレートを生成する。そして、テンプレート管理部２８は、新たに生成したテンプレートを第２メモリ２０に上書きしてテンプレートの更新を行う。その後、ＣＰＵ２４はＳ１１９に移行する。

また、Ｓ１１１でのテンプレート管理部２８は、現在の被検索画像の画像サイズに対応した画像サイズでテンプレートを生成する。したがって、ズームレンズ１１のレンズ位置が望遠側に変化している場合には、Ｓ１１１でのテンプレート管理部２８は、更新前のテンプレートよりも小さいサイズのテンプレートを生成することとなる。これにより、望遠側へのズームによって被検索画像の画像サイズが小さくなったときも、被写体追尾部２９は、適切な大きさのテンプレートを用いて被写体を追尾することが可能となる。

ステップＳ１１２：ＣＰＵ２４は、新たな被検索画像を取得したときのズームレンズ１１のレンズ位置が、現在のテンプレートを取得したときと同一か否かを判定する。上記要件を満たす場合（ＹＥＳ側）には上述のＳ１０７に移行する。この場合（Ｓ１１２のＹＥＳ側）には、Ｓ１０７での被写体追尾部２９は、第２メモリ２０に記憶されているテンプレートをそのままテンプレートマッチング処理に用いることとなる。

一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１３に移行する。なお、この場合（Ｓ１１２のＮＯ側）は、新たな被検索画像を取得したときのズームレンズ１１のレンズ位置が、現在のテンプレートの取得時よりも広角側に変化している状態に相当する。

ステップＳ１１３：被写体追尾部２９は、ズーム後の画像サイズで生成された被検索画像に対して、ズーム前に生成されたテンプレートを適用してテンプレートマッチング処理を実行する。なお、Ｓ１１３において、Ｓ１０７と同様の部分については重複説明は省略する。

例えば、ズームレンズ１１のレンズ位置が望遠側位置から標準位置に変化した場合、Ｓ１１３での被写体追尾部２９は、６４０×３２０画素の被検索画像に対して、望遠側位置で生成された５０×５０画素のテンプレートでテンプレートマッチング処理を行う。また、ズームレンズ１１のレンズ位置が標準位置から望遠側位置に変化した場合、Ｓ１１３での被写体追尾部２９は、１０２４×７６８画素の被検索画像に対して、標準位置で生成された１００×１００画素のテンプレートでテンプレートマッチング処理を行う。

なお、図９は、図７の状態からズームレンズを広角側位置に変化させたときのテンプレートマッチング処理の例を示している。

ここで、ズームレンズ１１を広角側にズームさせたときには、被検索画像の画像サイズがズームの前後で同じであれば、ズーム後の被検索画像において追尾対象に対応する画素が非常に少なくなり、テンプレートマッチングによる検出が困難となる。

一方、一の実施形態では、ズームレンズ１１のレンズ位置が広角側に変化したときには、被検索画像の画像サイズも大きく変更されるので、ズーム後の被検索画像に含まれる追尾対象の画素数も多くなる。そのため、被写体追尾部２９は、広角側へのズームのときには元のテンプレートの高い情報量を生かして被写体の追尾を行うことができる。これにより、一の実施形態では、広角側にズームするときのテンプレートマッチング処理において被写体追尾の精度をより向上させることができる。

また、Ｓ１１３での被写体追尾部２９は、ズームレンズ１１を広角側にズームさせる前の被検索画像の撮像範囲を、新たな被検索画像において追尾対象を検索する検索エリアとして決定する（図９参照）。一般的に、ズームレンズ１１を広角側にズームさせてフレーミングを行う場合、追尾対象の被写体はズーム前の被検索画像の範囲に存在することが多いためである。なお、これにより、広角側にズームすることで新たに視野に入った被写体（図９の外縁側の顔）を、被写体追尾部２９が追尾対象（図９のテンプレートの顔）と誤判定するおそれも低減する。

ステップＳ１１４：被写体追尾部２９は、追尾対象をロストしたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１８に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１５に移行する。なお、Ｓ１１４は、上述のＳ１０８に対応するので重複説明は省略する。

ステップＳ１１５：ＣＰＵ２４は、被写体追尾処理の停止操作を受け付けたか否かを判定する。被写体追尾処理の停止操作があった場合（ＹＥＳ側）にはＳ１１８に移行する。一方、被写体追尾処理の停止操作がない場合（ＮＯ側）にはＳ１１６に移行する。

ステップＳ１１６：被写体追尾部２９は、被検索画像内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。そして、被写体追尾部２９は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。なお、Ｓ１１６は、上述のＳ１１０に対応するので重複説明は省略する。

ステップＳ１１７：テンプレート管理部２８は、追尾対象の検出位置（Ｓ１１６で決定したもの）を基準として、被検索画像のうちで追尾対象を含む部分領域を用いて新たにテンプレートを生成する。そして、テンプレート管理部２８は、新たに生成したテンプレートを第２メモリ２０に上書きしてテンプレートの更新を行う。その後、ＣＰＵ２４はＳ１１９に移行する。

また、Ｓ１１７でのテンプレート管理部２８は、現在の被検索画像の画像サイズに対応した画像サイズでテンプレートを生成する（図９参照）。したがって、Ｓ１１７でのテンプレート管理部２８は、更新前のテンプレートよりも大きなサイズのテンプレートを生成することとなる。これにより、広角側へのズームによって被検索画像の画像サイズが大きくなったときも、被写体追尾部２９は、適切な大きさのテンプレートを用いて被写体を追尾することが可能となる。

ステップＳ１１８：ＣＰＵ２４は、追尾終了の処理を実行する。例えば、Ｓ１１８でのＣＰＵ２４は、第２メモリ２０に記憶されているテンプレートのデータを初期化するとともに、ビュー画像の被写体追尾マークを消灯して一連の処理を終了する。

ステップＳ１１９：ＣＰＵ２４は、レリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１２２に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）にはＳ１２０に移行する。

ステップＳ１２０：ＣＰＵ２４は、第１レンズ駆動部１３からズームレンズ１１のレンズ位置の情報を再び取得する。

ステップＳ１２１：ＣＰＵ２４は、現在のズームレンズ１１のレンズ位置に応じて被検索画像の画像サイズを決定する。そして、ＣＰＵ２４は、撮像制御部１７を介して撮像素子１５の駆動タイミングを調整する。その後、ＣＰＵ２４はＳ１０４に戻って上記動作を繰り返す。したがって、ズームレンズ１１のレンズ位置が変化すると、ＣＰＵ２４の制御によって、次回に取得される被検索画像の画像サイズが変化することとなる。

ステップＳ１２２：ＣＰＵ２４は、被写体追尾部２９による被写体の追尾を一時停止させる。そして、撮像条件調整部２７は、被写体追尾処理で最後に検出された追尾対象の位置を焦点検出エリアとしてＡＦ制御を実行する。また、撮像条件調整部２７は、追尾対象の位置を基準としてスポット測光によるＡＥ演算を実行する。

その後、撮像条件調整部２７は、本画像の撮像が行われるか、あるいはレリーズ釦の半押し操作が解除されるまでＡＦ制御およびＡＥ演算を停止する。これにより、フォーカスレンズの焦点位置やＡＥ演算に基づく各パラメータ（絞り値、シャッタスピード、撮像感度）は、Ｓ１２２でのＡＦ制御およびＡＥ演算後にいずれも固定された状態となる。

ステップＳ１２３：ＣＰＵ２４は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１２５に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）にはＳ１２４に移行する。

ステップＳ１２４：ＣＰＵ２４は、レリーズ釦の半押しが解除されたか否かを判定する。レリーズ釦の半押しが解除された場合（ＹＥＳ側）には、ＣＰＵ２４は被写体の追尾を再開するとともに、Ｓ１２０に戻って上記動作を繰り返す。一方、レリーズ釦の半押しが継続している場合（ＮＯ側）には、ＣＰＵ２４はＳ１２３に戻って上記動作を繰り返す。

ステップＳ１２５：ＣＰＵ２４は、撮像素子１５を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１６および画像処理部１８で所定の処理が施された後に、記録Ｉ／Ｆ２１を介して記憶媒体２６に記録される。以上で、図３、図４の流れ図の説明を終了する。

上述の一の実施形態の電子カメラでは、ズームレンズ１１のレンズ位置が広角側に変更された場合に、ＣＰＵ２４が被検索画像の画像サイズをより大きく変更する（Ｓ１２１）。そして、被写体追尾部２９は、ズーム後の画像サイズで生成された被検索画像に対して、ズーム前に生成されたテンプレートを適用して追尾対象の検出を行う（Ｓ１１３）。これにより、一の実施形態では、ズームレンズ１１のレンズ位置が広角側に変更された場合にも、元のテンプレートの高い情報量を生かして被写体の追尾を比較的精度良く行うことができる。

また、上述の一の実施形態の電子カメラでは、ズームレンズ１１のレンズ位置が望遠側に変更された場合に、ＣＰＵ２４が被検索画像の画像サイズをより小さく変更する（Ｓ１２１）。そして、被写体追尾部２９は、変更後の被検索画像の画像サイズに応じてトリミングされたテンプレートを適用して追尾対象の検出を行う（Ｓ１０６、Ｓ１０７）。これにより、一の実施形態では、ズームレンズ１１のレンズ位置が望遠側に変更された場合にも、トリミングで調整されたテンプレートを用いて被写体の追尾を比較的精度良く行うことができる。

＜一の実施形態の変形例１＞
図１０は、一の実施形態におけるスルー画像の読み出しの変形例を示す図である。この図１０の説明について、上述の一の実施形態と共通の部分については重複説明を省略する。

図１０の例では、ズームレンズ１１を広角側位置に設定して、被検索画像の画像サイズがビュー画像の画像サイズよりも大きくなる状態にすると、撮像制御部１７は、被検索画像用のスルー画像（１０２４×２５６画素）を撮像素子１５から連続的に出力させる。そして、撮像制御部１７は、１フレーム分の被検索画像が撮像素子１５から出力された後に、ビュー画像用のスルー画像（６４０×３２０画素）を撮像素子１５から出力させる。この場合、ビュー画像のフレームレートは１５ｆｐｓに低下するが、広角側位置での被検索画像のフレームレートは１５ｆｐｓとなるので、動きの激しい追尾対象への追従性をより高めることができる。

また、撮像制御部１７は、操作部材２３からの入力に応じて、ズームレンズ１１が広角側位置にある場合のスルー画像の読み出しモードを切り換えてもよい。例えば、撮像制御部１７は、ビュー画像と被検索画像の一部とを撮像素子１５から一定間隔で交互に出力させる第１出力モード（図５参照）と、被検索画像の１フレーム分を撮像素子１５から連続的に出力させる第２出力モード（図１０参照）とを切り換えるようにしてもよい。

＜一の実施形態の変形例２＞
図１１は、一の実施形態におけるスルー画像の読み出しの変形例を示す図である。この図１１の説明について、上述の一の実施形態と共通の部分については重複説明を省略する。

図１１の例では、被検索画像の画像サイズがビュー画像の画像サイズ以下のとき（ズームレンズ１１が望遠側位置または標準位置のとき）には、撮像制御部１７は、３０ｆｐｓのフレームレートでビュー画像用のスルー画像を撮像する。そして、画像処理部１８は、ビュー画像用のスルー画像を用いて被検索画像を生成する。なお、ズームレンズ１１が望遠側位置のときには、画像処理部１８はスルー画像を間引きして被検索画像を生成すればよい。

この変形例の場合には、被検索画像の画像サイズがビュー画像の画像サイズ以下のときには、スルー画像のフレームレートの低下によって、電子カメラの消費電力を抑制することができる。

＜実施形態の補足事項＞
（１）上述の一の実施形態ではレンズ一体型の電子カメラ（いわゆるコンパクトタイプ）の構成例を説明したが、レンズ交換が可能な一眼レフレックス型の電子カメラに本発明を適用することも勿論可能である（この場合の図示は省略する）。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子１５でスルー画像を撮像してもよく、また、本画像を撮像する撮像素子１５とは別にスルー画像を撮像するための撮像素子を設けてもよい。また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。

（２）上述した一の実施形態ではズームレンズ１１のレンズ位置および被検索画像の画像サイズが３段階に変化する例を示した。しかし、本発明において、ズームレンズ１１のレンズ位置および被検索画像の画像サイズが３段階よりもさらに細かく変化してもよい。また、例えば、携帯電話のカメラなどに実装されるケースでは、ズームレンズ１１のレンズ位置および被検索画像の画像サイズを２段階で変化させてもよい。

（３）上述した一の実施形態において、被検索画像の画像サイズおよびテンプレートの画像サイズはあくまで一例にすぎず、適宜変更することが可能である。

（４）上述した一の実施形態において、テンプレート管理部２８は、被検索画像の部分領域のコントラスト比や輪郭成分などに注目してテンプレートを生成してもよい。また、テンプレート管理部２８は、被検索画像の部分画像そのものをテンプレートとしてもよい。なお、一の実施形態において、テンプレートのデータは第１メモリ１９に記憶される構成であってもよい。

（５）上記実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置を実施するときには、上述の実施形態および補足事項に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態の電子カメラの構成例を示すブロック図 一の実施形態の各レンズ位置における被検索画像の画像サイズを示す図 被写体追尾処理の動作例を示す流れ図 図２の続きの流れ図 一の実施形態におけるスルー画像の読み出し例を示す図 ズームレンズが広角側位置にある場合における被検索画像の読み出し例を示す図 ズームレンズが標準位置にあるときの被検索画像の例を示す図 図７の状態からズームレンズを望遠側位置に変化させたときのテンプレートマッチング処理の例を示す図 図７の状態からズームレンズを広角側位置に変化させたときのテンプレートマッチング処理の例を示す図 一の実施形態におけるスルー画像の読み出しの変形例を示す図 一の実施形態におけるスルー画像の読み出しの変形例を示す図

符号の説明

１１…ズームレンズ、１３…第１レンズ駆動部、１５…撮像素子、１７…撮像制御部、１８…画像処理部、１９…第１メモリ、２０…第２メモリ、２２…モニタ、２３…操作部材、２４…ＣＰＵ、２７…撮像条件調整部、２８…テンプレート管理部、２９…被写体追尾部

Claims (9)

1. ズームレンズを通過した光束による像を撮像する撮像部と、
   追尾対象の特徴を示すテンプレートを記憶するメモリと、
   前記ズームレンズのレンズ位置が広角側に変更されたか否かを判定するレンズ位置判定部と、
   前記追尾対象の検索対象となる被検索画像の画像サイズを、前記レンズ位置に応じて決定する画像サイズ決定部と、
   前記画像サイズ決定部が決定した画像サイズに基づいて、前記撮像部の出力から前記被検索画像を生成する画像処理部と、
   前記テンプレートを用いて、前記被検索画像から前記追尾対象を検出する被写体追尾部と、
   前記被検索画像から前記追尾対象を検出できたときに、前記被検索画像のうちの前記追尾対象を含む部分領域を用いて前記テンプレートを更新するテンプレート更新部と、を備え、
   前記画像サイズ決定部は、前記レンズ位置が広角側に変更されると前記被検索画像の画像サイズをより大きく変更し、
   前記テンプレート更新部は、前記レンズ位置が広角側に変更されたときに、更新前のテンプレートよりも大きな画像サイズで更新後のテンプレートを生成することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記被写体追尾部は、前記ズームレンズをズームさせる前の撮像範囲に基づいて、前記被検索画像のうちで前記追尾対象を検索する検索範囲を決定することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記レンズ位置判定部は、前記レンズ位置が望遠側に変更されたか否かをさらに判定し、
   前記画像サイズ決定部は、前記レンズ位置が望遠側に変更されると前記被検索画像の画像サイズをより小さく変更し、
   前記被写体追尾部は、変更後の前記被検索画像の画像サイズに応じてトリミングされた前記テンプレートを用いて、前記被検索画像から前記追尾対象を検出し、
   前記テンプレート更新部は、前記レンズ位置が望遠側に変更されたときに、更新前のテンプレートよりも小さな画像サイズで更新後のテンプレートを生成することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   被写体の観察に用いる表示用画像を表示する表示部と、
   前記画像サイズ決定部が決定した画像サイズに応じて前記撮像部の駆動タイミングを変化させて、前記表示用画像および前記被検索画像をそれぞれ所定の周期で前記撮像部に撮像させる撮像制御部と、をさらに備えることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記撮像制御部は、前記表示用画像および前記被検索画像を前記撮像部から交互に出力させることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記撮像制御部は、前記被検索画像の画像サイズが前記表示用画像の画像サイズよりも大きくなるときには、前記被検索画像の１フレームを複数回に分けて取得するとともに、前記表示用画像と前記被検索画像の一部とを前記撮像部から一定間隔で出力させることを特徴とする撮像装置。
7. 請求項５に記載の撮像装置において、
   前記撮像制御部は、前記被検索画像の画像サイズが前記表示用画像の画像サイズよりも大きくなるときには、前記被検索画像の１フレームを複数回に分けて取得するとともに、前記表示用画像が前記撮像部から出力された後に、前記被検索画像の１フレーム分を前記撮像部に連続的に出力させることを特徴とする撮像装置。
8. 請求項５に記載の撮像装置において、
   第１出力モードと第２出力モードとの切替操作を受け付ける操作部をさらに備え、
   前記撮像制御部は、前記被検索画像の画像サイズが前記表示用画像の画像サイズよりも大きくなるときには、前記被検索画像の１フレームを複数回に分けて取得するとともに、前記第１出力モードのときには前記表示用画像と前記被検索画像の一部とを前記撮像部から一定間隔で出力させる制御を行い、前記第２出力モードのときには前記被検索画像の１フレーム分を前記撮像部に連続的に出力させる制御を行うことを特徴とする撮像装置。
9. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   被写体の観察に用いる表示用画像を表示する表示部をさらに備え、
   前記画像処理部は、前記撮像部の出力から前記表示用画像を生成するとともに、前記被検索画像の画像サイズが前記表示用画像の画像サイズ以下のときには、前記表示用画像を用いて前記被検索画像を生成することを特徴とする撮像装置。
   
   

Images