JP5176845B2 - 画像追尾装置および撮像装置 - Google Patents

Description

本発明は画像追尾装置および画像追尾方法に関する。

移動被写体を撮影する際に、画面内の指定部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を移動する被写体を追尾するようにした画像追尾装置が知られている（例えば、特許文献１参照）。
特開２００６−０５８４３１号公報

上述した従来の画像追尾装置において、繰り返し撮影される画像の画素数が少ないと、画面内の小さな被写体を検出することが困難になる上に、被写体の細かい動きにも追従し難くなるため、テンプレートマッチングに用いる画像の画素数は多い方がよい。ところが、画素数が多いほど、テンプレートマッチングに要する演算量が増大するという問題がある。

(１) 請求項１の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、被写界画像の一部の部分画像を切り出し、部分画像において複数の画素に対応する領域が一つのブロックとなるように部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、ブロックごとの画像情報と基準情報とに基づいて、被写界画像における追尾対象の位置を検出する検出手段とを備える画像追尾装置である。
(２) 請求項２の発明は、請求項１に記載の画像追尾装置において、被写界画像に対応して設定される焦点検出位置で結像光学系の焦点調節状態を検出する検出手段を有し、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を、焦点検出位置に近いほど小さく設定する。
(３) 請求項３の発明は、請求項１または請求項２に記載の画像追尾装置において、被写界画像に対応して設定される複数の焦点検出位置で結像光学系の焦点調節状態を検出する検出手段を有し、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を、焦点検出位置ごとの焦点調節状態に応じて設定する。
(４) 請求項４の発明は、請求項１〜３のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を、追尾対象の画像の画素数に応じて設定する。
(５) 請求項５の発明は、請求項１〜４のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から部分画像の切り出す範囲を設定し、範囲から複数の部分画像を切り出す際の切り出し位置のずらし量を、範囲の中心に近いほど小さく設定する。
(６) 請求項６の発明は、請求項１〜５のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を、被写界画像の中心に近いほど小さく設定する。
(７) 請求項７の発明は、請求項１〜６のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を、差分の総和が小さいほど小さく設定する。
(８) 請求項８の発明は、請求項１〜７のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から複数の部分画像を切り出す際の切り出し位置のずらし量を所定画素とする。
(９) 請求項９の発明は、請求項１〜８のいずれか一項に記載の画像追尾装置において、算出手段は、部分画像の画素数が追尾対象の画像の画素数と等しくなるように部分画像を切り出す。
(１０) 請求項１０の発明は、請求項１〜９のいずれか一項に記載の画像追尾装置において、算出手段は、追尾対象の画像において複数の画素に対応する領域が一つのブロックとなるように基準情報も分割し、基準情報の分割数と部分画像の分割数とを等しくする。
(１１) 請求項１１の発明は、請求項１〜１０のいずれか一項に記載の画像追尾装置において、算出手段は、被写界画像の中から部分画像を切り出す際、追尾対象の距離情報に応じて部分画像の画素数を設定する。
(１２) 請求項１２の発明は、請求項１〜１１のいずれか一項に記載の画像追尾装置において、算出手段は、ブロックごとに色情報と輝度情報との少なくとも一方の平均値を算出し、平均値に基づいて画像情報を算出する。
(１３) 請求項１３の発明は、追尾対象の画像に関する基準情報を記憶し、結像光学系により結像される被写界の被写界画像を繰り返し撮像し、被写界画像の一部の部分画像を切り出し、部分画像において複数の画素に対応する領域が一つのブロックとなるように部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報をブロックごとに算出し、ブロックごとの画像情報と基準情報とに基づいて、被写界画像における追尾対象の位置を検出する画像追尾方法である。

（１）請求項１の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記被写界画像に対応して設定される焦点検出位置で前記結像光学系の焦点調節状態を検出する検出手段を有し、前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記焦点検出位置に近いほど小さく設定する画像追尾装置である。
（２）請求項２の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記被写界画像に対応して設定される複数の焦点検出位置で前記結像光学系の焦点調節状態を検出する検出手段を有し、前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記焦点検出位置ごとの前記焦点調節状態に応じて設定する画像追尾装置である。
（３）請求項３の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記追尾対象の画像の画素数に応じて設定する画像追尾装置である。
（４）請求項４の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記算出手段は、前記被写界画像の中から前記部分画像の切り出す範囲を設定し、前記範囲から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記範囲の中心に近いほど小さく設定する画像追尾装置である。
（５）請求項５の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記被写界画像の中心に近いほど小さく設定する画像追尾装置である。
（６）請求項６の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記差分の総和が小さいほど小さく設定するこ画像追尾装置である。
（７）請求項７の発明は、追尾対象の画像に関する基準情報を記憶する記憶手段と、結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、前記算出手段は、前記被写界画像の中から前記部分画像を切り出す際、前記追尾対象の距離情報に応じて前記部分画像の画素数を設定する画像追尾装置である。
（８）請求項８の発明は、請求項１〜７のいずれか一項に記載の画像追尾装置において、前記算出手段は、前記基準情報の分割数と前記部分画像の分割数とが等しくなるように前記基準情報を分割することを特徴とする。
（９）請求項９の発明は、結像光学系による第１画像を撮像し、前記第１画像よりも後に第２画像を撮像する撮像部と、前記第１画像のうち追尾対象に対応する部分の画像である基準画像を決定する決定部と、前記基準画像を複数の第１ブロックに分割する第１分割部と、前記基準画像の色情報及び輝度情報の少なくとも一方を前記第１ブロックごとに算出する第１算出部と、前記第２画像から前記基準画像に対応する大きさの部分画像を選択する選択部と、前記部分画像を複数の第２ブロックに分割する第２分割部と、前記部分画像の色情報及び輝度情報の少なくとも一方を前記第２ブロックごとに算出する第２算出部と、前記第１ブロックごとに算出された色情報及び輝度情報の少なくとも一方と、前記第２ブロックごとに算出された色情報及び輝度情報の少なくとも一方との差異に基づいて追尾演算を行う追尾演算部とを含む画像追尾装置である。
（１０）請求項１０の発明は、請求項９に記載された画像追尾装置であって、前記第１分割部により分割された前記第１ブロックの数は、前記第２分割部により分割された前記第２ブロックの数と同一であることを特徴とする。
（１１）請求項１１の発明は、請求項９又は請求項１０に記載された画像追尾装置であって、前記選択部は、前記第２画像から切り出し位置をずらして複数の前記部分画像を選択することを特徴とする。
（１２）請求項１２の発明は、請求項１１に記載された画像追尾装置であって、前記複数の焦点検出エリアを用いて前記結像光学系の焦点調節状態を検出する焦点検出部を有し、前記選択部は、前記部分画像を選択する際の前記第２画像からの切り出し位置のずらし量が、前記焦点検出エリアに近いほど小さく設定、前記焦点検出エリアごとの焦点調節状態に応じて設定、前記基準画像の画像の画素数に応じて設定、前記第２画像の中から前記部分画像を切り出す所定範囲の中心に近いほど小さく設定、前記第２画像の中心に近いほど小さく設定、又は、前記差異が小さいときに小さく設定することを特徴とする。
（１３）請求項１３の発明は、請求項１１に記載された画像追尾装置であって、前記結像光学系の焦点調節状態を検出する焦点検出部を有し、前記選択部は、前記焦点検出部で検出された前記焦点調節状態に応じて前記部分画像の画素数を設定することを特徴とする。
（１４）請求項１４の発明は、請求項９〜１３のいずれか一項に記載された画像追尾装置と、前記撮像部とは異なる、記録画像を撮像する記録画像撮像部と、前記撮像部から出力された信号を用いて露出演算を行う露出演算部とを含む撮像装置である。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）（この一実施の形態では、横６４０個×縦４８０個の画素が正方配列された一例を示す）を備えている。さらに、各画素は３個の部分に分割され、これらの部分にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素ごとに被写界画像のＲＧＢ信号を出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて追尾制御と露出演算が行われる。なお、追尾制御と露出演算は第１撮像素子４により撮像された被写界画像信号に基づいて行うこととしてもよい。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のシャッターボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。シャッターボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界像を撮像することができる。

マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。

追尾制御部１９ｅは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のシャッターボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｇにより焦点検出演算が行われる。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、シャッターボタンが半押しされている間、繰り返し周期的に行われる。

次に、一実施の形態の画像追尾動作を説明する。図３〜図５は一実施の形態の画像追尾動作を説明するための図、図６〜図７は一実施の形態の画像追尾処理を示すフローチャートである。シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写界像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図３に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇ（図中にはａ〜ｇと表記）が設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図３に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｂが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。

図６のステップ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。第２撮像素子１６により撮像された画像情報は、画素ごとにＲＧＢ値で表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝１〜６４０、ｙ＝１〜４８０ ・・・（１）

次に、ステップ２で図７に示す追尾制御初期処理を実行する。図７のステップ１０１において、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｂ）の画像情報（(1)式参照）を被写体色情報として記憶する。ステップ１０２では、図４(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｂ（図３参照）の位置周辺部において上記被写体色情報と同様な色情報を示す同色情報領域４６を検出し、続くステップ１０３で同色情報領域４６を含む四角形の領域を初期の追尾被写体領域４７とする。

なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に３×３画素のように追尾被写体領域のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域のサイズを決定してもよい。

ステップ１０４では、追尾初期画像の追尾被写体領域４７において、複数の画素に対応する領域を１つのブロックとして横３ブロック、縦３ブロックに分割する。追尾被写体領域４７の座標の基点を(ｘ,ｙ)＝(ｉ,ｊ)とし、追尾被写体領域４７の画素数をrefｈ、refｖとすると、追尾初期画像の追尾被写体領域４７における画素ごとのＲＧＢ画像情報は次のように表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝ｉ〜ｉ＋refｈ、ｙ＝ｊ〜ｊ＋refｖ ・・・（２）
この画素ごとのＲＧＢ画像情報に基づいてブロックごとのＲＧＢ値ｂＲ、ｂＧ、ｂＢを算出する。ブロックごとのＲＧＢ値ｂＲ、ｂＧ、ｂＢは、例えばブロックに含まれるすべての画素のＲ、ＧおよびＢ値の平均値とする。

次に、ステップ１０５で、ブロックごとのＲＧＢ値ｂＲ、ｂＧ、ｂＢに基づいてブロックごとの色情報と輝度情報を算出する。ここでは、色情報として色の偏り具合を示す値であるＲＧ、ＢＧを用い、ブロックごとにｂＲＧref[ｒｘ,ｒｙ]、ｂＢＧref[ｒｘ,ｒｙ]（ｒｘ、ｒｙ＝１〜３）と表すとともに、輝度情報として画像を取得したときの露光時間Ｔ、ゲインＧain、色合成係数Ｋr、Ｋg、Ｋbにより算出したＬを用い、ブロックごとにｂＬref[ｒｘ,ｒｙ]と表す。
ｂＲＧref[ｒｘ,ｒｙ]＝Log_２（ｂＲ[ｒｘ,ｒｙ]）−Log_２（ｂＧ[ｒｘ,ｒｙ]），
ｂＢＧref[ｒｘ,ｒｙ]＝Log_２（ｂＢ[ｒｘ,ｒｙ]）−Log_２（ｂＧ[ｒｘ,ｒｙ]），
ｂＬref[ｒｘ,ｒｙ]＝Log_２（Ｋｒ×ｂＲ[ｒｘ,ｒｙ]＋Ｋｇ×ｂＧ[ｒｘ,ｒｙ]＋Ｋｂ×ｂＢ[ｒｘ,ｒｙ]）−Log_２（Ｔ）−Log_２（Ｇain） ・・・（３）

各ブロックの色情報ｂＲＧref[ｒｘ,ｒｙ]、ｂＢＧref[ｒｘ,ｒｙ]および輝度情報ｂＬref[ｒｘ,ｒｙ]を,図４(ｂ)に示すようにブロック化テンプレート画像４８としてメモリ１９ｄに記憶する。なお、この一実施の形態では追尾被写体領域４７を横３×縦３ブロックに分割する例を示すが、ブロックの分割数はこの一実施の形態の分割数に限定されない。

ステップ１０６で、撮像される追尾次画像においてテンプレート画像４８と一致または類似する画像を探索する領域を決定する。ここでは、図４(ａ)に示すように、追尾被写体領域４７を囲む横srcｈ、縦srcｖの画素範囲を探索領域４９に設定する。好ましくは追尾被写体領域４７を中心にして探索領域４９を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動するから、追尾被写体領域４７を中心にして探索領域４９を設定することによって、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この探索領域４９は縦横それぞれに所定画素ずつ拡大した所定の大きさの領域としてもよいし、追尾結果や追尾被写体の大きさに応じて変えるようにしてもよい。

以上で追尾制御初期処理を終了し、図６のステップ３へリターンする。リターン後の図６のステップ３において、操作部材２０のシャッターボタンが全押しされたか否かを判別し、全押しされるまでの間、ステップ４以降の処理を繰り返す。ステップ４において、第２撮像素子１６から追尾次画像を取得し、ステップ１の処理と同様に画像情報Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]（ｘ＝１〜６４０、ｙ＝１〜４８０）を取得する。

続くステップ５では追尾演算を行う。追尾次画像の中の探索領域４９から図４(ａ)に示す画素数refｈ、refｖの追尾被写体領域４７と同じサイズの領域を順次切り出し、切り出した画像を図４(ｂ)に示すブロック化テンプレート画像４８と同じブロック数になるように分割する。さらに上述したように、ブロックごとのＲＧＢ値ｂＲ、ｂＧ、ｂＢに基づいてブロックごとの色情報ｂＲＧ[ｒｘ,ｒｙ]、ｂＢＧ[ｒｘ,ｒｙ]（ｒｘ、ｒｙ＝１〜３）と輝度情報ｂＬ[ｒｘ,ｒｙ]を算出する。そして、ブロック化テンプレート画像４８とブロック化切り出し画像の対応するブロックごとに、画像情報の差分Ｄiffを算出する。

差分Ｄiffは次式により演算する。
Ｄiff＝ΣΣ{ABS（ｂＲＧ[ｒｘ,ｒｙ]−ｂＲＧref[ｒｘ,ｒｙ]）＋ABS（ｂＢＧ[ｒｘ,ｒｙ]−ｂＢＧref[ｒｘ,ｒｙ]）＋ABS（ｂＬ[ｒｘ,ｒｙ]−ｂＬref[ｒｘ,ｒｙ]）} ・・・（４）
（４）式において、ΣΣはｒｘ＝１〜３、ｒｙ＝１〜３のすべてのブロックの色の差の総和演算を表す。探索領域４９の中で追尾被写体領域４７と同じサイズの領域を所定の画素ずつずらしながら切り出し画像を取得し、切り出した画像とテンプレート画像４８との間でブロックごとの画像情報の差分Ｄiffを求めていく。

例えば、図５(ａ)に示すように探索領域４９から順次切り出した画像をブロック化し、ブロック化テンプレート画像(ｂ)とブロック化切り出し画像(ｃ)、(ｄ)、(ｅ)とを順次比較してそれぞれに差分Ｄiffを算出し、これらの差分Ｄiffの内の最小の差分を示す切り出し画像（ここでは図５(ｅ)に示す画像）がテンプレート画像４８（図４(ｂ)参照）に最も類似していることになる。なお、テンプレート画像４８に最も類似している領域を決定する際には、それぞれの領域に対応する焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量を考慮することとしてもよい。

なお、切り出し領域のずらし量は、所定の値としてもよいし、探索領域４９の中心（前回の追尾演算時に追尾対象の被写体がいた位置）に近いほど小さくし、中心から遠ざかるにしたがって大きくするようにしてもよい。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動するため、追尾被写体領域４７を中心にして探索領域４９を設定するとともに、探索領域４９の中心に近いほど切り出し領域のずらし量を小さくすることによって、追尾対象の被写体を早く正確に検出することができ、画像追尾の応答性と精度を向上させることができる。
または、テンプレート画像４８の画素数に応じて切り出し領域のずらし量を設定することとしてもよい。テンプレート画像４８の画素数が小さいほど被写界画像における追尾対象の占める面積が小さいこととなる。よって、例えば、テンプレート画像４８の画素数が小さいほど切り出し領域のずらし量を小さくすることにより、画像追尾の応答性と精度を向上させることができる。

あるいは、被写界の中心位置（撮影レンズ８の撮影画面の中心）に近いほど切り出し領域のずらし量を小さくし、被写界の中心から遠ざかるにしたがって大きくしてもよい。一般に、追尾対象の移動被写体は撮影画面の中心付近に捕捉されることが多いため、撮影画面中心に近いほど切り出し領域のずらし量を小さくすることによって、追尾対象の被写体を早く正確に検出することができ、画像追尾の応答性と精度を向上させることができる。
または、被写界において設定される焦点検出エリア４５ａ〜４５ｇに対応する位置の少なくとも一つに近いほど切り出し領域のずらし量を小さくしてもよい。ステップ２の追尾制御初期処理では初回ＡＦエリア内の被写体が追尾対象とされるので、追尾対象の移動被写体は焦点検出エリア４５ａ〜４５ｇに対応する位置付近で捕捉されることが多く、焦点検出エリア４５ａ〜４５ｇに対応する位置に近いほど切り出し領域のずらし量を小さくすることによって画像追尾と焦点調節の精度を向上させることができる。
または、焦点検出エリア４５ａ〜４５ｇについて検出される焦点調節状態に応じて（デフォーカス量が小さいほど）、その焦点検出エリア４５ａ〜４５ｇ付近での切り出し領域のずらし量を小さくしてもよい。一般に、大きい値のデフォーカス量が検出される焦点検出エリア４５ａ〜４５ｇほど、撮影者が意図する追尾対象でない背景などに対応する位置にある焦点検出エリア４５ａ〜４５ｇである可能性が高い。よって、焦点調節状態に応じて切り出し領域のずらし量を設定することにより画像追尾と焦点調節の精度を向上させることができる。

さらにまた、画像情報の差分Ｄiffをとり、その差分値がしきい値よりも大きい場合はその隣を探索する際のずらし量を大きくし、しきい値よりも小さい場合にはずらし量を小さくするようにしてもよい。または、単純に画像情報の差分Ｄiffが小さいほどずらし量を小さくしてもよい。ある切り出し領域に対する画像情報の差分が小さいほど、追尾対象の被写体がその切り出し領域の近くにいる確率が高いため、切り出し領域のずらし量を小さくすることによって、追尾対象の被写体を早く正確に検出することができ、画像追尾の応答性と精度を向上させることができる。

上述した一実施の形態では、探索領域４９の中から切り出してテンプレート画像と比較する領域の画素数を、テンプレート画像の画素数refｈ、refｖと同じ画素数とした例を示したが、追尾対象の距離精度などに応じて、切り出し領域の画素数はテンプレート画像の画素数refｈ、refｖより多くしても、あるいは少なくしてもよい。追尾対象の被写体が撮像装置に対して撮影レンズの光軸方向に移動して追尾対象の被写体の大きさが変化した場合でも、その変化に応じて切り出し領域の大きさを変えることができ、追尾対象の被写体を確実に検出することができる。その際、切り出し領域のブロック数をテンプレート画像のブロック数と等しくすることで、テンプレート画像を拡大または縮小したときと同じ効果が得られ、画像追尾の精度を向上させることができる。

ステップ６において、テンプレート画像４８との画像情報の差分Ｄiffが最も小さい切り出し画像の切り出し領域を検出し、その切り出し領域を新しい追尾被写体領域４７に決定する。新しい追尾被写体領域４７を決定した後は、新しい追尾被写体領域４７内に含まれる追尾対象に対して合焦制御を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇの少なくとも一つが含まれる場合には、新しい追尾被写体領域４７内に含まれる焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量のうち最も小さいものを採用し、そのデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇが含まれない場合には、新しい追尾被写体領域４７との距離、または前回の追尾結果で採用された焦点検出エリア４５ａ〜４５ｇとの距離の少なくとも一方に基づいて採用する焦点検出エリア４５ａ〜４５ｇを決定してもよい。ここで、新しい追尾被写体領域４７の画像情報に基づいて上述したブロック化処理を行い、新しいテンプレート画像４８として更新してもよい。

テンプレート画像４８を更新する場合には、元のテンプレート画像４８の画像情報８割に対して新しい被写体領域４７の画像情報２割を加えるなどして、テンプレート画像４８の元の画像情報に最新の画像情報を少しずつ加え、何らかの原因による追尾被写体の急激な変化の影響を抑制して被写体追尾の信頼性を向上させるようにしてもよい。

また、テンプレート画像４８の更新は、追尾演算のたびに毎回行うのではなく、追尾被写体領域４７として決定した位置の差分Ｄiffの大きさがしきい値より小さい場合のみ、実行するようにしてもよい。

ステップ７において、新しい追尾被写体領域４７に対して新しい探索領域４９を決定する。ここでは、図４(ａ)に示すように、追尾被写体領域４７を囲む横srcｈ、縦srcｖの画素範囲を探索領域４９に設定する。この探索領域４９は縦横それぞれに所定画素ずつ拡大した所定の大きさの領域としてもよいし、追尾結果や追尾被写体の大きさに応じて変えるようにしてもよい。探索領域４９の決定後、ステップ３へ戻る。

ステップ３で操作部材２０のシャッターボタンの全押し操作が検出されるとステップ８へ進み、撮影制御を実行する。なお、撮像制御に際しては、ステップ８で決定した新追尾被写体領域４７の輝度情報に基づいて露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがってシャッター７および絞り２１を駆動制御し、第１撮像素子４により撮像を行う。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。(１)テンプレートマッチングする画像の画素数を多くして画像追尾精度を向上させながら、テンプレートマッチングに要する演算量を低減することができる。(２)追尾対象の位置を正確に検出することができる。(３)撮像画像の全範囲から少ない演算量で追尾対象の位置を正確に検出することができる。(４)テンプレート画像の画素数に応じた最適なずらし量が設定され、テンプレート画像の画素数に関わらず常に画像追尾の高応答性を維持することができる。(５)追尾対象の被写体を早く正確に検出することができ、画像追尾の応答性と精度を向上させることができる。(６)テンプレートマッチングの演算が容易になり、追尾対象の被写体を早く正確に検出することができる。(７)追尾対象の被写体が撮像装置に対して撮影レンズの光軸方向に移動して追尾対象の被写体の大きさが変化した場合でも、その変化に応じて切り出し領域の大きさを変えることができ、追尾対象の被写体を確実に検出することができる。

一実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図 一実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図 一実施の形態の画像追尾方法を説明するための図 一実施の形態の画像追尾方法を説明するための図 一実施の形態の画像追尾方法を説明するための図 一実施の形態の画像追尾処理を示すフローチャート 追尾制御初期処理を示すフローチャート

符号の説明

１；撮像装置、８；撮影レンズ、１６；第２撮像素子、１９；ボディ駆動制御装置、１９ａ；追尾制御部、１９ｄ；メモリ

Claims (14)

1. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記被写界画像に対応して設定される焦点検出位置で前記結像光学系の焦点調節状態を検出する検出手段を有し、
   前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記焦点検出位置に近いほど小さく設定することを特徴とする画像追尾装置。
2. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記被写界画像に対応して設定される複数の焦点検出位置で前記結像光学系の焦点調節状態を検出する検出手段を有し、
   前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記焦点検出位置ごとの前記焦点調節状態に応じて設定することを特徴とする画像追尾装置。
3. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記追尾対象の画像の画素数に応じて設定することを特徴とする画像追尾装置。
4. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記算出手段は、前記被写界画像の中から前記部分画像の切り出す範囲を設定し、前記範囲から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記範囲の中心に近いほど小さく設定することを特徴とする画像追尾装置。
5. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記被写界画像の中心に近いほど小さく設定することを特徴とする画像追尾装置。
6. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記算出手段は、前記被写界画像の中から複数の前記部分画像を切り出す際の切り出し位置のずらし量を、前記差分の総和が小さいほど小さく設定することを特徴とする画像追尾装置。
7. 追尾対象の画像に関する基準情報を記憶する記憶手段と、
   結像光学系により結像される被写界の被写界画像を繰り返し撮像する撮像手段と、
   前記被写界画像の一部の部分画像を切り出し、前記部分画像において複数の画素に対応する領域が一つのブロックとなるように前記部分画像を分割し、色情報と輝度情報との少なくとも一方に関する画像情報を前記ブロックごとに算出する算出手段と、
   前記ブロックごとの前記画像情報と前記基準情報とに基づいて、前記被写界画像における前記追尾対象の位置を検出する検出手段とを備え、
   前記算出手段は、前記被写界画像の中から前記部分画像を切り出す際、前記追尾対象の距離情報に応じて前記部分画像の画素数を設定することを特徴とする画像追尾装置。
8. 請求項１〜７のいずれか一項に記載の画像追尾装置において、
   前記算出手段は、前記基準情報の分割数と前記部分画像の分割数とが等しくなるように前記基準情報を分割することを特徴とする画像追尾装置。
9. 結像光学系による第１画像を撮像し、前記第１画像よりも後に第２画像を撮像する撮像部と、
   前記第１画像のうち追尾対象に対応する部分の画像である基準画像を決定する決定部と、
   前記基準画像を複数の第１ブロックに分割する第１分割部と、
   前記基準画像の色情報及び輝度情報の少なくとも一方を前記第１ブロックごとに算出する第１算出部と、
   前記第２画像から前記基準画像に対応する大きさの部分画像を選択する選択部と、
   前記部分画像を複数の第２ブロックに分割する第２分割部と、
   前記部分画像の色情報及び輝度情報の少なくとも一方を前記第２ブロックごとに算出する第２算出部と、
   前記第１ブロックごとに算出された色情報及び輝度情報の少なくとも一方と、前記第２ブロックごとに算出された色情報及び輝度情報の少なくとも一方との差異に基づいて追尾演算を行う追尾演算部とを含むことを特徴とする画像追尾装置。
10. 請求項９に記載された画像追尾装置であって、
    前記第１分割部により分割された前記第１ブロックの数は、前記第２分割部により分割された前記第２ブロックの数と同一であることを特徴とする画像追尾装置。
11. 請求項９又は請求項１０に記載された画像追尾装置であって、
    前記選択部は、前記第２画像から切り出し位置をずらして複数の前記部分画像を選択することを特徴とする画像追尾装置。
12. 請求項１１に記載された画像追尾装置であって、
    前記複数の焦点検出エリアを用いて前記結像光学系の焦点調節状態を検出する焦点検出部を有し、
    前記選択部は、前記部分画像を選択する際の前記第２画像からの切り出し位置のずらし量が、前記焦点検出エリアに近いほど小さく設定、前記焦点検出エリアごとの焦点調節状態に応じて設定、前記基準画像の画像の画素数に応じて設定、前記第２画像の中から前記部分画像を切り出す所定範囲の中心に近いほど小さく設定、前記第２画像の中心に近いほど小さく設定、又は、前記差異が小さいときに小さく設定することを特徴とする画像追尾装置。
13. 請求項１１に記載された画像追尾装置であって、
    前記結像光学系の焦点調節状態を検出する焦点検出部を有し、
    前記選択部は、前記焦点検出部で検出された前記焦点調節状態に応じて前記部分画像の画素数を設定することを特徴とする画像追尾装置。
14. 請求項９〜１３のいずれか一項に記載された画像追尾装置と、
    前記撮像部とは異なる、記録画像を撮像する記録画像撮像部と、
    前記撮像部から出力された信号を用いて露出演算を行う露出演算部とを含むことを特徴とする撮像装置。
    

Images