JP6150558B2 - 追尾処理装置およびその制御方法 - Google Patents

Description

本発明は、色追尾処理によって追尾対象の被写体を追尾する追尾処理装置およびその制御方法に関し、特に、被写体に複数の追尾枠を効率的に配置して、複数の追尾枠の位置情報をして、色追尾処理の精度を向上させる追尾処理装置に関する。

一般に、デジタルカメラなどの撮像装置では、露出および焦点距離を自動的に調節するため、画像から特定の被写体を検出して、当該被写体を追尾するようにしている。そして、画像から特定の被写体を検出する手法として、例えば、時間方向に異なる画像を比較して移動ベクトルを求める手法がある。さらには、被写体又はその一部を特徴色パターン化して検出対象として、異なる時間で撮影された画像を特徴色パターンマッチングによって走査・追尾する手法が知られている。

一方、異なる時間で撮影された画像間において追尾対象である被写体の移動によって被写体の大きさが変わることに起因して検出精度が低下することを回避するため、被写界を複数の領域に分割して測光を行うようにしたものがある（特許文献１参照）。ここでは、被写界において追尾すべき被写体を設定し、当該被写体と類似する測光データを有する領域を追尾枠として設定する。そして、追尾枠の測光データと類似する測光データを有する領域を順次抽出して、画像から被写体を検出するようにしている。この際、所望の初期追尾領域が設定されると、自動的に適切な追尾枠を設定して追尾が行われる。

特開平７−１１０４２９号公報

ところが、特許文献１に記載のカメラでは、測光データに応じて追尾対象である被写体を自動追従することができても、追尾の際にはマッチングのための特徴色パターンを広げる必要がある。このため、移動などによって時間推移で変化する被写体の大きさ形状に対して、特徴色パターンを記憶するための記憶領域を画像において追従可能な最大サイズとする必要がある。

さらに、特徴色パターンマッチングにおいては、被写体の大きさによっては、重複する色情報が複数存在するため、その分特徴色パターンの記憶領域が無駄に用いられるばかりでなく、マッチング処理に要する処理時間が長くなってしまう。

従って、本発明の目的は、特徴色パターンの記憶領域を少なくしてしかもマッチング処理時間が長くなることのない追尾処理装置およびその制御方法を提供することにある。

上記の目的を達成するため、本発明による追尾処理装置は、一方の画像から取得された被写体の特徴色パターンを用いてパターンマッチングを行うことで、他方の画像において前記被写体を追尾する追尾処理装置であって、前記一方の画像から前記被写体の第１の特徴色パターンを抽出する抽出手段と、前記第１の特徴色パターンと類似するパターンを検出することにより前記一方の画像における前記被写体の形状を求め、当該形状にそって前記第１の特徴色パターンとは別に他の特徴色パターンを取得する取得手段と、前記第１の特徴色パターンと前記他の特徴色パターンの両方を用いてパターンマッチングを行うことによって、前記他方の画像において前記被写体の位置を特定するマッチング手段と、を有することを特徴とする。

本発明による制御方法は、一方の画像から取得された被写体の特徴色パターンを用いてパターンマッチングを行うことで、他方の画像において前記被写体を追尾する追尾処理装置の制御方法であって、前記一方の画像から前記被写体の第１の特徴色パターンを抽出する抽出ステップと、前記第１の特徴色パターンと類似するパターンを検出することにより前記一方の画像における前記被写体の形状を求め、当該形状にそって前記第１の特徴色パターンとは別に他の特徴色パターンを取得する取得ステップと、前記第１の特徴色パターンと前記他の特徴色パターンの両方を用いてパターンマッチングを行うことによって、前記他方の画像において前記被写体の位置を特定するマッチングステップと、を有することを特徴とする。

本発明によれば、特徴色パターンの記憶領域を少なくして、マッチング処理に要する時間を短縮することができる。

本発明の実施の形態による色追尾処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すデジタル信号処理部に備えられた現像部の動作を説明するためのブロック図である。 図１に示すデジタル信号処理部に備えられた追尾処理部の動作を説明するためのブロック図である。 図１に示す撮像装置において撮影の際に行われる色追尾処理において複数の特徴色パターンを配置するパターン処理を説明するためのフローチャートである。 図４に示すブロック積分画像生成処理で生成されたブロック積分画像の一例を示す図である。 ブロック積分画像においてユーザによって指定された追尾対象の被写体の位置を示す図である。 図４に示すマッチング処理によるマッチング結果を説明するための図である。 図３に示すベクトル演算部で行われた特徴色パターンの配置の一例を説明するための図である。 図８に示す特徴色パターンの配置を拡大して示す図である。 全ての特徴色パターンを配置した状態の一例を示す図である。 特徴色パターン情報のデータ構成の一例を示す図である。 図３に示す重み情報付加部よる重み情報の付加を説明するための図である。 図１に示す撮像装置で行われる色追尾処理を説明するためのフローチャートである。 図３に示すマッチング処理部で行われる特徴色パターンマッチング処理を説明するための図である。 特徴色パターンマッチング処理における処理過程についてブロック積分画像の一部分を拡大して示す図である。 特徴色パターン１つの一例を示す図である。 １つの座標を中心としてブロック積分画像を３×３ピクセルで抜き出した状態を示す図である。 図１６に示す特徴色パターンと図１７に示す３×３ピクセルのブロック積分画素とを比較した評価結果の一例を示す図である。 図１８に示す評価結果について特徴色パターンの中心画素を除く画素について所定の閾値を基準として２値化した評価結果を示す図である。 図１５に示す状態から水平方向に１画素分ずらしてマッチング処理を行う状態を示す図である。 図２１に示す状態から水平方向に１画素分ずらしてマッチング処理を行う状態を示す図である。 図３で説明したパターン配置処理によって得られた特徴色パターン情報から点線矢印の方向に追尾対象の被写体が移動した際の状態の一例を示す図である。 図３で説明したパターン配置処理によって得られた特徴色パターン情報から点線矢印の方向に追尾対象の被写体が移動した際の状態の他の例を示す図である。 図２３に示す各特徴色パターンの移動量について重みづけによって得られた平均ベクトルを説明するための図である。 基準となる特徴色パターンに係る移動ベクトルを示す図である。 基準特徴色パターンに係る移動ベクトルと平均ベクトルとを重ねた状態で示す図である。

以下、本発明の実施の形態による色追尾処理装置の一例について図面を参照した説明する。

図１は、本発明の実施の形態による色追尾処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は撮影レンズユニットなどの光学系１００を備えており、光学系１００によって撮像素子１０１に被写体像（光学像）が結像される。撮像素子１０１は被写体像に応じた電気信号（アナログ信号）を出力する。撮像素子１０１の出力であるアナログ信号はＡ／Ｄ変換部１０２によってデジタル信号（撮像データ）に変換される。

デジタル信号処理部１０４は、現像部１１９および追尾処理部１２０を有しており、現像部１１９は当該撮像データを画像処理（現像処理）して現像データ（画像データ）とする。なお、現像部１１９では、例えば、撮像データに基づいてベイヤー画像の同時化処理を行って、ＲＧＢからＹｃｒＣｂへの変換を行って現像データを得る。追尾処理部１２０については後述する。

図示の操作部１０３には撮影モードの切り替えスイッチおよびシャッター釦などが備えられており、ＣＰＵ１０８は操作部１０３の設定状態を判定して、撮影モード（例えば、静止画撮影モードおよび動画撮影モード）の切り替えを行う。また、ＣＰＵ１０８は撮影モードに応じてデジタル信号処理部１０４で用いられるパラメータを切り替える。

ＣＰＵ１０８から光軸調整制御部１０９に撮影モードの設定状態（以下設定撮影モードと呼ぶ）が与えられ、光軸調整制御部１０９は設定撮影モードに応じて光軸調整部１０５を制御する。例えば、光軸調整制御部１０９は設定撮影モードに応じて光軸調整部１０５を制御して、光軸調整部１０５によって光学系（１００）および撮像素子１０１を調整する。これによって、フォーカスの調整、ズームイン、ズームアウト、および絞り調整などが行われる。

タイミングジェネレータ１０７はＣＰＵ１０８の制御下で、ドライバ（Ｄｒｉｖｅｒ）１０６を介して撮像素子１０１の駆動タイミングを決定する。これによって、撮像素子１０１の各画素について水平駆動および垂直駆動が行われて、撮像素子１０１は被写体像に応じたアナログ信号を出力する。

デジタル信号処理部１０４から出力される現像データは、データ（ＤＡＴＡ）バス１１２およびメモリ制御部１１３を介して、一旦メモリ１１４に記録される。データ圧縮／伸長部１１０は、メモリ１１４に記録された現像データを圧縮処理して圧縮画像データとする。そして、データ圧縮／伸長部１１０はＣＰＵ１０８の制御下で圧縮画像データをＤＡＴＡバス１１２および記録制御部１１７を介して記録媒体（１１８）に記録する。なお、データ圧縮／伸長部１１０は、例えば、ＪＰＥＧ圧縮処理によって現像データを圧縮処理する。

前述のデジタル信号処理部１０４は、メモリ１１４に記録された現像データを読み出して画像縮小処理し、当該縮小画像データを再度メモリ１１４に記録する。そして、デジタル信号処理部１０４はメモリ１１４から縮小画像データを読み出して、ＬＣＤ（液晶ディスプレイ）制御部１１５を介してＬＣＤ１１６に画像として表示する。これによって、撮影の際にメモリ１１４に記録した現像データをライブ画像としてＬＣＤ１１６に表示することができる。

ＬＣＤ１１６はタッチパネルを備えるようにしてもよい。この場合には、図示はしないが、タッチパネルの操作に応じた操作信号がＣＰＵ１０８に送られて、ＣＰＵ１０８は当該操作信号に応じた制御を行う。

図２は、図１に示すデジタル信号処理部１０４に備えられた現像部１１９の動作を説明するためのブロック図である。

現像部１１９は、センサー補正部３００および現像処理部３０１を有しており、センサー補正部３００にはＡ／Ｄ変換部１０２から撮像データが入力される。センサー補正部３００は、ＣＰＵ１０８の制御下で撮像データについて光学系１００で生じる色収差を補正する。さらに、センサー補正部３００は、撮像データに関して撮像素子１０１のゲインバラツキを行うとともに、欠陥画素の判定を行って欠陥画素を補正する。そして、センサー補正部３００は補正済み撮像データを出力する。この補正済み撮像データはＤＡＴＡバス１１２を介してメモリ１１４に記録するようにしてもよい。

センサー補正部３００から補正済み撮像データが現像処理部３０１送られる。現像処理部３０１は、ＣＰＵ１０８の制御下で補正済み現像データを現像処理して現像データを得る。ここで現像処理では、例えば、ベイヤー画像について同時化処理およびガンマ補正処理などを行って、ＲＧＢ（ベイヤー画像）からＹＣｒＣｂ変換後の現像データが生成される。そして、前述したように、現像処理部３０１は現像データを、ＤＡＴＡバス１１２を介してメモリ１１４に記録する。

図３は、図１に示すデジタル信号処理部１０４に備えられた追尾処理部１２０の動作を説明するためのブロック図である。

追尾処理部１２０では、画像を数画素毎に水平・垂直積分（ブロック積分）するブロック積分処理が行われる。さらに、追尾処理部１２０では、ブロック積分の結果得られた画像とレジスタ２０７に記憶された特徴色パターンを示す特徴色パターン情報とに基づいて特徴色パターンマッチングを行う特徴色パターンマッチング処理が行われる。

ブロック積分処理においては、ＤＡＴＡバス１１２を介してメモリ１１４に記録された現像データを読み出し、水平積分部２０１は、ＣＰＵ１０８の制御下で数画素毎に画素データを水平積分して、水平積分結果を得る。続いて、垂直積分部２０２は、ＣＰＵ１０８の制御下で水平積分結果について数ライン毎に垂直積分を行ってブロック積分画像データを生成する。そして、垂直積分部２０１はブロック積分画像データ（以下単にブロック積分画像とも呼ぶ）を、ＤＡＴＡバス１１２を介してメモリ１１４に記録する。

特徴色パターンマッチング処理においては、ＤＡＴＡバス１１２を介してメモリ１１４からブロック積分画像データを読み出して、水平積分部２０１および垂直積分部２０２をスルーして、ＬＩＮＥ（ライン）メモリ２０４にＬＩＮＥ単位でブロック積分画像データをブロック積分情報として記録する。

なお、メモリ１１４から現像データを読み出して、水平積分部２０１および垂直積分部２０２によってブロック積分を行いつつ、ＬＩＮＥメモリ２０４にＬＩＮＥ単位でブロック積分情報を記録するようにしてもよい。このようにすれば、特徴色パターン情報を取得した後、連続してキャプチャーされる現像データについてブロック積分を行ってブロック積分画像をメモリ１１４に記録しつつ特徴色パターンマッチング処理を行うことができる。

また、ＬＩＮＥメモリ２０４を、例えば、垂直積分部２０２における垂直積分用メモリとして共有するようにしてもよい。第１の実施形態では、後述するように、１種類の特徴色パターン情報はブロック積分画像において３×３の画素情報であるので、ＬＩＮＥメモリ２０４はマッチング用に３ＬＩＮＥ分、垂直積分用に１ＬＩＮＥ分程度のＳＲＡＭで構成されているものとする。

ＹＵＶ２ＲＧＢ変換部２０６は、ＬＩＮＥメモリ２０４からブロック積分情報を読み出してＹＵＶデータをＲＧＢデータに変換する。

いま、ユーザがＬＣＤ１１６に備えられたタッチパネルをタッチ操作して追尾対象の被写体を指定したとすると、特徴色パターン抽出部２０９は、当該指定操作の位置情報（つまり、座標情報）とブロック積分画像の座標情報との相関関係に応じて３×３のブロック積分情報を特徴色パターン情報として抽出する。そして、特徴色パターン抽出部２０９はレジスタ２０７に特徴色パターン情報を記憶する。

なお、ここでは、３×３の特徴色パターン情報を９種類（特徴色パターンＡ〜特徴色パターンＩ）備える場合について説明するが、個々の特徴色パターン情報がＮｘＭ（ＮおよびＭの各々は１以上の整数）でなくともよく、さらには矩形でなくともよい。また、特徴色パターン情報の種類も複数であればよい。但し、被写体の形状によって回路規模が増減することがないように、回路構成として有限個のパターン数を備えるようにする。

形状判別部２１０は、ユーザが指定した位置情報における特徴色パターン情報を用いて追尾対象である被写体の色形状を示す色形状情報を求める。第１の実施形態では、後述するように、色形状情報に応じて、特徴色パターン情報を複数配置する。

次に、マッチング処理部２０８はレジスタ２０７に記録された複数の特徴色パターン情報とＹＵＶ２ＲＧＢ変換部２０６から送られたブロック積分情報（ここでは、ＲＧＢデータ）とを比較して、比較結果としてマッチング結果を出力する。なお、複数の特徴色パターン情報を用いたマッチング処理については後述する。

ベクトル演算部２１２はパターンマッチング結果に基づいて当該パターンの移動量をベクトルとして求める。さらに、ベクトル演算部２１２は複数の特徴色パターンについて位置関係を示すパターン位置関係情報を求める。

重み情報付加部２１１は、ベクトル演算部２１２で得られたパターン位置関係情報およびマッチング処理部２０８で得られたマッチング結果を用いて、各特徴色パターンに重み情報を付加する。なお、重み情報の付加については後述する。

マッチング結果に基づいて、ＣＰＵ１０８は後述するようにして追尾対象である被写体の移動距離を示す移動距離情報を求める。さらに、ＣＰＵ１０８は移動距離情報に基づいて光軸調整制御部１０９を制御して光軸調整部１０５によって光学系１００を調整する。これによって、追尾対象である被写体の移動に合わせてフォーカスが調整される。また、ＣＰＵ１０８は移動距離情報に応じて、ＬＣＤ１１６に表示された追尾対象を示す追尾枠表示を更新して、ユーザに追尾対象である被写体の明示を行う。

図４は、図１に示す撮像装置において撮影の際に行われる色追尾処理において複数の特徴色パターンを配置するパターン処理を説明するためのフローチャートである。

なお、ここでは、色追尾処理について説明するが、色追尾処理を行うことなく撮影する場合には、当然のことながらこの色追尾処理は行われない。この場合には、ユーザが撮影釦を押した時点でキャプチャーされた画像が記録されることになる。

いま、静止画又は動画撮影の開始するため、撮影装置の電源がオンされて撮影モードが設定されると、前述のようにして、ＬＣＤ１１６には画像が表示される。ＣＰＵ１０８は、ユーザがＬＣＤ１１６に備えられたタッチパネルをタッチ操作して追尾対象である被写体を選択したか否かを判定する（ステップＳ１０１）。被写体の選択が行われないと（ステップＳ１０１において、ＮＯ）、ＣＰＵ１０８は待機する。

被写体の選択が行われると（ステップＳ１０１において、ＹＥＳ）、ＣＰＵ１０８は現像部１１９によってキャプチャーした撮像データを現像処理して現像データ（つまり、ＹＵＶデータ）をメモリ１１４に記録する（ステップＳ１０２）。

続いて、ＣＰＵ１０８の制御下で、追尾処理部１２０はメモリ１１４に記録された現像データを読み出す。そして、水平積分部２０１および垂直積分部２０２はｎ×ｍ（ｎおよびｍの各々は１以上の整数）程度のブロック積分画像を生成する（ステップＳ１０３）。なお、ここでは、ｎ＝３２、ｍ＝２４とする。

図５は、図４に示すブロック積分画像生成処理で生成されたブロック積分画像の一例を示す図である。

図５において、左上隅を原点（ｘ＝０，ｙ＝０）とすると、ブロック積分画像は、ｘ軸方向に３２画素、ｙ軸方向に２４画素を有している。

ユーザがＬＣＤ１１６に備えられたタッチパネルをタッチ操作して追尾対象の被写体（特定の被写体）を指定したとすると、特徴色パターン抽出部２０９は、当該指定操作の位置情報（つまり、座標情報）とブロック積分画像の座標情報との相関関係に応じて３×３のブロック積分情報を特徴色パターン情報として抽出する。そして、特徴色パターン抽出部２０９はレジスタ２０７に特徴色パターン情報を記憶する（ステップＳ１０４）。

ここで、例えば、現像データの画像サイズが６４０×４８０ピクセル程度であるとすると、ユーザによって指定された追尾対象の位置情報は水平２０分の１、垂直２０分の１のブロック積分画像（３２×２４ピクセル）の位置情報に変換される。

図６は、ブロック積分画像においてユーザによって指定された追尾対象の被写体の位置を示す図である。

図６において、いま、ユーザによって指定された位置が指定座標ａ（１７，１４）であるとすると、当該指定座標を中心として３×３ピクセルのブロック積分画像が特徴色パターンＡとされて、当該特徴色パターンＡを示す特徴色パターン情報がレジスタ２０７に記録される。以下この特徴色パーン情報にも符号”Ａ”を付す。この特徴色パターンＡが第１の特徴色パターンである。

続いて、マッチング処理部２０８は特徴色パターン情報Ａを用いて、ブロック積分画像（ここでは、ＲＧＢデータ）とのマッチング処理を行う（ステップＳ１０５）。ここで行われるマッチング処理は、追尾対象となる被写体の色外形（色形状）を取得するためのマッチング処理であるので、特徴色パターンＡの中心の画素（中心ブロック積分画素と呼ぶ）についてマッチング処理を行ってそのマッチング処理結果を使用する。

図７は、図４に示すステップＳ１０５のマッチング処理によるマッチング結果を説明するための図である。

ここでは、ブロック積分画像が特徴色パターンＡと最も近い色情報を有する場合、マッチング結果を”１００”とし、マッチング結果の値が小さくなるにつれて、ブロック積分画像は特徴色パターンＡとは異なる色情報を有する。

つまり、ステップＳ１０５においては、マッチング抽出部２０８は、図７に示すように、特徴色パターンＡの中心ブロック積分画素と類似する色情報を有するブロック積分画像を１００段階評価してマッチング結果として出力する。

続いて、形状判定部２１０は予め設定された閾値（例えば、６０）とマッチング結果とを比較して、マッチング結果の値が閾値以上である画素を調べる。そして、形状判定部２１０は値が閾値以上である画素によって被写体の色形状を抽出して色形状情報を得る（ステップＳ１０６）。

次に、ベクトル演算部２１２は上記の色形状情報に基づいて複数の特徴色パターンＢ〜Ｉを配置するための中心位置（位置座標）を求める（ステップＳ１０７）。

図８は、図３に示すベクトル演算部２１２で行われた特徴色パターンの配置の一例を説明するための図である。また、図９は図８に示す特徴色パターンの配置を拡大して示す図である。

図示のように、複数の特徴色パターンを配置する際、特徴色パターンＢ〜特徴色パターンＩを特徴色パターンＡに隣接して配置するようにしてもよいが、複数の特徴色パターンは同様の特徴色パターンであるため、ブロック積分画像に対して追尾対象となる被写体に係る色形状情報が大きな面積を占めると、同様の特徴色パターンについてパターンマッチングを繰り返して行うことになってしまう。

このため、ステップＳＳ１０７では、前述の指定座標ａ（１７，１４）の上下左右方向の各々において、予め設定された閾値（例えば、６０）以上の画素を求める。

図７を参照すると、指定座標ａ（１７，１４）よりも上方向については、水平位置が同一の座標（１７，１１）の画素のみが閾値以上であるので、当該座標（１７，１１）が中心位置候補とされる。

さらに、１１ライン目の画素において、閾値以上の値を示す画素で座標（１５，１１）が最も左側に位置しているので、当該座標（１５，１１）が中心位置候補とされる。また、閾値以上の値を示す画素で座標（１９．１１）が最も右側に位置しているので、当該座標（１９，１１）が中心位置候補とされる。

同様にして、指定座標ａよりも下方向については、閾値以上である画素について、同一の水平位置にあり且つ最も下側にある座標（１７，１６）が中心位置候補とされる。そして、１６ライン目の画素において、閾値以上の画素で座標（１０，１６）が最も左側に位置し、座標（２５，１６）が最も右側に位置するので、これら座標（１０，１６）および座標（２５，１６）の各々も中心位置候補とされる。

さらに、指定座標ａから右方向については、閾値以上の画素について、指定座標ａと同一の垂直位置にあり且つ最も右側にある座標（２５，１４）が中心位置候補とされる。そして、指定座標ａより最も右側に位置する２５列目において、閾値以上の画素では座標（２５，１４）が最も上側に位置し、座標（２５，１６）が最も下側に位置する。よって、座標（２５，１６）が中心位置候補とされる。

また、指定座標ａから左方向については、閾値以上の画素について、指定座標ａと同一の垂直位置にあり且つ最も左側にある座標（１１，１４）が中心位置候補とされる。そして、指定座標ａより最も左側に位置する１１列目において、閾値以上の画素で座標（１０，１６）が最も下側に位置するので、座標（１０，１６）が中心位置候補とされる。なお、図示の例では、指定座標ａより最も左側に位置する列において指定座標ａより上側にある中心位置候補は存在しない。

このようにして得られた中心位置候補について、重複している座標を除くと、次の８つの画素（ブロック積分画素）が特徴色パターンの中心位置候補として得られる。

座標（１７，１１）：マッチング結果（７０）
座標（１５，１１）：マッチング結果（６８）
座標（１９，１１）：マッチング結果（７３）
座標（１７，１６）：マッチング結果（９１）
座標（１０，１６）：マッチング結果（６６）
座標（２５，１６）：マッチング結果（８７）
座標（２５，１４）：マッチング結果（８０）
座標（１１，１４）：マッチング結果（８１）
ここでは、特徴色パターンとして特徴色パターンＢ〜Ｉの８種類を備えることができるので、上記の全ての中心位置候補を中心位置座標として、当該中心位置座標の画素を中心として３×３ピクセルの特徴色パターンを得る。

このようにして得られた特徴色パターンの中心位置座標から特徴色パターンＢ〜Ｉを示す情報が特徴色パターン情報として抽出される。

図１０は、全ての特徴色パターンを配置した状態を示す図である。また、図１１は、特徴色パターン情報のデータ構成の一例を示す図である。

前述のように、特徴色パターンの各々は３×３ピクセルのブロック積分画素であるので、特徴色パターンの各々は、ブロック積分画素の色情報としてＲ、Ｇ、およびＢの値（例えば、８ビットデータ）を備えている。従って、例えば、特徴色パターン情報Ａは８ビットデータＡ０〜Ａ８の各々がＲ、Ｇ、およびＢの値を有することになる。

ここでは、特徴色パターンの中心位置座標を求めるため、特徴色パターンＡの上下左右の方向にある類似するブロック積分画素と、さらに、各方向の最も外側に位置するブロック積分画像においてそれぞれ上下左右方向の最も遠くにあるブロック積分画素を中心位置候補とした。そして、特徴色パターン中心位置座標が重複するか又は条件を満たすブロック積分画素がないなどの理由で、得られた特徴色パターン中心位置座標が特徴色パターン数より多くなった場合には、マッチング結果と特徴色パターンＡとの距離関係とに応じて選別するようにしてもよい。

また、特徴色パターンの配置については、ステップＳ１０５で得られた被写体の色形状情報を特徴的に捉えるよう配置することができればよいので、例えば、特徴色パターンＡの上下左右方向における最も外側にあるブロック積分画素４つを取得する。そして、４つのブロック積分画素間を補間する位置にある類似のブロック積分画素を中心候補として新たに４つのブロック積分画素を得て、８つの特徴色パターンを得るようにしてもよい。

再び、図４を参照して、重み情報付加部２１１は特徴色パターンＢ〜Ｉと特徴色パターンＡとの相対的距離に応じて得られる重み情報を特徴色パターン情報に付加する（ステップＳ１０８）。

図１２は、図３に示す重み情報付加部２１１よる重み情報の付加を説明するための図である。

特徴色パターンＢは、座標（１５，１１）が中心位置座標であり、特徴色パターンＡの中心位置座標（１７，１４）からみた相対的位置は（−２，−３）となる。この相対的位置情報に応じたベクトルの大きさの逆数を、ここでは重み情報とする。特徴色パターンＢについては２の２乗と３の２乗の和をルート演算すると、約３．６となる。従って、この値（３．６）の逆数が重み情報とされる。

なお、ブロック積分画像のサイズが３２×２４ピクセルであるので、重み情報はとりうる相対的位置情報の最大値を１として正規するようにしてもよい。

この結果、特徴色パターン情報にはＲ、Ｇ、およびＢの８Ｂｉｔデータの他に次の情報が付加されることになる。

特徴色パターンＡでは、座標（１７，１４）、マッチング結果はなし、重み情報はなし。

特徴色パターンＢでは、座標（１５，１１）、マッチング結果：６８、重み情報：１／３．６。

特徴色パターンＣでは、座標（１７，１１）、マッチング結果：７０、重み情報：１／３．０。

特徴色パターンＤでは、座標（１９，１１）、マッチング結果：７３、重み情報：１／３．６。

特徴色パターンＥでは、座標（１１，１４）、マッチング結果：８１、重み情報：１／６．０。

特徴色パターンＦでは、座標（２５，１４）、マッチング結果：８０、重み情報：１／８．０。

特徴色パターンＧでは、座標（１０，１６）、マッチング結果：６６、重み情報：１／７．２。

特徴色パターンＨでは、座標（１７，１６）、マッチング結果：９１、重み情報：１／２．０。

特徴色パターンＩでは、座標（２５，１６）、マッチング結果：８７、重み情報：１／８．２。

さらに、ステップＳ１０８において、重み情報付加部２１１は特徴色パターンの重み情報として距離情報に応じた重み情報の他に、特徴色パターンＢ〜Ｉについて、特徴色パターンＡの中心ブロック積分画素と類似する画素の数を重み情報として付加する。特に、特徴色パターンの配置については被写体の色外形（色形状）を特徴的に捉えることが必要であるので、特徴色パターンＡとのマッチング結果が高いブロック積分画素が１つ以上隣接しているものを優先的に特徴色パターン中心位置座標とするようにしてもよい。

これによって、ブロック積分画像に突発的に発生する特徴色パターンＡに類似したブロック積分画素が存在しても重み情報を低く設定することによって、同一被写体における色形状を追従することが可能となる。

次に、特徴色パターン抽出部２０９はブロック積分画像から特徴色パターンＢ〜Ｉについて３×３ピックセルの８ビットデータを抽出して、レジスタ２０７に特徴色パターン情報として記録する（ステップＳ１０９）。

続いて、ＣＰＵ１０８はユーザが撮影終了を指示したか否かを判定する（ステップＳ１１０）。撮影終了が指示されると（ステップＳ１１０において、ＹＥＳ）、ＣＰＵ１０８は撮影を終了する。一方、撮影終了が指示されないと（ステップＳ１１０において、ＮＯ）、ＣＰＵ１０８は、後述する追尾処理フローに移行する。

このようにして、ユーザが指定した追尾対象の被写体について、色形状情報を取得して、追尾被写体の色形状に応じて複数の特徴色パターンを配置するようにしたので、特徴色パターンマッチングを用いて被写体の追尾に係る精度を向上させることができる。また、時間的に連続又は異なるフレーム間において、追尾対象の被写体の形状および大きさが変化しても、複数の特徴色パターンの配置を変化させれば追尾を良好に行うことができる。

図１３は、図１に示す撮像装置で行われる色追尾処理を説明するためのフローチャートである。

いま、図４に関連して説明したようにして、追尾対象である被写体に係る特徴色パターン情報が記録されたものとする。追尾処理が開始されると、ＣＰＵ１０８は特徴色パターン情報を求めた際の撮像データと時間的に異なる撮像データ（キャプチャデータ）を、現像部１１９によって現像して現像データ（つまり、ＹＵＶ画像）をメモリ１１４に記録する（ステップＳ２０１）。

続いて、ＣＰＵ１０８の制御下で、追尾処理部１２０はメモリ１１４に記録した現像データを読み出して、水平積分部２０１および垂直積分部２０２においてｎ×ｍピクセル程度のブロック積分画像を生成する（ステップＳ２０２）。ここでは、ｎ＝３２、ｍ＝２４である。そして、ＹＵＶ２ＲＧＢ変換部２０５で変換処理されたブロック積分画像について、マッチング処理部２０８は特徴色パターン情報Ａ〜Ｉとの特徴色パターンマッチング処理を行う（ステップＳ２０３）。

図１４は、図３に示すマッチング処理部２０８で行われる特徴色パターンマッチング処理を説明するための図である。

特徴色パターンマッチング処理の際には、マッチング処理部２０８は、まず特徴色パターンＡについて、破線で示すように左上から水平方向に当該特徴色パターンを右にずらしつつ特徴色パターンマッチング処理を行う。そして、マッチング処理部２０８は特徴色パターンＢ〜Ｉについても特徴色パターンＡと同様にして特徴色パターンマッチング処理を行う。

特徴色パターンマッチング処理の際には際ＬＩＮＥメモリ２０４を使用して、１座標毎に９種類の特徴色パターンについてのマッチング結果を出力する。

なお、ここでは、３×３ピクセルの特徴色パターンにおいてその中心ブロック積分画素を座標（１，１）に位置づけて特徴色パターンマッチング処理を開始するが、３×３ピクセルの特徴色パターンにおいて中心ブロック積分画素を原点に位置づけて、はみ出した特徴色パターンのブロック積分画素については評価対象としないようにしてもよい。

ここで、特徴色パターンマッチング処理による評価結果（マッチング結果）の出力について説明する。

図１５は、特徴色パターンマッチング処理における処理過程についてブロック積分画像の一部分を拡大して示す図である。図１６は、特徴色パターンＢの一例を示す図である。

いま、特徴色パターンＢが図１６に示すパターンであるとする。そして、図１４に示すように、特徴色パターンＢに係るマッチング処理がブロック積分画像の座標（１６，１３）の位置に達しているものとする。

図１７は、座標（１６，１３）を中心としてブロック積分画像を３×３ピクセルで抜き出した状態を示す図である。

ここでは、３×３ピクセルのブロック積分画素Ｘと特徴色パターンＢとについてＲ、Ｇ、Ｂの色情報の値を比較して、一致する場合を評価結果１００とし、類似度が低くなるについて評価結果を１００から小さくする。

図１８は、図１６に示す特徴色パターンと図１７に示す３×３ピクセルのブロック積分画素とを比較した評価結果の一例を示す図である。

また、図１９は、図１８に示す評価結果について特徴色パターンの中心画素を除く画素について所定の閾値を基準として２値化した評価結果を示す図である。

いま、特徴色パターンマッチング処理によって、図１８に示す評価結果が得られたとする。この際、評価結果を記録する際の情報量を減らすため、マッチング処理部２０８は、例えば、図１８に示す評価結果を２値化する。ここでは、閾値を６０として、特徴色パターンの中心画素を除いて他の画素に関して、図１８に示す評価結果が閾値以上であれば評価結果を”１”とし、評価結果が閾値未満であれば評価結果を”０”として２値化を行う。

図２０は、図１５に示す状態から水平方向に１画素分ずらしてマッチング処理を行う状態を示す図である。

図２０に示す状態では、３×３ピクセルのブロック積分画素が特徴色パターンＢとほぼ一致する状態であるので、特徴色パターンの中心画素における評価結果ではその値が大きく、その周辺画素と対応するブロック積分画素も閾値以上となる。この結果、当該位置におけるブロック積分画素は特徴色パターンＢとの類似度が高い。

図２１は、図２１に示す状態から水平方向に１画素分ずらしてマッチング処理を行う状態を示す図である。

図２１に示す状態では、特徴色パターンＢの中心画素に関して、ブロック積分画素が類似しているので評価結果は高くなるものの、その周辺の評価結果が図２０に示す例よりも低くなる。このため、特徴色パターンＢに関しては図１９に示す位置が類似度の高い位置として記録されることになる。

そして、マッチング処理部２０８は特徴色パターンＡ〜Ｉの各々について上述の処理を行う。

再び、図１３を参照して、マッチング処理部２０８は特徴色パターンＡについてパターン特徴色パターンマッチング処理を行った結果得られた評価結果（つまり、検出結果）に応じて類似度が高い位置の座標（位置座標）が得られたか否かを判定する（ステップＳ２０４）。ここでは、例えば、特徴色パターンＡにおける中心画素に係る評価結果が所定の閾値（例えば、６０）以上であり、且つ周辺画素に係る評価結果が６個以上で１を示す場合に、マッチング処理部２０８は類似度の高い位置座標が得られたと判定する。

類似度の高い位置座標が得られないと判定すると（ステップＳ２０４において、ＮＯ）、マッチング処理部２０８は特徴色パターンを初期化する。そして、ＣＰＵ１０８はユーザに追尾対象の被写体の再指定を促すため、ＬＣＤ１１６にメッセージを表示する（ステップＳ２１７）。次に、処理は図３のパターン配置処理に戻る。

なお、ステップＳ２０４とステップＳ２１７との間に、数フレームに亘ってステップＳ２０４の条件が満たされないと、ステップＳ２１７の処理に進むステップを挿入するようにしてもよい。

類似度の高い位置座標が得られたと判定すると（ステップＳ２０４において、ＹＥＳ）、マッチング処理部２０８は特徴色パターンＢ〜Ｉの全てについて類似度の高い評価結果が存在するか否かを判定する（ステップＳ２０５）。ここでは、マッチング処理部２０８は特徴色パターンＡの場合と同様にして判定を行う。

特徴色パターンＢ〜Ｉのいずれかについて類似度の高い評価結果が存在しないと（ステップＳ２０５において、ＮＯ）、マッチング処理部２０８は該当する特徴色パターンに係る特徴色パターン情報を初期化する（ステップＳ２１５）。

なお、ステップＳ２０５とステップＳ２１５との間に、数フレームに亘ってステップＳ２０５の条件が満たされないと、ステップＳ２１５の処理に進むステップを挿入するようにしてもよい。この場合には、ステップＳ２０５において条件を満たさなかった回数を特徴色パターン毎に記憶しておく必要がある。

続いて、マッチング処理部２０８は、ステップＳ２１５において初期化した特徴色パターン数が所定の数Ｎ（Ｎは２以上７以下の整数）以上であるか否かを判定する（ステップＳ２１６）。初期化した特徴色パターン数が所定の数Ｎ以上であると（ステップＳ２１６において、ＹＥＳ）、処理は図３に示すパターン配置処理に戻る。

特徴色パターンＢ〜Ｉの全てについて類似度の高い評価結果が存在すると（ステップＳ２０５において、ＹＥＳ）、マッチング処理部２０８は類似度の高い特徴色パターンについてブロック積分画像で最も類似度が高い位置座標を求める（ステップＳ２０６）。なお、ステップＳ２１６において、初期化した特徴色パターン数が所定の数Ｎ未満であると（ステップＳ２１６において、ＮＯ）、処理はステップＳ２０６に進む。

続いて、マッチング処理部２０８は、ステップＳ２０６で得られた位置座標に基づいて、図３で説明したようにして、当該位置座標と特徴色パターンＡの中心座標との相対的位置を示す相対的位置情報を求める。そして、マッチング処理部２０８は特徴色パターンＢ〜Ｉを抽出した際の位置情報から得られた相対的位置情報と比較して相対的位置関係が等しいかを評価して、特徴色パターンＢ〜Ｉ毎に位置評価値を得る（ステップＳ２０７）。

次に、マッチング処理部２０８は、特徴色パターンＢ〜Ｉの各々についてその位置評価値に応じて一致度が所定の閾値以上であるか否かを判定する（ステップＳ２０８）。

図２２は、図３で説明したパターン配置処理によって得られた特徴色パターン情報から点線矢印の方向に追尾対象の被写体が移動した際の状態の一例を示す図である。

図示の例では、ブロック積分画像に関して、特徴色パターンＡ〜Ｉはそれぞれ移動先Ａ’〜Ｉ’の位置においてその位置情報の類似度が高くなる。よって、追尾対象の被写体に係る色外形（色形状）を捉えつつ特徴色パターンマッチング処理を行うことができる。

図２３は、図３で説明したパターン配置処理によって得られた特徴色パターン情報から点線矢印の方向に追尾対象の被写体が移動した際の状態の他の例を示す図である。

図２３に示す例では、特徴色パターンＡ〜Ｉはそれぞれ移動先Ａ”〜Ｉ”の位置で位置情報の類似度が高くなる。例えば、特徴色パターンＧの移動先Ｇ”においては、前述のステップＳ２０８において、一致度が所定の閾値未満となって相対的距離が一致しない。

なお、相対的距離の一致度を判定する際には、例えば、特徴色パターン情報が有する位置情報とブロック積分画像内で得られた類似度が最も高い位置情報とに基づいて、特徴色パターンＡからの相対的距離についてベクトルの差分を求める。そして、当該差分値が所定の閾値以上であるか否かによって相対的距離の一致度を判定するようにしてもよい。

一致度が所定の閾値未満であると（ステップＳ２０８において、ＮＯ）、マッチング処理部２０８は該当する特徴色パターン情報にフラグを付加する（ステップＳ２１９）。このフラグは、後述するステップＳ２０９の処理において移動量を求める際の特徴色パターンとして用いないことを指示するためのものである。

一致度が所定の閾値以上であると判定されると（ステップＳ２０８において、ＹＥＳ）、ベクトル演算部２１２は特徴色パターンマッチング処理で得られた特徴色パターンの位置情報と特徴色パターン情報が有する位置情報とに応じて追尾対象の被写体についてその移動量を求める（ステップＳ２０９）。なお、ステップＳ２１９の処理の後、処理はステップＳ２０９に進む。

例えば、特徴色パターンＢ〜Ｉに関して、特徴色パターンマッチング処理で得られた位置情報と特徴色パターン情報が有する位置情報に応じて、各特徴色パターンの移動量を求める。続いて、各重み情報に基づいて特徴色パターンＢ〜Ｉの移動量の平均ベクトルを求める。

図２４は、図２３に示す各特徴色パターンの移動量について重みづけによって得られた平均ベクトルを説明するための図である。

図２４においては、特徴色パターンＧについては、ステップＳ２１９において移動量を求める特徴色パターンとして用いないフラグが付加されているものとする。従って、特徴色パターンＧ係る移動ベクトルＧ”を除く、移動ベクトルついて特徴色パターンの重みづけ情報を用いて平均ベクトルＴ”を求める。

図２５は基準となる特徴色パターンＡに係る移動ベクトルを示す図である。

いま、図２５に示すように、特徴色パターンＡに関して同一の画像で複数の位置で高い類似度が得られたとする。例えば、位置Ａ”、Ａ２”、およびＡ３”において高い類似度が得られたとする。この場合には、図２４で説明した平均ベクトルＴ”を用いて、平均ベクトルＴ”と最も近い移動ベクトルが得られる位置Ａ”、Ａ２”、およびＡ３”のいずれかが特徴色パターンＡの移動先とされる。

図２６は基準特徴色パターンに係る移動ベクトルと平均ベクトルとを重ねた状態で示す図である。

図２６において、位置Ａ”、Ａ２”、およびＡ３”に係る移動ベクトル（ベクトルＡ”、ベクトルＡ２”、ベクトルＡ３”）と平均ベクトルＴ”とにおいて、平均ベクトルＴ”に最も近い移動ベクトルはベクトルＡ”であるので、ここでは、ベクトルＡ”の絶対値が被写体の移動量とされる。

続いて、ベクトル演算部２１２で得られた移動量（ここでは、ベクトルＡ”の絶対値）に応じて、ＣＰＵ１０８は光軸調整制御部１０９を制御して光軸調整部１０５によって光学系１００を駆動し焦点位置を追尾対象である被写体の移動に合わせて変更する（ステップＳ２１０）。さらに、ＣＰＵ１０８は当該移動量および被写体の色形状に応じてＬＣＤ１１６に表示する追尾枠の大きさと位置を更新する（ステップＳ２１１）。

次に、ＣＰＵ１０８の制御下で、マッチング処理部２０８は特徴色パターン情報を声新する（ステップＳ２１２）。例えば、ステップＳ２１２においては、前述のフラグが同一の特徴色パターンにおいて複数フレームにわたって連続して付加されると当該特徴色パターン情報が更新される。

次に、ＣＰＵ１０８はユーザが撮影終了を指示したか否かを判定する（ステップＳ２１３）。撮影終了が指示されると（ステップＳ２１３において、ＹＥＳ）、ＣＰＵ１０８は追尾処理を終了する。一方、撮影終了が指示されないと（ステップＳ２１３において、ＮＯ）、処理はステップＳ２０１に戻る。

このようにして、一つの特徴色パターンで被写体色追尾を行うと、特徴色パターンマッチング結果によって同様の類似度の位置情報が複数得られて追尾対象の被写体を正確に追尾できないという状況を解消することができる。つまり、追尾対象の被写体の色形状に応じて配置された複数の特徴色パターン情報を用いて、被写体の大きさおよび形状に合わせて精度よく色追尾を行うことができる。

以上のように、本発明の実施形態においては、時間の推移とともに大きさおよび形状が変化する追尾対象の被写体に対してその色形状を捉えつつ特徴色パターンを複数配置することができる。そして、追尾対象の被写体の形状に応じて特徴色パターンを配置する際、周辺の色情報に応じて重み情報を変更するようにしたので、被写体の形状に応じた特徴色パターン程、重み情報による重みが高くなる。

さらに、特徴色パターンの数を所定の数とするので、特徴色パターンの記憶領域を一定とした状態で、被写体の形状に応じて特徴色パターンの配置を行うことができる。

上述の説明から明らかなように、図３に示す例においては、ＣＰＵ１０８および特徴色パターン抽出部２０９が位置取得手段および抽出手段として機能する。また、ＣＰＵ１０８および形状判別部２１０が形状判別手段として機能し、ＣＰＵ１０８およびマッチング処理部２０８が配置手段およびマッチング手段として機能する。また、ＣＰＵ１０８、マッチング処理部２０８、および重み情報付加部２１１が変更手段として機能する。

なお、図１に示す例では少なくともＣＰＵ１０８およびデジタル信号処理部１０４が色追尾処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を色追尾処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを色追尾装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも位置取得ステップ、抽出ステップ、形状判別ステップ、配置ステップ、およびマッチングステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像素子
１０４ デジタル信号処理部
１０８ ＣＰＵ
１０９ 光軸調整制御部
２０１ 水平積分部
２０２ 垂直積分部
２０４ ＬＩＮＥメモリ
２０５ ＹＵＶ２ＲＧＢ変換部
２０６ マッチング処理部
２０７ レジスタ

Claims (5)

1. 一方の画像から取得された被写体の特徴色パターンを用いてパターンマッチングを行うことで、他方の画像において前記被写体を追尾する追尾処理装置であって、
   前記一方の画像から前記被写体の第１の特徴色パターンを抽出する抽出手段と、
   前記第１の特徴色パターンと類似するパターンを検出することにより前記一方の画像における前記被写体の形状を求め、当該形状にそって前記第１の特徴色パターンとは別に他の特徴色パターンを取得する取得手段と、
   前記第１の特徴色パターンと前記他の特徴色パターンの両方を用いてパターンマッチングを行うことによって、前記他方の画像において前記被写体の位置を特定するマッチング手段と、
   を有することを特徴とする追尾処理装置。
2. 前記他の特徴色パターンには、前記第１の特徴色パターンとの相対的距離に応じた重み情報が付加されており、
   前記マッチング手段は前記重み情報に応じて前記他の特徴色パターンによるマッチング処理を行うことを特徴とする請求項１に記載の追尾処理装置。
3. 前記特定の被写体の形状に応じて前記重み情報を変更する変更手段を有することを特徴とする請求項２に記載の追尾処理装置。
4. 前記変更手段は、さらに前記マッチング手段によるマッチング処理結果に基づいて前記重み情報を更新することを特徴とする請求項３に記載の追尾処理装置。
5. 一方の画像から取得された被写体の特徴色パターンを用いてパターンマッチングを行うことで、他方の画像において前記被写体を追尾する追尾処理装置の制御方法であって、
   前記一方の画像から前記被写体の第１の特徴色パターンを抽出する抽出ステップと、
   前記第１の特徴色パターンと類似するパターンを検出することにより前記一方の画像における前記被写体の形状を求め、当該形状にそって前記第１の特徴色パターンとは別に他の特徴色パターンを取得する取得ステップと、
   前記第１の特徴色パターンと前記他の特徴色パターンの両方を用いてパターンマッチングを行うことによって、前記他方の画像において前記被写体の位置を特定するマッチングステップと、
   を有することを特徴とする制御方法。