JPWO2008114683A1 - 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ - Google Patents

Abstract

被写体追跡用コンピュータプログラム製品に格納されたプログラムによりコンピュータは、入力画像に対して、倍率が異なる複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順と、テンプレートマッチング手順によるマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、判断手順によって更新条件を満たすと判断したときに、複数のテンプレート画像の内の少なくとも１枚を更新する更新手順とを実行する。

Description

本発明は、複数の入力画像間で被写体の追跡を行う被写体追跡プログラムを格納した被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラに関する。

次のような物体追跡装置が知られている。この物体追跡装置は、各フレームの入力画像を異なる時刻に得られた複数のテンプレート画像それぞれに対してマッチング処理を行う。そして、その中で最大の一致度をもつ入力画像内の領域をテンプレートマッチング位置とし、テンプレートマッチング位置を新たなテンプレート画像として更新することで追跡対象となる物体の変形等に対処して物体を追跡する（特許文献１参照）。

２００１−６０２６９号公報

しかしながら、従来の物体追跡装置においては、各フレームの入力画像に対するマッチング処理ごとに複数のテンプレート画像の更新が行われるため、テンプレート画像の変動が激しく、安定したテンプレートマッチングを行うことができない可能性がある。特に、被写体がカメラの光軸方向に動く場合には、被写体の大きさが変動するため、安定さに欠ける可能性が高い。

本発明の第１の態様による、時系列で入力される複数の入力画像間で被写体の動きを追跡するためにコンピュータで実行される被写体追跡プログラムを格納した被写体追跡用コンピュータプログラム製品には、次の手順をコンピュータで実行させるためのプログラムが格納されている。入力画像に対して、倍率が異なる複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順と、テンプレートマッチング手順によるマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、判断手順によって更新条件を満たすと判断したときに、複数のテンプレート画像の内の少なくとも１枚を更新する更新手順。
本発明の第２の態様によると、第１の態様の被写体追跡用コンピュータプログラム製品において、複数のテンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、現選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および現選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含むことが好ましい。
本発明の第３の態様によると、第２の態様の被写体追跡用コンピュータプログラム製品において、判断手順は、拡大テンプレート画像、および縮小テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたことを更新条件として判断することが好ましい。
本発明の第４の態様によると、第２の態様の被写体追跡用コンピュータプログラム製品において、判断手順は、拡大テンプレート画像、および縮小テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。
本発明の第５の態様による、時系列で入力される複数の入力画像間で被写体の動きを追跡するためにコンピュータで実行される被写体追跡プログラムを格納した被写体追跡用コンピュータプログラム製品には、次の手順をコンピュータで実行させるためのプログラムが格納されている。入力画像に対して、倍率が異なる複数のテンプレート画像（倍率差テンプレート画像）、および時刻が異なる複数のテンプレート画像（時間差テンプレート画像）を含む複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、テンプレートマッチング手順によるマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、判断手順によって更新条件を満たすと判断したときに、複数のテンプレート画像の内の少なくとも１枚を更新する更新手順。
本発明の第６の態様によると、第５の態様の被写体追跡用コンピュータプログラム製品において、複数の倍率差テンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、現選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および現選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含み、複数の時間差テンプレート画像は、更新手順によって複数のテンプレート画像が更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新選択テンプレート画像、および複数のテンプレート画像内で時間的に最も前に取得され、更新手順によって更新されない非更新テンプレート画像を含むことが好ましい。
本発明の第７の態様によると、複数の時間差テンプレート画像は、更新手順によって複数のテンプレート画像が更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新選択テンプレート画像、および複数のテンプレート画像内で時間的に最も前に取得され、更新手順によって更新されない非更新テンプレート画像を含み、複数の倍率差テンプレート画像は、新選択テンプレート画像、新選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および新選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含むことが好ましい。
本発明の第８の態様によると、第６または７の態様の被写体追跡用コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像、新選択テンプレート画像、拡大テンプレート画像、縮小テンプレート画像、および非更新テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたことを更新条件として判断することが好ましい。
本発明の第９の態様によると、第６または７の態様の被写体追跡用コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像、新選択テンプレート画像、拡大テンプレート画像、縮小テンプレート画像、および非更新テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。
本発明の第１０の態様によると、第１〜９のいずれかの態様の被写体追跡用コンピュータプログラム製品において、倍率が異なる複数のテンプレート画像は、テンプレート画像の大きさはそのままで画像の倍率のみを変更した複数のテンプレート画像、および画像の倍率を変更すると共にその変更した倍率に応じてテンプレート画像の大きさも変更した複数のテンプレート画像のいずれかであることが好ましい。
本発明の第１１の態様によると、被写体追跡装置は、第１〜１０のいずれかの態様の被写体追跡用コンピュータプログラム製品に格納されたプログラムを実行する実行部を備える。
本発明の第１２の態様によると、カメラは、被写体像を撮像して、画像信号を出力する撮像部と、第１〜１０のいずれかの態様の被写体追跡用コンピュータプログラム製品に格納されたプログラムを実行する実行部とを備える。

本発明によれば、被写体がカメラの光軸方向に動く場合でも、安定してテンプレートマッチングを行うことができる。

被写体追跡装置としてカメラを用いた場合の一実施の形態の構成を示すブロック図。 第１の実施の形態におけるテンプレート画像の具体例を示す図。 被写体がカメラに接近した場合のターゲット画像の具体例を示す図。 カメラ１００の処理を示すフローチャート図。 第２の実施の形態におけるテンプレート画像の具体例を示す図。 被写体追跡装置としてセキュリティ装置を用いた場合の一実施の形態の構成を示すブロック図。 プログラムをパーソナルコンピュータに提供する様子を示す図。

―第１の実施の形態―
図１は、第１の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリ１０５と、メモリカードスロット１０６と、モニタ１０７とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズスイッチやデジタルカメラ１００を操作するための種々の操作ボタンが含まれる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２を通して入力される被写体像を撮像して、撮像した画像データを制御装置１０４へ出力する。なお、第１の実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０７に出力して表示し、さらにメモリカードスロット１０６に挿入されているメモリカード内に記憶する。

制御装置１０４はまた、テンプレートマッチング部１０４ａと、テンプレート更新部１０４ｂと、被写体追跡部１０４ｃとを機能的に有している。そして、これらの各部による処理によって、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。以下、撮像素子１０３から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。

テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば相互相関法や残差逐次検定法などの手法を用いればよい。

すなわち、テンプレートマッチング部１０４ａは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域、すなわち矩形枠を抽出する。

被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された領域をフレーム間で追跡することによって、撮像素子１０３から時系列で入力される動画像データ内での追跡対象被写体を追跡することができる。

このとき、ターゲット画像内に含まれる被写体がカメラ１００の光軸方向に移動している場合、すなわち被写体がカメラ１００に接近する方向または遠ざかる方向に移動している場合や、被写体に対してズームインまたはズームアウトした場合には、フレーム間での被写体の大きさが変化する。例えば、図２（ａ）に示すターゲット画像における被写体である乳児が、カメラ１００に向かって移動してきた場合には、所定時間経過後には、図３に示すように図２（ａ）の場合と比較して、ターゲット画像内における乳児の大きさが大きくなる。

この場合には、時間が経過するにつれてターゲット画像内における被写体の大きさと、テンプレート画像内における被写体の大きさが乖離していくため、そのままテンプレート画像を使用し続けると、テンプレート画像と対応するターゲット領域との類似度が徐々に低下していくことにより、マッチング精度が低下していくことになる。よって、本実施の形態では、このようなマッチング精度の低下を防止するために、倍率（拡大倍率または縮小倍率）の異なる複数のテンプレートを用意しておき、これらの複数のテンプレートを用いてテンプレートマッチング処理を実行するようにする。

具体的には、本実施の形態では、ある時間に撮像素子１０３から入力された画像内から追跡対象とする被写体を含む所定範囲の領域を抽出してＣｕｒｒｅｎｔテンプレート（Ｃｕｒテンプレート）とする。そして、Ｃｕｒテンプレートよりも倍率を拡大したＬａｒｇｅテンプレート、およびＣｕｒテンプレートよりも倍率を縮小したＳｍａｌｌテンプレートとし、これらの３枚のテンプレート画像として用いる。

テンプレート画像の具体例について図２を用いて説明する。図２（ａ）は、ある時間に撮像素子１０３から入力された画像（ターゲット画像）を示しており、このターゲット画像内に含まれる乳児をフレーム間で追跡するためのテンプレート画像を図２（ｂ）〜図２（ｄ）に示す。

使用者が図２（ａ）に示すターゲット画像内で主要被写体を含む所定領域２ａを指定すると、制御装置１０４は、所定領域２ａ内の画像を抽出し、図２（ｂ）に示すようにこれをＣｕｒテンプレートとする。そして、制御装置１０４は、Ｃｕｒテンプレートを所定の倍率、例えば１．１倍に拡大し、拡大した画像をＣｕｒテンプレートと同じ大きさに切り出して図２（ｃ）に示すＬａｒｇｅテンプレートを作成する。さらに、制御装置１０４は、ターゲット画像を所定の倍率、例えば０．９１倍に縮小した後、Ｃｕｒテンプレートを抽出した位置からＣｕｒテンプレートと同じ大きさの領域内の画像を抽出して図２（ｄ）に示すＳｍａｌｌテンプレートを作成する。

テンプレートマッチング部１０４ａは、これらの３つのテンプレートを用いて、時系列で入力されるターゲット画像に対してテンプレートマッチング処理を行う。これによって、ターゲット画像内における被写体の大きさが変化した場合でも、テンプレート画像と、対応するターゲット領域との類似度が低下するのを防ぐことができる。

例えば、被写体がカメラ１００に接近したことによって被写体が大きくなった場合には、Ｃｕｒテンプレートとターゲット領域との類似度は低下するが、代わりにＬａｒｇｅテンプレートとの間の類似度が上昇するため、マッチング精度を維持することができる。また、被写体がカメラ１００から遠ざかったことによって被写体が小さくなった場合には、Ｃｕｒテンプレートとターゲット領域との類似度は低下するが、代わりにＳｍａｌｌテンプレートとの間の類似度が上昇するため、この場合もマッチング精度を維持することができる。

さらに、本実施の形態では、フレーム更新部１０４ｂは、フレーム間での被写体の大きさの変化に対応するために、後述する所定の条件を満たした場合には、最新の被写体の大きさに合わせたテンプレート画像を生成し直して、テンプレート画像の更新を行なうようにする。これによって、時間の経過と共に被写体の大きさが変化した場合には、あらかじめ用意した３枚のテンプレート画像のいずれもターゲット領域との類似度が低下する恐れがあるが、これを防いで精度の高いマッチングを行うことができる。以下、３枚のテンプレート画像を用いたテンプレートマッチング処理、およびテンプレート画像の更新処理について説明する。

まず、テンプレートマッチング部１０４ａは、入力される各フレームのターゲット画像に対して、上述した３枚のテンプレート画像を用いたテンプレートマッチング処理を行う。すなわち、テンプレートマッチング部１０４ａは、ターゲット画像内に設定したターゲット領域と、３枚のテンプレート画像のそれぞれとをテンプレートマッチングしていき、ターゲット画像内からそれぞれのテンプレート画像との類似度が最も高いターゲット領域を抽出する。具体的には、ターゲット領域内から、Ｃｕｒテンプレートとの類似度が最も高いターゲット領域、Ｌａｒｇｅテンプレートとの類似度が最も高いターゲット領域、およびＳｍａｌｌテンプレートとの類似度が最も高いターゲット領域をそれぞれ抽出する。

そして、テンプレートマッチング部１０４ａは、これらの中で類似度が最も高いテンプレート画像とターゲット領域との組を選択し、選択したテンプレート画像を選択テンプレート画像、ターゲット領域を合致領域とする。例えば、テンプレートマッチング部１０４ａは、Ｃｕｒテンプレートを用いてターゲット領域を抽出したときの類似度が、ＬａｒｇｅテンプレートおよびＳｍａｌｌテンプレートのそれぞれを用いたときの類似度よりも高い場合には、Ｃｕｒテンプレートを選択テンプレート画像とし、Ｃｕｒテンプレートを用いて抽出したターゲット領域を合致領域とする。

被写体追跡部１０４ｃは、このように、テンプレートマッチング部１０４ａで選択された合致領域のターゲット画像内における位置をフレーム間で追跡することによって、撮像素子１０３から時系列で入力されるフレームの画像、すなわち動画像データ内で追跡対象被写体を追跡することができる。制御装置１０４は、被写体追跡部１０４ｃによる被写体追跡の結果を、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ／自動露出調整）、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）、およびＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ／自動ホワイトバランス調整）の各処理で用いて撮影を行う。

例えば、制御装置１０４は、使用者によって入力スイッチ１０１に含まれるレリーズスイッチが半押しされたことを検出した場合には、被写体追跡部１０４ｃによって追跡されている被写体が最適な明るさとなるようにＡＥ処理を行い、当該被写体にピントが合うようにＡＦ処理を行う。また、当該被写体を基準としてＡＷＢ処理を行う。

テンプレート更新部１０４ｂは、上述したように、テンプレートマッチング部１０４ａによるマッチング結果が、所定のテンプレート更新条件を満たすか否かを判定する。具体的には、テンプレート更新部１０４ｂは、次の（ａ）〜（ｃ）に示すように、選択されたテンプレート画像がＣｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートのいずれであるかに基づいて、テンプレート更新条件を満たすか否かを判断する。

（ａ）選択テンプレートとしてＣｕｒテンプレートが選択された場合
この場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新は行なわずに、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートの設定を維持する。すなわち、テンプレートマッチングの結果、倍率を拡大も縮小もしていないＣｕｒテンプレートが選択テンプレートとして選択されたことから、未だターゲット画像内における被写体の大きさはそれほど変化しておらず、引き続き現在のテンプレート設定によってテンプレートマッチングが可能であると判断して、テンプレート画像の更新は行なわない。

（ｂ）選択テンプレートとしてＬａｒｇｅテンプレートが選択された場合
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば３回以上連続してＬａｒｇｅテンプレートが選択され、かつその間の類似度の平均値が所定の類似度以上、例えば、一致を表す類似度が１であり、不一致を示す類似度が０である場合には、類似度の平均が０．８以上であるという更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートの設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、画像内における被写体の大きさが徐々に大きくなっていることから、マッチング精度の低下を防ぐためにテンプレート画像の更新が必要であると判断して、次のようにテンプレート画像を更新する。すなわち、テンプレート更新部１０４ｂは、テンプレートサイズを１．１倍し、このサイズで合致領域内の画像を抽出し、これを新たなＣｕｒテンプレートとする。そして、新たなＣｕｒテンプレートを所定の倍率、例えば１．１倍に拡大し、拡大した画像をＣｕｒテンプレートと同じ大きさに切り出して新たなＬａｒｇｅテンプレートとする。さらに、ターゲット画像を所定の倍率、例えば０．９１倍に縮小した後、合致領域位置からＣｕｒテンプレートと同じ大きさの領域内の画像を抽出して新たなＳｍａｌｌテンプレートとする。

（ｃ）選択テンプレートとしてＳｍａｌｌテンプレートが選択された場合
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば３回以上連続してＳｍａｌｌテンプレートが選択され、かつその間の類似度の平均値が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートの設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、画像内における被写体の大きさが徐々に小さくなっていることから、マッチング精度の低下を防ぐためにテンプレート画像の更新が必要であると判断して、次のようにテンプレート画像を更新する。すなわち、テンプレート更新部１０４ｂは、テンプレートサイズを０．９１倍し、このサイズで合致領域内の画像を抽出し、これを新たなＣｕｒテンプレートとする。そして、新たなＣｕｒテンプレートを所定の倍率、例えば１．１倍に拡大し、拡大した画像をＣｕｒテンプレートと同じ大きさに切り出して新たなＬａｒｇｅテンプレートとする。さらに、ターゲット画像を所定の倍率、例えば０．９１倍に縮小した後、合致領域位置からＣｕｒテンプレートと同じ大きさの領域内の画像を抽出して新たなＳｍａｌｌテンプレートとする。

以上のテンプレート更新処理によって、被写体がカメラ１００の光軸方向に移動したことにより、ターゲット画像内における被写体の大きさが変化した場合に、テンプレート画像をその被写体の大きさに合ったものに適宜更新していくことができる。このため、テンプレートマッチング部１０４ａは、ターゲット画像内における被写体の大きさが変化した場合でも、精度の高いマッチング処理を継続して行うことができる。

また、上述した更新条件を満たす場合のみテンプレート画像を更新するようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

図４は、第１の実施の形態におけるカメラ１００の処理を示すフローチャートである。図４に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、テンプレートマッチング部１０４ａは、上述したようにターゲット画像内でターゲット領域を移動させながら、ターゲット領域内の画像と、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートのそれぞれのテンプレート画像とをテンプレートマッチング処理する。そして、テンプレートマッチング部１０４ａは、これらの中で類似度が最も高いテンプレート画像とターゲット領域との組を選択し、選択したテンプレート画像を選択テンプレート画像、ターゲット領域を合致領域とする。その後、ステップＳ２０へ進む。

ステップＳ２０では、物体追跡部１０４ｂは、テンプレートマッチング部１０４ａで選択された合致領域のターゲット画像内における位置をフレーム間で追跡することによって、撮像素子１０３から時系列で入力されるフレームの画像、すなわち動画像データ内で被写体を追跡する。

その後、ステップＳ３０へ進み、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、選択された選択テンプレートが、Ｃｕｒテンプレートであったか否かを判断する。肯定判断した場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新を行わず、後述するステップＳ６０へ進む。これに対して、否定判断した場合、すなわち選択テンプレートがＬａｒｇｅテンプレート、またはＳｍａｌｌテンプレートであったと判断した場合には、ステップＳ４０へ進む。

ステップＳ４０では、テンプレート更新部１０４ｂは、上述したように、テンプレートマッチング部１０４ａによるマッチング結果が、所定のテンプレート更新条件を満たすか否かを判定する。すなわち、所定回数以上連続してＬａｒｇｅテンプレートが選択され、かつその間の類似度の平均値が所定の類似度以上である場合、または所定回数以上連続してＳｍａｌｌテンプレートが選択され、かつその間の類似度の平均値が所定の類似度以上である場合には、テンプレート更新部１０４ｂは、テンプレート更新条件を満たすと判断する。

ステップＳ４０で否定判断した場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新を行なわずに、後述するステップＳ６０へ進む。一方、肯定判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、テンプレート更新部１０４ｂは、上述したようにテンプレートの更新を行なう。すなわち、テンプレート更新部１０４ｂは、テンプレートサイズを拡大（１．１倍）または縮小（０．９１倍）し、このサイズで合致領域内の画像を抽出し、これを新たなＣｕｒテンプレートとする。そして、新たなＣｕｒテンプレートを所定の倍率、例えば１．１倍に拡大し、拡大した画像をＣｕｒテンプレートと同じ大きさに切り出して新たなＬａｒｇｅテンプレートとする。さらに、ターゲット画像を所定の倍率、例えば０．９１倍に縮小した後、合致領域位置からＣｕｒテンプレートと同じ大きさの領域内の画像を抽出して新たなＳｍａｌｌテンプレートとする。

その後、ステップＳ６０へ進み、テンプレートマッチング部１０４ａは、撮像素子１０３からの動画像データの入力が終了したか否かを判断する。否定判断した場合にはステップＳ１０へ戻って処理を繰り返す。これに対して、肯定判断した場合には処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）倍率が異なる複数枚のテンプレート画像を用意し、各テンプレート画像を用いてテンプレートマッチング処理を行うようにした。そして、テンプレートマッチング処理の結果に基づいて、各テンプレート画像を更新するようにした。これによって、フレーム間で被写体がカメラ１００の光軸方向に移動したことによって、画像内における被写体の大きさが変化した場合でも、精度の高いテンプレートマッチング処理を継続することができる。

（２）テンプレート画像の更新を行うに際しては、ＳｍａｌｌテンプレートまたはＬａｒｇｅテンプレートが所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみ更新を行うようにした。これによって、例えばフレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

（３）テンプレート画像の大きさはそのままで画像の倍率のみを変更した複数のテンプレート画像を作成するようにした。これによって、全てのテンプレート画像の大きさを同一にすることができ、テンプレートマッチング部１０４ａによる処理の負荷を低減することができる。

―第２の実施の形態―
上述した第１の実施の形態では、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートの３つのテンプレートを使用してテンプレートマッチングを行うことによって、被写体がカメラ１００の光軸方向に移動した場合でも、ターゲット画像内の被写体の大きさ変化に対応して、精度高く被写体追跡を行えるようにした。これに対して、第２の実施の形態では、上述した３つのテンプレート画像に加えて、追跡対象とする被写体を異なる時刻に撮影した複数のテンプレート画像を用いる。なお、図１に示したブロック図については、第１の実施の形態と同様のため説明を省略する。

本実施の形態では、例えば、図５に示すようにターゲット画像５ａ内の乳児の動きをフレーム間で追跡する場合には、第１の実施の形態で上述したＣｕｒテンプレート５ｂ、Ｌａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの３つのテンプレート（倍率差テンプレート画像）に加えて、被写体としての乳児を異なる時刻に撮影した３枚の画像５ｅ〜５ｇをテンプレート画像（時間差テンプレート画像）としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像５ｅ〜５ｇのうち、最も古い時刻に撮影されたテンプレート画像５ｅを「ＩＮＩＴＩＡＬ」、その次の古い時刻に撮影されたテンプレート画像５ｆを「ＯＬＤ」、最新の時刻に撮影されたテンプレート画像５ｇを「ＮＥＷ」と設定する。

また、Ｃｕｒテンプレート５ｂとしては、時間的に「ＯＬＤ」テンプレート５ｆの後、かつ「ＮＥＷ」テンプレート５ｇの前に撮影されたテンプレート画像を用い、第１の実施の形態と同様にＣｕｒテンプレート５ｂに基づいて拡大および縮小して作成したテンプレートをそれぞれＬａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄとする。

すなわち、制御装置１０４は、異なる時刻に撮影された４枚のテンプレート画像として、「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、および「ＮＥＷ」テンプレート５ｃを取得し、Ｃｕｒテンプレート５ｂに基づいてＬａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄを生成する。なお、本実施の形態では、「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、および「ＮＥＷ」テンプレート５ｇは、異なる時間に使用者によってあらかじめ撮影されているものとする。

もし、使用者がテンプレート画像として、あらかじめ被写体を異なる時刻に撮影した複数枚の画像を用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成してもよく、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。

被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものをＣｕｒテンプレート５ｂとし、Ｃｕｒテンプレート５ｂを所定の倍率で拡大または縮小した画像を「ＯＬＤ」テンプレート５ｆとし、「ＯＬＤ」テンプレート５ｆとは異なる倍率でＣｕｒテンプレート５ｂを拡大または縮小した画像を「ＮＥＷ」テンプレート５ｇとすればよい。

また、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものをＣｕｒテンプレート５ｂとし、Ｃｕｒテンプレート５ｂを明るくした画像を「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂを暗くした画像を「ＮＥＷ」テンプレート５ｇとするなどすればよい。また、これ以外の方法により複数枚のテンプレート画像を擬似的に作成してもよい。

テンプレートマッチング部１０４ａは、これらの「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｃ、Ｌａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの６枚のテンプレート画像を用いて、第１の実施の形態と同様にターゲット画像５ａと各テンプレート画像とのマッチング処理を行う。そして、テンプレート更新部１０４ｂは、以下に説明するように、各テンプレート画像の更新処理を行う。

すなわち、上述した第１の実施の形態では、テンプレートマッチング部１０４ａは、Ｃｕｒテンプレート、Ｌａｒｇｅテンプレート、およびＳｍａｌｌテンプレートを用いてテンプレートマッチングを行った。そして、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるマッチング結果が、所定のテンプレート更新条件を満たした場合には、各テンプレートを更新するようにした。これによって、被写体がカメラ１００の光軸方向に移動したことにより、画像内における被写体の大きさが変化した場合でも、継続して制度の高いテンプレートマッチングを行えるようにした。

本実施の形態では、第１の実施の形態と同様の方法でＣｕｒテンプレート５ｂ、Ｌａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの更新を行なうと共に、さらに以下のようにして他のテンプレート画像を更新する。これによって、被写体がカメラ１００の光軸方向とは異なる方向に移動したり、人物などの被写体が姿勢を変化させたりすることによって、画像内における被写体の形状が変化した場合にも、継続して制度の高いテンプレートマッチングを行えるようにする。

具体的には、テンプレート更新部１０４ｂは、「ＩＮＩＴＩＡＬ」テンプレート５ｅは、更新処理の対象とせずに、恒久のテンプレート画像（非更新テンプレート画像）として扱う。そして、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇ、Ｌａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの各テンプレート画像の内、少なくとも１枚を更新する。

テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、上述した第１の実施の形態で（ａ）〜（ｃ）に示した所定の条件を満たす場合には、第１の実施の形態と同様に、Ｃｕｒテンプレート５ｂ、Ｌａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの更新を行なう。

また、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、以下の（ａ´）〜（ｄ´）に示す所定の条件を満たす場合には、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇの更新を行う。そして、Ｃｕｒテンプレート５ｂが更新されたタイミングで、更新されたＣｕｒテンプレート５ｂに基づいてＬａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄを生成し直す。なお、このときのＬａｒｇｅテンプレート５ｃ、およびＳｍａｌｌテンプレート５ｄの生成方法は、第１の実施の形態と同様のため説明を省略する。

（ａ´）選択テンプレート画像としてＣｕｒテンプレート５ｂが選択された場合
この場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新は行わずに、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇの各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高いと判定されていることから、被写体の動きが少なくテンプレート画像の更新の必要はないと判断して、テンプレート画像の更新は行わない。

（ｂ´）選択テンプレート画像として「ＩＮＩＴＩＡＬ」テンプレート５ｅが選択された場合
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＩＮＩＴＩＡＬ」テンプレート５ｅが連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇの各テンプレート画像の設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今までＣｕｒテンプレート５ｂとして設定されていたテンプレート画像を「ＯＬＤ」テンプレート５ｆに設定し、今まで「ＩＮＩＴＩＡＬ」テンプレート５ｅとして設定されていたテンプレート画像をＣｕｒテンプレート５ｂに設定する。さらに、合致領域内の画像を取り込んで新たに「ＮＥＷ」テンプレート５ｇに設定する。なお、非更新テンプレート画像である「ＩＮＩＴＩＡＬ」テンプレート５ｅのテンプレート画像は更新を行なわない。

これによって、最も類似度が高いと判定されたテンプレート画像をＣｕｒテンプレート５ｂに設定し、一世代前のＣｕｒテンプレート５ｂを「ＯＬＤ」テンプレート５ｆとして設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＩＮＩＴＩＡＬ」テンプレート５ｅとの類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」テンプレート５ｇに設定する。

（ｃ´）選択テンプレート画像として「ＯＬＤ」テンプレート５ｆが選択された場合
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＯＬＤ」テンプレート５ｆが連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇの各テンプレート画像の設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＯＬＤ」テンプレート５ｆとして設定されていたテンプレート画像をＣｕｒテンプレート５ｂに設定し、今までＣｕｒテンプレート５ｂとして設定されていたテンプレート画像を「ＯＬＤ」テンプレート５ｆに設定する。

これによって、最も類似度が高いと判定されたテンプレート画像をＣｕｒテンプレート５ｂに設定し、一世代前のＣｕｒテンプレート５ｂを「ＯＬＤ」テンプレート５ｆとして設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＯＬＤ」テンプレート５ｆとの類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」テンプレート５ｇに設定する。

（ｄ´）選択テンプレート画像として「ＮＥＷ」テンプレート５ｇが選択された場合
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＮＥＷ」テンプレート５ｇが連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」テンプレート５ｆ、Ｃｕｒテンプレート５ｂ、「ＮＥＷ」テンプレート５ｇの各テンプレート画像の設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＮＥＷ」テンプレート５ｇとして設定されていたテンプレート画像をＣｕｒテンプレート５ｂに設定し、今までＣｕｒテンプレート５ｂとして設定されていたテンプレート画像を「ＯＬＤ」テンプレート５ｆに設定する。

これによって、最も類似度が高いと判定されたテンプレート画像をＣｕｒテンプレート５ｂに設定し、一世代前のＣｕｒテンプレート５ｂを「ＯＬＤ」テンプレート５ｆとして設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＮＥＷ」テンプレート５ｇとの類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」テンプレート５ｇに設定する。

このように、異なる時間に取得した複数のテンプレート画像を更新することによって、被写体の動きに応じた形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、または「ＮＥＷ」テンプレート５ｇが所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

例えば、６００フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、６００回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を３０回程度まで減らすことが可能となり、処理の負荷を低減することができる。

第２の実施の形態におけるカメラ１００の処理を、図４に示したフローチャートを用いて説明する。図４に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置１０４によって実行される。なお、ここでは第１の実施の形態で上述した処理と同一の処理については説明を省略し、相違点を中心に説明する。

ステップＳ３０で否定判断した場合、すなわち選択テンプレートがＬａｒｇｅテンプレート５ｃ、Ｓｍａｌｌテンプレート５ｄ、「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、および「ＮＥＷ」テンプレート５ｇのいずれかであったと判断した場合には、ステップＳ４０へ進む。

ステップＳ４０では、テンプレート更新部１０４ｂは、上述したように、テンプレートマッチング部１０４ａによるマッチング結果が、所定のテンプレート更新条件を満たすか否かを判断する。そして、テンプレート更新部１０４ｂは、更新条件を満たすと判断した場合には、上述したように各テンプレート画像の更新を行なう。すなわち、テンプレート更新部１０４ｂは、第１の実施の形態において（ａ）〜（ｃ）で上述した更新条件と更新方法、および第２の実施の形態で（ａ´）〜（ｄ´）で上述した更新条件と更新方法に従って各テンプレート画像を更新する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて以下のような効果を得ることができる。
（１）異なる時間に撮影された複数枚のテンプレート画像を用意し、各テンプレート画像を用いてテンプレートマッチング処理を行うようにした。そして、テンプレートマッチング処理の結果に基づいて、各テンプレート画像を更新するようにした。これによって、フレーム間で被写体が移動したり姿勢を変化させたりしたことにより、画像内における被写体の形状が変化した場合でも、精度の高いテンプレートマッチング処理を継続することができる。

（２）テンプレート画像の更新を行うに際しては、「ＩＮＩＴＩＡＬ」テンプレート５ｅ、「ＯＬＤ」テンプレート５ｆ、または「ＮＥＷ」テンプレート５ｇが所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみ更新を行うようにした。これによって、例えばフレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

（３）テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成するようにした。これによって、被写体を異なる時刻に撮影して、複数のテンプレート画像を準備することができない場合であっても、本発明のテンプレートマッチング処理を行って被写体の追跡を行うことができる。

（４）「ＩＮＩＴＩＡＬ」テンプレート５ｅを更新しない恒久のテンプレートとするようにした。このため、ダイナミックなテンプレート画像の更新処理で発生しがちな情報の誤差蓄積を防止することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第1の実施の形態の形態では、Ｃｕｒテンプレート、Ｓｍａｌｌテンプレート、およびＬａｒｇｅテンプレートの３枚のテンプレート画像を使用する例について説明した。また、第２の実施の形態では、これに「ＩＮＩＴＩＡＬ」テンプレート、「ＯＬＤ」テンプレート、および「ＮＥＷ」テンプレートを加えた６枚のテンプレート画像を使用する例について説明した。しかしながら、テンプレート画像はこれらの枚数に限定されない。例えば、第１および第２の実施の形態共に、Ｃｕｒテンプレート、Ｓｍａｌｌテンプレート、およびＬａｒｇｅテンプレート以外に倍率の異なる他の画像を追加してもよい。

また、第２の実施の形態では、Ｃｕｒテンプレート、Ｓｍａｌｌテンプレート、およびＬａｒｇｅテンプレートの３枚に、「ＯＬＤ」テンプレートのみを追加するようにしてもよい。この場合、「ＯＬＤ」テンプレートが選択されて更新条件を満たした場合には、今まで「ＯＬＤ」テンプレートとして設定されていたテンプレート画像をＣｕｒテンプレートに設定し、ターゲット領域内の画像を「ＯＬＤ」テンプレートに設定する。一方、Ｃｕｒテンプレートが選択された場合にはテンプレート画像の更新は行わない。また、テンプレート画像を７枚以上とする場合には、「ＯＬＤ」テンプレートの枚数を増やすようにして、複数世代前のＣｕｒテンプレートをテンプレート画像として使用するようにすればよい。

（２）上述した第１および第２の実施の形態では、テンプレート更新部１０４ｂは、テンプレート画像の更新条件として、Ｓｍａｌｌテンプレート、Ｌａｒｇｅテンプレート、「ＯＬＤ」テンプレートまたは「ＮＥＷ」テンプレートが所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上であるか否かを判断する例について説明した。しかしこれに限定されず、これらのテンプレート画像が所定回数以上連続して選択され、かつその間の全ての類似度が所定の類似度以上であるか否かを判断するようにしてもよい。また、テンプレート更新部１０４ｂは、これらのテンプレート画像が所定回数以上連続して選択されたことのみを更新条件として、テンプレート画像の更新を行うようにしてもよい。

（３）上述した第１および第２の実施の形態では、撮像素子１０３から入力される動画像データ、すなわち時系列で入力される複数フレームの画像データをテンプレートマッチングおよび被写体追跡の対象データとして処理を実行する例について説明した。しかしこれに限定されず、連写機能によって静止画像が時系列で複数フレーム入力された場合に、各フレーム間で被写体を追跡する場合にも本発明は適用可能である。

（４）上述した第１および第２の実施の形態では、被写体追跡装置としてカメラ１００を使用し、カメラ１００が備える制御装置１０４によって、被写体追跡プログラムを実行する例について説明した。しかしながら、被写体追跡装置として他の装置を使用するようにしてもよい。例えば、パソコンを被写体追跡装置として使用し、パソコンが備えるハードディスクドライブなどの記録媒体に被写体追跡プログラムを記録しておき、ＣＰＵが被写体追跡プログラムをメモリ上に読み込んで実行するようにしてもよい。また、施設内を監視するセキュリティ装置（監視装置）を被写体追跡装置として使用してもよい。

例えば、図６に示すように、複数台のカメラ２０１と、制御装置１０４と、メモリ１０５と、モニタ１０７とを備えるセキュリティ装置２００を使用する。そして、制御装置１０４は、上述した第１および第２の実施の形態と同様に、被写体追跡プログラムを実行してカメラ２０１から時系列で入力される各フレームの画像間で被写体追跡を行い、施設内に進入してくる不審者を特定するようにしてもよい。このとき、モニタ１０７を複数設けて、複数のモニタ１０７で監視を行なえるようにしてもよい。また、被写体追跡装置としてカメラ付き携帯電話などを用いることも可能である。

（５）上述した第１および第２の実施の形態では、制御装置１０４は、Ｃｕｒテンプレートを所定の倍率で拡大することによってＬａｒｇｅテンプレートを作成し、Ｃｕｒテンプレートを所定の倍率で縮小することによってＳｍａｌｌテンプレートを作成する例について説明した。しかしながら、他のテンプレート画像を拡大または縮小することによってＬａｒｇｅテンプレート、およびＳｍａｌｌテンプレートを作成するようにしてもよい。例えば、制御装置１０４は、「ＮＥＷ」テンプレートを所定の倍率で拡大することによってＬａｒｇｅテンプレートを作成し、「ＮＥＷ」テンプレートを所定の倍率で縮小することによってＳｍａｌｌテンプレートを作成するようにしてもよい。

（６）また、パーソナルコンピュータなどに適用する場合、上述した被写体追跡プログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図７はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にこれらのプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にembodyして、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第６８８０１号（２００７年３月１６日出願）

Claims (12)

1. 時系列で入力される複数の入力画像間で被写体の動きを追跡するためにコンピュータで実行される被写体追跡プログラムを格納した被写体追跡用コンピュータプログラム製品であって、
   前記被写体追跡プログラムにより前記コンピュータは、
   前記入力画像に対して、倍率が異なる複数のテンプレート画像とのテンプレートマッチングを行って、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、
   前記テンプレートマッチング手順によるマッチング結果が、前記複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、
   前記判断手順によって前記更新条件を満たすと判断したときに、前記複数のテンプレート画像の内の少なくとも１枚を更新する更新手順とを実行する。
2. 請求項１に記載の被写体追跡用コンピュータプログラム製品において、
   前記複数のテンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記現選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および前記現選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含む。
3. 請求項２に記載の被写体追跡用コンピュータプログラム製品において、
   前記判断手順は、前記拡大テンプレート画像、および前記縮小テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたことを前記更新条件として判断する。
4. 請求項２に記載の被写体追跡用コンピュータプログラム製品において、
   前記判断手順は、前記拡大テンプレート画像、および前記縮小テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。
5. 時系列で入力される複数の入力画像間で被写体の動きを追跡するためにコンピュータで実行される被写体追跡プログラムを格納した被写体追跡用コンピュータプログラム製品であって、
   前記被写体追跡プログラムにより前記コンピュータは、
   前記入力画像に対して、倍率が異なる複数のテンプレート画像（倍率差テンプレート画像）、および時刻が異なる複数のテンプレート画像（時間差テンプレート画像）を含む複数のテンプレート画像とのテンプレートマッチングを行って、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、
   前記テンプレートマッチング手順によるマッチング結果が、前記複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、
   前記判断手順によって前記更新条件を満たすと判断したときに、前記複数のテンプレート画像の内の少なくとも１枚を更新する更新手順とを実行する。
6. 請求項５に記載の被写体追跡用コンピュータプログラム製品において、
   前記複数の倍率差テンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記現選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および前記現選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含み、
   前記複数の時間差テンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されるまでの間、前記現選択テンプレート画像として設定されていた旧選択テンプレート画像、前記更新手順によって前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新選択テンプレート画像、および前記複数のテンプレート画像内で時間的に最も前に取得され、前記更新手順によって更新されない非更新テンプレート画像を含む。
7. 請求項５に記載の被写体追跡用コンピュータプログラム製品において、
   前記複数の時間差テンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されるまでの間、前記現選択テンプレート画像として設定されていた旧選択テンプレート画像、前記更新手順によって前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新選択テンプレート画像、および前記複数のテンプレート画像内で時間的に最も前に取得され、前記更新手順によって更新されない非更新テンプレート画像を含み、
   前記複数の倍率差テンプレート画像は、前記新選択テンプレート画像、前記新選択テンプレート画像を所定の倍率で拡大した拡大テンプレート画像、および前記新選択テンプレート画像を所定の倍率で縮小した縮小テンプレート画像を含む。
8. 請求項６または７に記載の被写体追跡用コンピュータプログラム製品において、
   前記判断手順は、前記旧選択テンプレート画像、前記新選択テンプレート画像、前記拡大テンプレート画像、前記縮小テンプレート画像、および前記非更新テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたことを前記更新条件として判断する。
9. 請求項６または７に記載の被写体追跡用コンピュータプログラム製品において、
   前記判断手順は、前記旧選択テンプレート画像、前記新選択テンプレート画像、前記拡大テンプレート画像、前記縮小テンプレート画像、および前記非更新テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。
10. 請求項１〜９のいずれか一項に記載の被写体追跡用コンピュータプログラム製品において、
    前記倍率が異なる複数のテンプレート画像は、テンプレート画像の大きさはそのままで画像の倍率のみを変更した複数のテンプレート画像、および画像の倍率を変更すると共にその変更した倍率に応じてテンプレート画像の大きさも変更した複数のテンプレート画像のいずれかである。
11. 被写体追跡装置は、
    請求項１〜１０のいずれか一項に記載の被写体追跡用コンピュータプログラム製品に格納されたプログラムを実行する実行部を備える。
12. カメラは、
    被写体像を撮像して、画像信号を出力する撮像部と、
    請求項１〜１０のいずれか一項に記載のコンピュータプログラム製品に格納されたプログラムを実行する実行部とを備える。

Images