JPWO2007099762A1 - 被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラ - Google Patents

Abstract

被写体を追跡するためのプログラムにしたがって、コンピュータは以下の手順を実行する。入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出する。抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する。テンプレートマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する。テンプレートマッチング結果が更新条件を満たすと判断すると、複数のテンプレート画像の内の少なくとも１枚を更新する。

Description

本発明は、複数のフレーム間で被写体の追跡を行う被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラに関する。

次のような物体追跡装置が知られている。この物体追跡装置は、まず、各フレームの入力画像を異なる時刻に得られた複数のテンプレート画像それぞれに対してマッチング処理を行う。そして、その中で最大の一致度をもつ入力画像内の領域をテンプレートマッチング位置とし、テンプレートマッチング位置を新たなテンプレート画像として更新することで追跡対象となる物体の変形等に対処して物体を追跡する（特許文献１参照）。

特開２００１−６０２６９号公報

しかしながら、従来の物体追跡装置においては、各フレームの入力画像に対するマッチング処理ごとに複数のテンプレート画像の更新が行われるため、テンプレート画像の変動が激しく安定したテンプレートマッチングを行うことができない可能性がある。

本発明の第１の態様による、時系列で入力される複数フレームの画像間で被写体の動きを追跡するための被写体追跡コンピュータプログラム製品には、次の（ａ）〜（ｄ）の手順をコンピュータで実行させるためのプログラムが格納されている。
（ａ）入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順、
（ｂ）テンプレートマッチング手順によって抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する被写体追跡手順、
（ｃ）テンプレートマッチング手順によるマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順、および、
（ｄ）判断手順によって更新条件を満たすと判断したときに、複数のテンプレート画像の内の少なくとも１枚を更新する更新手順。
本発明の第２の態様による第１の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、更新手順によって複数のテンプレートが更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、および更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新テンプレート画像を含む。
本発明の第３の態様によると、第２の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、現選択テンプレート画像、旧選択テンプレート画像、および新選択テンプレート画像をそれぞれ１枚ずつ含む３枚のテンプレート画像であることが好ましい。
本発明の第４の態様による第１の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、更新手順によって複数のテンプレートが更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新テンプレート画像、および複数のテンプレート画像内で時間的に最も前に取得され、更新手順によって更新されない非更新テンプレート画像とを含むことが好ましい。
本発明の第５の態様によると、第４の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、現選択テンプレート画像、旧選択テンプレート画像、新選択テンプレート画像、および非更新テンプレート画像をそれぞれ１枚ずつ含む４枚のテンプレート画像であることが好ましい。
本発明の第６の態様によると、第２〜５のいずれかの態様の被写体追跡コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像および新テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたことを更新条件として判断することが好ましい。
本発明の第７の態様によると、第２〜５のいずれかの態様の被写体追跡コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像および新テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。
本発明の第８の態様によると、第４または５の態様の被写体追跡コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像、新テンプレート画像、および非更新テンプレート画像のいずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。
本発明の第９の態様によると、第１〜８のいずれかの態様の被写体追跡コンピュータプログラム製品において、更新手順は、各テンプレート画像の全画素のうち、所定の割合の画素のみを更新の対象とすることを特徴とすることが好ましい。
本発明の第１０の態様による被写体追跡装置は、第１〜９のいずれかの態様の被写体追跡コンピュータプログラム製品に格納したプログラムを実行するプログラム実行部を備える。
本発明の第１１の態様によると、カメラは、被写体を撮像して画像を取得する撮像部と、請求項１〜９のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部とを備え、プログラム実行手段により上記プログラムを実行することにより、撮像手段で被写体を撮像して取得され、時系列で入力される複数フレームの画像間で被写体の動きを追跡する。
なお、上記プログラム実行部はプログラム実行手段、撮像部は撮像手段と記述することもできる。

本発明によれば、テンプレート画像の更新条件を満たした場合のみテンプレート画像の更新を行うことにより、被写体の変形等に追随し、かつ複数のテンプレート画像を使用する場合であってもテンプレート画像の更新回数を減らして安定してテンプレートマッチングを行うことができる。

被写体追跡装置としてカメラを用いた場合の一実施の形態の構成を示すブロック図。 第１の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図。 第１の実施の形態におけるカメラの処理を示すフローチャート図。 第２の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図。 第２の実施の形態におけるカメラの処理を示すフローチャート図。 被写体追跡装置としてセキュリティ装置を用いた場合の一実施の形態の構成を示すブロック図。 被写体追跡プログラムを被写体追跡装置に提供する様子を示す図。

―第１の実施の形態―
図１は、第１の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリ１０５と、メモリカードスロット１０６と、モニタ１０７とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズスイッチやデジタルカメラ１００を操作するための種々の操作ボタンが含まれる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤであり、レンズ１０２を通して入力される被写体像を撮像して、撮像した画像データを制御装置１０４へ出力する。なお、第１の実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０７に出力して表示し、さらにメモリカードスロット１０６に挿入されているメモリカード内に記憶する。

制御装置１０４はまた、テンプレートマッチング部１０４ａと、テンプレート更新部１０４ｂと、被写体追跡部１０４ｃとを機能的に有している。そして、これらの各部による処理によって、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。この追跡結果は、フレーム間で被写体を追跡する必要がある処理、例えば、カメラ１００が有する自動焦点調節機能（ＡＦ機能）や自動露出調節機能（ＡＥ機能）などを実現するための処理に用いられる。以下、撮像素子１０３から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。

テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば相互相関法や残差逐次検定法などの手法を用いればよい。

すなわち、テンプレートマッチング部１０４ａは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域、すなわち矩形枠を抽出する。

被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された領域をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内での追跡対象被写体を追跡することができる。

第１の実施の形態では、テンプレート画像として追跡対象とする被写体を異なる時刻に撮影した複数の画像を用いる。この追跡対象とする被写体は使用者によってあらかじめ撮影されて準備されているものとする。具体的には撮像素子１０３から入力される動画像内に含まれる主要被写体の画像として、人物の顔の画像や特定の物体の画像などを異なる時間に撮影した画像が準備される。

例えば、図２に示すように、ターゲット画像２ａ内の電車の動きをフレーム間で追跡する場合には、使用者は被写体としての電車を異なる時刻に撮影した３枚の画像２ｂ〜２ｄをテンプレート画像としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像２ｂ〜２ｄのうち、最も古い時刻に撮影されたテンプレート画像２ｂを「ＯＬＤ」、その次の古い時刻に撮影されたテンプレート画像２ｃを「ＣＵＲＲＥＮＴ」、最新の時刻に撮影されたテンプレート画像２ｄを「ＮＥＷ」と設定する。

なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」は、後述するテンプレート更新部１０４ｂによるテンプレート更新処理において、更新を行う対象を明確にするために便宜的に付与した名称であり、各テンプレート画像の名称は必ずしもこれに限定されるものではない。また、テンプレート更新処理における「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の役割については、後述する。

テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成してもよく、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。

被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を所定の倍率で拡大または縮小した画像を「ＯＬＤ」とし、「ＯＬＤ」とは異なる倍率で「ＣＵＲＲＥＮＴ」を拡大または縮小した画像を「ＮＥＷ」とすればよい。

また、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を明るくした画像を「ＯＬＤ」、「ＣＵＲＲＥＮＴ」を暗くした画像を「ＮＥＷ」とするなどすればよい。また、これ以外の方法により複数枚のテンプレート画像を擬似的に作成してもよい。

テンプレートマッチング部１０４ａは、撮像素子１０３から動画像データの入力が開始されると、各フレームの画像をターゲット画像２ａとし、このターゲット画像２ａと「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の３枚のテンプレート画像のそれぞれとをマッチング処理してテンプレートマッチングを行う。例えば、ターゲット領域が図２に示すターゲット領域Ａに示す位置にある場合には、そのときのターゲット領域Ａ内の画像と、「ＯＬＤ」２ｂ、「ＣＵＲＲＥＮＴ」２ｃ、および「ＮＥＷ」２ｄとをテンプレートマッチング処理する。

そして、テンプレートマッチング部１０４ａは、ターゲット画像２ａ全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像２ａ内で「ＯＬＤ」２ｂとの類似度が最も高いターゲット領域、「ＣＵＲＲＥＮＴ」２ｃとの類似度が最も高いターゲット領域、および「ＮＥＷ」２ｄとの類似度が最も高いターゲット領域をそれぞれ検出する。そして、これらの中でターゲット領域との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、そのときのターゲット領域を合致領域として抽出する。

このとき、動画像データに含まれる追跡対象の被写体が動いている場合には、被写体の形状がフレーム間で変化することとなり、あらかじめ準備したテンプレート画像をそのまま使用した場合には、被写体形状の変化に伴って各テンプレート画像とターゲット領域内の画像との類似度が次第に低下していくことになる。このため、被写体追跡部１０４ｃによる被写体追跡の精度が次第に低下していく可能性が高い。

したがって、テンプレート更新部１０４ｂは、被写体の動きに応じてテンプレート画像を逐次更新することによって、被写体の形状が時々刻々変化する場合でもテンプレートマッチング部１０４ａによるテンプレートマッチングの精度を向上させて、被写体追跡部１０４ｃが精度高く物体の追跡を行えるようにする。具体的にはテンプレート更新部１０４ｂは、次のようなテンプレート更新処理を実行する。

すなわち、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の内、少なくとも１枚を更新する。なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像は、処理開始時には上述したようにあらかじめ撮影された画像、または擬似的に作成された画像が設定されているが、テンプレート更新処理が実行されることによって、次の（Ａ）〜（Ｃ）に示すテンプレート画像に置き換えられ、逐次更新されていくことになる。

（Ａ）「ＣＵＲＲＥＮＴ」（現テンプレート画像）
「ＣＵＲＲＥＮＴ」としては、直近のテンプレート更新時に選択された選択テンプレート画像が設定される。
（Ｂ）「ＯＬＤ」（旧選択テンプレート画像）
「ＯＬＤ」としては、直近のテンプレート更新時に（Ａ）の「ＣＵＲＲＥＮＴ」が設定されるまでの間「ＣＵＲＲＥＮＴ」に設定されていたテンプレート画像が設定される。すなわち、一世代前の「ＣＵＲＲＥＮＴ」が「ＯＬＤ」として設定される。
（Ｃ）「ＮＥＷ」（新テンプレート画像）
「ＮＥＷ」としては、直近のテンプレート更新時に、ターゲット画像２ａ上で「ＣＵＲＲＥＮＴ」に設定されたテンプレート画像と最も類似度が高いと判定されたターゲット領域内の画像、すなわち上述した合致領域内の画像が取り込まれて設定される。

テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、以下に説明する所定の条件を満たす場合にのみ、（Ａ）〜（Ｃ）の条件に合致する画像を各テンプレート画像として更新する。具体的には次の（ａ）〜（ｃ）に示すようにテンプレート画像の更新処理を行う。

（ａ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＣＵＲＲＥＮＴ」との類似度が最も高いターゲット領域が上述した合致領域として抽出された場合の処理（選択テンプレート画像として「ＣＵＲＲＥＮＴ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高いと判定されていることから、被写体の動きが少なくテンプレート画像の更新の必要はないと判断して、テンプレート画像の更新は行わない。

（ｂ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＯＬＤ」との類似度が最も高いターゲット領域が合致領域として抽出された場合の処理（選択テンプレート画像として「ＯＬＤ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば、一致を表す類似度が１であり、不一致を示す類似度が０である場合には、類似度の平均が０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＯＬＤ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。

（ｃ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＮＥＷ」との類似度が最も高いターゲット領域が合致領域として選択された場合の処理（選択テンプレート画像として「ＮＥＷ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。

これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＮＥＷ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。

このようにテンプレート画像を更新することによって、被写体の動きに応じた形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

例えば、６００フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、６００回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を３０回程度まで減らすことが可能となり、処理の負荷を低減することができる。

図３は、第１の実施の形態におけるカメラ１００の処理を示すフローチャートである。図３に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、テンプレートマッチング部１０４ａは、上述したようにターゲット画像２ａ内でターゲット領域を移動させながら、ターゲット領域内の画像と、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のそれぞれのテンプレート画像とをテンプレートマッチング処理した結果、最も類似度が高いテンプレート画像を選択テンプレートとして選択し、さらにターゲット画像２ａ内おける選択テンプレートと最も類似度が高いターゲット領域を合致領域として抽出する。その後、ステップＳ２０へ進む。

ステップＳ２０では、物体追跡部１０４ｂは、動画像の前フレームにおける合致領域と現フレームにおける合致領域とに基づいて被写体の追跡を行って、ステップＳ３０へ進む。ステップＳ３０では、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のいずれであるかを判断する。選択されたテンプレート画像が「ＣＵＲＲＥＮＴ」であると判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ６０へ進む。

これに対して、選択されたテンプレート画像が「ＯＬＤ」であると判断された場合には、ステップＳ４０へ進む。ステップＳ４０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ６０へ進む。

一方、更新条件を満たすと判断した場合には、ステップＳ４１へ進み、テンプレート更新部１０４ｂは、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ６０へ進む。

また、選択されたテンプレート画像が「ＮＥＷ」であると判断された場合には、ステップＳ５０へ進む。ステップＳ５０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ６０へ進む。

一方、更新条件を満たすと判断した場合には、ステップＳ５１へ進み、テンプレート更新部１０４ｂは、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ６０へ進む。

ステップＳ６０では、撮像素子１０３からの動画像データの入力が終了したか否かを判断する。動画像データの入力が終了していないと判断した場合にはステップＳ１０へ戻って処理を繰り返す。これに対して、動画像データの入力が終了したと判断した場合には処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）テンプレートマッチング処理に使用するテンプレート画像を複数用意し、各テンプレート画像をテンプレートマッチング結果に応じて更新するようにした。これによって、被写体が動くことによって発生する形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。

（２）テンプレート画像の更新を行うに際しては、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにした。これによって、例えばフレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

（３）テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成するようにした。これによって、被写体を異なる時刻に撮影して、複数のテンプレート画像を準備することができない場合であっても、本発明のテンプレートマッチング処理を行って被写体の追跡を行うことができる。

―第２の実施の形態―
第２の実施の形態では、テンプレートマッチングのマッチング対象のテンプレートとして、第１の実施の形態で上述した「ＣＵＲＲＥＮＴ」、「ＯＬＤ」、および「ＮＥＷ」の３枚のテンプレート画像に加えて、これらのテンプレート画像よりも時間的に前に取得されたテンプレート画像「ＩＮＩＴＩＡＬ」を使用する。すなわち、図２に示した３つのテンプレート画像に加えて、「ＯＬＤ」のテンプレート画像よりも前に撮影したテンプレート画像を「ＩＮＩＴＩＡＬ」とする。この「ＩＮＩＴＩＡＬ」のテンプレート画像は、テンプレート更新部１０４ｂによる更新処理の対象としない。すなわち、テンプレート更新部１０４ｂは、「ＩＮＩＴＩＡＬ」のテンプレート画像を更新を行なわない恒久のテンプレート画像（非更新テンプレート画像）として扱う。なお、図１に示したブロック図については、第１の実施の形態と同様のため説明を省略する。

図４は、第２の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図である。図４に示すように、ターゲット画像４ａ内の人物の動きをフレーム間で追跡する場合には、使用者は被写体としての人物を異なる時刻に撮影した４枚の画像４ｂ〜４ｅをテンプレート画像としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像４ｂ〜４ｅのうち、最も古い時刻に撮影されたテンプレート画像４ｂを「ＩＮＩＴＩＡＬ」、その次の古い時刻に撮影されたテンプレート画像４ｃを「ＯＬＤ」、その次の古い時刻に撮影されたテンプレート画像４ｄを「ＣＵＲＲＥＮＴ」、最新の時刻に撮影されたテンプレート画像４ｅを「ＮＥＷ」と設定する。

なお、テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、第１の実施の形態と同様に、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成してもよく、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。

テンプレートマッチング部１０４ａは、これらの「ＩＮＩＴＩＡＬ」、「ＣＵＲＲＥＮＴ」、「ＯＬＤ」、および「ＮＥＷ」の４枚のテンプレート画像を用いて、第１の実施の形態と同様にターゲット画像４ａと各テンプレート画像とのマッチング処理を行う。そして、テンプレート更新部１０４ｂは、以下に説明するように、非更新テンプレートとしての「ＩＮＩＴＩＡＬ」のテンプレート画像以外の各テンプレート画像の更新処理を行う。

図５は、第２の実施の形態におけるカメラ１００の処理を示すフローチャートである。図５に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置１０４によって実行される。図５においては、第１の実施の形態で上述した図３と同一の処理については同じステップ番号を付与して説明を省略し、相違点を中心に説明する。

ステップＳ３０において、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のいずれであるかを判断する。選択されたテンプレート画像が「ＩＮＩＴＩＡＬ」であると判断された場合には、ステップＳ５５へ進む。

ステップＳ５５では、テンプレート更新部１０４ｂは、第１の実施の形態で上述したステップＳ４０およびステップＳ５０と同様に、所定回数以上、例えば７回以上「ＩＮＩＴＩＡＬ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、ステップＳ６０へ進む。これに対して、更新条件を満たすと判断した場合には、ステップＳ５６へ進む。

ステップＳ５６では、テンプレート更新部１０４ｂは、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、今まで「ＩＮＩＴＩＡＬ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定する。さらに、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。なお、「ＩＮＩＴＩＡＬ」のテンプレート画像は更新を行なわない。その後、ステップＳ６０へ進む。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて以下のような効果を得ることができる。すなわち、「ＩＮＩＴＩＡＬ」のテンプレート画像を更新しない恒久のテンプレートとするようにした。このため、ダイナミックなテンプレート画像の更新処理で発生しがちな情報の誤差蓄積を防止することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第1の実施の形態の形態では、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の３枚のテンプレート画像を使用する例について説明した。また、第２の実施の形態では、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の４枚のテンプレート画像を使用する例について説明した。しかしこれに限定されず、テンプレート画像は２枚、または５枚以上としてもよい。なお、テンプレート画像を２枚とする場合には、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」のみを使用して上述した処理を行えばよい。例えば、「ＯＬＤ」が選択されて更新条件を満たした場合には、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、ターゲット領域内の画像を「ＯＬＤ」に設定する。一方、「ＣＵＲＲＥＮＴ」が選択された場合にはテンプレート画像の更新は行わない。また、テンプレート画像を５枚以上とする場合には、「ＯＬＤ」の枚数を増やすようにして、複数世代前の「ＣＵＲＲＥＮＴ」をテンプレート画像として使用するようにすればよい。

（２）上述した第１および第２の実施の形態では、テンプレート更新部１０４ｂは、テンプレート画像の更新条件として、「ＯＬＤ」または「ＮＥＷ」が所定回数以上、例えば７回以上連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるか否かを判断する例について説明した。しかしこれに限定されず、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択され、かつその間の全ての類似度が所定の類似度以上であるか否かを判断するようにしてもよい。また、テンプレート更新部１０４ｂは、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択されたことのみを更新条件として、テンプレート画像の更新を行うようにしてもよい。

（３）上述した第１および第２の実施の形態では、撮像素子１０３から入力される動画像データ、すなわち時系列で入力される複数フレームの画像データをテンプレートマッチングおよび被写体追跡の対象データとして処理を実行する例について説明した。しかしこれに限定されず、連写機能によって静止画像が時系列で複数フレーム入力された場合に、各フレーム間で被写体を追跡する場合にも本発明は適用可能である。

（４）上述した第１および第２の実施の形態では、テンプレート更新部１０４ｂは、テンプレート画像の更新条件を満たすと判断した場合には、その条件に応じて「ＣＵＲＲＥＮＴ」と「ＯＬＤ」または「ＮＥＷ」とを入れ替えることによって、テンプレート画像を更新する例について説明した。しかしこれに限定されず、更新前のテンプレート画像の対応する画素の所定の割合に相当する画素のみを更新後のテンプレート画像で上書きすることによってテンプレート画像を更新するようにしてもよい。例えば、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定する代わりに、「ＣＵＲＲＥＮＴ」の全画素のｍ％と、「ＯＬＤ」の全画素の（１００−ｍ）％とを加算することによって、テンプレート画像を更新するようにしてもよい。

（５）上述した第１および第２の実施の形態では、被写体追跡装置としてカメラ１００を使用し、カメラ１００が供える制御装置１０４によって、被写体追跡プログラムを実行する例について説明した。しかしながら、被写体追跡装置として他の装置を使用するようにしてもよい。例えば、パソコンを被写体追跡装置として使用し、パソコンが備えるハードディスクドライブなどの記録媒体に被写体追跡プログラムを記録しておき、ＣＰＵが被写体追跡プログラムをメモリ上に読み込んで実行するようにしてもよい。また、施設内を監視するセキュリティ装置（監視装置）を被写体追跡装置として使用してもよい。

例えば、図６に示すように、複数台のカメラ２０１と、制御装置１０４と、メモリ１０５と、モニタ１０７とを備えるセキュリティ装置２００を使用する。そして、制御装置１０４は、上述した第１および第２の実施の形態と同様に、被写体追跡プログラムを実行してカメラ２０１から時系列で入力される各フレームの画像間で被写体追跡を行い、施設内に進入してくる不審者を特定するようにしてもよい。このとき、モニタ１０７を複数設けて、複数のモニタ１０７で監視を行なえるようにしてもよい。また、被写体追跡装置としてカメラ付き携帯電話などを用いることも可能である。

（６）また、パーソナルコンピュータなどに適用する場合、上述した被写体追跡プログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図７はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記被写体追跡プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体に被写体追跡プログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用して被写体追跡プログラムを読み出し、通信回線４０１を介して被写体追跡プログラムをパーソナルコンピュータ４００に送信する。すなわち、被写体追跡プログラムをデータ信号として搬送波にembodyして、通信回線４０１を介して送信する。このように、被写体追跡プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第０５４３９４号（２００６年３月１日出願）
日本国特許出願２００６年第２９２１４９号（２００６年１０月２７日出願）

Claims (11)

1. 時系列で入力される複数フレームの画像間で被写体の動きを追跡するためにコンピュータで実行されるプログラムを格納した被写体追跡コンピュータプログラム製品であって、
   前記プログラムにより前記コンピュータは、
   入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、
   前記テンプレートマッチング手順によって抽出された前記合致領域内の画像について、フレーム間での動きを追跡することによって、前記複数フレームの画像間で被写体の動きを追跡する被写体追跡手順と、
   前記テンプレートマッチング手順によるマッチング結果が、前記複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、
   前記判断手順によって前記更新条件を満たすと判断したときに、前記複数のテンプレート画像の内の少なくとも１枚を更新する更新手順とを実行する。
2. 請求項１に記載の被写体追跡コンピュータプログラム製品において、
   前記複数のテンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記更新手順によって前記複数のテンプレートが更新されるまでの間、前記現選択テンプレート画像として設定されていた旧選択テンプレート画像、および前記更新手順によって前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新テンプレート画像を含む。
3. 請求項２に記載の被写体追跡コンピュータプログラム製品において、
   前記複数のテンプレート画像は、前記現選択テンプレート画像、前記旧選択テンプレート画像、および前記新選択テンプレート画像をそれぞれ１枚ずつ含む３枚のテンプレート画像である。
4. 請求項１に記載の被写体追跡コンピュータプログラム製品において、
   前記複数のテンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記更新手順によって前記複数のテンプレートが更新されるまでの間、前記現選択テンプレート画像として設定されていた旧選択テンプレート画像、前記更新手順によって前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新テンプレート画像、および前記複数のテンプレート画像内で時間的に最も前に取得され、前記更新手順によって更新されない非更新テンプレート画像とを含む。
5. 請求項４に記載の被写体追跡コンピュータプログラム製品において、
   前記複数のテンプレート画像は、前記現選択テンプレート画像、前記旧選択テンプレート画像、前記新選択テンプレート画像、および前記非更新テンプレート画像をそれぞれ１枚ずつ含む４枚のテンプレート画像である。
6. 請求項２〜５のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、
   前記判断手順は、前記旧選択テンプレート画像および前記新テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたことを前記更新条件として判断する。
7. 請求項２〜５のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、
   前記判断手順は、前記旧選択テンプレート画像および前記新テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。
8. 請求項４または５に記載の被写体追跡コンピュータプログラム製品において、
   前記判断手順は、前記旧選択テンプレート画像、前記新テンプレート画像、および前記非更新テンプレート画像のいずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。
9. 請求項１〜８のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、
   前記更新手順は、各テンプレート画像の全画素のうち、所定の割合の画素のみを更新の対象とする。
10. 被写体追跡装置は、
    請求項１〜９のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部を備える。
11. カメラは、
    被写体を撮像して画像を取得する撮像部と、
    請求項１〜９のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部とを備え、
    前記プログラム実行手段により前記プログラムを実行することにより、前記撮像手段で被写体を撮像して取得され、時系列で入力される複数フレームの画像間で被写体の動きを追跡する。

Images