WO2007099762A1

WO2007099762A1 - 被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラ

Info

Publication number: WO2007099762A1
Application number: PCT/JP2007/052515
Authority: WO
Inventors: Hiroyuki Abe
Original assignee: Nikon Corporation
Priority date: 2006-03-01
Filing date: 2007-02-13
Publication date: 2007-09-07
Also published as: US20090141936A1; CN101395636B; US8131014B2; CN101395636A; JPWO2007099762A1; JP5018767B2

Abstract

　被写体を追跡するためのプログラムにしたがって、コンピュータは以下の手順を実行する。入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出する。抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する。テンプレートマッチング結果が、複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する。テンプレートマッチング結果が更新条件を満たすと判断すると、複数のテンプレート画像の内の少なくとも１枚を更新する。

Description

明細書

被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラ技術分野

[0001] 本発明は、複数のフレーム間で被写体の追跡を行う被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラに関する。

背景技術

[0002] 次のような物体追跡装置が知られて、る。この物体追跡装置は、まず、各フレームの入力画像を異なる時刻に得られた複数のテンプレート画像それぞれに対してマツチング処理を行う。そして、その中で最大の一致度をもつ入力画像内の領域をテンプレートマッチング位置とし、テンプレートマッチング位置を新たなテンプレート画像として更新することで追跡対象となる物体の変形等に対処して物体を追跡する（特許文献 1参照)。

[0003] 特許文献 1 :特開 2001— 60269号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、従来の物体追跡装置においては、各フレームの入力画像に対するマッチング処理ごとに複数のテンプレート画像の更新が行われるため、テンプレート画像の変動が激しく安定したテンプレートマッチングを行うことができない可能性がある。

課題を解決するための手段

[0005] 本発明の第 1の態様による、時系列で入力される複数フレームの画像間で被写体の動きを追跡するための被写体追跡コンピュータプログラム製品には、次の（a)〜（d )の手順をコンピュータで実行させるためのプログラムが格納されて、る。

(a)入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中力入力画像の所定領域内の画像との類似度が最も高ヽテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順、 (b)テンプレートマッチング手順によって抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する被写体追跡手順、

(C)テンプレートマッチング手順によるマッチング結果力複数のテンプレート画像を更新するための更新条件を満たすカゝ否かを判断する判断手順、および、

(d)判断手順によって更新条件を満たすと判断したときに、複数のテンプレート画像の内の少なくとも 1枚を更新する更新手順。

本発明の第 2の態様による第 1の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、更新手順によつて複数のテンプレートが更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、および更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新テンプレート画像を含む本発明の第 3の態様によると、第 2の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、現選択テンプレート画像、旧選択テンプレート画像、および新選択テンプレート画像をそれぞれ 1枚ずつ含む 3枚のテンプレート画像であることが好ましい。

本発明の第 4の態様による第 1の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、更新手順によって複数のテンプレート画像が更新されたときに選択テンプレート画像として選択された現選択テンプレート画像、更新手順によつて複数のテンプレートが更新されるまでの間、現選択テンプレート画像として設定されていた旧選択テンプレート画像、更新手順によって複数のテンプレート画像が更新されたときの合致領域内の画像である新テンプレート画像、および複数のテンプレート画像内で時間的に最も前に取得され、更新手順によって更新されな

V、非更新テンプレート画像とを含むことが好ま、。

本発明の第 5の態様によると、第 4の態様の被写体追跡コンピュータプログラム製品において、複数のテンプレート画像は、現選択テンプレート画像、旧選択テンプレート画像、新選択テンプレート画像、および非更新テンプレート画像をそれぞれ 1枚ずつ含む 4枚のテンプレート画像であることが好まし!/、。

本発明の第 6の態様によると、第 2〜5のいずれかの態様の被写体追跡コンビユータプログラム製品において、判断手順は、旧選択テンプレート画像および新テンプレート画像の、ずれかが、所定回数以上連続して選択テンプレート画像として選択されたことを更新条件として判断することが好ま、。

本発明の第 7の態様によると、第 2〜5のいずれかの態様の被写体追跡コンビユータプログラム製品において、判断手順は、旧選択テンプレート画像および新テンプレート画像の、ずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。

本発明の第 8の態様によると、第 4または 5の態様の被写体追跡コンピュータプログラム製品において、判断手順は、旧選択テンプレート画像、新テンプレート画像、および非更新テンプレート画像の、ずれかが、所定回数以上連続して選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを更新条件として判断することが好ましい。

本発明の第 9の態様によると、第 1〜8のいずれかの態様の被写体追跡コンビユータプログラム製品において、更新手順は、各テンプレート画像の全画素のうち、所定の割合の画素のみを更新の対象とすることを特徴とすることが好ましい。

本発明の第 10の態様による被写体追跡装置は、第 1〜9のいずれかの態様の被写体追跡コンピュータプログラム製品に格納したプログラムを実行するプログラム実行部を備える。

本発明の第 11の態様によると、カメラは、被写体を撮像して画像を取得する撮像部と、請求項 1〜9のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部とを備え、プログラム実行手段により上記プログラムを実行することにより、撮像手段で被写体を撮像して取得され、時系列で入力される複数フレームの画像間で被写体の動きを追跡する。

なお、上記プログラム実行部はプログラム実行手段、撮像部は撮像手段と記述することちでさる。

発明の効果

[0006] 本発明によれば、テンプレート画像の更新条件を満たした場合のみテンプレート画像の更新を行うことにより、被写体の変形等に追随し、かつ複数のテンプレート画像を使用する場合であってもテンプレート画像の更新回数を減らして安定してテンプレートマッチングを行うことができる。

図面の簡単な説明

[0007] [図 1]被写体追跡装置としてカメラを用いた場合の一実施の形態の構成を示すブロック図。

[図 2]第 1の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図。

[図 3]第 1の実施の形態におけるカメラの処理を示すフローチャート図。

[図 4]第 2の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図。

[図 5]第 2の実施の形態におけるカメラの処理を示すフローチャート図。

[図 6]被写体追跡装置としてセキュリティ装置を用いた場合の一実施の形態の構成を示すブロック図。

[図 7]被写体追跡プログラムを被写体追跡装置に提供する様子を示す図。

発明を実施するための最良の形態

[0008] 一第 1の実施の形態一

図 1は、第 1の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ 100は、入力スィッチ 101と、レンズ 102と、撮像素子 103と、制御装置 104と、メモリ 105と、メモリカードスロット 106 と、モニタ 107とを備えている。

[0009] 入力スィッチ 101は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スィッチ 101には、レリーズスィッチやデジタルカメラ 100を操作するための種々の操作ボタンが含まれる。

[0010] レンズ 102は、複数の光学レンズ群力も構成される力図 1では代表して 1枚のレンズで表している。撮像素子 103は、例えば CCDであり、レンズ 102を通して入力される被写体像を撮像して、撮像した画像データを制御装置 104へ出力する。なお、第 1 の実施の形態におけるカメラ 100においては、撮像素子 103は、使用者による入力スィッチ 101に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の 1フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されて力も次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

[0011] 制御装置 104は、 CPU、メモリ、およびその他の周辺回路により構成され、撮像素子 103から入力される画像データ (静止画像データまたは動画像データ）をモニタ 10 7に出力して表示し、さらにメモリカードスロット 106に挿入されているメモリカード内に feす。。

[0012] 制御装置 104はまた、テンプレートマッチング部 104aと、テンプレート更新部 104b と、被写体追跡部 104cとを機能的に有している。そして、これらの各部による処理によって、撮像素子 103から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。この追跡結果は、フレーム間で被写体を追跡する必要がある処理、例えば、カメラ 100 が有する自動焦点調節機能 (AF機能)や自動露出調節機能 (AE機能)などを実現するための処理に用いられる。以下、撮像素子 103から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。

[0013] テンプレートマッチング部 104aは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子 103から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略する力例えば相互相関法や残差逐次検定法などの手法を用いればよい。

[0014] すなわち、テンプレートマッチング部 104aは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば 1画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部 104aは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域、すなわち矩形枠を抽出する。

[0015] 被写体追跡部 104cは、テンプレートマッチング部 104aによって抽出された領域をフレーム間で追跡することによって、撮像素子 103から入力される動画像データ内での追跡対象被写体を追跡することができる。

[0016] 第 1の実施の形態では、テンプレート画像として追跡対象とする被写体を異なる時刻に撮影した複数の画像を用いる。この追跡対象とする被写体は使用者によってあらかじめ撮影されて準備されているものとする。具体的には撮像素子 103から入力される動画像内に含まれる主要被写体の画像として、人物の顔の画像や特定の物体の画像などを異なる時間に撮影した画像が準備される。

[0017] 例えば、図 2に示すように、ターゲット画像 2a内の電車の動きをフレーム間で追跡する場合には、使用者は被写体としての電車を異なる時刻に撮影した 3枚の画像 2b 〜2dをテンプレート画像としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像 2b〜2dのうち、最も古い時刻に撮影されたテンプレート画像 2bを「OLD」、その次の古い時刻に撮影されたテンプレート画像 2じを「じ11!¾^^丁」、最新の時刻に撮影されたテンプレート画像 2dを「NEW」と設定する。

[0018] なお、「OLD」、「CURRENT」、「NEW」は、後述するテンプレート更新部 104bによるテンプレート更新処理において、更新を行う対象を明確にするために便宜的に付与した名称であり、各テンプレート画像の名称は必ずしもこれに限定されるものではない。また、テンプレート更新処理における「OLD」、「CURRENT」、「NEW」の各テンプレート画像の役割については、後述する。

[0019] テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した 1枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した 1枚の画像を拡大 '縮小することにより複数枚のテンプレート画像を擬似的に作成してもよぐ被写体を撮影した 1枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。

[0020] 被写体を撮影した 1枚の画像を拡大'縮小することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した 1枚の画像そのものを「CURREN T」とし、「CURRENT」を所定の倍率で拡大または縮小した画像を「OLD」とし、「0 LDJとは異なる倍率で「CURRENT」を拡大または縮小した画像を「NEW」とすればよい。

[0021] また、被写体を撮影した 1枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した 1枚の画像そのものを「C URRENT」とし、「CURRENT」を明るくした画像を「OLD」、「CURRENT」を暗くした画像を「NEW」とするなどすればよい。また、これ以外の方法により複数枚のテンプレート画像を擬似的に作成してもよヽ。

[0022] テンプレートマッチング部 104aは、撮像素子 103から動画像データの入力が開始されると、各フレームの画像をターゲット画像 2aとし、このターゲット画像 2aと「OLD」、「CURRENT」、「NEW」の 3枚のテンプレート画像のそれぞれとをマッチング処理してテンプレートマッチングを行う。例えば、ターゲット領域が図 2に示すターゲット領域 Aに示す位置にある場合には、そのときのターゲット領域 A内の画像と、「OLD」2b 、「CURRENT」2c、および「NEW」 2dとをテンプレートマッチング処理する。

[0023] そして、テンプレートマッチング部 104aは、ターゲット画像 2a全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像 2a内で「OLD」 2bとの類似度が最も高いターゲット領域、「CURRENT」2cとの類似度が最も高いターゲット領域、および「NEW」2dとの類似度が最も高いターゲット領域をそれぞれ検出する。そして、これらの中でターゲット領域との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、そのときのターゲット領域を合致領域として抽出する。

[0024] このとき、動画像データに含まれる追跡対象の被写体が動いている場合には、被写体の形状がフレーム間で変化することとなり、あら力じめ準備したテンプレート画像をそのまま使用した場合には、被写体形状の変化に伴って各テンプレート画像とターゲット領域内の画像との類似度が次第に低下していくことになる。このため、被写体追跡部 104cによる被写体追跡の精度が次第に低下していく可能性が高い。

[0025] したがって、テンプレート更新部 104bは、被写体の動きに応じてテンプレート画像を逐次更新することによって、被写体の形状が時々刻々変化する場合でもテンプレートマッチング部 104aによるテンプレートマッチングの精度を向上させて、被写体追跡部 104cが精度高く物体の追跡を行えるようにする。具体的にはテンプレート更新部 104bは、次のようなテンプレート更新処理を実行する。

[0026] すなわち、テンプレート更新部 104bは、テンプレートマッチング部 104aによるテンプレートマッチング処理の結果に基づいて、「OLD」、「CURRENT」、「NEW」の各テンプレート画像の内、少なくとも 1枚を更新する。なお、「OLD」、「CURRENT」、「 NEW」の各テンプレート画像は、処理開始時には上述したようにあら力じめ撮影された画像、または擬似的に作成された画像が設定されているが、テンプレート更新処理が実行されることによって、次の (A)〜（C)に示すテンプレート画像に置き換えられ、逐次更新されていくことになる。

[0027] (A) rcURRENTj (現テンプレート画像）

rCURRENTjとしては、直近のテンプレート更新時に選択された選択テンプレート画像が設定される。

(B) rOLDj (旧選択テンプレート画像）

「OLD」としては、直近のテンプレート更新時に (A)の「CURRENT」が設定されるまでの間「CURRENT」に設定されていたテンプレート画像が設定される。すなわち、一世代前の「CURRENT」が「OLD」として設定される。

(C)「NEW」（新テンプレート画像）

「NEW」としては、直近のテンプレート更新時に、ターゲット画像 2a上で「CURRE NT」に設定されたテンプレート画像と最も類似度が高ヽと判定されたターゲット領域内の画像、すなわち上述した合致領域内の画像が取り込まれて設定される。

[0028] テンプレート更新部 104bは、テンプレートマッチング部 104aによるテンプレートマツチング処理の結果が、以下に説明する所定の条件を満たす場合にのみ、（A)〜（ C)の条件に合致する画像を各テンプレート画像として更新する。具体的には次の（a )〜（c)に示すようにテンプレート画像の更新処理を行う。

[0029] (a)テンプレートマッチング部 104aによるテンプレートマッチング処理の結果、ターゲット画像 2a内で「CURRENT」との類似度が最も高いターゲット領域が上述した合致領域として抽出された場合の処理 (選択テンプレート画像として「CURRENT」が選択された場合の処理）

この場合には、テンプレート更新部 104bは、テンプレート画像の更新は行わずに、「OLD」、「CURRENT」、「NEW」の各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高、と判定されて、ることから、被写体の動きが少なくテンプレート画像の更新の必要はな、と判断して、テンプレート画像の更新は行わな、。

[0030] (b)テンプレートマッチング部 104aによるテンプレートマッチング処理の結果、ターゲット画像 2a内で「OLD」との類似度が最も高いターゲット領域が合致領域として抽出された場合の処理 (選択テンプレート画像として「OLD」が選択された場合の処理）この場合には、テンプレート更新部 104bは、所定回数以上、例えば 7回以上「OL D」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば、一致を表す類似度が 1であり、不一致を示す類似度が 0である場合には、類似度の平均が 0. 8以上である力否かを判断する。そして、テンプレート更新部 104bは、上記更新条件を満たさな、と判断した場合には、今までのテンプレート画像の更新は行わずに、「OLD」、「CURRENT」、「NEW」の各テンプレート画像の設定を維持する。

[0031] これに対して、テンプレート更新部 104bは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「OLD」として設定されていたテンプレート画像を「CURRENT」に設定し、今まで「CURRENT」として設定されていたテンプレート画像を「OLD」に設定する。これによつて、最も類似度が高いと判定されたテンプレート画像を「CURRENT」に設定し、一世代前の「CUR RENT」を「OLD」として設定することができる。同時にテンプレート更新部 104bは、このときにターゲット画像 2a上で更新前の「OLD」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「NEW 」に設定する。

[0032] (c)テンプレートマッチング部 104aによるテンプレートマッチング処理の結果、ターゲット画像 2a内で「NEW」との類似度が最も高いターゲット領域が合致領域として選択された場合の処理 (選択テンプレート画像として「NEW」が選択された場合の処理）この場合には、テンプレート更新部 104bは、所定回数以上、例えば 7回以上「NE W」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば 0. 8以上である力否かを判断する。そして、テンプレート更新部 104bは、上記更新条件を満たさな、と判断した場合には、今までのテンプレート画像の更新は行わずに、「OLD」、「CURRENT」、「NEW」の各テンプレート画像の設定を維持する。

[0033] これに対して、テンプレート更新部 104bは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「NEW」として設定されていたテンプレート画像を「CURRENT」に設定し、今まで「CURRENT」として設定されていたテンプレート画像を「OLD」に設定する。これによつて、最も類似度が高いと判定されたテンプレート画像を「CURRENT」に設定し、一世代前の「CUR RENT」を「OLD」として設定することができる。同時にテンプレート更新部 104bは、このときにターゲット画像 2a上で更新前の「NEW」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「NEW 」に設定する。

[0034] このようにテンプレート画像を更新することによって、被写体の動きに応じた形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「 OLDJまたは「NEW」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

[0035] 例えば、 600フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、 600回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を 30回程度まで減らすことが可能となり、処理の負荷を低減することができる。 [0036] 図 3は、第 1の実施の形態におけるカメラ 100の処理を示すフローチャートである。図 3に示す処理は、使用者によって入力スィッチ 101が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置 104によって実行される。

[0037] ステップ S10において、テンプレートマッチング部 104aは、上述したようにターゲット画像 2a内でターゲット領域を移動させながら、ターゲット領域内の画像と、「OLD」、 rCURRENTj、および「NEW」のそれぞれのテンプレート画像とをテンプレートマツチング処理した結果、最も類似度が高!ヽテンプレート画像を選択テンプレートとして選択し、さらにターゲット画像 2a内おける選択テンプレートと最も類似度が高いターゲット領域を合致領域として抽出する。その後、ステップ S20へ進む。

[0038] ステップ S20では、物体追跡部 104bは、動画像の前フレームにおける合致領域と現フレームにおける合致領域とに基づいて被写体の追跡を行って、ステップ S30へ進む。ステップ S30では、テンプレート更新部 104bは、テンプレートマッチング部 10 4aによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「OLD」、「CURRENT」、および「NEW」のいずれであるかを判断する。選択されたテンプレート画像が「CURRENT」であると判断した場合には、テンプレート画像の更新を行わず、後述するステップ S60へ進む。

[0039] これに対して、選択されたテンプレート画像が「OLD」であると判断された場合には、ステップ S40へ進む。ステップ S40では、テンプレート更新部 104bは、上述したように、所定回数以上、例えば 7回以上「OLD」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば 0. 8以上であるという更新条件を満たす力否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップ S60へ進む。

[0040] 一方、更新条件を満たすと判断した場合には、ステップ S41へ進み、テンプレート更新部 104bは、今まで「OLD」として設定されていたテンプレート画像を「CURRE NTJに設定し、今まで「CURRENT」として設定されていたテンプレート画像を「OL Djに設定し、合致領域内の画像を取り込んで新たに「NEW」に設定する。その後、ステップ S60へ進む。 [0041] また、選択されたテンプレート画像が「NEW」であると判断された場合には、ステツプ S50へ進む。ステップ S50では、テンプレート更新部 104bは、上述したように、所定回数以上、例えば 7回以上「NEW」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば 0. 8以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップ S60へ進む。

[0042] 一方、更新条件を満たすと判断した場合には、ステップ S51へ進み、テンプレート更新部 104bは、今まで「NEW」として設定されていたテンプレート画像を「CURRE NTJに設定し、今まで「CURRENT」として設定されていたテンプレート画像を「OL Djに設定し、合致領域内の画像を取り込んで新たに「NEW」に設定する。その後、ステップ S60へ進む。

[0043] ステップ S60では、撮像素子 103からの動画像データの入力が終了したか否かを判断する。動画像データの入力が終了していないと判断した場合にはステップ S10 へ戻って処理を繰り返す。これに対して、動画像データの入力が終了したと判断した場合には処理を終了する。

[0044] 以上説明した第 1の実施の形態によれば、以下のような作用効果を得ることができる。

(1)テンプレートマッチング処理に使用するテンプレート画像を複数用意し、各テンプレート画像をテンプレートマッチング結果に応じて更新するようにした。これによつて、被写体が動くことによって発生する形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。

[0045] (2)テンプレート画像の更新を行うに際しては、「OLD」または「NEW」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにした。これによつて、例えばフレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

[0046] (3)テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した 1枚の画像を用いて複数枚のテンプレート画像を擬似的に作成するようにした。これによつて、被写体を異なる時刻に撮影して、複数のテンプレート画像を準備することができない場合であっても、本発明のテンプレートマッチング処理を行って被写体の追跡を行うことができる。

[0047] 一第 2の実施の形態一

第 2の実施の形態では、テンプレートマッチングのマッチング対象のテンプレートとして、第 1の実施の形態で上述した「CURRENT」、「OLD」、および「NEW」の 3枚のテンプレート画像にカ卩えて、これらのテンプレート画像よりも時間的に前に取得されたテンプレート画像「INITIAL」を使用する。すなわち、図 2に示した 3つのテンプレート画像にカ卩えて、「OLD」のテンプレート画像よりも前に撮影したテンプレート画像を「INITIAL」とする。この「INITIAL」のテンプレート画像は、テンプレート更新部 1 04bによる更新処理の対象としない。すなわち、テンプレート更新部 104bは、「INIT IAL」のテンプレート画像を更新を行なわな、恒久のテンプレート画像 (非更新テンプレート画像）として扱う。なお、図 1に示したブロック図については、第 1の実施の形態と同様のため説明を省略する。

[0048] 図 4は、第 2の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図である。図 4に示すように、ターゲット画像 4a内の人物の動きをフレーム間で追跡する場合には、使用者は被写体としての人物を異なる時刻に撮影した 4枚の画像 4b〜4eをテンプレート画像としてあら力じめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像 4b〜4eのうち、最も古、時刻に撮影されたテンプレート画像 4bを「INITIAL」、その次の古!、時刻に撮影されたテンプレート画像 4cを「OLD」、その次の古い時刻に撮影されたテンプレート画像 4dを「CURRENT」、最新の時刻に撮影されたテンプレート画像 4eを「NEW」と設定する。

[0049] なお、テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあら力じめ用意することができない場合には、第 1の実施の形態と同様に、被写体を撮影した 1枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよヽ。例えば、被写体を撮影した 1枚の画像を拡大'縮小することにより複数枚のテンプレート画像を擬似的に作成してもよぐ被写体を撮影した 1枚の画像の濃度を変更すること〖こより複数枚のテンプレート画像を擬似的に作成してもよい。 [0050] テンプレートマッチング部 104aは、これらの「INITIAL」、「CURRENT」、「OLD」、および「NEW」の 4枚のテンプレート画像を用いて、第 1の実施の形態と同様にターゲット画像 4aと各テンプレート画像とのマッチング処理を行う。そして、テンプレート更新部 104bは、以下に説明するように、非更新テンプレートとしての「INITIAL」のテンプレート画像以外の各テンプレート画像の更新処理を行う。

[0051] 図 5は、第 2の実施の形態におけるカメラ 100の処理を示すフローチャートである。

図 5に示す処理は、使用者によって入力スィッチ 101が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして、制御装置 104によって実行される。図 5においては、第 1の実施の形態で上述した図 3と同一の処理については同じステップ番号を付与して説明を省略し、相違点を中心に説明する。

[0052] ステップ S30において、テンプレート更新部 104bは、テンプレートマッチング部 10 4aによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「INITI AL」、「OLD」、「CURRENT」、および「NEW」のいずれであるかを判断する。選択されたテンプレート画像が「INITIAL」であると判断された場合には、ステップ S55へ進む。

[0053] ステップ S55では、テンプレート更新部 104bは、第 1の実施の形態で上述したステップ S40およびステップ S50と同様〖こ、所定回数以上、例えば 7回以上「INITIAL」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば 0. 8以上であるとヽぅ更新条件を満たすカゝ否かを判断する。更新条件を満たさな!/ヽと判断した場合には、テンプレート画像の更新を行わず、ステップ S60へ進む。これに対して、更新条件を満たすと判断した場合には、ステップ S56へ進む。

[0054] ステップ S56では、テンプレート更新部 104bは、今まで「CURRENT」として設定されていたテンプレート画像を「OLD」に設定し、今まで「INITIAL」として設定されていたテンプレート画像を「CURRENT」に設定する。さら〖こ、合致領域内の画像を取り込んで新たに「NEW」に設定する。なお、「INITIAL」のテンプレート画像は更新を行なわない。その後、ステップ S60へ進む。

[0055] 以上説明した第 2の実施の形態によれば、第 1の実施の形態における作用効果に加えて以下のような効果を得ることができる。すなわち、「INITIAL」のテンプレート画像を更新しない恒久のテンプレートとするようにした。このため、ダイナミックなテンプレート画像の更新処理で発生しがちな情報の誤差蓄積を防止することができる。

[0056] 一変形例一

なお、上述した実施の形態のカメラは、以下のように変形することもできる。 (1)上述した第 1の実施の形態の形態では、「OLD」、「CURRENT」、「NEW」の 3 枚のテンプレート画像を使用する例について説明した。また、第 2の実施の形態では、「INITIAL」、「OLD」、「CURRENT」、「NEW」の 4枚のテンプレート画像を使用する例について説明した。しかしこれに限定されず、テンプレート画像は 2枚、または 5枚以上としてもよい。なお、テンプレート画像を 2枚とする場合には、「OLD」、「CU RRENT」のみを使用して上述した処理を行えばよい。例えば、「OLD」が選択されて更新条件を満たした場合には、今まで「OLD」として設定されていたテンプレート画像を「CURRENT」に設定し、ターゲット領域内の画像を「OLD」に設定する。一方、「CURRENT」が選択された場合にはテンプレート画像の更新は行わない。また、テンプレート画像を 5枚以上とする場合には、「OLD」の枚数を増やすようにして、複数世代前の「CURRENT」をテンプレート画像として使用するようにすればよい。

[0057] (2)上述した第 1および第 2の実施の形態では、テンプレート更新部 104bは、テンプレート画像の更新条件として、「OLD」または「NEW」が所定回数以上、例えば 7回以上連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば 0 . 8以上である力否かを判断する例について説明した。し力しこれに限定されず、「0 LD」または「NEW」が所定回数以上連続して選択され、かつその間の全ての類似度が所定の類似度以上である力否かを判断するようにしてもよい。また、テンプレート更新部 104bは、「OLD」または「NEW」が所定回数以上連続して選択されたことのみを更新条件として、テンプレート画像の更新を行うようにしてもよい。

[0058] (3)上述した第 1および第 2の実施の形態では、撮像素子 103から入力される動画像データ、すなわち時系列で入力される複数フレームの画像データをテンプレートマツチングおよび被写体追跡の対象データとして処理を実行する例について説明した。しかしこれに限定されず、連写機能によって静止画像が時系列で複数フレーム入力された場合に、各フレーム間で被写体を追跡する場合にも本発明は適用可能である [0059] (4)上述した第 1および第 2の実施の形態では、テンプレート更新部 104bは、テンプレート画像の更新条件を満たすと判断した場合には、その条件に応じて rcURREN TJと「OLD」または「NEW」とを入れ替えることによって、テンプレート画像を更新する例について説明した。しかしこれに限定されず、更新前のテンプレート画像の対応する画素の所定の割合に相当する画素のみを更新後のテンプレート画像で上書きすることによってテンプレート画像を更新するようにしてもよい。例えば、今まで「OLD 」として設定されて、たテンプレート画像を「CURRENT」に設定する代わりに、「CU RRENTJの全画素の m%と、「OLD」の全画素の（100—m) %とをカ卩算することによつて、テンプレート画像を更新するようにしてもよい。

[0060] (5)上述した第 1および第 2の実施の形態では、被写体追跡装置としてカメラ 100を使用し、カメラ 100が供える制御装置 104によって、被写体追跡プログラムを実行する例について説明した。し力しながら、被写体追跡装置として他の装置を使用するようにしてもよい。例えば、ノソコンを被写体追跡装置として使用し、ノソコンが備えるハードディスクドライブなどの記録媒体に被写体追跡プログラムを記録しておき、 CP Uが被写体追跡プログラムをメモリ上に読み込んで実行するようにしてもよい。また、施設内を監視するセキュリティ装置 (監視装置)を被写体追跡装置として使用してもよい。

[0061] 例えば、図 6に示すように、複数台のカメラ 201と、制御装置 104と、メモリ 105と、モユタ 107とを備えるセキュリティ装置 200を使用する。そして、制御装置 104は、上述した第 1および第 2の実施の形態と同様に、被写体追跡プログラムを実行してカメラ 2 01から時系列で入力される各フレームの画像間で被写体追跡を行い、施設内に進入してくる不審者を特定するようにしてもよい。このとき、モニタ 107を複数設けて、複数のモニタ 107で監視を行なえるようにしてもよい。また、被写体追跡装置としてカメラ付き携帯電話などを用いることも可能である。

[0062] (6)また、パーソナルコンピュータなどに適用する場合、上述した被写体追跡プログラムは、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図 7はその様子を示す図である。パーソナルコンピュータ 400は、 CD— ROM404を介してプログラムの提供を受ける。また、パーソナルコンピュータ 4 00は通信回線 401との接続機能を有する。コンピュータ 402は上記被写体追跡プログラムを提供するサーバーコンピュータであり、ハードディスク 403などの記録媒体に被写体追跡プログラムを格納する。通信回線 401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ 402はハードディスク 403を使用して被写体追跡プログラムを読み出し、通信回線 401を介して被写体追跡プログラムをパーソナルコンピュータ 400に送信する。すなわち、被写体追跡プログラムをデータ信号として搬送波に embodyして、通信回線 401を介して送信する。このように、被写体追跡プログラムは、記録媒体や搬送波などの種々の形態のコンビュータ読み込み可能なコンピュータプログラム製品として供給できる。

[0063] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

[0064] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2006年第 054394号（2006年 3月 1日出願）

日本国特許出願 2006年第 292149号（2006年 10月 27日出願）

Claims

請求の範囲

[1] 時系列で入力される複数フレームの画像間で被写体の動きを追跡するためにコンピュータで実行されるプログラムを格納した被写体追跡コンピュータプログラム製品であって、

前記プログラムにより前記コンピュータは、

入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行つて、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高ヽテンプレート画像を選択テンプレートとして選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、

前記テンプレートマッチング手順によって抽出された前記合致領域内の画像について、フレーム間での動きを追跡することによって、前記複数フレームの画像間で被写体の動きを追跡する被写体追跡手順と、

前記テンプレートマッチング手順によるマッチング結果力前記複数のテンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、

前記判断手順によって前記更新条件を満たすと判断したときに、前記複数のテンプレート画像の内の少なくとも 1枚を更新する更新手順とを実行する。

[2] 請求項 1に記載の被写体追跡コンピュータプログラム製品にお、て、

前記複数のテンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記更新手順によって前記複数のテンプレートが更新されるまでの間、前記現選択テンプレート画像として設定されて、た旧選択テンプレート画像、および前記更新手順によって前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新テンプレート画像を含む。

[3] 請求項 2に記載の被写体追跡コンピュータプログラム製品にお、て、

前記複数のテンプレート画像は、前記現選択テンプレート画像、前記旧選択テンプレート画像、および前記新選択テンプレート画像をそれぞれ 1枚ずつ含む 3枚のテンプレート画像である。

[4] 請求項 1に記載の被写体追跡コンピュータプログラム製品にお、て、前記複数のテンプレート画像は、前記更新手順によって前記複数のテンプレート画像が更新されたときに前記選択テンプレート画像として選択された現選択テンプレート画像、前記更新手順によって前記複数のテンプレートが更新されるまでの間、前記現選択テンプレート画像として設定されて、た旧選択テンプレート画像、前記更新手順によつて前記複数のテンプレート画像が更新されたときの前記合致領域内の画像である新テンプレート画像、および前記複数のテンプレート画像内で時間的に最も前に取得され、前記更新手順によって更新されな、非更新テンプレート画像とを含む。

[5] 請求項 4に記載の被写体追跡コンピュータプログラム製品にお、て、

前記複数のテンプレート画像は、前記現選択テンプレート画像、前記旧選択テンプレート画像、前記新選択テンプレート画像、および前記非更新テンプレート画像をそれぞれ 1枚ずつ含む 4枚のテンプレート画像である。

[6] 請求項 2〜5のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、

前記判断手順は、前記旧選択テンプレート画像および前記新テンプレート画像の V、ずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたことを前記更新条件として判断する。

[7] 請求項 2〜5のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、

前記判断手順は、前記旧選択テンプレート画像および前記新テンプレート画像の Vヽずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。

[8] 請求項 4または 5に記載の被写体追跡コンピュータプログラム製品において、

前記判断手順は、前記旧選択テンプレート画像、前記新テンプレート画像、および前記非更新テンプレート画像の、ずれかが、所定回数以上連続して前記選択テンプレート画像として選択されたときに、そのときの類似度が全て所定の類似度以上であること、またはそのときの類似度の平均が所定の類似度以上であることを前記更新条件として判断する。

[9] 請求項 1〜8のいずれか一項に記載の被写体追跡コンピュータプログラム製品において、

前記更新手順は、各テンプレート画像の全画素のうち、所定の割合の画素のみを更新の対象とする。

[10] 被写体追跡装置は、

請求項 1〜9のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部を備える。

[11] カメラは、

被写体を撮像して画像を取得する撮像部と、

請求項 1〜9のいずれか一項に記載の被写体追跡コンピュータプログラム製品に格納されたプログラムを実行するプログラム実行部とを備え、

前記プログラム実行手段により前記プログラムを実行することにより、前記撮像手段で被写体を撮像して取得され、時系列で入力される複数フレームの画像間で被写体の動きを追跡する。