JP7364041B2 - 物体追跡装置、物体追跡方法、及び、プログラム - Google Patents
物体追跡装置、物体追跡方法、及び、プログラム Download PDFInfo
- Publication number
- JP7364041B2 JP7364041B2 JP2022508613A JP2022508613A JP7364041B2 JP 7364041 B2 JP7364041 B2 JP 7364041B2 JP 2022508613 A JP2022508613 A JP 2022508613A JP 2022508613 A JP2022508613 A JP 2022508613A JP 7364041 B2 JP7364041 B2 JP 7364041B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- search range
- range
- tracking
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 239000000284 extract Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Description
本発明は、画像に含まれる物体を追跡する技術に関する。
動画像中の特定の物体をターゲットとして検出し、画像内におけるターゲットの移動を追跡する物体追跡手法が知られている。物体追跡では、画像中のターゲットの特徴を抽出し、それと類似する特徴を有する物体をターゲットとして追跡する。
特許文献１は、対象物の重なりを考慮した対象物追跡方法を記載している。また、特許文献２には、画像中の対象物の姿勢を推定する装置であって、撮影画像の初期フレームにおいて、対象物の局所特徴近傍の画像領域をポジティブサンプルとして切り出し、局所特徴以外の画像領域をネガティブサンプルとして切り出し、それらを用いて局所特徴の類似度を算出するための識別モデルを学習する手法が記載されている。
物体追跡技術における１つの問題として、「乗移り」という現象がある。これは、ターゲットの追跡中にターゲットと類似の物体が現れ、ターゲットとの間ですれ違いや遮蔽などが起きた場合に、その後、物体追跡装置が類似の物体の方をターゲットと誤認して追跡してしまう現象をいう。乗移りが発生すると、その後は物体追跡装置が類似の物体の方の特徴を学習して追跡を継続するため、正しいターゲットに復帰することが非常に難しくなる。
本発明の１つの目的は、物体追跡における乗移りを防止することにある。
本発明の一つの観点は、物体追跡装置であって、
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する第１設定手段と、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する追跡手段と、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定する第２設定手段と、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新するモデル更新手段と、
を備える。
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する第１設定手段と、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する追跡手段と、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定する第２設定手段と、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新するモデル更新手段と、
を備える。
本発明の他の観点は、物体追跡方法であって、
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する。
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する。
本発明の他の観点は、プログラムであって、
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する処理をコンピュータに実行させる。
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する処理をコンピュータに実行させる。
本発明によれば、物体追跡における乗移りを防止することが可能となる。
以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
［物体追跡装置の概要］
図１は、第１実施形態に係る物体追跡装置の概要を示す。物体追跡装置１００には、追跡の対象となる物体（「ターゲット」と呼ぶ。）を含む画像と、その画像におけるターゲットの位置を示す位置情報とが入力される。なお、入力画像は、カメラやデータベースなどから取得された動画像、即ち、映像を構成する時系列画像（連続画像列）である。物体追跡装置１００は、入力画像における位置で指定されたターゲットの特徴を示すターゲットモデルを生成し、各フレーム画像においてターゲットモデルと類似する物体をターゲットとして検出、追跡する。物体追跡装置１００は、入力画像におけるターゲットを包含する枠（以下、「ターゲット枠」と呼ぶ。）の位置やサイズを示す枠情報や、元の動画像上にターゲット枠を表示した画像などを追跡結果として出力する。
＜第１実施形態＞
［物体追跡装置の概要］
図１は、第１実施形態に係る物体追跡装置の概要を示す。物体追跡装置１００には、追跡の対象となる物体（「ターゲット」と呼ぶ。）を含む画像と、その画像におけるターゲットの位置を示す位置情報とが入力される。なお、入力画像は、カメラやデータベースなどから取得された動画像、即ち、映像を構成する時系列画像（連続画像列）である。物体追跡装置１００は、入力画像における位置で指定されたターゲットの特徴を示すターゲットモデルを生成し、各フレーム画像においてターゲットモデルと類似する物体をターゲットとして検出、追跡する。物体追跡装置１００は、入力画像におけるターゲットを包含する枠（以下、「ターゲット枠」と呼ぶ。）の位置やサイズを示す枠情報や、元の動画像上にターゲット枠を表示した画像などを追跡結果として出力する。
［ハードウェア構成］
図２は、物体追跡装置１００のハードウェア構成を示すブロック図である。図示のように、物体追跡装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力装置１６と、表示装置１７と、を備える。
図２は、物体追跡装置１００のハードウェア構成を示すブロック図である。図示のように、物体追跡装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力装置１６と、表示装置１７と、を備える。
入力ＩＦ１１は、データの入出力を行う。具体的に、入力ＩＦ１１は、ターゲットを含む画像を取得するとともに、その画像におけるターゲットの初期位置を示す位置情報を取得する。
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体追跡装置１００の全体を制御する。特に、プロセッサ１２は、後述する追跡特徴モデル生成処理、ターゲットモデル生成処理、及び、追跡処理を行う。
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体追跡装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。
ＤＢ１５は、入力ＩＦ１１から入力されるデータを記憶する。具体的に、ＤＢ１５には、ターゲットを含む画像が記憶される。また、ＤＢ１５には、物体追跡において使用されるターゲットモデルの情報などが記憶される。
入力装置１６は、例えばキーボード、マウス、タッチパネルなどであり、物体追跡装置１００による処理に関連してユーザが必要な指示、入力を行う際に使用される。表示装置１７は例えば液晶ディスプレイなどであり、追跡結果を示す画像などが表示される。
［機能構成］
図３は、物体追跡装置１００の機能構成を示すブロック図である。物体追跡装置１００は、追跡特徴モデル生成部２０と、ターゲットモデル生成部３０と、追跡部４０とを備える。追跡特徴モデル生成部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて追跡特徴モデルを生成し、ターゲットモデル生成部３０に出力する。ターゲットモデル生成部３０は、入力画像と、その画像におけるターゲットの位置情報と、追跡特徴モデルに基づいて、ターゲットの特徴を示すターゲットモデルを生成し、追跡部４０に出力する。追跡部４０は、ターゲットモデルを用いて、入力画像からターゲットを検出して追跡し、追跡結果を出力する。また、追跡部４０は、検出されたターゲット、及び、ターゲットの検出時に得られたターゲット以外の物体に基づいて、ターゲットモデルを更新する。以下、各要素について詳しく説明する。
図３は、物体追跡装置１００の機能構成を示すブロック図である。物体追跡装置１００は、追跡特徴モデル生成部２０と、ターゲットモデル生成部３０と、追跡部４０とを備える。追跡特徴モデル生成部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて追跡特徴モデルを生成し、ターゲットモデル生成部３０に出力する。ターゲットモデル生成部３０は、入力画像と、その画像におけるターゲットの位置情報と、追跡特徴モデルに基づいて、ターゲットの特徴を示すターゲットモデルを生成し、追跡部４０に出力する。追跡部４０は、ターゲットモデルを用いて、入力画像からターゲットを検出して追跡し、追跡結果を出力する。また、追跡部４０は、検出されたターゲット、及び、ターゲットの検出時に得られたターゲット以外の物体に基づいて、ターゲットモデルを更新する。以下、各要素について詳しく説明する。
図４は、追跡特徴モデル生成部２０を示す。追跡特徴モデル生成部２０は、追跡特徴モデルを生成する。「追跡特徴モデル」とは、ターゲットの追跡において着目すべき特徴を事前に学習したモデルである。本実施形態では、追跡特徴モデル生成部２０は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの特徴抽出器により構成される。追跡特徴モデル生成部２０は、ターゲットとなる物体の基本的な特徴を学習し、追跡特徴モデルを生成する。例えば、追跡のターゲットが「特定の人」である場合、追跡特徴モデル生成部２０は、入力画像を用いて一般的な「人（人間）」の特徴を学習する。
上記の例では、追跡特徴モデル生成部２０には、入力画像とともに、その画像における人の位置を示す位置情報が入力される。人の領域の位置情報は、例えば、表示装置１７に表示された画像において人を内包する枠をユーザが入力装置１６を操作して指定することにより入力される。もしくは、入力画像から人を検出する物体検出器を前段に設け、その物体検出器が検出した人の位置を位置情報として追跡特徴モデル生成部２０に入力してもよい。追跡特徴モデル生成部２０は、入力画像において上記の位置情報が示す領域にある物体を正例（「人」）とし、それ以外の物体を負例（「人以外」）として追跡特徴モデルを学習し、学習済みの追跡特徴モデルを出力する。
なお、上記の実施形態では、ＣＮＮによる深層学習を用いて追跡特徴モデルを学習しているが、それ以外の各種の特徴抽出方式により追跡特徴モデルを生成しても構わない。また、追跡特徴モデルの生成時には、連続する時刻（例えば、時刻ｔと時刻ｔ＋１）の画像における同一物体を学習するのみならず、より離れた時刻（例えば、時刻ｔと時刻ｔ＋１０など）の画像における同一物体を学習に用いてもよい。これにより、物体の見え方が大きく変形した場合でもターゲットを精度よく抽出できるようになる。また、追跡特徴モデル生成部２０に入力される位置情報は、上記のようなターゲットを内包する枠以外に、ターゲットの中心位置、ターゲットのセグメンテーション情報などであってもよい。
図５は、ターゲットモデル生成部３０を示す。ターゲットモデル生成部３０は、入力画像中のターゲットの画像特徴を用いて、追跡特徴モデルを更新してターゲットモデルを生成する。ターゲットモデル生成部３０へは、複数のフレーム画像を含む動画像が入力画像として入力される。また、ターゲットモデル生成部３０へは、上記の入力画像におけるターゲットの枠情報が入力される。なお、枠情報は、ターゲットを内包するターゲット枠の大きさ及び位置を示す情報である。さらに、ターゲットモデル生成部３０へは、追跡特徴モデル生成部２０が生成した追跡特徴モデルが入力される。
ターゲットモデルは、ターゲットを追跡するために着目すべき画像特徴を示すモデルである。ここで、前述の追跡特徴モデルがターゲットとなる物体の基本的な特徴を示すモデルであるのに対し、ターゲットモデルは追跡の対象となる物体の個別の特徴を示すモデルである。例えば、追跡のターゲットが「特定の人」である場合、ターゲットモデルは、入力画像においてユーザが指定した特定の人の特徴を示すモデルである。即ち、生成されたターゲットモデルは、入力画像においてユーザが指定した具体的な人物に固有の特徴も含むものとなる。
ターゲットモデル生成部３０は、ＣＮＮなどの特徴抽出器を備え、入力画像におけるターゲット枠の領域からターゲットの画像特徴を抽出する。そして、ターゲットモデル生成部３０は、抽出されたターゲットの画像特徴と、追跡特徴モデルとを用いて、その具体的なターゲットを追跡するために着目すべき特徴を示すターゲットモデルを生成する。なお、ターゲットモデルは、追跡特徴モデルの持つ画像的な特徴の他に、ターゲットの大きさやアスペクト比などの情報、及び、ターゲットの移動方向、移動量、移動速度などを含む移動情報も保持する。ターゲットモデル生成部３０は、生成したターゲットモデルを追跡部４０へ出力する。
図６は、追跡部４０の構成を示すブロック図である。追跡部４０は、入力画像からターゲットを検出して追跡するとともに、ターゲットの検出時に得られる物体の情報を用いてターゲットモデルを更新する。追跡部４０は、ターゲット枠推定部４１と、信頼度算出部４２と、ターゲットモデル更新部４３と、探索範囲設定部４４と、を備える。
まず、探索範囲設定部４４に枠情報が入力される。この枠情報は、１つ前のフレーム画像において、追跡結果として得られたターゲットの枠情報及びその信頼度を含む。探索範囲設定部４４は、入力された枠情報に基づいて、ターゲット探索範囲を設定する。ターゲット探索範囲は、そのフレーム画像においてターゲットが含まれると予測される範囲であり、１つ前のフレーム画像におけるターゲット枠を中心として設定される。
図７は、探索範囲の設定方法を示す。図７の例では、縦Ｈ、横Ｗの矩形であるターゲット枠の枠情報が探索範囲設定部４４に入力される。探索範囲設定部４４は、基本的に、入力された枠情報が示すターゲット枠を包含するターゲットテンプレートを形成し、その縦横２倍の大きさの範囲をターゲット探索範囲Ｒｔに設定する。但し、探索範囲設定部４４は、１つ前のフレーム画像で追跡結果として得られたターゲット枠の信頼度に応じて、ターゲット探索範囲Ｒｔを修正する。まず、探索範囲設定部４４は、ターゲット枠の信頼度に応じてターゲット探索範囲を修正する。具体的には、ターゲット枠の信頼度が低い場合にはターゲット探索範囲を大きくする。また、探索範囲設定部４４は、ターゲット枠の大きさに応じて、ターゲット探索範囲Ｒｔを修正してもよい。例えば、探索範囲設定部４４は、ターゲット枠が大きい場合には、ターゲット探索範囲Ｒｔを大きくする。
さらに、探索範囲設定部４４は、ターゲットの移動情報、即ち、移動方向、移動速度などに応じて、ターゲット探索範囲Ｒｔを修正する。例えば、探索範囲設定部４４は、ターゲット探索範囲Ｒｔを、ターゲットの移動方向に広く、それと反対方向には狭くするように修正する。また、ターゲットの移動速度が速いほど、移動方向への拡大量を大きくしてもよい。上記のように、本例ではターゲットテンプレートに対するターゲット探索範囲Ｒｔの倍率を縦横２倍としているが、ターゲットの移動方向において移動速度に応じた重み付けを行ってターゲット探索範囲Ｒｔを修正してもよい。例えば、ターゲットの移動方向においては、ターゲット探索範囲Ｒｔの倍率に大きな重みを与えてターゲット探索範囲Ｒｔを拡大し、ターゲットの移動方向と反対方向においては、倍率に小さな重みを与えてターゲット探索範囲Ｒｔを縮小してもよい。なお、ターゲットの移動情報は、現在及び過去における各フレーム画像中のターゲット枠の位置に基づいて算出される。
また、探索範囲設定部４４は、ターゲットを追跡できているとき（以下、「追跡状態」と呼ぶ。）には、ターゲット探索範囲Ｒｔを上記の方法で設定するが、ターゲットを追跡できていないとき（以下、「ロスト状態」とも呼ぶ。）には、ターゲットを再度検出して追跡可能とするためにターゲット探索範囲Ｒｔを拡大する。例えば、探索範囲設定部４４は、追跡状態ではターゲット探索範囲Ｒｔをターゲットテンプレートの縦横２倍とし、ロスト状態ではターゲット探索範囲Ｒｔをターゲットテンプレートの縦横６倍とする。また、探索範囲設定部４４は、ロスト状態が長く継続するほど、ターゲット探索範囲Ｒｔを大きくしてもよい。なお、探索範囲設定部４４は、ターゲットを追跡できているか否かの判定（以下、「ロスト判定」と呼ぶ。）を、１つ前のフレーム画像で得られたターゲット枠の信頼度に基づいて行う。具体的には、探索範囲設定部４４は、ターゲット枠の信頼度が所定値（例えば０．８など）よりも低い場合に、ロスト状態と判定する。その後、探索範囲設定部４４は、ターゲット枠の信頼度が所定値（例えば０．９など）を超えた場合に、ターゲットを再度検出したと判定し、ターゲット探索範囲Ｒｔを追跡状態のサイズに戻す。
また、探索範囲設定部４４は、上記のようにして設定したターゲット探索範囲Ｒｔに基づいて、ネガティブサンプル探索範囲を設定する。「ネガティブサンプル」とは、入力画像から検出されたターゲット候補の物体のうちターゲットとは異なる物体を指し、ターゲットモデルの更新において負例として学習されるものをいう。本実施形態では、前述したターゲットの乗移りを防止するために、次の時刻以降のフレーム画像において乗移りの対象となる可能性のある物体を、予めネガティブサンプルとして検出し、これを負例としてターゲットモデルを更新する。これにより、そのネガティブサンプルが次の時刻以降のフレーム画像においてターゲット探索範囲Ｒｔに侵入したとしても、ターゲットモデルとの類似度が低くなり、ターゲットと誤認する確率が低下するので、乗移りの発生を防止することが可能となる。この目的で、本実施形態では、ターゲット探索範囲Ｒｔの外側に、ネガティブサンプル探索範囲を設定する。即ち、「ネガティブサンプル探索範囲」とは、入力画像から、ターゲット以外の物体に相当するネガティブサンプルを抽出するために設定される範囲をいう。
図７は、ネガティブサンプル探索範囲の例を示す。ネガティブサンプル探索範囲Ｒｎは、基本的にターゲット探索範囲Ｒｔを含むように設定される。また、ネガティブサンプル探索範囲Ｒｎは、ターゲット探索範囲Ｒｔよりもターゲット１つ分、具体的には、ターゲットテンプレート１つ分以上大きい範囲とする。図７の例では、ターゲットテンプレートの１辺の長さは「Ｌ」であるので、ネガティブサンプル探索範囲Ｒｎは、ターゲット探索範囲Ｒｔの全方向に長さＬ以上大きい範囲となっている。これは、ネガティブサンプル探索範囲Ｒｎに入ってきたターゲットに類似する類似物体を、ネガティブサンプルとして検出するためである。即ち、ターゲットの類似物体をネガティブサンプルとして検出可能とするために、ターゲットと同程度のサイズを有する類似物体が収まるスペースをネガティブサンプル探索範囲Ｒｎに持たせている。
なお、ネガティブサンプル探索範囲Ｒｎを大きくしすぎると、その範囲でネガティブサンプルを抽出する処理や、その後のターゲットモデルの更新処理の処理負荷が大きくなってしまう。よって、ネガティブサンプル探索範囲Ｒｎは、ターゲット探索範囲Ｒｔよりも、ターゲット１つ分に所定のマージンを加えた程度大きい範囲とすることが好ましい。なお、上記のように、ロスト状態においては、探索範囲設定部４４はターゲット探索範囲Ｒｔを拡大し、拡大されたターゲット探索範囲Ｒｔの外側にネガティブサンプル探索範囲Ｒｎを設定する。
こうしてターゲット探索範囲Ｒｔ及びネガティブサンプル探索範囲Ｒｎが設定されると、追跡部４０は、入力画像からターゲットを検出して追跡する。まず、ターゲット枠推定部４１は、入力画像のターゲット探索範囲Ｒｔ内において、ターゲットモデルを用いてターゲット枠を推定する。具体的には、ターゲット枠推定部４１は、ターゲット探索範囲Ｒｔ内でターゲットの候補を示す追跡候補窓を検出し、信頼度算出部４２は、各追跡候補窓の画像特徴と、ターゲットモデルとを比較して信頼度を算出する。なお、追跡候補窓としては、例えばＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）などを使用して得られたＲＰ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）を用いることができる。追跡候補枠は、ターゲット候補の一例である。また、「信頼度」は、ターゲットモデルとの類似度である。そして、ターゲット枠推定部４１は、複数の追跡候補窓のうち、最も信頼度が高いものをその画像での追跡結果、即ちターゲットと決定する。このターゲットの枠情報は、次のフレーム画像の処理において使用される。
また、ターゲットモデル更新部４３は、こうして得られたターゲット枠の信頼度がポジティブサンプル用の第１の値域、例えば、０．６＜Ｐ＜０．８に属するか否かを判定し、第１の値域に属する場合に、その追跡候補窓をポジティブサンプルとして使用してターゲットモデルを更新する。具体的には、ターゲットモデル更新部４３は、ターゲットモデルに、ポジティブサンプルから得た画像特徴マップを掛け合わせてターゲットモデルの更新を行う。なお、ターゲット枠の信頼度が第１の値域に属しない場合、ターゲットモデル更新部４３は、その追跡候補枠を用いたターゲットモデルの更新を行わない。
また、ターゲット枠推定部４１は、ネガティブサンプル探索範囲Ｒｎ内でターゲットの候補を示す追跡候補窓を検出し、信頼度算出部４２は、各追跡候補窓の画像特徴と、ターゲットモデルとを比較して信頼度を算出する。そして、ターゲットモデル更新部４３は、ネガティブサンプル探索範囲Ｒｎ内で検出された複数の追跡候補窓のうち、信頼度が第２の値域、例えば、０．３＜Ｎ＜０．７に属するものを抽出し、その一部をネガティブサンプルとする。なお、ネガティブサンプルについての第２の値域と、ポジティブサンプルについての第１の値域とは、一部が重なるように設定される。これにより、ポジティブサンプルであるかネガティブサンプルであるかが微妙な物体を、両方の可能性を考慮して学習し、ターゲットモデルを更新することができる。
具体的には、ターゲットモデル更新部４３は、ネガティブサンプル探索範囲Ｒｎ内で検出された複数の追跡候補窓のうち、ターゲット枠以外であり、信頼度が第２の値域に属し、かつ、ターゲット枠との重なりが一定以下であるものを選び、ＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）を行い、ネガティブサンプルとする。また、必要に応じて、ＮＭＳで得られた追跡候補窓から一定数を選出したものをネガティブサンプルとする。そして、ターゲットモデル更新部４３は、得られたネガティブサンプルを用いてターゲットモデルを更新する。具体的には、ターゲットモデル更新部４３は、ターゲットモデルに、ネガティブサンプルから得た画像特徴マップを掛け合わせてターゲットモデルを更新する。
上記の構成において、ターゲット枠推定部４１は抽出手段及び追跡手段の一例であり、探索範囲設定部４４は第１設定手段及び第２設定手段の一例であり、ターゲットモデル更新部４３はモデル更新手段、第１抽出手段及び第２抽出手段の一例である。また、ポジティブサンプル探索範囲は第１探索範囲の一例であり、ネガティブサンプル探索範囲は第２探索範囲の一例である。
［物体追跡装置による処理］
次に、物体追跡装置１００により実行される各処理について説明する。物体追跡装置１００は、追跡特徴モデル生成処理と、ターゲットモデル生成処理と、追跡処理を実行する。以下、順に説明する。
次に、物体追跡装置１００により実行される各処理について説明する。物体追跡装置１００は、追跡特徴モデル生成処理と、ターゲットモデル生成処理と、追跡処理を実行する。以下、順に説明する。
（追跡特徴モデル生成処理）
追跡特徴モデル生成処理は、追跡特徴モデル生成部２０により実行され、入力画像と、ターゲットの位置情報から追跡特徴モデルを生成する処理である。図８は、追跡特徴モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。
追跡特徴モデル生成処理は、追跡特徴モデル生成部２０により実行され、入力画像と、ターゲットの位置情報から追跡特徴モデルを生成する処理である。図８は、追跡特徴モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。
まず、追跡特徴モデル生成部２０は、入力画像と、入力画像におけるターゲットの位置情報とに基づいて、入力画像におけるターゲット領域を算出し、ターゲットの画像を抽出する（ステップＳ１１）。次に、追跡特徴モデル生成部２０は、ＣＮＮにより、ターゲットの画像から特徴を抽出し、追跡特徴モデルを生成する（ステップＳ１２）。これにより、ターゲットの特徴を示す追跡特徴モデルが生成される。
なお、追跡特徴モデル生成処理では、追跡部４０において同じターゲットを追跡するために、時系列画像におけるターゲットは同一のものとして追跡特徴モデルが生成される。また、乗移りを防止するため、ターゲットとそれ以外のものは異なるものとして追跡特徴モデルが生成される。また、より精細な画像特徴で認識するために、同一カテゴリの別種のもの、例えばバイクと自転車、色違いの同一物などを別のものとして追跡特徴モデルが生成される。
（ターゲットモデル生成処理）
追跡特徴モデル生成処理に続いて、ターゲットモデル生成処理が実行される。ターゲットモデル生成処理は、ターゲットモデル生成部３０により実行され、入力画像と、入力画像におけるターゲットの枠情報と、追跡特徴モデルとに基づいて、ターゲットモデルを生成する処理である。図９は、ターゲットモデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行することにより実現される。
追跡特徴モデル生成処理に続いて、ターゲットモデル生成処理が実行される。ターゲットモデル生成処理は、ターゲットモデル生成部３０により実行され、入力画像と、入力画像におけるターゲットの枠情報と、追跡特徴モデルとに基づいて、ターゲットモデルを生成する処理である。図９は、ターゲットモデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行することにより実現される。
まず、ターゲットモデル生成部３０は、枠情報が示す枠の大きさをもとに、ターゲット候補となる追跡候補窓を設定する（ステップＳ２１）。追跡候補窓は、後述する追跡処理においてターゲットを探索するために使用される窓であり、枠情報が示すターゲット枠の大きさと同程度の大きさに設定される。
次に、ターゲットモデル生成部３０は、入力画像中のターゲット枠内の領域及びその周辺を一定の大きさに正規化し、正規化ターゲット領域を生成する（ステップＳ２２）。これは、ＣＮＮの前処理として、ターゲット枠の領域をＣＮＮの入力に適したサイズに合わせる処理である。次に、ターゲットモデル生成部３０は、ＣＮＮを用いて正規化ターゲット領域から画像特徴を抽出する（ステップＳ２３）。
そして、ターゲットモデル生成部３０は、追跡特徴モデル生成部２０が生成した追跡特徴モデルを、ターゲットの画像特徴で更新し、ターゲットモデルを生成する（ステップＳ２４）。なお、本例では、ターゲット枠が示すターゲット領域からＣＮＮを用いて画像特徴を抽出しているが、他の方法を用いて画像特徴を抽出してもよい。また、ターゲットモデルは、例えばＣＮＮによる特徴抽出を行い、１つあるいは複数の特徴空間で表してもよい。この場合、ターゲットの画像特徴と、ネガティブサンプルの画像特徴との比率調整や、時間経過又は信頼度による重み付けを行ってもよい。
（追跡処理）
ターゲットモデル生成処理に続いて、追跡処理が実行される。追跡処理は、追跡部４０により実行され、入力画像におけるターゲットを追跡するとともに、ターゲットモデルを更新する処理である。図１０は、追跡処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図６に示す各要素として動作することにより実現される。
ターゲットモデル生成処理に続いて、追跡処理が実行される。追跡処理は、追跡部４０により実行され、入力画像におけるターゲットを追跡するとともに、ターゲットモデルを更新する処理である。図１０は、追跡処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図６に示す各要素として動作することにより実現される。
まず、探索範囲設定部４４は、１つ前のフレーム画像におけるターゲット枠の形及び信頼度をもとに、ターゲット探索範囲を設定する（ステップＳ３１）。なお、処理の開始時、即ち、最初のフレーム画像においては、ターゲット枠としては追跡特徴モデル生成処理において入力されたターゲットの位置が用いられ、ターゲット枠の信頼度としては「１．０」が用いられる。
次に、探索範囲設定部４４は、設定されたターゲット探索範囲に基づいて、ターゲット探索範囲を内包するネガティブサンプル探索範囲を設定する（ステップＳ３２）。具体的には、探索範囲設定部４４は、図７を参照して説明した手法でネガティブサンプル探索範囲を設定する。
次に、ターゲット枠推定部４１は、設定されたターゲット探索範囲に属する複数の追跡候補窓を抽出する。また、信頼度算出部４２は、各追跡候補窓の画像特徴と、ターゲットモデルとを比較し、各追跡候補窓の信頼度を算出する。そして、ターゲット枠推定部４１は、各追跡候補窓のうち、最も信頼度が高い追跡候補窓をその画像でのターゲット枠と決定する（ステップＳ３３）。こうして、ターゲットの追跡が行われる。
次に、ターゲット枠推定部４１は、設定されたネガティブサンプル探索範囲に属する複数の追跡候補窓を抽出する。また、信頼度算出部４２は、各追跡候補窓の画像特徴と、ターゲットモデルとを比較し、各追跡候補窓の信頼度を算出する。そして、ターゲットモデル更新部４３は、各追跡候補窓のうち、ターゲット枠以外で、信頼度が第２の値域に属し、かつ、ターゲット枠との重なりが一定以下であるものを選んでＮＭＳを行い、さらにその中から位置の分散を考慮して一定数の追跡候補窓を選出し、ネガティブサンプルとする（ステップＳ３４）。
また、ターゲットモデル更新部４３は、ステップＳ３３で決定されたターゲット枠の信頼度が第１の値域に属する場合、ターゲット枠をポジティブサンプルとする（ステップＳ３５）。
そして、ターゲットモデル更新部４３は、ターゲットモデルに、各ポジティブサンプル及び各ネガティブサンプルから得た画像特徴を掛け合わせてターゲットモデルの更新を行う（ステップＳ３６）。こうして、ターゲットモデルが更新される。
＜第２実施形態＞
図１１は、第２実施形態に係る物体追跡装置５０の機能構成を示すブロック図である。物体追跡装置５０は、抽出手段５１と、第１設定手段５２と、追跡手段５３と、第２設定手段５４と、モデル更新手段５５と、を備える。抽出手段５１は、時系列画像からターゲット候補を抽出する。第１設定手段５２は、時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する。追跡手段５３は、第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する。第２設定手段５４は、第１探索範囲を含み、第１探索範囲よりも大きい第２探索範囲を設定する。モデル更新手段５５は、第１探索範囲内で抽出されたターゲット候補、及び、第２探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する。
図１１は、第２実施形態に係る物体追跡装置５０の機能構成を示すブロック図である。物体追跡装置５０は、抽出手段５１と、第１設定手段５２と、追跡手段５３と、第２設定手段５４と、モデル更新手段５５と、を備える。抽出手段５１は、時系列画像からターゲット候補を抽出する。第１設定手段５２は、時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する。追跡手段５３は、第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する。第２設定手段５４は、第１探索範囲を含み、第１探索範囲よりも大きい第２探索範囲を設定する。モデル更新手段５５は、第１探索範囲内で抽出されたターゲット候補、及び、第２探索範囲内で抽出されたターゲット候補を用いて、ターゲットモデルを更新する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する第１設定手段と、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する追跡手段と、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定する第２設定手段と、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。
時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する第１設定手段と、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する追跡手段と、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定する第２設定手段と、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。
（付記２）
前記第２設定手段は、前記第２探索範囲を、前記第１探索範囲よりも前記ターゲット１つ分のサイズ以上大きく設定する付記１に記載の物体追跡装置。
前記第２設定手段は、前記第２探索範囲を、前記第１探索範囲よりも前記ターゲット１つ分のサイズ以上大きく設定する付記１に記載の物体追跡装置。
（付記３）
前記第１設定手段は、前記ターゲットの移動方向及び移動速度に基づいて、前記ターゲットの移動先を含むように前記第１探索範囲を設定する付記１又は２に記載の物体追跡装置。
前記第１設定手段は、前記ターゲットの移動方向及び移動速度に基づいて、前記ターゲットの移動先を含むように前記第１探索範囲を設定する付記１又は２に記載の物体追跡装置。
（付記４）
前記追跡手段は、前記第１探索範囲内で抽出された各ターゲット候補について前記信頼度を算出し、前記信頼度が最も高いターゲット候補を前記ターゲットと決定する付記１乃至３のいずれか一項に記載の物体追跡装置。
前記追跡手段は、前記第１探索範囲内で抽出された各ターゲット候補について前記信頼度を算出し、前記信頼度が最も高いターゲット候補を前記ターゲットと決定する付記１乃至３のいずれか一項に記載の物体追跡装置。
（付記５）
前記追跡手段は、前記信頼度を、前記ターゲットの移動情報に基づいて重み付けして算出する付記４に記載の物体追跡装置。
前記追跡手段は、前記信頼度を、前記ターゲットの移動情報に基づいて重み付けして算出する付記４に記載の物体追跡装置。
（付記６）
前記第１探索範囲内で抽出されたターゲット候補のうち、前記信頼度が第１の値域に属するものをポジティブサンプルとして抽出する第１抽出手段と、
前記第２探索範囲内で抽出されたターゲット候補のうち、前記信頼度が第２の値域に属するものをネガティブサンプルとして抽出する第２抽出手段と、を備え、
前記モデル更新手段は、前記ポジティブサンプル及び前記ネガティブサンプルの少なくとも一方を用いて前記ターゲットモデルを更新する付記４又は５に記載の物体追跡装置。
前記第１探索範囲内で抽出されたターゲット候補のうち、前記信頼度が第１の値域に属するものをポジティブサンプルとして抽出する第１抽出手段と、
前記第２探索範囲内で抽出されたターゲット候補のうち、前記信頼度が第２の値域に属するものをネガティブサンプルとして抽出する第２抽出手段と、を備え、
前記モデル更新手段は、前記ポジティブサンプル及び前記ネガティブサンプルの少なくとも一方を用いて前記ターゲットモデルを更新する付記４又は５に記載の物体追跡装置。
（付記７）
前記第１の値域と前記第２の値域は部分的に重なっている付記６に記載の物体追跡装置。
前記第１の値域と前記第２の値域は部分的に重なっている付記６に記載の物体追跡装置。
（付記８）
前記第２抽出手段は、前記第２探索範囲で抽出されたターゲット候補のうち、前記ターゲット以外で、前記信頼度が前記第２の値域に属し、かつ、前記ターゲットとの重なりが一定以下であるターゲット候補の少なくとも一部を前記ネガティブサンプルとして抽出する付記６又は７に記載の物体追跡装置。
前記第２抽出手段は、前記第２探索範囲で抽出されたターゲット候補のうち、前記ターゲット以外で、前記信頼度が前記第２の値域に属し、かつ、前記ターゲットとの重なりが一定以下であるターゲット候補の少なくとも一部を前記ネガティブサンプルとして抽出する付記６又は７に記載の物体追跡装置。
（付記９）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する物体追跡方法。
（付記１０）
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補、及び、前記第２探索範囲内で抽出されたターゲット候補を用いて、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１１ 入力ＩＦ
１２ プロセッサ
１３ メモリ
１４ 記録媒体
１５ データベース
１６ 入力装置
１７ 表示装置
２０ 追跡特徴モデル生成部
３０ ターゲットモデル生成部
４０ 追跡部
４１ ターゲット枠推定部
４２ 信頼度算出部
４３ ターゲットモデル更新部
１００ 物体追跡装置
Ｒｔ ターゲット探索範囲
Ｒｎ ネガティブサンプル探索範囲
１２ プロセッサ
１３ メモリ
１４ 記録媒体
１５ データベース
１６ 入力装置
１７ 表示装置
２０ 追跡特徴モデル生成部
３０ ターゲットモデル生成部
４０ 追跡部
４１ ターゲット枠推定部
４２ 信頼度算出部
４３ ターゲットモデル更新部
１００ 物体追跡装置
Ｒｔ ターゲット探索範囲
Ｒｎ ネガティブサンプル探索範囲
Claims (9)
- 時系列画像からターゲット候補を抽出する抽出手段と、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定する第１設定手段と、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡する追跡手段と、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定する第２設定手段と、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新するモデル更新手段と、
を備える物体追跡装置。 - 前記第２設定手段は、前記第２探索範囲を、前記第１探索範囲よりも前記ターゲット１つ分のサイズ以上大きく設定する請求項１に記載の物体追跡装置。
- 前記第１設定手段は、前記ターゲットの移動方向及び移動速度に基づいて、前記ターゲットの移動先を含むように前記第１探索範囲を設定する請求項１又は２に記載の物体追跡装置。
- 前記追跡手段は、前記第１探索範囲内で抽出された各ターゲット候補について前記信頼度を算出し、前記信頼度が最も高いターゲット候補を前記ターゲットと決定する請求項１乃至３のいずれか一項に記載の物体追跡装置。
- 前記追跡手段は、前記信頼度を、前記ターゲットの移動情報に基づいて重み付けして算出する請求項４に記載の物体追跡装置。
- 前記第１の値域と前記第２の値域は部分的に重なっている請求項１に記載の物体追跡装置。
- 前記モデル更新手段は、前記第２探索範囲で抽出されたターゲット候補のうち、前記ターゲット以外で、前記信頼度が前記第２の値域に属し、かつ、前記ターゲットとの重なりが一定以下であるターゲット候補の少なくとも一部を前記ネガティブサンプルとして使用する請求項６に記載の物体追跡装置。
- 時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する物体追跡方法。 - 時系列画像からターゲット候補を抽出し、
時系列が１つ前の画像におけるターゲットの枠情報及び信頼度に基づいて、第１探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補から、ターゲットモデルとの類似度を示す信頼度を用いてターゲットを探索し、追跡し、
前記第１探索範囲を含み、前記第１探索範囲よりも大きい第２探索範囲を設定し、
前記第１探索範囲内で抽出されたターゲット候補のうち前記信頼度が第１の値域に属するものをポジティブサンプルとして使用し、前記第２探索範囲内で抽出されたターゲット候補のうち前記信頼度が第２の値域に属するものをネガティブサンプルとして使用して、前記ターゲットモデルを更新する処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/011390 WO2021186494A1 (ja) | 2020-03-16 | 2020-03-16 | 物体追跡装置、物体追跡理方法、及び、記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021186494A1 JPWO2021186494A1 (ja) | 2021-09-23 |
| JPWO2021186494A5 JPWO2021186494A5 (ja) | 2022-11-18 |
| JP7364041B2 true JP7364041B2 (ja) | 2023-10-18 |
Family
ID=77770736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022508613A Active JP7364041B2 (ja) | 2020-03-16 | 2020-03-16 | 物体追跡装置、物体追跡方法、及び、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230120093A1 (ja) |
| JP (1) | JP7364041B2 (ja) |
| WO (1) | WO2021186494A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220180633A1 (en) * | 2020-12-04 | 2022-06-09 | Samsung Electronics Co., Ltd. | Video object detection and tracking method and apparatus |
| WO2024024090A1 (ja) * | 2022-07-29 | 2024-02-01 | ヤマハ発動機株式会社 | 部品計数装置およびロボットシステム |
| CN115375737B (zh) * | 2022-10-25 | 2023-02-03 | 南昌工程学院 | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011059897A (ja) | 2009-09-08 | 2011-03-24 | Fujifilm Corp | 画像解析装置、画像解析方法およびプログラム |
| JP2017156886A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 |
| JP2019075051A (ja) | 2017-10-19 | 2019-05-16 | セコム株式会社 | 画像処理装置 |
-
2020
- 2020-03-16 US US17/910,276 patent/US20230120093A1/en active Pending
- 2020-03-16 JP JP2022508613A patent/JP7364041B2/ja active Active
- 2020-03-16 WO PCT/JP2020/011390 patent/WO2021186494A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011059897A (ja) | 2009-09-08 | 2011-03-24 | Fujifilm Corp | 画像解析装置、画像解析方法およびプログラム |
| JP2017156886A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 |
| JP2019075051A (ja) | 2017-10-19 | 2019-05-16 | セコム株式会社 | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021186494A1 (ja) | 2021-09-23 |
| US20230120093A1 (en) | 2023-04-20 |
| WO2021186494A1 (ja) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7364041B2 (ja) | 物体追跡装置、物体追跡方法、及び、プログラム | |
| CN109598684B (zh) | 结合孪生网络的相关滤波跟踪方法 | |
| JP6625220B2 (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
| WO2021139484A1 (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN108027972B (zh) | 用于对象跟踪的系统和方法 | |
| CN110211157B (zh) | 一种基于相关滤波的目标长时跟踪方法 | |
| CN111144364A (zh) | 一种基于通道注意更新机制的孪生网络目标跟踪方法 | |
| JP2007066010A (ja) | 判別器学習方法および対象判別装置ならびにプログラム | |
| CN111192294B (zh) | 一种基于目标检测的目标跟踪方法及系统 | |
| KR102339727B1 (ko) | 신뢰도 추정을 통한 글로벌 및 로컬 검색을 기반으로 한 견고한 시각적 물체 추적 | |
| CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
| JP7444279B2 (ja) | 物体追跡装置、物体追跡方法、及び、プログラム | |
| CN111639570B (zh) | 一种基于运动模型和单目标线索的在线多目标跟踪方法 | |
| CN110147768B (zh) | 一种目标跟踪方法及装置 | |
| Jiang et al. | High speed long-term visual object tracking algorithm for real robot systems | |
| CN110503090B (zh) | 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器 | |
| CN115588030B (zh) | 基于孪生网络的视觉目标跟踪方法及设备 | |
| KR102485359B1 (ko) | 현장 적응형 인공지능 모델 강화 방법 | |
| JP2007058722A (ja) | 判別器の学習方法および対象判別装置ならびにプログラム | |
| JP7444278B2 (ja) | 物体追跡装置、物体追跡方法、及び、プログラム | |
| CN112508168B (zh) | 基于预测框自动修正的边框回归神经网络构建方法 | |
| CN111915648B (zh) | 一种基于常识和记忆网络的长期目标运动跟踪方法 | |
| Tang et al. | Evaluation of trackers for pan-tilt-zoom scenarios | |
| US20240104891A1 (en) | Object detection device, learning method, and recording medium | |
| JP4221681B2 (ja) | ジェスチャ認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7364041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |