WO2004021281A1

WO2004021281A1 - 物体追跡装置、物体追跡方法および物体追跡プログラム

Info

Publication number: WO2004021281A1
Application number: PCT/JP2003/010837
Authority: WO
Inventors: Hirokazu Koizumi
Original assignee: Nec Corporation
Priority date: 2002-08-30
Filing date: 2003-08-27
Publication date: 2004-03-11
Also published as: JP4240957B2; CN1695167A; KR20050057096A; EP1538565A1; JP2004096402A; KR100664425B1; US20050254686A1; CN1320502C; EP1538565A4

Abstract

　物体領域抽出部（１２）は、画像入力端子（１１）を介して画像情報を入力し、入力された画像情報から物体領域を抽出する。特徴量生成部（１４）は、物体の特徴量と物体領域の特徴量とを生成する。特徴量合成部（１５）は、複数の物体の特徴量を合成して合成特徴量を生成する。対応付け部（１７）は、物体領域の特徴量と合成特徴量との類似度を算出して、算出した類似度に基づいて最適な物体と物体領域との対応付けを行う。

Description

物体追跡装置、物体追跡方法および物体追跡プログラム技術分野

本発明は、画像情報に基づいて物体を追跡する物体追跡装置、物体追跡方法、および物体追跡プログラムに関し、特に、複数の物体が画像上で重なった場合にも追跡を継続できる物体追跡装置、物体追跡方法、および物体追跡プログラムに関する。背景技術

ビデオカメラ等から時々刻々と入力される画像情報に基づいて人などの物体を追跡する物体追跡装置は、複数の物体が画像上で重なり合った場合にも追跡対象の物体の追跡を継続する必要がある。例えば、特開平 0 6— 1 6 9 4 5 8号公報には、追跡中に複数の物体が交差した場合にも物体の追跡を継続できる物体追跡装置が記載されている。

図 1は、特開平 0 6— 1 6 9 4 5 8号公報に記載された従来の物体追跡装置の構成を示すブロック図である。この物体追跡装置は、図 1に示すように、画像入力端子 4 0にビデオカメラ等から定期的に入力される画像情報から物体領域を抽出する物体領域抽出手段 4 1、抽出された物体領域と後述する領域選択手段 4 5 が出力する追跡対象の物体領域とを比較して追跡対象の物体の状態を検出する追尾状態検出手段 4 2、画像情報と追跡対象の物体領域とに基づいて物体の特徴量を生成する特徴量生成手段 4 3、画像情報と物体領域抽出手段 4 1が抽出した物体領域とに基づいて全ての物体領域の特徴量を生成するとともに、特徴量生成手段 4 3から入力された物体の特徴量に最も近い特徴量の物体領域を選択する物体同定手段 4 4、および追跡対象の物体領域を出力する領域選択手段 4 5を含む。ここで、物体領域とは、画像における物体を含む領域である。追尾状態検出手段 4 2が出力する追跡対象の物体の状態には、追跡対象の物体が他の物体と交差している状態である重なり状態と、追跡対象の物体が単独で存在し追跡されている状態である追跡状態とがある。また、特徴量生成手段 4 3は、生成した特徴量を記憶する記憶手段を有し、さらに記憶手段が記憶する特徴量を更新する更新手段を含む。特徴量生成手段 4 3は、物体の状態が追跡状態の場合には、記憶手段が記憶する特徴量を更新する。し力し、特徴量生成手段 4 3は、物体の状態が重なり状態の場合には、記憶手段が記憶する特徴量を維持する。

物体同定手段 4 4は、物体の状態が重なり状態の場合にのみ、特徴量生成手段 4 3が記憶している物体領域の特徴量に最も近い特徴量の物体領域を選択する。 'そして、領域選択手段 4 5は、物体の状態が重なり状態から追跡状態に変化した場合に、物体同定手段 4 4が選択した物体領域を追跡対象の物体領域として選択する。物体の状態が重なり状態から追跡状態に変化した場合以外の場合には、領域選択手段 4 5は、物体領域抽出手段 4 1が新たに抽出した全ての物体領域のうち、前回の追跡対象の物体領域の位置に最も近レヽ位置にある物体領域を選択して出力する。そして、領域選択手段 4 5は、選択した物体領域を新たな追跡対象の物体領域として出力する。なお、前回の追跡対象の物体領域とは、例えば、ビデォカメラ等から新たに入力された画像情報の 1フレーム分前の画像情報に基づいて決定された追跡対象の物体領域である。

このように、物体追跡装置は、物体の状態が追跡状態である場合には、新たに入力される画像情報を用いて物体領域の追跡を継続する。また、物体の状態が追跡状態から重なり状態に変化したときには、変化する直前の物体の特徴量が保存される。そして、物体の状態が重なり状態から追跡状態に変化したときに、物体同定手段 4 4が選択していた物体領域を追跡対象の物体領域として、物体領域の追跡を継続する。従って、物体の状態が追跡状態から重なり状態に変化し、その後追跡状態に戻った場合に、物体領域の追跡を継続することができる。

以上のように、従来の物体追跡装置は、重なり状態が解消したときに、重なり状態に変化する直前の物体の特徴量に基づいて物体と物体領域とを対応付けることによって、複数の物体が交差した場合でも物体領域の追跡を継続することがでさる。

なお、 Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition March 28-30， 2000 の p. 348- p. 353 に記載の Tracking Interacting People (S. J. McKenna, S. Jabri, Z. Duric, H. Wechsler ) には、交差中の物体が分離して重なり状態が解消された場合に、物体が各物体領域に属する確率を算出して、算出した確率が最も大きくなる物体領域に物体を対応付けることによって物体の追跡を継続する方法が記載されている。

しかし、複数の個々の物体が交差して重なり状態になった後に重なり状態が解消したときに 1つの物体領域に複数の物体が存在する場合や、重なり状態になる前と後とで 1つの物体領域に存在する物体が入れ替わった場合には、重なり状態に変化する直前の物体の特徴量が、重なり状態が解消したとき後のいずれの物体の特徴量とも一致しないので、従来の物体追跡装置は、物体と物体領域との対応付けを誤る。例えば 4人の個々の人間（A, B , C , D) が交差し、その後 2人ずつのグループ（A, Bのグループと C , Dのグループ）に分かれた場合や、 2 人の人間（A， B) と 1人の人間（C) が交差した後に人間の組み合わせが入れ替わって 1人（A) と 2人（B , C) になった場合には、物体追跡装置は、物体と物体領域との対応付けを誤る。また、従来の物体追跡装置は個々の物体に対して最も類似している領域を選択しているが、物体全体として整合のとれた対応付けになるとは限らない。 ' 発明の開示

そこで、本発明の目的は、複数の物体が画像上で重なり合った状態から分離してもなお画像領域に複数の物体が存在する場合や、分離する前後にぉレ、て画像上で重なり合う物体の組み合わせが入れ替わつた場合でも、物体と物体領域との対応付けを誤ることのない物体追跡装置、物体追跡方法および物体追跡プログラムを提供することを目的とする。また、物体と物体領域とを対応付ける際に、物体全体として最適な対応付けを選択できるようにすることも本発明の目的である。本発明による物体追跡装置は、画像情報に基づいて物体を追跡する物体追跡装置であって、画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する特徴量合成手段と、画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づレヽて物体領域と物体とを対応付ける対応付け手段とを備える。特徴量合成手段が、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、対応付け手段が、特徴量合成手段が生成した各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付けることが好ましい。そのような構成によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。物体追跡装置が、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段と、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、領域特徴量およぴ物体特 ί敷量を生成する特徴量生成手段とを備え、特徴量合成手段が、物体特徴量および追跡状態判定手段の判定結果を用いて合成特徴量を生成するものであることが好ましい。そのような構成によれば、他の物体との相対的な位置関係に基づレヽて合成特徴量を生成できる。

追跡状態判定手段が、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域およぴ物体と追跡状態との対応関係を示す第 1の領域対応情報を出力し、特徴量生成手段が、現時刻の画像情報、物体領域情報、第 1の領域対応情報および確定対応情報から、領域特徴量と物体特徴量とを生成し、特徴量合成手段が、物体特徴量と第 1の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し（すなわち、物体領域について物体の特徴量を合成し）、合成特徴量およぴ合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、対応付け手段が、第 1の領域対応情報、領域特徴量を示す情報である領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力する対応確定手段を含むものであることが好ましい。そのような構成によれば、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。

物体追跡装置において、追跡状態が、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、または物体領域が複数の物体領域に分力^る過渡的な状態である分離状態であることが好ましい。そのようにすれば、他の物体との相対的な位置関係を判定することができる。

特徴量生成手段が、物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを領域特徴量として生成し、物体に対応する物体領域を第 1の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムのレ、ずれかまたはそれらの組み合わせを物体特徴量として生成するものであってもよレ、。

追跡状態判定手段が、物体領域情報を記憶する物体領域記憶手段と、物体領域情報、確定対応情報、および物体領域記憶手段から出力される現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第 2の領域対応情報を出力する物体追跡手段と、第 2の領域対応情報、物体領域情報および現時刻以前の物体領域情報とから物体の追跡状態を判定し、第 1の領域対応情報を出力する状態判定手段とを含むものであってもよい。

状態判定手段が、第 2の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を 1つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を 1つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、分類したクラスに基づ！/ヽて追跡状態を判定するものであってもよい。追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、状態判定手段が、分類したクラスに 2以上の物体領域が含まれる場合に、クラスは分離状態である条件を満たすと判断し、クラスが分離状態である条件を満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するものであってもよい。

状態判定手段が、分類したクラスが分離状態である条件を満たし、さらに、クラスに 2以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されていてもよい。そのような構成によれば、他の物体との相対的な位置関係が分離状態であると誤って判定するのを防止できる。

追跡状態が、分離状態と物体領域内に 1つの物体のみが存在する単独状態とを含み、状態判定手段が、分類したクラスが 1つの物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を単独状態と判定するように構成されていてもよレ、。追跡状態が、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、状態判定手段が、分類したクラスが 2以上の物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定するように構成されていてもよい。

特徴量生成手段が、画像情報と物体領域情報と第 1の領域対応情報とから領域特徴量を抽出し、領域特徴量を示す情報である領域特徴量情報を出力する特徴量抽出手段と、物体特徴量を記憶し、要求に応じて、記憶する物体特徴量を選択する特徴量記憶手段と、領域特徴量情報、第 1の領域対応情報あるレ、は確定対応情報およぴ現時刻より以前に生成した物体特徴量と力ゝら、特徴量記憶手段が記憶する物体特徴量を更新する特徴量更新手段とを含むように構成されていてもよい。追跡状態が、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、特徴量抽出手段が、追跡状態が分離状態以外である場合には、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、対応確定手段 ί 領域特徴量情報によつて物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外するように構成されていてもよい。そのような構成によれば、類似度の算出のための計算量を削減できる。

追跡状態が、物体領域内に 1つの物体のみが存在する単独状態を含み、特徴量更新手段が、第 1の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、物体の追跡状態が単独状態以外の場合には、特徴量記憶手段が記憶する物体特徴量を更新しないように構成されていてもよい。特徴量合成手段が、特徴量生成手段が生成する物体特徴量と第 1の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせについてのみ、物体特徴量を合成して合成特徴量を生成するように構成されていてもよレ、。そのような構成によれば、不要な合成特徴量の生成の処理を削減できる。

特徴量合成手段が、物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような構成によれば、画像上での物体の大きさが実際の物体の大きさとは異なる場合に、物体の大きさに基づく誤差を補正できる。

特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づレ、て任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との各組み合わせに対して 1つの合成特徴量のみに基づいて類似度を算出すればよく、無駄な算出処理を省くことができる。

追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、特徴量合成手段が、追跡状態が分離状態であることが示されている物体領域についてのみ合成特徴量を生成するように構成されていてもよレ、。そのような構成によれば、不要な合成特徴量の生成の処理を削減できる。

物体特徴量が、物体の面積を含み、特徴量合成手段が、物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような構成によれば、合成比率の算出のための計算量を削減できる。

特徴量合成手段が、合成比率を、物体の面積の変化に基づく所定範囲内に制限するように構成されていてもよい。そのような構成によれば、画像上での物体の面積が変化する場合でも、正しい合成比率を求めることができる。

特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体の各組み合わせに対して 1つの合成特徴量を出力するだけでよく、無駄な処理を省くことができる。物体特徴量が、画像テンプレートを含み、特徴量合成手段が、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づ！/、て画像テンプレートを合成するように構成されていてもよい。そのような構成によれば、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。

対応確定手段が、合成特徴量情報、領域特徴量情報および第 1の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段と、第 1の領域対応情報および最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段とを含むように構成されていてもよレ、。そのような構成によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。

対応計算手段が、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとするように構成されて、てもよレ、。

第 1の領域対応情報が、物体領域が静止している状態であるカゝ動作している状態であるかを示す静動状態の情報を含み、対応計算手段が、静動状態の情報によつて静止している状態であることが示されてレ、る物体領域と物体との組み合わせを、 .全ての可能な組み合わせから除外するように構成されていてもよい。そのような構成によれば、静動状態が静止状態を示す物体領域がどの物体とも対応付かなレヽ組み合わせのみ計算することにより、対応計算手段の計算量を削減することができる。

対応計算手段が、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれなレヽ物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、対応決定手段が、最適な物体と物体領域との対応関係がない旨が最適対応情敎に示されていなレ、物体にっレ、ては、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がなレヽ旨が最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するように構成されてもよい。そのような構成によれば、誤つた物体と物体領域との対応関係を選択するのを防止できる。

追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、対応決定手段が、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定するように構成されていてもよい。そのような構成によれば、物体と物体領域との対応関係の確定の処理を削減できる。

追跡状態が、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、対応決定手段が、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第 1の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との対応関係の確定の処理を削減できる。

本発明による物体追跡方法は、画像情報に基づいて物体を追跡する物体追跡方法であって、画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成し、画像情報から抽出された領域であつて物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付ける。

物体追跡方法は、複数の物体の必要な全ての組み合わせにつレヽて特徴量を合成して各合成特徴量を生成し、生成された各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによつて物体と物体領域とを対応付けることが好ましい。そのような方法によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。

物体追跡方法は、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力し、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定し、画像情報、物体領域情報および判定結果を用いて、領域特徴量およぴ物体特徴量を生成し、物体特徴量および判定結果を用レ、て合成特徴量を生成することが好ましい。そのような方法によれば、他の物体との相対的な位置関係に基づいて、合成特徴量を生成できる。

物体追跡方法は、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力し、現時刻の画像情報、領域特徴量を示す情報である領域特徴量情報、第 1の領域対応情報および確定対応情報から、領域特徴量と物体特徴量とを生成し、物体特徴量と第 1の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成して、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、第 1の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力することが好ましい。そのような方法によれば、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。

物体追跡方法において、追跡状態は、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、または物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含む。

物体追跡方法は、物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのレ、ずれかまたはそれらの組み合わせを領域特徴量として生成し、物体に対応する物体領域を第 1の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムの！/、ずれかまたはそれらの組み合わせを物体特徴量として生成するように構成されていてもよい。

物体追跡方法は、物体領域情報を記憶し、物体領域情報、確定対応情報、およぴ現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第 2の領域対応情報を出力し、第 2の領域対応情報、物体領域情報および現時刻以前の物体領域情報とから物体の追跡状態を判定して第 1の領域対応情報を出力するように構成されていてもよい。

物体追跡方法は、第 2の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のレヽずれかまたはそれらの組み合わせに基づいて、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を 1つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を 1つのクラスに分類することによって、物体およぴ物体領域を複数のクラスに分類し、分類したクラスに基づいて追跡状態を判定するように構成されていてもよい。

追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、物体追跡方法は、分類したクラスに 2以上の物体領域が含まれる場合に、クラスは分離状態である条件を満たすと判断し、クラスが分離状態である条件を満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されて、てもよレ、。

物体追跡方法は、分類したクラスが分離状態である条件を満たし、さらに、クラスに 2以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されていてもよい。そのような方法によれば、他の物体との相対的な位置関係が分離状態であると誤って判定するのを防止できる。

追跡状態は、分離状態と、物体領域内に 1つの物体のみが存在する単独状態とを含み、物体追跡方法は、分類したクラスが 1つの物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を単独状態と判定するように構成されていてもよい。追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、物体追跡方法は、分類したクラスが 2以上の物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定するように構成されていてもよい。

物体追跡方法は、画像情報と物体領域情報と第 1の領域対応情報とから領域特徴量を抽出し、領域特徴量を示す情報である領域特徴量情報を出力し、物体特徴量を記憶し、要求に応じて、記憶している物体特徴量を選択して出力し、領域特徴量情報と、第 1の領域対応情報あるいは確定対応情報に基づいて記憶する物体特徴量を選択し、領域特徴量情報と確定対応情報と現時刻より以前に生成した物体特徴量とから、記憶される物体特徴量を更新するように構成されていてもよい。物体追跡方法は、追跡状態が、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、追跡状態が分離状態以外である場合には、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、領域特徴量情報によつて物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外するように構成されていてもよい。そのような方法によれば、類似度の算出のための計算量を削減できる。

物体追跡方法は、追跡状態が物体領域内に 1つの物体のみが存在する単独状態を含み、第 1の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、物体の追跡状態が単独状態でない場合には、記憶される物体特徴量を更新しないように構成されていてもよい。そのような方法によれば、不要な物体特徴量の更新の処理を削減できる。

物体追跡方法は、生成された物体特徴量と第 1の領域対応情報とに基づレヽて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせにつレヽてのみ、物体特徴量を合成して合成特徴量を生成するように構成されていてもよい。そのような方法によれば、不要な合成特徴量の生成の処理を削減できる。

物体追跡方法は、物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような方法によれば、画像上での物体の大きさが実際の物体の大きさとは異なる場合に、物体の大きさに基づく誤差を補正できる。

物体追跡方法は、物体特徵量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づいて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との各組み合わせに対して 1つの合成特徴量のみに基づレ、て類似度を算出すればよく、無駄な算出処理を省くことができる。

物体追跡方法は、追跡状態が物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、追跡状態が分離状態であることが示されている物体領域についてのみ合成特徴量を生成するように構成されていてもよレヽ。そのような方法によれば、不要な合成特徴量の生成の処理を削減できる。

物体追跡方法は、物体特徴量が物体の面積を含み、物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を捕正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよレ、。そのような方法によれば、合成比率の算出のための計算量を削減できる。物体追跡方法は、合成比率を、物体の面積の変化に基づく所定範囲内に制限するように構成されていてもよい。そのような方法によれば、画像上での物体の面積が変化する場合でも、正しレ、合成比率を求めることができる。

物体追跡方法は、物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体の各組み合わせに対して 1つの合成特徴量を出力するだけでよく、無駄な処理を省くことができる。

物体追跡方法は、物体特徴量が画像テンプレートを含み、特徴量合成手段が、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成するように構成されていてもよレ、。そのような構成によれば、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。

物体追跡方法は、合成特徴量情報、領域特徴量情報および第 1の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成し、第 1の領域対応情報および最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力するように構成されていてもよい。

物体追跡方法は、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合訐である合計類似度を求め、全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとするように構成されていてもよい。

物体追跡方法は、第 1の領域対応情報が、物体領域が静止している状態である力働作している状態であるかを示す静動状態の情報を含み、静動状態の情報によつて静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外するように構成されていてもよレ、。そのような構成によれば、静動状態が静止状態を示す物体領域がどの物体とも対応付かなレ、組み合わせのみ計算することにより、計算量を削減することができる。

物体追跡方法は、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するように構成されていてもよい。そのような方法によれば、誤った物体と物体領域との対応関係を選択するのを防止できる。

物体追跡方法は、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定するように構成されていてもよい。そのような方法によれば、物体と物体領域との対応関係の確定の処理を削減できる。

物体追跡方法は、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第 1の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力するように構成されていてもよレ、。そのような方法によれば、物体と物体領域との対応関係の確定の処理を削減できる。

本発明による物体追跡プログラムは、画像情報に基づいて物体を追跡する物体追跡プログラムであって、コンピュータに、画像情報を入力する処理と、入力された画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する処理と、画像情報から抽出された領域であつて物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づレヽて物体領域と物体とを対応付ける処理とを実行させることを特徴とする。

本発明による他の態様の物体追跡プログラムは、入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、コンピュータに、画像情報を入力する処理と、入力された画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報と力 >ら、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力する処理と、画像情報、物体領域情報および第 1の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、物体特徴量と第 1の領域対応情報とから、複数の物体の必要な全ての組み合わせにつレ、て特徴量を合成して各合成特徴量を生成し、合成特徴量およぴ合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する処理と、第 1の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力する処理とを実行させるように構成されていてもよい。

本発明によるさらに他の態様の物体追跡プログラムは、入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、コンビユータに、画像情報を入力する処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報と力ゝら、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力する処理と、画像情報、物体領域情報および第 1の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量およぴ物体の特徴量を示す物体特徴量を生成する処理と、各物体を対象として、追跡状態が、物体領域が複数の物体領域に分力れる過渡的な状態である分離状態以外の状態であると判定されている物体について、第 1の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、物体特徴量と第 1の領域対応情報とから複数の物体の必要な ¾ての組み合わせにっレヽて特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける処理とを実行させるように構成されていてもよい。

以上、本発明には以下の効果がある。

本発明によれば、複数の物体の特徴量を合成し、合成特徴量を用いて物体と物体領域との特徴量の寧似度を求めるので、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。特に、重なり状態が解消された際の物体と物体領域との対応付けにお!/、て、物体と物体領域との対応づけを誤らないようにすることができる。

また、領域と物体との組み合わせを考え、各組み合わせについて類似度を求めることによって、物体と領域を対応付ける際に、全体として最適となる対応付けを選択できる。図面の簡単な説明

図 1は、従来の物体追跡装置の構成を示すプロック図であり、

図 2は、本発明による物体追跡装置の構成の一例を示すプロック図であり、図 3は、対応付け部の構成の一例を示すプロック図であり、

図 4は、本発明による物体追跡装置の処理経過の一例を示すフローチヤ一トであり、

図 5は、第 1の領域対応情報の一例を示す説明図であり、

図 6は、追跡状態判定部の構成の一例を示すプロック図であり、

図 7は、第 2の領域対応情報の一例を示す説明図であり、

図 8は、特徴量生成部の構成の一例を示すプロック図であり、

図 9は、対応確定部の構成の一例を示すプロック図であり、

図 1 0は、テンプレートを用いた特徴量の合成方法の一例を示す説明図であり、図 1 1は、本発明による物体追跡装置の構成の他の例を示すプロック図であり、図 1 2は、本発明による物体追跡装置の構成のさらに他の例を示すブロック図であり、

図 1 3は、第 1の制御部の構成の一例を示すブロック図であり、

図 1 4は、本発明による物体追跡装置の処理経過の他の例を示すフローチヤ一トである。発明を実施するための最良の形態

(発明の第 1の実施の形態）

本発明の第 1の実施の形態を図面を用いて説明する。図 2は、本発明による物体追跡装置の構成の一例を示すプロック図である。図 2に示すように、物体追跡装置は、ビデオカメラ等から時々刻々と画像情報が入力される画像入力端子 1 1、画像入力端子 1 1に入力される画像情報から物体領域を抽出する物体領域抽出部 1 2、画像入力端子 1 1に入力される画像情報に基づいて物体の特徴量と物体領域の特徴量とを生成する特徴量生成部 1 4、複数の物体の特徴量を合成して新たな特徴量を生成する特徴量合成部 1 5、および物体と物体領域との対応付けを行う対応付け部 1 7を含む。

なお、物体領域抽出部 1 2、特徴量生成部 1 4、特徴量合成部 1 5および対応付け部 1 7は、ハードウェアでも実現可能であるが、ソフトウェアでも実現可能である。すなわち、物体領域抽出部 1 2、特徴量生成部 1 4、特徴量合成部 1 5 および対応付け部 1 7を、プログラムに基づいて処理を実行する C P Uと、以下に説明する物体領域抽出部 1 2、特徴量生成部 1 4、特徴量合成部 1 5および対応付け部 1 7の機能を実現するために記憶装置に格納されているプログラムとで実現することができる。 .

物体追跡装置は、ビデオカメラなどを用いて予め特定された範囲（以下、追跡範囲という。）の画像を連続して撮影して、撮影した画像内に映る物体を認識することによつて物体を追跡する。

例えば、ビデオカメラは動かないように固定され、ビデオカメラは予め決められた範囲の画像を連続して撮影する。なお、ビデオカメラは、上下方向や左右方向に撮影範囲を変更することができるものであってもよい。また、ビデオカメラを用いて画像を連続して撮影するのでなく、一定の時間の間隔で画像を撮像する他の攝像装置を用いてもよい。例えば、デジタルカメラなど静止画として画像情報を取り込む装置を用いてもよい。

物体領域とは、画像における物体を含む領域である。物体領域は、例えば、以下のようにして抽出される。すなわち、ビデオカメラ等に、予め全く物体が存在していないときに追跡範囲を撮影させ、物体領域抽出部 1 2は、撮影された画像の情報を背景画像情報として背景画像記憶部に記憶する。そして、物体領域抽出部 1 2は、画像入力端子 1 1に入力される画像情報と背景画像記憶部に記憶されている背景画像情報とを画素単位で比較レ画素値の差分を算出して、算出した差分が予め決められた閾値以上である画素（以下、物体画素という。）を抽出する。物体領域抽出部 1 2は、抽出した物体画素のうち互いに隣接する物体画素を全て選択する。物体領域抽出部 1 2は、選択した物体画素同士をつなぎ合わせて領域を抽出する。そして、物体領域抽出部 1 2は、抽出した領域に領域番号を付与して物体領域として出力する。

なお、背景画像記憶部は、背景画像情報を 1つだけ記憶するのでなく、複数の背景画像情報を記憶してもよい。例えば、追跡範囲が屋外である場合には、背景画像記憶部は、日中に撮像した背景画像情報（以下、日中画像という。）と夜間に撮像した背景画像情報（以下、夜間画像という。）とを記憶し、日中は日中画像を用い、夜間は夜間画像を用いるようにしてもよい。

追跡対象の物体の形状などの特徴が既知である場合には、物体追跡装置は、背景画像記憶部を有するのではなく、予め物体の形状や色や動作などの情報を物体モデルの情報として記憶する物体モデル記憶装置を有してもよい。そして、物体領域抽出部 1 2は、入力された画像情報と物体モデル記憶装置が記憶する物体モデルとを照合し、物体モデルに整合する領域を物体領域として抽出してもよい。特徴量とは、物体と物体領域とを対応付ける際に用いられる量である。特徴量には、物体領域の特徴量と物体の特徴量との 2種類が存在する。物体領域の特徴量は、各物体領域から求められる特徴量を示し、物体の特徴量は物体を構成する物体領域の集合から求められる特徴量を示す。

特徴量生成部 1 4は、例えば、物体領域の色ヒストグラムを算出する。そして、算出した物体領域の色ヒストグラムを物体領域の特徴量として出力する。なお、物体領域の特徴量は、物体領域の面積であってもよく、また、画像テンプレートなどでもよい。また、面積で正規ィ匕した色ヒストグラムでもよい。さらに、色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのうちの 2つ以上の組み合わせであつてもよい。

物体の特徴量は物体を構成する物体領域の集合から求められる特徴量であるから、物体の特徴量も、色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムのレヽずれかまたはそれらの組み合わせで表される。特徴量生成部 1 4は、物体領域の特徴量に基づいて物体の特徴量を算出する。物体領域の特徴量は各物体領域から求められる特徴量であり、物体の特徴量は物体を構成する物体領域の集合から求められる特徴量である。すなわち、物体が 1 つの物体領域に対応している場合には、物体の特徴量は、物体領域の特徴量に基づいて決定され、物体が複数の物体領域から構成されている場合には、物体の特徴量は、それらの物体領域の特徴量を合成したものから決定される。

なお、物体領域抽出部 1 2は、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段の具体的な一例 (具体例）である。また、特徴量生成部 1 4は、領域特徴量および物体特徴量を生成する特徴量生成手段の具体例であり、特徴量合成部 1 5は、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成する特徴量合成手段の具体例である。

図 3は、対応付け部 1 7の構成の一例を示すプロック図である。図 3に示すように、対応付け部 1 7は、追跡状態判定部 1 3と対応確定部 1 6とを含む。追跡状態判定部 1 3は、物体と物体領域との対応付けを行って追跡状態を判定する。対応確定部 1 6は、物体の追跡状態に基づいて物体と物体領域との対応付けを確定する。

なお、追跡状態とは、他の物体との重なりや分離などの他の物体とのネ目対的な位置関係を示す状態である。追跡状態として、例えば、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態がある。すなわち、本実施の形態では、追跡状態には、単独状態、重なり状態および分離状態が含まれる。一般に、重なり状態から分離状態を経て単独状態に遷移する。

また、追跡状態判定部 1 3は、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段の具体例である。また、対応確定部 1 6は、物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付ける対応付け手段、および現時刻に対する確定対応情報を出力する対応確定手段の具体例である。

本実施の形態では、以下に説明するように、物体の特徴量を用いて物体領域に対応する特徴量を合成し、物体と物体領域の対応付けを行うことによって、合成しない場合に比べて物体領域中の物体判定の信頼性を高めることができる。また、特に、重なり状態が解消された際の物体と物体領域との対応付けにおいて、複数の物体の特徴量を合成し、合成特徴量を用いて分離後の物体領域に複数の物体が存在した場合の物体と物体領域との特徴量の類似度を求めるので、分離後の領域に複数の物体が存在する場合や物体の交差時に物体が入れ替わった場合でも、物体と物体領域との対応づけを誤らなレ、。

次に、図 4のフローチャートを参照して本実施の形態の動作を説明する。図 4 は、本発明による物体追跡装置の処理経過の一例を示すフローチヤ一トである。物体領域抽出部 1 2は、画像入力端子 1 1を介して画像情報を入力する（ステップ S 3 0 1 )。物体領域抽出部 1 2は、入力された画像情報から物体領域を抽出する（ステップ S 3 0 2 )。そして、物体領域抽出部 1 2は、物体領域の画像情報 (物体領域画像情報）を含む物体領域情報を出力する。

追跡状態判定部 1 3は、物体領域抽出部 1 2が出力する物体領域情報を記憶する。追跡状態判定部 1 3は、物体領域抽出部 1 2が出力した現時刻の物体領域情報と、追跡状態判定部 1 3自身が記憶する過去の物体領域情報と、対応確定部 1 6から入力される過去の確定対応情報とに基づいて、物体を追跡することで物体と物体領域とを対応付け、物体と物体領域との追跡状態を物体毎に、または物体領域毎に判定する。なお、以下、物体を着目しているときには物体の追跡状態と表現し、物体領域に着目しているときには物体領域の追跡状態と表現するが、物体と物体領域とが対応付けされている場合には、それらの表現は実質的に同義である。

そして、追跡状態判定部 1 3は、第 1の領域対応情報を出力する（ステップ S 3 0 3 )。第 1の領域対応情報は、物体と物体領域との対応関係と、追跡状態とを示す情報（物体領域および物体と追跡状態との対応関係を示す情報）である。また、確定対応情報とは、対応確定部 1 6によって確定された物体と物体領域との対応関係を示す情報である。対応確定部 1 6が物体と物体領域との対応関係を確定する手順は後述する。

図 5は、第 1の領域対応情報の例を示す説明図である。第 1の領域対応情報は、例えば、物体領域情報に α , β , γの 3つの物体領域の画像情報が存在し、 4つの物体 A, B, C, Dが存在している場合，図 5 Cに示すような物体領域 _α、 β γ と物体 A、 B、 C、 Dとの対応を示すために、各物体領域に対する物体および追跡状態との対応関係を示す図 5 Aに示すような情報である。また、例えば図 5 B に示すような各物体に対する物体領域および追跡状態との対応関係を示す情報でもよい。

また、物体の追跡は、追跡している物体と物体領域とを対応付けることであり、例えば過去の物体に対応する物体領域から物体の位置を求め、物体の位置から最も近レヽ物体領域を求め、求められた物体領域と追跡している物体とを対応付けるといった方法で実現できる。ここで、例えば物体領域の重心位置を物体の位置とする。物体と物体領域の対応付け方法については後述する。

特徴量生成部 1 4は、画像入力端子 1 1を介して入力された画像情報と物体領域抽出部 1 2から入力された物体領域情報とに基づいて、物体領域の特徴量を生成し（ステップ S 3 0 4 )、領域特徴量情報を特徴量合成部 1 5および対応付け 1 7に出力する。領域特徴量情報とは、物体領域抽出部 1 2が抽出した各物体領域の特徴量（領域特徴量）を示す情報である。また、特徴量生成部 1 4は、追跡状態判定部 1 3が出力する第 1の領域対応情報とステップ S 3 0 4で生成した物体領域の特徴量とに基づいて、物体の特徴量を決定し、記憶する物体の特徴量を更新する（ステップ S 3 0 5 )。そして、特徴量生成部 1 4は、特徴量合成部 1 5からの要求に応じて物体の特徴量を出力する。

なお、特徴量生成部 1 4は、追跡状態判定部 1 3が出力する第 1の領域対応情報において追跡状態が単独状態である物体の特徴量を更新する。画像上で物体が重なり合っている場合には正確な物体の特徴量の算出はできないので、特徴量生成部 1 4は、追跡状態が単独状態以外の状態である場合には、記憶される特徴量の更新を行わない。物体の特徴量の更新は、例えば、式（1 ) に基づいて行われる。

ここで、 H _{i n}は物体の現在観測された特徴量（物体を構成する現時刻の体領域の集合から求められた特徴量）を示す。 H _t ， H _t_ ! は、特徴量生成部 1 4が記憶する物体の特徴量のうち時刻 tと時刻 t一 1とにおいて記憶される物体の特徴量を示し、 H_t が更新後の物体の特徴量を示す。また、 ηは物体の特徴量の更新係数を示す。

特徴量合成部 15は、特徴量生成部 14に記憶された物体の特徴量と追跡状態判定部 13が出力する第 1の領域対応情報とに基づいて、複数の物体の必要な全ての組み合わせについて物体の特徴量を合成した特徴量（以下、合成特徴量という。）を算出する（ステップ S 306)。すなわち、特徴量合成部 15は、特徴量生成部 14が生成する物体の特徴量と第 1の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせについてのみ合成特徴量（物体単体の物体特徴量を含む概念）を生成する。そして、特徴量合成部 15は、算出した合成特徴量を含む合成特徴量情報を出力する。合成特徴量情報とは、算出した合成特徴量と、合成特徴量算出のために用いられた物体と合成特徴量との対応関係とを含む情報である。なお、特徴量生成部 14は、特徴量合成部 15の要求に応じて、記憶している物体の特徴量を選択し、選択した物体の特徴量を特徴量合成部 15に出力する。特徴量合成部 15は、第 1の領域対応情報に基づいて、特徴量生成部 14に要求する物体の特^ [量を決める。

複数の物体の必要な全ての組み合わせとは、例えば物体 A, Β, Cが画像上で重なり合った状態（すなわち、重なり状態）になった後、いくつ力の物体が分離して 2つの物体領域ひ，に分離した状態（すなわち、分離状態）になった場合には、物体と物体領域との組み合わせは、（a, j8) = (ABC, Φ), (Φ， ΑΒ C), (A, BC), (Β， CA), (C, ΑΒ)，（BC, A), (CA, Β), (ΑΒ, C)の 8通りの組み合わせが発生しうるので、特徴量合成部 15は、 A, Β, C, ΑΒ, BC, CA, ABCの組み合わせについての物体の合成特徴量を生成する。なお、例えば , β) = (AB， C) は、物体領域 c こ物体 A, Bが存在し、物体領域に物体 Cが存在することを示す。また、 Φは、対応付けられる物体がないことを示す。合成特徴量情報は、例えば、 ΑΒの合成特徴量と、算出された ΑΒの合成特徴量に対応付けられる物体は物体 Αおよび物体 Βであることを示す情報とを含む。対応確定部 1 6は、特徴量生成部 1 4が出力する領域特徴量情報と、特徴量合成部 1 5が出力する合成特徴量情報と、追跡状態判定部 1 3が出力する第 1の領域対応情報とに基づいて、物体と物体領域との対応関係を確定する（ステップ S 3 0 7 )。そして、対応確定部 1 6は、確定対応情報を出力する。

対応確定部 1 6は、追跡状態判定部 1 3が出力する第 1の領域対応情報において追跡状態が分離状態であることが示されている物体については、領域特徴量情報と合成特徴量情報とに基づいて物体と物体領域との対応関係を確定する。また、第 1の領域対応情報^:おいて追跡状態が分離状態以外であることが示されている物体については、追跡状態判定部 1 3が出力する第 1の領域対応情報に含まれる物体領域との対応関係の情報を、物体と物体領域との対応関係として確定する。そして、対応確定部 1 6は、確定した物体と物体領域との対応関係の情報を確定対応情報とする。

追跡状態判定部 1 3は、物体の追跡状態が、単独状態、重なり状態または分離状態であるかを以下のような方法で判定する。追跡状態判定部 1 3は、物体領域抽出部 1 2からの現時刻の物体領域情報と、追跡状態判定部 1 3自身が記憶している過去の物体領域情報と、対応確定部 1 6が出力する過去の確定対応情報とに基づいて、物体および物体領域を全体としてクラス分けをする。

例えば、確定対応情報にぉレヽて物体 Aと物体領域 aとが対応付けられている場合には、追跡状態判定部 1 3は、物体 Aと物体領域 α;とをクラス Xにクラス分けをする。また、物体 Bと物体領域 ]3とが対応付けられている場合には、追跡状態判定部 1 3は、クラス Xとは別のクラス Yに物体 Bと物体領域 ]3とをクラス分けする。さらに、物体 Aと物体 Bとが物体領域 γにも対応付けられている場合には、追跡状態判定部 1 3は、クラス Xに含まれる物体 Αとクラス Υに含まれる物体 Β とが対応付けられているとして、物体領域 _Ύとクラス Xに含まれる全ての要素とクラス Υに含まれる全ての要素とを同じクラスに属させる。すなわち、クラス X に、物体領域 γとクラス Υの要素である物体 Βおよび物体領域とを属させる。その結果、クラス Υは削除され、クラス Xには、物体 Α， Βと物体領域 _α， β , yとが属することになる。このように、 1つのクラスでは各物体と各物体領域とが少なくとも 1つの他の物体または他の物体領域と対応付けられているように、クラス分けを行う。

物体および物体領域のクラス分けを行うと、追跡状態判定部 13は、各クラスの要素の数に基づいて、追跡状態が、単独状態、重なり状態または分離状態であるかを判定する。クラスの要素中に物体の要素が 1個のみ含まれる場合には、追跡状態判定部 13は、追跡状態を単独状態と判定する。クラスの要素中に物体の要素が 2個以上含まれ、力、物体領域の要素が 1個のみ含まれる場合には、追跡状態判定部 13は、追跡状態を重なり状態と判定する。クラスの要素中に物体の要素が 2個以上含まれ、つ、物体領域の要素が 2個以上含まれている場合には、追跡状態判定部 13は、追跡状態を分離状態と判定する。

次に、特徴量の合成から領域と物体の選択までの一連の処理にっレヽて説明する。対応確定部 16は、物体と物体領域との全ての組み合わせにつレヽて組み合わせ類似度を算出する。そして、対応確定部 16は、組み合わせ類似度が最も高い物体と物体領域との組み合わせを選択する。選択された組み合わせが、物体と物体領域との対応付けである。ここで、組み合わせ類似度とは、組み合わせを構成する物体と物体領域との組の類似度から得られる、組み合わせの妥当性を示す指標である。組み合わせ類似度が高いと、組み合わせが妥当であり、組み合わせを構成する物体と物体領域との組が類似していることを示す。なお、ここでは、組み合わせ類似度として、それぞれの組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を使用するが、組み合わせ類似度は、類似度の合計に限られない。

例えば、物体 A, B, Cが重なった後に分離した場合には、 , β) = (ΑΒ C, Φ), (Φ, ABC), (A, BC), (B， CA), (C, AB)， (BC, A), (C A, B), (AB, C) の 8通りの物体と物体領域との組み合わせについて、物体領域の特徴量と合成特徴量とから組み合わせ類似度を算出する。そして、対応確定部 16は、算出した組み合わせ類似度が最も大きくなる場合の物体と物体領域との組み合わせを最適な対応付けとする。

例えば、物体領域に対応しうる物体が Aおよび Bで、物体領域 j8に対応しうる物体が A、 Bおよび Cの場合のように、物体 Cと物体領域 αが対応付かないのが明らかな場合には、対応確定部 16は、（ひ， ]3) = (AB, C), (Φ, ABC), (A, BC), (B, CA) の 4通りの組み合わせについてのみ組み合わせ類似度を算出してもよい。そうすることにより、対応確定部 1 6は、類似度の算出の計算量を削減することができる。

組み合わせ類似度を算出するために、対応確定部 1 6は、物体の合成特徴量と物体領域の特徴量との距離（以下、特徴量間の距離という。）を算出し、特徴量間の距離から組み合わせの距離を算出する。対応確定部 1 6は、算出した組み合わせの距離が小さい場合には組み合わせ類似度が高いと判定し、算出した組み合わせの距離が大きレ、場合には組み合わせ類似度が低!/、と判定する。組み合わせの距離は例えば特徴量間の距離の和とし、式（2) のように算出される。

ここで、 iは物体領域の番号、 kは物体と物体領域との組み合わせ番号、 Hri は i番目の物体領域の特徴量、 Hg_{k i}は k番目の組み合わせにおける i番目の物体領域に対応させる物体の合成特徴量を示す。 D _kは k番目の組み合わせにおける組み合わせの距離を示す。

上記の（α, β) = (ABC, Φ)，（Φ, ABC), (A, BC), (B， CA),

(C, AB)， (BC, A), (CA, B)，（AB, C) の 8通りの物体と物体領域との組み合わせの場合には、 2であり、 k = l〜8である。すなわち、対応確定部 1 6は、全ての可能な組み合わせ（この例では 8通りの組み合わせ）について物体領域と物体との各組 ((_α, β) = (A, BC) を例にすると、ひと Aとカゝらなる組と、と BCとからなる組）の特徴量間の距離から組み合わせの距離 (Dk) を求めて（ , β) = (A, BC) の組み合わせを例にすると、ひと Aの距離と、 j3と B Cの距離との合計)、全ての可能な組み合わせのうち、組み合わせの距離が最小となる組み合わせを最も類似した組み合わせとする。

特徴量合成部 1 '5は、任意の合成比率 εに応じて合成特徴量を算出することが好ましい。そして、対応確定部 1 6は、合成比率 εに応じて算出された合成特徴量に基づレ、て組み合わせ類似度を算出して、最適な物体と物体領域との組み合わせを選択する。合成比率 _£.とは、物体領塽に含まれる各物体の特徴量の割合を捕正するための係数である。例えば、物体間でカメラからの距離が異なるために画像上での見かけ上の物体の大きさが異なる場合がある。この場合に、単純に物体の特徴量を合計して合成特徴量を算出すると、算出した合成特徴量が現実の物体領域の特徴量と異なるので、対応確定部 1 6は、正しく物体と物体領域との対応付けを確定できない。特徴量合成部 1 5が所定の合成比率 εに応じて合成特徴量を算出することによって、対応確定部 1 6は、物体と物体領域との誤った対応付けを確定するのを防止できる。

例えば、物体 A , Βの 2つの物体の特徴量を合成する場合には、特徴量合成部 1 5は、式（3 )に基づいて合成特徴量を生成する。そして、対応確定部 1 6は、式（4 ) に基づいて、組み合わせの距離を算出する。 g(e) = (l -e)H_A +s _B (θ <ε <U … )

特徴量合成部 1 5は、合成比率 εを 0から 1まで変ィ匕させて（例えば、合成比率を 0から 1まで 0 . 1間隔に変化させて）、変化させた全ての合成比率 εの値に基づいて合成特徴量を算出する。対応確定部 1 6は、物体領域の特徴量と物体の合成特徴量との特徴量間の距離が最小となる合成特徴量を選択する。そして、対応確定部 1 6は、選択した合成特徴量に基づいて式（4 ) のように組み合わせの距離を算出し、組み合わせの距離が最も小さくなる場合の物体と物体領域との組み合わせを最適な対応付けとする。

なお、本例では、対応確定部 1 6は、 L 2ノルムに基づいて特徴量間の距離を算出したが、類似度の算出ができる計算手法であれば、他の距離尺度に基づいて特徴量間の距離を算出してもよい。 L 2ノルムとは、式（2 ) および式（4 ) に示される差分二乗和によって算出される距離尺度をいう。

以上のように、本発明による物体追跡装置は、重なり状態の物体の合成特徴量を算出して、物体領域の特徴量と合成特徴量との類似度を算出し、算出した類似度に基づいて物体と物体領域の対応付けを行うことによって、複数の物体が交差した後に分離してもなお複数の物体の組が存在する場合や、交差の前後にぉレ、て交差する物体の組み合わせが入れ替わつた場合でも、追跡対象の物体の追跡を継続することができる。

また、本発明による物体追跡装置は、物体と物体領域との全ての組み合わせにっレヽて物体領域の特徴量と合成特徴量との類似度を算出して、算出した類似度に基づレヽて最適な物体と物体領域との組み合わせを選択するので、追跡対象の物体と追跡対象の物体が存在する領域とを対応付ける際に、物体全体として最適な対応付けを選択できる。

次に、追跡状態判定部 1 3、特徴量生成部 1 4および対応確定部 1 6の詳細な構成について説明する。まず、追跡状態判定部 1 3の構成を説明する。図 6は、追跡状態判定部 1 3の構成の一例を示すブロック図である。図 6に示す例では、追跡状態判定部 1 3は、物体追跡部 1 3 1、状態判定部 1 3 2および物体領域情報記憶部 1 3 3を含む。

なお、物体追跡部 1 3 1は、物体領域情報、確定対応情報、および物体領域記憶手段から出力される過去の物体領域情報とから物体を追跡して物体と物体領域との対応を示す第 2の領域対応情報を出力する物体追跡手段の具体例である。また、物体領域情報記憶部 1 3 3は、物体領域情報と第 1の領域対応情報とを記憶する物体領域記憶手段の具体例であり、状態判定部 1 3 2は、第 2の領域対応情報、物体領域情報および過去の物体領域情報とから物体の追跡状態を判定し、第 1の領域対応情報を出力する状態判定手段の具体例である。

物体追跡部 1 3 1は、物体領域抽出部 1 2が出力する現時刻の物体領域情報、物体領域情報記憶部 1 3 3が記憶する過去の物体領域情報、および対応確定部 1 6が出力する過去の確定対応情報に基づいて物体を追跡し物体と物体領域とを対応付ける。そして、物体追跡部 1 3 1は、第 2の領域対応情報を生成して、生成した第 2の領域対応情報を状態判定部 1 3 2に出力する。

第 2の領域対応情報とは、物体と物体領域の対応関係を示す情報である。第 2 の領域対応情報は、第 1の領域対応情報と異なり追跡状態の情報が含まれない。図 7は、第 2の領域対応情報の例を示す説明図である。第 2の領域対応情報は、例えば、物体領域情こひ， β , γの 3つの物体領域の画像情報が存在し、過去の確定対応情報として 4つの物体 A, Β, C, Dが存在していることを認識した場合には，図 7 Cに示すような物体領域 _α、 ]3、 γと物体 A、 B、 C、 Dとの対応を示すために、各物体領域と物体の対応関係を示す図 7 Aに示すような情報である。また、例えば図 7 Bに示すような各物体と物体領域との対応関係を示す情報でもよい。

状態判定部 1 3 2は、物体領域抽出部 1 2が出力した物体領域情報と物体追跡部 1 3 1が出力した第 2の領域対応情報とに基づいて、物体の追跡状態の判定を行う。そして、状態判定部 1 3 2は、第 2の領域対応情報と判定結果とに基づいて第 1の領域対応情報を出力する。

物体領域情報記憶部 1 3 3は、物体領域抽出部 1 2が出力する物体領域情報を記憶する。物体領域情報記憶部 1 3 3が記憶する物体領域情報は、次時刻において第 2の領域対応情報の生成に用いられる過去の物体領域情報となる。

図 8は、特徴量生成部 1 4の構成の一例を示すプロック図である。図 8に示す例では、特徴量生成部 1 4は、特 ί敫量抽出部 1 4 1、特徴量更新部 1 4 2および特徴量記憶部 1 4 3を含む。

なお、特徴量抽出部 1 4 1は、画像情報と物体領域情報と第 1の領域対応情報とから領域特徴量を抽出し領域特徴量を含む情報である領域特徴量情報を出力する特徴量抽出手段の具体例である。また、特徴量記憶部 1 4 3は、要求に応じて記憶する物体特徴量を選択して出力する特徴量記憶手段の具体例であり、特徴量更新部 1 4 2は、領域特徴量情報、第 1の領域対応情報および現時刻より以前に生成した物体特徴量とから、特徴量記憶手段が記憶する物体特徴量を更新する特徴量更新手段の具体例である。

特徴量抽出部 1 4 1は、画像入力端子 1 1を介して入力された画像情報と物体領域抽出部 1 2が出力した物体領域情報とに基づレヽて各物体領域の特徴量を算出する。そして、特徴量抽出部 1 4 1は、算出した物体領域の特徴量を含む領域特徴量情報を出力する。出力された領域特徴量情報は、特徴量更新部 1 4 2と対応確定部 1 6とに入力される。

特徴量更新部 1 4 2は、第 1の領域対応情報において追跡状態が単独状態であることが示されている物体については、特徴量抽出部 1 4 1が出力した領域特徴量情報に基づいて特徴量記憶部 1 4 3に記憶される特徴量を更新する。特徴量更新部 1 4 2は、第 1の領域対応情報において追跡状態が単独状態以外の状態が示されている物体については、特徴量記憶部 1 4 3に記憶される特徴量を更新しない。特徴量記憶部 1 4 3が記憶する物体の特徴量は、特徴量合成部 1 5が合成特徴量を生成するために用いられる。すなわち、特徴量合成部 1 5の要求に応じて、記憶している物体の特徴量を選択し、選択した物体の特徴量を特徴量合成部 1 5 に出力する。

図 9は、対応確定部 1 6の構成の一例を示すプロック図である。図 9に示す例では、対応確定部 1 6は、対応計算部 1 6 1および対応決定部 1 6 2を含む。なお、対応計算部 1 6 1は、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段の具体例である。また、対応決定部 1 6 2は、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段の具体例である。

対応計算部 1 6 1は、特徴量生成部 1 4が出力した領域特徴量情報、特徴量合成部 1 5が出力した合成特徴量情報、および追跡状態判定部 1 3が出力した第 1 の領域対応情報に基づレ、て、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての組み合わせについて、物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出する。そして、対応計算部 1 6 1は、組み合わせ類似度が最も大きくなる物体と物体領域との組み合わせを最適な対応付けとして選択して、最適対応情報を生成し、最適対応情報を出力する。なお、最適対応情報とは、物体と物体領域との最適な対応関係（組み合わせ類似度が最も大きくなる場合の物体と物体領域との組み合わせ）を示す情報である。

対応決定部 1 6 2は、追跡状態判定部 1 3が出力した第 1の領域対応情報において追跡状態が分離状態であることが示されている物体については、対応計算部 1 6 1が出力した最適対応情報に含まれる物体領域との対応関係の情報を.、この物体と物体領域との対応関係の情報として確定する。分離状態以外の状態であることが示されている物体については、対応決定部 1 6 2は、追跡状態判定部 1 3 が出力した第 1の領域対応情報に含まれる物体領域との対応関係の情報を、この物体と物体領域との対応関係の情報として確定する。

また、対応決定部 1 6 2は、第 1の領域対応情報に含まれる物体の情報と、確定した物体と物体領域との対応付けの情報とを比較し、第 1の領域対応情報に含まれるレ、ずれの物体とも対応付けられなレ、未対応物体領域が発生した場合には、新しい物体を生成し未対応物体領域と対応付ける。そして、対応決定部 1 6 2は、確定された物体と物体領域との対応関係の情報を確定対応情報として出力する。例えば、物体領域 αに A, Βの 2つの物体が完全に重なった状態で存在していたために、物体追跡装置は、物体領域 αに 1つの物体 Αの存在し力認識できなかつた場合がある。この場合に、物体 Aと物体 Bとが分離状態に遷移すると、物体領域 αから未対応物体領域としての新たな物体領域が分離する。しカゝし、物体追跡装置は、物体 Βの存在を認識していないため、いずれの物体にも対応付けられない物体領域が発生することになる。従って、対応決定部 1 6 2は、新たに物体 Βを生成して、物体 Βを物体領域 ]3に対応付ける。

なお、図 2、図 3、図 6、図 8およぴ図 9に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、コンピュータに、画像情報を入力する画像入力処理と、入力された画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力する追跡状態判定処理と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特 ί敷量を生成する特徴量生成処理と、物体特徴量と第 1の領域対応情報とから、複数の物体の必要な全ての組み合わせにっレヽて特徴量を合成して各合成特徴量を生成し、合成特徴量およぴ合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する特徴量合成処理と、物体領域情報、第 1の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情^を出力する対応確定処理とを実行させるための物体追跡プログラムによつて物体追跡装置を実現することが可能である。

(変形例 1 )

追跡状態判定部 1 3は、以下に述べる判定方法に基づいて物体の追跡状態を判定してもよい。例えば、始めに物体が重なっていたために物体領域に一つの物体のみ対応付けられている場合には追跡状態は単独状態であると判定される。その状態から物体領域が複数に分力れた際に物体は一つであるために重なり状態から分離状態に遷移したとは判定されず、単独状態のままであると判定される可能性がある。単独状態の物体から複数の物体が分離することに対処するために、追跡状態判定部 1 3は、クラスに含まれる物体の要素が 1つであってもクラスに物体領域の要素が 2個以上含まれる場合には、追跡状態を分離状態と判定してもよい。上記の実施の形態では、物体領域抽出部 1 2力物体領域を抽出する方法として、画像入力端子 1 1を介して入力された画像情報と予め撮像した背景画像情報との画素値の差分を算出する例を示した。画素値の差分を算出する際に、物体が背景と類似した特徴（例えば、物体の色と背景の色が類似している場合）を持つなどの原因によって、.物体領域抽出部 1 2力正しく物体領域の抽出が行えない場合がある。物体領域の抽出が正しく行えない場合には、追跡状態判定部 1 3の状態判定部 1 3 2は、追跡状態が分離状態に遷移したと誤って判断する可能性がある。このような場合に正しく物体領域の抽出をおこなうために、状態判定部 1 3 2は、物体領域間の空間的な距離を用いて対処すればよい。

すなわち、状態判定部 1 3 2は、物体および物体領域のクラス分けをする際に、物体領域聞の距離がある閾値以下である物体領域にっレヽては、それらの物体領域と各物体領域に対応付けられる物体とを全て同じクラスにクラス分けする。例えば、物体 A, Bと物体領域， ]3とがある場合に、物体領域と物体 Aとが対応付けられ、物体領域 |3と物体 Bとが対応付けられている場合を考える。上記の実施の形態で示された方法では、状態判定部 1 3 2は、物体領域 αと物体 Aとが属するクラスと、物体領域と物体 Bとが属するクラスと 2つのクラスを生成する。これに対して、物体領域 αと物体領域； δとの間の距離が予め決められた閾値以下である場合には、状態判定部 1 3 2は、物体領域ひ， ]3と物体 A, Βとを全てまとめて 1つのクラスとしてもよい。

まとめて 1つのクラスにすることにより、状態判定部 1 3 2は、追跡状態を判定する際に、物体が 2個以上含まれるクラスにおいて物体領域が 2個以上に分離しても物体領域間の距離が閾値以下の場合には、追跡状態は重なり状態のまま変化しないと判定することができる。そして、状態判定部 1 3 2は、物体領域間の距離が閾値を超えた時点で、追跡状態は分離状態であると判定する。

(変形例 2 )

さらに、状態判定部 1 3 2は、物体領域の分離中継続期間に基づいて物体領域が一部偶然に分離する場合に対処するようにしてもよい。分離中継続期間とは、以前は 1つであった物体領域が分離するときに，分離した物体領域間の距離がある閾値（0でもよい。）以上であるときに物体領域が分離可能な状態とした場合の、物体領域が分離可能な状態の継続時間を示す。この場合、状態判定部 1 3 2は、クラス分けをする際に、分離中継続時間がある閾値未満の物体領域および物体領域に対応する物体を同じクラスに属させ、以前の追跡状態を維持するようにする。そして、状態判定部 1 3 2は、分離中継続期間が閾値を超えた場合には、追跡状態を分離状態と判定する。

分離中継続期間は、.以下のように更新されて記憶される。分離中継続期間は、物体領域情報記憶部 1 3 3に記憶される。物体追跡部 1 3 1は、物体領域情報記憶部 1 3 3が記憶する分離中継続期間を取得し、各物体領域に分離中継続期間を対応付け、新たな分離中継続期間を算出する。そして、物体追跡部 1 3 1は、物体領域情報記憶部 1 3 3が記憶する分離中継続期間を更新する。

物体追跡部 1 3 1は、以下のように物体領域と分離中継続期間との対応付けを行う。物体追跡部 1 3 1は、物体領域抽出部 1 2が出力する物体領域情報に含まれる現時刻の物体領域と対応確定部 1 6が出力する過去の確定対応情報とに基づいて、現在の物体領域と過去の物体領域との対応付けを行う。そして、物体追跡部 1 3 1は、物体領域情報記憶部 1 3 3が記憶する過去の物体領域に対応する分離中継続期間を当該過去の物体領域に対応する現在の物体領域に対応付ける。対応付けられた分離中継続期間が複数ある場合には、物体追跡部 1 3 1は、複数ある分離中継続期間のうち最大の分離中継続期間を物体領域に対応付ける。なお、物体追跡部 1 3 1は、複数ある分離中継続期間のうち最小の分離中継続期間を現在の物体領域に対応付けてもよい。また、物体追跡部 1 3 1は、分離中継続期間の平均時間を算出して、算出した平均時間を現在の物体領域に対応付けてもよレ、。状態判定部 1 3 2は、物体領域情報記憶部 1 3 3から分離中継続期間を取得する。また、状態判定部 1 3 2は、物体領域の追跡状態を判定する。そして、状態判定部 1 3 2は、判定結果に基づいて物体領域情報記憶部 1 3 3が記憶する分離中継続期間を更新する。例えば、状態判定部 1 3 2は、物体領域の追跡状態が分離可能な状態であると判定した場合には、物体領域情報記憶部 1 3 3が記憶する分離中継続期間を当該分離中継続期間と現在の時刻とに基づいて更新する。また、状態判定部 1 3 2は、物体領域の追跡状態が分離可能な状態でない場合には、分離中継続期間をリセットする。また、分離中継続期間を記憶する代わりに分離が開始した時刻を示す分離開始時刻を記憶してもよい。このとき、分離中継続期間は現在の時刻と分離開始時刻との差をとることにより求めることができる。

また、物体追跡部 1 3 1は、分離中継続期間を物体領域情報記憶部 1 3 3に記憶するのでなく、分離中継続期間を含んだ第 2の領域対応情報を生成してもよレ、。このとき、状態判定部 1 3 2は分離中継続時間を第 2の領域対応情報から取得する。このように、物体領域情報記憶部 1 3 3を介さずに物体追跡部 1 3 1カら状態判定部 1 3 2へ分離中継続時間を直接的に送受信することで、物体領域情報記憶部 1 3 3の処理を削減できるという利点がある。

なお、第 1の実施の形態、変形例 1および変形例 2の方法を組み合わせて使用してもよい。すなわち、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間の組み合わせに基づレ、て、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を 1つのクラスに分類するようにしてもよい。また、分類したクラスが分離状態である条件を満たし、さらに、クラスに 2以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、およびクラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのうちのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体おょぴ物体領域の追跡状態を分離状態と判定するようにしてもよい。

(変形例 3 )

物体追跡装置は、以下のような方法によって、物体の特徴量の合成を行って、物体と物体領域との対応付けを行ってもよい。すなわち、特徴量合成部 1 5は、特徴量生成部 1 4から物体の特徴量だけでなく領域特徴量情報も取得する。特徴量合成部 1 5は、特徴量生成部 1 4が出力する領域特徴量情報と物体の特徴量とに基づいて任意の合成比率 Eに応じて合成特徴量を算出する。そして、特徴量合成部 15は、算出した合成特徴量と領域特徴量情報に含まれる物体領域の特徴量との類似度が最も高くなる場合の合成比率 εに応じた合成特徴量を出力する。対応確定部 16は、出力された合成特徴量に基づいて物体と物体領域との各組み合わせの物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を ^出 Γ·ο。

特徴量生成部 14が物体と物体領域との類似度が最も高くなる合成比率 εに応じた合成特徴量を出力することによって、対応確定部 16は、物体と物体領域との各組み合わせに対して ;Lつの合成特徴量のみに基づいて類似度を算出すればよレ、。従って、対応確定部 16は、無駄な算出処理を省くことができる。

(変形例 4)

また、物体追跡装置は、以下のような方法によって、特徴量の合成を行い物体と物体領域との対応付けを行ってもよい。すなわち、特徴量合成部 15は、特徴量生成部 14から物体の特徴量だけでなく領域特徴量情報も取得し、式（5) 〜 (7) に従って距離を最小にする合成比率 εの値を算出する。式（5) は、特徴量生成部 14が出力した領域特徴量情報と物体の特徴量とに基づいて、物体の特徴量と物体領域の特徴量との距離 f (ε) を算出する式である。特徴量合成部 1 5は、式（6) と式（7) とに示すように、距離 f (ε) を合成比率 εで偏微分した式が「0」となる場合の合成比率 εの値を算出する。すなわち、特徴量合成部 15は、距離 f (ε) が最小となる合成比率 εを算出する。特徴量合成部 15 は、算出した合成比率 εに基づいて、式（3) によって合成特徴量を生成する。そして、対応確定部 16は、生成された合成特徴量に基づレヽて類似度を算出する。なお、ここでは、物体 A, Βについての合成特徴量を例にする。

/(ε) + x_n-a_n

.... (5)

3010837

e = ^ ~ r ... (7)

Λ一 "）

η

ここで、 Hg_ki は物体 Aの特徴量 H_Aと物体 Bの特徴量 H_Bとの合成特徴量、 H _riは物体領域の特徴量を示す。また、例えば特徴量が色ヒストグラムで、色ヒストグラムの階級（ビン）の数が n個である場合には、特徴量 H_A, H_B，

Hr;, Hg_kiはそれぞれ η次元ベクトルであり、 H_A= (aい a ₂,...

, a _n), H_B= (b _1; b ₂, ... , b _n), Hr_s= (χい % ₂. · ·

., % _n). Hg_k j = (% _{k l}, % _{k 2}> · · · . % kn) と表? れる。

式（7) によって算出された合成比率 εが 0未満である力、または 1より大きな値となった場合には、 0または 1のうち式（7) によって算出された合成比率 εの値に近い値を選択して合成比率 εの値とする。特徴量合成部 15は、算出した合成比率 εに基づいて合成特徴量を生成する。対応確定部 16は、生成された合成特徴量に基づいて、式（2) に示す組み合わせの距離を求め、組み合わせの距離を最小化する物体と物体領域との組み合わせを、最適な対応付けとして確定する。

式（5), (6), (7) を用いることにより、特徴量合成部 15は、特定の合成比率 εに対してのみ合成特徴量を生成すればよい。従って、様々な合成比率 εに対して合成特徴量を生成する場合と比較して、類似度の算出のための計算量を削減することができる。なお、特徴量合成部 15は、物体が 3つ以上重なった場合にも、上述した方法と同様の方法で合成特徴量を生成できる。また、ここでは、特徴量合成部 15は、特徴量間の距離尺度として L 2ノルムを用いたが、他の距離尺度を用いてもよい。

また、物体追跡装置は、以下のような方法によって、特徴量の合成を行い領域と物体との選択を行うものであってもよレ、。すなわち、特徴量合成部 15は、物体の面積比を合成比率として用いて合成特徴量を生成する。そして、対応確定部 16は、生成された合成特徴量に基づいて類似度を算出する。この方法は、物体の重なり時の特徴量の合成比率は、物体と物体との面積の比にほぼ等しいという事実に基づく方法である。物体の面積比を合成比率とすることにより、特徴量合成部 15は、合成比率の算出のための計算を削減することができる。合成特徴量は、式（8) によって算出される。

H_A， H_Bは、それぞれ物体 A, Bの特徴量を示す。 S_A， S_Bは、それぞれ物体 A, Bの画像情報上での面積を示す。また、 Hgは合成特徴量である。対応確定部 16は、生成された合成特徴量 Hg を用いて、式（2)に示す距離の和を求め、距離の和を最小化する物体と物体領域との組み合わせを最適な対応付けとして確定する。

例えば、特徴量生成部 14は、物体領域の画像に含まれる画素数を物体の面積とし、その面積を物体の特徴量に加えたものを、他の物体の特徴量と同様に生成する。そして、特徴量生成部 14の特徴量記憶部 143は、面積を加えた特徴量を記憶し、第 1の領域対応情報において追跡状態が重なり状態以外の状態を示している場合に、面積を加えた特徴量を更新する。

さらに、物体追跡装置は、以下のような方法によって、特徴量の合成を行い物体と物体領域との対応付けを行ってもよい。すなわち、重なっている物体のそれぞれの面積が S 1から S 2の範囲で変化する可能性があるとし、特徴量合成部 1 5は、その変化範囲内で式 (9) によって合成特徴量を生成する。式（9) は、物体 Aの特徴量と物体 Bの特徴量との合成特徴量を算出する式である。そして、対応確定部 16は、式（10) によって、生成された合成特徴量のうち領域特徴量との類似度が最も高くなる合成特徴量に基づ!/ヽて物体と物体領域との類似度を算出し、組み合わせ類似度を算出する。

_Hg(As) = ^ -H_A+^ -H_B (s_l≤^≤s₂) ... (9) =〉 mia(H_ri-H_gi(As)f ... (10)

i

Δ Sは、物体 Aと物体 Bとが重なる直前からの物体 Aの面積の変化量を示す。物体の面積の変化量を考慮した合成特徴量を算出することにより、物体の面積に多少変化があった場合にも、特徴量合成部 15は、実際とはかけはなれた合成比率を選択することを回避することができ、正しい合成比率に基づいて合成特徴量を生成することができる。その結果、対応確定部 1 6は、最適な物体と物体領域との対応付けを確定することができる。

(変形例 5 )

また、特徴量合成部 1 5は、特徴量生成部 1 4から物体の特徴量だけでなく領域特徴量情報も取得して、特徴量生成部 1 4から入力された領域特徴量情報と物体の特徴量とから、面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力し、対応確定部 1 6が合成特徴量に基づいて物体と物体領域との各組み合わせの組み合わせ類似度を求めるようにしてもよレ、。すなわち、合成比率 εを、物体の面積の変ィ匕に基づく所定範囲内に制限してもよい。そのようにしても、特徴量合成部 1 5は、物体の各組み合わせに対して 1つの合成特徴量を出力するだけでよく、様々な合成比率 εに対して合成特徴量を生成する場合に比べて、無駄な処理を省くことができる。

(変形例 6 )

また、特徴量合成部 1 5は、物体のテンプレートを特徴量として用いて、合成特徴量を求めてもよい。ここで、テンプレートとは、画像中から物体に相当する部分を抽出して得られる部分画像であり、物体の形状や色を記述されたものに相当する。テンプレートは、物体と物体領域との対応関係に基づいて画像中の物体に相当する領域を抽出することによって生成される。また、標準顔画像などのように、予めモデルィヒされた画像がテンプレートとして用いられてもよい。

例えば、 2つの物体が 1つの物体領域にある場合には、特徴量合成部 1 5は、テンプレートを物体領域内で走査させて、物体領域内の各位置におけるテンプレートと物体領域との類似度を算出する。特徴量合成部 1 5は、類似度が最大となる位置を求める。特徴量合成部 1 5は、式（1 1 ) と式（1 2 ) とによって類似度を算出する。 (な, ） - R(x, y)f , . . ( 1 1 )

d_x == min d_t (a, b) ( 1 2 ) (x, y) は i番目のテンプレートの座標を示し、 R (x, y) は物体領域の座標を示す。また、 Hi;は i番目のテンプレート (x, y) の領域全体を示す。特徴量合成部 1 5は、式（1 1) に示すように、テンプレートと物体領域との画素値の差分二乗和を特徴量間の距離として算出する。そして、式（1 2) に示すように、特徴量間の距離が最小となる場合をテンプレートと物体領域との類似度が最大であると判定する。また、特徴量合成部 1 5は、テンプレートと物体領域との類似度が最大となる位置 (_a, b) を物体の位置とする。

次に、特徴量合成部 1 5は、テンプレートと物体領域との類似度に基づいて、重なっている物体の前後関係を判定する。特徴量合成部 1 5は、物体領域との類似度の高いテンプレートが物体領域との類似度の低いテンプレートを遮蔽していると判定する。そして、特徴量合成部 1 5は、テンプレートを合成することによつて合成特徴量に相当する合成テンプレートを生成する。このように、特徴量合成部 1 5は、画像テンプレートと物体領域の特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成して合成特徴量を得るようにしてもよい。

また、特徴量合成部 1 5は、物体領域との類似度の最大値が最大であるテンプレートを選択し、選択されたテンプレートが選択されないテンプレートを遮蔽していると判定してもよい。このとき、物体領域と選択されたテンプレート（類似度が最大となる場合のテンプレート）とが重複する領域を物体領域から除外し、残った物体領域と選択されなかつたテンプレートとに基づレヽて、テンプレートと物体領域との類似度の算出、類似度が最大となるテンプレートの選択、類似度が最大となる場合のテンプレートの位置の算出、および遮蔽の判定を繰り返し行つてもよい。

図 10は、テンプレートを用いて合成特徴量を生成する概念を示した説明図である。図 10 Aに示すように、特徴量合成部 1 5は、物体領域においてテンプレート Aとテンプレート Bとを走查する。テンプレート Bと物体領域 aとの類似度の最大値がテンプレート Aと物体領域 aとの類似度の最大値より大きくなるので、特徴量合成部 1 5は、テンプレート Bがテンプレート A¾r遮蔽していると判断できる。図 10 Βに示すように、特徴量合成部 1 5は、物体領域との類似度が最大となるそれぞれの位置でテンプレート Aとテンプレート Bとを合成して、合成テンプレート Xを生成する。合成テンプレート Xを生成する際に、特徴量合成部 1 5は、テンプレート Aとテンプレート Bとが重なっている部分については、テンプレート Bの値を用いて合成を行う。なお、（a 1 , b 1 ) がテンプレート A と物体領域との類似度が最大となる位置であり、（a 2 , b 2 ) がテンプレート B と物体領域との類似度が最大となる位置である。

対応確定部 1 6は、合成テンプレート内の色ヒストグラムに基づいて、式（2 ) によって物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出することができる。また、対応確定部 1 6は、式（1 2 ) と同様に、物体領域と合成テンプレートとを照合することによつて物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出してもよレ、。テンプレートを用いることにより、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。

(変形例 7 )

また、上述した各方法において、物体と物体領域との対応付けを行う際に、対応確定部 1 6は、組み合わせ類似度が低い場合にも強制的に対応付けを行うので、物体と物体領域との対応付けが正しく行われない場合がある。そこで、対応確定部 1 6は、最適な組み合わせの組み合わせ類似度（すなわち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度）が低い場合には、物体と物体領域との対応付けを行わないようにしてもよレ、。その場合に、対応計算部 1 6 1は、物体と物体領域との最適な組み合わせにつレ、て、組み合わせ類似度が予め決められた閾値以下であるときには、組み合わせを構成する物体に対応する最適な物体領域は無いと判断する。そして、対応計算部 1 6 1は、最適な物体と物体領域との対応関係が無いことを示す情報を含んだ最適対応情報を出力する。対応決定部 1 6 2は、最適対応情報が、物体に対応する最適な物体領域が無いことを示す情報を含む場合には、その物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係の情報をそのまま物体と物体領域との対応関係として確定し、確定対応情報と'して出力する。そうでない場合には、最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する。例えば、対応計算部 1 6 1が、（_a , J3 ) = (A， B C) を最適な組み合わせとした場合を例にすると、対応計算部 1 6 1は、 αと Aとからなる組の類似度、および j8 と B Cとからなる組の類似度から組み合わせ類似度を算出し、組み合わせ類似度が閾値以下であるか否か判断する。そして、組み合わせ類似度が閾値以下であれば、対応決定部 1 6 2は、物体 Aおよび物体 Bおよび物体 Cに対応する物体領域として、第 1の領域対応情報に含まれる物体 Aおよび物体 Bおよび物体 Cと物体領域との対応関係の情報をそのまま物体 Aおよび物体 Bおよび物体 Cと物体領域との対応関係として確定する。

(変形例 8 )

また、上述した各方法において、物体と物体領域との対応付けを行う際に、対応確定部 1 6は、組み合わせ類似度が低い場合にも強制的に対応付けを行うので、物体と物体領域との対応付けが正しく行われない場合がある。そこで、対応確定部 1 6は、最適な組み合わせの組み合わせ類似度（すなわち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度）が低い場合には、物体と物体領域との対応付けを行わないようにしてもよレ、。その場合に、対応計算部 1 6 1は、物体と物体領域との最適な組み合わせにつレ、て、物体領域と物体の組の類似度が予め決められた閾値以下であるときには、その物体に対応する最適な物体領域は無いと判断する。そして、対応計算部 1 6 1は、最適な物体と物体領域との対応関係が無いことを示す情報を含んだ最適対応情報を出力する。対応決定部 1 6 2 は、最適対応情報が、物体に対応する最適な物体領域が無いことを示す情報を含む場合には、その物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係の情報をそのまま物体と物体領域との対応関係として確定し、確定対応情報として出力する。そうでない場合には、最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する。例えば、対応計算部 1 6 1力 S、（_a , j3 ) = (A, B C) を最適な組み合わせとした場合を例にすると、対応計算部 1 6 1は、 aと Aとからなる組の類似度、および^と B C とからなる組の類似度が閾値以下である力否カ判断する。そして、ひと Aとの類似度が閾値以下であれば、対応決定部 1 6 2は、物体 Aに対応する物体領域として、第 1の領域対応情報に含まれる物体 Aと物体領域との対応関係の情報をそのまま物体 Aと物体領域との対応関係として確定する。

(変形例 9 )

対応計算部 1 6 1は、最適な物体と物体領域との組み合わせのうち、明らかに判別が可能な物体のみを物体領域と対応付けるようにしてもよい。その場合、対応計算部 1 6 1は、全ての物体と物体領域との組み合わせについて組み合わせ類似度の値が高い順番に並べる。そして、上位の組み合わせ間の組み合わせ類似度の値の差が小さく（例えば、予め決められたある閾値以下）、上位の組み合わせに共通する物体と物体領域とが存在する場合には、対応計算部 1 6 1は、その物体と物体領域との組み合わせのみを最適な対応付けとする。対応計算部 1 6 1は、その物体と物体領域との組み合わせのみの情報を含んだ最適対応情報を出力する。従って、最適対応情報には、他の物体と他の物体領域とには最適な対応関係となる組み合わせが無いことを示す情報が含まれることになる。

例えば、物体 A , B , Cと物体領域 a , β , γとの対応付けにおいて、組み合わせ類似度の値の高い上位 3つの組み合わせが（α， β , y ) = (A, B , C) ,

(A B , Φ , C)，（B , A, C) である場合には、対応計算部 1 6 1は、物体 C と物体領域 Vとの組み合わせのみを最適な対応関係とする。そして、対応計算部

1 6 1は、物体 Cと物体領域 γとの組み合わせのみを最適な対応関係とする情報を含んだ最適対応情報を出力する。なお、この方法を、変形例 7と組み合わせてもよい。すなわち、物体と物体領域との最適な組み合わせについて物体領域と物体の組の類似度が予め決められた閾値以下である場合に、上位の組み合わせ間の合計類似度の値の差が小さく（例えば、予め決められたある閾値以下)、上位の組み合わせに共通する物体と物体領域とが存在しないときには、対応計算部 1 6 1 は、最適対応情報に、他の物体と他の物体領域とには最適な対応関係となる組み合わせが無レヽことを示す情報を含めるようにしてもよい。

対応決定部 1 6 2は、最適対応情報において最適な対応関係が無いことが示されている物体についてには、第 1の領域対応情報に含まれる物体と物体領域との対応関係を、物体と物体領域との対応関係として確定する。

以上のように、対応計算部 1 6 1は、全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせにつ、て、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、最適な対応がないことを示す情報を最適対応情報に含め、対応決定部 1 6 2は、最適な物体と物体領域との対応関係がなレヽ旨が最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するようにしてもよい。

(変形例 1 0 )

また、上述した各方法において、特徴量生成部 1 4は、追跡状態に応じて対応確定部 1 6に出力する領域特徴量情報に含む情報を変更してもよい。その場合、例えば、追跡状態判定部 1 3が出力する第 1の領域対応情報の追跡状態が分離状態であることが示されている物体領域については、領域特徴量情報はその物体領域の特徴量を含む。また、追跡状態が分離状態以外の状態であることが示されている物体領域については、特徴量を含んでいてもよいが、対応確定部 1 6ではその特徴量を必要としないので何も含まなくてもよい。また、特徴量を含まない代わりに対応付けが不要であることを示す情報を含んでいてもよレ、。対応確定部 1 6は、領域特徴量情報によつて物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する。これにより、対応確定部 1 6の計算量を削減することができる。

(変形例 1 1 )

また、特徴量合成部 1 5は、特徴量記憶部 1 4 2が記憶する全ての物体の特徴量を取得するのでなく、追跡状態判定部 1 3が出力する第 1の領域対応情報において追跡状態が分離状態であることが示されている物体についてのみ、特徴量記憶部 1 4 2が記憶する物体の特徴量を取得してもよい。そうすることにより、合成特徴量の生成に必要のなヽ物体の特徴量を取得するという無駄な処理を省くことができ、特徴量合成部 1 5は、合成特徴量生成の処理の迅速ィ匕を図ることができる。

(変形例 1 2 )

また、上述した各方法において、追跡状態が分離状態以外の状態である物体については、第 1の領域対応情報と確定対応情報とは同じになるので、対応確定部 1 6から追跡状態判定部 1 3にフィードバックされる確定对応情報に含まれる情報を、分離状態の物体のみについての対応関係に限定してもよい。その場合、それ以外の物体については、追跡状態判定部 1 3は、確定対応情報の代わりに、追跡状態判定部 1 3自身が過去に求めた（第 1の領域対応情報に含まれる）対応関係を用いるようにする。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。

(変形例 1 3 ) また、上述した各方法において、特徴量更新部 1 4 2は第 1の領域対応情報に基づいて物体の特徴量を更新したが、第 1の領域対応情報ではなく確定対応情報に基づいて物体の特徴量を更新してもよい。その場合には、特徴量抽出^ 1 4 1は、特徴量更新部 1 4 2に出力する領域特徴量情報に、第 1 の領域対応情報にぉヽて追跡状態が単独状態または分離状態であることが示されている物体領域の特徴量を含める。特徴量更新部 1 4 2は、対応確定部 1 6が物体と物体領域との対応付けを確定した後に、対応確定部 1 6が出力する確定対応情報に基づいて物体の追跡状態を判定する。そして、特徴量更新部 1 4 2は、追跡状態が単独状態である物体についてのみ、特徴量抽出部 1 4 1が出力する物体領域の特徴量情報に基づいて特徴量記憶部 1 4 3が記憶する物体の特徴量を更新する。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。

(変形例 1 4 )

また、特徴量更新部 1 4 2が確定対応情報に基づいて物体の追跡状態を判定するのでなく、対応確定部 1 6力 S、物体の追跡状態を判定してもよレ、。その場合、対応確定部 1 6は、判定した物体の追跡状態の情報を含んだ確定対応情報を出力する。そうすることにより、特徴量更新部 1 4 2力 S、物体の追跡状態を判定する処理を省くことができる。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。

(変形例 1 5 )

特徴量更新部 1 4 2は、第 1の領域対応情報のみに基づレ、て特徴量記憶部 1 4 3が記憶する物体の特徴量を更新するのでなく、第 1の領域対応情報と確定対応情報とに基づレヽて特徴量記憶部 1 4 3が記憶する物体の特徴量を更新してもよレ、。その場合、特徴量抽出部 1 4 1は、特徴量更新部 1 4 2に出力する領域特徴量情報に、第 1の領域対応情報において単独状態または分離状態であることが示されている物体領域の特徴量を含める。特徴量更新部 1 4 2は、特徴量抽出部 1 4 1 が出力する領域特徴量情報と追跡状態判定部 1 3が出力する第 1の領域対応情報とに基づレヽて、追跡状態が単独状態であることが示されてレヽる物体にっレヽてのみ、特徴量記憶部 1 4 3が記憶する物体の特徴量を更新する。特徴量更新部 1 4 2は、対応確定部 1 6が物体と物体領域との対応付けを確定した後に、対応確定部 1 6 が出力する確定対応情報に基づいて物体の追跡状態を判定し、追跡状態が分離状態から単独状態に遷移した物体についてのみ、特徴量抽出部 1 4 1が出力する領域特徴量情報に基づいて、特徴量記憶部 1 4 3が記憶する物体の特徴量を更新する。

この場合にも、さらに、特徴量更新部 1 4 2が確定対応情報に基づいて物体の追跡状態を判定するのでなく、対応確定部 1 6が、物体の追跡状態を判定してもよい。そして、対応確定部 1 6は、判定した物体の追跡状態の情報を含んだ確定対応情報を出力する。そうすることにより、特徴量更新部 1 4 2力物体の追跡状態を判定する処理を省くことができる。

(発明の第 2の実施の形態）

次に、本発明の第 2の実施の形態を図面を参照して説明する。本実施の形態における第 1の領域対応情報は、物体領域が静止している状態であるカゝ動作している状態であるかを示す静動状態の情報を含む。静動状態には、物体領域が静止していることを示す静止状態と物体領域が動作していることを示す動作状態とがある。物体追跡装置は、静動状態が静止状態である物体領域を背景として取り扱う。また、第 1の領域対応情報は、物体領域を背景として取り扱うカゝ否かを示す背景更新情報を含む。背景更新情報は、例えば、「0」と「1」の 2値で表現される。物体領域の背景更新情報が「1」である場合には、物体量領域は背景として取り极われる。物体領域の背景更新情報が「0」である場合には、物体領域を背景とはしない。

例えば、人物を追跡する物体追跡装置である場合に、人物から分離した静止物体を背景と見なすことにより、物体追跡装置は、人物のみを追跡対象とすることができる。静動状態の判定方法として、例えば、抽出した物体領域のうち静止している状態の継続時間（以下、静止継続期間という。）が予め決められた閾値以上になった場合には、その物体領域は静止状態であると判定し、静止継続期間が予め決められた閾値より小さい場合には、その物体領域の静動状態を動作状態であると判定する方法を用いる。

物体追跡装置は、背景更新情報を導入することによって、背景とみなした物体領域を追跡が不要な物体領域とみなして追跡対象から除外して、追跡が必要な物体のみを追跡対象とすることができる。すなわち、静動状態の情報によって、静止している状態であることが示されて!/、る物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する。例えば、物体領域のうち、静止継続期間が予め決められた閾値を超え、力ゝっ静動状態が静止状態であり、さらに確定対応情報に基づいて対応付けられる物体が存在しないと判断される物体領域についてのみ、物体追跡装置は、物体領域を背景の一部とみなして取り扱う。また、背景であるかの判定のために閾値を設けることによって、物体の追跡に失敗した場合にも、物体追跡装置は、追跡対象の物体が存在する物体領域を誤って背景とみなすことを防止することができる。

図 1 1は、本発明による物体追跡装置の第 2の実施の形態を示すプロック図である。図 1 1に示すように、物体追跡装置の構成要素は、第 1の実施の形態の場合と同じであるが、物体領域抽出部 1 2は、画像入力端子 1 1を介して入力される画像情報だけでなく、画像情報と対応付け部 1 7カゝらの確定対応情報とに基づいて、物体領域の抽出を行う。なお、対応付け部 1 7の構成は図 3に示された構成と同じであり、追跡状態判定部 1 3の構成は図 6に示された構成と同じであり、特徴量生成部 1 4の構成は図 8に示された構成と同じであり、対応確定部 1 6の構成は図 9に示された構成と同じである。

物体領域情報記憶部 1 3 3は、物体領域の静止継続期間を記憶する。物体追跡部 1 3 1は、物体領域情報記憶部 1 3 3が記憶する過去の各物体領域の静止継続期間と現時刻の物体領域とを対応付ける。そして、物体追跡部 1 3 1は、現時刻における静止継続期間を算出する。物体領域情報記憶部 1 3 3は、算出された現時刻における物体領域の静止継続期間を記憶する。

最新の静止継続期間の算出の際に、物体領域に対応付けられる過去の静止継続期間が複数存在する場合も考えられる。過去の静止継続期間が複数存在する場合には、物体追跡部 1 3 1は、複数存在する過去の静止継続期間のうち最大の静止継続期間を選択して、現時刻における静止継続期間に対応付ける。なお、最短の静止継続期間を選択して現時刻における静止継続期間に対応付けてもよいし、静止継続期間の平均時間を算出し、算出した平均時間を現時刻における静止継続期間に対応付けてもよい。

そして、物体追跡部 1 3 1は、静止継続期間の更新を以下の手順により行うことで現時刻における静止継続期間を算出する。物体追跡部 1 3 1は、各物体領域について過去の物体領域の重心と最新の物体領域の重心との差分べクトルを求める。差分べクトルの大きさが予め決められた閾値以下である場合には、物体追跡部 1 3 1は、物体は静止していると判断して、静止継続期間を更新する。差分べクトルの大きさが予め決められた閾値を超える場合には、物体追跡部 1 3 1は、物体領域が動いていると判断して、静止継続期間をリセットする。

状態判定部 1 3 2は、物体領域情報記憶部 1 3 3に記憶される物体領域の静止継続期間に基づいて物体領域の静動状態を判定する。そして、状態判定部 1 3 2' は、物体領域の静止継続時間と静動状態の情報を含んだ第 1の領域対応情報を出力する。また、物体領域情報記憶部 1 3 3は、状無判定部 1 3 2の判定に基づいて物体領域の静動状態を更新する。

第 1の実施の形態では、対応計算部 1 6 1は、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての組み合わせ (全ての可能な組み合わせ）について、物体領域の特徴量と合成特徴量との類似度を計算したが、本実施の形態では、静動状態が静止状態を示す物体領域がどの物体とも対応付かない組み合わせのみについて計算する。すなわち、静動状態が静止を示す物体領域に物体を対応付ける組み合わせを、全ての可能な組み合わせから除外する。そうすることにより、対応計算部 161は、物体と物体領域との類似度の算出のための計算量を削減することができる。

対応確定部 162は、物体追跡部 131が算出する物体領域の静止継続期間の情報を含んだ確定対応情報を出力する。対応確定部 162は、静止継続期間の情報と静動状態の情報とに基づレ、て物体領域が背景とみなせるかを判定する。具体的には、静止継続期間が予め決められた閾値を超え、かつ静動状態が静止状態であり、さらに確定対応情報に基づいて対応付けられる物体が存在しない場合に、物体領域が背景とみなせると判定する。物体領域を背景とみなせる場合には、'対応確定部 162は、物体領域内の背景を更新することを示す背景更新情報を確定対応情報に含める。

確定対応情報が物体領域内の背景を更新することを示す背景更新情報を含んでいる場合には、物体領域抽出部 12は、物体領域情報と画像入力端子 11を介して入力された画像情報と対応付け部 17が出力する確定対応情報とに基づいて、物体領域の領域内の背景の画像を更新する。物体領域抽出部 12は、式（13) に基づレ、て背景の画像の更新を行う。

B_t (x, y ) = (1 - μ )B_t__t (x, y) + μΐ^ (θ≤μ<ΐ) ... (13) ここで、（χ, y) は画素の座標を示し、 I _t0 (X, y) は座標 (x, y) における画像情報の画素値を示す。 B_t (x, y) と B_t— (x, y) とはそれぞれ座標 (x, y) における時刻 t, t— 1の背景画像の画素値を示す。また、は更新係数を示す。

以上のように、状態判定部 132が物体領域の静止継続時間と静動状態の情報を含んだ第 1の領域対応情報を出力し、対応付け部 17が背景更新情報を含んだ確定対応情報を出力することによって、物体と背景とを区別することができる。そして、第 1の領域対応情報が静動状態の情報を含むことにより、物体追跡装置は、静止している物体を物体領域と対応付けられる候補から除外する。その結果、対応計算部 161が行う類似度の算出のための計算量を低減することができる。また、動作中の物体のみを追跡することができる。

なお、物体領域情報記憶部 1 3 3が静止継続期間を記憶して、物体領域情報記憶部 1 3 3が記憶する静止継続期間を状態判定部 1 3 2が取得するのでなく、物体追跡部 1 3 1が静止継続期間の情報を含んだ第²の領域対応情報を状態判定部 1 3 2に出力してもよい。そうすることにより、状態判定部 1 3 2は、物体領域情報記憶部 1 3 3を介することなく静止継続期間の情報を取得できる。

また、特徴量抽出部 1 4 1は、追跡状態が分離状態であることが示され、かつ静動状態が静止状態であることが示されている物体領域については、領域特徴量情報に特徴量を含んでもよいが、対応計算部 1 6 1では不要なため、何も含まなくてもよい。あるいは、何も含まない代わりに対応付けが不要であることを示す情報を含んでもよい。これにより、不要な特徴量を出力する無駄を省くことができる。

(発明の第 3の実施の形態）

次に、本発明の第 3の実施の形態を図面を参照して説明する。図 1 2は、本発明による物体追跡装置の第 3の実施の形態を示す構成図である。図 1 2に示すように、物体追跡装置は、画像入力端子 2 1、第 1の制御部 2 2、物体領域抽出部 2 3、特徴量生成部 2 4およぴ特徴量合成部 2 5を含む。

第 1の制御部 2 2は、画像入力端子 2 1、物体領域抽出部 2 3、特徴量生成部 2 4および特徴量合成部 2 5に接続され、それらを制御する。また、第 1の制御部 2 2は、物体と物体領域との対応付けを行って、確定対応情報を出力する。物体領域抽出部 2 3は、第 1の制御部 2 2力の画像情報に基づレ、て物体領域を抽出し、領域番号を付与した物体領域の画像情報を含む物体領域情報を第 1の制御部 2 2に出力する。

特徴量生成部 2 4は、第 1の制御部 2 2力らの画像情報と物体領域情報とに基づいて物体領域の特徴量を抽出する。そして、抽出した物体領域の特徴量を含む領域特徴量情報を第 1の制御部 2 2に出力する。

特徴量合成部 2 5は、第 1の制御部 2 2力らの領域特徵量情報と第 1の領域対応情報とに基づ、て、複数の物体の必要な全ての組み合わせにつ、て物 ίキの特徴量を合成した合成特徴量を算出するそして、特徴量合成部^{2 5}は、合成敷量を含んだ合成特徴量情報を第 1の制御部 2 2に出力する。

なお、第 1の領域対応情報は、第 1の実施の形態と同様に、物体と物体領域との対応関係の情報と物体の追跡状態の情報とを含む。また、本実施の形態では、第 1の制御部 2 2力第 1の領域対応情報を生成する。

ビデオカメラ等から、画像信号が入力される画像入力端子 2 1を介して、第 1 の制御部 2 2は画像情報を入力する。第 1の制御部 2 2は、画像情報を物体領域抽出部 2 3に出力し、物体領域抽出部 2 3が出力する物体領域情報を入力する。また、物体領域情報と過去の確定対応情報とに基づいて、第 1の領域対応情報を生成し、生成した第 1の領域対応情報、画像情報および物体領域情報を特徴量生成部 2 4に出力する。さらに、特徴量生成部 2 4が出力する領域特徴量情報を入力し、領域特徴量情報および第 1の領域対応情報を特徴量合成部 2 5に出力する。また、特徴量合成部 2 5が出力する合成特徴量情報を入力する。

第 1の制御部 2 2は、領域特徴量情報に含まれる物体領域の特徴量と合成特徴量情報に含まれる合成特徴量との類似度を算出し、組み合わせ類似度を算出して、物体と物体領域との最適な対応付けを確定する。そして、確定した物体と物体領域との対応関係の情報を確定対応情報として出力する。

図 1 3は、第 1の制御部 2 2の構成の一例を示すプロック図である。図 1 3に示すように、第 1の制御部 2 2は、第 2の制御部 2 2 1、物体追跡部 2 2 2、状態判定部 2 2 3および対応計算部 2 2 4を含む。

なお、第 1の制御部 2 2 (第 2の制御部 2 2 1、物体追跡部 2 2 2、状態判定部 2 2 3および対応計算部 2 2 4 )、物体領域抽出部 2 3、特徴量生成部 2 4およぴ特徴量合成部 2 5は、ハードウェアでも実現可能であるが、ソフトウェアでも実現可能である。すなわち、第 1の制御部 2 2、物体領域抽出部 2 3、特徴量生成部 2 4および特徴量合成部 2 5を、プログラムに基づいて処理を実行する C P Uと、以下に説明する第 1の制御部 2 2、物体領域抽出部 2 3、特徴量生成部 2 4および特徴量合成部 2 5の機能を実現するために記憶装置に格納されているプログラムとで実現することができる。

第 2の制御部 2 2 1は、画像入力端子 2 1を介して画像情報が入力されると、画像情報を物体領域抽出部 2 3に出力する。また、第 2の制御部 2 2 1は、物体領域抽出部 2 3が出力した現時刻の物体領域情報と、第 2の制御部 2 2 1自身が記憶する過去の物体領域情報と、第 2の制御部 2 2 1自身が記憶する過去の確定対応情報とを物体追跡部 2 2 2に出力する。さらに、第 2の制御部 2 2 1は、画像入力端子 2 1を介して入力された画像情報と、物体領域抽出部 2 3が出力した物体領域情報とを領域特徴量生成部 2 4に出力する。なお、確定対応情報の内容は、第 1の実施の形態の場合と同じである。

また、第 2の制御部 2 2 1は、物体追跡部 2 2 2から第 2の領域対応情報が入力されると、第 2の領域対応情報と物体領域情報とを状態判定部 2 2 3に出力する。なお、第 2の領域対応情報の内容は、第 1の実施の形態の場合と同じである。また、第 2の制御部 2 2 1は、状態判定部 2 2 3から第 1の領域対応情報が入力されると、第 1の領域対応情報にぉレヽて追跡状態が分離状態であることが示されている物体領域についてのみ、物体の特徴量と第 1の領域対応情報とを特徴量合成部 2 5に出力する。なお、第 1の領域対応情報の内容は、第 1の実施の形態の場合と同じである。

さらに、第 2の制御部 2 2 1は、特徴量合成部 2 5から合成特徴量情報が入力されると、領域特徴量情報と合成特徴量情報と第 1の領域対応情報とを対応計算部 2 2 4に出力する。また、状態判定部 2 2 3が出力する第 1の領域対応情報において追跡状態が分離状態以外の状態であることが示されている物体については、第 1の領域対応情報に含まれる物体領域との対応を、この物体と物体領域との対応関係として確定する。第 1の領域対応情報において追跡状態が分離状態であることが示されている物体については、対応計算部 2 2 4が出力する最適対応情報に含まれる物体領域との対応を、この物体と物体領域との対応関係として確定する。なお、対応計算部 2 2 4が出力する最適対応情報の内容は、第 1の実施の形態の場合と同じである。

物体追跡部 2 2 2は、第 2の制御部 2 2 1から入力された現時刻の物体領域情報と、第 2の制御部 2 2 1が記憶する過去の物体領域情報と、過去の確定対応情報とに基づいて物体を追跡し、第 2の領域対応情報を第 2の制御部 2 2 1に出力する。なお、物体追跡部 2 2 2が物体を追跡する方法は、第 1の実施の形態における物体を追跡する方法と同じである。状態判定部 2 2 3は、第 2の制御部 2 2 1から入力された第 2の領域対応情報と物体領域情報とに基づレ、て物体の追跡状態の判定を行レヽ、第 1の領域対応情報を第 2の制御部 2 2 1に出力する。

対応計算部 2 2 4は、第.2の制御部 2 2 1から入力された領域特徴量情報と、合成特徴量情報と、第 1の領域対応情報とに基づレヽて、物体と物体領域との全ての可能な組み合わせにつレヽて物体の合成特徴量と物体領域の特徴量との類似度を算出し、組み合わせ類似度を算出し、組み合わせ類似度が最も高くなる物体と物体領域との組み合わせを最適な物体と物体領域との対応付けと確定して、最適対応情報を生成する。そして、最適対応情報を第 2の制御部 2 2 1に出力する。次に、第 3の実施の形態による物体追跡装置の動作を説明する。図 1 4は、物体追跡装置の処理経過の一例を示すフローチャートである。画像入力端子 2 1を介して画像情報が入力されると（ステップ S 1 4 0 1 )、物体領域抽出部 2 3は、画像情報から物体領域を抽出する（ステップ S 1 4 0 2 )。そして、物体領域の画像情報を含む物体領域情報を出力する。

物体追跡部 2 2 2は、物体を追跡して物体と物体領域とを対応付け、第 2の領域対応情報を出力する。状態判定部 2 2 3は、第 2の領域対応情報と物体領域情報とに基づいて物体の追跡状態を判定する（ステップ S 1 4 0 3 )。特徴量生成部 2 4は、物体領域の特徴量を算出する（ステップ S 1 4 0 4 )。

第 2の制御部 2 2 1は、カウンタ iを有する。第 2の制御部 2 2 1は、物体の数をカウンタ iに設定する（ステップ S 1 4 0 5 )。第 2の制御部 2 2 1は、カウンタ iの値が「0」であるかを判定して（ステップ S 1 4 0 6 )、カウンタ iの値が「0 J である場合には処理を終了する。カウンタ iの値が「0」でない場合には、第 2の制御部 2 2 1は、状態判定部 2 2 3に次のステップ S 1 4 0 7の処理の実行を指示する。

状態判定部 2 2 3は、物体の追跡状態が分離状態であるかを判定する（ステツプ S 1 4 0 7 )。状態判定部 2 2 3が物体の追跡状態が分離状態であると判定した場合には、特徴量合成部 2 5は、複数の物体の必要な全ての組み合わせについて物体の特徴量を合成して合成特徴量を生成する（ステップ S 1 4 0 8 )。

対応計算部 2 2 4は、物体と物体領域との全ての可能な組み合わせについて物体の合成特徴量と物体領域の特徴量との類似度を算出し、組み合わせ類似度を算出する。第 2の制御部 2 2 1は、対応計算部 2 2 4が算出した組み合わせ類似度が最も高くなる物体と物体領域との組み合わせを最適な物体と物体領域との対応関係として確定する（ステップ S 1 4 0 9 )。

ステップ S 1 4 0 7において、追跡状態が分離状態以外の状態であると状態判定部 2 2 3が判定した場合には、第 2の制御部 2 2 1は、第 1の領域対応情報に含まれる物体と物体領域との対応を、最適な物体と物体領域との対応関係として確定する（ステップ S 1 4 0 9 )₀

特徴量生成部 1 4は、対応が確定した物体の特徴量を更新する（ステップ S 1 4 1 0 )。ただし、特徴量生成部 1 4は、追跡状態が単独状態であることが示されている物体についてのみ、特徴量を更新する。

次いで、第 2の制御部 2 2 1は、カウンタの値を「1」減らす（ステップ S 1 4 1 1 )。そして、ステップ S 1 4 0 6において、カウンタの値が「0」と判断されるまでステップ S 1 4 0 7からステップ S 1 4 1 0までの処理が繰り返し実行される。すなわち、全ての物体について、最適な物体領域との対応関係力確定するまでステップ S 1 4 0 7からステップ S 1 4 1 0までの処理が実行される。全ての物体について物体領域との対応関係を確定するための処理（ステップ S 1 4 0 7〜S 1 4 1 0 ) が終了したら、再ぴ、ステップ S 1 4 0 1から処理を実行する。

以上のように物体追跡装置を構成することにより、第 1の実施の形態と同様の機能を有する物体追跡装置を実現することができる。

なお、図 1 2および図 1 3に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、画像情報を入力する画像入力処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力する追跡状態判定処理と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する特徴量生成処理と、各物体を対象として、追跡状態が、物体領域が複数の物体領域に分力れる過渡的な状態である分離状態以外の状態であると判定されている物体について、第 1の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、物体特徴量と第 1の領域対応情報とから複数の物体の必要な全ての組み合わせにっレ、て特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける対応付け処理とを実行させるための物体追跡プログラムによって物体追跡装置を実現可能である。

Claims

請求の範囲

1 . 画像情報に基づいて物体を追跡する物体追跡装置であって、

前記画像情報に含まれる各物体の.特徴量を示す物体特徴量を合成して合成特徴量を生成する特徴量合成手段と、

前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づいて物体領域と物体とを対応付ける対応付け手段と

を備えた物体追跡装置。

2. 前記特徴量合成手段は、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、

前記対応付け手段は、前記特徴量合成手段が生成した各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付ける

請求項 1に記載の物体追跡装置。

3 . 画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段と、

他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段と、

前記画像情報、前記物体領域情報および前記追跡状態判定手段の判定結果を用いて、領域特徴量および物体特徴量を生成する特徴量生成手段とを備え、前記特徴量合成手段は、前記物体特徴量および前記追跡状態判定手段の判定結果を用いて合成特徴量を生成する

請求項 2に記載の物体追跡装置。

4. 前記追跡状態判定手段は、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報と力ゝら、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力し、

前記特徴量生成手段は、現時刻の画像情報、前記物体領域情報、前記第 1の頜域対応情報および前記確定対応情報から、領域特徴量と物体特徴量とを生成し、前記特徴量合成手段は、前記物体特徴量と前記第 1の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し、合成特徴量およぴ合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、

前記対応付け手段は、前記第 1の領域対応情報、前記領域特徴量を示す情報である領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する対応確定手段を含む

請求項 3に記載の物体追跡装置。

5. 前記追跡状態には、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態のいずれかもしくはそれらの組み合わせが含まれる

請求項 3に記載の物体追跡装置。

6 . 前記追跡状態には、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分力^ bる過渡的な状態である分離状態のいずれかもしくはそれらの組み合わせが含まれる

請求項 4に記載の物体追跡装置。

7. 前記特徴量生成手段は、

物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムのいずれかまたはそれらの組み合わせを少なくとも 1つ含む領域特徴量として生成し、

前記物体に対応する物体領域を前記第 1の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成する

請求項 4に記載の^体追跡装置。

8 . 前記追跡状態判定手段は、物体領域情報を記憶する物体領域記憶手段と、

前記物体領域情報、確定対応情報、および前記物体領域記憶手段から出力される現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第 2の領域対応情報を出力する物体追跡手段と、

前記第 2の領域対応情報、前記物体領域情報およぴ現時刻以前の前記物体領域情報とから物体の追跡状態を判定し、前記第 1の領域対応情報を出力する状態判定手段とを含む

請求項⁴に記載の物体追跡装置。

9. 前記状態判定手段は、

第 2の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する前記物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を 1つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を 1つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、分類したクラスに基づいて追跡状態を判定する

請求項 8に記載の物体追跡装置。

1 0. 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

前記状態判定手段は、

分類したクラスに 2以上の物体領域が含まれる場合に、そのクラスは分離状態である条件を満たすと判断し、

クラスが分離状態である条件を満たす場合に、そのクラスに含まれる物体およぴ物体領域の追跡状態を分離状態と判定する

請求項 9に記載の物体追跡装置。

1 1 . 前記状態判定手段は、

分類したクラスが分離状態である条件を満たし、さらに、

前記クラスに 2以上の物体が含まれること、前記クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、前記クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、前記クラスに含まれる物体および物体領域の追跡状態を分離状態と判定する

請求項 9に記載の物体追跡装置。

1 2. 前記追跡状態は、分離状態と、物体領域内に 1つの物体のみが存在する単独状態とを含み、

前記状態判定手段は、分類したクラスが 1つの物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を単独状態と判定する

請求項 1 0に記載の物体追跡装置。

1 3. 前記追跡状態は、分離状態と、物体領域内に 1つの物体のみが存在する単独状態とを含み、

請求項 1 1に記載の物体追跡装置。

1 4. 前記追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、

前記状態判定手段は、分類したクラスが 2以上の物体を含み、前記クラスに含まれる物体おょぴ物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する

請求項 1 0に記載の物体追跡装置。

1 5. 前記追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、

前記状態判定手段は、分類したクラスが 2以上の物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する

請求項 1 1に記載の物体追跡装置。

1 6 . 前記特徴量生成手段は、画像情報と物体領域情報と第 1の領域対応情報とから領域特徴量を抽出し、前記領域特徴量を示す情報である領域特徴量情報を出力する特徴量抽出手段と、物体特徴量を記憶し、要求に応じて、記憶する物体特徴量を選択して出力する特徴量記憶手段と、

前記領域特徴量情報、前記第 1の領域対応情報あるいは確定対応情報および現時刻より以前に生成した物体特徴量とから、特徴量記憶手段が記憶する前記物体特徴量を更新する特徴量更新手段とを含む

請求項⁴に記載の物体追跡装置。

1 7. 前記追跡状態は、物体領域が複数の物体領域に分力れる過渡的な状態である分離状態を含み、

前記特徴量抽出手段は、追跡状態として分離状態以外の状態が示されている物体領域については、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、

前記対応確定手段は、前記領域特徴量情報によつて物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する

請求項 1 6に記載の物体追跡装置。

1 8 . 前記追跡状態は、物体領域内に 1つの物体のみが存在する単独状態を含み、

前記特徴量更新手段は、

第 1の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、

物体の追跡状態が単独状態以外の場合には、特徴量記憶手段が記憶する物体特徴量を更新しない

請求項 1 6に記載の物体追跡装置。，

1 9 . 前記特徴量合成手段は、

前記特徴量生成手段が生成する物体特徴量と第 1の領域対応情報とに基づレヽて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、

決定した物体と物体領域との組み合わせにつレヽてのみ、物体特徴量を合成して合成特徴量を生成する請求項 4に記載の物体追跡装置。

2 0 . 前記特徴量合成手段は、物体特徴量を合成する割合を補正するための係数である合成比率を求め、前記合成比率と物体特徴量とから合成特徴量を生成する

請求項 4に記載の物体追跡装置。

2 1 . 前記特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徵量とに基づレヽて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力する

請求項 4に記載の物体追跡装置。

2 2. 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

前記特徴量合成手段は、追跡状態として分離状態であることが示されている物体領域についてのみ合成特徴量を生成する

請求項⁴に記載の物体追跡装置。

2 3. 前記物体特徴量は、物体の面積を含み、

前記特徴量合成手段は、前記物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を補正するための係数である合成比率を求め、前記合成比率と前記物体特徴量とから合成特徴量を生成する

請求項 4に記載の物体追跡装置。

2 4. 前記特徴量合成手段は、合成比率を、物体の面積の変化に基づく所定範囲内に制限する

請求項 2 3に記載の物体追跡装置。

2 5 . 前記特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力する

請求項 4に記載の物体追跡装置。

2 6 . 前記物体特徴量は、物体の形状や色を記述した画像テンプレートを含み、

前記特徴量合成手段は、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成して合成特徴量を得る

請求項 4に記載の物体追跡装置。

2 7 . 前記対応確定手段は、

前記合成特徴量情報、前記領域特徴量情報および前記第 1の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段と、

前記第 1の領域対応情報および前記最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段とを含む

請求項 4に記載の物体追跡装置。 .

2 8 . 前記対応計算手段は、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徵量と合成特徴量との類似度の合計である合計類似度を求め、前記全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとする

請求項 2 7に記載の物体追跡装置。

2 9 . 前記第 1の領域対応情報は、物体領域が静止している状態であるカゝ動作している状態であるかを示す静動状態の情報を含み、

前記対応計算手段は、前記静動状態の情報によって、静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する +

請求項 2 7に記載の物体追跡装置。

3 0. 前記対応計算手段は、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の輝似度から得られる組み合わせ類似度が予め決められた閾値下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれなレ、物体と物体領域にっレ、ては、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、

前記対応決定手段は、

最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、

最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する

請求項 2 7に記載の物体追跡装置。

3 1 . 前記対応計算手段は、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれな、物体と物体領域にっレ、ては、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、 .

前記対応決定手段は、

最適な物体と物体領域との対応 M係がなレヽ旨が前記最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、

最適な物体と物体領域との対応関係がなレヽ旨が前記最適対情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との对応関係を示す情報を確定対応情報として出力する

請求項 2 8に記載の物体追跡装條。

3 2. 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

前記対応決定手段は、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定する請求項 2 7に記載の物体追跡装置。

3 3 , 前記追跡状態は、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、

前記対応決定手段は、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第 1の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力する

請求項 2 7に記載の物体追跡装置。

3 4 . 画像情報に基づいて物体を追跡する物体追跡方法であって、前記画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成し、

前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づレヽて物体領域と物体とを対応付ける物体追跡方法。

3 5. 複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、'

生成された各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによつて物体と物体領域とを対応付ける

請求項 3 4に記載の物体追跡方法。

3 6 . 前記画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力し、

他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定し、

前記画像情報、前記物体領域情報および前記判定結果を用いて、領域特徴量および物体特徴量を生成し、

前記物体特徴量および前記判定結果を用いて合成特徴量を生成する

請求項 3 5に記載の物体追跡方法。

3 7. 前記物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第 1の領域対応情報を出力し、現時刻の画像情報、前記物体領域情報、前記第 1の領域対応情報および前記確定対応情報から、領域特徴量と物体特徴量とを生成し、

前記物体特徴量と前記第 1の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用

Vヽられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、

前記第 1の領域対応情報、前記領域特徴量を示す情報である領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する

請求項 3 6に記載の物体追跡方法。

3 8 . 前記追跡状態には、物体領域内に 1つの物体のみが存在する単独状態、物体領域內に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態のいずれかもしくはそれらの組み合わせが含まれる

請求項 3 6に記載の物体追跡方法。

3 9 . 前記追跡状態には、物体領域内に 1つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分かれる過渡的な状態である分離状態のいずれかもしくはそれらの組み合わせが含まれる

請求項 3 7に記載の物体追跡方法。

4 0. 物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規ィ匕された色ヒストグラムの!/ヽずれかまたはそれらの組み合わせを領域特徴量として生成し、前記物体に対応する物体領域を前記第 1の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成する

請求項 3 7に記載の物体追跡方法。

4 1 . 前記物体領域情報を記憶し、

前記物体領域情報、確定対応情報、および現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第 2の領域対応情報を出力し、前記第 2の領域対応情報、前記物体領域情報およぴ現時刻以前の前記物体領域情報とから物体の追跡状態を判定し、前記第 1の領域対応情報を出力する請求項 3 7に記載の物体追跡方法。

4 2. 前記第 2の領域対応情報と物体領域情報と力ゝら、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する前記物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を 1つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を 1つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、

分類したクラスに基づいて追跡状態を判定する

請求項 4 1に記載の物体追跡方法。

4 3 . 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

請求項 4 2に記載の物体追跡方法。

4 4. 前記分類したクラスが分離状態である条件を満たし、さらに、前記クラスに 2以上の物体が含まれること、前記クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、前記クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、前記クラスに含まれる物体および物体領域の追跡状態を分離状態と判定する

請求項 4 3に記載の物体追跡方法。

4 5. 前記追跡状態は、分離状態と、物体領域内に 1つの物体のみが存在する単独状態とを含み、 ·

前記分類したクラスが 1つの物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を単独状態と判定する

請求項 4 3に記載の物体追跡方法。

4 6. 前記追跡状態は、分離状態と、物体領域内に 1つの物体のみが存在する単独状態とを含み、

請求項 4 4に記載の物体追跡方法。

4 7. 前記追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、

前記分類したクラスが 2以上の物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する , 請求項 4 3に記載の物体追跡方法。

4 8 . 前記追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、

前記分類したクラスが 2以上の物体を含み、前記クラスに食まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する

請求項 4 に記載の物体追跡方法。

4 9 . 前記画像情報と前記物体領域情報と前記第 1の領域対応情報とから領域特徴量を抽出し、前記領域特徴量を示す情報である領域特徵量情報を出力し、前記物体特徴量を記憶し、要求に応じて、記憶している物体特徴量を選択して出力し、

前記領域特徴量情報と、前記第 1の領域対応情報あるいは確定対応情報と、現時刻より以前に生成した物体特徴量とから、記憶される前記物体特徴量を更新する

請求項 3 7に記載の物体追跡方法。

5 0 . 前記追跡状態は、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、

前記追跡状態として分離状態以外の状態が示されている物体領域については、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、前記領域対応情報によつて物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する

請求項 4 9に記載の物体追跡方法。

5 1 . 前記追跡状態は、物体領域内に 1つの物体のみが存在する単独状態を含み、

前記第 1の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、

物体の追跡状態が単独状態以外の場合には、記憶される物体特徴量を更新しない

請求項 4 9に記載の物体追跡方法。

5 2. 前記物体特徴量と前記第 1の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、

決定した物体と物体領域との組み合わせにつレヽてのみ、物体特徴量を合成して合成特徴量を生成する

請求項 3 7に記載の物体追跡方法。

5 3. 前記物体特徴量を合成する割合を補正するための係数である合成比率を求め、前記合成比率と物体特徴量とから合成特徴量を生成する

請求項 3 7に記載の物体追跡方法。

5 4. 前記物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づ！/、て任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力する

請求項 3 7に記載の物体追跡方法。

5 5 . 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

前記追跡状態として分離状態であることが示されている物体領域についてのみ合成特徴量を生成する

請求項 3 7に記載の物体追跡方法。

5 6 . 前記物体特徴量は、物体の面積を含み、

該物体の面積に基づいて物体特徴量を合成する割合を補正するための係数である合成比率を求め、求められた合成比率と物体特徴量とから合成特徴量を生成する

請求項 3 7に記載の物体追跡方法。

5 7. 前記合成比率を、物体の面積の変化に基づく所定範囲內に制限する請求項 5 6に記載の物体追跡方法。

5 8 . 前記物体特徴量とともに前記領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力する

請求項 3 7に記載の物体追跡方法。

5 9 . 前記物体特徴量が物体の形状や色を記述した画像テンプレートを含み、該画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後闋係に基づいて画像テンプレートを合成して合成特徴量を得る請求項 3 7に記載の物体追跡方法。

6 0 · 前記合成特徴量情報、前記領域特徴量情報およぴ前記第 1の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成し、

前記第 1の領域対応情報および前記最適対応情報に基づレヽて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する

請求項 3 7に記載の物体追跡方法。

6 1 . 物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、前記全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとする

請求項 6 0に記載の物体追跡方法。

6 2. 前記第 1の領域対応情報が、物体領域が静止している状態であるカ動作している状態であるかを示す静動状態の情報を含み、

俞記静動状態の情報によって、静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する

請求項 6 0に記載の物体追跡方法。

6 3 . 最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組.み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、

最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示さ.れてレヽない物体については、その最適対応情報に含まれる物体と物体領域との対関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がなレ、旨が前記最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する

請求項 6 0に記載の物体追跡方法。

6 4. 最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、

最適な物体と物体領域との対応関係がなレヽ旨が前記最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、

最適な物体と物体領域との対応関係がな！/ヽ旨が前記最適対応情報に示されている物体については、第 1の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する

請求項 6 1に記載の物体追跡方法。

6 5 . 前記追跡状態は、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態を含み、

前記追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定する

請求項 6 0に記載の物体追跡方法。

6 6 . 前記追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、

前記追跡状態として分離状態以外の状態が示されている物体領域にっレヽてのみ、第 1の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力する

請求項 6 0に記載の物体追跡方法。

6 7. 画像情報に基づいて物体を追跡する物体追跡プログラムであって、コンピュータに、

画像情報を入力する処理と、

入力された前記画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する処理と、

前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づいて物体領域と物体とを対応付ける処理と

を実行させるための物体追跡プログラム。

6 8 . 入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、

コンピュータに、

画像情報を入力する処理と、

入力された前記画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する処理と、

前記物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、前記物体領域およぴ前記物体と前記追跡状態との対応関係を示す第 1の領域対応情報を出力する処理と、

前記画像情報、前記物体領域情報および前記第 1の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、

前記物体特徴量と前記第 1の領域対応情報とから、複数の物体の必要な全ての組み合わせにつレ、て特徴量を合成して各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する処理と、

前記第 1の領域対応情報、前記領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する処理と

を実行させるための物体追跡プログラム。

6 9 . 入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、

コンピュータに、

画像情報を入力する処理と、

前記物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域おび物体と追跡状態との対応関係を示す第 1の領域対応情報を出力する処理と、前記画像情報、前記物体領域情報および前記第 1の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、

各物体を対象として、追跡状態が、物体領域が複数の物体領域に分力ゝれる過渡的な状態である分離状態以外の状態であると判定されている物体について、前記第 1の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、前記物体特徴量と前記第 1の領域対応情報とから複数の物体の必要な全ての組み合わせにっレヽて特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける処理と

を実行させるための物体追跡プログラム。