JP4174279B2 - 映像オブジェクト識別・追跡装置、その方法及びそのプログラム - Google Patents
映像オブジェクト識別・追跡装置、その方法及びそのプログラム Download PDFInfo
- Publication number
- JP4174279B2 JP4174279B2 JP2002272450A JP2002272450A JP4174279B2 JP 4174279 B2 JP4174279 B2 JP 4174279B2 JP 2002272450 A JP2002272450 A JP 2002272450A JP 2002272450 A JP2002272450 A JP 2002272450A JP 4174279 B2 JP4174279 B2 JP 4174279B2
- Authority
- JP
- Japan
- Prior art keywords
- video object
- video
- identification information
- identification
- temporary identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号のフレーム内に登場する映像オブジェクトを追跡しながら、その映像オブジェクトの識別情報を出力する映像オブジェクト識別・追跡装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
従来、映像信号のフレーム内に登場する映像オブジェクトを識別する手法としては、映像オブジェクトが人間である場合に、その人間を認識するための顔認識技術や、映像オブジェクトが自動車である場合に、その自動車を認識するためのナンバープレート認識技術等を用いた手法が存在している。
また、映像オブジェクトを追跡する手法としては、映像オブジェクトの映像特徴量に基づいて、時系列で入力されるフレーム毎に映像オブジェクトの位置を推定することで、追跡精度を高めた手法が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特願２００１−１６６５２５号
【０００４】
【発明が解決しようとする課題】
しかし、前記従来の技術における映像オブジェクトを識別する手法は、１つのフレーム内の映像オブジェクトを認識する技術であって、時間と共に変化する映像オブジェクト間の関連性を有効に活用することができない。また、その識別手法そのものが複雑な認識処理を行うものであるため、映像オブジェクトを映像信号の中で時間軸方向に追跡する手法には適していない。
また、前記従来の技術における映像オブジェクトを追跡する手法は、映像オブジェクトを精度良く認識して追跡を行うことができるが、その映像オブジェクトが何であるか、あるいは誰であるかといった、映像オブジェクトそのものの内容を識別することができないといった問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、映像信号から映像オブジェクトを検出して、その映像オブジェクトを追跡する際に、映像オブジェクトの位置情報のみならず、その映像オブジェクトの内容を識別する識別情報をも出力することを可能にした映像オブジェクト識別・追跡装置、その方法及びそのプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像オブジェクト識別・追跡装置は、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力する映像オブジェクト識別・追跡装置であって、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段と、この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段と、前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段と、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースと、この映像オブジェクトデータベースに記憶されている映像特徴量と、前記位置情報で示される位置に存在する前記映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段と、この映像オブジェクト照合手段における識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段と、前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段と、を備える構成とした。
【０００７】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト検出手段によって、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与手段によって、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、例えば、１から始まる自然数の連番である仮の識別子（仮識別子）を付与する。そして、位置情報生成手段によって、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。この映像オブジェクトの動きの追跡は、例えば、映像オブジェクトの画像データ、形状データ、色の平均及び共分散等の映像特徴量に基づいて行う。
【０００８】
そして、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段によって、予め映像オブジェクトを特徴付ける映像特徴量と、その映像オブジェクトの識別情報（例えばオブジェクト名）とを対応付けて記憶した映像オブジェクトデータベースの個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。
【０００９】
ここで、識別に成功した場合は、その識別情報が映像オブジェクトの仮識別子に対応付けられて、識別情報記憶手段に記憶される。なお、識別に失敗した場合は、識別情報記憶手段への記憶を行わないため、以前識別に成功した仮識別子と識別情報との組がそのまま保持されていることになる。
【００１０】
そして、映像オブジェクト識別・追跡装置は、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。これによって、映像オブジェクト識別・追跡装置は、映像信号中の映像オブジェクトの追跡及び識別を行い、時々刻々と変化する映像オブジェクトの位置情報（座標値）と、その映像オブジェクトの識別情報（オブジェクト名）とを出力する。
【００１１】
また、請求項２に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した回数を頻度情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記頻度情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１２】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段がフレーム毎に映像オブジェクトの照合を行ない、識別に成功したときの識別情報とその識別に成功した回数である頻度情報とを仮識別子に対応付けて識別情報記憶手段に記憶する。これにより、識別情報記憶手段には、１つの仮識別子に対して複数の識別情報及び頻度情報が記憶されることになる。そして、識別情報選択手段が、映像オブジェクトの仮識別子毎に最も頻度の高い識別情報（オブジェクト名）を、その映像オブジェクトの識別情報として特定（選択）し出力する。
【００１３】
さらに、請求項３に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した時刻を時間情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記時間情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１４】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段がフレーム毎に映像オブジェクトの照合を行ない、識別に成功したときの識別情報とその識別に成功した時刻（時間情報）とを仮識別子に対応付けて識別情報記憶手段に記憶する。これにより、識別情報記憶手段には、１つの仮識別子に対して時系列に複数の識別情報及び時間情報が記憶されることになる。そして、識別情報選択手段が、映像オブジェクトの仮識別子毎の時間情報に基づいて、その映像オブジェクトの識別情報を特定（選択）し出力する。例えば、識別に成功した最新の時刻の識別情報を選択したり、最新の時刻から特定の時刻まで遡って、最も多く識別された識別情報を選択することとしてもよい。
【００１５】
また、請求項４に記載の映像オブジェクト識別・追跡装置は、請求項３に記載の映像オブジェクト識別・追跡装置において、前記識別情報選択手段が、前記仮識別子及び前記識別情報に対して前記時間情報に基づいて重み付けを行い、その重み付けされた結果に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１６】
かかる構成によれば、映像オブジェクト識別・追跡装置は、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対する識別情報及び時間情報の重み付けを行い、映像オブジェクトの識別情報を特定（選択）し出力する。例えば、識別に成功した時刻が新しいものほど重みを多く付けることで、映像オブジェクトに対する識別情報（オブジェクト名）の精度を高めることが可能になる。
【００１７】
さらに、請求項５に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記映像オブジェクト照合手段が、前記映像オブジェクトを識別したときの信頼の度合いを示す信頼度を前記識別結果として生成し、前記記憶制御手段が、その信頼度を前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記信頼度に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１８】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段によって、映像オブジェクトを識別したときの信頼度を生成する。この信頼度は、仮識別子と識別情報とともに識別情報記憶手段に記憶される。そして、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対する識別情報の中で信頼度の最も高いものを、映像オブジェクトの識別情報として特定（選択）し出力する。ここで、信頼度としては、例えば、映像オブジェクト照合手段で映像オブジェクト毎に照合する映像特徴量の相互相関の値を用いることができる。
【００１９】
また、請求項６に記載の映像オブジェクト識別・追跡方法は、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するための映像オブジェクト識別・追跡方法であって、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出ステップと、この映像オブジェクト検出ステップで検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与ステップと、前記映像オブジェクト検出ステップで検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成ステップと、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合ステップと、この映像オブジェクト照合ステップにおける識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて記憶手段に記憶する識別情報記憶ステップと、前記記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択ステップと、を含むことを特徴とする。
【００２０】
この方法によれば、映像オブジェクト識別・追跡方法は、映像オブジェクト検出ステップで、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与ステップで、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、仮の識別子（仮識別子）を付与する。そして、位置情報生成ステップで、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。
【００２１】
次に、映像オブジェクト照合ステップで、映像オブジェクトを識別するための識別情報と映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。そして、この映像オブジェクト照合ステップにおいて識別に成功した場合は、識別情報記憶ステップで、映像オブジェクトの仮識別子に対応付けて識別情報を記憶手段に記憶し、識別に失敗した場合は、識別情報の記憶を行わない。
そして、識別情報選択ステップで記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。
【００２２】
さらに、請求項７に記載の映像オブジェクト識別・追跡プログラムは、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２３】
すなわち、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段、この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段、前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段、この映像オブジェクト照合手段による前記映像オブジェクトにおける識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段、前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段、とした。
【００２４】
かかる構成によれば、映像オブジェクト識別・追跡プログラムは、映像オブジェクト検出手段によって、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与手段によって、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、仮の識別子（仮識別子）を付与する。そして、位置情報生成手段によって、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。
【００２５】
そして、映像オブジェクト識別・追跡プログラムは、映像オブジェクト照合手段によって、予め映像オブジェクトを特徴付ける映像特徴量と、その映像オブジェクトの識別情報（例えばオブジェクト名）とを対応付けて記憶した映像オブジェクトデータベースの個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。
そして、映像オブジェクト識別・追跡プログラムは、映像オブジェクト照合手段で識別が成功した場合は、記憶制御手段によって、映像オブジェクトの仮識別子に対応付けて、その識別情報を記憶手段に記憶し、識別情報選択手段によって、記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（第一の実施の形態）
図１は、本発明における第一の実施の形態である映像オブジェクト識別・追跡装置１の構成を示したブロック図である。図１に示すように映像オブジェクト識別・追跡装置１は、入力された映像信号ａから、人物等の映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトを識別する識別情報（オブジェクト名ｆ）と位置情報（座標値ｂ）とを出力するものである。
【００２７】
この映像オブジェクト識別・追跡装置１は、映像オブジェクト追跡手段１０と、映像オブジェクト識別手段２０と、識別子変換手段３０とを備える構成とした。図２は映像オブジェクト追跡手段１０の詳細な構成を示したブロック図であり、図３は映像オブジェクト識別手段２０の詳細な構成を示したブロック図である。
【００２８】
まず、図２を参照して、映像オブジェクト追跡手段１０の構成について説明する。
映像オブジェクト追跡手段１０は、外部から入力される映像信号ａのフレームから、映像オブジェクトを検出して、その映像オブジェクトを識別するための仮の識別子（仮識別子ｃ）を付与するとともに、その映像オブジェクトの動きを追跡して、フレーム上の位置情報（座標値ｂ）を出力するものである。なお、この映像オブジェクト追跡手段１０は、本願出願人において「映像オブジェクト検出・追跡装置（特願２００１−１６６５２５号）」として開示されている技術を用いて実現することができる。ここでは、映像オブジェクト追跡手段１０を、映像オブジェクト検出手段１１と、仮識別子付与手段１２と、位置情報生成手段１３とで構成した。
【００２９】
映像オブジェクト検出手段１１は、映像信号ａのフレームから、映像オブジェクトを検出して、その映像オブジェクトを特徴付ける映像特徴量ｈを抽出するものである。この映像特徴量ｈは位置情報生成手段１３へ出力される。
【００３０】
この映像オブジェクト検出手段１１では、背景映像の色や動きベクトルに基づいて抽出する映像オブジェクトの領域形状や、８近傍ラプラシアンによるエッジ抽出により映像オブジェクトの特徴を抽出した信号や、平滑化処理、離散フーリエ変換、離散コサイン変換、色空間変換、２値化処理、モルフォロジ処理をはじめとする各種変換処理や、それらを組み合わせた情報を、映像オブジェクトの映像特徴量ｈとする。なお、この映像特徴量ｈは、映像オブジェクトの位置情報を含むものとする。
また、映像特徴量ｈの中で特に映像オブジェクトの領域の形状を示す領域形状ｇは仮識別子付与手段１２へ出力される。
【００３１】
仮識別子付与手段１２は、映像オブジェクト検出手段１１から入力される領域形状ｇと、後記する位置情報生成手段１３の位置・形状推定手段１３ｃから入力される推定位置・形状情報ｐで示される映像オブジェクトの存在領域とを比較し、新規の映像オブジェクトに対して、仮識別子ｃを付与するものである。
ここで新規の映像オブジェクトを認識した仮識別子付与手段１２は、新規の映像オブジェクトに対する仮識別子ｃを、新規の映像オブジェクトを特定する位置情報等とともに登録情報ｎとして、特徴情報データベース１３ａに登録する旨をデータベース更新手段１３ｄへ通知する。
【００３２】
なお、この仮識別子ｃは、映像信号ａ中の映像オブジェクトを時間軸方向に対応付けるために仮に付与される識別子であり、例えば、１から始まる自然数を連番で付与する。ここで仮としているのは、映像オブジェクトの重なり等によって、同一の映像オブジェクトであっても異なる識別子が付与される可能性があるためである。
【００３３】
位置情報生成手段１３は、映像オブジェクト検出手段１１で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報である座標値ｂと、その映像オブジェクトに仮に付与した仮識別子ｃとを出力するものであり、特徴情報データベース１３ａと、映像特徴量照合手段１３ｂと、位置・形状推定手段１３ｃと、データベース更新手段１３ｄとで構成されている。
【００３４】
特徴情報データベース１３ａは、映像オブジェクト毎（仮識別子ｃ毎）に映像特徴量ｈから抽出した特徴情報ｉを登録しておくものである。例えば、映像オブジェクトの画像データ、形状データ、色の平均及び共分散等を特徴情報ｉとする。なお、この特徴情報ｉは、データベース更新手段１３ｄによって特徴情報データベース１３ａに登録（更新）される。
【００３５】
映像特徴量照合手段１３ｂは、映像オブジェクト検出手段１１で抽出された映像特徴量ｈと、特徴情報データベース１３ａに登録されている特徴情報ｉとを照合して、その特徴情報ｉに対応する映像オブジェクトを特定し、その映像オブジェクトに該当する仮識別子ｃと、映像オブジェクトの位置や大きさを示す領域情報ｊと、照合の信頼の度合いを示す信頼度ｋとを出力するものである。
【００３６】
この信頼度ｋの算出には、種々の評価関数を用いることが可能であるが、ここでは、ブロックマッチング法によって領域の照合を行うときのブロックの差の絶対値和として算出する。この絶対値和の値が小さいほど信頼度が高いと言える。
また、映像特徴量照合手段１３ｂは、位置・形状推定手段１３ｃから出力される推定位置・形状情報ｐを参考にして照合領域を絞り込むこともできる。
【００３７】
位置・形状推定手段１３ｃは、映像特徴量照合手段１３ｂから生成される映像オブジェクトの領域情報ｊと信頼度ｋとから、現時点における各映像オブジェクトの存在位置及び形状を推定し、推定位置・形状情報ｐとして出力するものである。なお、映像オブジェクトの存在位置は座標値ｂとしても出力される。
【００３８】
この位置・形状推定手段１３ｃは、例えば、仮識別子ｃの映像オブジェクトに関して、領域情報ｊ及び信頼度ｋが入力されたとき、信頼度ｋの値が高い場合には領域情報ｊをそのまま推定位置・形状情報ｐ（及び座標値ｂ）として出力し、信頼度ｋの値が低い場合には前時点の推定位置・形状情報ｐ（及び座標値ｂ）を出力する。
【００３９】
データベース更新手段１３ｄは、特徴情報データベース１３ａの管理を行うもので、新規映像オブジェクトに関するレコードの追加、消滅又はフレームアウトした映像オブジェクトに関するレコードの削除及びレコード内容の更新を行うものである。なお、これらの追加、削除及び更新の指示は、データベース更新情報ｍとして特徴情報データベース１３ａへ通知される。
【００４０】
このデータベース更新手段１３ｄは、仮識別子付与手段１２から登録情報ｎが入力されたとき、登録情報ｎ及び映像特徴量ｈに基づいて新たなレコード（画像データ、形状データ等）を特徴情報データベース１３ａ内に作成（追加）する。また、データベース更新手段１３ｄは、推定位置・形状情報ｐにより各仮識別子ｃの映像オブジェクトの消滅又はフレームアウトを検出したとき、特徴情報データベース１３ａ内の仮識別子ｃの特徴情報ｉを削除する。さらに、データベース更新手段１３ｄは、信頼度ｋが予め定められた許容範囲を超えたとき、直前の推定位置・形状情報ｐと直前の映像特徴量ｈとに基づいて、特徴情報データベース１３ａ内の特徴情報ｉを更新する。
【００４１】
以上説明した、映像オブジェクト追跡手段１０から出力されるある時刻における仮識別子ｃ及び座標値ｂの出力例を図４に示す。図４に示した例では、４つの映像オブジェクト（第１〜第４の映像オブジェクト）に関する情報が多重化されており、それらの仮識別子ｃが１、２、３及び５であることを示し、座標値ｂが（１２，３５）、（２０，２１）、（３０，２０）及び（１３，３０）であることを示している。
【００４２】
次に、図３を参照（適宜図１参照）して、映像オブジェクト識別手段２０の構成について説明する。
映像オブジェクト識別手段２０は、外部から入力される映像信号ａと、映像オブジェクト追跡手段１０で追跡された映像オブジェクトの座標値ｂとに基づいて、映像信号ａの座標値ｂに位置する映像オブジェクトを識別し、その映像オブジェクトのオブジェクト名の候補（オブジェクト名候補ｄ）と、映像オブジェクトの識別の成功又は失敗を示す識別結果ｅとを出力するものである。ここでは、映像オブジェクト識別手段２０を、映像特徴量抽出手段２１と、映像オブジェクトデータベース２２と、映像オブジェクト照合手段２３とで構成した。
【００４３】
映像特徴量抽出手段２１は、座標値ｂにより指定される映像信号ａの中の部分領域から映像特徴量ｑを抽出するものである。この映像特徴量ｑは映像オブジェクト照合手段２３へ出力される。例えば、座標値ｂとして映像オブジェクトの重心の画像座標を用い、映像信号ａから座標値ｂを中心とする一定範囲の部分領域を切り出し、その切り出した部分領域に関して映像特徴量ｑを求めて出力する。
【００４４】
なお、この映像特徴量ｑは、映像オブジェクトを特徴付ける映像の幾何学的あるいは統計学的な数量で、例えば、平均色ベクトル、輝度値のパターン、エッジのパターン、輝度値パターンの離散コサイン変換（ＤＣＴ）係数、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）係数、ウェーブレット変換係数等の数量とすることができる。
例えば、映像信号ａから座標値ｂを中心とする半径ｒ以内の範囲を切り出した部分領域の輝度値パターンである映像特徴量ｑは、（１）式で表すことができる。なお、ここでは、座標値ｂ及び部分領域の座標ｘは２次元の画像座標を表すベクトルとする。
【００４５】
【数１】
【００４６】
映像オブジェクトデータベース２２は、映像オブジェクトのオブジェクト名ｒとその映像オブジェクトに関する映像特徴量ｓとの組を蓄積しておくものである。このオブジェクト名ｒは、例えば、人物の氏名や従業員番号、スポーツ選手の背番号、自動車の登録番号等の意味を持った識別子（識別情報）である。また、映像特徴量ｓは、映像特徴量抽出手段２１で抽出される映像特徴量ｑと同様、映像オブジェクトを特徴付ける映像の幾何学的あるいは統計学的な数量である。
【００４７】
映像オブジェクト照合手段２３は、映像特徴量抽出手段２１で抽出された映像特徴量ｑと、映像オブジェクトデータベース２２の映像特徴量ｓとを照合し、映像特徴量ｑと類似する映像特徴量ｓの組となるオブジェクト名ｒを検索するものである。
【００４８】
ここで、オブジェクト名ｒを発見（検索）することができた場合（識別成功時）は、そのオブジェクト名ｒを映像オブジェクトのオブジェクト名の候補（オブジェクト名候補ｄ）として出力するとともに、「真」の値を有する識別結果ｅを出力する。また、映像特徴量ｑと類似する映像特徴量ｓの組となるオブジェクト名ｒを発見（検索）することができなかった場合（識別失敗時）は、「偽」の値を有する識別結果ｅを出力する。なお、このときのオブジェクト名候補ｄは任意（意味を持たない）とする。この「真」及び「偽」の各状態は、例えば、ＴＴＬレベルの＋５Ｖ及び０Ｖといった電位の違いや、ソフトウェア処理における論理の真理値によって表現することができる。
【００４９】
この映像オブジェクト照合手段２３は、既存の光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術や、顔認識技術、車両登録番号（ナンバープレート）認識システム等を利用することにより実現できる。
【００５０】
例えば、映像オブジェクトのオブジェクト名を変数ｙ、その変数ｙに対応する映像オブジェクトの映像特徴量である水平Ｗ画素、垂直Ｈ画素の領域の輝度値をテンプレートＴyとして、映像オブジェクトデータベース２２に登録し、このテンプレートＴyの座標ｘにおける輝度値をＴy（ｘ）とする。なお、座標ｘは２次元の画像座標を表すベクトルとする。
【００５１】
このとき、映像オブジェクト照合手段２３は、各オブジェクト名（変数ｙ）に対応するテンプレートＴyと映像特徴量ｑの相互相関を最大化するオブジェクト名を（２）式により求め（探索し）、そのオブジェクト名をオブジェクト名候補ｄとして出力する。なお、映像特徴量ｑは、映像信号ａから座標値ｂを中心とする半径ｒ以内の範囲を切り出した部分領域の輝度値パターン（前記（１）式のｑ（ｘ））とする。
【００５２】
【数２】
【００５３】
さらに、映像オブジェクト照合手段２３は、各オブジェクト名（変数ｙ）に対応するテンプレートＴyと映像特徴量ｑ（輝度値パターンｑ（ｘ））の相互相関を（３）式で計算し、その相互相関の最大値Ｒに基づいて、識別結果ｅを設定する。
【００５４】
【数３】
【００５５】
例えば、前記（３）式の相互相関の最大値Ｒが、ある閾値θを超えたときには識別結果ｅを「真」とし、閾値θ以下の場合は識別結果ｅを「偽」とする。
以上説明した、映像オブジェクト識別手段２０から出力されるある時刻におけるオブジェクト名候補ｄ及び識別結果ｅの出力例を図５に示す。図５に示した例では、図４で示したものと同じ４つの映像オブジェクト（第１〜第４の映像オブジェクト）に関して識別を行った結果、第１及び第３の映像オブジェクトの識別には成功し（識別結果ｅ＝「真」）、オブジェクト名候補ｄはそれぞれ「一郎」及び「次郎」であることを表している。一方、第２及び第４の映像オブジェクトの識別には失敗している（識別結果ｅ＝「偽」）。このときのオブジェクト名候補ｄは、該当無し（Ｎ／Ａ：Ｎｏｔ Ａｐｐｌｉｃａｂｌｅ）とする。
【００５６】
次に、図１を参照して、識別子変換手段３０の構成について説明する。
識別子変換手段３０は、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、仮識別子ｃに対応するオブジェクト名ｆを出力するものである。ここでは、識別子変換手段３０を、記憶制御手段３１と、識別情報記憶手段３２と、識別情報選択手段３３とで構成した。
【００５７】
記憶制御手段３１は、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２に記憶するものである。
【００５８】
識別情報記憶手段３２は、一般的なメモリ等で構成され、記憶制御手段３１によって、仮識別子ｃとオブジェクト名候補ｄとを対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２は、記憶制御手段３１によって、図６に示したように仮識別子ｃ毎に、オブジェクト名候補ｄを対応付けて記憶される。
【００５９】
識別情報選択手段３３は、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２から読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。
【００６０】
以上、映像オブジェクト識別・追跡装置１の構成について説明したが、映像オブジェクト識別・追跡装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像オブジェクト識別・追跡プログラムとして動作させることも可能である。
【００６１】
（映像オブジェクト識別・追跡装置１の動作）
次に、図１乃至図３及び図７を参照して、映像オブジェクト識別・追跡装置１の動作について説明する。図７は、映像オブジェクト識別・追跡装置１の動作を示すフローチャートである。
【００６２】
［映像オブジェクト検出ステップ］
まず、映像オブジェクト識別・追跡装置１は、映像オブジェクト追跡手段１０の映像オブジェクト検出手段１１によって、入力された映像信号ａのフレーム内から映像オブジェクトを検出する（ステップＳ１）。
【００６３】
［仮識別子付与ステップ］
次に、映像オブジェクト識別・追跡装置１は、仮識別子付与手段１２によって、ステップＳ１で検出された映像オブジェクトが、新規にフレーム上に出現した映像オブジェクトかどうかを判定し（ステップＳ２）、新規の映像オブジェクトである場合（Ｙｅｓ）は、その映像オブジェクトに対して仮の識別子（仮識別子ｃ）を付与して（ステップＳ３）、ステップＳ４へ進む。一方、新規の映像オブジェクトが存在しない場合（Ｎｏ）は、そのままステップ４へ進む。
【００６４】
［位置情報生成ステップ］
そして、映像オブジェクト識別・追跡装置１は、位置情報生成手段１３によって、映像オブジェクト検出手段１１で検出した映像オブジェクトの動きを追跡して、フレーム内の映像オブジェクトの位置情報である座標値ｂを生成する（ステップＳ４）。
【００６５】
［映像オブジェクト照合ステップ］
このステップＳ４で生成された映像オブジェクトの座標値ｂに基づいて、映像オブジェクト識別手段２０の映像特徴量抽出手段２１が、映像信号ａのフレーム中の部分領域から映像特徴量ｑを抽出する（ステップＳ５）。そして、映像オブジェクト照合手段２３が、映像特徴量ｑと、映像オブジェクトデータベース２２に登録されている映像特徴量ｓとを照合し（ステップＳ６）、類似性の高い映像特徴量ｓに対応するオブジェクト名ｒをオブジェクト名候補ｄとして検索するとともに、その照合結果（識別結果ｅ）を生成する（ステップＳ７）。
【００６６】
［識別情報記憶ステップ］
そして、識別子変換手段３０の記憶制御手段３１が、ステップ７で生成された識別結果ｅを判定し（ステップＳ８）、識別結果ｅが「真」である場合は、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２に記憶（上書き）して（ステップＳ９）、ステップＳ１０へ進む。一方、識別結果ｅが「偽」である場合は、そのままステップＳ１０へ進む。
【００６７】
［識別情報選択ステップ］
そして、識別情報選択手段３３が、識別情報記憶手段３２に記憶されている仮識別子ｃに対応するオブジェクト名候補ｄを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ１０）。そして、映像信号の入力が終了したかどうかを判定し（ステップＳ１１）、映像信号の入力が終了していない場合（Ｎｏ）は、ステップＳ１に戻って動作を続ける、映像信号の入力が終了した場合（Ｙｅｓ）は、動作を終了する。
【００６８】
以上の各ステップを動作させることで、映像信号ａに含まれる映像オブジェクトの位置情報（座標値ｂ）と、その映像オブジェクトに対応するオブジェクト名ｆとを精度良く対応付けて出力することができる。
なお、ここでは、映像信号ａのフレーム内に存在する複数の映像オブジェクトの中の１つについて識別・追跡を行う動作を示しているが、１フレーム内に複数の映像オブジェクトが存在する場合は、この各ステップを映像オブジェクト数分繰り返す。
【００６９】
（識別子変換手段３０の動作例）
ここで、図８を参照（適宜図１参照）して、識別子変換手段３０の動作について、具体例を示しながら詳細に説明する。図８は、識別子変換手段３０に入力される情報（仮識別子ｃ、オブジェクト名候補ｄ及び識別結果ｅ）と、その情報に基づいて更新される識別情報記憶手段３２の記憶情報を示した図である。
【００７０】
図８の（ａ−１）、（ｂ−１）及び（ｃ−１）は、それぞれ映像信号ａのフレームの順番（第１乃至第３フレ−ム）で識別子変換手段３０に入力される情報（仮識別子ｃ、オブジェクト候補名ｄ及び識別結果ｅ）を示したものである。また、図８の（ａ−２）、（ｂ−２）及び（ｃ−２）は、図８の（ａ−１）、（ｂ−１）及び（ｃ−１）に対応して、識別情報記憶手段３２に記憶される情報を示している。なお、識別情報記憶手段３２は、初期状態では何も記憶されていないものとする。
【００７１】
まず、図８（ａ−１）に示すように、映像信号ａの第１フレームから、映像オブジェクト追跡手段１０によって、第１乃至第５の映像オブジェクトが検出され、その仮識別子ｃが１乃至５であったとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが４及び５の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「花子」及び「三郎」であったとする。
【００７２】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（４及び５）と、それに対応するオブジェクト名候補ｄ（「花子」及び「三郎」）とを対応付けて、識別情報記憶手段３２へ記憶する。すなわち、図８（ａ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７３】
次に、図８（ｂ−１）に示すように、映像信号ａの第２フレームから、映像オブジェクト追跡手段１０によって、仮識別子ｃが１、２、３及び５の映像オブジェクトが追跡できたとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが１及び２の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「一郎」及び「太郎」であったとする。
【００７４】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（１及び２）と、それに対応するオブジェクト名候補ｄ（「一郎」及び「太郎」）とを対応付けて、新たに識別情報記憶手段３２へ記憶する。すなわち、図８（ｂ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７５】
そして、図８（ｃ−１）に示すように、映像信号ａの第３フレームから、映像オブジェクト追跡手段１０によって、仮識別子ｃが１、２、３及び５の映像オブジェクトが追跡できたとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが１及び３の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「一郎」及び「次郎」であったとする。
【００７６】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（１及び３）と、それに対応するオブジェクト名候補ｄ（「一郎」及び「次郎」）とを対応付けて、新たに識別情報記憶手段３２へ記憶する。すなわち、図８（ｃ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７７】
なお、仮識別子ｃが１の映像オブジェクト（第１の映像オブジェクト）は、図８（ｂ−１）に示した第２フレームで「一郎」というオブジェクト名候補ｄで識別され、さらに、図８（ｃ−１）に示した第３フレームにおいても「一郎」というオブジェクト名候補ｄで識別されている。このような場合、例えば、最新の識別結果ｅを優先することで、識別情報記憶手段３２を更新する。
このように、識別子変換手段３０は、映像オブジェクト追跡手段１０で検出、追跡された映像オブジェクト毎に、映像オブジェクト識別手段２０が行う識別の結果に基づいてオブジェクト名を特定し出力する。
【００７８】
（第二の実施の形態）
次に、図９を参照して、本発明における第二の実施の形態である映像オブジェクト識別・追跡装置１Ｂについて説明する。図９は、映像オブジェクト識別・追跡装置１Ｂの構成を示したブロック図である。
【００７９】
この映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクト識別・追跡装置１（図１）と同様、入力された映像信号ａから、映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトを識別した頻度に基づいて、映像オブジェクトのオブジェクト名を特定するものである。図９に示したように映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクト識別・追跡装置１に頻度情報付加手段３１Ｂａを付加して構成した。
【００８０】
映像オブジェクト識別・追跡装置１Ｂの識別子変換手段３０Ｂ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
ここでは、識別子変換手段３０Ｂを、頻度情報付加手段３１Ｂａを付加した記憶制御手段３１Ｂと、識別情報記憶手段３２Ｂと、識別情報選択手段３３Ｂとで構成した。
【００８１】
記憶制御手段３１Ｂは、頻度情報付加手段３１Ｂａを備え、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２Ｂに記憶するとともに、オブジェクト名候補ｄの頻度を識別情報記憶手段３２Ｂに記憶するものである。
【００８２】
頻度情報付加手段３１Ｂａは、映像オブジェクト識別手段２０からオブジェクト名候補ｄを通知されたときに、識別情報記憶手段３２Ｂに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄの頻度を１加算するものである。
【００８３】
識別情報記憶手段３２Ｂは、一般的なメモリ等で構成され、記憶制御手段３１Ｂによって、仮識別子ｃ、オブジェクト名候補ｄ及びオブジェクト名候補ｄの頻度を対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２Ｂには、記憶制御手段３１Ｂによって、図１０に示したように仮識別子ｃ毎に、識別が成功した複数のオブジェクト名候補ｄと、フレーム単位でオブジェクト名候補ｄが通知された頻度ｕとが対応付けて記憶される。
【００８４】
識別情報選択手段３３Ｂは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｂから読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。このとき、識別情報選択手段３３Ｂは、仮識別子ｃに対応するオブジェクト名候補ｄが複数存在する場合は、その頻度ｕ（図１０）を参照し、最も頻度の高いオブジェクト名候補ｄを選択する。
なお、この識別子変換手段３０Ｂは、コンピュータにおいてプログラムとして動作させることも可能である。
【００８５】
（映像オブジェクト識別・追跡装置１Ｂの動作）
次に、図９及び図１１を参照して、映像オブジェクト識別・追跡装置１Ｂの動作について説明する。なお、ここでは映像オブジェクト識別・追跡装置１（図１）とは異なる識別子変換手段３０Ｂの動作を中心に説明する。図１１は、映像オブジェクト識別・追跡装置１Ｂの識別子変換手段３０Ｂの動作を示すフローチャートである。
【００８６】
［識別情報記憶ステップＢ］
識別子変換手段３０Ｂは、映像信号ａのフレーム内における複数の映像オブジェクトの１つである映像オブジェクトについて、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとを入力する（ステップＳ２１）。
【００８７】
そして、記憶制御手段３１Ｂが、識別結果ｅを判定し（ステップＳ２２）、識別結果ｅが「偽」である場合は、ステップＳ２６へ進み、識別結果ｅが「真」である場合は、仮識別子ｃとオブジェクト名候補ｄとの組み合せが既に識別情報記憶手段３２Ｂに記憶されているかどうかを判定する（ステップＳ２３）。
【００８８】
ここで、既に仮識別子ｃとオブジェクト名候補ｄとの組み合せが記憶されている場合（Ｙｅｓ）は、頻度情報付加手段３１Ｂａによって、仮識別子ｃのオブジェクト名候補ｄの頻度を１加算して（ステップＳ２４）、ステップＳ２６へ進む。一方、仮識別子ｃとオブジェクト名候補ｄとの組み合せが記憶されていない場合（Ｎｏ）は、頻度情報付加手段３１Ｂａによって、仮識別子ｃとオブジェクト名候補ｄとの組み合せを識別情報記憶手段３２Ｂに記憶するとともに、その頻度を１として記憶し（ステップＳ２５）、ステップＳ２６へ進む。
【００８９】
［識別情報選択ステップＢ］
そして、識別情報選択手段３３Ｂが、識別情報記憶手段３２Ｂに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄの中で、最も頻度の高いものを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ２６）。例えば、図１０において、仮識別子ｃが５の場合は、頻度ｕが最も高いオブジェクト名候補ｄである「三郎」が、オブジェクト名ｆとして選択される。
【００９０】
以上の各ステップをフレーム内の全映像オブジェクトに対して実行する。
このように、映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクトを識別できた頻度に基づいて、オブジェクト名を確定するため、映像オブジェクトの識別及び追跡を精度良く行うことができる。
【００９１】
（第三の実施の形態）
次に、図１２を参照して、本発明における第三の実施の形態である映像オブジェクト識別・追跡装置１Ｃについて説明する。図１２は、映像オブジェクト識別・追跡装置１Ｃの構成を示したブロック図である。
【００９２】
この映像オブジェクト識別・追跡装置１Ｃは、映像オブジェクト識別・追跡装置１（図１）と同様、入力された映像信号ａから、映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトの出現時刻に基づいて、映像オブジェクトのオブジェクト名を特定するものである。図１２に示したように映像オブジェクト識別・追跡装置１Ｃは、映像オブジェクト識別・追跡装置１に時間情報付加手段３１Ｃａを付加して構成した。
【００９３】
映像オブジェクト識別・追跡装置１Ｃの識別子変換手段３０Ｃ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
ここでは、識別子変換手段３０Ｃを、時間情報付加手段３１Ｃａを付加した記憶制御手段３１Ｃと、識別情報記憶手段３２Ｃと、識別情報選択手段３３Ｃとで構成した。
【００９４】
記憶制御手段３１Ｃは、時間情報付加手段３１Ｃａを備え、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２Ｃに記憶するとともに、オブジェクト名候補ｄの出現する時刻情報であるタイムスタンプを識別情報記憶手段３２Ｃに記憶するものである。
【００９５】
時間情報付加手段３１Ｃａは、一般的なタイマを含んで構成され、映像オブジェクト識別手段２０からオブジェクト名候補ｄを通知された時刻（タイムスタンプ）を、仮識別子ｃと、その仮識別子ｃに対応するオブジェクト名候補ｄとともに識別情報記憶手段３２Ｃに記憶するものである。
【００９６】
識別情報記憶手段３２Ｃは、一般的なメモリ等で構成され、記憶制御手段３１Ｃによって、仮識別子ｃ、オブジェクト名候補ｄ及びタイムスタンプを対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２Ｃには、記憶制御手段３１Ｃによって、図１３に示したように仮識別子ｃ毎に、識別が成功した複数のオブジェクト名候補ｄと、フレーム単位でオブジェクト名候補ｄが通知されたタイムスタンプｔとが対応付けて記憶される。
【００９７】
識別情報選択手段３３Ｃは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｃから読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。このとき、識別情報選択手段３３Ｃは、識別情報記憶手段３２Ｃに記憶されているタイムスタンプに基づいて、仮識別子ｃに対するオブジェクト名候補ｄの重みを算出し、その重みが最も大きいものをオブジェクト名ｆとして選択する。この重みの算出については後で説明する。
なお、この識別子変換手段３０Ｃは、コンピュータにおいてプログラムとして動作させることも可能である。
【００９８】
（映像オブジェクト識別・追跡装置１Ｃの動作）
次に、図１２及び図１４を参照して、映像オブジェクト識別・追跡装置１Ｃの動作について説明する。なお、ここでは映像オブジェクト識別・追跡装置１とは異なる識別子変換手段３０Ｃの動作を中心に説明する。図１４は、映像オブジェクト識別・追跡装置１Ｃの識別子変換手段３０Ｃの動作を示すフローチャートである。
【００９９】
［識別情報記憶ステップＣ］
識別子変換手段３０Ｃは、映像信号ａのフレーム内における複数の映像オブジェクトの１つである映像オブジェクトについて、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとを入力する（ステップＳ３１）。
【０１００】
そして、記憶制御手段３１Ｃが、識別結果ｅを判定し（ステップＳ３２）、識別結果ｅが「偽」である場合は、ステップＳ３４へ進み、識別結果ｅが「真」である場合は、時間情報付加手段３１Ｃａによって、仮識別子ｃに対するオブジェクト名候補ｄに対応付けて、タイムスタンプを識別情報記憶手段３２Ｃに記憶し（ステップＳ３３）、ステップＳ３４へ進む。
【０１０１】
［識別情報選択ステップＣ］
そして、識別情報選択手段３３Ｃが、識別情報記憶手段３２Ｃに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄのタイムスタンプを読み出して、現在の時刻及びタイムスタンプで重みを算出し（ステップＳ３４）、その重みが最も大きくなるオブジェクト名候補ｄを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ３５）。
以上の各ステップをフレーム内の全映像オブジェクトに対して実行する。
【０１０２】
（オブジェクト名候補の重み付けについて）
ここで、識別子変換手段３０Ｃ（識別情報選択ステップＣ）において、タイムスタンプによってオブジェクト名候補の重み付けを行う（重みの算出）処理について説明する。
【０１０３】
例えば、ある仮識別子に対応するオブジェクト名候補がＫ個存在し、第ｋ番目のオブジェクト名候補をｘk、タイムスタンプをｔk、現在時刻をＴとする。そして、識別情報記憶手段３２Ｃから読み出されるオブジェクト名候補に対する重みｗ（Ｔ，ｔk）を（４）式の指数関数で定義する。なお、ｒは０以上１以下の実数とし、０の０乗は１と定義する。
【０１０４】
【数４】
【０１０５】
この（４）式によって、タイムスタンプが古い（過去の）情報ほど重みを小さくすることができる。
そして、Ｋ個のオブジェクト名候補のうち、オブジェクト名がξであるｋの集合を（５）式よって抽出する。
【０１０６】
【数５】
【０１０７】
この（５）式で抽出したオブジェクト名が、ξとなるすべてのｋに関して、（４）式で重みを計算し、その重みの総和Ｗ（ξ）を（６）式によって求める。
【０１０８】
【数６】
【０１０９】
この（６）式で求められた重みの総和（ξ）が最大となるξを（７）式で求めることで、出力すべきオブジェクト名ｆが決定される。
【０１１０】
【数７】
【０１１１】
なお、（４）式におけるｒが０のときは、タイムスタンプと現在時刻が一致するオブジェクト名候補を、正式なオブジェクト名ｆとして出力することになる。また、０＜ｒ≦０．５のときは、タイムスタンプが最新のオブジェクト名候補を、正式なオブジェクト名ｆとして出力することになる。この場合、識別子変換手段３０Ｃから出力されるオブジェクト名ｆは、識別子変換手段３０（図１）から出力されるオブジェクト名ｆと同じものとなる。
【０１１２】
また、０．５＜ｒ＜１のときは、タイムスタンプの新旧に応じて算出される重みを加算した結果（重み付けの多数決）で、オブジェクト名ｆが決定される。また、ｒ＝１のときは、オブジェクト候補の中で最も多いもの（多数決）がオブジェクト名ｆとして決定される。この場合、識別子変換手段３０Ｃから出力されるオブジェクト名ｆは、識別子変換手段３０Ｂ（図２）でオブジェクト候補名の頻度に基づいて決定されるオブジェクト名ｆと同じものとなる。
【０１１３】
ここで、図１３を参照（適宜図１参照）して、タイムスタンプによって、オブジェクト名を決定する具体例について説明する。図１３は、仮識別子ｃ毎に１以上のオブジェクト名候補ｄとタイムスタンプｔとを対応付けた識別情報記憶手段３２Ｃの記憶内容を示したものである。このタイムスタンプｔは、時刻を「時：分：秒：フレーム」の形式により表現している。なお、ここでは前記（４）式においてｒ＝０．７で重みｗ（Ｔ，ｔk）を算出するものとする。
【０１１４】
例えば、現在時刻Ｔ（「時：分：秒：フレーム」）が「００：００：００：２９」のときに仮識別子ｃとして１が識別子変換手段３０Ｃに入力されたとする。この仮識別子ｃ＝１に対応するオブジェクト名候補ｄは「一郎」及び「Ｊｏｈｎ」の２者である。
【０１１５】
まず、「一郎」について重みを算出する。ξ＝（一郎）となるｋを前記（５）式により求めると、｛１，３，４｝の集合が得られる。このｋ∈｛１，３，４｝におけるそれぞれのタイムスタンプから、前記（４）式よって、重みｗ（Ｔ，ｔk）を求めると、ｗ（Ｔ，ｔ1）＝０．３４３、ｗ（Ｔ，ｔ3）＝０．７、ｗ（Ｔ，ｔ4）＝１が得られる。そして、前記（６）式によって、重みの総和Ｗ（一郎）＝２．０４３が得られる。また、「Ｊｏｈｎ」についても、同様に計算を行うことで、重みの総和Ｗ（Ｊｏｈｎ）＝０．４９が得られる。
そして、前記（７）式に基づいて、重みの総和Ｗ（ξ）が最大となるξを求めることで、出力すべきオブジェクト名ｆが「一郎」であると決定される。
【０１１６】
（第四の実施の形態）
次に、図１５を参照して、本発明における第四の実施の形態である映像オブジェクト識別・追跡装置１Ｄについて説明する。図１５は、映像オブジェクト識別・追跡装置１Ｄの構成を示したブロック図である。
【０１１７】
図１５に示したように映像オブジェクト識別・追跡装置１Ｄは、映像オブジェクト識別・追跡装置１（図１）の映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄの識別結果ｅ（「真」又は「偽」）の代わりに、成功・失敗の度合いを示す信頼度ｖとして出力する映像オブジェクト識別手段２０Ｂを備え、その信頼度ｖに基づいてオブジェクト名ｆを特定する識別子変換手段３０Ｄを備えて構成した。映像オブジェクト追跡手段１０は、映像オブジェクト識別・追跡装置１（図１）と同一のものであるため説明を省略する。
【０１１８】
映像オブジェクト識別手段２０Ｂは、外部から入力される映像信号ａと、映像オブジェクト追跡手段１０で追跡された映像オブジェクトの座標値ｂとに基づいて、映像信号ａの座標値ｂに位置する映像オブジェクトを識別し、その映像オブジェクトのオブジェクト名の候補（オブジェクト候補名ｄ）と、映像オブジェクトの識別結果である成功・失敗の度合いを示す信頼度ｖとを出力するものである。
【０１１９】
映像オブジェクト照合手段２３Ｂは、映像特徴量抽出手段２１で抽出された映像特徴量と、映像オブジェクトデータベース２２に登録されている映像特徴量とを照合（識別）し、類似性の高い映像特徴量の組となるオブジェクト名を検索し、オブジェクト名候補ｄとして出力するものである。このとき、映像オブジェクト照合手段２３Ｂは、識別結果として類似性の判定値を信頼度ｖとして出力する。例えば、前記（３）式に示した相互相関の最大値Ｒをそのまま信頼度ｖとして利用することができる。
識別子変換手段３０Ｄは、信頼度付加手段３１Ｄａを付加した記憶制御手段３１Ｄと、識別情報記憶手段３２Ｄと、識別情報選択手段３３Ｄとで構成した。
【０１２０】
記憶制御手段３１Ｄは、信頼度付加手段３１Ｄａを備え、映像オブジェクト追跡手段１０から入力される仮識別子ｃと、映像オブジェクト識別手段２０Ｂから入力されるオブジェクト名候補ｄ及び信頼度ｖとを対応付けて、メモリ等の識別情報記憶手段３２Ｄに記憶するものである。
【０１２１】
識別情報選択手段３３Ｄは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｄから読み出して、そのオブジェクト名候補ｄの中で最も信頼度ｖの高いものを、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。
【０１２２】
このように、映像オブジェクト識別・追跡装置１Ｄは、映像オブジェクト追跡手段１０で追跡した映像オブジェクトを映像オブジェクト識別手段２０Ｂで識別し、その映像オブジェクトのオブジェクト名候補ｆを識別結果である信頼度ｖとともに生成する。そして、識別子変換手段３０Ｄが、フレーム毎に逐次記憶した仮識別子ｃに対応するオブジェクト名候補ｄの中で、最も信頼度ｖの高いオブジェクト名を正式なオブジェクト名ｆとして出力する。
【０１２３】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト識別・追跡装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【０１２４】
請求項１、請求項６又は請求項７に記載の発明によれば、入力された映像信号から、映像オブジェクトを検出し、その識別情報であるオブジェクト名と位置情報である座標値とを出力することができる。従来であれば、フレーム毎に映像オブジェクトの識別を行う必要があったところを、本発明においては、仮識別子毎にオブジェクト名が記憶されているため、間欠的に映像オブジェクトの識別を行うことが可能になる。これにより、映像オブジェクトを識別するための負荷を軽減することができ、動作を高速化することができる。
さらに、従来であれば、フレーム内で映像オブジェクトの識別に失敗した場合、オブジェクト名を取得することができないところを、本発明においては、仮識別子毎に記憶されているオブジェクト名によって補完することが可能になる。
【０１２５】
請求項２に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの頻度（頻度情報）を、オブジェクト名に対応付けて記憶しておくため、頻度が高いオブジェクト名をその映像オブジェクトのオブジェクト名として特定することができる。これは、頻度、すなわち多数決によってオブジェクト名を特定することになり、その映像オブジェクトに対するオブジェクト名の識別精度を向上させることができる。
【０１２６】
請求項３に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの時刻（タイムスタンプ）を、オブジェクト名に対応付けて時系列に記憶しておくため、映像シーンの変化等によって、バースト的に発生する映像オブジェクトの識別の失敗を忘却することができ、映像オブジェクトに対するオブジェクト名の識別精度を向上させることができる。
【０１２７】
請求項４に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの時刻（タイムスタンプ）を、オブジェクト名に対応付けて時系列に記憶しておき、現在時刻とそのタイムスタンプとに基づいて、オブジェクト名の重みを算出するため、過去に識別した結果を軽視しつつ、多数決によってオブジェクト名を特定することが可能になる。これにより、映像オブジェクトに対するオブジェクト名を精度良く特定することが可能になる。
【０１２８】
請求項５に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトを識別したときの信頼の度合いを示す信頼度を、オブジェクト名に対応付けて記憶しておき、その信頼度に基づいてオブジェクト名を特定するため、出力されるオブジェクト名の精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の映像オブジェクト追跡手段の構成例を示すブロック図である。
【図３】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の映像オブジェクト識別手段の構成例を示すブロック図である。
【図４】映像オブジェクト追跡手段から出力されるある時刻における仮識別子及び座標値の出力例を説明するための説明図である。
【図５】映像オブジェクト識別手段から出力されるある時刻におけるオブジェクト名候補及び識別結果の出力例を説明するための説明図である。
【図６】識別情報記憶手段に記憶される仮識別子とオブジェクト名候補との対応を示すデータ構成図である。
【図７】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図８】識別子変換手段に入力される情報（仮識別子、オブジェクト候補名及び識別結果）と、その情報に基づいて更新される識別情報記憶手段の記憶情報を説明するための説明図である。
【図９】本発明の第二の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図１０】識別情報記憶手段に記憶されるオブジェクト名候補とオブジェクト名候補との対応を示すデータ構成図である。
【図１１】本発明の第二の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図１２】本発明の第三の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図１３】識別情報記憶手段に記憶されるオブジェクト名候補とタイムスタンプとの対応を示すデータ構成図である。
【図１４】本発明の第三の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図１５】本発明の第四の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【符号の説明】
１、１Ｂ、１Ｃ、１Ｄ……映像オブジェクト識別・追跡装置
１０……映像オブジェクト追跡手段
１１……映像オブジェクト検出手段
１２……仮識別子付与手段
１３……位置情報生成手段
２０……映像オブジェクト識別手段
２１……映像特徴量抽出手段
２２……映像オブジェクトデータベース
２３……映像オブジェクト照合手段
３０……識別子変換手段
３１……記憶制御手段
３２……識別情報記憶手段
３３……識別情報選択手段
【発明の属する技術分野】
本発明は、映像信号のフレーム内に登場する映像オブジェクトを追跡しながら、その映像オブジェクトの識別情報を出力する映像オブジェクト識別・追跡装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
従来、映像信号のフレーム内に登場する映像オブジェクトを識別する手法としては、映像オブジェクトが人間である場合に、その人間を認識するための顔認識技術や、映像オブジェクトが自動車である場合に、その自動車を認識するためのナンバープレート認識技術等を用いた手法が存在している。
また、映像オブジェクトを追跡する手法としては、映像オブジェクトの映像特徴量に基づいて、時系列で入力されるフレーム毎に映像オブジェクトの位置を推定することで、追跡精度を高めた手法が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特願２００１−１６６５２５号
【０００４】
【発明が解決しようとする課題】
しかし、前記従来の技術における映像オブジェクトを識別する手法は、１つのフレーム内の映像オブジェクトを認識する技術であって、時間と共に変化する映像オブジェクト間の関連性を有効に活用することができない。また、その識別手法そのものが複雑な認識処理を行うものであるため、映像オブジェクトを映像信号の中で時間軸方向に追跡する手法には適していない。
また、前記従来の技術における映像オブジェクトを追跡する手法は、映像オブジェクトを精度良く認識して追跡を行うことができるが、その映像オブジェクトが何であるか、あるいは誰であるかといった、映像オブジェクトそのものの内容を識別することができないといった問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、映像信号から映像オブジェクトを検出して、その映像オブジェクトを追跡する際に、映像オブジェクトの位置情報のみならず、その映像オブジェクトの内容を識別する識別情報をも出力することを可能にした映像オブジェクト識別・追跡装置、その方法及びそのプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像オブジェクト識別・追跡装置は、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力する映像オブジェクト識別・追跡装置であって、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段と、この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段と、前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段と、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースと、この映像オブジェクトデータベースに記憶されている映像特徴量と、前記位置情報で示される位置に存在する前記映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段と、この映像オブジェクト照合手段における識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段と、前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段と、を備える構成とした。
【０００７】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト検出手段によって、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与手段によって、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、例えば、１から始まる自然数の連番である仮の識別子（仮識別子）を付与する。そして、位置情報生成手段によって、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。この映像オブジェクトの動きの追跡は、例えば、映像オブジェクトの画像データ、形状データ、色の平均及び共分散等の映像特徴量に基づいて行う。
【０００８】
そして、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段によって、予め映像オブジェクトを特徴付ける映像特徴量と、その映像オブジェクトの識別情報（例えばオブジェクト名）とを対応付けて記憶した映像オブジェクトデータベースの個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。
【０００９】
ここで、識別に成功した場合は、その識別情報が映像オブジェクトの仮識別子に対応付けられて、識別情報記憶手段に記憶される。なお、識別に失敗した場合は、識別情報記憶手段への記憶を行わないため、以前識別に成功した仮識別子と識別情報との組がそのまま保持されていることになる。
【００１０】
そして、映像オブジェクト識別・追跡装置は、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。これによって、映像オブジェクト識別・追跡装置は、映像信号中の映像オブジェクトの追跡及び識別を行い、時々刻々と変化する映像オブジェクトの位置情報（座標値）と、その映像オブジェクトの識別情報（オブジェクト名）とを出力する。
【００１１】
また、請求項２に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した回数を頻度情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記頻度情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１２】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段がフレーム毎に映像オブジェクトの照合を行ない、識別に成功したときの識別情報とその識別に成功した回数である頻度情報とを仮識別子に対応付けて識別情報記憶手段に記憶する。これにより、識別情報記憶手段には、１つの仮識別子に対して複数の識別情報及び頻度情報が記憶されることになる。そして、識別情報選択手段が、映像オブジェクトの仮識別子毎に最も頻度の高い識別情報（オブジェクト名）を、その映像オブジェクトの識別情報として特定（選択）し出力する。
【００１３】
さらに、請求項３に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した時刻を時間情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記時間情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１４】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段がフレーム毎に映像オブジェクトの照合を行ない、識別に成功したときの識別情報とその識別に成功した時刻（時間情報）とを仮識別子に対応付けて識別情報記憶手段に記憶する。これにより、識別情報記憶手段には、１つの仮識別子に対して時系列に複数の識別情報及び時間情報が記憶されることになる。そして、識別情報選択手段が、映像オブジェクトの仮識別子毎の時間情報に基づいて、その映像オブジェクトの識別情報を特定（選択）し出力する。例えば、識別に成功した最新の時刻の識別情報を選択したり、最新の時刻から特定の時刻まで遡って、最も多く識別された識別情報を選択することとしてもよい。
【００１５】
また、請求項４に記載の映像オブジェクト識別・追跡装置は、請求項３に記載の映像オブジェクト識別・追跡装置において、前記識別情報選択手段が、前記仮識別子及び前記識別情報に対して前記時間情報に基づいて重み付けを行い、その重み付けされた結果に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１６】
かかる構成によれば、映像オブジェクト識別・追跡装置は、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対する識別情報及び時間情報の重み付けを行い、映像オブジェクトの識別情報を特定（選択）し出力する。例えば、識別に成功した時刻が新しいものほど重みを多く付けることで、映像オブジェクトに対する識別情報（オブジェクト名）の精度を高めることが可能になる。
【００１７】
さらに、請求項５に記載の映像オブジェクト識別・追跡装置は、請求項１に記載の映像オブジェクト識別・追跡装置において、前記映像オブジェクト照合手段が、前記映像オブジェクトを識別したときの信頼の度合いを示す信頼度を前記識別結果として生成し、前記記憶制御手段が、その信頼度を前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、前記識別情報選択手段が、前記信頼度に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする。
【００１８】
かかる構成によれば、映像オブジェクト識別・追跡装置は、映像オブジェクト照合手段によって、映像オブジェクトを識別したときの信頼度を生成する。この信頼度は、仮識別子と識別情報とともに識別情報記憶手段に記憶される。そして、識別情報選択手段によって、識別情報記憶手段に記憶されている仮識別子に対する識別情報の中で信頼度の最も高いものを、映像オブジェクトの識別情報として特定（選択）し出力する。ここで、信頼度としては、例えば、映像オブジェクト照合手段で映像オブジェクト毎に照合する映像特徴量の相互相関の値を用いることができる。
【００１９】
また、請求項６に記載の映像オブジェクト識別・追跡方法は、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するための映像オブジェクト識別・追跡方法であって、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出ステップと、この映像オブジェクト検出ステップで検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与ステップと、前記映像オブジェクト検出ステップで検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成ステップと、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合ステップと、この映像オブジェクト照合ステップにおける識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて記憶手段に記憶する識別情報記憶ステップと、前記記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択ステップと、を含むことを特徴とする。
【００２０】
この方法によれば、映像オブジェクト識別・追跡方法は、映像オブジェクト検出ステップで、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与ステップで、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、仮の識別子（仮識別子）を付与する。そして、位置情報生成ステップで、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。
【００２１】
次に、映像オブジェクト照合ステップで、映像オブジェクトを識別するための識別情報と映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。そして、この映像オブジェクト照合ステップにおいて識別に成功した場合は、識別情報記憶ステップで、映像オブジェクトの仮識別子に対応付けて識別情報を記憶手段に記憶し、識別に失敗した場合は、識別情報の記憶を行わない。
そして、識別情報選択ステップで記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。
【００２２】
さらに、請求項７に記載の映像オブジェクト識別・追跡プログラムは、映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２３】
すなわち、前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段、この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段、前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段、前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段、この映像オブジェクト照合手段による前記映像オブジェクトにおける識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段、前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段、とした。
【００２４】
かかる構成によれば、映像オブジェクト識別・追跡プログラムは、映像オブジェクト検出手段によって、映像信号から動きベクトルや背景色との差分等により映像オブジェクトを検出し、仮識別子付与手段によって、その映像オブジェクトが新規に映像信号のフレーム上に登場したものかどうかを判定し、新規の映像オブジェクトである場合は、その映像オブジェクトに対して、仮の識別子（仮識別子）を付与する。そして、位置情報生成手段によって、映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を生成し出力する。
【００２５】
そして、映像オブジェクト識別・追跡プログラムは、映像オブジェクト照合手段によって、予め映像オブジェクトを特徴付ける映像特徴量と、その映像オブジェクトの識別情報（例えばオブジェクト名）とを対応付けて記憶した映像オブジェクトデータベースの個々の映像特徴量と、追跡中の映像オブジェクトの映像特徴量とを照合して、追跡中の映像オブジェクトを識別する。
そして、映像オブジェクト識別・追跡プログラムは、映像オブジェクト照合手段で識別が成功した場合は、記憶制御手段によって、映像オブジェクトの仮識別子に対応付けて、その識別情報を記憶手段に記憶し、識別情報選択手段によって、記憶手段に記憶されている仮識別子に対応する識別情報を読み出して出力する。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（第一の実施の形態）
図１は、本発明における第一の実施の形態である映像オブジェクト識別・追跡装置１の構成を示したブロック図である。図１に示すように映像オブジェクト識別・追跡装置１は、入力された映像信号ａから、人物等の映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトを識別する識別情報（オブジェクト名ｆ）と位置情報（座標値ｂ）とを出力するものである。
【００２７】
この映像オブジェクト識別・追跡装置１は、映像オブジェクト追跡手段１０と、映像オブジェクト識別手段２０と、識別子変換手段３０とを備える構成とした。図２は映像オブジェクト追跡手段１０の詳細な構成を示したブロック図であり、図３は映像オブジェクト識別手段２０の詳細な構成を示したブロック図である。
【００２８】
まず、図２を参照して、映像オブジェクト追跡手段１０の構成について説明する。
映像オブジェクト追跡手段１０は、外部から入力される映像信号ａのフレームから、映像オブジェクトを検出して、その映像オブジェクトを識別するための仮の識別子（仮識別子ｃ）を付与するとともに、その映像オブジェクトの動きを追跡して、フレーム上の位置情報（座標値ｂ）を出力するものである。なお、この映像オブジェクト追跡手段１０は、本願出願人において「映像オブジェクト検出・追跡装置（特願２００１−１６６５２５号）」として開示されている技術を用いて実現することができる。ここでは、映像オブジェクト追跡手段１０を、映像オブジェクト検出手段１１と、仮識別子付与手段１２と、位置情報生成手段１３とで構成した。
【００２９】
映像オブジェクト検出手段１１は、映像信号ａのフレームから、映像オブジェクトを検出して、その映像オブジェクトを特徴付ける映像特徴量ｈを抽出するものである。この映像特徴量ｈは位置情報生成手段１３へ出力される。
【００３０】
この映像オブジェクト検出手段１１では、背景映像の色や動きベクトルに基づいて抽出する映像オブジェクトの領域形状や、８近傍ラプラシアンによるエッジ抽出により映像オブジェクトの特徴を抽出した信号や、平滑化処理、離散フーリエ変換、離散コサイン変換、色空間変換、２値化処理、モルフォロジ処理をはじめとする各種変換処理や、それらを組み合わせた情報を、映像オブジェクトの映像特徴量ｈとする。なお、この映像特徴量ｈは、映像オブジェクトの位置情報を含むものとする。
また、映像特徴量ｈの中で特に映像オブジェクトの領域の形状を示す領域形状ｇは仮識別子付与手段１２へ出力される。
【００３１】
仮識別子付与手段１２は、映像オブジェクト検出手段１１から入力される領域形状ｇと、後記する位置情報生成手段１３の位置・形状推定手段１３ｃから入力される推定位置・形状情報ｐで示される映像オブジェクトの存在領域とを比較し、新規の映像オブジェクトに対して、仮識別子ｃを付与するものである。
ここで新規の映像オブジェクトを認識した仮識別子付与手段１２は、新規の映像オブジェクトに対する仮識別子ｃを、新規の映像オブジェクトを特定する位置情報等とともに登録情報ｎとして、特徴情報データベース１３ａに登録する旨をデータベース更新手段１３ｄへ通知する。
【００３２】
なお、この仮識別子ｃは、映像信号ａ中の映像オブジェクトを時間軸方向に対応付けるために仮に付与される識別子であり、例えば、１から始まる自然数を連番で付与する。ここで仮としているのは、映像オブジェクトの重なり等によって、同一の映像オブジェクトであっても異なる識別子が付与される可能性があるためである。
【００３３】
位置情報生成手段１３は、映像オブジェクト検出手段１１で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報である座標値ｂと、その映像オブジェクトに仮に付与した仮識別子ｃとを出力するものであり、特徴情報データベース１３ａと、映像特徴量照合手段１３ｂと、位置・形状推定手段１３ｃと、データベース更新手段１３ｄとで構成されている。
【００３４】
特徴情報データベース１３ａは、映像オブジェクト毎（仮識別子ｃ毎）に映像特徴量ｈから抽出した特徴情報ｉを登録しておくものである。例えば、映像オブジェクトの画像データ、形状データ、色の平均及び共分散等を特徴情報ｉとする。なお、この特徴情報ｉは、データベース更新手段１３ｄによって特徴情報データベース１３ａに登録（更新）される。
【００３５】
映像特徴量照合手段１３ｂは、映像オブジェクト検出手段１１で抽出された映像特徴量ｈと、特徴情報データベース１３ａに登録されている特徴情報ｉとを照合して、その特徴情報ｉに対応する映像オブジェクトを特定し、その映像オブジェクトに該当する仮識別子ｃと、映像オブジェクトの位置や大きさを示す領域情報ｊと、照合の信頼の度合いを示す信頼度ｋとを出力するものである。
【００３６】
この信頼度ｋの算出には、種々の評価関数を用いることが可能であるが、ここでは、ブロックマッチング法によって領域の照合を行うときのブロックの差の絶対値和として算出する。この絶対値和の値が小さいほど信頼度が高いと言える。
また、映像特徴量照合手段１３ｂは、位置・形状推定手段１３ｃから出力される推定位置・形状情報ｐを参考にして照合領域を絞り込むこともできる。
【００３７】
位置・形状推定手段１３ｃは、映像特徴量照合手段１３ｂから生成される映像オブジェクトの領域情報ｊと信頼度ｋとから、現時点における各映像オブジェクトの存在位置及び形状を推定し、推定位置・形状情報ｐとして出力するものである。なお、映像オブジェクトの存在位置は座標値ｂとしても出力される。
【００３８】
この位置・形状推定手段１３ｃは、例えば、仮識別子ｃの映像オブジェクトに関して、領域情報ｊ及び信頼度ｋが入力されたとき、信頼度ｋの値が高い場合には領域情報ｊをそのまま推定位置・形状情報ｐ（及び座標値ｂ）として出力し、信頼度ｋの値が低い場合には前時点の推定位置・形状情報ｐ（及び座標値ｂ）を出力する。
【００３９】
データベース更新手段１３ｄは、特徴情報データベース１３ａの管理を行うもので、新規映像オブジェクトに関するレコードの追加、消滅又はフレームアウトした映像オブジェクトに関するレコードの削除及びレコード内容の更新を行うものである。なお、これらの追加、削除及び更新の指示は、データベース更新情報ｍとして特徴情報データベース１３ａへ通知される。
【００４０】
このデータベース更新手段１３ｄは、仮識別子付与手段１２から登録情報ｎが入力されたとき、登録情報ｎ及び映像特徴量ｈに基づいて新たなレコード（画像データ、形状データ等）を特徴情報データベース１３ａ内に作成（追加）する。また、データベース更新手段１３ｄは、推定位置・形状情報ｐにより各仮識別子ｃの映像オブジェクトの消滅又はフレームアウトを検出したとき、特徴情報データベース１３ａ内の仮識別子ｃの特徴情報ｉを削除する。さらに、データベース更新手段１３ｄは、信頼度ｋが予め定められた許容範囲を超えたとき、直前の推定位置・形状情報ｐと直前の映像特徴量ｈとに基づいて、特徴情報データベース１３ａ内の特徴情報ｉを更新する。
【００４１】
以上説明した、映像オブジェクト追跡手段１０から出力されるある時刻における仮識別子ｃ及び座標値ｂの出力例を図４に示す。図４に示した例では、４つの映像オブジェクト（第１〜第４の映像オブジェクト）に関する情報が多重化されており、それらの仮識別子ｃが１、２、３及び５であることを示し、座標値ｂが（１２，３５）、（２０，２１）、（３０，２０）及び（１３，３０）であることを示している。
【００４２】
次に、図３を参照（適宜図１参照）して、映像オブジェクト識別手段２０の構成について説明する。
映像オブジェクト識別手段２０は、外部から入力される映像信号ａと、映像オブジェクト追跡手段１０で追跡された映像オブジェクトの座標値ｂとに基づいて、映像信号ａの座標値ｂに位置する映像オブジェクトを識別し、その映像オブジェクトのオブジェクト名の候補（オブジェクト名候補ｄ）と、映像オブジェクトの識別の成功又は失敗を示す識別結果ｅとを出力するものである。ここでは、映像オブジェクト識別手段２０を、映像特徴量抽出手段２１と、映像オブジェクトデータベース２２と、映像オブジェクト照合手段２３とで構成した。
【００４３】
映像特徴量抽出手段２１は、座標値ｂにより指定される映像信号ａの中の部分領域から映像特徴量ｑを抽出するものである。この映像特徴量ｑは映像オブジェクト照合手段２３へ出力される。例えば、座標値ｂとして映像オブジェクトの重心の画像座標を用い、映像信号ａから座標値ｂを中心とする一定範囲の部分領域を切り出し、その切り出した部分領域に関して映像特徴量ｑを求めて出力する。
【００４４】
なお、この映像特徴量ｑは、映像オブジェクトを特徴付ける映像の幾何学的あるいは統計学的な数量で、例えば、平均色ベクトル、輝度値のパターン、エッジのパターン、輝度値パターンの離散コサイン変換（ＤＣＴ）係数、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）係数、ウェーブレット変換係数等の数量とすることができる。
例えば、映像信号ａから座標値ｂを中心とする半径ｒ以内の範囲を切り出した部分領域の輝度値パターンである映像特徴量ｑは、（１）式で表すことができる。なお、ここでは、座標値ｂ及び部分領域の座標ｘは２次元の画像座標を表すベクトルとする。
【００４５】
【数１】
映像オブジェクトデータベース２２は、映像オブジェクトのオブジェクト名ｒとその映像オブジェクトに関する映像特徴量ｓとの組を蓄積しておくものである。このオブジェクト名ｒは、例えば、人物の氏名や従業員番号、スポーツ選手の背番号、自動車の登録番号等の意味を持った識別子（識別情報）である。また、映像特徴量ｓは、映像特徴量抽出手段２１で抽出される映像特徴量ｑと同様、映像オブジェクトを特徴付ける映像の幾何学的あるいは統計学的な数量である。
【００４７】
映像オブジェクト照合手段２３は、映像特徴量抽出手段２１で抽出された映像特徴量ｑと、映像オブジェクトデータベース２２の映像特徴量ｓとを照合し、映像特徴量ｑと類似する映像特徴量ｓの組となるオブジェクト名ｒを検索するものである。
【００４８】
ここで、オブジェクト名ｒを発見（検索）することができた場合（識別成功時）は、そのオブジェクト名ｒを映像オブジェクトのオブジェクト名の候補（オブジェクト名候補ｄ）として出力するとともに、「真」の値を有する識別結果ｅを出力する。また、映像特徴量ｑと類似する映像特徴量ｓの組となるオブジェクト名ｒを発見（検索）することができなかった場合（識別失敗時）は、「偽」の値を有する識別結果ｅを出力する。なお、このときのオブジェクト名候補ｄは任意（意味を持たない）とする。この「真」及び「偽」の各状態は、例えば、ＴＴＬレベルの＋５Ｖ及び０Ｖといった電位の違いや、ソフトウェア処理における論理の真理値によって表現することができる。
【００４９】
この映像オブジェクト照合手段２３は、既存の光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術や、顔認識技術、車両登録番号（ナンバープレート）認識システム等を利用することにより実現できる。
【００５０】
例えば、映像オブジェクトのオブジェクト名を変数ｙ、その変数ｙに対応する映像オブジェクトの映像特徴量である水平Ｗ画素、垂直Ｈ画素の領域の輝度値をテンプレートＴyとして、映像オブジェクトデータベース２２に登録し、このテンプレートＴyの座標ｘにおける輝度値をＴy（ｘ）とする。なお、座標ｘは２次元の画像座標を表すベクトルとする。
【００５１】
このとき、映像オブジェクト照合手段２３は、各オブジェクト名（変数ｙ）に対応するテンプレートＴyと映像特徴量ｑの相互相関を最大化するオブジェクト名を（２）式により求め（探索し）、そのオブジェクト名をオブジェクト名候補ｄとして出力する。なお、映像特徴量ｑは、映像信号ａから座標値ｂを中心とする半径ｒ以内の範囲を切り出した部分領域の輝度値パターン（前記（１）式のｑ（ｘ））とする。
【００５２】
【数２】
さらに、映像オブジェクト照合手段２３は、各オブジェクト名（変数ｙ）に対応するテンプレートＴyと映像特徴量ｑ（輝度値パターンｑ（ｘ））の相互相関を（３）式で計算し、その相互相関の最大値Ｒに基づいて、識別結果ｅを設定する。
【００５４】
【数３】
例えば、前記（３）式の相互相関の最大値Ｒが、ある閾値θを超えたときには識別結果ｅを「真」とし、閾値θ以下の場合は識別結果ｅを「偽」とする。
以上説明した、映像オブジェクト識別手段２０から出力されるある時刻におけるオブジェクト名候補ｄ及び識別結果ｅの出力例を図５に示す。図５に示した例では、図４で示したものと同じ４つの映像オブジェクト（第１〜第４の映像オブジェクト）に関して識別を行った結果、第１及び第３の映像オブジェクトの識別には成功し（識別結果ｅ＝「真」）、オブジェクト名候補ｄはそれぞれ「一郎」及び「次郎」であることを表している。一方、第２及び第４の映像オブジェクトの識別には失敗している（識別結果ｅ＝「偽」）。このときのオブジェクト名候補ｄは、該当無し（Ｎ／Ａ：Ｎｏｔ Ａｐｐｌｉｃａｂｌｅ）とする。
【００５６】
次に、図１を参照して、識別子変換手段３０の構成について説明する。
識別子変換手段３０は、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、仮識別子ｃに対応するオブジェクト名ｆを出力するものである。ここでは、識別子変換手段３０を、記憶制御手段３１と、識別情報記憶手段３２と、識別情報選択手段３３とで構成した。
【００５７】
記憶制御手段３１は、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２に記憶するものである。
【００５８】
識別情報記憶手段３２は、一般的なメモリ等で構成され、記憶制御手段３１によって、仮識別子ｃとオブジェクト名候補ｄとを対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２は、記憶制御手段３１によって、図６に示したように仮識別子ｃ毎に、オブジェクト名候補ｄを対応付けて記憶される。
【００５９】
識別情報選択手段３３は、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２から読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。
【００６０】
以上、映像オブジェクト識別・追跡装置１の構成について説明したが、映像オブジェクト識別・追跡装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像オブジェクト識別・追跡プログラムとして動作させることも可能である。
【００６１】
（映像オブジェクト識別・追跡装置１の動作）
次に、図１乃至図３及び図７を参照して、映像オブジェクト識別・追跡装置１の動作について説明する。図７は、映像オブジェクト識別・追跡装置１の動作を示すフローチャートである。
【００６２】
［映像オブジェクト検出ステップ］
まず、映像オブジェクト識別・追跡装置１は、映像オブジェクト追跡手段１０の映像オブジェクト検出手段１１によって、入力された映像信号ａのフレーム内から映像オブジェクトを検出する（ステップＳ１）。
【００６３】
［仮識別子付与ステップ］
次に、映像オブジェクト識別・追跡装置１は、仮識別子付与手段１２によって、ステップＳ１で検出された映像オブジェクトが、新規にフレーム上に出現した映像オブジェクトかどうかを判定し（ステップＳ２）、新規の映像オブジェクトである場合（Ｙｅｓ）は、その映像オブジェクトに対して仮の識別子（仮識別子ｃ）を付与して（ステップＳ３）、ステップＳ４へ進む。一方、新規の映像オブジェクトが存在しない場合（Ｎｏ）は、そのままステップ４へ進む。
【００６４】
［位置情報生成ステップ］
そして、映像オブジェクト識別・追跡装置１は、位置情報生成手段１３によって、映像オブジェクト検出手段１１で検出した映像オブジェクトの動きを追跡して、フレーム内の映像オブジェクトの位置情報である座標値ｂを生成する（ステップＳ４）。
【００６５】
［映像オブジェクト照合ステップ］
このステップＳ４で生成された映像オブジェクトの座標値ｂに基づいて、映像オブジェクト識別手段２０の映像特徴量抽出手段２１が、映像信号ａのフレーム中の部分領域から映像特徴量ｑを抽出する（ステップＳ５）。そして、映像オブジェクト照合手段２３が、映像特徴量ｑと、映像オブジェクトデータベース２２に登録されている映像特徴量ｓとを照合し（ステップＳ６）、類似性の高い映像特徴量ｓに対応するオブジェクト名ｒをオブジェクト名候補ｄとして検索するとともに、その照合結果（識別結果ｅ）を生成する（ステップＳ７）。
【００６６】
［識別情報記憶ステップ］
そして、識別子変換手段３０の記憶制御手段３１が、ステップ７で生成された識別結果ｅを判定し（ステップＳ８）、識別結果ｅが「真」である場合は、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２に記憶（上書き）して（ステップＳ９）、ステップＳ１０へ進む。一方、識別結果ｅが「偽」である場合は、そのままステップＳ１０へ進む。
【００６７】
［識別情報選択ステップ］
そして、識別情報選択手段３３が、識別情報記憶手段３２に記憶されている仮識別子ｃに対応するオブジェクト名候補ｄを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ１０）。そして、映像信号の入力が終了したかどうかを判定し（ステップＳ１１）、映像信号の入力が終了していない場合（Ｎｏ）は、ステップＳ１に戻って動作を続ける、映像信号の入力が終了した場合（Ｙｅｓ）は、動作を終了する。
【００６８】
以上の各ステップを動作させることで、映像信号ａに含まれる映像オブジェクトの位置情報（座標値ｂ）と、その映像オブジェクトに対応するオブジェクト名ｆとを精度良く対応付けて出力することができる。
なお、ここでは、映像信号ａのフレーム内に存在する複数の映像オブジェクトの中の１つについて識別・追跡を行う動作を示しているが、１フレーム内に複数の映像オブジェクトが存在する場合は、この各ステップを映像オブジェクト数分繰り返す。
【００６９】
（識別子変換手段３０の動作例）
ここで、図８を参照（適宜図１参照）して、識別子変換手段３０の動作について、具体例を示しながら詳細に説明する。図８は、識別子変換手段３０に入力される情報（仮識別子ｃ、オブジェクト名候補ｄ及び識別結果ｅ）と、その情報に基づいて更新される識別情報記憶手段３２の記憶情報を示した図である。
【００７０】
図８の（ａ−１）、（ｂ−１）及び（ｃ−１）は、それぞれ映像信号ａのフレームの順番（第１乃至第３フレ−ム）で識別子変換手段３０に入力される情報（仮識別子ｃ、オブジェクト候補名ｄ及び識別結果ｅ）を示したものである。また、図８の（ａ−２）、（ｂ−２）及び（ｃ−２）は、図８の（ａ−１）、（ｂ−１）及び（ｃ−１）に対応して、識別情報記憶手段３２に記憶される情報を示している。なお、識別情報記憶手段３２は、初期状態では何も記憶されていないものとする。
【００７１】
まず、図８（ａ−１）に示すように、映像信号ａの第１フレームから、映像オブジェクト追跡手段１０によって、第１乃至第５の映像オブジェクトが検出され、その仮識別子ｃが１乃至５であったとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが４及び５の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「花子」及び「三郎」であったとする。
【００７２】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（４及び５）と、それに対応するオブジェクト名候補ｄ（「花子」及び「三郎」）とを対応付けて、識別情報記憶手段３２へ記憶する。すなわち、図８（ａ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７３】
次に、図８（ｂ−１）に示すように、映像信号ａの第２フレームから、映像オブジェクト追跡手段１０によって、仮識別子ｃが１、２、３及び５の映像オブジェクトが追跡できたとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが１及び２の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「一郎」及び「太郎」であったとする。
【００７４】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（１及び２）と、それに対応するオブジェクト名候補ｄ（「一郎」及び「太郎」）とを対応付けて、新たに識別情報記憶手段３２へ記憶する。すなわち、図８（ｂ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７５】
そして、図８（ｃ−１）に示すように、映像信号ａの第３フレームから、映像オブジェクト追跡手段１０によって、仮識別子ｃが１、２、３及び５の映像オブジェクトが追跡できたとする。また、映像オブジェクト識別手段２０による識別の結果、仮識別子ｃが１及び３の映像オブジェクトの識別に成功し（識別結果ｅ＝「真」）、それぞれのオブジェクト名（オブジェクト名候補ｄ）が「一郎」及び「次郎」であったとする。
【００７６】
この段階で、識別子変換手段３０は、記憶制御手段３１によって、識別結果ｅが「真」である仮識別子ｃ（１及び３）と、それに対応するオブジェクト名候補ｄ（「一郎」及び「次郎」）とを対応付けて、新たに識別情報記憶手段３２へ記憶する。すなわち、図８（ｃ−２）の内容が識別情報記憶手段３２に記憶される。そして、ここで記憶されたオブジェクト名候補ｄが、識別情報選択手段３３によって、オブジェクト名ｆとして出力される。
【００７７】
なお、仮識別子ｃが１の映像オブジェクト（第１の映像オブジェクト）は、図８（ｂ−１）に示した第２フレームで「一郎」というオブジェクト名候補ｄで識別され、さらに、図８（ｃ−１）に示した第３フレームにおいても「一郎」というオブジェクト名候補ｄで識別されている。このような場合、例えば、最新の識別結果ｅを優先することで、識別情報記憶手段３２を更新する。
このように、識別子変換手段３０は、映像オブジェクト追跡手段１０で検出、追跡された映像オブジェクト毎に、映像オブジェクト識別手段２０が行う識別の結果に基づいてオブジェクト名を特定し出力する。
【００７８】
（第二の実施の形態）
次に、図９を参照して、本発明における第二の実施の形態である映像オブジェクト識別・追跡装置１Ｂについて説明する。図９は、映像オブジェクト識別・追跡装置１Ｂの構成を示したブロック図である。
【００７９】
この映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクト識別・追跡装置１（図１）と同様、入力された映像信号ａから、映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトを識別した頻度に基づいて、映像オブジェクトのオブジェクト名を特定するものである。図９に示したように映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクト識別・追跡装置１に頻度情報付加手段３１Ｂａを付加して構成した。
【００８０】
映像オブジェクト識別・追跡装置１Ｂの識別子変換手段３０Ｂ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
ここでは、識別子変換手段３０Ｂを、頻度情報付加手段３１Ｂａを付加した記憶制御手段３１Ｂと、識別情報記憶手段３２Ｂと、識別情報選択手段３３Ｂとで構成した。
【００８１】
記憶制御手段３１Ｂは、頻度情報付加手段３１Ｂａを備え、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２Ｂに記憶するとともに、オブジェクト名候補ｄの頻度を識別情報記憶手段３２Ｂに記憶するものである。
【００８２】
頻度情報付加手段３１Ｂａは、映像オブジェクト識別手段２０からオブジェクト名候補ｄを通知されたときに、識別情報記憶手段３２Ｂに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄの頻度を１加算するものである。
【００８３】
識別情報記憶手段３２Ｂは、一般的なメモリ等で構成され、記憶制御手段３１Ｂによって、仮識別子ｃ、オブジェクト名候補ｄ及びオブジェクト名候補ｄの頻度を対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２Ｂには、記憶制御手段３１Ｂによって、図１０に示したように仮識別子ｃ毎に、識別が成功した複数のオブジェクト名候補ｄと、フレーム単位でオブジェクト名候補ｄが通知された頻度ｕとが対応付けて記憶される。
【００８４】
識別情報選択手段３３Ｂは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｂから読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。このとき、識別情報選択手段３３Ｂは、仮識別子ｃに対応するオブジェクト名候補ｄが複数存在する場合は、その頻度ｕ（図１０）を参照し、最も頻度の高いオブジェクト名候補ｄを選択する。
なお、この識別子変換手段３０Ｂは、コンピュータにおいてプログラムとして動作させることも可能である。
【００８５】
（映像オブジェクト識別・追跡装置１Ｂの動作）
次に、図９及び図１１を参照して、映像オブジェクト識別・追跡装置１Ｂの動作について説明する。なお、ここでは映像オブジェクト識別・追跡装置１（図１）とは異なる識別子変換手段３０Ｂの動作を中心に説明する。図１１は、映像オブジェクト識別・追跡装置１Ｂの識別子変換手段３０Ｂの動作を示すフローチャートである。
【００８６】
［識別情報記憶ステップＢ］
識別子変換手段３０Ｂは、映像信号ａのフレーム内における複数の映像オブジェクトの１つである映像オブジェクトについて、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとを入力する（ステップＳ２１）。
【００８７】
そして、記憶制御手段３１Ｂが、識別結果ｅを判定し（ステップＳ２２）、識別結果ｅが「偽」である場合は、ステップＳ２６へ進み、識別結果ｅが「真」である場合は、仮識別子ｃとオブジェクト名候補ｄとの組み合せが既に識別情報記憶手段３２Ｂに記憶されているかどうかを判定する（ステップＳ２３）。
【００８８】
ここで、既に仮識別子ｃとオブジェクト名候補ｄとの組み合せが記憶されている場合（Ｙｅｓ）は、頻度情報付加手段３１Ｂａによって、仮識別子ｃのオブジェクト名候補ｄの頻度を１加算して（ステップＳ２４）、ステップＳ２６へ進む。一方、仮識別子ｃとオブジェクト名候補ｄとの組み合せが記憶されていない場合（Ｎｏ）は、頻度情報付加手段３１Ｂａによって、仮識別子ｃとオブジェクト名候補ｄとの組み合せを識別情報記憶手段３２Ｂに記憶するとともに、その頻度を１として記憶し（ステップＳ２５）、ステップＳ２６へ進む。
【００８９】
［識別情報選択ステップＢ］
そして、識別情報選択手段３３Ｂが、識別情報記憶手段３２Ｂに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄの中で、最も頻度の高いものを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ２６）。例えば、図１０において、仮識別子ｃが５の場合は、頻度ｕが最も高いオブジェクト名候補ｄである「三郎」が、オブジェクト名ｆとして選択される。
【００９０】
以上の各ステップをフレーム内の全映像オブジェクトに対して実行する。
このように、映像オブジェクト識別・追跡装置１Ｂは、映像オブジェクトを識別できた頻度に基づいて、オブジェクト名を確定するため、映像オブジェクトの識別及び追跡を精度良く行うことができる。
【００９１】
（第三の実施の形態）
次に、図１２を参照して、本発明における第三の実施の形態である映像オブジェクト識別・追跡装置１Ｃについて説明する。図１２は、映像オブジェクト識別・追跡装置１Ｃの構成を示したブロック図である。
【００９２】
この映像オブジェクト識別・追跡装置１Ｃは、映像オブジェクト識別・追跡装置１（図１）と同様、入力された映像信号ａから、映像オブジェクトを検出し、追跡するとともに、その映像オブジェクトの出現時刻に基づいて、映像オブジェクトのオブジェクト名を特定するものである。図１２に示したように映像オブジェクト識別・追跡装置１Ｃは、映像オブジェクト識別・追跡装置１に時間情報付加手段３１Ｃａを付加して構成した。
【００９３】
映像オブジェクト識別・追跡装置１Ｃの識別子変換手段３０Ｃ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
ここでは、識別子変換手段３０Ｃを、時間情報付加手段３１Ｃａを付加した記憶制御手段３１Ｃと、識別情報記憶手段３２Ｃと、識別情報選択手段３３Ｃとで構成した。
【００９４】
記憶制御手段３１Ｃは、時間情報付加手段３１Ｃａを備え、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとに基づいて、識別結果ｅが「真」のとき（識別成功時）に、仮識別子ｃとオブジェクト名候補ｄとを対応付けて識別情報記憶手段３２Ｃに記憶するとともに、オブジェクト名候補ｄの出現する時刻情報であるタイムスタンプを識別情報記憶手段３２Ｃに記憶するものである。
【００９５】
時間情報付加手段３１Ｃａは、一般的なタイマを含んで構成され、映像オブジェクト識別手段２０からオブジェクト名候補ｄを通知された時刻（タイムスタンプ）を、仮識別子ｃと、その仮識別子ｃに対応するオブジェクト名候補ｄとともに識別情報記憶手段３２Ｃに記憶するものである。
【００９６】
識別情報記憶手段３２Ｃは、一般的なメモリ等で構成され、記憶制御手段３１Ｃによって、仮識別子ｃ、オブジェクト名候補ｄ及びタイムスタンプを対応付けて記憶される記憶媒体である。例えば、識別情報記憶手段３２Ｃには、記憶制御手段３１Ｃによって、図１３に示したように仮識別子ｃ毎に、識別が成功した複数のオブジェクト名候補ｄと、フレーム単位でオブジェクト名候補ｄが通知されたタイムスタンプｔとが対応付けて記憶される。
【００９７】
識別情報選択手段３３Ｃは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｃから読み出して、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。このとき、識別情報選択手段３３Ｃは、識別情報記憶手段３２Ｃに記憶されているタイムスタンプに基づいて、仮識別子ｃに対するオブジェクト名候補ｄの重みを算出し、その重みが最も大きいものをオブジェクト名ｆとして選択する。この重みの算出については後で説明する。
なお、この識別子変換手段３０Ｃは、コンピュータにおいてプログラムとして動作させることも可能である。
【００９８】
（映像オブジェクト識別・追跡装置１Ｃの動作）
次に、図１２及び図１４を参照して、映像オブジェクト識別・追跡装置１Ｃの動作について説明する。なお、ここでは映像オブジェクト識別・追跡装置１とは異なる識別子変換手段３０Ｃの動作を中心に説明する。図１４は、映像オブジェクト識別・追跡装置１Ｃの識別子変換手段３０Ｃの動作を示すフローチャートである。
【００９９】
［識別情報記憶ステップＣ］
識別子変換手段３０Ｃは、映像信号ａのフレーム内における複数の映像オブジェクトの１つである映像オブジェクトについて、映像オブジェクト追跡手段１０から出力される仮識別子ｃと、映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄ及び識別結果ｅとを入力する（ステップＳ３１）。
【０１００】
そして、記憶制御手段３１Ｃが、識別結果ｅを判定し（ステップＳ３２）、識別結果ｅが「偽」である場合は、ステップＳ３４へ進み、識別結果ｅが「真」である場合は、時間情報付加手段３１Ｃａによって、仮識別子ｃに対するオブジェクト名候補ｄに対応付けて、タイムスタンプを識別情報記憶手段３２Ｃに記憶し（ステップＳ３３）、ステップＳ３４へ進む。
【０１０１】
［識別情報選択ステップＣ］
そして、識別情報選択手段３３Ｃが、識別情報記憶手段３２Ｃに記憶されている仮識別子ｃに対応するオブジェクト名候補ｄのタイムスタンプを読み出して、現在の時刻及びタイムスタンプで重みを算出し（ステップＳ３４）、その重みが最も大きくなるオブジェクト名候補ｄを正式なオブジェクト名（オブジェクト名ｆ）として出力する（ステップＳ３５）。
以上の各ステップをフレーム内の全映像オブジェクトに対して実行する。
【０１０２】
（オブジェクト名候補の重み付けについて）
ここで、識別子変換手段３０Ｃ（識別情報選択ステップＣ）において、タイムスタンプによってオブジェクト名候補の重み付けを行う（重みの算出）処理について説明する。
【０１０３】
例えば、ある仮識別子に対応するオブジェクト名候補がＫ個存在し、第ｋ番目のオブジェクト名候補をｘk、タイムスタンプをｔk、現在時刻をＴとする。そして、識別情報記憶手段３２Ｃから読み出されるオブジェクト名候補に対する重みｗ（Ｔ，ｔk）を（４）式の指数関数で定義する。なお、ｒは０以上１以下の実数とし、０の０乗は１と定義する。
【０１０４】
【数４】
この（４）式によって、タイムスタンプが古い（過去の）情報ほど重みを小さくすることができる。
そして、Ｋ個のオブジェクト名候補のうち、オブジェクト名がξであるｋの集合を（５）式よって抽出する。
【０１０６】
【数５】
この（５）式で抽出したオブジェクト名が、ξとなるすべてのｋに関して、（４）式で重みを計算し、その重みの総和Ｗ（ξ）を（６）式によって求める。
【０１０８】
【数６】
この（６）式で求められた重みの総和（ξ）が最大となるξを（７）式で求めることで、出力すべきオブジェクト名ｆが決定される。
【０１１０】
【数７】
なお、（４）式におけるｒが０のときは、タイムスタンプと現在時刻が一致するオブジェクト名候補を、正式なオブジェクト名ｆとして出力することになる。また、０＜ｒ≦０．５のときは、タイムスタンプが最新のオブジェクト名候補を、正式なオブジェクト名ｆとして出力することになる。この場合、識別子変換手段３０Ｃから出力されるオブジェクト名ｆは、識別子変換手段３０（図１）から出力されるオブジェクト名ｆと同じものとなる。
【０１１２】
また、０．５＜ｒ＜１のときは、タイムスタンプの新旧に応じて算出される重みを加算した結果（重み付けの多数決）で、オブジェクト名ｆが決定される。また、ｒ＝１のときは、オブジェクト候補の中で最も多いもの（多数決）がオブジェクト名ｆとして決定される。この場合、識別子変換手段３０Ｃから出力されるオブジェクト名ｆは、識別子変換手段３０Ｂ（図２）でオブジェクト候補名の頻度に基づいて決定されるオブジェクト名ｆと同じものとなる。
【０１１３】
ここで、図１３を参照（適宜図１参照）して、タイムスタンプによって、オブジェクト名を決定する具体例について説明する。図１３は、仮識別子ｃ毎に１以上のオブジェクト名候補ｄとタイムスタンプｔとを対応付けた識別情報記憶手段３２Ｃの記憶内容を示したものである。このタイムスタンプｔは、時刻を「時：分：秒：フレーム」の形式により表現している。なお、ここでは前記（４）式においてｒ＝０．７で重みｗ（Ｔ，ｔk）を算出するものとする。
【０１１４】
例えば、現在時刻Ｔ（「時：分：秒：フレーム」）が「００：００：００：２９」のときに仮識別子ｃとして１が識別子変換手段３０Ｃに入力されたとする。この仮識別子ｃ＝１に対応するオブジェクト名候補ｄは「一郎」及び「Ｊｏｈｎ」の２者である。
【０１１５】
まず、「一郎」について重みを算出する。ξ＝（一郎）となるｋを前記（５）式により求めると、｛１，３，４｝の集合が得られる。このｋ∈｛１，３，４｝におけるそれぞれのタイムスタンプから、前記（４）式よって、重みｗ（Ｔ，ｔk）を求めると、ｗ（Ｔ，ｔ1）＝０．３４３、ｗ（Ｔ，ｔ3）＝０．７、ｗ（Ｔ，ｔ4）＝１が得られる。そして、前記（６）式によって、重みの総和Ｗ（一郎）＝２．０４３が得られる。また、「Ｊｏｈｎ」についても、同様に計算を行うことで、重みの総和Ｗ（Ｊｏｈｎ）＝０．４９が得られる。
そして、前記（７）式に基づいて、重みの総和Ｗ（ξ）が最大となるξを求めることで、出力すべきオブジェクト名ｆが「一郎」であると決定される。
【０１１６】
（第四の実施の形態）
次に、図１５を参照して、本発明における第四の実施の形態である映像オブジェクト識別・追跡装置１Ｄについて説明する。図１５は、映像オブジェクト識別・追跡装置１Ｄの構成を示したブロック図である。
【０１１７】
図１５に示したように映像オブジェクト識別・追跡装置１Ｄは、映像オブジェクト識別・追跡装置１（図１）の映像オブジェクト識別手段２０から出力されるオブジェクト名候補ｄの識別結果ｅ（「真」又は「偽」）の代わりに、成功・失敗の度合いを示す信頼度ｖとして出力する映像オブジェクト識別手段２０Ｂを備え、その信頼度ｖに基づいてオブジェクト名ｆを特定する識別子変換手段３０Ｄを備えて構成した。映像オブジェクト追跡手段１０は、映像オブジェクト識別・追跡装置１（図１）と同一のものであるため説明を省略する。
【０１１８】
映像オブジェクト識別手段２０Ｂは、外部から入力される映像信号ａと、映像オブジェクト追跡手段１０で追跡された映像オブジェクトの座標値ｂとに基づいて、映像信号ａの座標値ｂに位置する映像オブジェクトを識別し、その映像オブジェクトのオブジェクト名の候補（オブジェクト候補名ｄ）と、映像オブジェクトの識別結果である成功・失敗の度合いを示す信頼度ｖとを出力するものである。
【０１１９】
映像オブジェクト照合手段２３Ｂは、映像特徴量抽出手段２１で抽出された映像特徴量と、映像オブジェクトデータベース２２に登録されている映像特徴量とを照合（識別）し、類似性の高い映像特徴量の組となるオブジェクト名を検索し、オブジェクト名候補ｄとして出力するものである。このとき、映像オブジェクト照合手段２３Ｂは、識別結果として類似性の判定値を信頼度ｖとして出力する。例えば、前記（３）式に示した相互相関の最大値Ｒをそのまま信頼度ｖとして利用することができる。
識別子変換手段３０Ｄは、信頼度付加手段３１Ｄａを付加した記憶制御手段３１Ｄと、識別情報記憶手段３２Ｄと、識別情報選択手段３３Ｄとで構成した。
【０１２０】
記憶制御手段３１Ｄは、信頼度付加手段３１Ｄａを備え、映像オブジェクト追跡手段１０から入力される仮識別子ｃと、映像オブジェクト識別手段２０Ｂから入力されるオブジェクト名候補ｄ及び信頼度ｖとを対応付けて、メモリ等の識別情報記憶手段３２Ｄに記憶するものである。
【０１２１】
識別情報選択手段３３Ｄは、映像オブジェクト追跡手段１０から入力される仮識別子ｃに対応するオブジェクト名候補ｄを、識別情報記憶手段３２Ｄから読み出して、そのオブジェクト名候補ｄの中で最も信頼度ｖの高いものを、正式なオブジェクト名（オブジェクト名ｆ）として出力するものである。
【０１２２】
このように、映像オブジェクト識別・追跡装置１Ｄは、映像オブジェクト追跡手段１０で追跡した映像オブジェクトを映像オブジェクト識別手段２０Ｂで識別し、その映像オブジェクトのオブジェクト名候補ｆを識別結果である信頼度ｖとともに生成する。そして、識別子変換手段３０Ｄが、フレーム毎に逐次記憶した仮識別子ｃに対応するオブジェクト名候補ｄの中で、最も信頼度ｖの高いオブジェクト名を正式なオブジェクト名ｆとして出力する。
【０１２３】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト識別・追跡装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【０１２４】
請求項１、請求項６又は請求項７に記載の発明によれば、入力された映像信号から、映像オブジェクトを検出し、その識別情報であるオブジェクト名と位置情報である座標値とを出力することができる。従来であれば、フレーム毎に映像オブジェクトの識別を行う必要があったところを、本発明においては、仮識別子毎にオブジェクト名が記憶されているため、間欠的に映像オブジェクトの識別を行うことが可能になる。これにより、映像オブジェクトを識別するための負荷を軽減することができ、動作を高速化することができる。
さらに、従来であれば、フレーム内で映像オブジェクトの識別に失敗した場合、オブジェクト名を取得することができないところを、本発明においては、仮識別子毎に記憶されているオブジェクト名によって補完することが可能になる。
【０１２５】
請求項２に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの頻度（頻度情報）を、オブジェクト名に対応付けて記憶しておくため、頻度が高いオブジェクト名をその映像オブジェクトのオブジェクト名として特定することができる。これは、頻度、すなわち多数決によってオブジェクト名を特定することになり、その映像オブジェクトに対するオブジェクト名の識別精度を向上させることができる。
【０１２６】
請求項３に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの時刻（タイムスタンプ）を、オブジェクト名に対応付けて時系列に記憶しておくため、映像シーンの変化等によって、バースト的に発生する映像オブジェクトの識別の失敗を忘却することができ、映像オブジェクトに対するオブジェクト名の識別精度を向上させることができる。
【０１２７】
請求項４に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトの識別に成功したときの時刻（タイムスタンプ）を、オブジェクト名に対応付けて時系列に記憶しておき、現在時刻とそのタイムスタンプとに基づいて、オブジェクト名の重みを算出するため、過去に識別した結果を軽視しつつ、多数決によってオブジェクト名を特定することが可能になる。これにより、映像オブジェクトに対するオブジェクト名を精度良く特定することが可能になる。
【０１２８】
請求項５に記載の発明によれば、映像オブジェクト識別・追跡装置は、映像オブジェクトを識別したときの信頼の度合いを示す信頼度を、オブジェクト名に対応付けて記憶しておき、その信頼度に基づいてオブジェクト名を特定するため、出力されるオブジェクト名の精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の映像オブジェクト追跡手段の構成例を示すブロック図である。
【図３】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の映像オブジェクト識別手段の構成例を示すブロック図である。
【図４】映像オブジェクト追跡手段から出力されるある時刻における仮識別子及び座標値の出力例を説明するための説明図である。
【図５】映像オブジェクト識別手段から出力されるある時刻におけるオブジェクト名候補及び識別結果の出力例を説明するための説明図である。
【図６】識別情報記憶手段に記憶される仮識別子とオブジェクト名候補との対応を示すデータ構成図である。
【図７】本発明の第一の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図８】識別子変換手段に入力される情報（仮識別子、オブジェクト候補名及び識別結果）と、その情報に基づいて更新される識別情報記憶手段の記憶情報を説明するための説明図である。
【図９】本発明の第二の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図１０】識別情報記憶手段に記憶されるオブジェクト名候補とオブジェクト名候補との対応を示すデータ構成図である。
【図１１】本発明の第二の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図１２】本発明の第三の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【図１３】識別情報記憶手段に記憶されるオブジェクト名候補とタイムスタンプとの対応を示すデータ構成図である。
【図１４】本発明の第三の実施の形態に係る映像オブジェクト識別・追跡装置の動作を示すフローチャートである。
【図１５】本発明の第四の実施の形態に係る映像オブジェクト識別・追跡装置の全体構成を示すブロック図である。
【符号の説明】
１、１Ｂ、１Ｃ、１Ｄ……映像オブジェクト識別・追跡装置
１０……映像オブジェクト追跡手段
１１……映像オブジェクト検出手段
１２……仮識別子付与手段
１３……位置情報生成手段
２０……映像オブジェクト識別手段
２１……映像特徴量抽出手段
２２……映像オブジェクトデータベース
２３……映像オブジェクト照合手段
３０……識別子変換手段
３１……記憶制御手段
３２……識別情報記憶手段
３３……識別情報選択手段
Claims (7)
- 映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力する映像オブジェクト識別・追跡装置であって、
前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段と、
この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段と、
前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段と、
前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースと、
この映像オブジェクトデータベースに記憶されている映像特徴量と、前記位置情報で示される位置に存在する前記映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段と、
この映像オブジェクト照合手段における識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段と、
前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段と、
を備えていることを特徴とする映像オブジェクト識別・追跡装置。 - 前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した回数を頻度情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、
前記識別情報選択手段が、前記頻度情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする請求項１に記載の映像オブジェクト識別・追跡装置。 - 前記記憶制御手段が、前記映像オブジェクト照合手段による識別結果が成功した時刻を時間情報として、前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、
前記識別情報選択手段が、前記時間情報に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする請求項１に記載の映像オブジェクト識別・追跡装置。 - 前記識別情報選択手段が、前記仮識別子及び前記識別情報に対して前記時間情報に基づいて重み付けを行い、その重み付けされた結果に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする請求項３に記載の映像オブジェクト識別・追跡装置。
- 前記映像オブジェクト照合手段が、前記映像オブジェクトを識別したときの信頼の度合いを示す信頼度を前記識別結果として生成し、
前記記憶制御手段が、その信頼度を前記仮識別子及び前記識別情報に対応付けて前記識別情報記憶手段に記憶し、
前記識別情報選択手段が、前記信頼度に基づいて、前記仮識別子毎に前記識別情報を選択して読み出すことを特徴とする請求項１に記載の映像オブジェクト識別・追跡装置。 - 映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するための映像オブジェクト識別・追跡方法であって、
前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出ステップと、
この映像オブジェクト検出ステップで検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与ステップと、
前記映像オブジェクト検出ステップで検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成ステップと、
前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合ステップと、
この映像オブジェクト照合ステップにおける識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて記憶手段に記憶する識別情報記憶ステップと、
前記記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択ステップと、
を含んでいることを特徴とする映像オブジェクト識別・追跡方法。 - 映像信号から映像オブジェクトを検出し、その映像オブジェクトを追跡するとともに、その映像オブジェクトを識別する識別情報を出力するために、コンピュータを、
前記映像信号から、動き又は色情報の少なくとも一方に基づいて前記映像オブジェクトを検出する映像オブジェクト検出手段、
この映像オブジェクト検出手段で検出した映像オブジェクトに、前記映像信号中の時間軸方向に対応した仮の識別子である仮識別子を付与する仮識別子付与手段、
前記映像オブジェクト検出手段で検出した映像オブジェクトの動きを追跡して、その映像オブジェクトの位置情報を前記仮識別子と対応付けて生成する位置情報生成手段、
前記映像オブジェクトを識別するための予め定めた固有の情報である識別情報と前記映像オブジェクトを特徴付ける映像特徴量とを対応付けて記憶した映像オブジェクトデータベースに基づいて、前記映像特徴量と前記位置情報で示される位置に存在する映像オブジェクトの映像特徴量とを照合して、前記映像オブジェクトの候補を識別する映像オブジェクト照合手段、
この映像オブジェクト照合手段における識別結果に基づいて、前記位置情報に対応する仮識別子と、識別に成功した映像オブジェクトの候補の識別情報とを対応付けて識別情報記憶手段に記憶する記憶制御手段、
前記識別情報記憶手段から、前記識別に成功した映像オブジェクトの候補として前記仮識別子に対応付けられている識別情報を読み出して、前記映像オブジェクトの正式な識別情報として出力する識別情報選択手段、
として機能させることを特徴とする映像オブジェクト識別・追跡プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272450A JP4174279B2 (ja) | 2002-09-19 | 2002-09-19 | 映像オブジェクト識別・追跡装置、その方法及びそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272450A JP4174279B2 (ja) | 2002-09-19 | 2002-09-19 | 映像オブジェクト識別・追跡装置、その方法及びそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004110448A JP2004110448A (ja) | 2004-04-08 |
| JP4174279B2 true JP4174279B2 (ja) | 2008-10-29 |
Family
ID=32269459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002272450A Expired - Fee Related JP4174279B2 (ja) | 2002-09-19 | 2002-09-19 | 映像オブジェクト識別・追跡装置、その方法及びそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4174279B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4591215B2 (ja) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | 顔画像データベース作成方法及び装置 |
| JP4240330B2 (ja) | 2006-10-24 | 2009-03-18 | ソニー株式会社 | データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置 |
| JP4987513B2 (ja) * | 2007-03-07 | 2012-07-25 | 綜合警備保障株式会社 | 追跡装置、追跡方法、及び追跡プログラム |
| JP5061382B2 (ja) * | 2008-03-31 | 2012-10-31 | Ｋｄｄｉ株式会社 | 時系列データの識別装置および動画像への人物メタ情報付与装置 |
| JP5253102B2 (ja) * | 2008-11-13 | 2013-07-31 | 将文 萩原 | 物体判別方法および物体判別装置 |
| JP5155830B2 (ja) * | 2008-11-25 | 2013-03-06 | 日本放送協会 | 得点可能性定量化装置、得点可能性順序付け装置及び得点可能性定量化プログラム |
| JP5155841B2 (ja) * | 2008-12-17 | 2013-03-06 | 日本放送協会 | 得点可能性定量化装置及び得点可能性定量化プログラム |
| EP2337345B1 (en) | 2009-01-23 | 2014-01-08 | Nec Corporation | Video identifier extracting device |
| JP2010200170A (ja) * | 2009-02-26 | 2010-09-09 | Nec Corp | 画像情報提供システム、画像情報提供方法、および画像情報提供プログラム |
| JP2010250730A (ja) * | 2009-04-20 | 2010-11-04 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
| KR101284472B1 (ko) * | 2011-03-15 | 2013-07-09 | 엘지전자 주식회사 | 전자 기기 제어 방법 및 그를 이용한 휴대용 단말기 |
| JP2018517188A (ja) * | 2015-03-02 | 2018-06-28 | シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | 細胞画像および映像の分類 |
| JP6662582B2 (ja) * | 2015-06-09 | 2020-03-11 | キヤノンイメージングシステムズ株式会社 | 画像処理装置、画像処理方法および画像処理システム |
| CN110276342B (zh) * | 2018-03-14 | 2023-04-18 | 台达电子工业股份有限公司 | 车牌辨识方法以及其系统 |
| JP7202995B2 (ja) * | 2019-10-10 | 2023-01-12 | 株式会社日立製作所 | 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム |
-
2002
- 2002-09-19 JP JP2002272450A patent/JP4174279B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004110448A (ja) | 2004-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4174279B2 (ja) | 映像オブジェクト識別・追跡装置、その方法及びそのプログラム | |
| US20220309703A1 (en) | Apparatus and method for estimating camera pose | |
| JP6832504B2 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
| KR100651010B1 (ko) | 3차원 물체 모델을 사용한 화상 대조 시스템, 화상 대조 방법 및 화상 대조 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
| US7352880B2 (en) | System and method for detecting and tracking a plurality of faces in real time by integrating visual ques | |
| US9984280B2 (en) | Object recognition system using left and right images and method | |
| JP5953151B2 (ja) | 学習装置、及びプログラム | |
| KR20080050538A (ko) | 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및장치 | |
| CN109146918B (zh) | 一种基于分块的自适应相关目标定位方法 | |
| Tian et al. | Scene Text Detection in Video by Learning Locally and Globally. | |
| Ratan et al. | Object detection and localization by dynamic template warping | |
| Hayet et al. | Visual landmarks detection and recognition for mobile robot navigation | |
| CN112800922B (zh) | 一种人脸识别方法、装置、电子设备及存储介质 | |
| CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
| CN106529388A (zh) | 信息处理装置及其控制方法 | |
| JPH10301948A (ja) | 画像および映像検索方法 | |
| WO2018030048A1 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
| Shan et al. | Learning exemplar-based categorization for the detection of multi-view multi-pose objects | |
| JP2898562B2 (ja) | ナンバープレート決定方法 | |
| CN115527168A (zh) | 行人重识别方法、存储介质、数据库编辑方法、存储介质 | |
| JPH0729003A (ja) | 指紋照合装置 | |
| JP4787424B2 (ja) | 映像オブジェクト検出・追跡装置 | |
| JP3796997B2 (ja) | 物体認識方法及び物体認識装置 | |
| CN111597980A (zh) | 一种目标对象聚类方法及装置 | |
| JP4221960B2 (ja) | 帳票識別装置及びその識別方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080618 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140822 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |