JP6079076B2 - 物体追跡装置及び物体追跡方法 - Google Patents

Description

本発明は、物体追跡装置及び物体追跡方法に関する。

近年、入力画像中の追跡対象を追跡する技術として、パーティクルフィルタを用いた追跡技術が研究されている。パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行うものである。時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。

非特許文献１には、入力画像中の人物（人物画像）を追跡する技術を開示する。非特許文献１に開示された技術は、人物の上半身のエッジがオーム型になることから、オーム型のＢスプライン曲線をパーティクルとして設定する。そして、非特許文献１に開示された技術は、Ｂスプライン曲線を並進、伸縮、回転させることで多数のパーティクルを生成し、これらのパーティクルを追跡対象である人物の周辺に分散させる。そして、非特許文献１に開示された技術は、各パーティクルで尤度を測定し、尤度の高さに比例する確率でＮ個のパーティクルを選択する（選択ステップ）。なお、尤度は、各パーティクルと入力画像中のエッジとの距離となる。これらの距離が小さいほど尤度が高い。

そして、非特許文献１に開示された技術は、選択ステップで選択された尤度の高いＮ個のパーティクルを入力画像上にランダムに分散させる（予測ステップ）。そして、非特許文献１に開示された技術は、各パーティクルの尤度を算出し、これらの尤度を加重平均することで、人物の位置を推定（測定）する（測定ステップ）。

一方、特許文献１は、追跡対象の推定形状を複数の基準形状の線形和として表すことで、追跡対象の形状（輪郭）を推定する技術を開示する。すなわち、特許文献１に開示された技術は、基準形状を示すＢスプライン曲線を複数用意する。そして、特許文献１に開示された技術は、基準形状の線形和（各Ｂスプライン曲線に係数を乗じた値の和）を追跡対象の推定形状とする。基準形状は、例えばぐー、ちょき、ぱーとなる。そして、特許文献１に開示された技術は、係数の組（係数セット）をパーティクルとする。したがって、パーティクルは推定形状を示す。特許文献１に開示された技術は、遷移確率が高い基準形状に多くのパーティクルを配置する（遷移確率が高い基準形状の係数が大きいパーティクルを多数用意する）ことで、追跡対象の形状を推定する。

特許文献２は、色を尤度とすることで、追跡対象を追跡する技術を開示する。すなわち、特許文献２に開示された技術は、画素をパーティクルとして入力画像に分散させる。そして、パーティクルの色と目標色（追跡対象の色に相当）との差分をパーティクルの尤度として算出する。そして、特許文献２に開示された技術は、尤度に基づいて、追跡対象を追跡する。

特開２０１０−１５２５５７号公報 特開２０１０−２５１８４９号公報

ＣＯＮＤＥＮＳＡＴＩＯＮ−Ｃｏｎｄｉｔｉｏｎａｌ Ｄｅｎｓｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ ｆｏｒ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ， ＭＩＣＨＡＥＬ ＩＳＡＲＤ ＡＮＤ ＡＮＤＲＥＷ ＢＬＡＫＥ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２９（１）， ５−２８（１９９８）

しかし、非特許文献１には、オクルージョンに弱いという問題があった。すなわち、人物画像の一部が他の画像によって遮蔽された場合、人物画像のエッジはオーム型にならない。したがって、どのパーティクルも尤度が不安定になるので、人物の追跡精度が落ちる。

同様に、特許文献１の技術もオクルージョンに弱いという問題があった。すなわち、特許文献１の技術では、パーティクルは追跡対象の推定形状を示す。したがって、入力画像において、追跡対象の一部が他の物体によって遮蔽された場合、どのパーティクルの形状も追跡対象の形状に一致しない。したがって、どのパーティクルも尤度が不安定になるので、追跡対象の追跡精度が落ちる。このように、非特許文献１及び特許文献１に開示された技術は、オクルージョンに弱いという問題があった。

さらに、特許文献２では、色を尤度としているため、入力画像に色の特徴が少ない場合（例えば、色のコントラストが少ない場合）に、各パーティクルの尤度が不安定になり、追跡精度が落ちるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オクルージョンに強い物体追跡を行うことができ、かつ、入力画像に色の特徴が少ない場合であっても追跡対象を精度よく追跡することが可能な、新規かつ改良された物体追跡装置及び物体追跡方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力画像からエッジ情報を抽出するエッジ情報生成部と、エッジに基づいて、エッジの周辺の重みが大きい重みマップを生成する重みマップ生成部と、重みマップに基づいて、複数の局所エッジを有し、かつ局所エッジの配置が互いに異なる複数のパーティクルを生成するパーティクル生成部と、パーティクルに基づいて、入力画像から追跡対象を検出する追跡対象検出部と、を備えることを特徴とする、物体追跡装置が提供される。

ここで、複数のパーティクルのうち、いずれか一のパーティクルが有する局所エッジは、他のパーティクルが有する局所エッジの一部が欠落したものであっていてもよい。

また、追跡対象検出部は、入力画像にパーティクルを配置するサンプリング部と、入力画像のエッジと、入力画像に配置されたパーティクルとの類似度をエッジ尤度として算出する観測部と、エッジ尤度に基づいて、追跡対象を検出する追跡情報生成部と、を備えてもよい。

また、追跡情報生成部は、エッジ尤度を重みとする加重平均に基づいて、追跡対象の位置及び速度を算出してもよい。

また、重みマップ生成部は、エッジ尤度が所定値以上となるパーティクルを重みマップに重畳することで、重みマップを更新するようにしてもよい。

また、パーティクル生成部は、エッジ尤度が所定値以上となるパーティクルを次フレームのパーティクルとしてもよい。

また、重みマップ生成部は、フレーム間で画素値が変化した画素の重みを大きくすることで、重みマップを更新するようにしてもよい。

また、重みマップ生成部は、追跡対象の移動ベクトルと同じ移動ベクトルを有する画素の重みを大きくすることで、重みマップを更新するようにしてもよい。

本発明の他の観点によれば、入力画像からエッジ情報を抽出するステップと、エッジ情報に基づいて、エッジ情報の周辺の重みが大きい重みマップを生成するステップと、重みマップに基づいて、複数の局所エッジを有し、かつ局所エッジの配置が互いに異なる複数のパーティクルを生成するステップと、パーティクルに基づいて、入力画像から追跡対象を検出するステップと、を含むことを特徴とする、物体追跡方法が提供される。

ここで、複数のパーティクルのうち、いずれか一のパーティクルが有する局所エッジは、他のパーティクルが有する局所エッジの一部が欠落したものであっていてもよい。

また、入力画像にパーティクルを配置するステップと、入力画像のエッジ情報と、入力画像に配置されたパーティクルとの類似度をエッジ尤度として算出するステップと、エッジ尤度に基づいて、追跡対象を検出するステップと、を含むようにしてもよい。

また、エッジ尤度を重みとする加重平均に基づいて、追跡対象の位置及び速度を算出するステップを含んでいてもよい。

また、エッジ尤度が所定値以上となるパーティクルを重みマップに重畳することで、重みマップを更新するようにしてもよい。

また、エッジ尤度が所定値以上となるパーティクルを次フレームのパーティクルとするようにしてもよい。

また、フレーム間で画素値が変化した画素の重みを大きくすることで、重みマップを更新するステップを含むようにしてもよい。

また、追跡対象の移動ベクトルと同じ移動ベクトルを有する画素の重みを大きくすることで、重みマップを更新するステップを含むようにしてもよい。

以上説明したように本発明に係る物体追跡装置は、複数のパーティクルを生成する。ここで、各パーティクルは、複数の局所エッジを有し、かつ、互いに異なっている。したがって、物体追跡装置は、オクルージョンによって追跡対象の一部が隠れても、当該隠れた部分に局所エッジを有しないパーティクルに基づいて、追跡対象を追跡することができる。したがって、物体追跡装置は、オクルージョンに強い追跡を行うことができる。

本発明の第１の実施形態に係る追跡対象追跡システムの構成を示すブロック図である。 同実施形態にかかる追跡対象追跡システムによる処理の手順を示すフローチャートである。 入力画像の一例を示す説明図である。 勾配方向の量子化を説明するための説明図である。 重みマップの一例を示す説明図である。 エッジ候補（エッジレット（Ｅｄｇｅｌｅｔ）形状パターン）の一例を示す説明図である。 パーティクルの一例を示す説明図である。 パーティクルの一例を示す説明図である。 パーティクルの一例を示す説明図である。 重みマップの他の例を示す説明図である。 パーティクルの他の例を示す説明図である。 更新された重みづけマップの一例を示す説明図である。 本発明の第２の実施形態に係る追跡対象追跡システムの構成を示すブロック図である。 同実施形態にかかる追跡対象追跡システムによる処理の手順を示すフローチャートである。 本発明の第３の実施形態に係る追跡対象追跡システムの構成を示すブロック図である。 同実施形態にかかる追跡対象追跡システムによる処理の手順を示すフローチャートである。 オクルージョンの問題を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．背景技術が有する問題点の検討＞
本発明者は、背景技術が有する問題点について鋭意検討した結果、本実施形態に係る物体追跡装置に想到するに至った。そこで、背景技術、具体的には非特許文献１、特許文献１、２が有する問題点について詳細に説明する。

非特許文献１及び特許文献１に開示された技術は、上述したように、オクルージョンに弱いという問題があった。図１７（ａ）はオクルージョンの一例を示す。この例では、人物画像１１０の一部が人物画像１２０によって遮蔽されている。一方、非特許文献１に開示された技術は、図１７（ｂ）に示すように、オーム型のＢスプライン曲線５００をパーティクルとしていた。このため、非特許文献１に開示された技術は、人物画像１１０の追跡中にオクルージョンが生じた場合、人物画像１１０のエッジがオーム型にならない。したがって、どのパーティクルも尤度が不安定になるので、人物の追跡精度が落ちる。

同様に、特許文献１の技術もオクルージョンに弱いという問題があった。すなわち、特許文献１の技術では、パーティクルは追跡対象の推定形状を示す。したがって、入力画像において、追跡対象の一部が他の物体によって遮蔽された場合、どのパーティクルの形状も追跡対象の形状に一致しない。したがって、どのパーティクルも尤度が不安定になるので、追跡対象の追跡精度が落ちる。このように、非特許文献１及び特許文献１に開示された技術は、オクルージョンに弱いという問題があった。

さらに、特許文献２では、色を尤度としているため、入力画像に色の特徴が少ない場合（例えば、色のコントラストが少ない場合）に、各パーティクルの尤度が不安定になり、追跡精度が落ちるという問題があった。

さらに、非特許文献１には、追跡対象の形状変化に弱いという問題もあった。すなわち、非特許文献１では、オーム型のＢスプライン曲線を並進、伸縮、回転させることでパーティクルを設定する。したがって、追跡対象の形状変化がＢスプライン曲線の並進、伸縮、回転では表現できない場合、各パーティクルの尤度が不安定になる。

さらに、非特許文献１及び特許文献１では、追跡対象の形状に対する事前知識が必要になるので、汎用性が低下するという問題があった。すなわち、非特許文献１及び特許文献１では、パーティクルが追跡対象の形状を表すので、追跡精度を担保するためには、パーティクルが追跡対象の形状を正しく反映している必要がある。したがって、これらの文献に開示された技術を実現するためには、設計者等は、追跡対象がどのような形状を有するかを事前に把握しておく必要がある。

これに対し、本実施形態に係る物体追跡装置は、局所エッジを複数有し、かつ互いに異なる複数のパーティクルを生成し、これらのパーティクルに基づいて、追跡対象（例えば人物等の移動物体）を検出する。これにより、物体追跡装置は、オクルージョン及び形状変化に強い物体追跡を行うことができ、追跡対象に対する事前知識が不要であり、かつ入力画像に色の特徴が少ない場合であっても追跡対象を精度よく追跡することができる。以下、本実施形態を詳細に説明する。

＜２．第１の実施形態＞
（物体追跡システムの構成）
まず、図１等に基づいて、第１の実施形態に係る物体追跡システム１−１の構成について説明する。物体追跡システム１−１は、カメラ１０と、物体追跡装置２０−１と、表示装置３０とを備える。

（カメラ１０）
カメラ１０は、撮影を行うことで撮像画像を生成し、物体追跡装置２０−１に出力する。

（物体追跡装置）
物体追跡装置２０−１は、画像入力部２１、画像記録部２２、出力制御部２３、物体検出部２４、物体追跡部２５−１、及び追跡情報記録部２６を備える。なお、物体追跡装置２０−１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びハードディスク等のハードウェア構成を有する。ＲＯＭには、物体追跡装置２０−１に画像入力部２１、画像記録部２２、出力制御部２３、物体検出部２４、物体追跡部２５−１、及び追跡情報記録部２６を実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、画像入力部２１、画像記録部２２、出力制御部２３、物体検出部２４、物体追跡部２５−１、及び追跡情報記録部２６が実現される。

（画像入力部）
画像入力部２１は、カメラ１０から与えられた撮像画像を入力画像として取得し、画像記録部２２に記憶する。図３に入力画像の一例として入力画像１００を示す。図３に示すように、入力画像にはｘｙ軸が設定されており、各画素はｘｙ座標及び画素値（輝度等）を有する。図３に示す例では、左上端の画素が原点となり、水平方向に伸びる軸がｘ軸、鉛直方向に伸びる軸がｙ軸となっている。また、入力画像１００には、人物画像１０１、１０２が描かれている。

（画素記録部及び出力制御部）
画像記録部２２は、入力画像を記憶する。出力制御部２３は、画像記録部２２から入力画像を取得し、追跡情報記録部２６から追跡情報を取得する。ここで、追跡情報は、物体追跡部２５−１による追跡結果に関する情報であり、具体的には、追跡対象の現フレームでの位置座標、及び移動ベクトル等である。

（物体検出部）
物体検出部２４は、画像記録部２２から入力画像を取得し、入力画像から追跡対象を検出する。追跡対象は、例えば人物、人物の顔、車両等である。検出の方法は特に制限されず、公知の方法が任意に適用可能である。例えば、物体検出部２４は、Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ， ’’Ｒａｐｉｄ ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，’’ Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｃｏｎｆ．ＣＶＰＲ， １， ｐｐ．５１１−５１８， ２００１．等に記載された検出方法に基づいて、追跡対象を検出する。検出結果は、物体追跡部２５−１に出力される。

（物体追跡部）
物体追跡部２５−１は、エッジ情報生成部２５ａ、初期重みマップ生成部２５ｂ、初期パーティクル生成部２５ｃ、サンプリング部２５ｄ、観測部２５ｅ、追跡情報生成部２５ｆ、重みマップ更新部２５ｇ、及びパーティクル更新部２５ｈを備える。初期重みマップ生成部２５ｂ及び重みマップ更新部２５ｇが重みマップ生成部を構成し、初期パーティクル生成部２５ｃ及びパーティクル更新部２５ｈがパーティクル生成部を構成する。また、サンプリング部２５ｄ、観測部２５ｅ、及び追跡情報生成部２５ｆが追跡対象検出部を構成する。

（エッジ情報生成部）
エッジ情報生成部２５ａは、画像記録部２２から入力画像を取得し、物体検出部２４から与えられた検出結果に基づいて、入力画像から追跡対象のエッジ情報を抽出する。具体的には、エッジ情報生成部２５ａは、追跡対象のエッジ部分の画素毎に画素値の勾配強度及び勾配方向を算出する。すなわち、エッジ情報は、画素の座標と勾配強度及び勾配方向との対応関係を示す。座標（ｘ，ｙ）の画素が有する勾配強度は以下の式（１）で示される。

式（１）中、Ｇ（ｘ，ｙ）は勾配強度であり、Ｇ_ｘ（ｘ，ｙ）はｘ方向の勾配であり、Ｇ_ｙ（ｘ，ｙ）はｙ方向の勾配である。ｘ方向の勾配は、座標（ｘ＋１，ｙ）の画素が有する画素値と座標（ｘ，ｙ）の画素が有する画素値との差分である。同様に、ｙ方向の勾配は、座標（ｘ，ｙ＋１）の画素が有する画素値と座標（ｘ，ｙ）の画素が有する画素値との差分である。座標（ｘ，ｙ）の画素が有する勾配方向は、以下の式（２）で表される。式（２）中、θ（ｘ，ｙ）は勾配方向である。

さらに、エッジ情報生成部２５ａは、勾配方向をｋ（ｋは１以上の整数）方向に量子化し、量子化した勾配方向毎の勾配強度を算出する。以下、量子化前の勾配方向を単に「勾配方向」とも称し、量子化された勾配方向を「量子化勾配方向」とも称する。勾配強度は、以下の式（３）で示される。

式（３）中、Ψ_ｋ（ｘ，ｙ）は勾配強度を示す。式（３）によれば、各画素は、ある１つの量子化勾配方向に対してのみ実効値（０より大きな値）を有する。図４は、ｋ＝６の場合における勾配方向と量子化勾配方向との対応関係を示す。この例の場合、ある画素の勾配強度がＧ（ｘ，ｙ）、勾配方向が３５度となる場合、量子化勾配方向＝１のときに勾配強度＝Ｇ（ｘ，ｙ）となる。エッジ情報生成部２５ａは、エッジ情報を初期重みマップ生成部２５ｂ、初期パーティクル生成部２５ｃ、観測部２５ｅ、重みマップ更新部２５ｇ、及びパーティクル更新部２５ｈに出力する。

（初期重みマップ生成部）
初期重みマップ生成部２５ｂは、追跡対象の追跡開始時に初期重みマップを生成する。初期重みマップは、重みマップの初期値である。初期重みマップ生成部２５ｂは、具体的には、エッジ情報をそのまま重みマップとする。重みマップは、画素毎に重み情報を有する。この場合、重み情報は勾配強度に一致する。初期重みマップ生成部２５ｂは、エッジ情報に２次元のガウシアンフィルタを作用させることで、物体中央の重みを大きくしてもよい。したがって、重みマップでは、入力画像のエッジ周辺で重みが大きくなる。初期重みマップ生成部２５ｂは、生成した重みマップ（初期重みマップ）を初期パーティクル生成部２５ｃ及び重みマップ更新部２５ｇに出力する。

図５に重みマップの一例として重みマップ２００を示す。重みマップ２００は、入力画像１００に対応するものである。また、この例では、図３に示す人物画像１０１が追跡対象となっている。重みマップ２００中の曲線２０１は、重みが大きくなる領域であり、人物画像１０１のエッジ部分１０１Ａに対応する。

（初期パーティクル生成部）
初期パーティクル生成部２５ｃは、初期重みマップと、エッジ情報とに基づいて、複数の局所エッジを有し、かつ局所エッジの配置が互いに異なる複数の初期パーティクルを生成する。初期パーティクルは、パーティクルの初期値である。初期パーティクル生成部２５ｃは、追跡対象の追跡開始時に初期パーティクルを生成する。

具体的には、初期パーティクル生成部２５ｃは、初期重みマップの各画素が有する重み情報に基づいてランダムサンプリング（重み付きランダムサンプリング）を行うことで、所定数の画素を選択する。このランダムサンプリングによれば、重み情報の大きな画素の周辺から多数の画素が選択される。なお、初期パーティクル生成部２５ｃは、サンプリングの偏りを低減するために、選択の際の条件として既選択との距離が一定値以上であるという条件を設定しても良い。そして、初期パーティクル生成部２５ｃは、選択座標毎に局所エッジを選択する。

具体的には、初期パーティクル生成部２５ｃは、複数のエッジ候補（エッジレット形状パターン）を記憶する。エッジ候補は、例えば直線、円弧等である。すなわち、初期パーティクル生成部２５ｃは、互いに長さ及び向きが異なる複数の直線、互いに半径及び中心角が異なる複数の円弧をエッジ候補として記憶する。図６に、エッジ候補の一例として、エッジ候補２５０を示す。もちろん、エッジ候補は直線及び曲線に限られず、任意の形状の曲線であってもよい。例えば、直線及び曲線の組み合わせであってもよい。エッジ候補は、複数の画素で構成され、各画素には、識別番号（画素の順番）、ｘｙ座標、及び量子化勾配方向が設定されている。なお、エッジ候補のｘｙ座標の基準となるｘｙ軸は入力画像のｘｙ軸とは別に設定されている。

そして、初期パーティクル生成部２５ｃは、各エッジ候補と選択画素及びその近傍のエッジ情報との類似度、すなわちエッジレット類似度を以下の式（４）、（５）に基づいて算出する。

式（４）、（５）中、Ｓ（ｐ）はエッジレット類似度であり、ｐは選択画素のｘｙ座標（ｘ，ｙ）であり、Ｋはエッジ候補の長さ（すなわち画素数）であり、ｕ_ｉはエッジ候補を構成するｉ番目の画素のｘｙ座標である。Ｇ（ｕ_ｉ＋ｐ）は、ｕ_ｉ＋ｐの画素が有する勾配強度（実効値）であり、Ψ（ｕ_ｉ＋ｐ）は、ｕ_ｉ＋ｐの画素が有する量子化勾配方向であり、Ψ_ｉ ^Ｅはエッジ候補を構成するｉ番目の画素が有する量子化勾配方向である。

ｌ［ｘ］は、量子化勾配方向の差ｘの重みを表している。すなわち、Ψ（ｕ_ｉ＋ｐ）とΨ_ｉ ^Ｅとのなす角が小さいほど重みは大きくなり、これらのなす角が９０度に近いほど、重みは小さくなる。式（５）では、ｋ＝６の場合の重みを示した。なお、式（４）、（５）によれば、エッジレット類似度は勾配強度に大きく依存するので、初期パーティクル生成部２５ｃは、勾配強度をガンマ補正等に補正することで、勾配強度への依存度を低くしてもよい。

初期パーティクル生成部２５ｃは、エッジレット類似度が最も高いエッジ候補を選択画素の局所エッジとする。すなわち、初期パーティクル生成部２５ｃは、局所エッジとしてエッジレットを利用し、局所エッジの尤度としてエッジレット類似度を利用する。

初期パーティクル生成部２５ｃは、すべての選択画素に対して局所エッジを選択した後、複数の初期パーティクルを生成する。具体的には、初期パーティクル生成部２５ｃは、局所エッジをランダムに複数選択し、選択された局所エッジと選択画素とが関連付けられた初期パーティクルを生成する。以下、パーティクルを構成する選択画素を「パーティクル代表画素」とも称する。そして、初期パーティクル生成部２５ｃは、同様に局所エッジをランダムに選択することで、初期パーティクルを複数生成する。

図７〜図９に、初期パーティクルの一例として初期パーティクル３００〜３０２を示す。初期パーティクル３００〜３０２は、それぞれ局所エッジ３１０〜３１２を有する。なお、図７〜図９では、参考のために、重みマップ２００の曲線２０１を重畳して示す。曲線２０１は、エッジ情報に対応しているので、各局所エッジ３１０〜３１２は曲線２０１とほぼ形状が一致している。

また、初期パーティクル３００〜３０２は、互いに異なる局所エッジ３１０〜３１２を有する。すなわち、初期パーティクル３００〜３０２は互いに異なっている。具体的には、各初期パーティクルが有する局所エッジは、他の初期パーティクルが有する局所エッジの一部が欠落したものとなっている。例えば、初期パーティクル３００では、初期パーティクル３０１内の局所エッジ３１１ａ、３１１ｂが欠落している。同様に、初期パーティクル３０１では、初期パーティクル３００内の局所エッジ３１０ａが欠落している。同様に、初期パーティクル３０２では、初期パーティクル３００内の局所エッジ３１０ａ及び初期パーティクル３０１内の局所エッジ３１１ａが欠落している。

このように、各初期パーティクルで一部の局所エッジを欠落させることとしたのは、以下の理由による。すなわち、追跡対象の一部が他の画像によって隠された場合、隠れた部分のエッジ情報も消失する。したがって、エッジ情報が消失した箇所に局所エッジが存在する場合、その局所エッジのエッジ尤度（後述）が不安定になる。例えば、人物画像１０１の右腕部分が他の画像（例えば人物画像１０２）によって隠された場合、局所エッジ３１１ａのエッジ尤度は不安定になる。この結果、初期パーティクル３０１全体のエッジ尤度も不安定になる。そこで、本実施形態では、各パーティクルで一部の局所エッジを欠落させることした。これにより、例えば初期パーティクル３０２では人物画像１０１の右腕部分に局所エッジが存在しないので、右腕部分が隠れたとしても、初期パーティクル３０２全体のエッジ尤度は安定する。これにより、本実施形態では、オクルージョンに強い追跡が可能になる。

初期パーティクル生成部２５ｃは、生成したパーティクル、すなわち初期パーティクルをサンプリング部２５ｄ及びパーティクル更新部２５ｈに出力する。

（サンプリング部）
サンプリング部２５ｄは、初期パーティクル生成部２５ｃまたはパーティクル更新部２５ｈから与えられたパーティクルに基づいて、以下の処理を行う。まず、サンプリング部２５ｄは、サンプリングを最初に行う（前フレームで初期パーティクルが生成された）場合には、パーティクルの配置位置を入力画像の中心画素とする。サンプリング部２５ｄは、２回目以降のサンプリング時（パーティクル更新部２５ｈからパーティクルが与えられた場合）には、前フレームのパーティクルの配置位置に追跡対象の移動ベクトル（前フレームで算出される）を加えた位置を現フレームのパーティクルの配置位置とする。

そして、サンプリング部２５ｄは、パーティクルの配置位置を中心としたガウス分布に従って、パーティクルを分散させる。具体的には、サンプリング部２５ｄは、パーティクルの配置位置を中心としたガウス分布に従って、パーティクルの中心位置を決定し、パーティクルの中心位置と入力画像の中心画素との差分をパーティクル代表画素の座標値に加算する。サンプリング部２５ｄは、分散後の各パーティクルに関するサンプリング情報を観測部２５ｅに出力する。

（観測部）
観測部２５ｅは、サンプリング情報に基づいて、各パーティクルのエッジ尤度を算出する。具体的には、観測部２５ｅは、上述した式（４）、（５）に基づいて、パーティクルを構成する局所エッジ毎にエッジレット類似度を算出する。このエッジレット類似度は各局所エッジのエッジ尤度となる。なお、この処理では、ｐはパーティクル代表画素のｘｙ座標（ｘ，ｙ）となり、Ｋは局所エッジの長さ（すなわち画素数）となり、ｕ_ｉは局所エッジを構成するｉ番目の画素のｘｙ座標となる。Ｇ（ｕ_ｉ＋ｐ）は、ｕ_ｉ＋ｐの画素が有する勾配強度（実効値）となり、Ψ（ｕ_ｉ＋ｐ）は、ｕ_ｉ＋ｐの画素が有する量子化勾配方向となり、Ψ_ｉ ^Ｅは局所エッジを構成するｉ番目の画素が有する量子化勾配方向となる。そして、観測部２５ｅは、局所エッジのエッジ尤度を合計することで、パーティクルのエッジ尤度を算出する。観測部２５ｅは、各パーティクルのエッジ尤度に関する観測結果情報を追跡情報生成部２５ｆ及び重みマップ更新部２５ｇに出力する。

（追跡情報生成部）
追跡情報生成部２５ｆは、観測結果情報に基づいて、追跡対象の現フレームでの位置を特定する。すなわち、追跡情報生成部２５ｆは、追跡対象を検出する。具体的には、追跡情報生成部２５ｆは、各パーティクルの中心位置座標に各パーティクルのエッジ尤度を重みとして乗じることで重み付き中心位置座標を算出し、重み付き中心位置座標を算術平均する。すなわち、追跡情報生成部２５ｆは、各パーティクルの中心位置座標を加重平均する。追跡情報生成部２５ｆは、これにより得られた座標を追跡対象の現フレームでの位置とする。そして、追跡情報生成部２５ｆは、追跡対象の現フレームでの位置座標から前フレームでの位置座標を減じることで、追跡対象の移動ベクトルを算出する。なお、追跡情報生成部２５ｆは、追跡対象の平均移動量を移動ベクトルとしてもよい。平均移動量は、例えば、追跡対象の現フレームでの位置座標から初期位置（追跡情報生成部２５ｆが最初に特定した追跡対象の位置）座標を減じた値である。もちろん、追跡情報生成部２５ｆは、他の値を移動ベクトルとしてもよい。これにより、前記追跡情報生成部は、エッジ尤度を重みとする加重平均に基づいて、前記追跡対象の位置及び速度（移動ベクトル）を算出する。追跡情報生成部２５ｆは、追跡対象の現フレームでの位置及び移動ベクトルに関する追跡情報を追跡情報記録部２６に記憶する。

（重みマップ更新部）
重みマップ更新部２５ｇは、前フレームの重みマップ（初期重みマップまたは前フレームで更新された重みマップ）を更新する。具体的には、重みマップ更新部２５ｇは、前フレームの重みマップにエッジ情報を加算する。具体的には、重みマップ更新部２５ｇは、エッジ情報中の勾配強度を加算する。さらに、重みマップ更新部２５ｇは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。

具体的には、重みマップ更新部２５ｇは、重みマップの各画素の内、局所エッジに相当する画素の重みを所定値だけ大きくする。これにより、重みマップ更新部２５ｇは、前フレームの重みマップを更新する。この処理により、追跡対象の形状変化に強い追跡が可能になる。さらに、オクルージョンにより隠れている部分の重みが小さくなり、かつ、見えている範囲がパーティクルの局所エッジとして選択されやすくなる。すなわち、オクルージョンに強い追跡が可能になる。なお、重みマップ更新部２５ｇは、最大尤度のパーティクルのみならず、エッジ尤度が所定値以上となるパーティクルを用いて、同様の処理を行なってもよい。重みマップ更新部２５ｇは、更新された重みマップをパーティクル更新部２５ｈに出力する。

図１０に更新前の重みマップの例として重みマップ２１０を示す。重みマップ２１０中の領域２１１は、所定値以上の重みを有する領域を示す。図１１は、重みマップ２１０に基づいて算出された最大尤度のパーティクル３０３を示す。パーティクル３０３は、局所エッジ３１３を有する。図１２に更新後の重みマップ２２０を示す。重みマップ２２０中の領域２２１は、局所エッジ３１３と重なるので、重みが大きくなっている。一方、領域２２２は、局所エッジ３１３と重ならないので、前フレームの値が維持される。

（パーティクル更新部）
パーティクル更新部２５ｈは、更新後の重みマップと、エッジ情報とに基づいて、前フレームのパーティクル（初期パーティクルまたは前フレームで更新されたパーティクル）を更新する。具体的には、パーティクル更新部２５ｈは、初期パーティクル生成部２５ｃと同様の処理を更新後の重みマップと、エッジ情報とに基づいて行うことで、パーティクルを更新する。なお、パーティクル更新部２５ｈは、ランダムサンプリングによる精度低下を抑制するために、前フレームで最大尤度となったパーティクルを更新後のパーティクル（次フレームのパーティクル）に含めても良い。なお、重みマップ更新部２５ｇは、最大尤度のパーティクルのみならず、エッジ尤度が所定値以上となるパーティクルを更新後のパーティクルに含めてもよい。パーティクル更新部２５ｈは、更新後のパーティクルをサンプリング部に出力する。

（追跡情報記録部及び表示装置）
追跡情報記録部２６は、追跡情報を記録する。表示装置３０は、出力制御部２３による制御により、入力画像及び追跡情報を重畳して表示する。すなわち、表示装置３０は、入力画像上に追跡対象の現フレームでの位置座標及び移動ベクトルを表示することができる。

（物体追跡システムによる処理）
次に、物体追跡システム１−１による処理の手順を図２に示すフローチャートに沿って説明する。なお、以下の処理に並行して、カメラ１０は撮像画像を画像入力部２１に出力し、画像入力部２１は撮像画像を入力画像として画像記録部２２に記憶するものとする。

ステップＳ１０において、物体検出部２４は、追跡対象を検出し、検出結果を物体追跡部２５−１に出力する。エッジ情報生成部２５ａは、画像記録部２２から現フレームの入力画像を取得し、物体検出部２４から与えられた検出結果に基づいて、入力画像から追跡対象のエッジ情報を抽出する。エッジ情報生成部２５ａは、エッジ情報を初期重みマップ生成部２５ｂ、初期パーティクル生成部２５ｃ、観測部２５ｅ、重みマップ更新部２５ｇ、及びパーティクル更新部２５ｈに出力する。その後、物体追跡装置２０−１は、以下のステップＳ２０〜Ｓ９０の処理をすべての追跡対象に対して行う。

ステップＳ２０において、初期重みマップ生成部２５ｂは、現フレームが追跡開始時か否か（すなわち、初期重みマップ及び初期パーティクルが生成済みであるか否か）を判定する。そして、初期重みマップ生成部２５ｂは、現フレームが追跡開始時である（初期重みマップ及び初期パーティクルが未生成である）と判定した場合には、ステップＳ３０に進む。一方、初期重みマップ生成部２５ｂは、現フレームが追跡開始後である（初期重みマップ及び初期パーティクルが生成済みである）と判定した場合には、ステップＳ５０に進む。

ステップＳ３０において、初期重みマップ生成部２５ｂは、追跡対象の追跡開始時に初期重みマップを生成する。初期重みマップ生成部２５ｂは、具体的には、エッジ情報をそのまま重みマップとする。重みマップは、画素毎に重み情報を有する。初期重みマップ生成部２５ｂは、生成した重みマップ（初期重みマップ）を初期パーティクル生成部２５ｃ及び重みマップ更新部２５ｇに出力する。

ステップＳ４０において、初期パーティクル生成部２５ｃは、初期重みマップと、エッジ情報とに基づいて、複数の局所エッジを有し、かつ局所エッジの配置が互いに異なる複数の初期パーティクルを生成する。初期パーティクルは、パーティクルの初期値である。初期パーティクル生成部２５ｃは、追跡対象の追跡開始時に初期パーティクルを生成する。

具体的には、初期パーティクル生成部２５ｃは、初期重みマップの各画素が有する重み情報に基づいてランダムサンプリング（重み付きランダムサンプリング）を行うことで、所定数の画素を選択する。そして、初期パーティクル生成部２５ｃは、選択座標毎に局所エッジを選択する。

具体的には、初期パーティクル生成部２５ｃは、各エッジ候補と選択画素及びその近傍のエッジ情報との類似度、すなわちエッジレット類似度を上述した式（４）、（５）に基づいて算出する。

初期パーティクル生成部２５ｃは、エッジレット類似度が最も高いエッジ候補を選択画素の局所エッジとする。初期パーティクル生成部２５ｃは、すべての選択画素に対して局所エッジを選択した後、複数の初期パーティクルを生成する。具体的には、初期パーティクル生成部２５ｃは、局所エッジをランダムに複数選択し、選択された局所エッジと選択画素とが関連付けられた初期パーティクルを生成する。そして、初期パーティクル生成部２５ｃは、同様に局所エッジをランダムに選択することで、初期パーティクルを複数生成する。

初期パーティクル生成部２５ｃは、生成したパーティクル、すなわち初期パーティクルをサンプリング部２５ｄ及びパーティクル更新部２５ｈに出力する。その後、物体追跡装置２０−１は、本処理を終了する。

ステップＳ５０において、サンプリング部２５ｄは、初期パーティクル生成部２５ｃまたはパーティクル更新部２５ｈから与えられたパーティクルに基づいて、以下の処理を行う。まず、サンプリング部２５ｄは、現フレームのパーティクルの配置位置を算出する。そして、サンプリング部２５ｄは、パーティクルの配置位置を中心としたガウス分布に従って、パーティクルを分散させる。サンプリング部２５ｄは、分散後の各パーティクルに関するサンプリング情報を観測部２５ｅに出力する。

ステップＳ６０において、観測部２５ｅは、サンプリング情報に基づいて、各パーティクルのエッジ尤度を算出する。具体的には、観測部２５ｅは、上述した式（４）、（５）に基づいて、パーティクルを構成する局所エッジ毎にエッジレット類似度を算出する。このエッジレット類似度は各局所エッジのエッジ尤度となる。そして、観測部２５ｅは、局所エッジのエッジ尤度を合計することで、パーティクルのエッジ尤度を算出する。観測部２５ｅは、各パーティクルのエッジ尤度に関する観測結果情報を追跡情報生成部２５ｆ及び重みマップ更新部２５ｇに出力する。

ステップＳ７０において、追跡情報生成部２５ｆは、観測結果情報に基づいて、追跡対象の現フレームでの位置を特定する。すなわち、追跡情報生成部２５ｆは、追跡対象を検出する。具体的には、追跡情報生成部２５ｆは、各パーティクルの中心位置座標を加重平均する。追跡情報生成部２５ｆは、これにより得られた座標を追跡対象の現フレームでの位置とする。そして、追跡情報生成部２５ｆは、追跡対象の現フレームでの位置座標から前フレームでの位置座標を減じることで、追跡対象の移動ベクトルを算出する。追跡情報生成部２５ｆは、追跡対象の現フレームでの位置及び移動ベクトルに関する追跡情報を追跡情報記録部２６に記憶する。

ステップＳ８０において、重みマップ更新部２５ｇは、前フレームの重みマップ（初期重みマップまたは前フレームで更新された重みマップ）を更新する。具体的には、重みマップ更新部２５ｇは、前フレームの重みマップにエッジ情報を加算する。さらに、重みマップ更新部２５ｇは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。これにより、重みマップ更新部２５ｇは、前フレームの重みマップを更新する。重みマップ更新部２５ｇは、更新された重みマップをパーティクル更新部２５ｈに出力する。

ステップＳ９０において、パーティクル更新部２５ｈは、更新後の重みマップと、エッジ情報とに基づいて、前フレームのパーティクル（初期パーティクルまたは前フレームで更新されたパーティクル）を更新する。具体的には、パーティクル更新部２５ｈは、初期パーティクル生成部２５ｃと同様の処理を、更新後の重みマップとエッジ情報とに基づいて行うことで、パーティクルを更新する。パーティクル更新部２５ｈは、更新後のパーティクルをサンプリング部に出力する。その後、物体追跡装置２０−１は、本処理を終了する。

以上により、第１の実施形態によれば、物体追跡装置２０−１は、複数のパーティクルを生成する。ここで、各パーティクルは、複数の局所エッジを有し、かつ、互いに異なっている。したがって、物体追跡装置２０−１は、オクルージョンによって追跡対象の一部が隠れても、当該隠れた部分に局所エッジを有しないパーティクルのエッジ尤度を高めることができる。すなわち、物体追跡装置２０−１は、当該隠れた部分に局所エッジを有しないパーティクルに基づいて、追跡対象を追跡することができる。したがって、物体追跡装置２０−１は、オクルージョンに強い追跡を行うことができる。

さらに、物体追跡装置２０−１は、局所エッジを用いて物体追跡を行うので、入力画像に色の特徴が少ない場合であっても追跡対象を精度よく追跡することができる。さらに、物体追跡装置２０−１は、局所エッジを有するパーティクルを自動的に生成するので、追跡対象に対する事前知識が不要となる。また、さまざまな形状の追跡対象を追跡することが可能となる。

さらに、第１の実施形態では、複数のパーティクルのうち、いずれか一のパーティクルが有する局所エッジは、他のパーティクルが有する局所エッジの一部が欠落したものとなっている。したがって、物体追跡装置２０−１は、追跡対象の一部がオクルージョンによって隠れても、当該隠れた部分に局所エッジを有しないパーティクルのエッジ尤度を高くすることができる。

さらに、物体追跡装置２０−１は、パーティクルの配置位置の周辺にパーティクルを分散（配置）し、入力画像のエッジ情報と、入力画像に配置されたパーティクルとの類似度をエッジ尤度として算出する。そして、物体追跡装置２０−１は、パーティクルのエッジ尤度に基づいて、追跡対象を検出する。したがって、物体追跡装置２０−１は、オクルージョンに強い物体追跡を行うことができる。

さらに、物体追跡装置２０−１は、エッジ尤度を重みとする加重平均に基づいて、前記追跡対象の位置及び速度を算出するので、物体追跡をより正確に行うことができる。

さらに、物体追跡装置２０−１は、エッジ尤度が所定値以上となるパーティクル、具体的には、最大尤度のパーティクルを重みマップに重畳することで、重みマップを更新する。したがって、物体追跡装置２０−１は、形状変化に強い物体追跡を行うことができる。

さらに、物体追跡装置２０−１は、エッジ尤度が所定値以上となるパーティクル、具体的には、最大尤度のパーティクルを次フレームのパーティクルとするので、ランダムサンプリングによる精度低下を抑制することができる。

＜３．第２の実施形態＞
次に、第２の実施形態について説明する。まず、図１３に基づいて、第２の実施形態に係る物体追跡システム１−２の構成について説明する。物体追跡システム１−２は、カメラ１０と、物体追跡装置２０−２と、表示装置３０とを備える。物体追跡装置２０−２は、物体追跡装置２０−１の物体追跡部２５−１を物体追跡部２５−２に置き換えたものである。

そして、物体追跡部２５−２は、物体追跡部２５−１にフレーム間差分生成部２５ｉを追加し、物体追跡部２５−１の初期重みマップ生成部２５ｂ及び重みマップ更新部２５ｇを初期重みマップ生成部２５ｊ及び重みマップ更新部２５ｋに変更したものである。

（フレーム間差分生成部）
フレーム間差分生成部２５ｉは、前フレーム（現フレームの１フレーム前のフレーム）及び現フレームの入力画像を画像記録部２２から取得する。そして、フレーム間差分生成部２５ｉは、画素毎に画素値の差分（前フレームの画素値と現フレームの画素値との差分）を算出し、さらに、差分の絶対値、すなわちフレーム間差分絶対値を算出する。そして、フレーム間差分生成部２５ｉは、画素とフレーム間差分絶対値とが関連付けられたフレーム間差分絶対値マップを生成し、初期重みマップ生成部２５ｊに出力する。

（初期重みマップ生成部）
初期重みマップ生成部２５ｊは、エッジ情報と、フレーム間差分絶対値マップとに基づいて、初期重みマップを生成する。具体的には、例えば、初期重みマップ生成部２５ｊは、エッジ情報にフレーム間差分絶対値を乗じた値を重みとすることで、初期重みマップを生成する。初期重みマップ生成部２５ｂは、生成した重みマップ（初期重みマップ）を初期パーティクル生成部２５ｃ及び重みマップ更新部２５ｋに出力する。

（重みマップ更新部）
重みマップ更新部２５ｋは、現フレームのエッジ情報と、前フレームの重みマップと、現フレームのフレーム間差分絶対値マップとに基づいて、前フレームの重みマップを更新する。具体的には、例えば、重みマップ更新部２５ｋは、現フレームのエッジ情報とフレーム間差分絶対値とを乗じた値を前フレームの重みマップに加算する。さらに、重みマップ更新部２５ｋは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。これにより、重みマップ更新部２５ｋは、重みマップを更新する。重みマップ更新部２５ｋは、更新された重みマップをパーティクル更新部２５ｈに出力する。

（物体追跡システムによる処理）
次に、物体追跡システム１−２による処理の手順を図１４に示すフローチャートに沿って説明する。ステップＳ１００、Ｓ１２０、Ｓ１４０、Ｓ１５０〜Ｓ１７０、Ｓ１９０において、物体追跡装置２０−２は、図２に示すステップＳ１０、Ｓ２０、Ｓ４０、Ｓ５０〜Ｓ７０、Ｓ９０と同様の処理を行う。

ステップＳ１１０において、フレーム間差分生成部２５ｉは、前フレーム（現フレームの１フレーム前のフレーム）及び現フレームの入力画像を画像記録部２２から取得する。そして、フレーム間差分生成部２５ｉは、画素毎にフレーム間差分絶対値を算出する。そして、フレーム間差分生成部２５ｉは、画素とフレーム間差分絶対値とが関連付けられたフレーム間差分絶対値マップを生成し、初期重みマップ生成部２５ｊに出力する。

ステップＳ１３０において、初期重みマップ生成部２５ｊは、エッジ情報にフレーム間差分絶対値を乗じた値を重みとすることで、初期重みマップを生成する。初期重みマップ生成部２５ｂは、生成した重みマップ（初期重みマップ）を初期パーティクル生成部２５ｃ及び重みマップ更新部２５ｋに出力する。

ステップＳ１８０において、重みマップ更新部２５ｋは、現フレームのエッジ情報とフレーム間差分絶対値とを乗じた値を前フレームの重みマップに加算する。さらに、重みマップ更新部２５ｋは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。これにより、重みマップ更新部２５ｋは、重みマップを更新する。重みマップ更新部２５ｋは、更新された重みマップをパーティクル更新部２５ｈに出力する。

以上により、第２の実施形態によれば、物体追跡装置２０−２は、フレーム間で画素値が変化した画素の重みを大きくすることで、重みマップを更新するので、動いている物体の領域をパーティクル作成時に重視することができる。したがって、物体追跡装置２０−２は、背景画像の影響を抑制し、移動物体である追跡対象を精度よく追跡することができる。

＜４．第３の実施形態＞
次に、第３の実施形態について説明する。まず、図１５に基づいて、第３の実施形態に係る物体追跡システム１−３の構成について説明する。物体追跡システム１−３は、カメラ１０と、物体追跡装置２０−３と、表示装置３０とを備える。物体追跡装置２０−３は、物体追跡装置２０−１の物体追跡部２５−１を物体追跡部２５−３に置き換えたものである。

そして、物体追跡部２５−３は、物体追跡部２５−１にオプティカルフロー生成部２５ｍを追加し、物体追跡部２５−１の重みマップ更新部２５ｇを重みマップ更新部２５ｎに変更したものである。

（オプティカルフロー生成部２５ｍ）
オプティカルフロー生成部２５ｍは、前フレーム（現フレームの１フレーム前のフレーム）及び現フレームの入力画像を画像記録部２２から取得する。そして、オプティカルフロー生成部２５ｍは、画素毎に移動ベクトルを算出する。そして、オプティカルフロー生成部２５ｍは、画素と移動ベクトルとが移動ベクトルマップを生成し、重みマップ更新部２５ｎに出力する。

（重みマップ更新部）
重みマップ更新部２５ｎは、現フレームのエッジ情報と、前フレームの重みマップと、現フレームの移動ベクトルマップとに基づいて、前フレームの重みマップを更新する。具体的には、例えば、重みマップ更新部２５ｎは、現フレームの画素のうち、追跡対象の移動ベクトルと同じ移動ベクトルを有する画素のエッジ情報のみ、前フレームの重みマップに加算する。さらに、重みマップ更新部２５ｎは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。これにより、重みマップ更新部２５ｎは、重みマップを更新する。重みマップ更新部２５ｎは、更新された重みマップをパーティクル更新部２５ｈに出力する。ここで、「同じ移動ベクトル」には、移動ベクトルが完全に一致している移動ベクトルの他、類似する（差分が所定値以下）の移動ベクトルも含む概念である。

（物体追跡システムによる処理）
次に、物体追跡システム１−３による処理の手順を図１６に示すフローチャートに沿って説明する。ステップＳ２００、Ｓ２２０〜Ｓ２７０、Ｓ２９０において、物体追跡装置２０−３は、図２に示すステップＳ１０〜Ｓ７０、Ｓ９０と同様の処理を行う。

ステップＳ２１０において、オプティカルフロー生成部２５ｍは、前フレーム（現フレームの１フレーム前のフレーム）及び現フレームの入力画像を画像記録部２２から取得する。そして、オプティカルフロー生成部２５ｍは、画素毎に移動ベクトルを算出する。そして、オプティカルフロー生成部２５ｍは、画素と移動ベクトルとが移動ベクトルマップを生成し、重みマップ更新部２５ｎに出力する。

ステップＳ２８０において、重みマップ更新部２５ｎは、現フレームの画素のうち、追跡対象の移動ベクトルと同じ移動ベクトルを有する画素のエッジ情報のみ、前フレームの重みマップに加算する。さらに、重みマップ更新部２５ｎは、最大尤度となったパーティクルの局所エッジを重みマップに加算する。これにより、重みマップ更新部２５ｎは、重みマップを更新する。重みマップ更新部２５ｎは、更新された重みマップをパーティクル更新部２５ｈに出力する。

以上により、第３の実施形態では、物体追跡装置２０−３は、追跡対象の移動ベクトルと同じ移動ベクトルを有する画素の重みを大きくすることで、重みマップを更新する。したがって、物体追跡装置２０−３は、追跡対象と同じ動きをする画素をパーティクル作成時に重視することができるので、オクルージョンによる他の物体の影響を抑えることができる。すなわち、物体追跡装置２０−３は、追跡対象を精度よく追跡することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、２次元の入力画像上の追跡対象を追跡するが、カメラ１０をステレオカメラに置き換えることで、３次元の入力画像上の追跡対象を追跡するようにしてもよい。また、本実施形態では、表示装置３０に追跡情報を出力（表示）することとするが、他の装置、例えば追跡対象の通過数を計測する装置に追跡情報を提供するようにしてもよい。

また、本実施形態では、局所エッジとしてエッジレットを利用しているが、局所的なエッジであれば他のエッジを利用してもよい。また、本実施形態では、物体検出部２４により自動的に追跡対象を検出しているが、人手により、すなわちユーザ操作により追跡対象を指定するようにしてもよい。

１−１〜１−３ 物体追跡システム
２０−１〜２０−３ 物体追跡装置
２５−１〜２５−３ 物体追跡部
２５ａ エッジ情報生成部
２５ｂ、２５ｊ 初期重みマップ生成部
２５ｃ 初期パーティクル生成部
２５ｄ サンプリング部
２５ｅ 観測部
２５ｆ 追跡情報生成部
２５ｇ、２５ｋ、２５ｎ 重みマップ更新部
２５ｈ パーティクル更新部
２５ｉ フレーム間差分生成部
２５ｍ オプティカルフロー生成部

Claims (16)

1. 入力画像からエッジ情報を抽出するエッジ情報生成部と、
   前記エッジ情報に基づいて、前記エッジ情報の周辺の重みが大きい重みマップを生成する重みマップ生成部と、
   前記重みマップに基づいて、複数の局所エッジを有し、かつ前記局所エッジの配置が互いに異なる複数のパーティクルを生成するパーティクル生成部と、
   前記パーティクルに基づいて、前記入力画像から追跡対象を検出する追跡対象検出部と、を備えることを特徴とする、物体追跡装置。
2. 前記複数のパーティクルのうち、いずれか一のパーティクルが有する局所エッジは、他のパーティクルが有する局所エッジの一部が欠落したものであることを特徴とする、請求項１記載の物体追跡装置。
3. 前記追跡対象検出部は、
   前記入力画像に前記パーティクルを配置するサンプリング部と、
   前記入力画像のエッジ情報と、前記入力画像に配置されたパーティクルとの類似度をエッジ尤度として算出する観測部と、
   前記エッジ尤度に基づいて、前記追跡対象を検出する追跡情報生成部と、を備えることを特徴とする、請求項１または２記載の物体追跡装置。
4. 前記追跡情報生成部は、エッジ尤度を重みとする加重平均に基づいて、前記追跡対象の位置及び速度を算出することを特徴とする、請求項３記載の物体追跡装置。
5. 前記重みマップ生成部は、前記エッジ尤度が所定値以上となるパーティクルを前記重みマップに重畳することで、前記重みマップを更新することを特徴とする、請求項３または４に記載の物体追跡装置。
6. 前記パーティクル生成部は、前記エッジ尤度が所定値以上となるパーティクルを次フレームのパーティクルとすることを特徴とする、請求項３〜５のいずれか１項に記載の物体追跡装置。
7. 前記重みマップ生成部は、フレーム間で画素値が変化した画素の重みを大きくすることで、前記重みマップを更新することを特徴とする、請求項１〜６のいずれか１項に記載の物体追跡装置。
8. 前記重みマップ生成部は、前記追跡対象の移動ベクトルと同じ移動ベクトルを有する画素の重みを大きくすることで、前記重みマップを更新することを特徴とする、請求項１〜６のいずれか１項に記載の物体追跡装置。
9. 入力画像からエッジ情報を抽出するステップと、
   前記エッジ情報に基づいて、前記エッジ情報の周辺の重みが大きい重みマップを生成するステップと、
   前記重みマップに基づいて、複数の局所エッジを有し、かつ前記局所エッジの配置が互いに異なる複数のパーティクルを生成するステップと、
   前記パーティクルに基づいて、前記入力画像から追跡対象を検出するステップと、を含むことを特徴とする、物体追跡方法。
10. 前記複数のパーティクルのうち、いずれか一のパーティクルが有する局所エッジは、他のパーティクルが有する局所エッジの一部が欠落したものであることを特徴とする、請求項９記載の物体追跡方法。
11. 前記入力画像に前記パーティクルを配置するステップと、
    前記入力画像のエッジ情報と、前記入力画像に配置されたパーティクルとの類似度をエッジ尤度として算出するステップと、
    前記エッジ尤度に基づいて、前記追跡対象を検出するステップと、を含むことを特徴とする、請求項９または１０記載の物体追跡方法。
12. エッジ尤度を重みとする加重平均に基づいて、前記追跡対象の位置及び速度を算出するステップを含むことを特徴とする、請求項１１記載の物体追跡方法。
13. 前記エッジ尤度が所定値以上となるパーティクルを前記重みマップに重畳することで、前記重みマップを更新することを特徴とする、請求項１１または１２に記載の物体追跡方法。
14. 前記エッジ尤度が所定値以上となるパーティクルを次フレームのパーティクルとすることを特徴とする、請求項１１〜１３のいずれか１項に記載の物体追跡方法。
15. フレーム間で画素値が変化した画素の重みを大きくすることで、前記重みマップを更新するステップを含むことを特徴とする、請求項９〜１４のいずれか１項に記載の物体追跡方法。
16. 前記追跡対象の移動ベクトルと同じ移動ベクトルを有する画素の重みを大きくすることで、前記重みマップを更新するステップを含むことを特徴とする、請求項９〜１４のいずれか１項に記載の物体追跡方法。
    
    

Images