JP7351571B2 - 画像追跡装置、画像追跡方法、及びプログラム - Google Patents

Description

本発明は、カメラからの映像上で人物等の物体を追跡する、画像追跡装置、及び画像追跡方法に関し、更には、これらを実現するためのプログラムに関する。

近年、監視システムには、監視カメラからの映像上で特定の人物を追跡する機能が付加されている。例えば、特許文献１は、このような人物追跡機能が付加された監視システムを開示している。特許文献１に開示された監視システムは、監視カメラから時系列に沿って出力されるフレーム毎に、人物と予想される領域の特徴量を抽出し、連続するフレーム間で、抽出した特徴量の同一性を判断することによって、追跡対象となっている人物を追跡する。特許文献１に開示された監視システムによれば、特定の人物の行動を監視できるため、管理者は容易に不審者を特定することができる。

また、非特許文献１は、予め学習したニューラルネットワークを用いて、特定の人物を追跡する監視システムを開示している。非特許文献１に開示された監視システムでは、人物の画像が学習データとして用いられて、ニューラルネットワークの学習が行われる。このため、非特許文献１に開示された監視システムを用いれば、特許文献１に開示された監視システムに比べて、より追跡精度を高めることができると考えられる。

特開２００９－０９８７７４号公報

Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan Kautz1, " Joint Discriminative and Generative Learning for Person Re-identification", 22 May 2019, CVPR2019

ところで、監視システムに用いる監視カメラでは、一般に、フレームレートを上げることが難しく、フレームレートは３fps～５fps程度に設定される。これは、フレームレートを上げると、送信する画像データのサイズが大きくなり、通信回線の許容量を超えてしまうからである。このため、監視システムは、フレームレートが低い状況下で、人物追跡を行う必要がある。

しかしながら、このようなフレームレートが低い状況下では、フレーム間における人物の移動距離が大きくなってしまうため、特許文献１に開示された監視システムでは、追跡精度が低下するという問題が発生する。一方、非特許文献１に開示された監視システムでは、特許文献１に開示された監視システムに比べて、追跡精度の低下は抑制されると考えられるが、この監視システムには、予め大量の学習データを用いて機械学習していない人物を追跡できないという問題がある。

本発明の目的の一例は、上記問題を解消し、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡し得る、画像追跡装置、画像追跡方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像追跡装置は、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定部と、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像追跡方法は、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定ステップと、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定ステップと、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、ことを特徴とする。

以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。

図１は、本発明の実施の形態における画像追跡装置の概略構成を示す構成図である。 図２は、本発明の実施の形態における画像追跡装置の構成を具体的に示す構成図である。 図３は、実施の形態において取得された画像データの一例と実施の形態において設定された識別基準の一例とを示す図である。 図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。 図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、実施の形態における画像追跡装置、画像追跡方法、及びプログラムについて、図１～図５を参照しながら説明する。

［装置構成］
最初に、実施の形態における画像追跡装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態における画像追跡装置の概略構成を示す構成図である。

図１に示す実施の形態における画像追跡装置１００は、カメラからの映像上で人物等の物体を追跡する装置である。図１に示すように、画像追跡装置１００は、画像データ取得部１０１と、物体検出部１０２と、識別基準設定部１０３と、同一性判定部１０４と、物体追跡部１０５とを備えている。

この構成において、画像データ取得部１０１は、カメラから時系列に沿ってフレーム単位で出力される画像データを取得する。物体検出部１０２は、画像データ毎に、物体を検出する。識別基準設定部１０３は、画像データ毎に、検出された物体それぞれについて、その物体を識別するための識別基準を設定する。

同一性判定部１０４は、画像データ毎に、その画像データに設定された識別基準を用いて、その画像データにおいて検出された物体と、その画像データの直後に出力された画像データにおいて検出された物体と、の同一性を判定する。物体追跡部１０５は、同一性判定部１０４による同一性の判定結果に基づいて、検出された物体の追跡処理を行う。

このように、実施の形態では、フレーム単位で、検出された物体それぞれについて、識別基準が設定される。このため、実施の形態によれば、フレームレートに影響されることなく、カメラからの映像上で物体を精度よく追跡できる。また、実施の形態では、物体を追跡するに際して、学習データを用いた事前の機械学習の必要性はない。

続いて、図２及び図３を用いて、実施の形態における画像追跡装置１００の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における画像追跡装置の構成を具体的に示す構成図である。図３は、実施の形態において取得された画像データの一例と実施の形態において設定された識別基準の一例とを示す図である。

図２に示すように、実施の形態では、画像追跡装置１００は、カメラ２００及び表示装置２０１に接続されており、画像監視システムとして機能している。更に、図２に示すように、画像追跡装置１００は、上述した、画像データ取得部１０１、物体検出部１０２、識別基準設定部１０３、同一性判定部１０４、及び物体追跡部１０５に加えて、画像格納部１０６と監視部１０７とを更に備えている。

カメラ２００は、監視カメラであり、監視エリアを撮影して得られた画像データを、時系列にそってフレーム単位で出力する。カメラ２００から出力された画像データは、画像格納部１０６に格納される。

図３の例では、時系列にそってフレーム単位で出力された画像データ１０、画像データ２０及び画像データ３０が示されている。各画像データは、監視エリアの画像データである。図３において矢印は時系列を示しており、各画像データは、カメラ２００から、画像データ１０、画像データ２０、画像データ３０の順に出力されている。

画像データ取得部１０１は、実施の形態では、画像格納部１０６から、一度に処理する設定期間分の画像データを時系列の順に取得する。図２の例では、画像データ取得部１０１は、画像格納部１０６から、画像データ１０、画像データ２０、及び画像データ３０を順に取得する。

物体検出部１０２は、実施の形態では、カメラ２００から出力された各画像データの画像を走査して、人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する。具体的には、物体検出部１０２は、ＹＯＬＯ、ＳＳＤといった既存の物体検出アルゴリズムを用いて、物体である人を検出する。人を表す特徴量は、例えば、予め、人が映った画像を教師データとした機械学習を行うことによって得られている。具体的な特徴量としては、ＨｏＧ（Histograms of Oriented Gradients）特徴量、色ヒストグラム等が挙げられる。

図３の例では、物体検出部１０２は、画像データ１０から、物体１１、１２、及び１３を検出し、画像データ２０から、物体２１、２２、２３、及び２４を検出し、画像データ３０から、物体３１、３２、３３、及び３４を検出している。

識別基準設定部１０３は、実施の形態では、画像データ毎に、検出された物体それぞれの特徴量を用いて、検出された物体それぞれについて、識別基準として、特徴空間においてその物体を識別するための判別軸及び識別境界を設定する。

具体的には、識別基準設定部１０３は、まず、物体検出に用いられた特徴量の次元の数Ｎに応じて、Ｎ次元の特徴空間を設定する（Ｎ：任意の自然数）。次いで、識別基準設定部１０３は、画像データの中から１つの物体（人）を選択し、選択した物体の特徴量を本人特徴量とし、それ以外の物体（人）の特徴量を他人特徴量とする。

そして、識別基準設定部１０３は、特徴空間において、既存の判別分析法を用いて、自分特徴量が、それと離れたところにある他人特徴量の群と分離されるように判別軸を設定する。更に、識別基準設定部１０３は、特徴空間において、判別軸によっては区別されなかった他人特徴量を、自分特徴量と区別するために、識別境界を設定する。

図３の例では、画像データ１０において、物体１１の特徴量を本人特徴量とし、物体１２及び１３の特徴量を他人特徴量として、判別軸及び識別境界が設定されている。この場合、識別基準設定部１０３は、物体１１の特徴量（本人特徴量）と、物体１２及び１３の特徴量（他人特徴量）とを、区別するため、判別軸を設定した後、それと垂直に交わるように識別境界を設定している。

識別境界の設定は、例えば、最近傍法を用いることによって行うことができる。この場合に、識別基準設定部１０３は、最近傍法を適用したときに、本人特徴量と他人特徴量との区別が可能となるように、識別境界を設定する。なお、図３の例では、説明のため、次元数が２に設定されているため、識別境界は１次直線となっているが、識別境界は１次直線に限定されるものではない。

また、実施の形態では、識別基準設定部１０３は、画像データ毎に、検出された物体それぞれについて、その物体の画像の機械学習によってその物体を識別するための識別器を構築し、構築した識別器によって識別境界を設定することもできる。

識別器の構築は、例えば、サポートベクトルマシンによって行うことができる。また、識別器の構築のための機械学習においては、画像そのものではなく、画像の特徴量、例えばＨｏｇ特徴量が用いられても良い。更に、特徴量として、画像の中心座標が加えられても良い。

また、識別基準設定部１０３は、図３には示されていないが、画像データ１０において、更に、物体１２の特徴量を本人特徴量とする判別軸及び識別境界と、物体１３の特徴量を本人特徴量とする判別軸及び識別境界も設定する。これにより、画像データ１０で検出された全ての物体について、物体追跡部１０５による追跡処理が可能となる。

同一性判定部１０４は、実施の形態では、画像データ毎に、検出された物体それぞれについて設定された識別基準（識別境界）を用いて、その物体と、次のフレームの画像データで検出された各物体との同一性を判定する。

図３の例では、同一性判定部１０４は、物体１１の特徴量と物体１２及び１３の特徴量とを区別する識別境界によって、物体１１と、次のフレームの画像データ２０で検出された物体２１、２２、２３及び２４との同一性を判定する。また、同一性判定部１０４は、上述した処理を、画像データ２０、画像データ３０、それ以降の画像データに対しても実行する。

更に、同一性判定部１０４は、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力することもできる。図３の例では、同一性判定部１０４は、物体１１については、物体２１に対して最も高いスコアを出力する。

物体追跡部１０５は、実施の形態では、同一性判定部１０４によって同一性が高いと判定された物体、具体的には、スコアが閾値以上となる物体を追跡対象とし、追跡対象となった物体にフラグを設定する。また、物体追跡部１０５は、スコアが閾値以上となる物体が複数存在する場合は、スコアが最も高い物体を追跡対象とする。

図３の例では、物体追跡部１０５は、画像データ１０で検出された物体１１に対して、画像データ２０で検出された物体２１を追跡対象としている。また、物体追跡部１０５は、スコアが閾値未満の物体については、新たにカメラ２００のフレーム内に侵入していると判定することができる。

監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させる。また、物体追跡部１０５によって追跡対象となった物体については、表示画面上で、追跡されていることを示す映像表現、例えば、記号の付加、枠の表示、色の変更等を行う。また、監視部１０７は、追跡対象となった物体が、特定のエリアに侵入した場合に、警報を出力することもできる。

［装置動作］
次に、実施の形態における画像追跡装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。以下の説明においては、適宜図１～図３を参照する。また、実施の形態では、画像追跡装置１００を動作させることによって、画像追跡方法が実施される。よって、実施の形態における画像追跡方法の説明は、以下の画像追跡装置１００の動作説明に代える。

図４に示すように、最初に、画像データ取得部１０１は、画像格納部１０６に格納されている設定期間分の画像データを取得する（ステップＡ１）。設定期間は、例えば、５秒～１０秒等に設定される。

次に、物体検出部１０２は、ステップＡ１で取得された画像データ毎に、画像上において人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する（ステップＡ２）。

次に、識別基準設定部１０３は、ステップＡ１で取得された画像データであって、当該ステップＡ３において未だ選択されていない画像データの中から、カメラで出力された時刻が最も古い画像データを選択する（ステップＡ３）。

次に、識別基準設定部１０３は、ステップＡ３で選択した画像データにおいて、ステップＡ２で検出された物体毎に、各物体を識別するための識別基準を設定する（ステップＡ４）。具体的には、ステップＡ４では、識別基準設定部１０３は、特徴空間を設定し、ステップＡ３で選択した画像データの各物体の特徴量を用いて、物体それぞれについて、その物体を識別するための識別境界を設定する。

次に、同一性判定部１０４は、ステップＡ４で設定された識別基準の１つを選択する（ステップＡ５）。そして、同一性判定部１０４は、ステップＡ５で選択した識別基準を用いて、その識別基準の物体と、ステップＡ３で選択した画像データの次のフレームで検出された物体それぞれとの同一性を判定する（ステップＡ６）。

次に、同一性判定部１０４は、未だ選択していない識別基準が存在するかどうかを判定する（ステップＡ７）。ステップＡ７の判定の結果、未だ選択していない識別基準が存在する場合は、同一性判定部１０４は、再度、ステップＡ５を実行する。

一方、ステップＡ７の判定の結果、未だ選択していない識別基準が存在していない場合は、同一性判定部１０４は、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在しているかどうかを判定する（ステップＡ８）。

ステップＡ８の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在している場合は、識別基準設定部１０３が、再度ステップＡ３を実行する。

一方、ステップＡ８の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在していない場合は、物体追跡部１０５は、ステップＡ６で同一性が高いと判定された物体を追跡対象に設定する（ステップＡ９）。

次に、監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させると共に、ステップＡ９で追跡対象となった物体に対して、追跡されていることを示す映像表現を行う（ステップＡ１０）。

上述のステップＡ１～Ａ１０は、監視エリアの監視が行われる限り、繰り返し実行される。

［実施の形態における効果］
以上のように実施の形態では、物体を識別するための識別基準は、フレーム単位で、検出された物体それぞれについて設定される。このため、実施の形態によれば、フレームレートが低下した場合であっても、追跡精度の低下を抑制でき、更に、予め大量の学習データを用いて機械学習していない物体に対する追跡も可能となる。

［プログラム］
実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像追跡装置１００と画像追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１０１、物体検出部１０２、識別基準設定部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７として機能し、処理を行なう。

また、実施の形態では、画像格納部１０６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。更に、監視カメラ等のカメラに内蔵されたコンピュータであっても良い。

また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部１０１、物体検出部１０２、識別基準設定部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７のいずれかとして機能しても良い。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像追跡装置１００を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。

図５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における画像追跡装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば電子回路を用いることによっても実現可能である。更に、画像追跡装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定部と、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする画像追跡装置。

（付記２）
付記１に記載の画像追跡装置であって、
前記識別基準設定部が、前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、前記識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定する、
ことを特徴とする画像追跡装置。

（付記３）
付記２に記載の画像追跡装置であって、
前記識別基準設定部が、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築し、構築した前記識別器を前記識別境界として設定する、
ことを特徴とする画像追跡装置。

（付記４）
付記１～３のいずれかに記載の画像追跡装置であって、
前記同一性判定部が、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力し、
前記物体追跡部が、前記スコアが閾値以上となる前記物体に対して追跡処理を行う、
ことを特徴とする画像追跡装置。

（付記５）
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定ステップと、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする画像追跡方法。

（付記６）
付記５に記載の画像追跡方法であって、
前記識別基準設定ステップにおいて、前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、前記識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定する、
ことを特徴とする画像追跡方法。

（付記７）
付記６に記載の画像追跡方法であって、
前記識別基準設定ステップにおいて、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築し、構築した前記識別器を前記識別境界として設定する、
ことを特徴とする画像追跡方法。

（付記８）
付記５～７のいずれかに記載の画像追跡方法であって、
前記同一性判定ステップにおいて、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力し、
前記物体追跡ステップにおいて、前記スコアが閾値以上となる前記物体に対して追跡処理を行う、
ことを特徴とする画像追跡方法。

（付記９）
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定ステップと、
前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記識別基準設定ステップにおいて、前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、前記識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定する、
ことを特徴とするプログラム。

（付記１１）
付記１０に記載のプログラムであって、
前記識別基準設定ステップにおいて、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築し、構築した前記識別器を前記識別境界として設定する、
ことを特徴とするプログラム。

（付記１２）
付記９～１１のいずれかに記載のプログラムであって、
前記同一性判定ステップにおいて、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力し、
前記物体追跡ステップにおいて、前記スコアが閾値以上となる前記物体に対して追跡処理を行う、
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０２０年３月２５日に出願された日本出願特願２０２０－５４６７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。本発明は、監視カメラの映像に基づいて人の侵入等を監視する監視システムに有用である。

１０ 画像データ
１１、１２、１３ 物体
２０ 画像データ
２１、２２、２３、２４ 物体
３０ 画像データ
３１、３２、３３、３４ 物体
１００ 画像追跡装置
１０１ 画像データ取得部
１０２ 物体検出部
１０３ 識別基準設定部
１０４ 同一性判定部
１０５ 物体追跡部
１０６ 画像格納部
１０７ 監視部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ カメラ
２０１ 表示装置

Claims (9)

1. カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得手段と、
   前記画像データ毎に、物体を検出する、物体検出手段と、
   前記画像データ毎に、検出された前記物体それぞれについて、当該物体を識別するための識別基準を設定する、識別基準設定手段と、
   前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定手段と、
   前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡手段と、
   を備え、
   前記識別基準設定手段が、前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、前記識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定する、
   ことを特徴とする画像追跡装置。
2. 請求項１に記載の画像追跡装置であって、
   前記識別基準設定手段が、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築し、構築した前記識別器を前記識別境界として設定する、
   ことを特徴とする画像追跡装置。
3. 請求項１または２に記載の画像追跡装置であって、
   前記同一性判定手段が、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力し、
   前記物体追跡手段が、前記スコアが閾値以上となる前記物体に対して追跡処理を行う、
   ことを特徴とする画像追跡装置。
4. カメラから時系列に沿ってフレーム単位で出力される画像データを取得し、
   前記画像データ毎に、物体を検出し、
   前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定し、
   前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定し、
   前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、
   ことを特徴とする画像追跡方法。
5. 請求項４に記載の画像追跡方法であって、
   前記識別基準の設定において、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築し、構築した前記識別器を前記識別境界として設定する、
   ことを特徴とする画像追跡方法。
6. 請求項４または５に記載の画像追跡方法であって、
   前記同一性の判定において、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力し、
   前記物体の追跡において、前記スコアが閾値以上となる前記物体に対して追跡処理を行う、
   ことを特徴とする画像追跡方法。
7. コンピュータに、
   カメラから時系列に沿ってフレーム単位で出力される画像データを取得させ、
   前記画像データ毎に、物体を検出させ、
   前記画像データ毎に、検出された前記物体それぞれの特徴量を用いて、検出された前記物体それぞれについて、識別基準として、特徴空間において当該物体を識別するための判別軸及び識別境界を設定させ、
   前記画像データ毎に、当該画像データに設定された前記識別基準を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定させ、
   前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行わせる、
   プログラム。
8. 請求項７に記載のプログラムであって、
   前記プログラムが、前記コンピュータに、前記識別基準の設定において、前記画像データ毎に、検出された前記物体それぞれについて、当該物体の画像又は特徴量の機械学習によって当該物体を識別するための識別器を構築させ、構築した前記識別器を前記識別境界として設定させる、
   ことを特徴とするプログラム。
9. 請求項７または８に記載のプログラムであって、
   前記プログラムが、前記コンピュータに、
   前記同一性の判定において、同一性の判定結果として、同一の程度が高いほど値が高くなるようにスコアを出力させ、
   前記物体の追跡において、前記スコアが閾値以上となる前記物体に対して追跡処理を行わせる、
   ことを特徴とするプログラム。

Images