JP6935850B2 - 情報処理装置、方法、およびプログラム - Google Patents

情報処理装置、方法、およびプログラム Download PDF

Info

Publication number
JP6935850B2
JP6935850B2 JP2020533869A JP2020533869A JP6935850B2 JP 6935850 B2 JP6935850 B2 JP 6935850B2 JP 2020533869 A JP2020533869 A JP 2020533869A JP 2020533869 A JP2020533869 A JP 2020533869A JP 6935850 B2 JP6935850 B2 JP 6935850B2
Authority
JP
Japan
Prior art keywords
data
locus
group
trajectory
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020533869A
Other languages
English (en)
Other versions
JP2021507398A5 (ja
JP2021507398A (ja
Inventor
デベンドラ ダーカ
デベンドラ ダーカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021507398A publication Critical patent/JP2021507398A/ja
Publication of JP2021507398A5 publication Critical patent/JP2021507398A5/ja
Application granted granted Critical
Publication of JP6935850B2 publication Critical patent/JP6935850B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、一般に、ビデオ分析分野に関する。
空港、駅、プラットフォームなどのような公共の場や混雑した場所における監視システムで採用される自動認識の進歩と必要性の高まりにより、群衆の軌跡をモデリングして、安全性を脅かす行為の大部分に関与する異常挙動活動を認識するための効果的なアプローチが必要とされている。
挙動認識タスクは、トレーニング段階とテスト段階の2つの主要な段階に分けることができる。トレーニング段階では、位置および/または速度などの動作プリミティブ要素の観点から、人々のような物体の、入力された各規範的軌跡のモデリングを実行する。テスト段階では、学習されたモデルのパラメータを用いて、テスト対象の軌跡が学習モデルで表される尤度を計算し、それにより、テスト対象の軌跡が正常挙動を示すか異常挙動を示すかを特定する。テスト段階において、尤度の高い軌跡は、大部分の入力軌跡に一致する正常挙動を示すと特定され、反対に、尤度の低い軌跡は異常な軌跡を示すと特定される。
非特許文献1および非特許文献2は、挙動モデリング分野における従来技術である。両者とも、同一グループ内の軌跡が同様の速度プロファイルを有するように、トレーニングに用いられる入力軌跡をグループに分割し、グループに対するモデルを生成する。
Almingol, Javier他、「Learning Multiple Behaviors from Unlabeled Demonstrations in a Latent Controller Space」International Conference on Machine Learning 2013 Kooij Julian FP他、「A Nonparametric Hierarchical Model to Discover Behavior Dynamics from Tracks」、European Conference on Computer Vision 2012
上述のように、挙動認識タスクには、軌跡データがモデルデータによって表される尤度の計算が含まれる。したがって、この尤度の計算の精度は、正確な挙動認識にとって非常に重要である。本出願の発明者は、非特許文献1および非特許文献2に開示される挙動認識技術には、上記の尤度の計算精度を改善する余地があることを見出した。
本発明の目的は、軌跡データがモデルデータによって表される尤度の正確な計算を伴う挙動認識の新規な方法を提供することである。
1)それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得する取得部、2)2−a)個々の軌跡データに対して、該軌跡データが属するグループの確率分布を表す該軌跡データのグループ同一性分布(group identity distribution)に基づいて、該軌跡データがいずれのグループに属するかを特定することにより、該複数の軌跡データを1つ以上のグループに分割することと、2−b)各グループの代表速度の時系列を生成することと、2−c)各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、2−d)各軌跡データのスケーリング係数を計算することと、2−e)各軌跡データに対して、該軌跡データおよび該スケーリング係数に基づいて該軌跡データが各グループに分類される尤度を計算し、それにより該軌跡データの該グループ同一性分布を更新することと、を終了条件が満たされるまで繰り返し実行するクラスタリング部、および、4)各グループに対して、該代表速度の時系列が含まれるモデルデータを生成するモデリング部、を備える情報処理装置が提供される。
1)物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得する取得部、2)2−a)該モデルデータに関する該軌跡データのスケーリング係数を計算し、2−b)該スケーリング係数と、該軌跡データと、該モデルデータとに基づいて、該物体の潜在位置分布の時系列を生成し、かつ、2−c)該軌跡データが該モデルデータによって表される該尤度を計算して、各モデルデータに対して該尤度を算出する尤度算出部、および、3)該軌跡データを表すモデルデータが少なくとも1つ存在する場合、該軌跡データが正常挙動を表すと特定し、該軌跡データを表すモデルデータが存在しない場合、該軌跡データが異常挙動を表すと特定する分類部、を備える情報処理装置が提供される。
1)それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得するステップ、2)2−a)個々の軌跡データに対して、該軌跡データが属するグループの確率分布を表す該軌跡データのグループ同一性分布に基づいて、該軌跡データがいずれのグループに属するかを特定することにより、該複数の軌跡データを1つ以上のグループに分割することと、2−b)各グループの代表速度の時系列を生成することと、2−c)各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、2−d)各軌跡データのスケーリング係数を計算することと、2−e)各軌跡データに対して、該軌跡データおよび該スケーリング係数に基づいて該軌跡データが各グループに分類される尤度を計算し、それにより該軌跡データの該グループ同一性分布を更新することと、を終了条件が満たされるまで、繰り返し実行するステップ、および、3)各グループに対して、該代表速度の時系列が含まれるモデルデータを生成するステップ、を含むコンピュータによって実行される方法が提供される。
1)物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得するステップ、2)2−a)該モデルデータに関する該軌跡データのスケーリング係数を計算し、2−b)該スケーリング係数と、該軌跡データと、該モデルデータとに基づいて、該物体の潜在位置分布の時系列を生成し、かつ、2−c)該軌跡データが該モデルデータによって表される該尤度を計算して、各モデルデータに対して該尤度を算出するステップ、および、3)該軌跡データを表すモデルデータが少なくとも1つ存在する場合、該軌跡データが正常挙動を表すと特定し、該軌跡データを表すモデルデータが存在しない場合、該軌跡データが異常挙動を表すと特定するステップ、を含むコンピュータによって実行される方法が提供される。
本発明によって提供される方法のいずれか1つの各ステップをコンピュータに実行させるプログラムが提供される。
本発明によれば、軌跡データがモデルデータによって表される尤度を正確に計算する挙動認識の新規な方法が提供される。
上記の目的、別の目的、特徴および利点は、以下に記載される好ましい実施形態、および以下の図面からより明らかになるであろう。
図1は、実施形態1の情報処理装置の機能別構成の一例を示す。 図2は、実施形態1の情報処理装置の有利な効果を示す。 図3は、実施形態1の情報処理装置を実現するコンピュータのハードウェア構成の一例を示すブロック図である。 図4は、実施形態1の情報処理装置によって実行される処理の流れを示すフローチャートである。 図5は、クラスタリング部が複数の軌跡データをグループに分割するクラスタリングの例示的なアルゴリズムを示す。 図6は、実施形態2の情報処理装置の機能別構成を例示するブロック図である。 図7は、実施形態2の情報処理装置によって実行される処理の流れを示すフローチャートである。
以下に、図面を参照して本発明の実施形態を説明する。すべての図面において、同様の要素には同様の符号を付与しており、その説明は繰り返さない。
実施形態1
<概要>
実施形態1の情報処理装置2000は、複数の軌跡データを取得し、それらをグループに分割し、各グループに対してモデルデータを生成する。換言すると、実施形態1の情報処理装置2000は、挙動認識のトレーニング段階を実行する。軌跡データは、物体の観測位置の時系列を含み、それにより、物体の観測された挙動を表す。モデルデータには、そのグループに含まれる軌跡データに対応する物体の代表速度が含まれる。換言すると、グループに含まれる各軌跡データは、そのグループに対応するモデルデータによって表される。したがって、グループに含まれる各軌跡データについて、軌跡データがそのグループに対応するモデルデータによって表される尤度が実質的に高くなるように、グループが生成される。
図1は、実施形態1の情報処理装置2000の機能別構成の一例を示す。実施形態1の情報処理装置2000は、取得部2020、クラスタリング部2040、およびモデリング部2060を含む。取得部2020は、複数の軌跡データを取得する。
クラスタリング部2040は、予め定められた終了条件が満たされるまで、1)各軌跡データのグループ同一性分布を用いて、複数の軌跡データを1つ以上のグループに分割すること、2)各グループに対して代表速度の時系列を特定すること、3)各軌跡データに対して、対応する物体の潜在位置分布の時系列を特定すること、4)各軌跡データのスケーリング係数を特定すること、5)各軌跡データのグループ同一性分布を更新することを繰り返し実行する。
グループ同一性分布は、各軌跡データに対して定義された確率分布であり、軌跡データに対するグループ同一性分布は、軌跡データが属するグループの確率分布を示す。軌跡データのグループ同一性分布は、5)で、軌跡データと、軌跡データに対応する物体の潜在位置分布の時系列に基づいて更新される。
モデリング部2060は、各グループに対してモデルデータを生成する。モデルデータは、クラスタリング部2040によって生成された代表速度の時系列を含む。具体的には、特定のグループのモデルデータは、クラスタリング部2040が繰り返し実行するプロセス1)〜5)の最後の反復においてそのグループに対して特定された代表速度の時系列を含む。
<有利な効果>
図2は、実施形態1の情報処理装置2000の有利な効果を示す。速度プロファイル(例:代表速度の時系列)による物体の挙動を示すモデルデータでは、モデルデータが示す方向と同じ方向に物体が移動することを軌跡データが示している場合でも、モデルデータと軌跡データとの間の速さに差があることだけによって(例えば、より遅い/より速い)、軌跡データがモデルデータで表される尤度は低いと特定される(図2の上側のケースを参照)。
情報処理装置2000は、スケーリング係数を導入することによりそのような速さの差に対応する。図2の下側のケースは、軌跡データと、モデルデータ(グループ)に関してその軌跡データに対し特定されたスケーリング係数でスケーリングされたモデルデータとの比較を示している。軌跡データとスケーリングされたモデルデータは互いに実質的に類似しているため、この場合、軌跡データがモデルデータによって表される尤度は実質的に高いと特定される。この正確な尤度の算出方法を導入することにより、本実施形態の情報処理装置2000は、正確な挙動認識を実現する。
以下の説明では、本実施形態の情報処理装置2000を詳細に説明する。
<プロセスの流れ>
は、実施形態1の情報処理装置2000によって実行される処理の流れを示すフローチャートである。取得部2020は、複数の軌跡データを取得する(S102)。
ステップS104〜S116は、予め定められた終了条件が満たされるまで繰り返し実行されるループ処理Aを形成する。例えば、終了条件は、ループ処理Aが実行される回数として定義することができる。
クラスタリング部2040は、各軌跡データのグループ同一性分布を用いて、複数の軌跡データを1つ以上のグループに分割する(S106)。クラスタリング部2040は、各グループに対して代表速度の時系列を生成する(S108)。クラスタリング部2040は、各軌跡データに対して、軌跡データに対応する物体の潜在位置分布の時系列を生成する(S110)。クラスタリング部2040は、各軌跡データに対するスケーリング係数を算出する(S112)。クラスタリング部2040は、各軌跡データのグループ同一性分布を更新する(S114)。
ループ処理Aの終了後、モデリング部は、各グループに対してモデルデータを生成する(S118)。
<軌跡データ>
上述のように、軌跡データは、物体の観測位置の時系列を含む。物体の観測位置は、物体を撮像する画像データを用いて計算された物体の位置であり得る。画像データは、場面を撮像するカメラ(例えば、監視カメラ)によって生成されたビデオフレームのうちの1つであり得る。なお、公知の技術を用いて、物体を撮像したビデオフレームから物体の軌跡データを生成することができることに注意されたい。
いくつかの実施形態において、軌跡データは情報処理装置2000によって生成されてもよい。この場合、情報処理装置2000は、物体を撮像したビデオデータを取得し、ビデオデータの各ビデオフレームから物体を検出し、各ビデオフレームにおける物体の位置(観測位置)を算出し、算出された位置を時間順に示す軌跡データを生成する。生成された軌跡データは、記憶装置1080のような記憶装置に記憶される。取得部2020は、その記憶装置から軌跡データを取得する。他の実施形態において、情報処理装置2000以外の装置が軌跡データを生成してもよい。
取得部2020は、複数の軌跡データを取得する(S102)。軌跡データを取得するには様々な方法がある。いくつかの実施形態において、取得部2020は、軌跡データを記憶する記憶装置から軌跡データを取得してもよく、該記憶装置は、情報処理装置2000の内部または外部に設置されていてもよい。いくつかの実施形態において、取得部2020は、軌跡データを生成する装置から送信された軌跡データを受信する。
<クラスタリング>
クラスタリング部2040は、取得した複数の軌跡データを1つ以上のグループに分割する。クラスタリングのアルゴリズムの例を説明する前に、説明のためのいくつかの表記法を以下に示す。
物体iの軌跡データi(iは物体の識別子)をXiとする。軌跡データXiは、{xit|0<=t<n}(tは時間フレーム番号、nは軌跡データXiに含まれる位置の数)を含む。
時間フレームtにおける物体iの潜在位置分布はzitとする。潜在位置分布は、物体iが軌跡データXiが属するグループの代表速度に従って挙動するという仮定の下、時間フレームtにおける物体iの推定位置の確率分布を表す。換言すると、軌跡データに含まれる観測位置は、何らかのノイズを含むものとして取り扱われる。zitとxitの関係は、次のように定式化することができる。
式1
Figure 0006935850
ここで、nitは、観測位置xitに含まれるノイズを表す。
ノイズnitは、ノイズの確率分布からのサンプルである。したがって、潜在位置分布zitは、確率分布、すなわち潜在位置分布のサンプルでもある。ノイズnitは、様々な公知の技術で推定することができる。例えば、ノイズは、予め定義された分散を有するガウス分布からの無作為サンプルであると仮定される。なお、任意の時間フレームのノイズは、残りの時間フレームに依存せず、現在の時間のみに依存することが望ましいことに注意されたい。
潜在位置分布zitの時系列は、有限次数qを有する自己回帰として定式化することができ、各時間フレームにおける潜在位置分布は、線形関係を介して以前のq状態と制御項に依存する。q=1の場合、潜在位置分布zitの時系列は次のように表すことができる。
式2
Figure 0006935850
式2において、aiは、軌跡データiの自己回帰係数である。いくつかの実施形態において、各軌跡データiに対するaiは、予め定義された分散のあるガウス分布からの無作為サンプルであると仮定される。ただし、1は、この係数に対してあらゆる分布を選択できる。例えば、各軌跡データに対して、aiは単純に1であると仮定できる。
制御項vitは、時間フレームtにおける物体iの推定速度である。軌跡データiが分類される時間フレームtにおけるグループjの代表速度である代表速度rjtを用いて、推定速度vitは、次のように表すことができる。
式3
Figure 0006935850
ここで、fiはグループjの代表速度に関する物体iのスケーリング係数であり、n2tは推定速度に含まれるノイズである。なお、スケーリング係数は、すべての時間フレームで一定であることに注意されたい。
上記の表記法を用いて、クラスタリングのアルゴリズムの例を説明する。図は、クラスタリング部2040が複数の軌跡データをグループに分割するクラスタリングのアルゴリズムの例を示す。
クラスタリング部2040は、初期化処理を実行する(S202)。初期化処理において、クラスタリング部2040は、各軌跡データiに対するスケーリング係数fiを初期化する。スケーリング係数fiを初期化するには様々な方法がある。例えば、クラスタリング部2040は、各スケーリング係数に対してガウス分布から無作為な値をサンプリングする。後述するように、各スケーリング係数は繰り返し更新される。
さらに、クラスタリング部2040は、グループ0を生成し、取得したすべての軌跡データをグループ0に入れる。
初期化処理の後、クラスタリング部2040は、予め定められた終了条件が満たされるまで、ループ処理Aを繰り返し実行する。ステップS206において、クラスタリング部2040は、各軌跡データのグループ識別子分布から各軌跡データに対するグループ識別子をサンプリングすることにより、各軌跡データを、軌跡データに対してサンプリングされたグループ識別子を有するグループに分類する。グループ識別子分布の定義については後述する。後述するように、グループ識別子分布から、既存のグループ識別子だけでなく、新しいグループ識別子もサンプリングすることができる。軌跡データに対して新しいグループ識別子がサンプリングされると、このサンプリングされた新しいグループ識別子を有する新しいグループが生成され、軌跡データはこの新しいグループに分類される。クラスター識別子をサンプリングする方法の例示の1つは、非特許文献2に記載されている。
軌跡データをグループに分割した後、クラスタリング部2040は、各グループに対してループ処理Bを実行する。グループjに対するループ処理Bにおいて、クラスタリング部2040は、各時間フレームに対してループ処理Cを実行する。グループjおよび時間フレームtに対するループ処理Cにおいて、クラスタリング部2040は、代表速度rjtをサンプリングする。代表速度rjtのサンプリングは、グループjに属する軌跡データの潜在位置分布を周辺化することによって行われる。
代表速度rjtをサンプリングした後、クラスタリング部は、グループjにおける各軌跡データiの潜在位置をサンプリングする。潜在的な位置は、ユビキタスで広く適用可能なカルマンフィルタリング手法を用いてサンプリングできる。
ループ処理Bを終了した後、クラスタリング部2040は、軌跡データiが現在分類されているグループjのサンプル相対速度rjtおよびサンプリングされた潜在位置が与えられると、各軌跡データiに対するスケーリング係数fiをサンプリングする。
各軌跡データに対して、クラスタリング部2040は、グループ識別子分布を更新する。グループ識別子jが軌跡データiに対してサンプリングされる確率(すなわち、軌跡データiがグループjに分類される確率)をPr(i、j)とし、次のように定義される。
式4
Figure 0006935850
軌跡データiに対してグループ識別子jを取り上げる確率は、次のように定義できる。
式5
Figure 0006935850
ここで、αはパラメータ(すなわち、1などの予め定められた値)、Njはグループjに属する軌跡データの数、Nは軌跡データの総数である。
その軌跡データiが新しいグループに属する尤度は、標準的な手法を用いて、(予め定義されている)事前信念を用いて計算されてもよい。一方、既存の各グループjに対して、グループjと軌跡データiに関するスケーリング係数fiを用いて、軌跡データiがグループjに属する尤度が計算されてもよい。これは、カルマンフィルター方程式を用いて計算することができる。
<ハードウェア構成例>
いくつかの実施形態において、情報処理装置2000に含まれる各機能部は、少なくとも1つのハードウェアコンポーネントで実装されてもよく、各ハードウェアコンポーネントは1つ以上の機能部を実現してもよい。いくつかの実施形態において、各機能部は、少なくとも1つのソフトウェアコンポーネントで実装されてもよい。いくつかの実施形態において、各機能部は、ハードウェアコンポーネントおよびソフトウェアコンポーネントの組み合わせで実装されてもよい。
情報処理装置2000は、情報処理装置2000を実装するために製造された専用コンピュータで実装されてもよく、パーソナルコンピュータ(PC)、サーバマシン、モバイルデバイスなどの汎用コンピュータで実装されてもよい。さらに、情報処理装置2000は、各軌跡データが生成されるビデオフレームを撮像するカメラで実装されてもよい。情報処理装置が実装されるカメラとしては、いわゆるIP(インターネットプロトコル)カメラ、ネットワークカメラ、またはインテリジェントカメラが使用されてもよい。
は、実施形態1の情報処理装置2000を実現するコンピュータ1000のハードウェア構成の一例を示すブロック図である。図において、コンピュータ1000は、バス1020、プロセッサ1040、メモリ1060、記憶装置1080、入出力(I/O)インターフェース1100、およびネットワークインターフェース1120を含む。
バス1020は、プロセッサ1040、メモリ1060および記憶装置1080が相互にデータを送受信するためのデータ伝送チャネルである。プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、またはFPGA(Field-Programmable Gate Array)などのプロセッサである。メモリ1060は、RAM(Random Access Memory)などの一次記憶装置である。記憶媒体1080は、ハードディスクドライブ、SSD(Solid State Drive)、またはROM(Read Only Memory)などの二次記憶装置である。
I/Oインターフェースは、コンピュータ1000と周辺機器(キーボード、マウス、ディスプレイデバイスなど)との間のインターフェースである。ネットワークインターフェースは、コンピュータ1000と、コンピュータ1000が他のコンピュータと通信するための通信回線との間のインターフェースである。
記憶装置1080は、プログラムモジュールを記憶してもよく、各プログラムモジュールは、情報処理装置2000の機能部の実装である(図1参照)。CPU1040は、各プログラムモジュールを実行し、それにより情報処理装置2000の各機能部を実現する。
実施形態2
<概要>
実施形態2の情報処理装置2000は、軌跡データ(以下、対象軌跡データ)および1つ以上のモデルデータを取得し、対象軌跡データが正常挙動を示すか異常挙動を示すかを特定する。換言すると、実施形態2の情報処理装置2000は、挙動認識におけるテスト段階を実行する。具体的には、情報処理装置2000は、対象軌跡データを適切に表すモデルデータが存在するか否かを特定する。対象軌跡データを適切に表すモデルデータが存在する場合、情報処理装置2000は、入力された軌跡データが正常挙動を示すと特定する。一方、対象軌跡データを適切に表すモデルデータが存在しない場合、情報処理装置2000は、対象軌跡データが異常挙動を示すと特定する。
そのように行うために、本実施形態の情報処理装置2000は、各モデルデータに対して、対象軌跡データがモデルデータで表される尤度を算出する。情報処理装置2000は、算出された尤度が予め定められた閾値より大きいなど、実質的に高いモデルデータが存在する場合、軌跡データが正常挙動を示すと特定する。一方、情報処理装置2000は、算出された尤度が実質的に高いモデルデータが存在しない場合、軌跡データが異常挙動を示すと特定する。
図6は、実施形態2の情報処理装置2000の機能別構成を例示するブロック図である。本実施形態の情報処理装置2000は、取得部2120、尤度算出部2140、および分類部2160を含む。取得部2120は、対象軌跡データおよび1つ以上のモデルデータを取得する。
尤度算出部2140は、各モデルデータに対して以下を実行する。1)モデルデータに関する対象軌跡データのスケーリング係数を計算し、2)スケーリング係数、対象軌跡データ、およびモデルデータに基づいて、物体の潜在位置分布の時系列を生成し、3)対象軌跡データおよび潜在位置分布の時系列に基づいて、軌跡データがモデルデータによって表される尤度を計算する。
分類部2160は、特定された尤度の少なくとも1つが、(予め定められた閾値以上であるなど)実質的に高い場合、対象軌跡データが正常挙動を表すと特定する。一方、分類部2160は、特定された尤度の全てが予め定められた閾値未満であるなど、特定された尤度に実質的に高いもの存在しない場合、対象軌跡データが異常挙動を表すと特定する。
<有利な効果>
本実施形態の情報処理装置2000によれば、軌跡データが正常挙動を示すか異常挙動を示すかを特定する処理(すなわち、挙動認識のテスト段階)は、図2に示すように、各モデルデータに関する対象軌跡データのスケーリング係数を用いて実行される。スケーリング係数を導入すると、その軌跡データがモデルデータによって表される尤度が正確に算出されるので、正確な分類が達成される。
<プロセスの流れ>
図7は、実施形態2の情報処理装置2000によって実行される処理の流れを示すフローチャートである。取得部2120は、対象軌跡データおよび1つ以上のモデルデータを取得する(S302)。
ステップS304〜S314は、各モデルデータに対して実行されるループ処理Aを形成する。ステップ304において、尤度算出部2140は、ループ処理Aがまだ実行されていないモデルデータのひとつを選択する。選択されたモデルデータは、モデルデータjとする。
尤度算出部2140は、モデルデータjに関する対象軌跡データのスケーリング係数を計算する(S306)。尤度算出部2140は、対象軌跡データに対応する物体の潜在位置分布の時系列を生成する(S308)。次の式により、S306で計算されたスケーリング係数、対象軌跡データに含まれる観測位置の時系列、およびモデルデータjの代表速度の時系列を用いて、各時間フレームtに対する物体の潜在位置分布を順次計算することができる。
式6
Figure 0006935850
ここで、ztは時間フレームtにおける潜在位置分布を表し、xtは時間フレームtにおける観測位置を表し、nは観測位置x0に含まれるノイズを表し、aは回帰係数を表し、fはスケーリング係数を表し、rtは時間フレームtにおけるモデルデータjの代表速度を表し、n2tは推定速度f*rtに含まれるノイズを表す。
尤度算出部2140は、軌跡データがモデルデータjによって表される尤度(Ljとする)を計算する(S310)。分類部2160は、尤度Ljが予め定められた閾値th以上であるか否かを特定する(S312)。Ljがth以上であると特定された場合、分類部2160は、軌跡データが正常挙動を表すと特定する(S318)。
一方、Ljがth未満であると特定された場合、ステップS314はループ処理Aの終了ステップであるため、処理はS314に進み、ループ処理Aの最初のステップであるS304に戻る。すべてのモデルデータに対してループ処理Aが実行されると、プロセスはS304からS316に進む。
プロセスがS316に到達するということは、軌跡データを適切に表すと特定されたモデルデータが存在しないということを意味する。したがって、分類部2160は、軌跡データが異常挙動を表すと特定する(S316)。
<軌跡データの取得>
取得部2120は、モデルデータと比較される軌跡データ、すなわち対象軌跡データを取得する(S302)。取得部2120は、取得部2020が軌跡データを取得するのと同様にして、対象軌跡データを取得することができる。
<モデルデータの取得>
ステップS302において、対象軌跡データと比較されるモデルデータも取得される。軌跡データを取得する方法と同様に、モデルデータを取得する方法も様々ある。いくつかの実施形態において、取得部2120は、モデルデータを記憶する記憶装置からモデルデータを取得してもよく、該記憶装置は、情報処理装置2000の内部または外部に設置されていてもよい。いくつかの実施形態において、取得部2120は、モデルデータを生成する装置から送信されたモデルデータを受信する。
<スケーリング係数の計算>
各モデルデータjに対して、尤度算出部2140はスケーリング係数を計算する。モデルデータjに関するスケーリング係数は、観測速度とモデルデータjの代表速度とを比較することで計算できる。時間フレームtにおける観測速度は、観測位置xtとx_t−1の差として計算できる。
例えば、モデルデータjに関するスケーリング係数は次のように示すことができる。
式7
Figure 0006935850
ここで、fjは、モデルデータjに関するスケーリング係数を表し、rjtは時間フレームtにおけるモデルデータjの代表速度を表す。
<尤度の計算>
尤度算出部2140は、軌跡データがモデルデータjによって表される尤度(Ljとする)を計算する(S310)。いくつかの実施形態において、尤度算出部2140は、各時間フレームtに対して、対象軌跡データiの観測位置xtが潜在位置分布ztからサンプリングされる尤度ltを計算する。そして、尤度算出部2140は、全ての時間フレームに対する系列ltの積を全体尤度Ljとして計算する。
<さらなる分類>
いくつかの実施形態において、さらに、取得された軌跡データが正常挙動を示すか異常挙動を示すかを特定するために、分類部2160は、軌跡データが正常挙動を示す場合、軌跡データを正常挙動グループの1つに分類してもよい。各正常挙動グループは、事前にモデルデータのうちの1つに関連付けられている。分類部2160は、算出された尤度が最も高いモデルデータを特定し、特定されたモデルデータに対して算出された尤度が実質的に高い限り、特定されたモデルデータに関連付けられた正常行動グループに軌跡データを分類する。最も高い尤度が実質的に高くないと特定された場合、軌跡データは異常挙動を示すと特定される。
<ハードウェア構成例>
実施形態2の情報処理装置2000のハードウェア構成は、実施形態1と同様に図3で示すことができる。ただし、本実施形態において、上記の記憶装置1080に記憶されている各プログラムモジュールは、本実施形態で説明した各機能を実現するためのプログラムを含む。
以上のように、図面を参照して本発明の実施形態について説明したが、これらの実施形態は本発明の例示に過ぎず、上記の実施形態と上記の実施形態以外の様々な構成との組み合わせを採用することもできる。

Claims (7)

  1. それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得する取得部、
    個々の軌跡データに対して、前記軌跡データが属するグループの確率分布を表す前記軌跡データのグループ同一性分布に基づいて、前記軌跡データがいずれのグループに属するかを特定することにより、前記複数の軌跡データを1つ以上のグループに分割することと、
    各グループの代表速度の時系列を生成することと、
    各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、
    各軌跡データのスケーリング係数を計算することと、
    各軌跡データに対して、前記軌跡データおよび前記スケーリング係数に基づいて前記軌跡データが各グループに分類される尤度を計算し、それにより前記軌跡データの前記グループ同一性分布を更新することと
    を、終了条件が満たされるまで繰り返し実行するクラスタリング部、および
    各グループに対して、前記代表速度の時系列が含まれるモデルデータを生成するモデリング部
    を備える情報処理装置。
  2. 物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得する取得部、
    前記モデルデータに関する前記軌跡データのスケーリング係数を計算し、
    前記スケーリング係数と、前記軌跡データと、前記モデルデータとに基づいて、前記物体の潜在位置分布の時系列を生成し、かつ
    前記軌跡データが前記モデルデータによって表される尤度を計算して、
    各モデルデータに対して前記尤度を算出する尤度算出部、および
    前記軌跡データを表すモデルデータが少なくとも1つ存在する場合、前記軌跡データが正常挙動を表すと特定し、前記軌跡データを表すモデルデータが存在しない場合、前記軌跡データが異常挙動を表すと特定する分類部
    を備える情報処理装置。
  3. 前記分類部は、前記算出された尤度が予め定められた閾値以上である前記モデルデータが存在する場合、前記軌跡データが正常挙動を示すと特定し、
    前記分類部は、前記算出された尤度が前記予め定められた閾値以上であるモデルデータが存在しない場合、前記軌跡データが異常挙動を示すと特定する
    請求項に記載の情報処理装置。
  4. それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得するステップ、
    個々の軌跡データに対して、前記軌跡データが属するグループの確率分布を表す前記軌跡データのグループ同一性分布に基づいて、前記軌跡データがいずれのグループに属するかを特定することにより、前記複数の軌跡データを1つ以上のグループに分割することと、
    各グループの代表速度の時系列を生成することと、
    各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、
    各軌跡データのスケーリング係数を計算することと、
    各軌跡データに対して、前記軌跡データおよび前記スケーリング係数に基づいて前記軌跡データが各グループに分類される尤度を計算し、それにより前記軌跡データの前記グループ同一性分布を更新することと
    を、終了条件が満たされるまで繰り返し実行するステップ、および
    各グループに対して、前記代表速度の時系列が含まれるモデルデータを生成するステップ
    を含むコンピュータによって実行される方法。
  5. 物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得するステップ、
    前記モデルデータに関する前記軌跡データのスケーリング係数を計算し、
    前記スケーリング係数と、前記軌跡データと、前記モデルデータとに基づいて、前記物体の潜在位置分布の時系列を生成し、かつ
    前記軌跡データが前記モデルデータによって表される尤度を計算して、
    各モデルデータに対して前記尤度を算出するステップ、および
    前記軌跡データを表すモデルデータが少なくとも1つ存在する場合、前記軌跡データが正常挙動を表すと特定し、前記軌跡データを表すモデルデータが存在しない場合、前記軌跡データが異常挙動を表すと特定するステップ
    を含むコンピュータによって実行される方法。
  6. 前記算出された尤度が予め定められた閾値以上である前記モデルデータが存在する場合、前記軌跡データは正常挙動を示すと特定され、
    前記算出された尤度が前記予め定められた閾値以上であるモデルデータが存在しない場合、前記軌跡データは異常挙動を示すと特定される
    請求項5に記載の方法。
  7. 請求項4〜6のいずれか一項に記載の方法における各ステップをコンピュータに実行させるプログラム。
JP2020533869A 2017-12-28 2017-12-28 情報処理装置、方法、およびプログラム Active JP6935850B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/047235 WO2019130548A1 (en) 2017-12-28 2017-12-28 Information processing apparatus, method, and program

Publications (3)

Publication Number Publication Date
JP2021507398A JP2021507398A (ja) 2021-02-22
JP2021507398A5 JP2021507398A5 (ja) 2021-04-01
JP6935850B2 true JP6935850B2 (ja) 2021-09-15

Family

ID=67063305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533869A Active JP6935850B2 (ja) 2017-12-28 2017-12-28 情報処理装置、方法、およびプログラム

Country Status (3)

Country Link
US (1) US11417150B2 (ja)
JP (1) JP6935850B2 (ja)
WO (1) WO2019130548A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541646B (zh) * 2019-09-20 2024-03-26 杭州海康威视数字技术股份有限公司 周期行为分析方法及装置
CN112017209A (zh) * 2020-09-07 2020-12-01 图普科技(广州)有限公司 一种区域人群轨迹确定方法及装置
CN112818868A (zh) * 2021-02-03 2021-05-18 招联消费金融有限公司 基于行为序列特征数据的违规用户识别方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208063A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
US8253564B2 (en) * 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
JP5285575B2 (ja) * 2009-11-04 2013-09-11 日本放送協会 人物行動判定装置及びそのプログラム
EP2826020A4 (en) * 2012-03-15 2016-06-15 Behavioral Recognition Sys Inc STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM
JP2017076289A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 パラメータ決定装置、パラメータ決定方法及びプログラム

Also Published As

Publication number Publication date
US11417150B2 (en) 2022-08-16
US20210097265A1 (en) 2021-04-01
JP2021507398A (ja) 2021-02-22
WO2019130548A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP5224401B2 (ja) 監視システムおよび方法
US11301690B2 (en) Multi-temporal scale analytics
Van Droogenbroeck et al. Background subtraction: Experiments and improvements for ViBe
CN108898624B (zh) 一种运动物体跟踪的方法、装置、电子设备和存储介质
CN111062974B (zh) 一种使用去除鬼影对前景目标提取的方法及系统
JP6935850B2 (ja) 情報処理装置、方法、およびプログラム
RU2651147C1 (ru) Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей
CN109583355B (zh) 一种基于边界选择的人流统计的装置和方法
CN112989962A (zh) 轨迹生成方法、装置、电子设备及存储介质
Xiao et al. Anomaly detection via local coordinate factorization and spatio-temporal pyramid
Sharma et al. An improved method for visual surveillance using background subtraction technique
JP6812076B2 (ja) ジェスチャ認識装置およびジェスチャ認識プログラム
CN114741185A (zh) 面向多目标视频监控的边缘计算系统及其工作方法
US10185897B2 (en) System and a method for camera motion analysis and understanding from a video sequence
JP7205628B2 (ja) 情報処理装置、制御方法、およびプログラム
Duque et al. The OBSERVER: An intelligent and automated video surveillance system
CN110969645A (zh) 面向拥挤场景的无监督异常轨迹检测方法和装置
Singh et al. Object motion detection methods for real-time video surveillance: A survey with empirical evaluation
CN107025433B (zh) 视频事件类人概念学习方法及装置
Shreedarshan et al. Crowd recognition system based on optical flow along with SVM classifier
Patino et al. Online learning of activities from video
Arróspide et al. Multiple object tracking using an automatic variable-dimension particle filter
Moussa et al. Comparative study of statistical background modeling and subtraction
Oiwa et al. Tracking with probabilistic background model by density forests
Liu et al. Self-adaptive visual background extraction with ghost regions elimination

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210809

R150 Certificate of patent or registration of utility model

Ref document number: 6935850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150