JP6935850B2 - 情報処理装置、方法、およびプログラム - Google Patents
情報処理装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP6935850B2 JP6935850B2 JP2020533869A JP2020533869A JP6935850B2 JP 6935850 B2 JP6935850 B2 JP 6935850B2 JP 2020533869 A JP2020533869 A JP 2020533869A JP 2020533869 A JP2020533869 A JP 2020533869A JP 6935850 B2 JP6935850 B2 JP 6935850B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- locus
- group
- trajectory
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Description
実施形態1の情報処理装置2000は、複数の軌跡データを取得し、それらをグループに分割し、各グループに対してモデルデータを生成する。換言すると、実施形態1の情報処理装置2000は、挙動認識のトレーニング段階を実行する。軌跡データは、物体の観測位置の時系列を含み、それにより、物体の観測された挙動を表す。モデルデータには、そのグループに含まれる軌跡データに対応する物体の代表速度が含まれる。換言すると、グループに含まれる各軌跡データは、そのグループに対応するモデルデータによって表される。したがって、グループに含まれる各軌跡データについて、軌跡データがそのグループに対応するモデルデータによって表される尤度が実質的に高くなるように、グループが生成される。
図2は、実施形態1の情報処理装置2000の有利な効果を示す。速度プロファイル(例:代表速度の時系列)による物体の挙動を示すモデルデータでは、モデルデータが示す方向と同じ方向に物体が移動することを軌跡データが示している場合でも、モデルデータと軌跡データとの間の速さに差があることだけによって(例えば、より遅い/より速い)、軌跡データがモデルデータで表される尤度は低いと特定される(図2の上側のケースを参照)。
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを示すフローチャートである。取得部2020は、複数の軌跡データを取得する(S102)。
上述のように、軌跡データは、物体の観測位置の時系列を含む。物体の観測位置は、物体を撮像する画像データを用いて計算された物体の位置であり得る。画像データは、場面を撮像するカメラ(例えば、監視カメラ)によって生成されたビデオフレームのうちの1つであり得る。なお、公知の技術を用いて、物体を撮像したビデオフレームから物体の軌跡データを生成することができることに注意されたい。
クラスタリング部2040は、取得した複数の軌跡データを1つ以上のグループに分割する。クラスタリングのアルゴリズムの例を説明する前に、説明のためのいくつかの表記法を以下に示す。
式1
ここで、nitは、観測位置xitに含まれるノイズを表す。
式2
式3
ここで、fiはグループjの代表速度に関する物体iのスケーリング係数であり、n2tは推定速度に含まれるノイズである。なお、スケーリング係数は、すべての時間フレームで一定であることに注意されたい。
式4
式5
ここで、αはパラメータ(すなわち、1などの予め定められた値)、Njはグループjに属する軌跡データの数、Nは軌跡データの総数である。
いくつかの実施形態において、情報処理装置2000に含まれる各機能部は、少なくとも1つのハードウェアコンポーネントで実装されてもよく、各ハードウェアコンポーネントは1つ以上の機能部を実現してもよい。いくつかの実施形態において、各機能部は、少なくとも1つのソフトウェアコンポーネントで実装されてもよい。いくつかの実施形態において、各機能部は、ハードウェアコンポーネントおよびソフトウェアコンポーネントの組み合わせで実装されてもよい。
実施形態2の情報処理装置2000は、軌跡データ(以下、対象軌跡データ)および1つ以上のモデルデータを取得し、対象軌跡データが正常挙動を示すか異常挙動を示すかを特定する。換言すると、実施形態2の情報処理装置2000は、挙動認識におけるテスト段階を実行する。具体的には、情報処理装置2000は、対象軌跡データを適切に表すモデルデータが存在するか否かを特定する。対象軌跡データを適切に表すモデルデータが存在する場合、情報処理装置2000は、入力された軌跡データが正常挙動を示すと特定する。一方、対象軌跡データを適切に表すモデルデータが存在しない場合、情報処理装置2000は、対象軌跡データが異常挙動を示すと特定する。
本実施形態の情報処理装置2000によれば、軌跡データが正常挙動を示すか異常挙動を示すかを特定する処理(すなわち、挙動認識のテスト段階)は、図2に示すように、各モデルデータに関する対象軌跡データのスケーリング係数を用いて実行される。スケーリング係数を導入すると、その軌跡データがモデルデータによって表される尤度が正確に算出されるので、正確な分類が達成される。
図7は、実施形態2の情報処理装置2000によって実行される処理の流れを示すフローチャートである。取得部2120は、対象軌跡データおよび1つ以上のモデルデータを取得する(S302)。
式6
ここで、ztは時間フレームtにおける潜在位置分布を表し、xtは時間フレームtにおける観測位置を表し、nは観測位置x0に含まれるノイズを表し、aは回帰係数を表し、fはスケーリング係数を表し、rtは時間フレームtにおけるモデルデータjの代表速度を表し、n2tは推定速度f*rtに含まれるノイズを表す。
取得部2120は、モデルデータと比較される軌跡データ、すなわち対象軌跡データを取得する(S302)。取得部2120は、取得部2020が軌跡データを取得するのと同様にして、対象軌跡データを取得することができる。
ステップS302において、対象軌跡データと比較されるモデルデータも取得される。軌跡データを取得する方法と同様に、モデルデータを取得する方法も様々ある。いくつかの実施形態において、取得部2120は、モデルデータを記憶する記憶装置からモデルデータを取得してもよく、該記憶装置は、情報処理装置2000の内部または外部に設置されていてもよい。いくつかの実施形態において、取得部2120は、モデルデータを生成する装置から送信されたモデルデータを受信する。
各モデルデータjに対して、尤度算出部2140はスケーリング係数を計算する。モデルデータjに関するスケーリング係数は、観測速度とモデルデータjの代表速度とを比較することで計算できる。時間フレームtにおける観測速度は、観測位置xtとx_t−1の差として計算できる。
式7
ここで、fjは、モデルデータjに関するスケーリング係数を表し、rjtは時間フレームtにおけるモデルデータjの代表速度を表す。
尤度算出部2140は、軌跡データがモデルデータjによって表される尤度(Ljとする)を計算する(S310)。いくつかの実施形態において、尤度算出部2140は、各時間フレームtに対して、対象軌跡データiの観測位置xtが潜在位置分布ztからサンプリングされる尤度ltを計算する。そして、尤度算出部2140は、全ての時間フレームに対する系列ltの積を全体尤度Ljとして計算する。
いくつかの実施形態において、さらに、取得された軌跡データが正常挙動を示すか異常挙動を示すかを特定するために、分類部2160は、軌跡データが正常挙動を示す場合、軌跡データを正常挙動グループの1つに分類してもよい。各正常挙動グループは、事前にモデルデータのうちの1つに関連付けられている。分類部2160は、算出された尤度が最も高いモデルデータを特定し、特定されたモデルデータに対して算出された尤度が実質的に高い限り、特定されたモデルデータに関連付けられた正常行動グループに軌跡データを分類する。最も高い尤度が実質的に高くないと特定された場合、軌跡データは異常挙動を示すと特定される。
実施形態2の情報処理装置2000のハードウェア構成は、実施形態1と同様に図3で示すことができる。ただし、本実施形態において、上記の記憶装置1080に記憶されている各プログラムモジュールは、本実施形態で説明した各機能を実現するためのプログラムを含む。
Claims (7)
- それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得する取得部、
個々の軌跡データに対して、前記軌跡データが属するグループの確率分布を表す前記軌跡データのグループ同一性分布に基づいて、前記軌跡データがいずれのグループに属するかを特定することにより、前記複数の軌跡データを1つ以上のグループに分割することと、
各グループの代表速度の時系列を生成することと、
各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、
各軌跡データのスケーリング係数を計算することと、
各軌跡データに対して、前記軌跡データおよび前記スケーリング係数に基づいて前記軌跡データが各グループに分類される尤度を計算し、それにより前記軌跡データの前記グループ同一性分布を更新することと
を、終了条件が満たされるまで繰り返し実行するクラスタリング部、および
各グループに対して、前記代表速度の時系列が含まれるモデルデータを生成するモデリング部
を備える情報処理装置。 - 物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得する取得部、
前記モデルデータに関する前記軌跡データのスケーリング係数を計算し、
前記スケーリング係数と、前記軌跡データと、前記モデルデータとに基づいて、前記物体の潜在位置分布の時系列を生成し、かつ
前記軌跡データが前記モデルデータによって表される尤度を計算して、
各モデルデータに対して前記尤度を算出する尤度算出部、および
前記軌跡データを表すモデルデータが少なくとも1つ存在する場合、前記軌跡データが正常挙動を表すと特定し、前記軌跡データを表すモデルデータが存在しない場合、前記軌跡データが異常挙動を表すと特定する分類部
を備える情報処理装置。 - 前記分類部は、前記算出された尤度が予め定められた閾値以上である前記モデルデータが存在する場合、前記軌跡データが正常挙動を示すと特定し、
前記分類部は、前記算出された尤度が前記予め定められた閾値以上であるモデルデータが存在しない場合、前記軌跡データが異常挙動を示すと特定する
請求項2に記載の情報処理装置。 - それぞれが物体の観測位置の時系列を表す複数の軌跡データを取得するステップ、
個々の軌跡データに対して、前記軌跡データが属するグループの確率分布を表す前記軌跡データのグループ同一性分布に基づいて、前記軌跡データがいずれのグループに属するかを特定することにより、前記複数の軌跡データを1つ以上のグループに分割することと、
各グループの代表速度の時系列を生成することと、
各軌跡データに対して、対応する物体の潜在位置分布の時系列を生成することと、
各軌跡データのスケーリング係数を計算することと、
各軌跡データに対して、前記軌跡データおよび前記スケーリング係数に基づいて前記軌跡データが各グループに分類される尤度を計算し、それにより前記軌跡データの前記グループ同一性分布を更新することと
を、終了条件が満たされるまで繰り返し実行するステップ、および
各グループに対して、前記代表速度の時系列が含まれるモデルデータを生成するステップ
を含むコンピュータによって実行される方法。 - 物体の観測位置の時系列を表す軌跡データと、物体の代表速度の時系列を含むモデルデータとを取得するステップ、
前記モデルデータに関する前記軌跡データのスケーリング係数を計算し、
前記スケーリング係数と、前記軌跡データと、前記モデルデータとに基づいて、前記物体の潜在位置分布の時系列を生成し、かつ
前記軌跡データが前記モデルデータによって表される尤度を計算して、
各モデルデータに対して前記尤度を算出するステップ、および
前記軌跡データを表すモデルデータが少なくとも1つ存在する場合、前記軌跡データが正常挙動を表すと特定し、前記軌跡データを表すモデルデータが存在しない場合、前記軌跡データが異常挙動を表すと特定するステップ
を含むコンピュータによって実行される方法。 - 前記算出された尤度が予め定められた閾値以上である前記モデルデータが存在する場合、前記軌跡データは正常挙動を示すと特定され、
前記算出された尤度が前記予め定められた閾値以上であるモデルデータが存在しない場合、前記軌跡データは異常挙動を示すと特定される
請求項5に記載の方法。 - 請求項4〜6のいずれか一項に記載の方法における各ステップをコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/047235 WO2019130548A1 (en) | 2017-12-28 | 2017-12-28 | Information processing apparatus, method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021507398A JP2021507398A (ja) | 2021-02-22 |
JP2021507398A5 JP2021507398A5 (ja) | 2021-04-01 |
JP6935850B2 true JP6935850B2 (ja) | 2021-09-15 |
Family
ID=67063305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533869A Active JP6935850B2 (ja) | 2017-12-28 | 2017-12-28 | 情報処理装置、方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11417150B2 (ja) |
JP (1) | JP6935850B2 (ja) |
WO (1) | WO2019130548A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541646B (zh) * | 2019-09-20 | 2024-03-26 | 杭州海康威视数字技术股份有限公司 | 周期行为分析方法及装置 |
CN112017209A (zh) * | 2020-09-07 | 2020-12-01 | 图普科技(广州)有限公司 | 一种区域人群轨迹确定方法及装置 |
CN112818868A (zh) * | 2021-02-03 | 2021-05-18 | 招联消费金融有限公司 | 基于行为序列特征数据的违规用户识别方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100208063A1 (en) | 2009-02-19 | 2010-08-19 | Panasonic Corporation | System and methods for improving accuracy and robustness of abnormal behavior detection |
US8253564B2 (en) * | 2009-02-19 | 2012-08-28 | Panasonic Corporation | Predicting a future location of a moving object observed by a surveillance device |
US8285060B2 (en) * | 2009-08-31 | 2012-10-09 | Behavioral Recognition Systems, Inc. | Detecting anomalous trajectories in a video surveillance system |
JP5285575B2 (ja) * | 2009-11-04 | 2013-09-11 | 日本放送協会 | 人物行動判定装置及びそのプログラム |
EP2826020A4 (en) * | 2012-03-15 | 2016-06-15 | Behavioral Recognition Sys Inc | STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM |
JP2017076289A (ja) * | 2015-10-15 | 2017-04-20 | キヤノン株式会社 | パラメータ決定装置、パラメータ決定方法及びプログラム |
-
2017
- 2017-12-28 WO PCT/JP2017/047235 patent/WO2019130548A1/en active Application Filing
- 2017-12-28 US US16/954,840 patent/US11417150B2/en active Active
- 2017-12-28 JP JP2020533869A patent/JP6935850B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US11417150B2 (en) | 2022-08-16 |
US20210097265A1 (en) | 2021-04-01 |
JP2021507398A (ja) | 2021-02-22 |
WO2019130548A1 (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5224401B2 (ja) | 監視システムおよび方法 | |
US11301690B2 (en) | Multi-temporal scale analytics | |
Van Droogenbroeck et al. | Background subtraction: Experiments and improvements for ViBe | |
CN108898624B (zh) | 一种运动物体跟踪的方法、装置、电子设备和存储介质 | |
CN111062974B (zh) | 一种使用去除鬼影对前景目标提取的方法及系统 | |
JP6935850B2 (ja) | 情報処理装置、方法、およびプログラム | |
RU2651147C1 (ru) | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей | |
CN109583355B (zh) | 一种基于边界选择的人流统计的装置和方法 | |
CN112989962A (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
Xiao et al. | Anomaly detection via local coordinate factorization and spatio-temporal pyramid | |
Sharma et al. | An improved method for visual surveillance using background subtraction technique | |
JP6812076B2 (ja) | ジェスチャ認識装置およびジェスチャ認識プログラム | |
CN114741185A (zh) | 面向多目标视频监控的边缘计算系统及其工作方法 | |
US10185897B2 (en) | System and a method for camera motion analysis and understanding from a video sequence | |
JP7205628B2 (ja) | 情報処理装置、制御方法、およびプログラム | |
Duque et al. | The OBSERVER: An intelligent and automated video surveillance system | |
CN110969645A (zh) | 面向拥挤场景的无监督异常轨迹检测方法和装置 | |
Singh et al. | Object motion detection methods for real-time video surveillance: A survey with empirical evaluation | |
CN107025433B (zh) | 视频事件类人概念学习方法及装置 | |
Shreedarshan et al. | Crowd recognition system based on optical flow along with SVM classifier | |
Patino et al. | Online learning of activities from video | |
Arróspide et al. | Multiple object tracking using an automatic variable-dimension particle filter | |
Moussa et al. | Comparative study of statistical background modeling and subtraction | |
Oiwa et al. | Tracking with probabilistic background model by density forests | |
Liu et al. | Self-adaptive visual background extraction with ghost regions elimination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |