JP6999399B2 - Abnormality judgment device - Google Patents

Abnormality judgment device Download PDF

Info

Publication number
JP6999399B2
JP6999399B2 JP2017242506A JP2017242506A JP6999399B2 JP 6999399 B2 JP6999399 B2 JP 6999399B2 JP 2017242506 A JP2017242506 A JP 2017242506A JP 2017242506 A JP2017242506 A JP 2017242506A JP 6999399 B2 JP6999399 B2 JP 6999399B2
Authority
JP
Japan
Prior art keywords
blind spot
subject
area
person
abnormality determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017242506A
Other languages
Japanese (ja)
Other versions
JP2019109724A (en
Inventor
顕夫 岩上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2017242506A priority Critical patent/JP6999399B2/en
Publication of JP2019109724A publication Critical patent/JP2019109724A/en
Application granted granted Critical
Publication of JP6999399B2 publication Critical patent/JP6999399B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、異常な行動をする人物を検知する技術に関する。 The present invention relates to a technique for detecting a person who behaves abnormally.

異常な行動をする人物を検知するための技術が提案されている。例えば、特許文献1には、カメラで撮像されている人物の所定エリア内における滞在時間に基づいて、その人物が異常な行動をしているか否かを判定する装置が記載されている。 Techniques for detecting people who behave abnormally have been proposed. For example, Patent Document 1 describes a device for determining whether or not a person is behaving abnormally based on the staying time of the person captured by the camera in a predetermined area.

特開2006-11728号公報Japanese Unexamined Patent Publication No. 2006-11728

特許文献1に記載の技術による場合、いずれのカメラにも撮像されない死角領域に人物が長時間、滞在していても、その異常な行動は検知されない。従って、異常な行動をしている人物を漏れなく検知するためには、死角領域が生じないように多数のカメラを配置する必要がある。 According to the technique described in Patent Document 1, even if a person stays in a blind spot area that is not captured by any camera for a long time, the abnormal behavior is not detected. Therefore, in order to detect a person who is behaving abnormally without omission, it is necessary to arrange a large number of cameras so that a blind spot area does not occur.

本発明は、上記の事情に鑑み、カメラの死角領域が生じていても、異常な行動をしている人物を検知可能とする手段を提供する。 In view of the above circumstances, the present invention provides a means for detecting a person who is behaving abnormally even if a blind spot area of the camera is generated.

上述した課題を解決するため、本発明は、監視対象領域のうち前記監視対象領域内に離散配置された複数のカメラのいずれの撮像領域でもない領域を死角領域とするとき、前記複数のカメラにより撮像された画像に基づき、対象者が第1の撮像領域から前記死角領域に入り第2の撮像領域に出る移動経路上を移動した場合の前記死角領域に滞在した時間を特定し、当該時間の発生確率を、一般的な通行人が前記移動経路上を移動する場合に前記死角領域に滞在する時間の確率分布に基づき算出し、前記発生確率に基づき、前記対象者の行動が異常であるか否かを判定する異常判定装置を、第1の態様として提供する。 In order to solve the above-mentioned problems, the present invention uses the plurality of cameras to set a region of the monitored region that is not an imaging region of any of the plurality of cameras discretely arranged in the monitored region as a blind spot region. Based on the captured image, the time during which the subject stays in the blind spot region when the subject moves on the movement path from the first imaging region to the blind spot region and exits to the second imaging region is specified, and the time spent in the blind spot region is specified. The probability of occurrence is calculated based on the probability distribution of the time that a general passerby stays in the blind spot region when moving on the movement path, and based on the probability of occurrence , is the behavior of the subject abnormal? An abnormality determination device for determining whether or not to use is provided as a first aspect.

第1の態様の異常判定装置によれば、死角領域が生じていても、異常な行動をする対象者を検知することができる。 According to the abnormality determination device of the first aspect, it is possible to detect a subject who behaves abnormally even if a blind spot region is generated.

第1の態様の異常判定装置において、前記監視対象領域は複数の前記死角領域を含み、
複数の前記死角領域の各々に関し前記発生確率を算出し、複数の前記死角領域の各々に関し算出した前記発生確率に基づき、前記対象者の行動が異常であるか否かを判定する、という構成が第の態様として採用されてもよい。
In the abnormality determination device of the first aspect, the monitored area includes a plurality of the blind spot areas.
The configuration is such that the occurrence probability is calculated for each of the plurality of blind spot regions, and whether or not the behavior of the subject is abnormal is determined based on the occurrence probability calculated for each of the plurality of blind spot regions. May be adopted as the second aspect.

の態様の異常判定装置によれば、死角領域が複数ある場合でも、異常な行動をしている対象者を検知することができる。 According to the abnormality determination device of the second aspect, it is possible to detect a subject who is behaving abnormally even when there are a plurality of blind spot areas.

第1の態様又はの態様の異常判定装置において、前記対象者の行動が異常であると判定した場合、ユーザに対する報知を行う、という構成が第の態様として採用されてもよい。 In the abnormality determination device of the first aspect or the second aspect, when it is determined that the behavior of the subject is abnormal, the configuration of notifying the user may be adopted as the third aspect.

の態様の異常判定装置によれば、ユーザは異常な行動をしている対象者を知ることができる。 According to the abnormality determination device of the third aspect, the user can know the target person who is behaving abnormally.

第1の態様乃至第の態様の異常判定装置において、前記複数のカメラのいずれかにより撮像された画像から抽出した前記対象者の特徴情報を記憶し、前記特徴情報を用いて前記複数のカメラのいずれかにより撮像された画像に写っている人物と前記対象者の同定を行うことにより、前記対象者が前記複数のカメラのいずれかの撮像領域に滞在した期間を特定し、当該期間に基づき前記対象者が前記死角領域に滞在した時間を特定する、という構成が第の態様として採用されてもよい。 In the abnormality determination device of the first to third aspects, the feature information of the subject extracted from the image captured by any of the plurality of cameras is stored, and the feature information is used to store the feature information of the plurality of cameras. By identifying the person and the subject in the image captured by any of the above, the period during which the subject stayed in any of the imaging regions of the plurality of cameras is specified , and the period is specified. Based on this, a configuration in which the subject stays in the blind spot region for a certain period of time may be adopted as the fourth aspect.

の態様の異常判定装置によれば、ある対象者の撮像領域及び死角領域の各々における滞在時間が分かる。 According to the abnormality determination device of the fourth aspect, the staying time in each of the imaging region and the blind spot region of a certain subject can be known.

の態様の異常判定装置において、前記対象者の特徴情報が、前記複数のカメラのいずれにより撮像された画像からも抽出されない時間が閾値以上に継続した後は、前記対象者の特徴情報の記憶を維持しない、という構成が第の態様として採用されてもよい。 In the abnormality determination device of the fourth aspect, after the time during which the characteristic information of the subject is not extracted from the image captured by any of the plurality of cameras continues to be equal to or longer than the threshold value, the characteristic information of the subject is described. A configuration in which memory is not maintained may be adopted as the fifth aspect.

の態様の異常判定装置によれば、監視対象領域外に出た対象者に関する情報が無駄に記憶される不都合が回避される。 According to the abnormality determination device of the fifth aspect, the inconvenience that the information about the target person who has gone out of the monitoring target area is unnecessarily stored is avoided.

一実施形態に係る異常判定システムの構成を示した図。The figure which showed the structure of the abnormality determination system which concerns on one Embodiment. 一実施形態に係る複数のカメラの撮像領域を例示した図。The figure which exemplifies the imaging area of a plurality of cameras which concerns on one Embodiment. 一実施形態に係る異常判定装置のハードウェア構成を示したブロック図。The block diagram which showed the hardware configuration of the abnormality determination apparatus which concerns on one Embodiment. 一実施形態に係る人物テーブルのデータ構成を例示した図。The figure which illustrated the data structure of the person table which concerns on one Embodiment. 一実施形態に係る検知ログDBのデータ構成を例示した図。The figure which illustrated the data structure of the detection log DB which concerns on one Embodiment. 一実施形態に係る異常判定システムにおいて検知された人物の移動経路を例示した図。The figure which exemplifies the movement path of the person detected in the abnormality determination system which concerns on one Embodiment. 一実施形態に係る異常判定装置の機能的構成を示したブロック図。The block diagram which showed the functional structure of the abnormality determination apparatus which concerns on one Embodiment. 一実施形態に係る異常判定装置の異常行動判定部が行う処理のフローを示した図。The figure which showed the flow of the process performed by the abnormal behavior determination part of the abnormality determination apparatus which concerns on one Embodiment. 一実施形態に係る遷移確率テーブルのデータ構成を例示した図。The figure which illustrated the data structure of the transition probability table which concerns on one Embodiment. 一実施形態に係る正規分布パラメータテーブルのデータ構成を例示した図。The figure which illustrated the data structure of the normal distribution parameter table which concerns on one Embodiment. 一実施形態に係る未検出時間テーブルのデータ構成を例示した図。The figure which illustrated the data structure of the undetected time table which concerns on one Embodiment. 一実施形態に係る異常判定装置の異常行動判定部が用いる確率と異常度の関係を例示したグラフ。A graph illustrating the relationship between the probability and the degree of abnormality used by the abnormal behavior determination unit of the abnormality determination device according to the embodiment. 一実施形態に係る異常判定システムにおいて検知された人物の移動経路を例示した図。The figure which exemplifies the movement path of the person detected in the abnormality determination system which concerns on one Embodiment. 一実施形態に係る異常判定システムのディスプレイに表示される画面を例示した図。The figure exemplifying the screen displayed on the display of the abnormality determination system which concerns on one Embodiment. 一変形例に係る異常判定システムにおいて用いられる滞在時間と確率の関係を例示したグラフ。A graph illustrating the relationship between the staying time and the probability used in the abnormality determination system according to one modification. 一変形例に係る異常判定システムにおいて用いられる滞在時間と確率の関係を例示したグラフ。A graph illustrating the relationship between the staying time and the probability used in the abnormality determination system according to one modification. 一変形例に係る複数のカメラの配置を例示した図。The figure which exemplifies the arrangement of a plurality of cameras which concerns on one modification. 一変形例に係る複数のカメラの配置を例示した図。The figure which exemplifies the arrangement of a plurality of cameras which concerns on one modification.

<実施形態>
以下、本発明の一実施形態に係る異常判定システム1を説明する。異常判定システム1は、通行人の行動が異常であるか否かを判定するシステムである。以下の説明において、異常判定システム1の監視対象領域は駅構内の通路Sであるものとするが、異常判定システム1の監視対象領域は通行人が通行する領域であればいずれであってもよい。
<Embodiment>
Hereinafter, the abnormality determination system 1 according to the embodiment of the present invention will be described. The abnormality determination system 1 is a system for determining whether or not the behavior of a passerby is abnormal. In the following description, it is assumed that the monitored area of the abnormality determination system 1 is the passage S in the station yard, but the monitored area of the abnormality determination system 1 may be any area as long as it is an area where passersby pass. ..

図1は、異常判定システム1の構成を示した図である。図1に例示の異常判定システム1は、異常判定装置11と、ディスプレイ12と、操作装置13と、複数のカメラ14A~14F(以下、「カメラ14」と総称する)と、スピーカ15を備える。 FIG. 1 is a diagram showing the configuration of the abnormality determination system 1. The abnormality determination system 1 illustrated in FIG. 1 includes an abnormality determination device 11, a display 12, an operation device 13, a plurality of cameras 14A to 14F (hereinafter collectively referred to as “camera 14”), and a speaker 15.

異常判定装置11は、監視対象領域内に離散配置された複数のカメラ14により撮像された画像に基づき、通路Sの通行人(監視の対象者)の行動が異常であるか否かを判定する装置である。 The abnormality determination device 11 determines whether or not the behavior of a passerby (monitoring target person) in the passage S is abnormal based on images captured by a plurality of cameras 14 discretely arranged in the monitoring target area. It is a device.

ディスプレイ12は異常判定装置11に接続され、異常判定装置11のユーザに対し異常判定装置11により行われた判定の結果等の各種情報を表示する。操作装置13はキーボードやマウス等であり、異常判定装置11に接続され、異常判定装置11のユーザが異常判定装置11に対し行うデータ入力等の操作を受け付ける。 The display 12 is connected to the abnormality determination device 11 and displays various information such as the result of the determination made by the abnormality determination device 11 to the user of the abnormality determination device 11. The operation device 13 is a keyboard, a mouse, or the like, and is connected to the abnormality determination device 11 to receive operations such as data input performed by the user of the abnormality determination device 11 to the abnormality determination device 11.

カメラ14の各々は異常判定装置11に接続され、撮像領域内を所定の時間間隔で撮像した画像を表す画像データを順次、異常判定装置11に送信する。図2は、複数のカメラ14の各々の撮像領域を示した図である。カメラ14Aは撮像領域aを、カメラ14Bは撮像領域bを、カメラ14Cは撮像領域cを、カメラ14Dは撮像領域dを、カメラ14Eは撮像領域eを、カメラ14Fは撮像領域fを、各々撮像する。なお、通路Sは一方通行であり、図2の左から右に向かう方向に通行人が通行することが想定されている。 Each of the cameras 14 is connected to the abnormality determination device 11, and image data representing an image captured at a predetermined time interval in the imaging region is sequentially transmitted to the abnormality determination device 11. FIG. 2 is a diagram showing each imaging region of the plurality of cameras 14. The camera 14A captures the imaging region a, the camera 14B captures the imaging region b, the camera 14C captures the imaging region c, the camera 14D captures the imaging region d, the camera 14E captures the imaging region e, and the camera 14F captures the imaging region f. do. The passage S is a one-way street, and it is assumed that passersby pass in the direction from the left to the right in FIG.

図2に示されるように、撮像対象領域である通路Sには、いずれのカメラ14の撮像領域でもない死角領域g、h、iが存在する。 As shown in FIG. 2, in the passage S which is the image pickup target area, there are blind spot areas g, h, and i which are not the image pickup areas of any of the cameras 14.

図1を参照し、異常判定システム1の構成の説明を続ける。スピーカ15は異常判定装置11に接続され、管理対象領域内の通行人に対し異常判定装置11が出力するメッセージ音声を発音する。 With reference to FIG. 1, the description of the configuration of the abnormality determination system 1 will be continued. The speaker 15 is connected to the abnormality determination device 11 and emits a message voice output by the abnormality determination device 11 to passersby in the management target area.

図3は、異常判定装置11のハードウェア構成を示したブロック図である。異常判定装置11のハードウェアは、プロセッサ1101と、メモリ1102と、インタフェース1103を備えるコンピュータである。プロセッサ1101は、メモリ1102に記憶されているプログラムに従い各種データ処理を行う。メモリ1102は、プロセッサ1101により実行されるプログラム等の各種データを記憶する。インタフェース1103はディスプレイ12、操作装置13、カメラ14、スピーカ15等の装置と接続され、これらの装置とプロセッサ1101又はメモリ1102との間のデータの入出力を行う。 FIG. 3 is a block diagram showing the hardware configuration of the abnormality determination device 11. The hardware of the abnormality determination device 11 is a computer including a processor 1101, a memory 1102, and an interface 1103. The processor 1101 performs various data processing according to the program stored in the memory 1102. The memory 1102 stores various data such as a program executed by the processor 1101. The interface 1103 is connected to devices such as a display 12, an operating device 13, a camera 14, and a speaker 15, and inputs / outputs data between these devices and the processor 1101 or the memory 1102.

メモリ1102には、監視対象領域を通行する通行人(対象者)の特徴情報及び異常/正常の判定結果を格納するデータベースである人物テーブルと、監視対象領域を通行する通行人の検知結果を時系列で格納するデータベースである検知ログDBが記憶されている。 In the memory 1102, a person table, which is a database for storing characteristic information of a passerby (target person) passing through the monitored area and an abnormality / normal judgment result, and a detection result of a passerby passing through the monitored area are stored. The detection log DB, which is a database stored in series, is stored.

図4は、人物テーブルのデータ構成を例示した図である。人物テーブルは、監視対象領域において検知された人物の各々に関するデータレコードの集まりであり、各データレコードは、人物を識別する人物ID(Identifier)、人物の画像から抽出された特徴を示す特徴情報、及び、人物の行動が正常/異常のいずれであるかを示す判定結果を含んでいる。 FIG. 4 is a diagram illustrating the data structure of the person table. The person table is a collection of data records for each of the people detected in the monitored area, and each data record is a person ID (Identifier) that identifies the person, feature information indicating features extracted from the image of the person, and so on. In addition, it includes a determination result indicating whether the behavior of the person is normal or abnormal.

図5は、検知ログDBのデータ構成を例示した図である。検知ログDBは、検知された人物の各々に対応するデータテーブルの集まりであり、各データテーブルには、いずれかのカメラ14により撮像された画像から人物が検知された期間の開始時刻(検知開始時刻)と、当該期間の終了時刻(検知終了時刻)と、当該画像を撮像したカメラ14を識別するカメラIDとを含むデータレコードが、例えば検知開始時刻の昇順で格納されている。 FIG. 5 is a diagram illustrating the data structure of the detection log DB. The detection log DB is a collection of data tables corresponding to each of the detected persons, and in each data table, the start time of the period in which the person is detected from the image captured by any of the cameras 14 (detection start). A data record including a time), an end time (detection end time) of the period, and a camera ID for identifying the camera 14 that captured the image is stored, for example, in ascending order of the detection start time.

図5に例示の人物ID「1234」に関するデータテーブル内のデータは、人物ID「1234」で識別される人物が、撮像領域aに7秒間滞在した後、撮像領域aと撮像領域bの間の死角領域gに5秒間滞在した後、撮像領域bに4秒間滞在した後、撮像領域bと撮像領域cの間の死角領域hに6秒間滞在した後、撮像領域cに5秒間滞在したことを示している。図6は、図5に例示の人物ID「1234」に関するデータテーブル内のデータが示す、人物ID「1234」で識別される人物の移動経路R1を示した図である。 The data in the data table relating to the example person ID "1234" in FIG. 5 is that the person identified by the person ID "1234" stays in the imaging region a for 7 seconds and then is between the imaging region a and the imaging region b. After staying in the blind spot region g for 5 seconds, staying in the imaging region b for 4 seconds, staying in the blind spot region h between the imaging region b and the imaging region c for 6 seconds, and then staying in the imaging region c for 5 seconds. Shows. FIG. 6 is a diagram showing a movement path R1 of a person identified by the person ID “1234”, which is shown by the data in the data table relating to the person ID “1234” exemplified in FIG.

図7は、異常判定装置11の機能的構成を示したブロック図である。すなわち、プロセッサ1101が本実施形態に係るプログラムに従うデータ処理を行うことによって、図7に示す構成を備える装置として動作する。以下に、異常判定装置11が備える機能的構成を説明する。 FIG. 7 is a block diagram showing a functional configuration of the abnormality determination device 11. That is, the processor 1101 operates as a device having the configuration shown in FIG. 7 by performing data processing according to the program according to the present embodiment. The functional configuration of the abnormality determination device 11 will be described below.

画像取得部111は複数のカメラ14の各々から当該カメラ14が撮像した画像を表す画像データを取得する。人物検知部112は、画像取得部111が取得した画像データが表す画像から人物の特徴情報を抽出し、抽出した特徴情報に基づき画像に写っている人物を検知する。 The image acquisition unit 111 acquires image data representing an image captured by the camera 14 from each of the plurality of cameras 14. The person detection unit 112 extracts characteristic information of a person from the image represented by the image data acquired by the image acquisition unit 111, and detects the person in the image based on the extracted characteristic information.

人物検知部112は、画像から抽出した特徴情報と、人物テーブルに登録されている特徴情報の各々との類似度を特定し、特定した類似度に基づき、画像に写っている人物と過去に検知され人物テーブルに登録されている人物の同定を行う。なお、本願において、2つの特徴情報の類似度が所定の閾値以上に高く、それらの特徴情報を持つ画像の人物が同一人物であるとみなせるような場合、それらの2つの特徴情報は同一であるものとする。画像に写っている人物と同定される人物が人物テーブルに登録されていない場合、人物検知部112は新たな人物が検知されたと判定し、人物テーブルに新規データレコードを追加し、新たに検知された人物の人物IDと特徴情報を格納する。 The person detection unit 112 identifies the similarity between the feature information extracted from the image and each of the feature information registered in the person table, and detects the person in the image in the past based on the identified similarity. The person registered in the person table is identified. In the present application, when the similarity between the two feature information is higher than a predetermined threshold value and the person in the image having the feature information can be regarded as the same person, the two feature information is the same. It shall be. If the person identified as the person in the image is not registered in the person table, the person detection unit 112 determines that a new person has been detected, adds a new data record to the person table, and newly detects the person. Stores the person ID and feature information of the person.

検知ログ更新部113は、人物検知部112による人物の検知結果に基づき、検知ログDBを更新する。異常行動判定部114は、検知ログDBに格納されているデータに基づいて、人物検知部112により検知された人物の行動が異常であるか否かを判定し、判定結果を人物テーブルに書き込む。報知部115は、異常行動判定部114によって通行人の行動が異常であると判定された場合、その旨を異常判定装置11のユーザ(例えば、駅職員)と通行人に報知する。なお、本実施形態においては、報知部115による駅職員等のユーザに対する報知は、ディスプレイ12による画像の表示で行われ、通行人に対する報知は、スピーカ15による音の発音で行われる。 The detection log update unit 113 updates the detection log DB based on the detection result of a person by the person detection unit 112. The abnormal behavior determination unit 114 determines whether or not the behavior of the person detected by the person detection unit 112 is abnormal based on the data stored in the detection log DB, and writes the determination result in the person table. When the abnormal behavior determination unit 114 determines that the behavior of the passerby is abnormal, the notification unit 115 notifies the user (for example, a station staff) of the abnormality determination device 11 and the passerby to that effect. In the present embodiment, the notification unit 115 notifies the user such as the station staff by displaying an image on the display 12, and the notification unit 115 notifies the passerby by sounding the sound by the speaker 15.

データ削除部116は、検知ログDBに格納されているデータに基づき、人物検知部112により複数のカメラ14のいずれにより撮像された画像からも特徴情報が抽出されない時間が閾値以上に継続した人物に関し、当該人物に関するデータを人物テーブル及び検知ログDBから削除する(当該人物に関するデータを人物テーブル及び検知ログDBに維持しない)。記憶部117は、人物テーブル、検知ログDBに加え、異常判定装置11の他の構成部がデータ処理を行う際に生成する各種データを記憶する。 The data deletion unit 116 relates to a person whose characteristic information is not extracted from any of the images captured by any of the plurality of cameras 14 by the person detection unit 112 based on the data stored in the detection log DB for a period of time exceeding the threshold value. , Delete the data related to the person from the person table and the detection log DB (the data related to the person is not maintained in the person table and the detection log DB). In addition to the person table and the detection log DB, the storage unit 117 stores various data generated when other components of the abnormality determination device 11 perform data processing.

図8は、異常行動判定部114が行う処理のフローを示した図である。異常行動判定部114は、図8のフローに従う処理を、人物テーブルに登録されている人物(対象者)の各々に関し、所定時間の経過毎に行う。 FIG. 8 is a diagram showing a flow of processing performed by the abnormal behavior determination unit 114. The abnormal behavior determination unit 114 performs the process according to the flow of FIG. 8 for each of the persons (target persons) registered in the person table every time a predetermined time elapses.

まず、異常行動判定部114は、検知ログDBに格納されている対象者のデータに基づき、対象者の移動経路を特定する(ステップS101)。例えば、図5に例示のデータに基づく場合、異常行動判定部114は、「撮像領域a→撮像領域b→撮像領域c」を移動経路として特定する。 First, the abnormal behavior determination unit 114 identifies the movement route of the target person based on the data of the target person stored in the detection log DB (step S101). For example, based on the data exemplified in FIG. 5, the abnormal behavior determination unit 114 specifies "imaging area a-> imaging area b-> imaging region c" as a movement route.

続いて、異常行動判定部114は、ステップS101において特定した移動経路上の隣り合う2つの撮像領域の組み合わせの各々に関し、一般的な通行人が撮像領域Xから撮像領域Yへ移動する確率である確率p1(X,Y)を特定する(ステップS102)。 Subsequently, the abnormal behavior determination unit 114 is the probability that a general passerby moves from the image pickup area X to the image pickup area Y with respect to each of the combinations of two adjacent image pickup areas on the movement path specified in step S101. The probability p1 (X, Y) is specified (step S102).

図9は、ステップS102の処理において異常行動判定部114が用いる遷移確率テーブルのデータ構成を示した図である。遷移確率テーブルには、移動元の撮像領域Xと移動先の撮像領域Yの組み合わせの各々に関し、確率p1(X,Y)を示す数値が格納されている。遷移確率テーブルは予め記憶部117に記憶されている。なお、遷移確率テーブルに格納されている数値は、例えば監視対象領域において過去に監察された多数の通行人の移動経路のサンプルに基づき算出されたものであり、各行及び各列の数値の合計はいずれも「1」である。図9のデータ例による場合、例えば、一般的な通行人が撮像領域aから撮像領域bへ移動する確率である確率p1(撮像領域a,撮像領域b)は「0.3」となる。 FIG. 9 is a diagram showing a data structure of a transition probability table used by the abnormal behavior determination unit 114 in the process of step S102. The transition probability table stores numerical values indicating the probabilities p1 (X, Y) for each combination of the moving source imaging region X and the moving destination imaging region Y. The transition probability table is stored in the storage unit 117 in advance. The numerical values stored in the transition probability table are calculated based on, for example, a sample of the movement routes of a large number of passersby who have been inspected in the past in the monitored area, and the total of the numerical values in each row and each column is Both are "1". In the case of the data example of FIG. 9, for example, the probability p1 (imaging region a, imaging region b), which is the probability that a general passerby moves from the imaging region a to the imaging region b, is “0.3”.

ステップS102(図8)に続いて、異常行動判定部114は、検知ログDBに格納されている対象者のデータに基づき、対象者が移動経路上の死角領域の各々に滞在した時間tを特定する(ステップS103)。例えば、図5に例示のデータに基づく場合、異常行動判定部114は、撮像領域aから撮像領域bへの移動経路上の死角領域gに滞在した時間として「5秒間」、撮像領域bから撮像領域cへの移動経路上の死角領域hに滞在した時間として「6秒間」、を特定する。 Following step S102 (FIG. 8), the abnormal behavior determination unit 114 identifies the time t during which the subject stays in each of the blind spot areas on the movement route based on the data of the subject stored in the detection log DB. (Step S103). For example, based on the data exemplified in FIG. 5, the abnormal behavior determination unit 114 takes an image from the image pickup area b for "5 seconds" as the time spent in the blind spot area g on the movement path from the image pickup area a to the image pickup area b. "6 seconds" is specified as the time spent in the blind spot area h on the movement route to the area c.

ステップS103(図8)に続いて、異常行動判定部114は、対象者の移動経路上の死角領域の各々に関し、一般的な通行人が上流側の撮像領域Xから当該死角領域に移動した後、当該死角領域に時間tだけ滞在した後、下流側の撮像領域Yに移動する確率である確率p2(X,Y,t)を特定する(ステップS104)。 Following step S103 (FIG. 8), the abnormal behavior determination unit 114 moves the general passerby from the imaging region X on the upstream side to the blind spot region for each of the blind spot regions on the movement path of the subject. , The probability p2 (X, Y, t), which is the probability of moving to the image pickup region Y on the downstream side after staying in the blind spot region for a time t, is specified (step S104).

ステップS104において、異常行動判定部114は以下の式1(正規分布)に従い、確率p2(X,Y,t)を算出する。

Figure 0006999399000001
ただし、μは上流側の撮像領域Xと下流側の撮像領域Yの組み合わせに応じた滞在時間tの平均値であり、σは上流側の撮像領域Xと下流側の撮像領域Yの組み合わせに応じた滞在時間tの標準偏差である。 In step S104, the abnormal behavior determination unit 114 calculates the probability p2 (X, Y, t) according to the following equation 1 (normal distribution).
Figure 0006999399000001
However, μ is the average value of the staying time t according to the combination of the upstream side imaging region X and the downstream side imaging region Y, and σ is the average value according to the combination of the upstream side imaging region X and the downstream side imaging region Y. It is the standard deviation of the staying time t.

式1に示される確率p2(X,Y,t)は、死角領域と隣接する複数の撮像領域のうち対象者が当該死角領域に入る前に滞在した撮像領域(上流側の撮像領域)と当該死角領域から出た後に滞在した撮像領域(下流側の撮像領域)の組み合わせに応じて特定される基準の一例である。 The probability p2 (X, Y, t) shown in Equation 1 is the imaging region (upstream imaging region) in which the subject stayed before entering the blind spot region among the plurality of imaging regions adjacent to the blind spot region. This is an example of a standard specified according to the combination of the imaging region (imaging region on the downstream side) that stayed after leaving the blind spot region.

図10は、ステップS104の処理において異常行動判定部114が用いる正規分布パラメータテーブルのデータ構成を示した図である。正規分布パラメータテーブルには、死角領域、当該死角領域の上流側の撮像領域、及び、当該死角領域の下流側の撮像領域の組み合わせの各々に関し、当該死角領域における滞在時間tの平均値μと標準偏差σの値が格納されている。正規分布パラメータテーブルは予め記憶部117に記憶されている。 FIG. 10 is a diagram showing a data structure of a normal distribution parameter table used by the abnormal behavior determination unit 114 in the process of step S104. In the normal distribution parameter table, the average value μ of the dwell time t in the blind spot region and the standard value are shown for each of the combination of the blind spot region, the imaging region on the upstream side of the blind spot region, and the imaging region on the downstream side of the blind spot region. The value of deviation σ is stored. The normal distribution parameter table is stored in the storage unit 117 in advance.

以下に正規分布パラメータテーブルに格納されている数値の算出方法について説明する。図11は、過去に監視対象領域を通過した通行人に関し検知ログDB(図5)に記録されたデータに基づき、様々な人物が死角領域に滞在した時間(未検出時間)を、その死角領域の上流側の撮像領域と下流側の撮像領域の組み合わせ毎にグルーピングしたテーブル(以下、「未検出時間テーブル」という)である。 The calculation method of the numerical values stored in the normal distribution parameter table will be described below. FIG. 11 shows the time (undetected time) in which various persons stayed in the blind spot area based on the data recorded in the detection log DB (FIG. 5) regarding the passersby who passed through the monitored area in the past. It is a table grouped by the combination of the image pickup area on the upstream side and the image pickup area on the downstream side (hereinafter referred to as “undetected time table”).

例えば、図5に例示のデータによれば、人物ID「1234」で識別される対象者は、2017年12月1日12時35分24秒に撮像領域aから死角領域gに入り、5秒後の2017年12月1日12時35分29秒に死角領域gから撮像領域bに入ったことが分かる。この場合、未検出時間テーブル(図14)の上流側の撮像領域aと下流側の撮像領域bの組み合わせに対応する欄に、未検出時間のサンプルデータとして「5」秒が入ることになる。 For example, according to the data exemplified in FIG. 5, the subject identified by the person ID "1234" enters the blind spot area g from the imaging area a at 12:35:24 on December 1, 2017, for 5 seconds. Later, at 12:35:29 on December 1, 2017, it can be seen that the blind spot area g entered the imaging area b. In this case, "5" seconds is entered as the sample data of the undetected time in the column corresponding to the combination of the image pickup area a on the upstream side and the image pickup area b on the downstream side of the undetected time table (FIG. 14).

正規分布パラメータテーブルに格納されている数値は、未検出時間テーブルに格納されているサンプルデータが示す未検出時間の平均値μと標準偏差σである。例えば、図11に例示のデータによれば、上流側の撮像領域aから死角領域gを経由して下流側の撮像領域bに移動した通行人の死角領域gにおける滞在時間(未検出時間)のサンプルは、5秒、6秒、11秒、3秒、・・・である。これらのサンプルの平均値μと標準偏差σが、図10に例示の正規分布パラメータテーブルの第1行に格納されることになる。 The numerical values stored in the normal distribution parameter table are the mean value μ and the standard deviation σ of the undetected time indicated by the sample data stored in the undetected time table. For example, according to the data exemplified in FIG. 11, the staying time (undetected time) in the blind spot area g of a passerby who has moved from the image pickup area a on the upstream side to the image pickup area b on the downstream side via the blind spot area g. The samples are 5 seconds, 6 seconds, 11 seconds, 3 seconds, and so on. The mean μ and standard deviation σ of these samples will be stored in the first row of the example normal distribution parameter table in FIG.

ステップS104(図8)に続いて、異常行動判定部114は、対象者の移動経路上の死角領域の各々に関し、以下の式2に従い、異常度L(X,Y,t)を算出する(ステップS105)。

Figure 0006999399000002
ただし、min(a,b)はaとbのうち小さい方を示す関数であり、Lmaxは異常度の上限値として設定された値である。 Following step S104 (FIG. 8), the abnormal behavior determination unit 114 calculates the degree of abnormality L (X, Y, t) for each of the blind spot regions on the movement path of the subject according to the following equation 2. Step S105).
Figure 0006999399000002
However, min (a, b) is a function indicating the smaller of a and b, and L max is a value set as the upper limit of the degree of abnormality.

図12は、式2に従う場合の、確率p1(X,Y)と確率p2(X,Y,t)の積である確率p(X,Y,t)と異常度L(X,Y,t)の関係を示したグラフである。 FIG. 12 shows the probability p (X, Y, t) which is the product of the probability p1 (X, Y) and the probability p2 (X, Y, t) and the degree of abnormality L (X, Y, t) when the equation 2 is followed. ) Is a graph showing the relationship.

ステップS105(図8)に続いて、異常行動判定部114は、以下の式3に従い、全異常度Mを算出する(ステップS106)。

Figure 0006999399000003
ただし、nは移動経路上の死角領域の数を示し、Xiはi番目の死角領域の上流側の撮像領域、Yiはi番目の死角領域の下流側の撮像領域、tiはi番目の死角領域における滞在時間を示す。 Following step S105 (FIG. 8), the abnormal behavior determination unit 114 calculates the total abnormality degree M according to the following equation 3 (step S106).
Figure 0006999399000003
However, n indicates the number of blind spot regions on the movement path, X i is the imaging region on the upstream side of the i-th blind spot region, Y i is the imaging region on the downstream side of the i-th blind spot region, and t i is the i-th. Shows the length of stay in the blind spot area.

続いて、異常行動判定部114は、ステップS106において算出した全異常度Mに基づき、対象者の行動が異常であるか否かを判定する(ステップS107)。具体的には、異常行動判定部114は、全異常度Mが予め定められた閾値以下であれば「正常」、閾値を超えていれば「異常」、と判定する。 Subsequently, the abnormal behavior determination unit 114 determines whether or not the behavior of the subject is abnormal based on the total abnormality degree M calculated in step S106 (step S107). Specifically, the abnormal behavior determination unit 114 determines that the total abnormality degree M is "normal" if it is equal to or less than a predetermined threshold value, and "abnormal" if it exceeds the threshold value.

続いて、異常行動判定部114は、人物テーブルに判定の結果を書き込む処理(人物テーブルの更新)を行う(ステップS108)。 Subsequently, the abnormal behavior determination unit 114 performs a process of writing the determination result in the person table (update of the person table) (step S108).

図13は、図6に例示した移動経路R1と比較し、全異常度Mが高く算出され、異常と判定される可能性が高い移動経路R2を例示した図である。なお、検知ログDBに格納されるデータからは、図13に示すR2の詳細な移動経路(例えば、死角領域g及びhにおける詳細な移動経路)は特定できないが、対象者が移動経路R2に沿った移動を行った場合、死角領域g及びhにおける滞在時間が通常より長くなるため、全異常度Mが高くなり、対象者の行動が異常と判定される可能性が高くなる。 FIG. 13 is a diagram illustrating a movement path R2 in which the total degree of abnormality M is calculated higher than that of the movement path R1 exemplified in FIG. 6 and is likely to be determined as an abnormality. Although the detailed movement route of R2 shown in FIG. 13 (for example, the detailed movement route in the blind spot regions g and h) cannot be specified from the data stored in the detection log DB, the target person follows the movement route R2. When the movement is performed, the staying time in the blind spot areas g and h becomes longer than usual, so that the total degree of abnormality M becomes high, and the possibility that the behavior of the subject is determined to be abnormal increases.

以上が、異常行動判定部114が行う処理である。なお、異常行動判定部114によって対象者の行動が異常である、と判定され、当該対象者に関する人物テーブルのデータレコードに格納されている「判定結果」の値が「正常」から「異常」に変更されると、報知部115により、異常判定装置11のディスプレイ12に対し、異常な行動をしている通行人が検知されたことを示す表示が指示される。 The above is the process performed by the abnormal behavior determination unit 114. The abnormal behavior determination unit 114 determines that the behavior of the subject is abnormal, and the value of the "determination result" stored in the data record of the person table relating to the subject changes from "normal" to "abnormal". When the change is made, the notification unit 115 instructs the display 12 of the abnormality determination device 11 to indicate that a passerby having an abnormal behavior has been detected.

図14は、ディスプレイ12に表示される画面(以下、「モニタリング画面」という)を例示した図である。モニタリング画面の領域Jには、監視対象領域において現在検知されている通行人の位置が「○」又は「●」で示される。「●」は異常な行動を行っている通行人の位置を示し、「○」は行動に異常が認められない通行人の位置を示す。また、モニタリング画面の領域Kには、異常な行動を行っている通行人が写っている画像が表示される。領域Kの画像において、楕円で囲まれている通行人が、異常な行動を行っている通行人である。 FIG. 14 is a diagram illustrating a screen displayed on the display 12 (hereinafter, referred to as a “monitoring screen”). In the area J of the monitoring screen, the position of a passerby currently detected in the monitored area is indicated by "○" or "●". “●” indicates the position of a passerby who is performing abnormal behavior, and “○” indicates the position of a passerby who does not have any abnormal behavior. Further, in the area K of the monitoring screen, an image showing a passerby who is performing an abnormal behavior is displayed. In the image of region K, the passerby surrounded by the ellipse is a passerby performing anomalous behavior.

異常判定装置11のユーザ(駅職員等)は、モニタリング画面を見て、異常な行動を行っている通行人の位置と振る舞いを確認することができる。 The user (station staff, etc.) of the abnormality determination device 11 can check the position and behavior of a passerby who is performing an abnormal behavior by looking at the monitoring screen.

また、人物テーブルのデータレコードに格納されている「判定結果」の値が「正常」から「異常」に変更されると、報知部115により、監視対象領域に配置されているスピーカ15に対し、例えば「お困りでしたら手を挙げて下さい。駅係員が参ります。」といったメッセージ音声の発音が指示される。スピーカ15からメッセージ音声が発音されることで、通行人は、例えば道に迷っている等の理由により誰かの助けを必要としている場合、駅職員等の助けを受けることができる。また、異常な行動をしている通行人が、例えばすりや盗撮などの犯罪を行おうとしているような場合、メッセージ音声が発音されることで、その行動が抑止される。 Further, when the value of the "determination result" stored in the data record of the person table is changed from "normal" to "abnormal", the notification unit 115 notifies the speaker 15 arranged in the monitored area to the speaker 15. For example, you will be instructed to pronounce a message such as "If you have any problems, please raise your hand. A station clerk will come." By sounding the message voice from the speaker 15, the passerby can receive the help of the station staff or the like when he / she needs the help of someone because he / she is lost, for example. In addition, when a passerby who is behaving abnormally is trying to commit a crime such as rubbing or voyeurism, the message voice is pronounced to suppress the behavior.

<変形例>
上述の実施形態は様々に変形され得る。以下に、それらの変形の例を示す。なお、以下に示す2以上の変形例が適宜組み合わされてもよい。
<Modification example>
The above embodiments can be modified in various ways. An example of these variations is shown below. In addition, two or more modification examples shown below may be combined appropriately.

(1)上述した実施形態の説明に用いた具体的なデータ例、処理フローの例、異常な行動であるか否かの判定に用いる数式等はあくまで例示であって、他のデータ、処理フロー、数式等が用いられてもよい。例えば、異常行動判定部114は式1~式3に示した数式に従い全異常度を算出するもとしたが、全異常度の算出方法はこれに限られない。死角領域における滞在時間を用いて判定が行われる限り、異常行動判定部114が判定に用いる方法としては様々なものが採用され得る。 (1) Specific data examples used in the explanation of the above-described embodiment, examples of processing flows, mathematical formulas used for determining whether or not the behavior is abnormal, etc. are merely examples, and other data and processing flows. , Formulas and the like may be used. For example, the abnormal behavior determination unit 114 is based on calculating the total abnormality degree according to the mathematical formulas shown in the formulas 1 to 3, but the calculation method of the total abnormality degree is not limited to this. As long as the determination is made using the staying time in the blind spot region, various methods can be adopted as the method used by the abnormal behavior determination unit 114 for the determination.

(2)上述した実施形態において、異常行動判定部114は、一般的な通行人が死角領域に滞在する時間の正規分布(式1)を用いて、対象者の行動が異常であるか否かの判定を行う。異常行動判定部114が判定に用いる確率分布は正規分布に限られない。例えば、未検出時間テーブル(図11)に格納されているデータが示すサンプル値の分布をそのまま反映した確率分布が用いられてもよい。 (2) In the above-described embodiment, the abnormal behavior determination unit 114 uses the normal distribution (Equation 1) of the time that a general passerby stays in the blind spot area to determine whether or not the behavior of the subject is abnormal. Judgment is made. The probability distribution used by the abnormal behavior determination unit 114 for determination is not limited to the normal distribution. For example, a probability distribution that directly reflects the distribution of sample values indicated by the data stored in the undetected time table (FIG. 11) may be used.

また、異常行動判定部114が判定に用いる確率分布は正規分布のように滞在時間tの変化に応じて確率p2(X,Y,t)が連続的に変化する確率分布に限られず、図15に例示する2値関数や、図16に例示する多値関数に従う確率分布等が用いられてもよい。 Further, the probability distribution used by the abnormal behavior determination unit 114 for determination is not limited to the probability distribution in which the probability p2 (X, Y, t) continuously changes according to the change in the staying time t as in the normal distribution, and FIG. The binary function illustrated in 1 and the probability distribution according to the multivalued function illustrated in FIG. 16 may be used.

図15に示す2値関数は、未検出時間テーブル(図11)に格納されているデータが示すサンプル値のうち下限値をt1、上限値をt2として、下限値t1から上限値t2までの範囲の発生確率を「1」に設定した関数である。 The binary function shown in FIG. 15 has a range from the lower limit value t1 to the upper limit value t2, where the lower limit value is t1 and the upper limit value is t2 among the sample values shown by the data stored in the undetected time table (FIG. 11). This is a function in which the probability of occurrence of is set to "1".

また、図16に示す多値関数は、未検出時間テーブル(図11)に格納されているデータが示すサンプル値をt1(下限値)以上t2未満、t2以上t3未満、t3以上t4未満、t4以上t5(上限値)以下、という4つのグループに区分し、それらのグループに属するサンプル値の数をサンプル値全体の数で割った値をそれらのグループの発生確率として設定した関数である。 Further, the multivalued function shown in FIG. 16 sets the sample value indicated by the data stored in the undetected time table (FIG. 11) to t1 (lower limit value) or more and less than t2, t2 or more and less than t3, t3 or more and less than t4, t4. It is a function that is divided into four groups of t5 (upper limit value) or less, and the value obtained by dividing the number of sample values belonging to those groups by the total number of sample values is set as the occurrence probability of those groups.

(3)上述した実施形態において、異常行動判定部114は移動経路に関する確率p1(X,Y)を用いた異常度に基づき、対象者の行動が異常であるか否かの判定を行う。異常行動判定部114が判定を行うにあたり、移動経路が考慮されなくてもよい。 (3) In the above-described embodiment, the abnormal behavior determination unit 114 determines whether or not the behavior of the subject is abnormal based on the degree of abnormality using the probability p1 (X, Y) regarding the movement route. When the abnormal behavior determination unit 114 makes a determination, the movement route may not be taken into consideration.

(4)上述した実施形態において、異常行動判定部114は対象者の行動が異常であるか否かの判定を行うにあたり、撮像領域における滞在時間を用いない。これに代えて、異常行動判定部114が判定を行うにあたり、撮像領域における滞在時間が考慮されてもよい。 (4) In the above-described embodiment, the abnormal behavior determination unit 114 does not use the staying time in the imaging region when determining whether or not the behavior of the subject is abnormal. Instead of this, when the abnormal behavior determination unit 114 makes a determination, the staying time in the imaging region may be taken into consideration.

(5)上述した実施形態において、異常行動判定部114は対象者の移動経路の全体に関する異常度を示す全異常度に基づき、対象者の行動が異常であるか否かの判定を行う。これに代えて、もしくは加えて、異常行動判定部114が、移動経路の一部に関する異常度に基づき対象者の行動が異常であるか否かの判定を行ってもよい。 (5) In the above-described embodiment, the abnormal behavior determination unit 114 determines whether or not the behavior of the subject is abnormal based on the total abnormality degree indicating the degree of abnormality regarding the entire movement path of the subject. Alternatively or additionally, the abnormal behavior determination unit 114 may determine whether or not the behavior of the subject is abnormal based on the degree of abnormality regarding a part of the movement route.

例えば、全異常度Mは所定の閾値以下であっても、移動経路上のいずれかの死角領域に関する異常度L(X,Y,t)が所定の閾値を超えている場合、異常行動判定部114が対象者の行動を異常と判定してもよい。 For example, even if the total abnormality degree M is equal to or less than a predetermined threshold value, if the abnormality degree L (X, Y, t) relating to any blind spot region on the movement path exceeds the predetermined threshold value, the abnormal behavior determination unit 114 may determine that the subject's behavior is abnormal.

(6)上述した実施形態において、異常判定システム1は異常な行動をしている人物が検知された場合、ディスプレイ12の表示によりユーザにその旨の報知を行う。これに代えて、もしくは加えて、アラート音やメッセージ音声の発音により、異常判定装置11のユーザ(駅職員等)に対する報知が行われてもよい。 (6) In the above-described embodiment, when the abnormality determination system 1 detects a person who is behaving abnormally, the abnormality determination system 1 notifies the user to that effect by displaying the display 12. Instead of or in addition to this, the user (station staff, etc.) of the abnormality determination device 11 may be notified by the pronunciation of an alert sound or a message voice.

(7)上述した実施形態において、監視対象領域である通路Sは一方通行であることが想定されている。本発明に係る異常判定システムの監視対象領域は一方通行の通路に限られず、双方向通行の通路、自由な方向に通行が可能なフロア等のいずれであってもよい。 (7) In the above-described embodiment, it is assumed that the passage S, which is the monitored area, is a one-way street. The monitored area of the abnormality determination system according to the present invention is not limited to a one-way passage, and may be a two-way passage, a floor capable of passing in any direction, or the like.

例えば、監視対象領域が双方向通行の通路Tであれば、図17に例示のように、複数のカメラ14のいくつかを、通路Tを第1の方向に移動する通行人を概ね正面から撮像するように配置し、複数のカメラ14のうちのいくつかを、通路Tを第1の方向とは反対の第2の方向に移動する通行人を概ね正面から撮像するように配置すればよい。 For example, if the monitored area is a bidirectional passage T, as illustrated in FIG. 17, some of the plurality of cameras 14 are photographed from the front of a passerby moving in the first direction through the passage T. Some of the plurality of cameras 14 may be arranged so as to capture a passerby moving the passage T in the second direction opposite to the first direction from the front.

また、例えば、監視対象領域が自由な方向に通行が可能なフロアUであれば、図18に例示のように、撮像方向が様々に異なる複数のカメラ14をフロアUに散在するように配置すればよい。 Further, for example, if the monitored area is a floor U that can pass in any direction, as shown in FIG. 18, a plurality of cameras 14 having various imaging directions are arranged so as to be scattered on the floor U. Just do it.

(8)上述した実施形態において、異常行動判定部114は、全異常度Mが予め定められた閾値以下であれば「正常」、閾値を超えていれば「異常」、と判定する。異常行動判定部114が、対象者の行動が正常か異常かを判定するために用いる全異常度Mの閾値は、対象者の移動経路に応じて変更されてもよい。例えば、対象者の移動経路に含まれる死角領域にトイレや売店等の施設が含まれるような場合、対象者がそれらの死角領域に滞在する時間がよほど長時間でない限り、その対象者の行動は異常とみなされるべきではない。従って、それらの死角領域を移動経路に含む対象者の行動の判定においては、それらの死角領域を移動経路に含まない対象者の行動の判定に用いる閾値よりも大きな閾値が用いられてもよい。 (8) In the above-described embodiment, the abnormal behavior determination unit 114 determines that the total abnormality degree M is "normal" if it is equal to or less than a predetermined threshold value, and "abnormal" if it exceeds the threshold value. The threshold value of the total abnormality degree M used by the abnormal behavior determination unit 114 to determine whether the behavior of the subject is normal or abnormal may be changed according to the movement route of the subject. For example, if the blind spot area included in the movement route of the target person includes facilities such as toilets and shops, the behavior of the target person is not as long as the target person stays in those blind spot areas for a very long time. Should not be considered anomalous. Therefore, in determining the behavior of the subject including those blind spot areas in the movement path, a threshold value larger than the threshold value used for determining the behavior of the subject who does not include those blind spot areas in the movement path may be used.

また、上述した変形例(5)において述べた、移動経路上のいずれかの死角領域に関する異常度L(X,Y,t)が所定の閾値を超えている場合、異常行動判定部114が対象者の行動を異常と判定する態様において、死角領域に含まれる施設に応じて異なる閾値を用いた判定が行われてもよい。 Further, when the degree of abnormality L (X, Y, t) relating to any blind spot region on the movement path described in the above-mentioned modification (5) exceeds a predetermined threshold value, the abnormal behavior determination unit 114 is targeted. In the mode of determining the behavior of a person as abnormal, the determination using different threshold values may be performed depending on the facility included in the blind spot area.

1…異常判定システム、11…異常判定装置、12…ディスプレイ、13…操作装置、14…カメラ、15…スピーカ、111…画像取得部、112…人物検知部、113…検知ログ更新部、114…異常行動判定部、115…報知部、116…データ削除部、117…記憶部、1101…プロセッサ、1102…メモリ、1103…インタフェース。 1 ... Abnormality determination system, 11 ... Abnormality determination device, 12 ... Display, 13 ... Operation device, 14 ... Camera, 15 ... Speaker, 111 ... Image acquisition unit, 112 ... Person detection unit, 113 ... Detection log update unit, 114 ... Abnormal behavior determination unit, 115 ... Notification unit, 116 ... Data deletion unit, 117 ... Storage unit, 1101 ... Processor, 1102 ... Memory, 1103 ... Interface.

Claims (5)

監視対象領域のうち前記監視対象領域内に離散配置された複数のカメラのいずれの撮像領域でもない領域を死角領域とするとき、前記複数のカメラにより撮像された画像に基づき、対象者が第1の撮像領域から前記死角領域に入り第2の撮像領域に出る移動経路上を移動した場合の前記死角領域に滞在した時間を特定し、当該時間の発生確率を、一般的な通行人が前記移動経路上を移動する場合に前記死角領域に滞在する時間の確率分布に基づき算出し、前記発生確率に基づき、前記対象者の行動が異常であるか否かを判定する異常判定装置。 When the area of the monitoring target area that is not the imaging area of any of the plurality of cameras discretely arranged in the monitoring target area is set as the blind spot area , the subject is the first based on the images captured by the plurality of cameras. The time spent in the blind spot area when moving on the movement path from the image pickup area to the blind spot area and exiting to the second image pickup area is specified, and the probability of occurrence of the time is determined by a general passerby. An abnormality determination device that calculates based on the probability distribution of the time spent in the blind spot region when moving on a route, and determines whether or not the behavior of the subject is abnormal based on the probability of occurrence . 前記監視対象領域は複数の前記死角領域を含み、
複数の前記死角領域の各々に関し前記発生確率を算出し、複数の前記死角領域の各々に関し算出した前記発生確率に基づき、前記対象者の行動が異常であるか否かを判定する
請求項1に記載の異常判定装置。
The monitored area includes a plurality of the blind spot areas.
Claim 1 for calculating the occurrence probability for each of the plurality of blind spot regions and determining whether or not the behavior of the subject is abnormal based on the occurrence probability calculated for each of the plurality of blind spot regions. The abnormality determination device described in 1.
前記対象者の行動が異常であると判定した場合、ユーザに対する報知を行う
請求項1又は2に記載の異常判定装置。
The abnormality determination device according to claim 1 or 2 , wherein when it is determined that the behavior of the target person is abnormal, the user is notified.
前記複数のカメラのいずれかにより撮像された画像から抽出した前記対象者の特徴情報を記憶し、前記特徴情報を用いて前記複数のカメラのいずれかにより撮像された画像に写っている人物と前記対象者の同定を行うことにより、前記対象者が前記複数のカメラのいずれかの撮像領域に滞在した期間を特定し、当該期間に基づき前記対象者が前記死角領域に滞在した時間を特定する
請求項1乃至のいずれか1項に記載の異常判定装置。
The person and the person appearing in the image captured by any of the plurality of cameras by storing the characteristic information of the subject extracted from the image captured by any of the plurality of cameras and using the characteristic information. By identifying the subject, the period during which the subject stays in the imaging region of any of the plurality of cameras is specified , and the time during which the subject stays in the blind spot region is specified based on the period . The abnormality determination device according to any one of claims 1 to 3 .
前記対象者の特徴情報が、前記複数のカメラのいずれにより撮像された画像からも抽出されない時間が閾値以上に継続した後は、前記対象者の特徴情報の記憶を維持しない
請求項に記載の異常判定装置。
The fourth aspect of the present invention, wherein the memory of the characteristic information of the subject is not maintained after the time during which the characteristic information of the subject is not extracted from the image captured by any of the plurality of cameras continues to be equal to or longer than the threshold value. Abnormality determination device.
JP2017242506A 2017-12-19 2017-12-19 Abnormality judgment device Active JP6999399B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017242506A JP6999399B2 (en) 2017-12-19 2017-12-19 Abnormality judgment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242506A JP6999399B2 (en) 2017-12-19 2017-12-19 Abnormality judgment device

Publications (2)

Publication Number Publication Date
JP2019109724A JP2019109724A (en) 2019-07-04
JP6999399B2 true JP6999399B2 (en) 2022-01-18

Family

ID=67179891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242506A Active JP6999399B2 (en) 2017-12-19 2017-12-19 Abnormality judgment device

Country Status (1)

Country Link
JP (1) JP6999399B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7366820B2 (en) * 2020-03-25 2023-10-23 株式会社日立製作所 Behavior recognition server and behavior recognition method
CN111524318B (en) * 2020-04-26 2022-03-01 熵基华运(厦门)集成电路有限公司 Intelligent health condition monitoring method and system based on behavior recognition
JP2022035379A (en) * 2020-08-20 2022-03-04 トヨタ自動車株式会社 Information processing apparatus, information processing system, and information processing method
CN113784057B (en) * 2021-07-30 2023-08-15 杭州华橙软件技术有限公司 Target area monitoring method, electronic equipment and storage medium
JP2024080507A (en) * 2022-12-02 2024-06-13 パナソニックIpマネジメント株式会社 Imaging System

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072708A (en) 2004-09-02 2006-03-16 Sogo Keibi Hosho Co Ltd Monitoring system and monitoring method
JP2007226351A (en) 2006-02-21 2007-09-06 Sogo Keibi Hosho Co Ltd Surveillance system and surveillance method
JP2007233660A (en) 2006-02-28 2007-09-13 Sogo Keibi Hosho Co Ltd Security device and method
JP2011215829A (en) 2010-03-31 2011-10-27 Hitachi Ltd Monitoring device and suspicious behavior detection method
JP2014155159A (en) 2013-02-13 2014-08-25 Nec Corp Information processing system, information processing method, and program
WO2016151950A1 (en) 2015-03-20 2016-09-29 日本電気株式会社 Monitoring system, monitoring method, and monitoring program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072708A (en) 2004-09-02 2006-03-16 Sogo Keibi Hosho Co Ltd Monitoring system and monitoring method
JP2007226351A (en) 2006-02-21 2007-09-06 Sogo Keibi Hosho Co Ltd Surveillance system and surveillance method
JP2007233660A (en) 2006-02-28 2007-09-13 Sogo Keibi Hosho Co Ltd Security device and method
JP2011215829A (en) 2010-03-31 2011-10-27 Hitachi Ltd Monitoring device and suspicious behavior detection method
JP2014155159A (en) 2013-02-13 2014-08-25 Nec Corp Information processing system, information processing method, and program
WO2016151950A1 (en) 2015-03-20 2016-09-29 日本電気株式会社 Monitoring system, monitoring method, and monitoring program

Also Published As

Publication number Publication date
JP2019109724A (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6999399B2 (en) Abnormality judgment device
KR102021999B1 (en) Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
US20200365002A1 (en) Crowd management in an enclosed premises
JP4966820B2 (en) Congestion estimation apparatus and method
US10846537B2 (en) Information processing device, determination device, notification system, information transmission method, and program
JP5500303B1 (en) MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JP2019518263A5 (en)
WO2018096787A1 (en) Person&#39;s behavior monitoring device and person&#39;s behavior monitoring system
JP2011233133A (en) Shoplifting preventing system
US10635908B2 (en) Image processing system and image processing method
JP2018201176A (en) Alert output control program, alert output control method, and alert output control apparatus
JP7416165B2 (en) information processing equipment
JP2021132267A (en) Video monitoring system and video monitoring method
JP7095312B2 (en) Hazard level detection device, risk level detection method, and risk level detection program
US20230360796A1 (en) Systems and methods for determining and using health conditions based on machine learning algorithms and a smart vital device
JP2014149716A (en) Object tracking apparatus and method thereof
JP2009077064A (en) Monitoring method and monitoring apparatus
JP2012208793A (en) Security system
Muheidat et al. Can we make a carpet smart enough to detect falls?
JP2018151840A (en) System, method and program for collation
JP2018173855A (en) Shoplifting prevention system and store side device and center side device used therefor
JP5743812B2 (en) Health management system
JP6822326B2 (en) Watching support system and its control method
US20090324011A1 (en) Method of detecting moving object
Mahmood et al. Contextual Anomaly Detection Based Video Surveillance System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150