JP5771039B2 - Abandoned person detection device - Google Patents

Abandoned person detection device Download PDF

Info

Publication number
JP5771039B2
JP5771039B2 JP2011076485A JP2011076485A JP5771039B2 JP 5771039 B2 JP5771039 B2 JP 5771039B2 JP 2011076485 A JP2011076485 A JP 2011076485A JP 2011076485 A JP2011076485 A JP 2011076485A JP 5771039 B2 JP5771039 B2 JP 5771039B2
Authority
JP
Japan
Prior art keywords
person
area
state
monitoring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011076485A
Other languages
Japanese (ja)
Other versions
JP2012212236A (en
Inventor
直也 大島
直也 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2011076485A priority Critical patent/JP5771039B2/en
Publication of JP2012212236A publication Critical patent/JP2012212236A/en
Application granted granted Critical
Publication of JP5771039B2 publication Critical patent/JP5771039B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像した監視画像を画像解析することにより、監視空間内に存在する人物の状態を検知する装置に関して、特に身体の自由を奪われた人物が監視空間内に放置されている状態を検知する放置人物検出装置に関する。   The present invention relates to an apparatus for detecting the state of a person existing in a monitoring space by analyzing the captured monitoring image, and particularly in a state where a person who has been deprived of physical freedom is left in the monitoring space. The present invention relates to an abandoned person detection device for detection.

従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。   Conventionally, there is a demand for detecting various crimes from surveillance camera images. For example, when a burglar breaks into a manned store and tries to seize money stored in a safe, he or she may attack the employee because of fear of reporting to the outside or resistance. In some cases, restraining the limbs with a rope or adhesive tape may deprive the body of freedom.

このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。   Victims such as employees who have been deprived of physical freedom in this way will be left in the store after the crime, so victims who were delayed in the detection of robbery incidents due to delayed reporting or who were injured There are concerns about delays in rescue.

このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検出装置の提案が望まれている。   For this reason, the proposal of the abnormality detection apparatus which detects automatically that the victim is in the state which cannot perform the above notification operations, and reports is desired.

特許文献1には、監視画像を画像解析し、監視空間内に存在する人物の重心位置が所定時間以上変化しない場合に独り住まいの老人が急病で倒れる等して動かない状態になったことを自動的に検出する監視装置が開示されている。   In Patent Document 1, when a monitoring image is analyzed, and the position of the center of gravity of a person existing in the monitoring space does not change for a predetermined time or more, an elderly person who lives alone has become unable to move due to a sudden illness or the like. A monitoring device that automatically detects is disclosed.

特開2002−44645号公報JP 2002-44645 A

ここで、押し込み強盗によって被害者が拘束される等して、監視空間に放置される状況には、各種の場合がある。例えば、放置された被害者は、身体の自由を奪われながらも匍匐移動するなどして、移動を試みることがある。この場合、人物の重心位置に変化が生じることになるため、重心位置に変化が生じないことを検出する手法では、放置人物の検出が困難であった。そこで、このような状況に対応して被害者が放置されていることを検出したいという要求がある。   Here, there are various cases in which the victim is left in the surveillance space, for example, when the victim is restrained by the intrusion robbery. For example, an abandoned victim may attempt to move, for example, while he is deprived of his physical freedom. In this case, since a change occurs in the position of the center of gravity of the person, it is difficult to detect an abandoned person with the method of detecting that no change occurs in the position of the center of gravity. Therefore, there is a demand for detecting that a victim is left unattended in response to such a situation.

本発明は、放置された被害者に特有の画像変化を捉えて、放置人物を検出することを目的とする。   An object of the present invention is to detect an abandoned person by capturing an image change unique to the abandoned victim.

本発明に係る放置人物検出装置は、監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、前記制御部は、前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が前記静止状態でないと判定され、かつ所定速度以下の微速移動しているとき微速移動状態と判定する微速移動判定手段と、前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、所定の規則に従って当該人物が放置された状態を検出する人物放置状態検出手段と、を有することを特徴とする。 An abandoned person detection device according to the present invention includes an image acquisition unit that sequentially acquires a monitoring image obtained by photographing a monitoring area, a storage unit that stores a monitoring image in a state where no person is present in the monitoring area, and the image An abandoned person detection apparatus including a control unit that processes a monitoring image acquired by an acquisition unit, wherein the control unit extracts a person region from the monitoring image and the background image, and the person An inverted person detection means for detecting an inverted person area that is in a tilted position in the area, and temporally tracking the inverted person area and in a stationary state in which the person area is not substantially moved or a stationary state determination means for determining certain, the temporally tracking the person area of倒位state, a very low speed movement when the person area is determined not to be the stationary state, and have a very low speed moving below a predetermined speed State And determining a very low speed movement determining means, based on said both determination result of the stationary state determination means and the slow-speed movement determining means, to have a person standing condition detecting means for detecting a state in which the person is left according to a predetermined rule It is characterized by.

また、監視領域の上方から、魚眼レンズを介して監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶し、長径および短径を有する細長の図形を人物の外形に対応する人物モデルとして記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、前記制御部は、前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、前記人物領域と前記人物モデルを比較して、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、を有することを特徴とする
In addition, an image acquisition unit that sequentially acquires a monitoring image obtained by photographing the monitoring area via a fisheye lens from above the monitoring area, and a monitoring image in a state where no person is present in the monitoring area are stored as a background image, and a long diameter and a short diameter are stored. An abandoned person detection device comprising: a storage unit that stores a slender figure having a diameter as a person model corresponding to the outer shape of a person; and a control unit that processes a monitoring image acquired by the image acquisition unit. The section compares the person area and the person model with a person area extracting unit that extracts a person area from the monitoring image and the background image, and the major axis of the person area is orthogonal to the radial direction from the center of the image. An inverted person detecting means for detecting an inverted person area that is in an attitude that has fallen when it matches a person model facing the direction, and temporally tracking the inverted person area; A stationary state determination means for determining whether the area is in a stationary state in which the area is not substantially moved, and a slow movement in which the person area in the inverted state is temporally tracked and the person area is moving at a low speed of a predetermined speed or less. A slow movement determination unit that determines a state, and a person leaving state detection unit that detects a state in which the person is left based on the determination results of both the stationary state determination unit and the slow movement determination unit. And

また、前記人物放置状態検出手段は、前記静止状態の経過時間が第1の所定値を超えた場合または前記微速移動状態の経過時間が第1の所定値より長い第2の所定値を超えた場合に人物の放置状態と検出することが好適である。   Further, the person leaving state detecting means is configured such that the elapsed time in the stationary state exceeds a first predetermined value or the elapsed time in the slow movement state exceeds a second predetermined value that is longer than the first predetermined value. In this case, it is preferable to detect that the person is left unattended.

本発明によれば、強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された人物を検出でき、また、そのような異常事態について通報を行うことが可能になる。   According to the present invention, it is possible to detect a person who has been left in a state where a reporting operation cannot be performed due to the freedom of the body by a robber, and it is possible to report such an abnormal situation.

監視空間のイメージと放置人物検知装置の構成を示した模式図である。It is the schematic diagram which showed the structure of the image of the monitoring space, and the abandoned person detection apparatus. 放置人物検知装置の構成を示すブロック図である。It is a block diagram which shows the structure of an abandoned person detection apparatus. 姿勢別人物モデルのうち、立位モデルを示す図である。It is a figure which shows a standing model among the person models according to attitude | position. 姿勢別人物モデルのうち、倒位モデルを示す図である。It is a figure which shows an inversion model among the person models according to attitude | position. 異常検知の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of abnormality detection.

以下、本発明の実施形態について、図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

「全体構成」
本実施形態に係る放置人物検知装置を含み、この放置人物検知装置にて放置人物が存在する異常シーンを検知して、警備センタ等へ通報する通報システム1について説明する。
"overall structure"
A report system 1 that includes an abandoned person detection device according to the present embodiment, detects an abnormal scene in which an abandoned person exists, and notifies a security center or the like of the abnormal scene will be described.

図1は、通報システム1の構成と配置のイメージを示した模式図である。   FIG. 1 is a schematic diagram showing an image of the configuration and arrangement of the notification system 1.

通報システム1は、放置人物検知装置2と、コントローラー3と、センタ装置5を含んで構成される。   The notification system 1 includes an abandoned person detection device 2, a controller 3, and a center device 5.

放置人物検知装置2は、金庫6などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。放置人物検知装置2は、監視空間にて放置人物が存在する異常シーンを検知すると異常信号を出力する。   The abandoned person detection device 2 is installed on the ceiling of a room in which a room in which an important object such as a safe 6 is installed is used as a monitoring space. The abandoned person detection device 2 outputs an abnormal signal when detecting an abnormal scene in which the abandoned person exists in the monitoring space.

放置人物検知装置2は、通信線を介してコントローラー3に接続され、コントローラー3は電話回線またはインターネット回線等の広域通信網4を介して遠隔地に設置された警備センタ等のセンタ装置5と接続される。放置人物検知装置2が出力した異常信号はコントローラー3を介してセンタ装置5に送信される。   The abandoned person detection device 2 is connected to a controller 3 via a communication line, and the controller 3 is connected to a center device 5 such as a security center installed in a remote place via a wide area communication network 4 such as a telephone line or an internet line. Is done. The abnormal signal output from the abandoned person detection device 2 is transmitted to the center device 5 via the controller 3.

「放置人物検知装置の構成」
図2は、放置人物検知装置2の構成を示したブロック図である。放置人物検知装置2は、撮像部20、記憶部21、出力部23および制御部22を含んで構成されている。
“Configuration of the abandoned person detection device”
FIG. 2 is a block diagram showing the configuration of the abandoned person detection device 2. The abandoned person detection device 2 includes an imaging unit 20, a storage unit 21, an output unit 23, and a control unit 22.

なお、図1においては、放置人物検知装置2を監視領域の天井に設けたが、撮像部20のみを天井に設け、その他の装置は別の場所に設けてもよい。   In FIG. 1, the abandoned person detection device 2 is provided on the ceiling of the monitoring area, but only the imaging unit 20 may be provided on the ceiling, and other devices may be provided in another place.

(撮像部20)
撮像部20は、例えばCCD撮像素子などを利用した監視カメラである。この撮像部20は、通常は監視空間(監視領域)の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部22へ出力される。監視画像が撮像される時間間隔は例えば1/5秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部20は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
(Imaging unit 20)
The imaging unit 20 is a monitoring camera using, for example, a CCD imaging device. The imaging unit 20 is usually attached to the ceiling of the monitoring space (monitoring area). The shooting may be continuous shooting such as video shooting, but it is preferable that the monitoring area is sequentially shot at predetermined time intervals. The captured monitoring images of the monitoring space are sequentially output to the control unit 22. The time interval at which the monitoring image is captured is 1/5 second, for example. Hereinafter, the unit of time recorded at the time interval of imaging is referred to as time. In the present embodiment, the imaging unit 20 includes a fisheye lens and is installed with its optical axis directed vertically downward, and images the entire room as a monitoring space.

(記憶部21)
記憶部21は、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置である。フラッシュメモリや、ハードディスクなどを利用してもよい。記憶部21は、各種プログラムや各種データを記憶し、制御部22との間でこれらの情報を入出力する。記憶部21において記憶する各種データには、背景差分処理に必要な背景画像210、追跡人物の姿勢判定に必要な姿勢別人物モデル211が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
(Storage unit 21)
The storage unit 21 is a storage device such as a ROM (Read Only Memory) or a RAM (Random Access Memory). A flash memory or a hard disk may be used. The storage unit 21 stores various programs and various data, and inputs / outputs such information to / from the control unit 22. The various data stored in the storage unit 21 includes a background image 210 necessary for background difference processing and a posture-specific person model 211 necessary for posture determination of the tracking person. The captured image may be stored in a large capacity storage device such as a hard disk as it is.

姿勢別人物モデル211は、人物の姿勢を立位/倒位の2つに大分し、各姿勢の人物の形状(外形)をモデリングしたものである。姿勢別人物モデル211には立位モデル211R、倒位モデル211Tが含まれる。   The posture-specific person model 211 is obtained by modeling the shape (outer shape) of a person in each posture by roughly dividing the posture of the person into two positions of standing / inverting. The posture-specific person model 211 includes a standing model 211R and an inverted model 211T.

この立位モデル211R、倒位モデル211Tを図3、図4に示す。各モデルは、制御部22が、撮像部20において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別人物モデル211を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。   The standing model 211R and the inverted model 211T are shown in FIGS. For each model, the control unit 22 extracts the person area from the monitoring image obtained by the imaging unit 20, and applies the posture-specific person model 211 to the extracted person area, thereby changing the posture of the person being imaged. Used for estimation.

立位モデル211Rは立った姿勢の人物の形状を模した姿勢別人物モデル211である。本実施形態において立位モデル211Rは、図3に示すように、長軸長LR±αLR、短軸長SR±αSRの楕円で定義される。光軸を鉛直下方に向けた撮像部20により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθRは、体の傾きを考慮するための値であり、立位モデル211Rは、その長軸方向を放射線方向から±αθRの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ(偏位角)が±αθRの範囲内の人物領域が当て嵌められる。 The standing model 211R is a posture-specific person model 211 simulating the shape of a person in a standing posture. In the present embodiment, the standing model 211R is defined by an ellipse having a major axis length L R ± α LR and a minor axis length S R ± α SR , as shown in FIG. In the coordinate system of the monitoring image captured by the imaging unit 20 with the optical axis directed vertically downward, the radiation direction from the center of the monitoring image is the height direction. ± αθ R is a value for considering the inclination of the body, and the standing model 211R is arranged by limiting the major axis direction within the range of ± αθ R from the radiation direction. That is, a person region in which the deviation (deviation angle) in the major axis direction from the image center in the radial direction is within ± αθ R is applied.

長軸長の基準値LRは平均的な身長に応じて設定され、その変動許容範囲±αLRは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値SRは平均的な体の幅に応じて設定され、その変動許容範囲±αSRは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθRは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。 Reference value L R of the long axis length is set according to the average height, the variation allowable range ± alpha LR is set to absorb possible range errors like caused by individual differences in physique. The short axis length reference value S R is set according to the average body width, and the variation allowable range ± α SR is within a range that can absorb errors caused by the inclination of the body and errors caused by individual differences in physique. Is set. The variation tolerance range ± αθ R of the deviation angle of the long axis is set to a range in which an error caused by the body inclination and an individual difference in the standing posture can be absorbed. These permissible fluctuation ranges mean the shape and inclination range of the range that can be regarded as standing.

記憶部21には、立位モデル211Rとして予め上記のように設定された長軸長LR、短軸長SR、長軸長の変動許容範囲±αLR、短軸長の変動許容範囲±αSR、長軸の偏位角の変動許容範囲±αθRの各数値が記憶されている。なお、人物の像の大きさは撮像部20と人物の位置関係により変わるため、LR、SRは監視画像上の位置毎に設定し、αLR、αSRはLR、SRに対する比率として設定するのがよい。 In the storage unit 21, the long axis length L R , the short axis length S R , the long axis length fluctuation tolerance ± α LR , and the short axis length fluctuation tolerance ± preset as the standing model 211R as described above. Each numerical value of α SR and the long axis deviation angle variation allowable range ± αθ R is stored. Since the size of the person image changes depending on the positional relationship between the imaging unit 20 and the person, L R and S R are set for each position on the monitoring image, and α LR and αS R are ratios to L R and S R. It is better to set as

倒位モデル211Tは倒れている姿勢の人物の形状を模した姿勢別人物モデル211である。本実施形態において倒位モデル211Tは、図4に示すように、長軸長LT±αLT、短軸長ST±αSTの楕円で定義される。±αθTは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部20により撮像された監視画像の座標系において倒位モデル211Tはその長軸方向を放射線の法線方向から±αθTの範囲内に限定して配置される。 The inverted model 211T is a posture-specific person model 211 that imitates the shape of a person in a falling posture. In the present embodiment, the inverted model 211T is defined by an ellipse having a major axis length LT ± αLT and a minor axis length ST ± αST, as shown in FIG. ± αθ T is a value for considering the inclination of the body. In the coordinate system of the monitoring image captured by the imaging unit 20 with the optical axis directed vertically downward, the inversion model 211T has its long axis direction in the radiation method. Arrangement is limited to a range of ± αθ T from the line direction.

長軸長の基準値LTは平均的な身長に応じて設定され、その変動許容範囲±αLTは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値STは平均的な体の幅に応じて設定され、その変動許容範囲±αSTは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθTは立位と混同せぬように0≦αθT<90°−αθRの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。 The major axis length reference value LT is set according to the average height, and the variation allowable range ± αLT is set to a range that can absorb errors caused by individual differences in physique. The short axis length reference value ST is set according to the average body width, and its variation tolerance range ± αST is set to a range that can absorb errors caused by body inclination and errors caused by individual differences in physique. The The variation allowable range ± αθ T of the major axis deviation angle is set in a range of 0 ≦ αθ T <90 ° −αθ R so as not to be confused with the standing position. These permissible fluctuation ranges mean the shape and inclination range of the range that can be regarded as inversion.

記憶部21には、倒位モデル211Tとして予め上記のように設定された長軸長LT、短軸長ST、長軸長の変動許容範囲±αLT、短軸長の変動許容範囲±αST、長軸の偏位角の変動許容範囲±αθTの各数値が記憶されている。なお、人物の像の大きさは撮像部20と人物の位置関係により変わるため、LT、STは監視画像上の位置毎に設定し、αLT、αSTはLT、STに対する比率として設定するのがよい。 In the storage unit 21, the long axis length LT, the short axis length ST, the long axis length variation allowable range ± αLT, and the short axis length variation allowable range ± αST, which are set in advance as the inverted model 211T as described above. Each numerical value of the variation allowable range ± αθ T of the shaft deflection angle is stored. Since the size of the person image varies depending on the positional relationship between the imaging unit 20 and the person, LT and ST are set for each position on the monitoring image, and αLT and αST are preferably set as a ratio to LT and ST. .

(制御部22)
制御部22は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、記憶部21からプログラムを読み出して実行することで人物領域抽出手段220、人物追跡手段221、倒位人物判定手段として機能する姿勢判定手段222、静止状態判定手段223、微速移動判定手段224、人物放置状態検出手段として機能する異常判定手段225を含んでいる。
(Control unit 22)
The control unit 22 is configured using an arithmetic device such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or an MCU (Micro Control Unit), and reads out a program from the storage unit 21 and executes it to extract a person area. Means 220, person tracking means 221, posture determination means 222 that functions as an inverted person determination means, stationary state determination means 223, slow speed movement determination means 224, and abnormality determination means 225 that functions as a person leaving state detection means.

ここで、制御部22の各手段については、図5に示す処理フローとともに説明する。   Here, each means of the control part 22 is demonstrated with the processing flow shown in FIG.

(出力部)
出力部23は、異常信号を放置人物検知装置の外部へ出力する通信手段である。出力部23は、制御部22の異常判定手段225から異常信号が入力されると、当該異常信号をコントローラー3へ出力する。
(Output part)
The output unit 23 is a communication unit that outputs an abnormal signal to the outside of the abandoned person detection device. When an abnormality signal is input from the abnormality determination unit 225 of the control unit 22, the output unit 23 outputs the abnormality signal to the controller 3.

「放置人物検知装置2における処理フロー」
図5は、放置人物検知装置2における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部22において実施される。
“Processing Flow in Abandoned Person Detection Device 2”
FIG. 5 is a flowchart showing an abnormality detection process in the abandoned person detection device 2. Various data processing is basically performed in the control unit 22.

(S1:初期化)
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部21に背景画像210として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
(S1: Initialization)
When the power is turned on, each unit is initialized and starts operating. The initialization includes a process of storing the monitoring image immediately after startup in the storage unit 21 as the background image 210. Here, it is preferable to acquire the background image every time when a person does not enter, but various means such as storing a fixed screen to some extent can be employed.

(S2:監視画像取得)
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部20は、監視空間を撮像する度に監視画像を出力し、制御部22はこれを取得する。S2において、現時刻の監視画像が取得され、これが制御部に送られる。
(S2: Monitor image acquisition)
When the initialization is completed, a monitoring image is acquired. That is, the imaging unit 20 outputs a monitoring image every time the monitoring space is imaged, and the control unit 22 acquires the monitoring image. In S2, a monitoring image at the current time is acquired and sent to the control unit.

(S3:背景・ラベリング)
制御部22の人物領域抽出手段220では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物領域抽出手段220は、撮像部20から得られた監視画像と、記憶部21に記憶されている背景画像210を比較し、背景画像210との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
(S3: Background / Labeling)
The person area extraction unit 220 of the control unit 22 removes the background from the monitoring image at the current time sent from the imaging unit, extracts the person area, and labels the obtained person area. The person area extraction unit 220 compares the monitoring image obtained from the imaging unit 20 with the background image 210 stored in the storage unit 21, and extracts a pixel whose difference from the background image 210 is greater than or equal to a threshold value as a change pixel. To do. Note that brightness, color, edge strength / direction, and the like can be used as the difference feature amount. As the threshold value, a predetermined value determined in advance may be used, or may be changed dynamically.

また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。   Further, it is desirable to remove light / shadow regions by normalized correlation after the difference calculation, and to remove sesame salt-like noise by expansion / contraction processing.

人物領域抽出手段220は、変化画素の抽出後、変化画素の集合についてラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊(集合)毎に個別の番号が振られることになる。ラベリング後、1つのラベリングがされた領域、例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。   The person area extraction unit 220 performs labeling on the set of changed pixels after extracting the changed pixels. Labeling is a process of assigning the same number to pixels that are spatially connected, and an individual number is assigned to each block (set) of changed pixels. After the labeling, noise removal processing is performed again, such as removing one labeled region, for example, a block whose area is equal to or less than the threshold value. The threshold value at this time is determined from the standard person size calculated from the camera installation conditions. Hereinafter, this block is referred to as a person area.

(S4:人物追跡)
人物領域抽出手段220において得られた人物領域の画像は、人物追跡手段221に送られる。人物追跡手段221は、前時刻までに(前回以前に取得した監視画像において)人物領域抽出手段220により抽出され、記憶部21に記憶されている各人物領域に関する追跡特徴と、現時刻にて(今回取得した監視画像において)人物領域抽出手段220により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
(S4: Person tracking)
The image of the person area obtained by the person area extracting unit 220 is sent to the person tracking unit 221. The person tracking means 221 is extracted by the person area extracting means 220 by the previous time (in the monitoring image acquired before the previous time) and stored in the storage unit 21 with the tracking characteristics and the current time ( The person area is tracked by associating it with each person area extracted by the person area extracting means 220 (in the monitoring image acquired this time).

そのために、人物追跡手段221は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部21に記憶する。そして、記憶部21に記憶されている前時刻で抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。   Therefore, whenever the appearance of the person area in the monitoring area is confirmed, the person tracking unit 221 extracts the image feature of the person area as a tracking feature and stores it in the storage unit 21. Then, the tracking feature of the person region extracted at the previous time stored in the storage unit 21 is compared with the tracking feature of the person region extracted at the current time, and the person region determined to be the most similar Associate.

追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物領域である、と判断する。   The tracking feature includes a color and edge histogram, a gravity center position of a person area, a circumscribed rectangle, and the like. If the person area extracted at the current time is not associated with any of the tracking features stored in the storage unit, it is determined that the person image is a person area newly appearing at the current time. .

記憶部21に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その追跡情報は、入力画像の視野外に移動した、つまりは事務室などの監視領域から外に出た人物のものであると判断し、記憶部21から消去する。なお、一定時間は保持しておき、その間は上記の関連付け処理を試みるものとしてもよい。   When there is a person area that is not associated with the person area extracted at the current time among the tracking features stored in the storage unit 21, the tracking information has moved out of the field of view of the input image. Is determined to belong to a person who has left the monitoring area such as an office, and is deleted from the storage unit 21. In addition, it is good also as what keeps fixed time and tries said correlation process in the meantime.

上述した人物追跡手段221における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。   The process in the person tracking unit 221 described above is a general tracking process in the field of image processing technology, and thus the details are omitted.

(S5〜S6:姿勢判定)
姿勢判定手段222は、人物領域抽出手段220により抽出された人物領域に最も形状が適合する姿勢別人物モデル211を選出し、選出された姿勢別人物モデル211に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢判定手段222はそれぞれの人物領域に対して姿勢判定を行う(S5)。また、この姿勢判定手段222は、倒位姿勢の人物を検出する倒位人物検出手段として機能する。
(S5-S6: Posture determination)
The posture determination unit 222 selects a posture-specific person model 211 that best matches the shape of the person region extracted by the person region extraction unit 220, and the posture corresponding to the selected posture-specific person model 211 is included in the person region. Judged as the posture of a person. When a plurality of person regions are extracted, the posture determination unit 222 performs posture determination for each person region (S5). The posture determination unit 222 functions as an inverted person detection unit that detects a person in an inverted posture.

姿勢判定手段222は、人物領域に各姿勢別人物モデル211を重ね合わせて適合度を算出し、適合度が最も高い姿勢の姿勢別人物モデル211を選出する。本件では適合度を以下の評価関数で表現する。
(評価関数)=−{(人物領域であって人物モデル領域でない画素)
+γ×(人物モデル領域であって人物領域でない画素)}
The posture determination unit 222 calculates the fitness by superimposing the posture-specific human models 211 on the person area, and selects the posture-specific human model 211 having the highest fitness. In this case, the fitness is expressed by the following evaluation function.
(Evaluation function) =-{(Pixel that is a person area but not a person model area)
+ Γ × (pixel model region but not human region)}

第1項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第2項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方(0に近い方)が人物領域と人物モデルの適合度が高い。   The first term is the number of pixels that are not covered by the person model despite the person area, and the second term is the number of pixels that are not covered by the person model but is not the person area. Is evaluated by the number of protruding pixels. The evaluation function takes a negative value, and the higher the value (the closer to 0), the higher the matching degree between the person area and the person model.

γは、第1項と第2項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きくすればよい。   γ is a parameter for balancing the first term and the second term. For example, when a threshold value for difference processing is set so that a changed pixel is easily extracted, the value of γ may be increased.

ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別人物モデル211の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め1時刻で処理が終わるように反復回数Nが固定的に規定され、或いは予め1時刻より短い処理時間の規定により反復回数Nが動的に規定される。例えば反復回数Nは1000回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。   Here, the posture of each person is not constant, and the positional relationship between the persons is not constant. As described above, the posture of the person includes errors caused by individual differences and body inclinations. Therefore, the process of superimposing the individual person models 211 for each posture on the person region is performed in a search manner by repeating the process while changing each parameter. However, in order to detect anomalies in real time, the number of iterations N is fixed in advance so that the processing is completed at one time in advance, or the number of iterations N is dynamically determined in advance by defining a processing time shorter than one time. Stipulated in For example, the number of repetitions N is defined as 1000. At this time, in order to prevent the result of posture determination from falling into a local solution within a limited number of iterations, it is preferable to change the parameters at random.

次に、探索時に変更されるパラメータについて説明する。姿勢判定手段222は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別人物モデル211を複数通り試行する。2種類の姿勢(立位と倒位)が設定されている本実施形態では、2通りの組み合わせからランダムに選択する。   Next, parameters that are changed during the search will be described. The posture determination means 222 tries a plurality of posture-specific person models 211 corresponding to each posture in response to the posture that each person takes is not constant. In the present embodiment in which two types of postures (standing position and inverted position) are set, a random selection is made from two combinations.

また、姿勢判定手段222は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別人物モデル211の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。   In addition, the posture determination unit 222 randomly changes the shape and inclination of the posture-specific person model 211 in each posture within a variation allowable range in response to errors caused by individual differences and body inclinations. The shape is changed by independently changing the major axis length and the minor axis length. The inclination is changed by changing the deflection angle.

具体的には、姿勢判定手段222は、人物領域内にランダム座標を設定して立位モデル211Rの重心位置PRとし、重心位置PRに応じた長軸長LRと短軸長SRを記憶部21から読み出すとともに許容範囲αLR、αSR、αθRを読み出し、長軸長LRに対して±αLRの範囲でΔLRをランダムに設定し、短軸長SRに対して±αSRの範囲でΔSRをランダムに設定し、長軸偏位角に対して±αθRの範囲でΔθRをランダムに設定する。姿勢判定手段222は、画像中心83と重心位置PRを結ぶ放射線から重心位置PRを中心にΔθRだけ回転した直線を長軸として求め、重心位置PRを中心とし長軸長LR+ΔLR、短軸長SR+ΔSRの楕円を算出する。 Specifically, the posture determining section 222, a gravity center position P R of the standing model 211R sets the random coordinates the person area, the long axis length corresponding to the center-of-gravity position P R L R and minor axis length S R Are read from the storage unit 21 and the allowable ranges α LR , α SR , αθ R are read, Δ LR is randomly set in a range of ± α LR with respect to the long axis length L R , and the short axis length S R is set. set the delta SR in the range of ± alpha SR randomly set the [delta] [theta] R randomly in a range of ± αθ R to the long axis deflection angle. Posture determination unit 222, a line rotated from the radiation connecting the image center 83 and the position of the center of gravity P R around the center-of-gravity position P R by [Delta] [theta] R determined as the major axis, the major axis length to the center of gravity position P R L R + delta LR, and calculates the ellipse minor axis S R + Δ SR.

同様に、姿勢判定手段222は、倒位モデル211Tの重心位置PTを人物領域内にランダム設定するとともに、変動量ΔLT、ΔST、ΔθTをそれぞれ±αLT、±αST、±αθTの範囲でランダムに設定し、画像中心83と重心位置PTを結ぶ放射線の重心位置PKを通る法線を求め、当該法線から重心位置PTを中心にΔθTだけ回転した直線を長軸とし重心位置PTを中心とする長軸長LT+ΔLT、短軸長ST+ΔSTの楕円を算出する。 Similarly, the posture determination means 222 randomly sets the center of gravity position P T of the inverted model 211T in the person area, and sets the fluctuation amounts Δ LT , Δ ST , Δθ T to ± α LT , ± α ST , ± αθ, respectively. R is randomly set within the range of T, a normal passing through the gravity center P K of the radiation connecting the image center 83 and the gravity center P T is obtained, and a straight line rotated by Δθ T around the gravity center P T from the normal is obtained. An ellipse having a major axis length L T + Δ LT and a minor axis length S T + Δ ST centered on the center of gravity position P T is calculated.

そして、姿勢判定手段222は人物領域と人物モデル領域との間で一致しない部分の画素数を求め、上記の評価関数により適合度を求める。この操作により、人物領域に最も適合度の高い人物モデルが倒位姿勢の人物モデルであれば、当該人物領域に含まれる人物の姿勢は、倒位姿勢であると判定する(S6)。   Then, the posture determination unit 222 calculates the number of pixels in a portion that does not match between the person area and the person model area, and calculates the fitness using the evaluation function. With this operation, if the person model having the highest fitness in the person area is a person model in the inverted posture, the posture of the person included in the person region is determined to be the inverted posture (S6).

このようにして、姿勢判定手段222は、判定結果である人物領域の姿勢を追跡特徴として求め、得られた追跡特徴が記憶部21に記憶される。   In this way, the posture determination unit 222 obtains the posture of the person area as the tracking result as the tracking feature, and the obtained tracking feature is stored in the storage unit 21.

また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。   Also, continuity in the time direction can be introduced into the above evaluation function that represents the goodness of fit between the person region and the person model. For example, the color histogram in the person model area at the previous time is calculated, and the degree of coincidence with the color histogram in the person model area this time is added to the evaluation function so that the color does not vary greatly between frames. An ellipse can be fitted.

なお、抽出された1つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを、各パラメータを変動させながら人物領域に当て嵌めればよい。   When a plurality of persons are included in one extracted person area, it is only necessary to fit as many person models as the number of persons to the person area while changing each parameter.

また、1つの人物領域に単一人物しか含まれていない場合は、当該姿勢毎の人物モデルを用いずに人物領域が倒位姿勢であることを判定することができる。その場合、人物領域を楕円等で近似して長軸の傾きから倒位姿勢を判断する。倒位姿勢の人物の画面への映り方は使用カメラとその設置条件によって異なるが、例えば天井面に鉛直下向きに設置された魚眼カメラでは、画像中心と人物領域の中心を結ぶ直線に対して、近似楕円の長軸がほぼ直交していれば倒位姿勢と判断する。このとき、角度に対して許容範囲を設け、中心と結ばれる放射線と長軸のなす角度が90°±δθのときに倒位姿勢と判断してもよい。例えば、δθは15°などである。   When only one person is included in one person area, it can be determined that the person area is in the inverted posture without using the person model for each posture. In that case, the human body region is approximated by an ellipse or the like, and the inverted posture is determined from the inclination of the long axis. How a person in an inverted position is projected on the screen depends on the camera used and its installation conditions.For example, with a fish-eye camera installed vertically downward on the ceiling surface, the straight line connecting the center of the image and the center of the person area If the major axis of the approximate ellipse is almost orthogonal, it is determined as the inverted posture. At this time, an allowable range may be provided for the angle, and the inverted posture may be determined when the angle formed by the long axis and the radiation connected to the center is 90 ° ± δθ. For example, δθ is 15 °.

このように、S5〜S6において倒位姿勢の人物を検出することができる。   As described above, the person in the inverted posture can be detected in S5 to S6.

(S7〜S8:静止判定)
S6において、倒位人物が検出された場合には、静止状態判定手段223は、当該人物領域の追跡結果をスキャンバックし、所定フレーム以上に渡って倒位姿勢のままで継続静止しているかどうかを判定する(S7)。人物静止の判定には以下の基準を用いる。
(i)人物領域の重心位置座標が変化していない。
(ii)人物領域の外接矩形の大きさが変化していない。
最も単純な判定方法として、倒位姿勢の人物領域について、一時刻前のフレームから重心位置と外接矩形の大きさが無変化なことを解析する方法を用いてもよい。
(S7-S8: Stillness determination)
In S6, when an inverted person is detected, the stationary state determination unit 223 scans back the tracking result of the person area, and determines whether or not the person is still standing in the inverted posture for a predetermined frame or more. Is determined (S7). The following criteria are used to determine whether a person is still.
(I) The center-of-gravity position coordinates of the person area have not changed.
(Ii) The size of the circumscribed rectangle of the person area has not changed.
As the simplest determination method, a method of analyzing that the position of the center of gravity and the size of the circumscribed rectangle are unchanged from the frame one hour before may be used for the human region in the inverted posture.

(i)、(ii)のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。   It is desirable to set an appropriate threshold for the change amount for both (i) and (ii) so as not to be sensitive to minute changes due to differential noise or the like.

(i)、(ii)の条件を満たした場合、静止しているとして静止カウンタをカウントアップする(S8)。条件を満たさない場合、静止していないとしてS9の微速移動判定へと移行する。 When the conditions (i) and (ii) are satisfied, the stationary counter is counted up as being stationary (S8). If the condition is not satisfied, the process shifts to the slow movement determination in S9 because it is not stationary.

このとき、一時刻前のフレームも倒位姿勢であることを確認した上で、(i)、(ii)の条件を満たすかを判定してもよい。また、より安定な検知を実現するためには、数フレームに渡っての静止を観測することが望ましい。倒位姿勢が継続しているスパンにおいて追跡結果を遡り、(i)、(ii)の条件を用いてその期間における静止を判定してもよい。   At this time, it may be determined whether the condition of (i) and (ii) is satisfied after confirming that the frame one hour before is also in the inverted posture. In order to realize more stable detection, it is desirable to observe stillness over several frames. The tracking result may be traced back in the span where the inverted posture continues, and the stillness in that period may be determined using the conditions (i) and (ii).

(S9〜S10:微速移動判定)
S7において、倒位姿勢の人物が静止していなかった場合には、微速移動判定手段224が、前時刻での重心位置座標と現時刻での重心位置座標から速度を計算し、それが所定閾値以下であった場合に微速で移動しているものと判定する(S9)。閾値は使用するカメラおよび設置条件により異なるが、2.5mの天井面に設置された魚眼カメラの場合、魚眼周辺でおおよそ数画素、中心付近で十数画素程度に設定することが望ましい。また、魚眼画像中心と人物領域重心を結んだ直線と、人物領域の交点(中心に近い方の交点)を人物接地面と仮定して、カメラ設置条件を用いてその3次元座標を算出し、3次元座標の変化を元に微速を判定してもよい。
(S9 to S10: Slow movement determination)
In S7, when the person in the inverted posture is not stationary, the slow movement determination means 224 calculates the speed from the center of gravity position coordinates at the previous time and the center of gravity position coordinates at the current time, which is a predetermined threshold value. If it is the following, it is determined that it is moving at a slow speed (S9). Although the threshold varies depending on the camera to be used and installation conditions, in the case of a fish-eye camera installed on a ceiling surface of 2.5 m, it is desirable to set it to about several pixels around the fish-eye and about a dozen pixels around the center. In addition, assuming that the straight line connecting the center of the fisheye image and the center of gravity of the person area and the person area (the intersection closer to the center) is the person ground plane, the 3D coordinates are calculated using the camera installation conditions. The slow speed may be determined based on the change in the three-dimensional coordinates.

S9において、微速移動と判定された場合、微速カウンタをカウントアップする(S10)。S8において微速移動でなかった場合には非静止かつ微速移動でもないため、S12にてカウンタをリセットする。なお、S6において倒位姿勢の人物が検出しなかった場合もS12でカウンタをリセットする。ここで、リセットするカウンタは、静止カウンタ、微速カウンタおよび放置カウンタの全てである。   If it is determined in S9 that the movement is slow, the fine speed counter is incremented (S10). If it is not a slow movement in S8, the counter is reset in S12 because it is not stationary and is not a slow movement. It should be noted that the counter is also reset in S12 when a person in an inverted posture is not detected in S6. Here, the counters to be reset are all of a stationary counter, a fine speed counter, and a neglect counter.

S9における微速移動の別の判定尺度として、倒位姿勢になった時点からの総移動距離を観測フレーム数で除算して平均速度を求め、それを基準に微速判定を行ってもよい。   As another criterion for determining the slow speed movement in S9, the average speed may be obtained by dividing the total moving distance from the time of the inverted posture by the number of observation frames, and the slow speed determination may be performed based on the average speed.

上述の説明では、倒位姿勢の人物を1人のみ対象としたが複数人いた場合には、それぞれについて静止、微速移動を判定する。   In the above description, only one person in the inverted posture is the target, but when there are a plurality of persons, stationary and slow movement are determined for each.

(S13:放置人物判定)
このようにして、S8、S10において、静止カウンタ、微速カウンタがカウントアップされる。そして、放置カウンタは、これらの静止カウンタのカウント値と、微速カウンタのカウント値を、重み付けをして加算する。すなわち、静止カウンタのカウント値をより大きな重みを付けて放置カウンタをカウントアップする(S11)。
(S13: Abandoned person determination)
In this manner, the stationary counter and the fine speed counter are counted up in S8 and S10. Then, the neglected counter adds the weighted count values of the stationary counter and the count value of the fine speed counter. That is, the standing counter is counted up with a greater weight on the count value of the stationary counter (S11).

その結果、放置カウンタには、倒位姿勢のままで静止している、または倒位姿勢のままで微速移動しているフレーム数が重み付け加算されてカウントアップされる。異常判定手段225は、放置カウンタの値が所定の閾値以上であった場合、放置人物ありと判定する(S13)。例えば、重みとして、微速移動が1、静止が1.2などに設定し、放置カウンタの閾値を120秒に設定する。   As a result, the number of frames that are stationary in the inverted posture or moved at a slow speed in the inverted posture is weighted and added to the neglected counter. The abnormality determination unit 225 determines that there is an abandoned person when the value of the abandonment counter is equal to or greater than a predetermined threshold (S13). For example, as the weight, the slow movement is set to 1, the stillness is set to 1.2, and the threshold value of the neglect counter is set to 120 seconds.

カウントアップに対する別の工夫として、常に一定値を加算するのではなく、静止度合いおよび微速移動度合いを連続値にて表現し、その値に応じてカウントアップする数を可変にすることができる。例えば、微速移動速度に関して所定閾値との差分をカウントアップすることができる。   As another device for counting up, instead of always adding a constant value, the degree of stillness and the degree of slow movement can be expressed as continuous values, and the number to be counted up can be made variable according to the values. For example, the difference from the predetermined threshold can be counted up with respect to the slow moving speed.

さらに、静止カウンタと微速移動カウンタについて閾値を個別に設定して判定をすることも可能である。例えば、個別カウントの結果、静止カウンタのカウント値が90秒、または微速移動カウンタのカウント値が120秒に至ったときに放置人物検出と判定してもよい。   Furthermore, it is also possible to make a determination by individually setting threshold values for the stationary counter and the slow movement counter. For example, when the count value of the stationary counter reaches 90 seconds or the count value of the slow movement counter reaches 120 seconds as a result of the individual count, it may be determined that the abandoned person is detected.

また、別の実施例として、倒位姿勢での微速移動による移動距離が所定閾値を超えた場合に異常信号を出力する仕組みを実現することもできる。   Further, as another embodiment, it is possible to realize a mechanism for outputting an abnormal signal when the moving distance due to the slow movement in the inverted posture exceeds a predetermined threshold.

このように、異常判定手段225は人物放置状態検出手段として機能し、放置状態の人物(放置人物)を検出した際に異常と判定する。   As described above, the abnormality determination unit 225 functions as a person leaving state detection unit, and determines that an abnormality is detected when a person in the state of being left (a left person) is detected.

さらに、姿勢判定の誤りを考慮した別の実施例として、S12におけるカウンタのリセットとして、倒位姿勢でなくなった場合に一気にカウンタをリセットするのではなく、倒位姿勢でなくなったら所定値だけ放置カウンタのカウント値を減算するようにしてもよい。例えば、倒位姿勢での静止が観測された場合のカウンタ加算値を2とし、倒位姿勢でなくなったら1を減算すればよい。放置カウンタにおける減算値は、静止カウンタのカウント値に対する減算値と、微速カウンタのカウント値からの減算値を異ならせて減算することが望ましいが、両者の減算値を同一の値にしてもよい。   Furthermore, as another embodiment in consideration of an error in posture determination, as a counter reset in S12, the counter is not reset at a stroke when the inverted posture is lost, but only a predetermined value is left when the posture is not inverted. The count value may be subtracted. For example, the counter addition value when the stillness in the inverted posture is observed is set to 2, and 1 is subtracted when the posture is not the inverted posture. The subtraction value in the neglected counter is desirably subtracted by making the subtraction value for the count value of the stationary counter different from the subtraction value from the count value of the fine speed counter, but the subtraction values of both may be the same value.

(S14:異常出力)
異常判定手段225は、S13にて放置人物ありと判定されると、異常信号を出力部23へ出力する。
(S14: Abnormal output)
When it is determined in S13 that there is an abandoned person, the abnormality determination unit 225 outputs an abnormality signal to the output unit 23.

「本実施形態の効果」
このように、本実施形態に係る異常検出装置によれば、人物領域が倒れた姿勢であることを検知し、当該人物領域が倒れた姿勢のまま静止している場合にも倒れた姿勢のまま微速で移動している場合にも、放置状態としてカウントアップし、カウンタが所定の閾値を超えた場合に放置人物であると判定することができる。
"Effect of this embodiment"
As described above, according to the abnormality detection device according to the present embodiment, it is detected that the person area is in a collapsed posture, and the posture of the person area remains in the collapsed posture even when the person region is still in the collapsed posture. Even when moving at a slow speed, it is counted up as a neglected state, and when the counter exceeds a predetermined threshold, it can be determined that the person is a neglected person.

1 通報システム、2 放置人物検知装置、3 コントローラー、4 広域通信網、5 センタ装置、6 金庫、20 撮像部、21 記憶部、22 制御部、23 出力部、83 画像中心、210 背景画像、211 姿勢別人物モデル、220 人物領域抽出手段、221 人物追跡手段、222 姿勢判定手段、223 静止状態判定手段、224 微速移動判定手段、225 異常判定手段。   DESCRIPTION OF SYMBOLS 1 Report system, 2 Abandoned person detection apparatus, 3 Controller, 4 Wide-area communication network, 5 Center apparatus, 6 Safe, 20 Imaging part, 21 Storage part, 22 Control part, 23 Output part, 83 Image center, 210 Background image, 211 Posture-specific person model, 220 person region extraction means, 221 person tracking means, 222 posture determination means, 223 stationary state determination means, 224 slow movement determination means, 225 abnormality determination means.

Claims (3)

監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、
前記制御部は、
前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が前記静止状態でないと判定され、かつ所定速度以下の微速移動しているとき微速移動状態と判定する微速移動判定手段と、
前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、所定の規則に従って当該人物が放置された状態を検出する人物放置状態検出手段と、
を有することを特徴とする放置人物検出装置。
An image acquisition unit that sequentially acquires monitoring images obtained by photographing the monitoring area, a storage unit that stores a monitoring image in a state where no person is present in the monitoring area as a background image, and a processing of the monitoring image acquired by the image acquisition unit An abandoned person detection device configured from a control unit that performs
The controller is
Person area extracting means for extracting a person area from the monitoring image and the background image;
An inverted person detecting means for detecting a person area in an inverted state that is a posture in which the person has fallen out of the person area;
A stationary state determination unit that temporally tracks the human region in the inverted position and determines whether the human region is in a stationary state that is not substantially moved;
Wherein temporally tracking the person area of倒位state, it is determined that the person area is not in the stationary state, and a very low speed movement determining means determines that a very low speed moving state when moving predetermined speed following a very slow speed,
Based on the determination results of both the stationary state determination unit and the slow speed movement determination unit, a person leaving state detection unit that detects a state in which the person is left according to a predetermined rule ;
An abandoned person detection device characterized by comprising:
監視領域の上方から、魚眼レンズを介して監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶し、長径および短径を有する細長の図形を人物の外形に対応する人物モデルとして記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、
前記制御部は、
前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域と前記人物モデルを比較して、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、
前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、
を有することを特徴とする放置人物検出装置。
An image acquisition unit that sequentially acquires a monitoring image obtained by photographing the monitoring area via a fisheye lens from above the monitoring area, and a monitoring image in a state where no person is present in the monitoring area is stored as a background image , and a major axis and a minor axis are stored. A neglected person detection device comprising: a storage unit that stores a long and narrow figure as a person model corresponding to an outline of a person; and a control unit that processes a monitoring image acquired by the image acquisition unit,
The controller is
Person area extracting means for extracting a person area from the monitoring image and the background image;
Comparing the person area with the person model, a person area in an inverted state is a posture that has fallen when the major axis of the person area coincides with a person model oriented in a direction orthogonal to the radial direction from the center of the image. An inverted person detecting means for detecting;
A stationary state determination unit that temporally tracks the human region in the inverted position and determines whether the human region is in a stationary state that is not substantially moved;
A slow movement determination means that temporally tracks the person area in the inverted position and determines that the person area is moving at a slow speed of a predetermined speed or less;
Based on the determination results of both the stationary state determination unit and the slow movement determination unit, a person leaving state detection unit that detects a state in which the person is left;
An abandoned person detection device characterized by comprising:
請求項1または2に記載の放置人物検出装置において、
前記人物放置状態検出手段は、
前記静止状態の経過時間が第1の所定値を超えた場合または前記微速移動状態の経過時間が第1の所定値より長い第2の所定値を超えた場合に人物の放置状態と検出することを特徴とする放置人物検出装置。
In the abandoned person detection device according to claim 1 or 2 ,
The person leaving state detecting means is
When the elapsed time in the stationary state exceeds a first predetermined value or when the elapsed time in the slow movement state exceeds a second predetermined value that is longer than the first predetermined value, it is detected that the person is left alone. An abandoned person detection device characterized by the above.
JP2011076485A 2011-03-30 2011-03-30 Abandoned person detection device Active JP5771039B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011076485A JP5771039B2 (en) 2011-03-30 2011-03-30 Abandoned person detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011076485A JP5771039B2 (en) 2011-03-30 2011-03-30 Abandoned person detection device

Publications (2)

Publication Number Publication Date
JP2012212236A JP2012212236A (en) 2012-11-01
JP5771039B2 true JP5771039B2 (en) 2015-08-26

Family

ID=47266146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011076485A Active JP5771039B2 (en) 2011-03-30 2011-03-30 Abandoned person detection device

Country Status (1)

Country Link
JP (1) JP5771039B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6922914B2 (en) * 2016-08-08 2021-08-18 コニカミノルタ株式会社 Watching system, watching device, watching method, and watching program
KR102609461B1 (en) * 2018-02-12 2023-12-04 엘지이노텍 주식회사 Imaging device, apparatus and method for managing of fowl comprising the same
KR101944374B1 (en) * 2018-02-12 2019-01-31 엘지이노텍 주식회사 Apparatus and method for detecting abnormal object and imaging device comprising the same
KR102307609B1 (en) * 2018-02-12 2021-10-05 엘지이노텍 주식회사 Apparatus and method for detecting abnormal object and imaging device comprising the same
WO2019168323A1 (en) * 2018-02-27 2019-09-06 엘지이노텍 주식회사 Apparatus and method for detecting abnormal object, and photographing device comprising same
KR102606062B1 (en) * 2018-07-18 2023-11-24 엘지이노텍 주식회사 Apparatus and method for detecting abnormal object and imaging device comprising the same
CN113132636B (en) * 2021-04-16 2024-04-12 上海天跃科技股份有限公司 Intelligent monitoring system with human body form detection function

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207664A (en) * 1999-01-18 2000-07-28 Matsushita Electric Works Ltd Falling detecting device
JP2002197463A (en) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd Device and system for detecting behavior
JP2008176504A (en) * 2007-01-17 2008-07-31 Toshiba Corp Object detector and method therefor
JP5203319B2 (en) * 2009-08-25 2013-06-05 セコム株式会社 Abandonment monitoring device

Also Published As

Publication number Publication date
JP2012212236A (en) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5771039B2 (en) Abandoned person detection device
JP6631619B2 (en) Video monitoring system and video monitoring method
US9396400B1 (en) Computer-vision based security system using a depth camera
CN104902246B (en) Video monitoring method and device
JP4617269B2 (en) Monitoring system
JP6077655B2 (en) Shooting system
CN104954747B (en) Video monitoring method and device
JP2016100696A (en) Image processing device, image processing method, and image processing system
KR101442669B1 (en) Method and apparatus for criminal acts distinction using intelligent object sensing
JP5147760B2 (en) Image monitoring device
JP5657377B2 (en) Anomaly detection device
JP5701657B2 (en) Anomaly detection device
JP5693147B2 (en) Photographic interference detection method, interference detection device, and surveillance camera system
JP7314973B2 (en) VIDEO MONITORING DEVICE, VIDEO MONITORING METHOD AND PROGRAM
JPH09252467A (en) Mobile object detector
JP5758165B2 (en) Article detection device and stationary person detection device
KR102046591B1 (en) Image Monitoring System and Method for Monitoring Image
JP6253950B2 (en) Image surveillance system
JP4985742B2 (en) Imaging system, method and program
JP5669648B2 (en) Anomaly detection device
JP5606979B2 (en) Image monitoring device
JP5743646B2 (en) Anomaly detection device
JPH0821149B2 (en) Security monitoring system
JP5968402B2 (en) Image processing method and apparatus
Rezaei et al. Distibuted human tracking in smart camera networks by adaptive particle filtering and data fusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150626

R150 Certificate of patent or registration of utility model

Ref document number: 5771039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250