JP5473801B2 - Monitoring device - Google Patents
Monitoring device Download PDFInfo
- Publication number
- JP5473801B2 JP5473801B2 JP2010148413A JP2010148413A JP5473801B2 JP 5473801 B2 JP5473801 B2 JP 5473801B2 JP 2010148413 A JP2010148413 A JP 2010148413A JP 2010148413 A JP2010148413 A JP 2010148413A JP 5473801 B2 JP5473801 B2 JP 5473801B2
- Authority
- JP
- Japan
- Prior art keywords
- term change
- short
- person
- monitoring area
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Escalators And Moving Walkways (AREA)
- Image Analysis (AREA)
Description
本発明は、監視カメラ等を用いて監視エリア内の画像を取得し、この取得画像を処理して監視員等に通報する監視装置に関する。 The present invention relates to a monitoring apparatus that acquires an image in a monitoring area using a monitoring camera or the like, processes the acquired image, and notifies a monitoring person or the like.
監視カメラを目視により安全確認する監視員の負荷の軽減のために、撮影画像から画像認識によって事故の発生時の人物の挙動や、事故につながる危険行為といった異常挙動を検知し、監視員に発報する監視システムが普及しつつある。 In order to reduce the burden on the surveillance staff who visually check the surveillance camera, the behavior of the person at the time of the accident and abnormal behaviors such as dangerous actions leading to the accident are detected from the captured images and detected by the surveillance staff. Reporting systems are becoming more popular.
前記の異常挙動のうち人物が1人であり、この1人の人物が特定の場所に居続ける滞留は、たとえば安全管理を目的とした監視システムではこの1人の人物が他からの助けも求められない状態で事故や負傷により動けない状況や、またセキュリティを目的とした監視システムでは他に人がいないのを良いことにして家屋への進入の準備をしているなどの状況に結びつくために重要度が高い異常挙動である。 In the abnormal behavior described above , there is one person, and this one person stays in a specific place. For example, in a monitoring system for safety management, this one person seeks help from others. In order to lead to situations such as being unable to move due to accidents or injuries in situations where it is not possible, or preparing to enter the house by making it good that there are no other people in the security monitoring system Abnormal behavior with high importance.
監視エリア内の滞留を検出する技術として、特許文献1ではエスカレータのデッキ付近を監視エリアとして、2時刻の撮影画像のフレーム間の差分の量が多いほど、また監視エリアの背景差分(監視エリアからの入力画像と背景画像との間の差分)の面積が広いほど、デッキ上にたくさんの乗客がいて混雑度が高いと推測する技術が開示されている。この特許文献1では、前記の方法により計算した混雑度を閑散時と混雑時の2レベルに区分し、閑散時にはデッキ上での座り込みやハンドレールへのいたずらといった乗客の異常挙動を検出し、混雑時には乗客の通行を妨げるような異常挙動は発生している可能性が低いとみなして異常挙動の検知は行わず、代わりに乗客の通行量を計測するように画像認識の内容を切り替えている。
As a technique for detecting stay in the monitoring area, in
また、一般に、取得した画像の時間的変化を分析することで人物の挙動及び移動等を検知する技術としては非特許文献1等が知られており、エスカレータの分野においても、取得した画像の時空間的特徴を抽出し、エスカレータの動きと人物の動きとを区別して認識することで、人物の異常行動を検知する技術が非特許文献2で提案されている。
In general, Non-Patent
滞留の中でも特に滞留の当事者が1人であり、1人の当事者以外に周囲に人がいない状況は、たとえば安全管理を目的とした監視システムでは、事故発生時において周囲の人により事故の1人の当事者が救助されることを期待できないので危険度が高く、またセキュリティを目的とした監視システムでは、他の人物からの人目によって犯罪が抑止されることが期待できないので危険度が高く、監視員は当事者が一人であるケースを重点的に監視する必要がある。 Among the stays, there is one person who is staying in particular , and there is no one other than one person in the surroundings. For example, in a monitoring system for safety management, one person who is in an accident when an accident occurs. The risk is high because the parties cannot be expected to be rescued, and in a surveillance system for security purposes, the crime is not expected to be suppressed by the eyes of other persons, so the risk is high, and the surveillance staff Need to monitor the case where there is only one party .
また、非特許文献1又は2の様な画像処理によって人物の移動及び挙動を検知する監視システムにおいて、異常な挙動と類似した画像上の変化があっても、実際には監視エリア内に人物がいないシーンにおいては、監視システムから発報する必要はない。不要な発報は監視員に煩わしさを感じさせてしまうからである。
Further, in a monitoring system that detects the movement and behavior of a person by image processing as in Non-Patent
以上のことから、画像認識により滞留を検知する監視システムでは、滞留を検知するとともに、滞留時に監視エリア内にいるのが0人、1人、2人以上の区分で人数を推定することが望ましいことが判った。 From the above, in a monitoring system that detects stay by image recognition, it is desirable to detect stay and to estimate the number of people in the monitoring area at the time of stay based on the classification of 0, 1, 2 or more I found out.
そこで、特許文献1の技術を0人、1人、2人以上という人数推定に適用しようとすると、特許文献1に開示されている背景差分の面積が広いほど混雑度が高いという基準では、夕陽のように低い角度で照明光が差し込んで影が伸びる状況においては、影の部分で発生した面積が影響して誤判定してしまうという問題がある。たとえば人物がエスカレータのデッキ上に1人の場合に人物から長い影が伸びる状況では、影のために背景差分の面積が広くなってしまい、実際には乗客1人で閑散なのに混雑と判定してしまう可能性がある。また、ハンドレールなどの構造物の影が伸びる状況では、デッキ上に乗客が1人もいないにもかかわらず、ハンドレールなどの構造物の影によって背景差分の面積が広くなり、実際には乗客がひとりもいなく閑散なのに混雑と判定してしまう可能性がある。よって、特許文献1で開示されている技術では、監視エリア内の人数が0人の場合と1人あるいは2人以上の場合とを正確に判別できない。
また、特許文献1で開示されているもう1つの基準であるフレーム間の差分の面積が広いほど混雑度が高いという基準では、たとえば1人の乗客が転倒後に起き上がろうとしてもがいている状況では、乗客の動きによってフレーム間の差分の面積が広くなり、実際には乗客が1人しかおらず閑散なのに混雑していると誤判定してしまう可能性がある。また反対に、極度に混雑して多数の乗客が身動きできない状況では、乗客の動きが小さいためにフレーム間の差分の面積が狭くなり、実際にはたくさんの人物で混雑しているのに、閑散であると誤判定してしまう可能性がある。よって、特許文献1で開示されている技術を人数推定に適用しても、乗客が少数いる場合と多数いる場合とを区別できないので、監視エリア内の人数が0人あるいは1人の状況と2人以上の状況を正確に推定できない。
Therefore, if the technique of
In addition, in the standard disclosed in
以上のことから、特許文献1の技術では、監視エリア内の人数が0人であるのか、1人であるのか、2人以上であるのかを正確に判別することは困難である。
From the above, with the technology of
一方、前記非特許文献1及び2は、人物の移動、エスカレータの動きと区別した人物の認識技術等で優れているが、監視エリア内にいる人物を0人、1人、2人以上の区分で人数を推定する思想は無く、監視エリア内の人数に着目することで、人物がいないシーンでの発報を軽減すること等については配慮されていない。
On the other hand,
本発明は、このような従来の監視技術に鑑みて成されたもので、その主な目的とするところは、安全管理及びセキュリティの面から特に重要な人数である1人のみの状況を特定できるように人数を推定することで、監視エリア内を効果的に監視することのできる監視装置を提供することにある。 The present invention has been made in view of such conventional monitoring technology, and the main purpose thereof is to identify the situation of only one person, which is particularly important in terms of safety management and security. Thus, it is to provide a monitoring device that can effectively monitor the inside of a monitoring area by estimating the number of people.
本発明の他の目的は、前記人数が1人であることを精度よく推定するとともに、検知対象の人数を0人、1人、2人以上に区分して推定するに好適な装置等を提供することにあるが、それらの目的については以下述べる実施の態様で詳述する。 Another object of the present invention is to provide a device suitable for accurately estimating that the number of persons is one and estimating the number of objects to be detected as 0, 1, 2 or more. However, their purpose will be described in detail in the embodiments described below.
前記主な目的を達成するため、本発明の特徴とするところは、監視エリア付近の入力画像を取得する画像取得手段と、前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を0人、1人、2人以上の区分のうち1人か1人以外かを推定する人数推定手段と、前記監視エリア内の推定人数が1人のときの滞留を特定して外部に発報する滞留発報手段とを備えることである。これにより、監視エリア内の人数が0人又は2以上の場合と区別し、1人であることを特定して知らせることができるので、1人の滞留という特に重要な場面を特定して監視員等の注意を促すようにできる。 In order to achieve the main object, the present invention is characterized in that an image acquisition means for acquiring an input image near the monitoring area, and an input image from the image acquisition means are processed to detect in the monitoring area. Number of persons estimation means for estimating whether the number of subjects is 0, 1, or 2 or more, and a retention when the estimated number of persons in the monitoring area is 1 It is provided with the stay alerting | reporting means to alert | report outside. As a result, the number of people in the monitoring area can be distinguished from the case where the number of people is 0 or 2 or more, and it can be specified and notified. Etc. can be urged.
ここで、前記「監視エリア内の推定人数が1人のときの滞留を特定して外部に発報する」とは、滞留人数が1人のときを0人又は2以上の場合と区別して発報することであって、人数が1人以外の場合には発報しないようにしてもよいし、人数が1人以外の場合にも発報するが、信号の内容又は長さ等を変えたり、特定の信号を付加することで、0人又は2人以上の場合と1人の場合とを区別することも含む概念である。 Here, the above-mentioned “specify stay when the estimated number of people in the monitoring area is one and report to the outside” means that when the number of staying people is one, distinguish it from the case of zero or two or more. If the number of people is other than one, it may not be issued, and if the number of people is other than one, it will be reported, but the content or length of the signal may be changed. It is a concept that includes the case where one person or two or more persons and one person are distinguished by adding a specific signal.
本発明の他の特徴は、前記検知対象の人数が1人であることを精度よく推定するための構成、更には、検知対象の人数を0人、1人、2人以上に区分して推定するに好適な構成及びその応用例等の構成であるが、それらの特徴については以下述べる実施の態様で詳述する。 Another feature of the present invention is a configuration for accurately estimating that the number of detection targets is one, and further estimates the number of detection targets by dividing them into 0, 1, 2 or more. However, the features of the preferred embodiment and its application examples will be described in detail in the embodiments described below.
本発明によれば、監視エリア内の人数が1人であることを特定して注意を促すことができるので、安全管理及びセキュリティの面からも監視エリア内を効果的に監視することができる。 According to the present invention, it is possible to specify that the number of people in the monitoring area is one and call attention. Therefore, it is possible to effectively monitor the inside of the monitoring area from the viewpoint of safety management and security.
以下、本発明にかかる監視装置の具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、監視対象としてエスカレータに適用した場合を例に挙げて説明するが、本発明の監視装置はこれに限らず、エレベータ、建屋の内外等、人物が移動及び滞留する任意の場所に適用可能である。 Hereinafter, specific embodiments of a monitoring apparatus according to the present invention will be described with reference to the drawings. In the present embodiment, the case where the present invention is applied to an escalator as an object to be monitored will be described as an example. However, the monitoring device of the present invention is not limited to this, and any arbitrary moving or staying person such as an elevator or the inside or outside of a building. Applicable to location.
本発明の実施例1に係る監視装置の機能ブロック図を図1に示し、エスカレータの監視装置として適用した場合の装置構成例を図2に示す。本実施例1では、エスカレータのデッキを監視エリアとし、エスカレータの運行によって移動するステップやハンドレール付近における人物の滞留が、ステップやハンドレールに巻き込まれるような事故につながる恐れのある挙動として検知の対象としている。
FIG. 1 shows a functional block diagram of a monitoring apparatus according to
図2において、101はエスカレータで、110はエスカレータの下部の乗り場のデッキ、103はデッキ110の後方からデッキ110の周囲を視野内にとらえたカメラ、104は画像処理装置、105はエスカレータ101の制御装置、106はエスカレータ101の乗客に向けてスピーカによる音声やライトの発光等により警報する警報装置、107は監視員に向けて画面出力や音声出力を行うモニタ、108はカメラ103の画像あるいは画像処理装置104の映像を遠隔に伝送する伝送装置、109はカメラ103の入力画像あるいは画像処理装置104の出力画像を連続的に記録する録画装置である。カメラ103は可視光の撮像装置に限らず、近赤外の撮像装置のように、デッキ110およびデッキ110付近の2次元的な像を取得する装置を適用することができる。
In FIG. 2, 101 is an escalator, 110 is a deck at a lower landing of the escalator, 103 is a camera that captures the area around the
画像処理装置104の具体的機能ブロックを図1に示す。図1において、画像取得部1からの取得画像は、背景作成部2、長期変化抽出部3、短期変化抽出部4、短期変化蓄積部5、軌跡抽出部6、人数推定部7、滞留発報部8から構成される画像処理装置104により処理され、警報部9(図2では警報装置106に対応)及び制御部10(図2では制御装置105に対応)へ出力する。
Specific functional blocks of the
尚、画像処理装置104は匡体に納められた所定の計算機によって実現されるほか、カメラ103および制御装置105、警報装置106、モニタ107、伝送装置108、録画装置109の各機能との接続が可能であれば、機能の全てあるいは機能の一部を制御装置105、警報装置106、モニタ107、伝送装置108、録画装置109内の信号処理装置と共用してもよい。
The
また図1において、検知対象情報記憶部11及び地点情報記憶部12は、画像処理装置104に設けられた記憶部であって、画像取得部1、背景作成部2、長期変化抽出部3、短期変化抽出部4、短期変化蓄積部5、軌跡抽出部6、人数推定部7、滞留発報部8等の各機能ブロックの信号処理に必要なデータが格納されている。検知対象情報記憶部11は検知対象の空間中における高さや幅といった大きさや、移動速度の情報を保持している。地点情報記憶部12はカメラ103の入力画像上における領域の情報(例えば、入力画像上のどの領域がデッキに対応し、どの領域がステップに対応し、どの領域を検知エリアとするかなどの情報)や、カメラ103の地点毎に合わせた画像処理に必要なしきい値や、カメラ103の入力画像上における検知対象の画像上における高さや幅や移動速度の情報を保持している。
In FIG. 1, a detection target
図1において、画像取得部1は、カメラ103から各フレームの入力画像を連続的に取得するように構成しているが、カメラ103の画像を記録したものを再生しても同等の機能を達成できる。また、画像取得部1からの取得画像は、背景作成部2、長期変化抽出部3、短期変化抽出部4、及び短期変化蓄積部5で処理及び記憶されるが、これらの部分が監視エリア内における検知対象の滞留を検知する手段を構成している。
In FIG. 1, the
以下、図1における各機能ブロックの処理内容について順次説明する。 Hereinafter, the processing content of each functional block in FIG. 1 will be sequentially described.
短期変化抽出部4は、短期の変化として、2時刻[T−ΔT、T]の入力画像の差分から、画像上で短期に変化した部分を抽出する。図4(a)および(b)は短期変化抽出部4の時刻T−ΔTおよび時刻Tの入力画像の例を示し、111はハンドレール、112はステップ、113は人物、矢印117は人物113の移動方向である。図4(a)から図4(b)の間に、人物113は、ステップ112に向けて歩行した分、入力画像内を下から上に少し移動している。短期変化抽出部4は、2時刻の画像から所定のしきい値以上に明度が変化した差分(短期の変化)を画素単位で抽出する。また、短期変化抽出部4は、前記短期の変化から、差分の連結領域を抽出する。
The short-term change extraction unit 4 extracts, as a short-term change, a portion that has changed in a short period on the image from the difference between the input images at two times [T−ΔT, T]. 4A and 4B show examples of input images at time T-ΔT and time T of the short-term change extraction unit 4. 111 is a handrail, 112 is a step, 113 is a person, and an
図4(c)は、短期変化抽出部4の抽出結果の例として、図4(a)と図4(b)から差分を抽出した結果の一例を示しており、132はステップ112の移動による差分の連結領域であり、133は人物113の移動による差分の連結領域である。この連結領域133は、2時刻[T−ΔT,T]の間の人物113の画面上の移動の輪郭に相当する。図4(c)の例では人物113が入力画像において画面の下から上に移動するために、連結領域133は縦方向に移動量に相当した厚みを持っている。短期変化抽出部4は、図4(c)の例のように、短期の変化から、連結領域133を抽出し、連結領域133から、連結領域133の外接矩形135、外接矩形135の代表辺136、代表辺136の代表点137を抽出する。
FIG. 4C shows an example of the result of extracting the difference from FIG. 4A and FIG. 4B as an example of the extraction result of the short-term change extraction unit 4. A
図4(c)において、連結領域133が人物113の全体を捉えている場合、図2に示すようにデッキ110を斜め後ろから捉えるカメラ103の画角では、外接矩形135の底辺がデッキ110上にあるので、代表辺136は外接矩形135の底辺とする。この代表辺136の幅は人物113の幅に相当する。代表点137は代表辺136の中点であり、人物113の足元の左右の中心に相当する。
In FIG. 4C, when the
なお、人物113の形状が縦長であるために、画面上を下から上に移動するときには2時刻[T−ΔT、T]の間における人物113の横方向の移動が小さいために、2時刻[T−ΔT、T]の入力画像の間で差分をとったときに、図4(d)のように人物113の側面で差分の連結領域が133a、133bのように、人物113の上部と下部に分断される場合がある。
Since the shape of the
図4(d)のように人物113の差分の連結領域が分断された場合にも、個別の連結領域133a、133bから、外接矩形135a、135b、代表辺136a、136b、代表点137a、137bを抽出しておけば、少なくとも一方からは人物113の足元の座標を抽出できる。
As shown in FIG. 4D, even when the connected region of the difference of the
なお、人物113が画面上を横方向に移動する場合には、連結領域133は左右に分断される可能性があるが、その場合も同様に分断されたそれぞれの連結領域に対して外接矩形、代表辺、代表点を求める。
In addition, when the
また、連結領域133には、デッキ110上で反射した天井の照明の揺らぎのような微小なノイズが混じることがあるので、短期変化抽出部4は、外接矩形135の縦方法あるいは横方向の長さが、カメラ103の入力画像上における人物のサイズを見積もったしきい値未満のものである場合は、その外接矩形135を、ノイズとして棄却する。
In addition, since the
以上の説明では、短期変化抽出部4が、短期の変化として、連結領域133を2時刻の入力画像上の同一画素の明度から差分を抽出する方法について述べたが、あくまでこれは一例であり、2時刻の入力画像それぞれからRGBやHSIのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域133を抽出してもよい。
In the above description, the short-term change extraction unit 4 described the method of extracting the difference from the brightness of the same pixel on the input image at two times as the short-term change, but this is only an example, It is also possible to extract feature amounts such as RGB and HSI colors and edge feature amounts from the input images at two times, and extract the
また、連結領域133を抽出する方法としては、2時刻の同一画素の明度あるいは特徴量の変化を用いる方法以外にも、移動ベクトルにより入力画像上の動きある部分を抽出する方法で、連結領域133を抽出してもよい。また、短期変化抽出部4は、2時刻の入力画像を使う方法以外にも、非特許文献1に記載されたMotion History Imageのような2時刻以上の複数の時刻の入力画像上から動きを抽出する手法で連結領域133を抽出してもよい。
Further, as a method of extracting the
短期変化抽出部4は、以上述べた機能を所定の処理周期で繰り返す。そして、短期変化蓄積部5は、短期変化抽出部4が処理周期ごとに抽出した代表点137を時系列で蓄積する。
The short-term change extraction unit 4 repeats the functions described above at a predetermined processing cycle. The short-term
次に、背景作成部2は、異常挙動時の人物113の滞留の継続時間よりも十分にゆっくりとした周期で背景画像を更新することで、人物113が存在しない背景画像を生成する。この背景作成部2の背景画像の作成の方法には、たとえば短期変化抽出部4の変化が小さなフレームの画像を収集し、現時刻から所定時間内の収集画像から各画素のメジアンをとる方法が考えられるが、この例に限らない。
Next, the
長期変化抽出部3は、長期の変化として、各フレームの入力画像と背景画像との間で変化している部分を抽出するために、入力画像と背景画像との間の差分である背景差分を求める。また、長期変化抽出部3は、求めた背景差分から、デッキ110上の背景差分の連結領域を求める。
The long-term
図3は長期変化抽出部3を説明する図であり、図3(a)は背景作成部2が保持する背景画像の例を示し、111はハンドレール、112はステップを示している。図3(b)は入力画像の例であり、113は人物であってステップ112に乗り損ねて倒れている。人物113はステップ112の近くで転倒しているために、移動するステップ112に靴やズボンのすそが巻き込まれる可能性があって危険である。図3(c)は図3(a)と図3(b)の間で同一画素において明度変化が所定のしきい値以上生じた部分であり、入力画像内における長期の差分(背景差分)を示している。図3(c)において、120はデッキ110に対応した検知エリア、122はステップ112が背景画像と入力画像との間で移動した差分の連結領域であり、123は倒れた人物の差分の連結領域を示している。
FIG. 3 is a diagram for explaining the long-term
長期変化抽出部3は、前記長期の変化から、検知エリア120内の入力画像と背景画像との差分である背景差分の連結領域を求めて、連結領域のうち面積が検知対象情報記憶部11の保持する人物のサイズを想定したしきい値以上のものを有効な連結領域として選定し、有効な連結領域から外接矩形を求める。入力画像が図3(a)の場合、連結領域123を有効とし、連結領域123の外接矩形125を求める。また、長期変化抽出部3は、外接矩形125の場所を示す情報として、中心座標と縦横の長さを保持しておく。また、長期変化抽出部3は、連結領域123のように有効な連結領域を複数抽出した時は、外接矩形125のような外接矩形を複数抽出する。
The long-term
さらに、長期変化抽出部3は、以上述べた方法で抽出した外接矩形125が一つ以上抽出された時刻を保持しておく。また、一つ以上の外接矩形125の検出が同じ場所で継続する場合、滞留であると判断し、その滞留が発生している時期を示す情報を、滞留の時期の情報として保持しておく。尚、ここで滞留の時期の情報は、例えば、滞留の開始時刻と終了時刻、あるいは、滞留の開始時刻と継続時間の長さなど、滞留の発生している時刻と長さを特定できる情報を含む。また、長期変化抽出部3は、滞留が発生している場所の情報についても保持しておく。
Furthermore, the long-term
なお、図3において、ステップの移動による差分122は、検知エリア120外なので外接矩形125の抽出に影響を与えない。よって、長期変化抽出部3が差分を計算する範囲を検知エリア120内に限定してもよい。
In FIG. 3, the
以上の説明では、長期変化抽出部3が、長期の変化として連結領域123を背景画像と入力画像の同一画素の明度の変化から抽出すると述べたが、あくまでこれは一例であり、背景画像と入力画像それぞれからRGBやHSIのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域123を抽出してもよい。また、背景画像としては、一枚の画像を用いる方法以外に、各画素の明度を確率分布のパラメータで記述したものを背景画像とし、背景差分を演算する際には、この各画素の明度を確率分布のパラメータで記述した背景画像と入力画像との差分を演算するような方法をとってもよい。
In the above description, it has been described that the long-term
次に、人数推定部7は、図5に示す処理フローによって検知エリア120上の人数を0人、1人、2人以上の区分で推定する。以下、図5の処理ステップS1〜S7、及び図6に示す人数推定時の時間関係を補足する図を適宜引用して、その処理内容を説明する。尚、図6(a)(b)(c)は、それぞれ、検知エリア内に0人、1人、2人以上がいる場合に対応する。
Next, the number estimating unit 7 estimates the number of people on the
S1では、人数推定部7は、長期変化抽出部3での背景差分の抽出結果または滞留の抽出結果に基づき、滞留の最低継続時間である時間τ以上に滞留が継続しているか否かを判定する。滞留が時間τ以上に継続していなければ(S1でno)、検知エリア120上に人物113の滞留はないとみなして0人と推定する(S5)。
In S <b> 1, the number estimating unit 7 determines whether or not the dwelling has continued for a time τ that is the minimum dwelling time or longer based on the background difference extraction result or the dwelling extraction result in the long-term
S1において、滞留が時間τ以上に継続している場合には、処理ステップS2に進む。このときの時間関係は図6(a)(b)(c)の何れかのようになっており、滞留の開始時刻を時刻T2、時刻T2から時間τだけ後を時刻T3とすると、時刻T2から時刻T3の間に滞留の継続期間201が存在する。 In S1, if the staying continues for time τ or more, the process proceeds to processing step S2. The time relationship at this time is as shown in any one of FIGS. 6A, 6B, and 6C. When the retention start time is time T2, and the time T3 after time T2 is time T3, time T2 From the time T3 to the time T3.
S2では、人数推定部7は、時刻T2の直前に、S1の滞留箇所に向けて検知エリア120の外(検知エリア120の端)から移動する移動軌跡があるか否かを判定する。 In S2, the number estimating unit 7 determines whether or not there is a movement locus that moves from the outside of the detection area 120 (the end of the detection area 120) toward the staying location in S1 immediately before time T2.
尚、S2における判定に用いられる移動軌跡の抽出は、軌跡抽出部6で行われる。検知エリア120の長さと、人物113の最低の移動速度から見積もった、人物113が検知エリア120を通過するのに最も長く要する最長通過時間を時間πとしたとき、時刻T2から時間πだけ遡った時刻T1と時刻T2との間において、軌跡抽出部6が前記移動軌跡を探索する。
Note that the extraction of the movement locus used for the determination in S2 is performed by the locus extraction unit 6. Estimated from the length of the
軌跡抽出部6による移動軌跡の抽出を、人物113がデッキ110上において図3(b)のように倒れた状態で時刻T2から時刻T3まで滞留した場面を例に挙げて説明する。図3(a)が背景画像であり図3(b)が入力画像であるときに、長期変化抽出部3は、長期の変化(背景差分)から、人物113の連結領域123、連結領域123の外接矩形125を抽出している。図7(a)と図7(b)は、時刻T2と時刻T1との間の時刻Taから、時刻T2のまでの間に、人物113がデッキ110の外から矢印117の方向にステップ112の付近まで歩行した状況を示している。
The movement trajectory extraction by the trajectory extraction unit 6 will be described by taking as an example a scene in which the
図7(a)から図7(b)の間、短期変化抽出部4は、動作周期ごとに短期の変化を抽出し、短期変化蓄積部5は、動作周期ごとの短期変化抽出部4の出力(代表点137)の時系列を蓄積している。軌跡抽出部6は、時刻T2から遡って短期変化蓄積部5に蓄積された代表点137の時系列から対応点を探索することで移動軌跡を抽出する。対応点の探索の方法には、隣接する2時刻の代表点137の最近傍点を探索し、最近傍の2つの代表点137の画像上の座標のずれが許容誤差の範囲内に収まる対応点同士を連結する方法が考えられるが、これに限らない。図7(c)は、軌跡抽出部6が、図7(a)から図7(b)の間の代表点137の移動軌跡153を抽出した例を示している。
7A to 7B, the short-term change extraction unit 4 extracts short-term changes for each operation cycle, and the short-term
なお、以上の説明では軌跡抽出部6が代表点137の時系列から移動軌跡153を抽出する方法を述べたが、軌跡抽出部6は代表点137以外のデータから移動軌跡153を求めてもよい。一例としては、非特許文献1では、連結領域133のような2時刻[T−ΔT、T]の人物113の変化(例えば、フレーム間差分)を累積させて、所定の時間の間に物体が移動した領域を特定する方法が記されてあり、これを利用して移動軌跡153を求めることも可能であり、前記実施例に限られるものではない。この場合、短期変化蓄積部5は、代表点137の時系列を蓄積することに代えて、短期の変化(例えばフレーム間差分)の時系列を蓄積するようにしてもよい。
In the above description, the method in which the locus extraction unit 6 extracts the
例えば、図7に示すように、時刻T1より後の時刻Taから時刻T2の期間に人物113がデッキ110の外からステップ112の付近まで歩行し、時刻T2から時刻T3の期間に、図3に示すように人物113がステップ112の付近で滞留した場面では、図6(b)に示す時間関係となり、時刻T1から時刻T2の期間に図3および図7に示すように検知エリア120の外から外接矩形125まで移動軌跡153が伸びているために、S2の判定はyesとなる。尚、図6(b)では、時刻Taから時刻T2の間に、検知エリア120の外から滞留の箇所まで伸びる移動軌跡153の発生期間202が存在している。
For example, as shown in FIG. 7, in the period from time Ta to time T2 after time T1, the
一方、図8(a)(b)のように時刻T2から時刻T3の間に、ハンドレール111から影115がデッキ110上に伸びることが継続した場面では、時刻T2から時刻T1まで遡っても、軌跡抽出部6はエスカレータ101付近の照明条件の動揺による影115の動揺によって図8(c)に示すわずかな移動軌跡155を抽出するか、あるいはまったく移動軌跡を抽出しない。よって、S2の判定はnoとなり、人数推定部7はデッキ110内に滞留する人数を0人と推定する(S5)。この場合は、図6(a)に示す時間関係となる。
On the other hand, as shown in FIGS. 8A and 8B, in a scene where the
人数推定部7はS2の判定がyesであれば、少なくとも1人以上の人物113が時刻T1から時刻T2の間にデッキ120内に進入し、時刻T2から時刻T3の間に滞留したものと考え、S3に進む。
If the determination in S2 is yes, the number-of-people estimation unit 7 considers that at least one
次に、S3では、人数推定部7は、時刻T1から時刻T2の間に、検知エリア120の外からいずれかの外接矩形125に伸びる移動軌跡153が2つ以上あるか否かを判定する。2つ以上あれば、時刻T1から時刻T2の間に2人以上の人物が進入して時刻T2から時刻T3の間に滞留したとみなして、人数推定部7はデッキ110内に滞留する人数を2人以上と推定する(S7)。S3の判定がnoの場合、S4に進む。
Next, in S3, the number estimating unit 7 determines whether there are two or
次に、S4では、人数推定部7は、時刻T2から時刻T3の間に移動軌跡(2人目の人物)が検知エリア120の外から検知エリア120に進入したか否かを判定する。図9(a)(b)は、時刻T2から時刻T3の間に2人目の人物114がデッキ110の外からデッキ110の中に進入した例を示している。S4において、軌跡抽出部6は、S2と同様に時刻T2から時刻T3の間の代表点137の時系列から移動軌跡を探索し、図9(c)のように検知エリア120の外から検知エリア120に進入する2人目の人物114の移動軌跡154が一つでも見つかればS4の判定はyesとなり、時刻T1から時刻T2の間に進入した人物113に加えて、時刻T2から時刻T3の期間に2人目の人物114あるいはそれ以上多くの人物が進入したとみなして、人数推定部7は人数を2人以上と推定する(S7)。この場合の時間関係は、例えば図6(c)のようになる。図6(c)において、203は人物113の移動軌跡153の発生期間で、204は人物114の移動軌跡154の発生期間に相当する。
Next, in S <b> 4, the number estimating unit 7 determines whether or not the movement locus (second person) has entered the
反対に、S4の判定がnoの場合、時刻T2から時刻T3の間に新たな人物114の進入はないと考えて、人数推定部7はデッキ110内に滞留する人数を1人と推定する(S6)。
On the contrary, when the determination of S4 is no, it is considered that no
尚、図6(c)では、検知エリア120内に2人以上の場合の一例を示しているが、これに限られず、他のパターンも存在する。例えば、S3で説明したように、時刻T1から時刻T2の間に2人以上の人物が進入して時刻T2から時刻T3の間に滞留した場合は、図6(c)における移動軌跡の発生期間203、204のうち、203のみが存在(但し2人分の移動軌跡が存在)することもありうる。この場合でも、S3により2人以上と判定することが可能である。
FIG. 6C shows an example in the case of two or more persons in the
次に、エスカレータ101が非常に混み合っている場合について図5ではどのような判定が行われるかを説明する。図10(a)(b)は、エスカレータ101が非常に混み合っていて、時刻T2から時刻T3の間に、人物の密集143が、デッキ110上を進んだり立ち止まったりを繰り返しながら、矢印117の方向に脈動的にゆっくりとステップ112に向かって進んでいる場面の例を示している。図10(a)(b)のような場面では、人物の密集143は、デッキ110上の広い範囲に居続けるので、図10(c)のように長期変化抽出部3において長期の変化から抽出された連結領域173の検知エリア120内における外接矩形175は、検知エリア120の広い範囲にまたがり、図5のS1の判定はyesとなる。
Next, what kind of determination is performed in the case where the
次にS2について述べると、まず人物の密集143は時刻T1から時刻T2の間も図10(a)(b)と同様にデッキ110上を脈動的に進み続けるので、時刻T1から時刻T2の間に短期変化抽出部4は図示しない連結領域133および代表点137を抽出している。そのような時、人物の密集143から抽出した移動軌跡は、多くの場合、人物の密集143中の人物が移動と停止を繰り返すことによって連結領域133が断続的に表れることによって、図10(d)の移動軌跡163a、163b、163cように短く断片的になる。また、人物の密集143の中の人物が同時に動いた場合には、連結領域133が検知エリア120付近で一塊りになって代表点137が抽出できないことが生じる。S2では、検知エリア120の境界付近の人物の動きの状態によって、移動軌跡163aのように検知エリア120の外から検知エリア120に進入する移動軌跡をとらえることができれば、外接矩形175が検知エリア120の広い範囲に広がっていることより、移動軌跡163aは外接矩形175まで伸びて判定はyesとなりS3に進む。反対に、検知エリア120の境界付近の人物の動きの状態によって、S2において移動軌跡が163bや163cのように検知エリアの中央付近にしかない場合や移動軌跡が全くない場合には、S2の判定はnoになり、人数推定部7は0人と推定する(S5)。
Next, S2 will be described. First, since the crowd of
S2の判定がyesの場合、次にS3では、移動軌跡163aのような検知エリア120の外から伸びる移動軌跡が時刻T1から時刻T2の間に2つ以上存在すれば、判定はyesとなり人数推定部7は2人以上と推定する(S7)。S3の判定がnoの場合、次にS4では、移動軌跡163aのような検知エリア120の外から伸びる移動軌跡が時刻T2から時刻T3の間に少なくとも1つ存在すれば、判定はyesとなり人数推定部7は2人以上と推定する(S7)。ここで、滞留の最低継続時間である時間τを十分に長くとれば、移動軌跡163aのように検知エリア120の外から伸びるものを確実に抽出して、S4の判定がnoになることの抑止が可能である。
If the determination in S2 is yes, then in S3, if there are two or more movement trajectories extending from outside the
以上述べたように人数推定部7は、人物の密集143に対して、S2で0人と誤って判定することはあっても、S4で発報の対象となる1人と判定することはない。なお、人物の密集143に対して、人数推定部7がS2で0人と誤って判定してしまうことは、最長通過時間である時間πを滞留の最低継続時間である時間τと同程度に長くとれば抑止することが可能である。
As described above, the number of persons estimation unit 7 may not erroneously determine that there are 0 people in S2 with respect to the
前記の滞留の最低継続時間である時間τはあらかじめ見積もっておく。例えば、S1において人物113が立ち止まって時計を見るなどの正常挙動ではなく倒れているなどの異常挙動をして滞留していると判断できる時間を時間τ1とし、S3で人物の密集143から移動軌跡163aが確実に抽出されるのに十分な長さの時間を時間τ2としたとき、時間τ1と時間τ2の最大値max(τ1,τ2)をもって時間τとする。時間τは地点情報記憶部12に値を記憶しておく。最長通過時間である時間πは、デッキ110の空間での長さを人物113の空間での最低の移動速度で除算するか、検知エリア120の画像での長さを人物113の画像での最低の移動速度で除算することで計算できる。
The time τ that is the minimum duration of the stay is estimated in advance. For example, a time during which it can be determined that the
軌跡抽出部6を補足すると、図4(d)のように人物113の差分の連結領域が133aや133bのように2つ以上に分断された場合でも、軌跡抽出部6は連結領域133aや133bの代表点137aや137bの時系列のデータから最近傍点を連結させることで、図4(c)のように人物113の連結領域が分断されない場合と同様に移動軌跡153を抽出できる。このとき、複数の代表点137aや137bの時系列から移動軌跡153が2つ以上抽出される可能性があるが、両者の距離が人物の大きさを考慮した許容誤差以内である移動軌跡153を1つに統合することで1人の人物113から1本の移動軌跡を抽出することが可能となる。
Supplementing the trajectory extraction unit 6, even when the connected region of the difference of the
次に、滞留発報部8は、人数推定部7が検知エリア120に1人の人物113が滞留していると判定した時に限定して、即ち、0人でも2人以上でもなく、1人のときの滞留であることを特定して警報部9と制御部10の少なくとも一方に発報を出力する。
Next, the staying notification unit 8 is limited to the case where the number estimating unit 7 determines that one
警報部9は、滞留発報部8から発報を受け取ると、警報装置106のライトを明滅させることやスピーカの音声出力などによって、滞留する人物への注意喚起や、エスカレータ101の周囲の人物への救助の要請を行う。更に、警報部9は、滞留発報部8から発報を受け取ると、カメラ103の入力画像をモニタ107へ画面表示させ、あるいは伝送装置108から外部装置への送信を行わせ、あるいは録画装置109を制御して記録を行うよう制御する。
When the
ここで警報部9は、滞留の発生に監視員の注意が引き付けられるように、所定周期でカメラ103の入力画像を明滅させるような、画面効果を加えてもよい。また警報部9は、モニタ107へ画面表示する入力画像の上に外接矩形125や移動軌跡153を描画して表示させるようにしてもよい。監視員は移動軌跡153を見ることで、人物113がデッキ110のどこから進入したか、また人物113がデッキ110上をどう移動したかを容易に把握できる。
Here, the
警報部9は、画面描画を行う場合、描画画像あるいは描画画像とカメラ103の入力画像をモニタ107あるいは伝送装置108あるいは録画装置109に出力する。なお、図2の装置構成において、警報部9は、警報装置106、モニタ107、伝送装置108、録画装置109のうち、少なくとも1つ以上の装置があれば、機能を実現することができる。
When drawing the screen, the
最後に、制御部10は、警報発報部8から発報を受け取ると、エスカレータ101の運行速度を低下させたり、エスカレータ101を緩停止させることで、滞留した人物の事故を防止したり、事故発生時の被害を軽減する。
Finally, when the
以上述べた機能構成によって、本実施例1では、デッキ110上の滞留を検知するとともに、デッキ110上の人数を0人、1人、2人以上の区分で推定し、デッキ110上の人数が1人の場合の滞留時のみ発報すること、あるいはデッキ110上の人数が1人の場合の滞留に高い重要度を付与して発報することが可能である。なお、本実施例1は、人数推定部7が図5の処理フロー以外の方法により0人、1人、2人以上の区分で人数を推定した場合にも、同様の効果を発揮する。
With the functional configuration described above, in the first embodiment, while staying on the
実施例1では、人数推定部7の図5の処理フローにおいて、S3とS4を省いた場合、S1とS2の判定結果から、0人(S5)と、1人(S6)あるいは2人以上(S7)の2区分で人数を推定することができる。前記の0人と1人あるいは2人以上の区分には、滞留が継続した時に(S1でyes)、滞留が図8に示すような影115のような人物113以外によるものか(S5)、人物113によるものか(S6あるいはS7)を判別することが可能になる。前記の0人と1人あるいは2人以上の2区分の人数推定には、滞留に対して発報する監視装置において、影115のような人物113以外の滞留に対して滞留発報部8が発報することを抑止する効果がある。なお、人数推定部7が図5のフロー以外の方法により、前記の0人と1人あるいは2人以上の2区分の人数推定をした場合にも、同様の効果を発揮する。
In the first embodiment, when S3 and S4 are omitted in the processing flow of FIG. 5 of the number estimating unit 7, 0 (S5), 1 (S6), or 2 or more (from the determination result of S1 and S2) The number of people can be estimated in two categories of S7). In the above-mentioned classification of 0 person and 1 person or more than 2 persons, when staying is continued (yes in S1), whether staying is due to other than the
また、実施例1では、人数推定部7の図5の処理フローにおいて滞留が継続した時に(S1でyes)、S2を省いてS1がyesのときにS3に移るようにした場合、S3がyesになった場合およびS3がnoでS4がyesの場合とそれ以外の場合とで、0人(S5)あるいは1人(S6)と、2人以上(S7)の2区分で人数を推定することができる。前記の0人あるいは1人と2人以上の2区分の人数推定には、滞留が継続した時に(S1でyes)、滞留が図10に示すような人物の密集143によるものか(S7)、そうでないのか(S5あるいはS6)を判別することが可能になる。前記の0人あるいは1人と2人以上の区分には、異常挙動による滞留に対して発報する監視装置において、人物の密集143のようなエスカレータ101の利用者が多く特に異常事象でない状況において、滞留発報部8が発報することを抑止する効果がある。なお、人数推定部7が図5の処理フロー以外の方法により前記の0人あるいは1人と2人以上の2区分の人数推定をした場合にも、同様の効果を発揮する。
Further, in the first embodiment, when staying is continued in the processing flow of FIG. 5 of the number estimating unit 7 (yes in S1), when S2 is omitted and the process proceeds to S3 when S1 is yes, S3 is yes. The number of people is estimated in two categories: 0 (S5) or 1 (S6), and 2 or more (S7), when S3 is no, S4 is yes, and other cases Can do. In the estimation of the number of people in two categories of 0 or 1 and 2 or more, whether the stay is due to a crowd of
実施例1において、人数推定部7は、滞留が発生した時に、前記監視エリアの外から滞留箇所までの移動軌跡153あるいは、前記移動軌跡153と長期の変化の位置あるいは外接矩形125の位置情報から、滞留している検知対象(人物113)の挙動の種別を判別する、図示しない挙動判別部を備える。滞留発報部8は、挙動判別部で判別した結果に応じて、例えば警報部9の画面出力に描画するなどの制御を行ってもよい。図11(a)は、移動軌跡153がステップ112付近まで伸びていて、外接矩形153がステップ112付近からデッキ110の手前にあることより、人物113がステップ112の付近で倒れの挙動をしていると滞留発報部8が判定した場面において、画面出力301上にステップ近くで倒れの文字列311aを出力した例を示している。また、図11(b)は、移動軌跡153がハンドレール11付近まで伸びていて、外接矩形125がハンドレール111にかかっていることより、人物113がハンドレール111にいたずらの挙動をしていると滞留発報部8が判定した場面において、画面出力301上にハンドレールいたずらの文字列311bを出力した例を示している。また、312は周囲に人がいなく危険であることを監視員に喚起する注意文の例である。312の文字列の文面(一人で危険)はあくまで例であり、他のものでもよい。なお、図11(a)および(b)において、文字列311aおよび文字列311b以外の構成要素、外接矩形125、移動軌跡153、文字列312は必須でないので省いてもよい。
In the first embodiment, when the stagnation occurs, the person estimation unit 7 determines whether the
更に、実施例1において、滞留発報部8は発報に重要度を付加して、人数推定部7が1人と推定した場合に高い重要度を付加し、人数推定部7が2人以上と推定した場合に低い重要度を付加して発報するようにしてもよい。滞留発報部8が発報に重要度を付加する場合、警報部9は警報装置106に対して、重要度の高いあるいは低いに応じたスピーカの音声出力やライトの明滅パターンを指示するか、あるいは低い重要度のときにはスピーカの音声出力やライトの明滅パターンを出力しないようにする。また、滞留発報部8が発報に重要度を付加する場合、警報部9は警報装置106に対して、制御装置105に重要度の高いあるいは低いに応じた運行の制御をおこなうか、重要度が高い場合にのみエスカレータ101の運行を制御するようにする。
Further, in the first embodiment, the staying alerting unit 8 adds importance to the alerting, and adds a high importance when the number of people estimating unit 7
また、滞留発報部8が発報に重要度を付加する場合、警報部9は画面出力301上の文字列312の内容を重要度に応じて切り替えるあるいは重要度が高い場合のみ描画するようにしてよい。
When the staying alerting unit 8 adds importance to the alerting, the
また、実施例1において、短期変化抽出部4は、連結領域133の代表辺136が検知エリア120内に収まる場合と収まらない場合とで、連結領域133を抽出した人物113がデッキ110の内側にいるのか外側にいるのか判定してもよい。例として、図12(a)に、長い影がついた人物113pが、矢印117pの方向にデッキ110の横を通り過ぎる場面、図12(b)に、図12(a)の場面において短期変化抽出部4が抽出した連結領域133p、133pの外接矩形135p、135pの代表辺136p、136pの中心の代表点137pを、それぞれ示す。また、図12(c)に、人物113qが、矢印117qの方向にデッキ110の手前を通り過ぎる場面、図12(d)に、図12(c)の場面において短期変化抽出部4が抽出した連結領域133q、133qの外接矩形135q、135qの代表辺136q、136qの中心の代表点137qを、それぞれ示す。代表辺136pおよび代表辺136qは、人物113pおよび人物113qがデッキ110の外にいるために、どちらも検知エリア120から大きくはみ出している。一方で、図4(c)のように人物113がデッキ110上にいるときは、代表辺136はデッキ110上に収まっている。よって、短期変化抽出部4は、代表辺136が検知エリア120内に収まる場合と収まらない場合とで、連結領域133を抽出した人物113がデッキ110の内側にいるのか外側にいるのかの判定が可能である。
In the first embodiment, the short-term change extraction unit 4 determines whether the
実施例1において、この代表点137pおよび137qは、軌跡抽出部6においてデッキ外に存在する人物から抽出した代表点137を短期変化蓄積部5に蓄積してしまうと、軌跡抽出部6はデッキ110外の人物113から誤った移動軌跡153を抽出してしまう。よって、短期変化抽出部4は代表辺136が検知エリア120からはみ出ている場合に代表点137を棄却すれば、デッキ110外の人物113の代表点137が短期変化蓄積部5に蓄積されることを防止できる。尚、短期変化蓄積部5が短期の変化そのものを蓄積する場合には、短期変化抽出部4は、デッキ110外(検知エリア120外)に存在する人物に対応する短期の変化を棄却し、短期変化蓄積部5に蓄積されるのを防止する。
In the first embodiment, when the
実施例1において、カメラ103はデッキ110の付近を視野内に捉えることができれば、図2における103bのようにデッキ110の真上付近から捉える設置条件あるいは、103cのようにデッキ110の斜め前からからデッキ110の付近を捉える設置条件を適用してもよい。
In the first embodiment, if the
また、カメラ103bのようにデッキ110の真上付近から捉える設置条件では、人物113の側面がほとんど入力画像上にみえなくなるので、人物113の縦方向の長さがカメラ103の入力画像と大きく異なる。よって、監視装置を複数地点においてカメラ103、103b、103cのように異なる画角で適用する場合、入力画像上の人物113の画像上の大きさや移動速度、検知エリア120の大きさが地点毎に変わるので、地点情報記憶部12はあらかじめ画角毎の情報を記憶しておき、カメラ103を設置する画角に合わせて情報を切り替えるようにしてもよい。あるいは、モニタ107にユーザインタフェースを設けて監視員からカメラ103の画角に関する情報を受け取り、監視員から受け取った画角に関する情報に応じて地点情報記憶部12内の情報を切り替えるか微調整するようにしてもよい。
In addition, under the installation conditions that are captured from directly above the
実施例1において、非特許文献2に示された時空間特徴による背景モデルでステップ112のような可動部の動きをあらかじめ学習しておき、図4(c)に示すような短期変化抽出部4における連結領域132、および図3(c)に示すような長期変化抽出部3による連結領域122を、ステップ112による定常的な変化として判断し、不要な情報として捨てることで、差分として抽出することを抑止することができる。前記時空間勾配による動的な背景モデルを短期変化抽出部4に適用した場合、人物113がステップ112を逆流した場合にも移動軌跡153を抽出し、エスカレータ112が下りで人物113がステップ112からデッキ110に進入したときに移動軌跡153を抽出することができる。
In the first embodiment, the movement of the movable part as in
また、長期変化抽出部3において、連結領域123がデッキ110からはみでた部分を含んだ外接矩形125を抽出できる。前記デッキ110からはみでた部分を含んだ外接矩形125を抽出できれば、図11(b)のように人物113がデッキ110からはみ出たときにも、外接矩形125を人物113の全身をカバーするように抽出して、警報部9の描画を見易くできる。
Further, the long-term
本発明の実施例2の機能ブロック図を図13に示す。図13において、画像取得部1、軌跡抽出部6、人数推定部7、滞留発報部8、警報部9、制御部10、検知対象情報記憶部11、地点情報記憶部12は実施例1と同じ機能をはたす。また、エスカレータに適用した場合の装置構成例を図14に示す。
FIG. 13 shows a functional block diagram of
図14において、センサ203はなんらかの計測原理により人物113の有無を検知し、同時に人物113のデッキ110付近での場所に関係した情報を出力可能なセンサであり、デッキ110上の少なくとも一部をセンシング範囲に捉え、所定の動作周期で信号を出力している。
In FIG. 14, a
図13において、センシング部23は、所定の取り込み周期でセンサ203から信号を受け取り、長期変化抽出部3あるいは短期変化抽出部4の少なくとも一方に出力する。センサ203の計測原理には、レーザレーダやミリ波レーダなどによる測距離情報と設置情報から、地上面から所定の高さがある物体を人物113として抽出すると同時に測距離情報から人物113の場所を特定する方法や、指向性をもった感熱センサで体温に相当した温度の部分から人物113を検出しての場所を特定する方法が例に挙げられるが、この例に限らない。また、センサ203には、顔認識のように1枚の入力画像から人物113を検出し位置を特定するパターン認識を含む。センサ203がパターン認識の場合、カメラ103の入力画像を信号処理の入力としてよい。
In FIG. 13, the
図13の機能構成において、センシング部23は、センサ203により検出した人物113の検知情報を、長期の変化を長期変化抽出部3に出力するか、短期の変化を短期変化蓄積部5に出力するかの、少なくとも一方を行う。
In the functional configuration of FIG. 13, the
長期変化抽出部3は、実施例1の方法による長期の変化の抽出、あるいはセンシング部23からの長期の変化の受信の少なくともどちらか一方を行う。実施例2では、長期変化抽出部3は前記実施例1の方法による長期の変化の抽出を行う場合、実施例1と同じ背景作成部2を設ける。
The long-term
短期変化蓄積部5は、実施例1の方法による短期の変化の、あるいはセンシング部23からの短期の変化の受信の少なくともどちらか一方を行う。実施例2では、短期変化抽出部4が前記実施例1の方法による短期の変化の抽出を行う場合、実施例1と同じ短期変化抽出部3を設ける。
The short-term
以上述べたように、実施例2では、実施例1の方法によって抽出した人物113の長期の変化および短期の変化に加えて、センサ203の信号から人物113の長期の変化あるいは短期の変化の少なくとも一方が抽出可能である。たとえば、カメラ103が可視光のカメラの場合、デッキ110上の特定の場所で外光が強く反射すれば実施例1の構成では人物113の長期の変化および短期の変化を安定して抽出することは困難であるが、実施例2ではレーザレーダのような外光の影響を受けにくいセンサをセンサ203とすれば、少なくともデッキ110上の一部の範囲を人物113の長期の変化あるいは短期の変化の抽出を補足して監視装置の全体の信頼度を向上させることができる。
As described above, in the second embodiment, in addition to the long-term change and short-term change of the
また、実施例2では図15の検知エリア190のようにデッキ110とステップ112の境界のような巻き込まれによる事故が発生しやすい特定の場所の付近を、高い精度のセンサ203で捉えておけば、検知エリア190の長期の変化を確実に捉えて、監視装置の全体の信頼度を向上させることができる。また、検知エリア190を捉えるセンサ203を測距離型のセンサにすれば、人物113が図3(b)のように倒れている場合や、図7(b)の位置にて立ち続けている場合とで、人物113の挙動を判別することができる。
Further, in the second embodiment, a high-
本発明の実施例3に係る監視装置の装置構成を図16に示す。図16において、通路383に設けられた扉381、扉381に備え付けられた認証装置382、扉381および認証装置382の付近に設けられた監視エリア310、および監視エリア310の付近を視野内にとらえたカメラ103、扉381の脇に備え付けられた制御装置105および警報装置106、画像処理装置104、モニタ107、伝送装置108、録画装置109を示す。図16において通路383を往来する人物113を示している。
FIG. 16 shows a device configuration of the monitoring device according to the third embodiment of the present invention. In FIG. 16, the
図16において、扉381は開閉により人物113の通行をコントロールし、認証装置382はカードキーや指紋認証などの所定の認証手段により、認証手段で通行許可を与えた人物113に対して扉381が開くことを許可する。制御装置105は、扉381の開閉を制御し、警報装置106は監視エリア310付近の人物に向けて警報ができるライトあるいはスピーカを有する。104、107、108、109の各装置は、図1に示す実施例1の同一番号の装置と同じ機能を果たす。なお、実施例3では、監視エリア310内の特定部分に検知エリア390を設けたセンサ203を備えてもよい。
In FIG. 16, the
監視エリア310内に極端に長い時間に滞留する人物は、扉381の通行許可がないにも関わらず、認証装置382あるいは扉381に工作、あるいは通行許可を有す人物が来るのを待って通行許可をもった人物が扉381を開けた瞬間に不正に扉381を通行することを企んでいる可能性があり、異常行動として検知すべきである。また、監視エリア310内に人物が1人しかいない場合は、不正な扉381の通過を目撃する周囲の人物がいなくて危険度が高い。
A person who stays in the
よって、本実施例3では、センサ203がない場合には図1に示す実施例1の機能構成によって、またセンサ203がある場合には図13に示す実施例2の機能構成によって、監視エリア310上の滞留を検知するとともに、監視エリア310上の人数を0人、1人、2人以上の区分で推定し、監視エリア310内の人数が1人で滞留している場合にのみ発報すること、あるいは監視エリア310内の人数が1人の場合の滞留に高い重要度を付与して発報することで、1人のときの滞留であることを特定して注意を促すことができ、安全管理及びセキュリティの面からも効果的に監視することができる。
Therefore, in the third embodiment, when there is no
1・・・画像取得部
2・・・背景作成部
3・・・長期変化抽出部
4・・・短期変化抽出部
5・・・短期変化蓄積部
6・・・軌跡抽出部
7・・・人数推定部
8・・・滞留発報部
9・・・警報部
10・・・制御部
11・・・検知対象情報記憶部
12・・・地点情報記憶部
101・・・エスカレータ
103,103a,103b・・・カメラ
110・・・乗り場デッキ
113・・・人物
DESCRIPTION OF
Claims (13)
前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を0人、1人、2人以上の区分のうち1人か1人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が1人のときの滞留を特定して発報する滞留発報手段とを備えたことを特徴とする監視装置。 Image acquisition means for acquiring an input image near the monitoring area;
Processing the input image from the image acquisition means, and estimating the number of people to be detected in the monitoring area is 0, 1, 2, or more than one person, and a number estimation means for estimating whether or not
A monitoring apparatus, comprising: a staying alerting means for identifying and alerting staying when the estimated number of persons in the monitoring area is one.
前記画像取得手段からの入力画像を用いて監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記監視エリア内で検知対象が移動する軌跡を抽出する移動軌跡抽出手段と、
前記滞留検知手段からの滞留情報及び前記移動軌跡抽出手段からの移動軌跡情報を用いて、前記監視エリア内の検知対象の人数を0人、1人、2人以上の区分のうち1人か1人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が1人のときの滞留を特定して発報する滞留発報手段とを備えたことを特徴とする監視装置。 Image acquisition means for acquiring an input image near the monitoring area;
A stay detection means for detecting stay of a detection target in a monitoring area using an input image from the image acquisition means;
A movement trajectory extracting means for extracting a trajectory in which the detection target moves in the monitoring area;
Using the staying information from the staying detection means and the movement locus information from the movement locus extraction means, the number of people to be detected in the monitoring area is 0 person, 1 person, or 1 person out of 2 or more categories. A means for estimating the number of people other than a person,
A monitoring apparatus, comprising: a staying alerting means for identifying and alerting staying when the estimated number of persons in the monitoring area is one.
背景画像を作成する背景作成部、長期の変化として前記入力画像と前記背景画像との間で変化している部分を抽出するとともに前記長期の変化から滞留の場所と時期を抽出する長期変化抽出部、短期の変化として2時刻以上の前記入力画像から画像上で短期に変化している部分を抽出する短期変化抽出部、及び前記短期の変化の時系列または前記短期の変化から抽出された情報を蓄積する短期変化蓄積部とから、前記監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記短期の変化の時系列または前記短期の変化から抽出された情報の時系列の蓄積から移動軌跡を抽出する移動軌跡抽出手段と、
前記滞留と前記移動軌跡それぞれが発生した時期と場所から、前記監視エリア内の検知対象の人数を0人、1人、2人以上の区分のうち1人か1人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が1人のときの滞留を特定して発報する滞留発報手段とを備えたことを特徴とする監視装置。 Image acquisition means for acquiring an input image near the monitoring area;
A background creation unit that creates a background image, and a long-term change extraction unit that extracts a portion changing between the input image and the background image as a long-term change and extracts a staying place and timing from the long-term change A short-term change extraction unit that extracts a short-term change on the image from the input image at two or more times as a short-term change, and information extracted from the time series of the short-term change or the short-term change From a short-term change accumulation unit to accumulate, a stay detection means for detecting stay of a detection target in the monitoring area,
A movement trajectory extracting means for extracting a movement trajectory from the time series of the short-term change or the accumulation of time series of information extracted from the short-term change;
Estimating the number of people to be detected in the monitoring area from the time and place at which the stay and the movement trajectory occurred, whether the number of people to be detected is 0, 1, or 2 or more. Means,
A monitoring apparatus, comprising: a staying alerting means for identifying and alerting staying when the estimated number of persons in the monitoring area is one.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010148413A JP5473801B2 (en) | 2010-06-30 | 2010-06-30 | Monitoring device |
CN 201110181446 CN102311039B (en) | 2010-06-30 | 2011-06-27 | Monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010148413A JP5473801B2 (en) | 2010-06-30 | 2010-06-30 | Monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012014302A JP2012014302A (en) | 2012-01-19 |
JP5473801B2 true JP5473801B2 (en) | 2014-04-16 |
Family
ID=45424662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010148413A Expired - Fee Related JP5473801B2 (en) | 2010-06-30 | 2010-06-30 | Monitoring device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5473801B2 (en) |
CN (1) | CN102311039B (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6100581B2 (en) * | 2013-03-29 | 2017-03-22 | 株式会社デンソーウェーブ | Monitoring device |
JP5613815B1 (en) * | 2013-10-29 | 2014-10-29 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
CN103815912B (en) * | 2014-01-26 | 2015-08-19 | 大连大学 | Old solitary people based on thermal infrared sensor array falls down behavior method of real-time |
JP5597781B1 (en) * | 2014-03-26 | 2014-10-01 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
CN103863934B (en) * | 2014-04-02 | 2016-02-03 | 日立电梯(广州)自动扶梯有限公司 | Escalator safety detection device and method |
US10679671B2 (en) * | 2014-06-09 | 2020-06-09 | Pelco, Inc. | Smart video digest system and method |
WO2015198767A1 (en) | 2014-06-27 | 2015-12-30 | 日本電気株式会社 | Abnormality detection device and abnormality detection method |
JP5788580B1 (en) * | 2014-09-12 | 2015-09-30 | 東芝エレベータ株式会社 | Passenger conveyor equipment |
CN107662867B (en) * | 2016-07-29 | 2021-03-30 | 奥的斯电梯公司 | Step roller monitoring and maintenance operator monitoring for passenger conveyors |
CN107018383A (en) * | 2017-05-10 | 2017-08-04 | 合肥慧图软件有限公司 | A kind of video frequency monitoring system being combined based on virtual reality with high accuracy positioning |
CN107277459A (en) * | 2017-07-29 | 2017-10-20 | 安徽博威康信息技术有限公司 | A kind of camera views switching method recognized based on characteristics of human body with target following |
JP6806118B2 (en) * | 2018-09-28 | 2021-01-06 | フジテック株式会社 | Escalator congestion detection system |
CN109250616B (en) * | 2018-09-28 | 2020-05-19 | 绍兴市特种设备检测院 | Escalator entrance and exit congestion detection system and method |
KR102215565B1 (en) * | 2019-02-12 | 2021-02-15 | 주식회사 핀텔 | Apparatus and method for detecting human behavior in escalator area |
JP7368092B2 (en) * | 2019-03-19 | 2023-10-24 | パナソニックホールディングス株式会社 | Accident detection device and accident detection method |
EP4246438A4 (en) * | 2020-11-12 | 2023-11-01 | Fujitsu Limited | Information processing device, generation method, and generation program |
TWI817311B (en) * | 2022-01-07 | 2023-10-01 | 宏碁股份有限公司 | Escalator equipment alert method and escalator equipment alert system |
CN114314285B (en) * | 2022-03-09 | 2022-07-29 | 深圳市来吉智能科技有限公司 | Mobile human face recognition body temperature detection device and method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000007264A (en) * | 1998-06-17 | 2000-01-11 | Hitachi Ltd | Man conveyor device |
JP3915721B2 (en) * | 2003-03-20 | 2007-05-16 | コニカミノルタホールディングス株式会社 | Monitoring device |
JP2007018119A (en) * | 2005-07-06 | 2007-01-25 | Systec:Kk | Individual body passage monitor using directional electric wave |
US20070268145A1 (en) * | 2006-05-19 | 2007-11-22 | Bazakos Michael E | Automated tailgating detection via fusion of video and access control |
CN101496074A (en) * | 2006-05-31 | 2009-07-29 | 日本电气株式会社 | Device and method for detecting suspicious activity, program, and recording medium |
JP2008148138A (en) * | 2006-12-12 | 2008-06-26 | Hitachi Kokusai Electric Inc | Monitoring system |
JP4663756B2 (en) * | 2008-04-28 | 2011-04-06 | 株式会社日立製作所 | Abnormal behavior detection device |
JP4753320B2 (en) * | 2008-09-09 | 2011-08-24 | 東芝エレベータ株式会社 | Escalator monitoring system |
-
2010
- 2010-06-30 JP JP2010148413A patent/JP5473801B2/en not_active Expired - Fee Related
-
2011
- 2011-06-27 CN CN 201110181446 patent/CN102311039B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102311039A (en) | 2012-01-11 |
JP2012014302A (en) | 2012-01-19 |
CN102311039B (en) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5473801B2 (en) | Monitoring device | |
US9412269B2 (en) | Object detection based on image pixels | |
JP6336709B2 (en) | Security device, security method and program | |
KR101936837B1 (en) | Map-based intelligent video integrated surveillance system and monitoring method using the same | |
WO2018179202A1 (en) | Information processing device, control method, and program | |
JP5370009B2 (en) | Monitoring system | |
JP4607394B2 (en) | Person detection system and person detection program | |
JP2009194711A (en) | Region user management system and management method of the same | |
JP5752977B2 (en) | Image monitoring device | |
KR101524922B1 (en) | Apparatus, method, and recording medium for emergency alert | |
JP5444103B2 (en) | Reporting device | |
JP5649862B2 (en) | Image monitoring device | |
JP2012212215A (en) | Image monitoring device | |
JP5580686B2 (en) | Reporting device | |
JP5520675B2 (en) | Reporting device | |
EP1405279A1 (en) | Vision based method and apparatus for detecting an event requiring assistance or documentation | |
JP2011227677A (en) | Notification device | |
KR102161343B1 (en) | Stream reasoning surveilance system and missing child alarming method using the same | |
KR102161344B1 (en) | Stream reasoning surveilance system and Stream reasoning surveilance method using the same | |
JP6954416B2 (en) | Information processing equipment, information processing methods, and programs | |
JP5580679B2 (en) | Reporting device | |
JP5580673B2 (en) | Reporting device | |
JP5520676B2 (en) | Reporting device | |
JP2021087031A (en) | Information processing device, information processing method, monitoring system, and program | |
KR20200011224A (en) | Stream reasoning getting out of group surveilance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |