JP5545977B2 - 画像監視装置 - Google Patents
画像監視装置 Download PDFInfo
- Publication number
- JP5545977B2 JP5545977B2 JP2010095140A JP2010095140A JP5545977B2 JP 5545977 B2 JP5545977 B2 JP 5545977B2 JP 2010095140 A JP2010095140 A JP 2010095140A JP 2010095140 A JP2010095140 A JP 2010095140A JP 5545977 B2 JP5545977 B2 JP 5545977B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- feature point
- feature
- unit
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title description 6
- 238000012544 monitoring process Methods 0.000 claims description 73
- 238000001514 detection method Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 49
- 239000013598 vector Substances 0.000 description 26
- 238000000034 method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 239000002390 adhesive tape Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Description
このような画像監視装置では、監視場所を上から見下ろすことになり、特許文献1のような挙手の状態を検出することが困難となる。
従って特許文献2の技術を、強盗により手足を拘束され、床に横たわり、頭を多少動かしたり体を揺らしたりしている被害者(従業員)を検出することに適用しても、判断が難しく、通報漏れまたは通報誤りになる可能性がある。
図1(a)は、金庫室において発生した犯罪の様子を鳥瞰図として表したものである。
金庫1020の収容物である多額の現金や貴金属類を強奪しようとする犯人1010により被害者1000がロープや強力粘着テープにて手足を、または場合によっては全身を何重にも巻かれて、身動きがほとんどとれずに床面上に拘束されている様子を示している。
一方で、床面に横たわる被害者1000は、カメラ1030とほぼ正対することになるので、全身が写り込み、大きな人物像として得られることになる。
なお、カメラ1030は、後述するように画像監視装置1の撮像部2に相当する。
撮像部2の画像出力は、処理部3のインターフェース部4と接続されており、撮像部2は、監視画像を生成する度に、その生成した監視画像を処理部3へ出力する
インターフェース部4は制御部6と接続されており、撮像部2から受信した監視画像を制御部6へ渡す。
記憶部5は、画像監視装置1で使用される各種のプログラム及びデータを記憶する。また記憶部5は、例えば、画像監視装置1が起動したとき、あるいは定期的に撮像部2から取得した、侵入者の写っていない監視画像を背景画像として記憶する。
そのために、制御部6は、輪郭抽出部61と、面積算出部62と、姿勢特徴量算出部63と、姿勢変動検出部64と、拘束具検出部65と、判定部66を有する。制御部6が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
輪郭抽出部61は、背景差分画像において、画素値が所定の闘値以上である画素が一つに連結された領域をラベリング処理により検出し、人物候補領域とする。なお、所定の閾値は、例えば、予め実験により決定される。あるいは、所定の閾値は、背景差分画像の輝度平均値とすることができる。そして輪郭抽出部61は、人物候補領域のうち、監視画像上で想定される人のサイズに相当する面積以上を持つ人物候補領域のみを人物領域として抽出し、その抽出された人物領域の境界に位置する画素を輪郭画素とする。
なお、設定される特徴点の個数は、撮影条件または制御部6の処理能力に応じて決定され、例えば、特徴点の個数は25個、50個あるいは100個とすることができる。
または、人物領域を上下方向あるいは左右方向に適当な数に分割し、それぞれの分割領域に所定の数を設定してもよい。
特徴点設定手段631は、設定した特徴点の位置座標を法線方向決定手段632へ渡す。
あるいは、法線方向決定手段632は、輪郭抽出部61が人物領域の輪郭を抽出する際にエッジを検出しているならば、画素値が変化するエッジの方向を求めておき、その方向が法線方向を表すとして、各特徴点の法線方向ベクトルを定義してもよい。
法線方向決定手段632は、各特徴点について求めた法線方向ベクトルを特徴点間情報算出手段633へ渡す。
図4(a)において、線410は、人物領域400の輪郭を表す。この例では、人物領域の輪郭410は、図1(b)に示した被害者1000のように、床面に横臥した姿勢の人物の輪郭を表している。また図4(b)における複数の点401は、人物領域の輪郭410上に設定された特徴点である。この例では、隣接する特徴点間の距離が略等間隔となるように、各特徴点は設定されている。
特徴点間情報算出手段633は、着目特徴点毎に、一つの対象特徴点について特徴点間情報を求める度に、その特徴点情報を特徴点間情報分布算出手段634へ渡す。
特徴点間情報分布算出手段634は、各セクションの度数を、一つの特徴点について求められる特徴点間情報の数(すなわち、特徴点数を、とすれば特徴点間情報の数は(n-1))で割って正規化したものを、姿勢特徴量とする。
姿勢特徴量算出部63は、特徴点設定手段631にて設定された輪郭上の特徴点を取得し、以下の処理を実行する。
先ず、姿勢特徴量算出部63の法線方向決定手段632は、各特徴点における法線方向ベクトルを算出する(ステップS101)。そして姿勢特徴量算出部63は、姿勢特徴量未算出の特徴点を着目特徴点として設定する(ステップS102)。また、姿勢特徴量算出部63は、特徴点間情報未算出の特徴点を対象特徴点として設定する(ステップS103)。
特徴点間情報分布算出手段634は、特徴点間情報(r,θ)に対応するセクションの度数を1加算する(ステップS106)。
着目特徴点以外の全ての特徴点が対象特徴点に設定された場合、特徴点間情報分布算出手段634は、(r,θ)の度数分布を正規化することで着目特徴点の姿勢特徴量を算出する(ステップS108)。
そして、姿勢特徴量算出部63は、各特徴点の姿勢特徴量を、対応する特徴点の位置情報とともに記憶部5に記憶させ、さらに姿勢変動検出部64へ渡す。
記憶部5には、過去の時点において取得された監視画像から抽出された人物領域について、姿勢特徴量が人物領域の輪郭上における番号とともに記憶されている。そこで、姿勢変動検出部64は、記憶部5に記憶されている姿勢特徴量と最新の姿勢特徴量について、対応する番号どうしの差を求め、その総和を姿勢変動量として求める。この姿勢変動量が大きいと、人物が大きく動いており、小さいと人物の動きがほとんど無いことになる。
本実施の形態では、姿勢特徴量は、図5に示したように、距離rと角度θのセクションごとの正規化度数を表す2次元ヒストグラムである。そこで、姿勢変動検出部64は、2次元ヒストグラムの各正規化度数を、それぞれ一つの要素とみなしてマンハッタン距離を計算する。すなわち、姿勢変動検出部64は、各特徴点について次式に従い、対応する二つのセクションの正規化度数の差の絶対値の総和を算出する。
なお、Nは、姿勢特徴量に含まれるセクションの総数である。pikは記憶部5に記憶されているi番目の姿勢特徴量についてk番目のセクションの正規化度数を表す。sikは最新のi番目の姿勢特徴量についてk番目のセクションの正規化度数を表す。
姿勢変動検出部64は、特徴点設定手段631にて設定される特徴点の数だけiについて総和を求めることで、二つの姿勢特徴量間の距離である姿勢変動量Tを算出する。
なお、姿勢変動検出部64は、二つの姿勢特徴量間の距離を、インターセクション(対応するセクションの二つの度数のうちの最小値の和)あるいはEarthMover'sDistanceなど、他の距離尺度により算出してもよい。
姿勢変動検出部64は、姿勢変動量Tを判定部66に出力する。
図1に模式的に示したように、被害者1000の体の周りに何重にもロープや強力粘着テープが巻かれていると、監視画像中、輪郭抽出部61にて抽出された人物領域について、外接する楕円を当てはめた場合に、短軸方向に概略平行な直線成分が集中する。
そこで、拘束具検出部65は、監視画像の人物領域中に上記のように、拘束具としての特徴的なテクスチャということができる直線成分が多く検出された場合に、被害者1000はロープや強力粘着テープを巻かれていると判断する。
ハフ変換をすると、1つの直線について、原点からの距離rhと原点とを結ぶ法線と成す角度θhを軸とした平面上に1つの強いピークが得られる。
そこで、拘束具検出部65は、監視画像中の人物領域についてハフ変換を施した結果、所定の強度のピークが数多く検出された場合に、被害者1000はロープなどで拘束されていると判断する。
特に、人物領域に外接する楕円を当てはめた時の短軸と概略平行な方向に多く直線成分が検出され、しかも、方向が概略揃っていることを条件にするのが好適である。
拘束具検出部65は、上記の判断結果を判定部66に出力する。
2値化やエッジ抽出の方法、ハフ変換は画像処理の分野においては周知であるので、詳細は省略する。
これは図1(b)からわかるように、撮像部2は天井に下向きに取り付けられているので、直立している犯人1010は、頭部と両肩程度しか写らないので、人物領域の面積は小さい。それに対し、被害者1000は床面に横臥しているので、撮像部2に正対していることになり、全身が写り、人物領域としての面積は大きくなることを利用したものである。
なお、人物面積については、輪郭抽出部61における、人物候補領域から人物領域を抽出する処理と共通にする面積に設定することもできる。
まずステップS200にて、撮像部2は監視画像、本実施の形態では金庫室を天井から下向きに撮影した画像を取得し、インターフェース部4を通じて、処理部3に取得した監視画像を渡す。
ステップS210では、輪郭抽出部61において、監視画像から人物領域の輪郭を抽出する。
ステップS220では、面積算出部62において、抽出された輪郭情報から、人物領域の面積を算出し、判定部66に渡す。
ステップS230では、判定部66は、面積算出部62にて算出された面積が人物面積越えない場合、図1(b)のような、床面に横臥する人物は存在しないとして、処理をステップS200に戻す。前述のように人物候補領域から人物領域を抽出する処理と共通にするのであれば、本ステップにおける判断は不要である。
ステップS240にて、姿勢特徴量算出部63の特徴点設定手段631は、輪郭抽出部61にて抽出された輪郭上に特徴点を設定する。
ステップS250にて、姿勢特徴量算出部は、各特徴点について姿勢特徴量を算出する。算出の方法は図5のフローチャートで説明した通りである。
姿勢変動量が上記所定の範囲外に場合には、人物が全く動かないか、大きく動くので、別の事象が発生しているとして、本発明では検出対象外とする。
さらには、模式的に図1では被害者1000の体に何重にもロープなどが巻かれている状態を示したが、必ずしもそのようなことが仮定できるとは限らない。例えば手首と足首のみがロープになどで巻かれている場合には、拘束具の検出は困難と考えられるので、ステップS280の判断を省略しても判定は可能である。
このほか、当業者は適宜本発明の範囲内で様々な修正を行うことができる。
2・・・撮像部
3・・・処理部
4・・・インターフェース部
5・・・記憶部
6・・・制御部
61・・・輪郭抽出部
62・・・面積算出部
63・・・姿勢特徴量算出部
64・・・姿勢変動検出部
65・・・拘束具検出部
66・・・判定部
7・・・出力部
Claims (2)
- 略鉛直下向きに向け、床面を含む監視領域を撮影して監視画像を順次取得する撮像部と、
前記監視画像から人物が写っている人物領域の輪郭を抽出する輪郭抽出部と、
前記輪郭を用いて、前記人物の姿勢を表す姿勢特徴量を算出する姿勢特徴量算出部と、
前記姿勢特徴量の時間的変化である姿勢変動量を算出する姿勢変動検出部と、
前記監視画像の前記人物領域から人物を拘束するための拘束具をテクスチャ情報から検出する拘束具検出部と、
前記人物領域の面積が床面に横臥したときの人物面積以上であり、前記姿勢変動量が身体を拘束されているときに示す程度の範囲内の場合に、前記人物が異常状態であると判定する判定部を有し、
前記拘束具検出部は、前記拘束具を検出しないと、前記判定部における異常判定を禁止させることを特徴とする画像監視装置。
- 前記姿勢特徴量算出部は、前記輪郭上に複数の特徴点を設定し、前記複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を前記姿勢特徴量として算出し、
前記姿勢変動検出部は、各特徴点に対応する1時点前の特徴点との姿勢特徴量の差分を計算し、当該差分の総和を姿勢変動量として検出することを特徴とする請求項1に記載の画像監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010095140A JP5545977B2 (ja) | 2010-04-16 | 2010-04-16 | 画像監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010095140A JP5545977B2 (ja) | 2010-04-16 | 2010-04-16 | 画像監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011227614A JP2011227614A (ja) | 2011-11-10 |
JP5545977B2 true JP5545977B2 (ja) | 2014-07-09 |
Family
ID=45042903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010095140A Expired - Fee Related JP5545977B2 (ja) | 2010-04-16 | 2010-04-16 | 画像監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5545977B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5861530B2 (ja) * | 2012-03-27 | 2016-02-16 | 富士通株式会社 | 利用者検知装置、方法、及びプログラム |
JP6230442B2 (ja) * | 2014-02-20 | 2017-11-15 | 株式会社東芝 | 算出装置、方法及びプログラム |
JP7278088B2 (ja) | 2019-01-31 | 2023-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004192459A (ja) * | 2002-12-12 | 2004-07-08 | Sumitomo Electric Ind Ltd | 異常事象検出装置 |
JP2009288917A (ja) * | 2008-05-28 | 2009-12-10 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP5047361B2 (ja) * | 2008-08-28 | 2012-10-10 | 有限会社 ラムロック映像技術研究所 | 監視システム |
-
2010
- 2010-04-16 JP JP2010095140A patent/JP5545977B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011227614A (ja) | 2011-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7961953B2 (en) | Image monitoring system | |
KR101215948B1 (ko) | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 | |
JP5390322B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP2007066124A (ja) | 背景画像生成方法とその装置及び画像監視システム | |
JP6336709B2 (ja) | 警備装置、警備方法およびプログラム | |
JP3924171B2 (ja) | 監視対象物を識別する監視装置 | |
US8923552B2 (en) | Object detection apparatus and object detection method | |
JP4764487B2 (ja) | 映像監視システム | |
CN113033521B (zh) | 基于目标分析的周界动态预警方法与系统 | |
JP2011113313A (ja) | 姿勢推定装置 | |
JP5771039B2 (ja) | 放置人物検出装置 | |
KR20180086048A (ko) | 카메라 및 카메라의 영상 처리 방법 | |
JP4862518B2 (ja) | 顔登録装置、顔認証装置および顔登録方法 | |
JP5545977B2 (ja) | 画像監視装置 | |
US11769387B2 (en) | Method and apparatus for detecting drowning | |
JP5752977B2 (ja) | 画像監視装置 | |
US9607210B2 (en) | Video surveillance system and method for fraud detection | |
JP2017167800A (ja) | 監視システム、情報処理装置、監視方法および監視プログラム | |
JP2012048691A (ja) | 画像監視装置 | |
CN109726750B (zh) | 一种乘客摔倒检测装置及其检测方法及乘客输送装置 | |
Miaou et al. | A smart vision-based human fall detection system for telehealth applications | |
JP5701657B2 (ja) | 異常検知装置 | |
JP4993281B2 (ja) | 監視領域設定装置 | |
JP6917293B2 (ja) | 画像監視装置 | |
JP6124739B2 (ja) | 画像センサ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5545977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |