JP6674584B2 - 映像監視システム - Google Patents
映像監視システム Download PDFInfo
- Publication number
- JP6674584B2 JP6674584B2 JP2019515072A JP2019515072A JP6674584B2 JP 6674584 B2 JP6674584 B2 JP 6674584B2 JP 2019515072 A JP2019515072 A JP 2019515072A JP 2019515072 A JP2019515072 A JP 2019515072A JP 6674584 B2 JP6674584 B2 JP 6674584B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- target person
- video surveillance
- abandoned object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Description
(1)放置物検知システムからの発報(放置物の検知を知らせるメッセージ)を確認
(2)放置物を映した映像を逆再生
(3)放置物が放置された時点の映像を目視して、放置した人物を特定
(4)放置した人物を指定した人物検索を人物検索システムで実行
(5)人物検索システムによる人物検索の結果表示を確認
本発明は、上記のような従来の事情に鑑みて為されたものであり、放置物を放置した人物を特定してその人物の移動を追跡する作業のユーザ負担を軽減することが可能な映像監視システムを提供することを目的とする。
(1) 複数の撮像装置を備えた映像監視システムにおいて、前記複数の撮像装置のいずれかで撮影された画像に映った放置物を検知する放置物検知部と、前記放置物が検知された場合に、前記放置物が現れる直前又は直後の画像を特定し、当該画像に映った少なくとも一人の人物を対象人物に特定する人物特定部と、前記複数の撮像装置の各々で撮影された画像の中から、前記対象人物が映った画像を検索する人物検索部と、前記対象人物が映った各画像を撮影した撮像装置及び撮像時刻に基づいて、前記対象人物の移動を示す情報を画面に表示させる結果表示部と、を備えたことを特徴とする。
図1には、本発明の一実施形態に係る映像監視システムの構成例を示してある。本例の映像監視システムは、複数であるN台の撮像装置100(1)〜100(N)と、監視サーバ200と、ユーザ端末300とを備え、これら装置間の通信はネットワーク400を介して行われる。映像監視システムは、空港、駅構内、ショッピングモール等のような不特定多数の人物が訪れる施設に配備される。
一例として、放置物検知処理のログを辿って放置物の発見時点(放置物があると推定された時点)の画像を特定し、その時点から逆再生方向に(過去に向かって)画像を処理していく。そして、放置物が消えて元々の背景画像が現れた瞬間の画像、すなわち、放置物が置かれる直前の画像を放置時画像として特定する。
また、別の例として、ある特定の時間を遡った過去の時点には放置物が存在しないことが判明している場合に、その時点から順再生方向に(未来に向かって)画像を処理していく。そして、元々の背景画像が消えて放置物が現れた瞬間の画像、すなわち、放置物が置かれた直後の画像を放置時画像として特定する。
監視サーバ200は、放置物検知部202により放置物検知処理を行う(ステップS101)。放置物検知処理は、撮像装置100から画像を受信する毎、あるいは受信した画像を画像蓄積部201に格納する毎に行われる。
監視サーバ200は、放置物を検知すると、その旨のメッセージをユーザ端末300に発報して、ユーザ端末300のユーザに放置物の検知を知らせる。また、監視サーバ200は、人物特定部203により放置時画像特定処理を行うことで、放置物が置かれた瞬間の画像を放置時画像として特定する(ステップS102)。次いで、監視サーバ200は、人物特定部203により人物特定処理を行うことで、放置時画像に映った少なくとも一人の人物を対象人物として特定する(ステップS103)。
また、ステップS103で複数の対象人物が特定された場合には、各々の対象人物についてステップS104〜S106を繰り返してもよいし、いずれかの対象人物についてステップS104〜S106を行ってもよい。なお、いずれかの対象人物について処理を行う場合には、特定された複数の対象人物をユーザ端末300のユーザに提示し、その中から対象人物をユーザに選択させればよい。
図4には、対象人物追跡の結果の表示例を示してある。図4の表示例は、対象人物が移動した経路を地図上で示す地図表示領域241と、対象人物が映った各画像を時系列順に並べて示すタイムライン表示領域246とを有している。
地図表示領域241には、対象人物を撮影した撮像装置の配置場所C1〜C4を含むエリアの地図上に、撮像装置の配置場所C1〜C4と、対象人物が映った地点T1〜T6とを示してある。このような地図表示を実現するには、本システムを配備した施設内の地図と、施設内の各所に設置された撮像装置の配置場所(C1〜C4)とを予め記憶しておけばよい。これにより、対象人物が映った画像に付与された撮像装置番号から、対象人物を撮影した撮像装置の配置場所を特定して、地図上に表示することができる。
また、タイムライン表示領域246には、各地点(T1〜T6)で撮影された画像が、時系列順に並べて表示される。
本例では、図4の表示又は図5の表示のどちらを用いるかを予め設定してあるが、ユーザ端末300のユーザが選択できるようにしてもよいし、ユーザの指定により表示の切り替えができるようにしてもよい。また、図4のタイムライン表示領域246に代えて、図5のタイムライン詳細表示領域251を用いるようにしてもよい。
例えば、人物検索の結果には、対象人物が映った画像だけではなく別人が映った画像も含まれることがあるが、別人の画像が多い場合は、人物検索に用いる人物特徴量が適切でないと考えられる。つまり、検索結果に別人が多い場合には、特徴量空間上で対象人物本人と別人とを区別する特徴が表れていないことが想定される。そこで、着衣特徴量の各要素(帽子、上着、ズボン、持ち物、身飾品など)のそれぞれに与える重みを異ならせた幾つかの重みパターンを用意しておき、各重みパターンをそれぞれ適用して人物検索を試行し、結果の本人と別人が区別しやすい重みパターンを自動的に選択するようにしてもよい。このパターン選択方法として、例えば次のような方法を適用することができる。各重みパターンをそれぞれ適用して人物検索を試行し、人物毎に各試行で検索された回数を記録する。ここで、検索された回数が多い人物は本人である確度が高いと言える。次に、検索された回数の多い人物を、検索回数順に所定人数選択する。この人物を本人候補人物と呼ぶ。次に各重みパターンの検索結果の中で本人候補人物が最も多く検索された重みパターンを選択する。この重みパターンは、本人が多く含まれる確率が高く、本人と別人の区別に寄与する特徴量に対して大きな重みを与え、寄与しない特徴量には小さな重みを与えるような重みパターンとなる。この重みパターンを使用することにより、人物検索の精度を高めることができる。また、一つの重みパターンを用いて対象人物を最終判定するのではなく、対象人物を特定する前段階において、前記本人候補人物が多く含まれる重みパターンを使用して、明らかに別人と思われる人物を除外することもできる。すなわち、例えば検索結果の論理積処理により、対象人物が含まれる確率を高めることで、検索結果のごみ取りによる対象人物の絞り込みを行うこともできる。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
201:画像蓄積部、 202:放置物検知部、 203:人物特定部、 204:人物特徴量取得部、 205:人物検索部、 206:結果表示部、
221:CPU、 222:主記憶部、 223:補助記憶部、 224:ネットワークI/F
Claims (9)
- 複数の撮像装置を備えた映像監視システムにおいて、
前記複数の撮像装置のいずれかで撮影された画像に映った放置物を検知する放置物検知部と、
前記放置物が検知された場合に、前記放置物が検知された画像を撮像した撮像装置から受信した一連の画像について、前記放置物の発見時点から逆再生方向に画像を処理していき、前記放置物が置かれる直前の画像を特定し、又は、前記放置物が存在しないことが判明している過去の時点から順再生方向に画像を処理していき、前記放置物が置かれた直後の画像を特定し、前記特定した画像に映った少なくとも一人の人物を対象人物に特定する人物特定部と、
前記複数の撮像装置の各々で撮影された画像の中から、前記対象人物が映った画像を検索する人物検索部と、
前記対象人物が映った各画像を撮影した撮像装置及び撮像時刻に基づいて、前記対象人物の移動を示す表示を画面出力させる結果表示部と、
を備えたことを特徴とする映像監視システム。 - 請求項1に記載の映像監視システムにおいて、
前記特定された画像に基づいて、前記対象人物の顔特徴量及び着衣特徴量を含む人物特徴量を取得する人物特徴量取得部を更に備え、
前記人物検索部は、前記人物特徴量に基づいて、前記対象人物が映った画像を検索することを特徴とする映像監視システム。 - 請求項1又は請求項2に記載の映像監視システムにおいて、
前記結果表示部は、前記対象人物の移動を示す表示として、前記対象人物が移動した経路を地図上で示す表示、又は、前記対象人物が映った各画像を撮像装置別に時系列順に並べて示す表示を画面出力させることを特徴とする映像監視システム。 - 請求項1乃至請求項3のいずれかに記載の映像監視システムにおいて、
前記結果表示部は、前記対象人物の過去又は現在の移動経路に基づいて予測される、前記対象人物が今後通過する可能性の高い移動経路を表示することを特徴とする映像監視システム。 - 請求項1乃至請求項4のいずれかに記載の映像監視システムにおいて、
前記人物特定部は、前記特定した画像から複数の人物が検出された場合、前記放置物からの距離が最も近い人物を前記対象人物に特定することを特徴とする映像監視システム。 - 請求項1乃至請求項4のいずれかに記載の映像監視システムにおいて、
前記人物特定部は、前記特定した画像から複数の人物が検出された場合、前記放置物からの距離が所定の閾値以下の人物、又は、前記距離が短い方から上位数名を前記対象人物に特定することを特徴とする映像監視システム。 - 請求項1乃至請求項4のいずれかに記載の映像監視システムにおいて、
前記人物特定部は、前記特定した画像から複数の人物が検出された場合、前記放置物と一緒に映っている時間が長い人物を前記対象人物として特定することを特徴とする映像監視システム。 - 請求項1乃至請求項4のいずれかに記載の映像監視システムにおいて、
前記人物特定部は、前記特定した画像に前記対象人物の顔が映っていない場合は、同一の撮像装置で撮影された前記特定した画像の前後数フレームの画像の中から顔の映りが良好な同一人物の画像を選定して顔特徴量を取得することを特徴とする映像監視システム。 - 複数の撮像装置のいずれかで撮影された画像に映った放置物を検知する工程と、
前記放置物が検知された場合に、前記放置物が検知された画像を撮像した撮像装置から受信した一連の画像について、前記放置物の発見時点から逆再生方向に画像を処理していき、前記放置物が置かれる直前の画像を特定し、又は、前記放置物が存在しないことが判明している過去の時点から順再生方向に画像を処理していき、前記放置物が置かれた直後の画像を特定し、前記特定した画像に映った少なくとも一人の人物を対象人物に特定する工程と、
前記複数の撮像装置の各々で撮影された画像の中から、前記対象人物が映った画像を検索する工程と、
前記対象人物が映った各画像を撮影した撮像装置及び撮像時刻に基づいて、前記対象人物の移動を示す表示を画面出力させる工程と、
を含むことを特徴とする映像監視方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/017077 WO2018198373A1 (ja) | 2017-04-28 | 2017-04-28 | 映像監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018198373A1 JPWO2018198373A1 (ja) | 2019-11-14 |
JP6674584B2 true JP6674584B2 (ja) | 2020-04-01 |
Family
ID=63919576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019515072A Active JP6674584B2 (ja) | 2017-04-28 | 2017-04-28 | 映像監視システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11017537B2 (ja) |
EP (1) | EP3618427B1 (ja) |
JP (1) | JP6674584B2 (ja) |
SG (1) | SG11201908010YA (ja) |
WO (1) | WO2018198373A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018179202A1 (ja) | 2017-03-30 | 2018-10-04 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
CN111291585B (zh) * | 2018-12-06 | 2023-12-08 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪系统、方法、装置及球机 |
JP7371806B2 (ja) * | 2018-12-07 | 2023-10-31 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7298729B2 (ja) * | 2018-12-07 | 2023-06-27 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
WO2020115910A1 (ja) | 2018-12-07 | 2020-06-11 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
WO2020118430A1 (en) * | 2018-12-12 | 2020-06-18 | Avigilon Corporation | Object left behind detection |
CN113647097B (zh) * | 2019-03-01 | 2024-08-06 | 株式会社日立制作所 | 遗留物检测装置及遗留物检测方法 |
US20220319295A1 (en) * | 2019-05-21 | 2022-10-06 | Nec Corporation | Area management apparatus, area management method and program |
US11170239B2 (en) * | 2019-11-19 | 2021-11-09 | Lg Electronics Inc. | Electronic apparatus and operation method thereof |
DE102019134813A1 (de) * | 2019-12-17 | 2021-06-17 | G2K Group GmbH | Ereignis-Überwachung in einem räumlichen Bereich |
KR102413960B1 (ko) | 2020-10-12 | 2022-06-27 | 서울대학교산학협력단 | 질의 응답 장치 및 방법 |
CN112926431A (zh) * | 2021-02-20 | 2021-06-08 | 北京市商汤科技开发有限公司 | 垃圾检测方法、装置、设备及计算机存储介质 |
EP4354388A4 (en) | 2021-06-11 | 2024-08-21 | Panasonic Ip Man Co Ltd | TASK ANALYSIS APPARATUS AND METHOD |
US20230141862A1 (en) * | 2021-11-09 | 2023-05-11 | AvaSure, LLC | Predictive system for elopement detection |
US11914749B2 (en) * | 2021-12-07 | 2024-02-27 | Motorola Solutions, Inc. | Selective and protected release of private information to an incident response team |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060018516A1 (en) * | 2004-07-22 | 2006-01-26 | Masoud Osama T | Monitoring activity using video information |
US10019877B2 (en) * | 2005-04-03 | 2018-07-10 | Qognify Ltd. | Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site |
JP4945477B2 (ja) | 2008-02-21 | 2012-06-06 | 株式会社日立国際電気 | 監視システム、人物検索方法 |
JP5203319B2 (ja) * | 2009-08-25 | 2013-06-05 | セコム株式会社 | 置き去り監視装置 |
JP2011061651A (ja) | 2009-09-14 | 2011-03-24 | Hitachi Kokusai Electric Inc | 不審物検知システム |
US20130282446A1 (en) * | 2010-04-15 | 2013-10-24 | Colin Dobell | Methods and systems for capturing, measuring, sharing and influencing the behavioural qualities of a service performance |
JP5691764B2 (ja) * | 2011-04-12 | 2015-04-01 | サクサ株式会社 | 置き去り又は持ち去り検知システム |
JP5691807B2 (ja) * | 2011-04-28 | 2015-04-01 | サクサ株式会社 | 置き去り又は持ち去り検知システム |
US9396538B2 (en) | 2012-09-19 | 2016-07-19 | Nec Corporation | Image processing system, image processing method, and program |
US10248868B2 (en) * | 2012-09-28 | 2019-04-02 | Nec Corporation | Information processing apparatus, information processing method, and information processing program |
JP5954106B2 (ja) | 2012-10-22 | 2016-07-20 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
JP7083809B2 (ja) * | 2016-08-02 | 2022-06-13 | アトラス5ディー, インコーポレイテッド | プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 |
-
2017
- 2017-04-28 EP EP17907868.8A patent/EP3618427B1/en active Active
- 2017-04-28 WO PCT/JP2017/017077 patent/WO2018198373A1/ja active Application Filing
- 2017-04-28 SG SG11201908010YA patent/SG11201908010YA/en unknown
- 2017-04-28 US US16/490,043 patent/US11017537B2/en active Active
- 2017-04-28 JP JP2019515072A patent/JP6674584B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US11017537B2 (en) | 2021-05-25 |
EP3618427A4 (en) | 2020-08-26 |
US20200043174A1 (en) | 2020-02-06 |
EP3618427A1 (en) | 2020-03-04 |
EP3618427B1 (en) | 2022-04-13 |
JPWO2018198373A1 (ja) | 2019-11-14 |
SG11201908010YA (en) | 2019-09-27 |
WO2018198373A1 (ja) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6674584B2 (ja) | 映像監視システム | |
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
US10474918B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4984728B2 (ja) | 被写体照合装置および被写体照合方法 | |
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
JP5058279B2 (ja) | 画像検索装置 | |
JP7143912B2 (ja) | 人物検出システム | |
WO2018096787A1 (ja) | 人物行動監視装置および人物行動監視システム | |
JP2018160219A (ja) | 移動経路予測装置、及び移動経路予測方法 | |
JPWO2014171258A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11120838B2 (en) | Information processing apparatus, control method, and program | |
JP5832910B2 (ja) | 画像監視装置 | |
JP2018005555A (ja) | 画像処理装置、情報処理装置、および方法、並びにプログラム | |
JP2013235580A (ja) | ビデオ解析 | |
JP2014016968A (ja) | 人物検索装置及びデータ収集装置 | |
CN111670456B (zh) | 信息处理装置、追踪方法和记录介质 | |
US10783365B2 (en) | Image processing device and image processing system | |
US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
JP2012212238A (ja) | 物品検出装置および静止人物検出装置 | |
JP5051885B2 (ja) | 人物検索装置及び人物検索方法 | |
JP2018195992A (ja) | 人物グループ追跡装置および人物グループ追跡方法 | |
JP2022011666A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7487888B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2015001871A (ja) | 人物判定装置、人物判定方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6674584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |