WO2021166688A1 - 事象検知システム - Google Patents

事象検知システム Download PDF

Info

Publication number
WO2021166688A1
WO2021166688A1 PCT/JP2021/004343 JP2021004343W WO2021166688A1 WO 2021166688 A1 WO2021166688 A1 WO 2021166688A1 JP 2021004343 W JP2021004343 W JP 2021004343W WO 2021166688 A1 WO2021166688 A1 WO 2021166688A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
event detection
detection
server
determination criterion
Prior art date
Application number
PCT/JP2021/004343
Other languages
English (en)
French (fr)
Inventor
佑一郎 小宮
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2022501794A priority Critical patent/JPWO2021166688A1/ja
Publication of WO2021166688A1 publication Critical patent/WO2021166688A1/ja
Priority to JP2024002287A priority patent/JP2024028447A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an event detection system that detects the occurrence of a predetermined event.
  • a surveillance system that detects the occurrence of a predetermined event (white cane, falling object on the road, etc.) has been put into practical use by image processing technology or the like for an image taken by a surveillance camera.
  • a predetermined event white cane, falling object on the road, etc.
  • Patent Document 1 based on the angle of view of the surveillance camera and the determination criteria set for each position in the image, the area and pixel value of the object are divided into blocks and the type of the object is identified from the local feature amount.
  • a system for detecting the presence or absence of an obstacle generated in the image from the information on the type of the object is disclosed.
  • FIG. 6 shows a schematic configuration of a monitoring system according to a conventional example.
  • the surveillance system of the figure includes a plurality of surveillance cameras 110 (N surveillance cameras 110-1 to 110-N in FIG. 6), a central device 120, and a surveillance terminal 130.
  • Each surveillance camera 110 has individual determination criteria 112 (determination criteria 112-1 to 112-N in FIG. 6) specialized for its own shooting environment.
  • the surveillance camera 110 executes an event detection process on the image obtained by shooting using the determination criterion 112 owned by the surveillance camera 110, and when a predetermined event is detected, the event data (camera ID, The shooting time, shooting location, etc.) are transmitted to the central device 120.
  • the central device 120 records the event data received from the surveillance camera 110 in the history database 122, and transmits the event data to the surveillance terminal 130 for confirmation by the user.
  • a monitoring system with such a configuration, it is not always necessary to distribute the image data taken by the surveillance camera to the system network, so the entire system is compared with the monitoring system in which a server dedicated to image processing collectively detects events. Network load can be reduced.
  • the shooting environment angle of view, sunshine conditions, etc.
  • high detection performance can be obtained by using individual judgment criteria specialized for the shooting environment.
  • the judgment criteria specialized for a specific shooting environment are likely to have lower performance than the general-purpose judgment criteria in other shooting environments.
  • One of the methods to improve the performance of event detection is to relearn and adjust the judgment criteria so as to specialize in the shooting environment.
  • the judgment criteria it is necessary to know the accuracy of the event detection technology to be adjusted and the sample data used for the learning process. Therefore, it is conceivable to acquire the image of the surveillance camera to be adjusted by some method and adjust the judgment criteria by learning processing based on the sample data generated from the image.
  • the present invention has been made in view of the above-mentioned conventional circumstances, and provides an event detection system having excellent detection performance and capable of more appropriately adjusting by re-learning the judgment criteria.
  • the purpose is to provide.
  • the event detection system is configured as follows in the present invention. That is, in an event detection system equipped with a plurality of event detection devices that execute event detection processing using the judgment criteria possessed by each, additional detection is performed for event data transmitted from the event detection device that has detected the event. It also has a server that executes processing.
  • the event detection device executes the event detection process using the first determination criterion common to each event detection device, and transmits the event data to the server when the event is detected.
  • the server executes additional detection processing on the event data received from the event detection device by using the second determination criterion corresponding to the event detection device.
  • the event detection device side can perform low-precision detection processing, and when an event is detected, the server side can perform high-precision detection processing, so that the increase in network load can be suppressed. , It is possible to obtain excellent detection performance. In addition, not only false detections but also cases of detection omissions can be accumulated on the server side, so adjustments can be made in the direction of improving detection omissions, and adjustments can be made more appropriately by re-learning the judgment criteria. It becomes possible to do.
  • a terminal device that accepts the suitability of the result of the additional detection process from the user is provided, and the server determines the second determination criterion based on the suitability of the result of the additional detection process. You may update it.
  • the terminal device may display the result of the additional detection process in a grouped manner.
  • the first determination criterion one adjusted so as to prioritize the suppression of detection omission over the suppression of false detection may be used.
  • an event detection system that has excellent detection performance and can more appropriately perform adjustment by re-learning the judgment criteria.
  • FIG. 1 It is a figure which shows the schematic structure of the monitoring system which concerns on one Embodiment of this invention. It is a figure explaining the re-learning of the determination criteria in the monitoring system of FIG. It is a figure which shows an example of the learning data selection screen in the monitoring system of FIG. It is a figure explaining the grouping of the event detection result which concerns on the modification of the monitoring system of FIG. It is an example of the group display of the event detection result which concerns on the modification of the monitoring system of FIG. It is a figure which shows the schematic structure of the monitoring system which concerns on the prior art example.
  • FIG. 1 shows a configuration example of a monitoring system which is an example of the event monitoring system according to the present invention.
  • the surveillance system in the figure includes a plurality of surveillance cameras 10 (N surveillance cameras 10-1 to 10-N in FIG. 1), a central device 20, a surveillance terminal 30, a management terminal 35, and an event detection server. It has 40 and.
  • the surveillance camera 10 is an example of the event detection device according to the present invention
  • the central device 20 and the event detection server 40 are examples of the server according to the present invention
  • the management terminal 35 is an example of the terminal device according to the present invention. Is.
  • the surveillance cameras 10 are installed in different places (that is, different shooting environments), but have common determination criteria 12 for each other. As the determination criterion 12, one adjusted so as to prioritize the suppression of detection omission over the suppression of false detection is used.
  • the surveillance camera 10 executes an event detection process on the captured image using the determination criterion 12, and when a predetermined event is detected, transmits the event data to the central device 20.
  • the event data transmitted to the central device 20 includes not only the camera ID, the shooting time, the shooting location, etc., but also information necessary for re-execution of the event detection process (for example, a shot image and its feature amount).
  • the central device 20 When the central device 20 receives the event data from the surveillance camera 10, it sends it to the event detection server 40 to execute additional event detection processing. After that, the central device 20 records the result data of the additional event detection process transmitted from the event detection server 40 in the history database 22 and transmits the result data to the monitoring terminal 30 for display.
  • the event detection server 40 has individual judgment criteria 42 (N judgment criteria 42-1 to 42-N in FIG. 1) specialized for the shooting environment of each surveillance camera 10.
  • the event detection server 40 executes additional event detection processing on the event data received through the central device 20 using the determination criterion 42 corresponding to the monitoring camera 10 of the transmission source, and transfers the result data to the central device 20. Send.
  • the event detection server 40 has a function of adjusting the individual determination criteria 42 by re-learning. As shown in FIG. 2, the re-learning of the determination criterion 42 is executed based on the base learning data and the additional learning data.
  • the base learning data is learning data that is commonly prepared for all of the determination criteria 42, and is basically fixed.
  • the additional learning data is learning data individually prepared for each of the determination criteria 42, and is updated by the management user through the management terminal 35 during the operation of the system. In this example, it is assumed that the management user selects the additional learning data from the result data (sample data) in the history database 22, but even if the learning data is taken in from another system or the like. good.
  • the management terminal 35 provides the management user with a screen for selecting additional learning data.
  • the management user can call the selection screen as shown in FIG. 3 by selecting the surveillance camera 10 to be selected for the additional learning data.
  • the selection screen 50 of FIG. 3 has an event detection history display area 51, an event detection image display area 52, a detection information display area 54, a detection omission button 55, a false detection button 56, and a non-adopted button 57. doing.
  • the history of the event detection result (event detection date and time, detection result, etc.) of the target surveillance camera 10 is displayed in a user-selectable list format. Although omitted in FIG. 3, a thumbnail image obtained by reducing the captured image may be additionally displayed.
  • a captured image of the event detection result selected from the event detection history display area 51 is displayed. Further, in the event detection image display area 52, a frame 53 indicating the range in which the event in the captured image is detected is also displayed.
  • the detection information display area 54 information regarding the selected event detection result, for example, the type, size, accuracy, etc. of the detected event is displayed.
  • Buttons 55 to 57 are controls for accepting from the management user whether or not to adopt the selected event detection result as the learning data.
  • the management user presses the detection omission button 55 when adopting the selected event detection result as a case of detection omission in the learning data, and presses the false detection button 56 when adopting the selected event detection result in the learning data as an example of false detection. If it is pressed and not adopted for the learning data, the reject button 57 is pressed.
  • the event detection server 40 compares the performance of the new judgment criteria obtained by the re-learning with the judgment criteria used so far.
  • the test data may be any video or image, or may be created from the past history. For example, images or images of events that could not be detected in the past, events that were listed as false alarms in the past, or the like may be used as test data.
  • another method of performance comparison there is a method of performing detection processing on test data and evaluating by detection rate or accuracy (low error rate), for example. Then, the result of the evaluation may be presented and the manager may make a judgment.
  • the determination criterion 42 of the corresponding surveillance camera 10 is updated so that the new determination criterion will be used in the future event detection process.
  • the timing of performing relearning is arbitrary.
  • the re-learning may be executed according to the instruction of the management user, the re-learning may be executed according to a preset schedule, or the re-learning may be executed periodically.
  • the result data of the event detection process may be divided into a plurality of groups by a clustering technique and presented to the user in group units.
  • the central device 20 calculates the feature amounts of the captured images (images 1 to 6 captured by the surveillance camera A in FIG. 4) to be clustered.
  • the feature quantity includes, for example, the brightness of the entire image, the position information of the object extracted from the image, and the feature (color, size, shape, etc.) of the object extracted from the image.
  • the captured images are classified into a plurality of groups by using, for example, a clustering technique such as convex clustering or the K-means method.
  • image 1 and image 4 are classified into cluster 1
  • image 2 is classified into cluster 2
  • image 3 image 5, and image 6 are classified into cluster 3.
  • the granularity of clustering is arbitrary, and the granularity may be changed by the management user.
  • FIG. 5 shows an example of displaying the event detection results by group.
  • the event detection history display area 51'shown in FIG. 5 is a modification of the event detection history display area 51 of the selection screen 50 of FIG. 3, and the history of the event detection results is collectively displayed in groups. As a result, similar captured images are displayed as a group.
  • each of the plurality of surveillance cameras 10 executes the event detection process using the determination criteria 12 common to each other, and when the event is detected, the event data is centralized.
  • the event detection server 40 which has been transmitted to 20 and connected to the central device 20, performs additional event detection processing on the event data received from the surveillance camera 10 by using the individual determination criteria 42 corresponding to the surveillance camera 10. It is configured to run.
  • the monitoring camera 10 side can perform low-precision detection processing, and when an event is detected, the event detection server 40 side can perform high-precision detection processing. It is possible to obtain excellent detection performance while suppressing the increase in load. In addition, not only false detections but also cases of detection omissions can be accumulated in the history database 22, so that adjustments can be made in the direction of improving detection omissions, and adjustments by re-learning the judgment criterion 42 can be performed more appropriately. Is possible.
  • the monitoring system of this example further includes a management terminal 35 that receives from the management user whether or not the result of the event detection process by the event detection server 40 is appropriate, and the event detection server 40 accepts the result of the event detection process. It is configured to relearn and update the criterion 42 based on suitability. Therefore, the management user can select the learning data to be used for the re-learning of the determination criterion 42 after examining the suitability of the result of the event detection process by the event detection server 40.
  • the management terminal 35 is configured to display the result of the event detection process by the event detection server 40 in a grouped manner. Therefore, the management user can easily grasp in what case the false alarms increase, and can efficiently select the cases to be added as learning data.
  • the monitoring system of this example is configured to use a criterion 12 adjusted so as to prioritize the suppression of detection omissions over the suppression of false positives. Therefore, it is possible to suppress the occurrence of detection omission in the event detection process by the surveillance camera 10.
  • the surveillance camera 10 often causes erroneous detection, but there is no particular problem because the event detection server 40 performs additional event detection processing using the determination criterion 42 according to the surveillance camera 10.
  • one determination criterion 42 is prepared for one surveillance camera 10, but a plurality of determination criteria 42 may be prepared for one surveillance camera 10.
  • One determination criterion 42 may be prepared for the surveillance camera 10 of the above.
  • a plurality of judgment criteria 42 are prepared in response to fluctuating factors such as time zone, season, and weather, and judgment criteria 42 corresponding to the situation when the surveillance camera 10 detects an event.
  • additional event detection processing is performed using.
  • additional event detection processing is performed using the same determination criterion 42 for the surveillance cameras 10 installed in a similar environment.
  • the central device 20 and the event detection server 40 are provided separately, but these may be configured as an integrated device. In addition, some of the functions of these devices may be executed by other devices. Further, in the above description, the surveillance camera 10 is used as an event detection device, but instead / together with this, a device that detects an event based on other physical quantities such as sound, light, vibration, and acceleration is used. You may.
  • the present invention has been described above based on one embodiment, it goes without saying that the present invention is not limited to the monitoring system described here, and can be widely applied to other event detection systems.
  • the present invention also provides, for example, a method including a technical procedure relating to the above processing, a program for executing the above processing by a processor, a storage medium for storing such a program in a computer-readable manner, and the like. Is also possible.
  • the present invention can be used in an event detection system that detects the occurrence of a predetermined event.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

優れた検知性能を有すると共に、判定基準の再学習による調整をより適切に実施することが可能な事象検知システムを提供する。　複数の監視カメラ１０のそれぞれが、互いに共通の判定基準１２を用いて事象検知処理を実行し、事象が検知された場合にその事象データを中央装置２０へ送信し、中央装置２０に接続された事象検知サーバ４０が、監視カメラ１０から受信した事象データに対し、その監視カメラ１０に対応する個別の判定基準４２を用いて追加の事象検知処理を実行する。

Description

事象検知システム
　本発明は、所定の事象の発生を検知する事象検知システムに関する。
　従来、監視カメラにより撮影された画像に対する画像処理技術等により、所定の事象（白杖、道路上の落下物など）の発生を検知する監視システムが実用されている。例えば、特許文献１には、監視カメラの画角と映像内の位置毎に設定された判定基準に基づいて、物体の領域と画素値をブロックに分割して局所特徴量から物体の種別を識別し、物体の種別の情報から映像内に発生した障害物の有無を検知するシステムが開示されている。
　近年、監視カメラ側で事象検知を行う監視システムが開発されている。図６には、従来例に係る監視システムの概略的な構成を示してある。同図の監視システムは、複数の監視カメラ１１０（図６では、Ｎ台の監視カメラ１１０－１～１１０－Ｎ）と、中央装置１２０と、監視端末１３０とを備えている。各々の監視カメラ１１０は、自身の撮影環境に特化した個別の判定基準１１２（図６では、判定基準１１２－１～１１２－Ｎ）をそれぞれ保有している。監視カメラ１１０は、撮影により得られた画像に対して、自身が保有する判定基準１１２を用いて事象検知処理を実行し、所定の事象が検知された場合には、その事象データ（カメラＩＤ、撮影時刻、撮影場所など）を中央装置１２０へ送信する。中央装置１２０は、監視カメラ１１０から受信した事象データを履歴データベース１２２に記録すると共に、監視端末１３０に送信してユーザに確認させる。
　このような構成の監視システムでは、監視カメラで撮影した画像のデータを必ずしもシステムのネットワークに配信する必要がないため、画像処理専用のサーバが一括で事象検知する監視システムと比較して、システム全体のネットワーク負荷を下げることができる。また、撮影環境（画角、日照条件など）は監視カメラによって異なるため、撮影環境に特化した個別の判定基準を用いることで、高い検知性能を得ることができる。ただし、特定の撮影環境に特化させた判定基準は、他の撮影環境では汎用的な判定基準よりも低い性能となる可能性が高い。
特開２０１９－１２４９８６号公報
　事象検知の性能を高める手法の一つとして、判定基準を撮影環境に特化させるように再学習して調整することが挙げられる。判定基準を再学習するためには、調整対象の事象検知技術の精度を知ることと、学習処理に使用するサンプルデータが必要となる。そこで、調整対象となる監視カメラの映像を何らかの方法で取得し、その映像から生成したサンプルデータに基づく学習処理により判定基準を調整することが考えられる。
　しかしながら、監視カメラ側で事象検知を行うシステムの場合、事象検知技術の精度の計測およびサンプルデータの取得は容易ではない。なぜならば、検知漏れの事象（検知すべき事象を検知し損ねたこと）をシステムが認識できず、その際のサンプルデータを取得できないためである。このため、事象検知の失敗例としては、誤検知（事象が発生していないにもかかわらず誤って検知と判定すること）しか収集できない。したがって、再学習を行ったとしても、誤検知を抑制する方向の改善しかできず、検知漏れを抑制する方向の改善は期待できない。また、監視カメラの映像を何らかの方法で収集し、その映像を用いて個別に調整することも考えられるが、監視カメラが多数ある場合は作業量が膨大となり、現実的ではない。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、優れた検知性能を有すると共に、判定基準の再学習による調整をより適切に実施することが可能な事象検知システムを提供することを目的とする。
　上記目的を達成するために、本発明では、事象検知システムを以下のように構成した。
　すなわち、各々が保有する判定基準を用いて事象の検知処理を実行する複数の事象検知装置を備えた事象検知システムにおいて、事象を検知した事象検知装置から送信される事象データに対して追加の検知処理を実行するサーバを更に備える。事象検知装置は、各事象検知装置で共通の第１判定基準を用いて事象の検知処理を実行し、事象が検知された場合にその事象データをサーバへ送信する。サーバは、事象検知装置から受信した事象データに対し、その事象検知装置に応じた第２判定基準を用いて追加の検知処理を実行する。
　このような構成によれば、事象検知装置側で精度の低い検知処理を行い、事象が検知された場合にサーバ側で精度の高い検知処理を行うことができるので、ネットワーク負荷の増大を抑えつつ、優れた検知性能を得ることが可能となる。また、誤検知だけでなく検知漏れの事例についてもサーバ側に蓄積できるにようになるので、検知漏れを改善する方向の調整も行えるようになり、判定基準の再学習による調整をより適切に実施することが可能となる。
　ここで、一構成例として、追加の検知処理の結果についての適否をユーザから受け付ける端末装置を備え、サーバは、追加の検知処理の結果に対して受け付けた適否に基づいて、第２判定基準を更新してもよい。この場合、端末装置は、追加の検知処理の結果をグループ分けした態様で表示してもよい。
　また、一構成例として、第１判定基準として、誤検知の抑制よりも検知漏れの抑制を優先するように調整されたものを用いてもよい。
　本発明によれば、優れた検知性能を有すると共に、判定基準の再学習による調整をより適切に実施することが可能な事象検知システムを提供することができる。
本発明の一実施形態に係る監視システムの概略的な構成を示す図である。 図１の監視システムにおける判定基準の再学習について説明する図である。 図１の監視システムにおける学習データの選択画面の一例を示す図である。 図１の監視システムの変形例に係る事象検知結果のグループ化について説明する図である。 図１の監視システムの変形例に係る事象検知結果のグループ別表示の一例を図である。 従来例に係る監視システムの概略的な構成を示す図である。
　本発明の一実施形態について図面を参照して説明する。
　図１には、本発明に係る事象監視システムの一例である監視システムの構成例を示してある。同図の監視システムは、複数の監視カメラ１０（図１では、Ｎ台の監視カメラ１０－１～１０－Ｎ）と、中央装置２０と、監視端末３０と、管理端末３５と、事象検知サーバ４０とを備えている。監視カメラ１０は、本発明に係る事象検知装置の一例であり、中央装置２０及び事象検知サーバ４０は、本発明に係るサーバの一例であり、管理端末３５は、本発明に係る端末装置の一例である。
　監視カメラ１０は、それぞれ異なる場所（すなわち、異なる撮影環境）に設置されているが、互いに共通の判定基準１２を保有している。判定基準１２としては、誤検知の抑制よりも検知漏れの抑制を優先するように調整されたものが使用される。監視カメラ１０は、撮影した画像に対して判定基準１２を用いて事象検知処理を実行し、所定の事象が検知された場合には、その事象データを中央装置２０へ送信する。中央装置２０へ送信する事象データには、カメラＩＤ、撮影時刻、撮影場所などのほか、事象検知処理を再度実行する際に必要な情報（例えば、撮影画像やその特徴量など）も含まれる。
　中央装置２０は、監視カメラ１０から事象データを受信すると、事象検知サーバ４０に送信して追加の事象検知処理を実行させる。その後、中央装置２０は、事象検知サーバ４０から送信される追加の事象検知処理の結果データを履歴データベース２２に記録すると共に、監視端末３０に送信して表示させる。
　事象検知サーバ４０は、それぞれの監視カメラ１０の撮影環境に特化した個別の判定基準４２（図１では、Ｎ個の判定基準４２－１～４２－Ｎ）を保有している。事象検知サーバ４０は、中央装置２０を通じて受信した事象データに対し、その送信元の監視カメラ１０に対応する判定基準４２を用いて追加の事象検知処理を実行し、その結果データを中央装置２０へ送信する。
　また、事象検知サーバ４０は、個別の判定基準４２を再学習により調整する機能を有する。判定基準４２の再学習は、図２に示すように、ベースの学習データと、追加分の学習データとに基づいて実行される。ベースの学習データは、判定基準４２の全てに対して共通に用意される学習データであり、基本的に固定されている。追加分の学習データは、判定基準４２のそれぞれに対して個別に用意される学習データであり、システムの運用中に管理ユーザにより管理端末３５を通じて更新される。本例では、履歴データベース２２内の結果データ（サンプルデータ）の中から追加分の学習データを管理ユーザに選択させることを想定しているが、他のシステムなどから学習データを取り込むようにしてもよい。
　管理端末３５は、追加分の学習データの選択画面を管理ユーザに提供する。管理ユーザは、追加分の学習データを選択する対象となる監視カメラ１０を選ぶことで、図３に示すような選択画面を呼び出すことができる。図３の選択画面５０は、事象検知履歴表示領域５１と、事象検知画像表示領域５２と、検知情報表示領域５４と、検知漏れボタン５５と、誤検知ボタン５６と、不採用ボタン５７とを有している。
　事象検知履歴表示領域５１には、対象の監視カメラ１０についての事象検知結果の履歴（事象の検知日時や検知結果など）がユーザ選択可能なリスト形式で表示される。なお、図３では省略しているが、撮影画像を縮小したサムネイル画像を追加で表示してもよい。事象検知画像表示領域５２には、事象検知履歴表示領域５１の中から選択された事象検知結果についての撮影画像が表示される。また、事象検知画像表示領域５２には、撮影画像内の事象が検知された範囲を示す枠５３も表示される。検知情報表示領域５４には、選択中の事象検知結果に関する情報、例えば、検知した事象の種類、サイズ、確度などが表示される。
　ボタン５５～５７は、選択中の事象検知結果を学習データに採用するか否かを管理ユーザから受け付けるための操作子である。管理ユーザは、選択中の事象検知結果を検知漏れの事例として学習データに採用する場合には検知漏れボタン５５を押下し、誤検知の事例として学習データに採用する場合には誤検知ボタン５６を押下し、学習データに採用しない場合には不採用ボタン５７を押下する。
　事象検知サーバ４０は、カメラ個別の判定基準の再学習を実行した後、再学習により得られた新たな判定基準と、これまで使用していた判定基準との性能比較を行う。ここで、性能比較としては、試験データを準備する方法があり、試験データは任意の映像でも画像でもよく、また、過去の履歴から作成してもよい。例えば、過去に検知できなかった事象、過去に誤報として挙がった事象などの映像や画像を試験データに利用してもよい。また、性能比較のもう１つの方法として、試験データに対して検知処理を行い、例えば、検知率や精度（誤差率の低さ）で評価する方法がある。そして、評価の結果を提示して、管理者に判断させてもよい。その結果、検知性能が向上したと判定された場合には、新たな判定基準が今後の事象検知処理で使用されるように、該当する監視カメラ１０の判定基準４２を更新する。再学習を実行するタイミングは任意である。例えば、管理ユーザの指示により再学習を実行してもよいし、予め設定されたスケジュールに従って再学習を実行してもよいし、定期的に再学習を実行してもよい。
　次に、カメラ個別の判定基準４２の性能を効率的に向上させる手法について説明する。判定基準の性能を向上させるには、適切な学習データを用いて再学習を行う必要がある。そこで、ユーザによる学習データの選択作業が容易になるように、事象検知処理の結果データをクラスタリング技術により複数のグループに分け、グループ単位でユーザに提示するようにしてもよい。
　事象検知処理の結果データのクラスタリングについて、図４を参照して説明する。中央装置２０はまず、クラスタリングの対象となる撮影画像（図４では、監視カメラＡにより撮影された画像１～画像６）のそれぞれの特徴量を演算する。特徴量には、例えば、画像全体の明るさや、画像から抽出された物体の位置情報や、画像から抽出された物体の特徴（色、大きさ、形状など）がある。その後、それぞれの撮影画像について得られた特徴量に基づいて、例えば、凸クラスタリング、Ｋ－ｍｅａｎｓ法などのクラスタリング技術を用いて、撮影画像を複数のグループに分類する。図４では、画像１，画像４がクラスタ１に分類され、画像２がクラスタ２に分類され、画像３，画像５，画像６がクラスタ３に分類されている。なお、クラスタリングの粒度は任意であり、粒度を管理ユーザが変更できるようにしてもよい。
　図５には、事象検知結果のグループ別表示の一例を示してある。図５に示す事象検知履歴表示領域５１’は、図３の選択画面５０の事象検知履歴表示領域５１の変形例であり、事象検知結果の履歴をグループ単位にまとめて表示している。これにより、似たような撮影画像がグループとしてまとめて表示されることになる。
　以上のように、本例の監視システムは、複数の監視カメラ１０のそれぞれが、互いに共通の判定基準１２を用いて事象検知処理を実行し、事象が検知された場合にその事象データを中央装置２０へ送信し、中央装置２０に接続された事象検知サーバ４０が、監視カメラ１０から受信した事象データに対し、その監視カメラ１０に対応する個別の判定基準４２を用いて追加の事象検知処理を実行するように構成されている。
　したがって、本例の監視システムによれば、監視カメラ１０側で精度の低い検知処理を行い、事象が検知された場合に事象検知サーバ４０側で精度の高い検知処理を行うことができるので、ネットワーク負荷の増大を抑えつつ、優れた検知性能を得ること可能となる。また、誤検知だけでなく検知漏れの事例についても履歴データベース２２に蓄積できるので、検知漏れを改善する方向の調整も行えるようになり、判定基準４２の再学習による調整をより適切に実施することが可能となる。
　また、本例の監視システムは、事象検知サーバ４０による事象検知処理の結果についての適否を管理ユーザから受け付ける管理端末３５を更に備え、事象検知サーバ４０が、事象検知処理の結果に対して受け付けた適否に基づいて、判定基準４２を再学習して更新するように構成されている。したがって、管理ユーザは、事象検知サーバ４０による事象検知処理の結果の適否を検討した上で、判定基準４２の再学習に使用する学習データの選択を行えるようになる
　また、本例の監視システムは、管理端末３５が、事象検知サーバ４０による事象検知処理の結果をグループ分けした態様で表示するように構成されている。したがって、管理ユーザは、どのような場合に誤報が多くなるかを把握しやすくなり、学習データとして追加する事例を選別する作業を効率的に行えるようになる。
　また、本例の監視システムは、判定基準１２として、誤検知の抑制よりも検知漏れの抑制を優先するように調整されたものを用いるように構成されている。したがって、監視カメラ１０による事象検知処理での検知漏れの発生を抑制することができる。この場合、監視カメラ１０では誤検知の発生が多くなるが、事象検知サーバ４０が監視カメラ１０に応じた判定基準４２を用いて追加の事象検知処理を行うので、特に支障はない。
　ここで、上記の説明では、１つの監視カメラ１０に対して１つの判定基準４２を用意しているが、１つの監視カメラ１０に対して複数の判定基準４２を用意してもよいし、複数の監視カメラ１０に対して１つの判定基準４２を用意してもよい。前者の例としては、時間帯、季節、天候などの変動的な要因に対応させて複数の判定基準４２を用意しておき、監視カメラ１０が事象を検知した際の状況に対応する判定基準４２を使用して追加の事象検知処理を行うケースが挙げられる。後者の例としては、似たような環境に設置された監視カメラ１０に対しては、同じ判定基準４２を使用して追加の事象検知処理を行うケースが挙げられる。
　また、上記の説明では、中央装置２０と事象検知サーバ４０を別々に設けてあるが、これらを一体の装置として構成してもよい。また、これらの装置の機能の一部を他の装置により実行させてもよい。また、上記の説明は、監視カメラ１０を事象検知装置として用いているが、これに代えて／これと共に、音、光、振動、加速度などの他の物理量に基づいて事象を検知する装置を用いてもよい。
　以上、本発明について一実施形態に基づいて説明したが、本発明はここに記載された監視システムに限定されるものではなく、他の事象検知システムに広く適用することができることは言うまでもない。
　また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。
　本発明は、所定の事象の発生を検知する事象検知システムに利用することができる。
　１０（１０－１～１０－Ｎ）：監視カメラ、　１２：共通の判定基準、　２０：中央装置、　２２：履歴データベース、　３０：監視端末、　３５：管理端末、　４０：事象検知サーバ、　４２（４２－１～４２－Ｎ）：個別の判定基準、
　１１０（１１０－１～１１０－Ｎ）：監視カメラ、　１１２（１１２－１～１１２－Ｎ）：個別の判定基準、　１２０：中央装置、　１２２：履歴データベース、　１３０：監視端末

Claims (4)

  1. 　各々が保有する判定基準を用いて事象の検知処理を実行する複数の事象検知装置を備えた事象検知システムにおいて、
    　前記事象を検知した事象検知装置から送信される事象データに対して追加の検知処理を実行するサーバを更に備え、
    　前記事象検知装置は、各事象検知装置で共通の第１判定基準を用いて事象の検知処理を実行し、事象が検知された場合にその事象データを前記サーバへ送信し、
    　前記サーバは、前記事象検知装置から受信した事象データに対し、その事象検知装置に応じた第２判定基準を用いて追加の検知処理を実行することを特徴とする事象検知システム。
  2. 　請求項１に記載の事象検知システムにおいて、
    　前記追加の検知処理の結果についての適否をユーザから受け付ける端末装置を備え、
    　前記サーバは、前記追加の検知処理の結果に対して受け付けた適否に基づいて、前記第２判定基準を更新することを特徴とする事象検知システム。
  3. 　請求項２に記載の事象検知システムにおいて、
    　前記端末装置は、前記追加の検知処理の結果をグループ分けした態様で表示することを特徴とする事象検知システム。
  4. 　請求項１乃至請求項３のいずれかに記載の事象検知システムにおいて、
    　前記第１判定基準は、誤検知の抑制よりも検知漏れの抑制を優先するように調整されていることを特徴とする事象検知システム。
PCT/JP2021/004343 2020-02-19 2021-02-05 事象検知システム WO2021166688A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022501794A JPWO2021166688A1 (ja) 2020-02-19 2021-02-05
JP2024002287A JP2024028447A (ja) 2020-02-19 2024-01-11 事象検知システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020026152 2020-02-19
JP2020-026152 2020-02-19

Publications (1)

Publication Number Publication Date
WO2021166688A1 true WO2021166688A1 (ja) 2021-08-26

Family

ID=77390992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004343 WO2021166688A1 (ja) 2020-02-19 2021-02-05 事象検知システム

Country Status (2)

Country Link
JP (2) JPWO2021166688A1 (ja)
WO (1) WO2021166688A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231442A (ja) * 1994-02-21 1995-08-29 Fujitsu Ltd 防犯監視装置
JP2010087937A (ja) * 2008-10-01 2010-04-15 Nippon Telegr & Teleph Corp <Ntt> 映像検出装置、映像検出方法および映像検出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231442A (ja) * 1994-02-21 1995-08-29 Fujitsu Ltd 防犯監視装置
JP2010087937A (ja) * 2008-10-01 2010-04-15 Nippon Telegr & Teleph Corp <Ntt> 映像検出装置、映像検出方法および映像検出プログラム

Also Published As

Publication number Publication date
JP2024028447A (ja) 2024-03-04
JPWO2021166688A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
WO2009133667A1 (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
JP6092934B2 (ja) 交換用カメラの自動構成
CN109151295B (zh) 一种目标对象抓拍方法、装置及视频监控设备
US9462149B2 (en) Controlling an image forming apparatus according to parameters determined based on paper type history
US20110025847A1 (en) Service management using video processing
US11830251B2 (en) Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system
CN110072078B (zh) 监控摄像机、监控摄像机的控制方法和存储介质
US11386536B2 (en) Image analysis device, image analysis method and image analysis program
US20100315508A1 (en) Video monitoring system and method
JP6413530B2 (ja) 監視システム、映像解析装置、映像解析方法およびプログラム
CN111866465A (zh) 一种基于物联网的小区高空丢物监测系统
JP5137863B2 (ja) 物体検出装置
KR101119084B1 (ko) 메타데이터를 이용한 영상관리 시스템 및 그 방법
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
WO2021166688A1 (ja) 事象検知システム
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2019075078A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
JP5586736B2 (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
KR20180075506A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2013121711A1 (ja) 解析処理装置
JP2010170201A (ja) 物体検出装置
WO2022030548A1 (ja) 監視情報処理装置、方法およびプログラム
CN114466180A (zh) 相机的测试方法、测试装置、安装方法及安装装置
JP2019074774A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
KR101537723B1 (ko) 영상 분석 필터의 우선 순위를 이용하는 영상 분석 시스템 및 영상 분석 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757689

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501794

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757689

Country of ref document: EP

Kind code of ref document: A1