JP6577627B1 - Video surveillance system and method and imaging apparatus - Google Patents
Video surveillance system and method and imaging apparatus Download PDFInfo
- Publication number
- JP6577627B1 JP6577627B1 JP2018090957A JP2018090957A JP6577627B1 JP 6577627 B1 JP6577627 B1 JP 6577627B1 JP 2018090957 A JP2018090957 A JP 2018090957A JP 2018090957 A JP2018090957 A JP 2018090957A JP 6577627 B1 JP6577627 B1 JP 6577627B1
- Authority
- JP
- Japan
- Prior art keywords
- incident
- video
- data
- attribute
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
【課題】 インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供する。【解決手段】 人工知能を利用したインデント映像管理サーバ200による映像分析機能を用いて、問題と思われるインシデント映像を自動的に感知して担当者に通知することで、少人数でも飛躍的に多数のカメラ140の映像を監視することができる。監視対象現場システム100を複数用いた場合に、学習セット用のインシデント映像データが次々に映像記録部211に蓄積され、逐次学習を行うことにより、人工知能の性能が効果的に向上する。【選択図】図1PROBLEM TO BE SOLVED: To provide a video surveillance system and method and an imaging device capable of reducing human labor accompanying incident detection. By using a video analysis function of an indent video management server 200 using artificial intelligence, an incident video which seems to be a problem is automatically detected and notified to a person in charge, so that even a small number of people can dramatically increase. The video of the camera 140 can be monitored. When a plurality of monitoring target field systems 100 are used, incident video data for a learning set is successively accumulated in the video recording unit 211, and the performance of artificial intelligence is effectively improved by performing sequential learning. [Selection] Figure 1
Description
本発明は、映像監視システム及びその方法と撮像装置に関するものである。 The present invention relates to a video monitoring system, a method thereof, and an imaging apparatus.
施設等の監視場所を管理する管理者が所有する管理者端末が、監視場所に設置されたカメラから送信される映像を表示することで、監視場所を監視するシステムが知られている。 2. Description of the Related Art There is known a system that monitors a monitoring location by displaying an image transmitted from a camera installed at a monitoring location by an administrator terminal owned by an administrator who manages the monitoring location such as a facility.
しかしながら、映像データを監視場所で管理者が見てインシデントを特定し、通報を行うので、人的な労力負担が大きいという問題がある。
また、広い範囲から収集した映像データとインシデントとの情報を基に、システム立ち上げから短期間に高精度なインシデント検出を行いたいという要請がある。
また、インシデントが発生してからではなく、発生する可能性が高まったときに事前にその旨を知りたいという要請がある。
However, there is a problem in that the burden of human labor is heavy because the administrator identifies the incident by viewing the video data at the monitoring location and reports the incident.
In addition, there is a demand for highly accurate incident detection within a short period of time from system startup based on video data and incident information collected from a wide range.
In addition, there is a request to know in advance when the possibility of an occurrence increases, not after an incident occurs.
本発明はかかる事情に鑑みてなされたものであり、その目的は、インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供することを目的とする。
また、本発明は、短期間で高精度なインシデント検出を可能にする映像監視システム及びその方法と撮像装置を提供することを目的とする。
また、本発明は、インシデントの発生を事前に予測することを可能にする映像監視システム及びその方法と撮像装置を提供することを目的とする。
The present invention has been made in view of such circumstances, and an object of the present invention is to provide a video monitoring system, a method thereof, and an imaging apparatus that can reduce human labor associated with incident detection.
It is another object of the present invention to provide a video monitoring system, a method thereof, and an imaging apparatus that enable highly accurate incident detection in a short period of time.
It is another object of the present invention to provide a video monitoring system, a method thereof, and an imaging apparatus that make it possible to predict the occurrence of an incident in advance.
上述した従来技術の問題を解決し、上述した目的を達成するために、本発明の映像監視システムは、カメラが撮像した映像の映像データを記録する映像記録部を備えた記録装置と、前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理手段と、複数のインシデントについて、前記インシデント属性管理手段に関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定手段と、前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出手段と、前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定手段が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理手段と、前記インシデント検出手段が検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習手段と有し、前記インシデント属性管理手段は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理手段は、前記事前対応処理手段が前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理手段が実行した前記事前処理を評価して前記学習データを更新し、前記事前対応処理手段は、前記学習手段が生成した前記学習データをさらに用いて、前記事前処理を行い、前記インシデント検出手段は、前記学習手段が生成した前記学習データをさらに用いて前記インシデントを検出する。
In order to solve the above-described problems of the prior art and achieve the above-described object, a video monitoring system according to the present invention includes a recording device including a video recording unit that records video data of a video captured by a camera, and the video Incident attribute management means for associating incident video data of an incident detected based on the data with attribute data of the incident, and for a plurality of incidents, the incident video data and the attribute data associated with the incident attribute management means A server for accumulating; level determining means for determining whether or not the possibility of occurrence of the incident exceeds a certain level based on the video data and the attribute data stored in the server; and The incident video data and the attribute data, and the camera Based on the video data of the video that image, and incident detection means for detecting the incident, if the possibility of the incident occurs determines said level decision means to have exceeded a certain level, it is previously associated with the incident Based on the incident response detected by the incident detection means and the attribute data stored in the server used for detection of the incident, the incident and the attribute data Learning means for generating learning data indicating a relationship, wherein the incident attribute management means associates the attribute data indicating an incident occurrence level input by an administrator who viewed the video data with the incident video data , The incident attribute management means, the proactive processing means The incident occurrence possibility level is specified based on the incident video data after executing the pre-processing, and the pre-processing executed by the pre-response processing unit is performed based on the specified incident occurrence possibility level. The learning data is evaluated and updated, the pre-corresponding processing means further performs the pre-processing using the learning data generated by the learning means, and the incident detecting means is generated by the learning means The incident is detected by further using the learned data.
好適には、異なる監視対象場所の前記カメラが撮像した映像データを処理する複数の前記インシデント属性管理手段を備え、前記サーバは、前記複数のインシデント属性管理手段からの受信した前記インシデント映像データ及び前記属性データを蓄積する。
Preferably, the apparatus includes a plurality of incident attribute management means for processing video data captured by the cameras at different monitoring target locations, and the server receives the incident video data received from the plurality of incident attribute management means and the Accumulate attribute data.
好適には、前記インシデント属性管理手段から受信した前記インシデント映像データ及び前記属性データを基に、エキスパートの操作に応じて更新した前記属性データを当該インシデント映像データと関連付けて前記サーバに蓄積するエキスパート属性管理手段をさらに有する。
Preferably, based on the incident video data and the attribute data received from the incident attribute management means, the attribute data updated according to the operation of the expert is stored in the server in association with the incident video data. It further has management means.
好適には、前記インシデント属性管理手段は、前記インシデントに関連する時間、場所、イベント開催、混雑度の少なくとも一つの条件を基に、前記インシデント発生可能性レベルを数値で示す前記属性データを生成する。
Preferably, the incident attribute management means generates the attribute data indicating the incident occurrence level numerically based on at least one condition of time, place, event holding, and congestion level related to the incident. .
本発明の映像監視方法は、カメラが撮像した映像の映像データを映像記録部に記録する記録工程と、前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理工程と、複数のインシデントについて、前記インシデント属性管理工程で関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定工程と、前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出工程と、前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定工程で判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理工程と、前記インシデント検出工程で検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習工程と有し、前記インシデント属性管理工程は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理工程は、前記事前対応処理工程で前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理工程で実行した前記事前処理を評価して前記学習データを更新し、前記事前対応処理工程は、前記学習工程で生成した前記学習データをさらに用いて、前記事前処理を行い、前記インシデント検出工程は、前記学習工程で生成した前記学習データをさらに用いて前記インシデントを検出する。
The video monitoring method of the present invention relates to a recording step of recording video data of video captured by a camera in a video recording unit, and to associate incident video data of an incident detected based on the video data with attribute data of the incident Based on the incident attribute management process, a server that stores the incident video data and the attribute data associated in the incident attribute management process for a plurality of incidents, and the video data and the attribute data stored in the server A level determination step for determining whether or not the possibility of occurrence of the incident exceeds a certain level; the incident video data and the attribute data stored in the server; and video data of video captured by the camera; based on, for detecting the incident incident Detecting in the incident detection step, a pre-response processing step for performing a pre-processing previously associated with the incident when the level determination step determines that the possibility of occurrence of the incident has exceeded a certain level And a learning step of generating learning data indicating a relationship between the incident and the attribute data based on the incident and the attribute data stored in the server used for detecting the incident, the incident The attribute management step associates the attribute data indicating the incident probability level inputted by the administrator who viewed the video data with the incident video data, and the incident attribute management step is the pre-response processing step. The incident based on the incident video data after executing pre-processing Identify the raw potential level, the based on the identified incident likelihood level, and evaluating the pre-processing performed by the proactive process updates the learning data, the proactive process Performs the pre-processing using the learning data generated in the learning step, and the incident detection step detects the incident further using the learning data generated in the learning step .
本発明によれば、インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供することができる。
また、本発明によれば、短期間で高精度なインシデント検出を可能にする映像監視システム及びその方法と撮像装置を提供することができる。
また、本発明によれば、インシデントの発生を事前に予測することを可能にする映像監視システム及びその方法と撮像装置を提供することができる。
ADVANTAGE OF THE INVENTION According to this invention, the video surveillance system which can reduce the human effort accompanying incident detection, its method, and an imaging device can be provided.
In addition, according to the present invention, it is possible to provide a video monitoring system, a method thereof, and an imaging apparatus that enable highly accurate incident detection in a short period of time.
In addition, according to the present invention, it is possible to provide a video monitoring system, a method thereof, and an imaging apparatus that make it possible to predict the occurrence of an incident in advance.
以下、本発明の実施形態について説明する。
[全体構成]
図1は、本発明の実施形態に係る映像監視システム1の一例を示す図である。
図1に示す映像監視システム1は、例えば、監視対象現場システム100、インデント映像管理サーバ200、エキスパート端末装置400、インシデント担当者端末装置500を有し、これがネットワーク60を介して通信する。
Hereinafter, embodiments of the present invention will be described.
[overall structure]
FIG. 1 is a diagram illustrating an example of a
The
映像監視システム1は、監視対象現場に設置された監視対象現場システム100のカメラ140の映像データを基に、インシデントを検出する。このインシデント検出に、インデント映像管理サーバ200に蓄積されたインシデント映像データとその属性データを用いる。
The
[監視対象現場システム100]
図2は、図1に示す監視対象現場システム100の一例を示す図である。
図2に示すように、監視対象現場システム100は、例えば、処理装置110、カメラ140、センサ150、管理者端末装置160を有し、これらがハブ50を介してネットワーク60に接続されている。
[Monitored site system 100]
FIG. 2 is a diagram illustrating an example of the monitoring
As shown in FIG. 2, the monitoring
監視対象現場システム100では、所定の現場に複数のカメラ140及びセンサ150が設置されている。
カメラ140の撮像に応じた圧縮された映像データと、センサ150からのセンサデータとがカメラ140から処理装置110に送信される。
In the monitoring
The compressed video data corresponding to the image captured by the
センサ150は、例えば、光センサ、音センサ、振動センサ、温度センサ等であり、カメラ140の撮像範囲、あるいはその周辺に設けられている。
センサ150としては、物理的なセンサ以外にも、カメラまたは処理部113にて映像データを分析し検出する論理的なセンサも含まれまる。また、本発明は、センサ150を用いなくてもよい。
The
The
処理装置110は、映像記録部111、処理部113、メモリ115を有する。
映像記録部111は、例えば、カメラ140から受信した映像データ及びセンサデータを記憶する。
処理部113は、メモリ115に記憶されたインシデント処理プログラム120に基づいて各種の処理を行う。
メモリ115は、インシデント処理プログラム120、並びに処理部113の処理に必要な各種データを記憶する。
The
For example, the
The
The
図3は、インシデント処理プログラム120が提供する処理の機能ブロック図である。
図3に示すように、インシデント処理プログラム120は、例えば、インシデント属性管理部121、インシデント検出部123、通知部125、レベル判定部127、事前対応処理部129を有する。
FIG. 3 is a functional block diagram of processing provided by the
As illustrated in FIG. 3, the
処理部113は、インシデント処理プログラム120を実行して、図3に示す各機能を以下のように実行する。
The
インシデント属性管理部121は、インシデント検出部123が検出したインシデントに対応するインシデント映像データを生成する。
また、インシデント属性管理部121は、当該インシデント映像データを、当該インシデントの属性データと関連付ける処理を行う。
インシデント属性管理部121は、図2に示す管理者端末装置160からの操作データを基に、上記インシデントの属性データを生成する。
The incident
Further, the incident
The incident
このとき、インシデントの属性データは、インシデント発生可能性レベルを示す。当該レベルは、管理者端末装置160の管理者の操作に応じて入力されたり、当該入力された情報を基に所定のアルゴリズムで計算してもよい。
また、インシデント属性管理部121は、検出されたインシデントに関連する時間、場所、イベント開催、混雑度等の条件を基に、レベルを数値で示す前記属性データを生成する。
At this time, the incident attribute data indicates an incident occurrence possibility level. The level may be input according to the operation of the administrator of the
In addition, the incident
インシデント検出部123は、図1に示すインデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、カメラ140が撮像した映像の映像データ(映像記録部111から読み出した映像データ)からインシデントを検出する。
The
インシデントは、例えば、何等かの中断、阻害、損失、緊急事態、危険に、なり得る又はそれらを引き起こし得る状況である。 An incident is, for example, any interruption, obstruction, loss, emergency, danger, situation that can or will cause them.
通知部125は、インシデント検出部123が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。
通知部125は、検出したインシデントに応じて通知を行う担当者と通知内容の情報とを事前に決定している。
なお、インシデントと担当者の対応付けは、例えば、担当者の出勤状況、場所、権限、スキル等を基に事前に決定される。
The
The
The association between the incident and the person in charge is determined in advance based on, for example, the attendance status, location, authority, skill, etc. of the person in charge.
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
The
Based on the incident video data and attribute data stored in the indent
事前対応処理部129は、レベル判定部127においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。事前対応処理としては、例えば、ドアの開閉、照明のオン/オフ、温度調整、警報等の処理がある。
事前対応処理部129は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部127が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the
When the
図2に示す管理者端末装置160は、監視対象現場システム100に関連する現場管理者が使用する。
管理者端末装置160は、例えば、操作部161、ディスプレイ163及び処理部165を有する。
The
The
現場管理者が管理者端末装置160の操作部161を操作して、カメラ140の映像データ、あるいは処理装置110の映像記録部111から読み出した映像データをディスプレイ163に表示させて視聴し、目視や音響でインシデントが発生情報を判断し、インシデントに関連して属性データを決定するための操作を行う。処理部165は、操作部161の操作に応じた操作データを処理装置110に送信する。
The site manager operates the
[インデント映像管理サーバ200]
図1に示すように、インデント映像管理サーバ200は、例えば、映像記録部211、処理部213、メモリ215を有する。
映像記録部211は、例えば、監視対象現場システム100から受信したインシデントのインシデント映像データと、それに関連付けられた属性データ、センサデータ等を記憶する。
図5に示すように、複数の監視対象現場についてそれぞれ監視対象現場システム100がある場合には、映像記録部211は、複数の監視対象現場システム100からのインシデント映像データと、それに関連付けられた属性データ、センサデータ等を記憶する。
[Indent video management server 200]
As illustrated in FIG. 1, the indent
The
As shown in FIG. 5, when there is a monitoring
処理部213は、メモリ215に記憶されたインシデント処理プログラム221及び学習プログラム230に基づいて各種の処理を行う。
メモリ215は、インシデント処理プログラム221及び学習プログラム230、並びに処理部113の処理に必要な各種データを記憶する。
The
The
図4は、インシデント処理プログラム221が提供する処理の機能ブロック図である。
図4に示すように、インシデント処理プログラム221は、例えば、インシデント属性管理部221、インシデント検出部223、通知部225、レベル判定部227、事前対応処理部229を有する。
FIG. 4 is a functional block diagram of processing provided by the
As illustrated in FIG. 4, the
インシデント属性管理部221は、監視対象現場システムから受信したインシデント映像データと、それに関連付けられた属性データとを映像記録部211に記録する。
また、インシデント属性管理部221は、エキスパート端末装置400からの操作データを基に、映像記録部211に記録された属性データを更新する。これより、エキスパートの経験を活かした高精度な属性データを得ることができる。
このとき、インシデントの属性データは、インシデント発生可能性レベルを示す。
また、インシデント属性管理部221は、検出されたインシデントに関連する時間、場所、イベント開催、混雑度等の条件を基に前記属性データを生成する。
The incident
Further, the incident
At this time, the incident attribute data indicates an incident occurrence possibility level.
In addition, the incident
エキスパート端末装置400による属性データの更新は、例えば、管理者端末装置160の操作に応じて関連付けられた属性データが示すレベルが所定の値を超えている場合に限ってもよい。当該レベルは、インシデントの発生可能性等を示している。
The attribute data update by the
インシデント検出部223は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントを検出する。当該インシデントは、複数の監視対象現場システム100が検出したインシデントを基に総合的な観点から検出される。
The
通知部225は、インシデント検出部223が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。通知部225は、例えば、インシデント担当者端末装置500に通知を行う。
The
レベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部227は、特定の監視対象現場システム100が監視する現場だけでなく、総合的に広い範囲を対象にレベル判定を行う。
また、レベル判定部227による将来インシデントが発生する可能性のレベル判断には、インシデント映像データ及び属性データの他に、時間、監視場所、ニュース、天気等の外的情報を用いてもよい。
Based on the incident video data and attribute data stored in the
Based on the incident video data and attribute data accumulated in the
The
In addition, in addition to the incident video data and attribute data, external information such as time, monitoring location, news, weather, and the like may be used for the level determination of the possibility that a future incident will occur by the
事前対応処理部229は、レベル判定部227においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部229は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部227が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the
When the
図1に示す学習プログラム230は、処理部213によって実行され、以下の機能を実現する。
学習プログラム230は、映像記録部211に蓄積された、監視対象現場システム100が検出したインシデントと、前記属性データとを基に、当該インシデントと属性データとの関係性を示す学習データを生成する。
監視対象現場システム100の図3に示すインシデント検出部123は、学習プログラム230が生成した学習データをさらに用いてインシデントを検出する。
The learning program 230 illustrated in FIG. 1 is executed by the
The learning program 230 generates learning data indicating the relationship between the incident and the attribute data based on the incident detected by the monitoring
The
また、インシデント属性管理部121,221は、事前対応処理部129,229が上記事前処理を実行した後のインシデント映像データを基にインシデント発生可能性レベルを特定する。
また、インシデント属性管理部121,221は、当該特定したインシデント発生可能性レベルを基に、事前対応処理部129,229が実行した事前処理を評価して上記学習データを更新する。事前対応処理部129,229は、当該更新された学習データをさらに用いて、事前処理を行う。
Further, the incident
Further, the incident
エキスパート端末装置400及びインシデント担当者端末装置500は、例えば、スマートフォンや、携帯電話や、タブレット端末などである。また、デスクトップあるいは携帯型のコンピュータであってもよい。
The
[全体処理]
以下。映像監視システム1の動作例を説明する。
図6は、図1に示す映像監視システム1の全体処理の概要を示す図である。
以下、図6の各ステップについて説明する。
ステップS101:
カメラ140は、例えば施設内の撮像範囲の動画を撮像する。また、カメラ140の処理部143は、撮像した動画をメモリ141に記録する。
また、カメラ140の周囲のセンサ150からのセンサデータがメモリ141に記憶される。
[Overall processing]
Less than. An operation example of the
FIG. 6 is a diagram showing an overview of the overall processing of the
Hereinafter, each step of FIG. 6 will be described.
Step S101:
For example, the
In addition, sensor data from the
ステップS102:
カメラ140は、メモリ141から出した映像データ及びセンサデータを処理装置110に送信し、これを処理装置110が受信する。
Step S102:
The
ステップS103:
処理装置110は、カメラ140から受信した映像データ及びセンサデータを図2に示す映像記録部111に記録する。
Step S103:
The
ステップS104:
図2に示す処理装置110の図3に示すインシデント検出部123は、図1に示すインデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、カメラ140が撮像した映像の映像データ(映像記録部111から読み出した映像データ)からインシデントを検出する。
Step S104:
The
ステップS105:
図3に示すインシデント属性管理部121は、ステップST104でインシデント検出部123が検出したインシデントに対応するインシデント映像データを生成する。
また、インシデント属性管理部121は、当該インシデント映像データを、当該インシデントの属性データと関連付ける処理を行う。
Step S105:
The incident
Further, the incident
ステップS106:
処理装置110は、ステップS105で関連付けたインシデント映像データと属性データ、並びにセンサデータとを、インデント映像管理サーバ200にアップロード(送信)する。
インデント映像管理サーバ200は、これらを受信する。
Step S106:
The
The indent
ステップS107:
通知部125は、ステップS104でインシデント検出部123が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。例えば、図1に示すインシデント担当者端末装置500に通知する。
Step S107:
The
ステップS108:
図1に示すインデント映像管理サーバ200は、ステップS6で受信したインシデント映像データ、属性データ、並びにセンサデータを映像記録部211に記録する。
Step S108:
The indent
ステップS109:
エキスパートは、エキスパート端末装置400を操作してステップST108で映像記録部211に記録された属性データをディスプレイ403に表示し、必要に応じて操作部401を操作して更新する。
Step S109:
The expert operates the expert
ステップS110:
インデント映像管理サーバ200のレベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
Step S110:
The
ステップS111:
図4に示すインデント映像管理サーバ200のレベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
また、レベル判定部227は、特定の監視対象現場システム100が監視する現場だけでなく、総合的に広い範囲を対象にレベル判定を行う。
Step S111:
The
The
ステップS112:
図4に示すインデント映像管理サーバ200の事前対応処理部229は、レベル判定部227においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部229は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部227が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
Step S112:
When the
When the
以上説明したように、映像監視システム1によれば、監視対象現場システム100のインシデント処理プログラム120がインシデント映像データに属性データを関連付けてインデント映像管理サーバ200に蓄積し、これらを用いてインシデントの検出を行う。そのため、インデント映像管理サーバ200に蓄積されたデータを基に、インシデントを短期間で高精度に検出できる。
As described above, according to the
また、映像監視システム1によれば、従来の監視担当者は、管理担当施設(監視対象場所)内でのみ映像監視業務を行う制限があった業務を、施設外からでも同様の監視ができるようにすることで、一人の管理担当者が一つの施設を同時に監視可能になる。監視するカメラ140が多くなった場合には、監視担当者の能力の限界があるが、人工知能(AI)を利用したインデント映像管理サーバ200による映像分析機能を用いて、問題と思われる映像(インシデント映像)を自動的に感知して担当者(管理者端末装置160)に通知することで、少人数でも飛躍的に多数のカメラ140の映像を監視することができる。
In addition, according to the
人口知能を利用する場合、ディープラーニング(マシンラーニング)と呼ばれる手法が高い性能を実現しており、利用が広がっている。これらの技術を利用する場合、十分な性能を得るためには、予め対象となる撮影した映像を大量に準備して、人工知能ソフトウェアに学習させる必要がある。この対象となる大量の映像のことを、学習セットという。学習セットとは、主として人間が対象となる映像を選び、何の映像であるかを言葉で示す。すなわち、映像にタグを付ける作業をする。 When using artificial intelligence, a technique called deep learning (machine learning) has achieved high performance, and its use is expanding. When these techniques are used, in order to obtain sufficient performance, it is necessary to prepare a large number of captured images in advance and to learn the artificial intelligence software. The large amount of video that is the target is called a learning set. A learning set mainly indicates a video that is selected by a person and indicates what video it is. That is, the task of tagging the video is performed.
特にインシデントとして判定される映像は、発生頻度が低いため、学習セットを大量に持つことは困難である。映像監視システム1によれば、監視対象現場システム100を複数用いた場合に、学習セット用のインシデント映像データが次々に映像記録部211に蓄積され、逐次学習を行うことにより、人工知能の性能が効果的に向上する。すなわち、映像監視システム1によれば、システムを毎日運用し続けることで、設置した施設、地域はより警備人員を削減でき、安全性が飛躍的に高まる。
さらには、インシデントの検出に留まらず、インシデントの発生リスクを事前に予測して、発生前に対応することが可能であり、予防安全に高い効果を発揮する。
In particular, since an image determined as an incident has a low occurrence frequency, it is difficult to have a large number of learning sets. According to the
Furthermore, it is possible not only to detect incidents but also to predict the risk of incidents in advance and to respond to them before they occur, which is highly effective for preventive safety.
[適用例]
図1に示す映像監視システム1は、1つの監視対象場所を用いる場合を例示したが、本応用例では、複数の監視対象場所に監視対象現場システム100をそれぞれ配置する。
図5は、本発明の実施形態の適用例を説明するための図である。
図5に示すように、本応用例の映像監視システム1aでは、5つの監視対象場所にそれぞれ監視対象現場システム100_1〜100_5を配置している。
[Application example]
The
FIG. 5 is a diagram for explaining an application example of the embodiment of the present invention.
As shown in FIG. 5, in the video monitoring system 1a of this application example, the monitoring target field systems 100_1 to 100_5 are arranged in five monitoring target locations, respectively.
映像監視システム1aでは、インデント映像管理サーバ200は、複数の監視対象場所の監視対象現場システム100_1〜100_5からインシデント映像データ、属性データ、センサデータを蓄積する。そのため、1つの監視対象現場システム100からデータを受信する場合に比べて、学習セットを多くでき、短期間で学習精度を高めることができる。
In the video monitoring system 1a, the indent
図7は、図5に示す映像監視システム1aをビル管理に適用した場合を説明するための図である。
図7に示すように、映像監視システム1は、地階1階から地上4階のビルの監視のために用いられる。
監視対象現場システム100_1〜100_5は、ビル内のそれぞれの監視対象場所にカメラ140を設置している。
監視対象現場システム100_1〜100_5は、それぞれのカメラ140が撮像結果に応じたライブ映像を管理者端末装置160のディスプレイ163に表示する。
FIG. 7 is a diagram for explaining a case where the video monitoring system 1a shown in FIG. 5 is applied to building management.
As shown in FIG. 7, the
The monitoring target site systems 100_1 to 100_5 have a
In the monitoring target site systems 100_1 to 100_5, each
監視対象現場システム100_1〜100_5は、インシデント映像データ、属性データ及びセンサデータをインデント映像管理サーバ200に送信して映像記録部211に蓄積する。
The monitoring target field systems 100_1 to 100_5 transmit incident video data, attribute data, and sensor data to the indent
各監視対象現場システム100_1〜100_5は、各々の図3に示すレベル判定部127の機能により、図1に示す映像記録部211に蓄積されたデータを基に、それぞれの現場におけるインシデントが発生する可能性を示すレベル判定を行う。
そして、例えば、各監視対象現場システム100_1〜100_5の図2に示す管理者端末装置160のディスプレイにライブ映像と共に、現時点のレベル(危機レベル)を表示する。
なお、当該インシデント映像データ及びレベルの表示、映像監視システム1aの一つの端末に一括表示してもよい。
Each monitored site system 100_1 to 100_5 can generate an incident at each site based on the data stored in the
Then, for example, the current level (crisis level) is displayed together with the live video on the display of the
The incident video data and level may be displayed and displayed collectively on one terminal of the video monitoring system 1a.
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
The
Based on the incident video data and attribute data stored in the indent
事前対応処理部129は、レベル判定部127においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部129は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部127が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the
When the
図8は、一つのインデント映像管理サーバ200が所定のインシデントについてレベル判定した結果の時間推移を示す図である。
図8に示すように、レベル判定部127は、所定のインシデントについて、所定の時間間隔(例えば、2時間)で予測インシデント能性レベルを算出する。
また、レベル判定部127は、所定の時間間隔で実績インシデント可能性レベルを算出する。
FIG. 8 is a diagram showing the time transition of the result of the level determination for a predetermined incident by one indent
As illustrated in FIG. 8, the
Further, the
事前対応処理部129は、レベル判定部127が算出した予測インシデント発生可能性レベルが所定の注意レベルAあるいは危機レベルBを超えた場合に、それぞれに割り当てた事前対応処理を実行する。これにより、実績インシデント可能性レベルを、予測インシデント可能性レベルより下げることができる。
When the predicted incident occurrence possibility level calculated by the
[変形例]
図9は、本発明の変形例に係わる映像監視システム1bを説明するための図である。
図9に示すように、映像監視システム1bでは、前述した監視対象現場システム100の機能の全てあるいは一部をAIカメラ340に組み込んである。
[Modification]
FIG. 9 is a diagram for explaining a video surveillance system 1b according to a modification of the present invention.
As shown in FIG. 9, in the video monitoring system 1 b, all or part of the functions of the monitoring
図9に示すように、AIカメラ340は、例えば、撮像部351、フレームメモリ350、処理部353、通信部355、映像圧縮部357、記録メディア359を有する。
As illustrated in FIG. 9, the AI camera 340 includes, for example, an
撮像部351は、撮像結果に応じた映像データを、圧縮前にフレームメモリ350に記憶する。
処理部353は、インデント処理プログラム370を実行する。インデント処理プログラム370は、例えば、前述した図3に示す各部の機能を有している。
処理部353は、フレームメモリ350から圧縮前の映像データを読み出して、インデント映像管理サーバ200の映像記録部211に蓄積された情報(学習セット)を基に、インシデント検出を行う。
本実施形態では、処理部353は、圧縮前の映像データを基にインシデント検出を行うため、高精度なインシデント検出を行うことができる。
また、処理部353は、所定のアルゴリズムで、検出したインシデントのインシデント映像データに属性データを付ける。
The
The
The
In the present embodiment, since the
In addition, the
映像圧縮部357は、フレームメモリ350から読み出した映像データを圧縮して記録メディア359に記録する。
通信部355は、処理部353で検出したインシデント映像データ及び属性データをインデント映像管理サーバ200に送信する。
The
The
映像監視システム1bによれば、AIカメラ340にインシデント検出機能を持たせるため、処理装置110が不要になる。
According to the video monitoring system 1b, since the AI camera 340 has the incident detection function, the
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。例えば、上記した実施形態は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
The present invention is not limited to the embodiment described above.
That is, those skilled in the art may make various modifications, combinations, subcombinations, and alternatives regarding the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof. For example, the above-described embodiments are not necessarily limited to those having all the configurations described. A part of the configuration of one embodiment can be replaced with the configuration of another embodiment. Further, the configuration of another embodiment can be added to the configuration of a certain embodiment.
上述したインシデント属性管理部121,221の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
インシデント検出部123,223の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
通知部125,225の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
The functions of the incident
The functions of the
The functions of the
レベル判定部127,227の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
事前対応処理部129,229の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
The functions of the
The functions of the advance
本発明は、カメラで撮像した動画等を取得してインシデントを検出する映像システムに適用可能である。 The present invention can be applied to a video system that detects an incident by acquiring a moving image captured by a camera.
1,1a…映像監視システム
100…監視対象現場システム
110…処理装置
120…インシデント処理プログラム
121…インシデント属性管理部
123…インシデント検出部
125…通知部
127…レベル判定部
129…事前対応処理部
140…カメラ
150…センサ
160…管理者端末装置
200…インデント映像管理サーバ
221…インシデント処理プログラム
221…インシデント属性管理部
223…インシデント検出部
225…通知部
227…レベル判定部
229…事前対応処理部
230…学習プログラム
400…エキスパート端末装置
500…インシデント担当者端末装置
DESCRIPTION OF
Claims (5)
前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理手段と、
複数のインシデントについて、前記インシデント属性管理手段に関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、
前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定手段と、
前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出手段と、
前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定手段が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理手段と、
前記インシデント検出手段が検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習手段と
有し、
前記インシデント属性管理手段は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理手段は、前記事前対応処理手段が前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理手段が実行した前記事前処理を評価して前記学習データを更新し、
前記事前対応処理手段は、前記学習手段が生成した前記学習データをさらに用いて、前記事前処理を行い、
前記インシデント検出手段は、前記学習手段が生成した前記学習データをさらに用いて前記インシデントを検出する
映像監視システム。 A recording device including a video recording unit that records video data of video captured by the camera;
Incident attribute management means for associating incident video data of an incident detected based on the video data with attribute data of the incident;
A server for storing the incident video data and the attribute data associated with the incident attribute management means for a plurality of incidents;
Level determination means for determining whether or not the possibility of occurrence of the incident exceeds a certain level based on the video data and the attribute data stored in the server;
Incident detection means for detecting the incident based on the incident video data and the attribute data stored in the server, and video data of the video captured by the camera;
When the level determination unit determines that the possibility of occurrence of the incident exceeds a certain level, a pre-response processing unit that performs pre-processing associated with the incident in advance,
Learning means for generating learning data indicating a relationship between the incident and the attribute data based on the incident detected by the incident detection means and the attribute data stored in the server used for detecting the incident And
The incident attribute management means associates the attribute data indicating an incident occurrence possibility level input by an administrator who viewed the video data with the incident video data, and the incident attribute management means The incident occurrence possibility level is identified based on the incident video data after the advance processing is executed, and the advance processing unit executed based on the identified incident occurrence possibility level Update the learning data by evaluating the process,
The pre-corresponding processing means further uses the learning data generated by the learning means to perform the pre-processing,
The video monitoring system, wherein the incident detection means detects the incident by further using the learning data generated by the learning means.
前記サーバは、前記複数のインシデント属性管理手段からの受信した前記インシデント映像データ及び前記属性データを蓄積する
請求項1に記載の映像監視システム。 A plurality of incident attribute management means for processing video data captured by the cameras at different monitoring target locations;
The video monitoring system according to claim 1, wherein the server accumulates the incident video data and the attribute data received from the plurality of incident attribute management means.
をさらに有する
請求項1または請求項2に記載の映像監視システム。 Expert attribute management means for associating the attribute data updated in accordance with an expert operation based on the incident video data and the attribute data received from the incident attribute management means and storing the attribute data in the server in association with the incident video data. The video surveillance system according to claim 1 or 2.
請求項1〜3のいずれかに記載の映像監視システム。 The incident attribute management means generates the attribute data indicating the incident occurrence level by a numerical value based on at least one condition of time, place, event holding, and congestion related to the incident. 4. The video surveillance system according to any one of 3.
前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理工程と、
複数のインシデントについて、前記インシデント属性管理工程で関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、
前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定工程と、
前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出工程と、
前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定工程で判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理工程と、
前記インシデント検出工程で検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習工程と
有し、
前記インシデント属性管理工程は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、
前記インシデント属性管理工程は、前記事前対応処理工程で前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理工程で実行した前記事前処理を評価して前記学習データを更新し、
前記事前対応処理工程は、前記学習工程で生成した前記学習データをさらに用いて、前記事前処理を行い、
前記インシデント検出工程は、前記学習工程で生成した前記学習データをさらに用いて前記インシデントを検出する
映像監視方法。
A recording step of recording video data of a video captured by the camera in a video recording unit;
Incident attribute management process for associating incident video data of an incident detected based on the video data with attribute data of the incident;
For a plurality of incidents, a server for storing the incident video data and the attribute data associated in the incident attribute management step ;
Based on the video data and the attribute data stored in the server, a level determination step for determining whether or not the possibility of occurrence of the incident exceeds a certain level;
An incident detection step of detecting the incident based on the incident video data and the attribute data stored in the server, and video data of a video captured by the camera;
If the level determination step determines that the possibility that the incident will occur exceeds a certain level, a pre-response processing step that performs pre-processing associated with the incident in advance,
A learning step of generating learning data indicating a relationship between the incident and the attribute data based on the incident detected in the incident detection step and the attribute data stored in the server used for the detection of the incident And
The incident attribute management step associates the attribute data indicating an incident occurrence possibility level input by an administrator who viewed the video data with the incident video data,
In the incident attribute management step, the incident occurrence possibility level is specified based on the incident video data after the pre-processing is executed in the pre-response processing step, and the incident occurrence possibility level is determined based on the specified incident occurrence possibility level. And updating the learning data by evaluating the preliminary processing executed in the preliminary processing step ,
The pre-corresponding processing step further uses the learning data generated in the learning step to perform the pre-processing,
The video monitoring method in which the incident detection step detects the incident by further using the learning data generated in the learning step .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090957A JP6577627B1 (en) | 2018-05-09 | 2018-05-09 | Video surveillance system and method and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090957A JP6577627B1 (en) | 2018-05-09 | 2018-05-09 | Video surveillance system and method and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6577627B1 true JP6577627B1 (en) | 2019-09-18 |
JP2019198000A JP2019198000A (en) | 2019-11-14 |
Family
ID=67982942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090957A Active JP6577627B1 (en) | 2018-05-09 | 2018-05-09 | Video surveillance system and method and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6577627B1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03194697A (en) * | 1989-12-25 | 1991-08-26 | Babcock Hitachi Kk | Field abnormality monitor device |
JP4830509B2 (en) * | 2006-01-24 | 2011-12-07 | 富士ゼロックス株式会社 | Learning system, learning apparatus, computer control method, and program |
JP5381498B2 (en) * | 2009-08-24 | 2014-01-08 | 株式会社ニコン | Image processing apparatus, image processing program, and image processing method |
JP6347347B2 (en) * | 2014-01-14 | 2018-06-27 | 株式会社国際電気通信基礎技術研究所 | Notification system, notification program, notification method, and notification device |
WO2016199192A1 (en) * | 2015-06-08 | 2016-12-15 | 株式会社アシストユウ | Portable remote monitor camera having artificial intelligence |
WO2017099037A1 (en) * | 2015-12-09 | 2017-06-15 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2018
- 2018-05-09 JP JP2018090957A patent/JP6577627B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019198000A (en) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101133924B1 (en) | Active image monitoring system using motion pattern database, and method thereof | |
JP5560397B2 (en) | Autonomous crime prevention alert system and autonomous crime prevention alert method | |
US20130011014A1 (en) | Surveillance system and method | |
EP3879505A1 (en) | Digital fingerprint tracking | |
JP5217106B2 (en) | Video surveillance system, surveillance video abnormality detection method, and surveillance video abnormality detection program | |
JP2003216229A (en) | Telecontrol and management system | |
CN103997621A (en) | System and method of monitoring the video surveillance activities | |
KR101386591B1 (en) | CCTV integrated management system | |
GB2450478A (en) | A security device and system | |
US11729597B2 (en) | Digital twin disaster management system customized for underground public areas | |
US20180082413A1 (en) | Image surveillance apparatus and image surveillance method | |
CN113011833A (en) | Safety management method and device for construction site, computer equipment and storage medium | |
KR101005568B1 (en) | Intelligent security system | |
US20170024998A1 (en) | Setting method and apparatus for surveillance system, and computer-readable recording medium | |
US11836935B2 (en) | Method and apparatus for detecting motion deviation in a video | |
JP6577627B1 (en) | Video surveillance system and method and imaging apparatus | |
CA2654046A1 (en) | Video verification system and method for central station alarm monitoring | |
JP2016192016A (en) | Information processing device, program, and information providing method | |
US9111237B2 (en) | Evaluating an effectiveness of a monitoring system | |
KR101060414B1 (en) | Monitoring system and mathod for the same | |
WO2022009356A1 (en) | Monitoring system | |
JP2022098663A (en) | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system | |
KR200434039Y1 (en) | Centralized Surveillance System | |
KR101870900B1 (en) | System and Method for Integrated Management of Multi-Purpose Duality System | |
JP4637564B2 (en) | Status detection device, status detection method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180724 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180724 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6577627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |