JP6862144B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP6862144B2
JP6862144B2 JP2016210241A JP2016210241A JP6862144B2 JP 6862144 B2 JP6862144 B2 JP 6862144B2 JP 2016210241 A JP2016210241 A JP 2016210241A JP 2016210241 A JP2016210241 A JP 2016210241A JP 6862144 B2 JP6862144 B2 JP 6862144B2
Authority
JP
Japan
Prior art keywords
fire
learning
input
detector
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016210241A
Other languages
English (en)
Other versions
JP2018073024A (ja
Inventor
弘道 江幡
弘道 江幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hochiki Corp
Original Assignee
Hochiki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochiki Corp filed Critical Hochiki Corp
Priority to JP2016210241A priority Critical patent/JP6862144B2/ja
Priority to EP17863744.3A priority patent/EP3531386A4/en
Priority to PCT/JP2017/037830 priority patent/WO2018079400A1/ja
Publication of JP2018073024A publication Critical patent/JP2018073024A/ja
Priority to US16/376,117 priority patent/US20220292944A9/en
Priority to JP2021059552A priority patent/JP7072700B2/ja
Application granted granted Critical
Publication of JP6862144B2 publication Critical patent/JP6862144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、火災感知器や人感センサ等のセンサやカメラで撮像した画像等のデータからニューラルネットワークにより異常を判断して警報させる監視システムに関する。
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。
一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。
このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。
このため従来装置(特許文献1)にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
特開2008−046916号公報 特開平7−245757号公報 特開2010−238028号公報 特開平6−325270号公報
しかしながら、特定の物理量を監視するセンサを用いた防災、防犯に関するシステムは、火災でない事象により監視基準が満たされた場合でも火災とみなすことや、人感センサを回避することで侵入を見抜けないなど、正しく異常を判別できない問題があった。
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
このような多層式のニューラルネットワークを、火災感知器や人感センサに代表されるセンサから得られる物理量、検出結果や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判断する判定装置に設け、学習時においては多数の異常時及び非異常時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。
この場合、異常監視システムの製造段階で予め準備された多数の異常時及び非異常時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器や人感センサ等のセンサデータやカメラで撮像した画像を判定装置に入力して異常を監視することになる。
しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で異常を推定することができない可能性が残る。
また、現場環境に応じて通常時、異常時の状況は異なる。単一の現場環境で学習を行った場合、現場環境が変化することで異常の検出精度が低下してしまう恐れがある。現場環境の変化にも対応可能な異常検出器とするため、様々な現場環境で学習を行うことにより、異常の共通要素を検出する学習が必要とされている。
本発明は、異常監視設備とネットワークを介して設けられたサーバとの連携により、監視領域に適合した異常時及びまたは非異常時の入力情報により多層式のニューラルネットワークを効率良く学習させ、環境の変化にも対応可能であり、異常の判定精度を向上可能とする監視システムを提供することを目的とする。
(ディープラーニングによる異常検出)
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて、監視領域の異常を検出する異常監視システムに於いて、
ディープラーニングにより異常検出器を学習させる学習制御部を有することを特徴とする。
(入力情報)
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報とする
(サーバによる学習データの収集と学習)
異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
サーバに、学習情報収集部からアップロードされた学習情報により異常検出器と同じ構成の多層式ニューラルネットワークを学習させ、学習済みの多層式ニューラルネットワークを異常検出器にダウンロードさせて更新させる学習制御部が設けられたことを特徴とする。
(サーバによる学習データの収集と配信)
異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
サーバに、他の異常検出器の学習情報収集部からアップロードされた学習情報を異常検出器にダウンロードさせて異常検出器の多層式ニューラルネットワークを学習させる学習制御部が設けられたことを特徴とする。
(類似環境での学習)
多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われることを特徴とする。
(学習情報)
学習情報収集部は、異常を監視している受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードる。
(火災監視)
学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードる。
(火災発報の所定時間前からの火災学習情報の収集
学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報火災の学習情報としてサーバにアップロードる。
(火災予兆レベル超えからの火災学習情報の収集
火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させ
学習情報収集部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報火災の学習情報としてサーバにアップロードる。
(火災発報の所定時間前からの非火災学習情報の収集)
学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報非火災の学習情報としてサーバにアップロードる。
(火災予兆レベル超えからの非火災学習情報の収集)
火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させ
学習情報収集部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報非火災の学習情報としてサーバにアップロードる。
(監視領域の通常監視画像による初期化学習)
学習情報収集部は、火災受信機の通常監視状態入力情報非火災の学習情報としてサーバにアップロードる。
(盗難監視)
学習情報収集部は、盗難検出器により盗難を監視している盗難受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードる。
(基本的な効果)
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて異常を検出する異常監視システムに於いて、ディープラーニングにより異常検出器を学習させる学習制御部を有するようにしたため、人為的な解析では異常か非異常かが判断できないセンサの出力や監視領域の画像から高い精度で異常を推定して警報可能とする。
(入力情報による効果)
また、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報としたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器の多層式のニューラルネットワークを効率良く学習させることができ、その後、入力情報を学習済みの異常検出器に入力することで、高い精度で異常を推定して警報可能とする。
(サーバによる学習データの収集と学習による効果)
また、異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、サーバに、学習情報収集部からアップロードされた学習情報により異常検出器と同じ構成の多層式ニューラルネットワークを学習させ、学習済みの多層式ニューラルネットワークを異常検出器にダウンロードさせて更新させる学習制御部が設けられたため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報としてサーバ側にアップロードされることで多数の学習情報が自動的に収集され、収集された多数の学習情報によりサーバ側で多層式ニューラルネットワークの学習が行われ、学習の済んだ多層式ニューラルネットワークがサーバからダウンロードされて異常検出器の多層式ニューラルネットワークが更新されることで、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。
また、サーバ側で行われる多層式ニューラルネットワークの学習に必要な学習画像が自動的に収集され、効率良く多層式ニューラルネットワークを学習できる。
また、サーバ側でのディープラーニングにより異常検出器で使用する多層式ニューラルネットワークが学習されて更新されるため、人為的な解析では判断できないセンサの出力や監視領域の画像から高い精度で所定の異常を推定して警報可能とする。
また、個別の異常検出器それぞれで学習を行わず、単一のサーバで学習するため、学習に必要な計算量を削減することができる。また、学習に必要な計算能力を持つ機器をサーバのみにできるため、異常検出器側に高い計算能力を持つ機器を採用しないことを可能にする。
(サーバによる学習データの収集と配信による効果)
また、異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、サーバに、他の異常検出器の学習情報収集部からアップロードされた学習情報を異常検出器にダウンロードさせて異常検出器の多層式ニューラルネットワークを学習させる学習制御部が設けられたため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報としてサーバ側にアップロードされることで多数の学習情報が自動的に収集され、収集された多数の学習情報が各異常検出器で学習に用いられるため、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。
また、後述する類似環境毎に異常検出器の学習を行うような場合、環境の種類が増加したときにサーバ側で学習しようとすると計算量が膨大になるため、個別で学習を行うことで、サーバ側の負荷増大を防止することができる。
(類似環境での学習)
また、多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われるため、環境の特徴を考慮した異常検出器となるように学習可能となる。監視領域の環境に応じて、異常の種類や異常の拡大の仕方が異なり、例えば倉庫、事務所、店舗、工場に環境が分けられるとき、倉庫は侵入等、事務所は火事、店舗は窃盗、工場は事故等、環境に応じた異常の検出が必要となる。また、火災等について、環境によってどのような種類の火災が発生するかが異なる。環境の特徴を考慮した異常検出器とすることで、それぞれの環境で発生しやすい異常について検出精度の高い異常検出を行うことが可能となる。
(学習情報による効果)
また、学習情報収集部は、異常を監視している受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードるようにしたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器に使用する多層式ニューラルネットワーク効率良く学習させることができ、高い精度で異常を推定して警報可能とする。
(火災監視による効果)
また、学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードるようにしたため、人為的な解析では火災か非火災かが判断できないセンサの出力や監視領域の画像から高い精度で火災を推定して警報可能とする。
(火災発報の所定時間前からの火災学習情報の収集による効果)
また、学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報火災の学習情報としてサーバにアップロードるようにしたため、例えば、火災発報の5分前からの画像を録画装置から読み出して火災の学習情報としてサーバに収集した後に学習させる場合、録画画像が30フレーム/秒で録画されていたとすると、5分の録画画像から9000枚の画像が得られ、多数の火災の学習情報による学習が簡単に実現可能となり、監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で火災を推定して警報可能とする。
(火災予兆レベル超えからの火災学習情報の収集による効果)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させ学習情報収集部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報火災の学習情報としてサーバにアップロードるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの火災の学習情報サーバにアップロードした後に学習することから、火災の初期段階からの火災と判断されるまでの多数の火災による学習情報を収集して学習することができ、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。
(火災発報の所定時間前からの非火災学習情報の収集による効果)
また、学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報非火災の学習情報としてサーバにアップロードるようにしたため、例えば、火災発報の5分前からの画像を録画装置から読み出し、サーバにアップロードして非火災の学習画像として学習させる場合、録画画像が30フレーム/秒で録画されていたとすると、5分の録画画像から9000枚の画像が得られ、多数の非火災の学習画像を収集して学習することができ、監視カメラにより撮像している監視画像からより高い精度で非火災を認識して誤報を確実に防止可能とする。
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で非火災を推定して誤報を確実に防止可能とする。
(火災予兆レベル超えからの非火災学習情報の収集の効果)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させ学習情報収集部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報非火災の学習情報としてサーバにアップロードるようにしたためアナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの非火災の学習情報サーバにアップロードした後に学習することから、火災の初期段階からの非火災と判断されるまでの多数の非火災による学習情報を収集して学習することができ、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を確実に防止可能とする。
(監視領域の通常監視画像による初期化学習の効果)
また、学習情報収集部は、火災受信機の通常監視状態入力情報非火災の学習情報としてサーバにアップロードるようにしたため、通常監視状態での監視領域の入力情報に対する非火災の推定精度が向上し、その後に、火災受信機の火災監視に連動した火災の入力情報又は非火災の入力情報による学習が行われ、多層式ニューラルネットワークの火災及び非火災に対する推定の精度が更に向上される。
(盗難監視による効果)
また、学習情報収集部は、盗難検出器により盗難を監視している盗難受信機による監視結果に対応した入力情報を学習情報としてサーバにアップロードるようにしたため、人為的な解析では盗難か否かが判断できないセンサの出力や監視領域の画像から高い精度で盗難を推定して警報可能とする。
サーバにより学習された火災検出器を配置して監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した画像から火災を認識する多層式ニューラルネットワークを用いた火災検出器の機能構成を示した説明図 図2に示した多層式ニューラルネットワークの機能構成を示した説明図 図1の学習画像収集部による受信機の火災監視に連動して学習画像を収集してサーバにアップロードする学習画像収集制御を示したフローチャート アナログ火災感知器により検出された検出アナログ値の時間変化を示した説明図 サーバにより学習された火災検出器を配置してセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図 図6の時系列データ生成部に記憶されるアナログ火災感知器で検出される煙濃度の時間変化を示したタイムチャート
[火災監視システムの概要]
図1はサーバにより学習された火災検出器を配置して監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
図1に示すように、ビル等の複数の監視対象施設には、火災報知設備10が設置されており、複数の火災報知設備10はインターネット11を介してサーバ12に接続されている。
(火災報知設備の概要)
火災報知設備10は、その一つを代表して示すように、ビル等の施設の監視領域18には撮像手段として機能する監視カメラ20が設置され、監視領域18を監視カメラ20により動画撮像している。監視カメラ20はRGBのカラー画像を例えば30フレーム/秒で撮像して動画として出力する。また、1フレームは例えば縦横4056×4056ピクセルの画素配置となる。
また、監視区域18にはオンオフ型の火災感知器22が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。
監視領域18に対し施設の防災監視センターや管理人室等には、火災検出器14と受信機16が設置されている。なお、火災検出器14と受信機16は一体としても良い。火災検出器14には監視領域18に設置された監視カメラ20が信号ケーブル24により接続されており、監視カメラ20で撮像された動画画像を入力している。監視カメラ20からの動画は火災検出器14に設けられた録画装置により継続的に録画されている。
火災検出器14は多層式ニューラルネットワークを備え、監視カメラ20から送られてきた動画画像をフレーム単位に入力し、火災が判定された場合は火災判定信号を受信機16に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。受信機16からは監視領域18に感知器回線26が引き出され、感知器回線26単位に火災感知器22が接続されている。受信機16は火災感知器22の発報による火災発報信号を受信すると火災警報を出力し、また火災検出器14に火災移報信号を出力する。
受信機16から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器22の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機16で火災断定操作を行う。受信機16で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器14に出力される。
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機16で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機16で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機16から火災検出器14に復旧移報信号が出力される。
火災検出器14は受信機16から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、録画装置に録画されている火災警報の出力に至るまでの監視領域18を監視カメラ20で撮像した動画を録画装置から読み出し、これを火災の学習画像又は非火災の学習画像としてサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワークを更新させている。
(サーバの機能構成)
図1に示すように、サーバ12は、サーバ制御部28、通信部30、表示部32、操作部34、記憶装置36を備える。サーバ制御部28は例えばプログラムの実行により実現される機能であり、ハードウェアとしてはCPU、メモリ、AD変換ポートを含む各種の入出力ポート等を備えたコンピュータ回路等を使用する。
通信部30はTCP/IPプロトコルによりサーバ制御部28と火災報知設備10側との間でインターネットを経由して各種の情報や信号の送受信を行う。
表示部32は液晶ディスプレイ等であり、また、操作部34はキーボード、マウス、液晶ディスプレイに設けられたタッチパネル等を含む。記憶装置36はメモリやハードディスク等で構成される。
サーバ制御部28にはプログラムの実行により実現される機能として学習制御部38が設けられている。また、記憶装置36には、学習制御部38の学習対象となる多層式ニューラルネットワークを備えた火災検出器14aの機能が記憶されている。記憶装置36に記憶された火災検出器14aの多層式ニューラルネットワークは、火災報知設備10の火災検出器14に設けられている多層式ニューラルネットワークと同じ構成となっており、この多層式ニューラルネットワークを学習して火災報知設備10にダウンロードさせて火災検出器14の多層式ニューラルネットワークとして動作させている。
また、記憶装置36には火災検出器14aの多層式ニューラルネットワークの学習に使用される学習画像が記憶された学習画像蓄積部40が設けられ、複数の火災報知設備10の火災検出器14からアップロードされた学習画像が記憶されている。
サーバ制御部28は、火災報知設備10の火災検出器14に設けられた学習画像収集機能によりアップロードされた学習画像を記憶装置36の学習画像蓄積部40に記憶させる制御を行っている。
また、サーバ制御部28は、所定の操作、所定の周期の経過、又は、火災報知設備10側から学習画像がアップロードされた場合等の適宜のタイミングに、記憶装置36に記憶されている学習画像を読み出し、火災報知設備10の火災検出器14と同じ構成の多層式ニューラルネットワークをもつ火災検出器14aをメモリ上に展開し、この多層式ニューラルネットワークに教師ありの画像として、多数の火災の学習画像及び多数の非火災の学習画像を入力して例えばバックプロパゲーション等の学習法により繰り返し学習させて重みとバイアスを変更させ、学習済みの多層式ニューラルネットワークをインターネット11を介して全ての火災報知設備10の火災検出器14にダウンロードし、火災検出器14に設けられている多層式ニューラルネットワークを更新させる制御を行う。
火災検出器
火災検出器の機能構成)
図2は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた火災検出器の機能構成を示した説明図である。
図2に示すように、火災検出器14は、判定制御部42、受信バッファ44、火災認識部として機能する多層式ニューラルネットワーク46、記憶部として機能する録画装置48、学習情報収集部50、送信バッファ52及び通信部54を備える。ここで、判定制御部42、多層式ニューラルネットワーク46、学習情報収集部50の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
録画装置48は監視カメラ20により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。
(学習情報収集部)
学習情報収集部50は、受信機16により火災感知器22の火災発報に基づく火災移報信号E1が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機16の火災断定操作に基づく火災断定移報信号E2が入力された場合、例えば5分前となる所定時間前から火災移報信号E1が入力されるまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された画像を、火災の学習画像として読出してインターネット11を介してサーバ12にアップロードさせる制御を行う。
ここで、録画画像が録画装置48に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚といった多数の火災の学習画像が得られる。また、5分間の動画から火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、5分間の動画から300枚といった多数の火災の学習画像が得られる。
また、学習情報収集部50は、受信機16により火災感知器22の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、この場合に、例えば5分前といった所定時間前から火災移報信号E1が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された画像を、非火災の学習画像として読出してインターネット11を介してサーバ12にアップロードさせる制御を行う。
この場合にも、録画画像が録画装置48に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚といった多数の非火災の学習画像が得られる。また、5分間の動画から非火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、5分間の動画から300枚といった多数の非火災の学習画像が得られる。
(判定制御部)
判定制御部42は、通信部54を介してサーバ12から学習済みの多層式ニューラルネットワークが受信バッファ44にダウンロードされた場合、多層式ニューラルネットワーク46を受信バッファ44にダウンロードされた学習済みの多層式ニューラルネットワークに更新する制御を行う。
また、判定制御部42は、監視カメラ20により撮像された監視領域の画像を多層式ニューラルネットワーク46に入力して火災か非火災かを推定しており、火災の推定結果が得られると火災判定信号を受信機16に出力し、例えば、火災の予兆を示す火災予兆警報を出力させる制御を行う。
なお、火災検出器14にモニタ装置を設け、火災を判定した場合に監視カメラ20により撮像している火災が判定された監視領域の画像を画面表示し、火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、火災検出器14の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災報知設備の受信機16操作した場合と同様に、火災移報信号を出力し、受信機16から火災警報を出力させるようにしても良い。
[多層式ニューラルネットワーク]
図3は図2に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図3(A)に概略を示し、図3(B)に詳細を模式的に示している。なお、図1のサーバ12側に配置された火災検出器14aに設けられたニューラルネットワークも同じ機能構成となる。
図3(A)に示すように、本実施形態の多層式ニューラルネットワーク46は、特徴抽出部56と認識部58で構成される。特徴抽出部56は畳み込みニューラルネットワークであり、認識部58は全結合ニューラルネットワークである。
多層式ニューラルネットワーク46は、深層学習(ディープラーニング)を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク46では、特徴抽出部56として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部58の全結合ニューラルネットワークに入力して火災か非火災かを推定する。
認識部58の全結合ニューラルネットワークは、図3(B)に模式的に示すように、入力層68、結合層70、中間層72と結合層70の繰り返し、及び出力層74で構成されている。
(畳み込みニューラルネットワーク)
図3(B)は特徴抽出部56を構成する畳み込みニューラルネットワークの構造を模式的に示している。
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ(カーネル)呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
畳み込みニューラルネットワークは、図3(B)に示すように、まず、入力画像60に対し重みフィルタ62により畳み込み処理を行う。例えば、重みフィルタ62は縦横3×3の所定の重み付けがなされた行列フィルタであり、入力画像60の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像60の9画素を小区域となる特徴マップ64aの1画素に畳み込み、複数の特徴マップ64aが生成される。
続いて、畳み込み演算により得られた特徴マップ64aに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
続いて、重みフィルタ66a,66bを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ64b,64cが得られ、最後の層の特徴マップ64cを認識部58に入力し、通常の全結合ニューラルネットワークを用いた認識部58により火災か非火災かを推定する。
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
[多層式ニューラルネットワークの学習]
図1に示したサーバ12のサーバ制御部28に設けられた学習制御部38は、所定のタイミングで記憶装置36の学習画像蓄積部40から火災の学習画像と非火災の学習画像を多数読出し、火災検出器14aに設けられた図3に示したと同じ機能構成の多層式ニューラルネットワーク46の学習をバックプロパゲーションにより繰り返し行い、その重みとバイアスを変更させる学習制御を行う。
(バックプロパゲーション)
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝搬するフォワードプロパゲーションが行われる。
このようなニューラルネットワークの重みやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値xと期待される出力値(期待値)yというデータセットをネットワークに与えた場合の教師ありの学習と、入力値xのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値y*と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
バックプロパゲーションでは、推定値y*と期待値yの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) 重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
この手順は、ニューラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値xと期待値yの組み合わせを使って繰り返し、誤差関数の値を最小化する。
(サーバにおける火災・非火災画像による学習)
図1に示したサーバ12の学習制御部38は、所定のタイミングで学習画像蓄積部40に蓄積されてる火災報知設備10から収集された火災の学習画像を図3に示したと同じ多層式ニューラルネットワーク46に入力して推定値y*を求め、火災の期待値y=1との誤差関数の値を最小とするようにバックプロパゲーションを、火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
また、学習制御部38は、火災の学習画像による学習に続いて、学習画像蓄積部40に蓄積されている火災報知設備10から収集された非火災の学習画像を図3に示したと同じ多層式ニューラルネットワーク46に入力して推定値y*を求め、非火災の期待値y=0との誤差関数の値を最小とするようにバックプロパゲーションを、非火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
このようにサーバ12で学習の済んだ火災検出器14aの多層式ニューラルネットワークは、インターネット11を介して火災報知設備10の火災検出器14にダウンロードされ、図2に示した火災検出器14の多層式ニューラルネットワーク46を更新することで、サーバ12による学習の済んだ多層式ニューラルネットワーク46により監視カメラ20により撮像した監視領域の画像を入力して、火災か非火災かを高精度で判定可能とする。
[学習画像の収集制御動作]
図4は図2の学習情報収集部による受信機の火災監視に連動して学習画像を収集してサーバにアップロードする学習画像収集制御を示したフローチャートである。
図4に示すように、学習情報収集部50はステップS1で監視領域に設置された監視カメラ20からの動画を録画装置48に録画させており、ステップS1で受信機16からの火災移報信号の入力を判別するとステップS3に進み、所定時間前からの録画画像を録画装置48から読み出して送信バッファ52に保持させる。
続いてステップS4に進み、学習情報収集部50は受信機16からの火災断定移報信号の入力を判別するとステップS5に進み、その後、受信機16からの復旧移報信号の入力を判別するとステップS6に進み、送信バッファ52に保持している所定時間分の録画画像を読み出し、火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
一方、学習情報収集部50は、ステップS4で火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力を判別した場合は、ステップS8に進み、送信バッファ52に保持している所定時間分の録画画像を読み出し、非火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
[火災予兆レベル超えからの監視画像による学習画像の収集]
(火災画像学習の収集)
図2に示した火災検出器の学習情報収集部50による他の学習制御の実施形態として、監視区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を受信機16に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置48から読み出して送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
火災予兆レベルは、図5に示すように、時刻t0で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災判断レベルTH2より低い火災予兆レベルTH1に時刻t1で達したときから火災判断レベルTH2に時刻t2に達するまでの時間Tの間に録画された画像を火災の学習画像として送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードすることになる。
この時間Tの間に録画された画像は、全て火災による画像であり、非火災の画像は含まれていないことから、火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせ、入力画像から火災を識別する精度を確実に高めることができる。
具体的に説明すると、図2に示した火災検出器14の学習情報収集部50は、受信機16からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災判断レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機16の災断定操作に基づく火災断定移報信号E2が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。
(非火災画像学習の収集)
また、学習情報収集部50は、受信機16からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災判断レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、非火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。
[センサにより火災を監視する火災監視システム]
(火災監視システムの概要)
図6はサーバにより学習された火災検出器を配置してセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
図6に示すように、ビル等の複数の監視対象施設には、火災報知設備10が設置されており、複数の火災報知設備10はインターネット11を介してサーバ12に接続されている。
火災報知設備10の監視領域18にはセンサとして機能するアナログ火災感知器80が設置され、受信機16から引き出された伝送路82に接続され、シリアルデータ伝送を可能としている。
アナログ火災感知器80は検煙部により煙濃度を検出して煙濃度検出信号を出力し、受信機16からの一括AD変換コマンドの送信により周期的にA/D変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した受信機16からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を受信機16に送信して火災警報を出力させている。なお、アナログ火災感知器80は、煙濃度以外に、温度やCO濃度等を検出するものであっても良い。
火災検出器14は多層式ニューラルネットワークを備え、アナログ火災感知器80で検出された煙濃度データを、受信機16を介して入力して記憶部にセンサからの入力情報として記憶している。
受信機16はアナログ火災感知器80の火災割込信号を受信すると火災警報を出力し、また火災検出器14に火災移報信号を出力する。受信機16から火災警報が出力されると、管理責任者又は防災担当者は、発報したアナログ火災感知器80の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機16で火災断定操作を行う。受信機16で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器14に出力される。
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機16で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機16で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機16から火災検出器14に復旧移報信号が出力される。
火災検出器14は受信機16から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、記憶部に記憶されている火災警報の出力に至るまでの監視領域18のアナログ火災感知器80により検出された煙濃度データから時系列データを生成し、これを学習情報としてインターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワークを更新させている。
(火災検出器)
火災検出器14は図2と同じ機能構成であるが、多層式ニューラルネットワーク46は、図3(A)に示す認識部58を構成する全結合ニューラルネットワークのみとし、特徴抽出部56となる畳み込みニューラルネットワークは除いている。
学習情報収集部50は、受信機16を介してアナログ火災感知器80で検出された煙濃度データを記憶部に記憶している。学習情報収集部50の記憶部に記憶される煙濃度データは、例えば、図7に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。
図7の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻t0で煙濃度の上昇が始まり、時刻t1で所定の火災予兆レベルTH1に達し、その後、時刻t2で火災判断レベルTH2に達して火災警報が出力され、火災断定操作が行われた場合を示している。
学習情報収集部50は、受信機16からの火災移報信号E1、火災断定移報信号E2及び復旧移報信号E3に基づき、受信機16で火災警報が出力された場合に、記憶部に記憶されている図7に示した煙濃度のセンサデータに基づき、時系列データを生成して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された時系列データを、火災の学習情報として読出してインターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワーク46を更新させる。
学習情報収集部50による時系列データの生成は、例えば図7の時刻t0から時刻t1でプリアラームレベルTH1に達するまでの所定単位時間Δtごとの煙濃度データをS1〜S18とすると、所定の単位時間Δtずつシフトしながら所定時間分の周期T1,T2,・・・・T9毎の時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)を生成し、記憶部に記憶させる。
また、サーバ12にアップロードされた時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)による多層式ニューラルネットワークの学習は、例えば時系列データ(S1〜S10)による学習を例にとると、濃度値S1〜S10を多層式ニューラルネットワークの入力層に並列入力して行う。以下同様に残りの時系列データ(S2〜S11)、・・・(S9〜S18)についても、入力層に順次並列入力することで学習を行う。
また、学習情報収集部50は、受信機16によりアナログ火災感知器80の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、図7に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、インターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワーク46を更新させる。
火災検出器14の多層式ニューラルネットワーク46の更新が済んだ後は、所定の単位時間Δt毎に、センサデータ生成部により所定時間分の時系列データを生成し、時系列データ入力部を介して多層式ニューラルネットワーク46に入力して火災を監視することになる。
〔本発明の変形例〕
(火災報知設備毎にカスタマイズされた学習)
上記の実施形態におけるサーバに複数の火災報知設備から収集された学習画像による多層式ニューラルネットワークの学習は、収集された学習画像を火災報知設備毎に分類して蓄積するか、又は、監視区域が類似している複数の火災報知設備にグループ化して蓄積し、分類された火災報知設備又は火災報知設備グループに対応して多層式ニューラルネットワークをサーバ側に準備し、それぞれに対応する学習画像を使用して学習し、学習済みの多層式ニューラルネットワークを対応する火災報知設備の火災検出器にダウンロードするようにしても良い。
(サーバによる学習データの収集と配信)
上記の実施形態は、サーバで学習を行う構成としているが、サーバは入力情報を格納するものであり、各異常検出器がサーバ内に格納された入力情報をダウンロードして学習するようにしても良い。
(類似環境での学習)
サーバでの学習、異常検出器での学習いずれの場合においても、監視対象の環境が類似している異常検出器の入力情報を用いて多層式ニューラルネットワークの学習を行うようにしても良い。監視対象の環境は、サーバに保存され、どの異常検出器の入力情報がどの異常検出器の学習情報に用いられるか管理される。監視対象の環境は、ユーザによって登録されるものでも良いが、異常検出器の初期化学習によって環境を特定し、特定した環境に応じてカテゴライズされることが、登録の手間を防ぐ点で有利である。
また、類似環境で発生した異常の事例から、監視領域のうち、異常発生の要因となるものを報知できるようにしても良い。例えば、通常状態において監視カメラの映像を警備員室のモニタで表示しているような場合、類似環境で火災が発生した場合、当該火災の発生源となったものを強調表示する。これにより、真に火災が発生したとき、火災の原因推定を容易にすることが可能となり、またあらかじめ火災が拡大しないような手段を講じることができるようになる。
(盗難監視)
上記の実施形態は、火災監視を例にとっているが、盗難監視にも適用できる。盗難監視の場合には、図1の監視カメラを用いた監視システムについては、受信機16を盗難受信機とし、火災感知器22を盗難検出器とすれば良い。また、図6の監視システムでは、受信機16を盗難受信機とし、アナログ火災感知器80を盗難検出器とすれば良い。
(不法行為の監視)
また、不法行為の事前検出にも適用できる。盗難、放火等の不法行為を行おうとする人物の動き、例えば周りを頻繁に見渡すなどの動きを学習し、不法行為を行うより先に異常検出し、警報を出力する。警報出力の方法としては、例えば監視カメラを監視する警備室のモニタ等に監視カメラの画像を表示し、当該人物を赤枠などで囲う様に表示すればよい。
不法行為に伴う動きについては、当該現場特有ではなく、類似環境毎、あるいは世界的に共通の動きであることから、サーバに格納される複数の環境の入力情報を元に学習を行う本願において、効果的に学習することができる。また、不法行為に伴う動作について明らかになっていない共通動作を発見できる効果も期待できる。
(入退室システムとの連携)
また、入退室システムとの連携により、異常な侵入等の監視についても適用できる。入退室システムは、例えばカードや指紋等で対象人物が特定の領域へ入退室可能か判定している。しかし、入退室システムでは、入室可能な人物と一緒に入室不可能なはずの人間が入室するという共連れ等の問題が発生している。上記の共連れのような不法行為について、カメラ画像と入退室システムの情報を入力として異常を学習、検出することにも適用できる。本願は、サーバで学習した異常検出器をダウンロードさせて現場の異常検出器に利用できるため、別の場所で新しく発生した不法行為についても学習し、対応可能となる。
(学習済み多層式ニューラルネットワークのダウンロードによる更新)
上記の実施形態における学習済みの多層式ニューラルネットワークのダウンロードによる更新は、学習済みの多層式ニューラルネットワークのアプリケーションプログラムをダウンロードするものであるが、学習により変更されるのはネットワークの重みとバイアスであることから、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新するようにしても良い。
また、学習前の旧プログラムと学習済みの新プログラムとの差分をとってダウンロードし、差分により旧プログラムを更新することで、実質的に、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新することができる。
(特徴抽出)
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
(赤外線照明と赤外線画像の撮像)
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像し、受信機の火災監視に連動して赤外線画像の学習画像を収集してサーバにアップロードし、サーバで赤外線学習画像を使用して多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを火災報知設備側にダウロードして、赤外線画像から火災か非火災かを判定するようにしても良い。
このように監視領域の赤外線画像を収集して学習された多層式ニューラルネットワークを使用することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
(放火監視)
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式ニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。
(学習方法について)
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。
(画像とセンサの複合)
上記の実施形態は、画像による異常監視とセンサによる異常監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、1ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、異常検出を判定する次段以降の中間層の項に対して影響を与えるようになることが学習結果として望ましいが、異常の監視を有効にできるならこれに限らない。
(その他)
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
10:火災報知設備
11:インターネット
12:サーバ
14,14a:火災検出器
16:受信機
18:監視領域
20:監視カメラ
22:火災感知器
24:信号ケーブル
26:感知器回線
28:サーバ制御部
30,54:通信部
32:表示部
34:操作部
36:記憶装置
38:学習制御部
40:学習画像蓄積部
42:判定制御部

Claims (12)

  1. 多層式ニューラルネットワークによって構成される異常検出器を用いて、入力情報に基づき監視領域の異常を検出する監視システムに於いて、
    前記異常検出器に、前記入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
    前記サーバに、前記学習情報収集部からアップロードされた前記学習情報により前記異常検出器と同じ構成の多層式ニューラルネットワークをディープラーニングにより学習させ、学習済みの多層式ニューラルネットワークを前記異常検出器にダウンロードさせて更新させる学習制御部が設けられ
    前記多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われることを特徴とする監視システム。
  2. 多層式ニューラルネットワークによって構成される異常検出器を用いて、入力情報に基づき監視領域の異常を検出する監視システムに於いて、
    前記異常検出器に、前記入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
    前記サーバに、他の異常検出器の前記学習情報収集部からアップロードされた前記学習情報を、異常検出器にダウンロードさせて前記異常検出器の多層式ニューラルネットワークをディープラーニングにより学習させる学習制御部が設けられたことを特徴とする監視システム。
  3. 請求項記載の監視システムに於いて、
    前記多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われることを特徴とする監視システム。
  4. 請求項1乃至3何れかに記載の監視システムに於いて、
    センサにより検出された物理量及び又は、撮像部により撮像された前記監視領域の画像を前記入力情報とすることを特徴とする監視システム。
  5. 請求項1乃至何れかに記載の監視システムに於いて、
    前記学習情報収集部は、異常を監視している受信機による監視結果に対応した入力情報を学習情報として前記サーバにアップロードることを特徴とする監視システム。
  6. 請求項1乃至何れかに記載の監視システムに於いて、
    前記学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に対応した入力情報を学習情報として前記サーバにアップロードることを特徴とする監視システム。
  7. 請求項記載の監視システムに於いて、
    前記学習情報収集部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を火災の学習情報として前記サーバにアップロードることを特徴とする監視システム。
  8. 請求項記載の監視システムに於いて、
    前記火災感知器は温度又は煙濃度を検出して検出アナログ値を前記火災受信機に送って火災を判断させ
    前記学習情報収集部は、前記検出アナログ値が所定の火災判断レベルに達し、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、前記検出アナログ値が前記火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を火災の学習情報として前記サーバにアップロードることを特徴とする監視システム。
  9. 請求項6又は7記載の監視システムに於いて、
    前記学習情報収集部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を非火災の学習情報として前記サーバにアップロードることを特徴とする監視システム。
  10. 請求項6又は8記載の監視システムに於いて、
    前記火災感知器は温度又は煙濃度を検出して検出アナログ値を前記火災受信機に送って火災を判断させ
    前記学習情報収集部は、前記検出アナログ値が所定の火災判断レベルに達し、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、前記検出アナログ値が前記火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を非火災の学習情報として前記サーバにアップロードることを特徴とする監視システム。
  11. 請求項6乃至10何れかに記載の監視システムに於いて、
    前記学習情報収集部は、前記火災受信機の通常監視状態入力情報を非火災の学習情報として前記サーバにアップロードることを特徴とする監視システム。
  12. 請求項1乃至4何れかに記載の監視システムに於いて、
    前記学習情報収集部は、盗難検出器により盗難を監視している盗難受信機による監視結果に対応した入力情報を学習情報として前記サーバにアップロードることを特徴とする監視システム。
JP2016210241A 2016-10-24 2016-10-27 監視システム Active JP6862144B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016210241A JP6862144B2 (ja) 2016-10-27 2016-10-27 監視システム
EP17863744.3A EP3531386A4 (en) 2016-10-24 2017-10-19 FIRE SURVEILLANCE SYSTEM
PCT/JP2017/037830 WO2018079400A1 (ja) 2016-10-24 2017-10-19 火災監視システム
US16/376,117 US20220292944A9 (en) 2016-10-24 2019-04-05 Fire monitoring system
JP2021059552A JP7072700B2 (ja) 2016-10-27 2021-03-31 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016210241A JP6862144B2 (ja) 2016-10-27 2016-10-27 監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021059552A Division JP7072700B2 (ja) 2016-10-27 2021-03-31 監視システム

Publications (2)

Publication Number Publication Date
JP2018073024A JP2018073024A (ja) 2018-05-10
JP6862144B2 true JP6862144B2 (ja) 2021-04-21

Family

ID=62115469

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016210241A Active JP6862144B2 (ja) 2016-10-24 2016-10-27 監視システム
JP2021059552A Active JP7072700B2 (ja) 2016-10-27 2021-03-31 監視システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021059552A Active JP7072700B2 (ja) 2016-10-27 2021-03-31 監視システム

Country Status (1)

Country Link
JP (2) JP6862144B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106997B2 (ja) * 2018-06-04 2022-07-27 日本電信電話株式会社 データ分析システムおよびデータ分析方法
JP7262735B2 (ja) * 2018-10-29 2023-04-24 日本ケーブル株式会社 立体駐車装置の安全装置
JP7161920B2 (ja) * 2018-11-09 2022-10-27 セコム株式会社 店舗装置
KR102162844B1 (ko) * 2018-12-14 2020-10-07 곽만석 대용량의 자동 소화장치 및 시스템
JP7286311B2 (ja) * 2018-12-19 2023-06-05 清水建設株式会社 火災検出装置、火災検出方法、及びプログラム
KR102245006B1 (ko) * 2019-02-27 2021-04-28 주식회사 유니콤넷 L2 스위치 장치 및 그것을 포함하는 영상 관제 시스템
JP7343290B2 (ja) * 2019-03-29 2023-09-12 太陽誘電株式会社 判定システム、情報処理装置、サーバ、プログラムおよび判定方法
JP6742623B1 (ja) * 2019-11-13 2020-08-19 尚範 伊達 監視装置、監視方法、及びプログラム
US20230298445A1 (en) * 2020-06-24 2023-09-21 Nec Corporation Learning apparatus, estimation apparatus, learning method, and non-transitory storage medium
JP6783492B1 (ja) * 2020-06-30 2020-11-11 株式会社鈴康 電話機、報知システム及びコンピュータプログラム
KR102275989B1 (ko) * 2021-01-18 2021-07-13 (주)전원테크 화재 및 화재의 예상 전개방향을 예측할 수 있는 화재예측 시스템
WO2022190801A1 (ja) 2021-03-10 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365194A (ja) * 1991-06-12 1992-12-17 Toyoe Moriizumi 火災報知装置
JP3032402B2 (ja) * 1993-05-18 2000-04-17 ホーチキ株式会社 火災判定装置及びニューラルネットワークの学習方法
JPH09196825A (ja) * 1996-01-18 1997-07-31 Fuji Facom Corp プラントの異常検知装置
JPH10207734A (ja) * 1997-01-17 1998-08-07 Hitachi Ltd 障害診断装置
JP2004199391A (ja) * 2002-12-18 2004-07-15 Manabu Tanaka 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体
US7202794B2 (en) 2004-07-20 2007-04-10 General Monitors, Inc. Flame detection system
CN101162545A (zh) 2007-11-20 2008-04-16 华南理工大学 高层建筑火灾光温复合智能监测预报装置
JP2016139176A (ja) * 2015-01-26 2016-08-04 シャープ株式会社 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム

Also Published As

Publication number Publication date
JP2021119469A (ja) 2021-08-12
JP7072700B2 (ja) 2022-05-20
JP2018073024A (ja) 2018-05-10

Similar Documents

Publication Publication Date Title
JP7072700B2 (ja) 監視システム
JP6849411B2 (ja) 監視システム
WO2018079400A1 (ja) 火災監視システム
JP6867153B2 (ja) 異常監視システム
JP6857007B2 (ja) 火災監視システム
JP6942029B2 (ja) 火災監視システム
JP6943401B2 (ja) 火災監視システム
WO2018116966A1 (ja) 火災監視システム
US11620894B2 (en) Surveillance system and method for predicting patient falls using motion feature patterns
CN106485871B (zh) 通过应用统计推断模型来提供误报警的早期预测和预报的系统和方法
Tzeng et al. Design of fall detection system with floor pressure and infrared image
EP2058777A1 (en) Suspicious behavior detection system and method
JP6968530B2 (ja) 火災監視システム
US11729597B2 (en) Digital twin disaster management system customized for underground public areas
KR20210030791A (ko) 모니터링 대상 영상에서 이상 상황을 탐지하는 서버, 방법 및 컴퓨터 프로그램
Soman et al. A Novel Fall Detection System using Mediapipe
WO2001048696A1 (en) Method, device and computer program for monitoring an area
KR102542327B1 (ko) 지능형 인체감지 무인 계도방송 시스템
US20200394902A1 (en) Comprehensive video/sensor based artwork protection system
Minor et al. Data fusion with a multisensor system for damage control and situational awareness
KR20230071565A (ko) 재난 관측 모니터링 시스템 및 그 방법
WO2007108036A1 (en) Method for the recognition of events, suited for active watch security
JP2021087031A (ja) 情報処理装置、情報処理方法、監視システム、及びプログラム
WO2011129739A1 (en) Method for video surveillance of an area with behavioural analysis and computer system for carrying out the method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210331

R150 Certificate of patent or registration of utility model

Ref document number: 6862144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150