JP6914387B1 - 異常検知システム、情報処理装置、異常検知方法及び異常検知プログラム - Google Patents

Abstract

【課題】遮断棒の作動状況と予測位置との差を検出することにより、踏切での異常の発生を迅速に検知することを課題とする。【解決手段】電車が踏切に接近すると、警報機は、警報音を発するとともに、複数設けられた赤色閃光灯を交互に点滅する。情報処理装置３０は、カメラ１０の映像から赤色閃光灯の点滅を検知、または、マイク２０の音声から警報音を検知したならば（Ｓ１）、タイマの計時を開始する（Ｓ２）。カメラ１０の画像から遮断棒を検出し（Ｓ３）、経過時間毎の遮断棒の位置Ｐの予測座標と実座標の距離を求める（Ｓ４）。求めた距離が所定値以上である場合には、情報処理装置３０は、監視センタ装置１００に対して警報を通知する（Ｓ５）。監視センタの係員は、監視センタ装置１００において警報を確認し、該係員の操作により、電車の表示装置に対して警報を通知する（Ｓ６）。【選択図】図１

Description

この発明は、踏切での異常の発生を迅速に検知することができる異常検知システム、情報処理装置、異常検知方法及び異常検知プログラムに関する。

従来、鉄道線路と道路が平面交差する踏切は、歩行者又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた２個以上の赤色閃光灯を交互に点滅するとともに、警報機からカンカンという音を発し、その後に自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。

ところが、かかる遮断棒を降下させたとしても、依然として踏切における重大事故が多いため、固定カメラにより踏切を監視する技術が知られている。例えば、特許文献１（特開２０１８−１９２８４４号公報）には、固定カメラによる画像検出により踏切の遮断棒が下りたことを認識したとき、踏切の監視領域内の対象者数がゼロでなければ警報を出力する技術が開示されている。

特開２０１８−１９２８４４号公報

しかしながら、この特許文献１のものは、遮断棒が下りた後の処理であるため、警報を出力するまでに時間を要する可能性がある。遮断棒が下りてから電車が踏切を通過するまでの時間が短いためである。このため、踏切での異常の発生をいかにして迅速に検知するかが課題となっている。

本発明は、上記の課題を解決するためになされたものであって、踏切での異常の発生を迅速に検知することができる異常検知システム、情報処理装置、異常検知方法及び異常検知プログラムを提供することを目的とする。

上記課題を解決するため、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムであって、前記情報処理装置は、あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測手段と、前記予測手段により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手段とを備える。

また、本発明は、上記の発明において、前記監視領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記閃光灯の閃光を検知する閃光検知手段とをさらに備える。

また、本発明は、上記の発明において、前記監視領域における音を収集する音収集手段と前記音収集手段により収集された音から雑音を除外して、警報機による警報音を検知する警報音検知手段とをさらに備える。

また、本発明は、上記の発明において、前記所定の時間は、前記遮断棒の閉位置に到達するまでの時間より短い。

また、本発明は、上記の発明において、前記異常検知手段は、前記予測手段による予測結果と前記遮断棒の作動状況との差が所定値よりも大きい場合に、前記監視領域に異常が生じたものとみなして異常発生を検知する。

また、本発明は、上記の発明において、前記情報処理装置は、前記異常検知手段により前記監視領域における異常が検知された場合に、所定の監視センタ装置又は電車の運転席に設けられた表示装置に警告を報知する報知手段をさらに備える。

また、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムであって、前記情報処理装置は、前記遮断棒を含む画像と、動体と電車とが衝突する可能性を示す危険確率との対を教師データとして用いて、多層ニューラルネットワークに対して深層学習による教師有り学習を行うことにより生成され、前記監視領域を撮像する撮像装置により撮像された所定の経過時間ごとの画像に含まれる遮断棒の部分画像を入力し、所定の経過時間ごとの危険確率を出力する学習済モデルと、前記学習済モデルから出力された危険確率から危険スコアを算定する危険スコア算定手段と、前記危険スコア算定手段により算定された危険スコアに基づいて、前記監視領域外に所在する外部装置に対して異常状態を通知する異常状態通知手段とを備える。

また、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置であって、あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測手段と、前記予測手段により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手段とを備える。

また、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムにおける異常検知方法であって、あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測工程と、前記予測工程により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知工程とを含む。

また、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置又は該情報処理装置の依頼により異常検知処理を実行するサーバ装置で実行される異常検知プログラムであって、あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測手順と、前記予測手順により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手順とをコンピュータに実行させる。

また、本発明は、少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置又は該情報処理装置の依頼により異常検知処理を実行するサーバ装置で実行される異常検知プログラムであって、前記遮断棒を含む画像と、動体と電車とが衝突する可能性を示す危険確率との対を教師データとして用いて、多層ニューラルネットワークに対して深層学習による教師有り学習を行うことにより生成され、前記監視領域を撮像する撮像装置により撮像された所定の経過時間ごとの画像に含まれる遮断棒の部分画像を入力し、所定の経過時間ごとの危険確率を出力する学習済モデルと、前記学習済モデルから出力された危険確率から危険スコアを算定する危険スコア算定手順と、前記危険スコア算定手順により算定された危険スコアに基づいて、前記監視領域外に所在する外部装置に対して異常状態を通知する異常状態通知手順とをコンピュータに実行させる。

本発明によれば、踏切での異常の発生を迅速に検知することができる。

図１は、実施形態１に係る異常検知システムの概要の説明図である。 図２は、図１に示した情報処理装置の構成を示す機能ブロック図である。 図３は、図２に示した蓄積データ、予測データ及び判定閾値データの一例を示す図である。 図４は、実施形態１に係る遮断棒の現在位置と予測位置との距離算定の概要の説明図である。 図５は、図１に示した監視センタ装置の構成を示す機能ブロック図である。 図６は、図５に示した車両内表示装置データの一例を示す図である。 図７は、図２に示した情報処理装置における予測データ生成の処理手順を示すフローチャートである。 図８は、図２に示した情報処理装置における異常検知手順を示すフローチャートである。 図９は、図５に示した監視センタ装置の処理手順を示すフローチャートである。 図１０は、実施形態２に係る異常検知システムの概要の説明図である。 図１１は、図１０に示した情報処理装置の構成を示す機能ブロック図である。 図１２は、図１１に示した危険スコア算定部の処理を説明するための説明図である。 図１３は、図１１に示した情報処理装置における異常検知手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る異常検知システム、情報処理装置、異常検知方法及び異常検知プログラムの好適な実施形態を詳細に説明する。なお、以下に示す実施形態１では、カメラで撮像した画像を画像処理して異常を検知する場合を示すこととする。また、実施形態２では、深層学習により教師有学習を行った学習済モデルを用いて異常を検知する場合を示すこととする。

［実施形態１］
＜異常検知システムの概要＞
まず、本実施形態１に係る異常検知システムの概要について説明する。図１は、本実施形態１に係る異常検知システムの概要を説明するための説明図である。

従来、鉄道線路と道路が平面交差する踏切は、歩行者、自転車、カート、自動二輪車又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた２個以上の赤色閃光灯を交互に点滅させるとともに、警報機からカンカンという警告音を発報し、移動体に対して電車の到来を告げる。その後、自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。

ところが、踏切を通過する電車の数が多い場合には、遮断棒が上昇するまでに時間を要する場合がある。このため、移動体は、赤色閃光灯を交互に点滅を始め、警報機から警告音が発報されたとしても、無理に踏切を通過しようと試み、移動体が踏切周辺で立ち往生する場合がある。その結果、踏切内の重大事故を招いてしまう。

ここで、従来技術として、踏切に設置した固定カメラによる画像検出により踏切の遮断棒が下りたことが認識されたとき、踏切の監視領域内の対象者数がゼロでなければ警報を出力する技術が存在するが、遮断棒が降下した時点ですでに電車が踏切に接近しているため、監視センタ等が踏切での異常発生の警告を受けたとしても、適切な対応を行うことができない可能性がある。

そこで、本実施形態１では、予め遮断棒が降下する予測データを生成しておき、この予測データ通りに遮断棒が適正に降下しているか否かを判定し、遮断棒の降下状況が予測データと所定の閾値以上異なる場合には、異常を通報するようにしている。例えば、遮断棒の先端が降下する位置にトラック等が存在する場合には、遮断棒を適正に降下させることができない状況が生じるが、実施形態１の構成によれば、遮断棒が降下し終える前に異常を検知することができる。また、降下中の遮断棒を人が手で抑制した状況が生じる場合にも、異常を検知することができる。このように、本実施形態１では、遮断棒が適正に降下しているか否かを異常検知の指標とみなして、異常の検知を行っている。

図１に示すように、踏切には、踏切の状況を検知するため、カメラ１０、マイク２０及び情報処理装置３０が設置され、相互に通信回線で接続されている。なお、図１の説明では、事前に経過時間毎の遮断棒の位置Ｐの予測座標が算定されているものとする。具体的には、カメラ１０の画像から赤色閃光灯の点滅を検知するか、又は、マイク２０に入力された音に警報音が含まれることを検知し、経過時間毎のカメラ１０の画像から遮断棒の位置Ｐの予測座標を検出する処理を繰り返す。その後、複数の予測座標の平均値を求め、この平均値を経過時間毎の遮断棒の位置Ｐの予測座標とする。

カメラ１０は、例えば踏切近傍の架線柱の上部などに固定的に設置される。なお、踏切付近に陸橋などが存在する場合には、この陸橋の所定の位置にカメラを固定的に設置することができる。

情報処理装置３０は、例えば踏切近傍又は陸橋の架線柱の地上部分などに設置され、カメラ１０と有線又は無線で接続される。監視センタは、路線上に所在する複数の踏切の状況を監視するセンタであり、監視センタ装置１００が設置されるとともに、電車の運転席に搭載された表示装置及び情報処理装置３０と無線通信により通信可能に接続される。

電車が踏切から所定の距離離隔した位置を通過したならば、警報機は、警報音を発するとともに、複数設けられた赤色閃光灯が交互に点滅するよう制御される。なお、警報機からの警報音の発報及び赤色閃光灯の点滅制御は、情報処理装置３０と異なる既存の制御装置により制御されるが、ここではその詳細な説明を省略する。

情報処理装置３０は、カメラ１０の画像から赤色閃光灯の点滅を検知するか、又は、マイク２０に入力された音に警報音が含まれることを検知したならば（Ｓ１）、タイマの計時を開始する（Ｓ２）。

カメラ１０の画像から遮断棒（遮断棒の部分画像）を検出し（Ｓ３）、経過時間毎の遮断棒の位置Ｐの予測座標と実座標の距離を求める（Ｓ４）。求めた距離が所定値以上である場合には、情報処理装置３０は、監視センタ装置１００に対して警報を通知する（Ｓ５）。なお、本実施形態１では、監視センタ装置１００に対して警報を通知する場合について説明するが、情報処理装置３０に電車の運行予定データ（電車の踏切通過予定時間、電車の表示装置のＩＰアドレス等）を記憶させ、この運行予定データに基づいて通知先となる電車の表示装置を特定し、特定した電車の表示装置に対して直接警報を通知するよう構成することもできる。これにより、運転士が遅滞なく状況を把握することができる。

監視センタの係員は、監視センタ装置１００において警報を確認し、該係員の操作により、電車の表示装置に対して警報を通知する（Ｓ６）。なお、本実施形態１では係員の操作により、電車の表示装置に対して警報を通知する場合について説明するが、監視センタ装置１００が警報を通知すべきか否かを自動的に判定し、電車の表示装置に対して警報を自動通知するよう構成することもできる。例えば、過去の実績値と比較して予測座標と実座標の距離が大きいか否かにより自動通知するか否かを判定することができる。これにより、監視センタの係員の負担を軽減するとともに係員による人的なミスを排除することができる。また、風の影響等を受けて遮断棒が揺れたことに起因するノイズ的な通報等を監視センタ装置１００が除外し、運転士に対する誤通報を低減することができる。

このように、本実施形態１に係る異常検知システムは、遮断棒の作動状況と予測位置との差が所定値以上である場合に監視センタ装置１００に警報を出力するよう構成したので、踏切での異常の発生を迅速に検知することができる。

＜情報処理装置３０の構成＞
次に、図１に示した情報処理装置３０の構成について説明する。図２は、図１に示した情報処理装置３０の構成を示す機能ブロック図である。図２に示すように、情報処理装置３０は、カメラ１０、マイク２０及び無線通信装置４０と接続され、記憶部３１、制御部３２及びタイマ３３を有する。

カメラ１０は、遮断棒の状況を撮像する装置である。マイク２０は、警報音を集音する装置である。無線通信装置４０は、情報処理装置３０と監視センタ装置１００を無線通信により接続する装置である。タイマ３３は、計時開始指示を受けてからの経過時間を計測する計時手段である。

記憶部３１は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、蓄積データ３１ａ、予測データ３１ｂ及び判定閾値データ３１ｃを記憶する。蓄積データ３１ａは、事前に測定された経過時間毎の遮断棒の位置Ｐの座標を例えば１０回分蓄積したデータである。なお、測定回数は１０回に限るものではない。

予測データ３１ｂは、遮断棒が正常に動作した場合の座標の予測データである。例えば、蓄積データ３１ａに含まれる経過時間毎の遮断棒の位置Ｐの座標の平均を予測データ３１ｂとすることができる。なお、経過時間毎の遮断棒の位置Ｐの複数の座標がかなり異なる場合には、平均値を算定しても意味がない。このため、かかる場合には、座標が一定の範囲に収まるまで測定を繰り返すこともできる。判定閾値データ３１ｃは、遮断棒の現在位置と予測位置の差が一定の範囲内にあるか否かを判定するための閾値データである。

制御部３２は、情報処理装置３０の全体制御を行う制御部であり、警報音受付部３２ａ、画像受付部３２ｂ、閃光灯検出部３２ｃ、遮断棒検出部３２ｄ、判定部３２ｅ、警報通知部３２ｆ及び予測データ生成部３２ｇを有する。実際には、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、警報音受付部３２ａ、画像受付部３２ｂ、閃光灯検出部３２ｃ、遮断棒検出部３２ｄ、判定部３２ｅ、警報通知部３２ｆ及び予測データ生成部３２ｇにそれぞれ対応するプロセスを実行させることになる。

警報音受付部３２ａは、マイク２０から受信した音に含まれる警報音を受け付ける処理部である。例えば、予め警報音の周波数パターンデータを記憶しておき、マイク２０から受信した音から環境音等の雑音を除去した後に、この音の周波数データに警報音の周波数パターンデータが含まれるならば、警報音を受け付けたと判定し、タイマ３３に対して計時開始指示を行う。

画像受付部３２ｂは、カメラ１０から送信された画像を受け付ける処理部である。なお、カメラ１０からＭＰＥＧ等で圧縮された動画像（映像）を受け付けた場合には、この動画像から一定時間毎に画像を抽出する。

閃光灯検出部３２ｃは、画像受付部３２ｂから受け付けた画像に含まれる赤色閃光灯の点滅を検知する処理部である。例えば、画像受付部３２ｂから受け付けた画像から赤色閃光灯部分の部分画像を切り出し、切り出した部分画像に赤色の画素の集合が存在するか否かによって赤色閃光灯の発光を検知する。なお、時系列をなす複数の部分画像の色彩の変化により赤色閃光灯の点滅を検知することが望ましい。

遮断棒検出部３２ｄは、画像受付部３２ｂから受け付けた画像から遮断棒の現在位置を検出する処理部である。例えば、予め遮断棒のテンプレート画像を準備しておき、画像受付部３２ｂから受け付けた画像内にテンプレート画像が含まれているか否かを判定し、テンプレート画像が含まれている場合には、遮断棒の先端Ｐの座標を現在位置として検出する。なお、このテンプレート画像は、経過時間に応じて降下する遮断棒を含む複数の画像を準備することが望ましい。

判定部３２ｅは、遮断棒検出部３２ｄに検出された経過時間ｔ１における先端Ｐの座標と、予測データ３１ｂ内の経過時間ｔ１における先端Ｐの予測座標との間の距離ｄを算出する。判定部３２ｅは、距離ｄが判定閾値データ３１ｃを超えていたならば、警報通知部３２ｆに異常が発生したと判定する。警報通知部３２ｆは、判定部３２ｅにより異常が発生したと判定された場合には、無線通信装置４０を介して監視センタ装置１００に警報を通知する。

予測データ生成部３２ｇは、蓄積データ３１ａを用いて、経過時間毎の遮断棒の先端Ｐの予測位置（座標）を算出する処理部である。例えば、蓄積データ３１ａに記憶された経過時間毎のＸ座標及びＹ座標の１０組のデータから、それぞれの平均値を算定し、該算定結果を予測データ３１ｂに記憶する。

次に、図２に示した蓄積データ３１ａ、予測データ３１ｂ及び判定閾値データ３１ｃの一例について説明する。図３は、図２に示した蓄積データ３１ａ、予測データ３１ｂ及び判定閾値データ３１ｃの一例を示す図である。

図３（ａ）に示す蓄積データ３１ａは、計測日時における計測結果、すなわち、経過時間毎の遮断棒の先端ＰのＸ座標及びＹ座標を含むデータである。具体的には、蓄積データ３１ａは、計測日時「２０２０／０３／０１ １０：２５」に対して、経過時間「１」秒では、Ｘ座標「０．００」、Ｙ座標「１０．００」、経過時間「７」秒では、Ｘ座標「０．００」、Ｙ座標「１０．００」、経過時間「８」秒では、Ｘ座標「２．３５」、Ｙ座標「９．７０」、経過時間「１３」秒では、Ｘ座標「９．５６」、Ｙ座標「０．２５」が対応付けられた状況を示している。

また、蓄積データ３１ａは、計測日時「２０２０／０３／０１ ２１：４０」に対して、経過時間「１」秒では、Ｘ座標「０．００」、Ｙ座標「１０．００」、経過時間「７」秒では、Ｘ座標「１．１２」、Ｙ座標「９．７８」、経過時間「８」秒では、Ｘ座標「３．７８」、Ｙ座標「８．９５」、経過時間「１３」秒では、Ｘ座標「１０．００」、Ｙ座標「０．００」が対応付けられた状況を示している。

図３（ｂ）に示す予測データ３１ｂは、経過時間毎の遮断棒の先端Ｐの予測位置（Ｘ座標及びＹ座標）を含むデータである。具体的には、予測データ３１ｂは、経過時間「１」秒では、Ｘ座標「０．００」、Ｙ座標「１０．００」、経過時間「７」秒では、Ｘ座標「０．００」、Ｙ座標「１０．００」、経過時間「８」秒では、Ｘ座標「２．５９」、Ｙ座標「９．６６」、経過時間「１３」秒では、Ｘ座標「１０．００」、Ｙ座標「０．００」となる予測データを示している。図３（ｃ）に示す判定閾値データ３１ｃは、判定閾値が「２．００」であることを示している。

＜遮断棒の現在位置と予測位置との距離算定＞
次に、遮断棒の現在位置と予測位置との距離算定の一例を説明する。図４は、遮断棒の現在位置と予測位置との距離算定の一例を説明するための説明図である。ここでは、カメラ１０が撮像した画像に含まれる遮断機の遮断棒の取り付け点を座標の原点とし、該画像の垂直方向をＹ軸とし、Ｙ軸と直交する所定の方向をＸ軸とする。Ｘ軸及びＹ軸それぞれの目盛は、実際の長さに合わせるよう設定してもよいし、分かりやすく１０等分等に設定することもできる。

ＸＹ平面において、遮断棒の先端の点Ｐの位置をＸ座標及びＹ座標で表す。点Ｐの予測位置を（ｘ₁，ｙ₁）、現在位置を（ｘ₂，ｙ₂）とすると、２点間の距離ｄは次の式で求めることができる。
ｄ＝｛（ｘ₁−ｘ₂）²＋（ｙ₁−ｙ₂）²｝^1/2 （式１）

なお、ここでは説明の便宜上、ＸＹ平面上の２点間の距離を直接求める場合を示したが、ハフ（Hough）変換を行ってハフ平面上で２点間の距離を求めることもできる。ハフ変換とは、ＸＹ座標系の点（ｘ，ｙ）を角度θと距離ρで表現し、θρ座標系に変換する。ＸＹ座標系の一点は、ハフ変換によりθρ座標系においての一点として変換され、ＸＹ座標系と同じように、二点間の距離を算定することができる。

＜監視センタ装置１００の構成＞
次に、図１に示した監視センタ装置１００の構成について説明する。図５は、図１に示した監視センタ装置１００の構成を示す機能ブロック図である。図５に示すように、監視センタ装置１００は、表示部１０１、入力部１０２及び無線通信装置１１０と接続され、記憶部１０３及び制御部１０４を有する。

表示部１０１は、液晶パネルやディスプレイ装置等である。入力部１０２は、キーボードやマウス等である。無線通信装置１１０は、監視センタ装置１００と情報処理装置３０及び電車車両に搭載された表示装置を無線通信により接続する装置である。

記憶部１０３は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、車両内表示装置データ１０３ａを記憶する。車両内表示装置データ１０３ａは、電車の車両番号及び表示装置番号を記憶したデータである。

制御部１０４は、監視センタ装置１００の全体制御を行う制御部であり、警報受信部１０４ａ、表示制御部１０４ｂ及び警報転送部１０４ｃを有する。実際には、これらのプログラムをＣＰＵにロードして実行することにより、警報受信部１０４ａ、表示制御部１０４ｂ及び警報転送部１０４ｃにそれぞれ対応するプロセスを実行させることになる。

警報受信部１０４ａは、無線通信装置１１０を介して、情報処理装置３０から警報を受信する処理部である。表示制御部１０４ｂは、警報受信部１０４ａが受信した警報を表示部１０１に表示する処理部である。

警報転送部１０４ｃは、情報処理装置３０から受信した警報を電車車両に搭載された表示装置に転送する処理部である。警報転送部１０４ｃは、入力部１０２からの係員の操作により、警報の転送指示を受けたならば、図示しない電車車両の運行状況を監視する監視システムから、情報処理装置３０が設置された踏切に接近する電車の車両番号を受信する。警報転送部１０４ｃは、車両内表示装置データ１０３ａから該車両番号を検索し、対応付けられた表示装置に対して、情報処理装置３０から受信した警報を転送する。

次に、図５に示した車両内表示装置データ１０３ａの一例について説明する。図６は、図５に示した車両内表示装置データ１０３ａの一例を示す図である。図６に示す車両内表示装置データ１０３ａは、車両番号「ＡＢ１２３４」に対して、表示装置番号「ＸＹＺ５６７」を対応付けている。

＜情報処理装置３０における予測データ生成の処理手順＞
次に、情報処理装置３０における予測データ生成の処理手順ついて説明する。図７は、情報処理装置３０における予測データ生成の処理手順を示すフローチャートである。まず、赤色閃光灯の点滅を検知するか又は警報音を検知したならば（ステップＳ１０１；Ｙｅｓ）、遮断棒降下時の一定時間毎の遮断棒の先端Ｐの座標を検出し（ステップＳ１０２）、検出した座標を蓄積データ３１ａに記憶する（ステップＳ１０３）。

そして、蓄積データ３１ａ内に、経過時間毎の座標が所定数（例えば１０個）記憶されたならば（ステップＳ１０４；Ｙｅｓ）、蓄積データ３１ａに記憶された複数の座標に基づいて予測位置（座標）を算定し（ステップＳ１０５）、処理を終了する。例えば、各座標の平均値を算出する。なお、経過時間毎の座標が所定数（例えば１０個）に満たない場合には（ステップＳ１０４；Ｎｏ）、ステップＳ１０１に移行して同様の処理を繰り返す。

かかる一連の処理を行うことにより、予測データを生成することが可能となる。なお、この予測データは、定期的に更新することが望ましい。経年変化等によって遮断棒の形状が変化する場合があるためである。

＜情報処理装置３０における遮断棒の異常検出の処理手順＞
次に、情報処理装置３０における遮断棒の異常検出の処理手順ついて説明する。図８は、情報処理装置３０における遮断棒の異常検出の処理手順を示すフローチャートである。ここでは、事前に予測データ３１ｂが生成されているものとする。

まず、赤色閃光灯の点滅を検知するか又は警報音を検知したならば（ステップＳ２０１；Ｙｅｓ）、タイマ３３による計時を開始する（ステップＳ２０２）。タイマ３３の経過時刻が所定時間となった状況でカメラ１０から受信した画像に含まれる遮断棒の部分画像を抽出する（ステップＳ２０３）。

遮断棒の部分画像から遮断棒の先端Ｐの座標を抽出し、該座標と予測データ３１ｂ内の経過時間に該当する座標から、距離ｄを算出し（ステップＳ２０４）、距離ｄと判定閾値データ３１ｃの判定閾値とを比較する（ステップＳ２０５）。

距離ｄが判定閾値を超えていたならば（ステップＳ２０５；Ｙｅｓ）、監視センタ装置１００に警報を通知し（ステップＳ２０６）、処理を終了する。距離ｄが判定閾値以下であるならば（ステップＳ２０５；Ｎｏ）、計時開始からの時間ｔと予め設定された検出設定時間とを比較する（ステップＳ２０７）。

時間ｔが検出設定時間以下であるならば（ステップＳ２０７；Ｎｏ）、ステップＳ２０３に移行して同様の処理を繰り返す。時間ｔが検出設定時間を超えていたならば（ステップＳ２０７；Ｙｅｓ）、処理を終了する。

上記一連の処理を行うことにより、遮断棒が下がりきる前に異常を検出することができるため、踏切における重大な事故の発生を防止することができる。

＜監視センタ装置１００の処理手順＞
次に、監視センタ装置１００の処理手順について説明する。図９は、監視センタ装置１００の処理手順を示すフローチャートである。まず、監視センタ装置１００が情報処理装置３０から警報を受信したならば（ステップＳ３０１；Ｙｅｓ）、表示部１０１に警告内容を表示するとともに、必要に応じて警告音を発報することにより、係員に対して警報を報知する（ステップＳ３０２）。

その後、監視センタ装置１００は、係員からの指示を受け付け（ステップＳ３０３；Ｙｅｓ）、指示内容が警報の転送ではないならば（ステップＳ３０４；Ｎｏ）、そのまま処理を終了する。

これに対して、係員による指示内容が警報の転送であるならば（ステップＳ３０４；Ｙｅｓ）、図示しない電車車両の運行状況を監視する監視システムから、情報処理装置３０が設置された踏切に接近する電車の車両番号を受信する（ステップＳ３０５）。車両内表示装置データ１０３ａから該車両番号を検索し、対応付けられた表示装置に対して警報を転送し（ステップＳ３０６）、処理を終了する。

このように、本実施形態１に係る異常検知システムは、遮断棒の作動状況と予測位置との差を検出することにより、踏切での異常の発生を迅速に検知することができる。

［実施形態２］
ところで、上記の実施形態１では、予測データと遮断棒の実測データとの距離に基づいて遮断棒の状況の異常検出を行う場合を示したが、遮断棒に対するいたずら等により遮断棒に曲がり等が生じた場合には、異常状態ではないにも関わらず、監視センタ装置１００に異常通知が行われてしまう状況が生じ得る。そこで、本実施形態２では、深層学習により教師有り学習を行った学習済モデルを用いて異常検知を行う場合を説明する。

＜学習済モデルについて＞
本実施形態２では、学習済モデルを生成するに際して、畳み込みニューラルネットワーク（ＣＮＮ）を利用する。このＣＮＮに対して教師データを入力して教師有り学習を行わせることにより、学習済モデルを生成する。ＣＮＮ及び深層学習については、周知技術であるため、ここではその詳細な説明を省略するが、ここでは教師有り学習の概要について説明する。

本実施形態２では、赤色閃光灯又は警報音の検知時点（計時開始時点）から、所定の経過時間ごとにカメラ１０により遮断棒を含む画像が撮像される。例えば、計時開始時点から１秒後、２秒後、３秒後、・・・、２０秒後の画像がそれぞれ撮像されたならば、２０枚の画像が存在することになる。その後、この２０枚の画像から、それぞれ遮断棒を含む矩形領域からなる部分画像を切り出すことにより、２０枚の部分画像が取得される。この２０枚の部分画像は、遮断棒が降下する過程を示す一連の画像となる。

ここで、これらの部分画像と危険確率の対を教師データとしてＣＮＮに教師有り学習をさせる。この危険確率は、０〜１に正規化されており、危険確率０に近いほど危険度合が低く、危険確率１に近いほど危険度合が高いものとする。また部分画像と危険確率からなる複数の対をＣＮＮに入力して教師有り学習をさせる。さらに、部分画像を既存の画像処理により加工して、危険確率の高い教師データを生成し、ＣＮＮに教師有り学習をさせる。かかる教師有り学習を多数のサンプルを用いて行うことにより、ＣＮＮ内のパラメータが適正な値となり、学習済モデルが生成される。この学習済モデルに対して、ｉ個の部分画像を入力したならば、各部分画像の危険確率ｐｉが学習済モデルから出力される。

＜異常検知システムの概要＞
次に、本実施形態２に係る異常検知システムの概要について説明する。図１０は、本実施形態２に係る異常検知システムの概要を説明するための説明図である。ここでは、学習済モデルが事前に生成されているものとする。

本実施形態２では、カメラ１０で撮像された遮断棒の降下状態を示す画像から遮断棒の部分画像を抽出し、この部分画像を学習済モデルに入力して、学習済モデルから危険確率を出力させ、この危険確率に基づいて危険スコアを算出する。この危険スコアが所定の閾値を超えるならば、監視センタ装置１００に対して警報を通知する。

図１０に示すように、踏切には、カメラ１０、マイク２０及び情報処理装置２００が設置され、相互に通信回線で接続されている。カメラ１０及びマイク２０は、実施形態１と同様のものである。情報処理装置２００は、実施形態１の情報処理装置３０と同様の構成を有するが、学習済モデルを用いた処理を行う点が異なる。

情報処理装置２００は、カメラ１０の画像から赤色閃光灯の点滅を検知するか、又は、マイク２０に入力された音に警報音が含まれることを検知したならば（Ｓ１１）、タイマの計時を開始する（Ｓ１２）。

カメラ１０の画像から遮断棒（遮断棒の部分画像）を検出したならば（Ｓ１３）、タイマの計時開始から現時点までに取得された一又は複数の部分画像を学習済モデルに入力する（Ｓ１４）。これにより、学習済モデルから部分画像の数に応じた危険確率が出力されるため、この危険確率に基づいて危険スコアを算出する（Ｓ１５）。例えば、部分画像の数がｎ枚である場合には、学習済モデルからｎ個の危険確率が出力される。このため、危険スコアＲは、次式から求めることができる。ただし、ｉ＝１〜ｎとする。
Ｒ＝Σ（ｐｉ）／ｎ （式２）

なお、ここでは説明の便宜上、遮断棒の部分画像を学習済モデルに入力する場合を説明するが、本発明はこれに限定されるものではなく、遮断機全体を含む部分画像を学習済モデルに入力する場合に適用することもできる。遮断機本体と遮断棒の位置関係が、学習済モデルの危険スコアを算定するうえで重要なパラメータになると考えられるためである。また、遮断棒の部分画像又は遮断機全体を含む部分画像から微分処理などで特徴量を抽出した特徴量画像を学習済モデルに入力する場合に適用することもできる。

このようにして、危険スコアを算出した後に、この危険スコアが所定値以上である場合には、情報処理装置２００は、監視センタ装置１００に対して警報を通知する（Ｓ１６）。なお、上記の実施形態１と同様に、情報処理装置２００に電車の運行予定データを記憶させ、この運行予定データに基づいて通知先となる電車の表示装置を特定し、特定した電車の表示装置に対して直接警報を通知するよう構成することもできる。これにより、運転士が遅滞なく状況を把握することができる。

監視センタの係員は、監視センタ装置１００において警報を確認し、該係員の操作により、電車の表示装置に対して警報を通知する（Ｓ１７）。なお、上記の実施形態１と同様に、監視センタ装置１００が警報を通知すべきか否かを自動的に判定し、電車の表示装置に対して警報を自動通知するよう構成することもできる。これにより、監視センタの係員の負担を軽減するとともに係員による人的なミスを排除することができる。また、風の影響等を受けて遮断棒が揺れたことに起因するノイズ的な通報等を監視センタ装置１００が除外し、運転士に対する誤通報を低減することができる。

このように、本実施形態２に係る異常検知システムは、遮断棒の部分画像を学習済モデルに入力し、学習済モデルから出力される危険確率から危険スコアを算出し、この危険スコアが所定値を超える場合に監視センタ装置１００に警報を出力するよう構成したので、踏切での異常の発生を迅速に検知することができる。

＜情報処理装置２００の構成＞
次に、図１０に示した情報処理装置２００の構成について説明する。図１１は、図１０に示した情報処理装置２００の構成を示す機能ブロック図である。なお、図２に示した情報処理装置３０と同様の機能部についての説明は省略する。

図１１に示すように、情報処理装置２００は、カメラ１０、マイク２０及び無線通信装置４０と接続され、記憶部３１、制御部２２０及びタイマ３３を有する。なお、図２と同様の部位については、同一符号を付すこととして、その詳細な説明を省略する。

記憶部３１には、学習済モデル２１０を記憶する。すでに学習済モデル２１０については説明したが、ここでは学習済モデル２１０をソフトウエアで実装する場合を示している。ただし、ＡＳＩＣ又はＦＰＧＡなどのハードウエア回路を用いて学習済モデル２１０を構成することもできる。

部分画像抽出部２２１は、画像受付部３２ｂにより受け付けた画像から遮断棒を含む矩形領域の部分画像を切り出す処理部である。かかる切り出しを行う際には、予め遮断棒のテンプレートを作成しておき、このテンプレートと画像とのテンプレートマッチングを行うことができる。また、踏切の画像を入力１とし遮断棒又は遮断機全体の部分画像を出力２とする学習済モデル１と、出力２となる遮断棒又は遮断機全体の部分画像を入力２とし危険スコアを出力２とする学習済モデル２とを用いて切り出し処理を行うこともできる。さらに、踏切の画像を入力３とし、危険スコアを出力３とする学習済モデル３を用いて切り出し処理を行うこともできる。学習済みモデルで、入力と出力の相関関係が推定できると考えられるためである。

危険スコア算定部２２２は、学習済モデルから出力される危険確率に基づいて危険スコアを算定する処理部である。具体的には、図１２に示すように、現時点までに取得されたｎ個の部分画像を学習済モデル２１０に入力したならば、この学習済モデルからｎ個の危険確率ｐｉ（ｉ＝１〜ｎ）が出力される。このため、危険スコアＲは、Ｒ＝Σ（ｐｉ）／ｎの算定式により算定される。

判定部２２３は、危険スコアＲを所定値（判定閾値データ３１ｃ）と比較し、危険スコアＲが所定値を超える場合には、異常が発生したと判定する処理部である。具体的には、図１２に示すように、所定値が「０．８」である場合には、危険スコアＲ＞０．８であるならば、異常が発生したと判定される。警報通知部２２４は、判定部２２３により異常が発生したと判定された場合に、無線通信装置４０を介して監視センタ装置１００に警報を通知する。

＜情報処理装置２００における遮断棒の異常検出の処理手順＞
次に、情報処理装置２００における遮断棒の異常検出の処理手順ついて説明する。図１３は、情報処理装置２００における遮断棒の異常検出の処理手順を示すフローチャートである。ここでは、事前に学習済モデル２１０が生成されているものとする。

まず、赤色閃光灯の点滅を検知するか又は警報音を検知したならば（ステップＳ４０１；Ｙｅｓ）、タイマによる計時を開始する（ステップＳ４０２）。経過時刻が所定時間となった状況でカメラ１０から受信した画像に含まれる遮断棒の部分画像を抽出する（ステップＳ４０３）。

その後、現時点までのｎ個の部分画像を学習済モデル２１０に入力することにより（ステップＳ４０４）、学習済モデル２１０からｎ個の危険確率が出力される。このｎ個の危険確率を用いて、危険スコアＲを算出する（ステップＳ４０５）。

この危険スコアＲが所定の判定閾値を超えていたならば（ステップＳ４０６；Ｙｅｓ）、監視センタ装置１００に警報を通知し（ステップＳ４０７）、処理を終了する。危険スコアＲが判定閾値以下であるならば（ステップＳ４０６；Ｎｏ）、処理を終了する。

上記一連の処理を行うことにより、学習済モデル２１０を用いて、遮断棒が下がりきる前に異常を検出することができるため、踏切における重大な事故の発生を防止することができる。

なお、上記の実施形態１及び２では、遮断棒の状況の異常検出を情報処理装置において行う場合を説明したが、本発明はこれに限定されるものではなく、遮断棒の状況の異常検出をサーバ装置、クラウド又はエッジコンピュータ等で行うこともできる。かかる場合には、情報処理装置が、サーバ装置、クラウド又はエッジコンピュータ等に対してデータを送信し、サーバ装置、クラウド又はエッジコンピュータ等が実施形態１又は２に係る情報処理装置に係る処理を行うことになる。このため、実施形態１又は２に係る情報処理装置に係る構成は、サーバ装置、クラウド又はエッジコンピュータ等が有する。また、情報処理装置とサーバ装置が、処理を分散して担当し、両装置が連携して処理を行うこともできる。

また、上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明に係る異常検知システム、情報処理装置、異常検知方法及び予測検知プログラムは、遮断棒の作動状況と予測位置との差を検出することにより、踏切での異常の発生を迅速に検知する場合に適している。

１０ カメラ
２０ マイク
３０ 情報処理装置
３１ 記憶部
３１ａ 蓄積データ
３１ｂ 予測データ
３１ｃ 判定閾値データ
３２ 制御部
３２ａ 警報音受付部
３２ｂ 画像受付部
３２ｃ 閃光灯検出部
３２ｄ 遮断棒検出部
３２ｅ 判定部
３２ｆ 警報通知部
３２ｇ 予測データ生成部
３３ タイマ
４０ 無線通信装置
１００ 監視センタ装置
１０１ 表示部
１０２ 入力部
１０３ 記憶部
１０３ａ 車両内表示装置データ
１０４ 制御部
１０４ａ 警報受信部
１０４ｂ 表示制御部
１０４ｃ 警報転送部
１１０ 無線通信装置
２００ 情報処理装置
２１０ 学習済モデル
２２０ 制御部
２２１ 部分画像抽出部
２２２ 危険スコア算定部
２２３ 判定部
２２４ 警報通知部

Claims (11)

1. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムであって、
   前記情報処理装置は、
   あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測手段と、
   前記予測手段により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手段と
   を備える異常検知システム。
2. 前記監視領域を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて、前記閃光灯の閃光を検知する閃光検知手段と
   をさらに備える請求項１に記載の異常検知システム。
3. 前記監視領域における音を収集する音収集手段と
   前記音収集手段により収集された音から雑音を除外して、警報機による警報音を検知する警報音検知手段と
   をさらに備える請求項１に記載の異常検知システム。
4. 前記所定の時間は、
   前記遮断棒の閉位置に到達するまでの時間より短い請求項１〜３のいずれか一つに記載の異常検知システム。
5. 前記異常検知手段は、
   前記予測手段による予測結果と前記遮断棒の作動状況との差が所定値よりも大きい場合に、前記監視領域に異常が生じたものとみなして異常発生を検知する請求項１〜４のいずれか一つに記載の異常検知システム。
6. 前記情報処理装置は、
   前記異常検知手段により前記監視領域における異常が検知された場合に、所定の監視センタ装置又は電車の運転席に設けられた表示装置に警告を報知する報知手段をさらに備える請求項１〜５のいずれか一つに記載の異常検知システム。
7. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムであって、
   前記情報処理装置は、
   前記遮断棒を含む画像と、動体と電車とが衝突する可能性を示す危険確率との対を教師データとして用いて、多層ニューラルネットワークに対して深層学習による教師有り学習を行うことにより生成され、前記監視領域を撮像する撮像装置により撮像された所定の経過時間ごとの画像に含まれる遮断棒の部分画像を入力し、所定の経過時間ごとの危険確率を出力する学習済モデルと、
   前記学習済モデルから出力された危険確率から危険スコアを算定する危険スコア算定手段と、
   前記危険スコア算定手段により算定された危険スコアに基づいて、前記監視領域外に所在する外部装置に対して異常状態を通知する異常状態通知手段と
   を備える異常検知システム。
8. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置であって、
   あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測手段と、
   前記予測手段により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手段と
   を備える情報処理装置。
9. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設された情報処理装置において前記監視領域における異常を検知する異常検知システムにおける異常検知方法であって、
   あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を特定する予測工程と、
   前記予測工程により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知工程と
   を含む異常検知方法。
10. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置又は該情報処理装置の依頼により異常検知処理を実行するサーバ装置で実行される異常検知プログラムであって、
    あらかじめ前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した遮断棒における所定箇所の予測位置を予測する予測手順と、
    前記予測手順により特定された前記所定箇所の予測位置と、前記踏切において前記閃光灯の閃光又は警報機による警報音を検知された時点から所定の時間が経過した前記遮断棒における前記所定箇所の位置とに基づいて前記監視領域における異常を検知する異常検知手順と
    をコンピュータに実行させる異常検知プログラム。
11. 少なくとも閃光灯及び遮断棒を含む踏切の監視領域若しくはその近傍に配設され、前記監視領域における異常を検知する情報処理装置又は該情報処理装置の依頼により異常検知処理を実行するサーバ装置で実行される異常検知プログラムであって、
    前記遮断棒を含む画像と、動体と電車とが衝突する可能性を示す危険確率との対を教師データとして用いて、多層ニューラルネットワークに対して深層学習による教師有り学習を行うことにより生成され、前記監視領域を撮像する撮像装置により撮像された所定の経過時間ごとの画像に含まれる遮断棒の部分画像を入力し、所定の経過時間ごとの危険確率を出力する学習済モデルと、
    前記学習済モデルから出力された危険確率から危険スコアを算定する危険スコア算定手順と、
    前記危険スコア算定手順により算定された危険スコアに基づいて、前記監視領域外に所在する外部装置に対して異常状態を通知する異常状態通知手順と
    をコンピュータに実行させる異常検知プログラム。

Images