JP6990327B2

JP6990327B2 - 乗り物の状態監視装置および状態監視方法

Info

Publication number: JP6990327B2
Application number: JP2020559586A
Authority: JP
Inventors: 了古谷; 淳渡邊; 健太小西; 寛太濱崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2022-01-12
Anticipated expiration: 2039-11-27
Also published as: JPWO2021106112A1; WO2021106112A1

Description

本発明は、乗り物の状態監視装置および状態監視方法に関する。

鉄道車両といった乗り物は、乗り物内に在るヒトやモノを目的地まで安全に移動させることが求められる。このため、乗り物では、移動そのものを阻害する異常（例えば、乗り物を構成する機器（例えば、ドアなど）の故障など）や機械系の摩耗によって経時的に生じる異常（例えば、鉄道車両の車輪摩耗に起因して発生する振動現象）をできる限り発生させないようにすることが必要である。そのため、異常発生時には、直ちに当該異常を検出して、対策を打つこと、或いは、何かしらの異常が発生しないように、定期的な保守作業を実施することが一般的である。

例えば、特許文献１には、「エレベータ乗りかごの異常確認システム」について、乗りかご内を撮影する監視カメラと、監視カメラの撮影画像を記憶する記憶部と、撮影画像を表示する表示部と、異常検知部が異常を検知したときにおける所定時間幅の監視カメラの撮影画像を保守時に表示部に表示させる制御部とを備え、所定時間幅は、異常検知部が異常を検知した時点よりも時間的に遡った時点における監視カメラの撮影画像を含むように設定されており、記憶部は、記憶済みの撮影画像の画像データのうち撮影から所定期間が経過した撮影画像の画像データに新たに撮影される撮影画像の画像データを上書きして記憶し、制御部は、異常を検知したときにおける所定時間幅の監視カメラの撮影画像に対する上書きを禁止することが記載されている。

特開２０１６－１４１５２２号公報

特許文献１の異常確認システムは、乗り物であるエレベータの乗りかごの動作不良を検知して事後的に異常を確認するものの、ヒトそのものが異常を起こすケースを検知するといった点は考慮されていなかった。また、特許文献１の異常確認システムは、発生した異常に対して、乗り物の問題なのか、ヒトの問題なのかを分離することが難しいという問題点があった。

そこで、本発明は、乗り物にヒトが存在する状況下において、発生した何らかの異常を検出し、さらには、その異常が乗り物の問題か否か、ヒトの問題か否かを推定する乗り物の状態監視システムを提供することを目的とする。

上記課題を解決するために、代表的な本発明の乗り物の状態監視装置の一つは、乗り物に設置されているマイクロフォンの音声信号を用いて音声を解析する音声信号解析処理部と、前記乗り物に設置されているカメラの映像信号を用いてヒトの状態量を抽出する状態量抽出処理部と、前記ヒトの状態量と、前記音声信号の解析結果と、前記乗り物を構成する機器の稼働情報を用いてインシデントを推定し、推定インシデント情報を生成するインシデント推定処理部と、前記推定インシデント情報を状態監視装置の外部に伝送するインシデント情報伝送処理部と、を備える。

本発明によれば、乗り物にヒトが存在する状況下において、発生した何らかの異常を検出し、さらには、その異常が乗り物の問題か否か、ヒトの問題か否かを推定する乗り物の状態監視装置を提供することが可能になる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

鉄道車両の状態監視システムの構成を示す図である。状態監視装置の動作を説明する流れ図である。ヒトの状態量を抽出する一例の図である。状態監視装置の動作を説明する流れ図である。状態監視装置の動作を説明する流れ図である。図５に続く状態監視装置の動作を説明する流れ図である。

本開示において、ヒトやモノを輸送する物を「乗り物」と呼ぶ。「乗り物」には、例えば、鉄道車両、航空機、エレベータが含まれる。
以下、図面を参照しながら実施例を説明する。なお、各図において、共通な機能を有する構成要素には同一の番号を付与し、その重複する説明を省略する。

実施例１は、鉄道車両に搭載されたマイクロフォンとカメラのそれぞれの情報を利用して、鉄道車両で発生したインシデントを検出し、その内容を推定する状態監視装置および状態監視方法である。

＜実施例１の構成＞
図１は、実施例１の状態監視システムの構成を示す図である。

同図において、鉄道車両１はヒト８やモノを輸送する車体２と軌道３の上を走行する台車４から構成され、車体２の内部には、状態を監視するマイクロフォン５と監視カメラ６が搭載される。なお、マイクロフォン５と監視カメラ６は、車体２の天井、あるいは、側面に設置されていればよく、複数台設置されていてもよい。また、マイクロフォンと監視カメラが一体となっていてもよい。また、鉄道車両１は、走行位置や走行速度、乗車率などの車両運行情報を管理する車両情報制御装置７を搭載する。さらに、鉄道車両１は、音声信号検出処理部１１と映像信号検出処理部１３と音声信号解析処理部１２と状態量抽出処理部１４とインシデント推定処理部１５とインシデント情報伝送処理部１６と車両情報検出処理部１７とインシデント情報データベース１８からなる状態監視装置１０を搭載している。

状態監視装置１０は、マイクロフォン５から音声信号３１ａと、監視カメラ６から映像信号３４ａを入力し、車両情報制御装置７から車両情報信号３７ａを入力し、車両情報制御装置７へ推定インシデント情報４０ａを出力する。

音声信号検出処理部１１は、マイクロフォン５で得られた音声信号３１ａを入力し、解析処理するための音声デジタル信号３２ａへ変換して、音声信号解析処理部１２へ出力する。

映像信号検出処理部１３は、監視カメラ６で得られた映像信号３４ａを入力し、ヒトの状態量を抽出するための映像デジタル信号３５ａへ変換して、状態量抽出処理部１４へ出力する。

音声信号解析処理部１２は、音声デジタル信号３２ａを入力し、ヒトから生じる音、例えば、悲鳴などや、車両が発生する音、例えば、空調の稼働音などの音声信号解析結果３３ａをインシデント推定処理部１５へ出力する。

状態量抽出処理部１４は、映像デジタル信号３５ａを入力し、ヒトの動きなどの状態量３６ａをインシデント推定処理部１５へ出力する。

車両情報検出処理部１７は、車両情報信号３７ａを入力し、ドアや床下機器の稼働データなどの車両情報３８ａをインシデント推定処理部１５へ出力する。

インシデント推定処理部１５は、音声信号解析結果３３ａと状態量３６ａと車両情報３８ａとインシデント情報４２ａを入力し、推定インシデント情報３９ａ、４１ａをそれぞれインシデント情報伝送処理部１６とインシデント情報データベース１８へ出力する。

インシデント情報データベース１８は、推定インシデント情報４１ａを入力し、インシデント情報４２ａをインシデント推定処理部１５へ出力し、インシデント情報４３ａをインシデント情報伝送処理部１６へ出力する。

インシデント情報伝送処理部１６は、推定インシデント情報３９ａとインシデント情報４３ａを入力し、推定インシデント情報４０ａを車両情報制御装置７へ出力する。

上記の処理内容の詳細は、以降で別途説明する。

＜実施例１の検出フロー（ヒトが起こすインシデント）＞
図２は、状態監視装置の動作を説明するフロー図であり、特にヒトが発生させるインシデントを検出する流れである。なお、図２では、状態監視対象となる車両について、ヒトが存在することを把握した上でのフローとなっている。本把握について、例えば、車両内に設置された監視カメラを利用して、当該車両を入出するヒトの数を計算し、当該車両にどれくらいの人数が存在するかを把握すれば良い。同図のステップ番号に沿って、状態監視装置１０の動作を説明する。

ステップＳ１０１：マイクロフォンの音声信号からヒトの声を抽出する。例えば、ヒトの声が顕著な周波数帯域に着目し、ヒト不在時の音声信号との差分処理にてヒトの声を抽出する。なお、本処理は音声信号解析処理部１２で実施する。

ステップＳ１０２：事前に設定された音声閾値に対して、ステップＳ１０１で抽出された音声が超過したか否かを判定する。本判定には、例えば、音声レベルだけでなく、閾値超過した音声がどの程度継続しているかをみてもよい。なお、本処理は音声信号解析処理部１２、あるいは、インシデント推定処理部１５で実施する。

ステップＳ１０３：閾値超過した場合に、映像信号から、車両内の個々のヒトの状態量を抽出する。例えば、図３に車両内の個々のヒトの状態量抽出の一例を示す。図３では、車内に設置された監視カメラ６の映像信号から個々のヒト８を移動体５０として認識する。車両内での各移動体５０の移動量から移動速度（スカラ値）を算出することで、車両内の移動体５０全体の平均速度を算出する。この時、鉄道車両が走行中で乗客が着席状態であれば、一部の乗客が通路を移動したとしても、移動体５０の平均速度はほぼゼロに等しい。また、駅発着時の乗客移動が発生した場合には、移動体５０の平均速度はある速度域に収まる。一方で、車内異常でヒト８が逃げ出すような状況下では、移動体５０の平均速度が高くなると推測される。また、ヒトの状態量として、併せて乗車率を考慮しても良い。さらには、各移動体５０の移動速度を算出する際に、移動ベクトルを考慮して、通路を各方向にそれぞれ移動する移動体５０を個別に分離して平均速度を算出し、ヒトの状態量として抽出しても良い。また、車体の上面から俯瞰して個々の移動体の位置情報から移動体の密集度をヒトの状態量として抽出しても良い。なお、本処理は状態量抽出処理部１４で実施する。

ステップＳ１０４：閾値超過したヒトの声とヒトの状態量の間にみられる関係を把握する。例えば、ステップ１０１で得られるヒトの声の特性値と、ステップ１０３で得られるヒトの状態量との組み合わせが、それぞれを軸とした空間内で、どの場所に位置しているのかを把握しておく。また、ヒトの声とヒトの平均移動速度のみならず、乗車率を考慮した空間における位置を把握しておいても良く、ヒトから得られる状態量を考慮すればよい。なお、本処理はインシデント推定処理部１５で実施する。

ステップＳ１０５：ステップ１０４にて把握した関係を基にインシデント有無を判定できる場合、どのインシデントに該当するのか選定する。例えば、ステップ１０４のヒトの声とヒトの状態量の関係に対応したインシデントレベルを数値として事前に設定しておき、どのインシデントレベルに該当するのか選定すればよい。また、ステップ１０４のヒトの声とヒトの状態量の関係から、過去のインシデントデータベースを基に、発生しているインシデントを推定できる場合は、インシデントレベルだけでなく、推定インシデントも併せて選定すればよい。例えば、ヒトが暴れているなどである。なお、本処理はインシデント推定処理部１５とインシデント情報データベース１８を用いて実施する。

ステップＳ１０６：上記ステップＳ１０５の結果を基に、インシデント情報を伝送する。例えば、車両情報制御装置に対して情報を伝送し、車内にいる運転士や乗務員、或いは、地上側の管理センターへ連絡する。この時、インシデントレベルに応じて、その時の音声信号や映像信号を併せて提示する。さらに、その際に、推定されたインシデント情報を示しておいてもよい。なお、これらのインシデント情報に関して、運転士には、運転台の画面へ情報を表示し、乗務員には、例えばタブレットなどのスマートデバイスへ情報を提示し、地上の管理センターには、管理センターにある画面へ情報を表示すればよい。なお、本処理はインシデント情報伝送処理部１６で実施する。

＜実施例１の検出フロー（車両側で発生したインシデント）＞
図４は、状態監視装置の動作を説明するフロー図であり、特に車両内にヒトが不在の場合に、車両側のインシデントを検出する流れである。なお、図４では、状態監視対象となる車両について、ヒトが不在であることを把握した上でのフローとなっている。本把握について、前記同様に、例えば、車両内に設置された監視カメラを利用して、当該車両を入出するヒトの数を計算し、当該車両にどれくらいの人数が存在するかを把握すれば良い。同図のステップ番号に沿って、状態監視装置１０の動作を説明する。

ステップＳ１１１：マイクロフォンの音声信号を解析する。例えば、１／３オクターブ分析を実施して、各周波数帯域における騒音レベルを検出すればよい。なお、本処理は音声信号解析処理部１２で実施する。

ステップＳ１１２：事前に設定された閾値に対して、ステップＳ１１１で抽出された音が超過したか否かを判定すればよい。本判定には、例えば、音のレベルだけでなく、閾値超過した音がどの程度継続しているかをみてもよい。また、閾値には、仕様で定められた騒音値を設定すればよい。なお、本処理は音声信号解析処理部１２、あるいは、インシデント推定処理部１５で実施する。

ステップＳ１１３：閾値超過した場合に、発生音と機器データベースとの関係を照合する。例えば、１／３オクターブ分析結果を基に、事前にデータベースとして、空調などの機器類、及び、稼働周波数を登録しておけばよい。閾値超過した騒音レベルの周波数帯域において、登録した機器類の稼働周波数が該当する場合、その該当結果を出力できるようにしておく。なお、本処理はインシデント推定処理部１５で実施し、インシデント情報データベース１８を利用する。

ステップＳ１１４：ステップＳ１１３にて、閾値超過音に関連するデータベースの登録データが存在する場合、当該音と機器の稼働情報との関連性を分析する。例えば、登録データにある機器の稼働情報を車両情報制御装置から受け取る。この時、過去データで得られている機器の稼働情報と発生音との関係性が、今回得られた関係性と、どの程度異なるかを検出する。なお、本処理はインシデント推定処理部１５、車両情報検出処理部１７で実施し、インシデント情報データベース１８を利用する。

ステップＳ１１５：ステップ１１４にて、機器の稼働情報と閾値超過音に関連がある場合、当該音と機器の稼働情報との関係性を選定する。例えば、過去データで得られている関係性と、今回得られた関係性の差異が大きい場合に、機器を当該音の要因として選定する。なお、本処理はインシデント推定処理部１５、車両情報検出処理部１７で実施し、インシデント情報データベース１８を利用する。

ステップＳ１１６：ステップ１１３とステップ１１４とステップ１１５の結果を踏まえて、車両側で発生したインシデントを選定する。例えば、閾値超過音に関連する機器データベースの情報がなければ、そもそもデータベースに存在しないインシデントであることを選定する。また、閾値超過音に関連する機器データベースの情報があるにも関わらず、関連性がみられない場合、対象となっているデータベースの機器を示したうえで、関連がみられないインシデントであることを選定する。また、閾値超過音に関連する機器データベースの情報があり、関連性がみられる場合、当該対象機器をインシデントとして選定する。なお、本処理はインシデント推定処理部１５とインシデント情報データベース１８を用いて実施する。

＜実施例１の検出フロー（ヒトが居る場合に車両側で発生するインシデント）＞
図５、図６は、状態監視装置の動作を説明するフロー図であり、特にヒトが発生させる音やヒトの動きをサポート情報として利用し、車両側のインシデントを検出する流れである。なお、図５、図６では、状態監視対象となる車両について、ヒトが存在することを把握している上でのフローとなっている。同図のステップ番号のうち、既に重複するステップ番号について省略し、状態監視装置１０の動作を説明する。

ステップＳ１２１：マイクロフォンの音声信号からヒトの声以外の音を抽出する。例えば、ヒトの声との差分処理により、ヒトの声以外の音として抽出すればよい。なお、本処理は音声信号解析処理部１２で実施する。

ステップＳ１２２：ステップＳ１１３とステップＳ１１４でデータの存在や関連がみられない場合に、車両内で個々のヒトの状態量を抽出する。車両内の個々のヒトの状態量抽出の一例として、車内に設置された監視カメラ６の映像信号から個々のヒト８を認識する。この時、ヒトの頭部分に着目し、ヒトの顔がどこに向いているのかを抽出する。これにより、複数のヒトが、顔を向けている方向から、どの箇所に着目しているのかを抽出する。なお、本処理は状態量抽出処理部１４で実施する。

ステップＳ１２３：ステップ１２２までの結果を踏まえて、特徴に基づく車両側のインシデントを選定する。例えば、閾値超過音に関連する機器データベースの情報がなければ、そもそもデータベースに存在しないインシデントであることを選定する。また、閾値超過音に関連する機器データベースの情報があるにも関わらず、関連性がみられない場合、対象となっているデータベースの機器を示したうえで、関連がみられないインシデントであることを選定する。さらに、ステップＳ１２２により得られた特徴からヒトがどこに着目していたのかを併せて選定する。なお、本処理はインシデント推定処理部１５とインシデント情報データベース１８を用いて実施する。

ステップＳ１２４：ステップ１１３とステップ１１４とステップ１１５の結果を踏まえて、車両インシデントを選定する。例えば、閾値超過音に関連する機器データベースの情報があり、関連性がみられる場合、当該対象機器をインシデントとして選定する。なお、本処理はインシデント推定処理部１５とインシデント情報データベース１８を用いて実施する。

＜実施例１の効果＞
（１）上述したように実施例１では、車両内にヒトが不在の場合に、車両側の発生音と機器データベースの照合により、問題となる音の要因推定が可能となり、また、乗務員等の関係者に対して、即座に要因候補や、発生音、車内の映像情報などの情報を提示することが可能になる。

（２）さらに、実施例１では、車両内にヒトが存在する場合に、ヒトの声とヒトの状態量との関係性を利用して、ヒトが発生させるインシデントを検出することが可能となり、また、乗務員等の関係者に対して、即座にそのインシデント内容や、発生音、車内の映像情報などの情報を提示することが可能になる。

（３）また、実施例１では、車両内にヒトが存在する場合に、ヒトの声以外の音と機器データベースの照合に加えて、ヒトの音声やヒトの状態量から、問題となる車両側の要因推定が可能となり、また、乗務員等の関係者に対して、即座に要因候補や、発生音、車内の映像情報などの情報を提示することが可能になる。

＜実施形態の補足事項＞
上述した実施形態では、鉄道車両の状態監視用途について述べたが、本発明の用途はこれに限定されない。例えば、航空機の状態監視や、エレベータの状態監視やその他の用途に適用することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、状態監視装置１０が行う処理の一部又は全部を人工知能が行うようにしてもよい。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、車体の内部に臭気センサ又は振動加速度検知センサを設置することにより、車体の内部における臭気又は振動を加味して要因を推定することができるようにしてもよい。また、台車付近にマイクロフォン、臭気センサ又は振動加速度検知センサを設置することにより、床下に設置された機器が発生する音、臭気又は振動を検知できるようにしてもよい。

１…鉄道車両、２…車体（半車体分）、３…軌道、４…台車、５…マイクロフォン、６…監視カメラ、７…車両情報制御装置、８…ヒト、１０…状態監視装置、１１…音声信号検出処理部、１２…音声信号解析処理部、１３…映像信号検出処理部、１４…状態量抽出処理部、１５…インシデント推定処理部、１６…インシデント情報伝送処理部、１７…車両情報検出処理部、１８…インシデント情報データベース

Claims

乗り物に設置されたマイクロフォンの音声信号を用いて音声を解析する音声信号解析処理部と、
前記乗り物に設置されたカメラの映像信号を用いて前記乗り物に存在するヒトの状態量を抽出する状態量抽出処理部と、
前記音声信号から、前記ヒトが発生する音と、前記乗り物が発生する音を分離し、前記乗り物が発生する音が閾値を超過した場合に、前記ヒトの状態量と、前記音声信号の解析結果と、前記乗り物を構成する機器の稼働情報を用いてインシデントを推定し、推定インシデント情報を生成するインシデント推定処理部と、
前記推定インシデント情報を状態監視装置の外部に伝送するインシデント情報伝送処理部と、
を備える乗り物の状態監視装置。
請求項１に記載の乗り物の状態監視装置において、
前記映像信号から前記ヒトを検出し、前記ヒトの移動量から、前記ヒトの個々の移動速度、前記ヒト全体の平均移動速度、又は、前記ヒトの場所と密集度を求めて、前記ヒトの状態量として検出する乗り物の状態監視装置。
請求項２に記載の乗り物の状態監視装置において、
前記ヒトの状態量と前記ヒトが発生する音の特性値との組み合わせに対応するインシデントを推定し、前記推定インシデント情報を生成する乗り物の状態監視装置。
請求項１に記載の乗り物の状態監視装置において、
前記乗り物が発生する音の分析結果と、前記乗り物を構成する機器の稼働情報からインシデントを推定し、前記推定インシデント情報を生成する乗り物の状態監視装置。
請求項３又は請求項４に記載の乗り物の状態監視装置において、
前記推定インシデント情報と推定に用いた前記音声信号と前記映像信号を併せて、状態監視装置の外部に伝送する乗り物の状態監視装置。
乗り物に設置されたマイクロフォンの音声信号を用いて音声を解析する音声信号解析処理ステップと、
前記乗り物に設置されたカメラの映像信号を用いて前記乗り物に存在するヒトの状態量を抽出する状態量抽出処理ステップと、
前記音声信号から、前記ヒトが発生する音と、前記乗り物が発生する音を分離し、前記乗り物が発生する音が閾値を超過した場合に、前記ヒトの状態量と、前記音声信号の解析結果と、前記乗り物を構成する機器の稼働情報を用いてインシデントを推定し、推定インシデント情報を生成するインシデント推定処理ステップと、
前記推定インシデント情報を伝送するインシデント情報伝送処理ステップと、
を備える乗り物の状態監視方法。