JP7455139B2 - 自動信号遵守監視・警報システム - Google Patents

自動信号遵守監視・警報システム Download PDF

Info

Publication number
JP7455139B2
JP7455139B2 JP2021558640A JP2021558640A JP7455139B2 JP 7455139 B2 JP7455139 B2 JP 7455139B2 JP 2021558640 A JP2021558640 A JP 2021558640A JP 2021558640 A JP2021558640 A JP 2021558640A JP 7455139 B2 JP7455139 B2 JP 7455139B2
Authority
JP
Japan
Prior art keywords
data
asset
mobile asset
information
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558640A
Other languages
English (en)
Other versions
JP2022531834A (ja
Inventor
ビー. ジョーダン,ローレンス
シャベル,ブランドン
ウィーバー,ブライアン
ガネーシャン,プラディープ
マルティネス,ロジャー
ラシナベル,ジャガディースワラン
アマヤ,セルジオ,イー. ムリーリョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wi Tronix LLC
Original Assignee
Wi Tronix LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wi Tronix LLC filed Critical Wi Tronix LLC
Publication of JP2022531834A publication Critical patent/JP2022531834A/ja
Application granted granted Critical
Publication of JP7455139B2 publication Critical patent/JP7455139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072On-board train data handling
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/038Limiting the input power, torque or speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • B61L25/025Absolute localisation, e.g. providing geodetic coordinates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/50Trackside diagnosis or maintenance, e.g. software upgrades
    • B61L27/57Trackside diagnosis or maintenance, e.g. software upgrades for vehicles or trains, e.g. trackside supervision of train conditions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L2205/00Communication or navigation systems for railway traffic
    • B61L2205/04Satellite based navigation systems, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Alarm Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Television Signal Processing For Recording (AREA)

Description

関連出願の相互参照
本願は、法で認められる範囲で、2019年3月29日出願の米国仮出願62/825,943号からの優先権、2019年4月5日出願の米国仮出願62/829,730番からの優先権、2020年3月28日出願の米国非仮出願16/833,590からの優先権、および2020年3月28日出願の米国非仮出願16/833,590からの優先権を主張するとともにし、それらの内容全体を参照によって援用する。また、本願は、2016年5月16日出願の米国仮出願62/337,227号からの優先権、2017年5月15日出願の米国非仮特許出願15/595,650号であって現在では2018年4月3日発行の米国特許9,934,623号である出願の優先権、2018年2月28日出願の米国非仮特許出願15/907,486号であって現在では2019年10月15日発行の米国特許10,445,951号である出願の優先権、2016年5月16日出願の米国仮出願62/337,225号の優先権、2017年5月15日出願の米国非仮特許出願15/595,689号であって現在では2019年9月10日発行の米国特許10,410,441号である出願の優先権、2019年4月16日出願の米国特許出願16/385,745号の優先権、2016年5月16日出願の米国仮出願62/337,228号の優先権、2017年5月15日出願の米国非仮特許出願15/595,712号であって現在では2019年8月27日発行の米国特許10,392,038号である出願の優先権、2018年6月5日出願の米国仮出願62/680,907号の優先権、および2019年6月4日出願の米国非仮米国特許出願16/431,466号の優先権を主張する。上記の出願のそれぞれの開示全体を参照によって援用する。ここで引用した特許出願、特許、および刊行物はすべて、放棄または否認した定義や主題を除いて、また援用する記載がここでの明確な開示とは矛盾する範囲を除いて、それら内容全体を参照によって援用する。援用する記載がここでの明確な開示とは矛盾する場合は、本開示における記述が優先される。
本開示は、高価値資産において用いられる機器に関し、特に高価値移動資産において用いられる自動信号遵守監視・警報システムに関する。
機関車、航空機、大量輸送システム、鉱業機器、移動可能な医療機器、貨物、海運船舶および軍用艦艇など高価値移動資産には一般に、機内搭載データ取得・記録「ブラックボックス」システムおよび/または「イベント・レコーダ」システムが使用される。イベント・データレコーダやフライト・データ・レコーダなどのこれらのデータ取得・記録システムは、偶発的事象(インシデント)調査、乗員の働きの評価、燃料効率分析、保守計画および予測診断に用いられる種々のシステムパラメーターのログ記録を行う。典型的なデータ取得・記録システムは、デジタル・アナログ入力を、さらには圧力スイッチと圧力変換器を備え、種々の機内搭載センサーデバイスからのデータを記録する。記録されるデータには、このようなパラメータとして、速度、移動距離、位置、燃料レベル、毎分のエンジン回転数(RPM)、流体レベル、オペレータ制御、圧力、現在・予報気象条件および周辺状況が含まれうる。基本的なイベントおよび動作データに加えて、映像・音声・イベント/データ記録機能もこれらの同様な移動資産の多くには配備されている。一般に、データがデータレコーダから抽出されるのは、資産に関わるインシデントが発生した後であって、データレコーダが回収されたときである。データレコーダを回収することができない、あるいはそうでなくともデータを入手できないようなある種の状況が起こる可能性がある。このような状況においては、データ取得・記録システムによって取得されたデータ(イベント・動作データ、映像データおよび音声データ等)が速やかに必要であり、データ取得・記録システムへのまたはデータへの物理的なアクセスが可能であるか否かに拘わらず速やかに必要である。
本開示は概して、高価値移動資産において用いられる実時間データ取得・記録システムおよび自動信号監視・警報システムに関する。ここでの教示は、高価値移動資産の実時間データ取得・記録システムによって記録されたデータ(イベント・動作データ、映像データおよび音声データ等)への実時間(リアルタイム)またはほぼリアルタイムなアクセスを提供することができる。少なくとも一の移動資産からのデータを処理するための方法の一の実施には、データを受信する工程と、第一人工知能モデルを用いて判断する工程と、映像コンテンツを取得する工程と、映像コンテンツを記憶する工程と、第二人工知能モデルを用いて判断する工程と、事象を記憶する工程と、電子メッセージを送信する工程と、が含まれる。データを受信する工程においては、少なくとも一の移動資産から離れたデータセンタおよび少なくとも一の移動資産に搭載されるデータセンタのうちの一方を用いて、少なくとも一のデータ信号に基づくデータを受信する。少なくとも一のデータ信号が、少なくとも一の移動資産に搭載される少なくとも一のデータソース、および少なくとも一の移動資産から離れた少なくとも一のデータソースのうちの少なくとも一方からのデータ信号である。第一人工知能モデルを用いて判断する工程においては、データに基づいて、データセンタを用いて、少なくとも一の始動条件が検出されたという条件で、データセンタの第一人工知能モデルを用いて、少なくとも一の移動資産が先導移動資産および制御移動資産のうちの少なくとも一方であることを判断する。映像コンテンツを取得する工程においては、データセンタを用いて、先導移動資産および制御移動資産のうちの少なくとも一方から映像コンテンツを取得する。映像コンテンツは、少なくとも一の始動条件の前の設定可能な所定時間の間に収集された設定可能な所定量のデータを含んでいる。映像コンテンツを記憶する工程においては、データセンタのデータベースを用いて、映像コンテンツを記憶する。第二人工知能モデルを用いて判断する工程においては、データセンタの第二人工知能モデルを用いて、映像コンテンツに基づいて事象を判断する。事象を記憶する工程においては、データセンタのデータベースを用いて、事象を記憶する。電子メッセージを送信する工程においては、データセンタ用いて、所定の数のユーザへ電子メッセージを送信する。
少なくとも一の移動資産からのデータを処理するための方法の一の実施のシステムでは、少なくとも一の画像取得装置、少なくとも一の映像取得装置、少なくとも一の測距装置および少なくとも一のマイクロホンのうちの少なくとも一つと、データ記録器と、データセンタと、データセンタの第一人工知能モデルと、データセンタのデータベースと、データセンタの第二人工知能モデルと、が備えられる。データ記録器は、少なくとも一の画像取得装置、少なくとも一つの映像取得装置、少なくとも一つの測距装置、少なくとも一つのマイクロホン、少なくとも一つの移動資産に搭載される少なくとも一のデータソース、および少なくとも一の移動資産から離れた少なくとも一のデータソースのうちの少なくとも一つから少なくとも一のデータ信号を受信するよう構成されて、少なくとも一つの移動資産に搭載される。データセンタは、少なくとも一のデータ信号に基づいたデータを受信するよう構成される。第一人工知能モデルは、データに基づいて、データセンタによって、少なくとも一の始動条件が検出されたという条件で、少なくとも一の移動資産が先導移動資産および制御移動資産のうちの少なくとも一方であることを判断するよう構成されている。データベースは、少なくとも一の画像取得装置、少なくとも一の映像取得装置、少なくとも一の測距装置、少なくとも一のマイクロホン、少なくとも一の移動資産に搭載される少なくとも一のデータソース、および少なくとも一の移動資産から離れた少なくとも一のデータソースのうちの少なくとも一つからの映像コンテンツを記憶するよう構成されている。第二人工知能モデルは、映像コンテンツに基づいて事象を判断するよう構成されている。
本開示のこれらの面および他の面における各種の実施を以下にさらに詳細に説明する。
ここでの説明は添付図面を参照しながら行う。添付図面では、各図にわたって同様な部材には同様な参照符号を付している。
本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムの第一実施形態の実際的な実施を示す。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムの第二実施形態の実際的な実施を示す。 本開示のいくつかの実施にかかる移動資産からのデータおよび/または情報を記録するプロセスのフロー図である。 本開示のいくつかの実施にかかる、停電後に移動資産からのデータおよび/または情報を追加するプロセスのフロー図である。 本開示のいくつかの実施にかかる、耐衝撃メモリモジュールに保存される例示的な暫定記録ブロックおよび完全な記録ブロックを示す図である。 本開示のいくつかの実施にかかる、停電前および電力回復後の耐衝撃メモリモジュール内の例示的な暫定記録ブロックを示す図である。 本開示のいくつかの実施にかかる、電力が回復した後の耐衝撃メモリモジュール内の例示的な記録セグメントを示す図である。 本開示のいくつかの実施のうちの実時間データ取得・記録システムビューアの第一実施形態の実際的な実施を示す。 本開示のいくつかの実施にかかる移動資産からの映像データ、音声データおよび/または情報を記録するプロセスのフロー図である。 本開示のいくつかの実施にかかる移動資産からの映像データ、音声データおよび/または情報を記録するプロセスのフロー図である。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムビューアの360度カメラの例示的な魚眼視表示を示すフロー図である。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムビューアの360度カメラの例示的な全景視表示を示す図である。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムビューアの360度カメラの例示的な四象限型視表示を示す図である。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムビューアの360度カメラの例示的な湾曲視表示を示す図である。 本開示のいくつかの実施のうちのデータ取得・記録システム映像コンテンツ分析システムの第一実施形態の実際的な実施を示す。 本開示のいくつかの実施にかかる例示的な軌道検出を示す図である。 本開示のいくつかの実施にかかる例示的な軌道検出および転轍機検出を示す図である。 本開示のいくつかの実施にかかる例示的な軌道検出、軌道数のカウント、および信号検出を示す図である。 本開示のいくつかの実施にかかる例示的な踏切・軌道検出を示す図である。 本開示のいくつかの実施にかかる例示的な複式架空信号検出を示す図である。 本開示のいくつかの実施にかかる例示的な複線軌道検出を示す図である。 本開示のいくつかの実施にかかる例示的な転轍機・軌道検出を示す図である。 本開示のいくつかの実施にかかる例示的な転轍機検出を示す図である。 本開示のいくつかの実施にかかる移動資産の内部状況を決定するプロセスのフロー図である。 本開示のいくつかの実施にかかる移動資産の外部の物体検出および外部で発生する障害物検出を決定するプロセスのフロー図である。 本開示のいくつかの実施にかかる例示的な実時間データ取得・記録システムの第七実施形態の実際的な実施を示す。 本開示の実現にかかる自動信号遵守監視・警報システムの例示的な信号検出を示す図である。 本開示の実現かかる信号遵守を判断するプロセスの第一実施態様のフローチャートである。
ここに記載される実時間(リアルタイム)データ取得・記録システムの第一実施形態では、高価値資産と関係する広範なデータ(イベント・動作データ、映像(ビデオ)データおよび音声(オーディオ)データ等)へのリアルタイムなアクセス(ソフトウェア的な接続)あるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータ(運転者/作業者)および調査者等)に提供する。データ取得・記録システムは、資産に関係するデータをデータ記録器(レコーダ)を介して記録し、そのデータを遠隔データ保管器(リポジトリ)および遠隔にいるユーザへと偶発的事象(インシデント)の発生前、発生中、そして発生後に絶え間なく送る(ストリーム送信する)。データは少なくともインシデントまたは緊急事態の時間までの入手可能であった情報を形成するよう遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくし資産上のデータ記録器(レコーダ)と連係し、特定のデータのダウンロードを要求し、ファイルを特定・転送し、そしてデータを閲覧するために特定用途向けの応用ソフト(カスタムアプリケーション)を用いる必要性をなくす。本開示のシステムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へとインシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。大部分の状況において、データレコーダに記録された情報は冗長であり、データがすでに取得され遠隔データリポジトリに記憶されたときには必要ではなくなる。
本開示のシステムの以前には、インシデントが発生して調査が必要となった後に、データが、「ブラックボックス」または「イベント・レコーダ」から抽出されていた。「ブラックボックス」によって記録された時間セグメントを含んでいるデータファイルを「ブラックボックス」からダウンロードし検索して、それから独自開発のソフトウェアを有するユーザがデータファイルを視認しなければならなかった。ユーザは、資産への物理的または遠隔アクセスを取得し、「ブラックボックス」からダウンロードすべき所望のデータを選択し、所望の情報を含んでいるファイルを計算デバイスへとダウンロードし、計算デバイス上で動作するカスタムアプリケーションを用いて所望のデータを有する適切なファイルを特定しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは所望のデータへと移動(ナビゲート)するために汎用ウェブ・ブラウザを用いることだけである。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
遠隔にいるユーザ(資産所有者、オペレータおよび/または調査者)は、選択された資産に関する実況の(ライブの)/およびまたは履歴上の所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。リアルタイムにまたはほぼリアルタイムに動作を視認する機能によって、ビヘイビア(行動/挙動)の迅速な評価および調整が可能となる。インシデントの際に、例えば、リアルタイム情報および/またはデータは、状況に対する優先順位付与に役立ち、第一対応者に有益な情報を提供することができる。通常動作の際には、例えば、リアルタイム情報および/またはデータを、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。
データには、限定するものではないが、資産からおよび/または近くの資産から得られるアナログ・周期的パラメータ(速度、圧力、温度、電流、電圧および加速度等)と、論理(ブール)データ(スイッチ位置、アクチュエータ位置、警告灯点灯および作動器命令(アクチュエータ・コマンド)等)と、地球測位システム(GPS)データおよび/または地理情報システム(GIS)データ(位置、速度および高度等)と、内部発生情報(資産に対してその現在位置に決められた規制速度制限等)と、資産内、資産上または資産の近傍において種々の場所に配置されるカメラからの映像・画像情報と、資産内、資産上または資産の近傍において種々の場所に配置されるマイクロホンからの音声情報と、データセンタから資産に送信される資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録情報等)と、資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象条件を含む)に関する情報と、システムによって生成される資産制御状態および動作データ(機関車におけるポジティブ・トレイン・コントロール(PTC)等)と、限定するものではないが追加のデータ・映像・音声分析・解析を含む上記のもののうちのある組み合わせから得られるデータと、を含めることができる。
図1および図2は、本開示の二つの面を実現できる第一実施形態および第二実施形態の実際的な実施のそれぞれの、例示的なリアルタイム・データ取得・記録システム(data acquisition and recording system (DARS))100,200を示す。DARS100,200は、遠隔にいるエンドユーザにデータ記録デバイスからリアルタイム情報を送出するシステムである。車両または移動資産148,248に設置され、機内搭載有線および/または無線(ワイヤレス)データリンク170,270(ワイヤレス・ゲートウェイ/ルーター等)やDARS100,200のデータセンタ150,250を通じたデータリンク(無線データリンク146等)を介した搭載されていない情報源(ソース)の任意の組み合わせを通じて任意の数の種々の情報源と通信するデータレコーダ154,254を、DARS100,200は有する。データレコーダ154,254は、機内搭載データ管理器(マネージャ)120,220と、データエンコーダ122,222と、車両イベント検出器156,256と、キュー入力保管器(キューイング・リポジトリ)158,258と、ワイヤレス・ゲートウェイ/ルーター172,272と、を備える。さらに、この実施においては、データレコーダ154,254は、耐衝撃メモリモジュール(クラッシュ・ハーデンド・メモリモジュール)118,218、および/またはパワー・オーバー・イーサネット(POE)を有するもしくは有さないイーサネット・スイッチ162,262を有することができる。例示的な耐性メモリモジュール(ハーデンド・メモリモジュール)118,218は、例えば、連邦規則集(Code of Federal Regulations)および連邦鉄道局規則(Federal Railroad Administration regulations)に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則(Federal Aviation Administration regulations)に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。図2に示す第二実施形態においては、データレコーダ254はさらに、任意選択的な非耐衝撃着脱可能記憶装置(ノンクラッシュ・ハーデンド・リムーバブル・ストレージ・デバイス)219を有することができる。
有線データリンクおよび/または無線データリンク170,270は、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。イーサネット接続デバイスは、データレコーダ154,254のイーサネット・スイッチ162,262を利用することができ、またPOEを利用することができる。イーサネット・スイッチ162,262を内部または外部のスイッチとすることができ、POEに対応させることができる。加えて、遠隔データ源(ソース)(図1および図2の実施における、地図部(コンポーネント)164,264、経路管理/乗員名簿部(ルート/クルー・マニフェスト・コンポーネント)124,224、および気象部126,226等)からのデータは、データセンタ150,250から無線データリンク146,246とワイヤレス・ゲートウェイ/ルーター172,272を介して、機内搭載データマネージャ120,220と車両イベント検出器156,256とにおいて入手可能である。
データレコーダ154,254は、資産の構成に応じて様々に変更しうる広範な種々のソースからデータまたは情報を、機内搭載データリンク170,270を介して収集する。データ符号化器(エンコーダ)122,222は、一般に規制機関(regulatory agency)によって決められる少なくとも最小セットのデータを符号化する。本実施において、データエンコーダ122,222は、広範な種々の資産148,248のソースとデータセンタ150,250のソースからデータを受信する。情報ソースには、資産148,248における任意の数のコンポーネント(アナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両制御器(コントローラ)108,208、エンジンコントローラ110,210、慣性センサ112,212、地球測位システム(GPS)114,214、カメラ116,216、ポジティブ・トレイン・コントロール(PTC)/信号データ166,266、燃料データ168,268、携帯電話通信検出器(図示せず)、内部駆動データおよび任意の追加データ信号等)と、データセンタ150,250における任意の数のコンポーネント(経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、および任意の追加データ信号)と、を含めることができる。データエンコーダ122,222はデータを圧縮しまたは符号化し、データを時刻同期させて、遠隔データリポジトリ130,230への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ122,222は、機内搭載データマネージャ120,220に符号化されたデータを送信し、そして機内搭載データマネージャ120,220は、耐衝撃メモリモジュール118,218およびキューイング・リポジトリ158,258に符号化データを保存し、データセンタ150,250に配置される遠隔データマネージャ132,232を介して遠隔データリポジトリ130,230へと複製する。任意選択的に、機内搭載データマネージャ120,220は、図2に示す第二実施形態の非耐衝撃着脱可能記憶装置219に符号化データの第三のコピーを保存することができる。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、データ複製プロセスを管理するよう協働することができる。データセンタ150,250における一つの遠隔データマネージャ132,232は、複数の資産148,248からのデータの複製を管理することができる。
各種入力部からのデータおよび運転室(インキャブ)オーディオ/グラフィックユーザインタフェース(GUI)160,260からのデータは、車両イベント検出器156,256へ送信される。車両イベント検出器156,256はデータを処理して、資産148,248に関わるイベント、インシデントまたは他の所定の状況が発生したか否かを判断する。車両イベント検出器156,256が、所定のイベントが発生したことを示す信号を検出したとき、車両イベント検出器156,256は所定のイベントが発生したことを示す処理データをその所定のイベントの周辺の裏付けデータとともに機内搭載データマネージャ120,220へと送信する。車両イベント検出器156,256は、広範な種々のソース(資産の構成に応じて変更しうるアナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両コントローラ108,208、エンジンコントローラ110,210、慣性センサ112,212、GPS114,214、カメラ116,216、経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、PTC/信号データ166,266、燃料データ168,268等)に基づいてイベントを検出する。車両イベント検出器156,256がイベントを検出したとき、検出された資産イベント情報はキューイング・リポジトリ158,258に記憶され、また任意選択的に、インキャブ・オーディオ/グラフィカルユーザーインターフェイス(GUI)160,260を通じて資産148,248の乗員に知らせることができる。
機内搭載データマネージャ120,220はまたキューイング・リポジトリ158にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信される符号化データおよび任意のイベント情報を耐衝撃メモリモジュール118,218およびキューイング・リポジトリ158,258に記憶する。図2の第二実施形態において、機内搭載データマネージャ220は、任意選択的に非耐衝撃着脱可能記憶装置219に符号化データを記憶することができる。5分間の符号化データがキューイング・リポジトリ158,258に蓄積された後、機内搭載データマネージャ120,220は、その5分間の符号化データを、データセンタ150,250における遠隔データマネージャ132,232を通じて遠隔データリポジトリ130,230へと、ワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,246を通して記憶する。リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信された符号化データならびに任意のイベント情報を、耐衝撃メモリモジュール118,218へと、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219にも、そしてまたワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,246を通して、データセンタ150,250における遠隔データマネージャ132,232を経由して遠隔データリポジトリ130,230へと記憶する。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、種々の無線通信リンク(Wi-Fi、携帯電話、人工衛星、ワイヤレス・ゲートウェイ/ルーター172,272を利用したプライベート無線システム等)を通して通信することができる。無線データリンク146,246は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワークまたはDARS100,200のデータレコーダ154,254からこの例においてはDARS100,200の遠隔データマネージャ130,230へとデータを転送する任意の他の手段とすることができる。無線データ接続が利用可能でない場合、無線接続が回復されてデータ複製プロセスが再開できるまで、データはメモリに記憶され、キューイング・リポジトリ158,258内のキューに入れられる(キューイング・リポジトリ158,258にキュー入力される)。
データ記録と平行して、データレコーダ154,254は、連続的かつ自律的に遠隔データリポジトリ130,230にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ130,230へと0.10秒毎に複製することによって、高い分解精度データ(ハイ・レゾリューション・データ)に対応させるよう調整することができる。DARS100,200が準リアルタイムモードにあるとき、機内搭載データマネージャ120,220はデータを、そのデータを遠隔データマネージャ132,232へと複製する前には、キューイング・リポジトリ158,258にキュー入力しておく。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された車両イベント検出器情報を遠隔データマネージャ132,232へと複製する。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産148,248に搭載される車両イベント検出器156,256によって検出される、発生したイベントに基づいて、またはデータセンタ150,250から発せられる要求によって、起動することができる。データセンタ150,250が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ152,252がウェブ・クライアント142,242にリアルタイム情報を要求したときに発せられる。資産148,248内でリアルタイムモードが発せられる典型的な要因には、車両イベント検出器156,256によるイベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ154,254への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ130,230へとまだ複製されないすべてのデータが遠隔データリポジトリ130,230に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ152,252がもはや資産148,248からのリアルタイム情報を不要とすると、データレコーダ154,254は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ154,254がリアルタイムモードにあるとき、機内搭載データマネージャ120,220は遠隔データマネージャ132,232へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール118,218へとそして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと記憶し、そのデータを同時に遠隔データマネージャ132,232へと送信する。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された、検出された車両イベント情報を遠隔データマネージャ132,232へと送信する。
データレコーダ154,254から複製すべきデータを受信すると、地図部164,264、経路管理/乗員名簿部124,224、および気象部126,226からのデータと共に、遠隔データマネージャ132,232は、その圧縮されたデータをDARS100,200のデータセンタ150,250における遠隔データリポジトリ130,230へと記憶する。遠隔データリポジトリ130,230は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ(復号化器)136,236が、遠隔データリポジトリ130,230への/からの最新複製データを復号し、そしてその復号されたデータを遠隔イベント検出器134,234へと送信するプロセスが開始する。遠隔データマネージャ132,232は、車両イベント情報を遠隔データリポジトリ130,230に記憶する。遠隔イベント検出器134,234が復号化データを受信したとき、その復号化データを処理してその復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産148,248で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器134,234によって用いられる。復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器134,234は、イベント情報と裏付けデータとを遠隔データリポジトリ130,230に記憶する。遠隔データマネージャ132,232が遠隔イベント検出器134,234の情報を受信すると、遠隔データマネージャ132,232は遠隔データリポジトリ130,230内にその情報を記憶する。
遠隔にいるユーザ152,252は、車両イベント検出器情報を含む、特定の資産148,248または複数の資産に関する情報に、標準的なウェブ・クライアント142,242(ウェブ・ブラウザ等)、または本実施においては選択されたカメラからのサムネイル画像を表示できる仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント142,242は、情報に対するユーザ152,252の要求をウェブサーバ140,240にネットワーク144,244を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク144,244を例えば、インターネットとすることができる。ネットワーク144,244をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワークまたはウェブサーバ140,240からこの例においてはウェブ・クライアント142,242へとデータを転送する任意の他の手段とすることができる。ウェブサーバ140,240は、データデコーダ136,236からの所望のデータを要求する。データデコーダ136,236は、ウェブサーバ140,240からの要求に応じて特定の資産148,248または複数の資産に関する要求されたデータを遠隔データリポジトリ130,230から取得する。データデコーダ136,236は、要求されたデータを復号し、その復号化データをローカライザ138,238に送信する。ローカライゼーションは、データをエンドユーザが所望するフォーマットへと変換する、例えばデータをユーザの好みの言語および測定単位へと変換するプロセスである。ローカライザ138,238は、ウェブ・クライアント142,242にアクセスすることによってユーザ152,252によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ152,252に示すためにウェブ・クライアント142,242に送信される情報を未処理の符号化データとして準備し、検出されたイベント情報は遠隔データリポジトリ130,230に協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ138,238は、復号化データをユーザ152,252が所望するフォーマット(ユーザ152,252の好みの言語および測定単位等)へと変換する。ローカライザ138,238は、ユーザ152,252の好みのフォーマットにローカライズされたデータをウェブサーバ140,240へと要求に応じて送信する。その後、ウェブサーバ140,240は、その資産のまたは複数の資産の視認および分析のためのローカライズされたデータをウェブ・クライアント142,242に送信し、標準映像および360度映像の再生およびリアルタイム表示を提供する。一つの資産のデータ、映像および音声を、または複数の資産のデータ、映像および音声を同時に、ウェブ・クライアント142,242は表示することができ、そしてユーザ152,252は視聴することができる。資産上の、資産内のもしくは資産近傍の、複数の近くの資産の、および/または複数の遠隔の現場の標準映像ソースと360度映像ソースとの両方からの、複数の映像・音声データと同期した再生およびリアルタイム表示を、ウェブ・クライアント142,242はまた提供することができる。
図3は、本開示の実施にかかる資産148,248からのデータおよび/または情報を記録するプロセス300を示すフロー図である。データレコーダ154,254は、資産148,248およびデータセンタ150,250からの物理的または計算データ要素(速度、緯度座標、経度座標、ホーン検出、スロットル位置、気象データ、地図データまたは乗員データ等)を含むデータ信号を各種入力部から受信する(302)。データエンコーダ122,222は、データ信号情報を構成し記録するために用いられる一連の構造化されたビットを有する記録(レコード)を生成する(304)。その後、符号化されたレコードは、一連のレコードを時系列順に5分間までのデータを含む記録(レコード)ブロックへと順次結合する機内搭載データマネージャ120,220に送信される(306)。暫定レコードブロックは5分間未満のデータを含み、一方で完全(フル)レコードブロックは5分間全体のデータを含む。それぞれのレコードブロックは、そのデータに含まれる信号を完全に復号するのに必要な、データ完全性チェックを含む、すべてのデータを有する。最小限でも、レコードブロックは、開始(スタート)レコードで始まり、終了(エンド)レコードで終わらなければならない。
符号化された信号データがすべて耐衝撃メモリモジュール118へとそして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと確実に保存されるために、データレコーダ154,254が電力を喪失した場合または衝突もしくは他の天変地異イベントにより極度に高い/低い温度や極度に大きい機械的応力(ストレス)を受けた場合、機内搭載データマネージャ120,220は、暫定レコードブロックを耐衝撃メモリモジュール118に所定のレートで記憶し(308)、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと記憶する。この場合、例示的な表現である図5に示す所定のレートは、設定可能でかつ/または変更可能である。暫定レコードブロックは、少なくとも毎秒一回保存されるが、また10分の1秒毎に一回の頻度で保存することもできる。暫定レコードブロックが保存されるレートは、それぞれの信号のサンプリングレートによって決まる。各暫定レコードブロックは、最後の完全なレコードブロック以降の完全な一セットのレコードを含む。データレコーダ154,254は、各暫定レコードブロックを記録するとき、耐衝撃メモリモジュール118,218におけるそして任意選択的に図2の非耐衝撃着脱可能記憶装置219における二つの一時的記憶域(テンポラリ・ストレージ・ロケーション)間で場所を交互に替えることができ、これにより、耐衝撃メモリモジュール118,218または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219へとデータを記憶している際にデータレコーダ154,254が電力を喪失した場合に1秒を超える分のデータの破損または損失を防止することができる。新しい暫定レコードブロックは一時的耐衝撃メモリ域(テンポラリ・クラッシュ・ハーデンド・メモリ・ロケーション)に保存される度に、その域(ロケーション)に既にある以前に記憶された暫定レコードブロックは上書きされることになる。
本実施においては、5分毎に、データレコーダ154,254が準リアルタイムモードにある場合、機内搭載データマネージャ120,220は最後の5分間の符号化された信号データを含んでいる完全レコードブロックを図7に示す耐衝撃メモリモジュール118,218における記録(レコード)部分(セグメント)に記憶し、そして完全レコードブロックのコピーを遠隔データマネージャ132,232へと送信し、遠隔データリポジトリ130,230に所定の保持期間(例えば2年)記憶する(310)。耐衝撃メモリモジュール118,218、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219は、直近のレコードブロックのレコードセグメントを法令で定められた記憶時間において記憶する。この法令で定められた記憶時間は、本実施において、データレコーダ154,254は動作データまたは映像データを耐衝撃メモリモジュール118,218に追加の24時間バッファで記憶しなければならないという連邦が法令で定めた時間であり、追加の24時間バッファのレコードセグメントはその後上書きされる。
図4は、本開示の実施にかかる、停電後に資産148,248からのデータおよび/または情報を追加するプロセス400を示すフロー図である。電力が回復されれば、データレコーダ154,254は、二つの一時的耐衝撃メモリ域の一方に記憶された最後の暫定レコードブロックを認識し(402)、すべてのレコードブロックの終了レコードに含まれる32ビットの周期冗長検査(サイクリックリダンダンシーチェック)を用いて、最後の暫定レコードブロックの有効性を確認する(404)。その後、有効性が確認された暫定レコードブロックは、耐衝撃メモリ・レコード・セグメントに追加され、そのレコードセグメントは、電力喪失前の5分間までのデータを含んでいる可能性があり、遠隔データマネージャ132,232へと送信されて、保持期間記憶される(406)。符号化された信号データは、耐衝撃メモリモジュール118,218でおよび/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219で、法令で定められた記憶保持時間分の環状バッファ(サーキュラーバッファ)に記憶される。耐衝撃メモリ・レコード・セグメントは複数のレコードブロックへと分割されているので、メモリ空間を空ける必要がある場合、完全レコードブロックが耐衝撃メモリモジュール118,218および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219に保存される度に、データレコーダ154,254はより古いレコードブロックを削除する。
図6は、データレコーダ154,254への電力喪失の前および電力回復後の例示的な暫定レコードブロックを示す図である。(2/1/2016(午前10:10:08))における一時的場所(テンポラリ・ロケーション)2に記憶された暫定レコードブロック602の有効性が確認されたとき、その暫定レコードブロックは、耐衝撃メモリモジュール118,218および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219におけるレコードセグメント702(図7)に、図7に示す通り、追加される。(2/1/2016(午前10:10:08))における一時的場所(テンポラリ・ロケーション)2に記憶された暫定レコードブロックが無効であったとき、(2/1/2016(午前10:10:07))における一時的場所1内の暫定レコードブロックの有効性が確認され、有効であった場合、耐衝撃メモリモジュール118,218および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219におけるレコードセグメントに追加される。
いかなるレコードブロックであっても耐衝撃メモリモジュール118,218におよび/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219に保存する必要がある場合は必ず、レコードセグメントはディスクへと直ちに強制的に書き込まれる(フラッシュされる)。暫定レコードブロックを保存するときデータレコーダ154,254が二つの異なる一時的記憶場所間で場所を交互に替えるので、変更を受けていないまたは耐衝撃メモリまたは非耐衝撃着脱可能記憶装置へのフラッシュを受けていない一時的記憶場所が常に一つあり、したがって、一時的記憶場所に記憶される二つの暫定レコードブロックのうちの少なくとも一方は有効であることが保証され、そしてまたデータレコーダ154,254が電力を喪失した場合であっても必ずデータレコーダ154,254は多くても1秒を超える分のデータを失うことはないことが保証される。同様に、10分の1秒毎に、データレコーダ154,254が耐衝撃メモリモジュール118,218および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219にデータを書き込んでいる場合、データレコーダ154,254が電力を喪失した場合であっても必ずデータレコーダ154,254は多くても10分の1秒を超える分のデータを失うことはない。
説明の簡単化のために、プロセス300およびプロセス400を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
ここに記載される実時間データ取得・記録システムおよびビューアの第三実施形態では、高価値資産の広範なデータ(イベント・動作データ、映像データおよび音声データ等)へのリアルタイムなアクセスあるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータおよび調査者等)に提供する。データ取得・記録システムは、資産に関係するデータをデータレコーダを介して記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへとインシデントの発生前、発生中、そして発生後にストリーム送信する。データは少なくともインシデントまたは緊急事態の時間までの入手可能な情報を形成するよう遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくし資産上のデータレコーダと連係し、特定のデータのダウンロードを要求し、ファイルを特定・転送し、そしてデータを視認するためにカスタムアプリケーションを用いる必要性をなくす。本開示のシステムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へとインシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。大部分の状況において、データレコーダに記録された情報は冗長であり、データがすでに取得され遠隔データリポジトリに記憶されたときには必要ではなくなる。
本開示のシステムの以前には、インシデントが発生して調査が必要となった後に、データが、「ブラックボックス」または「イベント・レコーダ」から抽出されていた。「ブラックボックス」によって記録された時間セグメントを含んでいるデータファイルをダウンロードし「ブラックボックス」から検索して、それから独自開発のソフトウェアを有するユーザがデータファイルを視認しなければならなかった。ユーザは、資産への物理的または遠隔アクセスを取得し、「ブラックボックス」からダウンロードすべき所望のデータを選択し、所望の情報を含んでいるファイルを計算デバイスへとダウンロードし、計算デバイス上で動作するカスタムアプリケーションを用いて所望のデータを有する適切なファイルを特定しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは所望のデータへと移動(ナビゲート)するために汎用ウェブ・ブラウザを用いることだけである。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
遠隔にいるユーザ(資産所有者、オペレータおよび/または調査者)は、選択された資産に関する実況の(ライブの)/およびまたは履歴上の所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。リアルタイムにまたはほぼリアルタイムに動作を視認する機能によって、行動/挙動の迅速な評価および調整が可能となる。インシデントの際に、例えば、リアルタイム情報および/またはデータは、状況に対する優先順位付与に役立ち、第一対応者に有益な情報を提供することができる。通常動作の際には、例えば、リアルタイム情報および/またはデータを、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。
第三実施形態のリアルタイム・データ取得・記録システムは、移動資産内の、移動資産上のもしくは移動資産近傍の画像測定デバイス、映像測定デバイス、および測距デバイスのうちの少なくとも一つまたは任意の組み合わせを、データ取得・記録システムの一部として用いる。画像測定デバイスおよび/または映像測定デバイスには、限定するものではないが、360度カメラ、固定カメラ、狭角(望遠)カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラが含まれる。測距デバイスには、限定するものではないが、レーダおよび光検知測距器(「LIDAR」)が含まれる。LIDARは、対象にパルスレーザ光を照射してセンサで反射パルスを測定することによって対象までの距離を測定する測量方法である。本開示のシステム以前には、「ブラックボックス」および/または「イベント・レコーダ」は、移動資産内の、移動資産上のもしくは移動資産近傍に360度カメラまたは他のカメラを備えていなかった。本開示のシステムは、移動資産に関わるインシデントの発生前、発生中、そして発生後に、360度視表示(ビュー)、狭角視表示、広角視表示、魚眼視表示、および/または他の視表示を提供するよう、移動資産内の、移動資産上のもしくは移動資産近傍の360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または他のカメラを用いて映像をデータ取得・記録システムの一部として利用し記録する機能を、遠隔データリポジトリおよび遠隔ユーザならびに調査者に追加する。リアルタイムにまたはほぼリアルタイムに動作、360度映像、および/または他の映像を視認する機能によって、乗員の行動/挙動の迅速な評価および調整が可能となる。所有者、オペレータおよび調査者は、動作効率、人々の安全性、車両およびインフラストラクチャを視認し分析することができ、またインシデントを調査または検証することができる。移動資産からの360度映像および/または他の映像を視認する機能によって、乗員の行動/挙動の迅速な評価および調整が可能となる。インシデントの際に、例えば、360度映像および/または他の映像は、状況に対する優先順位付与に役立ち、第一対応者および調査者に有益な情報を提供することができる。通常動作の際には、例えば、360度映像および/または他の映像を、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または他のカメラによって、状況の全体像を提供し、これにより、法で定められたならびに/もしくは鉄道警察のための監視映像、重要なインフラストラクチャの検査、踏切の監視、保線工事進行の視認、運転室ならびに/もしくは操車場の両方における乗員の監督、およびリアルタイム遠隔監視を提供する。
以前のシステムでは、ユーザは、独自開発のソフトウェア・アプリケーションまたは他の外製再生アプリケーションを用いて時間セグメントを含んでいる映像ファイルをダウンロードする必要があった。本開示のデータ取得・記録システムは、360度映像、他の映像、画像情報ならびに音声情報、および表示可能な測距情報を、そして仮想現実デバイスを使用してかつ/または標準的なウェブ・クライアントを通じて提供し、これにより、映像を見るために外製アプリケーションをダウンロードして使用する必要がなくなる。さらに、遠隔にいるユーザは360度映像および/または他の映像を種々のモードで仮想現実デバイスを使用してまたは標準的なウェブ・クライアント(ウェブ・ブラウザ等)を通じて、視認することができ、これにより、映像を見るために外製アプリケーションをダウンロードして使用する必要がなくなる。以前の映像システムでは、ユーザは、独自開発のソフトウェア・アプリケーションまたはユーザが別途購入しなければならなかった他の外製再生アプリケーションを用いてのみ視認可能であったデータの時間セグメントを含んでいる映像ファイルをダウンロードする必要があった。
データには、限定するものではないが、資産内の、資産上のもしくは資産近傍の種々の場所にあるカメラからの映像および画像情報、および資産内の、資産上のもしくは資産近傍に種々の場所にあるマイクロホンからの音声情報を含めることができる。360度カメラは、360度の球状視野、360度の半球状視野および/または360度の魚眼視野を提供するカメラである。資産内の、資産上のもしくは資産近傍の360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラを用いることによって、その360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラをDARSの一部として用いた映像を利用し記録する機能を提供し、これにより、インシデントの発生前、発生中、そして発生後に遠隔データリポジトリ、遠隔にいるユーザおよび調査者に利用可能である資産内の、資産上のもしくは資産近傍の360度ビューおよび/または他のビューを形成することができる。
図8は、本開示の複数の面を実施可能な例示的なリアルタイム・データ取得・記録システム(DARS)800の第三実施形態の実際的な実施を示す。DARS800は、移動資産830上のデータレコーダ808からのリアルタイム情報、映像情報および音声情報を、遠隔にいるエンドユーザへとデータセンタ832を通じて送出するシステムである。データレコーダ808は、車両または移動資産830に設置され、有線データリンクおよび/または無線データリンク(ワイヤレス・ゲートウェイ/ルーター(図示せず)等)の任意の組み合わせを通じて任意の数の種々の情報ソースと通信する。データレコーダ808は、耐衝撃メモリモジュール810と機内搭載データマネージャ812とデータエンコーダ814とを備える。第四実施形態においては、データレコーダ808はまた、非耐衝撃着脱可能記憶装置(図示せず)を有することができる。例示的な耐性メモリモジュール810は、例えば、連邦規則集および連邦鉄道局規則に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。有線データリンクおよび/または無線データリンクは、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。
データレコーダ808は、映像データ、音声データ、および資産の構成に応じて変更しうる広範な種々のソースからの他のデータならびに/もしくは情報を、機内搭載データリンクを介して収集する。本実施において、データレコーダ808は、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または資産内830、資産上もしくは資産近傍に配置される他のカメラ802ならびに固定カメラ806からの映像データおよび音声データを連続的に記録する映像管理システム804からデータを受信し、映像管理システム804は、その映像・音声データを耐衝撃メモリモジュール810へと記憶し、そして映像・音声データを第二実施形態の非耐衝撃着脱可能記憶装置に記憶することができる。種々のバージョンの映像データが種々のビットレートまたは空間分解能を用いて生成され、これらのバージョンは長さを変更可能なセグメント(サムネイル、5分間の低解像度セグメントおよび5分間の高解像度セグメント等)へと分割される。
データエンコーダ814は、一般に規制機関によって決められる少なくとも最小セットのデータを符号化する。データエンコーダ814は映像管理システム804からの映像・音声データを受信し、そしてそのデータを圧縮しまたは符号化し、データを時間同期させて、遠隔データリポジトリ820への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ814は、機内搭載データマネージャ812に符号化データを伝達する。機内搭載データマネージャ812はその後、遠隔にいるユーザ834によるオン・デマンドの要求に応じてまたは資産830の機内で観察されているある動作条件に応じて、符号化された映像・音声データをデータセンタ830に配置される遠隔データマネージャ818を介して遠隔データリポジトリ820へと送信する。機内搭載データマネージャ812および遠隔データマネージャ818は、データ複製プロセスを管理するよう協働することができる。データセンタ832における遠隔データマネージャ818は、複数の資産からのデータの複製を管理することができる。遠隔データリポジトリ820に記憶された映像・音声データは、遠隔にいるユーザ834がアクセスするウェブサーバ822で利用可能である。
機内搭載データマネージャ812はまた、キューイング・リポジトリ(図示せず)にデータを送信する。機内搭載データマネージャ812は、耐衝撃メモリモジュール810にそして第二実施形態の任意選択的な非耐衝撃着脱可能記憶装置に記憶される映像・音声データを、映像管理システム804によって観察(モニタリング)し、準リアルタイムモードにあるかリアルタイムモードにあるかを判断する。準リアルタイムモードにおいては、機内搭載データマネージャ812は、データエンコーダ814から受信される映像データ、音声データ、および任意の他のデータまたは情報を含んでいる符号化データと、あらゆるイベント情報と、を、耐衝撃メモリモジュール810そして第二実施形態の任意選択的な非耐衝撃着脱可能記憶装置およびキューイング・リポジトリに記憶する。5分間の符号化データがキューイング・リポジトリに蓄積された後、機内搭載データマネージャ812は、その5分間の符号化データを、データセンタ832における遠隔データマネージャ818を通じて遠隔データリポジトリ820へと無線データリンク816を通して記憶する。リアルタイムモードにおいては、機内搭載データマネージャ812は、データエンコーダ814から受信される映像データ、音声データ、および任意の他のデータまたは情報を含んでいる符号化データと、あらゆるイベント情報と、を、データセンタ832における遠隔データマネージャ818を介して遠隔データリポジトリ820へと無線データリンク816を通じて、記憶する。機内搭載データマネージャ812および遠隔データマネージャ818は、種々の無線通信リンクを通して通信することができる。無線データリンク816は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワークまたデータレコーダ808からこの例においては遠隔データマネージャ818へとデータを転送する任意の他の手段とすることができる。映像データおよび音声データを資産830から遠隔的に送信し検索するプロセスは、資産830とデータセンタ832との間の無線データ接続を必要とする。無線データ接続が利用可能でない場合、無線接続が回復するまで、データは、耐衝撃メモリモジュール810にそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に記憶・キュー入力される。無線接続が回復するとすぐに、映像、音声および任意の他の追加的なデータ検索プロセスが再開する。
データ記録と平行して、データレコーダ808は、連続的かつ自律的に遠隔データリポジトリ820にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ820へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ820へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ820へと0.10秒毎に複製することによって、高い分解精度データに対応させるよう調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産830内で発生したイベントに基づいて、またはデータセンタ832から発せられる要求によって、起動することができる。データセンタ832が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ834がウェブ・クライアント826にリアルタイム情報を要求したときに発せられる。資産830内でリアルタイムモードが発せられる典型的な要因には、イベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ808への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ820へとまだ複製されないすべてのデータが遠隔データリポジトリ820に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ834がもはや資産830からのリアルタイム情報を不要とすると、データレコーダ808は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ808がリアルタイムモードにあるとき、機内搭載データマネージャ812は遠隔データマネージャ818へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール810へとそして第二実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと記憶し、そのデータを同時に遠隔データマネージャ818へと送信する。
データレコーダ808からの複製すべき映像データ、音声データおよび任意の他のデータまたは情報の受信に応じて、遠隔データマネージャ818は、そのデータをデータセンタ830における遠隔データリポジトリ820へと記憶する。遠隔データリポジトリ820は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ(図示せず)が、遠隔データリポジトリ820からの最新複製データを復号し、そしてその復号化データを遠隔イベント検出器(図示せず)へと送信するプロセスが開始する。遠隔データマネージャ818は、車両イベント情報を遠隔データリポジトリ820に記憶する。遠隔イベント検出器が復号化データを受信したとき、その復号化データを処理してその復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産830で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器によって用いられる。遠隔データリポジトリ820に先に記憶された復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器は、イベント情報と裏付けデータとを遠隔データリポジトリ820に記憶する。
映像データ、音声データおよび任意の他のデータまたは情報はユーザ834によるオン・デマンドの要求に応じてユーザ834に利用可能となり、かつ/または資産830内で観察されているある動作条件に応じて機内搭載データマネージャ812によって遠隔データリポジトリ820へと送信される。遠隔データリポジトリ820に記憶された映像データ、音声データおよび任意の他のデータまたは情報は、ユーザ834がアクセスするウェブサーバ822で利用可能である。遠隔にいるユーザ834は、遠隔データリポジトリ820に記憶された特定の資産830または複数の資産に関する音声データおよび任意の他のデータまたは情報に、標準的なウェブ・クライアント826(ウェブ・ブラウザ等)、または本実施においては選択されたカメラのサムネイル画像を表示できる仮想現実デバイス828を用いて、アクセスすることができる。ウェブ・クライアント826は、映像データ、音声データおよび任意の他のデータまたは情報に対するユーザ834の要求をウェブサーバ822にネットワーク824を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク824を例えば、インターネットとすることができる。ネットワーク824をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワークまたはウェブサーバ822からこの例においてはウェブ・クライアント826へとデータを転送する他の手段とすることができる。ウェブサーバ822は、遠隔データリポジトリ820からの所望のデータを要求する。その後、ウェブサーバ822は、標準映像、360度映像および/または他の映像の再生およびリアルタイム表示を提供するウェブ・クライアント826に要求したデータを送信する。ウェブ・クライアント826は、映像データ、音声データおよび任意の他のデータまたは情報をユーザ834に向けて出力し、ユーザは、視認・分析のために360度映像データおよび/または他の映像のデータおよび/または静止画と連係することができる。ユーザ834はまた、映像データ、音声データおよび任意の他のデータまたは情報をウェブ・クライアント826を用いてダウンロードすることができ、そして仮想現実デバイス828を用いて視認・分析のために360度映像データと連係することができる。
ウェブ・クライアント826は、360度映像および/または種々の異なるモードの他の映像の再生を提供するソフトウェア・アプリケーションによって機能を拡張できる。ソフトウェア・アプリケーションが例えば図11に示す魚眼視表示(フィッシュアイ・ビュー)、図12に示す全景視表示(パノラマ・ビュー)、ダブル・パノラマ・ビュー(図示せず)、図13に示す四象限型視表示(クアッド・ビュー)および図14に示す湾曲視表示(デワープド・ビュー)等の映像再生を出力するモードを、ユーザ834は、選択することができる。
図9は、本開示の実施にかかる資産830からの映像データ、音声データおよび/または情報を記録するプロセス840を示すフロー図である。映像管理システム804は種々の入力部842(360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または資産上830、資産内もしくは資産近傍に配置される他のカメラ802ならびに固定カメラ806等)からデータ信号を受信する。その後、映像管理システム804は映像データ、音声データ、および/または情報を、耐衝撃メモリモジュール810にそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、業界標準フォーマット(例えば、静止画、サムネイル、静止画列または圧縮映像フォーマット等)の任意の組み合わせを用いて、記憶する(844)。データエンコーダ814は、データ信号情報を構成し記録するために用いられる一連の構造化されたビットを有する記録(レコード)を生成する(846)。準リアルタイムモードにおいては、映像管理システム804は、映像データを、耐衝撃メモリモジュール810にそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に記憶すると同時に、限定的な映像データ(サムネイルまたは非常に短い低解像度映像セグメント)を機外へと遠隔データリポジトリ820に送信するだけである(848)。
他の実施においては、その後、符号化されたレコードは、一連のレコードを時系列順に5分間までのデータを含むレコードブロックへと順次結合する機内搭載データマネージャ812に送信される。暫定レコードブロックは5分間未満のデータを含み、一方で完全レコードブロックは5分間全体のデータを含む。それぞれのレコードブロックは、そのデータに含まれる信号を完全に復号するのに必要な、データ完全性チェックを含む、すべてのデータを有する。最小限でも、レコードブロックは、開始(スタート)レコードで始まり、終了(エンド)レコードで終わらなければならない。
符号化された信号データがすべて耐衝撃メモリモジュール810へとそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと確実に保存されるために、データレコーダ808が電力を喪失した場合、機内搭載データマネージャ812、暫定レコードブロックを耐衝撃メモリモジュール810にそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと所定のレートで記憶する。この場合、所定のレートは、設定可能でありかつ/または変更可能である。暫定レコードブロックは、少なくとも毎秒一回保存されるが、また10分の1秒毎に一回の頻度で保存することもできる。暫定レコードブロックが保存されるレートは、それぞれの信号のサンプリングレートによって決まる。各暫定レコードブロックは、最後の完全なレコードブロック以降の完全な一セットのレコードを含む。データレコーダ808は、各暫定レコードブロックを記録するとき、耐衝撃メモリモジュール810における二つの一時的記憶域(テンポラリ・ストレージ・ロケーション)間で場所を交互に替えることができ、これにより、耐衝撃メモリモジュール810へとデータを記憶している際にデータレコーダ808が電力を喪失した場合に1秒を超える分のデータの破損または損失を防止することができる。新しい暫定レコードブロックは一時的耐衝撃メモリ域(テンポラリ・クラッシュ・ハーデンド・メモリ・ロケーション)に保存される度に、その域(ロケーション)に既にある以前に記憶された暫定レコードブロックは上書きされることになる。
本実施においては、5分毎に、データレコーダ808が準リアルタイムモードにある場合、機内搭載データマネージャ812は最後の5分間の符号化された信号データを含んでいる完全レコードブロックを耐衝撃メモリモジュール810におけるそして第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置におけるレコードセグメントに記憶し、そして5分間の映像のデータ、音声データおよび/または情報を含んでいる、完全レコードブロックのコピーを遠隔データマネージャ818へと送信し、遠隔データリポジトリ820に所定の保持期間(例えば2年)記憶する。耐衝撃メモリモジュール810、および第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置は、直近のレコードブロックのレコードセグメントを法令で定められた記憶時間において記憶する。この法令で定められた記憶時間は、本実施において、データレコーダ808は動作データまたは映像データを耐衝撃メモリモジュール810に追加の24時間バッファで記憶しなければならないという連邦が法令で定めた時間であり、追加の24時間バッファのレコードセグメントはその後上書きされる。
図10は、資産830からのデータおよび/または情報をウェブ・ブラウザまたは仮想現実のデバイスを通じて視認するプロセス850を示すフロー図である。イベントが生じた場合、または遠隔にいる認定されたユーザ834が耐衝撃メモリモジュール810に記憶された映像データのセグメントをウェブ・クライアント826を介して要求した場合機内搭載データマネージャ812は、そのイベントに応じて、映像データの機外へのリアルタイム送信を、無線データリンク816のバンド幅が提供する利用可能な最高分解能で、開始することになる。遠隔にいるユーザ834は、特定のビューモードでの特定の映像および/または音声データの要求をウェブ・クライアント826を通じて発し(852)、ウェブ・クライアントは、その要求をネットワーク824を通じてウェブサーバ822へと伝達する。ウェブサーバ822は、その特定の映像および/または音声データを遠隔データリポジトリ820に要求し、その要求された映像および/または音声データをネットワーク824を通じてウェブ・クライアント826へと送信する(854)。ウェブ・クライアント826は、ユーザ834によって指定されたビューモードで映像および/または音声データを表示する(856)。その後、ユーザ834は、仮想現実デバイス828上で視認するためにその特定の映像および/または音声データをダウンロードすることができる。他の実施において、リアルタイムモードにおいては、サムネイルがまず1秒間隔で送信され、次いで低解像度映像の短いセグメントが送信され、次いで高解像度映像の短いセグメントが送信される。
説明の簡単化のために、プロセス840およびプロセス850を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
ここに記載される実時間データ取得・記録システムおよび映像解析システムの第五実施形態では、高価値資産の広範なデータ(イベント・動作データ、映像データおよび音声データ等)へのリアルタイムなアクセスあるいはほぼリアルタイムなアクセスを、遠隔にいるユーザに提供する。データ取得・記録システムは、資産に関係するデータを記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへとインシデントの発生前、発生中、そして発生後にストリーム送信する。データは、遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信されて少なくともインシデントまたは緊急事態の時間までの情報を入手可能とし、こうして、情報を遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信し少なくとも天変地異イベント時点までの情報を入手可能とすることによって、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくすことができる。DARSは、移動資産の記録された映像データの映像分析を実行し、例えば運転室の人の有無の判断、軌道検出、および軌道近くの物体の検出を行う。遠隔にいるユーザは、選択された資産に関する所望のデータへと移動(ナビゲート)し閲覧するために汎用ウェブ・ブラウザを用いることができ、資産上のデータ取得・記録システムと連係する必要も、特定のデータのダウンロードを要求する必要も、ファイルを特定するまたは転送する必要も、そしてデータを閲覧するためにカスタムアプリケーションを用いる必要もない。
DARSは、インシデントの発生前、発生中、そして発生後にデータを遠隔データリポジトリおよび遠隔にいるユーザへとストリーム送信することによって映像データおよび映像解析システムによって実行される映像分析への遠隔にいるユーザのアクセスを提供し、これにより、映像データを点検して、インシデントの際のまたは任意の他の対象時間の運転室の人の有無(乗員または無許可の人物が運転室内にいたか否か)の判断、軌道検出、軌道近くの物体の検出、調査を行うために、ユーザが映像データを手作業でダウンロードする必要も、抽出する必要も、再生する必要もなくすことができる。さらに、映像解析システムは、画像・映像データをリアルタイムに処理することによる運転室の人の有無状態の判断、軌道検出、軌道近くの物体の検出、先導・従動(リード・アンド・トレイル)ユニット判断を提供し、これにより、確実に、正しいデータがユーザに常に利用可能となる。例えば、リアルタイム画像処理によって、従動機関車(トレイル・ロコモーティブ)として指定された機関車が先導運行することがないことが保証され、鉄道の安全性を向上させることができる。以前のシステムは、ディスパッチシステムにおける列車構成機能を用いて列車内の機関車位置を提供していた。ときに、情報がリアルタイムで更新されずディスパッチシステム情報が古い可能性があり、もし必要であると考える場合乗務員がその機関車を変更することもありうる。
本開示のシステムの以前には、検査員および/または資産乗員は、軌道条件を手作業で検査しなければならず、車両が先導位置または従動位置にあるかどうか手作業で検査しなければならず、それぞれの対象物個々の場所を手作業で調査しなければならず、すべての対象物の地理的位置のデータベースを手作業で生成しなければならず、それぞれの対象物の手作業での現地調査を定期的に行ってそれらの位置を確認して当初の調査とは異なる地理的位置のあらゆる変化を特定しなければならず、対象物が修理または当初データベースが生成された時から追加のインフラストラクチャ開発により場所が変わった場合にはデータベースを手作業で更新しなければならず、デジタルビデオレコーダおよび/またはデータレコーダから所望のデータを選択しダウンロードし、ダウンロードしたデータおよび/または映像をオフラインで検査しあらゆる障害物に対して軌道を点検しなければならず、そして車両オペレータはあらゆる障害物および/または転轍機(スイッチ)切換を物理的に点検しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは所望のデータへと案内(ナビゲート)するために汎用ウェブ・ブラウザを用いることだけである。資産所有者およびオペレータは、移動資産の効率と安全性をリアルタイムに自動化し改良することができ、軌道状態を能動的に監視することができ、リアルタイムに警告情報を得ることができる。本開示のシステムは、軌道状態を監視しインシデントを調査するのに、資産所有者およびオペレータがデータレコーダからデータをダウンロードする必要をなくことができる。能動的(アクティブ)セーフティ・システムとして、DARSは、オペレータがあらゆる障害物を点検し、警報をリアルタイムに送信しかつ/または情報をオフラインで保存し、そして遠隔監視・記憶のための警報情報を送信することを支援できる。現在と過去との両方の軌道検出情報および/または軌道近くの物体の検出に関する情報を遠隔データリポジトリにリアルタイムに記憶して、必要時にユーザが情報を閲覧するのを支援することができる。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
第五実施形態のリアルタイム・データ取得・記録システムは、対象物を連続的に監視するよう、そして移動または損傷を受けてしまった、木の葉が邪魔となった、かつ/または修理が必要な状態になり保全(メインテナンス)が必要となったときリアルタイムに認識するよう用いることができる。DARSは、映像、画像、および/または音声情報を利用して映像において種々のインフラストラクチャ対象(レール軌道等)を検出するとともに特定し、移動資産進行状況として軌道を追跡する機能を有し、地理的場所とともに対象物のデータベースを生成し監査しかつ周期的に更新する機能を有する。第五実施形態のリアルタイム・データ取得・記録システムは、移動資産内の、移動資産上のもしくは移動資産近傍の画像測定デバイス、映像測定デバイス、および測距デバイスのうちの少なくとも一つまたは任意の組み合わせを、データ取得・記録システムの一部として用いる。画像測定デバイスおよび/または映像測定デバイスには、限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラが含まれる。測距デバイスには、限定するものではないが、レーダおよび光検知測距器(「LIDAR」)が含まれる。LIDARは、対象にパルスレーザ光を照射してセンサで反射パルスを測定することによって対象までの距離を測定する測量方法である。
DARSは、軌道状態を自動的に検査することができ、例えば、(存在している軌道の計数、移動資産が移動している現在の軌道の特定、存在するあらゆる障害物または欠陥(バラストの流出、破損した軌道、軌間(ゲージ)から外れた軌道、位置がずれた転轍機、転轍機のはみ出し、軌道の冠水、積雪量等)の検出ができ、そしてあらゆる天変地異イベントを回避するようあらゆる予防保全の計画を立てることができる。DARSはまた、レール軌道の転轍機(スイッチ)を検出し、軌道変更を追跡することができる。DARSはさらに、対象が無くなっているか否か、妨害されているか否か、および/または予想される場所に存在しているか否かといったことも含む場所のデータの変化も検出することができる。軌道検出、インフラストラクチャ診断情報、および/またはインフラストラクチャ監視情報を、任意の標準的なウェブ・クライアント(ウェブ・ブラウザ等)の使用を通じてユーザに表示することができ、これにより、ファイルをデータレコーダからダウンロードする必要をなくすことができ、情報を閲覧するために以前のシステムが必要としていた独自開発のアプリケーション・ソフトウェアまたは他の外製アプリケーションを用いる必要をなくすことができる。このプロセスを、対象物の地理的位置とともにデータベースを自動的に生成し監査しかつ/または更新するよう、そして確実に連邦規則集に準拠するよう、拡張することができる。本開示のシステムでは、連邦規則集に準拠するよう予め設置されるカメラを、以前は人間の連係、専用車両および/または代替機器を必要としていた種々の作業を実行するために利用する。DARSにより、これらの作業を、通常の収益事業および日常運転の一部として移動資産が担当区域全域を移動するときに、自動的に実行することが可能となる。以前には手作業での労力を必要としていた作業を達成するよう車両および予め設置されたカメラの通常動作を利用することによって、数え切れないほどの手作業の工数を節約するように、DARSを用いることができる。DARSはまた、以前には専用車両を用いて実行されていた作業を実行することができ、これにより、多くの場合収益事業の損失および高価な機器の購入・保守を結果として生じていた軌道と対象物を検査し特定するための軌道の区分(セグメント)の閉鎖を防止することができる。DARSはさらに、人員がレール軌道の近傍内にいることが要求される時間を削減し、結果的に事故全体と人命喪失の可能性とを少なくすることができる。
データには、限定するものではないが、移動資産からおよび/または近くの移動資産から得られる測定アナログ・周期的パラメータ(速度、圧力、温度、電流、電圧および加速度等)と;論理(ブール)データ(スイッチ位置、アクチュエータ位置、警告灯点灯および作動器命令(アクチュエータ・コマンド)等)と;地球測位システム(GPS)からの位置、速度ならびに高度情報、および地理情報システム(GIS)からの追加データ(種々の対象物の緯度および経度等)と;内部発生情報(移動資産に対してその現在位置に決められた規制速度制限等)と;システムによって生成される列車制御状態および動作データ(ポジティブ・トレイン・コントロール(PTC)等)と;車両・慣性パラメータ(速度、加速等)および場所(GPSから受信されたもの等);GISデータ(種々の対象物の緯度および経度等)と;移動資産内の、移動資産上のもしくは移動資産近傍の種々の場所に配置される少なくとも一つのカメラからの映像・画像情報と;移動資産内の、移動資産上のもしくは移動資産近傍の種々の場所に配置される少なくとも一つのマイクロホンからの音声情報と;データセンタから移動資産に送信される移動資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録情報等)と;移動資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象等)に関する情報と;追加のデータ・映像・音声分析・解析を含む上記のソースのうちのある組み合わせから得られるデータと、を含めることができる。
「軌道」には、限定するものではないが、機関車および/または列車交通機関に用いられる鉄道のレールおよび枕木(ties)を含めることができる。「対象物」には、限定するものではないが、資産カメラ画像および映像の人工知能(教師あり学習や強化学習)の使用によって認識しうる、鉄道線路の近隣内に設置され保守を受けるインフラストラクチャの種々の対象を含めることができる。教師あり学習および/または強化学習は、移動資産上の、移動資産内のもしくは移動資産近傍のカメラの視表示内の対象の遠隔的・自律的認識を可能にするための「トレーニング」データとして定義される予めラベリングされたデータセットを利用する。教師あり学習および/または強化学習では、カメラから得られた視覚的な像内に現れるパターンを認識するようニューラルネットワークモデルを訓練する。これらのパターン(人、遮断機、自動車、木、信号、転轍機等)は、単一画像内に単独で見つけ出すことができる。ある映像内の連続的なフレームも、点滅する信号、移動している自動車、寝てしまっている人等のパターンに対して分析することができる。DARSは、限定するものではないが、教師あり学習および/または強化学習に必要であるトレーニング・データセットのラベリングを含む実施の任意のステージで人間の連係を必要とすることもあり、また必要とせずともよい場合もある。対象物には、限定するものではないが、軌道、軌道中心線点、距離標の標識(マイルポスト・サイン)、信号、遮断機、転轍機、踏切および文字による標識が含まれる。「映像解析」は、画像デバイス、映像デバイス、および/または測距デバイスによって、例えば移動資産上の、移動資産内のもしくは移動資産近傍の少なくとも一つのカメラ(360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または他のカメラ等)よって記録される映像および/または画像の分析により収集されるあらゆる知性によってのみ理解できる情報(対象物、対象の地理的場所、軌道障害物、対象物と移動資産との間の距離、軌道の位置ずれ等)をいう。映像解析システムはまた、映像監視を向上させるために監視カメラを備えているあらゆる移動資産、住宅地区、空間または部屋において用いることができる。移動資産において、映像解析システムは、自律的運転室有人/無人イベント検出を遠隔にいるユーザに経済的にかつ効率的に提供する。
図15は、本開示の複数の面を実施可能な例示的なリアルタイム・データ取得・記録システム(DARS)900の第五実施形態の実際的な実施を示す。DARS900は、移動資産964上のデータレコーダ902からのリアルタイム情報、映像情報および音声情報を、遠隔にいるエンドユーザ968へとデータセンタ966を通じて送出するシステムである。データレコーダ902は、車両または移動資産964に設置され、有線データリンクおよび/または無線データリンク942(ワイヤレス・ゲートウェイ/ルーター(図示せず)等)の任意の組み合わせを通じて任意の数の種々の情報ソースと通信する。データレコーダ902は、映像データ、音声データ、および資産の構成に応じて変更しうる広範な種々のソースからの他のデータならびに情報を、機内搭載データリンク942を介して収集する。データレコーダ902は、資産964に、ローカルメモリ部(耐衝撃メモリモジュール904等)と機内搭載データマネージャ906とデータエンコーダ908とを備える。第六実施形態においては、データレコーダ902はまた、非耐衝撃着脱可能記憶装置(図示せず)を有することができる。例示的な耐性メモリモジュール904は、例えば、連邦規則集および/または連邦鉄道局規則に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および/または連邦航空局規則に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。有線データリンクおよび/または無線データリンクは、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。
DARS900はさらに、軌道および/または物体検出・インフラストラクチャ監視部914を有する映像解析システム910を備える。軌道検出・インフラストラクチャ監視部914は、教師あり学習および/または強化学習部924または他のニューラル・ネットワークもしくは人工知能部と、物体検出・場所特定(ロケーション)部926と、軌道上もしくは軌道の近くに存在する障害物をおよび/またはカメラ障害物(カメラ視表示を遮る人物等)を検出する障害物検出部928と、を備える。本実施において、実況の(ライブの)映像データが、資産964の運転室内に、資産964上に、または資産964の近傍に取り付けられた少なくとも一つのカメラ940によって撮影される。カメラ940は、資産964内のそして資産の周囲の映像データを撮影するようそしてさらなる処理のために十分な量の視表示を確保するよう、適切な高さと角度で配置される。実況の映像データおよび画像データは、カメラ940によって資産964の前方および/または周囲で撮影され、分析のために軌道および/または物体検出・インフラストラクチャ監視部914に送信される。映像解析システム910の軌道検出・インフラストラクチャ監視部914は、実況の映像および画像データをフレームごとに処理して、レール軌道およびあらゆる対象物の存在を検出する。カメラ位置パラメータ(高さ、角度、移動(シフト)、焦点距離および視野等)が軌道および/または物体検出・インフラストラクチャ監視部914に送信されるか、または映像解析システム910がカメラ位置およびパラメータを検出し決定できるようカメラ940を構成することもできる。
状況決定(運転室の人の有無検出等)の判断を行うために、映像解析システム910は、例えば、カメラ940からの映像データ、資産データ934(速度、GPSデータ、慣性センサ・データ等)、気象部936のデータ、および経路管理/乗員名簿・GIS部938を評価するよう、教師あり学習および/または強化学習部924、および/または他の人工知能・学習アルゴリズムを用いる。運転室の人の有無検出は、環境的なノイズ源(資産が移動する際の雲から反射する光と建物および木を通過する日光等)の影響をどうしても受けやすい。環境的なノイズを処理するために、教師あり学習および/または強化学習部924と、物体検出・場所特定部926と、障害物検出部と、速度、GPSデータおよび慣性センサ・データを含むことができる資産コンポーネント934のデータと、気象部936のデータと、他の学習アルゴリズムと、が、移動資産964に関わる内部状況および/または外部状況決定を形成するよう、一体に構成される。軌道および/または物体検出・インフラストラクチャ監視部914はまた、機関車へのアクセスの認可を可能にするよう構成される機関車セキュリティーシステムの一部としての顔認識システムと、乗員の敏捷性を監視するよう構成される疲労検出部と、喫煙など無許可の活動の検出するための活動検出部と、を有することができる。
さらに、映像解析システム910は、信号(停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等)の緯度・経度座標を含んでいる場所情報を資産所有者から受信することができる。その後、映像解析システム910は、資産所有者から受信した場所情報が正しいか否かを判断する。その場所情報が正しい場合、映像解析システム910は情報を記憶し、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。その場所情報が正しくない場合、映像解析システム910は正しい場所情報を決定して正しい場所情報を資産所有者に報告し、その場所情報を記憶して、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。場所情報の記憶により、停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等の信号の検出がより容易となる。
教師あり学習および/または強化学習部924を用いる軌道の教師あり学習および/または強化学習は、連続するフレームの映像および/または画像から得られた種々の情報の使用を通じて、そしてまたデータセンタ966および車両データコンポーネント934から受信された追加情報(慣性センサ・データおよびGPSデータを含む)を用いることによって、学習データを決定するよう、実行される。物体検出・場所特定部926は、教師あり学習および/または強化学習部924から受信される学習データと、移動資産964と線路に関する特定の情報(軌道幅、曲率、枕木配置、および車速等)と、を利用して、レール軌道、標識、信号などを他の対象から区別して物体検出データを決定する。障害物検出部928は、物体検出・場所特定部926から受信される物体検出データ(軌道上もしくは軌道の近くに存在する障害物および/またはカメラ障害物(カメラ視表示を遮る人物等)に関する情報)と、気象部936、経路管理/乗員名簿・GIS部938、および慣性センサ・データならびにGPSデータを含む車両データコンポーネント934からの追加情報と、を利用して、正確性を高めて障害物検出データを決定する。車両データコンポーネント934からの移動資産データには、限定するものではないが、速度、場所、加速度、偏揺れ(ヨー)/縦揺れ(ピッチ)比(レート)および踏切が含まれる。データセンタ966から受信され利用されるあらゆる追加情報には、限定するものではないが、移動資産964の昼夜にわたる細目および地理学的位置が含まれる。
軌道および/または物体検出・インフラストラクチャ監視部914によって処理された対象インフラストラクチャ情報、および診断・監視情報が、機内搭載データリンク942を介してデータレコーダ902のデータエンコーダ908へと送信されて、データが符号化される。データレコーダ902は、その符号化データを耐衝撃メモリモジュール904にそして任意選択的に任意選択的な非耐衝撃着脱可能記憶装置に記憶し、その符号化された情報をデータセンタ966における遠隔データマネージャ946へと無線データリンク944を介して送信する。遠隔データマネージャ946は、符号化データをデータセンタ966における遠隔データリポジトリ948に記憶する。
障害物検出928または物体検出926(資産の前の軌道、軌道上ならびに/もしくは軌道の近くの対象、軌道上もしくは軌道の近くの障害物、および/またはカメラ視表示を遮る障害物等の存在)を判断するために、資産964の、車両解析システム910は、教師あり学習および/また強化学習部924または他の人工知能と、物体検出・場所特定部926と、障害物検出部928と、そしてカメラ940からのカメラ画像および映像データをリアルタイムに処理し評価するための他の画像処理アルゴリズムと、を用いる。軌道および/または物体検出・インフラストラクチャ監視部914は、処理された映像データを速度、GPSデータ、および慣性センサ・データを含むことができる資産コンポーネント934のデータと、気象部936のデータと、経路管理/乗員名簿・GIS部938のデータと、を共に用いて、外部状況判断(先導・従動(リード・アンド・トレイル)移動資産等)をリアルタイムに決定する。軌道および/または物体検出のために画像・映像データを処理するとき、例えば、映像解析システム910は自動的に、軌道検出に必要とされるカメラ940のパラメータを設定し、転轍機を通る走行路を検出し、軌道の数を計数し、資産964の側方に沿ったあらゆる別の軌道を検出し、資産964が現在走行している軌道を判断し、軌道の幾何学的欠陥を検出し、軌道流失シナリオ(予測)を検出し(例えば軌道の規定範囲内の軌道の近くの水を検出し)、そして斜面または軌道が無くなっているシナリオを検出する。物体検出正確性は、資産964内および資産の周囲にある光の状態に左右される。DARS900は、資産964内およびデータセンタ966から収集される追加データの支援を受けて異なる光の状態に対応することになる。DARS900は、種々の光の状態において機能し、種々の気象条件において機能し、より多くの対象物を検出し、既存のデータベースシステムと統合し、データを自動的に生成し監査しそして更新し、複数の軌道を検出し、曲線軌道でも一貫して機能し、あらゆる障害物を検出し、安全上問題となりうるあらゆる軌道欠陥を検出し、そして低コスト組込システムにおいても機能するよう、強化されている。
映像解析システム910からの内部および/または外部状況判断(運転室の人の有無検出、物体検出・場所特定(ロケーション)等や軌道検出および軌道の近くの対象の検出、障害物検出(軌道上のまたは軌道の近くの障害物およびカメラを遮る障害物等)が、機内搭載データリンク942を介して、車両管理システム(VMS)またはデジタルビデオレコーダ部932からのあらゆるデータと共に、データレコーダ902に提供される。データレコーダ902は、内部および/または外部状況判断と、物体検出・場所特定部926のデータと、障害物検出部928のデータと、を、耐衝撃メモリモジュール904に、そして任意選択的に第二実施形態の非耐衝撃着脱可能記憶装置に、そしてデータセンタ966内に配置される遠隔データマネージャ946を通じて遠隔データリポジトリ948に、記憶する。ウェブサーバ958は、内部および/または外部状況判断と、物体検出・場所特定部926情報と、障害物検出部928の情報と、を要求に応じて遠隔にいるユーザ968へとウェブ・クライアント962を通じて提供する。
データエンコーダ908は、一般に規制機関によって決められる少なくとも最小セットのデータを符号化する。データエンコーダ908は、カメラ940、映像解析システム910および映像の管理システム932のうちのいずれかからの映像・画像・音声データを受信し、そしてそのデータを圧縮しまたは符号化し、データを時刻同期させて、遠隔データリポジトリ948への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ908は、機内搭載データマネージャ906に符号化データを伝達する。機内搭載データマネージャはその後、ユーザ968によるオン・デマンドの要求に応じてまたは資産964の機内で観察されているある動作条件に応じて、符号化された映像・画像・音声データをデータセンタ966に配置される遠隔データマネージャ946を介して遠隔データリポジトリ948に送信する。機内搭載データマネージャ906および遠隔データマネージャ946は、データ複製プロセスを管理するよう協働することができる。データセンタ966における遠隔データマネージャ946は、複数の資産964からのデータの複製を管理することができる。
機内搭載データマネージャ908は、イベントが検出された場合、内部および/または外部状況判断、物体検出・場所特定(ロケーション)、および/または障害物検出を判断し、検出されたイベントの優先順位に基づいて直ちにキュー入力するまたは送信する必要がある。例えば、通常の運転状況において、軌道上の障害物の検出は、誰かが資産964の運転室内にいるか否かの検出よりはるかに緊急である。機内搭載データマネージャ908はまた、キューイング・リポジトリ(図示せず)にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャは、データエンコーダ908から受信される符号化データおよび任意のイベント情報を耐衝撃メモリモジュール904およびキューイング・リポジトリに記憶する。5分間の符号化データがキューイング・リポジトリに蓄積された後、機内搭載データマネージャ906は、その5分間の符号化データを、データセンタ966における遠隔データマネージャ946を経由して遠隔データリポジトリ948へと無線データリンク944を通して記憶する。リアルタイムモードにおいては、機内搭載データマネージャ908は、データエンコーダ908から受信される符号化データと、あらゆるイベント情報と、を、耐衝撃メモリモジュール904へと、そして無線データリンク944を通じてデータセンタ966における遠隔データマネージャ946を介して遠隔データリポジトリ948へと、記憶する。
本実施において、機内搭載データマネージャ906は、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定(ロケーション)情報、障害物検出情報、および任意の他のデータまたはイベント情報を、データセンタ966における遠隔データマネージャ946を介して遠隔データリポジトリ948へと無線データリンク944を通じて、送信する。無線データリンク944は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、無線仮想プライベート・ネットワーク(WVPN)、携帯電話ネットワークまたデータレコーダ902からこの例においては遠隔データマネージャ946へとデータを転送するあらゆる他の手段とすることができる。データを資産964から遠隔的に検索するプロセスは、資産964とデータセンタ966との間の無線接続を必要とする。無線データ接続が利用可能でない場合、無線接続が回復されるまで、データは記憶されキュー入力される。
データ記録と平行して、データレコーダ902は、連続的かつ自律的に遠隔データリポジトリ948にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ10へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ15へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ15へと0.10秒毎に複製することによって、高い分解精度データに対応させるよう調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産964内で発生したイベントに基づいて、またはデータセンタ966から発せられる要求によって、起動することができる。データセンタ966が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ968がウェブ・クライアント962にリアルタイム情報を要求したときに発せられる。資産964内でリアルタイムモードが発せられる典型的な要因には、資産964に関わるイベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ902への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ948へとまだ複製されないすべてのデータが遠隔データリポジトリ948に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ968がもはや資産964からのリアルタイム情報を不要とすると、データレコーダ902は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ902がリアルタイムモードにあるとき、機内搭載データマネージャ906は遠隔データマネージャ946へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール940へとそして任意選択的に第六実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと記憶し、そのデータを同時に遠隔データマネージャ946へと送信する。
データレコーダ902からの、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定情報、障害物検出情報、および複製すべきあらゆる他のデータまたは情報の受信に応じて、遠隔データマネージャ946は、機内搭載データマネージャ906から受信したデータ(符号化データおよび検出されたイベントデータ等)を、データセンタ966における遠隔データリポジトリ948へと記憶する。遠隔データリポジトリ948は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ954が、遠隔データリポジトリ948からの最新複製データを復号し、そしてその復号化データをさらなる「処理後」イベントのために記憶されたデータを参照する軌道/物体検出/場所特定情報部950へと送信するプロセスが開始する。本実施において、軌道/物体検出/場所特定情報部950は、内部および/または外部状況判断、物体検出・場所特定情報、および障害物検出情報を判断するための物体/障害物検出部を有する。内部および/または外部情報、物体検出・場所特定情報、および/または障害物検出情報の検出に応じて、軌道/物体検出/場所特定情報部950はその情報を遠隔データリポジトリ948に記憶する。
遠隔にいるユーザ968は、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定情報、障害物検出情報、および遠隔データリポジトリ948に記憶される軌道情報、資産情報ならびに運転室の人の有無情報を含む特定の資産964もしくは複数の資産に関係する任意の他の情報に、標準ウェブ・クライアント962(ウェブ・ブラウザ等)、または本実施においては選択されたカメラのサムネイル画像を表示することができる仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント962は、情報に対するユーザ968の要求をウェブサーバ958にネットワーク960を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク960を例えば、インターネットとすることができる。ネットワーク960をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワークまたはウェブサーバ958からこの例においてはウェブ・クライアント962へとデータを転送するあらゆる他の手段とすることができる。ウェブサーバ958は、遠隔データリポジトリ948からの所望のデータを要求する。そして、データデコーダ954は、特定の資産964に関係する要求されたデータを遠隔データリポジトリ948からウェブサーバ958からの要求に応じて取得する。データデコーダ954は、要求されたデータを復号し、その復号化データをローカライザ956に送信する。ローカライザ956は、ウェブ・クライアント962にアクセスすることによってユーザ968によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ968に示すためにウェブ・クライアント962に送信される情報を未処理の符号化データとして準備し、検出された軌道/物体検出/場所特定情報は遠隔データリポジトリ948に協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ956は、復号化データをユーザ968が所望するフォーマット(ユーザ968の好みの測定単位および言語等)へと変換する。ローカライザ956は、ユーザ968の好みのフォーマットにローカライズされたデータをウェブサーバ958に要求に応じて送信する。その後、ウェブサーバ958は、視認および分析のためにウェブ・クライアント962へとローカライズされたデータを送信し、これにより、標準的な映像および360度映像の再生および実況の表示を、内部および/または外部状況判断、物体検出・場所特定情報、および障害物検出情報(例えば軌道ならびに/もしくは物体検出(図16A)、軌道と転轍機検出(図16B)、軌道ならびに/もしくは物体検出、軌道の数の計数、信号検出(図16C)、踏切・軌道ならびに/もしくは物体検出(図16D)、複式架空信号(デュアル・オーバヘッド・シグナル)検出(図16E)、複線軌道(マルチトラック)・複数物体(マルチオブジェクト)検出(図16F)、転轍機・軌道ならびに/もしくは物体検出(図16G)、転轍機検出(図16H)と共に提供する。
ウェブ・クライアント962は、360度映像および/または種々の異なるモードの他の映像の再生を提供するソフトウェア・アプリケーションによって機能を拡張される。ソフトウェア・アプリケーションが例えば魚眼視表示(フィッシュアイ・ビュー)、湾曲視表示(デワープド・ビュー)、全景視表示(パノラマ・ビュー)、ダブル・パノラマ・ビュー、および四象限型視表示(クアッド・ビュー)等の映像再生を出力するモードを、ユーザ968は選択することができる。
図17は、本開示の実施にかかる移動資産964の内部状況を決定するプロセス970を示すフロー図である。映像解析システム910は、カメラ940(限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または資産964上、資産内もしくは資産近傍に配置される他のカメラを含む)、車両データコンポーネント934、気象部936、および経路管理/乗員名簿・GIS部938などの各種入力部からのデータ信号を受信する(972)。映像解析システム910は、教師あり学習および/または強化学習部を用いてデータ信号を処理し(974)、内部状況(運転室の人の有無等)を決定する(976)。
図18は、本開示の実施にかかる移動資産964の物体検出/場所特定(ロケーション)および外部ならびに内部で発生する障害物検出を判断するプロセス980を示すフロー図である。映像解析システム910は、カメラ940(限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダ、LIDAR、および/または資産964上、資産内もしくは資産近傍に配置される他のカメラを含む)、車両データコンポーネント934、気象部936、および経路管理/乗員名簿・GIS部938などの各種入力部からのデータ信号を受信する(982)。映像解析システム910は、教師あり学習および/または強化学習部924、物体検出・場所特定部926、および障害物検出部928を用いて、データ信号を処理し(984)、障害物検出を決定し(986)、そして例えば軌道存在などの物体検出・場所特定(ロケーション)を決定する(988)。
説明の簡単化のために、プロセス970およびプロセス980を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
ここに記載される実時間(リアルタイム)データ取得・記録システムおよび自動信号遵守監視・警報システムの第七実施形態では、高価値資産と関係する広範なデータ(イベント・動作データ、映像(ビデオ)データおよび音声(オーディオ)データ等)へのリアルタイムなアクセス(ソフトウェア的な接続)あるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータ(運転者/作業者)および調査者等)に提供する。自動信号遵守監視・警報システムは、資産に関係するデータをデータレコーダを介して記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへとインシデントの発生前、発生中、そして発生後にストリーム送信する。データは少なくともインシデントまたは緊急事態の時間までの入手可能な情報を形成するよう遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくし資産上のデータレコーダと連係し、特定のデータのダウンロードを要求し、ファイルを特定・転送し、そしてデータを視認するためにカスタムアプリケーションを用いる必要性をなくす。本開示のシステムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へとインシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。大部分の状況において、データレコーダに記録された情報は冗長であり、データがすでに取得され遠隔データリポジトリに記憶されたときには必要ではなくなる。
自動信号監視・警報システムは、停止信号、交通信号および/または速度制限信号等の信号板や信号燈の意味(シグナル・アスペクト)の違反に際して、履歴・実時間警報を、機関車、列車、飛行機および自動車等の移動資産に、自動的に監視し提供する。移動資産が安全業務規定を破る場合、例えば、停止して許可を受ける前に移動資産が停止信号を通過した場合(赤信号違反)、低速速度制限を示す制限信号を移動資産がそれより速い速度で走行して破る場合、そして移動資産が制動力を印加するのが遅れたかつ/またはその制動力が停止/赤色信号を通過する前に停止するために過度な制動力であった場合に、自動信号監視・警報システムは、画像解析、GPS位置、制動力および車両速度を組み合わせて用いて、さらに加えて自動電子通知(オートメーテッド・エレクトロニック・ノーティフィケーション(automated electronic notifications))とともに、移動資産に搭乗しているおよび/または搭乗していない人員にリアルタイムに警告する。
本開示の自動信号監視・警報システムの以前には、安全業務規定が破れた場合に司令センタ人員は移動資産乗員が報告することに頼るしかなかった。移動資産が移動資産と衝突し惨事が生じた後、その後の調査で安全業務規定が破られていた事実が判明したことが何件かあった。さらに、過度な制動力によって移動資産の一部に機械的支障が発生していた場合もあり、移動資産が機関車および/または列車である状況では、過度な制動力によって脱線が発生していた場合もあり、その後の調査で安全業務規定違反がその根本的原因であったことが分かったこともあった。本開示のシステムによって、安全業務規定違反が発生したとき、機械的支障、衝突、脱線および/または他の事故が生じる前に、ユーザが監視でき、かつ/またはユーザに警告することができる。
安全業務規定違反が発生したとき警告を受けるエンドユーザを予め登録(サブスクライブ)しておくことができ、これによりエンドユーザは、実際にイベントが発生して数分内に、電子メール、テキスト・メッセージおよび/またはブラウザ内(イン・ブラウザ)電子通知を受信することになる。エンドユーザは、履歴記録を利用して、データを分析し、例えば、問題がある場所、見通しの悪いところ、不良のある機器、期待以下の乗員等のパターンを特定することができ、このことは、新しくより安全な業務規定または継続的な改善のための乗組員教育機会の実現において役立つであろう。本開示のシステムによって、エンドユーザは、継続的な電子監視と広範な画像解析を活用することにより、安全業務規定違反および/または信号が遵守されないことによって移動資産が危険な状態で動作しているときにはいつ何時もそのことが分かる。
自動信号監視・警報システムは、車両ならびに/もしくは移動資産所有者、作業者および調査者によって使用され、これにより、移動資産の動作効率および安全性をリアルタイムに視認し分析することができる。リアルタイムに動作を視認する機能によって、行動/挙動の迅速な評価および調整が可能となる。リアルタイム情報は、状況に対する優先順位付与に役立ち、第一対応者に有益な情報を提供することができる。通常動作の際には、例えば、リアルタイム情報を、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。
自動信号監視・警報システムは、完全に統合され時刻同期された自動システムにおいて、外部に面するカメラならびに/もしくは他のカメラ、GPS位置、速度および加速、さらに加えて、車両、列車ならびに/もしくは移動資産ブレーキ圧力センサ・データを利用して、危険で潜在的に惨事となる虞がある動作慣行を特定し、リアルタイムなフィードバックを移動資産乗員および管理部門に提供することができる。また、自動信号監視・警報システムによって、ユーザは、種々のデータソースによる自動データ・映像ダウンロードを受け取ることができ、これにより、警報時の動作環境を完全に知ることができる。
データには、限定するものではないが、資産からおよび/または近くの資産から得られるアナログ・デジタルパラメータ(速度、圧力、温度、電流、電圧および加速度等)と、論理(ブール(Boolean))データ(スイッチ位置、アクチュエータ位置、警告灯点灯および作動器命令(アクチュエータ・コマンド)等)と、地球測位システム(GPS)データおよび/または地理情報システム(GIS)データ(位置、速度および高度等)と、内部発生情報(資産に対してその現在位置に決められた規制速度制限等)と、資産内、資産上または資産の近傍において種々の場所に配置されるカメラからの映像・画像情報と、資産内、資産上または資産の近傍において種々の場所に配置されるマイクロホンからの音声情報と、データセンタから資産に送信される資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録(カーゴ・マニフェスト(cargo manifest))情報等)と、資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象条件を含む)に関する情報と、システムによって生成される資産制御状態および動作データ(機関車におけるポジティブ・トレイン・コントロール(PTC)等)と、限定するものではないが追加のデータ・映像・音声分析・解析を含む上記のもののうちのある組み合わせから得られるデータと、を含めることができる。
図19は、本開示の複数の面を実施可能な例示的なリアルタイム・データ取得・記録システム(DARS)1000および自動信号遵守監視・警報システムの第七実施形態の実際的な実施を示す。DARS1000は、遠隔にいるエンドユーザにデータ記録デバイスからリアルタイム情報を送出するシステムである。車両または移動資産1048に設置され、機内搭載有線および/または無線(ワイヤレス)データリンク1070(ワイヤレス・ゲートウェイ/ルーター等)やDARS1000のデータセンタ1050を通じたデータリンク(無線データリンク1046等)を介した搭載されていない情報源(ソース)の任意の組み合わせを通じて任意の数の種々の情報源と通信するデータレコーダ1054を、DARS1000は有する。データレコーダ1054は、機内搭載データ管理器(マネージャ)1020と、データエンコーダ1022と、車両イベント検出器1056と、キュー入力保管器(キューイング・リポジトリ)1058と、ワイヤレス・ゲートウェイ/ルーター1072と、を備える。さらに、この実施においては、データレコーダ1054は、耐衝撃メモリモジュール(クラッシュ・ハーデンド・メモリモジュール)1018、および/またはパワー・オーバー・イーサネット(POE)を有するもしくは有さないイーサネット・スイッチ1062を有することができる。例示的な耐性メモリモジュール(ハーデンド・メモリモジュール)1018は、例えば、連邦規則集(Code of Federal Regulations)および/または連邦鉄道局規則(Federal Railroad Administration regulations)に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および/または連邦航空局規則(Federal Aviation Administration regulations)に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。第八実施形態においては、データレコーダはさらに、任意選択的な非耐衝撃着脱可能記憶装置(ノンクラッシュ・ハーデンド・リムーバブル・ストレージ・デバイス)(図示せず)を有することができる。
有線データリンクおよび/または無線データリンク1070は、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。イーサネット接続デバイスは、データレコーダ1054のイーサネット・スイッチ1062を利用することができ、またPOEを利用することができる。イーサネット・スイッチ1062を内部または外部のスイッチとすることができ、POEに対応させることができる。加えて、遠隔データ源(ソース)(図19の実施における、地図部(コンポーネント)1064、経路管理/乗員名簿部(ルート/クルー・マニフェスト・コンポーネント)1024、および気象部1026等)からのデータは、データセンタ1050から無線データリンク1046とワイヤレス・ゲートウェイ/ルーター1072を介して、機内搭載データマネージャ1020と車両イベント検出器1056とにおいて入手可能である。
データレコーダ1054は、資産の構成に応じて様々に変更しうる広範な種々のソースからデータまたは情報を、機内搭載データリンク1070を介して収集する。データ符号化器(エンコーダ)1022は、一般に規制機関(regulatory agency)によって決められる少なくとも最小セットのデータを符号化する。本実施において、データエンコーダ1022は、広範囲な種々の資産1048ソースとデータセンタ1050ソースからデータを受信する。情報ソースには、資産1048における任意の数のコンポーネント(アナログ入力1002、デジタル入力1004、I/Oモジュール1006、車両制御器(コントローラ)1008、エンジンコントローラ1010、慣性センサ1012、地球測位システム(GPS)1014、カメラ1016、ポジティブ・トレイン・コントロール(PTC)/信号データ1066、燃料データ1068、携帯電話通信検出器(図示せず)、内部駆動データおよび任意の追加データ信号等)と、データセンタ1050における任意の数のコンポーネント(経路管理/乗員名簿部1024、気象部1026、地図部1064、および任意の追加データ信号)と、を含めることができる。また、資産1048情報ソースを、有線または無線データリンク1070のあらゆる組み合わせを通じて、データレコーダ1054に接続することができる。データエンコーダ1022はデータを圧縮しまたは符号化し、データを時刻同期させて、遠隔データリポジトリ1030への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ1022は、機内搭載データマネージャ1020に符号化されたデータを送信し、そして機内搭載データマネージャ1020は、耐衝撃メモリモジュール1018およびキューイング・リポジトリ1058に符号化データを保存し、データセンタ1050に配置される遠隔データマネージャ1032を介して遠隔データリポジトリ1030へと複製する。任意選択的に、機内搭載データマネージャ1020は、第八実施形態の非耐衝撃着脱可能記憶装置に符号化データの第三のコピーを保存することができる。機内搭載データマネージャ1020および遠隔データマネージャ1032は、データ複製プロセスを管理するよう協働することができる。データセンタ1050における一つの遠隔データマネージャ1032は、複数の資産1048からのデータの複製を管理することができる。
各種入力部からのデータおよび運転室(インキャブ)オーディオ/グラフィックユーザインタフェース(GUI)1060からのデータは、車両イベント検出器1056へ送信される。車両イベント検出器1056はデータを処理して、資産1048に関わるイベント、インシデントまたは他の所定の状況が発生したか否かを判断する。車両イベント検出器1056が所定のイベントが発生したことを示す信号を検出したとき、車両イベント検出器1056は所定のイベントが発生したことを示す処理データをその所定のイベントの周辺の裏付けデータとともに機内搭載データマネージャ1020へと送信する。車両イベント検出器1056は、広範な種々のソース(資産の構成に応じて変更しうるアナログ入力1002、デジタル入力1004、I/Oモジュール1006、車両コントローラ1008、エンジンコントローラ1010、慣性センサ1012、GPS1014、カメラ1016、経路管理/乗員名簿部1024、気象部1026、地図部1064、PTC/信号データ1066、燃料データ1068等)に基づいてイベントを検出する。車両イベント検出器1056がイベントを検出したとき、検出された資産イベント情報はキューイング・リポジトリ1058に記憶され、また任意選択的に、インキャブ・オーディオ/グラフィカルユーザーインターフェイス(GUI)1060を通じて資産1048の乗員に知らせることができる。
資産1048の位置が信号機1082を横切ったことを示したとき、過度な制動力が印加されて資産1048が信号機1082に近い位置内に停止したとき、またはシグナル・アスペクトによって速度制限が適用されたとき、機内搭載データマネージャ1020は、外部に面するカメラ画像の分析を開始して、図20に示す信号機1082の意味すなわちアスペクトを判断することになる。最新技術の画像処理技術を利用して、外部に面するカメラの場面を予め学習させたニューラル・ネットワークまたは人工知能部によって分析し、シグナル・アスペクトおよび業務規定の意味を解読させることができる。ニューラル・ネットワークもしくは人工知能部による解析および/または処理は、この例示的な実施においては、支援事務所(バックオフィス)において行われる。他の実施態様においては、ニューラル・ネットワークまたは人工知能部による解析および/または処理は、資産1048において行われる。シグナル・アスペクト解読の出力が他のセンサ・データと組み合わされて、これにより、この例示的な実施においては、列車同士の衝突が起こりかねない鉄道線路が塞がれる事態によって資産1048が信号指示の大きな違反を犯したかどうか、または信号遵守を達成するために安全とは言えない方法で動作したのかどうかを判断する。資産1048が遵守を行っていないと分かった場合には、鉄道の事業規定をその信号・資産動作と関連付けた後、電子警報がバックオフィスに記憶され、加えて、そのような警報を受信するよう予め登録されたユーザに送出される。その後、これらの警報を、直接データベースを介して、またはウェブサイトのグラフィカルユーザーインターフェイスもしくはユーザに提供されるウェブ・クライアント1042を用いることによって、調べることができる。
さらに、聞き取り可能な警報器を資産1048の運転室に追加することができる。これにより、信号違反が差し迫っているとき、乗員が気を散らしていた場合または軌道障害物、停止信号に注意を払っていない場合、および/または信号によって低速速度制限が課されている区間で資産1048が速度を出している場合といった乗員が早く対応する必要がある差し迫った悪い状況で、乗員に警告することができる。
また、自動信号監視・警報システム1080は、監視すべき資産が信号機を横切る度に信号の意味を判断するよう映像解析を自動的に実行するように、資産が過度な制動力を受けてかつあらかじめ定義された距離内で停止するときは常に信号の意味を判断するよう映像解析を自動的に実行するように、資産が許可されておりシグナル・アスペクトによって決められている速度より速い速度で移動しているかを判断するよう資産速度を監視するように、高度化されている。実際のイベントとユーザおよび/または登録者(サブスクライバ)への電子通知との間の遅延を低減するために、画像解析が資産1048において実行される。自動信号監視・警報システム1080の機能は、ユーザの経験を高めるとともにイベントを調査するのに必要な作業を低減するよう、警報時に内外に向いている映像の自動的なダウンロードを可能とすることにある。また、自動信号監視・警報システム1080の機能には、遵守しない資産1048内にリアルタイムに聞き取り可能な合図を与えて、乗員に、気が散っている場合または他の理由で信号規則および意味に関する安全な動作慣行に従わない場合には、警告することも含まれる。
さらに、自動信号監視・警報システム1080および/または映像解析システム910は、信号(停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等)の緯度・経度座標を含んでいる場所情報を資産所有者から受信することができる。その後、映像解析システム910は、資産所有者から受信した場所情報が正しいか否かを判断する。その場所情報が正しい場合、映像解析システム910は情報を記憶し、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。その場所情報が正しくない場合、映像解析システム910は正しい場所情報を決定して正しい場所情報を資産所有者に報告し、その場所情報を記憶して、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。場所情報の記憶により、停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等の信号の検出がより容易となる。
機内搭載データマネージャ1020はまたキューイング・リポジトリ1058にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャ1020は、データエンコーダ1022から受信される符号化データおよび任意のイベント情報を耐衝撃メモリモジュール1018およびキューイング・リポジトリ1058に記憶する。第八実施形態において、機内搭載データマネージャ1020は、任意選択的に非耐衝撃着脱可能記憶装置に符号化データを記憶することができる。5分間の符号化データがキューイング・リポジトリ1058に蓄積された後、機内搭載データマネージャ1020は、その5分間の符号化データを、データセンタ1050における遠隔データマネージャ1032を通じて遠隔データリポジトリ1030へと、ワイヤレス・ゲートウェイ/ルーター1072を介してアクセスされる無線データリンク1046を通して記憶する。リアルタイムモードにおいて、機内搭載データマネージャ1020は、データエンコーダ1022から受信された符号化データならびに任意のイベント情報を、耐衝撃メモリモジュール1018へと、そして任意選択的に非耐衝撃着脱可能記憶装置にも、そしてまたデータセンタ1050における遠隔データマネージャ1032を通じて遠隔データリポジトリ1030へとワイヤレス・ゲートウェイ/ルーター1072を介してアクセスされる無線データリンク1046を通して、記憶する。遠隔データリポジトリ1030へとデータを複製するプロセスは、資産1048とデータセンタ1050との間の無線データ接続を必要とする。機内搭載データマネージャ1020および遠隔データマネージャ1032は、種々の無線通信リンク(Wi-Fi、携帯電話、人工衛星、ワイヤレス・ゲートウェイ/ルーター1072を利用したプライベート無線システム等)を通して通信することができる。無線データリンク1046は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワークまたはDARS1000のデータレコーダ1054からこの例においてはDARS1000の遠隔データマネージャ1030へとデータを転送する任意の他の手段とすることができる。無線データ接続が利用可能でない場合、無線接続が回復されてデータ複製プロセスが再開できるまで、データはメモリに記憶され、キューイング・リポジトリ1058内のキューに入れられる(キューイング・リポジトリ1058にキュー入力される)。
データ記録と平行して、データレコーダ1054は、連続的かつ自律的に遠隔データリポジトリ1030にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ1030へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ1030へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ1030へと0.10秒毎に複製することによって、高い分解精度データ(ハイ・レゾリューション・データ)に対応させるよう調整することができる。DARS1000が準リアルタイムモードにあるとき、機内搭載データマネージャ1020はデータを、そのデータを遠隔データマネージャ1032へと複製する前には、キューイング・リポジトリ1058にキュー入力しておく。機内搭載データマネージャ1020はまた、キューイング・リポジトリ1058にキュー入力された車両イベント検出器情報を遠隔データマネージャ1032へと複製する。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産1048に搭載される車両イベント検出器1056によって検出される、発生したイベントに基づいて、またはデータセンタ1050から発せられる要求によって、起動することができる。データセンタ1050が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ1052がウェブ・クライアント1042にリアルタイム情報を要求したときに発せられる。資産1048内でリアルタイムモードが発せられる典型的な要因には、車両イベント検出器1056によるイベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ1054への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ1030へとまだ複製されないすべてのデータが遠隔データリポジトリ1030に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ1052がもはや資産1048からのリアルタイム情報を不要とすると、データレコーダ1054は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ1054がリアルタイムモードにあるとき、機内搭載データマネージャ1020は遠隔データマネージャ1032へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール1018へとそして任意選択的に非耐衝撃着脱可能記憶装置へと記憶し、そのデータを同時に遠隔データマネージャ1032へと送信する。機内搭載データマネージャ1020はまた、キューイング・リポジトリ1058にキュー入力された、検出された車両イベント情報を遠隔データマネージャ1032へと送信する。
データレコーダ1054から複製すべきデータを受信すると、地図部1064、経路管理/乗員名簿部1024、および気象部1026からのデータと共に、遠隔データマネージャ1032は、その圧縮されたデータをDARS1000のデータセンタ1050における遠隔データリポジトリ1030へと記憶する。遠隔データリポジトリ1030は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ(復号化器)1036が、遠隔データリポジトリ1030への/からの最新複製データを復号し、そしてその復号されたデータを遠隔イベント検出器1034へと送信するプロセスが開始する。遠隔データマネージャ1032は、車両イベント情報を遠隔データリポジトリ1030に記憶する。遠隔イベント検出器1034が復号化データを受信したとき、その復号化データを処理してその復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産1048で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器1034によって用いられる。復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器1034は、イベント情報と裏付けデータとを遠隔データリポジトリ1030に記憶する。遠隔データマネージャ1032が遠隔イベント検出器1034情報を受信すると、遠隔データマネージャ1032は遠隔データリポジトリ1030内にその情報を記憶する。
遠隔にいるユーザ1052は、車両イベント検出器情報を含む、特定の資産1048または複数の資産に関する情報に、標準的なウェブ・クライアント1042(ウェブ・ブラウザ等)、または本実施においては選択されたカメラからのサムネイル画像を表示できる仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント1042は、情報に対するユーザ1052の要求をウェブサーバ1040にネットワーク1044を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク1044を例えば、インターネットとすることができる。ネットワーク1044をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワークまたはウェブサーバ1040からこの例においてはウェブ・クライアント1042へとデータを転送する任意の他の手段とすることができる。ウェブサーバ1040は、データデコーダ1036からの所望のデータを要求する。データデコーダ1036は、ウェブサーバ1040からの要求に応じて特定の資産1048または複数の資産に関する要求されたデータを遠隔データリポジトリ1030から取得する。データデコーダ1036は、要求されたデータを復号し、その復号化データをローカライザ1038に送信する。ローカライゼーションは、データをエンドユーザが所望するフォーマットへと変換する、例えばデータをユーザの好みの言語および測定単位へと変換するプロセスである。ローカライザ1038は、ウェブ・クライアント1042にアクセスすることによってユーザ1052によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ1052に示すためにウェブ・クライアント1042に送信される情報を未処理の符号化データとして準備し、検出されたイベント情報は遠隔データリポジトリ1030に協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ1038は、復号化データをユーザ1052が所望するフォーマット(ユーザ1052の好みの言語および測定単位等)へと変換する。ローカライザ1038は、ユーザ1052の好みのフォーマットにローカライズされたデータをウェブサーバ1040へと要求に応じて送信する。その後、ウェブサーバ1040は、その資産のまたは複数の資産の視認および分析のためのローカライズされたデータをウェブ・クライアント1042に送信し、標準映像、360度映像および/または他の映像の再生およびリアルタイム表示を提供する。一つの資産のデータ、映像および音声を、または複数の資産のデータ、映像および音声を同時に、ウェブ・クライアント1042は表示することができ、そしてユーザ1052は視聴することができる。資産上の、資産内のもしくは資産近傍の、複数の近くの資産の、および/または複数の遠隔の現場の画像取得(イメージ・メジャリング)ソース、標準映像ソース、360度映像ソースおよび/または他の映像ソースおよび/または測距(レンジ・メジャリング)ソースからの、複数の映像・音声データと同期した再生およびリアルタイム表示を、ウェブ・クライアント1042はまた提供することができる。
図21は、本開示の実現かかる信号遵守を判断するプロセス1100の第一の例示的な実施態様を示すフローチャートである。DARS1000およびカメラ1016が設置され、資産1048の種々のセンサ(アナログ入力1002、デジタル入力1004、I/Oモジュール1006、車両制御器(コントローラ)1008、エンジンコントローラ1010、慣性センサ1012、地球測位システム(GPS)1014、カメラ1016、ポジティブ・トレイン・コントロール(PTC)/信号データ1066、燃料データ1068、携帯電話通信検出器(図示せず)、内部駆動データおよび任意の追加データ信号等)に接続された(1102)後、種々のセンサからの機内データおよび/またはイベント起動型映像ならびに/もしくは静止画像が5分毎にバックオフィスデータセンタ1074へと送信され、カメラ画像が72時間を超える容量で資産1048機内に記憶される(1104)。バックオフィスデータセンタ1074のサービスは、始動条件(トリガ・コンディション)に関してデータを継続的に調べる(スキャンする)(1106)。事象に基づく事業上の論理的始動条件(エピソード・ビジネス・ロジック・トリガ・コンディション)が満たされない場合、ワークフローは取り消され、どの事象に関する出来事(エピソード・イベント)もログ記録されない(1108)。バックオフィスデータセンタ1074に記憶されるすべての信号機の緯度および経度の座標によって判別される軌道信号機1082を資産1048が通過した(1110)とき、および/または資産1048が信号機1082の前のある距離内で停止したが過度の制動力を用いてようやく信号機1082を通過する前に停止できた(1112)とき、バックオフィスデータセンタ1074のサービスは、例示の実施形態における列車車両が列車資産1048における先導、および/または御位置にあるかどうか判断するよう、データを調べる(1114)。列車車両が列車資産1048における先導、および/または御位置にない場合、エピソード・ビジネス・ロジック・トリガ・コンディションは満たされず、ワークフローは取り消され、そしてどのエピソード・イベントもログ記録されない(1108)。列車車両が列車資産1048における先導、および/または御位置にある場合、バックオフィスデータセンタ1074は第一人工知能モデルを用いて、列車車両が列車資産1048における先導、および/または御位置にあるかどうか判断する(1116)。列車車両が列車資産1048における先導、および/または御位置にある場合、バックオフィスデータセンタ1074は、信号機1082を横切る前の短い時間に撮影した、先導、および/または御位置機関車からの映像コンテンツを要求する(1118)。検索された映像コンテンツは、バックオフィスデータセンタ1074に送られかつ/または記憶され、そして第二人工知能モデルに送られる。第二人工知能モデルは、その映像コンテンツを調べて、信号機1082のアスペクト(例えばそれぞれの信号灯の色の組み合わせ)を判断し、信号機1082が停止(STOP)の意味を示しているか判断する(1120)。信号機1082のアスペクトが、資産1048が停止しなければならず信号機1082を通過できないことを示しているかを、バックオフィスデータセンタ1074は判断する(1122)。信号機1082のアスペクトが、資産1048が停止しなければならず信号機1082を通過できないことを示していない場合、エピソード・ビジネス・ロジック・トリガ・コンディションは満たされず、ワークフローは取り消され、どのエピソード・イベントもログ記録されない(1108)。信号機1082のアスペクトが、資産1048が停止しなければならず信号機1082を通過できないことを示している場合、事象(エピソード)が始動し、バックオフィスデータセンタ1074データベースに記憶され、そしてこのような条件があるときに通知されるよう予め決められたユーザへと電子メールが送信される(1124)。
説明の簡単化のために、プロセス1100を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
本願において用いられる、語「または(もしくは)」は、排他的な「または(もしくは)」ではなく包括的な「または(もしくは)」を意味することを意図している。すなわち、特に指定しない限り、または文脈から明らかではない限り、「XはAまたは(もしくは)Bを有する(含む)」は自然な包括的な順列のいずれかを意味する。すなわち、XはAを有する(含む)、XはBを有する(含む)、またはXはAとBの両方を有する(含む)とき、その場合XはAまたは(もしくは)Bを有する(含む)は、先の例のいずれでも成立する。さらに、「Xは、AとBの少なくとも一つを有する(含む)」は、自然な包括的な順列のいずれかを意味する。すなわち、XはAを有する(含む)、XはBを有する(含む)、またはXはAとBの両方を有する(含む)とき、その場合Xは、AとBの少なくとも一つを有する(含む)は、先の例のいずれでも成立する。本願においてそして添付の特許請求の範囲において用いられる冠詞「a」および「an」は、単数表示であることを特に指定しない限りまたは文脈から明らかではない限り、一般的に「一つ以上」を意味する構成と考えるべきである。さらに、全体を通した「実施(an implementation)」または「一の実施(one implementation)」の使用は、同じ実施形態、面または実施を意味することを、そのようには記載しない限り、意図していない。
本開示をいくつかの実施形態に関連して説明したが、本開示は開示した実施形態に限定されず、それとは反対に、添付の特許請求の範囲に記載される請求項の範囲内に含まれる種々の変更および等価な構成に及ぶよう意図されるものであり、その範囲は法の下で認められるそのような変更および等価な構成をすべて包含すべく広義解釈が与えられるべきものであることは理解されよう。

Claims (24)

  1. 少なくとも一の移動資産からのデータを処理するための方法であって、
    前記少なくとも一の移動資産から離れたデータセンタおよび前記少なくとも一の移動資産に搭載されるデータセンタのうちの一方を用いて、少なくとも一のデータ信号に基づくデータを受信する工程であって、前記少なくとも一のデータ信号が、
    前記少なくとも一の移動資産に搭載される少なくとも一のデータソース、および
    前記少なくとも一の移動資産から離れた少なくとも一のデータソース
    のうちの少なくとも一方からのデータ信号である、データを受信する工程と、
    前記データに基づいて、前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方を用いて、少なくとも一の始動条件が検出されたという条件で、前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方の第一人工知能モデルを用いて、前記少なくとも一の移動資産が先導移動資産および制御移動資産のうちの少なくとも一方であることを判断する工程と、
    判断に応答して、前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方を用いて、前記先導移動資産および前記制御移動資産のうちの少なくとも一方から映像コンテンツを取得する工程であって、前記映像コンテンツが、前記少なくとも一の始動条件の前の設定可能な所定時間の間に収集された設定可能な所定量のデータを含んでいる、映像コンテンツを取得する工程と、
    前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方データベースを用いて、前記映像コンテンツを記憶する工程と、
    前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方の第二人工知能モデルを用いて、前記映像コンテンツに基づいて事象を判断する工程と、
    前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データベースのうちの一方を用いて、前記事象を記憶する工程と、
    前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方を用いて、所定の数のユーザへ電子メッセージを送信する工程と、
    を含む方法。
  2. 請求項1に記載の方法であって、
    前記少なくとも一の始動条件は、
    前記データは、前記少なくとも一の移動資産が複数の信号機のうちの一つの信号機を通り過ぎたことを示す条件であって、該一つの信号機は、前記少なくとも一の移動資産に搭載される前記データセンタおよび前記少なくとも一の移動資産から離れた前記データセンタのうちの一方の前記データベースに記憶される前記複数の信号機の緯度ならびに経度の座標によって表される一つの位置を含んでいる条件、
    前記データは、前記少なくとも一の移動資産が前記複数の信号機のうちの一つの信号機の所定の距離内に停止したが、過度な制動力を用いて前記一つの信号機の前記位置の前でようやく停止できた条件、および
    前記データは速度制限を示す条件
    のうちの少なくとも一つを含んでいる方法。
  3. 請求項に記載の方法であって、
    前記少なくとも一の始動条件を含んでいる方法。
  4. 請求項1に記載の方法であって、前記データは、前記少なくとも一の移動資産上の、移動資産内のまたは移動資産近傍の少なくとも一のカメラからのデータ、画像解析、アナログパラメータ、アナログ入力、デジタルパラメータ、デジタル入力、I/Oモジュール、車両制御器、エンジン制御器、慣性センサ、カメラ、ポジティブ・トレイン・コントロール(PTC)/信号データ、燃料データ、携帯電話通信検出器、内部駆動データ、地図データ、速度、圧力、温度、電流、電圧、加速、ブールデータ、スイッチ位置、アクチュエータ位置、警告灯点灯、アクチュエータ・コマンド、地球測位システム(GPS)データ、制動力、自動電子通知、地理情報システム(GIS)データ、位置、速度、高度、内部発生情報、規制速度制限、映像情報、画像情報、音声情報、経路案内、時刻表情報、積み荷目録情報、環境条件情報、現在気象条件、予報気象条件、資産制御状態、動作データ、およびポジティブ・トレイン・コントロール(PTC)によって生成されるデータのうちの少なくとも一つを含んでいる方法。
  5. 請求項1に記載の方法であって、前記データは、前記少なくとも一の移動資産および少なくとも一の近くの資産のうちの少なくとも一方から発せられる方法。
  6. 請求項1に記載の方法であって、前記データは、前記少なくとも一の移動資産から離れた前記データセンタおよび前記少なくとも一の移動資産に搭載される前記データセンタのうちの一方を用いて、少なくとも5分毎に受信される方法。
  7. 請求項1に記載の方法であって、
    前記データは、
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるカメラからの映像情報、
    前記移動資産内、前記移動資産上、ならびに移前記動資産の近傍のうちの少なくとも一つに配置されるカメラからの画像情報、および
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるマイクロホンからの音声情報
    のうちの少なくとも一つを含んでいる方法。
  8. 請求項1に記載の方法であって、
    前記映像コンテンツは、
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるカメラからの映像情報、
    前記移動資産内、前記移動資産上、ならびに移前記動資産の近傍のうちの少なくとも一つに配置されるカメラからの画像情報、および
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるマイクロホンからの音声情報
    のうちの少なくとも一つを含んでいる方法。
  9. 請求項1に記載の方法であって、前記少なくとも一の移動資産に搭載される前記少なくとも一のデータソースは、アナログ入力、デジタル入力、I/Oモジュール、車両制御器、エンジン制御器、慣性センサ、地球測位システム(GPS)、少なくとも一のカメラ、ポジティブ・トレイン・コントロール(PTC)/信号データ、燃料データ、携帯電話通信検出器、および内部駆動データのうちの少なくとも一つを含んでいる方法。
  10. 請求項1に記載の方法であって、前記少なくとも一の移動資産から離れた前記少なくとも一つのデータソースは、経路管理/乗員名簿部、気象部および地図部のうちの少なくとも一つを含んでいる方法。
  11. 請求項1に記載の方法であって、前記少なくとも一の移動資産に搭載される前記少なくとも一のデータソースおよび前記少なくとも一の移動資産から離れた少なくとも一のデータソースのうちの少なくとも一方は、少なくとも一の360度カメラ、少なくとも一の固定カメラ、少なくとも一の狭角カメラ、少なくとも一の広角カメラ、少なくとも一の360度魚眼カメラ、およびレーダならびに光検知測距器(LIDAR)のうちの少なくとも一方、のうちの少なくとも一つを含んでいる方法。
  12. 少なくとも一の移動資産からのデータを処理するためのシステムであって、
    少なくとも一の画像取得装置、少なくとも一の映像取得装置、少なくとも一の測距装置および少なくとも一のマイクロホンのうちの少なくとも一つと、
    前記少なくとも一の画像取得装置、前記少なくとも一つの映像取得装置、前記少なくとも一つの測距装置、前記少なくとも一つのマイクロホン、前記少なくとも一つの移動資産に搭載される少なくとも一のデータソース、および前記少なくとも一の移動資産から離れた少なくとも一のデータソースのうちの少なくとも一つから少なくとも一のデータ信号を受信するよう構成されて、前記少なくとも一つの移動資産に搭載されるデータ記録器と、
    前記少なくとも一のデータ信号に基づいたデータを受信するよう構成される少なくとも一方のデータセンタであって、前記少なくとも一方のデータセンタは、少なくとも一の移動資産に搭載される、および少なくとも一の移動資産から離れた、少なくとも一方のデータセンタと、
    前記少なくとも一方のデータセンタの第一人工知能モデルであって、前記データに基づいて、前記少なくとも一方のデータセンタによって、少なくとも一の始動条件が検出されたという条件で、前記少なくとも一の移動資産が先導移動資産および制御移動資産のうちの少なくとも一方であることを判断するよう構成されている第一人工知能モデルと、
    前記少なくとも一方のデータセンタのデータベースであって、前記第一人工知能モデルによる判断に応答して、前記少なくとも一の画像取得装置、前記少なくとも一の映像取得装置、前記少なくとも一の測距装置、前記少なくとも一のマイクロホン、前記少なくとも一の移動資産に搭載される前記少なくとも一のデータソース、および前記少なくとも一の移動資産から離れた前記少なくとも一のデータソースのうちの少なくとも一つからの映像コンテンツを記憶するよう構成されているデータベースと、
    前記データセンタの第二人工知能モデルであって、前記映像コンテンツに基づいて事象を判断するよう構成されている第二人工知能モデルと、
    を備えるシステム。
  13. 請求項12に記載のシステムであって、
    前記少なくとも一の始動条件は、
    前記データは、前記少なくとも一の移動資産が複数の信号機のうちの一つの信号機を通り過ぎたことを示す条件であって、該一つの信号機は、前記データセンタの前記少なくとも一のデータベースに記憶される前記複数の信号機の緯度ならびに経度の座標によって表される一つの位置を含んでいる条件、
    前記データは、前記少なくとも一の移動資産が前記複数の信号機のうちの一つの信号機の所定の距離内に停止したが、過度な制動力を用いて前記一つの信号機の前記位置の前でようやく停止できた条件、および
    前記データは速度制限を示す条件
    のうちの少なくとも一つを含んでいるシステム。
  14. 請求項13に記載のシステムであって、
    前記少なくとも一の始動条件を含んでいるシステム。
  15. 請求項12に記載のシステムであって、前記少なくとも一の画像取得装置は、少なくとも一の360度カメラ、少なくとも一の固定カメラ、少なくとも一の狭角カメラ、少なくとも一の広角カメラ、および少なくとも一の360度魚眼カメラのうちの少なくとも一つを含んでいるシステム。
  16. 請求項12に記載のシステムであって、前記測距装置は、レーダおよび光検知測距器(LIDAR)のうちの少なくとも一方を備えているシステム。
  17. 請求項12に記載のシステムであって、
    前記データは、前記少なくとも一の移動資産上の、移動資産内のまたは移動資産近傍の少なくとも一のカメラからのデータ、画像解析、アナログパラメータ、アナログ入力、デジタルパラメータ、デジタル入力、I/Oモジュール、車両制御器、エンジン制御器、慣性センサ、カメラ、ポジティブ・トレイン・コントロール(PTC)/信号データ、燃料データ、携帯電話通信検出器、内部駆動データ、地図データ、速度、圧力、温度、電流、電圧、加速、ブールデータ、スイッチ位置、アクチュエータ位置、警告灯点灯、アクチュエータ・コマンド、地球測位システム(GPS)データ、制動力、自動電子通知、地理情報システム(GIS)データ、位置、速度、高度、内部発生情報、規制速度制限、映像情報、画像情報、音声情報、経路案内、時刻表情報、積み荷目録情報、環境条件情報、現在気象条件、予報気象条件、資産制御状態、動作データ、およびポジティブ・トレイン・コントロール(PTC)によって生成されるデータのうちの少なくとも一つを含んでいるシステム。
  18. 請求項12に記載のシステムであって、前記データは、前記少なくとも一の移動資産および少なくとも一の近くの資産のうちの少なくとも一方から発せられるシステム。
  19. 請求項12に記載のシステムであって、
    前記データは、
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるカメラからの映像情報、
    前記移動資産内、前記移動資産上、ならびに移前記動資産の近傍のうちの少なくとも一つに配置されるカメラからの画像情報、および
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるマイクロホンからの音声情報
    のうちの少なくとも一つを含んでいるシステム。
  20. 請求項12に記載のシステムであって、
    前記映像コンテンツは、
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるカメラからの映像情報、
    前記移動資産内、前記移動資産上、ならびに移前記動資産の近傍のうちの少なくとも一つに配置されるカメラからの画像情報、および
    前記移動資産内、前記移動資産上、ならびに前記移動資産の近傍のうちの少なくとも一つに配置されるマイクロホンからの音声情報
    のうちの少なくとも一つを含んでいるシステム。
  21. 請求項12に記載のシステムであって、前記少なくとも一の移動資産に搭載される前記少なくとも一のデータソースは、アナログ入力、デジタル入力、I/Oモジュール、車両制御器、エンジン制御器、慣性センサ、地球測位システム(GPS)、少なくとも一のカメラ、ポジティブ・トレイン・コントロール(PTC)/信号データ、燃料データ、携帯電話通信検出器、および内部駆動データのうちの少なくとも一つを含んでいるシステム。
  22. 請求項12に記載のシステムであって、前記少なくとも一の移動資産から離れた前記少なくとも一つのデータソースは、経路管理/乗員名簿部、気象部および地図部のうちの少なくとも一つを含んでいるシステム。
  23. 請求項1の方法であって、さらに、前記事象が検出されたという条件で、前記少なくとも一の移動資産において聞き取り可能な警報を発する工程を含んでいる方法。
  24. 請求項12のシステムであって、さらに、前記事象が検出されたという条件で、音を発生するよう構成される聞き取り可能な警報器を備えているシステム。
JP2021558640A 2019-03-29 2020-03-29 自動信号遵守監視・警報システム Active JP7455139B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962825943P 2019-03-29 2019-03-29
US62/825,943 2019-03-29
US201962829730P 2019-04-05 2019-04-05
US62/829,730 2019-04-05
US16/833,590 2020-03-28
US16/833,590 US11731672B2 (en) 2019-03-29 2020-03-28 Automated signal compliance monitoring and alerting system
PCT/US2020/025609 WO2020205684A1 (en) 2019-03-29 2020-03-29 Automated signal compliance monitoring and alerting system

Publications (2)

Publication Number Publication Date
JP2022531834A JP2022531834A (ja) 2022-07-12
JP7455139B2 true JP7455139B2 (ja) 2024-03-25

Family

ID=72607699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558640A Active JP7455139B2 (ja) 2019-03-29 2020-03-29 自動信号遵守監視・警報システム

Country Status (12)

Country Link
US (1) US11731672B2 (ja)
EP (1) EP3948807A4 (ja)
JP (1) JP7455139B2 (ja)
KR (1) KR20210149105A (ja)
CN (1) CN113874921B (ja)
AU (3) AU2020253312A1 (ja)
BR (1) BR112021019490A2 (ja)
CA (1) CA3135184A1 (ja)
CL (1) CL2021002531A1 (ja)
MX (1) MX2021011475A (ja)
PE (1) PE20211982A1 (ja)
WO (1) WO2020205684A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11208130B2 (en) * 2018-11-30 2021-12-28 Westinghouse Air Brake Technologies Corporation Method and apparatus to improve unmonitored switch position reporting
EP3753801A1 (en) * 2019-06-17 2020-12-23 Mitsubishi Heavy Industries, Ltd. Surveillance system for an infrastructure and/or a vehicle with event detection
US11695851B2 (en) * 2020-06-03 2023-07-04 Micron Technology, Inc. Gateway for vehicle with caching buffer for distributed storage system
US11785424B1 (en) 2021-06-28 2023-10-10 Wm Intellectual Property Holdings, L.L.C. System and method for asset tracking for waste and recycling containers
US20230146698A1 (en) * 2021-11-08 2023-05-11 Raytheon Company Context-aware, intelligent beaconing
US11861509B2 (en) 2022-04-14 2024-01-02 Bnsf Railway Company Automated positive train control event data extraction and analysis engine for performing root cause analysis of unstructured data
US11541919B1 (en) * 2022-04-14 2023-01-03 Bnsf Railway Company Automated positive train control event data extraction and analysis engine and method therefor
WO2023200597A1 (en) * 2022-04-14 2023-10-19 Bnsf Railway Company Automated positive train control event data extraction and analysis engine for performing root cause analysis of unstructured data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170327138A1 (en) 2016-05-16 2017-11-16 Wi-Tronix, Llc Video Content Analysis System and Method for Transportation System
WO2018080650A2 (en) 2016-10-25 2018-05-03 725-1 Corporation Video-based data collection, image capture and analysis configuration

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10308265B2 (en) 2006-03-20 2019-06-04 Ge Global Sourcing Llc Vehicle control system and method
US20030222981A1 (en) 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
US11208129B2 (en) * 2002-06-04 2021-12-28 Transportation Ip Holdings, Llc Vehicle control system and method
AU2004100077A4 (en) 2003-02-10 2004-03-11 Damjanovski, Vlado Mr Information Recording System
JP4726586B2 (ja) 2005-09-20 2011-07-20 鈴木 旭 自動車用ドライブレコーダ
US20130150004A1 (en) 2006-08-11 2013-06-13 Michael Rosen Method and apparatus for reducing mobile phone usage while driving
US11148692B2 (en) * 2012-09-20 2021-10-19 Westinghouse Air Brake Technologies Corporation Alerting system and method
EP3044989B1 (en) 2013-09-10 2020-12-30 WI-Tronix, LLC Mobile asset cellular device transmission detection method
EP3125477B1 (en) 2014-04-21 2020-08-26 Huawei Technologies Co., Ltd. Message transmission method and device and communication system
US20160150195A1 (en) * 2014-11-25 2016-05-26 Gulfstream Aerospace Corporation Methods and systems for monitoring, recording and/or reporting incidents in proximity of an aircraft
CA2997937C (en) 2015-09-14 2018-09-04 Cobra Electronics Corporation Vehicle camera system
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US9934623B2 (en) 2016-05-16 2018-04-03 Wi-Tronix Llc Real-time data acquisition and recording system
US10559196B2 (en) * 2017-10-20 2020-02-11 Zendrive, Inc. Method and system for vehicular-related communications
JP6913649B2 (ja) * 2018-03-09 2021-08-04 株式会社東芝 電子装置、車上装置及び無線通信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170327138A1 (en) 2016-05-16 2017-11-16 Wi-Tronix, Llc Video Content Analysis System and Method for Transportation System
WO2018080650A2 (en) 2016-10-25 2018-05-03 725-1 Corporation Video-based data collection, image capture and analysis configuration

Also Published As

Publication number Publication date
MX2021011475A (es) 2022-01-31
WO2020205684A1 (en) 2020-10-08
US11731672B2 (en) 2023-08-22
AU2023237129A1 (en) 2023-10-19
BR112021019490A2 (pt) 2021-11-30
PE20211982A1 (es) 2021-10-07
CA3135184A1 (en) 2020-10-08
EP3948807A1 (en) 2022-02-09
CN113874921B (zh) 2024-02-23
KR20210149105A (ko) 2021-12-08
AU2023204369A1 (en) 2023-08-03
CL2021002531A1 (es) 2022-05-13
CN113874921A (zh) 2021-12-31
US20200307614A1 (en) 2020-10-01
EP3948807A4 (en) 2023-01-04
AU2020253312A1 (en) 2021-10-21
JP2022531834A (ja) 2022-07-12

Similar Documents

Publication Publication Date Title
JP7455139B2 (ja) 自動信号遵守監視・警報システム
CN109476329B (zh) 用于运输系统的视频内容分析系统及方法
JP7419266B2 (ja) 実時間データ取得・記録・データ共有システム
US20220148348A1 (en) Connected Diagnostic System and Method
US20220044183A1 (en) Engineer recertification assistant
RU2812263C2 (ru) Система автоматизированного мониторинга соответствия сигналов и аварийного оповещения
RU2786372C2 (ru) Система совместного использования данных для получения и записи данных в реальном времени
EP3803607A1 (en) Real-time data acquisition and recording data sharing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240312

R150 Certificate of patent or registration of utility model

Ref document number: 7455139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150