ここに記載される実時間(リアルタイム)データ取得・記録システムの第一実施形態では、高価値資産と関係する広範囲なデータ(イベント・動作データ、映像(ビデオ)データおよび音声(オーディオ)データ等)へのリアルタイムなアクセス(ソフトウェア的な接続)あるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータ(運転者/作業者)および調査者等)に提供する。データ取得・記録システムは、資産に関係するデータを、データ記録器(レコーダ)を介して記録し、そのデータを遠隔データ保管器(リポジトリ)および遠隔にいるユーザへと偶発的事象(インシデント)の発生前、発生中、そして発生後に絶え間なく送る(ストリーム送信する)。データは少なくともインシデントまたは緊急事態の時間までの入手可能であった情報を形成するよう遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくし、特定のデータのダウンロードを要求するために資産上のデータレコーダと連係し、ファイルを特定・転送し、そしてデータを閲覧するために特定用途向けの応用ソフト(カスタムアプリケーション)を用いる必要性をなくす。本開示のシステムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へとインシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。大部分の状況において、データレコーダに記録された情報は冗長であり、データがすでに取得され遠隔データリポジトリに記憶されたときには必要ではなくなる。
本開示のシステムの以前には、インシデントが発生して調査が必要となった後に、データが、「ブラックボックス」または「イベント・レコーダ」から抽出されていた。「ブラックボックス」によって記録された時間セグメントを含んでいるデータファイルを「ブラックボックス」からダウンロードして取り出し、それから独自開発のソフトウェアを有するユーザがデータファイルを視認しなければならなかった。ユーザは、資産への物理的または遠隔アクセスを取得し、「ブラックボックス」からダウンロードすべき所望のデータを選択し、所望の情報を含んでいるファイルを計算デバイスへとダウンロードし、計算デバイス上で動作するカスタムアプリケーションを用いて所望のデータを有する適切なファイルを特定しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは、所望のデータへと移動(ナビゲート)するために汎用ウェブ・ブラウザを用いることだけである。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
遠隔にいるユーザ(資産所有者、オペレータおよび/または調査者)は、選択された資産に関する実況の(ライブの)/およびまたは履歴上の所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに、資産の動作効率と安全性を視認して分析することができる。リアルタイムにまたはほぼリアルタイムに動作を視認する機能によって、ビヘイビア(行動/挙動)の迅速な評価および調整が可能となる。インシデントの際に、例えば、リアルタイム情報および/またはデータは、状況に対する優先順位付与に役立ち、第一対応者たちに有益な情報を提供することができる。通常動作の際には、例えば、準リアルタイム情報および/またはデータを、乗員の働きの監督や、ネットワークに亘る広い状況認識の支援のために、用いることができる。
データには、限定するものではないが、資産からおよび/または資産近傍から得られるアナログ・周期的パラメータ(速度、圧力、温度、電流、電圧および加速度等)と、論理(ブール)データ(スイッチ位置、アクチュエータ位置、警告灯照明および作動器命令(アクチュエータ・コマンド)等)と、地球測位システム(GPS)データおよび/または地理情報システム(GIS)データ(位置、速度および高度等)と、内部発生情報(資産に対してその現在位置に決められた規制速度制限等)と、資産内、資産上または資産の近傍において種々の場所に配置されるカメラからの映像・画像情報と、資産内、資産上または資産の近傍において種々の場所に配置されるマイクロホンからの音声情報と、データセンタから資産に送信される資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録情報等)と、資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象条件を含む)に関する情報と、システムによって生成される資産制御状態および動作データ(機関車におけるポジティブ・トレイン・コントロール(PTC)等)と、限定するものではないが追加のデータ・映像・音声分析・解析を含む上記のもののうちのある組み合わせから得られるデータと、を含めることができる。
図1および図2は、本開示の二つの面を実現できる第一実施形態および第二実施形態の実際的な実施のそれぞれの、例示的なリアルタイム・データ取得・記録システム(data acquisition and recording system (DARS))100,200を示す。DARS100,200は、遠隔にいるエンドユーザに、データ記録デバイスからリアルタイム情報を送出するシステムである。車両または移動資産148,248に設置され、機内搭載有線および/または無線(ワイヤレス)データリンク170,270(ワイヤレス・ゲートウェイ/ルーター等)や、DARS100,200のデータセンタ150,250を通じたデータリンク(無線データリンク146等)を介した搭載されていない情報源(ソース)、の任意の組み合わせを通じて、任意の数の種々の情報源と通信するデータレコーダ154,254を、DARS100,200は有する。データレコーダ154,254は、機内搭載データ管理器(マネージャ)120,220と、データエンコーダ122,222と、車両イベント検出器156,256と、キュー入力保管器(キューイング・リポジトリ)158,258と、ワイヤレス・ゲートウェイ/ルーター172,272と、を備える。さらに、この実施においては、データレコーダ154,254は、耐衝撃メモリモジュール(クラッシュ・ハーデンド・メモリモジュール)118,218、および/またはパワー・オーバー・イーサネット(POE)を有するもしくは有さないイーサネット・スイッチ162,262を有することができる。例示的な耐性メモリモジュール(ハーデンド・メモリモジュール)118,218は、例えば、連邦規則集(Code of Federal Regulations)および連邦鉄道局規則(Federal Railroad Administration regulations)に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則(Federal Aviation Administration regulations)に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。図2に示す第二実施形態においては、データレコーダ254はさらに、任意選択的な非耐衝撃着脱可能記憶装置(ノンクラッシュ・ハーデンド・リムーバブル・ストレージ・デバイス)219を有することができる。
有線データリンクおよび/または無線データリンク170,270は、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。イーサネット接続デバイスは、データレコーダ154,254のイーサネット・スイッチ162,262を利用することができ、またPOEを利用することができる。イーサネット・スイッチ162,262を内部または外部のスイッチとすることができ、POEに対応させることができる。加えて、遠隔データ源(ソース)(図1および図2の実施における、地図部(コンポーネント)164,264、経路管理/乗員名簿部(ルート/クルー・マニフェスト・コンポーネント)124,224、および気象部126,226等)からのデータは、データセンタ150,250から無線データリンク146,246とワイヤレス・ゲートウェイ/ルーター172,272を介して、機内搭載データマネージャ120,220と車両イベント検出器156,256とにおいて入手可能である。
データレコーダ154,254は、資産の構成に応じて様々に変更しうる広範囲な種々のソースからデータまたは情報を、機内搭載データリンク170,270を介して収集する。データ符号化器(エンコーダ)122,222は、一般に規制機関(regulatory agency)によって決められる、少なくとも最小セットのデータを符号化する。本実施において、データエンコーダ122,222は、広範囲な種々の資産148,248ソースと、データセンタ150,250ソースからデータを受信する。情報ソースには、資産148,248における任意の数のコンポーネント(アナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両制御器(コントローラ)108,208、エンジンコントローラ110,210、慣性センサ112,212、地球測位システム(GPS)114,214、カメラ116,216、ポジティブ・トレイン・コントロール(PTC)/信号データ166,266、燃料データ168,268、携帯電話送信検出器(図示せず)、内部駆動データおよび任意の追加データ信号等)と、データセンタ150,250における任意の数のコンポーネント(経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、および任意の追加データ信号)と、を含めることができる。データエンコーダ122,222はデータを圧縮しまたは符号化し、データを時間同期させて、遠隔データリポジトリ130,230への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ122,222は、機内搭載データマネージャ120,220に符号化されたデータを送信し、そして機内搭載データマネージャ120,220は、耐衝撃メモリモジュール118,218およびキューイング・リポジトリ158,258に符号化データを保存し、データセンタ150,250に配置される遠隔データマネージャ132,232を介して、遠隔データリポジトリ130,230へと複製する。任意選択的に、機内搭載データマネージャ120,220は、図2に示す第二実施形態の非耐衝撃着脱可能記憶装置219に符号化データの第三のコピーを保存することができる。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、データ複製プロセスを管理するよう協働することができる。データセンタ150,250における一つの遠隔データマネージャ132,232は、複数の資産148,248からのデータの複製を管理することができる。
各種入力部からのデータおよび運転室(インキャブ)オーディオ/グラフィックユーザインタフェース(GUI)160,260からのデータは、車両イベント検出器156,256へ送信される。車両イベント検出器156,256は、データを処理して、資産148,248に関わるイベント、インシデントまたは他の所定の状況が発生したか否かを判断する。車両イベント検出器156,256が、所定のイベントが発生したことを示す信号を検出したとき、車両イベント検出器156,256は所定のイベントが発生したことを示す処理データを、その所定のイベントの周辺の裏付けデータとともに、機内搭載データマネージャ120,220へと送信する。車両イベント検出器156,256は、広範囲な種々のソース(資産の構成に応じて変更しうる、アナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両コントローラ108,208、エンジンコントローラ110,210、慣性センサ112,212、GPS114,214、カメラ116,216、経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、PTC/信号データ166,266、燃料データ168,268等)からのデータに基づいてイベントを検出する。車両イベント検出器156,256がイベントを検出したとき、検出された資産イベント情報は、キューイング・リポジトリ158,258に記憶され、また任意選択的に、インキャブ・オーディオ/グラフィカルユーザーインターフェイス(GUI)160,260を通じて、資産148,248の乗員に知らせることができる。
機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信される符号化データ、および任意のイベント情報を、耐衝撃メモリモジュール118,218、およびキューイング・リポジトリ158,258に記憶する。図2の第二実施形態において、機内搭載データマネージャ220は、任意選択的に非耐衝撃着脱可能記憶装置219に符号化データを記憶することができる。5分間の符号化データがキューイング・リポジトリ158,258に蓄積された後、機内搭載データマネージャ120,220は、その5分間の符号化データを、データセンタ150,250における遠隔データマネージャ132,232を通じて、遠隔データリポジトリ130,230へと、ワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,246を通して記憶する。リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信された符号化データならびに任意のイベント情報を、耐衝撃メモリモジュール118,218へと、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219にも、そしてまたデータセンタ150,250における遠隔データマネージャ132,232を通じて遠隔データリポジトリ130,230へと、ワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,246を通して、記憶する。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、種々の無線通信リンク(Wi-Fi、携帯電話、人工衛星、ワイヤレス・ゲートウェイ/ルーター172,272を利用したプライベート無線システム等)を通して通信することができる。無線データリンク146,246は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワーク、またはDARS100,200のデータレコーダ154,254から、この例においてはDARS100,200の遠隔データマネージャ130,230へとデータを転送する任意の他の手段、とすることができる。無線データ接続が利用可能でない場合、無線接続が回復されてデータ複製プロセスが再開できるまで、データはメモリに記憶され、キューイング・リポジトリ158,258内のキューに入れられる(キューイング・リポジトリ158,258にキュー入力される)。
データ記録と平行して、データレコーダ154,254は、連続的かつ自律的に遠隔データリポジトリ130,230にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は、設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ130,230へと0.10秒毎に複製することによって、高い分解精度データ(ハイ・レゾリューション・データ)に対応させるよう調整することができる。DARS100,200が準リアルタイムモードにあるとき、機内搭載データマネージャ120,220はデータを、そのデータを遠隔データマネージャ132,232へと複製する前には、キューイング・リポジトリ158,258にキュー入力しておく。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された車両イベント検出器情報を、遠隔データマネージャ132,232へと複製する。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産148,248に搭載される車両イベント検出器156,256によって検出される機中で発生したイベントに基づいて、またはデータセンタ150,250から発せられる要求によって、起動することができる。データセンタ150,250が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ152,252がウェブ・クライアント142,242にリアルタイム情報を要求したときに発せられる。資産148,248機中でリアルタイムモードが発せられる典型的な要因には、車両イベント検出器156,256によるイベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ154,254への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ130,230へとまだ複製されないすべてのデータが遠隔データリポジトリ130,230に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は、典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ152,252がもはや資産148,248からのリアルタイム情報を不要とすると、データレコーダ154,254は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ154,254がリアルタイムモードにあるとき、機内搭載データマネージャ120,220は遠隔データマネージャ132,232へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール118,218へと、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと記憶し、そのデータを同時に遠隔データマネージャ132,232へと送信する。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された、検出された車両イベント情報を遠隔データマネージャ132,232へと送信する。
データレコーダ154,254から複製すべきデータを受信すると、地図部164,264、経路管理/乗員名簿部124,224、および気象部126,226からのデータと共に、遠隔データマネージャ132,232は、その圧縮されたデータをDARS100,200のデータセンタ150,250における遠隔データリポジトリ130,230へと記憶する。遠隔データリポジトリ130,230は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ(復号化器)136,236が、遠隔データリポジトリ130,230への/からの最新複製データを復号し、そしてその復号されたデータを遠隔イベント検出器134,234へと送信するプロセスが開始する。遠隔データマネージャ132,232は、車両イベント情報を遠隔データリポジトリ130,230に記憶する。遠隔イベント検出器134,234が復号化データを受信したとき、その復号化データを処理して、その復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産148,248で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器134,234によって用いられる。復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器134,234は、イベント情報と裏付けデータとを、遠隔データリポジトリ130,230に記憶する。遠隔データマネージャ132,232が遠隔イベント検出器134,234情報を受信すると、遠隔データマネージャ132,232は遠隔データリポジトリ130,230内にその情報を記憶する。
遠隔にいるユーザ152,252は、車両イベント検出器情報を含む、特定の資産148,248または複数の資産に関する情報に、標準的なウェブ・クライアント142,242(ウェブ・ブラウザ等)、または本実施においては選択されたカメラからのサムネイル画像を表示できる仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント142,242は、情報に対するユーザ152,252の要求を、ウェブサーバ140,240にネットワーク144,244を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク144,244を例えば、インターネットとすることができる。ネットワーク144,244をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワーク、またはウェブサーバ140,240からこの例においてはウェブ・クライアント142,242へとデータを転送する任意の他の手段、とすることができる。ウェブサーバ140,240は、データデコーダ136,236からの所望のデータを要求する。データデコーダ136,236は、ウェブサーバ140,240からの要求に応じて、特定の資産148,248または複数の資産に関する要求されたデータを、遠隔データリポジトリ130,230から取得する。データデコーダ136,236は、要求されたデータを復号し、その復号化データを現地化器(ローカライザ)138,238に送信する。現地化(ローカライゼーション)は、データをエンドユーザが所望するフォーマットへと変換する、例えばデータをユーザの好みの言語および測定単位へと変換するプロセスである。ローカライザ138,238は、ウェブ・クライアント142,242にアクセスすることによって、ユーザ152,252によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ152,252に示すためにウェブ・クライアント142,242に送信される情報を、未処理の符号化データとして準備し、検出されたイベント情報は、遠隔データリポジトリ130,230に、協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ138,238は、復号化データをユーザ152,252が所望するフォーマット(ユーザ152,252の好みの言語および測定単位等)へと変換する。ローカライザ138,238は、ユーザ152,252の好みのフォーマットに現地化されたデータを、ウェブサーバ140,240へと要求に応じて送信する。その後、ウェブサーバ140,240は、その資産のまたは複数の資産の視認および分析のための現地化されたデータを、ウェブ・クライアント142,242に送信し、標準映像および360度映像の再生およびリアルタイム表示を提供する。一つの資産のデータ、映像および音声を、または複数の資産のデータ、映像および音声を同時に、ウェブ・クライアント142,242は表示することができ、そしてユーザ152,252は視聴することができる。資産上の、資産内のもしくは資産近傍の、複数の資産の近くの、および/または複数の遠隔の現場の標準映像ソースと360度映像ソースとの両方からの、複数の映像・音声データと同期した再生およびリアルタイム表示を、ウェブ・クライアント142,242はまた提供することができる。
図3は、本開示の実施にかかる資産148,248からのデータおよび/または情報を記録するプロセス300を示すフロー図である。データレコーダ154,254は、資産148,248およびデータセンタ150,250からの物理的または計算データ要素(速度、緯度座標、経度座標、ホーン検出、スロットル位置、気象データ、地図データ、または、経路および/または乗員データ等)を含むデータ信号を、各種入力部から受信する(302)。データエンコーダ122,222は、データ信号情報を構成し記録するために用いられる、一連の構造化されたビットを有する記録(レコード)を生成する(304)。その後、符号化されたレコードは、一連のレコードを時系列順に、5分間までのデータを含む記録(レコード)ブロックへと順次結合する、機内搭載データマネージャ120,220に送信される(306)。暫定レコードブロックは5分間未満のデータを含み、一方で完全(フル)レコードブロックは5分間全体のデータを含む。それぞれのレコードブロックは、そのデータに含まれる信号を完全に復号するのに必要な、データ完全性チェックを含む、すべてのデータを有する。最小限でも、レコードブロックは、開始(スタート)レコードで始まり、終了(エンド)レコードで終わらなければならない。
符号化された信号データがすべて耐衝撃メモリモジュール118へと、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと、確実に保存されるために、データレコーダ154,254が電力を喪失した場合または衝突もしくは他の天変地異イベントにより極度に高い/低い温度や極度に大きい機械的応力(ストレス)を受けた場合、機内搭載データマネージャ120,220は、暫定レコードブロックを耐衝撃メモリモジュール118に所定のレートで記憶し(308)、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219へと記憶する。この場合、例示的な表現である図5に示す所定のレートは、設定可能でかつ/または変更可能である。暫定レコードブロックは、少なくとも毎秒一回保存されるが、また10分の1秒毎に一回の頻度で保存することもできる。暫定レコードブロックが保存されるレートは、それぞれの信号のサンプリングレートによって決まる。各暫定レコードブロックは、最後の完全なレコードブロック以降の完全な一セットのレコードを含む。データレコーダ154,254は、各暫定レコードブロックを記録するとき、耐衝撃メモリモジュール118,218における、そして任意選択的に図2の非耐衝撃着脱可能記憶装置219における、二つの一時的記憶域(テンポラリ・ストレージ・ロケーション)間で場所を交互に替えることができ、これにより、耐衝撃メモリモジュール118,218、または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219へとデータを記憶している際に、データレコーダ154,254が電力を喪失した場合に1秒を超える分のデータの破損または損失を防止することができる。新しい暫定レコードブロックが一時的耐衝撃メモリ域(テンポラリ・クラッシュ・ハーデンド・メモリ・ロケーション)に保存される度に、その域(ロケーション)に既にある以前に記憶された暫定レコードブロックは上書きされることになる。
本実施においては、5分毎に、データレコーダ154,254が準リアルタイムモードにある場合、機内搭載データマネージャ120,220は、最後の5分間の符号化された信号データを含んでいる完全レコードブロックを、図7に示す耐衝撃メモリモジュール118,218における記録(レコード)部分(セグメント)に記憶し、そして完全レコードブロックのコピーを遠隔データマネージャ132,232へと送信し、遠隔データリポジトリ130,230に所定の保持期間(例えば2年)記憶する(310)。耐衝撃メモリモジュール118,218、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219は、直近のレコードブロックのレコードセグメントを法令で定められた記憶時間記憶する。この法令で定められた記憶時間は、本実施において、データレコーダ154,254は動作データまたは映像データを耐衝撃メモリモジュール118,218に追加の24時間バッファで記憶しなければならないという連邦が法令で定めた時間であり、追加の24時間バッファのレコードセグメントはその後上書きされる。
図4は、本開示の実施にかかる、停電後に資産148,248からのデータおよび/または情報を追加するプロセス400を示すフロー図である。電力が回復されれば、データレコーダ154,254は、二つの一時的耐衝撃メモリ域の一方に記憶された最後の暫定レコードブロックを認識し(402)、すべてのレコードブロックの終了レコードに含まれる32ビットの周期冗長検査(サイクリックリダンダンシーチェック)を用いて、最後の暫定レコードブロックの有効性を確認する(404)。その後、有効性が確認された暫定レコードブロックは、耐衝撃メモリ・レコード・セグメントに追加され、そのレコードセグメントは、電力喪失前の5分間までのデータを含んでいる可能性があり、遠隔データマネージャ132,232へと送信されて、保持期間記憶される(406)。符号化された信号データは、耐衝撃メモリモジュール118,218で、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219で、法令で定められた記憶保持時間分の環状バッファ(サーキュラーバッファ)に記憶される。耐衝撃メモリ・レコード・セグメントは複数のレコードブロックへと分割されているので、メモリ空間を空ける必要がある場合、完全レコードブロックが耐衝撃メモリモジュール118,218、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219に保存される度に、データレコーダ154,254はより古いレコードブロックを削除する。
図6は、データレコーダ154,254への電力喪失の前および電力回復後の例示的な暫定レコードブロックを示す図である。(2/1/2016(午前10:10:08))における一時的場所(テンポラリ・ロケーション)2に記憶された暫定レコードブロック602の有効性が確認されたとき、その暫定レコードブロックは、耐衝撃メモリモジュール118,218、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219、におけるレコードセグメント702(図7)に、図7に示す通り、追加される。(2/1/2016(午前10:10:08))における一時的場所(テンポラリ・ロケーション)2に記憶された暫定レコードブロックが無効であったとき、(2/1/2016(午前10:10:07))における一時的場所1内の暫定レコードブロックの有効性が確認され、有効であった場合、耐衝撃メモリモジュール118,218、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219、におけるレコードセグメントに追加される。
いかなるレコードブロックであっても耐衝撃メモリモジュール118,218に、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219に、保存する必要がある場合は必ず、レコードセグメントはディスクへと直ちに強制的に書き込まれる(フラッシュされる)。暫定レコードブロックを保存するとき、データレコーダ154,254が二つの異なる一時的記憶場所間で場所を交互に替えるので、変更を受けていない、または耐衝撃メモリまたは非耐衝撃着脱可能記憶装置へのフラッシュを受けていない、一時的記憶場所が常に一つあり、したがって、一時的記憶場所に記憶される二つの暫定レコードブロックのうちの少なくとも一方は有効であることが保証され、そしてまたデータレコーダ154,254が電力を喪失した場合であっても必ず、データレコーダ154,254は多くても1秒を超える分のデータを失うことはないことが保証される。同様に、10分の1秒毎に、データレコーダ154,254が耐衝撃メモリモジュール118,218に、および/または図2のデータレコーダ254の任意選択的な非耐衝撃着脱可能記憶装置219に、データを書き込んでいる場合、データレコーダ154,254が電力を喪失した場合であっても必ず、データレコーダ154,254は多くても10分の1秒を超える分のデータを失うことはない。
説明の簡単化のために、プロセス300およびプロセス400を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
ここに記載される実時間データ取得・記録システムおよびビューアの第三実施形態では、高価値資産の広範囲なデータ(イベント・動作データ、映像データおよび音声データ等)へのリアルタイムなアクセスあるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータおよび調査者等)に提供する。データ取得・記録システムは、資産に関係するデータを、データレコーダを介して記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへと、インシデントの発生前、発生中、そして発生後にストリーム送信する。データは少なくともインシデントまたは緊急事態の時間までの入手可能な情報を形成するよう、遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために、「ブラックボックス」を特定しダウンロードする必要性を事実上なくし、特定のデータのダウンロードを要求するために資産上のデータレコーダと連係し、ファイルを特定・転送し、そしてデータを視認するためにカスタムアプリケーションを用いる必要性をなくす。本開示のシステムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へとインシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。大部分の状況において、データレコーダに記録された情報は冗長であり、データがすでに取得され遠隔データリポジトリに記憶されたときには必要ではなくなる。
本開示のシステムの以前には、インシデントが発生して調査が必要となった後に、データが、「ブラックボックス」または「イベント・レコーダ」から抽出されていた。「ブラックボックス」によって記録された時間セグメントを含んでいるデータファイルを、「ブラックボックス」からダウンロードして取り出し、それから独自開発のソフトウェアを有するユーザが、データファイルを視認しなければならなかった。ユーザは、資産への物理的または遠隔アクセスを取得し、「ブラックボックス」からダウンロードすべき所望のデータを選択し、所望の情報を含んでいるファイルを計算デバイスへとダウンロードし、計算デバイス上で動作するカスタムアプリケーションを用いて所望のデータを有する適切なファイルを特定しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは所望のデータへと移動(ナビゲート)するために、汎用ウェブ・ブラウザを用いることだけである。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
遠隔にいるユーザ(資産所有者、オペレータおよび/または調査者)は、選択された資産に関する実況の(ライブの)/およびまたは履歴上の所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。リアルタイムにまたはほぼリアルタイムに動作を視認する機能によって、行動/挙動の迅速な評価および調整が可能となる。インシデントの際に、例えば、リアルタイム情報および/またはデータは、状況に対する優先順位付与に役立ち、第一対応者たちに有益な情報を提供することができる。通常動作の際には、例えば、準リアルタイム情報および/またはデータを、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。
第三実施形態のリアルタイム・データ取得・記録システムは、移動資産内の、移動資産上のもしくは移動資産近傍の画像測定デバイス、映像測定デバイス、および測距デバイスのうちの少なくとも一つまたは任意の組み合わせを、データ取得・記録システムの一部として用いる。画像測定デバイスおよび/または映像測定デバイスには、限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラが含まれる。測距デバイスには、限定するものではないが、レーダーおよび光検知測距(「LIDAR」)が含まれる。LIDARは、対象にパルスレーザ光を照射してセンサで反射パルスを測定することによって、対象までの距離を測定する測量方法である。本開示のシステム以前には、「ブラックボックス」および/または「イベント・レコーダ」は、移動資産内の、移動資産上のもしくは移動資産近傍に、360度カメラまたは他のカメラを備えていなかった。本開示のシステムは、移動資産に関わるインシデントの発生前、発生中、そして発生後に、360度視表示(ビュー)、狭角視表示、広角視表示、魚眼視表示、および/または他の視表示を提供するよう、移動資産内の、移動資産上のもしくは移動資産近傍の360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または他のカメラを用いて映像をデータ取得・記録システムの一部として利用し記録する機能を、遠隔データリポジトリおよび遠隔ユーザならびに調査者に追加する。リアルタイムにまたはほぼリアルタイムに動作、360度映像、および/または他の映像を視認する機能によって、乗員の行動/挙動の迅速な評価および調整が可能となる。所有者、オペレータおよび調査者は、動作効率、人々の安全性、車両およびインフラストラクチャを視認し分析することができ、またインシデントを調査または検証することができる。移動資産からの360度映像および/または他の映像を視認する機能によって、乗員の行動/挙動の迅速な評価および調整が可能となる。インシデントの際に、例えば、360度映像および/または他の映像は、状況に対する優先順位付与に役立ち、第一対応者たちおよび調査者に有益な情報を提供することができる。通常動作の際には、例えば、360度映像および/または他の映像を、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または他のカメラによって、状況の全体像を提供し、これにより、法で定められたならびに/もしくは鉄道警察のための監視映像、重要なインフラストラクチャの検査、踏切の監視、保線工事進行の視認、運転室ならびに/もしくは操車場の両方における乗員の監督、およびリアルタイム遠隔監視を提供する。
以前のシステムでは、ユーザは、独自開発のソフトウェア・アプリケーションまたは他の外製再生アプリケーションを用いて、時間セグメントを含んでいる映像ファイルをダウンロードする必要があった。本開示のデータ取得・記録システムは、360度映像、他の映像、画像情報ならびに音声情報、および表示可能な測距情報を、そして仮想現実デバイスを使用してかつ/または標準的なウェブ・クライアントを通じて提供し、これにより、映像を見るために外製アプリケーションをダウンロードして使用する必要がなくなる。さらに、遠隔にいるユーザは、360度映像および/または他の映像を種々のモードで仮想現実デバイスを使用して、または標準的なウェブ・クライアント(ウェブ・ブラウザ等)を通じて、視認することができ、これにより、映像を見るために外製アプリケーションをダウンロードして使用する必要がなくなる。以前の映像システムでは、ユーザは、独自開発のソフトウェア・アプリケーション、またはユーザが別途購入しなければならなかった他の外製再生アプリケーション、を用いてのみ視認可能であったデータの時間セグメントを含んでいる映像ファイルをダウンロードする必要があった。
データには、限定するものではないが、資産内の、資産上のもしくは資産近傍の種々の場所にあるカメラからの映像および画像情報、および資産内の、資産上のもしくは資産近傍に種々の場所にあるマイクロホンからの音声情報を含めることができる。360度カメラは、360度の球状視野、360度の半球状視野および/または360度の魚眼視野を提供するカメラである。資産内の、資産上のもしくは資産近傍の360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラを用いることによって、その360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラをDARSの一部として用いた映像を利用し記録する機能を提供し、これにより、インシデントの発生前、発生中、そして発生後に遠隔データリポジトリ、遠隔にいるユーザおよび調査者に利用可能である資産内の、資産上のもしくは資産近傍の360度ビューおよび/または他のビューを形成することができる。
図8は、本開示の複数の面を実施可能な例示的なリアルタイム・データ取得・記録システム(DARS)800の第三実施形態の実際的な実施を示す。DARS800は、移動資産830上のデータレコーダ808からのリアルタイム情報、映像情報および音声情報を、遠隔にいるエンドユーザへとデータセンタ832を通じて送出するシステムである。データレコーダ808は、車両または移動資産830に設置され、有線データリンクおよび/または無線データリンク(ワイヤレス・ゲートウェイ/ルーター(図示せず)等)の任意の組み合わせを通じて、任意の数の種々の情報ソースと通信する。データレコーダ808は、耐衝撃メモリモジュール810と、機内搭載データマネージャ812と、データエンコーダ814と、を備える。第四実施形態においては、データレコーダ808はまた、非耐衝撃着脱可能記憶装置(図示せず)を有することができる。例示的な耐性メモリモジュール810は、例えば、連邦規則集および連邦鉄道局規則に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。有線データリンクおよび/または無線データリンクは、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。
データレコーダ808は、映像データ、音声データ、および資産の構成に応じて変更しうる広範囲な種々のソースからの他のデータならびに/もしくは情報を、機内搭載データリンクを介して収集する。本実施において、データレコーダ808は、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または資産830内、資産830上もしくは資産830近傍に配置される他のカメラ802ならびに固定カメラ806から、映像データおよび音声データを連続的に記録する映像管理システム804、からデータを受信し、映像管理システム804は、その映像・音声データを耐衝撃メモリモジュール810へと記憶し、そして映像・音声データを第二実施形態の非耐衝撃着脱可能記憶装置に記憶することができる。種々のバージョンの映像データが種々のビットレートまたは空間分解能を用いて生成され、これらのバージョンは長さを変更可能なセグメント(サムネイル、5分間の低解像度セグメントおよび5分間の高解像度セグメント等)へと分割される。
データエンコーダ814は、一般に規制機関によって決められる少なくとも最小セットのデータを符号化する。データエンコーダ814は、映像管理システム804から映像・音声データを受信し、そしてそのデータを圧縮しまたは符号化し、データを時間同期させて、遠隔データリポジトリ820への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ814は、機内搭載データマネージャ812に符号化データを伝達する。機内搭載データマネージャ812はその後、遠隔にいるユーザ834によるオン・デマンドの要求に応じて、または資産830の機内で観察されているある動作条件に応じて、符号化された映像・音声データを、データセンタ830に配置される遠隔データマネージャ818を介して、遠隔データリポジトリ820へと送信する。機内搭載データマネージャ812および遠隔データマネージャ818は、データ複製プロセスを管理するよう協働することができる。データセンタ832における遠隔データマネージャ818は、複数の資産からのデータの複製を管理することができる。遠隔データリポジトリ820に記憶された映像・音声データは、遠隔にいるユーザ834がアクセスするウェブサーバ822で利用可能である。
機内搭載データマネージャ812はまた、キューイング・リポジトリ(図示せず)にデータを送信する。機内搭載データマネージャ812は、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に記憶される映像・音声データを、映像管理システム804によって観察(モニタリング)し、準リアルタイムモードにあるかリアルタイムモードにあるかを判断する。準リアルタイムモードにおいては、機内搭載データマネージャ812は、データエンコーダ814から受信される映像データ、音声データ、および任意の他のデータまたは情報を含んでいる符号化データと、あらゆるイベント情報と、を、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、およびキューイング・リポジトリに記憶する。5分間の符号化データがキューイング・リポジトリに蓄積された後、機内搭載データマネージャ812は、その5分間の符号化データを、データセンタ832における遠隔データマネージャ818を通じて、遠隔データリポジトリ820へと無線データリンク816を通して記憶する。リアルタイムモードにおいては、機内搭載データマネージャ812は、データエンコーダ814から受信される映像データ、音声データ、および任意の他のデータまたは情報を含んでいる符号化データと、あらゆるイベント情報と、を、データセンタ832における遠隔データマネージャ818を介して、遠隔データリポジトリ820へと無線データリンク816を通じて、1秒毎または0.10秒毎などの設定可能な所定の時間間隔毎に記憶する。機内搭載データマネージャ812および遠隔データマネージャ818は、種々の無線通信リンクを通して通信することができる。無線データリンク816は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワークまたデータレコーダ808からこの例においては遠隔データマネージャ818へとデータを転送する任意の他の手段とすることができる。映像データおよび音声データを資産830から遠隔的に送信し検索するプロセスは、資産830とデータセンタ832との間の無線データ接続を必要とする。無線データ接続が利用可能でない場合、無線接続が回復するまで、データは、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、記憶・キュー入力される。無線接続が回復するとすぐに、映像、音声および任意の他の追加的なデータ検索プロセスが再開する。
データ記録と平行して、データレコーダ808は、連続的かつ自律的に遠隔データリポジトリ820にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ820へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ820へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ820へと0.10秒毎に複製することによって、高い分解精度データに対応させるよう調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産830機中で発生したイベントに基づいて、またはデータセンタ832から発せられる要求によって、起動することができる。データセンタ832が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ834がウェブ・クライアント826にリアルタイム情報を要求したときに発せられる。資産830機中でリアルタイムモードが発せられる典型的な要因には、イベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ808への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ820へとまだ複製されないすべてのデータが遠隔データリポジトリ820に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は、典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ834がもはや資産830からのリアルタイム情報を不要とすると、データレコーダ808は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ808がリアルタイムモードにあるとき、機内搭載データマネージャ812は、遠隔データマネージャ818へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール810へと、そして第二実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと、記憶し、そのデータを同時に遠隔データマネージャ818へと送信する。
データレコーダ808から複製すべき映像データ、音声データおよび任意の他のデータまたは情報を受信すると、遠隔データマネージャ818は、そのデータをデータセンタ830における遠隔データリポジトリ820へと記憶する。遠隔データリポジトリ820は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ(図示せず)が、遠隔データリポジトリ820からの最新複製データを復号し、そしてその復号化データを遠隔イベント検出器(図示せず)へと送信するプロセスが開始する。遠隔データマネージャ818は、車両イベント情報を遠隔データリポジトリ820に記憶する。遠隔イベント検出器が復号化データを受信したとき、その復号化データを処理して、その復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産830で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器によって用いられる。遠隔データリポジトリ820に先に記憶された復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器は、イベント情報と裏付けデータとを、遠隔データリポジトリ820に記憶する。
映像データ、音声データおよび任意の他のデータまたは情報は、ユーザ834によるオン・デマンドの要求に応じてユーザ834に利用可能となり、かつ/または資産830機中で観察されているある動作条件に応じて機内搭載データマネージャ812によって遠隔データリポジトリ820へと送信される。遠隔データリポジトリ820に記憶された映像データ、音声データおよび任意の他のデータまたは情報は、ユーザ834がアクセスするウェブサーバ822で利用可能である。遠隔にいるユーザ834は、遠隔データリポジトリ820に記憶された特定の資産830または複数の資産に関する音声データおよび任意の他のデータまたは情報に、標準的なウェブ・クライアント826(ウェブ・ブラウザ等)、または本実施においては選択されたカメラのサムネイル画像を表示できる仮想現実デバイス828を用いて、アクセスすることができる。ウェブ・クライアント826は、映像データ、音声データおよび任意の他のデータまたは情報に対するユーザ834の要求を、ウェブサーバ822にネットワーク824を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク824を例えば、インターネットとすることができる。ネットワーク824をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワーク、またはウェブサーバ822からこの例においてはウェブ・クライアント826へとデータを転送する他の手段、とすることができる。ウェブサーバ822は、遠隔データリポジトリ820からの所望のデータを要求する。その後、ウェブサーバ822は、標準映像、360度映像および/または他の映像の再生およびリアルタイム表示を提供するウェブ・クライアント826に、要求されたデータを送信する。ウェブ・クライアント826は、映像データ、音声データおよび任意の他のデータまたは情報を、ユーザ834に向けて出力し、ユーザは、視認・分析のために、360度映像データ、および/または他の映像のデータ、および/または静止画と連係することができる。ユーザ834はまた、映像データ、音声データおよび任意の他のデータまたは情報を、ウェブ・クライアント826を用いてダウンロードすることができ、そして仮想現実デバイス828を用いて視認・分析のために360度映像データと連係することができる。
ウェブ・クライアント826は、360度映像および/または種々の異なるモードの他の映像の再生を提供するソフトウェア・アプリケーションによって機能を拡張できる。ソフトウェア・アプリケーションが例えば図11に示す魚眼視表示(フィッシュアイ・ビュー)、図12に示す全景視表示(パノラマ・ビュー)、ダブル・パノラマ・ビュー(図示せず)、図13に示す四象限型視表示(クアッド・ビュー)および図14に示す湾曲視表示(デワープド・ビュー)等の映像再生を出力するモードを、ユーザ834は、選択することができる。
図9は、本開示の実施にかかる資産830からの映像データ、音声データおよび/または情報を記録するプロセス840を示すフロー図である。映像管理システム804は、種々の入力部842(360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または資産830上、資産830内もしくは資産830近傍に配置される他のカメラ802ならびに固定カメラ806等)からデータ信号を受信する。その後、映像管理システム804は、映像データ、音声データ、および/または情報を、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、業界標準フォーマット(例えば、静止画、サムネイル、静止画列または圧縮映像フォーマット等)の任意の組み合わせを用いて、記憶する(844)。データエンコーダ814は、データ信号情報を構成し記録するために用いられる一連の構造化されたビットを有する記録(レコード)を生成する(846)。準リアルタイムモードにおいては、映像管理システム804は、映像データを、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、記憶すると同時に、限定的な映像データ(サムネイルまたは非常に短い低解像度映像セグメント)を機外へと遠隔データリポジトリ820に送信するだけである(848)。
他の実施においては、その後、符号化されたレコードは、一連のレコードを時系列順に、5分間までのデータを含むレコードブロックへと順次結合する機内搭載データマネージャ812に送信される。暫定レコードブロックは5分間未満のデータを含み、一方で完全レコードブロックは5分間全体のデータを含む。それぞれのレコードブロックは、そのデータに含まれる信号を完全に復号するのに必要な、データ完全性チェックを含む、すべてのデータを有する。最小限でも、レコードブロックは、開始(スタート)レコードで始まり、終了(エンド)レコードで終わらなければならない。
符号化された信号データが、すべて耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと、確実に保存されるために、データレコーダ808が電力を喪失した場合、機内搭載データマネージャ812、暫定レコードブロックを、耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、所定のレートで記憶する。この場合、所定のレートは、設定可能であり、かつ/または変更可能である。暫定レコードブロックは、少なくとも毎秒一回保存されるが、また10分の1秒毎に一回の頻度で保存することもできる。暫定レコードブロックが保存されるレートは、それぞれの信号のサンプリングレートによって決まる。各暫定レコードブロックは、最後の完全なレコードブロック以降の完全な一セットのレコードを含む。データレコーダ808は、各暫定レコードブロックを記録するとき、耐衝撃メモリモジュール810における二つの一時的記憶域(テンポラリ・ストレージ・ロケーション)間で場所を交互に替えることができ、これにより、耐衝撃メモリモジュール810へとデータを記憶している際にデータレコーダ808が電力を喪失した場合に、1秒を超える分のデータの破損または損失を防止することができる。新しい暫定レコードブロックは一時的耐衝撃メモリ域(テンポラリ・クラッシュ・ハーデンド・メモリ・ロケーション)に保存される度に、その域(ロケーション)に既にある以前に記憶された暫定レコードブロックは上書きされることになる。
本実施においては、5分毎に、データレコーダ808が準リアルタイムモードにある場合、機内搭載データマネージャ812は最後の5分間の符号化された信号データを含んでいる完全レコードブロックを耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置におけるレコードセグメントに記憶し、そして5分間の映像のデータ、音声データおよび/または情報を含んでいる、完全レコードブロックのコピーを遠隔データマネージャ818へと送信し、遠隔データリポジトリ820に所定の保持期間(例えば2年)記憶する。耐衝撃メモリモジュール810および/または第四実施形態の任意選択的な非耐衝撃着脱可能記憶装置は、直近のレコードブロックのレコードセグメントを法令で定められた記憶時間記憶する。この法令で定められた記憶時間は、本実施において、データレコーダ808は動作データまたは映像データを耐衝撃メモリモジュール810に追加の24時間バッファで記憶しなければならないという連邦が法令で定めた時間であり、追加の24時間バッファのレコードセグメントはその後上書きされる。
図10は、資産830からのデータおよび/または情報を、ウェブ・ブラウザ826または仮想現実のデバイス828を通じて視認するプロセス850を示すフロー図である。イベントが生じた場合、または遠隔にいる認定されたユーザ834が耐衝撃メモリモジュール810に記憶された映像データのセグメントを、ウェブ・クライアント826を介して要求した場合、機内搭載データマネージャ812は、そのイベントに応じて、映像データの機外へのリアルタイム送信を、無線データリンク816のバンド幅が提供する利用可能な最高分解能で、開始することになる。遠隔にいるユーザ834は、特定のビューモードでの特定の映像および/または音声データの要求を、ウェブ・クライアント826を通じて発し(852)、ウェブ・クライアントは、その要求を、ネットワーク824を通じてウェブサーバ822へと伝達する。ウェブサーバ822は、その特定の映像および/または音声データを遠隔データリポジトリ820に要求し、その要求された映像および/または音声データを、ネットワーク824を通じてウェブ・クライアント826へと送信する(854)。ウェブ・クライアント826は、ユーザ834によって指定されたビューモードで映像および/または音声データを表示する(856)。その後、ユーザ834は、仮想現実デバイス828上で視認するために、その特定の映像および/または音声データをダウンロードすることができる。他の実施において、リアルタイムモードにおいては、サムネイルがまず1秒間隔で送信され、次いで低解像度映像の短いセグメントが送信され、次いで高解像度映像の短いセグメントが送信される。
説明の簡単化のために、プロセス840およびプロセス850を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
ここに記載される実時間データ取得・記録システムおよび映像解析システムの第四実施形態では、高価値資産の広範囲なデータ(イベント・動作データ、映像データおよび音声データ等)へのリアルタイムなアクセスあるいはほぼリアルタイムなアクセスを、遠隔にいるユーザに提供する。データ取得・記録システムは、資産に関係するデータを記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへと、インシデントの発生前、発生中、そして発生後にストリーム送信する。データは、遠隔データリポジトリへと、リアルタイムにまたはほぼリアルタイムにストリーム送信されて、少なくともインシデントまたは緊急事態の時間までの情報を入手可能とし、こうして、情報を遠隔データリポジトリへとリアルタイムにストリーム送信し、少なくとも天変地異イベント時点までの情報を入手可能とすることによって、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくすことができる。DARSは、移動資産の記録された映像データの映像分析を実行し、例えば運転室の人の有無の判断、軌道検出、および軌道近くの物体の検出を行う。遠隔にいるユーザは、選択された資産に関する所望のデータへと移動(ナビゲート)し閲覧するために汎用ウェブ・ブラウザを用いることができ、特定のデータのダウンロードを要求するために資産上のデータ取得・記録システムと連係する必要も、ファイルを特定するまたは転送する必要も、そしてデータを閲覧するためにカスタムアプリケーションを用いる必要もない。
DARSは、インシデントの発生前、発生中、そして発生後にデータを遠隔データリポジトリおよび遠隔にいるユーザへとストリーム送信することによって、映像データおよび映像解析システムによって実行される映像分析への遠隔にいるユーザのアクセスを提供し、これにより、映像データを点検して、インシデントの際のまたは任意の他の対象時間の運転室の人の有無(乗員または無許可の人物が運転室内にいたか否か)の判断、軌道検出、軌道近くの物体の検出、調査を行うために、ユーザが映像データを手作業でダウンロードする必要も、抽出する必要も、再生する必要もなくすことができる。さらに、映像解析システムは、画像・映像データをリアルタイムに処理することによる運転室の人の有無状態の判断、軌道検出、軌道近くの物体の検出、先導・従動(リード・アンド・トレイル)ユニット判断を提供し、これにより、確実に、正しいデータがユーザに常に利用可能となる。例えば、リアルタイム画像処理によって、従動機関車(トレイル・ロコモーティブ)として指定された機関車が先導運行することがないことが保証され、鉄道の安全性を向上させることができる。以前のシステムは、ディスパッチシステムにおける列車構成機能を用いて列車内の機関車位置を提供していた。ときに、情報がリアルタイムで更新されずディスパッチシステム情報が古い可能性があり、もし必要であると考える場合乗務員がその機関車を変更することもありうる。
本開示のシステムの以前には、検査員および/または資産乗員は、軌道条件を手作業で検査しなければならならず、車両が先導位置または従動位置にあるかどうかを手作業で検査しなければならならず、それぞれの対象物個々の場所を手作業で調査しなければならならず、すべての対象物の地理的位置のデータベースを手作業で生成しなければならならず、それぞれの対象物の手作業での現地調査を定期的に行ってそれらの位置を確認して当初の調査とは異なる地理的位置のあらゆる変化を特定しなければならず、対象物が修理または当初データベースが生成された時から追加のインフラストラクチャ開発により場所が変わった場合にはデータベースを手作業で更新しなければならず、デジタルビデオレコーダおよび/またはデータレコーダから所望のデータを選択しダウンロードし、ダウンロードしたデータおよび/または映像をオフラインで検査しあらゆる障害物に対して軌道を点検しなければならず、そして車両オペレータはあらゆる障害物および/または転轍機(スイッチ)切換を物理的に点検しなければならなかった。本開示のシステムは、ユーザがこれらの手順(ステップ)を実行する必要性をなくし、したがって、ユーザが必要なことは所望のデータへと案内(ナビゲート)するために汎用ウェブ・ブラウザを用いることだけである。資産所有者およびオペレータは、移動資産の効率と安全性をリアルタイムに自動化し改良することができ、軌道状態を能動的に監視することができ、リアルタイムに警告情報を得ることができる。本開示のシステムは、軌道状態を監視しインシデントを調査するのに、資産所有者およびオペレータがデータレコーダからデータをダウンロードする必要をなくことができる。能動的(アクティブ)セーフティ・システムとして、DARSは、オペレータがあらゆる障害物を点検し、警報をリアルタイムに送信しかつ/または情報をオフラインで保存し、そして遠隔監視・記憶のための警報情報を送信することを支援できる。現在と過去との両方の軌道検出情報および/または軌道近くの物体の検出に関する情報を、遠隔データリポジトリにリアルタイムに記憶して、必要時にユーザが情報を閲覧するのを支援することができる。遠隔にいるユーザは、選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。
第五実施形態のリアルタイム・データ取得・記録システムは、対象物を連続的に監視するよう、そして移動または損傷を受けてしまった、葉が邪魔となった、かつ/または修理が必要な状態になり保全(メインテナンス)が必要となったとき、リアルタイムに認識するよう用いることができる。DARSは、映像、画像、および/または音声情報を利用して映像において種々のインフラストラクチャ対象(レール軌道等)を検出するとともに特定し、移動資産進行状況として軌道を追跡する機能を有し、地理的場所とともに対象物のデータベースを生成し、監査し、かつ周期的に更新する機能を有する。第五実施形態のリアルタイム・データ取得・記録システムは、移動資産内の、移動資産上のもしくは移動資産近傍の画像測定デバイス、映像測定デバイス、および測距デバイスのうちの少なくとも一つまたは任意の組み合わせを、データ取得・記録システムの一部として用いる。画像測定デバイスおよび/または映像測定デバイスには、限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラが含まれる。測距デバイスには、限定するものではないが、レーダーおよび光検知測距(「LIDAR」)が含まれる。LIDARは、対象にパルスレーザ光を照射してセンサで反射パルスを測定することによって対象までの距離を測定する測量方法である。
DARSは、軌道状態を自動的に検査することができ、例えば、(存在している軌道の計数、移動資産が移動している現在の軌道の特定、存在するあらゆる障害物または欠陥(バラストの流出、破損した軌道、軌間(ゲージ)から外れた軌道、位置がずれた転轍機、転轍機のはみ出し、軌道の冠水、積雪量等)の検出ができ、そしてあらゆる天変地異イベントを回避するようあらゆる予防保全の計画を立てることができる。DARSはまた、レール軌道の転轍機(スイッチ)を検出し、軌道変更を追跡することができる。DARSはさらに、対象が無くなっているか否か、妨害されているか否か、および/または予想される場所に存在しているか否かといったことも含む場所のデータの変化も検出することができる。軌道検出、インフラストラクチャ診断情報、および/またはインフラストラクチャ監視情報を、任意の標準的なウェブ・クライアント(ウェブ・ブラウザ等)の使用を通じてユーザに表示することができ、これにより、ファイルをデータレコーダからダウンロードする必要をなくすことができ、情報を閲覧するために以前のシステムが必要としていた独自開発のアプリケーション・ソフトウェアまたは他の外製アプリケーションを用いる必要をなくすことができる。このプロセスを、対象物の地理的位置とともにデータベースを自動的に生成し、監査し、かつ/または更新するよう、そして確実に連邦規則集に準拠するよう、拡張することができる。本開示のシステムでは、連邦規則集に準拠するよう予め設置されるカメラを、以前は人間の連係、専用車両および/または代替機器を必要としていた種々の作業を実行するために利用する。DARSにより、これらの作業を、通常の収益事業および日常運転の一部として移動資産が担当区域全域を移動するときに、自動的に実行することが可能となる。以前には手作業での労力を必要としていた作業を達成するよう車両および予め設置されたカメラの通常動作を利用することによって、数え切れないほどの手作業の工数を節約するように、DARSを用いることができる。DARSはまた、以前には専用車両を用いて実行されていた作業を実行することができ、これにより、多くの場合収益事業の損失および高価な機器の購入・保守を生じさせた、軌道と対象物を検査し特定するための軌道の区分(セグメント)の閉鎖、を防止することができる。DARSはさらに、人員がレール軌道の近傍内にいることが要求される時間を削減し、結果的に事故全体と人命喪失の可能性とを少なくすることができる。
データには、限定するものではないが、移動資産から、および/または移動資産近傍から得られる測定アナログ・周期的パラメータ(速度、圧力、温度、電流、電圧および加速度等)と、論理(ブール)データ(スイッチ位置、アクチュエータ位置、警告灯照明および作動器命令(アクチュエータ・コマンド)等)と、地球測位システム(GPS)からの位置、速度ならびに高度情報、および地理情報システム(GIS)からの追加データ(種々の対象物の緯度および経度等)と、内部発生情報(移動資産に対してその現在位置に決められた規制速度制限等)と、システムによって生成される列車制御状態および動作データ(ポジティブ・トレイン・コントロール(PTC)等)と、車両・慣性パラメータ(速度、加速等)および場所(GPSから受信されたもの等)と、GISデータ(種々の対象物の緯度および経度等)と、移動資産内の、移動資産上のもしくは移動資産近傍の種々の場所に配置される少なくとも一つのカメラからの映像・画像情報と、移動資産内の、移動資産上のもしくは移動資産近傍の種々の場所に配置される少なくとも一つのマイクロホンからの音声情報と、データセンタから移動資産に送信される移動資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録情報等)と、移動資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象等)に関する情報と、追加のデータ・映像・音声分析・解析を含む上記のソースのうちのある組み合わせから得られるデータと、を含めることができる。
「軌道」には、限定するものではないが、機関車および/または列車交通機関に用いられる鉄道のレールおよび枕木(ties)を含めることができる。「対象物」には、限定するものではないが、資産カメラ画像および映像の人工知能(教師あり学習や強化学習)の使用によって認識しうる、鉄道線路の近隣内に設置され保守を受けるインフラストラクチャの種々の対象を含めることができる。教師あり学習および/または強化学習は、移動資産上の、移動資産内のもしくは移動資産近傍のカメラの視表示内の対象の遠隔的・自律的認識を可能にするための「トレーニング」データとして定義される、予めラベリングされたデータセットを利用する。教師あり学習および/または強化学習では、カメラから得られた視覚的な像内に現れるパターンを認識するよう、ニューラルネットワークモデルを訓練する。これらのパターン(人、遮断機、自動車、木、信号、転轍機等)は、単一画像内に単独で見つけ出すことができる。ある映像内の連続的なフレームも、点滅する信号、移動している自動車、寝てしまっている人等のパターンに対して分析することができる。DARSは、限定するものではないが、教師あり学習および/または強化学習に必要であるトレーニング・データセットのラベリングを含む実施の任意のステージで人間の連係を必要とすることもあり、また必要とせずともよい場合もある。対象物には、限定するものではないが、軌道、軌道中心線点、距離標の標識(マイルポスト・サイン)、信号、遮断機、転轍機、踏切および文字による標識が含まれる。「映像解析」は、例えば移動資産上の、移動資産内のもしくは移動資産近傍の少なくとも一つのカメラ(360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または他のカメラ等)のような画像デバイス、映像デバイス、および/または測距デバイスによって記録される映像および/または画像の分析によって収集される、あらゆる明瞭な情報(対象物、対象の地理的場所、軌道障害物、対象物と移動資産との間の距離、軌道の位置ずれ等)をいう。映像解析システムはまた、映像監視を向上させるために監視カメラを備えている、あらゆる移動資産、住宅地区、空間または部屋において用いることができる。移動資産において、映像解析システムは、自律的運転室有人/無人イベント検出を、遠隔にいるユーザに経済的にかつ効率的に提供する。
図15は、本開示の複数の面を実施可能な例示的なリアルタイム・データ取得・記録システム(DARS)900の第五実施形態の実際的な実施を示す。DARS900は、移動資産964上のデータレコーダ902からのリアルタイム情報、映像情報および音声情報を、遠隔にいるエンドユーザ968へとデータセンタ966を通じて送出するシステムである。データレコーダ902は、車両または移動資産964に設置され、有線データリンクおよび/または無線データリンク942(ワイヤレス・ゲートウェイ/ルーター(図示せず)等)の任意の組み合わせを通じて、任意の数の種々の情報ソースと通信する。データレコーダ902は、映像データ、音声データ、および資産の構成に応じて変更しうる広範囲な種々のソースからの他のデータならびに情報を、機内搭載データリンク942を介して収集する。データレコーダ902は、資産964に、ローカルメモリ部(耐衝撃メモリモジュール904等)と、機内搭載データマネージャ906と、データエンコーダ908と、を備える。第六実施形態においては、データレコーダ902はまた、非耐衝撃着脱可能記憶装置(図示せず)を有することができる。例示的な耐性メモリモジュール904は、例えば、連邦規則集および連邦鉄道局規則に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。有線データリンクおよび/または無線データリンクは、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。
DARS900はさらに、軌道および/または物体検出・インフラストラクチャ監視部914を有する映像解析システム910を備える。軌道検出・インフラストラクチャ監視部914は、教師あり学習および/または強化学習部924または他のニューラル・ネットワークもしくは人工知能部と、物体検出・場所特定(ロケーション)部926と、軌道上もしくは軌道の近くに存在する障害物をおよび/またはカメラ障害物(カメラ視表示を遮る人物等)を検出する障害物検出部928と、を備える。本実施において、実況の(ライブの)映像データが、資産964の運転室内に、資産964上に、または資産964の近傍に取り付けられた少なくとも一つのカメラ940によって撮影される。カメラ940は、資産964内の、そして資産の周囲の映像データを撮影し、さらなる処理のために十分な量の視表示を確保するために、適切な高さと角度で配置される。実況の映像データおよび画像データは、カメラ940によって資産964の前方および/または周囲で撮影され、分析のために軌道および/または物体検出・インフラストラクチャ監視部914に送信される。映像解析システム910の軌道検出・インフラストラクチャ監視部914は、実況の映像および画像データをフレームごとに処理して、レール軌道およびあらゆる対象物の存在を検出する。カメラ位置パラメータ(高さ、角度、移動(シフト)、焦点距離および視野等)が軌道および/または物体検出・インフラストラクチャ監視部914に送信されるか、または映像解析システム910がカメラ位置およびパラメータを検出し決定できるようカメラ940を構成することもできる。
状況決定(運転室の人の有無検出等)の判断を行うために、映像解析システム910は、例えば、カメラ940からの映像データ、資産データ934(速度、GPSデータ、慣性センサ・データ等)、気象部936データ、および経路管理/乗員名簿・GIS部938を評価するよう、教師あり学習および/または強化学習部924、および/または他の人工知能・学習アルゴリズムを用いる。運転室の人の有無検出は、環境的なノイズ源(資産が移動する際の雲から反射する光と建物および木を通過する日光等)の影響をどうしても受けやすい。環境的なノイズを処理するために、教師あり学習および/または強化学習部924と、物体検出・場所特定部926と、障害物検出部928と、速度、GPSデータおよび慣性センサ・データを含むことができる資産コンポーネント934データと、気象部936データと、他の学習アルゴリズムと、が、移動資産964に関わる内部状況および/または外部状況決定を形成するよう、一体に構成される。軌道および/または物体検出・インフラストラクチャ監視部914はまた、機関車へのアクセスの認可を可能にするよう構成される機関車セキュリティーシステムの一部としての顔認識システムと、乗員の敏捷性を監視するよう構成される疲労検出部と、喫煙など無許可の活動の検出するための活動検出部と、を有することができる。
さらに、映像解析システム910は、信号(停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等)の緯度・経度座標を含んでいる場所情報を資産所有者から受信することができる。その後、映像解析システム910は、資産所有者から受信した場所情報が正しいか否かを判断する。その場所情報が正しい場合、映像解析システム910は情報を記憶し、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。その場所情報が正しくない場合、映像解析システム910は正しい場所情報を決定して正しい場所情報を資産所有者に報告し、その場所情報を記憶して、その場所情報を所定時間再点検しないこととし、例えば、月一回の基準で場所情報を点検する。場所情報の記憶により、停止信号、交通信号、速度制限信号、および/または軌道の近くの物体信号等の信号の検出がより容易となる。
教師あり学習および/または強化学習部924を用いる軌道の教師あり学習および/または強化学習は、連続するフレームの映像および/または画像から得られた種々の情報の使用を通じて、そしてまたデータセンタ966および車両データコンポーネント934から受信された追加情報(慣性センサ・データおよびGPSデータを含む)を用いることによって、学習データを決定するよう、実行される。物体検出・場所特定部926は、教師あり学習および/または強化学習部924から受信される学習データと、移動資産964と線路に関する特定の情報(軌道幅、曲率、枕木配置、および車速等)と、を利用して、レール軌道、標識、信号などを他の対象から区別して物体検出データを決定する。障害物検出部928は、物体検出・場所特定部926から受信される物体検出データ(軌道上もしくは軌道の近くに存在する障害物および/またはカメラ障害物(カメラ視表示を遮る人物等)に関する情報)と、気象部936、経路管理/乗員名簿・GIS部938、および慣性センサ・データならびにGPSデータを含む車両データコンポーネント934からの追加情報と、を利用して、正確性を高めて障害物検出データを決定する。車両データコンポーネント934からの移動資産データには、限定するものではないが、速度、場所、加速度、偏揺れ(ヨー)/縦揺れ(ピッチ)比(レート)および踏切が含まれる。データセンタ966から受信され利用されるあらゆる追加情報には、限定するものではないが、移動資産964の昼夜にわたる細目および地理学的位置が含まれる。
軌道および/または物体検出・インフラストラクチャ監視部914によって処理された対象インフラストラクチャ情報、および診断・監視情報が、機内搭載データリンク942を介してデータレコーダ902のデータエンコーダ908へと送信されて、データが符号化される。データレコーダ902は、その符号化データを耐衝撃メモリモジュール904に、そして任意選択的に第六実施形態の任意選択的な非耐衝撃着脱可能記憶装置に、記憶し、その符号化された情報を、データセンタ966における遠隔データマネージャ946へと無線データリンク944を介して送信する。遠隔データマネージャ946は、符号化データをデータセンタ966における遠隔データリポジトリ948に記憶する。
障害物検出928または物体検出926(資産964の前の軌道、軌道上ならびに/もしくは軌道の近くの対象、軌道上もしくは軌道の近くの障害物、および/またはカメラ視表示を遮る障害物等の存在)を判断するために、車両解析システム910は、教師あり学習および/または強化学習部924または他の人工知能と、物体検出・場所特定部926と、障害物検出部928と、そしてカメラ940からのカメラ画像および映像データをリアルタイムに処理し評価するための他の画像処理アルゴリズムと、を用いる。軌道および/または物体検出・インフラストラクチャ監視部914は、処理された映像データを速度、GPSデータ、および慣性センサ・データを含むことができる資産コンポーネント934データと、気象部936データと、経路管理/乗員名簿・GIS部938データと、を共に用いて、外部状況判断(先導・従動(リード・アンド・トレイル)移動資産等)をリアルタイムに決定する。軌道および/または物体検出のために画像・映像データを処理するとき、例えば、映像解析システム910は自動的に、軌道検出に必要とされるカメラ940パラメータを設定し、転轍機を通る走行路を検出し、軌道の数を計数し、資産964の側方に沿ったあらゆる別の軌道を検出し、資産964が現在走行している軌道を判断し、軌道の幾何学的欠陥を検出し、軌道流失シナリオ(予測)を検出し(例えば軌道の規定範囲内の軌道の近くの水を検出し)、そして斜面または軌道が無くなっているシナリオを検出する。物体検出正確性は、資産964内および資産の周囲にある光の状態に左右される。DARS900は、資産964機中およびデータセンタ966から収集される追加データの支援を受けて異なる光の状態に対応することになる。DARS900は、種々の光の状態において機能し、種々の気象条件において機能し、より多くの対象物を検出し、既存のデータベースシステムと統合し、データを自動的に生成し、監査し、そして更新し、複数の軌道を検出し、曲線軌道でも一貫して機能し、あらゆる障害物を検出し、安全上問題となりうるあらゆる軌道欠陥を検出し、そして低コスト組込システムにおいても機能するよう、強化されている。
映像解析システム910からの内部および/または外部状況判断(運転室の人の有無検出、物体検出・場所特定(ロケーション)等や軌道検出および軌道の近くの対象の検出、障害物検出(軌道上のまたは軌道の近くの障害物およびカメラを遮る障害物等)が、車両管理システム(VMS)または機内搭載データリンク942を介したデジタルビデオレコーダ部932からのあらゆるデータと共に、データレコーダ902に提供される。データレコーダ902は、内部および/または外部状況判断と、物体検出・場所特定部926データと、障害物検出部928データと、を、耐衝撃メモリモジュール904に、そして任意選択的に第六実施形態の非耐衝撃着脱可能記憶装置に、そしてデータセンタ966内に配置される遠隔データマネージャ946を通じて遠隔データリポジトリ948に、記憶する。ウェブサーバ958は、内部および/または外部状況判断と、物体検出・場所特定部926情報と、障害物検出部928情報と、を要求に応じて遠隔にいるユーザ968へとウェブ・クライアント962を通じて提供する。
データエンコーダ908は、一般に規制機関によって決められる少なくとも最小セットのデータを符号化する。データエンコーダ908は、カメラ940、映像解析システム910および映像の管理システム932のうちのいずれかからの映像・画像・音声データを受信し、そしてそのデータを圧縮しまたは符号化し、データを時間同期させて、遠隔データリポジトリ948への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ908は、機内搭載データマネージャ906に符号化データを伝達する。機内搭載データマネージャはその後、ユーザ968によるオン・デマンドの要求に応じてまたは資産964の機内で観察されているある動作条件に応じて、符号化された映像・画像・音声データをデータセンタ966に配置される遠隔データマネージャ946を介して遠隔データリポジトリ948に送信する。機内搭載データマネージャ906および遠隔データマネージャ946は、データ複製プロセスを管理するよう協働することができる。データセンタ966における遠隔データマネージャ946は、複数の資産964からのデータの複製を管理することができる。
機内搭載データマネージャ908は、イベントが検出された場合、内部および/または外部状況判断、物体検出・場所特定(ロケーション)、および/または障害物検出を判断し、検出されたイベントの優先順位に基づいて、直ちにキュー入力するまたは送信する必要がある。例えば、通常の運転状況において、軌道上の障害物の検出は、誰かが資産964の運転室内にいるか否かの検出よりはるかに緊急である。機内搭載データマネージャ908はまた、キューイング・リポジトリ(図示せず)にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャは、データエンコーダ908から受信される符号化データおよび任意のイベント情報を、耐衝撃メモリモジュール904およびキューイング・リポジトリに記憶する。5分間の符号化データがキューイング・リポジトリに蓄積された後、機内搭載データマネージャ906は、その5分間の符号化データを、データセンタ966における遠隔データマネージャ946を通じて、遠隔データリポジトリ948へと無線データリンク944を通して記憶する。リアルタイムモードにおいては、機内搭載データマネージャ908は、データエンコーダ908から受信される符号化データと、あらゆるイベント情報と、を、耐衝撃メモリモジュール904へと、そして無線データリンク944を通じてデータセンタ966における遠隔データマネージャ946を介して遠隔データリポジトリ948へと、1秒毎または0.10秒毎などの設定可能な所定の時間間隔毎に記憶する。
本実施において、機内搭載データマネージャ906は、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定(ロケーション)情報、障害物検出情報、および任意の他のデータまたはイベント情報を、データセンタ966における遠隔データマネージャ946を介して遠隔データリポジトリ948へと無線データリンク944を通じて、送信する。無線データリンク944は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、無線仮想プライベート・ネットワーク(WVPN)、携帯電話ネットワーク、またデータレコーダ902からこの例においては遠隔データマネージャ946へとデータを転送するあらゆる他の手段、とすることができる。データを資産964から遠隔的に検索するプロセスは、資産964とデータセンタ966との間の無線接続を必要とする。無線データ接続が利用可能でない場合、無線接続が回復されるまで、データは記憶されキュー入力される。
データ記録と平行して、データレコーダ902は、連続的かつ自律的に遠隔データリポジトリ948にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ10へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ15へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ15へと0.10秒毎に複製することによって、高い分解精度データに対応させるよう調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産964機中で発生したイベントに基づいて、またはデータセンタ966から発せられる要求によって、起動することができる。データセンタ966が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ968がウェブ・クライアント962にリアルタイム情報を要求したときに発せられる。資産964機中でリアルタイムモードが発せられる典型的な要因には、資産964に関わるイベントまたはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ902への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ948へとまだ複製されないすべてのデータが遠隔データリポジトリ948に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ968がもはや資産964からのリアルタイム情報を不要とすると、データレコーダ902は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ902がリアルタイムモードにあるとき、機内搭載データマネージャ906は遠隔データマネージャ946へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール940へとそして任意選択的に第六実施形態の任意選択的な非耐衝撃着脱可能記憶装置へと記憶し、そのデータを同時に遠隔データマネージャ946へと送信する。
データレコーダ902からの、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定情報、障害物検出情報、および複製すべきあらゆる他のデータまたは情報の受信に応じて、遠隔データマネージャ946は、機内搭載データマネージャ906から受信したデータ(符号化データおよび検出されたイベントデータ等)を、データセンタ966における遠隔データリポジトリ948へと記憶する。遠隔データリポジトリ948は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ954が、遠隔データリポジトリ948からの最新複製データを復号し、そしてその復号化データをさらなる「処理後」イベントのために記憶されたデータを参照する軌道/物体検出/場所特定情報部950へと送信するプロセスが開始する。本実施において、軌道/物体検出/場所特定情報部950は、内部および/または外部状況判断、物体検出・場所特定情報、および障害物検出情報を判断するための物体/障害物検出部を有する。内部および/または外部情報、物体検出・場所特定情報、および/または障害物検出情報の検出に応じて、軌道/物体検出/場所特定情報部950はその情報を遠隔データリポジトリ948に記憶する。
遠隔にいるユーザ968は、映像データ、音声データ、内部および/または外部状況判断、物体検出・場所特定情報、障害物検出情報、および遠隔データリポジトリ948に記憶される軌道情報、資産情報ならびに運転室の人の有無情報を含む特定の資産964もしくは複数の資産に関係する任意の他の情報に、標準ウェブ・クライアント962(ウェブ・ブラウザ等)、または本実施においては選択されたカメラのサムネイル画像を表示することができる図8の仮想現実デバイス828のような仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント962は、情報に対するユーザ968の要求をウェブサーバ958にネットワーク960を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク960を例えば、インターネットとすることができる。ネットワーク960をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワーク、またはウェブサーバ958からこの例においてはウェブ・クライアント962へとデータを転送するあらゆる他の手段とすることができる。ウェブサーバ958は、遠隔データリポジトリ948からの所望のデータを要求する。そして、データデコーダ954は、特定の資産964に関係する要求されたデータを遠隔データリポジトリ948からウェブサーバ958からの要求に応じて取得する。データデコーダ954は、要求されたデータを復号し、その復号化データを現地化器(ローカライザ)956に送信する。ローカライザ956は、ウェブ・クライアント962にアクセスすることによって、ユーザ968によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ968に示すためにウェブ・クライアント962に送信される情報を未処理の符号化データとして準備し、検出された軌道/物体検出/場所特定情報は遠隔データリポジトリ948に協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ956は、復号化データをユーザ968が所望するフォーマット(ユーザ968の好みの測定単位および言語等)へと変換する。ローカライザ956は、ユーザ968の好みのフォーマットに現地化されたデータをウェブサーバ958に要求に応じて送信する。その後、ウェブサーバ958は、視認および分析のためにウェブ・クライアント962へと現地化されたデータを送信し、これにより、標準的な映像および360度映像の再生および実況の表示を、内部および/または外部状況判断、物体検出・場所特定情報、および障害物検出情報(例えば軌道ならびに/もしくは物体検出(図16A)、軌道と転轍機検出(図16B)、軌道ならびに/もしくは物体検出、軌道の数の計数、信号検出(図16C)、踏切・軌道ならびに/もしくは物体検出(図16D)、複式架空信号(デュアル・オーバヘッド・シグナル)検出(図16E)、複線軌道(マルチトラック)・複数物体(マルチオブジェクト)検出(図16F)、転轍機・軌道ならびに/もしくは物体検出(図16G)、転轍機検出(図16H))と共に提供する。
ウェブ・クライアント962は、360度映像および/または種々の異なるモードの他の映像の再生を提供するソフトウェア・アプリケーションによって機能を拡張される。ソフトウェア・アプリケーションが例えば魚眼視表示(フィッシュアイ・ビュー)、湾曲視表示(デワープド・ビュー)、全景視表示(パノラマ・ビュー)、ダブル・パノラマ・ビュー、および四象限型視表示(クアッド・ビュー)等の映像再生を出力するモードを、ユーザ968は選択することができる。
図17は、本開示の実施にかかる移動資産964の内部状況を決定するプロセス970を示すフロー図である。映像解析システム910は、カメラ940(限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または資産964上、資産964内もしくは資産964近傍に配置される他のカメラを含む)、車両データコンポーネント934、気象部936、および経路管理/乗員名簿・GIS部938などの各種入力部972からのデータ信号を受信する。映像解析システム910は、教師あり学習および/または強化学習部974を用いてデータ信号を処理し、内部状況976(運転室の人の有無等)を決定する。
図18は、本開示の実施にかかる移動資産964の物体検出/場所特定(ロケーション)および外部ならびに内部で発生する障害物検出を判断するプロセス980を示すフロー図である。映像解析システム910は、カメラ940(限定するものではないが、360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、レーダー、LIDAR、および/または資産964上、資産964内もしくは資産964近傍に配置される他のカメラを含む)、車両データコンポーネント934、気象部936、および経路管理/乗員名簿・GIS部938などの各種入力部982からのデータ信号を受信する。映像解析システム910は、教師あり学習および/または強化学習部924、物体検出・場所特定部926、および障害物検出部928を用いて、データ信号を処理し(984)、障害物検出を判断し(986)、そして例えば軌道存在などの物体検出・場所特定(ロケーション)を判断する(988)。
説明の簡単化のために、プロセス970およびプロセス980を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
実時間データ取得・記録・データ共有システムは、高価値資産(例えば機関車等)の広範囲なデータ(イベント・動作データ、映像データおよび音声データ等)へのリアルタイムなアクセスあるいはほぼリアルタイムなアクセスを、遠隔にいるユーザ(資産所有者、オペレータおよび調査者等)に提供する実時間データ取得・記録システムおよびビューアと、連携して機能する。データ取得・記録システムは、資産に関係するデータを記録し、そのデータを遠隔データリポジトリおよび遠隔にいるユーザへと、インシデントの発生前、発生中、そして発生後にストリーム送信する。データは少なくともインシデントまたは緊急事態の時間までの入手可能な情報を形成するよう、遠隔データリポジトリへとリアルタイムにまたはほぼリアルタイムにストリーム送信され、これにより、資産に関わるインシデントを調査するために「ブラックボックス」を特定しダウンロードする必要性を事実上なくし、特定のデータのダウンロードを要求するために資産上のデータ取得・記録システムと連係し、ファイルを特定・転送し、そしてデータを視認するためにカスタムアプリケーションを用いる必要性をなくす。本開示の実時間データ取得・記録システムは、典型的な記録機能を保持し、そしてデータを遠隔データリポジトリおよび遠隔の末端ユーザ(エンドユーザ)へと、インシデント前、インシデント中、およびインシデント後にストリーム送信する機能を追加している。
遠隔にいるユーザ(資産所有者、オペレータおよび/または調査者)は、選択された資産に関する実況の(ライブの)/およびまたは履歴上の所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。リアルタイムにまたはほぼリアルタイムに動作を視認する機能によって、行動/挙動の迅速な評価および調整が可能となる。インシデントの際に、例えば、リアルタイム情報および/またはデータは、状況に対する優先順位付与に役立ち、第一対応者たちに有益な情報を提供することができる。通常動作の際には、例えば、準リアルタイム情報および/またはデータを、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。
遠隔にいるユーザは、ビューアを用いて選択された資産に関する所望のデータにナビゲートするために汎用ウェブ・ブラウザにアクセスして、リアルタイムまたはほぼリアルタイムに資産の動作効率と安全性を視認して分析することができる。ビューアは、リアルタイムにまたはほぼリアルタイムに、動作および/または360度映像を視認する機能を提供し、これにより、乗員の行動/挙動の迅速な評価および調整が可能となる。所有者、オペレータおよび調査者は、動作効率、人々の安全性、車両およびインフラストラクチャを視認し分析することができ、またインシデントを調査または検証することができる。インシデントの際に、例えば、360度映像は、状況に対する優先順位付与に役立ち、第一対応者たちおよび調査者に有益な情報を提供することができる。通常動作の際には、例えば、360度映像を、乗員の働きの監督やネットワークに亘る広い状況認識の支援のために用いることができる。さらに、遠隔にいるユーザは360度映像を、ビューアを用いて種々のモードで、図8の仮想現実デバイス828のような仮想現実デバイスを使用してまたは標準的なウェブ・クライアント(ウェブ・ブラウザ等)を通じて、視認することができ、これにより、映像を見るために外製アプリケーションをダウンロードして使用する必要がなくなる。
データ共有システムにより、ユーザがデータ取得・記録システムから得られたデータを遠隔にいるユーザたちと共有することができる。ユーザは、インターネット・アクセスおよび最近のウェブ・ブラウザを有する遠隔受信エンドユーザたちと、安全で、制御され、追跡され、監査された方法で、データを共有することができる。ユーザは、ファイルを共有する代わりに、データへのURLを共有する。URLベースのデータ共有により、ユーザは機密データを制御し、追跡しそして監査することができる。ユーザは、無許可データの流出の虞なく世界の交通機関システムの安全性を向上するためにデータを共有することができることになる。データを、ウェブ・クライアントを用いる調査者は遠隔にいるユーザと、「ブラックボックス」を特定しダウンロードする必要なく、共有することができる。
データには、限定するものではないが、資産からおよび/または資産近傍から得られるアナログ・周期的パラメータ(速度、圧力、温度、電流、電圧および加速度等)と、論理(ブール)データ(スイッチ位置、アクチュエータ位置、警告灯照明および作動器命令(アクチュエータ・コマンド)等)と、地球測位システム(GPS)データおよび/または地理情報システム(GIS)データ(位置、速度および高度等)と、内部発生情報(資産に対してその現在位置に決められた規制速度制限等)と、資産内、資産上または資産の近傍において種々の場所に配置されるカメラからの映像・画像情報と、資産内、資産上または資産の近傍において種々の場所に配置されるマイクロホンからの音声情報と、データセンタから資産に送信される資産のための業務計画に関する情報(経路(ルート)、時刻表(スケジュール)および積み荷目録情報等)と、資産が現在動作しているまたは動作する計画である領域の環境条件(現在・予報気象条件を含む)に関する情報と、システムによって生成される資産制御状態および動作データ(機関車におけるポジティブ・トレイン・コントロール(PTC)等)と、限定するものではないが追加のデータ・映像・音声分析・解析を含む上記のもののうちのある組み合わせから得られるデータと、を含めることができる。
図19および図20は、本開示の二つの面を実現できる第一実施形態および第二実施形態の実際的な実施のそれぞれの、例示的なリアルタイム・データ取得・記録システム(DARS)100,200を示す。車両または移動資産148,248に設置され、機内搭載有線および/または無線(ワイヤレス)データリンク170,270(ワイヤレス・ゲートウェイ/ルーター等)や、DARS100,200のデータセンタ150,250を通じたデータリンク(無線データリンク146等)を介した搭載されていない情報源(ソース)の、任意の組み合わせを通じて、任意の数の種々の情報源と通信する、データレコーダ154,254を、DARS100,200は有する。データレコーダ154,254は、機内搭載データ管理器(マネージャ)120,220と、データエンコーダ122,222と、車両イベント検出器156,256と、キュー入力保管器(キューイング・リポジトリ)158,258と、ワイヤレス・ゲートウェイ/ルーター172,272と、を備える。さらに、この実施においては、データレコーダ154,254は、耐衝撃メモリモジュール118,218、および/またはパワー・オーバー・イーサネット(POE)を有するもしくは有さないイーサネット・スイッチ162,262を有することができる。例示的な耐性メモリモジュール118,218は、例えば、連邦規則集および連邦鉄道局規則に準拠する衝撃耐性イベント・レコーダ・メモリ・モジュール、連邦規則集および連邦航空局規則に準拠する衝撃下残存可能(クラッシュサバイバブル)メモリユニット、適用されうるあらゆる連邦規則集に準拠する耐衝撃メモリモジュール、または当該技術において知られている任意の他の適当な耐性メモリモジュールとすることができる。図2および図20に示す第二実施形態においては、データレコーダ254はさらに、任意選択的な非耐衝撃着脱可能記憶装置219を有することができる。
有線および/または無線データリンク170,270は、離散信号入力、標準または独自開発のイーサネット、シリアル接続ならびに無線接続の任意の一つまたは任意の組み合わせを含むことができる。イーサネット接続デバイスは、データレコーダ154,254のイーサネット・スイッチ162,262を利用することができ、またPOEを利用することができる。イーサネット・スイッチ162,262を内部または外部のスイッチとすることができ、POEに対応することができる。加えて、遠隔データソース(図1、図2、図19および図20の実施における、地図部164,264経路管理/乗員名簿部124,224、および気象部126,226等)からのデータは、データセンタ150,250から無線データリンク146,246とワイヤレス・ゲートウェイ/ルーター172,272を介して、機内搭載データマネージャ120,220と車両イベント検出器156,256とにおいて入手可能である。
データレコーダ154,254は、資産の構成に応じて様々に変更しうる広範囲な種々のソースからデータまたは情報を、機内搭載データリンク170,270を介して収集する。データエンコーダ122,222は、一般に規制機関によって決められる少なくとも最小セットのデータを符号化する。本実施において、データエンコーダ122,222は、広範囲な種々の資産148,248ソースとデータセンタ150,250ソースからデータを受信する。情報ソースには、資産148,248における任意の数のコンポーネント(アナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両制御器(コントローラ)108,208、エンジンコントローラ110,210、慣性センサ112,212、地球測位システム(GPS)114,214、カメラ116,216、ポジティブ・トレイン・コントロール(PTC)/信号データ166,266、燃料データ168,268、携帯電話送信検出器(図示せず)、内部駆動データおよび任意の追加データ信号等)と、データセンタ150,250における任意の数のコンポーネント(経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、および任意の追加データ信号)と、を含めることができる。カメラ116,216、または画像測定デバイスおよび/または映像測定デバイスには、限定するものではないが、資産148内部および資産の外部の360度カメラ、固定カメラ、狭角カメラ、広角カメラ、360度魚眼カメラ、および/または他のカメラが含まれる。データエンコーダ122,222はデータを圧縮しまたは符号化し、データを時間同期させて、遠隔データリポジトリ130,230への効率的なリアルタイム送信および複製を円滑に行う。データエンコーダ122,222は、機内搭載データマネージャ120,220に符号化データを送信し、そして機内搭載データマネージャ120,220は、耐衝撃メモリモジュール118,218およびキューイング・リポジトリ158,258に符号化データを保存し、データセンタ150,250に配置される遠隔データマネージャ132,232を介して遠隔データリポジトリ130,230へと複製する。任意選択的に、機内搭載データマネージャ120,220は、図2および図20に示す第二実施形態の非耐衝撃着脱可能記憶装置219に符号化データの第三のコピーを保存することができる。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、データ複製プロセスを管理するよう協働することができる。データセンタ150,250における一つの遠隔データマネージャ132,232は、複数の資産148,248からのデータの複製を管理することができる。
各種入力部からのデータおよび運転室(インキャブ)オーディオ/グラフィックユーザインタフェース(GUI)160,260からのデータは、車両イベント検出器156,256へ送信される。車両イベント検出器156,256はデータを処理して、資産148,248に関わるイベント、インシデントまたは他の所定の状況が発生したか否かを判断する。車両イベント検出器156,256が、所定のイベントが発生したことを示す信号を検出したとき、車両イベント検出器156,256は所定のイベントが発生したことを示す処理データを、その所定のイベントの周辺の裏付けデータとともに機内搭載データマネージャ120,220へと送信する。車両イベント検出器156,256は、広範囲な種々のソース(資産の構成に応じて変更しうるアナログ入力102,202、デジタル入力104,204、I/Oモジュール106,206、車両コントローラ108,208、エンジンコントローラ110,210、慣性センサ112,212、GPS114,214、カメラ116,216、経路管理/乗員名簿部124,224、気象部126,226、地図部164,264、PTC/信号データ166,266、燃料データ168,268等)からのデータに基づいてイベントを検出する。車両イベント検出器156,256がイベントを検出したとき、検出された資産イベント情報はキューイング・リポジトリ158,258に記憶され、また任意選択的に、インキャブ・オーディオ/グラフィカルユーザーインターフェイス(GUI)160,260を通じて資産148,248の乗員に知らせることができる。
機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158にデータを送信する。準リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信される符号化データおよび任意のイベント情報を、耐衝撃メモリモジュール118,218およびキューイング・リポジトリ158,258に記憶する。図2および図20の第二実施形態において、機内搭載データマネージャ220は、任意選択的に非耐衝撃着脱可能記憶装置219に符号化データを記憶することができる。5分間の符号化データがキューイング・リポジトリ158,258に蓄積された後、機内搭載データマネージャ120,220は、その5分間の符号化データを、データセンタ150,250における遠隔データマネージャ132,232を通じて遠隔データリポジトリ130,230へと、ワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,256を通して記憶する。リアルタイムモードにおいて、機内搭載データマネージャ120,220は、データエンコーダ122,222から受信された符号化データならびに任意のイベント情報を、耐衝撃メモリモジュール118,218へと、そして任意選択的に図2および図20の非耐衝撃着脱可能記憶装置219にも、そしてまたデータセンタ150,250における遠隔データマネージャ132,232を通じて遠隔データリポジトリ130,230へと、ワイヤレス・ゲートウェイ/ルーター172,272を介してアクセスされる無線データリンク146,246を通して、に記憶する。機内搭載データマネージャ120,220および遠隔データマネージャ132,232は、種々の無線通信リンク(Wi-Fi、携帯電話、人工衛星、ワイヤレス・ゲートウェイ/ルーター172,272を利用したプライベート無線システム等)を通して通信することができる。無線データリンク146,246は例えば、無線ローカルエリアネットワーク(WLAN)、無線都市域(メトロポリタン・エリア)ネットワーク(WMAN)、無線広域(ワイド・エリア)ネットワーク(WWAN)、プライベート無線システム、携帯電話ネットワーク、またはDARS100,200のデータレコーダ154,254からこの例においてはDARS100,200の遠隔データマネージャ130,230へとデータを転送する任意の他の手段、とすることができる。無線データ接続が利用可能でない場合、無線接続が回復されてデータ複製プロセスが再開できるまで、データはメモリに記憶され、キューイング・リポジトリ158,258内のキューに入れられる(キューイング・リポジトリ158,258にキュー入力される)。
データ記録と平行して、データレコーダ154,254は、連続的かつ自律的に遠隔データリポジトリ130,230にデータを複製する。複製プロセスは、二つのモード(リアルタイムモードおよび準リアルタイムモード)を有する。リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと毎秒複製される。準リアルタイムモードにおいては、データは遠隔データリポジトリ130,230へと5分毎に複製される。準リアルタイムモードに用いられる頻度(レート)は設定可能である。また、リアルタイムモードに用いられるレートは、データを遠隔データリポジトリ130,230へと0.10秒毎に複製することによって、高い分解精度データに対応させるよう調整することができる。DARS100,200が準リアルタイムモードにあるとき、機内搭載データマネージャ120,220はデータを、そのデータを遠隔データマネージャ132,232へと複製する前には、キューイング・リポジトリ158,258にキュー入力しておく。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された車両イベント検出器情報を遠隔データマネージャ132,232へと複製する。準リアルタイムモードは、データ複製プロセスの効率を向上するために、ほとんどの条件下で通常動作の際に用いられる。
リアルタイムモードを、資産148,248に搭載される車両イベント検出器156,256によって検出される機中で発生したイベントに基づいて、またはデータセンタ150,250から発せられる要求によって、起動することができる。データセンタ150,250が発するリアルタイムモードの典型的な要求は、遠隔にいるユーザ152,252がウェブ・クライアント142,242にリアルタイム情報を要求したときに発せられる。資産148,248機中でリアルタイムモードが発せられる典型的な要因には、車両イベント検出器156,256によるイベント、またはインシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、またはデータレコーダ154,254への入力電源の喪失)の検出がある。準リアルタイムモードからリアルタイムモードへと移行するとき、遠隔データリポジトリ130,230へとまだ複製されないすべてのデータが遠隔データリポジトリ130,230に複製され記憶され、そして実況の複製が開始される。準リアルタイムモードとリアルタイムモードとの間の移行は典型的には5秒未満で行われる。イベントまたはインシデントから所定時間が過ぎると、非作動状態が所定時間過ぎると、またはユーザ152,252がもはや資産148,248からのリアルタイム情報を不要とすると、データレコーダ154,254は準リアルタイムモードへと戻る。移行を開始するのに必要な所定時間は設定可能であり、典型的には10分に設定される。
データレコーダ154,254がリアルタイムモードにあるとき、機内搭載データマネージャ120,220は遠隔データマネージャ132,232へのそのキューを連続的に空けておくようにし、これにより、データを耐衝撃メモリモジュール118,218へとそして任意選択的に図2および図20の非耐衝撃着脱可能記憶装置219へと記憶し、そのデータを同時に遠隔データマネージャ132,232へと送信する。機内搭載データマネージャ120,220はまた、キューイング・リポジトリ158,258にキュー入力された、検出された車両イベント情報を遠隔データマネージャ132,232へと送信する。
データレコーダ154,254から複製すべきデータを受信すると、地図部164,264、経路管理/乗員名簿部124,224、および気象部126,226からのデータと共に、遠隔データマネージャ132,232は、その圧縮されたデータをDARS100,200のデータセンタ150,250における遠隔データリポジトリ130,230へと記憶する。遠隔データリポジトリ130,230は例えば、クラウドベースのデータ記憶装置または任意の他の適当な遠隔データ記憶装置とすることができる。データが受信されると、データデコーダ136,236が、遠隔データリポジトリ130,230からの最新複製データを復号し、そしてその復号化データを遠隔イベント検出器134,234へと送信するプロセスが開始する。遠隔データマネージャ132,232は、車両イベント情報を遠隔データリポジトリ130,230に記憶する。遠隔イベント検出器134,234が復号化データを受信したとき、その復号化データを処理してその復号化データ内に対象となるイベントが見つけ出されるか否かを判断する処理を行う。その後、資産148,248で発生したことに関するデータ内のイベント、インシデントまたは他の所定の状況を検出するために、復号された情報が遠隔イベント検出器134,234によって用いられる。遠隔データリポジトリ130,230に先に記憶された復号化データからの対象となるイベントの検出に応じて、遠隔イベント検出器134,234は、イベント情報と裏付けデータとを遠隔データリポジトリ130,230に記憶する。遠隔データマネージャ132,232が遠隔イベント検出器134,234情報を受信すると、遠隔データマネージャ132,232は遠隔データリポジトリ130,230内にその情報を記憶する。
遠隔にいるユーザ152,252は、車両イベント検出器情報を含む、特定の資産148,248または複数の資産に関する情報に、標準的なウェブ・クライアント(ウェブ・ブラウザ等)142,242、または本実施においては選択されたカメラからのサムネイル画像を表示できる図8の仮想現実デバイス828のような仮想現実デバイス(図示せず)を用いて、アクセスすることができる。ウェブ・クライアント142,242は、情報に対するユーザ152,252の要求をウェブサーバ140,240にネットワーク144,244を通じて、一般的なウェブ標準、プロトコルおよび技術を用いて伝達する。ネットワーク144,244を例えば、インターネットとすることができる。ネットワーク144,244をまた、ローカルエリアネットワーク(LAN)、都市域エリア・ネットワーク(MAN)、広域ネットワーク(WAN)、仮想プライベート・ネットワーク(VPN)、携帯電話ネットワーク、またはウェブサーバ140,240からこの例においてはウェブ・クライアント142,242へとデータを転送する任意の他の手段とすることができる。ウェブサーバ140,240は、データデコーダ136,236からの所望のデータを要求する。データデコーダ136,236は、ウェブサーバ140,240からの要求に応じて、特定の資産148,248または複数の資産に関する要求されたデータを遠隔データリポジトリ130,230から取得する。データデコーダ136,236は、要求されたデータを復号し、その復号化データを現地化器(ローカライザ)138,238に送信する。現地化(ローカライゼーション)は、データをエンドユーザが所望するフォーマットへと変換する、例えばデータをユーザの好みの言語および測定単位へと変換するプロセスである。ローカライザ138,238は、ウェブ・クライアント142,242にアクセスすることによってユーザ152,252によって設定されるプロファイル設定を認識し、そのプロファイル設定を用いて、ユーザ152,252に示すためにウェブ・クライアント142,242に送信される情報を未処理の符号化データとして準備し、検出されたイベント情報は遠隔データリポジトリ130,230に協定世界時(UTC)と国際単位系(SI単位)を用いて保存される。ローカライザ138,238は、復号化データをユーザ152,252が所望するフォーマット(ユーザ152,252の好みの言語および測定単位等)へと変換する。ローカライザ138,238は、ユーザ152,252の好みのフォーマットに現地化されたデータをウェブサーバ140,240に要求に応じて送信する。その後、ウェブサーバ140,240は、その資産のまたは複数の資産の視認および分析のための現地化されたデータをウェブ・クライアント142,242に送信し、ビューアを通じて標準映像および360度映像の再生およびリアルタイム表示を提供する。一つの資産のデータ、映像および音声を、または複数の資産のデータ、映像および音声を同時に、ウェブ・クライアント142,242は表示することができ、そしてユーザ152,252は視聴することができる。資産上の、資産内のもしくは資産近傍の、複数の資産の近くの、および/または複数の遠隔の現場の標準映像ソースと360度映像ソースとの両方からの、複数の映像・音声データと同期した再生およびリアルタイム表示を、ウェブ・クライアント142,242はまた提供することができる。ウェブ・クライアント142,242は、視認および分析のために映像と連係するユーザ152,252のためにビューア上に映像データを出力することができる。ユーザ152,252はまた、映像データを、ウェブ・クライアント142,242を用いてダウンロードすることができ、そして図8の仮想現実デバイス828のような仮想現実デバイスを用いて視認・分析のためにビューア上の映像データと連係することができる。
ウェブ・クライアント142,242は、映像データおよび/または360度映像の種々の異なるモードでの再生を提供するソフトウェア・アプリケーションによって機能を拡張できる。ソフトウェア・アプリケーションが例えば魚眼視表示(フィッシュアイ・ビュー)、湾曲全景視表示(デワープド・パノラマ・ビュー)、デワープド・ダブル・パノラマ・ビュー、および湾曲四象限型視表示(デワープド・クアッド・ビュー)等の映像再生を出力するモードを、ユーザ152,252は選択することができる。
ユーザ152,252は、インターネット・アクセスおよび最近のウェブ・ブラウザを有する遠隔にいる受信エンドユーザたちと、安全で、制御され、追跡され、監査された方法で、本開示のデータ共有システムを用いて、データをさらに共有することができる。ユーザ152,252は、ファイルを共有する代わりに、データへのURLを共有する。URLベースのデータ共有により、ユーザは機密データを制御し、追跡しそして監査することができる。ユーザは、無許可データの流出の虞なく世界の交通機関システムの安全性を向上するために、データを共有することができることになる。管理者は、ユーザ152,252およびそれぞれの遠隔にいる受信エンドユーザの元来的権限(ネイティブ・パーミッション)を増加しかつ/または減少する権限を有する。ユーザ152,252およびそれぞれの遠隔にいる受信エンドユーザの元来的権限によって、特定の遠隔にいる受信エンドユーザに、ウェブ・クライアント142,242上でデータを見せるべき権限が決まる。データ共有システムは、資産148,248の所有者、オペレータおよび調査者によって、車両の動作効率および安全に関するリアルタイム・データを共有するよう、用いられる。データの共有によって、行動/挙動の迅速な評価および調整が可能になる。
図21は、資産148,248からのデータおよび/または情報を、ウェブ・ブラウザ142,242または図8の仮想現実デバイス828のような仮想現実のデバイスを通じて共有するプロセス1000を示すフロー図である。典型的には、ユーザ152,252は、ウェブ・クライアント142,242を用いて、資産148,248データをデータセンタ150,250が共有することを要求することになる(1002)(図3)。データ共有の典型的な要因には、インシデント(オペレータによる非常停止要求の発信、非常ブレーキ作動、いずれかの軸方向への急激な加速もしくは減速、および/またはDARS100,200への入力電源の喪失)の検出がある。どのファイルも、遠隔にいる受信エンドユーザにはダウンロードされないまたは送信されないものとする。ユーザ152,252は、ウェブ・クライアント142,242における元来的権限が許可しているものよりも多くのものを共有することはできないものとする。遠隔にいる受信者エンドユーザは、ウェブ・クライアント142,242における自身の元来的権限に基づいて、データを見ることができるものとする。このような共有活動は、ウェブ・クライアント142,242によってデータセンタ150,250にログ記録される。管理者は、データを、そのデータへのウェブ・クライアント142,242を通じたアクセス権を元来有していない複数のユーザ152,252と、権限段階的拡大(パーミッション・エスカレーション)を用いて、共有することができる。このような権限段階的拡大活動もまた、ウェブ・クライアント142,242によってデータセンタ150,250にログ記録される。
先に説明した通り、ユーザ152,252は、ウェブ・クライアント142,242を用いて、車両イベント検出器156,256情報を含む情報にアクセスする。一般的なウェブ標準、プロトコルおよび技術(インターネット、プライベートなネットワーク144,244等)を用いて、ウェブ・クライアント142,242は、ユーザ152,252が所望する情報をウェブサーバ140,240と通信する。ウェブサーバ140,240は、データデコーダ136,236からの所望のデータを要求する。データは、データデコーダ136,236によって抽出され、そしてそのデータは、上述の通りデータをユーザ152,252が所望するフォーマットに変換するよう、ローカライザ138,238によって現地化される。その後、ウェブサーバ140,240は、ウェブ・クライアント142,242に現地化されたデータを、視認および分析のために送信する(1004)(図21)。
共有者エンドユーザ152,252は、この情報を複数の遠隔にいる受信エンドユーザと、車両イベント検出器156,256情報および映像データを含め、ウェブ・クライアント142,242を用いて、その受信エンドユーザがウェブ・クライアント142,242上で予め登録したアカウントを持っているかどうかに拘わらず、共有することができる。共有者エンドユーザ152,252は、情報を複数の遠隔にいる受信エンドユーザと、その受信エンドユーザがウェブ・クライアント142,242上で予め登録したアカウントを持っているかどうかに拘わらず、共有することができる。このプロセスの際に、ウェブ・クライアント142,242は、データセンタ150,250におけるデータを指定するURLを含む電子メールを生成することになる(1006)(図21)。遠隔にいる受信エンドユーザは、データにアクセスするためにURLアドレスを含んでいるその電子メールを受信する。そのURLアドレスは、ファイルへのリンクではない。ファイルはどれも受信者エンドユーザと共有されない。データは、離散的なファイルではなく、共有されるウェブ・ベースのビューア・リンクに基づいて遠隔データリポジトリ15から引き出されるある範囲のデータである。電子メールを介して送信されるURLアドレスは、受信エンドユーザがウェブ・ベースのビューアを介して静止画および映像と同期したデータの特定セグメントを閲覧することを可能にするウェブ・ベースのビューアへのリンクである。遠隔にいる受信エンドユーザがそのURLをクリックすると、共有される情報に自身のウェブ・クライアント142,242を用いてアクセスすることができるとともに、その共有活動は、ウェブ・クライアント142,242によってデータセンタ150,250にログ記録されることになる。
説明の簡単化のために、プロセス1000を一連のステップとして記述して説明する。なお、本開示にかかる複数のステップを種々の順でかつ/または同時に行うことができる。さらに、本開示にかかるステップを、ここでは提示せず説明していない他のステップとともに行うこともできる。さらにまた、すべての例示のステップが開示された主題にかかる方法を実施するのに必要ではない場合もある。
本願において用いられる、語「または(もしくは)」は、排他的な「または(もしくは)」ではなく包括的な「または(もしくは)」を意味することを意図している。すなわち、特に指定しない限り、または文脈から明らかではない限り、「XはAまたは(もしくは)Bを有する(含む)」は自然な包括的な順列のいずれかを意味する。すなわち、XはAを有する(含む)、XはBを有する(含む)、またはXはAとBの両方を有する(含む)とき、その場合XはAまたは(もしくは)Bを有する(含む)は、先の例のいずれでも成立する。さらに、「Xは、AとBの少なくとも一つを有する(含む)」は、自然な包括的な順列のいずれかを意味する。すなわち、XはAを有する(含む)、XはBを有する(含む)、またはXはAとBの両方を有する(含む)とき、その場合Xは、AとBの少なくとも一つを有する(含む)は、先の例のいずれでも成立する。本願においてそして添付の特許請求の範囲において用いられる冠詞「a」および「an」は、単数表示であることを特に指定しない限りまたは文脈から明らかではない限り、一般的に「一つ以上」を意味する構成と考えるべきである。さらに、全体を通した「実施(an implementation)」または「一の実施(one implementation)」の使用は、同じ実施形態、面または実施を意味することを、そのようには記載しない限り、意図していない。
本開示をいくつかの実施形態に関連して説明したが、本開示は開示した実施形態に限定されず、それとは反対に、添付の特許請求の範囲に記載される請求項の範囲内に含まれる種々の変更および等価な構成に及ぶよう意図されるものであり、その範囲は法の下で認められるそのような変更および等価な構成をすべて包含すべく広義解釈が与えられるべきものであることは理解されよう。