JP7470864B2 - 列車検査システム、および方法 - Google Patents

Description

本出願は、２０２１年２月２３日付けのＥＰ ２１１５８７５７．１号による優先権を主張し、その内容および要素をあらゆる目的のために参照により本明細書に組み込む。

本発明は、列車検査システムに関する。

列車の目視検査は、鉄道メンテナンスの重要な部分である。かかる検査は、エンジニアリングメンテナンスチームの最も重大な責任の１つであり、列車のサイズおよび長さにより、ならびに検査を繰り返さなければならない頻度により、多大な時間がかかる。結果として、手作業による人間の検査と関連付けられた顕著なコストがかかる。

より詳細には、部品性能試験および定期検査を組み合わせた定期的なメンテナンス活動を、列車に対して行わなければならない。一般的に、これらの活動は、毎日の走行適合性（fitness-to-run）試験、約３０～５０日の期間での中期試験、およびより長期の大規模オーバーホールを含むことがある。（下面、屋根、外観などの）目視検査タスクは、年間にわたる活動スケジュールの８％～１０％を占める場合がある。目視検査は、中期試験のたびに必須のものではないことがあるが、実施される場合は、試験カード要件に応じて、実施に３０分～３時間かかることがある。列車群が比較的小さくても、これは著しいメンテナンスの負担であり、列車群が大きくなると、目視検査を安全に行うのに必要な技術者リソースが大幅に増加する。一部の目視検査タスクの自動化により、メンテナンスの負担の一部を取り除くか、または検査を迅速化することができる。特に、人間の検査と並行して実施されるか、またはメンテナンス倉庫への列車進入などの他の非生産的列車操縦の間に実施することができる、自動検査報告によって、人間の検査員を支援できることが望ましいであろう。

本発明は上述の考慮事項に照らして考案されたものである。

概括的には、本発明は、静止カメラによってキャプチャされた画像フレームのシーケンスに基づいて、列車の異常を検出し、その場所を突き止める、システムおよび方法を提供する。メンテナンス技術者チームは次に、これらの結果を使用して、目視検査を実施したときに異常をより簡単に発見する助けとすることができる。

第１の態様では、本発明は列車検査システムを提供し、該システムは、
静止カメラによってキャプチャされた移動中の列車の検査画像フレームのシーケンスを受信するように構成された、カメラインターフェースと、
検査画像フレームのシーケンスをカメラインターフェースから受信するように構成された、プロセッサシステムと、
プロセッサシステムからの結果を出力するように構成された、通信インターフェースと、
プロセッサシステムに結合され、移動中の列車の画像フレームのシーケンスを正常からの逸脱に関して評価することを可能にするモデルを格納する、データベースと、
プロセッサシステムに結合され、プロセッサシステムによって実行されるコンピュータプログラム命令を格納する、プログラムストレージとを含み、
コンピュータプログラム命令は、プロセッサシステムによって実行されると、
検査画像フレームのシーケンスを画像解析して、画像フレームを列車の長さに沿った位置に割り当て、
モデルを使用して、検査画像フレームのシーケンスが閾値を超える正常からの逸脱を示す、移動中の列車における位置を識別し、
識別された位置およびそれに対応する正常からの逸脱を、通信インターフェースで予測異常として出力する。

有利なことに、結果として、その後の列車のメンテナンス技術者検査を、通信インターフェースで提供された予測異常の位置に集中させることができる。これは、人的リソースコストを低減し、技術者時間のより効率的な配備を可能にする助けとすることができる。

便利なことに、静止カメラは、ストリーミングカメラサービス、マイクロＰＣ（パーソナルコンピュータ）、またはＩｏＴ（モノのインターネット）デバイスによって、自動的に列車の移動を検出し検査画像フレームのシーケンスをキャプチャするのに提供することができる。

コンピュータプログラム命令による検査画像フレームのシーケンスの画像解析は、検査画像フレームのシーケンスにおける移動中の列車の開始位置および終了位置を検出することと、検出された開始位置および終了位置に対応するフレームに基づいて、画像フレームを列車の長さに沿った位置に割り当てることとを含んでもよい。より詳細には、移動中の列車が複数の結合された車両から形成されている場合、コンピュータプログラム命令による検査画像フレームのシーケンスの画像解析は、検査画像フレームのシーケンスにおける車両間移行の位置を検出することと、検出された車両間移行の位置に対応するフレームに基づいて、画像フレームを列車の長さに沿った位置に同じく割り当てることとを更に含んでもよい。このように、検査画像フレームのシーケンスにおけるあるフレームの位置を、実際の列車位置に相関させて、キャプチャされたシーケンスの時間的性質を距離情報へと変換することができる。

便利なことに、モデルは、画像フレームのシーケンスにおける空間的特徴表現を学習し、空間的特徴表現の時間的発展を学習するように構成された、ニューラルネットワークであってもよい。ニューラルネットワークは、正常を表す移動中の列車における検査画像フレームの複数の訓練シーケンスに対して訓練されてもよく、ニューラルネットワークは、検査画像フレームの各訓練シーケンスを受信する入力層と、画像フレームの対応するシーケンスを再構築する出力層とを有し、ニューラルネットワークの重みは、所与の訓練シーケンスと再構築されたシーケンスとの間の差を測定する目的関数を最小限に抑えるように調節される。便利なことに、各訓練シーケンスは一般的に、シーケンス全体の全ての画像フレームが同時に入力されるのではなく、シーケンス全体の画像フレームの一連のサブシーケンスとして入力される。同様に、再構築されたシーケンスは一般的に、一連の対応するサブシーケンスとして出力され、それらが互いに組み合わされて、再構築されたシーケンス全体を形成することができる。異常状態の異なる状態をモデル化することを試みるのではなく、正常の状態をモデル化することによって、異常状態の起こり得る全ての状態、場合によっては稀な状態を表す訓練データを提供する必要性を、有利に回避することができる。事実上、モデルによって、検査画像フレームの新しいシーケンスを正常画像シーケンスのデータセットと比較して、新しいシーケンスにおける違いまたは異常の度合を判定することが可能になる。

１つの可能なアーキテクチャとして、ニューラルネットワークは、検査画像フレームの各入力シーケンスから潜在表現を形成するエンコーダ部分と、潜在表現に対して動作して、画像フレームの対応する再構築されたシーケンスを形成するデコーダ部分とを有してもよく、エンコーダ部分は、入力シーケンスの個々のフレームを空間的に符号化する１つまたは複数の畳み込み層と、空間的に符号化されたフレームの時間順シーケンスを時間的に符号化して潜在表現を作成する１つまたは複数の長・短期記憶層とを有し、デコーダ部分は、空間的に符号化された再構築されたフレームの時間順シーケンスを潜在表現から作成する１つまたは複数の長・短期記憶層と、作成された空間的に符号化されたシーケンスから対応する再構築されたシーケンスを生成する１つまたは複数の畳み込み層とを有する。しかしながら、代替の時間依存の異常状態画像検出アーキテクチャも可能である。

ニューラルネットワークは、検査画像フレームのシーケンスをニューラルネットワークに入力して、そこから画像フレームのそれぞれの再構築されたシーケンスを出力し、検査画像フレームのシーケンスからの画像フレームと、画像フレームのそれぞれの再構築されたシーケンスからの対応する画像フレームとのピクセル毎の比較を実施する誤差関数の値を計算し、誤差関数が所定の閾値を超えるとき、正常からの逸脱を判定することによって、検査画像フレームのシーケンスが正常からの逸脱を示す、移動中の列車における位置を識別するのに使用されてもよい。

一般的に、各列車は固有の識別子を有する。システムはそのため、検査画像フレームのシーケンスがキャプチャされ予測異常が出力された所与の列車に関して、所与の列車の固有の識別子および関連する出力された予測異常を格納する、プロセッサシステムに結合されたデータストレージを更に含んでもよい。この場合、カメラインターフェースは、制御コマンドを静止カメラに対して発行するように更に構成されてもよく、プロセッサシステムは、静止カメラが検査画像フレームのシーケンスをキャプチャする各列車を識別する、固有の識別子を受信するように構成されてもよく、コンピュータプログラム命令は、プロセッサシステムによって実行されると、静止カメラに対して発行される制御コマンドをカメラインターフェースに送信して、データストレージに格納された固有の識別子が新しい列車の固有の識別子と一致する場合に、新しい列車の検査に関するフレームキャプチャレートを増加させてもよい。特に、制御コマンドは、データストレージに格納された関連する出力された予測異常の識別された位置を含む列車の領域に関してのみ、フレームキャプチャレートを増加させてもよい。この集中的な形でフレームキャプチャレートを増加させることによって、検査システムは、異常が繰り返し発生するかまたは持続する確率がより高い列車または列車領域に対するシステムの感度を増加させることができる。

通信インターフェースは、出力された予測異常に応答して、列車のメンテナンス技術者検査からのメンテナンス報告を受信するように構成されてもよく、報告インターフェースは、メンテナンス報告をプロセッサシステムに送信する。コンピュータプログラム命令はそのため、プロセッサシステムによって実行されると、メンテナンス報告がいずれかの実際の異常を識別しているかを判定し、実際の異常がメンテナンス報告において識別されていない場合、列車からの検査画像フレームのシーケンスが正常を表していることを反映するように、格納されたモデルを更新し、あるいは１つまたは複数の実際の異常が報告において識別されている場合、検査画像フレームのシーケンスにおいて異常を示している１つまたは複数のフレームを、それらの異常を表すものとして分類し、分類された１つまたは複数のフレームを異常ライブラリに保存する。実際の異常が識別されていない場合、かかる更新は、予測異常の偽陽性出力が今後行われる確率を低減する助けとなり得る。例えば、モデルが、正常を表す移動中の列車の検査画像フレームの複数の訓練シーケンスに対して訓練されたニューラルネットワークである場合、検査画像フレームの瞬間的偽陽性シーケンスを、正常を表す訓練シーケンスとして分類し、またそれを使用して、ニューラルネットワークを再訓練し、それによって漸増的に改善することができる。異常ライブラリに関しては、異常の十分な例が保存されていれば、例えば、更なるニューラルネットワークモデルが検査画像フレームの更なるシーケンスにおける類似の画像フレームを検索するように訓練される、別のモデルを展開するのに使用することができる。この更なるモデルは、したがって、（正常からの逸脱だけではなく）異常のタイプを明確に識別して、検査システムが、この異常に以前直面したときに講じた以前の措置に基づいて、提案されるメンテナンス措置を出力することも可能にすることができる。かかる更なるモデルでは、モデル化の労力および後に続く異常の識別を、ケーブル布線、車軸など、関心の部分または区画のみに集中させるため、画像マスキングが使用されてもよい。しかしながら、かかるマスキングにかかわらず、画像フレーム間の時空間関係を保存することができる。

第２の態様では、本発明は、第１の態様の列車検査システムと、線路上を移動している列車の検査画像フレームのシーケンスをキャプチャするために静止カメラが設置される線路とを有する、列車倉庫を提供する。例えば、線路は、倉庫のメンテナンスレーンであってもよい。

第３の態様では、本発明は列車検査を実施する方法を提供し、該方法は、
静止カメラによってキャプチャされた移動中の列車の検査画像フレームのシーケンスを受信することと、
移動中の列車の画像フレームのシーケンスを正常からの逸脱に関して評価することを可能にするモデルを提供することと、
検査画像フレームのシーケンスを画像解析して、画像フレームを列車の長さに沿った位置に割り当てることと、
モデルを使用して、検査画像フレームのシーケンスが閾値を超える正常からの逸脱を示す、移動中の列車における位置を識別することと、
識別された位置およびそれに対応する正常からの逸脱を、通信インターフェースで予測異常として出力することとを含む。

故に、第３の態様の方法は第１の態様のシステムに対応する。したがって、第１の態様のシステムの好ましい特徴または任意の特徴は、第３の態様の方法にも関与する。

方法は、出力された予測異常に応答して、列車のメンテナンス技術者検査を実施して、予測異常に対応する実際の異常を識別することを含んでもよい。

方法は、静止カメラによって、移動中の列車の検査画像フレームのシーケンスをキャプチャすることを含んでもよい。

本発明は、態様と記載される好ましい特徴または任意の特徴との組み合わせが、明らかに容認不能であるかまたは明示的に回避される場合を除いて、かかる組み合わせを含む。

以下、本発明の原理を例証する実施形態および実験について、添付図面を参照して考察する。

列車検査システムを概略的に示す図である。 出力された予測異常の一例を示す図であって、左側には、関連付けられたタイムスタンプおよび列車位置とともに異常の画像フレームを示し、右側には、円で囲まれた異常における正常からの逸脱とともに、フレーム番号または時間に対してプロットされた正常に対する類似性のプロットを示す図である。 列車車両検出プロセスにおける段階を概略的に示す図である。 車両検出およびフレーム割当ての概要を概略的に示す図である。 フレームのシーケンスにわたる特徴の移動を識別することによって判定されるフレーム位置を概略的に示す図である。 ニューラルネットワークアーキテクチャを概略的に示す図である。 ニューラルネットワークの訓練プロセスを概略的に示す図である。 ニューラルネットワークの訓練プロセスを概略的に示す図である。 ニューラルネットワークの訓練プロセスを概略的に示す図である。 検査画像フレームのシーケンスから異常が予測されない場合のプロセスを概略的に示す図である。 検査画像フレームのシーケンスから異常が予測される場合のプロセスを概略的に示す図である。 検査画像フレームのシーケンスから異常が予測され、また異常のタイプが更なるモデルによって識別される場合のプロセスを概略的に示す図である。

一方、異常が予測され、その異常が存在するかしないかを確認するためにメンテナンス技術者が送られる場合、２つの可能性がある。第１の可能性は、実際の異常が確認されないことである。この場合、検査画像フレームのシーケンスを「正常」データセットに追加し、モデルを改良するのに再び使用することができる。第２の可能性は、予測を確認する実際の異常が識別されることである。この場合、異常は修理することができるが、システムはまた、検査画像フレームのシーケンスにおいて異常を示している１つまたは複数のフレームを、それらの異常を表すものとして分類することができ、分類された１つまたは複数のフレームを異常ライブラリに保存して新しい画像データセットを構築し、最終的にはその画像データセットを使用して、異常を明確に識別することができる新しいモデル（例えば、後述するマスクＲＣＮＮ）を訓練することができる。このプロセスは図９に概略的に示されている。

以下、本発明の態様および実施形態について、添付図面を参照して考察する。更なる態様および実施形態が当業者には明白となるであろう。本明細書で言及される全ての文書は参照により本明細書に組み込まれる。

現在、コンピュータビジョンおよび機械学習技法は、特に、鉄道および航空宇宙などの高リスクで信頼要求が高い業界では、人間の専門家に完全に取って代わることはできない。しかしながら、特定のタスクに関連してかかる技法によって人間の専門知識を補って、全体性能を向上させることはできる。あるいは、技術者リソースが限定され、時間がかかる高頻度の検査を大規模の列車群に対して実施するタスクが与えられた、人間の専門家によるメンテナンスチームは、セーフティクリティカルな意思決定を要しない、より単純なタスクを自動化することによって、大幅な利益を得ることができる。

本発明は、列車に対する目視検査タスクの自動化を可能にする、即ち、車台および屋根の損傷、フィルタ閉塞、外部および内部の落書き、ならびに表面的損傷などの異常について検査する、列車検査システムを提供する。有利なことに、この自動化された検査は、人間の検査員が実施するには安全ではないであろう倉庫操作の間に行われ、したがって技術者のダウンタイムを取り戻し、コスト削減をもたらすことができる。

自動化された目視検査の問題に対処する従来のエキスパートシステムは、一般的に、異常検出の準備として単一のエンティティ（例えば、自動車）の複数の画像が互いにスティッチングされる、画像スティッチングの方策を採用している。比較的小さい外部を有する自動車の場合、これが可能である。しかしながら、列車は一般的に、連続して結合された多くの比較的長い車両を備える。それ故、「正常」データセットまたはモデルと比較することができる画像が得られることを担保するのに、高い精度が記録デバイスに必要とされるので、列車の多くの画像を互いにスティッチングして、列車全体はもちろんのこと単一の車両であっても、単一の画像を形成することは問題となる。列車の速度に対する小さい変化であっても、画像処理要件に影響を及ぼすものと思われ、移動中の列車における位置を正確に判定し、適切な動的速度で画像キャプチャするのに専門装置が必要となることがある。同じ困難が、静止した列車の下方または側方における移動検査車両追跡に当てはまるであろう。加えて、かかる追跡車両は、人間の係員との衝突を回避することの必要性により、安全上の懸念をもたらし、遅延を引き起こすであろう。

一方、列車全体に及ぶ単一画像に適用される自動化された目視検査は、列車全体の車両にわたる平均化効果を被る可能性が高いと思われ、それによって、エキスパートシステムが位置確認された異常を識別すること、または異常が識別されるとその位置を正確に突き止めることが困難になる可能性がある。

加えて、エキスパートシステムが、特定のタイプの異常を明確に識別することによる異常検出に依存している場合、多種多様な異常状態がシステムにおいて十分に考慮されないという顕著な可能性が存在する。特に、多くの故障モードの異常状態または異常は正常予測動作と比較して稀なので、機械学習アルゴリズムまたは類似のものを訓練するのに十分なサイズの画像データセットを構築するには、多大な時間がかかる場合がある。

したがって、本発明は異なる方策をとり、静止カメラがキャプチャした移動中の列車の時空間データ記録（即ち、検査画像フレームのシーケンス）を使用する、列車検査システムを提供する。システムは、時空間データ記録を試験し、モデルと比較することによって、データ記録が正常からの逸脱に関して評価されることを可能にする。例えば、モデルは、以前は正常と判定された対応する時空間データ（一般的には多量）から展開させることができる。システムは次に、異常状態のレベルを、空間的に、例えば画像シーケンスにおける個々のフレームの異常状態のレベルを、また時間的に、例えば所定の期間または画像フレームセットにわたる異常状態のレベルを、判定することができる。したがって、時空間解析を用いて、各画像フレーム自体の特徴を考慮することができ、可能性がある異常の列車に沿った位置を、フレームのシーケンスにおけるその位置を参照して識別することができる。このように、異常（損傷、汚れ、または欠損部品など）の存在および重大度、ならびにその位置を識別し、人間の専門家に通信することができる。

例えば、自動化された検査の結果を得て、メンテナンス技術者は、列車を検査し、システムによって予測された異常が正確であって実際の異常に対応するか否か、または無視することができる（即ち、実際の異常は発見されていない）かを判定することができる。前者の事例では、実際の異常を表す時空間データ記録からの１つまたは複数のフレームを、異常ライブラリに保存して、明確な識別によって異常検出を実施するエキスパートシステムを展開するのに使用することができる。後者の事例では、時空間データ記録を、正常を表すものとして分類し、モデルを更新するのに使用することができる。したがって、列車検査システムは、システムが使用するモデルが漸増的に改善され、明確な識別のエキスパートシステムの基礎も漸増的に展開される、段階的方策を可能にする。

異常が技術者によって視認されると、必要な修理作業またはメンテナンスが判定されログに記録される。加えて、列車に対する固有の識別子を、また一般には影響を受けている車両も、データストレージに記録することができるので、増加したリスクレベルを列車に割り当てることができる。列車のその後の検査に備えて、以前のメンテナンスログ、画像データ、および他の記録データを列車検査システムに転送することができる。この履歴データは、警告通知をメンテナンス技術者に対して発行するようにシステムに指示することができる。加えてまたは代わりに、以前に識別された異常の位置を含む列車領域において、システムは、フレームキャプチャレートを動的に増加させてその領域のより詳細な情報を得るように、カメラに命令することができる。その後の異常が発見されないか、または以前の問題が再発していない場合、その後の検査に対して領域のリスクを格下げすることができ、即ち、通常のフレームキャプチャレートで実施することができる。

図１は、かかる列車検査システム１０を概略的に示している。システムは、線路に設置された静止カメラ１６がキャプチャする移動中の列車１４の画像フレームを受信する、カメラインターフェース１２を有する。例えば、軌道は列車メンテナンス倉庫のメンテナンスピットレーン１８であることができる。システムは、専用端末またはＰＣなどの便利な入出力デバイス２２と通信する、通信インターフェース２０を更に有する。システム１０は、プロセッサシステム２４と、プロセッサシステムに両方とも結合された、データベース２６およびプログラムストレージ２８とを含む。システム１０はまた、列車の固有の識別子、ならびにそれに関連する以前視認された異常および修理またはメンテナンス作業の記録を記録する、データストレージ（図１には図示なし）を含む。これらの項目の一部または全てを、ローカルコンピュータ設備に、例えばメンテナンス倉庫の制御室に実装することができる。あるいは、それらの一部または全てを、遠隔で、例えばクラウドコンピューティング環境に実装することができる。データベース、プログラムストレージ、およびデータストレージは、コンピュータ可読媒体の形態である。

より詳細には、静止カメラ１６は、時空間データ記録を移動中の列車１４の検査画像フレームのシーケンスの形態でキャプチャし、それらは次に、カメラインターフェース１２を介してプロセッサシステム２４によって受信される。一般的なフレームキャプチャレートは、１秒当たり１０～６０フレームの範囲である。プロセッサシステム２４は、カメラからの画像ストリームにおける大幅な移動を検出するスクリプトを常に稼働させてもよい。大幅な移動とは、例えば、キャプチャシーケンスの開始および終了をトリガする、列車の進入または進出であるが、照明の変化、または振動などによるカメラのわずかな移動は、カメラをトリガするのには不十分である。このように、不必要なデータのキャプチャを回避することができる。

プログラムストレージ２８は、プロセッサシステム２４が実行するためのコンピュータプログラム命令を格納する。これらの命令は、最初に、プロセッサに検査画像フレームのシーケンスを解析させて、画像フレームを列車１４の長さに沿った位置に割り当てさせる。次に、プロセッサシステムに、データベース２６に格納されたモデルを使用させて、正常からの逸脱に関して画像フレームのシーケンスを評価させる。列車に沿った位置およびそれに対応する正常からの逸脱によって特徴付けられる予測異常は、通信インターフェース２０を介して出力されて、入出力デバイス２２で読み取られる。図２は、出力された予測異常の一例を示し、左側には、関連付けられたタイムスタンプおよび列車位置とともに異常の画像フレームを示し、右側には、円で囲まれた異常における正常からの逸脱とともに、フレーム番号または時間に対してプロットされた正常に対する類似性のプロットを示している。技術者によって視認された実際の異常は、関連する修理またはメンテナンス作業とともに、入出力デバイス２２および通信インターフェース２０を介してシステム１０に報告することができる。

次に、画像フレームを列車１４の長さに沿った位置に割り当てるため、プロセッサシステム２４によって実施される画像解析について、更に詳細に考察する。プロセッサシステム２４は、画像フレームを通過する列車車両、即ち先頭車両、車両１、車両２、車両ｎを列車の後尾まで識別し、次に時空間データを、即ち個々の画像フレームを、それらが表す車両に割り当てる。例えば、先頭車両の特性（空力形状エッジ検出、ならびに先頭車両が画像に入ってきていて、その前に接続している車両がないことを示す、画像の一方の側のみにある移動中の物体の存在など）を使用して、続きの画像を先頭車両として識別しラベリングする。同様の特性（空力形状エッジ検出、ならびに先頭車両が画像から出ていっていて、その後に接続している車両がないことを示す、画像の他方の側にある移動中の物体の存在など）を使用して、フレームを後尾車両に割り当てることができる。中間車両は、検査画像フレームのシーケンスにおける車両間移行を検出することによって（例えば、１つの車両の後尾および新しい車両の先頭のエッジと、車両間の結合部の配置とを検出することによって）検出することができ、フレームがこれらの車両に適宜割り当てられる。図３は、列車車両検出プロセスにおける段階を概略的に示している。

車両の検出および識別を支援するため、列車検査システム１０は、ＴＭＳ（列車管理システム（Train Management System））、ＯＴＭＲ（列車内監視レコーダ（On Train Monitoring Recorder））、メンテナンススケジューリング、または技術者からのライブ入力などの、車載システムから入力データを受け取ることができる。これらは、列車ユニット番号、およびメンテナンスピットレーン１８に沿った移動方向を判定して、車両１が列車の前部にあるか（通常の前進移動）または列車の後部にあるか（逆移動）を確立することができる。

画像解析は、特徴を追跡することを可能にし、それらの位置を、実際のキャプチャフレームレートと同じであってもよい所望のキーフレームレートで記録する。キーフレーム同士の特徴の位置を比較することによって、距離の測定値を計算することができる。キーフレームは次に、列車の先頭からの、ならびに／あるいは列車のそれぞれの車両の先頭からの基準位置としてラベリングすることができる。キーフレーム以外のフレームは、最も近いキーフレームの距離ラベルでラベリングすることができる。一般的に、その結果、車両検出およびフレーム割当ての概要である図４に概略的に示されるように、列車の各車両に対する画像フレームのセットが得られる。一定のフレームレートおよび一定の列車移動速度を仮定して、列車におけるいずれか所与のフレームの位置（例えば、車両番号、および車両の後尾からの距離によって指定される）を次に、所与のキーフレームに対するフレーム番号から判定することができる。あるいは、または加えて、ピクセル数と距離との間の関係が確立されている場合、フレーム位置は、図５に概略的に示されるように、フレームのシーケンスにわたる特徴の移動を識別することによって判定することができる。より正確な位置は、列車移動速度、キーフレームレート、および／またはキャプチャフレームレートの何らかのばらつきを考慮に入れることによって、提供することができる。これらのレートのばらつきは、異常位置確認の精度、およびエッジ検出に対する処理要件を変更するのに使用することができる。しかしながら、追跡速度限界、車両タイプ、および画像キャプチャ要件を適合させるために変更してもよい。列車におけるフレーム位置が分かっていることにより、フレームによって検出されたいずれかの異常（例えば、損傷、汚れ、欠損部品など）の位置を相応に突き止めることが可能になる。

次に、モデルについて、またそれをどのように使用して、正常からの逸脱がある位置を識別するかについて、更に詳細に考察する。

便利なことに、モデルは、画像フレームのシーケンスにおける空間的特徴表現を学習し、空間的特徴表現の時間的発展を学習するように構成された、ニューラルネットワークであることができる。図６は、かかるニューラルネットワークの考えられるアーキテクチャを概略的に示している。これは、Ｙｏｎｇ Ｓｈｅａｎ Ｃｈｏｎｇらによって説明されている「オートエンコーダ」アーキテクチャに基づいている。時空間学習の更なる考察は、Ｍａｈｍｕｄｕｌ Ｈａｓａｎらによって説明されている。ニューラルネットワークは入力層と出力層とを有する。入力層は、ニューラルネットワークの訓練フェーズにおける複数の訓練シーケンスの１つである、移動中の列車の検査画像フレームのシーケンス、またはモデルを実際に使用してカメラ１６によってキャプチャされた検査画像フレームを受信する。出力層は、移動中の列車の画像フレームの再構築されたシーケンスを提供する。これらの層の間には、入力シーケンスを空間的および時間的に符号化するエンコーダ部分と、入力シーケンスの潜在表現と、潜在表現から画像フレームの再構築されたシーケンスを生成するデコーダ部分とがある。エンコーダ部分は、一般的に、訓練シーケンスの個々のフレームを空間的に符号化する１つまたは複数の畳み込み層と、空間的に符号化されたフレームのサブシーケンスを時間的に符号化して潜在表現を作成する、１つまたは複数の長・短期記憶（ＬＳＴＭ）層とを有する。デコーダ部分はその逆を行い、一般的に、空間的に符号化された再構築されたフレームのサブシーケンスを潜在表現から生成する、１つまたは複数のＬＳＴＭ層と、生成されたサブシーケンスから再構築されたシーケンスを生成する、１つまたは複数の畳み込み層とを有する。

図７Ａ～Ｃは、ニューラルネットワークの訓練プロセスを概略的に示している。図７Ａに示されるように、移動中の列車の検査画像フレームの複数の訓練シーケンスの「正常」データセットが蓄積され、シーケンスおよび列車は正常を表している。一般的に、検査画像はカラーではなくグレースケールである。次に、図７Ｂは、エンコーダ部分の動作を概略的に示している。各訓練シーケンスは、一般に、シーケンスの一連のサンプリングされたクリップ（即ち、サブシーケンス）として、ニューラルネットワークに入力される。第１の畳み込み層は、各クリップからのｎ枚の画像（ｎは一般的に５～１０）をそれぞれ空間フィルタ処理し、第２の畳み込み層はそのプロセスを繰り返す。次に、ＬＳＴＭ層は、ｎ枚の二重にフィルタ処理された画像から潜在表現を形成する。図７Ｃは、デコーダ部分が各クリップに対応する再構築されたサブシーケンスを生成する、逆動作を概略的に示している。

訓練の目的は、再構築されたシーケンスが訓練シーケンスを最適に表すように、ニューラルネットワークの重みを調節することである。より詳細には、訓練シーケンスからの再構築されたシーケンスの再構築誤差を最小限に抑えることによって、教師なしの方式で逆伝播を使用してモデルを訓練することができる。フレーム誤差ｅは、訓練シーケンスの各画像フレームおよび再構築されたシーケンスの対応するフレームに対してピクセル毎の比較を実施し、次式の通り、２つのフレーム間のユークリッド距離を計算することによって、判定することができる。
ｅ（ｘ，ｙ，ｔ）＝｜｜ｌ（ｘ，ｙ，ｔ）－ｆ_ｗ（ｌ（ｘ，ｙ，ｔ））｜｜_２
式中、ｌは強度、ｘおよびｙはピクセル座標、ｔは列車に沿ったフレーム位置と等価である所与のフレームの時間、ｆ_ｗは時空間モデルの学習した重みであり、所与のフレームにおける全てのピクセル毎の誤差全体を合算することによって、次式の通り、そのフレームの再構築誤差が得られる。
ｅ（ｔ）＝Σ_{（ｘ，ｙ）}ｅ（ｘ，ｙ，ｔ）

フレームのクリップまたはサブシーケンスの再構築誤差は、それらのフレーム全体のｅ（ｔ）を合算することによって計算することができる。一般的に、訓練は、個々のフレームの再構築誤差またはシーケンス全体の再構築誤差ではなく、フレームのクリップまたはサブシーケンスの再構築誤差を最小限に抑えるために実施される。

一旦訓練されると、モデルを使用して、実際の検査画像フレームのシーケンスが閾値を超える正常からの逸脱を示す、移動中の列車における位置を識別することができる。この目的のため、実際の（やはり一般的にグレースケールである）検査画像フレームがニューラルネットワークに入力され、画像フレームの対応する再構築されたシーケンスがネットワークから出力される。やはり、検査画像フレームは、別個のクリップ（即ち、フレームのサブシーケンス）として入力することができ、対応する再構築されたクリップがニューラルネットワークによって生成される。上述の再構築誤差は、実際の検査画像フレームを再構築された画像フレームと比較することによって、各クリップについて計算される。次に、再構築誤差を０～１の間でスケーリングすることによって、次式の通り、各クリップについて異常状態スコアｓ_ａが計算される。
ｓ_ａ＝（ｓ_ａ－ｓ_{ａ，ｍｉｎ}）／ｓ_{ａ，ｍａｘ}
式中、ｓ_{ａ，ｍｉｎ}は、実際の検査画像フレームのそのシーケンスからのクリップセットの全ての再構築誤差のうち最小の再構築誤差、ｓ_{ａ，ｍａｘ}は、実際の検査画像フレームのそのシーケンスからのクリップセットの全ての再構築誤差のうち最大の再構築誤差であり、次式の通り、１から減算することによって、各クリップについて正常に対する類似性（即ち、規則性）スコアｓ_ｒに変換される。
ｓ_ｒ＝１－ｓ_ａ

ｓ_ｒの値を、フレーム番号または時間に対してプロットすることができ、所定の閾値を超える正常からの逸脱が識別される。上述したように、これは、通信インターフェース２０を介して出力して、出力デバイス２２で読み取ることができ、例えば、それぞれの画像フレームの画像は、図２に示されるように、予測異常およびその位置の指示を示す。この例では、ｓ_ｒが０．９未満に低下すると所定の閾値を超える。

検査画像フレームの所与のシーケンスに対して異常が予測されない場合、シーケンスを「正常」データセットに追加し、モデルを更に改良するのに使用することができる。プロセス全体が図８に概略的に示されている。図８の番号を付けた段階１～７は次の通りである。
１．列車が右側から倉庫に進入し、カメラを通過する。
２．ＩＰカメラが常にストリーミングしている。
３．ＩｏＴ／エッジＰＣがカメラストリームにおける移動を検出して、画像シーケンスのキャプチャをトリガする。
４．クラウド環境への自動ファイル転送（ＦＴＰなど）。
５．新しい画像シーケンスが異常検出モデルに渡される（ＬＳＴＭオートエンコーダ）。
６．異常がなく、シーケンスが正常ステータスであることを示す、注釈付きの映像または画像シーケンスが制御室に返される。
７．正常ステータスを技術者が確認することによって、最近の画像シーケンスの「正常」データセットへの追加、自動的な再訓練／モデル更新が可能になる。

一方、異常が予測され、その異常が存在するかしないかを確認するためにメンテナンス技術者が送られる場合、２つの可能性がある。第１の可能性は、実際の異常が確認されないことである。この場合、検査画像フレームのシーケンスを「正常」データセットに追加し、モデルを改良する（即ち、漸増的に改善する）のに再び使用することができる。第２の可能性は、予測を確認する実際の異常が識別されることである。この場合、異常は修理することができるが、システムはまた、検査画像フレームのシーケンスにおいて異常を示している１つまたは複数のフレームを、それらの異常を表すものとして分類し、分類された１つまたは複数のフレームを異常ライブラリに保存して新しい画像データセットを構築し、最終的にはその画像データセットを使用して、異常を明確に識別することができる新しいモデル（例えば、マスク領域ベース畳み込みニューラルネットワーク（ＲＣＮＮ））を訓練することができる。このプロセスは図９に概略的に示されている。図９の番号を付けた段階１～９は次の通りである。
１．列車が右側から倉庫に進入し、カメラを通過する。
２．ＩＰカメラが常にストリーミングしている。
３．ＩｏＴ／エッジＰＣがカメラストリームにおける移動を検出して、画像シーケンスのキャプチャをトリガする。
４．クラウド環境への自動ファイル転送（ＦＴＰなど）。
５．新しい画像シーケンスが異常検出モデルに渡される（ＬＳＴＭオートエンコーダ）。
６．異常のタイムスタンプおよび直線位置を示す、注釈付きの映像または画像シーケンスが制御室に返される。
７．異常画像の位置情報が、視認のために技術者に中継される。
・修理またはメンテナンスが着手され、異常（損傷、故障など）の詳細が解析技術者に中継される。
または、
・異常が確認されなかった場合、技術者がモデルの決定を無効にして、一番最近のシーケンスを「正常」データとみなすように自動的に再訓練される。
８．データ技術者が、異常（損傷、故障など）の新しい画像データセットを、ラベルおよび適用されたメンテナンス作業順序で編集する。
９．再発する異常発生が増加するにつれて、新しい画像分類モデルが展開される（マスクＲＣＮＮ）。

このように、漸増的または段階的な形式で新しいモデルが展開される。十分に展開されると、マスクＲＣＮＮモデルが異常のタイプを識別し、任意にメンテナンスの提案を提供する、図１０に概略的に示されるプロセスを適用することができる。図１０の番号を付けた段階１～１１は次の通りである。
１．列車が右側から倉庫に進入し、カメラを通過する。
２．ＩＰカメラが常にストリーミングしている。
３．ＩｏＴ／エッジＰＣがカメラストリームにおける移動を検出して、画像シーケンスのキャプチャをトリガする。
４．クラウド環境への自動ファイル転送（ＦＴＰなど）。
５．新しい画像シーケンスが異常検出モデルに渡される（ＬＳＴＭオートエンコーダ）。
・異常であるとしてシグナリングされた画像は、分類セグメント化モデルに渡される。
６．異常であるとしてフラグが付けられた画像がマスクＲＣＮＮモデルに渡されて、その異常が以前に観察されている故障または損傷と分類できるものであるかが識別される。
７．異常のタイムスタンプおよび直線位置を示す、注釈付きの映像または画像シーケンスが制御室に返される。
８．セグメント化された画像も、検出された再発する問題（損傷、故障など）とともに、利用可能であれば（６から）制御室に返される。
９．異常画像の位置情報が、視認のために技術者に中継される。
・再発する問題がどこで検出されているか、原因、およびメンテナンス作業が、調査している技術者に提案される。
または、
・異常が確認されなかった場合、技術者がモデルの決定を無効にして、一番最近のシーケンスを「正常」データとみなすように自動的に再訓練される。
１０．解析技術者が、異常（損傷、故障など）の新しい画像データセットを、ラベルおよび適用されたメンテナンス作業順序で編集する。
１１．存在している故障の新しい例、または全く新しい故障の例が、マスクＲＣＮＮモデルに追加される。

マスクＲＣＮＮは、異常検出の前に、機械学習を使用して画像フレームをセグメント化して、列車の特定の部分のみに注意を向けるようにする。部分は、専門技術者によって予め分類された関心の対象である。マスクが関心の範囲に適用されることによって、関心の範囲以外の範囲（即ち、マスク外の領域）の画像情報が除去される（即ち、ピクセル強度または色が０に設定される）。このようにマスキングすることによって、関心の対象は画像フレームとの時空間関係を保持する。

実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として図示される、プロセスとして記載されることがある。フローチャートは動作を連続プロセスとして記載することがあるが、動作の多くは並行してまたは同時に実施することができる。加えて、動作の順序は組み直されてもよい。プロセスは、その動作が完了すると終了するが、図面に含まれない追加のステップを有する場合がある。プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応することがある。プロセスが機能に対応する場合、その終了は、機能が呼出し機能または主要機能に戻ることに対応する。「コンピュータ可読媒体」という用語は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および／または情報を格納する他の機械可読媒体を含む、データを格納する１つまたは複数のデバイスを表すことがある。「コンピュータ可読媒体」という用語は、可搬型または固定の記憶デバイス、光学記憶デバイス、無線チャネル、ならびに命令および／またはデータを格納、収容、もしくは保持することができる他の様々な媒体を含むが、それらに限定されない。

更に、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせによって実現されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードの形で実現される場合、必要なタスクを実施するプログラムコードまたはコードセグメントは、コンピュータ可読媒体に格納されてもよい。１つまたは複数のプロセッサが必要なタスクを実施してもよい。コードセグメントは、手順、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組み合わせを表してもよい。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツを渡す、ならびに／あるいは受け取ることによって、別のコードセグメントまたはハードウェア回路に結合されてもよい。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む任意の好適な手段を介して、渡され、転送され、または伝送されてもよい。

上述の記載、または以下の特許請求の範囲、または添付図面に開示され、特定の形態で表現されるか、あるいは開示される機能を実施するための手段、または開示される結果を得るための方法もしくはプロセスに関して表現される特徴は、適切な場合、別個に、またはかかる特徴の任意の組み合わせで、本発明をその広範な形態で実現するために利用されてもよい。

本発明を上述の例示的実施形態に関連して記載してきたが、本開示が与えられることで当業者には多くの等価の修正および変形が明白となるであろう。したがって、上述した本発明の例示的実施形態は、限定ではなく例示とみなされる。本発明の趣旨および範囲から逸脱することなく、記載した実施形態に対して様々な変更が行われてもよい。

あらゆる疑義を回避するため、本明細書に提供されるいずれの理論的説明も、読者の理解を向上させる目的で提供されるものである。本発明者らは、これらの理論的説明のいずれによっても束縛されることを望まない。

本明細書で使用されるセクション見出しはいずれも、単に整理する目的のものであり、記載される主題を限定するものとして解釈されるべきではない。

後続の特許請求の範囲を含む本明細書全体を通して、文脈による別段の必要性がない限り、「備える（ｃｏｍｐｒｉｓｅ）」および「含む（ｉｎｃｌｕｄｅ）」という単語、ならびに変形（「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」、および「ｉｎｃｌｕｄｉｎｇ」など）は、提示される整数もしくはステップまたは整数群もしくはステップ群を含むが、他の任意の整数もしくはステップまたは整数群もしくはステップ群を除外しないことを示唆するものと理解される。

本明細書および添付の請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈による別段の明示がない限り、複数形を含むことが注目されるべきである。範囲は、本明細書では、「おおよそ」のある特定の値から、ならびに／あるいは「おおよそ」の別の特定の値までとして表現されることがある。かかる範囲が表現された場合、別の実施形態は、一方の特定の値から、ならびに／あるいは他方の特定の値までを含む。同様に、値が「約」という先行詞を使用して近似として表現された場合、特定の値は別の実施形態を形成するものと理解される。数値と関連付けた「約」という用語は任意であり、例えば±１０％を意味する。

参考文献
本発明および本発明が関係する最新技術をより十分に記載し開示するために、いくつかの刊行物を上記に引用している。これらの参考文献の完全な引用を以下に提供する。これらの参考文献それぞれの全体を本明細書に組み込む。
Ｙｏｎｇ Ｓｈｅａｎ Ｃｈｏｎｇ，Ｙｏｎｇ Ｈａｕｒ Ｔａｙ，Ａｂｎｏｒｍａｌ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｖｉｄｅｏｓ ｕｓｉｎｇ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ａｕｔｏｅｎｃｏｄｅｒ（２０１７），ａｒＸｉｖ：１７０１．０１５４６
Ｍａｈｍｕｄｕｌ Ｈａｓａｎ，Ｊｏｎｇｈｙｕｎ Ｃｈｏｉ，Ｊａｎ Ｎｅｕｍａｎｎ，Ａｍｉｔ Ｋ．Ｒｏｙ－Ｃｈｏｗｄｈｕｒｙ，Ｌａｒｒｙ Ｓ．Ｄａｖｉｓ，Ｌｅａｒｎｉｎｇ Ｔｅｍｐｏｒａｌ Ｒｅｇｕｌａｒｉｔｙ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ（２０１６），ａｒＸｉｖ：１６０４．０４５７４

１０ 列車検査システム
１２ カメラインターフェース
１４ 列車
１６ 静止カメラ
２０ 通信インターフェース
２４ プロセッサシステム
２６ プログラムストレージ
２８ データベース

Claims (12)

1. 静止カメラ（１６）によってキャプチャされた移動中の列車（１４）の検査画像フレームのシーケンスを受信するように構成された、カメラインターフェース（１２）と、
   検査画像フレームのシーケンスを前記カメラインターフェース（１２）から受信するように構成された、プロセッサシステム（２４）と、
   前記プロセッサシステム（２４）が受信した前記検査画像フレームのシーケンスを出力するように構成された、通信インターフェース（２０）と、
   前記プロセッサシステム（２４）に結合され、移動中の列車（１４）の検査画像フレームのシーケンスを正常からの逸脱に関して評価することを可能にするモデルを格納する、データベース（２８）と、
   前記プロセッサシステム（２４）に結合され、前記プロセッサシステムによって実行されるコンピュータプログラム命令を格納する、プログラムストレージ（２６）とを含み、
   前記コンピュータプログラム命令が、前記プロセッサシステム（２４）によって実行されると、
   前記検査画像フレームのシーケンスを画像解析して、前記検査画像フレームを前記列車（１４）の長さに沿った位置に割り当て、
   前記モデルを使用して、前記検査画像フレームのシーケンスが閾値を超える正常からの逸脱を示す、前記移動中の列車（１４）における位置を識別し、
   識別された前記位置およびそれに対応する正常からの逸脱を、前記通信インターフェース（２０）で予測異常として出力する、
   列車検査システム（１０）であって、
   各列車（１４）が固有の識別子を有し、前記列車検査システムが、検査画像フレームのシーケンスがキャプチャされ予測異常が出力された所与の列車に関して、前記所与の列車の前記固有の識別子および関連する出力された前記予測異常を格納する、前記プロセッサシステム（２４）に結合されたデータストレージを更に含み、
   前記カメラインターフェース（１２）が、前記静止カメラ（１６）に対して制御コマンドを送信するように更に構成され、
   前記プロセッサシステム（２４）が、前記静止カメラ（１６）が検査画像フレームのシーケンスをキャプチャする各列車（１４）を識別する、前記固有の識別子を受信するように構成され、
   前記コンピュータプログラム命令が、前記プロセッサシステム（２４）によって実行されると、前記静止カメラ（１６）に対して送信される制御コマンドを前記カメラインターフェース（１２）に送信して、前記データストレージに格納された固有の識別子が新しい列車の固有の識別子と一致する場合に、前記新しい列車（１４）の検査に関する検査画像フレームキャプチャレートを増加させる、
   列車検査システム（１０）。
2. 前記コンピュータプログラム命令による前記検査画像フレームのシーケンスの前記画像解析が、
   前記検査画像フレームのシーケンスにおける前記移動中の列車（１４）の開始位置および終了位置を検出することと、
   検出された前記開始位置および終了位置に対応する前記検査画像フレームに基づいて、前記検査画像フレームを前記列車（１４）の長さに沿った位置に割り当てることと
   を含む、請求項１に記載の列車検査システム（１０）。
3. 前記移動中の列車（１４）が複数の結合された車両から形成され、前記コンピュータプログラム命令による前記検査画像フレームのシーケンスの前記画像解析が、
   前記検査画像フレームのシーケンスにおける車両間移行の位置を検出することと、
   検出された前記車両間移行の位置に対応する前記検査画像フレームに基づいて、前記検査画像フレームを前記列車（１４）の長さに沿った位置に同じく割り当てることと
   を更に含む、請求項２に記載の列車検査システム（１０）。
4. 前記モデルが、前記検査画像フレームのシーケンスにおける空間的特徴表現を学習し、前記空間的特徴表現の時間的発展を学習するように構成された、ニューラルネットワークである、請求項１から３のいずれか一項に記載の列車検査システム（１０）。
5. 前記ニューラルネットワークが、正常を表す移動中の列車（１４）における検査画像フレームの複数の訓練シーケンスに対して訓練され、前記ニューラルネットワークが、検査画像フレームの各訓練シーケンスを受信する入力層と、前記検査画像フレームの対応するシーケンスを再構築する出力層とを有し、前記ニューラルネットワークの重みが、所与の訓練シーケンスと再構築された前記シーケンスとの間の差を測定する目的関数を最小限に抑えるように調節される、請求項４に記載の列車検査システム（１０）。
6. 前記ニューラルネットワークが、検査画像フレームの各入力シーケンスから潜在表現を形成するエンコーダ部分と、前記潜在表現に対して動作して、前記検査画像フレームの対応する前記再構築されたシーケンスを形成するデコーダ部分とを有し、前記エンコーダ部分が、前記入力シーケンスの個々の前記検査画像フレームを空間的に符号化する１つまたは複数の畳み込み層と、空間的に符号化された前記検査画像フレームの時間順シーケンスを時間的に符号化して前記潜在表現を作成する１つまたは複数の長・短期記憶層とを有し、前記デコーダ部分が、空間的に符号化された再構築された前記検査画像フレームの時間順シーケンスを前記潜在表現から作成する１つまたは複数の長・短期記憶層と、補助作成された前記空間的に符号化されたシーケンスから対応する前記再構築されたシーケンスを生成する１つまたは複数の畳み込み層とを有する、請求項５に記載の列車検査システム（１０）。
7. 前記ニューラルネットワークが、
   前記検査画像フレームのシーケンスを前記ニューラルネットワークに入力して、そこから前記検査画像フレームのそれぞれの再構築されたシーケンスを出力し、
   前記検査画像フレームのシーケンスからの前記検査画像フレームと、前記検査画像フレームの前記それぞれの再構築されたシーケンスからの対応する前記検査画像フレームとのピクセル毎の比較を実施する、誤差関数の値を計算し、
   前記誤差関数が所定の閾値を超えるとき、正常からの逸脱を判定することによって、
   前記検査画像フレームのシーケンスが正常からの逸脱を示す、前記移動中の列車（１４）における位置を識別するのに使用される、
   請求項５または６に記載の列車検査システム（１０）。
8. 前記制御コマンドが、前記データストレージに格納された関連する出力された前記予測異常の識別された前記位置を含む前記列車（１４）の領域に関してのみ、前記フレームキャプチャレートを増加させる、請求項１から７のいずれか一項に記載の列車検査システム（１０）。
9. 前記通信インターフェース（２０）が、出力された前記予測異常に応答して、前記列車（１４）のメンテナンス技術者検査からのメンテナンス報告を受信するように構成され、前記通信インターフェースが、前記メンテナンス報告を前記プロセッサシステム（２４）に送信し、
   前記コンピュータプログラム命令が、前記プロセッサシステムによって実行されると、
   前記メンテナンス報告がいずれかの実際の異常を識別しているかを判定し、
   実際の異常が前記メンテナンス報告において識別されていない場合、前記列車（１４）からの前記検査画像フレームのシーケンスが正常を表していることを反映するように、格納された前記モデルを更新し、
   １つまたは複数の実際の異常が前記メンテナンス報告において識別されている場合、前記検査画像フレームのシーケンスにおいて前記異常を示している１つまたは複数の前記検査画像フレームを、それらの異常を表すものとして分類し、分類された前記１つまたは複数の前記検査画像フレームを異常ライブラリに保存する、
   請求項１から８のいずれか一項に記載の列車検査システム（１０）。
10. 請求項１から９のいずれか一項に記載の前記列車検査システム（１０）と、線路上を移動している列車（１４）の前記検査画像フレームのシーケンスをキャプチャするために前記静止カメラ（１６）が設置される線路とを有する、列車倉庫。
11. コンピュータにより列車検査を実施する方法であって、各列車（１４）が固有の識別子を有し、方法が、
    検査画像フレームのシーケンスが静止カメラ（１６）によってキャプチャされており予測異常が出力されている所与の列車に関して、前記所与の列車の前記固有の識別子および関連する出力された前記予測異常を格納する、データストレージを提供することと、
    前記静止カメラ（１６）が検査画像フレームのシーケンスをキャプチャする新しい列車（１４）を識別する、前記固有の識別子を受信することと、
    前記データストレージに格納された固有の識別子が前記新しい列車の前記固有の識別子と一致する場合、前記新しい列車（１４）の検査に対する前記静止カメラ（１６）のフレームキャプチャレートを増加させることと、
    移動中の前記新しい列車（１４）の検査画像フレームのシーケンスを、増加させた前記フレームキャプチャレートで前記静止カメラ（１６）によってキャプチャすることと、
    移動中の列車（１４）の前記検査画像フレームのシーケンスを正常からの逸脱に関して評価することを可能にするモデルを提供することと、
    前記検査画像フレームのシーケンスを画像解析して、前記検査画像フレームを前記移動中の新しい列車（１４）の長さに沿った位置に割り当てることと、
    前記モデルを使用して、前記検査画像フレームのシーケンスが閾値を超える正常からの逸脱を示す、前記移動中の新しい列車（１４）における位置を識別することと、
    識別された前記位置およびそれに対応する正常からの逸脱を、通信インターフェースで予測異常として出力することと
    を含む、方法。
12. 出力された前記予測異常に応答して、前記列車（１４）のメンテナンス技術者検査を実施して、前記予測異常に対応する実際の異常を識別することを更に含む、請求項１１に記載の方法。

Images