JP2023520341A - 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法 - Google Patents

鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法 Download PDF

Info

Publication number
JP2023520341A
JP2023520341A JP2022557882A JP2022557882A JP2023520341A JP 2023520341 A JP2023520341 A JP 2023520341A JP 2022557882 A JP2022557882 A JP 2022557882A JP 2022557882 A JP2022557882 A JP 2022557882A JP 2023520341 A JP2023520341 A JP 2023520341A
Authority
JP
Japan
Prior art keywords
machine vision
railroad
vision device
image
railroad track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022557882A
Other languages
English (en)
Other versions
JP7416973B2 (ja
Inventor
デニス、 ウィリアム モルガート、
ジョシュア、 ジョン マックバイン、
コーレイ、 トレメイン パスタ、
アーロン、 トーマス ラトレッジ、
Original Assignee
ビーエヌエスエフ レイルウェイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビーエヌエスエフ レイルウェイ カンパニー filed Critical ビーエヌエスエフ レイルウェイ カンパニー
Publication of JP2023520341A publication Critical patent/JP2023520341A/ja
Priority to JP2024000013A priority Critical patent/JP2024041829A/ja
Application granted granted Critical
Publication of JP7416973B2 publication Critical patent/JP7416973B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61KAUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08Measuring installations for surveying permanent way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072On-board train data handling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081On-board diagnosis or maintenance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0094Recorders on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/007Safety arrangements on railway crossings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042Track changes detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042Track changes detection
    • B61L23/044Broken rails
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042Track changes detection
    • B61L23/047Track or rail movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042Track changes detection
    • B61L23/048Road bed changes, e.g. road bed erosion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/40Handling position reports or trackside vehicle data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Figure 2023520341000001
一実施形態では、方法は、マシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャするステップを含む。マシンビジョン装置は、鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられている。方法はまた、マシンビジョン装置によってオブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析するステップを含む。方法は、マシンビジョン装置によってオブジェクトに関連する値がオブジェクトの潜在的な欠陥を示しているかを決定するステップと、マシンビジョン装置によって第1鉄道車両の外部の構成要素に警報を伝達するステップとをさらに含む。警報は、オブジェクトの潜在的な欠陥の表示を含む。
【選択図】図1

Description

本開示は、一般にオブジェクトの欠陥を識別することに関し、より具体的には、鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法に関する。
一般に、鉄道検査官(railroad inspector)は、安全でない状態について鉄道を検査し、安全でない状態を是正するためのアクションを推奨する。例えば、鉄道検査官は、座屈した鉄道線路に遭遇し、鉄道会社に座屈した鉄道線路を報告し得る。報告を受けた鉄道会社は、座屈した鉄道線路を修理するためのアクションを取り得る。ただし、列車の脱線などの事故の発生を未然に防ぐための是正アクションが適時に行われない場合がある。
本発明の態様は独立項に記載されており、好ましい特徴は従属項に記載されている。一態様の特徴は、単独で、又は他の態様と組み合わせて、任意の態様に適用され得る。
一実施形態によれば、方法は、マシンビジョン(機械視覚)装置によって、鉄道環境(railway environment)内のオブジェクト(object)の画像をキャプチャするステップを含む。マシンビジョン装置は、鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられる。方法は、マシンビジョン装置によって、オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析するステップをさらに含む。方法は、マシンビジョン装置によって、オブジェクトに関連する値がオブジェクトの潜在的な欠陥(potential deficiency)を示しているかを決定するステップと、マシンビジョン装置によって、第1鉄道車両の外部の構成要素に警報を伝達(communicate)するステップとをさらに含む。警報は、オブジェクトの潜在的な欠陥の表示を含む。
特定の実施形態では、オブジェクトの潜在的な欠陥は、第2鉄道線路の位置ずれ、横断警告装置の誤作動、第2鉄道線路の遮られた視野、オブジェクトの損傷、及びオブジェクトの誤った配置のうちの1つである。いくつかの実施形態では、鉄道環境の第1鉄道線路は、鉄道環境の第2鉄道線路に隣接し、第1鉄道車両の外部の構成要素は、第2鉄道線路に沿って第2の方向に移動する第2鉄道車両に取り付けられ、警報は、第2鉄道車両にアクションを実行するように命令する。特定の実施形態では、第1鉄道車両の外部の構成要素は、ネットワークオペレーションセンタ内に位置する装置である。
いくつかの実施形態では、警報は、オブジェクトの説明、潜在的な欠陥の説明、オブジェクトの画像、オブジェクトの位置、第1鉄道車両のマシンビジョン装置によってオブジェクトがキャプチャされた時間、第1鉄道車両のマシンビジョン装置によってオブジェクトがキャプチャされた日付、第1鉄道車両の識別、第1鉄道車両の第1の方向の表示、及び所定の時間内に鉄道環境を通過するように予定された1つ以上の鉄道車両の表示のうちの少なくとも1つを含む。特定の実施形態では、マシンビジョン装置は、オブジェクトの画像をキャプチャして、10秒以内に第1鉄道車両の外部の構成要素に警報を伝達する。マシンビジョン装置は、第1鉄道車両のフロントガラスに装着し得る。
他の実施形態によれば、システムは、1つ以上のプロセッサと、命令を格納するメモリとを含み、命令は、1つ以上のプロセッサによって実行される場合、1つ以上のプロセッサがマシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャする動作を行うようにする。マシンビジョン装置は、鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられる。動作はまた、オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析する動作を含む。動作は、オブジェクトに関連する値がオブジェクトの潜在的な欠陥を示しているかを決定する動作と、第1鉄道車両の外部の構成要素に警報を伝達する動作とをさらに含む。警報は、オブジェクトの潜在的な欠陥の表示を含む。
また他の実施形態によれば、1つ以上のコンピュータ可読記憶媒体は、プロセッサによって実行される場合、プロセッサが動作を行うようにする命令を格納し、動作は、マシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャする動作を含む。マシンビジョン装置は、鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられる。動作はまた、オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析する動作を含む。動作は、オブジェクトに関連する値がオブジェクトの潜在的な欠陥を示しているかを決定する動作と、第1鉄道車両の外部の構成要素に警報を伝達する動作とをさらに含む。警報は、オブジェクトの潜在的な欠陥の表示を含む。
本開示の特定の実施形態の技術的利点は、以下のうちの1つ以上を含み得る。本明細書に記載の特定のシステム及び方法は、線路の位置ずれ、誤動作の警告装置、鉄道線路の遮られた視野、鉄道線路近くの歩行者、及び流失などの安全上の重要な側面に対して鉄道環境を分析するマシンビジョン装置を含む。特定の実施形態では、マシンビジョン装置は、リアルタイムで鉄道環境の潜在的な欠陥を検出及び報告し、これは、即時の是正アクション及び事故の低減/予防につながり得る。いくつかの実施形態では、マシンビジョン装置は、鉄道環境の欠陥を自動で検出し、現場の検査官に関連する費用及び/又は安全上の危険を低減し得る。
他の技術的利点は、以下の図、説明、及び請求の範囲から当業者に容易に明らかになるであろう。さらに、特定の利点について上述したが、様々な実施形態は、列挙された利点の全部又は一部を含んでもよく、又は全てを含まないこともできる。
本開示の理解を助けるために、添付の図面と併せて以下の説明を参照する。
鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的なシステムを示す。 図1のシステムのマシンビジョン装置によって生成され得る例示的な前面画像を示す。 図1のシステムのマシンビジョン装置によって生成され得る例示的な後面画像を示す。 鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的な方法を示す。 本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。
図1~図5は、鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的なシステム及び方法を示す。図1は、鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的なシステムを示す。図2は、図1のシステムのマシンビジョン装置によって生成され得る例示的な前面画像を示す。図3は、図1のシステムのマシンビジョン装置によって生成され得る例示的な後面画像を示す。図4は、鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的な方法を示す。図5は、本明細書で説明されるシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。
図1は、鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的なシステム100を示す。図1のシステム100は、ネットワーク110、鉄道環境120、鉄道線路130(即ち、鉄道線路130a及び鉄道線路130b)、鉄道車両140(即ち、鉄道車両140a及び鉄道車両140b)、マシンビジョン装置150(即ち、マシンビジョン装置150a及びマシンビジョン装置150b、ネットワークオペレーションセンタ180、及びユーザ機器(UE)190を含む。システム100又はその一部は、組織(entity)に関連することができ、鉄道環境オブジェクトの潜在的な欠陥を識別できる企業、会社(例えば、鉄道会社、輸送会社など)又は政府機関(例えば、運輸局、など)のような任意の組織を含み得る。図1の例示された実施形態は、鉄道システムに関連するが、システム100は、任意の適切な輸送システム(例えば、車両/道路、船舶/水路など)に関連し得る。システム100の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合わせを使用して実現され得る。例えば、システム100の1つ以上の構成要素は、図5の1つ以上の構成要素を使用してもよい。
システム100のネットワーク110は、システム100の構成要素間の伝達を容易にする任意のタイプのネットワークであり得る。例えば、ネットワーク110は、マシンビジョン装置150aをシステム100のマシンビジョン装置150bに接続してもよい。別の例として、ネットワーク110は、マシンビジョン装置150をシステム100のネットワークオペレーションセンタ180のUE190に接続してもよい。ネットワーク110の1つ以上の一部は、アドホックネットワーク、イントラネット、エクストラネット、仮想私設網(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、広域ネットワーク(WAN)、無線WAN(WWAN)、大都市圏ネットワーク(MAN)、インターネットの一部、公衆交換電話網(PSTN)の一部、携帯電話網、3Gネットワーク、4Gネットワーク、5Gネットワーク、LTE(Long Term Evolution)セルラ通信網、これらの2つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネットワーク110の1つ以上の一部は、1つ以上のアクセス(例えば、モバイルアクセス)、コア及び/又はエッジネットワークを含み得る。ネットワーク110は、私設網(private network)、公衆網(public network)、インターネットを介した接続、モバイルネットワーク、WI-FIネットワーク、ブルートゥース(登録商標)ネットワークなどの任意の通信網であり得る。ネットワーク110は、クラウドコンピューティング機能を含み得る。システム100の1つ以上の構成要素は、ネットワーク110を介して伝達し得る。例えば、マシンビジョン装置150は、ネットワークオペレーションセンタ180のUE190に情報(例えば、潜在的な欠陥)を送信すること、及び/又はネットワークオペレーションセンタ180のUE190から情報(例えば、確認された欠陥)を受信することを含み、ネットワーク110を介して伝達してもよい。
システム100の鉄道環境120は、1つ以上の鉄道線路130を含む領域である。鉄道環境120は、区画(division)及び/又は細区画(subdivision)に関連し得る。区画は、監督者の監督下にある鉄道の一部である。細区画は、区画の小さい一部である。細区画は、作業員区域(crew district)及び/又は支線(branch line)であり得る。図1に示した実施形態では、鉄道環境120は、鉄道線路130、鉄道車両140、及びマシンビジョン装置150を含む。
システム100の鉄道線路130は、鉄道車両140の車輪が転がる表面を提供することによって、鉄道車両140が移動できるようにする構造である。特定の実施形態では、鉄道線路130は、レール、締結装置、枕木、バラストなどを含む。鉄道車両140は、鉄道輸送システムで貨物及び/又は乗客を運ぶ車両である。特定の実施形態では、鉄道車両140は、共に結合して列車を形成する。鉄道車両140は、機関車、客車、貨車、有蓋車、長物車、タンク車などを含み得る。
図1に示した実施形態では、鉄道車両140は、鉄道車両140a及び鉄道車両140bを含む。鉄道車両140aは、鉄道線路130aに沿って進行方向160aに移動している。鉄道車両140bは、鉄道線路130bに沿って進行方向160bに移動している。いくつかの実施形態では、鉄道環境120の鉄道線路130aは、鉄道環境120の鉄道線路130bに隣接(例えば、平行)している。特定の実施形態では、進行方向160aは、進行方向160bと反対である。例えば、進行方向160aは、南行きであってもよく、進行方向160bは、北行きであってもよい。別の例として、進行方向160aは、東行きであってもよく、進行方向160bは、西行きであってもよい。
システム100のマシンビジョン装置150は、静止画像又は動画を自動でキャプチャ、検査、評価、及び/又は処理する構成要素である。マシンビジョン装置150は、1つ以上のカメラ、レンズ、センサ、光学装置、照明要素などを含み得る。特定の実施形態では、マシンビジョン装置150は、リアルタイム又はほぼリアルタイムで1つ以上の動作を行う。例えば、鉄道車両140aのマシンビジョン装置150aは、鉄道環境120でオブジェクト(例えば、鉄道線路130b)の画像をキャプチャし、所定の時間(例えば、1秒、5秒、又は10秒)より短い時間内に鉄道車両140aの外部の構成要素(例えば、ネットワークオペレーションセンタ180のマシンビジョン装置150b又はUE190)に潜在的な欠陥(線路の位置ずれ170)を示す警報を伝達してもよい。
特定の実施形態では、マシンビジョン装置150は、システム100の鉄道環境120の画像を自動でキャプチャする1つ以上のカメラを含む。マシンビジョン装置150は、鉄道車両140が鉄道線路130に沿って移動する間、自動で静止画像又は動画をキャプチャし得る。マシンビジョン装置150は、任意の適切な数の静止画像又は動画を自動でキャプチャし得る。例えば、マシンビジョン装置150は、毎秒、毎分、毎時などの所定の数の画像を自動でキャプチャしてもよい。特定の実施形態では、マシンビジョン装置150は、所定の領域(例えば、区画又は細区画)内で鉄道線路130の全長をキャプチャするのに十分な数の画像を自動でキャプチャする。
システム100のマシンビジョン装置150aは、鉄道車両140aに取り付けられている。マシンビジョン装置150aは、鉄道線路130aの明確な視野を提供する任意の適切な場所で鉄道車両140aに取り付けることができる。例えば、マシンビジョン装置150aは、鉄道線路130aの前方向きの視野を提供するために鉄道車両140aの前端(例えば、フロントガラス)に取り付けることができる。別の例として、マシンビジョン装置150aは、鉄道線路130aの後向きの視野を提供するために鉄道車両140aの後端(例えば、後部フロントガラス)に取り付けることができる。特定の実施形態では、マシンビジョン装置150aは、鉄道車両140aが鉄道線路130aに沿って進行方向160aに移動するとき、鉄道環境120の画像をキャプチャする。
システム100のマシンビジョン装置150bは、鉄道車両140bに取り付けられている。マシンビジョン装置150bは、鉄道線路130bの明確な視野を提供する任意の適切な場所で鉄道車両140bに取り付けることができる。例えば、マシンビジョン装置150bは、鉄道線路130bの前向きの視野を提供するために、鉄道車両140bの前端(例えば、フロントガラス)に取り付けることができる。別の例として、マシンビジョン装置150bは、鉄道線路130bの後向きの視野を提供するために鉄道車両140bの後端(例えば、後部フロントガラス)に取り付けることができる。特定の実施形態では、マシンビジョン装置150bは、鉄道車両140bが進行方向160bに鉄道線路130bに沿って移動するとき、鉄道環境120の画像をキャプチャする。
マシンビジョン装置150は、キャプチャされた画像のオブジェクトを検査し得る。オブジェクトは、鉄道線路130、破片(debris)172(例えば、瓦礫(rubble)、難破貨物(wreckage)、廃虚(ruins)、落葉(litter)、ゴミ(trash)、小枝(brush)など)、歩行者174(例えば、侵入者(trespasser))、動物(animal)、植生(vegetation)、バラストなどを含み得る。いくつかの実施形態では、マシンビジョン装置150は、マシンビジョンアルゴリズムを使用して画像内のオブジェクトを分析し得る。マシンビジョンアルゴリズムは、画像内のオブジェクトを認識し、画像処理技術及び/又はパターン認識技術を使用してオブジェクトを分類し得る。
特定の実施形態では、マシンビジョン装置150は、例外に対して画像のオブジェクトを分析するために、マシンビジョンアルゴリズムを使用する。例外は、許容される標準と比較した場合のオブジェクトの偏差である。例外には、1つ以上の鉄道線路130の線路の位置ずれ(例えば、湾曲(curved)、ゆがみ(warped)、ねじれ(twisted)、又はオフセット(offset)した線路)(例えば、鉄道線路130bの線路の位置ずれ170)、1つ以上の鉄道線路130上又は1つ以上の鉄道線路130の所定の距離内に位置する所定のサイズを超過する破片172、鉄道線路130の所定の距離内に位置する歩行者174(例えば、侵入者)、踏切警告装置の誤作動、鉄道線路130の遮られた視野、オブジェクトへの損傷(例えば、1つ以上の鉄道線路130の支持面の流失)、オブジェクトの誤った配置、などを含み得る。
いくつかの実施形態では、マシンビジョン装置150は、オブジェクトに関連する値を決定し、その値を所定の閾値(例えば、所定の許容可能な値)と比較してオブジェクトが例外を示すか否かを決定し得る。例えば、マシンビジョン装置150は、図1の鉄道線路130bの線路の位置ずれ170が3メートル延びていると決定し、その値を1メートルの許容可能な線路の位置ずれ値と比較して線路の位置ずれ170が例外を示していると決定し得る。別の例として、マシンビジョン装置150は、図1の破片172が鉄道線路130bに位置すると決定し、その値を鉄道線路130bから3メートル以上離れて位置する破片172の許容可能な値と比較して破片172が例外を示していると決定し得る。また別の例として、マシンビジョン装置150は、図1の歩行者174が鉄道線路130bに位置すると決定し、その値を鉄道線路130bから3メートル以上離れて位置する歩行者174の許容可能な値と比較して歩行者174が例外を示していると決定し得る。特定の実施形態では、例外は、オブジェクトの潜在的な欠陥を示す。
マシンビジョン装置150は、システム100の1つ以上の構成要素に1つ以上の警報を伝達し得る。警報は、マシンビジョン装置150によって決定された例外(例えば、欠陥)の表示を含み得る。特定の実施形態では、図1のマシンビジョン装置150aは、図1のマシーン装置150bに1つ以上の警報を伝達する。例えば、鉄道車両140aのマシンビジョン装置150aは、鉄道線路130bの線路の位置ずれ170の画像をキャプチャし、線路の位置ずれ170が例外であると決定し、鉄道車両140bの1つ以上の構成要素(例えば、マシンビジョン装置150b)に例外を示す警報を伝達してもよい。警報は、鉄道車両140bが線路の位置ずれ170に遭遇する前に、鉄道車両140bの列車技術者に線路の位置ずれ170を通知してもよい。
特定の実施形態では、マシンビジョン装置150によって生成された警報は、オブジェクトの説明(例えば、鉄道線路130b)、潜在的な欠陥の説明(例えば、線路の位置ずれ170)、オブジェクトの画像、オブジェクトの位置(例えば、鉄道線路130bの線路の位置ずれ170の全地球測位システム(GPS)の位置)、鉄道車両140のマシンビジョン装置150によってオブジェクトがキャプチャされた時間、鉄道車両140のマシンビジョン装置150によってオブジェクトがキャプチャされた日付、鉄道車両140の識別(例えば、鉄道車両140a又は鉄道車両140b)、鉄道車両140の進行方向160の表示、所定の時間内に鉄道環境120を通過するように予定されている1つ以上の鉄道車両の表示などのうちの1つ以上を含み得る。いくつかの実施形態では、図1のマシンビジョン装置150aは、ネットワークオペレーションセンタ180のUE190に1つ以上の例外を伝達する。
システム100のネットワークオペレーションセンタ180は、輸送関連の交通を管理するサポートスタッフを収容する1つ以上の場所を備えた施設である。例えば、ネットワークオペレーションセンタ180は、州(state)、プロビデンス(providence)などを横切る列車の動きをモニタ、管理、及び/又は制御してもよい。ネットワークオペレーションセンタ180は、ネットワークオペレーションセンタ180と関連する従業員間の協力を容易にするための輸送計画技術を含み得る。従業員は、運行管理員(例えば、列車の運行管理員)、サポートスタッフ、作業員(crew member)、エンジニア(例えば、列車技術者)、チームの一員(例えば、セキュリティチームの一員)、保守計画者、管理者(例えば、通路管理者(corridor superintendent))、現場検査官(field inspector)などを含み得る。特定の実施形態では、ネットワークオペレーションセンタ180は、会議室、テレビ、ワークステーションなどを含む。それぞれのワークステーションは、UE190を含み得る。
システム100のUE190は、情報を受信、生成、処理、格納、及び/又は伝達することができる任意の装置を含む。例えば、システム100のUE190は、マシンビジョン装置150から情報(例えば、潜在的な欠陥)を受信し、及び/又はマシンビジョン装置150に情報(例えば、確認された欠陥)を伝達してもよい。UE190は、デスクトップコンピュータ、ラップトップコンピュータ、モバイルフォン(例えば、スマートフォン)、タブレット、携帯情報端末(Personal Digital Assistant)、ウェアラブルコンピュータなどであり得る。UE190は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)フラットスクリーンインターフェース、デジタルボタン、デジタルキーボード、物理的ボタン、物理的キーボード、1つ以上のタッチスクリーン構成要素、グラフィクユーザインターフェース(GUI)などを含み得る。図1の例示された実施形態では、UE190はネットワークオペレーションセンタ180内に位置するが、UE190は、情報を受信してシステム100の1つ以上の構成要素に伝達するために任意の適切な場所に配置され得る。例えば、ネットワークオペレーションセンタ180の従業員は、住宅又は小売店などの場所で遠隔作業することができ、UE190は、ネットワークオペレーションセンタ180の従業員の位置に配置されてもよい。別の例として、UE190は、1つ以上の鉄道車両140に配置されてもよい。
動作時、マシンビジョン装置150aは、鉄道車両140aに取り付けられ、マシンビジョン装置150bは、鉄道車両140bに取り付けられる。鉄道車両140aは、鉄道線路130aに沿って南行きの進行方向160aに移動している。鉄道車両140bは、鉄道線路130bについて北行きの進行方向160bに移動している。鉄道車両140aは、時間T1で鉄道環境120に進入し、鉄道車両140bは、以後時間T2(例えば、時間T1の10分後)に鉄道環境120に進入するように予定されている。マシンビジョン装置150aは、鉄道線路130bを含む時間T1での鉄道環境120の画像をキャプチャする。マシンビジョン装置150aは、鉄道線路130bの位置合わせに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用して鉄道線路130bの画像を分析する。マシンビジョン装置150aは、位置合わせ値を所定の許容可能な位置合わせ値と比較して、位置合わせ値が所定の許容可能な位置合わせ値を超過すると決定する。マシンビジョン装置150aは、比較に基づいて鉄道線路130bが潜在的な欠陥を含むと決定する。マシンビジョン装置150aは、潜在的な欠陥の識別及び位置を含む警報をネットワークオペレーションセンタ180のUE190に伝達する。UE190のユーザは、潜在的な欠陥が実際の欠陥であることを確認し、鉄道車両140bが線路の位置ずれ170に遭遇する前に線路の位置ずれ170の識別及び位置を鉄道車両140bのマシンビジョン装置150bに伝達する。このように、システム100は、近づく鉄道環境における危険な状態を警告するために使用され、これは、列車が危険な状態を回避するアクションを開始するのに十分な時間を得ることを可能にし得る。
図1は、ネットワーク110、鉄道環境120、鉄道線路130、鉄道車両140、マシンビジョン装置150、ネットワークオペレーションセンタ180、及びUE190の特定の配置を示しているが、本開示は、ネットワーク110、鉄道環境120、鉄道線路130、鉄道車両140、マシンビジョン装置150、ネットワークオペレーションセンタ180、及びUE190の任意の適切な配置を企図する。例えば、線路の位置ずれ170は、鉄道線路130bの代わりに鉄道線路130a上に配置されてもよい。別の例として、マシンビジョン装置150aは、鉄道車両140aの前部の代わりに鉄道車両140aの後部に配置されてもよい。また別の例として、破片172及び/又は歩行者174は、鉄道線路130aと鉄道線路130bとの間に配置されてもよい。
図1は、特定の数のネットワーク110、鉄道環境120、鉄道線路130、鉄道車両140、マシンビジョン装置150、ネットワークオペレーションセンタ180、及びUE190を示しているが、本開示は、任意の適切な数のネットワーク110、鉄道環境120、鉄道線路130、鉄道車両140、マシンビジョン装置150、ネットワークオペレーションセンタ180、及びUE190を企図する。例えば、図1は、2つより多い又は少ない鉄道線路130及び/又は2つより多い又は少ない鉄道車両140を含んでもよい。
図2は、図1のシステム100のマシンビジョン装置150bによって生成され得る例示的な前面画像200を示す。画像200は、特定の時点における鉄道環境120の概要を示す。画像200は、鉄道線路130a、鉄道線路130b、鉄道線路130bの線路の位置ずれ170、鉄道線路130aと鉄道線路130bとの間の破片172、鉄道線路130bの近くのバラストプロファイル210の変化、及び鉄道線路130bの外部の植生生育の終端220を含む。図2に示した実施形態では、鉄道線路130aは、鉄道線路130bに隣接(例えば、平行)している。
特定の実施形態では、図1のマシンビジョン装置150bは、鉄道車両140bが鉄道線路130bに沿って進行方向160aに移動するとき、図2の画像200を自動でキャプチャする。マシンビジョン装置150bは、画像200を静止画像又は動画でキャプチャし得る。図2に示した実施形態では、マシンビジョン装置150bは、鉄道車両140bのフロントガラスに取り付けられて、鉄道線路130bの明確な前向きの視野を提供する。
いくつかの実施形態では、マシンビジョン装置150bは、画像200内の1つ以上のオブジェクトを識別するために、画像200を自動で処理する。マシンビジョン装置150bは、画像200を処理するために、機械学習アルゴリズム及び/又はマシンビジョンアルゴリズムを使用し得る。特定の実施形態では、マシンビジョン装置150bは、リアルタイム又はほぼリアルタイムで画像200を自動で処理する。図2に示した実施形態では、識別されたオブジェクトは、鉄道線路130a、鉄道線路130b、鉄道線路130aと鉄道線路130bとの間の破片172、バラスト210、及び鉄道線路130bの外部の植生220を含む。マシンビジョン装置150bは、画像200が1つ以上の例外(例えば、欠陥)を含むか否かを決定するために、画像200のオブジェクトを分析する。
特定の実施形態では、マシンビジョン装置150bは、画像200内の1つ以上の例外を自動で識別する。例えば、マシンビジョン装置150bは、鉄道線路130bの画像200をキャプチャして、画像200の鉄道線路130b内の例外(例えば、曲率)を識別し、例外を潜在的な欠陥(例えば、線路の位置ずれ170)に分類するために、1つ以上のアルゴリズムを使用してもよい。別の例として、マシンビジョン装置150bは、破片172の画像200をキャプチャして、画像200の破片172に対する例外(例えば、鉄道線路130aの近すぎる位置にある破片172、鉄道線路130aの視野を遮る破片172など)を識別することができ、1つ以上のアルゴリズムを使用して例外を欠陥(例えば、近づく列車への潜在的な危険)に分類してもよい。
いくつかの実施形態では、マシンビジョン装置150bは、画像200に対する1つ以上のラベルを生成する。ラベルは、画像200に関連する情報を示す。例えば、マシンビジョン装置150bは、1つ以上のオブジェクト(例えば、鉄道線路130b、破片172など)を識別する画像200に対する1つ以上のラベルを生成してもよい。別の例として、マシンビジョン装置150bは、画像200内の1つ以上の潜在的な欠陥(例えば、線路の位置ずれ170、バラストプロファイル210の変化など)を識別する画像200に対する1つ以上のラベルを生成してもよい。また別の例として、マシンビジョン装置150bは、画像200に対する追加情報(例えば、進行方向160a、植生生育220の終端など)を提供する画像200に対する1つ以上のラベルを生成してもよい。いくつかの実施形態では、マシンビジョン装置150bは、画像200に1つ以上のラベルを重ね合わせる。
特定の実施形態では、マシンビジョン装置150bは、画像200を1つ以上の外部の構成要素(例えば、図1のネットワークオペレーションセンタ180のUE190)に伝達する。いくつかの実施形態では、マシンビジョン装置150bは、鉄道車両140bが例外に遭遇する前に、画像200内の例外(例えば、欠陥)を識別し得る。例えば、マシンビジョン装置150bは、鉄道車両140bが鉄道線路130bの線路の位置ずれ170に近づくときに画像200をキャプチャしてもよい。マシンビジョン装置150bは、画像200が線路の位置ずれ170を含むことを自動で決定し、鉄道車両140bの運転者に潜在的な危険を警告し得る。警報に応答して、オペレータは、事故(例えば、列車の脱線)を防止できる鉄道車両140bが線路の位置ずれ170に遭遇する前にアクション(例えば、鉄道車両140bに関連する列車を停止又は減速)をとり得る。このように、画像200は、鉄道環境120内の安全動作を増加させ得る鉄道環境120の潜在的な欠陥の識別のために使用され得る。
図2は、画像200の鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220の特定の配置を示しているが、本開示は、画像200の鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220の任意の適切な配置を企図する。例えば、鉄道線路130aと鉄道線路130bが入れ替わってもよい。別の例として、破片172は、鉄道線路130a、鉄道線路130b、又は、鉄道線路130bの近くに配置されてもよい。
図2は、特定の数の画像200、鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220を示しているが、本開示は、任意の適切な数の画像200、鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220を企図する。例えば、図2は、2つより多い又は少ない鉄道線路を含んでもよい。図2の画像200は、鉄道システムと関連するが、画像200は、任意の適切な輸送システム(例えば、車両/道路、船舶/水路など)に関連し得る。
図3は、図1のシステム100のマシンビジョン装置150aによって生成され得る例示的な後面画像300を示す。画像300は、特定の時点における鉄道環境120の概要を示す。画像300は、鉄道線路130a、鉄道線路130b、鉄道線路130bの線路の位置ずれ170、鉄道線路130aと鉄道線路130bとの間の破片172、鉄道線路130bの近くのバラストプロファイル210の変化、及び植生生育の終端220を含む。図3に示した実施形態では、鉄道線路130aは、鉄道線路130bに隣接(例えば、平行)している。
特定の実施形態では、図1のマシンビジョン装置150aは、図1の鉄道車両140aが鉄道線路130aに沿って進行方向160bに移動するとき、図3の画像300を自動でキャプチャする。マシンビジョン装置150aは、画像300を静止画像又は動画としてキャプチャし得る。特定の実施形態では、マシンビジョン装置150aは、鉄道車両140bの後部フロントガラスに取り付けられ、鉄道線路130a及び鉄道線路130bの明確な後向きの視野を提供する。
いくつかの実施形態では、マシンビジョン装置150aは、画像300を自動で処理し、画像300の1つ以上のオブジェクトを識別する。マシンビジョン装置150aは、画像300を処理するために機械学習アルゴリズム及び/又はマシンビジョンアルゴリズムを使用してもよい。特定の実施形態では、マシンビジョン装置150aは、リアルタイム又はほぼリアルタイムで画像300を自動で処理する。図3に示した実施形態では、識別されたオブジェクトは、鉄道線路130a、鉄道線路130b、鉄道線路130aと鉄道線路130bとの間の破片172、バラスト210、及び植生220を含む。マシンビジョン装置150aは、画像300が1つ以上の例外(例えば、欠陥)を含むか否かを決定するために画像300のオブジェクトを分析する。
特定の実施形態では、マシンビジョン装置150aは、画像300内の1つ以上の例外を自動で識別する。例えば、マシンビジョン装置150aは、鉄道線路130bの画像300をキャプチャして、画像300の鉄道線路130b内の例外(例えば、湾曲、座屈、ゆがみ、及び/又はねじれたレール)を識別し、例外を潜在的な欠陥(例えば、線路の位置ずれ170)に分類するために、1つ以上のアルゴリズムを使用してもよい。別の例として、マシンビジョン装置150aは、破片172の画像300をキャプチャして、画像300の破片172に対する例外(例えば、鉄道線路130bの近すぎる位置にある破片172、鉄道線路130bの視野を遮る破片172など)を識別することができ、1つ以上のアルゴリズムを使用して例外を欠陥(例えば、近づく列車への潜在的な危険)に分類してもよい。
いくつかの実施形態では、マシンビジョン装置150aは、画像300に対する1つ以上のラベルを生成する。例えば、マシンビジョン装置150aは、1つ以上のオブジェクト(例えば、鉄道線路130a、鉄道線路130b、破片172など)を識別する1つ以上のラベルを画像300に生成してもよい。別の例として、マシンビジョン装置150aは、画像300内の1つ以上の潜在的な欠陥(例えば、線路の位置ずれ170、バラストプロファイル210の変化など)を識別する1つ以上のラベルを画像300に生成してもよい。また別の例として、マシンビジョン装置150aは、画像300に対する追加情報(例えば、進行方向160b、植生生育の終端220など)を提供する1つ以上のラベルを画像300に生成してもよい。いくつかの実施形態では、マシンビジョン装置150bは、画像300に1つ以上のラベルを重ね合わせる。
特定の実施形態では、マシンビジョン装置150aは、画像300を1つ以上の構成要素(例えば、図1のネットワークオペレーションセンタ180のUE190、図1のマシンビジョン装置150bなど)に伝達する。いくつかの実施形態では、マシンビジョン装置150aは、他の鉄道車両が例外に遭遇する前に、画像300内の例外(例えば、欠陥)を識別し得る。例えば、マシンビジョン装置150aは、鉄道車両140aが鉄道線路130aに沿って移動し、鉄道線路130bの線路の位置ずれ170を通過するときに、画像300をキャプチャしてもよい。マシンビジョン装置150bは、画像300が鉄道線路130bの線路の位置ずれ170を含むと自動で決定し、鉄道車両140bの構成要素(例えば、マシンビジョン装置150b)に警報を伝達し得る。鉄道車両140bのオペレータは、線路の位置ずれ170の潜在的な危険を示す警報を受信し得る。警報に応答して、オペレータは、鉄道車両140bが線路の位置ずれ170に遭遇する前にアクション(例えば、鉄道車両140bと関連する列車を停止又は減速)をとることができ、事故(例えば、列車の脱線)を防ぐことができる。このように、画像300は、鉄道環境120内の安全動作を増加させ得る鉄道環境120の潜在的な欠陥を識別するために使用され得る。
図3は、画像300の鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220の特定の配置を示しているが、本開示は、画像300の鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220の任意の適切な配置を企図する。例えば、鉄道線路130aと鉄道線路130bが入れ替わってもよい。別の例として、破片172は、鉄道線路130a、鉄道線路130b、又は、鉄道線路130bの近くに配置されてもよい。
図3は、特定の数の画像300、鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220を示しているが、本開示は、任意の適切な数の画像300、鉄道線路130a、鉄道線路130b、線路の位置ずれ170、破片172、バラストプロファイル210、及び植生生育220を企図する。例えば、図3は、2つより多い又は少ない鉄道線路を含んでもよい。図3の画像300は、鉄道システムと関連するが、画像300は、任意の適切な輸送システム(例えば、車両/道路、船舶/水路など)に関連し得る。
図4は、鉄道環境オブジェクトの潜在的な欠陥を識別するための例示的な方法400を示す。方法400は、ステップ405で開始する。ステップ410において、マシンビジョン装置(例えば、図1のマシンビジョン装置150a)は、鉄道車両(例えば、図1の鉄道車両140a)に取り付けられている。特定の実施形態では、鉄道車両は、列車の終端に位置し、マシンビジョン装置は、鉄道車両の後部フロントガラスに取り付けられ、鉄道線路(例えば、図1の鉄道線路130a)の明確な後方視野を提供する。特定の実施形態では、マシンビジョン装置は、隣接する鉄道線路(例えば、図1の鉄道線路130b)の明確な後方視野を提供するために鉄道車両の後部フロントガラスに配置される。次に、方法400は、ステップ410からステップ420に移動する。
方法400のステップ420で、マシンビジョン装置は、鉄道環境(例えば、図1の鉄道環境120)にあるオブジェクトの画像(例えば、図3の画像300)をキャプチャする。例えば、鉄道環境で隣接する鉄道線路(例えば、図1の鉄道線路130b)、破片(例えば、図1の破片172)、及び/又は歩行者(例えば、図1の歩行者174)の画像をキャプチャしてもよい。マシンビジョン装置は、鉄道車両が第1の方向(例えば、図1の進行方向160a)に鉄道線路に沿って移動する間の時間T1で画像をキャプチャする。次に、方法400は、ステップ420からステップ430に移動する。
方法400のステップ430で、マシンビジョン装置は、オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析する。例えば、マシンビジョン装置は、隣接する鉄道線路に関連する曲率値を決定するために、隣接する鉄道線路の画像を分析してもよい。別の例として、マシンビジョン装置は、破片の画像を分析して破片に関連するサイズ及び/又は形状の値を決定してもよい。また別の例として、マシンビジョン装置は、画像を分析して歩行者と隣接する鉄道線路との間の距離を決定してもよい。次に、方法400は、ステップ430からステップ440に移動する。
方法400のステップ440で、マシンビジョン装置は、オブジェクトに関連する値を所定の閾値と比較する。例えば、マシンビジョン装置は、隣接する鉄道線路に関連する曲率値を所定の曲率の閾値と比較してもよい。別の例として、マシンビジョン装置は、破片に関連するサイズ及び/又は形状の値を所定のサイズ及び/又は形状の閾値と比較してもよい。また別の例として、マシンビジョン装置は、歩行者と隣接する鉄道線路との間の距離を所定の距離の閾値と比較してもよい。次に、方法400は、ステップ440からステップ450に移動する。
方法400のステップ450で、マシンビジョン装置は、オブジェクトに関連する値と所定の閾値との比較がオブジェクトの潜在的な欠陥を示しているか否かを決定する。特定の実施形態では、マシンビジョン装置は、オブジェクトに関連する値が所定の閾値を超過すると決定し得る。例えば、マシンビジョン装置は、隣接する鉄道線路に関連する曲率値が所定の曲率の閾値を超過すると決定してもよい。別の例として、マシンビジョン装置は、破片に関連するサイズ及び/又は形状の値が所定のサイズ及び/又は形状の閾値を超過すると決定してもよい。特定の実施形態では、マシンビジョン装置は、オブジェクトに関連する値が所定の閾値より小さいと決定し得る。例えば、マシンビジョン装置は、歩行者と隣接する鉄道線路との間の距離(例えば、2フィート)が所定の閾値の距離(例えば、5フィート)より小さいと決定してもよい。
ステップ450で、マシンビジョン装置が、オブジェクトに関連する値と所定の閾値との比較がオブジェクトの潜在的な欠陥を示すと決定した場合、方法400は、ステップ450からステップ465に進むみ、そこで方法400は終了する。ステップ450で、マシンビジョン装置が、オブジェクトに関連する値と所定の閾値との比較がオブジェクトの潜在的な欠陥を示すと決定した場合、方法400は、ステップ450からステップ460に移動し、ここでマシンビジョン装置は、鉄道車両の外部の構成要素に警報を伝達する。警報には、オブジェクト対する説明、潜在的な欠陥の説明、オブジェクトの画像、オブジェクトの位置、オブジェクトがマシンビジョン装置によってキャプチャされた時間、オブジェクトがマシンビジョン装置によってキャプチャされた日付、鉄道車両の識別、鉄道車両の進行方向の表示、所定の時間の両内に鉄道環境を通過するように予定された1つ以上の鉄道車両の表示のうちの1つ以上を含み得る。
特定の実施形態では、マシンビジョン装置は、ネットワークオペレーションセンタ(例えば、図1のネットワークオペレーションセンタ180)に関連するUE(例えば、UE190)に警報を伝達し得る。UEのユーザは、潜在的な欠陥が実際の欠陥(例えば、安全上の危険)を示すかを確認し、潜在的な欠陥の識別及び位置を実際の欠陥を含む鉄道環境に入るように予定された鉄道車両(例えば、図1の鉄道車両140b)の1つ以上の構成要素に伝達し得る。従って、方法400は、近づく鉄道環境における実際の欠陥(例えば、線路の位置ずれ)を列車に警告するために使用され、これは、列車が線路の位置ずれに遭遇する前に列車を停止するなどのアクションを開始できるようにし得る。次に、方法400は、ステップ460からステップ465に移動し、そこで方法400は終了する。
図4に示された方法400に対して、修正(Modification)、追加(addition)、又は省略(omission)を行うことができる。方法400は、より多くの、より少ない、又は他のステップを含み得る。例えば、方法400は、第2オブジェクトの画像をキャプチャし、第2オブジェクトの画像を分析して潜在的な欠陥を決定することを目的とした追加のステップを含んでもよい。別の例として、方法400は、潜在的な欠陥の警報を受信することに応答して、1つ以上のアクション(例えば、列車を停止又は減速)を開始するように向けられた1つ以上の追加のステップを含んでもよい。また別の例として、方法400は、鉄道環境オブジェクトにおける(潜在的な欠陥ではなく)例外を識別することを対象としてもよい。また別の例として、方法400の1つ以上のステップがリアルタイムで実行されてもよい。
方法400は、任意の適切な輸送システム(例えば、車両/道路、船舶/水路など)に関連してもよい。方法400のステップは、並行して、又は任意の適切な順序で実行され得る。方法400のステップを完了する特定の構成要素として論じられるが、任意の適切な構成要素は、方法400の任意のステップを実行してもよい。例えば、方法400の1つ以上のステップは、図4のコンピュータシステムの1つ以上の構成要素を使用して自動化されてもよい。
図5は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。例えば、図1のネットワーク110、マシンビジョン装置150a、マシンビジョン装置150b、及び/又はUE190は、1つ以上のインターフェース510、処理回路520、メモリ530、及び/又は他の適切な要素を含んでもよい。インターフェース510は、入力を受信し、出力を送信し、入力及び/又は出力を処理して、及び/又は他の適切な動作を実行する。インターフェース510は、ハードウェア及び/又はソフトウェアを含み得る。
処理回路520は、構成要素の動作を実行又は管理する。処理回路520は、ハードウェア及び/又はソフトウェアを含み得る。処理回路の例は、1つ以上のコンピュータ、1つ以上のマイクロプロセッサー、1つ以上のアプリケーションなどを含む。特定の実施形態では、処理回路520は、入力から出力を生成するなどのアクション(例えば、動作)を実行するめのロジック(例えば、命令)を実行する。処理回路520によって実行されるロジックは、1つ以上の有形の非一時的なコンピュータ可読媒体(例えば、メモリ530)に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コンピュータ実行可能命令、及び/又はコンピュータによって実行可能である命令を含んでもよい。特定の実施形態では、実施形態の動作は、コンピュータプログラムを格納、実現及び/又は符号化、及び/又は格納及び/又は符号化されたコンピュータプログラムを有する1つ以上のコンピュータ可読媒体によって実行されてもよい。
メモリ530(又はメモリユニット)は、情報を格納する。メモリ530(例えば、図1のメモリ124)は、1つ以上の非一時的、有形、コンピュータ可読、及び/又はコンピュータ実行可能記憶媒体を含み得る。メモリ530の例は、コンピュータメモリ(例えば、RAM又はROM)、大容量記憶媒体(例えば、ハードディスク)、リムーバブル記憶媒体(例えば、コンパクトディスク(CD)又はデジタルビデオディスク(DVD))、データベース及び/又はネットワークストレージ(例えば、サーバ)、及び/又は他のコンピュータ可読媒体を含む。
本開示の実施形態は、マシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャするためのシステム及び方法に関する。マシンビジョン装置は、鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられている。この方法はまた、マシンビジョン装置によってオブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用してオブジェクトの画像を分析するステップを含む。この方法は、マシンビジョン装置によってオブジェクトに関連する値がオブジェクトの潜在的な欠陥を示しているかを決定するステップと、マシンビジョン装置によって第1鉄道車両の外部の構成要素に警報を伝達するステップとをさらに含む。警報は、オブジェクトの潜在的な欠陥の表示を含む。
本明細書では、コンピュータ可読非一時的記憶媒体又は媒体は、1つ以上の半導体ベース又は他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)又は特定用途向け集積回路(ASIC))、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAMドライブ、SD(SECURE DIGITAL)カード又はドライブ、その他の適切なコンピュータ可読の非一時的記憶媒体、又は必要に応じてこれらの2以上の適切な組み合わせを含み得る。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性の組み合わせであり得る。
本明細書において、「又は」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、包括的であって排他的ではない。従って、本明細書において、「A又はB」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、「A、B、又はその両方」を意味する。また、「及び」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、共同及び複数を意味する。従って、本明細書において、「A及びB」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、「A及びB、共同、又は個別」を意味する。
本開示の範囲は、当業者が理解することのできる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、変更、及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示しているが、これらの実施形態のいずれも、当業者が理解し得る本明細書のどこかに記載又は図示された構成要素、要素、特徴、機能、動作、又はステップのうちの任意の組み合わせ又は順列を含み得る。さらに、添付の特許請求の範囲において、特定の機能を実行するように適合、配置、可能、構成、有効、動作可能、又は作動する装置又はシステムの構成要素への言及は、その装置、システム、又は構成要素がそのように適合、配置、可能、構成、有効、動作可能、又は作動する限り、その装置、システム、構成要素、又は特定の機能が活性化、オン、又はロック解除されているか否かに関係なく、その装置、システム、構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を説明又は図示しているが、特定の実施形態は、これらの利点のいずれも提供しないか、一部を提供、又は全てを提供し得る。

Claims (22)

  1. 方法であって、
    マシンビジョン装置によって、鉄道環境内のオブジェクトの画像をキャプチャするステップであって、前記マシンビジョン装置は、前記鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられるステップと、
    前記マシンビジョン装置によって、前記オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用して前記オブジェクトの前記画像を分析するステップと、
    前記マシンビジョン装置によって、前記オブジェクトに関連する値が前記オブジェクトの潜在的な欠陥を示しているかを決定するステップと、
    前記マシンビジョン装置によって、前記第1鉄道車両の外部の構成要素に警報を伝達するステップと、
    を含み、
    前記警報は、
    前記オブジェクトの前記潜在的な欠陥の表示を含む、
    方法。
  2. 前記オブジェクトの前記潜在的な欠陥は、
    第2鉄道線路の位置ずれ、
    横断警告装置の誤作動、
    第2鉄道線路の遮られた視野、
    前記オブジェクトの損傷、及び
    前記オブジェクトの誤った配置、
    のうちの1つである、
    請求項1に記載の方法。
  3. 前記鉄道環境の前記第1鉄道線路は、
    前記鉄道環境の第2鉄道線路に隣接し、
    前記第1鉄道車両の外部の前記構成要素は、
    前記第2鉄道線路に沿って第2の方向に移動する第2鉄道車両に取り付けられ、
    前記警報は、
    前記第2鉄道車両にアクションを実行するように命令する、
    請求項1に記載の方法。
  4. 前記第1鉄道車両の外部の前記構成要素は、
    ネットワークオペレーションセンタ内に位置する装置である、
    請求項1に記載の方法。
  5. 前記警報は、
    前記オブジェクトの説明、
    前記潜在的な欠陥の説明、
    前記オブジェクトの前記画像、
    前記オブジェクトの位置、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた時間、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた日付、
    前記第1鉄道車両の識別、
    前記第1鉄道車両の前記第1の方向の表示、及び
    所定の時間内に前記鉄道環境を通過するように予定された1つ以上の鉄道車両の表示、
    のうちの少なくとも1つをさらに含む、
    請求項1に記載の方法。
  6. 前記マシンビジョン装置は、
    前記オブジェクトの前記画像をキャプチャして、10秒以内に前記第1鉄道車両の外部の前記構成要素に前記警報を伝達する、
    請求項1に記載の方法。
  7. 前記マシンビジョン装置は、
    前記第1鉄道車両のフロントガラスに装着される、
    請求項1に記載の方法。
  8. システムであって、
    1つ以上のプロセッサと、
    命令を格納するメモリと、
    を含み、
    前記命令は、
    1つ以上のプロセッサによって実行される場合、1つ以上のプロセッサが動作を行うようにし、
    前記動作は、
    マシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャする動作であって、前記マシンビジョン装置は、前記鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられる動作と、
    前記オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用して前記オブジェクトの前記画像を分析する動作と、
    前記オブジェクトに関連する値が前記オブジェクトの潜在的な欠陥を示しているかを決定する動作と、
    前記第1鉄道車両の外部の構成要素に警報を伝達する動作と、
    を含み、
    前記警報は、
    前記オブジェクトの前記潜在的な欠陥の表示を含む、
    システム。
  9. 前記オブジェクトの潜在的な欠陥は、
    第2鉄道線路の位置ずれ、
    横断警告装置の誤作動、
    第2鉄道線路の遮られた視野、
    前記オブジェクトの損傷、及び
    前記オブジェクトの誤った配置、
    のうちの1つである、
    請求項8に記載のシステム。
  10. 前記鉄道環境の前記第1鉄道線路は、
    前記鉄道環境の第2鉄道線路に隣接し、
    前記第1鉄道車両の外部の前記構成要素は、
    前記第2鉄道線路に沿って第2の方向に移動する第2鉄道車両に取り付けられ、
    前記警報は、
    前記第2鉄道車両にアクションを実行するように命令する、
    請求項8に記載のシステム。
  11. 前記第1鉄道車両の外部の前記構成要素は、
    ネットワークオペレーションセンタ内に位置する装置である、
    請求項8に記載のシステム。
  12. 前記警報は、
    前記オブジェクトの説明、
    前記潜在的な欠陥の説明、
    前記オブジェクトの前記画像、
    前記オブジェクトの位置、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた時間、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた日付、
    前記第1鉄道車両の識別、
    前記第1鉄道車両の前記第1の方向の表示、及び
    所定の時間の両内に前記鉄道環境を通過するように予定された1つ以上の鉄道車両の表示、
    のうちの少なくとも1つをさらに含む、
    請求項8に記載のシステム。
  13. 前記マシンビジョン装置は、
    前記オブジェクトの前記画像をキャプチャして、10秒以内に前記第1鉄道車両の外部の前記構成要素に前記警報を伝達する、
    請求項8に記載のシステム。
  14. 前記マシンビジョン装置は、
    前記第1鉄道車両のフロントガラスに装着される、
    請求項8に記載のシステム。
  15. 1つ以上のコンピュータ可読記憶媒体であって、
    プロセッサによって実行される場合、プロセッサが動作を行うようにする命令を格納し、
    前記動作は、
    マシンビジョン装置によって鉄道環境内のオブジェクトの画像をキャプチャする動作であって、前記マシンビジョン装置は、前記鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられる動作と、
    前記オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用して前記オブジェクトの前記画像を分析する動作と、
    前記オブジェクトに関連する値が前記オブジェクトの潜在的な欠陥を示しているかを決定する動作と、
    前記第1鉄道車両の外部の構成要素に警報を伝達する動作と、
    を含み、
    前記警報は、
    前記オブジェクトの前記潜在的な欠陥の表示を含む、
    1つ以上のコンピュータ可読記憶媒体。
  16. 前記オブジェクトの潜在的な欠陥は、
    第2鉄道線路の位置ずれ、
    横断警告装置の誤作動、
    第2鉄道線路の遮られた視野、
    前記オブジェクトの損傷、及び
    前記オブジェクトの誤った配置、
    のうちの1つである、
    請求項15に記載の1つ以上のコンピュータ可読記憶媒体。
  17. 前記鉄道環境の前記第1鉄道線路は、
    前記鉄道環境の第2鉄道線路に隣接し、
    前記第1鉄道車両の外部の前記構成要素は、
    前記第2鉄道線路に沿って第2の方向に移動する第2鉄道車両に取り付けられ、
    前記警報は、
    前記第2鉄道車両にアクションを実行するように命令し、
    前記第1鉄道車両の外部の前記構成要素は、
    ネットワークオペレーションセンタ内に位置する装置である、
    請求項15に記載の1つ以上のコンピュータ可読記憶媒体。
  18. 前記警報は、
    前記オブジェクトの説明、
    前記潜在的な欠陥の説明、
    前記オブジェクトの前記画像、
    前記オブジェクトの位置、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた時間、
    前記第1鉄道車両の前記マシンビジョン装置によって前記オブジェクトがキャプチャされた日付、
    前記第1鉄道車両の識別、
    前記第1鉄道車両の前記第1の方向の表示、及び
    所定の時間内に前記鉄道環境を通過するように予定された1つ以上の鉄道車両の表示、
    のうちの少なくとも1つをさらに含む、
    請求項15に記載の1つ以上のコンピュータ可読記憶媒体。
  19. 前記マシンビジョン装置は、
    前記オブジェクトの前記画像をキャプチャして、10秒以内に前記第1鉄道車両の外部の前記構成要素に前記警報を伝達する、
    請求項15に記載の1つ以上のコンピュータ可読記憶媒体。
  20. 装置であって、
    鉄道環境内のオブジェクトの画像をキャプチャするための手段であって、マシンビジョン装置が前記鉄道環境の第1鉄道線路に沿って第1の方向に移動する第1鉄道車両に取り付けられている手段と、
    前記オブジェクトに関連する値を決定するために、1つ以上のマシンビジョンアルゴリズムを使用して前記オブジェクトの前記画像を分析する手段と、
    前記オブジェクトに関連する値が前記オブジェクトの潜在的な欠陥を示しているかを決定する手段と、
    前記第1鉄道車両の外部の構成要素に警報を伝達する手段と、
    を含み、
    前記警報は、前記オブジェクトの潜在的な欠陥の表示を含む、装置。
  21. 請求項2から請求項7のいずれかの項に記載の方法を実施するための手段をさらに含む、請求項20に記載の装置。
  22. コンピュータによって実行される場合、前記コンピュータが請求項1から請求項7のいずれかの項の方法のステップを実行させる命令を含む、コンピュータプログラム、コンピュータプログラム生成物、又はコンピュータ可読媒体。

JP2022557882A 2020-03-23 2021-03-10 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法 Active JP7416973B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000013A JP2024041829A (ja) 2020-03-23 2024-01-03 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/827,238 2020-03-23
US16/827,238 US11904914B2 (en) 2020-03-23 2020-03-23 Systems and methods for identifying potential deficiencies in railway environment objects
PCT/US2021/021613 WO2021194744A1 (en) 2020-03-23 2021-03-10 Systems and methods for identifying potential deficiencies in railway environment objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000013A Division JP2024041829A (ja) 2020-03-23 2024-01-03 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2023520341A true JP2023520341A (ja) 2023-05-17
JP7416973B2 JP7416973B2 (ja) 2024-01-17

Family

ID=75267666

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022557882A Active JP7416973B2 (ja) 2020-03-23 2021-03-10 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法
JP2024000013A Pending JP2024041829A (ja) 2020-03-23 2024-01-03 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000013A Pending JP2024041829A (ja) 2020-03-23 2024-01-03 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法

Country Status (10)

Country Link
US (1) US11904914B2 (ja)
EP (1) EP4126631A1 (ja)
JP (2) JP7416973B2 (ja)
KR (1) KR20220133286A (ja)
CN (1) CN115427285A (ja)
AU (1) AU2021244131A1 (ja)
BR (1) BR112022017341A2 (ja)
CA (1) CA3166625A1 (ja)
MX (1) MX2022009405A (ja)
WO (1) WO2021194744A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021200408A1 (de) * 2021-01-18 2022-07-21 Siemens Mobility GmbH Sicherheitskritische bordseitige Überwachung der Umgebung eines Schienenfahrzeugs
US11305796B1 (en) * 2021-10-20 2022-04-19 Bnsf Railway Company System and method for remote device monitoring

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022982B2 (en) 2014-03-18 2021-06-01 Transforation Ip Holdings, Llc Optical route examination system and method
JP4593338B2 (ja) 2005-03-29 2010-12-08 財団法人鉄道総合技術研究所 列車安全運行システム、列車安全運行方法、指令センター
WO2013121344A2 (en) 2012-02-17 2013-08-22 Balaji Venkatraman Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
US9469198B2 (en) * 2013-09-18 2016-10-18 General Electric Company System and method for identifying damaged sections of a route
WO2017130206A1 (en) * 2016-01-31 2017-08-03 Rail Vision Ltd System and method for detection of defects in an electric conductor system of a train
JP2019218035A (ja) 2018-06-22 2019-12-26 株式会社日立製作所 障害物検知システム及び障害物検知方法
CN110458807A (zh) * 2019-07-09 2019-11-15 常州大学 一种铁路轨道缺陷机器视觉检测系统
US11834082B2 (en) * 2019-09-18 2023-12-05 Progress Rail Services Corporation Rail buckle detection and risk prediction

Also Published As

Publication number Publication date
BR112022017341A2 (pt) 2022-10-18
AU2021244131A1 (en) 2022-08-18
WO2021194744A1 (en) 2021-09-30
MX2022009405A (es) 2022-08-25
CA3166625A1 (en) 2021-09-30
KR20220133286A (ko) 2022-10-04
US20210291881A1 (en) 2021-09-23
JP2024041829A (ja) 2024-03-27
EP4126631A1 (en) 2023-02-08
CN115427285A (zh) 2022-12-02
JP7416973B2 (ja) 2024-01-17
US11904914B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
San Kim et al. An accident causation model for the railway industry: Application of the model to 80 rail accident investigation reports from the UK
JP2024041829A (ja) 鉄道環境オブジェクトの潜在的な欠陥を識別するためのシステム及び方法
US20080128563A1 (en) System, Method and Computer Software Code for Remotely Assisted Operation of a Railway Vehicle System
US20150235094A1 (en) Vehicle imaging system and method
US11884310B2 (en) Systems and methods for detecting tanks in railway environments
Zhang et al. Positive Train Control (PTC) for railway safety in the United States: Policy developments and critical issues
WO2013121344A2 (en) Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
Jansson et al. Challenges of replacing train drivers in driverless and unattended railway mainline systems—A Swedish case study on delay logs descriptions
JP2023550708A (ja) 接続診断システム及び方法
Zhao et al. A method for classifying red signal approaches using train operational data
Stene Automation of the rail—removing the human factor?
KR20120073490A (ko) 철도 차량과 선로에 관한 모니터링 방법 및 장치
CN208393387U (zh) 一种基于摄像监测的动车运用所出入库报警系统
Sen et al. Analysis of Causes of Rail Derailment in India and Corrective Measures
Gajbhiye et al. A Review Paper on Smart Railway Crossing using Microcontroller
Zhang Safety Risk Management for Railroad Human Factors: Case Studies on Restricted-Speed Accident and Trespassing
US20230391384A1 (en) Automated operation of railroad trains
WO2024055438A1 (zh) 一种列车自主感知系统
US20230281640A1 (en) Operational Threat Detection System and Method
Selvakumar et al. Design and development of artificial intelligence assisted railway gate controlling system using internet of things
Narusova et al. Development of Hardware and Software to Ensure Process Safety and Reliability in Railway Transport
Zeigler Positive train control: safety, effectiveness, and security
Stoehr et al. FTA Standards Development Program: Needs Assessment for Transit Rail Transmission-Based Train Control (TBTC)
Wang et al. A Railway Accident Prevention System Using an Intelligent Pilot Vehicle
Murray A digital future on track

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02