JP7354129B2

JP7354129B2 - 光学センサの内蔵試験のためのシステムおよび方法

Info

Publication number: JP7354129B2
Application number: JP2020545280A
Authority: JP
Inventors: シャハールハニア
Original assignee: Rail Vision Ltd
Current assignee: Rail Vision Ltd
Priority date: 2018-02-28
Filing date: 2019-02-27
Publication date: 2023-10-02
Anticipated expiration: 2039-02-27
Also published as: CN111919438A; EP3759909A1; WO2019167044A1; US20200413036A1; US11477435B2; JP2021515482A; EP3759909A4; CN111919438B

Description

本発明は、光学センサの分野に関し、より詳細には、光学センサの内蔵試験のためのシステムおよび方法に関する。

スチルカメラまたはビデオカメラなどの光学センサは、所与の解像度および／または所与の信号対雑音（Ｓ／Ｎ）指数で必要とされる視覚情報を提供するために使用される場合、外部光学素子（例えば、最外レンズ）上に蓄積する汚れまたは湿気、湿った空気または埃っぽい空気による低い視認性、低照明条件など、集合的に「光学的外乱」（ＥＯＤ）と称される光学的乱れに非常に敏感なことがある。このような光学センサを使用するシステムは、これらのセンサを使用して取得されたフレームの光学的品質が、ＥＯＤまたはシステム内部の故障（光学的、電子的、物理的、または別のいずれか）のために、低いかどうかを検証することができる必要がある。

本発明の一態様は、光学センサの内蔵試験を実施可能な光学システムを提供することができ、上記システムは、複数の画像フレームを生成するように構成された光学センサと、上記光学センサと通信する処理ユニットを含むことができ、上記処理ユニットは、内蔵試験モデルを含むことができ、上記内蔵試験モデルは、上記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、上記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出し、上記少なくとも１つの変動が、上記光学センサの光学的外乱（ＥＯＤ）によるものか、または上記光学センサの故障によるものかを判定するように構成されている。

いくつかの実施形態では、上記内蔵試験モジュールは、上記サブセットの画像フレームの各画像フレームに高速フーリエ変換（ＦＦＴ）を適用して、上記それぞれの画像フレームのＦＦＴ画像を生成し、上記それぞれの画像フレームの上記ＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、上記それぞれの画像フレームのＨＰＦ画像を生成し、上記それぞれのＨＰＦ画像の上記ＨＰＦ画像の画素値を合計し、上記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成し、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値が期待ＨＰＦ合計閾値を上回るかどうかを判定し、上記それぞれの画像フレームの上記ＨＰＦグレーレベル合計値が上記期待ＨＰＦグレーレベル合計閾値を下回る場合、上記光学センサが上記ＥＯＤまたは上記故障の少なくとも１つを被っていることを示すように構成される。

いくつかの実施形態では、上記内蔵試験モジュールは、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出し、上記ＨＰＦグレーレベル合計値の上記少なくとも１つの変動のパターンを、上記期待ＨＰＦグレーレベル合計値に関して、識別し、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するように、さらに構成される。

いくつかの実施形態では、上記内蔵試験モジュールは、サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、上記それぞれの画像フレームのヒストグラムを生成し、上記それぞれの画像フレームの上記ヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、検出し、上記それぞれの画像フレームの上記ヒストグラムの上記少なくとも１つの変動のパターンを、上記ヒストグラムに関して、識別し、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するように、さらに構成される。

いくつかの実施形態では、上記内蔵試験モジュールは、上記それぞれの画像フレームの上記ヒストグラムに対する上記それぞれの画像フレーム内の指定オブジェクトの寄与度を計算し、上記それぞれの画像フレームの上記ヒストグラムに対する上記指定オブジェクトの上記寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出し、上記それぞれの画像フレームの上記ヒストグラムに対する上記指定オブジェクトの上記寄与度の上記少なくとも１つの変動のパターンを、その期待寄与度に関して、識別し、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの故障によるものかを判定するように、さらに構成される。

いくつかの実施形態では、上記内蔵試験モジュールは、上記サンプリングされた画像フレームの各画像フレームにハイパスフィルタ（ＨＰＦ）を適用して、上記それぞれの画像フレームのＨＰＦ画像を生成し、期待ＨＰＦグレーレベル閾値を上回る上記それぞれのＨＰＦ画像の画素のグレーレベルを合計し、上記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成し、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出し、上記ＨＰＦグレーレベル合計値の上記少なくとも１つの変動のパターンを、上記期待ＨＰＦグレーレベル合計値に関して、識別し、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの故障によるものかを判定するように、さらに構成される。

いくつかの実施形態では、上記システムは、少なくとも２つの光学センサを含み、上記処理ユニットは、相対内蔵試験モジュールを含み、上記相対内蔵試験モジュールは、上記少なくとも２つのセンサの第一の光学センサによって生成された第一の複数の画像フレームの第一サブセットの画像フレームの第一の画像を受信し、上記少なくとも２つのセンサの第二の光学センサによって生成された第二の複数の画像フレームの第二サブセットの画像フレームの第二の画像を受信し、上記第二の画像フレームは上記第一の画像フレームに対応する、上記第一の画像フレームと上記第二の画像フレームを同じ寸法と解像度にスケーリングして、第一のスケーリングされた画像と第二のスケーリングされた画像を生成し、上記第一のスケーリングされた画像に高速フーリエ変換（ＦＦＴ）を適用して、第一のスケーリングされたＦＦＴ画像を生成し、上記第二のスケーリングされた画像にＦＦＴを適用して、第二のスケーリングされたＦＦＴ画像を生成し、上記第一のスケーリングされたＦＦＴ画像と上記第二のスケーリングされたＦＦＴ画像の差分を決定し、上記第一のスケーリングされたＦＦＴ画像と上記第二のスケーリングされたＦＦＴ画像の上記差分が期待差分閾値を上回るかどうかを判定し、上記差分に基づいて、上記差分が上記期待差分閾値を上回る場合に、上記第一の光学センサまたは上記第二の光学センサのいずれが上記ＥＯＤまたは上記故障を被っているかを判定するように、さらに構成される。

いくつかの実施形態では、上記システムは、上記センサが列車９０の進行方向に面するように、上記列車の機関車上に配置可能な光学システムであって、上記処理ユニットが、上記複数の画像フレームのうちの少なくともいくつかを分析し、上記分析された画像フレームにおいて、レールと、上記レール上または上記レールの所定の近傍にある潜在的障害物を検出して、識別するように構成された障害物検出モジュールをさらに備える。

本発明の別の態様は、光学システムの光学センサの内蔵試験を実行する方法を提供し、上記方法は、光学センサから複数の画像フレームを受信するステップと、上記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、上記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出するステップと、上記少なくとも１つの変動が、上記光学センサの光学的外乱（ＥＯＤ）によるものか、または上記光学センサの故障によるものかを判定するステップと、を含むことができる。

いくつかの実施形態において、上記方法は、上記画像サブセットのフレームの各画像フレームに高速フーリエ変換（ＦＦＴ）を適用して、上記それぞれの画像フレームのＦＦＴ画像を生成するステップと、上記それぞれの画像フレームの上記ＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、上記それぞれのＦＦＴ画像のＨＰＦ画像を生成するステップと、上記それぞれのＨＰＦ画像の上記ＨＰＦ画像の画素値を合計し、上記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するステップと、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値が期待ＨＰＦ合計閾値を上回るかどうかを判定するステップと、上記それぞれの画像フレームの上記ＨＰＦグレーレベル合計値が上記期待ＨＰＦグレーレベル合計閾値を下回る場合、上記光学センサが上記ＥＯＤまたは上記故障の少なくとも１つを被っていることを示すステップとを、さらに含む。

いくつかの実施形態では、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出するステップと、上記ＨＰＦグレーレベル合計値の上記少なくとも１つの変動のパターンを、上記期待ＨＰＦグレーレベル合計値に関して、識別するステップと、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するステップと、をさらに含む。

いくつかの実施形態では、上記方法は、上記サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、上記それぞれの画像フレームのヒストグラムを生成するステップと、上記それぞれの画像フレームの上記ヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、検出するステップと、上記それぞれの画像フレームの上記ヒストグラムの上記少なくとも１つの変動のパターンを、上記ヒストグラムに関して、識別するステップと、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するステップと、をさらに含む。

いくつかの実施形態では、上記方法は、上記それぞれの画像フレームの上記ヒストグラムに対する上記それぞれの画像フレーム内の指定オブジェクトの寄与度を計算するステップと、上記それぞれの画像フレームの上記ヒストグラムに対する上記指定オブジェクトの上記寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出するステップと、上記それぞれの画像フレームの上記ヒストグラムに対する上記指定オブジェクトの上記寄与度の上記少なくとも１つの変動のパターンを、その期待寄与度に関して、識別するステップと、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するステップと、をさらに含む。

いくつかの実施形態では、上記方法は、上記サンプリングされた画像フレームの各画像フレームにハイパスフィルタを適用して、上記それぞれの画像フレームのＨＰＦ画像を生成するステップと、期待ＨＰＦグレーレベル閾値を上回る上記それぞれのＨＰＦ画像の画素のグレーレベルを合計し、上記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するステップと、上記それぞれのＨＰＦ画像の上記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出するステップと、上記ＨＰＦグレーレベル合計値の上記少なくとも１つの変動のパターンを、上記期待ＨＰＦグレーレベル合計値に関して、識別するステップと、上記パターンに基づいて、上記少なくとも１つの変動が上記ＥＯＤによるものか、または上記光学センサの上記故障によるものかを判定するステップと、をさらに含む。

いくつかの実施形態において、上記方法は、少なくとも２つのセンサの第一の光学センサによって生成された第一の複数の画像フレームの第一サブセットの画像フレームの第一の画像を受信するステップと、上記少なくとも２つのセンサの第二の光学センサによって生成された第二の複数の画像フレームの第二サブセットの画像フレームの第二の画像を受信するステップであって、上記第二の画像フレームは上記第一の画像フレームに対応する、ステップと、上記第一の画像フレームと上記第二の画像フレームを同じ寸法と解像度にスケーリングして、第一のスケーリングされた画像と第二のスケーリングされた画像を生成するステップと、上記第一のスケーリングされた画像に高速フーリエ変換（ＦＦＴ）を適用して、第一のスケーリングされたＦＦＴ画像を生成し、上記第二のスケーリングされた画像にＦＦＴを適用して、第二のスケーリングされたＦＦＴ画像を生成するステップと、上記第一のスケーリングされたＦＦＴ画像と上記第二のスケーリングされたＦＦＴ画像の差分を決定するステップと、上記第一のスケーリングされたＦＦＴ画像と上記第二のスケーリングされたＦＦＴ画像の上記差分が期待差分閾値を上回るかどうかを判定するステップと、上記差分に基づいて、上記差分が上記期待差分閾値を上回る場合に、上記第一の光学センサまたは上記第二の光学センサのいずれが上記ＥＯＤまたは上記故障を被っているかを判定するステップと、さらに含む。

いくつかの実施形態において、上記方法は、上記光学センサが列車の進行方向に面するように、上記光学センサを上記列車の機関車上に配置するステップと、上記複数の画像フレームのうちの少なくともいくつかを分析するステップと、上記分析された画像フレームにおいて、レールと、上記レール上または上記レールの所定の近傍にある潜在的障害物を検出して、識別するステップと、をさらに含む。

本発明のこれらの、追加および／または他の態様および／または利点は、以下の詳細な説明に記載され、おそらく、その詳細な説明から推測可能であり、および／または本発明の実施によって学習可能である。

本発明の実施形態をより良く理解し、本発明をどのように実施することができるかを示すために、ここで、単一例として、添付の図面を参照する（ここで、同様の数字は、全体を通して対応する要素またはセクションを示す）。

本発明のいくつかの実施形態に従って、光学センサの光学内蔵試験を実施可能な光学システムの概略図である。本発明のいくつかの実施形態に従って、多数の光学センサを含む光学システムであって、その光学センサの内蔵試験および相対内蔵試験を実施可能な光学システムの概略図である。本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法のフローチャートである。本発明のいくつかの実施形態に従って、光学システムの２つの光学センサ間で相対内蔵試験を実施する方法のフローチャートである。移動する列車によって障害物を検出するための光学システムの概略図であり、この光学システムは、本発明のいくつかの実施形態に従って、その光学センサの内蔵試験および相対内蔵試験を実施することができる。本発明の実施形態に従って、少なくとも２つの光学センサを含む光学システムによって撮像された画像フレームのセット（相対内蔵試験は、画像フレームの１つのサブセットに、画像フレームの第二サブセットと比較して適用される）である。入力画像フレームと、本発明の実施形態に従って、閾値フィルタを適用した後、およびノイズフィルタを適用した後の入力画像フレームを示す画像フレームのセットである。本発明の実施形態に従って、光学システムの光学センサのクリーンレンズで撮像された画像フレームと、光学システムの光学センサの非クリーンレンズで撮像された画像フレームと、そのフレーム画像を減算した結果から生じるフレームとを含むフレームのセットである。本発明の実施形態に従って、ＦＦＴ演算子が作用された光学システムの光学センサによって撮像された画像と、減算、閾値、およびノイズ低減が作用されたこれらのフレームの派生物とを示す画像フレームのセットである。本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法のフローチャートである。本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法のフローチャートである。本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法のフローチャートである。本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法のフローチャートである。

説明を簡単で明確にするために、図面に示される要素は、必ずしも一定の縮尺で描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするために、他の要素に対して誇張されていることがある。さらに、適切であると考えられる場合、参照番号は、対応または類似する要素を示すために、図面の間で繰り返されることもある。

以下の説明では、本発明の様々な態様について説明する。説明を目的として、本発明の完全な理解を提供するために、特定の構成および詳細が記載される。しかしながら、本発明は、本明細書に提示される特定の詳細がなくても実施できることは当業者には明らかであろう。さらに、本発明を曖昧にしないために、周知の特徴は省略または簡略化されている。特に図面を参照すると、図示された詳細は、例として、本発明の例示的な説明のみを目的としており、本発明の原理および概念的態様の最も有用で容易に理解される説明であると考えられるものを提供するために提示されることを強調しておく。この点に関して、本発明の基本的な理解のために必要である以上に詳細に本発明の構造的詳細を示す試みはなされておらず、図面を用いてなされた説明は、本発明のいくつかの形態が実際にどのように具現化され得るかを当業者に明らかにする。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明に記載されるか、または図面に示される構成要素の構成および配置の詳細に限定されないことを理解されたい。本発明は、様々な方法で実施または実行することができる他の実施形態でも、開示された実施形態の組合せでも適用可能である。また、本明細書で使用される語法および用語は、説明を目的とするものであり、限定するものとみなされるべきではないことを理解されたい。

特に明記しない限り、以下の説明から明らかなように、本明細書の説明全体にわたって使用される用語、「処理する」、「計算する」、「算出する」、「決定する」、「強化する」などは、計算システムのレジスタおよび／またはメモリ内の電子量などの物理量として表されるデータを、計算システムのメモリ、レジスタ、または他のそのような情報記憶、伝送、または表示デバイス内の物理量として同様に表される他のデータに操作および／または変換する、コンピュータもしくは計算システム、または同様の電子計算デバイスの動作および／またはプロセスを指すことが理解される。開示されたモジュールまたはユニットのいずれも、コンピュータプロセッサによって少なくとも部分的に実装することができる。

一般に、１つまたは複数の光学センサと、光学センサの内蔵試験を実施することができる処理ユニットとを含む光学システムおよびその方法が開示される。

いくつかの実施形態によれば、処理ユニットは、内蔵試験モジュールを含む。内蔵試験モジュールは、光学センサの期待される光学的品質に関して、光学センサによって生成された画像のうちの少なくとも一部の光学的品質の低下を検出するように構成されてもよい。様々な実施形態では、内蔵試験モジュールは、その光学的品質の低下が、「光学的外乱」（ＥＯＤ）および／または光学センサ／システムの故障によるものかどうかを判定するようにさらに構成される。

いくつかの実施形態によれば、処理ユニットは、相対内蔵試験モジュールを含む。相対内蔵試験モジュールは、少なくとも２つの光学センサによって生成された少なくともいくつかの画像を比較し、その少なくとも２つの光学センサのうちの１つの光学センサによって生成された画像フレームの光学的品質の低下を、少なくとも２つの光学センサの別の光学センサに対して判定するように構成されてもよい。光学的品質の低下は、例えば、ＥＯＤおよび／または故障に起因し得る。

本発明の１つの利点は、内蔵試験モジュールおよび／または相対内蔵試験モジュールで実施される方法の実装によって、この方法を実施するために必要とされる計算リソースの消費が少なくなることである。本発明の別の利点は、内蔵試験モジュールおよび／または相対内蔵試験モジュールで実施される方法の実装によって、一切の所定の基準データ／画像フレームが不要になることである。

したがって、その方法の実装は、高い故障カバレッジ確率を提供しながら、リアルタイムで（例えば、画像フレームのストリームに対する一切の待ち時間なしに）、事実上、光学システム／処理ユニットの動作機能を妨げることなく、実施され得る。さらに、その方法は、その方法を実施するために画像フレームを保存／記憶する必要がないので、さらなる処理のためにフレームの保存を必要とする方法と比較して、保存される必要のない各画像フレーム当たり約６Ｍｂだけ光学システムの全体記憶空間を減らすことができる。

ここで、図１Ａを参照すると、この図は、本発明のいくつかの実施形態に従って、光学センサ１１０の光学内蔵試験を実施可能な光学システム１００の概略図である。

いくつかの実施形態によれば、システム１００は、光学センサ１１０および処理ユニット１２０（例えば、図１Ａに示すように）を含む。処理ユニット１２０は、光学センサ１１０と（有線または無線で）通信してもよい。光学センサ１１０は、例えば、スチルカメラであっても、あるいはビデオカメラであってもよい。

光学センサ１１０は、その視野（ＦＯＶ）内のシーンの複数の画像フレーム１１２を生成するように構成されてもよい。処理ユニット１２０は、光学センサ１１０から複数の画像フレーム１１２を受信するように構成されてもよい。

いくつかの実施形態によれば、処理ユニット１２０は、内蔵試験モジュール１３０を含む。内蔵試験モジュール１３０は、光学センサ１１０によって生成される画像フレームの少なくとも一部に基づいて、光学センサ１１０の内蔵試験を実施するように構成されてもよい。

処理ユニット１２０は、所望の試験頻度に従って、また光学センサ１１０のフレームレートに従って、複数の画像フレーム１１２の画像フレームを周期的にサンプリングし、サブセットのサンプリングされた画像フレーム（ＳＩＦ）１１４を生成し、サブセットのサンプリングされた画像フレーム１１４を内蔵試験モジュール１３０に入力するように構成されてもよい。

内蔵試験モジュール１３０は、サンプリングされた画像フレーム１１４のサブセットの少なくとも１つの画像フレームの光学的品質が、その期待される光学的品質と比較して低下したことを検出するように構成されてもよい。画像フレームの光学的品質の低下は、それぞれの画像フレームの高い空間周波数エネルギーが、その期待される高い空間周波数エネルギーと比較して、低下／劣化したことに基づいて決定されてもよい。画像フレームの高い空間周波数エネルギーが低下／劣化したことの検出は、例えば、それぞれの画像フレームに、周波数領域への任意の変換（例えば、図１Ｃに関して以下に説明する高速フーリエ変換（ＦＦＴ））を適用することによって実行することができる。

いくつかの実施形態では、内蔵試験モジュール１３０は、少なくとも１つの画像フレームで検出された光学的品質の低下が、光学センサ１１０の光学的外乱（ＥＯＤ）によるものか、または光学センサ１１０の故障（例えば、光学的、電子的、物理的など）によるものかを判定するように構成される。

様々な実施形態によれば、内蔵試験モジュール１３０は、それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動に基づいて、少なくとも１つの画像フレームの光学的品質の低下を検出するように構成される。いくつかの実施形態では、内蔵試験モジュール１３０は、その変動が、光学センサ１１０のＥＯＤによるものか、または光学センサ１１０の故障によるものかを判定するように構成される（例えば、図１Ｃに関して以下で説明するように）。

いくつかの実施形態によれば、処理ユニット１２０は、画像フレームのリポジトリ１２２を含む。処理ユニット１２０は、光学センサ１１０によって生成された複数の画像フレーム１１２のうちの少なくともいくつかをリポジトリ１２２に記憶するように構成されてもよい。

いくつかの実施形態では、リポジトリ１２２は、内蔵モジュール１３０と通信する。いくつかの実施形態では、リポジトリ１２２は、ＤＤＲ駆動部を含む。

ここで、多数の光学センサ１１０を含む光学システム１００の概略図である図１Ｂを参照すると、この光学システム１００は、本発明のいくつかの実施形態に従って、その光学センサ１１０の内蔵試験および相対内蔵試験を実施することができる。

いくつかの実施形態によれば、システム１００は、多数の光学センサ１１０（例えば、図１Ｂに示されるように）を含む。例えば、システム１００は、Ｋ個の光学センサ１１０（１）～１１０（Ｋ）（例えば、図１Ｂに示されるように）を含んでもよい。多数の光学センサ１１０（１）～１１０（Ｋ）のそれぞれは、それぞれの複数の画像フレームを生成して、（例えば、図１Ｂに示すように）多数の複数の画像フレーム１１２（１）～１１２（Ｋ）を生成するように構成されてもよい。

処理ユニット１２０は、（例えば、図１Ａに関して上述したように）複数の画像フレーム１１２（１）～１１２（Ｋ）から画像フレームをサンプリングして、対応するサブセットのサンプリングされた画像フレーム１１４（１）～１１４（Ｋ）を生成するように構成されてもよい。

処理ユニット１２０の内蔵試験モジュール１３０は、光学センサ１１０（１）～１１０（Ｋ）の少なくとも１つの光学センサ（または各光学センサ）の内蔵試験を実施し、それによって、それぞれの光学センサによって生成される画像フレームの光学的品質の低下が、ＥＯＤによるものか、および／またはそれぞれの光学センサの故障によるものかを検出および／または判定するように構成されてもよい（例えば、図１Ａに関して上述したように、および図１Ｃに関して以下で説明するように）。

様々な実施形態では、内蔵試験モジュール１３０は、それぞれ異なる時間に光学センサ１１０（１）～１１０（Ｋ）の１つの光学センサの内蔵試験を実施するように、または光学センサ１１０（１）～１１０（Ｋ）の２つ以上の光学センサの内蔵試験を並列に実施するように構成される。いくつかの実施形態では、システム１００は、光学センサ１１０（１）～１１０（Ｋ）の対応する２つ以上の光学センサの並列内蔵試験を実施するように構成された２つ以上の内蔵試験モジュール１３０を含む。

いくつかの実施形態によれば、システム１００は、相対内蔵試験モジュール１４０を含む。相対内蔵試験モジュール１４０は、対応する少なくとも２つの光学センサ１１０（１）～１１０（Ｋ）の少なくとも２つのサブセットのサンプリングされた画像１１４（１）～１１４（２）の画像フレームを比較するように構成されてもよい。相対内蔵試験モジュール１４０は、その比較に基づいて、少なくとも２つの光学センサ１１０（１）～１１０（Ｋ）のうちのいずれが、例えば、ＥＯＤおよび／または故障に起因して、互いに対して光学的品質が低下した画像フレームを生成するかを検出し、示すように構成されてもよい（例えば、図１Ｄに関して以下に記載されるように）。

いくつかの実施形態では、相対内蔵試験モジュールは、画像フレームのリポジトリ１２２と通信することができる。

以下の説明（例えば、図１Ｃおよび図１Ｄ、図３、図４、図６および図７に関してなされる）は、画像フレームの周波数領域への変換の一例として、高速フーリエ変換（ＦＦＴ）を提供することに留意されたい。周波数領域への他の変換も同様に使用できることを理解されたい。

ここで、図１Ｃを参照すると、この図は、本発明のいくつかの実施形態に従って、光学システム１００の光学センサ１１０の内蔵試験を実施する方法のフローチャートである。

この方法は、図１Ｃに示すフローチャートおよび対応する説明に限定されないことに留意されたい。例えば、様々な実施形態では、本方法は、図示された各ボックスまたはステージを通過する必要はなく、あるいは図示され説明された順序と全く同じ順序で通過する必要もない。

いくつかの実施形態によれば、処理ユニット１２０は、光学センサから複数の画像フレームを受信するように構成される（ステージ１２０－１）。例えば、図１Ａに関して上述した複数の画像フレーム１１２および光学センサ１１０である。

図１Ｃは、分かりやすくするために、単一の光学センサの内蔵試験を実施する方法を示しており、その方法は、光学システムの各光学センサに適用されてもよいことに留意されたい。

いくつかの実施形態によれば、処理ユニット１２０は、所望の試験頻度に従って、かつ、光学センサのフレームレートに従って、複数の画像フレームの画像フレームを周期的にサンプリングして、サブセットのサンプリングされた画像フレームを生成するように構成される（ステージ１２０－２）。例えば、図１Ａおよび図１Ｂに関して上述したように、サブセットのサンプリングされた画像フレーム１１４である。

内蔵試験モジュール１３０は、サブセットのサンプリングされた画像フレームの各画像フレームに基づいて内蔵試験を適用するように構成され得る。

いくつかの実施形態によれば、内蔵試験モジュール１３０は、サブセットのサンプリングされた画像フレームの各画像フレームに高速フーリエ変換（ＦＦＴ）を適用して、それぞれの画像フレームのＦＦＴ画像を生成するように構成される（ステージ１３０－１）。ＦＦＴ画像は、例えば、それぞれの画像フレームの二次元（２Ｄ）空間周波数領域を表すことができる。

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれの画像フレームのＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、それぞれのＦＦＴ画像のＨＰＦ画像を生成するように構成される（ステージ１３０－２）。

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれのＨＰＦ画像の画素のエネルギー／グレーレベルを合計して、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するように構成される（ステージ１３０－３）。いくつかの実施形態では、ステージ１３０－３～１３０－６は、それぞれのＨＰＦ画像の画素数に関して（例えば、そのＨＰＦグレーレベル合計値に関してではなく）実行される。

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値が期待ＨＰＦグレーレベル合計閾値を上回るかどうかを判定するように構成される（ステージ１３０－４）。

ＨＰＦグレーレベル合計値は、例えば、光学センサのＥＯＤまたは光学センサの故障を示すことができる。例えば、期待ＨＰＦグレーレベル合計閾値を下回るＨＰＦグレーレベル合計値は、光学センサがＥＯＤまたは故障を被っている場合があることを示し得る。

いくつかの実施形態では、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値が、期待ＨＰＦグレーレベル合計閾値を下回る場合、内蔵試験モジュール１３０は、光学センサが、ＥＯＤまたは故障のうちの少なくとも１つを被っていることを示すように構成される（ステージ１３０－５）。

他の実施形態では、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値が期待ＨＰＦグレーレベル合計閾値を上回る場合、内蔵試験モジュール１３０は、サンプリングされた画像フレームの後続の画像フレームに対して内蔵試験を実施するように構成される（ステージ１３０－１）。

いくつかの実施形態によれば、内蔵試験モジュール１３０は、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待される／事前定義されたＨＰＦグレーレベル合計値に関して検出するように構成される（ステージ１３０－６）。ＨＰＦ画像の他のパラメータ（例えば、ＨＰＦグレーレベル合計値ではなく）が、その検出変動について追跡され得ることに留意されたい。

期待ＨＰＦグレーレベル合計値に関するそれぞれのＨＰＦのＨＰＦグレーレベル合計値の変動は、例えば、ＥＯＤおよび／または光学センサ／システムの故障を示すことができる。変動は、例えば、ＨＰＦグレーレベル合計値の平均および／または標準偏差の変化で、その期待値と比較したものを含むことができる。

例えば、ＨＰＦ画像の低周波数における変動と、その結果として、期待ＨＰＦグレーレベル合計値に関するＨＰＦグレーレベル合計値の平均における緩慢なドリフト変動（例えば、１～３秒の時間範囲内）は、気象条件（例えば、ＥＯＤ）の変化を示すことがある。別の例では、期待ＨＰＦグレーレベル合計値と比較したＨＰＦグレーレベル合計値における急速な変動（例えば、１／３０～１／２５秒の時間範囲内の変動のようなステップ関数）は、光学センサの物理的衝撃／故障を示すことができる。

いくつかの実施形態では、期待ＨＰＦグレーレベル合計値に関するＨＰＦグレーレベル合計値の変動が検出されると、内蔵試験モジュール１３０は、光学センサがＥＯＤまたは故障のうちの少なくとも１つを被っていることを示すように構成される（ステージ１３０－５）。

いくつかの実施形態では、内蔵試験モジュール１３０は、さらに、変動がＥＯＤによるものか、または光学センサ／システムの故障によるものかを判定するように構成される（ステージ１３０－７）。例えば、内蔵試験モジュール１３０は、期待ＨＰＦグレーレベル合計値に関するＨＰＦグレーレベル合計値の変動（例えば、上述のような急速または緩慢なドリフト変動のいずれか）のパターンを識別し、そのパターンに基づいて、変動が光学的外乱によるものか、または光学センサ／システムの故障によるものかを判定するように構成することができる。

他の実施形態では、期待ＨＰＦグレーレベル合計値に関するＨＰＦグレーレベル合計値の変動が検出されない場合、内蔵試験モジュール１３０は、サンプリングされた画像フレームの後続の画像フレームに対して内蔵試験を実施するように構成される（ステージ１３０－１）。

いくつかの実施形態によれば、内蔵試験モジュール１３０は、サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、それぞれの画像フレームのヒストグラム（ＨＩＳＴ）を生成するように構成される（ステージ１３０－８）。

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれの画像フレームのヒストグラムに対するそれぞれの画像フレーム内の指定オブジェクトの寄与度を検出するように構成される（ステージ１３０－９）。例えば、光学システムが移動する列車による障害物検出システムである場合には、指定オブジェクトはレール軌道（例えば、図２に関して以下に説明する）であってもよい。

様々な実施形態では、内蔵試験モジュール１３０は、それぞれの画像フレームのヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、および／または、それぞれの画像フレームのヒストグラムに対する指定オブジェクトの寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出するように構成される（ステージ１３０－９）。その変動は、例えば、それぞれの画像のヒストグラムまたはヒストグラムへの寄与度の平均および／または標準偏差の変化で、その期待値と比較したものを含むことができる。

期待ヒストグラムに関してそれぞれの画像のヒストグラムの変動、および／または期待寄与度に関してヒストグラムに対する指定オブジェクトの寄与度の変動は、例えば、ＥＯＤおよび／または光学センサ／システムの故障を示すことができる。例えば、急速な変動は、光学センサの物理的損傷／ブロック（例えば、故障）を示すことがある。別の例では、小さなドリフト変動は、変化する気象条件（例えば、ＥＯＤ）を示すことがある。

様々な実施形態では、期待ヒストグラムに関してそれぞれの画像フレームのヒストグラムの変動および／またはそれぞれの画像フレームのヒストグラムに対して期待寄与度に関する寄与度の変動が検出されると、内蔵試験モジュール１３０は、光学センサがＥＯＤまたは故障のうちの少なくとも１つを被っていることを示すように構成される（ステージ１３０－５）。

いくつかの実施形態では、内蔵試験モジュール１３０は、さらに、変動がＥＯＤによるものか、または光学センサ／システムの故障によるものかを判定するように構成される（ステージ１３０－７）。例えば、内蔵試験モジュール１３０は、期待ヒストグラムに関するそれぞれの画像フレームのヒストグラムの変動のパターン、またはそれぞれの画像フレームのヒストグラムに対する指定オブジェクトの寄与度の変動のパターン（例えば、上述のような緩慢または急速なドリフト変動のいずれか）を識別し、そのパターンに基づいて、その変動がＥＯＤによるものか、または光学センサ／システムの故障によるものかを判定するように構成されてもよい。

他の実施形態では、期待ヒストグラムに対するそれぞれの画像フレームのヒストグラムの変動が検出されない場合、および／または、それぞれの画像フレームのヒストグラムに対する指定オブジェクトの寄与度の変動が検出されない場合、内蔵試験モジュール１３０は、サンプリングされた画像フレームの後続の画像フレームに対して内蔵試験を実施するように構成される（ステージ１３０－１）。

いくつかの実施形態によれば、内蔵試験モジュール１３０は、サンプリングされた画像フレームの各画像フレームにボックス差分／ブロブ（ＤＯＢ）フィルタ（または任意のハイパスフィルタ（ＨＰＦ）フィルタ）を適用して、それぞれの画像フレームのＤＯＢ／ＨＰＦ画像を生成するように構成される（ステージ１３０－１１）

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれの画像フレームのＤＯＢ／ＨＰＦ画像の画素のエネルギー／グレーレベルで、期待ＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦ閾値を上回るものを合計して、それぞれのＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦグレーレベル合計値を生成するように構成される（ステージ１３０－１２）。いくつかの実施形態では、ステージ１３０－２～１３０－３は、それぞれのＤＯＢ／ＨＰＦ画像の画素数に関して（例えば、そのＤＯＢ／ＨＰＦグレーレベル合計値に関してではなく）実施される。

いくつかの実施形態では、内蔵試験モジュール１３０は、それぞれのＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦグレーレベル合計値の少なくとも１つの変動を、期待ＤＯＢ／ＨＰＦグレーレベル合計値に関して、検出するように構成される（ステージ１３０－１３）。

期待ＤＯＢ／ＨＰＦグレーレベル合計値に関するそれぞれのＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦグレーレベル合計値の変動は、例えば、ＥＯＤおよび／または光学センサ／システムの故障を示すことができる。変動は、例えば、ＤＯＢ／ＨＰＦグレーレベル合計値の平均および／または標準偏差の変化で、その期待値と比較したものを含むことができる。例えば、ＤＯＢ／ＨＰＦグレーレベル合計値における急速な変動は、光学センサの故障を示すことがある。別の例では、緩慢なドリフト変動は、ＥＯＤを示すことがある。

いくつかの実施形態では、期待ＤＯＢ／ＨＰＦグレーレベル合計値に関するＤＯＢ／ＨＰＦグレーレベル合計値の変動が検出されると、内蔵試験モジュール１３０は、光学センサがＥＯＤまたは故障のうちの少なくとも１つを被っていることを示すように構成される（ステージ１３０－５）。

いくつかの実施形態では、内蔵モジュール１３０は、さらに、変動がＥＯＤによるものか、または光学センサ／システムの故障によるものかを判定するように構成される（ステージ１３０－７）。例えば、内蔵試験モジュール１３０は、期待ＤＯＢ／ＨＰＦグレーレベル合計値（例えば、上述のような急速または緩慢なドリフト変動のいずれか）に関するＤＯＢ／ＨＰＦグレーレベル合計値の変動のパターンを識別し、そのパターンに基づいて、変動が光学的外乱によるものか、または光学センサ／システムの故障によるものかを判定するように構成することができる。

他の実施形態では、期待ＨＰＦグレーレベル合計値に対するＤＯＢ／ＨＰＦグレーレベル合計値の変動が検出されない場合、内蔵試験モジュール１３０は、サンプリングされた画像フレームの後続の画像フレームに対して内蔵試験を実行するように構成される（ステージ１３０－１）。

いくつかの実施形態によれば、内蔵試験モジュール１３０は、それぞれの画像フレーム上で、内蔵試験のＦＦＴチャネル（例えば、ステージ１３０－１～１３０－６）、ＨＩＳＴチャネル（例えば、ステージ１３０－８～１３０－１０）、ＤＯＢ／ＨＰＦチャネル（１３０－１１～１３０－１３）、またはそれらの任意の組合せのうちの少なくとも１つを利用することによって、光学センサの内蔵試験を実施するように構成される。

いくつかの実施形態によれば、期待されるパラメータは、機械学習および／または深層学習手法を使用して、内蔵試験モジュール１３０によって決定される。例えば、内蔵試験モジュール１３０は、光学センサによって生成される複数の画像フレームから周期的にサンプリングされる画像フレームから期待されるパラメータを導出および／または修正するように構成されてもよい。

期待されるパラメータは、例えば、図１Ｃに関して上述したように、期待ＨＰＦ合計閾値、期待ＨＰＦグレーレベル合計値、期待ヒストグラム、ヒストグラムに対する指定オブジェクトの期待寄与度、期待ＨＰＦ／ＤＯＢ閾値、および／または期待ＨＰＦ／ＤＯＢグレーレベル合計値を含むことができる。

いくつかの実施形態によれば、内蔵モジュール１３０は、それぞれの画像フレームにおいて、前の画像フレームに現れる少なくとも１つのオブジェクト（例えば、建物、柱、橋など）の少なくとも１つの変動（例えば、消失）を検出し、その変動に基づいて、光学センサがＥＯＤおよび／または故障を被っていることを決定するように構成される。

ここで、図１Ｄを参照すると、この図は、本発明のいくつかの実施形態に従って、光学システム１００の２つの光学センサ１１０の間の相対内蔵試験を実施する方法のフローチャートである。

いくつかの実施形態によれば、処理ユニット１２０は、光学システム１００の光学センサの第一の光学センサからの第一の複数の画像フレームと、第二の光学センサからの第二の複数の画像フレームとを受信するように構成される（ステージ１２０－１）。例えば、第一の光学センサおよび第二の光学センサは、図１Ｂに関して上述したような光学センサ１１０（１）～１１０（Ｋ）のいずれであってもよい。

いくつかの実施形態によれば、処理ユニット１２０は、第一の複数の画像フレームを周期的にサンプリングして、第一サブセットのサンプリングされた画像フレームを生成し、第二の複数の画像フレームを周期的にサンプリングして、第二サブセットのサンプリングされた画像フレームを生成するように構成される（ステージ１２０－２）（例えば、図１Ａ、図１Ｂ、および図１Ｃに関して上述したように）。

相対内蔵試験モジュール１４０は、第一サブセットのサンプリングされた画像フレームの各画像フレームと、第二サブセットのサンプリングされた画像フレームの対応する画像フレームとに基づいて、相対内蔵試験を適用するように構成されてもよい。

いくつかの実施形態によれば、相対内蔵試験モジュール１４０は、第一サブセットのサンプリングされた画像フレームからの第一の画像フレームと、第二サブセットのサンプリングされた画像フレームの第二の画像フレームとを受信するように構成され、第二の画像フレームは、第一の画像フレームに対応する（ステージ１４０－１）。

様々な実施形態では、第一の画像フレームの寸法および／または解像度は、第二の画像フレームの寸法および／または解像度と比較して異なる。これらの実施形態では、相対内蔵試験モジュール１４０は、第一の画像フレームおよび第二の画像フレームを同じ寸法および／または解像度にスケーリングして、第一のスケーリングされた画像および第二のスケーリングされた画像（ステージ１４０－２）を生成するように構成される。

いくつかの実施形態では、相対内蔵試験モジュール１４０は、第一のスケーリングされた画像にＦＦＴを適用して第一のスケーリングされたＦＦＴ画像を生成し、第二のスケーリングされた画像にＦＦＴを適用して第二のスケーリングされたＦＦＴ画像を生成するように構成される（ステージ１４０－３）。いくつかの実施形態において、ＦＦＴは、第一のスケーリングされた画像フレームおよび第二のスケーリングされた画像フレームのそれぞれに、その画像のゲイン補正および正規化とともに適用される。

いくつかの実施形態では、相対内蔵試験モジュール１４０は、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分を判定するように構成される（ステージ１４０－４）。その差分は、例えば、第二のスケーリングされたＦＦＴ画像から第一のスケーリングされたＦＦＴ画像を減算することによって、または第一のスケーリングされたＦＦＴ画像から第二のスケーリングされたＦＦＴ画像を減算することによって、判定され得る。

いくつかの実施形態では、相対内蔵試験モジュール１４０は、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分が期待差分閾値を上回っているかどうかを判定するように構成される（ステージ１４０－５）。

いくつかの実施形態では、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分が期待差分閾値を上回っている場合、相対内蔵試験モジュール１４０は、それらの差分に基づいて、第一の光学センサまたは第二の光学センサのいずれがＥＯＤまたは故障を被っているかを判定するように構成される（ステージ１４０－６）。

他の実施形態において、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分が期待差分閾値を下回っている場合、相対内蔵試験モジュール１４０は、サンプリングされた画像フレームの第一のセットの後続の画像フレームに、またサンプリングされた画像フレームの第二のセットの対応する後続の画像フレームに、相対内蔵試験を適用するように構成される（ステージ１４０－１）。

ここで、移動する列車９０によって障害物を検出するための光学システム２００の概略図である図２を参照すると、この光学システム２００は、本発明のいくつかの実施形態に従って、その光学センサ２１０の内蔵試験および相対内蔵試験を実施することができる。

いくつかの実施形態によれば、光学システム２００は、１つまたは複数の光学センサ２１０と、光学センサ２１０と通信する処理ユニット２２０とを含む。システム２００は、例えば、光学センサ２１０が列車９０の進行方向に向くように列車９０の機関車９２上に配置されてもよい。例えば、光学システム２００、光学センサ２１０および／または処理ユニット２２０は、図１Ａ、図１Ｂ、図１Ｃおよび図１Ｄに関して上述したように、それぞれ光学システム１００、光学センサ１１０および／または処理ユニット１２０と同様であってもよい。

光学センサ２１０は、環境の画像（例えば、図１Ａおよび図１Ｂに関して上述したような複数の画像フレーム１１２）を生成してもよい。

いくつかの実施形態によれば、処理ユニット２２０は、障害物検出識別モジュール２２５を含む。障害物検出識別モジュール２２５は、光学センサ２１０によって生成された画像を分析し、画像内のレール８０を識別し、および／またはレール８０上またはレール８０の所定の近傍にある潜在的オブジェクト／障害物７０を識別するように構成されてもよい。

いくつかの実施形態によれば、処理ユニット２２０は、内蔵試験モジュール２３０（例えば、図１Ａ、図１Ｂ、および図１Ｃに関して上述したような内蔵試験モジュール１３０と同様）および相対内蔵試験モジュール２４０（例えば、図１Ｂおよび図１Ｄに関して上述したような相対内蔵試験モジュール１４０と同様）のうちの少なくとも１つを含む。

内蔵試験モジュール２３０は、光学センサ２１０のうちの少なくとも１つによって生成された画像の光学的品質の低下を検出し、いくつかの実施形態では、その光学的品質の低下がＥＯＤおよび／または故障によるものかどうかを判定するように構成されてもよい（例えば、図１Ａ、図１Ｂ、および図１Ｃに関して上述したように）。

相対内蔵試験モジュール２４０は、少なくとも２つの光学センサ２１０によって生成された画像を比較し、その少なくとも２つの光学センサのうちのいずれかが、もしあれば、（例えば、図１Ｂおよび１Ｄに関して上述したように）ＥＯＤおよび／または故障のうちの少なくとも１つを被っているかを検出するように構成されてもよい。

いくつかの実施形態によれば、内蔵試験（例えば、内蔵試験モジュール２３０によって実施される）および相対内蔵試験（例えば、相対内蔵試験モジュール２４０によって実施される）は、並行して実施される。

ここで、少なくとも２つの光学センサ（光学センサ１１０または２１０など）を含む光学システム（光学システム１００または２００など）によって撮られた画像フレームのセットである図３を参照すると、相対内蔵試験が、本発明の実施形態に従って、画像フレームの１つのサブセットに、画像フレームの第二サブセットと比較して、適用される。

フレーム３０２は、入力画像である。フレーム３０４は、入力画像３０２のボケ画像である。フレーム３０６は、フレーム３０２のＲＯＩの画像である。フレーム３０８は、フレーム３０４のボケ画像である。フレーム３１０は、画像３０２をＦＦＴフィルタでフィルタリングした結果である。フレーム３１２は、フレーム３０８のＦＦＴフィルタリング結果である。

ここで図４を参照すると、この図は、入力画像フレームと、本発明の実施形態に従って、閾値フィルタを適用した後、およびノイズフィルタを適用した後の入力画像フレームを示す画像フレームのセットである。

フレーム４０２は入力画像であり、フレーム４０４はフレーム４０２上で閾値を作動させた結果であり、フレーム４０６はフレーム４０６上でノイズ低減動作を行った結果である。

ここで、本発明の実施形態に従って、光学システムの光学センサ（光学センサ１１０、２１０および光学システム１００、２００など）のクリーンレンズで撮像された画像フレームと、光学システムの光学センサの非クリーンレンズで撮像された画像フレームと、そのフレーム画像を減算した結果から生じるフレームのセットである図５を参照する。

画像フレーム５０２は、光学センサのクリーンレンズで撮像された画像を示す。画像フレーム５０４は、光学センサの非クリーンレンズで撮像された同じ風景の画像を示し、フレーム５０６は、画像フレーム５０２および５０４上に差分演算子を適用することから生じる画像を描写する。

ここで、本発明の実施形態に従って、ＦＦＴ演算子が作用された光学システム（光学センサ１１０、２１０および光学システム１００、２００など）の光学センサによって撮像された画像フレームと、減算、閾値およびノイズ低減が作用されたこれらのフレームの派生物を示す画像フレームのセットである図６を参照する。

画像フレーム６０６は、クリーンレンズを有する光学センサの光学センサによって撮像されたＦＦＴを受ける入力画像フレーム（画像フレーム６０２）と、非クリーンレンズを有する光学センサによって撮像された画像フレーム（画像フレーム６０４）のＦＦＴ結果に差分演算子を操作した結果を示す。画像フレーム６０８は、フレーム６０６の画像に閾値を適用した結果を示す（結果として生じるアーチファクト６０８ｂは、円６０８ａで囲まれて示されている）。画像フレーム６１０は、フレーム６０８の画像にノイズ低減を適用した結果を示す。画像フレーム６１２は、図４に示される入力に、逆ＦＦＴおよびノイズ低減ならびに差分を適用した結果を示す。

ここで、図７を参照すると、この図は、本発明のいくつかの実施形態に従って、光学システムの光学センサの内蔵試験を実施する方法７００のフローチャートである。

方法７００は、光学システム１００（例えば、図１Ａ、図１Ｂ、図１Ｃ、および図１Ｄに関して上述したようである）または光学システム２００（例えば、図２に関して上述したようである）によって実施することができ、これらの光学システムは、方法７００を実施するように構成することができる。方法７００は、図７に示されるフローチャートおよび対応する説明に限定されないことに留意されたい。例えば、様々な実施形態では、方法７００は、図示された各ボックスまたはステージを通過する必要はなく、あるいは図示され説明された順序と全く同じ順序で通過する必要もない。

いくつかの実施形態によれば、方法７００は、光学システムの光学センサから複数の画像フレームを受信するステップ（ステージ７０２）を含む。例えば、光学センサは、光学センサ１１０または２１０のいずれか１つであってもよく、光学システムは、光学システム１００または２００のいずれか１つであってもよい（それぞれ、図１Ａ～図１Ｄおよび図２に関して上述したように）。

いくつかの実施形態では、方法７００は、複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータの少なくとも１つの変動を、その期待される１つまたは複数のパラメータと比較して検出するステップ（ステージ７０４）を含む。例えば、サブセットの画像フレームは、サブセットのサンプリングされた画像１１４であってもよい（例えば、図１Ａおよび図１Ｃに関連して上述したように）。

いくつかの実施形態では、方法７００は、少なくとも１つの変動が、光学センサの光学的外乱（ＥＯＤ）によるものか、または光学センサの故障によるものかを判定するステップ（ステージ７０６）を含む（例えば、図１Ａに関して上述したように）。

いくつかの実施形態によれば、方法７００は、サブセットの画像フレームの各画像フレームに、高速フーリエ変換（ＦＦＴ）を適用して、それぞれの画像フレームのＦＦＴ画像を生成するステップ（ステージ７１０）を含む（例えば、図１Ｃに関して上述したように）。（ＦＦＴではなく）周波数領域への他の変換が、画像フレームに適用され得ることに留意されたい（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態において、方法７００は、それぞれの画像フレームのＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、それぞれのＦＦＴ画像のＨＰＦ画像を生成するステップ（ステージ７１２）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれのＨＰＦ画像のＨＰＦ画像の画素のエネルギー／グレーレベルを合計して、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するステップ（ステージ７１４）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値が期待ＨＰＦグレーレベル合計閾値を上回るかどうかを判定するステップ（ステージ７１６）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値が期待ＨＰＦグレーレベル合計閾値を下回る場合、光学センサがＥＯＤまたは故障のうちの少なくとも１つを被っていることを示すステップ（ステージ７１８）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出するステップ（ステージ７２０）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、ＨＰＦグレーレベル合計値の少なくとも１つの変動のパターンを、期待ＨＰＦグレーレベル合計値に関して、識別するステップ（ステージ７２２）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、パターンに基づいて、少なくとも１つの変動がＥＯＤによるものか、または光学センサの故障によるものかを判定するステップ（ステージ７２４）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態によれば、方法７００は、サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、それぞれの画像フレームのヒストグラムを生成するステップ（ステージ７３０）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、検出するステップ（ステージ７３２）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのヒストグラムの少なくとも１つの変動のパターンを、その期待ヒストグラムに関して、識別するステップ（ステージ７３４）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、パターンに基づいて、少なくとも１つの変動がＥＯＤによるものか、または光学センサの故障によるものかを判定するステップ（ステージ７３６）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのヒストグラムに対するそれぞれの画像フレーム内の指定オブジェクトの寄与度を計算するステップ（ステージ７３８）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのヒストグラムに対する指定オブジェクトの寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出するステップ（ステージ７４０）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのヒストグラムに対する指定オブジェクトの寄与度の少なくとも１つの変動のパターンを、その期待寄与度に関して、識別するステップ（ステージ７４２）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、パターンに基づいて、少なくとも１つの変動がＥＯＤによるものか、または光学センサの故障によるものかを判定するステップ（ステージ７４４）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態によれば、方法７００は、サンプリングされた画像フレームのそれぞれの画像フレームに、ボックス差分／ブロブフィルタまたは任意の他のハイパスフィルタ（ＨＰＦ）を適用して、それぞれの画像フレームのＤＯＢ／ＨＰＦ画像を生成するステップ（ステージ７５０）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、期待ＤＯＢ／ＨＰＦ閾値を上回るそれぞれのＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦ画像の画素のエネルギー／グレーレベルを合計して、それぞれのＤＯＢ／ＨＰＦ画像のＤＯＢ／ＨＰＦグレーレベル合計値を生成するステップ（ステージ７５２）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、それぞれの画像フレームのＤＯＢ／ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＤＯＢ／ＨＰＦグレーレベル合計値に関して、検出するステップ（ステージ７５４）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態では、方法７００は、ＤＯＢ／ＨＰＦグレーレベル合計値の少なくとも１つの変動のパターンを、期待ＤＯＢ／ＨＰＦグレーレベル合計値に関して、識別するステップ（ステージ７５６）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、パターンに基づいて、少なくとも１つの変動がＥＯＤによるものか、または光学センサの故障によるものかを判定するステップ（ステージ７５８）を含む（例えば、図１Ｃに関して上述したように）。

いくつかの実施形態によれば、方法７００は、少なくとも２つのセンサの第一の光学センサによって生成された第一の複数の画像フレームの第一サブセットの画像フレームの第一の画像を受信するステップ（ステージ７６０）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、少なくとも２つのセンサの第二の光学センサによって生成された第二の複数の画像フレームの第二サブセットの画像フレームの第二の画像を受信するステップ（ステージ７６２）を含み、第二の画像フレームは第一の画像フレームに対応する（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態において、方法７００は、第一の画像フレームおよび第二の画像フレームを同じ寸法および解像度にスケーリングして、第一のスケーリングされた画像および第二のスケーリングされた画像を生成するステップ（ステージ７６４）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、第一のスケーリングされた画像に高速フーリエ変換（ＦＦＴ）を適用して、第一のスケーリングされたＦＦＴ画像を生成し、第二のスケーリングされた画像上にＦＦＴを適用して、第二のスケーリングされたＦＦＴ画像を生成するステップ（ステージ７６６）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分を決定するステップ（ステージ７６８）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、第一のスケーリングされたＦＦＴ画像と第二のスケーリングされたＦＦＴ画像との間の差分が期待差分閾値を上回っているかどうかを決定するステップ（ステージ７７０）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態では、方法７００は、差分に基づいて、差分が期待差分閾値を上回るとき、第一の光学センサまたは第二の光学センサのうちのいずれがＥＯＤまたは故障を被っているかを決定するステップ（ステージ７７２）を含む（例えば、図１Ｄに関して上述したように）。

いくつかの実施形態によれば、方法７００は、光学センサが列車の進行方向に面するように、光学センサを列車の機関車上に配置するステップ（ステージ７８０）を含む（例えば、図２に関して上述したように）。

いくつかの実施形態では、方法７００は、複数の画像フレームのうちの少なくともいくつかを分析するステップ（ステージ７８２）を含む（例えば、図２に関して上述したように）。

いくつかの実施形態では、方法７００は、分析された画像フレーム内で、レール、およびレール上またはレールの所定の近傍にある潜在的障害物を検出し、識別するステップ（ステージ７８４）を含む（例えば、図２に関して上述したように）。

したがって、その方法の実装は、高い故障カバレッジ確率を提供しながら、リアルタイムで（例えば、画像フレームのストリームに対する一切の待ち時間なしに）、事実上、光学システム／処理ユニットの動作機能を妨げることなく、実施され得る。さらに、その方法は、その方法を実施するために画像フレームを保存／記憶する必要がないので（例えば、図１Ｃ、図１Ｄ、および図７に関して上述したように）、保存される必要のない各画像フレーム当たり約６Ｍｂだけ光学システムの全体記憶空間を減らすことができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／または部分図を参照して上述されている。フローチャート図および／または部分図の各部分、ならびにフローチャート図および／または部分図における部分の組合せは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／または部分図もしくはその複数部分で指定された機能／動作を実装するための手段を作成するように、機械を生成することができる。

これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、その結果、コンピュータ可読媒体に格納された命令は、フローチャートおよび／または部分図、その一部分または複数部分で指定された機能／動作を実装する命令を含む製造品を生成する。コンピュータプログラム命令は、また、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置、または他のデバイス上で実施されて、コンピュータ実装プロセスを生成することができ、その結果、コンピュータまたは他のプログラマブル装置上で実行される命令が、フローチャートおよび／または部分図、その一部分または複数部分で指定された機能／動作を実装するためのプロセスを提供するようになる。

前述のフローチャートおよび図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたは部分図の各部分は、指定された論理機能を実装するための１つまたは複数の実行可能な命令を含む、モジュール、セグメント、またはコードの一部を表すことができる。また、いくつかの代替的な実装において、その部分に記載されている機能が、図に記載されている順序とは異なる順序で発生する可能性があることに留意されたい。例えば、連続して示される２つの部分は、実際には、実質的に同時に実行されることもでき、あるいは、それらの部分は、含まれる機能に応じて、時として、逆の順序で実行されることもできる。また、部分図および／またはフローチャート図の各部分、ならびに部分図および／またはフローチャート図の各部分の組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装できることに留意されたい。

上記の説明では、実施形態は、本発明の一例または一実施形態である。「一実施形態」、「実施形態」、「特定の実施形態」または「いくつかの実施形態」の様々な出現は、必ずしもすべてが同じ実施形態を指すわけではない。本発明の様々な特徴は、単一の実施形態の文脈で説明することができるが、特徴は、別々に、または任意の適切な組合せで提供することもできる。逆に、本発明は、明確にするために、本明細書では別個の複数の実施形態の文脈で説明することができるが、本発明は、単一の実施形態で実施することもできる。本発明の特定の実施形態は、上に開示された異なる実施形態からの特徴を含むことができ、特定の実施形態は、上に開示された他の実施形態からの要素を組み込むことができる。特定の実施形態の文脈における本発明の要素の開示は、特定の実施形態のみにおけるそれらの使用を限定するものとして解釈されるべきではない。さらに、本発明は、様々な方法で実施または実行することができ、本発明は、上記の説明で概説したもの以外の特定の実施形態で実施することができることを理解されたい。

本発明は、これらの図または対応する説明に限定されない。例えば、フローは、図示された各ボックスまたは状態を通過する必要はなく、あるいは図示され説明されたのと全く同じ順序で通過する必要もない。本明細書で使用される技術用語および科学用語の意味は、別段の定義がない限り、本発明が属する技術分野の当業者によって一般に理解されるものとする。本発明を限られた数の実施形態に関して説明してきたが、これらは、本発明の範囲に対する限定として解釈されるべきではなく、むしろ、好ましい実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、修正、および応用もまた、本発明の範囲内である。したがって、本発明の範囲は、これまでに説明されたものによって限定されるべきではなく、添付の特許請求の範囲およびそれらの法的均等物によって限定されるべきである。

Claims

光学システムであって、その光学センサの内蔵試験を実施可能で、
複数の画像フレームを生成するように構成された光学センサと、
前記光学センサと通信する処理ユニットであって、前記処理ユニットが、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出し、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるものか、または前記光学センサの故障によるものかを判定するように、構成された内蔵試験モジュールを備える、処理ユニットと、
を備え、前記内蔵試験モジュールは、
前記サブセットの画像フレームの各画像フレームに高速フーリエ変換（ＦＦＴ）を適用して、前記それぞれの画像フレームのＦＦＴ画像を生成し、
前記それぞれの画像フレームの前記ＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、前記それぞれの画像フレームのＨＰＦ画像を生成し、
前記それぞれの前記ＨＰＦ画像のＨＰＦ画像の画素のグレーレベルを合計し、前記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成し、
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値が、期待ＨＰＦグレーレベル合計閾値を上回るかどうかを判定し、
前記それぞれの画像フレームの前記ＨＰＦグレーレベル合計値が前記期待ＨＰＦグレーレベル合計閾値を下回る場合、前記光学センサが前記ＥＯＤまたは前記故障の少なくとも１つを被っていることを示すように、
構成される、光学システム。
前記内蔵試験モジュールは、
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出し、
前記ＨＰＦグレーレベル合計値の前記少なくとも１つの変動のパターンを、前記期待ＨＰＦグレーレベル合計値に関して、識別し、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するように、
さらに構成される、請求項１に記載の光学システム。
光学システムであって、その光学センサの内蔵試験を実施可能で、
複数の画像フレームを生成するように構成された光学センサと、
前記光学センサと通信する処理ユニットであって、前記処理ユニットが、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出し、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるものか、または前記光学センサの故障によるものかを判定するように、構成された内蔵試験モジュールを備える、処理ユニットと、
を備え、
前記内蔵試験モジュールは、
前記サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、前記それぞれの画像フレームのヒストグラムを生成し、
前記それぞれの画像フレームの前記ヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、検出し、
前記それぞれの画像フレームの前記ヒストグラムの前記少なくとも１つの変動のパターンを、前記期待ヒストグラムに関して、識別し、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するように、
さらに構成される、光学システム。
前記内蔵試験モジュールは、
前記それぞれの画像フレームの前記ヒストグラムに対する前記それぞれの画像フレーム内の指定オブジェクトの寄与度を計算し、
前記それぞれの画像フレームの前記ヒストグラムに対する前記指定オブジェクトの前記寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出し、
前記それぞれの画像フレームの前記ヒストグラムに対する前記指定オブジェクトの前記寄与度の前記少なくとも１つの変動のパターンを、その期待寄与度に関して、識別し、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するように、
さらに構成される、請求項３に記載の光学システム。
光学システムであって、その光学センサの内蔵試験を実施可能で、
複数の画像フレームを生成するように構成された光学センサと、
前記光学センサと通信する処理ユニットであって、前記処理ユニットが、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出し、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるものか、または前記光学センサの故障によるものかを判定するように、構成された内蔵試験モジュールを備える、処理ユニットと、
を備え、
前記内蔵試験モジュールは、
サンプリングされた画像フレームの各画像フレームにハイパスフィルタ（ＨＰＦ）を適用して、前記それぞれの画像フレームのＨＰＦ画像を生成し、
期待ＨＰＦ閾値を上回る前記それぞれのＨＰＦ画像の画素のグレーレベルを合計し、前記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成し、
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出し、
前記ＨＰＦグレーレベル合計値の前記少なくとも１つの変動のパターンを、前記期待ＨＰＦグレーレベル合計値に関して、識別し、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するように、
さらに構成される、光学システム。
光学システムであって、その光学センサの内蔵試験を実施可能で、
複数の画像フレームを生成するように構成された光学センサと、
前記光学センサと通信する処理ユニットであって、前記処理ユニットが、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較した少なくとも１つの変動を検出し、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるものか、または前記光学センサの故障によるものかを判定するように、構成された内蔵試験モジュールを備える、処理ユニットと、
を備え、
前記光学システムは、少なくとも２つの光学センサを備え、前記処理ユニットは、相対内蔵試験モジュールを備え、前記相対内蔵試験モジュールは、
前記少なくとも２つのセンサの第一の光学センサによって生成された第一の複数の画像フレームの第一サブセットの画像フレームの第一の画像を受信し、
前記少なくとも２つのセンサの第二の光学センサによって生成された第二の複数の画像フレームの第二サブセットの画像フレームの第二の画像を受信し、前記第二の画像フレームは前記第一の画像フレームに対応する、
前記第一の画像フレームと前記第二の画像フレームを同じ寸法と解像度にスケーリングして、第一のスケーリングされた画像と第二のスケーリングされた画像を生成し、
前記第一のスケーリングされた画像に高速フーリエ変換（ＦＦＴ）を適用して、第一のスケーリングされたＦＦＴ画像を生成し、前記第二のスケーリングされた画像にＦＦＴを適用して、第二のスケーリングされたＦＦＴ画像を生成し、
前記第一のスケーリングされたＦＦＴ画像と前記第二のスケーリングされたＦＦＴ画像の差分を決定し、
前記第一のスケーリングされたＦＦＴ画像と前記第二のスケーリングされたＦＦＴ画像の前記差分が期待差分閾値を上回るかどうかを判定し、
前記差分に基づいて、前記差分が前記期待差分閾値を上回る場合に、前記第一の光学センサまたは前記第二の光学センサのいずれが前記ＥＯＤまたは前記故障を被っているかを判定するように、
構成される、光学システム。
前記光学センサが列車９０の進行方向に面するように、前記列車の機関車上に配置可能な光学システムであって、前記処理ユニットが、前記複数の画像フレームのうちの少なくともいくつかを分析し、前記分析された画像フレームにおいて、レールと、前記レール上または前記レールの所定の近傍にある潜在的障害物を検出して、識別するように構成された障害物検出モジュールをさらに備える、請求項１～６のいずれか一項に記載の光学システム。
光学システムの光学センサの内蔵試験を実施する方法であって、
複数の画像フレームを光学センサから受信するステップと、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較して、少なくとも１つの変動を検出するステップと、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるか、または前記光学センサの故障によるかを判定するステップと、
を含み、前記サブセットの画像フレームの各画像フレームに高速フーリエ変換（ＦＦＴ）を適用して、前記それぞれの画像フレームのＦＦＴ画像を生成するステップと、
前記それぞれの画像フレームの前記ＦＦＴ画像にハイパスフィルタ（ＨＰＦ）を適用して、前記それぞれのＦＦＴ画像のＨＰＦ画像を生成するステップと、
前記それぞれのＨＰＦ画像の前記ＨＰＦ画像の画素のグレーレベルを合計し、前記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するステップと、
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値が期待ＨＰＦグレーレベル合計閾値を上回るかどうかを判定するステップと、
前記それぞれの画像フレームの前記ＨＰＦグレーレベル合計値が前記期待ＨＰＦグレーレベル合計閾値を下回る場合、前記光学センサが前記ＥＯＤまたは前記故障の少なくとも１つを被っていることを示すようにするステップと、
をさらに含む、方法。
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出するステップと、
前記ＨＰＦグレーレベル合計値の前記少なくとも１つの変動のパターンを、前記期待ＨＰＦグレーレベル合計値に関して、識別するステップと、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するステップと、
をさらに含む、請求項８に記載の方法。
光学システムの光学センサの内蔵試験を実施する方法であって、
複数の画像フレームを光学センサから受信するステップと、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較して、少なくとも１つの変動を検出するステップと、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるか、または前記光学センサの故障によるかを判定するステップと、
を含み、
サブセットのサンプリングされた画像フレームの各画像フレームのヒストグラムを計算して、前記それぞれの画像フレームのヒストグラムを生成するステップと、
前記それぞれの画像フレームの前記ヒストグラムの少なくとも１つの変動を、その期待ヒストグラムに関して、検出するステップと、
前記それぞれの画像フレームの前記ヒストグラムの前記少なくとも１つの変動のパターンを、前記ヒストグラムに関して、識別するステップと、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するステップと、
をさらに含む、方法。
前記それぞれの画像フレームの前記ヒストグラムに対する前記それぞれの画像フレーム内の指定オブジェクトの寄与度を計算するステップと、
前記それぞれの画像フレームの前記ヒストグラムに対する前記指定オブジェクトの前記寄与度の少なくとも１つの変動を、その期待寄与度に関して、検出するステップと、
前記それぞれの画像フレームの前記ヒストグラムに対する前記指定オブジェクトの前記寄与度の前記少なくとも１つの変動のパターンを、その期待寄与度に関して、識別するステップと、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するステップと、
をさらに含む、請求項１０に記載の方法。
光学システムの光学センサの内蔵試験を実施する方法であって、
複数の画像フレームを光学センサから受信するステップと、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較して、少なくとも１つの変動を検出するステップと、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるか、または前記光学センサの故障によるかを判定するステップと、
を含み、
前記サンプリングされた画像フレームの各画像フレームにハイパスフィルタを適用して、前記それぞれの画像フレームのＨＰＦ画像を生成するステップと、
期待ＨＰＦ閾値を上回る前記それぞれのＨＰＦ画像の画素のグレーレベルを合計し、前記それぞれのＨＰＦ画像のＨＰＦグレーレベル合計値を生成するステップと、
前記それぞれのＨＰＦ画像の前記ＨＰＦグレーレベル合計値の少なくとも１つの変動を、その期待ＨＰＦグレーレベル合計値に関して、検出するステップと、
前記ＨＰＦグレーレベル合計値の前記少なくとも１つの変動のパターンを、前記期待ＨＰＦグレーレベル合計値に関して、識別するステップと、
前記パターンに基づいて、前記少なくとも１つの変動が前記ＥＯＤによるものか、または前記光学センサの前記故障によるものかを判定するステップと、
をさらに含む、方法。
光学システムの光学センサの内蔵試験を実施する方法であって、
複数の画像フレームを光学センサから受信するステップと、
前記複数の画像のサブセットの画像フレームのうちの少なくとも１つの画像フレームの中から、前記それぞれの少なくとも１つの画像フレームの１つまたは複数のパラメータを、その期待される１つまたは複数のパラメータと比較して、少なくとも１つの変動を検出するステップと、
前記少なくとも１つの変動が、前記光学センサの光学的外乱（ＥＯＤ）によるか、または前記光学センサの故障によるかを判定するステップと、
を含み、
少なくとも２つのセンサの第一の光学センサによって生成された第一の複数の画像フレームの第一サブセットの画像フレームの第一の画像を受信するステップと、
前記少なくとも２つのセンサの第二の光学センサによって生成された第二の複数の画像フレームの第二サブセットの画像フレームの第二の画像を受信するステップであって、前記第二の画像フレームは前記第一の画像フレームに対応する、ステップと、
前記第一の画像フレームと前記第二の画像フレームを同じ寸法と解像度にスケーリングして、第一のスケーリングされた画像と第二のスケーリングされた画像を生成するステップと、
前記第一のスケーリングされた画像に高速フーリエ変換（ＦＦＴ）を適用して、第一のスケーリングされたＦＦＴ画像を生成し、前記第二のスケーリングされた画像にＦＦＴを適用して、第二のスケーリングされたＦＦＴ画像を生成するステップと、
前記第一のスケーリングされたＦＦＴ画像と前記第二のスケーリングされたＦＦＴ画像の差分を決定するステップと、
前記第一のスケーリングされたＦＦＴ画像と前記第二のスケーリングされたＦＦＴ画像の前記差分が期待差分閾値を上回るかどうかを判定するステップと、
前記差分に基づいて、前記差分が前記期待差分閾値を上回る場合に、前記第一の光学センサまたは前記第二の光学センサのいずれが前記ＥＯＤまたは前記故障を被っているかを判定するステップと、
をさらに含む、方法。
前記光学センサが列車の進行方向に面するように、前記光学センサを前記列車の機関車上に配置するステップと、
前記複数の画像フレームのうちの少なくともいくつかを分析するステップと、
前記分析された画像フレームにおいて、レールと、前記レール上または前記レールの所定の近傍にある潜在的障害物を検出して、識別するステップと、
をさらに含む、請求項８～１３のいずれか一項に記載の方法。