JP6999635B2 - 画像ベースのメンテナンス予測および動作エラーの検出 - Google Patents

Description

本発明は、一般に、メンテナンス処置の必要性を予測するシステムに関し、特に、顕微鏡システムに対する将来を見据えたメンテナンスのためのコンピュータ実装の方法、対応するメンテナンス監視システム、およびコンピュータ・プログラム製品に関する。

現代の技術的装置は、特定されたメンテナンス計画に応じた複雑かつ時間集約的なメンテナンス処置をしばしば要求する。メンテナンス計画は、過去の経験を利用し、メンテナンス作業の不足によって技術的装置が故障しないよう、メンテナンス間隔を判定する。この状況は、技術的装置の一部についてメンテナンス処置が実際には必要以上に頻繁に行われているという事実を生じさせている。これは特に、装置が優秀なスタッフによってシステムに適切な態様で注意深く扱われている場合に該当する。これは、エンジンを丁寧に（非常にまれにしかフル出力にしないで）扱うために時には追加の手当てが支給されていることさえあるパイロットだけでなく、非常に複雑で精密な顕微鏡システムなどの高精度の計器にも該当する。そのようなシステムは、例えば、医学、生物医学、または材料科学の分野において使用されており、さらにここでは、そのようなデバイスへの投資の可能な限り最も速い償却を実現するために、メンテナンス作業のためのシステムダウンタイムが可能な限り短く抑えられることが重要である。

動作エラーは、メンテナンス周期の短縮または不測のメンテナンスさえをももたらし得る。したがって、現代のメンテナンス手法ではシステムの実際の使用を考慮に入れ、場合によっては、特に、システムの製造者によって、メンテナンス周期を動的に判定するために、システムのデジタルなツインがすでに確保されている。しかし、これは顕微鏡システムと製造者との間で定常的に電子的な接続（インターネット）を必要とする。データ保護の理由およびその他の理由のため、そのような結合は望まれないことが多い。さらに、この種の定常的な監視は、顕微鏡システムの取扱いおよび使用を正確なキャプチャを可能にする多数の追加のセンサが顕微鏡システムに装備されていることを必要とするはずである。しかし、顕微鏡システムに追加のセンサを装備することは、将来を見据えたメンテナンス（予測的メンテナンス）の意味の範囲内で製造者に推奨される動的メンテナンス周期を実現するために、大幅な追加のコストを伴う。予測的メンテナンスの概念は、実際に必要な可能性が高い場合にのみメンテナンス作業を実行することを含む。この動的予測的メンテナンスを可能にするために、典型的には、顕微鏡システム内の追加のセンサによって提供されるはずのシステムの使用に関するデータを取得することが必要である。すでに示されているように、この結果、決して小さくない追加の技術的出費および相当の追加コストが発生する。

したがって、ここで導入される概念の根本的な目的は、顕微鏡システム内の複雑な追加の内部センサおよび／またはデジタル・ツインの概念のための追加のネットワーク接続の必要なしに、予測的メンテナンスを可能にすることであると解釈される。

この目的は、独立請求項にしたがい、顕微鏡システムに対する予測的メンテナンスの必要性を識別する、本明細書で提案されるコンピュータ実装の方法、顕微鏡システムの予測的メンテナンスのための対応するメンテナンス監視システム、およびコンピュータ・プログラム製品によって実現される。さらなる構成は、それぞれの従属請求項によって特定される。

本発明の一態様によれば、顕微鏡システムに対する予測的メンテナンスの必要性を確認するためのコンピュータ実装の方法が導入される。この方法は、サンプルのデジタル画像を記録するためのイメージセンサを備える顕微鏡システムを提供するステップと、顕微鏡システムの通常動作中にイメージセンサを使ってデジタル画像を記録するステップとを含む。

記録されたデジタル画像は、画像分析システムへの少なくともひとつの入力データ・セットとして利用可能にされる。それに基づいて、少なくともひとつの記録されたデジタル画像内で、画像分析システムによって、少なくともひとつの特徴が判定され、この特徴は、通常動作中の顕微鏡システムの動作不良に関連する。

この方法は、さらに少なくともひとつのデジタル画像および少なくともひとつのデジタル画像内に含まれる少なくともひとつの特徴に基づいて、画像分析システムを用いて、顕微鏡システムの状態に対する状態信号を生成するステップと、状態信号を使用するステップによって、メンテナンス処置を必要とする顕微鏡システムのコンポーネント・グループを判定するステップとを含む。

本発明の異なる態様によって、顕微鏡システムに対する予測的メンテナンスの必要性を確認するメンテナンス監視システムが導入される。メンテナンス監視システムは、サンプルのデジタル画像を記録するためのイメージセンサを有する顕微鏡システムを備え、イメージセンサは、顕微鏡システムの通常動作中にデジタル画像を記録する。

メンテナンス監視システムは、少なくともひとつの記録されたデジタル画像を画像分析システムに対する少なくともひとつの入力データ・セットとして受信するように適合された画像分析システムをさらに備える。ここで、画像分析システムは、少なくともひとつの記録されたデジタル画像内で、画像分析システムを用いて、少なくともひとつの特徴を判定するように適合され、この特徴は、通常動作中の顕微鏡システムの動作不良に関連する。メンテナンス監視システムは、少なくともひとつのデジタル画像および少なくともひとつのデジタル画像内に含まれる少なくともひとつの特徴に基づいて、画像分析システムを用いて、顕微鏡システムの状態に対する状態信号を生成するステップと、状態信号を使用することによって、メンテナンス処置を必要とする顕微鏡システムのコンポーネント・グループを判定するステップとをさらに含む。

さらに、実施形態は、対応するコンピュータ・プログラム製品の形態で実装することが可能であり、コンピュータもしくは命令実行システムによってまたはコンピュータもしくは命令実行システムとともに使用するためのプログラム・コードを有するコンピュータで使用可能な媒体またはコンピュータ読み取り可能な媒体を使ってアクセスすることが可能である。この説明の文脈で、コンピュータで使用可能な媒体またはコンピュータ読み取り可能な媒体は、命令実行システム、対応する装置、もしくは機器によってまたは命令実行システム、対応する装置、もしくは機器とともに使用するためのプログラムを記憶、通信、伝送、または輸送する手段を含む任意の装置であってもよい。

顕微鏡システムに対する予測的メンテナンスを確認するコンピュータ実装の方法は、複数の利点および技術的効果を有する。

提案される概念は、モノのインターネット（インダストリ４．０）の重要経路をとることなく、すなわち、顕微鏡システムに追加の複雑な内部センサを実装することなく、予測的メンテナンスの原理の性能を可能にする。提案される概念は、監視される顕微鏡システムのコンポーネントにおける温度データ、電圧値、および／または使用データのいかなる直接の追加の高コストな捕捉および収集も必要としない。

逆に、提案される概念は、顕微鏡システムの正常動作および正常使用中に任意の頻度で生成されるデータの評価および使用に基づいている。さらに、追加の（参照）画像を記録する必要がなくなる。その代わりに、予測的メンテナンス処置の必要を判定するための分析は、デバイスの正常使用中、例えば、実験中にユーザが記録する画像に基づいている。追加のメンテナンスの記録またはキャリブレーションの記録は必要ない。

さらに、正常動作中に時系列で記録される画像の記録および評価は、使用態様の比較的長期間にわたる分析を可能にし、その結果、すでに存在するまたは将来起こり得る顕微鏡システムの不良を推定することが可能になる。

複数の顕微鏡システム（場合により、同じモデル範囲／同じタイプ）どうしの比較はまた、メンテナンスの必要のより高精度な予測に寄与することができる。

したがって、提案される概念は、システム上の既存のエラー、例えば、不良を有するコンポーネント、ミスアライメントなどの状態の判定および識別、計画対象期間を含む将来起こるエラーに関する推定、ならびに原因の分析、例えば、装置、サンプル、および使用によるエラーの識別を可能にする。

顕微鏡システムのメンテナンスを改善するための従来の方法の大部分の課題は、本明細書で提示される概念によって解決することが可能であり、そのような課題としては、（ａ）多くの場合、技術的またはコスト上の理由のため、追加的に必要なセンサを後付することができないこと、（ｂ）多くの場合、顕微鏡システムの各コンポーネントにある個々のセンサのそれぞれの測定パラメータ値よりデバイスの状態を導出することは、顕微鏡システムの状態の全体的なアセスメントを実現せず、または非常に複雑な一連の規則ならびに多数のセンサおよび対応する測定値を必要とすることが挙げられる。それにもかかわらず、これらの課題は、多くの場合、顕微鏡システムの全体的な状態をアセスメントするために適していない。

対照的に、新しく提案される概念では、顕微鏡システムの完全な性能を実現するように顕微鏡システムの記録パラメータを適合させることによって、ユーザによって引き起こされるエラーを補償することが可能である。さらに、追加の内部センサであれば異なる測定値を提供するはずの顕微鏡システムの異なるオペレータによるデバイス状態とデバイスの使用をアセスメントしているときに補償をすることが可能である。

現在、人工知能、画像認識、および機械学習の技術の使用は、顕微鏡システムの通常動作中に、顕微鏡システム、特にひとつまたは複数の記録された画像の結果の評価を可能にし、それらの画像のアセスメントから、および画像分析システムの一例として訓練されたニューラル・ネットワークを使用した既知のシステムエラーを有する以前記録された画像からの「経験」から、顕微鏡システム全体または顕微鏡システムの個々のコンポーネントに関する結論を導く。

このため、参照サンプル、参照パターン、または参照設定は必要とされない。顕微鏡システムの正常動作は、顕微鏡システムのダウンタイムを可能な限り短く抑えるように予防メンテナンス処置を確認、提案、および計画するために、顕微鏡システムの全体的な状態の連続的なアセスメント／評価を可能にするのに十分であり、その結果、ユーザおよび／または顧客の満足度が最大化される。

利点は実質的に、必要なまたは推奨されるメンテナンス処置が、追加の装置および／または拡張、特に機械的なセンサ、電気機械的なセンサ、および／または電子センサによって補足および拡張される必要はなく、すでに存在する顕微鏡システムのコンポーネントが、予測的メンテナンス処置の必要性を確認するために使われる点である。したがって、顕微鏡システムの複雑性が増すことがなく、これは上述の不要な拡張のために追加のメンテナンス処置が必要とされないことを意味する。逆に、すでに存在するサブシステムが使用され、この方法によれば、特に通常動作中にすでに記録されている記録済みデジタル画像の評価が改善されるため、顕微鏡システムの適切な動作、日常的な動作、通常動作において良好に使用される。それに対応して適合された画像分析システムは、この解決方法における基礎となる。

要約すると、記録された画像は、必要なメンテナンス処置に対する顕微鏡システムの通常動作中に任意の頻度で取得された画像の二重利用、すなわち、評価のため、顕微鏡システムの利用期間の大幅な改善を可能にすると言える。

それに応じて対応するメンテナンス監視システムにも同様に適用することができる、この方法の発明の概念のさらなる例示的実施形態は、以下で導入される。

この方法のひとつの有利な例示的実施形態によれば、画像分析システムは、機械学習の特性を有する学習システムを備えることができる。本明細書では、この方法は、機械学習を用いて１セットのデジタル画像を使って学習システムを訓練し、顕微鏡システムの通常動作中にサンプルの記録されたデジタル画像のひとつで異常またはその他の特異性など、少なくともひとつの特徴を識別するための学習モデルを生成することをさらに含み得る。学習システムは、たとえば、教師あり学習のためのシステム、例えば、ディープ・ニューラル・ネットワーク（ＤＮＮ）のためのシステム、または人工知能もしくは機械学習のためのその他の好適なシステムであってもよい。学習モデルを生成する教師あり学習のための１セットのデジタル画像内の画像は、メタデータによってさらにアノテーションされていてもよく、すなわち、教師あり学習のための１セットのデジタル画像内のそれぞれの画像は、例えば、訓練画像内の異常またはその他の特異性および特徴を記述するメタデータによって補足される。さらに、メタデータにおいて、画像内の特異性、異常、および特徴に基づいて、提案されたメンテナンス処置を補足することが可能である。

したがって、この方法のひとつの補足的な例示的実施形態によれば、メタデータは、メンテナンス処置が必要な時間間隔の値、顕微鏡システムのコンポーネントの故障が予測される時間、顕微鏡システムの個々のコンポーネント（またはグループ）の数値的状態表示、例えば、アセスメントステージ１～１０、および顕微鏡システムの不良のあるコンポーネントの名称のグループの少なくともひとつを含むことが可能である。このようにして、学習システムは、この方法により、記録された画像の特定の特徴に基づいて、顕微鏡システムの通常動作中に必要になる顕微鏡システムの個々のコンポーネントまたはコンポーネント・グループのメンテナンス処置を判定するよう訓練される。

この方法のさらなる補足的な例示的実施形態によれば、顕微鏡システムのコンポーネント・グループの判定は、メンテナンス処置が必要な時間間隔の値を判定することをさらに含むことができる。このようにして、将来のメンテナンス処置をメンテナンス計画に動的に格納することが可能である。このようにして、同じタイプのメンテナンス処置または顕微鏡システム上の異なる場所でのメンテナンス処置は、メンテナンス要員によってより良好に調整されることが可能である。

この方法の拡張された例示的実施形態によれば、特にイメージセンサからではない、顕微鏡システムの少なくともひとつの捕捉された追加のセンサ値が、画像分析システムを用いて状態信号を生成するとき、捕捉されることが可能であり、これは学習システムのための追加の入力データとして使用される。ここで、学習システムを訓練するとき、そのようなセンサ測定値を考慮に入れることも有用である。この点で、それに対応して学習システムにとってさらに利用可能にされた追加のセンサ値の入力データ・セットにアノテーションをすることも有用であり、その結果、通常動作中にセンサ値と分析されて記録された画像との組み合せからメンテナンス処置を導出することが可能になる。そのような追加のセンサ測定値の一例として、照度の強度値を受動的に、すなわち、センサを使って評価すること、または能動的に評価すること、すなわち、例えば、発光手段に流れる電流を使って測定することが可能である。

この方法のさらなる有利な例示的実施形態によれば、通常動作中の少なくともひとつの記録されたデジタル画像内に含まれる少なくともひとつの特徴は、ストライプ、ジッタ、例えば、不均等な視野照明に起因する輝度むら、分解能の低下、例えば、ひとつまたは複数の指定された限界値または動的に確認された限界値から導出される過度の画像ノイズ、低い信号対背景比、低いレーザ出力、感度の低下、および不完全性のグループのうち、の少なくともひとつを含む。原則的に、これは、デジタル画像のすべての捕捉可能なパラメータおよびデジタル画像のすべての実行可能なパラメータを含むことが可能である。

この方法のひとつのあり得る実施形態によれば、学習モデルは、個々の顕微鏡システムまたは複数の顕微鏡システムのために生成することが可能である。このようにして、学習モデルは、例えば、ひとつの顕微鏡シリーズに属するモデル範囲のすべての顕微鏡システムに対して、その都度訓練を繰り返す必要なしに使用され得る。

この方法の補足的な実施形態によれば、状態信号の判定において追加で使用される動作要素、または状態信号の判定に影響を与える動作要素の少なくともひとつの動作パラメータ値を、顕微鏡システムの通常動作中に、理想的には時系列で測定することが可能であり、その結果、ユーザの挙動がキャプチャされる。ここでは、正常動作からの逸脱の数およびそれらの間の時間距離に関し、顕微鏡システムの正常動作から逸脱しており、そのため適切な正常動作中にセンサ測定値によって異常または特異的な特徴が生じていると識別された通常動作中の顕微鏡システムの個々のアクチュエータにおいて、マニュアルな再調整が継続的に行われていることを確認することができる。

ここでは、顕微鏡システムに対するユーザの典型的な動作挙動のそのような追加的な捕捉は、学習システムの教師なし学習および訓練の範囲内に入り得る。これによって、学習システムは、個々の動作要素のキャプチャされた上述の時系列の測定パラメータ値において、特異性および異常を識別するように適合される。

この方法のさらなる発展された例示的実施形態によれば、少なくともひとつのカテゴリのための少なくともひとつの特徴を識別する学習モデルにおいて、少なくともひとつの機能は、顕微鏡システムの保守段階の分類、顕微鏡システムの故障が予測される時間の回帰、デジタル画像の少なくともひとつの特徴または複数の特徴の組み合せと顕微鏡システムの割当て可能なコンポーネントまたはコンポーネント・グループのメンテナンス要件の判定との相関を含むグループより選択される。このようにして、メンテナンス要員によって容易に計画できる詳細なメンテナンス計画を容易に生成することが可能になる。

この方法の拡張された例示的実施形態によれば、状態信号を、制御信号の組み合せから生成することが可能である。ここでは、制御信号のひとつは、いずれの場合も、顕微鏡システム内のエラー原因、エラー原因の信号の確信度、エラーのタイプ、特に不良または摩耗、品質の低下と等価な数（たとえば、百分比）、必要なメンテナンス処置、メンテナンス処置の推奨される時間間隔または必要なメンテナンス処置の時間間隔、メンテナンス処置が必要であるコンポーネントの表示またはメンテナンス処理が必要になったコンポーネントの表示、コンポーネントの動作不良を少なくとも部分的に補償するための代替的な顕微鏡システム設定に関する、特に推奨の情報、位置決めのエラー原因に関する情報、またはサンプルの誤った準備などのうちの少なくともひとつを示すことができる。原則的に、すべてのコンポーネントおよびあり得る設定、特に通常のメンテナンスの対象のコンポーネントは、上述のようにして捕捉することができる。

この方法のさらなる拡張された例示的実施形態によれば、状態信号は、顕微鏡システムの動作要素のセンサ・パラメータの組み合せの通常動作中にキャプチャされた時系列と、顕微鏡システムの動作要素のセンサ・パラメータの組み合せの、例えば、動的に確認されたしきい値より大きい大幅な逸脱を提供する期待値との間の比較により、学習システムによって判定され得る。そのような時系列はまた、学習システムによって、特に顕微鏡システムの通常動作中における教師なし学習によって、センサ・パラメータのアセスメント、偏りの確認、およびメンテナンス処置またはメンテナンス時点の判定または推奨のために使用され得る。正常範囲内の値の確認されるべき偏り（正例：ｐｏｓｉｔｉｖｅ ｅｘａｍｐｌｅ）は、オートエンコーダ、１クラス分類、および新規性検出（ｎｏｖｅｌｔｙ ｄｅｔｅｃｔｉｏｎ）などのシステムおよび／または技術によって確認され得る。

この方法のさらなるあり得る例示的実施形態によれば、少なくともひとつの特徴の判定は、画像分析システムを用いて、通常動作中の顕微鏡システムの一連の記録された画像内で、時系列に配置された一連の記録された画像において、勾配もしくは変動もしくは急な不規則な偏りを有する反復的特徴、または、各画像内で（誤って）同一に見える反復的特徴を検出することによって確認され得るものであり、その結果、正常値からの系統的な偏差または異常が識別可能になる。

この場合、教師なし学習を用いたひとつまたは複数の正常値の確認は、顕微鏡システムの実際の使用前に、または代替的に顕微鏡の通常動作中に、行われ得る。

確認された勾配は、正値または負値のいずれかを有し得る。例えば、時間とともに弱くなるレーザの場合、照度値の負の勾配が取得される。このようにして、通常は顕微鏡システムの平均的なユーザにはすぐに明らかにならない徐々に進行する劣化をもシームレスに捕捉することができる。レーザに関して記載された内容は、それに対応して、記録されたデジタル画像内の他のセンサ値および特徴にも適用される。それによって、例えば、イメージセンサの個々の不良画素、わずかに斜めに位置決めされた絞りなど、通常は人間のユーザには明らかはでない、系統的なエラーも捕捉可能になる。

発生する変動の一例としては、顕微鏡システムのメイン・イメージセンサのための制御ユニットが機能すべき通りに機能しなくなり、その結果、記録されたデジタル画像内に変動タイプの異常が時間とともに発生することが挙げられる。

急な挙動の一例としては、不良な照明手段が接触不良を有し、その結果、サンプルの照度の強さが変動し、人間の目ではそれを検出することさえもできないことが挙げられる。

この方法のさらなる拡張されたあり得る例示的実施形態によれば、通常動作中の顕微鏡システムの一連の記録された画像は、通常動作中の顕微鏡システムの記録された画像全体からの選択されたサブセットであってもよい。このようにして、様々なフィルタを選択して使用することが可能である。いずれの場合も、１日ひとつの画像、最後の数日の画像、または特有のイメージコンテンツもしくは特有のアプリケーションに関する画像、例えば、全細胞などの細胞、細胞核、細胞壁などの記録された特有のその他の要素を使用することがあり得る。

記録された画像を、さらに記憶されていた記録済み画像のメタデータに応じて選択することが可能であり、各記録におけるメタデータは、例えば、日／時、それぞれの操作者のユーザ識別子、サンプルで使用された染料、サンプルのタイプ、使用されたカラー・チャネルのタイプおよび数、光路の設定パラメータ、実験クラス（またはこの観点で完全なデータ・セット）、（全文検索を使った）概略的な実験データなどを含むことができる。

この方法の有利な例示的実施形態によれば、学習システムは、ニューラル・ネットワーク、または、例えば、サポート・ベクター・マシンであってもよい。ニューラル・ネットワークは、教師あり学習または教師なし学習を使用して訓練することが可能である。これによって学習は、（例えば、将来のメンテナンス時点をあらかじめ計算するための）分類、検出、および／または回帰を可能にする。分類動作に対して、多クラス・アルゴリズムを使用しても、１クラス・アルゴリズムを使用してもよい。ニューラル・ネットワークは、ディープ・ニューラル・ネットワーク、ＣＮＮ（畳み込みＮＮ）、またはＲＮＮ（再帰型ＮＮ）として実装することが可能である。

教師なし学習の場合、ディープ・オートエンコーダ、１クラス分類、多クラス分類、または新規性検出などのアルゴリズムを使用することが可能である。原則的に、通常動作中の記録されたデジタル画像内の異常および訓練された特徴の検出および判定を可能にする任意の学習システムを使用することができる。

本発明の例示的実施形態は、異なる実装カテゴリについて記載される可能性があることに留意するべきである。特に、いくつかの例示的実施形態は、方法について記載され、一方、他の例示的実施形態は、対応する装置の文脈で記載されることがある。上述に関わらず、当業者であれば、別途記載されない限り、異なる特許請求カテゴリに属する場合でも、上述および後述の説明から方法の特徴のあり得る組み合せ、ならびに対応するシステムとの可能な特徴の組み合せを識別して組み合わせることができる。

上述ですでに記載された態様および本発明の追加の態様は、とりわけ、記載される例示的実施形態および図に関して記載される追加のさらに具体的な構成より明らかである。

本発明の好ましい例示的実施形態は、以下の図を参照し、例によって記述される。

顕微鏡システムに対するメンテナンス処置の必要を確認する本発明のコンピュータ実装の方法の例示的実施形態のブロック図である。 図１に示されたコンピュータ実装の方法のあり得る拡張のブロック図である。 選択の目的で画像が記録された例示的なグラフである。 顕微鏡システムに対するメンテナンス処置の必要を確認するメンテナンス監視システムの例示的実施形態のブロック図である。 メンテナンス監視システムの少なくともいずれかの部品を含むコンピュータ・システムのブロック図である。

本説明の文脈で、慣習、用語、および／または表現は、以下のように理解されるべきである。

本明細書の文脈で、「予測的メンテナンス」、場合により予防的サービスという用語は、デバイス、ここでは、顕微鏡システムの状態に応じて、特定の時点で必要とされる処置のみを実行することによって、メンテナンス処置がいかにして最適化され得るかを説明するものである。この場合、決まったスケジュールには従わないが、顕微鏡システムの故障を防止するためにメンテナンス処置が推奨されることを動的に確認するために、顕微鏡システムの確認された状態が使われる。コンポーネント・グループまたは個々のコンポーネントの必要なメンテナンスに関する警告のための対応する信号を導出する決定データが、顕微鏡システムの進行中の動作、または顕微鏡システムの進行中の使用から取得される。追加のメンテナンス処置または特定の設定は不要である。このようにして、（ｉ）利用時間内における機器ダウンタイムがより少ない、（ｉｉ）保守時間が短い、および（ｉｉｉ）顕微鏡システムの利用時間に対するダウンタイムの影響が小さい結果のうち、少なくともいずれかを達成することが可能である。さらに、より少数の交換部品および摩耗部品をストックすることだけが必要であるため、交換部品の供給を最適化することができる。

本明細書では、「メンテナンス処置」という用語は、手入れ、修理、調整、またはキャリブレーションのあらゆる処置に関連し、その結果、顕微鏡システムの利用が継続的に確保され、ダウンタイムが最小化される。顕微鏡システムの使用中における恒久的な観察（記録された画像の評価）により、徐々に進行する劣化さえもシームレスに捉えることができる。

「顕微鏡システム」という用語は、小さい構造を拡大して提示する光学または光学／電子システムを示す。典型的には、ひとつの対物レンズまたは代替的には、複数の対物レンズによって捕捉される小さい構造は、イメージセンサを使用して捉えられ、その結果、記録された画像を、電子的およびデジタル的にさらに処理することが可能である。観察されるべきサンプルは、典型的には、スクリーン上または接眼レンズ内に拡大されて表示される。現代の高性能の顕微鏡システムはまた、機械的な性質の傾向があり、場合によりメンテナンス処置を必要とするさらなるコンポーネントも含む。顕微鏡システムは、３つすべての空間方向に変位可能にし得るサンプル・ステージ、絞り、サンプル・ステージを保持するスタンド、ひとつまたは複数の照明システム、複数の手動および／または自動の動作要素および設定要素などを含み得る。

「イメージセンサ」という用語は、感光性の電子半導体コンポーネントを示すものであって、多くの場合、顕微鏡システム内で記録された画像が画素情報に直接変換されるエリア・センサの形態をとり得る。

「サンプル」という用語は、例えば、マルチウェル・プレートなどのサンプル・キャリア上で観察されるべき物体を示す。

「通常動作」という用語は、観察されるべきサンプルのデジタル画像の形態で有用なデータを直接生成するための１人のユーザもしくは複数のユーザ、または自動化された方法による顕微鏡システムの日常的な使用または通常の使用を示す。通常動作は、メンテナンス目的または他のキャリブレーション目的のために専用に生成されたデジタル画像の別個の追加の記録を含まない。逆に、通常の日常動作において記録されたデジタル画像は、それらのデジタル画像から対応するメンテナンス処置を導出するために使われる。

「画像分析システム」という用語は、非常に一般的な意味で記録された画像の画素情報からメタデータを生成するのに好適なシステムを示すものであって、しばしば対応するソフトウェアとともに動作する。上述のメタデータは、画像のサブ領域へのセグメント化のための画素の分類に基づいたものであってもよい。また、例えば、値を外挿するために回帰的手法を使ってもよい。ここで、機械学習の手法を使ってもよい。

「学習システム」という用語は、手続き的に特定され、手動で作成されたプログラム命令なしに、例えば、画像またはその部分領域の内容を、「ｇｏｏｄ」もしくは「ｐｏｏｒ」などの抽象的な用語、または構成の意味、例えば、画像の内容のセグメンテーションに関連付けるため、例より学習するように適合された人工知能の分野におけるハードウェアサポートのシステムまたはソフトウェア・システムを示す。概略的に、入力データから出力データへのマッピングが学習される。

「学習システムの訓練」という用語は、例えば、機械学習システムが、複数の例示的な画像を用いて、例示的な画像の部分反復評価によって、例えば、ニューラル・ネットワーク内のパラメータを調整し、訓練段階後、未知の画像でも、学習システムが訓練されたひとつまたは複数のカテゴリに関連付けることを意味する。例示的な画像は、典型的には、入力画像に基づいて、実行されるべきメンテナンス処置に関する通知などの所望の結果を提供するよう、アノテーションされ、すなわち、メタデータとともに提供される。

さらに、たとえば回帰方法を使用して、必要なメンテナンス処理もしくは推奨されるメンテナンス処置の時点または故障の予測時間を推定することが可能である。

「機械学習」という用語は、人工知能の基本概念であり、コンピュータ・システムに「学習」する能力を与えるために、例えば、統計的方法が使用される。例えば、特定のタスク範囲内における特定の挙動パターンが最適化される。使用される方法は、いかなる明示的な手続的プログラミングの必要なしに、機械学習のシステムがデータを分析することを可能にする。典型的には、ＣＮＮ（畳み込みニューラル・ネットワーク）は、機械学習のためのシステム、人工ニューロンとして作用するノードのネットワーク、およびリンクとして知られている人工ニューロン間の人工的接続の一例であって、例えば、パラメータ、例えば、接続のための重みパラメータを人工的接続に関連付けることが可能である。ニューラル・ネットワークの訓練中、接続の重みパラメータは、所望の結果が得られるように、入力信号に基づいて自動的に適合される。教師あり学習の場合、入力値として提供される画像は、所望の出力値を示すために、メタデータ（アノテーション）によって補われる。教師なし学習の場合、そのようなアノテーションは不要である。

これに関連して、同様にディープ・ニューラル・ネットワークの１種を示す再帰型ニューラル・ネットワーク（ＲＮＮ）についても言及すべきであって、ディープ・ニューラル・ネットワークでは重みの適応は再帰型であり、したがって可変の大きさの入力データに関する構造化された予測を生成し得る。典型的には、そのようなＲＮＮは、シーケンシャルな入力データに使用される。厳密には、ＣＮＮの場合と同様、予測的な重みの適応に加えてバックプロパゲーション機能がここで使用される。ＲＮＮはまた、画像分析で使用されてもよい。

「畳み込みニューラル・ネットワーク」という用語は、フィードフォワード手法に基づく人工的なニューラル・ネットワークのクラスを示す。これらは、入力データとして画像による画像分析に使用されることが多い。ここで、畳み込みニューラル・ネットワークの主要な構成部分は、パラメータの共有による効率的な評価を可能にする畳み込み層である（これがこの名称の由来である）。

ディープ・ニューラル・ネットワークは、異なる機能の複数の層、例えば、入力層と、出力層と、例えば、畳み込み動作、非線形機能の適用、次元数の低減、正規化機能などのためのひとつまたは複数の中間層とを含むことにも留意すべきある。これらの機能は、ソフトウェアで実行されることが可能であり、または特殊なハードウェア組立品が、それぞれの関数の値の計算を実行することができる。さらに、ハードウェアおよびソフトウェア要素の組み合せも知られている。

「ディープ・オートエンコーダ」という用語は、ＤＮＮの原理に基づくオートエンコーダ・システムを指す。ここで、ディープ・オートエンコーダは、典型的には、オートエンコーダを使用するとき、１セットのデータの圧縮表現（符号化）を学習し、さらに重要な特徴を抽出するための対象である。このようにして、ディープ・オートエンコーダは、次元削減および／または異常の検出に使用され得る。ここで、実際のエンコーダ層は、人工ニューロンの入力層と出力層との間に配置される。

「１クラス分類」という用語もまた、この文脈で解釈されるべきである。対応する方法はまた、記録されたデジタル画像内の特定の物体をその他の物体の中で、特定のクラスとして識別しようとする「単項分類」（ｕｎａｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）または「クラス・モデリング」として知られている。このため、訓練の実行がさらに必要となる。このようにして、一連のデジタル画像内の異常を識別することが可能となる。

「新規性検出」という用語は、「知的」システム（たとえば、知的生物）が、入力された知覚パターンをそれまで未知であると識別することができる仕組みを示す。この原理はまた、人工的なニューラル・ネットワークにも適用されることが可能である。人工的なニューラル・ネットワークに到達する知覚パターンが、識別確率が指定の（または動的に適合された）しきい値を上回る出力信号を作り出さない場合、または、識別確率がほぼ同じ大きさである複数の出力信号を生成する場合、入力される知覚パターン、例えば、デジタル画像は、新規な内容（新規性：ｎｏｖｅｌｔｙ）を有するものとして分類され得る。

他方で、既知の例示的な画像によって訓練されている（例えば、オートエンコーダとして構成されている）ニューラル・ネットワークに新しい例示的な画像が供給され、オートエンコーダを通過した場合、オートエンコーダは、この新しい例示的な画像を出力において再構成できるべきである。これは、新しい例示的な画像が、オートエンコーダを通過するときに大幅に圧縮され、後にニューラル・ネットワークを用いて画像が再び拡張／再構成されるため可能である。新しい入力画像が拡張／再構成された画像に（大幅に）対応する場合、新しい例示的な画像は、既知のパターンに対応し、または訓練画像データベースの内容に対する高い類似性を提示する。新しい例示的な画像を拡張／再構成された画像と比較したときに大幅な違いが存在した場合、すなわち、再構成誤差が顕著である場合、この例示的な画像は、それまで未知の分布（イメージ・コンテンツ）である。すなわち、ニューラル・ネットワークがデータ分布をマッピングすることができない場合、正常なケースであると想定されている既知のデータベースと比較すると、異常が発生している。

これらの図の詳細な説明は以下の通りである。ここでは、すべての詳細および指示がこれらの図で概略的に示されていることに留意するべきである。顕微鏡システムに対する予測的メンテナンスの必要性を確認する本発明のコンピュータ実装の方法の例示的実施形態のブロック図がはじめに示されている。さらなる例示的実施形態および対応するシステムのための例示的実施形態は、後述される。

図１は、顕微鏡システムに対するメンテナンス処置の必要性を確認する本発明のコンピュータ実装の方法の例示的実施形態のブロック図を示している。この方法は、サンプルのデジタル画像を記録するためのイメージセンサを含む顕微鏡システムを提供するステップ（１０２）と、顕微鏡システムの通常動作中にイメージセンサを使用してデジタル画像を記録するステップ（１０４）と、少なくともひとつの記録されたデジタル画像を少なくともひとつの入力データ・セットとして画像分析システムに提供するステップ（１０６）とを含む。

この方法は、さらに、少なくともひとつの記録されたデジタル画像内で、画像分析システムを用いて、少なくともひとつの特徴を判定するステップ（１０８）であって、特徴が通常動作中の顕微鏡システムの動作不良に関連するステップ（１０８）と、少なくともひとつのデジタル画像および少なくともひとつのデジタル画像内に含まれる少なくともひとつの特徴に基づいて、画像分析システムを用いて、顕微鏡システムの状態に対する状態信号を生成するステップ（１１０）と、状態信号を使用することによって、メンテナンス処置を必要とする顕微鏡システムのコンポーネント・グループを判定するステップ（１１２）とを含む。この必要なメンテナンス処置、または実行されるべきメンテナンス処置は、ユーザに示される。これは、テキストまたはグラフィックによって、顕微鏡システムの画像を提示しながら、維持されるべきコンポーネントを特別にマークすることによって行うことができる。さらに、メンテナンス処置の種類（例えば、光学システムのクリーニング、照明の交換など）に関する表示を出力することができる。

図２は、図１に提示されるコンピュータ実装の方法のあり得る拡張のブロック図を示している。この目的で、機能プール２１４が利用可能であり、機能プール２１４からの追加の機能を、要求に応じて図１の方法１００に組み込むことが可能である。これは、顕微鏡システムで必要なメンテナンス処置の時間間隔または推奨されるメンテナンス処置の時間間隔を判定するステップ（２０２）と、顕微鏡システムのコンポーネントの追加のパラメータ値をキャプチャするステップ（２０４）と、学習システムを異なる形態（教師あり／教師なし学習）で訓練するステップ（２０６）と、場合により時間依存的に、動作要素のパラメータ値をキャプチャするステップ（２０８）と、パラメータ値の組み合せを使って、顕微鏡システムのための確認されたメンテナンス処置のための状態信号を生成するステップ（２１０）と、追加のパラメータ値を学習システムの入力データとして使うステップ（２１２）とを含む。この目的で、追加のパラメータ値は、有利には時系列として、入力データの形態で学習システムに利用可能となる。さらに、この機能プール内では、「記録された画像のサブセットの選択」機能が利用可能である。選択は、上述の選択パラメータに応じて行うことができる。

図３は、選択の目的で画像が記録された例示的なグラフ３００を示す。記録された画像が生成された時刻または対応する実験が行われた時刻が、ｘ軸（日／時の組み合せ）に示されている。実験測定値が、例としてｙ軸に示されている。各測定点３０８は、ひとつの記録された画像を表している。これによって、画像の選択を、様々な基準（上述を参照）に応じて実行することが可能となる。選択基準に応じ、例示的な囲みによって示されているように、異なるグループ３０２、３０６、および３０８の記録された画像がここで取得される。

図４は、顕微鏡システムに対するメンテナンス処置の必要性を確認するメンテナンス監視システム４００の例示的実施形態のブロック図を示している。ここで、メンテナンス監視システムは、サンプルのデジタル画像を記録するためのイメージセンサ４０６を有する顕微鏡システム４０２を含み、イメージセンサ４０６は、顕微鏡システム４０２の通常動作中にデジタル画像を記録するために使用される。

さらに、メンテナンス監視システムは、少なくともひとつの記録されたデジタル画像を少なくともひとつの入力データ・セットとして受信するように適合された画像分析システム４０４を含む。画像分析システム４０４は、さらに、少なくともひとつの記録されたデジタル画像内で少なくともひとつの特徴を判定し、特徴は、通常動作中の顕微鏡システムの動作不良に関連しており、画像分析システムによって、顕微鏡システムの状態についての状態信号を生成し、状態信号を使うことによって、メンテナンス処置を必要とする顕微鏡システムのコンポーネント・グループを判定するように適合されている。

図５は、メンテナンス監視システムの少なくともいくつかの部品を含むことが可能なコンピュータ・システムのブロック図を示している。本明細書で提示される概念の実施形態は、原則的に、そこで使われるプラットフォームに関わらず、プログラム・コードを記憶および／または実行する実質的に任意の種類のコンピュータで使用することが可能である。図５は、本明細書に導入される方法に応じてプログラム・コードを実行するのに好適なコンピュータ・システム５００の一例を示している。顕微鏡システム内にすでに存在するコンピュータ・システムはまた、場合により適切な拡張によって、本明細書に導入される概念を実行するコンピュータ・システムとして動作することができる。

コンピュータ・システム５００は、複数の一般的に使用可能な機能（汎用機能）を含んでいる。ここで、コンピュータ・システムは、タブレット・コンピュータ、ラップトップ／ノートブック・コンピュータ、その他の携帯可能な電子デバイスもしくはモバイル電子デバイス、マイクロプロセッサ・システム、マイクロプロセッサベースのシステム、スマートフォン、または特別にセットアップされた機能を有するコンピュータ・システムであってもよい。コンピュータ・システム５００は、本明細書に提案される概念の機能を実施するために実行されることが可能である、例えば、プログラム・モジュールなどのコンピュータ・システムによって実行されることが可能な命令を実行するよう、セットアップされることが可能である。この目的で、プログラム・モジュールは、特定のタスクまたは特定の抽象データ型を実装するためのルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを有していてもよい。

コンピュータ・システムのコンポーネントは、ひとつまたは複数のプロセッサまたは処理ユニット５０２と、記憶システム５０４と、記憶システム５０４およびプロセッサ５０２を含む異なるシステム・コンポーネントを接続するバス・システム５０６とを含んでいてもよい。コンピュータ・システム５００は、典型的には、コンピュータ・システム５００からアクセス可能な複数の揮発性記憶媒体または不揮発性記憶媒体を含む。記憶媒体のデータおよび／または命令（コマンド）は、プロセッサ５０２によって実行されるように、ＲＡＭ（ランダム・アクセス・メモリ）５０８などの揮発性形態の記憶システム５０４に記憶することができる。当該データおよび命令は、本明細書において導入された概念の個々のステップ、または複数の機能または方法のステップを実現する。記憶システム５０４のその他の構成要素は、固定記憶メモリ（ＲＯＭ）５１０および長期記憶メモリ５１２であってよく、長期記憶メモリ５１２には、プログラム・モジュールおよびデータ（参照記号５１６）を記憶することができる。

コンピュータ・システムは、通信目的のために一連の専用装置（キーボード５１８、マウス／ポインティング・デバイス（図示せず）、スクリーン５２０など）を備える。これらの専用装置は、タッチ感知ディスプレイに組み合されていてもよい。別個に提供されるＩ／Ｏコントローラ５１４は、外部デバイスとのシームレスなデータ交換を確実にする。ネットワーク・アダプタ５２２は、ローカル・ネットワークまたはグローバル・ネットワーク（ＬＡＮ、ＷＡＮ、たとえばインターネット）を使用した通信のために使用可能である。ネットワーク・アダプタは、バス・システム５０６を介して、コンピュータ・システム５００のその他のコンポーネントによってアクセスされ得る。ここで、図示されていないものの、その他の装置をコンピュータ・システム５００に接続することが可能である点を理解するべきである。

さらには、イメージセンサ４０６および／または画像分析システム４０４などのメンテナンス監視システム４００の少なくともいくつかの部品（図３参照）を、バス・システム５０６に接続することができる。イメージセンサ４０６のデジタル画像データは、別個の前処理システム（図示せず）によって準備されてもよい。

本発明の様々な例示的実施形態の説明は、さらなる理解を提供するために示されたが、本発明の概念を上述の例示的実施形態に直接限定するようにするものではない。さらなる修正形態および変形形態が、当業者には理解される。本明細書に使用される用語は、例示的実施形態の基本的な概念を最も良好に説明し、それらを当業者に容易に利用可能にするために選択されたものである。

本明細書に導入された原理は、システム、方法、それらの組み合せのおよび／またはコンピュータ・プログラム製品の形態で実施することが可能である。コンピュータ・プログラム製品は、この場合、プロセッサまたは制御システムに本発明の様々な態様を行わせるコンピュータ読み取り可能なプログラム命令を有するひとつ（または複数）のコンピュータ読み取り可能な記憶媒体を有することができる。

伝送媒体として使用される適切な媒体は、電子的媒体、磁気的媒体、光学的媒体、電磁的媒体、赤外線媒体または半導体システムであり、例えば、ＳＳＤ（ソリッド・ステート・デバイス／ドライブ）、ＲＡＭ（ランダム・アクセス・メモリ）、および／もしくはＲＯＭ（リード・オンリー・メモリ）、ＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）またはこれらの任意の所望の組み合せである。さらに、伝送媒体も、電磁波、導波器における電磁波もしくは他の伝送媒体（例えば、光ケーブルにおける光パルス）、またはワイヤにおいて伝送される電気信号を伝搬する。

コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによる使用のための命令を保持または記憶する、具現化された装置であってもよい。本明細書において説明されるコンピュータ読み取り可能なプログラム命令は、例えば、（スマートフォン）アプリとして、サービス・プロバイダからケーブル接続またはモバイル無線ネットワークを介して、対応するコンピュータ・システムにダウンロードされてもよい。

本明細書において説明された、本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、例えば、Ｃ＋＋、Ｊａｖａ、または、例えば、プログラミング言語「Ｃ」もしくは類似のプログラミング言語などの類似のプログラミング言語または従来の手続き型プログラミング言語によって書かれたマシン依存、またはマシンに依存しない命令、マイクロコード、ファームウェア、状態定義データ、または任意のソース・コードもしくはオブジェクト・コードであってよい。コンピュータ読み取り可能なプログラム命令は、コンピュータ・システムによって完全に実行され得る。これは、いくつかの例示的実施形態において、本発明の態様に従って電子回路を構成または特徴づけるコンピュータ読み取り可能なプログラム命令の状態情報を使用してコンピュータ読み取り可能なプログラム命令を実行する、例えば、プログラム可能な論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路も含み得る。

さらに、本明細書に導入される本発明は、本発明の例示的実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートおよび／またはブロック図を参照して示される。実際上は、フローチャートおよび／またはブロック図の任意のブロックは、コンピュータ読み取り可能なプログラム命令として実現され得ることに留意するべきである。

コンピュータ読み取り可能なプログラム命令を汎用コンピュータ、専用コンピュータ、または、プロセッサ、コンピュータもしくは他のプログラム可能なデータ処理装置に提供することができ、汎用コンピュータ、専用コンピュータ、または、プロセッサ、コンピュータもしくは他のプログラム可能なデータ処理装置は、フローチャートおよび／またはブロック図において示された機能またはプロセスを実現する手段を生成するように、命令がプロセッサ、コンピュータ、またはその他のプログラム可能なデータ処理装置で実行されるよう、マシンを生成するためにプログラムすることができる。上述のコンピュータ読み取り可能なプログラム命令は、同様にコンピュータ読み取り可能な記憶媒体上に記憶されてもよい。

この文脈において、示されたフローチャートまたはブロック図における任意のブロックは、特定のロジック機能を実現するための複数の実行可能な命令を示す命令のモジュール、セグメントまたは部分を示していてもよい。いくつかの例示的実施形態において、個々のブロックにおいて示された機能は、異なる順序で、場合によっては同時に実行されてもよい。

以下の特許請求の範囲内の機能に関連するすべての手段および／またはステップの示されている構造、材料、シーケンス、および均等物は、特許請求の範囲において明示されるように、全ての構造、材料またはシーケンスに適用されるものである。

１００ 方法
１０２ 方法ステップ
１０４ 方法ステップ
１０６ 方法ステップ
１０８ 方法ステップ
１１０ 方法ステップ
１１２ 方法ステップ
２０２～２１６ あり得る拡張の方法ステップ
３００ 画像を選択するグラフ
３０２、３０４、３０６ 可能な選択された画像グループ
３０８ 例示的な測定値
４００ メンテナンス監視システム
４０２ 顕微鏡システム
４０４ 画像分析システム
４０６ イメージセンサ
５００ コンピュータ・システム
５０２ プロセッサ
５０４ メモリ・システム
５０６ バス・システム
５０８ ＲＡＭ
５１０ ＲＯＭ
５１２ 長期記憶メモリ
５１４ Ｉ／Ｏコントローラ
５１６ プログラム・モジュールおよびデータ
５１８ キーボード
５２０ スクリーン
５２２ ネットワーク・アダプタ

Claims (18)

1. 顕微鏡システム（４０２）に対する将来を見据えたメンテナンスである予測的メンテナンスの必要性を確認するコンピュータ実装の方法（１００）であって、
   サンプルのデジタル画像を記録するためのイメージセンサ（４０６）を備える顕微鏡システム（４０２）を提供するステップ（１０２）と、
   前記顕微鏡システム（４０２）の通常動作中に前記イメージセンサ（４０６）を使用してデジタル画像を記録するステップ（１０４）と、
   少なくともひとつの記録されたデジタル画像を少なくともひとつの入力データ・セットとして画像分析システム（４０４）に提供するステップ（１０６）と、
   前記少なくともひとつの記録されたデジタル画像内で、前記画像分析システム（４０４）によって、少なくともひとつの特徴を判定するステップ（１０８）であって、前記特徴が通常動作中の前記顕微鏡システム（４０２）の動作不良に関連しているステップ（１０８）と、
   前記少なくともひとつのデジタル画像および前記少なくともひとつのデジタル画像内に含まれる前記少なくともひとつの特徴に基づいて、前記画像分析システム（４０４）によって、前記顕微鏡システム（４０２）の状態についての状態信号を生成するステップ（１１０）と、
   前記状態信号を使うことによって、メンテナンス処置が必要な前記顕微鏡システム（４０２）のコンポーネントを判定するステップ（１１２）とを含む、
   方法（１００）。
2. 前記画像分析システム（４０４）が、機械学習の特性を有する学習システムであり、前記方法（１００）が、
   機械学習によって１セットのデジタル画像を使って前記学習システムを訓練し、前記顕微鏡システム（４０２）の通常動作中にサンプルの前記記録されたデジタル画像のひとつで前記少なくともひとつの特徴を識別するための学習モデルを生成するステップ（２０６）をさらに含む、
   請求項１に記載の方法（１００）。
3. 前記学習システムが、教師あり学習のためのシステムであり、教師あり学習のための前記１セットのデジタル画像内の前記画像が、前記学習モデルを生成するよう、メタデータによってアノテーションされている、
   請求項２に記載の方法（１００）。
4. 前記メタデータが、前記メンテナンス処置が必要な時間間隔の値、前記顕微鏡システム（４０２）のコンポーネントの故障の予測時間、前記顕微鏡システム（４０２）の個々のコンポーネントの数値的状態表示、および前記顕微鏡システム（４０２）の不良を有するコンポーネントの名称のグループより選択された少なくともひとつである、
   請求項３に記載の方法（１００）。
5. 前記メンテナンス処置が必要な前記顕微鏡システム（４０２）のコンポーネントを判定することが、
   前記メンテナンス処置が必要な時間間隔の値を判定することをさらに含む、
   請求項１から４のいずれか一項に記載の方法（１００）。
6. 前記顕微鏡システム（４０２）に関する、センサを使って捕捉された少なくともひとつの追加のセンサ値が、前記画像分析システム（４０４）を使って前記状態信号を生成するために、前記学習システムに対する追加の入力データとして使われる、
   請求項２から４のいずれか一項に記載の方法（１００）。
7. 通常動作中の前記少なくともひとつの記録されたデジタル画像内に含まれる前記少なくともひとつの特徴が、前記デジタル画像内のストライプ、ジッタ、輝度むら、過度の画像ノイズ、および低い信号対背景比を含むグループからの少なくともひとつである、
   請求項１から６のいずれか一項に記載の方法（１００）。
8. 前記学習モデルが、個々の顕微鏡システム（４０２）または複数の顕微鏡システム（４０２）について生成される、
   請求項２から４のいずれか一項に記載の方法（１００）。
9. 前記状態信号の前記判定でさらに使用される前記顕微鏡システム（４０２）の動作要素の少なくともひとつの動作パラメータ値が、前記顕微鏡システム（４０２）の通常動作中に測定される、
   請求項１から８のいずれか一項に記載の方法（１００）。
10. 前記少なくともひとつの特徴を識別する前記学習モデルが、前記顕微鏡システム（４０２）の保守段階の分類、前記顕微鏡システム（４０２）の予想される故障時間の回帰、前記デジタル画像の前記少なくともひとつの特徴または複数の特徴の組み合せと前記顕微鏡システム（４０２）の割当て可能なコンポーネントまたはコンポーネント・グループのメンテナンス要件の判定との相関を含むグループより選択された少なくともひとつのカテゴリに関する、
    請求項２、請求項３、請求項４、請求項６、および請求項８のいずれか一項に記載の方法（１００）。
11. 前記状態信号が、制御信号の組み合せから生成され、前記制御信号のひとつは、いずれの場合も、前記顕微鏡システム（４０２）内のエラー原因、前記エラー原因の前記信号の確信度、エラーのタイプ、品質の損失の数値、必要なメンテナンス処置、メンテナンス処置に対する時間間隔、メンテナンス処置が必要なコンポーネントの表示、コンポーネントの動作不良を少なくとも部分的に補償するための代替的な顕微鏡システム設定に関する情報、位置決めのエラー原因に関する情報、または前記サンプルの誤った準備のうちの少なくともひとつに関する、
    請求項１から１０のいずれか一項に記載の方法（１００）。
12. 前記状態信号が、前記学習システムによって判定され、前記顕微鏡システム（４０２）の動作要素のセンサ・パラメータの組み合せの通常動作中にキャプチャされた時系列と、前記顕微鏡システム（４０２）の動作要素のセンサ・パラメータの前記組み合せの比較値との比較が、偏りを示しているかが判定される、
    請求項２、請求項３、請求項４、請求項６、請求項８、および請求項１０のいずれか一項に記載の方法（１００）。
13. 少なくともひとつの特徴の前記判定が、前記画像分析システム（４０４）によって、
    通常動作中の前記顕微鏡システム（４０２）の一連の記録された画像内で、時系列に配置された一連の記録された画像において、勾配、もしくは変動を有する、または各画像内で同一に見える、反復的特徴を検出することを用いて実行される、
    請求項１から１２のいずれか一項に記載の方法（１００）。
14. 通常動作中の前記顕微鏡システム（４０２）の前記一連の記録された画像が、通常動作中の前記顕微鏡システム（４０２）の記録された画像全体より選択されたサブセットである、
    請求項１３に記載の方法（１００）。
15. 前記学習システムは、ニューラル・ネットワークである、
    請求項２、請求項３、請求項４、請求項６、請求項８、請求項１０、および請求項１２のいずれか一項に記載の方法。
16. 前記ニューラル・ネットワークは、ディープ・オートエンコーダ、１クラス分類、または新規性検出の技術の少なくともひとつに基づいている、
    請求項１５に記載の方法。
17. 顕微鏡システム（４０２）に対する将来を見据えたメンテナンスである予測的メンテナンスのためのメンテナンス監視システム（４００）であって、
    サンプルのデジタル画像を記録するためのイメージセンサ（４０６）を有する顕微鏡システム（４０２）であって、前記イメージセンサが、前記顕微鏡システム（４０２）の通常動作中にデジタル画像を記録するために使用される、顕微鏡システム（４０２）と、
    少なくともひとつの記録されたデジタル画像を少なくともひとつの入力データ・セットとして画像分析システムに提供するように適合された画像分析システム（４０４）とを備え、
    前記画像分析システム（４０４）が、
    前記少なくともひとつの記録されたデジタル画像内で、前記画像分析システム（４０４）によって、通常動作中の前記顕微鏡システム（４０２）の動作不良に関連する少なくともひとつの特徴を判定し、
    前記少なくともひとつのデジタル画像および前記少なくともひとつのデジタル画像内に含まれる前記少なくともひとつの特徴に基づいて、前記画像分析システム（４０４）によって、前記顕微鏡システム（４０２）の状態についての状態信号を生成し、
    前記状態信号を使用することによって、メンテナンス処置が必要な前記顕微鏡システムのコンポーネントを判定するように適合される、
    メンテナンス監視システム（４００）。
18. サンプルのデジタル画像を記録するためのイメージセンサを有する顕微鏡システム（４０２）に対する将来を見据えたメンテナンスである予測的メンテナンスを確認するコンピュータ・プログラム製品であって、プログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体を含み、前記プログラム命令が、ひとつまたは複数のコンピュータ（４００）または制御ユニットによって実行可能であり、
    前記顕微鏡システムの通常動作中に前記イメージセンサを使用してデジタル画像を記録するステップ（１０４）と、
    少なくともひとつの記録されたデジタル画像を少なくともひとつの入力データ・セットとして画像分析システムに伝送するステップ（１０６）と、
    前記少なくともひとつの記録されたデジタル画像内で、前記画像分析システムによって、通常動作中の前記顕微鏡システムの動作不良に関連する少なくともひとつの特徴を判定するステップ（１０８）と、
    前記少なくともひとつのデジタル画像および前記少なくともひとつのデジタル画像内に含まれる前記少なくともひとつの特徴に基づいて、前記画像分析システム（４０４）によって、前記顕微鏡システム（４０２）の状態についての状態信号を生成するステップ（１１０）と、
    前記状態信号を使用することによって、メンテナンス処置が必要な前記顕微鏡システム（４０２）のコンポーネントを判定するステップ（１１２）とを、前記ひとつまたは複数のコンピュータ（４００）または制御ユニットに実行させる、
    コンピュータ・プログラム製品。

Images