JP7438187B2 - 技術システムを制御するために機械学習ルーチンを訓練するための方法および装置 - Google Patents

Description

医用診断機器、画像分析システム、ロボット、自律システム、風力タービン、ガスタービン、または製造設備などの複雑な技術システムの制御において、特定の基準に関する技術システムの性能を最適化するために、機械学習技法を使用することが増加している。特に、技術システムのセンサデータの評価は、訓練済みの機械学習ルーチンによって制御可能である。

教師あり学習法など、幅広い既知の学習方法が、機械学習ルーチンを訓練するために利用可能である。特に、制御すべき技術システムまたは同様の技術システムの履歴もしくは現在の動作データ、またはセンサデータを、訓練データとして使用することができる。

たとえば、医用診断装置では、機械学習ルーチンを訓練して、顕微鏡画像の細胞もしくは組織の種類、または特にトモグラフィ画像の腫瘍を認識し分類することができる。そのような訓練手順には、分類前の医用画像が大量に使用されることが多く、これらが訓練データとして機械学習ルーチンに供給される。したがって、機械学習ルーチンを訓練して、特定の分類を可能な限り良好に再現したり、特定の分類からの逸脱が可能な限り少ない状態で、細胞の種類、組織の種類、または腫瘍を認識したりすることができる。同様に、ガスタービン、製造設備、または他の技術システム向けの機械学習ルーチンを訓練して、センサデータまたは他の動作データに基づき固有の動作状態を認識および／または分類し、かつ／または技術システムの最適な制御を実現することができる。

しかし実際には、認識すべきクラスの一部が、他の認識クラスよりはるかに少ない頻度でしか生じないことがよくある。その結果、非常に希な認識クラスについては、通常、他の認識クラスより著しく少ない訓練データしか利用可能にならない。

しかし、特に医用分野では多くの場合、希な病理学的パターンや変化を正確に認識することが重要である。このような場合、希なクラスからの十分な訓練データが評価されて、こうしたクラスも十分に高い信頼性で認識されるようになるまでに、非常に長い時間がかかることがある。

それにも関わらず、一部の認識クラスは、所与の訓練データに基づき互いを区別するのが、他の認識クラスよりもさらに困難なことがある。このような場合、訓練手順が継続されても、認識の信頼性をもはや有意に改善できないことがよくある。

既存の先行技術によれば、多くの場合、訓練データの量を徐々に増やし、機械学習ルーチンの成功率を観察することによって、上記の状況に対処する。特に希な認識クラスについて成功率を有意に改善できなければ、すぐに訓練が中止されることがある。成功率が恒久的に低いままである場合には、このことも、訓練に使用されるセンサデータが、信頼性の高い認識にうまく適合していないことの標示であると考えられることがある。このような場合、訓練は、異なるセンサデータを用いて継続されるか、繰り返されることが多い。

上記の手順を使用すると、特に希な識別クラスが存在する場合に、必要な訓練の労力が著しく増大することがある。

本発明の目的は、より効率的な訓練を可能にする、技術システムを制御するために機械学習ルーチンを訓練するための方法および装置を特定することである。

この目的は、請求項１に記載の構成を有する方法、請求項１３に記載の構成を有する装置、請求項１４に記載の構成を有するコンピュータプログラム、および請求項１５に記載の構成を有するコンピュータ読取り可能記憶媒体によって達成される。

技術システムを制御するための機械学習ルーチンを訓練するために、技術システムの第１のセンサデータを含む一連の第１の訓練データが、機械学習ルーチンによって読み込まれる。この場合の技術システムは、特に、医用診断装置、画像分析システム、ロボット、自律システム、風力タービン、ガスタービン、または製造設備とすることができる。第１の訓練データを使用して、機械学習ルーチンが訓練され、機械学習ルーチンの複数の学習パラメータが、訓練によって設定される。さらに、訓練中に生じる学習パラメータの値分布が判定され、学習パラメータの判定された値分布の関数として、継続信号が生成される。継続信号に応じて、さらなる一連の第１の訓練データを用いて訓練が継続されるか、訓練のために他の訓練データが要求される。

訓練中に生じる学習パラメータの値分布、および特にそれらの分布幅は、追加の第１の訓練データを供給することによって訓練結果を改善できるか否かを示す早期のインジケータになることがわかる。訓練結果が改善されない場合、質的に異なる訓練データを早期段階で要求し、さらなる訓練に使用することができる。こうして、多くの場合、訓練結果をもはや有意に改善しないさらなる第１の訓練データの供給を、回避することが可能になる。

本発明は、訓練を制御するため、特に、適切な追加の訓練データの供給を有利に制御するために使用することができ、それにより、多くの場合、訓練が著しく改善または短縮される。

本発明による方法を実装するために、対応する装置、コンピュータプログラム製品、および機械読取り可能記憶媒体が提供される。本発明による方法によって、本発明による装置または本発明によるコンピュータプログラム製品、たとえば支援システムの機械学習ルーチン、分析装置、評価装置、または制御装置を訓練することができる。次いで、訓練済み機械学習ルーチンを使用して、技術システムのセンサデータまたは他の動作データを評価、分析、分類、または予測することができる。これに応じて、技術システムを最適なやり方で制御することができる。

本発明による方法、本発明による装置、および本発明によるコンピュータプログラム製品は、たとえば１つまたはそれ以上のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、および／またはいわゆる「フィールドプログラマブルゲートアレイ」（ＦＰＧＡ）によって、具体化または実装することができる。

本発明の有利な実施形態および拡張形態は、従属請求項において特定される。

本発明の有利な実施形態によれば、他の訓練データは、第１の訓練データとは異なる種類であってもよく、第１の訓練データとは異なるように取得されてもよく、第１のセンサデータとは異なるセンサデータを含んでもよく、かつ／または第１の訓練データとは異なるソースから生成されてもよい。特に、他の訓練データは、より高い解像度のもしくはより洗練されたセンサデータ、または他の物理量もしくは化学量の測定データを含んでもよい。

さらに、訓練データを取得するためのセンサのセンサパラメータが修正され、訓練データを取得するようセンサシステムのセンサが誘導され、かつ／またはセンサシステムの固有のセンサデータが訓練データとして選択されるように、センサまたはセンサシステムを、継続信号の関数として制御することができる。

本発明の有利な実施形態によれば、学習パラメータの値分布の分布幅および／またはエントロピー値を判定することができる。分布幅の増大および／またはエントロピー値の増大がある場合には、訓練は、好ましくは、さらなる一連の第１の訓練データを用いて継続することができる。このことは、学習パラメータの値分布の分布幅が大きいまたはエントロピー値が大きいことが、多くの場合、学習パラメータの最適な設定がまだ見いだされていないことの標示と考えられるという意味で有利である。このような場合、第１の訓練データを用いたさらなる訓練によって、訓練結果をさらに改善できると予想できることが多い。それぞれの分布幅は、特に個々の学習パラメータの値分布、学習パラメータのグループの値分布、またはすべての学習パラメータの値分布から判定することができる。

本発明の別の有利な実施形態によれば、学習ルーチンの出力データの値分布を判定し、出力データの値分布の関数として継続信号を形成することができる。

特に、出力データの値分布の分布幅および／またはエントロピー値を判定することができる。分布幅の増大および／またはエントロピー値の増大がある場合には、好ましくは他の訓練データを要求することができる。このことは、出力データの値分布の分布幅が大きいまたはエントロピー値が大きいことが、多くの場合、訓練済み学習ルーチンが不確実な結果しか提供できないことの標示と考えられるという意味で有利である。このような場合、質的に異なる訓練データに切り替えることによって、訓練結果をさらに改善できることが多い。

学習パラメータの値分布または出力データの値分布のそれぞれの分布幅、特に散乱、分散、または標準偏差を判定することができる。

有利には、所与の値分布は、所与の分布幅および／または平均値、好ましくは認識クラスにわたる統計学的なガウス分布もしくはカテゴリ分布によって表し、マッピングし、またはモデル化することができる。こうして、値分布をコンパクトに保存し、効率的に処理することができる。

本発明の有利な拡張形態によれば、第１の訓練データの訓練データ記録を、それぞれ固有の認識クラスに割り当てることができる。好ましくは、認識クラスへの割当ては、それぞれの訓練記録に収納されたクラス仕様によって実現することができる。このようなクラス仕様は、たとえば生物細胞の顕微鏡画像を、認識クラスとしての固有の細胞種類に割り当てることができる。特定の認識クラスについて、この認識クラスに割り当てられた第１の訓練データ記録に基づいて、学習パラメータのクラス固有の値分布を判定することができ、学習パラメータのクラス固有の値分布の関数として、クラス固有の継続信号を生成することができ、クラス固有の継続信号に応じて、この認識クラスに割り当てられた第１の訓練データを用いて訓練を継続できるか、またはこの認識クラスに割り当てられた他の訓練データを要求することができる。こうして、訓練をサポートする訓練データの供給を、クラス固有のやり方で制御することができる。特に、さらなる第１の訓練データを用いた訓練手順の方がより有利になる可能性が高いか、他の訓練データに切り替える方がより有利になる可能性が高いかを、特定の認識クラスについて個々に判定することができる。したがって、特定の認識クラス向けにさらに使用すべき訓練データを、クラス固有に選択することができる。

本発明の特に有利な実施形態によれば、学習パラメータの値分布は、ベイジアンニューラルネットワークを使用する機械学習ルーチンによって判定することができ、学習パラメータは、ベイジアンニューラルネットワークのニューラルの重みによって実現される。値分布は、たとえばマルコフ連鎖モンテカルロ法、ラプラス近似、および／または推論法、特にパラメータフィッティングによって判定することができる。このようなベイジアンニューラルネットワークは、統計学的分布、特に学習パラメータのモデル化に特に好適である。

本発明のさらなる実施形態によれば、サブ機械学習ルーチンの集まりを、機械学習ルーチンによって実行することができ、これにより、学習パラメータのセットが設定される。次いで、学習パラメータの値分布を、学習パラメータのセットにわたる学習パラメータの分布から導き出することができる。

本発明のさらなる実施形態によれば、機械学習ルーチンはニューラルネットワークを実装することができ、学習パラメータは、ニューラルネットワークのニューラルの重みである。ここで、ニューラルネットワークのニューラル構造を、複数回変更することができ、ニューラルネットワークの出力データのセットが、特定の変更形態について判定される。次いで、学習パラメータの値分布を、出力データのセットにわたる出力データの分布から導き出することができる。ニューラル構造を変えるために、ニューラルネットワークのニューロンを、異なるように、好ましくはランダムに、オフに切り替えることができる。このような機能停止は、多くの場合、ドロップアウトと呼ばれる。異なるドロップアウトはそれぞれ、出力データの変更形態を導き出す。修正された出力データの分布と、ドロップアウトのパターンから、学習パラメータの値分布を推論することができる。

本発明の例示的な実施形態を、図面を参照しながら以下でより詳細に説明する。

訓練済み評価装置を有する医用診断装置を概略的に示す図である。 評価装置を訓練するための、本発明による装置を概略的に示す図である。

図１は、少なくとも１つのセンサＳと、機械学習法によって訓練される、評価装置ＡＷとを有する技術システムＴＳとしての医用診断装置の概略的な例を示す。評価装置は、センサＳのセンサデータを評価するために使用される。評価デバイスＡＷは、診断装置ＴＳの一部として実装されてもよく、または診断装置ＴＳの完全にまたは部分的に外部にあってもよい。評価装置ＡＷは、診断装置ＴＳのセンサＳと制御ユニットＣＴＬに接続される。プロセッサ制御またはコンピュータ制御の装置ＣＬＴは、診断装置ＴＳを制御するために使用される。

この例示的な実施形態において、例示的な診断装置ＴＳは、生物組織もしくは生物細胞の種類または状態、および／または特定の病理学的クラスを、生物組織または生物細胞の顕微鏡画像ＰＩＣに基づき自動的に認識するように設計されたものと考えられる。次いで、認識に応じて、診断装置ＴＳまたはその制御ユニットＣＴＬにより、さらなる対応、たとえば撮影された生物組織または生物細胞に対する固有の処置もしくは検査、診断もしくは治療の指示の発行、または薬物の投与および／もしくは用量などの自動的な処置対応を開始することができる。

したがって、例示的な本実施形態のセンサＳは、好ましくは、生物組織または生物細胞の顕微鏡画像ＰＩＣを記録し顕微鏡画像ＰＩＣを評価装置ＡＷに送信する顕微鏡として設計される。代替的にまたはそれに加えて、別の撮像センサ、たとえばカメラ、または別の撮像手順、たとえばトモグラフィ手順または超音波手順が提供されて、２次元および／または３次元の画像が作成されてもよい。

訓練済み評価装置ＡＷは、画像ＰＩＣに示された組織または細胞を、所定の認識クラスＣＬに応じて、すなわち、たとえばそれらの種類、状態、または病理学的クラスに応じて分類する。画像ＰＩＣにおいて認識された組織または細胞のクラスＣＬは、クラス識別子の形で評価ユニットＡＷによって制御ユニットＣＴＬに送信される。上ですでに述べたように、送信された認識クラスＣＬから、制御ユニットＣＴＬは、診断ユニットＴＳのさらなる挙動を制御する。

代替的にまたは追加的に、技術システムＴＳとしてのロボット、自律システム、風力タービン、ガスタービン、または製造設備は、専用に訓練された評価装置ＡＷによって制御可能である。この場合の評価装置ＡＷは、技術システムＴＳの固有の動作状態を、技術システムＴＳのセンサデータまたは他の動作データに基づき認識および／または分類し、かつ／または制御装置ＣＴＬを使用して最適なやり方で技術システムＴＳを制御するように訓練することができる。

技術システムを制御することは、制御に関するデータおよび制御信号、すなわち技術システムの制御に寄与する信号の出力および使用を意味するとも考えられる。このような制御関連のデータは特に、分類データ、分析データ、予測データ、および／または監視データを含んでもよく、これらを、特に技術システムを監視するため、かつ／または摩耗および／もしくは破損を検出するために使用することができる。

図２は、評価装置ＡＷを訓練するための、本発明による装置ＴＡを概略的に示す。評価ユニットＡＷは、評価装置ＡＷのすべての処理工程を実行するための１つまたはそれ以上のコンピュータまたはプロセッサＰＲＯＣと、評価装置ＡＷによって処理されるべきデータを記憶するための、プロセッサＰＲＯＣに接続された１つまたはそれ以上のメモリＭＥＭとにアクセスできる。

評価装置ＡＷは、複数の分類済み訓練データセットを使用して訓練され、とりわけ例示的な本実施形態において、これらの訓練データセットは、評価ユニットＡＷに接続されたデータベースＤＢから読み込まれる。

このデータベースＤＢから、それぞれが認識クラスＣＬに割り当てられている顕微鏡画像ＰＩＣが、分類済みの第１の訓練データＰＩＣ（ＣＬ）として読み込まれる。特定の認識クラスＣＬは、たとえば、それぞれの記録画像ＰＩＣに示された細胞または組織の種類、状態、および／または病理学的クラスを特定する。特定の認識クラスＣＬへの割当ては、たとえば専門家によって事前に実施することができる。各認識クラスＣＬは、好ましくは、それぞれの認識クラスＣＬを識別するクラス識別子の形で、それぞれの分類済み画像ＰＩＣ（ＣＬ）内の画像データＰＩＣに加えて記憶される。たとえば、記録画像ＰＩＣは、撮像センサとしての顕微鏡から、第１のセンサデータとして生成することができる。

さらに、評価装置ＡＷは、分類済み訓練データＰＩＣ２（ＣＬ）の別のソースＳＲＣに接続させることもできる。ここで利用可能な訓練データＰＩＣ２（ＣＬ）は、第１の訓練データＰＩＣ（ＣＬ）とは異なるセンサデータＰＩＣ２を含む。他の分類済み訓練データＰＩＣ２（ＣＬ）では、他のセンサデータもそれぞれ認識クラスＣＬに割り当てられる。

他のセンサデータＰＩＣ２は、特にその種類、品質、取得方法に関して、ならびに／または取得センサおよび／もしくはそのセンサ設定に関して、第１のセンサデータＰＩＣとは異なっていてもよい。特に、他のセンサデータＰＩＣ２は、より高い画像解像度で、異なる倍率、異なる顕微鏡、異なるカメラ、および／または異なるスペクトル範囲を用いて取得された医用画像を含むことができる。さらに、他のセンサデータＰＩＣ２は、他の物理量または化学量を含んでもよく、それらを数値化してもよい。一般的に、他のセンサデータＰＩＣ２は、好ましくは第１のセンサデータＰＩＣとは異なる認識クラスＣＬの認識構成、または第１のセンサデータＰＩＣ以外の認識クラスＣＬの認識態様に関係すべきであるか、それらを含むべきである。

他の訓練データＰＩＣ２（ＣＬ）は、特に認識クラス固有のやり方で、訓練データソースＳＲＣから得られるように評価装置ＡＷによって要求されてもよい。訓練データソースＳＲＣは、追加のデータベース、追加のセンサおよび／またはセンサネットワークを含むことができる。

評価装置ＡＷを訓練するために、分類済みの記録画像ＰＩＣ（ＣＬ）が、評価装置ＡＷの選択モジュールＳＥＬによって、一連の第１の訓練データとして最初に読み込まれる。ＳＥＬ選択モジュールは、評価装置ＡＷのデータ駆動型機械学習ルーチンに画像ＰＩＣを転送する。

この例示的な実施形態における機械学習ルーチンは、選択モジュールＳＥＬに接続されたベイジアンニューラルネットワークＢＮＮによって実装される。ベイジアンニューラルネットワークＢＮＮは、畳み込みニューラルネットワークとして設計される。このような畳み込みニューラルネットワークは、画像処理および画像パターン認識に対して有利に適用可能であることが知られている。これにより実装されたニューラルネットワークＢＮＮまたは機械学習ルーチンは、データ駆動式に訓練することができ、訓練作業中に形成される訓練構造を有する。ニューラルネットワークＢＮＮおよび／またはその訓練構造は、訓練作業によって設定される学習パラメータＬＰによってパラメータ化される。

訓練作業とは、全般的に、パラメータ化されたシステムモデル、たとえばニューラルネットワークの入力パラメータの、１つまたはそれ以上の出力パラメータ、この場合には認識されることになるクラスＣＬへのマッピングを最適化することを意味するものと理解される。このマッピングは、訓練フェーズ中に学習されたかつ／または学習されることになる所定の基準に従って、最適化される。特に分類モデルでは、分類誤差、分析誤差、および／または予測誤差を基準として使用することができる。さらに、技術システムＴＳの制御に関する他の基準が提供されてもよい。訓練構造は、たとえばニューラルネットワークのニューロンのネットワーク構造、および／またはニューロン間の接続の重みを含むことができ、これらは、所定の基準が可能な限り完全に満たされるように、訓練によって形成される。

学習パラメータＬＰは、訓練によって最適化すべきシステムモデルのモデルパラメータであり、このモデルが、機械学習ルーチンの基礎を形成する。この例示的な実施形態では、学習パラメータＬＰは、ニューラルネットワークＢＮＮのニューラル接続の重みによって実現される。

この訓練の目的は、ニューラルネットワークＢＮＮが、供給された画像ＰＩＣを、可能な限り高い頻度で正しい認識クラスＣＬを用いて分類できるようにすることである。この目的のために、供給された記録画像ＰＩＣについてニューラルネットワークＢＮＮによって出力された認識クラスＯＣＬが、この記録画像ＰＩＣの所定の認識クラスＣＬを可能な限り正確に再現するように、学習パラメータＬＰが訓練によって設定される。これは、たとえば、出力データとしてニューラルネットワークＢＮＮの出力層によって出力された認識クラスＯＣＬを、選択装置ＳＥＬによって提供された所定の認識クラスＣＬと比較することによって実現可能である。この比較の一部として、出力データＯＣＬと、対応する所定の認識クラスＣＬとの間で距離Ｄが形成される。この距離Ｄは、ニューラルネットワークＢＮＮの分類誤差を表す。破線矢印によって図２に示してあるように、距離ＤはニューラルネットワークＢＮＮにフィードバックされる。フィードバックされた距離Ｄに基づいて、ニューラルネットワークＢＮＮは、この距離Ｄを最小限に抑えるように、すなわち出力された認識クラスＯＣＬによって可能な限り良好に所定の認識クラスＣＬを再現するように訓練される。この目的のために、学習パラメータＬＰは、距離Ｄが最小限になるまで、標準的な最適化方法を使用して変更することができる。たとえば、勾配降下法を使用して最小化することができる。

また、ニューラルネットワークＢＮＮは、訓練中に生じる学習パラメータＬＰの値分布ＶＬＰを判定する。値分布ＶＬＰを判定する際、おそらく多次元の統計学的ガウス分布に従って学習パラメータＬＰが分布しており、個々の学習パラメータの分布は互いに独立していると考えることが有利である。次いで、値分布ＶＬＰは、分布幅によって、この場合にはこのガウス分布の分散または標準偏差によって表される。ネットワーク内の学習パラメータＬＰのこのような値分布は、標準的な方法を用いるベイジアンニューラルネットワーク、ここではＢＮＮを使用して、効率的にモデル化および判定することができる。値分布ＶＬＰの分布幅の代わりに、またはそれに加えて、値分布ＶＬＰのエントロピー値が判定されてもよい。

学習パラメータＬＰの分布幅が小さいことは、学習パラメータＬＰがすでに比較的正確に設定されていることの標示、すなわちニューラルネットワークＢＮＮが、第１の訓練データＰＩＣ（ＣＬ）に基づいて、すでにほぼ最適化されていることの指標であると考えられることがわかる。この場合、第１の訓練データＰＩＣ（ＣＬ）を用いたさらなる訓練では、わずかな改善しか実現できないと予想することができる。反対に、学習パラメータＬＰの分布幅が大きいことは、最適条件がまだ見いだされておらず、同種類の訓練データ、ここではＰＩＣ（ＣＬ）を使用したさらなる訓練により、分類精度を改善できることの標示であると考えられる。

同種類のより多くの訓練データを用いたさらなる訓練によって低減することができる分類の不確実性は、多くの場合、認識論的不確実性と呼ばれる。

ニューラルネットワークＢＮＮによって、ニューラルネットワークＢＮＮの出力データＯＣＬの値分布ＶＯＣＬも判定される。値分布ＶＯＬＰを判定する際、おそらく多次元の統計学的なガウス分布またはカテゴリ分布に従って、出力データＯＣＬが認識クラスにわたって分布しており、個々の出力データの分布は互いに独立していると考えることが有利である。次いで、値分布ＶＯＣＬは、分布幅、この場合にはガウス分布またはカテゴリ分布の分散または標準偏差によって表される。分布幅の代わりに、またはそれに加えて、値分布ＶＯＣＬのエントロピー値が判定されてもよい。

出力データＯＣＬの分布幅が大きいことは、訓練済みニューラルネットワークＢＮＮが、不確実な分類しか実行できていないことの標示であると考えられることがわかる。同時に、学習パラメータＬＰの値分布ＶＬＰが相対的に小さい場合には、ニューラルネットワークＢＮＮがほとんど完全に訓練されたことを示しており、同種類の訓練データ、ここではＰＩＣ（ＣＬ）を用いたさらなる訓練によって、分類品質が有意に改善される可能性は非常に低い。しかし、このような場合には、異なる訓練データ、この場合にはＰＩＣ２（ＣＬ）を用いた訓練を継続することにより、分類品質を有意に改善できることが多い。

同種類の訓練データを用いた継続的な訓練では実質的に改善されないこうした分類の不確実性は、多くの場合、偶然的不確実性と呼ばれる。偶然的不確実性は、たとえば、ランダムなコイントスの予測を試みるとき、または分類に無関係の、または相関していないセンサデータに基づき分類を試みるときに生じる。このような分類は、（無関係な）訓練データの量を増やすことによって改善することはできない。

値分布ＶＬＰおよびＶＯＣＬは、ニューラルネットワークＢＮＮから評価装置ＡＷの評価モジュールＥＶＡＬに転送される。評価モジュールＥＶＡＬは、ニューラルネットワークＢＮＮにリンクされ、訓練作業の進行を評価するために使用される。評価モジュールＥＶＡＬは、出力データＯＣＬの値分布ＶＯＣＬと学習パラメータＬＰの値分布ＶＬＰとを使用して、偶然的不確実性と認識論的不確実性の両方を数値化する。これに基づいて、評価モジュールＥＶＡＬは、利用可能な第１の訓練データ、ここではＰＩＣ（ＣＬ）を用いたさらなる訓練による、分類の予想される改善について、数値化された改善値を形成する。改善値は、たとえば分布幅ＶＬＰとＶＯＣＬとの重み付き和に基づいて、導き出すことが可能である。上に述べたように、改善値は、分布幅ＶＬＰの低減および分布幅ＶＯＣＬの増大に伴って改善値が低下するように、導き出されることが好ましい。

改善値に応じて、継続信号ＣＮも生成され、評価モジュールＥＶＡＬから選択モジュールＳＥＬに送信される。継続信号ＣＮは、特に、値分布ＶＬＰおよびＶＯＣＬと、改善値とを含むことができる。

受信した継続信号ＣＮと、その中に含まれる改善値に応じて、選択モジュールＳＥＬは、データベースＤＢから追加の第１の訓練データＰＩＣ（ＣＬ）を選択するか、異なる訓練データＰＩＣ２（ＣＬ）を訓練データソースＳＲＣから得るよう要求する。閾値より上では第１の訓練データＰＩＣ（ＣＬ）を用いて訓練が継続され、閾値より下では他の訓練データＰＩＣ２（ＣＬ）が要求されてさらなる訓練に使用されるように、改善値の閾値が特定されてもよい。

代替的にまたはそれに加えて、継続信号ＣＮは、訓練データソースＳＲＣにも送信することができ、たとえばセンサネットワークのセンサに訓練データを取得させる、センサの設定を修正させる、かつ／またはセンサデータを固有に選択させるために、継続信号が使用される。

好ましくは、その後の訓練に使用すべき訓練データの上記の選択は、認識クラス固有に、すなわち訓練データの認識クラスＣＬごとに個々に実行される。この場合、特定の認識クラスＣＬについて、認識クラス固有の値分布ＶＬＰおよびＶＯＣＬが判定され、認識クラス固有の継続信号ＣＮが生成され、認識クラス固有の継続信号ＣＮに応じて、ＳＥＬ選択モジュールが、関連する認識クラスＣＬのさらなる第１の訓練データＰＩＣ（ＣＬ）をデータベースＤＢから選択するか、関連する認識クラスＣＬの他の訓練データＰＩＣ２（ＣＬ）を訓練データソースＳＲＣから得るよう要求する。

本発明による方法を使用して、ニューラルネットワークＢＮＮまたは評価装置ＡＷの訓練を効率的に制御することができる。固有の認識クラスについての分類品質が有意に改善していないことを、おそらくかなり長期間を経てから検出するのではなく、早い段階で、クラス固有の、質的に異なる訓練データを要求し、さらなる訓練に使用することができる。したがって、概して、特に希な個々の認識クラスについて、分類結果を有意に改善しないさらなる訓練データが供給されることを回避することが可能になる。概して、これにより、訓練期間を有意に短縮することができ、かつ／または学習結果を有意に改善することができる。

Claims (14)

1. 技術システム（ＴＳ）を制御するための機械学習ルーチンを訓練するためのコンピュータ実装方法であって、
   ａ）技術システム（ＴＳ）の第１のセンサデータを含む一連の第１の訓練データ（ＰＩＣ）が、機械学習ルーチンによって読み込まれ、
   ｂ）該機械学習ルーチンが第１の訓練データ（ＰＩＣ）に基づいて訓練され、機械学習ルーチンの複数の学習パラメータ（ＬＰ）が訓練によって設定され、
   ｃ）訓練中に生じる学習パラメータ（ＬＰ）の値分布（ＶＬＰ）が判定され、
   ｄ）学習パラメータ（ＬＰ）の判定された値分布（ＶＬＰ）の関数として継続信号（ＣＮ）が生成され、
   ｅ）該継続信号（ＣＮ）に応じて、さらなる一連の第１の訓練データ（ＰＩＣ）を用いて訓練が継続されるか、訓練のために他の訓練データ（ＰＩＣ２）が要求される、前記方法。
2. 他の訓練データ（ＰＩＣ２）は、
   第１の訓練データ（ＰＩＣ）とは異なる種類である、
   第１の訓練データ（ＰＩＣ）とは異なるように取得される、
   第１のセンサデータとは異なるセンサデータを含む、かつ／または
   第１の訓練データ（ＰＩＣ）とは異なるソースから生成される
   ことを特徴とする、請求項１に記載の方法。
3. 前記第１の訓練データ（ＰＩＣ）または前記他の訓練データ（ＰＩＣ２）を取得するためのセンサの設定が修正され、
   前記技術システム（ＴＳ）のセンサが、前記第１の訓練データ（ＰＩＣ）または前記他の訓練データ（ＰＩＣ２）を取得するように誘導され、かつ／または
   前記技術システム（ＴＳ）の前記第１のセンサデータが前記第１の訓練データ（ＰＩＣ）または前記他の訓練データ（ＰＩＣ２）として選択される
   ように、センサまたは技術システム（ＴＳ）が継続信号（ＣＮ）に応じて制御されることを特徴とする、請求項１または２に記載の方法。
4. 学習パラメータ（ＬＰ）の値分布（ＶＬＰ）の分布幅および／またはエントロピー値が判定され、
   分布幅の増大および／またはエントロピー値の増大がある場合には、訓練は、さらなる一連の第１の訓練データ（ＰＩＣ）を用いて継続される
   ことを特徴とする、請求項１～３のいずれか１項に記載の方法。
5. 学習ルーチンの出力データ（ＯＣＬ）の値分布（ＶＯＣＬ）が判定され、
   出力データ（ＯＣＬ）の値分布（ＶＯＣＬ）の関数として、継続信号（ＣＮ）が形成される
   ことを特徴とする、請求項１～４のいずれか１項に記載の方法。
6. それぞれの値分布（ＶＬＰ、ＶＯＣＬ）は、分布幅によって表されることを特徴とする、請求項１～５のいずれか１項に記載の方法。
7. 第１の訓練データ（ＰＩＣ（ＣＬ））は、それぞれ固有の認識クラス（ＣＬ）に割り当てられ、
   所与の認識クラス（ＣＬ）について、この認識クラス（ＣＬ）に割り当てられた第１の訓練データ（ＰＩＣ（ＣＬ））に基づいて、
   学習パラメータのクラス固有の値分布が判定され、
   学習パラメータのクラス固有の値分布の関数として、クラス固有の継続信号が生成され、
   クラス固有の継続信号に応じて、訓練は、この認識クラスに割り当てられた第１の訓練データ（ＰＩＣ（ＣＬ））を用いて継続されるか、この認識クラス（ＣＬ）に割り当てられた他の訓練データ（ＰＩＣ２（ＣＬ））が要求される
   ことを特徴とする、請求項１～６のいずれか１項に記載の方法。
8. 機械学習ルーチンは、ベイジアンニューラルネットワーク（ＢＮＮ）を実装することを特徴とする、請求項１～７のいずれか１項に記載の方法。
9. 学習パラメータ（ＬＰ）の値分布（ＶＬＰ）は、ベイジアンニューラルネットワーク（ＢＮＮ）による機械学習ルーチンによって判定され、学習パラメータ（ＬＰ）は、ベイジアンニューラルネットワーク（ＢＮＮ）の重みであることを特徴とする、請求項１～８のいずれか１項に記載の方法。
10. 機械学習ルーチンは、サブ機械学習ルーチンの集まりを実行し、これにより、学習パラメータのセットが設定され、学習パラメータ（ＬＰ）の値分布（ＶＬＰ）は、学習パラメータのセットにわたる学習パラメータ（ＬＰ）の分布から導き出されることを特徴とする、請求項１～９のいずれか１項に記載の方法。
11. 機械学習ルーチンがニューラルネットワークを実装し、学習パラメータ（ＬＰ）は、ニューラルネットワークの重みであり、
    ニューラルネットワークの構造が、複数回変更され、ニューラルネットワークの出力データのセットが、所与の変更形態について判定され、
    学習パラメータ（ＬＰ）の値分布（ＶＬＰ）は、出力データのセットにわたる出力データ（ＯＣＬ）の分布から導き出されることを特徴とする、請求項１～１０のいずれか１項に記載の方法。
12. 技術システム（ＴＳ）を制御するための機械学習ルーチンを訓練するための装置（ＴＡ）であって、請求項１～１１のいずれか１項に記載の方法を実装するように構成された、
    前記装置。
13. 請求項１～１１のいずれか１項に記載の方法を実装するように構成されたコンピュータプログラム製品。
14. 請求項１３に記載のコンピュータプログラム製品を有する機械読取り可能記憶媒体。

Images