JP7401677B2 - モデル更新システム、モデル更新方法及び関連装置 - Google Patents

Description

本願は、「モデル更新システム、モデル更新方法及び関連装置」と題する２０１９年１１月３０日に出願された中国特許出願第２０１９１１２０９１２９．２号の優先権を主張し、その全体は参照により本願に組み込まれる。

本願の実施形態はネットワーク制御の分野に関し、具体的にはモデル更新システム、モデル更新方法及び関連装置に関する。

人工知能（artificial intelligence、ＡＩ）の急速な発展に伴い、ＡＩモデルは柔軟性や知能等の特徴によりネットワークで広く用いられている。

ネットワーク装置がＡＩモデルを設定した後、ネットワーク装置はＡＩモデルの入力としてネットワーク装置上の特徴データを用いる。ネットワーク装置上の特徴データは、ネットワーク装置のトラフィックシナリオによって決定され、異なる特徴データが異なるトラフィックシナリオで生成される。ネットワーク装置が特徴データをＡＩモデルに入力した後、ネットワーク装置はＡＩモデルに基づいて出力結果を取得し得る。ネットワーク装置は出力結果に基づいて対応する決定を行うか又は出力結果を他のネットワーク装置に送信して、他のネットワーク装置が出力結果に基づいて対応する決定を行うのを助ける。

ＡＩモデルは訓練データに基づく訓練を介して得られるため、ネットワーク装置のシナリオが訓練データの収集シナリオと異なるか又はネットワーク装置のシナリオが本来は訓練データの収集シナリオと同じであるが、ネットワーク装置のシナリオがネットワーク装置のシナリオの変化により訓練データの収集シナリオと現在異なる場合、ＡＩモデルの性能が劣化し得る。したがって、ＡＩモデルの性能をどのように維持するかは解決すべき緊急の課題である。

本願の実施形態は、第１のモデルの更新に基づいてプライバシーを改善するために、モデル更新システム、モデル更新方法及び関連装置を提供する。

本願の実施形態の第１の態様は、サイト解析装置及び第１の解析装置を含む更新システムを提供する。第１の解析装置は第１のモデルを取得し、第１のモデルを取得した後に、第１の解析装置は第１のモデルをサイト解析装置に送信し得る。サイト解析装置は、ネットワーク装置によって送信される第１の特徴データを受信し得る。第１のモデルを受信した後で、サイト解析装置は第１の訓練サンプルを用いて該第１のモデルを訓練して第２のモデルを取得し得る。該第１の訓練サンプルは第１の特徴データを含む。第２のモデルを取得した後に、サイト解析装置は第１のモデルと第２のモデルとの差分データを取得し得る。サイト解析装置が差分データを取得した後で、サイト解析装置は差分データを第１の解析装置に送信する。第１の解析装置は差分データを受信し、差分データに基づいて第１のモデルを更新して第３のモデルを取得し得る。

本願のこの実施形態では、サイト解析装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。サイト解析装置は、第１のモデルと第２のモデルとの差分データを取得し、差分データを第１の解析装置に送信して、第１の解析装置に差分データに基づいて第１のモデルを更新するよう要求し、差分データは、第１のモデル及び第２のモデルに基づいてサイト解析装置によって取得され、第２のモデルは、第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置によって取得される。第１の訓練サンプルは、ネットワーク装置の第１の特徴データを含み、差分データのプライバシーは、第１の特徴データのものよりも高い。したがって、第１の解析装置がモデル性能を維持するために第１のモデルを更新することに基づいて、プライバシーが改善される。

可能な設計では、本願の実施形態の第１の態様の第１の実施において、サイト解析装置は、第１のモデルが劣化しているかどうかを判定するようにさらに構成されている。サイト解析装置が第１のモデルは劣化していると判定した場合にのみ、サイト解析装置は第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る。

本願のこの実施形態では、サイト解析装置が第１のモデルは劣化していると判定した場合にのみ、サイト解析装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る。サイト解析装置が第１のモデルは劣化していると判定した場合、第１のモデルの性能が劣化していることを示す。したがって、サイト解析装置は、第１のモデルの性能が劣化した場合にのみ、第１の訓練サンプルを用いることにより第１のモデルを訓練して、サイト解析装置が第１のモデルの性能が劣化していない場合に第１の訓練サンプルを用いることにより第１モデルを訓練することを避けることにより、サイト解析装置のネットワークリソースが節約される。

可能な設計では、本願の実施形態の第１の態様の第２の実施では、システムは、Ｎ個のサイト解析装置を含む。この場合、第１の解析装置はＮ個のサイト解析装置に接続され、Ｎは１より大きい整数である。第１の解析装置が第１のモデルを取得した後で、第１の解析装置は、第１のモデルをＮ個のサイト解析装置に送信することと、Ｌ個のサイト解析装置によって送信される複数の差分データを受信することであって、Ｌは１より大きく且つＮ以下の整数であることと、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得ることと、を行うように具体的に構成されている。

本願のこの実施形態では、第１の解析装置はＮ個のサイト解析装置に接続され得る。Ｎは１より大きい整数であるため、第１の解析装置は複数のサイト解析装置に接続され得る。これに基づいて、第１の解析装置は、Ｌ個のサイト解析装置によって送信される複数の差分データを受信してもよく、Ｌは１よりも大きく且つＮ以下の整数である。Ｌは１よりも大きいため、第１の解析装置は複数のサイト解析装置によって送信される複数の差分データを受信し、複数の差分データに基づいて第１のモデルを更新し得る。第１の解析装置は、複数のサイト解析装置によって送信される複数の差分データを受信し、複数の差分データに基づいて第１のモデルを更新し得るため、複数のサイト解析装置が存在する場合に、第１の解析装置はサイト解析装置の差分データのみを用い、その結果、差分データに基づいて第１の解析装置によって得られた第３のモデルが他のサイト解析装置と一致しない場合が回避される。具体的には、他のサイト解析装置上での第３のモデルの性能は、他のサイト解析装置上の第１のモデルの性能よりも劣る。

可能な設計では、本願の実施形態の第１の態様の第３の実施では、サイト解析装置は第２のモデルを第１の解析装置に送信しない。

本願のこの実施形態では、サイト解析装置は第２のモデルを第１の解析装置に送信しない。第１の解析装置は第１のモデルも記憶するため、サイト解析装置は、第１のモデルと第２のモデルとの差分データを送信するだけでよい。第１の解析装置は、差分データに基づいて第１のモデルを更新して第３のモデルを取得し得る。差分データのデータボリュームは第２のモデルのデータボリュームよりも小さいため、ネットワーク伝送リソースを節約できる。

可能な設計では、本願の実施形態の第１の態様の第４の実施において、第１の解析装置は、差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集することと、Ｎに対するＬの比が閾値Ｋに達した場合に、差分データに基づいて第１のモデルを更新して第３のモデルを得ることであって、Ｋは０より大きく、１以下である、こととを行うようにさらに構成されている。

本願のこの実施形態では、第１の解析装置は、差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集し得る。Ｎに対するＬの比が閾値Ｋに達した場合にのみ、第１の解析装置は差分データに基づいて第１のモデルを更新して第３のモデルを得る。特定の数のサイト解析装置が第１の解析装置に差分データを送信した場合にのみ、第１の解析装置は差分データに基づいて第１のモデルを更新して第３のモデルを得る。したがって、第１の解析装置は、閾値Ｋを設定することにより、第１の解析装置が第１のモデルを更新する頻度を柔軟に調整し得る。

可能な設計では、本願の実施形態の第１の態様の第５の実施では、システムは、ネットワーク装置をさらに含む。ネットワーク装置は、サイト解析装置によって送信される更新されたモデルを受信することであって、該更新されたモデルは第２のモデル又は第３のモデルを含む、ことと、更新されたモデルを用いることによりネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力することと、を行うように構成されている。サイト解析装置は、更新されたモデルをネットワーク装置に送信するようにさらに構成されている。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルがネットワーク装置上で設定されていることは限定されている。ネットワーク装置は、ネットワーク装置上の予測されるべき特徴データを直接収集し得る。したがって、ネットワークリソースを節約できる。

可能な設計では、本願の実施形態の第１の態様の第６の実施において、ネットワーク装置は、ネットワーク装置の予測されるべき特徴データをサイト解析装置に送信するように構成されている。サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するようにさらに構成されている。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルがサイト解析装置上で設定されていることは限定されている。サイト解析装置は、ネットワーク装置から送信される予測されるべき特徴データを取得し、サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力する。したがって、遠隔予測を実施でき、予測をネットワーク装置上で局所的に行う必要がないため、推論結果がネットワーク装置上でリークされる可能性が低減される。

可能な設計では、本願の実施形態の第１の態様の第７の実施では、ネットワーク装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルの機能は、分類予測を行うことに限定されている。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第１の態様の第８の実施において、サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルの機能は、分類予測を行うことに限定されている。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第１の態様の第９の実施形態において、予測されるべき特徴データは、キーパフォーマンスインジケータＫＰＩ特徴データを含み、該ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ又はＫＰＩデータである。

本願のこの実施形態では、ＫＰＩ特徴データがＫＰＩ時系列の特徴データ又はＫＰＩデータであることは限定されているため、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第１の態様の第１０の実施では、差分データは勾配情報である。

本願のこの実施形態では、勾配情報はニューラルネットワークモデルの概念である。したがって、第１のモデル、第２のモデル及び第３のモデルの種類はニューラルネットワークモデルに属することに限定される。したがって、解決策の実施可能性が改善される。

本願の実施形態の第２の態様はモデル更新方法を提供し、以下を含む。

サイト解析装置は、第１の解析装置によって送信される第１のモデルを受信し得る。サイト解析装置が第１のモデルを受信した後で、サイト解析装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む。サイト解析装置が第２のモデルを取得した後で、サイト解析装置は第１のモデルと第２のモデルとの差分データを取得し得る。サイト解析装置は差分データを第１の解析装置に送信して、第１の解析装置に、差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求し得る。

を含む
本願のこの実施形態では、サイト解析装置は第１の解析装置によって送信第１のモデルを受信し、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。第２のモデルを取得した後で、サイト解析装置は、第１のモデルと第２のモデルとの差分データを取得し、差分データを第１の解析装置に送信して、第１の解析装置に差分データに基づいて第１のモデルを更新するよう要求し得る。差分データは、第１のモデル及び第２のモデルに基づいてサイト解析装置によって取得され、第２のモデルは、第１の訓練サンプルを用いることにより第１のモデルを訓練することによってサイト解析装置によって取得される。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、第１の解析装置がモデル性能を維持するために第１のモデルを更新することに基づいてプライバシーが改善される。

可能な設計では、本願の実施形態の第２の態様の第１の実施において、サイト解析装置は、第１のモデルが劣化しているかどうか判定する。サイト解析装置が第１のモデルは劣化していると判定した場合に、サイト解析装置は第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る。

本願のこの実施形態では、サイト解析装置が第１のモデルが劣化していると判定した場合にのみ、サイト解析装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る。サイト解析装置は第１のモデルが劣化していると判定した場合、それは第１のモデルの性能が劣化していることを示す。したがって、サイト解析装置は、第１のモデルの性能が劣化した場合にのみ、第１の訓練サンプルを用いることにより第１のモデルを訓練し、サイト解析装置が第１のモデルの性能が劣化しない場合に第１の訓練サンプルを用いることにより第１のモデルを訓練することを回避することにより、サイト解析装置のネットワークリソースを節約する。

可能な設計では、本願の実施形態の第２の態様の第２の実施において、サイト解析装置は、第１のモデルのパフォーマンス定量インジケータを取得し得る。サイト解析装置は、第１のモデルのパフォーマンス定量インジケータが目標閾値未満かどうか判定する。第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、サイト解析装置は第１のモデルが劣化していると判定する。

本願のこの実施形態では、第１のモデルのパフォーマンス定量指インジケータが目標閾値未満の場合、サイト解析装置は第１のモデルが劣化していると判定する。サイト解析装置は、第１のモデルのパフォーマンス定量インジケータを得る方法において、第１のモデルが劣化しているかどうかを判定することに限定されているため、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第３の実施において、サイト解析装置は、ネットワーク装置の第２の特徴データを取得し得る。サイト解析装置は、第２の特徴データに基づいて第１のモデルによって得られる第１の推論結果を取得し得る。サイト解析装置は、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの精度を得て、該精度を第１のモデルのパフォーマンス定量インジケータとして用い得るか又はサイト解析装置は、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの再現率を得て、該再現率を第１のモデルのパフォーマンス定量インジケータとして用いり得る。

本願のこの実施形態では、サイト解析装置は、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて第１のモデルの精度を取得し、サイト解析装置は精度を第１のモデルのパフォーマンス定量インジケータとして用いり、第１の推論結果は第２の特徴データに基づいて第１のモデルによって得られるか又はサイト解析装置は、第１の推論結果及び第２の特徴データのプリセットラベルラに基づいて第１のモデルの再現率を取得し、サイト解析装置は、再現率を第１のモデルのパフォーマンス定量インジケータとして用い、第１の推論結果は第２の特徴データに基づいて第１のモデルによって得られる。第１の推論結果及び第２の特徴データのプリセットラベルの両方は第２の特徴データに関連し、第２の特徴データはネットワーク装置からのものであり、第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。したがって、第２の特徴データに基づいて第１のモデルのパフォーマンス定量インジケータを決定することは、他の装置の特徴データに基づいて第１のモデルのパフォーマンス定量インジケータを決定することよりも精度が高い。

可能な設計では、本願の実施形態の第２の態様の第４の実施において、サイト解析装置は、第１のデータ要求をネットワーク装置に送信して、ネットワーク装置に第２の訓練サンプルをサイト解析装置に送信するよう要求し、第２の訓練サンプルは第２の特徴データ及び第１の推論結果を含み、第１の推論結果は、第２の特徴データに基づいて第１のモデルによって得られる。

本願のこの実施形態では、第２の特徴データ及び第１の推論結果のソースは限定され、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第５の実施において、サイト解析装置は、更新されたモデルをネットワーク装置に送信し、更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルがネットワーク装置上で設定されていることは限定されている。ネットワーク装置は、ネットワーク装置上で予測されるべき特徴データを直接収集し得る。したがって、ネットワークリソースを節約できる。

可能な設計では、本願の実施形態の第２の態様の第６の実施では、サイト解析装置は更新されたモデルをネットワーク装置に送信し、更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように構成され、予測されるべき特徴データはキーパフォーマンスインジケータＫＰＩ特徴データを含む。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルの機能は分類予測を行うことに限定され、予測されるべき特徴データはＫＰＩ特徴データを含む。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第７の実施では、サイト解析装置はネットワーク装置の予測されるべき特徴データを受信する。サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力し、更新されたモデルは第２のモデル又は第３のモデルを含む。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルがサイト解析装置上で設定されることは限定されている。サイト解析装置は、ネットワーク装置によって送信される予測されるべき特徴データを取得し、サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力する。したがって、遠隔予測を実施でき、予測をネットワーク装置上で局所的に行う必要がないため、推論結果がネットワーク装置上にリークする可能性が低減される。

可能な設計では、本願の実施形態の第２の態様の第８の実施では、予測されるべき特徴データはＫＰＩ特徴データを含み、サイト解析装置は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測する。

本願のこの実施形態では、更新されたモデルは第２のモデル又は第３のモデルを含む。第２のモデル又は第３のモデルの機能は分類予測を行うことに限定され、予測されるべき特徴データはＫＰＩ特徴データを含む。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第９の実施では、ＫＰＩ特徴データはＫＰＩ時系列の特徴データ又はＫＰＩデータである。

本願のこの実施形態では、ＫＰＩ特徴データがＫＰＩ時系列の特徴データ又はＫＰＩデータであることが限定されているため、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第１０の実施において、サイト解析装置はテストデータを用いることにより第２のモデルをテストし、該テストデータはグラウンドトゥルースラベルを含む。サイト解析装置は、劣化したデータを記憶して、サイト解析装置が該劣化したデータを用いることにより、サイト解析装置内のモデルを更新できるようにし、劣化したデータはテストデータに属し、劣化したデータの推論ラベルはグラウンドトゥルースラベルと等しくなく、該推論ラベルはテストデータを用いることにより、第２のモデルをテストすることによりサイト解析装置によって得られる。

本願のこの実施形態では、サイト解析装置が、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得た後で、サイト解析装置は、テストデータを用いることにより第２のモデルをテストして劣化したデータを記憶し、サイト解析装置が該劣化したデータを用いることにより、サイト解析装置内のモデルを更新できるようにし、劣化したデータは、サイト解析装置が劣化したデータを用いることによりサイト解析装置内のモデルを更新できるようにするために用いられる。したがって、サイト解析装置が劣化したデータを記憶した後で、サイト解析装置がモデルを更新する必要がある場合、サイト解析装置は、劣化したデータを用いることによりモデルを更新し得る。劣化したデータは第２のモデルで十分に学習されていないデータに属するため、サイト解析装置は、将来のモデル更新のためにデータを記憶するため、後続のモデルは十分に学習されていないデータを再学習できるため、後続のモデルの性能が改善される。

可能な設計では、本願の実施形態の第２の態様の第１１の実施において、差分データは勾配情報である。

本願のこの実施形態では、勾配情報はニューラルネットワークモデルの概念である。したがって、第１のモデル、第２のモデル及び第３のモデルの種類はニューラルネットワークモデルに属することに限定される。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第２の態様の第１２の実施において、サイト解析装置は第２のモデルを第１の解析装置に送信しない。

本願のこの実施形態では、サイト解析装置は第２のモデルを第１の解析装置に送信しない。第１の解析装置は第１のモデルも記憶するため、サイト解析装置は、第１のモデルと第２のモデルとの差分データを送信するだけでよい。第１の解析装置は、差分データに基づいて第１のモデルを更新して第３のモデルを取得し得る。差分データのデータボリュームは第２のモデルのデータボリュームよりも小さいため、ネットワーク伝送リソースを節約できる。

本願の実施形態の第３の態様はモデル更新方法を提供し、以下を含む。

第１の解析装置は第１のモデルをサイト解析装置に送信し、第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。第１の解析装置は第１のモデルと第２のモデルとの差分データを受信し、第２のモデルは第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置によって得られ、第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む。第１の解析装置は、差分データに基づいて第１のモデルを更新して第３のモデルを得る。

本願のこの実施形態では、第１の解析装置は第１のモデルをサイト解析装置に送信し得る。第１の解析装置は、第１のモデルと第２のモデルとの差分データを受信し、差分データに基づいて第１のモデルを更新して第３のモデルを得る。差分データは、第１のモデル及び第２のモデルに基づいて、サイト解析装置によって得られ、第２のモデルは、第１の訓練サンプルを用いることにより、第１のモデルを訓練することによってサイト解析装置によって得られる。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、第１の解析装置がモデル性能を維持するために第１のモデルを更新することに基づいてプライバシーが改善される。

可能な設計では、本願の実施形態の第３の態様の第１の実施において、第１の解析装置は、第１のモデルをＮ個のサイト解析装置に送信してもよく、Ｎは１より大きい整数である。第１の解析装置は、Ｌ個のサイト解析装置によって送信される複数の差分データを受信してもよく、Ｌは１より大きく且つＮ以下の整数である。第１の解析装置は、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得る。第１の解析装置は、第３のモデルをＮ個のサイト解析装置に送信する。

本願のこの実施形態では、第１の解析装置は、第１のモデルをＮ個のサイト解析装置に送信し得る。Ｎは１よりも大きい整数であるため、第１の解析装置は複数のサイト解析装置に接続され得る。これに基づいて、第１の解析装置は、Ｌ個のサイト解析装置によって送信される複数の差分データを受信してもよく、Ｌは１よりも大きく且つＮ以下の整数である。Ｌは１よりも大きいため、第１の解析装置は複数のサイト解析装置によって送信される複数の差分データを受信し、複数の差分データに基づいて第１のモデルを更新し得る。第１の解析装置は、複数のサイト解析装置によって送信される複数の差分データを受信し、複数の差分データに基づいて第１のモデルを更新し得るため、複数のサイト解析装置が存在する場合に、第１の解析装置はサイト解析装置の差分データのみを用い、その結果、差分データに基づいて第１の解析装置によって得られた第３のモデルが他のサイト解析装置と一致しない場合が回避される。具体的には、他のサイト解析装置上での第３のモデルの性能は、他のサイト解析装置上の第１のモデルの性能よりも劣る。

可能な設計では、本願の実施形態の第３の態様の第２の実施において、第１の解析装置は、複数の差分データの平均値を取得し得る。第１の解析装置は、複数の差分データの平均値を用いることにより第１のモデルを更新して第３のモデルを得る。

本願のこの実施形態では、第１の解析装置は複数の差分データの平均値を用いることにより第１のモデルを更新する。第１の解析装置が、複数の差分データを用いる方法は限定され、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第３の態様の第３の実施では、第１の解析装置は、複数の差分データの加重平均値を取得し得る。第１の解析装置は加重平均値を用いることにより第１のモデルを更新して第３のモデルを得る。

本願のこの実施形態では、第１の解析装置は加重平均値を用いることにより第１のモデルを更新する。第１の解析装置は、複数の差分データの加重平均値を取得する。したがって、第１の解析装置は、異なる差分データに基づいて異なる重み付け係数を設定することにより、解決策の柔軟性が改善される。

可能な設計では、本願の実施形態の第３の態様の第４の実施において、第１の解析装置は、差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集し得る。第１の解析装置は、Ｎに対するＬの比が閾値Ｋに達した場合に、差分データに基づいて第１のモデルを更新して第３のモデルを得る。Ｋは０より大きく、１以下であり、Ｎは第１の解析装置によって送信される第１のモデルを受信するサイト解析装置の数である。

本願のこの実施形態では、第１の解析装置は、差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集し得る。Ｎに対するＬの比が閾値Ｋに達した場合にのみ、第１の解析装置は差分データに基づいて第１のモデルを更新して第３のモデルを得る。特定の数のサイト解析装置が第１の解析装置に差分データを送信した場合にのみ、第１の解析装置は差分データに基づいて第１のモデルを更新して第３のモデルを得る。したがって、第１の解析装置は、閾値Ｋを設定することにより、第１の解析装置が第１のモデルを更新する頻度を柔軟に調整し得る。

可能な設計では、本願の実施形態の第３の態様の第５の実施において、差分データは勾配情報である。

本願のこの実施形態では、勾配情報はニューラルネットワークモデルの概念である。したがって、第１のモデル、第２のモデル及び第３のモデルの種類はニューラルネットワークモデルに属することに限定される。したがって、解決策の実施可能性が改善される。

可能な設計では、本願の実施形態の第３の態様の第６の実施において、第１の解析装置は、サイト解析装置によって送信される第２のモデルを受信しない。

本願のこの実施形態では、第１の解析装置は、サイト解析装置によって送信される第２のモデルを受信しない。第１の解析装置は第１のモデルも記憶するため、第１の解析装置は、第１のモデルと第２のモデルとの差分データを受信するだけでよい。第１の解析装置は、差分データに基づいて第１のモデルを更新して第３のモデルを取得し得る。差分データのデータボリュームは第２のモデルのデータボリュームよりも小さいため、ネットワーク伝送リソースを節約できる。

本願の実施形態の第４の態様は、
第１の解析装置によって送信される第１のモデルを受信するように構成された受信ユニットと、
第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得るように構成された訓練ユニットであって、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、訓練ユニットと、
第１のモデルと第２のモデルとの差分データを得るように構成された取得ユニットと、
差分データを第１の解析装置に送信して、第１の解析装置に、差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求するように構成された送信ユニットと、
を含むモデル更新装置を提供する。

可能な設計では、装置は、
第１のモデルが劣化しているかどうか判定するように構成された判定ユニットであって、該判定ユニットが第１のモデルは劣化していると判定した場合に、訓練ユニットは、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る、判定ユニット、をさらに含む。

可能な設計では、取得ユニットは、第１のモデルのパフォーマンス定量インジケータを得るようにさらに構成され、
判定ユニットは、第１のモデルのパフォーマンス定量インジケータが目標閾値未満かどうか判定するようさらに構成され、
第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、判定ユニットは、第１のモデルが劣化していると判定するように具体的に構成されている。

可能な設計では、取得ユニットは、ネットワーク装置の第２の特徴データを得るようにさらに構成され、
取得ユニットは、第２の特徴データに基づいて第１のモデルによって得られた第１の推論結果を得るようにさらに構成され、
取得ユニットは、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの精度を得て、精度を第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されているか又は取得ユニットは、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの再現率を得て、該再現率を第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されている。

可能な設計では、送信ユニットは、第１のデータ要求をネットワーク装置に送信して、ネットワーク装置に第２の訓練サンプルをサイト解析装置に送信するように要求するようにさらに構成され、第２の訓練サンプルは、第２の特徴データ及び第１の推論結果を含み、第１の推論結果は、第２の特徴データに基づいて第１のモデルによって得られる。

可能な設計では、送信ユニットは、更新されたモデルを前記ネットワーク装置に送信するようにさらに構成され、該更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。

可能な設計では、送信ユニットは、更新されたモデルをネットワーク装置に送信するようにさらに構成され、該更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように構成され、予測されるべき特徴結果はキーパフォーマンスインジケータＫＰＩ特徴データを含む
可能な設計では、受信ユニットは、ネットワーク装置の予測されるべき特徴データを受信するようにさらに構成され、
前記装置は、
更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成された推論ユニットであって、該更新されたモデルは第２のモデル又は第３のモデルを含む、推論ユニットをさらに含む。

可能な設計では、予測されるべき特徴データはＫＰＩ特徴データを含み、
推論ユニットは、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている。

可能な設計では、ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ又はＫＰＩデータである。

可能な設計では、前記装置は、
テストデータを用いることにより第２のモデルをテストするように構成されたテストユニットであって、該テストデータはグラウンドトゥルースラベルを含む、テストユニットと
劣化したデータを記憶して、サイト解析装置が該劣化したデータを用いることにより、サイト解析装置内のモデルを更新できるようにするように構成された記憶ユニットであって、該劣化したデータテストデータに属し、劣化したデータの推論ラベルはグラウンドトゥルースラベルと等しくなく、該推論ラベルはテストデータを用いることにより、第２のモデルをテストすることによりサイト解析装置によって得られる、記憶ユニットと、をさらに含む。

本願の実施形態の第５の態様は、
第１のモデルをサイト解析装置に送信するように構成された送信ユニットであって、該第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている、送信ユニットと、
第１のモデルと第２のモデルとの差分データを受信するように構成された受信ユニットであって、該第２のモデルは、第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置によって得られ、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、受信ユニットと、
差分データに基づいて第１のモデルを更新して第３のモデルを得るように構成された更新ユニットと、
を含む、モデル更新装置を提供する。

可能な設計では、送信ユニットは、第１のモデルをＮ個のサイト解析装置に送信するように具体的に構成され、Ｎは１より大きい整数であり
受信ユニットは、Ｌ個のサイト解析装置によって送信される複数の差分データを受信するように具体的に構成され、Ｌは１よりも大きく且つＮ以下の整数であり、
更新ユニットは、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得るように具体的に構成され、
送信ユニットは、第３のモデルをＮ個のサイト解析装置に送信するようにさらに構成されている。

可能な設計では、前記装置は、
複数の差分データの平均値を得るように構成された取得ユニットをさらに含み、
更新ユニットは、複数の差分データの平均値を用いることにより第１のモデルを更新して第３のモデルを得るように具体的に構成されている。

可能な設計では、前記装置は、
複数の差分データの加重平均値を得るように構成された取得ユニットをさらに含み、
更新ユニットは、加重平均値を用いることにより第１のモデルを更新して第３のモデルを得るように具体的に構成されている。

可能な設計では、前記装置は、
差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集するように構成された統計収集ユニットをさらに含み、
Ｎに対するＬの比が閾値Ｋに達した場合、更新ユニットは、差分データに基づいて第１のモデルを更新して第３のモデルを得るように具体的に構成され、Ｋは０より大きく１以下である。

本願の実施形態の第６の態様は、メモリ及びプロセッサを含むモデル更新装置を提供し、
メモリはプログラムを記憶するように構成され、
プロセッサは、第２の態様又は第２の態様の実施のいずれか１つに係る方法を行うこと又は第３の態様又は第３の態様の実施のいずれか１つに係る方法を行うことを含む、メモリ内の前記プログラムを実行するように構成されている。

本願の実施形態の第７の態様はコンピュータ記憶媒体を提供し、コンピュータ記憶媒体は命令を記憶し、該命令がコンピュータ上で実行された場合、該コンピュータは、第２の態様又は第２の態様の実施のいずれか１つに係る方法を行うことができるか又はコンピュータは、第３の態様又は第３の態様の実施のいずれか１つに係る方法を行うことができる。

本願の実施形態の第８の態様はコンピュータプログラム製品を提供し、コンピュータプログラム製品がコンピュータ上で実行され、命令がコンピュータ上で実行された場合、該コンピュータは、第２の態様又は第２の態様の実施のいずれか１つに係る方法を行うことができるか又は第３の態様又は第３の態様の実施のいずれか１つに係る方法を行うことができる。

図１は、本願の一実施形態に係る適用シナリオの概略図である。 図２は、本願の一実施形態に係る別の適用シナリオの概略図である。 図３は、本願の一実施形態に係るモデル更新方法の概略フローチャートである。 図４Ａ及び図４Ｂは、本願の一実施形態に係るモデル更新方法の別の概略フローチャートである。 図５は、本願の一実施形態に係るモデル更新システムの構造の概略図である。 図６は、本願の一実施形態に係るモデル更新システムの構造の別の概略図である。 図７は、本願の一実施形態に係るモデル更新装置の構造の概略図である。 図８は、本願の一実施形態に係るモデル更新装置の構造の別の概略図である。 図９は、本願の一実施形態に係るモデル更新装置の構造の別の概略図である。 図１０は、本願の一実施形態に係るモデル更新装置の構造の別の概略図である。 図１１は、本願の一実施形態に係るモデル更新装置の構造の概略図である。 図１２は、本願の一実施形態に係るモデル更新装置の構造の別の概略図である。

本願の実施形態は、第１モデルの更新に基づいてプライバシーを改善するために、ネットワーク制御の分野に適用されるモデル更新システム、モデル更新方法及び関連装置を提供する。

読者の理解を容易にするために、本願の実施形態は、提供されるモデル更新方法における機械学習アルゴリズムを簡単に説明する。

ＡＩ分野の重要な部門として、機械学習アルゴリズムは多くの分野で広く用いられている。学習方法の観点から、機械学習アルゴリズムは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、半教師あり学習アルゴリズム及び強化学習アルゴリズムのいくつかの種類に分類できる。教師あり学習アルゴリズムは、訓練データに基づいてアルゴリズムを学習すること又はモードを確立すること及びアルゴリズム又はモードに基づき新たなインスタンスを推論することを意味する。訓練サンプルとも呼ばれる訓練データは、入力データ及び予測される出力を含む。機械学習アルゴリズムのモデルは機械学習モデルとも呼ばれ、そのモデルのラベルと呼ばれる予測される出力は、予測される分類結果（分類ラベルと呼ばれる）であり得る。教師なし学習アルゴリズムと教師あり学習アルゴリズムとの違いは、教師なし学習アルゴリズムの訓練サンプルは所与のラベルを有さない点である。機械学習アルゴリズムのモデルは、訓練サンプルを解析することにより特定の結果を得る。半教師あり学習アルゴリズムでは、訓練サンプルのいくつかはラベルを有し、残りの訓練サンプルはラベルを有さない。しかしながら、ラベルを有さないデータは、ラベルを有するデータよりもはるかに多い。強化学習アルゴリズムは、期待される利益を最大化するために、環境におけるポリシーを常に実験し、環境によって与えられる報酬又は罰則を用いることにより、最大の利益を得ることが可能な選択を行う。

なお、各訓練サンプルは、一次元又は多次元の特徴データを含む。すなわち、１つ以上の特徴の特徴データを含む。例えば、キーパフォーマンスインジケータ（key performance indicator、ＫＰＩ）データに関する分類結果を予測するシナリオでは、特徴データは具体的にＫＰＩ特徴データであり得る。ＫＰＩ特徴データは、ＫＰＩデータに基づいて生成された特徴データを指し、ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ、すなわち、ＫＰＩ時系列の特徴を抽出することにより得られたデータであり得る。ＫＰＩ特徴データは直接的にＫＰＩデータであり得る。ＫＰＩは、具体的にはネットワークＫＰＩであってもよく、ネットワークＫＰＩは、中央処理装置（central processing unit、ＣＰＵ）利用率、光パワー、ネットワークトラフィック、パケット損失率、遅延及び／又はアクセスされるユーザの数等の様々なカテゴリーのＫＰＩを含み得る。ＫＰＩ特徴データがＫＰＩ時系列の特徴データの場合、ＫＰＩ特徴データは、前述のＫＰＩカテゴリーのいずれか１つのＫＰＩデータの時系列から抽出された特徴データであり得る。例えば、１つの訓練サンプルは、合計で２つの特徴、すなわち、対応するネットワークＫＰＩ時系列の最大値及び加重平均値を有するネットワークＫＰＩ特徴データを含む。ＫＰＩ特徴データがＫＰＩデータの場合、ＫＰＩ特徴データは、具体的には、前述のＫＰＩカテゴリーのうちのいずれか１つのＫＰＩデータであり得る。例えば、１つの訓練サンプルは、ＣＰＵ利用率、パケット損失率及び遅延の３つの特徴を有するネットワークＫＰＩ特徴データを含む。また、教師あり学習アルゴリズム又は半教師あり学習アルゴリズムが適用されるシナリオでは、訓練サンプルはラベルをさらに含み得る。例えば、ＫＰＩデータに関する分類結果を予測する前述のシナリオでは、分類結果がデータシーケンスが異常であるかどうかを示すために用いられると仮定した場合、１つの訓練サンプルは「異常」又は「正常」のラベルをさらに含む。

なお、前述の時系列は特殊なデータ系列であり、時系列は、時系列に従って配置されたデータ群のセットである。時系列は、通常、データ生成シーケンスであり、時系列内のデータはデータ点とも呼ばれる。通常、１つの時系列における２つのデータ点の時間間隔は定数値であるため、時系列を離散時間データとして使用して分析・処理することができます。

機械学習アルゴリズムの現在の訓練方法は、オフライン学習方法とオンライン学習方法に分類される。

オフライン学習（オフライン訓練とも呼ばれる）方法では、訓練サンプルセット内のサンプルを、モデル訓練を行うために機械学習モデルにバッチで入力する必要があり、訓練のために比較的大きなデータ量が必要になる。オフライン学習は、通常、大規模又は複雑なモデルを訓練するために用いられる。したがって、訓練プロセスは通常時間がかかり、大きなデータ量を処理する必要がある。

オンライン学習（オンライン訓練とも呼ばれる）方法では、訓練サンプルセットのサンプルを少ないバッチで又は１回ずつ用いることによりモデル訓練を行う必要があり、訓練のための少ないデータ量が必要である。オンライン学習は、通常、リアルタイムでの要求度が高いシナリオに適用される。インクリメンタル学習（インクリメンタル訓練とも呼ばれる）方法は特別なオンライン学習方法であり、これは、新たなモデルをリアルタイムで学習する能力を有するだけでなく、反忘却能力を有すること、すなわち、モデルが歴史的に学習されたモードを記憶するだけでなく、新たなモードを学習することも必要になる。

機械学習の実際的なタスクでは、機械学習モデルを構築するために代表的なサンプルを選択する必要がある。通常、ラベルを有するサンプルデータでは、カテゴリーと強い相関のあるサンプルがサンプルセットとして選択される。ラベルは、サンプルデータを識別するために、例えば、サンプルデータのカテゴリーを識別するために用いられる。本願の実施形態では、機械学習モデル訓練のために用いられる全てのデータは、サンプルデータである。以下では、一部の内容において訓練データを訓練サンプルと呼び、訓練サンプルデータを訓練サンプルセットと呼び、サンプルデータを省略してサンプルと呼ぶ。

機械学習モデルは、入力特徴データを推論して推論結果を得るように構成されている。機械学習モデルは、入力特徴データの分類を推論するように構成された分類予測モデルであってもよい。例えば、機械学習モデルは、特徴データが異常かどうかを検出するように構成された異常検出モデルであってもよい。機械学習モデルは、代替的に、入力特徴データに基づく推論を介して特定の値を得るように構成された数値予測モデルであってもよい。例えば、機械学習モデルは、現在のトラフィックの入力特徴データに基づいて将来のトラフィック量を予測するように構成されたトラフィック予測モデルであってもよい。通常、分類予測モデルは、代替的に、略して分類モデルと呼ばれることがあり、数値予測モデルは、略して予測モデルと呼ばれることがある。

添付の図面を参照しながら、本願の実施形態における技術的解決策を以下で説明する。

図１は、本願の一実施形態に係るモデル更新方法の適用シナリオの概略図である。図１に示すように、適用シナリオは複数の解析装置を含み、複数の解析装置は、第１の解析装置１０１及びサイト解析装置１０２を含む。各解析装置は、データマイニング及び／又はデータモデリング等の一連のデータ分析プロセスを行うように構成されている。図１における第１の解析装置１０１の数及びサイト解析装置１０２の数は一例として用いているに過ぎず、本願のこの実施形態に係るモデル更新方法の適用シナリオを限定することを意図したものではない。

第１の解析装置１０１は、具体的には、クラウド解析装置（以下、略してクラウド装置と呼ぶ）であり得る。クラウド解析装置は、コンピュータ、サーバ、複数のサーバを含むサーバクラスタ又はクラウドコンピューティングサービスセンターであってもよく、サービスネットワークのバックエンドに配置される。略してサイト装置と呼ばれるサイト解析装置１０２は、サーバ、複数のサーバを含むサーバクラスタ又はクラウドコンピューティングサービスセンターであり得る。適用シナリオでは、モデル更新方法に関連するモデル更新システムは複数のサイト装置を含む。すなわち、複数のサイトネットワークを含む。サイトネットワークは、コアネットワーク又はエッジネットワークであり得る。各サイトネットワークにおけるユーザは、キャリア又は企業顧客であり得る。異なるサイトネットワークは、対応する次元に基づいて分割される異なるネットワークであってもよく、例えば、異なる地域におけるネットワーク、異なるキャリアのネットワーク、異なるサービスネットワーク及び異なるネットワークドメインであり得る。複数のサイト解析装置１０２は、複数のサイトネットワークと１対１で対応し得る。各サイト解析装置１０２は、対応するサイトネットワークのためにデータ分析サービスを提供するように構成され、サイト解析装置１０２は、対応するサイトネットワーク内に位置し得るか又は対応するサイトネットワークの外に位置し得る。各サイト解析装置１０２は、有線ネットワーク又は無線ネットワークを用いることにより第１の解析装置１０１に接続される。本願のこの実施形態における通信ネットワークは、第２世代（2-nd Generation、２Ｇ）通信ネットワーク、第３世代（3rd generation、３Ｇ）通信ネットワーク、ロングタームエボリューション（Long Term Evolution、ＬＴＥ)通信ネットワーク、第５世代（5th Generation、５Ｇ）通信ネットワーク等である。

サイト解析装置１０２の主な機能は、第１の解析装置１０１から送信された第１のモデルを受信し、第１の訓練サンプルを用いることにより第１のモデルを訓練し（例えば、第１のモデルに対してインリメンタル訓練を行う）て第２のモデルを得ることであって、第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、ことと、第１のモデルと第２のモデルとの差分データを得て、差分データを第１の解析装置に送信することである。差分データは、具体的には、複数のパラメータの差分値を含むマトリクスであり得る。例えば、第１のモデルは４つのパラメータを含み、４つのパラメータの値を含むマトリクスは［ａ１、ｂ１、ｃ１、ｄ１］である。第２のモデルも４つのパラメータも含む。値を含むマトリクスが［ａ２、ｂ２、ｃ２、ｄ２］の場合、４つのパラメータの差分値を含むマトリクスは［ａ２－ａ１、ｂ２－ｂ１、ｃ２－ｃ１、ｄ２－ｄ１］である。

第１の解析装置１０１の主な機能は、収集された訓練データに基づく訓練を介して第１のモデルを得ることであって、第１のモデルは機械学習モデル（このプロセスでは前述のオフライン学習方法が用いられる）であり、次いで、第１のモデルを各サイト解析装置１０２に配備する。サイト解析装置１０２は、インクリメンタル訓練（前述のオンライン学習方法がこのプロセスで用いられる）を行う。第１の解析装置１０１は、サイト解析装置１０２によって送信される差分データを収集し、サイト解析装置１０２のためにモデル更新サービスを提供する。第１の解析装置１０１は、差分データに基づいて第１のモデルを更新して第３のモデルを得て、第３のモデルをサイト解析装置１０２に送信する。異なる訓練サンプルに基づいて、異なる機械学習モデルが訓練を通して得られてもよく、異なる機械学習モデルは異なる機能を実施し得る。例えば、異常検出、予測、ネットワークセキュリティ保護及びアプリケーション識別又はユーザ体験評価（すなわち、ユーザ体験に関する評価）等の機能が実施され得る。

また、図２は、本願の一実施形態に係るモデル更新方法の別の適用シナリオの概略図である。図１に基づいて、適用シナリオはネットワーク装置１０３をさらに含む。各サイト解析装置１０２は、ネットワーク（サイトネットワークとも呼ばれる）内のネットワーク装置１０３を管理し得る。ネットワーク装置１０３は、ルータ、スイッチ、基地局等であり得る。ネットワーク装置１０３は、有線ネットワーク又は無線ネットワークを用いることによりサイト解析装置１０２に接続されている。ネットワーク装置１０３は、収集された特徴データ、例えば、時系列の様々なカテゴリーのＫＰＩをサイト解析装置１０２にアップロードするように構成され、サイト解析装置１０２は、ネットワーク装置１０３から特徴データを抽出し用いるように構成され、例えば、取得された時系列のラベルを特定し得る。任意で、ネットワーク装置１０３によって解析装置１０２にアップロードされるデータは、様々な種類のログデータ、装置状態データ等をさらに含み得る。

また、本願のこの実施形態に係るモデル更新方法は、異常検出シナリオで用いられ得る。異常検出は、期待に応えないモードを検出することである。異常検出のデータソースは、アプリケーション、プロセス、オペレーティングシステム、装置又はネットワークを含む。例えば、異常検出のオブジェクトは前述のＫＰＩデータ系列であり得る。本願のこの実施形態に係るモデル更新方法が異常検出シナリオに適用される場合、サイト解析装置１０２はネットワークアナライザであり、サイト解析装置１０２によって維持される機械学習モデルは異常検出モデルであり、決定されたラベルは異常検出ラベルである。異常検出ラベルには、「正常」及び「異常」の２つの分類ラベルを含む。

異常検出シナリオにおいて、前述の機械学習モデルは、統計データ分布アルゴリズム（例えば、Ｎシグマアルゴリズム）、距離／密度アルゴリズム(例えば、局所異常因子アルゴリズム)に基づくモデル、ツリーモデル(例えば、孤立森（Isolation forest、Iforest）)、予測指向アルゴリズム（例えば、自己回帰和分移動平均モデル（Autoregressive Integrated Moving Average model、ＡＲＩＭＡ））に基づくモデルであり得る。

なお、実際の適用の間の機械学習モデルの性能は、機械学習モデルを訓練するために用いられる訓練データに大きく依存する。訓練データの収集シナリオとモデルの適用シナリオとの類似性が高いほど、機械学習モデルの性能がより良好であることを通常示す。しかしながら、ネットワークシナリオでは、サービス及びネットワークは絶えず変化し、異なるシナリオが生成される。したがって、異なるシナリオのために異なる訓練データを用いることにより機械学習モデルを訓練することは実用的ではない。したがって、１つの訓練データを用いることにより機械学習モデルが訓練され、機械学習モデルが異なるシナリオで用いられる場合が起こる。したがって、実際の適用の間に、機械学習モデルは、必然的に、モデル性能の劣化の問題、すなわち、モデルのシナリオの一般化の問題がもたらされる。とりわけ、訓練データの収集シナリオが機械学習モデルの適用シナリオと非常に類似し、モデルが良好に動作する場合でも、機械学習モデルの適用シナリオは変化し得る。その結果、訓練データの収集シナリオは、機械学習モデルの適用シナリオとは依然として異なる、すなわち、モデル性能の劣化の問題が生じる。したがって、モデル性能を維持をどのように維持するかはネットワークにおける重要な課題である。

関連技術において、クラウド装置はオフラインモデル訓練を行い、その後、オフライン訓練の後に得られたモデルをサイト装置又はネットワーク装置に直接配備する。しかしながら、訓練を介して得られたモデルは、サイト装置又はネットワーク装置の要件、例えば、予測性能（例えば、精度又は再現率）要件に効果的に適合しないことがある。一方では、クラウド装置によって用いられる歴史的な訓練サンプルセットの訓練サンプルは、通常、予め設定された固定の訓練サンプルであり、サイト装置又はネットワーク装置の要件を満たさない場合がある。他方で、訓練を介して得られた機械学習モデルがサイト装置又はネットワーク装置に機械学習モデルが新たに配備された際にサイト装置又はネットワーク装置の要件を満足したとしても、サイト装置又はネットワーク装置によって得られる特徴データのカテゴリー又はモードは変化するため、訓練を介して得られた機械学習モデルはサイト装置の要件をもう満たさない。

本願の一実施形態はモデル更新方法を提供する。後続の実施形態では、第１の解析装置１０１はクラウド装置であり、サイト解析装置１０２はサイト装置であり、第１のモデル、第２のモデル及び第３のモデルの全ては機械学習モデルに属するものと仮定する。サイト装置は、クラウド装置によって送信される第１のモデルを受信する。サイト装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。サイト装置は、第１のモデルと第２のモデルとの差分データを取得し、差分データをクラウド装置に送信して、クラウド装置に差分データに基づいて第１モデルを更新するよう要求し得る。差分データは、第１のモデル及び第２のモデルに基づいてサイト装置によって得られ、第２のモデルは、第１の訓練サンプルを用いることにより第１モデルを訓練することによりサイト装置によって得られる。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、第１の解析装置がモデル性能を維持するために第１のモデルを更新することに基づいて、プライバシーが改善される。

また、クラウド装置は、Ｌ個のサイト装置から送信される複数の差分データを受信してもよく、クラウド装置は、複数の差分データに基づいて第１のモデルを更新して第３のモデルを取得し得る。第１の訓練サンプルを用いることにより第１のモデルにインクリメンタル訓練を行うことによってサイト装置により得られる第２のモデルと比較して、第３のモデルはより良い性能を有することができるため、モデルの一般化を改善できる。

本願の一実施形態はモデル更新方法を提供する。本方法は図１及び図２に示す任意の適用シナリオに適用され得る。第１のモデルは、分類結果を予測するために用いられ得る。例えば、第１のモデルはバイナリ分類モデルであり得る。

識別を容易にするために、本願の後続の実施形態では、マニュアル又はラベルのマイグレーション方法で決定される分類結果はプリセットラベルと呼ばれ、第１のモデルによる予測によって得られる結果を第１の推論結果と呼ぶ。２つの結果は実質的に同じであり、両方とも対応するサンプルのカテゴリーを特定するために用いられる。モデル更新方法の適用シナリオは、通常、複数のサイト装置を含む。

上記では本願の実施形態におけるネットワークフレームワークを説明したが、以下では、本願の実施形態におけるモデル更新方法を説明する。

本願の実施形態の技術的解決策では、第１のモデルはサイト装置上に設定され得るか又はネットワーク装置上で設定され得る。以下では、２つの設定シナリオを別々に説明する。

１．第１のモデルがサイト装置上で設定され得る。

図３を参照して、本願の実施形態におけるモデル更新方法の実施形態は以下のステップを含む。

３０１：クラウド装置は訓練データに基づいて第１のモデルを得る。

クラウド装置は訓練データを得て、その後に、訓練データに基づいて第１のモデルを取る。訓練データは、ネットワーク装置又は一部のネットワーク装置からクラウド装置によって収集された歴史的な特徴データであり得るか又は訓練データは、モデルの適用シナリオに基づいてモデル訓練装置によって別個に設定されたデータであり得る。これは、本明細書では具体的に限定されない。

３０２：クラウド装置は第１のモデルをサイト装置に送信する。

クラウド装置が履歴データに基づいて第１のモデルを得た後に、クラウド装置は第１のモデルをサイト装置に送信する。

３０３：サイト装置は、第１のモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに関する分類結果を予測する。

上述のように、異なる機械学習モデルは異なる機能を実施し得る。第１のモデルが分類機能を実施する場合、クラウド装置によって送信される第１のモデルを受信した後に、サイト装置は第１のモデルを用いることにより分類結果を予測し得る。

例えば、ネットワーク装置のオンラインデータに対して分類結果の予測を行う必要がある場合、分類結果の予測を行う必要があるデータは、その特徴カテゴリーがＣＰＵであるＫＰＩ及び／又はその特徴カテゴリーがメモリ（memory）であるＫＰＩを含み得る。

ネットワーク装置のオンラインデータに対して異常検出を行う必要があると仮定する。すなわち、予測を介して得られた分類結果はデータが異常かどうかを示す。この場合、サイト装置は定期的に異常検出プロセスを行い、サイト装置は、ネットワーク装置の予測されるべき特徴データを取得し、第１のモデルを用いることにより、予測されるべき特徴データに対してオンライン検出を行い得る。第１のモデルの異常検出結果を表１、表２に示す。表１及び表２は異なる収集時点（データ生成時点とも呼ばれる）で得られた検出されるべきデータの異常検出結果を記録する。異なる収集時点はＴ１～ＴＮ（Ｎは１より大きい整数）を含み、異常検出結果は、対応する検出されるべきデータが異常かどうかを示す。表１の検出されるべきデータ及び表２の検出されるべきデータの両方は一次元特徴データを含む。表１は、その特徴カテゴリーがＣＰＵであるＫＰＩの検出されるべきデータの異常検出結果を記録する。表２は、その特徴カテゴリーがメモリであるＫＰＩの検出されるべきデータの異常検出結果を記録する。０は正常を示し、１は異常を示すと仮定する。Ｔ１からＴＮまでの２つの収集時点の間隔の期間は予め設定された時間周期である。収集時点Ｔ１を一例として用いる。この時点で、その特徴カテゴリーがＣＰＵである表１におけるＫＰＩは０であり、その特徴カテゴリーがメモリである表２におけるＫＰＩは１である。これは、その特徴カテゴリーがＣＰＵである収集時点Ｔ１で収集されるＫＰＩが正常であり、その特徴カテゴリーがメモリである収集時点Ｔ１で収集されるＫＰＩは異常である。

第１のモデルを受信した後で、サイト装置が第１のモデルのパフォーマンス定量インジケータを直接取得し得るため、任意で、ステップ３０３は行われないことがある。第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、サイト装置は第１の訓練サンプルを用いることにより第１のモデルを訓練する。すなわち、第１のモデルが使用される前に、サイト装置は先ず第１のモデルの性能が条件を満たすかどうか判定する。第１のモデルの性能が条件を満たさない場合、第１のモデルが先ず更新される。

３０４：ネットワーク装置は第１の特徴データをサイト装置に送信する。

第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論を行い得るが、第１モデルはサイト装置上に設定されている。したがって、ネットワーク装置は第１の特徴データをサイト装置に送信する必要がある。

ネットワーク装置の機能データは、ネットワーク装置によって生成されるデータである。例えば、ネットワーク装置がカメラの場合、カメラの特徴データは、カメラによって収集され且つ生成された画像データであり得る。例えば、ネットワーク装置が音声レコーダの場合、音声レコーダの特徴データは、音声レコーダによって収集され且つ生成された音声データであり得る。例えば、ネットワーク装置がスイッチの場合、スイッチの特徴データはＫＰＩデータであってもよく、ＫＰＩデータは、スイッチがトラフィックを転送するときに生成される統計情報であってもよく、例えば、出力パケットのバイト数、出力パケットの数、キュー深度、スループット情報及び損失パケット数であり得る。

３０５：ネットワーク装置はサイト装置に第２の特徴データを送信する。

第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論を行い得るが、第１のモデルはサイト装置上で設定されている。したがって、ネットワーク装置は第２の特徴データをサイト装置に送信する必要がある。

３０６：サイト装置は、第２の特徴データに基づいて第１のモデルのパフォーマンス定量インジケータを得る。

サイト装置が第２の特徴データを得た後に、サイト装置は、第２の特徴データに基づいて第１のモデルのパフォーマンス定量インジケータを取得し得る。

第１のモデルはサイト装置上で設定され、サイト装置は、第２の特徴データを第１のモデルの入力として用いて第１のモデルにより出力される第１の推論結果出力を取得し得る。サイト装置は、第２の特徴データのプリセットラベルをさらに取得し得る。プリセットラベルは、別のモデルを用いることにより、第２の特徴データに基づいてサイト装置による推論を介して取得され得る。通常、他のモデルの複雑度は第１のモデルのものよりも高く、他のモデルの精度は第１のモデルのものよりも高い。他のモデルは、例えば、精度を除いて、例えば長い推論時間といった欠点を有し、その結果、オンラインのリアルタイム推論に適応できない。したがって、第１のモデルはサイト装置上で設定される。サイト装置は第１の推論結果及びプリセットラベルに基づいて第１のモデルの精度を取得し、サイト装置は第１のモデルのパフォーマンス定量インジケータとしてその精度を用いる。例えば、第２の特徴データは１００個の画像サンプルを含む。第１の推論結果は、７０個の画像サンプルがそれぞれ人物を含み、３０個の画像サンプルは人物を含まないというものである。プリセットラベルは、８０個の画像サンプルはそれぞれが人物を含み、２０個の画像サンプルは人物を含まないというものである。加えて、第１の推論結果においてそれぞれが人物を含む７０個の画像サンプルは、プリセットラベルにおけるそれぞれが人物を含む８０個の画像サンプルに属する。したがって、サイト装置は、第１のモデルの精度は、（７０＋３０－１０）÷１００×１００％＝９０％であると判定する。

任意で、サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いず、第１のモデルのパフォーマンス定量インジケータとして再現率を用いり得る。サイト装置は、第１の推論結果及びプリセットラベルに基づいて、第１のモデルの再現率を得る。サイト装置は、再現率を第１のモデルのパフォーマンス定量インジケータとして用いる。前述の例を依然として用いる。第２の特徴データは１００個の画像サンプルを含む。第１の推論の結果は、７０個の画像サンプルがそれぞれ人物を含み、３０個の画像サンプルは人物を含まないというものである。プリセットラベルは、８０個の画像サンプルはそれぞれが人物を含み、２０個の画像サンプルは人物を含まないというものである。加えて、第１の推論結果においてそれぞれ人物を含む７０個の画像サンプルは、プリセットラベルにおけるそれぞれが人物を含む８０個の画像サンプルに属する。したがって、サイト装置は、第１のモデルの再現率は、７０÷８０×１００％＝８７．５％であると判定する。

サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いり得るか又はサイト装置は、第１のモデルのパフォーマンス定量インジケータとして再現率を用いり得ることが理解されよう。実際の適用の間に、サイト装置は、代替的に、第１のモデルのパフォーマンス定量インジケータとして別の特徴を用いり得る。これは、本明細書では具体的に限定されない。

任意で、サイト装置は、手動ラベリングによりプリセットラベルをさらに取得し得る。

サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いり得るか又はサイト装置は、第１のモデルのパフォーマンス定量インジケータとして再現率を用いり得ることが理解されよう。実際の適用の間に、サイト装置は、代替的に、第１のモデルのパフォーマンス定量インジケータとして精度及び再現率のうちの１つを選択し得るか又はサイト装置は第１のモデルのパフォーマンス定量インジケータとして精度及び再現率の両方を選択し得る。これは、本明細書では具体的に限定されない。

任意で、サイト装置は第２の特徴データを取得しなくてもよく、サイト装置は、第１のモデルのパフォーマンス定量インジケータを得るために他のデータを取得し得る。つまり、サイト装置は、ネットワーク装置上の特徴データを得ることなく、他の装置上のデータを取得し得るか又はサイト装置の記憶空間内のデータを取得し、該データを用いることにより第１のモデルのパフォーマンス定量インジケータを取得し得る。

任意で、サイト装置は、他のモデルを用いることによりプリセットラベルを取得しなくてもよい。例えば、第２の特徴データは先月のネットワーク装置の特徴データであり、第１の推論結果は今月に第１のモデルにより得られた推論結果であり、サイト装置は先月の第２の特徴データに基づいて第１のモデルによって得られたプリセットラベルを取得し得る。

３０７：第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し、第１のモデルと第２のモデルとの差分データを得る。

第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、サイト装置は第１の訓練サンプルを用いることにより第１のモデルに対してインクリメンタル訓練を行って第の２モデルを取得し、第１のモデルと第２のモデルとの差分データを取得する。

任意で、サイト装置が第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得た後に、サイト装置は、テストデータを用いることにより第２のモデルの性能をテストしてもよく、テストデータはグラウンドトゥルースラベルを含む。

任意で、サイト装置がテストデータを用いることにより第２のモデルの性能をテストする場合、サイト装置は劣化したデータを記憶してもよく、劣化したテストデータはテストデータの一部または全部に属する。サイト装置がテストデータを用いることにより第２のモデルの性能をテストする場合、サイト装置は第２のモデルを用いることによりテストデータの推論ラベルを取得し得る。劣化したデータは、その推論ラベルがグラウンドトゥルースラベルと等しくないテストデータを指す。例えば、第１の訓練サンプルは５００個のサンプルデータを含み、４００個のサンプルのグラウンドトゥルースラベルはそれぞれ１であり、１００個のサンプルのグラウンドトゥルースラベルはそれぞれ０である。訓練プロセスでは、第２のモデルは、４０５個のサンプルの推論ラベルはそれぞれ１であり、９５個のサンプルの推論ラベルはそれぞれ０であると推論する。第２のモデルによって推論される推論ラベルがそれぞれ１である４０５個のサンプルにおいて、１０個のサンプルのグラウンドトゥルースラベルはそれぞれ０である。第２のモデルによって推論された推論ラベルがそれぞれ０である９５個のサンプルにおいて、５つのサンプルのグラウンドトゥルースラベルはそれぞれ１である。サイト装置は、グラウンドトゥルースラベルがそれぞれ０であるが、第２のモデルによる推論を介して得られた推論ラベルがそれぞれ１である１０個の劣化したデータと、グラウンドトゥルースラベルがそれぞれ１であるが、第２のモデルによる推論を介して得られた推論ラベルがそれぞれ０である５個の劣化したデータを取得する。サイト装置は劣化したデータを記憶する。将来、サイト装置が訓練サンプルを用いることによりモデルを訓練する場合、サイト装置は劣化したデータを訓練サンプルに加える。

サイト装置によって記憶される劣化したデータの数は、全ての劣化データのうちの一部の数であり得るか又は全ての劣化したデータの全ての数であり得ることが理解されよう。例えば、劣化したデータが合計で１５個あり、サイト装置は劣化したデータを１０個記憶し得るか又は劣化したデータを１５個記憶し得る。これは、本明細書では具体的に限定されない。

任意で、第１の訓練サンプルは、時系列に基づいて決定されたデータを含み得る。例えば、第１の訓練サンプルは、ＫＰＩ時系列に基づいて決定されたデータを含み得る。通常、第１の訓練サンプル内の各訓練サンプルは１つの時系列に対応し、訓練サンプルは、対応する時系列から抽出された１つ以上の特徴の特徴データを含み得る。各訓練サンプルに対応する特徴の数は、訓練サンプルの特徴データの数と同じである（すなわち、特徴は特徴データと１対１の対応関係にある）。訓練サンプル内の特徴は対応する時系列の特徴を参照し、データ特徴及び／又は抽出特徴を含み得る。

データ機能は、時系列内のデータの機能である。例えば、データ特徴は、データ配列の周期性、データ変化傾向又はデータ変動を含み、それに対応して、データ特徴の特徴データは、データ配列の周期性のデータ、データ変化傾向のデータ又はデータ変動のデータを含む。データ配列の周期性とは、時系列内のデータが周期的に配列されている場合に、時系列内のデータ配列に関連する周期性をいう。例えば、データ配列の周期性のデータは、周期性の期間（すなわち、２つの周期性が開始される時間間隔）及び／又は周期性の数を含む。データ変化傾向のデータは、時系列内のデータ配列の変化傾向（すなわち、データ変化傾向）を反映するために用いられる。例えば、データ変化傾向のデータは、継続的な成長、継続的な減少、最初の増加及びその後の減少、最初の減少及びその後の増加又は正規分布を満たすことを含む。データ変動のデータは、時系列におけるデータの変動状態（データ変動）を反映するために用いられる。例えば、データ変動のデータは、時系列の変動曲線又は時系列の特定の値、例えば、最大値、最小値又は平均値を表す関数を含む。

抽出機能は、時系列におけるデータを抽出するプロセスにおける機能である。例えば、抽出機能は、統計的特徴、フィッティング特徴又は周波数領域特徴を含み、これに対応して、抽出機能の特徴データは、統計的特徴データ、フィッティング特徴データ又は周波数領域特徴データを含む。統計的特徴は時系列の統計的特徴をいい、統計的特徴は定量的特徴及び属性特徴に分類され、定量的特徴は計量的特徴及び計数的特徴にさらに分類され、定量的特徴は数値を用いることにより直接表現され得る。例えば、ＣＰＵ、メモリ及びＩＯリソース等の複数のリソースの消費は計量的特徴であり、異常の数及び正常に動作する装置の数は計数的特徴である。属性特徴、例えば、装置が異常であるか又は故障しているかは、数値を用いることにより直接表現することができない。統計的特徴内の特徴は、統計情報の収集の間に確認する必要がある指標です。例えば、統計的特徴データは移動平均値（Moving_average）及び加重平均値（Weigheted_mv）を含む。フィッティング特徴は、時系列のフィッティングの間に得られる特徴であり、フィッティング特徴データは、フィッティングのために用いられる時系列の特徴を反映するために用いられる。例えば、フィッティング特徴データは、フィッティングの間に用いられるアルゴリズム、例えばＡＲＩＭＡを含む。周波数領域特徴は周波数領域における時系列の特徴であり、周波数領域特徴は周波数領域における時系列の特徴を反映するために用いられる。例えば、周波数領域特徴データは、周波数領域内で分布すする時系列によって従われる規則、例えば、時系列における高周波成分の割合に関するデータを含む。任意で、周波数領域特徴データは、時系列に対してウェーブレット分解を行うことにより取得され得る。

訓練サンプル内の特徴データが第１の時系列から取得されたと仮定すると、データ取得プロセスは、抽出する必要があるターゲット特徴を決定し、決定されたターゲット特徴の特徴データを第１の時系列から抽出して、得られたターゲット特徴のデータを含む訓練サンプルを得ることを含み得る。例えば、抽出する必要があるターゲット特徴は、モデル訓練方法の適用シナリオに基づいて決定される。任意の例では、ターゲット機能は予め設定された特徴、例えば、ユーザによって設定された特徴である。別の任意の例では、ターゲット特徴は、特定の特徴のうちの１つ以上である。例えば、特定の特徴は統計特徴である。

なお、ユーザは特定の特徴を予め設定し得るが、第１の時系列は全ての特定の特徴を有さないことがあり、クラウド装置は、第１の時系列において、特定の特徴に属する特徴をターゲット特徴として選別し得る。例えば、ターゲット特徴は、時系列分解_周期性コンポーネント（例えば、時系列分解＿季節性（Tsd＿seasonal））、移動平均値、加重平均値、時系列分類、最大値、最小値、分位点、分散、標準偏差、周期性対周期性比較（例えば、対前年比（ｙｏｙ）、同じ周期性との比較をいう）、日内変動率、バケットエントロピー、サンプルエントロピー、移動平均、指数移動平均、ガウス分布特性、Ｔ分布特性等のうちの１つ以上を含む統計的特徴を含み、それに対応して、ターゲット特徴データは１つ以上の統計的特徴のデータを含み、
及び／又はターゲット特徴は、自己回帰フィッティング誤差、ガウスプロセス回帰フィッティング誤差又はニューラルネットワークフィッティング誤差のうちの１つ以上を含むフィッティング特徴を含み、それに対応して、ターゲット特徴データは１つ以上のフィッティング特徴のデータを含み、
及び／又はターゲット特徴は、周波数領域特徴、すなわち、時系列における高周波成分の割合を含み、それに対応して、ターゲット特徴データは、時系列における高周波成分の割合に関するデータを含み、該データは、時系列に対してウェーブレット分解を行うことにより得られ得る。

表３は、訓練サンプルセット内の１つのサンプルの概略説明である。表３において、訓練サンプルセット内の各訓練・サンプルは、１つ以上の特徴を有するＫＰＩ時系列の特徴データを含み、訓練サンプルは１つのＫＰＩ時系列に対応する。表３において、識別（identification、ＩＤ）がＫＰＩ＿１である訓練サンプルは４つの特徴の特徴データを含み、４つの特徴の特徴データは、それぞれ、移動平均値（Moving_average）、加重平均値（Weighted_mv）、時系列分解_周期性コンポーネント及び周期性ｙｏｙである。訓練サンプルに対応するＫＰＩ時系列は（ｘ１、ｘ２、・・・ｘｎ）（時系列は、通常、ＫＰＩカテゴリーのデータをサンプリングすることにより得られる)であり、対応するラベルは「異常」である。

第２の任意の方法では、クラウド装置によって得られた訓練サンプルは特定の特徴を有するデータを含んでもよく、訓練サンプルは得られたデータである。例えば、訓練サンプルにはＫＰＩデータを含む。上述したように、ＫＰＩがネットワークＫＰＩであると仮定すると、各サンプルは、１つ以上のネットワークＫＰＩカテゴリーのネットワークＫＰＩデータを含んでもよく、すなわち、サンプルに対応する特徴はＫＰＩカテゴリーである。

表４は、訓練サンプルセット内の１つのサンプルの概略説明である。表４では、訓練サンプルセット内の各訓練サンプルは、１つ以上の特徴のネットワークＫＰＩデータを含む。表４では、各訓練サンプルは、同じ収集時点で得られた複数のネットワークＫＰＩデータに対応する。表４では、識別（ＩＤ）がＫＰＩ＿２である訓練サンプルは４つの特徴の特徴データを含む。４つの特徴の特徴データは、それぞれネットワークトラフィック、ＣＰＵ利用率、パケット損失率及び遅延であり、対応するラベルは「正常」である。

表３及び表４の各特徴に対応する特徴データは、通常、数値データである。すなわち、各特徴は特徴値を有する。説明を容易にするために、表３及び表４には特徴値を示していない。訓練サンプルセットは、特徴データを固定のフォーマットで記憶すると仮定し、特徴データに対応する特徴は予め設定された特徴であり得る。この場合、訓練サンプルセットの特徴データは、表３又は表４のフォーマットで記憶され得る。本願のこの実施形態における実際の実施の間、訓練サンプルセット内のサンプルは、代替的に、別の形態を有し得る。これは、本願のこの実施形態では限定されない。

なお、オフライン訓練を行う前に、第１の解析装置は、訓練サンプルセット内の収集されたサンプルを前処理し、次いで、前処理された訓練サンプルセットに基づいてオフライン訓練を行い得る。前処理プロセスは、収集されたサンプルを、予め設定された条件を満たすサンプルに処理するために用いられる。前処理プロセスは、サンプル重複排除、データ洗浄及びデータ補完のうちの１つ以上を含み得る。

任意で、サイト装置が第１のモデルのパフォーマンス定量インジケータとして異なる特徴を用いる場合、目標閾値は異なり得る。例えば、サイト装置が第１のモデルのパフォーマンス定量インジケータとして精度を用いる場合、目標閾値は第１の目標閾値であり、サイト装置が第１のモデルのパフォーマンス定量インジケータとして再現率を用いる場合、目標閾値は第２の目標閾値であり、第１の目標閾値は第２の目標閾値とは異なる場合がある。

任意で、サイト装置が第１のモデルのパフォーマンス定量インジケータとして複数の異なる特徴を同時に用いる場合、サイト装置は、第１のモデルのパフォーマンス定量インジケータが目標閾値を満たすかどうかを決定するために、少数派が多数派に従う原則を選択し得る。例えば、サイト装置が第１のモデルの第１のパフォーマンス定量インジケータとして精度を用いる場合、目標閾値は第１の目標閾値であり、第１のパフォーマンス定量インジケータは第１の目標閾値未満である。サイト装置が第１のモデルの第２のパフォーマンス定量インジケータとして再現率を用いる場合、目標閾値は第２の目標閾値であり、第２のパフォーマンス定量インジケータは第２の目標閾値よりも大きい。サイト装置が第１のモデルの第３のパフォーマンス定量インジケータとして精度を用いる場合、目標閾値は第３の目標閾値であり、第３のパフォーマンス定量インジケータは第３の目標閾値よりも大きい。第１のモデルは３つのパフォーマンス定量インジケータを有し、第１のパフォーマンス定量インジケータは第１の目標閾値未満であり、第２のパフォーマンス定量インジケータは第２の目標閾値よりも大きく、第３のパフォーマンス定量インジケータは第３の目標閾値よりも大きい。したがって、第１のモデルは、目標閾値よりも大きい２つのパフォーマンス定量インジケータを有し、目標閾値未満の１つのパフォーマンス定量インジケータを有する。多数派が少数派に従うという原則に基づいて、サイト装置は、第１のモデルのパフォーマンス定量インジケータは目標閾値よりも大きいと判定できる。

任意で、サイト装置が第１のモデルのパフォーマンス定量インジケータとして複数の異なる特徴を用いる場合、サイト装置は、異なるパフォーマンス定量インジケータの結果を決定する加重処理を行い得る。例えば、サイト装置が第１のモデルの第１のパフォーマンス定量インジケータとして精度を用いる場合、目標閾値は第１の目標閾値であり、第１のパフォーマンス定量インジケータは第１の目標閾値未満である。サイト装置が第１のモデルの第２のパフォーマンス定量インジケータとして再現率をさらに用いる場合、目標閾値は第２の目標閾値であり、第２のパフォーマンス定量インジケータは第２の目標閾値よりも大きい。サイト装置が第１のモデルの第３のパフォーマンス定量インジケータとして精度をさらに用いる場合、目標閾値は第３の目標閾値であり、第３のパフォーマンス定量インジケータは第３の目標閾値よりも大きい。サイト装置は、係数３を用いることにより、第１のパフォーマンス定量インジケータは第１の目標閾値未満であるという判定結果に対して加重処理を行い、サイト装置は、係数２を用いることにより、第２のパフォーマンス定量インジケータは第２の目標閾値より大きいという判定結果に対して加重処理を行い、サイト装置は、係数２を用いることにより、第３のパフォーマンス定量インジケータは第３の目標閾値よりも大きいという判定結果に対して加重処理を行う。サイト装置の最終的な判定結果は、－３＋２＋２＝１であり、最終的な数値は正である。サイト装置は、第１のモデルのパフォーマンス定量インジケータは目標閾値より大きいと判定する。

任意で、サイト装置が第１のモデルのパフォーマンス定量インジケータを取得しない場合、サイト装置は第１のモデルが受信された時刻から現在の時刻までの時刻を取得し得る。クラウド装置が第１のモデルを受信した時間から現在の時間までの時間が閾値より大きい場合、サイト装置は第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る。

訓練サンプルは複数の形態を有し得る。これに対応して、サイト装置は、複数の方法で訓練サンプルを取得し得る。本実施形態では、以下の２つの任意の方法を説明のために一例として用いる。

第１の任意の方法では、サイト装置によって得られた第１の訓練サンプルセット内の訓練サンプルは、時系列に基づいて決定されたデータを含み得る。例えば、訓練サンプルは、ＫＰＩ時系列に基づいて決定されたデータを含み得る。履歴訓練サンプルセットの構造を参照する。通常、第１の訓練サンプルセット内の各訓練サンプルは１つの時系列に対応し、訓練サンプルは、対応する時系列から抽出された１つ以上の特徴の特徴データを含み得る。各訓練サンプルに対応する特徴の数は、訓練サンプルの特徴データの数と同じである（すなわち、特徴は特徴データと１対１の対応関係にある）。訓練サンプル内の特徴は、対応する時系列の特徴を参照し、データ特徴及び／又は抽出特徴を含み得る。

任意の例では、サイト装置は、対応するサイトネットワーク内のサイト装置に接続されたネットワーク装置（すなわち、サイト装置によって管理されるネットワーク装置）によって送信される時系列を受信し得る。別の任意の例では、サイト装置は、入出力（Ｉ／Ｏ）インターフェイスを有し、Ｉ／Ｏインターフェイスを介して対応するサイトネットワークで時系列を受信する。さらに別の任意の例では、サイト装置は、サイト装置に対応する記憶装置から時系列を読み出し得る。記憶装置は、対応するサイトネットワークにおいて、サイト装置が予め取得した時系列を記憶するように構成されている。

第２の任意の方法では、サイト装置によって得られた訓練サンプルは、特定の特徴を有するデータを含んでもよく、訓練サンプルは得られたデータである。例えば、訓練サンプルはＫＰＩデータを含む。上述のように、ＫＰＩはネットワークＫＰＩであると仮定し、各サンプルは１つ以上のネットワークＫＰＩカテゴリーのネットワークＫＰＩデータを含み得る。すなわち、サンプルに対応する特徴はＫＰＩカテゴリーである。

３０８：サイト装置は、第２のモデルを用いることによりネットワーク装置の予測されるべき特徴データについて分類結果を予測する。

ステップ３０８はステップ３０３と同様である。詳細については、ここでは再度説明しない。

３０９：サイト装置は差分データをクラウド装置に送信する。

サイト装置は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得て、第１のモデルと第２のモデルの差分データを得た後に、サイト装置は差分データをクラウド装置に送信し得る。

３１０：クラウド装置は、差分データに基づいて第１のモデルを更新して第３のモデルを得る。

クラウド装置がサイト装置によって送信された差分データを受信した後に、クラウド装置は差分データに基づいて第１のモデルを更新して第３のモデルを得る。

任意で、クラウド装置に接続された複数のサイト装置がある場合、クラウド装置が複数のサイト装置によって送信される複数の差分データを受信した後に、クラウド装置は、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得る。

任意で、クラウド装置に接続されたＮ個のサイト装置がある場合、クラウド装置は、クラウド装置に差分データを送信するＬ個のサイト装置に関する統計を収集し、ＬはＮ以下である。Ｎに対するＬの比が閾値Ｋより大きく、Ｋが０より大きく且つ１以下であり、具体的には０．５より大きい値、例えば、０．８の場合、クラウド装置は受信した複数の差分データに基づいて第１のモデルを更新して第３のモデルを得る。

任意で、クラウド装置に接続された複数のサイト装置があり、クラウド装置が複数のサイト装置によって送信される複数の差分データを受信した場合、クラウド装置は複数の差分データの平均値を取得し、クラウド装置は平均値を用いることにより第１のモデルを更新して第３のモデルを得る。

例えば、第の１モデルは、サイト装置１によってアップロードされた差分データ及びサイト装置２によってアップロードされた差分データに基づいて更新される。サイト装置１によってアップロードされた差分データ及びサイト装置２によってアップロードされた差分データは、それぞれ［ａ２－ａ１、ｂ２－ｂ１、ｃ２－ｃ１、ｄ２－ｄ１］及び［ａ３－ａ１、ｂ３－ｂ１、ｃ３－ｃ１、ｄ３－ｄ１］であり、２つのサイト装置によってアップロードされた差分データの平均値は、［（ａ２－ａ１＋ａ３－ａ１）／２、（ｂ２－ｂ１＋ｂ３－ｂ１）／２、（ｃ２－ｃ１＋ｃ３－ｃ１）／２、（ｄ２－ｄ１＋ｄ３－ｄ１）／２］である。第１のモデルは平均値を用いることにより更新される。

任意で、クラウド装置に接続された複数のサイト装置があり、クラウド装置が複数のサイト装置によって送信される複数の差分データを受信した場合、クラウド装置は、複数の差分データの加重平均値を取得してもよく、クラウド装置は、複数の差分データの加重平均値を用いることにより第１のモデルを更新して第３のモデルを得る。

例えば、クラウド装置は、それぞれ第１のサイト装置の第１の差分データ、第２のサイト装置の第２の差分データ及び第３のサイト装置の第３の差分データである３つのサイト装置の差分データを受信する。第１のサイト装置のサービスデータ量と、第２のサイト装置のサービスデータ量と、第３のサイト装置のサービスデータ量との比は０．８／１／１．２である。クラウド装置は係数０．８を用いることにより第１の差分データに対して加重処理を行い、クラウド装置は係数１を用いることにより第２の差分データに対して加重処理を行い、クラウド装置は係数１．２を用いることにより第３の差分データに対して加重処理を行う。ネットワーク装置は、複数の差分データの加重平均値を用いることにより第１のモデルを更新して第３のモデルを得る。複数の差分データの加重平均値のアルゴリズムは、
Ａ＝（０．８×Ｂ１＋１×Ｂ２＋１．２×Ｂ３）÷３であり、
Ａは、複数の差分データの加重平均値であり、Ｂ１は第１の差分データであり、Ｂ２は第２の差分データであり、Ｂ３は第３の差分データである。

別の例として、クラウド装置は、それぞれ第１のサイト装置の第１の差分データ、第２のサイト装置の第２の差分データ及び第３のサイト装置の第３の差分データである３つのサイト装置の差分データを受信する。第１のサイト装置のサービスデータ量と、第２のサイト装置のサービスデータ量と、第３のサイト装置のサービスデータ量との比は０．２／０．２／０．６である。クラウド装置は係数０．２を用いることにより第１の差分データに対して加重処理を行い、クラウド装置は係数０．２を用いることにより第２の差分データに対して加重処理を行い、クラウド装置は係数０．６を用いることにより第３の差分データに対して加重処理を行う。ネットワーク装置は、加重処理が既に行われた複数の差分データに基づいて第１のモデルを更新して第３のモデルを得る。複数の差分データの加重平均値のアルゴリズムは、
Ａ＝０．２×Ｂ１＋０．２×Ｂ２＋０．６×Ｂ３である。

複数の差分データの係数の和は１であるため、複数の差分データの加重和は、複数の差分データの加重平均値である。

Ａは、複数の差分データの加重和であり、Ｂ１は第１の差分データであり、Ｂ２は第２の差分データであり、Ｂ３は第３の差分データである。

任意で、クラウド装置は、複数の差分データに対応するサイト装置のサービスデータ量に基づいて複数の差分データに対して加重処理を行わないが、複数の差分データに対応するサイト装置のサービス重要度に基づいて複数の差分データに対して加重処理を行い得る。サイト装置のサービスの重要度はオペレータの経験に基づいて設定され得る。

任意で、サイト装置のサービスの重要度は、サイト装置に接続されたネットワーク装置の数に基づいて決定され得る。例えば、第１のサイト装置に接続されたネットワーク装置の数が２であり、第２のサイト装置に接続されたネットワーク装置の数が２であり、第３のサイト装置に接続されたネットワーク装置の数が１６の場合、第１のサイト装置のサービス重要と、第２のサイト装置のサービスの重要度と、第３のサイト装置のサービス重要度との比は０.１／０.１／０.８であり得る。

３１１：クラウド装置は第３のモデルをサイト装置に送信する。

クラウド装置が差分データに基づいて第１のモデルを更新して第３のモデルを得た後に、クラウド装置は第３モデルをサイト装置に送信し得る。

任意で、クラウド装置がＬ個のサイト装置によって送信される複数の差分データを受信した場合、クラウド装置は第３のモデルをＬ個のサイト装置に送信する。

任意で、クラウド装置がＮ個のサイト装置に接続され、クラウド装置がＬ個のサイト装置によって送信される複数の差分データを受信した場合、クラウド装置は第３のモデルをＮ個のサイト装置に送信する。

任意で、第１の訓練サンプルを用いることによるサイト装置による訓練を介して得られた第２のモデルが第３のモデルと同じである場合、クラウド装置は、第３のモデルをサイト装置に送信しないことがある。

３１２：サイト装置は、第３のモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに関する分類結果を予測する。

ステップ３１２はステップ３０３と同様である。詳細については、ここでは再度説明しない。

２．第１のモデルはネットワーク装置上で設定され得る。

図４Ａ及び図４Ｂを参照されたい。本願の実施形態におけるモデル更新方法の別の実施形態は以下のステップを含む。

４０１：クラウド装置は訓練データに基づいて第１のモデルを得る。

４０２：クラウド装置は第１のモデルをサイト装置に送信する。

ステップ４０１及びステップ４０２は、図３のステップ３０１及びステップ３０２と同様である。詳細についてはここでは再度説明しない。

４０３：サイト装置は第１のモデルをネットワーク装置に送信する。

サイト装置が第１のモデルを受信した後で、サイト装置は第１のモデルをネットワーク装置に送信し得る。

任意で、第１のモデルを受信した後に、サイト装置は第１のモデルのパフォーマンス定量インジケータを直接取得し得るため、ステップ４０３は行われないことがある。第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、サイト装置は第１の訓練サンプルを用いることにより第１のモデルを訓練し得る。すなわち、第１のモデルが使用される前に、サイト装置は先ず第１のモデルの性能が条件を満たすかどうか判定する。第１のモデルの性能が条件を満たさない場合、第１のモデルは先ず更新される。

４０４：ネットワーク装置は、第１のモデルを用いることにより、ネットワーク装置の予測されるべき特徴データについて分類結果を予測する。

上述したように、異なる機械学習モデルは異なる機能を実施し得る。第１のモデルが分類機能を実施する場合、サイト装置によって送信された第１のモデルを受信した後に、ネットワーク装置は、第１のモデルを用いることにより分類結果を予測し得る。

例えば、ネットワーク装置のオンラインデータに対して分類結果予測を行う必要がある場合、分類結果の予測を行う必要があるデータは、その特徴カテゴリーがＣＰＵであるＫＰＩ及び／又はその特徴カテゴリーがメモリ（memory）であるＫＰＩを含み得る。

４０５：サイト装置は第２のデータ要求を送ネットワーク装置に送信する。

サイト装置が第１のモデルのパフォーマンス定量インジケータを得る必要がある場合、サイト装置は第２データ要求をネットワーク装置に送信して、ネットワーク装置に第２の訓練サンプルをサイト装置に送信するよう要求し得る。

４０６：ネットワーク装置は、第２の訓練サンプルをサイト装置に送信する。

ネットワーク装置がサイト装置によって送信された第２のデータ要求を受信した後に、ネットワーク装置は第２の訓練サンプルをサイト装置に送信し、第２の訓練サンプルは、ネットワーク装置の第２の特徴データ及び第１の推論結果を含み、第１の推論結果は、第１のモデルを用いることにより第２の特徴データに基づいてネットワーク装置によって得られる推論結果である。

任意で、サイト装置も第１のモデルを有しているため、ネットワーク装置はサイト装置に第１の推論結果を送信しないことがある。サイト装置は、受信した第２の特徴データに基づいて第１の推論結果を取得し得る。

任意で、ステップ４０４が行われない場合、ネットワーク装置は、第２のデータ要求が受信されないときに第２の訓練サンプルをサイト装置に送信し得る。例えば、ネットワーク装置及びサイト装置は、ネットワーク装置が定期的に第２の訓練サンプルをサイト装置に送信することについて事前に合意し得る。

４０７：サイト装置は、第２の訓練サンプルに基づいて第１のモデルのパフォーマンス定量インジケータを得る。

サイト装置が第２の訓練サンプルを得た後に、サイト装置は、第２の訓練サンプルに基づいて第１のモデルのパフォーマンス定量インジケータを取得し、サイト装置は、第２の特徴データのプリセットラベルを取得し得る。プリセットラベルは、別のモデルを用いることにより第２の特徴データに基づいてサイト装置による推論を介して得られ得る。通常、他のモデルの複雑度は第１のモデルものよりも高く、他のモデルの精度は第１のモデルのものよりも高い。他のモデルは、例えば、精度を除いて、長い推論時間等の欠点を有し、その結果、オンラインリアルタイム推論に適応できない。したがって、第１のモデルはサイト装置上で設定される。サイト装置は第１の推論結果及びプリセットラベルに基づいて第１のモデルの精度を得て、サイト装置は第１のモデルのパフォーマンス定量インジケータとして精度を用いる。

任意で、サイト装置は手動ラベリングを介してプリセットラベルをさらに取得し得る。

任意で、サイト装置がネットワーク装置によって送信される第１の推論結果を受信しない場合、サイト装置は第１の推論結果を取得し得る。第１のモデルはサイト装置上で設定され、サイト装置は第２の特徴データを第１のモデルの入力として用いて第１のモデルによって出力される第１の推論結果を得る。

任意で、サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いず、第１のモデルのパフォーマンス定量インジケータとして再現率を使用し得る。サイト装置は、第１の推論結果及びプリセットラベルに基づいて、第１のモデルの精度を取得し得る。サイト装置は、第１のモデルのパフォーマンス定量インジケータとして再現率を用いる。

サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いり得るか又はサイト装置は、第１のモデルのパフォーマンス定量インジケータとして再現率を用いり得ることが理解されよう。実際の適用の間に、サイト装置は、代替的に、第１のモデルのパフォーマンス定量インジケータとして別の特徴を用いり得る。これは、本明細書では具体的に限定されない。

サイト装置は、第１のモデルのパフォーマンス定量インジケータとして精度を用いり得るか又はサイト装置は、第１のモデルのパフォーマンス定量インジケータとして再現率を用いり得ることが理解されよう。実際の適用の間に、サイト装置は、代替的に、第１のモデルのパフォーマンス定量インジケータとして精度及び再現率のうちの１つを選択し得るか又はサイト装置は第１のモデルのパフォーマンス定量インジケータとして精度及び再現率の両方を選択し得る。本明細書では具体的に限定されない。

任意で、サイト装置は第２の特徴データを取得しなくてもよく、サイト装置は他のデータを得て第１のモデルのパフォーマンス定量インジケータを取得する。つまり、サイト装置は、ネットワーク装置上の特徴データを得ることなく、他の装置上のデータを取得し得るか又はサイト装置の記憶空間内のデータを取得し、該データを用いることにより第１のモデルのパフォーマンス定量インジケータを取得し得る。

任意で、サイト装置は、別のモデルを用いることによりプリセットラベルを取得しないことがある。例えば、第２の特徴データは先月のネットワーク装置の特徴データであり、第１の推論結果は今月の第１のモデルで得られた推論結果であり、サイト装置は先月の第２の特徴データに基づいて第１のモデルによって得られたプリセットラベルを取得し得る。

４０８：サイト装置は第１のデータ要求をネットワーク装置に送信する。

第１のモデルのパフォーマンス定量インジケータが目標閾値未満であるとサイト装置が判定した後に、サイト装置は第１のデータ要求をネットワーク装置に送信して、ネットワーク装置から第１の特徴データを要求し得る。

４０９：ネットワーク装置は第１の特徴データをサイト装置に送信する。

ネットワーク装置が第１のデータ要求を受信した後に、ネットワーク装置は第１の特徴データをサイト装置に送信し得る。

任意で、ステップ４０８が行われない場合、ネットワーク装置は、第１のデータ要求が受信されない場合に第１の特徴データをサイト装置に送信し得る。例えば、ネットワーク装置及びサイト装置は、ネットワーク装置が第１の特徴データをサイト装置に定期的に送信することについて予め合意していてもよい。

４１０：第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し、第２のモデルと第１のモデルとの差分データを取得する。

ステップ４１０は図３のステップ３０７と同様である。詳細についてはここでは再度説明しない。

４１１：サイト装置は、第２のモデルをネットワーク装置に送信する。

サイト装置が第２のモデルを取得した後に、サイト装置は第２のモデルをネットワーク装置に送信し得る。

４１２：ネットワーク装置は、第２のモデルを用いることにより、ネットワーク装置の予測されるべき特徴データについての分類結果を予測する。

ステップ４１２はステップ４０４と同様である。詳細についてはここでは再度説明しない。

４１３：サイト装置は差分データをクラウド装置に送信する。

４１４：クラウド装置は、差分データに基づいて第１のモデルを更新して第３モデルを得る。

４１５：クラウド装置は第３のモデルをサイト装置に送信する。

ステップ４１３、ステップ４１４及びステップ４１５は、図３のステップ３０９、ステップ３１０及びステップ３１１と同様である。詳細についてはここでは再度説明しない。

４１６：サイト装置は第３のモデルをネットワーク装置に送信する。

サイト装置が第３のモデルを取得した後に、サイト装置は第３のモデルをネットワーク装置に送信し得る。

任意で、サイト装置が複数のネットワーク装置に接続されている場合、サイト装置は第３のモデルを複数のネットワーク装置に送信する。

４１７：ネットワーク装置は、第３のモデルを用いることにより、ネットワーク装置の予測されるべき特徴データについての分類結果を予測する。

ステップ４１７はステップ４０４と同様である。詳細についてはここでは再度説明しない。

ステップ４１１、ステップ４１２及びステップ４１３～ステップ４１６の間には、制限された時系列関係がないことが理解されよう。

上記では本願の実施形態におけるモデル更新方法について説明し、以下では本願の実施形態におけるモデル更新システムについて説明する。

図５を参照されたい。本願の実施形態におけるモデル更新システムの実施形態は、
サイト解析装置５０２及び第１の解析装置５０１を含み、
サイト解析装置５０２は、第１の解析装置５０１によって送信される第１のモデルを受信することと、第１の訓練サンプルを用いて該第１のモデルを訓練して第２のモデルを得ることであって、該第１の訓練サンプルは、サイト解析装置５０２に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、ことと、第１のモデルと第２のモデルとの差分データを得ることと、該差分データを第１の解析装置５０１に送信することと、を行うように構成され、
第１の解析装置５０１は、第１のモデルをサイト解析装置５０２に送信することと、サイト解析装置５０２によって送信される差分データを受信することと、差分データに基づいて第１のモデルを更新して第３のモデルを得ることと、を行うように構成されている。

この実施形態では、サイト解析装置５０２は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。サイト解析装置５０２は、第１のモデルと第２のモデルとの差分データを取得し、差分データを第１の解析装置５０１に送信して、第１の解析装置５０１に差分データに基づいて第１のモデルを更新するよう要求し、差分データは、第１のモデル及び第２のモデルに基づいてサイト解析装置５０２によって取得され、第２のモデルは、第１の訓練サンプルを用いることにより、第１のモデルを訓練することによってサイト解析装置５０２によって得られる。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、第１の解析装置５０１がモデルの性能を維持するために第１のモデルを更新することに基づいてプライバシーが改善される。

図６を参照されたい。本願の実施形態におけるモデル更新システムの別の実施形態は、
サイト解析装置６０２及び第１の解析装置６０１を含み、
サイト解析装置６０２は、第１の解析装置６０１によって送信される第１のモデルを受信することと、第１の訓練サンプルを用いて該第１のモデルを訓練して第２のモデルを得ることであって、該第１の訓練サンプルは、サイト解析装置６０２に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、ことと、第１のモデルと第２のモデルとの差分データを得ることと、該差分データを第１の解析装置６０１に送信することと、を行うように構成され、
第１の解析装置６０１は、第１のモデルをサイト解析装置６０２に送信することと、サイト解析装置６０２によって送信される差分データを受信することと、差分データに基づいて第１のモデルを更新して第３のモデルを得ることと、を行うように構成されている。

任意で、サイト解析装置６０２は、第１のモデルが劣化しているかどうかを判定することと、サイト解析装置６０２が第１のモデルは劣化していると判定した場合に、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得ることと、を行うようにさらに構成されている。

任意で、前記システムは、Ｎ個のサイト解析装置６０２を含み、Ｎは１より大きい整数である。

第１の解析装置６０１は、第１のモデルをＮ個のサイト解析装置６０２に送信することと、Ｌ個のサイト解析装置６０２によって送信される複数の差分データを受信することであって、Ｌは１より大きく且つＮ以下の整数であることと、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得ることと、を行うように具体的に構成されている。

任意で、第１の解析装置６０１は、差分データを第１の解析装置６０１に送信するＬ個のサイト解析装置に関する統計を収集することと、Ｎに対するＬの比が閾値Ｋに達した場合に、差分データに基づいて第１のモデルを更新して第３のモデルを得ることであって、Ｋは０より大きく、１以下である、こととを行うようにさらに構成されている。

任意で、前記システムは、
ネットワーク装置６０３をさらに含み、
ネットワーク装置６０３は、サイト解析装置６０２によって送信される更新されたモデルを受信することであって、該更新されたモデルは第２のモデル又は第３のモデルを含む、ことと、更新されたモデルを用いることによりネットワーク装置６０３の予測されるべき特徴データに基づいて推論結果を出力することと、を行うように構成され、
サイト解析装置６０２は、更新されたモデルをネットワーク装置６０３に送信するようにさらに構成されているか、又は
ネットワーク装置６０３は、予測されるべき特徴データをサイト解析装置６０２に送信するように構成され、
サイト解析装置６０２は、更新されたモデルを用いることにより、ネットワーク装置６０３の予測されるべき特徴データに基づいて推論結果を出力するようにさらに構成されている。

任意で、ネットワーク装置６０３は、更新されたモデルを用いることにより、ネットワーク装置６０３の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されているか、又は
サイト解析装置６０２は、更新されたモデルを用いることにより、ネットワーク装置６０３の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている。

任意で、予測されるべき特徴データはＫＰＩ特徴データを含み、該ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ又はＫＰＩデータである。

任意で、差分データは勾配情報である。

この実施形態では、モデル更新システムにおける第１の解析装置６０１は、図３、図４Ａ、及び図４Ｂに示す実施形態における説明したクラウド装置と同様であり、サイト解析装置６０２は、図３、図４Ａ及び図４Ｂに示す実施形態で説明したサイト装置と同様であり、ネットワーク装置６０３は、図３、図４Ａ及び図４Ｂに示す実施形態で説明したネットワーク装置と同様である。詳細については本明細書で説明しない。

上記では本願の実施形態におけるモデル更新システムについて説明し、以下では本願の実施形態におけるモデル更新装置について説明する。

図７を参照されたい。本願の実施形態におけるモデル更新装置の実施形態は、
第１の解析装置によって送信される第１のモデルを受信するように構成された受信ユニット７０１と、
第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得るように構成された訓練ユニット７０２であって、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、訓練ユニット７０２と、
第１のモデルと第２のモデルとの差分データを得るように構成された取得ユニット７０３と、
差分データを第１の解析装置に送信して、第１の解析装置に、差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求するように構成された送信ユニット７０４と、を含む。

この実施形態では、受信ユニット７０１は第１の解析装置によって送信される第１のモデルを受信し得る。訓練ユニット７０２は第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを取得し得る。取得ユニット７０３は第１のモデルと第２のモデルとの差分データを取得し得る。送信ユニット７０４は差分データを第１の解析装置に送信して、第１の解析装置に、差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求し得る。差分データは第１のモデル及び第２のモデルに基づいて取得ユニット７０３によって取得され、第２のモデルは第１の訓練サンプルを用いることにより第１のモデルを訓練することで訓練ユニット７０２によって得られる。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、第１の解析装置がモデル性能を維持するために第１のモデルを更新することに基づいてプライバシーが改善される。

図８を参照されたい。本願の実施形態におけるモデル更新装置の別の実施形態は、
第１の解析装置によって送信される第１のモデルを受信するように構成された受信ユニット８０１と、
第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得るように構成された訓練ユニット８０２であって、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、訓練ユニット８０２と、
第１のモデルと第２のモデルとの差分データを得るように構成された取得ユニット８０３と、
差分データを第１の解析装置に送信して、第１の解析装置に、差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求するように構成された送信ユニット８０４と、を含む。

任意で、モデル更新装置は、
第１のモデルが劣化しているかどうか判定するように構成された判定ユニット８０５であって、該判定ユニット８０５が第１のモデルは劣化していると判定した場合に、訓練ユニット８０２は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得る、判定ユニット８０５、をさらに含む。

任意で、取得ユニット８０３は、第１のモデルのパフォーマンス定量インジケータを得るようにさらに構成され、
判定ユニット８０５は、第１のモデルのパフォーマンス定量インジケータが目標閾値未満かどうか判定するようさらに構成され、
第１のモデルのパフォーマンス定量インジケータが目標閾値未満の場合、判定ユニット８０５は、第１のモデルが劣化していると判定するように具体的に構成されている。

任意で、取得ユニット８０３は、ネットワーク装置の第２の特徴データを得るようにさらに構成され、
取得ユニット８０３は、第２の特徴データに基づいて第１のモデルによって得られた第１の推論結果を得るようにさらに構成され、
取得ユニット８０３は、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの精度を得て、該精度を第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されているか又は取得ユニット８０３は、第１の推論結果及び第２の特徴データのプリセットラベルに基づいて、第１のモデルの再現率を得て、該再現率を第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されている。

任意で、送信ユニット８０４は、第１のデータ要求をネットワーク装置に送信して、ネットワーク装置に第２の訓練サンプルをサイト解析装置に送信するように要求するようにさらに構成され、第２の訓練サンプルは第２の特徴データ及び第１の推論結果を含み、第１の推論結果は、第２の特徴データに基づいて第１のモデルによって得られる。

任意で、送信ユニット８０４は、更新されたモデルをネットワーク装置に送信するようにさらに構成され、該更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。

任意で、送信ユニット８０４は、更新されたモデルをネットワーク装置に送信するようにさらに構成され、該更新されたモデルは第２のモデル又は第３のモデルを含み、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように構成され、予測されるべき特徴結果はＫＰＩ特徴データを含む。

任意で、受信ユニット８０１は、ネットワーク装置の予測されるべき特徴データを受信するようにさらに構成されている。

前記装置は、
更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成された推論ユニット８０６であって、該更新されたモデルは第２のモデル又は第３のモデルを含む、推論ユニット８０６をさらに含む。

任意で、予測されるべき特徴データはキーパフォーマンスインジケータＫＰＩ特徴データを含み、
推論ユニット８０６は、更新されたモデルを用いることにより、ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている。

任意で、ＫＰＩ特徴データはＫＰＩ時系列の特徴データ又はＫＰＩデータである。

任意で、前記装置は、
テストデータを用いることにより第２のモデルをテストするように構成されたテストユニット８０２であって、該テストデータはグラウンドトゥルースラベルを含む、テストユニット８０２と
劣化したデータを記憶して、サイト解析装置が該劣化したデータを用いることにより、サイト解析装置内のモデルを更新できるようにするように構成された記憶ユニット８０８であって、該劣化したデータはテストデータに属し、劣化したデータの推論ラベルはグラウンドトゥルースラベルと等しくなく、該推論ラベルはテストデータを用いることにより、第２のモデルをテストすることによりサイト解析装置によって得られる、記憶ユニット８０２と、
をさらに含む。

この実施形態では、モデル更新装置におけるユニットによって行われる動作は、図３、図４Ａ及び図４Ｂに示す実施形態で説明したものと同様である。詳細についてはここでは再度説明しない。

図９を参照されたい。本願の実施形態におけるモデル更新装置の別の実施形態は、
第１のモデルをサイト解析装置に送信するように構成された送信ユニット９０１であって、該第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている、送信ユニット９０１と、
第１のモデルと第２のモデルとの差分データを受信するように構成された受信ユニット９０２であって、該第２のモデルは、第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置によって得られ、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、受信ユニット９０２と、
差分データに基づいて第１のモデルを更新して第３のモデルを得るように構成された更新ユニット９０３と、を含む。

この実施形態では、送信ユニット９０１は第１のモデルをサイト解析装置に送信し、受信ユニット９０２は、第１のモデルと第２のモデルとの差分データを受信し、更新ユニット９０３は、差分データを用いることにより第１のモデルを更新して第３のモデルを取得し得る。差分データは、第１のモデル及び第２のモデルに基づいてサイト解析装置によって得られ、第２のモデルは、第１の訓練サンプルを用いることにより、第１のモデルを訓練することによりサイト解析装置によって得られる。第１の訓練サンプルはネットワーク装置の第１の特徴データを含み、差分データのプライバシーは第１の特徴データのものよりも高い。したがって、更新ユニット９０３がモデル性能を維持するために第１のモデルを更新することに基づいてプライバシーが改善される。

図１０を参照されたい。本願の実施形態におけるモデル更新装置の別の実施形態は、
第１のモデルをサイト解析装置に送信するように構成された送信ユニット１００１であって、該第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている、送信ユニット１００１と、
第１のモデルと第２のモデルとの差分データを受信するように構成された受信ユニット１００２であって、該第２のモデルは、第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置によって得られ、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、受信ユニット１００２と、
差分データに基づいて第１のモデルを更新して第３のモデルを得るように構成された更新ユニット１００３と、を含む。

任意で、送信ユニット１００１は、第１のモデルをＮ個のサイト解析装置に送信するように具体的に構成され、Ｎは１より大きい整数であり、
受信ユニット１００２は、Ｌ個のサイト解析装置によって送信される複数の差分データを受信するように具体的に構成され、Ｌは１よりも大きく且つＮ以下の整数であり、
更新ユニット１００３は、複数の差分データに基づいて第１のモデルを更新して第３のモデルを得るように具体的に構成され、
送信ユニット１００１は、第３のモデルをＮ個のサイト解析装置に送信するように具体的に構成されている。

任意で、前記装置は、
複数の差分データの平均値を得るように構成された取得ユニット１００４
をさらに含み、
更新ユニット１００３は、複数の差分データの平均値を用いることにより第１のモデルを更新して第３のモデルを得るように具体的に構成されているか、又は
取得ユニット１００４は、複数の差分データの加重平均値を得るように構成され、
更新ユニット１００３は、加重平均値を用いることにより第１のモデルを更新して第３のモデルを得るように具体的に構成されている。

任意で、前記装置は、
差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集するように構成された統計収集ユニット、
をさらに含み、
Ｎに対するＬの比が閾値Ｋに達した場合、更新ユニット１００３は、差分データに基づいて第１のモデルを更新して第３のモデルを得るように具体的に構成され、Ｋは０より大きく１以下である。

この実施形態では、モデル更新装置におけるユニットによって行われる動作は、図３、図４Ａ及び図４Ｂに示す実施形態で説明したものと同様である。詳細についてはここでは再度説明しない。

上記では本願の実施形態におけるモデル更新装置を説明し、以下では、本願の実施形態におけるモデル更新装置について説明する。

図１１を参照されたい。本願の実施形態におけるモデル更新装置１１００の実施形態が提供される。

図１１に示すように、モデル更新装置１１００は、プロセッサ１１１０、プロセッサ１１１０に連結されたメモリ１１２０及びトランシーバ１１３０を含む。モデル更新装置１１００は、図２及び図３のサイト装置であり得る。プロセッサ１１１０は、中央処理装置（英語：central processing unit、略称ＣＰＵ）、ネットワークプロセッサ（英語：network processor、略称ＮＰ）又はＣＰＵとＮＰとの組み合わせであり得る。あるいは、プロセッサは特定用途向け集積回路（英語：application-specific integrated circuit、略称ＡＳＩＣ)、プログラマブル論理デバイス（英語：programmable logic device、略称ＰＬＤ）又はその組み合わせであり得る。ＰＬＤは複雑なプログラマブル論理デバイス（英語：complex programmable logic device、略称ＣＰＬＤ)、フィールドプログラマブルゲートアレイ（英語：field programmable gate array、略称ＦＰＧＡ)、汎用アレイロジック（英語：generic array logic、略称ＧＡＬ）又はその任意の組み合わせであり得る。プロセッサ１１１０は１つのプロセッサであり得るか又は複数のプロセッサを含み得る。メモリ１１２０は、ランダムアクセスメモリ（英語：random access memory、略称ＲＡＭ）等の揮発性メモリ（英語：volatile memory）を含み得るか又はメモリは、リードオンリーメモリ（英語：read only memory、略称ＲＯＭ）、フラッシュメモリ（英語：flash memory）、ハードディスクドライブ（英語：hard disc drive、略称ＨＤＤ）又は固体ドライブ（英語：solid state drive、略称ＳＳＤ）等の不揮発性メモリを含み得る。あるいは、メモリは、前述の種類のメモリの組み合わせを含み得る。メモリ１１２０はコンピュータ読み取り可能命令を記憶する。コンピュータ読み取り可能命令は複数のソフトウェアモジュール、例えば、受信モジュール１１２２、訓練モジュール１１２４、取得モジュール１１２６及び送信モジュール１１２８を含む。各ソフトウェアモジュールを実行した後に、プロセッサ１１１０は、各ソフトウェアモジュールの表示に基づいて対応する動作を行い得る。この実施形態では、ソフトウェアモジュールによって行われる動作は、実際には、ソフトウェアモジュールの表示に基づいてプロセッサ１１１０によって行われる動作である。受信モジュール１１２２は、第１の解析装置によって送信される第１のモデルを受信するように構成されている。訓練モジュール１１２４は、第１の訓練サンプルを用いることにより第１のモデルを訓練して第２のモデルを得るように構成され、第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む。取得モジュール１１２６は、第１のモデルと第２のモデルとの差分データを取得するように構成されている。送信モジュール１１２８は差分データを第１の解析装置に送信して、第１の解析装置に差分データに基づいて第１のモデルを更新して第３のモデルを得るように要求するように構成されている。加えて、メモリ１１２０内のコンピュータ読み取り可能命令を実行した後に、プロセッサ１１１０は、コンピュータ読み取り可能命令の表示に従って、サイト装置によって行われ得る全ての動作、例えば、図３、図４Ａ及び図４Ｂに対応する実施形態でサイト装置によって行われる動作を行い得る。

図１２を参照されたい。本願の実施形態におけるモデル更新装置１２００の実施形態が提供される。

図１２に示すように、モデル更新装置１２００は、プロセッサ１２１０、プロセッサ１２１０に連結されたメモリ１２２０及びトランシーバ１２３０を含む。モデル更新装置１２００は、図２及び図３のクラウド装置であり得る。プロセッサ１２１０は、中央処理装置（英語：central processing unit、略称ＣＰＵ）、ネットワークプロセッサ（英語：network processor、略称ＮＰ）又はＣＰＵとＮＰとの組み合わせであり得る。あるいは、プロセッサは特定用途向け集積回路（英語：application-specific integrated circuit、略称ＡＳＩＣ)、プログラマブル論理デバイス（英語：programmable logic device、略称ＰＬＤ）又はその組み合わせであり得る。ＰＬＤは複雑なプログラマブル論理デバイス（英語：complex programmable logic device、略称ＣＰＬＤ)、フィールドプログラマブルゲートアレイ（英語：field programmable gate array、略称ＦＰＧＡ)、汎用アレイロジック（英語：generic array logic、略称ＧＡＬ）又はその任意の組み合わせであり得る。プロセッサ１２１０は１つのプロセッサであり得るか又は複数のプロセッサを含み得る。メモリ１２２０は、ランダムアクセスメモリ（英語：random access memory、略称ＲＡＭ）等の揮発性メモリ（英語：volatile memory）を含み得るか又はメモリは、リードオンリーメモリ（英語：read-only memory、略称ＲＯＭ）、フラッシュメモリ（英語：flash memory）、ハードディスクドライブ（英語：hard disc drive、略称ＨＤＤ）又は固体ドライブ（英語：solid state drive、略称ＳＳＤ）等の不揮発性メモリを含み得る。あるいは、メモリは、前述の種類のメモリの組み合わせを含み得る。メモリ１２２０はコンピュータ読み取り可能命令を記憶する。コンピュータ読み取り可能命令は複数のソフトウェアモジュール、例えば、送信モジュール１２２２、受信モジュール１２２４及び更新モジュール１２２６を含む。各ソフトウェアモジュールを実行した後に、プロセッサ１２１０は、各ソフトウェアモジュールの表示に基づいて対応する動作を行い得る。この実施形態では、ソフトウェアモジュールによって行われる動作は、実際には、ソフトウェアモジュールの表示に基づいてプロセッサ１２１０によって行われる動作である。送信モジュール１２２２は第１のモデルをサイト解析装置に送信するように構成され、第１のモデルはネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている。受信モジュール１２２４は第１のモデルと第２のモデルとの差分データを受信するように構成され、第２のモデルは第１の訓練サンプルを用いることにより第１のモデルを訓練することによりサイト解析装置により得られ、第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む。更新モジュール１２２６は差分データに基づいて第１のモデルを更新して第３のモデルを得るように構成されている。

加えて、メモリ１２２０内のコンピュータ読み取り可能命令を実行した後に、プロセッサ１２１０は、コンピュータ読み取り可能命令の表示に従って、クラウド装置によって行われ得る全ての動作、例えば、図３、図４Ａ及び図４Ｂに対応する実施形態においてクラウド装置によって行われ得る動作を行い得る。

なお、本願で提供されるいくつかの実施形態において、開示したシステム、装置、及び方法は、他の形で実施され得る。例えば、説明した装置の実施形態は一例にすぎない。例えば、ユニットへの分割は機能的な分割にすぎず、実際の実施の間に他の分割であってもよい。例えば、複数のユニット又はコンポーネントは組み合わされ得るか又は別のシステムに統合され得るか又は一部の特徴は無視され得るか又は実行されなくてもよい。加えて、表示又は説明した相互連結若しくは直接連結又は通信接続は、いくつかのインターフェイスを介して実施され得る。装置又はユニット間の間接連結又は通信接続は、電子的、機械的又は他の形態で実施され得る。

別個の部品として記載されるユニットは物理的に離れていても、離れていなくてもよく、ユニットとして表示される部品は物理的ユニットであっても、なくてもよく、１つの位置に位置していてもいいし、複数のネットワークユニット上に分散されていてもよい。ユニットの一部又は全ては、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択され得る。

加えて、本願の実施形態における機能ユニットは、１つの処理ユニットに統合され得るか又は各ユニットは物理的に単独で存在し得るか又は２つ以上のユニットが１つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実施され得るか又はソフトウェア機能ユニットの形態で実施され得る。

統合ユニットがソフトウェア機能ユニットの形態で実施され、独立した製品として販売又は使用される場合、統合ユニットは、コンピュータ読み取り可能記憶媒体に記憶され得る。そのような理解に基づいて、本願の技術的解決策は、本質的に、従来技術に寄与する部分又は技術的解決策の全部若しくは一部を、ソフトウェア製品の形態で実施し得る。コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置等であり得る）に、本願の実施形態で説明した方法の全て又は一部のステップを行うように指示するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ（ＲＯＭ、read-only memory）、ランダムアクセスメモリ（ＲＡＭ、random access memory）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な任意の媒体を含む。

Claims (37)

1. サイト解析装置及び第１の解析装置を含むモデル更新システムであって、
   前記サイト解析装置は、前記第１の解析装置によって送信される第１のモデルを受信することと、第１の訓練サンプルを用いて該第１のモデルを訓練して第２のモデルを得ることであって、該第１の訓練サンプルは、前記サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、ことと、前記第１のモデルと前記第２のモデルとの差分データを得ることと、該差分データを前記第１の解析装置に送信することと、を行うように構成され、
   前記第１の解析装置は、前記第１のモデルを前記サイト解析装置に送信することと、前記サイト解析装置によって送信される前記差分データを受信することと、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得ることと、を行うように構成されている、モデル更新システム。
2. 前記サイト解析装置は、前記第１のモデルが劣化しているかどうかを判定することと、前記サイト解析装置が前記第１のモデルは劣化していると判定した場合に、前記第１の訓練サンプルを用いることにより前記第１のモデルを訓練して前記第２のモデルを得ることと、を行うようにさらに構成されている、請求項１に記載のシステム。
3. 前記システムは、Ｎ個のサイト解析装置を含み、Ｎは１より大きい整数であり、
   前記第１の解析装置は、前記第１のモデルを前記Ｎ個のサイト解析装置に送信することと、Ｌ個のサイト解析装置によって送信される複数の差分データを受信することであって、Ｌは１より大きく且つＮ以下の整数であることと、前記複数の差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得ることと、を行うように具体的に構成されている、請求項２に記載のシステム。
4. 前記第１の解析装置は、前記差分データを前記第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集することと、Ｎに対するＬの比が閾値Ｋに達した場合に、前記差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得ることであって、Ｋは０より大きく、１以下である、こととを行うようにさらに構成されている、請求項３に記載のシステム。
5. 前記システムは前記ネットワーク装置をさらに含み、
   前記ネットワーク装置は、前記サイト解析装置によって送信される更新されたモデルを受信することであって、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含む、ことと、前記更新されたモデルを用いることにより前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力することと、を行うように構成され、
   前記サイト解析装置は、前記更新されたモデルを前記ネットワーク装置に送信するようにさらに構成されているか、又は
   前記ネットワーク装置は、前記ネットワーク装置の予測されるべき特徴データを前記サイト解析装置に送信するように構成され、
   前記サイト解析装置は、更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するようにさらに構成されている、請求項１乃至４のいずれか一項に記載のシステム。
6. 前記ネットワーク装置は、前記更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されているか、又は
   前記サイト解析装置は、前記更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように具体的に構成されている、請求項５に記載のシステム。
7. 前記予測されるべき特徴データは、キーパフォーマンスインジケータ（ＫＰＩ）特徴データを含み、該ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ又はＫＰＩデータである、請求項６に記載のシステム。
8. 前記差分データは勾配情報である、請求項１乃至４のいずれか一項に記載のシステム。
9. モデル更新方法であって、
   サイト解析装置により、第１の解析装置によって送信される第１のモデルを受信することと、
   前記サイト解析装置により、第１の訓練サンプルを用いることにより前記第１のモデルを訓練して第２のモデルを得ることであって、該第１の訓練サンプルは、前記サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、ことと、
   前記サイト解析装置により、前記第１のモデルと前記第２のモデルとの差分データを得ることと、
   前記サイト解析装置により、前記差分データを前記第１の解析装置に送信して、前記第１の解析装置に、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得るように要求することと、
   を含む、方法。
10. 前記方法は、
    前記サイト解析装置により、前記第１のモデルが劣化しているかどうか判定することと、前記サイト解析装置が前記第１のモデルは劣化していると判定した場合に、前記サイト解析装置により、前記第１の訓練サンプルを用いることにより前記第１のモデルを訓練して第２のモデルを得ることを行うことと、をさらに含む、請求項９に記載の方法。
11. 前記方法は、
    前記サイト解析装置により、前記第１のモデルのパフォーマンス定量インジケータを得ることと、
    前記サイト解析装置により、前記第１のモデルのパフォーマンス定量インジケータが目標閾値未満かどうか判定することと、
    前記第１のモデルのパフォーマンス定量インジケータが前記目標閾値未満の場合、前記サイト解析装置により、前記第１のモデルは劣化していると判定することと、
    をさらに含む、請求項１０に記載の方法。
12. 前記方法は
    前記サイト解析装置により、前記ネットワーク装置の第２の特徴データを得ることと、
    前記サイト解析装置により、前記第２の特徴データに基づいて前記第１のモデルによって得られた第１の推論結果を得ることと、
    をさらに含み、
    前記サイト解析装置により、前記第１のモデルのパフォーマンス定量インジケータを得ることは、
    前記サイト解析装置により、前記第１の推論結果及び前記第２の特徴データのプリセットラベルに基づいて、前記第１のモデルの精度を得て、該精度を前記第１のモデルのパフォーマンス定量インジケータとして用いること又は前記サイト解析装置により、前記第１の推論結果及び前記第２の特徴データのプリセットラベルに基づいて、前記第１のモデルの再現率を得て、該再現率を前記第１のモデルのパフォーマンス定量インジケータとして用いること、
    を含む、請求項１１に記載の方法。
13. 前記方法は、
    前記サイト解析装置により、第１のデータ要求を前記ネットワーク装置に送信して、前記ネットワーク装置に第２の訓練サンプルを前記サイト解析装置に送信するよう要求することであって、該第２の訓練サンプルは、前記第２の特徴データ及び前記第１の推論結果を含み、前記第１の推論結果は、前記第２の特徴データに基づいて前記第１のモデルによって得られること、
    をさらに含む、請求項１２に記載の方法。
14. 前記方法は、
    前記サイト解析装置により、更新されたモデルを前記ネットワーク装置に送信することであって、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含み、前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するために用いられる、こと、
    をさらに含む、請求項９乃至１３のいずれか一項に記載の方法。
15. 前記方法は、
    前記サイト解析装置により、更新されたモデルを前記ネットワーク装置に送信することであって、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含み、前記ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するために用いられ、前記予測されるべき特徴データはキーパフォーマンスインジケータ（ＫＰＩ）特徴データを含む、こと、
    をさらに含む、請求項９乃至１３のいずれか一項に記載の方法。
16. 前記方法は、
    前記サイト解析装置により、前記ネットワーク装置の予測されるべき特徴データを受信することと、
    前記サイト解析装置により、更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力することであって、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含む、こと、
    をさらに含む、請求項９乃至１３のいずれか一項に記載の方法。
17. 前記予測されるべき特徴データはＫＰＩ特徴データを含み、
    前記サイト解析装置により、更新されたモデルを用いることにより前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力することは、
    前記サイト解析装置により、前記更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測すること、
    を含む、請求項１６に記載の方法。
18. 前記ＫＰＩ特徴データは、ＫＰＩ時系列の特徴データ又はＫＰＩデータである、請求項１５に記載の方法。
19. 前記方法は、
    前記サイト解析装置により、テストデータを用いることにより前記第２のモデルをテストすることであって、該テストデータはグラウンドトゥルースラベルを含む、ことと、
    前記サイト解析装置により、劣化したデータを記憶して、前記サイト解析装置が該劣化したデータを用いることにより、前記サイト解析装置内のモデルを更新できるようにすることであって、該劣化したデータは前記テストデータに属し、前記劣化したデータの推論ラベルは前記グラウンドトゥルースラベルと等しくなく、該推論ラベルは前記テストデータを用いることにより、前記第２のモデルをテストすることにより前記サイト解析装置によって得られる、ことと、
    をさらに含む、請求項９乃至１３のいずれか一項に記載の方法。
20. モデル更新方法であって、
    第１の解析装置により、第１のモデルをサイト解析装置に送信することであって、該第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている、ことと、
    前記第１の解析装置により、前記第１のモデルと第２のモデルとの差分データを受信することであって、該第２のモデルは、第１の訓練サンプルを用いることにより前記第１のモデルを訓練することにより前記サイト解析装置によって得られ、該第１の訓練サンプルは、前記サイト解析装置に対応するサイトネットワーク内の前記ネットワーク装置の第１の特徴データを含む、ことと、
    前記第１の解析装置により、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得ることと、
    を含む、方法。
21. 第１の解析装置により、第１のモデルをサイト解析装置に送信することは、
    前記第１の解析装置により、前記第１のモデルをＮ個のサイト解析装置に送信することであって、Ｎは１より大きい整数である、ことと、
    を含み、
    前記第１の解析装置により、前記第１のモデルと第２のモデルとの差分データを受信することは、
    前記第１の解析装置により、Ｌ個のサイト解析装置によって送信される複数の差分データを受信することであって、Ｌは１よりも大きく且つＮ以下の整数である、こと、
    を含み、
    前記第１の解析装置により、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得ることは、
    前記第１の解析装置により、前記複数の差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得ること、
    を含み、
    前記方法は、
    前記第１の解析装置により、前記第３のモデルを前記Ｎ個のサイト解析装置に送信すること、
    をさらに含む、請求項２０に記載の方法。
22. 前記方法は、
    前記第１の解析装置により、前記複数の差分データの平均値を得ること、
    をさらに含み、
    前記第１の解析装置により、前記複数の差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得ることは、
    前記第１の解析装置により、前記複数の差分データの平均値を用いることにより前記第１のモデルを更新して前記第３のモデルを得ること、
    を含む、請求項２１に記載の方法。
23. 前記方法は、
    前記第１の解析装置により、前記複数の差分データの加重平均値を得ること、
    をさらに含み、
    前記第１の解析装置により、前記複数の差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得ることは、
    前記第１の解析装置により、前記加重平均値を用いることにより前記第１のモデルを更新して前記第３のモデルを得ること、
    を含む、請求項２１に記載の方法。
24. 前記方法は、
    前記第１の解析装置により、前記差分データを前記第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集することと、
    Ｎに対するＬの比が閾値Ｋに達した場合、前記第１の解析装置により、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得ることを行うことであって、Ｋは０より大きく１以下である、ことと、
    をさらに含む、請求項２０乃至２３のいずれか一項に記載の方法。
25. モデル更新装置であって、
    第１の解析装置によって送信される第１のモデルを受信するように構成された受信ユニットと、
    第１の訓練サンプルを用いることにより前記第１のモデルを訓練して第２のモデルを得るように構成された訓練ユニットであって、該第１の訓練サンプルは、サイト解析装置に対応するサイトネットワーク内のネットワーク装置の第１の特徴データを含む、訓練ユニットと、
    前記第１のモデルと前記第２のモデルとの差分データを得るように構成された取得ユニットと、
    前記差分データを前記第１の解析装置に送信して、前記第１の解析装置に、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得るように要求するように構成された送信ユニットと、
    を含む、モデル更新装置。
26. 前記モデル更新装置は、
    前記第１のモデルが劣化しているかどうか判定するように構成された判定ユニットであって、該判定ユニットが前記第１のモデルは劣化していると判定した場合に、前記訓練ユニットは、前記第１の訓練サンプルを用いることにより前記第１のモデルを訓練して前記第２のモデルを得る、判定ユニット、をさらに含む、請求項２５に記載のモデル更新装置。
27. 前記取得ユニットは、前記第１のモデルのパフォーマンス定量インジケータを得るようにさらに構成され、
    前記判定ユニットは、前記第１のモデルのパフォーマンス定量インジケータが目標閾値未満かどうか判定するようさらに構成され、
    前記第１のモデルのパフォーマンス定量インジケータが前記目標閾値未満の場合、前記判定ユニットは、前記第１のモデルが劣化していると判定するように具体的に構成されている、請求項２６に記載のモデル更新装置。
28. 前記取得ユニットは、前記ネットワーク装置の第２の特徴データを得るようにさらに構成され、
    前記取得ユニットは、前記第２の特徴データに基づいて前記第１のモデルによって得られた第１の推論結果を得るようにさらに構成され、
    前記取得ユニットは、前記第１の推論結果及び前記第２の特徴データのプリセットラベルに基づいて、前記第１のモデルの精度を得て、該精度を前記第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されているか又は前記取得ユニットは、前記第１の推論結果及び前記第２の特徴データのプリセットラベルに基づいて、前記第１のモデルの再現率を得て、該再現率を前記第１のモデルのパフォーマンス定量インジケータとして用いるように具体的に構成されている、請求項２７に記載のモデル更新装置。
29. 前記送信ユニットは、更新されたモデルを前記ネットワーク装置に送信するようにさらに構成され、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含み、前記ネットワーク装置の予測されるべき特徴データに基づいて分類結果を予測するように構成され、前記予測されるべき特徴結果はキーパフォーマンスインジケータ（ＫＰＩ）特徴データを含む、請求項２５乃至２８のいずれか一項に記載のモデル更新装置。
30. 前記受信ユニットは、前記ネットワーク装置の予測されるべき特徴データを受信するようにさらに構成され、
    前記モデル更新装置は、
    更新されたモデルを用いることにより、前記ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成された推論ユニットであって、該更新されたモデルは前記第２のモデル又は前記第３のモデルを含む、推論ユニット
    をさらに含む、請求項２５乃至２８のいずれか一項に記載のモデル更新装置。
31. 前記モデル更新装置は、
    テストデータを用いることにより前記第２のモデルをテストするように構成されたテストユニットであって、該テストデータはグラウンドトゥルースラベルを含む、テストユニットと
    劣化したデータを記憶して、前記サイト解析装置が該劣化したデータを用いることにより、前記サイト解析装置内のモデルを更新できるようにするように構成された記憶ユニットであって、該劣化したデータは前記テストデータに属し、前記劣化したデータの推論ラベルは前記グラウンドトゥルースラベルと等しくなく、該推論ラベルは前記テストデータを用いることにより、前記第２のモデルをテストすることにより前記サイト解析装置によって得られる、記憶ユニットと、
    をさらに含む、請求項２５乃至２８のいずれか一項に記載のモデル更新装置。
32. モデル更新装置であって、
    第１のモデルをサイト解析装置に送信するように構成された送信ユニットであって、該第１のモデルは、ネットワーク装置の予測されるべき特徴データに基づいて推論結果を出力するように構成されている、送信ユニットと、
    前記第１のモデルと第２のモデルとの差分データを受信するように構成された受信ユニットであって、該第２のモデルは、第１の訓練サンプルを用いることにより前記第１のモデルを訓練することにより前記サイト解析装置によって得られ、該第１の訓練サンプルは、前記サイト解析装置に対応するサイトネットワーク内の前記ネットワーク装置の第１の特徴データを含む、受信ユニットと、
    前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得るように構成された更新ユニットと、
    を含む、モデル更新装置。
33. 前記送信ユニットは、前記第１のモデルをＮ個のサイト解析装置に送信するように具体的に構成され、Ｎは１より大きい整数であり、
    前記受信ユニットは、Ｌ個のサイト解析装置によって送信される複数の差分データを受信するように具体的に構成され、Ｌは１よりも大きく且つＮ以下の整数であり、
    前記更新ユニットは、前記複数の差分データに基づいて前記第１のモデルを更新して前記第３のモデルを得るように具体的に構成され、
    前記送信ユニットは、前記第３のモデルを前記Ｎ個のサイト解析装置に送信するようにさらに構成されている、請求項３２に記載のモデル更新装置。
34. 前記モデル更新装置は取得ユニットをさらに含み、
    前記取得ユニットは、前記複数の差分データの平均値を得るように構成され、
    前記更新ユニットは、前記複数の差分データの平均値を用いることにより前記第１のモデルを更新して前記第３のモデルを得るように具体的に構成されているか、又は
    前記取得ユニットは、前記複数の差分データの加重平均値を得るように構成され、
    前記更新ユニットは、前記加重平均値を用いることにより前記第１のモデルを更新して前記第３のモデルを得るように具体的に構成されている、請求項３３に記載のモデル更新装置。
35. 前記モデル更新装置は、
    前記差分データを第１の解析装置に送信するＬ個のサイト解析装置に関する統計を収集するように構成された統計収集ユニット、
    をさらに含み、
    Ｎに対するＬの比が閾値Ｋに達した場合、前記更新ユニットは、前記差分データに基づいて前記第１のモデルを更新して第３のモデルを得るように具体的に構成され、Ｋは０より大きく１以下である、請求項３２乃至３４のいずれか一項に記載のモデル更新装置。
36. メモリ及びプロセッサを含むモデル更新装置であって、
    前記メモリはプログラムを記憶するように構成され、
    前記プロセッサは、前記メモリ内の前記プログラムを実行して、請求項９乃至１９のいずれか一項に記載の方法を行うか又は請求項２０乃至２４のいずれか一項に記載の方法を行うように構成されている、モデル更新装置。
37. コンピュータ記憶媒体であって、当該コンピュータ記憶媒体は命令を記憶し、該命令がコンピュータ上で実行された場合、該コンピュータは、請求項９乃至１９のいずれか一項に記載の方法を行うことができるか又は前記コンピュータは、請求項２０乃至２４のいずれか一項に記載の方法を行うことができる、コンピュータ記憶媒体。

Images