JP7344314B2

JP7344314B2 - ネットワーク異常検出

Info

Publication number: JP7344314B2
Application number: JP2021564368A
Authority: JP
Inventors: ペローラス，ジェームズ; トゥークラル，プージタ; カラパタプ，ダット; テルシス，アンドレアス; サヤナ，クリシュナ
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2019-04-29
Filing date: 2019-11-22
Publication date: 2023-09-13
Anticipated expiration: 2039-11-22
Also published as: EP4236240A3; US20240127055A1; CN113748656A; CN116455787A; EP3954099A1; KR20220002602A; KR102626273B1; US20200342311A1; US11507837B2; EP4236240A2; US20210133574A1; US10891546B2; JP2022530166A; CN113748656B; EP3954099B1; WO2020222872A1; US11861453B2; US20230054625A1

Description

この開示は、ネットワーク異常検出に関する。

背景
セルラー通信ネットワークは、モバイルデバイスおよびデータ端末などの加入者デバイスのための、音声、映像、パケットデータ、メッセージング、およびブロードキャストなどの通信コンテンツを提供する。セルラー通信ネットワークは、分散した地理的領域にわたって多くの加入者デバイスのために通信をサポートすることができる多くの基地局を含み得る。一般に、携帯電話などのユーザデバイスが１つの基地局の近くから別の基地局の近くに移動すると、セルラーネットワークのモバイルコンポーネントおよび固定コンポーネントが無線測定値および制御メッセージを交換して、モバイルデバイスが常に、インターネットまたは音声サービスなどの外部ネットワークとの間でデータを送受信する準備ができていることを保証する。にもかかわらず、残念ながら、これらの測定値および制御メッセージに悪影響を及ぼすネットワーク性能問題が、セルラー通信ネットワークについて生じる場合がある。したがって、ネットワーク性能問題を検出するための正確な方法を有さなければ、セルラーネットワークは、ユーザデバイスがネットワーク能力に従った信頼できる態様でデータを送受信できることを保証できないかもしれない。

概要
この開示の一局面は、ネットワーク異常を検出するための方法を提供する。方法は、データ処理ハードウェアで、セルラーネットワークから制御メッセージを受信するステップを含む。方法はさらに、データ処理ハードウェアが、制御メッセージから１つ以上の特徴を抽出するステップを含む。方法はまた、データ処理ハードウェアが、制御メッセージから抽出された１つ以上の特徴を特徴入力として受信するように構成された予測モデルを使用して、制御メッセージのための潜在的なラベルを予測するステップを含む。ここで、予測モデルは、訓練制御メッセージのセットについて訓練され、各訓練制御メッセージは、１つ以上の対応する特徴と、実際のラベルとを含む。方法はさらに、潜在的なラベルの確率が確信しきい値を満たすと、データ処理ハードウェアが判断するステップを含む。方法はまた、制御メッセージが、セルラーネットワークのネットワーク性能に影響を与えるそれぞれのネットワーク性能問題に対応するかどうかを判断するために、データ処理ハードウェアが制御メッセージを分析するステップを含む。制御メッセージが、ネットワーク性能に影響を与えるそれぞれのネットワーク性能問題に対応する場合、方法は、データ処理ハードウェアが、ネットワーク性能問題を、ネットワーク性能問題の原因であるネットワークエンティティに通信するステップを含む。

この開示の実現化例は、以下のオプションの特徴のうちの１つ以上を含んでいてもよい。いくつかの実現化例では、予測モデルを使用して潜在的なラベルを予測するステップは、潜在的なラベルに対する確率分布を予測するステップを含み、予測された潜在的なラベルは、潜在的なラベルに対する確率分布における潜在的なラベルのうちの１つを含む。これらの実現化例では、潜在的なラベルを予測するステップは、潜在的なラベルに対する確率分布における最も高い確率に関連付けられた潜在的なラベルを選択するステップを含む。いくつかの例では、予測モデルは、１つ以上のタイプのラベルを予測するように構成されたマルチクラス分類モデルを含む。予測モデルは、ディープニューラルネットワークまたは再帰型ニューラルネットワークを含んでいてもよい。各訓練制御メッセージの実際のラベルは、訓練制御メッセージに関連付けられたユーザ機器（user equipment：ＵＥ）デバイスのためのタイプ割当てコード（type allocation code：ＴＡＣ）か、または、セルラーネットワークのネットワーク要素のための識別子を含んでいてもよい。いくつかの構成では、セルラーネットワークは、汎用パケット無線サービストンネリングプロトコル（ＧＴＰ－Ｃ）に従って、またはDiameterプロトコルに従って、制御メッセージを通信する。オプションで、制御メッセージは、単一のネットワークセッション中にセルラーネットワークのユーザによって送信された複数の制御メッセージのうちの１つに対応する。いくつかの例では、制御メッセージから抽出された１つ以上の特徴は、セルラーネットワークのユーザによる単一セッション内でメッセージタイプが生じる回数を表わすメッセージタイプサマリーベクトルを含む。いくつかの実現化例では、特徴は、セルラーネットワークのユーザによる単一セッションに関連付けられた期間において転送されたデータ量を含む。

いくつかの例では、制御メッセージがそれぞれのネットワーク性能問題に対応していない場合、方法は、データ処理ハードウェアで、セルラーネットワークから次の制御メッセージを受信するステップと、データ処理ハードウェアが、次の制御メッセージから１つ以上の対応する特徴を抽出するステップとを含む。方法はまた、次の制御メッセージから抽出された１つ以上の対応する特徴のうちの少なくとも１つが、制御メッセージから抽出された１つ以上の特徴と一致することを、データ処理ハードウェアが識別するステップと、次の制御メッセージのための対応する潜在的なラベルを予測するために予測モデルを使用する前に、データ処理ハードウェアが、次の制御メッセージから抽出された１つ以上の特徴のうちの識別された少なくとも１つを、予測モデルへの特徴入力として除去するステップとを含む。

いくつかの実現化例では、制御メッセージがそれぞれのネットワーク性能問題に対応していない場合、方法は、データ処理ハードウェアが、制御メッセージから抽出された１つ以上の特徴を識別するステップを含む。ここで、方法はまた、次の制御メッセージのための対応する潜在的なラベルを予測するために予測モデルを使用する前に、データ処理ハードウェアが、制御メッセージから抽出された識別された１つ以上の特徴のうちのいずれかと一致する１つ以上の対応する特徴を含む各訓練制御メッセージを除去することによって、訓練制御メッセージのセットを修正するステップと、データ処理ハードウェアが、訓練制御メッセージの修正されたセットを用いて予測モデルを再訓練するステップとを含む。

この開示の別の局面は、ネットワーク異常を検出するためのシステムを提供する。システムは、データ処理ハードウェアと、データ処理ハードウェアと通信しているメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されるとデータ処理ハードウェアに動作を行なわせる命令を格納する。動作は、セルラーネットワークから制御メッセージを受信することを含む。動作はさらに、制御メッセージから１つ以上の特徴を抽出することを含む。動作はまた、制御メッセージから抽出された１つ以上の特徴を特徴入力として受信するように構成された予測モデルを使用して、制御メッセージのための潜在的なラベルを予測することを含む。ここで、予測モデルは、訓練制御メッセージのセットについて訓練され、各訓練制御メッセージは、１つ以上の対応する特徴と、実際のラベルとを含む。動作はさらに、潜在的なラベルの確率が確信しきい値を満たすと判断することを含む。動作はまた、制御メッセージが、セルラーネットワークのネットワーク性能に影響を与えるそれぞれのネットワーク性能問題に対応するかどうかを判断するために、制御メッセージを分析することと、制御メッセージが、ネットワーク性能に影響を与えるそれぞれのネットワーク性能問題に対応する場合、ネットワーク性能問題を、ネットワーク性能問題の原因であるネットワークエンティティに通信することとを含む。

この局面は、以下のオプションの特徴のうちの１つ以上を含んでいてもよい。いくつかの実現化例では、予測モデルを使用して潜在的なラベルを予測することは、潜在的なラベルに対する確率分布を予測することを含み、予測された潜在的なラベルは、潜在的なラベルに対する確率分布における潜在的なラベルのうちの１つを含む。これらの実現化例では、潜在的なラベルを予測することは、潜在的なラベルに対する確率分布における最も高い確率に関連付けられた潜在的なラベルを選択することを含む。いくつかの例では、予測モデルは、１つ以上のタイプのラベルを予測するように構成されたマルチクラス分類モデルを含む。予測モデルは、ディープニューラルネットワークまたは再帰型ニューラルネットワークを含んでいてもよい。各訓練制御メッセージの実際のラベルは、訓練制御メッセージに関連付けられたユーザ機器（ＵＥ）デバイスのためのタイプ割当てコード（ＴＡＣ）か、または、セルラーネットワークのネットワーク要素のための識別子を含んでいてもよい。いくつかの構成では、セルラーネットワークは、汎用パケット無線サービストンネリングプロトコル（ＧＴＰ－Ｃ）に従って、またはDiameterプロトコルに従って、制御メッセージを通信する。オプションで、制御メッセージは、単一のネットワークセッション中にセルラーネットワークのユーザによって送信された複数の制御メッセージのうちの１つに対応する。いくつかの例では、制御メッセージから抽出された１つ以上の特徴は、セルラーネットワークのユーザによる単一セッション内でメッセージタイプが生じる回数を表わすメッセージタイプサマリーベクトルを含む。いくつかの実現化例では、特徴は、セルラーネットワークのユーザによる単一セッションに関連付けられた期間において転送されたデータ量を含む。

いくつかの例では、制御メッセージがそれぞれのネットワーク性能問題に対応していない場合、動作は、セルラーネットワークから次の制御メッセージを受信することと、次の制御メッセージから１つ以上の対応する特徴を抽出することとを含む。ここで、動作はまた、次の制御メッセージから抽出された１つ以上の対応する特徴のうちの少なくとも１つが、制御メッセージから抽出された１つ以上の特徴と一致することを識別することと、次の制御メッセージのための対応する潜在的なラベルを予測するために予測モデルを使用する前に、次の制御メッセージから抽出された１つ以上の特徴のうちの識別された少なくとも１つを、予測モデルへの特徴入力として除去することとを含む。

いくつかの実現化例では、制御メッセージがそれぞれのネットワーク性能問題に対応していない場合、動作は、制御メッセージから抽出された１つ以上の特徴を識別することを含む。ここで、動作はまた、次の制御メッセージのための対応する潜在的なラベルを予測するために予測モデルを使用する前に、制御メッセージから抽出された識別された１つ以上の特徴のうちのいずれかと一致する１つ以上の対応する特徴を含む各訓練制御メッセージを除去することによって、訓練制御メッセージのセットを修正することと、訓練制御メッセージの修正されたセットを用いて予測モデルを再訓練することとを含む。

この開示の１つ以上の実現化例の詳細を、添付図面において、および以下の説明において述べる。他の局面、特徴、および利点は、説明および図面から、ならびに請求項から明らかになるであろう。

例示的な通信ネットワークの概略図である。図１の通信ネットワークのための例示的な異常検出器の概略図である。図１の通信ネットワークのための例示的な異常検出器の概略図である。図１の通信ネットワークのための例示的な異常検出器の概略図である。図１の通信ネットワークのための例示的な異常検出器の概略図である。ネットワーク異常を検出するための例示的な方法のフローチャートである。ここに説明されるシステムおよび方法を実現するために使用され得る例示的なコンピューティングデバイスの概略図である。

さまざまな図面における同じ参照記号は、同じ要素を示す。
詳細な説明
セルラーネットワークは、一連のネットワーク問題（たとえば、ハードウェアの劣化、ネットワーク要素間の構成ミス、ネットワーク機器の信頼できないアップデートまたはアップグレードなど）に悩まされる場合がある。ネットワーク問題は、ネットワーク性能に影響を与え、セルラーネットワークのユーザ（すなわち、セルラーネットワークの加入者）がセルラーネットワークの劣ったユーザ体験を有することを引き起こすおそれがある。劣ったユーザ体験はユーザの不満をもたらすかもしれず、おそらく、ネットワーク性能問題を解決する手段としてユーザがネットワークオペレータ（すなわち、ネットワークプロバイダ）を切り替えることさえもたらすかもしれない。

ネットワークプロバイダ（またはオペレータ）は、これらの問題に対処する動機を有する。なぜなら、ネットワーク問題は、自社の顧客忠誠心に影響を与えるかもしれず、自社のセルラーサービスに悪影響を及ぼすかもしれないためである。ネットワーク問題を解決しなければ、これらの問題は、ネットワークオペレータのビジネスに損害を与え、ネットワークオペレータの信用および／またはブランドを損なうおそれがあるであろう。にもかかわらず、ネットワークオペレータは、ネットワーク性能問題を直接体験しないことが多い。言い換えれば、一般にネットワーク性能問題の影響を受けるのは、セルラーネットワークのユーザである。これは、ネットワークオペレータがしばしば、ネットワーク問題が生じたときにそれらの報告をネットワークユーザに頼らなければならない場合があるということを意味する。しかしながら、ネットワーク問題に対処するためのユーザ報告には、いくつかの問題がある。最初に、ネットワークユーザは、自分が体験している問題がおそらく自分のセルラーネットワークに起因することを認識する必要があるだけでなく、何らかの態様でネットワークオペレータに問題を報告するために自分の時間を割く必要もある。明らかに、このアプローチは、自分が理想的とは言えない性能を体験していることを認識していないユーザについては、うまくいかないであろう。たとえば、あるユーザは、平均以下のネットワーク性能に慣れているか、または、ネットワーク性能がもっといいはずであることに気付かない。ここで、このタイプのユーザは、ネットワーク性能問題が存在することをネットワークオペレータに全く通知しないかもしれず、別のプロバイダならよりよい性能をもたらすかもしれないと考えてセルラーネットワークプロバイダを単に変更する。言い換えれば、元のセルラープロバイダは、問題に対処する機会を全く有さないかもしれない。また、ユーザがネットワーク性能問題をネットワークオペレータに報告した場合、ネットワークオペレータは、報告された問題の調査を行なう。これらの調査は、労働集約的なプロセスであるかもしれず、それは、報告された問題をすべて調査する／扱うために利用可能なリソースがないために、いくつかのユーザ問題を未解決のままにするかもしれない。特に、ネットワークオペレータはしばしば、報告されたユーザ問題を調査することよりも、セルラーネットワークを動作させることに、労働リソースを優先させなければならない場合がある。

別のアプローチは、ネットワークオペレータが、ネットワーク性能問題を示し得る異常を検出するために、セルラーネットワークを監視するということである。異常とは、セルラーネットワークのためのシグナリング中の一意的な出来事（または異なる挙動）を指す。ここで、異常自体は、一意的な出来事が、有害な挙動（たとえば、ネットワーク性能問題）を示す出来事であるか、または、有害でない挙動（たとえば、ネットワーク性能問題ではない）を示す出来事であるかどうかについては分からない。にもかかわらず、異常を識別することにより、ネットワークオペレータは、異常を分析して、当該異常がネットワーク性能問題に対応するかどうかを判断し得る。

従来、セルラーネットワーク内の異常を検出することは、欠点を有していた。たとえば、セルラー使用およびトラフィックに依存して、セルラーネットワークは、巨大な量のログデータ（たとえば、ネットワークログ、プロセス間ログ、使用統計など）を有し得る。異常を識別するために巨大な量のデータをふるいにかけることは、リソース集約的である場合がある。したがって、ネットワーク性能に影響を与えた異常が検出された場合、当該異常を検出したエンティティ（たとえばネットワークオペレータ）は、他の事例において同じまたは同様の異常をより容易に検出するためのルールを定めてもよい。この従来の形式の異常検出はしたがって、正常挙動からのずれを識別するための１つ以上のルールを生成する。たとえば、あるルールは、あるメッセージタイプが典型的には１秒当たり５回の割合で生じると定義する。そのメッセージタイプが１秒当たりより多くまたはより少なく生じた場合、このルールは、システムがこのずれを異常として検出することを可能にするであろう。残念ながら、この形式の異常検出の問題は、特定された正常性から外れた挙動を有する異常を識別するために、エンティティがまず、何が正常挙動と考えられるかを特定しなければならないということである。ここで、この方法は、既知のルールによって決められた既知の異常についてのみ機能する。言い換えれば、ネットワーク性能に影響を与える新たな異常は、ルールが新たな異常（または、新たな異常の代わりに生じているはずである正常挙動）に具体的に対処するまで、検出されないであろう。このアプローチは、性能問題を引き起こし得る新たな異常について予測する能力を欠く。このため、予測異常検出器が、ネットワーク性能問題を検出するために、異常をより正確に使用し得る。

図１は通信ネットワーク１００（セルラーネットワークとも呼ばれる）を示し、それは、汎用パケット無線サービス（General Packet Radio Service：ＧＰＲＳ）、モバイル通信用グローバルシステム（Global System for Mobile Communications：ＧＳＭ（登録商標））／ＧＳＭ進化型高速データレート（Enhanced Data Rates for GSM Evolution：ＥＤＧＥ）、ユニバーサルモバイル電気通信システム（Universal Mobile Telecommunication System：ＵＭＴＳ）／高速パケットアクセス（High Speed Packet Access：ＨＳＰＡ）、ＬＴＥおよびＬＴＥアドバンストネットワーク技術といった、第３世代パートナーシッププロジェクト（3rd Generation Partnership Project：３ＧＰＰ）によって特定された多くのアクセス技術をサポートする、ロングタームエボリューション（Long-Term Evolution：ＬＴＥ）ネットワーク、５Ｇネットワーク、および／または多重アクセスネットワークであってもよい。セルラーネットワーク１００（たとえばＬＴＥネットワーク）は、携帯電話およびデータ端末などの加入者デバイス１０２、１０２ａ～ｂと基地局１０４との間の高速データパケットの無線通信を可能にする。加入者デバイス１０２は、ユーザ機器（ＵＥ）デバイスおよび／またはモバイルデバイス１０２と同義であってもよい。たとえば、ＬＴＥは、コアネットワークの改良に加えて異なる無線インターフェイスを使用することによって電気通信の容量および速度を増加させるように構成された、ＧＳＭ／ＥＤＧＥおよびＵＭＴＳ／ＨＳＰＡネットワーク技術に基づく無線通信規格である。ＵＥデバイス１０２がデータ（たとえばデータパケット）を通信することを可能にするために、異なるタイプのセルラーネットワーク１００が、さまざまな帯域幅で異なる帯域／周波数をサポートしてもよい。例示するために、ＬＴＥは、１．４ＭＨｚ～２０ＭＨｚのスケーラブルなキャリア帯域幅をサポートし、周波数分割二重化（frequency division duplexing：ＦＤＤ）および時分割二重化（time-division duplexing：ＴＤＤ）の双方をサポートする。一方、５Ｇは、５ＭＨｚ～１００ＭＨｚに及ぶ帯域幅をサポートし、帯域幅の一部はＬＴＥと重複する。

ＵＥデバイス１０２は、ネットワーク１００を通して音声／データを送信および／または受信することができるあらゆる電気通信デバイスであってもよい。ＵＥデバイス１０２は、ラップトップ、タブレット、スマートフォン、およびウェアラブルコンピューティングデバイス（たとえば、ヘッドセットおよび／またはウォッチ）などのモバイルコンピューティングデバイスを含んでいてもよいが、それらに限定されない。ＵＥデバイス１０２はまた、デスクトップコンピュータ、スマートスピーカ／ディスプレイ、車両、ゲーミングデバイス、テレビ、または他の機器（たとえば、ネットワーク化されたホームオートメーションデバイスおよび家庭用機器）に含まれるコンピューティングデバイスといった、他のフォームファクタを有する他のコンピューティングデバイスを含んでいてもよい。ＵＥデバイス１０２は、通信ネットワーク１００のネットワークオペレータによって提供されるネットワークサービスに加入する。ネットワークオペレータはまた、モバイルネットワークオペレータ（mobile network operator：ＭＮＯ）、無線サービスプロバイダ、無線通信事業者、携帯電話会社、またはモバイルネットワークキャリアと呼ばれてもよい。

ＵＥデバイス１０２は、通信ネットワーク１００（または５Ｇ／３Ｇ／２Ｇネットワーク）を通して、パケットデータネットワーク（packet data network：ＰＤＮ）などの外部ネットワーク３０と通信してもよい。図１を参照して、通信ネットワーク１００は、第１の部分である、進化型ユニバーサル地上無線アクセスネットワーク（Evolved Universal Terrestrial Radio Access Network：ｅ－ＵＴＲＡＮ）部分１０６と、第２の部分である、進化型パケットコア（Evolved Packet Core：ＥＰＣ）部分１０８とを含む、ＬＴＥネットワークである。第１の部分１０６は、モバイルネットワークのための３ＧＰＰのＬＴＥアップグレードパスのエアインターフェイス１１０（すなわち、進化型ユニバーサル地上無線アクセス（Evolved Universal Terrestrial Radio Access：ｅ－ＵＴＲＡ）と、ＵＥデバイス１０２と、複数の基地局１０４とを含む。ＬＴＥエアインターフェイス１１０は、ダウンリンクのために直交周波数分割多重アクセス（orthogonal frequency-division multiple access：ＯＦＤＭＡ）無線アクセスを、アップリンクのために単一キャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）を使用する。したがって、第１の部分１０６は、エアインターフェイス１１０を通り、１つ以上の基地局１０４を介した、外部ネットワーク３０からＵＥデバイス１０２へのデータパケットおよび／または他の表面の無線通信をサポートする無線アクセスネットワーク（radio access network：ＲＡＮ）を提供する。

各基地局１０４は、進化型ノードＢ（ｅＮｏｄｅＢまたはｅＮＢとも呼ばれる）を含んでいてもよい。ｅＮＢ１０４は、ＵＥデバイス１０２と直接通信するためにエアインターフェイス１１０（たとえば携帯電話ネットワーク）に接続するハードウェアを含む。たとえば、ｅＮＢ１０４は、エアインターフェイス１１０を通して、ダウンリンクＬＴＥ／３Ｇ／５Ｇ信号（たとえば通信）をＵＥデバイス１０２に送信し、ＵＥデバイス１０２からアップリンクＬＴＥ／３Ｇ／５Ｇ信号を受信してもよい。基地局１０４は、１つ以上のＵＥデバイス１０２が当該基地局１０４経由でネットワーク１００と通信するエリアに対応する、関連付けられたカバレージエリア１０４_ａｒｅａを有していてもよい。ｅＮＢ１０４は、ＥＰＣ１０８と通信するためのＳ１インターフェイスを使用する。Ｓ１インターフェイスは、モビリティ管理エンティティ（Mobility Management Entity：ＭＭＥ）１１２と通信するためのＳ１－ＭＭＥインターフェイスと、サービングゲートウェイ（Serving Gateway：ＳＧＷ）１１６とインターフェイス接続するためのＳ１－Ｕインターフェイスとを含んでいてもよい。したがって、Ｓ１インターフェイスは、ＥＰＣ１０８と通信するためのバックホールリンクに関連付けられる。

ＥＰＣ１０８は、ＬＴＥネットワーク１００上の音声およびデータを収束させるように構成されたフレームワークを提供する。ＥＰＣ１０８は、インターネットプロトコル（Internet Protocol：ＩＰ）サービスアーキテクチャ上の音声およびデータを統合し、音声は、単なるもう１つのＩＰアプリケーションとして処理される。ＥＰＣ１０８は、ＭＭＥ１１２、サービングＧＰＲＳサポートノード（Serving GPRS Support Node：ＳＧＳＮ）１１４、ＳＧＷ１１６、ポリシーおよび課金ルール機能（Policy and Charging Rules Function：ＰＣＲＦ）１１８、ホーム加入者サーバ（Home Subscriber Server：ＨＳＳ）１２０、およびパケットデータノードゲートウェイ（Packet Data Node Gateway：ＰＧＷ）１２２などのいくつかのネットワーク要素を、何ら限定されることなく含む。ＰＧＷ１２２はまた、ネットワークゲートウェイデバイス１２２と呼ばれてもよく、ネットワークが３Ｇネットワークに対応する場合、ネットワークゲートウェイデバイス１２２は、ＰＧＷ１２２の代わりにゲートウェイＧＰＲＳサポートノード（Gateway GPRS Support Node：ＧＧＳＮ）を含む。オプションで、ネットワークが５Ｇまたは５Ｇ＋ネットワークに対応する場合、ネットワークゲートウェイデバイス１２２は、５Ｇおよび／または５Ｇ＋ネットワークによって定義されるような命名規則を用いるゲートウェイノードを含んでいてもよい。ＭＭＥ１１２、ＳＧＳＮ１１４、ＳＧＷ１１６、ＰＣＲＦ１１８、ＨＳＳ１２０、およびＰＧＷ１２２は、スタンドアロンのコンポーネントであってもよく、または、これらのコンポーネントのうちの少なくとも２つが一体化されてもよい。ＥＰＣ１０８は、ＵＥデバイス１０２および外部ネットワーク３０と通信して、それらの間でデータパケットをルーティングする。

ネットワーク１００は、ＵＥデバイス１０２、基地局１０４、およびさまざまなネットワーク要素（たとえば、ＭＭＥ１１２、ＳＧＳＮ１１４、ＳＧＷ１１６、ＰＣＲＦ１１８、ＨＳＳ１２０、およびＰＧＷ１２２）が、ネットワーク１００の使用中に互いに協働することを可能にするインターフェイスを含む。情報は、これらのインターフェイスに沿ってネットワーク１００全体にわたって流れ、一般にこれらのインターフェイスは、ユーザプレーンと制御プレーンとに分割されてもよい。ユーザプレーンは、ユーザプレーントラフィックをルーティングし、ＵＥデバイス１０２と基地局１０４との間に、パケットデータ収束プロトコル（packet data convergence protocol：ＰＤＣＰ）、無線リンク制御（radio link control：ＲＬＣ）、および媒体アクセス制御（medium access control：ＭＡＣ）などの副層とともに、ユーザプレーンプロトコルスタックを含む。ネットワーク要素間で実線で示された、ユーザプレーンに特有のいくつかのインターフェイスは、ベアラごとのユーザプレーントンネリング、および、ハンドオーバー中の基地局間パス切替えのための、基地局１０４とＳＧＷ１１６との間のＳ１－Ｕインターフェイスと、制御およびモビリティサポート、ならびに、場合によっては、ユーザプレーントンネリングのための、２Ｇアクセスまたは３Ｇアクセスを有するＵＥデバイス１０２とＰＧＷ１２２との間のＳ４インターフェイスと、オペレータ構成オプションとしてのユーザプレーントンネリングのための、Ｅ－ＵＴＲＡＮ部分１０６（たとえばＵＥデバイス１０２）とＳＧＷ１１６との間のＳ１２インターフェイス（図示せず）とが挙げられる。他のタイプの通信ネットワーク（たとえば３Ｇ、５Ｇなど）は、ネットワーク１００について図１に表わされたものに加えて、他のユーザプレーンインターフェイスを含んでいてもよい。

制御プレーンは、制御プレーンプロトコルを用いてユーザプレーン機能を制御しサポートすることを担当する。特に、制御プレーンは、Ｅ－ＵＴＲＡＮアクセス接続（たとえば、ネットワーク１００のＥ－ＵＴＲＡＮ部分１０６からの着脱）を制御し、確立されたネットワークアクセス接続（たとえば、ＩＰアドレスの起動）の属性を制御し、（たとえば、ユーザモビリティをサポートするために）確立されたネットワーク接続のルーティングパスを制御し、および／または、（たとえば、ＵＥデバイス１０２のユーザによる）ネットワーク１００への要望に基づいてネットワークリソースの割当てを制御する。ネットワーク要素間で点線で示された、制御プレーンに特有のいくつかのインターフェイスは、シグナリングメッセージの配信を保証する、基地局１０４とＭＭＥ１１２との間のＳ１－ＭＭＥインターフェイスと、アイドルおよび／またはアクティブ状態における３ＧＰＰ間アクセスネットワークモビリティのためのユーザ／ベアラ情報交換を可能にする、ＳＧＳＮ１１４とＭＭＥ１１２との間のＳ３インターフェイスと、ＳＧＷ１１６とＰＧＷ１２２との間のＳ５／Ｓ８インターフェイス（Ｓ５インターフェイスは、ＵＥデバイス１０２のモビリティに基づいた再配置を供給し、ＰＤＮの非配列ゲートウェイに接続するために、非ローミングシナリオで使用され、一方、Ｓ８インターフェイスは、公衆陸上移動体ネットワーク（public land mobile network：ＰＬＭＮ）に接続する）と、ＭＭＥ１１２間のハンドオーバーを調整するＳ１０インターフェイスと、信号メッセージを転送するための、ＭＭＥ１１２とＳＧＷ１１６との間のＳ１１インターフェイスと、ユーザアクセスに関連する加入および認証データの転送を可能にする、ＭＭＥ１１２とＨＳＳ１２０との間のＳ６ａインターフェイスと、ユーザアクセスに関連する加入および認証データの転送を同様に可能にする、ＨＳＳ１２０とＳＧＳＮ１１４との間のＳ６ｄインターフェイスと、ＵＥデバイス１０２のアイデンティティチェックをサポートするＳ１３インターフェイス（図示せず）とが挙げられる。他のタイプの通信ネットワーク（たとえば３Ｇ、５Ｇなど）は、ネットワーク１００について図１に表わされたものに加えて、他の制御プレーンインターフェイスを含んでいてもよい。

ある特定のＵＥデバイス１０２がネットワーク１００に接続すると、１つ以上の制御メッセージ１２８が、さまざまなネットワーク要素間で（たとえば、進化型パケットコア１０８およびＥ－ＵＴＲＡＮ部分１０６のネットワーク要素間で）送信される。たとえば、図１によって示されるように、基地局１０４は、新たなＵＥデバイス１０２がネットワーク１００への接続を試みていることを示す制御メッセージ１２８を、ＭＭＥ１１２に送信する。別の例として、ＳＧＷ１１６は、ある特定のＵＥデバイス１０２について外部ネットワーク３０からのデータが到着したことと、ＵＥデバイス１０２は待機するデータを受け入れるためにトンネルを確立するために呼び起こされる（またはページングされる）必要があることとを示す制御メッセージ１２８を、ＭＭＥ１１２に送信する。制御プレーンインターフェイスは、汎用パケット無線サービストンネリング制御（general packet radio service tunneling control：ＧＴＰ－Ｃ）プロトコル、またはDiameterプロトコルなどの制御プレーンプロトコルを使用して、そのような制御メッセージ１２８を送信してもよい。制御メッセージ１２８を送信するために使用されるプロトコルのタイプは、インターフェイスに依存してもよい。たとえば、Ｓ３、Ｓ５／Ｓ８、およびＳ１０インターフェイスはＧＴＰ－Ｃプロトコルを使用し、一方、Ｓ１１、Ｓ６ａ、Ｓ６ｄ、およびＳ１３インターフェイスはDiameterプロトコルを使用する。

ＭＭＥ１１２は、ＬＴＥネットワーク１００のためのキー制御ノードである。ＭＭＥ１１２は、セッションおよび状態を管理し、ネットワーク１００を通してＵＥデバイス１０２を認証し追跡する。たとえば、ＭＭＥ１１２は、非アクセス層（Non Access Stratum：ＮＡＳ）のためのシグナリングおよびセキュリティの制御、ＵＥデバイス１０２の認証およびモビリティ管理、ＵＥデバイス１０２のためのゲートウェイの選択、およびベアラ管理機能を含むもののそれらに限定されない、さまざまな機能を行なってもよい。ＳＧＳＮ１１４は、ＭＭＥ１１２に類似した何らかのやり方で作用してもよい。たとえば、ＳＧＳＮ１１４は、ＵＥデバイス１０２の場所を追跡し、セキュリティおよびアクセス制御機能を行なう。いくつかの例では、ＳＧＳＮ１１４は、（たとえば待機モードのＵＥデバイス１０２の）モビリティ管理、論理リンク管理、認証、課金機能、および／または取扱い過負荷状況を担当する。ＳＧＷ１１６は、データルーティングおよび転送、ならびにモビリティ固定といった、ユーザデバイス１０２のためのＩＰデータ転送に関連するさまざまな機能を行なう。ＳＧＷ１１６は、モバイルデバイス１０２のためのデータパケットのバッファリング、ルーティング、および転送などの機能を行なってもよい。

ＰＣＲＦ１１８は、ＥＰＣ１０８においてリアルタイムのポリシールールおよび課金を担当するノードである。いくつかの例では、ＰＣＲＦ１１８は、加入者データベース（すなわち、ＵＥデバイスユーザ）にアクセスしてポリシー決定を下すように構成される。サービス品質管理は、ＰＣＲＦ１１８とネットワークゲートウェイデバイス１２２との間の動的ポリシー相互作用によって制御されてもよい。ＰＣＲＦ１１８によるシグナリングは、ＥＰＳベアラの属性（すなわち、ＵＥデバイス１０２とＰＧＷ１２２との間の仮想接続）を確立または修正してもよい。ボイスオーバーＬＴＥ（voice over LTE：ＶｏＬＴＥ）などのいくつかの構成では、ＰＣＲＦ１１８は、コールを確立して要求帯域幅を分散させるためのネットワークリソースを、構成された属性を有するコールベアラに割当てる。

ＨＳＳ１２０は、全てのＵＥデバイスユーザデータを含むすべてのＵＥデバイス１０２のデータベースを指す。一般に、ＨＳＳ１２０は、コールおよびセッションセットアップについての認証を担当する。言い換えれば、ＨＳＳ１２０は、ユーザアクセスおよびＵＥコンテキスト認証のための加入および認証データを転送するように構成される。ＨＳＳ１２０は、ＵＥデバイス１０２および／またはＵＥデバイスユーザを認証するために、ＭＭＥ１１２と相互作用する。ＭＭＥは、ＰＬＭＮ上で、Diameterプロトコルを使用して（たとえばＳ６ａインターフェイスを介して）、ＨＳＳ１２０と通信する。

ＰＧＷ１２２（すなわち、ネットワークゲートウェイデバイス）は、インターネットプロトコル（ＩＰ）アドレス割当て、ＵＥデバイス１０２のためのデータ接続性の維持、ＵＥデバイス１０２のためのパケットフィルタリング、サービスレベルゲーティング制御およびレート実施、クライアントおよびサーバのための動的ホスト構成プロトコル（dynamic host configuration protocol：ＤＨＣＰ）機能、およびゲートウェイ汎用パケット無線サービス（gateway general packet radio service：ＧＧＳＮ）機能性などを含むもののそれらに限定されない、さまざまな機能を行なう。

いくつかの実現化例では、ネットワークゲートウェイデバイス１２２（たとえば、ＰＧＷ、またはＧＧＳＮ、もしくは、５Ｇおよび／または５Ｇ＋ネットワークによって定義されるような別の命名規則を用いるゲートウェイノード）のデータ処理ハードウェア１２４は、少なくとも１つのＵＥデバイス１０２に関連付けられた制御メッセージ１２８を受信する。データ処理ハードウェア１２４は、基地局１０４のカバレージエリア１０４_ａｒｅａ内での少なくとも１つのＵＥデバイス１０２とネットワーク１００との相互作用に基づいて、制御メッセージ１２８を受信してもよい。

図１をさらに参照して、通信ネットワーク１００はまた、異常検出器２００を含む。いくつかの例では、異常検出器２００は、ネットワークゲートウェイデバイス１２２（たとえば、ＰＧＷ、またはＧＧＳＮ、もしくは、５Ｇおよび／または５Ｇ＋ネットワークによって定義されるような別の命名規則を用いるゲートウェイノード）の一部である。たとえば、ネットワークゲートウェイデバイス１２２のデータ処理ハードウェア１２４および／またはメモリハードウェア１２６は、異常検出器２００をホストし、異常検出器２００の機能性を実行する。いくつかの実現化例では、異常検出器２００はＥ－ＵＴＲＡＮ部分１０６およびＥＰＣ１０８と通信するが、外部ネットワーク３０（たとえば、外部ネットワーク３０に対応するデータ処理ハードウェア）上に存在する。言い換えれば、外部ネットワーク３０は、それ自体のデータ処理ハードウェアまたは（たとえば、ネットワークゲートウェイデバイス１２２と共有される）共有データ処理ハードウェアを有する分散システム（たとえばクラウド環境）であってもよい。他の構成では、ネットワークゲートウェイデバイス１２２以外のネットワーク要素が、異常検出器２００を実現する。それに加えて、またはそれに代えて、異常検出器２００は、ネットワーク１００の２つ以上のネットワーク要素にまたがって存在する。

一般に、異常検出器２００は、１つ以上の制御メッセージ１２８に基づいて、ネットワーク１００内に生じる異常を検出するように構成される。異常が検出されると、異常検出器２００は、当該異常が、ネットワーク１００の性能に影響を与えるネットワーク性能問題２０２に対応するかどうかを分析する。言い換えれば、異常検出器２００は、ネットワーク１００内の一意的な出来事（すなわち異常）を識別し、当該一意的な出来事がネットワーク１００の性能にとって有害である（または、ユーザ体験に悪影響を及ぼす）かどうかを判断する。検出された異常はネットワーク性能に影響を与えると異常検出器２００が識別した場合、異常検出器２００は、ネットワーク性能問題２０２の原因であるネットワークエンティティ４０に通知するか、または、原因エンティティを知っているか原因エンティティと通信するエンティティにネットワーク性能問題２０２を中継するように構成される。たとえば、異常検出器２００は、検出された異常に対応するネットワーク性能問題２０２を、ネットワークオペレータに信号で知らせるかまたは通知してもよい。いくつかの実現化例では、異常検出器２００は、ネットワーク異常を示す１つ以上の制御メッセージ１２８をネットワークエンティティ４０に通信する。ここで、ネットワークエンティティ４０は、ネットワーク問題２０２の解決を助けるために１つ以上の制御メッセージ１２８をさらに分析してもよい。

図２Ａ～２Ｄを参照して、異常検出器２００は一般に、収集器２１０と、抽出器２２０と、予測器２３０と、分析器２４０とを含む。収集器２１０は、ネットワーク１００から少なくとも１つの制御メッセージ１２８を受信するように構成される。いくつかの実現化例では、収集器２１０は、制御メッセージ１２８に対応するデータをログするための中央データベースとして機能するために、ネットワーク１００から制御メッセージ１２８を収集するためのデータストア２１２を含む。収集器２１０を用いて、異常検出器２００は、異常を検出するために使用され得る訓練データ（たとえば訓練制御メッセージ）を作成するために、さまざまなやり方で制御メッセージ１２８を処理してもよい。たとえば、収集器２１０は、ＵＥデバイス１０２の単一セッションからの制御メッセージ１２８を（たとえばデータストア２１２内で）ともにグループ化する。いくつかの例では、セッションとは、ユーザが（ＵＥデバイス１０２を介して）CreateSessionRequestまたはCreatePdpRequestメッセージを起動してから、ユーザがDeleteSessionResponseまたはDeletePdpContextRequestメッセージでセッションを終了させるまでの期間を指す。別の例として、収集器２１０は、ある期間内に（たとえばセッション中に）（たとえば、アップリンク方向、ダウンリンク方向、またはそれら双方の方向に）転送されたデータ量１２９を示すために、制御メッセージ１２８をともにグループ化する。ともにグループ化されたこれらの制御メッセージ１２８を用いて、収集器２１０は、ある期間についての総データ量１２９の表現を形成する。

他の構成では、収集器２１０は、制御メッセージ１２８が時系列（たとえばｔ_０～ｔ_３）としてひと続きにされるように、ログデータをシーケンスとして収集する。ここで、ひと続きの制御メッセージ１２８は、エンティティ（たとえば、特定のユーザまたはＵＥデバイス１０２）によって、または、当該エンティティのセッションによって集約されてもよい。これらのシーケンスが長くなり過ぎる場合、収集器２１０は、これらのシーケンスを固定長のサブシーケンスへと切断し、元のシーケンスの任意の識別子を各サブシーケンスに関連付けるように構成されてもよい。さもなければ、シーケンスは、収集器２１０がシーケンスを切断した場合に１つ以上のサブシーケンスに伝わらないであろうラベル（たとえば、特定のエンティティまたはＵＥデバイス１０２）を有するであろう。

抽出器２２０は、１つ以上の制御メッセージ１２８および／または制御メッセージ１２８に対応するログデータから情報を抽出するように構成される。抽出器２２０は、１つ以上の制御メッセージ１２８（またはその一部）から１つ以上の特徴２２２および／または１つ以上のラベル２２４を抽出してもよい。各特徴２２２および／またはラベル２２４は、制御メッセージ１２８から導き出される特性を指す。いくつかの例では、ラベル２２４は、ネットワーク１００の３ＧＰＰ標準化によって概して難読化されるネットワーク要素、ＵＥデバイス１０２、ＵＥデバイスのユーザ、または基地局１０４の特性である。言い換えれば、抽出器２２０は実際のラベル２２４を制御メッセージ１２８（または制御メッセージ１２８に関連するログデータ）から直接生成し得るが、ネットワーク１００が３ＧＰＰに準拠する場合、実際のラベル２２４を単に１つ以上の制御メッセージ１２８から文脈的に判断することはできないはずである。ラベル２２４のそのような一例は、無線デバイス（たとえば、携帯電話タイプのＵＥデバイス１０２）を識別するタイプ割当てコード（ＴＡＣ）である。ラベル２２４の他の例は、ネットワーク１００のネットワーク要素に対応する識別子（たとえば、ＭＭＥ識別子、基地局アイデンティティコード（base station identity code：ＢＳＩＣ）、国際移動体装置識別番号（international mobile equipment identity：ＩＭＥＩ）、Ｅ－ＵＴＲＡＮセルアイデンティティ（E-UTRAN cell identity：ＥＣＩ）／Ｅ－ＵＴＲＡＮセルグローバル識別子（E-UTRAN cell global identifier：ＥＣＧＩ）など）を、何ら限定されることなく含んでいてもよい。

一方、特徴２２２は、ラベル２２４を形成する特性と異なる、制御メッセージ１２８から導き出された別の特性に対応する。ここで、ラベル２２４とは異なり、制御メッセージ１２８の特徴２２２は、ネットワーク１００が３ＧＰＰに準拠する場合でも認識可能であり得る。特徴２２２のいくつかの例は、（たとえば、整数として表わされる）制御メッセージタイプ、ＧＴＰーＣメッセージ用の原因タイプ、（たとえば、収集器２１０が制御メッセージ１２８を順序付ける場合に）隣接するメッセージ間で経過した時間の量などを含む。いくつかの例では、抽出器２２０は、異なる制御メッセージプロトコルから異なる特徴２２２を抽出する。たとえば、ＧＴＰーＣメッセージから抽出された特徴２２２は、Diameterメッセージから抽出された特徴２２２とは異なっているであろう。いくつかの例では、抽出器２２０によって抽出された特徴２２２は、新たな特徴２２２を作成するために掛け合わされる。特徴２２２の掛け合わせとは、２つ以上の特徴２２２の一部の組合せを指す。たとえば、抽出器２２０は、メッセージタイプ特徴２２２と原因値特徴２２２とを掛け合わせて、メッセージタイプ－原因値特徴２２２を生成する。特徴２２２を掛け合わせることにより、抽出器２２０は、異常検出器２００が異常を検出する能力を高める可能性がある追加の訓練データセットを提供してもよい。

抽出器２２０が特徴２２２および／またはラベル２２４を抽出するかどうかは、異常検出器２００の段階に依存し得る。第１段階（たとえば訓練段階）では、異常検出器２００は、ネットワーク異常を予測できるように訓練する。異常検出器２００を訓練するために、抽出器２２０は、収集器２１０にある１つ以上の制御メッセージ１２８から情報を抽出する。抽出された情報は、１つ以上の特徴２２２と実際のラベル２２４とを含む訓練制御メッセージ２２６を形成する。実際のラベル２２４を正解（ground truth）として訓練制御メッセージ２２６に含めることにより、異常検出器２００は、どの特徴２２２がどのラベル２２４に対応し得るかを学習する。第２段階（たとえば推論）では、異常検出器２００の訓練後、抽出器２２０は、特徴２２２およびラベル２２４の双方を有する訓練制御メッセージ２２６をもはや提供しない。代わりに、抽出器２２０は、制御メッセージ１２８から１つ以上の特徴２２２を抽出し、訓練された異常検出器２００に頼ってラベル２２４を予測する。言い換えれば、各制御メッセージ１２８を処理してそこから実際のラベル２２４を抽出することは時間的制約があり、したがってリアルタイムでは実用的でないため、訓練された異常検出器２００は、制御メッセージ１２８から抽出された特徴２２２のみを特徴入力として使用して、潜在的なラベル２３４を予測してもよい。

予測器２３０は、抽出器２２０によって制御メッセージ１２８から抽出された１つ以上の特徴２２２に関連付けられた、当該制御メッセージ１２８のための潜在的なラベル２３４を予測するために、予測モデル２３２を使用するように構成される。理想的には、３ＧＰＰの標準化のため、潜在的なラベル２３４が所与の制御メッセージ１２８のための実際のラベル２２４と一致する（すなわち、実際のラベル２２４を正確に予測する）予測Ｐを予測器２３０が生成することは、できないはずである。このため、予測器２３０が、少なくとも１つの制御メッセージ１２８（たとえば、制御メッセージ１２８の特徴２２２）からの実際のラベル２２４と一致する潜在的なラベル２３４を予測する場合、この一致は、制御メッセージ１２８とラベル２２４、２３４との間の一意的な相関（すなわち、検出された異常）を示す。

予測器２３０が正しい予測Ｐを生成すると、分析器２４０は、関連する制御メッセージ１２８および／または制御メッセージ１２８に対応するログデータを分析する。ここで、分析器２４０は、制御メッセージ１２８が、ネットワーク１００のネットワーク性能に影響を与えるネットワーク性能問題２０２に対応するかどうかを判断するために、制御メッセージ１２８を分析する。言い換えれば、分析器２４０は、検出された異常が、有害な挙動による一意的な相関であるかどうか、または、検出された異常が単に、ネットワーク性能またはユーザ体験への影響がほとんどまたはまったくない一意的な挙動であるかどうかを判断する。制御メッセージ１２８の検出された異常はネットワーク性能に影響を与えると分析器２４０が判断した場合、分析器２４０は、この有害な挙動が修正されるように当該挙動にフラグを立てる。挙動を修正するために、分析器２４０は、ネットワーク性能問題２０２を、ネットワーク性能問題２０２の原因であるネットワークエンティティ４０（たとえば、ネットワークオペレータ、またはＵＥデバイスプロバイダ）に通信してもよい。

いくつかの構成では、分析器２４０はクラスタ化を行なう。クラスタ化は、調査すべき異常がネットワーク１００であまりにも多く生じている場合に有益であり得る。検出された異常を１つ１つ調査する代わりに、分析器２４０は、検出された異常を、類似グループへとクラスタ化する。グループへとクラスタ化することにより、分析器２４０は、ネットワーク１００により有害な影響を及ぼす可能性がある、より大きいクラスタを優先してもよい（たとえば、ネットワーク影響、またはネットワーク影響の可能性／確率によってクラスタをランク付けしてもよい）。また、分析器２４０が、検出された異常がネットワーク性能問題２０２に対応するかどうかを判断するために人間の分析に頼る場合、分析器２４０は、次元削減を行なうためにオートエンコーダを使用してもよい。オートエンコーダによる次元削減は、大きいデータセット（すなわち、多数の異常）における冗長な特徴を相関させることによって、当該大きいデータセットを削減するように構成される。ここで、傾斜降下に従って訓練されたニューラルネットワークとして、オートエンコーダは、データセットにおける新たな構造または一意性を識別しようとすることによって、次元削減を行なう。言い換えれば、オートエンコーダは、分析されるべきネットワーク性能問題２０２により相関し得る、ネットワーク１００についてのより一意的な異常を分離してもよい。クラスタ化とオートエンコーディングとを組合せることにより、多数の異常がより小さいグループ（クラスタ）へと形成され、次に、人的リソースおよび／または計算リソースを効率的に利用するために削減され得る。

予測器２３０は、予測モデル２３２を使用して潜在的なラベル２３４を予測する。いくつかの例では、予測モデル２３２は、ニューラルネットワーク（たとえば、ディープニューラルネットワーク（deep neural network：ＤＮＮ）、再帰型ニューラルネットワーク（recurrent neural network：ＲＮＮ）、または畳み込みニューラルネットワーク（convolution neural network：ＣＮＮ））である。予測Ｐを生成するために、予測モデル２３２はモデル訓練を受ける。ここで、予測モデル２３２のための訓練は、制御メッセージ１２８および／またはそれらの関連するログデータに対応する例（訓練データまたは訓練データセットとも呼ばれる）を使用して生じる。いくつかの実現化例では、抽出器２２０は、（たとえば、図２Ｂに示す）予測モデル２３２を訓練するための例として、訓練制御メッセージ２２６のセット２２８を生成する。いくつかの構成では、各訓練制御メッセージ２２６は、収集器２１０で処理された制御メッセージ１２８に対応する。抽出器２２０は、制御メッセージ１２８から、１つ以上の特徴２２２を、当該制御メッセージ１２８のための実際のラベル２２４とともに抽出することによって、各訓練制御メッセージ２２６を形成してもよい。いくつかの例では、２つ以上の制御メッセージ１２８が同じラベル２２４を有する場合、これらの制御メッセージ１２８の特徴２２２は、訓練制御メッセージ２２６の１つの例またはセット２２８へと組合される。たとえば、抽出器２２０は、組合せに含まれる各タイプの制御メッセージ１２８を説明するために、メッセージタイプベクトルサマリーを作成する。メッセージタイプベクトルサマリーは、（たとえば単一セッション内で）ある特定の制御メッセージ１２８に遭遇した回数を表わすために、起こり得るメッセージタイプごとに１つの入力を含んでいてもよい。

予測モデル２３２を訓練するために、予測器２３０は、訓練制御メッセージ２２６のセット２２８を、訓練セット２２６_Ｔと検証セット２２６_Ｖとに分割する。いくつかの例では、訓練セット２２６_Ｔおよび検証セット２２６_Ｖに加えて、訓練制御メッセージ２２６は、テストセットにも分けられる。予測モデル２３２は、（たとえば、過剰適合を防止するために）訓練をいつ停止するべきかを判断するために検証セット２２６_Ｖを使用しながら、訓練セット２２６_Ｔについて訓練する。予測モデル２３２の性能が特定のしきい値に達すると、または、検証セット２２６_Ｖについての予測モデル２３２の性能の低下が止まると、訓練は停止してもよい。いくつかの例では、訓練セット２２６_Ｔは、予測モデル２３２についての最終的な性能を評価する。いくつかの実現化例では、予測モデル２３２は、マルチクラス分類モデルとして訓練される。マルチクラス分類モデルとして、予測モデル２３２は、各クラスについての確率Ｐ_Ｂに関する見解を表わす確率分布Ｐ_Ｂｄｉｓを出力する。たとえば、予測モデル２３２がＴＡＣを予測する場合、各ＴＡＣは、予測モデル２３２がＴＡＣのクラスごとに確率分布を出力するように、異なるクラスになるであろう。

いくつかの例では、生じ得る新たなネットワーク問題２０２の早期発見を提供するために、予測モデル２３２を訓練して評価するプロセスは連続的に生じる。訓練がいったん完了すると、訓練からの予測Ｐは、予測モデル２３２にフィードバックされてもよい。これらの予測Ｐは、訓練セット２２６_Ｔ、検証セット２２６_Ｖ、テストセット、またはそれらの任意の組合せに対応してもよい。言い換えれば、予測モデル２３２は、訓練データ（たとえば、訓練制御メッセージ２２６のセット２２８）についての訓練からのその予測Ｐを評価するように構成される。このアプローチは、予測モデル２３２が訓練を完了し、潜在的なラベル２３４を予測する準備ができていることを保証し得る。

図２Ｂおよび図２Ｄを参照して、いくつかの例では、予測器２３０の予測モデル２３２は、潜在的なラベル２３４の予測Ｐについての確率Ｐ_Ｂを生成する。潜在的なラベル２３４の確率Ｐ_Ｂを評価するために、予測器２３０は、確信しきい値２３６を適用してもよい。確信しきい値２３６は、潜在的なラベル２３４の確率Ｐ_Ｂが、有害な挙動についての分析器２４０による評価を必要とする異常に対応するという確信のレベルを示す。言い換えれば、潜在的なラベル２３４の予測確率Ｐ_Ｂが確信しきい値２３６を満たす場合、予測器２３０は、潜在的なラベル２３４に対応する制御メッセージ１２８を分析器２４０に通信する。たとえば、確信しきい値２３６が９０％である場合、９０％よりも大きいＴＡＣを示す潜在的なラベル２３４の予測Ｐについての確率Ｐ_Ｂは、さらに分析されるために分析器２４０に進むべき確信ある予測Ｐを示す。

いくつかの構成では、予測モデル２３２は、潜在的なラベル２３４ａ～ｎに対する確率分布Ｐ_Ｂｄｉｓを出力／予測する。これらの構成では、確率分布Ｐ_Ｂｄｉｓにおける各潜在的なラベル２３４ａ～ｎは、対応する確率Ｐ_Ｂを含む。いくつかの例では、予測器２３０は、潜在的なラベル２３４ａ～ｎに対する確率分布Ｐ_Ｂｄｉｓにおいて最も高い確率Ｐ_Ｂを有する潜在的なラベル２３４ａ～ｎを選択することによって、潜在的なラベル２３４を予測する。図２Ｂおよび図２Ｄに示す例では、潜在的なラベル２３４ａは、潜在的なラベル２３４ａ～ｎに対する確率分布Ｐ_Ｂｄｉｓにおいて９１パーセント（９１％）という最も高い確率Ｐ_Ｂを有しており、したがって、予測器２３０は、潜在的なラベル２３４ａを選択し、確率Ｐ_Ｂ（９１％）を確信しきい値（９０％）と比較する。このため、この例では、予測器２３０は、選択された潜在的なラベル２３４ａの確率Ｐ_Ｂが確信しきい値２３６を満たすと判断し、制御メッセージ１２８が、ネットワーク性能に影響を与えるそれぞれのネットワーク性能問題２０２に対応するかどうかを判断するために、対応する制御メッセージ１２８を分析器２４０に進める。いくつかのシナリオでは、予測器２３０は、確信しきい値２３６を満たす対応する確率Ｐ_Ｂを有する、確率分布Ｐ_Ｂｄｉｓにおける各潜在的なラベル２３４ａ～ｎを、分析器２４０に通信する。

いくつかの構成では、予測モデル２３２は、（ＤＮＮモデルに比べて）順次データにより適しているＲＮＮモデルである。ＲＮＮモデルについては、抽出器２２０は、特徴２２２のためのシーケンスを生成する。言い換えれば、抽出器２２０は、順次制御メッセージ１２８（または、順次制御メッセージ１２８からの順次特徴２２２）から訓練制御メッセージ２２６を形成してもよい。順次特徴２２２の場合、各シーケンスは、順次特徴２２２が訓練データセットと検証データセットとテストデータセットとに分けられるように、訓練例であってもよい。順次データを好むことに加えて、ＲＮＮモデルは、前述の予測モデル２３２に比較的類似して動作する。

いくつかの例では、予測モデル２３２は、同様に機能する異なる潜在的なラベル２３４を区別するのが困難である。たとえば、ＴＡＣを予測する場合、同一に機能するいくつかのＴＡＣ（たとえば３つのＴＡＣ）があるかもしれない。この同一の挙動は、予測モデル２３２が、ＴＡＣが３つのＴＡＣのうちの１つであることを確信して知っているものの、どのＴＡＣかを正確に予測できないことをもたらす。この問題を克服するために、予測器２３０は、（たとえば、３つのＴＡＣのような）同様に機能するラベル２３４のグループを識別するために、主成分分析（principal component analysis：ＰＣＡ）を使用してもよい。ＰＣＡを使用して、潜在的なラベル２３４の予測Ｐはベクトルであってもよく、その場合、ＰＣＡは、ラベル２２４のどのグループが一般にともに予測されるかを識別する。たとえば、ＰＣＡは、これら３つのＴＡＣの主成分ベクトルが、それらがともにグループ化される（または考慮される）べきであることを示す強いピークを有するため、これら３つのＴＡＣはともに考慮されるべきであることを識別するであろう。

図２Ｃおよび図２Ｄを参照して、異常検出器２００はまた、フィルタ２５０を含んでいてもよい。フィルタ２５０は、同様の検出された異常の冗長な分析を防止するように構成される。言い換えれば、異常検出器２００は、異常が検出されるとフィルタ２５０を生成する。フィルタ２５０は、有害な挙動の異常のためのもの、または、有害でない挙動（すなわち、受け入れ可能な挙動）の異常のためのものであってもよい。異常に対応する制御メッセージ１２８がネットワーク性能に影響を与えるかどうかを、分析器２４０がいったん判断すると、同様の制御メッセージ１２８または同様の制御メッセージ１２８のシーケンスのためにこの同じ分析を行なうことは、異常検出リソースを、分析される必要のある新たな異常を検出することから保留し得る。したがって、フィルタ２５０は、反復分析を防止するよう試みる。たとえば、制御メッセージ１２８はネットワーク性能に影響を与えるそれぞれのネットワーク問題２０２に対応すると分析器２４０が判断した場合、それぞれのネットワーク問題２０２および／または制御メッセージ１２８は、原因ネットワークエンティティ４０に報告される。ここで、同様の制御メッセージ１２８を再分析し、ネットワークエンティティ４０に報告することは、冗長であろう。なぜなら、それぞれのネットワーク問題２０２はすでに報告されており、原因ネットワークエンティティ４０によってそのうち対処されるためである。一方、制御メッセージはネットワーク性能に影響を与えないと分析器２４０が判断した場合、制御メッセージ１２８に関連付けられた異常は有害でなく、したがって受け入れ可能である。したがって、次の同様の制御メッセージ１２８を再分析することは無意味であろう。

異常検出器２００は一般に、（１）予測モデル２３２への入力に先立って制御メッセージ１２８から抽出された特徴２２２についてのシナリオ、または（２）予測モデル２３２を訓練するために使用される訓練制御メッセージ２２６のセット２２８についてのシナリオという２つのシナリオにおいて、フィルタ２５０を適用し得る。いくつかの例（すなわち、第１のシナリオ）では、予測モデル２３２が訓練された後で、かつ、次の制御メッセージ１２８から抽出された１つ以上の特徴２２２が次の潜在的なラベル２３４の予測Ｐのために訓練された予測モデル２３２に入力される前に、異常検出器２００はフィルタ２５０を適用する。ここで、異常検出器２００は、次の制御メッセージ１２８から抽出された対応する特徴２２２のうちの１つ以上のうちの少なくとも１つが、ネットワーク異常を示す予測された潜在的なラベル２３４を有する以前の制御メッセージ１２８から抽出された１つ以上の特徴２２２と一致する（すなわち、予測された潜在的なラベル２３４が確信しきい値２３６を満たす）ことを識別する。その後、次の制御メッセージ１２８のための対応する潜在的なラベル２３４を予測するために予測モデル２３２を使用する前に、異常検出器２００はフィルタ２５０を適用して、次の制御メッセージ１２８から抽出された１つ以上の対応する特徴２２２のうちの識別された少なくとも１つを、予測モデル２３２への特徴入力としての使用から除去する。したがって、分析器２４０が、ネットワーク異常は有害でなかったと判断したか、またはネットワーク性能に影響を与えたと判断したかにかかわらず、潜在的なラベル２３４について予測器２３０で予測モデル２３２によって出力されたいかなる予測Ｐも、ネットワーク異常を示す予測された潜在的なラベル２３４を有する以前の制御メッセージ１２８から抽出された特徴２２２に基づいていないであろう。たとえば、図２Ｃは、次の制御メッセージ１２８のための潜在的なラベル２３４を予測するために予測器２３０に通信されている３つの特徴２２２のうちの１つをブロックおよび／または除去するフィルタ２５０を灰色で示す。

他の例（すなわち第２のシナリオ）では、図２Ｄなどでのように、異常検出器２００は、ネットワーク異常を示す潜在的なラベル２３４の予測Ｐを有するとして以前に識別された制御メッセージ１２８から抽出された任意の特徴２２２が訓練制御メッセージ２２６のセット２２８から除去されるように、予測モデル２３２を再訓練する。このアプローチはまた、制御メッセージ１２８がネットワーク性能問題２０２に対応するか否かにかかわらず、適用可能であってもよい。予測モデル２３２を再訓練するために、異常検出器２００はまず、ネットワーク異常を示す潜在的なラベル２３４を有する先の制御メッセージ１２８から抽出された１つ以上の特徴２２２を識別する。次に、次の制御メッセージ１２８のための対応する潜在的なラベル２３４を予測する（Ｐ）ために予測モデル２３２を使用する前に、異常検出器２００は、先の制御メッセージ１２８から抽出された識別された１つ以上の特徴２２２のうちのいずれかと一致する１つ以上の対応する特徴２２２を含む各訓練制御メッセージ２２６を除去することによって、訓練制御メッセージ２２６のセット２２８を修正する。その後、異常検出器２００は、訓練制御メッセージ２２６の修正されたセット２２８について予測モデル２３２を再訓練する。たとえば、図２Ｄは、フィルタ２５０が、訓練制御メッセージ２２６の再訓練セット（すなわち、修正されたセット２２８）から３つの訓練制御メッセージ２２６のうちの１つを除去することによって、訓練制御メッセージ２２６のセット２２８を修正することを表わす。１つ以上の訓練制御メッセージ２２６がいったん除去されると、フィルタ２５０は、訓練制御メッセージ２２６の修正されたセット２２８について予測モデル２３２を再訓練する。言い換えれば、予測モデル２３２が、どの特徴２２２が異常を示すかを検出するように訓練されなければ、異常はその後発見されず、ひいては無視されるであろう。

それに加えて、またはそれに代えて、検出された異常がそれぞれのネットワーク性能問題２０２を示し、ネットワーク性能問題２０２がその後解決された場合、異常検出器２００は、解決されたネットワーク性能問題２０２に関連する任意のフィルタ２５０を除去するように構成されてもよい。予測モデル２３２がＲＮＮモデルである構成では、異常検出器２００は、フィルタ２５０を選択的に適用してもよい。言い換えれば、特徴２２２としてシーケンス全体を除去するのではなく、フィルタ２５０は、検出された異常のある特定の制御メッセージ１２８に対応する特徴２２２のシーケンスの一部を除去してもよい。有利には、フィルタ２５０は、シーケンスがより小さいシーケンスに分かれる前に、シーケンスのこの一部を除去してもよい。たとえば、小さい期間を有するCreateSessionRequestメッセージがあまりにも多くある場合をフィルタ２５０が識別すると、これらの個々のメッセージは、完全にまたは部分的に除去され得る。

図３は、ネットワーク異常を検出するための例示的な方法３００のフローチャートを示す。動作３０２で、方法３００は、セルラーネットワーク１００から制御メッセージ１２８を受信する。動作３０４で、方法３００は、制御メッセージ１２８から１つ以上の特徴２２２を抽出する。動作３０６で、方法３００は、制御メッセージ１２８から抽出された１つ以上の特徴２２２を特徴入力として受信するように構成された予測モデル２３２を使用して、制御メッセージのための潜在的なラベル２３４を予測する。予測モデル２３２は、訓練制御メッセージ２２６のセットについて訓練され、各訓練制御メッセージ２２６は、１つ以上の対応する特徴２２２と、実際のラベル２２４とを含む。動作３０８で、方法３００は、潜在的なラベル２３４の確率Ｐ_Ｂが確信しきい値２３６を満たすと判断する。動作３１０で、方法３００は、制御メッセージ１２８が、セルラーネットワーク１００のネットワーク性能に影響を与えるそれぞれのネットワーク性能問題２０２に対応するかどうかを判断するために、制御メッセージ１２８を分析する。動作３１２で、制御メッセージ１２８が、ネットワーク性能に影響を与えるそれぞれのネットワーク性能問題に対応する場合、方法３００は、ネットワーク性能問題２０２を、ネットワーク性能問題２０２の原因であるネットワークエンティティ４０に通信する。

いくつかの例では、制御メッセージ１２８がそれぞれのネットワーク性能問題２０２に対応していない場合、方法３００は、セルラーネットワーク１００から次の制御メッセージ１２８を受信し、次の制御メッセージ１２８から１つ以上の対応する特徴２２２を抽出する。これらの例では、方法３００はまた、次の制御メッセージ１２８から抽出された１つ以上の対応する特徴２２２のうちの少なくとも１つが、制御メッセージ１２８から抽出された１つ以上の特徴２２２と一致することを識別する。ここで、次の制御メッセージのための対応する潜在的なラベル２３４を予測するために予測モデル２３２を使用する前に、方法３００は、次の制御メッセージ１２８から抽出された１つ以上の特徴２２２のうちの識別された少なくとも１つを、予測モデル２３２への特徴入力として除去する。いくつかの実現化例では、制御メッセージ１２８がそれぞれのネットワーク性能問題２０２に対応していない場合、方法３００は、制御メッセージ１２８から抽出された１つ以上の特徴２２２を識別する。ここで、１つ以上の特徴２２２を識別することに加えて、方法３００は、次の制御メッセージ１２８のための対応する潜在的なラベル２３４を予測するために予測モデル２３２を使用する前に、制御メッセージ１２８から抽出された識別された１つ以上の特徴２２２のうちのいずれかと一致する対応する特徴のうちの１つ以上を含む各訓練制御メッセージ２２６を除去することによって、訓練制御メッセージ２２６のセット２２８を修正し、訓練制御メッセージ２２６の修正されたセット２２８を用いて予測モデル２３２を再訓練する。

図４は、この文書で説明されるシステム（たとえば異常検出器２００）および方法（たとえば方法３００）を実現するために使用され得る例示的なコンピューティングデバイス４００の概略図である。コンピューティングデバイス４００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといった、さまざまな形態のデジタルコンピュータを表わすよう意図されている。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は単なる例示であることが意図されており、この文書で説明される、および／または請求項に記載のこの発明の実現化例を限定するよう意図されてはいない。

コンピューティングデバイス４００は、プロセッサ４１０（すなわち、データ処理ハードウェア）と、メモリ４２０（すなわち、メモリハードウェア）と、記憶装置４３０と、メモリ４２０および高速拡張ポート４５０に接続している高速インターフェイス／コントローラ４４０と、低速バス４７０および記憶装置４３０に接続している低速インターフェイス／コントローラ４６０とを含む。コンポーネント４１０、４２０、４３０、４４０、４５０、および４６０の各々は、さまざまなバスを使用して相互接続されており、共通のマザーボード上にまたは他の態様で適宜搭載されてもよい。プロセッサ４１０は、コンピューティングデバイス４００内で実行される命令を処理可能であり、これらの命令は、グラフィカルユーザインターフェイス（graphical user interface：ＧＵＩ）のためのグラフィック情報を、高速インターフェイス４４０に結合されたディスプレイ４８０などの外部入出力デバイス上に表示するために、メモリ４２０内または記憶装置４３０上に格納された命令を含む。他の実現化例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数のタイプのメモリとともに適宜使用されてもよい。また、複数のコンピューティングデバイス４００が接続されてもよく、各デバイスは（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の部分を提供する。

メモリ４２０は、情報をコンピューティングデバイス４００内に非一時的に格納する。メモリ４２０は、コンピュータ読取可能媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一時的メモリ４２０は、プログラム（たとえば命令のシーケンス）またはデータ（たとえばプログラム状態情報）を、コンピューティングデバイス４００による使用のために一時的または永続的に格納するために使用される物理デバイスであってもよい。不揮発性メモリの例は、フラッシュメモリおよび読出専用メモリ（read-only memory：ＲＯＭ）／プログラマブル読出専用メモリ（programmable read-only memory：ＰＲＯＭ）／消去可能プログラマブル読出専用メモリ（erasable programmable read-only memory：ＥＰＲＯＭ）／電子的消去可能プログラマブル読出専用メモリ（electronically erasable programmable read-only memory：ＥＥＰＲＯＭ）（たとえば、典型的にはブートプログラムなどのファームウェアのために使用される）を含むものの、それらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（random access memory：ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）、相変化メモリ（phase change memory：ＰＣＭ）、およびディスクまたはテープを含むものの、それらに限定されない。

記憶装置４３０は、コンピューティングデバイス４００のための大容量記憶を提供可能である。いくつかの実現化例では、記憶装置４３０は、コンピュータ読取可能媒体である。さまざまな異なる実現化例では、記憶装置４３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス、もしくは、ストレージエリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイであってもよい。追加の実現化例では、コンピュータプログラム製品が情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を行なう命令を含む。情報担体は、メモリ４２０、記憶装置４３０、またはプロセッサ４１０上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ４４０はコンピューティングデバイス４００のための帯域幅集約的な動作を管理し、一方、低速コントローラ４６０はより低い帯域幅集約的な動作を管理する。役目のそのような割当ては例示に過ぎない。いくつかの実現化例では、高速コントローラ４４０は、メモリ４２０、ディスプレイ４８０に（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）結合されるとともに、さまざまな拡張カード（図示せず）を受け付け得る高速拡張ポート４５０に結合される。いくつかの実現化例では、低速コントローラ４６０は、記憶装置４３０および低速拡張ポート４９０に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポート４９０は、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入力／出力デバイスに、もしくは、スイッチまたはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合されてもよい。

コンピューティングデバイス４００は、図に示すように多くの異なる形態で実現されてもよい。たとえばそれは、標準サーバ４００ａとして、またはそのようなサーバ４００ａのグループで複数回実現されてもよく、ラップトップコンピュータ４００ｂとして、またはラックサーバシステム４００ｃの一部として実現されてもよい。

ここに説明されるシステムおよび手法のさまざまな実現化例は、デジタル電子回路および／または光学回路、集積回路、特別に設計されたＡＳＩＣ（application specific integrated circuit：特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せにおいて実現され得る。これらのさまざまな実現化例は、データおよび命令を記憶システムとの間で送受信するように結合された、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含むプログラマブルシステム上で実行可能および／または解釈可能である１つ以上のコンピュータプログラムにおける実現を含み得る。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、プログラマブルプロセッサのための機械命令を含み、高レベルの手続き型および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ言語／機械語で実現され得る。ここに使用されるように、「機械読取可能媒体」および「コンピュータ読取可能媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、非一時的コンピュータ読取可能媒体、機器および／またはデバイス（たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ））を指し、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

この明細書で説明されるプロセスおよび論理フローは、１つ以上のプログラマブルプロセッサが、入力データに基づいて動作することおよび出力を生成することによって機能を行なうために１つ以上のコンピュータプログラムを実行することによって行なわれ得る。プロセスおよび論理フローはまた、たとえばＦＰＧＡ（field programmable gate array：フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）といった専用論理回路によって行なわれ得る。コンピュータプログラムの実行にとって好適であるプロセッサは、一例として、汎用および専用マイクロプロセッサと、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサとを含む。一般に、プロセッサは、命令およびデータを、読出専用メモリまたはランダムアクセスメモリまたはそれら双方から受信するであろう。コンピュータの本質的要素は、命令を行なうためのプロセッサと、命令およびデータを格納するための１つ以上のメモリデバイスとである。一般に、コンピュータはまた、たとえば磁気ディスク、光磁気ディスク、または光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むであろう。もしくは、当該大容量記憶装置からデータを受信し、または当該大容量記憶装置にデータを転送し、またはそれら双方を行なうように動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに好適であるコンピュータ読取可能媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、一例として、半導体メモリ装置、たとえばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、たとえば内部ハードディスクまたはリムーバブルディスク；光磁気ディスク；ならびに、ＣＤＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。プロセッサおよびメモリは、専用論理回路によって補足され、または専用論理回路に組込まれ得る。

ユーザとの相互作用を提供するために、この開示の１つ以上の局面は、情報をユーザに表示するためのディスプレイデバイス、たとえばＣＲＴ（cathode ray tube：陰極線管）、ＬＣＤ（liquid crystal display：液晶ディスプレイ）モニター、またはタッチスクリーンと、オプションで、ユーザがコンピュータへの入力を提供できるようにするキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールとを有するコンピュータ上で実現され得る。他の種類のデバイスも同様に、ユーザとの相互作用を提供するために使用され得る。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得る。また、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、当該デバイスから文書を受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答してウェブページを当該ウェブブラウザに送信することによって、ユーザと相互作用することができる。

多くの実現化例が説明されてきた。にもかかわらず、この開示の精神および範囲から逸脱することなく、さまざまな変更を行なってもよいということが理解されるであろう。したがって、他の実現化例は、請求の範囲内にある。

Claims

方法（３００）であって、
データ処理ハードウェア（１２４）で、セルラーネットワーク（１００）から制御メッセージ（１２８）を受信するステップと、
前記データ処理ハードウェア（１２４）が、前記制御メッセージ（１２８）から１つ以上の特徴（２２２）を抽出するステップと、
前記データ処理ハードウェア（１２４）が、前記制御メッセージ（１２８）から抽出された前記１つ以上の特徴（２２２）を特徴入力として受信するように構成された予測モデル（２３２）を使用して、前記制御メッセージ（１２８）のための潜在的なラベル（２３４）を予測するステップとを含み、前記予測モデル（２３２）は、訓練制御メッセージ（２２６）のセットについて訓練され、各訓練制御メッセージ（２２６）は、１つ以上の対応する特徴（２２２）と、実際のラベル（２２４）とを含み、前記潜在的なラベル（２３４）および前記実際のラベル（２２４）は、ネットワーク要素、ユーザ機器（ＵＥ）デバイス（１０２）または、基地局の特性であり、前記方法はさらに、
前記潜在的なラベル（２３４）の確率（ＰＢ）が確信しきい値（２３６）を満たすと、前記データ処理ハードウェア（１２４）が判断するステップと、
前記潜在的なラベル（２３４）が前記確信しきい値（２３６）を満たす確率（ＰＢ）の判断に応じて、前記制御メッセージ（１２８）が、前記セルラーネットワーク（１００）のネットワーク性能に影響を与えるそれぞれのネットワーク性能問題（２０２）に対応するかどうかを判断するために、前記データ処理ハードウェア（１２４）が前記制御メッセージ（１２８）を分析するステップと、
前記制御メッセージ（１２８）が、ネットワーク性能に影響を与える前記それぞれのネットワーク性能問題（２０２）に対応する場合、前記データ処理ハードウェア（１２４）が、前記ネットワーク性能問題（２０２）を、前記ネットワーク性能問題（２０２）の原因であるネットワークエンティティ（４０）に通信するステップとを含む、方法。
前記予測モデル（２３２）を使用して前記潜在的なラベル（２３４）を予測するステップは、潜在的なラベル（２３４）に対する確率分布（ＰＢｄｉｓ）を予測するステップを含み、予測された前記潜在的なラベル（２３４）は、潜在的なラベル（２３４）に対する前記確率分布（ＰＢｄｉｓ）における前記潜在的なラベル（２３４）のうちの１つを含む、請求項１に記載の方法（３００）。
前記潜在的なラベル（２３４）を予測するステップは、潜在的なラベル（２３４）に対する前記確率分布（ＰＢｄｉｓ）における最も高い確率（ＰＢ）に関連付けられた前記潜在的なラベル（２３４）を選択するステップを含む、請求項２に記載の方法（３００）。
前記制御メッセージ（１２８）が前記それぞれのネットワーク性能問題（２０２）に対応していない場合、
前記データ処理ハードウェア（１２４）で、前記セルラーネットワーク（１００）から次の制御メッセージ（１２８）を受信するステップと、
前記データ処理ハードウェア（１２４）が、前記次の制御メッセージ（１２８）から１つ以上の対応する特徴（２２２）を抽出するステップと、
前記次の制御メッセージ（１２８）から抽出された前記１つ以上の対応する特徴（２２２）のうちの少なくとも１つが、前記制御メッセージ（１２８）から抽出された前記１つ以上の特徴（２２２）と一致することを、前記データ処理ハードウェア（１２４）が識別するステップと、
前記次の制御メッセージ（１２８）のための対応する潜在的なラベル（２３４）を予測するために前記予測モデル（２３２）を使用する前に、前記データ処理ハードウェア（１２４）が、前記次の制御メッセージ（１２８）から抽出された前記１つ以上の対応する特徴（２２２）のうちの識別された前記少なくとも１つを、前記予測モデル（２３２）への特徴入力としての使用から除去するステップとをさらに含む、請求項１～３のいずれか１項に記載の方法（３００）。
前記制御メッセージ（１２８）が前記それぞれのネットワーク性能問題（２０２）に対応していない場合、
前記データ処理ハードウェア（１２４）が、前記制御メッセージ（１２８）から抽出された前記１つ以上の特徴（２２２）を識別するステップと、
次の制御メッセージ（１２８）のための対応する潜在的なラベル（２３４）を予測するために前記予測モデル（２３２）を使用する前に、
前記データ処理ハードウェア（１２４）が、前記制御メッセージ（１２８）から抽出された識別された前記１つ以上の特徴（２２２）のうちのいずれかと一致する１つ以上の対応する特徴（２２２）を含む各訓練制御メッセージ（２２６）を除去することによって、訓練制御メッセージ（２２６）の前記セットを修正するステップと、
前記データ処理ハードウェア（１２４）が、訓練制御メッセージ（２２６）の修正された前記セット（２２８）を用いて前記予測モデル（２３２）を再訓練するステップとをさらに含む、請求項１～４のいずれか１項に記載の方法（３００）。
前記予測モデル（２３２）は、１つ以上のタイプのラベルを予測するように構成されたマルチクラス分類モデルを含む、請求項１～５のいずれか１項に記載の方法（３００）。
各訓練制御メッセージ（２２６）の前記実際のラベル（２２４）は、前記訓練制御メッセージ（２２６）に関連付けられた前記ＵＥデバイス（１０２）のためのタイプ割当てコード（ＴＡＣ）を含む、請求項１～６のいずれか１項に記載の方法（３００）。
各訓練制御メッセージ（２２６）の前記実際のラベル（２２４）は、前記セルラーネットワーク（１００）のネットワーク要素のための識別子を含む、請求項１～７のいずれか１項に記載の方法（３００）。
前記セルラーネットワーク（１００）は、汎用パケット無線サービストンネリングプロトコル（ＧＴＰ－Ｃ）に従ってまたはDiameterプロトコルに従って前記制御メッセージ（１２８）を通信する、請求項１～８のいずれか１項に記載の方法（３００）。
前記制御メッセージ（１２８）は、単一のネットワークセッション中に前記セルラーネットワーク（１００）のユーザによって送信された複数の制御メッセージ（１２８）のうちの１つに対応する、請求項１～９のいずれか１項に記載の方法（３００）。
前記制御メッセージ（１２８）から抽出された前記１つ以上の特徴（２２２）は、前記セルラーネットワーク（１００）のユーザによる単一セッション内でメッセージタイプが生じる回数を表わすメッセージタイプサマリーベクトルを含む、請求項１～１０のいずれか１項に記載の方法（３００）。
前記特徴（２２２）は、前記セルラーネットワーク（１００）のユーザによる単一セッションに関連付けられた期間において転送されたデータ量を含む、請求項１～１１のいずれか１項に記載の方法（３００）。
前記予測モデル（２３２）は、ディープニューラルネットワークまたは再帰型ニューラルネットワークを含む、請求項１～１２のいずれか１項に記載の方法（３００）。
前記制御メッセージ（１２８）が、前記セルラーネットワーク（１００）のネットワーク性能に影響を与える前記それぞれのネットワーク性能問題（２０２）に対応するかどうかを判断するために、前記制御メッセージ（１２８）を分析するステップは、前記制御メッセージ（１２８）を、前記制御メッセージ（１２８）から抽出された前記１つ以上の特徴（２２２）のうちのそれぞれの１つを共有するクラスタへとクラスタ化するステップを含む、請求項１～１３のいずれか１項に記載の方法（３００）。
ネットワークゲートウェイデバイス（１００）であって、
データ処理ハードウェア（１２４）と、
前記データ処理ハードウェア（１２４）と通信しているメモリハードウェア（１２６）とを含み、前記メモリハードウェア（１２６）は、前記データ処理ハードウェア（１２４）上で実行されると前記データ処理ハードウェア（１２４）に請求項１～１４のいずれか１項に記載の動作を行なわせる命令を格納する、ネットワークゲートウェイデバイス（１００）。