JP7229496B1 - 異常検出のためのシステム、方法、及びコンピュータ可読媒体 - Google Patents
異常検出のためのシステム、方法、及びコンピュータ可読媒体 Download PDFInfo
- Publication number
- JP7229496B1 JP7229496B1 JP2022144468A JP2022144468A JP7229496B1 JP 7229496 B1 JP7229496 B1 JP 7229496B1 JP 2022144468 A JP2022144468 A JP 2022144468A JP 2022144468 A JP2022144468 A JP 2022144468A JP 7229496 B1 JP7229496 B1 JP 7229496B1
- Authority
- JP
- Japan
- Prior art keywords
- endpoint
- delay data
- data
- reconstruction error
- endpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims description 20
- 238000010200 validation analysis Methods 0.000 claims description 14
- 230000003111 delayed effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 description 48
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000002596 correlated effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001594 aberrant effect Effects 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
【解決手段】第1のエンドポイントの遅延データを取得する工程と、第2のエンドポイントの遅延データを取得する工程と、表現学習モデルによって、第1のエンドポイントの遅延データと当該第2のエンドポイントの遅延データに基づき、第1のエンドポイントの遅延データの再構成誤差分布データを生成する工程と、第1のエンドポイントの新しい遅延データを取得する工程と、第2のエンドポイントの新しい遅延データを取得する工程と、表現学習モデルによって、第1のエンドポイントの新しい遅延データと第2のエンドポイントの新しい遅延データに基づき、第1のエンドポイントの新しい遅延データの再構成誤差を生成する工程と、再構成誤差分布データの分散特性と再構成誤差に基づき、第1のエンドポイントに対する異常スコアを生成する工程と、を含む。
【選択図】図6
Description
10 ユーザ端末
30 バックエンドサーバ
40 ストリーミングサーバ
90 ネットワーク
200 エンドポイントデータベース
300 サーバ
302 エンドポイントモニター
304 機械学習モデル
306 特徴演算ユニット
308 異常スコア生成ユニット
310 システムモニター
312 相関演算ユニット
314 エンドポイントデータテーブル
316 再構成誤差分布テーブル
318 異常スコアテーブル
320 システムデータテーブル
322 相関関係テーブル
EP1、EP2、EP3 エンドポイント
S600、S602、S604、S606 S608、S610、S612 工程
S614、S616、S618、S620、S622 工程
Claims (10)
- 異常検出のための方法であって、
第1のエンドポイントの遅延データを取得する工程と、
第2のエンドポイントの遅延データを取得する工程と、
前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データに基づき、表現学習モデルにより、前記第1のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程と、
前記第1のエンドポイントの新しい遅延データを取得する工程と、
前記第2のエンドポイントの新しい遅延データを取得する工程と、
前記第1のエンドポイントの前記新しい遅延データと、前記第2のエンドポイントの前記新しい遅延データに基づき、前記表現学習モデルにより、前記第1のエンドポイントの前記新しい遅延データの再構成誤差を生成する工程と、
前記再構成誤差分布データの分散特性と前記再構成誤差に基づき、前記第1のエンドポイントの異常スコアを生成する工程と、
を含むことを特徴とする、異常検出のための方法。 - 前記表現学習モデルが、時間的畳み込みネットワークオートエンコーダ(TCNオートエンコーダ)モデルであり、前記第1のエンドポイントの前記遅延データの前記再構成誤差分布データが、前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データを前記TCNオートエンコーダモデルに入力することにより生成される、ことを特徴とする、請求項1に記載の異常検出のための方法。
- さらに、前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データに基づき、前記表現学習モデルにより、前記第2のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程を含む、ことを特徴とする、請求項1に記載の異常検出のための方法。
- 前記異常スコアが、前記再構成誤差分布データの四分位範囲と75パーセンタイルに基づき生成される、ことを特徴とする、請求項1に記載の異常検出のための方法。
- 前記第1のエンドポイントの前記遅延データが、第1のトレーニングセットと第1の検証セットを含み、前記第2のエンドポイントの前記遅延データが、第2トレーニングセットと、第2検証セットを含み、前記表現学習モデルが、 前記第1のトレーニングセットと前記第2のトレーニングセットにより訓練され、前記再構成誤差分布データが、前記第1の検証セットと前記第2の検証セットを前記表現学習モデルに入力することにより生成される、ことを特徴とする、請求項1に記載の異常検出のための方法。
- さらに、
システムパラメータの値を取得する工程と、
前記システムパラメータの値と、前記第1のエンドポイントの前記新しい遅延データの値との間の第1の相関値を生成する工程と、
前記システムパラメータの値と、前記第2のエンドポイントの前記新しい遅延データの値との間の第2の相関値を生成する工程と、
を含む、ことを特徴とする、請求項1に記載の異常検出のための方法。 - さらに、
複数のエンドポイントの遅延データを取得する工程と、
前記複数のエンドポイントの前記遅延データに基づき、TCNオートエンコーダにより、各前記複数のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程と、
前記複数のエンドポイントの新しい遅延データを取得する工程と、
前記複数のエンドポイントの新しい遅延データに基づき、各前記複数のエンドポイントの前記新しい遅延データの再構成誤差を生成する工程と、
対応する前記再構成誤差分布データの分散特性と対応する前記再構成誤差に基づき、各前記複数のエンドポイントの異常スコアを生成する工程と、
対応する前記エンドポイントの新しい遅延データとシステムパラメータに基づき、各前記複数のエンドポイントについて相関性データを生成する工程と、
各前記複数のエンドポイントの前記異常スコアに基づいて前記複数のエンドポイントをフィルタリングし、エンドポイントの第1のグループを作成する工程と、
前記第1のグループの各前記エンドポイントの相関性データに基づき、前記エンドポイントの前記第1のグループをフィルタリングして、エンドポイントの第2のグループを作成する工程と、
を含む、ことを特徴とする、請求項1に記載の異常検出のための方法。 - 異常検出のためのシステムであって、1以上のプロセッサを含み、そのうち、前記1以上のプロセッサが、機械可読命令を実行して、
第1のエンドポイントの遅延データを取得する工程と、
第2のエンドポイントの遅延データを取得する工程と、
前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データに基づき、表現学習モデルにより、前記第1のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程と、
前記第1のエンドポイントの新しい遅延データを取得する工程と、
前記第2のエンドポイントの新しい遅延データを取得する工程と、
前記第1のエンドポイントの前記新しい遅延データと、前記第2のエンドポイントの前記新しい遅延データに基づき、前記表現学習モデルにより、前記第1のエンドポイントの前記新しい遅延データの再構成誤差を生成する工程と、
前記再構成誤差分布データの分散特性と前記再構成誤差に基づき、前記第1のエンドポイントの異常スコアを生成する工程と、
を実行することを特徴とする、異常検出のためのシステム。 - 前記1以上のプロセッサが、機械可読命令を実行して、さらに、
前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データに基づき、前記表現学習モデルにより、前記第2のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程を実行する、ことを特徴とする、請求項8に記載の異常検出のためのシステム。 - 異常検出のためのプログラムを含む非一時的なコンピュータ可読媒体であって、そのうち、前記プログラムが、1以上のコンピュータに、
第1のエンドポイントの遅延データを取得する工程と、
第2のエンドポイントの遅延データを取得する工程と、
前記第1のエンドポイントの前記遅延データと、前記第2のエンドポイントの前記遅延データに基づき、表現学習モデルにより、前記第1のエンドポイントの前記遅延データの再構成誤差分布データを生成する工程と、
前記第1のエンドポイントの新しい遅延データを取得する工程と、
前記第2のエンドポイントの新しい遅延データを取得する工程と、
前記第1のエンドポイントの前記新しい遅延データと、前記第2のエンドポイントの前記新しい遅延データに基づき、前記表現学習モデルにより、前記第1のエンドポイントの前記新しい遅延データの再構成誤差を生成する工程と、
前記再構成誤差分布データの分散特性と前記再構成誤差に基づき、前記第1のエンドポイントの異常スコアを生成する工程と、
を実行させる、ことを特徴とする、非一時的なコンピュータ可読媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022144468A JP7229496B1 (ja) | 2022-09-12 | 2022-09-12 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
JP2023016868A JP2024040102A (ja) | 2022-09-12 | 2023-02-07 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
US18/338,942 US20240086272A1 (en) | 2022-09-12 | 2023-06-21 | System, method and computer-readable medium for anomaly detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022144468A JP7229496B1 (ja) | 2022-09-12 | 2022-09-12 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023016868A Division JP2024040102A (ja) | 2022-09-12 | 2023-02-07 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7229496B1 true JP7229496B1 (ja) | 2023-02-28 |
JP2024039820A JP2024039820A (ja) | 2024-03-25 |
Family
ID=85330588
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022144468A Active JP7229496B1 (ja) | 2022-09-12 | 2022-09-12 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
JP2023016868A Pending JP2024040102A (ja) | 2022-09-12 | 2023-02-07 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023016868A Pending JP2024040102A (ja) | 2022-09-12 | 2023-02-07 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240086272A1 (ja) |
JP (2) | JP7229496B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118095106B (zh) * | 2024-04-23 | 2024-06-28 | 珠海翔翼航空技术有限公司 | 一种飞机剩余燃油值预测方法、系统和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019087987A1 (ja) | 2017-11-02 | 2019-05-09 | 日本電信電話株式会社 | 異常検知装置、異常検知方法、及びプログラム |
US20190334784A1 (en) | 2017-01-17 | 2019-10-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatus for analysing performance of a telecommunications network |
CN115098330A (zh) | 2022-06-27 | 2022-09-23 | 重庆大学 | 基于云边协同模式的设备异常检测系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3594860B1 (en) * | 2018-07-09 | 2024-05-08 | Tata Consultancy Services Limited | Sparse neural network based anomaly detection in multi-dimensional time series |
-
2022
- 2022-09-12 JP JP2022144468A patent/JP7229496B1/ja active Active
-
2023
- 2023-02-07 JP JP2023016868A patent/JP2024040102A/ja active Pending
- 2023-06-21 US US18/338,942 patent/US20240086272A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190334784A1 (en) | 2017-01-17 | 2019-10-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatus for analysing performance of a telecommunications network |
WO2019087987A1 (ja) | 2017-11-02 | 2019-05-09 | 日本電信電話株式会社 | 異常検知装置、異常検知方法、及びプログラム |
CN115098330A (zh) | 2022-06-27 | 2022-09-23 | 重庆大学 | 基于云边协同模式的设备异常检测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024040102A (ja) | 2024-03-25 |
US20240086272A1 (en) | 2024-03-14 |
JP2024039820A (ja) | 2024-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sinno et al. | Large-scale study of perceptual video quality | |
JP7229496B1 (ja) | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 | |
US9338072B2 (en) | Optimizing the quality of audio within a teleconferencing session via an adaptive codec switching | |
DK2654225T3 (en) | UPstream ERROR DETECTION | |
US10541894B2 (en) | Method for assessing the perceived quality of adaptive video streaming | |
CN108632213A (zh) | 设备信息处理方法及装置 | |
US11265609B2 (en) | Deep reinforcement learning for personalized screen content optimization | |
CN107179995A (zh) | 一种计算机网络应用程序的性能测试方法 | |
Rao et al. | A large-scale evaluation of the bitstream-based video-quality model ITU-T P. 1204.3 on gaming content | |
CN114155852A (zh) | 语音处理方法、装置、电子设备及存储介质 | |
García et al. | Testing framework for WebRTC services | |
CN106919508A (zh) | 一种计算机网络应用程序测试案例的生成方法 | |
Eswara et al. | Modeling continuous video QoE evolution: A state space approach | |
CN115834443A (zh) | 流量回放方法、装置、计算机设备和存储介质 | |
CN113014443B (zh) | 一种cdn资源是否命中缓存的测试方法及其系统 | |
CN116827762A (zh) | 链路故障定位方法、装置、设备及计算机可读存储介质 | |
JP7040232B2 (ja) | 視聴行動推定装置、視聴行動推定方法及びプログラム | |
CN110471817A (zh) | 应用程序生命周期的监控方法、介质、设备及装置 | |
Göring et al. | Prenc—Predict number of video encoding passes with machine learning | |
Tan et al. | Continuous QoE prediction based on WaveNet | |
Demirbilek et al. | Perceived audiovisual quality modelling based on decison trees, genetic programming and neural networks | |
JP7233664B1 (ja) | 品質予測のためのシステム、方法、及びコンピュータ可読媒体 | |
CN113723982B (zh) | 广告对用户体验影响评估方法、装置、服务器及存储介质 | |
Matulin et al. | Development of Fuzzy Relationships between Different Quality of Experience Parameters | |
CN112291068B (zh) | 一种基于云存储的多媒体数据处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7229496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |