JP7202260B2 - ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 - Google Patents
ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 Download PDFInfo
- Publication number
- JP7202260B2 JP7202260B2 JP2019106758A JP2019106758A JP7202260B2 JP 7202260 B2 JP7202260 B2 JP 7202260B2 JP 2019106758 A JP2019106758 A JP 2019106758A JP 2019106758 A JP2019106758 A JP 2019106758A JP 7202260 B2 JP7202260 B2 JP 7202260B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- hyperparameter
- target data
- hyperparameters
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/149—Network analysis or design for prediction of maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Complex Calculations (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
上述したように、本発明は、ハイパーパラメータの最適化に関する。ここでのハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータである。ハイパーパラメータは、例えば、学習率やバッチサイズ、学習イテレーション数等、機械学習アルゴリズムにおける様々な特性を規定するものを含む。
まず、図1を参照して、本開示の実施形態を実施するためのコンピュータシステム300について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム300の主要コンポーネントは、1つ以上のプロセッサ302、メモリ304、端末インターフェース312、ストレージインタフェース314、I/O(入出力)デバイスインタフェース316、及びネットワークインターフェース318を含む。これらのコンポーネントは、メモリバス306、I/Oバス308、バスインターフェースユニット309、及びI/Oバスインターフェースユニット310を介して、相互的に接続されてもよい。
なお、ハイパーパラメータ管理装置205に含まれるそれぞれの機能部は、図1に示すハイパーパラメータ管理アプリケーション350を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。また、上記の機能部は、同一のコンピューティング環境に実施されてもよく、分散されたコンピューティング環境に実施されてもよい。例えば、ハイパーパラメータ計算部230を遠隔のサーバに実装し、それ以外の機能部をクライアント端末235A、235B等のローカルデバイスに実装する構成であってもよい。
なお、図3では、訓練用の対象データ208として、記憶部に予め格納された一例を図示しているが、本発明はこれに限定されず、例えば上述したクライアント端末から受信したデータを使用することも可能である。
具体的には、ハイパーパラメータ計算部230は、圧縮ネットワークハイパーパラメータを計算するためには、対象データ208の主成分及び分散比を計算し、当該主成分及び分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算する。この圧縮ネットワークパラメータは、圧縮ネットワーク210に設定される。この計算の詳細については後述する。
また、ハイパーパラメータ計算部230は、推定ネットワークハイパーパラメータを計算するためには、対象データ208と、一様分布を示す一様データとに基づいて、ギャップ統計計算手法を用いて対象データ208と一様データとのギャップ統計量を計算する。
その後、ハイパーパラメータ計算部230は、このギャップ統計量に基づいて、曲線フィット手法を用いて、推定ネットワークハイパーパラメータを計算する。この推定ネットワークハイパーパラメータは、推定ネットワーク220に設定される。この計算の詳細については後述する。
これにより、圧縮ネットワーク210及び推定ネットワークの、対象データの特異性の判定精度を向上させることができる。
なお、ここでは、圧縮ネットワーク210及び推定ネットワーク220は、既に訓練済み(つまり、適切な圧縮ネットワークハイパーパラメータ及び推定ネットワークハイパーパラメータが既に上述の手段によって特定されており、設定されている)であることを前提とする。
なお、図4に示すテスト環境400の構成は、訓練済みの圧縮ネットワーク210及び推定ネットワーク220を用いて、対象データの特異性を判定する際に用いられてもよい。ここでの特異性とは、検証対象の装置によって生成されるデータが、当該装置の性質からして妥当なものであるか否かを示す尺度である。この特異性に基づいて、装置410が正常に作動しているか、異常が現れているかを決定することができる。以下では、説明の便宜上、「特異性を判定する」との表現は、「対象データを生成した装置が正常であるか否かを検証する」ことを意味するものとする。
従って、本実施形態では、正確なクラスター数を判定するためには、以下に説明するギャップ統計計算手法及び曲線フィット手法を用いることとする。
なお、ここでの一様データは、例えば、対象データの各特徴について全ての観測値にわたって生成される一様分布を示すものであってもよい。
次に、数式5を用いて、一様分布におけるクラスター内の分散度Dr(m)を計算する。
その後、数式5を用いて、対象データのクラスターにおける分散度Doを計算する。
最後に、上記により計算したDr(m)及びDoを用いて、対象データと一様データのギャップ統計量を以下の数式6によって計算する。
なお、この変曲点は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す点である。以下では、この曲線フィット手法について説明する。
次に、差分曲線1142を計算した後、グラフ1140における極大値が以下の数式9によって計算される。
次に、極大値の閾値Tlmxは以下の数式10によって計算される。
なお、分散分析及び主成分分析は、一般的に知られている手段で計算されるため、ここではその詳細な説明は省略する。
例えば、図15の表面プロット1500に示すように、ガウス分布の数1510の値を「4」とし、低次元表現の次元数1505の値を「6」にした場合、判定精度1515の値1525が最大となる。このように、圧縮ネットワークのハイパーパラメータ及び推定ネットワークのハイパーパラメータを上述した計算手段で特定することにより、判定精度1515を最大化しつつ、対象データをなるべく圧縮し、なるべく少ない数のガウス分布で対象データを近似することができることが可能となる。
以上では、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを特定する処理を並行に実行する構成について説明したが、本発明はこれに限定されず、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを独立して特定する構成も可能である。
なお、構成1600は、図4を参照して説明したテスト環境400と実質的に同様であるため、同様の構成要素に同じ参照符号を付し、その説明を省略する。
207 通信部
208 対象データ
210 圧縮ネットワーク
220 推定ネットワーク
230 ハイパーパラメータ計算部
Claims (6)
- ハイパーパラメータ管理装置であって、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
前記ハイパーパラメータ計算部は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する、
ことを特徴とするハイパーパラメータ管理装置。 - 前記ハイパーパラメータ管理装置は、
データの特異性を判定する判定部を更に含み、
前記圧縮ネットワークは、
前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
前記推定ネットワークは、
前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
前記判定部は、
前記密度分布に基づいて、前記対象データの特異性を判定する、
ことを特徴とする、請求項1に記載のハイパーパラメータ管理装置。 - 前記推定ネットワークハイパーパラメータは、前記対象データを近似するために必要なガウス分布の数を示すものである、
ことを特徴とする、請求項1に記載のハイパーパラメータ管理装置。 - 前記圧縮ネットワークハイパーパラメータは、前記低次元表現の次元数を示すものである、
ことを特徴とする、請求項1に記載のハイパーパラメータ管理装置。 - ハイパーパラメータ管理システムであって、
前記ハイパーパラメータ管理システムは、
ハイパーパラメータ管理サーバと、クライアント端末とを含み、
前記ハイパーパラメータ管理サーバと、前記クライアント端末とが通信ネットワークを介して接続されており、
前記ハイパーパラメータ管理サーバは、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部と、
データの特異性を判定する判定部とを含み、
解析対象のデータを前記クライアント端末から受信する場合には、
前記ハイパーパラメータ計算部は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定し、
前記圧縮ネットワークは、
前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
前記推定ネットワークは、
前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
前記判定部は、
前記密度分布に基づいて、前記対象データの特異性を判定し、当該判定の結果を前記クライアントに通知する、
ことを特徴とするハイパーパラメータ管理システム。 - ハイパーパラメータ管理装置によって実行されるハイパーパラメータ管理方法であって、
前記ハイパーパラメータ管理装置は、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
前記ハイパーパラメータ管理方法は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する工程と、
を含むハイパーパラメータ管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019106758A JP7202260B2 (ja) | 2019-06-07 | 2019-06-07 | ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 |
US16/812,415 US11381470B2 (en) | 2019-06-07 | 2020-03-09 | Hyperparameter management device, hyperparameter management system, and hyperparameter management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019106758A JP7202260B2 (ja) | 2019-06-07 | 2019-06-07 | ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201617A JP2020201617A (ja) | 2020-12-17 |
JP7202260B2 true JP7202260B2 (ja) | 2023-01-11 |
Family
ID=73650172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106758A Active JP7202260B2 (ja) | 2019-06-07 | 2019-06-07 | ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11381470B2 (ja) |
JP (1) | JP7202260B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177037A (ja) | 2003-12-18 | 2005-07-07 | Fuji Photo Film Co Ltd | 石灰化陰影判定方法、石灰化陰影判定装置およびプログラム |
US20150019554A1 (en) | 2013-07-09 | 2015-01-15 | Sas Institute Inc. | Number of clusters estimation |
WO2019092459A1 (en) | 2017-11-13 | 2019-05-16 | Cambridge Bio-Augmentation Systems Limited | Time invariant classification |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10963783B2 (en) * | 2017-02-19 | 2021-03-30 | Intel Corporation | Technologies for optimized machine learning training |
US10679129B2 (en) * | 2017-09-28 | 2020-06-09 | D5Ai Llc | Stochastic categorical autoencoder network |
US10600005B2 (en) * | 2018-06-01 | 2020-03-24 | Sas Institute Inc. | System for automatic, simultaneous feature selection and hyperparameter tuning for a machine learning model |
US20200202170A1 (en) * | 2018-12-21 | 2020-06-25 | Microsoft Technology Licensing, Llc | Modular autotune for automated feed model training |
-
2019
- 2019-06-07 JP JP2019106758A patent/JP7202260B2/ja active Active
-
2020
- 2020-03-09 US US16/812,415 patent/US11381470B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177037A (ja) | 2003-12-18 | 2005-07-07 | Fuji Photo Film Co Ltd | 石灰化陰影判定方法、石灰化陰影判定装置およびプログラム |
US20150019554A1 (en) | 2013-07-09 | 2015-01-15 | Sas Institute Inc. | Number of clusters estimation |
WO2019092459A1 (en) | 2017-11-13 | 2019-05-16 | Cambridge Bio-Augmentation Systems Limited | Time invariant classification |
Also Published As
Publication number | Publication date |
---|---|
US20200389364A1 (en) | 2020-12-10 |
US11381470B2 (en) | 2022-07-05 |
JP2020201617A (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108709745B (zh) | 一种基于增强型lpp算法和极限学习机快速轴承故障识别方法 | |
Fumera et al. | A theoretical and experimental analysis of linear combiners for multiple classifier systems | |
US9213565B2 (en) | Methods and systems for mining datacenter telemetry data | |
Cai et al. | A new fault detection method for non-Gaussian process based on robust independent component analysis | |
CN105739489B (zh) | 一种基于ica‑knn的间歇过程故障检测方法 | |
Chaleshtori et al. | A novel bearing fault diagnosis approach using the Gaussian mixture model and the weighted principal component analysis | |
CN106547852B (zh) | 异常数据检测方法及装置、数据预处理方法及系统 | |
CN113095402B (zh) | 一种基于编码输入的生成对抗网络故障检测方法及系统 | |
CN112131322B (zh) | 时间序列分类方法及装置 | |
JP6991412B2 (ja) | 検索装置、検索方法、検索プログラム及び学習モデル検索システム | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
Zheng et al. | Density peaks clustering‐based steady/transition mode identification and monitoring of multimode processes | |
CN107992495B (zh) | 高维数据集的数据可视化分析方法及装置 | |
JP7020331B2 (ja) | クラスタリング装置、方法、及びプログラム | |
JP7202260B2 (ja) | ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 | |
CN117124138A (zh) | 模具零件自动化加工系统及方法 | |
CN116974268A (zh) | 一种控制系统电路智能化监测预警方法 | |
CN115775601A (zh) | 一种材料力热试验的异常数据监测方法及系统 | |
JP2020139914A (ja) | 物質構造分析装置、方法及びプログラム | |
Yao et al. | Fingerprint quality assessment: Matching performance and image quality | |
US20190138931A1 (en) | Apparatus and method of introducing probability and uncertainty via order statistics to unsupervised data classification via clustering | |
Gaita et al. | Convolutional neural network model used for aiding IC analog/mixed signal verification | |
CN118230083B (zh) | 一种基于连续双向2dpca的小样本图像识别方法及装置 | |
CN110728615B (zh) | 基于序贯假设检验的隐写分析方法、终端设备及存储介质 | |
US11869492B2 (en) | Anomaly detection system and method using noise signal and adversarial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7202260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |