JP7202260B2 - ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 - Google Patents

ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 Download PDF

Info

Publication number
JP7202260B2
JP7202260B2 JP2019106758A JP2019106758A JP7202260B2 JP 7202260 B2 JP7202260 B2 JP 7202260B2 JP 2019106758 A JP2019106758 A JP 2019106758A JP 2019106758 A JP2019106758 A JP 2019106758A JP 7202260 B2 JP7202260 B2 JP 7202260B2
Authority
JP
Japan
Prior art keywords
network
hyperparameter
target data
hyperparameters
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019106758A
Other languages
English (en)
Other versions
JP2020201617A (ja
Inventor
ハーシュ プラモドブハイ プロヒト
隆 遠藤
洋平 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019106758A priority Critical patent/JP7202260B2/ja
Priority to US16/812,415 priority patent/US11381470B2/en
Publication of JP2020201617A publication Critical patent/JP2020201617A/ja
Application granted granted Critical
Publication of JP7202260B2 publication Critical patent/JP7202260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/149—Network analysis or design for prediction of maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Complex Calculations (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法に関する。
機械学習技術は、ヘルスケアや金融、産業などの様々な分野で蓄積されたデータの解析に対して、新しい社会的価値を創出する技術として注目されている。機械学習には、ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅやｄｅｅｐｌｅａｒｎｉｎｇといったアルゴリズムの種類、及び各アルゴリズムにおいてモデルを決定するために必要なパラメータがある。事前に設定され、モデルの挙動を制御するこれらのパラメータは「ハイパーパラメータ」と呼ばれる。
一般的に、こうしたハイパーパラメータの組み合わせは、数万通り以上存在する。このため、解析したい問題に機械学習を適用する際には、ハイパーパラメータの組み合わせをいくつも試行し、最も精度が高くなる組み合わせを特定する必要がある。加えて、ハイパーパラメータの組み合わせは解析する問題ごとに最適な組み合わせが異なるため、問題やデータが変わるごとにハイパーパラメータの組み合わせの検討を行う必要があり、この点が機械学習技術を活用する上での課題となっている。
Ｓａｔｏｐａａ， Ｖ．， Ａｌｂｒｅｃｈｔ， Ｊ．， Ｉｒｗｉｎ， Ｄ． ａｎｄ Ｒａｇｈａｖａｎ， Ｂ．， ２０１１． Ｆｉｎｄｉｎｇ ａ ‘ｋｎｅｅｄｌｅ’ｉｎ ａ ｈａｙｓｔａｃｋ： Ｄｅｔｅｃｔｉｎｇ ｋｎｅｅ ｐｏｉｎｔｓ ｉｎ ｓｙｓｔｅｍ ｂｅｈａｖｉｏｒ． １６６－１７１. Ｉｎ ３１－ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ。
上記の非特許文献１には、ハイパーパラメータを特定する手段が記載されている。しかしながら、上記の非特許文献に記載の手段では、機械学習モデルを訓練するためには、大量のラベル付きデータが必要となる。そのため、非特許文献に記載の手段を導入しようとすると、ハイパーパラメータを特定するためのコストや工数を要する。
そこで、本発明は、ハイパーパラメータを教師なし学習の手法を用いて特定することで、低コストで異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することを目的とする。
上記の課題を解決するために、代表的な本発明のハイパーパラメータ管理装置の一つは、データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、前記低次元表現の密度分布を推定する推定ネットワークと、前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、前記ハイパーパラメータ計算部は、対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する。
本発明によれば、ハイパーパラメータを教師なし学習の手法を用いて特定することで、低コストで異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することができる。
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
本発明の実施形態を実施するためのコンピュータシステムのブロック図である。 本発明に係るハイパーパラメータ管理システムの構成の一例を示すブロック図である。 本発明の実施形態に係るハイパーパラメータ管理装置の機能的構成を示す図である。 本発明の実施形態に係るハイパーパラメータ管理装置のテスト環境の構成を示すブロック図である。 本発明の実施形態に係る圧縮ネットワークの構成を示す図である。 本発明の実施形態に係る推定ネットワークの構成を示す図である。 本発明の実施形態に係る圧縮ネットワーク及び推定ネットワークにおけるデータの流れを示す図である。 本発明の実施形態に係るハイパーパラメータの例を示す図である。 本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例を示す図である。 本発明の実施形態に係るクラスター数毎のギャップ統計量を示す図である。 本発明の実施形態に係る曲線フィット手法を、クラスター数毎のギャップ統計量を示すグラフに対して適用した一例を示す図である。 本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのグラフを示す図である。 本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定するためのグラフを示す図である。 本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク及び推定ネットワークに設定した結果を示す図である。 本発明の実施形態に係るハイパーパラメータによる精度の表面プロットを示す図である。 本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して使用するための構成の一例を示す図である。
以下、図面を参照して、従来例及び本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（概要）
上述したように、本発明は、ハイパーパラメータの最適化に関する。ここでのハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータである。ハイパーパラメータは、例えば、学習率やバッチサイズ、学習イテレーション数等、機械学習アルゴリズムにおける様々な特性を規定するものを含む。
解析したい問題に機械学習を適用する際には、その問題を最も効率的に解決できる機械学習モデルを構築するためには、そのモデルのハイパーパラメータを最適化することが望ましい。しかし、機械学習モデルのハイパーパラメータ間では、相互関係が存在する場合があるため、一方のハイパーパラメータの最適化を追求すれば、他方のハイパーパラメータの効率を犠牲にせざるを得ないトレードオフが発生することがある。そのため、ハイパーパラメータを１つずつ最適化するだけでは、システム全体の精度や効率を向上させることが難しい。
そのため、従来では、機械学習モデルを、例えば異常検出や予知保全等のような分野に適用する場合には、機械学習を訓練するための訓練用ラベル付きデータを入手した上で、ハイパーパラメータの組み合わせをいくつも試行し、最も精度が高くなる組み合わせを特定する必要があった。
上記の課題を鑑みて、本実施形態においては、異常検出や予知保全等に効果的な機械学習モデルを実現するために、ラベル付きデータが不要となる教師なし学習の手法を用いて、当該機械学習モデルのハイパーパラメータを特定する。具体的には、本実施形態における機械学習モデルは、対象データを圧縮し、対象データの低次元表現を生成する圧縮ネットワークと、当該低次元表現の密度分布を推定する推定ネットワークとを含んでいる。そして、この密度分布を解析することで、対象データを生成した装置（例えば冷却ファン等）が正常であるか、異常であるかを判定することができる。
また、当該機械学習モデルの異常検出の精度を向上するためには、圧縮ネットワークが生成する低次元表現の次元数や、推定ネットワークにおいて特定のデータを近似するために必要なガウス分布の数等のハイパーパラメータを最適化する必要がある。そのため、本発明では、圧縮ネットワークのハイパーパラメータである低次元表現の次元数と、推定ネットワークのハイパーパラメータであるガウス分布の数を計算することに関する。以下では、これらのハイパーパラメータを計算する方法の詳細について説明する。
（ハードウェア構成）
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。
コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、ハイパーパラメータ管理アプリケーション３５０を格納していてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。
ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。
表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。
ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
次に、図２を参照して、本実施形態に係るハイパーパラメータ管理システムの構成について説明する。
図２は、本実施形態に係るハイパーパラメータ管理システム２００の構成を示す図である。ハイパーパラメータ管理システム２００は、例えば異常検出や予知保全等の分野に適用可能な機械学習モデルにおけるハイパーパラメータを特定するためのシステムである。以下では、このハイパーパラメータ管理システム２００の構成について説明する。
図２に示すように、ハイパーパラメータ管理システム２００は、ハイパーパラメータ管理装置２０５、ネットワーク２２５、及びクライアント端末２３５Ａ，２３５Ｂからなる。ハイパーパラメータ管理装置２０５は、ネットワーク２２５を介して、クライアント端末２３５Ａ、２３５Ｂと接続される。
ハイパーパラメータ管理装置２０５は、クライアント端末２３５Ａ，２３５Ｂとのデータの送受信を行う通信部２０７と、対象データの次元を圧縮し、低次元表現を生成する圧縮ネットワーク２１０と、低次元表現の密度分布を推定する推定ネットワーク２２０と、圧縮ネットワーク２１０及び推定ネットワーク２２０のためのハイパーパラメータを計算するハイパーパラメータ計算部２３０と、各種情報を格納する記憶部２４０と、対象データの特異性を判定する判定部２５０とからなる。
なお、ハイパーパラメータ管理装置２０５に含まれるそれぞれの機能部は、図１に示すハイパーパラメータ管理アプリケーション３５０を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。また、上記の機能部は、同一のコンピューティング環境に実施されてもよく、分散されたコンピューティング環境に実施されてもよい。例えば、ハイパーパラメータ計算部２３０を遠隔のサーバに実装し、それ以外の機能部をクライアント端末２３５Ａ、２３５Ｂ等のローカルデバイスに実装する構成であってもよい。
クライアント端末２３５Ａ、２３５Ｂは、解析の対象となる対象データを、ネットワーク２２５を介してハイパーパラメータ管理装置２０５に送信する端末である。ハイパーパラメータ管理装置２０５による解析（例えば、異常検出等）が終了した後、解析の結果を示す情報がクライアント端末２３５Ａ、２３５Ｂに返送される。これらのクライアント端末２３５Ａ、２３５Ｂは、例えば、デスクトップパソコン、ノートパソコン、タブレット、スマートフォン等、任意のデバイスであってもよい。
なお、以上では、圧縮ネットワーク２１０及び推定ネットワーク２２０がハイパーパラメータ管理装置２０５に配置され、クライアント端末２３５Ａ、２３５Ｂから送信された解析対象データを解析し、当該解析の結果を示す情報を返送する構成について説明したが、本発明はこれに限定されず、圧縮ネットワーク２１０及び推定ネットワーク２２０が他のサーバやクライアント端末２３５Ａ，２３５Ｂに配置される構成も可能である。この場合には、圧縮ネットワーク２１０及び推定ネットワーク２２０によって生成される情報（低次元表現及び密度分布）をハイパーパラメータ管理装置２０５に送信し、ハイパーパラメータ計算部２３０が当該情報に基づいてハイパーパラメータを計算し、計算したハイパーパラメータを返送してもよい。
次に、図３を参照して、本発明の実施形態に係るハイパーパラメータ管理装置を訓練するための機能的構成について説明する。
図３は、本発明の実施形態に係るハイパーパラメータ管理装置２０５の機能的構成を示す図である。このような構成は、例えばハイパーパラメータ管理装置２０５を訓練する（つまり、適切なハイパーパラメータを特定する）際に用いられてもよい。
まず、ハイパーパラメータ計算部２３０は、記憶部２４０から、（訓練用の）対象データ２０８を受信する。この対象データ２０８は、例えば異常検出の解析対象である信号を示すデータでああってもよい。一例として、この対象データ２０８は、複合信号を窓関数に通して、周波数スペクトルを計算した結果を、時間、周波数、信号成分の強さの３次元を表すスペクトログラム（例えばＬｏｇ－Ｍｅｌ Ｓｐｅｃｔｒｏｇｒａｍ）であってもよい。
なお、図３では、訓練用の対象データ２０８として、記憶部に予め格納された一例を図示しているが、本発明はこれに限定されず、例えば上述したクライアント端末から受信したデータを使用することも可能である。
対象データ２０８を受信したハイパーパラメータ計算部２３０は、対象データ２０８に対して、圧縮ネットワーク２１０のための圧縮ネットワークハイパーパラメータを計算する処理と、推定ネットワーク２２０のための推定ネットワークハイパーパラメータを計算する処理とを同時に実行する。上述したように、これらのハイパーパラメータは、対象データの特異性を正確に判定するために、圧縮ネットワーク２１０及び推定ネットワーク２２０の特性を定義するパラメータである。
具体的には、ハイパーパラメータ計算部２３０は、圧縮ネットワークハイパーパラメータを計算するためには、対象データ２０８の主成分及び分散比を計算し、当該主成分及び分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算する。この圧縮ネットワークパラメータは、圧縮ネットワーク２１０に設定される。この計算の詳細については後述する。
また、ハイパーパラメータ計算部２３０は、推定ネットワークハイパーパラメータを計算するためには、対象データ２０８と、一様分布を示す一様データとに基づいて、ギャップ統計計算手法を用いて対象データ２０８と一様データとのギャップ統計量を計算する。
その後、ハイパーパラメータ計算部２３０は、このギャップ統計量に基づいて、曲線フィット手法を用いて、推定ネットワークハイパーパラメータを計算する。この推定ネットワークハイパーパラメータは、推定ネットワーク２２０に設定される。この計算の詳細については後述する。
これにより、圧縮ネットワーク２１０及び推定ネットワークの、対象データの特異性の判定精度を向上させることができる。
次に、図４を参照して、本発明の実施形態に係るハイパーパラメータ管理装置のテスト環境の構成について説明する。
図４は、本発明の実施形態に係るハイパーパラメータ管理装置２０５のテスト環境４００の構成を示す図である。
なお、ここでは、圧縮ネットワーク２１０及び推定ネットワーク２２０は、既に訓練済み（つまり、適切な圧縮ネットワークハイパーパラメータ及び推定ネットワークハイパーパラメータが既に上述の手段によって特定されており、設定されている）であることを前提とする。
図４に示すように、テスト環境４００は、解析対象データの発生源である装置４１０と、ハイパーパラメータ管理装置２０５とを含む。
なお、図４に示すテスト環境４００の構成は、訓練済みの圧縮ネットワーク２１０及び推定ネットワーク２２０を用いて、対象データの特異性を判定する際に用いられてもよい。ここでの特異性とは、検証対象の装置によって生成されるデータが、当該装置の性質からして妥当なものであるか否かを示す尺度である。この特異性に基づいて、装置４１０が正常に作動しているか、異常が現れているかを決定することができる。以下では、説明の便宜上、「特異性を判定する」との表現は、「対象データを生成した装置が正常であるか否かを検証する」ことを意味するものとする。
まず、解析対象データ４１５は、装置４１０から収集され、ハイパーパラメータ管理装置２０５によって解読可能なスペクトルグラム４２０（例えばＬｏｇ－Ｍｅｌ Ｓｐｅｃｔｒｏｇｒａｍ）に変換される。一例として、装置４１０は、例えば工場やデータセンターに配置されるコンピューティングデバイスの冷却ファンであって、解析対象データは、ファンによる騒音を表す音声信号であってもよい。その後、変換されたスペクトルグラム４２０は、ハイパーパラメータ管理装置２０５に入力される。
対象データであるスペクトルグラム４２０を受信したハイパーパラメータ管理装置２０５の判定部２５０は、訓練済みの圧縮ネットワーク２１０及び推定ネットワーク２２０を用いて、スペクトルグラム４２０のスペクトル密度Ｅ（Ｅｎｅｒｇｙ Ｓｐｅｃｔｒａｌ Ｄｅｎｓｉｔｙ）４３０を計算する。ここでは、エネルギースペクトル密度とは、対象データであるスペクトルグラム４２０の信号や時系列のエネルギーが周波数についてどのように分布されているかを示す関数である。
このエネルギースペクトル密度を解析することで、このエネルギースペクトル密度が、検証対象の装置４１０の性質からして妥当であるか否か（つまり、データ４１５の特異性）を判定することができる。これにより、装装置２１０が正常に作動しているか、異常が現れているかを決定することができる。この結果は、例えば異常検出や予知保全等の目的のために用いられてもよい。
次に、図５を参照して、本発明の実施形態に係る圧縮ネットワークについて説明する。
図５は、本発明の実施形態に係る圧縮ネットワーク２１０を示す図である。上述したように、図５に示す圧縮ネットワーク２１０は、対象データを次元圧縮して、低次元表現を生成するためのネットワークである。圧縮ネットワーク２１０は、一例として、いわゆるオートエンコーダーネットワークであってもよい。
図５に示すように、圧縮ネットワーク２１０は、主に、エンコーダー５１０と、デコーダー５２０とからなる。
エンコーダー５１０は、対象データ５０５（例えば、図４に示すスペクトルグラム４２０）を入力として受け付け、この対象データを次元圧縮し、低次元表現５１５（ｚｃ）を生成するものである。ここでは、情報の次元とは、ある情報における特徴を表すための変数の数を意味する。原則として、情報の次元が高い程、情報の特徴をより細かく表現することができる。ここでの低次元表現５１５は、対象データ５０５を、元より少ない次元数で表したものである。対象データ５０５を低次元表現に落とし込むことで、元のデータの意味を保ちつつ、当該データを格納するための所要容量を減らすことができる。
また、エンコーダー５１０の圧縮率を調整することで、対象データ５０５を圧縮する度合を設定することができる。原則として、圧縮率が高い程、データがより少ない次元数の低次元表現となるため、所要容量が減るが、後述するように、対象データの特異性を判定する精度が低減する。ここでの「低次元表現の次元数」は、圧縮ネットワーク２１０のハイパーパラメータの一つであり、後述する手法で適切な次元数を計算することで、異常検出や予知保全に効果的な機械学習モデルを実現することができる。
次元圧縮の具体的な方法としては、例えばＲａｎｄｏｍ Ｐｒｏｊｅｃｔｉｏｎ，主成分分析、Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ， Ｉｓｏｍａｐ，Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ， Ｍｏｄｉｆｉｅｄ Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ， Ｈｅｓｓｉａｎ Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ，Ｓｐｅｃｔｒａｌ Ｅｍｂｅｄｄｉｎｇ， Ｌｏｃａｌ Ｔａｎｇｅｎｔ Ｓｐａｃｅ Ａｌｉｇｎｍｅｎｔ， Ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ Ｓｃａｌｉｎｇ， ｔ－ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ，及びＲａｎｄｏｍ Ｆｏｒｅｓｔ Ｅｍｂｅｄｄｉｎｇを使用することができる。
デコーダー５２０は、エンコーダー５１０によって生成された低次元表現５１５に基づいて、対象データ５０５を再構築した再構築データ５２５（ｘ’）を生成するものである。なお、再構築データ５２５を低次元表現５１５に基づいて生成する際に損失が発生する。この損失は、低次元表現５１５の次元数が低い程、高くなる。対象データ５０５と、再構築データ５２５に対して、ユークリッド距離計算等の任意の距離計算法を施すことで、再構築データ５２５の対象データ５０５に対する誤差５３０（ｚｒ）を計算することができる。
次に、低次元表現５１５（ｚｃ）と、再構築データ５２５の対象データ５０５に対する誤差５３０とを含む出力データ５３５（ｚ）は、後述する推定ネットワークの入力となる。この出力データ５３５を推定ネットワークによって処理することで、対象データ５０５の特異性の判断に用いられる密度分布（例えばエネルギースペクトル密度）を計算することができる。
次に、図６を参照して、本発明の実施形態に係る推定ネットワークの構成について説明する。
図６は、本発明の実施形態に係る推定ネットワーク２２０の構成を示す図である。上述したように、図６に示す推定ネットワーク２２０は、圧縮ネットワークからの出力データ５３５（ｚ）に基づいて、対象データの密度分布（例えばエネルギースペクトル密度）を計算するネットワークである。
図６に示すように、推定ネットワーク２２０は、主にマルチレーヤーネットワーク６０５と、演算レーヤー６３０とからなる。
まず、マルチレーヤーネットワーク６０５は、圧縮ネットワーク２１０から出力データ５３５を受け付け、当該出力データ５３５に対して所定の推定演算を施すことで、あるデータ点が特定のクラスターに属する確率６１０（ｐ）を計算する。その後、この確率６１０は、いわゆるソフトマックス関数で正規化される。このソフトマックス関数とは、確率６１０のような非正規化されたベクターを入力し、それを確率分布（つまり、各成分が０以上１以下の数字となり、成分の和が１となる分布）に変換し、正規化する関数である。
次に、演算レーヤー６３０は、ソフトマックス関数で正規化された確率６１０と、推定ネットワーク２２０のハイパーパラメータであるガウス分布の数γ６２０を入力し、混合確率（Ｍｉｘｔｕｒｅ Ｐｒｏｂａｂｉｌｉｔｙ）、平均、及び混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）の分散比を計算する。ここでは、混合ガウスモデルとは、ガウス分布の線形重ね合わせで表されるモデルである。十分な数のガウス分布を用い，線形結合する重みの係数、各分布の平均、及び共分散を調節すれば，所定の連続関数を任意の精度で近似することができる。
所定のデータを近似するために必要なガウス分布の数γ６２０は、推定ネットワーク２２０のハイパーパラメータの一つである。未訓練の推定ネットワークでは、所定のデータを近似するための適切なガウス分布の数が不明であるため、数多くのパラメータを試行し、最も精度が高くなるパラメータを推定する必要がある。しかし、本実施形態では、所定のデータに対して適切なガウス分布の数γ６２０を後述する手法で計算し、推定ネットワーク２２０に予め設定することにより、この試行錯誤が不要となり、異常検出や予知保全に効果的な機械学習モデルを実現することができる。
次に、演算レーヤー６３０は、ソフトマックス関数で正規化された出力の混合確率、平均、及び混合ガウスモデルの分散比を用いて、エネルギースペクトル密度６４０を計算する。上述したように、このエネルギースペクトル密度６４０は、対象データの信号や時系列のエネルギーが周波数についてどのように分布するかを示す関数である。このエネルギースペクトル密度の関数は、以下の数式１に示される。
Figure 0007202260000001
 ここで、Φｋ、μｋ、及びΣｋはそれぞれ、混合確率、平均、及び混合ガウスモデルの所定の成分ｋの分散比を表す。
次に、図７を参照して、本発明の実施形態に係る圧縮ネットワーク及び推定ネットワークにおけるデータの流れについて説明する。
図７は、本発明の実施形態に係る圧縮ネットワーク２１０及び推定ネットワーク２２０におけるデータの流れを示す図である。
図７に示すように、まず、対象データ５０５（例えば、スペクトルグラム）が圧縮ネットワーク２１０に入力される。圧縮ネットワーク２１０は、圧縮ネットワークハイパーパラメータである低次元表現の次元数に従って対象データ５０５を次元圧縮し、低次元表現５１５を生成する。その後、低次元表現５１５に基づいて、再構築データが生成され、再構築データの対象データ５０５に対する誤差５３０が計算される。
次に、低次元表現５１５及び再構築データの対象データ５０５に対する誤差５３０を含む出力データ５３５が推定ネットワーク２２０に入力される。推定ネットワーク２２０は、推定ネットワークのハイパーパラメータであるガウス分布の数に従って、数式１を用いて、対象データのエネルギースペクトル密度を計算する。このエネルギースペクトル密度を解析することで、対象データが、検証対象の装置の性質からして妥当であるか否かを判定することができる。
次に、図８を参照して、本発明の実施形態に係るハイパーパラメータの例について説明する。
図８は、本発明の実施形態に係るハイパーパラメータの例を示す図である。上述したように、本実施形態は、圧縮ネットワーク２１０のハイパーパラメータである低次元表現の次元数８０５と、推定ネットワーク２２０のハイパーパラメータであるガウス分布の数８１０とを最適化することに関する。具体的には、ここでの「最適化」とは、対象データの特異性を所定の目標精度で判定することを可能とするハイパーパラメータを特定することを意味する。
図８に示す表８００は、低次元表現８０５、ガウス分布の数８１０、及びこれらのパラメータによる特異性の判定精度８１５の対応関係を示す。図８に示すように、原則としては、圧縮率が高い程、低次元表現の次元数が少なくなり、データを格納するための所要容量が減り、当該低次元表現を近似するために必要なガウス分布の数が少なくなるが、特異性の判定精度８１５が低減する（つまり、対象データを生成した装置が異常であるか否かとの判定の信頼性が減る）。従って、本実施形態は、判定精度８１５を最大化しつつ、対象データをなるべく圧縮し、なるべく少ない数のガウス分布で対象データを近似することができるハイパーパラメータを特定することに関する。
次に、図９を参照して、本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例について説明する。
図９は、本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例を示す図である。図９は、対象データを示すグラフ９０５と、粗クラスタリングの結果を示すグラフ９１０と、細クラスタリングの結果を示すグラフ９２０とを含む。
対象データを示すグラフ９０５は、１つ以上の検証対象の装置から収集されたデータであってもよい。この対象データは、例えば、複数の装置の冷却ファンから収集された騒音の音量を示す情報であってもよい。それぞれの冷却ファンから収集された騒音データ点の群れは１つの「クラスター」と呼ばれる。
原則として、グラフ９０５に示すような生データの密度分布を上述した推定ネットワークによって推定する場合には、推定ネットワークは、１つのクラスターを１つのガウス分布で近似するため、クラスターの数は、推定ネットワークのハイパーパラメータであるガウス分布の数に等しい。そのため、対象データにおけるクラスター数の値を判定し、この値を推定ネットワークのハイパーパラメータとして設定することで、対象データの密度分布をより正確に推定することができる。
しかし、対象データによっては、クラスターの数を正確に判定することが難しい場合があり、使用するクラスター分析手段によっては、クラスター数が異なる結果が出ることがある。例えば、グラフ９１０で示す粗クラスタ分析手法では、４つのクラスターが識別されるが、グラフ９２０で示す細クラスタ分析手法では、６のクラスターが識別される。
従って、本実施形態では、正確なクラスター数を判定するためには、以下に説明するギャップ統計計算手法及び曲線フィット手法を用いることとする。
次に、図１０を参照して、本発明の実施形態に係るギャップ統計計算手法について説明する。
図１０は、本発明の実施形態に係るクラスター数１０２０毎のギャップ統計量１０２０示す図である。ここでのギャップ統計量とは、対象データと、対象データの一様分布を示す一様データとの分散度（ｄｉｓｐｅｒｓｉｏｎ）を示す尺度である。以下では、このギャップ統計量を計算する方法について説明する。
なお、ここでの一様データは、例えば、対象データの各特徴について全ての観測値にわたって生成される一様分布を示すものであってもよい。
まず、クラスターの最大値Ｋ及び一様分布を抽出する回数の最大値Ｎrを設定した後、初期条件を以下の数式２、数式３、及び数式４のように設定する。
Figure 0007202260000002
 ここでは、ｋはクラスターの数である。
Figure 0007202260000003
 ここでは、ｍは一様分布を抽出する回数である。
Figure 0007202260000004
 ここでは、Ａ及びＢは、対象データの下限及び上限である。一例として、ＡとＢは、例えば０と１であってもよい。
次に、数式５を用いて、一様分布におけるクラスター内の分散度Ｄｒ（ｍ）を計算する。
Figure 0007202260000005
 ここでは、ｄii’は、例えば平方ユークリッド距離であってもよい。
その後、数式５を用いて、対象データのクラスターにおける分散度Ｄoを計算する。
最後に、上記により計算したＤｒ（ｍ）及びＤoを用いて、対象データと一様データのギャップ統計量を以下の数式６によって計算する。
Figure 0007202260000006
上記により計算された、クラスター数毎のギャップ統計量に対して曲線フィットの手法を施すことにより、推定ネットワークハイパーパラメータであるガウス分布の数に対応する、対象データ数のクラスター数を特定することができる。
次に、図１１を参照して、本発明の実施形態に係る曲線フィット手法について説明する。
図１１は、本発明の実施形態に係る曲線フィット手法を、クラスター数毎のギャップ統計量を示すグラフ（例えば、図１０に示すグラフタ）に対して適用した一例を示す図である。ここでの曲線フィット手法は、クラスター数毎のギャップ統計量を示すグラフにおける変曲点を特定する手法である。
なお、この変曲点は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す点である。以下では、この曲線フィット手法について説明する。
まず、入力となるクラスター数毎のギャップ統計量を示すグラフ（例えば、図１０に示すグラフ）に対して、スプライン曲線が適用される。このスプライン曲線とは、与えられた複数の制御点を通る滑らかな曲線で、隣り合う点に挟まれた各区間に対し、個別の多項式を用いたものである。
次に、クラスター数を表す横軸の値及びギャップ統計量を表す縦軸の値は、以下の数式７によって正規化される。横軸及び縦軸の値が正規化された結果は、図１１に示すグラフ１１３０に示される。
Figure 0007202260000007
 次に、正規化されたグラフ１１３０に基づいて、差分曲線１１４２は以下の数式８によって計算される（図１１のグラフ１１４０参照）。
Figure 0007202260000008
 ここでは、ｘdi及びｘｎiは正規化されたクラスター数であり、ｙniは正規化されたギャップ統計量であり、ｙdiはｙniとｘｎiの差である。
次に、差分曲線１１４２を計算した後、グラフ１１４０における極大値が以下の数式９によって計算される。
Figure 0007202260000009
 ここでは、ｘｌｍｘはクラスター数の極大値であり、ｙｌｍｘはギャップ統計量の極大値である。
次に、極大値の閾値Ｔｌｍｘは以下の数式１０によって計算される。
Figure 0007202260000010
 数式１０の閾値Ｔｌｍｘを下回る差分値（例えばｘｄｊ、ｙｄｊ（ｊ＞i））がある場合には、当該差分値の横軸の値であるｘｌｍｘを曲線の変曲点１１４５として特定する。上述したように、この変曲点１１４５は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す値である。
次に、図１２を参照して、本発明の実施形態に係る推定ネットワークハイパーパラメータを示すグラフについて説明する。
図１２は、本発明の実施形態に係る推定ネットワークハイパーパラメータ１１４５を特定するためのグラフ１２４０を示す図である。このグラフ１２４０は、上記説明したギャップ統計計算手法及び曲線フィット手法を、図１０に示すグラフに対して適用した結果を示し、図１１に示すグラフ１１４０を非正規化したものである。
上述したように、グラフ１２４０の変曲点１１４５の横軸の値は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す値である。例えば、グラフ１２４０の場合、推定ネットワークハイパーパラメータであるガウス分布の数が「４」である。従って、推定ネットワークが使用するガウス分布の数を「４」とし、圧縮ネットワークハイパーパラメータを後述する手段で特定して圧縮ネットワークに設定することで、対象データの特異性を判定する精度を向上させ、異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することができる。
次に、図１３を参照して、本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定する手段について説明する。
図１３は、本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定するためのグラフ１３１０を示す図である。図１３に示すように、グラフ１３１０の横軸は、いわゆる主成分分析による対象データの主成分１３１５を示し、グラフ１３１０の縦軸は、いわゆる分散分析による対象データの分散比１３２０を示す。
主成分分析とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の手法である。ここでの主成分は、圧縮ネットワークによって生成される低次元表現の次元数に対応する。また、ここでの分散比とは、異なった二組の母集団から抽出された試料の分散をそれぞれu2，υ2とした場合に，両者の比をとり，F＝u2/υ2で表したものである。このFの値が非常に大きな値、又はゼロに近い値の場合には、両者は同一母集団から抽出されたものではないと推定することができる。
主成分分析及び分散分析を対象データに対して適用することで、図１３のグラフ１３１０のような、対象データの主成分毎の分散比を示すグラフを生成することができる。
なお、分散分析及び主成分分析は、一般的に知られている手段で計算されるため、ここではその詳細な説明は省略する。
対象データの主成分毎の分散比を示すグラフ１３１０に対して、上述した曲線フィット手法を適用することで、グラフ１３１０の変曲点１３２５を特定することができる。この変曲点１３２５の横軸の値は、対象データを表すための適切な主成分の数であり、圧縮ネットワークのハイパーパラメータである低次元表現の次元数を示す値である。例えば、図１３に示すグラフ１３１０の場合には、主成分の数が「６」であるため、圧縮ネットワークのハイパーパラメータである低次元表現の次元数も「６」となる。
上述したように、ここで特定した圧縮ネットワークのハイパーパラメータと、ギャップ統計計算及び曲線フィット手法によって特定した推定ネットワークのハイパーパラメータを、圧縮ネットワーク及び推定ネットワークのそれぞれに設定することで、対象データの特異性を高精度で判定することができる。
次に、図１４を参照して、本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク及び推定ネットワークに設定した結果ついて説明する。
図１４は、本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク２１０及び推定ネットワーク２２０に設定した結果を示す図である。
上述した計算手法によってハイパーパラメータが特定された後、当該ハイパーパラメータを該当するネットワークに設定することで、上述したハイパーパラメータ管理装置２０５は、対象データの特異性を高精度で判定することができるようになる。
例えば、上述した一例で特定した低次元表現の次元数が「６」であり、ガウス分布の数が「４」であると特定した場合には、圧縮ネットワーク２１０のハイパーパラメータを「６」に設定し、推定ネットワーク２２０のハイパーパラメータを「４」に設定する。
図１４に示すグラフ１４１０は、圧縮ネットワーク２１０及び推定ネットワーク２２０のハイパーパラメータを上述した計算手法によって特定したハイパーパラメータに設定した場合の、ハイパーパラメータ管理装置２０５の性能特徴を示すものである。この性能特徴は、例えば、対象データが異常であることを正しく判定した正陽性率と、対象データが異常であることを誤って判定した偽陽性率との関係で表されてもよい。例えば、この場合には、ハイパーパラメータ管理装置２０５は、対象データを９８％の精度で正しく判別することができた。
次に、図１５を参照して、本発明の実施形態に係るハイパーパラメータによる精度の表面プロットについて説明する。
図１５は、本発明の実施形態に係るハイパーパラメータによる精度の表面プロット１５００を示す図である。表面プロット１５００は、低次元表現数１５０５と、ガウス分布の数と、対象データの特異性を判定する精度１５１５との対応関係を示すものである。
上述した計算手段によって特定した低次元表現の次元数の値と、ガウス分布の数の値とを設定した機械学習モデルを用いた場合には、他のハイパーパラメータに比べて、より高い判定精度で対象データの特異性を判定することができる。
例えば、図１５の表面プロット１５００に示すように、ガウス分布の数１５１０の値を「４」とし、低次元表現の次元数１５０５の値を「６」にした場合、判定精度１５１５の値１５２５が最大となる。このように、圧縮ネットワークのハイパーパラメータ及び推定ネットワークのハイパーパラメータを上述した計算手段で特定することにより、判定精度１５１５を最大化しつつ、対象データをなるべく圧縮し、なるべく少ない数のガウス分布で対象データを近似することができることが可能となる。
次に、図１６を参照して、本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して訓練するための構成の一例について説明する。
図１６は、本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して訓練するための構成１６００の一例を示す図である。
以上では、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを特定する処理を並行に実行する構成について説明したが、本発明はこれに限定されず、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを独立して特定する構成も可能である。
図１６に示すように、構成１６００は、解析対象データの発生源である装置４１０と、ハイパーパラメータ管理装置２０５とを含む。
なお、構成１６００は、図４を参照して説明したテスト環境４００と実質的に同様であるため、同様の構成要素に同じ参照符号を付し、その説明を省略する。
構成１６００では、装置４１０から収集される対象データ４１５がハイパーパラメータ管理装置２０５によって解読可能なスペクトルグラム４２０（例えばＬｏｇ－Ｍｅｌ Ｓｐｅｃｔｒｏｇｒａｍ）に変換された後、当該スペクトルグラム４２０が圧縮ネットワーク２１０に入力される。この段階では、圧縮ネットワーク２１０はまだ未訓練であり、最適な圧縮ネットワークハイパーパラメータが設定されていないため、この際には、任意の次元数の低次元表現を生成する。
当該低次元表現と、再構築データの対象データに対する誤差とを含む出力データ５３５（ｚ）は、推定ネットワーク２２０に送信される。その後、当該出力データ５３５に基づいて、上述したギャップ統計計算手段及び曲線フィット手段を用いて、推定ネットワークのハイパーパラメータである低次元表現の次元数であるガウス分布の数が特定される。
推定ネットワーク２２０は、特定されたガウス分布の数に基づいて、出力データ５３５の密度分布を推定する。その後、この密度分布と、推定ネットワーク２２０で使用されたハイパーパラメータとが圧縮ネットワーク２１０に送信される。圧縮ネットワーク２１０は、これらの情報に基づいて、上述した分散分析及び曲線フィット手法を用いて、適切な低次元表現の次元数を特定し、ハイパーパラメータとして設定する。
これにより、それぞれのハイパーパラメータが、一つ一つ連続で特定されるため、より柔軟性の高い機械学習モデル構成を実現することができる。なお、このプロセスは、所定の判定精度を達成するまで繰り返されてもよい。
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
２０５ ハイパーパラメータ管理装置
２０７ 通信部
２０８ 対象データ
２１０ 圧縮ネットワーク
２２０ 推定ネットワーク
２３０ ハイパーパラメータ計算部

Claims (6)

  1. ハイパーパラメータ管理装置であって、
    データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
    前記低次元表現の密度分布を推定する推定ネットワークと、
    前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
    前記ハイパーパラメータ計算部は、
    対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
    前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
    前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する、
    ことを特徴とするハイパーパラメータ管理装置。
  2. 前記ハイパーパラメータ管理装置は、
    データの特異性を判定する判定部を更に含み、
    前記圧縮ネットワークは、
    前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
    前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
    前記推定ネットワークは、
    前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
    前記判定部は、
    前記密度分布に基づいて、前記対象データの特異性を判定する、
    ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
  3. 前記推定ネットワークハイパーパラメータは、前記対象データを近似するために必要なガウス分布の数を示すものである、
    ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
  4. 前記圧縮ネットワークハイパーパラメータは、前記低次元表現の次元数を示すものである、
    ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
  5. ハイパーパラメータ管理システムであって、
    前記ハイパーパラメータ管理システムは、
    ハイパーパラメータ管理サーバと、クライアント端末とを含み、
    前記ハイパーパラメータ管理サーバと、前記クライアント端末とが通信ネットワークを介して接続されており、
    前記ハイパーパラメータ管理サーバは、
    データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
    前記低次元表現の密度分布を推定する推定ネットワークと、
    前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部と、
    データの特異性を判定する判定部とを含み、
    解析対象のデータを前記クライアント端末から受信する場合には、
    前記ハイパーパラメータ計算部は、
    対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
    前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
    前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定し、
    前記圧縮ネットワークは、
    前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
    前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
    前記推定ネットワークは、
    前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
    前記判定部は、
    前記密度分布に基づいて、前記対象データの特異性を判定し、当該判定の結果を前記クライアントに通知する、
    ことを特徴とするハイパーパラメータ管理システム。
  6. ハイパーパラメータ管理装置によって実行されるハイパーパラメータ管理方法であって、
    前記ハイパーパラメータ管理装置は、
    データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
    前記低次元表現の密度分布を推定する推定ネットワークと、
    前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
    前記ハイパーパラメータ管理方法は、
    対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
    前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
    前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する工程と、
    を含むハイパーパラメータ管理方法。
JP2019106758A 2019-06-07 2019-06-07 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法 Active JP7202260B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019106758A JP7202260B2 (ja) 2019-06-07 2019-06-07 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法
US16/812,415 US11381470B2 (en) 2019-06-07 2020-03-09 Hyperparameter management device, hyperparameter management system, and hyperparameter management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019106758A JP7202260B2 (ja) 2019-06-07 2019-06-07 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法

Publications (2)

Publication Number Publication Date
JP2020201617A JP2020201617A (ja) 2020-12-17
JP7202260B2 true JP7202260B2 (ja) 2023-01-11

Family

ID=73650172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019106758A Active JP7202260B2 (ja) 2019-06-07 2019-06-07 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法

Country Status (2)

Country Link
US (1) US11381470B2 (ja)
JP (1) JP7202260B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005177037A (ja) 2003-12-18 2005-07-07 Fuji Photo Film Co Ltd 石灰化陰影判定方法、石灰化陰影判定装置およびプログラム
US20150019554A1 (en) 2013-07-09 2015-01-15 Sas Institute Inc. Number of clusters estimation
WO2019092459A1 (en) 2017-11-13 2019-05-16 Cambridge Bio-Augmentation Systems Limited Time invariant classification

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963783B2 (en) * 2017-02-19 2021-03-30 Intel Corporation Technologies for optimized machine learning training
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US10600005B2 (en) * 2018-06-01 2020-03-24 Sas Institute Inc. System for automatic, simultaneous feature selection and hyperparameter tuning for a machine learning model
US20200202170A1 (en) * 2018-12-21 2020-06-25 Microsoft Technology Licensing, Llc Modular autotune for automated feed model training

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005177037A (ja) 2003-12-18 2005-07-07 Fuji Photo Film Co Ltd 石灰化陰影判定方法、石灰化陰影判定装置およびプログラム
US20150019554A1 (en) 2013-07-09 2015-01-15 Sas Institute Inc. Number of clusters estimation
WO2019092459A1 (en) 2017-11-13 2019-05-16 Cambridge Bio-Augmentation Systems Limited Time invariant classification

Also Published As

Publication number Publication date
JP2020201617A (ja) 2020-12-17
US20200389364A1 (en) 2020-12-10
US11381470B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN108709745B (zh) 一种基于增强型lpp算法和极限学习机快速轴承故障识别方法
Fumera et al. A theoretical and experimental analysis of linear combiners for multiple classifier systems
US9213565B2 (en) Methods and systems for mining datacenter telemetry data
Cai et al. A new fault detection method for non-Gaussian process based on robust independent component analysis
Chaleshtori et al. A novel bearing fault diagnosis approach using the Gaussian mixture model and the weighted principal component analysis
JP6991412B2 (ja) 検索装置、検索方法、検索プログラム及び学習モデル検索システム
TW202018727A (zh) 整體式學習預測方法與系統
CN113095402B (zh) 一种基于编码输入的生成对抗网络故障检测方法及系统
CN117041017B (zh) 数据中心的智能运维管理方法及系统
Zheng et al. Density peaks clustering‐based steady/transition mode identification and monitoring of multimode processes
Maggipinto et al. A deep learning-based approach to anomaly detection with 2-dimensional data in manufacturing
JP2022079947A (ja) プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
CN107992495B (zh) 高维数据集的数据可视化分析方法及装置
JP7020331B2 (ja) クラスタリング装置、方法、及びプログラム
JP7202260B2 (ja) ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法
Cheng et al. Control chart pattern recognition using wavelet analysis and neural networks
CN116974268A (zh) 一种控制系统电路智能化监测预警方法
CN115775601A (zh) 一种材料力热试验的异常数据监测方法及系统
JP2020139914A (ja) 物質構造分析装置、方法及びプログラム
Lv et al. Determination of the number of principal directions in a biologically plausible PCA model
Yao et al. Fingerprint quality assessment: Matching performance and image quality
US20190138931A1 (en) Apparatus and method of introducing probability and uncertainty via order statistics to unsupervised data classification via clustering
Gaita et al. Convolutional neural network model used for aiding IC analog/mixed signal verification
CN110728615B (zh) 基于序贯假设检验的隐写分析方法、终端设备及存储介质
US11869492B2 (en) Anomaly detection system and method using noise signal and adversarial neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7202260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150