JP7215966B2 - ハイパーパラメータ管理装置、ハイパーパラメータ管理方法及びハイパーパラメータ管理プログラム製品 - Google Patents

Description

本発明は、ハイパーパラメータ管理装置、ハイパーパラメータ管理方法及びハイパーパラメータ管理プログラム製品に関する。

機械学習技術は、ヘルスケアや金融、産業などの様々な分野で蓄積されたデータの解析に対して、新しい社会的価値を創出する技術として注目されている。機械学習には、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅやｄｅｅｐ ｌｅａｒｎｉｎｇといったアルゴリズムの種類、及び各アルゴリズムにおいてモデルを決定するために必要なパラメータがある。事前に設定され、モデルの挙動を制御するこれらのパラメータは「ハイパーパラメータ」と呼ばれる。

一般的に、ハイパーパラメータの組み合わせは、数万通り以上存在する。このため、解析したい問題に機械学習を適用する際には、ハイパーパラメータの組み合わせをいくつも試行し、最も精度が高くなる組み合わせを特定する必要がある。加えて、ハイパーパラメータの組み合わせは解析する問題ごとに最適な組み合わせが異なるため、問題やデータが変わる度にに行う必要があり、この点が機械学習技術を活用する上での課題となっている。このように、ハイパーパラメータの組み合わせを網羅的に試行して最適解を得るプロセスは「グリッドサーチ」と呼ばれる。

最適なハイパーパラメータの特定をより容易に行うための手段がいくつか検討されている。例えば、ＷＯ２０１８２２３１２３Ａ１（特許文献１）には、「クラウドサービスを使用して測定可能な状態値および調整可能なパラメータを有する対象システムを最適化するための方法及び装置。クラウドチューニングサービスは、クラウドチューニングサービスプロバイダによって設定及び運用される。クラウドチューニングサービスは、１つまたは複数のクラウドプロバイダから取得したリソースを用いた、１つ以上の機械学習又は人工知能方法を含む。対象システムの状態値及びパラメータは、対象システムの所有者によって識別され、定期的に分析するためにクラウドチューニングサービスに送信される。パラメータ調整命令はクラウドサービスによって生成され、定期的に対象システムに送り返される。」と記載されている。

ＷＯ２０１８２２３１２３Ａ１

上記の特許文献１には、クラウドサービスのコンピューティング資源を利用して、ハイパーパラメータをグリッドサーチによって特定する手段が記載されている。しかしながら、これは、ハイパーパラメータを特定する処理負荷をクラウドに転嫁していることに過ぎないため、コンピューティング資源の節約にならない上、クラウドサービスを運用するための膨大な実施コスト及び工数を要する。

そこで、本発明は、ハイパーパラメータを強化学習の手法を用いて特定することで、低コストでイベント予測等の分野に適用可能な機械学習モデルを提供することを目的とする。

上記の課題を解決するために、代表的な本発明のハイパーパラメータ管理装置の一つは、処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを、候補ハイパーパラメータデータベースに格納される候補ハイパーパラメータ空間に基づいて生成する強化学習部と、前記処理用ハイパーパラメータに基づいて、対象データを処理し、訓練用情報及びテスト用情報を生成する処理部と、前記訓練用情報を用いて、前記モデル用ハイパーパラメータに基づいて機械学習モデルを作成するモデル作成部と、前記テスト用情報を用いて前記機械学習モデルを検証し、前記第１のハイパーパラメータのセットについての評価点数を計算する評価部と、所定の評価基準を達成するハイパーパラメータを格納する上位ハイパーパラメータデータベースと、前記上位ハイパーパラメータデータベースに格納されているハイパーパラメータに基づいて、第２のハイパーパラメータのセットを生成する変更部とを含む。

本発明によれば、ハイパーパラメータを強化学習の手法を用いて特定することで、低コストでイベント予測等の分野に適用可能な機械学習モデルを提供することができる。
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

本発明の実施例を実施するためのコンピュータシステムのブロック図である。 本発明の実施例１に係るハイパーパラメータ管理システムの構成を示す図である。 本発明の実施例１に係るハイパーパラメータ管理システムの機能的構成を示すブロック図である。 本発明の実施例１に係る候補ハイパーパラメータデータベースの一例を示す図である。 本発明の実施例１に係る上位ハイパーパラメータデータベースの一例を示す図である。 本発明の実施例１に係る処理部による処理を示すフローチャートである。 本発明の実施例１に係るモデル作成部による処理を示すフローチャートである。 本発明の実施例１に係る評価部による処理を示す図である。 本発明の実施例１に係る変更部による処理を示すフローチャートである。 本発明の実施例１に係る強化学習部による処理を示すフローチャートである。 本発明の実施例２に係るハイパーパラメータ管理システムの構成を示す図である。 本発明の実施例２に係るハイパーパラメータ管理システムの機能的構成を示すブロック図である。 本発明の実施例２に係る予測調整部による処理を示すフローチャートである。 本発明の実施例３に係るハイパーパラメータ管理システムの構成を示す図である。 本発明の実施例３に係るハイパーパラメータ管理システムの機能的構成を示すブロック図である。 本発明の実施例４に係るハイパーパラメータ管理システムの構成を示す図である。 本発明の実施例４に係るハイパーパラメータ管理システムの機能的構成を示すブロック図である。 本発明の実施例４に係るハイパーパラメータ更新部による処理を示すフローチャートである。 本発明の実施例５に係るハイパーパラメータ管理システムの構成を示す図である。 本発明の実施例５に係るハイパーパラメータ管理システムの機能的構成を示すブロック図である。 本発明の実施例５に係るハイパーパラメータ合成部による処理を示すフローチャートである。

以下、図面を参照して、従来例及び本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（概要）

上述したように、本発明は、ハイパーパラメータの最適化に関する。ここでのハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータである。ハイパーパラメータは、例えば、学習率やバッチサイズ、学習イテレーション数等、機械学習アルゴリズムにおける様々な特性を規定するものを含む。

解析したい問題に機械学習を適用する際には、その問題を最も効率的に解決できる機械学習モデルを構築するためには、そのモデルの最適なハイパーパラメータを特定することが望ましい。ハイパーパラメータを特定するために、従来から使用されていた、グリッドサーチ等のような手段では、解析したい問題に機械学習を適用する際には、使用可能なハイパーパラメータを定義するハイパーパラメータ空間におけるハイパーパラメータの組み合わせをいくつも試行し、対象の機械学習モデルの精度が最も高くなる組み合わせを特定する必要があった。

また、機械学習モデルの設計変更などによりハイパーパラメータ空間が広がると、ハイパーパラメータの組み合わせの数が指数関数的に増加する。特に、ハイパーパラメータ空間が広く、コンピューティング資源が限られている場合には、グリッドサーチのような従来のハイパーパラメータ特定手法では、最適なハイパーパラメータを実用的な時間以内に特定することが難しい。そのため、最適なハイパーパラメータをより効率的に特定する手段が求められている。

従って、本発明は、ハイパーパラメータを強化学習の手法を用いて特定することで、低コストでイベント予測等の分野に適用可能な機械学習モデルを提供する。
なお、強化学習とは、ある環境におけるエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種である。そして、エージェントは行動を選択することで環境から報酬を得ることとなっている。このため、強化学習においては、一連の行動を通じて報酬が最も多く得られるような方策(ｐｏｌｉｃｙ)を学習することとなる。
強化学習の代表的な手法として、例えばＴＤ（Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ）学習やＱ学習等が知られている。後述するように、強化学習モデルと、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とを組み合わせることで、最適なハイパーパラメータをより効率的に特定するシステムが可能となる。

本発明は、例えばローンのデフォルト、不正の金融取引、病気の進行等のイベントを予測するための機械学習モデルにおけるハイパーパラメータを特定することに関する。ここでのハイパーパラメータは、例えば、対象のデータをどのように処理すればよいかを規定する処理用ハイパーパラメータと、機械学習モデルの設計上の条件を規定するモデル用ハイパーパラメータとを含む。

まず、本発明に係る強化学習部は、候補ハイパーパラメータデータベースに格納される候補ハイパーパラメータ空間に基づいて、処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを生成する。次に、本発明に係る処理部は、生成された処理用ハイパーパラメータに基づいて、対象データを処理し、訓練用情報及びテスト用情報を生成する。次に、本発明に係るモデル作成部は、生成されたモデル用ハイパーパラメータに基づいて、訓練用情報を用いて機械学習モデルを作成する。次に、本発明に係る評価部は、テスト用情報を用いて機械学習モデルを検証し、第１のハイパーパラメータについての評価点数を計算する。次に、所定の評価基準を達成するハイパーパラメータが上位ハイパーパラメータデータベースに格納される。次に、本発明に係る変更部は、上位ハイパーパラメータデータベースに格納されているハイパーパラメータに基づいて、第２のハイパーパラメータのセットを生成する。

これにより、最適なハイパーパラメータを効率よく特定することができ、イベント予測に適用可能な機械学習モデルを提供することが可能となる。
（ハードウエア構成）

まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、ハイパーパラメータ管理アプリケーション３５０を格納していてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウエアで実施されてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウエアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

図２を参照して、本発明の実施例１に係るハイパーパラメータ管理システムの構成について説明する。

図２は、本発明の実施例１に係るハイパーパラメータ管理システム１５０の構成を示す図である。図２に示すように、ハイパーパラメータ管理システム１５０は、ハイパーパラメータ管理サーバ１００と、クライアント端末１３５Ａ，１３５Ｂと、通信ネットワーク２２５とからなる。ハイパーパラメータ管理サーバ１００は、通信ネットワーク２２５を介して、クライアント端末１３５Ａ，１３５Ｂに接続される。この通信ネットワーク２２５は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等であってもよい。

ハイパーパラメータ管理サーバ１００は、本発明の実施例に係る各種機能を実施するためのサーバ装置である。図２に示すように、ハイパーパラメータ管理サーバ１００は、プロセッサ１１０と、メモリ１２０と、記憶部１３０とを含む。

プロセッサ１１０は、必要に応じてメモリ１２０に格納されている各種プログラムを読み出して、プログラムからの命令に応じて処理を実行するプロセッサである。例えば、後述する処理部１２１、モデル作成部１２２、変更部１２３、強化学習部１２４、及び評価部１２５の機能は、プロセッサ１１０が実行する処理によって実現されてもよい。

メモリ１２０は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）である。メモリ１２０は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、後述する処理部１２１、モデル作成部１２２、変更部１２３、強化学習部１２４、及び評価部１２５の機能を、プロセッサ１１０上で実行する命令又は記述を含んでもよい。

強化学習部１２４は、所定のハイパーパラメータ空間に基づいて、処理用ハイパーパラメータ及びモデル用ハイパーパラメータを含む第１のハイパーパラメータセットを生成する機能部である。強化学習部１２４は、ハイパーパラメータを生成するために、再帰型ニューラルネットワークを用いてもよい。この再帰型ニューラルネットワークは、後述する評価点数を報酬として、よりよいハイパーパラメータを生成するように、ポリシー勾配法によって訓練される。

処理部１２１は、強化学習部１２４によって生成される処理用ハイパーパラメータを用いて、対象データの前処理を行う機能部である。ここでの前処理は、対象データを後続の機能部によって解釈可能な形式に変換したり、対象データにおいて抜けている値を補充したり、冗長的な対象データを削除したりすることを含む。処理部１２１が実行する前処理は、処理用ハイパーパラメータによって規定される。処理部１２１は、処理用ハイパーパラメータに基づいて対象データを処理することで、機械学習モデルを訓練するための訓練用情報と、訓練済みの機械学習モデルをテストするためのテスト用情報とを生成する。

モデル作成部１２２は、強化学習部１２４によって生成されるモデル用ハイパーパラメータに基づいて機械学習モデルを作成し、処理部１２１からの訓練用情報を用いて当該機械学習モデルを訓練する機能部である。ここでの機械学習モデルは、例えばローンのデフォルト、不正の金融取引、病気の進行等のイベントを予測するための機械学習モデルであってもよい。

評価部１２５は、テスト用情報を用いてモデル作成部１２２によって作成された機械学習モデルを検証し、第１のハイパーパラメータセットについての評価点数を計算する。この評価点数は、それぞれのハイパーパラメータの性能を定量的に示す尺度であり、例えば０～１の数字で表されてもよい。原則として、より高い評価点数を有するハイパーパラメータは、機械学習モデルを検証した際に、より優れた精度・性能・効率等を発揮したことを意味する。所定の評価基準を達成するハイパーパラメータは、後述する上位ハイパーパラメータデータベース１３２に格納される。
なお、説明の便宜上、所定の評価基準を達成するハイパーパラメータは、「上位ハイパーパラメータ」ともいう。

変更部１２３は、上位ハイパーパラメータに基づいて、第２のハイパーパラメータのセットを生成する機能部である。機械学習モデル用のハイパーパラメータを、ハイパーパラメータ空間全体ではなく、既に性能が高いと判定されている上位ハイパーパラメータに基づいて生成することで、高い性能を有するハイパーパラメータが得られる可能性が高い。このため、グリッドサーチ等のような従来のハイパーパラメータ生成手段に比べて、優れたハイパーパラメータを効率的に特定することができる。
具体的には、変更部１２３は、例えば上位ハイパーパラメータの値を交換したり、上位ハイパーパラメータを合成させたりすることで第２のハイパーパラメータのセットを生成してもよい。

記憶部１３０は、上述した機能部が用いる各種データを格納するためのストレージ装置である。記憶部１３０は、例えばフラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。また、図２に示すように、記憶部１３０は、候補ハイパーパラメータデータベース１３１と、上位ハイパーパラメータデータベース１３２を含んでもよい。

候補ハイパーパラメータデータベース１３１は、所定のハイパーパラメータ空間を定義するデータベースである。ここでのハイパーパラメータ空間とは、ある分野や課題に対して、使用可能なハイパーパラメータの範囲を規定し、使用可能なハイパーパラメータを全て含む論理的な空間である。このハイパーパラメータ空間は、ユーザによって予め定義されてもよい。また、候補ハイパーパラメータデータベース１３１が有するハイパーパラメータ空間は、処理用ハイパーパラメータ及びモデル用ハイパーパラメータの両方について、使用可能なハイパーパラメータの範囲を定義してもよい。

上位ハイパーパラメータデータベース１３２は、上位のハイパーパラメータを格納するためのデータベースである。上述したように、上位ハイパーパラメータデータベース１３２は、テスト用情報を用いて機械学習モデルを検証した際に、第１のハイパーパラメータのセットのうち、所定の評価基準を達成したハイパーパラメータであってもよい。この評価基準は、「良い」と「悪い」のハイパーパラメータの敷居を定義する基準であり、所定の評価点数（例えば０．８５以上）、所定のパーセンテージ（上位１０％）、所定の数（上位２０個）等として表現されてもよい。

クライアント端末１３５Ａ、１３５Ｂは、機械学習モデルの解析の対象となる対象データを、通信ネットワーク２２５を介してハイパーパラメータ管理サーバ１００に送信する端末である。ハイパーパラメータ管理装置２０５による解析（例えば、イベント予測）が終了した後、解析の結果を示す情報がクライアント端末１３５Ａ、１３５Ｂに返送される。これらのクライアント端末１３５Ａ、１３５Ｂは、例えば、デスクトップパソコン、ノートパソコン、タブレット、スマートフォン等、任意のデバイスであってもよい。

ハイパーパラメータ管理サーバ１００に含まれるそれぞれの機能部は、図１に示すハイパーパラメータ管理アプリケーション３５０を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。また、上記の機能部は、同一のコンピューティング環境に実施されてもよく、分散されたコンピューティング環境に実施されてもよい。

次に、図３を参照して、本発明の実施例１に係るハイパーパラメータ管理システムの機能的構成について説明する。

図３は、本発明の実施例１に係るハイパーパラメータ管理システムの機能的構成２５０を示すブロック図である。図３に示すように、この機能的構成２５０は、上述した処理部１２１、モデル作成部１２２、変更部１２３、強化学習部１２４、評価部１２５、候補ハイパーパラメータデータベース１３１、及び上位ハイパーパラメータデータベース１３２の間のデータの送受信を示す。

まず、強化学習部１２４は、候補ハイパーパラメータデータベース１３１に格納される候補ハイパーパラメータ空間に基づいて、処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを生成する。具体的には、強化学習部１２４は、いわゆるＥｐｓｉｌｏｎ－Ｇｒｅｅｄｙ法を用いて、第１のハイパーパラメータのセットを探索（ｅｘｐｌｏｒａｔｉｏｎ）で生成するか、搾取（ｅｘｐｌｏｉｔａｔｉｏｎ）で生成するかを判定する。
搾取の場合には、強化学習部１２４は、順伝播の計算を用いて、ハイパーパラメータのシーケンスを第１のハイパーパラメータのセットとして生成する。探索の場合には、強化学習部１２４は、候補ハイパーパラメータデータベース１３１の候補ハイパーパラメータ空間から一様に抽出したハイパーパラメータを第１のハイパーパラメータのセットとして生成する。その後、強化学習部１２４は、生成した第１のハイパーパラメータのセットを処理部１２１及びモデル作成部１２２に送信する。
また、後の段階で、強化学習部１２４は、第１のハイパーパラメータのセットについて計算される評価点数に基づいて、ポリシー勾配法を用いたバックプロパゲーションによって訓練される。これにより、強化学習部１２４は、よりよいハイパーパラメータを生成できるように学習する。

次に、処理部１２１は、第１のハイパーパラメータのセットに含まれる処理用ハイパーパラメータに基づいて、任意の対象データを処理する。ここでの対象データは、例えば図２に示すクライアント端末（１３５Ａ，１３５Ｂ）から受信した解析対象のデータ（解析対象者の金融取引に関するデータ等）であってもよい。処理部１２１が対象データに対して行う処理の具体的な工程は、処理ハイパーパラメータによって規定される。
例えば、処理ハイパーパラメータが「ａｖｅｒａｇｅ_ｆｉｌｌｉｎｇ」の値を有する場合には、処理部１２１は、対象データにおいて抜けている値を、類似しているデータの値の平均値で埋めてもよく、処理ハイパーパラメータが「ｍｅｄｉａｎ_ｆｉｌｌｉｎｇ」の値を有する場合には、処理部１２１は、対象データにおいて抜けている値を、類似しているデータの値の中央値で埋めてもよい。

対象データに対する処理が終了した後、処理部１２１は、訓練用情報と、テスト用情報とを生成する。具体的には、処理部１２１は、受信した対象データを、機械学習モデルを訓練するための訓練用情報と、訓練済みの機械学習モデルをテストするためのテスト用情報とに分割してもよい。対象データを訓練用情報とテスト用情報とに分割することで、機械学習モデルの訓練とテストを個別に行うことができ、訓練用情報に対して学習されているが、未知のテスト用情報に対しては適合できていない過剰適合を避けることができる。例えば、対象データが２０００年～２０１０年の間に行われた金融取引を示すデータである場合には、処理部１２１は、２０００年～２００５年のデータを訓練用情報とし、２００５年～２０１０年のデータをテスト用情報としてもよい。

次に、モデル作成部１２２は、第１のハイパーパラメータのセットに含まれるモデル用ハイパーパラメータに基づいて機械学習モデルを作成する。ここで作成する機械学習モデルの種類は、ユーザに予め設定されてもよく、モデル用ハイパーパラメータによって指定されてもよい。この機械学習モデルは、例えばローンのデフォルト、不正の金融取引、病気の進行等のイベントを予測するためのイベント予測機械学習モデルであってもよい。また、機械学習モデルの特性や設定は、モデル用ハイパーパラメータによって規定される。
例えば、モデル用ハイパーパラメータが「ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ＝３」、「ｎｕｍｂｅｒ＿ｏｆ＿ｎｏｄｅｓ＝３」、「ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝０．００１」、及び「ａｃｔｉｖａｔｉｏｎ＿ｆｕｎｃｔｉｏｎ＝ｌｉｎｅａｒ＿ａｃｔｉｖａｔｉｏｎ」の値を有する場合には、モデル作成部１２２は、これらの条件に従って機械学習モデルを構築する。
機械学習モデルをモデル用ハイパーパラメータに基づいて作成した後、モデル作成部１２２は、処理部１２１から受信した訓練用情報を用いて当該機械学習モデルを訓練する。この訓練の方法は、機械学習モデルの種類に合わせて適宜に選択されてもよい。

次に、評価部１２５は、処理部１２１から受信したテスト用情報を用いて、モデル作成部１２２によって作成された機械学習モデルを検証し、第１のハイパーパラメータについての評価点数を計算する。上述したように、この評価点数は、第１のハイパーパラメータの性能を定量的に示す尺度であり、例えば０～１の数字で表されてもよい。原則として、より高い評価点数を有するハイパーパラメータは、検証した機械学習モデルにおいてより優れた精度・性能・効率等を発揮したことを意味する。所定の評価基準を達成するハイパーパラメータは、後述する上位ハイパーパラメータデータベース１３２に格納される。

次に、変更部１２３は、上位ハイパーパラメータデータベース１３２に格納されている上位ハイパーパラメータに基づいて、第２のハイパーパラメータのセットを生成する。変更部１２３は、例えば、複数の上位ハイパーパラメータの値を交換することで第２のハイパーパラメータのセットを生成してもよく、複数の上位ハイパーパラメータを合成することで第２のハイパーパラメータのセットを生成してもよい。
ここで生成された第２のハイパーパラメータのセットは、強化学習部１２４を訓練するために用いられてもよく、機械学習モデルに設定されてもよく、上位ハイパーパラメータデータベース１３２に格納されてもよい。
なお、ここでは、第２のハイパーパラメータのセットを生成する方法として、上位ハイパーパラメータの値を交換することや、上位ハイパーパラメータを合成することを例として説明したが、本発明はこれに限定されず、上位ハイパーパラメータを用いて新たなハイパーパラメータを生成する他の手段も可能である。

次に、図４を参照して、本発明の実施例１に係る候補ハイパーパラメータデータベースの一例について説明する。

図４は、本発明の実施例１に係る候補ハイパーパラメータデータベース１３１の一例を示す図である。図４に示すように、候補ハイパーパラメータデータベース１３１は、パラメータ名３５１、第１のオプション３５２、第２のオプション３５３、及びその他のオプション３５４を含む。
なお、説明の便宜上、候補ハイパーパラメータデータベース１３１の内容を省略しているが、候補ハイパーパラメータデータベース１３１は数多くのハイパーパラメータの情報を格納してもよい。これらのハイパーパラメータは、上述したハイパーパラメータ空間を構成する。

パラメータ名３５１は、ハイパーパラメータの種類を指定するものである。例えば、「ｍｉｓｓｉｎｇ＿ｖａｌｕｅ」は、抜けている値を埋めるための方法を示す処理用ハイパーパラメータを指し、「ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ」は、機械学習モデルのレイヤ数を指定するモデル用ハイパーパラメータデータを指す。

第１のオプション３５２、第２のオプション３５３、及びその他のオプション３５４は、それぞれのハイパーパラメータの有効性又は可能な値の範囲を指定するものである。例えば、「ｍｉｓｓｉｎｇ＿ｖａｌｕｅ」の第１のオプション３５２が「Ｔｒｕｅ」の場合には、抜けている値を埋めるための処理が処理部によって行われ、「Ｆａｌｓｅ」の場合には行われない。また、「ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ」の第２のオプション３５３が「３」の場合には、モデル作成部は３つのレイヤを有する機械学習モデルを構築する。

上述したように、強化学習部は、当該候補ハイパーパラメータデータベース１３１から無作為又は一様に選択したハイパーパラメータを第１のハイパーパラメータのセットとして生成してもよい。

次に、図５を参照して、本発明の実施例１に係る上位ハイパーパラメータデータベースについて説明する。

図５は、本発明の実施例１に係る上位ハイパーパラメータデータベース１３２の一例を示す図である。図５に示すように、上位ハイパーパラメータデータベース１３２は、セットＩＤ４０１、パラメータ名４０２、値４０３、及び評価点数４０４を含む。
上述したように、上位ハイパーパラメータデータベース１３２は、所定の評価基準を達成する上位ハイパーパラメータを格納するデータベースである。

セットＩＤ４０１は、パラメータが属するセットの識別子である。ここでのセットとは、１つの処理用ハイパーパラメータと、１つのモデル用ハイパーパラメータとからなる。例えば、同じセットＩＤ４０１が付与されているハイパーパラメータは、同じセットに属し、一対となる。

パラメータ名４０２は、ハイパーパラメータの種類を指定するものである。パラメータ名４０２は、図４を参照して説明したパラメータ名３５１と実質的に同様であるため、その説明は省略する。

値４０３は、ハイパーパラメータの値を指定するものである。ここでの値４０３は、可能な値を示す第１オプションや第２オプション等と異なり、実際に処理部又はモデル作成部に使用された際の値を示す。

評価点数４０４は、当該ハイパーパラメータの性能を定量的に示す尺度であり、例えば０～１の数字で表されてもよい。原則として、より高い評価点数を有するハイパーパラメータは、機械学習モデルにおいてより優れた精度・性能・効率等を発揮したことを意味する。この評価点数４０４は、特定のハイパーパラメータのセットに基づいて訓練・検証された機械学習モデルを評価する際に、上述した評価部１２５によって定められる値である。

次に、図６を参照して、本発明の実施例１に係る処理部による処理について説明する。

図６は、本発明の実施例１に係る処理部による処理５００を示すフローチャートである。この処理５００は、処理用ハイパーパラメータに基づいて、処理部が対象データに対して行う処理の各工程を示す。

まず、ステップ５０１では、処理部（例えば図２に示す処理部１２１）は、強化学習部から、処理用のハイパーパラメータ及びモデル用のハイパーパラメータを含む第１のハイパーパラメータのセットを受信する。

次に、ステップ５０２では、処理部は、第１のハイパーパラメータのセットに含まれる処理用のハイパーパラメータに基づいて対象データを処理する。例えば、処理ハイパーパラメータが「ａｖｅｒａｇｅ_ｆｉｌｌｉｎｇ」の値を有する場合には、処理部は、対象データにおいて抜けている値を、類似しているデータの値の平均値で埋めてもよい。

次に、ステップ５０３では、処理部は、処理後のデータをモデル作成部に出力する。この処理後のデータは、処理用のハイパーパラメータに基づいて処理された訓練用情報とテスト用情報とを含む。

次に、図７を参照して、本発明の実施例１に係るモデル作成部による処理について説明する。

図７は、本発明の実施例１に係るモデル作成部による処理６００を示すフローチャートである。この処理６００は、モデル用ハイパーパラメータに基づいて機械学習モデルを作成する処理を示す。

まず、ステップ６０１では、モデル作成部は、強化学習部からの処理用のハイパーパラメータ及びモデル用のハイパーパラメータを含む第１のハイパーパラメータのセットと、処理部からの訓練用情報及びテスト用情報とを受信する。

次に、ステップ６０２では、モデル作成部は、第１のハイパーパラメータのセットに含まれるモデル用ハイパーパラメータに基づいて機械学習モデルを作成する。例えば、モデル作成部は、モデル用ハイパーパラメータによって規定されるモデル種類（例えば「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ」や「Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」）、レイヤの数、及び隠れレイヤにおけるノードの数等に従って機械学習モデルを作成してもよい。

次に、ステップ６０３では、機械学習モデルをモデル用ハイパーパラメータに基づいて作成した後、モデル作成部１２２は、処理部１２１から受信した訓練用情報を用いて当該機械学習モデルを訓練する。この訓練の方法として、例えば線形回帰、ロジスティック回帰、単純ベイズ分類及びｋ近傍法が挙げられる。この訓練により、機械学習モデルは、ローンのデフォルトや病気の進行等の特定のイベントを正確に予測する精度が向上する。

次に、図８を参照して、本発明の実施例１に係る評価部による処理について説明する。

図８は、本発明の実施例１に係る評価部による処理７００を示す図である。この処理７００は、モデル作成部によって作成された機械学習モデルを検証して、第１のハイパーパラメータのセットを評価する処理を示す。

まず、ステップ７０３では、評価部は、処理部から受信したテスト用情報を用いて、モデル作成部によって作成された機械学習モデルを検証する。例えば、機械学習モデルがローンのデフォルトを予測するモデルである場合、評価部は、解析対象者の金融取引、年収、クレジットスコア等の金融情報を示すテスト用情報を分析し、当該解析対象者がデフォルトする確率を計算する。その後、機械学習モデルが計算した確率と、当該解析対象者が実際にデフォルトしたかどうかを示す結果に比較することで、機械学習モデルの精度を検証することができる。

次に、ステップ７０４では、評価部は、検証の結果に基づいて、第１のハイパーパラメータについての評価点数を計算する。この評価点数の形式は、機械学習モデルの種類によって選択されてもよい。例えば、機械学習モデルが分類・予測を行う場合には、精度やＦ１スコアをこの評価点数として使用してもよく、機械学習モデルが回帰のモデルである場合には、Ｒ２スコアをこの評価点数として使用してもよい。
一例として、この評価点数は、例えば０～１の数字で表されてもよい。原則として、より高い評価点数を有するハイパーパラメータは、検証した機械学習モデルにおいてより優れた精度・性能・効率等を発揮したことを意味する。

次に、ステップ７０５では、評価部は、所定の評価基準を達成するハイパーパラメータを、上述した上位ハイパーパラメータデータベースに格納してもよい。この評価基準は、「良い」と「悪い」のハイパーパラメータの敷居を定義する基準であり、所定の評価点数（例えば０．８５以上）、所定のパーセンテージ（上位１０％）、所定の数（上位２０個）等として表現されてもよい。

次に、図９を参照して、本発明の実施例１に係る変更部による処理について説明する。

図９は、本発明の実施例１に係る変更部による処理８００を示すフローチャートである。この処理８００は、上位ハイパーパラメータに基づいて、第２のハイパーパラメータを生成する処理を示す。

まず、ステップ８０１では、変更部は、上位ハイパーパラメータデータベースに格納されている上位ハイパーパラメータのうち、任意の数Ｋ個のハイパーパラメータのセットを読み出す。
なお、ここでは、Ｋは、２以上の数字である。これは、ハイパーパラメータのセットが１つしかない場合には、値の交換や後述する合成ができないからである。

次に、ステップ８０２では、変更部は、Ｋ個のハイパーパラメータのセットの値を交換することで、第２のハイパーパラメータのセットを生成する。
例えば、上位ハイパーパラメータデータベースには、｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ｍｅｄｉａｎ”，“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：２｝及び｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ａｖｅｒａｇｅ”，“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：３｝の上位ハイパーパラメータデータベースがある場合には、変更部１２３は、それぞれのハイパーパラメータの値を交換し｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ａｖｅｒａｇｅ”，“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：２｝及び｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ｍｅｄｉａｎ”，“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：３｝を生成する。
なお、説明の便宜上、上位ハイパーパラメータデータベースに２つのハイパーパラメータがある場合について説明したが、本発明はそれに限定されず、３つ以上のハイパーパラメータがある場合にも適用可能であるというまでもない。この場合には、変更部は、上位ハイパーパラメータデータベースに格納されるハイパーパラメータデータの全ての順列を生成してもよい。
また、ここでは、複数の上位ハイパーパラメータの値を交換することで第２のハイパーパラメータのセットを生成する一例を説明したが、本発明はこれに限定されず、後述するように、複数の上位ハイパーパラメータを合成することで第２のハイパーパラメータのセットを生成することもできる。

次に、ステップ８０３では、変更部は、第２のハイパーパラメータのセットの中から、任意のハイパーパラメータをランダムに選択し、出力する。ここで選択されたハイパーパラメータは、強化学習部を訓練するために用いられてもよく、機械学習モデルに設定されてもよく、上位ハイパーパラメータデータベースに格納されてもよい。

次に、図１０を参照して、本発明の実施例１に係る強化学習部による処理について説明する。

図１０は、本発明の実施例１に係る強化学習部による処理９００を示すフローチャートである。この処理９００は、ハイパーパラメータを生成し、ハイパーパラメータの評価点数に基づいて強化学習部を訓練する処理を示す。

まず、ステップ９０１では、強化学習部は、第１のハイパーパラメータのセットを探索（ｅｘｐｌｏｒａｔｉｏｎ）で生成するか、搾取（ｅｘｐｌｏｉｔａｔｉｏｎ）で生成するかを判定するためには、０以上１未満のランダムな値を生成する。

次に、ステップ９０２では、強化学習部は、ランダムに生成した値を第１のエプシロンパラメータε１に比較する。ランダムに生成した値が第１のエプシロンパラメータε１以上の場合には、本処理はステップ９０３に進み、ランダムに生成した値が第１のエプシロンパラメータε１未満の場合には、本処理はステップ９０４に進む。
なお、第１のエプシロンパラメータε１は、予めユーザに設定される値である。

ステップ９０３では、強化学習部は、いわゆる「搾取」の手段として、再帰型ニューラルネットワークの順伝播計算を用いて、ハイパーパラメータのシーケンスを第１のハイパーパラメータのセットとして生成する。

ステップ９０４では、強化学習部は、探索の手段として、上述した変更部を用いるか、ハイパーパラメータ空間から一様に抽出したハイパーパラメータを用いるかを判定するためには、０以上１未満のランダムな値を生成する。

次に、ステップ９０５では、強化学習部は、ランダムに生成した値を第２のエプシロンパラメータε２に比較する。ランダムに生成した値が第２のエプシロンパラメータε２以上の場合には、本処理はステップ９０７に進み、ランダムに生成した値が第２のエプシロンパラメータε２未満の場合には、本処理はステップ９０６に進む。
なお、第２のエプシロンパラメータε２は、予めユーザに設定される値である。

ステップ９０６では、強化学習部は、変更部を呼び出し、第１のハイパーパラメータのセットに基づいた第２のハイパーパラメータを生成させる。この処理は、上述した処理８００に対応する。

ステップ９０７では、強化学習部は、候補ハイパーパラメータデータベースの候補ハイパーパラメータ空間から一様に抽出したハイパーパラメータを第１のハイパーパラメータのセットとして生成する。

次に、ステップ９０８では、強化学習部は、ステップ９０３、ステップ９０６、又はステップ９０７で生成されたハイパーパラメータのセットを処理部及びモデル作成部に送信する。その後、処理部及びモデル作成部はそれぞれ、上述した処理（処理５００及び処理６００）を行う。

次に、ステップ９０９では、処理部、モデル作成部、及び評価部による処理が終了した後、強化学習部は、ハイパーパラメータのセットについて計算された評価点数を評価部から受信する。

次に、ステップ９１０では、強化学習部は、ポリシー勾配法を用いて、受信した評価点数に基づいて、再帰型ネットワークの重み付けを更新する。例えば、ハイパーパラメータの評価点数が低い（所定の評価基準を達成しない）場合には、強化学習部は、再帰型ネットワークの重み付けを減少してもよい。また、ハイパーパラメータの評価点数が高い（所定の評価基準を達成する）場合には、強化学習部は、再帰型ネットワークの重み付けを増加してもよい。これにより、強化学習部の再帰型ネットワークはよりよいハイパーパラメータを生成するように訓練される。

次に、図１１を参照して、本発明の実施例２に係るハイパーパラメータ管理システムの構成について説明する。

図１１は、本発明の実施例２に係るハイパーパラメータ管理システム１１５０の構成を示す図である。図１１に示すハイパーパラメータ管理システム１１５０は、図２を参照して説明したハイパーパラメータ管理システム１５０の構成要素の他に、予測調整部１２６を備える点において、ハイパーパラメータ管理システム１５０と異なる。この点以外、ハイパーパラメータ管理システム１１５０の構成はハイパーパラメータ管理システム１５０の構成と実質的に同様であるため、その説明は省略する。

機械学習モデルの中には、出力となる確率分布が二極化する等、汎用性に欠けるモデルがある。例えば、ローンがデフォルトされる確率を予測する機械学習モデルの確率分布では、ローンがデフォルトされる確率がほぼ１００％又はほぼ０％等のような極端の２択に分かれるものがある。このような二極化した結果では、有意義な結論を導出することが難しいため、「１００％」と「０％」の間をより滑らかな確率分布で示す機械学習モデルが望ましい。

従って、本発明の実施例２に係るハイパーパラメータ管理システム１１５０は、所望の確率分布に応じてハイパーパラメータの評価点数を調整する予測調整部１２６を含む。これにより、モデル作成部１２２によって作成される機械学習モデルは、より有意義な確率分布を有する予測結果を生成するように訓練される。
なお、予測調整部１２６の機能については後述する。

次に、図１２を参照して、本発明の実施例２に係るハイパーパラメータ管理システムの機能的構成について説明する。

図１２は、本発明の実施例２に係るハイパーパラメータ管理システムの機能的構成１２５０を示すブロック図である。図１２に示す機能的構成１２５０は、図３を参照して説明した機能的構成２５０の構成要素の他に、予測調整部１２６を備える点において、機能的構成２５０と異なる。この点以外、機能的構成１２５０の構成は機能的構成２５０と実質的に同様であるため、その説明は省略する。

予測調整部１２６は、モデル作成部１２２の機械学習モデル（図示せず）によって生成された予測結果と、ハイパーパラメータの評価点数とを受信する。ここでの予測結果とは、例えば対象データに基づいて生成された、ローンのデフォルト、不正の金融取引、病気の進行等のイベントに関する確率分布であってもよい。

次に、予測調整部１２６は、機械学習モデルによって生成された予測結果を、予め入力された所望の予測分布に比較し、この比較の結果に基づいて、ハイパーパラメータの評価点数を調整する。この所望の予測分布は、例えばユーザが望む確率分布を示す参考用のデータであってもよい。評価点数が調整されたハイパーパラメータのうち、所定の評価基準を達成するハイパーパラメータは上位ハイパーパラメータデータベース１３２に格納される。
なお、ハイパーパラメータ調整の詳細については後述する。

次に、図１３を参照して、本発明の実施例２に係る予測調整部による処理について説明する。

図１３は、本発明の実施例２に係る予測調整部による処理１３００を示すフローチャートである。この処理１３００は、機械学習モデルの予測結果と所望の予測分布との比較に基づいて、ハイパーパラメータの評価点数を調整する処理の各工程を示す。

まず、ステップ１３０１では、予測調整部は、モデル作成部１２２の機械学習モデル（図示せず）によって生成された予測結果を受信する。この予測結果は、例えば、複数のテスト用データに基づいて生成された予測を１つの予測分布に集約したものであってもよい。

次に、ステップ１３０２では、予測調整部は、機械学習モデルの予測結果と、予め入力された所望の予測分布を比較し、予測結果と所望の予測分布の差異を示す距離を計算する。この距離は、例えばカルバック・ライブラー距離の計算手段によって計算されてもよい。

次に、ステップ１３０３では、予測調整部は、予測結果と所望の予測分布の距離に基づいて、ハイパーパラメータの評価点数を調整する。具体的には、予測結果が、予測結果分布に対する所定の類似度基準を達成する場合には、予測調整部はハイパーパラメータの評価点数を増加させる。一方、予測結果が、予測結果分布に対する所定の類似度基準を達成しない場合には、予測調整部はハイパーパラメータの評価点数を現象させてもよい。ここでの類似度基準は、例えば所定の距離の値を指定する基準である。

次に、ステップ１３０４では、予測調整部は、評価点数を調整したハイパーパラメータを出力する。例えば、上述したように、予測調整部は、評価点数が調整されたハイパーパラメータのうち、所定の評価基準を達成するハイパーパラメータを上位ハイパーパラメータデータベースに格納してもよい。

このように、所望の予測分布に類似した予測結果の生成を促すハイパーパラメータが高い評価点数となり、所望の予測分布に類似しない予測結果の生成を促すハイパーパラメータが低い評価点数となる。これにより、モデル作成部が機械学習モデルを作成する際に、高い評価点数のハイパーパラメータを用いることで、ユーザが望む予測分布を有する予測結果が生成できる機械学習モデルを実現することができる。

次に、図１４を参照して、本発明の実施例３に係るハイパーパラメータ管理システムの構成について説明する。

図１４は、本発明の実施例３に係るハイパーパラメータ管理システム１４００の構成を示す図である。以上説明した実施例１及び実施例２では、上位の処理用ハイパーパラメータ及びモデル用ハイパーパラメータを共に生成する構成について説明したが、本発明はそれに限定されず、上位の処理用ハイパーパラメータ及びモデル用ハイパーパラメータを個別に生成する構成も可能である。そのため、本発明の実施例３に係るハイパーパラメータ管理システム１４００は、上位の処理用ハイパーパラメータと、モデル用ハイパーパラメータとを並行に生成する構成について説明する。
なお、ここでは、「上位の処理用ハイパーパラメータ及びモデル用ハイパーパラメータを個別に生成する」との表現は、上位の処理用ハイパーパラメータと、上位のモデル用ハイパーパラメータとを独立した機械学習パイプラインで生成することを意味する。これにより、上位の処理用ハイパーパラメータ及びモデル用ハイパーパラメータを同じ機械学習パイプラインで生成することに比べて、より評価点数の高いハイパーパラメータが得られやすくなる。

図１４に示すように、処理用ハイパーパラメータ及びモデル用ハイパーパラメータの生成を並行に行うためには、ハイパーパラメータ管理システム１４００のハイパーパラメータ管理サーバ１００は、２つのプロセッサ１１０、２１０、２つのメモリ１１０、２２０、及び２つの記憶部１３０、２３０を含んでもよい。プロセッサ１１０、２１０は、物理的に独立されているプロセッサであってもよく、同一のプロセッサの異なるコアであってもよい。同様に、メモリ１２０、２２０及び記憶部１３０、２３０は、物理的に独立されているものであってもよく、同一の記憶媒体の異なるパーティションであってもよい。

上述したように、実施例２では、処理用ハイパーパラメータを生成する処理と、モデル用ハイパーパラメータを生成する処理とが個別に行われる。そのため、処理用ハイパーパラメータを生成する処理では、強化学習部１２４は、モデル用ハイパーパラメータを生成しない。しかし、処理用ハイパーパラメータを生成する処理において、機械学習モデルを作成するためには、モデル用ハイパーパラメータが必要となる。同様に、モデル用ハイパーパラメータを生成する処理において、対象データの前処理を行うためには、処理用ハイパーパラメータが必要となる。
従って、本実施形態に係るハイパーパラメータ管理システム１４００は、処理用ハイパーパラメータを生成する処理において用いられるモデル用ハイパーパラメータが事前に格納されている固定のモデル用ハイパーパラメータデータベース１３５と、モデル用ハイパーパラメータを生成するする処理において用いられる処理用ハイパーパラメータが事前に格納されている固定の処理用ハイパーパラメータデータベース２３５とを含む。
これにより、処理用ハイパーパラメータ又はモデル用ハイパーパラメータを生成する処理において、他の種類のハイパーパラメータが必要になった際に、当該ハイパーパラメータが該当するデータベースから読み出され、適宜に使用される。なお、これらの固定のハイパーパラメータの値が固定されているため、評価部１２５や変更部１２３の処理によって変更されない。

図１４に示すように、記憶部１３０は、処理用ハイパーパラメータを生成する候補処理用ハイパーパラメータデータベース１３３と、所定の評価基準を達成する処理用ハイパーパラメータを格納する上位処理用ハイパーパラメータデータベース１３４と、機械学習モデルを作成する際に用いる固定のモデル用ハイパーパラメータを格納する固定のモデル用ハイパーパラメータデータベース１３５とを含む。
また、記憶部２３０は、モデル用ハイパーパラメータを生成する候補モデル用ハイパーパラメータデータベース２３３と、所定の評価基準を達成するモデル用ハイパーパラメータを格納する上位モデル用ハイパーパラメータデータベース２３４と、対象データを処理する際に用いる処理用ハイパーパラメータを格納する固定の処理用ハイパーパラメータデータベース２３５とを含む。

なお、以上説明した点以外、ハイパーパラメータ管理システム１４００の構成は上述したハイパーパラメータ管理システム１５０と実施的に同様であるため、その説明は省略する。

次に、図１５を参照して、本発明の実施例３に係るハイパーパラメータ管理システムの機能的構成について説明する。

図１５は、本発明の実施例３に係るハイパーパラメータ管理システムの機能的構成１４５０を示すブロック図である。上述したように、本発明の実施例３では、処理用ハイパーパラメータと、モデル用ハイパーパラメータとが個別の処理で生成される。従って、図１５に示すように、上述した強化学習部、処理部、モデル作成部、変更部及び評価部の機能が、処理用ハイパーパラメータ及びモデル用ハイパーパラメータ毎に、並行に実行される。具体的な処理手順や、機能部間のデータの送受信は、図３を参照して説明したとの実施的に同様であるため、ここではその説明を省略する。

次に、図１６を参照して、本発明の実施例４に係るハイパーパラメータ管理システムの構成について説明する。

図１６は、本発明の実施例４に係るハイパーパラメータ管理システム１６００の構成を示す図である。図１６に示すハイパーパラメータ管理システム１６００は、上述したハイパーパラメータ管理システム１４００と同様に、処理用ハイパーパラメータと、モデル用ハイパーパラメータを並行に処理する構成である。ただし、ハイパーパラメータ管理システム１６００は、固定のハイパーパラメータデータベースに格納されているハイパーパラメータを更新するハイパーパラメータ更新部３２１を含む点において、ハイパーパラメータ管理システム１４００と異なる。この点以外、ハイパーパラメータ管理システム１６００の構成はハイパーパラメータ管理システム１４００の構成と実質的に同様であるため、その説明は省略する。

処理用ハイパーパラメータと、モデル用ハイパーパラメータを独立して最適化する場合には、１種のハイパーパラメータを固定した状態で、もう１種のハイパーパラメータが最適化される。そのため、処理用ハイパーパラメータとモデル用ハイパーパラメータの両方が最適化されたハイパーパラメータセットを実現するためには、固定したハイパーパラメータを、別の機械学習パイプラインにおいて最適化されたハイパーパラメータに基づいて更新することが望ましい。

図１６に示すように、ハイパーパラメータ管理システム１６００は、第３のプロセッサ３１３と、メモリ３２３と、ハイパーパラメータ更新部３２１とを含む。このハイパーパラメータ更新部３２１は、所定の頻度で、上位モデル用ハイパーパラメータデータベース２３４に格納されている上位モデル用ハイパーパラメータを、固定のモデル用ハイパーパラメータデータベース１３５に移行し、上位処理用ハイパーパラメータデータベース１３４に格納されている上位処理用ハイパーパラメータを、固定の処理用ハイパーパラメータデータベース２３５に移行する機能部である。
これにより、固定のハイパーパラメータが上位ハイパーパラメータに置き換えられるため、最新で最も評価点数の高いハイパーパラメータがそれぞれの機械学習パイプラインにおいて使用される。

次に、図１７を参照して、本発明の実施例４に係るハイパーパラメータ管理システムの機能的構成について説明する。

図１７は、本発明の実施例４に係るハイパーパラメータ管理システムの機能的構成１７５０を示す図である。図１７に示すように、ハイパーパラメータ更新部３２１は、所定の頻度で、上位モデル用ハイパーパラメータデータベース２３４に格納されている上位モデル用ハイパーパラメータを、固定のモデル用ハイパーパラメータデータベース１３５に移行し、上位処理用ハイパーパラメータデータベース１３４に格納されている上位処理用ハイパーパラメータを、固定の処理用ハイパーパラメータデータベース２３５に移行する。
なお、この点以外、図１７に示すハイパーパラメータ管理システムの機能的構成１７５０は、図３に示すハイパーパラメータ管理システムの機能的構成２５０と実質的に同様であるため、ここではその説明を省略する。

次に、図１８を参照して、本発明の実施例４に係るハイパーパラメータ更新部による処理について説明する。

図１８は、本発明の実施例４に係るハイパーパラメータ更新部による処理１８００を示すフローチャートである。この処理１８００は、固定のハイパーパラメータデータベースに格納されているハイパーパラメータを、上位のハイパーパラメータで更新する処理を示す。

まず、ステップ１６０１では、ハイパーパラメータ更新部は、所定のハイパーパラメータ更新条件が満たされているか否かを判定する。このハイパーパラメータ更新条件は、ハイパーパラメータを更新する時間や状況を定める条件である。このハイパーパラメータ更新条件は、例えば前回の更新からの所定時間の経過（１時間、１日、１週間）、訓練された機械学習モデルの数、上位ハイパーパラメータの数等、任意の条件であってもよい。ハイパーパラメータ更新条件が満たされている場合には、本処理はステップ１６０２に進み、ハイパーパラメータ更新条件が満たされていない場合には、本処理は終了する。

次に、ステップ１６０２では、ハイパーパラメータ更新部は、上位処理用ハイパーパラメータデータベースに格納されている上位処理用ハイパーパラメータを、固定の処理用ハイパーパラメータデータベースに移行する。この際、固定の処理用ハイパーパラメータデータベースに格納されているハイパーパラメータは、上位処理用ハイパーパラメータによって上書きされてもよく、予備のハイパーパラメータとして保管されてもよい。

次に、ステップ１６０３では、ハイパーパラメータ更新部は、上位モデル用ハイパーパラメータデータベースに格納されている上位モデル用ハイパーパラメータを、固定のモデル用ハイパーパラメータデータベースに移行する。また、上述したように、この際には、固定のモデル用ハイパーパラメータデータベースに格納されているハイパーパラメータは、上位モデル用ハイパーパラメータによって上書きされてもよく、予備のハイパーパラメータとして保管されてもよい。

次に、図１９を参照して、本発明の実施例５に係るハイパーパラメータ管理システムの構成について説明する。

図１９は、本発明の実施例５に係るハイパーパラメータ管理システム１９００の構成を示す図である。図１９に示すハイパーパラメータ管理システム１９００は、上述したハイパーパラメータ管理システム１４００と同様に、処理用ハイパーパラメータと、モデル用ハイパーパラメータとを並行に生成する構成である。ただし、ハイパーパラメータ管理システム１９００は、独立して生成された上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成するハイパーパラメータ合成部３２５を含む点において、ハイパーパラメータ管理システム１４００と異なる。この点以外、ハイパーパラメータ管理システム１９００の構成はハイパーパラメータ管理システム１４００の構成と実質的に同様であるため、その説明は省略する。

処理用ハイパーパラメータと、モデル用ハイパーパラメータを独立して最適化する場合には、上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータはそれぞれ別のデータベースに格納される。そのため、処理用ハイパーパラメータとモデル用ハイパーパラメータの両方が最適化されたハイパーパラメータセットを実現するためには、上位処理用ハイパーパラメータと、上位モデル用ハイパーパラメータとを合成することが望ましい。

図１９に示すように、ハイパーパラメータ管理システム１９００は、第３のプロセッサ３１３と、メモリ３２３と、ハイパーパラメータ合成部３２５とを含む。このハイパーパラメータ合成部３２５は、上位処理用ハイパーパラメータを上位処理用ハイパーパラメータデータベース１３４から抽出し、上位モデル用ハイパーパラメータを上位モデル用ハイパーパラメータデータベース２３４から抽出し、当該抽出した上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成することで、第２のハイパーパラメータのセットを生成する。ここで合成した第２のハイパーパラメータのセットは、図１９に示す記憶部３３３の上位合成ハイパーパラメータデータベース３３５に格納される。

次に、図２０を参照して、本発明の実施例５に係るハイパーパラメータ管理システムの機能的構成について説明する。

図２０は、本発明の実施例５に係るハイパーパラメータ管理システムの機能的構成２０５０を示す図である。上述したように、本発明の実施例５では、独立して生成された上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成することで第２のハイパーパラメータのセットが生成される。

図２０に示すように、ハイパーパラメー合成部３２５は、上位処理用ハイパーパラメータを上位処理用ハイパーパラメータデータベース１３４から抽出し、上位モデル用ハイパーパラメータを上位モデル用ハイパーパラメータデータベース２３４から抽出し、当該抽出した上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成することで、第２のハイパーパラメータのセットを生成する。

その後、第２のハイパーパラメータのセットは、処理部１２１及びモデル作成部１２２に送信され、対象データの処理及び機械学習モデルの作成に用いられる。その後、評価部１２５は、第２のハイパーパラメータのセットについての評価点数を計算し、所定の評価基準を達成するハイパーパラメータを上位合成ハイパーパラメータデータベース３３５に格納する。
なお、この点以外、図２０に示すハイパーパラメータ管理システムの機能的構成２０５０は、図３に示すハイパーパラメータ管理システムの機能的構成２５０と実質的に同様であるため、ここではその説明を省略する。

次に、図２１を参照して、本発明の実施例５に係るハイパーパラメータ合成部による処理について説明する。

図２１は、本発明の実施例５に係るハイパーパラメータ合成部による処理２１００を示すフローチャートである。この処理２１００は、独立して生成された上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成する処理を示す。

まず、ステップ１９０１では、合成部は、合成を行うためには必要な数の処理用ハイパーパラメータ及びモデル用ハイパーパラメータがあるか否かを判定する。原則として、合成を行うためには、少なくとも１つの上位処理用ハイパーパラメータと、少なくとも１つの上位モデル用ハイパーパラメータが必要である。
そのため、合成部は、上述した上位処理用ハイパーパラメータデータベース及び上位モデル用ハイパーパラメータデータベースを参照し、十分な数のハイパーパラメータが格納されているかを確認する。十分な数のハイパーパラメータがある場合には、本処理はステップ１９０２に進み、十分な数のハイパーパラメータがある場合には、本処理は終了する。

次に、ステップ１９０２では、合成部は、上位処理用ハイパーパラメータを上位処理用ハイパーパラメータデータベースから抽出し、上位モデル用ハイパーパラメータを上位モデル用ハイパーパラメータデータベースから抽出し、当該抽出した上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータを合成する。
一例として、上位処理用ハイパーパラメータデータベースに｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ｍｅｄｉａｎ”｝の上位処理用ハイパーパラメータがあり、上位モデル用ハイパーパラメータデータベースには、｛“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：２｝の上位モデル用ハイパーパラメータがある場合には、合成部は、これらのハイパーパラメータを合成し、｛“ｍｉｓｓｉｎｇ＿ｖａｌｕｅ”：“ｍｅｄｉａｎ”，“ｎｕｍｂｅｒ＿ｏｆ＿ｌａｙｅｒｓ”：２｝のハイパーパラメータを、第２のハイパーパラメータのセットとして生成する。
なお、説明の便宜上、上位処理用ハイパーパラメータが１つ、上位モデル用ハイパーパラメータが１つある場合について説明したが、本発明はそれに限定されず、それぞれの種類のハイパーパラメータが複数存在する場合にも適用可能であるというまでもない。この場合には、合成部は、上位処理用ハイパーパラメータ及び上位モデル用ハイパーパラメータの全ての順列を生成してもよい。

次に、ステップ１９０３では、合成部は、生成した第２のハイパーパラメータのセットを処理部及びモデル作成部に送信する。その後、上述したように、処理部は、第２のハイパーパラメータのセットに含まれる処理用ハイパーパラメータを用いて対象データを処理し、モデル作成部は、第２のハイパーパラメータのセットに含まれるモデル用ハイパーパラメータを用いて機械学習モデルを生成する。

以上説明した本発明に係る実施形態の機能は、プログラム製品として実現されてもよい。ここでのプログラム製品とは、コンピュータプログラムが記録されたコ ンピュータが読み取り可能な媒体である。プログラムコードを記録するための記憶媒体としては、例えばフレキシブルディスク、ＣＤ-ＲＯＭ、ＤＶＤ-ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ-Ｒ、磁気テープ、不揮発性メモリカード、ＲＯＭ等がある。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ ハイパーパラメータ管理サーバ
１１０ プロセッサ
１２０ メモリ
１２１ 処理部
１２２ モデル作成部
１２３ 変更部
１２４ 強化学習部
１２５ 評価部
１３０ 記憶部
１３１ 候補ハイパーパラメータデータベース
１３２ 上位ハイパーパラメータデータベース
１３５Ａ，１３５Ｂ クライアント端末
２２５ 通信ネットワーク

Claims (8)

1. ハイパーパラメータ管理装置であって、
   処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを、候補ハイパーパラメータデータベースに格納される候補ハイパーパラメータ空間に基づいて生成する強化学習部と、
   前記処理用ハイパーパラメータに基づいて、対象データを処理し、訓練用情報及びテスト用情報を生成する処理部と、
   前記訓練用情報を用いて、前記モデル用ハイパーパラメータに基づいて機械学習モデルを作成するモデル作成部と、
   前記テスト用情報を用いて前記機械学習モデルを検証し、前記第１のハイパーパラメータのセットについての評価点数を計算する評価部と、
   所定の評価基準を達成するハイパーパラメータを格納する上位ハイパーパラメータデータベースと、
   前記上位ハイパーパラメータデータベースに格納されている上位ハイパーパラメータに基づいて、第２のハイパーパラメータのセットを生成する変更部と、
   を特徴とするハイパーパラメータ管理装置。
2. 前記変更部は、
   前記上位ハイパーパラメータデータベースに格納されているハイパーパラメータのうち、
   第１のハイパーパラメータの値と、第２のハイパーパラメータの値とを交換することで前記第２のハイパーパラメータのセットを生成する、
   ことを特徴とする請求項１に記載のハイパーパラメータ管理装置。
3. 前記変更部は、
   前記上位ハイパーパラメータデータベースに格納されているハイパーパラメータのうち、
   処理用ハイパーパラメータと、モデル用ハイパーパラメータとを合成することで前記第２のハイパーパラメータのセットを生成する、
   ことを特徴とする請求項１に記載のハイパーパラメータ管理装置。
4. 前記モデル作成部は、
   前記第２のハイパーパラメータのセットに基づいて第２の機械学習モデルを作成し、
   前記第２の機械学習モデルは、対象データに基づいた予測結果を生成する、
   ことを特徴とする請求項１に記載のハイパーパラメータ管理装置。
5. 前記ハイパーパラメータ管理装置は、
   前記予測結果を所望の予測結果分布に比較し、
   前記予測結果が、前記所望の予測結果分布に対する類似度基準を達成する場合には、前記第２のハイパーパラメータのセットの評価点数を増加させ、
   前記予測結果が、前記所望の予測結果分布に対する類似度基準を達成しない場合には、前記第２のハイパーパラメータのセットの評価点数を減少させる予測調整部、
   を更に特徴とする請求項４に記載のハイパーパラメータ管理装置。
6. 前記強化学習部は、
   前記第２のハイパーパラメータのセットに基づいて、ポリシー勾配法を用いて訓練される、
   ことを特徴とする請求項１に記載のハイパーパラメータ管理装置。
7. ハイパーパラメータ管理方法であって、
   処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを、候補ハイパーパラメータ空間に基づいて生成する工程と、
   前記処理用ハイパーパラメータに基づいて、対象データを処理し、訓練用情報及びテスト用情報を生成する工程と、
   前記訓練用情報を用いて、前記モデル用ハイパーパラメータに基づいて機械学習モデルを作成する工程と、
   前記テスト用情報を用いて前記機械学習モデルを検証し、前記第１のハイパーパラメータのセットについての評価点数を計算する工程と、
   所定の評価基準を達成上位ハイパーパラメータデータベースに基づいて、第２のハイパーパラメータのセットを生成する工程と、
   を含むハイパーパラメータ管理方法。
8. ハイパーパラメータ管理プログラムの記録媒体であって、
   前記ハイパーパラメータ管理プログラムの記録媒体は、
   処理用ハイパーパラメータとモデル用ハイパーパラメータとを含む第１のハイパーパラメータのセットを、候補ハイパーパラメータ空間に基づいて生成する工程と、
   前記処理用ハイパーパラメータに基づいて、対象データを処理し、訓練用情報及びテスト用情報を生成する工程と、
   前記訓練用情報を用いて、前記モデル用ハイパーパラメータに基づいて機械学習モデルを作成する工程と、
   前記テスト用情報を用いて前記機械学習モデルを検証し、前記第１のハイパーパラメータのセットについての評価点数を計算する工程と、
   所定の評価基準を達成上位ハイパーパラメータデータベースに基づいて、第２のハイパーパラメータのセットを生成する工程と、
   を実行させるためのコンピュータプログラムを記録したハイパーパラメータ管理プログラムの記録媒体。

Images