JP7301801B2 - ハイパーパラメータチューニング方法、装置及びプログラム - Google Patents
ハイパーパラメータチューニング方法、装置及びプログラム Download PDFInfo
- Publication number
- JP7301801B2 JP7301801B2 JP2020151465A JP2020151465A JP7301801B2 JP 7301801 B2 JP7301801 B2 JP 7301801B2 JP 2020151465 A JP2020151465 A JP 2020151465A JP 2020151465 A JP2020151465 A JP 2020151465A JP 7301801 B2 JP7301801 B2 JP 7301801B2
- Authority
- JP
- Japan
- Prior art keywords
- hyperparameter
- hyperparameters
- user program
- program
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stored Programmes (AREA)
Description
20 ハイパーパラメータチューニングプログラム
100 ハイパーパラメータチューニング装置
101 プロセッサ
102 メモリ
103 ハードディスク
104 I/Oインタフェース
Claims (30)
- プロセッサにより実行されるユーザプログラムのハイパーパラメータチューニング方法において、
前記ユーザプログラムの複数のハイパーパラメータの一部を少なくとも定義するように当該ユーザプログラムに記述されたハイパーパラメータ取得コードに従って生成された、当該複数のハイパーパラメータのうちの一部のハイパーパラメータの取得要求を受信するステップと、
前記取得要求の受信に応じて、前記ユーザプログラムに、前記取得要求に係る前記一部のハイパーパラメータを提供するステップと、
を有する、ハイパーパラメータチューニング方法。 - 前記ユーザプログラムの前記複数のハイパーパラメータのそれぞれは、ハイパーパラメータのチューニング対象であり、
前記取得要求は、前記チューニング対象である前記複数のハイパーパラメータのうちの前記一部のハイパーパラメータの取得要求である、請求項1記載のハイパーパラメータチューニング方法。 - 前記ハイパーパラメータ取得コードは、前記チューニング対象の前記複数のハイパーパラメータのうちの、前記一部のハイパーパラメータとは異なるハイパーパラメータも定義するように前記ユーザプログラムに記述され、
前記ハイパーパラメータチューニング方法は、前記ハイパーパラメータ取得コードに従って生成された、前記異なるハイパーパラメータの取得要求を、前記一部のハイパーパラメータの前記取得要求とは別に受信するステップをさらに有する、請求項2記載のハイパーパラメータチューニング方法。 - 前記一部のハイパーパラメータの取得要求を受信するステップは、前記ハイパーパラメータ取得コードの制御構造に従って、前記一部のハイパーパラメータの前記取得要求を、前記異なるハイパーパラメータの取得要求を受信するタイミングとは別のタイミングで受信する、請求項3記載のハイパーパラメータチューニング方法。
- 前記異なるハイパーパラメータの取得要求の受信に応じて、前記ユーザプログラムに、当該異なるハイパーパラメータを提供するステップをさらに有する、請求項3又は4記載のハイパーパラメータチューニング方法。
- 前記一部のハイパーパラメータを提供するステップは、前記ハイパーパラメータ取得コードの制御構造に従って、前記一部のハイパーパラメータを、前記異なるハイパーパラメータを提供するタイミングとは別のタイミングで提供する、請求項5記載のハイパーパラメータチューニング方法。
- 前記一部のハイパーパラメータの取得要求は、取得対象として前記一部のハイパーパラメータを指定した取得要求である、請求項1乃至6何れか一項記載のハイパーパラメータチューニング方法。
- 前記ハイパーパラメータ取得コードにおけるハイパーパラメータの定義は、当該ハイパーパラメータの種別の指定を含む、請求項1乃至7何れか一項記載のハイパーパラメータチューニング方法。
- 前記ハイパーパラメータ取得コードにおけるハイパーパラメータの定義は、当該ハイパーパラメータの値の範囲の指定を含む、請求項1乃至8何れか一項記載のハイパーパラメータチューニング方法。
- 前記一部のハイパーパラメータを提供するステップは、前記ユーザプログラムに対するハイパーパラメータの適用履歴に基づいた値のハイパーパラメータを提供する、請求項1乃至9何れか一項記載のハイパーパラメータチューニング方法。
- 前記各ステップは、ハイパーパラメータチューニングプログラムによって実行され、
前記ユーザプログラムは、前記ハイパーパラメータチューニングプログラムとは異なるプログラムであって、機械学習モデルを学習するためのプログラムである、請求項1乃至10何れか一項記載のハイパーパラメータチューニング方法。 - 前記ハイパーパラメータが適用された前記ユーザプログラムの評価結果を取得するステップと、を有し、
前記評価結果に基づいて、次に提供するハイパーパラメータを決定する、請求項1乃至11何れか一項記載のハイパーパラメータチューニング方法。 - 前記評価結果は、前記ハイパーパラメータが適用されたユーザプログラムを実行した結果の評価結果である、請求項12記載のハイパーパラメータチューニング方法。
- 前記ユーザプログラムは、機械学習モデルを学習するためのプログラムであり、
前記評価結果は、前記機械学習モデルの精度を含む、請求項12又は13記載のハイパーパラメータチューニング方法。 - 前記一部のハイパーパラメータを提供するステップは、ベイズ最適化に基づいて決定されたハイパーパラメータを提供する、請求項1乃至14何れか一項記載のハイパーパラメータチューニング方法。
- 前記ユーザプログラムは制御構造を有し、
当該制御構造は、ハイパーパラメータの取得要求を生成し、当該取得要求に応じて提供されるハイパーパラメータの内容に応じて次に要求するハイパーパラメータを決定し、当該決定されるハイパーパラメータの取得要求を生成する、制御構造である、請求項1乃至15何れか一項記載のハイパーパラメータチューニング方法。 - 前記ハイパーパラメータ取得コードは、objective functionに記述されている、請求項1乃至16何れか一項記載のハイパーパラメータチューニング方法。
- 請求項1乃至17何れか一項記載のハイパーパラメータチューニング方法をコンピュータに実行させるためのプログラム。
- ユーザプログラムのハイパーパラメータをチューニングする装置であって、
前記ユーザプログラムの複数のハイパーパラメータの一部を定義するように当該ユーザプログラムに記述されたハイパーパラメータ取得コードに従って生成された、当該複数のハイパーパラメータのうちの一部のハイパーパラメータの取得要求を受信する受信手段と、
前記取得要求の受信に応じて、前記ユーザプログラムに、前記取得要求に係る前記一部のハイパーパラメータを提供する提供手段と、
を有する装置。 - 前記ユーザプログラムの前記複数のハイパーパラメータのそれぞれは、ハイパーパラメータのチューニング対象であり、
前記取得要求は、前記チューニング対象である前記複数のハイパーパラメータのうちの前記一部のハイパーパラメータの取得要求である、請求項19記載の装置。 - 前記ハイパーパラメータ取得コードは、前記チューニング対象の前記複数のハイパーパラメータのうちの、前記一部のハイパーパラメータとは異なるハイパーパラメータも定義するように前記ユーザプログラムに記述され、
前記受信手段は、前記ハイパーパラメータ取得コードに従って生成された、前記異なるハイパーパラメータの取得要求を、前記一部のハイパーパラメータの前記取得要求とは別に受信する、請求項20記載の装置。 - 前記受信手段は、前記ハイパーパラメータ取得コードの制御構造に従って、前記一部のハイパーパラメータの前記取得要求を、前記異なるハイパーパラメータの取得要求を受信するタイミングとは別のタイミングで受信する、請求項21記載の装置。
- 前記提供手段は、前記異なるハイパーパラメータの取得要求の受信に応じて、前記ユーザプログラムに、当該異なるハイパーパラメータを提供する、請求項21又は22記載の装置。
- 前記提供手段は、前記ハイパーパラメータ取得コードの制御構造に従って、前記一部のハイパーパラメータを、前記異なるハイパーパラメータを提供するタイミングとは別のタイミングで提供する、請求項23記載の装置。
- 前記一部のハイパーパラメータの取得要求は、取得対象として前記一部のハイパーパラメータを指定した取得要求である、請求項19乃至24何れか一項記載の装置。
- 前記ハイパーパラメータ取得コードにおけるハイパーパラメータの定義は、当該ハイパーパラメータの種別の指定を含む、請求項19乃至25何れか一項記載の装置。
- 前記ハイパーパラメータ取得コードにおけるハイパーパラメータの定義は、当該ハイパーパラメータの値の範囲の指定を含む、請求項19乃至26何れか一項記載の装置。
- 前記提供手段は、前記ユーザプログラムに対するハイパーパラメータの適用履歴に基づいた値のハイパーパラメータを提供する、請求項19乃至27何れか一項記載の装置。
- 前記各手段は、ハイパーパラメータチューニングプログラムによって実現され、
前記ユーザプログラムは、前記ハイパーパラメータチューニングプログラムとは異なるプログラムであって、機械学習モデルを学習するためのプログラムである、請求項19乃至28何れか一項記載の装置。 - 前記ハイパーパラメータが適用された前記ユーザプログラムの評価結果を取得する手段を有し、
前記評価結果に基づいて、次に提供するハイパーパラメータを決定する、請求項19乃至29何れか一項記載の装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020151465A JP7301801B2 (ja) | 2018-10-09 | 2020-09-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
JP2023101841A JP2023123636A (ja) | 2018-10-09 | 2023-06-21 | ハイパーパラメータチューニング方法、装置及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018191250A JP6892424B2 (ja) | 2018-10-09 | 2018-10-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
JP2020151465A JP7301801B2 (ja) | 2018-10-09 | 2020-09-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018191250A Division JP6892424B2 (ja) | 2018-10-09 | 2018-10-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023101841A Division JP2023123636A (ja) | 2018-10-09 | 2023-06-21 | ハイパーパラメータチューニング方法、装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020198135A JP2020198135A (ja) | 2020-12-10 |
JP2020198135A5 JP2020198135A5 (ja) | 2021-11-25 |
JP7301801B2 true JP7301801B2 (ja) | 2023-07-03 |
Family
ID=86996683
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151465A Active JP7301801B2 (ja) | 2018-10-09 | 2020-09-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
JP2023101841A Pending JP2023123636A (ja) | 2018-10-09 | 2023-06-21 | ハイパーパラメータチューニング方法、装置及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023101841A Pending JP2023123636A (ja) | 2018-10-09 | 2023-06-21 | ハイパーパラメータチューニング方法、装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7301801B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115696361A (zh) * | 2021-07-13 | 2023-02-03 | 中兴通讯股份有限公司 | 一种参数设置方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049677A (ja) | 2015-08-31 | 2017-03-09 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
US20170185895A1 (en) | 2015-01-26 | 2017-06-29 | Huawei Technologies Co., Ltd. | System and Method for Training Parameter Set in Neural Network |
JP2018156473A (ja) | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3377163B2 (ja) * | 1997-03-06 | 2003-02-17 | 株式会社日立製作所 | 自律的制御システム |
-
2020
- 2020-09-09 JP JP2020151465A patent/JP7301801B2/ja active Active
-
2023
- 2023-06-21 JP JP2023101841A patent/JP2023123636A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170185895A1 (en) | 2015-01-26 | 2017-06-29 | Huawei Technologies Co., Ltd. | System and Method for Training Parameter Set in Neural Network |
JP2017049677A (ja) | 2015-08-31 | 2017-03-09 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
JP2018156473A (ja) | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023123636A (ja) | 2023-09-05 |
JP2020198135A (ja) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6892424B2 (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
US20210365782A1 (en) | Method and apparatus for generating neural network model, and computer-readable storage medium | |
US11468366B2 (en) | Parallel development and deployment for machine learning models | |
Breß et al. | Efficient co-processor utilization in database query processing | |
CN111105029B (zh) | 神经网络的生成方法、生成装置和电子设备 | |
CN110168578A (zh) | 具有任务特定路径的多任务神经网络 | |
US10956417B2 (en) | Dynamic operation scheduling for distributed data processing | |
JPWO2020159568A5 (ja) | ||
KR102551277B1 (ko) | 병합 조인 시스템 및 병합 조인 방법 | |
CN112148637A (zh) | 用于调谐计算机程序中的循环排序的设备、方法、介质 | |
CN115066694A (zh) | 计算图优化 | |
JP2023123636A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
JP7150651B2 (ja) | ニューラルネットワークのモデル縮約装置 | |
KR20210073242A (ko) | 모델 최적화 방법 및 장치 및 모델 최적화 장치를 포함한 가속기 시스템 | |
JP6977733B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、及びプログラム | |
WO2018192479A1 (en) | Adaptive code generation with a cost model for jit compiled execution in a database system | |
KR20220032861A (ko) | 하드웨어에서의 성능을 고려한 뉴럴 아키텍처 서치 방법 빛 장치 | |
KR102255470B1 (ko) | 인공신경망 모델의 검증 방법 및 장치 | |
JP7256378B2 (ja) | 最適化システムおよび最適化システムの制御方法 | |
WO2022088930A1 (en) | Scalable discovery of leaders from dynamic combinatorial search space using incremental pipeline growth approach | |
CN112488319B (zh) | 一种具有自适应配置生成器的调参方法和系统 | |
JP2024504179A (ja) | 人工知能推論モデルを軽量化する方法およびシステム | |
JPWO2020054402A1 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
CN112988372B (zh) | 确定硬件运算平台分配方式的方法和装置 | |
US20240119309A1 (en) | Method for generating computer-executable code for implementing an artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7301801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |