JP6892424B2 - ハイパーパラメータチューニング方法、装置及びプログラム - Google Patents
ハイパーパラメータチューニング方法、装置及びプログラム Download PDFInfo
- Publication number
- JP6892424B2 JP6892424B2 JP2018191250A JP2018191250A JP6892424B2 JP 6892424 B2 JP6892424 B2 JP 6892424B2 JP 2018191250 A JP2018191250 A JP 2018191250A JP 2018191250 A JP2018191250 A JP 2018191250A JP 6892424 B2 JP6892424 B2 JP 6892424B2
- Authority
- JP
- Japan
- Prior art keywords
- hyperparameter
- hyperparameters
- tuning
- user program
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000010801 machine learning Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 230000003936 working memory Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 2
- 101150082208 DIABLO gene Proteins 0.000 description 1
- 102100033189 Diablo IAP-binding mitochondrial protein Human genes 0.000 description 1
- 244000024873 Mentha crispa Species 0.000 description 1
- 235000014749 Mentha crispa Nutrition 0.000 description 1
- 241000009298 Trigla lyra Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Stored Programmes (AREA)
Description
20 ハイパーパラメータチューニングプログラム
100 ハイパーパラメータチューニング装置
101 プロセッサ
102 メモリ
103 ハードディスク
104 I/Oインタフェース
Claims (13)
- プロセッサにより実行されるステップからなるハイパーパラメータチューニング方法であって、
ハイパーパラメータチューニングソフトウェアが、チューニング対象であるユーザプログラムに記述されたハイパーパラメータ取得コードに従って生成された、ハイパーパラメータを要求するハイパーパラメータ取得要求を受信するステップと、
前記ハイパーパラメータチューニングソフトウェアが、前記ユーザプログラムにハイパーパラメータを提供するステップと、
を有し、
前記ハイパーパラメータ取得要求は、前記ハイパーパラメータ取得コードの制御構造に従って前記提供された第1の種別のハイパーパラメータに基づき選択される、前記提供された第1の種別のハイパーパラメータの次に要求される第2の種別のハイパーパラメータに対する取得要求を含む、ハイパーパラメータチューニング方法。 - ハイパーパラメータ種別は、機械学習モデルのタイプ、レイヤ数、レイヤのノード数、重み減衰係数、ツリーの深さ、及びノードから分岐するエッジ数を含む、請求項1記載のハイパーパラメータチューニング方法。
- 前記ユーザプログラムは、機械学習モデルを学習するためのものである、請求項1又は2記載のハイパーパラメータチューニング方法。
- 前記ハイパーパラメータ取得要求は、前記ハイパーパラメータ取得コードの前記制御構造に従って前記機械学習モデルのタイプと、前記機械学習モデルの個々のタイプに特有のハイパーパラメータとを要求する、請求項3記載のハイパーパラメータチューニング方法。
- 前記ハイパーパラメータ取得コードは、
前記機械学習モデルの構造を規定するハイパーパラメータを設定するためのモジュールと、
前記機械学習モデルの学習処理を規定するハイパーパラメータを設定するためのモジュールと、
を含む、請求項3又は4記載のハイパーパラメータチューニング方法。 - 前記ハイパーパラメータを提供するステップは、所定のハイパーパラメータ選択アルゴリズムに従って選択されたハイパーパラメータを提供する、請求項3乃至5何れか一項記載のハイパーパラメータチューニング方法。
- 前記所定のハイパーパラメータ選択アルゴリズムは、ハイパーパラメータの適用履歴の下で取得した前記機械学習モデルの精度を利用したベイズ最適化に基づく、請求項6記載のハイパーパラメータチューニング方法。
- 前記所定のハイパーパラメータ選択アルゴリズムは、ランダムサーチに基づく、請求項6記載のハイパーパラメータチューニング方法。
- さらに、前記ハイパーパラメータが適用されたユーザプログラムの評価結果を取得するステップを含む、請求項1乃至8何れか一項記載のハイパーパラメータチューニング方法。
- 前記ユーザプログラムの評価結果は、機械学習モデルの精度を含む、請求項9記載のハイパーパラメータチューニング方法。
- 終了条件を充足するまで、前記受信するステップ、前記提供するステップ及び前記取得するステップを繰り返すステップを更に有する、請求項9又は10記載のハイパーパラメータチューニング方法。
- プロセッサと、
前記プロセッサに結合され、前記プロセッサのワーキングメモリとして機能するメモリと、
を有し、
前記プロセッサは、ハイパーパラメータチューニングソフトウェアを実行すると、
チューニング対象であるユーザプログラムに記述されたハイパーパラメータ取得コードに従って生成された、ハイパーパラメータを要求するハイパーパラメータ取得要求を受信し、
前記ユーザプログラムにハイパーパラメータを提供し、
前記ハイパーパラメータ取得コードの制御構造に従って前記提供された第1の種別のハイパーパラメータに基づき選択された、前記提供された第1の種別のハイパーパラメータの次に要求される第2の種別のハイパーパラメータに対する前記ハイパーパラメータ取得要求を受信する、ハイパーパラメータチューニング装置。 - チューニング対象であるユーザプログラムに記述されたハイパーパラメータ取得コードに従って生成された、ハイパーパラメータを要求するハイパーパラメータ取得要求を受信する処理と、
前記ユーザプログラムにハイパーパラメータを提供する処理と、
を実行するためのハイパーパラメータチューニングプログラムであって、
前記受信する処理は、前記ハイパーパラメータ取得コードの制御構造に従って前記提供された第1の種別のハイパーパラメータに基づき選択された、前記提供された第1の種別のハイパーパラメータの次に要求する第2の種別のハイパーパラメータ種別に対する前記ハイパーパラメータ取得要求を受信するハイパーパラメータチューニングプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018191250A JP6892424B2 (ja) | 2018-10-09 | 2018-10-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
PCT/JP2019/039338 WO2020075644A1 (ja) | 2018-10-09 | 2019-10-04 | ハイパーパラメータチューニング方法、装置及びプログラム |
CN201980066202.7A CN112823362A (zh) | 2018-10-09 | 2019-10-04 | 超参数调整方法、装置以及程序 |
DE112019005048.6T DE112019005048T5 (de) | 2018-10-09 | 2019-10-04 | Hyperparameteroptimierungsverfahren, -vorrichtung und -programm |
JP2020151465A JP7301801B2 (ja) | 2018-10-09 | 2020-09-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
US17/221,060 US20210224692A1 (en) | 2018-10-09 | 2021-04-02 | Hyperparameter tuning method, device, and program |
JP2023101841A JP2023123636A (ja) | 2018-10-09 | 2023-06-21 | ハイパーパラメータチューニング方法、装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018191250A JP6892424B2 (ja) | 2018-10-09 | 2018-10-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151465A Division JP7301801B2 (ja) | 2018-10-09 | 2020-09-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020060922A JP2020060922A (ja) | 2020-04-16 |
JP6892424B2 true JP6892424B2 (ja) | 2021-06-23 |
Family
ID=70165176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018191250A Active JP6892424B2 (ja) | 2018-10-09 | 2018-10-09 | ハイパーパラメータチューニング方法、装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210224692A1 (ja) |
JP (1) | JP6892424B2 (ja) |
CN (1) | CN112823362A (ja) |
DE (1) | DE112019005048T5 (ja) |
WO (1) | WO2020075644A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7059214B2 (ja) * | 2019-01-31 | 2022-04-25 | 株式会社日立製作所 | 演算装置 |
US11657118B2 (en) * | 2019-05-23 | 2023-05-23 | Google Llc | Systems and methods for learning effective loss functions efficiently |
CN112015749B (zh) * | 2020-10-27 | 2021-02-19 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护更新业务模型的方法、装置及系统 |
CN112561082A (zh) * | 2020-12-22 | 2021-03-26 | 北京百度网讯科技有限公司 | 生成模型的方法、装置、设备以及存储介质 |
CN112862107A (zh) * | 2021-01-26 | 2021-05-28 | 贝式计算(天津)信息技术有限公司 | 自动建模运行系统及运行方法 |
KR102314847B1 (ko) * | 2021-03-30 | 2021-10-19 | 주식회사 솔리드웨어 | 최적모델탐색방법 및 그 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6555015B2 (ja) * | 2015-08-31 | 2019-08-07 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
US11868440B1 (en) * | 2018-10-04 | 2024-01-09 | A9.Com, Inc. | Statistical model training systems |
-
2018
- 2018-10-09 JP JP2018191250A patent/JP6892424B2/ja active Active
-
2019
- 2019-10-04 DE DE112019005048.6T patent/DE112019005048T5/de active Pending
- 2019-10-04 CN CN201980066202.7A patent/CN112823362A/zh active Pending
- 2019-10-04 WO PCT/JP2019/039338 patent/WO2020075644A1/ja active Application Filing
-
2021
- 2021-04-02 US US17/221,060 patent/US20210224692A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020060922A (ja) | 2020-04-16 |
DE112019005048T5 (de) | 2021-07-01 |
CN112823362A (zh) | 2021-05-18 |
US20210224692A1 (en) | 2021-07-22 |
WO2020075644A1 (ja) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6892424B2 (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
CN111652380B (zh) | 针对机器学习算法进行算法参数调优的方法及系统 | |
US20210365782A1 (en) | Method and apparatus for generating neural network model, and computer-readable storage medium | |
US20190278600A1 (en) | Tiled compressed sparse matrix format | |
US10754709B2 (en) | Scalable task scheduling systems and methods for cyclic interdependent tasks using semantic analysis | |
CN109117953B (zh) | 网络参数训练方法和系统、服务器、客户端及存储介质 | |
US20180240010A1 (en) | Technologies for optimized machine learning training | |
CN110168578A (zh) | 具有任务特定路径的多任务神经网络 | |
CN111105029B (zh) | 神经网络的生成方法、生成装置和电子设备 | |
US20200311546A1 (en) | Method and apparatus for partitioning deep neural networks | |
US10956417B2 (en) | Dynamic operation scheduling for distributed data processing | |
JP7287397B2 (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
CN111406264A (zh) | 神经架构搜索 | |
CN115066694A (zh) | 计算图优化 | |
KR102167747B1 (ko) | 사용자 이용 패턴을 신경망 알고리즘으로 분석하여 다음 어플리케이션을 예측하는 모바일 디바이스 메모리 관리 장치 및 방법 | |
JP7079483B2 (ja) | 情報処理方法、システム及びプログラム | |
JP2023123636A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
WO2022119949A1 (en) | Optimizing machine learning models | |
CN113011529A (zh) | 文本分类模型的训练方法、装置、设备及可读存储介质 | |
US20240095529A1 (en) | Neural Network Optimization Method and Apparatus | |
JP2020155010A (ja) | ニューラルネットワークのモデル縮約装置 | |
JP6977733B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、及びプログラム | |
JP7264845B2 (ja) | 制御システム及び制御方法 | |
KR20220032861A (ko) | 하드웨어에서의 성능을 고려한 뉴럴 아키텍처 서치 방법 빛 장치 | |
JP7256378B2 (ja) | 最適化システムおよび最適化システムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200131 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200909 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200909 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200923 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200929 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201120 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201201 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210126 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210319 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210325 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210406 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210413 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210518 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |