JP6708847B1 - 機械学習装置及び方法 - Google Patents
機械学習装置及び方法 Download PDFInfo
- Publication number
- JP6708847B1 JP6708847B1 JP2020507712A JP2020507712A JP6708847B1 JP 6708847 B1 JP6708847 B1 JP 6708847B1 JP 2020507712 A JP2020507712 A JP 2020507712A JP 2020507712 A JP2020507712 A JP 2020507712A JP 6708847 B1 JP6708847 B1 JP 6708847B1
- Authority
- JP
- Japan
- Prior art keywords
- output
- decision tree
- input data
- prediction
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000010801 machine learning Methods 0.000 title claims abstract description 49
- 238000003066 decision tree Methods 0.000 claims abstract description 171
- 230000006870 function Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 abstract description 13
- 238000007637 random forest analysis Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 62
- 238000012545 processing Methods 0.000 description 39
- 230000010365 information processing Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 7
- 239000012535 impurity Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000012804 iterative process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
<1.1 ハードウェア構成>
図1を参照しつつ、本実施形態に係る機械学習処理、予測処理等が実行されるハードウェアの構成について説明する。同図から明らかな通り、本実施形態に係る情報処理装置10は、制御部1、記憶部2、表示部3、操作信号入力部4、通信部5及びI/O部6とがバスを介して接続されて構成されている。情報処理装置10は、例えば、PC、スマートフォンやタブレット端末である。
次に、図2〜図7を参照しつつ、情報処理装置1の動作について説明する。
図2は、情報処理装置1の動作に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、記憶部2から学習対象となるデータセットが制御部1へと読み出される(S1)。この学習対象となるデータセットは、どのようなデータであってもよいが、例えば、多関節ロボットの各関節におけるセンサデータ等である。学習データセットの読出処理が完了すると、次に、後述するように、決定木を複数生成する処理(S3)が行われる。複数の決定木が生成されると、後述するように、決定木の後段に結合した出力ネットワークにおいて機械学習処理が行われる(S5)。機械学習処理完了後、後述するように、本実施形態に係る情報処理装置1は予測処理を行うことができる予測器としても機能する(S9)。なお、本実施形態においては、決定木生成処理(S3)を機械学習処理(S5)と分けて説明しているものの、それらを一体として広義に機械学習処理として観念してもよい。
図4は、決定木生成処理(S3)の詳細フロー図である。同図から明らかな通り、処理が開始すると、前処理として、学習対象データセットから複数のサブデータセットを生成する処理が行われる(S31)。具体的には、学習対象データセットから重複を許して所定の複数個のデータセットをランダムに抽出することにより各サブデータセットは形成される。
図5は、学習処理(S5)の詳細フロー図である。この図にあっては、決定木が分類結果である分類ラベルを出力する場合の学習処理について示されている。同図から明らかな通り、処理が開始すると、決定木の末端ノード(葉ノード)と出力ノードとを結ぶ重みwの値の初期化が行われる(S51)。この初期化に用いられる値は、例えば、すべての重みwについて同一の値であってもよい。その後、所定の変数の初期化処理が行われる(S52)。ここでは、繰り返し処理に用いられる変数nを1として初期化する。
次に、図7を参照しつつ、情報処理装置10により学習後に行われる予測処理について説明する。図6は予測処理のフロー図である。
図8は、決定木から数値出力を行う場合の情報処理装置10における学習動作について説明したものである。なお、情報処理装置10のハードウェア構成(図1を参照)やサブデータセットの生成処理、決定木の生成処理(S3)等については、第1の実施形態と略同一であるのでここでは説明を省略する。
続いて、図9を参照しつつ、情報処理装置10による予測処理について説明する。図9は、予測処理に関する詳細フロー図である。
上述の実施形態における機械学習処理においては新規の学習処理について説明した。本実施形態では、追加学習処理について説明する。
上述の実施形態においては一旦決定木が生成された後は、当該決定木を固定して他の学習処理時、予測処理時にも適用する構成としたが、このような構成に限定されない。従って、例えば、追加的に決定木の増減、置換、交換若しくは削除等を行ってもよい。
2 記憶部
3 表示部
4 操作信号入力部
5 通信部
6 I/O部
10 情報処理装置
Claims (16)
- 所定の学習対象データセットに基づいて生成された複数の決定木を用いた機械学習装置であって、
所定の入力データを取得する入力データ取得部と、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成部と、
少なくとも前記決定木出力と前記入力データに対応する所定の教師データとに基づいて、各前記決定木の出力段と結合して予測出力を生成する出力ネットワークのパラメータを更新するパラメータ更新部と、を備える機械学習装置。 - 前記出力ネットワークは、
各前記決定木の末端ノードと重みを介して結合した出力ノードを含む、請求項1に記載の機械学習装置。 - 前記入力データは、前記学習対象データセットから選択されたデータである、請求項1に記載の機械学習装置。
- 前記決定木出力と前記重みとに基づいて、前記出力ノードにおいて前記予測出力を生成する予測出力生成部をさらに含み、
前記パラメータ更新部は、さらに、
前記教師データと前記予測出力との差分に基づいて前記重みを更新する重み更新部を備える、請求項2に記載の機械学習装置。 - 前記パラメータ更新部は、さらに、
前記決定木出力たる予測ラベルと前記教師データたる正解ラベルとが一致するか否かを判定するラベル判定部と、
前記ラベル判定部による判定結果に基づいて、前記重みを更新する重み更新部を備える、請求項2に記載の機械学習装置。 - 前記複数の決定木は、前記学習対象データセットからランダムにデータを選択することにより生成された複数のサブデータセット毎に生成されたものである、請求項1に記載の機械学習装置。
- 前記複数の決定木は、各前記サブデータセットに基づいて情報利得が最大となる分岐条件を選択することにより生成された決定木である、請求項6に記載の機械学習装置。
- 所定の学習対象データセットに基づいて生成された複数の決定木を用いた予測装置であって、
所定の入力データを取得する入力データ取得部と、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成部と、
各前記決定木の末端ノードと重みを介して結合する出力ノードを含む出力ネットワークに基づいて、予測出力を生成する出力予測部と、を備える予測装置。 - 各前記決定木出力は数値出力であり、
前記予測出力は、前記数値出力と前記重みとの積を決定木の数分足し合わせた総和に基づいて生成される、請求項8に記載の予測装置。 - 各前記決定木出力は所定のラベルであり、
前記予測出力たる出力ラベルは、対応する重みの総和が最大となるラベルである、請求項8に記載の予測装置。 - 前記決定木の有効度を前記出力ネットワークのパラメータに基づいて生成する有効度生成部をさらに備える、請求項1に記載の予測装置。
- 前記有効度に基づいて、置換、交換又は削除の対象となる前記決定木を決定する決定木選定部をさらに備える、請求項11に記載の予測装置。
- 所定の学習対象データセットに基づいて生成された複数の決定木を用いた機械学習方法であって、
所定の入力データを取得する入力データ取得ステップと、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成ステップと、
少なくとも前記決定木出力と前記入力データに対応する所定の教師データとに基づいて、各前記決定木の出力段と結合して予測出力を生成する出力ネットワークのパラメータを更新するパラメータ更新ステップと、を備える機械学習方法。 - コンピュータを、所定の学習対象データセットに基づいて生成された複数の決定木を用いた機械学習装置として機能させるための機械学習プログラムであって、
所定の入力データを取得する入力データ取得ステップと、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成ステップと、
少なくとも前記決定木出力と前記入力データに対応する所定の教師データとに基づいて、各前記決定木の出力段と結合して予測出力を生成する出力ネットワークのパラメータを更新するパラメータ更新ステップと、を備える機械学習プログラム。 - 所定の学習対象データセットに基づいて生成された複数の決定木を用いた予測方法であって、
所定の入力データを取得する入力データ取得ステップと、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成ステップと、
各前記決定木の末端ノードと重みを介して結合する出力ノードを含む出力ネットワークに基づいて、予測出力を生成する出力予測ステップと、を備える予測方法。 - コンピュータを、所定の学習対象データセットに基づいて生成された複数の決定木を用いた予測装置として機能させるための予測プログラムであって、
所定の入力データを取得する入力データ取得ステップと、
前記入力データに基づいて、各前記決定木の出力である決定木出力を生成する決定木出力生成ステップと、
各前記決定木の末端ノードと重みを介して結合する出力ノードを含む出力ネットワークに基づいて、予測出力を生成する出力予測ステップと、を備える予測プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018127871 | 2018-07-04 | ||
JP2018127871 | 2018-07-04 | ||
PCT/JP2019/024767 WO2020008919A1 (ja) | 2018-07-04 | 2019-06-21 | 機械学習装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6708847B1 true JP6708847B1 (ja) | 2020-06-10 |
JPWO2020008919A1 JPWO2020008919A1 (ja) | 2020-07-09 |
Family
ID=69060219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020507712A Active JP6708847B1 (ja) | 2018-07-04 | 2019-06-21 | 機械学習装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210125101A1 (ja) |
EP (1) | EP3819827A4 (ja) |
JP (1) | JP6708847B1 (ja) |
WO (1) | WO2020008919A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10796228B2 (en) * | 2017-09-29 | 2020-10-06 | Oracle International Corporation | Machine-learning-based processing of de-obfuscated data for data enrichment |
US11321614B2 (en) | 2017-09-29 | 2022-05-03 | Oracle International Corporation | Directed trajectories through communication decision tree using iterative artificial intelligence |
US11532132B2 (en) * | 2019-03-08 | 2022-12-20 | Mubayiwa Cornelious MUSARA | Adaptive interactive medical training program with virtual patients |
US11893499B2 (en) | 2019-03-12 | 2024-02-06 | International Business Machines Corporation | Deep forest model development and training |
JP7395960B2 (ja) * | 2019-10-30 | 2023-12-12 | 富士通株式会社 | 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置 |
JP7347198B2 (ja) * | 2019-12-20 | 2023-09-20 | 富士通株式会社 | 推論方法、推論プログラムおよび情報処理装置 |
EP4105844A4 (en) * | 2020-02-10 | 2024-04-03 | Aising Ltd | INFORMATION PROCESSING DEVICE, METHOD, PROGRAM AND SYSTEM |
WO2021161603A1 (ja) * | 2020-02-10 | 2021-08-19 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
CN111914880A (zh) * | 2020-06-18 | 2020-11-10 | 北京百度网讯科技有限公司 | 决策树的生成方法、装置、电子设备及存储介质 |
JP7093527B2 (ja) * | 2020-11-20 | 2022-06-30 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
CN113052375A (zh) * | 2021-03-19 | 2021-06-29 | 上海森宇文化传媒股份有限公司 | 一种预测剧集播放量的方法和装置 |
EP4318334A1 (en) * | 2021-03-31 | 2024-02-07 | Aising Ltd. | Information processing device, method, and program |
WO2023175977A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 学習装置 |
JP7173510B1 (ja) * | 2022-04-27 | 2022-11-16 | 株式会社エイシング | 異常検知装置、システム、方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110188715A1 (en) * | 2010-02-01 | 2011-08-04 | Microsoft Corporation | Automatic Identification of Image Features |
US9373087B2 (en) * | 2012-10-25 | 2016-06-21 | Microsoft Technology Licensing, Llc | Decision tree training in machine learning |
US9501693B2 (en) * | 2013-10-09 | 2016-11-22 | Honda Motor Co., Ltd. | Real-time multiclass driver action recognition using random forests |
JP6765911B2 (ja) * | 2016-09-15 | 2020-10-07 | 三菱重工業株式会社 | 分類装置、分類方法およびプログラム |
-
2019
- 2019-06-21 JP JP2020507712A patent/JP6708847B1/ja active Active
- 2019-06-21 US US16/973,800 patent/US20210125101A1/en active Pending
- 2019-06-21 EP EP19829857.2A patent/EP3819827A4/en active Pending
- 2019-06-21 WO PCT/JP2019/024767 patent/WO2020008919A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2020008919A1 (ja) | 2020-07-09 |
EP3819827A1 (en) | 2021-05-12 |
US20210125101A1 (en) | 2021-04-29 |
WO2020008919A1 (ja) | 2020-01-09 |
EP3819827A4 (en) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6708847B1 (ja) | 機械学習装置及び方法 | |
US11610131B2 (en) | Ensembling of neural network models | |
Ciaburro et al. | Neural Networks with R: Smart models using CNN, RNN, deep learning, and artificial intelligence principles | |
US11100403B2 (en) | Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation | |
US11816183B2 (en) | Methods and systems for mining minority-class data samples for training a neural network | |
CN109800885A (zh) | 针对黑盒机器学习模型的规则确定 | |
CN107169573A (zh) | 利用复合机器学习模型来执行预测的方法及系统 | |
CN111737586B (zh) | 信息推荐方法、装置、设备及计算机可读存储介质 | |
CN110709862B (zh) | 计算方法决定系统、计算方法决定方法、记录介质 | |
KR20220059120A (ko) | 최적화된 하이퍼파라미터를 갖는 기계 학습 모델링 자동화 방법 및 이를 이용한 기계 학습 모델링 자동화 시스템 | |
US20230401637A1 (en) | Deep learning approach for assessing credit risk | |
CN110110372B (zh) | 一种用户时序行为自动切分预测方法 | |
WO2020171904A1 (en) | Human body part segmentation with real and synthetic images | |
CN110334720A (zh) | 业务数据的特征提取方法、装置、服务器和存储介质 | |
CN115689443A (zh) | 基于波动性聚类和区块链的供应链管理方法及系统 | |
CN114742564A (zh) | 一种融合复杂关系的虚假评论者群体检测方法 | |
JP2021096775A (ja) | 学習方法、学習プログラムおよび情報処理装置 | |
JP2019067299A (ja) | ラベル推定装置及びラベル推定プログラム | |
JP2021103344A (ja) | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム | |
KR102406375B1 (ko) | 원천 기술의 평가 방법을 포함하는 전자 장치 | |
CN116993548A (zh) | 基于增量学习的LightGBM-SVM的教育培训机构信用评估方法及系统 | |
US20210174175A1 (en) | Building of Custom Convolution Filter for a Neural Network Using an Automated Evolutionary Process | |
Laskar et al. | Artificial Neural Networks and Gene Expression Programing based age estimation using facial features | |
CN111459990B (zh) | 对象处理方法、系统及计算机可读存储介质和计算机设备 | |
Yousif et al. | Shape clustering using k-medoids in architectural form finding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200207 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6708847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |