JP7093527B2 - 情報処理装置、方法、プログラム及びシステム - Google Patents
情報処理装置、方法、プログラム及びシステム Download PDFInfo
- Publication number
- JP7093527B2 JP7093527B2 JP2020193712A JP2020193712A JP7093527B2 JP 7093527 B2 JP7093527 B2 JP 7093527B2 JP 2020193712 A JP2020193712 A JP 2020193712A JP 2020193712 A JP2020193712 A JP 2020193712A JP 7093527 B2 JP7093527 B2 JP 7093527B2
- Authority
- JP
- Japan
- Prior art keywords
- inference
- data
- learning
- output data
- correct answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 144
- 230000010365 information processing Effects 0.000 title claims description 42
- 230000013016 learning Effects 0.000 claims description 364
- 230000008569 process Effects 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 75
- 238000003066 decision tree Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 39
- 238000004364 calculation method Methods 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000007637 random forest analysis Methods 0.000 description 7
- 238000005242 forging Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Description
図1~図11を参照しつつ、本発明の第1の実施形態について説明する。本実施形態においては、所定の情報処理装置100上で初期学習を行って学習済モデルを生成した後に、当該学習済モデルを所定の制御対象装置を制御する制御装置200へと搭載し、その後、制御を行うことにより制御対象装置から得られるデータを元に、制御装置200において追加学習を行う例について説明する。
図1は、初期学習を行う情報処理装置100の機能ブロック図である。同図から明らかな通り、情報処理装置100は、記憶部2、学習対象データ取得部11、ブースティング推論器生成処理部12及び記憶処理部13を備えている。
次に、図3~図11を参照しつつ、本実施形態に係る発明の動作について説明する。
次に、図20乃至図21に係る従来のブースティング推論器と、本実施形態に係るブースティング推論器の推論精度に関する比較実験例について説明する。
続いて、図12~図16を参照しつつ、本発明の第2の実施形態について説明する。本実施形態においては、ブースティング推論器を構成する各推論器を、オフライン学習がなされるモデルとオンライン学習がなされるモデルの2つのモデルを含む構成とする例について説明する。なお、装置構成等は、第1の実施形態と略同一であるので説明を省略し、以下では、対応する構成及び符号については、第2の実施形態において新たに定義されるものを除き、第1の実施形態と同様とする。
続いて、図17を参照しつつ、本発明の第3の実施形態について説明する。本実施形態においては、アンサンブル学習の一類型として、バギング学習、特にランダムフォレストに対して追加学習を行う例について説明する。
本発明は、上述の実施形態に限定されず、様々に変形して実施することができる。
11 学習対象データ取得部
12 決定木生成処理部
13 記憶処理部
21 入力データ取得部
22 推論処理部
24 データ出力部
26 記憶部
28 追加学習処理部
100 情報処理装置
200 制御装置
Claims (20)
- 入力データと前記入力データに対応する正解データを取得する、データ取得部と、
複数の推論器の各推論結果に基づいて推論を行うアンサンブル学習型推論器へと、前記入力データを入力することにより、前記アンサンブル学習型推論器の推論出力データを生成する、推論出力データ生成部と、
前記推論出力データと前記正解データに基づく更新量を用いて、前記アンサンブル学習型推論器を構成する各前記推論器の一部又は全部に対して追加学習処理を行う、追加学習処理部と、
を備える、情報処理装置。 - 前記アンサンブル学習型推論器は、各前記推論器がより上位の推論器群による推論誤差を減少させるように逐次的に学習されて成る複数の推論器で構成されるブースティング学習型推論器である、請求項1に記載の情報処理装置。
- 前記アンサンブル学習型推論器は、同一の学習対象データ群から抽出された複数のデータ群に基づいてそれぞれ学習されて成る複数の推論器の各推論結果に基づいて推論を行うバギング学習型推論器である、請求項1に記載の情報処理装置。
- 前記更新量は、前記推論出力データと前記正解データの差分に基づく値である、請求項1に記載の情報処理装置。
- 前記更新量は、前記推論出力データと前記正解データの差分に学習率を乗じた値に基づく値である、請求項1に記載の情報処理装置。
- 前記更新量は、前記推論出力データと前記正解データの差分に学習率を乗じた値を前記アンサンブル学習型推論器を構成する推論器の個数で除した値である、請求項1に記載の情報処理装置。
- 前記推論器は、学習済みの決定木である、請求項1に記載の情報処理装置。
- 前記追加学習処理は、各前記推論器を構成する決定木の推論出力に対して前記更新量を積算する処理である、請求項7に記載の情報処理装置。
- 前記推論器は、学習済みのニューラルネットワークである、請求項1に記載の情報処理装置。
- 前記追加学習処理は、各前記推論器を構成するニューラルネットワークに対して、前記更新量を逆伝播して前記ニューラルネットワークのパラメータを更新する処理である、請求項9に記載の情報処理装置。
- 前記ブースティング学習型推論器は、さらに、
訓練用入力データと前記訓練用入力データに対応する訓練用正解データに基づいて生成された近似関数へと、前記入力データを入力して第1の出力データを生成する、第1出力データ生成部と、
前記訓練用入力データと、前記訓練用入力データを前記近似関数へと入力して生成された出力データと前記訓練用正解データの差分データと、に基づいて機械学習を行うことにより生成された学習済モデルへと、前記入力データを入力して第2の出力データを生成する、第2出力データ生成部と、
前記第1の出力データと前記第2の出力データとに基づいて最終出力データを生成する、最終出力データ生成部と、を備える第1の推論器を含み、
前記追加学習処理は、前記正解データと前記第1の出力データの差分データと、前記推論出力データに基づく更新量を用いて、前記学習済モデルを更新する処理である、請求項2に記載の情報処理装置。 - 前記ブースティング学習型推論器において、所定の推論器以下の推論器のみが前記第1の推論器として構成されている、請求項11に記載の情報処理装置。
- 前記近似関数は、前記訓練用入力データと前記訓練用正解データに基づいて機械学習を行うことにより生成された第2の学習済モデルである、請求項11に記載の情報処理装置。
- 前記近似関数は、前記訓練用入力データと前記訓練用正解データとの関係を定式化した関数である、請求項11に記載の情報処理装置。
- 前記正解データがラベルである場合、前記ラベルを数値へと変換する変換処理部、をさらに備える、請求項1に記載の情報処理装置。
- 前記追加学習処理は、オンライン学習である、請求項1に記載の情報処理装置。
- 入力データと前記入力データに対応する正解データを取得する、データ取得ステップと、
複数の推論器の各推論結果に基づいて推論を行うアンサンブル学習型推論器へと、前記入力データを入力することにより、前記アンサンブル学習型推論器の推論出力データを生成する、推論出力データ生成ステップと、
前記推論出力データと前記正解データに基づく更新量を用いて、前記アンサンブル学習型推論器を構成する各前記推論器の一部又は全部に対して追加学習処理を行う、追加学習処理ステップと、
を備える、情報処理方法。 - 入力データと前記入力データに対応する正解データを取得する、データ取得ステップと、
複数の推論器の各推論結果に基づいて推論を行うアンサンブル学習型推論器へと、前記入力データを入力することにより、前記アンサンブル学習型推論器の推論出力データを生成する、推論出力データ生成ステップと、
前記推論出力データと前記正解データに基づく更新量を用いて、前記アンサンブル学習型推論器を構成する各前記推論器の一部又は全部に対して追加学習処理を行う、追加学習処理ステップと、
を備える、情報処理プログラム。 - 入力データと前記入力データに対応する正解データを取得する、データ取得部と、
複数の推論器の各推論結果に基づいて推論を行うアンサンブル学習型推論器へと、前記入力データを入力することにより、前記アンサンブル学習型推論器の推論出力データを生成する、推論出力データ生成部と、
前記推論出力データと前記正解データに基づく更新量を用いて、前記アンサンブル学習型推論器を構成する各前記推論器の一部又は全部に対して追加学習処理を行う、追加学習処理部と、
を備える、情報処理システム。 - 対象装置を制御するための制御装置であって、
前記対象装置から、入力データと前記入力データに対応する正解データを取得する、データ取得部と、
複数の推論器の各推論結果に基づいて推論を行うアンサンブル学習型推論器へと、前記入力データを入力することにより、前記アンサンブル学習型推論器の推論出力データを生成する、推論出力データ生成部と、
前記推論出力データと前記正解データに基づく更新量を用いて、前記アンサンブル学習型推論器を構成する各前記推論器の一部又は全部に対して追加学習処理を行う、追加学習処理部と、
を備える、制御装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020193712A JP7093527B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、方法、プログラム及びシステム |
US18/034,981 US20240020581A1 (en) | 2020-11-20 | 2021-08-25 | Information processing apparatus, method, program, and system |
EP21894283.7A EP4250191A1 (en) | 2020-11-20 | 2021-08-25 | Information processing device, method, program, and system |
PCT/JP2021/031189 WO2022107408A1 (ja) | 2020-11-20 | 2021-08-25 | 情報処理装置、方法、プログラム及びシステム |
JP2022087606A JP2022118026A (ja) | 2020-11-20 | 2022-05-30 | 情報処理装置、方法、プログラム及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020193712A JP7093527B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、方法、プログラム及びシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022087606A Division JP2022118026A (ja) | 2020-11-20 | 2022-05-30 | 情報処理装置、方法、プログラム及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022082254A JP2022082254A (ja) | 2022-06-01 |
JP7093527B2 true JP7093527B2 (ja) | 2022-06-30 |
Family
ID=81708755
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020193712A Active JP7093527B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、方法、プログラム及びシステム |
JP2022087606A Pending JP2022118026A (ja) | 2020-11-20 | 2022-05-30 | 情報処理装置、方法、プログラム及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022087606A Pending JP2022118026A (ja) | 2020-11-20 | 2022-05-30 | 情報処理装置、方法、プログラム及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240020581A1 (ja) |
EP (1) | EP4250191A1 (ja) |
JP (2) | JP7093527B2 (ja) |
WO (1) | WO2022107408A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008919A1 (ja) | 2018-07-04 | 2020-01-09 | 株式会社エイシング | 機械学習装置及び方法 |
WO2020189565A1 (ja) | 2019-03-15 | 2020-09-24 | ダイキン工業株式会社 | 機械学習装置、及び、磁気軸受装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
JP6787861B2 (ja) * | 2017-09-20 | 2020-11-18 | 日本電信電話株式会社 | 分類装置 |
JP7087695B2 (ja) | 2018-06-07 | 2022-06-21 | 株式会社リコー | 学習装置および学習方法 |
-
2020
- 2020-11-20 JP JP2020193712A patent/JP7093527B2/ja active Active
-
2021
- 2021-08-25 WO PCT/JP2021/031189 patent/WO2022107408A1/ja active Application Filing
- 2021-08-25 EP EP21894283.7A patent/EP4250191A1/en active Pending
- 2021-08-25 US US18/034,981 patent/US20240020581A1/en active Pending
-
2022
- 2022-05-30 JP JP2022087606A patent/JP2022118026A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008919A1 (ja) | 2018-07-04 | 2020-01-09 | 株式会社エイシング | 機械学習装置及び方法 |
WO2020189565A1 (ja) | 2019-03-15 | 2020-09-24 | ダイキン工業株式会社 | 機械学習装置、及び、磁気軸受装置 |
Non-Patent Citations (9)
Title |
---|
@woodyZootopia,「Kaggle Masterが勾配ブースティングを解説する」,Qiita,[online],2019年09月12日,[令和3年10月16日検索], インターネット, <URL: https://qiita.com/woodyZootopia/items/232e982094cd3c80b3ee>. |
Aurelien Geron 著,下田 倫大 監訳,「scikit-learnとTensorFlowによる実践機械学習」,初版,日本,株式会社オライリー・ジャパン,2018年04月25日,第15~17,191~199頁,ISBN: 978-4-87311-834-5. |
Sheng Shen, et al.,"Deep Convolutional Neural Networks with Ensemble Learning and Transfer Learning for Capacity Estimation of Lithium-ion Batteries",Applied Energy,[online], Elsevier,2019年12月16日,Volume 260,Pages 1-26,[令和4年3月29日検索],インターネット,<URL: https://doi.org/10.1016/j.apenergy.2019.114296> and <URL: https://www.sciencedirect.com/science/article/pii/S030626191931983X>. |
三品 陽平(外4名),「Random Forestを用いた事例型追加学習」,第20回画像センシングシンポジウム ダイジェスト集, [CD-ROM],日本,画像センシング技術研究会,2014年06月12日,第IS1-16-1~IS1-16-7頁,Session-id: IS1-16. |
小林 正宜(外2名),「長期記憶を導入した階層型ニューラルネットの追加学習アルゴリズム」,計測自動制御学会論文集,日本,社団法人 計測自動制御学会,2002年09月30日,Vol.38, No.9,第792~799頁,ISSN: 0453-4654. |
山口 達輝(外1名),「図解即戦力 機械学習&ディープラーニングののしくみと技術がこれ1冊でしっかりわかる教科書」,初版,日本,株式会社技術評論社,2019年09月14日,第116~123頁,ISBN: 978-4-297-10640-9. |
木寺 卓也(外2名),「ブースティング識別器の追加学習に関する研究」,第50回システム制御情報学会研究発表講演会論文集,日本,システム制御情報学会,2006年05月10日,第357~358頁,Session-id: 5F3-4. |
菅原 優(外1名),「非定常データストリームにおける適応的決定木を用いたアンサンブル学習」,第109回人工知能基本問題研究会資料(SIG-FPAI-B803),日本,一般社団法人 人工知能学会,2019年03月05日,第56~61頁. |
長橋 賢吾,「Rではじめる機械学習」,初版,日本,株式会社インプレス,2017年09月11日,第233,234,240~246頁,ISBN: 978-4-295-00205-5. |
Also Published As
Publication number | Publication date |
---|---|
WO2022107408A1 (ja) | 2022-05-27 |
EP4250191A1 (en) | 2023-09-27 |
JP2022082254A (ja) | 2022-06-01 |
US20240020581A1 (en) | 2024-01-18 |
JP2022118026A (ja) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220363259A1 (en) | Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device | |
US9853592B2 (en) | Method and device for controlling an energy-generating system which can be operated with a renewable energy source | |
US11568327B2 (en) | Method for generating universal learned model | |
CN108564326B (zh) | 订单的预测方法及装置、计算机可读介质、物流系统 | |
JP2020052513A (ja) | モデルパラメータ学習装置、制御装置及びモデルパラメータ学習方法 | |
JP2001236337A (ja) | ニューラルネットワークによる予測装置 | |
CN113614743A (zh) | 用于操控机器人的方法和设备 | |
JP7093527B2 (ja) | 情報処理装置、方法、プログラム及びシステム | |
CN110717537B (zh) | 训练用户分类模型、执行用户分类预测的方法及装置 | |
JP7095467B2 (ja) | 訓練データ評価装置、訓練データ評価方法、およびプログラム | |
CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
WO2021256135A1 (ja) | 制御装置、方法及びプログラム | |
JP6985997B2 (ja) | 機械学習システムおよびボルツマンマシンの計算方法 | |
EP3614314A1 (en) | Method and apparatus for generating chemical structure using neural network | |
US20190156182A1 (en) | Data inference apparatus, data inference method and non-transitory computer readable medium | |
KR102072757B1 (ko) | 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법 | |
JP2021047797A (ja) | 機械学習装置、機械学習方法、及びプログラム | |
KR20190118766A (ko) | 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치 | |
US11475371B2 (en) | Learned model integration method, apparatus, program, IC chip, and system | |
JP6940830B2 (ja) | パラメタ算出装置、パラメタ算出方法、パラメタ算出プログラム | |
US20200311516A1 (en) | Learning-based data processing system and model update method | |
JP2021082014A (ja) | 推定装置、訓練装置、推定方法、訓練方法、プログラム及び非一時的コンピュータ可読媒体 | |
KR102168882B1 (ko) | 뉴럴 네트워크 하드웨어 | |
KR102176695B1 (ko) | 뉴럴 네트워크 하드웨어 | |
CN116935102B (zh) | 一种轻量化模型训练方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220317 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7093527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |