JP6660900B2 - モデル統合装置、モデル統合システム、方法およびプログラム - Google Patents
モデル統合装置、モデル統合システム、方法およびプログラム Download PDFInfo
- Publication number
- JP6660900B2 JP6660900B2 JP2017042153A JP2017042153A JP6660900B2 JP 6660900 B2 JP6660900 B2 JP 6660900B2 JP 2017042153 A JP2017042153 A JP 2017042153A JP 2017042153 A JP2017042153 A JP 2017042153A JP 6660900 B2 JP6660900 B2 JP 6660900B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- output
- common
- common model
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明が想定するモデルの利用構成を図1に示す。一般的に深層学習などによるモデルは、大量のサンプルデータに基づいて作成される。これは一度作成されるだけではなく、継続的なサンプルデータの収集に基づいて常に更新し続ける。例えば、各家庭で収集したデータをクラウド上に集めて学習する、スマートフォンで収集したデータをクラウド上に集めて学習するなどが行われている。この学習によって生成されたモデルは汎用的な共通モデルであり、幅広く使用することができる。一方で、各家庭、各スマートフォンでも個別に学習が進んでいる。例えば、特定の発音、特定の操作、個人の画像などその利用者、利用環境にあった内容によって学習される。この場合、サンプルデータが少なくなりやすいことから、前記した共通モデルに基づき再学習して利用されることが多い。そのため、図1に示すようにサンプルデータの収集と共通モデルの学習、それに基づく個別の学習やその個別モデルの利用の関係が成り立つ。
次に、モデルの発展の経時的な流れを図2に示す。ある時点で既に存在する学習済みの共通モデルを「モデルA1」、これを複製したものを「モデルZ1」、これに基づいて個別に学習したモデルを「モデルZ1’」とする。一方で、「モデルA1」は時間経過と共にさらに学習を重ね「モデルA2」が生成される。この「モデルA2」は「モデルA1」よりも基本的には精度が高く、より広い判定ができるものとなっている。しかし、一般的な判断をするものであり、「モデルZ1’」を使用した方がよい場合がある。そこで、モデル統合装置を用いることで、学習済みの共通モデルから派生した個別モデルにおいて、その個別に学習した結果を失うことなく、新たな共通モデルと統合することができる。
(モデル統合装置の構成)
図4は、本実施形態に係るモデル統合装置10の構成の一例を示すブロック図である。モデル統合装置10は、出力取得部12とセレクタ14とから構成されている。モデル統合装置10は、出力取得部12により取得された3以上の出力のうち、セレクタ14が1つを選択して出力する。
Confidence_Z1’>Confidence_Z1であれば、ClassID_Z1’を出力とする。
それ以外は、ClassID_Z2を出力とする。
a)ClassID_Z1、ClassID_Z1’、ClassID_Z2がいずれも等しい場合
ClassID_Z2を出力とする。
b)ClassID_Z1、ClassID_Z1’が等しく、ClassID_Z2が異なる場合
Confidence_Z1’>Confidence_Z1であれば、ClassID_Z1’を出力とする。
それ以外は、ClassID_Z2を出力とする。
c)ClassID_Z1、ClassID_Z2が等しく、ClassID_Z1’が異なる場合
Confidence_Z1’>Confidence_Z1であれば、ClassID_Z1’を出力とする。
それ以外は、ClassID_Z2を出力とする。
d)ClassID_Z1’、ClassID_Z2が等しく、ClassID_Z1が異なる場合
ClassID_Z2を出力とする。
e)ClassID_Z1、ClassID_Z1’、ClassID_Z2のいずれも異なる場合
Confidence_Z1’>Confidence_Z1であれば、ClassID_Z1’を出力とする。
それ以外は、ClassID_Z2を出力とする。
Confidence_Z1’>Confidence_Z1であれば、ClassID_Z1’を出力とする。
それ以外は、「モデルZ1」「モデルZ1’」を除く尤も精度の高いClassIDを出力とする。
次に、モデル統合装置10の動作について説明する。図8は、個別モデル「モデルZ1’」と新たな共通モデル「モデルZ2」を統合する動作を示すフローチャートである。
第1の実施形態では、モデル統合装置10が、学習済みの共通モデルから派生した個別モデルにおいて、その個別に学習した結果を失うことなく、新たな共通モデルと統合した判定結果を出力する構成としているが、その統合した判定結果を利用して、新たな共通モデルに再学習をさせることにより、新たな共通モデルに基づいた個別モデルを生成できる構成にしてもよい。
図9は、本実施形態に係るモデル統合装置10の構成の一例を示すブロック図である。モデル統合装置10は、第1の実施形態にも示した出力取得部12とセレクタ14の構成以外に、モデルZ1判定部16a、モデルZ1’判定部16b、モデルZ2’判定部16d、および再学習部20から構成されている。モデル統合装置10は、出力取得部12により取得された3以上の出力のうち、セレクタ14が1つを選択して出力すると共に、再学習部20がセレクタ14が選択した出力に基づいて「モデルZ2’」に再学習を実施し、「モデルZ2」に基づいた新たな個別モデルを漸次に生成する。なお、ブロック図において、黒矢印は、学習によってモデルの中身が変化することを示す。「モデルZ2’」の初期値は、「モデルZ2」であり、これが学習によって「モデルZ2’」に変化する。
次に、モデル統合装置10の動作について説明する。図11(a)は、共通モデル「モデルA1」を複製した「モデルZ1」に基づいて個別モデル「モデルZ1’」を生成するまでの動作を示すフローチャートである。図11(b)は、個別モデル「モデルZ1’」を生成した後、「モデルZ1’」と新たな共通モデルである「モデルA2(Z2)」を統合すると共に、「モデルZ2」に基づいて新たな個別モデル「モデルZ2’」を生成するまでの動作を示すフローチャートである。
Confidence_Z1’−Confidence_Z1>τ
これは「モデルZ1’」の出力の精度がある一定(τ)以上、「モデルZ1」よりも大きいことを条件とするものである。
また、「モデルZ1」の2番目に精度の高い出力を「Confidence_Z1_2」、同様に「モデルZ1’」の2番目に精度の出力を「Confidence_Z1’_2」とした場合に、
Confidence_Z1’−Confidence_Z1’_2>Confidence_Z1−Confidence_Z1_2
これは出力結果に対してほかに同精度の出力がないことを条件とするものである。次のようにも記述できる。
Confidence_Z1’/Confidence_Z1’_2>Confidence_Z1/Confidence_Z1_2
また、これらの考え方を組み合わせて、
Confidence_Z1’−Confidence_Z1’_2>τ かつ Confidence_Z1’>Confidence_Z1
などとしてもよい。
第2の実施形態では、モデル統合装置10が、統合した判定結果を利用して、新たな共通モデルに再学習をさせることにより、新たな共通モデルに基づいた個別モデルを生成できる構成であったが、新たな共通モデルも順次発展すると考えられるため、第2の実施形態の構成に加えて、新たな共通モデルに基づいて学習を進めた第3の共通モデルの有無を判断し、第3の共通モデルがある場合は前記第3の共通モデルを取り込み、新たな共通モデルと置き換える構成としてもよい。
図12は、本実施形態に係るモデル統合装置10およびモデル統合システム100の構成の一例を示すブロック図である。モデル統合装置10は、第2の実施形態に示した構成以外に、「モデルA2」(新たな共通モデル)に基づいて学習を進めた「モデルA3」(第3の共通モデル)の有無を判断し、「モデルA3」がある場合は「モデルA3」を取り込み、「モデルZ2’」と置き換える更新部22を備える。更新部22以外の機能は第2の実施形態と同様なので省略する。
次に、モデル統合装置10の動作について説明する。図14は、モデルを置き換えるまでの動作を示すフローチャートである。まず、更新部22は、定期的にまたはユーザの指示により、「モデルA2」に基づいて学習を進めた「モデルA3」の有無を判断する(ステップU1)。そして、「モデルA3」がある場合は「モデルA3」を取り込み、これを複製した「モデルZ3’」と「モデルZ2’」とを置き換える(ステップU2)。一方、「モデルA3」がない場合は終了する。次に、各モデル判定部16は、基とするモデルを置き換える(ステップU3)。このような動作により、最新の共通モデルを取得する。
本実施形態に係るモデル統合装置10は、学習を進めた共通モデルが定期的に公開される共通モデルサーバ50と組み合わせて、モデル統合システム100として構成できる。共通モデルサーバ50は、一連の共通モデルを管理し、学習を進めることにより精度を向上させる。また、共通モデルサーバ50は、学習を進めた共通モデルを定期的に公開する。
12 出力取得部
14 セレクタ
16、16a〜16f モデル判定部
20 再学習部
22 更新部
50 共通モデルサーバ
100 モデル統合システム
Claims (8)
- 複数のニューラルネットワークモデルを統合するモデル統合装置であって、
同一の入力を受け付けた、1つの学習済みの共通モデル、前記共通モデルに基づいて学習を進めた個別モデル、および前記共通モデルに基づいて学習を進めた新たな共通モデルからの出力を、それぞれ第1の出力、第2の出力、第3の出力として取得する出力取得部と、
前記取得された各出力のうち、少なくとも前記第1の出力の精度と前記第2の出力の精度とに基づいた前記第2の出力を優先する基準に従って、いずれか1つを選択して出力するセレクタと、を備えることを特徴とするモデル統合装置。 - 前記共通モデルに基づいて学習を進めた新たな共通モデルに基づき、入力に対して判定結果を出力するモデル判定部と、
前記選択された1つの出力に基づいて、前記新たな共通モデルに再学習を実施する再学習部と、を備え、
前記新たな共通モデルに再学習が実施された場合、
前記モデル判定部は、再学習された共通モデルに基づき、入力に対して判定結果を出力し、
前記出力取得部は、再学習された共通モデルの出力を第3の出力として取得することを特徴とする請求項1記載のモデル統合装置。 - 前記新たな共通モデルに基づいて学習を進めた第3の共通モデルの有無を判断し、前記第3の共通モデルがある場合は前記第3の共通モデルを取り込み、前記新たな共通モデルと置き換える更新部を備え、
前記第3の共通モデルが取り込まれた場合、
前記モデル判定部は、前記第3の共通モデルに基づき、入力に対して判定結果を出力し、
前記出力取得部は、同一の入力を受け付けた、前記新たな共通モデル、前記再学習されたモデル、および前記第3の共通モデルからの出力をそれぞれ第1の出力、第2の出力、第3の出力として取得し、
前記再学習部は、前記選択された1つの出力に基づいて、前記第3の共通モデルに再学習を実施することを特徴とする請求項2記載のモデル統合装置。 - 前記再学習部は、前記第2の出力と前記第3の出力とが、予め定められた閾値以上の割合で一致したときに再学習を停止することを特徴とする請求項2または請求項3記載のモデル統合装置。
- 前記出力取得部は、同一の入力を受け付けた、前記共通モデルとは異なる1以上のその他の共通モデルからの出力を更に取得し、
前記セレクタは、少なくとも前記第1の出力の精度と前記第2の出力の精度とに基づいた前記第2の出力を優先する基準に従って、前記出力取得部が取得したすべての出力のうちいずれか1つを選択して出力することを特徴とする請求項1から4のいずれかに記載のモデル統合装置。 - 複数のニューラルネットワークモデルを統合するモデル統合システムであって、
共通モデルを管理し、学習を進めることにより精度を向上させる共通モデルサーバと、
請求項3に記載のモデル統合装置と、を備え、
前記共通モデルサーバは、学習を進めた新たな共通モデルを定期的に公開し、
前記モデル統合装置は、前記新たな共通モデルを定期的に取り込むことを特徴とするモデル統合システム。 - 複数のニューラルネットワークモデルを統合するモデル統合方法であって、
同一の入力を受け付けた、1つの学習済みの共通モデル、前記共通モデルに基づいて学習を進めた個別モデル、および前記共通モデルに基づいて学習を進めた新たな共通モデルからの出力をそれぞれ第1の出力、第2の出力、第3の出力として取得するステップと、
前記それぞれの出力のうち、少なくとも前記第1の出力の精度と前記第2の出力の精度とに基づいた前記第2の出力を優先する基準に従って、いずれか1つを選択して出力するステップと、を含むことを特徴とする方法。 - 複数のニューラルネットワークモデルを統合するモデル統合プログラムであって、
同一の入力を受け付けた、1つの学習済みの共通モデル、前記共通モデルに基づいて学習を進めた個別モデル、および前記共通モデルに基づいて学習を進めた新たな共通モデルからの出力をそれぞれ第1の出力、第2の出力、第3の出力として取得する処理と、
前記それぞれの出力のうち、少なくとも前記第1の出力の精度と前記第2の出力の精度とに基づいた前記第2の出力を優先する基準に従って、いずれか1つを選択して出力する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042153A JP6660900B2 (ja) | 2017-03-06 | 2017-03-06 | モデル統合装置、モデル統合システム、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042153A JP6660900B2 (ja) | 2017-03-06 | 2017-03-06 | モデル統合装置、モデル統合システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147261A JP2018147261A (ja) | 2018-09-20 |
JP6660900B2 true JP6660900B2 (ja) | 2020-03-11 |
Family
ID=63591270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017042153A Active JP6660900B2 (ja) | 2017-03-06 | 2017-03-06 | モデル統合装置、モデル統合システム、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6660900B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7391503B2 (ja) * | 2018-11-20 | 2023-12-05 | 株式会社東芝 | 情報処理システムおよび情報処理方法 |
JP7036049B2 (ja) * | 2019-01-18 | 2022-03-15 | オムロン株式会社 | モデル統合装置、モデル統合方法、モデル統合プログラム、推論システム、検査システム、及び制御システム |
JP7262232B2 (ja) * | 2019-01-29 | 2023-04-21 | 東京エレクトロン株式会社 | 画像認識システムおよび画像認識方法 |
JP6798571B2 (ja) * | 2019-03-08 | 2020-12-09 | トヨタ自動車株式会社 | モデル集約装置及びモデル集約システム |
US11526899B2 (en) | 2019-10-11 | 2022-12-13 | Kinaxis Inc. | Systems and methods for dynamic demand sensing |
US11886514B2 (en) | 2019-10-11 | 2024-01-30 | Kinaxis Inc. | Machine learning segmentation methods and systems |
US20210110299A1 (en) * | 2019-10-15 | 2021-04-15 | Kinaxis Inc. | Interactive machine learning |
JP7462259B2 (ja) | 2020-01-14 | 2024-04-05 | パナソニックIpマネジメント株式会社 | 計測装置、システム、計測方法、及びプログラム |
US11409287B2 (en) | 2020-01-17 | 2022-08-09 | Baidu Usa Llc | Neural task planner for autonomous vehicles |
JP7396133B2 (ja) | 2020-03-11 | 2023-12-12 | オムロン株式会社 | パラメータ調整装置、推論装置、パラメータ調整方法、及びパラメータ調整プログラム |
WO2022107330A1 (ja) * | 2020-11-20 | 2022-05-27 | 日本電気株式会社 | 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体 |
JP2024009691A (ja) * | 2022-07-11 | 2024-01-23 | 株式会社日立製作所 | 遮断器モデル生成システム、遮断器モデル生成装置及び遮断器モデル生成方法 |
WO2024069956A1 (ja) * | 2022-09-30 | 2024-04-04 | 日本電気株式会社 | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3467556B2 (ja) * | 1992-06-19 | 2003-11-17 | セイコーエプソン株式会社 | 音声認識装置 |
JPH0696045A (ja) * | 1992-09-11 | 1994-04-08 | Toyo Electric Mfg Co Ltd | パターン認識装置 |
JP3767954B2 (ja) * | 1996-11-07 | 2006-04-19 | 富士通株式会社 | 需要予測装置 |
JP5533662B2 (ja) * | 2008-10-30 | 2014-06-25 | コニカミノルタ株式会社 | 情報処理装置 |
-
2017
- 2017-03-06 JP JP2017042153A patent/JP6660900B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018147261A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6660900B2 (ja) | モデル統合装置、モデル統合システム、方法およびプログラム | |
Xin et al. | Decentralized stochastic optimization and machine learning: A unified variance-reduction framework for robust performance and fast convergence | |
EP3029614B1 (en) | Parallel development and deployment for machine learning models | |
US10824959B1 (en) | Explainers for machine learning classifiers | |
Demongeot et al. | Attraction basins as gauges of robustness against boundary conditions in biological complex systems | |
Zhang et al. | New passivity criteria for neural networks with time-varying delay | |
US20220020064A1 (en) | Feature processing method and apparatus for artificial intelligence recommendation model, electronic device, and storage medium | |
Arora et al. | Deep learning with h2o | |
US11170319B2 (en) | Dynamically inferred expertise | |
CN111797327B (zh) | 社交网络建模的方法及装置 | |
US20130339787A1 (en) | Systematic failure remediation | |
Vu et al. | Distributed adaptive model rules for mining big data streams | |
Pacheco et al. | Algorithm Analysis in Multi-agent Systems | |
EP4285292A1 (en) | Distributed machine learning with new labels using heterogeneous label distribution | |
CN107391136A (zh) | 一种基于流式的编程系统和方法 | |
CN117009539A (zh) | 知识图谱的实体对齐方法、装置、设备及存储介质 | |
JP2010072876A (ja) | ルール作成プログラム、ルール作成方法及びルール作成装置 | |
Chahin et al. | Planning validation & verification steps according to the dependency of requirements and product architecture | |
Kurz et al. | Simulation of a self-optimising digital ecosystem | |
CN106503216A (zh) | 支持分层的元数据同步方法及元数据同步装置 | |
Boeck et al. | Virtual-Twin Technologies in Networking | |
AU2019219741A1 (en) | System for generating an architecture diagram | |
Stram et al. | Dynamic case bases and the asymmetrical weighted one-mode projection | |
Fischer et al. | Calibration of hydrological model parameters with the JAMS framework | |
Streck et al. | Minimization and equivalence in multi-valued logical models of regulatory networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6660900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |