JP6965973B2 - サンプルデータの生成方法、装置及びコンピュータ読み取り可能な記録媒体 - Google Patents
サンプルデータの生成方法、装置及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP6965973B2 JP6965973B2 JP2020154411A JP2020154411A JP6965973B2 JP 6965973 B2 JP6965973 B2 JP 6965973B2 JP 2020154411 A JP2020154411 A JP 2020154411A JP 2020154411 A JP2020154411 A JP 2020154411A JP 6965973 B2 JP6965973 B2 JP 6965973B2
- Authority
- JP
- Japan
- Prior art keywords
- sample data
- recommendation
- neural network
- network model
- weak teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(1)ユーザの行動ルールに基づくパターンマッチングまたは手動ラベル付け、
(2)例えば異常行動分析といった、教師なし方法、
(3)既存のラベルに基づく、教師あり/弱教師レコメンドモデル、
を含むことができる。
ゲート アレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願の前記機能を実現するためのほかの電子モジュール、または組み合わせで実現可能である。
Claims (11)
- レコメンドシステムの少なくとも二つの弱教師レコメンドモデルを生成するステップと、
ニューラルネットワークモデルを訓練することにより、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を学習するステップと、
訓練後の前記ニューラルネットワークモデルを用いて、サンプルデータに対してラベルを付け直して、更新後のサンプルデータを得るステップと、を含むことを特徴とするサンプルデータの生成方法。 - ニューラルネットワークモデルを訓練することにより、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を学習するステップは、
前記少なくとも二つの弱教師レコメンドモデルの出力に基づき、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を表すためのニューラルネットワークモデルを構築するステップと、
前記少なくとも二つの弱教師レコメンドモデルの出力の同時確率を最大化することにより、前記ニューラルネットワークモデルのパラメータを訓練し、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を生成するステップと、を含むことを特徴とする請求項1に記載のサンプルデータの生成方法。 - 訓練後の前記ニューラルネットワークモデルを用いて、サンプルデータに対してラベルを付け直すステップは、
前記少なくとも二つの弱教師レコメンドモデルのサンプルデータに対するラベリング結果を取得するステップと、
訓練後の前記ニューラルネットワークモデルを用いて、前記ラベリング結果の最尤推定値を得て、前記ラベリング結果の最尤推定値に基づいて、サンプルデータに対してラベルを付け直すステップと、を含むことを特徴とする請求項1に記載のサンプルデータの生成方法。 - 前記のレコメンドシステムの少なくとも二つの弱教師レコメンドモデルを生成するステップは、
既存の弱教師ラベルに基づいて、訓練により複数の異なるタイプの弱教師レコメンドモデルを生成するステップと、
各タイプの弱教師レコメンドモデルから、ラベル性能が所定の閾値より高い弱教師レコメンドモデルをそれぞれ選択して、前記少なくとも二つの弱教師レコメンドモデルを得るステップと、を含むことを特徴とする請求項1に記載のサンプルデータの生成方法。 - 更新後のサンプルデータを得た後に、さらに、
更新後のサンプルデータを用いて、訓練により前記レコメンドシステムの目標レコメンドモデルを得るステップ、を含むことを特徴とする請求項1から4のいずれか一項に記載のサンプルデータの生成方法。 - レコメンドシステムの少なくとも二つの弱教師レコメンドモデルを生成するレコメンドモデル取得ユニットと、
ニューラルネットワークモデルを訓練することにより、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を学習するニューラルネットワークモデル学習ユニットと、
訓練後の前記ニューラルネットワークモデルを用いて、サンプルデータに対してラベルを付け直して、更新後のサンプルデータを得るラベル付け直しユニットと、を含むことを特徴とするサンプルデータの生成装置。 - 前記ニューラルネットワークモデル学習ユニットは、
前記少なくとも二つの弱教師レコメンドモデルの出力に基づき、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を表すためのニューラルネットワークモデルを構築し、
前記少なくとも二つの弱教師レコメンドモデルの出力の同時確率を最大化することにより、前記ニューラルネットワークモデルのパラメータを訓練し、前記少なくとも二つの弱教師レコメンドモデル間の依存関係を生成することを特徴とする請求項6に記載のサンプルデータの生成装置。 - 前記ラベル付け直しユニットは、
前記少なくとも二つの弱教師レコメンドモデルのサンプルデータに対するラベリング結果を取得し、
訓練後の前記ニューラルネットワークモデルを用いて、前記ラベリング結果の最尤推定値を得て、前記ラベリング結果の最尤推定値に基づいて、サンプルデータに対してラベルを付け直すことを特徴とする請求項6に記載のサンプルデータの生成装置。 - 前記レコメンドモデル取得ユニットは、
既存の弱教師ラベルに基づいて、訓練により複数の異なるタイプの弱教師レコメンドモデルを生成し、
各タイプの弱教師レコメンドモデルから、ラベル性能が所定の閾値より高い弱教師レコメンドモデルをそれぞれ選択して、前記少なくとも二つの弱教師レコメンドモデルを得ることを特徴とする請求項6に記載のサンプルデータの生成装置。 - 更新後のサンプルデータを用いて、訓練により前記レコメンドシステムの目標レコメンドモデルを訓練して得る目標レコメンドモデル訓練ユニット、をさらに含むことを特徴とする請求項6から9のいずれか一項に記載のサンプルデータの生成装置。
- プロセッサによって実行される際に、請求項1から5のいずれか一項に記載のサンプルデータの生成方法のステップを実現するコンピュータプログラムが記憶されていることを特徴とする、コンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910875573.1 | 2019-09-17 | ||
CN201910875573.1A CN112529024A (zh) | 2019-09-17 | 2019-09-17 | 一种样本数据的生成方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047861A JP2021047861A (ja) | 2021-03-25 |
JP6965973B2 true JP6965973B2 (ja) | 2021-11-10 |
Family
ID=74869704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020154411A Active JP6965973B2 (ja) | 2019-09-17 | 2020-09-15 | サンプルデータの生成方法、装置及びコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210081788A1 (ja) |
JP (1) | JP6965973B2 (ja) |
CN (1) | CN112529024A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283578A (zh) * | 2021-04-14 | 2021-08-20 | 南京大学 | 一种基于标记风险控制的数据去噪方法 |
CN113591986B (zh) * | 2021-07-30 | 2024-06-04 | 阿里巴巴创新公司 | 用于生成推荐模型的对象权值的方法和个性化推荐方法 |
CN113486982A (zh) * | 2021-07-30 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置和电子设备 |
CN114612408B (zh) * | 2022-03-04 | 2023-06-06 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6127778B2 (ja) * | 2013-06-28 | 2017-05-17 | 富士通株式会社 | モデル学習方法、モデル学習プログラム及びモデル学習装置 |
US10116680B1 (en) * | 2016-06-21 | 2018-10-30 | Symantec Corporation | Systems and methods for evaluating infection risks based on profiled user behaviors |
US11200483B2 (en) * | 2016-08-30 | 2021-12-14 | Lunit Inc. | Machine learning method and apparatus based on weakly supervised learning |
US10606885B2 (en) * | 2016-11-15 | 2020-03-31 | Evolv Technology Solutions, Inc. | Data object creation and recommendation using machine learning based online evolution |
US11288595B2 (en) * | 2017-02-14 | 2022-03-29 | Groq, Inc. | Minimizing memory and processor consumption in creating machine learning models |
EP3399465A1 (en) * | 2017-05-05 | 2018-11-07 | Dassault Systèmes | Forming a dataset for fully-supervised learning |
JP7082461B2 (ja) * | 2017-07-26 | 2022-06-08 | 株式会社Ye Digital | 故障予知方法、故障予知装置および故障予知プログラム |
CN108132968B (zh) * | 2017-12-01 | 2020-08-04 | 西安交通大学 | 网络文本与图像中关联语义基元的弱监督学习方法 |
CN108108849A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 一种基于弱监督多模态深度学习的微博情感预测方法 |
CN108399406B (zh) * | 2018-01-15 | 2022-02-01 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
US10511681B2 (en) * | 2018-03-02 | 2019-12-17 | Adobe Inc. | Establishing and utilizing behavioral data thresholds for deep learning and other models to identify users across digital space |
CN109543693B (zh) * | 2018-11-28 | 2021-05-07 | 中国人民解放军国防科技大学 | 基于正则化标签传播的弱标注数据降噪方法 |
CN109740588B (zh) * | 2018-12-24 | 2020-06-09 | 中国科学院大学 | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 |
CN109872333B (zh) * | 2019-02-20 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
CN110070183B (zh) * | 2019-03-11 | 2021-08-20 | 中国科学院信息工程研究所 | 一种弱标注数据的神经网络模型训练方法及装置 |
CN110196908A (zh) * | 2019-04-17 | 2019-09-03 | 深圳壹账通智能科技有限公司 | 数据分类方法、装置、计算机装置及存储介质 |
-
2019
- 2019-09-17 CN CN201910875573.1A patent/CN112529024A/zh active Pending
-
2020
- 2020-09-09 US US17/015,560 patent/US20210081788A1/en active Pending
- 2020-09-15 JP JP2020154411A patent/JP6965973B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20210081788A1 (en) | 2021-03-18 |
CN112529024A (zh) | 2021-03-19 |
JP2021047861A (ja) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6965973B2 (ja) | サンプルデータの生成方法、装置及びコンピュータ読み取り可能な記録媒体 | |
US10719301B1 (en) | Development environment for machine learning media models | |
US20230195845A1 (en) | Fast annotation of samples for machine learning model development | |
US20210034980A1 (en) | Real-time visualization of machine learning models | |
US11537506B1 (en) | System for visually diagnosing machine learning models | |
US11581067B2 (en) | Method and apparatus for generating a chemical structure using a neural network | |
US20190354810A1 (en) | Active learning to reduce noise in labels | |
KR102052624B1 (ko) | 기계 학습 방법 및 장치 | |
US7577935B2 (en) | Generative programming system and method employing focused grammars | |
CN111694917B (zh) | 一种车辆异常轨迹检测、模型训练方法及装置 | |
CN114787831B (zh) | 改进分类模型的准确性 | |
Norris | Machine Learning with the Raspberry Pi | |
CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
CN112651467A (zh) | 卷积神经网络的训练方法和系统以及预测方法和系统 | |
US20220108054A1 (en) | System for universal hardware-neural network architecture search (co-design) | |
CN110807693A (zh) | 专辑的推荐方法、装置、设备和存储介质 | |
Chen et al. | Understanding and accelerating neural architecture search with training-free and theory-grounded metrics | |
CN112905809B (zh) | 知识图谱学习方法和系统 | |
CN113869377A (zh) | 训练方法、装置及电子设备 | |
CN112417463A (zh) | 软件漏洞预测方法、装置、计算机设备及存储介质 | |
CN116091174A (zh) | 推荐策略优化系统、方法、装置及相关设备 | |
KR102413588B1 (ko) | 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램 | |
Wu et al. | Two-stage salient object detection based on prior distribution learning and saliency consistency optimization | |
WO2022024315A1 (ja) | 精度推定プログラム、装置、及び方法 | |
Zhang et al. | Selectivity drives productivity: efficient dataset pruning for enhanced transfer learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6965973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |