JP6758406B2 - ワイドアンドディープマシンラーニングモデル - Google Patents
ワイドアンドディープマシンラーニングモデル Download PDFInfo
- Publication number
- JP6758406B2 JP6758406B2 JP2018553922A JP2018553922A JP6758406B2 JP 6758406 B2 JP6758406 B2 JP 6758406B2 JP 2018553922 A JP2018553922 A JP 2018553922A JP 2018553922 A JP2018553922 A JP 2018553922A JP 6758406 B2 JP6758406 B2 JP 6758406B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- model
- deep
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Description
本出願は、2016年4月13日に出願した米国仮出願第62/322,161号の優先権を主張するものである。先行出願の開示は、本出願の開示の一部とみなされ、参照により本出願の開示に組み込まれる。
104 ディープマシンラーニングモデル
106 ワイドマシンラーニングモデル
108 特徴
110 特徴
112 特徴
114 特徴
116 特徴
118 特徴
120 特徴
122 特徴
124 埋込み関数
126 埋込み関数
128 埋込み関数
130 ディープニューラルネットワーク
132 クロス積変換
134 組合せ層
136 予測出力
138 一般化線形モデル
150 埋め込み層
Claims (19)
ディープモデル中間予測出力を生成するために前記特徴を処理するように構成されるディープマシンラーニングモデルと、
ワイドモデル中間予測出力を生成するために前記特徴を処理するように構成されるワイドマシンラーニングモデルであって、前記ワイドマシンラーニングモデルが一般化線形モデルである、ワイドマシンラーニングモデルと、
前記予測出力を生成するために、前記ディープマシンラーニングモデルによって生成された前記ディープモデル中間予測出力と前記ワイドマシンラーニングモデルによって生成された前記ワイドモデル中間予測出力とを処理するように構成される組合せ層と
を備え、
前記ディープマシンラーニングモデルおよび前記ワイドマシンラーニングモデルが、前記ディープモデル中間予測出力と前記ワイドモデル中間予測出力とを生成するために、トレーニングデータに対して共同でトレーニングされている、
システム。
複数のトレーニング入力の各々について、(i)前記トレーニング入力の特徴と、(ii)前記トレーニング入力に対する既知の出力とを備えるトレーニングデータを取得するステップと、
前記トレーニング入力の各々について、
前記ディープマシンラーニングモデルのパラメータの現在の値に従って前記トレーニング入力に対するディープモデル中間予測出力を生成するために前記ディープマシンラーニングモデルを使用して前記トレーニング入力の前記特徴を処理するステップと、
前記ワイドマシンラーニングモデルのパラメータの現在の値に従って前記トレーニング入力に対するワイドモデル中間予測出力を生成するために前記ワイドマシンラーニングモデルを使用して前記トレーニング入力の前記特徴を処理するステップと、
前記トレーニング入力に対する予測出力を生成するために前記組合せ層を使用して前記トレーニング入力に対する前記ディープモデル中間予測出力と前記ワイドモデル中間予測出力とを処理するステップと、
前記ディープマシンラーニングモデルおよび前記ワイドマシンラーニングモデルの前記パラメータの前記現在の値を共同して調整するために、前記組合せ層を介して前記トレーニング入力に対する前記予測出力と前記トレーニング入力に対する前記既知の出力との間の誤差から決定される勾配を前記ワイドマシンラーニングモデルおよび前記ディープマシンラーニングモデルに逆伝播させるステップと
を備える、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662322161P | 2016-04-13 | 2016-04-13 | |
US62/322,161 | 2016-04-13 | ||
PCT/US2016/068842 WO2017180208A1 (en) | 2016-04-13 | 2016-12-28 | Wide and deep machine learning models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019517057A JP2019517057A (ja) | 2019-06-20 |
JP6758406B2 true JP6758406B2 (ja) | 2020-09-23 |
Family
ID=57799918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018553922A Active JP6758406B2 (ja) | 2016-04-13 | 2016-12-28 | ワイドアンドディープマシンラーニングモデル |
Country Status (6)
Country | Link |
---|---|
US (2) | US10762422B2 (ja) |
EP (2) | EP4068165A1 (ja) |
JP (1) | JP6758406B2 (ja) |
KR (2) | KR102240662B1 (ja) |
CN (1) | CN109196527A (ja) |
WO (1) | WO2017180208A1 (ja) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10554505B2 (en) | 2012-09-28 | 2020-02-04 | Intel Corporation | Managing data center resources to achieve a quality of service |
US10387531B1 (en) * | 2015-08-18 | 2019-08-20 | Google Llc | Processing structured documents using convolutional neural networks |
US10699185B2 (en) * | 2017-01-26 | 2020-06-30 | The Climate Corporation | Crop yield estimation using agronomic neural network |
US11182414B2 (en) * | 2017-03-20 | 2021-11-23 | International Business Machines Corporation | Search queries of multi-datatype databases |
US10592383B2 (en) * | 2017-06-29 | 2020-03-17 | Intel Corporation | Technologies for monitoring health of a process on a compute device |
CN110019658B (zh) * | 2017-07-31 | 2023-01-20 | 腾讯科技(深圳)有限公司 | 检索项的生成方法及相关装置 |
CA3028278A1 (en) * | 2017-11-23 | 2019-05-23 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for estimating arrival time |
US10360482B1 (en) * | 2017-12-04 | 2019-07-23 | Amazon Technologies, Inc. | Crowd-sourced artificial intelligence image processing services |
CN108363745B (zh) | 2018-01-26 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 机器人客服转人工客服的方法和装置 |
EP3701351A4 (en) * | 2018-01-30 | 2021-01-27 | D5Ai Llc | SELF-ORGANIZING PARTIALLY ORGANIZED NETWORKS |
US11093830B2 (en) * | 2018-01-30 | 2021-08-17 | D5Ai Llc | Stacking multiple nodal networks |
CN110187647A (zh) * | 2018-02-23 | 2019-08-30 | 北京京东尚科信息技术有限公司 | 模型训练方法及系统 |
CN108416625A (zh) * | 2018-02-28 | 2018-08-17 | 阿里巴巴集团控股有限公司 | 营销产品的推荐方法和装置 |
FR3078804B1 (fr) * | 2018-03-06 | 2021-07-30 | Arkema France | Procede de selection de solvants adaptes a des polymeres fluores |
CN113837804A (zh) * | 2018-03-13 | 2021-12-24 | 创新先进技术有限公司 | 一种信息推荐的方法、装置及设备 |
CN110379411B (zh) * | 2018-04-11 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 针对目标说话人的语音合成方法和装置 |
CN110647696B (zh) * | 2018-06-08 | 2022-06-14 | 北京三快在线科技有限公司 | 一种业务对象的排序方法及装置 |
US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
US10810460B2 (en) | 2018-06-13 | 2020-10-20 | Cosmo Artificial Intelligence—AI Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
US20200034665A1 (en) | 2018-07-30 | 2020-01-30 | DataRobot, Inc. | Determining validity of machine learning algorithms for datasets |
CN111092850B (zh) * | 2018-10-24 | 2021-06-04 | 珠海格力电器股份有限公司 | 监控网络安全的方法及装置、空调器、家用电器 |
CN110152298B (zh) * | 2018-11-22 | 2022-03-15 | 腾讯科技(深圳)有限公司 | 实现虚拟角色的装备推荐方法、装置及计算机设备 |
CN110782648B (zh) * | 2018-12-03 | 2022-02-18 | 北京嘀嘀无限科技发展有限公司 | 确定预计到达时间的系统和方法 |
CN110033091B (zh) * | 2018-12-13 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 一种基于模型进行预测的方法和装置 |
US10789510B2 (en) * | 2019-01-11 | 2020-09-29 | Google Llc | Dynamic minibatch sizes |
CN109784407A (zh) * | 2019-01-17 | 2019-05-21 | 京东数字科技控股有限公司 | 确定表字段的类型的方法和装置 |
US11109083B2 (en) * | 2019-01-25 | 2021-08-31 | Adobe Inc. | Utilizing a deep generative model with task embedding for personalized targeting of digital content through multiple channels across client devices |
WO2020180424A1 (en) | 2019-03-04 | 2020-09-10 | Iocurrents, Inc. | Data compression and communication using machine learning |
CN110175857B (zh) * | 2019-03-25 | 2023-06-02 | 创新先进技术有限公司 | 优选业务确定方法及装置 |
CN110059802A (zh) * | 2019-03-29 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 用于训练学习模型的方法、装置和计算设备 |
CN110135435B (zh) * | 2019-04-17 | 2021-05-18 | 上海师范大学 | 一种基于广度学习系统的显著性检测方法及装置 |
US11681923B2 (en) | 2019-04-19 | 2023-06-20 | Samsung Electronics Co., Ltd. | Multi-model structures for classification and intent determination |
KR102034827B1 (ko) * | 2019-05-14 | 2019-11-18 | 주식회사 뷰노 | 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치 |
CN110309281A (zh) * | 2019-05-28 | 2019-10-08 | 平安科技(深圳)有限公司 | 基于知识图谱的问答方法、装置、计算机设备及存储介质 |
CN110147851B (zh) * | 2019-05-29 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 图像筛选方法、装置、计算机设备及存储介质 |
CN110299194B (zh) * | 2019-06-06 | 2022-11-08 | 昆明理工大学 | 基于综合特征表示与改进宽深度模型的相似病例推荐方法 |
CN110298497A (zh) * | 2019-06-11 | 2019-10-01 | 武汉蓝智科技有限公司 | 基于大数据的工业预测维修系统及其使用方法 |
US11392469B2 (en) * | 2019-06-20 | 2022-07-19 | Microsoft Technology Licensing, Llc | Framework for testing machine learning workflows |
US11397742B2 (en) | 2019-06-21 | 2022-07-26 | Microsoft Technology Licensing, Llc | Rescaling layer in neural network |
US11204968B2 (en) * | 2019-06-21 | 2021-12-21 | Microsoft Technology Licensing, Llc | Embedding layer in neural network for ranking candidates |
US11847545B2 (en) | 2019-09-09 | 2023-12-19 | Nxp B.V. | Systems and methods involving a combination of machine learning models |
CN110598954B (zh) * | 2019-09-24 | 2022-03-11 | 中国人民大学 | 基于深度学习的利用评审意见预测论文被引用数的方法 |
CN114503130A (zh) * | 2019-09-27 | 2022-05-13 | 维萨国际服务协会 | 在机器学习模型的嵌入之间映射用户向量 |
JP7381861B2 (ja) | 2019-11-29 | 2023-11-16 | 富士通株式会社 | 複合モデル生成プログラム及び方法、並びに情報処理システム |
CN110830515A (zh) * | 2019-12-13 | 2020-02-21 | 支付宝(杭州)信息技术有限公司 | 流量检测方法、装置、电子设备 |
CN111242280A (zh) * | 2020-01-06 | 2020-06-05 | 北京拙河科技有限公司 | 一种深度强化学习模型的组合方法、装置及计算机设备 |
EP4097653A4 (en) * | 2020-01-27 | 2024-02-28 | Akkio Inc | METHOD AND SYSTEMS FOR DYNAMICLY GENERATING A MULTIPLE MACHINE LEARNING SYSTEMS WHILE PROCESSING A USER DATA SET |
CN111325624B (zh) * | 2020-02-11 | 2022-04-26 | 支付宝(杭州)信息技术有限公司 | 网络交易的实时防控系统及方法 |
US11070881B1 (en) | 2020-07-07 | 2021-07-20 | Verizon Patent And Licensing Inc. | Systems and methods for evaluating models that generate recommendations |
US11797755B2 (en) * | 2020-08-13 | 2023-10-24 | Microsoft Technology Licensing, Llc | Unsupervised method to generate annotations for natural language understanding tasks |
US20220207347A1 (en) * | 2020-12-28 | 2022-06-30 | International Business Machines Corporation | Split-net configuration for predictive modeling |
US20220284433A1 (en) * | 2021-03-04 | 2022-09-08 | Capital One Services, Llc | Unidimensional embedding using multi-modal deep learning models |
CN113112059A (zh) * | 2021-03-31 | 2021-07-13 | 亿海蓝(北京)数据技术股份公司 | 船舶靠泊时间预测方法及系统 |
CN112950291B (zh) * | 2021-03-31 | 2023-07-21 | 北京奇艺世纪科技有限公司 | 模型的偏差优化方法、装置、设备及计算机可读介质 |
CN115769239A (zh) * | 2021-04-29 | 2023-03-07 | 京东方科技集团股份有限公司 | 一种疾病预测方法、装置、电子设备和计算机可读存储介质 |
CN113190749B (zh) * | 2021-05-06 | 2023-10-31 | 北京百度网讯科技有限公司 | 用于确定对象属性的方法及装置、电子设备和介质 |
CN113255977B (zh) * | 2021-05-13 | 2023-06-23 | 江西鑫铂瑞科技有限公司 | 基于工业互联网的智慧工厂生产设备故障预测方法及系统 |
WO2023018423A1 (en) * | 2021-08-13 | 2023-02-16 | Innopeak Technology, Inc. | Learning semantic binary embedding for video representations |
-
2016
- 2016-12-28 KR KR1020207025666A patent/KR102240662B1/ko active IP Right Grant
- 2016-12-28 CN CN201680085769.5A patent/CN109196527A/zh active Pending
- 2016-12-28 JP JP2018553922A patent/JP6758406B2/ja active Active
- 2016-12-28 WO PCT/US2016/068842 patent/WO2017180208A1/en active Application Filing
- 2016-12-28 EP EP22175930.1A patent/EP4068165A1/en active Pending
- 2016-12-28 EP EP16826643.5A patent/EP3427193A1/en active Pending
- 2016-12-28 KR KR1020187028972A patent/KR102155261B1/ko active IP Right Grant
- 2016-12-29 US US15/394,668 patent/US10762422B2/en active Active
-
2020
- 2020-08-12 US US16/991,258 patent/US20200372359A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4068165A1 (en) | 2022-10-05 |
CN109196527A (zh) | 2019-01-11 |
KR20180120240A (ko) | 2018-11-05 |
US10762422B2 (en) | 2020-09-01 |
WO2017180208A1 (en) | 2017-10-19 |
JP2019517057A (ja) | 2019-06-20 |
US20170300814A1 (en) | 2017-10-19 |
KR102155261B1 (ko) | 2020-09-11 |
EP3427193A1 (en) | 2019-01-16 |
US20200372359A1 (en) | 2020-11-26 |
KR102240662B1 (ko) | 2021-04-15 |
KR20200106566A (ko) | 2020-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6758406B2 (ja) | ワイドアンドディープマシンラーニングモデル | |
US11954597B2 (en) | Using embedding functions with a deep network | |
US11809824B1 (en) | Computing numeric representations of words in a high-dimensional space | |
JP6790286B2 (ja) | 強化学習を用いたデバイス配置最適化 | |
US20230244933A1 (en) | Training neural networks using a prioritized experience memory | |
JP6671515B2 (ja) | 比較セットを使用する入力例の分類 | |
US20200401896A1 (en) | Generating larger neural networks | |
CN108140143A (zh) | 正则化机器学习模型 | |
EP2973023A1 (en) | Scoring concept terms using a deep network | |
CN108369664A (zh) | 调整神经网络的大小 | |
US10755171B1 (en) | Hiding and detecting information using neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6758406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |