JP6595151B2 - 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 - Google Patents
訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 Download PDFInfo
- Publication number
- JP6595151B2 JP6595151B2 JP2019527020A JP2019527020A JP6595151B2 JP 6595151 B2 JP6595151 B2 JP 6595151B2 JP 2019527020 A JP2019527020 A JP 2019527020A JP 2019527020 A JP2019527020 A JP 2019527020A JP 6595151 B2 JP6595151 B2 JP 6595151B2
- Authority
- JP
- Japan
- Prior art keywords
- weight matrix
- updating
- error
- prediction result
- singular vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Description
まず、本実施形態の基礎となる敵対的生成ネットワーク(以下、GANと記載する。)について簡単に説明する。GANは、ジェネレータと、ディスクリミネータと、を備え、ジェネレータと、ディスクリミネータを並行して学習する生成モデルの訓練方法の一種である。
例えば、活性化関数alをReLU(Rectified Linear Unit)、leakyReLUとすると、||al||Lip=1となる。活性化関数alのそれぞれが、||al||Lip=1を満たす場合、不等式||g1*g2||Lip≦||g1||Lip・||g2||Lipであるので、||f||Lipを以下のように上から押さえることができる。ただし、上記の式においては、g1*g2は、g1とg2との合成関数であることを意味する。
前述の実施形態においては、GANの手法にスペクトル正規化を適用する例について述べたが、これには限られない。すなわち、WGAN−GP(比較例2)の手法において、スペクトル正規化を適用してもよい。以下、比較例2にSNを適用したものを、比較例2+SN等と表す。この場合、誤差関数は、以下の式を用いる。
Claims (32)
- 正解データと、擬データと、を識別するニューラルネットワークモデルを訓練する、訓練方法であって、
少なくとも1つのプロセッサによって、前記正解データ及び前記擬データを前記ニューラルネットワークモデルに入力して得られた予測結果に基づいて、誤差を算出することと、
前記少なくとも1つのプロセッサによって、前記誤差と、前記ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて、前記重み行列を更新することと、
を備える訓練方法。 - 前記誤差を算出することは、
前記ニューラルネットワークモデルに前記正解データを入力し、第1予測結果を取得することと、
前記ニューラルネットワークモデルに前記擬データを入力し、第2予測結果を取得することと、
取得された前記第1予測結果及び取得された前記第2予測結果に基づいて、前記誤差を算出することと、
を備える請求項1に記載の訓練方法。 - 前記第1予測結果は、前記正解データが真である期待値に基づき、
前記第2予測結果は、前記擬データが偽である期待値に基づき、
前記誤差を算出することは、真値と前記第1予測結果との第1部分誤差、及び、偽値と前記第2予測結果との第2部分誤差、に基づいて、前記誤差を算出すること、
を備える請求項2に記載の訓練方法。 - 前記重み行列を更新することは、
前記重み行列の左特異ベクトル及び右特異ベクトルのそれぞれを更新することと、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を前記誤差に基づいて更新することと、
を備える、請求項1乃至3のいずれかに記載の訓練方法。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新することは、
前記重み行列及び前記左特異ベクトルに基づいて、前記右特異ベクトルを更新することと、
前記重み行列及び更新された前記右特異ベクトルに基づいて、前記左特異ベクトルを更新することと、
を備える、請求項4に記載の訓練方法。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新することは、
前記右特異ベクトルのうち、右特異値が最大となる第1右特異ベクトル、及び、前記左特異ベクトルのうち、左特異値が最大となる第1左特異ベクトルを用いてそれぞれのベクトルを更新することである、
請求項5に記載の訓練方法。 - 前記第1右特異ベクトル及び前記第1左特異ベクトルを、べき乗法を用いて算出すること、
をさらに備える、請求項6に記載の訓練方法。 - 前記重み行列を正規化することは、更新された前記左特異ベクトル及び更新された前記右特異ベクトルに基づいて、スペクトル正規化を行うこと、
を備える、請求項4乃至請求項7のいずれかに記載の訓練方法。 - 前記重み行列を更新することは、確率的勾配降下法を用いて前記重み行列を更新することである、
請求項1乃至請求項8のいずれかに記載の訓練方法。 - 少なくとも1つのプロセッサによって、ニューラルネットワークモデルの重み行列に基づいて、評価関数の値を算出することと、
前記少なくとも1つのプロセッサによって、前記評価関数の値に基づいて、前記重み行列を更新することと、を備える訓練方法であって、
前記少なくとも1つのプロセッサによって、前記重み行列に基づく特異値に基づいて、前記重み行列を正規化すること、
を更に備える、訓練方法。 - 正解データと、擬データと、を識別するニューラルネットワークモデルを訓練する、訓練装置であって、
メモリと、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
前記正解データ及び前記擬データを前記ニューラルネットワークモデルに入力して得られた予測結果に基づいて、誤差を算出することと、
前記誤差と、前記ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて、前記重み行列を更新することと、
を実行するよう構成される、
訓練装置。 - 前記少なくとも1つのプロセッサは、
前記ニューラルネットワークモデルに前記正解データを入力し、第1予測結果を取得し、
前記ニューラルネットワークモデルに前記擬データを入力し、第2予測結果を取得し、
取得された前記第1予測結果及び取得された前記第2予測結果に基づいて、前記誤差を算出する、
ように構成される、請求項11に記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
前記正解データが真である期待値に基づいて、前記第1予測結果を取得し、
前記擬データが偽である期待値に基づいて、前記第2予測結果を取得し、
真値と前記第1予測結果との第1部分誤差、及び、偽値と前記第2予測結果との第2部分誤差、に基づいて、前記誤差を算出して、前記誤差を算出する、
ように構成される、請求項12に記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
前記重み行列の左特異ベクトル及び右特異ベクトルのそれぞれを更新し、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化して、
前記重み行列を更新する、
ように構成される、請求項11乃至請求項13のいずれかに記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
前記重み行列及び前記左特異ベクトルに基づいて、前記右特異ベクトルを更新し、
前記重み行列及び更新された前記右特異ベクトルに基づいて、前記左特異ベクトルを更新して、
前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新する、
ように構成される、請求項14に記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
前記右特異ベクトルのうち、右特異値が最大となる第1右特異ベクトル、及び、前記左特異ベクトルのうち、左特異値が最大となる第1左特異ベクトルを用いてそれぞれのベクトルを更新して、
前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新する、
ように構成される、請求項15に記載の訓練装置。 - 前記少なくとも1つのプロセッサはさらに、
前記第1右特異ベクトル及び前記第1左特異ベクトルを、べき乗法を用いて算出すること、
ように構成される、請求項16に記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
更新された前記左特異ベクトル及び更新された前記右特異ベクトルに基づいて、スペクトル正規化を行い、
前記重み行列を正規化する、
ように構成される、請求項14乃至請求項17のいずれかに記載の訓練装置。 - 前記少なくとも1つのプロセッサは、
確率的勾配降下法を用いて前記重み行列を更新して、
前記重み行列を更新する、
ように構成される、請求項11乃至請求項18のいずれかに記載の訓練装置。 - メモリと、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
ニューラルネットワークモデルの重み行列に基づいて、評価関数の値を算出することと、
前記評価関数の値に基づいて、前記重み行列を更新することと、
を実行するように構成され、さらに、
前記少なくとも1つのプロセッサは、前記重み行列に基づく特異値に基づいて、前記重み行列を正規化する、
訓練装置。 - コンピュータに、
正解データと、擬データと、を識別するニューラルネットワークモデルを訓練する手段、として機能させるプログラムであって、
少なくとも1つのプロセッサによって、前記正解データ及び前記擬データを前記ニューラルネットワークモデルに入力して得られた予測結果に基づいて、誤差を算出する手段、
前記少なくとも1つのプロセッサによって、前記誤差と、前記ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて、前記重み行列を更新する手段、
として機能させるプログラム。 - 前記誤差を算出する手段は、
前記ニューラルネットワークモデルに前記正解データを入力し、第1予測結果を取得する手段、
前記ニューラルネットワークモデルに前記擬データを入力し、第2予測結果を取得する手段、
取得された前記第1予測結果及び取得された前記第2予測結果に基づいて、前記誤差を算出手段、
を備える、請求項21に記載のプログラム。 - 前記第1予測結果は、前記正解データが真である期待値に基づき、
前記第2予測結果は、前記擬データが偽である期待値に基づき、
前記誤差を算出する手段は、真値と前記第1予測結果との第1部分誤差、及び、偽値と前記第2予測結果との第2部分誤差、に基づいて、前記誤差を算出する手段、
を備える、請求項22に記載のプログラム。 - 前記重み行列を更新する手段は、
前記重み行列の左特異ベクトル及び右特異ベクトルのそれぞれを更新する手段、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化する手段、
正規化された前記重み行列を前記誤差に基づいて更新する手段、
を備える、請求項21乃至23のいずれかに記載のプログラム。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新する手段は、
前記重み行列及び前記左特異ベクトルに基づいて、前記右特異ベクトルを更新する手段、
前記重み行列及び更新された前記右特異ベクトルに基づいて、前記左特異ベクトルを更新する手段、
を備える、請求項24に記載のプログラム。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルのそれぞれを更新する手段は、
前記右特異ベクトルのうち、右特異値が最大となる第1右特異ベクトル、及び、前記左特異ベクトルのうち、左特異値が最大となる第1左特異ベクトルを用いてそれぞれのベクトルを更新する手段である、
請求項25に記載のプログラム。 - コンピュータに、
前記第1右特異ベクトル及び前記第1左特異ベクトルを、べき乗法を用いて算出する手段、
としてさらに機能させる、請求項26に記載のプログラム。 - 前記重み行列を正規化する手段は、更新された前記左特異ベクトル及び更新された前記右特異ベクトルに基づいて、スペクトル正規化を行う手段、
を備える、請求項24乃至請求項27のいずれかに記載のプログラム。 - 前記重み行列を更新する手段は、確率的勾配降下法を用いて前記重み行列を更新する手段である、
請求項21乃至請求項28のいずれかに記載のプログラム。 - コンピュータに、
ニューラルネットワークモデルの重み行列に基づいて、評価関数の値を算出する手段、
前記評価関数の値に基づいて、前記重み行列を更新する手段、として機能させ、さらに、
前記重み行列に基づく特異値に基づいて、前記重み行列を正規化する手段、
として機能させる、プログラム。 - 少なくとも1つのプロセッサにより実行させると、
正解データと、擬データと、を識別するニューラルネットワークモデルを訓練する、方法であって、
前記正解データ及び前記擬データを前記ニューラルネットワークモデルに入力して得られた予測結果に基づいて、誤差を算出することと、
前記誤差と、前記ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて、前記重み行列を更新することと、
を備える方法、
を実行するプログラムを格納した非一時的コンピュータ可読媒体。 - 少なくとも1つのプロセッサにより実行させると、
ニューラルネットワークモデルの重み行列に基づいて、評価関数の値を算出することと、
前記評価関数の値に基づいて、前記重み行列を更新することと、を備える方法であって、
前記重み行列に基づく特異値に基づいて、前記重み行列を正規化すること、
を更に備える、方法、
を実行するプログラムを格納した非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017127769 | 2017-06-29 | ||
JP2017127769 | 2017-06-29 | ||
PCT/JP2018/024569 WO2019004350A1 (ja) | 2017-06-29 | 2018-06-28 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019168670A Division JP6625785B1 (ja) | 2017-06-29 | 2019-09-17 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6595151B2 true JP6595151B2 (ja) | 2019-10-23 |
JPWO2019004350A1 JPWO2019004350A1 (ja) | 2019-11-07 |
Family
ID=64742063
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527020A Active JP6595151B2 (ja) | 2017-06-29 | 2018-06-28 | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
JP2019168670A Active JP6625785B1 (ja) | 2017-06-29 | 2019-09-17 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2019203198A Active JP7064479B2 (ja) | 2017-06-29 | 2019-11-08 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2022070856A Active JP7315748B2 (ja) | 2017-06-29 | 2022-04-22 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019168670A Active JP6625785B1 (ja) | 2017-06-29 | 2019-09-17 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2019203198A Active JP7064479B2 (ja) | 2017-06-29 | 2019-11-08 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2022070856A Active JP7315748B2 (ja) | 2017-06-29 | 2022-04-22 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11593663B2 (ja) |
EP (1) | EP3648017A4 (ja) |
JP (4) | JP6595151B2 (ja) |
CN (1) | CN110799995A (ja) |
WO (1) | WO2019004350A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6595151B2 (ja) * | 2017-06-29 | 2019-10-23 | 株式会社Preferred Networks | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
JP7023669B2 (ja) | 2017-10-26 | 2022-02-22 | 株式会社Preferred Networks | 画像生成方法、画像生成装置、及び画像生成プログラム |
US11556799B2 (en) * | 2018-01-02 | 2023-01-17 | Nokia Technologies Oy | Channel modelling in a data transmission system |
US11797864B2 (en) * | 2018-06-18 | 2023-10-24 | Fotonation Limited | Systems and methods for conditional generative models |
US20200143266A1 (en) * | 2018-11-07 | 2020-05-07 | International Business Machines Corporation | Adversarial balancing for causal inference |
JP7198432B2 (ja) * | 2019-01-30 | 2023-01-04 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像読取装置、画像形成装置、画像処理方法及び画像処理プログラム |
JP7370158B2 (ja) * | 2019-04-03 | 2023-10-27 | 株式会社Preferred Networks | 情報処理装置および情報処理方法 |
JP2020196102A (ja) * | 2019-06-04 | 2020-12-10 | 株式会社Preferred Networks | 制御装置、システム、学習装置および制御方法 |
CN110365647B (zh) * | 2019-06-13 | 2021-09-14 | 广东工业大学 | 一种基于pca和bp神经网络的虚假数据注入攻击检测方法 |
EP3963872B1 (en) * | 2019-08-30 | 2024-01-17 | Samsung Electronics Co., Ltd. | Electronic apparatus for applying personalized artificial intelligence model to another model |
KR20210084123A (ko) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111461340B (zh) * | 2020-03-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 权重矩阵的更新方法、装置及电子设备 |
CN111553587B (zh) * | 2020-04-26 | 2023-04-18 | 中国电力科学研究院有限公司 | 一种基于对抗学习模型的新能源场景生成方法及系统 |
CN111639861B (zh) * | 2020-06-01 | 2023-06-23 | 上海大学 | 一种基于神经网络的绩效考核方法及系统 |
CN117296050A (zh) * | 2021-05-25 | 2023-12-26 | 维萨国际服务协会 | 用于使交叉嵌入对齐的嵌入归一化的方法、系统和计算机程序产品 |
JP7487144B2 (ja) * | 2021-06-09 | 2024-05-20 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
CN113438190B (zh) * | 2021-06-22 | 2022-09-02 | 电子科技大学 | 神经网络训练方法及装置、mimo均衡器与方法、可读介质 |
CN113806338B (zh) * | 2021-11-18 | 2022-02-18 | 深圳索信达数据技术有限公司 | 一种基于数据样本图像化的数据甄别的方法与系统 |
CN116302294B (zh) * | 2023-05-18 | 2023-09-01 | 安元科技股份有限公司 | 一种界面化自动识别组件属性的方法及系统 |
CN118129088A (zh) * | 2024-03-13 | 2024-06-04 | 新疆维吾尔自治区特种设备检验研究院 | 一种基于人工智能的压力管道电磁超声检测方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993010500A1 (en) * | 1991-11-13 | 1993-05-27 | Iowa State University Research Foundation, Inc. | Improved memory capacity neural network |
US5479523A (en) * | 1994-03-16 | 1995-12-26 | Eastman Kodak Company | Constructing classification weights matrices for pattern recognition systems using reduced element feature subsets |
US6987819B2 (en) * | 2000-12-29 | 2006-01-17 | Motorola, Inc. | Method and device for multiple input/multiple output transmit and receive weights for equal-rate data streams |
JP4604545B2 (ja) * | 2004-05-10 | 2011-01-05 | ソニー株式会社 | 無線通信システム、無線通信装置及び無線通信方法ム |
JP5248130B2 (ja) * | 2008-01-31 | 2013-07-31 | 株式会社東芝 | 無線送信方法及び装置 |
JP5221285B2 (ja) * | 2008-11-05 | 2013-06-26 | 株式会社東芝 | 無線通信装置及び方法 |
WO2010150313A1 (ja) * | 2009-06-25 | 2010-12-29 | 株式会社 東芝 | 通信装置 |
US9189703B2 (en) * | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Systems and methods for colorimetric and spectral material estimation |
US9400955B2 (en) * | 2013-12-13 | 2016-07-26 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
US10515304B2 (en) * | 2015-04-28 | 2019-12-24 | Qualcomm Incorporated | Filter specificity as training criterion for neural networks |
WO2017031088A1 (en) * | 2015-08-15 | 2017-02-23 | Salesforce.Com, Inc | Three-dimensional (3d) convolution with 3d batch normalization |
US10521718B1 (en) * | 2015-09-28 | 2019-12-31 | Google Llc | Adversarial training of neural networks |
EP3360087B8 (en) * | 2015-11-12 | 2024-07-17 | DeepMind Technologies Limited | Training neural networks using normalized target outputs |
US10831577B2 (en) * | 2015-12-01 | 2020-11-10 | Preferred Networks, Inc. | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model |
US10776712B2 (en) * | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
WO2018034681A1 (en) * | 2016-08-13 | 2018-02-22 | Intel Corporation | Apparatuses, methods, and systems for access synchronization in a shared memory |
CN107785016A (zh) * | 2016-08-31 | 2018-03-09 | 株式会社东芝 | 训练神经网络辅助模型的方法和装置及语音识别方法和装置 |
US11164076B2 (en) * | 2016-10-20 | 2021-11-02 | Uber Technologies, Inc. | Intelligent regularization of neural network architectures |
US10685285B2 (en) * | 2016-11-23 | 2020-06-16 | Microsoft Technology Licensing, Llc | Mirror deep neural networks that regularize to linear networks |
US10685284B2 (en) * | 2017-04-03 | 2020-06-16 | Royal Bank Of Canada | Systems and methods for malicious code detection |
JP6595151B2 (ja) * | 2017-06-29 | 2019-10-23 | 株式会社Preferred Networks | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
US20200272906A1 (en) * | 2017-11-07 | 2020-08-27 | Nec Corporation | Discriminant model generation device, discriminant model generation method, and discriminant model generation program |
US10803347B2 (en) * | 2017-12-01 | 2020-10-13 | The University Of Chicago | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture |
US10846593B2 (en) * | 2018-04-27 | 2020-11-24 | Qualcomm Technologies Inc. | System and method for siamese instance search tracker with a recurrent neural network |
US11170256B2 (en) * | 2018-09-26 | 2021-11-09 | Nec Corporation | Multi-scale text filter conditioned generative adversarial networks |
US10997464B2 (en) * | 2018-11-09 | 2021-05-04 | Adobe Inc. | Digital image layout training using wireframe rendering within a generative adversarial network (GAN) system |
JPWO2020179200A1 (ja) * | 2019-03-04 | 2020-09-10 | ||
WO2020190112A1 (en) * | 2019-03-21 | 2020-09-24 | Samsung Electronics Co., Ltd. | Method, apparatus, device and medium for generating captioning information of multimedia data |
US11164085B2 (en) * | 2019-04-25 | 2021-11-02 | Booz Allen Hamilton Inc. | System and method for training a neural network system |
WO2020234449A1 (en) * | 2019-05-23 | 2020-11-26 | Deepmind Technologies Limited | Generative adversarial networks with temporal and spatial discriminators for efficient video generation |
JP7114528B2 (ja) * | 2019-07-08 | 2022-08-08 | 株式会社東芝 | 推論装置、学習装置、推論方法及び学習方法 |
EP3963872B1 (en) * | 2019-08-30 | 2024-01-17 | Samsung Electronics Co., Ltd. | Electronic apparatus for applying personalized artificial intelligence model to another model |
JP7021158B2 (ja) * | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP7051772B2 (ja) * | 2019-09-12 | 2022-04-11 | 株式会社東芝 | 提供装置、提供方法及びプログラム |
CN110827216B (zh) * | 2019-10-23 | 2023-07-14 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
EP3971773A4 (en) * | 2020-03-11 | 2022-07-20 | Shenzhen Institutes of Advanced Technology | METHOD AND VISUALIZATION DEVICE FOR ASSESSING BRAIN ADDICTION CHARACTERISTICS, AND MEDIUM |
US11436498B2 (en) * | 2020-06-09 | 2022-09-06 | Toyota Research Institute, Inc. | Neural architecture search system for generating a neural network architecture |
DE102021201833A1 (de) * | 2021-02-26 | 2022-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren |
CN115049917B (zh) * | 2022-08-17 | 2022-11-15 | 上海与光彩芯科技有限公司 | 神经网络的训练方法、物体检测方法和智能终端设备 |
-
2018
- 2018-06-28 JP JP2019527020A patent/JP6595151B2/ja active Active
- 2018-06-28 EP EP18824804.1A patent/EP3648017A4/en active Pending
- 2018-06-28 WO PCT/JP2018/024569 patent/WO2019004350A1/ja unknown
- 2018-06-28 CN CN201880043309.5A patent/CN110799995A/zh active Pending
-
2019
- 2019-09-17 JP JP2019168670A patent/JP6625785B1/ja active Active
- 2019-11-08 JP JP2019203198A patent/JP7064479B2/ja active Active
- 2019-12-23 US US16/726,153 patent/US11593663B2/en active Active
-
2022
- 2022-04-22 JP JP2022070856A patent/JP7315748B2/ja active Active
-
2023
- 2023-01-25 US US18/101,242 patent/US11842284B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110799995A (zh) | 2020-02-14 |
EP3648017A4 (en) | 2021-08-04 |
US20230162045A1 (en) | 2023-05-25 |
US11593663B2 (en) | 2023-02-28 |
EP3648017A1 (en) | 2020-05-06 |
WO2019004350A1 (ja) | 2019-01-03 |
US20200134473A1 (en) | 2020-04-30 |
JP7315748B2 (ja) | 2023-07-26 |
JPWO2019004350A1 (ja) | 2019-11-07 |
JP7064479B2 (ja) | 2022-05-10 |
US11842284B2 (en) | 2023-12-12 |
JP2022101650A (ja) | 2022-07-06 |
JP6625785B1 (ja) | 2019-12-25 |
JP2020038704A (ja) | 2020-03-12 |
JP2020021496A (ja) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6595151B2 (ja) | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 | |
US11537895B2 (en) | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks | |
JP6483667B2 (ja) | ベイズの最適化を実施するためのシステムおよび方法 | |
US20210019630A1 (en) | Loss-error-aware quantization of a low-bit neural network | |
US10818080B2 (en) | Piecewise-polynomial coupling layers for warp-predicting neural networks | |
JP2020061173A (ja) | 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム | |
US20200372325A1 (en) | Neural network reduction device, neural network reduction method, and storage medium | |
CN112348119B (zh) | 基于胶囊网络的图像分类方法、存储介质及电子设备 | |
CN111695590B (zh) | 约束优化类激活映射的深度神经网络特征可视化方法 | |
US20220300823A1 (en) | Methods and systems for cross-domain few-shot classification | |
US20210073633A1 (en) | Neural network rank optimization device and optimization method | |
US11615292B2 (en) | Projecting images to a generative model based on gradient-free latent vector determination | |
US20200151570A1 (en) | Training System for Artificial Neural Networks Having a Global Weight Constrainer | |
JP2020204909A (ja) | 機械学習装置 | |
Tessari et al. | Reinforcement learning based adaptive metaheuristics | |
US20230206054A1 (en) | Expedited Assessment and Ranking of Model Quality in Machine Learning | |
KR20190129422A (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
JP7047665B2 (ja) | 学習装置、学習方法及び学習プログラム | |
CN112348118A (zh) | 基于梯度维持的图像分类方法、存储介质及电子设备 | |
US20210133626A1 (en) | Apparatus and method for optimizing quantized machine-learning algorithm | |
Bosse | An Introduction to Deep Learning and the Concept of Regularization | |
KR102580159B1 (ko) | 자기수렴 생성망 학습 방법 및 시스템 | |
US20240037411A1 (en) | Learning method of model and computer-readable recoding medium for storing program for performing the learning method | |
Andersson et al. | Can You Trust Your Deep Neural Network? | |
JP2023124376A (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190716 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190716 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6595151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |