JP6625785B1 - データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 - Google Patents
データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 Download PDFInfo
- Publication number
- JP6625785B1 JP6625785B1 JP2019168670A JP2019168670A JP6625785B1 JP 6625785 B1 JP6625785 B1 JP 6625785B1 JP 2019168670 A JP2019168670 A JP 2019168670A JP 2019168670 A JP2019168670 A JP 2019168670A JP 6625785 B1 JP6625785 B1 JP 6625785B1
- Authority
- JP
- Japan
- Prior art keywords
- weight matrix
- updating
- prediction result
- data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 title abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 131
- 238000003062 neural network model Methods 0.000 claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 32
- 238000010606 normalization Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 abstract description 8
- 230000000052 comparative effect Effects 0.000 description 74
- 238000012545 processing Methods 0.000 description 22
- 238000009826 distribution Methods 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 17
- 238000002474 experimental method Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、本実施形態の基礎となる敵対的生成ネットワーク(以下、GANと記載する。)について簡単に説明する。GANは、ジェネレータと、ディスクリミネータと、を備え、ジェネレータと、ディスクリミネータを並行して学習する生成モデルの訓練方法の一種である。
例えば、活性化関数alをReLU(Rectified Linear Unit)、leakyReLUとすると、||al||Lip=1となる。活性化関数alのそれぞれが、||al||Lip=1を満たす場合、不等式||g1*g2||Lip≦||g1||Lip・||g2||Lipであるので、||f||Lipを以下のように上から押さえることができる。ただし、上記の式においては、g1*g2は、g1とg2との合成関数であることを意味する。
前述の実施形態においては、GANの手法にスペクトル正規化を適用する例について述べたが、これには限られない。すなわち、WGAN−GP(比較例2)の手法において、スペクトル正規化を適用してもよい。以下、比較例2にSNを適用したものを、比較例2+SN等と表す。この場合、誤差関数は、以下の式を用いる。
Claims (32)
- 少なくとも1つのプロセッサによって、
少なくとも、
第1データと、第2ニューラルネットワークモデルを用いて生成された第2データと、を識別する第1ニューラルネットワークモデルに前記第1データを入力して得られた第1予測結果と、
前記第2データを前記第1ニューラルネットワークモデルに入力して得られた第2予測結果と、
前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、
に基づいて、前記第1ニューラルネットワークモデルの重み行列を更新することと、
少なくとも、前記第2予測結果に基づいて、前記第2ニューラルネットワークモデルのパラメータを更新することと、
を備えるモデル生成方法。 - 前記第1ニューラルネットワークモデルのパラメータは、少なくとも、前記第1予測結果に基づいて算出された評価値と、前記第2予測結果に基づいて算出された評価値と、前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて更新され、
前記第2ニューラルネットワークモデルのパラメータは、少なくとも、前記第2予測結果に基づいて算出された評価値に基づいて更新される、
請求項1記載のモデル生成方法。 - 前記第1予測結果は、前記第1データが真である期待値に基づき、
前記第2予測結果は、前記第2データが偽である期待値に基づき、
前記第1予測結果に基づいて算出された評価値は、真値と前記第1予測結果との第1部分誤差に基づき、
前記第2予測結果に基づいて算出された評価値は、偽値と前記第2予測結果との第2部分誤差に基づく、
請求項1又は請求項2に記載のモデル生成方法。 - 前記重み行列を更新することは、
前記重み行列の特異値に基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項1乃至請求項3のいずれかに記載のモデル生成方法。 - 前記重み行列を更新することは、
前記重み行列の左特異ベクトル及び右特異ベクトルを更新することと、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項1乃至請求項3のいずれかに記載のモデル生成方法。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルを更新することは、
前記重み行列及び前記左特異ベクトルに基づいて、前記右特異ベクトルを更新することと、
前記重み行列及び更新された前記右特異ベクトルに基づいて、前記左特異ベクトルを更新することと、
を備える、請求項5に記載のモデル生成方法。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルを更新することは、
前記右特異ベクトルのうち、右特異値が最大となる第1右特異ベクトル、及び、前記左特異ベクトルのうち、左特異値が最大となる第1左特異ベクトルを用いてそれぞれのベクトルを更新すること、
を備える、請求項6に記載のモデル生成方法。 - 前記第1右特異ベクトル及び前記第1左特異ベクトルを、べき乗法を用いて算出すること、
をさらに備える、請求項7に記載のモデル生成方法。 - 前記重み行列を正規化することは、
更新された前記左特異ベクトル及び更新された前記右特異ベクトルに基づいて、スペクトル正規化を行うこと、
を備える、請求項5乃至請求項8のいずれかに記載のモデル生成方法。 - 前記重み行列を更新することは、
確率的勾配降下法を用いて前記重み行列を更新することを備える、
請求項1乃至請求項9のいずれかに記載のモデル生成方法。 - 前記第1ニューラルネットワークモデル及び前記第2ニューラルネットワークモデルは、CNN(Convolutional Neural Network)である、
請求項1乃至請求項10のいずれかに記載のモデル生成方法。 - 前記第1データ及び前記第2データは、画像データである、
請求項1乃至請求項11のいずれかに記載のモデル生成方法。 - 少なくとも1つのメモリと、
少なくとも1つプロセッサを備え、
前記少なくとも1つのプロセッサは、
少なくとも、
第1データと、第2ニューラルネットワークモデルを用いて生成された第2データと、を識別する第1ニューラルネットワークモデルに前記第1データを入力して得られた第1予測結果と、
前記第2データを前記第1ニューラルネットワークモデルに入力して得られた第2予測結果と、
前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、
に基づいて、前記第1ニューラルネットワークモデルの重み行列を更新することと、
少なくとも、前記第2予測結果に基づいて、前記第2ニューラルネットワークモデルのパラメータを更新することと、
を実行するよう構成されるモデル生成装置。 - 前記第1ニューラルネットワークモデルのパラメータは、少なくとも、前記第1予測結果に基づいて算出された評価値と、前記第2予測結果に基づいて算出された評価値と、前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、に基づいて更新され、
前記第2ニューラルネットワークモデルのパラメータは、少なくとも、前記第2予測結果に基づいて算出された評価値に基づいて更新される、
請求項13記載のモデル生成装置。 - 前記第1予測結果は、前記第1データが真である期待値に基づき、
前記第2予測結果は、前記第2データが偽である期待値に基づき、
前記第1予測結果に基づいて算出された評価値は、真値と前記第1予測結果との第1部分誤差に基づき、
前記第2予測結果に基づいて算出された評価値は、偽値と前記第2予測結果との第2部分誤差に基づく、
請求項13又は請求項14に記載のモデル生成装置。 - 前記重み行列を更新することは、
前記重み行列の特異値に基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項13乃至請求項15のいずれかに記載のモデル生成装置。 - 前記重み行列を更新することは、
前記重み行列の左特異ベクトル及び右特異ベクトルを更新することと、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項13乃至請求項15のいずれかに記載のモデル生成装置。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルを更新することは、
前記重み行列及び前記左特異ベクトルに基づいて、前記右特異ベクトルを更新することと、
前記重み行列及び更新された前記右特異ベクトルに基づいて、前記左特異ベクトルを更新することと、
を備える、請求項17に記載のモデル生成装置。 - 前記重み行列の前記左特異ベクトル及び前記右特異ベクトルを更新することは、
前記右特異ベクトルのうち、右特異値が最大となる第1右特異ベクトル、及び、前記左特異ベクトルのうち、左特異値が最大となる第1左特異ベクトルを用いてそれぞれのベクトルを更新すること、
を備える、請求項18に記載のモデル生成装置。 - 前記第1右特異ベクトル及び前記第1左特異ベクトルを、べき乗法を用いて算出すること、
をさらに備える、請求項19に記載のモデル生成装置。 - 前記重み行列を正規化することは、
更新された前記左特異ベクトル及び更新された前記右特異ベクトルに基づいて、スペクトル正規化を行うこと、
を備える、請求項17乃至請求項20のいずれかに記載のモデル生成装置。 - 前記重み行列を更新することは、
確率的勾配降下法を用いて前記重み行列を更新すること、
を備える、請求項13乃至請求項21のいずれかに記載のモデル生成装置。 - 前記第1ニューラルネットワークモデル及び前記第2ニューラルネットワークモデルは、CNN(Convolutional Neural Network)である、
請求項13乃至請求項22のいずれかに記載のモデル生成装置。 - 前記第1データ及び前記第2データは、画像データである、
請求項13乃至請求項23のいずれかに記載のモデル生成装置。 - 少なくとも1つのプロセッサを、
少なくとも、
第1データと、第2ニューラルネットワークモデルを用いて生成された第2データと、を識別する第1ニューラルネットワークモデルに前記第1データを入力して得られた第1予測結果と、
前記第2データを前記第1ニューラルネットワークモデルに入力して得られた第2予測結果と、
前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、
に基づいて、前記第1ニューラルネットワークモデルの重み行列を更新する手段、
少なくとも、前記第2予測結果に基づいて、前記第2ニューラルネットワークモデルのパラメータを更新する手段、
として機能させるプログラム。 - 前記重み行列を更新する手段は、
前記重み行列の語句位置に基づいて、前記重み行列を正規化する手段、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新する手段、
を備える、請求項25に記載のプログラム。 - 前記重み行列を更新する手段は、
前記重み行列の左特異ベクトル及び右特異ベクトルを更新する手段、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化する手段、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新する手段、
を備える、請求項25に記載のプログラム。 - 前記重み行列を更新する手段は、
確率的勾配降下法を用いて前記重み行列を更新する手段、
を備える、請求項25から請求項27のいずれかに記載のプログラム。 - 少なくとも1つのプロセッサにより実行させると、
少なくとも、
第1データと、第2ニューラルネットワークモデルを用いて生成された第2データと、を識別する第1ニューラルネットワークモデルに前記第1データを入力して得られた第1予測結果と、
前記第2データを前記第1ニューラルネットワークモデルに入力して得られた第2予測結果と、
前記第1ニューラルネットワークモデルの重み行列に基づく特異値と、
に基づいて、前記第1ニューラルネットワークモデルの重み行列を更新することと、
少なくとも、前記第2予測結果に基づいて、前記第2ニューラルネットワークモデルのパラメータを更新することと、
を備える方法を実行させるプログラムを格納した非一時的コンピュータ可読媒体。 - 前記重み行列を更新することは、
前記重み行列の語句位置に基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項29に記載の非一時的コンピュータ可読媒体。 - 前記重み行列を更新することは、
前記重み行列の左特異ベクトル及び右特異ベクトルを更新することと、
前記左特異ベクトル及び前記右特異ベクトルに基づいて、前記重み行列を正規化することと、
正規化された前記重み行列を、前記第1予測結果及び前記第2予測結果に基づいて更新することと、
を備える、請求項30に記載の非一時的コンピュータ可読媒体。 - 前記重み行列を更新することは、
確率的勾配降下法を用いて前記重み行列を更新すること、
を備える、請求項29から請求項31のいずれかに記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017127769 | 2017-06-29 | ||
JP2017127769 | 2017-06-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527020A Division JP6595151B2 (ja) | 2017-06-29 | 2018-06-28 | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019203198A Division JP7064479B2 (ja) | 2017-06-29 | 2019-11-08 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6625785B1 true JP6625785B1 (ja) | 2019-12-25 |
JP2020021496A JP2020021496A (ja) | 2020-02-06 |
Family
ID=64742063
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527020A Active JP6595151B2 (ja) | 2017-06-29 | 2018-06-28 | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
JP2019168670A Active JP6625785B1 (ja) | 2017-06-29 | 2019-09-17 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2019203198A Active JP7064479B2 (ja) | 2017-06-29 | 2019-11-08 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2022070856A Active JP7315748B2 (ja) | 2017-06-29 | 2022-04-22 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527020A Active JP6595151B2 (ja) | 2017-06-29 | 2018-06-28 | 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019203198A Active JP7064479B2 (ja) | 2017-06-29 | 2019-11-08 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
JP2022070856A Active JP7315748B2 (ja) | 2017-06-29 | 2022-04-22 | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11593663B2 (ja) |
EP (1) | EP3648017A4 (ja) |
JP (4) | JP6595151B2 (ja) |
CN (1) | CN110799995A (ja) |
WO (1) | WO2019004350A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110799995A (zh) | 2017-06-29 | 2020-02-14 | 首选网络株式会社 | 数据识别器训练方法、数据识别器训练装置、程序及训练方法 |
JP7023669B2 (ja) | 2017-10-26 | 2022-02-22 | 株式会社Preferred Networks | 画像生成方法、画像生成装置、及び画像生成プログラム |
US11556799B2 (en) * | 2018-01-02 | 2023-01-17 | Nokia Technologies Oy | Channel modelling in a data transmission system |
US11797864B2 (en) * | 2018-06-18 | 2023-10-24 | Fotonation Limited | Systems and methods for conditional generative models |
US20200143266A1 (en) * | 2018-11-07 | 2020-05-07 | International Business Machines Corporation | Adversarial balancing for causal inference |
JP7198432B2 (ja) * | 2019-01-30 | 2023-01-04 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像読取装置、画像形成装置、画像処理方法及び画像処理プログラム |
JP7370158B2 (ja) * | 2019-04-03 | 2023-10-27 | 株式会社Preferred Networks | 情報処理装置および情報処理方法 |
JP2020196102A (ja) * | 2019-06-04 | 2020-12-10 | 株式会社Preferred Networks | 制御装置、システム、学習装置および制御方法 |
CN110365647B (zh) * | 2019-06-13 | 2021-09-14 | 广东工业大学 | 一种基于pca和bp神经网络的虚假数据注入攻击检测方法 |
EP3963872B1 (en) * | 2019-08-30 | 2024-01-17 | Samsung Electronics Co., Ltd. | Electronic apparatus for applying personalized artificial intelligence model to another model |
KR20210084123A (ko) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111461340B (zh) * | 2020-03-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 权重矩阵的更新方法、装置及电子设备 |
CN111553587B (zh) * | 2020-04-26 | 2023-04-18 | 中国电力科学研究院有限公司 | 一种基于对抗学习模型的新能源场景生成方法及系统 |
CN111639861B (zh) * | 2020-06-01 | 2023-06-23 | 上海大学 | 一种基于神经网络的绩效考核方法及系统 |
TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
CN117296050A (zh) * | 2021-05-25 | 2023-12-26 | 维萨国际服务协会 | 用于使交叉嵌入对齐的嵌入归一化的方法、系统和计算机程序产品 |
JP7487144B2 (ja) * | 2021-06-09 | 2024-05-20 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
CN113438190B (zh) * | 2021-06-22 | 2022-09-02 | 电子科技大学 | 神经网络训练方法及装置、mimo均衡器与方法、可读介质 |
CN113806338B (zh) * | 2021-11-18 | 2022-02-18 | 深圳索信达数据技术有限公司 | 一种基于数据样本图像化的数据甄别的方法与系统 |
CN116302294B (zh) * | 2023-05-18 | 2023-09-01 | 安元科技股份有限公司 | 一种界面化自动识别组件属性的方法及系统 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993010500A1 (en) * | 1991-11-13 | 1993-05-27 | Iowa State University Research Foundation, Inc. | Improved memory capacity neural network |
US5479523A (en) * | 1994-03-16 | 1995-12-26 | Eastman Kodak Company | Constructing classification weights matrices for pattern recognition systems using reduced element feature subsets |
US6987819B2 (en) * | 2000-12-29 | 2006-01-17 | Motorola, Inc. | Method and device for multiple input/multiple output transmit and receive weights for equal-rate data streams |
JP4604545B2 (ja) * | 2004-05-10 | 2011-01-05 | ソニー株式会社 | 無線通信システム、無線通信装置及び無線通信方法ム |
JP5248130B2 (ja) * | 2008-01-31 | 2013-07-31 | 株式会社東芝 | 無線送信方法及び装置 |
JP5221285B2 (ja) * | 2008-11-05 | 2013-06-26 | 株式会社東芝 | 無線通信装置及び方法 |
WO2010150313A1 (ja) * | 2009-06-25 | 2010-12-29 | 株式会社 東芝 | 通信装置 |
US9189703B2 (en) * | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Systems and methods for colorimetric and spectral material estimation |
US9400955B2 (en) * | 2013-12-13 | 2016-07-26 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
US10515304B2 (en) * | 2015-04-28 | 2019-12-24 | Qualcomm Incorporated | Filter specificity as training criterion for neural networks |
CN108140141B (zh) * | 2015-08-15 | 2019-09-06 | 易享信息技术有限公司 | 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统 |
US10521718B1 (en) * | 2015-09-28 | 2019-12-31 | Google Llc | Adversarial training of neural networks |
US11062206B2 (en) * | 2015-11-12 | 2021-07-13 | Deepmind Technologies Limited | Training neural networks using normalized target outputs |
WO2017094267A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社Preferred Networks | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 |
US10776712B2 (en) * | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
EP3497624A1 (en) * | 2016-08-13 | 2019-06-19 | Intel Corporation | Apparatuses, methods, and systems for neural networks |
CN107785016A (zh) * | 2016-08-31 | 2018-03-09 | 株式会社东芝 | 训练神经网络辅助模型的方法和装置及语音识别方法和装置 |
US11164076B2 (en) * | 2016-10-20 | 2021-11-02 | Uber Technologies, Inc. | Intelligent regularization of neural network architectures |
US10685285B2 (en) * | 2016-11-23 | 2020-06-16 | Microsoft Technology Licensing, Llc | Mirror deep neural networks that regularize to linear networks |
US10685284B2 (en) * | 2017-04-03 | 2020-06-16 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN110799995A (zh) * | 2017-06-29 | 2020-02-14 | 首选网络株式会社 | 数据识别器训练方法、数据识别器训练装置、程序及训练方法 |
US20200272906A1 (en) * | 2017-11-07 | 2020-08-27 | Nec Corporation | Discriminant model generation device, discriminant model generation method, and discriminant model generation program |
US10803347B2 (en) * | 2017-12-01 | 2020-10-13 | The University Of Chicago | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture |
US10846593B2 (en) * | 2018-04-27 | 2020-11-24 | Qualcomm Technologies Inc. | System and method for siamese instance search tracker with a recurrent neural network |
US11170256B2 (en) * | 2018-09-26 | 2021-11-09 | Nec Corporation | Multi-scale text filter conditioned generative adversarial networks |
US10997464B2 (en) * | 2018-11-09 | 2021-05-04 | Adobe Inc. | Digital image layout training using wireframe rendering within a generative adversarial network (GAN) system |
WO2020179200A1 (ja) * | 2019-03-04 | 2020-09-10 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
US20220014807A1 (en) * | 2019-03-21 | 2022-01-13 | Samsung Electronics Co., Ltd. | Method, apparatus, device and medium for generating captioning information of multimedia data |
US11164085B2 (en) * | 2019-04-25 | 2021-11-02 | Booz Allen Hamilton Inc. | System and method for training a neural network system |
EP3973459A1 (en) * | 2019-05-23 | 2022-03-30 | DeepMind Technologies Limited | Generative adversarial networks with temporal and spatial discriminators for efficient video generation |
JP7114528B2 (ja) * | 2019-07-08 | 2022-08-08 | 株式会社東芝 | 推論装置、学習装置、推論方法及び学習方法 |
EP3963872B1 (en) * | 2019-08-30 | 2024-01-17 | Samsung Electronics Co., Ltd. | Electronic apparatus for applying personalized artificial intelligence model to another model |
JP7021158B2 (ja) * | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP7051772B2 (ja) * | 2019-09-12 | 2022-04-11 | 株式会社東芝 | 提供装置、提供方法及びプログラム |
CN110827216B (zh) * | 2019-10-23 | 2023-07-14 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
EP3971773A4 (en) * | 2020-03-11 | 2022-07-20 | Shenzhen Institutes of Advanced Technology | METHOD AND VISUALIZATION DEVICE FOR ASSESSING BRAIN ADDICTION CHARACTERISTICS, AND MEDIUM |
US11436498B2 (en) * | 2020-06-09 | 2022-09-06 | Toyota Research Institute, Inc. | Neural architecture search system for generating a neural network architecture |
DE102021201833A1 (de) * | 2021-02-26 | 2022-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren |
CN115049917B (zh) * | 2022-08-17 | 2022-11-15 | 上海与光彩芯科技有限公司 | 神经网络的训练方法、物体检测方法和智能终端设备 |
-
2018
- 2018-06-28 CN CN201880043309.5A patent/CN110799995A/zh active Pending
- 2018-06-28 WO PCT/JP2018/024569 patent/WO2019004350A1/ja unknown
- 2018-06-28 JP JP2019527020A patent/JP6595151B2/ja active Active
- 2018-06-28 EP EP18824804.1A patent/EP3648017A4/en active Pending
-
2019
- 2019-09-17 JP JP2019168670A patent/JP6625785B1/ja active Active
- 2019-11-08 JP JP2019203198A patent/JP7064479B2/ja active Active
- 2019-12-23 US US16/726,153 patent/US11593663B2/en active Active
-
2022
- 2022-04-22 JP JP2022070856A patent/JP7315748B2/ja active Active
-
2023
- 2023-01-25 US US18/101,242 patent/US11842284B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7064479B2 (ja) | 2022-05-10 |
JP2020021496A (ja) | 2020-02-06 |
CN110799995A (zh) | 2020-02-14 |
US11842284B2 (en) | 2023-12-12 |
WO2019004350A1 (ja) | 2019-01-03 |
JPWO2019004350A1 (ja) | 2019-11-07 |
JP2020038704A (ja) | 2020-03-12 |
JP7315748B2 (ja) | 2023-07-26 |
US20200134473A1 (en) | 2020-04-30 |
EP3648017A1 (en) | 2020-05-06 |
JP6595151B2 (ja) | 2019-10-23 |
JP2022101650A (ja) | 2022-07-06 |
EP3648017A4 (en) | 2021-08-04 |
US20230162045A1 (en) | 2023-05-25 |
US11593663B2 (en) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6625785B1 (ja) | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 | |
WO2022121289A1 (en) | Methods and systems for mining minority-class data samples for training neural network | |
CN107358293B (zh) | 一种神经网络训练方法及装置 | |
JP6483667B2 (ja) | ベイズの最適化を実施するためのシステムおよび方法 | |
CN112288086B (zh) | 一种神经网络的训练方法、装置以及计算机设备 | |
US20190311258A1 (en) | Data dependent model initialization | |
US20200035016A1 (en) | Piecewise-Polynomial Coupling Layers for Warp-Predicting Neural Networks | |
Ye et al. | An adaptive image enhancement technique by combining cuckoo search and particle swarm optimization algorithm | |
CN117523291A (zh) | 基于联邦知识蒸馏和集成学习的图像分类方法 | |
US20220237465A1 (en) | Performing inference and signal-to-noise ratio based pruning to train sparse neural network architectures | |
US20200151570A1 (en) | Training System for Artificial Neural Networks Having a Global Weight Constrainer | |
CN106997484A (zh) | 一种优化用户信用模型建模过程的方法及装置 | |
CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
Sreenath et al. | Stochastic ground motion models to NGA‐West2 and NGA‐Sub databases using Bayesian neural network | |
CN110188621A (zh) | 一种基于ssf-il-cnn的三维人脸表情识别方法 | |
KR102120150B1 (ko) | 뉴럴 네트워크를 이용한 변분 추론 학습 방법 및 학습 장치, 그리고 이를 이용한 변분 추론 방법 및 장치 | |
KR20190129422A (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
US20230206054A1 (en) | Expedited Assessment and Ranking of Model Quality in Machine Learning | |
JP7047665B2 (ja) | 学習装置、学習方法及び学習プログラム | |
US20240037411A1 (en) | Learning method of model and computer-readable recoding medium for storing program for performing the learning method | |
WO2022217856A1 (en) | Methods, devices and media for re-weighting to improve knowledge distillation | |
Andersson et al. | Can You Trust Your Deep Neural Network? | |
JP2021099702A (ja) | 学習装置、学習方法、及び学習済みモデル | |
CN118114750A (zh) | 一种基于双组件二阶聚合与重优化分类器部分的联邦学习方法、装置及计算机可读存储介质 | |
CN117333737A (zh) | 一种基于可验证鲁棒auc的端到端对抗训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190924 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6625785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |