JP7126613B2 - ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 - Google Patents
ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 Download PDFInfo
- Publication number
- JP7126613B2 JP7126613B2 JP2021522367A JP2021522367A JP7126613B2 JP 7126613 B2 JP7126613 B2 JP 7126613B2 JP 2021522367 A JP2021522367 A JP 2021522367A JP 2021522367 A JP2021522367 A JP 2021522367A JP 7126613 B2 JP7126613 B2 JP 7126613B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- layer
- output
- domain
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
Claims (20)
- 少なくとも1つのプロセッサと、
一時的信号ではない少なくとも1つのコンピュータ記憶装置であって、少なくとも1つのプロセッサにより、
第1のデータタイプに関連付けられた第1のニューラルネットワークにアクセスすることと、
前記第1のデータタイプとは異なる第2のデータタイプに関連付けられた第2のニューラルネットワークにアクセスすることと、
入力として、第1の訓練データを前記第2のニューラルネットワークに提供することと、
第1の層を選択することであって、前記第1の層が前記第2のニューラルネットワークの複数の隠れ層のうちのいずれかの層である、前記選択することと、
前記第1の訓練データに基づいて生成された前記第1の層からの出力を識別することと、
前記第1及び第2のニューラルネットワークとは異なる第3のニューラルネットワークを使用して、前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるかどうかを判定することと、
前記第1の層からの前記出力が前記第1のニューラルネットワークからのものではないとの判定に基づき、前記第1の層の1つ以上の重みを調整することとを行うように実行可能な命令を含む前記少なくとも1つのコンピュータ記憶装置と、を含む、装置。 - 前記命令が、前記少なくとも1つのプロセッサにより、
前記第1のニューラルネットワークをコピーすることによって前記第2のニューラルネットワークを最初に確立することを行うように実行可能である、請求項1に記載の装置。 - 前記命令が、前記少なくとも1つのプロセッサにより、
前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるとの判定に基づき、前記第1の層の1つ以上の重みを調整することを拒否することを行うように実行可能である、請求項1に記載の装置。 - 前記出力が第1の出力であり、前記命令が、前記少なくとも1つのプロセッサにより、 前記第1の層からの前記第1の出力が前記第1のニューラルネットワークからのものであるとの判定に基づき、第2の層を選択することであって、前記第2の層も前記第2のニューラルネットワークの隠れ層である、前記選択することと、
第2の出力を識別することであって、前記第2の出力が前記第2の層からのものである、前記識別することと、
前記第3のニューラルネットワークを使用して、前記第2の出力が前記第1のニューラルネットワークからのものであるかどうかを判定することと、
前記第2の出力が前記第1のニューラルネットワークからのものではないとの判定に基づき、前記第2の層の1つ以上の重みを調整することとを行うように実行可能である、請求項3に記載の装置。 - 前記第2のニューラルネットワークの前記第1及び第2の層がランダムに選択される、請求項4に記載の装置。
- 前記命令が、前記少なくとも1つのプロセッサにより、
前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるかどうかを判定するために前記第3のニューラルネットワークを使用する前に、前記第1のニューラルネットワーク及び前記第2のニューラルネットワークのうちのいずれかの層からの出力を正しく分類するように前記第3のニューラルネットワークが学習するように前記第3のニューラルネットワークの1つ以上の層の1つ以上の重みを調整することを行うように実行可能である、請求項1に記載の装置。 - 前記第3のニューラルネットワークが、教師なしモードにおいて、ラベル付きデータを使用して、前記第1のニューラルネットワーク及び前記第2のニューラルネットワークのうちのいずれかの層からの出力を正しく分類するように学習するように動作する、請求項6に記載の装置。
- 第1のデータタイプに関連付けられた第1のニューラルネットワークにアクセスすることと、
前記第1のデータタイプとは異なる第2のデータタイプに関連付けられた第2のニューラルネットワークにアクセスすることと、
入力として、第1の訓練データを前記第2のニューラルネットワークに提供することと、
第1の層を選択することであって、前記第1の層が前記第2のニューラルネットワークの複数の隠れ層のうちのいずれかの層である、前記選択することと、
前記第1の訓練データに基づいて生成された前記第1の層からの出力を識別することと、
前記第1及び第2のニューラルネットワークとは異なる第3のニューラルネットワークを使用して、前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるかどうかを判定することと、
前記第1の層からの前記出力が前記第1のニューラルネットワークからのものではないと判定したことに基づき、前記第1の層の1つ以上の重みを調整することと、を含む、方法。 - 前記第3のニューラルネットワークを使用して、前記第1のデータタイプに関連するものとして前記第1の層からの前記出力を識別するために前記第3のニューラルネットワークを使用することによって少なくとも部分的に前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるかどうかを判定することを含む、請求項8に記載の方法。
- 前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであると判定したことに基づき、前記第1の層の1つ以上の重みを調整することを拒否することを含む、請求項8に記載の方法。
- 前記出力が第1の出力であり、前記方法が、
前記第1の層からの前記第1の出力が前記第1のニューラルネットワークからのものであると判定したことに基づき、第2の層を選択することであって、前記第2の層も前記第2のニューラルネットワークの隠れ層である、前記選択することと、
前記第2の層からの第2の出力を識別することと、
前記第3のニューラルネットワークを使用して、前記第2の出力が前記第1のニューラルネットワークからのものであるかどうかを判定することと、
前記第2の出力が前記第1のニューラルネットワークからのものではないと判定したことに基づき、前記第2の層の1つ以上の重みを調整することとを含む、請求項10に記載の方法。 - 人間の監督者からの指示に基づいて前記第1の層が選択される、請求項8に記載の方法。
- 前記第1の層からの前記出力が前記第1のニューラルネットワークからのものであるかどうかを判定するために前記第3のニューラルネットワークを使用する前に、前記第1のニューラルネットワーク及び前記第2のニューラルネットワークのうちのいずれかの層からの出力を正しく分類するように前記第3のニューラルネットワークが学習するように前記第3のニューラルネットワークの1つ以上の層の1つ以上の重みを調整することを含む、請求項8に記載の方法。
- 前記第3のニューラルネットワークが、教師なしモードにおいて、ラベル付きデータを使用して、前記第1のニューラルネットワーク及び前記第2のニューラルネットワークのうちのいずれかの層からの出力を正しく分類するように学習するように動作する、請求項8に記載の方法。
- 前記第1のニューラルネットワークをコピーすることによって前記第2のニューラルネットワークを最初に確立することを含む、請求項8に記載の方法。
- 一時的信号ではない少なくとも1つのコンピュータ記憶装置であって、少なくとも1つのプロセッサにより、
第1のドメインジャンルに関連付けられた第1のニューラルネットワークにアクセスすることと、
前記第1のドメインジャンルとは異なる第2のドメインジャンルに関連付けられた第2のニューラルネットワークにアクセスすることと、
第1の層を選択することであって、前記第1の層が前記第2のニューラルネットワークの複数の隠れ層のうちのいずれかの層である、前記選択することと、
前記第1及び第2のニューラルネットワークに提供された訓練データを使用して、前記第1の層からの出力が前記第1のニューラルネットワークからのものであるかどうかを分類することと、
前記第1の層からの前記出力の分類結果を出力することであって、前記第1の層からの出力が、勾配を反転し、前記勾配をメインモデルに逆伝播させるためにドメイン分類器を含むドメイン適応モジュールによって分類される、前記出力することと、
前記第1の層からの前記出力が前記第1のニューラルネットワークからのものではないとの分類結果に基づき、前記第1の層の1つ以上の重みを調整することとを行うように実行可能である命令を含む前記少なくとも1つのコンピュータ記憶装置を含む、装置。 - 前記第1のニューラルネットワークが実世界のビデオに関係し、前記第2のニューラルネットワークがコンピュータゲームのビデオに関係する、請求項16に記載の装置。
- 前記第1のニューラルネットワークが、第1の音声から得られた情報に関係し、前記第2のニューラルネットワークが、第2の音声から得られた情報に関係する、請求項16に記載の装置。
- 前記第1のニューラルネットワークが標準フォントテキストに関係し、前記第2のニューラルネットワークが筆記体スクリプトに関係する、請求項16に記載の装置。
- 前記ドメイン分類器が、空間モデル及び時間モデルからデータを受信する勾配反転層(GRL)を使用して前記勾配を反転する、請求項16に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022129586A JP7431291B2 (ja) | 2018-10-31 | 2022-08-16 | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/176,812 US11494612B2 (en) | 2018-10-31 | 2018-10-31 | Systems and methods for domain adaptation in neural networks using domain classifier |
US16/176,812 | 2018-10-31 | ||
PCT/US2019/048397 WO2020091882A1 (en) | 2018-10-31 | 2019-08-27 | Systems and methods for domain adaptation in neural networks using domain classifier |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022129586A Division JP7431291B2 (ja) | 2018-10-31 | 2022-08-16 | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022505718A JP2022505718A (ja) | 2022-01-14 |
JP7126613B2 true JP7126613B2 (ja) | 2022-08-26 |
Family
ID=70326916
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522367A Active JP7126613B2 (ja) | 2018-10-31 | 2019-08-27 | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 |
JP2022129586A Active JP7431291B2 (ja) | 2018-10-31 | 2022-08-16 | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022129586A Active JP7431291B2 (ja) | 2018-10-31 | 2022-08-16 | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11494612B2 (ja) |
EP (1) | EP3874414A4 (ja) |
JP (2) | JP7126613B2 (ja) |
CN (1) | CN112970035A (ja) |
WO (1) | WO2020091882A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190096872A (ko) * | 2019-07-31 | 2019-08-20 | 엘지전자 주식회사 | 연합학습(Federated learning)을 통한 필기체 인식방법 및 이를 위한 장치 |
KR20210053020A (ko) * | 2019-11-01 | 2021-05-11 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
US11301754B2 (en) * | 2019-12-10 | 2022-04-12 | Sony Corporation | Sharing of compressed training data for neural network training |
US20210350139A1 (en) * | 2020-05-11 | 2021-11-11 | Nvidia Corporation | Highlight determination using one or more neural networks |
US11676370B2 (en) * | 2020-05-27 | 2023-06-13 | Nec Corporation | Self-supervised cross-video temporal difference learning for unsupervised domain adaptation |
CN111882055B (zh) * | 2020-06-15 | 2022-08-05 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
CN114664292B (zh) * | 2020-12-22 | 2023-08-01 | 马上消费金融股份有限公司 | 模型训练、语音识别方法、装置、设备及可读存储介质 |
CN113435055B (zh) * | 2021-07-08 | 2022-11-22 | 上海交通大学 | 盾构刀盘扭矩领域自适应迁移预测方法和系统 |
US11443286B1 (en) * | 2021-10-01 | 2022-09-13 | Flourish Worldwide, LLC | Methods and systems for exploiting value in certain domains |
CN116029394B (zh) * | 2023-03-29 | 2023-06-30 | 季华实验室 | 自适应文本情感识别模型训练方法、电子设备及存储介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE453183T1 (de) * | 2005-06-01 | 2010-01-15 | Loquendo Spa | Verfahren zum anpassen eines neuronalen netzwerks einer automatischen spracherkennungseinrichtung |
US7983478B2 (en) * | 2007-08-10 | 2011-07-19 | Microsoft Corporation | Hidden markov model based handwriting/calligraphy generation |
US8756183B1 (en) | 2010-06-14 | 2014-06-17 | Hrl Laboratories, Llc | System for representing, storing, and reconstructing an input signal |
US9460711B1 (en) | 2013-04-15 | 2016-10-04 | Google Inc. | Multilingual, acoustic deep neural networks |
JP5777178B2 (ja) * | 2013-11-27 | 2015-09-09 | 国立研究開発法人情報通信研究機構 | 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム |
US20160078359A1 (en) * | 2014-09-12 | 2016-03-17 | Xerox Corporation | System for domain adaptation with a domain-specific class means classifier |
JP6543066B2 (ja) | 2015-03-30 | 2019-07-10 | 株式会社メガチップス | 機械学習装置 |
US10878320B2 (en) | 2015-07-22 | 2020-12-29 | Qualcomm Incorporated | Transfer learning in neural networks |
KR102492318B1 (ko) | 2015-09-18 | 2023-01-26 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 데이터 인식 방법 |
US9807473B2 (en) | 2015-11-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Jointly modeling embedding and translation to bridge video and language |
US10319374B2 (en) * | 2015-11-25 | 2019-06-11 | Baidu USA, LLC | Deployed end-to-end speech recognition |
US10909459B2 (en) * | 2016-06-09 | 2021-02-02 | Cognizant Technology Solutions U.S. Corporation | Content embedding using deep metric learning algorithms |
JP6670698B2 (ja) | 2016-07-04 | 2020-03-25 | 日本電信電話株式会社 | 映像認識モデル学習装置、映像認識装置、方法、及びプログラム |
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
US10242443B2 (en) | 2016-11-23 | 2019-03-26 | General Electric Company | Deep learning medical systems and methods for medical procedures |
WO2018109505A1 (en) | 2016-12-15 | 2018-06-21 | Google Llc | Transforming source domain images into target domain images |
US10776693B2 (en) | 2017-01-31 | 2020-09-15 | Xerox Corporation | Method and system for learning transferable feature representations from a source domain for a target domain |
US20180268292A1 (en) | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
US10624558B2 (en) * | 2017-08-10 | 2020-04-21 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
WO2020028257A2 (en) | 2018-07-30 | 2020-02-06 | Hyperfine Research, Inc. | Deep learning techniques for magnetic resonance image reconstruction |
-
2018
- 2018-10-31 US US16/176,812 patent/US11494612B2/en active Active
-
2019
- 2019-08-27 WO PCT/US2019/048397 patent/WO2020091882A1/en unknown
- 2019-08-27 EP EP19878364.9A patent/EP3874414A4/en active Pending
- 2019-08-27 CN CN201980072024.9A patent/CN112970035A/zh active Pending
- 2019-08-27 JP JP2021522367A patent/JP7126613B2/ja active Active
-
2022
- 2022-08-16 JP JP2022129586A patent/JP7431291B2/ja active Active
Non-Patent Citations (3)
Title |
---|
Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell,Adversarial Discriminative Domain Adaptation,arXiv.org [online],2017年02月17日,https://arxiv.org/pdf/1702.05464.pdf,[2022年5月27日検索] |
俵 直弘 他3名,敵対的学習に基づく話者特徴抽出,日本音響学会 2018年 春季研究発表会講演論文集,日本,一般社団法人日本音響学会,2018年03月15日,pp.141-144 |
宮西 大樹, 川鍋 一晃,ニューラル質問応答モデルの仮想世界から現実世界のデータへのドメイン適応,第32回人工知能学会全国大会論文集 [online],日本,一般社団法人人工知能学会,2018年06月08日,https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_4Pin108/_pdf/-char/ja,[2022年5月27日検索] |
Also Published As
Publication number | Publication date |
---|---|
US11494612B2 (en) | 2022-11-08 |
US20200134424A1 (en) | 2020-04-30 |
EP3874414A1 (en) | 2021-09-08 |
JP2022505718A (ja) | 2022-01-14 |
WO2020091882A1 (en) | 2020-05-07 |
JP2022171662A (ja) | 2022-11-11 |
CN112970035A (zh) | 2021-06-15 |
JP7431291B2 (ja) | 2024-02-14 |
EP3874414A4 (en) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7126613B2 (ja) | ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 | |
JP7108144B2 (ja) | クロスドメインバッチ正規化を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法 | |
US20230325663A1 (en) | Systems and methods for domain adaptation in neural networks | |
US11281709B2 (en) | System and method for converting image data into a natural language description | |
US11450353B2 (en) | Video tagging by correlating visual features to sound tags | |
CN111699528B (zh) | 电子装置及执行电子装置的功能的方法 | |
CN111415677B (zh) | 用于生成视频的方法、装置、设备和介质 | |
US11501480B2 (en) | Multi-modal model for dynamically responsive virtual characters | |
JP7277611B2 (ja) | テキスト類似性を使用した視覚的タグのサウンドタグへのマッピング | |
WO2020087534A1 (en) | Generating response in conversation | |
US11997445B2 (en) | Systems and methods for live conversation using hearing devices | |
US20210392427A1 (en) | Systems and Methods for Live Conversation Using Hearing Devices | |
Vildjiounaite et al. | Requirements and software framework for adaptive multimodal affect recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7126613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |