JP6164639B2 - ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム - Google Patents
ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6164639B2 JP6164639B2 JP2013109061A JP2013109061A JP6164639B2 JP 6164639 B2 JP6164639 B2 JP 6164639B2 JP 2013109061 A JP2013109061 A JP 2013109061A JP 2013109061 A JP2013109061 A JP 2013109061A JP 6164639 B2 JP6164639 B2 JP 6164639B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- sub
- subnetwork
- network
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000013528 artificial neural network Methods 0.000 title claims description 30
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 91
- 210000002569 neuron Anatomy 0.000 claims description 52
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
上記したように、多言語音声についてDNNの学習を行なう場合には、個別のDNNをそれぞれの言語で別々に学習させる必要がある。しかしそのためには長時間を要するという問題がある。こうした問題を解決するために、以下のような仮定をおいて多言語音声のDNNの学習を行なった。実験によれば、この仮定には十分な根拠があると思われる。
上記したように独立サブネットワーク120と依存サブネットワーク122及び124とが得られることにより以下のような効果が得られる。図8を参照して、上記したように日本語の独立サブネットワーク120、英語の依存サブネットワーク122及び124の学習が終了すると、依存サブネットワーク122及び124を独立サブネットワーク120とセットにして流通させることもできるし、別々に流通させることもできる。
上記したシステムはコンピュータのハードウェアと、そのハードウェア上で実行されるコンピュータプログラムとにより実現可能である。図9に独立サブネットワーク120、日本語の依存サブネットワーク122及び英語の依存サブネットワーク124を学習させる処理を実現するプログラムのフローチャートを示し、図10に追加で中国語の依存サブネットワーク234を学習させる処理を実現するプログラムのフローチャートを示す。
上記実施の形態に係るシステムは、コンピュータハードウェアと、そのコンピュータハードウェア上で実行される上記したコンピュータプログラムとにより実現できる。図11はこのコンピュータシステム330の外観を示し、図12はコンピュータシステム330の内部構成を示す。
上記仮定に基づいたシステムの有効性について、実験により検証した。実験は、日本語、英語及び中国語の音声データに対してフレームレベルでの音素の識別性能について行なった。音声データは、既にスマートフォン等で利用されている音声翻訳アプリケーションから音声翻訳サーバに送信されてくるデータを蓄積したものである。
従来の手法で言語ごとに学習したDNNによる音素識別性能を、本願発明によるDNNの評価のためのベースラインとした。DNNの層数は、いずれの場合も入力層を別として2層、4層、6層の場合を評価した。各隠れ層内のニューロン数はいずれの場合も512である。プレ・学習段階で、各言語のDNNを日本語、英語及び中国語の発話データで別々に初期化した。各ニューロンについては、いずれも出力関数としてシグモイド関数を用いた。得られたDNNの音素識別率をテーブル1に示す。
上記した実施の形態は音声処理に関するものであった。しかし、本発明は音声処理のみに適用可能なわけではない。例えば、画像認識についても同様に適用できる。音声の場合には、言語という明確な区別があり、従来は言語ごとにDNNの学習を行なってきた。したがって実施の形態のように、言語に依存しない部分のみを抽出して独立サブネットワークとすると、多言語について共通に使用できるという有利な点がある。これに対して画像認識の場合にも、明確に対象を区別できるカテゴリーがあれば、上記言語に代えてそれらカテゴリーごとに、本願発明を用いて画像認識のためのDNNの学習を効率的に行なえる。
60 日本語DNN
62 英語DNN
80,82,100,102 ニューロン
120,230,232,236 独立サブネットワーク
122 日本語の依存サブネットワーク
124 英語の依存サブネットワーク
160,180,200 入力層
162,182,184 隠れ層
164,184,204 出力層
220,222,224 ニューロン対
234 中国語の依存サブネットワーク
Claims (5)
- 複数カテゴリーに分類される対象について識別するディープ・ニューラルネットワークにおいて、前記複数カテゴリーに共通に使用されるカテゴリー独立なサブネットワークをコンピュータを用いて学習させる、ディープ・ニューラルネットワークの学習方法であって、
コンピュータが、記憶媒体内に、第1、第2及び第3のサブネットワークを記憶するステップと、
コンピュータが、前記複数カテゴリーのうち、第1及び第2のカテゴリーに属する学習データで前記第1、第2及び第3のサブネットワークを学習させるサブネットワークの学習ステップとを含み、
前記サブネットワークの学習ステップは、
コンピュータが、前記第1のサブネットワークの後段に前記第2のサブネットワークを接続して形成された第1のディープ・ニューラルネットワークを、前記第1のカテゴリーに属する学習データで学習させ、前記第1のサブネットワークの後段に前記第3のサブネットワークを接続して形成した第2のディープ・ニューラルネットワークを、前記第2のカテゴリーに属する学習データで学習させることにより、前記第1及び第2のディープ・ニューラルネットワークの学習を行なうディープ・ニューラルネットワークの学習ステップと、
コンピュータが、前記ディープ・ニューラルネットワークの学習ステップの完了後に、前記第1のサブネットワークを他のサブネットワークから分離して、前記カテゴリー独立なサブネットワークとして記憶媒体に記憶させるステップとを含む、ディープ・ニューラルネットワークの学習方法。 - 前記第1、第2及び第3のサブネットワークは、いずれも入力層、隠れ層及び出力層を含み、
前記ディープ・ニューラルネットワークの学習ステップは、
コンピュータが、前記第1、第2及び第3のサブネットワークを初期化するステップと、
コンピュータが、前記第1のサブネットワークの前記出力層のニューロンと、前記第2のサブネットワークの前記入力層のニューロンとを接続して第1のディープ・ニューラルネットワークを形成し、前記第1のカテゴリーに属する学習データで前記第1のディープ・ニューラルネットワークを学習させる第1の学習ステップと、
コンピュータが、前記第1のサブネットワークの前記出力層のニューロンと、前記第3のサブネットワークの前記入力層のニューロンとを接続して第2のディープ・ニューラルネットワークを形成し、前記第2のカテゴリーに属する学習データで前記第2のディープ・ニューラルネットワークを学習させる第2のトレーニングステップと、
コンピュータが、前記第1及び第2の学習ステップを、終了条件が成立するまで交互に実行するステップとを含む、請求項1に記載の学習方法。 - さらに、コンピュータが、前記サブネットワークの学習ステップの完了後に、前記第2のサブネットワークを他のサブネットワークから分離して、前記第1のカテゴリーの対象に対して使用されるカテゴリー依存のサブネットワークとして記憶媒体に記憶させるステップを含む、請求項1又は請求項2に記載のディープ・ニューラルネットワークの学習方法。
- 複数カテゴリーに分類される対象について識別するディープ・ニューラルネットワークにおいて、特定カテゴリーに使用されるカテゴリー依存のサブネットワークをコンピュータを用いて学習させる、ディープ・ニューラルネットワークの学習方法であって、
コンピュータが、前記複数カテゴリーに共通して使用されるカテゴリー独立なサブネットワークを記憶するステップと、
コンピュータが、前記特定カテゴリー用のサブネットワークを記憶するステップと、
コンピュータが、前記特定カテゴリー用のサブネットワークを初期化するステップと、
コンピュータが、前記カテゴリー独立なサブネットワークの出力層のニューロンと、前記特定カテゴリー用のサブネットワークの入力層とを接続することによりディープ・ニューラルネットワークを形成するステップと、
コンピュータが、前記特定カテゴリーに属する学習データを用いて、かつ前記カテゴリー独立なサブネットワークのパラメータを固定して、前記特定カテゴリー用のサブネットワークを学習させるステップとを含む、ディープ・ニューラルネットワークの学習方法。 - ディープ・ニューラルネットワークの学習方法をコンピュータに実行させるコンピュータプログラムであって、
前記方法は、複数カテゴリーに分類される対象について識別するディープ・ニューラルネットワークにおいて、前記複数カテゴリーに共通に使用されるカテゴリー独立なサブネットワークを学習させる方法であり、
当該方法は、
コンピュータが、記憶媒体内に、第1、第2及び第3のサブネットワークを記憶するステップと、
コンピュータが、前記複数カテゴリーのうち、第1及び第2のカテゴリーに属する学習データで前記第1、第2及び第3のサブネットワークを学習させるサブネットワークの学習ステップとを含み、
前記サブネットワークの学習ステップは、
コンピュータが、前記第1のサブネットワークの後段に前記第2のサブネットワークを接続して形成された第1のディープ・ニューラルネットワークを、前記第1のカテゴリーに属する学習データで学習させ、前記第1のサブネットワークの後段に前記第3のサブネットワークを接続して形成した第2のディープ・ニューラルネットワークを、前記第2のカテゴリーに属する学習データで学習させることにより、前記第1及び第2のディープ・ニューラルネットワークの学習を行なうディープ・ニューラルネットワークの学習ステップと、
コンピュータが、前記ディープ・ニューラルネットワークの学習ステップの完了後に、前記第1のサブネットワークを他のサブネットワークから分離して、前記カテゴリー独立なサブネットワークとして記憶媒体に記憶させるステップとを含む、コンピュータプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109061A JP6164639B2 (ja) | 2013-05-23 | 2013-05-23 | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム |
CN201480029326.5A CN105229676B (zh) | 2013-05-23 | 2014-05-15 | 深层神经网络的学习方法及学习装置 |
US14/787,903 US9691020B2 (en) | 2013-05-23 | 2014-05-15 | Deep neural network learning method and apparatus, and category-independent sub-network learning apparatus |
PCT/JP2014/062911 WO2014188940A1 (ja) | 2013-05-23 | 2014-05-15 | ディープ・ニューラルネットワークの学習方法及び学習装置、並びにカテゴリー独立なサブネットワークの学習装置 |
EP14801131.5A EP3001358B1 (en) | 2013-05-23 | 2014-05-15 | Method and device for learning deep neural network, and device for learning category-independent sub-network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109061A JP6164639B2 (ja) | 2013-05-23 | 2013-05-23 | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014229124A JP2014229124A (ja) | 2014-12-08 |
JP6164639B2 true JP6164639B2 (ja) | 2017-07-19 |
Family
ID=51933500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013109061A Active JP6164639B2 (ja) | 2013-05-23 | 2013-05-23 | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9691020B2 (ja) |
EP (1) | EP3001358B1 (ja) |
JP (1) | JP6164639B2 (ja) |
CN (1) | CN105229676B (ja) |
WO (1) | WO2014188940A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6235938B2 (ja) * | 2013-08-13 | 2017-11-22 | 日本電信電話株式会社 | 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム |
US9715660B2 (en) * | 2013-11-04 | 2017-07-25 | Google Inc. | Transfer learning for deep neural network based hotword detection |
CN105224984B (zh) * | 2014-05-31 | 2018-03-13 | 华为技术有限公司 | 一种基于深度神经网络的数据类别识别方法及装置 |
US10354184B1 (en) * | 2014-06-24 | 2019-07-16 | Amazon Technologies, Inc. | Joint modeling of user behavior |
JP6389776B2 (ja) * | 2015-02-23 | 2018-09-12 | 日本電信電話株式会社 | 言語識別モデル学習装置、言語識別装置、言語識別方法、およびプログラム |
CN106203460A (zh) * | 2015-05-05 | 2016-12-07 | 杜比实验室特许公司 | 训练信号处理模型以用于信号处理系统中的部件替换 |
WO2017073373A1 (ja) | 2015-10-30 | 2017-05-04 | 株式会社モルフォ | 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置 |
JP6652478B2 (ja) * | 2015-11-19 | 2020-02-26 | エンゼルプレイングカード株式会社 | チップの計測システム |
CN113769369A (zh) | 2015-11-19 | 2021-12-10 | 天使集团股份有限公司 | 桌面游戏的管理系统及游戏币 |
SG10201912871RA (en) | 2016-02-01 | 2020-02-27 | Angel Playing Cards Co Ltd | Game token management system |
US10235994B2 (en) * | 2016-03-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Modular deep learning model |
JP6750854B2 (ja) | 2016-05-25 | 2020-09-02 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
GB201615051D0 (en) * | 2016-09-05 | 2016-10-19 | Kheiron Medical Tech Ltd | Multi-modal medical image procesing |
US10664722B1 (en) * | 2016-10-05 | 2020-05-26 | Digimarc Corporation | Image processing arrangements |
KR101917006B1 (ko) | 2016-11-30 | 2018-11-08 | 에스케이 주식회사 | 머신 러닝 기반 반도체 제조 수율 예측 시스템 및 방법 |
JP6784162B2 (ja) | 2016-12-13 | 2020-11-11 | 富士通株式会社 | 情報処理装置、プログラム及び情報処理方法 |
US11798064B1 (en) | 2017-01-12 | 2023-10-24 | Digimarc Corporation | Sensor-based maximum-likelihood estimation of item assignments |
JP6699945B2 (ja) * | 2017-04-17 | 2020-05-27 | 日本電信電話株式会社 | 音響モデル学習装置、その方法、及びプログラム |
US10572773B2 (en) * | 2017-05-05 | 2020-02-25 | Intel Corporation | On the fly deep learning in machine learning for autonomous machines |
WO2018216648A1 (ja) * | 2017-05-22 | 2018-11-29 | 日本電気株式会社 | 群衆状態認識装置、学習方法および学習プログラム |
JP6703964B2 (ja) * | 2017-06-28 | 2020-06-03 | 日本電信電話株式会社 | 学習装置、テキスト生成装置、方法、及びプログラム |
US11392827B1 (en) * | 2017-07-19 | 2022-07-19 | United States Of America As Represented By The Secretary Of The Navy | Deeper learning from the real-time transformative correction of and reasoning from neural network outputs |
JP6729516B2 (ja) | 2017-07-27 | 2020-07-22 | トヨタ自動車株式会社 | 識別装置 |
WO2019074185A1 (en) * | 2017-10-12 | 2019-04-18 | Samsung Electronics Co., Ltd. | ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF |
JP6955155B2 (ja) * | 2017-10-17 | 2021-10-27 | 富士通株式会社 | 学習装置、学習方法及び学習プログラム |
WO2019084559A1 (en) * | 2017-10-27 | 2019-05-02 | Apostle, Inc. | SOMATIC MUTATION CANCER PATHOGENIC IMPACT PREDICTION USING DEEP LEARNING BASED METHODS |
KR102607208B1 (ko) * | 2017-11-16 | 2023-11-28 | 삼성전자주식회사 | 뉴럴 네트워크 학습 방법 및 디바이스 |
WO2019102797A1 (ja) * | 2017-11-21 | 2019-05-31 | 富士フイルム株式会社 | ニューラルネットワークの学習方法、学習装置、学習済みモデル及びプログラム |
US11836610B2 (en) | 2017-12-13 | 2023-12-05 | Advanced Micro Devices, Inc. | Concurrent training of functional subnetworks of a neural network |
JP7000834B2 (ja) * | 2017-12-14 | 2022-01-19 | 株式会社アイシン | 機械学習のモデルパラメータの学習装置 |
WO2019152308A1 (en) * | 2018-01-30 | 2019-08-08 | D5Ai Llc | Self-organizing partially ordered networks |
CN112368773A (zh) | 2018-06-15 | 2021-02-12 | 株式会社半导体能源研究所 | 半导体装置 |
US10210860B1 (en) | 2018-07-27 | 2019-02-19 | Deepgram, Inc. | Augmented generalized deep learning with special vocabulary |
US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
JP2022512233A (ja) * | 2018-12-10 | 2022-02-02 | インタラクティブ-エーアイ,エルエルシー | 多言語スタイル依存音声言語処理のためのニューラル調整コード |
JP7261022B2 (ja) | 2019-01-30 | 2023-04-19 | キヤノン株式会社 | 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体 |
WO2020209078A1 (ja) * | 2019-04-09 | 2020-10-15 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
WO2020210351A1 (en) * | 2019-04-12 | 2020-10-15 | Ohio State Innovation Foundation | Computing system and method for determining mimicked generalization through topologic analysis for advanced machine learning |
KR20200126675A (ko) * | 2019-04-30 | 2020-11-09 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR20220007160A (ko) * | 2019-05-28 | 2022-01-18 | 구글 엘엘씨 | 스트리밍 엔드-투-엔드 모델을 사용한 대규모 다국어 음성 인식 |
JP7385900B2 (ja) * | 2019-09-09 | 2023-11-24 | 国立研究開発法人情報通信研究機構 | 推論器、推論プログラムおよび学習方法 |
JP7071423B2 (ja) * | 2020-03-03 | 2022-05-18 | エンゼルグループ株式会社 | テーブルゲームの管理システム、遊技用代用貨幣、及び検査装置 |
CN111477220B (zh) * | 2020-04-15 | 2023-04-25 | 南京邮电大学 | 一种面向家居口语环境的神经网络语音识别方法及系统 |
CN114531355B (zh) * | 2020-11-23 | 2023-07-18 | 维沃移动通信有限公司 | 通信方法、装置及通信设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06309293A (ja) * | 1993-04-26 | 1994-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 多層構造型ニューラルネットワークの構成方法 |
JP3485420B2 (ja) * | 1996-08-14 | 2004-01-13 | 三菱電機株式会社 | 大規模ニューラルネットワーク構築装置 |
FR2756073B1 (fr) | 1996-11-18 | 1999-01-15 | Commissariat Energie Atomique | Procede d'apprentissage generant des reseaux de neurones de petites tailles pour la classification de donnees |
JP2002520719A (ja) * | 1998-07-08 | 2002-07-09 | シーメンス アクチエンゲゼルシヤフト | ニューラルネット及びニューラルネットのトレーニング方法及び装置 |
US8234228B2 (en) * | 2008-02-07 | 2012-07-31 | Nec Laboratories America, Inc. | Method for training a learning machine having a deep multi-layered network with labeled and unlabeled training data |
EP2221805B1 (en) * | 2009-02-20 | 2014-06-25 | Nuance Communications, Inc. | Method for automated training of a plurality of artificial neural networks |
US9235799B2 (en) | 2011-11-26 | 2016-01-12 | Microsoft Technology Licensing, Llc | Discriminative pretraining of deep neural networks |
CN103117060B (zh) | 2013-01-18 | 2015-10-28 | 中国科学院声学研究所 | 用于语音识别的声学模型的建模方法、建模系统 |
-
2013
- 2013-05-23 JP JP2013109061A patent/JP6164639B2/ja active Active
-
2014
- 2014-05-15 WO PCT/JP2014/062911 patent/WO2014188940A1/ja active Application Filing
- 2014-05-15 US US14/787,903 patent/US9691020B2/en active Active
- 2014-05-15 CN CN201480029326.5A patent/CN105229676B/zh not_active Expired - Fee Related
- 2014-05-15 EP EP14801131.5A patent/EP3001358B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3001358A1 (en) | 2016-03-30 |
US20160110642A1 (en) | 2016-04-21 |
JP2014229124A (ja) | 2014-12-08 |
EP3001358B1 (en) | 2020-09-09 |
US9691020B2 (en) | 2017-06-27 |
EP3001358A4 (en) | 2017-07-26 |
CN105229676B (zh) | 2018-11-23 |
CN105229676A (zh) | 2016-01-06 |
WO2014188940A1 (ja) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6164639B2 (ja) | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム | |
JP5777178B2 (ja) | 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム | |
Lee et al. | High-level feature representation using recurrent neural network for speech emotion recognition | |
CN105679317B (zh) | 用于训练语言模型并识别语音的方法和设备 | |
Zen et al. | Statistical parametric speech synthesis using deep neural networks | |
Ghoshal et al. | Multilingual training of deep neural networks | |
Swietojanski et al. | Unsupervised cross-lingual knowledge transfer in DNN-based LVCSR | |
Senior et al. | Improving DNN speaker independence with i-vector inputs | |
Jaitly et al. | Application of Pretrained Deep Neural Networks to Large Vocabulary Speech Recognition. | |
Seide et al. | Conversational speech transcription using context-dependent deep neural networks. | |
US9460711B1 (en) | Multilingual, acoustic deep neural networks | |
JP2017228160A (ja) | 対話行為推定方法、対話行為推定装置及びプログラム | |
Tóth et al. | A comparison of deep neural network training methods for large vocabulary speech recognition | |
Liu et al. | Reinforcement learning for emotional text-to-speech synthesis with improved emotion discriminability | |
Liu et al. | Graph-based semi-supervised learning for phone and segment classification. | |
Guo et al. | Deep neural network based i-vector mapping for speaker verification using short utterances | |
Huang et al. | Beyond cross-entropy: towards better frame-level objective functions for deep neural network training in automatic speech recognition. | |
Biswas et al. | Multilingual Neural Network Acoustic Modelling for ASR of Under-Resourced English-isiZulu Code-Switched Speech. | |
Saurav et al. | Bangla speech recognition for voice search | |
JP4861912B2 (ja) | 知識源を組込むための確率計算装置及びコンピュータプログラム | |
Nguyen et al. | Improving acoustic model for English ASR System using deep neural network | |
Gehring et al. | DNN acoustic modeling with modular multi-lingual feature extraction networks | |
AbdAlmisreb et al. | Maxout based deep neural networks for Arabic phonemes recognition | |
Joy et al. | DNNs for unsupervised extraction of pseudo speaker-normalized features without explicit adaptation data | |
JP2019078857A (ja) | 音響モデルの学習方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6164639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |