JP6628350B2 - リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 - Google Patents
リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 Download PDFInfo
- Publication number
- JP6628350B2 JP6628350B2 JP2015096150A JP2015096150A JP6628350B2 JP 6628350 B2 JP6628350 B2 JP 6628350B2 JP 2015096150 A JP2015096150 A JP 2015096150A JP 2015096150 A JP2015096150 A JP 2015096150A JP 6628350 B2 JP6628350 B2 JP 6628350B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- vector
- rnn
- data
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 88
- 238000013528 artificial neural network Methods 0.000 title claims description 10
- 238000004590 computer program Methods 0.000 title claims description 7
- 230000000306 recurrent effect Effects 0.000 title claims description 3
- 239000013598 vector Substances 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 238000009432 framing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Description
<本実施の形態における学習方法>
以下で説明するRNNを用いた音響モデルは、音声特徴量ベクトルx(t)の時系列を入力として、その音声特徴量が、隠れマルコフモデルの値sである確率P(s|x(t))を出力する。以下、この出力をy(t)と書く。音響モデルとしてRNNを使用する場合には、尤度計算にP(x(t)|s)を使用する。したがって、音響モデルには、RNNの出力を、ベイズの定理にしたがった次の式により変形して利用する。
図8に、上記したRNNの学習を行う学習システムの構成をブロック図形式で示す。図8を参照して、このシステムは、学習に用いる音声コーパスを記憶した学習コーパス記憶部190を含む。学習コーパス記憶部190に記憶された音声コーパスは、多数の発話の音声データと、それらと対になるテキストとからなる。また、音声データとテキストとの間には対応関係が付けられており、音声データのどの部分がどの音素に対応するものかが分かるようになっている。
図9及び図9に構成を示す本実施の形態に係るRNNの学習システムは以下のように動作する。学習コーパス記憶部190に記憶された音声コーパスから学習データを生成し学習データ記憶部194に記憶するまでのこの装置の動作は、従来のものと変わりない。
図10に、本実施の形態に係る学習手法を用いて学習したRNNによる音響モデル308を用いたフレーム精度のグラフ260と、従来の方式のうち、第2の方式により学習したRNNにより得られた音響モデルを用いたフレーム精度のグラフ262とを示す。図10のグラフは、共通の英語講演音声に対するフレーム単位でのRNNの出力値によりどの音素かを当てる精度(フレーム精度)を縦軸に、学習の更新回数を横軸にして示したものである。RNNの構成は両者とも同じで学習手法を変えただけである。
上記した第1の実施の形態は、RNNの学習方法及び学習システムに関するものであった。本発明の第2の実施の形態は、第1の実施の形態のRNNの学習方法又は学習システムにより学習したRNNを音響モデルとして利用する音声認識装置に関する。
本発明の実施の形態に係るRNNの学習システム及び音声認識装置280は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図12はこのコンピュータシステム330の外観を示し、図13はコンピュータシステム330の内部構成を示す。
42,70,102,106,108,110,114 隠れ層
44,100 出力層
130 学習データ系列
190 学習コーパス記憶部
192 学習データ作成部
194 学習データ記憶部
196 学習処理部
198 RNN
280 音声認識装置
304 特徴量抽出部
306 特徴量記憶部
308 音響モデル
310 音声認識デコーダ
Claims (6)
- 予め準備された学習データを用いてコンピュータが行う、リカレント型ニューラルネットワーク(RNN)の学習方法であって、
前記学習データは、各々が学習対象データの特徴量と参照値とからなるベクトルの系列を含み、
前記学習方法は、
前記RNNを初期化するステップと、
前記ベクトルの系列内のあるベクトルを学習開始位置として指定する第1の指定ステップと、
前記RNNの各パラメータを、前記学習データに対して計算される所定の誤差関数が最小化するように最適化することで前記RNNの学習を行う学習ステップとを含み、
前記学習ステップは、
前記ベクトルの系列のうち、指定されたベクトルを先頭とする、連続するN個、ただしNは3以上の整数、のベクトルを用い、当該連続するN個のベクトルの末尾のベクトルの参照値を正解ラベルとするTruncated BPTTにより前記RNNのパラメータの更新を行う更新ステップと、
予め定める終了条件が成立するまで、前記更新ステップで使用された前記N個のベクトルの末尾のベクトルに対して所定の関係を満たす位置にあるベクトルを新たに指定して、前記学習ステップを実行する処理を繰返す第1の繰返しステップとを含み、
前記所定の関係を満たす位置にあるベクトルは、前記更新ステップにおける前記指定されたベクトルより少なくとも2個以上後のベクトルである、RNNの学習方法。 - 前記所定の関係を満たす位置にあるベクトルは、前記N個のベクトルの末尾のベクトルである、請求項1に記載のRNNの学習方法。
- 請求項1又は請求項2に記載のRNNの学習方法であって、さらに、
前記第1の繰返しステップで前記終了条件が成立していると判定されたことに応答して、前記第1の指定ステップで指定された前記ベクトルより、前記Nより小さな数だけ後のベクトルを次の学習の開始位置として新たに指定する第2の指定ステップと、
前記学習ステップを、前記終了条件が成立するまで実行するステップとを含む、RNNの学習方法。 - 請求項1又は請求項2に記載のRNNの学習方法であって、さらに、前記第1の繰返しステップで前記終了条件が成立していると判定されたことに応答して、前記あるベクトルから1ずつ後のベクトルを新たな学習開始位置として指定しながら、前記あるベクトルからN−1個後のベクトルを指定した処理が終了するまで、前記学習ステップを繰返し実行する第2の繰返しステップを含む、RNNの学習方法。
- コンピュータに、請求項1〜請求項4のいずれかに記載のRNNの学習方法の全てのステップを実行させる、コンピュータプログラム。
- 入力された音声信号を所定シフト量及び所定フレーム長でフレーム化するフレーム化処理手段と、
前記フレーム化処理手段が出力する各フレームの音声信号から所定の音声特徴量を抽出し特徴量ベクトルを出力する特徴量抽出手段と、
前記特徴量抽出手段により出力される特徴量ベクトルの系列を入力とし、特徴量ベクトルが入力されるごとに、その特徴量ベクトルに対応するフレームの音声が、想定される音素の集合の各要素である確率を要素とするベクトルを出力するよう、請求項1〜請求項4のいずれかに記載の学習方法により学習を行った、RNNからなる音響モデルと、
前記音響モデルの出力するベクトルの系列と、統計的言語モデルとを用いた確率的処理により、前記音声信号を生成した尤度が最も高い単語列を出力する音声認識デコーダとを含む、音声認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015096150A JP6628350B2 (ja) | 2015-05-11 | 2015-05-11 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
CN201680027062.9A CN107615308B (zh) | 2015-05-11 | 2016-05-10 | 循环神经网络的学习方法及用于该学习方法的计算机程序、和声音识别装置 |
EP16792676.5A EP3296930A4 (en) | 2015-05-11 | 2016-05-10 | LEARNING PROCEDURE FOR RECURRENT NEURONAL NETWORK, COMPUTER PROGRAM FOR IT AND VOICE RECOGNITION |
PCT/JP2016/063817 WO2016181951A1 (ja) | 2015-05-11 | 2016-05-10 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
US15/570,801 US10467525B2 (en) | 2015-05-11 | 2016-05-10 | Recurrent neural network training method, computer program therefor and speech recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015096150A JP6628350B2 (ja) | 2015-05-11 | 2015-05-11 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016212273A JP2016212273A (ja) | 2016-12-15 |
JP6628350B2 true JP6628350B2 (ja) | 2020-01-08 |
Family
ID=57248154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015096150A Active JP6628350B2 (ja) | 2015-05-11 | 2015-05-11 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10467525B2 (ja) |
EP (1) | EP3296930A4 (ja) |
JP (1) | JP6628350B2 (ja) |
CN (1) | CN107615308B (ja) |
WO (1) | WO2016181951A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6614639B2 (ja) * | 2015-05-22 | 2019-12-04 | 国立研究開発法人情報通信研究機構 | 音声認識装置及びコンピュータプログラム |
US10915808B2 (en) * | 2016-07-05 | 2021-02-09 | International Business Machines Corporation | Neural network for chemical compounds |
KR102692670B1 (ko) * | 2017-01-04 | 2024-08-06 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
US11853884B2 (en) | 2017-02-10 | 2023-12-26 | Synaptics Incorporated | Many or one detection classification systems and methods |
US11100932B2 (en) * | 2017-02-10 | 2021-08-24 | Synaptics Incorporated | Robust start-end point detection algorithm using neural network |
JP6820764B2 (ja) * | 2017-02-28 | 2021-01-27 | 日本放送協会 | 音響モデル学習装置および音響モデル学習プログラム |
KR102488338B1 (ko) * | 2017-03-09 | 2023-01-13 | 삼성전자주식회사 | 언어 모델을 압축하기 위한 전자 장치, 추천 워드를 제공하기 위한 전자 장치 및 그 동작 방법들 |
US10825445B2 (en) * | 2017-03-23 | 2020-11-03 | Samsung Electronics Co., Ltd. | Method and apparatus for training acoustic model |
CN107357775A (zh) * | 2017-06-05 | 2017-11-17 | 百度在线网络技术(北京)有限公司 | 基于人工智能的循环神经网络的文本纠错方法及装置 |
KR102033929B1 (ko) * | 2017-06-28 | 2019-10-18 | 포항공과대학교 산학협력단 | 아식칩과 스마트폰을 구비하는 실시간 음성인식 장치 |
JP2019078857A (ja) * | 2017-10-24 | 2019-05-23 | 国立研究開発法人情報通信研究機構 | 音響モデルの学習方法及びコンピュータプログラム |
JP6741051B2 (ja) * | 2018-08-10 | 2020-08-19 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
CN109559735B (zh) * | 2018-10-11 | 2023-10-27 | 平安科技(深圳)有限公司 | 一种基于神经网络的语音识别方法、终端设备及介质 |
US10891969B2 (en) * | 2018-10-19 | 2021-01-12 | Microsoft Technology Licensing, Llc | Transforming audio content into images |
JP7192492B2 (ja) * | 2018-12-27 | 2022-12-20 | 富士通株式会社 | 学習装置、学習方法および学習プログラム |
SG11202107620QA (en) * | 2019-01-17 | 2021-08-30 | Visa Int Service Ass | A deep learning model for learning program embeddings |
JP7225876B2 (ja) * | 2019-02-08 | 2023-02-21 | 富士通株式会社 | 情報処理装置、演算処理装置および情報処理装置の制御方法 |
WO2020189235A1 (ja) * | 2019-03-20 | 2020-09-24 | 国立大学法人大阪大学 | 学習済みモデル、制御装置、摩擦攪拌接合システム、ニューラルネットワークシステム、及び学習済みモデルの生成方法 |
US11227579B2 (en) * | 2019-08-08 | 2022-01-18 | International Business Machines Corporation | Data augmentation by frame insertion for speech data |
CN112364697B (zh) * | 2020-10-14 | 2021-11-30 | 陕西师范大学 | 基于r-lstm模型的脑电信号情绪识别方法 |
CN112529104B (zh) * | 2020-12-23 | 2024-06-18 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆故障预测模型生成方法、故障预测方法及装置 |
WO2022153504A1 (ja) * | 2021-01-15 | 2022-07-21 | 日本電信電話株式会社 | 学習方法、学習システム及び学習プログラム |
CN113052388A (zh) * | 2021-04-01 | 2021-06-29 | 北京工商大学 | 一种时间序列预测方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000008634A1 (en) | 1998-08-07 | 2000-02-17 | Fonix Corporation | Methods and apparatus for phoneme estimation using neural networks |
JP2007280054A (ja) | 2006-04-06 | 2007-10-25 | Sony Corp | 学習装置および学習方法、並びにプログラム |
JP2009288933A (ja) * | 2008-05-28 | 2009-12-10 | Sony Corp | 学習装置、学習方法、及びプログラム |
CN102968989B (zh) * | 2012-12-10 | 2014-08-13 | 中国科学院自动化研究所 | 一种用于语音识别的Ngram模型改进方法 |
US10867597B2 (en) * | 2013-09-02 | 2020-12-15 | Microsoft Technology Licensing, Llc | Assignment of semantic labels to a sequence of words using neural network architectures |
-
2015
- 2015-05-11 JP JP2015096150A patent/JP6628350B2/ja active Active
-
2016
- 2016-05-10 WO PCT/JP2016/063817 patent/WO2016181951A1/ja active Application Filing
- 2016-05-10 EP EP16792676.5A patent/EP3296930A4/en not_active Withdrawn
- 2016-05-10 CN CN201680027062.9A patent/CN107615308B/zh not_active Expired - Fee Related
- 2016-05-10 US US15/570,801 patent/US10467525B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3296930A1 (en) | 2018-03-21 |
CN107615308B (zh) | 2021-02-26 |
US10467525B2 (en) | 2019-11-05 |
JP2016212273A (ja) | 2016-12-15 |
WO2016181951A1 (ja) | 2016-11-17 |
EP3296930A4 (en) | 2019-01-16 |
US20180121800A1 (en) | 2018-05-03 |
CN107615308A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6628350B2 (ja) | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 | |
JP6686154B2 (ja) | 発話認識方法及び装置 | |
US11132992B2 (en) | On-device custom wake word detection | |
JP6727607B2 (ja) | 音声認識装置及びコンピュータプログラム | |
KR102167719B1 (ko) | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 | |
US9627532B2 (en) | Methods and apparatus for training an artificial neural network for use in speech recognition | |
JP5777178B2 (ja) | 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム | |
JP6614639B2 (ja) | 音声認識装置及びコンピュータプログラム | |
CN111081230B (zh) | 语音识别方法和设备 | |
CN108630198B (zh) | 用于训练声学模型的方法和设备 | |
JP6884946B2 (ja) | 音響モデルの学習装置及びそのためのコンピュータプログラム | |
KR20180107940A (ko) | 음성 인식을 위한 학습 방법 및 장치 | |
JP2004226982A (ja) | 隠れ軌跡隠れマルコフモデルを使用した音声認識の方法 | |
JP2022145608A (ja) | 音声認識のためのネットワークにおけるデコーディング方法及びデコーディング装置 | |
KR102292921B1 (ko) | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 | |
JP2019078857A (ja) | 音響モデルの学習方法及びコンピュータプログラム | |
JP4964194B2 (ja) | 音声認識モデル作成装置とその方法、音声認識装置とその方法、プログラムとその記録媒体 | |
JP2018013722A (ja) | 音響モデル最適化装置及びそのためのコンピュータプログラム | |
JP4729078B2 (ja) | 音声認識装置とその方法と、プログラムとその記録媒体 | |
JP6235922B2 (ja) | 重み付き有限状態オートマトン作成装置、記号列変換装置、音声認識装置、それらの方法、及びプログラム | |
Tang et al. | Future Context Attention for Unidirectional LSTM Based Acoustic Model. | |
KR102386627B1 (ko) | 음성 인식에 관한 빔 서치 방법 및 장치 | |
JP2018013721A (ja) | 音声合成パラメータ生成装置及びそのためのコンピュータプログラム | |
KR20240057182A (ko) | 음성인식 방법 및 장치 | |
Wambacq et al. | SPRAAK: Speech Processing, Recognition and Automatic Annotation Kit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6628350 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |