JP6980603B2 - 話者モデル作成システム、認識システム、プログラムおよび制御装置 - Google Patents
話者モデル作成システム、認識システム、プログラムおよび制御装置 Download PDFInfo
- Publication number
- JP6980603B2 JP6980603B2 JP2018118090A JP2018118090A JP6980603B2 JP 6980603 B2 JP6980603 B2 JP 6980603B2 JP 2018118090 A JP2018118090 A JP 2018118090A JP 2018118090 A JP2018118090 A JP 2018118090A JP 6980603 B2 JP6980603 B2 JP 6980603B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- voice
- speaker model
- unit
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
- G10L15/075—Adaptation to the speaker supervised, i.e. under machine guidance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
従来の話者認識技術の具体例について説明する。例えば特許文献1では、ある機器で話者のキーワード音声(検出対象となるキーワードを発声した音声)から話者モデルを作成する際に、登録する複数の話者のキーワード音声を用いて話者ごとに新たなニューラルネットワークの出力ノードを生成して学習し、認識時には話者ごとのネットワークパラメータを用いて話者の尤度を算出し、認識する方法が提案されている。この方法によれば、ニューラルネットワークを用いて、キーワード検出などに必要な音韻の尤度の算出と話者の認識とを同時に行うことができる。しかし、この方法では、話者を登録するごとにニューラルネットワークのパラメータが増加するため、計算量が増える。また、同時に複数の話者のキーワード音声を用いる必要がある。
th<S ・・・(1)
第2の実施形態では、認識システムを複数の装置により実現する例を示す。図6は、第2の実施形態にかかる認識システムの構成の例を示すブロック図である。
認識システムは、例えば検出したキーワードおよび認識した話者(ユーザ)に応じて所望の動作を実行するアプリケーションに適用することができる。このようなアプリケーションは、通常、話者を登録した後に利用を開始可能となる。従って、より早期に利用開始可能とするためには、話者登録をより効率的に実行することが望ましい。
100−2 認識サーバ
101 CPU
102 システムコントローラ
103 主メモリ
104 LCD
105 BIOS−ROM
106 不揮発性メモリ
107 マイクロホン
108 通信デバイス
109 キーボード
110 ポインティングデバイス
111 EC
121、122 記憶部
131 音声取得部
132 算出部
133 検出部
134 拡張部
135 作成部
136 認識部
141 通信制御部
200−2 クライアント
241 受付部
242 通信制御部
300−2 ネットワーク
Claims (14)
- 入力層から所定の中間層までのネットワークパラメータの一部を複数のパターンに基づいて変更し、複数の前記パターンに対応する変更後のニューラルネットワークそれぞれに対して1つの音声を入力することにより前記中間層から複数の出力を得る拡張部と、
複数の前記出力に基づいて、前記音声から検出された単語に対する話者モデルを作成する作成部と、
を備える話者モデル作成システム。 - 前記作成部は、複数の前記出力の平均および分散で表されるガウス分布を前記話者モデルとして作成する、
請求項1に記載の話者モデル作成システム。 - 前記作成部は、話者の音声および複数の前記出力を用いる学習により前記話者モデルを作成する、
請求項1に記載の話者モデル作成システム。 - 前記作成部は、前記単語に含まれる部分区間ごとに前記話者モデルを作成する、
請求項1に記載の話者モデル作成システム。 - 前記拡張部は、前記入力層から前記中間層までのネットワークパラメータのうち一部の重みを変更する、
請求項1に記載の話者モデル作成システム。 - 前記拡張部は、前記入力層から前記中間層までのネットワークパラメータのうち一部のバイアスにランダム値を加算する、
請求項1に記載の話者モデル作成システム。 - 前記ネットワークパラメータは、前記入力層から前記中間層までの各層への入力値に対してバイアス項パラメータを含み、
前記拡張部は、一部のバイアス項パラメータにランダム値を加算する、
請求項1に記載の話者モデル作成システム。 - 音声を受け付け、特徴量に変換する音声取得部と、
前記特徴量をニューラルネットワークに入力し、前記特徴量が予め定められた単語に対応する確からしさを表すスコアを算出する算出部と、
前記スコアを用いて前記音声から前記単語を検出する検出部と、をさらに備える、
請求項1に記載の話者モデル作成システム。 - 前記スコアの算出に用いられるニューラルネットワークは、前記拡張部がネットワークパラメータを変更するニューラルネットワークと同じである、
請求項8に記載の話者モデル作成システム。 - 前記スコアの算出に用いられるニューラルネットワークは、前記拡張部がネットワークパラメータを変更するニューラルネットワークとは異なる、
請求項8に記載の話者モデル作成システム。 - 音声を受け付け、特徴量に変換する音声取得部と、
前記特徴量をニューラルネットワークに入力し、前記特徴量が予め定められた単語に対応する確からしさを表すスコアを算出する算出部と、
前記スコアを用いて前記音声から前記単語を検出する検出部と、
入力層から所定の中間層までのネットワークパラメータの一部を複数のパターンに基づいて変更し、複数の前記パターンに対応する変更後のニューラルネットワークそれぞれに対して1つの前記音声を入力することにより前記中間層から複数の出力を得る拡張部と、
複数の前記出力に基づいて、検出された前記単語に対する話者モデルを作成する作成部と、
前記話者モデルを用いて話者を認識する認識部と、
を備える認識システム。 - 前記認識部は、認識のために入力される音声に対する前記中間層の出力を前記話者モデルに入力することにより話者を認識する、
請求項11に記載の認識システム。 - コンピュータを、
入力層から所定の中間層までのネットワークパラメータの一部を複数のパターンに基づいて変更し、複数の前記パターンに対応する変更後のニューラルネットワークそれぞれに対して1つの音声を入力することにより前記中間層から複数の出力を得る拡張部と、
複数の前記出力に基づいて、前記音声から検出された単語に対する話者モデルを作成する作成部と、
として機能させるためのプログラム。 - ユーザが発話した音声を受け付け、特徴量に変換する音声取得部と、
前記特徴量をニューラルネットワークに入力し、前記特徴量が予め定められた単語に対応する確からしさを表すスコアを算出する算出部と、
前記スコアを用いて前記音声から前記単語を検出する検出部と、
入力層から所定の中間層までのネットワークパラメータの一部を複数のパターンに基づいて変更し、複数の前記パターンに対応する変更後のニューラルネットワークそれぞれに対して1つの前記音声を入力することにより前記中間層から複数の出力を得る拡張部と、
複数の前記出力に基づいて、検出された前記単語に対する話者モデルを作成する作成部と、
前記話者モデルを用いて、前記ユーザが予め決められたユーザか否かを決定し、前記ユーザが予め決められたユーザである場合に、前記単語に設定された制御命令を出力する出力部と、
を備える制御装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118090A JP6980603B2 (ja) | 2018-06-21 | 2018-06-21 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
CN201910110478.2A CN110706714B (zh) | 2018-06-21 | 2019-02-12 | 说话者模型制作系统 |
US16/296,410 US11495235B2 (en) | 2018-06-21 | 2019-03-08 | System for creating speaker model based on vocal sounds for a speaker recognition system, computer program product, and controller, using two neural networks |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118090A JP6980603B2 (ja) | 2018-06-21 | 2018-06-21 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219574A JP2019219574A (ja) | 2019-12-26 |
JP6980603B2 true JP6980603B2 (ja) | 2021-12-15 |
Family
ID=68980742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018118090A Active JP6980603B2 (ja) | 2018-06-21 | 2018-06-21 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11495235B2 (ja) |
JP (1) | JP6980603B2 (ja) |
CN (1) | CN110706714B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102637339B1 (ko) * | 2018-08-31 | 2024-02-16 | 삼성전자주식회사 | 음성 인식 모델을 개인화하는 방법 및 장치 |
JP7388239B2 (ja) * | 2020-02-21 | 2023-11-29 | 日本電信電話株式会社 | 照合装置、照合方法、および、照合プログラム |
WO2021187146A1 (ja) * | 2020-03-16 | 2021-09-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報送信装置、情報受信装置、情報送信方法、プログラム、及び、システム |
US20230326465A1 (en) * | 2020-08-31 | 2023-10-12 | Nec Corporation | Voice processing device, voice processing method, recording medium, and voice authentication system |
US11315575B1 (en) * | 2020-10-13 | 2022-04-26 | Google Llc | Automatic generation and/or use of text-dependent speaker verification features |
CN112466280B (zh) * | 2020-12-01 | 2021-12-24 | 北京百度网讯科技有限公司 | 语音交互方法、装置、电子设备和可读存储介质 |
JPWO2023135788A1 (ja) * | 2022-01-17 | 2023-07-20 | ||
US11770268B2 (en) * | 2022-02-14 | 2023-09-26 | Intel Corporation | Enhanced notifications for online collaboration applications |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06161495A (ja) * | 1992-01-24 | 1994-06-07 | Ricoh Co Ltd | 音声認識装置 |
US5737485A (en) * | 1995-03-07 | 1998-04-07 | Rutgers The State University Of New Jersey | Method and apparatus including microphone arrays and neural networks for speech/speaker recognition systems |
US20050149462A1 (en) * | 1999-10-14 | 2005-07-07 | The Salk Institute For Biological Studies | System and method of separating signals |
US9230550B2 (en) | 2013-01-10 | 2016-01-05 | Sensory, Incorporated | Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination |
US9343068B2 (en) * | 2013-09-16 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for controlling access to applications having different security levels |
US20160293167A1 (en) * | 2013-10-10 | 2016-10-06 | Google Inc. | Speaker recognition using neural networks |
US9324320B1 (en) * | 2014-10-02 | 2016-04-26 | Microsoft Technology Licensing, Llc | Neural network-based speech processing |
JP6461660B2 (ja) | 2015-03-19 | 2019-01-30 | 株式会社東芝 | 検出装置、検出方法およびプログラム |
JP6506074B2 (ja) * | 2015-03-30 | 2019-04-24 | 日本電信電話株式会社 | 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法及びプログラム |
US9978374B2 (en) * | 2015-09-04 | 2018-05-22 | Google Llc | Neural networks for speaker verification |
US20180018973A1 (en) * | 2016-07-15 | 2018-01-18 | Google Inc. | Speaker verification |
WO2018029777A1 (ja) * | 2016-08-09 | 2018-02-15 | 三菱電機株式会社 | 話者適応化装置、音声認識装置および音声認識方法 |
US9824692B1 (en) * | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
US9741337B1 (en) * | 2017-04-03 | 2017-08-22 | Green Key Technologies Llc | Adaptive self-trained computer engines with associated databases and methods of use thereof |
-
2018
- 2018-06-21 JP JP2018118090A patent/JP6980603B2/ja active Active
-
2019
- 2019-02-12 CN CN201910110478.2A patent/CN110706714B/zh active Active
- 2019-03-08 US US16/296,410 patent/US11495235B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN110706714A (zh) | 2020-01-17 |
US11495235B2 (en) | 2022-11-08 |
CN110706714B (zh) | 2023-12-01 |
JP2019219574A (ja) | 2019-12-26 |
US20190392839A1 (en) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6980603B2 (ja) | 話者モデル作成システム、認識システム、プログラムおよび制御装置 | |
Sahidullah et al. | Introduction to voice presentation attack detection and recent advances | |
US11450313B2 (en) | Determining phonetic relationships | |
US11990120B2 (en) | Non-speech input to speech processing system | |
JP6550068B2 (ja) | 音声認識における発音予測 | |
JP6622505B2 (ja) | 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム | |
KR101154011B1 (ko) | 다중 모델 적응화와 음성인식장치 및 방법 | |
JP6495850B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび認識システム | |
JP5200712B2 (ja) | 音声認識装置、音声認識方法及びコンピュータプログラム | |
JP5175325B2 (ja) | 音声認識用wfst作成装置とそれを用いた音声認識装置と、それらの方法とプログラムと記憶媒体 | |
CN105009206B (zh) | 语音识别装置和语音识别方法 | |
JP6680933B2 (ja) | 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム | |
JP6985221B2 (ja) | 音声認識装置及び音声認識方法 | |
Hourri et al. | A novel scoring method based on distance calculation for similarity measurement in text-independent speaker verification | |
JP6631883B2 (ja) | クロスリンガル音声合成用モデル学習装置、クロスリンガル音声合成用モデル学習方法、プログラム | |
JP2024510798A (ja) | ハイブリッド多言語テキスト依存およびテキスト非依存の話者検証 | |
Ons et al. | Fast vocabulary acquisition in an NMF-based self-learning vocal user interface | |
JP2016186516A (ja) | 疑似音声信号生成装置、音響モデル適応装置、疑似音声信号生成方法、およびプログラム | |
JP6852029B2 (ja) | ワード検出システム、ワード検出方法及びワード検出プログラム | |
JP2005283646A (ja) | 音声認識率推定装置 | |
KR20240112028A (ko) | 발음열 유사도를 이용한 음성 자동 학습 시스템 및 방법과 이를 위한 컴퓨터 프로그램 | |
Mandal et al. | Accoustic Modeling for Development of Accented Indian English ASR | |
KR101214251B1 (ko) | 다중 모델 적응화방법 | |
Gómez | Brazilian Portuguese Speech Recognition for Navigation on Mobile Device Applications | |
Myint | Testing Speech to Text Application on Android Platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6980603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |