JP7329393B2 - 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム - Google Patents
音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム Download PDFInfo
- Publication number
- JP7329393B2 JP7329393B2 JP2019159954A JP2019159954A JP7329393B2 JP 7329393 B2 JP7329393 B2 JP 7329393B2 JP 2019159954 A JP2019159954 A JP 2019159954A JP 2019159954 A JP2019159954 A JP 2019159954A JP 7329393 B2 JP7329393 B2 JP 7329393B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- speech
- recognition
- feature
- target speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
Description
まず、第1の実施形態の音声認識装置について説明する。第1の実施形態の音声認識装置は、従来のend-to-endの音声認識装置の中に特定の話者の音声信号に着目させる機能を加えることで、特定話者の音声認識結果を出力させるようにしたものである。
まず、図1を用いて、第1の実施形態に係る音声認識装置の構成について説明する。図1は、第1の実施形態に係る音声認識装置の構成の一例を示す図である。図1に示すように、音声認識装置10は、符号化部11、補助特徴量抽出部12及び復号部13を有する。なお、符号化部11は、認識用特徴量抽出部の一例である。また、復号部13は、認識部の一例である。第1の実施形態に係る音声認識装置は、従来のend-to-endの音声認識装置と比べると、補助特徴量抽出部12を備え、符号化部11において補助特徴量抽出部12から得られる情報に着目した符号化処理を行う(適応部112を備える)点が異なる。
参考文献1:K. Vesely, S. Watanabe, K. Zmolikova, M. Karafiat, L. Burget, and J. H. Cernocky, “Sequence summarizing neural network for speaker adaptation,” in Proc. of ICASSP’16, 2016, pp. 5315-5319.
参考文献2:S. Watanabe, T. Hori, S. Kim, J. R. Hershey, and T. Hayashi, “Hybrid CTC/attention architecture for end-to-end speech recognition,” IEEE Journal of Selected Topics in Signal Processing, vol. 11, no. 8, pp. 1240-1253, 2017.
参考文献3:M. Delcroix, K. Kinoshita, A. Ogawa, C. Huemmer and T. Nakatani, "Context Adaptive Neural Network Based Acoustic Models for Rapid Adaptation," in IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 26, no. 5, pp. 895-908, May 2018.
参考文献4:M. Delcroix, K. Zmolikova, T. Ochiai, K. Kinoshita, S. Araki, and T. Nakatani, “Compact network for speakerbeam target speaker extraction,” in Proc. of ICASSP19, 2019.
ここで、図2を用いて、音声認識装置10で用いられる各ニューラルネットワークの学習を行うための学習装置の構成を説明する。図2は、第1の実施形態に係る学習装置の構成の一例を示す図である。
図3を用いて、音声認識装置10の処理の流れを説明する。図3は、第1の実施形態に係る音声認識装置の処理の流れを示すフローチャートである。図3に示すように、まず、音声認識装置10は、混合音声の特徴量の入力を受け付ける(ステップS101)。次に、音声認識装置10は、混合音声の特徴量を中間特徴量に変換する(ステップS102)。
図4を用いて、学習装置20の処理の流れを説明する。図4は、第1の実施形態に係る学習装置の処理の流れを示すフローチャートである。図4に示すように、まず、学習装置20は、音声認識処理を実行し、シンボル系列を出力する(ステップS201)。ここで、音声認識処理は、図3に示す音声認識装置10による処理と同等の処理である。
これまで説明してきたように、音声認識装置10は、第1のニューラルネットワークを用いて、目的話者の発話の特徴量から補助特徴量を抽出する。また、音声認識装置10は、第2のニューラルネットワークを用いて、補助特徴量及び混合音声の特徴量から、混合音声中の目的話者の発話の特徴を反映した認識用特徴量を抽出する。また、音声認識装置10は、認識用特徴量から、目的話者の発話に対応するシンボル系列を特定する情報を取得する。
第2の実施形態の音声認識装置について説明する。第1の実施形態の音声認識装置と同様に、第2の実施形態の音声認識装置は、従来のend-to-endの音声認識装置の中に特定の話者の音声信号に着目させる機能を加えることで、特定話者の音声認識結果を出力させるようにしたものである。
まず、図5を用いて、第2の実施形態に係る音声認識装置の構成について説明する。図5は、第2の実施形態に係る音声認識装置の構成の一例を示す図である。図5に示すように、音声認識装置30は、マスク推定部31、補助特徴量抽出部32及、マスク適用部33及び認識部34を有する。なお、マスク推定部31及びマスク適用部33は、認識用特徴量抽出部の一例である。
参考文献5:A. Narayanan and D. Wang, “Ideal ratio mask estimation using deep neural networks for robust speech recognition,” in Proc. ICASSP’13. IEEE, 2013, pp. 7092-7096.
参考文献6:D. Wang and J. Chen, “Supervised speech separation based on deep learning: An overview,” IEEE/ACM Trans. ASLP, vol. 26, no. 10, pp. 1702-1726, 2018.
図6を用いて、音声認識装置30で用いられる各ニューラルネットワークの学習を行うための学習装置の構成を説明する。図6は、第2の実施形態に係る学習装置の構成の一例を示す図である。
図7を用いて、音声認識装置30の処理の流れを説明する。図7は、第2の実施形態に係る音声認識装置の処理の流れを示すフローチャートである。図7に示すように、まず、音声認識装置30は、混合音声の特徴量の入力を受け付ける(ステップS301)。次に、音声認識装置30は、混合音声の特徴量を中間特徴量に変換する(ステップS302)。
これまで説明してきたように、音声認識装置30は、マスク推定ニューラルネットワークの所定の中間層に入力された中間特徴量を、補助特徴量を用いて、目的話者に適応した中間特徴量に変換し中間層から出力させた上で、マスク推定ニューラルネットワークの出力をマスクとして取得し、マスクを用いて、混合音声の特徴量から認識用特徴量を抽出する。これにより、マスク推定を行うニューラルネットワークを利用して、目的話者の音声認識を行うことが可能になる。
これまで説明してきたように、各実施形態においては、全てのニューラルネットワークを1つのend-to-endのニューラルネットワークとみなして学習が行われる。例えば、第1の実施形態では、補助ニューラルネットワークと音声認識ニューラルネットワークとを1つのend-to-endのニューラルネットワークとみなすことができる。また、第2の実施形態では、補助ニューラルネットワークとマスク推定ニューラルネットワークに加え、認識部34によって用いられる音声認識用のニューラルネットワークを1つのend-to-endのニューラルネットワークとみなすことができる。
これまでの実施形態では、音声認識装置が、音声認識の結果として、シンボル系列を特定するための情報を出力するものとして説明してきた。一方で、音声認識装置の処理の過程で得られる情報を用いて、目的話者のアクティブな時間区間、すなわち、混合音声の時間区間のうち、目的話者の音声が含まれている時間区間を示す情報を特定する用途に利用することもできる。つまり、上述の実施形態で説明した音声認識装置を、目的話者の発話区間を推定する発話情報推定装置として用いることもできる。発話情報推定装置で得られる発話区間の情報は、混合音声信号の解析(誰が、いつ、発言したかのトラッキング)や、音声強調信号処理(特定の話者の発話区間の音声を強調した強調音声信号を生成する)に応用することができる。
第4の実施形態の発話情報推定装置の構成を図8に示す。図8は、第4の実施形態に係る発話情報推定装置の構成の一例を示す図である。図8に示すように、発話情報推定装置50は、符号化部51、補助特徴量抽出部52、復号部53及び発話区間推定部53aを有する。また、符号化部51は、第1変換部511、適応部512及び第2変換部513を有する。
図9を用いて、発話情報推定装置50の処理の流れを説明する。図9は、第4の実施形態に係る発話情報推定装置の処理の流れを示すフローチャートである。図9に示すように、まず、発話情報推定装置50は、混合音声の特徴量の入力を受け付ける(ステップS501)。次に、発話情報推定装置50は、混合音声の特徴量を中間特徴量に変換する(ステップS502)。
発話情報推定装置50は、所定時間区間ごとの混合音声信号に基づき、認識用特徴量を抽出する。また、発話情報推定装置50は、アテンションデコーダを用いて、所定時間区間ごとの認識用特徴量から、所定時間区間の混合音声に含まれる目的話者の発話に対応するシンボル系列を特定する情報を取得する。また、発話情報推定装置50は、所定時間区間ごとに、アテンションデコーダで得られるアテンション重みの総和を計算し、当該総和が所定の閾値以上となる時間区間を目的話者がアクティブな時間区間として出力する。
[第5の実施形態の発話情報推定装置の構成]
第5の実施形態は、第4の実施形態と同じく、目的話者のアクティブな時間区間(発話区間)を推定する発話情報推定装置である。第5の実施形態の発話情報推定装置の構成は、第4の実施形態のものと同じである。一方で、第5の実施形態では、発話区間推定部53aの処理が第4の実施形態のものと相違する。以下、第4の実施形態との相違点を中心に説明する。
aaa → a
Aab → ab
aεa → aa
第5の実施形態の発話情報推定装置50の処理の流れは、図9に示すものと同様である。ただし、第5の実施形態においては、適応済み中間特徴量の復号において得られる情報は、CTCデコーダ531によって計算される事後確率である。
発話情報推定装置50は、所定時間区間ごとの混合音声信号に基づき、認識用特徴量を抽出する。また、発話情報推定装置50は、CTCデコーダ531を用いて、所定時間区間ごとの認識用特徴量から、所定時間区間の混合音声に含まれる目的話者の発話に対応するシンボル系列を特定する情報を取得する。また、発話区間推定部53aは、CTCデコーダ531で得られるブランクシンボルの事後確率が所定の閾値以下となる時間区間を、目的話者がアクティブな時間区間として出力する。
第4の実施形態及び第5の実施形態は、第1の実施形態をベースに説明をしたが、第2実施形態の構成を前提としてもよい。第2の実施形態を前提とする場合、認識部34を構成するデコーダ部分がCTCデコーダ及びアテンションデコーダで構成されていれば、そこから第1実施形態の復号部13と同じ情報が得られるので、発話区間推定部は、このデコーダで得られるアテンション重み、若しくはブランクシンボルの事後確率を用いて、目的話者のアクティブな時間区間を特定することができる。
目的話者のアクティブな時間区間は、第2の実施形態において推定されるマスクから推定することもできる。第6の実施形態では、発話情報推定装置は、マスクを基に時間区間を推定する。
図11を用いて、発話情報推定装置70の処理の流れを説明する。図11は、第6の実施形態に係る発話情報推定装置の処理の流れを示すフローチャートである。図11に示すように、まず、発話情報推定装置70は、混合音声の特徴量の入力を受け付ける(ステップS701)。次に、発話情報推定装置70は、混合音声の特徴量を中間特徴量に変換する(ステップS702)。
発話情報推定装置50は、マスクを混合音声に適用することで得られる信号のエネルギーが所定の閾値以上となる時間区間を、目的話者がアクティブな時間区間として出力する。
図12は、時間区間推定手法の比較結果を示す図である。図12は、(1)第6の実施形態、(2)第4の実施形態、(3)第5の実施形態のそれぞれの方法を使って目的話者がアクティブな時間区間を抽出した結果を可視化したものである。図12の(a)は、入力として用いる混合音声信号である。(b)は、混合音声信号に含まれる第1の話者のクリーンな音声信号(正解)である。(c)は、混合音声信号に含まれる第2の話者のクリーンな音声信号(正解)である。(d)は、音声認識装置30が推定したマスクを適用して抽出した第1の話者の音声信号(推定値)である。(e)は、音声認識装置30が推定したマスクを適用して抽出した第2の話者の音声信号(推定値)である。
図13から15を用いて、実験の結果について説明する。実験はいずれもESPnet(https://github.com/espnet/espnet)を用いて行われた。まず、従来手法と実施形態の手法の音声認識の精度を比較した結果を図13に示す。「Clean baseline」及び「Dominant baseline」は従来の手法である。「Clean baseline」は、クリーンな音声を用いてモデル学習させた従来のend-to-end音声認識装置(参考文献2)を使ったときの認識結果の精度を示す。「Dominant baseline」は、入力された混合音声信号のうち、音量が大きい方の話者の音声を対象として、従来のend-to-endの音声認識装置で音声認識したときの認識結果の精度を示す。また、「SpkBeam adap enc」は第1の実施形態である。また、「SpkBeam cascade」は第2の実施形態である。また、MTLは、マルチタスク学習を行うか否かを示している。図13に示すように、実施形態では、従来の手法と比べてCER(文字誤り率)及びWER(単語誤り率)が非常に小さくなった。また、マルチタスク学習を行うことでわずかに精度が向上した。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU(Central Processing Unit)及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
一実施形態として、実施形態に係る音声認識装置は、パッケージソフトウェアやオンラインソフトウェアとして上記の音声認識処理を実行する音声認識プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の音声認識プログラムを情報処理装置に実行させることにより、情報処理装置を音声認識装置として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
20、40 学習装置
50、70 発話情報推定装置
11、21、51 符号化部
12、22、32、42、52、72 補助特徴量抽出部
13、23、53 復号部
24、45 更新部
31、41、71 マスク推定部
33、43、73 マスク適用部
34、44 認識部
53a、73a 発話区間推定部
111、211、311、411、511、711 第1変換部
112、212、312、412、512、712 適応部
113、213、313、413、513、713 第2変換部
531 CTCデコーダ
532 アテンションデコーダ
Claims (8)
- 目的話者の発話の特徴量を基に第1のニューラルネットワークから出力された所定の個数の時間フレームに対応する特徴量の系列の要素の時間平均を表すベクトルである補助特徴量を計算する補助特徴量抽出部と、
第2のニューラルネットワークを用いて、前記補助特徴量及び混合音声の特徴量から、前記混合音声中の目的話者の発話の特徴を反映した認識用特徴量を抽出する認識用特徴量抽出部と、
前記認識用特徴量から、前記目的話者の発話に対応するシンボル系列を取得する認識部と、
を有することを特徴とする音声信号処理装置。 - 前記第1のニューラルネットワーク及び前記第2のニューラルネットワークは、両方のニューラルネットワークを1つのend-to-endのニューラルネットワークとみなして学習されたものであることを特徴とする請求項1に記載の音声信号処理装置。
- 前記認識用特徴量抽出部は、第2のニューラルネットワークの所定の中間層に入力された中間特徴量を、前記補助特徴量を用いて、前記目的話者に適応した中間特徴量に変換し前記中間層から出力させ、前記中間層から出力させた中間特徴量を前記認識用特徴量として抽出することを特徴とする請求項1に記載の音声信号処理装置。
- コンピュータが、
目的話者の発話の特徴量を基に第1のニューラルネットワークから出力された所定の個数の時間フレームに対応する特徴量の系列の要素の時間平均を表すベクトルである補助特徴量を計算する補助特徴量抽出工程と、
第2のニューラルネットワークを用いて、前記補助特徴量及び混合音声の特徴量から、前記目的話者の発話を認識するための認識用特徴量を抽出する認識用特徴量抽出工程と、
前記認識用特徴量から、前記目的話者の発話に対応するシンボル系列を取得し、当該取得した情報を音声認識結果として出力する認識工程と、
を実行することを特徴とする音声信号処理方法。 - コンピュータを、請求項1から3のいずれか1項に記載の音声信号処理装置として機能させるための音声信号処理プログラム。
- 目的話者の発話の特徴量を基に第1のニューラルネットワークから出力された所定の個数の時間フレームに対応する特徴量の系列の要素の時間平均を表すベクトルである補助特徴量を計算する補助特徴量抽出部と、
第2のニューラルネットワークを用いて、前記補助特徴量及び混合音声の特徴量から、前記混合音声中の前記目的話者の発話の特徴を反映した認識用特徴量を抽出する認識用特徴量抽出部と、
前記認識用特徴量から、前記目的話者の発話に対応するシンボル系列を取得する認識部と、
前記第1のニューラルネットワーク及び前記第2のニューラルネットワークを1つのend-to-endのニューラルネットワークとみなして、前記認識部によって取得された情報の正解に対する損失が小さくなるように、各ニューラルネットワークのパラメータを更新する更新部と、
を有することを特徴とする学習装置。 - コンピュータが、
目的話者の発話の特徴量を基に第1のニューラルネットワークから出力された所定の個数の時間フレームに対応する特徴量の系列の要素の時間平均を表すベクトルである補助特徴量を計算する補助特徴量抽出工程と、
第2のニューラルネットワークを用いて、前記補助特徴量及び混合音声の特徴量から、前記混合音声中の目的話者の特徴を反映した認識用特徴量を抽出する認識用特徴量抽出工程と、
前記認識用特徴量から、前記目的話者の発話に対応するシンボル系列を取得する認識工程と、
前記第1のニューラルネットワーク及び前記第2のニューラルネットワークを1つのend-to-endのニューラルネットワークとみなして、前記認識工程によって取得された情報の正解に対する損失が小さくなるように、各ニューラルネットワークのパラメータを更新する更新工程と、
を実行することを特徴とする学習方法。 - コンピュータを、請求項6に記載の学習装置として機能させるための学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019159954A JP7329393B2 (ja) | 2019-09-02 | 2019-09-02 | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019159954A JP7329393B2 (ja) | 2019-09-02 | 2019-09-02 | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039219A JP2021039219A (ja) | 2021-03-11 |
JP7329393B2 true JP7329393B2 (ja) | 2023-08-18 |
Family
ID=74848560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019159954A Active JP7329393B2 (ja) | 2019-09-02 | 2019-09-02 | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7329393B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259555A1 (ja) * | 2021-06-11 | 2022-12-15 | 日本電信電話株式会社 | 音声認識方法、音声認識装置および音声認識プログラム |
WO2023238231A1 (ja) * | 2022-06-07 | 2023-12-14 | 日本電信電話株式会社 | 目的話者抽出学習システム、目的話者抽出学習方法、及びプログラム |
CN117690421B (zh) * | 2024-02-02 | 2024-06-04 | 深圳市友杰智新科技有限公司 | 降噪识别联合网络的语音识别方法、装置、设备及介质 |
-
2019
- 2019-09-02 JP JP2019159954A patent/JP7329393B2/ja active Active
Non-Patent Citations (3)
Title |
---|
デルクロア マーク Marc DELCROIX,日本音響学会 2018年 春季研究発表会講演論文集CD-ROM [CD-ROM],2018年03月,pp.97-98 |
上乃 聖,CTCによる文字単位のモデルを併用したAttentionによる単語単位のEnd-to-End音声認識,情報処理学会研究報告,Vol. 2018-MUS-118, No.16,日本,日本情報処理学会,2018年02月21日,P1-6及び正誤表 |
木下 慶介 KEISUKE KINOSHITA,コミュニケーション科学のさらなる深化,NTT技術ジャーナル 第30巻 第9号 ,一般社団法人電気通信協会,2018年09月,第30巻,pp.12-15 |
Also Published As
Publication number | Publication date |
---|---|
JP2021039219A (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520741B (zh) | 一种耳语音恢复方法、装置、设备及可读存储介质 | |
CN109887484B (zh) | 一种基于对偶学习的语音识别与语音合成方法及装置 | |
CN106688034B (zh) | 具有情感内容的文字至语音转换 | |
JP7329393B2 (ja) | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム | |
US8386254B2 (en) | Multi-class constrained maximum likelihood linear regression | |
CN106875936B (zh) | 语音识别方法及装置 | |
JP2015075706A (ja) | 誤り修正モデル学習装置、及びプログラム | |
US10089978B2 (en) | Detecting customers with low speech recognition accuracy by investigating consistency of conversation in call-center | |
Deena et al. | Recurrent neural network language model adaptation for multi-genre broadcast speech recognition and alignment | |
EP3989217B1 (en) | Method for detecting an audio adversarial attack with respect to a voice input processed by an automatic speech recognition system, corresponding device, computer program product and computer-readable carrier medium | |
CN111081230A (zh) | 语音识别方法和设备 | |
JP2019215500A (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
JP2018072697A (ja) | 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム | |
Shahnawazuddin et al. | Improvements in IITG Assamese spoken query system: Background noise suppression and alternate acoustic modeling | |
Picheny et al. | Trends and advances in speech recognition | |
Gao et al. | Seamless equal accuracy ratio for inclusive CTC speech recognition | |
Sakamoto et al. | Stargan-vc+ asr: Stargan-based non-parallel voice conversion regularized by automatic speech recognition | |
Wu et al. | Denoising Recurrent Neural Network for Deep Bidirectional LSTM Based Voice Conversion. | |
JP6646337B2 (ja) | 音声データ処理装置、音声データ処理方法および音声データ処理プログラム | |
WO2016152132A1 (ja) | 音声処理装置、音声処理システム、音声処理方法、および記録媒体 | |
Drgas et al. | Speaker recognition based on multilevel speech signal analysis on Polish corpus | |
JP7291099B2 (ja) | 音声認識方法及び装置 | |
US11996086B2 (en) | Estimation device, estimation method, and estimation program | |
JP6220733B2 (ja) | 音声分類装置、音声分類方法、プログラム | |
JP7028203B2 (ja) | 音声認識装置、音声認識方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190917 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7329393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |