JP7469015B2 - 学習装置、音声合成装置及びプログラム - Google Patents
学習装置、音声合成装置及びプログラム Download PDFInfo
- Publication number
- JP7469015B2 JP7469015B2 JP2019181862A JP2019181862A JP7469015B2 JP 7469015 B2 JP7469015 B2 JP 7469015B2 JP 2019181862 A JP2019181862 A JP 2019181862A JP 2019181862 A JP2019181862 A JP 2019181862A JP 7469015 B2 JP7469015 B2 JP 7469015B2
- Authority
- JP
- Japan
- Prior art keywords
- context
- unit
- phoneme
- relative
- duration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 51
- 238000003786 synthesis reaction Methods 0.000 title claims description 49
- 230000001419 dependent effect Effects 0.000 claims description 123
- 239000011159 matrix material Substances 0.000 claims description 105
- 238000004458 analytical method Methods 0.000 claims description 91
- 238000000034 method Methods 0.000 claims description 76
- 238000006243 chemical reaction Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 30
- 230000015654 memory Effects 0.000 description 25
- 238000013179 statistical model Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000272186 Falco columbarius Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000037433 frameshift Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000004244 Cucurbita moschata Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
まず、本発明の実施形態による学習装置について説明する。図1は、本発明の実施形態による学習装置の構成を示すブロック図であり、図2は、学習装置の事前学習処理を示すフローチャートである。
記憶部10には、予め設定された音声コーパスが格納されている。音声コーパスは、予め設定されたテキストと、これに対応する予め設定された音声信号から構成される。例えば、ATR(株式会社国際電気通信基礎技術研究所)により作成された音素バランス503文を利用する場合、テキストとこれを読み上げた音声信号は、503対からなる。例えば、503対のうち統計モデルの訓練用に493対、評価用に8対、テスト用に5対を利用する。音声コーパスについては、以下の文献を参照されたい。
磯健一、渡辺隆夫、桑原尚夫、「音声データベース用文セットの設計」、音講論(春)、 pp.89-90(1988.3)
言語分析部11は、記憶部10から音声コーパスの各テキストを読み出し、テキストについて既知の言語分析処理を行う(ステップS201)。そして、言語分析部11は、文を構成する音素毎に、音素情報、アクセント情報、品詞情報、アクセント句情報、呼気段落情報、総数情報等の各情報を求め、文脈依存ラベルを生成する。言語分析部11は、音素毎の文脈依存ラベルを相対値化部12に出力する。
“MeCab:Yet Another Part-of-Speech and Morphological Analyzer”,インターネット<URL:http://taku910.github.io/mecab/>
また、言語分析処理としては、例えば以下に記載された係り受け解析処理が用いられる。
“CaboCha/南瓜:Yet Another Japanese Dependency Structure Analyzer”,インターネット<URL:https://taku910.github.io/cabocha/>
文脈依存ラベルの形式は言語によって異なるが、日本語においては、例えば前述の非特許文献2に記載された形式を利用することができる。図4は、非特許文献2に記載された文脈依存ラベルの形式例を示す図である。
相対値化部12は、言語分析部11から音素毎の文脈依存ラベルを入力し、音素毎の文脈依存ラベルについて、韻律に関わる時間情報を相対値化する時間情報相対値化処理を行う(ステップS202)。そして、相対値化部12は、音素毎に、韻律に関わる相対値の時間情報を含む文脈依存相対ラベルを生成し、音素毎の文脈依存相対ラベルを文脈質問群処理部13に出力する。ここでの相対値は、例えば0~1の範囲における実数値である。
相対値化部12は、文脈依存ラベルを構成する複数の情報のうち、韻律に関わる時間情報について相対値化し、相対的な数値ではない(相対値化できない)情報について相対値化しないで、文脈依存相対ラベルを生成する。以下、韻律に関わる時間情報の相対値化処理について、具体的に説明する。
相対値化部12は、以下の式にて、文脈依存ラベルを構成する複数の情報のうち、現在着目している音素の属する呼気段落におけるアクセント句数及び拍数並びに発話内における現在着目している音素の属する呼気段落の呼気段落単位での位置、アクセント句単位及び拍単位での位置(i1~i8)について、それぞれ発話内の呼気段落数、アクセント句数及び拍数(k1~k3)で除算し、相対値(I1~I8)を求める。相対値(I1,I2)は相対的な数(割合)を示し、相対値(I3~I8)は相対的な位置を示す。
[数1]
I1=i1/k2
I2=i2/k3
In=in/k1 for n=3,4
In=in/k2 for n=5,6
In=in/k3 for n=7,8 ・・・(1)
[数2]
H1=h1/k2
H2=h2/k3
J1=j1/k2
J2=j2/k3 ・・・(2)
相対値化部12は、以下の式にて、文脈依存ラベルを構成する複数の情報のうち、現在着目している音素の属するアクセント句の拍数及びアクセント核の拍単位での位置(f1,f2)について、それぞれ現在着目している音素の属する呼気段落における拍数及びアクセント句の拍数(i2,f1)で除算し、相対値(F1,F2)を求める。ここで、アクセント核は、音が低くなる直前の高い音節の部分をいう。相対値(F1)は相対的な数を示し、相対値(F2)は相対的な位置を示す。
[数3]
F1=f1/i2
F2=f2/f1 ・・・(3)
[数4]
Fn=fn/i1 for n=5,6
Fn=fn/i2 for n=7,8 ・・・(4)
[数5]
E1=e1/i’2
E2=e2/e1
G1=g1/i”2
G2=g2/g1 ・・・(5)
相対値化部12は、以下の式にて、文脈依存ラベルを構成する複数の情報のうち、現在着目している音素の属するアクセント句における拍単位での位置及びアクセント核からの拍単位での位置(a1~a3)について、現在着目している音素の属するアクセント句の拍数(f1)で除算し、相対値(A1~A3)を求める。相対値(A1~A3)は相対的な位置を示す。
[数6]
An=an/f1 for n=1,2,3 ・・・(6)
p1^p2-p3+p4=p5/A:A1+A2+A3
/B:b1-b2_b3/C:c1_c2+c3/D:d1+d2_d3
/E:E1_E2!e3_e4-e5/F:F1_F2#f3_f4@F5_F6|F7_F8/G:G1_G2%g3_g4_g5
/H:H1_H2/I:I1-I2@I3+I4&I5-I6|I7+I8/J:J1_J2
尚、前記の文脈依存相対ラベルは、便宜上4行に分割して記述しているが、実際は音素毎に1行で記述する。詳細については、前述の非特許文献2を参照されたい。
図1及び図2に戻って、文脈質問群処理部13は、相対値化部12から音素毎の文脈依存相対ラベルを入力し、音素毎の文脈依存相対ラベルについて、文脈に関する質問群を適用する文脈質問群適用処理を行う(ステップS203)。そして、文脈質問群処理部13は、音素毎の言語特徴行列を生成し、音素毎の言語特徴行列を対応付け部15に出力する。
図1及び図2に戻って、音声分析部14は、記憶部10から音声コーパスの各テキストに対応する各音声信号を読み出す。そして、音声分析部14は、フレーム毎に音声信号を切り出し、フレーム毎の音声信号について既知の音声(音響)分析処理を行い、フレーム毎の所定情報からなる音響特徴量を求める(ステップS204)。音声分析部14は、フレーム毎の音響特徴量を対応付け部15に出力する。
“A high-quality speech analysis, manipulation and synthesis system”,インターネット<URL:https://github.com/mmorise/World>
また、例えば以下に記載された音声信号処理が用いられる。
“Speech Signal Processing Toolkit(SPTK) Version 3.11 December 25, 2017”,インターネット<URL:http://sp-tk.sourceforge.net/>
“REFERENCE MANUAL for Speech Signal Processing Toolkit Ver. 3.9”
図1及び図2に戻って、対応付け部15は、文脈質問群処理部13から音素毎の言語特徴行列を入力すると共に、音声分析部14からフレーム毎の音響特徴量を入力する。
“The Hidden Markov Model Toolkit(HTK)”,インターネット<URL:http://htk.eng.cam.ac.uk>
“The HTK Book (for HTK Version 3.4)”,Cambridge University Engineering Department ,インターネット<URL:www.seas.ucla.edu/spapl/weichu/htkbook/>
図1及び図2に戻って、学習部16は、対応付け部15から音素毎の言語特徴行列及び音素毎の継続時間長を入力する。そして、学習部16は、音素毎の言語特徴行列及び音素毎の継続時間長を学習データとして、時間長モデルを学習し(ステップS207)、時間長モデルを記憶部17に格納する。
時間長モデルの学習処理について説明する。図11は、学習部16のステップS207の時間長モデル学習処理を説明する図である。
“CSTR-Edinburgh/merlin”,インターネット<URL:https://github.com/CSTR-Edinburgh/merlin>
後述する音響モデルの学習の場合も同様である。
音響モデルの学習処理について説明する。図12は、学習部16のステップS208の音響モデル学習処理を説明する図である。
次に、本発明の実施形態による音声合成装置について説明する。図13は、本発明の実施形態による音声合成装置の構成を示すブロック図であり、図14は、音声合成装置の音声合成処理を示すフローチャートである。
言語分析部20は、音声合成処理の対象とするテキストを入力し、図1に示した言語分析部11と同様の処理を行い(ステップS1401)、文脈依存ラベルを相対値化部21に出力する。
時間長推定部23は、文脈質問群処理部22から音素毎の言語特徴行列を入力し、音素毎の言語特徴行列及び記憶部17に格納された時間長モデルを用いて、音素毎の継続時間長を推定する(ステップS1404)。
音響特徴量推定部24は、時間長推定部23からフレーム毎の言語特徴量を入力し、フレーム毎の言語特徴量及び記憶部18に格納された音響モデルを用いて、フレーム毎の音響特徴量を推定する(ステップS1405)。音響特徴量推定部24は、フレーム毎の音響特徴量を音声生成部25に出力する。
音声生成部25は、音響特徴量推定部24からフレーム毎の音響特徴量を入力し、フレーム毎の音響特徴量に基づいて音声信号を合成する(ステップS1406)。そして、音声生成部25は、音声合成対象のテキストに対する音声信号を出力する。
次に、従来技術と本発明の実施形態とを比較するためのシミュレーションによる実験結果について説明する。以下に説明する実験結果の従来技術は、前述の非特許文献2及び非特許文献3を利用して言語特徴行列を生成し、時間長モデル及び音響モデルを学習したものである。
2 音声合成装置
10,17,18 記憶部
11,20 言語分析部
12,21 相対値化部
13,22 文脈質問群処理部
14 音声分析部
15 対応付け部
16 学習部
23 時間長推定部
24 音響特徴量推定部
25 音声生成部
Claims (7)
- 予め音声信号がテキストに対応するように設定された前記テキスト及び前記音声信号に基づいて、音声合成に用いる時間長モデル及び音響モデルを学習する学習装置において、
予め設定された前記テキストについて言語分析処理を行い、文脈依存ラベルを生成する言語分析部と、
前記言語分析部により生成された前記文脈依存ラベルに含まれる韻律に関わる時間情報を相対値化し、前記韻律に関わる相対値の前記時間情報を含む文脈依存相対ラベルを生成する相対値化部と、
前記相対値化部により生成された前記文脈依存相対ラベルについて、予め設定された文脈に関する質問群を適用する処理を行い、言語特徴行列を生成する文脈質問群処理部と、
予め設定された前記テキストに対応する前記音声信号について音声分析処理を行い、音響特徴量を求める音声分析部と、
前記文脈質問群処理部により生成された前記言語特徴行列と前記音声分析部により求めた前記音響特徴量との時間的な対応付けを行い、音素毎の継続時間長を求め、当該音素毎の継続時間長及び前記言語特徴行列から言語特徴量を求める対応付け部と、
前記文脈質問群処理部により生成された前記言語特徴行列及び前記対応付け部により求めた前記音素毎の継続時間長を用いて、前記時間長モデルを学習し、前記対応付け部により求めた前記言語特徴量及び前記音声分析部により求めた前記音響特徴量を用いて、前記音響モデルを学習する学習部と、
を備えたことを特徴とする学習装置。 - 請求項1に記載の学習装置において、
前記学習部は、
前記時間長モデル及び前記音響モデルについて深層学習(DL:Deep Learning)を行う、ことを特徴とする学習装置。 - 請求項1に記載の学習装置において、
前記相対値化部は、
前記韻律に関わる時間情報を、現在着目している音素の属する位置であって、発話内の呼気段落単位での位置、発話内の呼気段落のアクセント句単位での位置、発話内の呼気段落の拍単位での位置、呼気段落内のアクセント句単位での位置、呼気段落内のアクセント句の拍単位での位置、アクセント句内の拍単位での位置、及びアクセント句内のアクセント核からの拍単位での位置のうちの1つまたは複数の情報とし、
現在着目している音素の属する位置の相対値であって、前記発話内の呼気段落単位での位置の相対値、前記発話内の呼気段落のアクセント句単位での位置の相対値、前記発話内の呼気段落の拍単位での位置の相対値、前記呼気段落内のアクセント句単位での位置の相対値、前記呼気段落内のアクセント句の拍単位での位置の相対値、前記アクセント句内の拍単位での位置の相対値、及び前記アクセント句内のアクセント核からの拍単位での位置の相対値のうちの、前記韻律に関わる時間情報に対応する1つまたは複数の前記相対値を含む前記文脈依存相対ラベルを求める、ことを特徴とする学習装置。 - 請求項1または2の学習装置により学習された時間長モデル及び音響モデルを用いて、任意のテキストに対する音声信号を合成する音声合成装置において、
前記任意のテキストについて言語分析処理を行い、文脈依存ラベルを生成する言語分析部と、
前記言語分析部により生成された前記文脈依存ラベルに含まれる韻律に関わる時間情報を相対値化し、前記韻律に関わる相対値の前記時間情報を含む文脈依存相対ラベルを生成する相対値化部と、
前記相対値化部により生成された前記文脈依存相対ラベルについて、予め設定された文脈に関する質問群を適用する処理を行い、言語特徴行列を生成する文脈質問群処理部と、
前記文脈質問群処理部により生成された前記言語特徴行列及び前記時間長モデルを用いて、音素毎の継続時間長を推定し、当該音素毎の継続時間長及び前記言語特徴行列から言語特徴量を求める時間長推定部と、
前記時間長推定部により求めた前記言語特徴量及び前記音響モデルを用いて、音響特徴量を推定する音響特徴量推定部と、
前記音響特徴量推定部により推定された前記音響特徴量に基づいて、前記音声信号を合成する音声生成部と、
を備えたことを特徴とする音声合成装置。 - 請求項3の学習装置により学習された時間長モデル及び音響モデルを用いて、任意のテキストに対する音声信号を合成する音声合成装置において、
前記任意のテキストについて言語分析処理を行い、文脈依存ラベルを生成する言語分析部と、
前記言語分析部により生成された前記文脈依存ラベルに含まれる韻律に関わる時間情報を相対値化し、前記韻律に関わる相対値の前記時間情報を含む文脈依存相対ラベルを生成する相対値化部と、
前記相対値化部により生成された前記文脈依存相対ラベルについて、予め設定された文脈に関する質問群を適用する処理を行い、言語特徴行列を生成する文脈質問群処理部と、
前記文脈質問群処理部により生成された前記言語特徴行列及び前記時間長モデルを用いて、音素毎の継続時間長を推定し、当該音素毎の継続時間長及び前記言語特徴行列から言語特徴量を求める時間長推定部と、
前記時間長推定部により求めた前記言語特徴量及び前記音響モデルを用いて、音響特徴量を推定する音響特徴量推定部と、
前記音響特徴量推定部により推定された前記音響特徴量に基づいて、前記音声信号を合成する音声生成部と、を備え、
前記相対値化部は、
前記韻律に関わる時間情報を、現在着目している音素の属する位置であって、発話内の呼気段落単位での位置、発話内の呼気段落のアクセント句単位での位置、発話内の呼気段落の拍単位での位置、呼気段落内のアクセント句単位での位置、呼気段落内のアクセント句の拍単位での位置、アクセント句内の拍単位での位置、及びアクセント句内のアクセント核からの拍単位での位置のうちの1つまたは複数の情報とし、
現在着目している音素の属する位置の相対値であって、前記発話内の呼気段落単位での位置の相対値、前記発話内の呼気段落のアクセント句単位での位置の相対値、前記発話内の呼気段落の拍単位での位置の相対値、前記呼気段落内のアクセント句単位での位置の相対値、前記呼気段落内のアクセント句の拍単位での位置の相対値、前記アクセント句内の拍単位での位置の相対値、及び前記アクセント句内のアクセント核からの拍単位での位置の相対値のうちの、前記韻律に関わる時間情報に対応する1つまたは複数の前記相対値を含む前記文脈依存相対ラベルを求める、ことを特徴とする音声合成装置。 - コンピュータを、請求項1から3までのいずれか一項に記載の学習装置として機能させるためのプログラム。
- コンピュータを、請求項4または5に記載の音声合成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019181862A JP7469015B2 (ja) | 2019-10-02 | 2019-10-02 | 学習装置、音声合成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019181862A JP7469015B2 (ja) | 2019-10-02 | 2019-10-02 | 学習装置、音声合成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021056467A JP2021056467A (ja) | 2021-04-08 |
JP7469015B2 true JP7469015B2 (ja) | 2024-04-16 |
Family
ID=75272539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019181862A Active JP7469015B2 (ja) | 2019-10-02 | 2019-10-02 | 学習装置、音声合成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7469015B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018146803A (ja) | 2017-03-06 | 2018-09-20 | 日本放送協会 | 音声合成装置及びプログラム |
WO2018216729A1 (ja) | 2017-05-24 | 2018-11-29 | 日本放送協会 | 音声ガイド生成装置、音声ガイド生成方法及び放送システム |
JP2020106643A (ja) | 2018-12-27 | 2020-07-09 | 株式会社エーアイ | 言語処理装置、言語処理プログラムおよび言語処理方法 |
-
2019
- 2019-10-02 JP JP2019181862A patent/JP7469015B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018146803A (ja) | 2017-03-06 | 2018-09-20 | 日本放送協会 | 音声合成装置及びプログラム |
WO2018216729A1 (ja) | 2017-05-24 | 2018-11-29 | 日本放送協会 | 音声ガイド生成装置、音声ガイド生成方法及び放送システム |
JP2020106643A (ja) | 2018-12-27 | 2020-07-09 | 株式会社エーアイ | 言語処理装置、言語処理プログラムおよび言語処理方法 |
Non-Patent Citations (1)
Title |
---|
松永 悟行ほか,"深層学習を用いた日本語音声合成における基本周波数に適した言語特徴量の正規化手法",電子情報通信学会論文誌D ,2019年10月,第J102-D巻, 第10号,p.721-729 |
Also Published As
Publication number | Publication date |
---|---|
JP2021056467A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4007997B1 (en) | Controlling expressivity in end-to-end speech synthesis systems | |
Van Den Oord et al. | Wavenet: A generative model for raw audio | |
Oord et al. | Wavenet: A generative model for raw audio | |
JP6727607B2 (ja) | 音声認識装置及びコンピュータプログラム | |
Tokuda et al. | Speech synthesis based on hidden Markov models | |
JP6777768B2 (ja) | 単語ベクトル化モデル学習装置、単語ベクトル化装置、音声合成装置、それらの方法、及びプログラム | |
US12039969B2 (en) | Speech processing system and a method of processing a speech signal | |
Wang et al. | A Vector Quantized Variational Autoencoder (VQ-VAE) Autoregressive Neural $ F_0 $ Model for Statistical Parametric Speech Synthesis | |
CN107615376B (zh) | 声音识别装置及计算机程序记录介质 | |
KR20240096867A (ko) | 2-레벨 스피치 운율 전송 | |
Hsia et al. | Exploiting prosody hierarchy and dynamic features for pitch modeling and generation in HMM-based speech synthesis | |
EP4266306A1 (en) | A speech processing system and a method of processing a speech signal | |
Inoue et al. | Model architectures to extrapolate emotional expressions in DNN-based text-to-speech | |
CN117043857A (zh) | 用于英语发音评估的方法、设备和计算机程序产品 | |
JP5807921B2 (ja) | 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
Li et al. | Phoneme Embedding and its Application to Speech Driven Talking Avatar Synthesis. | |
Mandeel et al. | Speaker adaptation experiments with limited data for end-to-end text-to-speech synthesis using tacotron2 | |
Li et al. | Joint Multiscale Cross-Lingual Speaking Style Transfer With Bidirectional Attention Mechanism for Automatic Dubbing | |
JP7469015B2 (ja) | 学習装置、音声合成装置及びプログラム | |
JP6137708B2 (ja) | 定量的f0パターン生成装置、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
Khorram et al. | Soft context clustering for F0 modeling in HMM-based speech synthesis | |
Sun et al. | Speech Recognition and Text-to-Speech Synthesis | |
Dorca Saez | Neural Audio Generation for Speech Synthesis | |
Oralbekova et al. | Current advances and algorithmic solutions in speech generation | |
柳田智也 et al. | Japanese Incremental Text-to-speech Synthesis based on Accent Phrase Unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230710 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |