JP7179209B1 - 音声診断装置、音声診断方法、及び音声診断プログラム - Google Patents
音声診断装置、音声診断方法、及び音声診断プログラム Download PDFInfo
- Publication number
- JP7179209B1 JP7179209B1 JP2022016011A JP2022016011A JP7179209B1 JP 7179209 B1 JP7179209 B1 JP 7179209B1 JP 2022016011 A JP2022016011 A JP 2022016011A JP 2022016011 A JP2022016011 A JP 2022016011A JP 7179209 B1 JP7179209 B1 JP 7179209B1
- Authority
- JP
- Japan
- Prior art keywords
- voice
- scale
- user
- diagnosis
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002405 diagnostic procedure Methods 0.000 title description 3
- 238000003745 diagnosis Methods 0.000 claims abstract description 151
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 120
- 238000010586 diagram Methods 0.000 claims description 37
- 210000001584 soft palate Anatomy 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 230000001755 vocal effect Effects 0.000 claims description 16
- 230000000295 complement effect Effects 0.000 claims description 9
- 230000036541 health Effects 0.000 abstract description 18
- 230000000694 effects Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241001083548 Anemone Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 208000001528 Coronaviridae Infections Diseases 0.000 description 1
- 208000019202 Orthocoronavirinae infectious disease Diseases 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical group OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 210000001983 hard palate Anatomy 0.000 description 1
- 201000000615 hard palate cancer Diseases 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明者は、2万人以上の声(音声)のデータをもとに、声の周波数との思考パターンとの相関関係を音声心理学として体系化した。声の周波数を12音階に分類し、声にどんな周波数がふくまれているかを分析することで、声の持つ力やメンタルブロックを知ることができる。
図2は、第1実施形態における音声診断システムのネットワーク構成図である。この音声診断システムは、コンピュータを利用して音声診断を実施するシステムであり、ここでは、クラウド型の音声診断システムを例示している。具体的には、ユーザ端末10と音声診断装置20と管理端末100とがインターネット網Nなどのネットワークを介して接続されている。
図3は、第1実施形態における音声診断装置20の機能ブロック図である。この音声診断装置20は、ユーザの音声を診断するコンピュータであって、図3に示すように、記憶部21と、提供部22と、取得部23と、変換部24と、分類部25と、決定部26と、診断部27と、認証部28とを備える。これら各機能部は、コンピュータにおいて、CPUがメモリ上にロードされたプログラムを実行することにより実現される。
図4(A)は、記憶部21に記憶されている診断履歴データ21Aの内部構成図である。診断履歴データ21Aは、音声診断の履歴を示すデータである。具体的には、図4(A)に示すように、「診断ID」「ブラウザコード」「診断日時」などが対応付けて記憶されている。「診断ID」は、診断ごとに固有の識別番号である。「ブラウザコード」は、同一端末を使えば同値になるコードであり、具体的にはブラウザフィンガープリントである(後述する)。「診断日時」は、診断が行われた日時である。
Webサイトの閲覧者の識別や同定を行うために算出する、端末に固有の短いデータ列をブラウザフィンガープリントという。ブラウザフィンガープリントによれば、Cookieなどのように閲覧者の端末にデータを永続的に書き込む機能を用いなくても、端末の識別が可能である。フィンガープリントを算出するアルゴリズムは特に限定されるものではないが、ユーザ端末10のブラウザから取得できる複数の情報を元に算出するのが望ましい。本実施形態では、「Fingerprintjs2」を利用し、今回のユーザが過去のユーザと同一人物であるかどうかの判定のみ行うようにしている。このようなブラウザフィンガープリント技術によれば、ユーザごとの利用頻度の判定を行うことができるだけでなく、個人を特定せず同一人物であるかどうかを判定することができる。
図5は、第1実施形態における分布図表であり、図5(A)は表形式の分布図表、図5(B)は図形式の分布図表を示している。形式は異なるものの、内容は同じである。
図6~図10は、第1実施形態におけるユーザ端末10の画面遷移図である。ユーザ端末10のブラウザは、音声診断装置20からWebページデータを受け取ると、グラフィックに変換して、このような画面を表示(描画)するようになっている。
以下、診断結果画面D3について更に詳しく説明する。図10に示すように、診断結果画面D3には、あなたの声のタイプ11、あなたの声に多い色12、あなたの声に少ない色13、表形式の分布図表14A、図形式の分布図表14B、声からわかるあなたの性格・特徴15、あなたの課題16などが表示される。
図11は、第1実施形態における音声診断システムの動作例を示すシーケンス図である。以下、図11を用いて本システムの構成をその動作とともに説明する。
以下、第2実施形態について説明する。なお、以下の説明では、第1実施形態と異なる部分を中心に説明することとし、同様の部分については詳しい説明を省略する。
本発明者は、これまで約2万人の音声を診断し、カウンセリングを行ってきた。その人の思考パターンを音声変換ソフトで可視化し、音階と心の領域の関係性を突き止めた。また、聞こえない音域をも含む8オクターブまで読み解くことによって、音の全域で全倍音がバランスよく共鳴する声(以下、フルサウンドヴォイス)になることが重要であることを突き止め、さらに、フルサウンドヴォイスになるには、軟口蓋を開くことが鍵となることを突き止めた。軟口蓋とは、口腔の中の硬口蓋の奥の方のやわらかい部分をいう。軟口蓋を開くには、苦手分野(課題)のヴォイスカラーの音やその補色になるヴォイスカラーの音を出すことによって、苦手意識を変化させるワークを行うのが効果的である。
図12は、第2実施形態における音声診断装置20の機能ブロック図である。この音声診断装置20は、図12に示すように、ゾーン判定部30を備える。また、記憶部21は、ゾーンデータ21E、トレーニング音データ(以下、トレーニング音)21Fなどを記憶している。
図13は、第2実施形態におけるゾーンデータ21Eの概念図である。ゾーンデータ21Eは、軟口蓋の開き度を改善するための発声トレーニングゾーンを規定するデータであり、円環図を用いて音階と発声トレーニングゾーンを対応付けている。
図14は、第2実施形態における分布図表を示す模式図である。ここでは、12音階を「ド~レ♯」「ミ~ソ」「ソ♯~シ」に分割するとともに、音域を「低音域」「中音域」「高音域」に分割している。図中、「低音域」「中音域」「高音域」に対応させて描いている周波数(Hz)は例示であり、任意のオクターブの音域に設定することができる。このような分布図表をユーザ端末10に表示することによって声の響き方の弱い部分(どの音域が出にくいか)を確認し、トレーニング音21Fにあわせて声を出しながら声の響きを改善する。
図15は、第2実施形態におけるユーザ端末10に表示されたトレーニング画面D4であって、図15(A)はトレーニング前、図15(B)はトレーニング後を示している。この図では、分布図表の部分だけを描いているが、トレーニングの方法やトレーニング効果を示す文字情報のほか、各種のボタンが設けられていてもよい。
図16は、第2実施形態における音声診断システムの動作例を示すシーケンス図である。ここでは図示を省略するが、診断結果画面D3の最後に「トレーニングする」ボタンが設けられているものとする。もちろん、トレーニングするための操作が可能であればよく、このようなボタン操作に限定されるものではない。
図17は、本発明の実施形態における音声診断装置20のハードウェア構成図である。ここでは、音声診断装置20を例示するが、ユーザ端末10についても基本的には同じである。
以上のように、本発明の実施形態における音声診断装置20は、音声を診断する装置であって、音階ごとに特徴情報及び/又は課題情報を対応付けて記憶する記憶部21と、ユーザによって入力された音声データを音声周波数データに変換する変換部24と、変換部24によって変換された音声周波数データについて、オクターブに占める割合が最大の音階及び/又は最小の音階を決定する決定部26と、決定部26によって決定された最大の音階及び/又は最小の音階に基づいてユーザの音声を診断する診断部27と、ユーザに音声診断について説明する画面を提供して音声の入力開始を促すとともに、診断部27によって診断された診断結果をユーザに提供する提供部22とを備える。診断部27は、決定部26によって最大の音階が決定された場合、その最大の音階に対応付けて記憶部21に記憶されている特徴情報をユーザの特徴を示す情報とする。また、決定部26によって最小の音階が決定された場合、その最小の音階に対応付けて記憶部21に記憶されている課題情報をユーザの課題を示す情報とする。これにより、ユーザ端末10に表示される画面の説明に従って声を出すだけで、ユーザに理解しやすいかたちで診断結果に表示される。そのため、音声心理について知識がないユーザであっても、ユーザ自身で音声をセルフ診断して健康を促進させることができる。
以上のように、本発明の実施形態について記載したが、開示の一部をなす論述及び図面は例示的なものであり、限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
14A 表形式の分布図表
14B 図形式の分布図表
20 音声診断装置
21 記憶部
21A 診断履歴データ
21B 診断結果データ
21C 診断マスタデータ
21D HTMLデータ
21E ゾーンデータ
21F トレーニング音
22 提供部
23 取得部
24 変換部
25 分類部
26 決定部
27 診断部
28 認証部
29 入出力部
30 ゾーン判定部
Claims (3)
- 音声を診断する音声診断装置であって、
音階ごとに特徴情報及び/又は課題情報を対応付けて記憶する記憶部と、
ユーザによって入力された音声データを音声周波数データに変換する変換部と、
前記変換部によって変換された音声周波数データについて、音階に対応する周波数帯の声のパワーの和が、当該音階が属するオクターブに対応する周波数帯の声のパワーの総和に対して占める割合が最大の音階及び/又は最小の音階を決定する決定部と、
前記決定部によって決定された最大の音階及び/又は最小の音階に基づいて前記ユーザの音声を診断する診断部と、
前記ユーザに音声診断について説明する画面を提供して音声の入力開始を促すとともに、前記診断部によって診断された診断結果を前記ユーザに提供する提供部と、
前記決定部によって決定された最小の音階に基づいて、軟口蓋の開き度を改善するための発声トレーニングゾーンを判定するゾーン判定部と
を備え、
前記診断部は、前記決定部によって最大の音階が決定された場合、その最大の音階に対応付けて前記記憶部に記憶されている特徴情報を前記ユーザの特徴を示す情報とし、前記決定部によって最小の音階が決定された場合、その最小の音階に対応付けて前記記憶部に記憶されている課題情報を前記ユーザの課題を示す情報とし、
前記記憶部は、前記発声トレーニングゾーンごとに、当該発声トレーニングゾーンに対応する音階の音データであるトレーニング音を記憶し、
前記提供部は、前記ゾーン判定部によって判定された発声トレーニングゾーンに対応するトレーニング音を前記ユーザに提供しつつ、そのトレーニング音に合わせて前記ユーザに声を出させ、その声の音声データに基づいてトレーニングの効果を示す情報を前記ユーザに提供し、
前記ゾーン判定部は、円環図を用いて前記音階とヴォイスカラーを対応付け、前記最小の音階に対応するヴォイスカラー、又は前記最小の音階に対応するヴォイスカラーと補色の関係にあるヴォイスカラーに基づいて、前記発声トレーニングゾーンを判定する
ことを特徴とする音声診断装置。 - 音声を診断する音声診断方法であって、
コンピュータが、
音階ごとに特徴情報及び/又は課題情報を対応付けて記憶部に記憶する記憶ステップと、
ユーザによって入力された音声データを音声周波数データに変換する変換ステップと、
前記変換ステップで変換された音声周波数データについて、音階に対応する周波数帯の声のパワーの和が、当該音階が属するオクターブに対応する周波数帯の声のパワーの総和に対して占める割合が最大の音階及び/又は最小の音階を決定する決定ステップと、
前記決定ステップで決定された最大の音階及び/又は最小の音階に基づいて前記ユーザの音声を診断する診断ステップと、
前記ユーザに音声診断について説明する画面を提供して音声の入力開始を促すとともに、前記診断ステップで診断された診断結果を前記ユーザに提供する提供ステップと、
前記決定ステップで決定された最小の音階に基づいて、軟口蓋の開き度を改善するための発声トレーニングゾーンを判定するゾーン判定ステップと
を実行し、
前記診断ステップでは、前記決定ステップで最大の音階が決定された場合、その最大の音階に対応付けて前記記憶部に記憶されている特徴情報を前記ユーザの特徴を示す情報とし、前記決定ステップで最小の音階が決定された場合、その最小の音階に対応付けて前記記憶部に記憶されている課題情報を前記ユーザの課題を示す情報とし、
前記記憶ステップでは、前記発声トレーニングゾーンごとに、当該発声トレーニングゾーンに対応する音階の音データであるトレーニング音を記憶し、
前記提供ステップでは、前記ゾーン判定ステップで判定された発声トレーニングゾーンに対応するトレーニング音を前記ユーザに提供しつつ、そのトレーニング音に合わせて前記ユーザに声を出させ、その声の音声データに基づいてトレーニングの効果を示す情報を前記ユーザに提供し、
前記ゾーン判定ステップでは、円環図を用いて前記音階とヴォイスカラーを対応付け、前記最小の音階に対応するヴォイスカラー、又は前記最小の音階に対応するヴォイスカラーと補色の関係にあるヴォイスカラーに基づいて、前記発声トレーニングゾーンを判定する
ことを特徴とする音声診断方法。 - 音声を診断する音声診断プログラムであって、
コンピュータに、
音階ごとに特徴情報及び/又は課題情報を対応付けて記憶部に記憶する記憶ステップと、
ユーザによって入力された音声データを音声周波数データに変換する変換ステップと、
前記変換ステップで変換された音声周波数データについて、音階に対応する周波数帯の声のパワーの和が、当該音階が属するオクターブに対応する周波数帯の声のパワーの総和に対して占める割合が最大の音階及び/又は最小の音階を決定する決定ステップと、
前記決定ステップで決定された最大の音階及び/又は最小の音階に基づいて前記ユーザの音声を診断する診断ステップと、
前記ユーザに音声診断について説明する画面を提供して音声の入力開始を促すとともに、前記診断ステップで診断された診断結果を前記ユーザに提供する提供ステップと、
前記決定ステップで決定された最小の音階に基づいて、軟口蓋の開き度を改善するための発声トレーニングゾーンを判定するゾーン判定ステップと
を実行させ、
前記診断ステップでは、前記決定ステップで最大の音階が決定された場合、その最大の音階に対応付けて前記記憶部に記憶されている特徴情報を前記ユーザの特徴を示す情報とし、前記決定ステップで最小の音階が決定された場合、その最小の音階に対応付けて前記記憶部に記憶されている課題情報を前記ユーザの課題を示す情報とし、
前記記憶ステップでは、前記発声トレーニングゾーンごとに、当該発声トレーニングゾーンに対応する音階の音データであるトレーニング音を記憶し、
前記提供ステップでは、前記ゾーン判定ステップで判定された発声トレーニングゾーンに対応するトレーニング音を前記ユーザに提供しつつ、そのトレーニング音に合わせて前記ユーザに声を出させ、その声の音声データに基づいてトレーニングの効果を示す情報を前記ユーザに提供し、
前記ゾーン判定ステップでは、円環図を用いて前記音階とヴォイスカラーを対応付け、前記最小の音階に対応するヴォイスカラー、又は前記最小の音階に対応するヴォイスカラーと補色の関係にあるヴォイスカラーに基づいて、前記発声トレーニングゾーンを判定する
ことを特徴とする音声診断プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022016011A JP7179209B1 (ja) | 2022-02-04 | 2022-02-04 | 音声診断装置、音声診断方法、及び音声診断プログラム |
JP2022182230A JP7191269B1 (ja) | 2022-02-04 | 2022-11-15 | 発声健康法促進装置、発声健康法促進方法、及び発声健康法促進プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022016011A JP7179209B1 (ja) | 2022-02-04 | 2022-02-04 | 音声診断装置、音声診断方法、及び音声診断プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022182230A Division JP7191269B1 (ja) | 2022-02-04 | 2022-11-15 | 発声健康法促進装置、発声健康法促進方法、及び発声健康法促進プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7179209B1 true JP7179209B1 (ja) | 2022-11-28 |
JP2023113991A JP2023113991A (ja) | 2023-08-17 |
Family
ID=84227610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022016011A Active JP7179209B1 (ja) | 2022-02-04 | 2022-02-04 | 音声診断装置、音声診断方法、及び音声診断プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7179209B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004514178A (ja) | 2000-11-17 | 2004-05-13 | フォルスカーパテント アイ エスワイディ アクチボラゲット | 音声の分析の方法及び装置 |
JP2017192457A (ja) | 2016-04-18 | 2017-10-26 | 株式会社ブリコルールホールディングス | 音声診断装置、音声診断システム及び音声診断プログラム |
US20190374150A1 (en) | 2010-09-07 | 2019-12-12 | Penina Ohana Lubelchick | Diagnosing system for consciousness level measurement and method thereof |
JP2022145373A (ja) | 2021-03-17 | 2022-10-04 | 株式会社ユウキアユミワールドアカデミー | 音声診断システム |
-
2022
- 2022-02-04 JP JP2022016011A patent/JP7179209B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004514178A (ja) | 2000-11-17 | 2004-05-13 | フォルスカーパテント アイ エスワイディ アクチボラゲット | 音声の分析の方法及び装置 |
US20190374150A1 (en) | 2010-09-07 | 2019-12-12 | Penina Ohana Lubelchick | Diagnosing system for consciousness level measurement and method thereof |
JP2017192457A (ja) | 2016-04-18 | 2017-10-26 | 株式会社ブリコルールホールディングス | 音声診断装置、音声診断システム及び音声診断プログラム |
JP2022145373A (ja) | 2021-03-17 | 2022-10-04 | 株式会社ユウキアユミワールドアカデミー | 音声診断システム |
Also Published As
Publication number | Publication date |
---|---|
JP2023113991A (ja) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chandrasekaran et al. | Individual variability in cue-weighting and lexical tone learning | |
Pfordresher et al. | Auditory imagery and the poor-pitch singer | |
Juslin et al. | Play it again with feeling: computer feedback in musical communication of emotions. | |
Rocco et al. | Beyond verbal behavior: An empirical analysis of speech rates in psychotherapy sessions | |
Vanden Bosch der Nederlanden et al. | Everyday musical experience is sufficient to perceive the speech-to-song illusion. | |
Elliott | Verbal auditory closure and the speech perception in noise (SPIN) test | |
König et al. | Measuring stress in health professionals over the phone using automatic speech analysis during the COVID-19 pandemic: observational pilot study | |
Kershenbaum et al. | Speak along without the song: what promotes fluency in people with aphasia? | |
JP7191269B1 (ja) | 発声健康法促進装置、発声健康法促進方法、及び発声健康法促進プログラム | |
Frič et al. | Listening evaluation and classification of female singing voice categories | |
Fourcin et al. | Hearing and phonetic criteria in voice measurement: Clinical applications | |
Fantini et al. | Estill Voice Training and voice quality control in contemporary commercial singing: an exploratory study | |
Ziv et al. | Absolute and relative pitch: Global versus local processing of chords | |
Klopfenstein et al. | The study of speech naturalness in communication disorders: A systematic review of the literature | |
Remacle et al. | Impact of vocal load on breathiness: Perceptual evaluation | |
JP6029223B1 (ja) | 音声診断装置、音声診断システム及び音声診断プログラム | |
Marks et al. | Psychometric analysis of an ecological vocal effort scale in individuals with and without vocal hyperfunction during activities of daily living | |
Patel et al. | Vocal behavior | |
Kopf et al. | Pitch strength as an outcome measure for treatment of dysphonia | |
Paoliello et al. | Voice quality and auditory processing in subjects with and without musical experience | |
Schaefer et al. | Intuitive visualizations of pitch and loudness in speech | |
JP7179209B1 (ja) | 音声診断装置、音声診断方法、及び音声診断プログラム | |
Lamarche et al. | Not just sound: Supplementing the voice range profile with the singer's own perceptions of vocal challenges | |
Denison | A structural model of physiological and psychological effects on adolescent male singing | |
Behlau et al. | Speech language pathology and voice specialist in Brazil: an overview |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220204 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220204 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7179209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |