JP7448053B2 - 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム - Google Patents
学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム Download PDFInfo
- Publication number
- JP7448053B2 JP7448053B2 JP2023032348A JP2023032348A JP7448053B2 JP 7448053 B2 JP7448053 B2 JP 7448053B2 JP 2023032348 A JP2023032348 A JP 2023032348A JP 2023032348 A JP2023032348 A JP 2023032348A JP 7448053 B2 JP7448053 B2 JP 7448053B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- feature map
- input
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013518 transcription Methods 0.000 title claims description 34
- 230000035897 transcription Effects 0.000 title claims description 34
- 238000000034 method Methods 0.000 title claims description 30
- 238000010801 machine learning Methods 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 7
- 239000011295 pitch Substances 0.000 description 62
- 230000008569 process Effects 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 230000001755 vocal effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Description
Access Memory)103、通信インタフェース(IF)104、ハードディスク105、入力装置106及び出力装置107によるハードウェア構成を有してもよい。CPU101及びGPU102は、プロセッサ又は処理回路として参照されてもよく、学習装置100及び自動採譜装置200の各種処理を実行し、特に、CPU101は学習装置100及び自動採譜装置200における各種処理の実行を制御し、GPU102は機械学習モデルを学習及び実行するための各種処理を実行する。RAM103及びハードディスク105は、学習装置100及び自動採譜装置200における各種データ及びプログラムを格納するメモリとして機能し、特に、RAM103は、CPU101及びGPU102における作業データを格納するワーキングメモリとして機能し、ハードディスク105は、CPU101及びGPU102の制御プログラム及び/又は学習用データを格納する。通信IF104は、学習用データストレージ50から学習用データを取得するための通信インタフェースである。入力装置106は、情報及びデータを入力するための各種デバイス(例えば、ディスプレイ、スピーカ、キーボード、タッチ画面など)であり、出力装置107は、処理の内容、経過、結果等の各種情報を表示する各種デバイス(例えば、ディスプレイ、プリンタ、スピーカなど)である。しかしながら、本開示による学習装置100及び自動採譜装置200は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。
単音音源と音高情報とを第1の機械学習モデルの学習用データとして取得し、採譜対象の音源と楽譜情報とを第2の機械学習モデルの学習用データとして取得し、前記単音音源と前記採譜対象の音源とに対して前処理を実行し、それぞれのスペクトログラムを取得する学習用データ取得部と、
前記単音音源のスペクトログラムを学習用入力データとして入力し、前記単音音源の音高の予測確率を出力するよう前記音高情報によって第1の機械学習モデルを学習する第1モデル学習部と、
前記採譜対象の音源のスペクトログラムを学習済みの前記第1の機械学習モデルに入力することによって生成される特徴マップを学習用入力データとして入力し、前記特徴マップの固定長の区間に音符が存在する予測確率を出力するよう前記楽譜情報によって第2の機械学習モデルを学習する第2モデル学習部と、
を有する学習装置が提供される。
前記第1の機械学習モデルと前記第2の機械学習モデルとは、畳み込みニューラルネットワークにより構成されてもよい。
前記第2モデル学習部は、前記第1の機械学習モデルにより生成される異なる時間解像度を有する複数の特徴マップを前記第2の機械学習モデルに入力してもよい。
前記第2モデル学習部は、前記第1の機械学習モデルと前記第2の機械学習モデルとをSSD(Single Shot Detection)として実現してもよい。
前記第1モデル学習部は、複数種別のオーディオ成分のそれぞれに対して前記第1の機械学習モデルを学習し、
前記第2モデル学習部は、複数種別のオーディオ成分を含む採譜対象の音源に対して各オーディオ成分種別毎に音符が存在する予測確率を出力するよう前記第2の機械学習モデルを学習してもよい。
単音音源から音高の予測確率を出力する第1の学習済み機械学習モデルと、特徴マップから前記特徴マップの固定長の区間に音符が存在する予測確率を出力する第2の学習済み機械学習モデルとを利用し、採譜対象の音源を前記第1の学習済み機械学習モデルに入力し、前記第1の学習済み機械学習モデルによって生成された特徴マップを前記第2の学習済み機械学習モデルに入力し、前記特徴マップの固定長の区間に音符が存在する予測確率を出力するモデル処理部と、
前記音符が存在する予測確率に基づき楽譜情報を生成する楽譜生成部と、
を有する自動採譜装置が提供される。
前記モデル処理部は、前記採譜対象の音源に対して前処理を実行することによってスペクトログラムを取得し、前記スペクトログラムを前記第1の学習済み機械学習モデルに入力してもよい。
前記モデル処理部は、前記特徴マップ上の各点について前記第2の学習済み機械学習モデルから出力された最大の予測確率を有する音符を予測音符として決定してもよい。
前記楽譜生成部は、NMS(Non-Maximum Suppression)に従って抽出された予測音符に基づき楽譜情報を生成してもよい。
プロセッサが、単音音源と音高情報とを第1の機械学習モデルの学習用データとして取得し、採譜対象の音源と楽譜情報とを第2の機械学習モデルの学習用データとして取得し、前記単音音源と前記採譜対象の音源とに対して前処理を実行し、それぞれのスペクトログラムを取得すステップと、
前記プロセッサが、前記単音音源のスペクトログラムを学習用入力データとして入力し、前記単音音源の音高の予測確率を出力するよう前記音高情報によって第1の機械学習モデルを学習するステップと、
前記プロセッサが、前記採譜対象の音源のスペクトログラムを学習済みの前記第1の機械学習モデルに入力することによって生成される特徴マップを学習用入力データとして入力し、前記特徴マップの固定長の区間に音符が存在する予測確率を出力するよう前記楽譜情報によって第2の機械学習モデルを学習するステップと、
を有する学習方法が提供される。
プロセッサが、単音音源から音高の予測確率を出力する第1の学習済み機械学習モデルに採譜対象の音源を入力するステップと、
前記プロセッサが、特徴マップから前記特徴マップの固定長の区間に音符が存在する予測確率を出力する第2の学習済み機械学習モデルに前記第1の学習済み機械学習モデルによって生成された特徴マップを入力するステップと、
前記プロセッサが、前記第2の学習済み機械学習モデルから出力された前記音符が存在する予測確率に基づき楽譜情報を生成するステップと、
を有する自動採譜方法が提供される。
単音音源と音高情報とを第1の機械学習モデルの学習用データとして取得し、採譜対象の音源と楽譜情報とを第2の機械学習モデルの学習用データとして取得し、前記単音音源と前記採譜対象の音源とに対して前処理を実行し、それぞれのスペクトログラムを取得すステップと、
前記単音音源のスペクトログラムを学習用入力データとして入力し、前記単音音源の音高の予測確率を出力するよう前記音高情報によって第1の機械学習モデルを学習するステップと、
前記採譜対象の音源のスペクトログラムを学習済みの前記第1の機械学習モデルに入力することによって生成される特徴マップを学習用入力データとして入力し、前記特徴マップの固定長の区間に音符が存在する予測確率を出力するよう前記楽譜情報によって第2の機械学習モデルを学習するステップと、
をプロセッサに実行させるプログラムが提供される。
単音音源から音高の予測確率を出力する第1の学習済み機械学習モデルに採譜対象の音源を入力するステップと、
特徴マップから前記特徴マップの固定長の区間に音符が存在する予測確率を出力する第2の学習済み機械学習モデルに前記第1の学習済み機械学習モデルによって生成された特徴マップを入力するステップと、
前記第2の学習済み機械学習モデルから出力された前記音符が存在する予測確率に基づき楽譜情報を生成するステップと、
をプロセッサに実行させるプログラムが提供される。
上述したプログラムを記憶するコンピュータ可読記憶媒体が提供される。
100 学習装置
200 自動採譜装置
Claims (6)
- 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の機械学習モデルを学習する第1モデル学習部と、
学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第3スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の機械学習モデルを学習する第2モデル学習部と、
を有する学習装置。 - 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の学習済み機械学習モデルと、学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第3スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の学習済み機械学習モデルと、を利用し、採譜対象の音源を前記第1の学習済み機械学習モデルに入力し前記第1の学習済み機械学習モデルによって出力された各特徴マップを前記第2の学習済み機械学習モデルに入力し、各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力するモデル処理部、
を有する自動採譜装置。 - 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて、複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の機械学習モデルを学習するステップと、
学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第2スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の機械学習モデルを学習するステップと、
を実行する学習方法。 - 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の学習済み機械学習モデルと、学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第3スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の学習済み機械学習モデルと、を利用し、
採譜対象の音源を前記第1の学習済み機械学習モデルに入力し前記第1の学習済み機械学習モデルによって出力された各特徴マップを前記第2の学習済み機械学習モデルに入力し、各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する、
自動採譜方法。 - 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて、複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の機械学習モデルを学習するステップと、
学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第3スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の機械学習モデルを学習するステップと、
を実行させるプログラム。 - 畳み込みニューラルネットワークにより構成される第1の機械学習モデルであって、単音音源から生成される第1スペクトログラムと、対応する音高情報と、をペアとする教師データを学習させることにより、第1スペクトログラムの入力に応じて、複数の畳み込み層から時間解像度が異なるように生成された、対応する音高の予測確率を示す各特徴マップを出力する第1の学習済み機械学習モデルと、学習済みの前記第1の機械学習モデルに単旋律音源から生成される第2スペクトログラムを入力し前記第1の機械学習モデルによって生成された各特徴マップと、楽譜情報と、をペアとする教師データを学習させることにより、採譜対象の音源から生成される第3スペクトログラムの前記第1の機械学習モデルへの入力に応じて出力された各特徴マップの入力に応じて、各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力する第2の学習済み機械学習モデルと、を備えるコンピュータに、
採譜対象の音源を前記第1の学習済み機械学習モデルに入力し、前記第1の学習済み機械学習モデルによって出力された各特徴マップを前記第2の学習済み機械学習モデルに入力し、各特徴マップ上の各点を始点とする固定長の区間又はデフォルトボックスと同じ長さの音符が存在する音符存在予測確率を出力させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023032348A JP7448053B2 (ja) | 2018-06-25 | 2023-03-03 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018120235A JP2020003536A (ja) | 2018-06-25 | 2018-06-25 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
JP2023032348A JP7448053B2 (ja) | 2018-06-25 | 2023-03-03 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018120235A Division JP2020003536A (ja) | 2018-06-25 | 2018-06-25 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023081946A JP2023081946A (ja) | 2023-06-13 |
JP7448053B2 true JP7448053B2 (ja) | 2024-03-12 |
Family
ID=69099614
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018120235A Pending JP2020003536A (ja) | 2018-06-25 | 2018-06-25 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
JP2023032348A Active JP7448053B2 (ja) | 2018-06-25 | 2023-03-03 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018120235A Pending JP2020003536A (ja) | 2018-06-25 | 2018-06-25 | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2020003536A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429940B (zh) * | 2020-06-15 | 2020-10-09 | 杭州贝哆蜂智能有限公司 | 一种基于深度学习的实时音乐转录与曲谱匹配方法 |
CN112397044B (zh) * | 2020-11-06 | 2022-07-01 | 四川省人工智能研究院(宜宾) | 一种基于深度学习的自动音乐转录方法 |
CN112669796A (zh) * | 2020-12-29 | 2021-04-16 | 西交利物浦大学 | 基于人工智能的音乐转乐谱的方法及装置 |
KR102415345B1 (ko) * | 2021-02-08 | 2022-07-01 | 한국과학기술원 | 피아노 연주의 음정, 세기, 페달의 실시간 자동 채보 및 재현을 위한 컴퓨터 시스템 및 그의 방법 |
CN113053336A (zh) * | 2021-03-17 | 2021-06-29 | 平安科技(深圳)有限公司 | 音乐作品的生成方法、装置、设备及存储介质 |
CN117321675A (zh) * | 2021-05-19 | 2023-12-29 | 雅马哈株式会社 | 乐谱制作装置、训练装置、乐谱制作方法以及训练方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001125562A (ja) | 1999-10-27 | 2001-05-11 | Natl Inst Of Advanced Industrial Science & Technology Meti | 音高推定方法及び装置 |
JP2007033479A (ja) | 2005-07-22 | 2007-02-08 | Kawai Musical Instr Mfg Co Ltd | 自動採譜装置及びプログラム |
JP2007304445A (ja) | 2006-05-12 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 周波数成分の修復・抽出方法、周波数成分の修復・抽出装置、周波数成分の修復・抽出プログラムならびに周波数成分の修復・抽出プログラムを記録した記録媒体 |
JP2019168542A (ja) | 2018-03-22 | 2019-10-03 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2871204B2 (ja) * | 1991-08-21 | 1999-03-17 | 日本電気株式会社 | 楽音採譜装置 |
JPH0675562A (ja) * | 1992-08-28 | 1994-03-18 | Brother Ind Ltd | 自動採譜装置 |
-
2018
- 2018-06-25 JP JP2018120235A patent/JP2020003536A/ja active Pending
-
2023
- 2023-03-03 JP JP2023032348A patent/JP7448053B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001125562A (ja) | 1999-10-27 | 2001-05-11 | Natl Inst Of Advanced Industrial Science & Technology Meti | 音高推定方法及び装置 |
JP2007033479A (ja) | 2005-07-22 | 2007-02-08 | Kawai Musical Instr Mfg Co Ltd | 自動採譜装置及びプログラム |
JP2007304445A (ja) | 2006-05-12 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 周波数成分の修復・抽出方法、周波数成分の修復・抽出装置、周波数成分の修復・抽出プログラムならびに周波数成分の修復・抽出プログラムを記録した記録媒体 |
JP2019168542A (ja) | 2018-03-22 | 2019-10-03 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023081946A (ja) | 2023-06-13 |
JP2020003536A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7448053B2 (ja) | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム | |
Bittner et al. | Deep Salience Representations for F0 Estimation in Polyphonic Music. | |
Tachibana et al. | Singing voice enhancement in monaural music signals based on two-stage harmonic/percussive sound separation on multiple resolution spectrograms | |
Wu et al. | Polyphonic music transcription with semantic segmentation | |
CN109979488B (zh) | 基于重音分析的人声转乐谱系统 | |
Chen et al. | Electric Guitar Playing Technique Detection in Real-World Recording Based on F0 Sequence Pattern Recognition. | |
Oudre et al. | Chord recognition by fitting rescaled chroma vectors to chord templates | |
US9711133B2 (en) | Estimation of target character train | |
JP2017519255A (ja) | 楽譜の追従方法及びそれに関連したモデル化方法 | |
JP2009031452A (ja) | 音声解析装置、および音声解析方法、並びにコンピュータ・プログラム | |
US20170243571A1 (en) | Context-dependent piano music transcription with convolutional sparse coding | |
CN103915093A (zh) | 一种实现语音歌唱化的方法和装置 | |
Abeßer | Automatic string detection for bass guitar and electric guitar | |
JP2008015214A (ja) | 歌唱力評価方法及びカラオケ装置 | |
Abeßer et al. | Score-informed analysis of tuning, intonation, pitch modulation, and dynamics in jazz solos | |
CN112309409A (zh) | 音频修正方法及相关装置 | |
JP4479701B2 (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP2012506061A (ja) | デジタル音楽音響信号の分析方法 | |
JP5790496B2 (ja) | 音響処理装置 | |
CN105244021B (zh) | 哼唱旋律到midi旋律的转换方法 | |
Li et al. | An approach to score following for piano performances with the sustained effect | |
WO2022070639A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6578544B1 (ja) | 音声処理装置、および音声処理方法 | |
Müller et al. | Tempo and Beat Tracking | |
Stanek et al. | Comparison of fundamental frequency detection methods and introducing simple self-repairing algorithm for musical applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |