JP6773707B2 - 信号処理装置、信号処理方法およびプログラム - Google Patents
信号処理装置、信号処理方法およびプログラム Download PDFInfo
- Publication number
- JP6773707B2 JP6773707B2 JP2018052404A JP2018052404A JP6773707B2 JP 6773707 B2 JP6773707 B2 JP 6773707B2 JP 2018052404 A JP2018052404 A JP 2018052404A JP 2018052404 A JP2018052404 A JP 2018052404A JP 6773707 B2 JP6773707 B2 JP 6773707B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- loss
- signal processing
- unit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 273
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 101
- 238000004364 calculation method Methods 0.000 claims description 96
- 238000000034 method Methods 0.000 claims description 62
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
・早期発見や予兆検知を目的とした計測のため、対象となる信号が微弱である
・計測時間の制約や環境特有の外乱により、ノイズが増大する
第1の実施形態では、後段の信号処理の精度に関連するロスを用いて、前段の信号処理を学習する。例えば本実施形態では、前段の信号処理による出力信号を、後段の信号処理の精度に関連するロスを算出するための出力信号に変換し、変換後の出力信号を用いてロスを算出する。そして、算出したロスを用いて前段の信号処理で用いるニューラルネットワークのパラメータが学習される。
・真陽性率(True positive ratio)
・偽陽性率(False positive ratio)
・適合率(Precision)
・再現率(Recall)
・正確度(Accuracy)
・F値(F-measure)
・AUC(Area Under the ROC Curve)
・Contrastive loss
・Triplet loss
・交差エントロピー(Cross entropy)
・KLダイバージェンス(Kullback-Leibler divergence)
・JSダイバージェンス(Jensen Shannon divergence)
・ワッサースタイン距離(Wasserstein distance)
・IoU(Intersection of Union)
・BLEU(BiLingual Evaluation Understudy)スコア
・WER(Word Error Rate)
・METEOR(Metric for Evaluation of Translation with Explicit ORdering)
図3は、第1の実施形態における変換部102の構成例を示す図である。図3は、音声信号である復元信号303および正解信号302を用いる例を示す。すなわち、入力信号301が音声信号であり、信号処理装置200による信号処理が音声分類または音声認識の場合の例を示す。
例えば、入力信号301が画像であり、信号処理装置200の信号処理が画像分類または画像認識であるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は画像、正解信号302は画像、変換部102の信号変換処理は画像分類または画像認識の1つ以上組み合わせた処理、および、変換後の復元信号305と変換後の正解信号304はN個のクラスに対する帰属度を示す0から1の値を取るN次元の確率ベクトルとなる。
例えば、入力信号301が画像であり、信号処理装置200の信号処理がセグメンテーションまたはキャプショニングであるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は画像、正解信号302は画像、変換部102の信号変換処理は二値化、および、変換後の復元信号305と変換後の正解信号304は二値にラベル付けされた画像となる。
例えば、入力信号301が音声信号で、信号処理装置200の信号処理が機械翻訳であるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は音声信号、正解信号302は音声信号、変換部102の信号変換処理は音声またはノイズにラベル付けをする二値化、および、変換後の復元信号305と変換後の正解信号304は、ニ値にラベル付けされた信号のいずれかとなる。
第2の実施形態にかかる信号処理装置は、変換前の復元信号および正解信号から算出されるロスをさらに考慮してニューラルネットワークのパラメータを学習する。
・L1ロス
・L2ロス
・Charbonnierロス
・Huberロス
図10は、第2の実施形態における変換部102の構成例を示す図である。図10は、音声信号である復元信号303および正解信号302を用いる例を示す。すなわち、入力信号301が音声信号であり、信号処理装置200による信号処理が音声分類の場合の例を示す。
例えば、入力信号301が画像であり、信号処理装置200の信号処理が画像分類または画像認識であるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は画像、正解信号302は画像、変換部102の信号変換処理は画像分類または画像認識の1つ以上組み合わせた処理、および、変換後の復元信号305と変換後の正解信号304はN個のクラスに対する帰属度を示す0から1の値を取るN次元の確率ベクトルとなる。
例えば、入力信号301が画像であり、信号処理装置200の信号処理がセグメンテーションまたはキャプショニングであるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は画像、正解信号302は多値にラベル付けされた画像、変換部102の信号変換処理は二値化で、変換後の復元信号305と変換後の正解信号304は二値にラベル付けされた画像となる。
例えば、入力信号301が音声信号で、信号処理装置200の信号処理が機械翻訳であるとする。この場合、例えば、信号処理部101での信号復元処理はノイズ除去、復元信号303は音声信号、正解信号302は機械翻訳結果のベクトル、変換部102の信号変換処理は二値化、および、変換後の復元信号305と変換後の正解信号304は二値にラベル付けされた信号となる。
信号復元処理は後段の信号処理装置200での信号処理の前処理として位置づけられる。一方、例えば後段処理の説明の観点等から、信号復元処理の結果を確認可能とすることが要求される状況が予想される。このような状況に対応するため、第3の実施形態では、復元信号の信頼度を算出して出力する。例えば、信頼度に応じて後段の処理を切り替えれば、信頼度の低いデータに対してより適切な処理をすることによってより適切な処理結果が得られる。なお以下では第1の実施形態に機能を追加して本実施形態とする例を説明するが、第2の実施形態に対しても同様の機能追加を行うことができる。
図14は、統計情報および信頼度の算出方法の一例を説明するための図である。図14の上部は、学習時における変換後の復元信号305、および、得られた統計情報306−3の例を示す。図14の下部は、推論時における変換後の復元信号305、得られた統計情報306−3、信頼度の算出方法を示すグラフ1401、および、算出される信頼度1402の例を示す。
例えば、入力信号301が画像であり、信号処理装置200の信号処理が画像分類または画像認識であり、変換後の復元信号305が分類結果の確率ベクトルであるとする。この場合、例えば、統計情報算出部107−3は、各クラスの帰属度ベクトルの平均を、統計情報306−3として算出する。
例えば、入力信号301が画像であり、信号処理装置200の信号処理がセグメンテーションであり、変換後の復元信号305が多値にラベル付けされた画像であるとする。この場合、例えば、統計情報算出部107−3は、複数のラベルごとに、各ラベルが付与された画素の個数(画素数)の和を算出する。統計情報算出部107−3は、画素数の値ごとの度数を示すヒストグラムを、統計情報306−3として算出する。ヒストグラムは、ラベルごとに算出される。ヒストグラムは、例えば度数の最大値が1となるように正規化されてもよい。
例えば、入力信号301が画像であり、信号処理装置200の信号処理がキャプショニングであり、変換後の復元信号305がキャプション結果の単語のベクトルであるとする。この場合、例えば、統計情報算出部107−3は、キャプション結果を示す単語ごとに、単語の出現回数を算出する。統計情報算出部107−3は、単語の出現回数ごとの度数を示すヒストグラムを、統計情報306−3として算出する。ヒストグラムは、単語ごとに算出される。ヒストグラムは、例えば度数の最大値が1となるように正規化されてもよい。
例えば、入力信号301が音声信号であり、信号処理装置200の信号処理が機械翻訳であり、変換後の復元信号305が機械翻訳結果の単語のベクトルであるとする。この場合、例えば、統計情報算出部107−3は、機械翻訳結果を示す単語ごとに、単語の出現回数を算出する。統計情報算出部107−3は、単語の出現回数ごとの度数を示すヒストグラムを、統計情報306−3として算出する。ヒストグラムは、単語ごとに算出される。ヒストグラムは、例えば度数の最大値が1となるように正規化されてもよい。
正解信号は、変換部102により変換しなくてもよい。例えば上記の変換後の正解信号304の形式に予め変換された信号を正解信号302とし、変換部102において正解信号302に信号変換処理を実行しなくてもよい。第2の実施形態の場合は、変換後の正解信号304の形式に予め変換された信号と、復元信号303に対する正解信号と同一の形式を有する信号との2つを正解信号302とし、変換部102において正解信号302に信号変換処理を実行しないように構成してもよい。
101、101−3 信号処理部
102 変換部
103 ロス算出部
104、104−2 学習部
105−2 ロス算出部
106−2 ロス合成部
107−3 統計情報算出部
108−3 信頼度算出部
109−3 制御部
121 記憶部
Claims (9)
- 入力信号に対してニューラルネットワークにより第1信号処理を行い、第1出力信号を出力する信号処理部と、
前記第1出力信号を、他の信号処理装置が実行する第2信号処理の精度に関連する第1ロスを算出するための第2出力信号に変換する変換部と、
前記第2出力信号と正解信号とに基づいて、前記第1ロスを算出する第1ロス算出部と、
算出された前記第1ロスを用いて前記ニューラルネットワークのパラメータを学習する学習部と、
を備える信号処理装置。 - 前記第1ロス算出部は、前記第2出力信号と、前記第1ロスを算出するための形式に変換された正解信号とに基づいて前記第1ロスを算出し、
前記第1出力信号と、前記第1ロスを算出するための形式に変換されていない正解信号とに基づいて第2ロスを算出する第2ロス算出部をさらに備え、
前記学習部は、算出された前記第1ロスおよび前記第2ロスを用いて前記パラメータを学習する、
請求項1に記載の信号処理装置。 - 前記学習部は、学習の進行に応じて、前記第1ロスおよび前記第2ロスの少なくとも一方の重みを変更する、
請求項2に記載の信号処理装置。 - 前記正解信号は、第1ロスを算出するための形式に予め変換された信号である、
請求項1に記載の信号処理装置。 - 前記変換部は、前記他の信号処理装置から指定される変換方法により、前記第1出力信号を変換する、
請求項1に記載の信号処理装置。 - 前記第2出力信号の統計情報を算出する統計情報算出部と、
学習に用いられる複数の入力信号に対応する複数の第2出力信号から算出された第1統計情報と、推論に用いられる入力信号に対応する第2出力信号から算出された第2統計情報とに基づいて、推論に用いられる入力信号に対応する前記第1出力信号の信頼度を算出する信頼度算出部をさらに備える、
請求項1に記載の信号処理装置。 - 入力信号に対してニューラルネットワークにより第1信号処理を行い、第1出力信号を出力する信号処理ステップと、
前記第1出力信号を、他の信号処理装置が実行する第2信号処理の精度に関連する第1ロスを算出するための第2出力信号に変換する変換ステップと、
前記第2出力信号と正解信号とに基づいて、前記第1ロスを算出する第1ロス算出ステップと、
算出された前記第1ロスを用いて前記ニューラルネットワークのパラメータを学習する学習ステップと、
を含む信号処理方法。 - コンピュータを、
入力信号に対してニューラルネットワークにより第1信号処理を行い、第1出力信号を出力する信号処理部と、
前記第1出力信号を、他の信号処理装置が実行する第2信号処理の精度に関連する第1ロスを算出するための第2出力信号に変換する変換部と、
前記第2出力信号と正解信号とに基づいて、前記第1ロスを算出する第1ロス算出部と、
算出された前記第1ロスを用いて前記ニューラルネットワークのパラメータを学習する学習部と、
として機能させるためのプログラム。 - 入力信号に対してニューラルネットワークにより第1信号処理を行い、第1出力信号を出力する信号処理部と、
前記第1出力信号を、他の信号処理装置が実行する第2信号処理の精度に関連する第1ロスを算出するための第2出力信号に変換する変換部と、
前記第1ロスを用いた前記ニューラルネットワークのパラメータの学習に用いられる複数の入力信号に対応する複数の第2出力信号に応じ、実行する信号処理を制御する制御部と、
を備える信号処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052404A JP6773707B2 (ja) | 2018-03-20 | 2018-03-20 | 信号処理装置、信号処理方法およびプログラム |
US16/117,350 US11599784B2 (en) | 2018-03-20 | 2018-08-30 | Signal processing device, signal processing method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052404A JP6773707B2 (ja) | 2018-03-20 | 2018-03-20 | 信号処理装置、信号処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019164618A JP2019164618A (ja) | 2019-09-26 |
JP6773707B2 true JP6773707B2 (ja) | 2020-10-21 |
Family
ID=67985169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018052404A Active JP6773707B2 (ja) | 2018-03-20 | 2018-03-20 | 信号処理装置、信号処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11599784B2 (ja) |
JP (1) | JP6773707B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7055769B2 (ja) * | 2019-04-23 | 2022-04-18 | 株式会社東芝 | データ生成装置、データ生成方法およびプログラム |
JP7051749B2 (ja) * | 2019-06-03 | 2022-04-11 | 株式会社東芝 | 信号処理装置、信号処理システム、信号処理方法、およびプログラム |
JP7294031B2 (ja) * | 2019-09-27 | 2023-06-20 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラム、予測装置および予測方法 |
WO2021220450A1 (ja) * | 2020-04-30 | 2021-11-04 | 日本電気株式会社 | 識別装置、識別方法及び記録媒体 |
KR20220076952A (ko) | 2020-12-01 | 2022-06-08 | 삼성전자주식회사 | 이미지 인식 방법, 이미지 인식 장치, 이미지 전처리 장치 및 뉴럴 네트워크의 학습 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101187A (ja) * | 1991-10-09 | 1993-04-23 | Kawasaki Steel Corp | 画像認識装置及びその学習方法 |
JPH05225163A (ja) * | 1992-02-13 | 1993-09-03 | Hitachi Ltd | ニューラルネットシステムおよびニューラルネットの学習方法 |
JP6509694B2 (ja) * | 2015-09-15 | 2019-05-08 | 株式会社東芝 | 学習装置、音声検出装置、学習方法およびプログラム |
JP6983800B2 (ja) * | 2016-03-15 | 2021-12-17 | イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ | ニューラルネットワークにおける強化学習によるユニーク/希少なケースの分類のための方法 |
US10679643B2 (en) * | 2016-08-31 | 2020-06-09 | Gregory Frederick Diamos | Automatic audio captioning |
US10915817B2 (en) * | 2017-01-23 | 2021-02-09 | Fotonation Limited | Method of training a neural network |
-
2018
- 2018-03-20 JP JP2018052404A patent/JP6773707B2/ja active Active
- 2018-08-30 US US16/117,350 patent/US11599784B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11599784B2 (en) | 2023-03-07 |
US20190294963A1 (en) | 2019-09-26 |
JP2019164618A (ja) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6773707B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
US10255663B2 (en) | Image processing device, image processing method, computer program product | |
CN113903036B (zh) | 一种文本识别方法、装置、电子设备、介质及产品 | |
US10812815B2 (en) | Methods, systems, and computer readable media for compressing video images | |
JP2019194821A (ja) | 目標認識装置、目標認識方法及びプログラム | |
US11710315B2 (en) | Method, electronic apparatus and storage medium for detecting a static logo of a video | |
CN112116567A (zh) | 一种无参考图像质量评价方法、装置及存储介质 | |
CN111144484B (zh) | 一种图像识别方法及装置 | |
CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
CN113139906A (zh) | 一种生成器的训练方法、装置与存储介质 | |
CN111178363B (zh) | 文字识别方法、装置、电子设备以及可读存储介质 | |
WO2024179388A1 (zh) | 一种复式神经网络架构的浮游生物目标检测与分类方法 | |
CN114495101A (zh) | 文本检测方法、文本检测网络的训练方法及装置 | |
JP2020177582A (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
CN116580407A (zh) | 文本检测模型的训练方法、文本检测方法及装置 | |
CN114724144B (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
CN111402164B (zh) | 矫正网络模型的训练方法和装置、文本识别方法和装置 | |
CN113379592B (zh) | 图片中敏感区域的处理方法、装置和电子设备 | |
CN114494686A (zh) | 文本图像矫正方法、装置、电子设备以及存储介质 | |
CN113807407A (zh) | 目标检测模型训练方法、模型性能检测方法及装置 | |
CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 | |
US20230196752A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
CN117197249B (zh) | 目标位置确定方法、装置、电子设备及存储介质 | |
CN116935179B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
US20230112822A1 (en) | Character recognition method, character recognition device and non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6773707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |