JPWO2019215780A1 - 識別システム、モデル再学習方法およびプログラム - Google Patents
識別システム、モデル再学習方法およびプログラム Download PDFInfo
- Publication number
- JPWO2019215780A1 JPWO2019215780A1 JP2020517632A JP2020517632A JPWO2019215780A1 JP WO2019215780 A1 JPWO2019215780 A1 JP WO2019215780A1 JP 2020517632 A JP2020517632 A JP 2020517632A JP 2020517632 A JP2020517632 A JP 2020517632A JP WO2019215780 A1 JPWO2019215780 A1 JP WO2019215780A1
- Authority
- JP
- Japan
- Prior art keywords
- identification
- model
- data
- image
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本発明の識別システムが複数設けられている状況を示す模式図である。図1では、6個の識別システム100が各所に設けられている場合を例示しているが、各所に設けられる識別システム100の数は、特に限定されない。各実施形態では、複数の識別システム100が同様の構成であるものとして説明する。
第1の決定方法は、画像に写っている物体を表わすラベルとして第1の識別部106によって定められたラベルが、誤りであった場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。すなわち、決定部107が、第1の識別部106が誤識別した画像に対して、第2の識別部111に識別処理を実行させると決定する方法である。第1の識別部106によって定められたラベルが、誤りであるか否かは、例えば、識別システム100のオペレータによって判断されてもよい。以下、この場合を例にして説明する。第1の識別部106が画像に対するラベルを定めた場合、決定部107は、その画像と、その画像に対して定められたラベルと、そのラベルが正しいか否かをオペレータが入力するためのGUI(本例では、2つのボタンとする。)とを表わす画面を、ディスプレイ装置115上に表示する。図4は、第1の決定方法において決定部107がディスプレイ装置115上に表示する画面の例を示す模式図である。
第2の決定方法は、画像に対して定められたラベルに対応する信頼度が予め定められた閾値以下である場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。
第3の決定方法は、第1の識別部106が画像に対して定めたラベルが「背景」であるにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。換言すれば、第3の決定方法は、第1の識別部106が画像に「自動車」、「オートバイ」および「バス」のいずれも写っていないと判定したにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部107が、その画像に対して第2の識別部111に識別処理を実行させると決定する方法である。特定されたラベルが「背景」である場合に、画像に「自動車」等が写っているか否かの判断は、識別システム100のオペレータが行う。
まず、信頼度を統合する第1の演算方法について説明する。i番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をLiとする。また、i番目の外部生成モデルに関して算出された類似度(基準属性データと、i番目の外部生成モデルに対応する属性データとの類似度)をWiとする。また、第2のモデル記憶部110に記憶されている外部生成モデルの数をN個とする。この場合、統合部114は、着目しているラベルの信頼度を、以下に示す式(1)の計算によって統合すればよい。
次に、信頼度を統合する第2の演算方法について説明する。前述の場合と同様に、i番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をLiとする。また、i番目の外部生成モデルに関して算出された類似度(基準属性データと、i番目の外部生成モデルに対応する属性データとの類似度)をWiとする。また、個々の外部生成モデルに関して算出された個々の類似度の総和をWtとする。また、第2のモデル記憶部110に記憶されている外部生成モデルの数をN個とする。統合部114は、Wtを以下に示す式(2)の計算によって算出すればよい。
図13は、本発明の第2の実施形態の識別システム100の構成例を示すブロック図である。図2に示す要素と同様の要素については、図2と同一の符号を付し、説明を省略する。
データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、
前記学習手段によって学習された前記モデルを用いて、データが表わす物体を識別する第1の識別手段と、
前記第1の識別手段が識別対象とした前記データが表わす物体を、前記学習手段によって学習された前記モデルとは異なるモデルを用いて識別する第2の識別手段とを備え、
前記学習手段は、
前記第2の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する
ことを特徴とする識別システム。
第2の識別手段は、
所定の場合に、第1の識別手段が識別対象としたデータが表わす物体を識別する
付記1に記載の識別システム。
第2の識別手段は、
第1の識別手段が識別対象としたデータが表わす物体を、他の識別システムで学習されたモデルを用いて識別する
付記1または付記2に記載の識別システム。
他の複数の識別システムで学習された個々のモデルをそれぞれ記憶するモデル記憶手段を備え、
第2の識別手段は、
前記個々のモデル毎に、第1の識別手段が識別対象としたデータが表わす物体を識別し、
当該識別システムは、
前記第2の識別手段が前記個々のモデル毎に導出した識別結果を統合することによって、前記データに対するラベルを特定する統合手段を備え、
学習手段は、
前記統合手段によって特定されたラベルと、前記データとを含む教師データを用いて、モデルを再学習する
付記3に記載の識別システム。
データを収集するデータ収集手段を備え、
統合手段は、
当該識別システムのデータ収集手段の属性と、他の複数の識別システムのデータ収集手段の属性との類似度を、他の識別システム毎に算出し、
第2の識別手段が個々のモデル毎に導出した識別結果を、モデルに対応する類似度に応じた重みで重み付けして統合する
付記4に記載の識別システム。
データは、画像であり、
第1の識別手段は、
画像が表わす物体を識別する際に前記物体が写っている前記画像内の領域を判定し、
第2の識別手段は、
前記画像内の前記領域が表わす物体を識別する
付記1から付記5のうちのいずれかに記載の識別システム。
第1の識別手段は、
画像が表わす物体を示すラベルと、前記ラベルの信頼度とを導出し、
第2の識別手段は、
前記画像が表わす物体を示すラベルと、前記ラベルの信頼度とを導出し、
当該識別システムは、
前記画像と、前記第1の識別手段によって導出されたラベルおよび信頼度と、前記第2の識別手段によって導出されたラベルおよび信頼度とを含む画面を表示する表示制御手段を備える
付記6に記載の識別システム。
表示制御手段は、
第1の識別手段によって導出されたラベルおよび信頼度と、第2の識別手段によって導出されたラベルおよび信頼度と、所定のボタンとを含む画面を表示し、
学習手段は、
前記所定のボタンがクリックされた場合に、モデルを再学習する
付記7に記載の識別システム。
第1の識別手段によって判定された画像内の領域を修正するためのGUI(Graphical User Interface)を表示する領域修正GUI表示制御手段を備え、
第2の識別手段は、
修正後の領域が表わす物体を識別する
付記6から付記8のうちのいずれかに記載の識別システム。
データが表わす物体を識別するためのモデルを、教師データを用いて学習し、
前記モデルを用いて、データが表わす物体を識別する第1の識別処理を実行し、
前記第1の識別処理で識別対象とした前記データが表わす物体を、前記モデルとは異なるモデルを用いて識別する第2の識別処理を実行し、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する
ことを特徴とするモデル再学習方法。
コンピュータに、
データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習処理、
前記学習処理で学習された前記モデルを用いて、データが表わす物体を識別する第1の識別処理、
前記第1の識別処理で識別対象とした前記データが表わす物体を、前記学習処理で学習された前記モデルとは異なるモデルを用いて識別する第2の識別処理、および、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する再学習処理
を実行させるためのモデル再学習プログラム。
101 データ収集部
102 コンピュータ
103 学習部
104 第1のモデル記憶部
105 データ取得部
106 第1の識別部
107 決定部
108 領域修正GUI表示制御部
109 領域抽出部
110 第2のモデル記憶部
111 第2の識別部
112 表示制御部
113 属性データ記憶部
114 統合部
115 ディスプレイ装置
116 マウス
117 結果記憶部
118 データ送受信部
Claims (11)
- データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、
前記学習手段によって学習された前記モデルを用いて、データが表わす物体を識別する第1の識別手段と、
前記第1の識別手段が識別対象とした前記データが表わす物体を、前記学習手段によって学習された前記モデルとは異なるモデルを用いて識別する第2の識別手段とを備え、
前記学習手段は、
前記第2の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する
ことを特徴とする識別システム。 - 第2の識別手段は、
所定の場合に、第1の識別手段が識別対象としたデータが表わす物体を識別する
請求項1に記載の識別システム。 - 第2の識別手段は、
第1の識別手段が識別対象としたデータが表わす物体を、他の識別システムで学習されたモデルを用いて識別する
請求項1または請求項2に記載の識別システム。 - 他の複数の識別システムで学習された個々のモデルをそれぞれ記憶するモデル記憶手段を備え、
第2の識別手段は、
前記個々のモデル毎に、第1の識別手段が識別対象としたデータが表わす物体を識別し、
当該識別システムは、
前記第2の識別手段が前記個々のモデル毎に導出した識別結果を統合することによって、前記データに対するラベルを特定する統合手段を備え、
学習手段は、
前記統合手段によって特定されたラベルと、前記データとを含む教師データを用いて、モデルを再学習する
請求項3に記載の識別システム。 - データを収集するデータ収集手段を備え、
統合手段は、
当該識別システムのデータ収集手段の属性と、他の複数の識別システムのデータ収集手段の属性との類似度を、他の識別システム毎に算出し、
第2の識別手段が個々のモデル毎に導出した識別結果を、モデルに対応する類似度に応じた重みで重み付けして統合する
請求項4に記載の識別システム。 - データは、画像であり、
第1の識別手段は、
画像が表わす物体を識別する際に前記物体が写っている前記画像内の領域を判定し、
第2の識別手段は、
前記画像内の前記領域が表わす物体を識別する
請求項1から請求項5のうちのいずれか1項に記載の識別システム。 - 第1の識別手段は、
画像が表わす物体を示すラベルと、前記ラベルの信頼度とを導出し、
第2の識別手段は、
前記画像が表わす物体を示すラベルと、前記ラベルの信頼度とを導出し、
当該識別システムは、
前記画像と、前記第1の識別手段によって導出されたラベルおよび信頼度と、前記第2の識別手段によって導出されたラベルおよび信頼度とを含む画面を表示する表示制御手段を備える
請求項6に記載の識別システム。 - 表示制御手段は、
第1の識別手段によって導出されたラベルおよび信頼度と、第2の識別手段によって導出されたラベルおよび信頼度と、所定のボタンとを含む画面を表示し、
学習手段は、
前記所定のボタンがクリックされた場合に、モデルを再学習する
請求項7に記載の識別システム。 - 第1の識別手段によって判定された画像内の領域を修正するためのGUI(Graphical User Interface)を表示する領域修正GUI表示制御手段を備え、
第2の識別手段は、
修正後の領域が表わす物体を識別する
請求項6から請求項8のうちのいずれか1項に記載の識別システム。 - データが表わす物体を識別するためのモデルを、教師データを用いて学習し、
前記モデルを用いて、データが表わす物体を識別する第1の識別処理を実行し、
前記第1の識別処理で識別対象とした前記データが表わす物体を、前記モデルとは異なるモデルを用いて識別する第2の識別処理を実行し、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する
ことを特徴とするモデル再学習方法。 - コンピュータに、
データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習処理、
前記学習処理で学習された前記モデルを用いて、データが表わす物体を識別する第1の識別処理、
前記第1の識別処理で識別対象とした前記データが表わす物体を、前記学習処理で学習された前記モデルとは異なるモデルを用いて識別する第2の識別処理、および、
前記第2の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習する再学習処理
を実行させるためのモデル再学習プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/017611 WO2019215780A1 (ja) | 2018-05-07 | 2018-05-07 | 識別システム、モデル再学習方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019215780A1 true JPWO2019215780A1 (ja) | 2021-05-20 |
JP7001150B2 JP7001150B2 (ja) | 2022-01-19 |
Family
ID=68467962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517632A Active JP7001150B2 (ja) | 2018-05-07 | 2018-05-07 | 識別システム、モデル再学習方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11423647B2 (ja) |
JP (1) | JP7001150B2 (ja) |
WO (1) | WO2019215780A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019215778A1 (ja) * | 2018-05-07 | 2019-11-14 | 日本電気株式会社 | データ提供システムおよびデータ収集システム |
US10764246B2 (en) * | 2018-08-14 | 2020-09-01 | Didi Research America, Llc | System and method for detecting generated domain |
US11556825B2 (en) | 2019-11-26 | 2023-01-17 | International Business Machines Corporation | Data label verification using few-shot learners |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043225A (ja) * | 2010-08-19 | 2012-03-01 | National Institute Of Information & Communication Technology | 相互機械学習装置、相互機械学習方法、及びプログラム |
JP2015176175A (ja) * | 2014-03-13 | 2015-10-05 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2016522459A (ja) * | 2013-08-13 | 2016-07-28 | 三菱電機株式会社 | パターン認識装置およびパターン認識方法 |
WO2016147653A1 (ja) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | オブジェクト検出装置、オブジェクト検出方法および記録媒体 |
JP2016180918A (ja) * | 2015-03-25 | 2016-10-13 | 日本電信電話株式会社 | 音声認識システム、音声認識方法、プログラム |
JP2017117139A (ja) * | 2015-12-24 | 2017-06-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
JP2019512827A (ja) * | 2016-03-17 | 2019-05-16 | アビギロン コーポレイションAvigilon Corporation | 機械学習によってオブジェクト分類器を訓練するためのシステム及び方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6471934B2 (ja) | 2014-06-12 | 2019-02-20 | パナソニックIpマネジメント株式会社 | 画像認識方法、カメラシステム |
US11995539B2 (en) * | 2017-06-09 | 2024-05-28 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for re-learning trained model |
US20200374286A1 (en) * | 2017-09-15 | 2020-11-26 | PAG Financial International LLC | Real time selfie systems and methods for automating user identify verification |
US10733813B2 (en) * | 2017-11-01 | 2020-08-04 | International Business Machines Corporation | Managing anomaly detection models for fleets of industrial equipment |
JP6989450B2 (ja) * | 2018-06-21 | 2022-01-05 | 株式会社東芝 | 画像解析装置、画像解析方法及びプログラム |
US11055585B2 (en) * | 2019-09-26 | 2021-07-06 | Vintra, Inc. | Object detection based on object relation |
JP6939963B1 (ja) * | 2020-08-24 | 2021-09-22 | トヨタ自動車株式会社 | モデル学習システム及びサーバ |
US11921717B2 (en) * | 2020-09-14 | 2024-03-05 | Oracle International Corporation | Predicting future quiet periods for materialized views |
-
2018
- 2018-05-07 US US17/053,413 patent/US11423647B2/en active Active
- 2018-05-07 WO PCT/JP2018/017611 patent/WO2019215780A1/ja active Application Filing
- 2018-05-07 JP JP2020517632A patent/JP7001150B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043225A (ja) * | 2010-08-19 | 2012-03-01 | National Institute Of Information & Communication Technology | 相互機械学習装置、相互機械学習方法、及びプログラム |
JP2016522459A (ja) * | 2013-08-13 | 2016-07-28 | 三菱電機株式会社 | パターン認識装置およびパターン認識方法 |
JP2015176175A (ja) * | 2014-03-13 | 2015-10-05 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2016147653A1 (ja) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | オブジェクト検出装置、オブジェクト検出方法および記録媒体 |
JP2016180918A (ja) * | 2015-03-25 | 2016-10-13 | 日本電信電話株式会社 | 音声認識システム、音声認識方法、プログラム |
JP2017117139A (ja) * | 2015-12-24 | 2017-06-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
JP2019512827A (ja) * | 2016-03-17 | 2019-05-16 | アビギロン コーポレイションAvigilon Corporation | 機械学習によってオブジェクト分類器を訓練するためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210224537A1 (en) | 2021-07-22 |
US11423647B2 (en) | 2022-08-23 |
WO2019215780A1 (ja) | 2019-11-14 |
JP7001150B2 (ja) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
CN108537112B (zh) | 图像处理装置、图像处理系统、图像处理方法及存储介质 | |
CN107431786B (zh) | 图像处理设备、图像处理系统和图像处理方法 | |
US11450114B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects | |
CN107808111B (zh) | 用于行人检测和姿态估计的方法和装置 | |
CN108256404B (zh) | 行人检测方法和装置 | |
US9129397B2 (en) | Human tracking method and apparatus using color histogram | |
JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
JP6992883B2 (ja) | モデル提供システム、方法およびプログラム | |
US20150324659A1 (en) | Method for detecting objects in stereo images | |
JP7001150B2 (ja) | 識別システム、モデル再学習方法およびプログラム | |
JPWO2014080613A1 (ja) | 色補正装置、色補正方法および色補正用プログラム | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7001149B2 (ja) | データ提供システムおよびデータ収集システム | |
KR20120020711A (ko) | 물체 인식 시스템 및 그 물체 인식 방법 | |
JP6981553B2 (ja) | 識別システム、モデル提供方法およびモデル提供プログラム | |
JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
JP2016024534A (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
JP6981554B2 (ja) | 識別システム、パラメータ値更新方法およびプログラム | |
JP2021071769A (ja) | 物体追跡装置および物体追跡方法 | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
JP2019046278A (ja) | 情報処理装置、制御方法、コンピュータプログラム、記憶媒体、及びモデル作成装置 | |
US20220383631A1 (en) | Object recognition system and object recognition method | |
JP7211496B2 (ja) | 教師データ生成装置 | |
JP7211495B2 (ja) | 教師データ生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7001150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |