JP6997369B2 - プログラム、測距方法、及び測距装置 - Google Patents
プログラム、測距方法、及び測距装置 Download PDFInfo
- Publication number
- JP6997369B2 JP6997369B2 JP2017036292A JP2017036292A JP6997369B2 JP 6997369 B2 JP6997369 B2 JP 6997369B2 JP 2017036292 A JP2017036292 A JP 2017036292A JP 2017036292 A JP2017036292 A JP 2017036292A JP 6997369 B2 JP6997369 B2 JP 6997369B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- bit string
- pixel
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Description
図1を参照しながら、第1実施形態について説明する。第1実施形態は、比較対象の画像から画像認識に適した画像特徴量を抽出する方法に関する。図1は、第1実施形態に係る測距装置の一例を示した図である。なお、図1に例示した測距装置10は、第1実施形態に係る測距装置の一例である。
記憶部11は、RAM(Random Access Memory)などの揮発性記憶装置、或いは、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性記憶装置である。演算部12は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などのプロセッサである。演算部12は、例えば、記憶部11又は他のメモリに記憶されたプログラムを実行する。
<2.第2実施形態>
次に、第2実施形態について説明する。第2実施形態は、輝度値の差を利用した特徴量表現を採用するBRIEFなどに適した特徴点を選定することで、対応点探索における誤対応のリスクを低減する方法に関する。
第2実施形態の方法は、例えば、図2に例示する情報処理装置100のハードウェアを利用して実現されうる。図2は、第2実施形態に係る情報処理装置の機能を実現可能なハードウェアの一例を示した図である。また、情報処理装置100が有する機能は、コンピュータプログラムを用いて図2に示すハードウェアを制御することにより実現されうる。
ここで、図4~図7を参照しながら、クエリ画像Pqと参照画像Prとを照合する場合を例に画像探索の処理について説明する。画像探索の処理は、主に、参照画像Prから特徴量を抽出する処理、クエリ画像Pqから特徴量を抽出する処理、対応点探索の処理、及び統計的手法(投票など)により両画像の類否及び位置関係を検出する処理を含む。以下、これらの処理について順次説明する。
まず、図4を参照しながら、参照画像Prから特徴量を抽出する処理について説明する。図4は、画像探索の処理(参照画像の特徴量抽出)について説明するための図である。
図4の例では、特徴点が黒丸で表現されている。参照画像Prの特徴量は、各特徴点における局所特徴量の組み合わせで表現される。局所特徴量は、各特徴点を基準とする領域(特徴領域)に配置される画素ペアの輝度差に基づいて計算される。なお、特徴領域は、例えば、特徴点を中心とし、48画素×48画素のサイズを有する矩形領域に設定される。
次に、図5を参照しながら、クエリ画像Pqから特徴量を抽出する処理について説明する。図5は、画像探索の処理(クエリ画像の特徴量抽出)について説明するための図である。
次に、図6を参照しながら、参照画像Prとクエリ画像Pqとの間で対応する特徴点を探索する処理(対応点探索)及び対応点探索の結果に基づいて統計的手法(投票)により画像間の位置関係を特定する処理について説明する。図6は、画像探索の処理(対応点探索と投票)について説明するための図である。
参照画像Prの特徴点における局所特徴量を示すビット列は、図4に例示した方法で得られている。また、クエリ画像Pqの特徴点における局所特徴量を示すビット列は、図5に例示した方法で得られている。そのため、これら2つのビット列を利用して特徴点間の距離を計算することができる。例えば、2つのビット列を1ビットずつ比較し、異なるビットの数を上記の距離として利用できる。なお、距離が小さいほど特徴点間の類似度が大きい。
情報処理装置100は、図8に示すような機能を有する。図8は、第2実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
記憶部101の機能は、上述したRAM906や記憶部920などを用いて実現できる。特徴点選択部102、特徴量抽出部103、及び画像認識部104の機能は、上述したCPU902などを用いて実現できる。
特徴点テーブル101dは、選択された特徴点の特徴量に関する情報である。例えば、特徴点テーブル101dには、図11に示すような情報が含まれる。図11は、特徴点テーブルの一例を示した図である。
ここで、図12を参照しながら、特徴点選択部102による特徴点の選択方法について、さらに説明する。図12は、第2実施形態に係る特徴点の選択方法について説明するための図である。
特徴点選択部102は、特徴点の候補から、ノルムの大きさに基づいて特徴点を選択する。例えば、特徴点選択部102は、ノルムが閾値以上となる特徴点を選択する(閾値判定方式)。なお、特徴点選択部102は、ノルムが大きい順に所定数の特徴点を選択してもよい(上位選択方式)。このような方法で特徴点を選択することにより、図12に示すように、平坦な部分などに配置される特徴点が除外され、BRIEFなどの特徴表現に適した特徴点が選択される。
次に、情報処理装置100により実行される処理の流れについて説明する。
(特徴点選択)
まず、図13を参照しながら、特徴点選択の処理について説明する。図13は、第2実施形態に係る特徴点選択の処理の流れを示したフロー図である。なお、図13に示す特徴点選択の処理は、画像情報101bに含まれる各画像について実行される。但し、説明の都合上、ここでは画像Pic#iに対する処理について説明する。
(S104)特徴点選択部102は、S103で計算した絶対値が閾値TH1以上であるか否かを判定する。閾値TH1は、例えば、サンプルデータを用いたシミュレーションなどを実施し、BRIEFなどの特徴表現に適した特徴点が選択されるように予め設定される。絶対値≧閾値TH1である場合、処理はS105へと進む。一方、絶対値≧閾値TH1でない場合、処理はS106へと進む。
(S106)特徴点選択部102は、絶対値ベクトルのkビット目を0に決定する。
例えば、閾値判定方式を採用する場合、特徴点選択部102は、ノルムが閾値TH2以上の特徴点を選択する。なお、閾値TH2は、例えば、サンプルデータを用いたシミュレーションなどを実施し、BRIEFなどの特徴表現に適した特徴点が選択されるように予め設定される。他方、上位選択方式を採用する場合、特徴点選択部102は、ノルムが大きい順に所定数(例えば、N/2個など)の特徴点を選択する。
次に、図14を参照しながら、特徴量抽出の処理について説明する。図14は、第2実施形態に係る特徴量抽出の処理の流れを示したフロー図である。なお、図14に示す特徴量抽出の処理は、画像情報101bに含まれる各画像について実行される。但し、説明の都合上、ここでは画像Pic#iに対する処理について説明する。また、特徴点選択部102により画像Pic#iからF個の特徴点が選択されているとする。
(S123)特徴量抽出部103は、k番目の画素ペアについて各画素の輝度値を取得し、輝度値の差(輝度差)を計算する。なお、特徴点選択部102による特徴点選択の際に計算された輝度差を記憶部101に保持しておき、記憶部101に保持されている輝度差を特徴量抽出部103が再利用してもよい。
(S126)特徴量抽出部103は、特徴量ベクトルのkビット目を0に決定する。
(画像認識)
次に、図15及び図16を参照しながら、画像認識の処理について説明する。図15は、第2実施形態に係る画像認識の処理の流れを示した第1のフロー図である。図16は、第2実施形態に係る画像認識の処理の流れを示した第2のフロー図である。
(S133、S138)画像認識部104は、特徴点テーブル101dからクエリ画像におけるf1番目(f1=1,…,F)の特徴点(特徴点f1)に関する情報を取得する。そして、画像認識部104は、インデックスf1を1つずつ増加させながら、S133とS138との間にある処理(特徴点f1毎の処理)を繰り返し実行する。F番目の特徴点に対する上記特徴点f1毎の処理が完了すると、処理はS139へと進む。
(S140)画像認識部104は、各特徴点ペアの推定中心に対応する投票マップMPの枠に投票する。つまり、画像認識部104は、各特徴点ペアに対応する推定中心について、投票マップMPの該当枠に対応するカウンタをインクリメントする。
(S142)画像認識部104は、最大投票数が閾値TH3以上であるか否かを判定する。なお、閾値TH3は、例えば、サンプルデータを用いたシミュレーションなどを実施し、類似する画像が所望の確率で正しく認識されるように予め設定される。最大投票数≧閾値TH3である場合、処理はS143へと進む。一方、最大投票数≧閾値TH3でない場合、処理はS144へと進む。
(S144)画像認識部104は、画像情報101bにあるクエリ画像以外の全ての画像を選択し終えたか否かを判定する。画像を選択し終えた場合、処理はS145へと進む。一方、未選択の画像がある場合、処理はS132へと進む。
上記のように、画像内に配置される特徴点をBRIEFなどの特徴表現に適した特徴点に絞り込むことで誤対応のリスクを低減することができる。また、特徴点の数が減る分だけ処理負荷が低減される。その結果、上述した第2実施形態の技術を適用することで、高速に精度の高い画像認識を実現することが可能になる。
なお、上記の説明においては、一例として、特徴点の候補として画像内に特徴点を等間隔に配置する方法を紹介したが、候補となる特徴点の配置はこれに限定されない。例えば、特徴点の候補として画像内に特徴点をランダムに配置する方法や、エッジ抽出やコーナー検出FASTにより選択された特徴点の組を特徴点の候補として利用する方法なども変形例として採用しうる。
11 記憶部
12 演算部
21 第1の画像
21a、21b 特徴点
22a、22b、23a、23b 画素ペア
31 第2の画像
Claims (6)
- コンピュータに、
それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
前記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
前記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
処理を実行させる、プログラム。 - 前記第1の画像内の前記第1の特徴領域についての前記第2のビット列と、前記第2の画像内の前記第2の特徴領域についての前記第2のビット列との間の距離に基づいて前記第1の画像内の前記第1の特徴領域と前記第2の画像内の前記第2の特徴領域との間の対応関係を特定する
処理を実行させる、請求項1に記載のプログラム。 - 対応する前記第1の画像内の前記第1の特徴領域と前記第2の画像内の前記第2の特徴領域との位置関係に基づいて前記第1の画像と前記第2の画像との類似度を判定する
処理を実行させる、請求項2に記載のプログラム。 - コンピュータに、
それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
前記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが大きい順に所定数選択された第1の特徴領域の組み合わせを抽出し、
前記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが大きい順に前記所定数選択された第2の特徴領域の組み合わせを抽出し、
抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
処理を実行させる、プログラム。 - コンピュータが、
それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
前記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
前記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
処理を実行する、測距方法。 - 比較対象の第1の画像と第2の画像とを記憶する記憶部と、
それぞれ画素ペアを複数含む特徴領域を、前記第1の画像と前記第2の画像とからそれぞれ複数抽出し、
前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
前記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
前記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する演算部と
を有する、測距装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017036292A JP6997369B2 (ja) | 2017-02-28 | 2017-02-28 | プログラム、測距方法、及び測距装置 |
US15/899,442 US10528844B2 (en) | 2017-02-28 | 2018-02-20 | Method and apparatus for distance measurement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017036292A JP6997369B2 (ja) | 2017-02-28 | 2017-02-28 | プログラム、測距方法、及び測距装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142189A JP2018142189A (ja) | 2018-09-13 |
JP6997369B2 true JP6997369B2 (ja) | 2022-02-04 |
Family
ID=63246333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017036292A Active JP6997369B2 (ja) | 2017-02-28 | 2017-02-28 | プログラム、測距方法、及び測距装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10528844B2 (ja) |
JP (1) | JP6997369B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056312A1 (ja) * | 2015-10-02 | 2017-04-06 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
US10764561B1 (en) | 2016-04-04 | 2020-09-01 | Compound Eye Inc | Passive stereo depth sensing |
WO2021108626A1 (en) | 2019-11-27 | 2021-06-03 | Compound Eye Inc. | System and method for correspondence map determination |
WO2021150784A1 (en) | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for camera calibration |
WO2021150779A1 (en) | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for egomotion estimation |
JP2022143412A (ja) * | 2021-03-17 | 2022-10-03 | 株式会社東芝 | 画像処理装置および画像処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120275711A1 (en) | 2011-04-28 | 2012-11-01 | Sony Corporation | Image processing device, image processing method, and program |
JP2014190700A (ja) | 2013-03-26 | 2014-10-06 | Fujifilm Corp | 目視照合支援装置およびその制御方法 |
JP2015118644A (ja) | 2013-12-20 | 2015-06-25 | 富士通株式会社 | 情報処理装置、画像探索方法、及びプログラム |
JP2015225353A (ja) | 2014-05-26 | 2015-12-14 | 富士通株式会社 | 画像処理装置、画像判断方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US20100092093A1 (en) | 2007-02-13 | 2010-04-15 | Olympus Corporation | Feature matching method |
US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
US8533162B2 (en) | 2009-08-18 | 2013-09-10 | Osaka Prefecture University Public Corporation | Method for detecting object |
JP2013101423A (ja) | 2011-11-07 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | 画像マッチング装置及び画像マッチングプログラム |
JP2013109773A (ja) | 2013-01-07 | 2013-06-06 | Olympus Corp | 特徴マッチング方法及び商品認識システム |
JP6365117B2 (ja) | 2014-08-26 | 2018-08-01 | 富士通株式会社 | 情報処理装置、画像判定方法、及びプログラム |
-
2017
- 2017-02-28 JP JP2017036292A patent/JP6997369B2/ja active Active
-
2018
- 2018-02-20 US US15/899,442 patent/US10528844B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120275711A1 (en) | 2011-04-28 | 2012-11-01 | Sony Corporation | Image processing device, image processing method, and program |
JP2014190700A (ja) | 2013-03-26 | 2014-10-06 | Fujifilm Corp | 目視照合支援装置およびその制御方法 |
JP2015118644A (ja) | 2013-12-20 | 2015-06-25 | 富士通株式会社 | 情報処理装置、画像探索方法、及びプログラム |
JP2015225353A (ja) | 2014-05-26 | 2015-12-14 | 富士通株式会社 | 画像処理装置、画像判断方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018142189A (ja) | 2018-09-13 |
US20180247152A1 (en) | 2018-08-30 |
US10528844B2 (en) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6997369B2 (ja) | プログラム、測距方法、及び測距装置 | |
US10936911B2 (en) | Logo detection | |
WO2020125216A1 (zh) | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 | |
CN107633526B (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
US9619733B2 (en) | Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same | |
US8483440B2 (en) | Methods and systems for verifying automatic license plate recognition results | |
US20140226906A1 (en) | Image matching method and apparatus | |
US9626552B2 (en) | Calculating facial image similarity | |
US10438083B1 (en) | Method and system for processing candidate strings generated by an optical character recognition process | |
WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN105069457B (zh) | 图像识别方法和装置 | |
KR102167011B1 (ko) | 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법 | |
JP2017062778A (ja) | 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体 | |
CN113490947A (zh) | 检测模型训练方法、装置、检测模型使用方法及存储介质 | |
WO2023124278A1 (zh) | 图像处理模型的训练方法、图像分类方法及装置 | |
WO2015136709A1 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
WO2019100348A1 (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
WO2018121414A1 (zh) | 电子设备、目标图像识别方法及装置 | |
JP5500404B1 (ja) | 画像処理装置及びそのプログラム | |
WO2023060575A1 (zh) | 图像识别方法、装置、电子设备及存储介质 | |
US10810468B2 (en) | System for training descriptor with active sample selection | |
KR102027786B1 (ko) | 다수의 얼굴 이미지를 동시에 사용하는 얼굴 인식 및 인증 방법 및 시스템 | |
CN108122011B (zh) | 基于多种不变性混合的目标跟踪方法和系统 | |
CN111612063A (zh) | 一种图像匹配方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191118 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6997369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |