JP6603477B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP6603477B2 JP6603477B2 JP2015093516A JP2015093516A JP6603477B2 JP 6603477 B2 JP6603477 B2 JP 6603477B2 JP 2015093516 A JP2015093516 A JP 2015093516A JP 2015093516 A JP2015093516 A JP 2015093516A JP 6603477 B2 JP6603477 B2 JP 6603477B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- weak
- group
- category
- categories
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
前記複数のカテゴリのそれぞれに対応する論理的にカスケード接続された複数の弱判別器は、接続順に複数のグループに分割されており、
入力画像に対して、前記複数の弱判別器のそれぞれによる処理を当該弱判別器に対応する参照データを用いて実行する処理手段を備え、
前記処理手段は、前記複数のグループの中で前記接続順において先頭のグループである第1のグループに属し、前記複数のカテゴリの全てに対応する弱判別器による処理を、前記カテゴリの順にパイプライン処理にて実行し、
前記処理手段は、前記第1のグループに属する弱判別器群の処理の結果に応じて、前記複数のカテゴリのうち、前記接続順で前記第1のグループに続く第2のグループに属する弱判別器群の処理を実行すべきカテゴリを決定し、
前記処理手段は、前記第2のグループに属する弱判別器群の中で、前記決定されたカテゴリに対応する弱判別器群の処理を、前記カテゴリの順に、パイプライン処理にて実行する
ことを特徴とする。
本実施形態では、論理的にカスケード接続された複数の弱判別器を、物体のカテゴリ毎に有する情報処理装置の一例について説明する。より具体的には、複数の弱判別器を複数のグループに分割し、それぞれのカテゴリの第1のグループに属する弱判別器群の処理をパイプライン処理にて実行する。そして、該それぞれのカテゴリの第1のグループに属する弱判別器群の処理の結果に応じて、第2のグループに属する弱判別器群の処理をパイプライン処理にて実行するカテゴリを決定する。そして、該決定したカテゴリの第2のグループに属する弱判別器群の処理をパイプライン処理にて実行することを特徴とする情報処理装置の一例について説明する。
制御部702は、それぞれのカテゴリcのステージ1の弱判別器Cc,1の実行順序を示す情報(実行順序情報)を初期化情報保持部706に格納する。ここでは、カテゴリ番号(カテゴリインデックス)を処理順に並べたものを、ステージ1の弱判別器Cc,1の実行順序を示す情報として初期化情報保持部706に格納する。本実施形態では、C1,1、C2,1、C3,1、C4,1、C5,1、C6,1、C7,1、C8,1、の順にパイプライン処理にて実行するので、「1→2→3→4→5→6→7→8」を示す情報を実行順序情報として初期化情報保持部706に格納する。このような実行順序情報は、ユーザが不図示の操作部を用いて入力しても良いし、物体判別装置が何らかの基準に従って決定しても良い。
弱判別器処理部703は先ず、初期化情報保持部706に格納されている実行順序情報を参照し、今回処理するカテゴリのカテゴリインデックスを読み出す。本実施形態の場合、第1回目のステップS103では、カテゴリインデックス=1を読み出し、N(1<N≦8)回目のステップS103では、カテゴリインデックス=Nを読み出すことになる。
ステップS103で弱判別器処理部703が初期化情報保持部706から読み出したカテゴリインデックスをcとすると、弱判別器処理部703は、弱判別器Cc,1を実行して、入力画像に対する弱判別器Cc,1の判別結果を求める。ここで、ステップS104では、ステップS106〜S111の処理を行う。
弱判別器処理部703は、RAM704から、弱判別器Cc,1に対応する辞書データを読み出す。本実施形態では、「弱判別器Cc,1に対応する辞書データ」とは、「入力画像において弱判別器Cc,1に対応する画素位置を示すデータ」であり、弱判別器ごとに異なるものとする。一般に、弱判別器Cc,iに対応する辞書データDc,iは、以下の(式1)のように表される。
弱判別器処理部703は、バッファ701に格納されている入力画像から、辞書データDc,1が示す画素位置の画素値f(Xc,1、Yc,1)を読み出す。なお、画素値の代わりに、1つ若しくは複数の画素の画素値を用いて得られる特徴量を用いても良い。
弱判別器処理部703は、RAM704から、弱判別器Cc,1に対応するLUTデータを読み出す。本実施形態では、「弱判別器Cc,1に対応するLUTデータ」とは、「弱判別器Cc,1についてステップS107で読み出した画像特徴量(ここでは画素値)を、対象とする物体らしさに相当するスコア(評価値)に変換するための関数を表すデータ」である。一般に、弱判別器Cc,iに対応するLUTデータが表す関数Lc,iは、以下の(式2)のように表される。
弱判別器処理部703は、画素値f(Xc,1、Yc,1)を関数Lc,1を用いて変換することで、スコアSc,1を求める。更に弱判別器処理部703は、RAM704から、弱判別器Cc,1に対応する閾値Tc,1を読み出す。
弱判別器処理部703は、スコアSc,1と閾値Tc,1との大小比較を行い、Sc,1>Tc,1であれば処理はステップS111に進む。一方、Sc,1≦Tc,1であれば、処理はステップS105に進み、次の順番のカテゴリについてステップS103以降の処理を行う。
弱判別器処理部703は、カテゴリインデックスcと、弱判別器Cc,1による判別結果と、を関連づけて判別結果保持部705に格納する。
弱判別器処理部703は、判別結果保持部705に格納されているカテゴリインデックスのうち、上記の実行順序情報が示す実行順序においてより先の実行順序となっている未選択のカテゴリインデックスcを選択する。
弱判別器処理部703は、弱判別器Cc,2を実行して、入力画像に対する弱判別器Cc,2の判別結果を求める。ここで、ステップS115でも、ステップS106〜S111の処理を行い、対象カテゴリはカテゴリ2となる。この場合、ステップS106では、弱判別器Cc,2に対応する辞書データを読み出し、ステップS107では、画素値f(Xc,2、Yc,2)を読み出し、ステップS108では、弱判別器Cc,2に対応するLUTデータを読み出す。そしてステップS109では、画素値f(Xc,2、Yc,2)を関数Lc,2を用いて変換してスコアSc,2を求め、ステップS110では、スコアSc,2と閾値Tc,2との大小比較を行う。そして、Sc,2>Tc,2であれば処理はステップS111に進み、カテゴリインデックスcと、弱判別器Cc,2による判別結果と、を関連づけて判別結果保持部705に格納する。一方、Sc,2≦Tc,2であれば、処理はステップS114に進み、次の順番のカテゴリについてステップS115以降の処理を行う。
上記の通り、弱判別器に対する辞書データは、入力画像上の1つの画素の画素位置に限るものではない。例えば、複数枚の画像における1以上の画素位置としても良いし、動画像を処理する時の時系列空間における1以上の位置としても良い。
以下では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。物体判別処理を行った結果、それぞれのカテゴリの弱判別器の状態が図3に例示した状態となった場合に、該物体判別処理において各サイクルにおける状態を、図8を用いて説明する。
以下では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。第1の実施形態では、ステージ1においては、どのカテゴリを先に処理するのかについては別段基準はなかった。本実施形態では、ステージ2に物体判別処理が到達する可能性の高いカテゴリをより先にステージ1で処理するように、それぞれのカテゴリのステージ1の弱判別器に対する実行順序を予め設定しておき、該設定した実行順序を示す情報を初期化情報保持部706に格納する。この設定は、予め統計的な手法などでもって行っておく。
上記の各実施形態における「物体のカテゴリ」とは、幾つかの数に分類可能な物体の属性であれば、如何なるものであっても良く、例えば、物体の様々な姿勢であっても良い。また、物体のサイズや方向や照明等が異なる同一種類の物体または異なる種類の物体を対象とし、該対象となる物体についてサイズ、照明の方向、種類などを「物体のカテゴリ」として用いても良い。
上記の各実施形態では、カテゴリ毎のステージ1の弱判別器の個数、カテゴリ毎のステージ2の弱判別器の個数、は共に1としたが、複数であっても構わない。ステージ1及びステージ2のそれぞれに複数の弱判別器を設けた構成を図11に示す。図11ではステージ1及びステージ2のそれぞれにM(Mは3以上の整数)個の弱判別器を設けている。Cc,i、j(図11では1≦c≦N、1≦i≦2、1≦j≦M)は、カテゴリcのステージiに属する弱判別器群のうち左から(入力側から)j番目の弱判別器を表している。
上記の各実施形態では、ステージ数を2としたが、ステージ数は2に限るものではなく、それ以上の数としても良い。ステージ数をP(Pは3以上の整数)とした構成を図12に示す。また、図12では、それぞれのステージに複数(M個)の弱判別器を設けている。
図7に示した構成でバッファ701、RAM704、判別結果保持部705、初期化情報保持部706、のそれぞれを1以上のメモリで構成し、制御部702をCPU等のプロセッサで構成する場合、弱判別器処理部703はハードウェアで構成しても良い。しかし、弱判別器処理部703はソフトウェアで構成しても構わない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (8)
- 物体の複数のカテゴリに対して、それぞれのカテゴリに対応する論理的にカスケード接続された複数の弱判別器によって物体の判別処理を実行する情報処理装置であって、
前記複数のカテゴリのそれぞれに対応する論理的にカスケード接続された複数の弱判別器は、接続順に複数のグループに分割されており、
入力画像に対して、前記複数の弱判別器のそれぞれによる処理を当該弱判別器に対応する参照データを用いて実行する処理手段を備え、
前記処理手段は、前記複数のグループの中で前記接続順において先頭のグループである第1のグループに属し、前記複数のカテゴリの全てに対応する弱判別器による処理を、前記カテゴリの順にパイプライン処理にて実行し、
前記処理手段は、前記第1のグループに属する弱判別器群の処理の結果に応じて、前記複数のカテゴリのうち、前記接続順で前記第1のグループに続く第2のグループに属する弱判別器群の処理を実行すべきカテゴリを決定し、
前記処理手段は、前記第2のグループに属する弱判別器群の中で、前記決定されたカテゴリに対応する弱判別器群の処理を、前記カテゴリの順に、パイプライン処理にて実行する
ことを特徴とする情報処理装置。 - 前記処理手段は、
前記それぞれのカテゴリの第1のグループに属する弱判別器群の処理の結果に対して評価値を求め、該それぞれのカテゴリのうち、前記第2のグループに属する弱判別器群の処理をパイプライン処理にて実行するカテゴリを、該評価値に基づいて決定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記処理手段は、前記評価値が閾値を超えるカテゴリを、前記第2のグループに属する弱判別器群の処理をパイプライン処理にて実行するカテゴリとして決定することを特徴とする請求項2に記載の情報処理装置。
- 前記処理手段は、前記第1のグループに属するそれぞれの弱判別器群の処理の結果に対して評価値を求め、該それぞれの弱判別器群の処理の結果に対する評価値の何れも閾値を超えていれば、該第1のグループと同じカテゴリの前記第2のグループに属する弱判別器群の処理をパイプライン処理にて実行するカテゴリとして決定することを特徴とする請求項2に記載の情報処理装置。
- 前記処理手段は、前記第1のグループに属するそれぞれの弱判別器群の処理の結果に対して評価値を求め、該それぞれの弱判別器群の処理の結果に対する評価値の合計値が閾値を超えていれば、該第1のグループと同じカテゴリの前記第2のグループに属する弱判別器群の処理をパイプライン処理にて実行するカテゴリとして決定することを特徴とする請求項2に記載の情報処理装置。
- 前記処理手段は、前記第2のグループに属する弱判別器群の処理をパイプライン処理にて実行する可能性の高いカテゴリとして予め設定されたカテゴリから先に、該カテゴリの第1のグループに属する弱判別器群の処理をパイプライン処理にて実行することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
- 物体の複数のカテゴリに対して、それぞれのカテゴリに対応する論理的にカスケード接続された複数の弱判別器によって物体の判別処理を実行する情報処理装置が行う情報処理方法であって、
前記複数のカテゴリのそれぞれに対応する論理的にカスケード接続された複数の弱判別器は、接続順に複数のグループに分割されており、
前記情報処理装置は、入力画像に対して、前記複数の弱判別器のそれぞれによる処理を当該弱判別器に対応する参照データを用いて実行する処理手段を備え、
前記情報処理装置の処理手段が、前記複数のグループの中で前記接続順において先頭のグループである第1のグループに属し、前記複数のカテゴリの全てに対応する弱判別器による処理を、前記カテゴリの順にパイプライン処理にて実行する第1の処理工程と、
前記情報処理装置の処理手段が、前記第1のグループに属する弱判別器群の処理の結果に応じて、前記複数のカテゴリのうち、前記接続順で前記第1のグループに続く第2のグループに属する弱判別器群の処理を実行すべきカテゴリを決定する決定工程と、
前記情報処理装置の処理手段が、前記第2のグループに属する弱判別器群の中で、前記決定工程で決定したカテゴリに対応する弱判別器群の処理を、前記カテゴリの順に、パイプライン処理にて実行する第2の処理工程と
を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の情報処理装置の処理手段として機能させるためのコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093516A JP6603477B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、情報処理方法 |
US15/139,603 US9824301B2 (en) | 2015-04-30 | 2016-04-27 | Information processing apparatus, information processing method, and non-transitory computer readable storage medium |
US15/730,075 US10579909B2 (en) | 2015-04-30 | 2017-10-11 | Information processing apparatus, information processing method, and non-transitory computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093516A JP6603477B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016212523A JP2016212523A (ja) | 2016-12-15 |
JP6603477B2 true JP6603477B2 (ja) | 2019-11-06 |
Family
ID=57204964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093516A Active JP6603477B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9824301B2 (ja) |
JP (1) | JP6603477B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6603477B2 (ja) * | 2015-04-30 | 2019-11-06 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6815743B2 (ja) * | 2016-04-15 | 2021-01-20 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
EP3726462A4 (en) * | 2017-12-14 | 2020-12-23 | NEC Corporation | IDENTIFICATION DEVICE, IDENTIFICATION METHOD AND STORAGE MEDIUM |
GB2574052B (en) * | 2018-05-24 | 2021-11-03 | Advanced Risc Mach Ltd | Image processing |
CN111046926B (zh) * | 2019-11-26 | 2023-09-19 | 山东浪潮科学研究院有限公司 | 一种计算机视觉图像分类集成学习方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7835549B2 (en) * | 2005-03-07 | 2010-11-16 | Fujifilm Corporation | Learning method of face classification apparatus, face classification method, apparatus and program |
JP4744918B2 (ja) | 2005-04-19 | 2011-08-10 | 富士フイルム株式会社 | 顔検出方法および装置並びにプログラム |
US8175333B2 (en) * | 2007-09-27 | 2012-05-08 | Behavioral Recognition Systems, Inc. | Estimator identifier component for behavioral recognition system |
JP4513898B2 (ja) * | 2008-06-09 | 2010-07-28 | 株式会社デンソー | 画像識別装置 |
JP5789128B2 (ja) * | 2011-05-26 | 2015-10-07 | キヤノン株式会社 | 画像処理装置、画像データの処理方法およびプログラム |
US9593982B2 (en) * | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
JP6603477B2 (ja) * | 2015-04-30 | 2019-11-06 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2015
- 2015-04-30 JP JP2015093516A patent/JP6603477B2/ja active Active
-
2016
- 2016-04-27 US US15/139,603 patent/US9824301B2/en active Active
-
2017
- 2017-10-11 US US15/730,075 patent/US10579909B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016212523A (ja) | 2016-12-15 |
US9824301B2 (en) | 2017-11-21 |
US20180046884A1 (en) | 2018-02-15 |
US10579909B2 (en) | 2020-03-03 |
US20160321521A1 (en) | 2016-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6603477B2 (ja) | 情報処理装置、情報処理方法 | |
CN109740534B (zh) | 图像处理方法、装置及处理设备 | |
US8103109B2 (en) | Recognizing hand poses and/or object classes | |
US9147123B2 (en) | System and method to perform feature detection and to determine a feature score | |
JP6532190B2 (ja) | 画像検索装置、画像検索方法 | |
US20170103284A1 (en) | Selecting a set of exemplar images for use in an automated image object recognition system | |
US10311564B2 (en) | Image processing device, image sensor, and image processing method | |
WO2009147840A1 (ja) | 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム | |
CN108596079B (zh) | 手势识别方法、装置及电子设备 | |
US20150199592A1 (en) | Contour-based classification of objects | |
RU2013134325A (ru) | Устройство и способ распознавания жестов на основе анализа множества возможных границ раздела | |
US11562554B1 (en) | Workload reduction for non-maximum suppression operation | |
US10268881B2 (en) | Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium | |
WO2015031350A1 (en) | Systems and methods for memory utilization for object detection | |
US11580721B2 (en) | Information processing apparatus, control method, and program | |
US10402693B2 (en) | Apparatus and method for classifying pattern in image | |
JP5686548B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US11288534B2 (en) | Apparatus and method for image processing for machine learning | |
CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 | |
de Oliveira Junior et al. | An fpga-based hardware accelerator for scene text character recognition | |
JP5713973B2 (ja) | 情報処理装置および並列処理方法 | |
JP6827721B2 (ja) | パターン判別装置、情報処理装置、パターン判別方法 | |
JP2018005505A (ja) | 画像認識パラメータ設定装置、画像認識パラメータ設定方法、および画像認識パラメータ設定プログラム | |
WO2020150891A1 (zh) | 指纹识别的方法、处理器和电子设备 | |
JP2015187770A (ja) | 画像認識装置、画像認識方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6603477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |