JP6511986B2 - プログラム生成装置、プログラム生成方法および生成プログラム - Google Patents
プログラム生成装置、プログラム生成方法および生成プログラム Download PDFInfo
- Publication number
- JP6511986B2 JP6511986B2 JP2015128263A JP2015128263A JP6511986B2 JP 6511986 B2 JP6511986 B2 JP 6511986B2 JP 2015128263 A JP2015128263 A JP 2015128263A JP 2015128263 A JP2015128263 A JP 2015128263A JP 6511986 B2 JP6511986 B2 JP 6511986B2
- Authority
- JP
- Japan
- Prior art keywords
- individuals
- program
- image
- fitness
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 82
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 3
- 238000009826 distribution Methods 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 27
- 230000002068 genetic effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 51
- 238000010586 diagram Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000035772 mutation Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000004083 survival effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Stored Programmes (AREA)
Description
さらに、1つの案では、上記のプログラム生成装置と同様の処理をコンピュータに実行させる生成プログラムが提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係るプログラム生成装置の構成例および処理例を示す図である。図1に示すプログラム生成装置10は、画像に含まれるテンプレート画像1aの位置を検出するための画像認識プログラムを、遺伝的プログラミングによって生成する。
次に、演算部12は、生成された個体3a〜3dのそれぞれについての類似度マップ4a〜4dを算出し、類似度マップ4a〜4dに基づいて個体3a〜3dのそれぞれについての適応度を算出する(ステップS2)。類似度マップの算出では、テンプレート画像1aと、入力画像1bと、入力画像1bにおけるテンプレート画像1aの正解位置1cとが利用される。類似度マップは、次のような手順で算出される。
以下の説明では、第2の実施の形態について説明する前に、まず、図2〜図6を用いて、遺伝的プログラミングによる画像認識プログラムの基本的な生成手順を示す比較例について説明し、さらに、図7,図8を用いて、比較例における問題点について説明する。そして、その後に第2の実施の形態に係る画像処理装置について説明する。ここで、比較例および第2の実施の形態のどちらでも、生成される画像認識プログラムは、テンプレート画像が入力画像内のどの位置に存在するかを検出するテンプレートマッチング処理を実行するためのプログラムである。
図9は、類似度マップの分布と目標分布との形状比較の例を示す図である。本実施の形態の画像処理装置は、図4のステップS14に対応する適応度の計算過程において、個体(プログラム)にしたがってテンプレートマッチング処理を実行し、その処理の中間情報として類似度マップを取得する。図9のグラフ83aは、得られた類似度マップを3次元表示したものである。
画像処理装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。またプロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
RAM102は、画像処理装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
通信インタフェース108は、接続された外部デバイスとの間でデータの送受信を行う。本実施の形態では、通信インタフェース108には、外部デバイスとしてカメラ108aが接続されており、通信インタフェース108は、カメラ108aから送信された画像データをプロセッサに送信する。
図11は、画像処理装置が備える処理機能の構成例を示すブロック図である。画像処理装置100は、図1に示したプログラム生成装置10と同様の処理機能と、この処理機能によって生成された画像認識プログラムを実行して画像処理を行う機能とを備える。画像処理装置100は、画像取得部111、画像処理部112、プログラム生成部120、プログラム記憶部130、要素記憶部141、学習データ記憶部142および中間データ記憶部143を有する。
プログラム生成部120は、遺伝的プログラミングにより画像認識プログラムを生成し、生成された画像認識プログラムをプログラム記憶部130に保存する。なお、プログラム生成部120の内部構成については後述する。
要素記憶部141は、プログラム生成部120によって生成される各個体に組み込むことが可能な要素のデータを記憶する。これらの要素は、図3の表40に示した要素であり、例えば、各種の画像フィルタのプログラムや、マッチング処理を実行するプログラムなどが含まれる。
学習制御部121は、プログラム生成部120でのプログラム生成処理全体を統括的に制御する。例えば、学習制御部121は、初期個体の生成、個体の進化処理、適応度に基づく生存選択および最終的な画像認識プログラムの出力、生存選択された個体による個体群の更新などの処理を実行する。
学習制御部121の制御により個体群61に含まれるすべての個体について上記処理が実行されることで、すべての個体についての位置適応度fk1が算出される。なお、個体群61に含まれる個体のうち、以前のステップS23の実行によって位置適応度fk1が算出済みである個体については、ステップS23での位置適応度fk1の算出がスキップされてもよい。
[ステップS26]学習制御部121は、選択された2つの親個体の間で交叉を行うことで、2つ以上の所定数の子個体を生成する。
Fk=Rk・fk2 ・・・(4)
[ステップS29]学習制御部121は、ステップS25で選択された各親個体、および、ステップS26,S27の処理によって得られた各子個体の中に、次の条件を満たす個体があるかを判定する。条件とは、総合類似度Fkが所定の閾値Th1以上であり、かつ、形状類似度Rkが所定の閾値Th2以上である、というものである。条件を満たす個体がある場合、ステップS31の処理が実行され、条件を満たす個体がない場合、ステップS30の処理が実行される。
第3の実施の形態では、第2の実施の形態を、顔画像を認識する画像認識プログラムを生成するように変形した例を示す。なお、第3の実施の形態に係る画像処理装置の基本的な構成は第2の実施の形態と同様であるので、第2の実施の形態と同様の符号を用いて説明する。
[ステップS41]学習制御部121は、適応度算出部123に目標分布T(i,j)の算出を指示する。適応度算出部123は、各顔の正解位置にそれぞれピークを有する目標分布T(i,j)を算出する。例えば、適応度算出部123は、各顔の正解位置に基づき、次の式(5)にしたがって目標分布T(i,j)を算出する。
なお、上記の各実施の形態に示した装置(プログラム生成装置10および画像処理装置100)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc-Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
1b 入力画像
1c 正解位置
2a〜2c 部分プログラム
3a〜3d 個体
4a〜4d 類似度マップ
5 目標分布
10 プログラム生成装置
11 記憶部
12 演算部
S1〜S3 ステップ
Claims (9)
- プログラムを遺伝的プログラミングによって生成するプログラム生成装置において、
入力画像におけるテンプレート画像の位置を検出する画像認識プログラムの構成要素となる複数の部分プログラムを記憶する記憶部と、
前記複数の部分プログラムの中からそれぞれ2以上の部分プログラムを組み合わせることで複数の個体を生成し、前記複数の個体をそれぞれ用いて、前記入力画像の各画素に前記テンプレート画像との類似度を対応づけた類似度マップを算出し、前記類似度マップの分布に基づいて前記複数の個体のそれぞれについての適応度を算出し、前記複数の個体の中から前記適応度が所定閾値以上の個体を前記画像認識プログラムとして出力する演算部と、
を有するプログラム生成装置。 - 前記適応度は、前記類似度マップの分布と前記類似度マップの目標分布との比較結果に基づいて算出される、
請求項1記載のプログラム生成装置。 - 前記目標分布は、前記入力画像における前記テンプレート画像の正解位置にピークを有し、前記ピークから離れるのにしたがって類似度の値が低下する形状を有する、
請求項2記載のプログラム生成装置。 - 前記演算部は、さらに、前記複数の部分プログラムの中からそれぞれ2以上の部分プログラムを組み合わせることで複数の第1個体を生成して前記記憶部に格納し、
前記複数の個体の生成は、
前記複数の第1個体の中から所定数の第2個体を選択し、
前記所定数の第2個体に基づいて生成される複数の第3個体であって、前記所定数の第2個体のいずれかに進化処理を施した個体を少なくとも含む前記複数の第3個体を出力する、
処理を含み、
前記適応度の算出では、前記複数の第3個体のそれぞれについて前記適応度が算出される、
請求項1記載のプログラム生成装置。 - 前記演算部は、さらに、前記複数の第3個体の中に前記適応度が前記所定閾値以上の個体が存在しなかった場合、前記適応度に基づいて前記複数の第3個体の中から生存個体を選択し、前記生存個体によって前記記憶部に記憶された前記複数の第1個体のうちの一部の個体を置換する、
請求項4記載のプログラム生成装置。 - 前記適応度は、前記類似度マップの分布と前記類似度マップの目標分布との比較結果に基づいて算出され、
前記目標分布は、前記入力画像における前記テンプレート画像の正解位置にピークを有し、前記ピークから離れるのにしたがって類似度の値が低下する形状を有し、前記複数の第1個体のそれぞれを用いて実行される前記入力画像における前記テンプレート画像の位置の検出処理の結果に基づいて算出される、
請求項5記載のプログラム生成装置。 - 前記演算部は、さらに、
前記複数の第1個体の一部が前記生存個体によって置換されることで得られる複数の第4個体に基づいて、前記目標分布を再計算し、
前記複数の第4個体と再計算された前記目標分布とを用いて、前記複数の第4個体の中からの前記所定数の第2個体の選択、前記所定数の第2個体に基づいて生成される前記複数の第3個体の出力、前記複数の第3個体のそれぞれについての前記適応度の算出、および前記適応度と前記所定閾値との比較に基づく前記画像認識プログラムの出力を実行する、
請求項6記載のプログラム生成装置。 - プログラムを遺伝的プログラミングによって生成するプログラム生成方法において、
コンピュータが、
入力画像におけるテンプレート画像の位置を検出する画像認識プログラムの構成要素となる複数の部分プログラムの中から、それぞれ2以上の部分プログラムを組み合わせることで複数の個体を生成し、
前記複数の個体をそれぞれ用いて、前記入力画像の各画素に前記テンプレート画像との類似度を対応づけた類似度マップを算出し、
前記類似度マップの分布に基づいて前記複数の個体のそれぞれについての適応度を算出し、
前記複数の個体の中から前記適応度が所定閾値以上の個体を前記画像認識プログラムとして出力する、
プログラム生成方法。 - プログラムを遺伝的プログラミングによって生成する生成プログラムにおいて、
コンピュータに、
入力画像におけるテンプレート画像の位置を検出する画像認識プログラムの構成要素となる複数の部分プログラムの中から、それぞれ2以上の部分プログラムを組み合わせることで複数の個体を生成し、
前記複数の個体をそれぞれ用いて、前記入力画像の各画素に前記テンプレート画像との類似度を対応づけた類似度マップを算出し、
前記類似度マップの分布に基づいて前記複数の個体のそれぞれについての適応度を算出し、
前記複数の個体の中から前記適応度が所定閾値以上の個体を前記画像認識プログラムとして出力する、
生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015128263A JP6511986B2 (ja) | 2015-06-26 | 2015-06-26 | プログラム生成装置、プログラム生成方法および生成プログラム |
US15/171,416 US10062007B2 (en) | 2015-06-26 | 2016-06-02 | Apparatus and method for creating an image recognizing program having high positional recognition accuracy |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015128263A JP6511986B2 (ja) | 2015-06-26 | 2015-06-26 | プログラム生成装置、プログラム生成方法および生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017010475A JP2017010475A (ja) | 2017-01-12 |
JP6511986B2 true JP6511986B2 (ja) | 2019-05-15 |
Family
ID=57602478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015128263A Active JP6511986B2 (ja) | 2015-06-26 | 2015-06-26 | プログラム生成装置、プログラム生成方法および生成プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10062007B2 (ja) |
JP (1) | JP6511986B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101765432B1 (ko) * | 2017-01-17 | 2017-08-04 | 조승훈 | 게임 대회 운영을 위한 게임 승패 결정 방법 |
JP6663873B2 (ja) * | 2017-02-22 | 2020-03-13 | 株式会社日立製作所 | プログラム自動生成システム及びプログラム自動生成方法 |
WO2019049365A1 (ja) * | 2017-09-11 | 2019-03-14 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7013182B2 (ja) * | 2017-09-21 | 2022-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6875058B2 (ja) * | 2018-02-09 | 2021-05-19 | Kddi株式会社 | 複数の認識エンジンを用いてコンテキストを推定するプログラム、装置及び方法 |
JP2020107008A (ja) * | 2018-12-27 | 2020-07-09 | 東洋製罐グループホールディングス株式会社 | 画像処理システム、及び画像処理プログラム |
JP7247578B2 (ja) * | 2018-12-27 | 2023-03-29 | 東洋製罐グループホールディングス株式会社 | 画像処理システム、及び画像処理プログラム |
US20190325316A1 (en) * | 2019-05-16 | 2019-10-24 | Intel Corporation | Apparatus and methods for program synthesis using genetic algorithms |
JP7404962B2 (ja) * | 2020-03-24 | 2023-12-26 | 東洋製罐グループホールディングス株式会社 | 画像処理システム、及び画像処理プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099890A (ja) * | 2000-09-26 | 2002-04-05 | Zexel Valeo Climate Control Corp | プログラム自動生成方法及びプログラム自動生成装置 |
JP2003288579A (ja) * | 2001-07-27 | 2003-10-10 | National Institute Of Advanced Industrial & Technology | 最適フィッティングパラメータ決定方法および装置、並びに最適フィッティングパラメータ決定プログラム |
JP2009122939A (ja) * | 2007-11-14 | 2009-06-04 | Bridgestone Corp | タイヤ検査用特徴抽出プログラム作成装置及びタイヤ検査装置 |
JP2009151371A (ja) | 2007-12-18 | 2009-07-09 | Dainippon Screen Mfg Co Ltd | 画像処理装置、画像処理方法およびプログラム |
JP2010266983A (ja) * | 2009-05-13 | 2010-11-25 | Sony Corp | 情報処理装置及び方法、学習装置および方法、プログラム、並びに情報処理システム |
JP5353597B2 (ja) * | 2009-09-24 | 2013-11-27 | 日本電気株式会社 | パターン認識装置 |
JP5941782B2 (ja) | 2012-07-27 | 2016-06-29 | 株式会社日立ハイテクノロジーズ | マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置 |
-
2015
- 2015-06-26 JP JP2015128263A patent/JP6511986B2/ja active Active
-
2016
- 2016-06-02 US US15/171,416 patent/US10062007B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160379088A1 (en) | 2016-12-29 |
US10062007B2 (en) | 2018-08-28 |
JP2017010475A (ja) | 2017-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6511986B2 (ja) | プログラム生成装置、プログラム生成方法および生成プログラム | |
US10489710B2 (en) | Program generation apparatus and program generation method | |
US11468261B2 (en) | Information processing apparatus, image processing method, and computer-readable recording medium recording image processing program | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
US10325184B2 (en) | Depth-value classification using forests | |
JPWO2019026104A1 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
US10540592B2 (en) | Program generation apparatus and program generation method | |
CN108205581A (zh) | 生成数字媒介环境中的紧凑视频特征表示 | |
US20170083295A1 (en) | Program generating apparatus and method therefor | |
WO2017109918A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US11328176B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
JPWO2013089263A1 (ja) | 画像処理装置及び画像処理方法 | |
KR20150003573A (ko) | 영상 패턴 검출 방법 및 그 장치 | |
US11182650B2 (en) | Information processing apparatus to generate a next generation image processing program in genetic programming, control method, and non-transitory computer-readable storage medium for storage program | |
JP6544435B2 (ja) | プログラム生成装置、プログラム生成方法および生成プログラム | |
CN113167568A (zh) | 坐标计算装置、坐标计算方法和计算机可读记录介质 | |
JP6331914B2 (ja) | アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム | |
WO2024171345A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6511986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |