JP6431495B2 - 教師データ生成方法 - Google Patents

教師データ生成方法 Download PDF

Info

Publication number
JP6431495B2
JP6431495B2 JP2016062606A JP2016062606A JP6431495B2 JP 6431495 B2 JP6431495 B2 JP 6431495B2 JP 2016062606 A JP2016062606 A JP 2016062606A JP 2016062606 A JP2016062606 A JP 2016062606A JP 6431495 B2 JP6431495 B2 JP 6431495B2
Authority
JP
Japan
Prior art keywords
image
teacher data
imaging device
captured images
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016062606A
Other languages
English (en)
Other versions
JP2017174350A (ja
Inventor
智行 金丸
智行 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016062606A priority Critical patent/JP6431495B2/ja
Priority to US15/434,950 priority patent/US10311317B2/en
Priority to CN201710176181.7A priority patent/CN107229941B/zh
Publication of JP2017174350A publication Critical patent/JP2017174350A/ja
Application granted granted Critical
Publication of JP6431495B2 publication Critical patent/JP6431495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries

Description

本発明は、画像認識用の教師データを生成する技術に関する。
あらかじめ計算機上で３次元の回転処理を施して生成した学習サンプルで識別器を構成し、２次元の回転文字の認識を行う方法が提案されている（例えば、非特許文献１参照）。画像の輝度勾配を用いて物体の認識をおこなうＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ） を用いて同一物体画像の抽出をおこなう方法、具体的にはある画像に対して、そのままの画像と元画像を３次元回転させ２次元に射影をおこなった画像からの同一物体のマッチングをおこなう方法が提案されている（例えば、特許文献２参照）。
「３次元回転不変文字認識」成田了ほか（「画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）」２０１１年７月）情報処理学会電子図書館（https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=77644&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8 ） 「立体的変形を受けた画像のＳＩＦＴ特徴を用いたマッチング」岡尾（高知工科大学 学士学位論文（２０１３年３月１日）（http://www.kochi-tech.ac.jp/library/ron/2012/2012info/1130317.pdf）
しかし、画像から物体を抽出するため、多数（例えば７０００以上）の異なる視点から撮像された当該物体の画像データを基礎として、画像認識用の教師データが生成される場合、その生成に要する工数およびコストが著しく増大するおそれがある。
そこで、本発明は、基礎となる画像の数の低減を図りながら、画像認識用の教師データを生成する方法を提供することを目的とする。
本発明は、対象物の画像認識用の教師データを生成する方法であって、複数の第１指定位置のそれぞれに配置された撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程と、前記複数の撮像画像のそれぞれから平面であると認識される領域である複数の基礎画像領域のそれぞれを抽出する工程と、前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第１指定位置とは異なる複数の第２指定位置のそれぞれに配置されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程と、を含んでいることを特徴とする。
本発明の方法によれば、基礎となる画像の数の低減を図りながら、画像認識の為に必要十分な数の教師データが生成されうる。
本発明の一実施形態としての教師データの製造方法に関する説明図。 撮像装置Ｃの撮像位置に関する説明図。 カメラ位置の変更方法に関する説明図。 カメラの内部パラメータ設定に関する説明図。 複数の異なる位置から実際に撮像された物体の画像に関する説明図。 複数の異なる位置から撮像されたと仮定された場合の物体の推定画像に関する説明図。 実際の撮像画像と推定画像との偏差の評価結果に関する説明図。
本発明の一実施形態としての画像認識用の教師データ生成方法について説明する。
まず、基礎となる画像の撮像枚数を表わす第１指数ｉが「１」に設定される（図１／ＳＴＥＰ１１）。撮像装置Ｃの位置Ｐが第１指定位置Ｐiに調節される（図１／ＳＴＥＰ１２）。撮像装置Ｃの姿勢は、その光軸が実空間極座標系の一点を向くように調節される。
例えば、図２に示されているように、３次元極座標系の原点を中心とし、当該中心の上方に極点を有する半径Ｒの半球面において、当該極点Ｐ1のほか、θi＝θ（２０°≦θ≦７０°）で表わされる緯度において経度方向に等間隔に配置された４つの点Ｐ2〜Ｐ5が第１指定位置として定義される。この場合、第１指定位置Ｐiは、３次元極座標系の座標値（ｒiｓｉｎθiｃｏｓφi，ｒiｓｉｎθiｓｉｎφi，ｒiｃｏｓθi）により表わされる。撮像装置Ｃの位置および姿勢が作業者の手作業によって調節された上で雲台等の適当な器具により固定されるほか、ロボットアームなどの駆動装置によって自動的に調節されてもよい。
続いて、位置Ｐが撮像装置Ｃにより物体が撮像されることにより撮像画像が取得される（図１／ＳＴＥＰ１３）。
撮像画像から基礎画像領域Ｓiが抽出される（図１／ＳＴＥＰ１４）。例えば、人間（作業者）が出力インターフェースを通じて表示される撮像画像を視認しながら、入力インターフェースを通じて操作することにより、略平面と認識される領域が基礎画像領域Ｓiとして抽出される。基礎画像領域Ｓiの抽出は、任意の少数枚数の撮影画像のみについて実施される。撮像装置の光学中心および基礎画像領域Ｓiの距離ｒは、適当な測距センサを用いて測定される。
第１指数ｉが第１指定数Ｎ1以上であるか否かが判定される（図１／ＳＴＥＰ１５）。第１指定数Ｎ1は、例えば「５」に設定されている。第１指数ｉが第１指定数Ｎ1未満であると判定された場合（図１／ＳＴＥＰ１５‥ＮＯ）、第１指数ｉが「１」だけ増加され（図１／ＳＴＥＰ１６）、その上で撮像装置Ｃの位置および姿勢調節以降の手順が繰り返される（図１／ＳＴＥＰ１２〜ＳＴＥＰ１５）。複数の撮像装置Ｃのそれぞれが複数の指定位置のそれぞれに配置され、用いられてもよい。
第１指数ｉが第１指定数Ｎ1以上であると判定された場合（図１／ＳＴＥＰ１５‥ＹＥＳ）、推定画像の生成枚数を表わす第２指数ｊが「１」に設定される（図１／ＳＴＥＰ２１）。仮想的な撮像装置Ｃの位置Ｐが第１指定位置Ｐiとは異なる第２指定位置Ｐjに調節される（図１／ＳＴＥＰ２２）。第２指定位置Ｐjも、例えば第１指定位置Ｐiと同様に前記半球面上に定義される（図２参照）。
具体的には、図３Ａに示されている撮像装置Ｃの光学中心Ｐ＝ｅ（３次元ベクトル）のほか、撮像装置Ｃの光学中心Ｐを基準とした画像（基礎画像領域Ｓi）の中心の方位を表わす単位ベクトルｌ＝（ｃ−ｅ）／｜ｃ−ｅ｜、撮像装置Ｃの光学中心を移動させた後の撮像装置Ｃの上方向を表わす単位ベクトルｕ’＝ｓ×ｌおよび単位ベクトルｓ＝ｌ×ｕを用いて、撮像装置Ｃの光学中心位置Ｐを変化させる座標変換行列Ｍ1が関係式（１）により定義される。
図３Ｂに示されている撮像装置Ｃの被写界深度の下限値ｄnおよび上限値ｄfのほか、縦方向の画角θy、縦方向の画角θyに対する横方向の画角θxのアスペクト比ａ、およびｆ＝１／ｔａｎ（θy／２）を用いて、撮像装置Ｃの内部パラメータに基づく変換行列Ｍ2が関係式（２）により定義される。
基礎画像領域Ｓiが、関係式（３）にしたがって座標変換された結果Ｓi^が教師データの１つとして生成される（図１／ＳＴＥＰ２３）。
第２指数ｊが第２指定数Ｎ2以上であるか否かが判定される（図１／ＳＴＥＰ２４）。第２指定数Ｎ2は、例えば「７０００」など、画像認識用の教師データとして必要十分な数に設定されている。第２指数ｊが第２指定数Ｎ2未満であると判定された場合（図１／ＳＴＥＰ２４‥ＮＯ）、第２指数ｊが「１」だけ増加され（図１／ＳＴＥＰ２５）、その上で撮像装置Ｃの位置および姿勢調節以降の手順が繰り返される（図１／ＳＴＥＰ２２〜ＳＴＥＰ２４）。そして、第２指数ｊが第２指定数Ｎ2以上であると判定された場合（図１／ＳＴＥＰ２４‥ＹＥＳ）、前記一連の手順が終了する。前記のようにして取得された基礎画像領域に加えて、前記のように算定された推定画像群が教師データとしてデータベースに蓄積される。
その後、任意の環境下で取得された撮像画像から基礎画像領域が抽出され、当該抽出結果がデータベースに蓄積された教師データと照合またはパターンマッチングされることにより、当該基礎画像領域に相当する実空間に教師データに係る物体が存在することが認識される。
（実験例）
略矩形平板状の物体の表面中心を原点とし、その表面をｘ−ｙ平面の一部とする３次元座標系において、ｚ軸上に極点を有する半球面上における撮像装置Ｃの位置を、経度を一定にしながら緯度（または３次元極座標系における仰角）を断続的に変化させながら当該物体が撮像された。図４Ａには、左から順にこの場合の実際の撮像画像が示されている。図４Ｂには、左から順に撮像装置Ｃの位置を同様に変化させながら同一の物体を撮像したと仮定された場合に、前記方法にしたがって推定された画像が示されている。
図５には、撮像装置Ｃの実際の（または仮想的な）位置を表わす仰角θと、実際の撮像画像および推定画像のそれぞれにおける略矩形板状の物体における１つの隅角の画像座標系における角度との関係がプロットにより示されている。２０°≦θ≦１６０°の範囲における推定画像が生成されることが想定されている。図５に示されているように、θが大きくなるほど（撮像装置Ｃの位置がｘ−ｙ平面に近づくほど）、隅角角度の偏差が徐々に大きくなる傾向があるものの、その最大の相対偏差は１．９％であり、当該推察画像群が教師用データとして用いられることで、物体の認識精度の向上が図られることが検証された。
Ｃ‥撮像装置、Ｐ1〜Ｐ5‥第１指定位置、Ｓi‥基礎画像領域。

Claims (2)

  1. 対象物の画像認識用の教師データを生成する方法であって、
    複数の第１指定位置のそれぞれに配置された撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程と、
    前記複数の撮像画像のそれぞれから平面であると認識される領域である複数の基礎画像領域のそれぞれを抽出する工程と、
    前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第１指定位置とは異なる複数の第２指定位置のそれぞれに配置されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程と、を含んでいることを特徴とする方法。
  2. 請求項１記載の方法において、
    前記複数の撮像画像を取得する工程は、前記複数の第１指定位置のそれぞれとしての３次元極座標系の原点を中心とする半球面上の複数の点のそれぞれの位置に配置され、かつ、光軸が当該３次元極座標系の原点に向くように姿勢が調節された前記撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程であり、
    前記教師データとして生成する工程は、前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第２指定位置のそれぞれとしての前記半球面上の複数の点のそれぞれの位置に配置され、かつ、光軸が前記３次元極座標系の原点に向くように姿勢が調節されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程であることを特徴とする方法。
JP2016062606A 2016-03-25 2016-03-25 教師データ生成方法 Active JP6431495B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016062606A JP6431495B2 (ja) 2016-03-25 2016-03-25 教師データ生成方法
US15/434,950 US10311317B2 (en) 2016-03-25 2017-02-16 Teacher data generation method
CN201710176181.7A CN107229941B (zh) 2016-03-25 2017-03-22 示教数据的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062606A JP6431495B2 (ja) 2016-03-25 2016-03-25 教師データ生成方法

Publications (2)

Publication Number Publication Date
JP2017174350A JP2017174350A (ja) 2017-09-28
JP6431495B2 true JP6431495B2 (ja) 2018-11-28

Family

ID=59898566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062606A Active JP6431495B2 (ja) 2016-03-25 2016-03-25 教師データ生成方法

Country Status (3)

Country Link
US (1) US10311317B2 (ja)
JP (1) JP6431495B2 (ja)
CN (1) CN107229941B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237485A1 (en) * 2021-01-28 2022-07-28 Kyocera Document Solutions Inc. Printing a portion of a web page using artificial intelligence

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674461B1 (en) * 1998-07-07 2004-01-06 Matthew H. Klapman Extended view morphing
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US8134613B2 (en) * 2001-04-10 2012-03-13 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
EP1658579B1 (en) * 2003-08-15 2016-09-28 Scape A/S Method for for classification and spatial localization of bounded 3d-objects
DE602005021267D1 (de) * 2004-03-07 2010-07-01 Rafael Armament Dev Authority Verfahren und System zur pseudo-automatischen Bildregistrierung
US7502498B2 (en) * 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
US7480414B2 (en) * 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
WO2006073647A2 (en) * 2004-12-03 2006-07-13 Sarnoff Corporation Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US20070086627A1 (en) * 2005-10-18 2007-04-19 Samsung Electronics Co., Ltd. Face identification apparatus, medium, and method
US7878402B2 (en) * 2005-12-20 2011-02-01 Cognex Technology And Investment Corporation Decoding distorted symbols
US8078436B2 (en) * 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2009069996A (ja) * 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
US8457390B1 (en) * 2008-10-10 2013-06-04 Cognex Corporation Method and apparatus for training a probe model based machine vision system
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
KR101658578B1 (ko) * 2010-01-27 2016-09-22 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
US8509534B2 (en) * 2010-03-10 2013-08-13 Microsoft Corporation Document page segmentation in optical character recognition
JP2011210087A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5501084B2 (ja) * 2010-04-28 2014-05-21 株式会社日立製作所 平面領域検出装置及びステレオカメラシステム
WO2012006578A2 (en) * 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
DK2594077T3 (en) * 2010-07-15 2016-02-15 Ge Video Compression Llc Hybrid video coding that supports the intermediate-view synthesis
JP5800494B2 (ja) * 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
US8649633B2 (en) * 2010-12-03 2014-02-11 Siemens Aktiengesellschaft Image registration system with movable region indicating similarity of alignment
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
JP5759161B2 (ja) * 2010-12-16 2015-08-05 キヤノン株式会社 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
JP5645079B2 (ja) * 2011-03-31 2014-12-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2538242B1 (en) * 2011-06-24 2014-07-02 Softkinetic Software Depth measurement quality enhancement.
US8699789B2 (en) * 2011-09-12 2014-04-15 Xerox Corporation Document classification using multiple views
CN103271784B (zh) * 2013-06-06 2015-06-10 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
WO2015164828A1 (en) * 2014-04-24 2015-10-29 Nantworks, LLC Robust feature identification for image-based object recognition
JP6664579B2 (ja) * 2014-06-20 2020-03-13 ヤフー株式会社 学習装置、学習方法及び学習プログラム
CN104647377B (zh) * 2014-12-30 2016-08-24 杭州新松机器人自动化有限公司 一种基于认知系统的工业机器人及其控制方法
KR102099112B1 (ko) * 2015-02-26 2020-04-09 한화정밀기계 주식회사 부품 정보 티칭 방법
CN105234943B (zh) * 2015-09-09 2018-08-14 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法

Also Published As

Publication number Publication date
CN107229941A (zh) 2017-10-03
US20170277976A1 (en) 2017-09-28
CN107229941B (zh) 2020-11-27
US10311317B2 (en) 2019-06-04
JP2017174350A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
JP6732214B2 (ja) 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
US20150279075A1 (en) Recording animation of rigid objects using a single 3d scanner
CN109033989B (zh) 基于三维点云的目标识别方法、装置及存储介质
JP2017120672A5 (ja) 画像処理装置、画像処理システム、および画像処理方法
CN113409384A (zh) 一种目标物体的位姿估计方法和系统、机器人
JP2021163503A (ja) ２次元カメラによる３次元の姿勢推定
WO2014203687A1 (ja) 画像処理方法、画像処理装置、および画像処理プログラム
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
JP2009121824A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP6431404B2 (ja) 姿勢推定モデル生成装置及び姿勢推定装置
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
JP6431495B2 (ja) 教師データ生成方法
CN111416938B (zh) 一种增强现实合拍方法、设备及计算机可读存储介质
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Makihara et al. Grasp pose detection for deformable daily items by pix2stiffness estimation
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP5904168B2 (ja) 撮像画像の特徴点抽出方法および特徴点抽出装置
JP2014178967A (ja) ３次元物体認識装置及び３次元物体認識方法
JP7298687B2 (ja) 物体認識装置及び物体認識方法
KR20230049969A (ko) 글로벌 측위 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181102

R150 Certificate of patent or registration of utility model

Ref document number: 6431495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150