JP6378664B2 - 情報特定システム、情報特定方法及びそのプログラム - Google Patents
情報特定システム、情報特定方法及びそのプログラム Download PDFInfo
- Publication number
- JP6378664B2 JP6378664B2 JP2015236132A JP2015236132A JP6378664B2 JP 6378664 B2 JP6378664 B2 JP 6378664B2 JP 2015236132 A JP2015236132 A JP 2015236132A JP 2015236132 A JP2015236132 A JP 2015236132A JP 6378664 B2 JP6378664 B2 JP 6378664B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- dimensional model
- specifying
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
所定方向から前記対象物を撮像する第1撮像手段と、
他方向から前記対象物を撮像する第2撮像手段と、
前記第1撮像手段で複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析する解析手段と、
前記第1撮像手段で撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、前記データベースに登録する登録手段と、
前記第2撮像手段で撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、前記データベースに登録された情報と照合して複数の対象物の候補を特定する第1特定手段と、
特定した前記複数の対象物の候補から、前記学習した3次元モデルと、前記特定した複数の対象物の候補における3次元モデルとを照合して、一の対象物を特定する第2特定手段と、
を備えることを特徴とする情報特定システムを提供する。
他方向から前記対象物を撮像する第2撮像手段と、
前記第1撮像手段で複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析する解析手段と、
前記第1撮像手段で撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を記憶する記憶手段と、
前記第1撮像手段で撮像した第1撮像画像の3次元モデルを抽出する第1抽出手段と、
前記第2撮像手段で撮像した第2撮像画像の3次元モデルを抽出する第2抽出手段と、
前記第2撮像手段で撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を取得する取得手段と、
取得した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、前記記憶した情報と照合して複数の候補を特定する第1特定手段と、
前記第1抽出手段とで抽出した3次元モデルと、前記第2抽出手段で抽出した3次元モデルとを照合して特定した前記複数の候補から一の対象物を特定する第2特定手段と、
を備えることを特徴とする情報特定システムを提供する。
前記携帯端末は、
予め対象物の複数の3次元モデルに基づいて、当該対象物の3次元モデルを学習し、当該対象物の3次元モデルを含む情報を登録するステップと、
所定方向から前記対象物を撮像する第1ステップと、
他方向から前記対象物を撮像する第2ステップと、
を備え、
前記情報特定サーバは、
複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析するステップと、
前記第1ステップで撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、登録するステップと、
前記第2ステップで撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、登録された情報と照合して複数の対象物の候補を特定するステップと、
特定した前記複数の対象物の候補から、前記学習した3次元モデルと、前記特定した複数の対象物の候補における3次元モデルとを照合して、一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法を提供する。
所定方向から対象物を撮像するステップと、
他方向から前記対象物を撮像するステップと、
所定方向から複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析するステップと、
所定方向から撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を記憶するステップと、
所定方向から撮像した第1撮像画像の3次元モデルを抽出する第1ステップと、
他方向から撮像した第2撮像画像の3次元モデルを抽出する第2ステップと、
他方向から撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を取得するステップと、
取得した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、前記記憶した情報と照合して複数の候補を特定するステップと、
前記第1ステップで抽出した3次元モデルと、前記第2ステップで抽出した3次元モデルとを照合して特定した前記複数の候補から一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法を提供する。
本発明の第1の実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な第1の実施形態である情報特定システム1の概要を説明するための図である。情報特定システム1は、情報特定サーバ10、携帯端末100、GPS5から構成される。なお、携帯端末100及び情報特定サーバ10は、1つに限らず複数であっても良い。また、後述する各処理は、携帯端末100又は情報特定サーバ10の何れか又は双方が実行していても良い。
図3に基づいて、第1の実施形態における情報特定システム1のシステム構成について説明する。図3は、本発明の好適な第1の実施形態である情報特定システム1のシステム構成を示す図である。情報特定システム1は、情報特定サーバ10、携帯端末100、公衆回線網3(インターネット網や第3、第4世代通信網等)、GPS5から構成される。
図5に基づいて、第1の実施形態における各装置の構成について説明する。図5は、本発明の好適な第1の実施形態である情報特定サーバ10及び携帯端末100の機能ブロック図である。
図7に基づいて、第1の実施形態における情報特定サーバ10及び携帯端末100が実行する対象物情報データベース登録処理について説明する。図7は、情報特定サーバ10及び携帯端末100が実行する対象物情報データベース登録処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図14に基づいて、対象物情報データベースについて説明する。図14は、対象物情報登録モジュール30が登録する対象物情報データベースを示す図である。図14において、対象物情報登録モジュール30は、撮像画像情報と、位置情報と、方位情報と、テキスト情報とを対応付けて記憶する。撮像画像情報は、撮像画像の識別子であり、この識別子には、撮像画像の撮像画像データが紐付けられている。位置情報は、撮像地点の位置を示すGPS座標を示す情報である。方位情報は、撮像地点から対象物の方位を示す情報である。テキスト情報は、対象物の名称や属性等の各種情報である。なお、撮像画像情報として、撮像画像データそのものが登録されていても良い。また、位置情報として、その他の表記態様により登録されていても良い。また、方位情報として、その他の表記態様により登録されていても良い。また、テキスト情報として、名称以外のその他の情報が登録されていても良い。また、これらの各情報に加えて、その他の情報が登録されていても良い。
図8に基づいて、第1の実施形態における情報特定サーバ10及び携帯端末100が実行する情報特定処理について説明する。図8は、情報特定サーバ10及び携帯端末100が実行する情報特定処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図9に基づいて、第1の実施形態における情報特定サーバ10及び携帯端末100が実行する3次元特定処理について説明する。図9は、情報特定サーバ10及び携帯端末100が実行する3次元特定処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
本発明の第2の実施形態の概要について、図2に基づいて説明する。図2は、本発明の好適な第2の実施形態である情報特定システム1の概要を説明するための図である。情報特定システム1は、携帯端末100、GPS5から構成される。なお、第1の実施形態と同様の構成については、同様の符号を付し、同様の処理については、その詳細な説明は省略する。
図4に基づいて、第2の実施形態における情報特定システム1のシステム構成について説明する。図4は、本発明の好適な第2の実施形態である情報特定システム1のシステム構成を示す図である。なお、第1の実施形態と同様の構成については、同一の符号を付し、その詳細な説明は省略する。
図6に基づいて、各装置の構成について説明する。図6は、本発明の好適な第2の実施形態である携帯端末100の機能ブロック図である。
図10に基づいて、第2の実施形態における携帯端末100が実行する情報登録処理について説明する。図10は、携帯端末100が実行する情報登録処理のフローチャートである。上述した装置の各モジュールが実行する処理について、本処理に併せて説明する。
なお、上述した第1の実施形態と同様の処理については、その詳細な説明は省略する。上述した第1の実施形態との相違点は、第1の実施形態では、対象物情報データベースが存在しているのに対して、本実施形態では、対象物情報データベースが存在していない点である。
図11に基づいて、第2の実施形態における携帯端末100が実行する情報特定処理について説明する。図11は、携帯端末100が実行する情報特定処理のフローチャートを示す図である。上述した装置の各モジュールが実行する処理について併せて説明する。
図12に基づいて、第2の実施形態における携帯端末100が実行する3次元特定処理について説明する。図12は、携帯端末100が実行する3次元特定処理のフローチャートである。上述した装置の各モジュールが実行する処理について、本処理に併せて説明する。
Claims (4)
- 予め対象物の複数の3次元モデルに基づいて、当該対象物の3次元モデルを学習し、当該対象物の3次元モデルを含む情報を登録するデータベースと、
所定方向から前記対象物を撮像する第1撮像手段と、
他方向から前記対象物を撮像する第2撮像手段と、
前記第1撮像手段で複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析する解析手段と、
前記第1撮像手段で撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、前記データベースに登録する登録手段と、
前記第2撮像手段で撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、前記データベースに登録された情報と照合して複数の対象物の候補を特定する第1特定手段と、
特定した前記複数の対象物の候補から、前記学習した3次元モデルと、前記特定した複数の対象物の候補における3次元モデルとを照合して、一の対象物を特定する第2特定手段と、
を備えることを特徴とする情報特定システム。 - 所定方向から対象物を撮像する第1撮像手段と、
他方向から前記対象物を撮像する第2撮像手段と、
前記第1撮像手段で複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析する解析手段と、
前記第1撮像手段で撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を記憶する記憶手段と、
前記第1撮像手段で撮像した第1撮像画像の3次元モデルを抽出する第1抽出手段と、
前記第2撮像手段で撮像した第2撮像画像の3次元モデルを抽出する第2抽出手段と、
前記第2撮像手段で撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を取得する取得手段と、
取得した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、前記記憶した情報と照合して複数の候補を特定する第1特定手段と、
前記第1抽出手段とで抽出した3次元モデルと、前記第2抽出手段で抽出した3次元モデルとを照合して特定した前記複数の候補から一の対象物を特定する第2特定手段と、
を備えることを特徴とする情報特定システム。 - 携帯端末と情報特定サーバとからなる情報特定システムが実行する情報特定方法であって、
前記携帯端末は、
予め対象物の複数の3次元モデルに基づいて、当該対象物の3次元モデルを学習し、当該対象物の3次元モデルを含む情報を登録するステップと、
所定方向から前記対象物を撮像する第1ステップと、
他方向から前記対象物を撮像する第2ステップと、
を備え、
前記情報特定サーバは、
複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析するステップと、
前記第1ステップで撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を、登録するステップと、
前記第2ステップで撮像された前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、登録された情報と照合して複数の対象物の候補を特定するステップと、
特定した前記複数の対象物の候補から、前記学習した3次元モデルと、前記特定した複数の対象物の候補における3次元モデルとを照合して、一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法。 - 情報特定システムが実行する情報特定方法であって、
所定方向から対象物を撮像するステップと、
他方向から前記対象物を撮像するステップと、
所定方向から複数回撮像した前記対象物を画像解析し、当該対象物の3次元モデルを解析するステップと、
所定方向から撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を含む情報を記憶するステップと、
所定方向から撮像した第1撮像画像の3次元モデルを抽出する第1ステップと、
他方向から撮像した第2撮像画像の3次元モデルを抽出する第2ステップと、
他方向から撮像した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を取得するステップと、
取得した前記対象物の撮像地点の位置情報、当該対象物の方位情報及び前記画像解析した対象物の解析情報を、前記記憶した情報と照合して複数の候補を特定するステップと、
前記第1ステップで抽出した3次元モデルと、前記第2ステップで抽出した3次元モデルとを照合して特定した前記複数の候補から一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236132A JP6378664B2 (ja) | 2015-12-02 | 2015-12-02 | 情報特定システム、情報特定方法及びそのプログラム |
US15/138,324 US9959483B2 (en) | 2015-12-02 | 2016-04-26 | System and method for information identification |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236132A JP6378664B2 (ja) | 2015-12-02 | 2015-12-02 | 情報特定システム、情報特定方法及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102756A JP2017102756A (ja) | 2017-06-08 |
JP6378664B2 true JP6378664B2 (ja) | 2018-08-22 |
Family
ID=58799193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015236132A Active JP6378664B2 (ja) | 2015-12-02 | 2015-12-02 | 情報特定システム、情報特定方法及びそのプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9959483B2 (ja) |
JP (1) | JP6378664B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002175315A (ja) * | 2000-09-28 | 2002-06-21 | Nikon Corp | 画像注釈サーバー、画像注釈サービス方法、画像照会装置、電子カメラ、望遠光学機器、および記録媒体 |
JP4612969B2 (ja) * | 2001-07-05 | 2011-01-12 | 富士フイルム株式会社 | 画像比較装置、画像比較方法、画像比較用プログラム、撮影装置、及び撮影方法。 |
JP4339762B2 (ja) * | 2003-09-02 | 2009-10-07 | 富士フイルム株式会社 | 認証システム、及びプログラム |
JP2010176346A (ja) * | 2009-01-29 | 2010-08-12 | Sony Corp | 撮像装置および検索方法、並びにプログラム |
JP4770960B2 (ja) * | 2009-03-30 | 2011-09-14 | カシオ計算機株式会社 | 画像検索システム及び画像検索方法 |
JP5567853B2 (ja) * | 2010-02-10 | 2014-08-06 | キヤノン株式会社 | 画像認識装置および方法 |
JP6020986B2 (ja) | 2012-04-17 | 2016-11-02 | 株式会社日立製作所 | 対象物特定システム、対象物特定サーバ及び対象物特定端末 |
FR3009635B1 (fr) * | 2013-08-08 | 2016-08-19 | St Microelectronics Sa | Procede de recherche d'une image similaire dans une banque d'images a partir d'une image de reference |
JP6544900B2 (ja) * | 2014-09-17 | 2019-07-17 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
-
2015
- 2015-12-02 JP JP2015236132A patent/JP6378664B2/ja active Active
-
2016
- 2016-04-26 US US15/138,324 patent/US9959483B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9959483B2 (en) | 2018-05-01 |
US20170161585A1 (en) | 2017-06-08 |
JP2017102756A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8180146B2 (en) | Method and apparatus for recognizing and localizing landmarks from an image onto a map | |
JP5685390B2 (ja) | 物体認識装置、物体認識システムおよび物体認識方法 | |
CN104699732B (zh) | 形成用户简档的方法和信息处理设备 | |
US11775781B2 (en) | Product verification in a messaging system | |
CN112052186A (zh) | 目标检测方法、装置、设备以及存储介质 | |
US9411824B2 (en) | Method and apparatus for image retrieval | |
US20210303614A1 (en) | Method for providing information related to goods on basis of priority and electronic device therefor | |
US20200218772A1 (en) | Method and apparatus for dynamically identifying a user of an account for posting images | |
JP2013117795A (ja) | 画像処理装置、画像処理方法 | |
JP2016201094A (ja) | 画像処理装置及び画像処理方法 | |
CN111832579B (zh) | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 | |
JP6046501B2 (ja) | 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法 | |
CN112215964A (zh) | 基于ar的场景导览方法和设备 | |
CN111859002A (zh) | 兴趣点名称生成方法及装置、电子设备和介质 | |
US20170289522A1 (en) | Light-field camera and controlling method | |
JP5734000B2 (ja) | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 | |
Chen et al. | Low-cost asset tracking using location-aware camera phones | |
JP2011223250A (ja) | 撮影支援装置、撮影支援方法並びにそのプログラム | |
JP6378664B2 (ja) | 情報特定システム、情報特定方法及びそのプログラム | |
JP2017046324A (ja) | ユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラム | |
TWI780563B (zh) | 圖像定位模型獲取方法、終端和電腦可讀儲存介質 | |
CN111797656B (zh) | 人脸关键点检测方法、装置、存储介质及电子设备 | |
CN113646800A (zh) | 物体状况判断系统、物体状况判断方法以及程序 | |
JP2005149302A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
CN110864683B (zh) | 基于增强现实的业务办理引导方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170613 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170621 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6378664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |