JP6044293B2 - 3次元物体認識装置および3次元物体認識方法 - Google Patents
3次元物体認識装置および3次元物体認識方法 Download PDFInfo
- Publication number
- JP6044293B2 JP6044293B2 JP2012253023A JP2012253023A JP6044293B2 JP 6044293 B2 JP6044293 B2 JP 6044293B2 JP 2012253023 A JP2012253023 A JP 2012253023A JP 2012253023 A JP2012253023 A JP 2012253023A JP 6044293 B2 JP6044293 B2 JP 6044293B2
- Authority
- JP
- Japan
- Prior art keywords
- shape model
- dimensional shape
- dimensional
- unit
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
- B64G1/66—Arrangements or adaptations of apparatus or instruments, not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G3/00—Observing or tracking cosmonautic vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- Astronomy & Astrophysics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図1は、スペースデブリ12と除去衛星10との相対位置関係を示した説明図である。図1を参照すると、スペースデブリ12が地球14を中心に低軌道混雑軌道16を周回し、除去衛星10がスペースデブリ12を周回する。ここでは、認識対象である3次元物体として、廃棄された大型のロケットの上段部分に相当するスペースデブリ12を想定している。
図3は、3次元物体認識装置100の概略的な構成を示した機能ブロック図である。3次元物体認識装置100は、撮像部110と、保持部112と、中央制御部114とを含んで構成される。
以下、運動推定部130が実行する拡張カルマンフィルタについて説明する。ここでは、拡張カルマンフィルタを用いてスペースデブリ12の状態量Xtを推定する。
ここで、Ptはスペースデブリ12の位置、Qtはスペースデブリ12の4元数の姿勢、Vtはスペースデブリ12の速度、Wtはスペースデブリ12の角速度を示し、各パラメータは以下の数式2で定義される。
ただし、CovQは、拡張カルマンフィルタによって計算される推定値Qpreの誤差分散期待値であり、指標値Mは、マハラノビス距離と呼ばれる、観測値Qmeaが推定された3次元形状モデルから、どの程度外れているかを示す指標値である。
図6は、3次元物体認識方法の処理の流れを示したフローチャートである。ここでは、所定の周期で実行される割込処理において当該3次元物体認識方法が実行される。まず、3次元物体認識装置100の撮像部110は、探索領域を撮像し、画像データを生成し(S200)、特徴点抽出部122は、画像処理部120によって画像処理がなされた画像から特徴点を抽出し(S202)、マッチング部124は、特徴点抽出部122が抽出した特徴点と、スペースデブリ12に対応する3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける(S204)。
フライアラウンド時の観測条件を反映して、シミュレーションを行ったところ、回転角度が標準偏差0.7度以内でスペースデブリ12の運動を推定できた。ただし、撮像によってスペースデブリ12の一部の画像が得られない時間が続いた場合、誤差は最大で7度まで増加したが、再び画像が得られると、真値に迅速に収束した。
上述した実施形態では、運動推定部130による運動推定の結果を、正当性判定部126が利用する例を挙げて説明したが、運動推定の結果をマッチング部124で利用することもできる。例えば、運動推定部130は、モデル更新部128が更新した3次元形状モデル160の位置姿勢履歴から3次元物体の運動を推定し、将来の任意の時点(次回の撮像時)の3次元形状モデルを推定する。そして、マッチング部124は、画像データに基づく画像150中の3次元物体と、運動推定部130が推定した3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付ける。
12 …スペースデブリ
100 …3次元物体認識装置
110 …撮像部
122 …特徴点抽出部
124 …マッチング部
126 …正当性判定部
128 …モデル更新部
130 …運動推定部
160 …3次元形状モデル
Claims (7)
- 探索領域を撮像し、画像データを生成する撮像部と、
前記画像データに基づく画像中の3次元物体と、該3次元物体に対応する3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、
前記マッチング部が対応付けた特徴点を3次元に復元し、前記3次元形状モデルの位置および姿勢を更新するモデル更新部と、
前記モデル更新部が更新した前記3次元形状モデルの位置姿勢履歴から前記3次元物体の運動を推定し、将来の任意の時点の3次元形状モデルの位置および姿勢を推定する運動推定部と、
前記マッチング部が対応付けた特徴点と、前記運動推定部が推定した3次元形状モデルとを比較し、正当であると判定した特徴点のみによって前記モデル更新部に前記3次元形状モデルを更新させる正当性判定部と、
を備えることを特徴とする3次元物体認識装置。 - 探索領域を撮像し、画像データを生成する撮像部と、
前記画像データに基づく画像中の3次元物体と、該3次元物体に対応する3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付けるマッチング部と、
前記マッチング部が対応付けた特徴点を3次元に復元し、前記3次元形状モデルの位置および姿勢を更新するモデル更新部と、
前記モデル更新部が更新した前記3次元形状モデルの位置姿勢履歴から前記3次元物体の運動を推定し、将来の任意の時点の3次元形状モデルの位置および姿勢を推定する運動推定部と、
を備え、
前記マッチング部は、将来の任意の時点において、前記3次元物体と、前記運動推定部が推定した3次元形状モデルとを比較することを特徴とする3次元物体認識装置。 - 前記運動推定部は、前記3次元形状モデルの位置および姿勢を一体的に推定することを特徴とする請求項1または2に記載の3次元物体認識装置。
- 前記運動推定部は、前記3次元形状モデルの位置および姿勢を細分化した特徴点毎に推定することを特徴とする請求項1または2に記載の3次元物体認識装置。
- 前記運動推定部は、拡張カルマンフィルタを用いて運動を推定することを特徴とする請求項1から4に記載の3次元物体認識装置。
- 探索領域を撮像し、画像データを生成し、
前記画像データに基づく画像中の3次元物体と、該3次元物体に対応する3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、
前記対応付けされた特徴点と、推定された3次元形状モデルとを比較し、正当であると判定した特徴点のみを抽出し、
前記抽出された特徴点を3次元に復元し、前記3次元形状モデルの位置および姿勢を更新し、
前記更新された3次元形状モデルの位置姿勢履歴から前記3次元物体の運動を推定し、将来の任意の時点の3次元形状モデルの位置および姿勢を推定することを特徴とする3次元物体認識方法。 - 探索領域を撮像し、画像データを生成し、
前記画像データに基づく画像中の3次元物体と、該3次元物体に対応する3次元形状モデルとを比較し、パターンマッチングによって相関のある特徴点同士を対応付け、
前記対応付けられた特徴点を3次元に復元し、前記3次元形状モデルの位置および姿勢を更新し、
前記更新された前記3次元形状モデルの位置姿勢履歴から前記3次元物体の運動を推定し、将来の任意の時点の3次元形状モデルの位置および姿勢を推定し、該将来の任意の時点のパターンマッチングに用いさせることを特徴とする3次元物体認識方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012253023A JP6044293B2 (ja) | 2012-11-19 | 2012-11-19 | 3次元物体認識装置および3次元物体認識方法 |
EP13855733.5A EP2922023A4 (en) | 2012-11-19 | 2013-11-13 | THREE-DIMENSIONAL OBJECT RECOGNITION DEVICE AND THREE-DIMENSIONAL OBJECT RECOGNITION METHOD |
PCT/JP2013/080661 WO2014077272A1 (ja) | 2012-11-19 | 2013-11-13 | 3次元物体認識装置および3次元物体認識方法 |
RU2015123211A RU2628217C2 (ru) | 2012-11-19 | 2013-11-13 | Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта |
CA2890717A CA2890717C (en) | 2012-11-19 | 2013-11-13 | Three-dimensional object recognition device and three-dimensional object recognition method |
US14/703,946 US9652864B2 (en) | 2012-11-19 | 2015-05-05 | Three-dimensional object recognition device and three-dimensional object recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012253023A JP6044293B2 (ja) | 2012-11-19 | 2012-11-19 | 3次元物体認識装置および3次元物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014102608A JP2014102608A (ja) | 2014-06-05 |
JP6044293B2 true JP6044293B2 (ja) | 2016-12-14 |
Family
ID=50731183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012253023A Active JP6044293B2 (ja) | 2012-11-19 | 2012-11-19 | 3次元物体認識装置および3次元物体認識方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9652864B2 (ja) |
EP (1) | EP2922023A4 (ja) |
JP (1) | JP6044293B2 (ja) |
CA (1) | CA2890717C (ja) |
RU (1) | RU2628217C2 (ja) |
WO (1) | WO2014077272A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
CN104748750B (zh) * | 2013-12-28 | 2015-12-02 | 华中科技大学 | 一种模型约束下的在轨三维空间目标姿态估计方法及系统 |
CN104318552B (zh) * | 2014-10-15 | 2017-07-14 | 北京理工大学 | 基于凸包投影图匹配的模型配准方法 |
EP3247638A1 (en) * | 2015-01-20 | 2017-11-29 | Politecnico Di Torino | Method and system for measuring the angular velocity of a body orbiting in space |
US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
JP6348093B2 (ja) | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
US9898822B2 (en) * | 2016-02-03 | 2018-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for reconstructing scenes as 3D models from sequences of images using constraint satisfaction |
JP6894685B2 (ja) * | 2016-09-29 | 2021-06-30 | 株式会社カブク | 情報処理装置、情報処理方法及びプログラム |
FR3057950B1 (fr) * | 2016-10-24 | 2018-10-19 | Nexter Systems | Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede |
JP2018081410A (ja) * | 2016-11-15 | 2018-05-24 | セイコーエプソン株式会社 | コンピュータープログラム |
WO2018230016A1 (ja) * | 2017-06-13 | 2018-12-20 | 株式会社Ihi | 移動体観測方法 |
CN109308438B (zh) * | 2017-07-28 | 2020-11-27 | 上海形趣信息科技有限公司 | 动作识别库的建立方法、电子设备、存储介质 |
US11164015B2 (en) * | 2018-05-08 | 2021-11-02 | Ford Global Technologies, Llc | Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors |
EP3690816B1 (de) * | 2019-01-31 | 2022-08-17 | Airbus Defence and Space GmbH | Schätzen einer relativen position und lage eines zielobjekts in bezug auf ein ausgangsobjekt |
WO2020202221A1 (en) * | 2019-04-04 | 2020-10-08 | Lovely Professional University | A method and system for detecting and modeling objects in space using lidar |
CN115760984B (zh) * | 2022-11-23 | 2024-09-10 | 南京理工大学 | 一种立方星基于单目视觉的非合作目标位姿测量方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3663645B2 (ja) * | 1994-11-18 | 2005-06-22 | ソニー株式会社 | 動画像処理装置とその方法 |
JPH08149458A (ja) * | 1994-11-18 | 1996-06-07 | Sony Corp | 動画像処理装置 |
AU7412998A (en) * | 1996-11-27 | 1998-06-22 | Princeton Video Image, Inc. | Motion tracking using imagetexture templates |
US6492986B1 (en) * | 1997-06-02 | 2002-12-10 | The Trustees Of The University Of Pennsylvania | Method for human face shape and motion estimation based on integrating optical flow and deformable models |
JP2001005973A (ja) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | カラー画像による人物の3次元姿勢推定方法および装置 |
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
US7558402B2 (en) * | 2003-03-07 | 2009-07-07 | Siemens Medical Solutions Usa, Inc. | System and method for tracking a global shape of an object in motion |
US7072494B2 (en) * | 2004-02-20 | 2006-07-04 | Siemens Corporate Research, Inc. | Method and system for multi-modal component-based tracking of an object using robust information fusion |
SE528068C2 (sv) * | 2004-08-19 | 2006-08-22 | Jan Erik Solem Med Jsolutions | Igenkänning av 3D föremål |
US20070098221A1 (en) * | 2005-10-27 | 2007-05-03 | Charles Florin | Method for detection and tracking of deformable objects using adaptive time-varying autoregressive model |
JP4715539B2 (ja) * | 2006-02-15 | 2011-07-06 | トヨタ自動車株式会社 | 画像処理装置、その方法、および画像処理用プログラム |
US8335666B2 (en) * | 2006-09-01 | 2012-12-18 | Intelligent Manufacturing Systems International | Three-dimensional model data generating method, and three dimensional model data generating apparatus |
US8098889B2 (en) * | 2007-01-18 | 2012-01-17 | Siemens Corporation | System and method for vehicle detection and tracking |
US8107735B2 (en) * | 2007-04-10 | 2012-01-31 | Denso Corporation | Three dimensional shape reconstitution device and estimation device |
GB2455313B (en) * | 2007-12-04 | 2012-06-13 | Sony Corp | Apparatus and method for estimating orientation |
RU2009104869A (ru) * | 2009-02-13 | 2010-08-20 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет (R | Способ распознавания трехмерных объектов по единственному двумерному изображению и устройство для его реализации |
JP5290864B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定装置及び方法 |
JP2011043419A (ja) * | 2009-08-21 | 2011-03-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
TWI393074B (zh) * | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
JP5460341B2 (ja) * | 2010-01-06 | 2014-04-02 | キヤノン株式会社 | 3次元計測装置及びその制御方法 |
JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
JP5393531B2 (ja) * | 2010-02-25 | 2014-01-22 | キヤノン株式会社 | 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体 |
JP5600043B2 (ja) * | 2010-09-10 | 2014-10-01 | 株式会社Ihi | スペースデブリ検出方法 |
JP5863440B2 (ja) * | 2010-12-28 | 2016-02-16 | キヤノン株式会社 | 情報処理装置および方法 |
-
2012
- 2012-11-19 JP JP2012253023A patent/JP6044293B2/ja active Active
-
2013
- 2013-11-13 CA CA2890717A patent/CA2890717C/en active Active
- 2013-11-13 EP EP13855733.5A patent/EP2922023A4/en not_active Withdrawn
- 2013-11-13 WO PCT/JP2013/080661 patent/WO2014077272A1/ja active Application Filing
- 2013-11-13 RU RU2015123211A patent/RU2628217C2/ru active
-
2015
- 2015-05-05 US US14/703,946 patent/US9652864B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014077272A1 (ja) | 2014-05-22 |
US20150235380A1 (en) | 2015-08-20 |
JP2014102608A (ja) | 2014-06-05 |
CA2890717A1 (en) | 2014-05-22 |
US9652864B2 (en) | 2017-05-16 |
EP2922023A4 (en) | 2016-11-16 |
RU2628217C2 (ru) | 2017-08-15 |
RU2015123211A (ru) | 2017-01-10 |
EP2922023A1 (en) | 2015-09-23 |
CA2890717C (en) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6044293B2 (ja) | 3次元物体認識装置および3次元物体認識方法 | |
CN110349213B (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
JP7326720B2 (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
US10059002B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
US10109104B2 (en) | Generation of 3D models of an environment | |
JP4985516B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
EP2153409B1 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
KR101926563B1 (ko) | 카메라 추적을 위한 방법 및 장치 | |
JP2014169990A (ja) | 位置姿勢計測装置及び方法 | |
JP7556388B2 (ja) | 測位装置、推定方法、及びプログラム | |
JP2009237848A (ja) | 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP6905390B2 (ja) | 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム | |
JP2007249592A (ja) | 3次元物体認識システム | |
CN111665512A (zh) | 基于3d激光雷达和惯性测量单元的融合的测距和绘图 | |
CN103017676A (zh) | 三维扫描装置和三维扫描方法 | |
JP2006252275A (ja) | カメラ運動及び物体形状の復元システム | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
US20180191951A1 (en) | Imaging apparatus and imaging condition setting method and program | |
CN110825079A (zh) | 一种地图构建方法及装置 | |
CN117351140B (zh) | 融合全景相机和激光雷达的三维重建方法、装置及设备 | |
CN113920196A (zh) | 视觉定位方法、装置及计算机设备 | |
KR102084756B1 (ko) | Slam 공간 지도의 완성도 판단 방법 | |
JP6548789B2 (ja) | 位置姿勢計測装置及び方法 | |
JP2019020218A (ja) | データ間引き装置、測量装置、測量システム及びデータ間引き方法 | |
Jaw et al. | Line feature correspondence between object space and image space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161031 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6044293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |