JP6152511B2 - 携帯端末装置、プログラムおよび補正方法 - Google Patents
携帯端末装置、プログラムおよび補正方法 Download PDFInfo
- Publication number
- JP6152511B2 JP6152511B2 JP2013072311A JP2013072311A JP6152511B2 JP 6152511 B2 JP6152511 B2 JP 6152511B2 JP 2013072311 A JP2013072311 A JP 2013072311A JP 2013072311 A JP2013072311 A JP 2013072311A JP 6152511 B2 JP6152511 B2 JP 6152511B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- user
- mobile terminal
- walking
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
- G01C22/006—Pedometers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Telephone Function (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
Description
図1は、第1の実施の形態における携帯端末装置1を示す図である。携帯端末装置1は、操作部12および表示部13を備えており、ユーザによって携帯される装置として構成されている。
第1の実施の形態における携帯端末装置1では、代表サブブロックの動きベクトルを、歩行周期で平均することにより、進行方向の動き以外の動きによる影響を抑制すると説明した。しかし、進行方向の動き以外の動きによる影響を抑制する手法はこれに限定されるものではない。
進行方向の動き以外の動きによる影響を抑制する手法は、第1の実施の形態および第2の実施の形態に示される手法に限定されるものではない。
上記第1ないし第3の実施の形態では、カメラ16,16bによって撮像される画像情報160を解析することにより、ユーザの歩行状態における直進状態を判定する例について説明した。しかし、ユーザの歩行状態における直進状態を判定する手法は、これに限定されるものではない。
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
10 CPU
100,100a,100b 歩行周期演算部
101,101a,101b ベクトル演算部
102 相関判定部
103,103c 直進歩行判定部
104 補正部
11 記憶装置
110 プログラム
111 動きベクトル情報
112 相関判定情報
12 操作部
13 表示部
14 ジャイロセンサ
140 角速度情報
15 加速度センサ
150 加速度情報
16,16b カメラ
160 画像情報
161,162,163,164 ブロック
161a サブブロック
Claims (19)
- ユーザによって携帯される携帯端末装置であって、
前記携帯端末装置の移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記携帯端末装置の移動における加速度を測定して加速度情報を取得する加速度センサと、
前記携帯端末装置が移動している期間における周囲の被写体を撮像して画像情報を取得するカメラと、
前記画像情報に基づいて前記被写体の動きベクトルを算出するベクトル演算手段と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する相関判定手段と、
前記ベクトル演算手段により算出された前記被写体の動きベクトルと前記相関判定手段により判定された前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備える携帯端末装置。 - 請求項1に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記画像情報をそれぞれが第1のサイズとなる複数のブロックに分割し、前記複数のブロックのそれぞれを前記第1のサイズよりも小さい第2のサイズとなる複数のサブブロックに分割し、前記複数のサブブロックごとにエッジ量を検出して、前記複数のブロックのそれぞれにおいてエッジ量が最大となるサブブロックを各ブロックの代表サブブロックとして決定し、決定した前記代表サブブロックの動きベクトルを算出することにより、前記被写体の動きベクトルを算出する携帯端末装置。 - 請求項2に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記代表サブブロックの動きベクトルを、前記ユーザの歩行周期単位に平均することにより、前記被写体の動きベクトルを求める携帯端末装置。 - 請求項2に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記ユーザの歩行周期に同期した演算タイミングで、前記代表サブブロックの動きベクトルを算出する携帯端末装置。 - 請求項4に記載の携帯端末装置であって、
前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、
前記演算タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される携帯端末装置。 - 請求項4に記載の携帯端末装置であって、
前記演算タイミングは、前記ユーザの両足が着地しているときとなるように決定される携帯端末装置。 - 請求項2に記載の携帯端末装置であって、
前記カメラは、前記ユーザの歩行周期に同期した撮像タイミングで、前記携帯端末装置が移動している期間における周囲の被写体を撮像する携帯端末装置。 - 請求項7に記載の携帯端末装置であって、
前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、
前記撮像タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される携帯端末装置。 - 請求項7に記載の携帯端末装置であって、
前記撮像タイミングは、前記ユーザの両足が着地しているときとなるように決定される携帯端末装置。 - 請求項3ないし9のいずれかに記載の携帯端末装置であって、
前記歩行周期は、前記ユーザの歩行動作において、前記ユーザが左右の足をそれぞれ1歩ずつ進める時間に応じて決定されている携帯端末装置。 - 請求項1ないし10のいずれかに記載の携帯端末装置であって、
前記相関関係には、前記ユーザの歩行動作による進行方向に対して前記カメラの撮像方向が正対する関係が含まれる携帯端末装置。 - 請求項11に記載の携帯端末装置であって、
前記ユーザの歩行動作による進行方向に対して前記カメラの撮像方向が正対している場合において、前記直進歩行判定手段は、前記ベクトル演算手段により求められた前記被写体の動きベクトルが、画像情報において放射状となっている場合に、前記ユーザの歩行動作が直進状態であると判定する携帯端末装置。 - ユーザによって携帯される携帯端末装置であって、
前記携帯端末装置の移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記携帯端末装置の移動における加速度を測定して加速度情報を取得する加速度センサと、
前記携帯端末装置を所持したユーザの既知の歩行動作におけるパターンの特徴点を学習し、前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、前記パターンの特徴点と比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備える携帯端末装置。 - 請求項13に記載の携帯端末装置であって、
前記直進歩行判定手段は、前記ユーザの歩行動作における歩行周期に応じて、前記パターンとの比較を行う携帯端末装置。 - 請求項14に記載の携帯端末装置であって、
前記歩行周期は、前記ユーザの歩行動作において、前記ユーザが左右の足をそれぞれ1歩ずつ進める時間に応じて決定されている携帯端末装置。 - ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、
前記コンピュータが移動している期間における周囲の被写体を撮像して画像情報を取得するカメラと、
前記画像情報に基づいて前記被写体の動きベクトルを算出するベクトル演算手段と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する相関判定手段と、
前記ベクトル演算手段により算出された前記被写体の動きベクトルと前記相関判定手段により判定された前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備えるコンピュータとして機能させるプログラム。 - ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、
前記コンピュータを携帯したユーザの既知の歩行動作におけるパターンの特徴点を学習し、前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、前記パターンの特徴点と比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備えるコンピュータとして機能させるプログラム。 - 携帯端末装置の移動における角速度をジャイロセンサにより測定して角速度情報を取得する工程と、
前記携帯端末装置の移動における加速度を加速度センサにより測定して加速度情報を取得する工程と、
前記携帯端末装置が移動している期間における周囲の被写体をカメラにより撮像して画像情報を取得する工程と、
前記カメラにより取得された前記画像情報に基づいて前記被写体の動きベクトルを算出する工程と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する工程と、
算出された前記被写体の動きベクトルと前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する工程と、
前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する工程と、
を有する補正方法。 - 携帯端末装置を所持したユーザの既知の歩行動作におけるパターンの特徴点を学習させる工程と、
携帯端末装置の移動における角速度をジャイロセンサにより測定して角速度情報を取得する工程と、
前記携帯端末装置の移動における加速度を加速度センサにより測定して加速度情報を取得する工程と、
前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、前記パターンの特徴点と比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する工程と、
前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する工程と、
を有する補正方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013072311A JP6152511B2 (ja) | 2013-03-29 | 2013-03-29 | 携帯端末装置、プログラムおよび補正方法 |
CN201480017606.4A CN105051492B (zh) | 2013-03-29 | 2014-03-26 | 移动终端装置、记录介质以及修正方法 |
PCT/JP2014/058466 WO2014157310A1 (ja) | 2013-03-29 | 2014-03-26 | 携帯端末装置、記録媒体および補正方法 |
US14/864,166 US10545031B2 (en) | 2013-03-29 | 2015-09-24 | Portable terminal device, recording medium, and correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013072311A JP6152511B2 (ja) | 2013-03-29 | 2013-03-29 | 携帯端末装置、プログラムおよび補正方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014196941A JP2014196941A (ja) | 2014-10-16 |
JP2014196941A5 JP2014196941A5 (ja) | 2016-04-14 |
JP6152511B2 true JP6152511B2 (ja) | 2017-06-28 |
Family
ID=51624273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013072311A Expired - Fee Related JP6152511B2 (ja) | 2013-03-29 | 2013-03-29 | 携帯端末装置、プログラムおよび補正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10545031B2 (ja) |
JP (1) | JP6152511B2 (ja) |
CN (1) | CN105051492B (ja) |
WO (1) | WO2014157310A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9690904B1 (en) * | 2013-09-09 | 2017-06-27 | Scanadu Incorporated | Signal-embedded signatures |
GB2526806A (en) * | 2014-06-03 | 2015-12-09 | Here Global Bv | Trail interpolation |
JP2016090371A (ja) * | 2014-11-04 | 2016-05-23 | 国立研究開発法人産業技術総合研究所 | センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 |
JP6539091B2 (ja) * | 2015-04-09 | 2019-07-03 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6332212B2 (ja) | 2015-09-18 | 2018-05-30 | カシオ計算機株式会社 | 姿勢推定装置、姿勢推定方法及びプログラム |
JP7199071B2 (ja) * | 2017-07-06 | 2023-01-05 | 国立研究開発法人宇宙航空研究開発機構 | 移動型撮像装置 |
AU2017245322A1 (en) * | 2017-10-10 | 2019-05-02 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting frames of a video sequence |
CN108469268A (zh) * | 2018-03-15 | 2018-08-31 | 中国兵器工业集团第二四研究所苏州研发中心 | 一种基于微机械陀螺仪的计步方法 |
WO2020008878A1 (ja) * | 2018-07-02 | 2020-01-09 | ソニー株式会社 | 測位装置、測位方法、及びプログラム |
CN108937742A (zh) * | 2018-09-06 | 2018-12-07 | 苏州领贝智能科技有限公司 | 一种扫地机的陀螺仪角度修正方法和扫地机 |
EP3918990A4 (en) | 2019-01-28 | 2022-02-09 | Fujitsu Limited | PROGRAM, SYSTEM AND PROCEDURE FOR IDENTIFICATION OF SENSOR ATTACHMENT/SOLUTION |
JP6891913B2 (ja) * | 2019-03-25 | 2021-06-18 | カシオ計算機株式会社 | 電子表示装置及び表示制御方法 |
JP7240241B2 (ja) * | 2019-04-24 | 2023-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
CN110672099A (zh) * | 2019-09-09 | 2020-01-10 | 武汉元生创新科技有限公司 | 一种用于室内机器人导航的航向校正方法和系统 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4897542A (ja) | 1972-03-28 | 1973-12-12 | ||
JPS5059933A (ja) | 1973-10-02 | 1975-05-23 | ||
JPH07324941A (ja) * | 1994-06-02 | 1995-12-12 | Matsushita Electric Ind Co Ltd | オフセットドリフト補正装置 |
JP3915654B2 (ja) * | 2002-10-18 | 2007-05-16 | 株式会社日立製作所 | 屋内位置検出装置及び屋内位置検出方法 |
JP2007279837A (ja) * | 2006-04-03 | 2007-10-25 | Advance Alpha:Kk | 携帯型行動監視装置および行動監視システム |
US8462109B2 (en) * | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
JP4897542B2 (ja) | 2007-03-30 | 2012-03-14 | 三菱電機株式会社 | 自己位置標定装置、自己位置標定方法および自己位置標定プログラム |
KR100886340B1 (ko) * | 2007-04-04 | 2009-03-03 | 삼성전자주식회사 | 이동 로봇의 자이로 센서를 캘리브레이션하는 장치 및 방법 |
JP5189316B2 (ja) * | 2007-04-25 | 2013-04-24 | 本田技研工業株式会社 | ヨーレートセンサの出力判定装置および追従先行車判定装置 |
WO2010001968A1 (ja) | 2008-07-02 | 2010-01-07 | 独立行政法人産業技術総合研究所 | 移動体の測位装置 |
JP4877395B2 (ja) * | 2010-01-19 | 2012-02-15 | セイコーエプソン株式会社 | 歩幅推測方法及び歩幅推測装置 |
CN101943912B (zh) * | 2010-09-02 | 2015-09-23 | 北京理工大学 | 一种消除双足仿人机器人上身姿态晃动的控制方法 |
JP5059933B2 (ja) | 2010-12-02 | 2012-10-31 | 株式会社エヌ・ティ・ティ・ドコモ | 移動端末、システム及び方法 |
JP5704561B2 (ja) * | 2011-01-12 | 2015-04-22 | 独立行政法人産業技術総合研究所 | 進行方向推定装置、携帯端末、制御プログラム、コンピュータ読み取り可能な記録媒体、および進行方向推定方法 |
US8498811B2 (en) * | 2011-02-09 | 2013-07-30 | SenionLab AB | Method and device for indoor positioning |
JP5849319B2 (ja) * | 2011-12-05 | 2016-01-27 | 株式会社日立製作所 | 移動経路推定システム、移動経路推定装置及び移動経路推定方法 |
US8532675B1 (en) * | 2012-06-27 | 2013-09-10 | Blackberry Limited | Mobile communication device user interface for manipulation of data items in a physical space |
US9013617B2 (en) * | 2012-10-12 | 2015-04-21 | Qualcomm Incorporated | Gyroscope conditioning and gyro-camera alignment |
WO2015057623A2 (en) * | 2013-10-14 | 2015-04-23 | Nike Innovate C.V. | Fitness training system for merging energy expenditure calculations from multiple devices |
-
2013
- 2013-03-29 JP JP2013072311A patent/JP6152511B2/ja not_active Expired - Fee Related
-
2014
- 2014-03-26 WO PCT/JP2014/058466 patent/WO2014157310A1/ja active Application Filing
- 2014-03-26 CN CN201480017606.4A patent/CN105051492B/zh not_active Expired - Fee Related
-
2015
- 2015-09-24 US US14/864,166 patent/US10545031B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014196941A (ja) | 2014-10-16 |
CN105051492A (zh) | 2015-11-11 |
WO2014157310A1 (ja) | 2014-10-02 |
US10545031B2 (en) | 2020-01-28 |
US20160011004A1 (en) | 2016-01-14 |
CN105051492B (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6152511B2 (ja) | 携帯端末装置、プログラムおよび補正方法 | |
Cortés et al. | ADVIO: An authentic dataset for visual-inertial odometry | |
JP7082545B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
US9953461B2 (en) | Navigation system applying augmented reality | |
EP2434256B1 (en) | Camera and inertial measurement unit integration with navigation data feedback for feature tracking | |
US11227168B2 (en) | Robust lane association by projecting 2-D image into 3-D world using map information | |
US8761439B1 (en) | Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit | |
CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
US20080319664A1 (en) | Navigation aid | |
CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
US20080279421A1 (en) | Object detection using cooperative sensors and video triangulation | |
WO2016198009A1 (zh) | 一种检测航向的方法和装置 | |
KR101444685B1 (ko) | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 | |
CN105339758A (zh) | 使用重叠区域优化光束法平差 | |
US10242281B2 (en) | Hybrid orientation system | |
RU2019115873A (ru) | Система слежения за объектами | |
JP6867254B2 (ja) | 測定装置、ナビゲーションシステム、測定方法及びプログラム | |
JP2011163861A (ja) | 地磁気センサ及び加速度センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 | |
CN111928847A (zh) | 惯性测量单元位姿数据优化方法、装置及电子设备 | |
JP5464706B2 (ja) | 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 | |
JP5742794B2 (ja) | 慣性航法装置及びプログラム | |
Khoshelham et al. | Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry | |
EP3227634B1 (en) | Method and system for estimating relative angle between headings | |
US20090226094A1 (en) | Image correcting device and method, and computer program | |
Huttunen et al. | A monocular camera gyroscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6152511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |