JP5950122B2 - キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム - Google Patents
キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム Download PDFInfo
- Publication number
- JP5950122B2 JP5950122B2 JP2013273079A JP2013273079A JP5950122B2 JP 5950122 B2 JP5950122 B2 JP 5950122B2 JP 2013273079 A JP2013273079 A JP 2013273079A JP 2013273079 A JP2013273079 A JP 2013273079A JP 5950122 B2 JP5950122 B2 JP 5950122B2
- Authority
- JP
- Japan
- Prior art keywords
- distance sensors
- pair
- distance
- group
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
Description
好ましくは、各複数の距離センサは、センサ位置から対象物までの一定の角度毎の距離を検出する2次元レーザレンジファインダである。
図1は、本実施の形態の計測システム1000の構成を説明するための図である。
図3は、計測演算装置100のハードウェア構成を説明するためのブロック図である。
図4は、本実施の形態の計測演算装置100において、上述したCPU56がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
以下では、このような対象物(人)のトラッキングの処理を行う前提として、複数の距離センサのそれぞれの位置および向きを、複数の距離センサからなるセンサネットワークの座標系において、校正するための処理の構成を説明する。
(センサの位置の特定のための必要条件および拘束条件)
校正のための前提となる事項をまず説明する。
(本実施の形態のキャリブレーション手続き)
(歩行者の運動のパターン)
本実施の形態のキャリブレーション方法では、歩行者自身の移動軌道を使用するのではなく、歩行者の運動の中で現れてくる移動パターンの特徴を使用する。
多くの環境の中で、一般に観測される歩行者の移動の1つの特徴は社会的グループの形成である。
(校正アルゴリズム)
図5は、本実施の形態のキャリブレーション方法の流れを説明するためのフローチャートである。
(歩行者位置の検出)
図6は、レーザレンジファインダにより実際に観測されるデータを示す図である。
図6(b)に示されるように、各データスキャンは、人間の位置を抽出するためにセグメントに分けられる。
本実施の形態では、上述したとおり、歩行者の流れの中で形成される社会的グループを、姿勢不変な特徴として採用する。
姿勢不変な特徴として社会的グループを使用するために、異なる位置のレーザレンジファインダによって観測された時にも、不変に測定可能な特性の記述ベクトルを定義する。
グループの形状は、そのメンバーの位置のリストとして姿勢不変な方法に記述することができる。つまり、グループ(または後に説明するサブグループ)の幾何学的な中心(重心)に対する各メンバーの位置で表される。
図9は、図7の「各センサのグループ検知処理」について説明するためのフローチャートである。
以下では、上述した「サブグループ」について、さらに説明する。
図16は、センサオフセット算出処理(S300−2)の処理を説明するためのフローチャートである。
特定できる。
図12におけるグループ比較処理(S300−1)とセンサオフセット算出処理(S300−2)について説明したので、以下では、次のステップである「粗な相対位置関係評価処理(S310)」について説明する。
(ロバスト推定による外れ値の除去)
図21は、図11に示したRANSAC処理(S320)を説明するためのフローチャートである。
(ネットワーク拘束条件の同時解を算出する手続きとセンサ位置の校正)
図22は、図7に示した「ネットワーク全体の校正処理」を説明するための機能ブロック図である。
たとえば、距離センサ1と距離センサ2で、以下のように与えられた共通の観測の位置を考える。
(評価実験)
対照環境の中での実地調査の情報と比較して、アルゴリズムのパフォーマンスを評価するために、センサ位置の校正確度を測定した。
(センサ位置決め精度)
図23は、センサ位置の位置決め精度の確認を行った場所のフロアマップである。
(トラッキング精度の評価)
センサ位置評価の精度は、本実施の形態の較正技術の重要な評価であるが、最終的な目的は、多数のセンサからの歩行者位置の整合的な推定値の取得を可能にすることである。
本実施の形態の技術によって可能になったトラッキング精度のレベルを評価するために、公共の空間でのシステムの3つのテストが行なわれた。
(結果)
(直線状の廊下)
分析した最初の環境は、ディアモール大阪の長さおよそ50mおよび幅7mの廊下である。
(多数のエントランスを備えた大きなスペース)
図27は、第2の環境として採用した場所の上面図(図27(a))および写真(図27(b))である。
図29は、アルゴリズムの各ステップの相対的有効性を示す図である。
Claims (11)
- 領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション装置であって、各複数の距離センサは非接触で二点間の距離を計るものであり、
各前記複数の距離センサからの測定データを受け付けるインタフェース装置と、
各前記距離センサからの前記測定データを時系列として格納するための記憶装置と、
前記測定データに基づいて、前記キャリブレーションを実行するための演算処理装置とを備え、前記演算処理装置は、
a)前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出し、
b)各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定し、
c) i)前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出し、ii)前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整し、
d)前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行う、キャリブレーション装置。 - 前記演算処理装置は、前記相対位置関係を調整する処理の実行のために、
前記複数の距離センサのうちの各ペアに対して、第1の組の候補と第2の組の候補とを前記姿勢不変な特徴量に基づいてマッチングする群マッチング手段を含み、前記第1および第2の組の候補は、それぞれ、前記複数の距離センサの前記ペアにより測定されたものであり、
マッチングされた前記第1の組の候補と前記第2の組の候補のうちで固有な群として移動すると特定される対象物の候補の各センサで検知される位置と移動方向とに基づいて、前記距離センサのペアごとの間の第一次相対位置関係を算出するペア位置仮説算出手段と、
前記複数の距離センサのうちの各ペアについて、ロバスト推定により、前記検知された対象物についてのマッチングを行って外れ値を除き、前記第一次相対位置関係を修正して、前記距離センサのペアの間の第二次相対位置関係を推定し、前記極小化された誤差を有する前記共通に観測される対象物の位置を算出するロバスト推定手段とを含む、請求項1記載のキャリブレーション装置。 - 前記組の候補の姿勢不変な特徴量は、前記組の候補が含む対象物の数、前記組の候補の移動方向および前記組の候補の幾何学的な中心位置に対する各対象物の位置とを含む、請求項1または2記載のキャリブレーション装置。
- 前記演算処理装置は、前記組の候補の姿勢不変な特徴量を特定する処理の実行のために、
群として検知される対象物の組の候補に含まれる対象物の少なくとも2つから構成されうるサブグループを列挙する手段と、
各前記サブグループごとに、前記姿勢不変な特徴量を特定する手段とを含み、
前記群マッチング手段は、前記サブグループごとにマッチングを行う、請求項2記載のキャリブレーション装置。 - 前記ペア位置仮説算出手段は、
前記マッチングされた前記第1の組の候補と前記第2の組の候補に基づいて、各前記ペアの距離センサのローカル座標における前記センサのペアの相対位置関係を算出する手段と、
前記ローカル座標において定義される離散的なビンに対して、前記マッチングされたすべての組の候補について、前記センサのペアの相対位置関係を表すビンに投票処理を行い、投票の最も多い相対位置関係を前記第一次相対位置関係として特定するための投票手段を含む、請求項2記載のキャリブレーション装置。 - 前記投票手段は、前記マッチングされた前記第1の組の候補と前記第2の組の候補の前記対象物を除いて、前記相対位置関係により変換される位置がマッチングしていると判断される対象物の総数をコンシステンシメトリックとするとき、前記コンシステンシメトリックにより重みづけされた投票を行う、請求項5記載のキャリブレーション装置。
- 前記ロバスト推定手段は、RANSAC(random sample consensus)により、前記第二次相対位置関係の推定を行う、請求項2記載のキャリブレーション装置。
- 前記演算処理装置は、各前記複数の距離センサの位置および向きの校正を行う処理の実行のために、
i)前記距離センサの各ペアごとに、前記第二次相対位置関係に対応する正対応の前記共通に観測される対象物の位置を拘束条件行列へと組み合わせて、ii)前記拘束条件行列を校正対象の全ての前記複数の距離センサの相対位置に対して解くことで、各前記複数の距離センサの位置および向きの校正を行う手段を含む、請求項2記載のキャリブレーション装置。 - 各前記複数の距離センサは、センサ位置から対象物までの一定の角度毎の距離を検出する2次元レーザレンジファインダである、請求項1ないし8のいずれかに記載のキャリブレーション装置。
- 領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション方法であって、各複数の距離センサは非接触で二点間の距離を計るものであり、
前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出するステップと、
各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定するステップと、
前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出するステップと、
前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整するステップと、
前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行うステップとを備える、キャリブレーション方法。 - コンピュータに、領域内に配置される複数の距離センサの位置および向きのキャリブレーションを実行させるためのプログラムであって、各複数の距離センサは非接触で二点間の距離を計るものであり、
前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出するステップと、
各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定するステップと、
前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出するステップと、
前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整するステップと、
前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行うステップとを、コンピュータに実行させるキャリブレーションプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013273079A JP5950122B2 (ja) | 2013-12-27 | 2013-12-27 | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
CN201480071352.4A CN105874350B (zh) | 2013-12-27 | 2014-12-24 | 校准装置、校准方法及校准程序 |
PCT/JP2014/084166 WO2015098971A1 (ja) | 2013-12-27 | 2014-12-24 | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
US15/192,118 US10324172B2 (en) | 2013-12-27 | 2016-06-24 | Calibration apparatus, calibration method and calibration program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013273079A JP5950122B2 (ja) | 2013-12-27 | 2013-12-27 | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015127664A JP2015127664A (ja) | 2015-07-09 |
JP2015127664A5 JP2015127664A5 (ja) | 2016-03-03 |
JP5950122B2 true JP5950122B2 (ja) | 2016-07-13 |
Family
ID=53478821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013273079A Active JP5950122B2 (ja) | 2013-12-27 | 2013-12-27 | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10324172B2 (ja) |
JP (1) | JP5950122B2 (ja) |
CN (1) | CN105874350B (ja) |
WO (1) | WO2015098971A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2015234329A1 (en) * | 2015-09-30 | 2017-04-13 | Canon Kabushiki Kaisha | Method, system and apparatus for processing an image |
JP6746050B2 (ja) * | 2015-11-25 | 2020-08-26 | 株式会社国際電気通信基礎技術研究所 | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
JP6754574B2 (ja) * | 2016-01-18 | 2020-09-16 | 株式会社日立情報通信エンジニアリング | 移動体計測システム、及び計測対象の領域における人物の数を特定する方法 |
KR101932041B1 (ko) * | 2017-03-02 | 2018-12-24 | 충북대학교 산학협력단 | 듀얼 라이다 센서 캘리브레이션 방법 및 장치 |
CN107229043B (zh) * | 2017-05-22 | 2019-04-09 | 中国农业科学院农业资源与农业区划研究所 | 一种距离传感器外参数标定方法和系统 |
US20190004160A1 (en) * | 2017-06-30 | 2019-01-03 | Delphi Technologies, Inc. | Lidar sensor alignment system |
EP3770637B1 (en) * | 2018-03-22 | 2024-05-08 | Hitachi Astemo, Ltd. | Object recognizing device |
US10823845B2 (en) * | 2018-06-24 | 2020-11-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for robust sensor localization based on euclidean distance matrix |
WO2020010043A1 (en) * | 2018-07-06 | 2020-01-09 | Brain Corporation | Systems, methods and apparatuses for calibrating sensors mounted on a device |
CN109059902B (zh) | 2018-09-07 | 2021-05-28 | 百度在线网络技术(北京)有限公司 | 相对位姿确定方法、装置、设备和介质 |
US20220228851A1 (en) * | 2019-06-17 | 2022-07-21 | Omron Corporation | Measurement device, measurement method, and computer-readable storage medium storing a measurement program |
CN110319853A (zh) * | 2019-07-19 | 2019-10-11 | 广州市番通汽车检测有限公司 | 一种方便校准的汽车姿势测量系统 |
JP7363545B2 (ja) | 2020-02-05 | 2023-10-18 | 沖電気工業株式会社 | キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム |
DE102020202800A1 (de) * | 2020-03-05 | 2021-09-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Ermitteln von Reichweiteneinschränkungen für LIDAR-Vorrichtungen |
WO2021220331A1 (ja) * | 2020-04-27 | 2021-11-04 | 株式会社日立産機システム | 移動体システム |
JP7286586B2 (ja) * | 2020-05-14 | 2023-06-05 | 株式会社日立エルジーデータストレージ | 測距システム及び測距センサのキャリブレーション方法 |
CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定系统 |
CN112729317B (zh) * | 2020-12-17 | 2023-09-19 | 大陆投资(中国)有限公司 | 用于定位车辆的方法和车载系统 |
CN113092681B (zh) * | 2021-04-02 | 2023-01-17 | 河北先河环保科技股份有限公司 | 用于网格化监控网络的传感器配对方法及系统 |
CN113298194B (zh) * | 2021-07-26 | 2021-10-19 | 中大检测(湖南)股份有限公司 | 一种基于多传感器的数据融合方法、系统及存储介质 |
CN114166133B (zh) * | 2021-11-24 | 2023-05-23 | 岚图汽车科技有限公司 | 一种高度传感器标定方法、装置、设备及可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5793483A (en) * | 1996-02-07 | 1998-08-11 | Visidyne, Inc. | Optical measurement system |
US6522288B1 (en) * | 2002-01-09 | 2003-02-18 | M/A-Com, Inc. | Method and apparatus for determining location of objects based on range readings from multiple sensors |
US7433021B2 (en) * | 2004-08-10 | 2008-10-07 | Joseph Saltsman | Stereoscopic targeting, tracking and navigation device, system and method |
JP2010127650A (ja) * | 2008-11-25 | 2010-06-10 | Nippon Telegr & Teleph Corp <Ntt> | 移動体位置推定システムと移動体位置推定方法及び移動体位置推定プログラム |
WO2010132791A1 (en) * | 2009-05-15 | 2010-11-18 | Purdue Research Foundation | Calibration of large camera networks |
CN102906593B (zh) * | 2010-05-19 | 2015-06-17 | 三菱电机株式会社 | 车辆后方监视装置 |
JP5712373B2 (ja) * | 2010-10-19 | 2015-05-07 | 株式会社国際電気通信基礎技術研究所 | 距離センサのキャリブレーション装置、キャリブレーションプログラムおよびキャリブレーション方法 |
JP5879877B2 (ja) * | 2011-09-28 | 2016-03-08 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
US10061028B2 (en) * | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
-
2013
- 2013-12-27 JP JP2013273079A patent/JP5950122B2/ja active Active
-
2014
- 2014-12-24 WO PCT/JP2014/084166 patent/WO2015098971A1/ja active Application Filing
- 2014-12-24 CN CN201480071352.4A patent/CN105874350B/zh active Active
-
2016
- 2016-06-24 US US15/192,118 patent/US10324172B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015098971A1 (ja) | 2015-07-02 |
CN105874350A (zh) | 2016-08-17 |
US10324172B2 (en) | 2019-06-18 |
JP2015127664A (ja) | 2015-07-09 |
CN105874350B (zh) | 2018-08-28 |
US20160356882A1 (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5950122B2 (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
US10636168B2 (en) | Image processing apparatus, method, and program | |
JP5759161B2 (ja) | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
JP6746050B2 (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
JP6349418B2 (ja) | 高精度単眼移動によるオブジェクト位置特定 | |
CN104732514A (zh) | 用于处理高度图的设备、系统和方法 | |
JP2012128661A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11822340B2 (en) | Method and system for obstacle avoidance in robot path planning using depth sensors | |
Ruotsalainen et al. | Visual-aided two-dimensional pedestrian indoor navigation with a smartphone | |
JP2017004228A (ja) | 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム | |
JP6601613B2 (ja) | 位置推定方法、位置推定装置及び位置推定プログラム | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
Utz et al. | Improving vision-based self-localization | |
JP2009216480A (ja) | 三次元位置姿勢計測方法および装置 | |
Liu et al. | Outdoor camera calibration method for a GPS & camera based surveillance system | |
Liu et al. | Absolute orientation and localization estimation from an omnidirectional image | |
US20230260149A1 (en) | Position-posture estimation device, position-posture estimation method, and storage medium storing program | |
Asl Sabbaghian Hokmabadi et al. | Shaped-Based Tightly Coupled IMU/Camera Object-Level SLAM | |
US20240119620A1 (en) | Posture estimation apparatus, posture estimation method, and computer-readable recording medium | |
JP4332629B2 (ja) | 量子化誤差を軽減する距離計測方法及び距離計測システム | |
Prozorov et al. | Self-localization of mobile robot in unknown environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160122 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5950122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |