JP6319736B2 - センサの指向制御方法と装置 - Google Patents
センサの指向制御方法と装置 Download PDFInfo
- Publication number
- JP6319736B2 JP6319736B2 JP2013194154A JP2013194154A JP6319736B2 JP 6319736 B2 JP6319736 B2 JP 6319736B2 JP 2013194154 A JP2013194154 A JP 2013194154A JP 2013194154 A JP2013194154 A JP 2013194154A JP 6319736 B2 JP6319736 B2 JP 6319736B2
- Authority
- JP
- Japan
- Prior art keywords
- correction gain
- gain
- observation
- kalman
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims description 110
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
なお、複数の移動体は、例えば、物品を搬送する移動ロボットであり、作業エリア内で自在に移動可能である。
また、ロボットのセンサの指向制御手段として、特許文献3〜5が既に開示されている。
特許文献2は、外界センサを搭載した計測体を複数用いて、各計測体が互いの方位、距離を計測した結果を統合することで、全ての計測体の位置と姿勢を推定するものである。
特許文献3は、既定の写像関数を用いて、アクチュエータ制御座標へ、動作前と動作後のポジションの偏差を写像し、アクチュエータ手段用のコマンドを形成するものである。
特許文献4は、音波を受信する少なくとも2つの音波センサを備え、2つの音波センサ間の音波受信時間差を利用して、ロボットへの音波入射角を計算するものである。
特許文献5は、ロボット経路追従装置のセンサの指向方向をエンドエフェクタ中心軸まわりに逐次制御し、センサの方向を適正に維持するものである。
ステップ1:あらかじめ、各物体の位置と姿勢の推定値として適切な初期値を与えておく。また、初期値の誤差の大きさを表す誤差分散行列も設定する。
ステップ2:外界センサを使って、物体間の相対関係(方位と距離)を計測する。
ステップ3:計測結果に基づいて、各物体の推定値を修正し、誤差分散行列を小さくする。この時、誤差分散が大きい推定値の方が修正量が大きくなる。
事前に一部の物体の位置と姿勢が分かっていれば、それを基準に各物体の位置と姿勢が推定され、全体的に誤差分散が小さくなる。
したがって、位置推定に用いる外界センサは、視野角が90度以下のカメラやレーザセンサを、パン角とチルト角を制御できる雲台上に搭載する構成となる。
特許文献1には、以前計測した特徴点の少なくとも一部が視野に残るように、センサの向きを制御する方法が記載されている。しかし、この方法は、移動体の周囲が全て静止体であり、「以前計測した点は誤差分散が小さい」といえる場合にのみ有効である。
また、複数の計測体が存在する場合は、他の計測体が観測することで、自分とは無関係に、周囲の物体の誤差分散が小さくなることもある。このように、自己と、周囲の物体の誤差分散が動的に増減する状況下で、効果的にセンサの向きを制御することが要望されていた。
前記計測体は、その周囲の物体と通信可能な通信部と、前記雲台制御装置に指令値を出力する状態推定部とを備え、前記状態推定部により、
(A)自己及びその周囲の物体の位置又は姿勢の推定値を取得し、
前記推定値は、位置と姿勢を示す状態量と、該状態量の誤差分散行列であり、
(B)周囲の物体の前記推定値のカルマンゲインを算出し、
前記カルマンゲインは、観測対象の位置に関する第1修正ゲイン、観測元の位置に関する第2修正ゲイン、観測元の姿勢に関する第3修正ゲイン、又は、これらを統合した統合修正ゲインであり、
前記第1修正ゲインは、観測対象jのカルマンゲインKjの位置成分の二乗和であり、
前記第2修正ゲインは観測元iのカルマンゲインKiの位置成分の二乗和であり、
前記第3修正ゲインは、観測元iのカルマンゲインKiの姿勢成分の二乗和であり、
前記統合修正ゲインはカルマンゲインKi,Kjの各成分の二乗和であり、
カルマンゲインKi,Kjは、数9の式(10)(11)で算出され、
(C)前記カルマンゲインが最も大きい物体を注視物体として選択し、
(D)選択した注視物体の方向に前記雲台のパン角又はチルト角を制御する、ことを特徴とするセンサの指向制御方法が提供される。
周囲の物体と通信可能な通信部と、前記雲台制御装置に指令値を出力する状態推定部とを備え、前記状態推定部は、
(A)自己及びその周囲の物体の位置又は姿勢の推定値を取得し、
前記推定値は、位置と姿勢を示す状態量と、該状態量の誤差分散行列であり、
(B)周囲の物体の前記推定値のカルマンゲインを算出し、
前記カルマンゲインは、観測対象の位置に関する第1修正ゲイン、観測元の位置に関する第2修正ゲイン、観測元の姿勢に関する第3修正ゲイン、又は、これらを統合した統合修正ゲインであり、
前記第1修正ゲインは、観測対象jのカルマンゲインKjの位置成分の二乗和であり、
前記第2修正ゲインは観測元iのカルマンゲインKiの位置成分の二乗和であり、
前記第3修正ゲインは、観測元iのカルマンゲインKiの姿勢成分の二乗和であり、
前記統合修正ゲインはカルマンゲインKi,Kjの各成分の二乗和であり、
カルマンゲインKi,Kjは、数9の式(10)(11)で算出され、
(C)前記カルマンゲインが最も大きい物体を注視物体として選択し、
(D)選択した注視物体の方向に前記雲台のパン角又はチルト角を制御する、ことを特徴とするセンサの指向制御装置が提供される。
この制御で注視物体が観測されることで、自己又は注視物体の位置又は姿勢が修正される。
この図において、計測体12は、移動可能な移動体13又は移動不能な固定体14である。
図1の例では、所定のエリア内に移動体13(例えば移動ロボット)や固定体14(例えば固定デバイス)を配置し、移動体13と固定体14の位置を求める。なお、以下、計測体12(移動体13又は固定体14)と計測体12以外の固定体(例えばランドマーク15)を、区別が必要な場合を除き単に物体10と呼ぶ。得られた物体10の位置は、移動体13の制御やエリアの地図作成、監視などに用いる。
計測体12は、外界センサ16、雲台18、雲台制御装置20を備える。
この例において、外界センサ16は、カメラ16aとLRF16b(レーザセンサ)からなる。なおカメラ16aとLRF16bの両方を計測体12に搭載することが好ましいが、一方のみでもよい。
LRF16bにより、周囲の物体10までの距離を計測することができる。また、LRF16bにより、距離だけでなく他の物体10の方位も計測できる。
この図において、上述した雲台制御装置20は、雲台駆動部20aと雲台制御部20bからなる。また、移動体13は、上述した外界センサ16、雲台制御装置20の他に、内界センサ22、ロボット駆動部24、及び車両制御部26を有する。
外界センサ16及び内界センサ22の検出データは、それぞれの計測部を介して状態推定部34(後述する)に入力される。
通信部32は、その周囲の物体10と通信可能であり、好ましくはリアルタイムに無線LANで通信可能に構成されている。
状態推定部34は、外界センサ16及び内界センサ22で計測されたセンサ情報を使って、自己(その計測体12)及びその周囲の物体10の推定値A(後述する)を取得する。
指向制御装置30は、例えばコンピュータ(PC)で構成されている。また、上述した雲台制御部20b、及び車両制御部26を含めて同一のコンピュータ(PC)で構成してもよい。
また、状態推定部34は、後述するセンサの指向制御方法を実行する。
この図に示すように本発明の指向制御方法は、S1〜S6の各ステップ(工程)からなる。
以下、特に必要な場合を除き、自己(観測元の計測体12)を「デバイスi」又は「観測元i」と呼び、周囲の物体10(観測対象)を「デバイスj」又は「観測対象j」と呼ぶ。
なお必要に応じて、観測対象の別の物体10を「デバイスk」と呼ぶ。i、j、kは、1,2,3・・・正数であり、デバイスi、デバイスj、デバイスkは異なる物体10を意味する。
通常、各物体10がエリア内に配置された時点で大まかな位置又は姿勢は分かっている。そのため、自己及びその周囲の物体10の初期値は、例えば位置誤差2m、姿勢誤差2度程度の精度で設定する。
自己(観測元の計測体12)の位置又は姿勢の推定値Aは、状態推定部34に記憶された直前のデータと内界センサ22の出力から計算される。その周囲の物体10(計測体12)の位置又は姿勢の推定値Aは、通信部32を介して、その物体の状態推定部34に記憶された直前のデータを取得する。また、周囲の物体10が移動不能な固定体14又は計測体12以外の固定体(例えばランドマーク15)の場合には、その位置又は姿勢を予め状態推定部34に記憶しておく。
推定値Aとは、位置と姿勢を示す状態量Xiと、状態量Xiの誤差分散行列CXiiである。推定値Aは、時間経過と共に常に更新されている。
また、移動体13の場合、状態量Xiに速度や角速度などの運動成分を含めてもよい。
式(1)において、(x,y,z)は位置を表し、(rx,ry,rz)は姿勢を表す。
状態量Xiの修正式は、[数2]の(4)で示すことができる。また、分散の更新式は、[数2]の(5)で示すことができる。
この図において、デバイスi、デバイスj、デバイスkは、3つの異なる物体10である。3つの異なる物体10のうち少なくとも1つは、計測体12である。計測体12は移動体13であっても固定体14であってもよい。
図中の楕円(破線で示す)は、デバイスi、デバイスj、デバイスkの位置誤差範囲を示している。また、図中の角度αは、観測誤差範囲を示している。
ここで、Rは、距離、方位角、仰角の計測誤差として想定される観測誤差分散値である。
また、カルマンゲインKiの各成分を式(12)のように表記する(カルマンゲインKjも同様である)。
なお、以下、「カルマンゲインK」は、カルマンゲインKi又はカルマンゲインKjを意味する。
式(13)から、カルマンゲインKiの各成分が大きいほど、状態量Xiの修正量が大きくなり、状態量Xiが修正されやすいことがわかる。
統合修正ゲインEallは、第1修正ゲインE1と第2修正ゲインE2の和に、計測体12と周囲の物体10の距離、第3修正ゲインE3、及び姿勢成分の重み係数βの積を加算した値である。
また統合修正ゲインEallは、式(15)で与えられる。
ただし、式(16)の関係がある。
その他yj〜rziも同様に、カルマンゲイン行列(式(12))の対応する一行の和である。
なおEallの式で、より正確には、CはCn biを指す。
またPijは、「観測元iから見た観測対象jの位置ベクトル」を意味する。
観測誤差分散Vijは、「観測元iと観測対象jの誤差分散の和」を意味する。
したがって、カルマンゲインKは数7の式(17)(18)のように近似できる。なお、この式は、観測行列Bnや、共分散行列CXijを無視した近似だが、近似値が増減する傾向は、カルマンゲインKと同じである。
式(14)から、第1修正ゲインE1は、観測対象jのカルマンゲインKj(式(12)と同様)の位置(x,y,z)成分の二乗和である。したがって、観測元iの誤差分散行列CXiiが小さく、観測対象jの誤差分散行列CXjjが大きい時に、大きな値となる。
逆に、観測元iの誤差分散行列CXiiが大きく、観測対象jの誤差分散行列CXjjが小さい時は、小さな値となる。
式(14)から、第2修正ゲインE2は観測元iのカルマンゲインKi(式(12)と同様)の位置(x,y,z)成分の二乗和である。
同様に式(14)から、第3修正ゲインE3は、観測元iのカルマンゲインKiの姿勢(rx,ry,rz)成分の二乗和である。
したがって、観測元iの誤差分散行列CXiiが大きく、観測対象jの誤差分散行列CXjjが小さい時に、大きな値となる。
逆に、観測元iの誤差分散行列CXiiが小さく、観測対象jの誤差分散行列CXjjが大きい時は、小さな値となる。
統合修正ゲインEallは、観測元iと観測対象jの全てのカルマンゲインK(E1,E2,E3)の重み付き二乗和である。すなわち、統合修正ゲインEallはKi,Kjの各成分の二乗和である。したがって、表1のような傾向となる。
カルマンゲインKは、第1修正ゲインE1、第2修正ゲインE2、第3修正ゲインE3、又は統合修正ゲインEallであるのがよい。
自分から見た注視物体11の方向(θ,φ)を、観測方程式gの第2,第3行で求め、これをパン角指令値θopeとチルト角指令値φopeとする。
パン角指令値θopeとチルト角指令値φopeに基づいて、以下のように雲台18を制御する。
θ軸は、数8の式(19)の範囲で動かす。
φ軸は式(20)の範囲で動かす。
ここで、Vth,Vphは、式(21)で示す観測誤差分散Vijの対角項である。式(21)は、観測誤差分散Vijの対角項に記号を定義したものである。
また、nは観測対象jの探索範囲を決める係数である。nを0にすると、予測した方向の一点を向く。
観測誤差分散Vijは3×3の行列となる。このうち、VthやVphは雲台の往復動作の幅を決めるのに用いる。
ステップS3で選択した注視物体11が観測された後にステップS1に戻ることが好ましい。注視物体11が観測されることで、自己又は注視物体11の位置又は姿勢が修正される。
しかし、ステップS3の選択にて、注視物体11が毎回変わるような状況では、目標指令値θope,φopeがループ毎に変わり制御が不安定になる場合がある。この場合には、一定時間の間、ステップS5の制御を継続した後にステップS1に戻る。
なお、一定時間経過の代わりに、注視物体11に関するカルマンゲインKが、ステップS3で選択した時より減るまで、ステップS5の制御を継続してもよい。
この図において、デバイスiが、第1修正ゲインE1のゲイン最大物体としてデバイスjを検出し、第2修正ゲインE2のゲイン最大物体としてランドマーク15を検出している。
ステップS3で、注視物体11として、観測対象jの位置に関する第1修正ゲインE1を選択した場合、ステップS4〜S6において、計測体12が、位置誤差分散B1が大きくなりつつある物体10(観測対象j)を優先的に計測する。このため、位置誤差分散B1の増加を防げる。
特許文献1では、以前計測した点が視野に残るように制御している。これに対し本発明では、注視物体11として、第2修正ゲインE2又は第3修正ゲインE3を選択することにより、周囲の物体10の誤差分散が動的に変わっている状況下で、最も適した物体10を選択できる。
本発明によれば、この状況下において、計測体12に設けられたカメラ16aやレーザセンサ16bなどの外界センサ16の指向方向を効果的に制御できる。
g 観測方程式、K(Ki,Kj) カルマンゲイン、
E1 第1修正ゲイン、E2 第2修正ゲイン、E3 第3修正ゲイン、
Eall 統合修正ゲイン、R 観測誤差分散値、Xi、Xj 状態量、
CXii、CXjj 誤差分散行列、CXij 共分散行列、
Vij 観測誤差分散、θope パン角指令値、φope チルト角指令値、
10 物体、10a マーカ、11 注視物体、12 計測体、13 移動体、
14 固定体、15 ランドマーク、16 外界センサ、16a カメラ、
16b LRF(レーザセンサ)、18 雲台、20 雲台制御装置、
20a 雲台駆動部、20b 雲台制御部、22 内界センサ、
22a ジャイロセンサ、22b 車輪エンコーダ、24 ロボット駆動部、
26 車両制御部、30 指向制御装置、32 通信部、34 状態推定部
Claims (4)
- 周囲に位置する物体の方位又は距離を計測可能な外界センサと、該外界センサを載せた雲台と、該雲台のパン角又はチルト角を制御する雲台制御装置と、を有する計測体におけるセンサの指向制御方法であって、
前記計測体は、その周囲の物体と通信可能な通信部と、前記雲台制御装置に指令値を出力する状態推定部とを備え、前記状態推定部により、
(A)自己及びその周囲の物体の位置又は姿勢の推定値を取得し、
前記推定値は、位置と姿勢を示す状態量と、該状態量の誤差分散行列であり、
(B)周囲の物体の前記推定値のカルマンゲインを算出し、
前記カルマンゲインは、観測対象の位置に関する第1修正ゲイン、観測元の位置に関する第2修正ゲイン、観測元の姿勢に関する第3修正ゲイン、又は、これらを統合した統合修正ゲインであり、
前記第1修正ゲインは、観測対象jのカルマンゲインKjの位置成分の二乗和であり、
前記第2修正ゲインは観測元iのカルマンゲインKiの位置成分の二乗和であり、
前記第3修正ゲインは、観測元iのカルマンゲインKiの姿勢成分の二乗和であり、
前記統合修正ゲインはカルマンゲインKi,Kjの各成分の二乗和であり、
カルマンゲインKi,Kjは、数9の式(10)(11)で算出され、
(C)前記カルマンゲインが最も大きい物体を注視物体として選択し、
(D)選択した注視物体の方向に前記雲台のパン角又はチルト角を制御する、ことを特徴とするセンサの指向制御方法。 - 前記統合修正ゲインは、第1修正ゲインと第2修正ゲインの和に、前記計測体と周囲の物体の距離、第3修正ゲイン、及び姿勢成分の重み係数βの積を加算した値である、ことを特徴とする請求項1に記載のセンサの指向制御方法。
- 前記(C)において、カルマンゲインとして第1修正ゲイン、第2修正ゲイン、及び第3修正ゲインを、交互に切り替える、ことを特徴とする請求項1に記載のセンサの指向制御方法。
- 周囲に位置する物体の方位又は距離を計測可能な外界センサと、該外界センサを載せた雲台と、該雲台のパン角又はチルト角を制御する雲台制御装置と、を有する計測体に設けられたセンサの指向制御装置であって、
周囲の物体と通信可能な通信部と、前記雲台制御装置に指令値を出力する状態推定部とを備え、前記状態推定部は、
(A)自己及びその周囲の物体の位置又は姿勢の推定値を取得し、
前記推定値は、位置と姿勢を示す状態量と、該状態量の誤差分散行列であり、
(B)周囲の物体の前記推定値のカルマンゲインを算出し、
前記カルマンゲインは、観測対象の位置に関する第1修正ゲイン、観測元の位置に関する第2修正ゲイン、観測元の姿勢に関する第3修正ゲイン、又は、これらを統合した統合修正ゲインであり、
前記第1修正ゲインは、観測対象jのカルマンゲインKjの位置成分の二乗和であり、
前記第2修正ゲインは観測元iのカルマンゲインKiの位置成分の二乗和であり、
前記第3修正ゲインは、観測元iのカルマンゲインKiの姿勢成分の二乗和であり、
前記統合修正ゲインはカルマンゲインKi,Kjの各成分の二乗和であり、
カルマンゲインKi,Kjは、数9の式(10)(11)で算出され、
(C)前記カルマンゲインが最も大きい物体を注視物体として選択し、
(D)選択した注視物体の方向に前記雲台のパン角又はチルト角を制御する、ことを特徴とするセンサの指向制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013194154A JP6319736B2 (ja) | 2013-09-19 | 2013-09-19 | センサの指向制御方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013194154A JP6319736B2 (ja) | 2013-09-19 | 2013-09-19 | センサの指向制御方法と装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015060431A JP2015060431A (ja) | 2015-03-30 |
JP6319736B2 true JP6319736B2 (ja) | 2018-05-09 |
Family
ID=52817894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013194154A Active JP6319736B2 (ja) | 2013-09-19 | 2013-09-19 | センサの指向制御方法と装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6319736B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106950976B (zh) * | 2017-02-28 | 2020-04-03 | 北京天恒长鹰科技股份有限公司 | 基于卡尔曼和粒子滤波的室内飞艇三维定位装置及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3404681B2 (ja) * | 1993-11-15 | 2003-05-12 | 日本電信電話株式会社 | センサ指向方向逐次制御方法 |
KR100561855B1 (ko) * | 2002-12-30 | 2006-03-16 | 삼성전자주식회사 | 로봇용 로컬라이제이션 시스템 |
EP1586421B1 (en) * | 2004-04-16 | 2008-03-05 | Honda Research Institute Europe GmbH | Self-calibrating orienting system for a manipulating device |
JP5310285B2 (ja) * | 2009-06-12 | 2013-10-09 | 日産自動車株式会社 | 自己位置推定装置及び自己位置推定方法 |
JP5748174B2 (ja) * | 2011-09-15 | 2015-07-15 | 株式会社Ihi | 移動体の相対姿勢計測方法と装置 |
-
2013
- 2013-09-19 JP JP2013194154A patent/JP6319736B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015060431A (ja) | 2015-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132981B2 (ja) | 飛行機の状態をリアルタイムに修正する方法および装置 | |
TWI827649B (zh) | 用於vslam比例估計的設備、系統和方法 | |
US6489922B1 (en) | Passive/ranging/tracking processing method for collision avoidance guidance and control | |
JP7404010B2 (ja) | 位置推定装置及び方法 | |
AU2007360479B2 (en) | System for the precision localization of a target on the ground by a flying platform and associated method of operation | |
KR20160044432A (ko) | 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 | |
JP2004212400A (ja) | ロボット用位置方向推定システム | |
US20150168953A1 (en) | Autonomous self-leveling vehicle | |
EP3399327B1 (en) | Pose estimation using radio frequency identification (rfid) tags | |
Bischoff et al. | Fusing vision and odometry for accurate indoor robot localization | |
JP7123774B2 (ja) | 飛行装置制御システム | |
JP2023521700A (ja) | 視覚キュー型ランダムアクセスlidarシステム、並びに、所在特定及びナビゲーションのための方法 | |
US20220351011A1 (en) | Printing systems | |
JP5679121B2 (ja) | ロボットの運動予測制御方法と装置 | |
JP6319736B2 (ja) | センサの指向制御方法と装置 | |
JP6227950B2 (ja) | センサの指向制御方法と装置 | |
JP5748174B2 (ja) | 移動体の相対姿勢計測方法と装置 | |
JP7332403B2 (ja) | 位置推定装置、移動体制御システム、位置推定方法およびプログラム | |
JP5939395B2 (ja) | 移動体の相対姿勢計測方法と装置 | |
Conduraru et al. | Localization methods for mobile robots-a review | |
JP7021943B2 (ja) | 移動体 | |
JP6247860B2 (ja) | 物体の位置推定方法と装置 | |
Gonçalves et al. | Real-time localization of an omnidirectional mobile robot resorting to odometry and global vision data fusion: An EKF approach | |
KR100575108B1 (ko) | 비전 센서를 이용하여 다수 비행체를 도킹시키는 방법 | |
Burke et al. | Optimal placement of range-only beacons for mobile robot localisation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6319736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |