JP5326385B2 - 走行境界検出装置及び走行境界検出方法 - Google Patents
走行境界検出装置及び走行境界検出方法 Download PDFInfo
- Publication number
- JP5326385B2 JP5326385B2 JP2008177533A JP2008177533A JP5326385B2 JP 5326385 B2 JP5326385 B2 JP 5326385B2 JP 2008177533 A JP2008177533 A JP 2008177533A JP 2008177533 A JP2008177533 A JP 2008177533A JP 5326385 B2 JP5326385 B2 JP 5326385B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- measurement
- straight lines
- travel
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 24
- 238000005259 measurement Methods 0.000 claims description 126
- 230000036544 posture Effects 0.000 claims description 60
- 230000008859 change Effects 0.000 claims description 25
- 239000011295 pitch Substances 0.000 description 43
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Description
この特許文献1に記載の技術では、移動装置に搭載したレーザレーダなどの距離計測装置によって、水平方向に所定角度だけスキャンする。そして、所定検出範囲にある障害物からの反射光によって障害物、つまり走行境界までの距離を検出する。
また、撮像装置によって移動装置周囲の画像を取得し、その画像と、上記距離計測装置による障害物までの距離とによって、障害物が何であるか判定する。
このため、移動装置が上下方向に姿勢変化を起こして、距離計測方向が上下変位するようにピッチングすると、距離計測装置の計測方向の向きが上下に傾く。下方に傾いて計測すると、走行可能な床面を障害物として検出してしまうおそれがある。このような誤検出は、移動装置が走行する床に、走行可能な斜面や凹凸があった場合に発生し易い。
本発明は、上記のような点に着目してなされたもので、簡易な処理によって、距離計測装置で走行境界を検出可能とすることを課題としている。
図1は、本実施形態に係る移動装置1を示す斜視図である。
(構成)
まず移動装置1の構成について説明する。
本実施形態の移動装置1は、図1に示すように、移動装置本体2の左右両側に車輪3を配置した2輪形態の移動装置である。移動装置本体2には、また駆動部4、及び駆動部4を制御する駆動制御部5を搭載する。駆動部4は、モータなどのアクチュエータからなり、アクチュエータの発生するトルクを、駆動トルクとして車輪3に伝達する。その伝達した駆動トルクによって車輪3を回転駆動する。
この移動装置1は、車輪3を駆動した際に、移動装置本体2が、車幅方向の軸回りにピッチングするように姿勢変化を発生させることができる。即ち、車輪3を駆動制御することで、移動装置1は移動すると共に姿勢を変化させることが可能である。すなわち車輪3を駆動することで、走行制御及び姿勢制御が可能となる。
そして、この関係を示す運動方程式は、下記の式(1)〜式(4)のように表すことが出来る。
Jd2/dt2θ = VLsinθ −HLconθ ・・・(1)
md2/dt2(Lconθ) = V− mg ・・・(2)
u = H ・・・(3)
J = mL2/3 ・・・(4)
ここで、
J:慣性モーメント
θ:移動装置1の移動装置本体2の傾き(ピッチ角θ)
V:移動装置1の重心に対し垂直方向に掛かる力
H:移動装置1の重心に対し水平方向に掛かる力
m:移動装置本体2の重さ
L:移動装置本体2の重心位置から車輪3中心までの距離
u:車輪3で発生する力
を示す。
また、地図生成装置6は、図3に示すように、距離計測装置6A、姿勢計測装置6B、走行境界演算手段6C、記録装置6D、および姿勢制御手段6Eを備える。このうち、少なくとも距離計測装置6A、姿勢計測装置6B、走行境界演算手段6Cは、走行境界検出装置を構成する。
距離計測装置6Aは、移動装置1周辺の障害物までの距離を計測する装置である。計測した距離情報を走行境界演算手段6Cに供給する。距離計測装置6Aとしては、例えば、レーザー、ミリ波、超音波、静電容量を利用した装置や、ステレオカメラなどを利用する装置を使用する。この実施形態では、レーザーにより2次元的に周囲の物体までの距離を計測することが可能なレーザースキャナを利用する。その距離計測装置6Aを、移動装置本体2に対して上下方向に揺動不能に固定する。この場合には、距離計測装置6Aの距離計測方向Kは任意に設定変更しないようになる。このため、距離計測方向Kは、移動装置1の移動装置本体2に発生するピッチングの影響を受けることになる。しかし、逆にこの上下方向への姿勢変化を利用することで、上下方向に広く距離計測を行うことが可能となる。
走行境界演算手段6Cは、上記距離計測装置6A及び姿勢計測装置6Bからの情報に基づき、障害物までの距離及び位置、つまり走行境界を算出する。その算出した走行境界の情報は、記録装置6Dに出力する。
まず、ステップS100において、移動装置1前方の距離計測を実施する。このとき、距離計測装置6Aが計測した走行境界を構成する障害物までの距離データを取得する。同時に、距離計測時における移動体の姿勢情報を取得する。即ち、姿勢計測装置6Bが計測した、移動装置1に発生しているピッチ角θを取得する。ピッチ角θは、図6に示すように、鉛直方向に直交する水平方向で且つ移動装置1の前進方向を基準(0度)として、上向きの角度(仰角)を正、下向きの角度(俯角)を負とする。
ここで、走行境界の推定に十分なデータ数(計測点数)とは、図7に示すように4点以上とする。これは、少なくとも床面の傾き(前方の床面位置)を推定するための2点A1、A2と、壁面(障害物表面)を観測するための2点A3、A4とを取得するためである。計測点を4点以上取得することで、床面と壁面の交点Pn(走行境界)を十分な精度で推定できるようになると考える。
ステップS120では、所定時間Δt[s]間、待機した後に、ステップS100に戻る。そして、距離計測を繰り返す。
ここで、複数点の距離計測の際には、姿勢制御手段6Eからの指令によって、移動装置1がその場にとどまるように姿勢制御を行う。即ち、移動装置1の移動装置本体2の重心が、車輪3の中心に対して垂直方向に保持するように制御する。このとき、移動装置1の移動装置本体2と車輪3の動きを固定するのではなく、移動装置本体2が静止しないように制御を行う。
ここでは図8のように、少なくとも「−6度」よりも下向きのピッチ角θが発生した状態での計測を2点以上取得しており、且つ、またピッチ角θが0度よりも上向きである点が2点以上取得していると判定した場合に、必要な計測範囲の情報を取得している状態とする。
ステップS140では、移動装置1を前後に移動させることで積極的な姿勢の変化を発生させる。このステップS140に移行する場合には、ステップS110で必要な計測点数を満たしているにもかかわらず、ステップS130にて必要なピッチ角範囲の計測データが必要数だけ計測していないと判断したためである。この場合には、その場にとどまるだけの姿勢制御では、さらに広範囲な計測角度での距離計測が困難であると考えて、移動装置1を移動させる。
一方、ステップS130にて、適切な制御姿勢による距離計測データ数が十分取得したと判定した場合には、ステップS150に移行して、走行境界の推定を行う。
すなわち、ステップS150では、走行境界の推定は図9のように、距離計測値と距離計測時の移動装置1のピッチ角θから、各計測点An(n=1,2,・・・)の位置を求め、その複数の計測点An(n=1,2,・・・)を2次元平面にマッピングする。2次元平面は、上下方向を向いた面である。
ただし、上記求めた最小交角αminが、所定角度以上の場合には、走行境界と推定しない。上記所定角度とは、図11のように、180度から、「対象とする移動装置1によって登坂可能なスロープの最大傾斜角度αs」を引いた角度とする。最小交角αminが、所定角度以上の場合には、移動装置1が乗り越えていけると判断できるためである。
ステップS160では、ステップS150で推定した走行境界を、記録装置6Dに保存していく。ここで、走行境界を、予め設定した座標系での位置に変換して記録装置6Dに保存していく。これによって、移動物体の走行境界分布を示す地図を作成することが可能となる。
ここで、地図生成装置6のうち、走行境界演算手段6Cや記録装置6Dは、移動装置1に搭載しても良いが、移動装置1に搭載する必要はない。移動装置1に搭載しない場合には、別の場所に設定して、通信によって情報の授受を行えば良い。
ここで、姿勢計測装置6Bが姿勢検出装置を構成する。
移動装置1に発生しているピッチングを利用して、距離の計測値について、同一の計測方向Kにおいて、複数の異なる姿勢で検出した、複数の計測点An(n=1,2,・・・)で取得する。この複数の計測点An(n=1,2,・・・)は、距離計測装置6Aの計測方向Kが上記ピッチ角θの変化によって変化した点である。このため、上記複数の計測点An(n=1,2,・・・)は、所定の2次元平面上の点となる(例えば、図9参照)。ここで、上記2次元平面は、2つの車輪3の接地する床面が水平であれば鉛直方向の平面となる。一方、上記2次元平面は、2つの車輪3の接地する床面が傾いていれば、鉛直方向から傾いた上下方向の平面となる。
そして、複数の計測点An(n=1,2,・・・)における各点を通過する複数の直線Bn(n=1,2,・・・)群について、各2本の直線Bn(n=1,2,・・・)の交角αn(n=1,2,・・・)のうち、一番小さな交角αminの交点Pnを走行境界とする。
このため、ここでは、ピッチ角θに基づき、隣り合う計測点An(n=1,2,・・・)同士を通過する直線Bn(n=1,2,・・・)に限定する。このように限定すると、例えば計測点An(n=1,2,・・・)が4点であれば、直線Bn(n=1,2,・・・)が3本に限定出来て、交角αn(n=1,2,・・・)を演算比較する処理量が減る。
さらに、移動装置1に発生している姿勢変化(ピッチ角変化)の範囲が、必要とする計測点An(n=1,2,・・・)を取得出来ないと判定する場合には、移動装置1を前後進させる。これによって、移動装置1に発生する姿勢変化の範囲を大きくする。そして、必要とする計測点An(n=1,2,・・・)を取得する。
(1)同一計測方向Kについて、移動装置1の複数の異なる姿勢で取得した複数の各計測点An(n=1,2,・・・)を通過する直線Bn(n=1,2,・・・)の関係性に基づいて、走行境界を推定する。
すなわち、計測点An(n=1,2,・・・)をそのまま走行境界をなす障害物までの距離としない。これによって、移動装置1に上下方向の姿勢変化が発生していても、走行境界とならない障害物、例えば走行可能な床面の凹凸や傾きを障害物までの距離と検出しても、その各計測点An(n=1,2,・・・)がそのまま走行境界となることが無い。
以上のことから、簡易な処理によって、距離計測装置6Aで走行境界を検出することが可能となる。
(3)上記各計測点An(n=1,2,・・・)を通過する直線Bn(n=1,2,・・・)が作る交角αn(n=1,2,・・・)が最も小さい角度を作る2つの直線Bn(n=1,2,・・・)の交点Pnを、走行境界と推定する。これによって、各計測点An(n=1,2,・・・)を通過する直線Bn(n=1,2,・・・)の関係性から走行境界と推定可能な位置を精度良く求めることが可能となる。
これによって、自然発生した移動装置1の揺れだけでは、観測できない姿勢変化(ピッチ角変化)で計測した距離計側結果を取得可能となる。この結果、移動装置1の揺れが収まった後や、そもそも移動物体の揺れが発生しない緩やかな景観を持つ走行環境であっても、上記方式による走行境界の推定を行うことができる。
すなわち、走行路面に所定の凹凸や斜面などがあって移動装置1に所定以上の姿勢変化が発生する場合には、その姿勢変化を利用する。それが利用できない場合であっても、姿勢変化を発生させることで、走行境界の推定を行うことが可能となる。
(1)距離計測時に所定の仰角以上のピッチ角θで計測した値は、走行境界推定のための計測点An(n=1,2,・・・)としないようにすると良い。
図12に示すように、ある程度以上の仰角θmaxで計測した距離計側点は、走行境界を構成する障害物よりも上部を見ている可能性がある。このような、ある程度以上の仰角で計測した距離計側点を考慮に入れないことで、計算時間を短縮することができる。
ここで、上記所定の仰角θmaxは、例えば、対象とする地図作成位置の障害物の高さの標準と、通常の計測距離の平均とから決定する。
また、上記所定の仰角を、次の観点で設定しても良い。
走行境界か否かは、対象とする移動装置1が登坂可能か否かが一つに指標となる。従って、対象とする移動装置1の登坂可能な床面の最大傾斜角αs以上の値を上記所定の仰角θmaxとする。
上記複数の直線Bn(n=1,2,・・・)の関係性による走行境界の推定の方法は、これに限定しない。例えば、隣り合う計測点An(n=1,2,・・・)同士を直線Bn(n=1,2,・・・)で結んでいくことで、走行の路面とそれに連続する障害物の輪郭を推定し、その輪郭から走行境界を推定しても良い。
ピッチ角θが最も小さな計測点A1を通過する直線B1を基準にして、その直線B1と他の直線Bn(n=1,2,・・・)との交角αn(n=1,2,・・・)を判定していって、所定の交角α0以下の交角αnがあった時点で、その交角αnの交点Pnを走行境界とする。上記他の直線Bn(n=1,2,・・・)は、ピッチ角θが小さな計測点An(n=1,2,・・・)を通過する直線Bn(n=1,2,・・・)ほど交角の比較判定順序の優先順位を高くして行う。また、上記所定交角αn(n=1,2,・・・)以下とは、移動装置1が登坂可能な最大傾斜角αs未満とする。
以上の処理によって、移動装置1に近い走行境界を、最初に検出することが可能となる。
2 移動装置本体
3 車輪
4 駆動部
5 駆動制御部
6 地図生成装置
6A 距離計測装置
6B 姿勢計測装置(姿勢検出手段)
6C 走行境界演算手段
6Ca 複数点取得手段
6Cb 走行境界推定手段
6D 記録装置
6E 姿勢制御手段
K 計測方向
θ ピッチ角
An 各計測点
Bn 直線
αn 交角
αmin 最小の交角
Pn 走路境界と推定する交点
Claims (8)
- 移動装置に搭載し、当該移動装置が走行可能な境界である走行境界を検出するための走行境界検出装置であって、
移動装置に搭載されて障害物までの距離を計測する距離計測装置と、
移動装置に搭載されて移動装置の上下方向への姿勢の傾きを検出する姿勢検出手段と、
同一計測方向に対し、距離計測時における移動装置の姿勢が異なる複数の各計測点の位置を、上記距離計測装置の計測及び姿勢検出手段による姿勢検出に基づき取得する複数点取得手段と、
複数点取得手段で取得した複数の計測点における各2つの計測点を通過する直線群を求め、当該直線群における各2つの直線が交差する角度に基づいて、走行境界を推定する走行境界位置推定手段と、
を備え、
上記2つの直線が交差する角度は、側面視において当該2つの直線で区画される4つの空間のうちの上記移動装置が位置する空間側の角度であることを特徴とする走行境界検出装置。 - 上記走行境界位置推定手段は、取得した複数の計測点における各2つの計測点を通過する直線群について、2つの直線が作る角度であって移動装置側の角度が最も小さい角度となる当該2つの直線の交点を、走行境界と推定し、
上記2つの直線が作る角度であって移動装置側の角度とは、上記2つの直線が交差する角度のうち、側面視において当該2つの直線で区画される4つの空間のうちの上記移動装置が位置する空間側の角度であることを特徴とする請求項1に記載した走行境界検出装置。 - 上記走行境界位置推定手段は、上記2つの直線が作る角度であって移動装置側の角度が最も小さい角度が、所定の値よりも大きい場合は、走行境界と推定しないことを特徴とする請求項2に記載した走行境界検出装置。
- 上記走行境界位置推定手段は、取得した複数の計測点における各2つの計測点を通過する直線群について、2つの直線が作る角度であって移動装置側の角度が所定角度以下となる当該2つの直線の交点であって移動装置に一番近い交点を、走行境界と推定し、
上記2つの直線が作る角度であって移動装置側の角度とは、上記2つの直線が交差する角度のうち、側面視において当該2つの直線で区画される4つの空間のうちの上記移動装置が位置する空間側の角度であることを特徴とする請求項1に記載した走行境界検出装置。 - 上記2つの計測点を通過する直線は、隣り合う2つの計測点を通過する直線とすることを特徴とする請求項1〜請求項4のいずれか1項に記載した走行境界検出装置。
- 複数点取得手段は、姿勢検出手段による検出に基づき、距離計測装置による計測方向の仰角が所定値以上の計測点は、上記走行境界の推定のための計測点として使用しないことを特徴とする請求項1〜請求項5のいずれか1項に記載した走行境界検出装置。
- 駆動部の駆動を制御することで移動装置に上下方向への姿勢変化を発生させて、複数点の距離計測を行うことを特徴とする請求項1〜請求項6のいずれか1項に記載した走行境界検出装置。
- 移動装置に距離計測装置を搭載し、その距離計測装置による計測に基づき、移動装置が走行可能な境界である走行境界を検出する走行境界検出方法であって、
障害物との距離を計測する際に、移動装置に発生する上下方向への姿勢変化を利用して、同一計測方向について、互いに移動装置の姿勢が異なる状態で計測した複数の距離計測点の位置を取得し、その複数の計測点における各2つの計測点を通過する直線群を求め、当該直線群における各2つの直線が交差する角度に基づいて、走行境界を推定し、
上記2つの直線が交差する角度は、側面視において当該2つの直線で区画される4つの空間のうちの上記移動装置が位置する空間側の角度であることを特徴とする走行境界検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177533A JP5326385B2 (ja) | 2008-07-08 | 2008-07-08 | 走行境界検出装置及び走行境界検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177533A JP5326385B2 (ja) | 2008-07-08 | 2008-07-08 | 走行境界検出装置及び走行境界検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010020366A JP2010020366A (ja) | 2010-01-28 |
JP5326385B2 true JP5326385B2 (ja) | 2013-10-30 |
Family
ID=41705225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008177533A Active JP5326385B2 (ja) | 2008-07-08 | 2008-07-08 | 走行境界検出装置及び走行境界検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5326385B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108937702A (zh) * | 2018-07-05 | 2018-12-07 | 广东宝乐机器人股份有限公司 | 一种用于机器人的边界检测方法、装置、机器人及介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5304365B2 (ja) * | 2009-03-19 | 2013-10-02 | トヨタ自動車株式会社 | 移動ロボットの制御方法 |
CN114403114B (zh) * | 2022-01-26 | 2022-11-08 | 安徽农业大学 | 一种高地隙植保机车身姿态平衡控制系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05173637A (ja) * | 1991-12-26 | 1993-07-13 | Toshiba Corp | 移動ロボット用視覚誘導装置 |
JPH0735862A (ja) * | 1993-07-20 | 1995-02-07 | Komatsu Ltd | 走行車両の障害物検出装置 |
JP4197209B2 (ja) * | 1999-05-21 | 2008-12-17 | 株式会社小松製作所 | 車両の無人走行システム |
JP2006146376A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Heavy Ind Ltd | 自立移動ロボット及び移動不能領域検出方法 |
JP2007122272A (ja) * | 2005-10-26 | 2007-05-17 | Matsushita Electric Works Ltd | 移動装置 |
-
2008
- 2008-07-08 JP JP2008177533A patent/JP5326385B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108937702A (zh) * | 2018-07-05 | 2018-12-07 | 广东宝乐机器人股份有限公司 | 一种用于机器人的边界检测方法、装置、机器人及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2010020366A (ja) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2014357957B2 (en) | Cleaning robot and control method thereof | |
US9239580B2 (en) | Autonomous mobile robot, self position estimation method, environmental map generation method, environmental map generation apparatus, and data structure for environmental map | |
KR20180132827A (ko) | 청소 로봇 및 장애물 넘기 방법 | |
JP5310285B2 (ja) | 自己位置推定装置及び自己位置推定方法 | |
JP5817611B2 (ja) | 移動ロボット | |
US11077847B2 (en) | Moving body | |
JP2011209845A (ja) | 自律移動体、自己位置推定方法、地図情報作成システム | |
JP7257257B2 (ja) | 路面検出システム、パーソナルモビリティ及び障害物検出方法 | |
JP2017087997A5 (ja) | ||
JP5326385B2 (ja) | 走行境界検出装置及び走行境界検出方法 | |
WO2013001658A1 (ja) | 速度計画装置を備えた倒立振子型移動体 | |
CN111516777A (zh) | 一种机器人小车及其障碍物识别方法 | |
JP2009050936A (ja) | 干渉判定装置および脚車輪型ロボット | |
JP7221549B2 (ja) | 情報処理装置および移動ロボット | |
TWI788690B (zh) | 移動式機器人 | |
JP7353139B2 (ja) | 走破可否判定装置及び移動体の制御装置 | |
KR100904769B1 (ko) | 진로 방해물 감지 장치 및 방법 | |
JP7114867B2 (ja) | 自律走行システム、これを備えた車両及び自律走行方法 | |
CN113031612B (zh) | 一种基于智能控制的平衡车系统、控制方法及计算机可读存储介质 | |
JP7002791B2 (ja) | 情報処理装置および移動ロボット | |
JP7358108B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7295654B2 (ja) | 自走式ロボット | |
CN113440049A (zh) | 一种清洁机器人及其控制方法 | |
JP5463628B2 (ja) | 位置推定装置 | |
JP2009006982A (ja) | 脚車輪型ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5326385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |