JP5462597B2 - 物体測定システム及びその方法 - Google Patents
物体測定システム及びその方法 Download PDFInfo
- Publication number
- JP5462597B2 JP5462597B2 JP2009258870A JP2009258870A JP5462597B2 JP 5462597 B2 JP5462597 B2 JP 5462597B2 JP 2009258870 A JP2009258870 A JP 2009258870A JP 2009258870 A JP2009258870 A JP 2009258870A JP 5462597 B2 JP5462597 B2 JP 5462597B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- distance
- measurement
- dimensional coordinate
- laser sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
レーザセンサを固定した駆動手段を所定の振れ角θを以て移動させながらレーザセンサからレーザ光を照射して測定領域内の物体の存在位置、時間データ、駆動手段の移動方向データ、立体形状に関するデータを含む測距データを取得するデータ取得部と、データ取得部の測距データから物体を検知する物体検知部と、検知された測距データから物体の三次元形状を算出する立体形状算出手段と、該立体形状算出手段によって算出された物体の三次元形状のデータを記憶する記憶手段と、該物体検知部により検知された物体について該記憶手段を参照して該物体の三次元形状を照合して同じ物体であるかを判断し、同じ物体の場合該物体の固有IDに対応つけて該物体の三次元形状データを該記憶手段に記憶し、該判断の結果同じの物体でない場合には新たな固有IDを該物体に付与して、該物体の三次元形状データを該記憶手段に記憶する処理を行う処理手段と、該処理手段により処理された物体の三次元形状データから、該物体検知部で取得された物体の存在位置にて物体の立体形状を作成して表示する表示部と、有することを特徴とする物体測定システムとして構成される。
図1は、一実施例における物体測定システムの構成例を示す。
物体測定システムは、レーザ光を発するレーザセンサ1、レーザセンサ1を固定したモータやアクチュエータ等の駆動手段2、駆動手段2及びレーザセンサ1を制御すると共にレーザセンサ1から取得されたデータを処理するパーソナルコンピュータ(PC)3を有して構成される。PC3はよく知られているように、処理装置(CPU)31、データベース(DB)32を保持する記憶装置、表示装置33、入力装置34を有する。
レーザセンサ1は駆動手段2に固定された状態で、0.25°毎にレーザ光を照射して、受信したデータ(測距データ)を経時的にPC3へ送る。
CPU31は、レーザセンサ1及び駆動手段2にレーザ制御信号5及び駆動制御信号6を送ってこれらを制御する。また、レーザセンサ1から経時的に取得した測距データ7を用いて測定領域内に存在する物体の存在位置を算出し、更に先に記憶した立体形状に関連する情報に基づいて、算出された領域内の物体の立体形状を計算し、物体が検知された位置及びその物体が移動する予想位置に、計算した物体の立体形状の図形を表示装置33に表示するように制御する。
(A)は、駆動手段2に固定されたレーザセンサ1が、測距の最初に人物202を検知し、その人物202に固有ID(0001)を付与し、その人物の立体形状を取得する様子を示している。
(B)は、測定領域内を駆動手段2が振り角θ内でレーザセンサ1を駆動しながらレーザ光を照射する場合、人体202の当初の存在位置の検知からレーザ光の照射が一時外れた様子を示している。
(C)は、振り角θ内に居る別の人物203の存在位置の検知し、その人物203に固有ID(0002)を付与し、その人物の立体形状を取得する様子を示している。
これにより、人物202及び別の人物203の存在を検知する度に、新たな固有IDを付与して、その検知物体を個別に経時的に認識しながらその物体形状データを取得し、測定領域内を移動する物体の存在位置を検知する度に、その位置で準じ物体形状である立体形状の像を算出して表示することができる。
例えば、上方向から測定領域における人の動きを測定する場合、物体の大きさとして人の頭部(直径サイズ)を測定対象物体のサイズとして設定し、そこから駆動手段2による振り角θと、駆動手段2に固定したレーザセンサ1のセンサ高h位置を導き出すことができる。
例えば、駆動手段の振り角θ=100(°)、センサの動作周波数f=40(Hz)、照射時間t=2(秒)、センサ高h=4(m)とした場合の、エリア半径r(cm)、振幅の分解能Δθ(°)、近端の分解能306毎の測距距離α(cm)、遠端の分解能307毎の測距距離β(cm)について算出する。まず、エリア半径r(cm)を求めると、
r= tan(θ/2)×h ・・・(1)
式(1)よりエリア半径r≒475(cm)となり、測定領域312は、エリア半径rの2倍相当から、測定領域312≒950(cm)となる。
Δθ= θ/{f×(t/2)} ・・・(2)
式(2)より振り幅の分解能Δθ≒2.5(°)となる。
α= tanΔθ ×h ・・・(3)
式(3)より測距距離α≒17.5(cm)となる。さらに、分解能307毎の測距距離β(cm)を求めると、
β=r − tan(θ/2−Δθ)×h ・・・(4)
式(4)より測距距離β≒40.5(cm)となる。以上の様に、センサ高h=4(m)に設置の場合、測定領域312≒9.5(m)、近端の分解能306毎の測定距離α≒17.5(cm)、遠端の分解能307毎の測定距離β≒40.5(cm)として、設定に対する測距環境への目安値を算出することができる。
図中の分解能305毎の測距距離γは、レーザ光の最長照射位置での分解能(0.25°)分の測定距離を示している。実際のレーザ光の照射としては、斜線部に示される照射距離tb(振幅角度308が含まれる)までが照射範囲となることから、図中(斜線部分)の照射分解能に示される部分を超えた広範囲の位置に存在する物体も測距、及び検知が可能となる。
例えば、センサ高h=4(m)、測定距離d≒14(m)とした場合の、分解能305毎の測距距離γ(cm)について求めると、
センサ高h位置を点A、点Aから照査面に垂直方向に下ろした位置を点C、点Cから照射長tbまでの距離dを点Bとし、点ABCで構成される直角三角形の辺AB、BC、CAとして、辺ABの最長照射位置における照射長tbを三平方の定理により求め、そこから∠Aにおけるレーザ光の最長照射位置から分解能(0.25°)分ずれた照射位置における照射長から測距距離γ(cm)を求めると、測距距離γ≒20(cm)となる。
以上の様に、センサ高h=4(m)に設置の場合、測距距離γ≒20(cm)と、センサを中心とする測定距離d×2倍相当、測定範囲313≒28(m)が算出される。
駆動手段2が角Δθごとに駆動される時に、レーザセンサ1を走査して得られた、レーザセンサ角度θ1〜θ6ごとの測距データ(cm)をそれぞれ記憶する。
検知された物体ごとに固有のIDを付与し、その固有IDごとに立体形状を示す三次元データ、距離、物体を検知した時間、及び駆動手段2の移動方向(角度データ)を記憶する。
次に、図7を参照して、物体検知における三次元立体形状の算出処理について説明する。
この例は、駆動手段2に固定された1つのレーザセンサによって物体を検知し、その物体の三次元形状を算出する例である。レーザセンサ1は測定領域の上部より、駆動手段2の振り角θの領域を測距することで、物体の三次元立体形状データを取得するものとする(上述の図3、計算例1及び2参照)。
三次元立体物体検知では、クラスタデータから測定領域に存在する物体検知に際して、三次元立体形状データの取得できる物体を対象とする。対象物体が検知されない場合は、測距データ受信処理(S702)へ遷移し、クラスタ検出(S703)を繰り返す(S704)。三次元立体物体が検知された場合は、物体の立体形状の算出する(S705)。
三次元物体立体形状データDB323からの読み出された三次元立体物体データについて、推量された物体の存在位置、又は物体の移動位置に三次元立体物体データである物体形状を表示装置33に表示する(S709)。
最後に、検知終了を判断し、測定領域における三次元立体形状の測定を継続する場合は、測距データ受信処理へ移り(S702)、それ以外のとき測定を終了する(S712)。
固有IDと測距データに関する処理(図7の処理S720)は、固有IDの有無及び新規の固有ID付与の判断の処理であり、固有ID毎に測距した時刻及び存在位置データを記憶するDB323を用いて行われる。
この処理(S1200)は、3次元立体物体が検知された場合は、物体の立体形状の算出(S705)より開始される。即ち、DB323に格納されている固有ID毎の時間データと距離データを照合して、固有IDの有無を検索し、登録の固有IDの一致/不一致を判断して、それぞれの場合において、固有IDに対応した測距データを保存までの処理をする。以下、詳述する。
固有IDに紐付けされた3次元データ、距離データ、時間データ、駆動手段2の移動方向データの内から、固有ID毎の時間データと距離データを照合する。この照合の結果、時間データと距離データが一致した場合(レーザセンサの例えば4cm程度の誤差を含んだ、一定の誤差の範囲で一致した場合を含む)、検知対象の物体が同一の物体と認識する(S1201)。
物体の移動に関する推量(図7の処理S710)は、物体の存在位置と移動方向を以て、物体の移動に関する推量から立体形状を表示するため、固有ID毎の測距データ(時間、距離、駆動手段の移動方向)を記憶するDB323を用いて行う。
まず、DB323に格納された、固有IDに対応して測距データ(時間、距離、駆動手段の移動方向)の内、固有ID毎の時間における距離データ、駆動手段の移動方向データを照合する(S1301)。
又、障害物による死角の発生により、測距データが途切れる可能性が考えられるので、物体の移動に関する推量が出来ない場合は、物体検出を経時的に監視するステップ(S1304)へ遷移して、これを繰り返す。
本ステップ(S1302)にて物体の移動に関する推量が可能な場合は、当該物体における3次元の測距(立体形状を含む)データDB321より、当該物体の3次元立体形状データを読み出す(S1303)。
本ステップ(S1303)にて測距において障害物などにより死角となる場合、測距データが途切れ、物体の移動に関する推量が不可能な場合は、物体の検出を経時的に監視して、継続的に物体が検出される場合は、本推量処理の当初のステップ(S1301)へ遷移し、継続的に物体が検出されない場合は、本推量処理を終了する(S1304)。
例えば、前述の例において、小さな物体[20(cm)以下の]検知は、駆動手段2の振り速度tを[往復2(秒)以上に]遅くする。早く[1(m/s)以上で]移動する物体検知では、駆動手段2の振り速度tを[往復2(秒)以下に]早くし、振り角θを[100(°)以下の]鋭角に絞ることで、物体の大きさや、物体の移動の速さなどへ対応した物体検知への測定をすることができる。
この例は、レーザセンサによる測定領域の人物の立体表面形状に関する複数の三次元座標データを取得する様子を概要的に示している。
レーザセンサ1は、駆動手段2が振り角θを移動することにより、物体の存在位置を検知し、三次元立体表面形状に関する複数の三次元座標データを取得する方法とその立体表面形状に関する複数の三次元座標データを取得する。
レーザ光のスキャンタイミングをt1〜t6とすると、その時の三次元立体表面形状に関する複数の三次元座標データとして、立体表面形状データC1〜C6を得ることができる(図8(B))。
このように収集した三次元立体表面形状に関する複数の三次元座標データを処理することで、測距された人物の三次元立体形状を表示することができる(図8(C))。
この例は、駆動手段2の振り角θ内でレーザセンサが1回のスキャンによって得られる三次元形状データの取得例である。
レーザ光を人物に対して照射するためのセンサ高hについては、前述した様に、レーザセンサと対象物体の大きさや移動速度に応じて可変させることができる。人物がレーザセンサに対し遠方にいる時は、低い位置にレーザ光が照射されることになり、人物がレーザセンサに対して近づくにつれて、高い位置にレーザ光が照射されることになる。
次に、複数のレーザセンサを用いて測定領域内にある物体を測定する三次元物体測定について説明する。
図4は、その他の一実施例における3次元形状データ取得動作を示す図である。
例えば、隣接する測定領域1から測定領域2に物体が移動するに際して、駆動手段12,22に接続されたレーザセンサ11、21にて測距する場合、駆動手段12、22を、独立に各々振れ角θ1<100°、θ2<60°、測定(駆動手段による周期)時間をt1=2秒、t2=4秒の設定を以て、各レーザセンサからレーザ光を照射し測距データを取得する場合を想定する。この場合、図6(a)DB323は、レーザセンサ11によるデータ、図6(b)DB324は、レーザセンサ21によるデータである。
レーザセンサ11にて振れ角θ1<100°、t1=2秒の範囲で測距され、固有ID=0001として認識された物体Aは、図6(b)ではレーザセンサ21にて振れ角θ2<60°、t2=4秒の範囲で測距されると、固有ID−Noは「0001−001」、「0001−002」、「0002−001」として、測距される。
同様に、物体B(固有ID=0002)の測距データは、固有ID−No「0002−001」となる。
この固有ID−Noに紐ついた物体A、及び物体Bの測距データが図6(b)に記憶されることを意味する。
固有ID−No「0001−001」,「0001−002」、「0002−001」の記憶は、レーザセンサ11の分解能において粗い設定で測距され検知した物体Aは、レーザセンサ21で細かく測距され検知されることで、物体A(=物体a、物体bを含む)検知され、記憶されることを意味する。
駆動手段制御処理では、初期化処理の後に、駆動手段について、振り角θでの同一方向への振り動作を同期させることで、センサ高さhの位置設定とは、複数のレーザセンサからの測距データを1つの測距データとして重ね合わせ統合するに際し、測定領域を1枚の絵に描写にレーザセンサのキャリブレーションをすることであり、測定領域に対して各駆動手段に固定されたレーザセンサの位置を登録することを意味する。
さらに、物体が移動する場合でも、経時的な測距により一度でも物体の立体形状に関するデータを得ることができれば、固有IDを付与してDBに記憶するので、連続動作する物体に対して、固有IDを以て、正確に存在位置と先に取得した立体形状を表示することができる。
図10は、測定領域での駆動手段振り出し方向による検知条件の違いを示す。
本発明によれば、長方形の細長い測定領域を想定し、測定領域を縦方向に人が移動し、その測定領域に対して駆動手段によるレーザセンサの振り出す方向によって、特徴的な測定をすることが可能である。
例えば、図10(a)では、駆動手段の動作方向A1001(によりレーザセンサ)が振り出す全ての方向において、その始点から終点に至るまで、レーザセンサは経時的に測距することができるため、丸印に示す測定領域における人の移動した軌跡1003を途切れることなく検知することが可能となる。
本発明の実施に際しては、駆動手段によりレーザセンサを振り出す方向と振り出し角度、接続されたレーサセンサによるレーザ光の照射距離、及びその設置高を考慮することで、物体が移動するさまを測距し、物体の立体形状を表示できることが分かる。
測定領域に対する駆動手段の振り出し方向については2台のレーザセンサを用いることにより、測定領域を縦×横に駆動手段に固定したレーザセンサが測距することで、未検知となることを回避する実施例について説明する。
図11の例では、移動体Aは道路上の通行車両として、移動体Bは道路を横断する人を想定し、各移動体A1102、及び移動体B1103の動きは、各々レーザセンサを駆動手段に固定し、駆動手段の振り出し方向により、測定領域を縦×横にレーザセンサが測距する。
縦振り方向1106と横振り方向1107に交差した位置にて、駆動手段に固定したレーザセンサにて測距することで、2台のレーザセンサにて測定領域を漏れなく測距することができる。
321:測距データDB、322:立体形状データDB、323:三次元物体形状データDB、324:三次元物体形状データDB。
Claims (2)
- レーザセンサを用いて測定領域内に存在する物体を測定する物体測定システムであって、
レーザセンサを固定した駆動手段を所定の振れ角θの範囲をΔθの角度ずつ移動させながらレーザセンサからレーザ光を照射して測定領域内における該レーザ光の照射角Δθごとの物体の距離データを含む測距データを取得するデータ取得部と、
該データ取得部の測距データから物体を検知する物体検知部と、
検知された測距データから物体の三次元形状を表す三次元座標データを算出する三次元座標データ算出手段と、
該三次元座標データ算出手段によって算出された物体の三次元座標データと、該物体の該距離データと、該物体を検知した時の時間データとを関連つけて記憶する記憶手段と、
該物体検知部により検知された物体について該記憶手段を参照して、該物体のある三次元座標データに関連付けられた該距離データと該時間データと、該物体の他の三次元座標データに関連付けられた該距離データと該時間データを照合して同じ物体であるかを判断し、同じ物体の場合該物体の固有IDに対応つけて該物体の三次元座標データを該記憶手段に記憶し、該判断の結果同じ物体でない場合には新たな固有IDを該物体に付与して、該物体の三次元座標データを該記憶手段に記憶する処理を行う処理手段と、
該処理手段により処理された物体の三次元座標データから、該物体検知部で取得された物体の存在位置にて物体の立体形状を作成して表示する表示部と、
有することを特徴とする物体測定システム。 - レーザセンサを用いて測定領域内に存在する物体を測定する物体測定方法であって、
レーザセンサを固定した駆動手段を所定の振れ角θの範囲をΔθの角度ずつ移動させながらレーザセンサからレーザ光を照射して測定領域内における該レーザ光の照射角Δθごとの物体の距離データを含む測距データを取得するステップと、
該取得された測距データから物体を検知するステップと、
検知された測距データから物体の三次元形状を表す三次元座標データを算出するステップと、
該三次元座標データ算出ステップによって算出された物体の三次元座標データと、該物体の該距離データと、該物体を検知した時の時間データとを関連つけて記憶手段に記憶するステップと、
該物体検知ステップにより検知された物体について該記憶手段を参照して、該物体のある三次元座標データに関連付けられた該距離データと該時間データと、該物体の他の三次元座標データに関連付けられた該距離データと該時間データを照合して同じ物体であるかを判断し、同じ物体の場合該物体の固有IDに対応つけて該物体の三次元座標データを該記憶手段に記憶し、該判断の結果同じ物体でない場合には新たな固有IDを該物体に付与して、該物体の三次元座標データを該記憶手段に記憶する処理を行う処理ステップと、
該処理ステップにより処理された物体の三次元座標データから、該物体検知ステップで取得された物体の存在位置にて物体の立体形状を作成して表示部に表示するステップと、
を有することを特徴とする物体測定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258870A JP5462597B2 (ja) | 2009-11-12 | 2009-11-12 | 物体測定システム及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258870A JP5462597B2 (ja) | 2009-11-12 | 2009-11-12 | 物体測定システム及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011106820A JP2011106820A (ja) | 2011-06-02 |
JP5462597B2 true JP5462597B2 (ja) | 2014-04-02 |
Family
ID=44230477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009258870A Active JP5462597B2 (ja) | 2009-11-12 | 2009-11-12 | 物体測定システム及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5462597B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11441023B2 (en) | 2018-04-27 | 2022-09-13 | Exxonmobil Chemical Patents Inc. | Polyethylene films and methods of making the same |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6032163B2 (ja) | 2013-09-11 | 2016-11-24 | トヨタ自動車株式会社 | 三次元物体認識装置、三次元物体認識方法、及び移動体 |
CN115183743B (zh) * | 2022-06-28 | 2023-12-26 | 中国五冶集团有限公司 | 倾角传感器隧道变形监测系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1403817A4 (en) * | 2000-09-06 | 2007-06-06 | Hitachi Ltd | DETECTOR FOR ABNORMES BEHAVIOR |
JP2008139035A (ja) * | 2006-11-30 | 2008-06-19 | Yaskawa Electric Corp | 3次元環境計測装置及びそれを備えた移動ロボット |
JP5187878B2 (ja) * | 2007-01-31 | 2013-04-24 | 国立大学法人 東京大学 | 物体測定システム |
-
2009
- 2009-11-12 JP JP2009258870A patent/JP5462597B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11441023B2 (en) | 2018-04-27 | 2022-09-13 | Exxonmobil Chemical Patents Inc. | Polyethylene films and methods of making the same |
Also Published As
Publication number | Publication date |
---|---|
JP2011106820A (ja) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170255203A1 (en) | Method and apparatus for simultaneous localization and mapping of mobile robot environment | |
KR102142162B1 (ko) | 로봇 위치 선정 시스템 | |
CN109782015A (zh) | 激光测速方法、控制装置和激光测速仪 | |
CN109506641A (zh) | 移动机器人的位姿丢失检测与重定位系统及机器人 | |
CN106709937A (zh) | 一种扫地机器人的控制方法 | |
CN106415423A (zh) | 用于检测机器人清洁装置的测量误差的方法 | |
CN105496314A (zh) | 移动机器人区域清扫 | |
CN105813526A (zh) | 机器人清扫装置以及用于地标识别的方法 | |
KR101951573B1 (ko) | 평면들을 교차하여 장애물을 검출하는 장치 및 이러한 장치를 사용하는 검출 방법 | |
KR20100109257A (ko) | 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법 | |
JP5828905B2 (ja) | 歩行特性取得装置 | |
JP5763384B2 (ja) | 移動予測装置、ロボット制御装置、移動予測プログラムおよび移動予測方法 | |
JP5462597B2 (ja) | 物体測定システム及びその方法 | |
US11247705B2 (en) | Train wheel measurement process, and associated system | |
JP7095929B2 (ja) | 情報処理装置および移動ロボット | |
KR101048864B1 (ko) | 단일 광원과 평면 센서부를 이용하여 물체의 물리량을 측정하는 방법 및 이를 이용하는 가상 골프 시스템 | |
JP2009198382A (ja) | 環境地図取得装置 | |
JP2009008528A (ja) | 距離測定装置および走行体位置検出システム | |
KR20100070922A (ko) | 위치 인식을 위한 격자 지도 작성 장치 및 그 방법 | |
JP6031386B2 (ja) | 歩行計測システム | |
CN105929819B (zh) | 一种控制电子设备的方法及电子设备 | |
KR20200027069A (ko) | 로봇 청소기 및 그 로봇 청소기의 제어 방법 | |
KR101784584B1 (ko) | 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법 | |
NL2021702B1 (en) | Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase | |
WO2022080032A1 (ja) | キャリブレーション装置およびキャリブレーションの自動設定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121022 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130625 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130925 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5462597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |