JP5142826B2 - 物体の位置情報算出方法 - Google Patents

物体の位置情報算出方法 Download PDF

Info

Publication number
JP5142826B2
JP5142826B2 JP2008140596A JP2008140596A JP5142826B2 JP 5142826 B2 JP5142826 B2 JP 5142826B2 JP 2008140596 A JP2008140596 A JP 2008140596A JP 2008140596 A JP2008140596 A JP 2008140596A JP 5142826 B2 JP5142826 B2 JP 5142826B2
Authority
JP
Japan
Prior art keywords
information
grid
area
vehicle
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008140596A
Other languages
English (en)
Other versions
JP2009288055A (ja
Inventor
和則 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Transport Machinery Co Ltd
Original Assignee
IHI Transport Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Transport Machinery Co Ltd filed Critical IHI Transport Machinery Co Ltd
Priority to JP2008140596A priority Critical patent/JP5142826B2/ja
Publication of JP2009288055A publication Critical patent/JP2009288055A/ja
Application granted granted Critical
Publication of JP5142826B2 publication Critical patent/JP5142826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、物体の位置情報算出方法に関し、3次元レーザレーダで得た情報から物体の位置や長さ、幅、高さなどの物体プロファイルを算出して出力できるようにしたもので、特に乗り捨て式の駐車設備における車両の検出に用いて好適なものである。
ある領域内に物体が存在するか否かに加え、存在する物体の位置や大きさなどの物体プロファイルを知る必要がある場合のひとつに、乗り捨て式駐車施設における車両受け渡し領域における車両の検出があり、乗り捨てられた車両の停止位置やその車両の車長、車幅、車高などの車両プロファイルを知ることで、自動入出庫などに利用することができる。
このような物体の検知方法には、例えばテレビカメラを用いて物体を検知すべき領域を撮影し、得られた画像情報を処理することで、物体の存在を検知するものがあるが、カメラ画像は、一般に天候や気象の影響を受け易く、また夜間における検知がやり難い。
これに対し、最近のレーザレーダを用いることで、天候や気象の影響、さらに夜間の問題を解消することが提案されており、特許文献1では、踏み切り領域内に存在する移動物体や落下物などを監視する場合に、遮断機が降りているか否かをレーザレーダの情報の一部を利用して判定することで、簡易な構成で的確に監視できるようにしている。
特開2004−210045号公報
ところが、上記のレーザレーダを用いて監視する方法では、監視が必要となる遮断機が降りた状態でのみ監視するようにして不要な監視を行わないようできるものの、監視領域内に移動物体や落下物などが存在するか否か検出しており、物体の寸法などの物体プロファイルまでを検出できるものではない。
このため乗り捨て式駐車設備などのような車両の存在だけでなく、車両の移動や駐車スペースなどの判定に必要なその位置および車両の車長、車幅、車高などの車両フロファイルまでを知る必要がある場合には、そのまま適用することができないという問題がある。
この発明は、上記従来技術の有する事情に鑑みてなされたもので、物体の存在だけでなく、物体の位置および物体の寸法などの物体プロファイルまでを算出して出力することができる物体の位置情報算出方法を提供しようとするものである。
上記従来技術が有する課題を解決するため、この発明の請求項1記載の物体の位置情報算出方法は、3次元レーザレーダによる取得データから物体の位置およびプロファイル情報を算出するに際し、3次元レーザレーダにより検出される物体の距離情報および走査情報を記録するレーダ情報記録ステップと、このレーダ情報記録ステップで記録された距離情報および走査情報を物体の位置情報を用いる座標系の情報に座標変換する座標変換ステップと、この座標変換ステップで座標変換された座標変換物体検出情報から、物体を検出すべき領域の座標情報を設定する検出領域設定ステップと、この検出領域設定ステップにより設定された領域外を背景情報として前記座標変換物体検出情報から分離消去する背景情報分離ステップと、この背景情報分離ステップで背景情報が分離された背景分離物体検出情報を、物体の前記検出すべき領域を複数のグリッドに分割し各グリッドに存在する背景分離物体検出情報の個数をカウントするグリッド情報カウントステップと、このグリッド情報カウントステップでカウントした各グリッドのカウント数に対し、予め設定したカウント数より少ないカウント数のグリッドをノイズ情報グリッドと判定し消去するノイズ情報消去ステップと、ノイズ情報消去ステップで消去されたグリッド以外のグリッドを最小の長方形で囲む領域を求め、この長方形領域の4つの頂点の座標を物体の位置情報とするとともに、この領域内に存在する物体検出情報から物体の長さ、幅、高さの物体プロファイル情報を算出して出力する物体プロファイル出力ステップとからなることを特徴とするものである。
また、この発明の請求項2記載の物体の位置情報算出方法は、請求項1記載の構成に加え、前記検出物体が車両であり、前記物体を検出すべき領域が駐車設備の車両受け渡し領域であることを特徴とするものである。
この発明の請求項1記載の物体の位置情報算出方法によれば、3次元レーザレーダによる取得データから物体の位置およびプロファイル情報を算出するに際し、3次元レーザレーダにより検出される物体の距離情報および走査情報を記録するレーダ情報記録ステップと、このレーダ情報記録ステップで記録された距離情報および走査情報を物体の位置情報を用いる座標系の情報に座標変換する座標変換ステップと、この座標変換ステップで座標変換された座標変換物体検出情報から、物体を検出すべき領域の座標情報を設定する検出領域設定ステップと、この検出領域設定ステップにより設定された領域外を背景情報として前記座標変換物体検出情報から分離消去する背景情報分離ステップと、この背景情報分離ステップで背景情報が分離された背景分離物体検出情報を、物体の前記検出すべき領域を複数のグリッドに分割し各グリッドに存在する背景分離物体検出情報の個数をカウントするグリッド情報カウントステップと、このグリッド情報カウントステップでカウントした各グリッドのカウント数に対し、予め設定したカウント数より少ないカウント数のグリッドをノイズ情報グリッドと判定し消去するノイズ情報消去ステップと、ノイズ情報消去ステップで消去されたグリッド以外のグリッドを最小の長方形で囲む領域を求め、この長方形領域の4つの頂点の座標を物体の位置情報とするとともに、この領域内に存在する物体検出情報から物体の長さ、幅、高さの物体プロファイル情報を算出して出力する物体プロファイル出力ステップとからなるので、3次元レーザレーダに取り込まれた物体の距離情報および走査情報を座標変換することで、物体位置情報を使用する座標の情報に変換でき、変換された情報から検出すべき領域以外の情報を背景情報として分離消去するとともに、領域内の情報をグリッドに分割して各グリッド内のカウント数を用いる判定でノイズを除去して真の情報だけにすることができ、この真の情報からグリッドを囲む最小長方形の領域を物体とすることで、物体の位置情報や物体の長さ、幅、高さなどの物体プロファイルを算出して出力することができる。
これにより、3次元レーザレーダによる耐環境性能に優れた、信頼性の高い物体の位置情報および物体のプロファイルを得ることができるとともに、他のセンシングシステムへの適用も可能となる。
また、この発明の請求項2記載の物体の位置情報算出方法によれば、前記検出物体が車両であり、前記物体を検出すべき領域が駐車設備の車両受け渡し領域であるので、車両受け渡し領域での車両の位置情報および車両の車長、車幅、車高の車両プロファイルを算出して出力することができ、乗り捨て式駐車施設で信頼性の高い車両の情報を得て運転制御や運転管理などに利用することができる。
以下、この発明の物体の位置情報算出方法を実施するための最良の形態について駐車設備の車両受け渡し領域での車両の検出に適用した場合を例に図面を参照して詳細に説明する。
図1〜図3はこの発明の物体の位置情報算出方法の一実施の形態にかかり、図1は概略構成図、図2は車両の検出処理手順を説明するフロー図、図3は各処理過程における画像情報を説明した概略説明図である。
この物体の位置情報算出方法では、3次元レーザレーダにより取得されるデータを用いて物体の位置情報および物体の寸法などの物体プロファイルを算出して出力するものであり、例えば駐車設備の車両受け渡し領域に乗り捨てられた車両の位置情報とその車両の車長、車幅、車高の車両プロファイルを算出して出力することで、乗り捨て駐車設備における車両の移動や運転管理に用いられる。
この物体の位置情報算出方法では、3次元レーザレーダ10と3次元レーザレーダで取得される取得データを処理して物体(例えば車両)の位置情報および物体プロファイルを演算処理する処理装置として処理用パソコン20を備えて構成される。
3次元レーザレーダ10は、ケースに収容されてセンサユニットが構成され、駐車施設の建屋の壁面等の所定高さで設置され、車両の検出領域である車両の受け渡し領域を3次元で走査するように設置される。
この3次元レーザレーダ10は、例えば多面体ミラーで構成された回転体11を主走査モータで一定速度で回転駆動するとともに、この多面体ミラーで構成した回転体11に対してその回転軸を直交させて設けられて副走査モータで所定の角度範囲内で揺動駆動されるハーフミラー12を備えており、送信部13のレーザ光源から発せられたレーザパルス光を多面体ミラーで構成した回転体11に照射してハーフミラー12を介して検出領域に照射することで、レーザパルス光を多面体ミラー11の回転とハーフミラーの揺動とによって3次元で走査することができ、レーザパルス光の検出領域からの反射光をハーフミラーおよび多面体ミラー11を介して受信部14で受光検知するように構成されている。
このような3次元レーザレーダ10によれば、多面体ミラーで構成される回転体11の回転とハーフミラー12の揺動とによってレーザパルス光の照射方向を主走査方向(x方向)に高速に偏向走査しながら、その走査面を副走査方向(y方向)に偏向走査し、これによって所定の検出領域の全域を3次元で走査するようにしている。そして、検出領域に存在する車両(物体)からの反射光をレーザパルス光の照射に同期して受光し、その受光タイミング(レーザパルス光の照射タイミングからその反射光の受光タイミングまでの経過時間)から車両(物体である反射点)までの距離情報、主走査方向および副走査方向の走査角度、受信光量(反射光量)を取得するように構成されている。
なお、3次元レーザレーダ10による走査範囲は、例えば主走査(水平)方向に60度、副走査(垂直)方向に30度として設定され、その走査方向が0.1度変化する都度、レーザパルス光を照射し、その反射光を受光することで、合計[600×300]方位からの反射光の情報を順次検出するように構成される。
このような3次元レーザレーダ10により取得されたデータは処理用パソコン20に入力され、図1に示すように、レーザレーダ情報記録21、座標変換22、検出領域設定23、背景情報分離24、グリッド分割・情報カウント25、ノイズ情報グリッド消去26、グリッドの最小長方形領域判定27、物体の位置・プロファイル情報算出28の各処理が、次ぎのように行われて物体の位置情報である車両の位置情報と車長、車幅、車高の物体プロファイルである車両プロファイルが算出されて表示モニタ30に出力される。
1) 3次元レーザレーダ10では、例えば図3(a)にレーダ画像を示すように、3次元レーザレーダ10の設置位置を原点とする極座標に基づくデータが取得されて処理用パソコン20に出力され、計測距離(length)、スキャン軸角度(横方向角度:scan)、スイング軸角度(縦方向角度:swing)および受信光量が取得されてレーダ情報として記録される(レーダ情報記録ステップ)。
2) 座標変換ステップ
このレーダ情報記録ステップで記録された距離情報および走査情報などは、物体の位置情報を用いる座標系、すなわちこの実施形態では、駐車設備の車両受け渡し領域の座標の情報に座標変換する座標変換ステップが実行されて極座標から直交座標(X,Y,Z)に変換する。
この座標変換ステップでは、まず、原点をそのままに極座標(length、scan、swing)から直交座標(Xs、Ys、Zs)に数式1により変換する。
Figure 0005142826
3) 次に、原点を所定の位置に移動する変換を、数式2の関係式に基づいて行う。
直交座標(Xs、Ys、Zs)から原点を移動した直交座標(Xp、Yp、Zp)に変換する。
この場合の同時変換行列式の「t」は、数式3で表すことができるとともに、法線ベクトル(a,b,c)は数式4で表すことができ、これらの関係式を用いることで、座標変換することができる。
Figure 0005142826
Figure 0005142826
Figure 0005142826
このような座標変換により、例えば図3(b)に示す画像データが座標変換物体検出情報として求められる。この座標変換物体検出情報には、検出すべき車両の情報だけでなく、周囲の物体や床面などの背景情報が含まれている。
4) そこで、背景情報を分離消去する背景情報分離ステップが実行される。
この背景情報分離ステップでは、座標変換ステップで座標変換された座標変換物体検出情報から、物体を検出すべき領域の座標情報を設定する検出領域設定ステップが実行され、車両情報として必要とされるX,Y座標の矩形領域および高さ領域を設定する。例えば駐車施設の車両受け渡し領域としては、矩形領域のX軸上の範囲を1.0mから10m、Y軸上の範囲を−3.9mから3.0m、高さ領域をZ軸上の範囲を0.05mから2.5mと設定する。
そして、この検出領域設定ステップにより設定された領域外を背景情報として座標変換物体検出情報から分離消去する(背景情報分離ステップ)。
こうして背景情報分離ステップにより背景情報を分離除去した画像データは、例えば図3(c)に示すように、車両の周囲のデータが消去された状態となる。
4´) 次に、必要に応じて3次元レーザレーダ10からの取得データが少ない場合には、これまでの各ステップが繰り返され、取得データから座標変換を経て背景情報を分離消去する背景情報分離ステップまでを繰り返して背景分離物体検出情報としてのデータを蓄積する。
5) 次ぎに背景情報分離ステップで背景情報が分離された背景分離物体検出情報を、物体の検出すべき領域を複数のグリッドに分割し、各グリッドに存在する背景分離物体検出情報の個数をカウントするグリッド情報カウントステップを実行し、このグリッド情報カウントステップでカウントした各グリッドのカウント数に対し、予め設定したカウント数より少ないカウント数のグリッドをノイズ情報グリッドと判定して消去するノイズ情報消去ステップが実行される。
背景分離物体検出情報をX軸方向およびY軸方向それぞれX、Y等分して格子状に分割し、分割されたグリッドのデータ数をカウントすると、本来の車両の情報データが蓄積されたグリッドと、車両の情報が蓄積されていないグリッドとでデータ数が大きく異なり、これによってノイズ成分であるか否かを判定できる。
そこで、予めノイズ成分であるグリッドを判定するデータのカウント数を設定しておくことで、ノイズの判定を行い、ノズル成分を除去することで、例えば図3(d)に示す画像データを得ることができる。
6) こうしてノイズ情報消去ステップでノイズ成分のグリッドを除去した後、消去されたグリッド以外のデータ成分のグリッドを囲む最小の長方形の領域を求める。そして、この長方形領域の4つの頂点の座標を物体の位置情報とするとともに、この領域内に存在する物体検出情報から物体の長さ、幅、高さの物体プロファイル情報として算出する。
7) こうして得られた物体の位置情報および物体プロファイル情報を表示モニタ30などの表示装置に出力する(物体プロファイル出力ステップ)。
したがって、例えば車両の位置情報として、A1(X1,Y1)、A2(X1,Y2)、A3(X2,Y1)、A4(X2,Y2)の4点の座標および、車長L、車幅B、車高Hの各値が算出されて表示モニタ30などに出力されて表示される。
このような物体の位置情報算出方法によれば、3次元レーザレーダ10による取得データから物体である車両の位置情報と物体のプロファイルである車長、車幅、車高の車両プロファイルを算出して出力することができる。
これにより、検出物体を車両とし、物体を検出すべき領域を駐車設備の車両受け渡し領域とすることで、耐環境性能に優れた、信頼性の高い車両の検出を行なうことができる。
なお、この物体の位置情報算出方法は、上記実施の形態で説明した車両を検出対象とする場合に限らず、他の物体に適用してその検出および物体プロファイルの検出に広く利用することができる。
この発明の物体の位置情報算出方法の一実施の形態にかかる車両の検出に適用した概略構成図である。 この発明の物体の位置情報算出方法の一実施の形態にかかる車両の検出処理手順を説明するフロー図である。 この発明の物体の位置情報算出方法の一実施の形態にかかる車両の検出処理過程における画像情報を説明した概略説明図である。
符号の説明
10 3次元レーダレーダ
11 回転体(多面体ミラー)
12 ハーフミラー
13 送信部(レーザ光源)
14 受信部
20 処理用パソコン(処理装置)
21 レーザレーダ情報記録処理
22 座標変換処理
23 検出領域設定処理
24 背景情報分離処理
25 グリッド分割・情報カウント処理
26 ノイズ情報グリッド消去処理
27 グリッドの最小長方形領域判定処理
28 物体の位置・プロファイル情報算出処理
30 表示モニタ

Claims (2)

  1. 3次元レーザレーダによる取得データから物体の位置およびプロファイル情報を算出するに際し、
    3次元レーザレーダにより検出される物体の距離情報および走査情報を記録するレーダ情報記録ステップと、
    このレーダ情報記録ステップで記録された距離情報および走査情報を物体の位置情報を用いる座標系の情報に座標変換する座標変換ステップと、
    この座標変換ステップで座標変換された座標変換物体検出情報から、物体を検出すべき領域の座標情報を設定する検出領域設定ステップと、
    この検出領域設定ステップにより設定された領域外を背景情報として前記座標変換物体検出情報から分離消去する背景情報分離ステップと、
    この背景情報分離ステップで背景情報が分離された背景分離物体検出情報を、物体の前記検出すべき領域を複数のグリッドに分割し各グリッドに存在する背景分離物体検出情報の個数をカウントするグリッド情報カウントステップと、
    このグリッド情報カウントステップでカウントした各グリッドのカウント数に対し、予め設定したカウント数より少ないカウント数のグリッドをノイズ情報グリッドと判定し消去するノイズ情報消去ステップと、
    ノイズ情報消去ステップで消去されたグリッド以外のグリッドを最小の長方形で囲む領域を求め、この長方形領域の4つの頂点の座標を物体の位置情報とするとともに、この領域内に存在する物体検出情報から物体の長さ、幅、高さの物体プロファイル情報を算出して出力する物体プロファイル出力ステップとからなることを特徴とする物体の位置情報算出方法。
  2. 前記検出物体が車両であり、前記物体を検出すべき領域が駐車設備の車両受け渡し領域であることを特徴とする請求項1記載の物体の位置情報算出方法。
JP2008140596A 2008-05-29 2008-05-29 物体の位置情報算出方法 Active JP5142826B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008140596A JP5142826B2 (ja) 2008-05-29 2008-05-29 物体の位置情報算出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008140596A JP5142826B2 (ja) 2008-05-29 2008-05-29 物体の位置情報算出方法

Publications (2)

Publication Number Publication Date
JP2009288055A JP2009288055A (ja) 2009-12-10
JP5142826B2 true JP5142826B2 (ja) 2013-02-13

Family

ID=41457409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008140596A Active JP5142826B2 (ja) 2008-05-29 2008-05-29 物体の位置情報算出方法

Country Status (1)

Country Link
JP (1) JP5142826B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138292B1 (ko) 2010-05-18 2012-04-24 국방과학연구소 전방관측 3차원 영상 레이더 장치 및 그를 이용한 3차원 영상 획득방법
CN107923968A (zh) * 2015-08-31 2018-04-17 日本先锋公司 信息处理装置、控制方法、程序以及存储介质
US20190049582A1 (en) * 2016-02-12 2019-02-14 Pioneer Corporation Information processing device, control method, program and storage medium
JP6996179B2 (ja) * 2017-09-12 2022-02-04 株式会社Ihi 物体検知装置及び物体検知方法
JP7073673B2 (ja) * 2017-10-31 2022-05-24 株式会社Ihi 物体検知装置
CN109871659B (zh) * 2019-03-26 2023-04-18 北京经纬恒润科技股份有限公司 一种超声波雷达的仿真方法及系统
CN113514847A (zh) * 2020-04-10 2021-10-19 深圳市镭神智能系统有限公司 一种车辆外轮廓尺寸检测方法、系统及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3248318B2 (ja) * 1993-11-18 2002-01-21 オムロン株式会社 レーザ光を用いた車載用距離測定装置
JP3363763B2 (ja) * 1997-12-19 2003-01-08 日立造船株式会社 車種判別方法および装置
JP2001215274A (ja) * 2000-02-03 2001-08-10 Mitsubishi Electric Corp 車両周辺監視装置
JP2002352399A (ja) * 2001-05-23 2002-12-06 Mitsubishi Electric Corp 車両周辺監視装置
JP2004185363A (ja) * 2002-12-04 2004-07-02 Ishikawajima Harima Heavy Ind Co Ltd エリアセンサによる物体識別方法
JP2004224621A (ja) * 2003-01-22 2004-08-12 Toyota Motor Corp 改質器
JP2004280372A (ja) * 2003-03-14 2004-10-07 Natl Inst For Land & Infrastructure Management Mlit 移動体の検出方法
JP4069456B2 (ja) * 2005-01-26 2008-04-02 株式会社Ihi 人数検出装置及び方法

Also Published As

Publication number Publication date
JP2009288055A (ja) 2009-12-10

Similar Documents

Publication Publication Date Title
JP5142826B2 (ja) 物体の位置情報算出方法
CN106997049B (zh) 一种基于激光点云数据的检测障碍物的方法和装置
US20060115113A1 (en) Method for the recognition and tracking of objects
JP5145986B2 (ja) 物体検出装置及び測距方法
JP5303873B2 (ja) 車両形状計測方法と装置
CN110286389B (zh) 一种用于障碍物识别的栅格管理方法
CN107272021A (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US8224121B2 (en) System and method for assembling substantially distortion-free images
JP4691701B2 (ja) 人数検出装置及び方法
CN106781537B (zh) 一种车辆超速抓拍方法及系统
CN1940591A (zh) 使用传感器融合进行目标跟踪的系统和方法
US20160378115A1 (en) System and method for writing occupancy grid map of sensor centered coordinate system using laser scanner
JP6736931B2 (ja) 立体物検出方法及び立体物検出装置
US20220067973A1 (en) Camera calibration apparatus and operating method
CN113432533B (zh) 一种机器人定位方法、装置、机器人及存储介质
JP2007310574A (ja) 衝突危険性判定システム及び警告システム
CN110126821B (zh) 基于长距离超声波的路沿位置及角度检测方法及其系统
CN112020688A (zh) 使用深度评估进行自主机器人导航的装置、系统和方法
CN112997093A (zh) 用于确定关于车辆环境中的物体的信息的方法和处理单元
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
JP2006012178A (ja) 駐車車両検知方法及び駐車車両検知システム
CN112193208A (zh) 车辆传感器增强
CN113768419B (zh) 确定扫地机清扫方向的方法、装置及扫地机
CN113777622A (zh) 轨道障碍物辨识的方法及装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5142826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250