JP4528474B2 - 時間分解による写真測量式のホイール位置値の測定装置 - Google Patents

時間分解による写真測量式のホイール位置値の測定装置 Download PDF

Info

Publication number
JP4528474B2
JP4528474B2 JP2001515923A JP2001515923A JP4528474B2 JP 4528474 B2 JP4528474 B2 JP 4528474B2 JP 2001515923 A JP2001515923 A JP 2001515923A JP 2001515923 A JP2001515923 A JP 2001515923A JP 4528474 B2 JP4528474 B2 JP 4528474B2
Authority
JP
Japan
Prior art keywords
auxiliary structure
auxiliary
camera
vehicle
photogrammetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001515923A
Other languages
English (en)
Other versions
JP2003506699A (ja
Inventor
ツィーグラー マルクス
ヴィオラ ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of JP2003506699A publication Critical patent/JP2003506699A/ja
Application granted granted Critical
Publication of JP4528474B2 publication Critical patent/JP4528474B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/275Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing wheel alignment
    • G01B11/2755Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing wheel alignment using photoelectric detection means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10Wheel alignment
    • G01B2210/14One or more cameras or other optical devices capable of acquiring a two-dimensional image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10Wheel alignment
    • G01B2210/16Active or passive device attached to the chassis of a vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10Wheel alignment
    • G01B2210/20Vehicle in a state of translatory motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10Wheel alignment
    • G01B2210/30Reference markings, reflector, scale or other passive device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Transform (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

【0001】
本発明は、3次元的に時間分解により写真測量で対象物を検出するための方法および装置に関するものであって、特に、走行中の車両の3次元的なホイール位置を時間分解により写真測量で測定するための方法および装置に関する。
【0002】
ドイツ連邦共和国特許出願公開第19757760号明細書またはドイツ連邦共和国特許出願公開第19757763号明細書により自動車のホイールジオメトリ及び/又は軸線ジオメトリを光学的な測定装置によって測定するための装置が公知である。この光学的な測定装置は、検出したいホイールもしくは検出したい軸を少なくとも2つの異なる視点から撮影する画像撮影装置を備えている。公知の装置はさらに、測定装置とホイールとの間に取り付けられた、参照マークならびに付加的なホイールマークを支持する装置を有している。
【0003】
本発明の課題は、空間における対象物の場所と方向とを簡単に正確に時間分解によって測定できる装置および方法を提供することである。このような課題および以下で述べる課題は、請求項に記載された装置もしくは方法により解決される。
【0004】
本発明による装置もしくは本発明による方法は、測定したい対象物の位置を参照対象物の位置に相対的に測定し、この場合、測定したい対象物と参照対象物とに、任意の形状と寸法のマークによって印をつけることを特徴とする。本発明によれば、測定は所定の時点で、両対象物を、1つの画像を写す唯1つのカメラによって同時に撮影することにより行われる。この場合、カメラは測定したい対象物又は参照対象物とは一定の関係を有していなくてよい。この方法と装置とによれば、ステアリング角度と、キャンバ角度(Sturzwinkel)と、車両のバウンドストローク(Federweg)とを確実に高度な分析で測定できる。
【0005】
測定したい対象物または参照対象物の天然の表面テクスチュアをマークとして利用することができる。本発明の有利な構成では、測定したい対象物上に及び/又は参照対象物上に準備された写真測量のためのマークが使用される。
【0006】
本発明は、車両の運転中の3次元的なホイール位置の測定に関して説明されているが、本発明の根底を成す思想を、どの動力学的または静力学的な対象物の検出にも使用可能であることは当業者には自明のことである。
【0007】
図1a〜図1cに示したように、測定したいホイール1には第1の補助構造物2が取り付けられていて、この補助構造物2は測定中に車軸(図示せず)に対して定置に保たれる(例えばホイールハブに組み付けることにより)。第1の補助構造物2が軽量で形状安定的な材料から形成されていると特に有利である。この第1の補助構造物2は、写真測量のためのマーク3が使用される場合には、測定される数のこのようなマーク3が取り付けられる剛性的な支持体の機能を果たしている。マーク3は図1bでは白い点として示されている。この第1の補助構造物2は、図1bにも示されているように有利には半円形に形成されている。
【0008】
さらに、部分的に示された車両4の車体には、第2の補助構造物5が、測定中は車両4の車体に対して定置に保たれるように取り付けられている。第1の補助構造物2と同様に、有利には第2の補助構造物5も有利には軽量で形状安定的な材料から形成することができる。
【0009】
図1bの実施例では、第2の補助構造物5が、半円形の第1の補助構造物2を取り囲むような円弧状の形状を有している。第1と第2の補助構造体は、図示したように、ほぼ1つの同じ平面に配置することができるが、これらはずらされて配置されていてもよい。
【0010】
上述した構成により、有利にはホイールは走行運転中に自由に回転することができる。第2の補助構造物5も同様に、写真測定用のマーク3が使用される場合には、測定される数のこのようなマーク3の支持体として働く。
【0011】
補助構造物2,5は、どの走行状況においても、車両4の上側に取り付けられたカメラ6によってできるだけ全面的に撮影され得るように互いに位置決めされている。本発明の有利な構成では、カメラ6は車体にフレキシブルに懸吊される。出願人の試験によれば、512の解像度、512ピクセルを有した高速カメラにより特に良好な結果が得られることがわかった。図面には示していないストロボスコープ照明をこのカメラのために設けることができる。
【0012】
基本的にカメラ6は、両補助構造体2,5を同時に「見える」ように配置されていればよい。一定の基準は両補助構造体2,5に対して必要ではない。従って、カメラが車体のもしくは検出したい対象物の動きに従動することが保証されているならば、本願の図面に示したようにカメラを車体に固定することは必ずしも必要ではない。
【0013】
時間分解による写真測定式の検出の前に、ホイール1と車体とに取り付けられ、マーク3,3′が設けられた補助構造体2,5をまず始めに様々なカメラ位置から撮影し、例えば http://www.geodetic.com/Basics.htm に記載されているような標準的な方法でカメラ6の同時補正とマーク3,3′の位置決めが行われる。次いで、実際の時間分解的写真測定式検出が開始される。このためには1つのカメラ位置から撮影が行われればよい。
【0014】
カメラ6によって撮影された画像は、そのデータ量に適したメモリ媒体(図示せず)に記録され、測定終了後にオフラインで写真測量の標準的な方法(単一カメラシステム Einkamerasystem)によって評価される。適当な計算手段が使用されるならばオンラインの評価も考えられる。メモリ媒体は、このような形式の使用例では標準的なデータ量をメモリするために充分な容量を有していなければならない。記録された画像データの評価は特別なハードウェアまたは適したPCによって行われる。
【0015】
このような評価の際には、両対象物(ホイール1と車体)と両補助構造体2,5とを同時に撮影したそれぞれ1つの画像がいわゆるリセクション法(バンドル調整を行わない ohne Buendelausgleich)で処理される。この場合、このような方法の使用はそれぞれ別個に両補助構造体2,5のために行われる。それぞれマーク3,3´の点座標が測定され、それぞれカメラの(仮想の)位置が測定される。最後に、両対象物(算出後)の相対位置がわかる共通の座標系に変換される。
【0016】
出願人の研究により、上記のカメラ分析により適した結果が得られることがわかった。この場合、カメラと後置された評価電子機器とは、1秒に160測定まで行えた。従って必用に応じて、約200000までの個別測定が中断されない20分の時間のうちに行えた。
【0017】
本発明による方法では、測定中に事実上、両補助構造体2,5の互いの相対位置(場所と方向)をカメラ6と後置された評価装置とによって検出することができる。この場合、カメラ6が、補助構造体2,5のうちの一方に固定的に位置している必用はない。場合によって生じる振動はこの場合、問題ではない。
【0018】
両補助構造体2,5の出発位置が、例えば車両の前車軸の真ん中であるゼロ点における測定によりわかっているならば、車体に対する第2の補助構造体5の一定の関係が保証されているならば、測定の各時点におけるホイール位置は検出可能である。車体に対する参照基準は全ての測定装置において基本的な問題である。このような問題は本発明によれば特に有利に解決される。即ちこの場合、極めて僅かな重量と高い剛性(即ちできるだけ僅かな固有運動)を有した第2の補助構造体5が製造される。両補助構造体2,5のためには有利には、前述の要求を満たす炭素繊維強化されたプラスチック(CFK)が使用される。しかしながら同様の強度を有した別の材料を使用することもできる。
【0019】
図2aおよび図2bにより本発明の第2の実施例を説明する。第1の実施例とは異なり、第2の補助構造体5´は、1つの又は複数の平面で車体に取り付けられた多数の個別構成要素から形成されている。図2aでは個別構成要素のうち2つが1つの平面に配置されている。これらは第1の補助構造体2の平面にほぼ相当し、これに対し、他の2つの個別構成要素はホイールの周囲よりも上方に位置する1つの平面に位置している。
【0020】
第2の実施例により、本発明の特に有利な局面が得られる。即ち付加的に、個別構成要素の互いの位置(理想的には変化し得ない)を監視することができ、ひいては場合によっては生じる自励振動に関する情報が得られる。
【図面の簡単な説明】
【図1】 図1aには、3次元的に時間分解により写真測量で対象物を検出するための装置の第1実施例の側方図が、図1bには第1実施例の平面図が、図1cには図1aと図1bの装置の斜視図が示されている。
【図2】 図2aには3次元的に時間分解により写真測量で対象物を検出するための本発明による装置の第2実施例の側方図が、図2bには第2実施例の平面図が示されている。

Claims (12)

  1. 走行中の車両(4)の3次元的なホイール位置を時間分解により写真測量で測定するための装置であって、
    写真測量による検出のために適した形状安定的な2つの補助構造体(2,5,5´)と、
    1つのカメラ(6)とを有しており、
    この場合、第1の補助構造体(2)が、検出したい車両ホイール(1)に(1)に取り付けれており、
    第2の補助構造体(5,5´)が車両(4)の車体に取り付けられており、
    カメラ(6)が車両(4)の車体に取り付けられており、
    第1の補助構造体(2)は第2の補助構造体(5,5´)に対して可動であって、
    両補助構造体(2,5,5´)がカメラ(6)に対して可動であって、
    カメラ(6)が第1の補助構造体(2)と第2の補助構造体(5,5´)とに対して、これらの相対運動を、従ってホイール(1)の位置を、唯1つの視点から検出するように配置されていることを特徴とする、走行中の車両(4)の3次元的なホイール位置を時間分解により写真測量によって測定するための装置
  2. 第1の補助構造体(2)が半円形に形成されていて、第2の補助構造体(5)が、半円形の第1の補助構造体(2)を取り囲む円弧状の形状を有している、請求項記載の装置。
  3. 第1の補助構造体(2)が半円形に形成されていて、第2の補助構造体(5)が多数の個々の構成要素から形成されている、請求項記載の装置。
  4. 第1の補助構造体(2)が半円形に形成されていて、第2の補助構造体(5´)が複数のほぼ円形の個別の構成要素から形成されていて、これらの個別の構成要素は単数又は複数の平面で車体に取り付けることができる、請求項記載の装置。
  5. 第1の補助構造体(2)と第2の補助構造体(5,5´)とが、カメラ(6)のどんな位置からもできるだけ完全に撮影できるように互いに位置決めされている、請求項1からまでのいずれか1項記載の装置。
  6. 第1と第2の補助構造体(2,5,5´)が、炭素繊維強化プラスチックから形成されている、請求項1からまでのいずれか1項記載の装置。
  7. 第1と第2の補助構造体(2,5,5´)が、軽量で形状安定的な材料から形成されている、請求項1からまでのいずれか1項記載の装置。
  8. 第1と第2の補助構造体(2,5,5´)が、適当な数の写真測量のためのマーク(3,3´)を有して形成されている、請求項1からまでのいずれか1項記載の装置。
  9. カメラ(6)がフレキシブルに取り付けられている、請求項1からまでのいずれか1項記載の装置。
  10. 走行中の車両(4)の3次元的なホイール位置を時間分解により写真測量で測定するための方法であって、
    写真測量による検出のために適した形状安定的な2つの補助構造体(2,5,5´)と、1つのカメラ(6)とを準備し、
    この場合、第1の補助構造体(2)を、検出したい車両ホイール(1)に取り付け、
    第2の補助構造体(5,5´)を車両(4)の車体に取り付け、
    カメラ(6)を車両(4)の車体に取り付け、
    第2の構造体(5)を次のように配置し、即ち、
    両補助構造体(2,5,5´)が唯1つの視点から検出可能であって、
    第1の補助構造体(2)が第2の補助構造体(5,5´)に対して可動であって、
    両補助構造体(2,5,5´)がカメラ(6)に対して可動であるように配置し、
    カメラ(6)に起因する誤差を補正し、
    第1と第2の補助構造体(2,5,5´)の出発位置に基づきホイール(1)の相対位置を唯1つの視点から検出することを特徴とする、走行中の車両(4)の3次元的なホイール位置を時間分解により写真測量で測定するための方法
  11. 検出を、第2の補助構造体(5,5´)に対してほぼ定置に取り付けられたカメラ(6)によって唯1つの視点から行う、請求項10記載の方法。
  12. 第2の補助構造体(5´)が、複数の個別の構成要素から形成されていて、これらの構成要素が単数又は複数の平面で車両(4)の車体に取り付け可能であって、場合によっては生じる自励振動の情報を得るためにこれらの個別の構成要素の位置を相対的に監視する、請求項10又は11記載の方法。
JP2001515923A 1999-08-05 2000-08-01 時間分解による写真測量式のホイール位置値の測定装置 Expired - Fee Related JP4528474B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19937035A DE19937035B4 (de) 1999-08-05 1999-08-05 Vorrichtung und Verfahren zur dreidimensionalen zeitaufgelösten photogrammetrischen Erfassung eines Objekts
DE19937035.4 1999-08-05
PCT/DE2000/002539 WO2001011313A1 (de) 1999-08-05 2000-08-01 Zeitaufgelöste photogrammetrische messung von radstellungswerten

Publications (2)

Publication Number Publication Date
JP2003506699A JP2003506699A (ja) 2003-02-18
JP4528474B2 true JP4528474B2 (ja) 2010-08-18

Family

ID=7917367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001515923A Expired - Fee Related JP4528474B2 (ja) 1999-08-05 2000-08-01 時間分解による写真測量式のホイール位置値の測定装置

Country Status (8)

Country Link
US (1) US7236240B1 (ja)
EP (1) EP1206677B1 (ja)
JP (1) JP4528474B2 (ja)
AT (1) ATE289677T1 (ja)
CA (1) CA2381181C (ja)
DE (2) DE19937035B4 (ja)
ES (1) ES2235942T3 (ja)
WO (1) WO2001011313A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1014606A3 (nl) 2002-02-05 2004-01-13 Krypton Electronic Eng Nv Werkwijze voor het dynamisch meten van de positie en orientatie van een wiel.
DE10259954A1 (de) * 2002-12-20 2004-07-01 Robert Bosch Gmbh Vorrichtung zur Bestimmung der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
JP5387202B2 (ja) * 2009-07-23 2014-01-15 横浜ゴム株式会社 タイヤ解析システムおよびタイヤ解析方法
DE102010016205B4 (de) * 2010-03-30 2012-01-12 Dürr Assembly Products GmbH Vorrichtung und Verfahren zum Vermessen von Fahrzeugen mit einer Anhängerkupplung
JP6004754B2 (ja) * 2011-06-27 2016-10-12 新明和工業株式会社 貨物自動車寸法測定装置、及び貨物自動車寸法測定方法
CN105580359B (zh) * 2013-09-27 2018-10-19 日产自动车株式会社 预测前进道路提示装置以及预测前进道路提示方法
EP3425328B1 (en) * 2017-07-07 2021-10-06 Car-O-Liner Group AB A method for determining spindle angles
DE102019131863A1 (de) * 2019-11-25 2021-05-27 Dürr Assembly Products GmbH Verwendung einer Vorrichtung zur photogrammetrischen Vermessung von Objekten zur Bestimmung von Position und/oder Orientierung von Teilen eines Fahrzeugs

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3144593B2 (ja) * 1992-04-30 2001-03-12 株式会社応用計測研究所 汎用角度・位置計測装置
JPH06344942A (ja) * 1993-06-02 1994-12-20 Nissan Motor Co Ltd ホイールアライメント計測方法およびその装置
JPH0772930A (ja) * 1993-09-07 1995-03-17 Fujitsu Ltd 位置決め装置
JPH08285526A (ja) * 1995-04-19 1996-11-01 Fanuc Ltd 画像認識方式
US5600435A (en) * 1995-05-24 1997-02-04 Fori Automation, Inc. Intelligent sensor method and apparatus for an optical wheel alignment machine
US5675515A (en) * 1995-12-28 1997-10-07 Hunter Engineering Company Apparatus and method for determining vehicle wheel alignment measurements from three dimensional wheel positions and orientations
DE19618434C1 (de) * 1996-05-08 1997-11-20 Briese Hans Werner Reflektor
SE512165C2 (sv) * 1997-05-22 2000-02-07 Jonas Samuelsson Förfarande jämte anordning för mätning av fordons hjulvinklar
DE19757760A1 (de) * 1997-12-23 1999-07-01 Bosch Gmbh Robert Vorrichtung zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
DE19757763A1 (de) * 1997-12-23 1999-07-01 Bosch Gmbh Robert Vorrichtung zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
US6134792A (en) * 1998-11-19 2000-10-24 Hunter Engineering Company Method and apparatus for determining wheel alignment optical target orientation parameters

Also Published As

Publication number Publication date
DE19937035A1 (de) 2001-03-15
DE50009597D1 (de) 2005-03-31
ES2235942T3 (es) 2005-07-16
ATE289677T1 (de) 2005-03-15
EP1206677A1 (de) 2002-05-22
CA2381181A1 (en) 2001-02-15
DE19937035B4 (de) 2004-09-16
JP2003506699A (ja) 2003-02-18
EP1206677B1 (de) 2005-02-23
WO2001011313A1 (de) 2001-02-15
CA2381181C (en) 2008-10-14
US7236240B1 (en) 2007-06-26

Similar Documents

Publication Publication Date Title
JP4559681B2 (ja) 自動車のホイールジオメトリ及び/又は軸線ジオメトリを規定する装置
CN101363717B (zh) 用于在物体表面上进行非接触坐标测量的方法和勘测系统
US8497901B2 (en) Method and device for exact measurement of objects
US7908751B2 (en) Method for optical chassis measurement
CN110319792B (zh) 一种轨道直线度检测系统及方法
US7500319B2 (en) Measurement probe for use in coordinate measuring machines
CN215217505U (zh) 具有姿态相机的激光跟踪仪
US6397164B1 (en) Device for determining the wheel and/or axle geometry of motor vehicles
JP4567268B2 (ja) 試験台上で車両の動的挙動を測定する方法
US8522609B2 (en) Method and device for wheel suspension alignment
US8578765B2 (en) Method for wheel suspension measurement and a device for measuring the wheel suspension geometry of a vehicle
US9841274B2 (en) Device for determining the location of mechanical elements
JPH08510835A (ja) 幾何学的配列の測定方法及び装置
EP0919830A3 (en) Tracking system
JP4528474B2 (ja) 時間分解による写真測量式のホイール位置値の測定装置
JP2010048816A (ja) ホイールの位置および方向を動的に測定する方法
JP2009300441A (ja) センサの位置を決定するための方法及び装置
CN103398656B (zh) 用于在物体表面上进行非接触坐标测量的方法和勘测系统
EP2138803A1 (en) Jig for measuring an object shape and method for measuring a three-dimensional shape
CN1007179B (zh) 从至少一组立体象对中提取三维定量信息的设备
JPH0854234A (ja) 三次元座標位置計測方法
JPS626252B2 (ja)
CN109242956B (zh) 3d人体扫描数字建模车
JPH05164525A (ja) レーザ式座標測定装置の測定ヘッド
CN113834446B (zh) 一种条纹投影图像的采集装置及采集方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees