JP4229486B2 - 画像測距装置 - Google Patents

画像測距装置 Download PDF

Info

Publication number
JP4229486B2
JP4229486B2 JP12324998A JP12324998A JP4229486B2 JP 4229486 B2 JP4229486 B2 JP 4229486B2 JP 12324998 A JP12324998 A JP 12324998A JP 12324998 A JP12324998 A JP 12324998A JP 4229486 B2 JP4229486 B2 JP 4229486B2
Authority
JP
Japan
Prior art keywords
distance
height
range
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12324998A
Other languages
English (en)
Other versions
JPH11316122A (ja
Inventor
寿教 安木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP12324998A priority Critical patent/JP4229486B2/ja
Publication of JPH11316122A publication Critical patent/JPH11316122A/ja
Application granted granted Critical
Publication of JP4229486B2 publication Critical patent/JP4229486B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は三角測量により前方車両との距離を測定する画像測距装置に関し、特に、車両の振動、他の物体から頻繁に入射する反射光、ピクセルの濃度検出のバラツキに起因して測定される距離のバラツキを小さくする装置に関する。
【0002】
【従来の技術】
上記画像測距装置には一定間隔に配置された2つのCCD(電荷結合素子)カメラが用いられ、前方車両との距離は三角測量の原理(ステレオ法)を用いることにより測定される。これらの2つのCCDカメラには前方車両の後方からの太陽光の反射波が入力され、前方車両において測定されるべき標点は2つのカメラの観測面上の各像の観測点として検出される。これらの双方の観測点の座標から標点までの距離が求められる。
【0003】
なお、車両が乗用車の場合には、その後方から見た形状は、最後部のナンバプレートの付近ではほぼ垂直部分となっており、この垂直部分から前方に向かって平坦になってリアウインドで匂配が急になっているものが多い。車両がトラックの場合には、最後部の荷台の囲い板に垂直部分があり、この垂直部分から前方に向かって平坦で運転室で垂直部分となっている。
【0004】
車両が走行する道路には、種々の表示が描かれており、さらに、道路の歪みの模様等がある。これらの表示、模様等が画像測距装置により、車両の画像と誤判断され標点に対応する観測点が設定されると、正しい距離が得られない。このため、道路から一定の高さ以上に位置するように標点に対応する観測点が画像上に設定されている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記画像測距装置では、2つのCCDカメラの製造時のバラツキがあるため、同一の標点に対して測定される距離にバラツキが発生するという問題がある。
上記画像測距装置では、さらに、2つのCCDカメラのうち一方にだけ車両以外の他の物体から反射される光が一時的に入力される場合がある。これにより、この一方のCCDカメラの観測面上の観測点が一時的にずれこれに伴って前方車両との距離にずれが発生する。他の物体からの反射光の入力の頻度が高いと、前方車両との距離にバラツキが発生するという問題がある。
【0006】
さらに、道路には凹凸があり、車両にはこの道路の凹凸に起因して上下方向に振動が発生する。画像測距装置を搭載している自車と距離が測定される前方車両との振動は異なっている。したがって、振動に伴って、2つのCCDカメラの観測面上で前方車両の後方の画像も上下に振動する。
このため、画像データを取り込む毎に、画像上の観測点を決定しなければならない。車両は進行方向に一定の長さを有しており、例えば、車両が乗用車の場合には、観測点が最後部のナンバプレートの垂直部分に設定されたり、後方のリアウインドウに設定されると、設定位置により、前方車両の距離測定におおよそ1mのバラツキが発生する。車両がトラックの場合には、観測点が最後部の垂直部分に設定されてたり、運転室に設定されると、設定位置により、数mのバラツキが発生する。
【0007】
したがって、本発明は、上記問題点に鑑みて、製造上バラツキ、車両の振動、他の物体からの反射光に起因して測定される距離のバラツキが小さくなる画像測距装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、道路を走行する前方車両の距離を測定する画像測距装置において、三角測量により前方車両との距離を測定するために前方車両の画像を入力する2つのカメラと、取得した前記前方車両の画像の各々に検索領域を設定し、該検索領域内で認識された該前方車両の垂直部分において、該前方車両の標点に対応する観測点を同定する観測検索部と、前記前方車両の画像における前記観測点の座標値に基づいて該前方車両の標点までの距離、道路から標点の高さを求める距離・高さ算出部と、前記距離・高さ算出部により得られた同一の前方車両の標点の高さが前記垂直部分に係る高さ方向の第1範囲にあれば、その時の距離を最終的な距離とし、該標点の高さが第1範囲になければ第1範囲になるまで新たな標点の設定を繰り返す高さ判断部とを、備えた
【0009】
前記高さ判断部が、前記距離・高さ算出部により得られた前記標点の高さが前記第1範囲にあると判断した場合に、前記観測検索部は、前記検索領域内で認識された前記垂直部分において前記標点に関連して水平方向に複数の標点を設定し、該複数の標点に対応する複数の観測点を求め、前記距離・高さ算出部は、前記複数の観測点に基づいて前記複数の標点までの距離及び道路から該複数の標点の各々までの高さを求め、前記高さ判断部は、求めた前記複数の標点の高さのうち最高値を示した前記観測点に対応して得られた前記距離を前記前方車両の標点までの距離とする。
前記高さ判断部は時系列的に第1範囲にある前記標点高さを複数記憶し、複数の前記標点の高さの基準値を求め、該基準値に最も近い標点の高さに対応した前記観測点に対する距離を前記前方車両の標点までの距離とする。
【0010】
この手段により、製造上のバラツキ、車両の振動、他の物体からの反射光に起因して測定される距離のバラツキが小さくなる。
【0011】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
図1は本発明に係る画像測距装置が搭載された車両と前方車両との関係を説明する図である。本図(a)、(b)に示すように、車両の前方には画像測距装置1が搭載され、画像測距装置1は、例えば、前方の乗用車又はトラックの後方から反射される光を入力する。
【0012】
図2は図1の画像測距装置の概略例を説明する図である。本図に示す如く、画像測距装置において、2つのCCDカメラ11、12は、車両の前方に一定間隔dで一定の高さHに配置される。
前方車両認識部13、14は、各CCDカメラ11、12により得られた画像から前方車両の画像を認識する。CCDカメラ11、12により得られた画像のエッジの特徴に対して、時系列平滑化が行われて、画面面上での変化の大きな物体の映像をぼかし画面上での変化の少ない部分を抽出する処理が行われる。このようにして、前方車両の認識を行って、標点に対する双方の観測点を検索する範囲を、後述するように、限定して処理を簡単化する。
【0013】
観測検索部15は、前方車両認識部13、14により認識された前方車両の画像に対して設けられた検索領域内において、CCDカメラ11、12の観測面のある大きさの範囲の画素の濃度値が相互に一致する範囲を、後述するように、検索して、一致する場合に、一致する範囲の中心座標を標点に対応する双方の観測点とする。
【0014】
距離算出部16は、観測検索部15で得られた観測点の座標(x,z)により、標点までの距離Lを、後述するように、求める。
高さ算出部17は、観測検索部15で得られた観測点の座標(x,z)と距離算出部16で得られる標点までの距離とに基づいて標点の高さhを、後述するように、求める。
【0015】
高さ判断部18は、高さhが、以下に示すように、一定の範囲にあるかを判断する。
0 ≦h≦h1
標点の高さがこの範囲になければ、観測点検索部15により観測点をz方向に設定し直して、距離算出部16を経由して、高さ算出部17で高さを求める。上記式を満足するまで、上記処理が繰り返される。
【0016】
上記式を満足すれば、距離算出部16により得られた最終的な距離が出力される。
図3は前方車両認識部13、14により認識された前方車両の検索範囲例を説明する図である。本図に示すように、画像測距装置を搭載する車両の白線内に前方車両が認識される。前方車両の後方にはエッジが数多く集まって現れるので、エッジの分布状態から前方車両と認識される。このエッジの集まりを囲むように、検索領域が設定される。
【0017】
図4は観測検索部15により標点に対する双方の観測点の検索を説明する例を示す図である。本図(1)の(a)、(b)に示す如く、CCDカメラ11、12の各検索領域に、濃度値検索範囲A、Bが設定される。
本図(2)の(a)、(b)に示す如く、各濃度値検索範囲A、Bは、例えば、大きさ8×8ピクセルの範囲であり、一方のある濃度値検索範囲Aを固定して各ピクセルの濃度、A11、A12、…A88に対して、他方の濃度値検索範囲Bのピクセルの濃度、B11、B12、…B88とする。双方の濃度値検索範囲の濃度値について、下記式によりΔを求め、
Δ=|A11−B11|+|A12−B12|+…+|A88−B88
他方の濃度値検索範囲Bを逐次変えて、Δが最小になる場合に、双方の濃度検索範囲の位置が標点に対する双方の観測点の位置AP 、BP として求められる。このΔには2つのCCDカメラ11、12の製造上バラツキが含まれる。すなわち、CCDカメラ11、12でのピクセルの濃度検出のバラツキが含まれている。
【0018】
図5は距離算出部16、高さ算出部17における距離算出処理例、高さ算出処理例を説明する図である。本図に示す如く、CCDカメラ11、12の凸レンズa、bが距離d離れ各軸が平行になるように配置されている。凸レンズa、bの軸に垂直に且つ凸レンズa、bの後方に焦点距離fだけ離れた位置に観測面が設けられる。凸レンズa、bを結ぶ直線をx軸として、凸レンズaの軸線をy軸として、xy面に垂直な軸をz軸とする。凸レンズaの座標は(0,0,H)であり、凸レンズbの座標は(d,0,H)であり、標点Pの座標は(x,y,h)とし、標点Pに対する観測点AP の座標は(−xa ,−f,H+zc )、標点Pに対する観測点BP の座標は(d+xb ,−f,H+zc )とする。なお、yは前方車両までの距離(L)を表す。標点Pの座標は(x,y,h)は以下のようになる。
【0019】
x=xa ・d/(xa −xb
y=xa ・f/(xa −xb
h=H−直線ap・sinβ
ゆえに、
h=H−{(x2 +y2 )/(1−sin2 α)}1/2
sinα=zc /(zc 2 +f2 1/2
図6は高さ判断部18により判断処理例を説明する図である。本図に示すように、標点Pの高さhが車両の後方の垂直部分の範囲に限定するように、その高さhの上限h1 と下限h0 とが設けられる。このhの範囲は、車両の下部に対して、好ましくは、例えば、上限h1 =50cm、下限h0 30cmであるように、設定される。
【0020】
さらに、このhの範囲は、車両の上部に対して、好ましくは、例えば、上限h1 =130cm、下限h0 110cmであるように、設定されてもよい。
このようにして、測定期間中には標点の高さが前方車両における最後部の垂直部分の範囲に固定され、乗用車の場合には前方車両のリアウインドウ、又はトラックの場合には運転室に固定される。このため、従来技術で述べたように前方車両における標点が前方車両の長さ方向において異なる位置に設定されることにより、例えば、乗用車の場合に最後部の垂直部分からリアウインドウへ、この逆に標点が頻繁に移動することにより前方車両までの距離のバラツキ(ΔL)が大きくなるのを防止することが可能になる。
【0021】
図6に示す如く、標点の高さが
0 ≦h≦h1
にあり、水平方向の一定間隔にある複数の標点P1 、P2 …P6 を設定する。すなわち観測点の位置AP1、AP2、…AP3を一定高さ、水平方向に一定間隔に設定して観測点の位置BP1、BP2、…BP6を検索すると、ピクセル濃度検出のバラツキに起因してBP1、BP2、…BP6はAP1、AP2、…AP6一義的に決まらず位置のバラツキが発生する。このようにして設定される複数の標高P1 、P2 …P6 に対する高さについてはピクセル濃度検出に関するCCDカメラの製造上のバラツキに応じてバラツキが発生する。
【0022】
図7、図8はCCDカメラの製造上のバラツキを抑制するために標点の高さの処理例を説明する図である。図7(a)に示す如く、高さ算出部17では、複数の標点P1 、P2 …P6 に対して、それらの高さが求めれるが、その中で標点の高さhが最も大きなものに対して最終的な距離と決定する。
このようにすることにより、ピクセルの場所的に統計的な処理を行うことになるので、2つのCCDカメラのピクセルの濃度値を検出する製造上のバラツキがあっても、バラツキを小さくすることが可能になる。
【0023】
図7(b)に示す如く、高さ算出部17では、複数のP1 、P2 …P6 に対して得られる複数の高さの平均値に対して最終的な距離と決定してもよい。前述のように、統計的な処理を行うことになるので、2つのCCDカメラのピクセルの濃度値を検出するバラツキがあっても、バラツキを小さくすることが可能になる。
【0024】
図7(a)の変形例であり、図8(c)に示す如く、高さ算出部17では、基準値に対して、一定の範囲にある標点の高さの最高値に対して最終的な距離と決定してもよい。換言すれば、本例の最高値は、測定された最高値、最低値を除いて決定される。なお、上記基準値は、測定された全標点の高さの平均値であってもよい。また、上記基準値は、中央値であってもよい。上記一定の範囲は標準偏差であってもよい。
【0025】
図7(b)の変形例であり、図8(d)に示す如く、高さ算出部17では、基準値に対して、一定の範囲にある標点の高さの平均値として最終的な距離と決定してもよい。換言すれば、本例の平均値は、測定された最高値、最低値を除いて決定される。なお、上記基準値は、測定された全標点の高さの平均値であってもよい。また、上記基準値は、中央値であってもよい。上記一定の範囲は標準偏差であってもよい。
【0026】
図9は前方車両以外の他の物体からの反射光によるバラツキを抑制するために標点の高さの処理例を示す図である。本図に示す如く、高さ算出部17では、例えば、時系列的t1 、t2 、…t6 に求めた標点Pの高さを記憶し、これらの高さから、所定の方法により、基準値を求め、その基準値に最も近い高さを持つ高さに対して最終的な距離を決定する。他の物体からの反射光が有ったり無かったりして2つのCCDカメラのピクセルの濃度値にバラツキがあっても、時系列的に統計的な処理を行うことになるので、バラツキを小さくすることが可能になる。
【0027】
上記基準値は上記所定方法として時系列により得られた標点Pの高さを移動平均により求めてもよい。
さらに、ある標点Pの高さの基準値から一定範囲内にある高さ位置を持つものの、例えば、最高値に対して、最終的な距離を求めてもよい。
さらに、ある標点Pの高さの基準値から一定範囲内にある高さ位置を持つものの、例えば、平均値に対して、最終的な距離求めてもよい。
【0028】
【発明の効果】
以上の説明により本発明によれば、CCDカメラの製造上のバラツキ、車両の振動、他の物体からの反射光に起因して測定される距離のバラツキが小さくなる。
【図面の簡単な説明】
【図1】本発明に係る画像測距装置が搭載された車両と前方車両との関係を説明する図である。
【図2】図1の画像測距装置の概略例を説明する図である。
【図3】前方車両認識部13、14により認識された前方車両の検索範囲例を説明する図である。
【図4】観測検索部15により標点に対する双方の観測点の検索を説明する例を示す図である。
【図5】距離算出部16、高さ算出部17における距離算出処理例、高さ算出処理例を説明する図である。
【図6】高さ判断部18により判断処理例を説明する図である。
【図7】CCDカメラの製造上のバラツキを抑制するために標点の高さの処理例を説明する図である。
【図8】CCDカメラの製造上のバラツキを抑制するために標点の高さの処理例を説明する図である。
【図9】前方車両以外の他の物体からの反射光によるバラツキを抑制するために標点の高さの処理例を示す図である。
【符号の説明】
11、12…カメラ
13、14…前方車両認識部
15…観測点検索部
16…距離算出部
17…高さ算出部
18…高さ判断部

Claims (10)

  1. 道路を走行する前方車両の距離を測定する画像測距装置において、
    三角測量により前方車両との距離を測定するために前方車両の画像を入力する2つのカメラと、
    取得した前記前方車両の画像の各々に検索領域を設定し、該検索領域内で認識された該前方車両の垂直部分において、該前方車両の標点に対応する観測点を同定する観測検索部と、
    前記前方車両の画像における前記観測点の座標値に基づいて該前方車両の標点までの距離、道路から標点の高さを求める距離・高さ算出部と、
    前記距離・高さ算出部により得られた同一の前方車両の標点の高さが前記垂直部分に係る高さ方向の第1範囲にあれば、その時の距離を最終的な距離とし、該標点の高さが第1範囲になければ第1範囲になるまで新たな標点の設定を繰り返す高さ判断部とを有することを特徴とする画像測距装置。
  2. 前記高さ判断部が、前記距離・高さ算出部により得られた前記標点の高さが前記第1範囲にあると判断した場合に、前記観測検索部は、前記検索領域内で認識された前記垂直部分において前記標点に関連して水平方向に複数の標点を設定し、該複数の標点に対応する複数の観測点を求め、
    前記距離・高さ算出部は、前記複数の観測点に基づいて前記複数の標点までの距離及び道路から該複数の標点の各々までの高さを求め、
    前記高さ判断部は、求めた前記複数の標点の高さのうち最高値を示した前記観測点に対応して得られた前記距離を前記前方車両の標点までの距離とすることを特徴とする請求項1に記載の画像測距装置。
  3. 前記高さ判断部は、前記複数の標点の高さから求められた平均値を基準値とし、該基準値から前記第1範囲より狭い第2範囲を設定し、該第2範囲内にある複数の標点の高さのうち最高値を示した前記観測点に対応して得られた前記距離を前記前方車両の標点までの距離とすることを特徴とする請求項2に記載の画像測距装置。
  4. 前記高さ判断部は、前記第1範囲の中央値を前記基準値とすることを特徴とする、請求項に記載の画像測距装置。
  5. 前記第2範囲は複数の前記標点の高さの標準偏差とすることを特徴とする、請求項に記載の画像測距装置。
  6. 前記第1範囲は前方車両の上部から認識された垂直部分の範囲及び前方車両の下部から認識された垂直部分の範囲のいずれかとすることを特徴とする、請求項1に記載の画像測距装置。
  7. 前記高さ判断部は時系列的に第1範囲にある前記標点高さを複数記憶し、複数の前記標点の高さの基準値を求め、該基準値に最も近い標点の高さに対応した前記観測点に対する距離を前記前方車両の標点までの距離とすることを特徴とする、請求項1に記載の画像測距装置。
  8. 前記高さ判断部は前記基準値を時系列的な複数の前記標点の高さの平均値とすることを特徴とする、請求項に記載の画像測距装置。
  9. 前記高さ判断部は前記基準値から前記第1範囲を狭めた第2範囲にある標点の高さのうち最高値の標点の高さに対する距離を最終的な距離とすることを特徴とする、請求項に記載の画像測距装置。
  10. 前記高さ判断部は前記基準値から前記第1範囲を狭めた第2範囲にある標点の高さの平均値に対する距離を最終的な距離とすることを特徴とする、請求項に記載の画像測距装置。
JP12324998A 1998-05-06 1998-05-06 画像測距装置 Expired - Fee Related JP4229486B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12324998A JP4229486B2 (ja) 1998-05-06 1998-05-06 画像測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12324998A JP4229486B2 (ja) 1998-05-06 1998-05-06 画像測距装置

Publications (2)

Publication Number Publication Date
JPH11316122A JPH11316122A (ja) 1999-11-16
JP4229486B2 true JP4229486B2 (ja) 2009-02-25

Family

ID=14855906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12324998A Expired - Fee Related JP4229486B2 (ja) 1998-05-06 1998-05-06 画像測距装置

Country Status (1)

Country Link
JP (1) JP4229486B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288128A (ja) * 2008-05-30 2009-12-10 Mitsubishi Electric Corp レーダー装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0845000A (ja) * 1994-07-28 1996-02-16 Fuji Heavy Ind Ltd 車間距離制御装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3827368B2 (ja) * 1996-08-01 2006-09-27 富士通テン株式会社 複眼カメラによる車間距離計測装置
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置

Also Published As

Publication number Publication date
JPH11316122A (ja) 1999-11-16

Similar Documents

Publication Publication Date Title
US7242817B2 (en) System and method for detecting obstacle
US6477260B1 (en) Position measuring apparatus using a pair of electronic cameras
JP3895238B2 (ja) 障害物検出装置及びその方法
JP3986360B2 (ja) カメラ校正装置
JP3562751B2 (ja) 前方車両検出方法及び装置
CN103523013A (zh) 车道偏离警报装置
JP3961584B2 (ja) 区画線検出装置
JP3099691B2 (ja) 走行路における対象物位置計測方法
JP3384278B2 (ja) 距離計測装置
JP7074571B2 (ja) 対象位置計測装置及び対象位置計測プログラム
JP3807651B2 (ja) 白線認識装置
JP2798349B2 (ja) 車両位置検出装置
JP4229486B2 (ja) 画像測距装置
JP3114544B2 (ja) 走行路計測法
JPH05157558A (ja) 車間距離検出装置
JPH07244717A (ja) 車両用走行環境認識装置
JP3612821B2 (ja) 車載用距離測定装置
JP3586938B2 (ja) 車載用距離測定装置
JP3465531B2 (ja) 物体認識方法およびその装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
JPH11259792A (ja) 車輌認識方法およびその装置
JP3501841B2 (ja) 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JPH10187974A (ja) 物流計測装置
JPH09222432A (ja) 速度違反車両撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080909

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees