JP4445370B2 - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP4445370B2
JP4445370B2 JP2004307028A JP2004307028A JP4445370B2 JP 4445370 B2 JP4445370 B2 JP 4445370B2 JP 2004307028 A JP2004307028 A JP 2004307028A JP 2004307028 A JP2004307028 A JP 2004307028A JP 4445370 B2 JP4445370 B2 JP 4445370B2
Authority
JP
Japan
Prior art keywords
vehicle
image
imaging
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004307028A
Other languages
English (en)
Other versions
JP2006117107A (ja
Inventor
剛 湯浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004307028A priority Critical patent/JP4445370B2/ja
Publication of JP2006117107A publication Critical patent/JP2006117107A/ja
Application granted granted Critical
Publication of JP4445370B2 publication Critical patent/JP4445370B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両周辺の画像を撮像して表示することにより車両の周辺監視を行う車両用周辺監視装置に関する。
従来より、車両に搭載したカメラにより車両周辺の画像を撮像し、その画像を車両内に設置した表示装置に表示させることで、運転者が車両の周辺を監視できるようにした車両用周辺監視装置が開発されている。この装置によれば、例えば、車両をバックさせて駐車操作を行う際、運転者が直接視認することのできない後部状況を表示された画像を用いて確認することにより、所望の駐車位置に安全に車両を駐車させることが可能となる。
ところで、車両周辺の広い範囲を確認するためには、広角レンズを用いるのが一般的である。しかしながら、広角レンズを介して得られる画像は、画像の中心から離れるに従って歪みが大きくなり、特に、画像の下部に位置する後部バンパ近傍の画像が大きく歪んでしまうため、車両が駐車位置に接近した場合の画像が実際の状況から大きく乖離してしまう。
そこで、特許文献1に開示された従来技術では、ズーム機能を有するカメラを車両に搭載し、車両の走行中には、カメラをワイド側に設定し、大きな撮像範囲からなる画像を表示して死角を少なくする一方、車両の停止時には、カメラをテレ側に設定し、撮像範囲を狭めて周辺状況の検出精度を高めるようにしている。
特開2004−48295号公報
しかしながら、特許文献1では、単にワイド側とテレ側の切り替えを行っているだけであり、表示される画像の中心位置が変わらないため、例えば、車両が駐車位置に接近して停車し、カメラがテレ側に設定された場合、撮像範囲が狭まることで下部に位置する後部バンパ近傍の画像が得られなくなってしまう。この場合、運転者は、駐車位置近傍の画像を確認することができない。また、車両が駐車位置から十分に離れている場合であっても、車両が停止すると画像がテレ側に切り替わるため、広範囲の画像を確認することができない事態に至ってしまう。
本発明は、前記の不具合に鑑みてなされたものであり、目標位置と車両との距離に応じた適切な範囲の画像を表示して運転者の操作を好適に支援することのできる車両用周辺監視装置を提供することを目的とする。
本発明の車両用周辺監視装置は、車両が到達すべき目標位置と車両の現在位置との距離を算出し、その距離に従って撮像手段による車両周辺画像の撮像対象領域を変更して表示手段に表示する。
この場合、例えば、車両が目標位置から離間しているときには、撮像対象領域が広くなるように撮像手段の状態を変更して画像を撮像し、車両が目標位置に近づいたときには、撮像対象領域が目標位置の近傍の狭い範囲となるように撮像手段の状態を変更して画像を撮像することにより、状況に適した画像を得ることができる。
特に、本発明では、目標位置登録手段を用いて目標位置を登録する。この場合、予め駐車スペースに駐車された前記車両の現在位置を目標位置として登録する。登録された目標位置と車両の現在位置とから距離を算出することができる。
また、撮像対象領域の変更は、距離算出手段によって算出された目標位置と車両の現在位置との距離に応じて、撮像手段による撮像距離を変更することで対応することができる。撮像距離の変更は、撮像手段による撮像方向を距離に応じて上下に変更することで対応することができる。また、撮像対象領域が異なる複数の撮像手段を配設し、目標位置までの距離に応じて撮像手段を切り替えて画像を取得するようにしてもよい。
表示手段に表示される画像には、変更された撮像対象領域に応じて作成した車両の移動領域を表すガイドラインを重畳させて表示させることにより、運転者が目標位置までの進路を確認することができる。
また、表示手段に表示される画像には、変更された撮像対象領域に応じて演算した遮光領域に遮光処理を施すことにより、太陽光の影響を抑制した明瞭な画像を表示させることができる。
本発明の車両用周辺監視装置では、車両の後部に配設した撮影手段により後方画像を撮影して表示することにより、車両をバックさせて目標位置である所望の駐車位置等に移動させる際に有効である。
本発明の車両用周辺監視装置では、車両に搭載した表示手段に目標位置に対する車両の現在位置にに応じて撮像対象領域を変更した画像を表示させることができ、この画像に基づいて車両を目標位置に適切に移動させることができる。
特に、車両をバックさせて駐車操作を行う場合、車両が所望の駐車位置から離れているときには、広い範囲の画像を表示させて全体の状況把握を容易とし、車両が所望の駐車位置に近づいたときには、後部バンパ近傍の歪みのない画像を表示させて細部の状況の把握を容易とすることができる。
なお、表示手段に対して、車両の移動領域を表すガイドラインを表示させることにより、表示された画像に基づく車両の移動作業を一層容易に行うことができる。また、画像の一部に遮光領域を設定して遮光処理を行うことにより、撮像手段に太陽光が入射する場合であっても、明瞭な画像を表示させることができる。
図1は、本実施形態の車両用周辺監視装置10の構成ブロック図である。
車両用周辺監視装置10は、車両の後部中央部に配設され、車両後方の画像を撮像するCCDカメラ等からなる後方監視カメラ12(撮像手段)と、後方監視カメラ12を駆動して撮影角度を変更するカメラ角度変更部14(撮像対象領域変更手段)と、GPSアンテナ16により受信した信号に基づいて車両の現在位置を検出するGPS受信器18(現在位置検出手段)と、駐車位置等の目標位置を設定するための目標設定部20(目標位置登録手段)と、車両の現在位置等に関する情報を地図情報に従って搭乗者に案内する機能、及び、後方監視カメラ12により撮像した後方画像を車両の現在位置に応じて処理して表示する機能を有するナビゲーション装置22とを備える。
ナビゲーション装置22は、演算回路24(距離算出手段)と表示制御回路26(ガイドライン作成手段、遮光処理手段)とを備える。演算回路24には、カメラ角度変更部14、GPS受信器18、目標設定部20、表示制御回路26、地図情報記憶部28及び目標位置記憶部30が接続される。表示制御回路26には、演算回路24、画像記憶部32及び表示部34(表示手段)が接続される。
地図情報記憶部28は、主たるランドマークの位置情報や道路属性情報を含む地図情報を記憶する。目標位置記憶部30は、目標設定部20により設定された目標駐車位置等の目標位置を記憶する。演算回路24は、GPS受信器18により検出された車両の現在位置に対応する地図情報を地図情報記憶部28より読み出して表示制御回路26に出力し、あるいは、車両の現在位置と目標位置記憶部30に記憶された目標位置との距離を演算し、その距離に従ってカメラ角度変更部14を制御する。
表示制御回路26は、演算回路24から供給される地図情報を表示部34に表示し、あるいは、後方監視カメラ12により撮像され、画像記憶部32に記憶されている車両後方の画像に対して所定の処理を施して表示部34に表示する。
本実施形態の車両用周辺監視装置10は、基本的には以上のように構成される。次に、車両用周辺監視装置10の動作につき、図2に示すフローチャート及び図3に示す車両36の駐車操作を例として説明する。
先ず、運転者は、車両36を所望の駐車スペース38に正確に駐車させ、その状態において、目標設定部20を操作して目標駐車位置Pを設定する(ステップS1)。この場合、演算回路24は、GPS受信器18によりGPSアンテナ16を介して受信した信号に基づいて車両36の現在位置を検出し(ステップS2)、この現在位置を目標駐車位置Pとして目標位置記憶部30に登録する(ステップS3)。
目標駐車位置Pを登録した後、車両36を通常の状態で走行させる間、ナビゲーション装置22は、表示部34にナビ画像を表示する。すなわち、演算回路24は、GPS受信器18から供給された車両36の現在位置に対応する地図情報を地図情報記憶部28から取得し(ステップS4)、表示制御回路26を介して表示部34に表示させる(ステップS5)。
次に、運転者が車両36をバックギアに接続すると(ステップS6)、表示制御回路26は、後方監視カメラ12を駆動し、後方画像を取得して画像記憶部32に記憶させる(ステップS7)。演算回路24は、GPS受信器18から供給された車両36の現在位置Qと、目標位置記憶部30に記憶されている目標駐車位置Pとの間の距離Lを算出する(ステップS8)。
距離Lが100m以上である場合(ステップS9)、演算回路24は、鉛直線に対する後方監視カメラ12の光軸の角度θを90゜とし(ステップS10)、カメラ角度変更部14を制御して後方監視カメラ12の光軸を角度θ=90゜に調整する(ステップS11)。この場合、後方監視カメラ12は、図4に示すように、水平方向を光軸とする車両36の後方の遠方の画像範囲40を撮像可能な状態に設定される。
また、演算回路24は、設定された後方監視カメラ12の光軸の角度θに応じて、画像範囲40の画像に重畳させて表示する車両36の車幅に対応したガイドライン42(図5参照)を作成する(ステップS12)。
さらに、演算回路24は、設定された後方監視カメラ12の光軸の角度θに応じて、画像範囲40の輝度を所定量低下させる遮光領域44(図5参照)を画像の上部の所定範囲に設定する(ステップS13)。
表示制御回路26は、画像記憶部32から読み込んだ画像範囲40の後方画像に対して、ステップS12で作成したガイドライン42を重畳させるとともに、ステップS13で設定した遮光領域44における後方画像の輝度を所定量低下させた画像を表示部34に表示する(ステップS14)。
この場合、表示部34には、図5に示すように、後方監視カメラ12によって撮像された車両36の後方遠方の広範囲の画像が表示されるため、運転者は、その画像に従い、所望の駐車スペース38に対して容易に車両36を接近させることができる。なお、後方画像には、車両36の車幅に対応したガイドライン42が表示されているため、例えば、車両36が縁石等にどの程度近づいているのかを確認することができる。さらに、太陽光が入射するおそれのある後方画像の上部は、輝度を低下させた遮光領域44とされているため、後方画像の下部の要部画像を明確に認識することができる。
後方画像を確認しながら車両36をバックさせ、目標駐車位置Pまでの距離Lが0でなければ(ステップS15)、ステップS9からの処理を繰り返す。
車両36の現在位置Qと目標駐車位置Pとの間の距離Lが10m≦L<100mの範囲となった場合(ステップS9、S16)、演算回路24は、鉛直線に対する後方監視カメラ12の光軸の角度θを60゜とし(ステップS17)、カメラ角度変更部14を制御して後方監視カメラ12の光軸を角度θ=60゜に調整する(ステップS11)。
また、演算回路24は、設定された後方監視カメラ12の光軸の角度θに応じて、ガイドライン42を作成するとともに(ステップS12)、遮光領域44を画像の上部の所定範囲に設定する(ステップS13)。表示制御回路26は、光軸が鉛直方向に対して角度θ=60゜に設定された後方監視カメラ12により撮像された後方画像を表示部34に表示する(ステップS14)。
この場合、表示部34には、後方監視カメラ12の光軸の角度θを90゜に設定した場合よりも車両36の後部に近い画像が表示されるため、運転者は、より車両36に近い後方画像に従い、所望の駐車スペース38に車両36を接近させることができる。なお、ガイドライン42は、後方監視カメラ12により撮像される画像範囲40が角度θ=90゜の場合よりも下方向に設定されるため、図5に示す場合よりも、上方が開いた状態の直線として表示される。また、遮光領域44は、太陽光が入射する範囲が狭くなるため、図5に示す場合よりも範囲が狭く設定される。
距離Lが0でなければ(ステップS15)、ステップS9、S16、S18の判断処理を行い、距離Lが3m≦L<10mである場合(ステップS18)、後方監視カメラ12の光軸の角度θを45゜に設定し(ステップS19)、ステップS11〜S15の処理を同様にして繰り返す。
車両36の現在位置Qと目標駐車位置Pとの距離LがL<3mとなると(ステップS18)、演算回路24は、後方監視カメラ12の光軸の角度θを30゜とし(ステップS20)、カメラ角度変更部14を制御して後方監視カメラ12の光軸を鉛直方向から角度θ=30゜に調整する(ステップS11)。また、角度θに応じて、ガイドライン42を作成するとともに遮光領域44を設定する(ステップS12、S13)。
この場合、後方監視カメラ12は、図6に示すように、車両36の後部バンパ46を含む後部直近の画像範囲48を撮像可能な状態に設定される。そこで、表示制御回路26は、画像記憶部32から読み込んだ画像範囲48の後方画像に対して、ガイドライン42を重畳させるとともに遮光領域44に対する処理を行い、図7に示す後方画像を表示部34に表示する(ステップS14)。なお、画像範囲48には、太陽光が入射する可能性が少ないため、角度θ=30゜に設定した場合、遮光処理を省略して明確な画像が表示されるようにしてもよい。
以上のようにして、運転者は、表示部34に表示された車両36の後方画像を確認しながら、駐車スペース38の所望の位置に車両36を駐車することができる。この場合、後方監視カメラ12の角度θを変更しているだけであり、表示部34に表示された後方画像が撮像位置によって歪むことがなく、実際の状況に則して忠実に表示された画像に基づいて正確な駐車操作を行うことができる。
なお、上述した実施形態では、目標駐車位置Pまでの距離Lに従い、後方監視カメラ12の角度θを段階的に変更するようにしているが、距離Lに従って角度θを連続的に変更するようにしてもよい。
図8は、他の実施形態に係る車両用周辺監視装置49の構成ブロック図を示す。なお、図1に示す車両用周辺監視装置10と同一構成要素には、同一の参照符号を付し、その詳細な説明を省略する。
車両用周辺監視装置49は、車両36の後部に配設される第1後方監視カメラ50及び第2後方監視カメラ52を備える。第1後方監視カメラ50は、車両36の後部遠方の画像範囲40(図4参照)の画像を撮像するように設定され、第2後方監視カメラ52は、車両36の後部バンパ46近傍の画像範囲48(図6参照)の画像を撮像するように設定される。
演算回路24は、車両36の現在位置Qと目標駐車位置Pとの距離Lが離れている場合、カメラ切替部54により第1後方監視カメラ50を選択する。第1後方監視カメラ50によって撮像された画像範囲40の後方画像は、画像記憶部32に記憶された後、表示制御回路26によって表示部34に表示される。一方、目標駐車位置Pが車両36に近づいた場合、カメラ切替部54は、第2後方監視カメラ52を選択する。第2後方監視カメラ52によって撮像された画像範囲48の後方画像は、表示制御回路26によって表示部34に表示される。運転者は、これらの後方画像に従い、容易且つ正確に駐車操作を行うことができる。
さらに、目標設定部20により目標駐車位置Pを設定して目標位置記憶部30に記憶させる代わりに、目標駐車位置Pに発振器を設置し、前記発振器からの信号をナビゲーション装置22によって受信することで、車両36と目標駐車位置Pとの距離Lを算出して後方監視カメラ12を制御するようにしてもよい。
本実施形態の車両用周辺監視装置の構成ブロック図である。 本実施形態の車両用周辺監視装置の動作を説明するフローチャートである。 本実施形態の車両用周辺監視装置を搭載した車両と駐車スペースとの位置関係の説明図である。 本実施形態の車両用周辺監視装置を搭載した車両が駐車スペースから離れている場合における撮像手段による画像範囲の説明図である。 図4に示す状態に設定された撮像手段により撮像され表示された後方画像の説明図である。 本実施形態の車両用周辺監視装置を搭載した車両が駐車スペースに接近している場合における撮像手段による画像範囲の説明図である。 図6に示す状態に設定された撮像手段により撮像され表示された後方画像の説明図である。 他の実施形態の車両用周辺監視装置の構成ブロック図である。
符号の説明
10、49…車両用周辺監視装置 12…後方監視カメラ
14…カメラ角度変更部 18…GPS受信器
20…目標設定部 22…ナビゲーション装置
24…演算回路 26…表示制御回路
28…地図情報記憶部 30…目標位置記憶部
32…画像記憶部 34…表示部
36…車両 38…駐車スペース
40、48…画像範囲 42…ガイドライン
44…遮光領域 46…後部バンパ
50…第1後方監視カメラ 52…第2後方監視カメラ
54…カメラ切替部

Claims (6)

  1. 車両に配設され、車両周辺の画像を撮像する撮像手段と、前記撮像手段により撮像された前記画像を表示可能な表示手段と、前記車両の現在位置を検出する現在位置検出手段と、前記現在位置検出手段により検出された前記現在位置と前記車両が到達すべき目標位置との距離を算出する距離算出手段と、前記距離算出手段により算出された距離に従い、前記撮像手段による前記画像の撮像対象領域を変更する撮像対象領域変更手段と、を備えた車両用周辺監視装置において、
    前記車両が到達すべき前記目標位置を登録する目標位置登録手段を備え、
    前記目標位置登録手段は、予め駐車スペースに駐車された前記車両の現在位置を目標位置として登録し、
    前記距離算出手段は、前記現在位置検出手段にて検出された前記現在位置と登録された前記目標位置との距離を算出し、
    前記撮像対象領域変更手段は、前記距離算出手段により算出された距離に従い、前記撮像手段による撮像距離を変更することを特徴とする車両用周辺監視装置。
  2. 請求項記載の装置において、
    前記撮像対象領域変更手段は、前記距離算出手段によって算出された距離に従い、前記撮像手段による撮像方向を上下に変更する撮像方向変更手段からなることを特徴とする車両用周辺監視装置。
  3. 請求項記載の装置において、
    異なる前記撮像対象領域を撮像する複数の前記撮像手段を有し、前記撮像対象領域変更手段は、前記距離算出手段により算出された距離に従い、前記各撮像手段を切り替えて画像を取得することを特徴とする車両用周辺監視装置。
  4. 請求項1〜のいずれか1項に記載の装置において、
    前記車両の移動領域を表すガイドラインを作成し、前記画像に重畳させて前記ガイドラインを前記表示手段に表示するガイドライン作成手段を備え、
    前記ガイドライン作成手段は、前記撮像対象領域変更手段によって変更された前記撮像対象領域に応じた前記ガイドラインを作成することを特徴とする車両用周辺監視装置。
  5. 請求項1〜のいずれか1項に記載の装置において、
    前記撮像対象領域における前記画像の遮光領域を演算し、前記表示手段に表示される前記画像の一部を遮光処理する遮光処理手段を備え、
    前記遮光処理手段は、前記撮像対象領域変更手段によって変更された前記撮像対象領域に応じて前記遮光領域を演算することを特徴とする車両用周辺監視装置。
  6. 請求項1〜のいずれか1項に記載の装置において、
    前記撮像手段は、前記車両の後部に配設され、前記車両の後方画像を撮像することを特徴とする車両用周辺監視装置。
JP2004307028A 2004-10-21 2004-10-21 車両用周辺監視装置 Expired - Fee Related JP4445370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004307028A JP4445370B2 (ja) 2004-10-21 2004-10-21 車両用周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004307028A JP4445370B2 (ja) 2004-10-21 2004-10-21 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2006117107A JP2006117107A (ja) 2006-05-11
JP4445370B2 true JP4445370B2 (ja) 2010-04-07

Family

ID=36535415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004307028A Expired - Fee Related JP4445370B2 (ja) 2004-10-21 2004-10-21 車両用周辺監視装置

Country Status (1)

Country Link
JP (1) JP4445370B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4945177B2 (ja) * 2006-07-05 2012-06-06 三洋電機株式会社 車両の運転支援装置
WO2008086656A1 (fr) * 2007-01-16 2008-07-24 Shenzhen Gospell Smarthome Electronic Co., Ltd Dispositif de rétrovision doté d'un gps et destiné à un véhicule
JP2008211534A (ja) * 2007-02-27 2008-09-11 Hitachi Ltd 顔検知装置
JP5024412B2 (ja) * 2010-03-29 2012-09-12 トヨタ自動車株式会社 アクセル開度表示装置
JP5431293B2 (ja) 2010-11-10 2014-03-05 パナソニック株式会社 ドーム型カメラ
KR102005551B1 (ko) * 2011-11-07 2019-07-30 엘지이노텍 주식회사 주차 보조 시스템
KR102125738B1 (ko) * 2019-07-24 2020-06-24 엘지이노텍 주식회사 주차 보조 시스템

Also Published As

Publication number Publication date
JP2006117107A (ja) 2006-05-11

Similar Documents

Publication Publication Date Title
KR101119563B1 (ko) 주차지원장치
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US6985171B1 (en) Image conversion device for vehicle rearward-monitoring device
US8089512B2 (en) Driving support device, driving support method and computer program
JP4815993B2 (ja) 駐車支援方法及び駐車支援装置
US7697055B2 (en) Camera unit and apparatus for monitoring vehicle periphery
JP5421072B2 (ja) 接近物体検知システム
JP6926976B2 (ja) 駐車支援装置及びコンピュータプログラム
US20050083427A1 (en) Camera unit and apparatus for monitoring vehicle periphery
US20080143833A1 (en) Image Pickup Device and Image Pickup Method
US8477191B2 (en) On-vehicle image pickup apparatus
US20070239357A1 (en) Driving support method and driving support device
JP2011118482A (ja) 車載装置および認知支援システム
JP4654723B2 (ja) 映像表示装置及び映像表示方法
WO2007037126A1 (ja) ナビゲーション装置、ナビゲート方法および車両
JP2008222153A (ja) 合流支援装置
JP3847547B2 (ja) 車両周辺監視支援装置
JP2007156756A (ja) 車車間通信システム
JP2011152865A (ja) 車載撮像装置
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP2008306402A (ja) 車載撮像表示装置
JP2007226300A (ja) 運転支援方法及び運転支援装置
JP2008098858A (ja) 車両周辺監視装置
JP4445370B2 (ja) 車両用周辺監視装置
JP2006172215A (ja) 運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees