JP3972661B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP3972661B2
JP3972661B2 JP2002011626A JP2002011626A JP3972661B2 JP 3972661 B2 JP3972661 B2 JP 3972661B2 JP 2002011626 A JP2002011626 A JP 2002011626A JP 2002011626 A JP2002011626 A JP 2002011626A JP 3972661 B2 JP3972661 B2 JP 3972661B2
Authority
JP
Japan
Prior art keywords
obstacle
image
vehicle
detected
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002011626A
Other languages
English (en)
Other versions
JP2003212072A (ja
Inventor
隆資 菅野
勝規 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002011626A priority Critical patent/JP3972661B2/ja
Publication of JP2003212072A publication Critical patent/JP2003212072A/ja
Application granted granted Critical
Publication of JP3972661B2 publication Critical patent/JP3972661B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、操舵角に基づいて将来の走行軌道を予測し、その将来の走行軌道を車両進行方向の映像に重ねて表示する運転支援装置に関する。
【0002】
【従来の技術】
従来、この種の技術としては、特開2001−6097号公報に記載されている「車両の運転支援装置」が知られている。
この従来例には、車両後方の映像を撮像するCCDカメラと、操舵角を検出するステアリングセンサと、車両後方の障害物を検出するバックソナーとを備え、例えば所定の駐車区域に車両がバックで進入するときに、前記バックソナーで車両後方に障害物が検出された場合、前記ステアリングセンサで検出される操舵角度に基づいて将来の走行軌道を算出し、その走行軌道を前記CCDカメラで撮像された障害物の映像に重ねたものと、注意を喚起する文字等とを乗員に提示する技術が開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の技術にあっては、バックソナーで車両後方に障害物が検出されたときに、将来の走行軌道が障害物の映像上に重ねたものと、注意を喚起する文字等とを提示するようになっているため、例えば駐車区域の両脇に障害物があり、その駐車区域が当該障害物の陰に隠れていて、前記将来の走行軌道が障害物の映像上に重ねて提示されているときには、乗員に違和感を与えてしまう恐れがあった。
【0004】
そこで本発明は上記従来の技術の未解決の問題点に着目してなされたものであって、乗員の違和感を取り除くことができる運転支援装置を提供することを課題とする。
【0005】
【課題を解決するための手段】
上記課題を解決するために、請求項1に記載の運転支援装置は、車両の進行方向の映像を撮像する撮像手段と、車両の操舵角を検出する操舵角検出手段と、前記操舵角検出手段で検出された操舵角に基づいて将来の走行軌道を予測する走行軌道予測手段と、前記撮像手段で撮像された映像に前記走行軌道予測手段で予測された将来の走行軌道を重ねて表示する走行軌道表示手段と、車両の進行方向にある障害物を検出する障害物検出手段と、前記走行軌道に基づいて前記障害物に車両が接触するか否かを検出する障害物接触検出手段と、を備え、前記走行軌道表示手段は、前記障害物接触検出手段の検出結果に基づいて前記走行軌道の表示態様を設定することを特徴とする。
【0006】
また、請求項2に係る発明は、請求項1に記載の運転支援装置において、前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を前記障害物に車両が接触することが検出されたときとは異なって表示されるように当該部分の表示態様を設定することを特徴とする。
【0007】
また、請求項3に係る発明は、請求項2に記載の運転支援装置において、前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記将来の走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を表示しないように当該部分の表示態様を設定することを特徴とする。
【0008】
さらに、請求項4に係る発明は、請求項2に記載の運転支援装置において、前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を点滅させるように当該部分の表示態様を設定することを特徴とする。
【0009】
【発明の効果】
したがって、請求項1に記載の運転支援装置にあっては、車両の操舵角に基づいて将来の走行軌道を予測し、その将来の走行軌道を車両の進行方向の映像に重ねて表示すると共に、前記将来の走行軌道に基づいて進行方向にある障害物に車両が接触するか否か検出し、その検出結果に基づいて前記将来の走行軌道の表示態様を設定するため、例えば進行方向に障害物があり、その障害物に車両が接触しないことを検出したときには、前記障害物の存在を検出していることが分かるように前記将来の走行軌道の表示態様を設定して、前記障害物の存在を検出していることを乗員に知らせることができ、乗員の違和感を取り除くことができる。
【0010】
また、請求項2に係る発明である運転支援装置にあっては、車両の進行方向にある障害物に当該車両が接触しないことが検出されたときには、車両の進行方向の映像から障害物の映像を検出し、将来の走行軌道のうち前記障害物の映像と重なる部分を、障害物に車両が接触することが検出されたときと異なって表示されるように当該部分の表示態様を設定するため、車両進行方向にある障害物を検出していることを乗員に知らせることができ、乗員の違和感を効果的に取り除くことができる。
【0011】
さらに、請求項3又は4に記載の運転支援装置は、車両の進行方向にある障害物に当該車両が接触しないことが検出されたときには、車両の進行方向の映像から障害物の映像を検出し、将来の走行軌道のうち前記障害物の映像と重なる部分を表示しない又は、点滅させるように当該部分の表示態様を設定するため、車両進行方向にある障害物を検出していることを乗員に知らせることができ、乗員の違和感を更に効果的に取り除くことができる。
【0012】
【発明の実施の形態】
以下、本発明に係る運転支援装置で、所定の駐車区域に車両をバックで進入させる運転操作を支援する例を、図面に基づいて説明する。
図1は、本発明の一実施形態を示す概略構成図であり、図1において、1FL及び1FRは前輪、1RL及び1RRは後輪を示し、その前輪1FL、1FRには一般的なラックアンドピニオン式の操舵機構が配設されている。この操舵機構は、前輪1FL、1FRの操舵軸(タイロッド)に接続されるラック2と、これに噛合するピニオン3と、このピニオン3をステアリングホイール4に与えられる操舵トルクで回転させるステアリングシャフト5とを備えており、そのステアリングシャフト5には、当該ステアリングホイール4の操舵角を検出する操舵角センサ6が取り付けられている。
【0013】
一方、トランクリッドの後端部内側には、車両後方の映像を撮像するCCDカメラ等の単眼カメラ7が埋設されており、駐車区域を示す白線や周囲の障害物等を運転支援用コントローラ12に出力するようになっている。
また、車両後方側のバンパーの両側端部には、車両後方に超音波を発信して反射波を受信するコーナーソナー8が設けられており、その反射波に基づいて車両後方にある障害物までの距離と方向とを検出するようになっている。
【0014】
また他にも、この車両の車室内には、将来の走行軌道上に障害物があるときの表示態様を乗員に設定させる接触判断スイッチ9と、運転支援用コントローラ12で生成される情報を乗員に提示するモニタ11と、当該情報を音声で報知するスピーカ10とが備えられている。
そして、操舵角センサ6で検出される操舵角と、単眼カメラ7で撮像される映像と、コーナーソナー8で検出される障害物までの距離及び方向とが運転支援用コントローラ12に入力される。この運転支援用コントローラ12は、図示しないマイクロコンピュータ等の離散化されたディジタルシステムで構成され、後述する駐車支援処理を実行し、単眼カメラ7で撮像された車両後方の映像に将来の走行軌道を重ねてモニタ11に提示する。
【0015】
本実施の形態における駐車支援処理は、エンジンが始動されることによって実行される処理であって、具体的には、その処理の手順の概要を表すフローチャートである、図2に示すように、先ずそのステップS101では、コーナーソナー8をON状態にし、ステップS102に移行する。
前記ステップS102では、シフトレバーがRレンジであるか否か判定し、Rレンジであるときには(Yes)ステップS103に移行し、そうでないときには(No)ステップS114に移行する。
【0016】
前記ステップS103では、モニタ11をON状態にして、単眼カメラ7で撮像された映像を表示し、ステップS104に移行する。
前記ステップS104では、操舵角センサ6で検出された操舵角を読み込み、ステップS105に移行する。
前記ステップS105では、前記ステップS104で読み込んだ操舵角や車両パラメータ等に基づいて車両の将来の走行軌道を算出し、ステップS106に移行する。
【0017】
前記ステップS106では、コーナーソナー8で検出された障害物までの距離及び方向を読み込み、それらに基づいて当該障害物の位置を算出し、ステップS107に移行する。
前記ステップS107では、前記ステップS106で算出された障害物の位置に基づいて単眼カメラ7で撮像された映像から当該障害物の映像を検出すると共に、その障害物の映像と前記ステップS105で算出された将来の走行軌道とに重なる部分があるか否か判定し、重なる部分があるときには(Yes)ステップS108に移行し、そうでないときには(No)ステップS113に移行する。
【0018】
なお、単眼カメラ7で撮像された映像から当該障害物の映像を検出する方法としては、どのようなものでもよく、例えば前記ステップS106で算出された障害物の位置の近傍で、車両の画像をテンプレート画像としてパターンマッチングを行い、自車両の駐車領域の周辺に駐車されている他車両を障害物として認識させるようにしてもよい。
【0019】
前記ステップS108では、接触判断スイッチ9がON状態であるか否か判定し、ON状態であるときには(Yes)ステップS109に移行し、そうでないときには(No)ステップS112に移行する。
前記ステップS109では、前記ステップS106で算出した障害物の位置に基づいて、前記ステップS105で算出した将来の走行軌道上に当該障害物があるか否か判定し、障害物があるときには(Yes)ステップS110に移行し、そうでないときには(No)ステップS111に移行する。
【0020】
前記ステップS110では、前記ステップS105で算出した将来の走行軌道のうち前記ステップS107で検出した障害物の映像と重なる部分を、他の部分と同様に表示するように当該部分の表示態様を設定すると共に、モニタ11に乗員の注意を喚起する言葉等を表示し、またスピーカ10で乗員の注意を喚起する音声を出力してから、ステップS113に移行する。
【0021】
一方、前記ステップS111では、前記ステップS105で算出した将来の走行軌道のうち、前記ステップS107で検出した障害物の映像と重なる部分を点滅させるように当該部分の表示態様を設定してから、前記ステップS113に移行する。
また一方、前記ステップS112では、前記ステップS105で算出した将来の走行軌道のうち、前記ステップS107で検出した障害物の映像と重なる部分を表示しないように当該部分の表示態様を設定してから、前記ステップS113に移行する。
【0022】
前記ステップS113では、前記ステップS110〜S112のいずれかで設定した表示態様に基づいて、前記ステップS103でモニタ11に表示した映像上に前記ステップS105で算出した将来の走行軌道を重ねて表示し、前記ステップS102に移行する。
一方、前記ステップS114では、モニタ11をOFF状態にして、前記ステップS102に移行する。
【0023】
次に、本実施形態の動作を具体的な状況に基づいて詳細に説明する。
まず、駐車場で所定の駐車区域に車両を駐車させるために、乗員がエンジンを始動させてシフトレバーをRレンジに設定すると共に接触判断スイッチ9をON状態にしたとする。すると、駐車支援処理が実行されて、ステップS101で、コーナーソナー8がON状態にされ、ステップS102の判定が「Yes」となり、ステップS103で、モニタ11がON状態にされて、当該モニタ11に単眼カメラ7で撮像された車両後方の映像が表示され、またステップS104では、操舵角センサ6で検出された操舵角が読み込まれ、ステップS105で、前記ステップS104で読み込まれた操舵角や車両パラメータ等に基づいて将来の走行軌道が算出され、次いで、ステップS106では、コーナーソナー8で検出された障害物までの距離及び方向が読み込まれ、それらに基づいて当該障害物の位置が算出され、ステップS107で、前記ステップS106で算出された障害物の位置に基づいて単眼カメラ7で撮像された映像から当該障害物の映像が検出される。
【0024】
ここで、図3に示すように、前記駐車区域の両脇に障害物があり、その駐車区域が当該障害物の陰に隠れていて、図4に破線で囲んで示すように、その障害物の映像と前記ステップS105で算出された将来の走行軌道とに重なる部分があり、且つ、当該障害物が前記走行軌道から外れたところにあることが検出されたとする。すると、ステップS107及びS108の判定が「Yes」となり、またステップS109の判定が「No」となり、ステップS111で、前記ステップS105で算出された将来の走行軌道のうち前記ステップS107で検出された障害物の映像と重なる部分を点滅させるように当該部分の表示態様が設定されて、ステップS113で、図5に破線で囲んで示すように、前記ステップS111で設定された表示態様に基づいて、前記ステップS103でモニタ11に表示された映像上に前記ステップS105で算出された将来の走行軌道が重ねて表示され、再び前記ステップS102から上記フローが繰り返される。
【0025】
このように、本実施形態では、車両の後方にある障害物に当該車両が接触しないことが検出されたときには、車両の将来の走行軌道を車両後方の映像に重ねて表示すると共に、将来の走行軌道のうち前記障害物の映像と重なる部分を点滅させるため、車両後方にある障害物を検出していることを乗員に知らせることができ、乗員の違和感を効果的に取り除くことができる。
【0026】
また、上記フローが繰り返し実行されているうちに、乗員がステアリングホイール4を切りすぎて、図6に示すように、前記ステップS105で算出された将来の走行軌道上に障害物が検出されたとする。すると、前記ステップS110で、前記ステップS105で算出された将来の走行軌道のうち前記ステップS107で検出された障害物の映像と重なる部分を、他の部分と同様に表示するように当該部分の表示態様が設定されると共に、モニタ11に乗員の注意を喚起する言葉等が表示され、さらにスピーカ10から乗員の注意を喚起する音声が出力される。
【0027】
次に、本発明の運転支援装置の第2実施形態について説明する。この実施形態では、前記第1実施形態の運転支援用コントローラ12で行われる駐車支援処理が、前記第1実施形態の図2のものから、図7のものに変更されている。
この図7の演算処理は、前記第1実施形態の図2の演算処理と同等のステップを多く含んでおり、同等のステップには同等の符号を付して、その詳細な説明を省略する。この図7の演算処理では、前記図2の演算処理のステップS108及びS112が省略されて、ステップS107の判定が「Yes」となったときにはステップS109に移行するようになっている。またステップS111の代わりにステップS111’が設けられており、そのステップS111’では、前記ステップS105で算出した将来の走行軌道のうち前記ステップS107で検出した障害物の映像と重なる部分を表示しないように当該部分の表示態様を設定してから、前記ステップS113に移行するようになっている。
【0028】
このように、本実施形態では、車両後方にある障害物に当該車両が接触しないことが検出されたときには、将来の走行軌道のうち障害物の映像と重なる部分を表示しないように当該部分の表示態様を設定するため、車両後方にある障害物を検出していることを乗員に知らせることができ、乗員の違和感を効果的に取り除くことができる。
【0029】
なお、上記実施形態では、撮像手段は単眼カメラ7に対応し、操舵角検出手段は操舵角センサ6に対応し、走行軌道予測手段はステップS105に対応し、走行軌道表示手段はステップS113に対応し、障害物検出手段はコーナーソナー8に対応し、障害物接触検出手段はステップS109に対応し、障害物映像検出手段はステップS107に対応する。
【0030】
また、上記実施の形態は本発明の運転支援装置の一例を示したものであり、装置の構成等を限定するものではない。
例えば、上記実施形態では、所定の駐車区域に車両をバックで進入させる運転操作を支援する例を示したが、そのような運転操作の支援に限定されるものではなく、例えば所定の駐車区域に前進で進入させる運転操作を支援するようにしてもよく、狭い路地に車両を進入させる運転操作を支援するようにしてもよい。
【図面の簡単な説明】
【図1】本発明の運転支援装置の一実施形態を示す概略構成図である。
【図2】第1実施形態において、図1のコントローラ内で実行される駐車支援処理を示すフローチャートである。
【図3】駐車区域と障害物との位置関係を説明するための平面図である。
【図4】将来の走行軌道のうち障害物の映像と重なる部分を説明する説明図である。
【図5】将来の走行軌道のうち障害物の映像と重なる部分が点滅するように、当該部分の表示態様を設定したときのモニタ表示を説明する説明図である。
【図6】将来の走行軌道上に障害物が検出されたときのモニタ表示を説明するための説明図である。
【図7】第2実施形態において、図1のコントローラ内で実行される駐車支援処理を示すフローチャートである。
【図8】将来の走行軌道のうち障害物の映像と重なる部分を表示しないように、当該部分の表示態様を設定したときのモニタ動作を説明する説明図である。
【符号の説明】
1FL、1FRは前輪
1RL、1RRは後輪
2 ラック
3 ピニオン
4 ステアリングホイール
5 ステアリングシャフト
6 操舵角センサ
7 単眼カメラ
8 コーナーソナー
9 接触判断スイッチ
10 スピーカ
11 モニタ
12 運転支援用コントローラ

Claims (4)

  1. 車両の進行方向の映像を撮像する撮像手段と、車両の操舵角を検出する操舵角検出手段と、前記操舵角検出手段で検出された操舵角に基づいて将来の走行軌道を予測する走行軌道予測手段と、前記撮像手段で撮像された映像に前記走行軌道予測手段で予測された将来の走行軌道を重ねて表示する走行軌道表示手段と、車両の進行方向にある障害物を検出する障害物検出手段と、前記走行軌道に基づいて前記障害物に車両が接触するか否かを検出する障害物接触検出手段と、を備え、前記走行軌道表示手段は、前記障害物接触検出手段の検出結果に基づいて前記走行軌道の表示態様を設定することを特徴とする運転支援装置。
  2. 前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を前記障害物に車両が接触することが検出されたときとは異なって表示されるように当該部分の表示態様を設定することを特徴とする請求項1に記載の運転支援装置。
  3. 前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記将来の走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を表示しないように当該部分の表示態様を設定することを特徴とする請求項2に記載の運転支援装置。
  4. 前記撮像手段で撮像された映像から障害物の映像を検出する障害物映像検出手段を備え、前記走行軌道表示手段は、前記障害物接触検出手段で前記障害物に車両が接触しないことが検出されたときには、前記走行軌道のうち前記障害物映像検出手段で検出された障害物の映像と重なる部分を点滅させるように当該部分の表示態様を設定することを特徴とする請求項2に記載の運転支援装置。
JP2002011626A 2002-01-21 2002-01-21 運転支援装置 Expired - Fee Related JP3972661B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002011626A JP3972661B2 (ja) 2002-01-21 2002-01-21 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002011626A JP3972661B2 (ja) 2002-01-21 2002-01-21 運転支援装置

Publications (2)

Publication Number Publication Date
JP2003212072A JP2003212072A (ja) 2003-07-30
JP3972661B2 true JP3972661B2 (ja) 2007-09-05

Family

ID=27649056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002011626A Expired - Fee Related JP3972661B2 (ja) 2002-01-21 2002-01-21 運転支援装置

Country Status (1)

Country Link
JP (1) JP3972661B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534493B2 (ja) * 2004-01-16 2010-09-01 株式会社デンソー 報知制御装置、車両の障害物検知結果報知装置およびプログラム
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP2016175549A (ja) * 2015-03-20 2016-10-06 株式会社デンソー 安全確認支援装置、安全確認支援方法
JP6776702B2 (ja) * 2016-07-29 2020-10-28 アイシン精機株式会社 周辺監視装置
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
JP6821124B2 (ja) * 2017-04-26 2021-01-27 株式会社Jvcケンウッド 運転支援装置、運転支援方法およびプログラム
JP7107078B2 (ja) * 2018-08-06 2022-07-27 株式会社豊田自動織機 リーチ式フォークリフト用荷役作業支援装置

Also Published As

Publication number Publication date
JP2003212072A (ja) 2003-07-30

Similar Documents

Publication Publication Date Title
JP5713623B2 (ja) ドライバーアシスト方法
EP2147826B1 (en) Parking assistance apparatus and parking assistance method
JP4782963B2 (ja) 駐車する車両の周辺状況を監視するための装置
JP5182137B2 (ja) 車両周辺表示装置
JP4536889B2 (ja) 車両の運転支援装置
JP2007183831A (ja) 車両用制御装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
JP4825062B2 (ja) 運転支援装置およびプログラム
JP3972661B2 (ja) 運転支援装置
JP2018122647A (ja) 車両用警報装置
JP3933935B2 (ja) 駐車支援装置
JP4092479B2 (ja) 車両用運転支援装置
KR101278064B1 (ko) 차량의 주차 보조 영상 제공 방법 및 그의 제공 시스템
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
JP2001010429A (ja) 車両の運転支援装置
JP2008026159A (ja) 周辺監視システム
JP6961882B2 (ja) 駐車支援装置
JP4682936B2 (ja) 車両用運転支援装置
JP2001010432A (ja) 駐車支援装置と駐車支援方法
JP2004130893A (ja) 車両障害物検出確認装置
JP2004098981A (ja) 車両操舵支援装置
JPH09254726A (ja) 車両用運転支援装置
JP2003191809A (ja) 車輌周辺表示装置
JP2001180402A (ja) 駐車時の操舵支援装置
JP2019109737A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees