JP4114575B2 - 車両用操作制御装置 - Google Patents

車両用操作制御装置 Download PDF

Info

Publication number
JP4114575B2
JP4114575B2 JP2003317080A JP2003317080A JP4114575B2 JP 4114575 B2 JP4114575 B2 JP 4114575B2 JP 2003317080 A JP2003317080 A JP 2003317080A JP 2003317080 A JP2003317080 A JP 2003317080A JP 4114575 B2 JP4114575 B2 JP 4114575B2
Authority
JP
Japan
Prior art keywords
vehicle
control device
detection means
wobbling
steering angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003317080A
Other languages
English (en)
Other versions
JP2005082029A (ja
Inventor
武之 甘利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003317080A priority Critical patent/JP4114575B2/ja
Publication of JP2005082029A publication Critical patent/JP2005082029A/ja
Application granted granted Critical
Publication of JP4114575B2 publication Critical patent/JP4114575B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、オーディオ装置やカーナビゲーション装置などの操作を制御する車両用操作制御装置に関する。
ドライバの運転への集中を妨げず、ドライバの負担を低減する車載情報提示制御装置が知られている(特許文献1参照)。この車載情報提示装置では、車両の旋回情報に基づいて、情報の提示を停止、遅延するなどの制御を行っている。
特開2001−191871号公報
しかしながら、従来の装置では、カーブを走行している等の状況下において、ドライバに対する情報の提示を停止、遅延させることはできるが、ドライバは、そのような状況下でも、例えば、オーディオ装置などを継続して操作することができるという問題があった。
本発明による車両用操作制御装置は、車両の運転操作以外の操作を行うための操作部材が車両走行中に操作されたことを検出し、車両の速度を検出し、ステアリングの操舵角を検出し、ステアリング操舵角の検出結果に基づいて、所定時間内のステアリング操舵角の変動量の積分値を算出し、算出した所定時間内のステアリング操舵角の変動量の積分値が、検出された車速に反比例する閾値よりも大きい場合に、車両のふらつきを検出し、車両の走行中に、車両の運転操作以外の操作を行うための操作部材が操作され、かつ、車両のふらつきが検出された場合に、操作部材による操作を禁止することを特徴とする。
本発明による車両用操作制御装置によれば、車両の走行中に、車両の運転操作以外の操作を行うための操作部材が操作され、かつ、車両のふらつきが検出された場合に、操作部材による操作を禁止するので、ドライバを運転に集中させることができる。
図1は、本発明による車両用操作制御装置の一実施の形態の構成を示す図である。一実施の形態の車両用操作制御装置は、スイッチ操作部1と、音声認識部2と、表示部3と、ナビゲーション制御部4と、ディストラクション判定部5と、ステアリング操舵角センサ6と、車速センサ7と、音声合成部8と、スピーカ9と、音声認識ボタン11とを備える。
図2は、一実施の形態におけるスイッチ操作部1の概要を示す図である。スイッチ操作部1は、オーディオ装置やカーナビゲーション装置を操作するための操作部材であり、例えば、オーディオ装置の再生ボタン、音量調整ボタン、後述する「戻る」ボタン10、カーナビゲーション装置の目的地設定ボタン12などを含む。スイッチ操作部1は、通常、運転者の手の届く位置に設けられている。
音声認識部2は、図示しないマイクにて集音されたユーザの音声を認識する機能を備えている。音声認識部2が設けられていることにより、ユーザは、例えば、カーナビゲーション装置の目的地を設定する際に、音声にて指示を出すことができる。ユーザは、音声認識ボタン11を押すことにより、スイッチ操作部1を操作する代わりに音声入力による操作を行う。表示部3は、ドライバの見やすい位置に設けられ、道路地図や車両の現在位置を表示したり、後述する警告を表示したりする。ナビゲーション制御部4は、目的地までの推奨経路を演算する等の一般的な処理を行うとともに、後述するように、所定の条件が満たされた時に、スイッチ操作部1による操作を禁止する制御処理を行う。
ステアリング操舵角センサ6は、ステアリング20の操舵角を検出し、ディストラクション判定部5に出力する。車速センサ7は、車両の速度を検出して、ディストラクション判定部5およびナビゲーション制御部4に出力する。ディストラクション判定部5は、ステアリング操舵角センサ6から入力されるステアリング操舵角、および車速センサ7から入力される車速に基づいて、ドライバが運転中によそ見をしている等、運転操作から気をそらすドライバディストラクションが発生したか否かを判定する。ディストラクションの有無の判定結果は、ナビゲーション制御部4に出力される。
音声合成部8は、ナビゲーション制御部4からの制御指令に基づいて、経路案内やドライバに対する警告などの合成音声を生成する。生成された合成音声は、スピーカ9から出力される。
ディストラクション判定部5が行う、ドライバディストラクションの発生の有無の判定方法について、図3を用いて説明する。図3(a)は、ステアリング操舵角の時間変化を示す図であり、図3(b)は、図3(a)に対応して、後述する式(1)により算出される判定値Dを示す図である。
図3(a)に示す区間Aは、ディストラクションが発生している時のステアリング操舵角yの変化の一例を示し、区間Bは、車両がカーブを走行している時のステアリング操舵角yの変化の一例を示している。ディストラクションは、走行中にドライバがスイッチ操作部1を操作する等しているため、車両が直進しているにも関わらず、ステアリングが左右に動かされる動作が行われ、車両がふらついている時に発生している場合が多い。
ディストラクション判定部5は、次式(1)により求められる所定時間T内の判定値Dが式(2)により求められるしきい値Eより大きい場合に、ドライバディストラクションが発生していると判定する。
D=Σ(|Δy|・Δt) …(1)
ただし、Δyは、時間Δtの間のステアリング操舵角の変動量であり、|Δy|はその絶対値である。
E=K/V …(2)
ただし、Kは定数であり、Vは、所定時間T内の平均車速である。
すなわち、所定時間T内のステアリング操舵角の変動量の積分値Dがしきい値Eを越える場合には、ディストラクションが発生していると判定する。この判定しきい値Eは、式(2)に示すように、車両の速度Vに反比例する値である。これは、車両の速度が速い場合には、ステアリング操舵角に対する車両の移動量も大きくなるので、しきい値Eの値を小さくして、ドライバに対して早期の警告を行うためである。
図4は、一実施の形態における車両用操作制御装置により行われる処理の内容を示すフローチャートである。ステップS10から始まる処理は、主にナビゲーション制御部4により行われる。ステップS10では、車速センサ7から入力される車速信号に基づいて、車両が走行中であるか否かを判定する。車両が走行中であると判定すると、ステップS20に進み、車両が停止していると判定すると、車両が走行するまでステップS10で待機する。
ステップS20では、スイッチ操作部1から入力されるスイッチ入力信号に基づいて、スイッチ操作部1がユーザにより操作されているか否かを判定する。スイッチ操作部1が操作されていないと判定するとステップS10に戻り、操作されていると判定するとステップS30に進む。ステップS30では、ステアリング操舵角センサ6により、ステアリング操舵角を検出する。検出されたステアリング操舵角は、ディストラクション判定部5に送られる。
ステップS30に続くステップS40では、車速センサ7により、車両の速度を検出する。検出された車速は、ディストラクション判定部5に送られる。ステップS40に続くステップS50では、ディストラクション判定部5により、ステップS30で検出されたステアリング操舵角、および、ステップS40で検出された車速に基づいて、ドライバディストラクションが発生しているか否かを判定する。ディストラクションの発生の有無を判定する方法は、上述したので、ここでは省略する。ディストラクションが発生していると判定するとステップS60に進み、ディストラクションが発生していないと判定するとステップS10に戻る。
ステップS50において、ディストラクションが発生していないと判定された場合には、ユーザはスイッチ操作部1の操作を継続して行うことができる。しかし、車両走行中において、スイッチ操作部1の操作制限が設けられている場合には、制限されていない範囲内において操作が可能となる。
ステップS50において、ディストラクションが発生していると判定すると、ディストラクション判定部5は、ディストラクションが発生している旨を示す信号をナビゲーション制御部4に送る。ナビゲーション制御部4は、ステップS60において、スイッチ操作部1による操作を禁止する制御を行うとともに、表示部3にスイッチ操作部1による操作が中断(禁止)されたことを示す表示を行う。ここで、スイッチ操作部1による操作を禁止する制御とは、スイッチ操作部1から入力されるスイッチ入力信号を無効として、ユーザのスイッチ操作に基づく指令を受け付けない制御のことである。
また、スイッチ操作部1による操作を禁止するとともに、スピーカ9からビープ音と「前方注意」等のような警告音声を発する。この場合、「前方注意」のような文字を表示部3に表示してもよい。これにより、運転者の注意を再び前方に戻させる。図5(a)は、運転者に警告を発する様子を示す図である。
ステップS60で運転者に対して警告を発すると、ステップS70に進む。ステップS70において、ナビゲーション制御部4は、ディストラクション判定部5から入力される信号に基づいて、所定時間(例えば、3秒)の間、ディストラクションが発生していないか否かを判定する。所定時間の間にディストラクションが発生していると判定すると、ステップS70で待機し、所定時間の間にディストラクションが発生していないと判定すると、ステップS80に進む。
ステップS80では、スイッチ操作部1の操作を音声入力による操作に切り替える。すなわち、スイッチ操作部1による操作を禁止する制御を継続しつつ、音声入力による操作を許可する。この場合、表示部3に、スイッチ操作部1の操作を音声入力による操作に切り替える旨を表示するとともに、スピーカ9から、音声認識処理に切り替える旨の音声を発するようにしてもよい。図5(b)は、音声認識処理に切り替える旨を運転者に伝える様子を示す図である。スイッチ操作部1の操作を音声入力による操作に切り替えると、ステップS90に進む。
ステップS90では、車速センサ7から入力される車速信号に基づいて、車両が停止したか否かを判定する。車両が停止したと判定するとステップS120に進み、車両が停止しておらず、走行中であると判定するとステップS100に進む。ステップS100では、車速センサ7から入力される車速信号に基づいて、車速が所定の速度以下であるか否かを判定する。車速が所定の車速以下であると判定するとステップS110に進み、車速が所定の車速よりも大きいと判定すると、図4に示すフローチャートの処理を終了する。
ステップS110では、スイッチ操作部1に含まれる、音声認識処理操作からスイッチ操作に切り替えるための「戻る」ボタン10(図2参照)が操作されたか否かを判定する。「戻る」ボタン10が操作されたと判定すると、ステップS120に進み、「戻る」ボタン10が操作されていないと判定すると、図4に示すフローチャートの処理を終了する。
なお、ステップS100の判定を否定した場合、および、ステップS110の判定を否定した場合には、運転者は、スイッチ操作部1を直接に操作して各種指示を入力することはできず、音声による指令により各種指示を入力操作することができる。この場合、運転者は、ステアリング20に設けられている音声認識ボタン11(図2参照)を押すことにより、音声入力による操作を開始する。換言すると、図示しないマイクで集音した音声に対して音声認識処理が施されて各種の指示が入力される。
ステップS120では、ステップS60で中断(禁止)したスイッチ操作を許可する。換言すると、スイッチ操作部1の操作による入力禁止制御を解除する。これにより、運転者はスイッチ操作部1の操作を行って各種の指示を入力することができる。
図6は、運転者がスイッチ操作部1を操作して、ナビゲーション装置の目的地を設定している途中で、ディストラクション判定部5によりドライバディストラクションが発生したと判定された時の処理を示す図である。ユーザが、スイッチ操作部1に含まれる目的地ボタン12を押すことにより、ナビゲーション装置の目的地設定処理が開始される。
目的地ボタン12が押された後、ディストラクションが発生しなければ、図6に示すように、スイッチ操作部1を操作することにより、目的地の検索方法、施設のジャンル、都道府県名、施設名を、表示部3に表示されるリストの中から順に選択して、目的地を設定することができる。
図6には、目的地ボタン12を押した後に、ディストラクションが発生した場合の処理が示されている。すなわち、ディストラクションが発生すると、スイッチ操作が中断されて、音声入力による操作が開始される。
この状態で、運転者が音声認識ボタン11を押すことにより、音声入力による操作が可能となる。運転者が音声認識ボタン11を押すと、中断された操作を継続して行うことができる。図6に示す状況では、スピーカ9から「検索方法をどうぞ」という音声が発せられるので、音声にて、例えば、「宿泊」と入力する。音声認識部2にて、運転者が発した「宿泊」の言葉が認識されると、スピーカ9から「県名をどうぞ」という音声が発せられる。運転者は、音声にて、例えば「神奈川県」と入力することができる。音声認識部2にて、運転者が発した「神奈川県」の言葉が認識されると、スピーカ9から「施設名をどうぞ」という音声が発せられるので、運転者は、例えば「○○旅館」と音声入力する。これにより、「○○旅館」が目的地に設定されるので、ナビゲーション制御部4は、○○旅館までの推奨ルートを演算する。
一実施の形態における車両用操作制御装置によれば、車両走行中にスイッチ操作部1が操作され、かつ、ディストラクション判定部5により、運転者が脇見運転をしているなどのドライバディストラクションが発生していると判定されると、スイッチ操作部1による操作を禁止した。これにより、運転者が行うスイッチ操作部1による操作を効果的に禁止して、運転に集中させることができる。また、スイッチ操作部1による操作の禁止とともに、運転者に警告を発するので、さらに運転者を運転に集中させることができる。
一実施の形態における車両用操作制御装置によれば、ディストラクションが発生して、スイッチ操作部1による操作を禁止した後に、スイッチ操作部1による操作の代わりに音声入力による操作を可能とした。これにより、運転者にとって負荷の小さい音声入力による方法を用いて、各種の操作を継続して行うことができる。ここで、スイッチ操作部1の操作を全て音声入力による方法を用いることも考えられる。しかし、音声認識率が100%ではなく、また、複雑な条件を設定するメニューに関しては、スイッチ操作部1を直接に操作する方法に比べて、利便性が高いとは言えない。従って、一実施の形態における車両用操作制御装置のように、所定の場合にのみ音声入力による方法を用いることにより、ユーザにとって利便性の高いシステムを提供することができる。
一実施の形態における車両用操作制御装置によれば、スイッチ操作部1による操作を禁止して、音声入力による操作に切り替えるタイミングを、スイッチ操作部1による操作を禁止してから所定の時間、ディストラクションが発生していない時とした。これにより、ディストラクション発生後に、車両の安全性を確認してから、音声入力による操作を可能とすることができる。
一実施の形態における車両用操作制御装置によれば、ディストラクション発生後にスイッチ操作部1の操作が禁止された場合でも、車両が停止した場合には、スイッチ操作部1による操作の禁止を解除する。これにより、運転者は、車両を停止させた状態で、スイッチ操作部1の操作を行うことができる。すなわち、運転者は、車両を停止させるだけで、特別な操作を行うことなく、再びスイッチ操作部1の操作を行うことができるので、運転者にとって利便性は高い。
一実施の形態における車両用操作制御装置によれば、ディストラクション発生後にスイッチ操作部1の操作が禁止された場合でも、車速が所定の速度以下であり、かつ、戻るボタン10が押された場合には、スイッチ操作部1による操作の禁止を解除する。これにより、運転者は、所定の速度以下の安全が確保できる状態で、スイッチ操作部1の操作を再び行うことができる。
本発明は、上述した一実施の形態に限定されることはない。例えば、スイッチ操作部1の一例として、オーディオ装置やカーナビゲーション装置を操作するための操作部材を挙げたが、これらに限定されることはなく、エアコンの操作部材など、車両の運転操作以外の操作を行うための操作部材であればよい。
ディストラクション判定部5は、式(1)により算出される判定値Dと、式(2)により算出されるしきい値Eとを比較することにより、ディストラクションの発生の有無の判定を行った。しかし、ディストラクションの発生の有無の判定は、この方法に限定されることはなく、他の方法を用いても良い。
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ナビゲーション制御部4が操作検出手段および制御手段を、ナビゲーション制御部4および車速センサ7が車両停止判定手段および車速判定手段を、ディストラクション判定部5がふらつき検出手段を、表示部3およびスピーカ9が警告手段を、車速センサ7が車速検出手段を、ステアリング操舵角センサ6がステアリング操舵角検出手段をそれぞれ構成する。また、スイッチ操作部1が特許請求の範囲に記載されている操作部材に対応する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
本発明による車両用操作制御装置の一実施の形態の構成を示す図 一実施の形態におけるスイッチ操作部1の概要を示す図 図3(a)は、ステアリング操舵角の時間変化を示す図であり、図3(b)は、図3(a)に対応して、式(1)により算出される判定値Dを示す図 一実施の形態における車両用操作制御装置により行われる処理の内容を示すフローチャート 図5(a)は、運転者に警告を発する様子を示す図、図5(b)は、スイッチ操作を音声入力による操作に切り替える旨を運転者に知らせる様子を示す図 運転者がスイッチ操作部を操作して、ナビゲーション装置の目的地を設定している途中で、ディストラクション判定部によりドライバディストラクションが発生したと判定された時の処理を示す図
符号の説明
1…スイッチ操作部
2…音声認識部
3…表示部
4…ナビゲーション制御部
5…ディストラクション判定部
6…ステアリング操舵角センサ
7…車速センサ
8…音声合成部
9…スピーカ
10…戻るボタン
11…音声認識ボタン
12…目的地ボタン
20…ステアリング

Claims (6)

  1. 車両の運転操作以外の操作を行うための操作部材が車両走行中に操作されたことを検出する操作検出手段と、
    車両の速度を検出する車速検出手段と、
    ステアリングの操舵角を検出するステアリング操舵角検出手段と、
    前記ステアリング操舵角検出手段による検出結果に基づいて、所定時間内のステアリング操舵角の変動量の積分値を算出し、算出した前記所定時間内のステアリング操舵角の変動量の積分値が、前記車速検出手段により検出された車速に反比例する閾値よりも大きい場合に、車両のふらつきを検出するふらつき検出手段と、
    前記操作検出手段により、車両走行中に前記操作部材が操作されたことが検出され、かつ、前記ふらつき検出手段により車両のふらつきが検出された場合に、前記操作部材による操作を禁止する制御手段とを備えることを特徴とする車両用操作制御装置。
  2. 請求項1に記載の車両用操作制御装置において、
    前記操作検出手段により、車両走行中に前記操作部材が操作されたことが検出され、かつ、前記ふらつき検出手段により車両のふらつきが検出された場合に、運転者に警告を発する警告手段をさらに備えることを特徴とする車両用操作制御装置。
  3. 請求項1または2に記載の車両用操作制御装置において、
    前記制御手段は、前記操作部材による操作を禁止して、前記操作部材による操作の代わりに音声入力による操作を許可することを特徴とする車両用操作制御装置。
  4. 請求項3に記載の車両用操作制御装置において、
    前記制御手段は、前記操作部材の操作を禁止してから所定の時間、前記ふらつき検出手段により車両のふらつきが検出されなければ、前記音声入力による操作を許可することを特徴とする車両用操作制御装置。
  5. 請求項1〜4のいずれかに記載の車両用操作制御装置において、
    車両が停止したか否かを判定する車両停止判定手段をさらに備え、
    前記制御手段は、前記車両停止判定手段によって車両が停止したと判定されると、前記操作部材による操作の禁止を解除することを特徴とする車両用操作制御装置。
  6. 請求項1〜5のいずれかに記載の車両用操作制御装置において、
    車両の速度が所定の速度以下であるか否かを判定する車速判定手段をさらに備え、
    前記制御手段は、前記車速判定手段により車速が所定の速度以下であると判定され、かつ、前記操作部材の操作の禁止を解除するための所定の操作が行われた場合に、前記操作部材による操作の禁止を解除することを特徴とする車両用操作制御装置。
JP2003317080A 2003-09-09 2003-09-09 車両用操作制御装置 Expired - Fee Related JP4114575B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003317080A JP4114575B2 (ja) 2003-09-09 2003-09-09 車両用操作制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003317080A JP4114575B2 (ja) 2003-09-09 2003-09-09 車両用操作制御装置

Publications (2)

Publication Number Publication Date
JP2005082029A JP2005082029A (ja) 2005-03-31
JP4114575B2 true JP4114575B2 (ja) 2008-07-09

Family

ID=34416778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003317080A Expired - Fee Related JP4114575B2 (ja) 2003-09-09 2003-09-09 車両用操作制御装置

Country Status (1)

Country Link
JP (1) JP4114575B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4972913B2 (ja) * 2005-11-18 2012-07-11 トヨタ自動車株式会社 走行支援装置
JP4736904B2 (ja) * 2006-03-31 2011-07-27 パナソニック株式会社 電動機応用機器における音声報知装置
JP4848997B2 (ja) * 2007-03-30 2011-12-28 アイシン・エィ・ダブリュ株式会社 車載機器の誤操作防止装置および誤操作防止方法
JP4891286B2 (ja) 2008-04-11 2012-03-07 株式会社デンソー 遠隔操作装置
US8384687B2 (en) 2008-08-21 2013-02-26 Denso Corporation Manipulation input apparatus
JP5201480B2 (ja) * 2009-04-27 2013-06-05 株式会社デンソー 車両用操作装置

Also Published As

Publication number Publication date
JP2005082029A (ja) 2005-03-31

Similar Documents

Publication Publication Date Title
JP4737519B2 (ja) 車両制御補助装置及び車両制御補助方法
JP4973722B2 (ja) 音声認識装置、音声認識方法、及びナビゲーション装置
US20050234617A1 (en) Driver support system
JP4450028B2 (ja) 経路案内装置
JP2007140978A (ja) 走行支援装置
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
WO2019058781A1 (ja) 駐車支援装置
JP6611083B2 (ja) 車両制御装置
JP4114575B2 (ja) 車両用操作制御装置
JP2002362391A (ja) 車線追従走行制御装置
JP4595504B2 (ja) 車両の可動装備品の調整安全装置
JP2006308507A (ja) 気遣い運転ガイド装置および気遣い運転ガイド方法
JP4912775B2 (ja) 車両の走行安全装置
JP4730833B2 (ja) 運転支援装置
JP5104134B2 (ja) 機能制限解除装置及び車両
JP6604368B2 (ja) 車両制御装置
JP2007069648A (ja) 車両の走行制御装置
JP4429691B2 (ja) 車載用音響装置、車載用音響装置の制御方法、車載用音響装置の制御プログラム、及び記録媒体
JP4950623B2 (ja) 自動制動制御装置
JP2018158701A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
JP6611082B2 (ja) 車両制御装置
JP5299704B2 (ja) 運転操作補助装置
JP6296087B2 (ja) 運転支援装置
JP4989770B2 (ja) 機能制限解除装置
JP4830541B2 (ja) 車両用走行制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees