JP3891537B2 - 車両側面監視装置 - Google Patents

車両側面監視装置 Download PDF

Info

Publication number
JP3891537B2
JP3891537B2 JP2000135416A JP2000135416A JP3891537B2 JP 3891537 B2 JP3891537 B2 JP 3891537B2 JP 2000135416 A JP2000135416 A JP 2000135416A JP 2000135416 A JP2000135416 A JP 2000135416A JP 3891537 B2 JP3891537 B2 JP 3891537B2
Authority
JP
Japan
Prior art keywords
vehicle
monitoring camera
monitoring
driver
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000135416A
Other languages
English (en)
Other versions
JP2001315601A (ja
Inventor
雄治 栗本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Elesys Corp
Original Assignee
Nidec Elesys Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Elesys Corp filed Critical Nidec Elesys Corp
Priority to JP2000135416A priority Critical patent/JP3891537B2/ja
Publication of JP2001315601A publication Critical patent/JP2001315601A/ja
Application granted granted Critical
Publication of JP3891537B2 publication Critical patent/JP3891537B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は車両側面監視装置、特にトラックおよびバス等の大型車両のドライバ(運転者)が運転する車両の側方にある他の車両(例えば併走者)等との車間距離を含む安全を監視する車両側面監視装置に関する。
【0002】
【従来の技術】
大型車両等の車両両側面の監視は、従来ドライバが車両の大型サイドミラーを目視により確認して行うのが普通であった。斯かる目視確認は、確認忘れ、ドライバの認識不足による障害物誤認、天候状態等の悪条件による確認不足その他の原因で危険を十分に予知又は回避できない場合がある。また、仮にそれが可能であっても、ドライバの安全確認作業の負担が大きい。
【0003】
そこで、ドライバの負担を軽減する又は安全性を高めるための手段が、例えば次の公知文献に開示されている。即ち、特開昭56−163934号公報の「曲折事故防止装置」、特開平10−187930号公報の「走行環境認識装置」、特開平11−59355号公報の「車間距離警報装置」、特開平11−139229号公報の「走行環境警報装置」、特開平11−212640号公報の「自律走行車両および自律走行車両を制御する方法」および特開2000−11300号公報の「走行位置決定装置」である。これら従来技術の大半は、レーダ装置を単独で使用して前後又は側方の車間距離等を測定し、危険を予知してドライバに警報を発することによりドライバの負担を軽減するものである。
【0004】
【発明が解決しようとする課題】
しかし、斯かる従来技術では、車両側面の安全を十分確実に監視してドライバの安全確認作業の負担を軽減するには不十分である。従って、本発明の目的は、比較的簡単な構成により大型車両等の側面の安全を確保し、ドライバの安全確認作業の負担を軽減可能な車両側面監視装置を提供することである。
【0005】
【課題を解決するための手段】
本発明による車両側面監視装置は、車両の側面のドライバ席近傍に取り付けられ、車両の側面の一部を含む周辺障害物等の映像を撮影する監視用カメラ装置および障害物等の距離を検出するレーダ装置と、ドライバ席の近傍に配置され、監視用カメラ装置が撮影した画像を表示する表示装置およびレーダ装置の検出出力に基づき警報を発する警報装置とを備え、エンジンスタート時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、パーキングブレーキの解除を禁止し、所定以上の車速で走行、かつ、交差点における曲折開始と判断された時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、ブレーキ装置を制御してブレーキ動作を行わせる。また、本発明の好適実施形態例によると、監視用カメラ装置およびレーダ装置は、車両の側面に斜め後ろ向きに所定角度且つペアで取り付けられる。監視用カメラ装置の撮影映像には、車両の最後尾車輪の少なくとも一部を含む。また、車両の舵角を検出する舵角センサと、この舵角センサの検出出力に基づき車両の最後尾車両が描く案内線を求める制御部とを含み、表示装置に監視カメラ装置の撮影画像と共に案内線を表示する。
【0006】
また、本発明の車両側面監視装置の好適実施形態例によると、車両側面に取り付けられ、車両最後尾車輪および車両側面の少なくとも一部分を含む側面周辺画像を撮影する監視用カメラ装置と、車両の舵角を検出する舵角センサに基づき最後尾車輪が描く案内線を得る制御装置と、側面周辺画像および案内線を合成して表示する表示装置とを備え、エンジンスタート時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、パーキングブレーキの解除を禁止し、所定以上の車速で走行、かつ、交差点における曲折開始と判断された時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、ブレーキ装置を制御してブレーキ動作を行わせる。好適実施形態例によると、監視用カメラ装置は、車両のドライバ席から遠い側の側面に斜め後ろ向きに所定角度で取付けられる。監視カメラ装置は、車両の両側面に取付けられた1対の監視カメラ装置よりなる。
【0007】
【発明の実施の形態】
以下、本発明による車両側面監視装置の好適実施形態例の構成および動作を、添付図を参照して詳細に説明する。
【0008】
先ず、本発明による車両側面監視装置は、大型車両等で死角となりがちな車両側面をレーダ装置と監視カメラの組み合わせを使用して監視することにより、ドライバがサイドミラーを目視するのみでは見落としがちな運行開始前の車両側面における障害物の検知、走行時における併走車接近検知、車線変更時における側面併走車の検知、交差点における曲折時の車両側面障害物巻き込み防止および曲折運行アシスト機能を有し、運行時にドライバが受けるストレス又は負担を軽減し安全でスムーズな走行を可能とするものである。
【0009】
図1は、本発明による車両側面監視装置を取り付けた車両および併走車両を示す平面図である。また、図2は、図1に示す車両側面監視装置の車両側面への取り付け状態を示す図である。図1において、大型車両1は、ドライバ席2、車両1の左右両側面3に取り付けられた車両側面監視装置4および最後尾車輪5を有する。また、図1中には、この大型車両1の左側部を走行する小型車両6も示している。
【0010】
図1において、車両側面監視装置4は、大型車両1の側面3に取り付けられたレーダ装置12(例えばミリ波レーダ、レーザレーダ装置等)および監視用カメラ装置13(CCDカメラ等)を含んでいる。各車両側面監視装置4は、それぞれペアで側面3および最後尾車輪5の少なくとも一部分を含むその周辺を監視できるよう、大型車両1の側面3であって、ドライバ席2の近傍に斜め後ろ向きに特定角度θで取り付けられている。
【0011】
次に、図3は、本発明による車両側面監視装置4の具体的構成例を示すブロック図である。この車両側面監視装置4は、スタータスイッチ(SW)11、レーダ装置12、監視用カメラ装置13、
方向指示スイッチ14、角センサ15、車輪速センサ16、警報装置17、ブレーキ装置18、表示装置19および制御装置20より構成される。また、制御装置20は、CPU(中央演算処理装置)21およびメモリ22を含んでいる。
【0012】
図3に示す車両側面監視装置4を構成する各構成要素の機能を説明する。スタータスイッチ11は、車両1のエンジンの始動時にONとなる。レーダ装置12は、車両1の側面3にある障害物等を検知し、この障害物までの距離を測定する。監視用カメラ装置13は、車両1の側面近傍の障害物等を監視する。方向指示スイッチ14は、車両曲折時を検出する。角センサ15は、車両1のハンドル角を検出する。車輪速センサ16は、車両1の車速を検出する。警報装置17は、車両1のドライバへ警告を促すためのものである。ブレーキ装置18は、車両1を停止させる。表示装置19は、車両1の側面3の状態および最後尾車輪5が描く予測軌跡(案内線)を表示する。制御装置20は、上述した各センサや装置を制御するCPU21およびメモリ22を備える。表示装置19は、CRT(ブラウン管)でも良いが、周知の蛍光表示管又はEL(エレクトロルミネッセンス)表示パネル等の高発光輝度のフラット表示パネルが好ましい。
【0013】
次に、図1、図2および図3を参照して本発明による車両側面監視装置の動作を説明する。図1に示す如く、車両側面監視装置4のレーダ装置12および監視用カメラ装置13は、大型車両1の側面3に斜め後ろ向きに角度θで取り付けられている。
【0014】
図3において、車両1のスタータスイッチ11をオンとして、エンジンがスタートすると、運行開始前の車両側面3における障害物(以下「側面障害物」という)の検知を開始する。制御装置20は、レーダ装置12を使用して「側面障害物」の確認を行う。「側面障害物」が車両1の側面3に存在する場合には、レーダ装置12は、「側面障害物」までの距離データγを制御装置20に返す。制御装置20は、距離データγより車両側面3と「側面障害物」までの距離xを次式(1)から算出する。
x=γ*sin(90°−θ) (1)
【0015】
予め設定されている停車時障害物の警報距離範囲値a1(例えば2m)と比較して、次式(2)と判定された場合には、
x≦a1 (2)
警報装置17を用いてドライバに警告を行う。また同時に、監視用カメラ装置13からの映像を表示装置19に表示して、警告対象障害物を映し出す。制御装置20は、この時ブレーキ装置18を制御し、障害物が取り除かれない限りパーキングブレーキの解除を行わないようロックを行う。
【0016】
次に、車両1が走行を開始すると、制御装置20は、車輪速センサ16を用いて車両1の車速を監視する。車速がα1(例えば時速20km)以上になると、併走車接近検知を開始する。制御装置20は、レーダ装置12を使用して併走車(例えば図1の車両6)の検知および監視を行う。この併走車を検知した場合には、予め設定されている併走車の接近警報距離範囲値b1(例えば3m)と併走車までの距離を比較する。この距離が、次式(3)と判定された場合には、
x≦b1 (3)
ドライバへ警報装置17と表示装置19を用いて併走車接近警告を与える。走行中のブレーキ装置18の操作は、逆に危険を伴うことより、ブレーキ装置18の制御による車両減速措置等は行わない。
【0017】
車速がα2(例えば50km)以上で方向指示スイッチ14がオンとされ、角センサ15からの信号がβ1(例えば5度)以上ハンドルが切られたことを制御装置20が検知すると、車線変更開始と判断する。そして、車線変更時における側方併走車(図1の車両6)の検知を開始する。車線変更時における障害物警報距離範囲c1(例えば5m)以内の併走車有無を、レーダ装置12を用いて監視する。ここで、併走車6までの距離が次式(4)と判断された場合には
x≦c1 (4)
警報装置17および表示装置19を用いてドライバに対して併走車6の存在を警告する。併走車接近検知時と同様にブレーキ操作は行わない。
【0018】
車速がα3(例えば5km)以上且つα4(例えば20km)以下にて方向指示スイッチ14がオンにされ、角センサ15からの信号がβ2(例えば10度)以上ハンドルが切られたことを制御装置20が検知すると、交差点における曲折開始と判断し、曲折時における車両側面障害物巻き込み防止および曲折運行アシストを開始する。先ず、曲折時障害物警報距離範囲d1(例えば2m)以内の障害物監視をレーダ装置12にて行い、障害物が車両側面3の近傍にあり車両側面3までの距離が次式(5)と判断された場合には、
x≦d1 (5)
警報装置17と表示装置19を用いて障害物の存在をドライバへ警告し且つ制御装置20は、ブレーキ装置18を制御して車両1を緊急停止させる。
【0019】
次に、図4の「曲折アシスト機能表示例」を参照して、大型車両1の曲折運行アシスト動作を説明する。この曲折アシスト動作は、監視用カメラ装置13により撮影して表示装置19に映し出された車両側面3、最後尾車輪5および障害物43を含んだ周辺画像(側面周辺画像)41に車両1の最後尾車輪5が曲折に際し、これから描くであろう軌跡の案内曲線(案内線)42を重ね合わせて表示する。この案内線42は、制御装置12が角センサ15の信号によりハンドルの角を判断し、メモリ22に記憶されている各角における軌跡曲線である案内線42を表示装置19に表示する。そこで、ドライバは、案内線42を参考に表示装置19に映し出された車両側面3と障害物43との間合いを見て接触することなく安全に曲がれるか否かの判断が容易にでき、大型車両1の安全な曲折を可能とする。
【0020】
以上、本発明による車両側面監視装置の好適実施形態例の構成および動作を詳述した。しかし、斯かる実施形態例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意するべきである。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。例えば、車両側面監視装置は、必ずしも車両の両側面に設ける必要はなく、少なくともドライバから遠い側の一方の側面に設けるのが好ましい。
【0021】
【発明の効果】
以上の説明から明らかな如く、本発明の車両側面監視装置によると、次の如き種々の実用上の効果を有する。第1に、従来は、主として運転者の視覚でしか判断できなかった車両側面の併走車、曲折時の障害物の有無および距離を検出する手段を設けたため、車線変更および曲折時の併走車や障害物との接触事故を一層確実に回避することが可能になる。その理由は、従来技術によると、大型車両では死角である車両側面の確認は、鏡面を大きくしたり角度を加工したサイドミラーを使用してドライバの目視による確認に頼っていた。しかし、本発明の車両側面監視装置によると、レーダ装置および監視用カメラ装置の組み合わせにより、センサによる検出とドライバの表示装置画面による目視という2つの確認手段を設けたためである。
【0022】
第2に、曲折ガイド機能により大型車両の曲折時におけるドライバへの負担を軽減することが可能である。その理由は、大型車両曲折時には内外輪差が大きいため最後尾車輪が縁石等の障害物に接触しないように交差点を大回りする等の対策が必要になる。しかし、どの程度大回りをするかはドライバの長年の経験等に依存する。運転経験の浅いドライバは勿論のこと、経験を有するドライバでも判断間違えすると、縁石や付近の障害物に接触する等の危険が伴う。また、ドライバは、障害物に注意しながら且つ操作の難しい大型車両を運転しなければならないという負担を強いられていたが、レーダ装置で交差点内の障害物有無および車両側面との距離を監視し、更に曲折アシスト機能によりこれらの負担から大幅に解放されるためである。
【0023】
第3に、ドライバは、常に安全で快適な状態で車両を運行できる。その理由は、運行開始時、走行時、車線変更時および曲折時の殆どの運行状態において安全確認効果を発揮するので、従来のドライバへの負担が軽減されるためである。
【図面の簡単な説明】
【図1】本発明による車両側面監視装置を備える大型車両および併走車を示す上面図である。
【図2】図1に示す大型車両の側面に車両側面監視装置を取り付け状態を示す図である。
【図3】本発明による車両側面監視装置の構成を示すブロック図である。
【図4】本発明による車両側面監視装置の表示装置に表示された曲折アシスト表示例である。
【符号の説明】
1 車両
3 車両側面
4 車両側面監視装置
5 最後尾車輪
12 レーダ装置
13 監視用カメラ
17 警報装置
19 表示装置
20 制御装置
41 側面周辺画像
42 案内線
43 障害物

Claims (7)

  1. 車両の側面のドライバ席近傍に取り付けられ、前記車両の側面の一部を含む周辺の障害物等の映像を撮影する監視用カメラ装置および障害物等の距離を検出するレーダ装置と、前記ドライバ席の近傍に配置され前記監視用カメラが撮影した映像を表示する表示装置および前記レーダ装置の検出出力に基づき警報を発する警報装置とを備え、
    エンジンスタート時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、パーキングブレーキの解除を禁止し、
    所定以上の車速で走行、かつ、交差点における曲折開始と判断された時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、ブレーキ装置を制御してブレーキ動作を行わせることを特徴とする車両側面監視装置。
  2. 前記監視カメラ装置およびレーダ装置は、前記車両の側面に斜め後ろ向きに予め定めた角度且つペアで取り付けられることを特徴とする請求項1に記載の車両側面監視装置。
  3. 前記監視用カメラの撮影画像には、前記車両の最後尾車輪の少なくとも一部を含むことを特徴とする請求項1に記載の車両側面監視装置。
  4. 前記車両の舵角を検知する舵角センサと、該舵角センサの検出出力に基づき前記車両の最後尾車輪が描く案内線を求める制御装置とを含み、前記表示装置に前記監視カメラ装置の画像と共に前記案内線を表示することを特徴とする請求項1、2又は3に記載の車両側面監視装置。
  5. 車両側面に取り付けられ、車両最後尾車輪および前記車両側面の少なくとも1部分を含む側面周辺画像を撮影する監視カメラ装置と、前記車両の舵角を検出する舵角センサに基づき前記最後尾車輪の描く案内線を得る制御装置と、前記側面周辺画像および前記案内線を合成して表示する表示装置とを備え、
    エンジンスタート時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、パーキングブレーキの解除を禁止し、
    所定以上の車速で走行、かつ、交差点における曲折開始と判断された時に前記障害物等までの側面距離が警告距離以内にあるときにはドライバへの警報を発し、前記監視用カメラが撮影した映像を表示装置に表示するとともに、ブレーキ装置を制御してブレーキ動作を行わせることを特徴とする車両側面監視装置。
  6. 前記監視カメラ装置は、前記車両のドライバ席から遠い側の側面に斜め後ろ向きに所定角度で取り付けられることを特徴とする請求項5に記載の車両側面監視装置。
  7. 前記監視用カメラ装置は、前記車両の両側面に取り付けられた1対の監視用カメラ装置であることを特徴とする請求項5に記載の車両側面監視装置。
JP2000135416A 2000-05-09 2000-05-09 車両側面監視装置 Expired - Fee Related JP3891537B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000135416A JP3891537B2 (ja) 2000-05-09 2000-05-09 車両側面監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000135416A JP3891537B2 (ja) 2000-05-09 2000-05-09 車両側面監視装置

Publications (2)

Publication Number Publication Date
JP2001315601A JP2001315601A (ja) 2001-11-13
JP3891537B2 true JP3891537B2 (ja) 2007-03-14

Family

ID=18643496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000135416A Expired - Fee Related JP3891537B2 (ja) 2000-05-09 2000-05-09 車両側面監視装置

Country Status (1)

Country Link
JP (1) JP3891537B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004038494A1 (de) 2004-08-07 2006-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
JP4645254B2 (ja) * 2005-03-24 2011-03-09 アイシン・エィ・ダブリュ株式会社 車両周辺視認装置
US8130269B2 (en) 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP5071702B2 (ja) * 2005-07-26 2012-11-14 アイシン精機株式会社 障害物検知システム
US8170788B2 (en) 2006-06-11 2012-05-01 Volvo Technology Corporation Method and apparatus for using an automated lane keeping system to maintain lateral vehicle spacing
JP5091447B2 (ja) * 2006-09-25 2012-12-05 株式会社タダノ 作業機搭載車両の周辺監視支援装置
JP4781394B2 (ja) * 2008-05-22 2011-09-28 三菱電機株式会社 駐車支援装置
JP2012156903A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 車両周辺監視装置
GB2492435A (en) * 2012-03-29 2013-01-02 Peter Le Masurier Collision warning system which displays a live video image to a driver when a vulnerable vehicle is detected
CN104756173B (zh) * 2012-09-17 2018-02-06 沃尔沃拉斯特瓦格纳公司 用于将基于背景的指导消息提供给汽车驾驶员的方法
CN103802729A (zh) * 2014-03-04 2014-05-21 石春 一种电动汽车的辅助驾驶系统
US20180032822A1 (en) * 2016-08-01 2018-02-01 Ford Global Technologies, Llc Vehicle exterior monitoring
KR101865766B1 (ko) 2016-10-11 2018-06-11 주식회사 피엘케이 테크놀로지 대형 차량의 이동 객체 충돌 경고 장치 및 방법
KR101955506B1 (ko) 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
CN107089194A (zh) * 2017-06-13 2017-08-25 刘俊 汽车内轮差主动防御系统
CN112937445B (zh) * 2021-03-25 2022-08-12 深圳安智物联科技有限公司 360°车辆安全辅助方法及车载系统
KR102486170B1 (ko) * 2022-08-25 2023-01-10 (주)디텍코리아 버스 측방 경고 시스템

Also Published As

Publication number Publication date
JP2001315601A (ja) 2001-11-13

Similar Documents

Publication Publication Date Title
JP3891537B2 (ja) 車両側面監視装置
EP1308346B1 (en) Device for monitoring area around vehicle
JP6897340B2 (ja) 周辺監視装置
EP1350671B1 (en) Vehicle periphery monitor
US8120476B2 (en) Digital camera rear-view system
JP4193815B2 (ja) 車線逸脱警報装置
JP4100026B2 (ja) 発進支援装置
US20080049150A1 (en) Method of determining the passage of a vehicle through a gap
US20140172239A1 (en) Turning guide assistant for trailer towing
US20070132563A1 (en) Speed-sensitive rear obstacle detection and avoidance system
JP4852941B2 (ja) 車載警報装置
JP5401961B2 (ja) 操舵支援装置
JP2008143263A (ja) 車両の走行制御装置
JP2006331323A (ja) 車両逸脱警報装置
CN110723140B (zh) 变道过程中的车辆控制方法、装置及计算设备
JP2008056136A (ja) 車両用注意喚起システム、車両の注意喚起方法
WO2012045323A1 (en) Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle
JP6549958B2 (ja) 自動運転装置
JP6553470B2 (ja) 危険度算出装置
JP3900814B2 (ja) 運転支援システム
WO2021149543A1 (ja) 車線逸脱防止装置の制御装置
JP3171916B2 (ja) 車両の安全装置
TWM590547U (zh) 用於車輛的顯示裝置
JP2012147285A (ja) バックモニタ装置
JP3767610B2 (ja) 駐車補助装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040617

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040623

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees