JP4421549B2 - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP4421549B2 JP4421549B2 JP2005344701A JP2005344701A JP4421549B2 JP 4421549 B2 JP4421549 B2 JP 4421549B2 JP 2005344701 A JP2005344701 A JP 2005344701A JP 2005344701 A JP2005344701 A JP 2005344701A JP 4421549 B2 JP4421549 B2 JP 4421549B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- distance
- road marking
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2004−86363号公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて交差点での運転補助を実行する車両用運転補助装置について記載されている。
また、車両の走行方向に対して垂直方向に線分を有する制御対象(例えば、一時停止線)を走行中の車両に備え付けられたカメラで撮像しようとすると、撮像した画像中の制御対象にブレが生じ、正しく認識できない虞があった。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、「制御対象物」とは、利用者に対して運転の補助(例えば、制御対象物に関する案内を行うこと、車両の制御を行うこと等)を行うべき道路上の対象をいい、例えば、交差点やカーブの進入口等がある。
また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
ナビゲーションECU(運転補助手段、路面標示手段、対象物距離算出手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの道なり距離を、検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
尚、制御対象物までの道なり距離に関して、道路が複数車線からなる場合においては、車線毎の制御対象物までの道なり距離が記録される。
以下の具体例では、車両2が走行する路面60に形成された路面標示の内、特に制御対象物として停止線の路面標示69が対応付けられた「横断歩道有り」の路面標示61を撮像した場合を示すこととする。図4は路面標示61を撮像する車両2を示した上面図、図5は路面標示61を撮像する車両2を示した側面図、図6は図4及び図5の状態における車両2の後方カメラ3によって撮像された撮像画像62を示した模式図である。
図7(A)及び図7(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に複数個設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU6は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
その場合には、距離D2から距離D1を減算することによって、路面標示61の検出時点での車両2から制御対象物までの道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの道なり距離(D2−D1−S)を算出することが可能となる。また、算出された「停止線」の路面標示69までの道なり距離(D2−D1−S)に基づいてブレーキアクチュエータ11を制御することにより、停止線に沿って車両2が停止されるようにブレーキ圧を調整することが可能となる。
そして、図9に示すように、「横断歩道有り」の路面標示71を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示71の検出時点での車両2から制御対象物までのカーブに沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までのカーブに沿った道なり距離(D2−D1−S)を算出することが可能となる。
そして、図10に示すように、「横断歩道有り」の路面標示73を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示73の検出時点での車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1−S)を算出することが可能となる。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。尚、このS3が路面標示検出手段の処理に相当する。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの道なり距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの道なり距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両2から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ3によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置4の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
次に、第2実施形態に係る運転支援装置100について図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第2実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
図12に示すように、第2実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
例えば、第1実施形態及び第2実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB
Claims (4)
- 車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて利用者の運転を補助する運転補助手段と、を有する運転支援装置において、
路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、
前記路面標示から該路面標示に関連付けられた制御対象物までの道なり距離を記憶した道なり距離記憶手段と、
前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示を検出する路面標示検出手段と、
前記車両から前記路面標示検出手段によって検出された路面標示までの距離を取得する距離取得手段と、
前記標示情報記憶手段に記憶された位置情報に基づいて前記路面標示検出手段によって検出される路面標示を特定するとともに、前記特定された路面標示から該路面標示に関連付けられた制御対象物までの道なり距離を前記道なり距離記憶手段から読み出し、前記道なり距離記憶手段から読み出した道なり距離と前記距離取得手段により取得された距離とに基づいて前記車両から検出された前記路面標示に関連付けられた制御対象物までの道なり距離を算出する対象物距離算出手段と、を有し、
前記運転補助手段は、前記対象物距離算出手段の算出結果に基づいて利用者の運転を補助することを有することを特徴とする運転支援装置。 - 車両の駆動を制御する駆動制御手段を有し、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記車両駆動制御手段による駆動の制御を行うことを特徴とする請求項1に記載の運転支援装置。 - 利用者に対して走行に関する案内を行う走行案内手段を備え、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記走行案内手段による案内を行うことを特徴とする請求項1に記載の運転支援装置。 - 車両の現在地を検出する現在地検出手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記路面標示検出手段は、前記路面標示存在判定手段によって路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする請求項1乃至請求項3のいずれかに記載の運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344701A JP4421549B2 (ja) | 2005-11-29 | 2005-11-29 | 運転支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344701A JP4421549B2 (ja) | 2005-11-29 | 2005-11-29 | 運転支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007145251A JP2007145251A (ja) | 2007-06-14 |
JP4421549B2 true JP4421549B2 (ja) | 2010-02-24 |
Family
ID=38207161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005344701A Expired - Fee Related JP4421549B2 (ja) | 2005-11-29 | 2005-11-29 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4421549B2 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009009368A (ja) * | 2007-06-28 | 2009-01-15 | Aisin Aw Co Ltd | 路面標示認識システム |
JP4817019B2 (ja) * | 2007-06-29 | 2011-11-16 | アイシン・エィ・ダブリュ株式会社 | 自車位置認識装置及び自車位置認識プログラム |
JP5067847B2 (ja) * | 2007-07-23 | 2012-11-07 | アルパイン株式会社 | 車線認識装置及びナビゲーション装置 |
US8037678B2 (en) | 2009-09-11 | 2011-10-18 | Sustainx, Inc. | Energy storage and generation systems and methods using coupled cylinder assemblies |
US20100307156A1 (en) | 2009-06-04 | 2010-12-09 | Bollinger Benjamin R | Systems and Methods for Improving Drivetrain Efficiency for Compressed Gas Energy Storage and Recovery Systems |
EP2280841A2 (en) | 2008-04-09 | 2011-02-09 | Sustainx, Inc. | Systems and methods for energy storage and recovery using compressed gas |
US8359856B2 (en) | 2008-04-09 | 2013-01-29 | Sustainx Inc. | Systems and methods for efficient pumping of high-pressure fluids for energy storage and recovery |
US8479505B2 (en) | 2008-04-09 | 2013-07-09 | Sustainx, Inc. | Systems and methods for reducing dead volume in compressed-gas energy storage systems |
US7958731B2 (en) | 2009-01-20 | 2011-06-14 | Sustainx, Inc. | Systems and methods for combined thermal and compressed gas energy conversion systems |
US8225606B2 (en) | 2008-04-09 | 2012-07-24 | Sustainx, Inc. | Systems and methods for energy storage and recovery using rapid isothermal gas expansion and compression |
US8474255B2 (en) | 2008-04-09 | 2013-07-02 | Sustainx, Inc. | Forming liquid sprays in compressed-gas energy storage systems for effective heat exchange |
US8677744B2 (en) | 2008-04-09 | 2014-03-25 | SustaioX, Inc. | Fluid circulation in energy storage and recovery systems |
US8448433B2 (en) | 2008-04-09 | 2013-05-28 | Sustainx, Inc. | Systems and methods for energy storage and recovery using gas expansion and compression |
US8250863B2 (en) | 2008-04-09 | 2012-08-28 | Sustainx, Inc. | Heat exchange with compressed gas in energy-storage systems |
US20110266810A1 (en) | 2009-11-03 | 2011-11-03 | Mcbride Troy O | Systems and methods for compressed-gas energy storage using coupled cylinder assemblies |
US8240140B2 (en) | 2008-04-09 | 2012-08-14 | Sustainx, Inc. | High-efficiency energy-conversion based on fluid expansion and compression |
WO2009152141A2 (en) | 2008-06-09 | 2009-12-17 | Sustainx, Inc. | System and method for rapid isothermal gas expansion and compression for energy storage |
US7963110B2 (en) | 2009-03-12 | 2011-06-21 | Sustainx, Inc. | Systems and methods for improving drivetrain efficiency for compressed gas energy storage |
US8104274B2 (en) | 2009-06-04 | 2012-01-31 | Sustainx, Inc. | Increased power in compressed-gas energy storage and recovery |
JP5573266B2 (ja) * | 2010-03-19 | 2014-08-20 | アイシン・エィ・ダブリュ株式会社 | 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム |
US8171728B2 (en) | 2010-04-08 | 2012-05-08 | Sustainx, Inc. | High-efficiency liquid heat exchange in compressed-gas energy storage systems |
US8191362B2 (en) | 2010-04-08 | 2012-06-05 | Sustainx, Inc. | Systems and methods for reducing dead volume in compressed-gas energy storage systems |
US8234863B2 (en) | 2010-05-14 | 2012-08-07 | Sustainx, Inc. | Forming liquid sprays in compressed-gas energy storage systems for effective heat exchange |
US8495872B2 (en) | 2010-08-20 | 2013-07-30 | Sustainx, Inc. | Energy storage and recovery utilizing low-pressure thermal conditioning for heat exchange with high-pressure gas |
US8578708B2 (en) | 2010-11-30 | 2013-11-12 | Sustainx, Inc. | Fluid-flow control in energy storage and recovery systems |
EP2715075A2 (en) | 2011-05-17 | 2014-04-09 | Sustainx, Inc. | Systems and methods for efficient two-phase heat transfer in compressed-air energy storage systems |
JP5741288B2 (ja) * | 2011-07-27 | 2015-07-01 | アイシン・エィ・ダブリュ株式会社 | 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム |
US20130091835A1 (en) | 2011-10-14 | 2013-04-18 | Sustainx, Inc. | Dead-volume management in compressed-gas energy storage and recovery systems |
TWI494899B (zh) | 2012-12-19 | 2015-08-01 | Ind Tech Res Inst | 影像內週期性雜訊修補方法 |
JP5994923B2 (ja) * | 2015-11-16 | 2016-09-21 | 株式会社Ihi | 車両装置及び地上設備 |
JP6941677B2 (ja) * | 2017-08-25 | 2021-09-29 | 日立Astemo株式会社 | 画像認識装置 |
JP2019212187A (ja) * | 2018-06-08 | 2019-12-12 | スズキ株式会社 | 車両用運転支援装置 |
CN116963949A (zh) * | 2021-03-05 | 2023-10-27 | 株式会社电装 | 车道判断装置、车道变更判定程序以及数据结构 |
-
2005
- 2005-11-29 JP JP2005344701A patent/JP4421549B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007145251A (ja) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4421549B2 (ja) | 運転支援装置 | |
JP4820712B2 (ja) | 路面標示認識システム | |
JP4915739B2 (ja) | 運転支援装置 | |
EP2141678A1 (en) | Driving support system | |
JP4762697B2 (ja) | 車両走行補助システム | |
JP5482167B2 (ja) | 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム | |
JP4886597B2 (ja) | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 | |
JP4613881B2 (ja) | 駐車案内装置 | |
JP6926976B2 (ja) | 駐車支援装置及びコンピュータプログラム | |
JP4637302B2 (ja) | 路面標示認識システム | |
JP2007240198A (ja) | ナビゲーション装置 | |
JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP4888285B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JPWO2008107944A1 (ja) | 車線逸脱防止装置、車線逸脱防止方法、車線逸脱防止プログラム及び記憶媒体 | |
JP4924303B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2008262481A (ja) | 車両制御装置 | |
JP2009009368A (ja) | 路面標示認識システム | |
JP4825555B2 (ja) | 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体 | |
JP5573266B2 (ja) | 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム | |
JP2009002797A (ja) | 車両状態判定装置 | |
JP4725310B2 (ja) | 車車間通信システム | |
JP5564920B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2012250623A (ja) | 車載情報端末 | |
JP2022077198A (ja) | 重畳画像表示装置 | |
JP2007243890A (ja) | 後続車両監視装置、後続車両監視方法、後続車両監視プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091202 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4421549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |