JP4092974B2 - 車両用走行制御装置 - Google Patents
車両用走行制御装置 Download PDFInfo
- Publication number
- JP4092974B2 JP4092974B2 JP2002224400A JP2002224400A JP4092974B2 JP 4092974 B2 JP4092974 B2 JP 4092974B2 JP 2002224400 A JP2002224400 A JP 2002224400A JP 2002224400 A JP2002224400 A JP 2002224400A JP 4092974 B2 JP4092974 B2 JP 4092974B2
- Authority
- JP
- Japan
- Prior art keywords
- road boundary
- road
- boundary line
- vehicle
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、走行路境界線により推定した走行路に基づいて走行制御を行う車両用走行制御装置の技術分野に属する。
【0002】
【従来の技術】
この種の車両用走行制御装置としては、走行路の推定に用いる検出位置で走行路境界線(車線)が検出されなかった場合、その検出されなかった車線が過去の検出時に実際に検出されているとき、その位置情報に基づいて現在の車線検出位置における車線の位置を推定し、推定された車線位置に基づいて走行路を推定する技術が知られている。
【0003】
すなわち、この従来技術は、走行路の検出に用いる第1走行路境界線検出位置、およびその先方に位置する第2走行路境界線検出位置に存在する各走行路境界線の位置情報を抽出して記憶する。そして、第1の走行路検出位置において走行路境界線が検出されないとき、走行路境界線が第2走行路境界線検出位置に存在したときに記憶した前回の走行路境界線の位置情報を用いて走行路を推定するものである。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、第1走行路境界線検出位置で走行路境界線が検出されず、かつ、過去の検出時に第2走行路境界線検出位置でも対応する走行路境界線が検出されていない場合、走行路を検出することができないため、走行制御が不可能になるという問題があった。
【0005】
本発明は、上記問題に着目してなされたもので、その目的とするところは、大型トラック等の影、道路の分岐、交差点等の検出が困難、あるいは不可能な走行路境界線を推定でき、走行制御を継続して行うことができる車両用走行制御装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明では、自車前方の第1走行路境界線検出位置と、その前方の第2走行路境界線検出位置の画像データを撮像する撮像手段と、撮像された画像データに基づいて、第1走行路境界線検出位置と第2走行路境界線検出位置に存在する走行路境界線を検出する境界線検出手段と、検出された走行路境界線の特徴を記憶する境界線記憶手段と、地図情報と自車位置情報から道路情報を検出する道路情報検出手段と、検出された走行路境界線と道路情報から走行車線の状態を認識する車線認識手段と、自車の走行状態を検出する走行状態検出手段と、を備えた車両用走行制御装置において、前記車線認識手段は、第1走行路境界線検出位置に走行路境界線が検出されず、かつ、前回の検出時に第2走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶された過去の第1走行路境界線検出位置で検出された走行路境界線の特徴と前記道路情報とに基づいて、現在の第1走行路境界線検出位置における走行路境界線を推定し、推定した走行路境界線と前記道路情報から走行車線の状態を認識することを特徴とする。
【0007】
本発明の車両用走行制御装置にあっては、車線認識手段は、現在第1走行路境界線検出位置に走行路境界線が検出されず、過去の第2走行路境界線検出位置でも走行路境界線が検出されていないとき、過去に第1走行路境界線検出位置で検出された走行路境界線と、カーナビゲーションシステム等からの道路情報(例えば、道路曲率等)に基づいて、現在の第1走行路境界線検出位置における走行路境界線を推定し、推定した走行路境界線と前記道路情報から走行車線の状態を認識する。
【0008】
よって、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因や、カーブにより車線認識が一次的に困難な場合であっても、走行路境界線を推定でき、走行制御を継続して行うことができる。
【0009】
【発明の実施の形態】
以下、本発明の車両用走行制御装置を実現する実施の形態を、第1実施例に基づいて説明する。
【0010】
(第1実施例)
まず、構成を説明する。
図1は、第1実施例の構成を示すブロック図である。
【0011】
図において、1はカメラ(撮像手段)、2は候補線抽出手段(境界線検出手段)、3は車線認識手段(車線認識手段)、4は車両状態検出手段(走行状態検出手段)、5は道路状態検出手段(道路情報検出手段)、6は走行制御手段、7は操舵補助手段、8はブザー、9は表示器である。
【0012】
前記カメラ1は、走行中の車両前方の道路画像を、例えば、1秒間に30フレーム撮像する。
前記候補線抽出手段2は、カメラ1により撮像された画像データから走行車線を区別する走行路境界線の候補線を抽出する。
【0013】
前記車線認識手段3は、抽出された候補線と検出された道路状態とから、走行車線を認識する。
前記車両状態検出手段4は、走行中の自車両の車速と舵角とを検出する。
【0014】
前記道路状態検出手段5は、カーナビゲーションシステム等を用いて、走行中の道路環境情報を検出する。
前記走行制御手段6は、認識した走行車線と、車速や舵角等の車両状態とから操舵補助の必要性を判断し、この判断に基づいて制御指令を出力する。
【0015】
前記操舵補助手段7は、走行制御手段6から出力された制御指令に基づき、運転者の操舵を補助する制御を行う。
前記ブザー8は、図示しない車線逸脱警報装置により自車が走行路境界線から逸脱すると判断されたとき、警告音を発して運転者へ逸脱警告を行う。また、前記表示器9は、点灯により逸脱警告を行う。
【0016】
次に、車線認識制御について説明する。
前記候補線抽出手段2は、画像処理装置を含み、カメラ1により撮像された画像データから走行車線を区別する走行路境界線としての候補線を抽出する。画像処理装置は、画像データを、例えば1フレームが512×480画素の256階調モノクロ濃淡画像情報として所定時間毎に連続的に記憶する。記憶された1フレーム分の画像データは、画面の横方向をX座標、縦方向をY座標として、画素毎にG(x,y)のように画素を特定する座標が割り付けられる。
【0017】
次に、入力した画像データのエッジ点を抽出する。エッジ点の抽出処理では、入力画像G(x,y)に対してX方向の一次微分を求め、その値Sx(x,y)を入力画像のG(x,y)の濃度値とする。
【0018】
続いて、閾値CsとSx(x,y)とを比較し、Sx(x,y)>Csの画素をエッジ点と判断する。これにより、2値(または3値)のエッジ画像が得られる。ここで、エッジ点とは、明るさの急激に変化する点を意味する。
【0019】
次に、図2に示すように、エッジ画像において車両に設置したカメラ1の取り付け姿勢から予測される走行路境界線の存在領域付近に検出ウィンドウ(ウィンドウ)11を設定する。片側の走行路境界線につき、例えば、上下に2つのウィンドウを設定する。
【0020】
続いて、ウィンドウ11内において走行路境界線を示すと思われる直線の検出処理を実行する。この検出処理は、ウィンドウ11内において、上底の任意のエッジ点1点と、下底の任意のエッジ点1点とを結んで形成される線分上の特徴量となるエッジ点の和(画素数に相当)を算出して記録する。この処理を、上底の各点と下底の各点とを結ぶ全線分(n×m本)に対して実行し、線分上のエッジ点数が最大の線分を検出走行路境界線12とする。ウィンドウ11内で検出された直線成分を、走行路を推定算出するための候補として考え、もう一方のウィンドウ11内で検出された検出走行路境界線とともに候補線(または候補位置)とする。つまり、図3に示すように、各ウィンドウ11に候補線13が少なくとも1つ検出される。この候補線13を検出することで、候補点のみ検出する場合に比して、エッジ点の検出バラツキに対する信頼性を向上させることができる。
【0021】
次に、車線認識手段3では、候補選抽出手段2の抽出結果に基づいて、ウィンドウ毎の候補線13でレーンマーカを折れ線近似した形状で自車線領域を認識する。あるいは、レーンマーカを2次元のモデル式に当てはめて自車線領域を認識しても良い。
【0022】
ここで、走行車線の少なくとも片側一方の走行路境界線を認識するためには、走行路が直線路であるならば、少なくとも2本の候補線、もしくは1本の線とその傾きが必要である。
【0023】
便宜上、図4に示すように、撮像フレーム14の検出ウィンドウ11内で候補線13が検出された状態を1、ノイズ等の外乱要因により検出されなかった状態を0として、走行車線最遠方のウィンドウ2点に注目し、最遠方のウィンドウを第2ウィンドウ11b、その手前のウィンドウを第1ウィンドウ11aとする。
【0024】
従来技術では、現在において第1ウィンドウ11aで候補線または候補点が検出されず、かつ過去の検出時に、第2ウィンドウ11bでも対応する候補選または候補点が検出されない場合には、制御不可能となっていたが、本発明では、その場合に着目する。
【0025】
走行中に第1,第2ウィンドウ11a,11bの候補線または候補点が検出できない状態として、1つ過去において下記に示す(1)〜(3)の3通りが考えられる。
【0026】
【表1】
(過去の状態(1))
下表は、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因やカーブなどにより、車線認識が一次的に困難となった場合を示す。
【0027】
【表2】
この場合は、現在に対して1つ過去に遡り、すでに走行していた状態で検出されている第2ウィンドウ11bの候補線状態から、現在の第1ウィンドウ11aの候補点13を推定し、道路形状を検出する。
【0028】
(過去の状態(2))
下表は、(1)の状態に加えて分岐地点や合流地点、一般路の交差点など、周期的な道路形状で一次的に車線が認識困難となった場合を示す。
【0029】
【表3】
この場合、1つ戻った過去(前回)の候補点検出状態(前回の第1ウィンドウの検出結果の記憶)と、車両から得られる走行道路状態、例えばカーナビゲーションシステム、VICS、衛星から撮影された写真などにより道路形状ρを用いることにより、車線状態を検出できる。
【0030】
(過去の状態(3))
下表は、現在に対して1つ過去に戻った検出状態においても走行路境界線候補点が検出できなかった場合を示す。
【0031】
【表4】
この場合には、さらに過去に戻って検出された候補点状態と走行中の前方走行路状態から道路曲率ρを用いることにより、走行路を推定する。
【0032】
ここで、直線路検出が続いている走行車線の認識状態の信頼性を向上させるため、参照する過去ウィンドウ検出状態を過去に検出されたAの平均値Aavrとしてこの値を参照しても良い。
【0033】
過去において候補点13が検出されない状態が続いている場合には、検出された道路曲率ρが走行制御装置の仕様規格、例えば車線逸脱警告では、暫定案として、(i)20[m/s]かつ、R500以上、(ii)17[m/s]かつ、R250(R120)以上、を満たさない場合には走行路境界線が検出不可能であり、制御不可能とする。また、他の手段によって道路曲率などの情報が検出できない場合においても、走行路境界線が検出不可能として、制御不可能とする。
【0034】
次に、車線逸脱警報装置を備えた車両に本発明を適用した場合の逸脱警告制御例について説明する。
図6は、逸脱警告制御の流れを示すフローチャートである。
【0035】
ステップ101では、図5に示す車両のヨー角φrをヨーレイトセンサ等により検出する。
【0036】
ステップ102では、車両のヨー角φrが所定値以上であるかどうかを判断する。所定値以上の場合にはステップ103へ進み、所定値より小さい場合にはステップ101へ戻る。ここで、所定値とは、ヨー角φrがほとんど発生しない直進に近い状態を示している。
【0037】
ステップ103では、ヨー角方向に走行路境界線を検出できるかどうかを判断する。検出できない場合にはステップ104へ進み、検出できる場合にはステップ105へ進む。
【0038】
ステップ104では、検出されない走行路境界線を、上述した推定方法に基づいて推定する。
【0039】
ステップ105では、仮に逸脱予想時間を1秒として、下記(1),(2)式を用いて前方注視点を算出し、車線逸脱予想を行う。
Ls=V×Ttlc ...(1)
Ys=Ycr+Lsφr ...(2)
なお、図5に示すように、Ys[m]は前方注視点、Ycr[m]は車両横変位(カメラ)、V[m/s]は車速、Ttlcは逸脱予測時間、例えば1.0[sec]である。
【0040】
ステップ106では、車両が走行路境界線から逸脱しているかどうかを、前方到達予想位置が走行路境界線に到達したかどうかに基づいて判断する。到達している場合にはステップ107へ進み、到達していない場合にはステップ105に戻る。ここで、到達の基準は、例えば、車両に備えられた前輪の一方が、逸脱予測時間(例えば1.0[sec])で到達する位置とする。
【0041】
ステップ107では、ブザー8や表示器9により運転者に逸脱警告を行い、本制御を終了する。
【0042】
すなわち、一次的に走行路境界線の検出が困難な状況においても、前方到達位置と走行路境界線を推定し、前方到達位置が走行路境界線に実際に到達する前に、逸脱警告をすることができる。さらに、ヨー角が発生しない場合には、不必要な検出を減らして走行制御装置6への負荷を軽減することができる。
【0043】
次に、効果を説明する。
本実施例の車両用走行制御装置にあっては、下記に列記する効果を得ることができる。
【0044】
(1) 第1検出ウィンドウ11aで走行路境界線が検出されず、過去においても第2検出ウィンドウ11bで走行路境界線が検出されなかった場合、過去に第1検出ウィンドウ11aで検出された走行路境界線とカーナビゲーションシステム等からの道路情報(例えば、道路曲率等)に基づいて、現在の第1検出ウィンドウ11aに位置する走行路境界線を推定し、推定された走行路境界線の特徴に基づいて走行車線を推定することとしたため、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因や、カーブにより車線認識が一次的に困難な場合であっても、走行路境界線を推定でき、安定した走行制御を行うことができる。
【0045】
(2) 高解像度の撮像素子を用いた検出ウィンドウ11を設定することにより、走行路境界線検出の信頼度を大幅に向上させることができる。すなわち、検出ウィンドウ11内にエッジ点の抽出後、走行路境界線のベースとなる候補線を引く際に、エッジ点のばらつきを吸収するように、ウィンドウ11の上底から下底間で、エッジ点の点数が集中する部分に線を引いて近似させるため、エッジ点のノイズによるばらつきが解消され、走行路境界線の検出精度が向上する。
【0046】
(3) 過去に第1検出ウィンドウ11aと第2検出ウィンドウ11bでともに走行路境界線が検出されなかった場合、さらに過去に第1検出ウィンドウ11aまたは第2検出ウィンドウ11bで検出された走行路境界線とカーナビゲーションシステム等からの道路情報(例えば、道路曲率等)に基づいて、現在第1検出ウィンドウ11aに位置する走行路境界線を推定することとしたため、検出不可能な状態が継続する道路の分岐、合流等の走行路境界線も有る程度の信頼度で認識し続けることができる。
【0047】
(4) 走行路境界線が検出されないとき、推定された走行路境界線に基づいて自車の逸脱可否判断を行うことにより、自車の逸脱可否判断を正確に行うことができ、逸脱警告制御の信頼性をより高めることができる。
【0048】
(その他の実施例)
以上、本発明の車両用走行制御装置を第1実施例に基づき説明してきたが、本発明の具体的な構成については、各実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【図面の簡単な説明】
【図1】第1実施例の構成を示すブロック図である。
【図2】検出ウィンドウの構成を示す図である。
【図3】候補点の検出を示す図である。
【図4】検出ウィンドウと候補点の関係を示す図である。
【図5】前方注視点の算出方法を示す説明図である。
【図6】逸脱警告制御の流れを示すフローチャートである。
【符号の説明】
1 カメラ
2 候補線抽出手段
3 車線認識手段
4 車両状態検出手段
5 道路状態検出手段
6 走行制御手段
7 操舵補助手段
8 ブザー
9 表示器
11 検出ウィンドウ
12 検出走行路境界線
13 候補線
14 撮像フレーム
Claims (4)
- 自車前方の第1走行路境界線検出位置と、その前方の第2走行路境界線検出位置の画像データを撮像する撮像手段と、
撮像された画像データに基づいて、第1走行路境界線検出位置と第2走行路境界線検出位置に存在する走行路境界線を検出する境界線検出手段と、
検出された走行路境界線の特徴を記憶する境界線記憶手段と、
地図情報と自車位置情報から道路情報を検出する道路情報検出手段と、
検出された走行路境界線と道路情報から走行車線の状態を認識する車線認識手段と、
自車の走行状態を検出する走行状態検出手段と、
を備えた車両用走行制御装置において、
前記車線認識手段は、第1走行路境界線検出位置に走行路境界線が検出されず、かつ、前回の検出時に第2走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶された過去の第1走行路境界線検出位置で検出された走行路境界線の特徴と前記道路情報とに基づいて、現在の第1走行路境界線検出位置における走行路境界線を推定し、推定した走行路境界線と前記道路情報から走行車線の状態を認識することを特徴とする車両用走行制御装置。 - 請求項1に記載の車両用走行制御装置において、
前記撮像手段は、撮像素子を備え、
この撮像素子を上下に2分割して検出ウィンドウを設定し、
この検出ウィンドウの下側のウィンドウに表示される位置を第1走行路境界線検出位置、上側のウィンドウに表示される位置を第2走行路境界線検出位置としたことを特徴とする車両用走行制御装置。 - 請求項1または請求項2に記載の車両用走行制御装置において、
前記車線認識手段は、過去に第1走行路境界線検出位置と第2走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶されたさらに過去の第1走行路境界線検出位置で検出された走行路境界線、または第2走行路境界線検出位置で検出された走行路境界線の特徴と道路情報とに基づいて、現在の第1走行路境界線検出位置における走行路境界線を推定することを特徴とする車両用走行制御装置。 - 請求項1ないし請求項3のいずれか1項に記載の車両用走行制御装置において、
認識された走行車線と自車の走行状態に基づいて自車の走行を制御する走行制御手段と、
認識された走行路境界線に基づいて自車の逸脱可否判断を行う車線逸脱判断手段と、
自車が走行路境界線から逸脱すると判断されたとき、運転者に警告を行う逸脱警告手段と、を設け、
前記車線逸脱判断手段は、走行路境界線が検出されないとき、推定された走行路境界線に基づいて自車の逸脱可否判断を行うことを特徴とする車両用走行制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002224400A JP4092974B2 (ja) | 2002-08-01 | 2002-08-01 | 車両用走行制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002224400A JP4092974B2 (ja) | 2002-08-01 | 2002-08-01 | 車両用走行制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004070383A JP2004070383A (ja) | 2004-03-04 |
JP4092974B2 true JP4092974B2 (ja) | 2008-05-28 |
Family
ID=32012364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002224400A Expired - Fee Related JP4092974B2 (ja) | 2002-08-01 | 2002-08-01 | 車両用走行制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4092974B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4291741B2 (ja) | 2004-06-02 | 2009-07-08 | トヨタ自動車株式会社 | 車線逸脱警報装置 |
JP3912416B2 (ja) | 2005-05-31 | 2007-05-09 | トヨタ自動車株式会社 | 車両逸脱防止制御装置 |
JP5141599B2 (ja) * | 2009-03-06 | 2013-02-13 | 日産自動車株式会社 | 車線認識装置及び方法 |
JP2011170596A (ja) * | 2010-02-18 | 2011-09-01 | Renesas Electronics Corp | 区画線認識システム、区画線認識方法、及び区画線認識プログラム |
JP5464054B2 (ja) * | 2010-05-27 | 2014-04-09 | 日産自動車株式会社 | 道路環境情報取得装置及びその方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3351247B2 (ja) * | 1996-07-29 | 2002-11-25 | トヨタ自動車株式会社 | 走行制御装置 |
JPH11232467A (ja) * | 1998-02-18 | 1999-08-27 | Aqueous Reserch:Kk | 分岐認識装置及び分岐認識方法 |
KR100305797B1 (ko) * | 1999-07-08 | 2001-09-13 | 이계안 | 차량용 차선이탈 경보장치의 잡음 제거방법 |
JP2001357396A (ja) * | 2000-06-16 | 2001-12-26 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像認識装置 |
JP3692910B2 (ja) * | 2000-06-27 | 2005-09-07 | 日産自動車株式会社 | 車線追従走行制御装置 |
JP3736346B2 (ja) * | 2000-12-26 | 2006-01-18 | 日産自動車株式会社 | 車線検出装置 |
-
2002
- 2002-08-01 JP JP2002224400A patent/JP4092974B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004070383A (ja) | 2004-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022078463A1 (zh) | 基于汽车的障碍物检测方法及装置 | |
US10860870B2 (en) | Object detecting apparatus, object detecting method, and computer program product | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
JP3925488B2 (ja) | 車両用画像処理装置 | |
CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
US20090192686A1 (en) | Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle | |
US20180178785A1 (en) | System for detecting lane line of road and method thereof | |
US20090052742A1 (en) | Image processing apparatus and method thereof | |
CN105740782A (zh) | 一种基于单目视觉的驾驶员换道过程量化方法 | |
JP4940177B2 (ja) | 交通流計測装置 | |
Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
US20160314359A1 (en) | Lane detection device and method thereof, and lane display device and method thereof | |
JP4296287B2 (ja) | 車両認識装置 | |
CN106627575A (zh) | 一种车辆偏航预警方法及系统 | |
CN112124304B (zh) | 一种库位定位方法、装置及车载设备 | |
JP4951481B2 (ja) | 路面標示認識装置 | |
US10108866B2 (en) | Method and system for robust curb and bump detection from front or rear monocular cameras | |
JP3912236B2 (ja) | 車両周辺監視装置 | |
JP3726754B2 (ja) | 先行車判定方法 | |
JP4092974B2 (ja) | 車両用走行制御装置 | |
JP5997962B2 (ja) | 車載レーンマーカ認識装置 | |
JP2021500675A (ja) | 速度遮断機の接近時の自動車両の運転補助 | |
CN116524454A (zh) | 物体追踪装置、物体追踪方法及存储介质 | |
CN113353071B (zh) | 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050624 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |