JP4314870B2 - 車線検出装置 - Google Patents
車線検出装置 Download PDFInfo
- Publication number
- JP4314870B2 JP4314870B2 JP2003116483A JP2003116483A JP4314870B2 JP 4314870 B2 JP4314870 B2 JP 4314870B2 JP 2003116483 A JP2003116483 A JP 2003116483A JP 2003116483 A JP2003116483 A JP 2003116483A JP 4314870 B2 JP4314870 B2 JP 4314870B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- window
- lane mark
- white line
- broken line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、車両から撮像した路面画像を画像処理して、路面に描かれたレーンマークを検出し車線認識を行う車線検出装置に関する。
【0002】
【従来の技術】
【特許文献1】
特開平2002−197470号公報
従来、例えば特開平2002−197470号公報で示されているように、車両前方または後方を撮像して得られた路面画像上の予め定められた位置に、連続した複数の車線検出用ウインドを設定してウインド内の画像の複数のエッジ点を抽出し、抽出された複数のエッジ点を結ぶ線分をレーンマーク(車線)として検出する車線検出装置が知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記のような車線検出装置においては、上述のように車線検出用ウインドは路面画像上の予め定められた位置に連続設定されているため、レーンマークが破線の場合には、レーンマークを構成する1つの白線部分が2つのウインドに跨ってしまうことがある。
【0004】
このように白線部分が2つのウインドに跨った場合、1つの白線部分であるにも関わらず、2つのウインドでそれぞれのエッジ点を抽出し、それぞれのウインドで抽出されたエッジ点を結ぶ線分をレーンマークとして認識するため、レーンマークの検出精度が悪化する恐れがあった。すなわち、1つの白線部分が2つのウインドに跨ると、それぞれのウインド内での白線部分の長さが短くなることから、抽出されるエッジ点の数が減少し、少ないエッジ点を結んで、ウインドごとにレーンマークを検出するため、検出精度の悪化が生ずる。
本発明は、上記従来の問題点に鑑み、レーンマークが破線の場合でも、白線部分全部検出でき検出精度の悪化が生じない車線検出装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
このため本発明は、路面画像にウインドを設定するウインド設定手段と、各ウインドからレーンマークを検出して車線認識を行う車線認識手段のほかに、レーンマークが破線レーンマークであるかどうかを判定する破線判定手段を設け、レーンマークが破線レーンマークであると判定された場合には、ウインド設定手段は、破線レーンマークを構成する複数の白線部分のそれぞれに対応してウインド設定を行うようにした。
そして、請求項1に係る発明では、破線判定手段は、路面画像のエッジ画像から横エッジを抽出し、連続した横エッジの連続幅と予め定められたレーンマークの幅とを比較することによって、検出したレーンマークが破線レーンマークである否かを判定するものであり、前記エッジ画像から縦エッジを抽出し、連続した縦エッジの連続長さが、予め定められた、破線レーンマークを構成する複数の白線部分の長さに相当する範囲内であって、かつ連続した横エッジと繋がっている場合に、レーンマークが破線レーンマークであると判定する。さらに、ウインド設定手段は、破線判定手段によってレーンマークが破線レーンマークであると判定された場合には、破線レーンマークを構成する複数の白線部分のそれぞれに対応してウインドを設定する。
また、請求項3に係る発明では、ウインド設定手段は、破線判定手段によってレーンマークが破線レーンマークであると判定された場合には、破線レーンマークを構成する複数の白線部分のそれぞれに対応してウインドを設定し、破線レーンマークを構成する複数の白線部分のそれぞれに対応してウインドを設定した後、少なくとも車速と次回の路面画像の取り込みまでの処理時間に基づいて、ウインドを移動して設定するものであり、白線部分を検出し、前回検出した白線部分と今回検出した白線部分とを比較し、前回検出した白線部分と今回検出した白線部分とが、同一の白線部分であると判定した場合のみ、ウインドを移動して設定する。
【0006】
【発明の効果】
本発明によれば、レーンマークが破線レーンマークであるか否かを検出し、破線レーンマークである場合には、破線レーンマークを構成する白線部分に合せてウインドを設定するようにしたので、白線部分の全体をウインド内に置き、検出できるため、白線部分全体の検出ができ、レーンマークが検出しやすくなるとともに車線検出精度が向上する効果が得られる。
【0007】
【発明の実施の形態】
次に、発明の実施の形態を実施例により説明する。
図1は、本発明を適用した自動走行制御システムの構成を示す図である。
自動走行制御システムは、車線検出装置50と操舵制御部9からなっている。車線検出装置50は、カメラ1、エッジ画像抽出部2、破線路判定部3、検出ウインド設定部4、レーンマーク形状推定部7および車線推定部8で構成される。検出ウインド設定部4には、車速検出部5と操舵角検出部6が接続されている。
車速検出部5は、車輪速から自車両の車速を検出するものである。操舵角検出部6は、ステアリングに取り付けられ、ステアリングの回転角度を検出するものである。
【0008】
車線検出装置50において、カメラ1は、車両前方の道路を撮像し、路面画像を得るように構成される。
エッジ画像抽出部2は、カメラ1によって撮像された路面画像を取り込み、検出ウインド設定部4で設定したウインド内でエッジ抽出処理演算を行って縦方向および横方向のエッジ画像を得る。
【0009】
レーンマーク形状推定部7は、各ウインド内でレーンマークを検出し、レーンマークの形状推定を行う。
車線推定部8は、各ウインドでのレーンマークの推定結果から、例えば直線で結んで近似演算によって車線検出を行う。
車線推定部8で推定された車線情報は操舵制御部9に出力され、操舵制御部9では、その車線情報に基づいてレーンマーク位置に沿って自車両が走行するように操舵制御を行ったり、レーンを逸脱しそうになった際には逸脱を防止する操舵制御を行う。
【0010】
破線路判定部3は、各ウインドのエッジ画像内のエッジ状況からレーンマークを検出し、レーンマークの形状から、実線レーンマークが描かれた実線路か、破線レーンマークが描かれた破線路かの判定を行う。
【0011】
検出ウインド設定部4は、レーンマークを形状推定するためのウインドを破線路判定部3の判定結果に応じて、実線路、破線路のそれぞれに対応したウインド設定を行う。
【0012】
次に、上記車線検出装置50での処理の流れを図2、図3に示すフローチャートにしたがって説明する。
なお、図2、図3に示す処理は、車線検出装置50の起動から停止までの間、例えば操舵制御部9の制御周期に合わせて50msecごとに繰り返して行われるようになっている。
【0013】
まず、ステップ100において、カメラ1で撮像した路面画像をエッジ画像抽出部2に取り込む。
ステップ110において、エッジ画像抽出部2は、取り込んだ路面画像を画像処理して、縦エッジ、横エッジを抽出してエッジ画像を得る。エッジを抽出する画像処理は、検出ウインド設定部4によって設定したウインド内で行う。
【0014】
図4は、初回または前回で破線路が検出されなかった場合のウインドの設定状況を示す図で、図5は前回で破線路が検出された場合のウインドの設定情報を示す図である。
本実施例では、画像処理する際の処理量を減らすため、図4、図5のように、画面を中心から2分し、必要に応じて、左側部分200と右側部分100とを選べるようにしている。
【0015】
初回または前回で破線路が検出されなかった場合は、図4に示すように、左側部分200または右側部分100のどちらを選んでも、予め所定の位置に所定の大きさを設定した実線路用ウインド20(20a、20b、20c、…)を設定する。各ウインド20は、縦方向で連続するようになっている。このとき、例えば右側部分100では、レーンマーク10の白線部分10aが2つのウインド20a、20bに跨っている。
【0016】
前回で破線路が検出された場合、図5の右側部分100で示すように、レーンマーク10の各白線部分10aを包含するようにウインド30(30a、30b、30c、…)が設定されている。ウインド30の設定方法は、後述する。
なお、以下では、右側部分100を選んだとして説明を行う。
【0017】
ステップ120において、破線路判定部3は、各ウインドのエッジ画像から、各ウインド20またはウインド30を貫通し連続した縦エッジがあるか否かを判定する。
連続した縦エッジがある場合には、ステップ250において、走行路が実線路であると判定する。ステップ250の後は、ステップ260へ進む。
【0018】
一方、ステップ120の判定で連続した縦エッジがない場合には、レーンマークが破線であるかの判定に移行する。
まず、ステップ130で、各ウインドのエッジ画像から、横エッジがあるか否かの判定を行う。
すべてのエッジ画像から横エッジがなかったと判定した場合は、ステップ240においてレーンマークが存在しないと判定する。
【0019】
ステップ130の判定で、横エッジがある場合には、ステップ140において、横エッジの連続している部分を求め、その連続幅を演算するとともに、画像上における、横エッジの存在している縦方向のY位置により3次元換算して実際の連続幅Wを算出する。
【0020】
ステップ150において、連続幅Wがレーンマークとして存在する所定範囲内(W0以上、W1以下)の値であるか否かの判定を行う。
所定範囲内である場合は、ステップ160において、この横エッジに連続した縦エッジがあるか否かを判定する。
連続した縦エッジがある場合は、ステップ170において、その縦エッジの連続長さを算出し、画像上のX、Y位置により3次元換算して実際の連続長さLを算出する。
【0021】
ステップ180において、縦エッジの連続長さLがレーンマークの白線部分として存在する所定範囲(L0以上、L1以下)内か否かを判定する。
連続長さLが所定範囲内であるならば、図4または図5に示すように、横エッジは白線部分10aの端部aから生成され、縦エッジはその側部bから生成されたものとしてステップ190において、横エッジおよび縦エッジを白線部分の候補と判定する。
【0022】
ステップ195において、候補と判定された横エッジおよび縦エッジの位置を記憶する。
ステップ180の判定で縦エッジの連続長さLが所定範囲内でなければ、ステップ200において、この横エッジは白線部分の候補でないと判定して、ステップ210へ進む。
【0023】
ステップ21においては、他に横エッジがあるか否かを判定し、ある場合は、ステップ140へ戻り、上記を繰り返す。
このように、全ての横エッジに対しての判定が終了したら、ステップ220において、求められた白線部分の候補が複数あって、かつ所定の間隔(一定の間隔)をもって連続しているかの判定を行う。
【0024】
白線部分の候補が所定の間隔で連続している場合は、ステップ230において、白線部分の候補が白線部分であり、レーンマークが破線レーンマークであると判定する。
ステップ220の判定で所定の間隔で連続していない場合には、ステップ240において、白線部分の候補がレーンマークの白線部分でないとして、走行路にレーンマークがないと判定する。
【0025】
上記のように、レーンマークを検出し、レーンマークが破線レーンマークか実線レーンマークの判定を行った後、ステップ260において、レーンマーク形状推定部7は、各ウインドで例えば横エッジおよび縦エッジを抽出してレーンマークの形状を推定し、車線推定部8は、レーンマークの形状に基づいて直線で結んで車線認識処理を行う。
車線認識処理を行った後、ステップ270以降の次回で設定するウインド位置の演算に移行する。
【0026】
ステップ270においては、上記検出されたレーンマークが破線路であるか否かをチェックする。破線路でなかった場合は、ステップ340において、次回は、図4の右側部分100で示すように所定の位置に所定の大きさに設定された実線路用のウインドを設定する。
【0027】
破線路が検出された場合には、ステップ280へ進み、前回、白線部分に合わせたウインドの設定を行ったか否かをチェックする。
白線部分に合わせたウインドを設定していなかった場合は、ステップ290へ進み、今回の撮像からの車速データ、操舵角データと処理時間より、各白線部分10aの画像上の縦、横方向の移動量を算出する。
なお、車線検出が安定している場合や直線路のみに適用する場合には、操舵角データを省いて、移動量を演算してもよい。これによって演算量を減らすことが可能になる。
【0028】
ステップ300において、ステップ195で記憶した各白線部分10aの横エッジ、縦エッジの位置から、白線部分10aを演算された移動量分移動させて、次回の白線部分の位置を求める。
ステップ310において、移動された白線部分の位置に合わせて、白線部分を包含するようにウインド設定を行う。
図6は、次回の画像でのウインドの設定状況を示す図である。
ウインド30(30a、30b、30c、…)が演算された移動量に従って前回の白線部分を移動し、推定した白線部分の位置に合わせて設定されたので、各白線部分10b全部が対応する1つのウインドに入ることになっている。なお、ウインド20は、前回のウインドである。
【0029】
一方、ステップ280の判定で前回、白線部分に合わせてウインド設定を行った場合は、ステップ320において、前回の撮像からの車速データ、操舵角データと前回の画像の取り込みから次回の画像取り込みまでの処理時間により各ウインドの画像上の移動量を算出する。
ステップ330において、前回のウインドを、算出された移動量に従い移動させて次回のウインド位置を設定する。
このときウインドの縦、横サイズも移動量に合わせて調整する。
【0030】
図7は、次回の画像でのウインド設定状況を示す図である。
ウインド30a、30bは、算出された移動量に従って、前回のウインド30a’、30b’を移動して設定され、かつ縦、横サイズも移動量に合せて調整したので、上記同様に、各白線部分10b全部が1つのウインドに入る。
なお、走行路がカーブ路の場合は、図8のように操舵角に従って、ウインドの移動量に演算し、前回のウインド30a’を移動させてウインド30aを設定するように、各ウインド30をそれぞれ前回のウインドを移動させて設定するから、上記同様に、各白線部分10b全部が1つのウインド30に入ることができる。
【0031】
本実施例は、以上のように構成され、レーンマークが破線レーンマークの場合、レーンマークの白線部分に合わせてウインド設定を行うことによって、白線部分が2つのウインドに跨ることなく、レーンマークの形状推定を高い精度で行うことが可能になる。したがって、レーンマークの形状推定結果に基づき車線を検出するとき、高い検出精度で、車線検出ができる。
また、ウインド位置の演算は、車速データ、操舵角データと画像の処理時間を用いて行うから、車速や操舵角などの変化にも対応でき、高い精度でウインド位置の演算が可能である。
【0032】
なお、本実施例では、白線路を検出した場合、前回、白線部分に合わせてウインドを設定したとき、移動量を演算し、ウインドを移動して次回のウインドを設定するようにしたが、さらに、白線部分を検出し、今回の白線部分と前回の白線部分とを比較して、同じ白線部分であると判定した場合だけ、移動させることもできる。
【0033】
すなわち、ステップ280の代わりにステップ280’とし、ステップ280’では、前回、白線部分に合わせてウインドが設定したと判定されたとき、今回検出された縦エッジの連続長さL、横エッジの連続幅Wと前回検出された縦エッジの連続長さL、横エッジの連続幅Wとをそれぞれ比較し、同等である場合は、ステップ290へ進み、ウインドを移動して次回のウインドを設定する。
【0034】
そうでない場合には、ステップ320へ進み、前回、白線部分に合わせたウインドを設定していないときと同様に、白線部分を移動して、それに合わせてウインドを設定する。
これによって、さらに正確にウインドを設定することが可能である。
【0035】
本実施例では、ステップ280、ステップ280’、ステップ290、ステップ300、ステップ310、ステップ320、ステップ330、ステップ340が、ウインド設定手段を構成している。
ステップ120、ステップ130、ステップ140、ステップ150、ステップ160、ステップ170、ステップ180、ステップ190、ステップ200、ステップ210、ステップ220、ステップ230が、破線判定手段を構成している。
ステップ260が、車線認識手段を構成している。
なお、本実施例では、車両前方を撮像した画像からレーンマークを検出するようにしたが、車両後方を撮像した画像からレーンマークを検出してもよい。
【図面の簡単な説明】
【図1】本発明を適用した自動走行制御システムの構成を示す図である。
【図2】車線検出装置での処理の流れを示すフローチャートである。
【図3】車線検出装置での処理の流れを示すフローチャートである。
【図4】初回または前回で破線路が検出されなかった場合のウインドの設定状況を示す図である。
【図5】前回で破線路が検出された場合のウインドの設定情報を示す図である。
【図6】次回の画像でのウインドの設定状況を示す図である。
【図7】次回の画像でのウインド設定状況を示す図である。
【図8】カーブ路でのウインド設定状況を示す図である。
【符号の説明】
1 カメラ(撮像手段)
2 エッジ画像抽出部
3 破線路判定部
4 検出ウインド設定部
5 車速検出部
6 操舵角検出部
7 レーンマーク形状推定部
8 車線推定部
9 操舵制御部
10 レーンマーク
10a、10b 白線部分
20、30 ウインド
Claims (5)
- 自車両の前方または後方の走行路の路面を撮像し路面画像を得る撮像手段と、
前記路面画像上で車線を検出するためのウインドを設定するウインド設定手段と、
前記設定されたウインド内で、路面に描かれたレーンマークを検出し、その検出結果に基づいて車線認識を行う車線認識手段とを有する車線検出装置において、
前記検出したレーンマークが破線レーンマークであるかどうかを判定する破線判定手段を設け、
前記破線判定手段は、前記路面画像のエッジ画像から横エッジを抽出し、連続した横エッジの連続幅と予め定められたレーンマークの幅とを比較することによって、前記検出したレーンマークが破線レーンマークである否かを判定するものであり、前記エッジ画像から縦エッジを抽出し、連続した縦エッジの連続長さが、予め定められた、破線レーンマークを構成する複数の白線部分の長さに相当する範囲内であって、かつ前記連続した横エッジと繋がっている場合に、前記レーンマークが破線レーンマークであると判定し、
前記ウインド設定手段は、前記破線判定手段によって前記レーンマークが破線レーンマークであると判定された場合には、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定するようにしたこと
を特徴とする車線検出装置。 - 前記ウインド設定手段は、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定した後、少なくとも車速と次回の路面画像の取り込みまでの処理時間に基づいて、前記ウインドを移動して設定することを特徴とする請求項1記載の車線検出装置。
- 自車両の前方または後方の走行路の路面を撮像し路面画像を得る撮像手段と、
前記路面画像上で車線を検出するためのウインドを設定するウインド設定手段と、
前記設定されたウインド内で、路面に描かれたレーンマークを検出し、その検出結果に基づいて車線認識を行う車線認識手段とを有する車線検出装置において、
前記検出したレーンマークが破線レーンマークであるかどうかを判定する破線判定手段を設け、
前記ウインド設定手段は、前記破線判定手段によって前記レーンマークが破線レーンマークであると判定された場合には、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定し、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定した後、少なくとも車速と次回の路面画像の取り込みまでの処理時間に基づいて、前記ウインドを移動して設定するものであり、前記白線部分を検出し、前回検出した白線部分と今回検出した白線部分とを比較し、前回検出した白線部分と今回検出した白線部分とが、同一の白線部分であると判定した場合のみ、前記ウインドを移動して設定することを特徴とする車線検出装置。 - 前記ウインド設定手段は、前回検出した白線部分の横エッジの連続幅または縦エッジの連続長さの少なくとも一方と、今回検出した白線部分の横エッジの連続幅または縦エッジの連続長さの少なくとも一方とを比較し、両者が略同一であった場合に前回検出した白線部分と今回検出した白線部分とが同一の白線部分であると判定することを特徴とする車請求項3記載の線検出装置。
- 前記ウインド設定手段は、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定した後、車速と次回の路面画像の取り込みまでの処理時間と車両の操舵角に基づいて、前記ウインドを移動して設定することを特徴とする請求項1から4のいずれかの1に記載の車線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116483A JP4314870B2 (ja) | 2003-04-22 | 2003-04-22 | 車線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116483A JP4314870B2 (ja) | 2003-04-22 | 2003-04-22 | 車線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004326214A JP2004326214A (ja) | 2004-11-18 |
JP4314870B2 true JP4314870B2 (ja) | 2009-08-19 |
Family
ID=33496668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003116483A Expired - Fee Related JP4314870B2 (ja) | 2003-04-22 | 2003-04-22 | 車線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4314870B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4902575B2 (ja) * | 2008-02-27 | 2012-03-21 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置、および道路標示認識方法 |
US8929660B2 (en) * | 2009-05-04 | 2015-01-06 | Tomtom North America, Inc. | Apparatus and method for lane marking analysis |
EP2629243A1 (de) * | 2012-02-15 | 2013-08-21 | Delphi Technologies, Inc. | Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen |
JP6093314B2 (ja) * | 2014-02-14 | 2017-03-08 | 株式会社デンソー | 境界線認識装置 |
JP7255345B2 (ja) * | 2019-05-13 | 2023-04-11 | スズキ株式会社 | 走行車線認識装置、走行車線認識方法およびプログラム |
-
2003
- 2003-04-22 JP JP2003116483A patent/JP4314870B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004326214A (ja) | 2004-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106096525B (zh) | 一种复合型车道识别系统及方法 | |
JP3169483B2 (ja) | 道路環境認識装置 | |
JP5075672B2 (ja) | 対象物検出装置及び方法 | |
JP4793324B2 (ja) | 車両監視装置および車両監視方法 | |
CN109074486B (zh) | 用于检测交通标志的方法 | |
US8730325B2 (en) | Traveling lane detector | |
JP6642906B2 (ja) | 駐車位置検出システム及びそれを用いた自動駐車システム | |
US20060062432A1 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
JP2004032460A (ja) | 画像処理装置およびその方法 | |
JP2011180982A (ja) | 区画線検出装置 | |
JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
JP6815963B2 (ja) | 車両用外界認識装置 | |
JP2007220013A (ja) | 車両用白線検出装置 | |
JP2007249257A (ja) | 移動体検出装置および移動体検出方法 | |
JP3911983B2 (ja) | 後方監視装置 | |
JP2014106739A (ja) | 車載画像処理装置 | |
JP5107154B2 (ja) | 運動推定装置 | |
JP4314870B2 (ja) | 車線検出装置 | |
JP3807651B2 (ja) | 白線認識装置 | |
KR101568683B1 (ko) | 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치 | |
JP3879874B2 (ja) | 物流計測装置 | |
JPH06225308A (ja) | 走行路検出装置 | |
CN113353071B (zh) | 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
CN112513573B (zh) | 立体摄像机装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060224 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140529 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |