JP3732108B2 - Image processing apparatus and image processing method for lane recognition - Google Patents

Image processing apparatus and image processing method for lane recognition Download PDF

Info

Publication number
JP3732108B2
JP3732108B2 JP2001114488A JP2001114488A JP3732108B2 JP 3732108 B2 JP3732108 B2 JP 3732108B2 JP 2001114488 A JP2001114488 A JP 2001114488A JP 2001114488 A JP2001114488 A JP 2001114488A JP 3732108 B2 JP3732108 B2 JP 3732108B2
Authority
JP
Japan
Prior art keywords
lane
search
image processing
low frequency
lane marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001114488A
Other languages
Japanese (ja)
Other versions
JP2002312799A (en
Inventor
貴幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001114488A priority Critical patent/JP3732108B2/en
Publication of JP2002312799A publication Critical patent/JP2002312799A/en
Application granted granted Critical
Publication of JP3732108B2 publication Critical patent/JP3732108B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の予防安全を目的とした車線逸脱警報や、走行レーンをキープする操舵アシストなどの車両制御に使用する、車線認識情報を得るための画像処理装置と画像処理法に関するものである。
【０００２】
【従来の技術】
車両に搭載された撮像装置により得られた道路画像からレーンマーキング（白線）を検知して画像処理を行い、走行車線を認識する方法は従来より各種の技術が提案されている。例えば、特開２０００−１０５８９８号公報と、特開平１１−２３２４６７号公報とに開示された技術もその一例であり、車両前方のレーンマーキングを撮像して画像処理を行い、レーンマーキング間の間隔の増加などを検知した場合に道路の分岐点であると判断し、ナビゲーションのための自車両位置を確実に判定しようとするものである。
【０００３】
また、特開平６−２２５３０８号公報と、特開平１１−２８１３５２号公報とにはレーンマーキングを検出するための技術が開示されており、特開平６−２２５３０８号公報に開示された技術は、車載の撮像装置が撮影した画像内に水平方向のみに移動可能な白線検出用の複数の小さなウインドウを等間隔で設け、ウインドウの水平方向の位置を車両の挙動から予測したレーンマーキング位置に設定することにより、高速で確実に走行路の検出を行うものであり、特開平１１−２８１３５２号公報に開示された技術は、検出したレーンマーキングに基づく道路形状や車両挙動のパラメータを設定し、車両挙動の検出値に基づきこのパラメータを補正することにより道路形状を検出しようとするものである。
【０００４】
さらに、特開平９−９１４４０号公報には、撮影した道路画像を所定のモデルデータと比較して画像内の白線候補を抽出し、白線候補が複数存在する場合には車両の進行方向を検出してこの進行方向に基づいて白線候補を選択することにより、分岐点などにおいて進行方向の白線を認識して車両を制御する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
以上のような従来技術において、例えば特開２０００−１０５８９８号公報などのように、レーンマーキング間隔を検出して分岐点と判定ものにおいては、ナビゲーションの自車両位置の同定には有効であるが、リアルタイムに画像処理を行い車線認識するものにおいては、特開平９−９１４４０号公報に開示されているような処理を行わない限り、分岐側道路のレーンマーキングを誤認識することになり、車両制御を目的とした用途には適さないものである。また、特開平９−９１４４０号公報に開示された技術のように、道路形状のモデルデータと比較することにより白線候補を判定するものにおいては、事前に道路の分岐点などの存在を知ることができるが、画像処理装置内にモデルデータ格納用の大容量のメモリを必要とし、またデータ比較のために膨大な処理時間を必要とするため、ハードウェア・ソフトウェア共に負荷が非常に大きくなるものである。
【０００６】
この発明は、このような課題を解決するためになされたもので、ハードウェアの負荷を増大することなく、リアルタイムにレーンマーキングを正しく認識することが可能な車線認識のための画像処理装置並びに画像処理法を得ることを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係わる車線認識のための画像処理装置は、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備え た車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるように構成したものである。
【０００８】
また、車線認識手段が低周波数域フィルタが設けられない側のレーンマーキングのモデル式を監視しており、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタが無効にされるようにしたものである。
さらにまた、車線認識手段が車両の操作状態を監視しており、車両の操作状態が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
【０００９】
また、この発明に係わる車線認識のための画像処理法は、自車両の前方道路から左右のレーンマーキングを含む道路画像を撮影し、前記道路画像に対して前記レーンマーキングの探査範囲を探査ウインドウとして設定すると共に、前記探査ウインドウ内の画像を探査して前記レーンマーキング位置を判定し、前記探査ウインドウを前記車両の進行方向に対して複数設定することにより複数のレーンマーキング位置を求め、前記複数のレーンマーキング位置から近似したモデル式を設定して連続したレーンマーキング位置を数式化し、前記モデル式から探査基準点を算出してこの探査基準点を基準にした前記探査ウインドウを設定すると共に、前記探査基準点の算出を所定の時定数を有する低周波数域フィルタを通して行う車線認識のための画像処理法であって、前記探査ウインドウの設定を左右のレーンマーキングに対して行い、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングに対する前記探査基準点を低周波数域フィルタを通して算出し、前記低周波数域フィルタを通さない側のレーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタを無効にするしたものである。
【００１０】
さらに、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
また、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたものである。
【００１１】
【発明の実施の形態】
発明の基礎となる技術
図１ないし図８は、この発明の基礎となる車線認識のための画像処理装置並びに画像処理法を説明するためのもので、図１ないし図４は、画像処理の方法を説明する説明図、図５は、道路を上面から見たもので、本発明の要点である低周波数域フィルタの効果を説明する説明図、図６は、画像処理の処理フローを示すフローチャート、図７は、車載カメラを搭載した車両の概念図、図８は、道路画像の概念図であり、図１から図６までは、図７と図８とに示すように、車両１に搭載した車載カメラ２により撮像した車両の前方道路のレーンマーキング（白線）３および４に対する処理の方法を説明するものである。
【００１２】
図６のフローチャートにより画像処理の動作を説明すると、まず、ステップ１（図のＳ１、以下同じ）において車両前方道路の撮影を行い、ステップ２において撮影された画像を記憶手段に取り込む。このとき得られる画像は図８に示すように、路面に描かれた自車線の左右にあるレーンマーキング３および４が水平画角内に収まるようにする。次にステップ３においてレーンマーキング候補点を探索する水平方向走査範囲を設定する。この水平方向走査範囲の設定はレーンマーキング３と４とを含む所定の範囲内を探査ウインドウとして設定するもので、図１に示すように、垂直方向（Ｙ方向）に複数の探査ラインＹ（ｉ）を設定してそれぞれの探査ラインＹ（ｉ）をＸ方向に走査し、例えば、ｉ＝０の線上には探査開始点としてＸ方向座標Ｘｂｅｇｉｎを、探査終了点として座標Ｘｅｎｄを設定してこの両座標間を探査ウインドウとするもので、同一探査ラインＹ（ｉ）上には左右のレーンマーキング３および４に対して個別に設定する。
【００１３】
続くステップ４では各探査ラインＹ（ｉ）上の探査ウインドウをＸ方向に走査し、メモリから読み出した輝度分布を基にして図１に示すように、各探査ラインＹ（ｉ）毎にレーンマーキング候補点検出し、検出された候補点をレーンマーキング検出点５および６とする。この複数の探査ラインＹ（ｉ）は左右共通のＹ座標においてＹ（ｉ）のｉ＝０からｉ＝Ｎ−１までのＮ本が設定され、後述するように、レーンマーキング検出点５および６が検出された後のルーチンでは、ステップ３においてそれぞれの探査ラインＹ（ｉ）上にて検出されたレーンマーキング検出点５および６から探査基準点を設定してこの探査基準点を中心にして、左右個別に水平方向走査範囲、すなわち、探査ウインドウが設定される。
【００１４】
次に、ステップ５においては、ステップ４にて得られた左右のレーンマーキング検出点５および６のそれぞれのＹ方向の集合を数学的モデル式、例えば、２次式、Ｘ＝ａＹ2 ＋ｂＹ＋ｃにて近似し、図２に示すような連続したレーンマーキングモデル７と８とを得る。続いてステップ６においてはレーンマーキングのモデル式の係数（ａ、ｂ、ｃ）を車線形状として認識し、ステップ１に戻ってルーチンを繰り返す。従って、水平方向走査範囲、すなわち、探査ウインドウは、図３に示すように、レーンマーキングモデル７と８とを中心とし、レーンマーキング３および４を含む破線で示した探査領域９および１０の範囲内にて設定されることになる。
【００１５】
以上のようにしてモデル式が得られた後のルーチンにおいては、ステップ３における探査ウインドウの設定は、モデル式を基準として次のように行われる。すなわち、探査ラインＹ（ｉ）の設定は、ｉ＝０からＮ−１までＮ本が設定され、探査ウインドウの範囲は、［Ｘｂｅｇｉｎ（ｉ），Ｘｅｎｄ（ｉ）］として設定される。Ｘｂｅｇｉｎ（ｉ）とＸｅｎｄ（ｉ）とは
Ｘｂｅｇｉｎ（ｉ）＝Ｘ（ｉ）−ΔＸ（ｉ） ・・・（１）
Ｘｅｎｄ（ｉ）＝Ｘ（ｉ）＋ΔＸ（ｉ） ・・・（２）
として示され、Ｘ（ｉ）は探査ラインＹ（ｉ）上におけるＸ方向の探査基準点となる位置であり、モデル式から
Ｘ（ｉ）＝ａＹｉ2 ＋ｂＹｉ＋ｃ ・・・（３）
として出力されるものである。また、ΔＸ（ｉ）は０より大きい数を持つ探査幅であり、各探査ラインＹ（ｉ）毎に設定される。ただし、前回のルーチンにおいて、レーンマーキング３と４とのモデル式が得られなかった場合、すなわち、レーンマーキング３と４とが未検出であった場合には、初回のルーチンを含めて別途広範囲な探査ウィンドウを設定し、レーンマーキング３と４とを検出できるようにする。
【００１６】
この発明の基礎となる車線認識のための画像処理装置と画像処理法においては、上記の（３）式におけるレーンマーキング探査基準点Ｘ（ｉ）の算出に対して次式に示すような時定数Ｔの低周波数域フィルタ処理を行う。
【数１】

Figure 0003732108
ここに、
Ｘｆ（ｉ，ｎ）：低周波数域フィルタ値
Ｘ（ｉ，ｎ）：左右のレーンマーキングモデル式出力（探査基準点）
ｉ ：レーンマーキング探査ラインＹ（ｉ）の番号
ｎ ：処理周期カウンタ（ルーチンの繰り返し回数）
【００１７】
このような低周波数域フィルタ処理を施すことにより、図４に示すように道路の分岐点１１などでレーンマーキングが１２と１３のように分岐して、レーンマーキング１３が出口道路側になる場合、分岐した出口道路側のレーンマーキング１３はＸ方向の位置が急変することになり、この急変は探査基準点Ｘ（ｉ）の算出に対しては高周波成分となるために、算出がこの急変に追従できず、レーンマーキング１３は図４に示すように探査領域９に対して外れることになり、探査領域９内には本線側のレーンマーキング１２が存在するため、必然的に探査ウインドウはレーンマーキング１２に対して設定されることになる。
【００１８】
図５は、この道路の分岐点１１を上面から見た場合の図であり、探査基準点Ｘ（ｉ）の算出に低周波数域フィルタ処理をした場合と、低周波数域フィルタ処理をしない場合との比較を示したものである。低周波数域フィルタ処理をしない場合には、前回のルーチンで求めたモデル式を基準にして探査基準点Ｘ（ｉ）の算出を行い、探査ウィンドウを設定するため、一旦連続線である出口道路側のレーンマーキング１３を誤検出すると、出口側道路のレーンマーキング１３を基準に探査基準点Ｘ（ｉ）の算出を行い、以後は、出口側道路のレーンマーキング１３の誤検出が継続することになる。低周波数域フィルタ処理をした場合には、探査基準点Ｘ（ｉ）の算出時に位置の急変に追従しないため、出口道路側のレーンマーキング１３は探索ウィンドウ外となり、誤検出が抑制され、継続して本線側のレーンマーキング１２が検出されることになる。
【００１９】
実施の形態１．
図９ないし図１１は、この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法を説明する説明図であり、この実施の形態における画像処理装置並びに画像処理法は、前述の発明の基礎となる技術に対し、レーンマーキング探査ウインドウの探査基準点Ｘ（ｉ）の算出に使用する低周波数域フィルタ処理を、道路の分岐点のある側に限定すると共に、低周波数域フィルタ処理の実施判定条件を付加するようにしたものである。なお、以降の説明では便宜上、左側通行を想定し、左が分岐路のある側、右が分岐路のない側として説明するが、道路によっては右側に分岐路がある場合もあり、分岐路のある側を限定するものではない。
【００２０】
図９は、例えばハンドル操作などにより車両が急激に横移動した場合、低周波数域フィルタ処理された左側の探査ウィンドウが急激な横移動に追従できず、検出対象である左レーンマーキング３が左側の探査領域９から外れた場合を示している。このような場合に、低周波数域フィルタ処理のされていない右側探査ウインドウのレーンマーキング４の横移動速度が所定の閾値を越えたことを検知し、左側の探査ウインドウの低周波数域フィルタ処理を無効にすることにより、左側の探査ウインドウはレーンマーキングの急変に追従することが可能になり、図１０に示すように、前回のルーチンで求めた左レーンマーキング３の探査基準点を基に左側の探査領域９ａを設定することができるようになり、続けての追跡を可能とすることができる。
【００２１】
また、図１１に示すようにＳ字カーブを通過する場合、外側のレーンマーキングの横移動速度は小さく、内側のレーンマーキングの横移動速度は大きくなるため、上記したような、右レーンマーキングの横移動速度が所定の閾値を越えたことを検知して、左側の探査ウインドウの低周波数域フィルタ処理を無効にしてもレーンマークの追跡が不能になることがある。すなわち、右側の移動速度が閾値を超えない状態で左側の追跡が不能になることになる。このような場合には、右レーンマーキング４のモデル式の曲率係数を常に監視するようにし、曲率係数の符号がプラスからマイナスに、または、マイナスからプラスに変化した場合に、左側の探査ウィンドウの低周波数域フィルタ処理を無効化する判定条件を付加しておくことにより、レーンマーキングの追跡不能は発生しなくなる。
【００２２】
さらに、車線変更を行う場合には、車両の横移動速度が運転者の操作や道路条件により異なるため、横移動速度の絶対値だけでは車両が横移動していると判定するのは困難なことがあるが、ウィンカスイッチや操舵の検知、または、ナビゲーションなどに使用されるヨーレートセンサの出力など、車両の操作をモニタしてこの操作信号により、左側の探査ウィンドウの低周波数域フィルタ処理を無効化することにより、車線変更や出口道路に進入するような場合においても、レーンマーキングの誤認識、あるいは、追従不能を防止することができる。
【００２３】
【発明の効果】
以上に説明したように、この発明による車線認識のための画像処理装置並びに画像処理法において、請求項１と請求項４に記載の発明によれば、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備えた車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるようにしたので、低周波数域フィルタの位相遅れなどにより、一方のレーンマーキングの追跡が不能になっても容易に復帰させることができ、信頼性の高い車線認識が可能になるものである。
【００２４】
さらに、請求項２と請求項５に記載の発明によれば、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたので、曲線道路の走行時において、一時的にレーンマーキングの追跡が不能になっても容易に復帰させることができるものである。
【００２５】
さらにまた、請求項３と請求項６に記載の発明によれば、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたので、運転者の意志に従ったレーンマーキングの判定が可能になり、本線を走行したいとき、あるいは、出口道路に進入したいときのいずれにおいても、レーンマーキングを確実に認識することが可能になるものである。
【図面の簡単な説明】
【００２６】
【図１】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図２】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図３】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図４】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図５】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図６】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明するフローチャートである。
【図７】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する車両の概念図である。
【図８】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する道路の概念図である。
【図９】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１０】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１１】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【符号の説明】
【００２７】
１ 車両、２ 車載カメラ、３、４、１２、１３ レーンマーキング、
５、６ レーンマーキング検出点、
７、８ レーンマーキングモデル、９、１０ 探査領域、
１１ 道路の分岐点。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for obtaining lane recognition information used for vehicle control such as a lane departure warning for the purpose of preventive safety of a vehicle and a steering assist for keeping a driving lane. .
[0002]
[Prior art]
Various techniques for detecting a lane marking (white line) from a road image obtained by an imaging device mounted on a vehicle and performing image processing to recognize a traveling lane have been proposed. For example, the techniques disclosed in Japanese Patent Application Laid-Open No. 2000-105898 and Japanese Patent Application Laid-Open No. 11-232467 are examples thereof, and image processing is performed by imaging lane markings in front of the vehicle, and the interval between the lane markings is determined. When an increase or the like is detected, it is determined that the road is a branch point of the road, and the position of the vehicle for navigation is surely determined.
[0003]
Japanese Patent Application Laid-Open No. 6-225308 and Japanese Patent Application Laid-Open No. 11-281352 disclose a technique for detecting lane marking, and the technique disclosed in Japanese Patent Application Laid-Open No. 6-225308 is disclosed in-vehicle. A plurality of small windows for white line detection that can be moved only in the horizontal direction are provided at equal intervals in the image captured by the image pickup apparatus of the above, and the horizontal position of the window is set to the lane marking position predicted from the behavior of the vehicle. Thus, the road is reliably detected at a high speed. The technology disclosed in Japanese Patent Application Laid-Open No. 11-281352 sets the road shape and vehicle behavior parameters based on the detected lane markings, The road shape is to be detected by correcting this parameter based on the detected value.
[0004]
Further, in Japanese Patent Laid-Open No. 9-91440, a captured road image is compared with predetermined model data to extract white line candidates in the image, and when there are a plurality of white line candidates, the traveling direction of the vehicle is detected. A technique for controlling a vehicle by recognizing a white line in a traveling direction at a branching point or the like by selecting a white line candidate based on the traveling direction is disclosed.
[0005]
[Problems to be solved by the invention]
In the prior art as described above, for example, as disclosed in Japanese Patent Application Laid-Open No. 2000-105898, the lane marking interval is detected and determined as a branch point, which is effective for identifying the vehicle position of navigation. In the case of performing lane recognition by performing image processing in real time, unless processing such as that disclosed in Japanese Patent Laid-Open No. 9-91440 is performed, lane markings on the branch road will be erroneously recognized, and vehicle control is performed. It is not suitable for the intended use. In addition, as in the technique disclosed in Japanese Patent Laid-Open No. 9-91440, in the case of determining a white line candidate by comparing with road shape model data, it is possible to know in advance the existence of a road branch point or the like. However, since a large amount of memory for storing model data is required in the image processing device, and a huge amount of processing time is required for data comparison, the load on both hardware and software becomes very large. is there.
[0006]
The present invention has been made to solve such a problem, and an image processing apparatus for lane recognition and an image capable of correctly recognizing lane markings in real time without increasing hardware load. The purpose is to obtain a treatment method.
[0007]
[Means for Solving the Problems]
An image processing apparatus for lane recognition according to the present invention includes a photographing means for photographing a road ahead of a vehicle, a storage means for storing an image obtained by the photographing means, and a lane marking for an image read from the storage means. A search window setting means for setting a search range of a search window, a lane marking position detection means for detecting a lane marking position from an image in the search window, and a plurality of the lane marking positions detected by the lane marking position detection means A lane recognition unit that sets an approximate model formula and formulates the continuous lane marking positions, a search reference point calculation unit that calculates a search reference point of the search window from the model formula, and the search reference point calculation unit When calculating the exploration reference point, the sudden change of the lane marking position An image processing apparatus for lane recognition with a low frequency band filter means for removing a frequency component, The exploration window is set for the left and right lane markings of the driving lane, and the low frequency band filter is used for calculating the exploration reference point for one of the left and right lane markings. The low frequency band filter is invalidated when the lane marking position on the side where the low frequency band filter is not set is changed at a speed exceeding a predetermined value.
[0008]
The lane recognition means monitors the model formula of the lane marking on the side where the low frequency band filter is not provided, and when the road curvature obtained from the model formula satisfies a predetermined condition, the low frequency band filter It is designed to be invalidated.
Furthermore, the lane recognition means monitors the operation state of the vehicle, and when the operation state of the vehicle satisfies a predetermined condition, the low frequency band filter is invalidated.
[0009]
Further, the image processing method for lane recognition according to the present invention shoots a road image including left and right lane markings from a road ahead of the host vehicle, and uses the search range of the lane marking as a search window for the road image. And determining the lane marking position by searching the image in the search window, determining a plurality of lane marking positions by setting a plurality of the search windows with respect to the traveling direction of the vehicle, A model formula approximated from the lane marking position is set to formulate a continuous lane marking position, a search reference point is calculated from the model formula, and the search window based on the search reference point is set, and the search An image for lane recognition in which the reference point is calculated through a low frequency filter having a predetermined time constant. A processing method, wherein the search window is set for left and right lane markings, and the search reference point for any one of the left and right lane markings is calculated through a low frequency filter, When the lane marking position on the side not passing through the low frequency band filter changes at a speed exceeding a predetermined value, the low frequency band filter is invalidated.
[0010]
In addition, the lane marking model formula on the side that does not pass the low frequency filter is monitored, and the low frequency filter is disabled when the road curvature obtained from the model formula satisfies the specified condition. It is.
Further, the low frequency band filter is made invalid when the vehicle is steered or the blinker is operated, or when the yaw rate exceeds a predetermined value.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Underlying the inventive technology FIGS. 1 to 8 is for explaining an image processing apparatus and image processing method for lane recognition underlying the present invention, FIGS. 1-4, a method of image processing FIG. 5 is an explanatory diagram for explaining the effect of the low-frequency band filter, which is a gist of the present invention, as seen from the top of the road, and FIG. 6 is a flowchart showing a processing flow of image processing. FIG. 7 is a conceptual diagram of a vehicle equipped with an in-vehicle camera, FIG. 8 is a conceptual diagram of a road image, and FIGS. 1 to 6 are mounted on the vehicle 1 as shown in FIGS. 7 and 8. A method of processing the lane markings (white lines) 3 and 4 on the road ahead of the vehicle imaged by the in-vehicle camera 2 will be described.
[0012]
The operation of the image processing will be described with reference to the flowchart of FIG. 6. First, in step 1 (S1 in the figure, the same applies hereinafter), the road ahead of the vehicle is photographed, and the image photographed in step 2 is taken into the storage means. As shown in FIG. 8, the image obtained at this time is such that the lane markings 3 and 4 on the left and right of the own lane drawn on the road surface fall within the horizontal angle of view. Next, in step 3, a horizontal scanning range for searching for lane marking candidate points is set. The horizontal scanning range is set by setting a predetermined range including the lane markings 3 and 4 as a search window. As shown in FIG. 1, a plurality of search lines Y (i) are arranged in the vertical direction (Y direction). ) And scan each search line Y (i) in the X direction. For example, on the line i = 0, the X direction coordinate Xbegin is set as the search start point and the coordinate Xend is set as the search end point. The space between both coordinates is used as a search window, and is set individually for the left and right lane markings 3 and 4 on the same search line Y (i).
[0013]
In the subsequent step 4, the search window on each search line Y (i) is scanned in the X direction, and lane marking is performed for each search line Y (i) as shown in FIG. 1 based on the luminance distribution read from the memory. The candidate inspection is performed and the detected candidate points are set as lane marking detection points 5 and 6. N of Y (i) from i = 0 to i = N−1 is set in the Y coordinate common to the left and right as the plurality of search lines Y (i), and lane marking detection points 5 and 6 are described later. In the routine after the detection, a search reference point is set from the lane marking detection points 5 and 6 detected on each search line Y (i) in step 3, and the search reference point is set as the center. A horizontal scanning range, that is, a search window is set for each of the left and right sides.
[0014]
Next, in step 5, the set in the Y direction of the left and right lane marking detection points 5 and 6 obtained in step 4 is expressed by a mathematical model equation, for example, a quadratic equation, X = aY 2 + bY + c. Approximate to obtain continuous lane marking models 7 and 8 as shown in FIG. Subsequently, in step 6, the coefficients (a, b, c) of the lane marking model formula are recognized as lane shapes, and the routine returns to step 1 to repeat the routine. Accordingly, the horizontal scanning range, that is, the search window is within the search areas 9 and 10 indicated by the broken lines including the lane markings 3 and 4 with the lane marking models 7 and 8 as the center as shown in FIG. Will be set.
[0015]
In the routine after the model expression is obtained as described above, the setting of the search window in step 3 is performed as follows based on the model expression. That is, N search lines Y (i) are set from i = 0 to N−1, and the search window range is set as [Xbegin (i), Xend (i)]. Xbegin (i) and Xend (i) are: Xbegin (i) = X (i) −ΔX (i) (1)
Xend (i) = X (i) + ΔX (i) (2)
X (i) is a position serving as a search reference point in the X direction on the search line Y (i), and X (i) = aYi 2 + bYi + c (3)
Is output as ΔX (i) is a search width having a number greater than 0, and is set for each search line Y (i). However, if the model formulas for lane markings 3 and 4 were not obtained in the previous routine, that is, if lane markings 3 and 4 were not detected, there was a wide range including the first routine. A search window is set so that lane markings 3 and 4 can be detected.
[0016]
In the image processing apparatus and image processing method for lane recognition that are the basis of the present invention, the time constant as shown in the following equation is used for the calculation of the lane marking search reference point X (i) in the above equation (3). T low frequency band filtering is performed.
[Expression 1]
Figure 0003732108
here,
Xf (i, n): Low frequency band filter value X (i, n): Left and right lane marking model type output (search reference point)
i: Number of lane marking search line Y (i) n: Processing cycle counter (number of routine repetitions)
[0017]
By performing such a low frequency band filtering process, as shown in FIG. 4, when the lane marking branches at 12 and 13 at the road junction 11 and the lane marking 13 is on the exit road side, The position of the branched lane marking 13 on the exit road side changes suddenly in the X direction, and this sudden change becomes a high-frequency component for the calculation of the exploration reference point X (i), so the calculation follows this sudden change. As shown in FIG. 4, the lane marking 13 is not located in the search area 9, and the main line side lane marking 12 exists in the search area 9. Therefore, the search window inevitably has the lane marking 12 in the search window. Will be set.
[0018]
FIGS. 5A and 5B are diagrams when the road junction 11 is viewed from the upper surface. When the low-frequency filter processing is performed for the calculation of the search reference point X (i), and when the low-frequency filter processing is not performed. The comparison of is shown. When low frequency band filtering is not performed, the exploration reference point X (i) is calculated based on the model formula obtained in the previous routine, and the exploration window is set. If the lane marking 13 is erroneously detected, the exploration reference point X (i) is calculated based on the lane marking 13 on the exit road, and thereafter, the false detection of the lane marking 13 on the exit road continues. . When the low frequency band filter processing is performed, the lane marking 13 on the exit road side is outside the search window because the position does not follow a sudden change when calculating the search reference point X (i). Thus, the lane marking 12 on the main line side is detected.
[0019]
Embodiment 1 FIG.
9 to 11 are explanatory diagrams for explaining the image processing apparatus and the image processing method for lane recognition according to the first embodiment of the present invention. The image processing apparatus and the image processing method in this embodiment are described above. In contrast to the technology that is the basis of this invention, the low-frequency band filter processing used to calculate the search reference point X (i) of the lane marking search window is limited to the side where the road has a branch point, and the low-frequency band filter Processing execution determination conditions are added. In the following description, for the sake of convenience, it is assumed that left-hand traffic is assumed and the left side is the side with a branch road and the right side is the side without a branch road, but depending on the road, there may be a branch road on the right side. It does not limit one side.
[0020]
FIG. 9 shows that, for example, when the vehicle suddenly moves laterally due to a steering operation or the like, the left exploration window subjected to the low-frequency filter processing cannot follow the rapid lateral movement, and the left lane marking 3 to be detected is The case where it deviates from the search area 9 is shown. In such a case, it is detected that the lateral movement speed of the lane marking 4 in the right search window that has not been subjected to the low frequency filter processing has exceeded a predetermined threshold, and the low frequency filter processing in the left search window is disabled. By doing so, the left exploration window can follow a sudden change in lane marking. As shown in FIG. 10, the left exploration window is based on the exploration reference point of the left lane marking 3 obtained in the previous routine. The area 9a can be set, and the subsequent tracking can be enabled.
[0021]
In addition, as shown in FIG. 11, when passing through the S-curve, the lateral movement speed of the outer lane marking is small and the lateral movement speed of the inner lane marking is large. Even if it is detected that the moving speed exceeds a predetermined threshold and the low-frequency filter processing of the left search window is disabled, the lane mark may not be tracked. That is, the tracking of the left side becomes impossible while the moving speed of the right side does not exceed the threshold value. In such a case, the curvature coefficient of the model formula of the right lane marking 4 is constantly monitored, and when the sign of the curvature coefficient changes from plus to minus or from minus to plus, By adding a determination condition for invalidating the low frequency band filter processing, the lane marking cannot be traced out.
[0022]
Furthermore, when changing lanes, the lateral movement speed of the vehicle differs depending on the driver's operation and road conditions, so it is difficult to determine that the vehicle is moving laterally only with the absolute value of the lateral movement speed. However, monitoring the vehicle operation such as the detection of the blinker switch and steering, or the output of the yaw rate sensor used for navigation, etc., this operation signal disables the low-frequency filter processing of the left exploration window By doing so, it is possible to prevent erroneous recognition of lane markings or inability to follow even when changing to a lane or entering an exit road.
[0023]
【The invention's effect】
As described above, in the image processing apparatus and the image processing method for lane recognition according to the present invention, according to the invention described in claim 1 and claim 4, the photographing means for photographing the road ahead of the vehicle, Storage means for storing an image obtained by the imaging means, search window setting means for setting a search range of lane marking as a search window for the image read from the storage means, and a lane marking position from the image in the search window Lane marking position detection means for detecting, lane recognition means for setting a model equation that approximates from a plurality of the lane marking positions detected by the lane marking position detection means, and formulating the lane marking positions in succession, the model formula Exploration reference point calculating means for calculating the exploration reference point of the exploration window from When search reference point calculation means calculates the search reference point, an image processing apparatus for lane recognition with low-frequency pass filter means for removing an abrupt change amount lane marking location as a high-frequency component, The exploration window is set for the left and right lane markings of the driving lane, and the low frequency band filter is used for calculating the exploration reference point for one of the left and right lane markings. When the lane marking position on the side where the low frequency band filter is not set is changed at a speed exceeding a predetermined value, the low frequency band filter is invalidated. Even if tracking of one lane marking becomes impossible due to a phase delay or the like, it can be easily restored and lane recognition with high reliability becomes possible.
[0024]
Furthermore, according to the invention of claim 2 and claim 5, the model formula of the lane marking on the side not passing through the low frequency filter is monitored, and the road curvature obtained from the model formula satisfies a predetermined condition. In this case, since the low frequency band filter is disabled, the vehicle can be easily restored even when the tracking of the lane marking is temporarily disabled during traveling on a curved road.
[0025]
Furthermore, according to the third and sixth aspects of the invention, the low frequency band filter is disabled when the vehicle is steered or turn signal operated or when the yaw rate exceeds a predetermined value. Therefore, it is possible to determine the lane marking according to the driver's will, and it is possible to recognize the lane marking reliably when you want to travel on the main line or enter the exit road. It will be.
[Brief description of the drawings]
[0026]
FIG. 1 is an explanatory diagram of an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 2 is an explanatory diagram of an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 3 is an explanatory diagram of an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 4 is an explanatory diagram of an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 5 is an explanatory diagram of an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 6 is a flowchart for explaining an image processing apparatus and an image processing method for lane recognition according to the technology underlying the present invention;
FIG. 7 is a conceptual diagram of a vehicle for explaining an image processing apparatus and an image processing method for lane recognition according to the technology that forms the basis of the present invention.
FIG. 8 is a conceptual diagram of a road for explaining an image processing device and an image processing method for lane recognition according to the technology underlying the present invention.
FIG. 9 is an explanatory diagram of an image processing device and an image processing method for lane recognition according to the first embodiment of the present invention.
FIG. 10 is an explanatory diagram of an image processing device and an image processing method for lane recognition according to Embodiment 1 of the present invention.
FIG. 11 is an explanatory diagram of an image processing device and an image processing method for lane recognition according to Embodiment 1 of the present invention.
[Explanation of symbols]
[0027]
1 vehicle, 2 onboard camera, 3, 4, 12, 13 lane marking,
5, 6 Lane marking detection points,
7, 8 Lane marking model, 9, 10 Exploration area,
11 Road junction.

Claims (6)

車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備えた車線認識のための画像処理装置であって、Photographing means for photographing the road ahead of the vehicle, storage means for storing the image obtained by the photographing means, exploration window setting means for setting the exploration range of lane marking as the exploration window for the image read from the storage means, Lane marking position detection means for detecting a lane marking position from an image in the search window, and the lane marking position that is continuous by setting a model equation that approximates the plurality of lane marking positions detected by the lane marking position detection means Lane recognition means for formulating, a search reference point calculation means for calculating a search reference point of the search window from the model formula, and when the search reference point calculation means calculates the search reference point, a sudden change in the lane marking position Low frequency filter means for removing An image processing apparatus for example was lane recognition, 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるように構成したことを特徴とする車線認識のための画像処理装置。The exploration window is set for the left and right lane markings of the driving lane, and the low frequency band filter is used for calculating the exploration reference point for one of the left and right lane markings. The lane is configured so that the low frequency band filter is invalidated when the lane marking position on the side where the low frequency band filter is not set is changed at a speed exceeding a predetermined value. Image processing device for recognition. 前記車線認識手段が前記低周波数域フィルタが設けられない側のレーンマーキングの前記モデル式を監視しており、前記モデル式から得られた道路の曲率が所定の条件を満たしたとき、前記低周波数域フィルタが無効にされるように構成したことを特徴とする請求項１に記載の車線認識のための画像処理装置。When the lane recognition means monitors the model formula of the lane marking on the side where the low frequency band filter is not provided, and the road curvature obtained from the model formula satisfies a predetermined condition, the low frequency The image processing apparatus for lane recognition according to claim 1, wherein the bandpass filter is invalidated. 前記車線認識手段が前記車両の操作状態を監視しており、前記車両の操作状態が所定の条件を満たしたとき、前記低周波数域フィルタを無効にするように構成したことを特徴とする請求項１又は２に記載の車線認識のための画像処理装置。The lane recognition means monitors the operation state of the vehicle, and is configured to disable the low-frequency band filter when the operation state of the vehicle satisfies a predetermined condition. 3. An image processing apparatus for lane recognition according to 1 or 2. 自車両の前方道路から左右のレーンマーキングを含む道路画像を撮影し、前記道路画像に対して前記レーンマーキングの探査範囲を探査ウインドウとして設定すると共に、前記探査ウインドウ内の画像を探査して前記レーンマーキング位置を判定し、前記探査ウインドウを前記車両の進行方向に対して複数設定することにより複数のレーンマーキング位置を求め、前記複数のレーンマーキング位置から近似したモデル式を設定して連続したレーンマーキング位置を数式化し、前記モデル式から探査基準点を算出してこの探査基準点を基準にした前記探査ウインドウを設定すると共に、前記探査基準点の算出を所定の時定数を有する低周波数域フィルタを通して行う車線認識のための画像処理法であって、前記探査ウインドウの設定を左右のレーンマーキングに対して行い、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングに対する前記探査基準点を低周波数域フィルタを通して算出し、前記低周波数域フィルタを通さない側のレーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタを無効にすることを特徴とする車線認識のための画像処理法。Taking a road image including left and right lane markings from the road ahead of the host vehicle, setting a search range for the lane marking as a search window for the road image, and searching for an image in the search window to search for the lane A plurality of lane marking positions are determined by determining a marking position and a plurality of the search windows are set with respect to the traveling direction of the vehicle, and a continuous lane marking is performed by setting a model formula approximated from the plurality of lane marking positions The position is expressed numerically, a search reference point is calculated from the model formula, the search window is set based on the search reference point, and the search reference point is calculated through a low frequency filter having a predetermined time constant. An image processing method for lane recognition to be performed, wherein the setting of the search window The search reference point for one of the left and right lane markings is calculated through a low frequency filter, and the lane marking position on the side not passing through the low frequency filter is predetermined. An image processing method for lane recognition, characterized in that the low frequency band filter is disabled when it changes at a speed exceeding a value. 前記低周波数域フィルタを通さない側のレーンマーキングの前記モデル式を監視し、前記モデル式から得られた道路の曲率が所定の条件を満たしたとき、前記低周波数域フィルタを無効にすることを特徴とする請求項４に記載の車線認識のための画像処理法。Monitoring the model formula of the lane marking on the side not passing through the low frequency band filter, and disabling the low frequency band filter when a road curvature obtained from the model formula satisfies a predetermined condition; The image processing method for lane recognition according to claim 4, wherein the image processing method is a lane recognition method. 車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、前記低周波数域フィルタを無効にすることを特徴とする請求項４又は５に記載の車線認識のための画像処理法。The lane recognition for lane recognition according to claim 4 or 5, wherein when the vehicle is steered or blinker is operated, or when the yaw rate exceeds a predetermined value, the low frequency band filter is invalidated. Image processing method.
JP2001114488A 2001-04-12 2001-04-12 Image processing apparatus and image processing method for lane recognition Expired - Fee Related JP3732108B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001114488A JP3732108B2 (en) 2001-04-12 2001-04-12 Image processing apparatus and image processing method for lane recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001114488A JP3732108B2 (en) 2001-04-12 2001-04-12 Image processing apparatus and image processing method for lane recognition

Publications (2)

Publication Number Publication Date
JP2002312799A JP2002312799A (en) 2002-10-25
JP3732108B2 true JP3732108B2 (en) 2006-01-05

Family

ID=18965551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001114488A Expired - Fee Related JP3732108B2 (en) 2001-04-12 2001-04-12 Image processing apparatus and image processing method for lane recognition

Country Status (1)

Country Link
JP (1) JP3732108B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3726754B2 (en) * 2002-01-29 2005-12-14 日産自動車株式会社 Predecessor judgment method
JP5109074B2 (en) * 2008-02-29 2012-12-26 クラリオン株式会社 Vehicle speed determination device and vehicle speed determination method
JP5124875B2 (en) * 2008-03-12 2013-01-23 本田技研工業株式会社 Vehicle travel support device, vehicle, vehicle travel support program
KR101882249B1 (en) * 2012-06-04 2018-08-24 현대모비스 주식회사 Method and Appartus for Recogniting Lane Using Difference Weight, Method and Appartus for Controlling Lane Keeping Assist System Using the Same
JP5874770B2 (en) * 2014-03-12 2016-03-02 トヨタ自動車株式会社 Lane marking detection system
TWI621073B (en) * 2016-12-08 2018-04-11 Road lane detection system and method thereof

Also Published As

Publication number Publication date
JP2002312799A (en) 2002-10-25

Similar Documents

Publication Publication Date Title
KR102098140B1 (en) Method for monotoring blind spot of vehicle and blind spot monitor using the same
EP2422320B1 (en) Object detection device
US9665781B2 (en) Moving body detection device and moving body detection method
JP3630100B2 (en) Lane detection device
US8687896B2 (en) Picture image processor, method for processing picture image and method for processing picture image
JP4962581B2 (en) Lane marking detector
JP2008168811A (en) Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program
JP6045889B2 (en) In-vehicle control device
JP4377474B2 (en) Collision prevention device for moving body, collision prevention method, and recording medium
JPH06107096A (en) Forward monitoring method for vehicle
JP2002314989A (en) Peripheral monitor for vehicle
JP3651419B2 (en) Environment recognition device
JP2994170B2 (en) Vehicle periphery monitoring device
JPH08261756A (en) Running lane recognizing device
JP3732108B2 (en) Image processing apparatus and image processing method for lane recognition
JP3911983B2 (en) Rear monitoring device
JP3925285B2 (en) Road environment detection device
JP3227247B2 (en) Roadway detection device
JP4847779B2 (en) In-vehicle information processing method, in-vehicle information processing program, in-vehicle information processing apparatus, and in-vehicle information processing system
JP3626733B2 (en) Lane recognition image processing apparatus and program for executing the processing
JP2004280194A (en) Forward monitor and method therefor
JP2006004188A (en) Obstacle recognition method and obstacle recognition device
JP3319383B2 (en) Roadway recognition device
JP4575315B2 (en) Object detection apparatus and method
KR20130006752A (en) Lane recognizing apparatus and method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131021

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees