JP3807253B2 - Traveling path detection device - Google Patents
Traveling path detection device Download PDFInfo
- Publication number
- JP3807253B2 JP3807253B2 JP2001156520A JP2001156520A JP3807253B2 JP 3807253 B2 JP3807253 B2 JP 3807253B2 JP 2001156520 A JP2001156520 A JP 2001156520A JP 2001156520 A JP2001156520 A JP 2001156520A JP 3807253 B2 JP3807253 B2 JP 3807253B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- lane marker
- travel
- host vehicle
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、自車両が走行している走行路の形状を検出する走行路検出装置に関し、特に走行路の形状を走行路モデルパラメータで表すのに好適なものである。
【０００２】
【従来の技術】
このような走行路検出装置として、例えば特開平８−５３８８号公報に記載されるものがある。この従来の走行路検出装置では、ＣＣＤカメラなどの撮像装置で自車両前方の走行路の状態を撮像し、その撮像内に、自車両が走行している走行車線の両側のレーンマーカーを二本検出し、そのレーンマーカーを用いて、自車両の走行車線における横変位などの走行路モデルパラメータを算出する。また、車線変更等により自車両の走行車線における横変位が大きくなり、当該走行車線の中央から所定値以上離れたら、その離れた方向に隣接する走行車線があると見なし、現在走行中の走行車線を挟む二本のレーンマーカーに加えて、隣接する走行車線の向こう側のレーンマーカーを含む三本のレーンマーカーを検出し、それらのレーンマーカーを用いて走行路モデルパラメータを連続して算出するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の走行路検出装置では、例えば車線変更等により自車両が走行車線の中央から離れたら、隣接する走行車線のレーンマーカーを含む三本のレーンマーカーを検出し、それらのレーンマーカーを用いて走行路モデルパラメータを算出するようにしているものの、特に隣接する走行車線の向こう側のレーンマーカーは、当該隣接する走行車線を走行している他の車両等に隠れて見えない、つまり前記撮像装置で撮像できないことがあるため、そのような場合には前記三本のレーンマーカーを用いる走行路モデルパラメータの算出ができなくなってしまうという問題がある。
【０００４】
本発明は、上記課題を解決するため、三本のレーンマーカーを用いることなく、車線変更等により自車両が走行車線の中央から離れたときでも、走行路モデルパラメータの算出を連続して行うことができる走行路検出装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項１に係る走行路検出手段は、自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された走行路にレーンマーカーを検出するための小領域を設定するレーンマーカー検出領域設定手段と、前記レーンマーカー検出領域設定手段で設定された検出領域内でレーンマーカーの一部をレーンマーカー候補点として検出するレーンマーカー検出手段と、前記レーンマーカー検出手段で検出されたレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する走行路モデルパラメータ算出手段と、前記走行路モデルパラメータ算出手段で算出された走行路モデルパラメータに基づき、走行車線に対する自車両の横方向のずれ量に応じて、前記レーンマーカー検出領域設定手段が対象とするレーンマーカーの検出数を一本又は二本の何れかに切替えるレーンマーカー検出数切替え手段とを備え、前記走行路モデルパラメータ算出手段は、前記レーンマーカー検出数切替え手段が、自車両が走行する走行車線の両側の二本のレーンマーカーを検出対象としたときには、当該走行車線の車線幅を走行路モデルに用い、当該レーンマーカー検出数切替え手段が、自車両に最も近い一本のレーンマーカーを検出対象としたときには、当該レーンマーカーの線幅を走行路モデルに用いることを特徴とするものである。
【０００７】
また、本発明のうち請求項２に係る走行路検出装置は、前記請求項１の発明において、前記走行路モデルパラメータ算出手段は、前記撮像手段により、自車両が走行する走行車線の両側の二本のレーンマーカーを撮像可能であり、当該走行車線に対して自車両が横方向にずれて二本のレーンマーカーを撮像できなくなるときに、前記レーンマーカーの線幅を検出することを特徴とするものである。
【０００８】
また、本発明のうち請求項３に係る走行路検出装置は、前記請求項１又は２の発明において、前記走行路モデルパラメータ算出手段は、走行路モデルのパラメータとして、レーンマーカーで規定される走行車線の曲率、当該走行車線に対する自車両の横変位、当該走行車線に対する自車両のヨー角、自車両のピッチ角、前記撮像手段の取付け位置の地上からの高さを算出することを特徴とするものである。
【０００９】
また、本発明のうち請求項４に係る走行路検出装置は、前記請求項１乃至３の発明において、前記レーンマーカー検出数切替え手段は、自車両が走行する走行車線に対する自車両の横変位に基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
また、本発明のうち請求項５に係る走行路検出装置は、前記請求項１乃至３の発明において、前記レーンマーカー検出数切替え手段は、前記撮像手段で撮像された撮像画面上での、自車両とレーンマーカーとの傾きに基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
【００１０】
また、本発明のうち請求項６に係る走行路検出装置は、前記請求項１乃至３の発明において、前記レーンマーカー検出数切替え手段は、前記自車両が走行する走行車線に対する自車両の横変位及びヨー角に基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
また、本発明のうち請求項７に係る走行路検出装置は、前記請求項１乃至６の発明において、前記レーンマーカー検出数切替え手段は、自車両の走行速度に基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
【００１１】
また、本発明のうち請求項８に係る走行路検出装置は、前記請求項１乃至７の発明において、前記レーンマーカー検出数切替え手段は、自車両の操舵角に基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
また、本発明のうち請求項９に係る走行路検出装置は、前記請求項１乃至６の発明において、前記レーンマーカー検出数切替え手段は、自車両がレーンマーカーに到達するまでの時間に基づいてレーンマーカーの検出数を切替えることを特徴とするものである。
【００１２】
【発明の効果】
而して、本発明のうち請求項１に係る走行路検出装置によれば、撮像された走行路にレーンマーカーを検出するための小領域を設定し、その検出領域内でレーンマーカーの一部をレーンマーカー候補点として検出し、そのレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出すると共に、算出された走行路モデルパラメータに基づき、走行車線に対する自車両の横方向のずれ量に応じて、前記レーンマーカー検出領域設定手段が対象とするレーンマーカーの検出数を一本又は二本の何れかに切替えると共に、自車両が走行する走行車線の両側の二本のレーンマーカーを検出対象としたときには、当該走行車線の車線幅を走行路モデルに用い、自車両に最も近い一本のレーンマーカーを検出対象としたときには、当該レーンマーカーの線幅を走行路モデルに用いる構成としたため、例えば走行している走行車線の中央に対して自車両が横方向のさほどずれていないときには、当該走行車線の両側の二本のレーンマーカーを検出して車線幅を求め、その車線幅に基づいて走行路モデルパラメータを算出することができ、走行している走行車線の中央に対して自車両が横方向にずれているときには、ずれている方の一本のレーンマーカーを検出してその線幅を求め、その線幅に基づいて走行路モデルパラメータを算出することができるので、走行路モデルパラメータの算出に必要なレーンマーカーを見失うことがなく、走行路モデルパラメータを連続して算出することができる。
【００１４】
また、本発明のうち請求項２に係る走行路検出装置によれば、自車両が走行する走行車線の両側の二本のレーンマーカーを撮像可能であり、当該走行車線に対して自車両が横方向にずれて二本のレーンマーカーを撮像できなくなるときに、前記レーンマーカーの線幅を検出する構成としたため、走行している走行車線の中央に対して自車両が横方向にずれようとするとき、当該走行車線の両側の二本のレーンマーカーが路面となす少なくとも三つの境界に基づいて、当該自車両がずれようとする側のレーンマーカーの線幅を正確に検出することができ、これにより一本のレーンマーカーの線幅を用いて走行モデルパラメータを算出することが可能となる。
【００１５】
また、本発明のうち請求項３に係る走行路検出装置によれば、レーンマーカーで規定される走行車線の曲率、当該走行車線に対する自車両の横変位、当該走行車線に対する自車両のヨー角、自車両のピッチ角、前記撮像手段の取付け位置の地上からの高さを算出する構成としたため、これらの走行路モデルパラメータを用いて、走行している走行車線の中央に対して自車両が横方向にずれている若しくはずれようとしていることを検出することができる。
【００１６】
また、本発明のうち請求項４に係る走行路検出装置によれば、自車両が走行する走行車線に対する自車両の横変位に基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを適切なタイミングで行うことができる。
また、本発明のうち請求項５に係る走行路検出装置によれば、撮像された撮像画面上での、自車両とレーンマーカーとの傾きに基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを適切なタイミングで行うことができる。
【００１７】
また、本発明のうち請求項６に係る走行路検出装置によれば、自車両が走行する走行車線に対する自車両の横変位及びヨー角に基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを適切なタイミングで行うことができる。
また、本発明のうち請求項７に係る走行路検出装置によれば、自車両の走行速度に基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを、自車両の走行状態に応じた適切なタイミングで行うことができる。
【００１８】
また、本発明のうち請求項８に係る走行路検出装置によれば、自車両の操舵角に基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを、自車両の走行状態に応じた適切なタイミングで行うことができる。
また、本発明のうち請求項９に係る走行路検出装置によれば、自車両がレーンマーカーに到達するまでの時間に基づいてレーンマーカーの検出数を切替える構成としたため、レーンマーカーの検出数の切替えを、自車両の走行状態に応じた適切なタイミングで行うことができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の走行路検出装置の第１実施形態を示すシステム構成図である。この実施形態の走行路検出装置は、撮像部１、前処理部２、レーンマーカー検出領域設定部３、レーンマーカー検出部４、走行路モデルパラメータ算出部５、処理結果出力部６、レーンマーカー検出数切替え判定部７、レーンマーカー検出数切替え部８を備えている。このうち、前記撮像部１は、ＣＣＤカメラやカメラコントローラ等から構成され、自車両の前方の状態を撮像するものである。また、前記前処理部２は、前記撮像部１で撮像された自車両前方の画像に対し、レーンマーカーのエッジ、即ちレーンマーカーと路面との境界を明瞭にするフィルタ処理を施すものである。また、前記レーンマーカー検出領域設定部３は、後述するレーンマーカー検出数切替え部８で設定されたレーンマーカー検出数に応じ、前記前処理部２でフィルタ処理された自車両前方の撮像情報に、レーンマーカーを検出するための小領域を設定するものである。
【００２０】
また、前記レーンマーカー検出部４は、前記レーンマーカー検出領域設定部３で設定された各検出小領域の中から、最もレーンマーカーらしいレーンマーカーの一部を抽出し、それをレーンマーカー候補点として検出するものである。また、前記走行路モデルパラメータ算出部５は、後述するレーンマーカー検出数切替え部８で切替え設定されるレーンマーカー検出数に応じ、前記レーンマーカー検出部４で検出されたレーンマーカー候補点の撮像画像における位置情報から、レーンマーカーで規定される走行車線の曲率ρ、当該走行車線に対する自車両の横変位ｙC 、当該走行車線に対する自車両のヨー角φ、自車両のピッチ角η、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さｈ等を走行路モデルパラメータとして算出するものである。また、前記処理結果出力部６は、前記走行路モデルパラメータ算出部５で叉出された走行路モデルパラメータを、例えばディスプレイやスピーカ、或いはその他の制御装置に向けて出力するものである。
【００２１】
また、前記レーンマーカー検出数切替え判定部７は、前記走行路モデルパラメータ算出部５で算出された走行路モデルパラメータを用いて、レーンマーカーの検出数を切替えるか否か判定するものである。また、前記レーンマーカー検出数切替え部８は、前記レーンマーカー検出数切替え判定部７で判定されたレーンマーカー検出数の判定結果に応じて、レーンマーカーの検出数を切替え設定するものである。
【００２２】
これらの装置構成は、前記撮像部１のＣＣＤカメラ等を除き、実質的には演算処理によって構成されている。そこで、まず撮像部１で撮像された自車両前方の状況から、走行路モデルパラメータを算出する原理について説明する。
まず、走行路上の空間座標系について、例えば本実施形態では、前記ＣＣＤカメラの撮像レンズの中心を原点とし、車両前方に向かって水平方向右方から左方にＸ軸、車両の高さ方向上方にＹ軸、車両前方にＺ軸をとる直交三次元座標系を設定する。一方、撮像画面上の平面座標系は、ＮＴＳＣ等のテレビジョン通信方式の画面走査方向に従って、画面左上を原点とし、水平方向左方から右方にｘ軸、垂直方向上方から下方にｙ軸をとる直交二次元座標系を設定する。ここで、簡略化のために、前記撮像画面上の平面座標系の原点が、走行路上の空間座標系のＺ軸上にあるとすると、走行路上空間座標系から撮像画面上平面座標系への座標変換は下記１式及び２式で行われる。
【００２３】
【数１】
次に、走行路の平面構造は、一般に直線と曲率一定の曲線、及びこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、自車両前方の数十ｍ区間は曲率一定の曲線路又は直線路と見なせる。そこで、走行車線を規定するレーンマーカーの形状を、図３ａに従って下記３式のように定式化した。また、同様に、縦断構造についてはほぼ一定勾配と見なせるので、図３ｂに従って下記４式のように定式化した。
【００２５】
【数２】
前記１式〜４式より、Ｘ、Ｙ、Ｚを消去すると、下記５式〜１０式が得られる。
【００２７】
【数３】
なお、式中のｃ0 、ｄ0 は、前記図２において、平面座標系の原点を空間座標系のＺ軸上であるとしているのに対して、実際の平面座標系の原点は撮像画像の左上としているため、両者のずれを補正するための値である。
このように、車線幅Ｗを既知とし、撮像された自車両前方のレーンマーカー候補点（レーンマーカーの代表的な一点）の座標情報が満たす前記５式のパラメータａ〜ｅを求めることにより、走行路曲率ρ、自車両のピッチ角η、ヨー角φ、自車両の横変位ｙC 、ＣＣＤカメラの地上高ｈ等の走行路モデルパラメータを算出することができる。また、このときは、走行路モデル式中に車線幅Ｗを用いているので、自車両が走行している走行車線の両側のレーンマーカーを二本検出する必要がある。即ち、前記レーンマーカー検出数切替え部８で切替え設定されるレーンマーカー検出数は二本である。
【００２９】
このように素行車線の車線幅Ｗを用いて前述した各種の走行路モデルパラメータを算出するために、本実施形態では、例えば拡張カルマンフィルタを用いる。前記１式〜４式から、下記１１式が得られる。これは拡張カルマンフィルタを構成する際の出力方程式として用いられ、走行路曲率と車両状態量から撮像画像平面上に定義したｙ座標値におけるｘ座標値を算出するものである。
【００３０】
【数４】
ここで、拡張カルマンフィルタによる推定状態量を、前記走行路曲率ρ、自車両のピッチ角η、ヨー角φ、横変位ｙC 、ＣＣＤカメラの地上高ｈとし、レンズ焦点距離ｆ、車線幅Ｗを一定値とする。そして、各推定状態量は確率的な振る舞いをするものとし、白色ガウス雑音νによって駆動される離散系のランダムウォークモデルとして定義すると、状態方程式は下記１２式で表れる。
【００３２】
【数５】
前記１２式で表れる状態方程式と、前記１１式で表れる出力方程式を下記１３式及び１４式のように簡略化して表記すると、前記拡張カルマンフィルタは下記１５〜１８式で構成される。
【００３４】
【数６】
以上が、拡張カルマンフィルタを構成する出力方程式に、車線幅Ｗを用いた場合の説明であるが、この車線幅Ｗに代えて、レーンマーカーの実際の線幅Ｌを用いても同様の拡張カルマンフィルタを構成することができる。即ち、走行路の状態として、車線幅Ｗとレーンマーカーの線幅Ｌとは、幅の比率が異なるだけで、自車両前方の雪像画像の中では同様に変化するのである。図４は、走行中の走行車線の中で、自車両が走行車線の中央から何れかのレーンマーカー方向（図では右方）にずれた状態で撮像した自車両前方の撮像画像である。このように自車両が走行車線の中央から横方向にずれると、ずれてゆく方向のレーンマーカーはより明瞭に検出できるが、走行車線を挟む反対側のレーンマーカーは次第に検出しにくくなる。そのため、前記従来技術では、ずれてゆく方向の隣の走行車線のレーンマーカーを検出しようとするのであるが、そのレーンマーカーは当該隣の走行車線を走行している車両などによって検出できない恐れがある。そこで、本実施形態では、このように自車両が走行車線の中央から横方向にずれていったら、そのずれていった方向の、つまり自車両に最も近いレーンマーカーの線幅Ｌを用いて拡張カルマンフィルタを構成する。具体的には、自車両が走行している走行車線を規定する二本のレーンマーカーの内側の境界、図４に示す▲１▼、▲２▼を検出し、その走行車線内で自車両がずれていった方向の、自車両に最も近いレーンマーカー自身を規定する境界、図４に示す▲２▼、▲３▼を検出する。そして、前記境界▲１▼、▲２▼の検出結果から得られる走行路モデルパラメータより、下記１９式の線幅Ｌ以外の値を代入し、次いで▲２▼、▲３▼の検出結果から線幅Ｌを算出する。線幅Ｌの算出には、前記カルマンフィルタや最小二乗法等の方法を用いればよい。
【００３６】
【数７】
次に、前記図１の構成要素を構成する演算処理を、図５のフローチャートに従って説明する。この演算処理は、マイクロコンピュータ等の演算処理装置内で、例えば１０msec. 程度に設定された所定のサンプリング時間ΔＴ毎に、タイマ割込として実行される。また、演算処理で用いられるレーンマーカー検出数ＮL の初期値は二本（ＮL ＝２）である。
【００３８】
この演算処理では、まずステップＳ１で前記撮像部１で撮像された自車両前方の撮像画像を読込む。
次にステップＳ２に移行して、前記ステップＳ１で読込んだ自車両前方の撮像画像から、レーンマーカーを検出するための前処理を行う。具体的には、例えばＳobelフィルタによる一次空間微分によって、レーンマーカーと路面との境界、つまりエッジを強調する。本実施形態では、レーンマーカーの検出には、この境界を検出対象とする。なお、エッジ強調フィルタ処理は、前記に限定されるものではなく、またレーンマーカーの検出対象も、前記に限定されるものではない。
【００３９】
次にステップＳ３に移行して、前記ステップＳ２でエッジ強調フィルタ処理を施された自車両前方の撮像画像中に、レーンマーカーを検出するための小領域を設定する。この実施形態では、後述のように二本のレーンマーカー、具体的には走行している走行車線を規定する二本のレーンマーカーを検出する場合と、一本のレーンマーカー、具体的には自車両に最も近いレーンマーカーを検出する場合とがあるので、例えば二本のレーンマーカーを検出する場合（レーンマーカー検出数ＮL ＝２）には図６ａのようにレーンマーカー検出小領域を設定し、一本のレーンマーカーを検出する場合（レーンマーカー検出数ＮL ＝１）には図６ｂのようにレーンマーカー検出領域を設定する。このレーンマーカー検出数ＮL は、前回の演算処理のサンプリング時刻に更新記憶されているか、若しくは初期設定されたものを用いる。
【００４０】
次にステップＳ４に移行して、前記ステップＳ３で設定されたレーンマーカー検出小領域内において、レーンマーカーを検出する。具体的には、図７に示すように、各レーンマーカー検出小領域内において、最もレーンマーカーと路面との境界らしい直線を検出し、その直線上の一点をレーンマーカー候補点として検出する。図７の例では、直線検出結果の最上点をレーンマーカー候補点として検出している。
【００４１】
次にステップＳ５に移行して、前記ステップＳ４で検出されたレーンマーカー候補点の位置情報を用いて、前記１１式〜１８式の拡張カルマンフィルタから、例えば走行車線中央に対する自車両の横変位ｙC 等の走行路モデルパラメータを算出する。
次にステップＳ６に移行して、現在設定されているレーンマーカー検出数ＮL が二本であるか否かを判定し、当該レーンマーカー検出数ＮL が二本である場合にはステップＳ７に移行し、そうでない場合にはステップＳ８に移行する。
【００４２】
前記ステップＳ７では、前記ステップＳ５の拡張カルマンフィルタで求められた走行路モデルパラメータのうち、走行車線中央に対する自車両横変位ｙC が、例えば図８に示すように予め設定された比較的大きい所定値ｙC1以下であるか否かを判定し、当該自車両横変位ｙC が所定値ｙC1以下である場合にはステップＳ９に移行し、そうでない場合にはステップＳ１０に移行する。
【００４３】
前記ステップＳ９では、前記ステップＳ５の拡張カルマンフィルタで求められた走行路モデルパラメータのうち、走行車線中央に対する自車両横変位ｙC が、例えば図８に示すように予め設定された比較的小さい所定値ｙC2（ｙC2＜ｙC1）以下であるか否かを判定し、当該自車両横変位ｙC が所定値ｙC2以下である場合にはメインプログラムに復帰し、そうでない場合にはステップＳ１１に移行する。
【００４４】
前記ステップＳ１１では、前記１９式を用いて、自車両に最も近いレーンマーカーの線幅Ｌを検出してからメインプログラムに復帰する。
また、前記ステップＳ１０では、レーンマーカー検出数ＮL を一本に設定してからメインプログラムに復帰する。
一方、前記ステップＳ８では、前記ステップＳ７と同様に、前記ステップＳ５の拡張カルマンフィルタで求められた走行路モデルパラメータのうち、走行車線中央に対する自車両横変位ｙC が前記所定値ｙC1以下であるか否かを判定し、当該自車両横変位ｙC が所定値ｙC1以下である場合にはメインプログラムに復帰し、そうでない場合にはステップＳ１２に移行する。
【００４５】
そして、前記ステップＳ１２では、レーンマーカー検出数ＮL を二本に設定してからメインプログラムに復帰する。
このように、本実施形態では、カルマンフィルタ等により推定状態量として求めた走行車線中央に対する自車両横変位ｙC が所定値ｙC1以下であるとき、つまり撮像部１で、走行中の走行車線の両側のレーンマーカーを検出できるときには、レーンマーカー検出数ＮL を二本に設定し、当該走行車線の両側の二本のレーンマーカーで規定される走行車線の車線幅Ｗを用いてカルマンフィルタ等により走行路モデルパラメータを算出する。一方、同じくカルマンフィルタ等により推定状態量として求めた走行車線中央に対する自車両横変位ｙC が所定値ｙC1以下でないとき、つまり撮像部１で、走行中の走行車線の両側のレーンマーカーを検出できない、若しくは検出しにくいときには、レーンマーカー検出数ＮL を一本に設定し、自車両に最も近い一本のレーンマーカーの線幅Ｌを用いてカルマンフィルタ等により走行路モデルパラメータを算出する。
【００４６】
一般に、車両は、二本のレーンマーカーで規定される走行車線内を定常的に走行しており、走行車線の中央に対する自車両横変位が大きくなり、撮像部１で、走行車線両側のレーンマーカーを検出できない、若しくは検出しにくいというのは、車線変更等によって、自車両を横方向に移動させる過渡的な状況であると考えられる。そこで、初期設定として、検出すべきレーンマーカー検出数ＮL は二本に設定する。運転者に車線変更の意思がなく、そのまま走行車線に沿って走行し続ければ、自車両横変位ｙC は前記比較的大きな所定値ｙC1以下であり、且つ前記比較的小さな所定値ｙC2以下でもあろうから、前記図５の演算処理ではステップＳ７からステップ９を経てメインプログラムに復帰してしまい、結果的にレーンマーカー検出数ＮL は二本のままである。従って、この間は、常に自車両が走行する走行車線の両側のレーンマーカーを二本検出し、それらによって得られる車線幅Ｗを用いてカルマンフィルタ等により各走行路モデルパラメータを算出する。
【００４７】
これに対し、例えば運転者が車線変更を行おうと試み、前記カルマンフィルタ等により算出される自車両横変位ｙC が、前記比較的小さな所定値ｙC2より大きくなると（未だ、比較的大きな所定値ｙC1以下であるとする）、図５の演算処理ではステップＳ９からステップＳ１１に移行し、ここで自車両に最も近いレーンマーカー、即ち自車両が横方向にずれていこうとする側のレーンマーカーの線幅Ｌを検出する。但し、この場合には、前述のように自車両が走行している走行車線の両側のレーンマーカーは検出可能であるので、未だレーンマーカー検出数ＮL は二本のままとし、前述と同様に、それらによって得られる車線幅Ｗを用いてカルマンフィルタ等により各走行路モデルパラメータを算出する。つまり、この状態は、前記撮像部１によって自車両が走行している走行車線の両側の二本のレーンマーカーを検出することは可能であるが、これ以上、自車両が横方向にずれると、それら二本のレーンマーカーを検出できなくなる又は検出しにくくなるという状態である。
【００４８】
そして、更に自車両横変位ｙC が大きくなり、前記比較的大きな所定値ｙC1より大きくなると、図５の演算処理のステップＳ７からステップＳ１０に移行し、レーンマーカー検出数ＮL は一本に切替えられる。従って、これ以後、前記ステップＳ５のカルマンフィルタは、前記ステップＳ１１で検出したレーンマーカーの線幅Ｌを用いて、各走行路モデルパラメータを算出する。これに対し、例えば車線変更が終了し、隣接していた走行車線の中央に対する自車両横変位ｙC が前記比較的大きな所定値ｙC1以下となると、図５の演算処理のステップＳ８からステップＳ１２に移行し、レーンマーカー検出数ＮL は二本に切り替えられるので、これ以後、前記ステップＳ５のカルマンフィルタは、前述のように走行している走行車線の車線幅Ｗを用いて、各走行路モデルパラメータを算出する。
【００４９】
このように、本実施形態の走行路検出装置では、走行車線に対する自車両の横方向への位置によってレーンマーカー検出数ＮL を切替え、それが二本であるときには、走行車線の車線幅Ｗを用いて、カルマンフィルタ等により各走行路モデルパラメータを算出し、一本であるときには、レーンマーカーの線幅Ｌを用いて同様に各走行路モデルパラメータを算出することができるので、車線変更などによる走行状態の変化に関わらず、各走行路モデルパラメータを算出し続けることができる。また、前記撮像部１によって自車両が走行している走行車線の両側の二本のレーンマーカーを検出することは可能であるが、これ以上、自車両が横方向にずれると、それら二本のレーンマーカーを検出できなくなる又は検出しにくくなるというときに、自車両に最も近いレーンマーカーの線幅Ｌを正確に検出することができるので、その後、一本のレーンマーカーしか検出できなくなったときには、その線幅Ｌを用いて、カルマンフィルタ等により各走行路パラメータを正確に算出することができる。また、自車両が走行する走行車線に対する自車両横変位ｙC に基づいてレーンマーカー検出数ＮL を切替えることにより、レーンマーカー検出数の切替えを適切なタイミングで行うことができる。
【００５０】
なお、前記自車両横変位ｙC に代えて、前記６式及び１０式で得られる、撮像された撮像画面上での、自車両とレーンマーカーとの傾きに基づいてレーンマーカーの検出数を切替えるようにしてもよく、その場合にも、前記と同様にレーンマーカー検出数の切替えを適切なタイミングで行うことができる。更に、前記自車両横変位ｙC に加え、自車両が走行している走行車線に対するヨー角φを用い、例えば図９に示すように、自車両前方Ｎｍの点が走行車線中央からどれだけ変位しているかに基づいて、レーンマーカの検出数を切替えるようにしてもよく、その場合にも、前記と同様にレーンマーカー検出数の切替えを適切なタイミングで行うことができる。
【００５１】
次に、本発明の走行路検出装置の第２実施形態について説明する。この実施形態の走行路検出装置は、装置概要が、前記図１のものから図１０のものに変更されている。この図１０の装置構成は、前記第１実施形態の図１のものに類似しており、同等の構成要素も多い。そこで、同等の構成要素には同等の符号を付して説明を省略する。この図１０の装置構成では、図１のものに、車両状態量検出部９を付加し、この車両状態量検出部９で検出された自車両状態量をレーンマーカー検出数切替え判定部７で読込んでレーンマーカー検出数切替えの判定を行う。前記車両状態量検出部９では、具体的に自車両の走行速度Ｖ及び操舵角θを検出する。
【００５２】
次に、前記図１０の装置構成を構成するための演算処理について図１１のフローチャートを用いて説明する。この演算処理も、前記第１実施形態の図５の演算処理と同様にマイクロコンピュータ等の演算処理装置内で、例えば１０msec. 程度に設定された所定のサンプリング時間ΔＴ毎に、タイマ割込として実行される。
【００５３】
この演算処理では、まずステップＳ２１で、前記第１実施形態と同様に、前記撮像部１で撮像された自車両前方の撮像画像を読込む。
次にステップＳ２２に移行して、前記第１実施形態と同様に、前記ステップＳ２１で読込んだ自車両前方の撮像画像から、レーンマーカーを検出するための前処理、つまりエッジ強調フィルタ処理を行う。
【００５４】
次にステップＳ２３に移行して、前記第１実施形態と同様に、前記ステップＳ２２でエッジ強調フィルタ処理を施された自車両前方の撮像画像中に、レーンマーカーを検出するための小領域を設定する。
次にステップＳ２４に移行して、前記第１実施形態と同様に、前記ステップＳ２３で設定されたレーンマーカー検出小領域内において、レーンマーカーを検出する。
【００５５】
次にステップＳ２５に移行して、前記第１実施形態と同様に、前記ステップＳ２４で検出されたレーンマーカー候補点の位置情報を用いて、前記１１式〜１８式の拡張カルマンフィルタから、例えば走行車線中央に対する自車両の横変位ｙC 、走行車線に対するヨー角φ等の走行路モデルパラメータを算出する。
次にステップＳ２６に移行して、前記車両状態量検出部９で検出された車両状態量、具体的には自車両の走行速度Ｖ及び操舵角θを読込む。
【００５６】
次にステップＳ２７に移行して、前記ステップＳ２５で算出された走行路モデルパラメータの走行車線中央に対する自車両横変位ｙC 、走行車線に対するヨー角φ、前記ステップＳ２６で読込んだ自車両走行速度Ｖ、操舵角θを用いて、自車両が近づきつつある、或いはより近いレーンマーカーまでの到達時間Ｔｈを算出する。具体的には、前記走行車線中央に対する自車両横変位ｙC 及び走行車線に対するヨー角φを初期値とし、現在の車速Ｖと現在の操舵角θが維持されたとして、近づきつつある、或いはより近いレーンマーカーに自車両の中心点が到達するまでの到達所要時間を算出する。
【００５７】
次にステップＳ２８に移行して、前記第１実施形態と同様に、現在設定されているレーンマーカー検出数ＮL が二本であるか否かを判定し、当該レーンマーカー検出数ＮL が二本である場合にはステップＳ２９に移行し、そうでない場合にはステップＳ３０に移行する。
前記ステップＳ２９では、前記ステップＳ２７で算出されたレーンマーカー到達時間Ｔｈが、予め設定された比較的小さい所定値Ｔｈ1 以上であるか否かを判定し、当該レーンマーカー到達時間Ｔｈが所定値Ｔｈ1 以上である場合にはステップＳ３１に移行し、そうでない場合にはステップＳ３２に移行する。
【００５８】
前記ステップＳ３２では、前記ステップＳ２７で算出されたレーンマーカー到達時間Ｔｈが、予め設定された比較的大きい所定値Ｔｈ2 （Ｔｈ1 ＜Ｔｈ2 ）以上であるか否かを判定し、当該レーンマーカー到達時間Ｔｈが所定値Ｔｈ2 以上である場合にはメインプログラムに復帰し、そうでない場合にはステップＳ３３に移行する。
【００５９】
前記ステップＳ３３では、前記第１実施形態と同様に、前記１９式を用いて、自車両に最も近いレーンマーカーの線幅Ｌを検出してからメインプログラムに復帰する。
また、前記ステップＳ３２では、レーンマーカー検出数ＮL を一本に設定してからメインプログラムに復帰する。
【００６０】
一方、前記ステップＳ３０では、前記ステップＳ２９と同様に、前記ステップＳ２７で算出されたレーンマーカー到達時間Ｔｈが前記所定値Ｔｈ1 以上であるか否かを判定し、当該レーンマーカー到達時間Ｔｈが所定値Ｔｈ1 以上である場合にはメインプログラムに復帰し、そうでない場合にはステップＳ３４に移行する。
【００６１】
そして、前記ステップＳ３４では、レーンマーカー検出数ＮL を二本に設定してからメインプログラムに復帰する。
このように、本実施形態では、近づきつつある或いはより近いレーンマーカーに自車両が到達するまでの到達時間Ｔｈが所定値Ｔｈ1 以上であるとき、つまり走行している走行車線の両側のレーンマーカーの何れよりも遠く、撮像部１で、走行中の走行車線の両側のレーンマーカーを検出できるときには、レーンマーカー検出数ＮL を二本に設定し、当該走行車線の両側の二本のレーンマーカーで規定される走行車線の車線幅Ｗを用いてカルマンフィルタ等により走行路モデルパラメータを算出する。一方、同じく近づきつつある或いはより近いレーンマーカーに自車両が到達するまでの到達時間Ｔｈが所定値Ｔｈ1 以上でないとき、つまり撮像部１で、走行中の走行車線の両側のレーンマーカーを検出できない、若しくは検出しにくいときには、レーンマーカー検出数ＮL を一本に設定し、自車両に最も近い一本のレーンマーカーの線幅Ｌを用いてカルマンフィルタ等により走行路モデルパラメータを算出する。
【００６２】
前記第１実施形態と同様に、通常、車両は二本のレーンマーカーで規定される走行車線内を定常的に走行しており、走行車線の中央に対する自車両横変位が大きくなり、撮像部１で、走行車線両側のレーンマーカーを検出できない、若しくは検出しにくいというのは、車線変更等によって、自車両を横方向に移動させる過渡的な状況であると考えられる。そこで、初期設定として、検出すべきレーンマーカー検出数ＮL は二本に設定する。運転者に車線変更の意思がなく、そのまま走行車線に沿って走行し続ければ、ステップＳ２７で算出されるレーンマーカー到達時間Ｔｈは前記比較的小さな所定値Ｔｈ1 以上であり、且つ前記比較的大きな所定値Ｔｈ2 以上でもあろうから、前記図１０の演算処理ではステップＳ２９からステップ３１を経てメインプログラムに復帰してしまい、結果的にレーンマーカー検出数ＮL は二本のままである。従って、この間は、常に自車両が走行する走行車線の両側のレーンマーカーを二本検出し、それらによって得られる車線幅Ｗを用いてカルマンフィルタ等により各走行路モデルパラメータを算出する。
【００６３】
これに対し、例えば運転者が車線変更を行おうと試み、前記ステップＳ２７で算出されるレーンマーカー到達時間Ｔｈが、前記比較的大きな所定値Ｔｈ2 より小さくなると（未だ、比較的小さな所定値Ｔｈ1 以上であるとする）、図１０の演算処理ではステップＳ３１からステップＳ３３に移行し、ここで自車両に最も近いレーンマーカー、即ち自車両が横方向にずれていこうとする側のレーンマーカーの線幅Ｌを検出する。但し、この場合には、前述のように自車両が走行している走行車線の両側のレーンマーカーは検出可能であるので、未だレーンマーカー検出数ＮL は二本のままとし、前記第１実施形態と同様に、それらによって得られる車線幅Ｗを用いてカルマンフィルタ等により各走行路モデルパラメータを算出する。つまり、この状態は、前記撮像部１によって自車両が走行している走行車線の両側の二本のレーンマーカーを検出することは可能であるが、これ以上、自車両が横方向にずれると、それら二本のレーンマーカーを検出できなくなる又は検出しにくくなるという状態である。
【００６４】
そして、更にレーンマーカー到達時間Ｔｈが小さくなり、前記比較的小さな所定値Ｔｈ1 より小さくなると、図１０の演算処理のステップＳ２９からステップＳ３２に移行し、レーンマーカー検出数ＮL は一本に切替えられる。従って、これ以後、前記ステップＳ２５のカルマンフィルタは、前記ステップＳ３３で検出したレーンマーカーの線幅Ｌを用いて、各走行路モデルパラメータを算出する。これに対し、例えば車線変更が終了し、前記ステップＳ２７で、隣接していた走行車線の両側のレーンマーカーに到達する到達時間Ｔｈが算出されるようになり、このレーンマーカー到達時間Ｔｈが前記比較的小さな所定値Ｔｈ1 以上となると、図１０の演算処理のステップＳ３０からステップＳ３４に移行し、レーンマーカー検出数ＮL は二本に切り替えられるので、これ以後、前記ステップＳ２５のカルマンフィルタは、前述のように走行している走行車線の車線幅Ｗを用いて、各走行路モデルパラメータを算出する。
【００６５】
このように、本実施形態の走行路検出装置では、走行車線に対する自車両の横方向への位置によってレーンマーカー検出数ＮL を切替え、それが二本であるときには、走行車線の車線幅Ｗを用いて、カルマンフィルタ等により各走行路モデルパラメータを算出し、一本であるときには、レーンマーカーの線幅Ｌを用いて同様に各走行路モデルパラメータを算出することができるので、車線変更などによる走行状態の変化に関わらず、各走行路モデルパラメータを算出し続けることができる。また、前記撮像部１によって自車両が走行している走行車線の両側の二本のレーンマーカーを検出することは可能であるが、これ以上、自車両が横方向にずれると、それら二本のレーンマーカーを検出できなくなる又は検出しにくくなるというときに、自車両に最も近いレーンマーカーの線幅Ｌを正確に検出することができるので、その後、一本のレーンマーカーしか検出できなくなったときには、その線幅Ｌを用いて、カルマンフィルタ等により各走行路パラメータを正確に算出することができる。また、自車両の状態量、つまり走行速度Ｖ、操舵角θ、或いはレーンマーカー到達時間Ｔｈに基づいてレーンマーカー検出数ＮL を切替えることにより、レーンマーカー検出数の切替えを適切なタイミングで行うことができる。
【００６６】
なお、前記実施形態では、車線幅Ｗを固定値として扱い、ＣＣＤカメラの地上高ｈを推定しているが、例えばＣＣＤカメラの地上高ｈを固定値とし、車線幅Ｗを推定してもよい。また、前記実施形態では、走行路モデルパラメータの算出にカルマンフィルタを用いたが、他の推定装置や最小二乗法等の同定方法を用いて算出するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の走行路検出装置の第１実施形態を示す概略構成図である。
【図２】平面座標系と空間座標系との関連を示す説明図である。
【図３】レーンマーカーの形状及び縦断構造の定式化の説明図である。
【図４】レーンマーカーの線幅の算出方法の説明図である。
【図５】図１を構成する演算処理のフローチャートである。
【図６】レーンマーカー検出小領域の説明図である。
【図７】レーンマーカー候補点の説明図である。
【図８】自車両横変位所定値の説明図である。
【図９】自車両前方の横方向へのずれの説明図である。
【図１０】本発明の走行路検出装置の第２実施形態を示す概略構成図である。
【図１１】図１０を構成する演算処理のフローチャートである。
【符号の説明】
１は撮像部
２は前処理部
３はレーンマーカー検出領域設定部
４はレーンマーカー検出部
５は走行路モデルパラメータ算出部
６は処理結果出力部
７はレーンマーカー検出数切替え判定部
８はレーンマーカー検出数切替え部
９は車両状態量検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a travel path detection device that detects the shape of a travel path on which the host vehicle is traveling, and is particularly suitable for representing the shape of a travel path with a travel path model parameter.
[0002]
[Prior art]
An example of such a travel path detection apparatus is described in Japanese Patent Application Laid-Open No. 8-5388. In this conventional travel path detection device, the state of the travel path ahead of the host vehicle is imaged by an imaging device such as a CCD camera, and two lane markers on both sides of the travel lane in which the host vehicle is traveling are included in the image. Then, using the lane marker, a travel route model parameter such as a lateral displacement in the travel lane of the host vehicle is calculated. Also, if the lateral displacement in the traveling lane of the host vehicle increases due to lane change, etc., and it is more than a predetermined value away from the center of the traveling lane, it is considered that there is an adjacent traveling lane in the away direction, and the currently traveling lane In addition to the two lane markers that sandwich the lane marker, three lane markers including the lane marker on the other side of the adjacent lane are detected, and the road model parameters are continuously calculated using these lane markers. I have to.
[0003]
[Problems to be solved by the invention]
However, in the conventional traveling path detection device, for example, when the host vehicle leaves the center of the traveling lane due to a lane change or the like, the three lane markers including the lane marker of the adjacent traveling lane are detected, and those lane markers are detected. Although the lane marker parameter is calculated using the lane marker, the lane marker on the other side of the adjacent driving lane is not visible because it is hidden behind other vehicles traveling on the adjacent driving lane. Since there is a case where the image cannot be captured by the imaging device, in such a case, there is a problem that it is impossible to calculate the travel route model parameter using the three lane markers.
[0004]
In order to solve the above-mentioned problem, the present invention continuously calculates the travel route model parameters even when the host vehicle is separated from the center of the travel lane by changing the lane without using three lane markers. It is an object of the present invention to provide a travel path detection device capable of
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the road detection means according to
[0007]
Further, the present invention claims 2 The travel path detecting apparatus according to
[0008]
Further, the present invention claims 3 The travel path detecting apparatus according to
[0009]
Further, the present invention claims 4 The travel path detecting apparatus according to
Further, the present invention claims 5 The travel path detecting apparatus according to
[0010]
Further, the present invention claims 6 The travel path detecting apparatus according to
Further, the present invention claims 7 The travel path detecting apparatus according to
[0011]
Further, the present invention claims 8 The travel path detecting apparatus according to
Further, the present invention claims 9 The travel path detecting apparatus according to
[0012]
【The invention's effect】
Thus, according to the travel path detection device of the present invention, a small area for detecting the lane marker is set on the captured travel path, and a part of the lane marker is detected in the detection area. Is detected as a lane marker candidate point, and from the information of the lane marker candidate point, a travel path model parameter for representing the shape of the travel path ahead of the host vehicle is calculated, and the travel path model parameter is calculated based on the calculated travel path model parameter. The lane marker detection area setting means switches the number of detected lane markers to one or two according to the amount of lateral displacement of the host vehicle with respect to the lane. At the same time, when two lane markers on both sides of the travel lane on which the host vehicle is traveling are detected, the lane width of the travel lane is used as a travel route model, and one lane marker closest to the host vehicle is detected. The line width of the lane marker is used for the road model For example, when the host vehicle is not significantly displaced in the lateral direction with respect to the center of the traveling lane in which the vehicle is traveling, the lane width is obtained by detecting two lane markers on both sides of the traveling lane, and the lane The travel route model parameter can be calculated based on the width, and when the vehicle is laterally displaced with respect to the center of the traveling lane, one lane marker that is displaced is detected. And calculate the road model parameter based on the line width. So you can It is possible to continuously calculate the road model parameter without losing sight of the lane marker necessary for calculating the road model parameter.
[0014]
Further, the present invention claims 2 According to the travel path detection device according to the present invention, it is possible to image two lane markers on both sides of the travel lane on which the host vehicle travels, and the host vehicle is shifted laterally with respect to the travel lane and the two lane markers are Since the line width of the lane marker is detected when the vehicle cannot be captured, when the host vehicle tries to shift laterally with respect to the center of the traveling lane, The line width of the lane marker on the side on which the vehicle is about to deviate can be accurately detected based on at least three boundaries between the two lane markers and the road surface. It is possible to calculate the travel model parameters using.
[0015]
Further, the present invention claims 3 According to the travel path detecting apparatus, the curvature of the travel lane defined by the lane marker, the lateral displacement of the host vehicle with respect to the travel lane, the yaw angle of the host vehicle with respect to the travel lane, the pitch angle of the host vehicle, the imaging unit Since the height from the ground of the mounting position of the vehicle is calculated, the vehicle is shifted laterally or about to shift with respect to the center of the traveling lane using these travel path model parameters. Can be detected.
[0016]
Further, the present invention claims 4 According to the travel path detection device according to the present invention, since the number of lane markers detected is switched based on the lateral displacement of the host vehicle with respect to the travel lane on which the host vehicle travels, the number of detected lane markers is switched at an appropriate timing. be able to.
Further, the present invention claims 5 According to the traveling road detection device according to the present invention, the number of detected lane markers is switched based on the inclination of the host vehicle and the lane marker on the captured image screen. Can be done at any time.
[0017]
Further, the present invention claims 6 According to the travel path detection device according to the present invention, the number of lane markers detected is switched based on the lateral displacement and yaw angle of the host vehicle with respect to the travel lane on which the host vehicle travels. Can be done at the timing.
Further, the present invention claims 7 According to the travel path detection device according to the present invention, the number of detected lane markers is switched based on the traveling speed of the host vehicle. Therefore, the number of detected lane markers can be switched at an appropriate timing according to the traveling state of the host vehicle. It can be carried out.
[0018]
Further, the present invention claims 8 According to the traveling road detection device according to the present invention, the number of lane markers detected is switched based on the steering angle of the host vehicle. Therefore, the switching of the number of lane markers is switched at an appropriate timing according to the traveling state of the host vehicle. It can be carried out.
Further, the present invention claims 9 According to the travel path detection device according to the present invention, since the number of detections of the lane markers is switched based on the time until the host vehicle reaches the lane markers, the switching of the detection number of the lane markers is changed to the traveling state of the host vehicle. It can be performed at an appropriate timing.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a system configuration diagram showing a first embodiment of a travel path detection apparatus of the present invention. The travel path detection apparatus of this embodiment includes an
[0020]
Further, the lane marker detection unit 4 extracts a part of the lane marker that seems to be the most lane marker from each detection small region set by the lane marker detection
[0021]
The lane marker detection number switching determination unit 7 determines whether or not to switch the number of detected lane markers by using the travel route model parameter calculated by the travel route model parameter calculation unit 5. The lane marker detection
[0022]
These apparatus configurations are substantially configured by arithmetic processing except for the CCD camera and the like of the
First, with respect to the spatial coordinate system on the road, for example, in this embodiment, the center of the imaging lens of the CCD camera is the origin, the X axis from the horizontal right to the left toward the front of the vehicle, and the vehicle height direction upward Is set to an orthogonal three-dimensional coordinate system having a Y axis and a Z axis in front of the vehicle. On the other hand, the plane coordinate system on the imaging screen is based on the screen scanning direction of a television communication system such as NTSC, with the origin at the upper left of the screen, the x axis from the left to the right in the horizontal direction, and the y axis from the top to the bottom in the vertical direction. Set the orthogonal 2D coordinate system to take. Here, for the sake of simplification, if the origin of the plane coordinate system on the imaging screen is on the Z axis of the spatial coordinate system on the traveling road, the spatial coordinate system on the traveling road is changed to the planar coordinate system on the imaging screen. Coordinate conversion is performed by the following
[0023]
[Expression 1]
Next, the plane structure of the road is generally defined by a straight line, a curve with a constant curvature, and a clothoid curve with a constant curvature change rate to smoothly connect them. It can be considered as a curved or straight road. Therefore, the shape of the lane marker that defines the traveling lane was formulated according to FIG. Similarly, since the longitudinal structure can be regarded as a substantially constant gradient, it was formulated as the following four equations according to FIG.
[0025]
[Expression 2]
When X, Y, and Z are deleted from
[0027]
[Equation 3]
In the formula, c 0 , D 0 In FIG. 2, the origin of the plane coordinate system is assumed to be on the Z axis of the spatial coordinate system, whereas the origin of the actual plane coordinate system is assumed to be the upper left of the captured image. It is a value to do.
As described above, the lane width W is known, and by obtaining the parameters a to e of the above five formulas that satisfy the coordinate information of the lane marker candidate point (a representative point of the lane marker) in front of the captured vehicle, the vehicle travels. Road curvature ρ, pitch angle η of own vehicle, yaw angle φ, lateral displacement y of own vehicle C In addition, it is possible to calculate a road model parameter such as the ground height h of the CCD camera. At this time, since the lane width W is used in the travel route model formula, it is necessary to detect two lane markers on both sides of the travel lane in which the host vehicle is traveling. That is, the number of lane marker detections switched by the lane marker detection
[0029]
In this embodiment, for example, an extended Kalman filter is used in order to calculate the various travel route model parameters described above using the lane width W of the traffic lane. From the
[0030]
[Expression 4]
Here, the estimated state quantity by the extended Kalman filter is expressed as the travel path curvature ρ, the pitch angle η of the host vehicle, the yaw angle φ, and the lateral displacement y. C The ground height h of the CCD camera is set, and the lens focal length f and the lane width W are set to constant values. Each estimated state quantity behaves probabilistically, and when defined as a discrete random walk model driven by white Gaussian noise ν, the state equation is expressed by the following 12 equations.
[0032]
[Equation 5]
When the state equation expressed by the above-mentioned formula 12 and the output equation expressed by the above-mentioned formula 11 are simplified and expressed as the following formulas 13 and 14, the extended Kalman filter is configured by the following formulas 15-18.
[0034]
[Formula 6]
The above is an explanation of the case where the lane width W is used in the output equation constituting the extended Kalman filter. Instead of this lane width W, the same extended Kalman filter can be obtained by using the actual line width L of the lane marker. Can be configured. That is, as the state of the travel path, the lane width W and the lane marker line width L change in the same manner in the snow image in front of the host vehicle except that the width ratio is different. FIG. 4 is a captured image in front of the host vehicle that is captured in a state where the host vehicle is shifted in the direction of any lane marker (rightward in the drawing) from the center of the traveling lane in the traveling lane. When the host vehicle is shifted laterally from the center of the traveling lane in this way, the lane marker in the direction of shifting can be detected more clearly, but the opposite lane marker across the traveling lane gradually becomes difficult to detect. For this reason, in the conventional technique, an attempt is made to detect the lane marker in the adjacent traveling lane in the direction of shifting, but the lane marker may not be detected by a vehicle traveling in the adjacent traveling lane. . Therefore, in this embodiment, if the own vehicle is shifted laterally from the center of the traveling lane in this way, the vehicle is expanded using the line width L of the lane marker in the shifted direction, that is, closest to the own vehicle. Configure the Kalman filter. Specifically, the inner boundaries of the two lane markers that define the travel lane in which the host vehicle is traveling, (1) and (2) shown in FIG. 4 are detected, and the host vehicle is within the travel lane. The boundary that defines the lane marker that is closest to the host vehicle in the shifted direction, (2) and (3) shown in FIG. 4, are detected. Then, a value other than the line width L in the following equation (19) is substituted from the travel route model parameter obtained from the detection results of the boundaries (1) and (2), and then a line from the detection results of (2) and (3) The width L is calculated. For the calculation of the line width L, a method such as the Kalman filter or the least square method may be used.
[0036]
[Expression 7]
Next, the arithmetic processing that constitutes the constituent elements of FIG. 1 will be described with reference to the flowchart of FIG. This arithmetic processing is executed as a timer interrupt every predetermined sampling time ΔT set to, for example, about 10 msec. In an arithmetic processing device such as a microcomputer. In addition, the number of lane marker detections N used in the calculation process L The initial value of is 2 (N L = 2).
[0038]
In this calculation process, first, in step S1, a captured image in front of the host vehicle captured by the
Next, the process proceeds to step S2, and preprocessing for detecting a lane marker is performed from the captured image in front of the host vehicle read in step S1. Specifically, for example, the boundary, that is, the edge between the lane marker and the road surface is enhanced by first-order spatial differentiation using a Sobel filter. In this embodiment, this boundary is set as a detection target for detection of the lane marker. Note that the edge enhancement filter processing is not limited to the above, and the detection target of the lane marker is not limited to the above.
[0039]
Next, the process proceeds to step S3, and a small region for detecting a lane marker is set in the captured image in front of the host vehicle that has been subjected to the edge enhancement filter process in step S2. In this embodiment, as will be described later, two lane markers, specifically, two lane markers that define a traveling lane that is running are detected, and one lane marker, specifically Since the lane marker closest to the vehicle is sometimes detected, for example, when two lane markers are detected (the number of detected lane markers N L = 2) When a small lane marker detection area is set as shown in FIG. 6a and one lane marker is detected (the number of detected lane markers N L = 1), a lane marker detection area is set as shown in FIG. 6b. Number of detected lane markers N L Is updated or stored at the sampling time of the previous arithmetic processing or is initialized.
[0040]
Next, the process proceeds to step S4, where a lane marker is detected within the small lane marker detection area set in step S3. Specifically, as shown in FIG. 7, in each lane marker detection subregion, a straight line that is most likely to be a boundary between the lane marker and the road surface is detected, and one point on the straight line is detected as a lane marker candidate point. In the example of FIG. 7, the highest point of the straight line detection result is detected as a lane marker candidate point.
[0041]
Next, the process proceeds to step S5, and the lateral displacement y of the host vehicle with respect to the center of the driving lane, for example, from the extended Kalman filter of the formulas 11 to 18, using the position information of the lane marker candidate points detected in the step S4. C The travel route model parameters such as are calculated.
Next, the process proceeds to step S6, where the currently set number of detected lane markers N L The number of detected lane markers is N. L If there are two, the process proceeds to step S7, and if not, the process proceeds to step S8.
[0042]
In step S7, the vehicle's lateral displacement y with respect to the center of the traveling lane among the road model parameters obtained by the extended Kalman filter in step S5. C Is a relatively large predetermined value y set in advance as shown in FIG. 8, for example. C1 It is determined whether or not the following is the vehicle lateral displacement y C Is the predetermined value y C1 When it is below, it transfers to step S9, and when that is not right, it transfers to step S10.
[0043]
In step S9, the vehicle lateral displacement y with respect to the center of the driving lane among the road model parameters obtained by the extended Kalman filter in step S5. C Is, for example, a relatively small predetermined value y set in advance as shown in FIG. C2 (Y C2 <Y C1 ) It is determined whether or not the vehicle vehicle lateral displacement y C Is the predetermined value y C2 If it is below, the process returns to the main program, and if not, the process proceeds to step S11.
[0044]
In step S11, using formula 19, the line width L of the lane marker closest to the host vehicle is detected, and then the process returns to the main program.
In step S10, the number of detected lane markers N L Set to one and then return to the main program.
On the other hand, in step S8, as in step S7, the vehicle lateral displacement y with respect to the center of the traveling lane among the traveling path model parameters obtained by the extended Kalman filter in step S5 C Is the predetermined value y C1 It is determined whether or not the vehicle displacement is y C Is the predetermined value y C1 If it is below, the process returns to the main program, and if not, the process proceeds to step S12.
[0045]
In step S12, the number of detected lane markers N L Set to 2 before returning to the main program.
Thus, in the present embodiment, the own vehicle lateral displacement y with respect to the center of the traveling lane determined as the estimated state quantity by a Kalman filter or the like C Is the predetermined value y C1 When the following is true, that is, when the
[0046]
In general, the vehicle travels steadily in a travel lane defined by two lane markers, and the lateral displacement of the host vehicle with respect to the center of the travel lane increases. The fact that the vehicle cannot be detected or is difficult to detect is considered to be a transient situation in which the host vehicle is moved in the lateral direction due to a lane change or the like. Therefore, as an initial setting, the number N of detected lane markers to be detected L Set to two. If the driver does not intend to change lanes and continues to drive along the driving lane, C Is the relatively large predetermined value y C1 And the relatively small predetermined value y C2 Since it will be described below, the calculation process of FIG. 5 returns to the main program from step S7 to step 9, resulting in the number of detected lane markers N. L Remains two. Accordingly, during this time, two lane markers on both sides of the travel lane on which the host vehicle travels are always detected, and each travel route model parameter is calculated by a Kalman filter or the like using the lane width W obtained by them.
[0047]
On the other hand, for example, the driver tries to change the lane, and the vehicle's lateral displacement y calculated by the Kalman filter or the like is calculated. C Is the relatively small predetermined value y C2 If it becomes larger (still a relatively large predetermined value y C1 In the calculation process of FIG. 5, the process proceeds from step S9 to step S11, where the lane marker closest to the host vehicle, that is, the line of the lane marker on the side where the host vehicle is about to shift laterally. The width L is detected. However, in this case, since the lane markers on both sides of the traveling lane in which the host vehicle is traveling can be detected as described above, the number of detected lane markers is still N. L As described above, each road model parameter is calculated by a Kalman filter or the like using the lane width W obtained by them. That is, in this state, it is possible to detect the two lane markers on both sides of the traveling lane in which the host vehicle is traveling by the
[0048]
Further, the own vehicle lateral displacement y C Becomes larger and the relatively large predetermined value y C1 When it becomes larger, the process proceeds from step S7 to step S10 in the arithmetic processing of FIG. L Is switched to one. Therefore, thereafter, the Kalman filter in step S5 calculates each travel path model parameter using the line width L of the lane marker detected in step S11. On the other hand, for example, the lane change is completed, and the vehicle's lateral displacement y relative to the center of the adjacent traveling lane C Is the relatively large predetermined value y C1 In the following case, the process proceeds from step S8 to step S12 in the calculation process of FIG. L Thereafter, the Kalman filter in step S5 calculates each travel route model parameter using the lane width W of the travel lane as described above.
[0049]
As described above, in the travel path detection device according to the present embodiment, the number N of lane marker detections depends on the position of the host vehicle in the lateral direction relative to the travel lane. L When there are two, the lane width W of the lane is used to calculate each road model parameter by a Kalman filter or the like, and when it is one, the line width L of the lane marker is used similarly. Since each travel route model parameter can be calculated, it is possible to continue calculating each travel route model parameter regardless of changes in the travel state due to lane changes or the like. In addition, although it is possible to detect two lane markers on both sides of the travel lane in which the host vehicle is traveling by the
[0050]
The vehicle lateral displacement y C Instead of this, the number of detected lane markers may be switched based on the inclination of the host vehicle and the lane marker on the captured image screen obtained by the
[0051]
Next, a second embodiment of the traveling path detection device of the present invention will be described. In the travel path detection apparatus of this embodiment, the outline of the apparatus is changed from that of FIG. 1 to that of FIG. The apparatus configuration of FIG. 10 is similar to that of FIG. 1 of the first embodiment, and there are many equivalent components. Therefore, equivalent components are denoted by the same reference numerals, and description thereof is omitted. In the apparatus configuration of FIG. 10, a vehicle state
[0052]
Next, calculation processing for configuring the apparatus configuration of FIG. 10 will be described with reference to the flowchart of FIG. This arithmetic processing is also executed as a timer interrupt every predetermined sampling time ΔT set to, for example, about 10 msec. In an arithmetic processing unit such as a microcomputer as in the arithmetic processing of FIG. 5 of the first embodiment. Is done.
[0053]
In this calculation process, first, in step S21, the captured image in front of the host vehicle captured by the
Next, the process proceeds to step S22, and in the same manner as in the first embodiment, pre-processing for detecting a lane marker from the captured image read in step S21, that is, edge enhancement filter processing is performed. .
[0054]
Next, the process proceeds to step S23, and in the same manner as in the first embodiment, a small region for detecting a lane marker is set in the captured image in front of the host vehicle that has been subjected to the edge enhancement filter processing in step S22. To do.
Next, the process proceeds to step S24, and lane markers are detected within the lane marker detection subregion set in step S23, as in the first embodiment.
[0055]
Next, the process proceeds to step S25, and the position information of the lane marker candidate points detected in step S24 is used, for example, from the extended Kalman filter of formulas 11 to 18, for example, the traveling lane, as in the first embodiment. Lateral displacement y of the vehicle relative to the center C The travel route model parameters such as the yaw angle φ with respect to the travel lane are calculated.
Next, the process proceeds to step S26, and the vehicle state quantity detected by the vehicle state
[0056]
Next, the process proceeds to step S27, where the vehicle lateral displacement y with respect to the center of the travel lane of the travel route model parameter calculated in step S25 C Using the yaw angle φ with respect to the travel lane, the host vehicle travel speed V read in step S26, and the steering angle θ, the arrival time Th to the lane marker where the host vehicle is approaching or closer is calculated. Specifically, the own vehicle lateral displacement y with respect to the center of the travel lane C Assuming that the current vehicle speed V and the current steering angle θ are maintained with the initial value of the yaw angle φ with respect to the traveling lane, the required arrival time until the center point of the host vehicle approaches or is closer to the lane marker Calculate time.
[0057]
Next, the process proceeds to step S28, and the number of currently detected lane marker detections N is the same as in the first embodiment. L The number of detected lane markers is N. L If there are two, the process proceeds to step S29, and if not, the process proceeds to step S30.
In step S29, the lane marker arrival time Th calculated in step S27 is a predetermined relatively small predetermined value Th. 1 It is determined whether or not the lane marker arrival time Th is a predetermined value Th. 1 If so, the process proceeds to step S31; otherwise, the process proceeds to step S32.
[0058]
In step S32, the lane marker arrival time Th calculated in step S27 is set to a relatively large predetermined value Th. 2 (Th 1 <Th 2 ) It is determined whether or not the lane marker arrival time Th is a predetermined value Th 2 If so, the process returns to the main program; otherwise, the process proceeds to step S33.
[0059]
In step S33, as in the first embodiment, the line width L of the lane marker closest to the host vehicle is detected using the equation (19), and then the process returns to the main program.
In step S32, the number of detected lane markers N L Set to one and then return to the main program.
[0060]
On the other hand, in step S30, as in step S29, the lane marker arrival time Th calculated in step S27 is equal to the predetermined value Th. 1 It is determined whether or not the lane marker arrival time Th is a predetermined value Th. 1 If so, the process returns to the main program; otherwise, the process proceeds to step S34.
[0061]
In step S34, the number of detected lane markers N L Set to 2 before returning to the main program.
As described above, in the present embodiment, the arrival time Th until the host vehicle reaches the approaching or closer lane marker is the predetermined value Th. 1 When it is above, that is, when it is farther than any of the lane markers on both sides of the traveling lane and the
[0062]
As in the first embodiment, the vehicle normally travels constantly in the travel lane defined by the two lane markers, and the lateral displacement of the host vehicle with respect to the center of the travel lane increases. Thus, the fact that the lane markers on both sides of the traveling lane cannot be detected or is difficult to detect is considered to be a transitional situation in which the host vehicle is moved in the lateral direction by changing the lane or the like. Therefore, as an initial setting, the number N of detected lane markers to be detected L Set to two. If the driver does not intend to change the lane and continues to travel along the traveling lane, the lane marker arrival time Th calculated in step S27 is the relatively small predetermined value Th. 1 And the relatively large predetermined value Th 2 As described above, in the arithmetic processing of FIG. 10, the process returns from step S29 to step 31 to the main program. As a result, the number of detected lane markers N L Remains two. Accordingly, during this time, two lane markers on both sides of the travel lane on which the host vehicle travels are always detected, and each travel route model parameter is calculated by a Kalman filter or the like using the lane width W obtained by them.
[0063]
On the other hand, for example, the driver tries to change the lane, and the lane marker arrival time Th calculated in step S27 is the relatively large predetermined value Th. 2 When it becomes smaller (still a relatively small predetermined value Th 1 In the calculation process of FIG. 10, the process proceeds from step S31 to step S33, where the lane marker closest to the host vehicle, that is, the line of the lane marker on the side where the host vehicle is about to be shifted laterally. The width L is detected. However, in this case, since the lane markers on both sides of the traveling lane in which the host vehicle is traveling can be detected as described above, the number of detected lane markers is still N. L As in the first embodiment, each travel route model parameter is calculated by a Kalman filter or the like using the lane width W obtained by them. That is, in this state, it is possible to detect the two lane markers on both sides of the traveling lane in which the host vehicle is traveling by the
[0064]
The lane marker arrival time Th is further reduced, and the relatively small predetermined value Th 1 When it becomes smaller, the process proceeds from step S29 to step S32 in the arithmetic processing of FIG. L Is switched to one. Therefore, thereafter, the Kalman filter in step S25 calculates each travel route model parameter using the line width L of the lane marker detected in step S33. On the other hand, for example, the lane change is completed, and in step S27, the arrival time Th to reach the lane markers on both sides of the adjacent traveling lane is calculated, and the lane marker arrival time Th is compared with the comparison. Small predetermined value Th 1 If it becomes above, it will transfer to step S34 of the arithmetic processing of FIG. L Thereafter, the Kalman filter in step S25 calculates each travel route model parameter using the lane width W of the travel lane as described above.
[0065]
As described above, in the travel path detection device according to the present embodiment, the number N of lane marker detections depends on the position of the host vehicle in the lateral direction relative to the travel lane. L When there are two, the lane width W of the lane is used to calculate each road model parameter by a Kalman filter or the like, and when it is one, the line width L of the lane marker is used similarly. Since each travel route model parameter can be calculated, it is possible to continue calculating each travel route model parameter regardless of changes in the travel state due to lane changes or the like. In addition, although it is possible to detect two lane markers on both sides of the travel lane in which the host vehicle is traveling by the
[0066]
In the above embodiment, the lane width W is treated as a fixed value and the ground height h of the CCD camera is estimated. However, for example, the lane width W may be estimated using the ground height h of the CCD camera as a fixed value. . In the above-described embodiment, the Kalman filter is used to calculate the travel route model parameter. However, it may be calculated using another estimation device or an identification method such as a least square method.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a first embodiment of a traveling path detection device of the present invention.
FIG. 2 is an explanatory diagram showing a relationship between a planar coordinate system and a spatial coordinate system.
FIG. 3 is an explanatory diagram for formulating a shape of a lane marker and a longitudinal structure;
FIG. 4 is an explanatory diagram of a method for calculating a line width of a lane marker.
FIG. 5 is a flowchart of the arithmetic processing that constitutes FIG. 1;
FIG. 6 is an explanatory diagram of a lane marker detection small area.
FIG. 7 is an explanatory diagram of lane marker candidate points.
FIG. 8 is an explanatory diagram of a predetermined value for the lateral displacement of the host vehicle.
FIG. 9 is an explanatory diagram of a lateral shift in front of the host vehicle.
FIG. 10 is a schematic configuration diagram showing a second embodiment of the traveling path detection device of the present invention.
FIG. 11 is a flowchart of the arithmetic processing constituting FIG.
[Explanation of symbols]
1 is an imaging unit
2 is a pre-processing unit
3 is a lane marker detection area setting section.
4 is a lane marker detection unit
5 is a road model parameter calculation unit
6 is a processing result output unit
7 is a lane marker detection number switching determination unit.
8 is a lane marker detection number switching unit.
9 is a vehicle state quantity detection unit
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001156520A JP3807253B2 (en) | 2001-05-25 | 2001-05-25 | Traveling path detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001156520A JP3807253B2 (en) | 2001-05-25 | 2001-05-25 | Traveling path detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002352226A JP2002352226A (en) | 2002-12-06 |
| JP3807253B2 true JP3807253B2 (en) | 2006-08-09 |
Family
ID=19000517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001156520A Expired - Fee Related JP3807253B2 (en) | 2001-05-25 | 2001-05-25 | Traveling path detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3807253B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006121221A1 (en) * | 2005-05-13 | 2008-12-18 | 国立大学法人東京農工大学 | Lane tracking control device and lane tracking control method |
| JP4744537B2 (en) * | 2008-02-05 | 2011-08-10 | 日立オートモティブシステムズ株式会社 | Driving lane detector |
| JP5971020B2 (en) * | 2011-08-22 | 2016-08-17 | 日産自動車株式会社 | Lane recognition device |
| JP5780140B2 (en) * | 2011-12-02 | 2015-09-16 | 富士通株式会社 | Road shape estimation apparatus and program |
| JP5799784B2 (en) * | 2011-12-06 | 2015-10-28 | 富士通株式会社 | Road shape estimation apparatus and program |
| KR101401932B1 (en) * | 2012-06-07 | 2014-06-03 | 주식회사 만도 | Lane recognition apparatus and method of recognizing lane thereof |
| JP6102213B2 (en) | 2012-11-22 | 2017-03-29 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP6194610B2 (en) * | 2013-03-28 | 2017-09-13 | 富士通株式会社 | Moving distance estimation apparatus, moving distance estimation method, and program |
| US9830517B2 (en) | 2014-06-19 | 2017-11-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Road branch detection and path selection for lane centering |
| JP6412460B2 (en) | 2015-04-14 | 2018-10-24 | 株式会社Ｓｏｋｅｎ | Travel path estimation device |
| CA3029124A1 (en) * | 2016-07-21 | 2018-01-25 | Mobileye Vision Technologies Ltd. | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation |
| CN115950440A (en) * | 2020-01-03 | 2023-04-11 | 御眼视觉技术有限公司 | System and method for vehicle navigation |
-
2001
- 2001-05-25 JP JP2001156520A patent/JP3807253B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002352226A (en) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3729095B2 (en) | Traveling path detection device | |
| EP2863181B1 (en) | Intersection navigation system, method, and program | |
| JP5862670B2 (en) | Driving support device and driving support method | |
| JP4676373B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| JP3671825B2 (en) | Inter-vehicle distance estimation device | |
| EP2422320B1 (en) | Object detection device | |
| JP3807253B2 (en) | Traveling path detection device | |
| EP1354767B1 (en) | Vehicle surroundings monitoring apparatus and vehicle traveling control system incorporating the apparatus | |
| US7266454B2 (en) | Obstacle detection apparatus and method for automotive vehicle | |
| EP1396732A1 (en) | Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus | |
| US8730325B2 (en) | Traveling lane detector | |
| JP2018180941A (en) | Inclination detector | |
| JP2004032460A (en) | Image processing apparatus and method therefor | |
| JP2007147564A (en) | Image recognition device and method thereof, and own vehicle position recognition device and method | |
| CN105405319A (en) | Approaching object detection apparatus for a vehicle and approaching object detection method for the same | |
| JP7255345B2 (en) | Driving lane recognition device, driving lane recognition method and program | |
| JP2004106697A (en) | Vehicle external monitor and traveling control device with the same | |
| JP2007264712A (en) | Lane detector | |
| JP3911983B2 (en) | Rear monitoring device | |
| JP3440956B2 (en) | Roadway detection device for vehicles | |
| JPH1172337A (en) | Recognition apparatus for running lane | |
| CN114863387A (en) | Tracking intelligent vehicle track identification and classification method | |
| JP4323010B2 (en) | Traveling path recognition method and traveling path recognition apparatus in vehicle | |
| JP3700681B2 (en) | Traveling path detection device | |
| JP3846341B2 (en) | Vehicle rearward monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |