JP3729095B2 - 走行路検出装置 - Google Patents
走行路検出装置 Download PDFInfo
- Publication number
- JP3729095B2 JP3729095B2 JP2001199959A JP2001199959A JP3729095B2 JP 3729095 B2 JP3729095 B2 JP 3729095B2 JP 2001199959 A JP2001199959 A JP 2001199959A JP 2001199959 A JP2001199959 A JP 2001199959A JP 3729095 B2 JP3729095 B2 JP 3729095B2
- Authority
- JP
- Japan
- Prior art keywords
- lane marker
- preceding vehicle
- lane
- detection
- marker detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 163
- 239000003550 marker Substances 0.000 claims description 182
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000006185 dispersion Substances 0.000 claims description 15
- 238000000034 method Methods 0.000 description 35
- 230000014509 gene expression Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Description
【０００１】
【発明の属する技術分野】
この発明は、自車両が走行している走行路の形状を検出する走行路検出装置に関し、特に走行路の形状を走行路モデルパラメータで表すのに好適なものである。
【０００２】
【従来の技術】
このような走行路検出装置として、例えば特開平６−２０１８９号公報に記載されるものがある。この従来の走行路検出装置では、ＣＣＤカメラなどの撮像装置で自車両前方の走行路の状態を撮像し、その撮像内に、自車両が走行している走行車線の両側のレーンマーカーを二本検出し、そのレーンマーカーを用いて、自車両の走行車線における横変位などの走行路モデルパラメータを算出する。具体的には、撮像された自車両前方の走行路にレーンマーカーを検出するための小領域を設定し、各レーンマーカー検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出し、そのレーンマーカー検出点の情報、具体的には座標データを用いて走行路モデルパラメータを算出する。走行路モデルパラメータの算出には、カルマンフィルタ等の状態推定器が用いられる。また、特開平８−２６１７５６号公報に記載される走行路検出装置では、走行路モデルパラメータの分散から、前記レーンマーカー検出小領域の幅を合理的に設定する手法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の走行路検出装置において、カルマンフィルタ等の状態推定器を用いて各走行路モデルパラメータを算出する場合、算出するパラメータの数や種類にもよるが、自車両が走行する走行車線の何れか一方のレーンマーカーしか検出できないときには、各走行路モデルパラメータを正確に算出できない場合があることが判明した。
【０００４】
本発明は、上記課題を解決するため、走行車線の片側のレーンマーカーしか検出できないときでも、各走行路モデルパラメータを正確に算出することができる走行路検出装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項１に係る走行路検出装置は、自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された走行路にレーンマーカーを検出するための小領域を設定するレーンマーカー検出領域設定手段と、前記レーンマーカー検出領域設定手段で設定された検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出するレーンマーカー検出手段と、前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の両側の二本のレーンマーカーの夫々のレーンマーカー検出点の数が第１の所定値以上であり且つ当該二本のレーンマーカーのレーンマーカー検出点の総数が第２の所定値以上であるときに両側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する両側レーンマーカー検出時走行路モデルパラメータ算出手段と、前記両側レーンマーカー検出状態で、少なくとも自車両に先行する先行車両の所定の部位の高さを検出する先行車両検出手段と、前記両側レーンマーカー検出状態以外のときであって且つ前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が第３の所定値以上であるときに片側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報及び前記先行車両検出手段で検出された先行車両の所定の部位の高さ情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する片側レーンマーカー検出時走行路モデルパラメータ算出手段とを備えたことを特徴とするものである。
【０００６】
また、本発明のうち請求項２に係る走行路検出装置は、前記請求項１の発明において、前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位までの距離が小さいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００７】
また、本発明のうち請求項３に係る走行路検出装置は、前記請求項１又は２の発明において、前記先行車両検出手段は、先行車両の所定の部位の高さの分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の高さの分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００８】
また、本発明のうち請求項４に係る走行路検出装置は、前記請求項１乃至３の発明において、前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離の分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の距離の分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００９】
また、本発明のうち請求項５に係る走行路検出装置は、前記請求項１乃至４の発明において、前記第１の所定値が一であることを特徴とするものである。
また、本発明のうち請求項６に係る走行路検出装置は、前記請求項１乃至５の発明において、前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第２の所定値がｍであることを特徴とするものである。
【００１０】
また、本発明のうち請求項７に係る走行路検出装置は、前記請求項１乃至６の発明において、前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第３の所定値が（ｍー１）であることを特徴とするものである。
また、本発明のうち請求項８に係る走行路検出装置は、前記請求項１乃至７の発明において、前記先行車両の所定の部位がナンバープレートであることを特徴とするものである。
【００１１】
また、本発明のうち請求項９に係る走行路検出装置は、前記請求項１乃至８の発明において、撮像手段の地上高を算出する撮像手段地上高算出手段を備え、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、前記撮像手段地上高算出手段で算出された撮像手段の地上高の分散が予め設定された所定値以上であるときに、当該撮像手段の地上高を予め設定された所定値に固定して前記走行路モデルパラメータを算出することを特徴とするものである。
【００１２】
【発明の効果】
而して、本発明のうち請求項１に係る走行路検出装置によれば、撮像された走行路にレーンマーカーを検出するための小領域を設定し、各検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出し、検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の両側の二本のレーンマーカーの夫々のレーンマーカー検出点の数が第１の所定値以上であり且つ当該二本のレーンマーカーのレーンマーカー検出点の総数が第２の所定値以上であるときに両側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出すると共に、前記両側レーンマーカー検出状態で、先行車両の所定の部位の高さを検出し、前記両側レーンマーカー検出状態以外のときであって且つ検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が第３の所定値以上であるときに片側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報及び検出された先行車両の所定の部位の高さ情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する構成としたため、走行車線の何れか一方のレーンマーカーしか検出できないときでも、正確に走行路モデルパラメータを算出することができる。
【００１３】
また、本発明のうち請求項２に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位までの距離が小さいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両との距離に応じた適切なものとすることができる。
【００１４】
また、本発明のうち請求項３に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位の高さの分散が大きいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の上下動の大きさに応じた適切なものとすることができる。
【００１５】
また、本発明のうち請求項４に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位の距離の分散が大きいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の距離の変動に応じた適切なものとすることができる。
【００１６】
また、本発明のうち請求項５に係る走行路検出装置によれば、第１の所定値を一としたため、両側レーンマーカー検出状態を確実に検出することができる。
また、本発明のうち請求項６に係る走行路検出装置によれば、両側レーンマーカー検出状態で算出される走行路モデルパラメータの数がｍであるとき、第２の所定値をｍとしたため、両側レーンマーカー検出状態を確実に検出することができると共に、当該両側レーンマーカー検出状態で走行路モデルパラメータを正確に算出することができる。
【００１７】
また、本発明のうち請求項７に係る走行路検出装置によれば、両側レーンマーカー検出状態で算出される走行路モデルパラメータの数がｍであるとき、第３の所定値を（ｍー１）としたため、片側レーンマーカー検出状態を確実に検出することができると共に、当該片側レーンマーカー検出状態で走行路モデルパラメータを正確に算出することができる。
【００１８】
また、本発明のうち請求項８に係る走行路検出装置によれば、先行車両の所定の部位をナンバープレートとしたため、テンプレートマッチング等により、当該先行車両の所定の部位を確実且つ容易に検出することができる。
また、本発明のうち請求項９に係る走行路検出装置によれば、算出された撮像手段の地上高の分散が予め設定された所定値以上であるときに、当該撮像手段の地上高を予め設定された所定値に固定して走行路モデルパラメータを算出する構成としたため、撮像手段の地上高を算出しながら走行路モデルパラメータを算出するようにしたとき、撮像手段の地上高の分散の影響で走行路モデルパラメータの算出精度が低下するのを回避することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の走行路検出装置の一実施形態を示すシステム構成図である。この実施形態の走行路検出装置は、撮像部１及びコントロールユニット２を備えている。このうち、前記撮像部１は、ＣＣＤカメラやカメラコントローラ等から構成され、自車両の前方の状態を撮像するものである。また、コントロールユニット２は、マイクロコンピュータ等の演算処理装置を内装し、前記撮像部１で撮像された自車両前方の画像に対し、レーンマーカーを検出するための小領域を設定すると共に、レーンマーカーのエッジ、即ちレーンマーカーと路面との境界を明瞭にするフィルタ処理を施し、前記各検出小領域の中から、最もレーンマーカーらしいレーンマーカーの一部を抽出し、それをレーンマーカー候補点として検出し、それらのレーンマーカー候補点の撮像画像における位置情報から、レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ等を走行路モデルパラメータとして算出するように構成されている。なお、本実施形態では、ＣＣＤカメラ等の撮像部１は、後述するように、所謂単眼であることが前提となっている。
【００２０】
次に、前記撮像部１で撮像された自車両前方の状況から、走行路モデルパラメータを算出する原理について説明する。
まず、図２に示すように、撮像画面上の平面座標系として、ＮＴＳＣ等のテレビジョン通信方式の画面走査方向に従って、画面左上を原点とし、水平方向左方から右方にｘ軸、垂直方向上方から下方にｙ軸をとる直交二次元座標系を設定する。そして、自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（ウインドウとも記す）を設定する。この実施形態では、自車両が走行する走行車線の両側の二本のレーンマーカーに対応するように、画面の左右両側に、五個ずつ、計十個の小領域を設定する。各ウインドウの位置は、後述する手法で算出される走行路モデルパラメータ、つまり前記レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ等に基づいて設定される。
【００２１】
次に、前記自車両前方の撮像画像中に設定した各ウインドウ内に、レーンマーカーを検出するための前処理として、例えばＳobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、次いでレーンマーカー検出のために、レーンマーカー候補点を検出する。本実施形態では、レーンマーカーの境界のうち、自車両が走行している走行車線内側の境界を検出対象とする。具体的には、例えば画像中左（座標系ではｘ座標の値が小さい）側の画素の輝度が右側のそれより大きいときにフィルタ出力が正値であるとしたとき、例えば図３に示すように、走行車線左側のレーンマーカー（図では白線）検出ウインドウでは、フィルタ出力が所定の正値の閾値以上である点（画素）をレーンマーカー候補点とする。逆に、走行車線右側のレーンマーカー検出ウインドウでは、フィルタ出力が所定の負値の閾値以下である点（画素）をレーンマーカー候補点とする。レーンマーカー候補点は、該当する全ての点を選出する。
【００２２】
次に、このように検出されたレーンマーカー候補点に対し、レーンマーカー候補線を設定する。レーンマーカー候補線は、前記レーンマーカー候補点集合から設定するものであり、ハフ変換や最小自乗法等が挙げられるが、ここではハフ変換の例について説明する。まず、直線（ａi ，ｂi ）を下記１式で定義する。即ち、ａi は傾き、ｂi は切片になる。なお、ｉはレーンマーカー検出ウインドウ番号を示す。
【００２３】
【数１】
【００２４】
そして、各レーンマーカー検出ウインドウにおいて、図４のように直線（ａi ，ｂi ）が貫くレーンマーカー候補点の数を検出し、例えば図５のように、各レーンマーカー検出ウインドウ毎に用意したマトリックスに、直線（ａi ，ｂi ）と貫かれたレーンマーカー候補点の数（以下、貫通レーンマーカー候補点数とも記す）を記録し、貫通レーンマーカー候補点数が所定値以上であり且つ最大値である直線をレーンマーカー候補線とする（ここでは、直線（ａx ，ｂx ）がレーンマーカー候補線に該当）。これらのレーンマーカー候補線を、レーンマーカー検出ウインドウ順にテーブル化したものが図６である。なお、貫通レーンマーカー候補点数が所定値に満たないときには、当該レーンマーカー検出ウインドウにはレーンマーカー候補線がないものと見なす。また、直線（ａi ，ｂi ）がレーンマーカー候補点を“貫く”定義は、直線と白線候補点（画素）との距離が単位画素以下であるものとする。
【００２５】
次に、各レーンマーカー検出ウインドウ毎に、レーンマーカーの代表点を設定し、それをレーンマーカー検出点とする。この実施形態では、図７に示すように、前記レーンマーカー候補線と各レーンマーカー検出ウインドウの上辺との交点をレーンマーカー検出点とし、（ｘWi，ｙWi）と表す。また、合わせて、各レーンマーカー検出ウインドウにおけるレーンマーカー候補線は、（ａWi，ｂWi）と表す。従って、前記レーンマーカー検出点（ｘWi，ｙWi）は、下記２式を満足する。なお、レーンマーカー候補線がないレーンマーカー検出ウインドウでは、レーンマーカー検出点もないものと見なす。
【００２６】
【数２】
【００２７】
一方、走行路上の空間座標系について、例えば本実施形態では、図８に示すように、前記ＣＣＤカメラの撮像レンズの中心を原点とし、車両前方に向かって水平方向右方から左方にＸ軸、車両の高さ方向上方にＹ軸、車両前方にＺ軸をとる直交三次元座標系を設定する。ここで、簡略化のために、前記撮像画面上の平面座標系の原点が、走行路上の空間座標系のＺ軸上にあるとすると、走行路上空間座標系から撮像画面上平面座標系への座標変換は下記３式及び４式で行われる。なお、式中のｆh 、ｆv は、ＣＣＤカメラのレンズ、つまり焦点距離によって決まるパラメータである。
【００２８】
【数３】
【００２９】
次に、走行路の平面構造は、一般に直線と曲率一定の曲線、及びこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、自車両前方の数十ｍ区間は曲率一定の曲線路又は直線路と見なせる。そこで、走行車線を規定するレーンマーカーの形状を、図９ａに従って下記５式のように定式化した。また、同様に、縦断構造についてはほぼ一定勾配と見なせるので、図９ｂに従って下記６式のように定式化した。
【００３０】
【数４】
【００３１】
本実施形態では、走行車線の車線幅Ｅ0 を用いて前述した各種の走行路モデルパラメータを算出するために、カルマンフィルタを用いる。前記３式〜６式から、下記７式が得られる。これは拡張カルマンフィルタを構成する際の出力方程式として用いられ、走行路曲率と車両状態量から撮像画像平面上に定義したｙ座標値におけるｘ座標値を算出するものである。なお、式中のｊは、自車両が走行する走行車線の左側レーンマーカーでは“０”とし、右側レーンマーカーでは“１”とする。
【００３２】
【数５】
【００３３】
ここでは、カルマンフィルタによる推定状態量（走行路モデルパラメータ）を、前記走行路曲率Ｂ、自車両のピッチ角Ｄ、ヨー角Ｃ、横変位Ａ、ＣＣＤカメラの地上高Ｈとし、前記レンズ焦点距離によって決まるパラメータｆh 、ｆv 、車線幅Ｅ0 を一定値とする。前記７式は、前記レーンマーカー検出点（ｘWi，ｙWi）について成立するので、下記８式のように書き換えることができる。
【００３４】
【数６】
【００３５】
この８式を出力方程式とし、適当な出力方程式を用いてカルマンフィルタを構成し、そのカルマンフィルタを用いて前記各走行路モデルパラメータを算出する手法については、前記特開平６−２０１８９号公報に詳しいので、ここではその詳細な説明を省略する。
ところで、前記８式だけでは、全ての走行路モデルパラメータを正確に算出することができないことが判明した。即ち、前記８式には、計５つのパラメータがあり、それら全てを正確に算出するためには、自車両が走行する走行車線の両側のレーンマーカーの夫々で最低一つ、合計で少なくとも５つのレーンマーカー検出点（の画像情報）が必要である。これに対し、例えば自車両走行車線左側のレーンマーカーしか検出できない場合、前記８式は下記９式に書き換えられる。この９式は、例えばＣＣＤカメラの地上高Ｈをｋ倍しても、横変位Ａをｋ倍、走行路曲率Ｂを１／ｋ倍すれば成立し、それらを確定することができない。これは、自車両走行車線右側のレーンマーカーしか検出できない場合も同じである（但し、ステレオ式、即ちＣＣＤカメラを左右に二つ設けた場合には、前記９式に相当する互いに等価でない二つの式が与えられるため、片側レーンマーカー検出時でも、前記パラメータを全て正確に算出することができる）。
【００３６】
【数７】
【００３７】
そこで、本実施形態では、前述のように自車両走行車線の何れか一方のレーンマーカーしか検出できない、所謂片側レーンマーカー検出時に、自車両先行車両の特徴的な部位、具体的には先行車両後方のナンバープレートを検出し、そのパラメータを用いて、その他のパラメータを正確に算出しようとする。ナンバープレートの検出には、例えばテンプレートマッチングの手法を用いる。ナンバープレートの形（縦横比）は決まっているので、例えば図１０に示すように、その縦横比の複数のテンプレートを予め用意しておき、これらを画像上で移動させ、画素輝度値の内積を求め、その値が大きいほど、その場所に類似の輝度分布を有する対象が存在する、即ちナンバープレートが存在するものと仮定することができる。従って、テンプレートの座標と内積とをデータに蓄積し、内積が前回値より大きい場合、座標と内積を更新してゆけばよい。
【００３８】
このようにテンプレートマッチングによってナンバープレートを検出することができたら、そのテンプレートの、即ち画像上の大きさ（縦、横どちらでも可）と実際のナンバープレートの規格とから、ナンバープレートの地上高ＨC を算出する。ナンバープレートは、その中央の点を検出点とする。先行車両までの距離をＬ、ナンバープレートの高さをＨpcとすると、ナンバープレート中央の検出点の実座標（Ｙpc，Ｚpc）は下記１０式、１１式で表れる。
【００３９】
【数８】
【００４０】
前記ピッチ角Ｄは微小量であるため、前記１０式、１１式は、下記１２式、１３式に近似される。
【００４１】
【数９】
【００４２】
次に、ナンバープレートの実幅をＷp とすると、ナンバープレート左端の実座標（Ｘpl，Ｙpl，Ｚpl）は下記１４式〜１６式を満足する。但し、Ｘpcはナンバープレート中央の実座標Ｘ成分である。
【００４３】
【数１０】
【００４４】
一方、ナンバープレート中央の画像座標（ｘpc，ｙpc）は、前記３式、４式に従って下記１７式、１８式で表れる。
【００４５】
【数１１】
【００４６】
同様に、ナンバープレート左端の中央の画像座標（ｘpl，ｙpl）は、前記３式、４式に従って下記１９式、２０式で表れる。
【００４７】
【数１２】
【００４８】
前記１４式〜２０式をまとめると、下記２１式、２２式を得る。
【００４９】
【数１３】
【００５０】
従って、前記両側レーンマーカー検出時に算出されたピッチ角Ｄ及びＣＣＤカメラ地上高Ｈを用いれば、前記２１式、２２式中の未知数は先行車両までの距離Ｌ及びナンバープレート地上高Ｈpcのみであり、それらを算出することが可能となる。そして、片側レーンマーカー検出時には、この２１式、２２式と、前記８式とを用い、先行車両のナンバープレート地上高Ｈpcは両側レーンマーカー検出時と同じであるとすると、それらの未知数は６つであるから、片側レーンマーカーに対し、４つのレーンマーカー検出点が検出できれば、８式が４つ、２１式、２２式の計６つの関係式が与えられ、全ての未知数を正確に算出することが可能となる。そこで、前記８式に代入される４つのレーンマーカー検出点のｘ成分をｘd0〜ｘd3とし、当該８式及び前記２１式、２２式の左辺を要素とするベクトルｙk を下記２３式で定義する。
【００５１】
【数１４】
【００５２】
一方、前記走行路モデルパラメータをｘk で表し、下記２４式で定義する。
【００５３】
【数１５】
【００５４】
従って、前記ベクトルｙk と走行路モデルパラメータｘk は、前記８式及び２１式、２２式で表される非線形関数ｆ及び観測ノイズｎk を用いて下記２５式で関係づけられる。
【００５５】
【数１６】
【００５６】
カルマンフィルタは線形フィルタであるため、前記２５式を線形化する必要がある。そこで、前記２５式を偏微分し、下記２６式による線形式を得る。
【００５７】
【数１７】
【００５８】
前記偏微分係数は、列がｙk の次元、行がｘk の次元を持つ行列になる。これをＣｋと表す。このカルマンフィルタの構成を図１１に示す。図中のＫｅはカルマンゲインと呼ばれ、前記観測ノイズｎk や後述するプロセスノイズｗk の分散に基づいて決定される。詳細はカルマンフィルタ理論として周知であるため、ここでは説明を省略する。
【００５９】
次に、前記走行路モデルパラメータｘk の振る舞いを、下記２７で示すようなランダムウォークモデルで近似する。
【００６０】
【数１８】
【００６１】
但し、ｎはｎサンプル目のデータであることを示す。ここで、ｗk はプロセスノイズと呼ばれ、白色ガウス雑音列で近似する。この分散が振る舞いの様子を決定する。分散が大きいほど、変数が変化し易いと見なして推定するようになるのである。定義式は、下記２８式で表れる。
【００６２】
【数１９】
【００６３】
プロセスノイズｗk の各要素の分散は、カルマンフィルタのチューニング定数である。分散をｖａｒ（ ）で表すと、下記２９式〜３４式の右辺がそれにあたる。
【００６４】
【数２０】
【００６５】
これらの値は、実車の車両挙動に基づいて予め設定しておく。また、このうち、前記先行車両までの距離Ｌの分散は、実際の値を用いることにより、更なる性能向上が見込める。即ち、この距離Ｌの分散は、自車両及び先行車両の加減速の傾向に影響されるためであり、実測値を用いることができれば、カルマンフィルタの性能が向上する。
【００６６】
一方、前記観測ノイズｎk の分散は、信号のノイズの量を決定する。即ち、分散が大きいほど、変数にノイズが多く含まれていると見なして推定するようになるのである。定義式は、下記３５式で表れる。
【００６７】
【数２１】
【００６８】
観測ノイズｎk の各要素の分散も、カルマンフィルタのチューニング定数であり、下記３６式〜４１式の右辺がそれにあたる。
【００６９】
【数２２】
【００７０】
ここで、前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散を、先行車両までの距離Ｌが大きくなるにつれて、小さくすると更なる性能向上が見込める。即ち、ここでは、先行車両のナンバープレートの地上高Ｈpcを一定であると仮定しているが、実際には、それは先行車両のバウンスによって変化する。ここで、先行車両までの距離Ｌが大きいと、前記２２式は下記４２式で近似される。
【００７１】
【数２３】
【００７２】
このことから、先行車両までの距離Ｌが大きいときには、先行車両のナンバープレートの地上高Ｈpcの変動が前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散に与える影響は小さくなる。換言すれば、先行車両が近いほど、近似精度が低下するため、ノイズが大きいと見なすことができる。これにより、先行車両までの距離Ｌが大きいときには精度の高い推定が可能となり、先行車両までの距離Ｌが小さいときには先行車両のバウンスの影響を小さくすることができる。実際に、先行車両までの距離Ｌは、ＣＣＤカメラ地上高Ｈや先行車両のナンバープレートの地上高Ｈpcよりかなり大きい場合が多いので、前記４２式で表される近似精度が高い場合が殆どであり、有効性が高い。
【００７３】
更に、前記先行車両のナンバープレートの地上高Ｈpcの分散が大きいほど、前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散を大きく設定すると、更なる性能向上が見込める。即ち、先行車両がバウンスしにくい車両であるほど、先行車両ナンバープレート地上高を固定した場合の精度が高くなる。換言すれば、先行車両がバウンスし易い車両であるほど近似精度が低下するため、ノイズが大きいと見なすことができる。これにより、先行車両がバウンスしにくい車両のときには精度の高い推定が可能となり、先行車両がバウンスし易い車両のときには先行車両のバウンスの影響を小さくすることができる。
【００７４】
以上より、先行車両が近づくほど、近似精度が低下する。また、先行車両がバウンスし易い車両で且つ車間距離が小さい場合には精度が低下する可能性もある。そこで、ＣＣＤカメラ地上高の分散の上限値を設定し、算出されたＣＣＤカメラ地上高Ｈの分散が、この上限値以上となるときには、当該ＣＣＤカメラ地上高Ｈを予め設定された所定値に固定して、前記各走行路モデルパラメータを算出するようにしてもよい。
【００７５】
次に、前記コントロールユニット２で行われる走行路モデルパラメータ算出のための演算処理を、図１２のフローチャートに従って説明する。この演算処理は、マイクロコンピュータ等の演算処理装置内で、例えば１０msec. 程度に設定された所定のサンプリング時間ΔＴ毎に、タイマ割込として実行される。
この演算処理では、まずステップＳ１で前記撮像部１で撮像された自車両前方の撮像画像を読込む。
【００７６】
次にステップＳ２に移行して、前記図２に示すように、前記ステップＳ１で読込んだ自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（レーンマーカー検出ウインドウ）を設定する。
次にステップＳ３に移行して、前記ステップＳ２で設定されたレーンマーカー検出ウインドウ内に、例えばＳobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、前記図３に示すように、エッジ強調フィルタ処理を施された自車両前方の撮像画像中のレーンマーカー検出ウインドウ内にレーンマーカー候補点を検出する。
【００７７】
次にステップＳ４に移行して、前記ステップＳ３で検出した各レーンマーカー検出ウインドウ内のレーンマーカー候補点に対し、前記図４〜図６に示すように、それらを最も多く貫くレーンマーカー候補線を検出する。
次にステップＳ５に移行して、前記図７に示すように、前記ステップＳ４で検出したレーンマーカー候補線から各レーンマーカー検出ウインドウ毎にレーンマーカー検出点を検出し、その座標情報を読込む。
【００７８】
次にステップＳ６に移行して、前記図１０に示すようなテンプレートを用いて、先行車両のナンバープレートを検出する。
次にステップＳ７に移行して、前記ステップＳ５で検出されたレーンマーカー検出点が、自車両走行車線の両側のレーンマーカーに対して夫々最低１つ以上、合計で５つ以上存在するか否かを判定することにより、両側レーンマーカー検出状態であるか否かを判定し、両側レーンマーカー検出状態である場合にはステップＳ８に移行し、そうでない場合にはステップＳ９に移行する。
【００７９】
前記ステップＳ８では、前記特開平６−２０１８９号公報に記載されるカルマンフィルタを用いて、自車両走行車線の両側のレーンマーカーが検出されているときの前記ＣＣＤカメラ地上高Ｈ、横変位Ａ、走行路曲率Ｂ、ヨー角Ｃ、ピッチ角Ｄ等の走行路モデルパラメータを算出してからステップＳ１０に移行する。
前記ステップＳ１０では、先行車両のナンバープレートを検出しているか否かを判定し、先行車両のナンバープレートを検出している場合にはステップＳ１１に移行し、そうでない場合にはメインプログラムに復帰する。
【００８０】
前記ステップＳ１１では、検出されている先行車両のナンバープレートの座標情報及び前記ステップＳ８で算出されたＣＣＤカメラ地上高Ｈ及びピッチ角Ｄを用い、前記２１式、２２式に従って、当該先行車両のナンバープレートの地上高Ｈpc及び自車両から先行車両（のナンバープレート）までの距離Ｌを算出してからメインプログラムに復帰する。
【００８１】
一方、前記ステップＳ９では、両側レーンマーカ検出状態以外の状態、即ち前記ステップＳ５で検出されたレーンマーカー検出点が、自車両走行車線の両側のレーンマーカーに対して夫々最低１つ未満、合計で５つ未満であり、且つ自車両走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が４つ以上であるか否かを判定することにより、片側レーンマーカー検出状態であるか否かを判定し、片側レーンマーカー検出状態である場合にはステップＳ１２に移行し、そうでない場合にはメインプログラムに復帰する。
【００８２】
前記ステップＳ１２では、先行車両のナンバープレートを検出しているか否かを判定し、先行車両のナンバープレートを検出している場合にはステップＳ１３に移行し、そうでない場合にはメインプログラムに復帰する。
前記ステップＳ１３では、前記２６式に則って設定され図１１のカルマンフィルタを用い、前記ステップＳ１１で算出された先行車両のナンバープレートの地上高Ｈpcが同じであるとして、前記先行車両（のナンバープレート）までの距離Ｌを含む自車両走行車線の片側のレーンマーカーが検出されているときの前記ＣＣＤカメラ地上高Ｈ、横変位Ａ、走行路曲率Ｂ、ヨー角Ｃ、ピッチ角Ｄ等の走行路モデルパラメータを算出してからメインプログラムに復帰する。
【００８３】
このように、本実施形態では、自車両走行車線両側のレーンマーカーが検出できているときには、カルマンフィルタ等により、ＣＣＤカメラ地上高Ｈを含む種々の走行路モデルパラメータを算出すると共に先行車両の特徴的な所定の部位としてナンバープレートの地上高さＨpc及び先行車両（のナンバープレート）までの距離Ｌを算出しておき、自車両走行車線片側のレーンマーカーしか検出できなくなったら、先行車両のナンバープレートの地上高さＨpcを用い、個別のカルマンフィルタ等により、それまで同様に走行路モデルパラメータを算出することができるので、走行車線の何れか一方のレーンマーカーしか検出できないときでも、正確に走行路モデルパラメータを算出することができる。
【００８４】
また、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両のナンバープレートまでの距離Ｌが小さいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両との距離に応じた適切なものとすることができる。また、同様に、検出された先行車両のナンバープレートの地上高Ｈpcの分散が大きいほど、当該先行車両の所定の部位の上下方向への分散（ノイズ）が大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の上下動の大きさに応じた適切なものとすることができる。また、同様に、検出された先行車両のナンバープレートまでの距離Ｌの分散が大きいほど、当該先行車両の所定の部位の上下方向への分散（ノイズ）が大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の距離の変動に応じた適切なものとすることができる。
【００８５】
また、算出されたＣＣＤカメラの地上高Ｈの分散が予め設定された所定値以上であるときに、当該ＣＣＤカメラの地上高Ｈを予め設定された所定値に固定して走行路モデルパラメータを算出するようにすれば、ＣＣＤカメラ地上高Ｈを算出しながら走行路モデルパラメータを算出するようにしたとき、その分散の影響で走行路モデルパラメータの算出精度が低下するのを回避することができる。
【００８６】
以上より、前記撮像部１及び図１２の演算処理のステップＳ１が本発明の撮像手段を構成し、以下同様に、前記図１２の演算処理のステップＳ２がレーンマーカー検出領域設定手段を構成し、前記図１２の演算処理のステップＳ３〜ステップＳ５がレーンマーカー検出手段を構成し、前記図１２の演算処理のステップＳ７及びステップＳ８が両側レーンマーカー検出時走行路モデルパラメータ算出手段を構成し、前記図１２の演算処理のステップＳ６、ステップＳ１０及びステップＳ１１が先行車両検出手段を構成し、前記図１２の演算処理のステップＳ９、ステップＳ１２、ステップＳ１３及び図１１のカルマンフィルタが片側レーンマーカー検出時走行路モデルパラメータ算出手段を構成し、前記図１２の演算処理のステップＳ１３及び図１１のカルマンフィルタが撮像手段地上高算出手段を構成している。
【００８７】
なお、前記実施形態では、走行路モデルパラメータの算出にカルマンフィルタを用いたが、他の推定装置や最小二乗法等の同定方法を用いて算出するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の走行路検出装置の一実施形態を示す概略構成図である。
【図２】レーンマーカー検出小領域の説明図である。
【図３】レーンマーカー候補点の説明図である。
【図４】レーンマーカー候補線の説明図である。
【図５】レーンマーカー候補線を検出するためのマトリックスの説明図である。
【図６】検出されたレーンマーカー候補線のテーブルの説明図である。
【図７】レーンマーカー検出点の説明図である。
【図８】平面座標系と空間座標系との関連を示す説明図である。
【図９】レーンマーカーの形状及び縦断構造の定式化の説明図である。
【図１０】ナンバープレート検出のためのテンプレートの説明図である。
【図１１】カルマンフィルタの一例を示すブロック図である。
【図１２】コントロールユニット内で行われる走行路モデルパラメータ算出のための演算処理のフローチャートである。
【符号の説明】
１は撮像部
２はコントロールユニット
【発明の属する技術分野】
この発明は、自車両が走行している走行路の形状を検出する走行路検出装置に関し、特に走行路の形状を走行路モデルパラメータで表すのに好適なものである。
【０００２】
【従来の技術】
このような走行路検出装置として、例えば特開平６−２０１８９号公報に記載されるものがある。この従来の走行路検出装置では、ＣＣＤカメラなどの撮像装置で自車両前方の走行路の状態を撮像し、その撮像内に、自車両が走行している走行車線の両側のレーンマーカーを二本検出し、そのレーンマーカーを用いて、自車両の走行車線における横変位などの走行路モデルパラメータを算出する。具体的には、撮像された自車両前方の走行路にレーンマーカーを検出するための小領域を設定し、各レーンマーカー検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出し、そのレーンマーカー検出点の情報、具体的には座標データを用いて走行路モデルパラメータを算出する。走行路モデルパラメータの算出には、カルマンフィルタ等の状態推定器が用いられる。また、特開平８−２６１７５６号公報に記載される走行路検出装置では、走行路モデルパラメータの分散から、前記レーンマーカー検出小領域の幅を合理的に設定する手法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の走行路検出装置において、カルマンフィルタ等の状態推定器を用いて各走行路モデルパラメータを算出する場合、算出するパラメータの数や種類にもよるが、自車両が走行する走行車線の何れか一方のレーンマーカーしか検出できないときには、各走行路モデルパラメータを正確に算出できない場合があることが判明した。
【０００４】
本発明は、上記課題を解決するため、走行車線の片側のレーンマーカーしか検出できないときでも、各走行路モデルパラメータを正確に算出することができる走行路検出装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項１に係る走行路検出装置は、自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された走行路にレーンマーカーを検出するための小領域を設定するレーンマーカー検出領域設定手段と、前記レーンマーカー検出領域設定手段で設定された検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出するレーンマーカー検出手段と、前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の両側の二本のレーンマーカーの夫々のレーンマーカー検出点の数が第１の所定値以上であり且つ当該二本のレーンマーカーのレーンマーカー検出点の総数が第２の所定値以上であるときに両側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する両側レーンマーカー検出時走行路モデルパラメータ算出手段と、前記両側レーンマーカー検出状態で、少なくとも自車両に先行する先行車両の所定の部位の高さを検出する先行車両検出手段と、前記両側レーンマーカー検出状態以外のときであって且つ前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が第３の所定値以上であるときに片側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報及び前記先行車両検出手段で検出された先行車両の所定の部位の高さ情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する片側レーンマーカー検出時走行路モデルパラメータ算出手段とを備えたことを特徴とするものである。
【０００６】
また、本発明のうち請求項２に係る走行路検出装置は、前記請求項１の発明において、前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位までの距離が小さいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００７】
また、本発明のうち請求項３に係る走行路検出装置は、前記請求項１又は２の発明において、前記先行車両検出手段は、先行車両の所定の部位の高さの分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の高さの分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００８】
また、本発明のうち請求項４に係る走行路検出装置は、前記請求項１乃至３の発明において、前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離の分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の距離の分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とするものである。
【０００９】
また、本発明のうち請求項５に係る走行路検出装置は、前記請求項１乃至４の発明において、前記第１の所定値が一であることを特徴とするものである。
また、本発明のうち請求項６に係る走行路検出装置は、前記請求項１乃至５の発明において、前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第２の所定値がｍであることを特徴とするものである。
【００１０】
また、本発明のうち請求項７に係る走行路検出装置は、前記請求項１乃至６の発明において、前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第３の所定値が（ｍー１）であることを特徴とするものである。
また、本発明のうち請求項８に係る走行路検出装置は、前記請求項１乃至７の発明において、前記先行車両の所定の部位がナンバープレートであることを特徴とするものである。
【００１１】
また、本発明のうち請求項９に係る走行路検出装置は、前記請求項１乃至８の発明において、撮像手段の地上高を算出する撮像手段地上高算出手段を備え、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、前記撮像手段地上高算出手段で算出された撮像手段の地上高の分散が予め設定された所定値以上であるときに、当該撮像手段の地上高を予め設定された所定値に固定して前記走行路モデルパラメータを算出することを特徴とするものである。
【００１２】
【発明の効果】
而して、本発明のうち請求項１に係る走行路検出装置によれば、撮像された走行路にレーンマーカーを検出するための小領域を設定し、各検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出し、検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の両側の二本のレーンマーカーの夫々のレーンマーカー検出点の数が第１の所定値以上であり且つ当該二本のレーンマーカーのレーンマーカー検出点の総数が第２の所定値以上であるときに両側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出すると共に、前記両側レーンマーカー検出状態で、先行車両の所定の部位の高さを検出し、前記両側レーンマーカー検出状態以外のときであって且つ検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が第３の所定値以上であるときに片側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報及び検出された先行車両の所定の部位の高さ情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する構成としたため、走行車線の何れか一方のレーンマーカーしか検出できないときでも、正確に走行路モデルパラメータを算出することができる。
【００１３】
また、本発明のうち請求項２に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位までの距離が小さいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両との距離に応じた適切なものとすることができる。
【００１４】
また、本発明のうち請求項３に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位の高さの分散が大きいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の上下動の大きさに応じた適切なものとすることができる。
【００１５】
また、本発明のうち請求項４に係る走行路検出装置によれば、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両の所定の部位の距離の分散が大きいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定する構成としたため、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の距離の変動に応じた適切なものとすることができる。
【００１６】
また、本発明のうち請求項５に係る走行路検出装置によれば、第１の所定値を一としたため、両側レーンマーカー検出状態を確実に検出することができる。
また、本発明のうち請求項６に係る走行路検出装置によれば、両側レーンマーカー検出状態で算出される走行路モデルパラメータの数がｍであるとき、第２の所定値をｍとしたため、両側レーンマーカー検出状態を確実に検出することができると共に、当該両側レーンマーカー検出状態で走行路モデルパラメータを正確に算出することができる。
【００１７】
また、本発明のうち請求項７に係る走行路検出装置によれば、両側レーンマーカー検出状態で算出される走行路モデルパラメータの数がｍであるとき、第３の所定値を（ｍー１）としたため、片側レーンマーカー検出状態を確実に検出することができると共に、当該片側レーンマーカー検出状態で走行路モデルパラメータを正確に算出することができる。
【００１８】
また、本発明のうち請求項８に係る走行路検出装置によれば、先行車両の所定の部位をナンバープレートとしたため、テンプレートマッチング等により、当該先行車両の所定の部位を確実且つ容易に検出することができる。
また、本発明のうち請求項９に係る走行路検出装置によれば、算出された撮像手段の地上高の分散が予め設定された所定値以上であるときに、当該撮像手段の地上高を予め設定された所定値に固定して走行路モデルパラメータを算出する構成としたため、撮像手段の地上高を算出しながら走行路モデルパラメータを算出するようにしたとき、撮像手段の地上高の分散の影響で走行路モデルパラメータの算出精度が低下するのを回避することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の走行路検出装置の一実施形態を示すシステム構成図である。この実施形態の走行路検出装置は、撮像部１及びコントロールユニット２を備えている。このうち、前記撮像部１は、ＣＣＤカメラやカメラコントローラ等から構成され、自車両の前方の状態を撮像するものである。また、コントロールユニット２は、マイクロコンピュータ等の演算処理装置を内装し、前記撮像部１で撮像された自車両前方の画像に対し、レーンマーカーを検出するための小領域を設定すると共に、レーンマーカーのエッジ、即ちレーンマーカーと路面との境界を明瞭にするフィルタ処理を施し、前記各検出小領域の中から、最もレーンマーカーらしいレーンマーカーの一部を抽出し、それをレーンマーカー候補点として検出し、それらのレーンマーカー候補点の撮像画像における位置情報から、レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ等を走行路モデルパラメータとして算出するように構成されている。なお、本実施形態では、ＣＣＤカメラ等の撮像部１は、後述するように、所謂単眼であることが前提となっている。
【００２０】
次に、前記撮像部１で撮像された自車両前方の状況から、走行路モデルパラメータを算出する原理について説明する。
まず、図２に示すように、撮像画面上の平面座標系として、ＮＴＳＣ等のテレビジョン通信方式の画面走査方向に従って、画面左上を原点とし、水平方向左方から右方にｘ軸、垂直方向上方から下方にｙ軸をとる直交二次元座標系を設定する。そして、自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（ウインドウとも記す）を設定する。この実施形態では、自車両が走行する走行車線の両側の二本のレーンマーカーに対応するように、画面の左右両側に、五個ずつ、計十個の小領域を設定する。各ウインドウの位置は、後述する手法で算出される走行路モデルパラメータ、つまり前記レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ等に基づいて設定される。
【００２１】
次に、前記自車両前方の撮像画像中に設定した各ウインドウ内に、レーンマーカーを検出するための前処理として、例えばＳobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、次いでレーンマーカー検出のために、レーンマーカー候補点を検出する。本実施形態では、レーンマーカーの境界のうち、自車両が走行している走行車線内側の境界を検出対象とする。具体的には、例えば画像中左（座標系ではｘ座標の値が小さい）側の画素の輝度が右側のそれより大きいときにフィルタ出力が正値であるとしたとき、例えば図３に示すように、走行車線左側のレーンマーカー（図では白線）検出ウインドウでは、フィルタ出力が所定の正値の閾値以上である点（画素）をレーンマーカー候補点とする。逆に、走行車線右側のレーンマーカー検出ウインドウでは、フィルタ出力が所定の負値の閾値以下である点（画素）をレーンマーカー候補点とする。レーンマーカー候補点は、該当する全ての点を選出する。
【００２２】
次に、このように検出されたレーンマーカー候補点に対し、レーンマーカー候補線を設定する。レーンマーカー候補線は、前記レーンマーカー候補点集合から設定するものであり、ハフ変換や最小自乗法等が挙げられるが、ここではハフ変換の例について説明する。まず、直線（ａi ，ｂi ）を下記１式で定義する。即ち、ａi は傾き、ｂi は切片になる。なお、ｉはレーンマーカー検出ウインドウ番号を示す。
【００２３】
【数１】
そして、各レーンマーカー検出ウインドウにおいて、図４のように直線（ａi ，ｂi ）が貫くレーンマーカー候補点の数を検出し、例えば図５のように、各レーンマーカー検出ウインドウ毎に用意したマトリックスに、直線（ａi ，ｂi ）と貫かれたレーンマーカー候補点の数（以下、貫通レーンマーカー候補点数とも記す）を記録し、貫通レーンマーカー候補点数が所定値以上であり且つ最大値である直線をレーンマーカー候補線とする（ここでは、直線（ａx ，ｂx ）がレーンマーカー候補線に該当）。これらのレーンマーカー候補線を、レーンマーカー検出ウインドウ順にテーブル化したものが図６である。なお、貫通レーンマーカー候補点数が所定値に満たないときには、当該レーンマーカー検出ウインドウにはレーンマーカー候補線がないものと見なす。また、直線（ａi ，ｂi ）がレーンマーカー候補点を“貫く”定義は、直線と白線候補点（画素）との距離が単位画素以下であるものとする。
【００２５】
次に、各レーンマーカー検出ウインドウ毎に、レーンマーカーの代表点を設定し、それをレーンマーカー検出点とする。この実施形態では、図７に示すように、前記レーンマーカー候補線と各レーンマーカー検出ウインドウの上辺との交点をレーンマーカー検出点とし、（ｘWi，ｙWi）と表す。また、合わせて、各レーンマーカー検出ウインドウにおけるレーンマーカー候補線は、（ａWi，ｂWi）と表す。従って、前記レーンマーカー検出点（ｘWi，ｙWi）は、下記２式を満足する。なお、レーンマーカー候補線がないレーンマーカー検出ウインドウでは、レーンマーカー検出点もないものと見なす。
【００２６】
【数２】
一方、走行路上の空間座標系について、例えば本実施形態では、図８に示すように、前記ＣＣＤカメラの撮像レンズの中心を原点とし、車両前方に向かって水平方向右方から左方にＸ軸、車両の高さ方向上方にＹ軸、車両前方にＺ軸をとる直交三次元座標系を設定する。ここで、簡略化のために、前記撮像画面上の平面座標系の原点が、走行路上の空間座標系のＺ軸上にあるとすると、走行路上空間座標系から撮像画面上平面座標系への座標変換は下記３式及び４式で行われる。なお、式中のｆh 、ｆv は、ＣＣＤカメラのレンズ、つまり焦点距離によって決まるパラメータである。
【００２８】
【数３】
次に、走行路の平面構造は、一般に直線と曲率一定の曲線、及びこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、自車両前方の数十ｍ区間は曲率一定の曲線路又は直線路と見なせる。そこで、走行車線を規定するレーンマーカーの形状を、図９ａに従って下記５式のように定式化した。また、同様に、縦断構造についてはほぼ一定勾配と見なせるので、図９ｂに従って下記６式のように定式化した。
【００３０】
【数４】
本実施形態では、走行車線の車線幅Ｅ0 を用いて前述した各種の走行路モデルパラメータを算出するために、カルマンフィルタを用いる。前記３式〜６式から、下記７式が得られる。これは拡張カルマンフィルタを構成する際の出力方程式として用いられ、走行路曲率と車両状態量から撮像画像平面上に定義したｙ座標値におけるｘ座標値を算出するものである。なお、式中のｊは、自車両が走行する走行車線の左側レーンマーカーでは“０”とし、右側レーンマーカーでは“１”とする。
【００３２】
【数５】
ここでは、カルマンフィルタによる推定状態量（走行路モデルパラメータ）を、前記走行路曲率Ｂ、自車両のピッチ角Ｄ、ヨー角Ｃ、横変位Ａ、ＣＣＤカメラの地上高Ｈとし、前記レンズ焦点距離によって決まるパラメータｆh 、ｆv 、車線幅Ｅ0 を一定値とする。前記７式は、前記レーンマーカー検出点（ｘWi，ｙWi）について成立するので、下記８式のように書き換えることができる。
【００３４】
【数６】
この８式を出力方程式とし、適当な出力方程式を用いてカルマンフィルタを構成し、そのカルマンフィルタを用いて前記各走行路モデルパラメータを算出する手法については、前記特開平６−２０１８９号公報に詳しいので、ここではその詳細な説明を省略する。
ところで、前記８式だけでは、全ての走行路モデルパラメータを正確に算出することができないことが判明した。即ち、前記８式には、計５つのパラメータがあり、それら全てを正確に算出するためには、自車両が走行する走行車線の両側のレーンマーカーの夫々で最低一つ、合計で少なくとも５つのレーンマーカー検出点（の画像情報）が必要である。これに対し、例えば自車両走行車線左側のレーンマーカーしか検出できない場合、前記８式は下記９式に書き換えられる。この９式は、例えばＣＣＤカメラの地上高Ｈをｋ倍しても、横変位Ａをｋ倍、走行路曲率Ｂを１／ｋ倍すれば成立し、それらを確定することができない。これは、自車両走行車線右側のレーンマーカーしか検出できない場合も同じである（但し、ステレオ式、即ちＣＣＤカメラを左右に二つ設けた場合には、前記９式に相当する互いに等価でない二つの式が与えられるため、片側レーンマーカー検出時でも、前記パラメータを全て正確に算出することができる）。
【００３６】
【数７】
そこで、本実施形態では、前述のように自車両走行車線の何れか一方のレーンマーカーしか検出できない、所謂片側レーンマーカー検出時に、自車両先行車両の特徴的な部位、具体的には先行車両後方のナンバープレートを検出し、そのパラメータを用いて、その他のパラメータを正確に算出しようとする。ナンバープレートの検出には、例えばテンプレートマッチングの手法を用いる。ナンバープレートの形（縦横比）は決まっているので、例えば図１０に示すように、その縦横比の複数のテンプレートを予め用意しておき、これらを画像上で移動させ、画素輝度値の内積を求め、その値が大きいほど、その場所に類似の輝度分布を有する対象が存在する、即ちナンバープレートが存在するものと仮定することができる。従って、テンプレートの座標と内積とをデータに蓄積し、内積が前回値より大きい場合、座標と内積を更新してゆけばよい。
【００３８】
このようにテンプレートマッチングによってナンバープレートを検出することができたら、そのテンプレートの、即ち画像上の大きさ（縦、横どちらでも可）と実際のナンバープレートの規格とから、ナンバープレートの地上高ＨC を算出する。ナンバープレートは、その中央の点を検出点とする。先行車両までの距離をＬ、ナンバープレートの高さをＨpcとすると、ナンバープレート中央の検出点の実座標（Ｙpc，Ｚpc）は下記１０式、１１式で表れる。
【００３９】
【数８】
前記ピッチ角Ｄは微小量であるため、前記１０式、１１式は、下記１２式、１３式に近似される。
【００４１】
【数９】
次に、ナンバープレートの実幅をＷp とすると、ナンバープレート左端の実座標（Ｘpl，Ｙpl，Ｚpl）は下記１４式〜１６式を満足する。但し、Ｘpcはナンバープレート中央の実座標Ｘ成分である。
【００４３】
【数１０】
一方、ナンバープレート中央の画像座標（ｘpc，ｙpc）は、前記３式、４式に従って下記１７式、１８式で表れる。
【００４５】
【数１１】
同様に、ナンバープレート左端の中央の画像座標（ｘpl，ｙpl）は、前記３式、４式に従って下記１９式、２０式で表れる。
【００４７】
【数１２】
前記１４式〜２０式をまとめると、下記２１式、２２式を得る。
【００４９】
【数１３】
従って、前記両側レーンマーカー検出時に算出されたピッチ角Ｄ及びＣＣＤカメラ地上高Ｈを用いれば、前記２１式、２２式中の未知数は先行車両までの距離Ｌ及びナンバープレート地上高Ｈpcのみであり、それらを算出することが可能となる。そして、片側レーンマーカー検出時には、この２１式、２２式と、前記８式とを用い、先行車両のナンバープレート地上高Ｈpcは両側レーンマーカー検出時と同じであるとすると、それらの未知数は６つであるから、片側レーンマーカーに対し、４つのレーンマーカー検出点が検出できれば、８式が４つ、２１式、２２式の計６つの関係式が与えられ、全ての未知数を正確に算出することが可能となる。そこで、前記８式に代入される４つのレーンマーカー検出点のｘ成分をｘd0〜ｘd3とし、当該８式及び前記２１式、２２式の左辺を要素とするベクトルｙk を下記２３式で定義する。
【００５１】
【数１４】
一方、前記走行路モデルパラメータをｘk で表し、下記２４式で定義する。
【００５３】
【数１５】
従って、前記ベクトルｙk と走行路モデルパラメータｘk は、前記８式及び２１式、２２式で表される非線形関数ｆ及び観測ノイズｎk を用いて下記２５式で関係づけられる。
【００５５】
【数１６】
カルマンフィルタは線形フィルタであるため、前記２５式を線形化する必要がある。そこで、前記２５式を偏微分し、下記２６式による線形式を得る。
【００５７】
【数１７】
前記偏微分係数は、列がｙk の次元、行がｘk の次元を持つ行列になる。これをＣｋと表す。このカルマンフィルタの構成を図１１に示す。図中のＫｅはカルマンゲインと呼ばれ、前記観測ノイズｎk や後述するプロセスノイズｗk の分散に基づいて決定される。詳細はカルマンフィルタ理論として周知であるため、ここでは説明を省略する。
【００５９】
次に、前記走行路モデルパラメータｘk の振る舞いを、下記２７で示すようなランダムウォークモデルで近似する。
【００６０】
【数１８】
但し、ｎはｎサンプル目のデータであることを示す。ここで、ｗk はプロセスノイズと呼ばれ、白色ガウス雑音列で近似する。この分散が振る舞いの様子を決定する。分散が大きいほど、変数が変化し易いと見なして推定するようになるのである。定義式は、下記２８式で表れる。
【００６２】
【数１９】
プロセスノイズｗk の各要素の分散は、カルマンフィルタのチューニング定数である。分散をｖａｒ（ ）で表すと、下記２９式〜３４式の右辺がそれにあたる。
【００６４】
【数２０】
これらの値は、実車の車両挙動に基づいて予め設定しておく。また、このうち、前記先行車両までの距離Ｌの分散は、実際の値を用いることにより、更なる性能向上が見込める。即ち、この距離Ｌの分散は、自車両及び先行車両の加減速の傾向に影響されるためであり、実測値を用いることができれば、カルマンフィルタの性能が向上する。
【００６６】
一方、前記観測ノイズｎk の分散は、信号のノイズの量を決定する。即ち、分散が大きいほど、変数にノイズが多く含まれていると見なして推定するようになるのである。定義式は、下記３５式で表れる。
【００６７】
【数２１】
観測ノイズｎk の各要素の分散も、カルマンフィルタのチューニング定数であり、下記３６式〜４１式の右辺がそれにあたる。
【００６９】
【数２２】
ここで、前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散を、先行車両までの距離Ｌが大きくなるにつれて、小さくすると更なる性能向上が見込める。即ち、ここでは、先行車両のナンバープレートの地上高Ｈpcを一定であると仮定しているが、実際には、それは先行車両のバウンスによって変化する。ここで、先行車両までの距離Ｌが大きいと、前記２２式は下記４２式で近似される。
【００７１】
【数２３】
このことから、先行車両までの距離Ｌが大きいときには、先行車両のナンバープレートの地上高Ｈpcの変動が前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散に与える影響は小さくなる。換言すれば、先行車両が近いほど、近似精度が低下するため、ノイズが大きいと見なすことができる。これにより、先行車両までの距離Ｌが大きいときには精度の高い推定が可能となり、先行車両までの距離Ｌが小さいときには先行車両のバウンスの影響を小さくすることができる。実際に、先行車両までの距離Ｌは、ＣＣＤカメラ地上高Ｈや先行車両のナンバープレートの地上高Ｈpcよりかなり大きい場合が多いので、前記４２式で表される近似精度が高い場合が殆どであり、有効性が高い。
【００７３】
更に、前記先行車両のナンバープレートの地上高Ｈpcの分散が大きいほど、前記先行車両のナンバープレートの左端ｙ座標ｙplの分散、即ちナンバープレートの上下方向への分散を大きく設定すると、更なる性能向上が見込める。即ち、先行車両がバウンスしにくい車両であるほど、先行車両ナンバープレート地上高を固定した場合の精度が高くなる。換言すれば、先行車両がバウンスし易い車両であるほど近似精度が低下するため、ノイズが大きいと見なすことができる。これにより、先行車両がバウンスしにくい車両のときには精度の高い推定が可能となり、先行車両がバウンスし易い車両のときには先行車両のバウンスの影響を小さくすることができる。
【００７４】
以上より、先行車両が近づくほど、近似精度が低下する。また、先行車両がバウンスし易い車両で且つ車間距離が小さい場合には精度が低下する可能性もある。そこで、ＣＣＤカメラ地上高の分散の上限値を設定し、算出されたＣＣＤカメラ地上高Ｈの分散が、この上限値以上となるときには、当該ＣＣＤカメラ地上高Ｈを予め設定された所定値に固定して、前記各走行路モデルパラメータを算出するようにしてもよい。
【００７５】
次に、前記コントロールユニット２で行われる走行路モデルパラメータ算出のための演算処理を、図１２のフローチャートに従って説明する。この演算処理は、マイクロコンピュータ等の演算処理装置内で、例えば１０msec. 程度に設定された所定のサンプリング時間ΔＴ毎に、タイマ割込として実行される。
この演算処理では、まずステップＳ１で前記撮像部１で撮像された自車両前方の撮像画像を読込む。
【００７６】
次にステップＳ２に移行して、前記図２に示すように、前記ステップＳ１で読込んだ自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（レーンマーカー検出ウインドウ）を設定する。
次にステップＳ３に移行して、前記ステップＳ２で設定されたレーンマーカー検出ウインドウ内に、例えばＳobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、前記図３に示すように、エッジ強調フィルタ処理を施された自車両前方の撮像画像中のレーンマーカー検出ウインドウ内にレーンマーカー候補点を検出する。
【００７７】
次にステップＳ４に移行して、前記ステップＳ３で検出した各レーンマーカー検出ウインドウ内のレーンマーカー候補点に対し、前記図４〜図６に示すように、それらを最も多く貫くレーンマーカー候補線を検出する。
次にステップＳ５に移行して、前記図７に示すように、前記ステップＳ４で検出したレーンマーカー候補線から各レーンマーカー検出ウインドウ毎にレーンマーカー検出点を検出し、その座標情報を読込む。
【００７８】
次にステップＳ６に移行して、前記図１０に示すようなテンプレートを用いて、先行車両のナンバープレートを検出する。
次にステップＳ７に移行して、前記ステップＳ５で検出されたレーンマーカー検出点が、自車両走行車線の両側のレーンマーカーに対して夫々最低１つ以上、合計で５つ以上存在するか否かを判定することにより、両側レーンマーカー検出状態であるか否かを判定し、両側レーンマーカー検出状態である場合にはステップＳ８に移行し、そうでない場合にはステップＳ９に移行する。
【００７９】
前記ステップＳ８では、前記特開平６−２０１８９号公報に記載されるカルマンフィルタを用いて、自車両走行車線の両側のレーンマーカーが検出されているときの前記ＣＣＤカメラ地上高Ｈ、横変位Ａ、走行路曲率Ｂ、ヨー角Ｃ、ピッチ角Ｄ等の走行路モデルパラメータを算出してからステップＳ１０に移行する。
前記ステップＳ１０では、先行車両のナンバープレートを検出しているか否かを判定し、先行車両のナンバープレートを検出している場合にはステップＳ１１に移行し、そうでない場合にはメインプログラムに復帰する。
【００８０】
前記ステップＳ１１では、検出されている先行車両のナンバープレートの座標情報及び前記ステップＳ８で算出されたＣＣＤカメラ地上高Ｈ及びピッチ角Ｄを用い、前記２１式、２２式に従って、当該先行車両のナンバープレートの地上高Ｈpc及び自車両から先行車両（のナンバープレート）までの距離Ｌを算出してからメインプログラムに復帰する。
【００８１】
一方、前記ステップＳ９では、両側レーンマーカ検出状態以外の状態、即ち前記ステップＳ５で検出されたレーンマーカー検出点が、自車両走行車線の両側のレーンマーカーに対して夫々最低１つ未満、合計で５つ未満であり、且つ自車両走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が４つ以上であるか否かを判定することにより、片側レーンマーカー検出状態であるか否かを判定し、片側レーンマーカー検出状態である場合にはステップＳ１２に移行し、そうでない場合にはメインプログラムに復帰する。
【００８２】
前記ステップＳ１２では、先行車両のナンバープレートを検出しているか否かを判定し、先行車両のナンバープレートを検出している場合にはステップＳ１３に移行し、そうでない場合にはメインプログラムに復帰する。
前記ステップＳ１３では、前記２６式に則って設定され図１１のカルマンフィルタを用い、前記ステップＳ１１で算出された先行車両のナンバープレートの地上高Ｈpcが同じであるとして、前記先行車両（のナンバープレート）までの距離Ｌを含む自車両走行車線の片側のレーンマーカーが検出されているときの前記ＣＣＤカメラ地上高Ｈ、横変位Ａ、走行路曲率Ｂ、ヨー角Ｃ、ピッチ角Ｄ等の走行路モデルパラメータを算出してからメインプログラムに復帰する。
【００８３】
このように、本実施形態では、自車両走行車線両側のレーンマーカーが検出できているときには、カルマンフィルタ等により、ＣＣＤカメラ地上高Ｈを含む種々の走行路モデルパラメータを算出すると共に先行車両の特徴的な所定の部位としてナンバープレートの地上高さＨpc及び先行車両（のナンバープレート）までの距離Ｌを算出しておき、自車両走行車線片側のレーンマーカーしか検出できなくなったら、先行車両のナンバープレートの地上高さＨpcを用い、個別のカルマンフィルタ等により、それまで同様に走行路モデルパラメータを算出することができるので、走行車線の何れか一方のレーンマーカーしか検出できないときでも、正確に走行路モデルパラメータを算出することができる。
【００８４】
また、片側レーンマーカー検出状態で、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、検出された先行車両のナンバープレートまでの距離Ｌが小さいほど、当該先行車両の所定の部位の上下方向へのノイズが大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両との距離に応じた適切なものとすることができる。また、同様に、検出された先行車両のナンバープレートの地上高Ｈpcの分散が大きいほど、当該先行車両の所定の部位の上下方向への分散（ノイズ）が大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の上下動の大きさに応じた適切なものとすることができる。また、同様に、検出された先行車両のナンバープレートまでの距離Ｌの分散が大きいほど、当該先行車両の所定の部位の上下方向への分散（ノイズ）が大きいとして、前記カルマンフィルタのカルマンゲインを設定することにより、カルマンフィルタによる走行路モデルパラメータの算出精度を、先行車両の距離の変動に応じた適切なものとすることができる。
【００８５】
また、算出されたＣＣＤカメラの地上高Ｈの分散が予め設定された所定値以上であるときに、当該ＣＣＤカメラの地上高Ｈを予め設定された所定値に固定して走行路モデルパラメータを算出するようにすれば、ＣＣＤカメラ地上高Ｈを算出しながら走行路モデルパラメータを算出するようにしたとき、その分散の影響で走行路モデルパラメータの算出精度が低下するのを回避することができる。
【００８６】
以上より、前記撮像部１及び図１２の演算処理のステップＳ１が本発明の撮像手段を構成し、以下同様に、前記図１２の演算処理のステップＳ２がレーンマーカー検出領域設定手段を構成し、前記図１２の演算処理のステップＳ３〜ステップＳ５がレーンマーカー検出手段を構成し、前記図１２の演算処理のステップＳ７及びステップＳ８が両側レーンマーカー検出時走行路モデルパラメータ算出手段を構成し、前記図１２の演算処理のステップＳ６、ステップＳ１０及びステップＳ１１が先行車両検出手段を構成し、前記図１２の演算処理のステップＳ９、ステップＳ１２、ステップＳ１３及び図１１のカルマンフィルタが片側レーンマーカー検出時走行路モデルパラメータ算出手段を構成し、前記図１２の演算処理のステップＳ１３及び図１１のカルマンフィルタが撮像手段地上高算出手段を構成している。
【００８７】
なお、前記実施形態では、走行路モデルパラメータの算出にカルマンフィルタを用いたが、他の推定装置や最小二乗法等の同定方法を用いて算出するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の走行路検出装置の一実施形態を示す概略構成図である。
【図２】レーンマーカー検出小領域の説明図である。
【図３】レーンマーカー候補点の説明図である。
【図４】レーンマーカー候補線の説明図である。
【図５】レーンマーカー候補線を検出するためのマトリックスの説明図である。
【図６】検出されたレーンマーカー候補線のテーブルの説明図である。
【図７】レーンマーカー検出点の説明図である。
【図８】平面座標系と空間座標系との関連を示す説明図である。
【図９】レーンマーカーの形状及び縦断構造の定式化の説明図である。
【図１０】ナンバープレート検出のためのテンプレートの説明図である。
【図１１】カルマンフィルタの一例を示すブロック図である。
【図１２】コントロールユニット内で行われる走行路モデルパラメータ算出のための演算処理のフローチャートである。
【符号の説明】
１は撮像部
２はコントロールユニット
Claims (9)
- 自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された走行路にレーンマーカーを検出するための小領域を設定するレーンマーカー検出領域設定手段と、前記レーンマーカー検出領域設定手段で設定された検出領域内でレーンマーカーの一部をレーンマーカー検出点として検出するレーンマーカー検出手段と、前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の両側の二本のレーンマーカーの夫々のレーンマーカー検出点の数が第１の所定値以上であり且つ当該二本のレーンマーカーのレーンマーカー検出点の総数が第２の所定値以上であるときに両側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する両側レーンマーカー検出時走行路モデルパラメータ算出手段と、前記両側レーンマーカー検出状態で、少なくとも自車両に先行する先行車両の所定の部位の高さを検出する先行車両検出手段と、前記両側レーンマーカー検出状態以外のときであって且つ前記レーンマーカー検出手段で検出されたレーンマーカー検出点のうち、自車両が走行する走行車線の何れか一方のレーンマーカーのレーンマーカー検出点の数が第３の所定値以上であるときに片側レーンマーカー検出状態として、それらのレーンマーカー検出点の情報及び前記先行車両検出手段で検出された先行車両の所定の部位の高さ情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する片側レーンマーカー検出時走行路モデルパラメータ算出手段とを備えたことを特徴とする走行路検出装置。
- 前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位までの距離が小さいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とする請求項１に記載の走行路検出装置。
- 前記先行車両検出手段は、先行車両の所定の部位の高さの分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の高さの分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とする請求項１又は２に記載の走行路検出装置。
- 前記先行車両検出手段は、自車両から前記先行車両の所定の部位までの距離の分散を検出し、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、カルマンフィルタを用いて走行路モデルパラメータを算出すると共に、前記先行車両検出手段で検出された先行車両の所定の部位の距離の分散が大きいほど、前記先行車両の所定の部位の上下方向へのノイズが大きいとして前記カルマンフィルタのカルマンゲインを設定することを特徴とする請求項１乃至３の何れかに記載の走行路検出装置。
- 前記第１の所定値が一であることを特徴とする請求項１乃至４の何れかに記載の走行路検出装置。
- 前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第２の所定値がｍであることを特徴とする請求項１乃至５の何れかに記載の走行路検出装置。
- 前記両側レーンマーカー検出時走行路モデルパラメータ算出手段で算出される走行路モデルパラメータの数がｍであるとき、前記第３の所定値が（ｍー１）であることを特徴とする請求項１乃至６の何れかに記載の走行路検出装置。
- 前記先行車両の所定の部位がナンバープレートであることを特徴とする請求項１乃至７の何れかに記載の走行路検出装置。
- 撮像手段の地上高を算出する撮像手段地上高算出手段を備え、前記片側レーンマーカー検出時走行路モデルパラメータ算出手段は、前記撮像手段地上高算出手段で算出された撮像手段の地上高の分散が予め設定された所定値以上であるときに、当該撮像手段の地上高を予め設定された所定値に固定して前記走行路モデルパラメータを算出することを特徴とする請求項１乃至８の何れかに記載の走行路検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001199959A JP3729095B2 (ja) | 2001-06-29 | 2001-06-29 | 走行路検出装置 |
| US10/163,424 US7016517B2 (en) | 2001-06-29 | 2002-06-07 | Travel road detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001199959A JP3729095B2 (ja) | 2001-06-29 | 2001-06-29 | 走行路検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003016430A JP2003016430A (ja) | 2003-01-17 |
| JP3729095B2 true JP3729095B2 (ja) | 2005-12-21 |
Family
ID=19037167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001199959A Expired - Fee Related JP3729095B2 (ja) | 2001-06-29 | 2001-06-29 | 走行路検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7016517B2 (ja) |
| JP (1) | JP3729095B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7018517B2 (en) * | 2002-06-21 | 2006-03-28 | Applied Materials, Inc. | Transfer chamber for vacuum processing system |
| US7313462B2 (en) * | 2003-06-06 | 2007-12-25 | Semitool, Inc. | Integrated tool with automated calibration system and interchangeable wet processing components for processing microfeature workpieces |
| US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP4390631B2 (ja) * | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4108706B2 (ja) * | 2005-10-31 | 2008-06-25 | 三菱電機株式会社 | 車線逸脱防止装置 |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| US8676492B2 (en) * | 2006-01-19 | 2014-03-18 | GM Global Technology Operations LLC | Map-aided vision-based lane sensing |
| FR2899369B1 (fr) | 2006-03-31 | 2008-05-30 | Peugeot Citroen Automobiles Sa | Procede et systeme de detection de la circulation d'un vehicule a contresens au moyen d'un detecteur a formation d'images |
| US8190355B2 (en) * | 2007-10-10 | 2012-05-29 | International Business Machines Corporation | Driving assistance and monitoring |
| KR101071732B1 (ko) * | 2007-12-17 | 2011-10-11 | 현대자동차주식회사 | 차량 주행속도 제어 장치 및 그 방법 |
| US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| KR20120053713A (ko) * | 2010-11-18 | 2012-05-29 | 에스엘 주식회사 | 차량용 카메라의 제어 장치 및 방법 |
| US20120203428A1 (en) * | 2011-02-08 | 2012-08-09 | Honda Motor Co., Ltd | Road profile scanning method and vehicle using side facing sensors |
| EP2525303A1 (en) * | 2011-05-17 | 2012-11-21 | Harman Becker Automotive Systems GmbH | Lane tracking |
| CN102589434B (zh) * | 2012-02-27 | 2013-12-25 | 西北工业大学 | 车辆侧滑运动的图像轮毂标识检测方法 |
| JP5754470B2 (ja) * | 2012-12-20 | 2015-07-29 | 株式会社デンソー | 路面形状推定装置 |
| JP6412460B2 (ja) | 2015-04-14 | 2018-10-24 | 株式会社Ｓｏｋｅｎ | 走行路推定装置 |
| CN106156731A (zh) * | 2016-07-01 | 2016-11-23 | 蔡雄 | 一种无人驾驶起重车 |
| CN106064587B (zh) * | 2016-07-06 | 2018-06-26 | 北方工业大学 | 一种基于车牌识别的多车道车间距识别方法及装置 |
| JP6741603B2 (ja) * | 2017-01-16 | 2020-08-19 | 株式会社Ｓｏｋｅｎ | 推定装置 |
| US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
| DE102018100292A1 (de) * | 2018-01-09 | 2019-07-11 | Connaught Electronics Ltd. | Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2917681B2 (ja) | 1992-06-29 | 1999-07-12 | 日産自動車株式会社 | 道路形状計測装置 |
| JP3169483B2 (ja) * | 1993-06-25 | 2001-05-28 | 富士通株式会社 | 道路環境認識装置 |
| JP3288566B2 (ja) | 1994-11-10 | 2002-06-04 | 株式会社豊田中央研究所 | 走行レーン認識装置 |
| JP3993259B2 (ja) * | 1996-07-31 | 2007-10-17 | アイシン精機株式会社 | 画像処理装置 |
| EP1383100A3 (en) * | 1996-08-28 | 2005-02-02 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus and method therefor |
| JPH1173514A (ja) * | 1997-08-29 | 1999-03-16 | Nissan Motor Co Ltd | 車両用認識装置 |
| JP3606039B2 (ja) | 1998-03-31 | 2005-01-05 | 日産自動車株式会社 | 道路形状検出装置 |
| JP3319399B2 (ja) | 1998-07-16 | 2002-08-26 | 株式会社豊田中央研究所 | 走行路認識装置 |
| JP3603768B2 (ja) * | 2000-09-06 | 2004-12-22 | 日産自動車株式会社 | 車線逸脱判定装置 |
| US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
| JP3630100B2 (ja) * | 2000-12-27 | 2005-03-16 | 日産自動車株式会社 | 車線検出装置 |
| JP3780848B2 (ja) * | 2000-12-27 | 2006-05-31 | 日産自動車株式会社 | 車両の走行路認識装置 |
-
2001
- 2001-06-29 JP JP2001199959A patent/JP3729095B2/ja not_active Expired - Fee Related
-
2002
- 2002-06-07 US US10/163,424 patent/US7016517B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7016517B2 (en) | 2006-03-21 |
| JP2003016430A (ja) | 2003-01-17 |
| US20030001732A1 (en) | 2003-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3729095B2 (ja) | 走行路検出装置 | |
| JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| CN110879991B (zh) | 一种障碍物识别方法及系统 | |
| JP6770393B2 (ja) | トラッキング装置及びプログラム | |
| JP5016022B2 (ja) | 多重３次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両 | |
| US20050015201A1 (en) | Method and apparatus for detecting obstacles | |
| EP2757524A1 (en) | Depth sensing method and system for autonomous vehicles | |
| JP2002109695A (ja) | 車両の走行路認識装置 | |
| JP5180126B2 (ja) | 道路認識装置 | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
| CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| CN112172797B (zh) | 泊车控制方法、装置、设备和存储介质 | |
| JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
| JP4956099B2 (ja) | 壁検出装置 | |
| JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
| JP3807253B2 (ja) | 走行路検出装置 | |
| US11904843B2 (en) | Autonomous parking systems and methods for vehicles | |
| JP2021085855A (ja) | 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法 | |
| JP3985610B2 (ja) | 車両用走行路認識装置 | |
| JP3700681B2 (ja) | 走行路検出装置 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| JPH08320998A (ja) | レーンマーカ検出装置 | |
| US7899212B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |