JP4698858B2 - Vehicle lane marking detector - Google Patents

Vehicle lane marking detector Download PDF

Info

Publication number
JP4698858B2
JP4698858B2 JP2001055661A JP2001055661A JP4698858B2 JP 4698858 B2 JP4698858 B2 JP 4698858B2 JP 2001055661 A JP2001055661 A JP 2001055661A JP 2001055661 A JP2001055661 A JP 2001055661A JP 4698858 B2 JP4698858 B2 JP 4698858B2
Authority
JP
Japan
Prior art keywords
lane marking
line
travel
lane
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001055661A
Other languages
Japanese (ja)
Other versions
JP2002099904A (en
Inventor
久弥 井沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2001055661A priority Critical patent/JP4698858B2/en
Publication of JP2002099904A publication Critical patent/JP2002099904A/en
Application granted granted Critical
Publication of JP4698858B2 publication Critical patent/JP4698858B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像上で走行区分線と車両の位置から、自車軌跡内外に先行車がいるかどうかを判断する技術に係り、特に、走行区分線の認識結果が正しいかを評価する技術に関するものである。
【０００２】
【従来の技術】
従来より、自車進行方向を撮影するように設置されたカメラから得た画像情報を画像処理装置で処理し、その結果得た先行車及び走行区分線に関する情報を利用することにより、先行車の自車線内外判断を行う技術が知られている。
この判断手法の一例について、図２８のカメラ画像を参照しながら説明する。
まず、後ろから見た先行車の左下座標（ｘcl，ｙ）、右下座標（ｘcr，ｙ）を画像処理により求める。
【０００３】
さらに、左右の走行区分線と先行車下端との交点座標Ｃ（ｘrl，ｙ）、Ｄ（ｘrr，ｙ）を求める。
これらの情報から、「ｘrl＜ｘcl」かつ「ｘcr＜ｘrr」が成立した場合、すなわち、先行車が車線内に収まっている場合、または、「ｍａｘ（ｘcl−ｘrl，ｘrr−ｘcr）＜１．８ｍ」が成立した場合、すなわち、自車がすり抜ける余裕の無い場合は、先行車が自車線内にいると判断する。
なお、ａ≧ｂにおいて、ｍａｘ（ａ，ｂ）＝ａである。
【０００４】
【発明が解決しようとする課題】
しかしながら、カメラ画像により取得した情報から走行区分線を２次関数で近似した場合等は、近似により求めた軌跡が本来の走行区分線から外れる場合がある。例えば、道路が若干Ｓ字になっていると、２次近似結果が外れ、本来の走行区分線と違ってしまうことがある。
このような場合には、走行区分線情報の前回値を用いて先行車の自車線内外判断を行う等の為に、走行区分線のセンシングが上手くいっていないことを検知し、近似結果を使わないようにする必要がある。
【０００５】
また、走行区分線が破線であると、左右の走行区分線幅が一定でなくなるため、走行区分線のトレースが上手く行えず、近似により求めた左右の走行区分線が先細りになったり、広がったりすることがある。
このような場合も、センシングが上手くいっていないことを検知し、近似結果を使わないようにする必要がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、その目的は、検出した走行区分線の確からしさを判断し、より確かな走行区分線情報を選択し得るようにして、先行車の車線内外判断を正しく行えるようにすることにある。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明は、以下の構成を採用した。
請求項１に記載した発明は、車両進行方向の走行路を撮影する撮影手段（例えば、実施の形態における近距離センサ２０）と、該撮影手段が撮影した画像における走行区分線を認識する走行区分線認識手段（例えば、実施の形態におけるステップＳ２）と、車両の運動状態を検出する運動状態検出手段（例えば、実施の形態における車速センサ１２、ヨーレートセンサ１４）と、前記走行区分線認識手段が以前に認識した走行区分線の位置を前記運動状態検出手段の検出結果に基づき補正し、これを前記走行区分線認識手段の認識時点の走行区分線として認識する走行区分線補正手段（例えば、実施の形態におけるステップＳ３）と、前記走行区分線認識手段の認識した走行区分線と前記走行区分線補正手段により補正された走行区分線とを比較する比較手段（例えば、実施の形態におけるステップＳ４）と、前記運動状態検出手段により検出された車両の運動状態に基づき、車両の進行軌跡を推定する軌跡推定手段（例えば、実施の形態におけるＥＣＵ１１）と、該軌跡推定手段により推定された進行軌跡と予め設定した左右の走行区分線間隔とに基づき走行区分線を推定する走行区分線推定手段（例えば、実施の形態におけるステップＳ５１、ステップＳ６１）と、前記比較手段の比較結果に基づき、前記走行区分線認識手段の認識した走行区分線と前記走行区分線補正手段により補正された走行区分線と前記走行区分線推定手段の推定した走行区分線のいずれを選択するか判断する判断手段（例えば、実施の形態におけるステップＳ５，ステップＳ６，ステップＳ３１）と、を備えることを特徴とする。
【０００８】
このような構成によれば、撮影画像から認識した走行区分線情報の今回値と、以前に認識した走行区分線情報を運動状態に基づき補正して求められた今回値との相関性を比較することにより、撮影画像に基づく走行区分線情報の信頼度を判断し、その信頼度の高低に応じて、撮影画像に基づく走行区分線情報を選択的に先行車の自車線内外判断に使用することが可能になる。
【００１２】
また、撮影画像から認識した走行区分線情報の今回値と、以前に認識した走行区分線情報の前回値を運動状態に基づき補正して求められた今回値とに加えて、運動状態からの推定軌跡に基づき推定した走行区分線の情報も先行車の自車線内外判断に使用することが可能になり、先行車の自車線内外判断に使用する情報の選択肢が増える。
【００１４】
さらに、撮影画像に基づく走行区分線情報の信頼度が低い場合には、運動状態に基づく推定軌跡と、所与の走行区分線間隔とから走行区分線の推定を行うことが可能になり、その推定精度が向上する。
請求項２に記載した発明は、請求項１に記載した車両用走行区分線検出装置において、前記走行区分線認識手段は、左右一対の走行区分線を認識するものであり、前記比較手段は、左右各々の走行区分線について比較を行うものであることを特徴とする。
このような構成によれば、左右いずれか一方の走行区分線についてのみ相関性を比較する場合に比して、撮影画像に基づく走行区分線情報の信頼度を判断する際の判断精度が向上する。
【００１５】
請求項３に記載した発明は、請求項１又は請求項２に記載した車両用走行区分線検出装置において、前記走行区分線認識手段により認識された左右の走行区分線の一方と、予め設定した左右の走行区分線間隔とに基づき、他方の走行区分線を推定する第二の走行区分線推定手段（例えば、実施の形態におけるＥＣＵ１１）と、前記第二の走行区分線推定手段により推定された他方の走行区分線と、該走行区分線と同一側の前記判断手段により選択された走行区分線とを比較する第二の比較手段（例えば、実施の形態におけるステップＳ７）と、該第二の比較手段による比較結果に基づき、前記走行区分線認識手段が認識した走行区分線を選択するか否かを判断する第二の判断手段（例えば、実施の形態におけるステップＳ８）とを備えることを特徴とする。
【００１６】
このような構成によれば、撮影画像に基づく走行区分線情報の今回値が、左右ともに、補正して求められた今回値と相関性が高いと判断された場合には、さらに、所与の走行区分線間隔を用いて、今回値に係る左右の走行区分線間の相関性を判断することにより、撮影画像に基づく走行区分線情報の信頼度判断をより厳密に行うことが可能になる。
【００１７】
請求項４に記載した発明は、請求項３に記載した車両用走行区分線検出装置において、前記第二の判断手段により前記走行区分線認識手段が認識した走行区分線が選択されなかった時、当該第二の判断手段は、前記走行区分線推定手段が推定した走行区分線を選択することを特徴とする。
【００１８】
このような構成によれば、撮影画像に基づく走行区分線情報の信頼度をより厳密に判断した結果、その信頼度が疑わしい場合には、運動状態に基づく走行区分線情報を先行車の自車線内外判断に使用することが可能になる。
【００１９】
請求項５に記載した発明は、請求項１〜請求項４に記載した車両用走行区分線検出装置において、前記比較手段は、走行区分線のずれを検出するものであることを特徴とし、また、請求項６に記載した発明は、請求項３又は請求項４に記載した車両用走行区分線検出装置において、前記第二の比較手段は、走行区分線のずれを検出するものであることを特徴とする。
【００２０】
これらの構成によれば、汎用の画像処理技術を用いて簡便かつ高精度に走行区分線のずれを検出することが可能になる。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら、本発明の一実施の形態について説明する。
図１は、この発明に係る車両用走行区分線検出装置を含む物体検知装置１０を搭載した車両１の全体構成図であり、図２は、同システム構成図である。
【００２２】
車両１に搭載された物体検知装置１０は、軌跡予測手段としての電子制御ユニット（以下、ＥＣＵという）１１、運動状態検出手段としての車速センサ１２、車輪速センサ１３、運動状態検出手段としてのヨーレートセンサ１４、スイッチ類１５、遠距離センサ１６、撮影手段としての近距離センサ２０、スロットルアクチュエータ３１、ブレーキ油圧ソレノイド３２、オートマチックトランスミッション用電子制御ユニット（以下、ＡＴ・ＥＣＵと略す）３３、インジケータ３４を備えている。この物体検知装置１０のうち、近距離センサ２０、車速センサ１２、ヨーレートセンサ１４及びＥＣＵ１１が車両用走行区分線検出装置を構成している。
【００２３】
車速センサ１２は自車両の車速を検知し、車速に応じた出力信号をＥＣＵ１１に出力する。車輪速センサ１３は車輪速を検知し、車輪速に応じた出力信号をＥＣＵ１１に出力する。尚、図１では左前輪の車輪速センサ１３だけを図示しているが、車輪速センサ１３は左右前後四つの車輪にそれぞれ設けられている。ヨーレートセンサ１４は自車両のヨーレートを検知し、ヨーレートに応じた出力信号をＥＣＵ１１に出力する。スイッチ類１５は、オートクルーズ・メインスイッチや車間距離設定スイッチなどであり、運転席前方の所定部位に設けられ、各スイッチ類１５の出力信号はＥＣＵ１１に入力される。
【００２４】
遠距離センサ１６はミリ波レーダ装置からなり、車両１のボディのノーズ部に内蔵されている。遠距離センサ１６を構成するミリ波レーダ装置について説明すると、ミリ波レーダ装置では、周波数を時間と共に三角波状に増減させた送信信号を車両の前方に向けて送信し、前方の検知対象である先行車両での反射によって生じた反射信号を受信し、これを送信信号と混合してビート信号を発生させ、このビート信号の周波数ｆ（「ビート周波数」）から先行車両までの距離や相対速度を検出するように構成されている。
【００２５】
図３に示すように、周波数が時間軸上で三角波状に変化するミリ波レーダ装置では、送信ミリ波信号の周波数が直線的に増加中の期間（上昇期間）内はこれよりも遅延して出現する受信信号の周波数の方が低くなり、送信ミリ波信号の周波数が直線的に減少中の期間（下降期間）内はこれよりも遅延して出現する受信信号の周波数の方が高くなる。
一般に、このようなミリ波レーダ装置を搭載した自車両と先行車両とが同一速度で走行中でなければ、すなわち両車両の相対速度がゼロでなければ、図４に示すように、車両間の相対速度をゼロと仮定した場合の上述のビー卜周波数ｆ中に、両車両の相対速度に応じたドップラーシフト量ｆpが含まれてくる。
【００２６】
そして、このドップラーシフト量ｆpは、送信ミリ波信号の周波数の上昇期間内に検出されるビー卜周波数ｆuと、下降期間内に検出されるビー卜周波数ｆdとでは、その増減に関して互いに逆向きの影響を与え、次のように与えられる。
ｆu＝ｆ−ｆp （１）
ｆd＝ｆ＋ｆp （２）
式（１）と式（２）から、次式の関係が得られる。
ｆ＝（ｆu＋ｆd）／２ （３）
ｆp＝（ｆu−ｆd）／２ （４）
【００２７】
先行車両と自車両との距離をＲ、相対速度をｕとすると、式（３）及び式（４）から、次式を得る。
Ｒ＝ｃｆ／（４ｆm・Δｆ） （５）
ｕ＝ｃｆp／２ｆ0 （６）
ここで、ｃは光速、△ｆはミリ波信号の周波数の変化幅、ｆmは前記周波数の変化周期、ｆ0はミリ波信号の中心周波数である。
【００２８】
ビート周波数は、通常、ビート信号を高速フーリエ変換（ＦＦＴ）することによって検出される。この高速フーリエ変換によって得られるビート信号の周波数スペクトルは、上昇期間内であるか下降期間内であるかに応じて、図５に例示するように、自車両と先行車両の相対速度がゼロの場合のビート周波数ｆの前後に、ドップラーシフト量ｆpだけシフトしたビート周波数のペア（ｆu，ｆd）となる。
【００２９】
近距離センサ２０はステレオカメラ装置からなり、車室内のフロントガラス近傍に設けられている。ステレオカメラ装置は、一対のＣＣＤカメラ２０ａでフロントガラス越しに車両１の前方を撮影し、その撮像信号を所定に処理することにより、自車両の進行方向に存在する先行車両と自車両との距離や、該先行車両と自車両との相対速度を算出し、これら検知結果をＥＣＵ１１に出力する。
【００３０】
ステレオカメラ装置について図６を参照して説明すると、ステレオカメラ装置における一方のＣＣＤカメラ２０ａを構成するラインセンサ２１及びレンズ２３は、他方のＣＣＤカメラ２０ａを構成するラインセンサ２２及びレンズ２４と所定の間隔、すなわち基線長Ｂだけ水平方向に間隔を有して配置されている。ラインセンサ２１及び２２は、典型的には１次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってよい。この場合、レンズ２３，２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で検知対象Ｚを照射し、検知対象Ｚから反射する赤外線をラインセンサ２１，２２が感知するようにするのが良い。
【００３１】
ラインセンサ２１，２２は、それぞれレンズ２３，２４の焦点距離ｆに配置されている。レンズ２３，２４のある平面から距離ａにある検知対象Ｚの像が、ラインセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に結像し、ラインセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に結像したとすると、レンズ２３，２４の面から検知対象Ｚまでの距離ａは、三角計測法の原理により、次式により求められる。
ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２） （７）
【００３２】
ところで、遠距離センサ１６と近距離センサ２０はそれぞれ検知領域を異にしており、図７に示すように、水平視野角については遠距離センサ１６よりも近距離センサ２０の方が広角であり、検出可能距離については遠距離センサ１６の方が近距離センサ２０よりも大きい。尚、この実施の形態では、遠距離センサ１６の水平視野角α１は約２０度、近距離センサ２０の水平視野角α２は約４０度に設定されており、遠距離センサ１６の検出可能距離Ｌ１は５〜１４０ｍ、近距離センサ２０の検出可能距離Ｌ２は０〜５０ｍに設定されている。
【００３３】
そして、この物体検知装置１０においては、自車両と先行車両との距離が大きい時には遠距離センサ１６で検知された距離値及び相対速度値に基づいてオートクルーズ制御等を実行し、自車両と先行車両との距離が小さい時には近距離センサ２０で検知された距離値及び相対速度値に基づいてオートクルーズ制御等を実行する。
【００３４】
スロットルアクチュエータ３１は、オートクルーズ走行を実施しているときに、設定された車間距離を保持しつつ先行車両に追従走行するようにスロットル（図示せず）を所定開度に開閉させるためのものであり、スロットルアクチュエータ３１はＥＣＵ１１からの出力信号に基づいて作動する。
【００３５】
ブレーキ油圧ソレノイド３２は、オートクルーズ走行を実施しているときに、スロットルアクチュエータ３１によりスロットルを絞って減速してもなお減速度が足りない場合に、減速度を増大させるべくブレーキを作動させるためのものであり、ブレーキ油圧ソレノイド３２はＥＣＵ１１からの出力信号に基づいて作動する。
【００３６】
また、ＥＣＵ１１は、オートクルーズ走行を実施しているときに、スロットルアクチュエータ３１によりスロットルを絞って減速してもなお減速度が足りない場合に、ＡＴ・ＥＣＵ３３にシフトダウン指令を出力する。シフトダウン指令を入力されたＡＴ・ＥＣＵ３３は、減速度を増大させるべくシフトダウン制御を実行する。
【００３７】
インジケータ３４は、運転席前方のメータパネル（図示せず）に設けられており、オートクルーズシステム作動時に点灯し非作動時に消灯する表示灯や、システム異常時に点滅する警告灯などからなる。
【００３８】
ここで、前記近距離センサ２０のステレオカメラ装置を構成する２つのＣＣＤカメラ２０ａは、前述したように自車両の進行方向に存在する先行車両と自車両との距離や、該先行車両と自車両との相対速度を検出するが、走行区分線を認識する場合にはいずれか一方のＣＣＤカメラ２０ａによりこれを行っている。
【００３９】
具体的には、路面に対して明るい走行区分線をその境界部分をエッジ検出してドット単位（撮像素子単位）でとらえ、各ドットを通る直線が一致した場合に走行区分線の位置を示すものとなる。ところで、画面上の一つの点を通る直線は無数にあるため、各点毎にこれを通る直線を求めると処理に負担がかかる。このような不具合をなくすために、各ドットを通る直線を以下に説明するハフ（Ｈｏｕｇｈ）変換により求めている。
【００４０】
図８（ａ）に示すような断片的点列画像から直線上に点列と、その直線（図８（ｂ））を検出することを考える。
検出したい直線の式を、傾きａ、切片ｂとしてパラメータ空間（ａ，ｂ）に、この直線上の点（ｘi，ｙi）を写像すれば、図９に示すように
ｂ＝−ｘi・ａ＋ｙi （８）
の直線となる。したがって、ａ−ｂ平面上でこれらの直線の交点の座標値より、ｘ−ｙ平面上の直線を求めることができる。
【００４１】
この方法がハフ変換であるが、ａ−ｂ平面上には制限がなく、実際に適用するのが困難であるため、Ｄｕｄａ＆Ｈａｒｔは前記直線の式（８）を
ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ＝ρ
で表し、パラメータ空間として（θ，ρ）空間を用いる方法を採用した（図１０、図１１）。
【００４２】
ここで、ρはｘ−ｙ座標原点から直線へおろした垂線の長さ、θは垂線とｘ軸とのなす角である。このとき、画像上の点（ｘ0，ｙ0）を通る直線は
ρ＝ｘ0・ｃｏｓθ＋ｙ0・ｓｉｎθ （９）
の関係を満たしている。
また、（ｘ，ｙ）空間と（θ，ρ）空間の関係を示すと、（ｘ，ｙ）空間上の１本の直線は（θ，ρ）空間の１点に対応する。
【００４３】
逆に、（θ，ρ）空間の式（１）の曲線は（ｘ，ｙ）空間において、点（ｘ0，ｙ0）を通る全ての直線群に対応する。
（ｘ，ｙ）空間の全ての点について、式（９）の曲線を計算し、（θ，ρ）空間において曲線が集中して交わる点（θ0，ρ0）を求めれば、これにより（ｘ，ｙ）空間での直線、
ρ0＝ｘ・ｃｏｓθ0＋ｙ・ｓｉｎθ0
が得られることになる。
【００４４】
このような原理から、走行区分線をエッジ検出してエッジ点（ドット）を抽出したら、各検出点（ｘi，ｙi）について、０゜≦θ≦１８０゜の範囲内で
ρ＝ｘi・ｃｏｓθ＋ｙi・ｓｉｎθ
を計算する。そして、算出されたρに対応した配列要素のカウント数を増加させ、最大カウント数の配列要素（θmax，ρmax）を選出する。
【００４５】
つまり、以下の式（１０）で表される直線が求める直線である。
ρmax＝ｘ・ｃｏｓθmax＋ｙ・ｓｉｎθmax （１０）
このような方法により走行区分線を求めることで、画像中の走行区分線が連続していなくても検出できるメリットがある。
【００４６】
図１２は画像上に走行区分線Ｈを検知した図である。この走行区分線検知は前述したようにハフ変換により求めた算出結果を、走行区分線Ｈの中心を通るようにして表示している。ここでドット間隔とはＣＣＤカメラ２０ａドット間隔ｄｓを示している。
【００４７】
図１３は進行軌跡としての自車推定軌跡Ｋを真上から見た鳥瞰図で示したものである。尚、本来ヨーレートが発生すれば、自車推定軌跡Ｋは湾曲しているが、簡略化するため直線で示している。この自車推定軌跡Ｋはヨーレートと車速から推定して得られる以下の式（１１）
ｒ（ｍ）＝ｖ（ｍ／ｓ）／ｙ（ｒａｄ／ｓ） （１１）
により求めたもので、画像を鳥瞰図に変換するため、遠距離になるほど上下方向の間隔が大きくなるように表示されている。ここで、ヨーレート等から求めた軌跡に幅があるのは、ヨーレート等から求めた軌跡に、例えば左右の走行区分線間の幅寸法を加味しているからである。尚、式（１１）において、ｒはコーナ部の半径、ｖは車速、ｙはヨーレートを示している。
【００４８】
次に、図１４〜図１６により画像上の走行区分線Ｈを鳥瞰図座標に変換する方法について説明する。なお、以下に示す手法を逆に使用することで、前述した図１３の鳥瞰図を図１２に示したような画像に変換することができる。
図１６において画像上の走行区分線Ｈに対応する１点ａを鳥瞰図で見た座標Ａに変換するにあたり、まず、第１ステップで走行区分線Ｈの画像上のポイントの角度を求める。
【００４９】
ここで、図１４〜図１６において、ｘvは消失点の画像上のｘ座標（ｄｏｔ）、ｘθは画像のｘ座標最大値（ｄｏｔ）、ｘθ’は点ａの画像上のｘ座標（ｄｏｔ）、ｙvは消失点の画像上のｙ座標（ｄｏｔ）、ｙθは画像上のｙ座標最大値（ｄｏｔ）、ｙθ’は点ａの画像上のｙ座標（ｄｏｔ）、θxは画像消失点から右端までの角度（ｒａｄ）、θyは画像消失点から下端までの角度（ｒａｄ）、θx’は点ａの画像消失点からの水平方向角度（ｒａｄ）、θy’は点ａの画像消失点からの垂直方向角度（ｒａｄ）、ｈはカメラの取り付け位置の高さ（ｍ）、ｄYは点Ａの進行方向の距離（ｍ）、ｄXは点Ａの左右方向の位置（ｍ）を示している。
【００５０】
図１４において、左右の走行区分線Ｈが交わる点を消失点とした場合に、点ａの画像消失点から右端までの角度（ｒａｄ）であるθx’と、点ａの画像消失点から左端までの角度（ｒａｄ）であるθy’とを以下の式で求める。
θx’＝（（ｘθ’−ｘv）／（ｘθ−ｘv））・θx （１２）
θy’＝（（ｙθ’−ｙv）／（ｙθ−ｙv））・θy （１３）
【００５１】
次に、第２ステップで図１５に基づいてカメラの取り付け位置の高さｈと点ａの角度から距離ｄYを以下の式で求める。
ｄY＝ｈ／ｔａｎθy’ （１４）
次に、第３ステップで図１６に基づいて距離ｄYと点ａの角度から横位置ｄXを以下の式で求める。
ｄX＝ｄYｔａｎθx’ （１５）
【００５２】
次に、図１７のフローチャートに基づいて、走行区分線情報の選択処理を説明する。なお、この図では、「走行区分線情報」を「区分線」と略記している。
まず、ステップＳ１において、画像を取り込む。
次に、ステップＳ２において、前述した走行区分線と路面の明暗の差を用いてエッジ検出等で左右の走行区分線情報を検知する。
次いで、ステップＳ３において、走行区分線情報の前回値を車速とヨーレートで補正する。
【００５３】
「走行区分線情報の今回値」は、フローチャートの流れに従って、▲１▼ステップＳ２で検知した走行区分線情報の今回値そのまま、▲２▼後述するステップＳ３で走行区分線情報の前回値を補正して求めた今回値、▲３▼ステップＳ２で検知した走行区分線情報の今回値と、予め設定した車線幅（例えば、高速道路では３．７５ｍに設定）とから求めた算出値、▲４▼車速，ヨーレート，及び前記予め設定した車線幅から求めた算出値、の４通りの中から適宜選択される。
【００５４】
以下に、ステップＳ３で行う処理の一具体例について説明する。
例えば、走行区分線情報の前回値として、ステップＳ２で検知した走行区分線情報の前回値をそのまま先行車の自車線内外判断に使用した場合には、前回のステップＳ２で取り込んだ画像（図１２）から検知した走行区分線情報を鳥瞰図上に座標変換し（図１８のプロット■）、その鳥瞰図座標系において、全てのドット（撮像素子）に対し、車速とヨーレートによる位置補正を行う（図１８のプロット□）。
【００５５】
この位置補正では、まず、補正前座標（Ｘold，Ｚold）を車速により補正して仮座標（Ｘtmp，Ｚtmp）を求め、次に、この仮座標（Ｘtmp，Ｚtmp）をヨーレートにより補正して最終的な補正後座標（Ｘnew，Ｚnew）とする。
車速による補正後の仮座標（Ｘtmp，Ｚtmp）は、図２０に示すように、車速をＶx、経過時間をＴsとすると、次式で算出される。
Ｘtmp＝Ｘold （１６）
Ｚtmp＝Ｚold−Ｖx・Ｔs （１７）
【００５６】
ヨーレートによる仮座標（Ｘtmp，Ｚtmp）の補正後座標（Ｘnew，Ｚnew）は、図２１に示すように、角度変位をθ、経過時間をＴsとすると、次式で算出される。
Ｘnew＝ Ｘtmp・cosθ＋Ｚtmp・sinθ （１８）
Ｙnew＝−Ｘtmp・sinθ＋Ｚtmp・cosθ （１９）
【００５７】
なお、図２１に基づく式（１８）及び式（１９）によるヨーレート補正は、回転原点Ｏをセンサ取り付け位置ではなく、後輪中心位置に設定することで、より現実に合ったヨーレート補正が可能になる。その理由は、アッカーマン・ジャントの理論に基づいたステア特性の場合、図２３に示すように、後輪軸が進行方向に対して垂直になるからである。
逆に、回転原点Ｏをセンサ取り付け位置に設定すると（図２２）、ヨーレート補正をした場合に、図２３に示す角度θ分のずれを生じてしまうことになる。
【００５８】
また、鳥瞰図座標系において、単純に補正前座標（Ｘold，Ｚold）を車速及びヨーレートにより補正しただけでは、図１８のプロット□で示すように、補正後座標（Ｘnew，Ｚnew）が破線で示す垂直方向座標（Ｚ座標）に対応しない場合、すなわち、ドット上に乗らない場合が生じる。
よって、本実施の形態では、車速及びヨーレートによる補正後の点列データを鳥瞰図座標系の垂直方向座標に対応させるべく、すなわち、ドット上に乗せるべく、図１９及び図２４に示すように、走行区分線に沿って互いに隣接する２つの点列データを補間演算し、データ消失を防止している。
【００５９】
この補間演算は、次式に従って行われる。
Ｘi＝（Ｘ1−Ｘ0）・（Ｚi−Ｚ0）／（Ｚ1−Ｚ1） （２０）
ここで、（Ｘi，Ｚi）は、補間演算による演算結果であり、（Ｘ0，Ｚ0）及び（Ｘ1，Ｚ1）は、走行区分線に沿って互いに隣り合う２つの点列データの座標を示している。
【００６０】
次いで、ステップＳ４において、ステップ３で補正して求めた今回値と、ステップＳ２で検知した走行区分線情報の今回値との比較を行う。
具体的には、先ず、図１４〜図１６に基づく前記手順にて、カメラの画角，取り付け位置，消失点情報から、走行区分線画像のドット毎に、実際の距離（ｄY）と横位置（ｄX）を求める。
【００６１】
この横位置は、ステップＳ３で補正して求めた今回値と、ステップＳ２で検知した今回値のそれぞれに対して求める。
このとき、近距離ほど画像上のドット数が増えること、及び一般的に近距離の方が遠距離よりも精度が良いことから、例えば、距離１０ｍ〜４０ｍ位（上限の４０ｍは、カメラにより異なる）の範囲で求める（図２５参照）。
【００６２】
そして、画像上の同じ垂直方向座標に対応する（同じ距離にある）走行区分線情報について、ステップＳ３で補正して求めた今回値と、ステップＳ２で検知した今回値との各偏差（各変化量）が所定値（例えば、５０ｃｍ）を越えるかを比較し、その比較の結果、比較したドット数に対して偏差が前記所定値以内であったドット数の割合（以下、「偏差小ドット比率」と称する。）を次式に従い算出する。
偏差小ドット比率［％］
＝偏差が所定値以内のドット数／全体のドット数×１００ （２１）
【００６３】
ステップＳ５では、この偏差小ドット比率を用いて、ステップ２で検知した今回値と、ステップＳ３で補正して求めた今回値との相関性が低いかを判断する。本実施の形態では、偏差小ドット比率が所定値（例えば、９５％）未満の場合に相関性が低いと判断される。
このように、相関性の高低を偏差小ドット比率により判断した場合は、単純な偏差面積で比較した場合（図２６）のように、走行区分線の近似性を正しく比較できないといった不具合を有効に回避することができる。
【００６４】
すなわち、偏差面積（図２６の斜線部分）で比較すると、左の走行区分線の場合のように、一律にオフセットしている場合は、その偏差が許容できるにもかかわらず偏差の面積が大きな値になり、本来ならば、相関性が高いと判断すべきところを低いと判断してしまうことがある。
【００６５】
他方、右の走行区分線の場合のように、遠方での偏差は許容できないレベルにあるのだが、偏差の面積が全体では小さな値になり、本来ならば、相関性が低いと判断すべきところを高いと判断してしまうことがある。
これに対し、本実施の形態のように、偏差が所定値以内のドット頻度を表す偏差小ドット比率を用いれば、このような誤った判断をすることはない。
【００６６】
そして、ステップＳ５の判断結果が「ＮＯ」の場合、すなわち、ステップＳ２で検知した左走行区分線情報の今回値と、ステップＳ３で補正して求めた今回値との相関性が高い場合は、ステップＳ６に進み、ステップＳ２で検知した右走行区分線情報の今回値と、ステップＳ３で補正して求めた今回値との相関性が低いかの判断をステップＳ５と同様にして行う。
【００６７】
ステップＳ６の判断結果が「ＮＯ」の場合、すなわち、ステップＳ２で検知した左右走行区分線情報の信頼度がともに高い場合は、ステップＳ７に進み、今回値に係る左右走行区分線情報の比較を行う。
ステップＳ７及びその後に続くステップＳ８の各処理は、ステップＳ４及びその後に続くステップＳ５の各処理と、考え方の軌を一にするため、以下では、相違点のみを説明する。
【００６８】
ステップＳ７では、図２７に示すように、左右の走行区分線位置から求めた各車線幅Ｗiと、近距離で測定した、より確実な車線幅Ｗnとの偏差が、所定値（例えば、５０ｃｍ）を越えるかを比較し、その比較の結果、比較したドット数に対して偏差が前記所定値以内であったドット数の割合、すなわち、偏差小ドット比率を式（２１）に従い算出する。
【００６９】
ステップＳ８では、この偏差小ドット比率を用いて、左右走行区分線情報の相関性が低いかを判断する。具体的には、偏差小ドット比率が所定値（例えば、５０％）未満の場合は、相関性が低いため、信頼度は低いと判断される。
そして、ステップＳ８の判断結果が「ＮＯ」の場合、すなわち、左右走行区分線情報の信頼度が高い場合は、ステップＳ９に進み、ステップＳ２で検知した左右走行区分線の情報をそのまま先行車の自車線内外判断に使用する。
【００７０】
これに対し、ステップＳ８の判断結果が「ＹＥＳ」の場合、すなわち、左右走行区分線情報の信頼度が低い場合は、ステップＳ２１に進み、ステップＳ２で検知した左右走行区分線の情報を使用せずに、式（１１）を用いて車速，ヨーレート，前記予め設定した車線幅から求めた左右走行区分線の情報を先行車の自車線内外判断に使用する。
【００７１】
ステップＳ６の判断結果で「ＹＥＳ」の場合、すなわち、ステップＳ２で検知した左走行区分線情報の信頼度は高いが（ステップＳ５の判断結果が「ＮＯ」）、ステップＳ２で検知した右走行区分線情報の信頼度が低い場合は、ステップＳ１１に進む。
【００７２】
ステップＳ１１では、ステップＳ２で検知した右走行区分線の情報を使用せずに、ステップＳ２で検知しステップＳ５で信頼度が高いと判断された左走行区分線情報と、前記予め設定した車線幅とから求めた右走行区分線の情報を先行車の自車線内外判断に使用する。
他方、左走行区分線については、ステップＳ２で検知しステップＳ５で信頼度が高いと判断された左走行区分線情報をそのまま先行車の自車線内外判断に使用する（ステップＳ１２）。
【００７３】
ステップＳ５の判断結果が「ＹＥＳ」の場合、すなわち、ステップＳ２で検知した左走行区分線情報の信頼度が低い場合は、ステップＳ３１に進み、ステップ３で補正して求めた右走行区分線情報の今回値と、ステップＳ２で検知した今回値との相関性が低いかを判断する。
【００７４】
ステップＳ３１の判断結果が「ＮＯ」の場合、すなわち、ステップＳ２で検知した左走行区分線情報の信頼度は低いが（ステップＳ５の判断結果が「ＹＥＳ」）、ステップＳ２で検知した右走行区分線情報の今回値と、ステップ３で補正して求めた右走行区分線情報の今回値との相関性が高い場合は、ステップＳ３２に進み、右走行区分線については、ステップＳ２で検知しステップＳ３１で相関性が高いと判断された右走行区分線の情報をそのまま先行車の自車線内外判断に使用する。
【００７５】
他方、左走行区分線については、ステップＳ２で検知した左走行区分線情報の今回値を使用せずに、ステップＳ２で検知しステップＳ３１で相関性が高いと判断された右走行区分線情報と、前記予め設定した車線幅とから求めた左走行区分線の情報を先行車の自車線内外判断に使用する（ステップＳ３３）。
【００７６】
ステップＳ３１の判断結果が「ＹＥＳ」の場合、すなわち、ステップＳ２で検知した左右走行区分線情報の信頼度がともに低い場合は、ステップＳ４１に進み、右走行区分線について、ステップＳ３で補正して求めた右走行区分線情報の今回値を使い始めたばかりであるか、すなわち、使い始めてから所定時間（例えば、１００ｍｓｅｃのサンプリング周期で０．３秒）以内であるかを判断する。
【００７７】
ステップＳ４１の判断結果が「ＹＥＳ」の場合、すなわち、ステップＳ３で補正して求めた右走行区分線情報の今回値を使い始めたばかりであれば、ステップＳ４２に進み、右走行区分線については、ステップＳ２で検知した今回値を使用せずに、ステップ３で補正して求めた右走行区分線情報の今回値を先行車の自車内外判断に使用する。
【００７８】
これに対し、ステップＳ４１の判断結果が「ＮＯ」の場合、すなわち、ステップＳ３で補正して求めた右走行区分線情報の今回値を使い始めてから前記所定時間を経過していれば、ステップＳ５１に進み、右走行区分線については、ステップＳ２で検知した今回値や、ステップＳ３で補正して求めた今回値を使用せずに、前記式（１１）を用いて車速，ヨーレート，前記予め設定した車線幅から求めた右走行区分線の情報を先行車の自車内外判断に使用する。
【００７９】
ステップＳ４２あるいはステップＳ５１の処理を実行した後、ステップＳ４３に進む。ステップＳ４３では、ステップＳ３で補正して求めた左走行区分線情報の今回値を使い始めたばかりであるか、すなわち、使い始めてから前記所定時間以内であるかを判断する。
ステップＳ４３の判断結果が「ＹＥＳ」の場合、すなわち、ステップＳ３で補正して求めた左走行区分線情報の今回値を使い始めたばかりであれば、ステップＳ４４に進み、左走行区分線については、ステップＳ２で検知した今回値を使用せずに、ステップ３で補正して求めた左走行区分線情報の今回値を先行車の自車内外判断に使用する。
【００８０】
これに対し、ステップＳ４３の判断結果が「ＮＯ」の場合、すなわち、ステップＳ３で補正して求めた左走行区分線情報の今回値を使い始めてから前記所定時間を経過していれば、ステップＳ６１に進み、左走行区分線については、ステップＳ２で検知した今回値や、ステップＳ３で補正して求めた今回値を使用せずに、前記式（１１）を用いて車速，ヨーレート，前記予め設定した車線幅から求めた左走行区分線の情報を先行車の自車内外判断に使用する。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、以下の効果を得ることができる。
（１）請求項１の発明によれば、撮影画像に基づく走行区分線情報の信頼度を判断し、その信頼度の高低に応じて、撮影画像に基づく走行区分線情報を選択的に先行車の自車線内外判断に使用することが可能になる。
従って、撮影手段による走行区分線検出が不確かであった場合には、走行区分線情報の前回値を補正して用いる等して、誤った走行区分線情報を使わずに済むようになり、先行車の自車線内外判断を正しく行える。
【００８３】
また、請求項１の発明によれば、先行車の自車線内外判断に使用する情報の選択肢が増え、より正確な自車線内外判断を行える。
【００８４】
さらに、請求項１の発明によれば、撮影画像に基づく走行区分線情報の信頼度が低い場合には、運動状態に基づく推定軌跡と、所与の走行区分線間隔とから走行区分線をより高精度に推定することが可能になり、先行車の自車線内外判断をより正確に行える。
（２）請求項２の発明によれば、左右いずれか一方の走行区分線についてのみ相関性を比較する場合に比して、撮影画像に基づく走行区分線情報の信頼度を判断する際の判断精度が向上し、先行車の自車線内外判断をより正確に行える。
【００８５】
（３）請求項３の発明によれば、撮影画像に基づく走行区分線情報の今回値が、左右ともに、補正して求めた今回値と相関性が高いと判断された場合であっても、さらに、所与の走行区分線間隔を用いて、今回値に係る左右の走行区分線間の相関性を判断することにより、撮影画像に基づく走行区分線情報の信頼度判断がより厳密になり、先行車の自車線内外判断をより正確に行える。
【００８６】
（４）請求項４の発明によれば、撮影画像に基づく走行区分線情報の信頼度をより厳密に判断した結果、その信頼度が疑わしい場合には、運動状態に基づく走行区分線情報を先行車の自車線内外判断に使用することが可能になり、誤った走行区分線情報を使わずに済む。
【００８７】
（５）請求項５及び請求項６の発明によれば、汎用の画像処理技術を用いて簡便かつ高精度に走行区分線のずれを検出することが可能になり、先行車の自車線内外判断に係るシステムを低コストにて構築することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態における物体検知装置を搭載した車両の全体構成図である。
【図２】 前記実施形態における物体検知装置のシステム構成図である。
【図３】 前記実施形態における物体検知装置に用いる遠距離センサの測定原理を説明するための信号波形図である。
【図４】 前記実施形態における物体検知装置に用いる遠距離センサの測定原理を説明するための信号波形図である。
【図５】 前記実施形態における物体検知装置に用いる遠距離センサの測定原理を説明するための周波数スペクトル図である。
【図６】 前記実施形態における物体検知装置に用いる近距離センサの概略構成図である。
【図７】 前記実施形態における物体検知装置に用いる遠・近距離センサの検知領域を示す図である。
【図８】 前記実施形態におけるハフ変換の説明のためにエッジ点集合からの直線上に並ぶ点列の検出を示すグラフ図であり、（ａ）はエッジ点を示すグフ図、（ｂ）は相関直線を示すグラフ図である。
【図９】 前記実施形態におけるハフ変換の説明のために傾きａ、切片ｂのパラメータ空間における直線を示すグラフ図。
【図１０】 前記実施形態におけるハフ変換の説明のためにｘ−ｙ平面上に直線ｌをパラメータ（θ，ρ）で示すグラフ図である。
【図１１】 前記実施形態におけるハフ変換の説明のために（θ，ρ）空間での曲線の交点が検出直線に対応することを示すグラフに図である。
【図１２】 前記実施形態における画像上に走行区分線をとらえた説明図である。
【図１３】 前記実施形態における自車推定軌跡を示す説明図である。
【図１４】 前記実施形態における走行区分線の画像上の点を求める説明図である。
【図１５】 前記実施形態におけるＣＣＤカメラの取り付け高さｈと点ａとの角度から距離ｄｙを求める説明図である。
【図１６】 前記実施形態における距離ｄｙと点ａの角度から横位置ｄｘを求める説明図である。
【図１７】 前記実施形態における走行区分線情報の選択処理を示すフローチャートである。
【図１８】 前記実施形態における車速及びヨーレートによる位置補正を示す説明図である。
【図１９】 前記実施形態における位置補正結果の補間演算を示す説明図である。
【図２０】 前記実施形態における車速補正の処理内容を示す説明図である。
【図２１】 前記実施形態におけるヨーレート補正の処理内容を示す説明図である。
【図２２】 ヨーレート補正の回転原点をセンサ取り付け位置に設定した場合のヨーレート補正を示す説明図である。
【図２３】 前記実施形態におけるヨーレート補正の回転原点を後輪中心位置に設定した場合のヨーレート補正を示す説明図である。
【図２４】 前記実施形態における補間演算の処理内容を示す説明図である。
【図２５】 前記実施形態における区分線間の偏差の大小関係を示す説明図である。
【図２６】 区分線間の偏差面積を示す説明図である。
【図２７】 前記実施形態における右走行区分線の今回値と、左走行区分線の今回値と予め設定した走行区分線間隔から求めた右走行区分線との偏差の大小関係を示す説明図である。
【図２８】 先行車の自車線内外判断に用いる画像上の情報を示す説明図である。
【符号の説明】
１ 車両
１１ ＥＣＵ（軌跡推定手段、第二の走行区分線推定手段）
１２ 車速センサ（運動状態検出手段）
１４ ヨーレートセンサ（運動状態検出手段）
２０ 近距離センサ（撮影手段）
Ｓ２ 走行区分線認識手段
Ｓ３ 走行区分線補正手段
Ｓ４ 比較手段
Ｓ５、Ｓ６ 判断手段
Ｓ７ 第二の比較手段
Ｓ８ 第二の判断手段
Ｓ２１ 走行区分線推定手段
Ｓ３１ 判断手段
Ｓ５１、Ｓ６１ 走行区分線推定手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for judging whether or not a preceding vehicle is in or out of the own vehicle trajectory from a running division line and a vehicle position on an image, and more particularly to a technique for evaluating whether a recognition result of a running division line is correct. It is.
[0002]
[Prior art]
Conventionally, image information obtained from a camera installed so as to capture the traveling direction of the host vehicle is processed by an image processing device, and information on the preceding vehicle and the travel line obtained as a result is used to A technique for determining whether the vehicle is in or out of the lane is known.
An example of this determination method will be described with reference to the camera image in FIG.
First, the lower left coordinates (xcl, y) and the lower right coordinates (xcr, y) of the preceding vehicle viewed from behind are obtained by image processing.
[0003]
Further, intersection coordinates C (xrl, y) and D (xrr, y) between the left and right traveling division lines and the lower end of the preceding vehicle are obtained.
From these information, when “xrl <xcl” and “xcr <xrr” are satisfied, that is, when the preceding vehicle is in the lane, or “max (xcl−xrl, xrr−xcr) <1. If “8 m” is established, that is, if there is no room for the vehicle to slip through, it is determined that the preceding vehicle is in the own lane.
Note that max (a, b) = a when a ≧ b.
[0004]
[Problems to be solved by the invention]
However, when the traveling lane line is approximated by a quadratic function from the information acquired from the camera image, the locus obtained by the approximation may deviate from the original traveling lane line. For example, if the road is slightly S-shaped, the quadratic approximation result may be lost and may differ from the original travel lane marking.
In such a case, it is detected that the sensing of the driving division line is not good, and the approximation result is not used, for example, to determine whether the preceding vehicle's own lane is inside or outside using the previous value of the driving division line information. It is necessary to do so.
[0005]
Also, if the travel line is a broken line, the left and right travel line widths will not be constant, so the travel line will not be traced well, and the left and right travel line lines obtained by approximation will taper or widen. There are things to do.
Even in such a case, it is necessary to detect that the sensing is not good and not use the approximation result.
[0006]
The present invention has been made in view of such circumstances, and its purpose is to determine the certainty of the detected traveling lane marking and to select more reliable traveling lane marking information so that the preceding vehicle can be selected. The purpose is to be able to correctly judge the inside and outside of the lane.
[0007]
[Means for Solving the Problems]
  In order to solve the above problems, the present invention employs the following configuration.
  According to the first aspect of the present invention, an image capturing means (for example, the short-range sensor 20 in the embodiment) that captures a travel path in the vehicle traveling direction, and a travel segment that recognizes a travel segment line in an image captured by the image capture device. Line recognition means (for example, step S2 in the embodiment), movement state detection means for detecting the movement state of the vehicle (for example, the vehicle speed sensor 12 and the yaw rate sensor 14 in the embodiment), and the travel lane marking recognition means Travel lane line correction means (for example, implementation) that corrects the position of the previously recognized travel lane line based on the detection result of the motion state detection means and recognizes this as the travel lane line at the time of recognition by the travel lane line recognition means. Step S3), the travel lane line recognized by the travel lane line recognition means, and the travel lane line corrected by the travel lane line correction means Compare comparing means (e.g., step S4 in the embodiment) and,Based on the movement state of the vehicle detected by the movement state detection means, a trajectory estimation means (for example, the ECU 11 in the embodiment) for estimating the travel trajectory of the vehicle, and the progress trajectory estimated by the trajectory estimation means are set in advance. Travel lane marking estimation means (for example, step S51, step S61 in the embodiment) for estimating the travel lane marking based on the left and right travel lane marking intervals,Based on the comparison result of the comparison means, the travel lane line recognized by the travel lane line recognition means and the travel lane line corrected by the travel lane line correction meansAnd the travel lane marking estimated by the travel lane marking estimation meansDetermining means for determining which one to select (for example, step S5, step S6, step S31 in the embodiment)When,It is characterized by providing.
[0008]
According to such a configuration, the correlation between the current value of the travel lane line information recognized from the captured image and the current value obtained by correcting the previously recognized travel lane line information based on the motion state is compared. Thus, the reliability of the driving lane marking information based on the captured image is determined, and the driving lane marking information based on the captured image is selectively used for determining whether the preceding vehicle is inside or outside the vehicle according to the level of the reliability. Is possible.
[0012]
  AlsoIn addition to the current value of the running lane marking information recognized from the captured image and the current value obtained by correcting the previous value of the previously recognized running lane marking information based on the motion status, the estimated trajectory from the motion status It is possible to use the information on the travel division line estimated based on the vehicle in the inside / outside judgment of the preceding vehicle, and the number of options of information used for the inside / outside judgment of the preceding vehicle is increased.
[0014]
  furtherIf the reliability of the driving lane marking information based on the captured image is low, the driving lane marking can be estimated from the estimated trajectory based on the motion state and the given driving lane marking interval. Accuracy is improved.
  According to a second aspect of the present invention, in the vehicular travel lane marking detection device according to the first aspect, the travel lane marking recognition means recognizes a pair of left and right travel lane markings, and the comparison means includes: A comparison is made between the left and right traveling division lines.
  According to such a configuration, the determination accuracy when determining the reliability of the travel lane marking information based on the captured image is improved as compared with the case where the correlation is compared only for either the left or right travel lane marking. .
[0015]
  Claim3The invention described in claim 1Or claim 2In the vehicle travel lane marking detection device described in the above, the other travel lane marking is determined based on one of the left and right travel lane lines recognized by the travel lane marking recognition means and the preset left and right travel lane marking intervals. Second traveling lane marking estimating means (for example, ECU 11 in the embodiment) to be estimated, the other traveling lane marking estimated by the second traveling lane marking estimating means, and the same side as the traveling lane marking Based on the comparison result by the second comparison means (for example, step S7 in the embodiment) that compares the travel lane marking selected by the determination means and the second comparison means, the travel lane marking recognition means recognizes And a second determination means (for example, step S8 in the embodiment) for determining whether or not to select the travel lane marking.
[0016]
According to such a configuration, when it is determined that the current value of the travel lane marking information based on the captured image is highly correlated with the current value obtained by correcting both the left and right, By determining the correlation between the left and right traveling lane markings according to the current value using the traveling lane marking interval, it is possible to more accurately determine the reliability of the traveling lane marking information based on the captured image.
[0017]
  Claim4The invention described in claim 13The vehicle lane marking detector described in 1The firstWhen the travel lane marking recognized by the travel lane marking recognition unit is not selected by the second determination unit, the second determination unit selects the travel lane line estimated by the travel lane marking estimation unit. And
[0018]
According to such a configuration, if the reliability of the lane marking information based on the photographed image is determined more strictly, and the reliability is suspicious, the lane marking information based on the motion state is changed to the own lane of the preceding vehicle. It can be used for internal / external judgment.
[0019]
  Claim5The invention described in claim 1 to claim 14In the vehicular travel lane marking detection device described in claim 2, the comparison means detects a deviation of the travel lane marking, and6The invention described in claim 13 or claim 4In the vehicular lane marking detection device described above, the second comparison means detects a deviation of the lane marking.
[0020]
According to these configurations, it is possible to detect the deviation of the travel lane markings simply and with high accuracy using a general-purpose image processing technique.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is an overall configuration diagram of a vehicle 1 equipped with an object detection device 10 including a vehicular running lane marking detection device according to the present invention, and FIG. 2 is a system configuration diagram thereof.
[0022]
An object detection device 10 mounted on the vehicle 1 includes an electronic control unit (hereinafter referred to as ECU) 11 as a trajectory prediction unit, a vehicle speed sensor 12 as a movement state detection unit, a wheel speed sensor 13, and a yaw rate as a movement state detection unit. A sensor 14, a switch 15, a long distance sensor 16, a short distance sensor 20 as a photographing means, a throttle actuator 31, a brake hydraulic solenoid 32, an electronic control unit for automatic transmission (hereinafter abbreviated as AT / ECU) 33, and an indicator 34 I have. Among the object detection devices 10, the short distance sensor 20, the vehicle speed sensor 12, the yaw rate sensor 14, and the ECU 11 constitute a vehicle lane marking detection device.
[0023]
The vehicle speed sensor 12 detects the vehicle speed of the host vehicle and outputs an output signal corresponding to the vehicle speed to the ECU 11. The wheel speed sensor 13 detects the wheel speed and outputs an output signal corresponding to the wheel speed to the ECU 11. Although FIG. 1 shows only the wheel speed sensor 13 for the left front wheel, the wheel speed sensor 13 is provided on each of the four front and rear wheels. The yaw rate sensor 14 detects the yaw rate of the host vehicle and outputs an output signal corresponding to the yaw rate to the ECU 11. The switches 15 are an auto-cruise main switch, an inter-vehicle distance setting switch, and the like. The switches 15 are provided at a predetermined portion in front of the driver's seat, and an output signal of each switch 15 is input to the ECU 11.
[0024]
The long-distance sensor 16 includes a millimeter wave radar device and is built in the nose portion of the body of the vehicle 1. The millimeter wave radar apparatus constituting the long-range sensor 16 will be described. In the millimeter wave radar apparatus, a transmission signal whose frequency is increased or decreased in a triangular wave shape with time is transmitted toward the front of the vehicle, and the preceding detection target is a front detection target. Receives a reflection signal generated by reflection from the vehicle, mixes it with the transmission signal, generates a beat signal, and detects the distance and relative speed from the beat signal frequency f ("beat frequency") to the preceding vehicle Is configured to do.
[0025]
As shown in FIG. 3, in the millimeter wave radar device in which the frequency changes in a triangular wave shape on the time axis, the transmission millimeter wave signal is delayed more during this period (rising period) during the linear increase. The frequency of the received signal that appears appears lower, and the frequency of the received signal that appears later than this becomes higher during the period in which the frequency of the transmitted millimeter wave signal is linearly decreasing (falling period).
In general, if the host vehicle equipped with such a millimeter wave radar device and the preceding vehicle are not traveling at the same speed, that is, if the relative speed of both vehicles is not zero, as shown in FIG. When the relative speed is assumed to be zero, the above-mentioned beak frequency f includes the Doppler shift amount fp corresponding to the relative speed of both vehicles.
[0026]
The Doppler shift amount fp is opposite to each other in terms of increase / decrease in the beaten frequency fu detected during the rising period of the frequency of the transmission millimeter wave signal and the beaten frequency fd detected during the falling period. The influence is given as follows.
fu = f−fp (1)
fd = f + fp (2)
From the equations (1) and (2), the relationship of the following equation is obtained.
f = (fu + fd) / 2 (3)
fp = (fu−fd) / 2 (4)
[0027]
When the distance between the preceding vehicle and the host vehicle is R and the relative speed is u, the following equation is obtained from the equations (3) and (4).
R = cf / (4fm · Δf) (5)
u = cfp / 2f0 (6)
Here, c is the speed of light, Δf is the frequency change width of the millimeter wave signal, fm is the frequency change period, and f 0 is the center frequency of the millimeter wave signal.
[0028]
The beat frequency is usually detected by fast Fourier transform (FFT) of the beat signal. The frequency spectrum of the beat signal obtained by the fast Fourier transform is when the relative speed between the host vehicle and the preceding vehicle is zero, as illustrated in FIG. 5, depending on whether the beat signal is in the rising period or the falling period. Before and after the beat frequency f, a beat frequency pair (fu, fd) shifted by the Doppler shift amount fp is obtained.
[0029]
The short-range sensor 20 includes a stereo camera device and is provided in the vicinity of the windshield in the vehicle interior. The stereo camera device captures the front of the vehicle 1 through the windshield with a pair of CCD cameras 20a, and processes the image signal in a predetermined manner, whereby the distance between the preceding vehicle and the own vehicle in the traveling direction of the own vehicle. Alternatively, the relative speed between the preceding vehicle and the host vehicle is calculated, and the detection results are output to the ECU 11.
[0030]
The stereo camera device will be described with reference to FIG. 6. The line sensor 21 and the lens 23 constituting one CCD camera 20a in the stereo camera device are in a predetermined relationship with the line sensor 22 and the lens 24 constituting the other CCD camera 20a. The intervals, that is, the base line length B, are arranged with an interval in the horizontal direction. The line sensors 21 and 22 are typically one-dimensional CCDs and may be an array of linearly arranged photosensors. In this case, an infrared transmissive filter is placed in front of the lenses 23 and 24, the detection target Z is irradiated with a constant period using an infrared light source, and the line sensors 21 and 22 detect infrared rays reflected from the detection target Z. It is good to do.
[0031]
The line sensors 21 and 22 are disposed at the focal lengths f of the lenses 23 and 24, respectively. An image of the detection target Z at a distance a from the plane where the lenses 23 and 24 are located is formed at a position shifted by X1 from the optical axis of the lens 23 in the line sensor 21, and only X2 from the optical axis of the lens 24 in the line sensor 22. If an image is formed at a shifted position, the distance a from the surfaces of the lenses 23 and 24 to the detection target Z is obtained by the following equation based on the principle of the triangular measurement method.
a = B · f / (X1 + X2) (7)
[0032]
By the way, each of the long-distance sensor 16 and the short-distance sensor 20 has a different detection area. As shown in FIG. 7, the horizontal viewing angle of the short-distance sensor 20 is wider than that of the long-distance sensor 16. As for the detectable distance, the long distance sensor 16 is larger than the short distance sensor 20. In this embodiment, the horizontal viewing angle α1 of the long-distance sensor 16 is set to about 20 degrees, and the horizontal viewing angle α2 of the short-range sensor 20 is set to about 40 degrees, and the detectable distance L1 of the long-distance sensor 16 is set. Is set to 5 to 140 m, and the detectable distance L2 of the short distance sensor 20 is set to 0 to 50 m.
[0033]
In the object detection device 10, when the distance between the host vehicle and the preceding vehicle is large, auto-cruise control or the like is executed based on the distance value and the relative speed value detected by the long-range sensor 16, and the preceding vehicle and the preceding vehicle are executed. When the distance from the vehicle is small, auto-cruise control or the like is executed based on the distance value and the relative speed value detected by the short distance sensor 20.
[0034]
The throttle actuator 31 is used to open and close a throttle (not shown) to a predetermined opening so as to follow a preceding vehicle while maintaining a set inter-vehicle distance during auto-cruise traveling. Yes, the throttle actuator 31 operates based on an output signal from the ECU 11.
[0035]
The brake hydraulic solenoid 32 is used for operating the brake to increase the deceleration when the auto-cruise traveling is being performed and the deceleration is still insufficient even after the throttle is throttled and decelerated by the throttle actuator 31. The brake hydraulic solenoid 32 operates based on an output signal from the ECU 11.
[0036]
Further, the ECU 11 outputs a downshift command to the AT / ECU 33 when the auto-cruise traveling is being performed and the deceleration is still insufficient even when the throttle actuator 31 throttles the throttle and decelerates. The AT / ECU 33 to which the downshift command is input executes downshift control to increase the deceleration.
[0037]
The indicator 34 is provided on a meter panel (not shown) in front of the driver's seat, and includes an indicator lamp that is turned on when the auto-cruise system is activated and extinguished when the auto-cruise system is not activated, and a warning lamp that blinks when the system is abnormal.
[0038]
Here, as described above, the two CCD cameras 20a constituting the stereo camera device of the short-range sensor 20 have the distance between the preceding vehicle and the own vehicle existing in the traveling direction of the own vehicle, and the preceding vehicle and the own vehicle. Is detected by one of the CCD cameras 20a when recognizing the traveling division line.
[0039]
Specifically, the road division line that is bright on the road surface is detected by edge detection at the boundary part and captured in dot units (image sensor unit), and the position of the road division line is indicated when the straight lines that pass through each dot coincide. It becomes. By the way, since there are an infinite number of straight lines that pass through one point on the screen, if a straight line that passes through each point is obtained, the processing is burdened. In order to eliminate such inconvenience, a straight line passing through each dot is obtained by Hough transformation described below.
[0040]
Let us consider detecting a point sequence on a straight line and a straight line (FIG. 8B) from a piecewise point sequence image as shown in FIG.
If the point (xi, yi) on this straight line is mapped to the parameter space (a, b) with the slope a and the intercept b as the straight line expression to be detected, as shown in FIG.
b = -xi.a + yi (8)
It becomes a straight line. Therefore, a straight line on the xy plane can be obtained from the coordinate value of the intersection of these straight lines on the ab plane.
[0041]
Although this method is a Hough transform, there is no limitation on the ab plane, and it is difficult to actually apply, so Duda & Hart uses the straight line equation (8).
x · cos θ + y · sin θ = ρ
The method using the (θ, ρ) space as the parameter space was adopted (FIGS. 10 and 11).
[0042]
Here, ρ is the length of a perpendicular line drawn from the xy coordinate origin to a straight line, and θ is an angle formed by the perpendicular line and the x axis. At this time, the straight line passing through the point (x0, y0) on the image is
ρ = x0 · cos θ + y0 · sin θ (9)
Meet the relationship.
Further, when the relationship between the (x, y) space and the (θ, ρ) space is shown, one straight line in the (x, y) space corresponds to one point in the (θ, ρ) space.
[0043]
On the contrary, the curve of the equation (1) in the (θ, ρ) space corresponds to all the straight line groups passing through the point (x0, y0) in the (x, y) space.
For all points in the (x, y) space, the curve of the equation (9) is calculated, and if the point (θ0, ρ0) where the curves concentrate and intersect in the (θ, ρ) space is obtained, then (x, y) y) a straight line in space,
ρ0 = x · cos θ0 + y · sin θ0
Will be obtained.
[0044]
Based on such a principle, when edge detection (dot) is performed by detecting the edge of the travel line, each detected point (xi, yi) is within the range of 0 ° ≦ θ ≦ 180 °.
ρ = xi · cos θ + y i · sin θ
Calculate Then, the count number of the array element corresponding to the calculated ρ is increased, and the array element (θmax, ρmax) having the maximum count number is selected.
[0045]
That is, the straight line represented by the following formula (10) is a straight line to be obtained.
ρmax = x · cos θmax + y · sin θmax (10)
By obtaining the travel lane marking by such a method, there is an advantage that it can be detected even if the travel lane marking in the image is not continuous.
[0046]
FIG. 12 is a diagram in which a traveling division line H is detected on the image. In this traveling line detection, the calculation result obtained by the Hough transformation as described above is displayed so as to pass through the center of the traveling line H. Here, the dot interval indicates the dot interval ds of the CCD camera 20a.
[0047]
FIG. 13 shows a bird's-eye view of the own vehicle estimated trajectory K as a traveling trajectory as seen from directly above. If the yaw rate originally occurs, the own vehicle estimated trajectory K is curved, but is shown by a straight line for simplification. This own vehicle estimated trajectory K is obtained by estimating from the yaw rate and the vehicle speed (11)
r (m) = v (m / s) / y (rad / s) (11)
In order to convert the image into a bird's eye view, the distance in the vertical direction increases as the distance increases. Here, the reason why the trajectory obtained from the yaw rate or the like has a width is that the trajectory obtained from the yaw rate or the like includes, for example, the width dimension between the left and right traveling division lines. In equation (11), r is the radius of the corner, v is the vehicle speed, and y is the yaw rate.
[0048]
Next, a method of converting the travel division line H on the image into the bird's eye view coordinates will be described with reference to FIGS. Note that by using the following method in reverse, the above-described bird's-eye view of FIG. 13 can be converted into an image as shown in FIG.
In converting a point a corresponding to the traveling division line H on the image in FIG. 16 to the coordinate A seen in the bird's eye view, first, the angle of the point on the image of the traveling division line H is obtained in the first step.
[0049]
14 to 16, xv is an x coordinate (dot) on the image of the vanishing point, xθ is an x coordinate maximum value (dot) of the image, and xθ ′ is an x coordinate (dot) of the image of the point a. Yv is the y coordinate (dot) on the image of the vanishing point, yθ is the y coordinate maximum value (dot) on the image, yθ ′ is the y coordinate (dot) on the image of the point a, and θx is the right end from the image vanishing point. Angle (rad), θy is the angle (rad) from the image vanishing point to the lower end, θx ′ is the horizontal angle (rad) from the image vanishing point at point a, and θy ′ is from the image vanishing point at point a. The vertical angle (rad), h is the height (m) of the camera mounting position, dY is the distance (m) in the traveling direction of point A, and dX is the horizontal position (m) of point A.
[0050]
In FIG. 14, when the point where the left and right traveling division lines H intersect is defined as the vanishing point, θx ′, which is the angle (rad) from the image vanishing point to the right end of point a, and the image vanishing point from point a to the left end Θy ′, which is an angle (rad) of, is obtained by the following equation.
θx ′ = ((xθ′−xv) / (xθ−xv)) · θx (12)
θy ′ = ((yθ′−yv) / (yθ−yv)) · θy (13)
[0051]
Next, in the second step, the distance dY is obtained from the height h of the camera mounting position and the angle of the point a based on FIG.
dY = h / tan θy ′ (14)
Next, in the third step, the lateral position dX is obtained by the following expression from the distance dY and the angle of the point a based on FIG.
dX = dYtan θx ′ (15)
[0052]
Next, based on the flowchart of FIG. 17, the process of selecting the lane marking information will be described. In this figure, “travel line information” is abbreviated as “line”.
First, in step S1, an image is captured.
Next, in step S2, the left and right traveling lane marking information is detected by edge detection or the like using the above-described difference between the traveling lane marking and the light and darkness of the road surface.
Next, in step S3, the previous value of the travel lane marking information is corrected with the vehicle speed and the yaw rate.
[0053]
“Current value of travel lane marking information” follows the flow of the flow chart. (1) The current value of the travel lane marking information detected in step S2 is unchanged. (2) The previous value of travel lane marking information is corrected in step S3 described later. Calculated from the current value obtained in step S3, the current value of the lane marking information detected in step S2, and a preset lane width (for example, set to 3.75 m on an expressway), A vehicle speed, a yaw rate, and a calculated value obtained from the preset lane width are appropriately selected.
[0054]
Hereinafter, a specific example of the process performed in step S3 will be described.
For example, when the previous value of the travel lane line information detected in step S2 is used as it is for the determination of the inside / outside of the preceding vehicle as the previous value of the travel lane line information, the image captured in the previous step S2 (FIG. 12). ) Is coordinate-converted on the bird's-eye view (plot ■ in FIG. 18), and position correction is performed for all dots (imaging elements) by the vehicle speed and yaw rate in the bird's-eye view coordinate system (FIG. 18). Plot □).
[0055]
In this position correction, first, the pre-correction coordinates (Xold, Zold) are corrected by the vehicle speed to obtain temporary coordinates (Xtmp, Ztmp), and then the temporary coordinates (Xtmp, Ztmp) are corrected by the yaw rate. Coordinates after correction (Xnew, Znew).
As shown in FIG. 20, provisional coordinates (Xtmp, Ztmp) corrected by the vehicle speed are calculated by the following equation, where the vehicle speed is Vx and the elapsed time is Ts.
Xtmp = Xold (16)
Ztmp = Zold−Vx · Ts (17)
[0056]
As shown in FIG. 21, the corrected coordinates (Xnew, Znew) of the temporary coordinates (Xtmp, Ztmp) by the yaw rate are calculated by the following equation, where the angular displacement is θ and the elapsed time is Ts.
Xnew = Xtmp · cosθ + Ztmp · sinθ (18)
Ynew = −Xtmp · sinθ + Ztmp · cosθ (19)
[0057]
In addition, the yaw rate correction by the equations (18) and (19) based on FIG. 21 enables the yaw rate correction more suited to the reality by setting the rotation origin O not at the sensor mounting position but at the rear wheel center position. Become. This is because, in the case of the steer characteristic based on the Ackermann-Jantt theory, the rear wheel axis is perpendicular to the traveling direction as shown in FIG.
Conversely, if the rotation origin O is set to the sensor mounting position (FIG. 22), when the yaw rate is corrected, a deviation of the angle θ shown in FIG. 23 will occur.
[0058]
Further, in the bird's eye view coordinate system, if the coordinates before correction (Xold, Zold) are simply corrected by the vehicle speed and yaw rate, the corrected coordinates (Xnew, Znew) are vertical indicated by broken lines as shown by the plot □ in FIG. There is a case where it does not correspond to the direction coordinate (Z coordinate), that is, it does not get on the dot.
Therefore, in the present embodiment, as shown in FIGS. 19 and 24, the point sequence data corrected by the vehicle speed and the yaw rate correspond to the vertical direction coordinates of the bird's eye view coordinate system, that is, are placed on the dots as shown in FIGS. Two point sequence data adjacent to each other along the dividing line are interpolated to prevent data loss.
[0059]
This interpolation calculation is performed according to the following equation.
Xi = (X1-X0). (Zi-Z0) / (Z1-Z1) (20)
Here, (Xi, Zi) is a calculation result by interpolation calculation, and (X0, Z0) and (X1, Z1) indicate the coordinates of two point sequence data adjacent to each other along the traveling division line. Yes.
[0060]
Next, in step S4, the current value obtained by correction in step 3 is compared with the current value of the travel lane marking information detected in step S2.
Specifically, first, according to the procedure based on FIGS. 14 to 16, the actual distance (dY) and the horizontal position are determined for each dot of the travel lane marking image from the camera angle of view, the mounting position, and the vanishing point information. (DX) is obtained.
[0061]
This lateral position is obtained for each of the current value obtained by correction in step S3 and the current value detected in step S2.
At this time, since the number of dots on the image increases as the distance is shorter, and generally the accuracy of the near distance is better than the distance, the distance is about 10 m to 40 m (the upper limit of 40 m varies depending on the camera). ) (See FIG. 25).
[0062]
Then, for travel lane marking information corresponding to the same vertical coordinate on the image (at the same distance), each deviation (each change) between the current value obtained by correcting in step S3 and the current value detected in step S2. The amount of dots exceeds a predetermined value (for example, 50 cm). As a result of the comparison, the ratio of the number of dots whose deviation is within the predetermined value with respect to the number of dots compared (hereinafter referred to as “small deviation dot ratio”) Is calculated according to the following equation.
Deviation small dot ratio [%]
= Number of dots with deviation within a predetermined value / total number of dots × 100 (21)
[0063]
In step S5, using this small deviation dot ratio, it is determined whether or not the correlation between the current value detected in step 2 and the current value obtained by correction in step S3 is low. In the present embodiment, it is determined that the correlation is low when the small deviation dot ratio is less than a predetermined value (for example, 95%).
As described above, when the level of correlation is determined based on the small deviation dot ratio, it is possible to effectively solve the problem that the closeness of the traveling lane markings cannot be compared correctly, as compared with a simple deviation area (FIG. 26). It can be avoided.
[0064]
That is, when compared with the deviation area (the shaded area in FIG. 26), when the offset is uniformly as in the case of the left travel division line, the deviation area is large even though the deviation is acceptable. In other words, the place where it should be determined that the correlation is high may be determined to be low.
[0065]
On the other hand, the deviation in the distance is at an unacceptable level, as in the case of the right lane marking, but the area of the deviation becomes a small value as a whole. May be considered high.
On the other hand, if a small deviation dot ratio representing a dot frequency with a deviation within a predetermined value is used as in the present embodiment, such an erroneous determination is not made.
[0066]
If the determination result in step S5 is “NO”, that is, if the current value of the left lane marking information detected in step S2 is highly correlated with the current value obtained by correction in step S3, Proceeding to step S6, it is determined whether the correlation between the current value of the right lane marking information detected at step S2 and the current value obtained by correction at step S3 is low, as in step S5.
[0067]
If the determination result in step S6 is “NO”, that is, if the reliability of the left and right travel lane marking information detected in step S2 is high, the process proceeds to step S7 to compare the left and right travel lane marking information related to the current value. Do.
Each process of step S7 and the subsequent step S8 is the same as the process of step S4 and the subsequent process of step S5, so that only the differences will be described below.
[0068]
In step S7, as shown in FIG. 27, the deviation between each lane width Wi determined from the left and right lane marking positions and a more reliable lane width Wn measured at a short distance is a predetermined value (for example, 50 cm). As a result of the comparison, a ratio of the number of dots whose deviation is within the predetermined value with respect to the number of dots compared, that is, a small deviation dot ratio is calculated according to the equation (21).
[0069]
In step S8, it is determined using this small deviation dot ratio whether the correlation between the left and right traveling lane marking information is low. Specifically, when the small deviation dot ratio is less than a predetermined value (for example, 50%), since the correlation is low, it is determined that the reliability is low.
If the determination result in step S8 is “NO”, that is, if the reliability of the left and right lane marking information is high, the process proceeds to step S9, and the information on the left and right lane markings detected in step S2 is used as it is for the preceding vehicle. Used to determine inside / outside of own lane.
[0070]
On the other hand, if the determination result in step S8 is “YES”, that is, if the reliability of the left and right lane marking information is low, the process proceeds to step S21, and the information on the left and right lane markings detected in step S2 is used. Instead, the information on the left and right traveling division lines obtained from the vehicle speed, the yaw rate, and the preset lane width using the equation (11) is used for the determination of inside and outside of the preceding vehicle.
[0071]
If the determination result in step S6 is “YES”, that is, the reliability of the left travel lane marking information detected in step S2 is high (the determination result in step S5 is “NO”), but the right travel classification detected in step S2 If the reliability of the line information is low, the process proceeds to step S11.
[0072]
In step S11, without using the information on the right traveling lane line detected in step S2, the left lane marking information detected in step S2 and determined to have high reliability in step S5, and the preset lane width The information on the right lane marking obtained from the above is used to determine whether the preceding lane is inside or outside the own lane.
On the other hand, for the left lane marking, the left lane marking information detected in step S2 and determined to have high reliability in step S5 is used as it is in the lane determination of the preceding vehicle (step S12).
[0073]
If the determination result in step S5 is “YES”, that is, if the reliability of the left travel lane marking information detected in step S2 is low, the process proceeds to step S31 and the right lane marking information obtained by correction in step 3 It is determined whether or not the correlation between the current value and the current value detected in step S2 is low.
[0074]
If the determination result in step S31 is “NO”, that is, the reliability of the left travel lane marking information detected in step S2 is low (the determination result in step S5 is “YES”), but the right travel classification detected in step S2 If there is a high correlation between the current value of the line information and the current value of the right travel lane line information obtained by correction in step 3, the process proceeds to step S32, and the right travel lane line is detected in step S2. The information on the right travel lane marking determined to have a high correlation in S31 is used as it is for determining whether the preceding vehicle is in or out of its own lane.
[0075]
On the other hand, for the left lane marking, the right lane marking information detected in step S2 and determined to be highly correlated in step S31 without using the current value of the left lane marking detected in step S2. Then, the information on the left travel division line obtained from the preset lane width is used for the determination of inside / outside of the own vehicle of the preceding vehicle (step S33).
[0076]
If the determination result of step S31 is “YES”, that is, if the reliability of the left and right lane marking information detected in step S2 is low, the process proceeds to step S41, and the right lane marking is corrected in step S3. It is determined whether or not the current value of the obtained right travel lane marking information has just begun to be used, that is, whether or not it is within a predetermined time (for example, 0.3 seconds with a sampling period of 100 msec) since the start of use.
[0077]
If the determination result in step S41 is “YES”, that is, if the current value of the right travel lane marking information obtained by correction in step S3 has just begun to be used, the process proceeds to step S42. Instead of using the current value detected in step S2, the current value of the right travel lane marking information obtained by correction in step 3 is used for determining whether the preceding vehicle is inside or outside the vehicle.
[0078]
On the other hand, if the determination result in step S41 is “NO”, that is, if the predetermined time has elapsed since the start of using the current value of the right travel lane marking information obtained by correction in step S3, step S51 is performed. For the right travel lane marking, the vehicle speed, yaw rate, and the preset value are set using the above equation (11) without using the current value detected in step S2 or the current value obtained by correction in step S3. The information on the right travel division line obtained from the determined lane width is used to determine whether the preceding vehicle is inside or outside the vehicle.
[0079]
After performing the process of step S42 or step S51, the process proceeds to step S43. In step S43, it is determined whether the current value of the left travel lane marking information obtained by correction in step S3 has just begun to be used, that is, whether it is within the predetermined time since the start of use.
If the determination result in step S43 is “YES”, that is, if the current value of the left travel lane marking information obtained by correction in step S3 has just begun to be used, the process proceeds to step S44. Instead of using the current value detected in step S2, the current value of the left travel lane marking information obtained by correction in step 3 is used for determining whether the preceding vehicle is inside or outside the vehicle.
[0080]
On the other hand, if the determination result in step S43 is “NO”, that is, if the predetermined time has elapsed since the start of using the current value of the left lane marking information obtained by correction in step S3, step S61 is performed. For the left lane marking line, the vehicle speed, the yaw rate, and the preset value are set using the equation (11) without using the current value detected in step S2 or the current value obtained by correction in step S3. The information on the left travel division line obtained from the determined lane width is used to determine whether the preceding vehicle is inside or outside the vehicle.
[0081]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
(1) According to the invention of claim 1, the reliability of the travel lane marking information based on the captured image is determined, and the travel lane marking information based on the captured image is selectively selected according to the level of the reliability. Can be used to determine whether the vehicle is in or out of its own lane.
Therefore, when the travel lane marking detection by the photographing means is uncertain, the previous value of the travel lane marking information is corrected and used, so that the wrong travel lane marking information can be avoided. It is possible to correctly judge inside / outside of a vehicle's own lane.
[0083]
  Claim 1According to this invention, the choice of the information used for the inside / outside determination of the own vehicle of a preceding vehicle increases, and a more accurate inside / outside determination of the own lane can be performed.
[0084]
  Further claim 1According to the invention, when the reliability of the travel lane marking information based on the photographed image is low, the travel lane marking is estimated with higher accuracy from the estimated trajectory based on the motion state and the given travel lane spacing. This makes it possible to more accurately determine whether the preceding vehicle is in or out of its own lane.
(2) According to the invention of claim 2, the judgment at the time of judging the reliability of the travel lane marking information based on the photographed image, as compared with the case where the correlation is compared only with respect to either the left or right travel lane marking. The accuracy is improved, and the inside / outside judgment of the preceding vehicle can be made more accurately.
[0085]
(3Claim3According to the invention, even if it is determined that the current value of the travel lane marking information based on the captured image is highly correlated with the current value obtained by correcting both the left and right, the given travel By determining the correlation between the left and right driving lane markings based on the current value using the lane marking interval, the reliability judgment of the driving lane marking information based on the photographed image becomes more rigorous. Judgment can be made more accurately.
[0086]
(4Claim4According to the invention, if the reliability of the lane marking information based on the photographed image is determined more strictly, and the reliability is suspicious, the lane marking information based on the motion state is determined based on the inside / outside of the preceding vehicle. This makes it possible to use the vehicle without using incorrect traveling line information.
[0087]
(5Claim5And claims6According to the present invention, it becomes possible to detect the deviation of the driving lane marking simply and with high accuracy using a general-purpose image processing technique, and a system for determining whether the preceding lane is inside or outside the vehicle is constructed at low cost. be able to.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a vehicle equipped with an object detection device according to an embodiment of the present invention.
FIG. 2 is a system configuration diagram of the object detection apparatus in the embodiment.
FIG. 3 is a signal waveform diagram for explaining a measurement principle of a long-distance sensor used in the object detection device in the embodiment.
FIG. 4 is a signal waveform diagram for explaining the measurement principle of the long-distance sensor used in the object detection device in the embodiment.
FIG. 5 is a frequency spectrum diagram for explaining the measurement principle of the long-distance sensor used in the object detection device in the embodiment.
FIG. 6 is a schematic configuration diagram of a short-range sensor used in the object detection device according to the embodiment.
FIG. 7 is a diagram illustrating a detection region of a long / short distance sensor used in the object detection device according to the embodiment.
FIGS. 8A and 8B are graphs showing detection of a sequence of points arranged on a straight line from an edge point set for explaining the Hough transform in the embodiment, FIG. It is a graph which shows a correlation straight line.
FIG. 9 is a graph showing straight lines in the parameter space of the inclination a and the intercept b for explaining the Hough transform in the embodiment.
FIG. 10 is a graph showing a straight line l with parameters (θ, ρ) on the xy plane for explaining the Hough transform in the embodiment.
FIG. 11 is a graph showing that an intersection of curves in (θ, ρ) space corresponds to a detection straight line for explaining the Hough transform in the embodiment.
FIG. 12 is an explanatory diagram in which a travel division line is captured on the image in the embodiment.
FIG. 13 is an explanatory diagram showing an own vehicle estimated locus in the embodiment.
FIG. 14 is an explanatory diagram for obtaining a point on an image of a travel line in the embodiment.
15 is an explanatory diagram for obtaining a distance dy from an angle between a mounting height h of the CCD camera and a point a in the embodiment. FIG.
FIG. 16 is an explanatory diagram for obtaining a lateral position dx from an angle between a distance dy and a point a in the embodiment.
FIG. 17 is a flowchart showing selection processing of travel lane marking information in the embodiment.
FIG. 18 is an explanatory diagram showing position correction based on vehicle speed and yaw rate in the embodiment.
FIG. 19 is an explanatory diagram illustrating interpolation calculation of a position correction result in the embodiment.
FIG. 20 is an explanatory diagram showing processing details of vehicle speed correction in the embodiment.
FIG. 21 is an explanatory diagram showing processing contents of yaw rate correction in the embodiment.
FIG. 22 is an explanatory diagram showing yaw rate correction when the rotation origin of yaw rate correction is set to the sensor mounting position.
FIG. 23 is an explanatory diagram showing yaw rate correction when the rotation origin of yaw rate correction is set to the rear wheel center position in the embodiment.
FIG. 24 is an explanatory diagram showing processing details of interpolation calculation in the embodiment.
FIG. 25 is an explanatory diagram showing a magnitude relation of deviation between lane markings in the embodiment.
FIG. 26 is an explanatory diagram showing a deviation area between lane markings.
FIG. 27 is an explanatory diagram showing the magnitude relationship of the deviation between the current value of the right travel division line, the current value of the left travel division line, and the right travel division line obtained from a preset travel division line interval in the embodiment. is there.
FIG. 28 is an explanatory diagram showing information on an image used for determining whether the preceding vehicle is in or out of its own lane.
[Explanation of symbols]
1 vehicle
11 ECU (trajectory estimation means, second travel lane marking estimation means)
12 Vehicle speed sensor (motion state detection means)
14 Yaw rate sensor (motion state detection means)
20 Short-range sensor (photographing means)
S2 Traveling line recognition means
S3 Traveling line correction means
S4 comparison means
S5, S6 judgment means
S7 Second comparison means
S8 Second judgment means
S21 Travel lane marking estimation means
S31 judgment means
S51, S61 travel lane marking estimation means

Claims (6)

車両進行方向の走行路を撮影する撮影手段と、
該撮影手段が撮影した画像における走行区分線を認識する走行区分線認識手段と、
車両の運動状態を検出する運動状態検出手段と、
前記走行区分線認識手段が以前に認識した走行区分線の位置を前記運動状態検出手段の検出結果に基づき補正し、これを前記走行区分線認識手段の認識時点の走行区分線として認識する走行区分線補正手段と、
前記走行区分線認識手段の認識した走行区分線と前記走行区分線補正手段により補正された走行区分線とを比較する比較手段と、
前記運動状態検出手段により検出された車両の運動状態に基づき、車両の進行軌跡を推定する軌跡推定手段と、
該軌跡推定手段により推定された進行軌跡と予め設定した左右の走行区分線間隔とに基づき走行区分線を推定する走行区分線推定手段と、
前記比較手段の比較結果に基づき、前記走行区分線認識手段の認識した走行区分線と前記走行区分線補正手段により補正された走行区分線と前記走行区分線推定手段の推定した走行区分線のいずれを選択するか判断する判断手段と、
を備えることを特徴とする車両用走行区分線検出装置。A photographing means for photographing a running path of the vehicle traveling direction,
Traveling lane marking recognition means for recognizing a traveling lane marking in an image captured by the imaging means;
Motion state detection means for detecting the motion state of the vehicle;
A travel segment that corrects the position of the travel segment line previously recognized by the travel segment line recognition unit based on the detection result of the motion state detection unit, and recognizes this as the travel segment line at the time of recognition by the travel segment line recognition unit. Line correction means;
Comparison means for comparing the travel lane line recognized by the travel lane line recognition means with the travel lane line corrected by the travel lane line correction means;
A trajectory estimation means for estimating a travel trajectory of the vehicle based on the motion state of the vehicle detected by the motion state detection means;
A traffic lane marking line estimating means for estimating a traffic lane marking line on the basis of the traffic lane marking line distance between the left and right set in advance and the estimated traveling locus by the locus estimating means,
Any of the basis of the comparison result of the comparison means, the traffic lane marking line recognizing the lane markings and estimated traffic lane marking lines of the traffic lane marking line estimation means and the corrected lane markings by the traffic lane marking line correcting means recognizing means and determination means for determining whether to select,
A vehicle lane marking detection device comprising: 前記走行区分線認識手段は、左右一対の走行区分線を認識するものであり、
前記比較手段は、左右各々の走行区分線について比較を行うものであることを特徴とする請求項１記載の車両用走行区分線検出装置。The travel lane marking recognition means recognizes a pair of left and right travel lane markings,
2. The vehicle lane marking detection apparatus according to claim 1, wherein the comparison means compares the left and right lane markings. 前記走行区分線認識手段により認識された左右の走行区分線の一方と、予め設定した左右の走行区分線間隔とに基づき、他方の走行区分線を推定する第二の走行区分線推定手段と、
前記第二の走行区分線推定手段により推定された他方の走行区分線と、該走行区分線と同一側の前記判断手段により選択された走行区分線とを比較する第二の比較手段と、
該第二の比較手段による比較結果に基づき、前記走行区分線認識手段が認識した走行区分線を選択するか否かを判断する第二の判断手段とを備えることを特徴とする請求項１又は請求項２記載の車両用走行区分線検出装置。Second traveling lane marking estimating means for estimating the other traveling lane marking based on one of the left and right traveling lane markings recognized by the traveling lane marking recognition means and a predetermined left and right traveling lane marking distance;
A second comparing means for comparing the other traveling lane line estimated by the second traveling lane marking estimating means with the traveling lane line selected by the judging means on the same side as the traveling lane marking;
Based on the comparison result by said second comparing means, according to claim 1, characterized in that it comprises a second determining means for determining whether to select the traffic lane marking lines, wherein the traffic lane marking line recognizing means recognizes or traffic lane marking line detection device for a vehicle according to claim 2 Symbol placement. 前記第二の判断手段により前記走行区分線認識手段が認識した走行区分線が選択されなかった時、当該第二の判断手段は、前記走行区分線推定手段が推定した走行区分線を選択することを特徴とする請求項３記載の車両用走行区分線検出装置。 When the travel lane line recognized by the travel lane line recognition unit is not selected by the second determination unit, the second determination unit selects the travel lane line estimated by the travel lane line estimation unit. The vehicle lane marking detection device according to claim 3 . 前記比較手段は、走行区分線のずれを検出するものであることを特徴とする請求項１〜請求項４記載の車両用走行区分線検出装置。It said comparing means, vehicular traffic lane marking line detecting device according to claim 1 to claim 4, wherein a is for detecting a deviation of the traffic lane marking line. 前記第二の比較手段は、走行区分線のずれを検出するものであることを特徴とする請求項３又は請求項４記載の車両用走行区分線検出装置。The vehicular lane marking detection apparatus according to claim 3 or 4, wherein the second comparison means detects a shift of the lane marking.
JP2001055661A 2000-07-18 2001-02-28 Vehicle lane marking detector Expired - Lifetime JP4698858B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001055661A JP4698858B2 (en) 2000-07-18 2001-02-28 Vehicle lane marking detector

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000218029 2000-07-18
JP2000218029 2000-07-18
JP2000-218029 2000-07-18
JP2001055661A JP4698858B2 (en) 2000-07-18 2001-02-28 Vehicle lane marking detector

Publications (2)

Publication Number Publication Date
JP2002099904A JP2002099904A (en) 2002-04-05
JP4698858B2 true JP4698858B2 (en) 2011-06-08

Family

ID=26596258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001055661A Expired - Lifetime JP4698858B2 (en) 2000-07-18 2001-02-28 Vehicle lane marking detector

Country Status (1)

Country Link
JP (1) JP4698858B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230013114A1 (en) * 2016-10-07 2023-01-19 Google Llc Identifying And Displaying Smooth And Demarked Paths

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4615954B2 (en) * 2004-10-12 2011-01-19 本田技研工業株式会社 Vehicle control object determination device
US7974778B2 (en) 2004-09-17 2011-07-05 Honda Motor Co., Ltd. Vehicular control object determination system and vehicular travel locus estimation system
JP4046742B2 (en) * 2005-07-14 2008-02-13 三菱電機株式会社 Road shape estimation device
JP6322356B2 (en) * 2012-04-06 2018-05-09 矢崎エナジーシステム株式会社 Vanishing point position calculation method and distance measurement method
JP5966965B2 (en) 2013-02-19 2016-08-10 株式会社デンソー Lane boundary departure control device and lane boundary departure suppression method
JP6356585B2 (en) * 2014-11-28 2018-07-11 株式会社デンソー Vehicle travel control device
JP6323402B2 (en) * 2015-07-01 2018-05-16 株式会社デンソー In-lane travel control device, in-lane travel control method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2970218B2 (en) * 1992-06-03 1999-11-02 松下電器産業株式会社 Travel lane detection device
JP3250450B2 (en) * 1996-04-03 2002-01-28 三菱自動車工業株式会社 Lane end recognition device
JP4054103B2 (en) * 1998-04-09 2008-02-27 富士通テン株式会社 Road shape recognition device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230013114A1 (en) * 2016-10-07 2023-01-19 Google Llc Identifying And Displaying Smooth And Demarked Paths
US11946757B2 (en) * 2016-10-07 2024-04-02 Google Llc Identifying and displaying smooth and demarked paths

Also Published As

Publication number Publication date
JP2002099904A (en) 2002-04-05

Similar Documents

Publication Publication Date Title
JP4857840B2 (en) Object detection method and object detection apparatus
US6670912B2 (en) Method for detecting stationary object located above road
US6842189B2 (en) Road monitoring method for a vehicle and a system thereof
JP3596314B2 (en) Object edge position measuring device and moving object traffic judging device
JP6988200B2 (en) Vehicle control device
JP3750512B2 (en) Vehicle obstacle detection device
US9623869B2 (en) Vehicle driving support control apparatus
KR101787996B1 (en) Apparatus of estimating traffic lane in vehicle, control method of thereof
US20020057195A1 (en) Method and apparatus for estimating inter-vehicle distance using radar and camera
JP6856452B2 (en) Target judgment device and driving support system
JP2000059764A (en) Vehicle position detecting device
JP2004534947A (en) Object location system for road vehicles
WO2007007906A1 (en) Object detection device
JP3293441B2 (en) Imaging device
JP4698858B2 (en) Vehicle lane marking detector
JPH07120258A (en) Distance detector using vehicle-mounted camera
JP4719996B2 (en) Object detection device
JP3925285B2 (en) Road environment detection device
KR20180022277A (en) System for measuring vehicle interval based blackbox
JP3600314B2 (en) External environment recognition device for vehicles
JP3235831B2 (en) Stereo exterior monitoring device
JP2002029348A (en) Outside recognizer for vehicle
JP2002099996A (en) Travel division line detecting device for vehicle
JP6818902B2 (en) Vehicle detection system
KR20200104916A (en) Method and apparatus for validating transverse movement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110302

R150 Certificate of patent or registration of utility model

Ref document number: 4698858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

EXPY Cancellation because of completion of term