JP4812165B2

JP4812165B2 - Advancing range determination apparatus and advancing range determination method

Info

Publication number: JP4812165B2
Application number: JP2000363130A
Authority: JP
Inventors: 崇樋口
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2000-11-29
Filing date: 2000-11-29
Publication date: 2011-11-09
Anticipated expiration: 2020-11-29
Also published as: JP2002163784A

Description

【０００１】
【発明の属する技術分野】
本発明は進行可能範囲決定装置及び進行可能範囲決定方法に係り、特に自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法に関する。
【０００２】
【従来の技術】
近年自動車に搭載されたミリ波レーダ、画像センサにより自車の前方に存在する障害物を検出し、衝突を未然に防止しようとすることが試みられている。そして確実に衝突を防止するためには、障害物までの距離、自車と障害物の相対速度及び障害物の形状を確実に検出が要求される。
【０００３】
しかし、ミリ波レーダは障害物までの距離及び障害物の相対速度の測定には適しているものの、障害物の形状の検出にはあまり適していない。
一方、ＴＶカメラをはじめとする画像センサは障害物の形状の検出には適しているものの、障害物までの距離及び障害物の相対速度の測定にはあまり適していない。
【０００４】
そこで本出願人は、ミリ波レーダと画像センサを組み合わせて、障害物までの距離及び障害物の相対速度だけでなく障害物の形状も検出可能な周辺監視センサをすでに提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら自動走行制御システムを制御して障害物への衝突を確実に防止するためには、単に自車の周辺を監視するだけでなく、障害物までの距離、障害物の相対速度及び障害物の形状に基づいて自車が進行可能な範囲を決定することが必要となる。
【０００６】
本発明は上記課題に鑑みなされたものであって、自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
第１の発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出する障害物検出手段と、障害物検出手段の出力に基づいて自車が進行可能な範囲を決定する進行可能範囲決定手段を具備する。
また、本発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、前記画像センサの出力を処理して障害物の複数のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段で抽出された隣接する２つのエッジを連結して生成される面上に、前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識する面認識手段と、自車の走行車線の境界線を検出する境界線検出手段と、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り前記境界線検出手段で検出された境界線に垂直な線と、前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する出力手段と、を具備する。
【０００８】
本発明にあっては、前方に存在する障害物情報に基づいて自車が進行可能な範囲が決定される。
第２の発明に係る進行可能範囲決定装置は、障害物検出手段が、前方に存在する障害物までの距離及び該障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、を具備する。
【０００９】
本発明にあっては、ミリ波レーダと画像センサによって障害物が検出される。
第３の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、画像センサの出力を処理して障害物のエッジを抽出するエッジ抽出手段と、エッジ抽出手段で抽出されたエッジを連結して生成される面上にミリ波レーダによりターゲットが検出されたとき、及びターゲットは検出されないが該面を自車が通過不可能なときは該面を進行禁止面として、ターゲットが検出されず、かつ該面を自車が通過可能なときは該面を進行許容面として認識する面認識手段と、を具備する。
【００１０】
本発明にあっては、障害物のエッジが検出され、このエッジを結ぶ面が進行禁止面又は進行許容面として認識される。
第４の発明に係る進行可能範囲決定装置は、エッジの信頼度を評価する信頼度評価手段を具備し、信頼性評価手段で評価された信頼度が予め定められた閾値以上であるエッジだけを抽出エッジとして出力する。
【００１１】
本発明にあっては、エッジ検出の信頼度が評価され、閾値以上の信頼度を有するエッジが出力される。
第５の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、
自車の走行車線の境界線を検出する境界線検出手段と、進行禁止面が自車の走行車線内にあるときは自車に最も近いエッジを通り境界線検出手段で検出された境界線に垂直な線と境界線で囲まれた領域を、進行禁止面の一方のエッジが自車の走行車線内にあるときは当該進行禁止面と自車の走行車線の境界線との交点で囲まれた領域を進行可能範囲として出力する出力手段をさらに具備する。
【００１２】
本発明にあっては、進行禁止面と走行車線に基づき進行可能範囲が決定される。
本発明に係る進行可能範囲決定方法は、ミリ波レーダにより前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出し、画像センサにより前方に存在する障害物を検出し、前記画像センサの出力を処理して障害物の複数のエッジを抽出し、抽出された隣接する２つのエッジを連結して生成される面上に前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識し、自車の走行車線の境界線を検出し、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り検出された境界線に垂直な線と前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する、ことを特徴とする。
【００１３】
【発明の実施の形態】
図１は本発明に係る進行可能範囲決定装置の構成図であって、自動車１に搭載される。
即ち本発明に係る進行可能範囲決定装置は、自動車１のフロントグリルに設置されたミリ波アンテナ１１及び自動車１の屋根に搭載されたテレビカメラ１３、並びに自動車１の車内に搭載されるレーダ装置１２、ビデオ装置１４及びマイクロコンピュータシステム１５から構成される。
【００１４】
レーダ装置１２はミリ波アンテナ１１に送信波を供給するとともに、ミリ波アンテナ１１で受信された受信波を処理して、ターゲットまでの距離及びターゲットの相対速度を出力する。
ビデオ装置１４は、テレビカメラ１２で撮影された画像をビデオ信号として出力する。
【００１５】
マイクロコンピュータシステム１５は、バス１５０を中心としてＣＰＵ１５１、メモリ１５２、入力Ｉ／Ｆ（インターフェイス）１５３及び出力Ｉ／Ｆ１５４から構成され、入力Ｉ／Ｆ１５３を介してレーダ装置１２及びビデオ装置１４と接続される。
図２はメモリ１５２に記憶され、ＣＰＵ１５１で実行される進行可能範囲決定ルーチンのフローチャートであって、所定時間（例えば１００ミリ秒）ごとの割り込み処理で実行される。
【００１６】
図３は進行可能範囲決定ルーチンの処理を説明するための状況説明図であって、自車１の前方に３台の自動車３１〜３３が走行している状態を示す。
自車１及び自動車３３は走行車線３４を、自動車３１及び３２は右側の追い越し車線３５を走行しているものとする。以下図３を参照しながら進行可能範囲決定ルーチンの処理を説明する。
【００１７】
ステップ２０でビデオ装置１４から出力されるビデオ信号を読み込み、ステップ２１でレーダ装置１２から出力されるターゲット（障害物）情報を読み込む。
その後、ステップ２２で面検出処理を、ステップ２３で通過判定処理を、ステップ２４でターゲットロック処理を、さらにステップ２６で出力処理を実行してこのルーチンを終了するが、各処理の詳細は後述する。
【００１８】
図４は進行可能範囲決定ルーチンのステップ２２で実行される面検出処理のフローチャートであって、ステップ２２ａでビデオ装置から伝送されてくる画像からエッジを検出する。そして、検出されたエッジに、例えば左から順に番号を付け、各エッジの座標及び相対速度を算出する。
図３においては、自車の前面中心を原点とするＸ−Ｙ座標で左から順に７個のエッジＥ₁＝（Ｘ₁，Ｙ₁）、Ｅ₂＝（Ｘ₂，Ｙ₂）、Ｅ₃＝（Ｘ₃，Ｙ₃）、Ｅ₄＝（Ｘ₄，Ｙ₄）、Ｅ₅＝（Ｘ₅，Ｙ₅）、Ｅ₆＝（Ｘ₆，Ｙ₆）及びＥ₇＝（Ｘ₇，Ｙ₇）が検出された状況を示している。
【００１９】
次にステップ２２ｂで検出されたエッジの対応付けを実施する。即ちエッジを結ぶ面内にターゲットが検出されるかを判定し、ターゲットが検出された面の両端のエッジを関連付けてこのルーチンを終了する。
エッジの検出及び関連付けは周知の方法を適用することが可能であるが、特に本出願人が平成１１年９月２９日に出願した特願平１１−２７６９３０に記載された方法を適用することが望ましく、この方法によれば検出されたエッジの座標だけでなく、そのエッジの信頼度を付加することも可能となる。
【００２０】
即ち、エッジの信頼度は、当該エッジに対するミリ波レーダからの情報及びビデオ装置からの情報に基づいて算出される。
図５は進行可能範囲決定ルーチンのステップ２３で実行される通過判定処理のフローチャートであって、ステップ２３ａでｉを初期値 '１' に、ステップ２３ｂで同じくエッジの番号を示すインデックｊを初期値 'ｉ＋１' に設定する。
【００２１】
ステップ２３ｃでエッジＥ_iと関連するエッジＥ_jがあるかを判定する。そして、ステップ２３ｃで肯定判定されたとき、即ち関連するエッジが存在するときは、ステップ２３ｄで面Ｆ（ｉ，ｊ）を自車が通過できないことを示すためにＦ（ｉ，ｊ）の値を '１' に設定してステップ２３ｋに進む。
一方ステップ２３ｃで否定判定されたとき、即ち関連するエッジが存在しないときは、ステップ２３ｅでエッジＥ_iとエッジＥ_jの間の距離Ｌ（ｉ，ｊ）を算出する。
【００２２】
そして、ステップ２３ｆでインデックスｊが検出されたエッジの総数Ｉ未満であるかを判定する。
ステップ２３ｆで肯定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ未満であるときは、ステップ２３ｇでインデックスｊをインクリメントして、ステップ２３ｃに戻る。
【００２３】
逆にステップ２３ｆで否定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ以上となったときは、ステップ２３ｈに進む。
そして、ステップ２３ｈでステップ２３ｅで算出された距離Ｌ（ｉ，ｊ）（但しｉ＋１≦ｊ≦Ｉ）のうちの最小の距離Ｌ（ｉ，ｊ）が所定値Ｌ_ref以上であるか、即ちエッジＥｉとＥｊを結ぶ面Ｆ（ｉ，ｊ）を自車が通過可能であるかを判定する。
【００２４】
ステップ２３ｈで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できないときはステップ２３ｄでＦ（ｉ，ｊ）の値を‘１' に設定してステップ２４ｉに進む。
逆に、ステップ２３ｈで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できるときは直接ステップ２４ｉに進む。
【００２５】
ステップ２３ｉではインデックｉが検出されたエッジの総数Ｉ未満であるかを判定し、肯定判定されたときはステップ２３ｊでインデックスｉをインクリメントしてステップ２３ｂに戻る。
逆にステップ２４ｋで否定判定されたとき、即ちインデックｉが検出されたエッジの総数Ｉ以上となったときは、この処理を終了する。
【００２６】
この処理の結果、図３に状況においては、Ｆ（２，３）、Ｆ（３，４）、Ｆ（４，５）、Ｆ（５，６）及びＦ（６，７）が‘１' に設定される。
図６は進行可能範囲決定ルーチンのステップ２４で実行されるターゲットロック処理のフローチャートであって、誤決定を防止するために必要に応じて実行される。
【００２７】
まず、ステップ２４ａで実行周期ごと（例えば１００ミリ秒ごと）に７個のエッジの座標を５つ記憶し、ステップ２４ｂでレーダ装置１２から出力されるターゲット情報を実行周期の所定倍ごとに５つ記憶する。例えば、所定倍を２倍とすれば、実施形態ではターゲット情報は２００ミリ秒ごとに記憶される。
ステップ２４ｃで平均エッジ座標としてステップ２４ａで記憶された５つの座標に基づいて５００ミリ秒間の時間平均値を演算し、ステップ２４ｄで平均レーダ装置出力としてステップ２４ｂで記憶された５つのデータに基づいて１秒間の時間平均値を演算する。
【００２８】
次に、ステップ２４ｅで関連有りと判定されている前回エッジＥ_ib，Ｅ_jbにそれぞれ対応するエッジＥ_i，Ｅ_jが存在するか、即ち同じ検出物のエッジと推定されるエッジが存在するかを判定し、対応するエッジＥ_i，Ｅ_jが存在する場合はそのエッジを結ぶ面Ｆ（ｉ，ｊ）内に今回もターゲットが存在する可能性が高いと推定されるので、エッジＥ_i，Ｅ_jの関連の有無、即ちＦ（ｉ，ｊ）内にターゲットが検出されるか否かに関わらず、Ｆ（ｉ，ｊ）の値を‘１’に設定する。
【００２９】
最後にステップ２４ｆですべての前回エッジについてステップ２４ｅのターゲットロック処理が完了したかを判定し、否判定されたときはステップ２４ｅに戻る。逆に、ステップ２４ｆで肯定判定されたときはこの処理を終了する。
図７は進行可能範囲決定ルーチンのステップ２５で実行される出力処理のフローチャートであって、ステップ２５ａで最小Ｙ座標Ｙ_minを初期化し、ステップ２５ｂで自車が走行しているレーンの境界線を検出する。なお、境界線の検出には周知の方法を適用することができるが、特に本出願人が平成１２年９月４日に出願した特願２０００−２６６３９３に記載された方法を適用することが望ましい。
【００３０】
ステップ２５ｃで検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するかを判定する。
そして、ステップ２５ｃで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するときは、ステップ２５ｄで次式によりエッジＥ_i及びＥ_j並びに最小Ｙ座標Ｙ_minの最小値をＹ_minに設定した後ステップ２５ｋに進む。
【００３１】
Ｙ_min ← Ｍｉｎ（Ｙ_i，Ｙ_j，Ｙ_min）
逆にステップ２５ｃで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在しないときは、ステップ２５ｅに進み検査面Ｆ（ｉ，ｊ）＝１の一方のエッジＥ_iが自車の走行レーン内に存在するかを判定する。
ステップ２５ｅで肯定判定されたとき、即ちエッジＥ_iが自車の走行レーン内に存在するときは、検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ₀，Ｙ₀）を算出し、ステップ２５ｇで次式によりエッジＥ_iのＹ座標Ｙ_i、交点Ｐ₀のＹ座標Ｙ₀及び最小Ｙ座標Ｙ_minの最小値をＹ_minに設定した後ステップ２５ｋに進む。
【００３２】
Ｙ_min ← Ｍｉｎ（Ｙ_i，Ｙ₀，Ｙ_min）
逆にステップ２５ｅで否定判定されたとき、即ちエッジＥ_iが自車の走行レーン内にないときは、ステップ２５ｈに進みエッジＥ_jが自車の走行レーン内にあるかを判定する。
ステップ２５ｈで肯定判定されたとき、即ちエッジＥ_jが自車の走行レーン内にあるときは、ステップ２５ｉに進み検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ₀，Ｙ₀）を算出し、ステップ２５ｊで次式によりエッジＥ_jのＹ座標Ｙ_j，交点ＰのＹ座標Ｙ₀及び最小Ｙ座標Ｙ_minの最小値をＹ_minに設定した後ステップ２５ｋに進む。
【００３３】
Ｙ_min ← Ｍｉｎ（Ｙ_j，Ｙ₀，Ｙ_min）
逆にステップ２５ｈで否定判定されたとき、即ちエッジＥ_jが自車の走行レーン内にないときは直接ステップ２５ｋに進む。
ステップ２５ｋで全ての検査面Ｆ（ｉ，ｊ）＝１について処理が完了したかを判定し、否定判定されたときはステップ２５ｃに戻る。逆に、ステップ２５ｇで肯定判定されたときはステップ２５ｈで最小Ｙ座標を通る自車の走行レーンの境界線に対する垂直線と自車の走行レーンの境界線で囲まれた領域を自車の進行可能範囲として出力しするとともに、当該垂直線と自車の相対速度も出力してこの処理を終了する。
【００３４】
図８は出力処理の説明図であって、エッジＥ₅及びＥ₆並びに交点Ｐ₁及びＰ₂の中で最小のＹ座標を有する点、即ち交点Ｐ₁と自車の走行レーンの境界線で囲まれる斜線領域が進行可能範囲として出力される。
進行可能範囲及び当該垂直線の相対速度の利用方法については特に規定されないが、例えば液晶ディスプレイに進行可能範囲を表示するとともに、当該垂直線の相対速度に応じて自車の速度を制御することも可能である。
【００３５】
【発明の効果】
第１の発明に係る進行範囲決定装置によれば、障害物の検出状況に応じて自車の進行可能範囲を決定することが可能である。
第２の発明に係る進行範囲決定装置によれば、障害物をミリ波レーダ及び画像センサによって確実に検出することが可能となる。
【００３６】
第３の発明に係る進行範囲決定装置によれば、障害物のエッジを結ぶ面の中に障害物が検出されたとき、及び障害物が検出されないが自車が通過できないときは該面を進行禁止面と認識し、障害物が検出されず、かつ自車が通過できるときは該面を進行許容面と認識することが可能となる。
第４の発明に係る進行範囲決定装置によれば、検出信頼性の高いエッジのみを選択的に出力することが可能となる。
【００３７】
第５の発明に係る進行範囲決定装置によれば、進行禁止面と自車の走行レーンに基づき進行可能範囲を決定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る進行可能範囲決定装置の構成図である。
【図２】進行可能範囲決定ルーチンのフローチャートである。
【図３】状況説明図である。
【図４】面検出処理のフローチャートである。
【図５】通過判定処理のフローチャート（１／２）である。
【図６】ターゲットロック処理のフローチャートである。
【図７】出力処理のフローチャートである。
【図８】進行可能範囲表示例である。
【符号の説明】
１…自車
１１…ミリ波アンテナ
１２…レーダ装置
１３…テレビカメラ
１４…ビデオ装置
１５…マイクロコンピュータ
１５０…バス
１５１…ＣＰＵ
１５２…メモリ
１５３…入力インターフェイス
１５４…出力インターフェイス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a traveling range determination apparatus and traveling range determination method, and more particularly progressive range determination apparatus and traveling range determination method that can be mounted on an automobile.
[0002]
[Prior art]
In recent years, attempts have been made to prevent obstacles by detecting obstacles existing in front of the vehicle by using a millimeter wave radar and an image sensor mounted on an automobile. In order to reliably prevent a collision, it is necessary to reliably detect the distance to the obstacle, the relative speed between the host vehicle and the obstacle, and the shape of the obstacle.
[0003]
However, although the millimeter wave radar is suitable for measuring the distance to the obstacle and the relative velocity of the obstacle, it is not very suitable for detecting the shape of the obstacle.
On the other hand, an image sensor such as a TV camera is suitable for detecting the shape of an obstacle, but is not very suitable for measuring the distance to the obstacle and the relative speed of the obstacle.
[0004]
Therefore, the applicant has already proposed a peripheral monitoring sensor that can detect not only the distance to the obstacle and the relative velocity of the obstacle but also the shape of the obstacle by combining the millimeter wave radar and the image sensor.
[0005]
[Problems to be solved by the invention]
However, in order to control the automatic driving control system and reliably prevent collisions with obstacles, it is not only necessary to monitor the surroundings of the vehicle, but also the distance to the obstacles, the relative speed of the obstacles, and the obstacles. It is necessary to determine the range in which the vehicle can travel based on the shape.
[0006]
The present invention has been made in view of the above problems, and an object thereof is to provide a travelable range determination device and a travelable range determination method that can be mounted on an automobile.
[0007]
[Means for Solving the Problems]
An advancing range determination device according to a first invention includes obstacle detection means for detecting presence / absence of an obstacle present ahead, distance to the obstacle, and relative movement speed of the obstacle, and output of the obstacle detection means. A travelable range determining means for determining a travelable range of the vehicle based on the vehicle is provided.
In addition, the advancing range determination device according to the present invention detects a presence of an obstacle existing ahead, a distance to the obstacle and a relative movement speed of the obstacle, and an obstacle existing ahead. On the surface generated by connecting the two adjacent edges extracted by the edge extraction means, an edge extraction means for extracting the plurality of edges of the obstacle by processing the output of the image sensor In addition, when the obstacle is detected by the millimeter wave radar and when the obstacle cannot be detected but the vehicle cannot pass through the surface, the obstacle is set as a travel prohibition surface on the image plane. When the vehicle is not detected and the vehicle can pass through the surface, surface recognition means for recognizing the surface as a travel-permitted surface on the image surface, and boundary line detection means for detecting a boundary line of the traveling lane of the vehicle , The travel prohibition surface is the own driving lane In the traveling lane of the own vehicle, passing through the edge closest to the own vehicle, the line perpendicular to the boundary detected by the boundary detection means, the boundary, and the front of the own vehicle When the area surrounded by the perpendicular to the boundary line in contact with one edge of the travel-prohibited surface is in the traveling lane of the own vehicle, and the other edge is outside the traveling lane of the own vehicle, A boundary line between the travel prohibition surface and the traveling lane of the host vehicle , a perpendicular to the boundary line in contact with the front of the host vehicle, and a perpendicular from an edge in the traveling lane of the host vehicle to the boundary line, or Output means for outputting, as a travelable range, a region surrounded by a perpendicular from the intersection of the travel-prohibited surface and the boundary line of the traveling lane of the host vehicle to the boundary line.
[0008]
In the present invention, a range in which the host vehicle can travel is determined based on obstacle information existing ahead.
In the advancing range determination device according to the second invention, the obstacle detection means detects the distance to the obstacle present ahead and the relative moving speed of the obstacle, and the obstacle present ahead. And an image sensor for detecting.
[0009]
In the present invention, the obstacle is detected by the millimeter wave radar and the image sensor.
In the advancing range determination device according to the third invention, the advancing range determination means connects the edge extraction means for extracting the edge of the obstacle by processing the output of the image sensor, and the edge extracted by the edge extraction means. When the target is detected by the millimeter wave radar on the generated surface, and when the target cannot be detected but the vehicle cannot pass through the surface, the target is not detected by setting the surface as a travel-prohibited surface. And surface recognition means for recognizing the surface as a travel-permitted surface when the vehicle can pass through the surface.
[0010]
In the present invention, an edge of an obstacle is detected, and a surface connecting the edges is recognized as a travel inhibition surface or a travel permission surface.
The advancing range determination device according to a fourth aspect of the present invention includes a reliability evaluation unit that evaluates the reliability of an edge, and includes only edges whose reliability evaluated by the reliability evaluation unit is equal to or greater than a predetermined threshold. Output as an extracted edge.
[0011]
In the present invention, the reliability of edge detection is evaluated, and an edge having a reliability equal to or higher than a threshold is output.
In the advancing range determination device according to the fifth invention, the advancing range determination means includes
Boundary line detection means for detecting the boundary line of the own vehicle lane, and when the travel prohibition surface is in the lane of the own vehicle, the boundary line detected by the boundary line detection means passes through the edge closest to the own vehicle. When one edge of the travel-prohibited surface is in the traveling lane of the vehicle, the area surrounded by the vertical line and the boundary is surrounded by the intersection of the travel-prohibited surface and the boundary line of the traveling vehicle. Output means for outputting the selected area as a travelable range.
[0012]
In the present invention, the travelable range is determined based on the travel prohibition surface and the travel lane.
In the method for determining the advancing range according to the present invention, the presence or absence of an obstacle existing in front by a millimeter wave radar, the distance to the obstacle and the relative movement speed of the obstacle are detected, and the obstacle present in the front is detected by an image sensor. Detecting and processing the output of the image sensor to extract a plurality of edges of the obstacle, and the obstacle is detected by the millimeter wave radar on a surface generated by connecting two extracted adjacent edges. And when the obstacle is not detected but the vehicle cannot pass through the surface, the surface is set as a travel-prohibited surface on the image plane, the obstacle is not detected, and the vehicle passes through the surface. When possible, the surface is recognized as an allowance surface on the image plane, the boundary line of the traveling lane of the host vehicle is detected, and when the prohibition surface is within the traveling lane of the host vehicle, Detected through the edge closest to the vehicle in the driving lane An area surrounded by a line perpendicular to a boundary line, the boundary line, and a perpendicular line to the boundary line in contact with the front portion of the host vehicle has one edge of the travel inhibition surface in the traveling lane of the host vehicle. , When the other edge is outside the traveling lane of the host vehicle, a boundary line between the travel prohibition surface and the traveling lane of the host vehicle, a perpendicular to the boundary line in contact with the front portion of the host vehicle, and the The range in which the vehicle can travel in the perpendicular line from the edge in the traveling lane of the host vehicle to the boundary line, or the area surrounded by the perpendicular line from the intersection of the travel-prohibited surface and the boundary line of the traveling vehicle lane to the boundary line Is output as
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram of a travelable range determining apparatus according to the present invention, which is mounted on an automobile 1.
In other words, the advancing range determination device according to the present invention includes a millimeter wave antenna 11 installed on the front grill of the automobile 1, a television camera 13 mounted on the roof of the automobile 1, and a radar apparatus 12 installed in the vehicle 1. And a video apparatus 14 and a microcomputer system 15.
[0014]
The radar device 12 supplies a transmission wave to the millimeter wave antenna 11 and processes a reception wave received by the millimeter wave antenna 11 to output a distance to the target and a relative speed of the target.
The video device 14 outputs an image taken by the television camera 12 as a video signal.
[0015]
The microcomputer system 15 includes a CPU 151, a memory 152, an input I / F (interface) 153 and an output I / F 154 with a bus 150 as a center, and is connected to the radar apparatus 12 and the video apparatus 14 via the input I / F 153. The
FIG. 2 is a flowchart of an advanceable range determination routine stored in the memory 152 and executed by the CPU 151, and is executed in interrupt processing every predetermined time (for example, 100 milliseconds).
[0016]
FIG. 3 is a situation explanatory diagram for explaining the process of the advanceable range determination routine, and shows a state in which three automobiles 31 to 33 are traveling in front of the host vehicle 1.
It is assumed that the own vehicle 1 and the automobile 33 are traveling in the traveling lane 34, and the automobiles 31 and 32 are traveling in the overtaking lane 35 on the right side. The process of the advanceable range determination routine will be described below with reference to FIG.
[0017]
In step 20, the video signal output from the video apparatus 14 is read, and in step 21, target (obstacle) information output from the radar apparatus 12 is read.
Thereafter, the surface detection process is executed at step 22, the passage determination process is executed at step 23, the target lock process is executed at step 24, and the output process is further executed at step 26, and this routine is terminated. Details of each process will be described later. .
[0018]
FIG. 4 is a flowchart of the surface detection process executed in step 22 of the advancing range determination routine. In step 22a, an edge is detected from the image transmitted from the video apparatus. Then, the detected edges are numbered sequentially from the left, for example, and the coordinates and relative speed of each edge are calculated.
In FIG. 3, seven edges E ₁ = (X ₁ , Y ₁ ), E ₂ = (X ₂ , Y ₂ ), E _{3 in} order from the left in the XY coordinates with the front center of the host vehicle as the origin. = (X ₃ , Y ₃ ), E ₄ = (X ₄ , Y ₄ ), E ₅ = (X ₅ , Y ₅ ), E ₆ = (X ₆ , Y ₆ ) and E ₇ = (X ₇ , Y ₇ ) shows the detected situation.
[0019]
Next, the edge detected in step 22b is associated. That is, it is determined whether or not the target is detected within the plane connecting the edges, the edges at both ends of the plane where the target is detected are associated, and this routine is terminated.
A well-known method can be applied to edge detection and association, and in particular, the method described in Japanese Patent Application No. 11-276930 filed on September 29, 1999 by the present applicant can be applied. Desirably, according to this method, not only the coordinates of the detected edge but also the reliability of the edge can be added.
[0020]
That is, the reliability of the edge is calculated based on information from the millimeter wave radar and information from the video device for the edge.
FIG. 5 is a flowchart of the passage determination process executed in step 23 of the advancing range determination routine. In step 23a, i is set to the initial value “1”, and in step 23b, the index j indicating the edge number is also set to the initial value. Set to 'i + 1'.
[0021]
In step 23c, it is determined whether there is an edge E _j associated with the edge E _i . When an affirmative determination is made in step 23c, that is, when there is an associated edge, the value of F (i, j) is shown in step 23d to indicate that the vehicle cannot pass through the face F (i, j). Set to '1' and go to step 23k.
On the other hand, when a negative determination is made in step 23c, that is, when there is no related edge, a distance L (i, j) between the edge E _i and the edge E _j is calculated in step 23e.
[0022]
In step 23f, it is determined whether the index j is less than the total number I of detected edges.
When an affirmative determination is made in step 23f, that is, when the index j is less than the total number I of detected edges, the index j is incremented in step 23g, and the process returns to step 23c.
[0023]
Conversely, when a negative determination is made in step 23f, that is, when the index j is equal to or greater than the total number I of detected edges, the process proceeds to step 23h.
In step 23h, the minimum distance L (i, j) of the distances L (i, j) (where i + 1 ≦ j ≦ I) calculated in step 23e is greater than or equal to a predetermined value L _ref, that is, an edge It is determined whether or not the vehicle can pass through a plane F (i, j) connecting Ei and Ej.
[0024]
When a negative determination is made at step 23h, that is, when the vehicle cannot pass through the inspection surface F (i, j), the value of F (i, j) is set to '1' at step 23d and the process proceeds to step 24i.
Conversely, when an affirmative determination is made in step 23h, that is, when the vehicle can pass through the inspection surface F (i, j), the process proceeds directly to step 24i.
[0025]
In step 23i, it is determined whether or not the index i is less than the total number I of detected edges. If the determination is affirmative, the index i is incremented in step 23j and the process returns to step 23b.
Conversely, when a negative determination is made at step 24k, that is, when the index i is greater than or equal to the total number I of detected edges, this processing is terminated.
[0026]
As a result of this processing, in the situation shown in FIG. 3, F (2,3), F (3,4), F (4,5), F (5,6) and F (6,7) are “1”. Set to
FIG. 6 is a flowchart of the target lock process executed in step 24 of the advanceable range determination routine, which is executed as necessary to prevent erroneous determination.
[0027]
First, in step 24a, five coordinates of seven edges are stored for each execution cycle (for example, every 100 milliseconds), and in step 24b, five pieces of target information output from the radar apparatus 12 are stored every predetermined multiple of the execution cycle. Remember. For example, if the predetermined multiple is doubled, the target information is stored every 200 milliseconds in the embodiment.
A time average value of 500 milliseconds is calculated based on the five coordinates stored in step 24a as the average edge coordinates in step 24c, and based on the five data stored in step 24b as the average radar apparatus output in step 24d. The time average value for 1 second is calculated.
[0028]
Next, whether there are edges E _i and E _j corresponding to the previous edges E _ib and E _jb determined to be related in step 24e, that is, whether there is an edge estimated to be the edge of the same object. determined, the corresponding edge E _i, because when it is estimated that surface connecting the edges F (i, j) and is likely to also target exists currently in the E _j is present, the edge E _i, Regardless of whether E _j is related, that is, whether or not a target is detected in F (i, j), the value of F (i, j) is set to '1'.
[0029]
Finally, in step 24f, it is determined whether or not the target lock processing in step 24e has been completed for all the previous edges. If the determination is NO, the process returns to step 24e. Conversely, when an affirmative determination is made in step 24f, this process ends.
Figure 7 is a flowchart of an output process executed in step 25 in the traveling range determination routine, initialize the minimum Y-coordinate Y _min in step 25a, the boundaries of lanes that the vehicle is traveling at step 25b To detect. In addition, although a well-known method can be applied to the detection of the boundary line, it is particularly preferable to apply the method described in Japanese Patent Application No. 2000-266393 filed on September 4, 2000 by the present applicant. .
[0030]
In step 25c, it is determined whether the inspection surface F (i, j) = 1 exists in the traveling lane of the own vehicle.
When the determination in step 25c is affirmative, that is, when the inspection surface F (i, j) = 1 exists in the traveling lane of the own vehicle, in step 25d, the edges E _i and E _j and the minimum Y advances the minimum value of the coordinate Y _min to step 25k after setting Y _min.
[0031]
Y _min ← Min (Y _i , Y _j , Y _min )
Conversely, when a negative determination is made in step 25c, that is, when the inspection surface F (i, j) = 1 does not exist in the traveling lane of the own vehicle, the process proceeds to step 25e and the inspection surface F (i, j) = 1. It is determined whether one edge E _i exists in the traveling lane of the own vehicle.
When an affirmative determination is made in step 25e, that is, when the edge E _i exists in the traveling lane of the own vehicle, the intersection P of the inspection plane F (i, j) = 1 and the boundary line of the traveling lane of the own vehicle calculates coordinates (X _{_0,} Y _0), the edge E _i of Y coordinate Y _i, the minimum value of the Y coordinate Y ₀ and the minimum Y-coordinate Y _min of the intersections P ₀ was set to Y _min the following equation at step 25g Proceed to step 25k.
[0032]
Y _min ← Min (Y _i , Y ₀ , Y _min )
Conversely, when a negative determination is made in step 25e, that is, when the edge E _i is not in the traveling lane of the own vehicle, the process proceeds to step 25h to determine whether the edge E _j is in the traveling lane of the own vehicle.
When an affirmative determination is made in step 25h, that is, when the edge E _j is in the traveling lane of the own vehicle, the process proceeds to step 25i, where the inspection surface F (i, j) = 1 and the boundary line of the traveling lane of the own vehicle The coordinates (X ₀ , Y ₀ ) of the intersection point P are calculated. In step 25j, the minimum value of the Y coordinate Y _j of the edge E _j , the Y coordinate Y ₀ of the intersection point P and the minimum Y coordinate Y _min is set to Y _{min according} to the following equation: After setting, go to step 25k.
[0033]
Y _min ← Min (Y _j , Y ₀ , Y _min )
Conversely, when a negative determination is made in step 25h, that is, when the edge E _j is not in the traveling lane of the own vehicle, the process directly proceeds to step 25k.
In step 25k, it is determined whether the processing has been completed for all inspection surfaces F (i, j) = 1. If a negative determination is made, the process returns to step 25c. On the other hand, if the determination in step 25g is affirmative, in step 25h, the vehicle travels in a region surrounded by a vertical line with respect to the boundary line of the vehicle's travel lane passing through the minimum Y coordinate and the boundary line of the vehicle's travel lane. While outputting as a possible range, the relative speed of the said vertical line and the own vehicle is also output, and this process is complete | finished.
[0034]
FIG. 8 is an explanatory diagram of the output processing. At the points having the minimum Y coordinate among the edges E ₅ and E ₆ and the intersections P ₁ and P ₂ , that is, the boundary line between the intersection P ₁ and the traveling lane of the own vehicle. The enclosed shaded area is output as the advanceable range.
The method of using the travelable range and the relative speed of the vertical line is not particularly defined. For example, the travelable range is displayed on the liquid crystal display, and the speed of the host vehicle may be controlled according to the relative speed of the vertical line. Is possible.
[0035]
【The invention's effect】
According to the travel range determining apparatus according to the first aspect of the present invention, it is possible to determine the travelable range of the vehicle according to the obstacle detection status.
According to the travel range determining apparatus according to the second aspect of the present invention, it is possible to reliably detect an obstacle with the millimeter wave radar and the image sensor.
[0036]
According to the travel range determining apparatus according to the third aspect of the present invention, when an obstacle is detected in the surface connecting the edges of the obstacle, and when the obstacle is not detected but the vehicle cannot pass, the vehicle travels on the surface. When the vehicle is recognized as a forbidden surface and no obstacle is detected and the vehicle can pass, the surface can be recognized as a travel-permitted surface.
According to the travel range determining apparatus according to the fourth aspect of the invention, it is possible to selectively output only edges with high detection reliability.
[0037]
According to the travel range determining apparatus according to the fifth aspect of the present invention, it is possible to determine the travelable range based on the travel prohibition surface and the travel lane of the host vehicle.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an advancing range determination device according to the present invention.
FIG. 2 is a flowchart of a travelable range determination routine.
FIG. 3 is an explanatory diagram of a situation.
FIG. 4 is a flowchart of surface detection processing.
FIG. 5 is a flowchart (1/2) of a passage determination process.
FIG. 6 is a flowchart of target lock processing;
FIG. 7 is a flowchart of output processing.
FIG. 8 is a display example of a possible range.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Own vehicle 11 ... Millimeter wave antenna 12 ... Radar apparatus 13 ... Television camera 14 ... Video apparatus 15 ... Microcomputer 150 ... Bus 151 ... CPU
152 ... Memory 153 ... Input interface 154 ... Output interface

Claims

A millimeter wave radar that detects the presence of an obstacle in front, the distance to the obstacle, and the relative movement speed of the obstacle;
An image sensor for detecting an obstacle present ahead;
Edge extraction means for processing the output of the image sensor to extract a plurality of edges of obstacles;
When the obstacle is detected by the millimeter wave radar on the surface generated by connecting two adjacent edges extracted by the edge extraction means and when the obstacle is not detected, the surface is When the vehicle cannot pass, the surface is regarded as a travel-prohibited surface on the image surface, and when the obstacle is not detected and the vehicle can pass through the surface, the surface is recognized as a travel-allowed surface on the image surface. Surface recognition means,
Boundary detection means for detecting the boundary of the traveling lane of the vehicle;
When the travel-prohibited surface is in the traveling lane of the host vehicle, a line that passes through the edge closest to the host vehicle in the traveling lane of the host vehicle and is perpendicular to the boundary line detected by the boundary line detecting means; In an area surrounded by a boundary line and a perpendicular to the boundary line in contact with the front portion of the host vehicle, one edge of the travel-prohibiting surface is in the traveling lane of the host vehicle, and the other edge is the host vehicle. When the vehicle is outside the driving lane, the boundary between the travel prohibition surface and the traveling lane of the own vehicle, the perpendicular to the boundary contacting the front of the own vehicle, and the traveling lane of the own vehicle An output means for outputting a vertical line from a certain edge to the boundary line, or an area surrounded by a vertical line from the intersection of the travel prohibition surface and the traveling lane of the host vehicle to the boundary line as a travelable range;
An advancing range determination device comprising:

The edge extracting means;
Provided with a reliability evaluation means for evaluating the reliability of the edge,
2. The advancing range determination device according to claim 1, wherein only an edge whose reliability evaluated by the reliability evaluation means is equal to or greater than a predetermined threshold is output as an extraction edge.

The millimeter wave radar detects the presence of obstacles ahead, the distance to the obstacles and the relative movement speed of the obstacles,
Detect obstacles in front by the image sensor,
Processing the output of the image sensor to extract multiple edges of the obstacle;
When the obstacle is detected by the millimeter wave radar on a surface generated by connecting two extracted adjacent edges, and when the obstacle is not detected but the vehicle cannot pass through the surface Recognizes the surface as a travel-prohibited surface on the image surface, and recognizes the surface as a travel-permitted surface on the image surface when the obstacle is not detected and the vehicle can pass through the surface.
Detect the boundary line of your vehicle's driving lane,
When the travel-prohibited surface is in the traveling lane of the host vehicle, a line perpendicular to the boundary detected through the edge closest to the host vehicle in the traveling lane of the host vehicle, the boundary line, and the host vehicle An area surrounded by a perpendicular to the boundary line in contact with the front of the vehicle is such that one edge of the travel-prohibiting surface is in the traveling lane of the own vehicle and the other edge is outside the traveling lane of the own vehicle. When there is, the boundary line between the travel prohibition surface and the traveling lane of the own vehicle, the perpendicular to the boundary line in contact with the front portion of the own vehicle, and the edge in the traveling lane of the own vehicle to the boundary line An area surrounded by a perpendicular to the boundary line from the intersection of the vertical line or the travel prohibition surface and the boundary line of the traveling lane of the host vehicle is output as a travelable range.
A method for determining a possible range of movement.