JP3649166B2

JP3649166B2 - Object type discrimination device and object type discrimination method

Info

Publication number: JP3649166B2
Application number: JP2001226248A
Authority: JP
Inventors: 隆司浅野; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-07-26
Filing date: 2001-07-26
Publication date: 2005-05-18
Anticipated expiration: 2021-07-26
Also published as: JP2003044995A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されて車両前方に存在する物体の種別を判別する物体種別判別装置及び物体種別判別方法に関する。
【０００２】
【従来の技術】
近年、車両が走行する道路上及びその周囲の物体を認識し、その認識結果に応じて車両のブレーキアクチュエータやスロットルアクチュエータを駆動することで、車両の走行を自動制御する車両走行自動制御システムの研究開発が盛んに進められている。このような車両走行自動制御システムでは、スキャニングレーザレーダを用いた物体種別判別装置により車両前方に存在する物体の種別を判別し、その判別結果に基づいて、例えば、先行車両との車間距離を調整したり、障害物を回避するといったような走行制御を行うようにしているものが一般的である。
【０００３】
スキャニングレーザレーダを用いた物体種別判別装置では、通常、車両前方に向けてパルス状のレーザ光を出射してこれを路面に対して水平に走査させ、車両前方に存在する物体にて反射された反射レーザ光を複数の検出点の点列として検出する。そして、検出された複数の検出点の中から、車両からの距離が略等しく、互いに近接した位置にあるものを同一の物体を示す検出点の点列としてグルーピングする。そして、このグルーピングされた検出点の点列の大きさや形状、車両や他のグルーピングされた検出点の点列との位置関係等から、この検出点の点列で示される物体の種別を判別するようにしている。
【０００４】
【発明が解決しようとする課題】
ところで、上述した従来の物体種別判別装置に用いられるスキャニングレーザレーダからの出力、すなわち、スキャニングレーザレーダにより検出される検出点からは、車両前方に存在する物体の高さに関する情報が得られない。このため、従来の物体種別判別装置では、例えば、車両の走行の妨げにならない高さ位置に看板等が設置されている場合に、これを車両前方の障害物として判別してしまい、その結果、これを避けるような不要な走行制御が行われるといった不都合が生じる場合があった。
【０００５】
車両の走行の妨げにならない看板等を適切に認識する方法としては、例えば特開平２０００−３４６６５３号公報にて開示されるように、車両前方の画像を撮像し、この車両前方の画像上に現れる物体と、予めデータベースに格納された形状パターンとのパターンマッチングを行って、車両前方に現れる物体が看板等を示す形状パターンと一致した場合に、この物体を看板等であると認識する方法が考えられる。
【０００６】
しかしながら、このような方法では、予めデータベースに格納された形状パターンと一致しない物体については、その種別を適切に認識できないという問題がある。また、このような問題に対処すべく、多様な形状パターンをデータベースに格納して様々な形状に対応できるようにすると、認識処理に長時間を要することになり、瞬時の判断が要求される車両走行自動制御システムへの適用が困難となる。
【０００７】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、物体の形状に拘わらず、車両前方に存在する物体が車両の走行の妨げになるものかどうかを適切に判別することができる物体種別判別装置及び物体種別判別方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、車両に搭載されて車両前方に存在する物体の種別を判別する物体種別判別装置であって、前記車両前方に電磁波を走査させ、その反射電磁波をもとに前記車両前方に存在する物体を複数の検出点の点列として検出して、この検出した点列の前記車両からの距離及び方位を示す位置情報を出力する物体検出手段と、前記車両前方の画像を撮像し、この画像から前記車両前方に存在する物体のエッジを検出してエッジ画像として出力するエッジ検出手段と、前記物体検出手段から出力された点列の位置情報と、前記エッジ検出手段から出力されたエッジ画像とに基づいて、前記車両前方に存在する物体の種別を判別する判別手段とを備え、前記判別手段が、前記物体検出手段から出力された点列の位置情報をもとに、前記エッジ検出手段から出力されたエッジ画像上において、前記物体検出手段により検出された点列で示される物体が存在する位置での路面高さを検出し、この検出したエッジ画像上の路面高さを基準にして前記車両の高さに相当する高さ位置を求め、この車両の高さに相当する高さ位置よりも上方に、前記車両前方に存在する物体を示すエッジがある場合に、前記車両前方に存在する物体を車両の走行の妨げにならない物体と判別すると共に、前記物体検出手段により検出された点列の位置情報の経時変化率と、前記エッジ検出手段により検出された一対のエッジ間の距離の経時変化率とをそれぞれ求め、これらが略等しい場合に、前記物体検出手段により複数の検出点の点列として検出された物体と、前記エッジ検出手段によりエッジが検出された物体とが同一の物体であると判断することを特徴とするものである。
【００１０】
また、請求項２に記載の発明は、車両に搭載されて車両前方に存在する物体の種別を判別する物体種別判別装置であって、前記車両前方に電磁波を走査させ、その反射電磁波をもとに前記車両前方に存在する物体を複数の検出点の点列として検出して、この検出した点列の前記車両からの距離及び方位を示す位置情報を出力する物体検出手段と、前記車両前方の画像を撮像し、この画像から前記車両前方に存在する物体のエッジを検出してエッジ画像として出力するエッジ検出手段と、前記物体検出手段から出力された点列の位置情報と、前記エッジ検出手段から出力されたエッジ画像とに基づいて、前記車両前方に存在する物体の種別を判別する判別手段とを備え、前記判別手段が、前記物体検出手段から出力された点列の位置情報をもとに、前記エッジ検出手段から出力されたエッジ画像上において、前記物体検出手段により検出された点列で示される物体が存在する位置での路面高さを検出し、この検出したエッジ画像上の路面高さを基準にして前記車両の高さに相当する高さ位置を求め、この車両の高さに相当する高さ位置よりも上方に、前記車両前方に存在する物体を示すエッジがある場合に、前記車両前方に存在する物体を車両の走行の妨げにならない物体と判別すると共に、前記物体検出手段により検出された点列の長さをもとにこの点列で示される物体の実際の幅を算出すると共に、前記エッジ検出手段により検出された一対のエッジ間の距離をもとにこのエッジが検出された物体の実際の幅を算出し、これらが略等しい場合に、前記物体検出手段により複数の検出点の点列として検出された物体と、前記エッジ検出手段によりエッジが検出された物体とが同一の物体であると判断することを特徴とするものである。
【００１１】
また、請求項３に記載の発明は、車両前方に存在する物体の種別を判別する物体種別判別方法であって、前記車両前方に電磁波を走査させ、その反射電磁波をもとに前記車両前方に存在する物体を複数の検出点の点列として検出して、この検出した点列の前記車両からの距離及び方位を示す位置情報を生成する物体検出ステップと、前記車両前方の画像を撮像し、この画像から前記車両前方に存在する物体のエッジを検出してエッジ画像を生成するエッジ検出ステップと、前記物体検出ステップで生成された点列の位置情報と、前記エッジ検出ステップで生成されたエッジ画像とに基づいて、前記車両前方に存在する物体の種別を判別する物体種別判別ステップとを有し、前記物体種別判別ステップでは、
前記点列の位置情報をもとに、前記エッジ画像上において、前記点列で示される物体が存在する位置での路面高さを検出し、この検出したエッジ画像上の路面高さを基準にして前記車両の高さに相当する高さ位置を求め、この車両の高さに相当する高さ位置よりも上方に、前記車両前方に存在する物体を示すエッジがある場合に、前記車両前方に存在する物体を車両の走行の妨げにならない物体と判別すると共に、前記物体検出ステップで検出された点列の位置情報の経時変化率と、前記エッジ検出ステップで検出された一対のエッジ間の距離の経時変化率とをそれぞれ求め、これらが略等しい場合に、前記物体検出ステップにおいて複数の検出点の点列として検出された物体と、前記エッジ検出ステップにおいてエッジが検出された物体とが同一の物体であると判断することを特徴とするものである。
【００１３】
また、請求項４に記載の発明は、車両前方に存在する物体の種別を判別する物体種別判別方法であって、前記車両前方に電磁波を走査させ、その反射電磁波をもとに前記車両前方に存在する物体を複数の検出点の点列として検出して、この検出した点列の前記車両からの距離及び方位を示す位置情報を生成する物体検出ステップと、前記車両前方の画像を撮像し、この画像から前記車両前方に存在する物体のエッジを検出してエッジ画像を生成するエッジ検出ステップと、前記物体検出ステップで生成された点列の位置情報と、前記エッジ検出ステップで生成されたエッジ画像とに基づいて、前記車両前方に存在する物体の種別を判別する物体種別判別ステップとを有し、前記物体種別判別ステップでは、
前記点列の位置情報をもとに、前記エッジ画像上において、前記点列で示される物体が存在する位置での路面高さを検出し、この検出したエッジ画像上の路面高さを基準にして前記車両の高さに相当する高さ位置を求め、この車両の高さに相当する高さ位置よりも上方に、前記車両前方に存在する物体を示すエッジがある場合に、前記車両前方に存在する物体を車両の走行の妨げにならない物体と判別すると共に、前記物体検出ステップで検出された点列の長さをもとにこの点列で示される物体の実際の幅を算出すると共に、前記エッジ検出ステップで検出された一対のエッジ間の距離をもとにこのエッジが検出された物体の実際の幅を算出し、これらが略等しい場合に、前記物体検出ステップにおいて複数の検出点の点列として検出された物体と、前記エッジ検出ステップにおいてエッジが検出された物体とが同一の物体であると判断することを特徴とするものである。
【００１４】
【発明の効果】
請求項１に係る物体種別判別装置によれば、物体検出手段から出力される車両前方の物体を示す点列の位置情報と、エッジ検出手段から出力される車両前方の物体を示すエッジ画像との双方を用いて、車両前方の物体の高さ位置についても判断し、これに基づき車両前方の物体の種別を判別するようにしているので、車両前方の物体が車両の走行の妨げとなるものであるかどうかを適切に判別することができる。特に、物体検出手段により点列として検出された物体と、エッジ検出手段によりエッジが検出された物体との同一性の判断が行われるので、車両前方の物体が車両の走行の妨げとなるものであるかどうかの判断をより確実に行うことができる。したがって、この物体種別判別装置を用いて車両前方の物体の種別を判別しながら車両の走行制御を行うようにすれば、車両の走行制御をより適切に行うことができる。
【００１６】
また、請求項２に係る物体種別判別装置によれば、物体検出手段から出力される車両前方の物体を示す点列の位置情報と、エッジ検出手段から出力される車両前方の物体を示すエッジ画像との双方を用いて、車両前方の物体の高さ位置についても判断し、これに基づき車両前方の物体の種別を判別するようにしているので、車両前方の物体が車両の走行の妨げとなるものであるかどうかを適切に判別することができる。特に、物体検出手段により点列として検出された物体と、エッジ検出手段によりエッジが検出された物体との同一性の判断が行われるので、車両前方の物体が車両の走行の妨げとなるものであるかどうかの判断をより確実に行うことができ、更に、この車両前方の物体の実際の幅が検出されるので、例えば、この物体が車両の走行の妨げになる場合には、この物体の幅に関する情報をもとに、この物体を避けるような車両の走行制御を行うことができる。したがって、この物体種別判別装置を用いて車両前方の物体の種別を判別しながら車両の走行制御を行うようにすれば、車両の走行制御をより適切に行うことができる。
【００１７】
また、請求項３に係る物体種別判別方法によれば、物体検出ステップにおいて生成される車両前方の物体を示す点列の位置情報と、エッジ検出ステップにおいて生成される車両前方の物体を示すエッジ画像との双方を用いて、車両前方の物体の高さ位置についても判断し、これに基づき車両前方の物体の種別を判別するようにしているので、車両前方の物体が車両の走行の妨げとなるものであるかどうかを適切に判別することができる。特に、物体検出ステップにおいて点列として検出された物体と、エッジ検出ステップにおいてエッジが検出された物体との同一性の判断が行われるので、車両前方の物体が車両の走行の妨げとなるものであるかどうかの判断をより確実に行うことができる。したがって、この物体種別判別方法により車両前方の物体の種別を判別しながら車両の走行制御を行うようにすれば、車両の走行制御をより適切に行うことができる。
【００１９】
また、請求項４に係る物体種別判別方法によれば、物体検出ステップにおいて生成される車両前方の物体を示す点列の位置情報と、エッジ検出ステップにおいて生成される車両前方の物体を示すエッジ画像との双方を用いて、車両前方の物体の高さ位置についても判断し、これに基づき車両前方の物体の種別を判別するようにしているので、車両前方の物体が車両の走行の妨げとなるものであるかどうかを適切に判別することができる。特に、物体検出ステップにおいて点列として検出された物体と、エッジ検出ステップにおいてエッジが検出された物体との同一性の判断が行われるので、車両前方の物体が車両の走行の妨げとなるものであるかどうかの判断をより確実に行うことができ、更に、この車両前方の物体の実際の幅が検出されるので、例えば、この物体が車両の走行の妨げになる場合には、この物体の幅に関する情報をもとに、この物体を避けるような車両の走行制御を行うことができる。したがって、この物体種別判別方法により車両前方の物体の種別を判別しながら車両の走行制御を行うようにすれば、車両の走行制御をより適切に行うことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２１】
本発明を適用した物体種別判別装置の概略構成を図１に示す。この図１に示す物体種別判別装置１は、車両（以下、自車両という。）に搭載されて、自車両前方に存在する物体の種別を判別するものであり、物体検出手段２を構成するスキャニングレーザレーダ３及びグルーピング処理部４と、エッジ検出手段５を構成するカメラ６及び画像処理部７と、判別部８とを備えている。
【００２２】
スキャニングレーザレーダ３は、レーザ光を出射して自車両前方を路面に水平な方向に二次元的にスキャニングし、反射レーザ光を受光することによって、自車両前方に存在する物体を複数の検出点の点列として検出する。このスキャニングレーザレーダ３により検出される検出点は、自車両からの距離を示す情報と方位を示す情報とを有する点である。スキャニングレーザレーダ３は、このような検出点の点列を所定の時間間隔ΔＴで連続的に検出するようになっている。このときの時間間隔ΔＴは、判別部８におけるデータ処理能力や、物体種別判別装置１に要求される精度等に応じて適宜設定される。
【００２３】
このスキャニングレーザレーダ３は、例えば図２（Ａ）及び図２（Ｂ）に示すように、スキャニング中心軸が自車両１００の走行方向に沿い、且つ、スキャニング原点が自車両１００の幅方向における中心に位置するように、自車両１００に取り付けられている。
【００２４】
グルーピング処理部４は、スキャニングレーザレーダ３により検出された複数の検出点のうちで、自車両からの距離が略等しく互いに近接する検出点同士を１つの物体を示す点列としてグルーピングする。そして、グルーピング処理部４は、グルーピング処理の結果として、１つの物体を示すものとしてグルーピングした点列の自車両からの距離及び方位を示す位置情報を出力する。このグルーピング処理部４から出力された点列の位置情報は、判別部８に供給されることになる。
【００２５】
カメラ６は、自車両前方の画像を撮像するものである。このカメラ６は、図２（Ａ）及び図２（Ｂ）に示したように、その光軸がスキャニングレーザレーダ３のスキャニング中心軸と同様に自車両１００の進行方向に沿い、且つ、その原点がスキャニングレーザレーダ３のスキャニング原点と同様に自車両１００の幅方向における中心に位置し、路面に垂直な方向においてスキャニングレーザレーダ３と異なる位置となるように、自車両１００に取り付けられている。
【００２６】
なお、以上はスキャニングレーザレーダ３及びカメラ６の自車両１００に対する取り付け方として理想的な例を説明したが、スキャニングレーザレーダ３のスキャニング中心軸やカメラ６の光軸が自車両１００の走行方向に沿わない場合や、スキャニングレーザレーダ３のスキャニング原点やカメラ６の原点が自車両１００の幅方向における中心にない場合であっても、これらスキャニングレーザレーダ３やカメラ６の自車両１００に対する取り付け角度や取り付け位置を幾何学計算時に考慮するようにすれば、スキャニングレーザレーダ３やカメラ６が理想的に取り付けられた場合と同様に取り扱うことができる。
【００２７】
画像処理部７は、カメラ６により撮像された自車両前方の画像を処理して、この画像に現れる物体のエッジを検出する。そして、自車両前方の画像をエッジ画像として出力する。ここで、エッジの検出には、例えばハフ変換等の一般的な直線検出手法が適用可能である。この画像処理部７から出力された自車両前方のエッジ画像は、判別部８に供給されることになる。
【００２８】
判別部８は、グルーピング処理部４から供給される点列の位置情報と、画像処理部７から供給されるエッジ画像とに基づいて、自車両前方に存在する物体の種別を判別する。特に、この判別部８は、グルーピング処理部４から供給される点列の位置情報と、画像処理部７から供給されるエッジ画像とを照合することによって、自車両前方に存在する物体の高さ位置についても判断し、この物体が自車両の走行の妨げになるものかどうかを判別するようにしている。
【００２９】
具体的には、この判別部８では、まず、グルーピング処理部４から供給される点列の位置情報をもとに、この点列で示される物体の自車両からの距離が認識され、この点列で示される物体の存在する位置が、画像処理部７から供給されるエッジ画像上でどの位置に該当するかが判断される。そして、このエッジ画像上において、点列で示される物体の存在する位置での路面高さが検出される。このエッジ画像上における物体存在位置の路面高さの検出は、カメラ６の自車両に対する取付位置や取付角度、カメラ６の光学系の倍率等から、光学的な計算によって求めることができる。
【００３０】
次に、判別部８では、予め記憶された自車両の高さに関する情報をもとに、点列で示される物体の存在する位置での路面高さを基準とした自車両の高さに相当する高さ位置、すなわち、点列で示される物体の存在する位置を自車両が走行する場合に、自車両の上端が位置する高さ位置が、画像処理部７から供給されるエッジ画像上でどこになるかが求められる。
【００３１】
そして、判別部８では、自車両前方に存在する物体を示すエッジが、エッジ画像上で以上のように求められた高さ位置よりも上方にある場合には、このエッジで示される物体は、例えば頭上に設置された看板等のように、自車両の走行の妨げにならない物体であると判断される。一方、自車両前方に存在する物体を示すエッジが、エッジ画像上で以上のように求められた高さ位置よりも下方にある場合には、このエッジで示される物体は、例えば路上に停止している大型車両等の障害物のように、自車両の走行の妨げとなる物体であると判断される。
【００３２】
本発明を適用した物体種別判別装置１では、以上のように、判別部８において自車両前方に存在する物体の高さ位置についての判断も行い、この自車両前方に存在する物体が自車両の走行の妨げになるものかどうかを判別するようにしているので、この物体種別判別装置１を用いて自車両前方の物体の種別を判別しながら自車両の走行制御を行うようにすれば、例えば自車両前方に停車した大型車両等の障害物が存在する場合にはこれを避けるような走行制御を行い、自車両前方に頭上の看板等のような自車両の走行の妨げとならない物体が存在する場合には、これを迂回することなく直進させるといったように、適切な走行制御を行うことができる。
【００３３】
また、本発明を適用した物体種別判別装置１では、自車両前方の物体の高さ位置をもとに、この物体が自車両の走行の妨げになるものかどうかを判別しているので、例えば画像のパターンマッチングによって物体の種別を判別する場合に比べて、多種多様な形状の物体に対して幅広く対応することができ、また、判別処理に要する時間を短縮することができる。
【００３４】
ここで、以上のように構成される本発明を適用した物体種別判別装置１の動作について、具体的な一例を挙げて説明する。なお、以下では、図２（Ａ）及び図２（Ｂ）に示したように、スキャニングレーザレーダ３やカメラ６が理想的な状態で自車両１００に取り付けられているものとし、カメラ６のレンズ中心を原点とし、スキャニングレーザレーダ３のスキャニング中心軸及びカメラ６の光軸の方向をＺ軸、スキャニングレーザレーダ３のスキャニング中心軸（カメラ６の光軸）と直交し且つスキャニング面に平行な方向をＸ軸、スキャニングレーザレーダ３のスキャニング面に垂直な方向をＹ軸とした座標系を基準座標系として説明する。
【００３５】
例えば、自車両１００の前方に先行車両１０１が走行している場合、この先行車両１０１は、スキャニングレーザレーダ３により、図３（Ａ）に示すような検出点の点列として検出される。これらの各検出点は、スキャニングレーザレーダ３から出射されたパルス状のレーザ光が、先行車両１０１の左右のリフレクタにて反射され、この反射レーザ光がスキャニングレーザレーダの受光部にて受光されることで検出されるものであり、レーザ光の出射時から受光時までの遅延時間に基づいて計測される自車両１００からの距離の情報と、レーザ光の出射角度に基づいて計測される自車両１００からの方位の情報とを有している。
【００３６】
これらスキャニングレーザレーダ３により検出された検出点の点列は、グルーピング処理部４によって、図３（Ｂ）に示すように、互いに近接する検出点同士がグルーピングされる。そして、このグルーピング処理部４によってグルーピングされた検出点の点列の自車両１００からの距離及び方位を示す位置情報が、判別部８に供給されることになる。
【００３７】
判別部８では、グルーピング処理部４によってグルーピングされた点列の位置情報から、これらの点列が車両の左右のリフレクタに相当するものと判断される。すなわち、これらの点列が一対のリフレクタに相当する間隔を保ちながら時間的に連続して検出されることで、これらの点列が車両の左右のリフレクタに相当するものと判断される。また、これらの点列を時間的に連続して検出したときに、これらの点列の自車両１００からの距離がほとんど変化しないことから、これらの点列で示される物体が、自車両１００の前方を自車両１００に先行して走行する先行車両１０１を示すものであると判別されることになる。
【００３８】
また、自車両１００の前方にトラック等の大型車両１０２が停車している場合、この大型車両１０２は、スキャニングレーザレーダ３により、図４（Ａ）に示すような検出点の点列として検出される。すなわち、トラック等の大型車両１０２は、その後部にリフレクタの他にも多数の反射物を有している場合が多く、また、車体自体の反射率が高い場合が多い。このため、トラック等の大型車両１０２をスキャニングレーザレーダ３により検出すると、比較的大きな長さを有する検出点の点列として検出される。そして、自車両１００の前方に停車している大型車両１０２を示す点列は、グルーピング処理部４によって、図４（Ｂ）に示すようにグルーピングされ、その位置情報が判別部８に供給されることになる。
【００３９】
また、自車両１００前方の頭上（車両の走行の妨げとならない高さ位置）に看板１０３が設置されている場合、この看板１０３は、スキャニングレーザレーダ３により、図５（Ａ）に示すような検出点の点列として検出される。すなわち、看板１０３は、その全面に亘って高い反射率を有しているので、スキャニングレーザレーダ３により検出すると、比較的大きな長さを有する検出点の点列として検出される。そして、自車両１００前方の頭上の看板１０３を示す点列は、グルーピング処理部４によって、図５（Ｂ）に示すようにグルーピングされ、その位置情報が判別部８に供給されることになる。
【００４０】
ここで、自車両１００の前方に停車している大型車両１０１は、自車両１００の走行の妨げとなるものであり、一方、自車両１００前方の頭上に設置されている看板１０３は、自車両１００の走行の妨げとならないものである。したがって、物体種別判別装置１では、これら自車両１００の前方に存在する物体が、停車している大型車両１０１であるのか、或いは、頭上の看板１０２であるのかを適切に判別して、判別結果を車両の走行制御に反映させることが要求される。
【００４１】
しかしながら、自車両１００の前方にトラック等の大型車両１０２が停止している場合と、自車両１００前方の頭上に看板１０３が設置されている場合とでは、図４（Ｂ）及び図５（Ｂ）から分かるように、スキャニングレーザレーダ３によって同様の検出点の点列が検出されて、これらの点列がグルーピング処理部４によりグルーピングされ、判別部８には同様な点列の位置情報が供給されることになる。このため、スキャニングレーザレーダ３により検出されて、グルーピング処理部４によりグルーピングされた点列の位置情報だけからでは、これらの判別を適切に行うことができない。
【００４２】
そこで、本発明を適用した物体種別判別装置１においては、以上のように比較的大きな長さを有する点列が検出され、その位置情報が供給されたときは、カメラ６により撮像された自車両１００の前方の画像をもとに画像処理部７により生成されたエッジ画像を用いて、これらの高さについての情報も取得して、これらが自車両１００の走行の妨げとなる停止した大型車両１０２であるのか、或いは、自車両１００の走行の妨げとならない頭上の看板１０３であるのかの判別を行うようにしている。
【００４３】
自車両１００の前方にトラック等の大型車両１０２が停車している場合、カメラ６により自車両１００の前方の画像を撮像すると、例えば図６（Ａ）に示すような画像が得られる。そして、このカメラ６により撮像された自車両１００前方の画像を画像処理部７により処理して、この画像に現れる物体のエッジを検出すると、図６（Ｂ）に示すようなエッジ画像が生成されることになる。
【００４４】
判別部８は、スキャニングレーザレーダ３により比較的大きな長さを有する点列が検出され、グルーピング処理部４によりその点列の位置情報が供給されたときに、画像処理部７により図６（Ｂ）に示すようなエッジ画像が生成されると、このエッジ画像上において、点列で示される物体の存在する位置の路面高さＰ１を検出する。そして、この位置の路面高さＰ１を基準に、この位置を自車両１００が走行したときの自車両１００の高さに相当する高さ位置Ｐ２を求める。そして、自車両１００前方の物体を示すエッジが、求めた高さ位置Ｐ２よりも上方にあるか下方にあるかによって、自車両１００前方の物体が自車両１００の走行の妨げになる物体であるかどうかを判別する。図６（Ｂ）に示すエッジ画像では、自車両１００前方の物体を示すエッジが高さ位置Ｐ２よりも下方にあるので、この物体は、例えば自車両１００の前方に停車している大型車両１０２等の障害物であると判別されることになる。
【００４５】
一方、自車両１００前方の頭上に看板１０３が設置されている場合、カメラ６により自車両１００の前方の画像を撮像すると、例えば図７（Ａ）に示すような画像が得られる。そして、このカメラ６により撮像された自車両１００前方の画像を画像処理部７により処理して、この画像に現れる物体のエッジを検出すると、図７（Ｂ）に示すようなエッジ画像が生成されることになる。
【００４６】
判別部８は、スキャニングレーザレーダ３により比較的大きな長さを有する点列が検出され、グルーピング処理部４によりその点列の位置情報が供給されたときに、画像処理部７により図７（Ｂ）に示すようなエッジ画像が生成されると、このエッジ画像上において、点列で示される物体の存在する位置の路面高さＰ１を検出し、この位置の路面高さＰ１を基準に、この位置を自車両１００が走行したときの自車両１００の高さに相当する高さ位置Ｐ２を求める。そして、自車両１００前方の物体を示すエッジが、求めた高さ位置Ｐ２よりも上方にあるか下方にあるかによって、自車両１００前方の物体が自車両１００の走行の妨げになる物体であるかどうかを判別する。図７（Ｂ）に示すエッジ画像では、自車両１００前方の物体を示すエッジが高さ位置Ｐ２よりも上方にあるので、この物体は、例えば自車両１００前方の頭上に設置されている看板１０３等のような、自車両１００の走行の妨げとならない物体であると判別されることになる。
【００４７】
ところで、以上のような方法で自車両１００の前方の物体が自車両１００の走行の妨げになる物体であるかどうかを判別するには、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であることが前提となる。そのため、判別部８は、以上のような物体の判別を行う際に、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であることを確認することが望ましい。
【００４８】
スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であることを確認する方法としては、例えば、物体を示す点列の位置情報の経過時間に応じた変化率（経時変化率）と、エッジ画像に現れる物体を示す一対のエッジ間の距離の経過時間に応じた変化率（経時変化率）とをそれぞれ求め、これらが略等しい場合に、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であると確認する方法が有効である。
【００４９】
詳述すると、例えば自車両１００前方に停車した大型車両１０２や頭上の看板１０３のように停止物が存在する場合、自車両１００の走行中にスキャニングレーザレーダ３によりこの停止物を時間的に連続して検出すると、検出される点列の自車両１００からの距離は、時間の経過と共に次第に小さくなっていくことになる。一方、カメラ６により撮像された自車両１００前方の画像から、画像処理部７によりこの停止物を示す一対のエッジ（一対の縦エッジ或いは一対の横エッジ）を時間的に連続して検出すると、検出される一対のエッジ間の距離は、時間の経過と共に次第に大きくなっていくことになる。
【００５０】
したがって、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の停止物である場合、この停止物を示す点列の自車両１００からの距離の経過時間に応じた変化が、この停止物を示す一対のエッジ間の距離の逆数の経過時間に応じた変化に一致することになる。すなわち、時刻ｔにおける停止物を示す点列の自車両１００からの距離をＺ（ｔ）、時刻ｔにおける停止物を示す一対のエッジ間の距離をＹ（ｔ）、時刻ｔ＋Δｔにおける停止物を示す点列の自車両１００からの距離をＺ（ｔ＋Δｔ）、時刻ｔ＋Δｔにおける停止物を示す一対のエッジ間の距離をＹ（ｔ＋Δｔ）とすると、点列で示される停止物と一対のエッジで示される停止物とが同一の停止物である場合、下記式（１）が成り立つことになる。
【００５１】
Ｚ（ｔ）／Ｚ（ｔ＋Δｔ）＝Ｙ（ｔ＋Δｔ）／Ｙ（ｔ）・・・（１）
したがって、判別部８は、スキャニングレーザレーダ３により検出された点列の位置情報と、画像処理部７により検出された一対のエッジ間の距離が上記式（１）に合う変化をしていることを確認することで、スキャニングレーザレーダ３により検出された点列で示される物体と、画像処理部７により検出されたエッジで示される物体とが同一の物体であると認識することができる。
【００５２】
また、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であることを確認する方法としては、例えば、スキャニングレーザレーダ３により検出された点列の長さをもとにしてこの点列で示される物体の実際の幅を算出すると共に、画像処理部７により検出された一対の縦エッジ間の距離をもとにしてこれら一対の縦エッジで示される物体の実際の幅を算出し、これらが略等しい場合に、スキャニングレーザレーダ３により点列として検出された物体と、画像処理部７によりエッジが検出された物体とが同一の物体であると確認する方法も有効である。
【００５３】
詳述すると、スキャニングレーザレーダ３により検出された点列で示される物体の実際の幅Ｗ１は、図８に示すように、検出点の個数ｎ（点列の長さに相当）と、１つの検出点が検出されるスキャニングレーザレーダ３の走査角度Δθと、自車両１００から点列までの距離Ｚとから算出される。すなわち、スキャニングレーザレーダ３により検出された点列で示される物体の実際の幅Ｗ１は、下記式（２）によって求められる。
【００５４】
Ｗ１＝ｔａｎ（ｎ・Δθ）・Ｚ・・・（２）
また、画像処理部７により検出された一対の縦エッジで示される物体の実際の幅Ｗ２は、図９に示すように、一対の縦エッジ間の距離Ｘ１と、この一対の縦エッジで示される物体の自車両１００からの距離Ｚと、カメラ３の焦点距離ｆとから算出される。すなわち、画像処理部７により検出された一対の縦エッジで示される物体の実際の幅Ｗ２は、下記式（３）によって求められる。
【００５５】
Ｗ２＝Ｘ１・Ｚ／ｆ・・・（３）
したがって、判別部８は、上記式（２）からスキャニングレーザレーダ３により検出された点列で示される物体の実際の幅Ｗ１を求め、上記式（３）から画像処理部７により検出された一対の縦エッジで示される物体の実際の幅Ｗ２を求め、これらＷ１とＷ２とが略等しい値となることを確認することで、スキャニングレーザレーダ３により検出された点列で示される物体と、画像処理部７により検出されたエッジで示される物体とが同一の物体であると認識することができる。
【００５６】
また、この場合には、判別対象とする自車両１００の前方の物体の実際の幅が検出されるので、例えば、この物体が自車両１００の前方に停車している大型車両１０２等のように自車両１００の走行の妨げになる障害物であると判別した際に、この障害物の幅に関する情報をもとに、この障害物を避けるように自車両１００の走行制御を行うことも可能となる。
【図面の簡単な説明】
【図１】本発明を適用した物体種別判別装置の概略構成を示すブロック図である。
【図２】前記物体種別判別装置を構成するスキャニングレーザレーダ及びカメラの自車両に対する取り付け状態を説明する図であり、（Ａ）は自車両の側方から見た様子を模式的に示す図、（Ｂ）は自車両の上方から見た様子を模式的に示す図である。
【図３】自車両前方に先行車両が走行している場合にスキャニングレーザレーダにより検出される検出点の点列を示す図であり、（Ａ）はスキャニングレーザレーダにより検出点を検出した状態を示し、（Ｂ）は検出された検出点の点列をグルーピングした結果を示している。
【図４】自車両前方に大型車両が停車している場合にスキャニングレーザレーダにより検出される検出点の点列を示す図であり、（Ａ）はスキャニングレーザレーダにより検出点を検出した状態を示し、（Ｂ）は検出された検出点の点列をグルーピングした結果を示している。
【図５】自車両前方の頭上に看板が設置されている場合にスキャニングレーザレーダにより検出される検出点の点列を示す図であり、（Ａ）はスキャニングレーザレーダにより検出点を検出した状態を示し、（Ｂ）は検出された検出点の点列をグルーピングした結果を示している。
【図６】自車両前方に大型車両が停車している場合の画像を示す図であり、（Ａ）はカメラにより撮像された自車両前方の画像を示し、（Ｂ）は自車両前方の画像をもとに画像処理部により生成されたエッジ画像を示している。
【図７】自車両前方の頭上に看板が設置されている場合の画像を示す図であり、（Ａ）はカメラにより撮像された自車両前方の画像を示し、（Ｂ）は自車両前方の画像をもとに画像処理部により生成されたエッジ画像を示している。
【図８】スキャニングレーザレーダにより検出された点列で示される物体の実際の幅を算出する方法を説明する図である。
【図９】画像処理部により検出された一対の縦エッジで示される物体の実際の幅を算出する方法を説明する図である。
【符号の説明】
１物体種別判別装置
２物体検出手段
３スキャニングレーザレーダ
４グルーピング処理部
５エッジ検出手段
６カメラ
７画像処理部
８判別部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object type discriminating apparatus and an object type discriminating method for discriminating the type of an object mounted on a vehicle and existing in front of the vehicle.
[0002]
[Prior art]
In recent years, research on a vehicle running automatic control system that automatically controls the running of a vehicle by recognizing objects on and around the road on which the vehicle runs and driving the brake actuator and throttle actuator of the vehicle according to the recognition result. Development is actively underway. In such a vehicle travel automatic control system, an object type discrimination device using a scanning laser radar discriminates the type of an object existing in front of the vehicle, and adjusts an inter-vehicle distance from a preceding vehicle, for example, based on the discrimination result Or running control such as avoiding obstacles is common.
[0003]
In an object type discriminating apparatus using a scanning laser radar, a pulsed laser beam is normally emitted toward the front of the vehicle, scanned horizontally with respect to the road surface, and reflected by an object existing in front of the vehicle. The reflected laser beam is detected as a point sequence of a plurality of detection points. Then, out of the plurality of detected detection points, those that are substantially the same distance from the vehicle and are close to each other are grouped as a point sequence of detection points indicating the same object. Then, the type of the object indicated by the point sequence of the detection points is determined from the size and shape of the point sequence of the grouped detection points, the positional relationship with the point sequence of the vehicle and other grouped detection points, and the like. I am doing so.
[0004]
[Problems to be solved by the invention]
By the way, information on the height of an object existing in front of the vehicle cannot be obtained from the output from the scanning laser radar used in the above-described conventional object type discriminating apparatus, that is, the detection point detected by the scanning laser radar. For this reason, in the conventional object type determination device, for example, when a signboard or the like is installed at a height position that does not hinder the traveling of the vehicle, this is determined as an obstacle in front of the vehicle, and as a result, There has been a case in which unnecessary traveling control is performed to avoid this.
[0005]
As a method for appropriately recognizing a signboard that does not interfere with the traveling of the vehicle, for example, as disclosed in Japanese Patent Laid-Open No. 2000-346653, an image in front of the vehicle is taken and appears on the image in front of the vehicle. A method may be considered in which pattern matching between an object and a shape pattern stored in a database in advance is performed, and when an object appearing in front of the vehicle matches a shape pattern indicating a signboard or the like, the object is recognized as a signboard or the like. It is done.
[0006]
However, such a method has a problem that the type of an object that does not match the shape pattern stored in advance in the database cannot be recognized properly. Further, in order to deal with such problems, if various shape patterns are stored in a database so that various shapes can be handled, recognition processing will take a long time, and a vehicle that requires instantaneous judgment is required. Application to a traveling automatic control system becomes difficult.
[0007]
The present invention has been developed in view of the above-described conventional situation, and appropriately determines whether an object existing in front of the vehicle is an obstacle to driving of the vehicle regardless of the shape of the object. An object type discriminating apparatus and an object type discriminating method that can be used.
[0008]
[Means for Solving the Problems]
The invention according to claim 1 is an object type discriminating device for discriminating the type of an object mounted on a vehicle and existing in front of the vehicle, wherein the electromagnetic wave is scanned in front of the vehicle, and the electromagnetic wave is scanned based on the reflected electromagnetic wave. An object detection means for detecting an object existing in front of the vehicle as a point sequence of a plurality of detection points, and outputting position information indicating a distance and an orientation of the detected point sequence from the vehicle, and an image in front of the vehicle An edge detection unit that picks up an image, detects an edge of an object existing in front of the vehicle from the image, and outputs it as an edge image; position information of a point sequence output from the object detection unit; and output from the edge detection unit A discriminating unit for discriminating the type of the object existing in front of the vehicle based on the edge image, and the discriminating unit based on the position information of the point sequence output from the object detecting unit, in front On the edge image output from the edge detection means, the road surface height at the position where the object indicated by the point sequence detected by the object detection means is present is detected, and the road surface height on the detected edge image is determined. When a height position corresponding to the height of the vehicle is obtained as a reference, and there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, the vehicle The object existing ahead is determined as an object that does not hinder the traveling of the vehicle, the rate of change over time of the position information of the point sequence detected by the object detection means, and the distance between the pair of edges detected by the edge detection means When the distance changes over time, the object detected as a point sequence of a plurality of detection points by the object detecting means and the edge detected by the edge detecting means are detected. And has been the object is characterized in that it is determined that the identical object.
[0010]
The invention according to claim 2 is an object type discriminating apparatus for discriminating the type of an object mounted on a vehicle and existing in front of the vehicle, scanning the electromagnetic wave in front of the vehicle, and based on the reflected electromagnetic wave. An object detection means for detecting an object existing in front of the vehicle as a point sequence of a plurality of detection points, and outputting position information indicating a distance and an orientation of the detected point sequence from the vehicle; Edge detecting means for picking up an image, detecting an edge of an object existing in front of the vehicle from the image, and outputting the detected edge image; position information of a point sequence output from the object detecting means; and the edge detecting means Discriminating means for discriminating the type of the object existing ahead of the vehicle based on the edge image output from the vehicle, and the discriminating means based on the position information of the point sequence output from the object detecting means. The road surface height at the position where the object indicated by the point sequence detected by the object detection unit exists on the edge image output from the edge detection unit is detected, and the road surface height on the detected edge image is detected. When a height position corresponding to the height of the vehicle is obtained with reference to the height, and there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, The object present in front of the vehicle is determined as an object that does not hinder the traveling of the vehicle, and the actual width of the object indicated by the point sequence is determined based on the length of the point sequence detected by the object detection means. And calculating the actual width of the object from which the edge is detected based on the distance between the pair of edges detected by the edge detection means. Inspection A detected object as a sequence of points of the point, and an object edge is detected by the edge detecting means is characterized in that it is determined that the identical object.
[0011]
The invention according to claim 3 is an object type determination method for determining the type of an object existing in front of a vehicle, wherein the electromagnetic wave is scanned in front of the vehicle, and the vehicle is moved forward based on the reflected electromagnetic wave. An object detection step of detecting an existing object as a point sequence of a plurality of detection points, and generating position information indicating a distance and an orientation of the detected point sequence from the vehicle, and capturing an image in front of the vehicle, An edge detection step of generating an edge image by detecting an edge of the object existing in front of the vehicle from the image, position information of the point sequence generated in the object detection step, and an edge generated in the edge detection step And an object type determining step for determining the type of an object existing in front of the vehicle based on an image, and in the object type determining step,
Based on the position information of the point sequence, the road surface height at the position where the object indicated by the point sequence exists is detected on the edge image, and the road surface height on the detected edge image is used as a reference. A height position corresponding to the height of the vehicle is obtained, and when there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, It is determined that an existing object is an object that does not hinder the traveling of the vehicle, the rate of change over time of the position information of the point sequence detected in the object detection step, and the distance between the pair of edges detected in the edge detection step And when these are substantially equal, an object detected as a point sequence of a plurality of detection points in the object detection step, and an object in which an edge is detected in the edge detection step It is characterized in that it is determined that the identical object.
[0013]
According to a fourth aspect of the present invention, there is provided an object type determination method for determining the type of an object existing in front of a vehicle, wherein an electromagnetic wave is scanned in front of the vehicle, and the vehicle is moved forward based on the reflected electromagnetic wave. An object detection step of detecting an existing object as a point sequence of a plurality of detection points, and generating position information indicating a distance and an orientation of the detected point sequence from the vehicle, and capturing an image in front of the vehicle, An edge detection step of generating an edge image by detecting an edge of the object existing in front of the vehicle from the image, position information of the point sequence generated in the object detection step, and an edge generated in the edge detection step And an object type determining step for determining the type of an object existing in front of the vehicle based on an image, and in the object type determining step,
Based on the position information of the point sequence, the road surface height at the position where the object indicated by the point sequence exists is detected on the edge image, and the road surface height on the detected edge image is used as a reference. A height position corresponding to the height of the vehicle is obtained, and when there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, While determining the existing object as an object that does not hinder the traveling of the vehicle, and calculating the actual width of the object indicated by the point sequence based on the length of the point sequence detected in the object detection step, Based on the distance between the pair of edges detected in the edge detection step, the actual width of the object in which the edge is detected is calculated, and when these are substantially equal, in the object detection step, a plurality of detection points are detected. Detected as a point sequence Body and the object edge is detected in the edge detecting step is characterized in that it is determined that the identical object.
[0014]
【The invention's effect】
According to the object type discriminating apparatus according to claim 1, the position information of the point sequence indicating the object ahead of the vehicle output from the object detection unit and the edge image indicating the object ahead of the vehicle output from the edge detection unit. Both are used to determine the height position of the object in front of the vehicle, and based on this, the type of the object in front of the vehicle is discriminated. It is possible to appropriately determine whether or not there is. In particular, since the identity of the object detected as a point sequence by the object detection means and the object whose edge is detected by the edge detection means is determined, the object in front of the vehicle obstructs the traveling of the vehicle. The determination of whether or not there is can be made more reliably. Therefore, if the vehicle traveling control is performed while determining the type of the object in front of the vehicle using the object type identifying device, the traveling control of the vehicle can be performed more appropriately.
[0016]
According to the object type discrimination device according to claim 2, the position information of the point sequence indicating the object ahead of the vehicle output from the object detection unit and the edge image indicating the object ahead of the vehicle output from the edge detection unit Both are used to determine the height position of the object in front of the vehicle, and based on this, the type of the object in front of the vehicle is determined. Therefore, the object in front of the vehicle obstructs the vehicle from traveling. It is possible to appropriately determine whether it is a thing. In particular, since the identity of the object detected as a point sequence by the object detection means and the object whose edge is detected by the edge detection means is determined, the object in front of the vehicle obstructs the traveling of the vehicle. It is possible to more reliably determine whether or not there is an object, and since the actual width of the object in front of the vehicle is detected, for example, when this object hinders the vehicle traveling, Based on the information about the width, it is possible to control the vehicle to avoid this object. Therefore, if the vehicle traveling control is performed while determining the type of the object in front of the vehicle using the object type identifying device, the traveling control of the vehicle can be performed more appropriately.
[0017]
According to the object type determination method according to claim 3, the position information of the point sequence indicating the object in front of the vehicle generated in the object detection step and the edge image indicating the object in front of the vehicle generated in the edge detection step. Both are used to determine the height position of the object in front of the vehicle, and based on this, the type of the object in front of the vehicle is determined. Therefore, the object in front of the vehicle obstructs the vehicle from traveling. It is possible to appropriately determine whether it is a thing. In particular, since the identity of the object detected as a point sequence in the object detection step and the object in which the edge is detected in the edge detection step is determined, the object in front of the vehicle hinders vehicle travel. The determination of whether or not there is can be made more reliably. Therefore, if the vehicle travel control is performed while determining the type of the object in front of the vehicle by this object type determination method, the vehicle travel control can be performed more appropriately.
[0019]
According to the object type determination method according to claim 4, the position information of the point sequence indicating the object ahead of the vehicle generated in the object detection step and the edge image indicating the object ahead of the vehicle generated in the edge detection step Both are used to determine the height position of the object in front of the vehicle, and based on this, the type of the object in front of the vehicle is determined. Therefore, the object in front of the vehicle obstructs the vehicle from traveling. It is possible to appropriately determine whether it is a thing. In particular, since the identity of the object detected as a point sequence in the object detection step and the object in which the edge is detected in the edge detection step is determined, the object in front of the vehicle hinders vehicle travel. It is possible to more reliably determine whether or not there is an object, and since the actual width of the object in front of the vehicle is detected, for example, when this object hinders the vehicle traveling, Based on the information about the width, it is possible to control the vehicle to avoid this object. Therefore, if the vehicle travel control is performed while determining the type of the object in front of the vehicle by this object type determination method, the vehicle travel control can be performed more appropriately.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0021]
A schematic configuration of an object type discriminating apparatus to which the present invention is applied is shown in FIG. The object type discriminating apparatus 1 shown in FIG. 1 is mounted on a vehicle (hereinafter referred to as the host vehicle) and discriminates the type of an object existing in front of the host vehicle. A laser radar 3 and a grouping processing unit 4, a camera 6 and an image processing unit 7 that constitute an edge detection unit 5, and a determination unit 8 are provided.
[0022]
The scanning laser radar 3 emits laser light, scans the front of the host vehicle two-dimensionally in a direction horizontal to the road surface, and receives reflected laser light to detect an object existing in front of the host vehicle at a plurality of detection points. Detect as a sequence of points. The detection points detected by the scanning laser radar 3 are points having information indicating the distance from the host vehicle and information indicating the direction. The scanning laser radar 3 continuously detects such a sequence of detection points at a predetermined time interval ΔT. The time interval ΔT at this time is appropriately set according to the data processing capability in the determination unit 8, the accuracy required for the object type determination device 1, and the like.
[0023]
For example, as shown in FIGS. 2A and 2B, the scanning laser radar 3 has a scanning center axis along the traveling direction of the host vehicle 100 and a scanning origin at the center in the width direction of the host vehicle 100. It is attached to the host vehicle 100 so as to be located at
[0024]
The grouping processing unit 4 groups detection points that are substantially equal in distance from the host vehicle among a plurality of detection points detected by the scanning laser radar 3 as a point sequence indicating one object. And the grouping process part 4 outputs the positional information which shows the distance and direction from the own vehicle of the point sequence grouped as what shows one object as a result of the grouping process. The point sequence position information output from the grouping processing unit 4 is supplied to the determination unit 8.
[0025]
The camera 6 captures an image in front of the host vehicle. As shown in FIGS. 2A and 2B, the camera 6 has its optical axis along the traveling direction of the host vehicle 100 in the same manner as the scanning central axis of the scanning laser radar 3, and its origin. Is located at the center in the width direction of the host vehicle 100 in the same manner as the scanning origin of the scanning laser radar 3, and is attached to the host vehicle 100 so as to be different from the scanning laser radar 3 in the direction perpendicular to the road surface.
[0026]
In the above, an ideal example of how the scanning laser radar 3 and the camera 6 are attached to the host vehicle 100 has been described. However, the scanning center axis of the scanning laser radar 3 and the optical axis of the camera 6 are in the traveling direction of the host vehicle 100. Even if the scanning laser radar 3 or the camera 6 origin is not at the center in the width direction of the host vehicle 100, the angle of attachment of the scanning laser radar 3 or the camera 6 to the host vehicle 100 or If the attachment position is taken into consideration during the geometric calculation, the scanning laser radar 3 and the camera 6 can be handled in the same manner as when the attachment is ideal.
[0027]
The image processing unit 7 processes an image in front of the host vehicle captured by the camera 6 and detects an edge of an object appearing in the image. And the image ahead of the own vehicle is output as an edge image. Here, for the detection of the edge, for example, a general straight line detection method such as Hough transform can be applied. The edge image ahead of the host vehicle output from the image processing unit 7 is supplied to the determination unit 8.
[0028]
The determination unit 8 determines the type of an object existing ahead of the host vehicle based on the position information of the point sequence supplied from the grouping processing unit 4 and the edge image supplied from the image processing unit 7. In particular, the determination unit 8 collates the position information of the point sequence supplied from the grouping processing unit 4 with the edge image supplied from the image processing unit 7 to check the height of the object existing in front of the host vehicle. The position is also determined, and it is determined whether or not this object hinders the traveling of the host vehicle.
[0029]
Specifically, the determination unit 8 first recognizes the distance from the host vehicle of the object indicated by the point sequence based on the position information of the point sequence supplied from the grouping processing unit 4. It is determined which position on the edge image supplied from the image processing unit 7 corresponds to the position where the object indicated by the column exists. Then, on this edge image, the road surface height at the position where the object indicated by the point sequence exists is detected. The detection of the road surface height of the object presence position on the edge image can be obtained by optical calculation from the mounting position and mounting angle of the camera 6 with respect to the host vehicle, the magnification of the optical system of the camera 6, and the like.
[0030]
Next, the determination unit 8 corresponds to the height of the host vehicle based on the road surface height at the position where the object indicated by the point sequence exists based on the information about the height of the host vehicle stored in advance. The height position at which the upper end of the host vehicle is located on the edge image supplied from the image processing unit 7 when the host vehicle travels in the position where the object indicated by the point sequence exists. Where are you going?
[0031]
And in the discrimination | determination part 8, when the edge which shows the object which exists ahead of the own vehicle is above the height position calculated | required as mentioned above on an edge image, the object shown by this edge is For example, it is determined that the object does not interfere with the traveling of the host vehicle, such as a signboard installed above the head. On the other hand, when the edge indicating the object existing in front of the host vehicle is below the height position obtained as described above on the edge image, the object indicated by this edge stops on the road, for example. It is determined that the object is an obstacle to the traveling of the host vehicle, such as an obstacle such as a large vehicle.
[0032]
In the object type determination device 1 to which the present invention is applied, as described above, the determination unit 8 also determines the height position of an object present in front of the host vehicle, and the object present in front of the host vehicle is Since it is determined whether or not it is an obstacle to traveling, if this object type determining device 1 is used to control the traveling of the host vehicle while determining the type of the object ahead of the host vehicle, for example, When there is an obstacle such as a large vehicle parked in front of the host vehicle, travel control is performed to avoid this, and there is an object that does not interfere with the host vehicle's driving, such as an overhead signboard, in front of the host vehicle. In this case, it is possible to perform appropriate traveling control such that the vehicle goes straight without detouring.
[0033]
Further, in the object type determination apparatus 1 to which the present invention is applied, it is determined whether or not this object hinders the traveling of the own vehicle based on the height position of the object in front of the own vehicle. Compared with the case of discriminating the type of an object by pattern matching of images, it is possible to deal with a wide variety of objects of various shapes and to shorten the time required for the discrimination process.
[0034]
Here, the operation of the object type discrimination device 1 to which the present invention configured as described above is applied will be described with a specific example. Hereinafter, as shown in FIGS. 2A and 2B, it is assumed that the scanning laser radar 3 and the camera 6 are attached to the vehicle 100 in an ideal state, and the lens of the camera 6 is used. The center is the origin, the scanning center axis of the scanning laser radar 3 and the optical axis direction of the camera 6 are Z-axis, the direction orthogonal to the scanning central axis of the scanning laser radar 3 (optical axis of the camera 6) and parallel to the scanning plane A coordinate system in which the X axis is the X axis and the direction perpendicular to the scanning plane of the scanning laser radar 3 is the Y axis is described as a reference coordinate system.
[0035]
For example, when the preceding vehicle 101 is traveling in front of the host vehicle 100, the preceding vehicle 101 is detected as a point sequence of detection points as shown in FIG. At each of these detection points, the pulsed laser light emitted from the scanning laser radar 3 is reflected by the left and right reflectors of the preceding vehicle 101, and the reflected laser light is received by the light receiving unit of the scanning laser radar. The own vehicle measured based on the distance information from the own vehicle 100 measured based on the delay time from when the laser beam is emitted to when received, and the emission angle of the laser beam. Information from 100.
[0036]
The point sequence of the detection points detected by the scanning laser radar 3 is grouped by the grouping processing unit 4 as shown in FIG. Then, position information indicating the distance and direction from the host vehicle 100 of the point sequence of the detection points grouped by the grouping processing unit 4 is supplied to the determination unit 8.
[0037]
The determination unit 8 determines from the position information of the point sequences grouped by the grouping processing unit 4 that these point sequences correspond to the left and right reflectors of the vehicle. That is, it is determined that these point sequences correspond to the left and right reflectors of the vehicle by continuously detecting these point sequences while maintaining an interval corresponding to the pair of reflectors. Further, when these point sequences are detected continuously in time, the distance of these point sequences from the host vehicle 100 hardly changes. It is determined that the vehicle 101 is a vehicle ahead that travels ahead of the host vehicle 100.
[0038]
When a large vehicle 102 such as a truck is stopped in front of the host vehicle 100, the large vehicle 102 is detected by the scanning laser radar 3 as a point sequence of detection points as shown in FIG. The That is, the large vehicle 102 such as a truck often has a large number of reflectors in addition to the reflector at the rear part thereof, and the reflectance of the vehicle body itself is often high. For this reason, when a large vehicle 102 such as a truck is detected by the scanning laser radar 3, it is detected as a point sequence of detection points having a relatively large length. Then, the point sequence indicating the large vehicle 102 stopped in front of the host vehicle 100 is grouped as shown in FIG. 4B by the grouping processing unit 4, and the position information is supplied to the determination unit 8. It will be.
[0039]
In addition, when the signboard 103 is installed above the front of the host vehicle 100 (a height position that does not hinder the traveling of the vehicle), the signboard 103 is displayed by the scanning laser radar 3 as shown in FIG. Detected as a sequence of detection points. That is, since the signboard 103 has a high reflectance over the entire surface, when it is detected by the scanning laser radar 3, it is detected as a point sequence of detection points having a relatively large length. Then, the point sequence indicating the overhead signboard 103 in front of the host vehicle 100 is grouped as shown in FIG. 5B by the grouping processing unit 4, and the position information is supplied to the determination unit 8.
[0040]
Here, the large vehicle 101 stopped in front of the host vehicle 100 obstructs the traveling of the host vehicle 100, while the signboard 103 installed above the head of the host vehicle 100 is It does not hinder 100 travel. Therefore, the object type discrimination device 1 appropriately discriminates whether the object existing in front of the host vehicle 100 is the large vehicle 101 that is stopped or the overhead signboard 102, and the discrimination result. Is required to be reflected in the vehicle travel control.
[0041]
However, when the large vehicle 102 such as a truck is stopped in front of the host vehicle 100 and when the signboard 103 is installed overhead above the host vehicle 100, FIGS. ), The scanning laser radar 3 detects point sequences of similar detection points, these point sequences are grouped by the grouping processing unit 4, and the same point sequence position information is supplied to the discrimination unit 8. Will be. For this reason, these determinations cannot be made properly only from the position information of the point sequences detected by the scanning laser radar 3 and grouped by the grouping processing unit 4.
[0042]
Therefore, in the object type determination device 1 to which the present invention is applied, when the point sequence having a relatively large length is detected as described above and the position information is supplied, the own vehicle imaged by the camera 6 is detected. Information about these heights is also acquired using the edge image generated by the image processing unit 7 based on the image in front of 100, and the large vehicle that has stopped, which hinders the traveling of the host vehicle 100 Whether it is 102 or an overhead signboard 103 that does not hinder the traveling of the host vehicle 100 is determined.
[0043]
When a large vehicle 102 such as a truck is stopped in front of the host vehicle 100, when an image in front of the host vehicle 100 is captured by the camera 6, for example, an image as shown in FIG. Then, when the image in front of the host vehicle 100 captured by the camera 6 is processed by the image processing unit 7 and the edge of the object appearing in this image is detected, an edge image as shown in FIG. 6B is generated. Will be.
[0044]
When the point sequence having a relatively large length is detected by the scanning laser radar 3 and the position information of the point sequence is supplied by the grouping processing unit 4, the determination unit 8 performs the processing shown in FIG. ) Is generated, the road surface height P1 at the position where the object indicated by the point sequence is present is detected on the edge image. Based on the road surface height P1 at this position, a height position P2 corresponding to the height of the host vehicle 100 when the host vehicle 100 travels at this position is obtained. Then, depending on whether the edge indicating the object in front of the host vehicle 100 is above or below the obtained height position P2, the object in front of the host vehicle 100 is an object that hinders the traveling of the host vehicle 100. Determine whether or not. In the edge image shown in FIG. 6B, since the edge indicating the object ahead of the host vehicle 100 is below the height position P2, this object is, for example, the large vehicle 102 stopped in front of the host vehicle 100. It is determined that it is an obstacle such as.
[0045]
On the other hand, when the signboard 103 is installed in front of the host vehicle 100, when an image in front of the host vehicle 100 is captured by the camera 6, for example, an image as shown in FIG. 7A is obtained. Then, when the image in front of the host vehicle 100 captured by the camera 6 is processed by the image processing unit 7 and the edge of the object appearing in the image is detected, an edge image as shown in FIG. 7B is generated. Will be.
[0046]
When the point sequence having a relatively large length is detected by the scanning laser radar 3 and the position information of the point sequence is supplied by the grouping processing unit 4, the determination unit 8 is operated by the image processing unit 7 as shown in FIG. ) Is generated, the road surface height P1 at the position where the object indicated by the point sequence is present is detected on the edge image, and the road surface height P1 at this position is used as a reference. A height position P2 corresponding to the height of the host vehicle 100 when the host vehicle 100 travels through the position is obtained. Then, depending on whether the edge indicating the object in front of the host vehicle 100 is above or below the obtained height position P2, the object in front of the host vehicle 100 is an object that hinders the traveling of the host vehicle 100. Determine whether or not. In the edge image shown in FIG. 7B, since the edge indicating the object in front of the host vehicle 100 is above the height position P2, the object is, for example, the signboard 103 installed above the head in front of the host vehicle 100. Thus, it is determined that the object does not hinder the traveling of the host vehicle 100.
[0047]
By the way, in order to determine whether an object in front of the host vehicle 100 is an object that hinders the traveling of the host vehicle 100 by the method as described above, an object detected as a point sequence by the scanning laser radar 3; It is assumed that the object whose edge is detected by the image processing unit 7 is the same object. Therefore, when the discrimination unit 8 discriminates the above object, the object detected as a point sequence by the scanning laser radar 3 and the object whose edge is detected by the image processing unit 7 are the same object. It is desirable to confirm that there is.
[0048]
As a method for confirming that the object detected as the point sequence by the scanning laser radar 3 and the object whose edge is detected by the image processing unit 7 are the same object, for example, position information of the point sequence indicating the object The change rate according to the elapsed time (time change rate) and the change rate according to the elapsed time of the distance between the pair of edges indicating the object appearing in the edge image (time change rate) are obtained, and these are approximately equal. In this case, it is effective to confirm that the object detected as the point sequence by the scanning laser radar 3 and the object whose edge is detected by the image processing unit 7 are the same object.
[0049]
More specifically, for example, when there is a stop such as a large vehicle 102 stopped in front of the host vehicle 100 or an overhead signboard 103, this stop is continuously continued by the scanning laser radar 3 while the host vehicle 100 is traveling. If detected, the distance of the detected point sequence from the host vehicle 100 gradually decreases with time. On the other hand, when a pair of edges (a pair of vertical edges or a pair of horizontal edges) indicating this stationary object are detected in succession in time from the image in front of the host vehicle 100 captured by the camera 6, The distance between the detected pair of edges gradually increases with time.
[0050]
Therefore, when the object detected as a point sequence by the scanning laser radar 3 and the object whose edge is detected by the image processing unit 7 are the same stop object, the point sequence indicating the stop object from the host vehicle 100 The change according to the elapsed time of the distance coincides with the change according to the elapsed time of the reciprocal of the distance between the pair of edges indicating the stationary object. That is, the distance from the host vehicle 100 of the point sequence indicating the stop at time t is Z (t), the distance between a pair of edges indicating the stop at time t is Y (t), and the stop is at time t + Δt. When the distance from the host vehicle 100 of the point sequence is Z (t + Δt) and the distance between a pair of edges indicating a stop at time t + Δt is Y (t + Δt), the stop is indicated by the point sequence and a pair of edges. When the stationary object is the same stationary object, the following formula (1) is established.
[0051]
Z (t) / Z (t + Δt) = Y (t + Δt) / Y (t) (1)
Therefore, the discriminating unit 8 is such that the position information of the point sequence detected by the scanning laser radar 3 and the distance between the pair of edges detected by the image processing unit 7 change so as to satisfy the above formula (1). It is possible to recognize that the object indicated by the point sequence detected by the scanning laser radar 3 and the object indicated by the edge detected by the image processing unit 7 are the same object.
[0052]
As a method for confirming that the object detected as a point sequence by the scanning laser radar 3 and the object whose edge is detected by the image processing unit 7 are the same object, for example, detection by the scanning laser radar 3 is performed. The actual width of the object indicated by the point sequence is calculated based on the length of the point sequence and the pair of vertical edges detected by the image processing unit 7 is used. When the actual width of the object indicated by the vertical edge is calculated and these are substantially equal, the object detected as a point sequence by the scanning laser radar 3 is the same as the object whose edge is detected by the image processing unit 7 It is also effective to confirm that the object is an object.
[0053]
More specifically, as shown in FIG. 8, the actual width W1 of the object indicated by the point sequence detected by the scanning laser radar 3 is the number n of detection points (corresponding to the length of the point sequence) and one object. It is calculated from the scanning angle Δθ of the scanning laser radar 3 at which the detection point is detected and the distance Z from the vehicle 100 to the point sequence. That is, the actual width W1 of the object indicated by the point sequence detected by the scanning laser radar 3 is obtained by the following equation (2).
[0054]
W1 = tan (n · Δθ) · Z (2)
Further, the actual width W2 of the object indicated by the pair of vertical edges detected by the image processing unit 7 is indicated by the distance X1 between the pair of vertical edges and the pair of vertical edges, as shown in FIG. It is calculated from the distance Z of the object from the host vehicle 100 and the focal length f of the camera 3. That is, the actual width W2 of the object indicated by the pair of vertical edges detected by the image processing unit 7 is obtained by the following equation (3).
[0055]
W2 = X1 · Z / f (3)
Therefore, the determination unit 8 obtains the actual width W1 of the object indicated by the point sequence detected by the scanning laser radar 3 from the above equation (2), and the pair detected by the image processing unit 7 from the above equation (3). The actual width W2 of the object indicated by the vertical edges of the object is obtained, and by confirming that these W1 and W2 are substantially equal to each other, the object indicated by the point sequence detected by the scanning laser radar 3 and the image It can be recognized that the object indicated by the edge detected by the processing unit 7 is the same object.
[0056]
In this case, since the actual width of the object in front of the subject vehicle 100 to be discriminated is detected, for example, the large vehicle 102 in which the object is stopped in front of the subject vehicle 100 or the like. When it is determined that the vehicle is an obstacle that hinders the traveling of the host vehicle 100, the traveling control of the host vehicle 100 can be performed so as to avoid the obstacle based on the information on the width of the obstacle. Become.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an object type discrimination device to which the present invention is applied.
FIG. 2 is a diagram for explaining a mounting state of a scanning laser radar and a camera constituting the object type discrimination device with respect to the own vehicle, (A) schematically showing a state seen from the side of the own vehicle; (B) is a figure which shows typically a mode that it saw from the upper direction of the own vehicle.
FIG. 3 is a diagram showing a point sequence of detection points detected by a scanning laser radar when a preceding vehicle is traveling ahead of the host vehicle. FIG. 3 (A) shows a state in which the detection points are detected by the scanning laser radar. (B) shows the result of grouping the point sequence of detected points.
FIG. 4 is a diagram showing a point sequence of detection points detected by a scanning laser radar when a large vehicle is stopped in front of the host vehicle. FIG. 4 (A) shows a state where detection points are detected by the scanning laser radar. (B) shows the result of grouping the point sequence of detected points.
FIG. 5 is a diagram showing a point sequence of detection points detected by a scanning laser radar when a signboard is installed in front of the host vehicle. FIG. 5A shows a state in which detection points are detected by the scanning laser radar. (B) shows the result of grouping the point sequence of detected points.
6A and 6B are diagrams illustrating an image when a large vehicle is stopped in front of the host vehicle. FIG. 6A illustrates an image in front of the host vehicle captured by a camera, and FIG. 6B illustrates an image in front of the host vehicle. 3 shows an edge image generated by the image processing unit based on FIG.
7A and 7B are diagrams illustrating an image when a signboard is installed above the head of the host vehicle. FIG. 7A illustrates an image of the front of the host vehicle captured by the camera, and FIG. An edge image generated by the image processing unit based on the image is shown.
FIG. 8 is a diagram for explaining a method of calculating an actual width of an object indicated by a point sequence detected by a scanning laser radar.
FIG. 9 is a diagram illustrating a method for calculating an actual width of an object indicated by a pair of vertical edges detected by an image processing unit.
[Explanation of symbols]
1 Object type discrimination device
2 Object detection means
3 Scanning laser radar
4 Grouping processing section
5 Edge detection means
6 Camera
7 Image processing section
8 Discriminator

Claims

An object type discriminating device for discriminating the type of an object mounted on a vehicle and existing in front of the vehicle,
An electromagnetic wave is scanned in front of the vehicle, an object existing in front of the vehicle is detected as a point sequence of a plurality of detection points based on the reflected electromagnetic wave, and the distance and direction of the detected point sequence from the vehicle are determined. Object detection means for outputting position information indicating;
An edge detection means for capturing an image of the front of the vehicle, detecting an edge of an object existing in front of the vehicle from the image, and outputting the detected edge image;
A discriminating unit for discriminating a type of an object existing in front of the vehicle based on position information of the point sequence output from the object detecting unit and an edge image output from the edge detecting unit;
The discrimination means includes
Based on the position information of the point sequence output from the object detection unit, the position indicated by the point sequence detected by the object detection unit exists on the edge image output from the edge detection unit. The road surface height is detected, a height position corresponding to the height of the vehicle is obtained on the basis of the detected road surface height on the edge image, and the height position corresponding to the height of the vehicle is higher. When there is an edge indicating an object existing in front of the vehicle, the object existing in front of the vehicle is determined as an object that does not hinder the traveling of the vehicle ,
When the change rate with time of the position information of the point sequence detected by the object detection unit and the change rate with time of the distance between the pair of edges detected by the edge detection unit are respectively obtained, and these are approximately equal, An object type discriminating apparatus which judges that an object detected as a point sequence of a plurality of detection points by the object detection means and an object whose edge is detected by the edge detection means are the same object .

An object type discriminating device for discriminating the type of an object mounted on a vehicle and existing in front of the vehicle,
An electromagnetic wave is scanned in front of the vehicle, an object existing in front of the vehicle is detected as a point sequence of a plurality of detection points based on the reflected electromagnetic wave, and the distance and direction of the detected point sequence from the vehicle are determined. Object detection means for outputting position information indicating;
An edge detection means for capturing an image of the front of the vehicle, detecting an edge of an object existing in front of the vehicle from the image, and outputting the detected edge image;
A discriminating unit for discriminating a type of an object existing in front of the vehicle based on position information of the point sequence output from the object detecting unit and an edge image output from the edge detecting unit;
The discrimination means includes
Based on the position information of the point sequence output from the object detection unit, the position indicated by the point sequence detected by the object detection unit exists on the edge image output from the edge detection unit. The road surface height is detected, a height position corresponding to the height of the vehicle is obtained on the basis of the detected road surface height on the edge image, and the height position corresponding to the height of the vehicle is higher. When there is an edge indicating an object existing in front of the vehicle, the object existing in front of the vehicle is determined as an object that does not hinder the traveling of the vehicle,
Based on the length of the point sequence detected by the object detection means, the actual width of the object indicated by the point sequence is calculated, and based on the distance between the pair of edges detected by the edge detection means. The actual width of the object in which this edge is detected is calculated, and when these are substantially equal, the object detected as a point sequence of a plurality of detection points by the object detection means and the edge detected by the edge detection means An object type discriminating apparatus that determines that the detected object is the same object.

An object type determination method for determining the type of an object existing in front of a vehicle,
An electromagnetic wave is scanned in front of the vehicle, an object existing in front of the vehicle is detected as a point sequence of a plurality of detection points based on the reflected electromagnetic wave, and the distance and direction of the detected point sequence from the vehicle are determined. An object detection step for generating position information indicating;
An edge detection step of capturing an image in front of the vehicle and detecting an edge of an object existing in front of the vehicle from the image to generate an edge image;
An object type determining step for determining the type of an object existing in front of the vehicle based on the position information of the point sequence generated in the object detecting step and the edge image generated in the edge detecting step. ,
In the object type determination step,
Based on the position information of the point sequence, the road surface height at the position where the object indicated by the point sequence exists is detected on the edge image, and the road surface height on the detected edge image is used as a reference. A height position corresponding to the height of the vehicle is obtained, and when there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, While distinguishing an existing object as an object that does not interfere with the driving of the vehicle ,
When the temporal change rate of the position information of the point sequence detected in the object detection step and the temporal change rate of the distance between the pair of edges detected in the edge detection step are respectively obtained, and when these are substantially equal, An object type determination method , wherein an object detected as a point sequence of a plurality of detection points in the object detection step and an object whose edge is detected in the edge detection step are determined to be the same object .

An object type determination method for determining the type of an object existing in front of a vehicle,
An electromagnetic wave is scanned in front of the vehicle, an object existing in front of the vehicle is detected as a point sequence of a plurality of detection points based on the reflected electromagnetic wave, and the distance and direction of the detected point sequence from the vehicle are determined. An object detection step for generating position information indicating;
An edge detection step of capturing an image in front of the vehicle and detecting an edge of an object existing in front of the vehicle from the image to generate an edge image;
An object type determining step for determining the type of an object existing in front of the vehicle based on the position information of the point sequence generated in the object detecting step and the edge image generated in the edge detecting step. ,
In the object type determination step,
Based on the position information of the point sequence, the road surface height at the position where the object indicated by the point sequence exists is detected on the edge image, and the road surface height on the detected edge image is used as a reference. A height position corresponding to the height of the vehicle is obtained, and when there is an edge indicating an object existing in front of the vehicle above the height position corresponding to the height of the vehicle, While distinguishing an existing object as an object that does not interfere with the driving of the vehicle,
Based on the length of the point sequence detected in the object detection step, the actual width of the object indicated by the point sequence is calculated, and based on the distance between the pair of edges detected in the edge detection step. When the actual width of the object in which the edge is detected is calculated and they are substantially equal, the object detected as a point sequence of a plurality of detection points in the object detection step and the edge in the edge detection step are detected. An object type discriminating method characterized in that it is determined that the detected object is the same object.