JPWO2019031137A1 - 路側物検出装置、路側物検出方法及び路側物検出システム - Google Patents
路側物検出装置、路側物検出方法及び路側物検出システム Download PDFInfo
- Publication number
- JPWO2019031137A1 JPWO2019031137A1 JP2019535040A JP2019535040A JPWO2019031137A1 JP WO2019031137 A1 JPWO2019031137 A1 JP WO2019031137A1 JP 2019535040 A JP2019535040 A JP 2019535040A JP 2019535040 A JP2019535040 A JP 2019535040A JP WO2019031137 A1 JPWO2019031137 A1 JP WO2019031137A1
- Authority
- JP
- Japan
- Prior art keywords
- roadside object
- vehicle
- roadside
- threshold value
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 230000001133 acceleration Effects 0.000 claims description 40
- 238000009795 derivation Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 35
- 230000008859 change Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 17
- 230000006399 behavior Effects 0.000 description 8
- 230000002265 prevention Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は本発明の実施形態に係る路側物検出システムのハードウェアを示すブロック図である。
路側物検出システム100は、外界認識部110、走行状態量検出部120、演算処理部130を備える。
外界認識部110としてのステレオカメラは、車両200の前方を撮影する撮像手段であり、車両200の幅方向に互いに離間した位置に設置した左右一対のカメラを有する。
車両200は、走行状態量検出部120に含まれるセンサとして、車両200の走行速度を検出する車速センサ121、車両200のステアリングシステムにおける操舵角及び操舵角速度を検出する操舵角センサ122、車両200の前後及び左右の加速度を検出する加速度センサ123などを備える。
演算処理部130は、外界認識部110及び走行状態量検出部120からの情報を入力するための入力回路131、MPU(Microprocessor Unit)132、ROM(Read Only Memory)133、RAM(Random Access Memory)134、路側物検出情報などを運転支援制御ユニット300に出力するための出力回路135などを含むマイクロコンピュータを備える。
以下では、演算処理部130における路側物検出処理を詳細に説明する。
図2は、演算処理部130における路側物検出処理の第1実施形態を示す機能ブロック図である。
図2に示すように、演算処理部130は、路側物特徴量導出部U11、路側物閾値導出部U12、及び、路側物判定部U13の機能をソフトウェアとして備える。
路側物特徴量導出部U11は、外界認識部110によって取得された外界情報に基づいて、路側物候補を抽出するとともに、路側物候補と自車との位置関係に関する情報である位置情報(第1特徴量)、及び、路側物候補の路面からの高さに関する情報である高さ情報(第2特徴量)を求める。
そして、路側物特徴量導出部U11は、視差画像を解析して、路面から所定以上に高い画像座標を路側物候補、詳細には、縁石の候補として検出し、路側物候補とした画像座標を、自車を基準位置として路側物候補の位置を特定するための2次元の位置情報とする。
なお、外界認識部110が、視差画像の算出を行うカメラコンピュータを一体的に備え、演算処理部130は、外界認識部110から視差画像のデータを取得することができる。
つまり、演算処理部130は、一旦同一の高さ基準に基づき路側物候補を検出する。
そして、演算処理部130は、路側物候補の中から、路側物と判断するものと路側物ではないと判断するものとを選別するための高さの判定基準を、自車から路側物候補までが近いか遠いかに応じて設定する。
換言すれば、演算処理部130は、路側物候補の中から、路側物候補として残すものと路側物候補から除外するものとを選別するための高さの判定基準を、自車から路側物候補までが近いか遠いかに応じて設定する。
そこで、演算処理部130は、図3に示すように、車両200から路側物候補までの距離D1(m)が長いほど閾値TH1をより高くする。これにより、演算処理部130は、自車から遠い領域において路側物ではない物体を路側物として誤検出することを抑止しつつ、自車から近い領域においては実際の路側物を検知できなくなることを抑制する。
換言すれば、演算処理部130は、自車の前後方向において路側物候補が自車から遠い場合は、近い場合よりも路側物候補を路側物として扱われ難くすることで、日照条件等が良好な場面では遠方の道路曲率までを高精度に検出して、車線維持に有用な路側物の検出を行う。
一方、演算処理部130は、日照条件等が良好でない時は、近傍の道路形状だけを誤らずに検出できるので、車線逸脱の防止に有用な路側物の検出を行う。
演算処理部130は、ステップS501で、外界認識部110(ステレオカメラ)で取得された左撮像画像と右撮像画像とに基づき視差画像を生成する。
詳細には、演算処理部130は、車両200からの距離を一定間隔(例えば5m間隔)に区切り、区切った領域毎に路面高さの中央値を求め、車両200から近い領域から遠い領域に応じて路面高さH2を求める。
上記の路面高さH2は、路側物の高さの基準となる。
更に、演算処理部130は、高さHが所定以上である画像座標(i, j)を路側物候補として抽出し、路側物候補として抽出した画像座標(i, j)及び当該画像座標(i, j)について求めた高さHのデータを、路側物候補の位置情報及び高さ情報として記憶し、更に、路側物候補として記憶した画像座標(i, j)の数NCを計数して記憶する。
後述するように、演算処理部130は、画像座標(i, j)についてその高さHと閾値TH1との比較による選別処理を実施する毎に数NCを減算し、減算結果の数NCに基づき、選別処理を実施する必要がある画像座標(i, j)の残り数を判断する。
演算処理部130は、数NCが零よりも大きい場合、ステップS505に進み、数NCを1だけ減算する処理を実施することで、1つの画像座標(i, j)について選別処理を実施した履歴とする。
なお、演算処理部130は、注目する画像座標(i, j)を距離D1のデータに変換し、係る変換処理で得た距離D1に基づき、注目する画像座標(i, j)の選別処理に用いる閾値TH1を設定する。
図5に示すように、演算処理部130は、注目する画像座標(i, j)が自車から遠い場合は、近い場合よりも閾値TH1を高くする。
つまり、外界認識部110から遠くなるほど画素分解能が低下し、視差画像に基づく路側物候補の検出精度が低下する。
このため、演算処理部130は、路側物であると判定する高さを自車から遠いほど高くして、外界認識部110から遠い領域での路側物の誤検出を抑止しつつ、外界認識部110から近い領域での路側物の検出漏れを抑止する。
そして、注目する画像座標(i, j)の高さHが閾値TH1よりも高い場合、演算処理部130は、ステップS508に進み、今回注目した画像座標(i, j)を路側物であると判断し、その位置情報や高さの情報をメモリに記憶する。
換言すれば、演算処理部130は、一定の高さ基準に基づき抽出した路側物候補の中から、路側物候補個々の前後位置に応じた閾値TH1に基づき、路側物候補として残すものを絞り込む。
その後、演算処理部130は、ステップS504に戻り、数NCと零とを比較することで、路側物候補とした画像座標(i, j)の全てについて選別処理が完了しているか否かを判断する。
一方、演算処理部130は、ステップS507で、注目する画像座標(i, j)の高さHが閾値TH1以下であると判断すると、ステップS508及びステップS509を迂回して、ステップS504に戻る。
つまり、演算処理部130は、注目する画像座標(i, j)の高さHが閾値TH1以下である場合、当該画像座標(i, j)を路側物候補から除外し、路側物として扱われないようにする。
そして、演算処理部130は、全ての画像座標(i, j)について選別処理を終えると、ステップS504で数NCが零であると判断するようになって、ステップS504からステップS510に進み、路側物検出処理で用いる平滑フィルターの過去値の更新などを行った後、一連の路側物検出処理を終了させる。
つまり、同じ高さHの縁石が車両200の前後方向での位置に応じて路側物として扱われたり扱われなかったりすることは、路側物検出処理において前後方向の位置に応じて路側物と判断する高さを異ならせていることになる。
図6は、演算処理部130における路側物検出処理の第2実施形態を示す機能ブロック図である。
図6に示すように、演算処理部130は、図2の第1実施形態と同様に、路側物特徴量導出部U21、路側物閾値導出部U22、及び、路側物判定部U23の機能をソフトウェアとして備える。
路側物閾値導出部U22は、第1実施形態の路側物閾値導出部U12と同様に、自車の前後方向において路側物候補が自車から遠い場合は、近い場合よりも閾値TH2を高く設定するが、更に、自車の速度または加速度が高い場合は、低い場合よりも閾値TH2を高くする機能を有する。
換言すれば、路側物閾値導出部U22は、自車の挙動が大きい場合は、小さい場合よりも閾値TH2を高くする機能を有する。
そして、撮像画像にブレが生じることで、撮像画像に基づく路側物検出の信頼性が低下する。
そこで、路側物閾値導出部U22は、自車の前後方向における路側物候補までの距離D1が同じでも、車両200の速度または加速度が高い場合は、低い場合に比べて閾値TH2をより高く変更し、撮像画像のブレによる路側物の誤検出を抑止する。
第2実施形態における路側物検出処理は、走行状態量検出部120から走行状態量の読み込みを行うステップS602を付加した点が第1実施形態と異なる。
更に、第2実施形態における路側物検出処理では、ステップS607における閾値TH2の設定処理において、車両200の前後方向における自車と画像座標(i, j)との位置関係、及び、車両200の速度または加速度に基づいて閾値TH2を設定し、係る閾値TH2をステップS608での比較処理に用いる点が第1実施形態と異なる。
そして、第2実施形態における路側物検出処理では、上記以外の各処理は、図4のフローチャートに示した第1実施形態と同様に実施される。
演算処理部130は、ステップS602で、走行状態量検出部120に含まれる加速度センサ123が検出した車両200の前後加速度を読み込む。
また、演算処理部130は、ステップS607で、注目する画像座標(i, j)が自車から遠い場合は、近い場合よりも閾値TH2stを高く設定する。更に、演算処理部130は、閾値TH2stを補正するための補正係数Kac(Kac>1.0)を、前後加速度に応じて設定し、閾値TH2stに補正係数Kacを乗算した結果を閾値TH2(TH2←TH2st×Kac)とする。
図8Aに示す距離D1と閾値TH2stとの相関は、第1実施形態の閾値TH1の設定特性を示す図5と同様である。
つまり、車両200の前後加速度が高くなるほど撮像画像のブレが大きくなり、路側物候補として抽出した画像座標(i, j)の信頼性が低下するので、演算処理部130は、前後加速度が高くなるほど閾値TH2をより高く変更し、前後加速度が高い状態での路側物の誤検出を抑制する。
なお、前後加速度には、加速加速度と減速加速度との双方を含み、演算処理部130は、車両200が急加速状態であるとき及び急減速状態であるときに閾値TH2をより高い値に変更する。
換言すれば、演算処理部130は、自車から遠いほど閾値TH2をより高くし、かつ、車速又は加速度が高いほど閾値TH2をより高くする。
例えば、演算処理部130は、距離D1、及び、前後加速度又は車速を変数として閾値TH2を求めるマップ又は関数を有し、係るマップ又は関数を用いて閾値TH2を算出することができる。
つまり、距離D1及び高さHが同じ縁石が、車両200の加速度や車速によるピッチ変動の大きさに応じて路側物として扱われたり扱われなかったりすることは、路側物検出処理において加速度や車速、或いはピッチ変動の大きさに応じて路側物と判断する高さ(閾値TH)を異ならせていることになる。
図9は、演算処理部130における路側物検出処理の第3実施形態を示す機能ブロック図である。
図9に示すように、演算処理部130は、路側物特徴量導出部U31、路側物閾値導出部U32、路側物判定部U33、及び、自車進路予測部U34の機能をソフトウェアとして備える。
自車進路予測部U34は、走行状態量検出部120が検出した車両200の走行状態量に基づき自車の進路を予測する。
車両200の進路正面において路側物が誤検出されると、例えば、運転支援システムによる制動処理が誤って実施されてしまう。一方、車両200の進路正面から左右に離れた位置で路側物を検出できないと、車線逸脱防止などの運転支援が機能不全になってしまう。
また、路側物閾値導出部U32が、進路予測の結果を用いずに、そのときの自車正面から近い路側物候補については遠い路側物候補よりも閾値TH3を高く設定すると、例えば、図11に示す路側物Aを、誤ってノイズとして除去することになる。
このため、そのときの自車正面に近い路側物候補については遠い路側物候補よりも閾値TH3を高く設定した場合、路側物Aの高さHが閾値TH3よりも低いことになって、路側物Aが路側物として検出されなくなる可能性がある。
これにより、路側物閾値導出部U32は、自車進行路の中央で路側物が誤検出されることで誤制動が実施されてしまうことを抑止し、また、車線逸脱防止などのステアリング制御指令の生成ができなくなることを抑制する。
図12の例では、自車の正面にまっすぐ延びる道路RD1の左側の路端相当ラインに沿って路側物としての高さを有する障害物2−4が設置され、道路RD1から右前方に向けて分岐する分岐路RD2に障害物としての制御介入を期待しない高さの障害物1が設置されている。
係る条件で、運転者が分岐路RD2に向けて車両200を進めようとステアリング操作しても、障害物1が制御介入の実施対象として検出されると、分岐路RD2への進行を妨げるステアリング制御などが行われることになる。
このため、走行に支障のない障害物1が路上にあるときに、係る障害物1に基づき無用なステアリング制御が実施されることが抑制され、誤作動なく車両200を分岐路RD2に向けて走行させることができる。
第3実施形態における路側物検出処理では、第2実施形態における路側物検出処理を示す図7のフローチャートに対して、進路予測を実施するステップS705が追加されている。更に、図13のフローチャートにおいて、ステップS702における走行状態量の算出処理の内容、ステップS708における閾値TH3の算出処理の内容、ステップS709で用いる閾値THは、第2実施形態と異なる。
一方、図13のフローチャートにおいて、上記以外の各ステップでの処理内容は、図7のフローチャートに示した第2実施形態と同様である。
ここで、自車位置を原点とすると、予測進路は原点を通る旋回半径Rの円弧で近似できる。
そこで、演算処理部130は、ステップS705で、操舵角S、車速V、スタビリティファクタA、ホイールベースLに基づき、予測進路を表す旋回半径R(R=(1+A・V2)×(L/S))を算出する。
そして、演算処理部130は、ステップS708で、車両200の左右方向における予測進路と画像座標(i, j)との位置関係、つまり、車両200の左右方向において、注目する画像座標(i, j)が予測進路から遠いか近いかに応じて閾値TH3を設定する。
図14に示すように、演算処理部130は、距離D2が長くなるほど閾値TH3を低くし、注目する画像座標(i, j)が予測進路から遠い場合は、近い場合よりも閾値TH3を低くする。
換言すれば、演算処理部130は、自車の進行路の中央に近い画像座標(i, j)については閾値TH3を高くし、自車の進行路から左右に外れる画像座標(i, j)については閾値TH3を低くすることで、自車の進行路の中央に近い路側物候補を路側物として扱われ難くする。
上記第3実施形態によると、制動制御に繋がる可能性が高い自車進行路の中央では、路側物の誤検知の抑止を図る一方、自車進行路の両脇では、路側物の検知漏れによってステアリング制御指令の生成ができなくなることを抑止する。
つまり、略同じ高さHの障害物が車両200の左右方向での位置に応じて路側物として扱われたり扱われなかったりすることは、路側物検出処理において予測進路からの距離D2に応じて路側物と判断する高さを異ならせていることになる。
図15は、演算処理部130における路側物検出処理の第4実施形態を示す機能ブロック図である。
図15に示すように、演算処理部130は、第3実施形態と同様に、路側物特徴量導出部U41、路側物閾値導出部U42、路側物判定部U43、及び、自車進路予測部U44の機能をソフトウェアとして備える。
ここで、路側物閾値導出部U42は、車両200の左右方向における予測進路から画像座標(i, j)までの距離D2、操舵角、及び操舵角速度に基づき閾値TH4を設定する点で、第3実施形態の路側物閾値導出部U32とは異なる。
そして、ヨー角変化やロール角変化などの自車挙動が大きい場合は、小さい場合よりも撮像画像のブレが大きくなって、路側物候補の検出処理の信頼性が低下する。
これにより、第3実施形態の作用効果に加えて、車両200のヨー角変化やロール角変化が大きいときに、路側物が誤って検出されることを抑止できる。
第4実施形態における路側物検出処理では、第3実施形態における路側物検出処理を示す図13のフローチャートに対して、ステップS808における閾値TH4の設定処理が異なる。
演算処理部130は、ステップS808で、まず、車両200の左右方向における予測進路と画像座標(i, j)との位置関係に基づき閾値TH4stを設定する。
上記の閾値TH4stの設定特性は、第3実施形態における閾値TH3の設定特性と同様である。
更に、演算処理部130は、ステップS808で、閾値TH4stを補正するための補正係数Kyrを操舵角及び操舵角速度に基づき設定し、閾値TH4stに補正係数Kyrを乗算した結果を閾値TH4(TH4←TH4st×Kyr)に設定する。
図17Bに示すように、演算処理部130は、操舵角が大きいほど補正係数Kyrをより大きな値に設定し、かつ、操舵角速度が大きいほど補正係数Kyrをより大きな値に設定する。
換言すれば、演算処理部130は、操舵角からヨー角変化を推定し、また、操舵角速度からロール角変化を推定し、ヨー角変化、ロール角変化が大きく自車挙動が大きい場合には、小さい場合に比べて補正係数Kyrをより大きな値に設定することで、閾値TH4をより高い値に設定する。
また、演算処理部130は、操舵角と操舵角速度とのいずれか一方に応じて、閾値TH4を変更することができる。
演算処理部130は、次のステップS809で、注目する画像座標(i, j)の高さHと閾値TH4とを比較し、閾値TH4を超える高さHの画像座標(i, j)を、路側物と判定してメモリに記憶する。
つまり、予測進路から同距離でかつ同じ高さの障害物が、ヨー角変化やロー角変化の大きさに応じて路側物として扱われたり扱われなかったりすることは、路側物検出処理において、ヨー角変化やロー角変化の大きさに応じて路側物と判断する高さを異ならせていることになる。
図18は、演算処理部130における路側物検出処理の第5実施形態を示す機能ブロック図である。
図18に示すように、演算処理部130は、路側物特徴量導出部U51、路側物閾値導出部U52、路側物判定部U53、及び、自車進路予測部U54の機能をソフトウェアとして備える。
つまり、路側物閾値導出部U52は、第1実施形態の路側物閾値導出部U12と同様に、車両200の前後方向において注目する路側物候補が自車から遠い場合は自車から近い場合に比べて閾値TH5を高くし、更に、第3実施形態の路側物閾値導出部U32と同様に、自車の左右方向において画像座標(i, j)が予測進路から近い場合は遠い場合よりも閾値TH5を高くする。
更に、自車進行路の中央で路側物が誤検出されて誤制動が実施されてしまうことが抑止されるとともに、車線逸脱防止などのステアリング制御指令の生成ができなくなることが抑制される。
第5実施形態における路側物検出処理では、第4実施形態における路側物検出処理を示す図16のフローチャートに対して、ステップS908における閾値TH5の設定処理が異なり、ステップS901−ステップS907、ステップS909−ステップS912の処理内容は、図16のステップS801−ステップS807、ステップS809−ステップS812と同様であるので、詳細な説明は省略する。
更に、演算処理部130は、ステップS908で、閾値TH5stを補正するための補正係数Krlを、自車の左右方向における予測進路から画像座標(i, j)までの距離D2に応じて設定し、閾値TH5stに補正係数Krlを乗算した結果を閾値TH5(TH5←TH5st×Krl)に設定する。
図20Bに示すように、演算処理部130は、距離D2が短くなるほど、換言すれば、自車の進行路の中央に近いほど、補正係数Krlをより大きな値として閾値TH5stをより高い値に変更し、自車の進行路から左右に所定以上離れた領域については補正係数Krlを1に設定して閾値TH5stを実質的に補正しない。
なお、演算処理部130は、車両200の前後方向における車両200から注目する画像座標(i, j)までの距離D1と、車両200の左右方向における予測進路から画像座標(i, j)までの距離D2とを変数とするマップ又は関数を用いて、閾値TH5を設定することができる。
ここで、演算処理部130は、補正係数Kd1(Kd1>1.0)は、距離D1が長いほど、つまり、注目する画像座標(i, j)が自車から遠いほど大きな値に設定する。
例えば、距離D2に基づき設定した閾値THstを距離D1に基づき設定した補正係数Kd1で補正して閾値TH5を算出する構成において、補正係数Kd1による補正度合を小さく抑制すれば、主に距離D2に応じて閾値TH5を変更させながら、画素分解能が低下する遠方での誤検出を抑制できる。
つまり、同じ高さHの縁石が車両200の前後方向での位置に応じて路側物として扱われたり扱われなかったりし、かつ、略同じ高さHの障害物が車両200の左右方向での位置に応じて路側物として扱われたり扱われなかったりすることは、路側物検出処理において、前後方向の位置及び予測進路からの距離D2に応じて路側物と判断する高さ(閾値TH)を異ならせていることになる。
また、好ましい実施形態を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の変形態様を採り得ることは自明である。
また、演算処理部130は、路側物候補と予測進路との距離D2に応じた閾値THの設定処理と、前後加速度に応じた閾値THの補正処理とを組み合わせて、閾値THを算出することができる。
また、上記実施形態では、外界認識部110としてステレオカメラを用いたが、3次元スキャニング式のレーザーレーダを用いるシステムにおいても、上記実施形態と同様に設定した閾値THを用いて路側物の検出を行えることは明らかである。
これは、撮像範囲が暗いときには、画素分解能が低下するためであり、明るさに応じて閾値THを補正することで誤検出を抑止できる。
また、演算処理部130は、前後方向における自車から路側物候補までの距離D1及び/又は左右方向における予測進路から路側物候補までの距離D2に応じて設定した閾値THを、路面の凹凸によって撮像画像のブレが大きくなるときには、路面が平坦でブレが小さいときに比べて大きくすることができる。
これにより、路面の凹凸による撮像画像のブレによって、路側物が誤検出されることを抑制できる。
Claims (20)
- 外界認識部によって取得された外界情報に基づいて、自車と路側物候補との位置関係に関する第1特徴量と、前記路側物候補の高さに関する第2特徴量と、を求める路側物特徴量導出部と、
前記路側物特徴量導出部によって求められた前記第1特徴量に基づいて、前記路側物候補を路側物として判定するための高さに関する閾値を求める路側物閾値導出部と、
前記路側物特徴量導出部によって求められた前記第2特徴量が前記路側物閾値導出部によって求められた前記閾値を超える場合に前記路側物候補を路側物と判定する路側物判定部と、
を備えることを特徴とする路側物検出装置。 - 請求項1に記載の路側物検出装置において、
前記路側物閾値導出部は、前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を高くすることを特徴とする路側物検出装置。 - 請求項2に記載の路側物検出装置において、
前記路側物閾値導出部は、更に、走行状態量検出部によって取得される前記自車の速度または加速度が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出装置。 - 請求項1に記載の路側物検出装置において、
前記第1特徴量は、走行状態量検出部によって取得された前記自車の走行状態量から予測される前記自車の予測進路と、前記路側物候補との位置関係に関する特徴量であり、
前記路側物閾値導出部は、前記自車の左右方向において前記路側物候補が前記自車の予測進路から遠い場合は近い場合よりも前記閾値を低くすることを特徴とする路側物検出装置。 - 請求項4に記載の路側物検出装置において、
前記走行状態量検出部によって取得される前記自車の走行状態量は、操舵角または操舵角速度を含み、
前記路側物閾値導出部は、更に、前記操舵角または操舵角速度が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出装置。 - 請求項1に記載の路側物検出装置において、
前記路側物閾値導出部は、更に、走行状態量検出部によって取得される前記自車の車両挙動が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出装置。 - 請求項1に記載の路側物検出装置において、
前記路側物閾値導出部は、前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を高くし、前記自車の左右方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を低くすることを特徴とする路側物検出装置。 - 自車と、外界認識センサによって取得された前記自車の進行方向の路側物候補との位置関係に基づいて、前記路側物候補を路側物として扱うか否かを異ならせることを特徴とする路側物検出装置。
- 請求項8に記載の路側物検出装置において、
前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記路側物候補を路側物として扱われ難くすることを特徴とする路側物検出装置。 - 請求項8に記載の路側物検出装置において、
前記自車の左右方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記路側物候補を路側物として扱われ易くすることを特徴とする路側物検出装置。 - 外界認識部によって取得された外界情報に基づいて、自車と路側物候補との位置関係に関する第1特徴量と、前記路側物候補の高さに関する第2特徴量と、を求める路側物特徴量導出ステップと、
前記路側物特徴量導出ステップによって求められた前記第1特徴量に基づいて、前記路側物候補を路側物として判定するための高さに関する閾値を求める路側物閾値導出ステップと、
前記路側物特徴量導出ステップによって求められた前記第2特徴量が前記路側物閾値導出ステップによって求められた前記閾値を超える場合に前記路側物候補を路側物と判定する路側物判定ステップと、
を備えることを特徴とする路側物検出方法。 - 請求項11に記載の路側物検出方法において、
前記路側物閾値導出ステップは、前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を高くすることを特徴とする路側物検出方法。 - 請求項12に記載の路側物検出方法において、
前記路側物閾値導出ステップは、更に、走行状態量検出部によって取得される前記自車の速度または加速度が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出方法。 - 請求項11に記載の路側物検出方法において、
前記第1特徴量は、走行状態量検出部によって取得された前記自車の走行状態量から予測される前記自車の予測進路と、前記路側物候補との位置関係に関する特徴量であり、
前記路側物閾値導出ステップは、前記自車の左右方向において前記路側物候補が前記自車の予測進路から遠い場合は近い場合よりも前記閾値を低くすることを特徴とする路側物検出方法。 - 請求項14に記載の路側物検出方法において、
前記走行状態量検出部によって取得される前記自車の走行状態量は、操舵角または操舵角速度を含み、
前記路側物閾値導出ステップは、更に、前記操舵角または操舵角速度が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出方法。 - 請求項11に記載の路側物検出方法において、
前記路側物閾値導出ステップは、更に、走行状態量検出部によって取得される前記自車の車両挙動が大きい場合は小さい場合よりも前記閾値を高くすることを特徴とする路側物検出方法。 - 請求項11に記載の路側物検出方法において、
前記路側物閾値導出ステップは、前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を高くし、前記自車の左右方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を低くすることを特徴とする路側物検出方法。 - 外界情報を取得する外界認識部と、
前記外界認識部によって取得された外界情報に基づいて、自車と路側物候補との位置関係に関する第1特徴量と、前記路側物候補の高さに関する第2特徴量と、を求める路側物特徴量導出部と、
前記路側物特徴量導出部によって求められた前記第1特徴量に基づいて、前記路側物候補を路側物として判定するための高さに関する閾値を求める路側物閾値導出部と、
前記路側物特徴量導出部によって求められた前記第2特徴量が前記路側物閾値導出部によって求められた前記閾値を超える場合に前記路側物候補を路側物と判定する路側物判定部と、
を備えることを特徴とする路側物検出システム。 - 請求項18に記載の路側物検出システムにおいて、
前記路側物閾値導出部は、前記自車の前後方向において前記路側物候補が前記自車から遠い場合は近い場合よりも前記閾値を高くすることを特徴とする路側物検出システム。 - 請求項18に記載の路側物検出システムにおいて、
前記自車の走行状態量を検出する走行状態量検出部と、
前記走行状態量検出部によって検出された走行状態量から前記自車の進路を予測する自車進路予測部と、
を更に備え、
前記第1特徴量は、前記自車進路予測部によって予測された前記自車の予測進路と、前記路側物候補との位置関係に関する特徴量であり、
前記路側物閾値導出部は、前記自車の左右方向において前記路側物候補が前記自車の予測進路から遠い場合は近い場合よりも前記閾値を低くすることを特徴とする路側物検出システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017152342 | 2017-08-07 | ||
JP2017152342 | 2017-08-07 | ||
PCT/JP2018/025977 WO2019031137A1 (ja) | 2017-08-07 | 2018-07-10 | 路側物検出装置、路側物検出方法及び路側物検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019031137A1 true JPWO2019031137A1 (ja) | 2020-02-27 |
JP6868699B2 JP6868699B2 (ja) | 2021-05-12 |
Family
ID=65272159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019535040A Active JP6868699B2 (ja) | 2017-08-07 | 2018-07-10 | 路側物検出装置、路側物検出方法及び路側物検出システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11151395B2 (ja) |
EP (1) | EP3667612A4 (ja) |
JP (1) | JP6868699B2 (ja) |
WO (1) | WO2019031137A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10532697B2 (en) * | 2018-06-14 | 2020-01-14 | International Business Machines Corporation | Augmented reality-based roadside content viewing within primary field of view |
KR102524296B1 (ko) * | 2018-12-07 | 2023-04-24 | 현대자동차주식회사 | 적재물 추락 발생 감지에 따른 차량 제어 방법 및 시스템 |
DE102019200753A1 (de) * | 2019-01-22 | 2020-07-23 | Conti Temic Microelectronic Gmbh | Verfahren zur Überwachung einer Position eines Stützrades eines Anhängers und ein Kamerasystem zur Überwachung einer Position eines Stützrades eines Anhängers sowie ein Kraftfahrzeug mit einem Kamerasystem |
JP7284670B2 (ja) * | 2019-09-06 | 2023-05-31 | 新明和工業株式会社 | 塵芥収集車 |
JP7385489B2 (ja) | 2020-02-13 | 2023-11-22 | 日立Astemo株式会社 | 運転補助装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058997A (ja) * | 2001-08-09 | 2003-02-28 | Nissan Motor Co Ltd | 走行路環境検出装置 |
JP2005010891A (ja) * | 2003-06-17 | 2005-01-13 | Nissan Motor Co Ltd | 車両用道路形状認識装置 |
JP2010020476A (ja) * | 2008-07-09 | 2010-01-28 | Nissan Motor Co Ltd | 物体検出装置及び物体検出方法 |
JP2017033366A (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 道路境界検出装置、自己位置推定装置及び道路境界検出方法 |
WO2017022080A1 (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
WO2017022079A1 (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP2017036981A (ja) * | 2015-08-10 | 2017-02-16 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
WO2017132278A1 (en) * | 2016-01-29 | 2017-08-03 | Faraday&Future Inc. | System and method for camera-based detection of object heights proximate to a vehicle |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3885818B2 (ja) | 2005-05-27 | 2007-02-28 | トヨタ自動車株式会社 | 車両逸脱判定装置 |
JP2009120116A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Ltd | 車両衝突回避支援装置 |
JP5829980B2 (ja) * | 2012-06-19 | 2015-12-09 | トヨタ自動車株式会社 | 路側物検出装置 |
JP6519262B2 (ja) | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
KR102310286B1 (ko) * | 2014-11-07 | 2021-10-07 | 현대모비스 주식회사 | 특정물체 감지 장치 및 특정물체 감지 방법 |
JP6270746B2 (ja) * | 2015-01-06 | 2018-01-31 | オムロンオートモーティブエレクトロニクス株式会社 | 物体検出装置、及び、車両用衝突防止制御装置 |
JP6597408B2 (ja) * | 2016-03-04 | 2019-10-30 | 株式会社デンソー | 衝突緩和制御装置 |
US10279786B2 (en) * | 2016-12-06 | 2019-05-07 | Aptiv Technologies Limited | Automatic braking system |
-
2018
- 2018-07-10 EP EP18843817.0A patent/EP3667612A4/en active Pending
- 2018-07-10 JP JP2019535040A patent/JP6868699B2/ja active Active
- 2018-07-10 US US16/628,105 patent/US11151395B2/en active Active
- 2018-07-10 WO PCT/JP2018/025977 patent/WO2019031137A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058997A (ja) * | 2001-08-09 | 2003-02-28 | Nissan Motor Co Ltd | 走行路環境検出装置 |
JP2005010891A (ja) * | 2003-06-17 | 2005-01-13 | Nissan Motor Co Ltd | 車両用道路形状認識装置 |
JP2010020476A (ja) * | 2008-07-09 | 2010-01-28 | Nissan Motor Co Ltd | 物体検出装置及び物体検出方法 |
JP2017033366A (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 道路境界検出装置、自己位置推定装置及び道路境界検出方法 |
WO2017022080A1 (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
WO2017022079A1 (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP2017036981A (ja) * | 2015-08-10 | 2017-02-16 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
WO2017132278A1 (en) * | 2016-01-29 | 2017-08-03 | Faraday&Future Inc. | System and method for camera-based detection of object heights proximate to a vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2019031137A1 (ja) | 2019-02-14 |
US20200125865A1 (en) | 2020-04-23 |
US11151395B2 (en) | 2021-10-19 |
EP3667612A1 (en) | 2020-06-17 |
EP3667612A4 (en) | 2021-04-21 |
JP6868699B2 (ja) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868699B2 (ja) | 路側物検出装置、路側物検出方法及び路側物検出システム | |
US9912933B2 (en) | Road surface detection device and road surface detection system | |
EP3324152B1 (en) | Own-position estimating device and own-position estimating method | |
US7542835B2 (en) | Vehicle image processing device | |
JP4788798B2 (ja) | 物体検出装置 | |
US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP5276637B2 (ja) | 車線推定装置 | |
US10147003B2 (en) | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof | |
JP5867176B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
JP4958279B2 (ja) | 物体検出装置 | |
WO2016183074A1 (en) | Road profile along a predicted path | |
US7623700B2 (en) | Stereoscopic image processing apparatus and the method of processing stereoscopic images | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP2008033750A (ja) | 物体傾き検出装置 | |
JP2008117073A (ja) | 割り込み車両検出装置 | |
JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP6408935B2 (ja) | 走行区画線認識装置 | |
JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
JP6044084B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP6841553B2 (ja) | 撮像装置 | |
JP7043787B2 (ja) | 対象物検知システム | |
KR101912085B1 (ko) | 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |