JP6451858B2 - 段差検出装置及び段差検出方法 - Google Patents

段差検出装置及び段差検出方法 Download PDF

Info

Publication number
JP6451858B2
JP6451858B2 JP2017532300A JP2017532300A JP6451858B2 JP 6451858 B2 JP6451858 B2 JP 6451858B2 JP 2017532300 A JP2017532300 A JP 2017532300A JP 2017532300 A JP2017532300 A JP 2017532300A JP 6451858 B2 JP6451858 B2 JP 6451858B2
Authority
JP
Japan
Prior art keywords
road surface
vehicle
curve
circuit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532300A
Other languages
English (en)
Other versions
JPWO2017022080A1 (ja
Inventor
泰仁 佐野
泰仁 佐野
拓良 柳
柳  拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017022080A1 publication Critical patent/JPWO2017022080A1/ja
Application granted granted Critical
Publication of JP6451858B2 publication Critical patent/JP6451858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/056Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、路面上の段差を検出する段差検出装置及び段差検出方法に関するものである。
カメラ画像から路面の高さ情報を検出し、この高さ情報から縁石などの路側物により生じる路面の段差を検出する路側物検出装置が知られている(特許文献1参照)。
特開2014−002608号公報
上記した路側物検出装置は、路面の高さ変化量が閾値以上であった場合に段差として認識する。よって、車道が傾斜している場合、車道の位置に応じて路面の高さが変化するため、車道の位置の取り方によって、路面の高さ変化量を正しく検出することができない場合がある。
本発明は、上記課題に鑑みて成されたものであり、その目的は、車道に傾斜があっても路面上の段差を精度良く検出することができる段差検出装置及び段差検出方法を提供することである。
本発明の一態様に係わる段差検出装置は、車両の周囲における路面の高さを検出する測距部を備え、路面の高さに基づいて、走行可能領域の車幅方向における路面の傾斜を曲線で近似し、曲線に対する測定点の高さの合致度と、走行可能領域を車幅方向に拡張した拡張領域における路面の傾斜を近似した曲線に対する測定点の高さの合致度とに基づいて、路面上の段差を検出する。
本発明の一態様によれば、曲線と測定点との合致度から路面高さの急激な変化、即ち、段差を検出することができる。よって、車道に傾斜があっても路面上の段差を精度良く検出することができる。
図1は、実施形態に係わる段差検出装置1の全体構成を示すブロック図である。 図2は、車両の周囲の路面に設定された線状の段差判定位置(Pa)の例を示す斜視図である。 図3は、図2に対応する俯瞰図である。 図4は、段差判定位置(Pa)における路面(Froad)の高さ分布を示すグラフである。 図5は、路面(Froad)を曲線近似する領域(G〜G)を所定範囲(Kc)ずつ段階的に広げていき、測定点(Im1〜Im7)と曲線(Croad)との合致度の変化を判断する一連の処理サイクルを示す図である。 図6は、図1の段差検出装置1を用いた段差検出方法の一例を示すフローチャートである。 図7は、図6のステップS09〜S13の詳細な手順の一例を示すフローチャートである。 図8は、車両(Vc)の側部にステレオカメラを設置した場合の段差判定位置(Pa)の例を示す斜視図である。 図9は、車両(Vc)のルーフ中央部にLRF(12)を設定し、車両周囲の全体を照射範囲とする360度LRFの例を示す俯瞰図である。 図10は、測距センサ12としてレーザレンジファインダ(LRF)を用いた場合の段差検出方法の一例を示すフローチャートである。 図11は、第3及び第4変形例に係わる段差検出装置2の全体構成を示すブロック図である。
(第1実施形態)
次に、図面を参照して、実施形態を詳細に説明する。
図1を参照して、実施形態に係わる段差検出装置1の全体構成を説明する。段差検出装置1は、車両の周囲における道路の表面(以後、「路面」という)の高さを検出し、路面の傾斜を曲線で近似する。そして、近似した曲線と路面の測定点との合致度に基づいて、路面上の段差を検出する。
具体的に、段差検出装置1は、車両の周囲における路面の高さを検出する測距センサ12と、測距センサ12による測定点の高さデータから路面上の段差を検出する一連の情報処理を実行するマイクロコンピュータ13とを備える。
測距センサ12の一例は、車両の周囲にある物体を複数の異なる方向から同時に撮影することにより、車両の周囲にある物体の奥行き方向(センサ12からの距離)の情報も記録することができるステレオカメラである。ステレオカメラにより得られたステレオ画像に対して所定の画像処理を施すことにより、車両の周囲にある物体のステレオ画像に映る物体の像に対する三次元情報を取得することができる。車両の周囲にある物体には、道路や縁石が含まれる。詳細は、後述する。
マイクロコンピュータ13は、例えば、CPU、メモリ、及び入出力部を備える汎用のマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、段差検出装置が備える複数の情報処理回路を構成する。マイクロコンピュータ13は、測距センサ12による測定データから路面上の段差を検出する一連の情報処理サイクルを所定の時間間隔で繰り返し実行する。マイクロコンピュータ13は、車両にかかわる他の制御に用いる電子制御ユニット(ECU)と兼用してもよい。
マイクロコンピュータ13により構成される複数の情報処理回路には、演算回路14と、段差判定位置回路15と、走行可能領域回路16と、路面傾斜回路17と、段差検出回路18とを含まれる。
演算回路14は、測距センサ12と共に測距部11を構成し、ステレオカメラにより得られたステレオ画像から車両周囲の物体のステレオ画像に映る物体の像に対する三次元情報を取得する一連のステレオ画像処理を実施する。
例えば、演算回路14は、ステレオ画像に対してレンズの歪みを補正するレンズ歪み補正処理を行い、ステレオ画像間の上下位置を補正する平行化補正処理(平行等位処理)を行う。そして、ステレオ画像間の各画素の対応付けを推定するステレオマッチング処理を行う。これにより、ステレオカメラの撮像面における物体の二次元座標のみならず、ステレオカメラの撮像面から物体までの距離を算出することができる。よって、車両周囲にある物体までの距離及び方位を検出することができる。
演算回路14は、更に座標変換処理を施すことにより、測距データの座標上の車両周囲にある物体の三次元情報を取得することができる。車両周囲にある物体の三次元情報には、車両の周囲における路面の三次元情報も含まれる。よって、演算回路14は、車両の周囲における路面の測定点の高さデータを取得することができる。
レンズ歪み補正処理は、例えば黒白の市松模様のパターンを表した平板を各カメラで撮影し、市松模様の格子点が矩形で構成される格子状となるようにレンズ歪みパラメータやカメラレンズ中心パラメータを推定する。ただし、本処理は、レンズ歪み補正を行う一般的な手法でよく、本実施形態では特に問わない。
平行化補正処理は、例えば黒白の市松模様のパターンを表した平板をステレオカメラの両カメラで撮影し、市松模様の格子点の位置が各カメラ画像上で同じ上下位置になるようにステレオカメラ間の空間位置パラメータ及び角度パラメータを推定する。ただし、本処理は、平行化補正処理を行う一般的な手法でよく、本実施形態では特に問わない。
ステレオマッチング処理は、例えば、左カメラ画像を基準として左カメラ画像の各画素が右カメラ画像のどの画素に対応付けされるかを算出するものである。例えば、左カメラ画像の各画素の輝度値と右カメラ画像の各画素の輝度値の絶対値を評価値として算出して、評価値が最小となる右カメラ画像の画素を対応付けされた画素として算出する。評価値の算出方法には、例えば、差分絶対値の和(SAD:Sum of Absolute Differences)や差分二乗値の和(SSD:Sum of Squared Differences)を用いる方法や、評価値計算の範囲が各画素1点でなく各画素の周辺画素を含む方法がある。評価値の算出方法は、他の一般的な方式でもよく、本実施形態では特に問わない。
段差判定位置回路15は、測距センサ12で検出された測距データの座標上の車両の周囲の路面に車幅方向の線状の段差判定位置を設定する。例えば、図2及び図3に示すように、測距センサ12から第1の所定方向(Da)に所定距離だけ離れ、第1の所定方向(Da)に直交する方向に延びる段差判定位置(Pa)を測距データの座標上の路面に設定する。図2及び図3は、車両(Vc)の前部に測距センサ12を設置し、車両(Vc)の進行方向を第1の所定方向(Da)とした例を示す。よって、車幅方向に延びる段差判定位置(Pa)が、測距データの座標上の車両(Vc)の前方に設定される。なお、段差判定位置(Pa)は、ステレオカメラの撮像範囲内において設定される。第1の所定方向(Da)は車両(Vc)の進行方向に限定されない。
図2及び図3に示す例で、車両(Vc)が走行可能な車道の車幅方向の端部である路肩には、路面の高さが非連続的に変化する段差(LD)が形成されている。そして、段差(LD)を境にして車道よりも外側には、車道よりも路面が一段高い段差部(例えば、歩道や路肩)が設けられている。このように、図2及び図3に示す例において、道路は、車道及び段差部(歩道や路肩)からなり、車道と段差部(歩道や路肩)の境界には、段差(LD)が形成されている。線状の段差判定位置(Pa)は、車道、段差(LD)、及び段差部(歩道や路肩)を横断する方向に延びている。
上記した測距センサ12に対する段差判定位置(Pa)の位置関係は一例にすぎない。他の例は、図8及び図9を参照して後述する。
段差判定位置回路15は、演算回路14により取得された路面の高さから、段差判定位置(Pa)における路面の測定点の高さデータ分布(測距データ)を算出する。図4の縦軸は路面(Froad)の高さを示し、横軸は車幅方向に延びる段差判定位置(Pa)を示す。
図4に示すように、車道(Rr)と段差部(Rd)との境界には、段差(LD)が形成されている。車道(Rr)の路面(Froad)には、その高さが中央部から両端部である路肩に向けて低くなる傾斜(カント)が設けられている。これは、車道の水捌けを良くして車道に水が溜まらないような一般的な道路設計及び構造である。段差(LD)において、路面(Froad)は急激に高くなり、段差部(Rd)の路面(Froad)は、車道(Rr)よりも一段高い平坦な面を形成している。例えば、歩道などが設けられている。
走行可能領域回路16は、車両(Vc)の速度に基づいて、段差判定位置(Pa)における車両(Vc)の進行方向の走行可能領域(G)を推定する。走行可能領域(G)とは、車両(Vc)が走行することが可能な領域であって、車道の境界、例えば、段差を含まない領域を示す。走行可能領域回路16は、図5に示すように、車両(Vc)の幅に対して所定の走行余裕領域を付加した領域を、車両(Vc)の進行方向の走行可能領域(G)として推定する。
所定の走行余裕領域は、車両の速度に応じて変化する。車両(Vc)の進行方向の速度が速いほど、所定の走行余裕領域を大きく設定することができる。即ち、走行可能領域回路16は、車両(Vc)の進行方向の速度が速いほど、走行可能領域(G)を車幅方向に広く推定することができる。なお、車両(Vc)の速度は、CANの車両速度情報、車輪速度パルス情報、またGPSを用いて車両の位置情報を連続的に取得することにより得ることができる。
一例として、時速70kmで走行している場合、走行可能領域回路16は、幹線道路を走行していると判断して、8m幅の走行可能領域を設定する。また時速20kmで走行している場合、走行可能領域回路16は、住宅地などの狭い道を走行していると判断して、4m以下の幅の走行可能領域を設定する。
路面傾斜回路17は、路面の高さに基づいて、走行可能領域(G)の車幅方向における路面(Froad)の傾斜を曲線で近似する。近似曲線は、たとえば、二次曲線を用いる。このほか、一次曲線或いはスプライン曲線、又はこれらの組合せを用いることもできる。具体的に、路面傾斜回路17は、図5に示すように、走行可能領域(G)内の段差判定位置(Pa)上の複数の測定点(Im1、Im2、Im3)を選択する。測定点(Im1、Im2、Im3)の高さデータを用いて、車道(Rr)の車幅方向の路面(Froad)の傾斜を曲線(Croad)で近似する。測定点の数及び位置は任意に選択可能である。
ここで、走行可能領域(G)が実際の車道(Rr)の領域に比べて狭すぎた場合、走行可能領域(G)の端部から車道(Rr)の端部(路肩)までの距離が長くなる。このため、近似した曲線(Croad)が実際の車道(Rr)の傾斜から遊離してしまい、段差(LD)を精度良く検出することが難しくなる。そこで、走行可能領域(G)を車幅方向に少しずつ広げて、曲線近似を繰り返すことで、曲線(Croad)を実際の車道(Rr)の傾斜に近づけ、曲線(Croad)と測定点との合致度の変化を精度良く検出することができる。曲線(Croad)と測定点との合致度は、例えば、曲線(Croad)と測定点との偏差又は標準偏差である。偏差又は標準偏差が小さくなるほど、合致度は高くなる。
或いは、(1)式に示すように、R−2乗誤差を用いて、合致度を求めることも可能である。ここで、yは測定点、fは曲線(Croad)上の推定値、yavは測定点の平均値である。この値が1に近いほど一致度が高いといえる。環境によって異なるが、この値(R)の減少量が0.1を超えた場合、段差が含まれたと判断することができる。
Figure 0006451858
具体的に、路面傾斜回路17は、段差判定位置(Pa)において走行可能領域(G)を拡張した拡張領域(G、G、G、・・・)の車幅方向における路面(Froad)の傾斜を曲線で近似する。段差検出回路18は、曲線(Croad)に対する走行可能領域(G)に設定された測定点(Im1、Im2、Im3)の高さの第1の合致度を算出する。そして、拡張領域(G、G、G、・・・)の車幅方向における路面(Froad)の傾斜を近似した曲線に対する拡張領域(G、G、G、・・・)に設定された測定点(Im1、Im2、・・・、Im6、Im7)の高さデータの第2の合致度を算出する。そして、段差検出回路18は、第1の合致度と第2の合致度とに基づいて、路面上の段差を検出する。
例えば、走行可能領域回路16は、走行可能領域(G)を車幅方向に所定範囲(Kc)だけ広げた拡張領域(G)を設定する。路面傾斜回路17は、拡張領域(G)の車幅方向において路面(Froad)の傾斜を曲線で近似する。段差検出回路18は、曲線に対する測定点(Im1、Im2、Im3、Im4)の高さデータの合致度を算出する。同様にして、走行可能領域回路16は、拡張領域(G)を所定範囲(Kc)だけ車幅方向に広げた拡張領域(G)を設定する。路面傾斜回路17は、拡張領域(G)の車幅方向において路面(Froad)の傾斜を曲線で近似し、段差検出回路18は、曲線に対する測定点(Im1、Im2、Im3、Im4、Im5)の高さデータの合致度を算出する。段差検出装置1は、この一連の処理サイクルを繰り返し実施する。そして、段差検出回路18は、曲線と測定点との近似誤差(合致度の一例)が大きく変化する箇所に段差があると判断する。
拡張領域(G)には段差(LD)が含まれる。拡張領域(G)における近似曲線と測定点(Im1〜Im7)の高さデータの合致度は、その前の処理サイクルに比べて大きく変化する。なぜなら、拡張領域(G)と拡張領域(G)の差分である所定範囲(Kc)に、段差(LD)上に設定された測定点(Im6、Im7)が含まれるからである。このように、段差検出回路18は、この一連の処理サイクルにより繰り返し算出される合致度に基づいて、段差を検出する。路面の曲線近似のための拡張領域を所定範囲(Kc)ずつ段階的に車幅方向に広げていき、合致度が下がるところまでの拡張領域(G〜G)を車道と見なすことができる。よって、段差の位置を精度良く求めることができる。車道を広く利用して曲線近似を行うことができるようになるため、段差の判定が正確にできるようになる。
図6を参照して図1の段差検出装置1を用いた段差検出方法の一例を説明する。まず、ステップS01で、測距センサ12の一例であるステレオカメラを用いて、ステレオ画像を取得する。
ステップS03に進み、演算回路14は、ステレオ画像に対してレンズの歪みを補正するレンズ歪み補正処理を行い、ステレオ画像間の上下位置を補正する平行化補正処理を行う。ステップS05に進み、演算回路14は、ステレオ画像間の各画素の対応付けを推定するステレオマッチング処理を行う。これにより、車両周囲にある物体までの距離及び方位を検出することができる。更に、演算回路14は、座標変換処理を施すことにより、測距データの座標上の車両の周囲における路面の三次元情報を取得することができる。
ステップS07に進み、段差判定位置回路15は、例えば図2及び図3に示すように、測距センサ12で検出された測距データの座標上の車両の周囲の路面に車幅方向の線状の段差判定位置(Pa)を設定する。そして、段差判定位置回路15は、演算回路14により取得された路面の三次元情報から、図4に示すように、段差判定位置(Pa)における路面の測定点の高さデータ(測距データ)を算出する。
ステップS09に進み、走行可能領域回路16は、図5に示すように、車両(Vc)の幅に対して所定の走行余裕領域を付加した領域を、段差判定位置(Pa)における車両(Vc)の走行可能領域(G)として推定する。
ステップS11に進み、路面傾斜回路17は、図5に示すように、走行可能領域(G)内の段差判定位置(Pa)上に複数の測定点(Im1、Im2、Im3)を設定する。測定点(Im1、Im2、Im3)の高さデータを用いて、路面(Froad)の高さ方向の傾斜を曲線(Croad)で近似する。そして、路面傾斜回路17は、段差判定位置(Pa)において走行可能領域(G)を拡張した拡張領域(G、G、G、・・・)の車幅方向における路面(Froad)の傾斜を曲線で近似する。
ステップS13に進み、段差検出回路18は、曲線(Croad)に対する走行可能領域(G)に設定された測定点(Im1、Im2、Im3)の高さデータの第1の合致度を算出する。そして、拡張領域(G、G、G、・・・)の車幅方向における路面(Froad)の傾斜を近似した曲線に対する拡張領域(G、G、G、・・・)に設定された測定点(Im1、Im2、・・・、Im6、Im7)の高さデータの第2の合致度を算出する。そして、段差検出回路18は、第1の合致度と第2の合致度とに基づいて、路面上の段差を検出する。
図7を参照して、図6のステップS09〜S13の詳細な手順の一例を説明する。先ずステップS101において、走行可能領域回路16は、車幅方向の路面(Froad)の曲線を近似する範囲の初期値である走行可能領域(G)を推定する。そして、走行可能領域(G)で車幅方向の路面の傾斜を曲線(Croad)で近似し(S103)、曲線(Croad)に対する測定点(Im1、Im2、Im3)の高さの合致度を算出する(S105)。段差検出回路18は、合致度が所定の基準値以下であるか否かを判断する。合致度が所定の基準値以下で無ければ(S107でNO)、走行可能領域(G)に、段差が含まれていないと判断できる。よって、ステップS109に進み、走行可能領域(G)を車幅方向に所定範囲(Kc)だけ広げた拡張領域(G)を設定する。なお、S107における所定の基準値としては、例えば10cmを設定することができる。
段差検出装置1は、拡張領域の広さに対して設定された上限値と拡張領域(G)とを比較する。拡張領域(G)が上限値を超えている場合(S111でYES)、道路境界を成す段差の検出を断念して処理を終了する。拡張領域(G)が上限値を超えていない場合(S111でNO)、ステップS103に戻り、合致度が所定の基準値以下となるまで、繰り返し、S103〜S111を実施する。
そして、合致度が所定の基準値以下となった場合(S107でYES)、段差検出回路18は、最後に実施したステップS109で追加した所定範囲(Kc)に、段差が存在すると判断する(S113)。
以上説明したように、実施形態によれば、以下の作用効果が得られる。
車道が傾斜している場合、車道の位置に応じて路面の高さが変化するため、車道の位置の取り方によって、路面の高さ変化量を正しく検出することができない場合がある。これにより、路面の高さ変化量を小さく見積もった場合には、段差が非検出となり、路面の高さ変化量を大きく見積もった場合には、段差を誤検出してしまう。そこで、車幅方向の路面の傾斜を曲線で近似し、この曲線に対する路面の高さの変位から路面上の段差を検出する。具体的には、走行可能領域における曲線と測定点との合致度に対して、走行可能領域を段差判定位置上で車幅方向に拡張した拡張領域における合致度が大きく変化した場合、拡張により増加した箇所に、路面高さの急激な変化、即ち、段差があると判断することができる。車道に傾斜(カント)があっても路面上の段差を精度良く検出することができる。
走行可能領域回路16は、車両(Vc)の速度が速いほど、走行可能領域(G)を広く推定する。車速が高速であれば、高速道路、幹線道路などの広い車道を走行していることが推定される。一方、車速が低速である場合は、住宅街などの狭い車道を走行していることが推定される。よって、段差(LD)を含まない、車両が走行可能な領域を適切に設定することができるので、段差(LD)の検出精度が向上する。
段差検出装置1は、走行可能領域(G)を車幅方向に所定範囲(Kc)だけ広げ、所定範囲(Kc)だけ広げた拡張領域(G、G、G、・・・)の車幅方向において路面(Froad)の傾斜を曲線で近似し、曲線に対する測定点(Im1、Im2、・・・)の高さの合致度を算出するサイクルを繰り返し実施する。段差検出回路18は、繰り返し算出される合致度に基づいて、段差を検出する。路面(Froad)の曲線近似のための拡張領域(G、G、G、・・・)を所定範囲(Kc)ずつ段階的に車幅方向に広げていき、合致度が下がるところまでの拡張領域(G、G、G、・・・)を車道と見なすことができる。よって、段差(LD)の位置を精度良く求めることができる。車道を広く利用して曲線近似を行うことができるようになるため、段差(LD)の判定が正確にできるようになる。所定範囲(Kc)を小さくすることにより、段差(LD)判定の位置精度が向上する。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
(第1変形例)
測距センサ12としてのステレオカメラを、車両(Vc)の前部ではなく、図8に示すように、車両(Vc)の側部に設置し、ステレオカメラの撮像範囲を車両(Vc)の側方としても構わない。この場合も、車両(Vc)の進行方向を第1の所定方向(Da)とする。これにより、段差判定位置回路15は、車両の周囲(側方)の路面に、段差(LD)と交わる線状の段差判定位置(Pa)を設定することができる。具体的には、測距センサ12から第1の所定方向(Da)に所定距離だけ離れ、第1の所定方向(Da)に直交する方向に延びる段差判定位置(Pa)を設定することができる。
(第2変形例)
測距センサ12の他の例として、レーザレンジファインダ(LRF)がある。LRFは、車両周囲の物体に向けてレーザーを照射し、物体に反射して戻ってきたレーザーを観測する。そして、LRFは、レーザーの照射方向に基づいて物体が位置する方位を計測すると共に、レーザーの照射から反射レーザーの観測までの時間に基づいて物体までの距離を計測する。LRFは、レーザースキャナとも呼ばれる。LRFの照射範囲は任意に設定可能である。図9は、車両(Vc)のルーフ中央部にLRF(12)を設定し、周囲全体を照射範囲とする360度LRFの例を示す。段差判定位置回路15は、測距センサ12から第1の所定方向(Da)に所定距離だけ離れ、第1の所定方向(Da)に直交する方向に延びる段差判定位置(Pa)を設定する。よって、車両(Vc)の前部に測距センサ12を設置した図2の例と同様にして、車両(Vc)の進行方向を第1の所定方向(Da)とするので、車幅方向に延びる段差判定位置(Pa)が、車両(Vc)の前方に設定される。
なお、俯角を付けてLRFを搭載することで走行中に車両進行方向を広範囲にわたって調査することが可能となる。また、複数のレーザーを同時に照射可能なマルチレイヤー型のLRFを用いることも可能である。
測距センサ12としてレーザレンジファインダ(LRF)を用いた場合の段差検出方法は、図6のS01〜S05の代わりに、次に示すステップS21及びS23を実施する点が相違する。その他のステップS07〜S13は、図6と同じであり、説明を省略する。
ステップS21において、LRF(12)は、レーザーが照射された物体の方位と共に、物体までの距離を計測する。計測データは演算回路14に送信される。ステップS23に進み、演算回路14は、LRF(12)を原点とした極座標系の計測データを、車両(Vc)を原点とした直交座標系に変換する。これにより、演算回路14は、車両の周囲における路面の三次元情報を取得することができる。その後、ステップS07へ進む。
(第3変形例)
実施形態で、走行可能領域回路16は、車両(Vc)の速度に基づいて、走行可能領域(G)の広さを定めていた。車両(Vc)の速度に限らず、その他の基準を用いても、走行可能領域(G)の広さを定めることはできる。例えば、走行可能領域回路16は、車両(Vc)が走行している車道(Rr)に関する情報(車道情報)に基づいて、走行可能領域(G)の広さを定めてもよい。例えば、実際の道路境界を含まないように、車道情報に含まれる幅情報よりも1m狭い範囲で走行可能領域を設定することができる。
図11に示すように、マイクロコンピュータ13は車道情報取得回路19を更に備える。車道情報取得回路19は、GPS20及び地図データベース21から、車両(Vc)が走行している車道(Rr)に関する情報を取得する。走行可能領域回路16は、車道(Rr)に関する情報に基づいて、走行可能領域(G)の車幅方向の距離を設定することができる。車道(Rr)に関する情報を用いることにより、段差(LD)を含まない、車両(Vc)が走行可能な領域を適切に設定することができるので、段差(LD)の検出精度が向上する。
(第4変形例)
車道情報取得回路19が取得する車道(Rr)に関する情報は、走行可能領域(G)の広さの基準としてのみならず、その他のパラメータを設定するための基準として用いることができる。例えば、段差検出装置2は、車道(Rr)に関する情報に基づいて、図7のS111において用いる上限値を設定する。例えば、LRFの場合、照射範囲は10m程度であるので、上限値を10mと設定することができる。拡張領域の広さが上限値を超える場合には段差検出処理を終了することができる。よって、明確な段差のない道路においても一定時間で段差検出処理を終了することが可能となる。
1、2 段差検出装置
11 測距部
12 測距センサ
13 マイクロコンピュータ
14 演算回路
15 段差判定位置回路
16 走行可能領域回路
17 路面傾斜回路
18 段差検出回路
19 車道情報取得回路
20 GPS(グローバルポジショニングシステム)
21 地図データベース
走行可能領域
〜G 拡張領域
m1〜Im7 測定点
Croad 曲線
Froad 路面
Kc 所定範囲
Pa 段差判定位置
LD 段差

Claims (6)

  1. 車両の周囲における路面の高さを検出する測距部と、
    前記車両の進行方向の走行可能領域を推定する走行可能領域回路と、
    前記測距部により検出された前記路面の高さに基づいて、前記走行可能領域の車幅方向における前記路面の傾斜を曲線で近似する路面傾斜回路と、
    前記曲線に対する前記走行可能領域に設定された測定点の高さの合致度と、前記走行可能領域を車幅方向に拡張した拡張領域における前記路面の傾斜を近似した曲線に対する前記拡張領域に設定された測定点の高さの合致度とに基づいて、前記路面上の段差を検出する段差検出回路と、
    を備えたことを特徴とする段差検出装置。
  2. 前記走行可能領域回路は、前記車両の速度が速いほど、前記走行可能領域を車幅方向に広く推定することを特徴とする請求項1に記載の段差検出装置。
  3. 前記車両が走行している車道に関する情報を取得する車道情報取得回路を更に備え、
    前記走行可能領域回路は、前記車道に関する情報に基づいて、前記走行可能領域の車幅方向の距離を設定する
    ことを特徴とする請求項1に記載の段差検出装置。
  4. 前記段差検出装置は、前記走行可能領域を車幅方向に所定範囲だけ広げ、前記所定範囲だけ広げた拡張領域において前記路面の傾斜を曲線で近似し、前記曲線に対する前記測定点の高さの合致度を算出するサイクルを繰り返し実施し、
    前記段差検出回路は、繰り返し算出される前記合致度に基づいて、前記段差を検出する
    ことを特徴とする請求項1〜3の何れか一項に記載の段差検出装置。
  5. 前記車両が走行している車道に関する情報を取得する車道情報取得回路を更に備え、
    前記段差検出装置は、前記車道に関する情報に基づいて、前記拡張領域の広さに上限値を設定する
    ことを特徴とする請求項4に記載の段差検出装置。
  6. 車両の周囲における路面の高さを検出し、
    前記車両の進行方向の走行可能領域を推定し、
    前記路面の高さに基づいて、前記走行可能領域の車幅方向における前記路面の傾斜を曲線で近似し、
    前記曲線に対する前記走行可能領域に設定された測定点の高さの合致度と、前記走行可能領域を車幅方向に拡張した拡張領域における前記路面の傾斜を近似した曲線に対する前記拡張領域に設定された測定点の高さの合致度とに基づいて、前記路面上の段差を検出する
    ことを特徴とする段差検出方法。
JP2017532300A 2015-08-04 2015-08-04 段差検出装置及び段差検出方法 Active JP6451858B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/072085 WO2017022080A1 (ja) 2015-08-04 2015-08-04 段差検出装置及び段差検出方法

Publications (2)

Publication Number Publication Date
JPWO2017022080A1 JPWO2017022080A1 (ja) 2018-05-24
JP6451858B2 true JP6451858B2 (ja) 2019-01-16

Family

ID=57942691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532300A Active JP6451858B2 (ja) 2015-08-04 2015-08-04 段差検出装置及び段差検出方法

Country Status (9)

Country Link
US (1) US10410070B2 (ja)
EP (1) EP3333829B1 (ja)
JP (1) JP6451858B2 (ja)
KR (2) KR102079882B1 (ja)
CN (1) CN107851390B (ja)
CA (1) CA2994652C (ja)
MX (1) MX370052B (ja)
RU (1) RU2686279C1 (ja)
WO (1) WO2017022080A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339394B2 (en) * 2015-08-04 2019-07-02 Nissan Motor Co., Ltd. Step detection device and step detection method
US11151395B2 (en) 2017-08-07 2021-10-19 Hitachi Astemo, Ltd. Roadside object detection device, roadside object detection method, and roadside object detection system
KR20200090527A (ko) * 2019-01-21 2020-07-29 현대자동차주식회사 차선 인식 장치 및 그 방법
JP7257814B2 (ja) * 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
KR102176376B1 (ko) * 2019-06-24 2020-11-10 현대오트론 주식회사 물체 거리 측정 장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523095B2 (ja) * 1999-10-21 2010-08-11 富士通テン株式会社 情報処理装置、情報統合装置および情報処理方法
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
JP3964287B2 (ja) * 2002-09-04 2007-08-22 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
JP4609695B2 (ja) * 2003-10-21 2011-01-12 日本精機株式会社 車両用表示装置
RU53766U1 (ru) * 2005-07-11 2006-05-27 Государственное образовательное учреждение высшего профессионального образования "Хабаровский государственный технический университет" Прибор для измерения шероховатости дорожного покрытия
JP2009053818A (ja) 2007-08-24 2009-03-12 Toshiba Corp 画像処理装置及びその方法
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
JP5094658B2 (ja) * 2008-09-19 2012-12-12 日立オートモティブシステムズ株式会社 走行環境認識装置
CN101644023B (zh) * 2009-08-21 2011-01-26 赵怀志 一种路面平整度检测方法
JP2013205130A (ja) * 2012-03-28 2013-10-07 Zenrin Co Ltd 路面形状データの生成方法、路面形状データ生成装置およびコンピュータプログラム
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
CN103760569B (zh) * 2013-12-31 2016-03-30 西安交通大学 一种基于激光雷达的可行驶区域检测方法
JP5989701B2 (ja) * 2014-03-24 2016-09-07 トヨタ自動車株式会社 境界検出装置および境界検出方法
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6434743B2 (ja) 2014-08-19 2018-12-05 日野自動車株式会社 走路端部推定装置
CN104636763B (zh) * 2014-12-01 2018-10-09 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置

Also Published As

Publication number Publication date
JPWO2017022080A1 (ja) 2018-05-24
MX370052B (es) 2019-11-29
RU2686279C1 (ru) 2019-04-24
EP3333829A1 (en) 2018-06-13
WO2017022080A1 (ja) 2017-02-09
KR102079882B1 (ko) 2020-02-20
EP3333829B1 (en) 2019-10-09
CA2994652C (en) 2019-09-10
CA2994652A1 (en) 2017-02-09
KR20190101491A (ko) 2019-08-30
EP3333829A4 (en) 2018-08-08
US10410070B2 (en) 2019-09-10
CN107851390A (zh) 2018-03-27
CN107851390B (zh) 2020-06-30
US20180225525A1 (en) 2018-08-09
MX2018001343A (es) 2018-06-15
KR20180022954A (ko) 2018-03-06

Similar Documents

Publication Publication Date Title
JP6753527B2 (ja) 地図データ補正方法および装置
JP6451858B2 (ja) 段差検出装置及び段差検出方法
US20090028389A1 (en) Image recognition method
US10482615B2 (en) Image processing device and image processing method
JP6593088B2 (ja) 車両位置推定装置及びプログラム
JP6561670B2 (ja) 段差検出装置及び段差検出方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
WO2018150921A1 (ja) 車載環境認識装置
JP2015059768A (ja) 段差計測装置、段差計測方法及びプログラム
JP6477340B2 (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法
JP6493533B2 (ja) 段差検出装置及び段差検出方法
JP6485280B2 (ja) 段差検出装置及び段差検出方法
JP2018036225A (ja) 状態推定装置
JP6451544B2 (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法
JP2018063584A (ja) 区画線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R151 Written notification of patent or utility model registration

Ref document number: 6451858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151