JPWO2018016394A1 - 走路境界推定装置及びそれを用いた走行支援システム - Google Patents

走路境界推定装置及びそれを用いた走行支援システム Download PDF

Info

Publication number
JPWO2018016394A1
JPWO2018016394A1 JP2018528508A JP2018528508A JPWO2018016394A1 JP WO2018016394 A1 JPWO2018016394 A1 JP WO2018016394A1 JP 2018528508 A JP2018528508 A JP 2018528508A JP 2018528508 A JP2018528508 A JP 2018528508A JP WO2018016394 A1 JPWO2018016394 A1 JP WO2018016394A1
Authority
JP
Japan
Prior art keywords
boundary
road
feature
value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018528508A
Other languages
English (en)
Other versions
JP6606610B2 (ja
Inventor
晋司 掛川
晋司 掛川
永崎 健
健 永崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of JPWO2018016394A1 publication Critical patent/JPWO2018016394A1/ja
Application granted granted Critical
Publication of JP6606610B2 publication Critical patent/JP6606610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)

Abstract

本発明は、信頼性の高い走路境界位置および形状を推定することのできる走路境界推定装置及び走行支援システムを提供する。本発明は、外界センサより取得した画像に基づいて、前記画像あるいは前記画像を別視点に変換した画像の各グリッドごとに走路境界が存在する特徴量を格納する境界特徴マップを生成する境界特徴マップ生成部と、予め定めたセンサ視野角に入る見え始めの検出始端位置から任意の検出終端位置までの奥行き方向に連続する複数の経路を境界候補として設定する境界候補設定部と、前記の各境界候補について、該当する前記境界特徴マップの特徴量および奥行き方向の連続性評価値を加算した境界らしさ評価値を算出する境界らしさ評価部と、前記境界らしさ評価部において算出された各境界候補の境界らしさ評価値を比較して、走路境界を決定する走路境界決定部と、を有する。

Description

本発明は、走路境界推定装置及びそれを用いた走行支援システムに関する。
走路境界とは走行可能領域と非走行可能領域を区分する境界を表す。ここで走行可能領域とは自車両が障害物との衝突や道路から逸脱をすることなく安全に走行できる領域を示す。自車両から見た場合の走路境界は、道路の端部(典型的に側壁、ガードレール、縁石などの構造物により構成されるが、単に砂利など構造物が存在しない場合も有る)、あるいは道路上の障害物(車両、自転車、歩行者など)との境界とみなすことができる。
車両に搭載された外界センサを用いて走路境界を適切に把握することは重要である。従来、車載カメラによってレーンマーカーを検知することにより、レーンから逸脱しそうなときに警報や車両制御を与えるLDP(Lane Departure Prevention)や車線中央に車両が位置するように常に車両を制御するLKS(Lane Keep System)などのADAS(Advanced Driving Assistance Systems)機能が交通事故防止のための有用な機能として認知されている。
しかしながら道路コンディションや天候コンディションなどにより白線が必ずしも明瞭に見えないケースや、白線がそもそもペイントされていないケースが往々に存在し、そのような場合に前記機能は動作しないという問題がある。道路の端部および障害物との境界である走路境界を適切に推定できれば、そのような場合においても道路の逸脱を防止する機能を提供できる。さらに、昨今実用化に向けた技術開発が進んでいる自動運転向けの要素技術という観点においても重要である。走行可能領域の情報を基にすることにより自律的に安全な経路を計画し、ドライバの介入なしに自動運転する機能の実現が容易となる。
従来、走路境界を推定する技術が複数知られている。先行技術文献1および特許文献1において、境界の内側と外側において高さ差のある位置において直線をフィッティングすることにより走路境界を推定する方法が示されている。
また、先行技術文献2では、あるコスト空間においてコストを最小化するような経路を探索する最適化問題として走路境界を推定する手法が示されている。文献において、“In polar representation, the task is now to find the first occupied cell. The first visible obstacle in the positive direction of depth will be found. All the space found before the cell is considered free space.”、 “every row is not considered independently, but as part of a global optimization problem that is optimally solved.”、と記載されている。ここで、every rowとはカメラの視線ごとに対応するfirst occupied cellの距離を表す。このようにして、センサ(つまり自車両)から見て最も手前側の障害物の位置を通りセンサの横角度方向に連結する走路境界が推定される。
また、特許文献2においては、境界が不明瞭な場合であっても適切に走行可能領域を検出するために、モノジェニック信号と呼ばれる画像のエッジに類した特徴量に基づいて、画像の縦方向に伸展する左右の走路境界位置を最適化問題として解く手段が示されている。該文献において、「各点を連続させて経路を構成する場合に、各点が連続する方向が、傾斜制限から外れる経路は、走行可能領域の境界ではないと考えられるため、そのような経路の累積コストは算出しない。」と記載されている。また、「局所方位ベクトルと最適経路探索の際の各経路とのなす角に応じたコストを累積時に加算することで、画像中の線状の要素に沿うような境界が採用され易くなる。」と記載されている。このように、走路境界のとる経路に傾斜制限を設ける、あるいは傾斜に応じたコストを設定する手段について記載されている。
特開2016−9333号公報 特開2013−3800号公報
"Curb Detection Based on Elevation Maps from Dense Stereo", F. Oniga, et al., IEEE International Conference on Intelligent Computer Communication and Processing, 2007 "Free Space Computation Using Stochastic Occupancy Grids and Dynamic Programming",H.Badino, et al., Workshop on Dynamical Vision, ICCV, 2007
しかしながら、先行技術文献1および特許文献1などのように走路境界を単純な直線あるいは曲線モデルでフィッティングするアプローチでは、走路境界が不連続となり複雑な形状をとる場合に、境界位置を誤検出したり未検出する問題がある。
走路境界は、道路の端部のみがセンサ前方に見えている場合においては単に奥行き方向に連続的かつ単調的に伸展する形状となりやすいが、センサ視野角内に道路上の障害物が道路の端部を一部遮蔽する場合、あるいは道路の端部の形状がもともと不連続な形状である場合に不連続かつ複雑な形状をとる。前者のケースは、道路上の車両、自転車、歩行者などが存在する場合があげられる。後者のケースは、道路の端部がポール、パイロンなどのように断続的に配置された構造物によって構成される場合、道路の端部が土や雪により形成された土手や草などの天然素材のもので構成されており端部の横位置にばらつきがある場合、道路の交差点や分岐などの箇所において境界が一部存在しないあるいはセンサから見えないケースなどがあげられる。
以降、前述のようなさまざまな種類の道路の端部、および道路の端部を遮蔽する道路上の障害物の端部を合わせて路端と呼ぶ。路端は前述のように複雑な形状をとりやすいのに加えて、障害物検知やレーン検知の検知対象に比べて特徴が弱い対象となりやすいため、境界位置が曖昧になりやすい。‘距離’の特徴の観点においては、縁石など高さの低い路端において路面との区別がつきづらく、車両や歩行者などといった路上の障害物に比べて弱い特徴となる。また‘画像濃淡’の特徴の観点においても、境界位置において濃淡のはっきりしたエッジがでないため路面との区別がつきづらく、レーンマーカーに比べて弱い特徴となる。
走路境界は、前述のように境界が不連続かつ複雑形状をとりやすく、また距離の観点においても画像の観点においても境界の特徴量が乏しくなりやすい路端の位置において推定されることが求められる。一方で、前述のように境界が曖昧となる場合には結果の信頼性が低下すると考えられるため、一定程度の信頼性を確保できる区間の推定位置のみが出力されることが重要であると考えられる。このような前提に基づいて、さらに先行技術の課題を説明する。
先行技術文献2においては、障害物の位置と特徴量は占有グリッドマップ(OccupancyGridMap)によって表現され、走路境界は距離画像から生成された占有グリッドマップのグリッド位置をつなぐ経路として表現されるため、不連続で複雑な境界形状も表現可能である。しかしながら、障害物の距離特徴が少ない高さの低い路端、たとえば縁石、などの位置においては境界が推定されず奥側の大きな障害物の位置で境界が推定されやすい問題がある。また、センサの横角度方向に途切れなく連続する境界線を推定するので、境界が曖昧で信頼性が低下する場合に信頼性の高い区間の境界のみを推定することができない問題がある。
特許文献2においては、走路境界のとる画像縦訪欧に伸展する経路に傾斜制限を設ける、あるいは傾斜に応じたコストを設定することにより、奥行き方向に延伸する走路境界の推定を安定化していると考えられる。しかしながら、画像の縦方向に途切れなく伸展する形状を推定するので、境界が曖昧で信頼性が低下する場合に信頼性の高い区間の境界のみを推定することができない問題がある。
本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、距離特徴あるいは画像濃淡特徴の弱い路端が存在する場合や、路端が不連続な形状をとる場合においても信頼性の高い走路境界位置および形状を推定することのできる走路境界推定装置及びそれを用いた走行支援システムを提供することである。
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
本発明によれば、画像のグリッドごとに走路境界の特徴量を格納する境界特徴マップを生成し、予め定めたセンサ視野角に入る見え始めの検出始端位置から任意の検出終端位置までの奥行き方向に連続する複数の走路境界候補を設定し、各走路境界候補の境界形状に該当する前記境界特徴マップの特徴量および奥行き方向の連続性評価値を加算して算出される境界らしさ評価値を最大化する候補を走路境界として決定するので、距離特徴あるいは画像濃淡特徴の弱い路端が存在する場合や、路端が不連続な形状をとる場合においても信頼性の高い走路境界位置および形状を推定することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本特許の代表図。 本実施の形態におけるシステム概要図。 境界特徴生成部の処理フローを示す図。 境界特徴生成部の処理結果を説明する図。 最適経路探索部の概要を説明する図。 最適経路探索部における検出始端位置の設定を説明する図。 死角領域との境界を説明する図。 局所経路上において境界特徴量を参照するグリッド位置を説明する図。 勾配の期待値の例を説明する図。 走路境界の推定結果の例を示す図。 実施形態2の構成図。 実施形態3の構成図。 走行可能領域設定部の概要を説明する図。
以下、図面を参照して本発明の実施形態を説明する。
[実施形態1]
図2は、本発明に係る走路境界推定装置の実施形態1が適用された走行支援システムのシステム構成を概略的に示したものである。
図示する走行支援システム1は、例えば自動車等の車両Vに搭載されており、主に、複数(本実施形態では、2つ)のカメラからなるステレオカメラ装置11と、ステレオカメラ装置11の各カメラで同期して撮像された複数の画像から当該車両Vの周囲の走路境界を認識する走路境界推定装置10と、走路境界推定装置10の推定結果に基づいて車両Vに搭載された各種装置(例えば、アクセル13、ブレーキ14、スピーカ15、ステアリング16など)を制御して当該車両Vの走行を支援する走行支援制御装置12と、から構成されている。
ステレオカメラ装置11は、例えば車両Vの前方のフロントガラスの上部の手前に、車両Vの前方に向かって設置されており、車両Vの前方を撮像して画像情報を取得する一対の撮像部としての左カメラと右カメラを備えている。左カメラと右カメラはそれぞれ、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有しており、互いに車幅方向(左右方向)に離間した位置から車両Vの前方を撮像するように設置されている。
走路境界推定装置10は、ステレオカメラ装置11で所定の周期で時系列的に取得した車両Vの前方の撮影対象領域の画像情報に基づいて走路境界を推定する装置であり、特に、車両の左右の位置において奥行き方向に伸展するガードレール、側壁、縁石、土手、草などの高さを有する道路の端部や、車両Vの横方向に位置する路上の障害物の横エッジ、の位置において走路境界を推定し、その推定結果を走行支援制御装置12へ出力する。なお、この走路境界推定装置10は、ステレオカメラ装置11を制御する(例えば、右カメラと左カメラの撮像タイミングや露光量を制御する)カメラ制御部、一時記憶領域であるRAM(Random Access Memory)、プログラムや各種初期値を格納するROM(Read Only Memory)、システム全体の制御を行うCPU(Central Processing Unit)、認識情報等をシステム外へ出力する外部IF(Interface)、画像処理LSI(Large Scale Integration)などから構成され、各構成要素はバスを介して通信可能に接続されている。
走行支援制御装置12は、走路境界推定装置10から受信した走路境界の推定結果に基づいて、当該車両Vのスピーカ15を作動させたり、当該車両Vの走行を支援するためのアクセル制御量、ブレーキ制御量、ステアリング制御量を算出して、アクセル13やブレーキ14やステアリング16などの調整を行うようになっている。
図1は、図2に示す走路境界推定装置の内部構成を具体的に示したものである。以下では、走路境界推定装置10によって当該車両Vの前方に存在する走路境界を推定する手段について具体的に説明する。
前記走路境界推定装置は、図1に示すように、距離画像取得部101と、境界特徴マップ生成部102と、最適経路探索部106と、走路境界決定部105と、を備えている。
また、最適経路探索部106は、境界候補設定部103と、境界らしさ評価部104と、から構成されている。
距離画像取得部101は、ステレオカメラ装置11より取得した右カメラの画像および左カメラの画像を使用して、各画素において各画素に撮像された対象までの距離情報が格納された距離画像(あるいは視差画像)を生成する。
より詳細には、距離画像生成部101は、ブロックマッチング処理にて、一方の画像(例えば左画像)を、所定形状の第1ブロックにより複数の画素を含むように区切り、他方の画像(例えば右画像)を、第1ブロックと同じサイズ・形状・位置の第2ブロックで区切り、この第2ブロックを1画素ずつ横方向にずらして各位置で第1ブロック内及び第2ブロック内における2つの輝度パターンについての相関値を算出し、その相関値が最も低くなる、即ち、相関が最も高い位置を探索(対応点検索)する。
なお、この相関値の算出方法としては、例えば、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Difference)、NCC(Normalized Cross Correlation)、勾配法などを用いることができる。探索の結果、相関が最も高くなる位置を特定した場合には、第1ブロック内の特定の画素と特定された位置における第2ブロック内の特定の画素との間の距離を視差として算出し、これを1つのステップとして同様のステップを全画素について実行することにより、前記距離画像を生成することができる。
境界特徴マップ生成部102は、ステレオカメラ装置11前方の空間を俯瞰した空間において画像の各グリッドごとに境界の特徴量を格納した境界特徴マップを生成する。図3にフローチャートを示す。
UDヒストグラム生成処理21は、各距離において障害物の特徴量を格納したUDヒストグラムを生成する処理である。UDヒストグラムはステレオカメラを用いて障害物を検出するために一般に利用される障害物の特徴量であり、本特徴量をさらに処理することにより境界の特徴量として用いる。
路面特徴抑制処理22は、路面の位置における境界の特徴量が概してマイナスの値となるように路面位置に対応する前記障害物の特徴量を減算する処理である。特徴量正規化処理23は、前記路面特徴抑制処理22によって処理された特徴量が所定値以下に収まるように処理することによって、一定以上高さのある障害物の特徴量は前記一定の高さを有する障害物と同等の特徴量となるように、特徴量を正規化する処理である。
背景特徴減算処理24は、前記特徴量正規化処理23によって処理された特徴量に基づいて、障害物の背景となる位置においては特徴量が抑制されるように該当位置の特徴量をさらに減算する処理である。これにより、手前側に存在する障害物の背景であって、前記手前側の障害物よりも特徴量の小さいグリッド位置においては、特徴量が概してマイナスの値をとるように処理するものである。
路面特徴抑制処理22および背景特徴減算処理24において障害物の背景および路面の位置においてマイナスの特徴量をとりやすいように変換する理由は、後段処理である境界らしさ評価部104においては境界らしさの評価値が本特徴量に基づいて算出され、走路境界決定部105においてこの評価値が最も高い位置において境界形状を決定するので、走路境界と推定されると誤推定となる障害物の背景および路面の位置においてはマイナスの特徴量となることが好ましいためである。なお、前記の路面特徴抑制処理、特徴量正規化処理、および背景特徴原産処理を実施する順序は様々に考えられ、異なる順序で実施されてもよい。以下、各処理について詳細を説明する。
UDヒストグラム生成処理21では、まず前記距離画像の各画素を走査し、各画素において計測された対象の3次元位置に対応する、画像横位置u、縦軸が視差dである画像空間(以下UD空間)のグリッドに距離計測数を格納する処理を行うことにより、UDヒストグラムを生成する。これは、先行技術文献2に示される占有グリッドマップと同等のものである。任意のグリッドにおいて距離計測数が高いことは、該グリッド座標が示す位置に大きな障害物が存在することを示唆している。これは路面に垂直にたつ障害物面においては同距離となる距離計測数が増えるためである。
次に路面特徴抑制処理22においては、路面に対応する距離(視差)においては境界特徴が概してマイナスの値をとるように特徴量を変換する。路面に対応する距離では、垂直にたつ障害物が存在しない、あるいはそのような段差面の高さは微小であるために障害物の特徴量はもとより小さくなっているが、各グリッドごとに路面に対応する距離の計測数が一定程度混入し通常ゼロよりも大きな値をとるのに加えて、小さな段差は路面であるとみなす場合においては小さな段差の垂直面の高さに応じた特徴量が観測される。このような特徴を有する路面とみなされる位置において、特徴量が概してマイナスの値をとるように変換するために、例えば、まず各グリッドの特徴量を路面位置において観測される特徴量の期待値に相当する値を減算し、かつそれによって特徴量がマイナスとなる場合はゼロに設定する処理を行う。次に、各グリッドの値を単純に所定の値だけ減算する処理を行う。
次に特徴量正規化処理23においては、一定以上の高さがある障害物については同等の境界らしさの特徴量となるように特徴量を変換する。このため、例えば各グリッドの値が所定の値以上高い場合には、該所定の値になるように閾値処理を行う。このように特徴量を変換することにより、高さが低く特徴に乏しい縁石との境界においてよりも、高さが高く特徴の豊富な側壁などの境界において走路境界が優先的に推定されることを防ぐ。たとえば、最手前側の障害物である縁石の奥側に側壁がある場合に、最手前側である縁石の位置ではなく、奥側の側壁の位置において誤って走路境界が推定されるのを防ぐ効果がある。境界の特徴量としては、一定以上の高さがある障害物については同等の境界らしさの特徴があるとみなしたほうが理にかなっているといえるため、このような特徴量の正規化処理が重要である。
次に、背景特徴減算処理24においては、センサから見て最も手前側の障害物(以下、最手前障害物)よりも奥側の位置においてはマイナスの値をとりやすいように特徴量を変換する。このため、例えば各グリッドの値が所定の値以上高い場合には、該グリッドよりも奥側のグリッドの値を該グリッドの特徴量に応じた値だけ減算するような処理を行う。
このように特徴量を変換することにより、手前側と奥側に同等の特徴量を有する路端が存在する場合には手前側の路端の位置において境界が推定されやすくなる効果がある。
図4(c)に、以上のようにして得られた境界特徴マップの例を示す。黒色のグリッドは特徴量がゼロであることを示し、白色に近いほど特徴量が大きい値をとることを示す。
図の(a)に元画像を、(b)にUDヒストグラム生成処理21で得られたUDヒストグラム(障害物の特徴量)を示している。(b)と(c)を比較することにより、境界特徴マップにおいては、路面の特徴が抑制されていること、および背景の特徴が抑制されていることがわかる。(d)に境界特徴マップのマイナス値の程度を可視化したマップを示す。黒色は0あるいはプラスの値であることを示し、白色に近いほどマイナスの値が大きいことを示す。図より、境界特徴マップは、手前側の障害物の特徴量に応じて、奥側の特徴量がマイナスの値をとっていることがわかる。
最適経路探索部106は、境界特徴マップの各グリッドを視差方向に隣接するライン間で連結する経路(局所経路)を網羅的に設定し、さらに前記局所経路の組み合わせた累積経路を網羅的に設定する境界候補設定部103と、前記局所経路および前記累積経路の境界らしさを表す局所スコアおよび累積スコアを計算する境界らしさ評価部104と、から構成される。本実施の形態においては境界候補設定部103の処理と境界らしさ評価部104の処理は実際には同時的に実施されるため、以降では最適経路探索部106の処理としてまとめて説明する。
具体的に最適経路探索の詳細を説明する。図5に示したような境界特徴マップの座標系において、視差方向に下端dstart(近傍側)から上端dend(遠方側)に向かって順番に、各位置で局所経路を設定してその局所スコアを算出するとともに、さらに該当位置までの累積経路を設定してその累積スコアを計算していく。このような処理をライン毎に繰り返すことにより最適経路を探索する。
図5においては、任意のグリッド(d,u)と連結しうる隣接ラインのグリッドはsmaxの示した範囲内に限定され、それらの候補のうちのひとつを(dn−1,un−1)として図示している。また、図5(a)(b)のそれぞれは左側走路境界および右側走路境界の最適経路探索においては、横方向の探索範囲と、座標uの取り方が異なっていることを示している。
横方向の探索範囲は、それぞれ左右の走路境界が存在する可能性の高い領域を設定すればよいが、単純には図に示すように、画像中心位置から左側と右側でそれぞれ設定してもよい。
なお、右側走路境界と左側走路境界は独立に推定されるようになっており、上述した横方向の探索範囲と、座標uの取り方の差異以外に計算上の差異はないため、以降で示される計算式では特に左右の走路境界を区別することなく説明する。
また、図6に走路境界の検出始端位置の設定例を示している。画像端において、各境界候補の左側走路境界および右側走路境界の検出始端位置はそれぞれ図の‘□’、71および72で示しており、‘×’で示したグリッドは検出始端位置でないことを示している。
各境界候補の最も下端側の局所スコアは検出始端位置71,72で示したグリッドを通過する局所経路において計算される。一方で、‘×’で示したグリッドと連結する局所経路においては局所スコアは不可能経路を意味するpが代入されるようにする。このような不可能経路と判断された局所経路と連結する局所経路はすべて不可能経路と設定することにより、‘×’で示したグリッドを始端位置とする走路境界は検出されないように設定される。検出始端位置の範囲は、検出対象の路端位置の近傍側限界と遠方側限界に関する仕様、およびセンサ視野角に関するセンサパラメータを基に決めることができる。
また、局所経路の勾配s=u−un−1=0のときは、局所経路がセンサの視線方向に伸展していることを示し、局所経路が死角領域の境界を通る経路である可能性を示す。
図7にセンサ視点の画像(a)と対応するUD空間の境界特徴マップ(b)と対応する俯瞰画像(c)の概念図を用いて説明する。図7は、道路の境界50、51、および対向車両VFのエッジ52が路端として見えているシーンを示している。路端50,51,52は境界特徴マップ(b)において境界特徴量が大きいことを黒線で示している。また、ハッチング領域53は最手前障害物の背景となっているため境界特徴量がマイナスの値をとる領域を示す。俯瞰画像(c)においてハッチング領域55は車両Vに搭載されたステレオカメラ装置11によって見えている路面の領域を示している。点線部分の境界54が境界特徴マップ(b)において勾配s=0となる走路境界の部位を示し、対応する俯瞰画像(c)においては死角領域の境界となっていることを示している。死角領域との境界54は路端との境界ではないが、障害物の存在によって不連続となる前景側の路端52および背景側の路端51における境界をつなぐ境界であり、右側走路境界として51、52、54で示す境界が走路境界として推定されることは好ましいと考えられる。このため、勾配s=0かつ一定の条件を満たす場合は死角領域との境界を通る経路と判断し、そうでない場合とは異なる計算式で局所スコアを計算する。
任意の局所経路の局所スコアは、該経路が死角領域との境界と判定されない場合は以下の計算式により算出する。
Figure 2018016394
ここで、(1)式の第一項は局所経路上の境界特徴に応じたスコア(正にも負にもなりえる)、第二項は局所経路における勾配の期待値からのズレに応じた負のスコア、第三項は
局所経路を含む累積経路における空隙長に応じた負のスコア、を表す。ここで空隙長とは、奥行き方向に十分な境界特徴が連続していないために奥行き方向に走路境界が途切れていたとみなされた距離を示す。
また前記局所スコアは、該経路が死角領域との境界と判定される場合は、以下の計算式により算出する。
Figure 2018016394
ここで、(2)式の第一項は局所経路を含む累積経路における死角領域の長さに応じた負のスコアを表す。
ここで、該経路が死角領域の境界と判定される基準は以下の2条件を満たす場合とする。
1)局所経路の勾配がゼロの場合。すなわち、
2)を表す境界特徴を有する場合。すなわち、
Figure 2018016394
3)局所経路に対応するグリッド位置においては障害物の背景を表す境界特徴を有し、該グリッドの隣接横位置においては路面を表す境界特徴を有する場合。すなわち、
Figure 2018016394
ここで、UD(d,u)は境界特徴マップの該当位置における境界特徴量を示す。cb1、cb2は、それぞれ障害物の背景および、路面における境界特徴量の範囲を示す閾値である。
次に、累積スコアJ[d,u]は、(1)(2)式により計算された局所スコアおよびひとつ手前のラインにおいて計算された累積スコアJ[dn−1,un−1]に基づいて、下記(3)式に示す漸化式により算出する。
Figure 2018016394
ここで、UD空間における画像端(左右端および下端)のグリッドと連結する初期経路においてはJ[dn−1,un−1]は定義されないので、この場合はJ[dn−1,un−1]=0とする。UD空間の各位置において算出された累積スコアJ[d,u]は事前に設定された検出初期位置のいずれかを通り、(d,u)を検出終端位置とする場合の最適経路のスコアを意味する。各位置の累積スコアJ[d,u]は配列として格納され、後段の走路境界決定部105において、任意の位置を終端位置とする最適経路が決定される。この際に最適経路をとる各経路の位置を復元するために、(3)式を計算するタイミングにおいてグリッド(d,u)においてJ[d,u]が最大となるときのun−1の位置をun−1 [d,u]として配列に保持しておく。
このように最適的経路探索部106では、(1)(2)式に基づいて局所経路の局所スコアを算出し、(3)式に基づいて累積経路の累積スコアを計算し、各グリッドにおいて累積スコアが最大となる累積経路のみを保持しながら、最適経路の探索をライン毎に進める。すなわち(3)式において、各グリッド位置において同じグリッド位置を通るが累積スコアが最大にならない経路は最適性の原理から最適経路になる可能性がないため境界候補から棄却しているので、網羅的な探索において組み合わせが爆発せずに探索を進めることができる。
また(3)式において累積スコアを計算する際に、(1)(2)式において空隙長に応じたスコア、および死角領域の長さに応じたスコア、を計算するために必要な情報を次式により更新する。
1)空隙長に関連する情報の更新:
Figure 2018016394
2)死角領域の長さに関連する情報の更新:
Figure 2018016394
ここで、un−1 は(3)式においてJ[dn−1,un−1]+dJが最大となるときのun−1の値を示す。また(4)式のd[d,u]は、グリッド(d,u)を終端位置とする最適経路において空隙と判定されなかった終端距離(視差)を配列に格納したものであり、gacc[d,u]は空隙と判定されなかった終端位置からグリッド(d,u)までの経路上の境界特徴量の累積値を配列に格納したものである。(4)式は主に、グリッド(d,u)における前記累積値が0以下となる場合にグリッド(d,u)は空隙であるとみなして空隙長を1単位増加させ、そうでない場合はゼロとしたことがあとからわかるように設定している。また(5)式のd[d,u]は、グリッド(d,u)を終端位置とする最適経路における死角領域と判定されなかった終端距離(視差)を配列に格納したものである。(5)式は、局所経路が死角領域との境界と判定された場合に死角領域の長さを1単位増加させ、そうでない場合はゼロとしたことがあとからわかるように設定している。
次に、(1)(2)式の各項の詳細について説明する。(1)式の第一項は具体的に以下の式で表される。
Figure 2018016394
ここで、(6)式の第一項と第二項はグリッド(d,u)とグリッド(dn−1,un−1)を連結する局所経路において経路上とみなすグリッド位置の境界特徴量であり、図8のハッチングした‘□’および点線の‘□’で図示したグリッド位置の境界特徴量を累積した値を示す。
次に(1)式の第二項は具体的に以下の式で表される。
Figure 2018016394
ここで、ts1、ts2は所定の閾値を示し、Δsは該局所経路の勾配とその期待値sexpとのズレを示し、pは前記勾配の期待値とのズレに応じた所定のペナルティを与えるパラメータを示す。期待値sexpは、車両前方に伸展する直線道路を想定した場合に該グリッド位置(u,d)において推定される勾配であり、uおよびfはそれぞれカメラの横方向の主要点(中心点)位置および焦点距離を示し、φは3D空間における車両の直線道路に対するヨー角を示す。前記ヨー角の計測ができない場合、単純にφ=0として計算した値を使用すればよい。φ=0の固定値を使用したとしても、道路に沿って走行する通常ケースを想定すると、特に近傍側ではズレは小さいため、境界形状に関する有効な幾何制約となる。図9(c)に、φ=0とした場合の各グリッド位置で計算されたsexpの方向の一部を矢印でプロットした例を示す。図の(a)および(b)は対応する元画像および境界特徴マップである。図より、(b)における路端(ガードレール、車両の横エッジ)の方向と(c)における勾配の期待値の方向が類似していることがわかる。
次に(1)式の第三項は具体的に以下の式で表される。
Figure 2018016394
ここで、tg1、tg2は所定の閾値を示し、Δdは空隙長を示し、pは空隙長に応じた所定のペナルティを与えるパラメータを示し、pは空隙長が所定の値を超える場合に不可能経路として境界候補から除去するための任意の大きな値を示す。また、条件式(A)は式(4)と同じ条件であり、グリッド(d,u)が空隙であるか否かを判定する条件である。
次に(2)式の第一項は具体的に以下の式で表される。
Figure 2018016394
ここで、tb1、tb2は所定の閾値を示し、Δdは死角領域の長さを示し、pは死角領域の長さに応じた所定のペナルティを与えるパラメータを示し、pは死角領域の長さが所定の値を超える場合に不可能経路として境界候補から除去するための任意の大きな値を示す。
次に、走路境界決定部105の詳細を説明する。走路境界決定部105では、まず最適経路探索部106で格納された各グリッドにおける累積コストJ[d,u]が最大値Jmaxをとるグリッド位置(dgoal,ugoal)を最適経路の終端位置として検出する。さらに、最適経路の各位置はバックトレースにより求める。ここでバックトレースとは、最適経路探索部106において格納しておいたun−1 [d,u]を参照し、終端位置(dgoal,ugoal)からdstartの方向に逆にたどっていくことにより各距離(視差)ごとの最適経路の横位置un−1 を復元することを指す。以上の処理にもとづき、検出された最適経路をとる経路を走路境界として決定する。最後に、前記決定された走路境界が信頼性の低い結果でないことを確認してから結果を出力する。このとき、前記Jmaxが所定の値よりも低い、あるいは前記最適経路の奥行き方向の長さ(終端位置−始端位置)が所定の値よりも短い場合は推定された走路境界の信頼性が低いとみなし、走路境界は推定されなかったものとして結果を出力しない。なお、前記横位置はUD空間における横位置として計測されるものであるが、焦点距離等のセンサパラメータを用いて3D空間における横位置として変換して出力するものとする。
そして、走行支援制御装置12は、走路境界決定部105により出力された走路境界に基づいて、車両の走行支援を実施する。具体的には、走路境界の位置、および自車の状態
(位置、進行方向、速度、加速度など)に基づいて、自車が道路を逸脱する、あるいは横方向の障害物と衝突する危険性があるか否か、を判断する。そして、道路の端部や横方向の障害物との距離が近く道路の逸脱あるいは衝突の危険性が高いと判断した場合には、当該車両Vのスピーカ15を作動させてドライバーに警告(注意喚起)を行ったり、当該車両Vの走行を支援するためのアクセル制御量、ブレーキ制御量、ステアリング制御量を算出して、アクセル13やブレーキ14やステアリング16などの制御を行う。
以上説明したように、本実施形態1の走路境界推定装置によれば、境界特徴マップ生成部102において生成した走路境界の特徴量と、境界候補設定部106において予め定めた幾何条件に従って網羅的に設定されたセンサ視野角に入る見え始めの検出始端位置から任意の検出終端位置までの奥行き方向に連続する複数の走路境界候補に基づいて、各走路境界候補の境界形状に該当する前記境界特徴マップの特徴量および境界形状の有する勾配・空隙長・死角領域の長さに基づいた奥行き方向の連続性評価値を加算して算出される境界らしさ評価値を最大化する候補を走路境界として決定する。このとき、検出始端位置および勾配制限を設定したうえで、局所スコアを累積した累積スコアが最大となる最適経路を探索するため、空間を俯瞰的にみて最適といえる形状を推定することができ、距離特徴あるいは画像濃淡特徴の弱い路端が存在する場合や、路端が不連続な形状をとる場合など境界が曖昧となる場合でも境界を適切に推定されやすくなる。
さらに、検出終端位置には制限を設けておらず、また境界形状の終端位置からの空隙長に応じて境界らしさ評価値が低下するように設計されているので、適切な検出終端位置を有する最適な境界形状を推定することができる。これにより、例えば路端が一定長さ以上途切れていたり路端の特徴量が十分に得られていない領域において走路境界を誤推定することを抑制できるとともに、信頼性が十分高いとみなせる近傍側区間の走路境界を推定し出力することができる。
また、局所経路が死角領域との境界を通ると判断される場合には、死角領域の長さに応じたマイナス評価値を加算する一方で、勾配の期待値とのずれに応じたマイナス評価値は加算されないように設計されているので、死角をつくる障害物の存在によって、前景側の障害物のエッジの路端と背景側の路端との境界が不連続となる場合であっても、前記不連続性を一定程度許容して走路境界が推定することができる。すなわち、一定の条件を満たす場合は前記障害物のエッジの路端と背景側の路端とその間をつなぐ死角領域との境界を適切に走路境界と推定することができる。
図10(a)(b)(c)に、走路境界推定装置10によって推定された走路境界の例を示す。(a)より、左側路端である高さの高い側壁はもちろんのこと、高さが低く特徴量に乏しくなる右側路端の縁石の位置においても適切に走路境界が推定されていることがわかる。また、右側路端の縁石においては、急カーブに起因してステレオカメラによって障害物面の見えている範囲が近傍に限定されており、一定距離以遠の対応する境界特徴量が存在しないシーンとなっている。
(a)の推定結果においては走路境界は近傍から縁石の障害物面が見えている終端の位置までの区間において適切に推定されており、信頼性の高い区間の境界が出力されるようになっていることがわかる。
(b)においては車両が道路の端部を遮蔽しており近傍側の道路の端部が見えない場合に、車両のエッジおよびその奥側の道路の端部を適切に走路境界と推定できていることがわかる。
(c)においては、車両が道路の端部を遮蔽している一方、道路の端部が検出始端位置から一定の区間にわたって十分に見えている場合においては、道路の端部が走路境界と推定され、障害物の遮蔽によって不連続となる位置が適切に検出終端位置として推定されていることがわかる。
なお、本実施の形態においては、境界特徴マップ生成部102において境界特徴はステレオカメラにより算出した距離画像に基づいて生成したが、レーダ等の距離センサより計測した距離データに基づいてもよい。さらに距離画像ではなくとも、カメラにより取得した濃淡画像のエッジ情報に基づいて生成してもよいし、濃淡画像および距離画像の双方に基づいて画像のエッジにもとづく境界特徴と距離画像にもとづく境界特徴を重み付けして足し合わせることにより生成してもよい。
また、本実施の形態においては、境界らしさ評価部104において、勾配の期待値は、車両の道路に対するヨー角がゼロを想定し、かつ直線道路を想定した場合の値を使用できることを示したが、当然ながら、車両の道路に対するヨー角を推定し、また道路のカーブ形状を推定した結果に基づいて、より精緻な勾配の期待値を算出してもよい。車両の道路に対するヨー角および道路のカーブ形状は、例えば白線検出結果に基づいて推定することができる。さらに、勾配の期待値は、画像の各部におけるエッジ特徴量に基づいて設定してもよいし、地図情報および自車位置情報、あるいは前回の時刻に検出した走路境界の位置・勾配・および自車位置情報を用いて設定してもよい。
また、本実施の形態においては、境界らしさ評価部104において、勾配の期待値とのずれに応じたマイナス評価値を加算することを示したが、さらに境界位置の期待値とのずれに応じたマイナス評価値を加算してもよい。境界位置の期待値は、たとえば白線検出結果に基づいて設定し、白線よりも道路外方向に一定範囲の領域を期待値とすることが考えられる。
さらに、地図情報と自車位置情報に基づいて設定してもよいし、あるいは前回の時刻に検出した走路境界の位置・勾配・および自車位置情報を用いて設定してもよい。このように、道路形状に関する事前知識において前提条件に一定程度の妥当性が確保できる場合、あるいは別手段による事前計測の一定程度の精度が確保できる場合は、走路境界の幾何学形状に関する期待値を設定し、期待値とのズレに応じたマイナス評価値を加算することにより、安定的に適切な走路境界を推定できる。その他の幾何学形状の属性としては、例えば道路の曲率などが考えられる。
[実施形態2]
図11は実施形態2の構成を示したものである。なお、実施形態1に係る走路境界推定装置10と同様の構成については、同一の符号を付して説明を省略する。実施形態2の走路境界推定装置10Aは、実施形態1の構成と、主に境界特徴マップを複数生成し、これらの複数の境界特徴マップに基づいて複数の走路境界が出力される点に差異があり、その他の構成は同様である。
特徴マップ生成部102Aでは、実施形態1における特徴マップ生成部102と同様の手段によって特徴マップを生成するが、前記路面特徴抑制処理部のパラメータあるいは前記特徴量正規化処理部のパラメータあるいは前記背景特徴減算処理部のパラメータ、に関して予め定めた複数の組み合わせの設定に基づいて複数の境界特徴マップを生成する。予め定めた複数の組み合わせの設定は、例えば、縁石などの高さの低い障害物であっても境界特徴量が相対的に大きい値をとるように定めたパラメータ(A)と、縁石などの高さが低く踏破が可能と考えられる障害物においては境界特徴量が小さいあるいはゼロ以下の値をとるように定めたパラメータ(B)の2つとする。このような設定に基づき、パラメータ(A)に基づいて生成される境界特徴マップ(A)と、パラメータ(B)に基づいて生成される境界特徴マップ(B)を生成する。
次に、境界らしさ評価部104Aでは、境界らしさ評価部104と同様の処理を行うが、境界らしさ評価値を算出する際に境界特徴マップ(A)を参照して算出する境界らしさ評価値(A)と、境界特徴マップ(B)を参照して算出する境界らしさ評価値(B)を算出する。走路境界決定部105Aでは、上記境界らしさ評価値(A)および(B)の観点でそれぞれ最適となる経路をとる走路境界(A)および走路境界(B)を決定し、それぞれ出力する。
走行支援制御装置12Aでは、走行支援制御装置12と同様に必要に応じてドライバへの注意喚起や車両Vの制御を行うが、走行状態および走路境界(A)と走路境界(B)とに基づいて走行支援の判断を行うことを特徴とする。走行状態としてはたとえば、前方障害物との衝突の危険性のない通常の走行状態(A)と前方障害物との衝突の危険性があり衝突回避が求めれる走行状態(B)を設定する。そして、たとえばステレオカメラ装置11によって検出された前方障害物に対する距離や相対距離に応じて走行状態(A)であるか走行状態(B)であるかを判定する。そして、たとえば、走行状態(A)の場合は走路境界(A)に基づいて縁石など小さな障害物であっても道路の端部であるとみなせる境界を逸脱しないように走行支援を行い、走行状態(B)の場合は走路境界(A)を逸脱しなければ前方障害物との衝突が避けられないと判断される場合において、走路境界(A)を逸脱し走路境界(B)を逸脱しない位置に緊急退避させるように車両Vを制御する。
このように、実施形態2においては境界特徴を複数定義することに基づいて複数の評価尺度の観点から複数の走路境界が推定されることにより、走行状態に応じて適した境界位置の情報を参照することができるので、状況に応じた適切な走行支援を行うことができる。
また、本実施の形態においては複数の境界特徴マップを生成することを特徴としているが、前記パラメータを動的に設定することにより単一の境界特徴マップを生成して同様の効果を得る構成でもよい。この場合、境界特徴マップ生成部において前記走行状態の情報が入力されることによって、境界特徴マップ生成部における前記パラメータを前記走行状態において求められる走路境界に適した値となるように動的に設定することが考えられる。
[実施形態3]
図12は実施形態3の構成を示したものである。なお、実施形態1に係る走路境界推定装置10と同様の構成については、同一の符号を付して説明を省略する。実施形態3の走路境界推定装置10Bは、実施形態1の構成に加えて、主に境界特徴マップ生成部102Bが複数の境界特徴マップを生成する点と、障害物境界推定部107Bおよび走行可能領域設定部108Bが追加されている点に差異があり、その他の構成は同様である。
境界特徴マップ生成部102Bは、実施形態2における境界特徴マップ生成部102Aと同様に2種類のパラメータ設定にもとづいて2つの境界特徴マップを生成する。ここで、2種類のパラメータ設定とは、縁石などの高さの低い障害物であっても境界特徴量が相対的に大きい値をとるように定めたパラメータ(A)と、縁石などの高さが低く路上において踏破できない障害物とはみなされない境界においては境界特徴量が小さいあるいはゼロ以下の値をとるように定めた前記パラメータ(B)とする。
このうち前記パラメータ(A)に基づいて生成された境界特徴マップは境界候補設定部103に入力され、以降の処理は実施形態1と同様の処理により走路境界決定部105において走路境界が出力されるものとし、前記パラメータ(B)に基づいて生成された境界特徴マップは障害物境界推定部107Bに入力されるものとする。
障害物境界推定部107Bにおいては、センサ視野角の左端を検出始端位置とし、センサ視野角の右端を検出終端位置として、センサ横角度方向に途切れなく連続する障害物との境界線(障害物境界)を推定する。このような障害物との境界線と推定する方法として、たとえば先行技術文献2に示される方法を用いる。
そして走行可能領域設定部108Bにおいては、走路境界決定部105において推定された走路境界と、障害物境界推定部107Bにおいて推定された障害物境界と、に基づいて走行可能領域を設定する。設定方法としては、例えば、センサの各視線方向において推定された前記走路境界と前記障害物境界のうち手前側となる境界位置を走行可能領域の端部とし、センサの視野角内の領域でかつ前記走行可能領域の端部より手前側の領域を走行可能領域と設定する。
ここで、障害物境界はセンサ横角度方向に途切れなく連続した境界線が得られているが、縁石などの小さな障害物においては境界位置が適切に推定されず、奥側の大きな障害物の位置において推定される傾向を有し、走路境界は縁石などの小さな障害物においても境界位置が適切に推定されるが、路上の正面方向の障害物の位置においては境界が推定されない性質をもっている。このような性質の異なる境界情報を統合することにより、センサ横角度方向に途切れのない境界線が得られ、かつ側面方向の境界は縁石などの高さの低い路端の位置においても適切な境界位置が得られるので、いずれか一方のみを境界情報とするよりも利便性の高い形式でかつ正確な走行可能領域を設定することができる。
このようにして設定した走行可能領域の概念図を図13に示す。ここで(a)に推定された走路境界の概念図を示し、(b)に推定された障害物境界の概念図を示し、(c)に設定された走行可能領域およびその端部の概念図を示す。なお境界は白線で示し、走行可能領域はハッチングした領域で示している。
走行支援制御装置12Bにおいては、走行支援制御装置12と同様に必要に応じてドライバへの注意喚起や車両Vの制御を行うが、走行可能領域設定部108により設定された走行可能領域に基づいて、車両の横方向の道路の逸脱や横方向の障害物との衝突リスクに加えて、縦方向の障害物との衝突リスクを含めた統合的な判断を可能とすることを特徴とする。たとえば、前記走行可能領域および乗り心地を考慮して、道路からの逸脱や障害物と衝突リスクが少ないルートを計画し、車両Vを制御する。乗り心地は車両Vの速度や加速度に基づくものとし、ルート候補は前記走行可能領域の端部を逸脱しない範囲で多数の候補を設定し、これらのルート候補のうち走行可能領域の端部とのマージンと乗り心地の良さの観点で最適なルートを選択する。このようにして計画されたルートに基づいて車両Vを制御することにより、車両の横方向に対する制御と縦方向に対する制御を分割する必要がなくなり、より簡素で信頼性の高い走行支援を実施することができる。

Claims (17)

  1. 外界センサより取得した画像に基づいて、前記画像あるいは前記画像を別視点に変換した画像のグリッドごとに走路境界が存在する特徴量を格納する境界特徴マップを生成する境界特徴マップ生成部と、予め定めたセンサ視野角に入る見え始めの検出始端位置から任意の検出終端位置までの奥行き方向に連続する複数の経路を境界候補として設定する境界候補設定部と、前記境界候補について、該当する前記境界特徴マップの特徴量および奥行き方向の連続性評価値を加算した境界らしさ評価値を算出する境界らしさ評価部と、前記境界らしさ評価部において算出された各境界候補の境界らしさ評価値を比較して、走路境界を決定する走路境界決定部と、を有する走路境界推定装置。
  2. 前記境界候補設定部において、走路境界の各部形状における奥行き方向の勾配が一定範囲内である幾何拘束条件を用いることを特徴とする、請求項1に記載の走路境界推定装置。
  3. 前記境界らしさ評価部において、奥行き方向の連続性評価値は、境界形状の各部における走路境界の奥行き方向の勾配の期待値とのズレに応じたマイナス評価値であることを特徴とし、前記勾配の期待値は前記境界形状の各部におけるエッジの特徴量に基づく勾配、あるいは自車に対して直線道路を想定して推定される勾配、あるいは外界センサにより検出した白線の勾配、あるいは地図情報と自車位置情報を用いて推定される勾配、あるいは前回の時刻に検出した走路境界の位置・勾配・および自車挙動情報を用いて推定される勾配、であることを特徴とする請求項1に記載の走路境界推定装置。
  4. 前記境界らしさ評価部において、前記境界らしさ評価値は前記境界特徴マップの特徴量および前記奥行き方向の連続性評価値に加えて、走路境界の位置の期待値からのズレに応じたマイナス評価値が加算されることを特徴とし、前記走路境界の位置の期待値は、外界センサにより検出した白線位置に基づいて推定される位置、あるいは地図情報と自車位置情報を用いて推定される位置、あるいは前回の時刻に検出した走路境界の位置・勾配・および自車挙動情報を用いて推定される位置、であることを特徴とする請求項1に記載の走路境界推定装置。
  5. 前記境界らしさ評価部において、奥行き方向の連続性評価値は、さらに、前記境界特徴マップに基づいて走路境界が途切れたとみなされる長さを示す空隙長さに応じたマイナス値が加算される、ことを特徴とする請求項3に記載の走路境界推定装置。
  6. 前記境界らしさ評価部において、奥行き方向の連続性評価値は、前記境界候補設定部における奥行き方向の伸展方向および前記境界特徴マップに基づいて該経路が死角領域との境界であると判定される場合においては死角領域の長さに応じた所定のマイナス値が加算され、前記の境界形状の各部における勾配の期待値とのズレに応じたマイナス評価値は加算されない、ことを特徴とする請求項3に記載の走路境界推定装置。
  7. 前記境界決定部において、前記走路境界に加えて走路境界中に存在した死角領域との境界と判定された区間を出力する、ことを特徴とする請求項6に記載の走路境界推定装置。
  8. 前記境界候補設定部は、走路境界の経路を前記境界特徴マップの隣接距離間のグリッドを連結する局所経路を組み合わせた累積経路として表現し、前記累積経路が予め定められた走路境界の幾何属性の制約範囲内においてとりうる組み合わせを網羅的に設定することを特徴とする、請求項1に記載の走路境界推定装置。
  9. 前記境界候補設定部および前記境界らしさ評価部は、前記累積経路を前記境界特徴マップの近傍側から遠方側の距離方向に向かって順次設定するとともに、前記累積経路の境界らしさ評価値を算出するものとし、任意距離において、途中経路が異なりかつ同じ位置をとる経路が複数存在する場合には、前記累積経路の境界らしさ評価値が最も高くなる経路以外の経路を境界候補から棄却することを特徴とする、請求項8に記載の走路境界推定装置。
  10. 前記境界特徴マップは、距離センサが計測した距離画像に基づいて、あるいはカメラにより撮像した濃淡画像に基づいて、各グリッドに対応する空間位置において走路の境界が存在する確度に相当する値を境界特徴として格納したものであることを特徴とする、請求項1に記載の走路境界推定装置。
  11. 前記境界特徴マップ生成部は、距離センサが計測した距離画像に基づいて、各グリッド位置に障害物が存在する特徴量を格納した占有グリッドマップを生成する占有グリッドマップ生成処理部と、前記占有グリッドマップの路面位置に相当する特徴量を抑制するための特徴量差分値を設定する路面特徴抑制効果設定部と、前記占有グリッドマップの各グリッド位置の特徴量が所定の値以下に収まるように正規化するための特徴量差分値を設定する特徴量正規化効果設定部と、前記占有グリッドマップのセンサから見て最も手前側の障害物より奥側とみなされるグリッドの特徴量を抑制するための特徴量差分値を設定する背景特徴抑制効果設定部と、前記路面特徴抑制効果設定部および前記特徴量正規化効果設定部および背景特徴抑制効果設定部において設定された特徴量差分値を前記占有グリッドマップの特徴量に加算するフィルタ処理部、とを備えることを特徴とする、請求項1に記載の走路境界推定装置。
  12. 前記外界センサより取得した画像は濃淡画像と距離画像の双方であって、前記境界特徴マップは濃淡情報に基づいた境界特徴マップおよび距離情報に基づいた境界特徴マップをそれぞれ重み付けして足し合わせたものを用いる、あるいはいずれかの境界特徴マップを選択的に用いることを特徴とする、請求項1に記載の走路境界推定装置。
  13. 請求項1に記載の走路境界推定装置と、走路境界推定装置によって出力された走路境界に基づいて、車両の走行を支援する走行支援制御装置とを備えることを特徴とする、請求項1に記載の走行支援システム。
  14. 前記境界特徴マップ生成部は、車両の走行状態に応じて前記路面特徴抑制処理部あるいは前記特徴量正規化処理部あるいは前記背景特徴抑制処理のパラメータを動的に変化させることを特徴とする、請求項11に記載の走路境界推定装置。
  15. 前記境界特徴マップ生成部は、前記路面特徴抑制処理部のパラメータあるいは前記特徴量正規化処理部のパラメータあるいは前記背景特徴減算処理部のパラメータ、の複数の組み合わせの設定に基づいて複数の境界特徴マップを生成することを特徴とし、前期境界らしさ評価部は前記複数の境界特徴マップに基づいて複数尺度の境界らしさ評価値を算出することを特徴とし、前記走路境界決定部は前記各尺度の境界らしさ評価値にもとづいて、各尺度の境界らしさ評価値についてそれぞれ最適となる複数の走路境界を決定し、出力することを特徴とする、請求項11に記載の走路境界推定装置。
  16. 前記走路境界推定装置により出力された複数の走路境界と、車両の走行状態に基づいて、車両の走行を支援する、請求項15に記載の走行支援システム。
  17. さらに、予め用意された障害物形状に関する情報を用いて、センサ視野角の左端の検出始端位置からセンサ視野角の右端の検出終端位置までのセンサ横角度方向に途切れなく連続する障害物との境界線である障害物境界を推定する障害物境界推定部と、前記走路境界と前記障害物境界とに基づいて走行可能領域を設定する走行可能領域設定部と、を備えることを特徴とする、請求項1に記載の走路境界推定装置。
JP2018528508A 2016-07-22 2017-07-12 走路境界推定装置及びそれを用いた走行支援システム Active JP6606610B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016143893 2016-07-22
JP2016143893 2016-07-22
PCT/JP2017/025356 WO2018016394A1 (ja) 2016-07-22 2017-07-12 走路境界推定装置及びそれを用いた走行支援システム

Publications (2)

Publication Number Publication Date
JPWO2018016394A1 true JPWO2018016394A1 (ja) 2019-03-07
JP6606610B2 JP6606610B2 (ja) 2019-11-13

Family

ID=60993079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528508A Active JP6606610B2 (ja) 2016-07-22 2017-07-12 走路境界推定装置及びそれを用いた走行支援システム

Country Status (4)

Country Link
US (1) US10832061B2 (ja)
EP (1) EP3489928A4 (ja)
JP (1) JP6606610B2 (ja)
WO (1) WO2018016394A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018077619A1 (en) * 2016-10-24 2018-05-03 Starship Technologies Oü Sidewalk edge finder system and method
JP6548312B2 (ja) * 2017-09-19 2019-07-24 株式会社Subaru 画像処理装置
JP6815963B2 (ja) * 2017-09-29 2021-01-20 クラリオン株式会社 車両用外界認識装置
US10996679B2 (en) * 2018-04-17 2021-05-04 Baidu Usa Llc Method to evaluate trajectory candidates for autonomous driving vehicles (ADVs)
US11288521B2 (en) * 2019-01-31 2022-03-29 Uatc, Llc Automated road edge boundary detection
CN110162040B (zh) * 2019-05-10 2022-06-17 重庆大学 一种基于深度学习的低速自动驾驶小车控制方法及系统
US11132772B2 (en) 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
CN112393737B (zh) * 2019-08-16 2024-03-08 苏州科瓴精密机械科技有限公司 障碍地图的创建方法、系统,机器人及可读存储介质
EP3977410A4 (en) * 2019-11-15 2022-09-21 Samsung Electronics Co., Ltd. ASYMMETRICAL NORMALIZED CORRELATION LAYER FOR ADAPTATION OF DEEP NERION NETWORK CHARACTERISTICS
WO2021171049A1 (ja) * 2020-02-24 2021-09-02 日産自動車株式会社 車両制御方法及び車両制御装置
CN111256712B (zh) * 2020-02-24 2021-10-29 深圳市优必选科技股份有限公司 地图优化方法、装置及机器人
CN112415995B (zh) * 2020-09-22 2023-08-01 北京智行者科技股份有限公司 基于实时安全边界的规划控制方法
JP2022059958A (ja) * 2020-10-02 2022-04-14 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置
CN112257652A (zh) * 2020-11-06 2021-01-22 北京航迹科技有限公司 确定可行驶区域的方法、装置、设备和存储介质
KR102520375B1 (ko) * 2020-12-14 2023-04-11 건국대학교 산학협력단 3차원 공간정보 생성을 위한 병렬처리 장치 및 방법
CN114858119B (zh) * 2021-02-04 2024-04-02 长沙智能驾驶研究院有限公司 边距测量方法、装置、设备及计算机存储介质
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
CN113479191B (zh) * 2021-06-30 2023-04-07 重庆长安汽车股份有限公司 用于泊车的无车道线的车道边界检测系统、方法及车辆
CN114077249B (zh) * 2021-10-22 2024-03-15 陕西欧卡电子智能科技有限公司 一种作业方法、作业设备、装置、存储介质
WO2024042607A1 (ja) * 2022-08-23 2024-02-29 日立Astemo株式会社 外界認識装置及び外界認識方法
CN116901085B (zh) * 2023-09-01 2023-12-22 苏州立构机器人有限公司 智能机器人避障方法、装置、智能机器人及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009298356A (ja) * 2008-06-17 2009-12-24 Nissan Motor Co Ltd 車両用障害物回避支援装置及び車両用障害物回避支援方法
JP2014175007A (ja) * 2013-03-11 2014-09-22 Ricoh Co Ltd 道路エッジ検出方法及び道路エッジ検出装置
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2013003800A (ja) 2011-06-15 2013-01-07 Toyota Central R&D Labs Inc 走行可能領域検出装置及びプログラム
JP6046666B2 (ja) 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009298356A (ja) * 2008-06-17 2009-12-24 Nissan Motor Co Ltd 車両用障害物回避支援装置及び車両用障害物回避支援方法
JP2014175007A (ja) * 2013-03-11 2014-09-22 Ricoh Co Ltd 道路エッジ検出方法及び道路エッジ検出装置
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム

Also Published As

Publication number Publication date
JP6606610B2 (ja) 2019-11-13
US10832061B2 (en) 2020-11-10
US20190156129A1 (en) 2019-05-23
WO2018016394A1 (ja) 2018-01-25
EP3489928A1 (en) 2019-05-29
EP3489928A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6606610B2 (ja) 走路境界推定装置及びそれを用いた走行支援システム
US11200433B2 (en) Detection and classification systems and methods for autonomous vehicle navigation
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
CN106463064B (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
JP5820774B2 (ja) 路面境界推定装置及びプログラム
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
CN112455430B (zh) 无车位线的斜列车位的检测方法、泊车方法及泊车系统
JP4940177B2 (ja) 交通流計測装置
CN108475471B (zh) 车辆判定装置、车辆判定方法和计算机可读的记录介质
JP6815963B2 (ja) 車両用外界認識装置
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
JP4296287B2 (ja) 車両認識装置
JP7119317B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
Wedel et al. B-spline modeling of road surfaces for freespace estimation
JP4956099B2 (ja) 壁検出装置
JP2017117105A (ja) 見通し判定装置
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
JP5746996B2 (ja) 道路環境認識装置
JP7344744B2 (ja) 路側端検出方法、及び、路側端検出装置
WO2020095673A1 (ja) 車載制御装置
CN113994663A (zh) 立体图像处理装置及立体图像处理方法
JP2021047099A (ja) 車両の自己位置推定装置、および、自己位置推定方法
JP2020027057A (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191018

R150 Certificate of patent or registration of utility model

Ref document number: 6606610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350