JP6342104B1 - 車両位置推定装置 - Google Patents

車両位置推定装置 Download PDF

Info

Publication number
JP6342104B1
JP6342104B1 JP2018513402A JP2018513402A JP6342104B1 JP 6342104 B1 JP6342104 B1 JP 6342104B1 JP 2018513402 A JP2018513402 A JP 2018513402A JP 2018513402 A JP2018513402 A JP 2018513402A JP 6342104 B1 JP6342104 B1 JP 6342104B1
Authority
JP
Japan
Prior art keywords
lane
vehicle
unit
line
drawing line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018513402A
Other languages
English (en)
Other versions
JPWO2018179616A1 (ja
Inventor
健太朗 大黒
健太朗 大黒
雄治 五十嵐
雄治 五十嵐
雅彦 伊川
雅彦 伊川
将智 藤井
将智 藤井
崇志 入江
崇志 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority claimed from PCT/JP2017/045319 external-priority patent/WO2018179616A1/ja
Application granted granted Critical
Publication of JP6342104B1 publication Critical patent/JP6342104B1/ja
Publication of JPWO2018179616A1 publication Critical patent/JPWO2018179616A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3819Road shape data, e.g. outline of a route
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/421Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system
    • G01S19/426Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system by combining or switching between position solutions or signals derived from different modes of operation in a single system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、高精度な車両位置の推定を行うことが可能な車両位置推定装置を提供することを目的とする。本発明による車両位置推定装置は、映像情報に基づいて車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部(5)と、車両の車線変更の有無および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部(6)と、地図情報取得部(11)と、車線変更の有無および車線変更の方向と車線接続関係とに基づいて車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部(7)と、前進距離を算出する車両前進距離算出部(10)と、地図情報と車両が走行中の車線および車両横位置と前進距離とに基づいて地図上の道路における車両の位置を算出する地図上車両位置算出部(8)とを備える。

Description

本発明は、車両の現在位置を推定する車両位置推定装置に関する。
ナビゲーションシステムは、通常、衛星から受信するGNSS(Global Navigation Satellite System)座標情報、車両の車輪回転数から算出される車速信号情報、およびジャイロセンサから得られる加速度情報等を考慮してデッドレコニング処理を行って得られる車両位置推定座標を保持している。
また、道路をリンク、ノード、およびそれらに紐付く属性情報のみで表現するナビゲーション向けの地図を用いる場合、ナビゲーションシステムは、マップマッチング処理を行うことによって車両が走行中の道路のリンクと、当該リンク上における車両位置とを算出することによって地図上における車両位置の表示位置を決定している。なお、地図上における車両位置は、カーマークともいう。
上記のナビゲーション向けの地図は、車線レベルの詳細形状の情報を含まず、複数の車線を含む道路全体が線分群または曲線等で表現されているため、マップマッチング処理によって車両の走行車線、または車線内における車両の横方向の相対位置を推定するための地図情報を提供していない。車両の横方向とは、車両の進行方向に直交する方向のことである。通常、デッドレコニング処理によって得られる車両位置の推定精度は、マルチパス等の衛星受信環境の影響を受けやすく、受信環境によっては10m程度の誤差が含まれる。従って、たとえ車線ごとの詳細形状が分かっているとしても、デッドレコニング処理の結果と車線ごとの詳細形状とを照合することによって、実際の走行車線および車線内における車両の横方向の相対位置を正確に推定することができる見込みは低い。
このように、GNSS座標情報、車速信号情報、および角速度情報を組み合わせたデッドレコニング処理によって算出した車両位置だけでは、走行車線の推定に必要な車両の横位置を得ることは困難である。従って、車載カメラが撮影した映像情報の分析結果を併用して車両位置を特定する技術開発が進められている。車載カメラから得られる映像情報を分析することによって、走行車線の左区画線および右区画線に相当する、道路に描画された線である描画線を検出することが可能である。以下、道路の車線を区画する区画線のうち、車両の左側の区画線、すなわち走行車線と当該走行車線の左側に存在する車線との境界を示す線を左区画線という。また、車両の右側の区画線、すなわち走行車線と当該走行車線の右側に存在する車線との境界を示す線を右区画線という。区画線に用いられる色および形状は、国または地域ごとによって異なる。例えば、日本では、区画線の色として白色および黄色がよく用いられる。
車両位置推定システムは、車両に対する描画線の相対位置と、地図情報に含まれている区画線の絶対位置とに基づいて、車線内における車両位置の高精度な推定が可能となる。カメラによる描画線認識の位置精度は、一般的に数十cm程度であるため、車両の横位置についても数十cm程度の精度が期待できる。
上記のようなカメラによる描画線認識の技術は、運転支援機能向けの種々の機能に利用されつつあり、描画線認識機能を内蔵したADAS(Advanced Driver Assistance System)用途の汎用カメラが製品化されている。当該カメラによる描画線認識機能は、車両直近すなわち車両の左側直近および右側直近の2本の描画線を検出し、検出した各描画線の形状を、車両の位置および進行方向を基準とした直交座標系における多項式すなわち曲線で表現して出力する仕様が一般的である。出力される描画線の本数が2本であるという仕様は、カメラによる描画線認識機能を車線維持機能に適用することを意識しているものと推測される。
カメラによる描画線認識の精度は、自車両周辺の走行環境によって変化する。本来は、左区画線および右区画線の両方が検出されることが期待されるが、例えば道路構造物に起因して発生する道路上のコントラストの違い、トンネル内の照度不足、並走車両による描画線隠れ、または描画線のかすれ等に起因して、一方の区画線しか認識することができない場合がしばしば存在する。
このようなカメラによる描画線認識の不確実性に対して、検出された描画線の線種に関してあらかじめ想定した線種の遷移パターンと、検出された線種の時系列データとに基づいて補正を行うことによって車両の進行方向を推定する技術が開示されている(例えば、特許文献1参照)。描画線の線種としては、例えば分岐線、実線、または破線が挙げられる。分岐線は、通常の車線間の区画線よりも幅が広くかつ破線の長さが短い線である。車両の進行方向としては、例えば分岐方向または本線方向が挙げられる。
特許文献1では、地図データに基づいて車両の前方に分岐線を発見したときに、車両の前方を撮影したカメラの映像に対して横方向に3分割して各エリア内で描画線検出を行っている。そして、各エリア内における描画線の検出結果と、予め想定した各エリア内における線種の遷移パターンとを照合することによって、検出された描画線の種別を補正している。
特開2008−102684号公報
特許文献1では、横方向に3分割された各エリア内における描画線の検出結果を用いることを前提としている。すなわち、特許文献1では、最大3本の描画線の認識結果が必要となる。従って、上述の運転支援機能向けの標準的な描画線の認識結果の出力仕様である、車両の直近の2本の描画線のみを用いることができない。また、特許文献1では、3本の描画線を認識することが可能な専用の描画線認識モジュールを使用する必要があり、幅広い製品への適用が困難であるという問題がある。
さらに、特許文献1では、補正対象はカメラによって検出された描画線の線種のみであり、描画線の検出位置および描画線の有無について何ら言及されていない。従って、特許文献1を車両位置推定技術にそのまま適用しても、車両位置の精度向上に貢献しない。
本発明は、このような問題を解決するためになされたものであり、高精度な車両位置の推定を行うことが可能な車両位置推定装置を提供することを目的とする。
上記の課題を解決するために、本発明による車両位置推定装置は、車両の前方の道路を撮影した映像情報を取得する映像情報取得部と、映像情報取得部が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部と、描画線認識部が認識した左右両側の相対的な位置を道路の車線を区画する左右両側の区画線の位置とし、車両の車線変更の有無、および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部と、少なくとも車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部と、描画線認識結果処理部が算出した車線変更の有無および車線変更の方向と、地図情報取得部が取得した車線接続関係とに基づいて、車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部と、車両が前進した距離である前進距離を算出する車両前進距離算出部と、地図情報取得部が取得した地図情報と、車両横位置算出部が算出した車両が走行中の車線および車両横位置と、車両前進距離算出部が算出した前進距離とに基づいて、地図上の道路における車両の位置を算出する地図上車両位置算出部とを備え、描画線認識結果処理部は、描画線認識部が認識した左右両側の相対的な位置に基づいて、左右両側の描画線の位置が時間的に連続となるように補正する描画線連続化補正部と、描画線連続化補正部が補正した左右両側の描画線の相対的な位置と、過去の左右両側の区画線の位置とに基づいて、車線変更の方向を含む車両の車線変更の状態を判定する車線変更状態判定部と、描画線連続化補正部が補正した左右両側の描画線の相対的な位置と、車線変更状態判定部が判定した車両の車線変更の状態とに基づいて、左右両側の区画線の位置を算出する区画線位置算出部と、区画線位置算出部が算出した左右両側の区画線の位置を時系列データとして蓄積する時系列データ蓄積部とを備え、地図情報取得部が取得する地図情報は、車線の幅である車線幅を含み、描画線連続化補正部は、時系列データ蓄積部が蓄積している現時点から予め定められた時間前における車両の左側の区画線である左区画線の位置と、現時点で描画線認識部が認識した車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、右描画線は現時点における左区画線であると判定し、現時点における左区画線と地図情報に含まれる車線幅とに基づいて現時点における車両の右側の区画線である右区画線の位置を算出し、時系列データ蓄積部が蓄積している現時点から予め定められた時間前における右区画線の位置と、現時点で描画線認識部が認識した車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、左描画線は現時点における右区画線であると判定し、現時点における右区画線と車線幅とに基づいて現時点における左区画線の位置を算出する。
本発明によると、車両位置推定装置は、車両の前方の道路を撮影した映像情報を取得する映像情報取得部と、映像情報取得部が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部と、描画線認識部が認識した左右両側の相対的な位置を道路の車線を区画する左右両側の区画線の位置とし、車両の車線変更の有無、および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部と、少なくとも車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部と、描画線認識結果処理部が算出した車線変更の有無および車線変更の方向と、地図情報取得部が取得した車線接続関係とに基づいて、車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部と、車両が前進した距離である前進距離を算出する車両前進距離算出部と、地図情報取得部が取得した地図情報と、車両横位置算出部が算出した車両が走行中の車線および車両横位置と、車両前進距離算出部が算出した前進距離とに基づいて、地図上の道路における車両の位置を算出する地図上車両位置算出部とを備え、描画線認識結果処理部は、描画線認識部が認識した左右両側の相対的な位置に基づいて、左右両側の描画線の位置が時間的に連続となるように補正する描画線連続化補正部と、描画線連続化補正部が補正した左右両側の描画線の相対的な位置と、過去の左右両側の区画線の位置とに基づいて、車線変更の方向を含む車両の車線変更の状態を判定する車線変更状態判定部と、描画線連続化補正部が補正した左右両側の描画線の相対的な位置と、車線変更状態判定部が判定した車両の車線変更の状態とに基づいて、左右両側の区画線の位置を算出する区画線位置算出部と、区画線位置算出部が算出した左右両側の区画線の位置を時系列データとして蓄積する時系列データ蓄積部とを備え、地図情報取得部が取得する地図情報は、車線の幅である車線幅を含み、描画線連続化補正部は、時系列データ蓄積部が蓄積している現時点から予め定められた時間前における車両の左側の区画線である左区画線の位置と、現時点で描画線認識部が認識した車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、右描画線は現時点における左区画線であると判定し、現時点における左区画線と地図情報に含まれる車線幅とに基づいて現時点における車両の右側の区画線である右区画線の位置を算出し、時系列データ蓄積部が蓄積している現時点から予め定められた時間前における右区画線の位置と、現時点で描画線認識部が認識した車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、左描画線は現時点における右区画線であると判定し、現時点における右区画線と車線幅とに基づいて現時点における左区画線の位置を算出するため、高精度な車両位置の推定を行うことが可能となる。
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態1による車両位置推定システムの構成の一例を示すブロック図である。 本発明の実施の形態1による描画線認識部の動作を説明するための図である。 本発明の実施の形態1による描画線認識部が認識した描画線位置の時系列データを示す図である。 本発明の実施の形態1による描画線認識部が認識した描画線位置の時系列データを示す図である。 本発明の実施の形態1による車両横位置算出部の動作の一例を示すフローチャートである。 本発明の実施の形態1による地図上車両位置算出部の動作の一例を示すフローチャートである。 本発明の実施の形態1による車線接続関係の一例を示す図である。 本発明の実施の形態1による車線接続関係の一例を示す図である。 本発明の実施の形態1による車両位置推定装置の動作を説明するための図である。 本発明の実施の形態2による車両位置推定システムの構成の一例を示すブロック図である。 本発明の実施の形態2による描画線連続化補正部の動作の一例を示すフローチャートである。 本発明の実施の形態2による車線変更状態判定部の動作の一例を示すフローチャートである。 本発明の実施の形態2による描画線認識結果処理部における内部変数の演算順序を説明するための図である。 本発明の実施の形態3による車両位置推定システムの構成の一例を示すブロック図である。 本発明の実施の形態3による位置統合部の動作の一例を示すフローチャートである。 本発明の実施の形態3による車両位置推定装置の動作を説明するための図である。
本発明の実施の形態について、図面を用いて以下に説明する。
<実施の形態1>
<構成>
図1は、本発明の実施の形態1による車両位置推定システム1の構成の一例を示すブロック図である。車両位置推定システム1は、車両等の移動体が走行している道路における車両の位置を推定する。以下では、移動体は車両であるものとして説明する。
車両位置推定システム1は、車両位置推定装置2と、道路撮像装置3と、衛星測位装置12とを備えている。車両位置推定装置2は、映像情報取得部4と、描画線認識部5と、描画線認識結果処理部6と、車両横位置算出部7と、地図上車両位置算出部8と、地図上車両位置初期化部9と、車両前進距離算出部10と、地図情報取得部11とを備えている。
道路撮像装置3は、例えば単眼カメラまたはステレオカメラであり、車両の前方を撮影可能なように設定されている。道路撮像装置3は、車両の進行方向、すなわち車両の前方に存在する描画線または道路標識等を撮像する。映像情報取得部4は、道路撮像装置3が撮像した映像情報を取得する。
描画線認識部5は、映像情報取得部4が取得した映像情報を解析し、道路上の区画線表示に相当すると推定される描画線を検出する。また、描画線認識部5は、検出した描画線のうち、車両付近の描画線、より望ましくは車両に対しておおよそ並行する車両の左右近傍の描画線を特定し、車両に対する描画線の相対位置を算出する。すなわち、描画線認識部5は、映像情報取得部4が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する。
描画線認識結果処理部6は、描画線認識部5が認識した2本の描画線の位置の時系列の変化に基づいて、車両の車線変更の有無、および車線が車線変更した場合はその方向を算出する。また、描画線認識結果処理部6は、車両が現在走行中の車線における左区間線および右区間線の位置を算出する。
車両前進距離算出部10は、車両の前進に伴って生じるタイヤの回転数または回転角などの検出結果に基づいて、車両の前進距離を算出する。
地図情報取得部11は、HDD(Hard Disk Drive)またはメモリカード等であり、車線ごとの詳細形状を含む高精度地図情報を格納している。高精度地図情報では、車線ごとの車線中心線および区画線の形状が点列で表現されている。また、高精度地図情報は、車線中心線上の各地点における車線幅、および車線の道路の延在方向の接続関係である車線接続関係を含んでいる。なお、車線幅は、区画線の形状を表現する点列から算出してもよい。地図情報取得部11は、高精度地図情報を必要に応じて外部から取得するようにしてもよい。
車両横位置算出部7は、描画線認識結果処理部6による認識結果と、地図情報取得部11に格納されている車線接続関係とに基づいて、現在走行中の車線内における車両の横方向位置である車両横位置を算出する。
地図上車両位置算出部8は、車両横位置算出部7から車両横位置が通知された場合は地図上における車両横位置を更新し、車両前進距離算出部10から車両の前進距離が通知された場合は地図上における車両の前後方向位置を更新する。車両の前後方向位置は、車両の進行方向に沿った位置であり、車両縦位置ともいう。
衛星測位装置12は、衛星からの電波を受信するGNSSアンテナが接続されており、衛星からの電波によって車両の緯度経度を含む現在位置を計測する。地図上車両位置初期化部9は、初回の地図上における車両位置を特定するために、衛星測位装置12で計測した現在位置を地図上車両位置算出部8に通知する。なお、図1では、衛星測位装置12が車両位置推定装置2の外部に設けられている場合について説明したが、これに限るものではない。例えば、衛星測位装置12は、車両位置推定装置2の内部に設けてもよい。
<動作>
<描画線認識部5の動作>
描画線認識部5は、映像情報取得部4が取得した車両前方の映像から、道路上の区画線標示に相当すると推定される複数の描画線を検出する。そして、描画線認識部5は、検出した複数の描画線のうち、車両の左右直近にある区画線に相当すると推定される2本の描画線を特定し、当該2本の描画線と車両との相対的な位置関係を算出する。
具体的には、図2に示すように、描画線認識部5は、車両位置を原点、車両の前方方向をX軸方向、車両の右方向をy軸方向と定めた2次元直交座標系において、2本の描画線の形状を1次元以上の多項式で表現する。すなわち、2本の描画線は、それぞれ下記の式(1),(2)で表現される。
y=L+L・x+f(x) ・・・(1)
y=R+R・x+f(x) ・・・(2)
式(1),(2)において、f(x)およびf(x)の各々は、2次元以上の多項式を表しており、本実施の形態では誤差項として取り扱う。また、このとき2本の描画線の車両に対する相対的な横位置はそれぞれLおよびRであり、2本の車両の進行方向に対する傾きはそれぞれLおよびRである。以下、Lのことを左描画線の横位置、Rのことを右描画線の横位置、Lのことを左描画線の傾き、Rのことを右描画線の傾きという。なお、原点は車両位置としているが、具体的には道路撮像装置3の設置位置である。
<描画線認識結果処理部6の動作>
描画線認識結果処理部6は、描画線認識部5が算出した2本の描画線の横位置に基づいて、車両の車線変更の有無と、車線変更した場合は車線変更方向とを算出する。車線変更の有無は、「無し」、「有り」、「不定」のいずれかの状態を表す。「無し」は車線変更が行われていないことを示す。「有り」は車線変更が行われたことを示す。「不定」は描画線認識部5が算出した2本の描画線の横位置に基づいて車線変更が行われたか否かが判断できないことを示す。
次に、車線変更の有無および車線変更方向の算出について説明する。
描画線認識部5が算出した現時刻(t)における左描画線および右描画線の位置がそれぞれ下記の式(3),(4)であり、直前時刻(t−1)における左描画線および右描画線の位置がそれぞれ下記の式(5),(6)であるものとする。
y=L0,t+L1,t・x+fL,t(x) ・・・(3)
y=R0,t+R1,t・x+fR,t(x) ・・・(4)
y=L0,t−1+L1,t−1・x+fL,t−1(x) ・・・(5)
y=R0,t−1+R1,t−1・x+fR,t−1(x) ・・・(6)
式(3)〜(6)において、L0,tは描画線認識部5で算出された時刻tにおける左描画線の横位置であり、R0,tは描画線認識部5で算出された時刻tにおける右描画線の横位置であり、L1,tは描画線認識部5で算出された時刻tにおける左描画線傾きであり、R1,tは描画線認識部5で算出された時刻tにおける右描画線の傾きである。また、fL,t(x)は描画線認識部5で算出された時刻tにおける左描画線の2次元以上の多項式を表し、fR,t(x)は描画線認識部5で算出された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
例えば、下記の式(7),(8)の両方を満たす場合は、図3に示すように、左描画線および右描画線ともに1車線分相当の距離だけ右方向に移動したことが読み取れる。これにより、描画線認識結果処理部6は、右車線への車線変更が行われたと判定し、車線変更の有無は「有り」、車線変更方向は「右」とする。
(L0,t−L0,t−1)>θLchange×Wid ・・・(7)
(R0,t−R0,t−1)>θLchange×Wid ・・・(8)
式(7),(8)において、Widは車線幅であり、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、カメラで撮像した車線幅と実際の車線幅との差異を考慮した下記の式(9)を用いて算出してもよい。また、θLchangeは車線幅の誤差を許容するためのパラメータであり、例えばθLchange=0.7とするなど、1より小さく1に近いパラメータに設定するとよい。
Wid=(R(D) 0,t−1−L(D) 0,t−1)×(WMap,t/WMap,t−1) ・・・(9)
式(9)において、WMap,tは現時刻(t)に地図情報取得部11から取得した走行中車線の車線幅であり、WMap,t−1の直前時刻(t−1)に地図情報取得部11から取得した走行中車線の車線幅である。
同様に、下記の式(10),(11)の両方を満たす場合は、図4に示すように、左描画線および右描画線ともに1車線分相当の距離だけ左方向に移動したことが読み取れる。これにより、描画線認識結果処理部6は、左車線への車線変更が行われたと判定し、車線変更の有無は「有り」、車線変更方向は「左」とする。
(L0,t−L0,t−1)<θLchange×Wid ・・・(10)
(R0,t−R0,t−1)<θLchange×Wid ・・・(11)
車線変更の有無が判断できない場合は、車線変更の有無が「不定」であると判断する。車線変更の有無が判断できない場合としては、具体的には、(A)描画線認識部5が2本の描画線のうちの一方または両方を認識することができない場合、(B)左描画線および右描画線の変化が同期していない場合等がある。(B)の場合の判断基準は、例えば、下記の式(12),(13)の両方を満たす場合とすればよい。
((L0,t−L0,t−1)−θLchange×Wid)×((R0,t−R0,t−1)−θLchange×Wid)<0 ・・・(12)
((L0,t−L0,t−1)+θLchange×Wid)×((R0,t−R0,t−1)+θLchange×Wid)<0 ・・・(13)
左区画線の横位置は、現時刻(t)において描画線認識部5が認識した左描画線の横位置L0,tであり、右区画線の横位置は、現時刻(t)において描画線認識部5が認識した右描画線の横位置R0,tである。
<車両横位置算出部7の動作>
図5は、車両横位置算出部7の動作の一例を示すフローチャートである。
ステップS101において、車両横位置算出部7は、描画線認識結果処理部6から区画線位置算出結果が通知されるか、または地図上車両位置算出部8から車線接続関係が通知されるまで待機し、区画線算出結果または車線接続関係が通知されるとステップS102に移行する。
ステップS102において、車両横位置算出部7は、区画線位置算出結果または車線接続関係のいずれが通知されたのか判断する。区画線位置算出結果が通知された場合は、ステップS103に移行する。一方、車線接続関係が通知された場合は、ステップS106に移行する。
ステップS103において、車両横位置算出部7は、描画線認識結果処理部6が通知した区画線位置算出結果について、車線変更の有無が「有り」である場合は保持している車線番号を±1し、車線変更の有無が「無し」および「不定」の場合は直前時刻における車線番号と同一の車線番号とする。
例えば、区画線位置算出結果の通知を受ける直前の走行車線番号が2であり、通知された区画線位置算出結果について車線変更の有無が「有り」かつ車線変更方向が「左」である場合、更新後の走行車線番号は1となる。走行車線番号が1である場合は、車両が道路の第1車線を走行していることを示す。走行車線番号が2である場合は、車両が道路の第2車線を走行していることを示す。
ステップS104において、車両横位置算出部7は、描画線認識結果処理部6から通知された左区画線の位置および右区画線の位置から、車線内における車両横位置を算出する。ステップS105において、車両横位置算出部7は、保持していた車両横位置をステップS104で算出した車両横位置に更新する。具体的には、例えば下記の式(14)によって、車線内における車両横位置Ycarを算出する。
car=(−L(D) 0,t)/(R(D) 0,t−1−L(D) 0,t−1) ・・・(14)
式(14)において、L(D) 0,tは描画線認識結果処理部6によって確定された時刻(t)における左区画線の横位置であり、R(D) 0,tは描画線認識結果処理部6によって確定された時刻(t)における右区画線の横位置である。また、Ycar=0は左描画線上を車両が走行することを意味し、Ycar=1は右描画線上を車両が走行することを意味し、Ycar=0.5は車線の中心上を車両が走行していることを意味する。
ステップ106において、車両横位置算出部7は、地図上車両位置算出部8から通知された車線接続関係に基づいて車線番号を更新する。通知された車線接続関係に含まれる内容は、直前の走行地点における車線構成と、現在の走行地点における車線構成との接続関係である。
図7,8は、車線接続関係の一例を示す図である。図7の例では、直前の走行地点での第1走行車線は、現在の走行地点での第2走行車線に接続している。直前の走行地点での第2走行車線は、現在の走行地点での第3走行車線に接続している。図8はこれらの対応関係を示している。例えば、直前の走行車線番号が1の状況で図7,8に示す車線接続関係が通知された場合、更新後の走行車線番号は2となる。
<地図上車両位置算出部8の動作>
図6は、地図上車両位置算出部8の動作の一例を示すフローチャートである。
ステップS201において、地図上車両位置算出部8は、車両前進距離算出部10から前進距離が通知されるか、または車両横位置算出部7から車両横位置が通知されるまで待機し、前進距離または車両横位置が通知されるとステップS202に移行する。
ステップS202において、地図上車両位置算出部8は、前進距離または車両横位置のいずれが通知されたのか判断する。前進距離が通知された場合は、ステップS203に移行する。一方、車両横位置が通知された場合は、ステップS206に移行する。
ステップS203において、地図上車両位置算出部8は、車両横位置をそのままにして車両位置を前方に進め、保持している地図上車両位置を前進後の車両位置に更新する。
ステップS204において、地図上車両位置算出部8は、前進前の車両位置と前進後の車両位置とにおける車線接続関係を地図情報取得部11から取得する。そして、ステップS205において、地図上車両位置算出部8は、地図情報取得部11から取得した車線接続関係を車両横位置算出部7に通知する。
ステップS206において、地図上車両位置算出部8は、車両縦位置をそのままにして、通知された車両横位置と合致するように車両位置を道路内で横方向に移動し、保持している地図上車両位置を横方向に移動後の車両位置に更新する。
上記より、地図上車両位置算出部8は、地図上車両位置初期化部9から与えられた初期位置に対して車両前進距離算出部10から取得した前進距離を累積することによって、現在の地図上における車両縦位置を算出する。また、地図上車両位置算出部8は、車両横位置算出部7から取得した車両横位置を用いて、現在の地図上における車両横位置を特定する。なお、車両が分岐地点に到達した場合は、走行中の車線と車線内における位置に基づいて車両の進行方向を特定する。
<地図上車両位置初期化部9の動作>
地図上車両位置初期化部9は、車両の走行開始時点で基準となる絶対座標を地図上車両位置算出部8に通知する。例えば、地図上車両位置初期化部9は、走行開始直後の衛星測位が可能となった時点で、1度だけ衛星測位装置12から取得した衛星測位結果を地図上車両位置算出部8に通知してもよい。
なお、描画線認識結果処理部6が通知した区画線位置算出結果について、車線変更の有無が一度「不定」となった場合は、車線変更の有無が「不定」である間にどのような車線変更が行われたのかが不明であるため、その後の走行車線を特定することができなくなる。このような場合にも、地図上車両位置初期化部9による車両位置の特定、すなわち車両位置の再初期化が必要となる。
従って、地図上車両位置初期化部9は、走行開始直後に限らず、車線変更の有無が一度「不定」となった場合、または地図上車両位置算出部8が算出した地図上における車両位置と、衛星測位装置12によって得られる衛星測位結果が大きく異なる場合は、衛星測位装置12によって得られる衛星測位結果を地図上車両位置算出部8に通知することが望ましい。
また、高速道路の進入時または光ビーコンの接地地点等、特定の地点においてレーン単位で車両位置の特定が可能な地点では、当該特定した位置情報を地図上車両位置算出部8に通知してもよい。
<車両位置推定装置2の全体的な動作>
車両位置推定装置2の全体的な動作について、図9を用いて説明する。前提として、地図上車両位置初期化部9は、位置1000の情報を地図上車両位置算出部8に通知しているものとする。
まず、地図上車両位置算出部8は、車両前進距離算出部10から前進距離を取得する。取得した前進距離を反映した車両位置は、位置1001となる。これに伴い、地図上車両位置算出部8は、位置1001における車線接続関係を地図情報取得部11から取得し、取得した車線接続関係を車両横位置算出部7に通知する。図9の例では、道路の左側から合流があったため、合流前の第1車線は位置1001では第2車線に、合流前の第2車線は位置1001では第3車線に相当する情報が車線接続関係の内容に含まれている。車両横位置算出部7は、車線内における位置はそのままで走行車線を第1車線から第2車線に切り替える。
次に、描画線認識部5が描画線認識を行い、描画線認識結果処理部6は車線変更の有無が「無し」と判断する。車両横位置算出部7は、描画線認識結果処理部6から通知された区画線位置算出結果に基づいて算出した車両横位置を地図上車両位置算出部8に通知する。地図上車両位置算出部8で再計算された地図上における車両横位置は位置1002となる。
次に、地図上車両位置算出部8は、車両前進距離算出部10から前進距離を取得する。取得した前進距離を反映した後の車両位置は位置1003となる。また、地図上車両位置算出部8は、位置1003における車線接続関係を地図情報取得部11から取得し、取得した車線接続関係を車両横位置算出部7に通知する。
次に、描画線認識部5が描画線認識を行い、描画線認識結果処理部6は左描画線の横断を完了したことを確認したことから車線変更の状態が「有り」と判定する。車両横位置算出部7は、車両横位置を第1車線に変更する。車両横位置算出部7は、地図上車両位置算出部8に車両横位置を通知する。地図上車両位置算出部8で再計算された地図上における車両横位置は位置1004となる。
<効果>
本実施の形態1では、車両横位置算出部7は、描画線認識結果処理部6が算出した車線変更の情報と区画線の検出位置とに基づいて、車線内における車両横位置を算出する。一方、地図上車両位置算出部8は、車両前進距離算出部10から取得した前進距離に基づいて車両縦位置を算出する。これにより、走行中は衛星測位を用いることなく車線内における車両横位置および車両縦位置を推定することが可能となる。また、地図上車両位置算出部8は、分岐地点付近では車線接続関係の情報を加味することによって、地図上における車両位置を算出することができる。本実施の形態1では、カメラで撮像した描画線位置を利用しているため、デッドレコニング処理のような方位誤差の累積が生じず、道路から外れた位置を示すことがないため、車両位置を精度良く算出することが可能となる。
<実施の形態2>
<構成>
実施の形態1では、カメラが撮像した映像と、車両前進距離算出部10が算出した前進距離とを用いることによって、累積誤差を低減することが可能な車両位置の推定が可能である。しかし、描画線認識部5による描画線認識結果に含まれるノイズまたは認識誤りに起因する横位置の誤差が依然として課題となる。本発明の実施の形態2では、このような課題を解決する。
図10は、本発明の実施の形態2による車両位置推定システム13の構成の一例を示すブロック図である。図10に示すように、本実施の形態2による車両位置推定装置14は、描画線認識結果処理部15を備えていることを特徴としている。その他の構成および動作は、実施の形態1と同様であるため、ここでは詳細な説明を省略する。
描画線認識結果処理部15は、描画線連続化補正部16と、車線変更状態判定部17と、区画線位置算出部18と、時系列データ蓄積部19とを備えている。
描画線連続化補正部16は、路面の描画線は図形的に連続であるという事実に基づいて、描画線認識部5による描画線認識結果に含まれるノイズまたは認識誤りを、時系列データ蓄積部19に蓄積された情報を用いて補正し、連続的な描画線認識結果を出力する。すなわち、描画線連続化補正部16は、描画線認識部5が認識した左右両側の相対的な位置に基づいて、左右両側の描画線の位置が時間的に連続となるように補正する。
車線変更状態判定部17は、描画線連続化補正部16による補正結果と、時系列データ蓄積部19に蓄積された情報とに基づいて、車線変更の状態を判定する。すなわち、車線変更状態判定部17は、描画線連続化補正部16が補正した左右両側の描画線の相対的な位置と、過去の左右両側の区画線の位置とに基づいて、車線変更の方向を含む車両の車線変更の状態を判定する。車線変更の状態としては、「車線変更開始」、「車線変更中」、「車線変更完了」、および「車線変更中断」が挙げられる。
区画線位置算出部18は、描画線連続化補正部16の補正結果と、車線変更状態判定部17が判定した車線変更状態の判定結果とに基づいて描画線位置を確定し、現在走行中の車線における左区画線の位置および右区画線の位置を算出する。すなわち、区画線位置算出部18は、描画線連続化補正部16が補正した左右両側の描画線の相対的な位置と、車線変更状態判定部17が判定した車両の車線変更の状態とに基づいて、左右両側の区画線の位置を算出する。
時系列データ蓄積部19は、区画線位置算出部18が算出した左右両側の区画線の位置を時系列データとして記憶して蓄積する。蓄積したデータがバッファサイズを超えた場合は、古いデータから順に消去する。
<動作>
<描画線連続化補正部16の動作>
図11は、描画線連続化補正部16の動作の一例を示すフローチャートである。
ステップS301において、描画線連続化補正部16は、描画線認識部5から描画線認識結果が通知されるまで待機する。そして、描画線認識結果が通知されるとステップS302に移行し、以後、時系列上での連続性を保つように描画線認識結果の補正を行う。その際、過去の描画線認識結果は、時系列データ蓄積部19が蓄積している時系列データを参照する。
描画線認識部5による描画線認識結果には、走行環境または路面標示の状態に起因するノイズが含まれるため、描画線の横位置および傾きに誤差が含まれる可能性がある。具体的には、区画線の路面標示が連続であっても、描画線の横位置が不連続であるとして検出したり、区画線の路面標示以外の線状のものを誤検出したり、走行中の車線以外の区画線の路面標示を検出したりすることが考えられる。従って、左描画線および右描画線の検出位置の時間的変化に着目し、(C)ノイズの影響による描画線の位置検出誤差の検知および補正、すなわち描画線位置の検出および補正、(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正を行う。
まず、(C)ノイズの影響による描画線位置の検出および補正について説明する。描画線位置の補正を行う条件は、描画線の横位置の時間的な変化量が閾値を超えたこととする。このことは、ステップS303において描画線位置の補正が可能である場合に、ステップS204に移行することに相当する。ただし、右描画線の横位置および左描画線の横位置の両方の時間的な変化が閾値を超えた場合は、描画線位置の補正が不可能であると判断する。このことは、ステップS303において描画線位置の補正が不可能である場合にステップS305に移行することに相当する。
ステップS306で行う描画線位置の補正方法は、左描画線および右描画線のうち、横位置の時間的な移動量が小さい方を信頼度が高いと判断し、信頼度が高い描画線の位置を基準として地図情報に含まれる車線幅を利用して他方の描画線の位置を算出する。このような処理は、ステップS304に相当する。すなわち、描画線連続化補正部16は、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前における車両の左側の区画線である左区画線の位置と、現時点で描画線認識部5が認識した車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、右描画線は現時点における左区画線であると判定し、現時点における左区画線と地図情報に含まれる車線幅とに基づいて現時点における車両の右側の区画線である右区画線の位置を算出し、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前における右区画線の位置と、現時点で描画線認識部5が認識した車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、左描画線は現時点における右区画線であると判定し、現時点における右区画線と車線幅とに基づいて現時点における左区画線の位置を算出する。
例えば、描画線認識部5による現時刻(t)における左描画線の位置および右描画線の位置の各々が下記の式(15),(16)であるとする。
y=L0,t+L1,t・x+fL,t(x) ・・・(15)
y=R0,t+R1,t・x+fR,t(x) ・・・(16)
式(15),(16)において、L0,tは描画線認識部5で算出された時刻tにおける左描画線の横位置であり、R0,tは描画線認識部5で算出された時刻tにおける右描画線の横位置であり、L1,tは描画線認識部5で算出された時刻tにおける左描画線傾きであり、R1,tは描画線認識部5で算出された時刻tにおける右描画線の傾きである。また、fL,t(x)は描画線認識部5で算出された時刻tにおける左描画線の2次元以上の多項式を表し、fR,t(x)は描画線認識部5で算出された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
また、時系列データ蓄積部19が蓄積している直前時間(t−1)における左区画線の位置および右区画線の位置の各々が下記の式(17),(18)であるとする。
y=L(D) 0,t−1+L(D) 1,t−1・x+f(D) L,t−1(x) ・・・(17)
y=R(D) 0,t−1+R(D) 1,t−1・x+f(D) R,t−1(x) ・・・(18)
式(17),(18)において、L(D) 0,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける左区画線の横位置であり、R(D) 0,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける右区画線の横位置であり、L(D) 1,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける左区画線の傾きであり、R(D) 1,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける右区画線の傾きである。また、f(D) L,t(x)は区画線位置算出部18によって確定された時刻tにおける左描画線の2次元以上の多項式を表し、f(D) R,t(x)は区画線位置算出部18によって確定された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
上記の変数の定義の下、各パラメータ間の関係が例えば下記の式(19),(20)を満たしているものとする。
|L0,t−L(D) 0,t−1|≦θ0,diff ・・・(19)
|R0,t−R(D) 0,t−1|>θ0,diff ・・・(20)
式(19),(20)において、θ0,diffは描画線の0次の係数に関する連続性の上限を表す閾値パラメータであり、例えば、描画線認識結果の出力が10Hzの場合はθ0,diff=50cmと設定し、描画線認識結果の出力が2Hzの場合はθ0,diff=100cmと設定するといったように、描画線認識結果の出力周期に応じて変化させてもよい。この場合、式(19)から左描画線は連続的に変化したとみなせるが、式(20)から右描画線は連続的に変化していないとみなせる。従って、左描画線の位置を基準として右描画線の位置の補正を行うこととする。具体的には、下記の式(21),(22)のような、連続性を満たすように補正された後の左描画線の位置および右描画線の位置の係数を下記の式(23)〜(28)のように算出する。
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(21)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(22)
(C) 0,t=L0,t ・・・(23)
(C) 1,t=L1,t ・・・(24)
(C) L,t(x)=fL,t(x) ・・・(25)
(C) 0,t=L(C) 0,t+Wid ・・・(26)
(C) 1,t=L(C) 1,t+Dir ・・・(27)
(C) R,t(x)=f(C) L,t(x) ・・・(28)
式(21)〜(28)において、L(c) 0,tは描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の横位置であり、R(C) 0,tは描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の横位置であり、L(C) 1,tは描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の傾きであり、R(C) 1,tは描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の傾きである。また、f(C) L,t(x)は描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の2次元以上の多項式を表し、f(C) R,t(x)は描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
さらに、Widは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、カメラで撮像した車線幅と実際の車線幅との差異を考慮した下記の式(29)を用いて算出してもよい。
Wid=(R(D) 0,t−1−L(D) 0,t−1)×(WMap,t/WMap,t−1) ・・・(29)
式(29)において、WMap,tは現時刻(t)に地図情報取得部11から取得した走行中車線の車線幅であり、WMap,t−1の直前時刻(t−1)に地図情報取得部11から取得した走行中車線の車線幅である。
また、Dirは、右区画線と左区画線との角度差分を表しており、車線増減地点付近を除き、ほとんどの場合では車線の右区画線および左区画線は並行であるため、Dirは0としてもよく、左区画線および右区画線の角度差分を考慮した下記の式(30)を用いて算出してもよい。
Dir=DirMap,R,t−DirMap,L,t ・・・(30)
式(30)において、DirMap,R,tは現時刻tの走行地点において地図情報取得部11から取得した走行中の車線の右区画線の方位であり、DirMap,L,tは現時刻tの走行地点において地図情報取得部11から取得した走行中の車線の左区画線の方位である。
上記で説明した(C)ノイズの影響による描画線位置の検出および補正について、式(19),(20)を満足した場合、すなわち左描画線位置を基準として補正を行う場合について説明したが、右描画線位置を基準として補正を行う場合、すなわち下記の式(31),(32)を満たした場合も同様である。
|L0,t−L(D) 0,t−1|>θ0,diff ・・・(31)
|R0,t−R(D) 0,t−1|≦θ0,diff ・・・(32)
次に、(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正について説明する。直前時刻(t−1)における左描画線の横位置と、現時刻(t)における右描画線の横位置との差が閾値以内である場合、すなわち図11のステップS305でYesの場合はステップS306に移行する。ステップS306において、描画線連続化補正部16は、上記2本の描画線が同一であると判定し、現時刻(t)において右描画線として検知した描画線を左区画線とする。このとき、右区画線の位置は、左区画線の位置を基準として、地図情報に含まれる車線幅を利用して算出する。
例えば、描画線認識部5が認識した現時刻(t)における左描画線の位置および右描画線の位置が式(15),(16)で表され、時系列データ蓄積部19に蓄積されている直前時刻(t−1)における左区画線の位置および右区画線の位置が式(17),(18)で表されているとする。また、それぞれのパラメータ間の関係が下記の式(33)を満たしているとする。
|R0,t−L(D) 0,t−1|≦θ0,diff ・・・(33)
この場合、直前の左描画線および現在の右描画線の変化量が閾値以下であり、これらは同一の描画線であると推定される。従って、カメラが捉えた描画線が左の描画線に変化したと考えられるため、描画線情報の入れ替えを行う。
具体的には、下記の式(34),(35)のような、連続化補正後の左描画線の位置および右描画線の位置の係数を下記の式(36)〜(41)のように算出する。
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(34)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(35)
(C) 0,t=R0,t ・・・(36)
(C) 1,t=R1,t ・・・(37)
(C) L,t(x)=fR,t(x) ・・・(38)
(C) 0,t=L(C) 0,t+Wid ・・・(39)
(C) 1,t=L(C) 1,t+Dir ・・・(40)
(C) R,t(x)=f(C) L,t(x) ・・・(41)
式(34)〜(41)において、Widは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、式(29)を用いて算出してもよい。
また、右区画線と左区画線との角度差分を表すDirは0としてもよく、式(30)を用いて算出してもよい。
上記で説明した(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正について、式(33)を満足した場合、すなわちカメラが捉えた描画線が左の描画線に変化した場合について説明したが、カメラが捉えた描画線が右の描画線に変化した場合、すなわち左描画線位置を基準として補正を行う場合について説明したが、右描画線位置を基準として補正を行う場合、すなわち下記の式(42)を満たした場合も同様である。
|L0,t−R(D) 0,t−1|≦θ0,diff ・・・(42)
ステップS303でNo、かつステップS305でNoの場合、すなわち描画線連続化補正部16で補正することができないノイズが含まれている場合、描画線連続化補正部16は、ステップS307において描画線の補正が不可能であると判断する。具体的には、下記の式(43)〜(46)をすべて満たす場合、描画線連続化補正部16は描画線の補正が不可能であると判断する。
|L0,t−L(D) 0,t−1|>θ0,diff ・・・(43)
|R0,t−R(D) 0,t−1|>θ0,diff ・・・(44)
|L0,t−R(D) 0,t−1|>θ0,diff ・・・(45)
|R0,t−L(D) 0,t−1|>θ0,diff ・・・(46)
ステップS308において、描画線連続化補正部16は、このようにして補正されたパラメータL(C) 0,t、L(C) 1,t、R(C) 0,t、R(C) 1,t、および多項式f(C) L,t(x)、f(C) R,t(x)を補正結果として車線変更状態判定部17および区画線位置算出部18に通知する。
<車線変更状態判定部17の動作>
図12は、車線変更状態判定部17の動作の一例を示すフローチャートである。車線変更状態判定部17は、描画線連続化補正部16による連続化補正後の描画線の位置情報に基づいて、車両の車線変更の状態を判定する。車線変更の状態には、「車線変更なし」、「車線変更開始」、「車線変更中」、「車線変更完了」、「車線変更中止」、および「車線変更不定」が含まれている。
ステップS401において、車線変更状態判定部17は、描画線連続化補正結果が通知されるまで待機する。そして、描画線連続化補正結果が通知されるとステップS402に移行する。
ステップS402において、車線変更状態判定部17は、描画線連続化補正部16が描画線連続化の補正を行ったか否かを判断する。車線変更状態の特定は、描画線連続化補正部16から取得した、連続的に変化する左描画線および右描画線の横位置および傾きを用いる。描画線連続化補正部16が描画線連続化の補正を行っていない場合は、ステップS403に移行する。一方、描画線連続化補正部16が描画線連続化の補正を行った場合は、ステップS404に移行する。ステップS403において、車線変更状態判定部17は、車線変更の状態は「車線変更不定」であると判断する。
ステップS404において、車線変更状態判定部17は、直前の車線変更の状態が「車線変更なし」、「車線変更完了」、「車線変更開始」、または「車線変更中」の何れであるのか判断する。「車線変更なし」または「車線変更完了」の場合は、ステップS405に移行する。一方、「車線変更開始」または「車線変更中」の場合は、ステップS409に移行する。
ステップS405において、直前の車線変更の状態が「車線変更なし」の場合、車線変更状態判定部17は、車線変更の開始の予兆があるか否かを判断する。具体的には、左区画線の横位置を、左区画線までの傾きで除算することによって、車両が区画線を横切るまでの前進距離を算出する。これを、横断までの前進距離、または横断前進距離という。また、左区画線の横位置を、左区画線までの時間変化量で除算し、時間係数を乗算することによって、車両が区画線を横切るまでの所要時間を算出する。これを、横断までの所要時間、または横断所要時間という。
例えば、L(C) 0,t<0かつL(C) 1,t>0という条件下において、左描画線横断までの前進距離Dおよび左描画線横断までの所要時間Tは、それぞれ下記の式(47),(48)によって算出される。
=(−L(C) 0,t)/L(C) 1,t ・・・(47)
=(−L(C) 0,t)/L(C,DiffAVE) 0,t×TDiff ・・・(48)
式(48)において、TDiffは1フレームあたりの経過時間を表す。L(C,DiffAVE) 0,tは現時刻(t)付近における左描画線の横位置の1フレーム当たりの平均変化率を表しており、平均化パラメータNを用いて下記の式(49)によって算出される。
(C,DiffAVE) 0,t=(L(C) 0,t−L(D) 0,t−N)/N ・・・(49)
ただし、時刻(t−N)における左描画線の横位置は、区画線位置算出部18による補正処理によって確定した後の値L(D) 0,t−Nを時系列データ蓄積部19から取得して用いるものとする。また、現時刻(t)における左描画線の横位置は未確定であるため、描画線連続化補正部16によって連続化補正後の値L(C) 0,tを用いるものとする。
ステップS406において、車線変更状態判定部17は、横断までの前進距離および横断までの所要時間の各々が閾値以下であるか否かを判断する。横断までの前進距離および横断までの所要時間の各々が閾値以下である場合は、ステップS407に移行する。一方、横断までの前進距離および横断までの所要時間の各々が閾値以下でない場合は、ステップS408に移行する。
ステップS407において、車線変更状態判定部17は、横断までの前進距離Dおよび横断までの所要時間Tの各々が、予め定められた閾値θおよびθを下回った場合、すなわち下記の式(50),(51)の両方を満たす場合は車線変更の予兆であると判断し、車線変更の状態が「車線変更開始」であると判断する。
<θ ・・・(50)
<θ ・・・(51)
例えば、横断までの前進距離の閾値θは30m、横断までの所要時間の閾値θは3secとしてもよい。「車線変更開始」と判断した後は、「車線変更完了」または「車線変更中止」のいずれかであると判断するまでは、自動的に「車線変更中」であると判断する。すなわち、車線変更状態判定部17は、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前までの時系列データと、描画線連続化補正部16が補正した補正後の左区画線および右区画線の位置とに基づいて、横断前進距離と横断所要時間とを算出し、横断前進距離および横断所要時間に基づいて車両が車線変更を開始するか否か、および車線変更を開始する場合は車線変更の方向を判断する。
ステップS408において、車線変更状態判定部17は、車線変更の状態が「車線変更無し」であると判断する。
ステップS409において、車線変更状態判定部17は、車線変更が完了したか否かを判断する。車線変更が完了した場合は、ステップS410に移行する。一方、車線変更が完了していない場合は、ステップS411に移行する。
ステップS410において、車線変更状態判定部17は、車線変更の状態が「車線変更完了」であると判断する。例えば、車線変更開始の方向が左であった場合、左区画線の横位置が0より大きい予め定められた第1閾値である閾値θ0,completeを上回った場合に「車線変更完了」と判断する。閾値θ0,completeは、例えば0.5mである。閾値θ0,completeは、θ0,diffと同様に、描画線認識結果の出力周期に応じて変化させてもよい。
ステップS411において、車線変更状態判定部17は、車線変更が中止されたか否かを判断する。車線変更が中止された場合は、ステップS412に移行する。一方、車線変更が中止されていない場合は、ステップS413に移行する。
ステップS412において、車線変更状態判定部17は、車線変更の状態が「車線変更中止」であると判断する。例えば、車線変更開始の方向が左であった場合、左区画線の横位置が0より小さい予め定められた第2閾値である閾値−θ0,cancelを下回った場合に「車線変更中止」と判断する。閾値θ0,cancelは、例えば−0.8mである。車線変更開始の方向が右である場合も同様である。閾値θ0,cancelは、θ0,diffと同様に、描画線認識結果の出力周期に応じて変化させてもよい。
ステップS413において、車線変更状態判定部17は、車線変更の状態が「車線変更中」であると判断する。
ステップS414において、車線変更状態判定部17は、区画線位置算出部18に車線変更の状態を通知する。
上記では、車線変更開始の方向が左である場合について説明したが、車線変更開始の方向が右である場合も同様である。
<区画線位置算出部18の動作>
区画線位置算出部18は、描画線連続化補正部16による連続化補正後の描画線の位置と、車線変更状態判定部17が判定した車線変更の状態とに基づいて区画線の位置を算出する。車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した以外の場合は、区画線の位置は描画線連続化補正部16によって補正された後の描画線の位置と同一である。以下では、車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した場合における処理について説明する。
例えば、車線変更状態判定部17が右車線への車線変更が完了したと判断した場合、区画線位置算出部18は、右車線における左区画線および右区画線の各横位置を算出する。右車線における左区画線および右区画線の各横位置は、次の方法で算出される。右車線における左区画線は、現車線の右区画線とする。右車線における右区画線は、右車線における左区画線を基準として地図情報に含まれる車線幅を用いて、描画線連続化補正部16で描画線の変化を補正する際に用いた式(34)〜(41)と同一の方法で算出する。すなわち、区画線位置算出部18は、車線変更状態判定部17が車線変更を完了したと判断した場合において、描画線連続化補正部16が算出した補正後の左区画線と、地図情報に含まれる車線幅とに基づいて、車線変更後の車両の両側の左区画線および右区画線の位置を算出する。
具体的には、下記の式(52),(53)のような、車線変更を考慮した後の左区画線の位置および右区画線の位置の係数を下記の式(54)〜(59)のように算出する。
y=L(D) 0,t+L(D) 1,t・x+f(D) L,t(x) ・・・(52)
y=R(D) 0,t+R(D) 1,t・x+f(D) R,t(x) ・・・(53)
(D) 0,t=R(C) 0,t ・・・(54)
(D) 1,t=R(C) 1,t ・・・(55)
(D) L,t(x)=f(C) R,t(x) ・・・(56)
(D) 0,t=L(D) 0,t+Wid ・・・(57)
(D) 1,t=L(D) 1,t+Dir ・・・(58)
(D) R,t(x)=f(D) L,t(x) ・・・(59)
式(52)〜(59)において、L(D) 0,tは区画線位置算出部18によって確定された時刻tにおける左区画線の横位置であり、R(D) 0,tは区画線位置算出部18によって確定された時刻tにおける右区画線の横位置であり、L(D) 1,tは区画線位置算出部18によって確定された時刻tにおける左区画線の傾きであり、R(D) 1,tは区画線位置算出部18によって確定された時刻tにおける右区画線の傾きである。また、Widは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、式(29)を用いて算出してもよい。
次に、区画線位置算出部18による車線変更の有無および車線変更の方向の判断について説明する。車線変更状態判定部17が判定した車線変更の状態が「車線変更無し」、「車線変更開始」、「車線変更中」、「車線変更中止」のいずれかである場合、区画線位置算出部18は車線変更の有無が「無し」と判断する。また、車線変更状態判定部17が判定した車線変更の状態が「車線変更完了」である場合、区画線位置算出部18は車線変更の有無が「有り」と判断し、この時の車線変更の方向は車線変更状態判定部17から通知されたものを使用する。また、車線変更状態判定部17が判定した車線変更の状態が「車線変更不可」である場合、区画線位置算出部18は車線変更の有無が「不定」と判断する。
<時系列データ蓄積部19の動作>
時系列データ蓄積部19は、区画線位置算出部18によって算出された過去の区画線の位置を時系列データとして記憶し蓄積する。時系列データ蓄積部19で蓄積された時系列データは、描画線連続化補正部16および車線変更状態判定部17において過去の区画線の位置を照合する際に読み出されて用いられる。
時系列データ蓄積部19のバッファサイズは固定長とし、バッファが満杯になった場合は古いデータから順に削除する。従って、時系列データ蓄積部19は、リングバッファのデータ構造であることが適している。
<描画線認識結果処理部15における内部変数の演算順序>
図13は、描画線認識結果処理部15における内部変数の演算順序を説明するための図である。
ステップS501において、描画線連続化補正部16は、描画線認識部5から時刻tにおける左描画線の横位置L0,t、時刻tにおける右描画線の横位置R0,t、時刻tにおける左描画線傾きL1,t、時刻tにおける右描画線の傾きR1,tが通知される。
ステップS502において、描画線連続化補正部16は、車線幅Widおよび方位差分Dirを考慮して、連続化補正後の時刻tにおける左描画線の横位置L(c) 0,t、連続化補正後の時刻tにおける右描画線の横位置R(C) 0,t、連続化補正後の時刻tにおける左描画線の傾きL(C) 1,t、連続化補正後の時刻tにおける右描画線の傾きR(C) 1,tを算出する。
ステップS503において、区画線位置算出部18は、描画線連続化補正部16が算出したL(c) 0,t、R(C) 0,t、L(C) 1,t、R(C) 1,tについて、車線幅Widおよび方位差分Dirを考慮して、時刻tにおける左区画線の横位置L(D) 0,t、時刻tにおける右区画線の横位置R(D) 0,t、時刻tにおける左区画線の傾きL(D) 1,t、時刻tにおける右区画線の傾きR(D) 1,tを算出する。区画線位置算出部18が算出したL(D) 0,t、R(D) 0,t、L(D) 1,t、R(D) 1,tは、時系列データ蓄積部19および車両横位置算出部7に通知される。車両横位置算出部7がこれらの情報を取得した後の動作は、実施の形態1と同じである。
<効果>
本実施の形態2では、描画線認識部5が認識した描画線の位置に対して描画線連続化補正部16が連続化の補正を行い、車線変更状態判定部17では過去の区画線の位置を考慮して車線変更の状態を判定し、区画線位置算出部18ではこれらの情報を総合して区画線の位置を算出するため、道路撮像装置3または描画線認識部5の出力に含まれるノイズまたは認識誤りに対するロバスト性が向上する。
<実施の形態3>
<構成>
実施の形態1,2では、車両位置推定システムは、カメラの撮像結果を用いて横位置を更新し、車両前進距離算出部10が算出した前進距離に基づいて縦位置を更新する。このとき、更新の基準となる初期位置は、衛星測位装置12から地図上車両位置初期化部9に入力される測位位置としている。しかし、衛星測位装置12の測位結果が横方向の誤差を含む場合、誤った走行車線上に初期位置を設定することになり、その後、地図上車両位置算出部8は走行車線を誤って判定し続ける恐れがあるという課題が依然として残る。本発明の実施の形態3は、このような課題を解決する。
実施の形態1,2では、車両位置推定システムは、地図上車両位置初期化部9によって初期化された位置を基準とし、その後、カメラの撮像結果を入力として車両横位置算出部7によって算出された車両横位置で位置更新を行う。本実施の形態3では、車両位置推定システムが初期化位置と更新位置との両方に基づいて信頼度評価を行い、信頼度が一定の基準を満たした場合のみ、高精度の車両位置が確定できたと判断し、カメラの撮像結果を利用した更新位置を採用することによって、上記の課題の解決をめざす。一方、信頼度が基準を満たさない場合、車両位置推定システムは、低精度の初期化位置を採用し、高精度の車両位置は未測位とする。
図14は、本実施の形態3による車両位置推定システム20の構成の一例を示すブロック図である。図14に示すように、本実施の形態3による車両位置推定装置21は、描画線認識部22と、地図上車両位置算出部24と、車両横位置算出部28とを備えることを特徴としている。その他の構成および動作は、実施の形態2と同様であるため、ここでは詳細な説明を省略する。
描画線認識部22は、線種認識部23を備えている。
線種認識部23は、映像情報取得部4が取得した車両前方の映像から、描画線認識部22が道路上の複数の描画線を検出した際に、より詳細に描画線の分析を行うことによって、それぞれの描画線の線種を推定する。線種とは、線のパターン(形状)の種類を表しており、実際の道路環境に存在する線種に従って、実線、長破線、短破線、二重線等の種別に分類される。
地図上車両位置算出部24は、走行車線信頼度推定部25と、映像由来車両位置算出部26と、位置統合部27とを備えている。
走行車線信頼度推定部25は、描画線認識部22が描画線を認識できたか否か、線種認識部23認識した線種が時系列上で安定した結果であるか、位置統合部27が算出した地図上車両位置が時系列上で継続的に安定して車線の中心付近の位置を示しているかなどの基準から総合的に判断し、車両横位置算出部28が算出した走行車線の信頼度を推定する。
映像由来車両位置算出部26は、実施の形態1における地図上車両位置算出部8全体と同様の動作を行う。車両横位置算出部28から車両横位置が通知された場合は地図上における車両横位置を更新し、車両前進距離算出部10から車両の前進距離が通知された場合は地図上における前後方向位置を更新する。このようにして算出された車両位置は、映像情報取得部4から入力された映像情報に基づいて算出した横位置を利用して算出した車両位置であるため、映像由来車両位置と呼ぶ。
位置統合部27は、走行車線信頼度推定部25が推定した走行車線信頼度が閾値未満の場合には、映像由来車両位置算出部26が算出した映像由来車両位置は信頼度が低いと判断し、地図上車両位置初期化部9が出力する初期化位置を採用し、これを地図上車両位置算出部24の演算結果とする。
一方、位置統合部27は、走行車線信頼度推定部25が推定した走行車線信頼度が閾値以上の場合は、映像由来車両位置算出部26が算出した映像由来車両位置を複数の評価軸で評価した結果、信頼度が高いと判断し、映像由来車両位置を地図上車両位置算出部24の演算結果とする。
一旦、走行車線信頼度推定部25が推定した走行車線信頼度が閾値以上となると、その後、描画線認識部22が左右のうち少なくとも一方の描画線の認識を継続し、かつ描画線連続化補正部16が正常に補正を行っている状態が継続する限りは、走行車線信頼度が閾値以上と判断するため、車両位置推定システム20は映像由来車両位置を採用し続ける。
車両横位置算出部28は、実施の形態1における車両横位置算出部7の役割に加え、走行車線信頼度推定部25が信頼度推定を行うために必要となる、描画線認識部22の描画線認識状態、描画線連続化補正部16の補正可否状態、および車両横位置の整合性判断結果を走行車線信頼度推定部25に通知する役割を備える。ここで、車両横位置の整合性判断結果とは、車線変更状態判定部17が判定した車線変更によって車両横位置が車線(走行可能領域)よりも外側に位置していないかチェックした結果のことをいう。
<動作>
<走行車線信頼度推定部25の動作>
走行車線信頼度推定部25は、描画線認識部22が描画線を認識できたか否か、線種認識部23が認識した線種が時系列上で安定した結果であるか、位置統合部27が算出した地図上車両位置が時系列上で継続的に安定して車線の中心付近の位置を示しているか、車両横位置算出部28が通知する車両横位置が走行可能領域に位置しているかなどのきじゅんから総合的に判断し、車両横位置算出部28が算出した走行車線の信頼度を推定する。以下では、信頼度推定の演算に関して、具体的なユースケースを例に挙げて説明する。
高速道路において、1車線のランプウェイを走行し、その後、複数車線から構成される本線に進入するシーンでは、描画線認識部22が左右のうち少なくとも一方の描画線の認識を継続し、かつ描画線連続化補正部16が正常に補正を行っている状態が継続すれば、本線進入時の走行車線は一意に定まるため、走行車線信頼度推定部25は、本線進入時の走行車線信頼度は高いと判断する。
一方、料金所付近等では描画線が存在しないため、描画線の監視によって走行車線が特定できないようなシーンでは、走行車線信頼度推定部25は走行車線信頼度が低いと判定し、その後の走行において、走行車線を特定するための判断材料がある場合には、その度合いに応じて信頼度が上昇していく。
また、走行中に、例えば描画線認識部22が両側の描画線を見失った場合には、その見失っている経過時間に応じて、走行車線信頼度推定部25は走行車線の信頼度が低下したと判断することが期待される。
以上の特徴を有する信頼度の演算方法として、例えば下記のような信頼度ポイントの算出式が挙げられる。
(現在の信頼度ポイント、2車線以上の場合)=min((前回の信頼度ポイント)+(差分ポイント),(初期化ポイント)) ・・・(60)
(現在の信頼ポイント、1車線の場合)=100 ・・・(61)
(差分ポイント)=(線種ポイントPt)+(車線内一ポイントPt)+(描画線認識可否ポイントPt)+(連続化補正可否ポイントPt) ・・・(62)
(初期化ポイント)=(道路外への車線変更ポイントPt) ・・・(63)
(信頼度ポイントの初期値)=0 ・・・(64)
Pt=−10(線種認識部23が認識した左右区画線の種別と、位置統合部27の位置における地図上での左右区画線の種別とが一致しない場合) ・・・(65)
Pt=10(一致する場合) ・・・(66)
Pt=10×(1−(車線中心からの距離[m])) ・・・(67)
Pt=−30(左右のうち少なくとも一方の描画線が認識できていない場合) ・・・(68)
Pt=0(両方の描画線が認識できている場合) ・・・(69)
Pt=−30(連続化補正ができないと判断された場合) ・・・(70)
Pt=0(連続化補正ができた場合) ・・・(71)
Pt=0(車線変更状態判定部17による車線変更先が道路外である場合) ・・・(72)
Pt=0xFFFF(許容される最大値:道路外ではない場合) ・・・(73)
ここで、信頼度ポイントとは、信頼度をポイントの大きさで表現した指標であり、信頼度ポイントが大きいほど位置統合部27によって推定された走行車線の信頼度が高いことを示す。
基本的には、走行車線信頼度推定部25は、前回の時点の信頼度ポイントを基準として、差分ポイントを加算することによって、現在の信頼度ポイントを算出する。ただし、車線変更状態判断部17によって判定された車線変更先が道路外である等、これまでの推定位置に大きな矛盾が判明した場合には、走行車線信頼度推定部25は、これまで累積してきた信頼度ポイントを0でリセットすることによって、過去にカメラに基づいて累積演算された車両位置をリセットする。
式(60)〜(73)に従って走行車線信頼度推定部25が演算した走行車線の信頼度ポイントは、位置統合部27に通知される。
<映像由来車両位置算出部26の動作>
映像由来車両位置算出部26は、実施の形態1における地図上車両位置算出部8全体と同様の動作を行うため、そのフローチャートは図6に示す通りである。
<位置統合部27の動作>
図15は、位置統合部27の動作の一例を示すフローチャートである。
ステップS601において、位置統合部27は、前回の位置統合処理から所定の時間(例えば100msec)が経過するまで待機する。従って、以降の処理は、定周期で実施されることになる。
ステップS602において、位置統合部27は、直近で走行車線信頼度推定部25が推定した走行車線信頼度を取得する。
ステップS603において、位置統合部27は、取得した走行車線信頼度が閾値以上であるかどうかを判定する。本実施の形態3では、走行車線信頼度を信頼度ポイントで評価することとし、例えば信頼度ポイントが閾値として予め設定された値である100以上であるか否かで判定を行う。
信頼度ポイントが閾値以上である場合はステップS604に移行し、この場合は車両横位置算出部28が算出した横位置が信頼できると判断されたため、地図上車両位置を映像由来車両位置(映像に基づく横位置を用いて算出された位置)で更新する。
一方、信頼度ポイントが閾値未満である場合はステップS605に移行し、地図上車両位置初期化部9から通知された初期化位置で地図上車両位置を初期化する。映像に基づいて累積的に演算されてきた映像由来車両位置が信頼できないと判断されたためである。この後、ステップS606に移行する。
ステップS606において、位置統合部27は、映像由来車両位置算出部26に対して、初期化された地図上車両位置を通知する。この通知後、初期化された地図上車両位置を基準として、縦位置および横位置の更新を行うためである。
最後に、ステップS607において、位置統合部27は、走行車線信頼度推定部25に対して、映像由来車両位置または初期位置で更新された地図上車両位置を通知する。走行車線信頼度推定部25では、次回の走行車線信頼度推定時に、車線に対する地図上車両位置の妥当性を評価する。
<車両横位置算出部28の動作>
図5に示した、実施の形態1における車両横位置算出部7の動作に加えて、車両横位置算出部28は、描画線認識部22が正常に描画線を認識したか否か、描画線連続化補正部16が正常に連続化補正処理を実施したか、および車線変更状態判定部17によって判定された車線変更によって走行可能領域よりも外側に車両位置がはみ出していないかをそれぞれ判定し、その結果を走行車線信頼度推定部25に通知する。
<車両位置推定システム20の全体的な動作>
車両位置推定装置21の全体的な動作について、図16を用いて説明する。前提として、位置統合部27は、前回、位置2001を算出しており、走行車線信頼度推定部25によって推定された信頼度ポイントは150であったものとする。この場合、閾値である100以上の信頼度ポイントであるため、映像由来車両位置算出部26が算出した映像由来車両位置を採用している。そのため、描画線認識部22によって認識された描画線を追跡することによって、横方向の位置を演算することが可能な状態である。しかし、ここでは、実際には位置統合部27によって認識されていた走行車線が誤っている場合を想定する。
位置2001において、線種ポイントPtは、地図の区画線種別と線種認識部23が認識した種別が異なっていたため、Pt=−10とする。車線内位置ポイントPtは、車線中心から20cmと比較的中心に近い位置が演算されていたため、Pt=−8とする。描画線認識および連続化補正は正常に実行できたため、描画線認識可否ポイントPtおよび連続化補正可否ポイントPtは共に0を設定する。道路外への車線変更ポイントPtについては、車線変更状態判定部17によって車線変更と判定されていないため、Pt=0とする。上記の結果から差分ポイントは−2と算出され、その結果、直後の信頼度ポイントは148ポイントと演算される。このことから、位置統合部27は、直後も映像由来車両位置算出部26の出力結果を採用することとなる。以降も同様に、信頼ポイントの演算を順次進める。
位置2002において、車線変更状態判定部17によって右車線変更と判定されたため、道路外への車線変更となったことから、道路外への車線変更ポイントPt=0となり、直後の信頼度ポイントは0ポイントと演算される。従って、地図上車両位置初期化部9による初期化位置を採用することになる。この時点で、これまで車両横位置算出部28によって累積されてきた映像由来の横位置が一旦リセットされることになる。
位置2003に到達した時点で、演算された信頼度ポイントが閾値である100以上となったため、地図上車両位置初期化部9から入力された車両位置が安定し、かつ線種認識部23が認識した線種情報との整合性も確認されたと判断し、映像由来車両位置算出部26の出力結果を採用するモードに切り替わる。
その後、位置2004に到達すると、車線変更状態判定部17によって右車線変更と判定されたため、映像由来車両位置算出部26は素早く車線変更後の自車位置を算出し、位置統合部27は車線変更に追従した自車位置を演算することが可能となる。
<効果>
本実施の形態3では、線種認識部23が認識した描画線の線種の時系列と、地図情報取得部11から取得した地図に含まれる走行車線の左右の区画線と位置統合部27が出力する地図上車両位置との位置関係の時系列と、描画線認識部22によって描画線が正常に認識できない状態または描画線連続化補正部16が描画線の補正が不可能であると判断した状態の継続時間とに基づいて、現在の走行車線の信頼度の判定を行い、信頼度が閾値以上の場合にはカメラの撮像結果に基づいて横位置(走行車線および車線内横位置)を判定し、信頼度が閾値に達しない場合には地図上車両位置初期化部9の出力を採用して信頼度が閾値以上となるのを待つため、地図上車両位置初期化部9の位置誤差の影響による走行車線の認識誤りおよびその影響によるその後のカメラの撮像結果に基づく走行車線の判定誤りを防止することが可能となる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示していない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
1 車両位置推定システム、2 車両位置推定装置、3 道路撮像装置、4 映像情報取得部、5 描画線認識部、6 描画線認識結果処理部、7 車両横位置算出部、8 地図上車両位置算出部、9 地図上車両位置初期化部、10 車両前進距離算出部、11 地図情報取得部、12 衛星測位装置、13 車両位置推定システム、14 車両位置推定装置、15 描画線認識結果処理部、16 描画線連続化補正部、17 車線変更状態判定部、18 区画線位置算出部、19 時系列データ蓄積部、20 車両位置推定システム、21 車両位置推定装置、22 描画線認識部、23 線種認識部、24 地図上車両位置算出部、25 走行車線信頼度推定部、26 映像由来車両位置算出部、27 位置統合部、28 車両横位置算出部。

Claims (6)

  1. 車両の前方の道路を撮影した映像情報を取得する映像情報取得部と
    前記映像情報取得部が取得した前記映像情報に基づいて、前記車両の左右両側の前記道路に描かれた描画線の前記車両に対する相対的な位置を認識する描画線認識部と
    前記描画線認識部が認識した左右両側の前記相対的な位置を前記道路の車線を区画する左右両側の区画線の位置とし、前記車両の車線変更の有無、および前記車両が車線変更した場合における前記車線変更の方向を算出する描画線認識結果処理部と
    少なくとも前記車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部と
    前記描画線認識結果処理部が算出した前記車線変更の有無および前記車線変更の方向と、前記地図情報取得部が取得した前記車線接続関係とに基づいて、前記車両が走行中の車線および当該車線内における前記車両の横方向の位置である車両横位置を算出する車両横位置算出部と
    前記車両が前進した距離である前進距離を算出する車両前進距離算出部と
    前記地図情報取得部が取得した前記地図情報と、前記車両横位置算出部が算出した前記車両が走行中の車線および前記車両横位置と、前記車両前進距離算出部が算出した前記前進距離とに基づいて、地図上の道路における前記車両の位置を算出する地図上車両位置算出部と
    を備え
    前記描画線認識結果処理部は、
    前記描画線認識部が認識した左右両側の前記相対的な位置に基づいて、左右両側の前記描画線の位置が時間的に連続となるように補正する描画線連続化補正部と、
    前記描画線連続化補正部が補正した左右両側の前記描画線の前記相対的な位置と、過去の左右両側の前記区画線の位置とに基づいて、前記車線変更の方向を含む前記車両の車線変更の状態を判定する車線変更状態判定部と、
    前記描画線連続化補正部が補正した左右両側の前記描画線の前記相対的な位置と、前記車線変更状態判定部が判定した前記車両の前記車線変更の状態とに基づいて、左右両側の前記区画線の位置を算出する区画線位置算出部と、
    前記区画線位置算出部が算出した左右両側の前記区画線の位置を時系列データとして蓄積する時系列データ蓄積部と、
    を備え、
    前記地図情報取得部が取得する前記地図情報は、前記車線の幅である車線幅を含み、
    前記描画線連続化補正部は、
    前記時系列データ蓄積部が蓄積している現時点から予め定められた時間前における前記車両の左側の区画線である左区画線の位置と、現時点で前記描画線認識部が認識した前記車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、前記右描画線は現時点における前記左区画線であると判定し、現時点における前記左区画線と前記地図情報に含まれる前記車線幅とに基づいて現時点における前記車両の右側の区画線である右区画線の位置を算出し、
    前記時系列データ蓄積部が蓄積している現時点から予め定められた時間前における前記右区画線の位置と、現時点で前記描画線認識部が認識した前記車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、前記左描画線は現時点における前記右区画線であると判定し、現時点における前記右区画線と前記車線幅とに基づいて現時点における前記左区画線の位置を算出することを特徴とする、車両位置推定装置。
  2. 前記車線変更状態判定部は
    前記時系列データ蓄積部が蓄積している現時点から予め定められた時間前までの前記時系列データと、前記描画線連続化補正部が補正した補正後の前記左区画線および前記右区画線の位置とに基づいて、前記車両が前記左区画線または前記右区画線を横断するまでに前進する距離である横断前進距離と、前記車両が前記左区画線または前記右区画線を横断するまでの所要時間である横断所要時間とを算出し、前記横断前進距離および前記横断所要時間に基づいて前記車両が車線変更を開始するか否か、および前記車線変更を開始する場合は前記車線変更の方向を判断し、
    前記車両が前記車線変更を開始した後、前記車線変更の方向に位置する補正後の前記描画線の位置が第1閾値以上になると、前記車両が車線変更を完了したと判断し、
    前記車両が前記車線変更を開始した後、前記車線変更の方向に位置する補正後の前記描画線の位置が第2閾値以下になると、前記車両が車線変更を中止したと判断することを特徴とする、請求項に記載の車両位置推定装置。
  3. 前記区画線位置算出部は
    前記車線変更状態判定部が前記車線変更の方向が左である前記車線変更を完了したと判断した場合において、前記描画線連続化補正部が算出した補正後の前記左区画線と、前記地図情報に含まれる車線幅とに基づいて、前記車線変更後の前記車両の両側の前記左区画線および前記右区画線の位置を算出し、前記車線変更状態判定部が前記車線変更の方向が右である前記車線変更を完了したと判断した場合において、前記描画線連続化補正部が算出した補正後の前記右区画線と、前記地図情報に含まれる車線幅とに基づいて、前記車線変更後の前記車両の前記左区画線および前記右区画線の位置を算出することを特徴とする、請求項に記載の車両位置推定装置。
  4. 前記映像情報取得部とは異なる測位手段による位置測位結果に基づいて、地図上車両位置算出部が保持する地図上車両位置を初期化するための初期化位置を出力する地図上車両位置初期化部を備え、
    前記地図上車両位置算出部は
    前記車両横位置算出部が算出した前記地図上車両位置に基づく走行車線信頼度を推定する走行車線信頼度推定部と
    前記車両前進距離算出部が算出した前記前進距離と、前記車両横位置算出部が算出した前記車両横位置とに基づいて映像由来車両位置を算出する映像由来車両位置算出部と
    前記走行車線信頼度推定部が推定した前記走行車線信頼度に応じて、前記地図上車両位置初期化部が出力した前記初期化位置と、前記映像由来車両位置算出部が算出した前記映像由来車両位置とのいずれを車両位置として採用するのかを判断する位置統合部と
    を備える、請求項1に記載の車両位置推定装置。
  5. 前記走行車線信頼度推定部は
    前記地図情報取得部が取得する前記地図情報に含まれる前記左右の区画線と前記地図上車両位置との位置関係の時系列と、前記描画線認識部によって前記描画線が正常に認識できない状態であると判断した状態の継続時間、または前記描画線連続化補正部が前記描画線の補正が不可能であると判断した状態の継続時間と、前記車線変更状態判定部が判定した車線変更によって前記地図上車両位置が道路外となるか否かとのうち少なくとも1つに基づいて現在の前記走行車線信頼度を算出することを特徴とする、請求項に記載の車両位置推定装置。
  6. 前記描画線認識部は
    前記映像情報取得部が取得した前記映像情報に基づいて、認識した左右それぞれの前記描画線の線種を判定する線種認識部を備え、
    前記走行車線信頼度推定部は、前記線種認識部が認識した前記描画線の線種の時系列に基づいて現在の前記走行車線信頼度を算出することを特徴とする、請求項に記載の車両位置推定装置。
JP2018513402A 2017-03-27 2017-12-18 車両位置推定装置 Active JP6342104B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060384 2017-03-27
JP2017060384 2017-03-27
PCT/JP2017/045319 WO2018179616A1 (ja) 2017-03-27 2017-12-18 車両位置推定装置

Publications (2)

Publication Number Publication Date
JP6342104B1 true JP6342104B1 (ja) 2018-06-13
JPWO2018179616A1 JPWO2018179616A1 (ja) 2019-04-04

Family

ID=62555247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513402A Active JP6342104B1 (ja) 2017-03-27 2017-12-18 車両位置推定装置

Country Status (2)

Country Link
JP (1) JP6342104B1 (ja)
CN (1) CN110431609B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272180A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 用于估计地图上的定位位置的方法和装置
JP2022104134A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両制御システム及び自車線特定方法
WO2023214138A1 (fr) * 2022-05-03 2023-11-09 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système d'aide à la conduite de véhicule en fonction de la détection d'un panneau de signalisation et d'un changement de voie
WO2024048073A1 (ja) * 2022-08-30 2024-03-07 株式会社アイシン 運転支援装置及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929692B2 (en) 2019-02-06 2021-02-23 Veoneer Us Inc. Lane level position determination

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007126086A (ja) * 2005-11-07 2007-05-24 Nissan Motor Co Ltd 車両位置推定装置、車両用走行支援装置及び車両位置推定方法
JP2007278813A (ja) * 2006-04-06 2007-10-25 Hitachi Ltd 車両位置測位装置
JP2011128049A (ja) * 2009-12-18 2011-06-30 Alpine Electronics Inc 道路標示認識装置及び道路標示認識方法
JP2015223933A (ja) * 2014-05-28 2015-12-14 トヨタ自動車株式会社 車線変更支援装置
JP2016085567A (ja) * 2014-10-24 2016-05-19 株式会社デンソー 隣接車線監視装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4575275B2 (ja) * 2005-11-02 2010-11-04 三菱ふそうトラック・バス株式会社 車両用表示装置
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
JP5977275B2 (ja) * 2014-02-14 2016-08-24 株式会社日本自動車部品総合研究所 分岐路認識装置
US10697790B2 (en) * 2014-06-10 2020-06-30 Clarion Co., Ltd. Lane selecting device, vehicle control system and lane selecting method
JP6344275B2 (ja) * 2015-03-18 2018-06-20 トヨタ自動車株式会社 車両制御装置
JP6055525B1 (ja) * 2015-09-02 2016-12-27 富士重工業株式会社 車両の走行制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007126086A (ja) * 2005-11-07 2007-05-24 Nissan Motor Co Ltd 車両位置推定装置、車両用走行支援装置及び車両位置推定方法
JP2007278813A (ja) * 2006-04-06 2007-10-25 Hitachi Ltd 車両位置測位装置
JP2011128049A (ja) * 2009-12-18 2011-06-30 Alpine Electronics Inc 道路標示認識装置及び道路標示認識方法
JP2015223933A (ja) * 2014-05-28 2015-12-14 トヨタ自動車株式会社 車線変更支援装置
JP2016085567A (ja) * 2014-10-24 2016-05-19 株式会社デンソー 隣接車線監視装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272180A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 用于估计地图上的定位位置的方法和装置
JP2022104134A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両制御システム及び自車線特定方法
JP7216699B2 (ja) 2020-12-28 2023-02-01 本田技研工業株式会社 車両制御システム及び自車線特定方法
WO2023214138A1 (fr) * 2022-05-03 2023-11-09 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système d'aide à la conduite de véhicule en fonction de la détection d'un panneau de signalisation et d'un changement de voie
FR3135240A1 (fr) * 2022-05-03 2023-11-10 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite de véhicule en fonction de la détection d’un panneau de signalisation et d’un changement de voie
WO2024048073A1 (ja) * 2022-08-30 2024-03-07 株式会社アイシン 運転支援装置及びコンピュータプログラム

Also Published As

Publication number Publication date
CN110431609A (zh) 2019-11-08
JPWO2018179616A1 (ja) 2019-04-04
CN110431609B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
WO2018179616A1 (ja) 車両位置推定装置
KR102558055B1 (ko) 차선의 추정 방법
JP6342104B1 (ja) 車両位置推定装置
US9448074B2 (en) Curve modeling device, curve modeling method, and vehicular navigation device
CN111721285B (zh) 在自动代客泊车系统中用于估计位置的设备及方法
KR101209062B1 (ko) 영상인식 정보를 이용한 gps 보정 시스템 및 방법
US8239131B2 (en) Navigation device, navigation method, and navigation program
KR101241171B1 (ko) 영상센서를 이용한 gps 위치정보 보정방법
US20170052032A1 (en) Method and system for determining a position relative to a digital map
KR102086270B1 (ko) 주행 제어 장치의 제어 방법 및 주행 제어 장치
US20180066960A1 (en) Apparatus and method for driving assistance
KR20080050887A (ko) 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법
JP5261842B2 (ja) 移動体位置検出方法および移動体位置検出装置
US10794709B2 (en) Apparatus of compensating for a sensing value of a gyroscope sensor, a system having the same, and a method thereof
JP4702149B2 (ja) 車両位置測位装置
JP2009140192A (ja) 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
KR101588787B1 (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
JP2008256620A (ja) 地図データ修正装置、地図データ修正方法、及び地図データ修正プログラム
US11651598B2 (en) Lane mapping and localization using periodically-updated anchor frames
KR101485043B1 (ko) Gps 좌표 보정 방법
JP7414683B2 (ja) 自車位置推定装置及び自車位置推定方法
US11796325B2 (en) Vehicle localization using map and vision data
US11859983B2 (en) Lane information generating method
JP2021170029A (ja) 測定装置、測定方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180312

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180515

R150 Certificate of patent or registration of utility model

Ref document number: 6342104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250