JP6669059B2 - 位置算出装置 - Google Patents

位置算出装置 Download PDF

Info

Publication number
JP6669059B2
JP6669059B2 JP2016252970A JP2016252970A JP6669059B2 JP 6669059 B2 JP6669059 B2 JP 6669059B2 JP 2016252970 A JP2016252970 A JP 2016252970A JP 2016252970 A JP2016252970 A JP 2016252970A JP 6669059 B2 JP6669059 B2 JP 6669059B2
Authority
JP
Japan
Prior art keywords
vehicle
image
map
correlation
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016252970A
Other languages
English (en)
Other versions
JP2018105742A (ja
Inventor
貴志 内藤
貴志 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016252970A priority Critical patent/JP6669059B2/ja
Priority to DE102017125356.4A priority patent/DE102017125356B4/de
Priority to US15/799,226 priority patent/US10731996B2/en
Publication of JP2018105742A publication Critical patent/JP2018105742A/ja
Application granted granted Critical
Publication of JP6669059B2 publication Critical patent/JP6669059B2/ja
Priority to US16/912,117 priority patent/US11519738B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Description

本発明は、自車両の位置を算出する位置算出装置の技術分野に関する。
この種の装置として、例えば、(i)自車両の位置から撮像されるべき車外の画像を、3D地図を用いて生成し、(ii)該生成された車外の画像と、車載カメラにより撮像された画像とを比較することによって、自車両の詳細な位置を算出する装置が提案されている(特許文献1参照)。
尚、自車両を基準ラインに沿って走行させる走行制御が行われていない場合に、基準ラインに対する自車両の走行軌跡のオフセット度合いを表示し、乗員の入力に基づいてオフセット度合いを補正する装置が提案されている(特許文献2参照)。また、地図データにない道路を通ったときに、ナビゲーション装置の地図画面上に表示される自車位置を、ユーザの補正指示入力に基づいて補正する装置が提案されている(特許文献3参照)。
特開2005−326168号公報 特開2009−227196号公報 特開2000−074679号公報
特許文献1に記載の技術では、3D地図を用いて生成された車外の画像と、車載カメラにより撮像された画像との差分が正しく認識されることを前提としている。しかしながら、3D地図に含まれる情報が不足している場合や、例えば道路工事等に起因して実際の道路に変化が生じている場合、例えば車線や道路標示がかすれている場合、路面が濡れている場合、路上に水たまりや影が存在する場合、上記差分が正しく認識されない可能性がある。この結果、自車両の詳細な位置が誤って算出される可能性がある。
本発明は、上記問題点に鑑みてなされたものであり、自車両の位置の誤認識を抑制することができる位置算出装置を提供することを課題とする。
本発明の位置算出装置は、上記課題を解決するために、自車両の位置を取得する取得手段と、地図情報を格納する格納手段と、前記自車両の周辺の構造物を含む周辺環境を検出する検出手段と、前記取得された位置及び前記地図情報に基づいて、前記自車両の周辺の地図を抽出して、前記抽出された地図と前記検出された周辺環境に基づく周辺画像とを比較して、前記抽出された地図上の前記自車両の位置及び向きを算出する算出手段と、前記算出された位置及び前記算出された向きに基づいて、前記抽出された地図を、前記周辺画像に重畳して表示する表示手段と、前記自車両のユーザの補正指示を入力可能な入力手段と、前記入力手段を介して前記補正指示が入力された場合、前記入力された補正指示を参照して、前記算出された位置及び前記算出された向きを補正する補正手段と、を備え、前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、探索範囲を設定し、前記設定された探索範囲に基づいて、前記算出された位置及び前記算出された向きを補正する。
取得手段は、例えば測位衛星からの電波を受信することにより、或いは、例えばジャイロセンサや車速センサ等の内界センサの出力に基づいて、自車両の位置を取得する。ここで、測位衛星や内界センサを用いて求められる自車両の位置は比較的精度が低く、高度な運転支援システムや自動運転システムが要求する位置精度(例えば、誤差1m(メートル)以内等)を満たすことが困難である。そこで、当該位置算出装置では、地図情報と、検出手段により検出された周辺環境に基づく周辺画像(即ち、センシング結果)とから、比較的精度の高い自車両の位置及び向きが算出される。
ところで、例えば地図情報と実際の道路とに大なり小なり違いがある場合、地図情報と周辺画像とが誤って照合される可能性がある。当該位置算出装置では、自車両周辺の地図と周辺画像とが重畳して表示される(即ち、可視化される)。そして、表示が誤っている(即ち、地図情報と周辺画像とが誤って照合されている)と判断したユーザからの補正指示の入力があった場合、地図情報と周辺画像とから算出された自車両の位置及び向きが補正される。従って、当該位置算出装置によれば、自車両の位置の誤認識を抑制することができる。
本発明の位置算出装置の一態様では、前記算出手段は、前記抽出された地図と前記周辺画像との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出する。この態様によれば、比較的容易にして、地図上での自車両の位置及び向きを算出することができる。尚、相関関係は、例えば位相限定相関法(Phase Only Correlation:POC)等の周波数解析的手法により求められてよい。言うまでもないことではあるが、相関関係は、周波数解析的手法以外の手法により求められてもよい。
本発明の位置算出装置の他の態様では、前記算出手段は、前記抽出された地図に基づく画像及び前記周辺画像各々に所定の周波数解析を施すことにより得られる、前記抽出された地図と前記周辺画像との相関関係としての、相関値の分布を示す相関画像に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出し、前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、前記相関画像上の探索範囲を設定し、前記設定された探索範囲における前記相関値に基づいて、前記算出された位置及び前記算出された向きを補正する。
例えば周辺画像に、道路標示として破線の減速路面標示が含まれているとする。この場合、抽出された地図と周辺画像との相関関係が求められると、周辺画像に含まれる車線と地図に含まれる車線とが重なる場合に加えて、周辺画像に含まれる破線の減速路面標示と地図に含まれる車線とが重なる場合も、相関値が最大又は極大となる可能性がある。ここで、相関画像において相関値が最大又は極大となる位置は、抽出された地図と周辺画像とのずれ量の候補に相当する。
仮に、周辺画像に含まれる破線の減速路面標示と地図に含まれる車線とが重なることに起因して相関値が最大又は極大となる相関画像上の位置に基づいて、自車両の位置及び向きが算出されると、自車両の位置及び向きが誤って求められることとなる。このとき、何らの限定も加えずに、相関画像から相関値が最大又は極大となる位置(即ち、ずれ量)が選択されても、再び誤った結果となる可能性がある。
当該位置算出装置では、補正指示に基づいて相関画像上の探索範囲が設定され、探索範囲における相関値に基づいて、自車両の位置及び向きが補正される。探索範囲が設定されることにより、真のずれ量に対応する、相関値が最大又は極大となる位置が選択される可能性を高めることができる。このため、補正後の自車両の位置及び向きは、正しい位置及び向きとなることが期待できる。
本発明の位置算出装置の他の態様では、前記検出手段は、前記自車両の周辺を撮像するカメラを有し、前記検出手段は、前記カメラにより前記自車両の周辺を撮像することにより、前記周辺環境を検出し、前記算出手段は、前記カメラにより撮像された画像から前記自車両の周辺の俯瞰画像を、前記周辺画像として、生成し、前記生成された俯瞰画像と前記抽出された地図との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出する。この態様によれば、比較的容易に相関関係を求めることができ、実用上非常に有利である。
本発明の位置算出装置の他の態様では、前記地図情報は、車線を示す線データを含み、前記表示手段は、前記抽出された地図として、前記自車両の周辺の車線を示す線データを、前記検出された周辺環境を示す画像に重畳して表示する。この態様によれば、ユーザが、比較的容易に、表示が誤っているか否かを判断することができる。
本発明の位置算出装置の他の態様では、前記地図情報は、道路標示及び標識を示すデータを含み、前記表示手段は、前記抽出された地図として、前記自車両の周辺の道路標示及び標識の少なくとも一方を示すデータを、前記周辺画像に重畳して表示する。この態様によれば、ユーザが、比較的容易に、表示が誤っているか否かを判断することができる。
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
実施形態に係る位置算出装置の構成を示すブロック図である。 地図情報が重畳された周辺画像の一例を示す図である。 実施形態に係る位置算出動作を示すフローチャートである。 実施形態に係る位置補正処理を示すフローチャートである。 搭乗者による補正指示入力の概念を説明するための図である。 実施形態に係る位置補正処理の概念を示す概念図である。 地図情報が重畳された周辺画像の他の例を示す図である。
本発明の位置算出装置に係る実施形態について、図1乃至図7を参照して説明する。
(装置構成)
実施形態に係る位置算出装置の構成について、図1を参照して説明する。図1は、実施形態に係る位置算出装置の構成を示すブロック図である。
図1において、位置算出装置10は、車両1に搭載されている。位置算出装置10は、中央演算装置11、測位装置12、地図データ装置13、路面画像撮像装置14、俯瞰画像生成装置15、画像測位装置16、表示装置17及び測位補正入力装置18を備えて構成されている。
中央演算装置11は、例えばメモリ、プロセッサ等を備えてなる。中央演算装置11は、車両1の位置及び向きを示す信号を、例えば、運転支援動作を実施可能な運転支援システムの制御装置(図示せず)や自動運転動作を実施可能な自動運転システムの制御装置(図示せず)等に送信する。
測位装置12は、受信機121及び内界センサ122を有する。受信機121は、例えば航法衛星からの航法信号等の衛星信号を受信する。内界センサ122には、例えばジャイロセンサ、車速センサ等が含まれている。測位装置12は、受信機121により受信された衛星信号に基づいて車両1の位置を測定可能である。測位装置12は、更に、内界センサ122の出力に基づいて車両1の向き(例えば姿勢)を測定可能である。つまり、測位装置12は、例えば、GNSS(Global Navigation Satellite System)及びIMU(Inertial Measurement Unit)の両方の機能を有する。尚、測位装置12は、内界センサ122の出力に基づいて車両1の位置を測定する、DR(Dead Reckoning:自律航法)の機能を有していてもよい。
地図データ装置13は、地図情報を格納するデータベースである。地図情報には、例えば、道路の位置情報(又は車線毎の位置情報)、道路形状の情報(例えばカーブ、直線部の種別、カーブの曲率等)、道路幅の情報(又は車線幅の情報)、道路の勾配の情報、道路のカント角の情報、及び、道路における制限車速の情報、等が含まれる。地図情報には、交差点及び分岐点の位置情報、一時停止線の位置情報、横断歩道の位置情報、並びに、信号機の位置情報、等が含まれる。地図情報には、白線の位置情報(線ではなく点列として位置情報が記憶されてよい)、白線の線種の情報、例えば縁石、電柱、ポール、ガードレール、壁、建物等の固定障害物の位置及び形状の情報、路面上に描かれた文字及びマーク等の道路標示の位置及び形状の情報、路上に設置された、地理の案内や道路の警告、規制等の情報を示す標識の位置及び形状の情報等が含まれる。
路面画像撮像装置14は、車両1の車外を撮像するカメラを備えて構成されている。俯瞰画像生成装置15は、測位装置12により測定された車両1の位置及び向きと、路面画像撮像装置14により撮像された画像とから俯瞰画像を生成する。
画像測位装置16は、測位装置12により測定された車両1の位置に基づいて地図データ装置13から抽出された車両1の周辺の地図情報と、俯瞰画像生成装置15により生成された俯瞰画像とを照合することにより、地図上での車両1の位置及び向きを算出する。
表示装置17は、路面画像撮像装置14が備えるカメラにより撮像された画像に、画像測位装置16により算出された車両1の位置及び向きに基づいて、車両1の周辺の地図情報を重畳して表示する。
測位補正入力装置18は、車両1の搭乗者の補正指示(後述)を受け付け可能な、例えばタッチパネルや操作ボタン等の入力デバイスを有する。
(位置補正処理)
上述の如く構成された位置算出装置10によれば、地図情報と俯瞰画像とが照合されることにより、車両1の位置を比較的高精度に求めることができる。つまり、当該位置算出装置10では、地図上の位置(例えば緯度、経度)に基づいて、車両1の位置が比較的高精度に求められる。
しかしながら、例えば合流地点付近等、車線の近傍に、車線に類似した標示(図2では、破線の減速路面標示、及び導流帯)が描かれている場所では、地図情報と俯瞰画像とが誤って照合される可能性がある。図2に示す例では、破線の減速路面標示が車線と誤認識されている(図2における線b1は、地図情報に含まれる車線を示している)。このような誤認識は、地図情報に含まれる情報が不足している場合や、例えば道路工事等に起因して実際の道路に変化が生じている場合に、発生する可能性が高い。
誤認識に対して何らの対策も採らなければ、車両1の位置情報を利用する、例えば運転支援動作、自動運転動作等に係る制御精度が低下するおそれがある。そこで、当該位置算出装置10では、測位補正入力装置18を介して入力された搭乗者の補正指示に基づいて、地図情報と俯瞰画像とが照合されることにより求められた車両1の位置が補正される。
当該位置算出装置10が実施する位置算出動作、及び該位置算出動作の一部として実施される位置補正処理について、図3及び図4のフローチャートを参照して説明する。
図3において、先ず、測位装置12は、受信機121により受信された衛星信号に基づいて車両1の位置を測定すると共に、内界センサ122の出力に基づいて車両1の向きを測定する(ステップS101)。次に、中央演算装置11は、測定された車両1の位置及び向きに基づいて、地図データ装置13から、車両1の周辺の地図情報を抽出する(ステップS102)。中央演算装置11は、ステップS101及びS102の処理と並行して、路面画像撮像装置14が備えるカメラにより撮像された画像を取得する(ステップS103)。
次に、中央演算装置11は、測定された車両1の位置及び向きを示す信号と、撮像された画像を示す信号とを俯瞰画像生成装置15に送信する。俯瞰画像生成装置15は、撮像された画像と、測定された車両1の位置及び向きとに基づいて、車両1の周辺の俯瞰画像を生成する(ステップS104)。具体的には、俯瞰画像生成装置15は、一枚の撮像された画像の少なくとも一部(例えば、路面が写っている部分)を、路面画像撮像装置14が備えるカメラに係る、例えば設置位置、姿勢等のカメラパラメータに基づいて投影変換することにより、ある時点の俯瞰画像を生成する。俯瞰画像生成装置15は、連続する複数の時点各々の俯瞰画像を、各時点の車両1の位置及び向きに基づいて貼り合わせることにより、例えば車両1を中心とした路面の俯瞰画像を生成する。
俯瞰画像生成装置15は、生成された俯瞰画像を示す信号を中央演算装置11に送信する。
次に、中央演算装置11は、俯瞰画像生成装置15により生成された俯瞰画像と、ステップS102の処理において抽出された地図情報とを示す信号を、画像測位装置16に送信する。画像測位装置16は、地図情報と俯瞰画像とを照合することにより(具体的には、地図情報に基づく擬似路面画像(例えば、車線部分が白、その他の部分が黒であるような画像)と、俯瞰画像とを照合することにより)、車両1の地図上の位置及び向きを算出する(ステップS105)。地図情報と俯瞰画像との照合には、例えば位相限定相関法が用いられる。
ここで、俯瞰画像の空間周波数を“F(u)”、擬似路面画像の空間周波数を“G(u)”、正規化の重みを“α”とする。位相限定相関法による相関分布H(u)は、
H(u)=F(u)G(u)/[|F(u)||G(u)|]^α
と表せる。画像測位装置16は、相関分布H(u)により示される相関画像(即ち、相関分布H(u)を逆フーリエ変換することによりえられる実領域での画像)において相関値が最大となる位置を求めることにより、地図上の車両1の位置及び向きを求める。
尚、相関画像において相関値が最大又は極大となる位置(即ち、ピーク位置)は、俯瞰画像と擬似路面画像とのずれ量を表している。ピーク位置が複数存在する場合は、ずれ量の候補が複数存在することを意味する。従って、相関画像において相関値が最大となる位置を求めることは、俯瞰画像と擬似路面画像とのずれ量を求めることを意味する。このため、相関画像において相関値が最大となる位置が求められることにより、地図上の車両1の位置及び向きが求まるのである。
次に、中央演算装置11は、車両1の位置及び向きが算出されたか否かを判定する(ステップS106)。ここで、中央演算装置11は、例えば、ステップS105の処理において車両1の位置及び向きが求められた際の相関の最大値が第1閾値以下である場合、求められた車両1の位置及び向きが所定基準を満たさないとして(言い換えれば、信頼度が不十分であるとして)、車両1の位置及び向きが算出されないと判定する。
ステップS106の判定において、車両1の位置及び向きが算出されないと判定された場合(ステップS106:No)、中央演算装置11は、車両1の位置及び向きが不定である旨を示す信号を、例えば運転支援システムの制御装置、自動運転システムの制御装置等に送信する(ステップS107)。その後、第1所定時間経過後に、再びステップS101の処理が実施される。
他方、ステップS106の判定において、車両1の位置及び向きが算出されたと判定された場合(ステップS106:Yes)、中央演算装置11は、図4に示す、車両1の位置及び向きの補正処理を行う(ステップS20)。
図4において、先ず、中央演算装置11は、繰り返し回数Nを“0”に設定する(即ち、繰り返し回数Nを初期化する)(ステップS201)。次に、中央演算装置11は、路面画像撮像装置14が備えるカメラにより撮像された画像に、画像測位装置16により算出された車両1の位置及び向きに基づいて、車両1の周辺の地図情報を重畳して表示するように、表示装置17を制御する(ステップS202)。この結果、例えば図2に示すような画像が、車両1の搭乗者に表示される。
次に、中央演算装置11は、測位補正入力装置18を介して、搭乗者の補正指示が入力されたか否かを判定する(ステップS203)。中央演算装置11は、例えばステップS202の処理が実施されてから、第2所定時間以内に補正指示の入力がない場合、補正指示が入力されないと判定する。
ここで、測位補正入力装置18が、表示装置17の画面に設けられた圧電センサである場合(即ち、表示装置17の画面がタッチパネルである場合)、搭乗者は、例えば図5(a)に示すように、左方向、右方向、上方向、下方向、左回り或いは右回りに、表示装置17の画面をスワイプすることにより、補正指示を入力可能である。測位補正入力装置18が、例えばステアリングホイール(図示せず)に設けられたスイッチ(図5(b)参照)である場合、搭乗者は、スイッチを操作することにより、補正指示を入力可能である。尚、スイッチの“U”及び“R”が同時に押下された場合を「右回り」指示、“D”及び“L”が同時に押下された場合を「左回り」指示としてもよい。
ステップS203の判定において、補正指示が入力されないと判定された場合(ステップS203:No)、後述するステップS206の処理が行われる。他方、ステップS203の判定において、補正指示が入力されたと判定された場合(ステップS203:Yes)、中央演算装置11は、測位補正入力装置18から補正指示に係る入力値を取得する(ステップS204)。
ここで、「入力値」は、搭乗者の補正指示に係る操作に応じた値である。図2に示すように画像の横軸をX軸とする。例えば、搭乗者が左方向にスワイプした場合、スワイプした長さが“−ΔX”であれば、入力値は“−ΔX”となる。ただし、搭乗者の補正指示は車両1の走行中に入力されることが多く、補正指示が必ずしも正しいとは限らない。このため、1回の補正指示に係る入力値に対して上限値が設けられてもよい、或いは、搭乗者の補正指示に係る操作量(例えば、スワイプする長さやスイッチの押下時間等)にかかわらず、1回の補正指示に対する変化量(例えばΔX)が固定値として設定されており、補正指示に係る操作方向に該変化量だけ変化するような値が入力値とされてもよい。
次に、中央演算装置11は、入力値に基づいて、相関画像上の探索範囲を設定し、該設定された探索範囲における相関値に基づいて、地図上での車両1の位置及び向きを算出する(ステップS205)。
ここで、搭乗者に表示される画像がXZ座標系であり、俯瞰画像がENU座標系であるとする。補正指示は、搭乗者が、例えば図2に示すような画像を見ながら入力されるので、入力値はXZ座標系での値となる。このため、中央演算装置11は、入力値のENU座標系の値への変換を行う。具体的には、XZ座標系での入力値が(ΔX,ΔZ)であり、車両1の向きが“θ”である場合、ENU座標系に変換された入力値は、(Δe=ΔXcos(−θ)−ΔZsin(−θ),Δn=ΔXsin(−θ)+ΔZcos(−θ))となる。
中央演算装置11は、ステップS105の処理において車両1の位置及び向きが求められた際の相関が最大となった相関画像上の座標(図6の点P1参照)から、変換後の入力値(Δe,Δn)だけ離れた座標(図6の点P2参照)を中心とする半径rの円内を、探索範囲として設定する(図6参照)。そして、中央演算装置11は、探索範囲内での相関の局所的な最大値(即ち、極大値)を求める。求められた極大値が第2閾値以上である場合、中央演算装置11は、相関が極大となる位置から、車両1の位置及び向きを求める(即ち、車両1の位置及び向きを補正する)。尚、中央演算装置11は、求められた極大値が第2閾値未満である場合、車両1の位置及び向きの補正は行わない(即ち、ステップS105の処理において求められた車両1の位置及び向きが維持される)。
上述の如く、相関画像において相関値が最大又は極大となるピーク位置が複数存在する場合がある。この場合、真のずれ量に対応するピーク位置の相関値が、他のピーク位置の相関値より低いことがある。すると、ステップS105の処理において、相関の最大値に基づいて車両1の位置及び向きが求められると、例えば図2に示すように、地図情報に含まれる車線を示す線b1が、破線の減速路面標示に誤って重畳されることとなる。
搭乗者の補正指示が入力されたときに、何らの限定もせず(即ち、探索範囲を設定せず)に、例えば相関値が2番目に大きいピーク位置から車両1の位置及び向きが求められても、再び誤った結果となる可能性がある。そこで、例えば上下左右のいずれにずらす(平行移動させる)か、又は、左若しくは右に回転させるかを示す入力値に基づいて、相関画像上に探索範囲が設定されれば、真のずれ量に対応するピーク位置から車両1の位置及び向きが求められる可能性を高めることができる。つまり、補正後の車両1の位置及び向きが、正しい位置及び向きになることが期待できる。
その後、中央演算装置11は、繰り返し回数Nをインクリメントして(ステップS206)、繰り返し回数Nが第3閾値Nth未満であるか否かを判定する(ステップS207)。この判定において、繰り返し回数Nが第3閾値Nth未満であると判定された場合(ステップS207:Yes)、ステップS202の処理が実施される。
他方、繰り返し回数Nが第3閾値Nth以上であると判定された場合(ステップS207:No)、ステップS20の補正処理が終了される(図3参照)。その後、第1所定時間経過後に、再びステップS101の処理が実施される。
ステップS202乃至S207の処理が繰り返し実施されることにより、例えば図7に示すように、路面画像撮像装置14が備えるカメラにより撮像された画像の車線部分に、地図情報に含まれる車線を示す線b1´及び線b2´各々が重畳された画像が、搭乗者に表示される。
本実施形態では、車線を示す線b1、b2、b1´及びb2´が、カメラにより撮像された画像に重畳される例を挙げたが、車線に加えて又は代えて、道路標示や標識等が、カメラにより撮像された画像に重畳されてよい。
(技術的効果)
当該位置算出装置10によれば、地図情報(本実施例では、擬似路面画像)と、車両1の周辺を撮像した画像に基づく俯瞰画像とが照合されることにより求められる地図上の車両1の位置及び向きから、車両1の位置及び向きが求められる。このため、車両1の位置及び向きを比較的高精度に求めることができる。当該位置算出装置10により求められた車両1の位置及び向きを、例えば運転支援システムや自動運転システム等で採用すれば、これらのシステムの制御精度の向上を図ることができる。
当該位置算出装置10は、車両1の搭乗者の補正指示を受け付け可能な測位補正入力装置18を備えている。測位補正入力装置18を介して、搭乗者の補正指示が入力された場合、地図情報と俯瞰画像とが再度照合されることにより、地図上での車両1の位置及び向きが改めて求められる(即ち、位置及び向きが補正される)。このため、当該位置算出装置10によれば、車両1の位置及び向きの誤認識を抑制することができる。
尚、上述の如く、搭乗者の補正指示は、探索範囲の設定に用いられ、補正指示により直接車両1の位置及び向きが補正されるものではないことに注意されたい。
実施形態に係る「測位装置12」、「地図データ装置13」、「路面画像撮像装置14」、「画像測位装置16」、「表示装置17」、「測位補正入力装置18」及び「中央演算装置11」は、夫々、本発明に係る「取得手段」、「格納手段」、「検出手段」、「算出手段」、「表示手段」、「入力手段」及び「補正手段」の一例である。
(変形例)
上述の実施形態では、路面画像撮像装置14が備えるカメラにより撮像された画像から俯瞰画像が生成されている。しかしながら、路面画像撮像装置14に代えて、例えばLIDAR(Laser Imaging Detection and Ranging)により、車両1の周辺環境を示す画像を取得し、該取得された画像に基づいて俯瞰画像が生成されてもよい。
図3のステップS106の判定において、車両1の位置及び向きが算出されたと判定された場合(即ち、車両1の位置及び向きが求められた際の相関の最大値が第1閾値より大きい場合)、中央演算装置11が、相関の最大値に基づいて信頼度を求め、該求められた信頼度に応じて、路面画像撮像装置14が備えるカメラにより撮像された画像に重畳表示される、車両1の周辺の地図情報を示す線(例えば、図2の線b1及びb2等)の色を変更してもよい(例えば、信頼度が比較的高ければ“青”、信頼度が比較的低ければ“赤”等)。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う位置算出装置もまた本発明の技術的範囲に含まれるものである。
1…車両、10…位置算出装置、11…中央演算装置、12…測位装置、13…地図データ装置、14…路面画像撮像装置、15…俯瞰画像生成装置、16…画像測位装置、17…表示装置、18…測位補正入力装置

Claims (6)

  1. 自車両の位置を取得する取得手段と、
    地図情報を格納する格納手段と、
    前記自車両の周辺の構造物を含む周辺環境を検出する検出手段と、
    前記取得された位置及び前記地図情報に基づいて、前記自車両の周辺の地図を抽出して、前記抽出された地図と前記検出された周辺環境に基づく周辺画像とを比較して、前記抽出された地図上の前記自車両の位置及び向きを算出する算出手段と、
    前記算出された位置及び前記算出された向きに基づいて、前記抽出された地図を、前記周辺画像に重畳して表示する表示手段と、
    前記自車両のユーザの補正指示を入力可能な入力手段と、
    前記入力手段を介して前記補正指示が入力された場合、前記入力された補正指示を参照して、前記算出された位置及び前記算出された向きを補正する補正手段と、
    を備え
    前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、
    前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、探索範囲を設定し、前記設定された探索範囲に基づいて、前記算出された位置及び前記算出された向きを補正する
    ことを特徴とする位置算出装置。
  2. 前記算出手段は、前記抽出された地図と前記周辺画像との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出することを特徴とする請求項1に記載の位置算出装置。
  3. 前記算出手段は、前記抽出された地図に基づく画像及び前記周辺画像各々に所定の周波数解析を施すことにより得られる、前記抽出された地図と前記周辺画像との相関関係としての、相関値の分布を示す相関画像に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出し、
    前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、
    前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、前記相関画像上の探索範囲を設定し、前記設定された探索範囲における前記相関値に基づいて、前記算出された位置及び前記算出された向きを補正する
    ことを特徴とする請求項1又は2に記載の位置算出装置。
  4. 前記検出手段は、前記自車両の周辺を撮像するカメラを有し、
    前記検出手段は、前記カメラにより前記自車両の周辺を撮像することにより、前記周辺環境を検出し、
    前記算出手段は、前記カメラにより撮像された画像から前記自車両の周辺の俯瞰画像を、前記周辺画像として、生成し、前記生成された俯瞰画像と前記抽出された地図との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出する
    ことを特徴とする請求項1乃至3のいずれか一項に記載の位置算出装置。
  5. 前記地図情報は、車線を示す線データを含み、
    前記表示手段は、前記抽出された地図として、前記自車両の周辺の車線を示す線データを、前記周辺画像に重畳して表示する
    ことを特徴とする請求項1乃至4のいずれか一項に記載の位置算出装置。
  6. 前記地図情報は、道路標示及び標識を示すデータを含み、
    前記表示手段は、前記抽出された地図として、前記自車両の周辺の道路標示及び標識の少なくとも一方を示すデータを、前記周辺画像に重畳して表示する
    ことを特徴とする請求項1乃至5のいずれか一項に記載の位置算出装置。
JP2016252970A 2016-12-27 2016-12-27 位置算出装置 Active JP6669059B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016252970A JP6669059B2 (ja) 2016-12-27 2016-12-27 位置算出装置
DE102017125356.4A DE102017125356B4 (de) 2016-12-27 2017-10-30 Positionsberechnungsvorrichtung
US15/799,226 US10731996B2 (en) 2016-12-27 2017-10-31 Position calculating apparatus
US16/912,117 US11519738B2 (en) 2016-12-27 2020-06-25 Position calculating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016252970A JP6669059B2 (ja) 2016-12-27 2016-12-27 位置算出装置

Publications (2)

Publication Number Publication Date
JP2018105742A JP2018105742A (ja) 2018-07-05
JP6669059B2 true JP6669059B2 (ja) 2020-03-18

Family

ID=62510348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016252970A Active JP6669059B2 (ja) 2016-12-27 2016-12-27 位置算出装置

Country Status (3)

Country Link
US (2) US10731996B2 (ja)
JP (1) JP6669059B2 (ja)
DE (1) DE102017125356B4 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669059B2 (ja) 2016-12-27 2020-03-18 トヨタ自動車株式会社 位置算出装置
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
EP3825650A1 (en) * 2018-04-03 2021-05-26 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
JP7131131B2 (ja) * 2018-06-29 2022-09-06 マツダ株式会社 車両用ライン検出装置および該方法
KR102682524B1 (ko) * 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
US11408739B2 (en) 2019-05-16 2022-08-09 International Business Machines Corporation Location correction utilizing vehicle communication networks
JP7176478B2 (ja) 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
JP7524809B2 (ja) * 2021-03-26 2024-07-30 トヨタ自動車株式会社 走行道路特定装置、走行道路特定方法及び走行道路特定用コンピュータプログラム
JP2023082783A (ja) 2021-12-03 2023-06-15 トヨタ自動車株式会社 車載通知装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000074679A (ja) 1998-09-01 2000-03-14 Toyota Motor Corp ナビゲーション装置および自車位置補正方法
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP2005326168A (ja) 2004-05-12 2005-11-24 Fuji Photo Film Co Ltd 運転支援システム、車両、および運転支援方法
JP4377284B2 (ja) * 2004-06-02 2009-12-02 株式会社ザナヴィ・インフォマティクス 車載ナビゲーション装置
JP5181766B2 (ja) 2008-03-25 2013-04-10 マツダ株式会社 車両の運転支援装置
JP6225889B2 (ja) * 2014-11-19 2017-11-08 株式会社豊田中央研究所 車両位置推定装置及びプログラム
JP6313198B2 (ja) 2014-11-28 2018-04-18 株式会社デンソー 車両制御装置
JP6363518B2 (ja) 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6363517B2 (ja) 2015-01-21 2018-07-25 株式会社デンソー 車両の走行制御装置
JP6440539B2 (ja) * 2015-03-13 2018-12-19 三菱電機株式会社 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
JP6358160B2 (ja) 2015-04-17 2018-07-18 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
JP6380422B2 (ja) 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
KR101866728B1 (ko) * 2016-04-25 2018-06-15 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법
US10072328B2 (en) 2016-05-24 2018-09-11 Emagin Corporation High-precision shadow-mask-deposition system and method therefor
JP6776717B2 (ja) 2016-08-12 2020-10-28 トヨタ自動車株式会社 道路区画線検出装置
US10641612B2 (en) * 2016-12-19 2020-05-05 Alpine Electronics, Inc. Method and apparatus for correcting current position in navigation system via human-machine interface
JP6669059B2 (ja) 2016-12-27 2020-03-18 トヨタ自動車株式会社 位置算出装置
JP6805105B2 (ja) 2017-09-28 2020-12-23 株式会社デンソー 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法
JP7111454B2 (ja) 2017-09-28 2022-08-02 株式会社デンソー 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法
JP6996353B2 (ja) 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム

Also Published As

Publication number Publication date
US20200326191A1 (en) 2020-10-15
US11519738B2 (en) 2022-12-06
DE102017125356A1 (de) 2018-06-28
US20180180422A1 (en) 2018-06-28
DE102017125356B4 (de) 2024-09-12
US10731996B2 (en) 2020-08-04
JP2018105742A (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6669059B2 (ja) 位置算出装置
JP5747787B2 (ja) 車線認識装置
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
KR100873474B1 (ko) 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법
US8239131B2 (en) Navigation device, navigation method, and navigation program
JP5968064B2 (ja) 走行レーン認識装置および走行レーン認識方法
CN112074885A (zh) 车道标志定位
KR20220033477A (ko) 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
JP6252252B2 (ja) 自動運転装置
JP5501101B2 (ja) 位置標定装置、位置標定方法および位置標定プログラム
JP2009250718A (ja) 車両位置検出装置及び車両位置検出方法
JP2018040693A (ja) 運転支援装置、運転支援方法
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP2018048949A (ja) 物体識別装置
JP2007278813A (ja) 車両位置測位装置
KR20200119092A (ko) 차량 및 차량의 위치 검출 방법
JP4848931B2 (ja) 角速度センサの信号補正装置
KR20180137904A (ko) 차량 주행 정보의 보정 장치 및 방법
JP7234840B2 (ja) 位置推定装置
CN115917255A (zh) 基于视觉的位置和转弯标记预测
JP5549468B2 (ja) 地物位置取得装置、方法およびプログラム
EP3835724B1 (en) Self-location estimation method and self-location estimation device
US20230373535A1 (en) Vehicle controller, method, and computer program for controlling vehicle
US11636693B2 (en) Robust lane-boundary association for road map generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R151 Written notification of patent or utility model registration

Ref document number: 6669059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151