JP6325806B2 - 車両位置推定システム - Google Patents

車両位置推定システム Download PDF

Info

Publication number
JP6325806B2
JP6325806B2 JP2013252614A JP2013252614A JP6325806B2 JP 6325806 B2 JP6325806 B2 JP 6325806B2 JP 2013252614 A JP2013252614 A JP 2013252614A JP 2013252614 A JP2013252614 A JP 2013252614A JP 6325806 B2 JP6325806 B2 JP 6325806B2
Authority
JP
Japan
Prior art keywords
landmark
vehicle
recognition
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013252614A
Other languages
English (en)
Other versions
JP2015108604A5 (ja
JP2015108604A (ja
Inventor
勇樹 堀田
勇樹 堀田
太雪 谷道
太雪 谷道
黒田 浩司
浩司 黒田
江端 智一
智一 江端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2013252614A priority Critical patent/JP6325806B2/ja
Priority to CN201480066054.6A priority patent/CN105793669B/zh
Priority to US15/100,398 priority patent/US9983022B2/en
Priority to EP14867797.4A priority patent/EP3078937B1/en
Priority to PCT/JP2014/080570 priority patent/WO2015083538A1/ja
Publication of JP2015108604A publication Critical patent/JP2015108604A/ja
Publication of JP2015108604A5 publication Critical patent/JP2015108604A5/ja
Application granted granted Critical
Publication of JP6325806B2 publication Critical patent/JP6325806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/001Transmission of position information to remote stations
    • G01S2205/002Transmission of position information to remote stations for traffic control, mobile tracking, guidance, surveillance or anti-collision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Description

本明細書で開示される主題は、車両の位置推定を行うシステム、及び、それに用いる装置、サーバ、及び、プログラムに関する。
車両の走行を正しく制御するためには、道路地図データ上における車両の位置を正確に推定する必要がある。しかし、GNSS(Global Navigation Satellite System)は数10メートル程度の測位誤差が発生し得るため、地図データ及びマップマッチングを用いて補正したとしても、走行道路内の車両の正確な位置を推定するのは困難である。
そこで、道路の形状(カーブ、交差点等)や属性(制限速度、道路勾配等)等の情報を用いて車両の走行を制御するシステムが知られている。自車両の位置推定精度向上を実現する従来技術として、特許文献1と特許文献2に開示された技術がある。
特許文献1には、車両にカメラを取り付け、走行中にカメラ画像から、信号機や道路標識、道路上のペイント等、正確な位置がわかる特徴物であるランドマークを認識して補正を施すことにより、車両の位置推定精度を向上させる技術が開示されている。
特許文献2には、ランドマーク認識結果の確からしさや画像撮影時の条件を考慮して、認識結果を地図センタに報告するか否かを判定することにより、存在確度の高いランドマーク情報の管理を実現する技術が開示されている。
特開平9−152348号公報 特開2008−51612号公報
特許文献1に開示されている技術は、車両に装着したカメラ画像を用いて予め位置が判っているランドマークを認識することで、高精度に車両の位置を推定している。
しかし、認識に用いるランドマーク情報の正誤や認識のしやすさを考慮していないため、誤ったランドマーク情報や認識のしにくいランドマーク情報を用いることで、ランドマークを認識できないおそれがある。そのため、高精度な車両の位置推定ができなかったり、ランドマークの誤認識により誤った車両の位置推定を行ったりする可能性がある。
この問題に対し、特許文献2は、確実性の高いランドマークの認識結果を地図センタにフィードバックすることで、誤ったランドマーク情報を地図データから取り除く技術を開示している。これにより、誤ったランドマーク情報に起因する上述の問題を抑制することを可能にする。
しかし、ランドマーク認識の画像処理の演算負荷は高いため、車載用装置の限られた処理能力では、すべてのランドマーク情報に対して認識処理を施すのは困難である。その場合、認識処理の対象とするランドマーク情報を限定することが考えられるが、種別(道路標識、横断歩道等)等を用いて固定的に限定した場合、実際には認識可能なランドマーク情報が存在していたにもかかわらず、認識しにくいランドマークを選択し、高精度な位置推定に失敗してしまう可能性がある。
本発明の目的は、ランドマークの認識処理における負荷の低減を図りながら、車両の位置推定精度の向上を実現することである。
上記の問題を解決するために、本発明は、車両に搭載された撮像装置により撮像された画像に含まれる特徴物を用いて車両の位置を推定する装置、該装置とネットワークを介して接続されるサーバ、または、これらの装置及びサーバを備える車両位置推定システムを提供する。サーバは、第一の制御部と、特徴物に関する情報であるランドマーク情報を記憶する第一の格納部と、ランドマーク情報をネットワークを介して装置に送信する第一の通信部と、を有し、装置は、撮像装置により撮像された画像に関する情報である撮像画像情報を受信し、サーバからネットワークを介してランドマーク情報を受信する第二の通信部と、ランドマーク情報を記憶する第二の格納部と、第二の格納部に記憶されたランドマーク情報に基づいて撮像画像情報に含まれる特徴物を認識する認識処理と、認識処理で認識された特徴物に基づいて車両の位置を推定する位置推定処理と、を実行する第二の制御部と、を有する
ランドマーク情報は、認識処理において特徴物を認識可能な道路上の範囲を表す認識対象範囲と、特徴物の画像に関する情報であるランドマーク画像と、特徴物に関する評価値と、を含む。評価値は、認識処理における特徴物の認識の成功のしやすさを示す認識評価値を含む。認識処理において、第二の制御部は、ランドマーク情報に含まれる認識対象範囲および認識評価値に基づいて、道路上でのランドマーク画像の適用範囲を設定し、車両の位置が適用範囲内のときに当該ランドマーク画像を用いて特徴物を認識する。第二の通信部は、第二の制御部による認識処理の結果をサーバに送信する。第一の制御部は、第一の格納部に記憶されているランドマーク情報における認識評価値を、認識処理の結果に基づいて更新する。第一の制御部は、第一の格納部に記憶されているランドマーク情報における認識評価値が、認識処理の結果に基づいて一定時間更新されない場合には、認識評価値を所定の中間値に近づけるように調整する。
または、ランドマーク情報は、特徴物の画像に関する情報であるランドマーク画像を含む。第二の通信部は、第二の制御部による認識処理の結果として、認識処理で認識した特徴物の画像に関する情報をサーバに送信する。第一の制御部は、異なるタイミングで装置からそれぞれ受信した認識処理の結果における特徴物の画像に関する情報を平均化して生成した平均化ランドマーク画像を用いて、第一の格納部に記憶されているランドマーク情報におけるランドマーク画像を更新する。
本発明によれば、ランドマークの認識処理における負荷の低減を図りながら、車両の位置推定精度の向上を実現することができる。
本発明の実施例1による車両位置推定システムの構成の一例を示す機能ブロック図である。 本発明の実施例1の車両位置推定支援サーバが保持する道路地図データ群に格納されている情報の一例の説明図である。 本発明の実施例1の車両位置推定支援サーバが保持するランドマーク情報データ群のデータ構造の一例の説明図である。 本発明の実施例1の車両位置推定支援サーバや車載用制御装置が保持するランドマーク情報データ群におけるランドマーク画像の例の説明図である。 本発明の実施例1の車載用制御装置が保持するランドマーク情報データ群のデータ構造の一例の説明図である。 本発明の実施例1の車両走行制御システムにおいて実行される道路地図データ取得処理のフローを示す。 本発明の実施例1の車載用制御装置が送信する部分地図データ要求メッセージのフォーマットの一例の説明図である。 本発明の実施例1の車両走行制御システムにおいて実行されるランドマークデータ取得処理のフローを示す。 本発明の実施例1の車載用制御装置が送信するランドマークデータ要求メッセージのフォーマットの一例の説明図である。 本発明の実施例1の車両位置推定支援サーバが送信するランドマークデータメッセージのフォーマットの一例の説明図である。 本発明の実施例1の車載用制御装置において実行されるランドマーク認識処理のフローを示す。 本発明の実施例1の車載用制御装置において実行されるランドマーク認識対象選定処理(日中時)の一例の説明図である。 本発明の実施例1の車載用制御装置において実行されるランドマーク認識対象選定処理(夜間時)の一例の説明図である。 本発明の実施例1の車載用制御装置において実行される自車位置推定処理のフローを示す。 本発明の実施例1の車両走行制御システムにおいて実行されるランドマーク評価結果送信処理のフローを示す。 本発明の実施例1の走行制御装置が送信するランドマーク評価結果メッセージのフォーマットの一例の説明図である。 本発明の実施例2による車両位置推定システムの構成の一例を示す機能ブロック図である。 本発明の実施例2の車両走行制御システムにおいて実行される認識対象ランドマーク送信処理のフローを示す。 本発明の実施例2の車載用制御装置が送信する認識対象ランドマークメッセージのフォーマットの一例の説明図である。 本発明の実施例2の車両走行制御システムにおいて実行されるランドマーク認識処理のフローを示す。 本発明の実施例2のカメラ装置群が送信するランドマーク認識結果メッセージのフォーマットの一例の説明図である。
以下,図面を参照して,本発明の実施例について説明する。
図1は、本発明の実施例1による車両位置推定システムの構成の一例を示す機能ブロック図である。
図1に示すように、本実施例に係る車両位置推定システム1は、例えば、1台以上の車両2の位置推定を支援する車両位置推定システムであり、1台以上の車両2と、道路事業者が持っているバックエンドのシステム群などの道路インフラから無線通信で情報を車両2に提供するための1台以上の路側機3と、1台以上の車両2に車両2の位置推定を支援するための情報を提供する車両位置推定支援サーバ10と、1台以上の車両2と車両位置推定支援サーバ10とを通信可能に接続するネットワーク4と、1台以上の車両2と1台以上の路側機3とを通信可能に接続する近距離無線ネットワーク5と、を含んで構成される。
車両2は、車載用制御装置20と、無線通信装置30と、自車位置測位装置40と、カメラ装置群50と、センサ群60と、を有する。
車載用制御装置20は、例えば、車両2に搭載されたECU(Electronic Control Unit)等であり、処理部と、記憶部220と、通信部230と、を有する。なお、車載用制御装置20の形態に特に制限はなく、例えば、車両2の位置推定を行うための車両位置推定装置でもよいし、車両2の先進運転支援システム(ADAS:Advanced Driver Assistance Systems)を実現するための走行制御装置でもよいし、カメラ装置群50の撮影画像から周辺物体の検出を行う周辺物体検出処理装置でもよいし、車両2のユーザが車両ネットワークに接続したスマートフォン等の外部装置でもよい。
処理部は、例えば、CPU200(Central Processing Unit:中央演算処理装置)及びRAM(Random Access Memory)などのメモリ231などを含んで構成され、記憶部220に格納されている所定の動作プログラムを実行することで、車載用制御装置20の機能を実現する処理を行う。
記憶部220は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、ROM(Read Only Memory)などの記憶装置を含んで構成され、処理部が実行するプログラム、及び本システムの実現に必要なデータ群などが格納される。本実施例では、特に、車両2の周辺の道路地図データを取得する道路地図データ管理部201,車両2の走行経路上のランドマーク情報を取得するランドマークデータ管理部202,カメラ装置群50で撮影された画像データを取得するカメラ画像データ取得部203,取得した画像データ上にある所定のランドマークを認識すると共に相対距離等の各種パラメータを算出するランドマーク認識部204,認識対象のランドマークの認識結果を評価するランドマーク認識結果評価部205,自車位置測位装置40やランドマーク認識部204のランドマーク認識結果等に基づいて道路地図上の自車両の位置を推定する自車位置推定部206,道路地図上の自車両の位置の推定結果を評価する自車位置推定結果評価部207,ランドマーク認識や自車位置推定に対する評価結果をネットワーク4を介して車両位置推定支援サーバ10に送信するランドマーク評価結果送信部208,等のプログラム、及び、道路地図データ群221、自車情報データ群222、ランドマークデータ群223、ランドマーク認識データ群224、及び各種パラメータデータ群225、等が記憶部220に格納される。
通信部230は、例えば、Ethernet(登録商標)又はCAN(Controller Area Network)等の通信規格に準拠したネットワークカード等を含んで構成され、車両2に搭載された他の装置と各種プロトコルに基づきデータの送受信を行う。なお、通信部230と車両2に搭載された他の装置との間の接続形態は、Ethernetのような有線接続に限定されることはなく、Bluetooth(登録商標)や無線LAN(Local Area Network)などの近距離無線接続であってもよい。
無線通信装置30は、例えば、LTE(Long Term Evolution)等の長距離無線通信規格、あるいは無線LAN、DSRC(Dedicated Short Range Communications)等の近距離無線通信規格に準拠したネットワークカード等を有し、例えば、車両位置推定支援サーバ10、1台又は複数台の路側機4、1台又は複数台の他車両に搭載された無線通信装置30、1台又は複数台の人等が保有する通信端末(図示省略)等、とデータ通信が可能となるように構成される。
無線通信装置30は、車両位置推定支援サーバ10とネットワーク4を介してデータ通信を行う。無線通信装置30は、好ましくは、長距離無線通信を用いてネットワーク4に接続し、例えば、IP(Internet Protocol)系の各種プロトコルなどに基づいて生成されたデータの送受信を行う。なお、無線通信装置30は、長距離無線通信に限らず、近距離無線通信を用いてネットワーク4に直接接続しても良いし、路側機3等の他の通信装置を介してネットワーク4に接続しても良い。
一方、路側機3、他の車両2に搭載された無線通信装置、又は、人等が保有する通信端末との間では、無線通信装置30は、好ましくは、近距離無線ネットワーク5を介して直接データ通信する。これは、例えば、路車間/車車間通信システムを想定している。ただし、無線通信装置30は、近距離無線通信に限らず、長距離無線通信を用いてネットワーク4経由で、各種通信装置とデータ通信しても良い。また、無線通信装置30は、任意の長距離無線通信規格及び近距離無線通信規格の2つ以上の組み合わせに準拠するように構成されていても良い。
自車位置測位装置40は、車両2の地理的な位置を測位し、その情報を提供する装置であり、例えば、GNSS受信装置が相当する。自車位置測位装置40は、単純にGNSS衛星から受信する電波に基づいた測位結果を提供するように構成されていても良いし、車両2の移動速度及び進行方位角等、センサ群60から取得可能な情報を活用して位置補間及び誤差補正を行うように構成されていても良い。
なお、自車位置測位装置40は、車両2の地理的な位置を測位する装置であれば、GNSS受信装置以外の装置であってもよい。例えば、自車位置測位装置40は、路側機4から車両2が走行している道路を識別する情報及びその道路における車両2の位置を示す情報(例えばその道路の起点からの距離を示す情報)を取得し、それに基づいて車両2の地理的な位置を測位してもよい。また、自車位置測位装置40が取得する車両2の位置を示す情報は、典型的には、後述する緯度及び経度のような座標値であるが、車両2が走行している道路を特定するために使用できる情報であれば、上記以外の情報であってもよい。例えば、車両2の位置を示す情報は、車両2が走行している道路及びその道路上の位置を示す情報であってもよい。
カメラ装置群50は,車両2の外部を撮影できるように車両2に設置され,車両2の周辺状況を繰り返し撮影した画像データあるいは動画像データを,車載ネットワーク等を通じて,車載用制御装置20に提供できるように構成されている。なお,カメラ装置群50は,単眼カメラでも良いし,複数の撮影素子を搭載したステレオカメラでも良いし,単眼カメラとステレオカメラの任意の組合せでも良いし、カメラと他の処理を行うECUを統合したものでも良い。また,本発明の説明では撮影する方向として車両2の前方を想定しているが,側方や後方を撮影する形でも良い。
センサ群80は、車両2の各種部品の状態(例えば走行速度、操舵角、アクセルの操作量、ブレーキの操作量等)を検出している装置群であり、例えば、CAN等の車載ネットワーク上に、検出した状態量を定期的に出力している。走行制御装置20を含む車載ネットワークに接続された装置は、各種部品の状態量を取得することが可能となるように構成されている。
車載用制御装置20の道路地図データ群221は,例えば、道路のネットワーク構造、属性(道路の種別,制限速度,進行方向等)、形状(道路のレーン形状,交差点の形状等),及びランドマーク(道路標識,路面上のペイント等)等の情報を含むデジタル道路地図に関するデータの集合体である。対象とする道路地図のエリアに関する制限はなく,例えば,全世界の道路地図データを含んでいても良いし,欧州や米国等,特定の地域や国に関する道路地図データのみ含んでいても良いし,車両2の位置の周辺の局所的な道路地図データのみを含んでいても良い。なお,本明細書において、道路とは、車両が走行可能な道を意味し、公道に限ることはなく、私道を含んでも良いし、駐車場等施設内の走行路を含んでも良い。また,道路地図データ群221は、前記デジタル道路地図データに加え、道路沿いにある施設情報をさらに含んでいても良いし、後述するランドマークデータ群223等をさらに含んでいても良い。
車載用制御装置20の自車情報データ群222は,例えば、自車の位置情報や、センサ群60から車載ネットワーク経由で取得可能な自車の走行状態等を表す情報に関するデータの集合体である。なお、自車の位置情報とは、自車位置測位装置40により測位された自車の地理的な位置情報を示すデータや,自車位置推定部206の推定結果等,自車位置に関するデータを表す。
車載用制御装置20のランドマークデータ群223は,例えば,道路地図データ群221に含まれる各種ランドマークの詳細情報に関するデータの集合体である。
車載用制御装置20のランドマーク認識データ群224は,例えば,車載用制御装置20によってランドマーク情報を用いて各種処理を実行した結果等に関するデータの集合体である。
車載用制御装置20の各種パラメータデータ群225は,例えば,車両位置推定支援システム1に関する車載用制御装置20で用いるパラメータに関するデータの集合体である。
路側機3は、例えば、道路の側方又は上方に設置される装置であり、1つ又は複数の車両2の無線通信装置30と無線通信可能となるように構成されている。また、路側機4は、例えば、道路事業者又はその委託業者が管理する、道路管制センタや道路交通情報センタ等の道路ITインフラシステムに接続されている。例えば、路側機4は、道路管制センタ又は道路交通情報センタ等のセンタシステムと通信可能に構成されており、設置されている道路を走行中の1つ又は複数の車両2に対して該センタシステムから要求された情報を配信することが可能である。
例えば,路側機3は,設置された箇所の周辺道路に関する情報を配信するように構成され,ランドマーク情報を含む周辺道路に関する局所的な地図データ,周辺道路上の事故,渋滞等の道路イベント情報,設置された交差点の信号の状態や切替りのタイミングを示す情報,等を配信することが可能である。特に,路側機3が周辺道路に関するランドマーク情報を含む地図データを配信する場合は,路側機3の記憶部(非表示)には,例えば,配信対象の周辺道路に関する地図データである部分道路地図データ群311,該周辺道路上のランドマーク情報データ群312,等が格納されている。そして路側機3は,路側機3の記憶部に格納されているデータから所定のフォーマットに従い周辺道路に関する地図データを含むメッセージを生成し,1つ又は複数の車両2に対して所定の方式に従い送信する。これにより,該メッセージを受信した車両2は,車両位置推定支援サーバ10からでなくても,走行中の道路周辺の道路地図データ及びランドマーク情報を取得することが可能となる。
ネットワーク4は、無線および/または有線を媒体とする回線交換網又はパケット交換網の任意の組み合わせで構成される通信ネットワークである。ネットワーク4は、車両位置推定支援サーバ10と車両2に搭載された無線通信装置30とが相互にデータを送受信可能となるように構成されている。車載用制御装置20は、無線通信装置30を介して、ネットワーク4を経由して車両位置推定支援サーバ10と通信することができる。
近距離無線ネットワーク5は、無線LAN等の近距離無線を媒体とする回線交換網又はパケット交換網の任意の組み合わせで構成される通信ネットワークである。近距離無線ネットワーク5は、複数の車両2同士,あるいは車両2と路側機3が相互にデータを送受信可能となるように構成されている。車載用制御装置20は、無線通信装置30を介して、近距離無線ネットワーク5を経由して他の車両2や路側機3等と通信することができる。
車両位置推定支援サーバ10は、例えば、車両2の高精度な位置推定を支援するための1つのサーバ又は複数のサーバで構成されているシステム等であり、処理部と、記憶部120と、通信部130と、を有する。
処理部は、例えば、CPU100及びRAMなどのメモリ140を含んで構成され、記憶部120に格納されている所定の動作プログラムを実行することで、車両位置推定支援サーバ10の機能を実現する処理を行う。
記憶部120は、例えば、HDD、フラッシュメモリ、ROMなどの記憶装置を含んで構成され、処理部が実行するプログラム、及び本システムの実現に必要なデータ群などが格納される。本実施例では、特に、1つ以上の車両2から所定データを要求するメッセージを受信するデータ要求受信部101,1つ以上の車両2に対して該車両2が関連する道路地図データを送信する道路地図データ送信部102,1つ以上の車両2に対して該車両2が関連するランドマーク情報を送信するランドマークデータ送信部103,1つ以上の車両2から該車両2のランドマークに関する評価結果を受信するランドマーク評価結果受信部104,ランドマーク評価結果受信部104が受信した1つ以上のランドマーク認識に関する評価結果に基づいてランドマーク毎に認識評価値を算出するランドマーク毎認識評価値算出部105,ランドマーク評価結果受信部104が受信した1つ以上の位置推定に関する評価結果に基づいてランドマーク毎に位置推定の精度を算出するランドマーク毎位置推定評価算出部106,等のプログラム、及び、道路地図データ群121、ランドマークデータ群122、及び各種パラメータデータ群123、等が記憶部120に格納される。
通信部130は、例えば、Ethernetなどの有線LAN規格に準拠したネットワークカードなどを含んで構成される。通信部130は、ネットワーク4にアクセスして、例えば、IP系の各種プロトコルなどに基づいて生成されたデータの送受信を行う。なお、通信部130のネットワーク4への接続形態は、Ethernetのような有線接続に限定されることはなく、無線LANなどの近距離無線接続であってもよいし、携帯電話の通信システムのような長距離無線接続であってもよい。
車両位置推定支援サーバ10の道路地図データ群121は,車載用制御装置20の記憶部220に記憶される道路地図データ群221と同様に、例えば、道路のネットワーク構造、属性(道路の種別,制限速度,進行方向等)、形状(道路のレーン形状,交差点の形状等),及びランドマーク(道路標識,路面上のペイント等)等の情報を含むデジタル道路地図に関するデータの集合体である。
車両位置推定支援サーバ10のランドマークデータ群122は,例えば、道路地図データ群121に含まれる各種ランドマークの詳細情報に関するデータの集合体である。
車両位置推定支援サーバ10の各種パラメータデータ群123は,例えば,車両位置推定支援システム1に関する車両位置推定支援サーバ10で用いるパラメータに関するデータの集合体である。
図2は、本発明の実施例1の車両位置推定支援サーバ10が保持する道路地図データ群121に格納されている情報の一例の説明図である。具体的には、図2は、道路網の一部を抽出し、一例として模擬的に図示したものである。図2の左部分の道路地図7000は,道路網を実線で表したものであり,図2の右部分の詳細道路地図7050,7051はその一部を抽出して道路の形状やランドマーク位置を詳細化したものである。
道路地図データ群121において、道路は、区間道路を表現する道路リンク及び区間道路の端点を表すノードの集合で構成される。ノードは,例えば,複数の道路が交差する交差点や,形状・構造が変化する地点,属性が変化する地点,等に配置される。各ノードは、ノードIDと呼ばれる識別子を持つ。図2では、ノードの例としてノードID7001〜7004を示してある。以下、ノードIDの値を、そのノードIDによって識別されるノードの参照符号としても用いる。例えば、ノードID7001によって識別されるノードを単にノード7001とも記載する。
一方、道路リンクは、例えば、本明細書ではノードIDのペアで表現される。すなわち、ノード7001とノード7002の間の区間道路の道路リンクのIDは(7001、7002)で表現される。本明細書では、道路リンクは進行方向を区別して表現し、道路リンク(7001、7002)はノード7000からノード7001に進行する区間走行道路を、道路リンク(7002、7001)はノード7002からノード7001に進行する区間走行道路を、それぞれ表すものとする。なお、道路リンクの表現方法はこれに限ることはなく、例えば、道路リンク(7001、7002)はノード7001とノード7002の間の双方向を含む区間道路を表し、進行方向を表すデータとの組合せで区間走行道路を表現しても良いし,道路リンクに重複のないID(リンクID)を割り当てて表現しても良い。
自車位置7500は,道路地図データ群121には通常含まれないが,後述の説明時に用いるため,便宜上図中に表記している。
詳細道路地図7050,7051において,7060及び7061は,それぞれ本明細書における座標系を表現している。交差点を表現するような詳細道路地図7050では,例えば,交差点の中心点である7200を原点とし,図の右方向(東方向)をx軸,図の上方向(北方向)をy軸,高さ方向をz軸とする。一方,交差点間をつなぐ道路を表現するような詳細道路地図7051では,例えば,着目している道路リンクの開始点(即ち,ノード)を原点とし,道路リンクの進行方向に沿ってy軸を,該当する道路リンクの路線(7080及び7081)の左端(右側車線の場合は右端)から道路の中心方向に向かってx軸を,高さ方向にz軸を取る。なお,詳細道路上の位置の表現方法はこれに限ることはない。
詳細道路地図7050,7051において,7100〜7142は,道路上の標識や信号等の物体及び路面上のペイントに関する情報である。本明細書では,このような道路地図上での位置が判明している特徴的な物体やペイントの情報のことを,ランドマーク情報と呼ぶこととする。なお,図2の例においては,道路交通に関するランドマーク情報しか記載していないが,それに限定されることはなく,例えば,道路近辺の特徴的な建造物等をランドマーク情報として扱っても良い。
道路地図データ群121のデータ構造は、例えばいわゆる車載ナビゲーション装置に採用されているもの等、公知のものを含む任意の構造であってよいため、これに関する説明は省略する。
ランドマーク情報データ群112のデータ構造の一例を、図3を用いて説明する。図3は、図2の道路網上のランドマークに関する情報の一部を表現したものである。
ランドマークID351は,ランドマークを識別するための識別子(ID)である。以下の説明において、ランドマークID351の値を、その値によって識別されるランドマークの参照符号として使用する場合がある。例えば、ランドマークID351の値「7100」によって識別されるランドマークを、ランドマーク7100と記載する場合がある。
ランドマーク種別352は,該ランドマークの種別を表す。例えば,進入禁止や速度制限等の標識,レーンの右左折・直進を表す路面上のペイント,信号機,等である。
関連道路353は,該ランドマークが存在する道路リンクかつ/又は路線(レーン),あるいは道路ノードを表し,例えば,該当する道路オブジェクトのIDが格納される。
位置情報354は,関連道路353に示す道路における該ランドマークの位置を表す。各ランドマークは所定のルールに従ってその位置を表す参照点(例えば,ランドマーク形状の中心点)が定められているものとし,前記位置情報354が示す位置はその参照点の位置を表すものとする。図3には記載していないが,参照点と共に,ランドマークの形状を現すデータを付加しても良く,それによりランドマークの道路地図データ上の3次元空間位置をより正確に表現することが可能である。なお,位置情報354の例として,3次元位置を用いているが,水平面での位置を表現した2次元位置でも良い。
環境355は,車両2の周辺環境を表す情報が格納され,356〜359がその環境下におけるデータであることを示す。図3では,一例として「日中」「夜間」という車両2周辺の明るさに関する軸で分類しているが,それに限定することはなく,例えば,「雨」「雪」「霧」等の天候情報や,輝度・降雨量・視界等の定量値の範囲(例えば,1時間辺りの降雨量0mm〜50mm、50mm〜100mm等)を分類の軸としても良いし,それらの任意の組合せ(例えば,輝度と視界の組合せ)を軸にして分類しても良い。
認識対象範囲356は,環境355が示す環境下において該ランドマークを認識可能と考えられる道路上の位置範囲を表す。例えば,「(7001,7002)[70,100]」とは,道路リンク(7001,7002)においてノード7001からノード7002に向かって70m〜100mの位置範囲において,該ランドマーク情報を認識可能と考えられるということを表している。
ランドマーク画像357は,環境355かつ認識対象範囲356が示す条件下において,車両2に搭載されたカメラで認識できるランドマークの画像に関するデータが格納される。これは,前記条件下において実際に撮影されたランドマーク画像そのものでも良いし,そのランドマーク画像から抽出した特徴量を表すデータ(例えば,画像認識においてパターンマッチングに用いる特徴点画像)でも良い。
認識評価値358には,環境355かつ認識対象範囲356が示す条件下におけるランドマーク画像357の認識に関する評価値が格納されている。認識に関する評価値とは、ランドマーク認識の対象としての好ましさを定量化して表現するものであり、例えば、ランドマーク認識の成功率が一例として挙げられる。
位置推定評価値359には、環境355かつ認識対象範囲356が示す条件下におけるランドマーク画像357の認識結果を用いた位置推定に関する評価値が格納されている。位置推定に関する評価値とは、ランドマーク認識結果に基づいた位置推定の結果の好ましさを定量化して表現するものであり、例えば、位置推定の精度が一例として挙げられる。図3では、位置推定精度のレベルに従いA(例えば、誤差1m以内)、B(例えば、誤差1m〜3m)、C(例えば、誤差3m〜10m)、D(例えば、誤差10m以上)、E(例えば、不明)の5段階で表しているものとする。
図4は、本発明の実施例1の車両位置推定支援サーバ10が保持するランドマークデータ群122のランドマーク画像357の例の説明図である。具体的には、図4は、図2のランドマーク7100,7110,7111のランドマーク画像例を表現したものであり,それぞれ図3における画像8100−1,画像8100−2,画像8110−1,画像8111−1に該当する。なお,図4では,ランドマーク画像の一例として,ランドマークのエッジ部分(輪郭部分)を抽出した画像を用いているが,該ランドマークの撮影画像でも良いし,所定の方式で特徴点を抽出した画像でも良い。
画像8100−1及び画像8100−2は,同一のランドマーク7100に対するランドマーク画像である。ところが,道路リンク(7001,7002)と道路リンク(7002,7003)で道路の進行方位が異なるため,同一のランドマークであっても見え方が異なってくる。道路リンク(7002,7003)では,ランドマーク7100に対して正面方向に車両2が走行するため,車両2のカメラ装置群50で認識できるのは画像8100−2のような円形のランドマーク画像となる。一方,道路リンク(7001,7002)ではランドマーク7100に対して斜め方向に車両2が走行するため,車両2のカメラ装置群50で認識できるのは画像8100−1のような横につぶれた楕円形のランドマーク画像となる。このように,ランドマークに対する車両2の走行方位(水平方向だけでなく,坂道のように垂直方向も含む)に応じて,車両2のカメラ装置群50で認識できる該ランドマークの形状が変化する。そのため,図3におけるランドマーク7100のように,ランドマークの見え方が場所に応じて変化する場合は,認識対象範囲356を複数に分けて定義して,それぞれの位置範囲において認識し易いランドマークの形状を反映したランドマーク画像357を指定することが望ましい。なお,ここでは,認識対象範囲に応じて異なるランドマーク画像357を指定する場合を例示したが,環境355の違いによりランドマークの見え方が異なる場合でも同様である。
画像8110−1及び画像8111−1は、道路面上にペイントされているランドマーク7110及び7111に対するランドマーク画像である。この例では、画像8110−1は該ランドマークの規定形状を保っているのに対し、画像8111−1では規定形状から一部分欠落している。これは、例えば、実際の路面上のペイントの該当部分が擦れて薄くなり、ペイント部分として認識できなくなっていることを表している。ランドマークは、設置当初の状態を保持しているとは限らず、この例のように擦れたり、汚れが付着したり、変形したりすることにより、車載カメラから認識できるランドマークの特徴が、規定のランドマークのものとは異なることが多い。
本実施例では、車両位置推定支援サーバ10は、実際に車両2のカメラ装置群50で撮影された該ランドマークの画像、あるいはそのランドマーク画像を収集し、それらに基づいて、各々のランドマーク画像を生成しているため、実際のランドマークの状態を反映したランドマーク画像を提供することが可能である。そのため、規定形状のランドマーク画像を用いてランドマーク認識する場合と比較して、認識率を高めることができる。
車両2のランドマーク情報データ群213のデータ構造の一例を、図5を用いて説明する。図5は、車両2が図2の7500の位置を上方に走行中の際、ランドマーク情報データ群213に含まれる情報の例を表現したものである。
データ項目371〜379は、それぞれ車両位置推定支援サーバ10のランドマークデータ群122の351〜359と同様である。
車両2のランドマーク情報データ群213は、図5では、車両2の推定走行経路上のランドマーク情報を含んでいる。例えば、車両2が位置7500から道なりに沿って直進すると推定される場合、関係のあるランドマーク情報は、ランドマーク7100、7101、7110、7111、7120,7130、7140等が該当する。車両位置推定支援サーバ10のランドマークデータ群122では、例えば、ノード7004(交差点7004)の信号機7140〜7143に関するデータを全て含むが、図2の下方から情報に走行する車両2にとって関係のある信号機は7140のみと考えられる。そのため、図5の車両2のランドマーク情報データ群213には、信号機7140のみが含まれている。また、車両2の実環境に応じて、ランドマーク情報データ群213に格納するランドマーク情報を限定しても良く、例えば、図5では、車両2が日中に走行中であるため、環境375が日中の情報のみを格納する形を取っている。
また、車両2に関係のあるランドマーク情報から、さらに不要と考えられるものを除外してもよい。例えば、図3の車両位置推定支援サーバ10のランドマークデータ群122では、関係のあるランドマーク情報の一つとして停止線7120が含まれているが、認識評価値が低い(例えば、所定値よりも低い)ため、車両位置推定支援サーバ10からの配信対象から除外することも可能である。そのため、図5の例では、車両2のランドマーク情報データ群213に停止線7120のランドマーク情報は含まれていない。
ただし、ランドマーク情報データ群213に格納されているランドマーク情報は、上記の形式に制限されない。例えば、車両位置推定支援サーバ10のランドマークデータ群122のように、車両2周辺のランドマーク情報を全て含んでも良いし、ある地域・国のランドマーク情報を全て含んでも良い。
続いて,車両位置推定システム1の動作について説明する。
車両位置推定システム1における車載用制御装置20は、主要な処理として、車両2の周辺の道路地図データを取得する道路地図データ取得処理と、車両2の推定走行経路上のランドマークデータを取得するランドマークデータ取得処理と、取得した前記ランドマークデータを用いて車載カメラの画像中のランドマークを認識するランドマーク認識処理と、道路地図上における自車位置を推定する自車位置推定処理と、ランドマーク認識に関する評価結果を車両位置推定支援サーバ2に送信する評価結果送信処理と、を実行する。それぞれの処理について順番に説明していく。
図6は、本発明の実施例1の車両位置推定システム1において実行される道路地図データ処理のフロー400を示す。
車載用制御装置20の道路地図データ管理部201は、まず、所定時間待機後(ステップ(S)401)、自車情報データ群222から自車情報を取得する(ステップ402)。ここでの所定時間待機とは,道路地図データ取得のトリガーがかかるまでの時間を待機することである。道路地図データ取得のトリガーは,一定時間毎に実施されるようにタイマーでかけても良いし,道路地図データの更新の必要性を検知してオンデマンドにかけても良い。ステップ402で取得する自車情報は、例えば、車両2の位置情報や走行情報を含む。車両2の位置情報とは、自車位置測位装置40から取得されるような緯度・経度の情報でもよいし、車両2が存在する道路リンク等の道路地図上の位置情報でもよく、道路地図上の大まかな位置がわかれば良い。車両2の走行情報とは、例えば、進行方位あるいは道路上の進行方向等である。
次にステップ403で、新たに部分地図データを取得する必要があるかを、ステップ402で取得した自車情報を用いて確認する。道路地図データは、一般的に、パーセルという単位に分割して管理されている。パーセルとは、例えば、ある地域を2次メッシュで分割したときの1区画分(例えば、2.5km四方)である。ステップ403では、例えば、パーセル単位で部分地図データを取得する。その場合は、ステップ402で取得した車両2の位置情報や走行情報から、車両2のパーセル位置及び異なるパーセルへの移動の可能性を予測し、近い将来を含めて必要となるパーセル群を車載用制御装置20が保持しているかどうかを確認する。もしも、車載用制御装置20が必要なパーセル群をすべて保持していた場合は、ステップ401に戻る。一方、ステップ403で必要なパーセル群が欠けていた場合は、ステップ404に進む。
ステップ404で、道路地図データ管理部201は、ステップ403で特定した部分地図データの不足情報に基づいて、部分地図データ要求メッセージ411を生成し、生成したメッセージを車両位置推定支援サーバ10に送信する。
図7は、本発明の実施例1の車載用制御装置20が送信する部分地図データ要求メッセージ411のフォーマット450の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
部分地図データ要求メッセージ411は、車両ID451、部分地図データIDのリスト452−1〜452−n、要求属性453、等を含む。なお、上記の各種情報は、図示された部分地図データ要求メッセージフォーマット450のように1つのメッセージとして送信されても良いし、任意の複数個のメッセージに分割されて送信されても良い。
車両ID451は、車両2の識別子であり、車両位置推定支援サーバ10で車両2をユニークに特定するためのものである。部分地図データID452は、ステップ403で特定した取得必要性のある部分地図データを示す識別子である。例えば、部分地図データをパーセル単位で取得する場合は、パーセルIDが該当する。要求属性453は、例えば、取得したい部分地図データに関する属性情報であり、取得する地図属性の指定等に用いる。
道路地図データ取得処理フロー400の説明に戻る(図6)。車両位置推定支援サーバ10のデータ要求受信部101は、ステップ404で車載用制御装置20の道路地図データ管理部201から送信された部分地図データ要求メッセージ411を、ネットワーク4経由で受信する(ステップ421)。なお、図には記載していないが、データ要求受信部101は、部分地図データ要求メッセージ411を受信すると、そのフォーマット450に従って各種データを解析、抽出する。
次にステップ422で、道路地図データ送信部102が、ステップ421で抽出された部分地図データID452に基づいて、道路地図データ群121から該当部分地図データを取得する。そして、道路地図データ送信部102は、取得した部分地図データに基づいて、部分地図データメッセージ412を生成し、生成したメッセージを部分地図データ要求メッセージの送信元である車両2の車載用制御装置20に送信する(ステップ423)。部分地図データメッセージ412は、部分地図データ要求メッセージ411の要求属性453等に従い、取得した部分地図データから必要な情報を抽出して構成され、例えば、該当地図エリアにおける道路のネットワーク構造、属性、形状、ランドマーク等の情報が含まれる。
車載用制御装置20の道路地図データ管理部201は、ステップ405で部分地図データメッセージ412を受信すると(上記のステップ421と同様、メッセージ中の各種データの解析・抽出を含むものとする)、ステップ406で道路地図データ群221に対して受信した部分地図データを格納する。
以上によって道路地図データ取得処理フロー400の1サイクルが終了し、再びステップ401に戻り、繰り返し同様の処理が実行される。
このように、道路地図データ管理部201は、車両2の位置や走行状態に従い必要な部分地図データを取得し、道路地図データ群221を管理する。なお、図には記載していないが、道路地図データ管理部201は、道路地図データ群221において不要となった部分道路地図データを削除する役割も担う。これは、部分地図データ取得と同様に、車両2の位置や走行状態に従い、所定の地図エリアを保持不要であるかどうかを判断し、不要と判断した場合に該当部分地図データを道路地図データ群221から削除する。これにより、道路地図データ群221により消費する記憶部220の領域を一定量に抑えることが可能となる。
また、本実施例では、車両位置推定支援サーバ10から部分道路地図データを取得しているが、部分道路地図データの取得先はそれに限らず、路側機3から配信される部分道路地図データ311を無線通信装置30経由で取得し道路地図データ群221に反映しても良いし、車両2の車載ネットワークに接続されたナビゲーション装置等の経路探索装置(図示省略)やスマートフォン(図示省略)等の道路地図データを保有している装置から取得する形でも良い。
図8は、本発明の実施例1の車載用制御装置20が実行するランドマークデータ取得処理のフロー500を示す。
車載用制御装置20のランドマークデータ管理部202は、まず、所定時間待機後(ステップ501)、自車情報データ群222から自車情報を取得する(ステップ502)。ここでの所定時間待機とは、ランドマーク情報取得のトリガーがかかるまでの時間を待機することである。ステップ502で取得する自車情報は、例えば、車両2の位置情報、走行情報、経路情報等、車両2の走行経路を推定するための情報である。車両2の経路情報とは、例えば、車両2の車載ネットワークに接続されたナビゲーション装置やスマートフォン等の経路探索装置(図示省略)から取得される情報である。
次にランドマークデータ管理部202は、ステップ502で取得した車両情報に基づき、走行経路を推定する(ステップ503)。走行経路は、前記の車両2の経路情報等を用いて推定しても良いし、それが利用不可の場合は、現在の走行道路を道なりに沿って走行するとの仮定に基づいて走行経路を推定しても良い。また、走行経路は一つである必要はなく、走行する可能性の高い経路を複数抽出して走行経路としても良いし、ある一定の走行距離範囲において到達可能な全ての経路を走行経路としても良い。
ランドマークデータ管理部202は、ステップ503で推定した走行経路と取得済のランドマークデータの道路範囲を比較し、取得すべきランドマークデータの道路範囲を決定する。(ステップ504)。ここで、ランドマークデータの道路範囲とは、例えば、道路地図データにおける道路リンクやその集合体を単位とするものである。その場合、前記取得済のランドマークデータの道路範囲とは、すでに車両位置推定支援サーバ10からランドマークデータを取得済の道路リンクの集合体を表しており、ステップ503で推定した走行経路において所定の条件を満たす道路リンク(例えば、ある一定の走行距離範囲の道路リンク)の集合体の中で、前記取得済のランドマークデータの道路範囲に含まれていないものが、取得すべきランドマークデータの道路範囲となる。また、ランドマークデータの道路範囲は、例えば、道路地図データを2次メッシュ等によりエリア分割した場合のエリア区画あるいはその集合体を単位としても良い。その場合、前記取得済のランドマークデータの道路範囲とは、すでに車両位置推定支援サーバ10からランドマークデータを取得済のエリア区画の集合体を表しており、ステップ503で推定した走行経路において所定の条件を満たす道路リンクが載っているエリア区画の集合体の中で、前記取得済のランドマークデータの道路範囲に含まれていないものが、取得すべきランドマークデータの道路範囲となる。
ステップ504で決定したランドマークデータ取得範囲が空集合であった場合、ランドマークデータ管理部202は、新たにランドマーク情報を取得する必要がないので、ステップ501に戻る(ステップ505でNo)。一方、ランドマークデータ取得範囲が存在する場合は、ランドマークデータ管理部202は、ステップ506に進む(ステップ505でYes)。
ランドマークデータ管理部202は、ステップ504で決定したランドマークデータ取得範囲に基づいてランドマークデータ要求メッセージ511を生成し、生成したメッセージを車両位置推定支援サーバ10に送信する(ステップ506)。
図9は、本発明の実施例1の車載用制御装置20が送信するランドマークデータ要求メッセージ511のフォーマット550の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
ランドマークデータ要求メッセージ511は、車両ID551、ランドマークデータ道路範囲情報552、要求属性553、等を含む。上記の各種情報は、図示されたランドマークデータ要求メッセージフォーマット550のように1つのメッセージとして送信されても良いし、任意の複数個のメッセージに分割されて送信されても良い。
車両ID551は、車両2の識別子であり、車両位置推定支援サーバ10で車両2をユニークに特定するためのものである。ランドマークデータ道路範囲情報552は、車載用制御装置20がステップ504で特定した、ランドマークデータを取得する必要のある道路範囲に該当する。例えば、ランドマークデータ道路範囲が道路リンクの集合体で表現される場合、ランドマークデータ道路範囲情報552は、1つ以上の道路リンクID(581−1〜581−n)が含まれる。一方、ランドマークデータ道路範囲が道路エリアの集合体で表現される場合は、ランドマークデータ道路範囲情報552は、1つ以上の道路エリアIDが含まれることになる。要求属性553は、取得したいランドマークデータに関する属性情報である。例えば、取得対象とするランドマーク種別(標識、信号機、ペイント、建造物等)のリスト(591−1〜591−m)を含めてもよい。また、例えば、要求属性に、環境条件(明るさ、天候等)や認識評価値等を付加することにより、図3における特定の環境355や認識評価値358等に関するランドマーク情報のみを指定できるようになっていても良いし、取得ランドマーク数の上限値を付加して、認識評価値358等の所定の優先度の軸に従い対象のランドマークを選定しても良い。
ランドマークデータ取得処理フロー500の説明に戻る(図8)。車両位置推定支援サーバ10のデータ要求受信部101は、ステップ521で車載用制御装置20から送信されたランドマークデータ要求メッセージ511を、ネットワーク4経由で受信する。なお、図には記載していないが、データ要求受信部101は、ランドマークデータ要求メッセージ511を受信すると、そのフォーマット550に従って各種データを解析、抽出する。
次にステップ522で、ランドマークデータ送信部103が、ステップ521で抽出されたランドマークデータ道路範囲情報552及び要求属性553に基づいて、ランドマークデータ群122から該当ランドマークデータを取得する。そして、ランドマークデータ送信部103は、取得したランドマークデータに基づいて、ランドマークデータメッセージ512を生成し、生成したメッセージをランドマークデータ要求メッセージ511の送信元である車両2の車載用制御装置20に送信する(ステップ523)。
図10は、本発明の実施例1の車両位置推定支援サーバ10が送信するランドマークデータメッセージ512のフォーマット600の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
ランドマークデータメッセージ512は、ランドマーク情報601、位置推定関連情報602、等を含む。上記の各種情報は、図示されたランドマークデータメッセージフォーマット600のように1つのメッセージとして送信されても良いし、任意の複数個のメッセージに分割されて送信されても良い。
ランドマーク情報601は、車載用制御装置20のランドマークデータ要求に従い抽出されたランドマークデータ611の集合体(611−1〜611−n)である。ランドマークデータ611には、例えば、ランドマークID651、ランドマーク種別652、絶対位置653、地図位置654、認識関連情報655、等を含む。
ランドマークID651は、ランドマークの識別子である。ランドマークID651は、例えば、道路地図データ群221に含まれるランドマーク情報や該ランドマークに対する認識結果等、その他の情報と関連付けるために用いられる。
ランドマーク種別652は、標識、信号、停止線等、ランドマークの種別を認識するための識別子であり、ランドマークデータ群122のランドマーク種別352に該当する。
絶対位置653は、緯度、経度、高度等のグローバル座標系で表現されるランドマークの位置情報である。それに対し地図位置654は、該ランドマークが存在する道路リンクもしくは道路ノード等の道路オブジェクトの識別子と該道路オブジェクト内での位置を表し、ランドマークデータ群122の関連道路353と位置情報354に該当する。
認識関連情報655は、該ランドマークの認識に関連するデータであり、1つ以上のデータエントリで構成される。認識関連情報655のデータエントリは、環境属性661、認識可能範囲662、ランドマーク画像663、認識評価値664、位置推定評価値665,等を含み、それぞれランドマークデータ群122の環境355、認識対象範囲356、ランドマーク画像357、認識評価値358,位置推定評価値359,に該当する。
ランドマークデータ取得処理フロー500の説明に戻る(図8)。車載用制御装置20のランドマークデータ管理部202は、ステップ507で車両位置推定支援サーバ10から送信されたランドマークデータメッセージ512を、ネットワーク4経由で受信し(上記のステップ521と同様、メッセージ中の各種データの解析・抽出を含むものとする)、ステップ508でランドマークデータ群223に対して受信したランドマークデータを格納する。
以上によってランドマークデータ取得処理フロー500の1サイクルが終了し、再びステップ501に戻り、繰り返し同様の処理が実行される。
このように、ランドマークデータ管理部202は、車両2の位置、走行状態、経路情報等に基づいて、近い将来必要となるランドマークデータを車両位置推定支援サーバ10から取得し、ランドマークデータ群223を管理する。なお、図には記載していないが、ランドマークデータ管理部202は、ランドマークデータ群223において不要となったランドマークデータを削除する役割も担う。これは、ランドマークデータ取得と同様に、車両2の位置や走行状態、経路情報に従い、所定のランドマークデータを保持不要であるかどうかを判断し、不要と判断した場合にランドマークデータをランドマークデータ群223から削除する。これにより、ランドマークデータ群223により消費する記憶部220の領域を一定量に抑えることが可能となる。
図11は、本発明の実施例1の車載用制御装置20が実行するランドマーク認識処理のフロー700を示す。
車載用制御装置20のランドマーク認識部204は、まず、所定時間待機後(ステップ701)、自車情報データ群222から自車の走行位置情報を取得する(ステップ702)。ステップ702で取得する走行位置情報とは、車両2が走行している道路地図上の位置を表す情報であり、例えば、走行している道路リンクID、該道路リンク上の車両2のオフセット位置である。走行位置情報は、後述する自車位置推定処理フロー800により特定され、自車情報データ群222に格納される。ただし、例えば、自車位置測位装置40がGNSS衛星を見つけられない等により、走行位置が特定されていない場合もあり、その場合はステップ701に戻る(ステップ703でNo)。走行位置が正常に特定されている場合は、次のステップ704に進む(ステップ703でYes)。
次に、ランドマーク認識部204は、ステップ702で特定した走行位置やその他の自車情報(走行情報、経路情報等)から、車両2の走行経路を推定する(ステップ704)。走行経路の推定は、ランドマークデータ取得処理フロー500のステップ503と同等の処理である。ただし、ランドマークデータ取得処理フロー500は、これから走行する可能性のある道路上のランドマークデータをランドマークデータ群223に事前に格納することが目的であるため、ある程度広範囲を対象とする必要があるが、本処理フローでは車両2の走行周辺に存在するランドマークを抽出することが目的であるため、比較的短い距離範囲(例えば、数100m程度)の走行経路推定でも十分である。
さらに、ランドマーク認識部204は、ステップ705で、走行中の環境を判断する処理を行う。具体的には、周辺の明るさや天候等を認識する。周辺の明るさは、例えば、カメラ装置群50より取得された画像データの輝度を解析して判断しても良いし、車両2のライト装置の状態(センサ群60から取得可能)で判断しても良いし、車載用制御装置20の内蔵時計あるいは外部から取得される日時情報から判断しても良いし、それらの任意の組合せにより判断しても良い。また、周辺の天候は、例えば、カメラ装置群50より取得された画像データを解析して前方物体の距離とその見え方の関係で視界の悪さを判断しても良いし、車両2のワイパー装置の状態(センサ群60から取得可能)で雨・雪の状態を判断しても良いし、路側機3や局所天候情報を配信する他システム(図示省略)から取得した周辺天候情報に基づいて判断しても良いし、それらの任意の組合せにより判断しても良い。
そして、ランドマーク認識部204は、ステップ704で推定した走行経路とステップ705で判断した環境情報に基づいて、車両2のカメラ装置群50で認識可能もしくは近い将来に認識可能になるであろうと想定されるランドマークのリストをランドマークデータ群223から抽出する(ステップ706)。
ステップ706で抽出されたランドマークデータのリストには、推定走行経路上に存在するすべてのランドマークが含まれている可能性があることに注意いただきたい。車載用制御装置20は、一般的に、車両の過酷な環境下において信頼性高く動作することが要求されるため、装置の性能(CPU性能、メモリ性能等)は汎用品に比べて低いものが用いられる。ランドマーク認識は、例えば、カメラ画像に対してランドマークの想定画像(テンプレート)とパターンマッチングさせることにより実現される。この処理は必要となる計算量が多く、さらに画像データの大きさや認識対象のランドマーク数(テンプレート数)が増えるほど処理負荷が上昇する。そのため、車載用制御装置20の性能では、走行経路上のすべてのランドマークの認識処理を実行することは難しく、認識対象とするランドマークを取捨選択する必要がある。
そこで、ランドマーク認識部204は、ランドマーク認識処理を行う前に、認識対象とするランドマークを選定する処理を行う(ステップ707)。
図12及び図13は、本発明の実施例1の車載用制御装置20が実行するランドマーク認識対象選定処理707の一例を模式的に表したものである。図12は日中における認識対象選定処理707、図13は夜間における認識対象選定処理707の例である。
図の上部の右方向の軸は推定走行経路7600を1次元表示しているものである。推定走行経路7600の軸上に、道路ノード7001〜7004及び車両2の位置7500が配置されている(図2の環境に対応)。車両2は走行経路7600の軸において右側の方向に進んでおり、各道路ノードまでの相対距離を記載している。例えば、道路ノード7002までの距離は30mである。
図の左側には、推定走行経路7600上に存在する各ランドマークのランドマーク画像)が縦方向に並んでおり、各ランドマーク画像の右側に該ランドマーク画像が適用される認識可能範囲及び認識評価値と推定走行経路との関係を表している。例えば、図12においてランドマーク7100のランドマーク画像8100−1が適用されるのは、道路ノード7002から30m手前地点から道路7002の間となる。これは、図5においてランドマーク7100のランドマーク画像8100−1の認識対象範囲が道路リンク(7001、7002)のオフセット70m〜100mの位置であり、道路リンク(7001、7002)が100m(非記載であるが、道路地図データ221を参照することによりわかるものとする)であるである。図12及び図13における各ランドマーク画像の認識可能範囲及び認識評価値は、[x,y](w):zという形で表現されている。x及びyは、認識可能範囲の開始地点及び終了地点に対する車両2の位置からの相対距離である。zは、該当ランドマーク画像の認識評価値である。wは、道路リンク上で該ランドマーク画像を認識できる条件(認識可能条件)を表す。例えば、ランドマーク画像8110−1には「(レーン1)」という表記があるが、これはランドマーク画像8110−1がレーン1上を走行中にのみ認識できることを意味している。
図の下部には、ランドマーク認識対象選定処理707により選定された認識対象ランドマークを表している。図12及び図13の例では、認識対象ランドマークの数は1つとしているが、2つ以上選択しても良い。
まず、図12を用いてランドマーク認識対象の選定方法を説明する。目的はランドマーク認識の成功率を向上させることであるため、認識評価値が高いランドマークを優先して選択する。自車位置7500から0〜30m及び30〜60mにおいては、ランドマーク画像8100−1及び8100−2しか候補がないため、それらを認識対象ランドマークとして選定する。一方、自車位置7500から180〜270mにおいては、複数のランドマーク画像が重複している。そのため、認識評価値が高いランドマーク画像を優先して選択し、例えば、160〜210mではランドマーク画像8101−1(認識評価値90>ランドマーク画像8140−1の認識評価値30)、250〜270mではランドマーク画像8130−1(認識評価値60>ランドマーク画像8140−1の認識評価値30)をそれぞれ選択する。
一方、自車位置7500から230〜250mでは、ランドマーク画像8110−1と8111−1に「(レーン1)」と「(レーン2)」という認識可能条件が設定されており、それぞれ排他的な関係にあるため、認識評価値が最も高いランドマーク画像8110−1のみを選択するということはせず、ランドマーク画像8110−1及び8111−1の両方を認識対象ランドマークとする。ただし、車載用制御装置20の処理性能の問題で1つのランドマークに対してのみ認識処理が可能な場合は、後述のランドマーク認識処理内において走行状態に応じて選択する。例えば、車両2のレーン位置を特定できているあるいは推定可能(例えば、ウィンカー情報等を用いる等により)な場合は、該レーンで認識できるランドマーク画像を選択する。レーン位置を全く推定できない場合は、認識評価値が高い方を選択する等、所定の方式に従い片方のランドマーク画像を選択することになる。
また、認識評価値が所定値よりも低い場合、たとえ他に選択する候補がない場合でも、認識対象のランドマークから外すようにすることも可能である。図12では、自車位置7500から210〜230mでは、ランドマーク画像8140−1のみが認識対象候補となるが、認識評価値が30と低いため、敢えて認識対象ランドマークに含めることを避けている。これにより、ランドマークの認識ミスや誤認識による位置推定処理に対する悪影響を防止することが可能となる。
図13の夜間時の処理も同様である。ただし、夜間時にはランドマークデータ群223には環境条件が夜間の場合のランドマークデータを取得するため、候補となるランドマークやそのランドマーク画像、さらには認識対象範囲や評価値が変わってくる。そのため、同一の推定走行経路であっても、認識対象とするランドマークは日中時と比較して変化する可能性がある。
まず、図13では、図12の8100−1に該当するランドマーク画像がない。これは、夜間は暗いため、車両2から比較的遠方のランドマークを認識することができなくなるためである。次に、車両位置7500から160〜270mのランドマーク画像候補の認識評価値を見ると、図12と逆転していることがわかる。信号機のランドマーク画像8140−2は、認識評価値が90に上昇しているのに対し、他のランドマークのランドマーク画像の認識評価値は15〜50と低迷している。これも、周囲が暗いためランドマークを認識することが困難であるためである。それに対し、信号機は光を発しているため、夜間では遠方から見えやすくなる。このように、車両2が走行している環境条件に応じて、認識し易いランドマークが変わってくる。また、見え方も変わってくるため、ランドマーク認識に用いる各ランドマーク画像も変える必要がある。例えば、信号機7140のランドマーク画像は、日中は信号機の形状が特徴となる(8140−1)のに対し、夜間では信号機の光部分が特徴となっている(8140−2)。なお、他のランドマーク画像では明確に表現されていないが、夜間時はライト照射した時のランドマークを認識することになるため、日中時とは異なるランドマーク画像であることに注意されたい。
ランドマーク認識処理フロー700の説明に戻る(図11)。車載用制御装置20のランドマーク認識部204は、カメラ画像データ取得部203がカメラ装置群50から取得した画像データから、ステップ707で選定したランドマークを認識する処理を行う。なお、ここでは、カメラ画像データ取得部203が、ランドマーク認識処理フロー700とは並行して定期的にカメラ装置群50から画像データを取得しているものと仮定するが、ランドマーク認識処理フロー700の中でステップ708の前に実行しても良い。
ステップ708のランドマーク認識処理では、具体的には、ステップ707で選定したランドマークのランドマーク画像を用いて、前記画像データを走査してパターンマッチング処理を行う。マッチング箇所とランドマーク画像との合致度を算出し、合致度が所定値を超えた場合に、マッチング箇所に該ランドマークが存在すると判断する。このとき、マッチング箇所、その画像上のランドマークの大きさ、複数のカメラ素子(例えば、ステレオカメラ)からの視差、時系列上の差分値等を用いて、車両2から該ランドマークまでの相対距離、相対方向等も算出する。ランドマークを認識した場合のこれらの結果は、ランドマーク認識データ群224に格納される。
ステップ708のランドマーク認識処理が終わると、次に、ランドマーク認識結果評価部205が、対象ランドマークに対する認識結果を評価する処理を行う(ステップ709)。ランドマーク認識結果の評価は、指定された認識対象範囲で該当するランドマークを認識できたかどうかを確認することによって行う。例えば,認識することができたランドマークは、認識成功と評価する。一方、認識できていないランドマークに関しては、ステップ708のランドマーク認識処理を実行し終えた時点で、まだ該ランドマークの認識対象範囲に到達していない、もしくは通過していない可能性がある。そのため、車両2の走行位置(より正確には、ランドマーク認識処理を実行し終えた時点の走行位置)を参照して、該ランドマークの認識対象範囲を通過したかどうかを確認し、通過したと十分判断できる場合は認識失敗と評価する。例えば、図12において、50m地点でランドマーク画像8100−2を認識できていなかったとしても認識失敗とは評価せず、80m地点でもランドマーク画像8100−2を認識できていないことを確認して初めて認識失敗と評価する。なお、走行位置の推定には誤差が含まれるため、認識対象範囲で厳密に判断せず、誤差を含めて十分通過したと判断できるまで評価を保留する形を取ることが望ましい。該処理サイクルで評価を保留にされたランドマークは、以降の処理サイクルで最終的には評価されることになる。途中で推定走行経路と異なる経路を取り、実際に通過しなかったと考えられるランドマークについては評価しない。
上記では,指定された認識対象範囲で該当するランドマークを認識できた場合は,認識成功と評価するとしたが,例えば,同じ認識対象範囲において複数箇所で該当ランドマークと思われるものを検知してしまった場合は,認識失敗と評価する。認識対象範囲において該当ランドマークの認識箇所が複数存在した場合,どの箇所が該当ランドマークに相当するかを判断することは難しく,誤った認識結果となる可能性がある。そのような認識結果を用いて位置推定を行うと,大きな誤差を発生させる危険性がある。そのため,該当ランドマークと確実に同定できない場合は,認識失敗と評価した方が好ましいと考えられる。
なお,ランドマーク認識結果の評価は、上記の説明のように認識できたかどうかの2値で判定してもよいが、認識できた場合の評価を複数レベルに分類しても良い。例えば、ランドマークのランドマーク画像のパターンマッチングにおける合致度等、認識の確からしさを表す指標を用いて、複数の認識レベルを定めても良い。
ステップ709のランドマーク認識評価処理の各種結果は、ランドマーク認識データ群224に格納される。
以上によってランドマーク認識処理フロー700の1サイクルが終了し、再びステップ701に戻り、繰り返し同様の処理が実行される。
図14は、本発明の実施例1の車載用制御装置20が実行する自車位置推定処理のフロー800を示す。
車載用制御装置20の自車位置推定部206は、まず、所定時間待機後(ステップ801)、自車情報データ群222から前回推定した自車の走行位置情報を取得する(ステップ802)。ステップ802で取得する走行位置情報とは、車両2が走行している道路地図上の位置を表す情報であり、例えば、車両2が走行している道路リンクID、該道路リンク上の車両2のオフセット位置である。
次にステップ803で,自車情報データ群222から,自車位置測位装置40から得られるグローバル座標系の位置情報(緯度,経度等)の所定時間の最新履歴,センサ群60から得られる車両2の走行速度,進行方位,ヨー角等,移動に関する情報の最新履歴,等の自車情報を取得する。
そして,ステップ803で取得した自車情報を用いて,道路地図マッチング処理による走行位置の補正を行う(ステップ804)。道路地図マッチング処理とは、グローバル座標系の位置情報や車両2の移動情報とそれらの履歴情報から,道路地図データ群221の道路リンクとの合致度を算出し、車両2の走行道路リンク及びその道路リンク上の位置)を推定する処理である(マップマッチング処理と呼ぶ)。ただし,マップマッチング処理だけでは,道路リンク上の位置を正確に推定することはできないため,道路リンク上の位置に関しては,前回に走行位置を推定した時点からの車両2の移動情報(速度,進行方位,ヨー角等)から前回位置の差分値を算出し,補正する処理を行う(デッドレコニング処理と呼ぶ)。なお,自車位置測位装置40が,すでに同等の機能(デッドレコニング)を保持している場合は,出力される緯度・経度の差分値を用いて補正しても良い。また,自車位置測位装置40が位置測位に失敗しているときや位置測位誤差等により,車両2の走行位置を特定できない場合があるが,ステップ804では、走行位置を特定できるまでは、次のステップに進まないものとする。
ステップ804の走行位置の補正が完了すると,走行位置補正結果を自車情報データ群222に格納する(ステップ805)。走行位置補正結果とは,例えば,補正した走行位置,補正手段(マップマッチングか,デッドレコニングか),補正時刻等を含む。
次に,ステップ806で,自車位置推定部206は、ランドマーク認識データ群224からランドマーク認識部204により出力されたランドマーク認識結果を取得する。ランドマーク認識結果には、実際に認識できたランドマークまでの相対距離、相対方向が含まれている。
自車位置推定部206は、ステップ807で、認識したランドマーク群の中に道路位置推定の対象として適切なものがあるかどうかを判断する。もしも適切な認識ランドマークがなかった場合は、ステップ801に戻る(ステップ807でNo)。もしも適切な認識ランドマークが存在していた場合は、次のステップに進む(ステップ807でYes)。道路位置推定の対象として適切かどうかは、例えば、該ランドマークデータの位置推定評価値と位置推定に求められる精度を比較して判断する。例えば,車載用制御装置20に求められる位置推定レベルがB(例えば,誤差1〜3m)の場合,図5のランドマークデータ群223において,位置推定評価値がCの信号機7140は位置推定の対象としては適切ではないことになる。また,位置推定の対象として適切かどうかを,該ランドマークデータの位置推定評価値と現在の位置推定精度を比較して判断しても良い。現在の位置推定精度は,例えば,ランドマークデータを用いた位置補正を行った直後ではそのランドマークの位置推定評価値,マップマッチングによる位置補正を行った場合は位置推定精度D(例えば、誤差10m以上),最後にランドマークデータを用いた位置補正を行ってから走行した距離に応じて劣化させた値,等のように設定される。もしも,現在の位置推定精度がBであれば,先の例と同様信号機7140を位置推定の対象として用いることはできないが,現在の位置推定精度がDであれば,信号機7140を位置推定の対象として用いても良いことになる。
ステップ807で適切な認識ランドマークが存在していた場合は,それらのランドマーク認識結果を用いて走行位置補正処理を行う(ステップ808)。ランドマークを用いた走行位置補正は,道路地図上の3次元位置が判明しているランドマークに対して,ランドマーク認識により算出した相対距離,相対方向に基づいて,道路地図上での位置を算出することにより実現される。複数のランドマーク認識結果がある場合は,相対方向を用いずに,複数のランドマークからの相対距離から自車位置を算出することも可能である。ステップ808の走行位置補正情報は,自車情報データ群222に格納される(ステップ809)。走行位置補正結果とは,例えば,補正した走行位置,補正手段(ランドマーク),補正に用いたランドマークのランドマークID,補正時刻等を含む。
ステップ809までの走行位置補正処理が完了すると,自車位置推定結果評価部207が,自車情報データ群222に格納された走行位置補正情報を用いて,過去に実施した走行位置補正処理の評価を行う(ステップ810)。例えば、図12において、ランドマーク8101−1を用いた位置推定でそれまでの推定位置(例えば、ランドマーク8100−2による位置推定)から20m後方に補正し、ランドマーク8110−1を用いた位置推定でその補正位置を20m前方に補正し、ランドマーク8130−1を用いた位置推定で位置補正がほとんどなかったとする。この場合、ランドマーク8100−2以外は、位置推定の傾向が一貫しているのに対し、ランドマーク8101−1を用いた場合は、それまでの位置推定の傾向から大きくずれている。この場合、ランドマーク8101−1による位置推定に誤差があると考えることができる。これは様々な原因が考えられ、例えば、ランドマーク8101−1の位置情報に誤りがある(道路地図データの誤り、配置場所の変更等)、ランドマーク8101−1と類似する画像が近傍に存在し誤認識している、ランドマーク認識の相対関係の算出結果に誤差がある、等が挙げられる。このように、位置推定に誤差が発生する場合、車両2の位置を用いて動作するアプリケーションの位置推定精度に対する要求によっては、悪影響を及ぼす可能性がある。例えば、位置推定精度に対する要件が厳しい走行制御アプリケーションにとっては、上記のような誤差が誤作動を引き起こす可能性がある。一方、ナビゲーション装置等のような走行している道路リンクが判れば多少の誤差は影響がないようなアプリケーションであれば、上記のような誤差が発生しても問題はないこともある。そこで、ステップ810では、各ランドマークに対して、該ランドマークを用いた位置推定誤差を評価し、ランドマーク認識データ群224に格納しておく。そして、後述のランドマーク評価結果送信処理フロー900のように、該位置推定誤差に関する評価結果を車両位置推定支援サーバ10にランドマーク評価結果情報の一部として送信し、車両位置推定支援サーバ10で集計して、車両2に配信するランドマークデータの位置推定評価値に反映する。これにより、位置推定誤差を引き起こすようなランドマークを認識できるようになり、自車位置推定処理フロー800のステップ807で、位置推定精度に関する要件に従い位置推定に用いるランドマーク認識結果を取捨選択することが可能となる。
以上によって自車位置推定処理フロー800の1サイクルが終了し、再びステップ801に戻り、繰り返し同様の処理が実行される。
図15は、本発明の実施例1の車載用制御装置20が実行するランドマーク評価結果送信処理のフロー900を示す。
車載用制御装置20のランドマーク評価結果送信部208は、まず、所定時間待機後(ステップ901)、ランドマーク認識データ群224からランドマーク認識結果に関するデータを取得する(ステップ902)。ステップ902で取得するランドマーク認識結果データとは、認識対象となったランドマーク群において、すでに評価が完了している(即ち、該ランドマークの認識対象範囲を通過している)ランドマーク認識の評価結果、その認識結果に基づいて行った位置推定に関する評価結果、認識したランドマークの画像データ、等を含む。
ランドマーク評価結果送信部208は、ステップ902で取得したランドマーク認識結果データに基づいてランドマーク評価結果メッセージ911を生成し、生成したメッセージを車両位置推定支援サーバ10に送信する(ステップ903)。ステップ903が完了すると,ランドマーク評価結果送信部208は,二重送信を防止するため,該当するランドマーク評価結果をランドマーク認識データ群224から削除する(ステップ904)。以上によって,車載用制御装置20におけるランドマーク評価結果送信処理フロー900の1サイクルが終了し、再びステップ901に戻り、繰り返し同様の処理が実行される。
図16は、本発明の実施例1の車載用制御装置20が送信するランドマーク評価結果メッセージ911のフォーマット950の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
ランドマーク評価結果メッセージ911は、車両ID951、1つ以上のランドマーク評価結果情報952(952−1〜952−n)、等を含む。上記の各種情報は、図示されたランドマーク評価結果メッセージフォーマット950のように1つのメッセージとして送信されても良いし、任意の複数個のメッセージに分割されて送信されても良い。
車両ID951は、車両2の識別子であり、車両位置推定支援サーバ10で車両2をユニークに特定するためのものである。
ランドマーク評価結果情報952は、車載用制御装置20がステップ902で取得した、ランドマーク認識結果データに該当し、例えば、ランドマークID961、認識評価結果962、環境情報963、ランドマーク画像群964、位置推定評価情報965,等を含む。
ランドマークID961は、該当するランドマークを一意に特定するための識別子である。
認識評価結果962は、ランドマーク認識の評価結果であり,ランドマーク認識処理フロー700のランドマーク認識評価処理(ステップ709)の出力内容に相当する。
環境情報963は、ランドマーク認識時点の車両2の周辺環境に関する情報である。例えば、周辺の明るさ、天候等が該当する。
認識範囲964は,該ランドマークを認識することができた道路範囲に関する情報である。例えば,ランドマークデータ群122の認識対象範囲356に相当するデータ形式で表現しても良いし,該ランドマークまでの相対距離(例えば,100m〜5mの範囲)で表現しても良い。
ランドマーク画像群965は、例えば、画像データから該ランドマークの認識部分を抽出したもの、あるいはその部分画像から特徴点を抽出したランドマーク画像である。ランドマーク画像群965は,すべてのランドマーク評価結果情報952に含めても良いし,該ランドマークの認識評価値が低い場合や,認識時の合致度が低い場合のみに含めるようにしても良い。ランドマークの認識評価値が高かったり,認識時の合致度が高かったりした場合は,現在車両位置推定支援サーバ10が保持するランドマーク画像が適していることを意味しているので,車両位置推定支援サーバ10にフィードバックする意義は低い。そのため,そのような場合は,ランドマーク画像群965を省略することにより,ネットワーク4の通信量を削減することができる。
位置推定評価情報966は,該ランドマークによる位置推定の評価結果であり,自車位置推定処理フロー800の走行位置補正評価処理(ステップ810)の出力内容に相当する。
ランドマーク評価結果送信処理フロー900の説明に戻る(図15)。車両位置推定支援サーバ10のランドマーク評価結果受信部104は、ステップ921で車載用制御装置20から送信されたランドマーク評価結果メッセージ911を、ネットワーク4経由で受信する。なお、図には記載していないが、ランドマーク評価結果受信部104は、ランドマーク評価結果メッセージ911を受信すると、そのフォーマット950に従って各種データを解析、抽出する。
次に,車両位置推定支援サーバ10のランドマーク毎認識評価値算出部105は,ランドマーク評価値更新処理を実行する(ステップ922)。ランドマーク評価値更新処理とは,ランドマーク評価結果メッセージ911の各ランドマーク評価結果情報952に含まれる情報に基づいて,ランドマークデータ群122の該当するデータエントリの認識評価値358を更新する処理である。
まず,ランドマーク毎認識評価値算出部105は,ランドマークデータ群122から,ランドマーク評価結果情報952におけるランドマークID961,環境情報963,認識範囲964を参照して,該当するデータエントリを取得する。次に,該データエントリの認識評価値358を認識評価結果962に基づいて更新する。
認識評価結果962は,最も単純には,成功(=1)又は失敗(=0)という2値で表現されている。だが,その表現方式に限定されることはなく,0点(完全な失敗)〜100点(完全な成功)のように任意の中間値を許容する成功の度合いの指標で表現されていても良い。
認識評価値358を更新する方式であるが,例えば、上記で取得したランドマークデータエントリに関する認識評価結果962が「成功」であった場合、認識評価値358として保持された評価値に所定の数値を加え(例えば+0.1)、失敗であった時に、認識評価値358の評価値から数値を減じる(例えば−3.0)ことによって評価値を更新してもよい。失敗時に評価値から減じる数値を、成功時の加える数値よりも十分大きくしておくと、ランドマーク認識の失敗頻度が増加したときに、評価値が急激に減少する。これによって、認識失敗頻度の多いランドマークに対する評価値を速やかに下げることが可能となる。なお,認識評価結果962が2値ではなく,複数のレベルで表現されている場合は,その成功度合・失敗度合に応じて,加減する数値の重み付けを変更すればよい。
また、認識評価値358は、所定の期間におけるランドマーク認識の成功率によって表現してもよい。その場合は、所定の期間を例えば1ヶ月とすると、所定の期間に対して十分粒度の小さい単位時間(例えば1日)あたりの成功数及び認識評価総数(成功数+失敗数)を管理し、該当する所定の期間中の成功率を計算することによって、認識評価値358を算出してもよい。なお,成功率の計算において,成功数及び失敗数にそれぞれ異なる重みを付けることも可能である。例えば、失敗数に成功数の30倍の重みを付けて成功率を計算することによって、上記の+0.1又は−3.0を加算する場合と同様に、失敗頻度の高い走行制御種別に対する評価値を速やかに下げることが可能となる。また,例えば,1時間,1日,1ヶ月のように異なる期間レベルの評価値を個別に算出し,保持しておくことも可能である。これにより,例えば,急激に環境が変化して認識ができなくなった場合(例えば,道路工事等により標識が変更された等),短期間の評価値が急激に悪化するため,直ちにランドマーク認識対象から排除することが可能となる。一方,長期間の評価値を見ることで,該ランドマークが日々の環境変化にも関係せず安定して認識できるかどうかを確認することができる。
また,認識評価値358が一定時間更新されない場合は,時間経過と共に中間値(例えば,50)に近づいていくように調整しても良い。認識評価値358が低いランドマークデータは,ランドマーク認識対象とならない可能性が高いため,認識評価結果が車両位置推定支援サーバ10に収集されなくなってくる。その場合,仮に環境が変化して実際には該ランドマークを認識しやすくなっていたとしても,認識評価値358が更新されていかないことを意味する。そこで,一定時間認識評価値358が更新されない場合は,認識評価値358を意図的に改善させていくことにより,やがて一部の車両2が該ランドマークを認識対象とするようになり,再び該認識評価値358が更新されるようになる。これにより,環境が変化したとしても,それを自動的に認識評価値358に反映していくことが可能となる。
ステップ922のランドマーク評価値更新処理が終了すると,ランドマーク毎認識評価算出部105は,次に該ランドマークのランドマーク画像965があるかどうかを確認し(ステップ923),あればステップ924でランドマークランドマーク画像更新処理を行う(ステップ923でYes)。なければ,ステップ925に進む。
ランドマークランドマーク画像更新処理とは,ランドマーク評価結果メッセージ911の各ランドマーク評価結果情報952に含まれるランドマーク画像群965に基づいて,ランドマークデータ群122の該当するデータエントリのランドマーク画像357を更新する処理である。ランドマーク画像357は,車両2の車載用制御装置20が画像データからランドマークを認識するためのテンプレートである。そのため,ある程度の環境変化にも対応できるようなランドマーク画像となっていることが望ましく,好ましくは,今回のランドマーク評価結果メッセージ911のランドマーク画像群965だけでなく,過去に受信したランドマーク画像群965を含めて平均化して,ランドマーク画像357を生成することになる。ランドマーク評価結果メッセージ911のランドマーク画像群965が,カメラの画像データだった場合は,ランドマーク毎認識評価算出部105は,該画像データから特徴点を抽出してランドマーク画像を生成してから,過去のランドマーク画像と平均化して,ランドマーク画像357を生成する。
ランドマークランドマーク画像更新処理は,必要に応じて省略しても良い。もしも,ランドマーク評価結果情報952の認識評価結果962が高評価(認識成功時の成功度合を判断できる場合)だったり,認識評価値358が高かったりした場合は,現在のランドマーク画像357が実態と合致していることを意味しているので,更新する意義はあまりない。一方,認識評価結果962が低評価だったり,認識評価値358が低かったりした場合は,現在のランドマーク画像357が実態と合致していないことを意味しているので,更新することによって認識率の改善が見込まれる。そこで,好ましくは,認識評価結果962や認識評価値358が所定値よりも低い場合に,該ランドマークのランドマーク画像357を更新するようにしても良い。また,ランドマーク評価結果送信処理フロー900の中で実行せず,一定間隔(例えば,1日毎)で収集したランドマーク画像群965をまとめて処理しても良い。
また,認識評価値と同様にして,1時間,1日,1ヶ月のように異なる期間レベルのランドマーク画像357を生成し,保持しておくことも可能である。これにより,短期間のランドマーク画像を用いてランドマークを認識することにより,急激な環境変化に対応することも可能となる。
ステップ924のランドマーク評価値更新処理が終了すると,ランドマーク毎位置推定評価算出部106は,次に該ランドマークの位置推定評価情報966があるかどうかを確認し(ステップ925),あればステップ926でランドマークランドマーク画像更新処理を行う(ステップ925でYes)。なければ,車両位置推定支援サーバ10は処理を終了する。
ランドマーク位置推定評価値更新処理とは,ランドマーク評価結果メッセージ911の各ランドマーク評価結果情報952に含まれる位置推定評価情報966に基づいて,ランドマークデータ群122の該当するデータエントリの位置推定評価値359を更新する処理である。基本的には,上述した認識評価値の更新と同様な処理を行う。例えば,所定期間に得られた位置推定評価情報966の平均値で判断する。
以上によって,ランドマーク評価結果送信処理フロー900における車両位置推定支援サーバ10側の処理は終了する。
以上のように,本実施形態によれば、各車両2の車載用制御装置20が各ランドマークに対する認識結果を評価し,そのランドマーク評価結果を車両位置推定支援サーバ10で集約することで,各ランドマークの認識失敗率,ないしは認識成功率を定量的に評価することができる。このランドマークの認識失敗率とは,たとえ実際に該ランドマークが存在していたとしても,認識ミスや誤認識により,正しく該ランドマークを認識できない確率を意味する。そして,車両2は各ランドマークに対する認識失敗率を数値化した指標である認識評価値を車両位置推定支援サーバ10から取得し,認識評価値が所定値よりも低かった場合はランドマーク認識対象から除外することにより,ランドマーク認識の成功率及び精度を向上させることができる。その結果,ランドマーク認識の結果を用いた位置推定の成功率及び精度を従来よりも向上させることが可能となる。
また,本実施形態によれば,車両2の車載用制御装置20は,認識対象のランドマークとして複数候補存在する場合,認識評価値の高い方から優先的に所定数のランドマークを選定する。これにより,車載用制御装置20の処理能力の制約により,候補の一部しかランドマーク認識処理を実行できない場合でも,認識し易いランドマークから優先的に認識対象として選定するため,ランドマーク認識の成功率を最大限に高めることが可能となる。
また,本実施形態によれば,車両位置推定支援サーバ10は,ランドマーク認識のテンプレート画像として,ランドマーク種別毎に共通のランドマーク画像もしくはランドマーク画像を用いるのではなく,個々のランドマークの設置環境下で実際に各車両2により撮影した画像に基づいて,個別に生成している。それぞれの場所的及び時間的な環境の違いや,劣化や汚れ等により,同種別のランドマークであっても異なった見え方をするため,共通のテンプレート画像によるランドマーク認識では認識率が低下するという問題があるが,個別のテンプレート画像を提供することにより,ランドマーク認識の成功率を向上させることができる。さらに,本実施形態によれば,各ランドマークに1つのテンプレート画像と限定せず,明るさ(日中,夜間等)や天候(雨,雪,霧等),場所(認識対象範囲)等の軸で分類して,それぞれのテンプレート画像を用意することを可能としている。これにより,環境変化による認識成功率の変動を意識して適切なランドマークを選定することができ,認識率を向上させることが可能である。
また,本実施形態によれば,車両位置推定支援サーバ10は,各車両2の車載用制御装置20からランドマーク認識時の画像データあるいはランドマーク画像データを集約し,各ランドマークのランドマーク画像データを更新している。そのため,ランドマーク自体や周辺環境の変化により該ランドマークの見え方が変わっても,最新の状況にあわせたランドマーク画像データを各車両2の車載用制御装置20に配信することができる。これにより,ランドマーク認識の成功率をさらに高めることが可能となっている。
図17は、本発明の実施例2による車両位置推定システムの構成の一例を示す機能ブロック図である。
本実施例に係る車両位置推定システム1では、実施例1では車載用制御装置20がカメラ装置群50からカメラ画像データを取得してランドマーク認識処理を実施していたのに対し、カメラ装置群51が車載用制御装置21から認識対象のランドマーク情報を取得してランドマーク認識処理を実施する点で異なる。カメラ装置群51と車載用制御装置21を除き実施例1の構成と同等であるため、ここではカメラ装置群51と車載用制御装置21の構成のみを説明する。
本実施例におけるカメラ装置群51は、車両2の外部を撮影できるように車両2に設置され,車両2の周辺状況を繰り返し撮影した画像データあるいは動画像データを生成するように構成されている。なお,カメラ装置群51は,単眼カメラでも良いし,複数の撮影素子を搭載したステレオカメラでも良いし,それぞれ任意の数の単眼カメラとステレオカメラの任意の組合せでも良いし、任意のカメラと他の処理を行うECUを統合したものでも良い。
カメラ装置群51は、処理部と、記憶部260と、通信部270と、画像入出力部280を有する。
処理部は、例えば、CPU250及びRAMなどのメモリ291を含んで構成され、所定の動作プログラムを実行することで、カメラ装置群51の機能を実現する処理を行う。また、処理部には、機能ブロックとして、撮影した画像データから認識すべきランドマーク群に関するデータを取得する認識対象ランドマーク取得部251、撮影した画像データから前記取得した認識すべきランドマーク群を認識するランドマーク認識部252、前記認識すべきランドマーク群の認識結果を送信するランドマーク認識結果送信部253、等が含まれる。
記憶部260は、例えばHDD,フラッシュメモリ、ROMなどの記憶装置を含んで構成され、処理部が実行するプログラム、及び本システムの実現に必要なデータ群などが格納される。本実施例では、特に、認識対象ランドマークデータ群261、等が記憶部260に格納される。
通信部270は、実施例1の車載用制御装置20の通信部230と同等である。
画像入力部280は、1つ以上の撮像部から構成され、前記撮像部から車両2の外部に関する映像が入力される。入力された映像は、例えば、処理部によって、所定の方式により画像データ(映像データ)として抽出され、本実施例の処理に用いられる。
車載用制御装置21の処理部には、図1のカメラ画像データ取得部203とランドマーク認識部204の代わりに、本実施例の図17では認識対象のランドマーク群をカメラ装置群51に提供する認識対象ランドマーク提供部210と、カメラ装置群51のランドマーク認識結果を取得するランドマーク認識結果取得部211、等が含まれる。その他の構成については、図1と同様であるため、説明を割愛する。
続いて、本実施例における車両位置推定システム1の動作について説明する。
基本的な処理としては実施例1と同等であるが、カメラ装置群51がランドマーク認識の処理を実行されるため、図11の実施例1のランドマーク認識処理フロー700が変わってくる。具体的には、ランドマーク認識処理フロー700に相当する処理フローは、車載用制御装置21がカメラ装置群51に認識対象ランドマーク送信処理フロー1000と、カメラ装置群51が認識対象のランドマークを認識してその認識結果を車載用制御装置21に送信するランドマーク認識処理フロー1100に分離される。
図18は、本発明の実施例2の車両位置推定システム1において実行される認識対象ランドマーク送信処理フロー1000を示す。
まず、車載用制御装置21のステップ701〜ステップ707は、実施例1の車載用制御装置20のステップ701〜ステップ707と同等であるため、説明を割愛する。実施例1では、ステップ707の後に車載用制御装置21がランドマーク認識の処理を実施していたが、実施例2では、認識対象ランドマーク提供部210が、ステップ707で選定したランドマーク情報に基づいて認識対象ランドマークメッセージ1011を生成し、生成したメッセージをカメラ装置群51に送信する(ステップ1001)。
図19は、本発明の実施例2の車載用制御装置21が送信する認識対象ランドマークメッセージ1011のフォーマット1050の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
認識対象ランドマークメッセージ1011は、ステップ707で選定されたランドマークデータ1051のリスト等を含む。ランドマークデータ1051には、例えば、ランドマークID1061、ランドマーク画像1062、認識評価値1063、等が含まれ、それぞれ車載用制御装置21のランドマークデータ群223のランドマークID371、ランドマーク画像377、認識評価値378が該当する。
認識対象ランドマーク送信処理フロー1000に戻る(図18)。カメラ装置群51の認識対象ランドマーク取得部251は、車載用制御装置21から送信された認識対象ランドマークメッセージ1011を受信し(ステップ1021)、該メッセージに含まれるランドマークデータ1051のリストを記憶部260の認識対象ランドマークデータ群261に格納する(ステップ1022)。
以上によって、認識対象ランドマーク送信処理フロー1000の1サイクルが終了し、再びステップ701に戻り、繰り返し同様の処理が繰り返される。
なお、図18の処理フローでは、車載用制御装置21が認識対象のランドマークのデータを処理サイクルの度に送信するようにしているが、カメラ装置群51が同一のランドマークデータを既に受信している場合は、該ランドマークのランドマークID1061のみを送信し、ランドマーク画像1062や認識評価値1063を省略することも可能である。また、別の方式としては、認識対象に選択された時点に上記の認識対象ランドマークメッセージ1011を送り、認識対象から外れた時点に該ランドマークが認識対象から外れたことを示すメッセージを送ることにより、カメラ装置群51の認識対象ランドマークデータ群261を制御するようにしてもよい。
図20は、本発明の実施例2の車両位置推定システム1において実行されるランドマーク認識処理フロー1100を示す。
まず、カメラ装置群51のランドマーク認識部252は、まず、所定時間待機後(ステップ1121)、認識対象ランドマークデータ群261から認識対象ランドマークの情報を取得する(ステップ1122)。そして、取得したランドマーク情報に基づいて、ランドマーク認識処理を実施する(ステップ1123)。このランドマーク認識処理は、図11のランドマーク認識処理フロー700のランドマーク認識処理(ステップ708)に該当する。即ち、認識対象のランドマークのランドマーク画像を用いて画像データを走査してパターンマッチング処理を行うことで、該ランドマークが該画像データに存在するかどうかを認識し、認識した該ランドマークに対する相対関係(相対距離や相対方向等)を算出する。
なお、ここでは車載用制御装置21が認識対象のランドマークを選択してカメラ装置群51がそれらに対して一様に認識処理をしているが、認識評価値1063に応じて優先度付けして処理し、カメラ装置群51の処理性能に応じて認識対象とするランドマークをさらに限定しても良い。
次に、カメラ装置群51のランドマーク認識結果送信部253は、ステップ1123のランドマーク認識結果に基づいて、ランドマーク認識結果メッセージ1111を生成し、生成したメッセージを車載用制御装置21に送信する(ステップ1124)。
図21は、本発明の実施例2のカメラ装置群51が送信するランドマーク認識結果メッセージ1111のフォーマット1150の一例の説明図である。ただし、通信プロトコルに関するヘッダ情報等の図示は割愛した。
ランドマーク認識結果メッセージ1111は、ステップ1123で認識されたランドマークの認識結果情報であるランドマーク認識結果1151のリスト、等を含む。ランドマーク認識結果1151には、例えば、ランドマークID1161、測位結果1162、認識度1163、ランドマーク画像1164、等が含まれる。
ランドマークID1161は、認識したランドマークの識別子であり、車載用制御装置21から取得した認識対象ランドマークデータで用いられているランドマークIDに該当する。
測位結果1162は、認識したランドマークに対する測位処理の結果であり、例えば、車両2からの相対距離や相対方向等が含まれる。
認識度1163は、どれぐらい確実に該ランドマークを認識しているかを示す指標であり、例えば、ランドマーク認識処理におけるパターンマッチングの合致度等が該当する。
ランドマーク画像1164は、画像データにおいて該ランドマークを認識した箇所を抽出したものである。これは元々の画像データから抽出したものでも良いし、所定の処理を施した後の画像データ(ランドマーク画像データ)から抽出したものでも良い。
ランドマーク認識処理フロー1100に戻る(図20)。車載用制御装置21のランドマーク認識結果取得部211は、カメラ装置群51から送信されたランドマーク認識結果メッセージ1111を受信する(ステップ1101)。そして、該メッセージに含まれるランド認識結果に従い、ランドマーク認識評価処理を行う(ステップ1102)。このランドマーク認識評価処理は、図11のランドマーク認識処理フロー700のランドマーク認識評価処理(ステップ709)と同等である。
以上によってランドマーク認識処理フロー1100の1サイクルが終了し、再びステップ1121に戻り、繰り返し同様の処理が実行される。
なお、図20の処理フローでは、カメラ装置群51が認識したランドマークの画像データを処理サイクルの度に送信するようにしているが、画像データをメッセージに含める頻度を落として送信することも可能である。また、別の方式としては、例えば、カメラ装置群51が記憶部260に認識度が最も高いときの画像データを保持しておいて、認識対象から外れた時点で前記画像データを車載用制御装置51に送信するようにしても良い。
以上のように、本実施形態によれば、カメラ装置群51は認識すべきランドマーク情報を受信するインタフェースを持ち、前記受信したランドマーク情報に基づいて認識すべき対象及び認識用のランドマーク画像を変更することが可能であり、車載用制御装置21が状況に応じて認識し易いランドマークを選択してカメラ装置群51に通知することにより、カメラ装置群51によるランドマーク認識の成功率を向上させることが可能である。また、車載用制御装置21から送信されるランドマーク情報に認識し易さを示す認識評価値を含めておき、カメラ装置群51は認識評価値が高い方から優先的に認識処理を行うようにすることで、限られた処理性能の中でのランドマーク認識成功率を最大限に高めることができる。
なお、以上で説明した実施形態は一例であり、本発明はこれに限られない。すなわち、様々な応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、上記実施形態では、車載用制御装置や車両位置推定支援サーバの各処理を、プロセッサとRAMを用いて、所定の動作プログラムを実行することで実現しているが、必要に応じて独自のハードウェアで実現することも可能である。また、上記の実施形態では、車載用制御装置、無線通信装置、自車位置測位装置、カメラ装置群、センサ群を個別の装置として記載しているが、必要に応じて任意のいずれか2つ以上を組合せて実現することも可能である。
上記の各処理が、プロセッサが所定の動作プログラムを実行することで実現される場合、各処理を実現する動作プログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶デバイス、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、上記実施形態では、車載用制御装置20は道路地図データ群221を車両位置推定支援サーバ10から取得するような構成になっているが、車載用制御装置20自身が道路地図データ群121に相当するデータを管理しても良いし、車両2内の他の装置から取得しても良い。
あるいは、各車両2が、車両位置推定支援サーバ10の記憶部120と同等の情報を保持し、それに基づいて、ランドマーク認識やその結果を用いた位置推定の評価を行ってもよい。その場合、車両位置推定支援サーバ10は不要となる。ただし、実施例1に示したように、車両位置推定支援サーバ10を用いることによって、各車両2は、自車両2に関連しない地図データ及びランドマーク画像を保持する必要がなくなり、また、自車両2が初めて走行する道路においても、他車両2から車両位置推定支援サーバ10が収集した評価結果に基づいてランドマーク認識及び位置推定の精度を高めることができる。
また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
1:車両位置推定システム
2:車両
3:路側機
4:ネットワーク
5:近距離無線ネットワーク
10:車両位置推定支援サーバ
20:車載用制御装置
30:無線通信装置
40:自車位置測位装置
50:カメラ装置群
60:センサ群
100:車両位置推定支援サーバ10の処理部
101:データ要求受信部
102:道路地図データ送信部
103:ランドマークデータ送信部
104:ランドマーク評価結果受信部
105:ランドマーク毎認識評価値算出部
106:ランドマーク毎位置推定評価算出部
120:車両位置推定支援サーバ10の記憶部
121:道路地図データ群
122:ランドマークデータ群
123:各種パラメータデータ群
130:車両位置推定支援サーバ10の通信部
200:車載用制御装置20の処理部
201:道路地図データ管理部
202:ランドマークデータ管理部
203:カメラ画像データ取得部
204:ランドマーク認識部
205:ランドマーク認識結果評価部
206:自車位置推定部
207:自車位置推定結果評価部
208:ランドマーク評価結果送信部
220:車載用制御装置20の記憶部
221:道路地図データ群
222:自車情報データ群
223:ランドマークデータ群
224:ランドマーク認識データ群
225:各種パラメータデータ群
230:車載用制御装置20の通信部
311:路側機3の部分道路地図データ群
312:路側機3のランドマークデータ群

Claims (7)

  1. 車両に搭載された撮像装置により撮像された画像に含まれる特徴物を用いて前記車両の位置を推定する装置と、該装置とネットワークを介して接続されるサーバとを有する車両位置推定システムであって、
    前記サーバは、
    第一の制御部と、
    前記特徴物に関する情報であるランドマーク情報を記憶する第一の格納部と、
    前記ランドマーク情報を前記ネットワークを介して前記装置に送信する第一の通信部と、を有し、
    前記装置は、
    前記撮像装置により撮像された画像に関する情報である撮像画像情報を受信し、前記サーバから前記ネットワークを介して前記ランドマーク情報を受信する第二の通信部と、
    前記ランドマーク情報を記憶する第二の格納部と、
    前記第二の格納部に記憶された前記ランドマーク情報に基づいて前記撮像画像情報に含まれる前記特徴物を認識する認識処理と、前記認識処理で認識された前記特徴物に基づいて前記車両の位置を推定する位置推定処理と、を実行する第二の制御部と、を有し、
    前記ランドマーク情報は、前記認識処理において前記特徴物を認識可能な道路上の範囲を表す認識対象範囲と、前記特徴物の画像に関する情報であるランドマーク画像と、前記特徴物に関する評価値と、を含み、
    前記評価値は、前記認識処理における前記特徴物の認識の成功のしやすさを示す認識評価値を含み、
    前記認識処理において、前記第二の制御部は、前記ランドマーク情報に含まれる前記認識対象範囲および前記認識評価値に基づいて、道路上での前記ランドマーク画像の適用範囲を設定し、前記車両の位置が前記適用範囲内のときに前記ランドマーク画像を用いて前記特徴物を認識し、
    前記第二の通信部は、前記第二の制御部による前記認識処理の結果を前記サーバに送信し、
    前記第一の制御部は、前記第一の格納部に記憶されている前記ランドマーク情報における前記認識評価値を、前記認識処理の結果に基づいて更新し、
    前記第一の制御部は、前記第一の格納部に記憶されている前記ランドマーク情報における前記認識評価値が、前記認識処理の結果に基づいて一定時間更新されない場合には、前記認識評価値を所定の中間値に近づけるように調整することを特徴とする車両位置推定システム。
  2. 請求項1に記載の車両位置推定システムであって、
    前記ランドマーク情報において、前記認識対象範囲と、前記ランドマーク画像と、前記評価値とは、環境毎にそれぞれ設定されて互いに対応付けられており、
    前記第二の制御部は、前記車両の周辺環境を認識し、認識した周辺環境にそれぞれ対応する前記認識対象範囲、前記ランドマーク画像および前記評価値を含む前記ランドマーク情報を前記第二の格納部から抽出するランドマーク情報抽出処理をさらに実行し、
    前記ランドマーク情報抽出処理で抽出されたランドマーク情報に基づいて、前記第二の制御部が前記認識処理を実行することを特徴とする車両位置推定システム。
  3. 請求項1または請求項2に記載の車両位置推定システムであって、
    前記評価値は、前記位置推定処理における前記車両の位置推定の確からしさを示す位置推定評価値をさらに含み、
    前記第二の制御部は、前記認識評価値に基づいて前記認識処理に用いる前記ランドマーク画像を選択する処理と、前記位置推定評価値に基づいて前記特徴物の認識結果を前記位置推定処理に用いるか否かを決定する処理と、の少なくとも一つを実行することを特徴とする車両位置推定システム。
  4. 車両に搭載された撮像装置により撮像された画像に含まれる特徴物を用いて前記車両の位置を推定する装置と、該装置とネットワークを介して接続されるサーバとを有する車両位置推定システムであって、
    前記サーバは、
    第一の制御部と、
    前記特徴物に関する情報であるランドマーク情報を記憶する第一の格納部と、
    前記ランドマーク情報を前記ネットワークを介して前記装置に送信する第一の通信部と、を有し、
    前記装置は、
    前記撮像装置により撮像された画像に関する情報である撮像画像情報を受信し、前記サーバから前記ネットワークを介して前記ランドマーク情報を受信する第二の通信部と、
    前記ランドマーク情報を記憶する第二の格納部と、
    前記第二の格納部に記憶された前記ランドマーク情報に基づいて前記撮像画像情報に含まれる前記特徴物を認識する認識処理と、前記認識処理で認識された前記特徴物に基づいて前記車両の位置を推定する位置推定処理と、を実行する第二の制御部と、を有し、
    前記ランドマーク情報は、前記特徴物の画像に関する情報であるランドマーク画像を含み、
    前記第二の通信部は、前記第二の制御部による前記認識処理の結果として、前記認識処理で認識した前記特徴物の画像に関する情報を前記サーバに送信し、
    前記第一の制御部は、異なるタイミングで前記装置からそれぞれ受信した前記認識処理の結果における前記特徴物の画像に関する情報を平均化して生成した平均化ランドマーク画像を用いて、前記第一の格納部に記憶されている前記ランドマーク情報における前記ランドマーク画像を更新することを特徴とする車両位置推定システム。
  5. 請求項1から請求項までのいずれか一項に記載の車両位置推定システムであって、
    前記第一の制御部は、前記車両の周辺環境に基づいて前記装置に送信する前記ランドマーク情報を選択し、
    前記第一の通信部は、前記第一の制御部により選択された前記ランドマーク情報を前記装置に送信する、ことを特徴とする車両位置推定システム。
  6. 請求項1から請求項3までのいずれか一項に記載の車両位置推定システムであって、
    前記第一の制御部は、前記認識評価値に基づいて前記装置に送信する前記ランドマーク情報を選択し、
    前記第一の通信部は、前記第一の制御部により選択された前記ランドマーク情報を前記装置に送信する、ことを特徴とする車両位置推定システム。
  7. 請求項1から請求項までのいずれか一項に記載の車両位置推定システムであって、
    前記第二の制御部は、前記車両の走行経路に関する情報である走行経路情報を含む前記ランドマーク情報の取得要求を生成し、
    前記第二の通信部は、前記取得要求を前記サーバに送信し、
    前記第一の制御部は、受信した前記取得要求に含まれる前記走行経路情報に基づいて、前記装置に送信する前記ランドマーク情報を選択する、ことを特徴とする車両位置推定システム。
JP2013252614A 2013-12-06 2013-12-06 車両位置推定システム Active JP6325806B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013252614A JP6325806B2 (ja) 2013-12-06 2013-12-06 車両位置推定システム
CN201480066054.6A CN105793669B (zh) 2013-12-06 2014-11-19 车辆位置推定系统、装置、方法以及照相机装置
US15/100,398 US9983022B2 (en) 2013-12-06 2014-11-19 Vehicle position estimation system, device, method, and camera device
EP14867797.4A EP3078937B1 (en) 2013-12-06 2014-11-19 Vehicle position estimation system, device, method, and camera device
PCT/JP2014/080570 WO2015083538A1 (ja) 2013-12-06 2014-11-19 車両位置推定システム,装置,方法、及び、カメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013252614A JP6325806B2 (ja) 2013-12-06 2013-12-06 車両位置推定システム

Publications (3)

Publication Number Publication Date
JP2015108604A JP2015108604A (ja) 2015-06-11
JP2015108604A5 JP2015108604A5 (ja) 2016-09-15
JP6325806B2 true JP6325806B2 (ja) 2018-05-16

Family

ID=53273305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013252614A Active JP6325806B2 (ja) 2013-12-06 2013-12-06 車両位置推定システム

Country Status (5)

Country Link
US (1) US9983022B2 (ja)
EP (1) EP3078937B1 (ja)
JP (1) JP6325806B2 (ja)
CN (1) CN105793669B (ja)
WO (1) WO2015083538A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7123487B2 (ja) 2018-11-22 2022-08-23 矢崎総業株式会社 端子作業装置

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6446784B2 (ja) * 2014-01-21 2019-01-09 株式会社デンソー ナビゲーション装置
KR101628503B1 (ko) * 2014-10-27 2016-06-08 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
DE102014221888A1 (de) * 2014-10-28 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US20160255271A1 (en) * 2015-02-27 2016-09-01 International Business Machines Corporation Interactive surveillance overlay
JP6235528B2 (ja) * 2015-05-15 2017-11-22 トヨタ自動車株式会社 車両制御装置
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
JP6520463B2 (ja) * 2015-06-26 2019-05-29 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
GB2540817A (en) * 2015-07-30 2017-02-01 Ford Global Tech Llc Improvements in or relating to distributed vehicular data management systems
US10467284B2 (en) 2015-08-03 2019-11-05 Google Llc Establishment anchoring with geolocated imagery
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
DE102015215699A1 (de) * 2015-08-18 2017-02-23 Robert Bosch Gmbh Verfahren zum Lokalisieren eines automatisierten Kraftfahrzeugs
KR101927038B1 (ko) 2015-08-28 2018-12-07 닛산 지도우샤 가부시키가이샤 차량 위치 추정 장치, 차량 위치 추정 방법
DE102016205433A1 (de) * 2015-11-25 2017-06-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
DE102016205867A1 (de) 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels verschiedener Landmarkentypen
DE102016205868A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
DE102016205866A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
US10126141B2 (en) * 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
EP3460779A4 (en) * 2016-05-17 2020-01-01 Pioneer Corporation INFORMATION OUTPUT DEVICE, TERMINAL DEVICE DEVICE, CONTROL METHOD, PROGRAM AND STORAGE MEDIUM
JPWO2017199369A1 (ja) * 2016-05-18 2019-03-07 パイオニア株式会社 地物認識装置、地物認識方法およびプログラム
EP3467435A4 (en) * 2016-06-01 2020-04-08 Pioneer Corporation CHARACTERISTIC DATA STRUCTURE, STORAGE MEDIUM, INFORMATION PROCESSING DEVICE, AND DETECTION DEVICE
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
CA3031723C (en) * 2016-07-26 2020-06-23 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
JP2018036067A (ja) * 2016-08-29 2018-03-08 株式会社Soken 自車位置認識装置
JP6726064B2 (ja) * 2016-08-29 2020-07-22 株式会社Soken 自車位置特定装置、自車位置特定方法
JP6778063B2 (ja) * 2016-09-07 2020-10-28 株式会社Soken 運転支援装置、運転支援方法
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
RU2720140C1 (ru) 2016-09-27 2020-04-24 Ниссан Мотор Ко., Лтд. Способ оценки собственной позиции и устройство оценки собственной позиции
CN106323303A (zh) * 2016-09-29 2017-01-11 汤晓庆 一种在地图中沿道路标记位置的系统及其方法
FR3058515A1 (fr) * 2016-10-13 2018-05-11 Valeo Schalter Und Sensoren Gmbh Dispositif et procede de localisation d'un vehicule
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
CN108109383B (zh) * 2016-11-25 2021-04-16 杭州海康威视数字技术股份有限公司 一种信息确定方法及装置
US11231287B2 (en) * 2016-12-22 2022-01-25 Nissan North America, Inc. Autonomous vehicle service system
US9806730B1 (en) * 2016-12-30 2017-10-31 Texas Instruments Incorporated Apparatus having source follower based DAC inter-symbol interference cancellation
DE112017006904T5 (de) 2017-01-24 2019-10-02 Fujitsu Limited Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren
JPWO2018143237A1 (ja) * 2017-01-31 2019-11-14 パイオニア株式会社 情報処理装置、サーバ装置、情報処理システム、情報処理方法、およびプログラム
DE102017201669A1 (de) 2017-02-02 2018-08-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aktualisierung einer digitalen Karte
DE102017204839A1 (de) 2017-03-22 2018-09-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
JPWO2018221453A1 (ja) * 2017-05-31 2020-03-26 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
JP6815935B2 (ja) * 2017-06-05 2021-01-20 日立オートモティブシステムズ株式会社 位置推定装置
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
DE102017213628A1 (de) * 2017-08-07 2019-02-07 Robert Bosch Gmbh System und Verfahren zum Bestimmen einer Position eines Fahrzeuges
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
DE102017214731A1 (de) * 2017-08-23 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
JP6747405B2 (ja) * 2017-08-25 2020-08-26 トヨタ自動車株式会社 自車位置自信度演算装置
US10732002B2 (en) * 2017-08-31 2020-08-04 Mapbox, Inc. Generating accurate speed estimations using aggregated telemetry data
DE102017217212A1 (de) 2017-09-27 2019-03-28 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
US10473772B2 (en) * 2017-10-12 2019-11-12 Ford Global Technologies, Llc Vehicle sensor operation
JP6759175B2 (ja) * 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
JP6946972B2 (ja) * 2017-11-24 2021-10-13 トヨタ自動車株式会社 車両制御装置
WO2019107397A1 (ja) * 2017-11-30 2019-06-06 パイオニア株式会社 地図データのデータ構造
DE102017222810A1 (de) 2017-12-14 2019-06-19 Robert Bosch Gmbh Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
JP6760251B2 (ja) * 2017-12-15 2020-09-23 株式会社デンソー 道路地図生成システム及び道路地図生成方法
US10899348B2 (en) * 2017-12-20 2021-01-26 Here Global B.V. Method, apparatus and computer program product for associating map objects with road links
JP6939615B2 (ja) * 2018-02-02 2021-09-22 トヨタ自動車株式会社 信号機認識装置
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
FR3072182A1 (fr) * 2018-03-05 2019-04-12 Continental Automotive France Calculateur, systeme et procede de geolocalisation d'un vehicule
JP2019168984A (ja) * 2018-03-23 2019-10-03 パイオニア株式会社 データ構造
DE102018204500A1 (de) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System zur Erzeugung von Konfidenzwerten im Backend
JP2019174194A (ja) * 2018-03-27 2019-10-10 パイオニア株式会社 データ構造、情報処理装置、及び地図データ生成装置
WO2019188877A1 (ja) * 2018-03-27 2019-10-03 パイオニア株式会社 情報送信装置、データ構造、制御方法、プログラム及び記憶媒体
WO2019188886A1 (ja) * 2018-03-30 2019-10-03 パイオニア株式会社 端末装置、情報処理方法、プログラム、及び、記憶媒体
CN110351686B (zh) * 2018-04-02 2021-10-26 京东方科技集团股份有限公司 车联网数据传输系统中实施的方法、车载单元、以及车联网数据传输系统
CN110388928B (zh) * 2018-04-20 2022-02-08 比亚迪股份有限公司 导航系统和导航地图的更新方法、装置
CN110388929B (zh) * 2018-04-20 2022-04-15 比亚迪股份有限公司 导航地图更新方法、装置及系统
US11175654B2 (en) * 2018-05-03 2021-11-16 DoorDash, Inc. Virtual vehicle control system
US11014532B2 (en) * 2018-05-14 2021-05-25 Gentex Corporation Vehicle control module for smart home control system
WO2019220590A1 (ja) * 2018-05-17 2019-11-21 三菱電機株式会社 運転支援装置、運転支援方法、運転支援プログラム
JP6766843B2 (ja) * 2018-05-17 2020-10-14 株式会社Soken 自己位置推定装置
CN112602124A (zh) * 2018-06-20 2021-04-02 日产自动车株式会社 用于车辆调度系统的通讯方法、车辆调度系统以及通讯装置
JP2020003348A (ja) * 2018-06-28 2020-01-09 株式会社Soken 位置推定装置、位置推定システム
JP7031748B2 (ja) * 2018-08-08 2022-03-08 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
EP3611849B1 (en) * 2018-08-13 2022-06-15 Accenture Global Solutions Limited Location-based content delivery to vehicles
JP7529379B2 (ja) 2018-08-22 2024-08-06 株式会社ダイヘン 移動体
WO2020053614A1 (ja) * 2018-09-11 2020-03-19 日産自動車株式会社 運転支援方法及び運転支援装置
CN109059940B (zh) * 2018-09-11 2024-08-02 中国测绘科学研究院 一种用于无人驾驶车辆导航制导的方法及系统
CN109195106B (zh) * 2018-09-17 2020-01-03 北京三快在线科技有限公司 列车内定位方法和装置
JP7059881B2 (ja) * 2018-10-04 2022-04-26 トヨタ自動車株式会社 画像処理装置、画像処理方法、およびプログラム
DE102018217840A1 (de) * 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
JP7151387B2 (ja) 2018-11-06 2022-10-12 株式会社デンソー 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法
KR102604821B1 (ko) * 2018-11-09 2023-11-20 에스케이텔레콤 주식회사 차량의 위치 추정 장치 및 방법
JP7143733B2 (ja) * 2018-11-14 2022-09-29 トヨタ自動車株式会社 環境状態推定装置、環境状態推定方法、環境状態推定プログラム
CN109461308B (zh) * 2018-11-22 2020-10-16 东软睿驰汽车技术(沈阳)有限公司 一种信息过滤方法及图像处理服务器
US10704918B2 (en) 2018-11-26 2020-07-07 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
US11127162B2 (en) * 2018-11-26 2021-09-21 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
US11175156B2 (en) 2018-12-12 2021-11-16 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
US11030898B2 (en) * 2018-12-13 2021-06-08 Here Global B.V. Methods and systems for map database update based on road sign presence
CN111380542B (zh) * 2018-12-28 2023-03-17 沈阳美行科技股份有限公司 一种车辆定位、导航方法和装置及相关系统
US20200217667A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Robust association of traffic signs with a map
CN111435538A (zh) * 2019-01-14 2020-07-21 上海欧菲智能车联科技有限公司 定位方法、定位系统和计算机可读存储介质
KR102604298B1 (ko) * 2019-01-28 2023-11-17 에스케이텔레콤 주식회사 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
JP7205695B2 (ja) * 2019-02-18 2023-01-17 トヨタ自動車株式会社 運転支援システム
CN111750880A (zh) * 2019-03-29 2020-10-09 上海擎感智能科技有限公司 一种辅助停车方法及其装置
DE102019206147A1 (de) * 2019-04-30 2020-11-05 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm
US11408739B2 (en) 2019-05-16 2022-08-09 International Business Machines Corporation Location correction utilizing vehicle communication networks
JP7261090B2 (ja) * 2019-05-30 2023-04-19 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、運転支援方法、および運転支援システム
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
CN112414414A (zh) * 2019-08-23 2021-02-26 华为技术有限公司 一种定位方法及定位装置
JP6718005B1 (ja) * 2019-09-05 2020-07-08 株式会社トヨタマップマスター 地図情報生成装置、地図情報生成方法、および地図情報生成プログラム
CN112629546B (zh) * 2019-10-08 2023-09-19 宁波吉利汽车研究开发有限公司 一种位置调节参数确定方法、装置、电子设备及存储介质
CN111076731B (zh) * 2019-10-28 2023-08-04 张少军 自动驾驶高精定位与路径规划方法
US11630454B2 (en) * 2019-12-09 2023-04-18 Plusai, Inc. System and method for coordinating landmark based collaborative sensor calibration
US11579632B2 (en) 2019-12-09 2023-02-14 Plusai, Inc. System and method for assisting collaborative sensor calibration
US11875682B2 (en) 2019-12-09 2024-01-16 Plusai, Inc. System and method for coordinating collaborative sensor calibration
US11087496B2 (en) 2019-12-09 2021-08-10 Plusai Limited System and method for trailer pose estimation
US11852730B2 (en) 2019-12-09 2023-12-26 Plusai, Inc. System and method for collaborative calibration via landmark
US11372406B2 (en) 2019-12-09 2022-06-28 Plusai, Inc. System and method for collaborative sensor calibration
JP7277349B2 (ja) * 2019-12-12 2023-05-18 日立Astemo株式会社 運転支援装置、および、運転支援システム
JP2020073893A (ja) * 2019-12-24 2020-05-14 パイオニア株式会社 地物データ構造、記憶媒体、情報処理装置及び検出装置
CN111414826B (zh) * 2020-03-13 2024-09-06 腾讯科技(深圳)有限公司 一种地标箭头的识别方法、设备及存储介质
CN114885282A (zh) * 2020-04-07 2022-08-09 华为技术有限公司 一种定位方法、装置及系统
CN111536984A (zh) * 2020-05-11 2020-08-14 北京百度网讯科技有限公司 定位方法和装置、车端设备、车辆、电子设备和定位系统
DE102020115743A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zum Bewerten einer digitalen Karte, sowie Bewertungssystem
WO2022009848A1 (ja) * 2020-07-07 2022-01-13 株式会社デンソー 自車位置推定装置、走行制御装置
JP2022014729A (ja) * 2020-07-07 2022-01-20 株式会社デンソー 悪環境判定装置、悪環境判定方法
JP7409257B2 (ja) * 2020-08-07 2024-01-09 株式会社デンソー 信号機認識装置、信号機認識方法、車両制御装置
JP7384131B2 (ja) * 2020-08-31 2023-11-21 トヨタ自動車株式会社 車両の運転支援装置、車両の運転支援方法、およびプログラム
WO2022054712A1 (ja) * 2020-09-09 2022-03-17 株式会社デンソー 地図サーバ、地図配信方法、地図データ構造、車両用装置
CN112200172B (zh) * 2020-12-07 2021-02-19 天津天瞳威势电子科技有限公司 一种可行驶区域的检测方法及装置
US11958506B2 (en) 2020-12-28 2024-04-16 Honda Motor Co., Ltd. Vehicle control device and vehicle control method
JP2021060419A (ja) * 2021-01-05 2021-04-15 パイオニア株式会社 地物認識装置
JP2022123940A (ja) * 2021-02-15 2022-08-25 本田技研工業株式会社 車両制御装置
CN112925867B (zh) * 2021-02-25 2022-05-20 北京百度网讯科技有限公司 定位真值的获取方法、装置及电子设备
JP2022142826A (ja) * 2021-03-17 2022-10-03 本田技研工業株式会社 自車位置推定装置
DE102021204063A1 (de) * 2021-04-23 2022-10-27 Zf Friedrichshafen Ag Abgleich von Kartendaten und Sensordaten
US20220388507A1 (en) * 2021-06-04 2022-12-08 Telenav, Inc. Vehicle system with mechanism for determining clear path and method of operation thereof
WO2023286806A1 (ja) * 2021-07-16 2023-01-19 株式会社小糸製作所 静止物情報取得装置、プログラム、及び静止物情報取得方法
WO2023286811A1 (ja) * 2021-07-16 2023-01-19 株式会社小糸製作所 静止物情報蓄積システム、プログラム、及び静止物情報記憶方法
JPWO2023286810A1 (ja) * 2021-07-16 2023-01-19
DE102021126288A1 (de) 2021-10-11 2023-04-13 Cariad Se Verfahren und Vorrichtung zum Bestimmen einer Eigenposition eines Fahrzeugs
EP4170389A1 (en) * 2021-10-22 2023-04-26 Aptiv Services Poland S.A. Methods and apparatuses for supporting vehicle-to-infrastructure, v2i, communication
DE102022106571A1 (de) 2022-03-21 2023-09-21 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Fahrzeugs
DE102022112543A1 (de) 2022-05-19 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Befähigung der Lokalisierung anhand einer Landmarke

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152348A (ja) 1995-12-01 1997-06-10 Pioneer Electron Corp カーナビゲーション装置
JP4718396B2 (ja) 2006-08-24 2011-07-06 日立オートモティブシステムズ株式会社 ランドマーク認識システム
JP4984152B2 (ja) * 2007-08-31 2012-07-25 アイシン・エィ・ダブリュ株式会社 画像認識システム、サーバ装置、及び画像認識装置
JP2011113245A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 位置認識装置
JP2012002595A (ja) * 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP2012203722A (ja) * 2011-03-25 2012-10-22 Aisin Aw Co Ltd 地物選定システム、地物選定プログラム及び地物選定方法
JP5708308B2 (ja) * 2011-06-30 2015-04-30 アイシン・エィ・ダブリュ株式会社 参照データ取得装置、参照データ取得システム、参照データ取得方法、及び参照データ取得プログラム
JP5679203B2 (ja) * 2011-08-31 2015-03-04 アイシン・エィ・ダブリュ株式会社 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
US9235766B2 (en) * 2011-10-20 2016-01-12 International Business Machines Corporation Optimizing the detection of objects in images
KR101703177B1 (ko) * 2011-12-14 2017-02-07 한국전자통신연구원 차량 위치 인식 장치 및 방법
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7123487B2 (ja) 2018-11-22 2022-08-23 矢崎総業株式会社 端子作業装置

Also Published As

Publication number Publication date
EP3078937A4 (en) 2017-07-05
WO2015083538A1 (ja) 2015-06-11
EP3078937B1 (en) 2019-07-17
JP2015108604A (ja) 2015-06-11
CN105793669B (zh) 2020-06-26
EP3078937A1 (en) 2016-10-12
CN105793669A (zh) 2016-07-20
US20160305794A1 (en) 2016-10-20
US9983022B2 (en) 2018-05-29

Similar Documents

Publication Publication Date Title
JP6325806B2 (ja) 車両位置推定システム
CN110146097B (zh) 自动驾驶导航地图的生成方法、系统、车载终端及服务器
US10303168B2 (en) On-vehicle control device, host vehicle position and posture specifying device, and on-vehicle display device
US20180045516A1 (en) Information processing device and vehicle position detecting method
JP5404861B2 (ja) 静止物地図生成装置
CN106463051B (zh) 信号机识别装置以及信号机识别方法
JP5388082B2 (ja) 静止物地図生成装置
JP7310313B2 (ja) 位置補正サーバ、位置管理装置、移動体の位置管理システム及び方法、位置情報の補正方法、コンピュータプログラム、車載装置並びに車両
JP2016156973A (ja) 地図データ記憶装置、制御方法、プログラム及び記憶媒体
JP2015114126A (ja) 自車位置検出装置
CN114080537B (zh) 收集与可导航网络有关的用户贡献数据
KR20180056675A (ko) 디지털 맵을 생성하기 위한 방법 및 시스템
US11002553B2 (en) Method and device for executing at least one measure for increasing the safety of a vehicle
JP5734521B2 (ja) 車載機およびセンター装置
JP2019078700A (ja) 情報処理装置および情報処理システム
WO2019031582A1 (ja) 画像収集システム、画像収集方法、画像収集装置、記録媒体、および車両用通信装置
CN112883058A (zh) 用于车辆定位的标定方法、装置、设备、车辆和介质
JP2023174739A (ja) データ構造、情報処理装置、及び地図データ生成装置
JP2024026588A (ja) 画像認識装置、及び画像認識方法
JP2022141724A (ja) 情報処理装置、計測装置及び制御方法
JP2019174191A (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
JP2018055715A (ja) 車線認識装置、車線認識方法
JP2020101924A (ja) 情報処理システム、プログラム、及び情報処理方法
JP6523907B2 (ja) 車間距離検出システム、車間距離検出方法、およびプログラム
JP2021189304A (ja) 地図データ収集装置及び地図データ収集用コンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160729

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160729

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180413

R150 Certificate of patent or registration of utility model

Ref document number: 6325806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250