JP4277717B2 - Vehicle position estimation device and driving support device using the same - Google Patents

Vehicle position estimation device and driving support device using the same Download PDF

Info

Publication number
JP4277717B2
JP4277717B2 JP2004075511A JP2004075511A JP4277717B2 JP 4277717 B2 JP4277717 B2 JP 4277717B2 JP 2004075511 A JP2004075511 A JP 2004075511A JP 2004075511 A JP2004075511 A JP 2004075511A JP 4277717 B2 JP4277717 B2 JP 4277717B2
Authority
JP
Japan
Prior art keywords
information
map
vehicle
lane
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004075511A
Other languages
Japanese (ja)
Other versions
JP2005265494A (en
Inventor
徳久 柳原
和範 高橋
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2004075511A priority Critical patent/JP4277717B2/en
Publication of JP2005265494A publication Critical patent/JP2005265494A/en
Application granted granted Critical
Publication of JP4277717B2 publication Critical patent/JP4277717B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の位置を推定して運転を支援する運転支援装置に関する。   The present invention relates to a driving support apparatus that supports driving by estimating the position of a vehicle.
近年、自動車運転における安全性や快適性向上を目的として、様々な装備が車両に取り付けられてきている。そして、自動車は事故の発生を防止する機能を搭載して、継続的な安全性向上を目指して進化していく方向にある。事故の発生を防止するためには、事故に至る前に運転者に警報を発生して運転者の判断で減速や操舵することで回避する方法と、スロットルやブレーキ,操舵を運転者を経ずに機械的に制御して回避する方法がある。   In recent years, various equipment has been attached to vehicles for the purpose of improving safety and comfort in driving a car. And, automobiles are equipped with a function to prevent accidents and are evolving to continuously improve safety. In order to prevent the occurrence of an accident, a warning is issued to the driver before reaching the accident, and the vehicle is decelerated and steered at the discretion of the driver, and the throttle, brake and steering are bypassed by the driver. There is a method to avoid it by mechanical control.
ここで、警報や制御の機能を向上させようとすると、車両の現在位置やその位置情報が参照する地図情報に対して高い精度が必要になってくる。例えば、停止線の位置に停止するようにスロットルとブレーキを制御したり、車線逸脱時に操舵により車線中央を走行するように制御したり、急カーブで車線を逸脱しないようにスロットルと操舵を制御したりする場合などは精度が要求される応用であると言える。   Here, if it is going to improve the function of a warning or control, a high precision will be needed with respect to the current position of the vehicle and the map information referred to by the position information. For example, the throttle and brake are controlled to stop at the position of the stop line, the throttle and the steering are controlled not to deviate from the lane on a sharp curve, or to control the vehicle to travel in the center of the lane by steering when the lane departs. It can be said that this is an application that requires accuracy.
位置情報に関しては、現在自動車ではGPS測位を活用した現在位置推定がナビゲーションシステムを主要な応用として用いられている。しかし、GPSは場所や時刻によってその精度が大きく変動するため、それを現在位置として精度の高い警報や制御への適用するには限界がある。   With regard to position information, in current automobiles, current position estimation using GPS positioning is used as a main application of navigation systems. However, since the accuracy of GPS varies greatly depending on the location and time, there is a limit to applying it to a highly accurate alarm or control using this as the current position.
一方、車載カメラで撮影した映像から白線などの車線境界線を抽出して横方向の現在位置を推定して警報や制御に用いる技術が実用化されているが、撮影した範囲の情報しか用いられないため、例えば高速で走行している場合は、カーブ手前での減速や停止線で停止するための減速が困難な場合がある。   On the other hand, a technology that extracts the lane boundary line such as a white line from the video captured by the in-vehicle camera and estimates the current position in the lateral direction and uses it for warning and control has been put into practical use, but only information on the captured range is used. Therefore, for example, when traveling at a high speed, it may be difficult to decelerate before the curve or to stop at the stop line.
これらの問題を解決して車両位置を高精度に求める方法として、車載カメラで撮影した映像から道路形状情報を抽出し、地図データと照合する方法が、特開平6−94470号公報に開示されている。同様に、車載カメラで撮影した映像から信号機,標識,車線数,道路幅等の情報を抽出し、地図情報と比較して現在位置を修正する方法が特開平9−
152348号公報に開示されている。
As a method for solving these problems and obtaining a vehicle position with high accuracy, a method for extracting road shape information from a video taken by an in-vehicle camera and collating it with map data is disclosed in JP-A-6-94470. Yes. Similarly, a method of extracting information such as traffic lights, signs, the number of lanes, road width, etc. from a video photographed by an in-vehicle camera and correcting the current position by comparing it with map information is disclosed in Japanese Patent Laid-Open No. 9-9
It is disclosed in Japanese Patent No. 152348.
特開平6−94470号公報Japanese Patent Laid-Open No. 6-94470 特開平9−152348号公報Japanese Patent Laid-Open No. 9-152348
ところが、特開平6−94470号公報の方法では、車載カメラ画像と道路情報のみを用いて照合する地点を探そうとすると、例えば直線道路では照合する地点が複数存在することになり現在位置が一意に求まらないという問題点がある。   However, in the method disclosed in Japanese Patent Application Laid-Open No. 6-94470, if an attempt is made to find a point to be collated using only the in-vehicle camera image and road information, for example, there are a plurality of points to be collated on a straight road, and the current position is unique. There is a problem that it is not found in.
また、特開平9−152348号公報の方法では、車載カメラの映像に照合可能な特徴的な物体が存在する場合はある程度正確な現在位置を推定することが可能であるが、存在しない区間での精度が保障されないという問題点がある。   In the method disclosed in Japanese Patent Laid-Open No. 9-152348, when there is a characteristic object that can be collated with the image of the in-vehicle camera, it is possible to estimate the current position to some extent accurate. There is a problem that accuracy is not guaranteed.
本発明は、自動車の高精度位置を推定するために、車載カメラで撮影した画像から車線境界線とランドマーク(路面表示や道路標識など)を抽出し、道路の詳細地図情報との車線レベルでの整合性チェックにこの二つの情報を組み合わせて用い、これらの情報が存在しない箇所では車速情報を用いることを特徴とする。この時、GPSによって得られた概略の位置情報を用いて整合性チェックを行う詳細地図情報内の対象範囲を絞り込む。   The present invention extracts a lane boundary line and a landmark (such as a road surface display or a road sign) from an image taken by an in-vehicle camera in order to estimate a high-accuracy position of an automobile, and at a lane level with detailed map information on the road. These two pieces of information are used in combination for the consistency check, and the vehicle speed information is used at a place where these pieces of information do not exist. At this time, the target position in the detailed map information for performing the consistency check is narrowed down using the approximate position information obtained by GPS.
そして、推定した高精度位置と抽出された部分的な詳細地図情報を用いて、車両の警報・制御を実行する。警報や制御の判定では、正確な現在位置情報だけでなく、目的地までの経路情報とその経路上の詳細地図情報を用いて、目標値を設定する。警報タイミングは、運転者の警報に対する認識遅れ,機器の操作遅れ等を考慮して設定する。また、近年のハイブリット車のように二つのパワー源を切り換えて利用可能な自動車に対しては、道路勾配を考慮した最適な運転モードを実現する目標を設定する。   Then, alarm / control of the vehicle is executed using the estimated high-accuracy position and the extracted partial detailed map information. In the alarm and control determination, the target value is set using not only accurate current position information but also route information to the destination and detailed map information on the route. The alarm timing is set in consideration of a driver's alarm recognition delay, device operation delay, and the like. For a car that can be used by switching between two power sources, such as a hybrid car in recent years, a target for realizing an optimum driving mode in consideration of a road gradient is set.
ここで、ある程度の走行工程を想定した制御目標を設定する時に必要な経路情報を現在地と目的地から概略地図(ここでは現在のナビゲーションシステムで用いられているレベルの詳細度の地図を想定している)を用いて算出し、その算出した経路上に存在する詳細地図情報を抽出して、上記の警報・制御を実行する機能に送る。   Here, the route information necessary for setting a control target that assumes a certain amount of driving process is outlined from the current location and destination (assuming a map with the level of detail used in the current navigation system) The detailed map information existing on the calculated route is extracted and sent to the function for executing the alarm / control.
また、道路の新設,通行規制,通行止め,道路工事等により走行可能な範囲の詳細地図情報は日々変化すると考えられる。これを警報・制御による運転支援に反映するために、車載の地図DB情報を更新する機能,車載装置から地図更新の要求を受け付ける機能、そして、最新の地図情報を保持する地図サーバを設ける。   In addition, it is considered that the detailed map information of the range that can be traveled changes every day due to new road construction, traffic regulation, traffic closure, road construction, and the like. In order to reflect this in driving support by alarm / control, a function for updating the in-vehicle map DB information, a function for receiving a map update request from the in-vehicle device, and a map server for holding the latest map information are provided.
一方、情報の参照に活用する詳細地図DBを生成するために、車両に設置し、前方を撮影するカメラにて連続的に画像を取得し、取得した画像から部分的な車線境界線の点列情報を抽出し、それぞれ抽出した画像を道路路面鉛直方向から見たときのデータに変換したものを最も整合するように重ね合わせて、詳細な車線境界線データを生成する。この時、重ね合わせ誤差の累積を防ぐために、路面標示や道路標識などのランドマークの正確な位置を別途測定してデータベース化しておくことで、撮影した画像内のランドマークの正確な位置の参照点とする。また、別途測定された地図上の代表点における標高データを参照して、道路路面に沿った軸で表現された車線点列情報を三次元の標高情報に変換する。   On the other hand, in order to generate a detailed map DB to be used for referring to information, images are continuously acquired by a camera that is installed in a vehicle and images the front, and a partial lane boundary line sequence from the acquired images Information is extracted, and each extracted image is converted into data when viewed from the road surface vertical direction to superimpose the data so as to be most closely matched, thereby generating detailed lane boundary data. At this time, in order to prevent the accumulation of overlay errors, the exact position of landmarks such as road markings and road signs are separately measured and stored in a database so that the exact position of the landmarks in the captured image can be referenced. Let it be a point. Further, lane point sequence information expressed by an axis along the road surface is converted into three-dimensional elevation information with reference to elevation data at representative points on the map measured separately.
本発明により車両の走行シーンの多くの場面で安定して運転支援を実施できるという利点がある。   According to the present invention, there is an advantage that driving assistance can be stably implemented in many scenes of a vehicle traveling scene.
また、地図DBの更新機能を設けることで、一時的に車線の通行規制がかかった場合などでも適切な運転支援を実現することが可能となる。   In addition, by providing a map DB update function, it is possible to realize appropriate driving support even when lane traffic is temporarily restricted.
車載カメラによって取得した局所的な道路線形が詳細な地図情報DBで整合する箇所を同定することで車両の高精度位置を推定する。そして、この位置情報を利用した運転支援を実現し、一方、地図情報を更新する機能も提供する。   A high-accuracy position of the vehicle is estimated by identifying a location where the local road alignment acquired by the in-vehicle camera matches in the detailed map information DB. And the driving assistance using this position information is realized, while the function of updating the map information is also provided.
本発明装置は、高精度で検知した車両位置に基づく運転支援を実現するために、車載カメラで撮影した画像情報から求めた局所的な道路線形情報と別途取得した詳細な道路線形情報が最も整合する箇所を同定することで正確な現在位置を求める位置推定装置,車両の走行経路およびその経路上での詳細地図情報を抽出する経路情報生成装置,正確な位置と経路・詳細地図情報により運転支援する警報・制御装置から構成され、更に、詳細地図を最新情報に更新するための地図更新車載装置,車両からの地図更新要求を受け付ける地図更新基地局,最新地図サーバもその構成に含まれる。   In order to realize driving support based on the vehicle position detected with high accuracy, the device of the present invention most closely matches the local road alignment information obtained from the image information captured by the in-vehicle camera and the detailed road alignment information separately acquired. A position estimation device that determines the current position by identifying the location to be used, a route information generation device that extracts detailed map information on the vehicle's travel route and the route, and driving assistance based on accurate position and route / detail map information Further, the configuration includes a map update vehicle-mounted device for updating a detailed map to the latest information, a map update base station that accepts a map update request from the vehicle, and a latest map server.
図1は、本発明装置の構成要素の一つである位置推定装置100を中心に、その機能構成を示したものである。位置推定装置100は、まず、GPSにより現在位置を求める
GPS測位部101,車線線形やランドマーク(道路標示,標識など)の位置種別等の情報を含んだ詳細地図DB102と、このGPS測位部101と詳細地図DB102からの情報を用いてGPS測位で得られた位置近傍の地図を抽出する部分詳細地図抽出部103を有する。部分地図情報を抽出するのは、膨大な詳細地図情報の中から、後述する車載カメラで取得した局所的な車線レベルの道路線形情報との整合箇所の同定を高速にかつ精度よく実施するためである。
FIG. 1 shows the functional configuration of a position estimation device 100 that is one of the components of the device of the present invention. The position estimation apparatus 100 first includes a GPS positioning unit 101 that obtains the current position by GPS, a detailed map DB 102 that includes information such as the position type of lane alignment and landmarks (road markings, signs, etc.), and the GPS positioning unit 101. And a partial detailed map extraction unit 103 that extracts a map near the position obtained by GPS positioning using information from the detailed map DB 102. Partial map information is extracted in order to quickly and accurately identify locations that match local lane-level road alignment information acquired by an in-vehicle camera (described later) from a large amount of detailed map information. is there.
また、車載カメラ105で撮影した画像情報から白線などの車線レベルの道路線形情報を抽出する白線抽出部106と、同じ撮影した画像情報からランドマークを抽出するランドマーク抽出部107により、現在位置同定に必要な情報を求める。   Further, the current position identification is performed by a white line extraction unit 106 that extracts road line information of a lane level such as a white line from image information captured by the in-vehicle camera 105 and a landmark extraction unit 107 that extracts landmarks from the same captured image information. Ask for the information you need.
現在位置推定部108は、車速検知部104で得られた車速情報を用いて、車両の移動量を求め、そこから車両の現在位置を推定する一方、詳細地図情報が存在する地点では、部分詳細地図抽出部103から得られた詳細地図の中で、白線抽出部106とランドマーク抽出部107から得られた情報を用いて、車載カメラで得られたシーンと詳細地図情報が整合する地点を同定し、新たな高精度な車両位置として求める。   The current position estimation unit 108 uses the vehicle speed information obtained by the vehicle speed detection unit 104 to determine the amount of movement of the vehicle and estimates the current position of the vehicle from the vehicle position information. Using the information obtained from the white line extraction unit 106 and the landmark extraction unit 107 in the detailed map obtained from the map extraction unit 103, a point where the scene obtained by the in-vehicle camera matches the detailed map information is identified. Then, it is obtained as a new highly accurate vehicle position.
現在位置推定部108で求められた現在位置・局所地図情報は、警報・制御装置200へ送られ、運転支援に活用される一方、GPS測位部101で求められた位置情報と詳細地図DB102は経路情報生成装置300に送られ、運転支援対象となる経路やその経路上での詳細地図生成に活用される。   The current position / local map information obtained by the current position estimating unit 108 is sent to the alarm / control device 200 and used for driving support, while the position information obtained by the GPS positioning unit 101 and the detailed map DB 102 are routed. The information is sent to the information generation device 300 and used for generating a route to be a driving assistance target and a detailed map on the route.
ここで、本発明装置にて運転支援する車両が走行する道路について図4を用いて説明する。この例では道路ネットワーク400は、格子状に配置された道路網を形成しており、その道路網上の破線で囲まれた道路に関してのみ、詳細な道路情報が存在するものとする。そして、現在地401から目的地402に至るまでに、車両は地点A403,地点B
404,地点C405を経由する経路406を通行するものとする。この例では、車両は経路406上の地点A403から地点C405に至る区間にのみ詳細地図情報が存在し、現在地401から地点A403に至る区間と地点C405から目的地402に至る区間ではナビ地図情報しか存在しないことを示している。
Here, a road on which a vehicle for driving assistance by the device of the present invention travels will be described with reference to FIG. In this example, it is assumed that the road network 400 forms a road network arranged in a lattice pattern, and detailed road information exists only for roads surrounded by broken lines on the road network. And, from the current location 401 to the destination 402, the vehicle is at point A403, point B
It is assumed that a route 406 passing through 404 and the point C405 is passed. In this example, the vehicle has detailed map information only in the section from the point A403 to the point C405 on the route 406, and only the navigation map information in the section from the current location 401 to the point A403 and the section from the point C405 to the destination 402. Indicates that it does not exist.
また、車載カメラ105で撮像した画像から収集する白線情報に関しても、交差点内や住宅地,道路外の駐車場など必ずしも、明確に線引きされていない箇所があったり、同じく車載カメラ105の画像から収集するランドマーク情報に関しても、路面標示や標識など道路上で離散的にしか存在しないものもある。よって、詳細地図,白線,ランドマークのそれぞれの情報が欠けている場合の処理を十分考慮しておく必要がある。   Also, with regard to white line information collected from images captured by the in-vehicle camera 105, there are places that are not necessarily clearly drawn, such as in intersections, residential areas, and parking lots outside the road, and are also collected from images of the in-vehicle camera 105. Some landmark information, such as road markings and signs, exist only discretely on the road. Therefore, it is necessary to fully consider the processing when the detailed map, white line, and landmark information are missing.
図1における位置推定装置100内の各機能の動作フローを図6を用いて説明する。まず、図6(a)におけるステップ604からステップ608の処理で構成される処理フローについて説明する(以下ではこれをプロセス6−1と称する)。GPS測位部101におけるステップ604のGPSにより概略位置を推定する処理は、GPS受信機を用いて概略位置を求める処理であり、単独測位,ディファレンシャル測位、更にはRTK−GPSなどのキネマティック測位を含む。さらに、GPS測位には、米国のGPS衛星だけでなく、GLONASSやGALILEOなどの衛星および地上に設置された擬似衛星などを利用するものも含む。GPS測位はその方式により精度が異なるほかに、構造物による
GPS信号の遮蔽や反射などの影響を受けるため、場所と時刻によりその測位精度が変化する。よって、ここではGPSで得た位置情報を、容量の大きな詳細地図DBからその近傍のデータを抽出するためのキーとして活用する。
The operation flow of each function in the position estimation apparatus 100 in FIG. 1 will be described with reference to FIG. First, a processing flow including the processing from step 604 to step 608 in FIG. 6A will be described (hereinafter, this will be referred to as process 6-1). The process of estimating the approximate position by the GPS in step 604 in the GPS positioning unit 101 is a process of obtaining the approximate position using a GPS receiver, and includes single positioning, differential positioning, and further kinematic positioning such as RTK-GPS. . Further, the GPS positioning includes not only GPS satellites in the United States but also satellites such as GLONASS and GALILEO and pseudo-satellite installed on the ground. The accuracy of GPS positioning varies depending on the method, and the positioning accuracy varies depending on the location and time because it is affected by the shielding and reflection of GPS signals by structures. Therefore, here, the position information obtained by GPS is used as a key for extracting data in the vicinity of the detailed map DB having a large capacity.
なお、本実施例では詳細地図DBからデータを抽出する際の概略位置をGPS測位により求める構成としているが、道路上に位置を表すマーカーなどが後述するランドマークとは別にペイントされていれば、車載カメラによる映像から概略位置を検出することが可能となり、GPS測位部を省略した構成とすることも可能である。   In this embodiment, the approximate position when extracting data from the detailed map DB is determined by GPS positioning. However, if a marker representing the position on the road is painted separately from the landmarks described later, It is possible to detect the approximate position from the video by the in-vehicle camera, and the GPS positioning unit can be omitted.
ステップ605のGPS測位精度情報により詳細地図抽出範囲を設定する処理は、GPS衛星からの測位信号に含まれるインティグリティの情報や、道路の地点毎に別途測定、あるいは算定したGPS衛星信号の受信状況情報を用いて抽出範囲を設定する処理である。基本的には受信精度が高いときには抽出範囲を狭く、受信精度が低いときは抽出範囲を広く設定する。設定方法には入手可能な情報に応じて範囲を定めておく方法や、GPS測位位置の実測に基づく誤差情報を元に範囲を定める方法などがある。   The process of setting the detailed map extraction range based on the GPS positioning accuracy information in step 605 includes receiving the information on the integrity included in the positioning signal from the GPS satellite and the GPS satellite signal separately measured or calculated for each point on the road. This is processing for setting an extraction range using situation information. Basically, the extraction range is narrow when the reception accuracy is high, and the extraction range is set wide when the reception accuracy is low. As a setting method, there are a method of determining a range according to available information, a method of determining a range based on error information based on actual measurement of a GPS positioning position, and the like.
次に、部分詳細地図抽出部103におけるステップ606の範囲内の詳細地図存在有無を判定する処理は、ステップ604で得られた概略位置に基づきステップ605で設定した範囲について、詳細地図DB内に詳細地図情報が存在するかどうかを判定するものであり、詳細地図情報が存在しない場合は、ステップ607の判断処理でステップ604の処理へ戻る。一方、詳細地図情報が存在する場合は、詳細地図DB102より該当範囲内の部分地図情報を抽出し、他の処理プロセスからも参照可能な箇所にこうして求めた情報を保存する(ステップ608)。これらの部分詳細地図抽出部103における処理が走行中に繰り返し実行される。この場合、図9のようにGPS測位位置1202を中心とし、設定した範囲を半径とする円状の詳細地図の抽出範囲1203を想定して、存在有無の判定や詳細地図情報を抽出を実施する。またオプションとして、マップマッチング技術を用いて、GPS位置を道路上の位置に再配置してから判定や抽出を実施したり、円状領域に含まれる道路の種別や重要度に応じて判定・抽出する詳細道路の範囲を変更しても良い。   Next, the process of determining the presence / absence of a detailed map within the range of Step 606 in the partial detailed map extraction unit 103 is detailed in the detailed map DB for the range set at Step 605 based on the approximate position obtained at Step 604. Whether the map information exists is determined. If the detailed map information does not exist, the process returns to step 604 in the determination process of step 607. On the other hand, if the detailed map information exists, the partial map information within the corresponding range is extracted from the detailed map DB 102, and the information thus obtained is stored in a place that can be referred to from other processing processes (step 608). The processing in the partial detailed map extraction unit 103 is repeatedly executed during traveling. In this case, as shown in FIG. 9, assuming the circular detailed map extraction range 1203 centered on the GPS positioning position 1202 and having the set range as the radius, the presence / absence determination and the detailed map information are extracted. . Also, as an option, using map matching technology, the GPS position is rearranged to a position on the road, and then judgment and extraction are performed, or judgment and extraction are performed according to the type and importance of the road included in the circular area The range of detailed roads to be changed may be changed.
次に図6(b)よって、ステップ609からステップ612の処理で構成される白線抽出部106における処理とステップ614からステップ616の処理で構成されるランドマーク抽出部107における処理のフローについて説明する(以下ではこれらをプロセス6−2と称する)。ステップ609の車載カメラの映像を取得する処理は、図1における車載カメラ105で撮影した映像データを読み込む処理である。図9において車両1205に搭載された車載カメラ105から撮像した車載カメラ撮像範囲1204のイメージを示す。ステップ610における映像データより白線など車線境界線を抽出する処理は、車載カメラ105で撮影した画像情報から、白線や黄線などの車線境界を示す情報を抽出する処理であり、抽出処理の方式それ自体には種々の画像処理技術を適用することが可能であるが、道路の走行中には車線境界を明確に抽出できない箇所も存在するため、車線境界線が抽出できたか否かを判断し(ステップ611)、境界線が抽出できなかった場合にはステップ614の処理へ移る。もし、車線境界線を抽出することができた場合には、その車線境界線情報を他の処理プロセスからも参照可能な記憶領域に保存する(ステップ612)。この時、抽出した境界線情報は、道路詳細DBの情報との整合性を判定するために、車載カメラのカメラパラメータ(設置高さ,画角,俯角,焦点距離など)を考慮して、2次元もしくは3次元の点列情報として表現する。   Next, with reference to FIG. 6B, a flow of processing in the white line extraction unit 106 constituted by the processing from step 609 to step 612 and processing in the landmark extraction unit 107 constituted by the processing from step 614 to step 616 will be described. (In the following, these are referred to as process 6-2). The process of acquiring video from the in-vehicle camera in step 609 is a process of reading video data captured by the in-vehicle camera 105 in FIG. FIG. 9 shows an image of the in-vehicle camera imaging range 1204 captured from the in-vehicle camera 105 mounted on the vehicle 1205. The process of extracting the lane boundary line such as a white line from the video data in step 610 is a process of extracting information indicating the lane boundary such as a white line or a yellow line from the image information photographed by the in-vehicle camera 105. Various image processing technologies can be applied to the device itself, but there are locations where the lane boundary cannot be clearly extracted while traveling on the road, so it is determined whether the lane boundary can be extracted ( Step 611) If the boundary line cannot be extracted, the process proceeds to Step 614. If the lane boundary line can be extracted, the lane boundary line information is stored in a storage area that can be referred to by other processing processes (step 612). At this time, in order to determine the consistency between the extracted boundary line information and the information in the road detail DB, the camera parameters (installation height, angle of view, depression angle, focal length, etc.) of the in-vehicle camera are taken into consideration. Expressed as 3D or 3D point sequence information.
次に、ステップ614における映像データより路面標示や標識などのランドマーク候補を抽出する処理は、ステップ609において取り込んだ車載カメラ105で撮影した画像情報から、道路路面上にペインティングされている標示(図9に示すような最高速度表示1207,停止線1209,進行方向1208、あるいは横断歩道、など)や道路標識
1206(規制標識,指示標識,警戒標識,案内標識など)などの道路の付属施設となっているもの(これをランドマークと称する)を抽出する処理である。具体的な処理としては、路面標示を抽出するためには、道路路面と路面標示のコントラストに着目した2値化などの処理を経て抽出されたランドマーク候補に対するパターンの事前学習機能を用いたパターンマッチングの手法が適用できる。一方、道路標識の抽出には、円や四角などの標識形状の特徴を生かしたパターンマッチング手法が適用できる。あるいは、それぞれの特徴量に着目した分類で判別する方式を採用することも可能である。
Next, in the process of extracting landmark candidates such as road markings and signs from the video data in step 614, the markings painted on the road surface from the image information taken by the in-vehicle camera 105 captured in step 609 ( Road speed facilities such as maximum speed display 1207, stop line 1209, traveling direction 1208, or pedestrian crossing as shown in FIG. 9) and road signs 1206 (regulatory signs, instruction signs, warning signs, guidance signs, etc.) This is a process of extracting what is called a landmark. Specifically, in order to extract a road marking, a pattern using a pattern pre-learning function for landmark candidates extracted through processing such as binarization focusing on the contrast between the road road surface and the road marking. A matching method can be applied. On the other hand, for the extraction of road signs, a pattern matching method that makes use of the characteristics of sign shapes such as circles and squares can be applied. Alternatively, it is possible to adopt a method of discriminating by classification focusing on each feature amount.
ただし、道路の走行中にはランドマークが存在しない箇所が数多く存在するため、画像の中にランドマークが存在するか否かを判定し(ステップ615)、ランドマークが存在しない場合には、ステップ609の処理へ戻る。もし、ランドマークが存在すれば、そのランドマーク情報を他の処理プロセスからも参照可能な記憶領域に保存する(ステップ
616)。そして、またステップ609からの処理が繰り返し実行される。抽出したランドマーク情報は前述した車載カメラ105のカメラパラメータを考慮して、2次元もしくは3次元の位置情報としてその種別とともに表現する。
However, since there are many places where there are no landmarks while traveling on the road, it is determined whether or not there are landmarks in the image (step 615). The processing returns to step 609. If a landmark exists, the landmark information is stored in a storage area that can be referred to by other processing processes (step 616). Then, the processing from step 609 is repeatedly executed. The extracted landmark information is expressed together with its type as two-dimensional or three-dimensional position information in consideration of the camera parameters of the in-vehicle camera 105 described above.
そして図7により、ステップ617からステップ623の処理で構成される現在位置推定部108における処理フローについて説明する。まず、上記のプロセス6−1によって部分的詳細地図情報が抽出されたかを判定し(ステップ617)、抽出されていなければ、検知した車速に基づき算出した現在位置を出力する(ステップ623)。もし、部分的詳細地図情報が抽出されていれば、次に、プロセス6−2においてランドマーク情報が抽出されたか判定する(ステップ618)。もしランドマーク情報が抽出されていなければ、次に、車線境界線情報が抽出されたか判定し(ステップ621)、抽出されていなければ、先と同様に検知した車速に基づき算出した現在位置を出力し(ステップ623)、処理フローの最初に戻る。ここで車速検知部104における車速を検知する処理では、例えば車軸の回転情報を検知して、そこでタイヤ径やタイヤ特性を考慮して、車速を求める。そして現在位置を算出する処理では、こうして求めた車速と処理時間間隔の情報を用いて車両の移動量を求め、その時点での車両位置を求め、所定の記憶領域にこの現在位置を保存しておく。車両の移動ベクトル方向での車両位置を求めるのが基本であるが、経路情報生成装置300で求められる経路の情報を参照することにより、その経路上の位置として算出することも可能である。他の処理プロセスからも参照可能な箇所に求めた情報を保存する。以上の処理を繰り返し実行して現在位置が更新される。   With reference to FIG. 7, the processing flow in the current position estimation unit 108 configured by the processing from step 617 to step 623 will be described. First, it is determined whether or not the partial detailed map information has been extracted by the process 6-1 (step 617). If not extracted, the current position calculated based on the detected vehicle speed is output (step 623). If partial detailed map information has been extracted, it is next determined whether or not landmark information has been extracted in process 6-2 (step 618). If landmark information has not been extracted, it is next determined whether or not lane boundary information has been extracted (step 621). If not, the current position calculated based on the detected vehicle speed is output as before. (Step 623), the process returns to the beginning. Here, in the process of detecting the vehicle speed in the vehicle speed detection unit 104, for example, rotation information of the axle is detected, and the vehicle speed is obtained in consideration of the tire diameter and tire characteristics. In the process of calculating the current position, the vehicle movement amount is obtained using the vehicle speed and processing time interval information thus obtained, the vehicle position at that time is obtained, and the current position is stored in a predetermined storage area. deep. Basically, the vehicle position in the direction of the movement vector of the vehicle is obtained, but it is also possible to calculate the position on the route by referring to the route information obtained by the route information generation device 300. Information obtained in a place that can be referred to from other processing processes is stored. The current position is updated by repeatedly executing the above processing.
しかし、車線境界線情報が抽出されていれば、ステップ622において抽出された車線境界線と部分詳細地図との最も整合する地点を算出する処理を実行する。これは、プロセス6−1によって得られた部分的な詳細地図(例えば図9における円状の抽出範囲1203内の車線情報)の中で、プロセス6−2によって得られた車載カメラ撮像の車線情報(例えば図9における車載カメラ撮像範囲1204内の車線情報)が整合する箇所を同定する整合性チェックを行う処理であり、これら2つの情報が揃って実行可能となる。具体的な方法としては、詳細地図DB102における車線情報も、車載カメラ105で撮影した映像から抽出した車線情報も、ともに、2次元もしくは3次元座標で表現された複数の点列から構成される場合を想定する。つまり、図9における車線1201が点列で表現されることを前提とする。   However, if the lane boundary information has been extracted, a process of calculating a point where the lane boundary extracted in step 622 and the partial detailed map are most consistent is executed. This is the lane information for in-vehicle camera imaging obtained by the process 6-2 in the partial detailed map obtained by the process 6-1 (for example, lane information in the circular extraction range 1203 in FIG. 9). This is a process of performing a consistency check for identifying a location where the lane information (for example, lane information in the in-vehicle camera imaging range 1204 in FIG. 9) matches, and these two pieces of information can be executed together. As a specific method, the lane information in the detailed map DB 102 and the lane information extracted from the video captured by the in-vehicle camera 105 are both composed of a plurality of point sequences expressed in two-dimensional or three-dimensional coordinates. Is assumed. That is, it is assumed that the lane 1201 in FIG. 9 is represented by a point sequence.
図9はGPSで求めたGPS測位位置1202が誤差を持っているために、車両1205の実際の位置とずれている様子を示している。そこで、1203のような所定の範囲内の詳細車線の点列に、車載カメラで測定した車線点列の整合性を求め、これを範囲内で少しずつずらしながら繰り返し計算し、最も整合性の高い地点を求めるのである。   FIG. 9 shows a situation where the GPS positioning position 1202 obtained by GPS has an error and is thus deviated from the actual position of the vehicle 1205. Therefore, the consistency of the lane point sequence measured by the in-vehicle camera is obtained for the detailed lane point sequence within a predetermined range such as 1203, and this is repeatedly calculated while gradually shifting within the range, and the highest consistency is obtained. Find the point.
車線情報を用いて行う整合性のチェックは、車載カメラ映像から抽出した車線境界線を二次元もしくは三次元座標値で表現される点系列情報として表現し、一方で詳細地図情報における道路車線の境界線も同様に点系列情報として表現しておき、その点系列情報同士の一致度を求める処理である。   Consistency check using lane information expresses lane boundary lines extracted from in-vehicle camera video as point series information expressed in two-dimensional or three-dimensional coordinate values, while road lane boundaries in detailed map information Similarly, the line is also expressed as point series information, and the degree of coincidence between the point series information is obtained.
例えば、いくつかの代表座標値における二つの点系列の距離を求め、その最小二乗平均を整合性の指標として用いてもよい。そして、絞り込んだ整合対象範囲内で、整合箇所を何箇所か変えてその指標を計算し、その結果、最も指標値の小さな箇所が詳細地図情報内で車載カメラ映像と整合する箇所、即ち車両の正確な現在位置となる。詳細地図情報における車両の現在位置は、例えば、車載カメラ設置位置を原点として撮影した映像や車線境界線の点系列情報を局所座標系で表現したときには、詳細地図情報上での整合箇所においてその原点がどこに位置するかを座標変換によって求めることで得られる。また、ランドマーク情報を用いて車両の現在位置を求めるには、詳細地図情報に事前にその属性と位置情報を登録しておくことで、車載カメラ映像内の局所的なランドマークを抽出して、詳細地図情報を検索してその正確な位置を参照し、上記と同様に車載カメラの車線境界線の点系列情報を整合させて車両の方向を確定させることで、現在位置が得られる。また、道路の標高情報を用いた三次元座標値を用いて整合することでより正確に現在位置を求めることができる。すなわち、車載カメラで得られる映像は二次元の画像である。そこで、詳細地図情報の車線境界線の点系列情報と整合する際に、標高情報から例えば平面の集合体として道路表面を表現し、そこに車載カメラからの画像を整合前にマッピングすることで座標変換し、そのマッピングして座標変換した点系列情報と詳細地図の点系列情報を整合させる。   For example, the distance between two point sequences at several representative coordinate values may be obtained, and the least mean square may be used as an index of consistency. Then, within the narrowed matching target range, the index is calculated by changing the number of matching points, and as a result, the point where the smallest index value matches the vehicle-mounted camera image in the detailed map information, that is, the vehicle Accurate current position. The current position of the vehicle in the detailed map information is, for example, the origin of the image taken from the in-vehicle camera installation position or the point sequence information of the lane boundary line in the local coordinate system. Can be obtained by determining where the is located by coordinate transformation. In addition, in order to obtain the current position of the vehicle using the landmark information, the local landmark in the in-vehicle camera image is extracted by registering the attribute and position information in advance in the detailed map information. The current position can be obtained by searching the detailed map information, referring to the exact position, and aligning the point series information of the lane boundary line of the in-vehicle camera in the same manner as described above to determine the direction of the vehicle. In addition, the current position can be obtained more accurately by matching using a three-dimensional coordinate value using road elevation information. That is, the video obtained with the in-vehicle camera is a two-dimensional image. Therefore, when matching with the point sequence information of the lane boundary line of the detailed map information, the road surface is expressed as an aggregate of planes from the elevation information, for example, and the coordinates from the image from the in-vehicle camera are mapped before matching. The point sequence information that has been converted, coordinated, and coordinate-converted is matched with the point sequence information of the detailed map.
具体的には、前述したようにプロセス6−2により、車載カメラの映像から走行中の車線前方の左右2本の車線境界線点列(以下、車載検知点列と呼ぶ)が求められる。一方、詳細地図DB102全体の中から、その範囲に含まれる全車線点列が求められる。図9の例では詳細地図の抽出範囲1203内の2本の車線点列(以下、抽出車線点列と呼ぶ)がそれに相当する。   Specifically, as described above, by the process 6-2, the left and right two lane boundary line point sequences (hereinafter referred to as in-vehicle detection point sequences) in front of the running lane are obtained from the image of the in-vehicle camera. On the other hand, all lane point sequences included in the range are obtained from the entire detailed map DB 102. In the example of FIG. 9, two lane point sequences (hereinafter referred to as “extracted lane point sequences”) in the extraction range 1203 of the detailed map correspond to that.
最初に、右側の車載検知点列の基点を右側の抽出車線点列の基点に設定し、そこを軸点として最小二乗法等を用いて、右側の車線検知点列が右側の抽出車線点列と最も重なり度合いが大きくなる向きを求める。その時、左側の車載検知点列も、右側の車載検知点列と合わせて位置と向きを移動させる。そして、移動させた左側の車載検知点列と左側の抽出車線点列の重なり度を二乗平均などの指標を用いて求め、こうして求めた指標をこの地点での整合性の指標とする。この処理を、右側の車線検知点列の基点を、右側の抽出車線点列上を所定の間隔ずつ移動させながら繰り返し求めることで、最も整合性の高い地点を車両の位置とするのである。ここで、整合性の算出は左側の車載検知点列を用いても同様に可能であり、また、整合性の指標も、左右両方の重なり度合いを組み合わせて求めてもよい。更に、最も整合する地点を探索する方法としては、所定間隔毎に求める方法の他に、抽出車線点列上を行きつ戻りつする収束計算のように、設定してもよい。以上説明した方法を用いて算出された車両の位置情報および抽出した局所地図情報である車載検知点列情報は、外部に出力され(ステップ620)、また、ステップ604の処理に戻って繰り返し実行される。   First, set the base point of the right vehicle detection point sequence to the base point of the right extracted lane point sequence, and use the least square method etc. as the axis point, the right lane detection point sequence is the right extracted lane point sequence The direction in which the degree of overlap is the largest is obtained. At that time, the position and orientation of the left vehicle-mounted detection point sequence are also moved together with the right vehicle-mounted detection point sequence. Then, the degree of overlap between the moved left-side vehicle detection point sequence and the left-side extracted lane point sequence is obtained using an index such as a mean square, and the thus obtained index is used as the consistency index at this point. This process is repeatedly determined while moving the base point of the right lane detection point sequence on the right extracted lane point sequence by a predetermined interval, so that the most consistent point is set as the vehicle position. Here, the consistency can be calculated in the same manner by using the left in-vehicle detection point sequence, and the consistency index may be obtained by combining both the left and right overlapping degrees. Furthermore, as a method of searching for the most consistent point, in addition to a method of obtaining at every predetermined interval, a convergence calculation that goes back and forth on the extracted lane point sequence may be set. The vehicle position information calculated using the method described above and the in-vehicle detection point sequence information, which is the extracted local map information, are output to the outside (step 620), and the process returns to step 604 and is repeatedly executed. The
ここで、整合性を判定する際に、標高情報を用いることでより精度が高くなる。それを図12を用いて説明する。1501は車載カメラを搭載した車両1502が前方の視野
1503内の道路表面を撮影している状況を示しているが、坂道やカーブのバンクのために、車両の現在位置と撮影範囲1504は必ずしも同じ平面には乗っていないことがある。この場合、このような標高情報を考慮せずに整合性判定には誤差が含まれることになる。これを回避するためには、車載カメラからの車線検知点列と、詳細地図情報からの抽出車線点列間の整合性指標を求める際に、抽出車線点列における標高情報から道路表面を複数の平面(例えば、平面三角)で表現し、その上に、車線検知点列をマッピングする座標変換を経た上で、求めるのである。これにより誤差を補正した正確な整合性指標が得られる。
Here, when determining the consistency, the accuracy is increased by using the altitude information. This will be described with reference to FIG. 1501 shows a situation in which a vehicle 1502 equipped with a vehicle-mounted camera is photographing the road surface in the forward visual field 1503, but the current position of the vehicle and the photographing range 1504 are not necessarily the same because of a bank of slopes and curves. Sometimes it is not on a flat surface. In this case, the consistency determination includes an error without taking such altitude information into consideration. In order to avoid this, when obtaining a consistency index between the lane detection point sequence from the in-vehicle camera and the extracted lane point sequence from the detailed map information, a plurality of road surfaces are obtained from the altitude information in the extracted lane point sequence. It is expressed by a plane (for example, a plane triangle), and is obtained after a coordinate transformation for mapping a lane detection point sequence thereon. As a result, an accurate consistency index with the error corrected can be obtained.
次に、ステップ618の判定処理で、ランドマーク情報が抽出されたと判断された場合は、ステップ619のランドマーク位置を用いて部分詳細地図の最も整合する地点を算出する処理を実行する。これはプロセス6−1によって得られた部分的な詳細地図(例えば図9に示す詳細地図の抽出範囲1203の円状領域内における車線情報)の中で、プロセス6−2で得られた車載カメラ撮像のランドマーク候補の情報(例えば図9における道路標識1206,最高速度表示1207,停止線1209,進行方向1208、など)が整合する箇所を同定するものであり、これら2つの情報が揃って実行可能となる。ここで、参照対象となっているランドマークの位置や属性は別途測量などの方法により計測され、詳細地図DB102に保存されているものとする。   Next, when it is determined in step 618 that the landmark information has been extracted, processing for calculating the most consistent point of the partial detailed map is executed using the landmark position in step 619. This is the in-vehicle camera obtained in the process 6-2 in the partial detailed map obtained by the process 6-1 (for example, lane information in the circular area of the extraction range 1203 of the detailed map shown in FIG. 9). This is to identify a location where information of imaging landmark candidates (for example, the road sign 1206, the maximum speed display 1207, the stop line 1209, the traveling direction 1208, etc. in FIG. 9) matches, and these two pieces of information are executed together It becomes possible. Here, it is assumed that the position and attribute of the landmark to be referred to are separately measured by a method such as surveying and stored in the detailed map DB 102.
具体的には、プロセス6−2によってランドマークの属性と位置が抽出されると、プロセス6−1で抽出された詳細地図情報の中で、その属性に一致するランドマークの中から、検出した位置と最も近いものを選択する。そして、詳細地図情報に記録されている選択されたランドマークの位置情報を用いて、車両の現在位置を求めるのである。以上説明した方法を用いて算出された車両の位置情報および抽出した局所地図情報である車載検知点列情報は、外部に出力され(ステップ620)、ステップ604の処理に戻って実行される。   Specifically, when the attributes and positions of the landmarks are extracted by the process 6-2, it is detected from the landmarks matching the attributes in the detailed map information extracted by the process 6-1. Select the one closest to the location. Then, the current position of the vehicle is obtained using the position information of the selected landmark recorded in the detailed map information. The vehicle position information calculated using the method described above and the in-vehicle detection point sequence information that is the extracted local map information are output to the outside (step 620), and the process returns to step 604 and executed.
図2は、本発明装置の構成要素の一つである警報・制御装置200を中心に、その機能構成を示したものである。警報・制御装置200は、まず、位置推定装置100からの現在位置・局所地図情報を受け取り、更に、経路情報生成装置300からの経路・詳細地図情報を受け取る走行計画生成部201を有する。走行計画生成部201の処理結果を用いて警報判定部202では、運転者に対して警報を発生するかどうか決定し、警報表示部
203により実際に運転者に警報を発するのである。警報の具体的な方式としては、音声出力や警告灯点灯,ハンドルの振動,シートベルトの微小動作などが想定される。
FIG. 2 shows the functional configuration of the alarm / control device 200, which is one of the components of the device of the present invention. The alarm / control device 200 first includes a travel plan generation unit 201 that receives current position / local map information from the position estimation device 100 and further receives route / detailed map information from the route information generation device 300. The alarm determination unit 202 uses the processing result of the travel plan generation unit 201 to determine whether or not to issue an alarm to the driver, and the alarm display unit 203 actually issues an alarm to the driver. As a specific method of alarming, sound output, warning lamp lighting, steering wheel vibration, minute movement of the seat belt, and the like are assumed.
一方、位置情報・詳細地図情報を車両の制御に活用する場合は、走行計画生成部201で求められた運転計画・制御目標値情報を参照して、リアルタイム制御部204にて、スロットル205,ブレーキ206,操舵207に対して制御信号を発する。更に、ハイブリッド車のように車両に複数のパワー系統が存在する場合には、リアルタイム制御部204がパワー切換部208に制御信号を発することで、適切なパワーを選択して走行を制御する。   On the other hand, when the position information / detailed map information is used for vehicle control, the real-time control unit 204 refers to the operation plan / control target value information obtained by the travel plan generation unit 201, and the throttle 205, brake A control signal is issued to 206 and steering 207. Furthermore, when there are a plurality of power systems in the vehicle, such as a hybrid vehicle, the real-time control unit 204 issues a control signal to the power switching unit 208 to select an appropriate power to control the traveling.
ここで、警報・制御装置200の処理フローを図8を用いて説明する。まず図8(a)により、走行計画生成部201において実行されるステップ701からステップ704の処理で構成された処理フローについて説明する(以下ではこれをプロセス7−1と称する)。ステップ701の経路上での走行車線を決定する処理では、位置推定装置100と経路情報生成装置300から送られてくる情報を読み込み、その時点で走行中の車線から経路に沿って進行する時に走行すべき車線列を求めるものである。車線数の増減箇所や交差点手前では、経路情報と車線の進行方向属性を考慮して適切な車線を選択する。   Here, the processing flow of the alarm / control apparatus 200 will be described with reference to FIG. First, referring to FIG. 8A, a processing flow configured by the processing from step 701 to step 704 executed in the travel plan generation unit 201 will be described (hereinafter referred to as process 7-1). In the process of determining the travel lane on the route in step 701, the information sent from the position estimation device 100 and the route information generation device 300 is read, and the vehicle travels when traveling along the route from the currently traveling lane. The lane line to be obtained is obtained. In the area where the number of lanes increases or decreases and before the intersection, an appropriate lane is selected in consideration of the route information and the lane direction attribute.
次に、ステップ702の曲率・停止位置などの制約情報を設定する処理では、カーブで車線逸脱せずに進行可能な最高速度情報や停止線位置、また場合によっては法定規制速度情報をステップ701において決定した車線情報を参照して、経路上での制約条件として付与していく。   Next, in the process of setting constraint information such as curvature and stop position in step 702, the maximum speed information and stop line position that can travel without departing from the lane on the curve, and in some cases legally regulated speed information in step 701 With reference to the determined lane information, it is given as a constraint condition on the route.
そして、その時点での車両の位置,速度を初期値として所定の未来の時刻に至るまでに、その車両をどのように走行させるかの走行計画を作成し、他の処理プロセスから参照可能な記憶領域に保存する(ステップ703)。ここでの走行計画は、車両の未来の時刻・位置・速度の組み合わせ情報を情報系列として所定の時刻まで複数組をまとめたもので表現する。この時、ステップ702で付与した制約条件を考慮する。走行計画は車両をこのように走行させたいというシステム側の目標表現であると言える。   Then, a travel plan for how the vehicle is to be traveled up to a predetermined future time using the current position and speed of the vehicle as initial values is stored, and can be referenced from other processing processes. Save in the area (step 703). The travel plan here is expressed as a combination of a plurality of sets up to a predetermined time using information on a combination of future times, positions, and speeds of the vehicle as an information series. At this time, the constraint condition given in step 702 is considered. It can be said that the travel plan is a target expression on the system side that the vehicle wants to travel in this way.
また、ステップ704における、現時点での走行状態を初期値とした予測走行軌跡を推定し、保存する処理は、例えば、車両が等加速度運動を前提としてこのまま走行するとした時の、車両が進むであろう未来の時刻・位置・速度の組み合わせ情報を情報系列として求める処理である。   Further, in step 704, the process of estimating and saving the predicted travel locus with the current travel state as the initial value is, for example, the vehicle traveling when the vehicle travels as it is on the premise of constant acceleration motion. This is a process for obtaining information on a combination of time, position, and speed in the future as an information series.
次に図8(b)により、警報判定部202におけるステップ705からステップ707の処理で構成される処理フローについて説明する(以下ではこれをプロセス7−2と称する)。このプロセス7−2は運転者に警報を発することで事故の発生を防止することを目的とする機能の一部を担っている。ステップ705における、プロセス7−1によって求められた走行計画と予測走行軌跡から運転者の操作特性を考慮した警報タイミングを設定する処理では、運転者が路面状況又は標識などの認識ミスと言ったヒューマンエラーを発生することを想定し、予測走行軌跡を運転者がヒューマンエラーによって車両を走行させたときに描く走行パターンであるとみなして、予測走行軌跡が走行計画と逸脱しないように運転者に警報を発するタイミングを求める。この走行軌跡の予測には等速運動の仮定や道路線形・勾配の影響を考慮する。つまり、高速走行している場合は、急なカーブでは車線を逸脱する走行軌跡が予測され、また、上り坂では車速が減速する走行軌跡を予測するのである。ここでは、警報を発してから運転者が車両操作を開始するまでの遅れ時間や警報を受けた場合の運転者の車両操作量(スロットルやブレーキの踏み込み量や操舵角度など)を考慮して、どの時点でどのようなレベルの警報を発するかを決定する。   Next, with reference to FIG. 8B, a processing flow constituted by the processing from step 705 to step 707 in the alarm determination unit 202 will be described (hereinafter referred to as process 7-2). This process 7-2 has a part of the function aiming at preventing the occurrence of an accident by issuing an alarm to the driver. In step 705, in the process of setting the alarm timing in consideration of the driver's operation characteristics from the travel plan obtained by the process 7-1 and the predicted travel locus, the driver said that the driver has made a recognition error such as road surface conditions or signs. Assuming that an error will occur, the driver predicts the predicted travel path as a travel pattern drawn when the driver drives the vehicle due to a human error, and warns the driver that the predicted travel path does not deviate from the travel plan. Find the timing to issue. In the prediction of the travel locus, the assumption of constant velocity motion and the influence of road alignment and gradient are taken into consideration. In other words, when traveling at high speed, a traveling locus deviating from the lane is predicted on a steep curve, and a traveling locus on which the vehicle speed is decelerated on an uphill is predicted. Here, taking into account the delay time from when the alarm is issued until the driver starts operating the vehicle and the amount of vehicle operation by the driver when receiving the alarm (the amount of depression of the throttle and brake, the steering angle, etc.) Decide what level of alarm is to be issued at which point.
そして、ステップ706における警報タイミング判定では、その時点が警報を発するタイミングでなければ、再びステップ705の処理に戻るが、もし警報を発するタイミングであれば、次のステップ707における警報表示部203に警報発生信号を送信する処理を実行する。そして、同様にステップ705の処理に戻る。   In the alarm timing determination in step 706, if the timing is not the timing to issue an alarm, the process returns to step 705 again. If the timing is to issue an alarm, the alarm display unit 203 in the next step 707 is alerted. A process of transmitting the generated signal is executed. Similarly, the processing returns to step 705.
更に図8(c)により、リアルタイム制御部204におけるステップ708からステップ710の処理で構成される処理フローについて説明する(以下ではこれをプロセス7−3と称する)。このプロセス7−3はスロットル205やブレーキ206,操舵207,パワー切換部208などを直接制御することで事故の発生を防止することを目的とする機能の一部を担っている。ステップ708におけるプロセス7−1によって求められた走行計画から制御対象別の制御用目標値を算出する処理では、車両の走行計画を実現するために、スロットル205やブレーキ206,操舵207,パワー切換部208に対する制御目標を定める。速度目標はスロットル205とブレーキ206の制御の組み合わせ、位置目標は操舵207,スロットル205,ブレーキ206の制御の組み合わせで目標値を実現させる必要があり、それぞれ乗り心地なども考慮した個別の目標値の定め方が考えられる。   Further, with reference to FIG. 8C, a processing flow constituted by the processing from step 708 to step 710 in the real-time control unit 204 will be described (hereinafter referred to as process 7-3). This process 7-3 has a part of function for the purpose of preventing the occurrence of an accident by directly controlling the throttle 205, the brake 206, the steering 207, the power switching unit 208, and the like. In the process of calculating the control target value for each control target from the travel plan obtained by the process 7-1 in step 708, the throttle 205, the brake 206, the steering 207, and the power switching unit are used to realize the travel plan of the vehicle. A control target for 208 is defined. The speed target needs to be realized by a combination of control of the throttle 205 and the brake 206, and the position target needs to be realized by a combination of the control of the steering 207, the throttle 205, and the brake 206. How to decide is conceivable.
そして、ステップ709における制御装置への制御信号を送信する処理によって、ステップ708で定められた目標値に達するように制御信号を出力し、ステップ710における制御装置から現時点の状態量を受信する処理によって、出力した制御信号に対する応答を受信し、それをフィードバックするためにステップ708の処理へ戻る。   Then, by the process of transmitting the control signal to the control device in step 709, the control signal is output so as to reach the target value determined in step 708, and the current state quantity is received from the control device in step 710. A response to the output control signal is received, and the processing returns to step 708 to feed back the response.
ここでは、これらプロセス7−1,7−2,7−3が並行して動作するように説明したが、プロセス7−2とプロセス7−3はどちらか一方だけを実現することも可能である。   Here, it has been described that these processes 7-1, 7-2, and 7-3 operate in parallel, but it is also possible to realize only one of the process 7-2 and the process 7-3. .
図3は、本発明装置の構成要素の一つである経路情報生成装置300を中心に、その機能構成を示したものである。経路情報生成装置300は、まず、位置推定装置100からGPS測位で求められた位置や詳細地図情報を受け取り、目的地設定部301からの目的地情報と、ナビ地図DB302のデータを参照して、目的地までの経路を求める経路算出部303を有する。経路上詳細地図情報抽出部304では求められた経路上に存在する詳細地図情報を求めて、外部の警報・制御装置200に送信する。   FIG. 3 shows the functional configuration of a route information generation device 300 that is one of the components of the device of the present invention. The route information generation device 300 first receives the position and detailed map information obtained by the GPS positioning from the position estimation device 100, refers to the destination information from the destination setting unit 301 and the data in the navigation map DB 302, A route calculation unit 303 for obtaining a route to the destination is included. The detailed map information extraction unit 304 on the route obtains detailed map information existing on the obtained route and transmits it to the external alarm / control device 200.
ここで、経路情報生成装置300の処理を説明する。まず、図3における目的地設定部301により利用者が入力した目的地を設定することにより、運転支援の対象となる目的地が設定される。これはナビゲーションシステムで使用されている方式を用いることで実現できる。次に経路算出部303により、目的地,GPS位置情報とナビ地図情報より経路を算出して、目的地までの経路を求める。これにもナビゲーションシステム使用されている方式を用いることができる。次に、経路上詳細地図情報抽出部304により、ナビ地図DB302より上記で算出した経路上の詳細地図情報を抽出して警報・制御装置200で用いる情報を求め、最後に、先に算出した経路と抽出された詳細地図情報を警報・制御装置200に送信する。   Here, the process of the route information generation device 300 will be described. First, by setting the destination input by the user by the destination setting unit 301 in FIG. 3, the destination to be the target of driving support is set. This can be realized by using the method used in the navigation system. Next, the route calculation unit 303 calculates a route from the destination, GPS position information, and navigation map information, and obtains a route to the destination. The system currently used for the navigation system can also be used for this. Next, the detailed map information extraction unit 304 extracts the detailed map information on the route calculated above from the navigation map DB 302 to obtain information used in the alarm / control device 200. Finally, the previously calculated route And the extracted detailed map information is transmitted to the alarm / control device 200.
図5は、本発明装置の構成要素である地図更新車載装置500,地図更新基地局510,最新地図サーバ520と、各装置内の機能構成を示した図である。高精度位置情報と詳細地図情報を運転支援に用いる場合は、参照される地図情報を常に最新のものに保持しておくためのシステムが必要である。更新される地図情報としては新設された道路,通行止め区間,工事区間,ランドマークの新設・廃止,属性や位置の変更などが含まれる。   FIG. 5 is a diagram showing a map update vehicle-mounted device 500, a map update base station 510, a latest map server 520 and functional configurations in each device, which are components of the device of the present invention. When using high-accuracy position information and detailed map information for driving support, a system for keeping the map information referred to always up-to-date is necessary. The updated map information includes newly established roads, closed road sections, construction sections, new and abolished landmarks, and changes in attributes and positions.
地図更新車載装置500は、車両に搭載され、車両内の詳細地図DB102やナビ地図DB302の情報を更新する役割を担う。内部に含まれる機能には、地図更新設定部501,地図情報更新部502,現地図情報送信部503,新地図情報受信部504がある。   The map update in-vehicle device 500 is mounted on a vehicle and plays a role of updating information in the detailed map DB 102 and the navigation map DB 302 in the vehicle. The functions included therein include a map update setting unit 501, a map information update unit 502, a local map information transmission unit 503, and a new map information reception unit 504.
ここで、地図更新車載装置500の処理を説明する。まず、地図更新設定部501によって最新の地図情報更新するように設定することにより、地図更新処理が開始される。この地図更新設定を常にオンにしておくことによってユーザによる設定を省略することも可能である。次に、地図情報更新部502により、現在使用中の地図情報に関する情報を抽出して、その時点で車載装置が保持している詳細地図の範囲やバージョン情報を求める。現地図情報送信部503により、この現在使用中の地図情報に関する情報を外部の地図更新基地局510に送る。地図更新基地局510への送信は無線通信を使うことが基本であるが、有線を使うことも可能である。そして、新地図情報受信部504によって、地図更新基地局510からの最新地図情報を受信する。そして、地図情報更新部502により、受信した新しい地図情報を用いて詳細地図DB102とナビ地図DB302の情報を更新する。   Here, the process of the map update vehicle-mounted device 500 will be described. First, the map update process is started by setting the map update setting unit 501 to update the latest map information. It is also possible to omit the setting by the user by always turning on this map update setting. Next, the map information update unit 502 extracts information related to the map information currently in use, and obtains the range and version information of the detailed map held by the in-vehicle device at that time. The local map information transmission unit 503 sends information regarding the currently used map information to the external map update base station 510. Transmission to the map update base station 510 is basically performed using wireless communication, but it is also possible to use wired communication. Then, the new map information receiving unit 504 receives the latest map information from the map update base station 510. Then, the map information update unit 502 updates the information in the detailed map DB 102 and the navigation map DB 302 using the received new map information.
地図更新基地局510は、地上側に設置され、車両からの地図更新要求を受け付け、最新地図サーバから必要な地図情報を入手して車両に送信する役割を担う。内部に含まれる機能には、現地図情報受信部511,地図情報選択要求部512,新地図情報送信部513がある。   The map update base station 510 is installed on the ground side, receives a map update request from the vehicle, and obtains necessary map information from the latest map server and transmits it to the vehicle. The functions included therein include a local map information receiving unit 511, a map information selection requesting unit 512, and a new map information transmitting unit 513.
ここで、地図更新基地局510の処理を説明する。まず、現地図情報受信部511により、地図更新車載装置500から送信された現在使用中の地図情報に関する情報を受信して、要求を送信した車両の保持する地図に関する情報を受け取り、次に、地図情報選択要求部512によって、最新地図サーバ520へ必要な部分の最新情報を要求して、地図更新車載装置500から送信されてきた情報を最新地図サーバ520へ送信する。最新地図サーバ520へ送信する内容は、現地図情報送信部503から送られてくる詳細地図の範囲や地図バージョン情報である。そして、地図情報選択要求部512によって、最新地図サーバ520からの地図情報を受信して、地図更新車載装置500が更新すべき最新地図情報を受け取り、最後に、新地図情報送信部513が地図更新車載装置500に新しい地図情報を送信する。ここで、地図更新基地局510は一般に複数の車両からの要求を処理することになるが、それらに効率的に対応するために、詳細地図情報のキャッシュ機能を設定して、最新地図サーバ520に要求を出す前に、キャッシュ内の情報から探し、キャッシュ内に無い情報を最新地図サーバ520に要求するような構成を実施することも可能である。また、具体的な詳細地図情報の内容に基づく更新方式としては、地図情報全体を入れ替える方式、例えばメッシュ状の指定領域について入れ替える方式や、情報の差分部分だけを入れ替える方式などいくつかの方式を用いて実現可能である。   Here, the processing of the map update base station 510 will be described. First, the local map information receiving unit 511 receives information on the map information currently in use transmitted from the map update vehicle-mounted device 500, receives information on the map held by the vehicle that transmitted the request, and then maps The information selection requesting unit 512 requests the latest information of a necessary part from the latest map server 520, and transmits the information transmitted from the map update in-vehicle device 500 to the latest map server 520. The contents to be transmitted to the latest map server 520 are the detailed map range and map version information transmitted from the local map information transmitting unit 503. Then, the map information selection request unit 512 receives the map information from the latest map server 520, the map update vehicle-mounted device 500 receives the latest map information to be updated, and finally, the new map information transmission unit 513 updates the map. New map information is transmitted to the in-vehicle device 500. Here, the map update base station 510 generally processes requests from a plurality of vehicles, but in order to efficiently deal with them, a detailed map information cache function is set to the latest map server 520. Before issuing a request, it is possible to search from information in the cache and to request the latest map server 520 for information not in the cache. In addition, as a method for updating based on the contents of specific detailed map information, several methods are used such as a method for replacing the entire map information, for example, a method for replacing a mesh-shaped designated area, and a method for replacing only a difference portion of information. Is feasible.
最新地図サーバ520は、地図更新基地局510からの要求に基づいて更新すべき地図情報を抽出して送信する役割を担う。最新地図サーバ520の内部に含まれる機能には、地図情報抽出部521の他に、詳細地図最新DB522とナビ地図最新DB523がある。   The latest map server 520 plays a role of extracting and transmitting map information to be updated based on a request from the map update base station 510. The functions included in the latest map server 520 include a detailed map latest DB 522 and a navigation map latest DB 523 in addition to the map information extraction unit 521.
ここで、最新地図サーバ520の処理を説明する。まず、地図情報抽出部521では、地図更新基地局510からの地図情報送信要求を受け付け、次に、基地局からの要求に対応する最新地図情報を抽出することにより、詳細地図の範囲やバージョンの整合性を確認し、必要に応じて最新の情報を詳細地図最新DB522やナビ地図最新DB523から取り出す。そして、抽出した最新地図情報を地図更新基地局510に送信する。   Here, the process of the latest map server 520 will be described. First, the map information extraction unit 521 accepts a map information transmission request from the map update base station 510, and then extracts the latest map information corresponding to the request from the base station, so that the range and version of the detailed map can be obtained. The consistency is confirmed, and the latest information is taken out from the detailed map latest DB 522 and the navigation map latest DB 523 as necessary. Then, the extracted latest map information is transmitted to the map update base station 510.
ここで、上記の地図更新車載装置500と地図更新基地局510あるいは最新地図サーバ520との情報交換には、無線や有線だけでなく、取り外し可能な記録用メディアを用いることで、地図更新車載装置500が、全地図情報あるいは上述した詳細地図範囲やバージョン情報をその記録用メディアに保存し、そのメディアに対する読み書きが可能な機能を有する地図更新基地局510や最新地図サーバ520から直接更新情報を入手することも可能である。   Here, in order to exchange information between the above-described map update vehicle-mounted device 500 and the map update base station 510 or the latest map server 520, not only wireless and wired communication but also a removable recording medium is used. 500 stores the entire map information or the detailed map range and version information described above in the recording medium, and obtains update information directly from the map update base station 510 or the latest map server 520 having a function capable of reading and writing to the medium. It is also possible to do.
一方、ここまでは参照可能な詳細地図DBが予め部分的にでも存在することを前提として説明してきたが、ここでは、車載カメラによる映像と詳細地図との整合で用いた処理に基づく、詳細地図情報を生成する処理について説明する。ここでの詳細地図情報は主として車線境界線を点列情報として表現したものを指す。   On the other hand, the description has been made on the assumption that the detailed map DB that can be referred to exists even partially in advance, but here, the detailed map is based on the processing used for matching the video by the in-vehicle camera and the detailed map. A process for generating information will be described. The detailed map information here mainly refers to information expressing lane boundary lines as point sequence information.
図10は、車両に搭載して前方を撮影する車載カメラ105により、車両の移動に伴い、その撮像範囲が移動していく様子を示している。撮像範囲1301はある時刻t1における車両位置からその時の車載カメラで撮影した範囲を示している。同様に、撮像範囲
1302,撮像範囲1303は時刻t2,t3における撮像範囲を示している。この時、車載カメラで取得された映像は、それぞれ映像1304,映像1305,映像1306のようになる。映像1305にはランドマークとしての道路標識が撮影されている。そして、後述するように、得られた画像から部分的な車線境界線情報を抽出して、最も整合する箇所で整合させるために、まず、画像を道路の路面鉛直方向から見たように変換する。その変換した画像がそれぞれ画像1307,画像1308,画像1309である。これらの画像から、それぞれ部分的な車線境界線情報を点列情報として抽出しておく。
FIG. 10 shows a state in which the imaging range moves with the movement of the vehicle by the in-vehicle camera 105 mounted on the vehicle and photographing the front. An imaging range 1301 indicates a range captured by a vehicle-mounted camera at that time from a vehicle position at a certain time t1. Similarly, an imaging range 1302 and an imaging range 1303 indicate the imaging range at times t2 and t3. At this time, the images acquired by the in-vehicle camera become images 1304, 1305, and 1306, respectively. In the video 1305, a road sign as a landmark is photographed. Then, as will be described later, in order to extract partial lane boundary information from the obtained image and align it at the most consistent location, first, the image is transformed as seen from the road surface vertical direction. . The converted images are an image 1307, an image 1308, and an image 1309, respectively. Partial lane boundary line information is extracted from each of these images as point sequence information.
この時、整合処理に必要なだけの重なりをもって映像を連続的に撮影しておく。最も記録量が多くなるのは、カメラが映像を取得する周期に合わせて撮影する場合であるが実装する装置のコストが高くなる可能性がある。処理周期をより長く設定することで処理装置のコストを下げることが可能となるが、例えば停止した場合は同じ場面を何度も記録してしまうことになる。本質的には、車両の移動量に基づいて撮像することが最も効率的である。よって、例えば、車速検知部104で入手した車速情報から撮像タイミングを求めて記録する方式が有効である。   At this time, images are continuously photographed with an overlap necessary for the alignment process. The largest amount of recording occurs when the camera shoots in accordance with the period in which video is acquired. However, the cost of the mounted device may increase. Although it is possible to reduce the cost of the processing apparatus by setting a longer processing cycle, for example, when the operation is stopped, the same scene is recorded many times. In essence, it is most efficient to take an image based on the amount of movement of the vehicle. Therefore, for example, a method of obtaining and recording the imaging timing from the vehicle speed information obtained by the vehicle speed detection unit 104 is effective.
次に、図11を用いて部分的な車線境界線情報を繋げていく処理を説明する。図10により説明したように、車載カメラ105で撮影された画像を変換した各画像(1307,1308,1309)から抽出された部分車線境界線情報の中で、まず、時刻t1についての情報を基点とする。次に、車速検知部104で得られた車速情報によって推定された時刻t2における位置を初期位置として、時刻t2の部分車線境界線情報が最も整合する箇所を探索する。この処理には、図1の現在位置推定部108の説明で用いた整合処理が適用できる。ここで、時刻t2の映像にランドマークが撮影されているため、ランドマーク位置DB1401を参照して、絶対位置(緯度,経度)を定め、それ以前の部分車線境界線の点列情報を修正する。二つのランドマーク間の車線境界線情報の補正には誤差が均一になるように修正する方法が適用できる。同様に、時刻t3についての部分車線境界線情報を最も整合する箇所で重ね合わせる。重なった部分の車線境界線点列情報は、時刻
t2,時刻t3のどちらかにおける部分車線境界線情報を選択してもよいし、平均値を代表点としてもよい。
Next, processing for connecting partial lane boundary information will be described with reference to FIG. As described with reference to FIG. 10, in the partial lane boundary information extracted from the images (1307, 1308, 1309) obtained by converting the image captured by the in-vehicle camera 105, first, information about the time t 1 is used as a base point. And Next, using the position at time t2 estimated from the vehicle speed information obtained by the vehicle speed detection unit 104 as an initial position, a part where the partial lane boundary information at time t2 is most consistent is searched. The matching process used in the description of the current position estimating unit 108 in FIG. 1 can be applied to this process. Here, since the landmark is photographed in the video at time t2, the absolute position (latitude and longitude) is determined with reference to the landmark position DB 1401, and the point sequence information of the partial lane boundary before that is corrected. . A method of correcting the lane boundary information between two landmarks so that the error becomes uniform can be applied. Similarly, the partial lane boundary information for time t3 is overlaid at the most consistent location. For the overlapped lane boundary line point sequence information, partial lane boundary line information at either time t2 or time t3 may be selected, or an average value may be used as a representative point.
このようにして最終的には連続的な車線境界線点列を得ることができる。図11の例では、二本の点列情報が得られることになる。なお、ランドマークは従来からある測量によってその位置を求めておくことができる。   In this way, a continuous lane boundary line sequence can be finally obtained. In the example of FIG. 11, two pieces of point sequence information are obtained. The position of the landmark can be obtained by a conventional survey.
さらに、地図の標高情報が参照できれば、三次元座標点列としての車線境界線情報に変換することが可能である。例えば、国土地理院からは、5m,50m,250mメッシュの標高データが刊行されている。そこで、得られた標高情報を代表地点標高DB1402とし、メッシュ点(=代表地点)間を線形補間あるいは滑らかに補間し、そこにリンクレベルの地図(現時点でのナビゲーションシステムで主として用いられているレベルの地図)をマッピングし、その上に、上述した方法で求められる道路進行方向に沿った車線境界線の点列データをはりつける変換を実施することで、点列の各点が三次元座標値を有することになる。更に、標高情報には、カーブにおけるバンクの情報や道路を作るために設けられた盛り土など、道路が機能するために設けられた構造上の情報も含めることにより、より高精度の三次元座標値とする事が出来る。   Furthermore, if the map elevation information can be referred to, it can be converted into lane boundary information as a three-dimensional coordinate point sequence. For example, the Geographical Survey Institute has published altitude data of 5m, 50m, 250m mesh. Therefore, the obtained elevation information is used as the representative point elevation DB 1402, and the mesh points (= representative points) are linearly or smoothly interpolated, and there is a link level map (a level mainly used in the current navigation system). Map), and then, by applying a transformation that attaches the point sequence data of the lane boundary along the road traveling direction obtained by the above-described method, each point of the point sequence has a three-dimensional coordinate value. Will have. In addition, the altitude information includes more accurate three-dimensional coordinate values by including information on the structure provided for the functioning of the road, such as bank information on the curve and embankment provided for creating the road. Can be.
最後に、求められた車線境界線の点列情報を車線境界線DB1404へ保存する。詳細地図構築DB1405はランドマーク位置DB1401と車線境界線DB1404の情報を含んで構成されるものであり、車両で使われる詳細地図DBの元データとなる。つまり図11の詳細地図構築DB1405,図5の詳細地図最新DB522,図1の詳細地図
DB102は情報項目は同じであるが、それぞれが随時アップデートされるため、ある時点では相互の情報バージョンが異なることがある。基本的には詳細地図構築DB1405を元データとしてデータ更新作業を実施し、ある時点でリリース可能になった版を詳細地図最新DB522として最新地図サーバ520で公開する。車両の詳細地図DB102の更新は、地図更新基地局510にてアクセスした時点で実施される。
Finally, the obtained point sequence information of the lane boundary line is stored in the lane boundary line DB 1404. The detailed map construction DB 1405 includes information on the landmark position DB 1401 and the lane boundary line DB 1404, and is the original data of the detailed map DB used in the vehicle. That is, the detailed map construction DB 1405 in FIG. 11, the detailed map latest DB 522 in FIG. 5, and the detailed map DB 102 in FIG. 1 have the same information items, but since each is updated at any time, the information version is different at some point. There is. Basically, the data update operation is performed using the detailed map construction DB 1405 as the original data, and a version that can be released at a certain point of time is disclosed as the detailed map latest DB 522 on the latest map server 520. The vehicle detailed map DB 102 is updated when accessed by the map update base station 510.
このように詳細地図に基づく高精度位置推定が実現されれば、これまで精度が不十分であったGPS測位(マップマッチングによる補正も含む)と簡略的なナビ地図では実現できなかった場合よりも定量的な運転支援が実現できる効果がある。具体的には、従来は例えば「まもなく停止位置です」といった定性的なレベルにとどまっていた支援から「あと○○mで停止位置です」といった定量的な表現を用いて実現することができる。更に、この定量性は、スロットル,ブレーキ,操舵を直接操作する自動制御を実現するときに不可欠であると言える。   If high-accuracy position estimation based on a detailed map is realized in this way, it will be more difficult than GPS positioning (including correction by map matching) and simple navigation maps, which have been insufficient in accuracy. There is an effect that quantitative driving support can be realized. Specifically, it can be realized by using a quantitative expression such as “the stop position is XXm later” from the support that has been limited to a qualitative level such as “it is a stop position soon”. Furthermore, it can be said that this quantitativeness is indispensable when realizing automatic control in which throttle, brake, and steering are directly operated.
このように参照する地図としてナビ地図と詳細地図の二つを用意することで、一般的には全部を整備するためにはコストと時間を要する詳細地図情報が全体の一部しか存在しない場合でも運転支援を連続して実現できる効果がある。   By preparing two navigation maps and detailed maps as reference maps in this way, even if there is only a part of the detailed map information that generally requires cost and time to maintain all There is an effect that driving support can be realized continuously.
本装置を自動車に適用することで安全性向上に寄与できると同時に、鉄道に適用することも可能である。   By applying this device to automobiles, it can contribute to improving safety and can also be applied to railways.
位置推定装置を中心とした構成図である。It is a block diagram centering on a position estimation apparatus. 警報・制御装置を中心とした構成図である。It is a block diagram centering on an alarm / control device. 経路情報生成装置を中心とした構成図である。It is a block diagram centering on a route information generation device. 道路ネットワークの例を示す図である。It is a figure which shows the example of a road network. 地図更新車載装置・地図更新基地局・最新地図サーバにおける構成図である。It is a block diagram in a map update vehicle-mounted apparatus, a map update base station, and the latest map server. 位置推定装置内の処理フローである。It is a processing flow in a position estimation apparatus. 位置推定装置内の処理フローである。It is a processing flow in a position estimation apparatus. 警報・制御装置内の処理フローである。It is a processing flow in the alarm / control device. 詳細地図情報と車載カメラで撮像した範囲を表現した道路の例である。It is an example of the road which expressed the detailed map information and the range imaged with the vehicle-mounted camera. 連続画像から詳細地図情報を生成するための説明図である。It is explanatory drawing for producing | generating detailed map information from a continuous image. 詳細地図情報を生成するための構成図である。It is a block diagram for producing | generating detailed map information. 路面に勾配が有る場合における車載カメラ視野範囲の説明図である。It is explanatory drawing of the vehicle-mounted camera visual field range in case there exists a gradient in a road surface.
符号の説明Explanation of symbols
100…位置推定装置、101…GPS測位部、102…詳細地図DB、103…部分詳細地図抽出部、104…車速検知部、105…車載カメラ、106…白線抽出部、107…ランドマーク抽出部、108…現在位置推定部、200…警報・制御装置、201…走行計画生成部、202…警報判定部、203…警報表示部、204…リアルタイム制御部、205…スロットル、206…ブレーキ、207…操舵、208…パワー切換部、300…経路情報生成装置、301…目的地設定部、302…ナビ地図DB、303…経路算出部、304…経路上詳細地図情報抽出部、500…地図更新車載装置、501…地図更新設定部、502…地図情報更新部、503…現地図情報送信部、504…新地図情報受信部、510…地図更新基地局、511…現地図情報受信部、512…地図情報選択要求部、513…新地図情報送信部、520…最新地図サーバ、521…地図情報抽出部、522…詳細地図最新DB、523…ナビ地図最新DB。

DESCRIPTION OF SYMBOLS 100 ... Position estimation apparatus, 101 ... GPS positioning part, 102 ... Detailed map DB, 103 ... Partial detailed map extraction part, 104 ... Vehicle speed detection part, 105 ... Car-mounted camera, 106 ... White line extraction part, 107 ... Landmark extraction part, DESCRIPTION OF SYMBOLS 108 ... Current position estimation part, 200 ... Warning / control apparatus, 201 ... Travel plan production | generation part, 202 ... Alarm determination part, 203 ... Alarm display part, 204 ... Real time control part, 205 ... Throttle, 206 ... Brake, 207 ... Steering , 208 ... power switching unit, 300 ... route information generating device, 301 ... destination setting unit, 302 ... navigation map DB, 303 ... route calculating unit, 304 ... detailed map information extracting unit on route, 500 ... map update in-vehicle device, 501 ... Map update setting unit 502 ... Map information update unit 503 ... Local map information transmission unit 504 ... New map information reception unit 510 ... Map update base station 51 ... the current map information receiving unit, 512 ... map information selection requesting unit, 513 ... new map information transmission unit, 520 ... latest map server, 521 ... map information extraction unit, 522 ... More Map latest DB, 523 ... navigation map latest DB.

Claims (4)

  1. 車両に搭載された外部撮像手段と、該外部撮像手段によって取得した画像情報に基づき白線情報を抽出する車線境界抽出手段、および道路付属設備情報を抽出する設備抽出手段と、GPS測位による測位結果を求めるGPS測位手段と、地図情報データベースを備えた車両位置推定装置において、
    前記GPS測位手段により求めた測位結果周辺の地図情報を前記地図情報データベースから抽出する地図抽出手段と、
    前記設備抽出手段により道路付属設備情報が抽出された場合は、抽出された道路付属設備と最も整合する地点として当該道路付属設備の属性が一致する最も近い道路付属設備の位置を、前記地図抽出手段により抽出した地図情報の中から探索し、前記車線境界抽出手段により車線境界線情報が抽出された場合は、抽出された車線境界線情報と最も整合する地点として当該車線境界線の車線点列と最も重なる車線点列の位置を、前記地図抽出手段により抽出した地図情報の中から探索する手段を備え、
    該最も整合する地点を車両の現在位置として設定することを特徴とする車両位置推定装置。
    External imaging means mounted on the vehicle, lane boundary extraction means for extracting white line information based on image information acquired by the external imaging means, equipment extraction means for extracting road-attached equipment information, and positioning results by GPS positioning In the vehicle position estimation device provided with the GPS positioning means to be obtained and the map information database,
    Map extraction means for extracting map information around the positioning result obtained by the GPS positioning means from the map information database;
    When the road ancillary equipment information is extracted by the equipment extraction means, the position of the closest road ancillary equipment whose attribute of the road ancillary equipment matches as a point most consistent with the extracted road ancillary equipment is extracted from the map extraction means. When the lane boundary information is extracted by the lane boundary extraction means, the lane point sequence of the lane boundary line is selected as a point most consistent with the extracted lane boundary information. Means for searching the position of the most overlapping lane point sequence from the map information extracted by the map extraction means ;
    A vehicle position estimation apparatus characterized in that the most consistent point is set as the current position of the vehicle.
  2. 車両に搭載された外部撮像手段と、該外部撮像手段によって取得した画像情報に基づき白線情報を抽出する車線境界抽出手段、および道路付属設備情報を抽出する設備抽出手段と、GPS測位による測位結果を求めるGPS測位手段と、地図情報データベースを備えた車両制御装置において、
    前記GPS測位手段により求めた測位結果周辺の地図情報を前記地図情報データベースから抽出する地図抽出手段と、
    前記設備抽出手段により道路付属設備情報が抽出された場合は、抽出された道路付属設備と最も整合する地点として当該道路付属設備の属性が一致する最も近い道路付属設備の位置を、前記地図抽出手段により抽出した地図情報の中から探索し、前記車線境界抽出手段により車線境界線情報が抽出された場合は、抽出された車線境界線情報と最も整合する地点として当該車線境界線の車線点列と最も重なる車線点列の位置を、前記地図抽出手段により抽出した地図情報の中から探索する手段を備え、
    該最も整合する地点を車両の現在位置として設定し、該設定された車両の現在位置情報および前記地図情報に基づき、運転者への支援情報を提示し、車両制御信号を発生させる機能を有することを特徴とする車両制御装置。
    External imaging means mounted on the vehicle, lane boundary extraction means for extracting white line information based on image information acquired by the external imaging means, equipment extraction means for extracting road-attached equipment information, and positioning results by GPS positioning In the vehicle control apparatus provided with the GPS positioning means to be obtained and the map information database,
    Map extraction means for extracting map information around the positioning result obtained by the GPS positioning means from the map information database;
    When the road ancillary equipment information is extracted by the equipment extraction means, the position of the closest road ancillary equipment whose attribute of the road ancillary equipment matches as a point that most matches the extracted road ancillary equipment is extracted from the map extraction means. When the lane boundary information is extracted from the map information extracted by the lane boundary extraction means, the lane point sequence of the lane boundary line as a point most consistent with the extracted lane boundary information Means for searching the position of the most overlapping lane point sequence from the map information extracted by the map extraction means ;
    It has a function of setting the most consistent point as the current position of the vehicle, presenting support information to the driver based on the set current position information of the vehicle and the map information, and generating a vehicle control signal A vehicle control device.
  3. 請求項2記載の車両制御装置において、道路情報を格納したナビゲーション地図情報データベースを更に備え、前記GPS測位手段により求めた位置情報と前記ナビゲーション地図情報データベースから、設定された目的地までの経路を求め、該経路に対応する地図情報を前記地図情報データベースから抽出することを特徴とする車両制御装置。   3. The vehicle control device according to claim 2, further comprising a navigation map information database storing road information, and obtaining a route to a set destination from the position information obtained by the GPS positioning means and the navigation map information database. A vehicle control device that extracts map information corresponding to the route from the map information database.
  4. 請求項1に記載の車両位置推定装置において、予め計測された道路付属設備の位置情報を格納した位置データベースおよび車線情報を格納した車線情報データベースと標高データを格納した標高データベースを備え、前記外部撮像手段により撮影範囲が重なるように連続して撮影した道路画像からそれぞれ部分的な車線情報を抽出し、前記道路画像内に撮像された道路付属設備を参照して、抽出された部分的な車線情報を重複部分で整合させることで連続的な車線情報を生成し、前記GPS測位手段による測位結果に基づき標高データベースから標高情報を求め、該標高情報を参照して補正された車線情報を用いて前記地図情報データベースを更新することを特徴とする車両位置推定装置。   2. The vehicle position estimation apparatus according to claim 1, further comprising: a position database storing pre-measured position information of road accessory facilities; a lane information database storing lane information; and an altitude database storing altitude data; The partial lane information is extracted by extracting partial lane information from the road images continuously captured by the means so as to overlap the shooting ranges, and referring to the road ancillary equipment imaged in the road image. Is generated in the overlapping portion to generate continuous lane information, obtain altitude information from an altitude database based on the positioning result by the GPS positioning means, and use the lane information corrected with reference to the altitude information. A vehicle position estimating apparatus, wherein a map information database is updated.
JP2004075511A 2004-03-17 2004-03-17 Vehicle position estimation device and driving support device using the same Expired - Fee Related JP4277717B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004075511A JP4277717B2 (en) 2004-03-17 2004-03-17 Vehicle position estimation device and driving support device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004075511A JP4277717B2 (en) 2004-03-17 2004-03-17 Vehicle position estimation device and driving support device using the same

Publications (2)

Publication Number Publication Date
JP2005265494A JP2005265494A (en) 2005-09-29
JP4277717B2 true JP4277717B2 (en) 2009-06-10

Family

ID=35090223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004075511A Expired - Fee Related JP4277717B2 (en) 2004-03-17 2004-03-17 Vehicle position estimation device and driving support device using the same

Country Status (1)

Country Link
JP (1) JP4277717B2 (en)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4760274B2 (en) * 2005-09-30 2011-08-31 株式会社豊田中央研究所 Map update device
JP4847090B2 (en) * 2005-10-14 2011-12-28 クラリオン株式会社 Position positioning device and position positioning method
JP4717650B2 (en) * 2006-02-02 2011-07-06 株式会社ゼンリン Current position estimation device
JP2007232690A (en) * 2006-03-03 2007-09-13 Denso Corp Present position detection apparatus, map display device and present position detecting method
JP4901287B2 (en) * 2006-04-25 2012-03-21 富士重工業株式会社 Driving support device
JP4938351B2 (en) * 2006-05-16 2012-05-23 アイシン・エィ・ダブリュ株式会社 Positioning information update device for vehicles
JP4724043B2 (en) * 2006-05-17 2011-07-13 アイシン・エィ・ダブリュ株式会社 Object recognition device
JP4680131B2 (en) * 2006-05-29 2011-05-11 アイシン・エィ・ダブリュ株式会社 Own vehicle position measuring device
JP5162849B2 (en) * 2006-06-11 2013-03-13 株式会社豊田中央研究所 Fixed point position recorder
JP4724079B2 (en) * 2006-09-13 2011-07-13 アイシン・エィ・ダブリュ株式会社 Object recognition device
JP4703544B2 (en) * 2006-11-21 2011-06-15 アイシン・エィ・ダブリュ株式会社 Driving assistance device
JP5245257B2 (en) 2006-11-22 2013-07-24 ソニー株式会社 Image display system, display device, and display method
JP2008145247A (en) * 2006-12-08 2008-06-26 Aisin Aw Co Ltd Current position specifying device for vehicle
JP5611819B2 (en) * 2007-05-25 2014-10-22 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト Method and apparatus for recognizing information important to traffic
JP2010151658A (en) * 2008-12-25 2010-07-08 Zhencheng Hu Apparatus and method for measuring position of mobile object
US7868821B2 (en) 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
KR101100827B1 (en) 2009-11-30 2012-01-02 한국생산기술연구원 A method of recognizing self-localization for a road-driving robot
JP4977218B2 (en) * 2010-02-12 2012-07-18 アイシン・エィ・ダブリュ株式会社 Self-vehicle position measurement device
JP5333862B2 (en) * 2010-03-31 2013-11-06 アイシン・エィ・ダブリュ株式会社 Vehicle position detection system using landscape image recognition
JP5333861B2 (en) * 2010-03-31 2013-11-06 アイシン・エィ・ダブリュ株式会社 Vehicle position detection system using landscape image recognition
JP5333860B2 (en) * 2010-03-31 2013-11-06 アイシン・エィ・ダブリュ株式会社 Vehicle position detection system using landscape image recognition
JP2012021928A (en) * 2010-07-16 2012-02-02 Clarion Co Ltd Car navigation apparatus
JP5433525B2 (en) * 2010-08-06 2014-03-05 株式会社日立製作所 Vehicle travel support device and road marking creation method
JP5966747B2 (en) * 2012-08-08 2016-08-10 日産自動車株式会社 Vehicle travel control apparatus and method
US9070022B2 (en) 2012-08-16 2015-06-30 Plk Technologies Co., Ltd. Route change determination system and method using image recognition information
KR101217594B1 (en) * 2012-08-16 2013-01-03 주식회사 피엘케이 테크놀로지 Route change judgement system using image recognition information and its method
JP5880360B2 (en) * 2012-08-31 2016-03-09 トヨタ自動車株式会社 Driving support system and driving support method
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
JP6441616B2 (en) 2014-08-29 2018-12-19 株式会社ゼンリン Positioning device, driving support device, and control program
KR101683986B1 (en) 2014-10-17 2016-12-07 현대자동차주식회사 Apparatus and Method for Controlling of Head Up Display
JP6225889B2 (en) 2014-11-19 2017-11-08 株式会社豊田中央研究所 Vehicle position estimation apparatus and program
JP6358156B2 (en) * 2015-04-09 2018-07-18 株式会社デンソー Vehicle driving support device
JP6235528B2 (en) 2015-05-15 2017-11-22 トヨタ自動車株式会社 Vehicle control device
RU2667675C1 (en) * 2015-06-26 2018-09-24 Ниссан Мотор Ко., Лтд. Device for determining position of vehicle and method for determining position of vehicle
WO2017154464A1 (en) * 2016-03-07 2017-09-14 株式会社デンソー Travel position detection device and travel position detection method
JP6311737B2 (en) * 2016-03-31 2018-04-18 マツダ株式会社 Sound effect generator for vehicles
WO2017208503A1 (en) * 2016-05-30 2017-12-07 三菱電機株式会社 Map data update device, map data update method and map data update program
JP6649191B2 (en) * 2016-06-29 2020-02-19 クラリオン株式会社 In-vehicle processing unit
KR20190031544A (en) * 2016-07-26 2019-03-26 닛산 지도우샤 가부시키가이샤 Magnetic position estimation method and magnetic position estimation apparatus
JP6669059B2 (en) 2016-12-27 2020-03-18 トヨタ自動車株式会社 Position calculation device
JP6757261B2 (en) * 2017-01-13 2020-09-16 クラリオン株式会社 In-vehicle processing device
DE112017006904T5 (en) * 2017-01-24 2019-10-02 Fujitsu Limited Information processing device, feature point extraction program, and feature point extraction method
JP6843712B2 (en) * 2017-07-27 2021-03-17 フォルシアクラリオン・エレクトロニクス株式会社 In-vehicle processing device
JP6663406B2 (en) 2017-10-05 2020-03-11 本田技研工業株式会社 Vehicle control device, vehicle control method, and program
WO2019103157A1 (en) * 2017-11-27 2019-05-31 パイオニア株式会社 Data structure, information transmitting device, information processing device, control method, program, and storage medium
JP6828714B2 (en) * 2018-05-30 2021-02-10 株式会社Soken Self-position estimator
CN111352139A (en) * 2018-12-24 2020-06-30 同方威视技术股份有限公司 Scanning equipment autonomous guiding method and device and scanning equipment
JP2020106489A (en) * 2018-12-28 2020-07-09 クラリオン株式会社 Vehicle onboard processor, position estimation method, and delivery system

Also Published As

Publication number Publication date
JP2005265494A (en) 2005-09-29

Similar Documents

Publication Publication Date Title
JP6596119B2 (en) Traffic signal response for autonomous vehicles
CN106462727B (en) Vehicle, lane ending detection system and method
JP6798779B2 (en) Map update judgment system
CN104572065B (en) Remote vehicle monitoring system and method
CN106461402B (en) For determining the method and system of the position relative to numerical map
US9285237B2 (en) Method and system for representing traffic signals in a road network database
US20170045370A1 (en) Method of representing road lanes
US10627816B1 (en) Change detection using curve alignment
CN105588576B (en) A kind of lane grade navigation methods and systems
JP5762483B2 (en) Processor unit mounted on front vehicle and processor unit mounted on following vehicle
US10558222B2 (en) Navigating a vehicle using a crowdsourced sparse map
US10635110B2 (en) Sparse map autonomous vehicle navigation
US10248124B2 (en) Localizing vehicle navigation using lane measurements
US8085984B2 (en) Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method
EP1098168B1 (en) Method of making geographic database products
JP5162103B2 (en) Support control device
US7388475B2 (en) Lane departure warning and avoidance system with warning modification criteria
JP4680131B2 (en) Own vehicle position measuring device
US8005615B2 (en) Navigation system
JP5472163B2 (en) Speed regulation value notification device and speed regulation value notification system
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
EP2443418B1 (en) Methods and systems for creating digital street network database
US8239131B2 (en) Navigation device, navigation method, and navigation program
JP2020500290A (en) Method and system for generating and using location reference data
US9052207B2 (en) System and method for vehicle navigation using lateral offsets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060314

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090116

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090302

R151 Written notification of patent or utility model registration

Ref document number: 4277717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees