JP5644634B2 - Vehicle information acquisition device, vehicle information acquisition method and program - Google Patents
Vehicle information acquisition device, vehicle information acquisition method and program Download PDFInfo
- Publication number
- JP5644634B2 JP5644634B2 JP2011075696A JP2011075696A JP5644634B2 JP 5644634 B2 JP5644634 B2 JP 5644634B2 JP 2011075696 A JP2011075696 A JP 2011075696A JP 2011075696 A JP2011075696 A JP 2011075696A JP 5644634 B2 JP5644634 B2 JP 5644634B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- feature point
- captured
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
Description
本発明は、車両の自車位置情報を取得する車両情報取得装置、車両情報取得方法及びプログラムに関するものである。 The present invention relates to a vehicle information acquisition apparatus, a vehicle information acquisition method, and a program for acquiring own vehicle position information of a vehicle.
従来より、車両の自車位置情報を取得する技術に関して種々提案されている。
例えば、GPS受信機、方位センサ、及び距離センサからの出力に基づいて、緯度及び経度で表された自車両の現在位置(以下、「自車位置」という。)の情報、自車両の進行方位の情報を含む自車位置情報を取得する。
Conventionally, various techniques for acquiring vehicle position information of a vehicle have been proposed.
For example, based on outputs from a GPS receiver, an orientation sensor, and a distance sensor, information on the current position of the host vehicle (hereinafter referred to as “own vehicle position”) expressed in latitude and longitude, and the traveling direction of the host vehicle The vehicle position information including the information is acquired.
そして、自車両の後方の路面を撮像するバックカメラを用いて、一時停止義務のある停止線の手前の路面上に設けられた文字列「とまれ」の文字標示のうち、文字列「まれ」を画像認識した場合には、停止線についての画像認識を開始する。そして、画像情報に停止線が含まれると判定した場合には、当該停止線の位置が一時停止義務のある地点であると判定し、この地点の自車位置情報を停止義務地点情報として記憶するように構成された画像認識装置がある(例えば、特許文献1参照。)。 Then, using the back camera that captures the road surface behind the host vehicle, the character string “rare” among the character signs “to rare” provided on the road surface in front of the stop line that is obliged to pause is displayed. When the image is recognized, the image recognition for the stop line is started. And when it determines with a stop line being included in image information, it determines with the position of the said stop line being a point with the obligation of temporary stop, and memorize | stores the own vehicle position information of this point as stop obligation point information There is an image recognition device configured as described above (see, for example, Patent Document 1).
前記した特許文献1に記載された画像認識装置では、バックカメラで撮像した画像情報に基づいて画像認識した停止線の位置が一時停止義務のある地点であると判定した場合には、この地点の自車位置情報を停止義務地点情報として記憶する。
In the image recognition apparatus described in
しかしながら、GPS受信機、方位センサ、及び距離センサ等からの出力に基づいて取得した自車位置情報は、急ハンドルや車輪のスリップ等によりセンサ出力値の累積誤差が発生するため、当該自車位置情報の高精度化が難しい。また、バックカメラによって10msec〜50msec間隔で撮像した画像内の特徴点を連続して画像認識し、当該特徴点の画像内の移動位置及び形状に基づいて自車位置情報を取得すると処理負荷が増大してしまいリアルタイム処理が難しい。 However, since the own vehicle position information acquired based on the output from the GPS receiver, the direction sensor, the distance sensor, etc. causes an accumulated error of the sensor output value due to a sudden handle, wheel slip, etc., the own vehicle position It is difficult to improve the accuracy of information. In addition, if a feature point in an image captured by a back camera at an interval of 10 msec to 50 msec is continuously recognized and the vehicle position information is acquired based on the movement position and shape of the feature point in the image, the processing load increases. Real-time processing is difficult.
そこで、本発明は、上述した問題点を解決するためになされたものであり、車両の自車位置情報を高精度に取得できると共に処理負荷の軽減化を図ることが可能となる車両情報取得装置、車両情報取得方法及びプログラムを提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems, and is a vehicle information acquisition device that can acquire the vehicle position information of the vehicle with high accuracy and reduce the processing load. An object of the present invention is to provide a vehicle information acquisition method and program.
前記目的を達成するため請求項1に係る車両情報取得装置は、自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、を備えたことを特徴とする。
In order to achieve the above object, a vehicle information acquisition apparatus according to
また、請求項2に係る車両情報取得装置は、請求項1に記載の車両情報取得装置において、前記抽出手段は、前記撮像手段によって撮像された後方路面上の地物の進行方位側端部を前記特徴点として抽出することを特徴とする。
The vehicle information acquisition device according to claim 2 is the vehicle information acquisition device according to
また、請求項3に係る車両情報取得装置は、請求項2に記載の車両情報取得装置において、前記抽出手段は、前記後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を前記特徴点として更に抽出することを特徴とする。 Further, the vehicle information acquisition device according to claim 3 is the vehicle information acquisition device according to claim 2, wherein the extraction means is configured such that when the feature on the rear road surface is a circular feature, The feature is characterized in that the advancing direction side end of the feature is further extracted as the feature point.
また、請求項4に係る車両情報取得方法は、制御部と、自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、を備えた車両情報取得装置で実行される車両情報取得方法であって、前記制御部が実行する、前記取得手段によって自車両の進行方位と速度を取得する取得工程と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、を備えたことを特徴とする。 The vehicle information acquisition method according to claim 4 is executed by a vehicle information acquisition device comprising a control unit, an imaging means for imaging the rear of the host vehicle, and an acquisition means for acquiring the traveling direction and speed of the host vehicle. a vehicle information acquisition methods, wherein the control unit executes an acquiring step of acquiring the traveling direction and speed of the vehicle by the acquisition unit, and extracts feature points from the image picked up by said image pickup means After the extraction step and the estimated position of the feature point in the image captured by the imaging unit extracted in the extraction step are calculated based on the traveling direction and speed, the feature point is captured by the imaging unit A determination step for determining whether or not the estimated position in the captured image is captured, and if it is determined in the determination step that the feature point is captured at the estimated position, When the vehicle position information is acquired based on the azimuth and speed, and it is determined in the determination step that the feature point is not captured at the estimated position, the image capturing unit and the image capturing unit And a vehicle position information acquisition step of acquiring vehicle position information based on the movement position and shape of the feature point in the image captured after the imaging.
更に、請求項5に係るプログラムは、自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、を備えたコンピュータに、前記取得手段によって自車両の進行方位と速度を取得する取得手順と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手順と、前記抽出手順で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手順と、前記判定手順で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定手順で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手順と、を実行させるためのプログラムである。 Furthermore, the program according to claim 5, an imaging means for imaging the area behind the vehicle, an acquisition unit configured to acquire a moving direction and speed of the vehicle, the computers and a traveling direction of the vehicle by the acquisition means an acquisition procedure for acquiring the speed, the extraction procedure for extracting feature points from the image captured by the imaging means, the estimated position of the feature point in the image captured by the imaging unit extracted by the extraction procedure A determination procedure for determining whether or not the feature point is imaged at the estimated position in the image captured after being captured by the imaging means, based on the traveling azimuth and speed, and the determination procedure when the feature point is determined to be imaged on the estimated position, the obtains the vehicle position information based on the travel direction and speed, said determining step said corresponding feature points estimated by If it is determined that the image is not picked up at a position, the subject vehicle is based on the moving position and shape of the feature point in the image picked up by the image pickup means and in the image picked up by the image pickup means. This is a program for executing a host vehicle position information acquisition procedure for acquiring position information.
請求項1に係る車両情報取得装置、請求項4に係る車両情報取得方法及び請求項5に係るプログラムでは、自車両後方を撮像する撮像手段によって撮像された画像内から抽出した特徴点が、撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されている場合には、自車両の進行方位と速度に基づいて自車位置情報を取得するため、迅速に自車位置情報を取得することができる。また、当該特徴点が撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されていない場合には、この特徴点の撮像された画像内と、この後に撮像された画像内での当該特徴点の移動位置及び形状に基づいて自車位置情報を取得するため、センサ情報の誤差の累積を防止し、高精度な自車位置情報を取得することができる。更に、特徴点の撮像された画像内と、この後に撮像された画像内とに当該特徴点があればよいため、各撮像画像を取り込むタイミングの時間間隔を長くして画像認識を行うことが可能となり、自車位置情報を取得する処理負荷の軽減化を図ることができる。
In the vehicle information acquisition device according to
また、請求項2に係る車両情報取得装置では、後方路面上の地物の進行方位側端部を特徴点として抽出するため、後に撮像された画像内から当該地物の進行方位側端部を特徴点として確実に抽出することができる。 Further, in the vehicle information acquisition device according to claim 2, in order to extract the traveling direction side end portion of the feature on the rear road surface as a feature point, the traveling direction side end portion of the feature is extracted from the image captured later. It can be reliably extracted as a feature point.
更に、請求項3に係る車両情報取得装置では、後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を特徴点として更に抽出するため、後に撮像された画像内から少なくとも他の地物の進行方位側端部を特徴点として確実に抽出することができる。 Furthermore, in the vehicle information acquisition device according to claim 3, in the case where the feature on the rear road surface is a circular feature, the traveling direction side end of another feature is further extracted as a feature point. It is possible to reliably extract at least the traveling direction side end of another feature from the captured image as a feature point.
以下、本発明に係る車両情報取得装置、車両情報取得方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。 Hereinafter, a vehicle information acquisition device, a vehicle information acquisition method, and a program according to the present invention will be described in detail with reference to the drawings based on an embodiment in which a navigation device is embodied.
図1に示すように、自車両2に対して設置されたナビゲーション装置1のナビゲーション制御部13には、CCDカメラ等を駆動制御するカメラECU(Electronic Control Unit)51が電気的に接続されている。また、自車両2の後端部の車幅方向略中央には、CCDカメラ等により構成されて後方路面上の停止線55等を撮像するバックカメラ53が設置され、カメラECU51に接続されている。
As shown in FIG. 1, a camera ECU (Electronic Control Unit) 51 for driving and controlling a CCD camera and the like is electrically connected to the
また、ナビゲーション装置1は、自車両2の室内のセンターコンソール又はパネル面に備え付けられ、液晶ディスプレイ(LCD)15に地図や目的地までの探索経路を表示すると共に、スピーカ16によって経路案内に関する音声ガイダンスを出力する。また、ナビゲーション装置1は、カメラECU51に制御信号を送信し、車両2の後方路面上の停止線55等を検出することができる。
The
次に、本実施例に係る車両2の制御系に係る構成について特にナビゲーション装置1を中心にして図2に基づき説明する。図2は車両2に搭載されるナビゲーション装置1を中心とした制御系を模式的に示すブロック図である。
図2に示すように、車両2の制御系は、ナビゲーション装置1と、このナビゲーション装置1に対して電気的に接続されたカメラECU51を基本にして構成され、各制御装置に対して所定の周辺機器が接続されている。
Next, the configuration related to the control system of the vehicle 2 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram schematically showing a control system centered on the
As shown in FIG. 2, the control system of the vehicle 2 is configured based on a
このナビゲーション装置1は、自車両2の現在位置(以下、「自車位置」という。)等を検出する現在地検出処理部11と、各種のデータが記録されたデータ記録部12と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部13と、操作者からの操作を受け付ける操作部14と、操作者に対して地図等の情報を表示する液晶ディスプレイ15と、経路案内等に関する音声ガイダンスを出力するスピーカ16と、不図示の道路交通情報センタや地図情報配信センタ等との間で携帯電話網等を介して通信を行う通信装置17とから構成されている。また、ナビゲーション制御部13には自車両2の走行速度を検出する車速センサ21が接続されている。
The
以下に、ナビゲーション装置1を構成する各構成要素について説明すると、現在地検出処理部11は、GPS31、距離センサ32、ステアリングセンサ33、ジャイロセンサ34等からなり、自車位置、自車の向きを表す自車方位、走行距離等を検出することが可能となっている。
Hereinafter, each component constituting the
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車両2の現在位置及び現在時刻を検出し、距離センサ32は、道路上の所定の位置間の距離等を検出する。ここで、距離センサ32としては、例えば、左右の各後輪WL、WRの回転速度を測定し、測定した回転速度に基づいて距離を検出するセンサ、加速度を測定し、測定した加速度を2回積分して距離を検出するセンサ等を使用することができる。
Specifically, the
また、ステアリングセンサ33は自車両2の舵(だ)角を検出する。ここで、ステアリングセンサ33としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
The
そして、ジャイロセンサ34は自車両2の旋回角を検出する。ここで、ジャイロセンサ34としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ34によって検出された旋回角を積分することにより、自車方位を検出することができる。
The
また、データ記録部12は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記憶された地図情報データベース(地図情報DB)25、テンプレートDB27、走行履歴DB28及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバ(図示せず)を備えている。
The
また、地図情報DB25には、ナビゲーション装置1の走行案内や経路探索に使用されるナビ地図情報26が格納されている。また、テンプレートDB27には、自車両2が右左折などにより旋回したときに、道路上の停止線等の地物を画像認識するためのパターンマッチング用の各種テンプレートが格納されている。また、走行履歴DB28には、後述のように自車位置(例えば、地図上の緯度と経度である。)、自車方位、自車両2の進行方向、走行速度、時刻、気温等を含む自車位置情報29が時系列的に格納されている。
The
ここで、ナビ地図情報26は、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路(リンク)に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のPOI(Point of Interest)に関する施設データ、地点を検索するための検索データ等から構成されている。
Here, the
また、ナビ地図情報26には、道路上の地物に関する地物データが記憶されている。この地物は、運転者に各種の走行上の情報を提供したり、各種の走行上の案内を行ったりするために道路上に設置、又は形成された表示物であり、表示線、路上標識(ペイント)、横断歩道、マンホール等から成る。この表示線には、車両を停止させるための停止線、各レーンを区分する「車道中央線」、「車線境界線」、「車道外側線」、「導流帯」等の区画線などが含まれる。
The
また、路上標識には、横断歩道、各レーンにおける進行方向表す矢印、「止まれ」等のように一時停止箇所を予告する文字等が含まれる。そして、地物データとして、各地物の位置を表す座標位置(例えば、緯度と経度である。)、各地物の種類、各地物をイメージで表す画像情報等が記憶されている。 Further, the road sign includes a pedestrian crossing, an arrow indicating the direction of travel in each lane, a character for notifying a temporary stop point such as “stop”, and the like. As feature data, a coordinate position (for example, latitude and longitude) representing the position of each feature, a type of each feature, image information representing each feature as an image, and the like are stored.
また、リンクデータとしては、道路を構成する各リンクに関してリンクを特定するリンクID、リンクの長さを示すリンク長、リンクの始点と終点の座標位置(例えば、緯度と経度である。)、中央分離帯の有無、リンクの属する道路の幅員、勾(こう)配、カント、バンク、路面の状態、道路の車線数、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、T字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、国道、県道、細街路等の一般道のほか、高速自動車国道、都市高速道路、一般有料道路、有料橋等の有料道路を表すデータがそれぞれ記録される。 The link data includes a link ID for specifying a link for each link constituting the road, a link length indicating the length of the link, a coordinate position (for example, latitude and longitude) of the start point and end point of the link, and the center. Data indicating presence / absence of separation zone, width of road to which link belongs, slope, gradient, cant, bank, road surface condition, number of road lanes, number of lanes decreasing, width narrowing, level crossing, etc. , For corners, curvature radius, intersections, T-junctions, corner entrances and exits, etc., for road attributes, data for downhills, uphills, etc., for road types, national roads, prefectural roads, narrow streets, etc. In addition to general roads, data representing toll roads such as highway automobile national roads, city highways, general toll roads, toll bridges and the like are recorded.
また、施設データとしては、各地域のホテル、遊園地、宮殿、病院、ガソリンスタンド、駐車場、駅、空港、フェリー乗り場等のPOIに関する名称や住所、電話番号、地図上の座標位置(例えば、緯度と経度である。)、地図上に施設の位置を表示する施設アイコン等のデータがPOIを特定するIDとともに記憶されている。
また、地図情報DB25の内容やテンプレートDB27に格納されるパターンマッチング用の各種テンプレートは、不図示の情報配信センタから通信装置17を介して配信された更新情報をダウンロードすることによって更新される。
In addition, as facility data, names, addresses, telephone numbers, and coordinate positions on the map (eg Latitude and longitude.), Data such as a facility icon for displaying the location of the facility on the map is stored together with an ID for identifying the POI.
In addition, the contents of the
また、図2に示すように、ナビゲーション装置1を構成するナビゲーション制御部13は、ナビゲーション装置1の全体の制御を行う演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラム等が記憶されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置や、時間を計測するタイマ45等を備えている。
As shown in FIG. 2, the
また、ROM43には、後述の各センサ21、31〜34及びバックカメラ53によって撮像された画像により自車位置情報29を取得する自車位置情報取得処理(図3参照)等のプログラムが記憶されている。
更に、ナビゲーション制御部13には、操作部14、液晶ディスプレイ15、スピーカ16、通信装置17の各周辺装置(アクチュエータ)が電気的に接続されている。
The
Furthermore, the
この操作部14は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う場合等に操作され、各種のキーや複数の操作スイッチから構成される。そして、ナビゲーション制御部13は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。
This
また、液晶ディスプレイ15には、現在走行中の地図情報、目的地周辺の地図情報、操作案内、操作メニュー、キーの案内、現在地から目的地までの推奨経路、推奨経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
Further, the
また、スピーカ16は、ナビゲーション制御部13からの指示に基づいて、推奨経路に沿った走行を案内する音声ガイダンス等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先、○○交差点を右方向です。」等がある。
In addition, the
また、通信装置17は、不図示の情報配信センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報や表示線、路上標識等の新しい更新テンプレート等の送受信を行う。また、通信装置17は情報配信センタに加えて、道路交通情報センタ等から送信された渋滞情報やサービスエリアの混雑状況等の各情報から成る交通情報を受信する。
The
また、カメラECU51は、ナビゲーション制御部13から送信された制御情報を受信するデータ受信部51Aを備えると共に、この受信した制御情報に基づきバックカメラ53を制御すると共に画像認識を行って出力する画像認識部51Bを備えている。
Further, the
[自車位置情報取得処理]
次に、上記のように構成されたナビゲーション装置1のCPU41が実行する処理であって、各センサ21、31〜34及びバックカメラ53によって撮像された画像により自車位置情報29を取得する自車位置情報取得処理について図3及び図4に基づいて説明する。尚、図3にフローチャートで示されるプログラムは、CPU41により一定時間毎(例えば、10msec毎)に実行される。
[Own vehicle location information acquisition processing]
Next, the vehicle that is the process executed by the
図3に示すように、先ず、ステップ(以下、Sと略記する)11において、CPU41は、自車両2の挙動に変化があったか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ33により自車両2の舵角の変化があったか否か、つまり、ドライバによるハンドル操作がなされたか否かを判定する判定処理を実行する。
そして、自車両2の挙動に変化が無い、つまり、ドライバによるハンドル操作がなされていないと判定した場合には(S11:NO)、CPU41は、当該処理を終了する。
As shown in FIG. 3, first, in step (hereinafter abbreviated as S) 11, the
If it is determined that there is no change in the behavior of the host vehicle 2, that is, the steering operation by the driver is not performed (S11: NO), the
一方、自車両2の挙動に変化があった、つまり、ドライバによるハンドル操作がなされたと判定した場合には(S11:YES)、CPU41は、S12の処理に移行する。S12において、CPU41は、各センサ21、31〜34によって自車両2の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、各計測値をRAM42に記憶する。
On the other hand, if it is determined that the behavior of the host vehicle 2 has changed, that is, that the driver has operated the steering wheel (S11: YES), the
そして、S13において、CPU41は、カメラECU51に対して画像認識を行った第1画像データをナビゲーション装置1へ出力するように制御信号を出力して、後方路面の第1画像データを取得する。ここで、カメラECU51は、バックカメラ53によって撮像した道路に沿って車線を分ける区画線や停止線等の地物に対して2値化処理やエッジ検出処理等を行い、当該地物の輪郭を抽出する画像認識を行った画像データを出力する。
In S <b> 13, the
その後、S14において、CPU41は、第1画像データから後方路面上の地物の輪郭情報と、テンプレートDB27に格納される各地物のテンプレートとから形態の特徴量のパターンマッチングを行い、後方路面上の各地物を抽出する。そして、CPU41は、RAM42から自車両2の舵角を読み出して旋回方向を検出し、第1画像データから後方路面上の各地物の自車両2の進行方位側端縁部の形状を抽出して、当該地物の特徴点としてRAM42に記憶する。また、CPU41は、当該地物の特徴点が撮像画像内で位置している位置データ(例えば、X、Y座標位置である。)を抽出してRAM42に記憶する。
Thereafter, in S14, the
例えば、図4の上側に示すように、CPU41は、第1画像データ61から後方路面62上の地物の輪郭情報と、テンプレートDB27に格納される区画線と停止線のテンプレートとから形態の特徴量のパターンマッチングを行い、各区画線63L、63R及び停止線65を抽出する。そして、CPU41は、RAM42から自車両2の舵角を読み出して、右側方向への旋回を検出した場合には、各区画線63L、63Rのうち、右進行方向側の区画線63Rを選択する。
For example, as shown in the upper side of FIG. 4, the
そして、CPU41は、この右側の区画線63Rの自車両2側の端縁部、つまり、右進行側端縁部64を当該区画線63Rの特徴点としてRAM42に記憶する。また、CPU41は、停止線65の右進行方向側の端縁部、つまり、右進行側端縁部66を当該停止線65の特徴点としてRAM42に記憶する。また、CPU41は、各右進行側端縁部64、66が位置する第1画像データ内での位置データ(例えば、X、Y座標位置である。)をRAM42に記憶する。
And CPU41 memorize | stores the edge part by the side of the own vehicle 2 of this
尚、CPU41は、各右進行側端縁部64、66のうち、一方を後方路面62上の地物の特徴点としてRAM42に記憶すると共に、この一方の第1画像データ内での位置データをRAM42に記憶するようにしてもよい。また、停止線65に替えてマンホール等の丸い形状の地物が後方路面62上の地物として抽出された場合には、当該丸い形状の地物の右進行方向側の端縁部を特徴点として記憶すると共に、右側の区画線63Rの自車両2側の端縁部、つまり、右進行側端縁部64を地物の特徴点として記憶するようにしてもよい。
The
これにより、マンホール等の丸い形状の地物の右進行方向側の端縁部を特徴点としても、右側の区画線63Rの右進行側端縁部64を地物の特徴点とすることによって、CPU41は、自車位置情報として旋回角も検出することが可能となる。
Thereby, even if the edge on the right advancing direction side of a round shape feature such as a manhole is a feature point, the right advancing
続いて、図3に示すように、S15において、CPU41は、RAM42から自車両2の走行速度を読み出し、この走行速度に対応して第2画像データを取り込むまで待つ所定フレーム数をデータ記録部12から読み出す。そして、CPU41は、カメラECU51に対して第1画像データから当該所定フレーム数目の画像認識を行った第2画像データをナビゲーション装置1へ出力するように制御信号を出力して、後方路面の第2画像データを取得する。
Subsequently, as shown in FIG. 3, in S15, the
尚、各走行速度に対応する第2画像データを取り込むまで待つ「所定フレーム数」は、予めデータ記録部12に記憶されている。例えば、第2画像データを取り込むまで待つフレーム数として、走行速度が時速5km以下の場合には、「60フレーム」で、時速10km以下の場合には、「30フレーム」で、時速15km以下の場合には、「20フレーム」等のデータが、複数の走行速度のそれぞれに対して予めデータ記録部12に記憶されている。
The “predetermined number of frames” waiting until the second image data corresponding to each traveling speed is captured is stored in the
また、この「所定フレーム数」は、各走行速度において、第1画像データから抽出された各地物の特徴点が第2画像データに存在する最大フレーム数であるように設定されていてもよい。また、バックカメラ53は、後方路面を1秒間当たり一定のフレーム数で(例えば、約30フレーム/秒である。)撮像してカメラECU51に出力する。
Further, the “predetermined number of frames” may be set so that the feature points of each feature extracted from the first image data are the maximum number of frames existing in the second image data at each traveling speed. Further, the
そして、S16において、CPU41は、上記S12でRAM42に記憶した自車両2の走行速度、舵角、旋回角、自車位置、自車方位の各データから、上記S15で取得したフレーム数だけ第2画像データの取り込みを待ったときの自車位置、自車方位、旋回角等を算出する。
In S16, the
そして、CPU41は、自車両2へのバックカメラ53の取付位置、取付角度、及び画角等に基づいて、この演算された自車位置等と撮像領域との位置関係、及び、上記S14で抽出した各地物の特徴点の位置データと形状から、第2画像データの撮像画像内における当該各地物の特徴点が位置する推定位置と当該各地物の特徴点の推定形状を算出する。尚、各地物の特徴点が位置する推定位置は、所定範囲の円形状や四角形状のエリアでもよい。
Then, the
続いて、S17において、CPU41は、第2画像データから後方路面上の地物の輪郭情報と、テンプレートDB27に格納される各地物の推定形状のテンプレートとのパターンマッチングを行い、後方路面上の各地物の特徴点を抽出する。その後、CPU41は、この推定形状の各地物の特徴点が撮像画像内で位置している位置データを抽出して、上記S16で算出した推定位置にあるか否かを判定する判定処理を実行する。
Subsequently, in S17, the
そして、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記S16で算出した推定位置にあると判定した場合には(S17:YES)、CPU41は、S18の処理に移行する。例えば、図4の上側と左下側に示すように、CPU41は、第1画像データ61の各地物63R、65の特徴点である各右進行側端縁部64、66が、右側方向への旋回する自車両2のバックカメラ53によって撮像された第2画像データ68の円形状のエリアである推定位置69内にあると判定した場合には(S17:YES)、S18の処理に移行する。
If it is determined that the position data in the captured image of the feature point of each feature having the estimated shape is at the estimated position calculated in S16 (S17: YES), the
S18において、CPU41は、各センサ21、31〜34によって自車両2の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、また、不図示の温度計で気温を計測し、各計測値等を含む自車位置情報29を作成して、RAM42に記憶後、後述のS20の処理に移行する。
In S <b> 18, the
一方、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記S16で算出した推定位置に存在しないと判定した場合には(S17:NO)、CPU41は、S19の処理に移行する。例えば、図4の上側と右下側に示すように、CPU41は、第1画像データ61の区画線63Rと停止線65の特徴点である各右進行側端縁部64、66が、右側方向への旋回する自車両2のバックカメラ53によって撮像された第2画像データ70の円形状のエリアである推定位置69内に存在しないと判定した場合には(S17:NO)、S19の処理に移行する。
On the other hand, when it is determined that the position data in the captured image of the feature point of each feature having the estimated shape does not exist at the estimated position calculated in S16 (S17: NO), the
S19において、CPU41は、自車両2へのバックカメラ53の取付位置、取付角度、及び画角等に基づいて、上記S12で取得した自車位置と撮像領域との位置関係を用いて、第1画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、CPU41は、自車両2へのバックカメラ53の取付位置、取付角度、及び画角等に基づいて、撮像領域と各地物の特徴点の第2画像データにおける位置データとから、各地物の特徴点の地図上の座標位置に対する自車位置、自車方位、旋回角、走行距離等を算出する。
In S <b> 19, the
例えば、図4の上側と右下側に示すように、CPU41は、自車両2へのバックカメラ53の取付位置、取付角度、及び画角等に基づいて、上記S12で取得した自車位置と撮像領域との位置関係を用いて、第1画像データ61における各右進行側端縁部64、66の地図上の座標位置を正確に算出する。そして、CPU41は、自車両2へのバックカメラ53の取付位置、取付角度、及び画角等に基づいて、撮像領域と各右進行側端縁部64、66の第2画像データ70における位置データとから、各右進行側端縁部64、66の地図上の座標位置に対する自車両2の自車位置、自車方位、旋回角、走行距離等を算出する。
For example, as shown in the upper side and lower right side of FIG. 4, the
そして、CPU41は、タイマ45から時刻を読み出し、また、不図示の温度計で気温を計測し、第2画像データから算出した自車両2の自車位置、自車方位、旋回角、走行距離と、時刻及び気温の計測値等を含む自車位置情報29を作成して、RAM42に記憶後、S20の処理に移行する。
Then, the
S20において、上記S18又はS19でRAM42に記憶した自車位置情報29をRAM42から再度読み出し、走行履歴DB28に時系列的に記憶する。
続いて、S21において、CPU41は、自車両2の挙動情報の取得が終了したか否か、つまり、ドライバによるハンドル操作が終了したか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ33により検出した自車両2の舵角がほぼ0度になったか否かを判定する判定処理を実行する。
In S20, the
Subsequently, in S21, the
そして、自車両2の挙動情報の取得が終了していない、つまり、ステアリングセンサ33により検出した自車両2の舵角が未だ0度になっていないと判定した場合には(S21:NO)、CPU41は、再度S12以降の処理を実行する。
一方、自車両2の挙動情報の取得が終了した、つまり、ステアリングセンサ33により検出した自車両2の舵角が0度になったと判定した場合には(S21:YES)、CPU41は、当該処理を終了する。
And when acquisition of the behavior information of the own vehicle 2 is not completed, that is, when it is determined that the rudder angle of the own vehicle 2 detected by the
On the other hand, when the acquisition of the behavior information of the host vehicle 2 is completed, that is, when it is determined that the steering angle of the host vehicle 2 detected by the
以上詳細に説明した通り、本実施例に係るナビゲーション装置1では、CPU41は、バックカメラ53によって撮像された第1画像データから抽出した後方路面上の各地物の特徴点が、第1画像データから所定フレーム数目の第2画像データの撮像画像内の推定位置にある場合には、各センサ21、31〜34によって計測した各計測値から走行速度、舵角、自車位置、自車方位等を含む自車位置情報29を迅速に作成し、リアルタイムで走行履歴DB28に記憶することができる。
As described above in detail, in the
また、CPU41は、バックカメラ53によって撮像された第1画像データから抽出した後方路面上の各地物の特徴点が、第1画像データから所定フレーム数目の第2画像データの撮像画像内の推定位置に存在しない場合には、第1画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、CPU41は、第2画像データにおける各地物の特徴点の位置データから、各地物の特徴点の地図上の座標位置に対する自車両2の自車位置、自車方位、旋回角、走行距離等を算出して自車位置情報29を作成する。これにより、CPU41は、各センサ21、31〜34によって計測した計測値の誤差の累積を防止し、高精度な自車位置情報29を作成して走行履歴DB28に記憶することができる。
Further, the
また、第1画像データから抽出した地物の特徴点が、この第1画像データから所定フレーム数目の第2画像データ内に撮像されていれば、CPU41は自車位置情報29を作成することができる。これにより、CPU41は、第1画像データと第2画像データを取り込むタイミングの時間間隔を長くして、各画像内における地物の特徴点を画像認識して自車位置情報29を作成することが可能となり、自車位置情報29を作成する処理負荷の軽減化を図り、リアルタイム処理を行うことが可能となる。
Further, if the feature point of the feature extracted from the first image data is captured in the second image data of a predetermined number of frames from the first image data, the
また、CPU41は、第1画像データから後方路面上の各地物の自車両2の進行方位側端縁部の形状を抽出して、当該地物の特徴点とするため、第2画像データから当該地物の進行方位側端部を特徴点として確実に抽出することができる。また、CPU41は、後方路面上の地物が丸い形状の場合には、この地物の進行方位側端縁部だけでなく、他の地物の進行方位側端部も特徴点として抽出することによって、自車位置情報29として旋回角も検出することが可能となる。
Further, the
尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。 In addition, this invention is not limited to the said Example, Of course, various improvement and deformation | transformation are possible within the range which does not deviate from the summary of this invention.
1 ナビゲーション装置
21 車速センサ
25 地図情報DB
27 テンプレートDB
28 走行履歴DB
31 GPS
32 距離センサ
33 ステアリングセンサ
34 ジャイロセンサ
41 CPU
42 RAM
43 ROM
51 カメラECU
53 バックカメラ
61 第1画像データ
62 後方路面
65 停止線
63L、63R 区画線
64、66 右進行側端縁部
68、70 第2画像データ
69 推定位置
1
27 Template DB
28 Travel history DB
31 GPS
32
42 RAM
43 ROM
51 Camera ECU
53
Claims (5)
自車両の進行方位と速度を取得する取得手段と、
前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、
前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、
当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、
を備えたことを特徴とする車両情報取得装置。 Imaging means for imaging the rear of the vehicle;
An acquisition means for acquiring the traveling direction and speed of the host vehicle;
Extraction means for extracting feature points from the image captured by the imaging means;
An estimated position of the feature point in the image captured by the imaging unit is calculated based on the traveling direction and speed, and the estimated position in the image captured after the feature point is captured by the imaging unit is calculated. Determination means for determining whether or not an image is captured;
If it is determined that the feature point is imaged at the estimated position, the vehicle position information is acquired based on the traveling direction and speed,
When it is determined that the feature point is not captured at the estimated position, the moving position of the feature point within the image captured by the imaging unit and the image captured after the imaging unit captures Vehicle position information acquisition means for acquiring vehicle position information based on the shape;
A vehicle information acquisition device comprising:
前記制御部が実行する、
前記取得手段によって自車両の進行方位と速度を取得する取得工程と、
前記撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、
前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、
を備えたことを特徴とする車両情報取得方法。 A vehicle information acquisition method executed by a vehicle information acquisition device comprising: a control unit; an imaging unit that captures an image of the rear of the host vehicle; and an acquisition unit that acquires a traveling direction and speed of the host vehicle,
Executed by the control unit;
An acquisition step of acquiring the traveling direction and speed of the host vehicle by the acquisition means ;
An extraction step of extracting feature points from the image captured by the imaging means,
The estimated position of the feature point in the image picked up by the image pickup means extracted in the extraction step is calculated based on the traveling direction and the speed, and the image picked up after the feature point is picked up by the image pickup means A determination step of determining whether or not an image is picked up at the estimated position,
If it is determined in the determination step that the feature point is imaged at the estimated position, the vehicle position information is acquired based on the traveling direction and speed,
When it is determined in the determination step that the feature point is not captured at the estimated position, the feature point in the image captured by the imaging unit and in the image captured after being captured by the imaging unit A vehicle position information acquisition step of acquiring the vehicle position information based on the movement position and shape of
A vehicle information acquisition method comprising:
前記取得手段によって自車両の進行方位と速度を取得する取得手順と、
前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手順と、
前記抽出手順で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手順と、
前記判定手順で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定手順で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手順と、
を実行させるためのプログラム。 In a computer comprising imaging means for imaging the rear of the host vehicle and acquisition means for acquiring the traveling direction and speed of the host vehicle ,
An acquisition procedure for acquiring the traveling direction and speed of the host vehicle by the acquisition means ;
An extraction procedure for extracting feature points from the image captured by the imaging means,
An estimated position of the feature point in an image captured by the imaging means extracted in the extraction procedure is calculated based on the traveling direction and speed, and an image captured after the feature point is captured by the imaging means A determination procedure for determining whether or not an image is picked up at the estimated position,
If it is determined in the determination procedure that the feature point is imaged at the estimated position, the vehicle position information is acquired based on the traveling direction and speed,
When it is determined in the determination procedure that the feature point is not captured at the estimated position, the feature point in the image captured by the imaging unit and in the image captured after being captured by the imaging unit Vehicle position information acquisition procedure for acquiring vehicle position information based on the movement position and shape of
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075696A JP5644634B2 (en) | 2011-03-30 | 2011-03-30 | Vehicle information acquisition device, vehicle information acquisition method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075696A JP5644634B2 (en) | 2011-03-30 | 2011-03-30 | Vehicle information acquisition device, vehicle information acquisition method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012208877A JP2012208877A (en) | 2012-10-25 |
JP5644634B2 true JP5644634B2 (en) | 2014-12-24 |
Family
ID=47188515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011075696A Expired - Fee Related JP5644634B2 (en) | 2011-03-30 | 2011-03-30 | Vehicle information acquisition device, vehicle information acquisition method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5644634B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017100060A1 (en) * | 2017-01-03 | 2018-07-05 | Valeo Schalter Und Sensoren Gmbh | Determination of motion information with environmental sensors |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4847090B2 (en) * | 2005-10-14 | 2011-12-28 | クラリオン株式会社 | Position positioning device and position positioning method |
JP4645429B2 (en) * | 2005-12-01 | 2011-03-09 | アイシン・エィ・ダブリュ株式会社 | Vehicle position calculation method and in-vehicle device |
JP4856612B2 (en) * | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | Object detection device |
-
2011
- 2011-03-30 JP JP2011075696A patent/JP5644634B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012208877A (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101246010B (en) | Lane determining device, method, and program | |
EP2336998B1 (en) | Travel guiding apparatus for vehicle, travel guiding method for vehicle, and computer-readable storage medium | |
JP5234691B2 (en) | Navigation device, probe information transmission method, program, and traffic information creation device | |
US8600655B2 (en) | Road marking recognition system | |
EP3315911B1 (en) | Vehicle position determination device and vehicle position determination method | |
US8346473B2 (en) | Lane determining device, lane determining method and navigation apparatus using the same | |
JP4446204B2 (en) | Vehicle navigation apparatus and vehicle navigation program | |
JP4929997B2 (en) | Driving assistance device | |
US20160347327A1 (en) | Autonomous vehicle driving assist system, method, and program | |
JP4953012B2 (en) | Image recognition device, program for image recognition device, navigation device using the same, and program for navigation device | |
JP2011013039A (en) | Lane determination device and navigation system | |
WO2007122927A1 (en) | Position registering device, position registering method, position registering program, and recording medium | |
JP2018040693A (en) | Driving support device and driving support method | |
JP4561722B2 (en) | Driving assistance device | |
JP2007240198A (en) | Navigation apparatus | |
JP4738360B2 (en) | Lane determination device, lane determination method, and navigation device using the same | |
JP2008196968A (en) | Lane determining device, lane determining method, and navigation device using it | |
EP2088571A2 (en) | Driving support device, driving support method and program | |
JP2008197004A (en) | Navigation system and navigation method | |
JP4953015B2 (en) | Own vehicle position recognition device, own vehicle position recognition program, and navigation device using the same | |
JP5644634B2 (en) | Vehicle information acquisition device, vehicle information acquisition method and program | |
JP2012037450A (en) | On-vehicle navigation device | |
JP4816561B2 (en) | Information creating apparatus, information creating method and program | |
JP2012032366A (en) | Car navigation system | |
JP2009002797A (en) | Vehicle state determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5644634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |