JP4326992B2 - Peripheral vehicle identification method and driving support system using the same - Google Patents
Peripheral vehicle identification method and driving support system using the same Download PDFInfo
- Publication number
- JP4326992B2 JP4326992B2 JP2004077276A JP2004077276A JP4326992B2 JP 4326992 B2 JP4326992 B2 JP 4326992B2 JP 2004077276 A JP2004077276 A JP 2004077276A JP 2004077276 A JP2004077276 A JP 2004077276A JP 4326992 B2 JP4326992 B2 JP 4326992B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- information
- driving support
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、自動車の走行支援システムに関し、特に自車両に設けられたカメラ等の入力手段とナビゲーション装置等の位置特定手段からのデータに基づいて他車両の識別を行う周辺車両識別方法と、この方法によって得られた情報に基づいて運転者への運転支援を実行する走行支援システムに関する。 The present invention relates to a driving support system for an automobile, and in particular, a surrounding vehicle identification method for identifying other vehicles based on data from an input unit such as a camera provided in the host vehicle and a position specifying unit such as a navigation device, and the like The present invention relates to a driving support system that performs driving support to a driver based on information obtained by a method.
近年、ナビゲーション装置は、単なる経路探索機能を有するだけでなく、リアルタイムに様々な情報を取り込んで運転者への情報提供を行うことで、快適な走行のための運転者への運転支援機能を有するものが開発されている。特に、センサ技術の進歩やデジタルカメラ等の小型化により、レーダセンサや小型カメラを自車両に搭載して周囲の道路状況及び走行環境等の情報を取り込んで、運転者に対して必要な様々な情報を提示することが提案されており、例えば他車両の車種を認識する又は他車両の接近を検知して警告を行う等のシステムの研究開発が進められている。 In recent years, navigation devices have not only a simple route search function but also a driving support function for a driver for comfortable driving by capturing various information in real time and providing information to the driver. Things are being developed. In particular, as a result of advances in sensor technology and downsizing of digital cameras, etc., radar sensors and small cameras are mounted on the vehicle to capture information on the surrounding road conditions and driving environment, etc. It has been proposed to present information. For example, research and development of a system for recognizing a vehicle type of another vehicle or detecting an approach of another vehicle to give a warning is underway.
上述のように自車両外部からの情報を入力する手段とナビゲーションシステムとを用いて運転者への運転支援動作を実行する装置として、特許文献1に示すように、ナビゲーションシステム等の道路状況検出手段と、レーダクルーズシステム等の走行環境検出手段と、該道路状況検出手段及び該走行環境検出手段からの情報に基づいて車両の動作機構の制御内容を決定する制御内容決定手段とを有する車両用制御装置が開示されている。
As described above, as a device for executing a driving support operation for a driver using a navigation system and a means for inputting information from the outside of the host vehicle as described above, a road condition detection means such as a navigation system is disclosed in
特許文献1に開示された車両用制御装置は、図1に示すように、走行環境検出手段すなわちレーダクルーズシステム1によって自車両と前方の他車両との車間距離等の走行環境を検出し、道路状況検出手段すなわちナビゲーションシステム2によって道路状況を検出し、これらの検出データから制御内容決定手段の決定に基づいて、例えば原動機5の動作を制御するエンジン用電子制御装置(E−ECU)4及び変速機7の動作を制御する変速機用電子制御装置(T−ECU)6等を含む動作機構3を制御するように構成される。このような構成によれば、コーナーや勾配等の道路状況に加えて車間距離等の走行環境を考慮して動作機構3の制御内容を決定するため、実際の周囲の状況に適した運転者の意図を自動的に動作機構の制御に反映させて運転者の支援を行うことが可能となる。
As shown in FIG. 1, the vehicle control device disclosed in
しかしながら最近では、運転者への走行支援動作として、単に自車両の前方に例えば他車両等の物体を検知するだけではなく、運転者への次なる最適な運転操作への予測情報を迅速に提示する技術が求められてきている。特に、自車両の前方の他車両の車種及び進行方向等を識別し、例えば回避動作の必要が予想される場合に運転者に対して他車情報を与える又は警告を発する等の動作が、実用化に至っていない課題として研究対象とされている。特許文献1に開示された車両用制御装置は、レーダクルーズシステム1からの車間距離情報とナビゲーションシステム2からの前方の道路情報とに基づいて適切な変速比を算出し、自動的に変速機をその変速比に制御することによって、運転者の円滑かつ快適な走行動作を支援するものであり、上述のように、他車の進行方向等を高い精度で予測して運転者への情報を提示する等の動作については何ら記載されていない。
However, recently, as a driving support operation for the driver, not only an object such as another vehicle is detected in front of the host vehicle, but also a prediction information for the next optimal driving operation is quickly presented to the driver. There is a need for technology to do this. In particular, operations such as identifying the vehicle type and traveling direction of other vehicles in front of the host vehicle, and giving other vehicle information to the driver or issuing a warning when an avoidance operation is expected, are practical. It is considered as a research subject as an issue that has not yet been realized. The vehicle control device disclosed in
そこで、本発明は上述の課題を解決するためになされたもので、他車両の車種及び向きを精度良く検知できる周辺車両識別方法を提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a surrounding vehicle identification method that can accurately detect the type and orientation of another vehicle.
また、本発明は、他車両の車種及び向きを精度良く検知し、検知した情報に基づいて運転者に対する走行支援情報の提示を行う走行支援システムを提供することを目的とする。 Another object of the present invention is to provide a driving support system that accurately detects the type and orientation of another vehicle and presents driving support information to the driver based on the detected information.
上記課題を解決するために、本発明は、請求項1記載のように、自車両の周辺に存在する物体を検知する検知部と、前記物体を撮像して画像データを生成する画像データ生成部と、前記自車両に対する前記物体の相対位置を算出する演算部と、地図データ上の前記自車両の現在位置と前記相対位置とに基づいて、前記物体を他車両として、前記他車両がいずれの車線に位置するかを判断することによって、前記他車両の向きを予測する予測部と、1つの車種について異なる方向から見た、ガラスの位置、及び、ミラーの位置を含む、形状を示す複数のテンプレートデータのうち前記予測した前記向きに対応するテンプレートデータと、前記画像データと、に基づいて、前記他車両の車種及び向きを判断する判断部と、前記判断した前記他車両の車種及び向きを含む情報を出力する出力部とを有することを特徴とする走行支援システムである。これにより、他車両の車種及び向きを精度良く検知し、検知した情報に基づいて運転者に対する走行支援情報の提示を行うことができる。 In order to solve the above-described problems, the present invention provides a detection unit that detects an object existing around a host vehicle and an image data generation unit that captures the object and generates image data. And an arithmetic unit that calculates a relative position of the object with respect to the own vehicle, and a current position and the relative position of the own vehicle on map data. By determining whether the vehicle is located in a lane, a prediction unit that predicts the direction of the other vehicle , and a plurality of shapes that include a glass position and a mirror position viewed from different directions for one vehicle type Based on the template data corresponding to the predicted direction of the template data and the image data, a determination unit that determines the vehicle type and direction of the other vehicle, and the determined other vehicle A driving support system characterized by an output unit for outputting information including vehicle type and orientation. Thereby, the vehicle type and direction of the other vehicle can be detected with high accuracy, and the driving support information can be presented to the driver based on the detected information.
前記判断部は、前記テンプレートデータのうち複数のテンプレートデータを参照するとともに、前記複数のテンプレートデータを補間して生成したテンプレートデータをも参照する構成とすることができる。 The determination unit may refer to a plurality of template data among the template data and also refer to a template data generated by interpolating the plurality of template data.
前記予測部は、前記自車両の周辺に複数の他車両が存在する場合には各々の他車両について前記各々の他車両の向きを予測する構成とすることができる。 The said prediction part can be set as the structure which estimates the direction of each said other vehicle about each other vehicle, when several other vehicles exist around the said own vehicle.
本発明はまた、自車両の周辺に存在する物体を検知するステップと、前記物体を撮像して画像データを生成するステップと、前記自車両に対する前記物体の相対位置を算出するステップと、地図データ上の前記自車両の現在位置と前記相対位置とに基づいて、前記物体を他車両として、前記他車両がいずれの車線に位置するかを判断することによって、前記他車両の向きを予測するステップと、1つの車種について異なる方向から見た、ガラスの位置、及び、ミラーの位置を含む、形状を示す複数のテンプレートデータのうち前記予測した前記向きに対応するテンプレートデータと、前記画像データと、に基づいて、前記他車両の車種及び向きを判断するステップと、を有することを特徴とする周辺車両識別方法である。これにより、他車両の車種及び向きを精度良く検知することができる。 The present invention also includes a step of detecting an object existing around the host vehicle, a step of capturing the object to generate image data, a step of calculating a relative position of the object with respect to the host vehicle, and map data Predicting the direction of the other vehicle by determining in which lane the other vehicle is positioned based on the current position and the relative position of the host vehicle as the other vehicle. And the template data corresponding to the predicted orientation among the plurality of template data indicating the shape, including the position of the glass and the position of the mirror, as seen from different directions for one vehicle type , and the image data, And determining the vehicle type and direction of the other vehicle based on the above. Thereby, the vehicle type and direction of other vehicles can be detected with high accuracy.
本発明によれば、他車両の車種及び向きを精度良く検知することができ、また検知した情報に基づいて運転者に対する走行支援情報の提示を行うことができる。 ADVANTAGE OF THE INVENTION According to this invention, the vehicle type and direction of other vehicles can be detected with a sufficient precision, and the driving assistance information with respect to a driver | operator can be shown based on the detected information.
以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
図2は、本実施例1による走行支援システム100の構成を示すブロック図である。走行支援システム100は、大別すると制御装置101とナビゲーション装置102とによって構成されている。制御装置101は、自車両の前方に設けられたレーダセンサ103及び車載カメラ104と、制御部105と、テンプレートデータベース106と、メモリ107とを含む。レーダセンサ103は、自車両の周辺に存在する物体を検知する検知部として機能し、例えば76GHz帯の電波を利用したミリ波レーダを用いたセンサであり、前方16°から80°の検出範囲を有している。車載カメラ104は物体を撮像して画像データを生成する画像データ生成部として機能し、例えば高解像度のCCD(電荷結合素子)カメラである。テンプレートデータベース106は、後述する他車両の車種及び向きに応じたテンプレート画像データをデータテーブルとして記憶するデータベースである。メモリ107は、後述する動作ルーチンを記憶するとともに、他車両の識別情報等を一時保存する。制御部105は、レーダセンサ103、車載カメラ104、テンプレートデータベース106及びメモリ107と接続され、走行支援システム100の動作を制御する。
FIG. 2 is a block diagram illustrating a configuration of the
ナビゲーション装置102は、ナビゲーションコントローラ108と、地図データベース109と、画像表示部110と、音声出力部111とを含む。ナビゲーションコントローラ108は、地図データベース109、画像表示部110及び音声出力部111と接続されており、ナビゲーション装置102全体を制御するものである。また、ナビゲーションコントローラ108は、制御装置101の制御部105と相互にデータ通信可能に接続されている。地図データベース109は、例えば、ハードディスク、DVD−RW(DVD Rewritable)などにより構成され、経路誘導に必要な、例えば地図情報を格納した地図データファイル、交差点に関する情報を格納した交差点データファイル、道路種別や各道路の始点・終点等の道路に関する情報を格納した道路データファイル、道路上の1地点における東経・北緯座標を格納したノードデータファイル、ガソリンスタンドやコンビニエンスストア等のジャンルに分類された利用目的に応じた施設等の特徴物の位置座標や特徴物に関する案内情報等を格納した案内地点データファイル等を記憶している。また、地図データベース109は、階層化構造の地図データに対応し、道路網の情報量の多い下位レベルから道路網の情報量の少ない上位レベルに階層化された経路探索用データを格納している。画像表示部110は、液晶表示器等により構成され、ナビゲーションコントローラ108から出力される描画データに基づいて、自車周辺の地図画像、車両位置マーク、出発地マーク、目的地マーク、誘導経路等、目的地設定画面等を表示する。音声出力部111は、例えばスピーカであり、ナビゲーションコントローラ108からの様々な音声データを運転者に音声として伝達する。画像表示部110又は音声出力部111は、後述するようにして制御部105が予測した車種及び向きに基づく情報を出力する出力部として機能する。
The
次に、図2に示されたテンプレートデータベース106に記憶されているテンプレート画像データテーブルについて説明する。図3は、テンプレートデータベース106に記憶されている他車両の車種及び向きに応じたテンプレート画像データのデータテーブルの一例を示している。まず、図3(a)に示すように、識別される他車両120を等角度に8つの視点から見た画像データを考える。このとき、車両の正面を0°とし、上から見て時計回りの方向に45°ずつ8つの視点を設ける。例えば、他車両が普通乗用車の場合、図3(b)のテーブル121に示すように、0°から315°までの8つの視点から見たテンプレート画像が定義される。このテンプレート画像は、他車両の向きに応じて自車両の正面に見える他車両の形状等を模式的に表したものであり、例えば更に詳細な車種を識別するための車両の長さや幅、ガラス位置及びミラーやランプの位置等のデータを同時に記憶しておいてもよい。同様に、トラック、バス及び特殊車両等の様々な車種に対する8方向の視点からのテンプレート画像データが、テーブル121に記憶され、テンプレート画像データのテーブルを構成する。
Next, the template image data table stored in the
次に、図4に、図2に示された制御装置101の制御部105が実行する走行支援動作ルーチンのフローチャートを示す。ここで、この走行支援動作ルーチンは、自車両がナビゲーション装置102を用いて走行する際に実行される動作であり、自車両が停止中、例えば道路の路肩に停車中又は交差点等での信号待ちの間には動作しない。走行支援動作ルーチンにおいて、制御部105は、まずレーダセンサ103を用いて自車両の前方の視野範囲内における物体の有無を検知する(ステップS1)。続いて、レーダセンサ103が視野範囲内に物体を検知したか否かを判別する(ステップS2)。ステップS2で視野範囲内に物体を検知していない場合、前方に特に他車両等の障害物となり得る物体が存在しないとしてそのままルーチンを終了する。これに対して、ステップS2で視野範囲内に物体を検知した場合、制御部105は、車載カメラ104でレーダセンサ103の視野範囲を撮影する指令を出力して画像データを取り込む(ステップS3)。次に、撮影された画像データから視野範囲内の物体すなわち他車両の数を特定する(ステップS4)。このとき、他車両の特定は、例えば撮影された画像データの色又は濃淡等から車両と判別できる領域を1台とする等の方法を用いることができる。続いて、制御部105は、ステップS4で特定した他車両の数が1つか否かを判別する(ステップS5)。ステップS5で視野範囲内の他車両の数が1つであると判別した場合、判別した他車両の車種及び向きを更に判別する車種・方向判別サブルーチンへと進む(ステップS6)。この車種・方向判別サブルーチンは、自車両に対する他車両の相対位置、他車両の車種及び方向等を決定するためのサブルーチンであり、その動作については後述する。ステップS6でサブルーチンの動作を終了すると、サブルーチンで特定された他車情報をメモリ107に一時的に保存する(ステップS7)。ここで他車情報とは、上述の車種・方向判別ルーチンで特定された他車両の相対位置、車種及び向きとともに、ナビゲーション装置102からの自車両位置及び前方の道路状況等が含まれた情報であり、制御部105によって描画データと音声データとが生成されてメモリに保存される。また、他車情報には、例えば制御部105が短いサンプリング時間で上記の動作を走行中に実行可能な場合、制御部105が当該時間内に移動した他車両の相対位置及び自車両の現在速度から他車両の走行速度を推定して追加することも可能である。続いて、制御部105は、他車情報のうちの描画データをナビゲーション装置102のナビゲーションコントローラ108に送付し、画像表示部110に表示するよう出力指令を発する(ステップS8)。次に、他車情報のうちの音声データをナビゲーション装置102のナビゲーションコントローラ108に送付し、音声出力部111から出力するよう指令を発して(ステップS9)、ルーチンを終了する。
Next, FIG. 4 shows a flowchart of a driving support operation routine executed by the
これに対して、ステップS5で視野範囲内の他車両の数が複数であると判別した場合、判別した他車両の車種及び向きを更に判別する車種・方向判別サブルーチンへと進む(ステップS10)。この車種・方向判別サブルーチンは、ステップS6で実行したものと同一のものであり、その動作については後述する。ステップS10でサブルーチンの動作を終了すると、サブルーチンで特定された他車情報をメモリ107に一時的に保存する(ステップS11)。このとき保存される他車情報は、検知された他車両のうちの1台についての情報である。続いて制御部105は、検知された他車両の数に対してすべての他車情報を特定したか、すなわち検知されたすべての物体について判別が終了したか否かを判別する(ステップS12)。ステップS12ですべての判別が終了していないと判別した場合、ステップS10に戻って残りの他車両についての他車情報の特定を繰り返す。このとき、ステップS11で保存される他車情報は、他車両の数が増加する毎に追加されて更新される。ステップS12ですべての判別が終了したと判別した場合、制御部105は、ステップS8に移って他車情報のうちの描画データをナビゲーション装置102のナビゲーションコントローラ108に送付し、画像表示部110に表示するよう出力指令を発し、次に、他車情報のうちの音声データをナビゲーション装置102のナビゲーションコントローラ108に送付し、音声出力部111から出力するよう指令を発して(ステップS9)、ルーチンを終了する。このとき、ステップS8及びステップS9では、制御部105は、複数の他車両のデータを含む他車情報のうち、例えば最も自車両に近い他車のものを優先的に表示出力する、又は自車両に接近してくる他車のものを優先的に表示出力する等の選択をすることも可能である。
On the other hand, when it is determined in step S5 that the number of other vehicles in the visual field range is plural, the process proceeds to a vehicle type / direction determination subroutine for further determining the vehicle type and direction of the determined other vehicle (step S10). This vehicle type / direction discrimination subroutine is the same as that executed in step S6, and its operation will be described later. When the operation of the subroutine is finished in step S10, the other vehicle information specified in the subroutine is temporarily stored in the memory 107 (step S11). The other vehicle information stored at this time is information on one of the detected other vehicles. Subsequently, the
次に、図5に、図4で示された走行支援動作ルーチン内で実行される車種・方向判別サブルーチンのフローチャートを示す。車種・方向判別サブルーチンにおいて、制御部105は、まず走行支援動作ルーチンのステップS3及びステップS4で取り込まれて特定された他車両の画像から1台分の領域のみを抜き出して画像処理を行い、画像データ化する(ステップSS1)。この画像処理は、例えば画面分割処理やエッジ強調処理等を含む。次に制御部105は、画像データ化された他車両の自車両からの相対位置をレーダセンサ103から読み込む(ステップSS2)。続いて、ナビゲーション装置102の地図データベース109から自車両の位置情報を読み込み(ステップSS3)、他車両の向きを予測して仮設定する(ステップSS4)。ここで、地図データベース109から読み込む自車両の位置情報は、自車両の現在位置とともに自車両の前方の道路情報等も含んでいる。そこで、ステップSS4では、自車両の位置情報及び前方の道路情報とステップSS2で得られた他車両の相対位置とに基づいて他車両の地図上の位置を特定し、このように特定した他車両の位置と前方の道路情報とに基づいて他車両の向きを絞り込んで予測することが可能となる。
Next, FIG. 5 shows a flowchart of a vehicle type / direction determination subroutine executed in the driving support operation routine shown in FIG. In the vehicle type / direction discrimination subroutine, the
続いて、制御部105は、他車両の車種を仮設定する(ステップSS5)。このときの仮設定は、例えば国内の車種別台数のデータを基に出現が多く予想される普通乗用車に重み付けを行う等の処理を加えてもよい。次に、制御部105は、ステップSS4及びステップSS5で仮設定した車種及び向きに対応するテンプレートデータをテンプレートデータベース106から読み込み(ステップSS6)、他車両の画像データとの合致率を算出する(ステップSS7)。この合致率とは、ステップSS1で模式的にデータ化された画像データとステップSS6で読み込んだテンプレートデータとを比較して、大きさを考慮しない状態での形状の一致度合いを例えば面積の重なり率として算出するものである。次に、算出した合致率が所定値以上であるか否かを判別する(ステップSS8)。ここで、一例として、所定値は上述の面積の重なり率で80%である。ステップSS8で合致率が所定値以上である場合、現在比較しているテンプレートデータの車種と向きが画像データすなわち現在特定しようとしている他車両の車種と向きであると設定し(ステップSS9)、サブルーチンを終了する。
Subsequently, the
これに対して、ステップSS8で合致率が所定値より小さいと判別した場合、制御部105は、ステップSS6で読み込んだテンプレートデータに対して図3(b)で示されたテーブル上で隣接するテンプレートデータをテンプレートデータベース106から読み込み(ステップSS10)、他車両の画像データとの合致率を算出する(ステップSS11)。このとき、隣接するテンプレートデータとは、例えばステップSS6で読み込んだデータが45°の角度のものであった場合に90°の角度のデータに相当する。次に、算出した合致率が所定値以上であるか否かを判別する(ステップSS12)。このとき、所定値はステップSS8の判別で用いたものと同一とする。ステップSS12で合致率が所定値以上である場合、ステップSS9に進んで、現在比較しているテンプレートデータの車種と向きが画像データすなわち現在特定しようとしている他車両の車種と向きであると設定し、サブルーチンを終了する。ステップSS12で合致率が所定値より小さいと判別した場合、制御部105は、仮設定した車種のテンプレートデータについてすべての角度のデータを判別したか否かを更に判別する(ステップSS13)。ステップSS13ですべての角度のデータを判別していないと判別した場合、ステップSS10に戻って以後の動作を繰り返す。これに対して、ステップSS13ですべての角度のデータを判別したと更に判別した場合、画像データの他車両は仮設定した車種のものではなかったと判断して、すべての車種についてすでに判別が終了したか否かを更に判別する(ステップSS14)。ステップSS14ですべての車種について判別が終了していないと判別した場合、ステップSS5に戻って、他車両の車種の仮設定から以後のステップを繰り返す。これに対して、ステップSS14ですべての車種について判別が終了したと更に判別した場合、今回特定しようとしている他車両の画像データは、テンプレートデータベースに記憶されているいずれの車種とも合致しない未照合車両であると判断して、他車情報に未照合車両である旨及び警告発令を指令する旨のデータを追加してルーチンを終了する。
On the other hand, when it is determined in step SS8 that the match rate is smaller than the predetermined value, the
ステップSS10からステップSS12の動作において、ステップSS12の合致率が例えば50%を超えたが所定値以上とならないような場合、例えばその前にステップSS8で判別した際の角度におけるテンプレートデータと現在の角度におけるテンプレートデータとからその中間のテンプレートデータを補間して新たに合致率の算出と所定値以上となったか否かの判別を実行してもよい。 In the operation from step SS10 to step SS12, if the match rate in step SS12 exceeds 50% but does not exceed a predetermined value, for example, the template data and the current angle at the angle determined in step SS8 before that The intermediate template data may be interpolated from the template data in step (b) to newly calculate the match rate and determine whether or not the value is equal to or greater than a predetermined value.
以上のような動作ルーチンとすることによって、本実施例1による走行支援システム100は、ナビゲーション装置102が有する地図データベース109からの自車両の位置情報とレーダセンサ103及び車載カメラ104からの他車両の相対位置及び画像データとに基づいて他車両の地図上の位置と向きを予測してから車種及び向きの判別を実行するため、他車両の車種及び進行方向の検知を効率的に実行することが可能となる。
By using the operation routine as described above, the driving
次に、本実施例1による走行支援システム100の第1の適用例を説明する。図6は、走行支援システム100の第1の適用例として、自車両が左カーブに進入した場合を模式的に示した図である。図6(a)に示すように、自車両130が左カーブ140に進入した際に前方に1台の他車両131が走行している場合、他車両131がレーダセンサの視野130aの範囲内に入ると、走行支援システム100が他車両131の存在を検知する。このとき、走行支援システム100の制御部105が、図4に示された走行支援動作ルーチン及び図5に示された車種・方向判別サブルーチンを実行して、他車両131の車種及び向きを予測する。すなわち、車種・方向判別サブルーチンにおいて、まず他車両131の車種を普通車と仮設定すると、ナビゲーション装置102からの自車両130の位置及び前方の道路状況等の情報と検知した他車両131の自車両130からの相対位置とに基づいて他車両131の地図上の位置を特定する。その結果、他車両131は左カーブの左車線側に位置すると判断できることから、他車両131は左カーブを道なりに走行していると予測できる。つまり、自車両130の車載カメラ104で撮影される画像には、他車両131が図6(b)に示すようなテンプレートデータの形状と向きとほぼ一致するように写っていると想定できる。このとき、実際に撮影された他車両の画像データとテンプレートデータとの合致率が所定値以上である場合、制御部105は、他車両131は普通車で図6(b)に示す方向に向いていると判断して、ナビゲーション装置102のナビゲーションコントローラ108に他車情報を出力する。ナビゲーション装置102は、制御部105からの他車情報及び出力指令に基づいて、画像表示部110に現在の走行状態を示す描画データと運転者に他車両131が前方に存在することを示す案内データ150を表示する。また、ナビゲーション装置102は、同時に音声出力部111から案内データ150に対応する音声情報を運転者に出力する。
Next, a first application example of the driving
次に、本実施例1による走行支援システム100の第2の適用例を説明する。図7は、走行支援システム100の第2の適用例として、自車両が交差点に進入しようとする場合を模式的に示した図である。図7(a)に示すように、自車両130が交差点141に進入しようとする際に前方に2台の他車両131a及び131bが走行している場合、他車両131a及び131bがレーダセンサの視野130aの範囲内に入ると、走行支援システム100が他車両131a及び131bの存在を検知する。このとき、走行支援システム100の制御部105が、図4に示された走行支援動作ルーチン及び図5に示された車種・方向判別サブルーチンを実行して、他車両131a及び131bの車種及び向きを予測する。すなわち、まず初めに他車両131aについて予測動作を実行し、次いで他車両131bについての予測動作を実行する。第1の適用例の場合と同様に、車種・方向判別サブルーチンにおいて、まず他車両131aの車種を普通車と仮設定すると、ナビゲーション装置102からの自車両130の位置及び前方の道路状況等の情報と検知した他車両131aの自車両130からの相対位置とに基づいて他車両131aの地図上の位置を特定する。その結果、他車両131aは交差点141の左側道路の左車線に位置すると判断できることから、他車両131aは交差点141の左側道路を右方向に走行していると予測できる。つまり、自車両130の車載カメラ104で撮影される画像には、他車両131aが図3(b)に示される普通車の右向きすなわち90°のテンプレートデータのように写っていると想定される。しかし、図7(a)に示すように、実際に走行している他車両131aはトラックであるため、普通車と仮設定した場合はどのテンプレートデータとも合致しない。そこで、制御部105は新たに他車両131aをトラックであると仮設定して同様の判別動作を実行する。その結果、他車両131aの画像データは、図7(b)に示すようなテンプレートデータの形状と向きであると想定できる。このとき、実際に撮影された他車両の画像データとテンプレートデータとの合致率が所定値以上である場合、制御部105は、他車両131aはトラックで図7(b)に示す方向に向いていると判断する。同様に、他車両131bにも車種・方向判別サブルーチンの動作を繰り返し、他車両131bに対する車種と向きを特定して他車情報を複数の他車両のデータとして更新する。続いて、制御部105は、ナビゲーション装置102のナビゲーションコントローラ108に他車情報を出力する。ナビゲーション装置102は、制御部105からの他車情報及び出力指令に基づいて、画像表示部110に現在の走行状態を示す描画データと運転者に他車両131aが前方の交差点に左側から進入しようとしていることを示す案内データ151を表示する。また、ナビゲーション装置102は、同時に音声出力部111から案内データ151に対応する音声情報を運転者に出力する。このとき、走行支援システム100は2台の他車両に関する他車情報を有しているが、図7(a)に示すように、他車両131bはすでに交差点141に進入して通過中であるため、本適用例のように、これ以後交差点141に進入する自車両130が対応しなければならないと予想される他車両131aの情報を優先的に選択して運転者に提示することもできる。
Next, a second application example of the driving
以上のような構成及び動作とすることによって、本発明による走行支援システム100は、ナビゲーション装置102が有する地図データベース109からの自車両の位置情報とレーダセンサ103及び車載カメラ104からの他車両の相対位置及び画像データとに基づいて他車両の地図上の位置と向きを予測してから車種及び向きの判別を実行するため、他車両の車種及び進行方向の検知を効率的に実行し、かつ特定した他車情報に基づいて運転者に対して適切な走行支援情報を提示することが可能となる。
With the configuration and operation as described above, the driving
以上の実施例から、本発明によれば、ナビゲーション装置による位置情報とレーダセンサによる他車両の相対位置とに基づいて自車両の前方の他車両の進行方向を予測し、車載カメラによって実際に撮像した前方の画像から抽出された他車両の画像データと予測した他車両の車種や方向データとを比較する制御装置を用いたため、他車両の車種及び進行方向の検知を効率的に実行できる周辺車両識別方法を提供することが可能である。また、上述の周辺車両識別方法によって得られた情報に基づいて運転者に対する走行支援情報の提示を行う走行支援システムを提供することが可能である。 From the above embodiments, according to the present invention, the traveling direction of the other vehicle in front of the host vehicle is predicted based on the position information by the navigation device and the relative position of the other vehicle by the radar sensor, and is actually captured by the in-vehicle camera. Since the control device that compares the image data of the other vehicle extracted from the forward image with the predicted vehicle type and direction data of the other vehicle is used, the surrounding vehicle that can efficiently detect the vehicle type and the traveling direction of the other vehicle An identification method can be provided. It is also possible to provide a driving support system that presents driving support information to the driver based on the information obtained by the above-described surrounding vehicle identification method.
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。図2に示した走行支援システム100の構成及び図3(b)に示したテンプレートデータテーブルは一例であり、本発明ではこの構成に限定されない。
The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible. The configuration of the driving
100 走行支援システム
101 制御装置
102 ナビゲーション装置
103 レーダセンサ
104 車載カメラ
105 制御部
106 テンプレートデータベース
108 ナビゲーションコントローラ
110 画像表示部
130 自車両
131、131a、131b 他車両
DESCRIPTION OF
Claims (4)
前記物体を撮像して画像データを生成する画像データ生成部と、
前記自車両に対する前記物体の相対位置を算出する演算部と、
地図データ上の前記自車両の現在位置と前記相対位置とに基づいて、前記物体を他車両として、前記他車両がいずれの車線に位置するかを判断することによって、前記他車両の向きを予測する予測部と、
1つの車種について異なる方向から見た、ガラスの位置、及び、ミラーの位置を含む、形状を示す複数のテンプレートデータのうち前記予測した前記向きに対応するテンプレートデータと、前記画像データと、に基づいて、
前記他車両の車種及び向きを判断する判断部と、
前記判断した前記他車両の車種及び向きを含む情報を出力する出力部と
を有することを特徴とする走行支援システム。 A detection unit for detecting an object existing around the host vehicle;
An image data generation unit that images the object and generates image data;
A calculation unit for calculating a relative position of the object with respect to the host vehicle;
Based on the current position of the host vehicle on the map data and the relative position, the direction of the other vehicle is predicted by determining in which lane the other vehicle is positioned with the object as the other vehicle. A prediction unit to
Based on the image data and the template data corresponding to the predicted orientation among a plurality of template data indicating the shape including the position of the glass and the position of the mirror as seen from different directions for one vehicle type And
A determination unit for determining the vehicle type and direction of the other vehicle;
And an output unit that outputs information including the determined vehicle type and direction of the other vehicle.
前記物体を撮像して画像データを生成するステップと、
前記自車両に対する前記物体の相対位置を算出するステップと、
地図データ上の前記自車両の現在位置と前記相対位置とに基づいて、前記物体を他車両として、前記他車両がいずれの車線に位置するかを判断することによって、前記他車両の向きを予測するステップと、
1つの車種について異なる方向から見た、ガラスの位置、及び、ミラーの位置を含む、形状を示す複数のテンプレートデータのうち前記予測した前記向きに対応するテンプレートデータと、前記画像データと、に基づいて、前記他車両の車種及び向きを判断するステップと、
を有することを特徴とする周辺車両識別方法。 Detecting an object existing around the vehicle;
Imaging the object to generate image data;
Calculating a relative position of the object with respect to the host vehicle;
Based on the current position of the host vehicle on the map data and the relative position, the direction of the other vehicle is predicted by determining in which lane the other vehicle is positioned with the object as the other vehicle. And steps to
Based on the image data and the template data corresponding to the predicted orientation among a plurality of template data indicating the shape including the position of the glass and the position of the mirror as seen from different directions for one vehicle type Determining the vehicle type and direction of the other vehicle;
The surrounding vehicle identification method characterized by having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004077276A JP4326992B2 (en) | 2004-03-17 | 2004-03-17 | Peripheral vehicle identification method and driving support system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004077276A JP4326992B2 (en) | 2004-03-17 | 2004-03-17 | Peripheral vehicle identification method and driving support system using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005267120A JP2005267120A (en) | 2005-09-29 |
JP4326992B2 true JP4326992B2 (en) | 2009-09-09 |
Family
ID=35091619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004077276A Expired - Fee Related JP4326992B2 (en) | 2004-03-17 | 2004-03-17 | Peripheral vehicle identification method and driving support system using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4326992B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4895126B2 (en) * | 2007-08-31 | 2012-03-14 | アイシン・エィ・ダブリュ株式会社 | Image recognition device and navigation device |
JP2014092935A (en) * | 2012-11-02 | 2014-05-19 | Aisin Aw Co Ltd | Preceding vehicle recognition system, preceding vehicle recognition method and preceding vehicle recognition program |
JP6207952B2 (en) * | 2013-09-26 | 2017-10-04 | 日立オートモティブシステムズ株式会社 | Leading vehicle recognition device |
US9495602B2 (en) * | 2013-10-23 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Image and map-based detection of vehicles at intersections |
JP6237571B2 (en) * | 2014-10-29 | 2017-11-29 | トヨタ自動車株式会社 | Driving assistance device |
JP6602595B2 (en) * | 2015-08-24 | 2019-11-06 | 株式会社東芝 | Vehicle type identification device and vehicle type identification method |
RU2703440C1 (en) * | 2015-09-30 | 2019-10-16 | Ниссан Мотор Ко., Лтд. | Method and device for controlling movement |
WO2017130285A1 (en) * | 2016-01-26 | 2017-08-03 | 三菱電機株式会社 | Vehicle determination apparatus, vehicle determination method, and vehicle determination program |
JP6432538B2 (en) * | 2016-02-09 | 2018-12-05 | 株式会社デンソー | Collision prediction device |
KR102665894B1 (en) * | 2017-10-13 | 2024-05-16 | 로베르트 보쉬 게엠베하 | Systems and methods for estimating the direction of traffic participants |
CN116092039B (en) * | 2023-04-10 | 2023-06-16 | 智道网联科技(北京)有限公司 | Display control method and device of automatic driving simulation system |
-
2004
- 2004-03-17 JP JP2004077276A patent/JP4326992B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005267120A (en) | 2005-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12005904B2 (en) | Autonomous driving system | |
JP6325670B2 (en) | Lane selection device, vehicle control system, and lane selection method | |
EP3686084B1 (en) | Parking support method and parking support device | |
EP3367336B1 (en) | Parking space line detection method and device | |
CN107430807B (en) | Automatic driving assistance system, automatic driving assistance method, and computer program | |
JP6553917B2 (en) | Automatic driving support system, automatic driving support method and computer program | |
CN107848534B (en) | Vehicle control device, vehicle control method, and medium storing vehicle control program | |
JP6331984B2 (en) | Automatic driving support system, automatic driving support method, and computer program | |
JP6365134B2 (en) | Driving support system, driving support method, and computer program | |
JP6994567B2 (en) | Vehicle control device | |
JP2004326730A (en) | System for autonomous travelling on expressway and control method for the same | |
US11118934B2 (en) | Method and system of route guidance for a towing vehicle | |
JP2017161284A (en) | Automatic driving assist device and computer program | |
EP3915857B1 (en) | A parking assist apparatus and a method of controlling the parking assist apparatus | |
JP6460420B2 (en) | Information display device, information display method, and information display program | |
EP3627110B1 (en) | Method for planning trajectory of vehicle | |
CN111479726A (en) | Parking control method and parking control device | |
JP2007164671A (en) | Device for deciding approaching obstacle and system for warning collision with obstacle | |
JP4326992B2 (en) | Peripheral vehicle identification method and driving support system using the same | |
JP6601679B2 (en) | Determination device, determination method, and determination program | |
JP2013184491A (en) | Vehicle traveling support device | |
JP2010156627A (en) | On-vehicle image display device | |
CN118043236A (en) | Parking support device and parking support method | |
JP2021142833A (en) | Travel support method and travel support device | |
JP2007127489A (en) | Navigation device, navigation method, navigation system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4326992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140619 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |