JP4900967B2 - Driving support device and driving support method - Google Patents
Driving support device and driving support method Download PDFInfo
- Publication number
- JP4900967B2 JP4900967B2 JP2008090777A JP2008090777A JP4900967B2 JP 4900967 B2 JP4900967 B2 JP 4900967B2 JP 2008090777 A JP2008090777 A JP 2008090777A JP 2008090777 A JP2008090777 A JP 2008090777A JP 4900967 B2 JP4900967 B2 JP 4900967B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- driving
- driver
- vehicle
- lane change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、自動車、ハイブリッドカーなどの車両に搭載され、ドライバ毎のドライバモデルを作成すると共に、作成されたドライバモデルに基づいてドライバに対して運転支援装置を行う運転支援装置及び運転支援方法に関する。 The present invention relates to a driving support device and a driving support method that are mounted on a vehicle such as an automobile and a hybrid car and that create a driver model for each driver and that perform a driving support device for a driver based on the created driver model. .
車両走行時、ドライバが車線変更を行う場合、ミラーでは確認することの出来ない死角が存在する。また、ドライバが直接目視する場合はミラーを確認する場合に比べて視線の移動量が大きく、前方以外を目視する時間が長くなるため危険性が高くなる。また、直接目視を行ったとしても、二輪車などの小型車両の場合はピラーの陰などで死角になる可能性が考えられる。 When the driver changes lanes while driving the vehicle, there is a blind spot that cannot be confirmed by the mirror. Further, when the driver looks directly, the amount of movement of the line of sight is larger than when the mirror is confirmed, and the time for viewing other than the front becomes longer, so the risk increases. Moreover, even if direct visual inspection is performed, in the case of a small vehicle such as a two-wheeled vehicle, there is a possibility that it may become a blind spot due to the shadow of a pillar.
そこで、ドライバが車線変更を行う時に、ドライバに対して運転支援装置を行う運転支援装置が種々提案されている。例えば、特許文献1(特開2008−15758号公報)には、車両に設けられ自車線と異なる車線を含む後側方領域を撮影可能な撮影手段と、該撮影手段が撮影した映像を車両の乗員に視認可能に表示する表示手段とを備える運転支援装置であって、前記車線の自車両後側方の他車両の自車両に対する接近、もしくは離反する度合の少なくとも何れかを示す目印を前記映像に重畳表示する目印表示手段を備えることを特徴とする運転支援装置が開示されている。
しかしながら、特許文献1に記載の運転支援装置では、撮影手段を用いて周辺車両に関する警告をドライバに行うものであるが、通常の走行時において、隣の走行レーンに車両が存在する頻度は高く、単純に車両を撮影手段で撮像するのみで警告を行うことは利便性の面からも良くない。
However, in the driving support device described in
上記問題点を解決するために、ドライバモデルによる行動予測を行い、ドライバが車線変更を行おうとしたときにのみ、例えば死角をカバーするようなカメラの映像を自動で表示し、また衝突の危険がある位置に他車両などが存在する場合は警告を行うことにより、安全に車線変更を行うための運転支援装置及び運転支援方法を提供するものである。 In order to solve the above problems, behavior prediction based on the driver model is performed, and only when the driver tries to change lanes, for example, a camera image that covers the blind spot is automatically displayed, and there is a risk of collision. The present invention provides a driving support device and a driving support method for safely changing lanes by giving a warning when another vehicle or the like is present at a certain position.
そのために、請求項1に係る発明は、運転者の生理状態に係るデータを取得する生理状態データ手段と、運転操作に係るデータを取得する運転操作データ取得手段と、運転状況に係るデータを取得する運転状況データ取得手段と、生理状態データと運転状況データと運転操作データとの間の因果関係を確率的に定めたテーブルを更新するテーブル更新手段と、前記テーブル更新手段によって更新されたテーブルと現在の運転状況データとから運転操作を予測する運転操作予測手段と、を有し、前記因果関係におけるネットワーク構造は、前記生理状態データが、前記運転状況データから影響を受けるノードであって、前記運転操作データが、前記運転状況データ及び前記生理状態データから影響を受けるノードとなるネットワーク構造であることを特徴とする運転支援装置である。
For this purpose, the invention according to
また、請求項2に係る発明は、請求項1に記載の運転支援装置において、前記ネットワーク構造の因果関係は、ベイジアンネットワークによって定められることを特徴とする。
The invention according to
また、請求項3に係る発明は、請求項1又は請求項2のいずれかに記載の運転支援装置において、前記運転操作予測手段の予測に基づいて運転者に警告などを報知する警告報知手段と、を有すことを特徴とする。
Further, the invention according to
また、請求項4に係る発明は、請求項1乃至請求項3のいずれかに記載の運転支援装置において、前記運転操作予測手段の予測に基づいて運転者に運転操作のアシストを行う運転操作アシスト手段と、を有すことを特徴とする。
According to a fourth aspect of the present invention, in the driving support device according to any one of the first to third aspects, the driving operation assist for assisting the driver in driving operation based on the prediction of the driving operation prediction means. And means.
また、請求項5に係る発明は、請求項1乃至請求項4のいずれかに記載の運転支援装置において、前記運転状況データ取得手段は運転状況に係るデータを取得する運転状況データを複数取得することを特徴とする。
Further, the invention according to
また、請求項6に係る発明は、運転者の生理状態に係るデータを取得する生理状態データ取得工程と、運転操作に係るデータを取得する運転操作データ取得工程と、運転状況に係るデータを取得する運転状況データ取得工程と、生理状態データと、運転操作データと、運転状況データと間の因果関係を、ベイジアンネットワークを用いることで確率的に定めたテーブルを更新する工程と、更新された最新のテーブルと現在の運転状況データとから運転操作を予測する工程と、を有し、前記ベイジアンネットワークにおけるネットワーク構造では、前記生理状態データが、前記運転状況データから影響を受けるノードであり、前記運転操作データが、前記運転状況データ及び前記生理状態データから影響を受けるノードであるものと定義されることを特徴とする運転支援方法である。
The invention according to
本発明の請求項1に記載の運転支援装置によれば、因果関係を確率的に定めたテーブルによって、運転操作を予測するので、効率的で的確な運転支援を行うことが可能となる。 According to the driving support apparatus of the first aspect of the present invention, the driving operation is predicted by the table in which the causal relation is stochastically determined, so that efficient and accurate driving support can be performed.
また、本発明の請求項2に記載の運転支援装置によれば、因果関係を確率的に定めたテーブルによって、運転操作を予測し、運転者に警告などを報知するので、効率的で的確な運転支援を行うことが可能となる。 Further, according to the driving support device of the second aspect of the present invention, the driving operation is predicted and the driver is notified of a warning or the like by using the table in which the causal relationship is stochastically determined, so that it is efficient and accurate. Driving assistance can be performed.
また、本発明の請求項3に記載の運転支援装置によれば、因果関係を確率的に定めたテーブルによって、運転操作を予測し、運転者に運転操作のアシストを行うので、効率的で的確な運転支援を行うことが可能となる。 Further, according to the driving support device of the third aspect of the present invention, the driving operation is predicted by the table in which the causal relation is stochastically determined, and the driving operation is assisted to the driver. It becomes possible to perform a driving assistance.
また、本発明の請求項4に記載の運転支援装置によれば、テーブル更新手段が、運転状況データと運転操作データとの間の因果関係に加えて、運転操作や運転状況と関係のない生理状態データとの因果関係を含んだテーブルを更新するので、裕度を含んで運転操作を予測するので、効率的で的確な運転支援を行うことが可能となる。 According to the driving support apparatus of the fourth aspect of the present invention, in addition to the causal relationship between the driving situation data and the driving operation data, the table update means has a physiological relationship that is not related to the driving operation or the driving situation. Since the table including the causal relationship with the state data is updated, the driving operation is predicted including the margin, so that efficient and accurate driving support can be performed.
また、本発明の請求項5に記載の運転支援装置によれば、運転状況データ取得手段は運転状況に係るデータを取得する運転状況データを複数取得するので、より的確に運転操作予測を行うことができるようになり、効率的で的確な運転支援を行うことが可能となる。 Further, according to the driving support apparatus of the fifth aspect of the present invention, the driving status data acquisition means acquires a plurality of driving status data for acquiring data related to the driving status, so that the driving operation prediction is performed more accurately. Thus, efficient and accurate driving support can be performed.
また、本発明の請求項6に記載の運転支援装置によれば、運転状況データと運転操作データとの間の因果関係はベイジアンネットワークによって定め、これに基づき運転操作予
測を行うことで、効率的で的確な運転支援を行うことが可能となる。
Further, according to the driving support apparatus of the sixth aspect of the present invention, the causal relationship between the driving situation data and the driving operation data is determined by the Bayesian network, and the driving operation is predicted based on the causal relationship. This makes it possible to provide accurate driving support.
また、本発明の請求項7に記載の運転支援方法によれば、因果関係を確率的に定めたテーブルによって、運転操作を予測するので、効率的で的確な運転支援を行うことが可能となる。 Moreover, according to the driving support method of the seventh aspect of the present invention, since the driving operation is predicted based on the table in which the causal relationship is determined stochastically, it is possible to perform efficient and accurate driving support. .
以下、本発明の運転支援装置における好適な実施の形態について、図面を参照しつつ説明する。 Hereinafter, preferred embodiments of the driving support apparatus of the present invention will be described with reference to the drawings.
(1)実施形態の概要
図1は本発明の実施の形態に係る運転支援装置の概念を示す図である。下向きの矢印は運転行動・運転環境を時系列的にイメージしたものである。矢印の左側はドライバモデルの学習に係る構成が、また、右側は車線変更の予測に係る構成が図示されている。
本実施形態の運転支援装置においては、ドライバが本実施形態の装置を搭載した車両を運転する毎に、ドライバ個人毎のドライバモデルを作成し、予め記憶されている標準的なドライバモデルに、現在進行形で作成されたドライバモデルを順次加味していき、個人毎のドライバモデルとして学習するようになっている。ドライバモデルの作成は、ドライバの運転中に運転状態のデータ(例えば、アクセル、ブレーキ、ハンドルの操作量、車速、加速度、などの自車両情報、車間距離、道路の状況、交通量、天候などといった車両周辺の情報など)を収集することによって、これを行うものである。このようなドライバモデルを作成される際に収集され、作成のための基礎となるデータが「ドライバモデル学習データ」(図中A)である。このようなドライバモデルには、ドライバ個人毎の運転パターンや運転のクセといったものがそのパラメータに反映されることとなる。本発明の運転支援装置においては、このドライバモデルを作成する上では、ベイジアンネットワークと呼ばれるアルゴリズムを用いて、運転状態の個々のデータ間の因果律を定める。ドライバモデルに基づき車線変更などの運転操作行動を予測するときにおいて、このベイジアンネットワークを用いることで、収集された現在の「ドライバモデル学習データ」のうちに欠落するパラメータが存在していたとしても、運転操作行動を容易に推定し出力することができるようになる。
(1) Outline of Embodiment FIG. 1 is a diagram showing a concept of a driving support apparatus according to an embodiment of the present invention. The downward arrow is a time-series image of driving behavior and driving environment. The left side of the arrow shows the configuration related to learning of the driver model, and the right side shows the configuration related to prediction of lane change.
In the driving support device of this embodiment, every time the driver drives a vehicle equipped with the device of this embodiment, a driver model for each driver is created, and the standard driver model stored in advance is The driver model created in the progressive form is taken into account in order and learned as a driver model for each individual. The driver model is created by driving data (for example, information on the vehicle, such as accelerator, brake, steering wheel operation amount, vehicle speed, acceleration, etc., distance between vehicles, road conditions, traffic volume, weather, etc.) This is done by collecting information around the vehicle). “Driver model learning data” (A in the figure) is data that is collected when such a driver model is created and is the basis for creation. In such a driver model, driving parameters for each driver and driving habits are reflected in the parameters. In the driving support apparatus of the present invention, in creating this driver model, causality between individual data of driving states is determined using an algorithm called a Bayesian network. When predicting driving behavior such as lane change based on the driver model, using this Bayesian network, even if there are missing parameters in the collected current `` driver model learning data '', Driving operation behavior can be easily estimated and output.
次に、ドライバモデルをドライバモデルのデータベースに記憶する際には、個人毎の車線変更時のパターンを記録した「車線変更ドライバモデルデータ」と、車線変更をする前の先行行動のパターンを記録した「車線変更先行行動ドライバモデルデータ」、先行行動を含む車線変更時以外の時のパターンを記録した「通常ドライバモデルデータ」の3つに振り分けて記憶される(図中B)。本実施形態においては、3つのドライバモデルを振り分ける際のアルゴリズムについても大きな特徴を有するものである。 Next, when storing the driver model in the driver model database, the “lane change driver model data” that records the lane change pattern for each individual and the pattern of the preceding action before the lane change was recorded. The “lane change preceding action driver model data” and the “normal driver model data” in which the pattern other than the time of the lane change including the preceding action is recorded and stored (B in the figure). In the present embodiment, the algorithm for distributing the three driver models also has a great feature.
本実施形態の運転支援装置では、上記のような振り分けによって、ドライバ個人毎について、「通常」時のドライバモデル、「車線変更」時のドライバモデル、「先行行動」時のドライバモデルが作成・記憶されるわけである(図中C)。 In the driving support device of the present embodiment, for each driver individual, a driver model at the time of “normal”, a driver model at the time of “lane change”, and a driver model at the time of “preceding action” are created and stored for each driver. (C in the figure).
以上のようにして作成されたドライバモデルを利用して、次に車線変更の予測を行う(図中D)。この車線変更の予測を行うときには、収集された現在の「ドライバモデル学習データ」と、学習・蓄積されているドライバモデルとの双方が用いられる。また、この予測においては、ベイジアンネットワークと呼ばれるアルゴリズムが利用される。 Next, a lane change is predicted using the driver model created as described above (D in the figure). When this lane change prediction is performed, both the collected current “driver model learning data” and the driver model that has been learned and accumulated are used. In this prediction, an algorithm called a Bayesian network is used.
さらに、本実施形態の運転支援装置では、車線変更が予測されたような場合には、ドライバに対してワーニングを行ったり、或いは必要に応じてドライバアシストをしたりするなどの運転支援を実行するようになっている(図中E)。本実施形態の運転支援装置で、
このような車線変更予測に基づいた警告を行うものであるので、効率的で的確な運転支援を行うことが可能となる。
Furthermore, in the driving assistance apparatus of this embodiment, when a lane change is predicted, driving assistance such as warning the driver or providing driver assistance as necessary is executed. (E in the figure). In the driving support device of this embodiment,
Since warning based on such lane change prediction is performed, efficient and accurate driving support can be performed.
なお、本実施形態に係る運転支援装置では、ドライバの運転中に運転状態のデータ(自車両情報、例えば、アクセル、ブレーキ、ハンドルの操作量、車速、車間距離、加速度など)を収集し、その運転状態データのうち、ドライバが車線変更を行おうしている部分を抽出して、「車線変更先行行動ドライバモデルデータ」とし、車線変更を実行しているときの部分を「車線変更ドライバモデルデータ」とし、それ以外の通常の運転を行っている部分を「通常ドライバモデルデータ」とする。これにより、ドライバに意識させることなく、車線変更などの運転パターンに係るドライバモデルを自動的に作成することができる。 The driving support device according to the present embodiment collects driving state data (vehicle information such as accelerator, brake, steering wheel operation amount, vehicle speed, inter-vehicle distance, acceleration, etc.) while the driver is driving, From the driving state data, the part where the driver is changing the lane is extracted as “lane change preceding action driver model data”, and the part when the lane change is being executed is “lane change driver model data”. ", And the other part of normal operation is defined as" normal driver model data ". Accordingly, a driver model related to a driving pattern such as lane change can be automatically created without making the driver aware of it.
また、本実施形態の運転支援装置では、例えば、片道3車線の国道で、信号が青の交差点を右折専用車線から右折する場合で、対向車があり、横断歩道に歩行者がおり、雨が降っており、ドライバが会話をしている場合、というように、走行中における自車両周辺環境の各場面(シチュエーション)毎にドライバモデルの学習がされる。 In the driving support device of the present embodiment, for example, on a three-lane one-way national road, turn right at an intersection with a blue light from a right-turn exclusive lane, there is an oncoming vehicle, there are pedestrians on a pedestrian crossing, rain When it is falling and the driver is talking, the driver model is learned for each scene (situation) of the surrounding environment of the vehicle during traveling.
次に、本発明の運転支援装置のドライバモデルに用いるベイジアンネットワークの概要について説明する。図2は本発明の実施の形態に係る運転支援装置で用いられるベイジアンネットワークの概念を示す図である。ベイジアンネットワークとは、確率的な因果関係をグラフ構造で表現したモデルである。図2に示す各ノードX1、X2、X3、X4は確率変数を表し、それらの間の因果関係の有無を有向グラフで、また、確率変数の取りうる値のノード間での因果関係を条件付確率で表す。ノードX1とノードX2とは確率的な関係があることを、ノードX1からノードX2への矢印によって示している。ノードX2はノードX1、X3からの影響を、また、ノードX4はノードX3の影響を受ける関係となっており、このような因果関係を加味した確率テーブルが、図2中に示す条件付き確率テーブルである。これに対して、ノードX1、X3はどのノードからの影響も受けない親ノードであり、このときの確率テーブルは図中に示す事前確率テーブルのようになる。 Next, an outline of the Bayesian network used for the driver model of the driving support apparatus of the present invention will be described. FIG. 2 is a diagram showing a concept of a Bayesian network used in the driving support apparatus according to the embodiment of the present invention. A Bayesian network is a model that represents a probabilistic causal relationship in a graph structure. Each node X1, X2, X3, and X4 shown in FIG. 2 represents a random variable, the presence or absence of a causal relationship between them is a directed graph, and the causal relationship between nodes of the values that the random variable can take is a conditional probability Represented by The fact that there is a stochastic relationship between the node X1 and the node X2 is indicated by an arrow from the node X1 to the node X2. The node X2 is affected by the nodes X1 and X3, and the node X4 is affected by the node X3. The probability table taking into account such a causal relationship is a conditional probability table shown in FIG. It is. On the other hand, the nodes X1 and X3 are parent nodes that are not affected by any node, and the probability table at this time is like the prior probability table shown in the figure.
図2示すものの場合、そのグラフの構造より、全ての確率変数の結合確率はP(X1,X2,X3,X4)=P(X1)P(X2|X1,X3)P(X3)P(X4|X3)となる。ベイジアンネットワークを利用した推論においては、この結合確率の周辺化により、周辺事後確率を求めることにより行われる。本発明の運転支援装置のドライバモデルでこのようなベイジアンネットワークをどのように用いるかについては後に説明する。 In the case of what is shown in FIG. 2, from the structure of the graph, the joint probabilities of all random variables are P (X1, X2, X3, X4) = P (X1) P (X2 | X1, X3) P (X3) P (X4 | X3). Inference using a Bayesian network is performed by obtaining peripheral posterior probabilities by marginalizing this connection probability. How to use such a Bayesian network in the driver model of the driving support device of the present invention will be described later.
また、本発明に係る運転支援装置では、車線変更を自動で認識することにより、車線変更特有の先行行動を上記のようにドライバモデルとして学習する。そして、このドライバモデルを用いて車線変更の操作を事前に予測する。また、車載カメラなどにより、車両周辺の他車両の状態をセンシングし、近接位置に存在する他車両を把握する。また、左右斜め後方を撮影するカメラを備え、ドライバの死角となる部分の画像を提供する。これにより、自車の隣のレーンを走行するような、通常の走行では危険ではない位置に存在し、近接警報を行うことが出来ない車に関しても、車線変更を行おうとしたときにのみ車線変更先での衝突の危険性を考慮した警告を事前に行うことが可能となる。 In the driving support device according to the present invention, the lane change specific advance behavior is learned as a driver model as described above by automatically recognizing the lane change. Then, a lane change operation is predicted in advance using this driver model. Further, the state of other vehicles around the vehicle is sensed by an in-vehicle camera or the like, and the other vehicles existing in the proximity position are grasped. Moreover, the camera which image | photographs diagonally right and left back is provided, and the image of the part used as a blind spot of a driver is provided. As a result, even for vehicles that are in a position that is not dangerous in normal driving, such as driving in the lane next to your vehicle, you can change lanes only when you try to change lanes. It is possible to perform a warning in advance in consideration of the danger of a collision in advance.
(2)実施形態の詳細
図3は、車両に搭載する運転支援装置のブロック構成を表したものである。図2において、100はECU(電子制御装置)、200は自車両情報取得部、201はハンドル操舵角センサ、202はアクセルペダル位置センサ、203はブレーキペダル位置センサ、204は速度計、205は加速度センサ、206はエレキ動作状況取得部、207はウインカー、208はライト、210はドライバ情報取得部、211は顔カメラ、212は表情
認識部、213は視線認識部、214は顔向き認識部、215は皮膚電位センサ、216はマイクロフォン、220は車両周辺環境情報取得部、221は前方監視カメラ、222は後方監視カメラ、223は側方監視カメラ、224は車間距離レーダー、225はコーナーセンサー、230はカーナビゲーションシステム、231はGPS部、232は道路情報部、233は経路案内部、234は地図データベース、240は外部通信部、241は携帯電話通信部、242はVICS通信部、243は無線LAN通信部、244は車車間通信部、245は路車間通信部、246はデータ放送部、300はドライバモデルデータベース部、301は通常ドライバモデルデータ、302は車線変更ドライバモデルデータ、303は車線変更先行行動ドライバモデルデータ、310はドライバモデル学習データ記録部、311は自車両情報、312は車両周辺環境情報、313は位置情報、400は情報提示部、401はディスプレイ部、402は音声警告部、403はハザードランプ、500はパターンマッチング用データ保存部、501は平常時顔表情テンプレートデータ、502は歩行者テンプレートデータ、503は自転車テンプレートデータをそれぞれ示している。
(2) Details of Embodiment FIG. 3 shows a block configuration of a driving support device mounted on a vehicle. In FIG. 2, 100 is an ECU (electronic control unit), 200 is a host vehicle information acquisition unit, 201 is a steering wheel steering angle sensor, 202 is an accelerator pedal position sensor, 203 is a brake pedal position sensor, 204 is a speedometer, and 205 is acceleration. Sensor, 206, electric operation status acquisition unit, 207, blinker, 208, light, 210, driver information acquisition unit, 211, face camera, 212, facial expression recognition unit, 213, gaze recognition unit, 214, face direction recognition unit, 215 Is a skin potential sensor, 216 is a microphone, 220 is a vehicle surrounding environment information acquisition unit, 221 is a front monitoring camera, 222 is a rear monitoring camera, 223 is a side monitoring camera, 224 is an inter-vehicle distance radar, 225 is a corner sensor, 230 is Car navigation system, 231 is GPS unit, 232 is road information unit, 233 Route guidance unit, 234 is a map database, 240 is an external communication unit, 241 is a mobile phone communication unit, 242 is a VICS communication unit, 243 is a wireless LAN communication unit, 244 is an inter-vehicle communication unit, 245 is an inter-vehicle communication unit, 246 Is a data broadcasting unit, 300 is a driver model database unit, 301 is normal driver model data, 302 is lane change driver model data, 303 is lane change preceding behavior driver model data, 310 is a driver model learning data recording unit, and 311 is the own vehicle Information, 312 is vehicle surrounding environment information, 313 is position information, 400 is an information presentation unit, 401 is a display unit, 402 is a voice warning unit, 403 is a hazard lamp, 500 is a pattern matching data storage unit, and 501 is a normal face Facial expression template data, 502 is pedestrian template data, 5 3 shows a bicycle template data, respectively.
なお、図3により説明する運転支援装置の構成については、その全てが必要ということではなく、本実施形態にけるドライバモデルの作成及び運転支援を行う為に使用可能な各部や装置について説明するものであり、採用する運転支援の機能等に応じて適宜選択して装置を構成することが可能であり、また、同様な機能を有する他の機器、装置を追加使用することが可能である。 Note that the configuration of the driving support device described with reference to FIG. 3 is not all necessary, but describes each part and device that can be used to create a driver model and perform driving support in the present embodiment. Therefore, the apparatus can be configured by appropriately selecting according to the driving support function to be adopted, and other devices and apparatuses having similar functions can be additionally used.
運転支援装置は、ECU(電子制御装置)100、自車両情報取得部200、ドライバ情報取得部210、車両周辺環境情報取得部220、カーナビゲーションシステム230、外部通信部240、ドライバモデルデータベース部300、ドライバモデル学習データ記録部310、情報提示部400、パターンマッチング用データ保存部500を備えている。
The driving support device includes an ECU (electronic control unit) 100, a host vehicle
ECU100は、CPU、ROM、RAM、インターフェイスなどの各部を備えた汎用のコンピュータシステムで構成されている。ECU100は、図示されているECU100と接続される各構成と協働・動作する。特に、ECU100は、本発明においては、主として、自車両情報取得部200の取得情報に基づくドライバ運転行動の監視、ドライバ情報取得部210の取得情報に基づく生理状態データである生体情報の変化の監視、ドライバモデルデータベース部300に学習・登録されているドライバモデルと自車両情報取得部200から得た運転操作情報の比較、ドライバモデルデータベース部300に基づく車線変更の兆候を示す情報の取得、情報提示部400によって車線変更の兆候に対する適切な情報と警告の提示を行うようになっている。また、ECU100は、ドライバモデルの作成、出力に必要なデータ処理を実行するようになっている。
The
自車両情報取得部200は、ハンドル操舵角センサ201、アクセルペダル位置センサ202、ブレーキペダル位置センサ203、速度計204、加速度センサ205、エレキ動作状況取得部206、ウインカー207、ライト208、その他のセンサを備えている。
The own vehicle
図4は本発明の実施の形態に係る運転支援装置における自車両情報取得部200で取得する自車両情報を示す図である。ハンドル操舵角センサ201はハンドル操作量を、アクセルペダル位置センサ202はアクセルペダル操作量を、ブレーキペダル位置センサ203はブレーキペダル操作量を、速度計204は車両の速度を、加速度センサ205は車両の加速度を検出する。また、エレキ動作状況取得部206におけるウインカー207はウインカー動作状況を、ライト208はライト動作状況をそれぞれ検出する。
FIG. 4 is a diagram showing host vehicle information acquired by the host vehicle
ドライバ情報取得部210は、顔カメラ211、表情認識部212、視線認識部213、顔向き認識部214、皮膚電位センサ215、マイクロフォン216を備えるものである。
The driver
図5は本発明の実施の形態に係る運転支援装置におけるドライバ情報取得部210で取得するドライバ情報を示す図である。顔カメラ211は車両を運転するドライバの撮像装置であり、当該撮像装置で取得した撮像データに基づいて画像認識を行う。表情認識部212はドライバの表情の画像認識を、視線認識部213はドライバの視線の画像認識を、顔向き認識部214はドライバの顔の向きの画像認識を行う。また、マイクロフォン216で取得される音声データによってドライバが会話しているか否かが判定される。また、皮膚電位センサ215は、車両運転席のステアリングなどに設けられ、ドライバの皮膚電位を検出するセンサである。この皮膚電位センサで取得される皮膚電位によれば、車線変更前のドライバの緊張状態などを検出できる可能性がある。
FIG. 5 is a diagram showing driver information acquired by the driver
車両周辺環境情報取得部220は、前方監視カメラ221、後方監視カメラ222、側方監視カメラ223、車間距離レーダー224、コーナーセンサー225を備えてなるものである。ECU100はこれらのカメラ、レーダー、センサーによって車両周辺状況の把握を行う。特に、GPS部231による位置情報と地図データベース234の地図情報と、前方監視カメラ221、後方監視カメラ222で撮像された画像に基づいて解析される車線情報とを組み合わせることで、ECU100は現在車両がどのレーンを走行しているかなどの情報を取得することができる。
The vehicle surrounding environment
図6は本発明の実施の形態に係る運転支援装置における車両周辺環境情報取得部220で取得する車両周辺環境情報を示す図である。前方監視カメラ221は前方画像を撮像・取得し、後方監視カメラ222は後方画像を撮像・取得し、側方監視カメラ223は側方画像を撮像・取得する。また、車間距離レーダー224は前方を走行する車両などとの車間距離を測定し、コーナーセンサー225は車両の周辺に存在する障害物との距離を測定する。
FIG. 6 is a diagram showing vehicle surrounding environment information acquired by the vehicle surrounding environment
カーナビゲーションシステム230は、車両の現在位置情報を検出するGPS部231や、検出した現在位置情報に対応する地図情報を記憶している地図データベース234を備えている。また、経路案内部233は、設定された目的地などに応じて、車両の現在位置からの経路を導出するものである。
The
図7は本発明の実施の形態に係る運転支援装置におけるカーナビゲーションシステム230で取得するカーナビゲーションシステム情報を示す図である。カーナビゲーションシステム230では、位置情報として「緯度」、「経度」、「走行レーン」に係る情報を取得する。また、カーナビゲーションシステム230では、道路情報として「道路種別」、「道路形状」、「道路幅」、「交通規制」の中項目に分類されるデータを取得する。それぞれの中項目の下には図示される各小項目データが取得される。
FIG. 7 is a diagram showing car navigation system information acquired by the
外部通信部240は、携帯電話通信部241、VICS通信部242、無線LAN通信部243、車車間通信部244、路車間通信部245、データ放送部246を備えている。これらの各通信部において、車車間通信部244では自車両を走行する周辺車両との通信を行うものであり、路車間通信部245はITSなどのインフラシステムと車両との間の通信を行うものである。路車間通信部245では、周囲を走行する緊急車両に係る情報などを得るものとする。
The
図8は本発明の実施の形態に係る運転支援装置における外部通信部240で取得する情報を示す図である。外部通信部240で取得する、中項目に分類される情報としては「交
通情報」、「気象情報」、「路面情報」、「信号情報」、「周辺車両情報」、やその他の情報がある。それぞれの中項目の下には図示される各小項目データが取得される。
FIG. 8 is a diagram showing information acquired by the
ドライバモデルデータベース部300には、車線変更時のドライバモデルを記憶する車線変更ドライバモデルデータ302と、その先行行動のドライバモデルを記憶する車線変更先行行動ドライバモデルデータ303と、それら以外の時のドライバモデルを記録する通常ドライバモデルデータ301とを有している。
The driver
図9は本発明の実施の形態に係る運転支援装置におけるドライバモデルデータベース部300で記憶するデータ構造を示す図である。ドライバモデルデータベース部300は、車線変更時のドライバモデル、車線変更先行行動時のドライバモデル、車線変更時以外の時のドライバモデルのいずれのデータ構造も共通であり、図9はその共通の構造を示している。「連続ノードデータ」はドライバモデルそのものに係るデータであり、ガウス分布におけるパラメータである「離散」、「平均」、「分散」を有する。
FIG. 9 is a diagram showing a data structure stored in the driver
情報提示部400は、予測される運転行動に基づいてドライバに報知・警告を行うものであり、ディスプレイ部401、音声警告部402、ハザードランプ403、その他の構成を有するものである。
The
また、パターンマッチング用データ保存部500は、平常時顔表情テンプレートデータ501、
歩行者テンプレートデータ502、自転車テンプレートデータ503の3つのパターンマッチング用のテンプレートデータを有する。これらのパターンマッチング用のデータは、数値化しにくいデータを扱うためのものである。図10は本発明の実施の形態に係る運転支援装置におけるパターンマッチング用データ保存部500で記憶するテンプレートデータを示す図である。図10において、例えば「平常時顔表情テンプレートデータ」は平常時のドライバの顔表情の画像データである。このような基本となる画像データに基づけば、表情認識部212で認識される顔表情が平常であるか否かを導き出すことができる。テンプレートデータを用いることによって、種々の状況を離散データ化してベイジアンネットワークアルゴリズムに代入するようになっている。
Further, the pattern matching
It has three pattern matching template data:
ドライバモデル学習データ記録部310は、自車両情報311、車両周辺環境情報312、位置情報313などを記憶している。このドライバモデル学習データ記録部310の情報は、ドライバモデルの作成及び車線変更の予測に用いられる。ドライバモデル学習データ記録部310の情報は、例えば最新のものから10分間分程度ログとして記録されている。
The driver model learning
「車線変更ドライバモデルデータ」や「車線変更先行行動ドライバモデルデータ」は、車線変更が完了した地点から過去に遡った先行行動を含めた形での作成しなければならない。このため、「車線変更ドライバモデルデータ」を作成する際には、前述のように10分間程度のログデータから、車線変更の起点となる点から終了する点までのデータによって「車線変更ドライバモデルデータ」を作成し、当該起点の一定期間前のデータから当該起点までのデータによって「車線変更先行行動ドライバモデルデータ」を作成する。 The “lane change driver model data” and the “lane change preceding behavior driver model data” must be created in a form including the preceding behavior traced back to the past from the point where the lane change has been completed. For this reason, when creating the “lane change driver model data”, as described above, the “lane change driver model data” is based on the data from the log data for about 10 minutes to the point where the lane change starts and ends. And “lane change preceding behavior driver model data” is created from data from a certain period before the starting point to the starting point.
なお、各ドライバモデルの作成のため(より具体的には後に説明する確率テーブルを作成するため)には、Arthur Dempster, Nan Laird, and
Donald Rubin. “Maximum likelihood from incomplet
e data via the EM algorithm”. Journal of
th
e Royal Statistical Society, Series B, 39(1):1−38, 1977.などに示されているEMアルゴリズムを用いるものとする。
For creating each driver model (more specifically, for creating a probability table to be described later), Arthur Demster, Nan Laird, and
Donald Rubin. “Maximum likelihood from incomplete
e data via the EM algorithm ". Journal of
th
e Royal Statistical Society, Series B, 39 (1): 1-38, 1977. The EM algorithm shown in FIG.
図11は本発明の実施の形態に係る運転支援装置におけるドライバモデル学習データ記録部310で記憶するデータ構造を示す図である。図11に示すように、ドライバモデル学習データ記録部310のデータは、ドライバの運転中に運転操作に係るデータ(アクセル、ブレーキ、ハンドルの操作量)、及びそのときの周囲環境に係るデータ(道路の種類、交通量、ドライバの顔表情など)を含むものであり、これらのデータに基づいてドライバモデルが作成されると共に、ドライバモデル学習データ記録部310の最新のデータに基づいて、車線変更の予測が行われる。
FIG. 11 is a diagram showing a data structure stored in the driver model learning
次に、本発明の運転支援装置で用いるドライバモデルの具体的な構成について説明する。図12は本発明の実施の形態に係る運転支援装置で用いるドライバモデルのネットワーク構造を示す図である。本発明の運転支援装置で用いるドライバモデルは、(a)図12に示すベイジアンネットワークの構造、(b)条件付き確率テーブル、事前確率テーブル、(c)ガウス分布のパラメータから構成されるものである。これらの3つのうち(b)、(c)が学習によって常に最新のものに置き換えられていくようになっている。すなわち、ドライバモデルの学習時には条件付確率テーブルとガウス分布のパラメータを更新していくことになる。これに対して、ベイジアンネットワークの構造は最初の設計時に規定され、以降同じものが用い続けられる。 Next, a specific configuration of the driver model used in the driving support device of the present invention will be described. FIG. 12 is a diagram showing a network structure of a driver model used in the driving support apparatus according to the embodiment of the present invention. The driver model used in the driving support device of the present invention is composed of (a) the structure of the Bayesian network shown in FIG. 12, (b) a conditional probability table, a prior probability table, and (c) a Gaussian distribution parameter. . Of these three, (b) and (c) are always replaced by the latest by learning. That is, when learning the driver model, the conditional probability table and the parameters of the Gaussian distribution are updated. On the other hand, the structure of the Bayesian network is defined at the time of the initial design, and the same one is continuously used thereafter.
図12のベイジアンネットワークの構造において、□は離散ノードを、○は連続ノードを示しており、離散ノード内の数字は各ノードが取る状態の数を示している。例えば、「顔の表情Fc(2)」は、Fc=0(平常)、Fc=1(異常)の2つの状態をとるものである。本発明の運転支援装置においては、このような離散ノードを複数有する構成となっているので、より的確に運転操作予測を行うことができるようになり、効率的で的確な運転支援を行うことが可能となる。 In the structure of the Bayesian network in FIG. 12, □ indicates a discrete node, ◯ indicates a continuous node, and the number in the discrete node indicates the number of states that each node takes. For example, “facial expression Fc (2)” takes two states, Fc = 0 (normal) and Fc = 1 (abnormal). In the driving support device of the present invention, since it has a configuration having a plurality of such discrete nodes, it becomes possible to perform driving operation prediction more accurately, and to provide efficient and accurate driving support. It becomes possible.
図12のネットワーク構造において、上段に示されている顔の表情Fc(2)、視線Gz(4)、・・・交通量Td(3)の各ノード及び下段に示されている車速Sp(8)、車間距離Fd(8)、・・・車線変更Lc(3)の各ノードは親ノードであり、これらのノードが生理状態Ph(2)のノード、運転行動変数DBのノードに影響を与えているものと考える。また、ネットワーク構造において、生理状態Ph(2)のノードが運転行動変数DBのノードに影響を与えているものと考える。すなわち、生理状態データは、運転状況データから影響を受けるノードであって、運転操作データは、運転状況データ及び生理状態データから影響を受けるノードとなるネットワーク構造となっており、このネットワーク構造の因果関係は、ベイジアンネットワークによって定められている。生理状態データ、運転状況データ及び運転操作データのネットワーク構造は実験的にその効果を確かめたものであるが、このように設定した理由は次のとおりである。生理状態データは運転状況データから影響を受けるノードとなっているが、走行している周囲の車両の状況などによって運転者の生理状態が変化したりすることがあっても、運転者の生理状態の変化が走行している周囲の車両の状況に影響を与えることない。また、運転操作データは、運転状況データ及び生理状態データから影響を受けるノードとなっているが、走行している周囲の車両の状況と生理状態が運転操作に影響を及ぼすことがあっても、運転操作が走行している周囲の車両の状況と生理状態に及ぼすことがないためである。したがって、仮にこのネットワーク構造を異なる構造にした場合には、その予測は精度が著しく低下するものであり、本実施形態のネットワーク構造本運転支援装置には最適であり、そのネットワーク構造の因果関係をベイジアンネットワークによって定めた場合には特に好適である。 In the network structure of FIG. 12, the facial expression Fc (2) shown in the upper stage, the line of sight Gz (4),... Traffic volume Td (3), and the vehicle speed Sp (8 shown in the lower stage. ), Inter-vehicle distance Fd (8),... Each lane change Lc (3) node is a parent node, and these nodes affect the node of the physiological state Ph (2) and the node of the driving behavior variable DB. I think. In the network structure, it is considered that the node of the physiological state Ph (2) influences the node of the driving behavior variable DB. That is, the physiological state data is a node affected by the driving situation data, and the driving operation data has a network structure that is a node affected by the driving situation data and the physiological state data. The relationship is defined by a Bayesian network. The network structure of the physiological state data, the driving state data, and the driving operation data has been confirmed experimentally, and the reason for setting in this way is as follows. Although the physiological state data is a node that is influenced by the driving situation data, the physiological state of the driver may change even if the driver's physiological state may change depending on the situation of the surrounding vehicle. The change of the vehicle does not affect the situation of the surrounding vehicle. In addition, the driving operation data is a node that is influenced by the driving situation data and physiological state data, but even if the situation and physiological state of the surrounding vehicle that is running may affect the driving operation, This is because the driving operation does not affect the situation and physiological state of the surrounding vehicle. Therefore, if this network structure is changed to a different structure, the accuracy of the prediction is remarkably lowered, and the network structure of this embodiment is optimal for the driving support apparatus. This is particularly suitable when determined by a Bayesian network.
ここで、ネットワーク構造で上段に示されている顔の表情Fc(2)、視線Gz(4)、・・・交通量Td(3)の各ノード及び下段に示されている車速Sp(8)、車間距離Fd(8)、・・・車線変更Lc(3)の各ノードは図11に示されているように運転支援装置で取得されるドライバモデル学習データと対応しおり、運転行動変数DBは図11のドライバモデル学習データの連続データの行と対応している。連続データは、ガウス分布の「離散」、「平均」、「分散」の形で保有しておき、後に説明する方法によって所定の確率に置き換える。 Here, the facial expression Fc (2) shown in the upper part of the network structure, the line of sight Gz (4),... Traffic volume Td (3), and the vehicle speed Sp (8) shown in the lower part. Each node of the inter-vehicle distance Fd (8),... Lane change Lc (3) corresponds to the driver model learning data acquired by the driving support device as shown in FIG. This corresponds to the continuous data row of the driver model learning data in FIG. Continuous data is held in the form of “discrete”, “average”, and “variance” of a Gaussian distribution, and is replaced with a predetermined probability by a method described later.
生理状態Ph(2)ノードは、図11に示されているドライバモデル学習データと対応するものではなく、これとは独立したノードである。この生理状態Ph(2)ノードは、一種の裕度として働くものであり、このノードが存在しない場合、本発明の運転支援装置が有効に動作しないことがあることが分かっている。これは、顔の表情Fc(2)、視線Gz(4)、・・・・・・、車線変更Lc(3)の各ノードの状態(運転状況の状態)が一意的に決定したとしても、運転行動変数DB(運転操作量の状態)が一意的に決まるわけではないことに起因している。本発明の運転支援装置では、生理状態Ph(2)ノードを導入することによって、不確定要素を含んだ因果律を扱うことができるようになる。また、生理状態Ph(2)ノードは、本発明の運転支援装置をコンピュータプログラムで実行する上で非常に重要となる。 The physiological state Ph (2) node does not correspond to the driver model learning data shown in FIG. 11, but is an independent node. This physiological state Ph (2) node works as a kind of tolerance, and it is known that the driving support apparatus of the present invention may not operate effectively when this node does not exist. Even if the state of each node of the facial expression Fc (2), line of sight Gz (4),..., Lane change Lc (3) (state of driving situation) is uniquely determined, This is because the driving behavior variable DB (the state of the driving operation amount) is not uniquely determined. In the driving support device of the present invention, by introducing the physiological state Ph (2) node, it becomes possible to handle causality including uncertain elements. The physiological state Ph (2) node is very important when the driving support apparatus of the present invention is executed by a computer program.
図13はベイジアンネットワーク構造における生理状態Ph(2)がとる状態を示す図である。図13に示すように、本実施形態においては、生理状態Ph(2)は、Ph=0(平常)、Ph=1(異常)の2つの状態をとるものであるとしたが、本発明の運転支援装置では、生理状態Phを2以上の自然数の適当なものに設定することができる。 FIG. 13 is a diagram showing a state taken by the physiological state Ph (2) in the Bayesian network structure. As shown in FIG. 13, in the present embodiment, the physiological state Ph (2) assumes two states of Ph = 0 (normal) and Ph = 1 (abnormal). In the driving support device, the physiological state Ph can be set to an appropriate natural number of 2 or more.
次に、本発明の運転支援装置において、ベイジアンネットワークによるドライバモデルを用いて確率計算を行い、車線変更を予測する方法について説明する。図12に示すドライバモデルのネットワーク構造はノード数が多く複雑であるので、簡単な例を用いて説明することとする。 Next, in the driving support apparatus of the present invention, a method for predicting a lane change by performing probability calculation using a driver model based on a Bayesian network will be described. Since the network structure of the driver model shown in FIG. 12 has a large number of nodes and is complicated, it will be described using a simple example.
図14は簡略化したドライバモデルのネットワーク構造を示す図である。図に示すような親ノードとして、顔の表情Fc(2)、車線変更Lc(3)の2つのノードを持つベイジアンネットワーク構造を下に検討する。 FIG. 14 is a diagram illustrating a simplified driver model network structure. As a parent node as shown in the figure, a Bayesian network structure having two nodes of facial expression Fc (2) and lane change Lc (3) will be examined below.
このとき、顔の表情Fc(2)ノード、車線変更Lc(3)ノードは図示するような事前確率テーブルを、また、生理状態Ph(2)ノードは図示するような条件付き確率テーブルを有しているものとする。これらの事前確率テーブル及び条件付き確率テーブルは、ドライバモデルの学習の積み重ねによって決定されるものであり、またこれらのテーブルにおける確率を求めるために前述のEMアルゴリズムが用いられている。 At this time, the facial expression Fc (2) node and the lane change Lc (3) node have a prior probability table as shown, and the physiological state Ph (2) node has a conditional probability table as shown. It shall be. These prior probability table and conditional probability table are determined by accumulation of learning of the driver model, and the above-described EM algorithm is used to obtain the probabilities in these tables.
先のドライバモデルデータベース部300における車線変更ドライバモデルデータ302はLc=2のテーブルを、車線変更先行行動ドライバモデルデータ303はLc=1のテーブルを、通常ドライバモデルデータ301はLc=0のテーブルをそれぞれ保持しているものと考えることができる。
The lane change
車線変更(Lc)のノードにおける事前確率の計算を例に、事前確率テーブルを求める方法について説明する。Nkが学習データ中の(Lc=k)というイベントの発生回とす
るとき、車線変更(Lc)の事前確率は次式(1)のように計算することができる。
A method for obtaining the prior probability table will be described by taking the prior probability calculation at the lane change (Lc) node as an example. When N k is the occurrence time of the event (Lc = k) in the learning data, the prior probability of the lane change (Lc) can be calculated as the following equation (1).
生体状態Phノードを例に、条件付き確率テーブルの計算方法について説明する。
Nkが学習データ中の(Ph=k、Pa(Ph)=j)というイベントの発生回とすると
き、生体状態Phの事前確率は次式(3)のように計算することができる。
The calculation method of the conditional probability table will be described by taking the biological state Ph node as an example.
When N k is the occurrence time of the event (Ph = k, Pa (Ph) = j) in the learning data, the prior probability of the biological state Ph can be calculated as the following equation (3).
図14に示すベイジアンネットワークの同時確率は次式を満たす。 The joint probability of the Bayesian network shown in FIG.
わち、車両が車線変更中である確率を求めることができるのである。
なお、以上に簡略的にベイジアンネットワークにより所定の確率を導く方法について説明したが、本発明の運転支援装置では、より詳しくは、
○Jensen, F. V., “Bayesian networks and decision graphs”, Springer, 2001.
○ David C. MacKay, “Information Theory, Inference and Learning Algorithms”, Cambridge University Press, 2003.
などに記載の方法を参照して援用するものとする。
In addition, although the method for deriving the predetermined probability by the Bayesian network has been described above in a simplified manner, in the driving support device of the present invention, in more detail,
○ Jensen, F.M. V. "Bayesian networks and decision graphics", Springer, 2001.
O David C.I. MacKay, “Information Theory, Information and Learning Algorithms”, Cambridge University Press, 2003.
It shall be incorporated with reference to the method described in the above.
次に、車線変更時のパターンを記録した「車線変更ドライバモデルデータ」と、車線変更をする前の先行行動のパターンを記録した「車線変更先行行動ドライバモデルデータ」、先行行動を含む車線変更時以外の時のパターンを記録した「通常ドライバモデルデータ」の3つに振り分けて学習するためのアルゴリズムについて説明する。 Next, “lane change driver model data” that records the lane change pattern, “lane change advance behavior driver model data” that records the preceding behavior pattern before the lane change, and lane change that includes the preceding behavior A description will be given of an algorithm for learning by assigning three patterns of “normal driver model data” in which patterns at other times are recorded.
ドライバモデル学習データ記録部310の情報は、例えば最新のものから10分間分程度ログとして記録されているおり、前記したように、車線変更が終了したときから過去に遡って、車線変更の先行行動のデータなどを切り出すようにしている。
The information in the driver model learning
図16は本発明の実施の形態に係る運転支援装置におけるドライバモデル学習処理のフローチャートを示す図である。図16のフローチャートはECU100によって十分短い時間間隔で定期的に実行されるものである。また、実行においては必要に応じてループを抜けて他の処理を行うこともあり得る。
FIG. 16 is a diagram showing a flowchart of the driver model learning process in the driving support apparatus according to the embodiment of the present invention. The flowchart of FIG. 16 is periodically executed by the
なお、図16のフローチャート中におけるT、Sなどの地点などは図20に準拠している。図20は、車線変更のタイミングなどを時系列に示す図である。 Note that points such as T and S in the flowchart of FIG. 16 conform to FIG. FIG. 20 is a diagram showing lane change timing and the like in time series.
図16において、ステップS100で、ドライバモデル学習処理が開始されると、続いてステップS101に進み、自車両情報取得部200、車両周辺環境情報取得部220、カーナビゲーションシステム230、外部通信部240などにより自車両情報・周辺情報を取得する。
In FIG. 16, when the driver model learning process is started in step S100, the process proceeds to step S101, where the own vehicle
次に、ステップS102では、ドライバ情報取得部210でドライバの情報を取得する。ステップS103では、ドライバモデル学習データ記録部31からドライバモデル学習データ取得する。
Next, in step S102, the driver
ステップS104では、車線変更行動の終了地点Tを推定するサブルーチンを実行する。このサブルーチンについては後述する。 In step S104, a subroutine for estimating the end point T of the lane change action is executed. This subroutine will be described later.
ステップS105では、終了地点Tが存在するか否かが判定される。ステップS105でYESと判定されるとステップS106に進み、ステップS105でNOと判定されるとステップS111に進む。 In step S105, it is determined whether or not the end point T exists. If YES is determined in the step S105, the process proceeds to a step S106, and if NO is determined in the step S105, the process proceeds to a step S111.
ステップS111では、ドライバモデルデータベース部300が学習データの先頭から一定時間Uまでの区間Aの情報を通常運転行動モデルとして学習する。
In step S111, the driver
ステップS106では、車線変更動作の開始地点Sを推定するサブルーチンを実行し、次にステップS107に進む。このサブルーチンについては後述する。また、ステップS107においては、車線変更動作の先行動作の開始地点Rを推定するサブルーチンを実行
する。このサブルーチンについては後述する。
In step S106, a subroutine for estimating the start point S of the lane change operation is executed, and then the process proceeds to step S107. This subroutine will be described later. In step S107, a subroutine for estimating the start point R of the preceding operation of the lane change operation is executed. This subroutine will be described later.
ステップS108では、ドライバモデルデータベース部300が車線変更の先行行動の開始地点Rから車線変更行動の開始地点Sまでの区間Cの情報を車線変更の先行行動のドライバモデルとして学習する。
In step S108, the driver
ステップS109では、ドライバモデルデータベース部300が車線変更行動の開始地点Sから車線変更行動の終了地点Tまでの区間Dの情報を車線変更行動のドライバモデルとして学習する。
In step S109, the driver
ステップS110では、ドライバモデルデータベース部300が学習データの先頭から車線変更の先行行動の開始地点Rまでの区間Bの情報を通常運転行動のドライバモデルとして学習する。
ステップS112で、処理を終了する。
In step S110, the driver
In step S112, the process ends.
次に、ステップS104における車線変更行動の終了地点Tを推定するサブルーチンについて説明する。図17は本発明の運転支援装置における車線変更行動の終了地点Tを推定するサブルーチンのフローチャートを示す図である。図17のフローチャートに出現するθは、図21に示すものである。すなわち、θは自車両の方向と車線との境界の白線とのなす角度である。 Next, a subroutine for estimating the end point T of the lane change action in step S104 will be described. FIG. 17 is a flowchart of a subroutine for estimating the end point T of the lane change action in the driving support apparatus of the present invention. Θ appearing in the flowchart of FIG. 17 is shown in FIG. That is, θ is an angle formed by the direction of the host vehicle and the white line at the boundary between the lanes.
ステップS200において、車線変更行動の終了地点Tを推定するサブルーチンが開始されると、次にステップS201に進み、前方監視カメラ221によって車両前方画像が取得される。
In step S200, when a subroutine for estimating the end point T of the lane change action is started, the process proceeds to step S201, and the vehicle front image is acquired by the
続くステップS202では、車線の認識を行い、車線中での自車両位置と車線と自車両のなす角度θを計算する。θの定義については図21に示す通りである。 In subsequent step S202, the lane is recognized, and the vehicle position in the lane and the angle θ between the lane and the host vehicle are calculated. The definition of θ is as shown in FIG.
ステップS203では、|θ|>閾値であるか否かが判定される。ステップD203の判定の結果がYESであるときにはステップS204に進み、ステップD203の判定の結果がNOであるときにはステップS213に進む。ステップS213では、戻り値として、「Tは存在しない」を得た上でリターンする。 In step S203, it is determined whether | θ |> threshold. When the determination result of step D203 is YES, the process proceeds to step S204, and when the determination result of step D203 is NO, the process proceeds to step S213. In step S213, “T does not exist” is obtained as a return value, and the process returns.
ステップS204では、自車両が車線をまたいだかどうかが判定される。ステップD204の判定の結果がYESであるときにはステップS205に進み、ステップD204の判定の結果がNOであるときにはステップS213に進み、リターンする。 In step S204, it is determined whether or not the host vehicle crosses the lane. When the determination result of step D204 is YES, the process proceeds to step S205, and when the determination result of step D204 is NO, the process proceeds to step S213, and the process returns.
ステップS205では、前方監視カメラ221によって車両前方画像を取得する。続く、ステップS206では、車線の認識を行い、車線と自車両のなす角度θを計算する。
In step S <b> 205, the vehicle front image is acquired by the
ステップS207では|θ|<閾値を満たすか否かが判定される。ステップS207の判定の結果がYESであるときにはステップS208に進み、ステップS207の判定の結果がNOであるときには再びステップS205に戻る。 In step S207, it is determined whether or not | θ | <threshold. When the determination result of step S207 is YES, the process proceeds to step S208, and when the determination result of step S207 is NO, the process returns to step S205 again.
ステップS208では、車線変更操作の終了地点Tを仮マークする。ステップS209では、地図情報から至近距離で右左折可能な交差点の情報と右左折先の道路情報を取得する。 In step S208, the end point T of the lane change operation is temporarily marked. In step S209, the information of the intersection that can be turned right and left at a close distance and the road information of the right and left turn destination are acquired from the map information.
ステップS210では、交差点を直進したか否かが判定される。ステップS210の判定の結果がYESであるときにはステップS212に進み、ステップS210の判定の結
果がNOであるときにはステップS214に進む。
In step S210, it is determined whether the vehicle has traveled straight through the intersection. When the determination result of step S210 is YES, the process proceeds to step S212, and when the determination result of step S210 is NO, the process proceeds to step S214.
ステップS211では、車両は車線変更を行わなかったこととなるので、仮定した車線変更操作の終了地点Tを破棄し、次のステップS214で、戻り値として「Tは存在しない」を得てリターンする。 In step S211, since the vehicle has not changed lanes, the assumed end point T of the lane change operation is discarded, and in step S214, “T does not exist” is returned as a return value, and the process returns. .
ステップS212では、車両は車線変更を行ったこととなるので、仮定した車線変更操作の終了地点T位置を採用する。そして続くステップS215は、戻り値として、Tの位置を得てリターンする。 In step S212, since the vehicle has changed lanes, the assumed end point T of the lane change operation is adopted. Then, the following step S215 obtains the position of T as a return value and returns.
次に、ステップSS106における車線変更動作の開始地点Sを推定するサブルーチンについて説明する。図18は本発明の運転支援装置における車線変更動作の開始地点Sを推定するサブルーチンのフローチャートを示す図である。なお、図22は開始地点Sを推定するためのドライバの行為を示す図である。 Next, a subroutine for estimating the start point S of the lane change operation in step SS106 will be described. FIG. 18 is a flowchart showing a subroutine for estimating the starting point S of the lane change operation in the driving support apparatus of the present invention. FIG. 22 is a diagram illustrating a driver's action for estimating the start point S.
ステップS300で、車線変更動作の開始地点Sを推定するサブルーチンの処理を開始すると、次に、ステップS301に進み、ドライバモデル学習データ記録部310から過去一定時間の車両周辺環情報・自車両情報・ドライバ情報を取得する。 If the processing of the subroutine for estimating the start point S of the lane change operation is started in step S300, the process proceeds to step S301, and the vehicle peripheral ring information, own vehicle information, Get driver information.
ステップS302では、ウインカーを操作したか否かが判定される。ステップS302の判定の結果がYESであるときにはステップS308に進み、ステップS302の判定の結果がNOであるときにはステップS303に進む。ステップS308では、ウインカーを操作した地点を車線変更の探索開始位置として記録し、ステップS306に進む。 In step S302, it is determined whether the turn signal has been operated. When the determination result of step S302 is YES, the process proceeds to step S308, and when the determination result of step S302 is NO, the process proceeds to step S303. In step S308, the point where the turn signal is operated is recorded as the lane change search start position, and the process proceeds to step S306.
ステップS303では、ドライバがサイドミラーを見たか否かが判定される。ステップS303の判定の結果がYESであるときにはステップS307に進み、ステップS303の判定の結果がNOであるときにはステップS304に進む。ステップS307では、サイドミラーを見た地点を車線変更の探索開始位置として記録し、次にステップS305に進む。 In step S303, it is determined whether the driver has seen the side mirror. When the determination result of step S303 is YES, the process proceeds to step S307, and when the determination result of step S303 is NO, the process proceeds to step S304. In step S307, the point where the side mirror is viewed is recorded as the search start position for lane change, and then the process proceeds to step S305.
ステップS304では、一定時間前を車線変更の探索開始位置として記録する。 In step S304, a predetermined time before is recorded as a search start position for lane change.
ステップS305では、記録された探索開始位置から現在までの車線と自車両のなす角θを計算する。ステップS306では、なす角θが一定以上になった地点を車線変更行動の開始位置Sとして記録する。ステップS309では、戻り値としてSの位置を得てメインルーチンへリターンする。 In step S305, an angle θ formed by the lane from the recorded search start position to the present and the host vehicle is calculated. In step S306, the point where the angle θ formed becomes a certain value or more is recorded as the start position S of the lane change action. In step S309, the position S is obtained as a return value, and the process returns to the main routine.
次に、ステップS107における車線変更動作の先行動作の開始地点Rを推定するサブルーチンについて説明する。図19は本発明の運転支援装置における車線変更動作の先行動作の開始地点Rを推定するサブルーチンのフローチャートを示す図である。 Next, a subroutine for estimating the start point R of the preceding operation of the lane change operation in step S107 will be described. FIG. 19 is a flowchart showing a subroutine for estimating the start point R of the preceding operation of the lane change operation in the driving support apparatus of the present invention.
ステップS400で、車線変更動作の先行動作の開始地点Rを推定するサブルーチンを開始すると、次にステップS401に進み、車線変更の開始位置から一定時間前を先行行動の開始位置Rとして記録する。ステップS402では、戻り値として、Rの位置を得て
リターンする。
When the subroutine for estimating the start point R of the preceding operation of the lane change operation is started in step S400, the process proceeds to step S401, and a predetermined time before the start position of the lane change is recorded as the start position R of the preceding action. In step S402, the position R is obtained as a return value, and the process returns.
次に、学習したドライバモデルなどに基づき、車線変更に係る運転操作行動を予測し、必要に応じてドライバに警告などをおこなうことについて説明する。図23は本発明の実施の形態に係る運転支援装置における車線変更支援処理のフローチャートを示す図である。なお、図23のフローチャートにおいて、現在の運転行動が車線変更行動である確率を
Pc、現在の運転行動が車線変更先行行動である確率をPp、現在の運転行動が通常運転行動である確率をPnと示すこととする。図23のフローチャートはECU100によって十分短い時間間隔で定期的に実行されるものである。また、実行においては必要に応じてループを抜けて他の処理を行うこともあり得る。
Next, a description will be given of predicting the driving operation behavior related to the lane change based on the learned driver model and warning the driver or the like as necessary. FIG. 23 is a diagram showing a flowchart of the lane change support process in the driving support apparatus according to the embodiment of the present invention. 23, the probability that the current driving action is a lane change action is Pc, the probability that the current driving action is a lane change preceding action is Pp, and the probability that the current driving action is a normal driving action is Pn. It shall be shown. The flowchart of FIG. 23 is periodically executed by the
図23のフローチャートにおいて、ステップS500で、車線変更支援処理のフローが開始されると、次にステップS501に進み、ベイジアンネットワークによる前述の要領で確率Pn、Pc、Ppを計算する。 In the flowchart of FIG. 23, when the flow of the lane change support process is started in step S500, the process proceeds to step S501, and the probabilities Pn, Pc, and Pp are calculated in the manner described above by the Bayesian network.
ステップS502では、Pp>PnかつPp>PcかつPp>閾値であるか否かが判定される。ステップS502における判定の結果がYESであるときにはステップS503に進み、判定の結果がNOであるときにはステップS501に戻る。 In step S502, it is determined whether Pp> Pn, Pp> Pc, and Pp> threshold. When the determination result in step S502 is YES, the process proceeds to step S503, and when the determination result is NO, the process returns to step S501.
ステップS503では、カーナビゲーションシステム230から道路情報(交通標識情報など含む)を取り込む。続くステップS504では、車線変更が許可されているかが判定される。
ステップS504における判定結果がYESであるときにはステップS505に進み、ステップS504における判定結果がNOであるときにはステップS513に進む。ステップS513においては、情報提示部400によって、車線逸脱や車線逸脱の可能性についての警告を行う。なお、このような警告動作に代えて、車線逸脱をさせないような運転操作アシスト動作を行うようさせることもできる。或いは警告報知と運転操作アシストの両方を実行するようにしてもよい。
In step S503, road information (including traffic sign information) is taken in from the
When the determination result at step S504 is YES, the process proceeds to step S505, and when the determination result at step S504 is NO, the process proceeds to step S513. In step S513, the
ステップS505では、車線変更の支援情報の提示を行う。図24は本発明の実施の形態に係る運転支援装置における支援情報提示方法の一例を示す図である。図24は自車両の後続車両2台を、自車両の運転席から確認するときにおける様子を示している。この支援情報提示方法では、運転席側のサイドミラー近傍に不図示の撮像装置を設けておき、当該撮像装置で撮影した画像を撮像装置撮影画像モニタで運転者に提示することによって、車線変更先の死角にある後続車両2を画面に表示する。
In step S505, lane change support information is presented. FIG. 24 is a diagram showing an example of a support information presentation method in the driving support apparatus according to the embodiment of the present invention. FIG. 24 shows a state when two subsequent vehicles of the own vehicle are confirmed from the driver's seat of the own vehicle. In this support information presentation method, an imaging device (not shown) is provided in the vicinity of the side mirror on the driver's seat side, and an image captured by the imaging device is presented to the driver on the imaging device captured image monitor. The succeeding
次に、ステップS506では、ベイジアンネットワークを用いた前述の要領で確率Pn、Pc、Ppを計算する。次のステップS507では、自車両情報取得部200によって自車両情報の取得を行う。
Next, in step S506, probabilities Pn, Pc, and Pp are calculated as described above using a Bayesian network. In the next step S507, the host vehicle
ステップS508では、ウインカー207を作動させているか否かの判定が行われる。ステップS508における判定の結果がYESであるときにはステップS509に進み、ステップS508における判定の結果がNOであるときにはステップS514に進む。ステップS514においては、運転者に対して情報提示部400によってウインカーを出すように注意を行う。なお、このような注意を行う代わりに、自動的にウインカーを動作させるような運転操作アシストを実行させても良い。或いは注意報知と運転操作アシストを実行するようにしてもよい。
In step S508, it is determined whether or not the
ステップS509では、車両周辺環境情報取得部220によって車両周辺環境情報の取得を行う。続く、ステップS510では、車線変更先で衝突の危険があるか否かの判定が行われる。
ステップS510の判定結果がYESであるときにはステップS515に進み、ステップS510の判定結果がNOであるときにはステップS511に進む。
In step S509, the vehicle surrounding environment
When the determination result of step S510 is YES, the process proceeds to step S515, and when the determination result of step S510 is NO, the process proceeds to step S511.
衝突の危険があるときに進むステップS515においては、運転者に対して情報提示部400によって障害物が存在することの提示を行う。
In step S515, which proceeds when there is a danger of a collision, the
続くステップS516では、Pc>Ppを満たすか否かが判定される。ステップS516の判定結果がYESであるときにはステップS517に進み、ステップS516の判定結果がNOであるときにはステップS511に進む。ステップS517では、運転者がレーンチェンジを行うことがより色濃く予想される状態であるので、運転者に対しては、ステップS515より強い、衝突の危険性の警告を行う。なお、このような警告動作に代えて、衝突を回避するような運転操作アシスト動作を実行させように構成することもできる。或いは警告報知と運転操作アシストの両方を実行するようにしてもよい。 In a succeeding step S516, it is determined whether or not Pc> Pp is satisfied. When the determination result of step S516 is YES, the process proceeds to step S517, and when the determination result of step S516 is NO, the process proceeds to step S511. In step S517, since it is predicted that the driver will make a lane change more intensely, the driver is warned of a risk of collision stronger than step S515. In addition, it can replace with such a warning operation | movement and can also be comprised so that the driving operation assistance operation | movement which avoids a collision may be performed. Alternatively, both warning notification and driving operation assistance may be executed.
ステップS511では、Pn>PcかつPn>Ppであるか否かが判定される。ステップS511の判定結果がYESであるときにはステップS512に進み、ステップS511の判定結果がNOであるときにはステップS506に戻る。 In step S511, it is determined whether Pn> Pc and Pn> Pp. When the determination result of step S511 is YES, the process proceeds to step S512, and when the determination result of step S511 is NO, the process returns to step S506.
ステップS512では、車線変更支援を終了し、続くステップS518では、フローの処理を終了する。 In step S512, the lane change support is terminated, and in the subsequent step S518, the flow process is terminated.
以上のような本発明の構成によれば、運転状況データ(図12のネットワーク構造における上段に示されている顔の表情Fc(2)、視線Gz(4)、・・・交通量Td(3)の各ノード、下段に示されている車速Sp(8)、車間距離Fd(8)、・・・車線変更Lc(3)の各ノード)と運転操作データ(運転行動変数DB)と、これらに関係のない第3のデータ(生理状態Ph(2)のノード)の間の因果関係をベイジアンネットワークによって定め、これに基づき運転操作予測を行い、運転者に対して警告、アシストを行うので、効率的で的確な運転支援を行うことが可能となる。 According to the configuration of the present invention as described above, driving situation data (facial expression Fc (2), line of sight Gz (4) shown in the upper part of the network structure in FIG. 12, line of sight Tz (3) ), Vehicle speed Sp (8), inter-vehicle distance Fd (8),... Lane change Lc (3) nodes) and driving operation data (driving behavior variable DB) shown in the lower row, The causal relationship between the third data not related to (nodes of the physiological state Ph (2)) is determined by the Bayesian network, the driving operation is predicted based on this, and the driver is warned and assisted. Efficient and accurate driving support can be performed.
次に、図13における「顔の表情Fc(2)」の各ノードを離散数値化するときのアルゴリズムについて説明する。「顔の表情Fc(2)」のノードでは、そのまま取得したデータを直接的に離散数値化することができないので、パターンマッチングを行うことによって、Fc=0(平常)、Fc=1(異常)の2つの状態のうちどちらかを判定する。このために、事前に平常時顔表情テンプレートデータ501に保存された平常時の顔画像を元にパターンマッチングを行い、Fc=0(平常)かFc=1(異常)かを判断する。
Next, an algorithm for digitizing each node of “facial expression Fc (2)” in FIG. 13 will be described. The node of “Facial expression Fc (2)” cannot directly digitize the acquired data as it is, so by performing pattern matching, Fc = 0 (normal), Fc = 1 (abnormal) One of the two states is determined. For this purpose, pattern matching is performed based on a normal face image stored in the normal facial
次に、図13における「歩行者・自転車・停車車両による妨害Ob(2)」の各ノードを離散数値化するときのアルゴリズムについて説明する。上記「歩行者・自転車・停車車両による妨害Ob(2)」のノードでは、そのまま取得したデータを直接的に離散数値化することができないので、パターンマッチングを行うことによって、これを行う。図25は本発明の実施の形態に係る運転支援装置におけるパターンマッチング処理のフローチャートを示す図である。この処理は、ECU100におけるメインルーチン処理で「歩行者・自転車・停車車両による妨害Ob(2)」の値が必要となったときのサブルーチンとして実行されるものである。また、この処理では、Ob=0(妨害なし)かOb=1(妨害あり)の値を得ることを目的とする。
Next, an algorithm for digitizing each node of “obstruction Ob (2) by pedestrian / bicycle / stopped vehicle” in FIG. 13 will be described. In the node of “obstruction Ob (2) by pedestrian / bicycle / stopped vehicle”, the data acquired as it is cannot be directly converted into discrete numerical values, so this is performed by performing pattern matching. FIG. 25 is a diagram showing a flowchart of pattern matching processing in the driving support apparatus according to the embodiment of the present invention. This process is executed as a subroutine when the value of “obstruction Ob (2) by pedestrian / bicycle / stopped vehicle” is required in the main routine process in the
図25において、ステップS600で、パターンマッチング処理のフローが開始されると、次に、ステップS601に進み、車両周辺環境情報取得部220によって車両周辺情報が取得される。
In FIG. 25, when the flow of the pattern matching process is started in step S600, the process proceeds to step S601, where the vehicle surrounding environment
続くステップS602では、車間距離<閾値かつ|相対速度-車速|<閾値であるか否かが判定される。ステップS602における判定の結果がYESであるときにはステップS607に進み、ステップS602における判定の結果がNOであるときにはステップS603に進む。ステップS607では、戻り値としてOb=1(妨害あり)を得た上でリターンする。 In the subsequent step S602, it is determined whether or not the distance between the vehicles <the threshold and | the relative speed−the vehicle speed | <the threshold. When the result of determination in step S602 is YES, the process proceeds to step S607, and when the result of determination in step S602 is NO, the process proceeds to step S603. In step S607, after obtaining Ob = 1 (with interference) as a return value, the process returns.
ステップS603では、前方画像を取得し、ステップS604では、パターンマッチング用データ保存部500における歩行者テンプレートデータ502、自転車テンプレートデータ503(パターンマッチング用テンプレートデータ)が取得される。続く、ステップS605では、パターンマッチング処理が行われる。このパターンマッチング処理には従来周知の処理を用いることができる。
In step S603, a front image is acquired. In step S604,
ステップS606では、一致データがあるか否かが判定される。ステップS606における判定結果がYESであるときにはステップS609に進み、ステップS606における判定結果がNOであるときにはステップS608に進む。ステップS608では、戻り値としてOb=0(妨害なし)を得た上でリターンする。また、ステップS609では、戻り値としてOb=1(妨害あり)を得た上でリターンする。 In step S606, it is determined whether there is matching data. When the determination result at step S606 is YES, the process proceeds to step S609, and when the determination result at step S606 is NO, the process proceeds to step S608. In step S608, after obtaining Ob = 0 (no interference) as a return value, the process returns. In step S609, after obtaining Ob = 1 (with interference) as a return value, the process returns.
なお、本実施形態の運転支援装置に係る構成については、自動車、ハイブリッド車、電気自動車などの車両に搭載されることを一応想定しているが、その他の移動手段に搭載することも考えられる。 In addition, about the structure which concerns on the driving assistance device of this embodiment, although mounting on vehicles, such as a motor vehicle, a hybrid vehicle, and an electric vehicle, is assumed for the time being, mounting in another moving means is also considered.
また、特許請求の範囲における「運転操作データ取得手段」は、運転状況データ(図12のネットワーク構造における上段に示されている顔の表情Fc(2)、視線Gz(4)、・・・交通量Td(3)の各ノード、下段に示されている車速Sp(8)、車間距離Fd(8)、・・・車線変更Lc(3)の各ノード)を取得するドライバ情報取得部210、車両周辺環境情報取得部220、カーナビゲーションシステム230、外部通信部240、パターンマッチング用データ保存部500及び取得されたデータを処置するECU(電子制御装置)100などの全体をいうものである。
Further, the “driving operation data acquisition means” in the claims includes driving status data (facial expression Fc (2), line of sight Gz (4) shown in the upper part of the network structure in FIG. 12, traffic Driver
また、特許請求の範囲における「運転状況データ取得手段」は、運転操作データ(運転行動変数DB)を取得する自車両情報取得部200及び取得されたデータを処置するECU(電子制御装置)100などの全体をいうものである。
The “driving condition data acquisition means” in the claims includes an own vehicle
また、特許請求の範囲における「テーブル更新手段」は、図12に示すベイジアンネットワークの構造の各ノードにおける条件付き確率テーブル、事前確率テーブル、及びガウス分布のパラメータなどのドライバモデルデータベース部300に記憶されるテーブルの更新処理を実行するECU(電子制御装置)100などの構成をいうものである。
また、特許請求の範囲における「運転操作予測手段」は、ドライバモデルデータベース部300に記憶される事前確率テーブル、及びガウス分布のパラメータなどに基づいて、運転操作予測のための演算処理を実行するECU(電子制御装置)100などの構成をいうものである。
Further, the “table updating means” in the claims is stored in the driver
Further, the “driving operation prediction means” in the claims is an ECU that executes arithmetic processing for driving operation prediction based on a prior probability table stored in the driver
以上、種々の実施形態について説明したが、それぞれの実施形態の構成要素を任意に組み合わせて構成される実施形態についても本発明の範疇に入るものである。 Although various embodiments have been described above, embodiments that are configured by arbitrarily combining the constituent elements of the respective embodiments also fall within the scope of the present invention.
100・・・ECU(電子制御装置)、200・・・自車両情報取得部、201・・・ハンドル操舵角センサ、202・・・アクセルペダル位置センサ、203・・・ブレーキペダル位置センサ、204・・・速度計、205・・・加速度センサ、206・・・エレキ動作状況取得部、207・・・ウインカー、208・・・ライト、210・・・ドライバ情報取得部、211・・・顔カメラ、212・・・表情認識部、213・・・視線認識部、214・・・顔向き認識部、215・・・皮膚電位センサ、216・・・マイクロフォン、220・・・車両周辺環境情報取得部、221・・・前方監視カメラ、222・・・後方監視カメラ、223・・・側方監視カメラ、224・・・車間距離レーダー、225・・・コーナーセンサー、230・・・カーナビゲーションシステム、231・・・GPS部、232・・・道路情報部、233・・・経路案内部、234・・・地図データベース、240・・・外部通信部、241・・・携帯電話通信部、242・・・VICS通信部、243・・・無線LAN通信部、244・・・車車間通信部、245・・・路車間通
信部、246・・・データ放送部、300・・・ドライバモデルデータベース部、301・・・通常ドライバモデルデータ、302・・・車線変更ドライバモデルデータ、303・・・車線変更先行行動ドライバモデルデータ、310・・・ドライバモデル学習データ記録部、311・・・自車両情報、312・・・車両周辺環境情報、313・・・位置情報、400・・・情報提示部、401・・・ディスプレイ部、402・・・音声警告部、403・・・ハザードランプ、500・・・パターンマッチング用データ保存部、501・・・平常時顔表情テンプレートデータ、502・・・歩行者テンプレートデータ、503・・・自転車テンプレートデータ
DESCRIPTION OF
Claims (6)
運転操作に係るデータを取得する運転操作データ取得手段と、
運転状況に係るデータを取得する運転状況データ取得手段と、
生理状態データと運転状況データと運転操作データとの間の因果関係を確率的に定めたテーブルを更新するテーブル更新手段と、
前記テーブル更新手段によって更新されたテーブルと現在の運転状況データとから運転操作を予測する運転操作予測手段と、を有し、
前記因果関係におけるネットワーク構造は、前記生理状態データが、前記運転状況データから影響を受けるノードであって、前記運転操作データが、前記運転状況データ及び前記生理状態データから影響を受けるノードとなるネットワーク構造であることを特徴とする運転支援装置。 Physiological state data means for acquiring data relating to the physiological state of the driver;
Driving operation data acquisition means for acquiring data relating to driving operation;
Driving status data acquisition means for acquiring data relating to the driving status;
A table updating means for updating a table that probabilistically determines the causal relationship between physiological state data, driving situation data, and driving operation data ;
Driving operation prediction means for predicting a driving operation from the table updated by the table update means and the current driving situation data ,
The network structure in the causal relationship is a network in which the physiological state data is a node affected by the driving situation data, and the driving operation data is a node affected by the driving situation data and the physiological state data. A driving support device characterized by a structure .
運転操作に係るデータを取得する運転操作データ取得工程と、
運転状況に係るデータを取得する運転状況データ取得工程と、
生理状態データと、運転操作データと、運転状況データと間の因果関係を、ベイジアンネットワークを用いることで確率的に定めたテーブルを更新する工程と、
更新された最新のテーブルと現在の運転状況データとから運転操作を予測する工程と、を有し、
前記ベイジアンネットワークにおけるネットワーク構造では、前記生理状態データが、前記運転状況データから影響を受けるノードであり、前記運転操作データが、前記運転状況データ及び前記生理状態データから影響を受けるノードであるものと定義されることを特徴とする運転支援方法。 A physiological state data acquisition step of acquiring data relating to the physiological state of the driver ;
A driving operation data acquisition process for acquiring data relating to the driving operation ;
An operation status data acquisition step for acquiring data relating to the operation status ;
Updating a table in which the causal relationship between physiological state data , driving operation data, and driving situation data is determined stochastically by using a Bayesian network;
A process of predicting a driving operation from the updated updated table and current driving situation data ,
In the network structure in the Bayesian network, the physiological state data is a node affected by the driving situation data, and the driving operation data is a node affected by the driving situation data and the physiological state data. A driving support method characterized by being defined .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008090777A JP4900967B2 (en) | 2008-03-31 | 2008-03-31 | Driving support device and driving support method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008090777A JP4900967B2 (en) | 2008-03-31 | 2008-03-31 | Driving support device and driving support method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009245149A JP2009245149A (en) | 2009-10-22 |
JP4900967B2 true JP4900967B2 (en) | 2012-03-21 |
Family
ID=41306960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008090777A Expired - Fee Related JP4900967B2 (en) | 2008-03-31 | 2008-03-31 | Driving support device and driving support method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4900967B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104590274A (en) * | 2014-11-26 | 2015-05-06 | 浙江吉利汽车研究院有限公司 | Driving behavior self-adaptation system and method |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5170447B2 (en) * | 2009-01-30 | 2013-03-27 | 株式会社エクォス・リサーチ | Security system |
CN102892657B (en) * | 2010-05-17 | 2015-12-16 | 丰田自动车株式会社 | Drive assistance device |
JP5510471B2 (en) * | 2012-01-20 | 2014-06-04 | トヨタ自動車株式会社 | Driving model creation device, driving model creation method, driving evaluation device, driving evaluation method, and driving support system |
JP5867524B2 (en) * | 2014-02-05 | 2016-02-24 | トヨタ自動車株式会社 | Driving evaluation device, driving evaluation method, and driving support system |
JP6187295B2 (en) * | 2014-02-13 | 2017-08-30 | トヨタ自動車株式会社 | Vehicle control device |
JP6074553B1 (en) * | 2015-04-21 | 2017-02-01 | パナソニックIpマネジメント株式会社 | Information processing system, information processing method, and program |
JP6558735B2 (en) | 2015-04-21 | 2019-08-14 | パナソニックIpマネジメント株式会社 | Driving support method, driving support device, driving control device, vehicle, and driving support program using the same |
US9784592B2 (en) * | 2015-07-17 | 2017-10-10 | Honda Motor Co., Ltd. | Turn predictions |
JP6551218B2 (en) * | 2015-12-22 | 2019-07-31 | アイシン・エィ・ダブリュ株式会社 | Control system, control method, and control program |
US11120353B2 (en) * | 2016-08-16 | 2021-09-14 | Toyota Jidosha Kabushiki Kaisha | Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network |
JP6846624B2 (en) | 2017-02-23 | 2021-03-24 | パナソニックIpマネジメント株式会社 | Image display system, image display method and program |
WO2018173933A1 (en) * | 2017-03-23 | 2018-09-27 | 日本電気株式会社 | Information processing device, travel data processing method, vehicle, and program recording medium |
JP7086217B2 (en) * | 2018-11-28 | 2022-06-17 | 三菱電機株式会社 | Collision avoidance learning device and collision avoidance learning method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004034881A (en) * | 2002-07-05 | 2004-02-05 | Honda Motor Co Ltd | Running controller for vehicle |
JP4239841B2 (en) * | 2004-02-05 | 2009-03-18 | トヨタ自動車株式会社 | Vehicle driving support device |
JP4812343B2 (en) * | 2005-06-30 | 2011-11-09 | トヨタ自動車株式会社 | Driving tendency estimation device and driving support device |
JP2007196768A (en) * | 2006-01-24 | 2007-08-09 | Tokai Rika Co Ltd | Vehicular security control device |
JP4728839B2 (en) * | 2006-03-02 | 2011-07-20 | 株式会社デンソーアイティーラボラトリ | In-vehicle device controller |
-
2008
- 2008-03-31 JP JP2008090777A patent/JP4900967B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104590274A (en) * | 2014-11-26 | 2015-05-06 | 浙江吉利汽车研究院有限公司 | Driving behavior self-adaptation system and method |
Also Published As
Publication number | Publication date |
---|---|
JP2009245149A (en) | 2009-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4900967B2 (en) | Driving support device and driving support method | |
EP3759700B1 (en) | Method for determining driving policy | |
US10867510B2 (en) | Real-time traffic monitoring with connected cars | |
JP6200421B2 (en) | Driving support system and driving support method | |
JP6497915B2 (en) | Driving support system | |
US11282388B2 (en) | Edge-assisted alert system | |
EP2201496B1 (en) | Inattentive state determination device and method of determining inattentive state | |
US10336252B2 (en) | Long term driving danger prediction system | |
JP5278419B2 (en) | Driving scene transition prediction device and vehicle recommended driving operation presentation device | |
JP2018120292A (en) | Event prediction system, event prediction method, program, and moving body | |
EP3381758B1 (en) | Driver information system and method for a vehicle capable of driving in an autonomous driving mode | |
KR20190072077A (en) | System and method for predicting vehicle accidents | |
Cheung et al. | Efficient and safe vehicle navigation based on driver behavior classification | |
JP2018173862A (en) | Driving support apparatus and computer program | |
CN115298073B (en) | Vehicle travel support method and travel support device | |
CN111094095B (en) | Method and device for automatically sensing driving signal and vehicle | |
JP2013242615A (en) | Driving scene transition prediction device and recommended driving operation presentation device for vehicle | |
CN112424850A (en) | Method and device for assisting a driver in a vehicle | |
EP3627110A1 (en) | Method for planning trajectory of vehicle | |
JP2018149934A (en) | Driving support device, program and driving support method | |
WO2023017317A1 (en) | Environmentally aware prediction of human behaviors | |
JP2018120291A (en) | Event prediction system, event prediction method, program, and moving body | |
JP4915874B2 (en) | Driving assistance device | |
CN115257813B (en) | Intelligent driving control method through construction barrier and vehicle | |
JP7008515B2 (en) | Information processing method and information processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4900967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |