JP6579496B2 - Driver state estimation device - Google Patents
Driver state estimation device Download PDFInfo
- Publication number
- JP6579496B2 JP6579496B2 JP2017105465A JP2017105465A JP6579496B2 JP 6579496 B2 JP6579496 B2 JP 6579496B2 JP 2017105465 A JP2017105465 A JP 2017105465A JP 2017105465 A JP2017105465 A JP 2017105465A JP 6579496 B2 JP6579496 B2 JP 6579496B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- model
- feedback gain
- state
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は運転者状態推定装置に関し、特に、車両を運転する運転者の状態を推定する運転者状態推定装置に関する。 The present invention relates to a driver state estimation device, and more particularly to a driver state estimation device that estimates the state of a driver driving a vehicle.
走行車両による事故発生の確率を低下させることができる車両を開発することが望まれている。事故発生原因の統計によれば、運転者の体調不良に起因する車両事故は、事故発生原因の約１０％を占めている。また、これら体調不良に起因する事故のうち約３０％は、脳梗塞等の脳疾患に関係した体調不良であることが知られている。これら脳疾患に起因する事故の多くは、脳疾患に罹患している運転者の体調が運転中に急変することにより、運転不能な状態に陥り、事故に至るというものである。従って、運転者の脳疾患に関係した初期症状の発生を早期に検知し、運転者への報知等、適切な対応をとることにより、運転者自身の疾患の悪化や、体調不良に起因する車両事故の発生を未然に防ぐことができ、車両事故発生の確率を低下させることができる。 It is desired to develop a vehicle that can reduce the probability of an accident caused by a traveling vehicle. According to statistics on the cause of accidents, vehicle accidents due to poor physical condition of the driver account for about 10% of the causes of accidents. Moreover, it is known that about 30% of these accidents caused by poor physical condition are poor physical condition related to brain diseases such as cerebral infarction. Many of the accidents resulting from these brain diseases are caused by sudden changes in the physical condition of the driver suffering from the brain disease, resulting in an inoperable state and an accident. Therefore, by detecting the occurrence of early symptoms related to the driver's brain disease at an early stage and taking appropriate measures such as notifying the driver, the vehicle is caused by deterioration of the driver's own disease or poor physical condition. The occurrence of an accident can be prevented in advance, and the probability of the occurrence of a vehicle accident can be reduced.
特開２０１４−１０２５３７号広報（特許文献１）には、運転者状態推定装置が記載されている。この特許文献１記載の運転者状態推定装置は、運転者の入出力関係を定義した運転者モデルを規範モデルとして設定しておき、操作目標値と実動作量の差を運転者モデルに入力することにより、モデル操作量を求めている。さらに、このようにして求められたモデル操作量と、運転者による実操作量との差から求められる規範モデル誤差に基づいて運転者の状態を推定している。 Japanese Unexamined Patent Application Publication No. 2014-102537 (Patent Document 1) describes a driver state estimation device. The driver state estimation device described in Patent Document 1 sets a driver model defining a driver input / output relationship as a reference model, and inputs a difference between an operation target value and an actual operation amount to the driver model. Thus, the model operation amount is obtained. Furthermore, the state of the driver is estimated based on the normative model error obtained from the difference between the model operation amount obtained in this way and the actual operation amount by the driver.
しかしながら、特許文献１に記載されている運転者状態推定装置は、主として運転者の覚醒に係る水準を表す覚醒度や、運転者が発揮している注意力・集中力に係る水準を推定対象とするものであり、脳疾患等に基づく体調不良を推定対象とするものではない。さらに、本件発明者の研究によれば、特許文献１に記載の運転者状態推定装置において採用されている運転者モデルを使用しても、効果的に運転者の体調不良を推定できないことが明らかとなっている。
従って、本発明は、運転者の体調不良を効果的に推定することができる運転者状態推定装置を提供することを目的としている。
However, the driver state estimation device described in Patent Document 1 mainly uses an arousal level representing a level related to the driver's arousal and a level related to the attention / concentration exerted by the driver as an estimation target. It is not intended to estimate poor physical condition based on brain disease or the like. Furthermore, according to the research of the present inventors, it is clear that even if the driver model employed in the driver state estimating device described in Patent Document 1 is used, the poor physical condition of the driver cannot be estimated effectively. It has become.
Therefore, an object of the present invention is to provide a driver state estimating device that can effectively estimate a driver's poor physical condition.
上述した課題を解決するために、本発明は、車両を運転する運転者の状態を推定する運転者状態推定装置であって、車両の走行環境を撮像するカメラと、運転者によるステアリング操作を検出するステアリングセンサと、カメラにより撮像された画像に基づいて走行中の車両のヨー角及び／又はオフセット位置を計算する画像解析部と、この画像解析部により求められた車両の走行状態と、ステアリングセンサにより検出されたステアリング操作に基づいて、運転者の運転者モデルを推定するモデル推定部と、このモデル推定部により推定された運転者モデルに基づいて運転者の状態を判定する運転者状態判定部と、を有し、モデル推定部は、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定される運転者モデルを推定するように構成され、運転者状態判定部は、推定された運転者モデルの自己位置フィードバックゲインに基づいて運転者の状態を判定するように構成されると共に、推定された運転者モデルの自己位置フィードバックゲインの値が、その運転者の通常状態における自己位置フィードバックゲインの値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定するように構成され、さらに、車両を運転する運転者を撮像する運転者カメラを有し、画像解析部は、運転者カメラにより撮像された運転者の画像から運転者の視線の方向を検出し、運転者状態判定部は、検出された視線の方向に基づいて運転者の視野欠損の領域を推定するように構成されていることを特徴としている。 In order to solve the above-described problems, the present invention is a driver state estimation device that estimates the state of a driver driving a vehicle, and detects a steering operation by the driver and a camera that captures the driving environment of the vehicle. A steering sensor, an image analysis unit that calculates a yaw angle and / or an offset position of the running vehicle based on an image captured by the camera, a vehicle running state determined by the image analysis unit, and a steering sensor A model estimation unit that estimates the driver model of the driver based on the steering operation detected by the driver, and a driver state determination unit that determines the state of the driver based on the driver model estimated by the model estimation unit And the model estimation unit includes a self-position feedback gain multiplied by the yaw angle and / or the offset position, and the yaw angle and / or Is configured to estimate a driver model whose steering operation is determined using a self-motion feedback gain multiplied by the time derivative of the offset position, and the driver state determination unit is configured to determine the self-position of the estimated driver model. is configured to determine the state of the driver based on the feedback gain Rutotomoni, the value of the self-position feedback gain of the estimated driver model is greater than the value of the self-position feedback gain in the normal state of the driver And a driver camera that images the driver driving the vehicle, and the image analysis unit is imaged by the driver camera. The direction of the driver's line of sight is detected from the driver's image, and the driver state determination unit operates based on the detected direction of the line of sight. It is characterized in that it is configured to estimate the area of the visual field defect's.
このように構成された本発明においては、カメラが車両の走行環境を撮像し、撮像された画像に基づいて画像解析部が走行中の車両のヨー角及び／又はオフセット位置を計算する。ステアリングセンサは、運転者によるステアリング操作を検出する。モデル推定部は、画像解析部により求められた車両の走行状態と、ステアリングセンサにより検出されたステアリング操作に基づいて、運転者の運転者モデルを推定する。推定される運転者モデルは、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定されるという運転者モデルである。運転者状態判定部は、運転者に対する入力、及び運転者が行うステアリング操作から推定された運転者モデルにおける自己位置フィードバックゲイン及び自己運動フィードバックゲインのうち、自己位置フィードバックゲインに基づいて運転者の状態を判定する。 In the present invention configured as described above, the camera captures the traveling environment of the vehicle, and the image analysis unit calculates the yaw angle and / or offset position of the traveling vehicle based on the captured image. The steering sensor detects a steering operation by the driver. The model estimation unit estimates a driver model of the driver based on the running state of the vehicle obtained by the image analysis unit and the steering operation detected by the steering sensor. The estimated driver model is determined by steering operation using a self-position feedback gain multiplied by the yaw angle and / or offset position and a self-motion feedback gain multiplied by a time derivative of the yaw angle and / or offset position. This is a driver model. The driver state determination unit is configured based on the self-position feedback gain among the self-position feedback gain and the self-motion feedback gain in the driver model estimated from the input to the driver and the steering operation performed by the driver. Determine.
車両の運転者に何らかの体調不良があると、運転者への所定の入力に対する出力、即ち、運転者によるステアリング操作に変化が表れ、これにより推定される運転者モデルが、体調不良のない健常者とは異なるものになると予想される。そこで、本件発明者は、まず、運転者に対する入出力に基づいて、従来から知られている形式の運転者モデルを推定し、その運転者モデルにおけるフィードバックゲインを求めた。この従来の運転者モデルは、運転者への入力となる車両のヨー角、オフセット位置、ヨーレート、オフセット位置の変化率等に基づいて計算された値に単一のフィードバックゲインを乗じることにより、運転者が出力するステア角を得るというものであった。次に、本件発明者は、健常な被験者と、視野欠損を模擬した被験者についてドライブシミュレータにより走行試験を実施し、運転者に対する入出力関係から上記の運転者モデルにおけるフィードバックゲインを推定した。しかしながら、推定されたフィードバックゲインには、健常な被験者と視野欠損を模擬した被験者の間に有意な差異は見られなかった。なお、視野欠損は、脳梗塞等の脳疾患の初期症状として頻繁に表れる体調不良である。 If the driver of the vehicle has any physical condition, the output corresponding to the predetermined input to the driver, that is, the steering operation by the driver changes, and the estimated driver model is a healthy person who does not have a poor physical condition. Is expected to be different. Therefore, the present inventor first estimated a driver model of a conventionally known type based on input / output to / from the driver, and obtained a feedback gain in the driver model. In this conventional driver model, driving is performed by multiplying a value calculated based on the vehicle yaw angle, offset position, yaw rate, change rate of offset position, etc., which is input to the driver, by a single feedback gain. It was to obtain the steering angle output by the person. Next, the present inventor conducted a driving test using a drive simulator on a healthy subject and a subject simulating a visual field defect, and estimated the feedback gain in the above driver model from the input / output relationship to the driver. However, there was no significant difference in the estimated feedback gain between healthy subjects and subjects who simulated visual field defects. Visual field defects are poor physical conditions that frequently appear as early symptoms of brain diseases such as cerebral infarction.
そこで、本件発明者は鋭意研究を進めた結果、視野欠損を模擬した被験者では、車両の前方に見える景色から車線情報等の自己位置を認知する能力が低下するのに対し、並進、旋回に関する自己運動（オプティカルフロー）を認知する能力は健常者とあまり変わらないことを見いだした。この新たな知見に基づいて、本件発明者は、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを有する新たな運転者モデルを創案した。この新たな運転者モデルを使用し、運転者への入出力に基づいて運転者モデルを推定したところ、自己運動フィードバックゲインにはあまり差が見られないのに対し、自己位置フィードバックゲインには、健常者と視野欠損を模擬した被験者で明らかな差が表れた。上記のように構成された本発明によれば、運転者状態判定部が、推定された運転者モデルの自己位置フィードバックゲインに基づいて運転者の状態を判定するので、運転者の体調不良を効果的に推定することができる。 Therefore, as a result of diligent research, the inventor of the present invention has reduced the ability to recognize self-positions such as lane information from the scenery seen in front of the vehicle in a subject simulating visual field loss, while self-related to translation and turning. We found that the ability to recognize exercise (optical flow) is not much different from that of healthy people. Based on this new knowledge, the inventors have a new self-position feedback gain multiplied by the yaw angle and / or offset position and a self-motion feedback gain multiplied by the time derivative of the yaw angle and / or offset position. A new driver model. Using this new driver model and estimating the driver model based on the input and output to the driver, there is not much difference in the self-motion feedback gain, whereas in the self-position feedback gain, There was a clear difference between healthy subjects and subjects who simulated visual field defects. According to the present invention configured as described above, the driver state determination unit determines the driver's state based on the estimated self-position feedback gain of the driver model. Can be estimated.
上記のように、体調不良のある運転者は自己位置を認知する能力が低下するため、運転する車両のヨー角や、オフセットが目標値から大きく外れるまで認知することが難しい。体調不良のある運転者には、このような大きなずれが生じた後でこれを修正する習慣ができるので、自己位置フィードバックゲインの値が、体調不良のない通常時よりも大きくなる傾向がある。上記のように構成された本発明によれば、その運転者の自己位置フィードバックゲインの値が、通常状態における値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定するので、より確実に運転者の体調不良を推定することができる。 As described above, since a driver with poor physical condition is less capable of recognizing his / her own position, it is difficult to recognize until the yaw angle or offset of the driving vehicle greatly deviates from the target value. Since a driver with poor physical condition can make a habit of correcting such a large deviation after it has occurred, the value of the self-position feedback gain tends to be larger than in a normal state where there is no physical condition. According to the present invention configured as described above, when the value of the driver's self-position feedback gain becomes larger than the value in the normal state, it is determined that the driver is suspected of having visual field loss. The poor physical condition of the driver can be estimated more reliably.
このように構成された本発明によれば、運転者の画像から運転者の視線の方向を検出し、検出された視線の方向に基づいて運転者の視野欠損の領域を推定するので、視野欠損のある運転者により適確な報知を行ったり、車両に搭載されている運転支援装置を適確に作動させることが可能になる。 According to the present invention thus configured, the direction of the driver's line of sight is detected from the driver's image, and the area of the driver's visual field defect is estimated based on the detected direction of the visual line. It is possible for a certain driver to perform accurate notification and to properly operate a driving support device mounted on the vehicle.
また、本発明は、車両を運転する運転者の状態を推定する運転者状態推定装置であって、車両の走行環境を撮像するカメラと、運転者によるステアリング操作を検出するステアリングセンサと、カメラにより撮像された画像に基づいて走行中の車両のヨー角及び／又はオフセット位置を計算する画像解析部と、この画像解析部により求められた車両の走行状態と、ステアリングセンサにより検出されたステアリング操作に基づいて、運転者の運転者モデルを推定するモデル推定部と、このモデル推定部により推定された運転者モデルに基づいて運転者の状態を判定する運転者状態判定部と、を有し、モデル推定部は、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定される運転者モデルを推定するように構成され、運転者状態判定部は、推定された運転者モデルの自己位置フィードバックゲインに基づいて運転者の状態を判定するように構成されると共に、推定された運転者モデルの自己位置フィードバックゲインの値が、その運転者の通常状態における自己位置フィードバックゲインの値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定するように構成され、運転者状態判定部は、推定された視野欠損の判定結果に基づいて、車両に搭載されている運転支援装置の設定を変更するように構成されていることを特徴としている。 Further, the present invention is a driver state estimation device that estimates the state of a driver driving a vehicle, and includes a camera that captures an image of a traveling environment of the vehicle, a steering sensor that detects a steering operation by the driver, and a camera. An image analysis unit that calculates a yaw angle and / or an offset position of a running vehicle based on the captured image, a vehicle running state obtained by the image analysis unit, and a steering operation detected by a steering sensor. A model estimation unit that estimates the driver model of the driver, and a driver state determination unit that determines the state of the driver based on the driver model estimated by the model estimation unit. The estimation unit includes a self-position feedback gain multiplied by the yaw angle and / or offset position, and the time of the yaw angle and / or offset position. It is configured to estimate a driver model in which steering operation is determined using a self-motion feedback gain multiplied by the minute value, and the driver state determination unit is based on the estimated self-position feedback gain of the driver model. When the estimated self-position feedback gain value of the driver model is greater than the value of the self-position feedback gain in the normal state of the driver, The driver state determination unit is configured to change the setting of the driving support device mounted on the vehicle based on the estimated determination result of the visual field defect. It is characterized by being configured .
このように構成された本発明によれば、推定された視野欠損の領域に基づいて、車両に搭載されている運転支援装置の設定が変更されるので、体調不良のある運転者が運転している状態であっても走行の安全性をより高めることができる。 According to the present invention configured as described above, since the setting of the driving support device mounted on the vehicle is changed based on the estimated visual field loss region, the driver with poor physical condition drives Even in this state, the safety of traveling can be further improved.
本発明において、好ましくは、運転支援装置はレーンキープアシスト機能を有し、運転者状態判定部は、視野欠損が推定された側のレーンキープアシスト制御が強くなるように運転支援装置を設定する。 In the present invention, preferably, the driving assistance device has a lane keeping assist function, and the driver state determination unit sets the driving assistance device so that the lane keeping assist control on the side where the visual field loss is estimated becomes stronger.
このように構成された本発明によれば、視野欠損が推定された側のレーンキープアシスト制御が強くなるように運転支援装置を設定するので、視野欠損に起因する車線の外れをより確実に防止することができる。 According to the present invention configured as described above, since the driving support device is set so that the lane keep assist control on the side where the visual field defect is estimated is strengthened, the lane departure due to the visual field defect is more reliably prevented. can do.
本発明の運転者状態推定装置によれば、運転者の体調不良を効果的に推定することができる。 According to the driver state estimation device of the present invention, it is possible to effectively estimate the driver's poor physical condition.
次に、添付図面を参照して、本発明の好ましい実施形態による運転者状態推定装置を説明する。
図１は、本実施形態による運転者状態推定装置の全体を示すブロック図である。
Next, a driver state estimation apparatus according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram showing the entire driver state estimation apparatus according to the present embodiment.
図１に示すように、本発明の実施形態による運転者状態推定装置１は、コントロールユニット２と、車室外カメラ４と、ステアリングセンサ６と、車室内カメラ８と、警報器１０と、通信機１２と、を有する。また、コントロールユニット２は、接続された運転支援装置１４に指令信号を出力可能に構成されている。 As shown in FIG. 1, a driver state estimation apparatus 1 according to an embodiment of the present invention includes a control unit 2, a vehicle exterior camera 4, a steering sensor 6, a vehicle interior camera 8, an alarm device 10, and a communication device. 12 and. The control unit 2 is configured to be able to output a command signal to the connected driving support device 14.
コントロールユニット２は、車室外カメラ４、ステアリングセンサ６、及び車室内カメラ８による各検出信号を受信し、警報器１０と、通信機１２、及び運転支援装置１４に制御信号を出力するように構成されている。具体的には、コントロールユニット２は、各機器からの検出信号を入力するための入力インターフェイス回路、各機器へ制御信号を出力するための出力インターフェイス回路、入力された信号を処理するためのマイクロプロセッサ、メモリ、及びこれらを作動させるためのプログラム（以上、図示せず）から構成されている。さらに、コントロールユニット２は、内蔵されたマイクロプロセッサ等の作用により、画像解析部１６、モデル推定部１８、及び運転者状態判定部２０として機能する。 The control unit 2 is configured to receive each detection signal from the vehicle exterior camera 4, the steering sensor 6, and the vehicle interior camera 8 and output a control signal to the alarm device 10, the communication device 12, and the driving support device 14. Has been. Specifically, the control unit 2 includes an input interface circuit for inputting a detection signal from each device, an output interface circuit for outputting a control signal to each device, and a microprocessor for processing the input signal. , A memory, and a program (not shown) for operating them. Furthermore, the control unit 2 functions as an image analysis unit 16, a model estimation unit 18, and a driver state determination unit 20 by the action of a built-in microprocessor or the like.
車室外カメラ４は、運転者状態推定装置１が搭載されている車両が走行している走行環境を撮像するように設けられたカメラである。本実施形態においては、車室外カメラ４は、車両のバックミラー（図示せず）の背面側に取り付けられており、車両の運転者の視界と概ね同等の視野で走行環境を撮像するように設けられたビデオカメラである。 The vehicle exterior camera 4 is a camera provided to capture an image of a traveling environment in which a vehicle on which the driver state estimating device 1 is mounted is traveling. In the present embodiment, the vehicle exterior camera 4 is attached to the back side of a vehicle rearview mirror (not shown), and is provided so as to capture the traveling environment with a field of view substantially equivalent to the field of view of the driver of the vehicle. Video camera.
ステアリングセンサ６は、運転者によるステアリング操作を検出するように設けられたセンサであり、ステアリングシャフトの回転角を検出可能に構成されている。本実施形態においては、ステアリングセンサ６として、ロータリーエンコーダが使用されている。
車室内カメラ８は、車両の車室内に配置された運転者カメラであり、主として、車両を運転する運転者の頭部を前方から撮影するように向けられている。
The steering sensor 6 is a sensor provided to detect a steering operation by the driver, and is configured to be able to detect the rotation angle of the steering shaft. In the present embodiment, a rotary encoder is used as the steering sensor 6.
The vehicle interior camera 8 is a driver camera disposed in the vehicle interior of the vehicle, and is mainly directed to image the head of the driver driving the vehicle from the front.
警報器１０は、コントロールユニット２に内蔵された運転者状態判定部２０により、運転者の体調不良が推定されたとき、その旨を視覚的、聴覚的に運転者に伝達するための装置である。本実施形態においては、運転席に設けられたディスプレイ（図示せず）及びスピーカ（図示せず）が警報器１０として機能する。警報器１０は、運転者に体調不良の疑いがあり、運転不能の状態に陥る可能性があるので、速やかに安全な場所に車両を停止させるよう、ディスプレイに表示すると共に、音声で運転者に報知するように構成されている。 The alarm device 10 is a device for visually and audibly transmitting the driver to the driver when the driver's condition is estimated by the driver state determination unit 20 built in the control unit 2. . In the present embodiment, a display (not shown) and a speaker (not shown) provided in the driver's seat function as the alarm device 10. The alarm device 10 has a suspicion that the driver is in poor physical condition and may be incapable of driving. Therefore, the alarm 10 is displayed on the display so that the vehicle can be quickly stopped in a safe place, and the driver can hear the voice. It is comprised so that it may alert | report.
通信機１２は、運転者状態判定部２０により、運転者の体調不良が推定されたとき、その旨を近隣の警察や、公共機関に無線で通報するように構成されている。これにより、運転者が体調不良により運転不能な状態に陥った場合でも、被害を最小限に食い止める措置をとることが可能になる。 When the driver condition determining unit 20 estimates that the driver's physical condition is poor, the communicator 12 is configured to report the fact to the nearby police and public institutions by radio. As a result, even when the driver falls into an inoperable state due to poor physical condition, it is possible to take measures to minimize damage.
運転支援装置１４は、車両に搭載された各種センサ、ステアリングアクチュエータ、ブレーキアクチュエータ等（以上、図示せず）を備えている。本実施形態においては、運転支援装置１４は、各種センサの検出信号に基づいて上記のアクチュエータを制御することにより、衝突防止機能や、レーンキープアシスト機能等、様々な機能を実現可能に構成されている。また、運転支援装置１４は、コントロールユニット２から送信された指令信号に基づいて、各機能の設定を変更可能に構成されている。 The driving support device 14 includes various sensors, steering actuators, brake actuators and the like (not shown) mounted on the vehicle. In the present embodiment, the driving support device 14 is configured to realize various functions such as a collision prevention function and a lane keep assist function by controlling the actuator based on detection signals of various sensors. Yes. Further, the driving support device 14 is configured to be able to change the setting of each function based on the command signal transmitted from the control unit 2.
次に、図２乃至図４を参照して、コントロールユニット２における情報処理を説明する。
図２は、本実施形態の運転者状態推定装置に備えられているコントロールユニットにおいて実行される処理を示すフローチャートである。図３は、モデル推定部において推定される運転者モデルに入力されるパラメータを説明する図である。図４は、本実施形態において使用されている運転者モデルの一例を示す模式図である。
Next, information processing in the control unit 2 will be described with reference to FIGS.
FIG. 2 is a flowchart showing processing executed in the control unit provided in the driver state estimation device of the present embodiment. FIG. 3 is a diagram for explaining parameters input to the driver model estimated by the model estimation unit. FIG. 4 is a schematic diagram illustrating an example of a driver model used in the present embodiment.
コントロールユニット２は、車両の走行中において、図２に示すフローチャートによる処理を所定の時間間隔で繰り返し実行するように構成されている。まず、図２のステップＳ１においては、車室外カメラ４により撮像されたビデオ画像のデータがコントロールユニット２に入力される。コントロールユニット２に内蔵された画像解析部１６は、入力された画像を画像解析し、走行中の車両のヨー角ｙ［ｒａｄ］、オフセット位置ｏ［ｍ］、及び車両が走行している車線の曲率ｃ［１／ｍ］を計算する。即ち、図３に示すように、オフセット位置ｏは車両が走行している車線の中心線Ａからの横方向（中心線に対して直角の方向）の距離を表し、ヨー角ｙは車両の走行方向と中心線Ａとの為す角を表している。さらに、曲率ｃは、車両の前方における車線の曲率を表している。 The control unit 2 is configured to repeatedly execute the processing according to the flowchart shown in FIG. 2 at predetermined time intervals while the vehicle is traveling. First, in step S <b> 1 of FIG. 2, video image data captured by the vehicle exterior camera 4 is input to the control unit 2. The image analysis unit 16 incorporated in the control unit 2 performs image analysis on the input image, and calculates the yaw angle y [rad], the offset position o [m], and the lane in which the vehicle is traveling. The curvature c [1 / m] is calculated. That is, as shown in FIG. 3, the offset position o represents the distance in the lateral direction (the direction perpendicular to the center line) from the center line A of the lane in which the vehicle is traveling, and the yaw angle y is the travel distance of the vehicle. It represents the angle between the direction and the center line A. Further, the curvature c represents the curvature of the lane in front of the vehicle.
さらに、画像解析部１６は、車室外カメラ４によって所定の時間間隔で撮像された複数の画像を解析することにより、オフセット位置の時間的変化（横移動速度［ｍ／ｓｅｃ］）、横移動加速度［ｍ／ｓｅｃ2］、及び横移動加加速度［ｍ／ｓｅｃ3］を計算する。即ち、画像解析部１６は、複数の画像に基づいてオフセット位置ｏの時間による一階微分値、二階微分値、及び三階微分値を計算する。 Further, the image analysis unit 16 analyzes a plurality of images captured at predetermined time intervals by the vehicle exterior camera 4 to change the offset position with time (lateral movement speed [m / sec]), lateral movement acceleration. [M / sec 2 ] and lateral movement jerk [m / sec 3 ] are calculated. That is, the image analysis unit 16 calculates a first-order differential value, a second-order differential value, and a third-order differential value according to the time at the offset position o based on a plurality of images.
次に、図２のステップＳ２においては、ステアリングセンサ６により検出されたステア角［ｄｅｇ］がコントロールユニット２に入力される。さらに、ステップＳ２においては、車両に搭載された速度計から、車両の走行方向の速度（車速ｖ［ｍ／ｓｅｃ］）がコントロールユニット２に入力される。なお、車速ｖは、車室外カメラ４によって撮像された画像から画像解析により求めることもできる。 Next, in step S <b> 2 of FIG. 2, the steering angle [deg] detected by the steering sensor 6 is input to the control unit 2. Furthermore, in step S <b> 2, the speed in the traveling direction of the vehicle (vehicle speed v [m / sec]) is input to the control unit 2 from a speedometer mounted on the vehicle. The vehicle speed v can also be obtained by image analysis from an image taken by the vehicle exterior camera 4.
さらに、ステップＳ３においては、コントロールユニット２に内蔵されたモデル推定部１８が、ステップＳ１及びＳ２において入力又は計算された各パラメータに基づいて、車両を運転している運転者の運転者モデルを推定する。即ち、図４に示すように、本実施形態において採用されている運転者モデルは本件発明者により新たに創案されたものであり、走行している車線の曲率ｃ、ヨー角ｙ、オフセット位置ｏ、オフセット位置の一階、二階、及び三階時間微分値が運転者に入力され、これらのパラメータに所定のフィードフォワードゲイン、フィードバックゲインが乗じられ、運転者がステア角を決定する、というモデルである。 Further, in step S3, the model estimation unit 18 built in the control unit 2 estimates the driver model of the driver who is driving the vehicle based on the parameters input or calculated in steps S1 and S2. To do. That is, as shown in FIG. 4, the driver model adopted in the present embodiment is newly created by the present inventor, and the curvature c, yaw angle y, offset position o of the traveling lane In this model, the first, second, and third order time differential values of the offset position are input to the driver, and these parameters are multiplied by a predetermined feed forward gain and feedback gain, and the driver determines the steer angle. is there.
具体的には、本実施形態で採用されている運転者モデルは式（１）で表されるものである。
上式において、ＦＦはフィードフォワードゲインであり、ＦＢｐｏｓは自己位置フィードバックゲインであり、ＦＢｍｏｖは自己運動フィードバックゲインである。また、式（１）において、Ｔは前方注視時間［ｓｅｃ］であり、本実施形態においては固定値（Ｔ＝０．９８）として運転者モデルを推定している。ここで、フィードフォワードゲインＦＦは曲率ｃに乗じられるゲインであり、自己位置フィードバックゲインＦＢｐｏｓはヨー角ｙ及びオフセット位置ｏに乗じられるゲインであり、自己運動フィードバックゲインＦＢｍｏｖは、横移動速度
、横移動加速度
等の時間による微分値に乗じられるゲインである。
Specifically, the driver model employed in the present embodiment is represented by Expression (1).
In the above equation, FF is a feedforward gain, FB pos is a self-position feedback gain, and FB mov is a self-motion feedback gain. In Equation (1), T is the forward gaze time [sec], and in this embodiment, the driver model is estimated as a fixed value (T = 0.98). Here, the feed forward gain FF is a gain multiplied by the curvature c, the self-position feedback gain FB pos is a gain multiplied by the yaw angle y and the offset position o, and the self-motion feedback gain FB mov is the lateral movement speed.
, Lateral movement acceleration
It is a gain that is multiplied by a differential value over time.
モデル推定部１８は、重回帰分析等を使用して、運転者に入力された各パラメータと、運転者が行ったステアリング操作（ステア角）との関係に基づいて、各ゲインＦＦ、ＦＢpos、ＦＢmovの値を推定するように構成されている。なお、本実施形態においては、式（１）に示す運転者モデルを使用しているが、本発明に適用可能な運転者モデルはこれに限られるものではない。ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の一階又は複数階の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定される種々の運転者モデルを本発明に適用することができる。 The model estimation unit 18 uses multiple regression analysis or the like, and based on the relationship between each parameter input to the driver and the steering operation (steer angle) performed by the driver, each gain FF, FB pos , It is configured to estimate the value of FB mov . In the present embodiment, the driver model shown in Formula (1) is used, but the driver model applicable to the present invention is not limited to this. Various steering operations are determined by using a self-position feedback gain multiplied by the yaw angle and / or the offset position, and a self-motion feedback gain multiplied by the time differential value of the first or multiple floors of the yaw angle and / or the offset position. The driver model can be applied to the present invention.
次いで、図２のステップＳ４においては、ステップＳ３において算出された自己位置フィードバックゲインと、同運転者の通常時（健常時）における自己位置フィードバックゲインとの差ΔＦＢposが所定値以上であるか否かが判断される。差ΔＦＢposが所定値以上である場合にはステップＳ５に進み、所定値未満である場合には図２に示すフローチャートの１回の処理を終了する。即ち、本件発明者の研究によれば、視野欠損等の脳疾患に係わる体調不良がある場合には、推定された運転者モデルの自己位置フィードバックゲインが増大することが明らかとなっている。このため、差ΔＦＢposが通常時に対して大きく増大していなければ体調不良の疑いはないので、図２のフローチャートの１回の処理を終了する。なお、運転者モデルにおけるフィードバックゲイン等は、その運転者の運転の癖により、健常な運転者でも運転者毎に異なる値になる傾向がある。このため、フィードバックゲイン等に基づく体調の評価は、ゲイン等の絶対値ではなく、同一運転者におけるゲインの変化に基づいて判定することが好ましい。 Next, in step S4 of FIG. 2, whether or not the difference ΔFB pos between the self-position feedback gain calculated in step S3 and the self-position feedback gain at the normal time (normal) of the driver is greater than or equal to a predetermined value. Is judged. If the difference ΔFB pos is greater than or equal to the predetermined value, the process proceeds to step S5. If the difference ΔFB pos is less than the predetermined value, the one-time process of the flowchart shown in FIG. That is, according to the study of the present inventors, it is clear that the self-position feedback gain of the estimated driver model increases when there is a poor physical condition related to a brain disease such as visual field defect. For this reason, if the difference ΔFB pos is not greatly increased with respect to the normal time, there is no suspicion of poor physical condition, and one process of the flowchart of FIG. 2 is terminated. Note that the feedback gain or the like in the driver model tends to be different for each driver even for a healthy driver due to the driving habit of the driver. For this reason, it is preferable that the physical condition evaluation based on the feedback gain or the like is determined based on a gain change in the same driver instead of an absolute value such as a gain.
一方、ステップＳ５においては、ステップＳ３において算出された自己運動フィードバックゲインと、同運転者の通常時（健常時）における自己運動フィードバックゲインとの差ΔＦＢmovが所定値以下であるか否かが判断される。差ΔＦＢmovが所定値以下である場合にはステップＳ６に進み、所定値よりも大きい場合には図２に示すフローチャートの１回の処理を終了する。即ち、本件発明者の研究によれば、視野欠損等の脳疾患に係わる体調不良がある場合には、推定される自己位置フィードバックゲインが増大する一方、自己運動フィードバックゲインにはあまり変化が見られないことが明らかとなっている。このため、自己位置フィードバックゲイン及び自己運動フィードバックゲインの双方が大きく増大している場合には、フィードバックゲインの推定に何らかの誤差が混入したか、車両の運転状態に何らかの大きな外乱が加わったことが予想されるので、「体調不良」との判定は行わず、フローチャートの１回の処理を終了する。 On the other hand, in step S5, it is determined whether or not the difference ΔFB mov between the self-motion feedback gain calculated in step S3 and the self-motion feedback gain of the driver at normal time (normal) is equal to or less than a predetermined value. Is done. If the difference ΔFB mov is equal to or smaller than the predetermined value, the process proceeds to step S6. If the difference ΔFB mov is larger than the predetermined value, the one-time process of the flowchart shown in FIG. That is, according to the study by the present inventors, when there is a poor physical condition related to a brain disease such as visual field defect, the estimated self-position feedback gain increases, while the self-motion feedback gain shows little change. It has become clear that there is no. For this reason, if both the self-position feedback gain and the self-motion feedback gain are greatly increased, it is expected that some error is mixed in the estimation of the feedback gain or that some large disturbance is added to the driving state of the vehicle. Therefore, the determination of “physical condition” is not performed, and the one-time process of the flowchart is terminated.
ステップＳ４において差ΔＦＢposが通常時に対して大きく増大していることが判定され、ステップＳ５において差ΔＦＢmovが通常時に対して大きく増大していないことが判定された場合には、ステップＳ６に進む。ステップＳ６において、コントロールユニット２に内蔵された運転者状態判定部２０は、運転者に視野欠損の疑いがあると判定する。 If it is determined in step S4 that the difference ΔFB pos has increased significantly with respect to the normal time, and it is determined in step S5 that the difference ΔFB mov has not increased significantly with respect to the normal time, the process proceeds to step S6. . In step S <b> 6, the driver state determination unit 20 incorporated in the control unit 2 determines that the driver is suspected of having a visual field defect.
次に、ステップＳ７においては、運転者カメラである車室内カメラ８によって撮像された画像がコントロールユニット２に入力される。コントロールユニット２の画像解析部１６は、車室内カメラ８によって撮像された運転者の画像を解析し、運転者の視線の方向を検出する。この運転者の視線の方向を検出は、所定期間内に撮像された多数の運転者の画像に対して実行される。 Next, in step S <b> 7, an image captured by the vehicle interior camera 8 that is a driver camera is input to the control unit 2. The image analysis unit 16 of the control unit 2 analyzes the driver image captured by the vehicle interior camera 8 and detects the direction of the driver's line of sight. The direction of the driver's line of sight is detected with respect to a large number of driver images captured within a predetermined period.
さらに、ステップＳ８において、コントロールユニット２の運転者状態判定部２０は、ステップＳ７において検出された運転者の視線の方向の分布に基づいて、運転者の視野欠損の領域を推定する。即ち、運転者の視界に特に注意を向けるべき対象物が存在しない場合には、運転者の視線は左右方向にほぼ均等に向けられるのに対し、視野欠損がある運転者では視線の方向が偏る傾向が認められている。運転者状態判定部２０は、運転者の視線の方向の分布に基づいて、視野欠損が視界の右側の領域にあるか、左側の領域にあるかを特定する。 Further, in step S8, the driver state determination unit 20 of the control unit 2 estimates the driver's visual field loss region based on the distribution of the driver's line-of-sight direction detected in step S7. That is, when there is no object to which attention should be paid to the driver's field of vision, the driver's line of sight is directed almost evenly in the left-right direction, whereas the driver's line-of-sight is biased toward the driver A trend is recognized. The driver state determination unit 20 specifies whether the visual field defect is in the right region or the left region of the field of view based on the distribution of the driver's line of sight.
次に、ステップＳ９において、運転者状態判定部２０は、警報器１０である車室内のディスプレイ（図示せず）及びスピーカ（図示せず）に信号を送り、運転者に対し警報を発する。本実施形態において、運転者状態判定部２０は、ディスプレイ（図示せず）に「視野欠損の疑いがあります、速やかに安全な場所に車両を停車させて下さい」とのメッセージを表示し、同内容の音声をスピーカから出力させる。さらに、運転者状態判定部２０は、運転支援装置１４に指令信号を送り、運転支援装置１４の設定を状況に合わせて変更する。具体的には、運転支援装置１４が実行するレーンキープアシスト制御を強化し、車両がより車線から外れにくくなるように、レーンキープアシスト制御の制御パラメータを変更する。 Next, in step S <b> 9, the driver state determination unit 20 sends a signal to a display (not shown) and a speaker (not shown) in the passenger compartment, which is the alarm device 10, and issues an alarm to the driver. In the present embodiment, the driver state determination unit 20 displays a message “There is a suspicion of visual field loss, please stop the vehicle immediately in a safe place” on the display (not shown). Is output from the speaker. Furthermore, the driver state determination unit 20 sends a command signal to the driving support device 14 to change the setting of the driving support device 14 according to the situation. Specifically, the lane keep assist control executed by the driving support device 14 is strengthened, and the control parameter of the lane keep assist control is changed so that the vehicle is more difficult to be removed from the lane.
また、運転支援装置１４が自動運転機能を備えている場合には、自動運転により車両が自動的に安全な場所に停車するように、運転者状態判定部２０が運転支援装置１４に指令を出すように本発明を構成することもできる。さらに、運転者状態判定部２０は、通信機１２に指令信号を送り、運転者が運転不能に陥る恐れがあることを最寄りの警察署等に緊急通報して、図２のフローチャートの１回の処理を終了する。このように、運転者状態推定装置１は、警報器１０や通信機１２、運転支援装置１４等に何らかの出力をする出力装置を備え、運転者が運転不能に陥る可能性がある事態に対処することが好ましい。 When the driving support device 14 has an automatic driving function, the driver state determination unit 20 issues a command to the driving support device 14 so that the vehicle automatically stops at a safe place by automatic driving. The present invention can also be configured as described above. Further, the driver state determination unit 20 sends a command signal to the communication device 12 to make an emergency call to the nearest police station or the like that the driver may be incapable of driving. The process ends. As described above, the driver state estimation device 1 includes an output device that outputs something to the alarm device 10, the communication device 12, the driving support device 14, and the like, and copes with a situation where the driver may be unable to drive. It is preferable.
次に、図５乃至図８を参照して、運転者モデルの推定の実例を説明する。
図５は、視野欠損のある運転者を模擬するための視野欠損メガネを着用した被験者の写真を示す。図６は、ドライブシミュレータによる被験者の運転状態及び推定されたフィードバックゲインの一例を示すグラフである。図７は、従来使用されていた運転者モデルの一例を模式的に示す図である。図８は、従来の運転者モデルを使用して推定されたフィードフォワードゲイン、フィードバックゲインの一例を示すグラフである。
Next, an example of estimation of the driver model will be described with reference to FIGS.
FIG. 5 shows a photograph of a subject wearing visual field defect glasses for simulating a driver with visual field defect. FIG. 6 is a graph showing an example of the driving state of the subject and the estimated feedback gain by the drive simulator. FIG. 7 is a diagram schematically illustrating an example of a driver model that has been conventionally used. FIG. 8 is a graph showing an example of a feedforward gain and a feedback gain estimated using a conventional driver model.
運転者モデルの推定は、健常な被験者によるドライブシミュレータの運転に対して実行した。また、視野欠損のある運転者の運転モデルは、同一の被験者が図５に示す視野欠損メガネを着用した状態でドライブシミュレータを運転した結果に対して推定した。図５に示すように、視野欠損メガネは、各メガネレンズの中心軸線の片側半分（図５では被験者から見て右側半分）が黒く塗りつぶされたメガネであり、これにより被験者は視界の右又は左の一方が遮られ、視野が欠損した状態が模擬される。 The estimation of the driver model was performed for the driving of the drive simulator by a healthy subject. In addition, the driving model of a driver with a visual field defect was estimated based on the result of driving the drive simulator with the same subject wearing the visual field defect glasses shown in FIG. As shown in FIG. 5, the visual field defect glasses are glasses in which one half of the central axis of each spectacle lens (the right half when viewed from the subject in FIG. 5) is blacked out. One of these is blocked, and the state where the visual field is lost is simulated.
図６は、健常な被験者及び視野欠損のある被験者（視野欠損メガネを着用した同一の被験者）が、ドライブシミュレータにより行った運転結果の一例を示すグラフである。図６は上段から順に、走行車両のオフセット位置、被験者が操作したステア角、推定された自己位置フィードバックゲイン、推定された自己運動フィードバックゲインを示している。各グラフにおいて、実線は健常な被験者による運転結果を示し、破線は視野欠損を模擬した被験者の運転結果を示しており、実線及び破線はドライブシミュレータにより同一の車線を走行した結果を示している。 FIG. 6 is a graph showing an example of the results of driving performed by a drive simulator by a healthy subject and a subject with visual field defects (the same subject wearing visual field glasses). FIG. 6 shows, in order from the top, the offset position of the traveling vehicle, the steer angle operated by the subject, the estimated self-position feedback gain, and the estimated self-motion feedback gain. In each graph, the solid line indicates the driving result of a healthy subject, the broken line indicates the driving result of the subject who simulates the visual field defect, and the solid line and the broken line indicate the result of traveling in the same lane by the drive simulator.
図６に示したオフセット位置、ステア角の他、ヨー角、横移動速度、横移動加速度、及び横移動加加速度のデータをドライブシミュレータから取得した。取得した各データに対し、上述した式（１）の運転者モデルを使用して自己位置フィードバックゲインＦＢpos、自己運動フィードバックゲインＦＢmovを推定した結果が図６の３段目及び４段目に示されている（なお、同時にフィードフォワードゲインも推定しているが、図示は省略している）。また、推定された各フィードバックゲインは、重回帰分析等を使用して時系列的に推定されているが、時系列的で求められたゲインの所定期間に亘る平均値を推定されたフィードバックゲインの「値」とする。 In addition to the offset position and the steer angle shown in FIG. 6, the yaw angle, the lateral movement speed, the lateral movement acceleration, and the lateral movement jerk data were acquired from the drive simulator. For each acquired data, the results of estimating the self-position feedback gain FB pos and the self-motion feedback gain FB mov using the driver model of Equation (1) described above are shown in the third and fourth stages of FIG. (Although the feedforward gain is estimated at the same time, the illustration is omitted). In addition, each estimated feedback gain is estimated in time series using multiple regression analysis or the like, but the average value of gains obtained in time series in a predetermined period is estimated. “Value”.
図６から明らかなように、自己運動フィードバックゲインＦＢmovについては、健常な被験者（実線）と、その被験者が視野欠損メガネを着用した状態（破線）でほぼ同一の値が推定されている。これに対して、自己位置フィードバックゲインＦＢposについては、視野欠損メガネを着用する（破線）と、着用していないとき（実線）よりも明らかに値が大きくなっている。このように、運転者が健常な状態と、その運転者が視野欠損となった状態は、本件発明者が創案した運転者モデルを使用し、推定された運転者モデルの自己位置フィードバックゲインを比較することにより検知することが可能である。なお、図６は、単一の被験者による１回の実験結果であるが、複数の被験者が種々の車線をドライブシミュレータで走行した実験においても同様の結果が得られている。 As is clear from FIG. 6, the self-motion feedback gain FB mov is estimated to be approximately the same value between a healthy subject (solid line) and a state in which the subject wears visual field loss glasses (broken line). On the other hand, the value of the self-position feedback gain FB pos is clearly larger than when the visual defect glasses are worn (broken line) and not worn (solid line). In this way, the driver's healthy state and the driver's vision loss state are compared with the estimated self-position feedback gain of the driver model using the driver model created by the present inventors. It is possible to detect by doing. FIG. 6 shows a result of one experiment performed by a single subject. Similar results were obtained in an experiment in which a plurality of subjects traveled in various lanes using a drive simulator.
次に、比較例として、従来から知られている形式の運転者モデルを使用した運転者モデルの推定を、図７及び図８を参照して説明する。
図７は、従来の運転者モデルの一例を模式的に示す図である。図８は、図７の運転者モデルを使用して推定された各ゲインの値を示すグラフである。
Next, as a comparative example, estimation of a driver model using a conventionally known driver model will be described with reference to FIGS.
FIG. 7 is a diagram schematically illustrating an example of a conventional driver model. FIG. 8 is a graph showing the value of each gain estimated using the driver model of FIG.
図７に示すように、従来の運転者モデルでは、車線の形状（曲率ｃ）及び車両の走行状態（オフセット位置等）が運転者に入力され、ステア角が運転者から出力される点は、本発明の実施形態と同様である。また、車線の形状にフィードフォワードゲインが乗じられ、車両の走行状態にフィードバックゲインが乗じられる点も、本発明の実施形態と同様である。しかしながら、本実施形態では、フィードバックゲインとして、自己位置フィードバックゲイン及び自己運動フィードバックゲインが使用されていたのに対して、従来の運転者モデルでは、これらの区別がなく、推定されるフィードバックゲインは１つである。即ち、従来の運転者モデルでは、オフセット位置、ヨー角、横移動速度、横移動加速度、及び横移動加加速度に同一のフィードバックゲインが乗じられる。 As shown in FIG. 7, in the conventional driver model, the lane shape (curvature c) and the running state of the vehicle (offset position, etc.) are input to the driver, and the steering angle is output from the driver. This is the same as the embodiment of the present invention. The point that the shape of the lane is multiplied by the feed forward gain and the driving state of the vehicle is multiplied by the feedback gain is the same as in the embodiment of the present invention. However, in the present embodiment, the self-position feedback gain and the self-motion feedback gain are used as the feedback gain, whereas the conventional driver model has no distinction between them, and the estimated feedback gain is 1 One. That is, in the conventional driver model, the same feedback gain is multiplied to the offset position, yaw angle, lateral movement speed, lateral movement acceleration, and lateral movement jerk.
図８は、３人の被験者Ａ乃至Ｃが、通常の状態と、視野欠損メガネを着用した状態でドライブシミュレータを運転した結果から推定されたフィードフォワードゲイン及びフィードバックゲインを示している。まず、図８の左欄に示すフィードフォワードゲインの値は、被験者Ａ乃至Ｃ何れも、通常の状態と視野欠損メガネを着用した状態で有意な差は表れていない。一方、図８の右欄に示すフィードバックゲインの値は、被験者Ａにおいて、視野欠損メガネを着用すると値が大きくなる傾向は見られたが、被験者Ｂ、Ｃでは、視野欠損メガネを着用した後も有意な差は表れていない。従って、図７に示す従来の運転者モデルを使用して、フィードフォワードゲイン、フィードバックゲインを推定しても、運転者に視野欠損の有無を識別することは困難であり、本件発明者の創案した新しい運転者モデルは視野欠損の識別に有効である。 FIG. 8 shows the feed forward gain and the feedback gain estimated from the results of driving the drive simulator with three subjects A to C wearing the normal state and wearing the visual field defect glasses. First, the value of the feedforward gain shown in the left column of FIG. 8 does not show a significant difference in the subjects A to C between the normal state and the state of wearing visual field loss glasses. On the other hand, the value of the feedback gain shown in the right column of FIG. 8 tended to increase when subject A wears visual field loss glasses. There is no significant difference. Therefore, even if the feed forward gain and the feedback gain are estimated using the conventional driver model shown in FIG. 7, it is difficult for the driver to identify the presence or absence of the visual field loss. The new driver model is effective in identifying visual field defects.
本発明の実施形態の運転者状態推定装置１によれば、運転者状態判定部２０が、推定された運転者モデルの自己位置フィードバックゲインＦＢpos（図４）に基づいて運転者の状態を判定するので、運転者の体調不良を効果的に推定することができる。 According to the driver state estimation device 1 of the embodiment of the present invention, the driver state determination unit 20 determines the driver state based on the estimated self-position feedback gain FB pos (FIG. 4) of the driver model. Therefore, the poor physical condition of the driver can be effectively estimated.
また、本実施形態の運転者状態推定装置１によれば、その運転者の自己位置フィードバックゲインＦＢposの値が、通常状態における値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定する（図２のステップＳ４）ので、より確実に運転者の体調不良を推定することができる。 Further, according to the driver state estimation device 1 of the present embodiment, when the value of the driver's self-position feedback gain FB pos is larger than the value in the normal state, the driver is suspected of having a visual field loss. (Step S4 in FIG. 2), the driver's physical condition can be estimated more reliably.
さらに、本実施形態の運転者状態推定装置１によれば、車室内カメラ８により撮像された運転者の画像から画像解析部１６が運転者の視線の方向を検出し、検出された視線の方向に基づいて運転者の視野欠損の領域を推定する（図２のステップＳ８）ので、視野欠損のある運転者により適確な報知を行ったり、車両に搭載されている運転支援装置１４を適確に作動させることが可能になる。 Furthermore, according to the driver state estimation device 1 of the present embodiment, the image analysis unit 16 detects the direction of the driver's line of sight from the image of the driver captured by the vehicle interior camera 8, and the detected direction of the line of sight 2 is used to estimate the driver's visual field defect region (step S8 in FIG. 2), so that a driver with visual field defect can be notified more accurately or the driving support device 14 mounted on the vehicle can be accurately detected. Can be activated.
また、本実施形態の運転者状態推定装置１によれば、推定された視野欠損の領域に基づいて、車両に搭載されている運転支援装置１４の設定が変更される（図２のステップＳ９）ので、体調不良のある運転者が運転している状態であっても走行の安全性をより高めることができる。 Further, according to the driver state estimation device 1 of the present embodiment, the setting of the driving support device 14 mounted on the vehicle is changed based on the estimated visual field loss region (step S9 in FIG. 2). Therefore, even when a driver with poor physical condition is driving, traveling safety can be further improved.
さらに、本実施形態の運転者状態推定装置１によれば、視野欠損が推定された側のレーンキープアシスト制御が強くなるように運転支援装置１４を設定する（図２のステップＳ９）ので、視野欠損に起因する車線の外れをより確実に防止することができる。 Furthermore, according to the driver state estimation device 1 of the present embodiment, the driving support device 14 is set so that the lane keep assist control on the side where the visual field defect is estimated is strengthened (step S9 in FIG. 2). It is possible to more surely prevent the lane from coming off due to a defect.
以上、本発明の好ましい実施形態を説明したが上述した実施形態に種々の変更を加えることができる。 As mentioned above, although preferable embodiment of this invention was described, a various change can be added to embodiment mentioned above.
１ 運転者状態推定装置
２ コントロールユニット
４ 車室外カメラ（カメラ）
６ ステアリングセンサ
８ 車室内カメラ（運転者カメラ）
１０ 警報器
１２ 通信機
１４ 運転支援装置
１６ 画像解析部
１８ モデル推定部
２０ 運転者状態判定部
1 Driver state estimation device 2 Control unit 4 Outside camera (camera)
6 Steering sensor 8 Car interior camera (driver camera)
DESCRIPTION OF SYMBOLS 10 Alarm device 12 Communication device 14 Driving support device 16 Image analysis part 18 Model estimation part 20 Driver state determination part
Claims (3)
車両の走行環境を撮像するカメラと、
運転者によるステアリング操作を検出するステアリングセンサと、
上記カメラにより撮像された画像に基づいて走行中の車両のヨー角及び／又はオフセット位置を計算する画像解析部と、
この画像解析部により求められた車両の走行状態と、上記ステアリングセンサにより検出されたステアリング操作に基づいて、運転者の運転者モデルを推定するモデル推定部と、
このモデル推定部により推定された運転者モデルに基づいて運転者の状態を判定する運転者状態判定部と、を有し、
上記モデル推定部は、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定される運転者モデルを推定するように構成され、
上記運転者状態判定部は、推定された運転者モデルの自己位置フィードバックゲインに基づいて運転者の状態を判定するように構成されると共に、推定された運転者モデルの自己位置フィードバックゲインの値が、その運転者の通常状態における自己位置フィードバックゲインの値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定するように構成され、
さらに、車両を運転する運転者を撮像する運転者カメラを有し、上記画像解析部は、上記運転者カメラにより撮像された運転者の画像から運転者の視線の方向を検出し、上記運転者状態判定部は、検出された視線の方向に基づいて運転者の視野欠損の領域を推定するように構成されていることを特徴とする運転者状態推定装置。 A driver state estimating device for estimating a state of a driver driving a vehicle,
A camera for imaging the driving environment of the vehicle;
A steering sensor for detecting a steering operation by the driver;
An image analysis unit that calculates a yaw angle and / or an offset position of a running vehicle based on an image captured by the camera;
A model estimation unit for estimating the driver model of the driver based on the vehicle running state obtained by the image analysis unit and the steering operation detected by the steering sensor;
A driver state determination unit that determines the state of the driver based on the driver model estimated by the model estimation unit;
The model estimation unit is an operation in which a steering operation is determined using a self-position feedback gain multiplied by a yaw angle and / or an offset position and a self-motion feedback gain multiplied by a time differential value of the yaw angle and / or the offset position. Configured to estimate the person model,
The impaired operation determination unit, based on the self position feedback gain of the estimated driver model is configured to determine the state of the driver Rutotomoni, the value of the self-position feedback gain of the estimated driver model The driver is configured to determine that the driver is suspected of having a visual field loss when the driver's normal position feedback gain value is greater than the normal value.
Furthermore, it has a driver camera which images the driver who drives the vehicle, and the image analysis unit detects the direction of the driver's line of sight from the driver image captured by the driver camera, and the driver The state determination unit is configured to estimate a driver's visual field defect region based on the detected line-of-sight direction .
車両の走行環境を撮像するカメラと、 A camera for imaging the driving environment of the vehicle;
運転者によるステアリング操作を検出するステアリングセンサと、 A steering sensor for detecting a steering operation by the driver;
上記カメラにより撮像された画像に基づいて走行中の車両のヨー角及び／又はオフセット位置を計算する画像解析部と、 An image analysis unit that calculates a yaw angle and / or an offset position of a running vehicle based on an image captured by the camera;
この画像解析部により求められた車両の走行状態と、上記ステアリングセンサにより検出されたステアリング操作に基づいて、運転者の運転者モデルを推定するモデル推定部と、 A model estimation unit for estimating the driver model of the driver based on the vehicle running state obtained by the image analysis unit and the steering operation detected by the steering sensor;
このモデル推定部により推定された運転者モデルに基づいて運転者の状態を判定する運転者状態判定部と、を有し、 A driver state determination unit that determines the state of the driver based on the driver model estimated by the model estimation unit;
上記モデル推定部は、ヨー角及び／又はオフセット位置に乗じられる自己位置フィードバックゲイン、及びヨー角及び／又はオフセット位置の時間微分値に乗じられる自己運動フィードバックゲインを用いてステアリング操作が決定される運転者モデルを推定するように構成され、 The model estimation unit is an operation in which a steering operation is determined using a self-position feedback gain multiplied by a yaw angle and / or an offset position and a self-motion feedback gain multiplied by a time differential value of the yaw angle and / or the offset position. Configured to estimate the person model,
上記運転者状態判定部は、推定された運転者モデルの自己位置フィードバックゲインに基づいて運転者の状態を判定するように構成されると共に、推定された運転者モデルの自己位置フィードバックゲインの値が、その運転者の通常状態における自己位置フィードバックゲインの値よりも大きくなったとき、運転者に視野欠損の疑いがあると判定するように構成され、 The driver state determination unit is configured to determine the driver state based on the estimated self-position feedback gain of the driver model, and the estimated self-position feedback gain value of the driver model is The driver is configured to determine that the driver is suspected of having a visual field loss when the driver's normal position feedback gain value is greater than the normal value.
上記運転者状態判定部は、推定された視野欠損の判定結果に基づいて、車両に搭載されている運転支援装置の設定を変更するように構成されていることを特徴とする運転者状態推定装置。 The driver state estimating unit is configured to change the setting of the driving support device mounted on the vehicle based on the estimated visual field defect determination result. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017105465A JP6579496B2 (en) | 2017-05-29 | 2017-05-29 | Driver state estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017105465A JP6579496B2 (en) | 2017-05-29 | 2017-05-29 | Driver state estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018200600A JP2018200600A (en) | 2018-12-20 |
| JP6579496B2 true JP6579496B2 (en) | 2019-09-25 |
Family
ID=64667226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017105465A Active JP6579496B2 (en) | 2017-05-29 | 2017-05-29 | Driver state estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6579496B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109778695A (en) * | 2019-03-22 | 2019-05-21 | 福建农林大学 | A kind of bridge inspection vehicle with lane centering function |
| CN110077418B (en) * | 2019-04-08 | 2020-08-11 | 东南大学 | Differential auxiliary steering and shared control system modeling method considering driver characteristics |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI318185B (en) * | 2007-07-31 | 2009-12-11 | Univ Nat Taiwan Science Tech | Online monitoring method of driver state and system thereof |
| JP5036620B2 (en) * | 2008-04-24 | 2012-09-26 | ダイハツ工業株式会社 | Operating state determination device |
| TWI338643B (en) * | 2009-01-19 | 2011-03-11 | Univ Nat Taiwan Science Tech | Lane departure warning method and system thereof |
| JP5003705B2 (en) * | 2009-03-23 | 2012-08-15 | 株式会社豊田中央研究所 | Open / closed eye state determination device, front lateral state determination device, and program |
| CN104246850B (en) * | 2012-04-25 | 2016-11-09 | 丰田自动车株式会社 | Crawl decision maker |
| JP2014237337A (en) * | 2013-06-06 | 2014-12-18 | スズキ株式会社 | Driver condition detection device |
-
2017
- 2017-05-29 JP JP2017105465A patent/JP6579496B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018200600A (en) | 2018-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3128498B1 (en) | Vehicular information presentation apparatus | |
| JP6777124B2 (en) | Warning device, driving tendency analysis device and driving tendency analysis method | |
| WO2018092265A1 (en) | Driving assistance device and driving assistance method | |
| JP5817923B2 (en) | Driving assistance device | |
| US20160009295A1 (en) | On-vehicle situation detection apparatus and method | |
| US9849877B2 (en) | Apparatus and method for controlling vehicle | |
| JP6730096B2 (en) | Occupant condition monitoring device | |
| EP3348453B1 (en) | Control system of vehicle | |
| US9945944B2 (en) | Blind area warning for vehicles | |
| KR20150043659A (en) | Method for alarming status of vehicle and Apparatus for the same | |
| JP6579496B2 (en) | Driver state estimation device | |
| JP6481969B2 (en) | Driver state estimation device | |
| JP5498183B2 (en) | Behavior detection device | |
| JP4858516B2 (en) | Face orientation detection device | |
| JP4173083B2 (en) | Arousal state determination device and arousal state determination method | |
| JP6627787B2 (en) | Driver status detection device | |
| US20230192115A1 (en) | Method and system for assisting a driver of a road vehicle | |
| JP2019087018A (en) | Driver monitor system | |
| JP2013154836A (en) | Driving assisting device and program | |
| JP6281238B2 (en) | Recognition degree estimation device and recognition degree estimation method | |
| JP2021018665A (en) | Driving assistance device | |
| JP2023072270A (en) | Driver state determination method and device | |
| WO2024071298A1 (en) | Driving assistance device | |
| WO2023017291A1 (en) | Driving assistance device and driving assistance method | |
| JP2023072269A (en) | Driver condition determination method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190805 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6579496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190818 |