JP6259680B2 - Safety confirmation determination device and driving support device - Google Patents

Safety confirmation determination device and driving support device Download PDF

Info

Publication number
JP6259680B2
JP6259680B2 JP2014046050A JP2014046050A JP6259680B2 JP 6259680 B2 JP6259680 B2 JP 6259680B2 JP 2014046050 A JP2014046050 A JP 2014046050A JP 2014046050 A JP2014046050 A JP 2014046050A JP 6259680 B2 JP6259680 B2 JP 6259680B2
Authority
JP
Japan
Prior art keywords
visibility
distribution
safety confirmation
instantaneous
visibility distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014046050A
Other languages
Japanese (ja)
Other versions
JP2015170249A (en
Inventor
佑介 可児
佑介 可児
顕 吉澤
顕 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2014046050A priority Critical patent/JP6259680B2/en
Publication of JP2015170249A publication Critical patent/JP2015170249A/en
Application granted granted Critical
Publication of JP6259680B2 publication Critical patent/JP6259680B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両の走行時に、ドライバーが十分な安全確認を行っているか否かを判定する安全確認判定装置等に関するものである。   The present invention relates to a safety confirmation determination device and the like that determine whether or not a driver has performed sufficient safety confirmation when a vehicle is traveling.

従来、ドライバーの安全運転を支援するために、走行中、ドライバーが十分な安全確認を行った否かを判定する技術が開発されている。例えば、特許文献1に記載の技術は、車両が交差点に近づいた際、交差点中心から所定距離の道路範囲を、安全確認すべき領域として設定する。そして、ドライバーの視線方向に基づいて、安全確認すべき領域において、該ドライバーが安全確認を行った範囲である安全確認済み単区域を決定する。この安全確認済み単区域を順次足し合わせた安全確認済み領域の大きさが、所定の基準値以下である場合、ドライバーの安全確認が不十分であると判定して、警告を発する。   Conventionally, in order to support a driver's safe driving, a technology has been developed to determine whether or not the driver has sufficiently confirmed safety during driving. For example, in the technique described in Patent Document 1, when a vehicle approaches an intersection, a road range that is a predetermined distance from the center of the intersection is set as an area for safety confirmation. Then, based on the driver's line-of-sight direction, a safety-confirmed single area, which is a range in which the driver has confirmed safety, is determined in a region where safety should be confirmed. If the size of the safety confirmed area obtained by sequentially adding the safety confirmed single areas is equal to or smaller than a predetermined reference value, it is determined that the driver's safety confirmation is insufficient and a warning is issued.

特開2009−123182号公報JP 2009-123182 A

しかしながら、特許文献1に記載の技術では、交差点進入時に交差点中心からの距離に基づいて、安全確認すべき領域及び安全確認済み単区域が決定されるため、安全確認の判定は、交差点進入時に限られる。したがって、例えば、道路標識の手前や路上駐車の車両列付近等の、安全確認を行うべき場所において安全確認を行ったか否かを判定することができない。また、特許文献1に記載の技術は、単区域を単純に足し合わせることで、どのくらい広い範囲をドライバーが視認できているかにより安全確認判定を行うものである。しかも、単区域内は等しくドライバーが十分に視認できていることを前提としている。このように、特許文献1に記載の技術は、どこまでどの程度よく視認することができているかを考慮しないため、きめ細かく安全確認判定を行うことができない。   However, in the technology described in Patent Document 1, the area to be confirmed for safety and the single area for which safety has been confirmed are determined based on the distance from the center of the intersection when entering the intersection. It is done. Therefore, for example, it is not possible to determine whether or not safety confirmation has been performed at a place where safety confirmation is to be performed, such as in front of a road sign or in the vicinity of a vehicle train parked on the road. Moreover, the technique described in Patent Document 1 performs safety confirmation determination depending on how wide a driver can visually recognize by simply adding a single area. Moreover, it is assumed that the driver can see the same area in the single area. As described above, since the technique described in Patent Document 1 does not consider how well the image can be visually recognized, the safety confirmation determination cannot be performed in detail.

本発明は、上記の問題に鑑みてなされたものであり、種々の走行場所及び状況において、ドライバーが安全確認を行ったか否かを精度よく判定することのできる安全確認判定装置等を提供することを目的とする。   The present invention has been made in view of the above problems, and provides a safety confirmation determination device and the like that can accurately determine whether or not a driver has confirmed safety in various traveling places and situations. With the goal.

本発明の安全確認判定装置は、走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出部と、前記視線方向検出部にて検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出部と、前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得部と、前記瞬時視認度分布算出部にて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出部と、前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定部とを備えた構成を有している。   A safety confirmation determination apparatus according to the present invention includes a gaze direction detection unit that detects a gaze direction of a driver in a predetermined area of a relative coordinate system with a position of a traveling vehicle as an origin at a predetermined time using a predetermined detection device. And an instantaneous visibility distribution that calculates a distribution in the predetermined area of the visibility that varies depending on an angle from the direction of the gaze as the instantaneous visibility distribution based on the gaze direction of the driver detected by the gaze direction detection unit. A plurality of the instantaneous visibility distributions obtained by the calculation unit, a travel information acquisition unit that acquires travel information including information on the movement amount and the rotation angle of the vehicle, and the instantaneous visibility distribution calculation unit; The cumulative visibility distribution is calculated by performing coordinate conversion based on the image and accumulating within the predetermined area corresponding to one instantaneous visibility distribution of the plurality of instantaneous visibility distributions. A detecting section, based on the accumulated visibility distribution, has a configuration in which a safety check determination section to determine whether the driver has performed a sufficient safety check.

この構成によれば、車両位置を原点とする相対座標系において、所定時間毎に瞬時視認度分布と、瞬時視認度分布を累積した累積視認度分布が算出される。ここで、瞬時視認度とは、ドライバーの視線方向を検出した時点において、該ドライバーが車両周辺をどの程度よく視認することができているかを示す数値である。また、瞬時視認度分布とは、相対座標系の所定領域内における視認度の分布であり、所定領域内において、座標位置と視認度とが対応付けられている。他方、累積視認度分布とは、視線方向検出時点毎に算出される各瞬時視認度分布を順次加算して累積したものであり、ドライバーが所定領域内を走行中、どの範囲をどの程度確認済みであるかを示しているとみることができる。ただし、瞬時視認度分布が算出される所定領域は、車両の進行にしたがって移動するので、各時点における瞬時視認度分布は、そのまま加算することができない。そこで、上記の構成では、各瞬時視認度分布を、1つの瞬時視認度分布に対応する座標を基準として、座標変換を行い、複数の瞬時視認度分布を累積する。これにより、車両の走行場所や走行状況によらず、ドライバーがどの範囲をどの程度よく確認できているかを、累積視認度分布として定量的に表すことができる。そして、上記構成によれば、累積視認度分布に基づいてドライバーが十分に安全確認を行っているか否かを判定するので、過去の視認範囲及び程度を適切に反映させ、ドライバーが安全確認を行ったか否かを精度よく判定することができる。   According to this configuration, in the relative coordinate system having the vehicle position as the origin, the instantaneous visibility distribution and the cumulative visibility distribution obtained by accumulating the instantaneous visibility distribution are calculated every predetermined time. Here, the instantaneous visibility is a numerical value indicating how well the driver can visually recognize the periphery of the vehicle when the driver's line-of-sight direction is detected. The instantaneous visibility distribution is a distribution of visibility in a predetermined area of the relative coordinate system, and the coordinate position and the visibility are associated with each other in the predetermined area. On the other hand, the cumulative visibility distribution is the cumulative sum of the instantaneous visibility distributions calculated for each eye-gaze direction detection point, and it has been confirmed which range and how much while the driver is driving within the specified area. It can be seen that it shows. However, since the predetermined area in which the instantaneous visibility distribution is calculated moves as the vehicle travels, the instantaneous visibility distribution at each time point cannot be added as it is. Therefore, in the above configuration, each instantaneous visibility distribution is subjected to coordinate conversion with reference to coordinates corresponding to one instantaneous visibility distribution, and a plurality of instantaneous visibility distributions are accumulated. Accordingly, it is possible to quantitatively represent as a cumulative visibility distribution which range the driver has confirmed and how well regardless of the travel location and travel situation of the vehicle. According to the above configuration, since it is determined whether or not the driver sufficiently confirms safety based on the cumulative visibility distribution, the past viewing range and degree are appropriately reflected, and the driver confirms safety. It can be accurately determined whether or not.

本発明の安全確認判定装置において、前記累積視認度分布算出部は、前記瞬時視認度分布が算出された第1の時点より前記所定時間前の第2の時点における前記累積視認度分布を、前記第2の時点から前記第1の時点までの車両の移動量及び回転角度に応じて移動及び/または回転させて、前記第1の時点における前記領域内で前記第1の時点における瞬時視認度分布に重ねることにより、前記第1の時点における累積視認度分布を算出してよい。   In the safety confirmation determination device of the present invention, the cumulative visibility distribution calculation unit calculates the cumulative visibility distribution at a second time point a predetermined time before the first time point when the instantaneous visibility distribution is calculated. The instantaneous visibility distribution at the first time point in the region at the first time point by moving and / or rotating according to the movement amount and the rotation angle of the vehicle from the second time point to the first time point. , The cumulative visibility distribution at the first time point may be calculated.

この構成によれば、新たに瞬時視認度分布が算出されるたびに、それまでの累積視認度分布に新たな瞬時視認度分布が重ねられて累積視認度分布が更新される。累積視認度分布を更新する際、新たに瞬時視認度が算出された時点までの車両の移動量及び回転角に応じて、累積視認度分布を変換したうえで、新たな瞬時視認度に重ね合わせる。すなわち、1回の重ね合わせ処理により、複数の過去の瞬時視認度を、新たな瞬時視認度に重ね合わせることができるので、高い計算負荷をかけることなく、累積視認度分布を得ることができる。   According to this configuration, every time a new instantaneous visibility distribution is calculated, the new instantaneous visibility distribution is superimposed on the previous cumulative visibility distribution and the cumulative visibility distribution is updated. When updating the cumulative visibility distribution, the cumulative visibility distribution is converted according to the amount of movement and the rotation angle of the vehicle up to the time when the instantaneous visibility is newly calculated, and then superimposed on the new instantaneous visibility. . In other words, since a plurality of past instantaneous visibility can be superimposed on a new instantaneous visibility by a single overlay process, a cumulative visibility distribution can be obtained without applying a high calculation load.

本発明の安全確認判定装置において、前記視線方向からの角度が大きくなるほど、視認度が小さくなってよい。   In the safety confirmation determination apparatus of the present invention, the visibility may be reduced as the angle from the line-of-sight direction increases.

中心視野からの角度が大きくなるほど、視覚感度は小さくなる。したがって、この構成により、的確に瞬時視認度分布を算出することができ、精度よく安全確認判定を行うことができる。   As the angle from the central visual field increases, the visual sensitivity decreases. Therefore, with this configuration, the instantaneous visibility distribution can be accurately calculated, and the safety confirmation determination can be performed with high accuracy.

本発明の安全確認判定装置において、前記累積視認度分布算出部は、前記1つの瞬時視認度分布以外の他の瞬時視認度分布における視認度を減少させて、前記1つの瞬時視認度分布と重ねてよい。   In the safety confirmation determination apparatus of the present invention, the cumulative visibility distribution calculation unit decreases visibility in other instantaneous visibility distributions other than the one instantaneous visibility distribution, and overlaps with the one instantaneous visibility distribution. It's okay.

ある時点でドライバーが安全であると判断しても、時間経過にしたがって、歩行者等が現れる可能性がある。この構成によれば、過去の視認度を減少させた上で、新たに算出された瞬時視認度分布に加算される。しかも、新たな瞬時視認度を加算する際、過去の視認度は繰り返し減少されるので、時間経過に応じて、視認度の減少度合いが大きくなる。したがって、時間経過を考慮して、視認範囲及び視認程度をきめ細かく反映した、累積視認度分布を得ることができ、精度よく安全確認判定を行うことができる。   Even if it is determined that the driver is safe at a certain point in time, pedestrians may appear as time passes. According to this configuration, the past visibility is reduced and added to the newly calculated instantaneous visibility distribution. In addition, when the new instantaneous visibility is added, the past visibility is repeatedly reduced, so that the degree of reduction in the visibility increases as time elapses. Therefore, taking into account the passage of time, it is possible to obtain a cumulative visibility distribution that finely reflects the viewing range and the viewing degree, and to perform safety confirmation determination with high accuracy.

本発明の安全確認判定装置において、前記瞬時視認度は、前記視線方向からの角度をパラメータとする指数関数により算出され、前記累積視認度算出部は、前記他の瞬時視認度分布における視認度に減衰係数を乗じることにより、前記他の瞬時視認度分布における視認度を減少させてよい。   In the safety confirmation determination device of the present invention, the instantaneous visibility is calculated by an exponential function having an angle from the line-of-sight direction as a parameter, and the cumulative visibility calculation unit calculates the visibility in the other instantaneous visibility distribution. By multiplying the attenuation coefficient, the visibility in the other instantaneous visibility distribution may be reduced.

この構成によれば、瞬時視認度を簡易な計算で精度よく算出することができる。また、瞬時視認度の分布は、視線方向からの角度に依存するところ、この構成によれば、角度分布に対して、略均等に視認度を減少させることができるので、過去の視認範囲及び視認程度を精度よく反映させた累積視認度分布を得ることができる。   According to this configuration, the instantaneous visibility can be calculated with a simple calculation with high accuracy. In addition, the distribution of instantaneous visibility depends on the angle from the line-of-sight direction. According to this configuration, the visibility can be reduced substantially evenly with respect to the angle distribution. A cumulative visibility distribution that accurately reflects the degree can be obtained.

本発明の安全確認判定装置は、所定の安全確認対象物を検出する所定のセンサをさらに備え、前記安全確認判定部は、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の位置と、前記累積視認度分布とに基づいて安全確認判定を行ってよい。   The safety confirmation determination apparatus of the present invention further includes a predetermined sensor for detecting a predetermined safety confirmation object, and the safety confirmation determination unit includes the safety confirmation in the region corresponding to the one instantaneous visibility distribution. Safety confirmation determination may be performed based on the position of the object and the cumulative visibility distribution.

この構成によれば、安全確認対象物を検出した場合に安全確認判定を行うことができ、走行場所等によらず、安全確認判定を行うことができる。   According to this configuration, the safety confirmation determination can be performed when the safety confirmation object is detected, and the safety confirmation determination can be performed regardless of the travel location or the like.

本発明の安全確認判定装置において、前記車両の走行予定経路に関する情報をさらに取得し、前記走行情報に基づいて、前記車両が、移動体である安全確認対象物の所定の動線上に到達するまでの前記安全確認対象物の推定移動範囲を算出する確認対象物移動範囲推定部をさらに備え、前記安全確認判定部は、前記1つの瞬時視認度に対応する前記領域内での前記安全確認対象物の推定移動範囲と、前記累積視認度分布とに基づいて安全確認判定を行ってよい。   In the safety confirmation determination apparatus of the present invention, further information on a planned travel route of the vehicle is further acquired, and the vehicle reaches a predetermined flow line of a safety confirmation object that is a moving body based on the travel information. A confirmation object movement range estimation unit that calculates an estimated movement range of the safety confirmation object, and the safety confirmation determination unit includes the safety confirmation object within the region corresponding to the one instantaneous visibility. Safety confirmation determination may be performed based on the estimated movement range and the cumulative visibility distribution.

この構成によれば、車両の走行速度や走行経路等に応じて、安全確認の対象となる歩行者等の移動範囲を推定し、推定移動範囲における累積視認度に基づいて安全確認判定を行うことができる。したがって、ドライバーが確認すべき範囲を車両の走行状況に応じて適切に設定することができるので、さらに精度よく安全確認判定を行うことができる。   According to this configuration, it is possible to estimate a moving range of a pedestrian or the like that is a target of safety confirmation according to a traveling speed or a traveling route of the vehicle, and perform a safety confirmation determination based on the cumulative visibility in the estimated moving range. Can do. Accordingly, the range to be confirmed by the driver can be appropriately set according to the traveling state of the vehicle, so that the safety confirmation determination can be performed with higher accuracy.

本発明の安全確認判定方法は、走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出するステップと、検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出するステップと、
前記車両の移動量及び回転角度に関する情報を含む走行情報を取得するステップと、複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出するステップと、前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定するステップとを備える。
The safety confirmation determination method of the present invention includes a step of detecting a driver's line-of-sight direction in a predetermined region of a relative coordinate system with the position of a traveling vehicle as an origin at predetermined time intervals using a predetermined detection device, A step of calculating a distribution in the predetermined area of the visibility that varies depending on the angle from the direction of the gaze based on the driver's gaze direction as an instantaneous visibility distribution;
A step of obtaining travel information including information relating to a movement amount and a rotation angle of the vehicle; and a plurality of the instantaneous visibility distributions are coordinate-converted based on the travel information, A step of calculating a cumulative visibility distribution by accumulating within the predetermined area corresponding to one instantaneous visibility distribution, and determining whether or not the driver has sufficiently confirmed safety based on the cumulative visibility distribution And a step of performing.

本発明のプログラムは、コンピュータに、走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出するステップと、検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出するステップと、前記車両の移動量及び回転角度に関する情報を含む走行情報を取得するステップと、複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出するステップと、前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定するステップとを実行させる。   The program according to the present invention includes a step of detecting, on a predetermined time basis, a driver's line-of-sight direction in a predetermined area of a relative coordinate system having a position of a traveling vehicle as an origin using a predetermined detection device. A step of calculating a distribution in the predetermined area of the visibility different depending on the angle from the line-of-sight direction as an instantaneous visibility distribution based on the driver's line-of-sight direction, and information on the movement amount and the rotation angle of the vehicle A step of acquiring the running information, and performing a coordinate transformation on the plurality of instantaneous visibility distributions based on the running information, and corresponding to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions A step of calculating a cumulative visibility distribution by accumulating within an area, and whether or not the driver has sufficiently confirmed safety based on the cumulative visibility distribution; It is executed and determining.

本発明の運転支援装置は、走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出部と、前記視線方向検出部にて検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出部と、前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得部と、前記瞬時視認度分布算出部にて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出部と、前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定部と、前記安全確認判定部の判定結果に応じて所定のメッセージを出力させるメッセージ出力部とを備えた構成を有している。   A driving support device according to the present invention includes a gaze direction detection unit that detects a gaze direction of a driver in a predetermined area of a relative coordinate system with a position of a traveling vehicle as an origin at a predetermined time using a predetermined detection device. Instantaneous visibility distribution calculation that calculates a distribution in the predetermined area of the visibility that varies depending on the angle from the gaze direction as the instantaneous visibility distribution based on the gaze direction of the driver detected by the gaze direction detection unit A travel information acquisition unit that acquires travel information including information related to a movement amount and a rotation angle of the vehicle, and a plurality of the instantaneous visibility distributions obtained by the instantaneous visibility distribution calculation unit in the travel information. Cumulative visibility distribution calculation that performs coordinate transformation based on the calculated value and accumulates within the predetermined area corresponding to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions. And a safety confirmation determination unit that determines whether or not the driver has sufficiently confirmed safety based on the cumulative visibility distribution, and a message that outputs a predetermined message according to a determination result of the safety confirmation determination unit And an output unit.

本発明によれば、視線方向が検出された各時点の視認度を、車両位置を原点とする相対座標系において累積して、安全確認判定に用いるので、種々の走行場所及び状況において、ドライバーが安全確認を行ったか否かを精度よく判定することができる。   According to the present invention, the visibility at each time point when the line-of-sight direction is detected is accumulated in a relative coordinate system with the vehicle position as the origin and used for safety confirmation determination. It is possible to accurately determine whether or not safety confirmation has been performed.

本発明の第1の実施の形態における安全確認判定装置及び運転支援装置の構成を示すブロック図The block diagram which shows the structure of the safety confirmation determination apparatus and driving assistance device in the 1st Embodiment of this invention. (a)偏位角と瞬時視認度との関係の一例を示す図 (b)視線方向と瞬時視認度分布の一例を示す図(A) The figure which shows an example of the relationship between a deflection angle and instantaneous visibility (b) The figure which shows an example of a gaze direction and instantaneous visibility distribution 減衰係数を乗じた場合の瞬時視認度の変化の一例を示す図The figure which shows an example of the change of instantaneous visibility at the time of multiplying an attenuation coefficient (a)〜(h) 本発明の第1の実施の形態における累積視認度分布算出の概念を説明するための図(A)-(h) The figure for demonstrating the concept of cumulative visibility distribution calculation in the 1st Embodiment of this invention. 本発明の第1の実施の形態における安全確認判定の例を説明するための図The figure for demonstrating the example of the safety confirmation determination in the 1st Embodiment of this invention 本発明の第1の実施の形態における運転支援装置の動作フロー図Operation flow diagram of the driving support device in the first embodiment of the present invention 本発明の第2の実施の形態における安全確認判定装置及び運転支援装置の構成を示すブロック図The block diagram which shows the structure of the safety confirmation determination apparatus in the 2nd Embodiment of this invention, and a driving assistance device. 本発明の第2の実施の形態における対象物推定移動範囲の算出の一例を説明するための図The figure for demonstrating an example of calculation of the target object estimated movement range in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における運転支援装置の動作フロー図Operation flow diagram of driving support device in second embodiment of the present invention

以下、本発明の第1の実施の形態の安全確認判定装置及び運転支援装置について、図面を参照しながら説明する。   Hereinafter, a safety confirmation determination device and a driving support device according to a first embodiment of the present invention will be described with reference to the drawings.

[第1の実施の形態]
図1は、本発明の実施の形態の安全確認判定装置及び運転支援装置の構成を示す図である。図1において、運転支援装置1は、車両に搭載され、安全確認判定装置10を備え、ドライバーカメラ20と、走行速度検出部21と、舵角検出部22と、車外カメラ23と、ディスプレイ24とに接続される。安全確認判定装置10は、視線方向検出部11と、瞬時視認度分布算出部12と、走行情報取得部13と、累積視認度分布算出部14と、確認対象物位置検出部15と、安全確認判定部16と、表示制御部17とを備える。
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration of a safety confirmation determination device and a driving support device according to an embodiment of the present invention. In FIG. 1, the driving support device 1 is mounted on a vehicle and includes a safety confirmation determination device 10, and includes a driver camera 20, a traveling speed detection unit 21, a rudder angle detection unit 22, an outside camera 23, a display 24, and the like. Connected to. The safety confirmation determination apparatus 10 includes a gaze direction detection unit 11, an instantaneous visibility distribution calculation unit 12, a travel information acquisition unit 13, a cumulative visibility distribution calculation unit 14, a confirmation object position detection unit 15, and a safety confirmation A determination unit 16 and a display control unit 17 are provided.

ドライバーカメラ20は、例えば、車両のステアリング付近に設置され、ドライバーの目を含む顔領域を撮影し、画像データを視線方向検出部11に出力する。走行速度検出部21は、車両の走行速度を検出し、走行情報取得部13に出力する。舵角検出部22は、車両の舵角を検出し、走行情報取得部13に出力する。車外カメラ23は、例えば、車両の前方に設置され、走行時の車外の状況を撮影し、画像データを確認対象物位置検出部15に出力する。ディスプレイ24は、ドライバーに対する所定のメッセージ等を表示する。   The driver camera 20 is installed near the steering of the vehicle, for example, captures a face area including the driver's eyes, and outputs image data to the line-of-sight direction detection unit 11. The travel speed detection unit 21 detects the travel speed of the vehicle and outputs it to the travel information acquisition unit 13. The steering angle detection unit 22 detects the steering angle of the vehicle and outputs the detected steering angle to the travel information acquisition unit 13. The vehicle exterior camera 23 is installed, for example, in front of the vehicle, captures a situation outside the vehicle during traveling, and outputs image data to the confirmation target position detection unit 15. The display 24 displays a predetermined message for the driver.

視線方向検出部11は、ドライバーカメラ20から取得した画像データに基づいて、100ミリ秒ごとに、ドライバーの視線方向を検出し、検出した視線方向のデータを瞬時視認度算出部12に出力する。ドライバーの視線方向は、例えば、走行する車両の進行方向に対してドライバーの視線がなす角によって特定することが可能である。そこで、本実施の形態では、車両の位置を原点、車両の進行方向をY軸、Y軸に直交する座標軸をX軸とする、2次元の相対座標系を設定する。そして、視線方向検出部11は、この座標系の200メートル×200メートルの領域内(−100メートル≦Y≦100メートル、−100メートル≦X≦100メートル)に、ドライバーの視線方向を対応付けて、瞬時視認度分布算出部12に出力する。本実施の形態において、相対座標系の200メートル四方の領域は、それぞれ2メートル幅の、X軸と平行なグリッド線及びY軸と平行なグリッド線により区切られており、以下では当該領域を「グリッド領域」という。本実施の形態では、車両位置を原点とする相対座標系を用いるので、例えば、ドライバーが時刻t及びt+1の時点においてまっすぐ前を見ていた場合、車両の進行や回転にかかわらず、両時点における視線方向は同一(各グリッド領域内でY軸と一致)となる。   The gaze direction detection unit 11 detects the gaze direction of the driver every 100 milliseconds based on the image data acquired from the driver camera 20, and outputs the detected gaze direction data to the instantaneous visibility calculation unit 12. The driver's line-of-sight direction can be specified by, for example, the angle formed by the driver's line-of-sight with respect to the traveling direction of the traveling vehicle. Therefore, in this embodiment, a two-dimensional relative coordinate system is set in which the position of the vehicle is the origin, the traveling direction of the vehicle is the Y axis, and the coordinate axis orthogonal to the Y axis is the X axis. The line-of-sight direction detection unit 11 associates the line-of-sight direction of the driver with the area of 200 meters × 200 meters (−100 meters ≦ Y ≦ 100 meters, −100 meters ≦ X ≦ 100 meters) of this coordinate system. And output to the instantaneous visibility distribution calculation unit 12. In the present embodiment, the 200-meter square area of the relative coordinate system is divided by a grid line parallel to the X axis and a grid line parallel to the Y axis, each having a width of 2 meters. This is called “grid area”. In the present embodiment, since the relative coordinate system with the vehicle position as the origin is used, for example, when the driver is looking straight ahead at the time t and t + 1, the vehicle is traveling at both time points regardless of the progress or rotation of the vehicle. The line-of-sight direction is the same (coincides with the Y axis in each grid area).

なお、ドライバーの視線方向は、角膜反射法や瞳孔位置を用いた手法等、種々の手法により検出することが可能である。また、画像データに基づいて、ドライバーがサイドミラーやルームミラーを見ていることが検出された場合には、車両の進行方向に対する鏡像の方向(サイドミラーであれば左右斜め後ろ、ルームミラーであれば後方)、角度に応じて、視線方向を変換してもよい。   The driver's line-of-sight direction can be detected by various methods such as a corneal reflection method and a method using a pupil position. If it is detected based on the image data that the driver is looking at the side mirror or the rearview mirror, the direction of the mirror image relative to the traveling direction of the vehicle (in the case of the side mirror, diagonally behind the right or left, In other words, the line-of-sight direction may be converted according to the angle.

瞬時視認度分布算出部12は、視線方向検出部11にて検出されたドライバーの視線方向に基づいて、視線方向が検出された各時点におけるドライバーの瞬時視認度が、各時点におけるグリッド領域においてどのように分布しているかを算出し、その結果を累積視認度分布算出部14に出力する。瞬時視認度とは、ドライバーがその時点においてどの程度視認できているかを示す数値であり、数値が高いほどよく視認できていることを意味する。したがって、グリッド領域内における瞬時視認度の分布を算出することにより、ドライバーが、自車の周辺200メートル四方の領域内のどこからどこまでをどの程度よく視認することができているかを把握することができる。   Based on the driver's line-of-sight direction detected by the line-of-sight direction detector 11, the instantaneous visibility distribution calculator 12 determines which instantaneous visibility of the driver at each point in time when the line-of-sight direction is detected in the grid area at each point in time. And the result is output to the cumulative visibility distribution calculation unit 14. The instantaneous visibility is a numerical value indicating how much the driver can visually recognize at that time, and means that the higher the numerical value is, the better the visual recognition is. Therefore, by calculating the distribution of instantaneous visibility in the grid area, it is possible to grasp how well the driver can visually recognize from where to where in the 200 meter square area around the vehicle. .

ところで、人の視覚感度は、視線方向との角度差(偏位角)が大きくなるにしたがって減少すること、特に、偏位角が0から20度の間において急激に減少し、その後は60度付近にかけて緩やかに減少することが知られている。そこで、本実施の形態では、瞬時視認度を、視線方向からの角度をパラメータとして、指数関数Me-λθにより近似し、得られる値に基づいてグリッド領域内での瞬時視認度分布を算出する。ここで、Mは、瞬時視認度最大値(本実施の形態では1)、λは崩壊定数(本実施の形態では、0.693/15)、θは視線方向からの角度である。 By the way, the human visual sensitivity decreases as the angle difference (deviation angle) from the line-of-sight direction increases. In particular, the deviation angle rapidly decreases between 0 and 20 degrees, and thereafter 60 degrees. It is known that it gradually decreases in the vicinity. Therefore, in the present embodiment, the instantaneous visibility is approximated by the exponential function Me −λθ using the angle from the line-of-sight direction as a parameter, and the instantaneous visibility distribution in the grid area is calculated based on the obtained value. Here, M is a maximum instantaneous visibility value (1 in the present embodiment), λ is a decay constant (0.693 / 15 in the present embodiment), and θ is an angle from the line-of-sight direction.

図2(a)は、偏位角と瞬時視認度との関係の一例を示す図であり、図2(b)は、ある時点における視線方向と、瞬時視認度分布の例を示す図である。図2(a)に示すように、視線方向からの角度が小さいほど瞬時視認度が高く、視線方向からの角度が大きくなるほど瞬時視認度が低くなる。そこで、視認度を黒・白の濃淡(白い部分は視認度が高いことを、黒くなるほど、視認度が低くなる)で表せば、瞬時視認度分布は、図2(b)のようになる。なお、図2(a)に示すように、偏位角が60度以上となると、瞬時視認度は0.1を下回る。そこで、本実施の形態では、視線方向からの角度が60度以上となる範囲では、計算負荷を軽減するため、瞬時視認度を0としている。   FIG. 2A is a diagram illustrating an example of the relationship between the deviation angle and the instantaneous visibility, and FIG. 2B is a diagram illustrating an example of the gaze direction at a certain time point and the instantaneous visibility distribution. . As shown in FIG. 2A, the smaller the angle from the line of sight, the higher the instantaneous visibility, and the larger the angle from the line of sight, the lower the instantaneous visibility. Therefore, if the visibility is expressed in black and white shades (the white portion has high visibility, the visibility decreases as it becomes black), the instantaneous visibility distribution is as shown in FIG. In addition, as shown to Fig.2 (a), when a deflection angle will be 60 degree | times or more, an instantaneous visibility will be less than 0.1. Therefore, in the present embodiment, in the range where the angle from the line-of-sight direction is 60 degrees or more, the instantaneous visibility is set to 0 in order to reduce the calculation load.

図1に戻り、走行情報取得部13は、走行速度検出部21から出力された走行速度情報及び舵角検出部22から出力された舵角情報を取得して、走行情報として累積視認度分布算出部14に出力する。   Returning to FIG. 1, the travel information acquisition unit 13 acquires the travel speed information output from the travel speed detection unit 21 and the rudder angle information output from the rudder angle detection unit 22, and calculates cumulative visibility distribution as travel information. To the unit 14.

累積視認度分布算出部14は、瞬時視認度分布算出部12にて算出された瞬時視認度分布を順次累積して、累積視認度分布を算出する。例えば、瞬時視認度分布算出部12にて、新たに時刻tにおける瞬時視認度分布が算出された場合、累積視認度分布算出部14は、時刻tにおける瞬時視認度分布に、時刻t−100ミリ秒の時点における累積視認度分布を加算することにより、時刻tにおける累積視認度分布を算出する。言い換えれば、累積視認度分布の算出は、新たに算出された瞬時視認度の加算による、1ステップ前(100ミリ秒前)の累積視認度分布の更新である。   The cumulative visibility distribution calculation unit 14 sequentially accumulates the instantaneous visibility distribution calculated by the instantaneous visibility distribution calculation unit 12 to calculate the cumulative visibility distribution. For example, when the instantaneous visibility distribution calculation unit 12 newly calculates the instantaneous visibility distribution at time t, the cumulative visibility distribution calculation unit 14 adds the time t-100 mm to the instantaneous visibility distribution at time t. The cumulative visibility distribution at time t is calculated by adding the cumulative visibility distribution at the second time point. In other words, the calculation of the cumulative visibility distribution is an update of the cumulative visibility distribution one step before (100 milliseconds before) by addition of the newly calculated instantaneous visibility.

上述のように、時刻t、t−100ミリ秒・・・における各瞬時視認度分布は、車両位置を原点とする相対座標系における各時点の各グリッド領域と対応付けられている。そこで、本実施の形態においては、時刻t−100ミリ秒の時点における累積視認度分布を、走行情報取得部13から出力された走行情報に基づいて、時刻tにおけるグリッド領域に対応するように座標変換して加算する。すなわち、時刻t−100からtまでの移動量及び回転角度に応じて、時刻tにおけるグリッド領域において、時刻t−100における累積視認度分布を移動及び/または回転させて、時刻tにおける瞬時視認度分布に加算する。その際、時刻tにおけるグリッド領域外の視認度分布は切り捨て、また、加算後の視認度の上限値も1とする。   As described above, each instantaneous visibility distribution at time t, t−100 milliseconds,... Is associated with each grid area at each time point in the relative coordinate system with the vehicle position as the origin. Therefore, in the present embodiment, the cumulative visibility distribution at the time t−100 milliseconds is coordinated to correspond to the grid area at the time t based on the travel information output from the travel information acquisition unit 13. Convert and add. That is, according to the movement amount and the rotation angle from time t-100 to t, the cumulative visibility distribution at time t-100 is moved and / or rotated in the grid area at time t, and the instantaneous visibility at time t. Add to the distribution. At this time, the visibility distribution outside the grid area at time t is discarded, and the upper limit value of the visibility after addition is set to 1.

累積視認度(分布)は、瞬時視認度(分布)の累積であるから、時刻tにおけるグリッド領域内において、累積視認度の高くなっている部分は、時刻tまでにドライバーが十分な安全確認を行っている部分(場所)と見ることができる。しかし、時刻tよりも前の時点でドライバーが安全であると確認した場所は、例えば、時刻tの時点では自転車等が侵入してくる可能性がある。そのため、過去の瞬時視認度分布をそのまま重ねた累積視認度分布が、時刻tの時点において十分な安全確認が行われている部分を示すとは言い難い場合もある。そこで、本実施の形態では、時刻t−100ミリ秒における累積視認度分布に所定の減衰係数をかけあわせ、過去の視認度の値を減少させる。図3は、図2(b)における瞬時視認度に、減衰係数をかけ合わせたときの値を示すグラフである。本実施の形態においては、瞬時視認度は指数関数で表すため、減衰係数を用いることにより、角度分布に対して略均等に視認度を縮小させることができる。なお、減少後の値が所定値以下となる場合(図3では0.1以下の場合)、視認度を0とする。これにより、過去の累積視認度分布は、現在のグリッド領域においては縮小することになる。   The cumulative visibility (distribution) is an accumulation of the instantaneous visibility (distribution). Therefore, in the grid area at time t, the portion where the cumulative visibility is high performs sufficient safety confirmation by time t. It can be seen as the part (place) that is going. However, there is a possibility that, for example, a bicycle or the like may enter the place where the driver has confirmed that it is safe before the time t at the time t. For this reason, it may be difficult to say that the cumulative visibility distribution obtained by directly superimposing past instantaneous visibility distributions indicates a portion where sufficient safety confirmation is performed at the time t. Therefore, in the present embodiment, the past visibility value is decreased by multiplying the cumulative visibility distribution at time t-100 milliseconds by a predetermined attenuation coefficient. FIG. 3 is a graph showing values obtained by multiplying the instantaneous visibility in FIG. 2B by an attenuation coefficient. In the present embodiment, since the instantaneous visibility is represented by an exponential function, the visibility can be reduced substantially uniformly with respect to the angular distribution by using the attenuation coefficient. In addition, when the value after a reduction | decrease becomes below a predetermined value (in FIG. 3, it is 0.1 or less), visibility is set to 0. Thereby, the past cumulative visibility distribution is reduced in the current grid area.

図4(a)ないし(g)は、累積視認度分布算出部14による累積視認度分布の算出を説明するための図である。図4のうち、(a)から(c)は、時刻t−2からtにかけて交差点を右折する車両Cと、ドライバーの視線方向S(St-2、St-1、St)の模式図、(d)、(e)、(f)は、それぞれ、時刻t−2、t−1、tにおけるドライバーの視線方向S(St-2、St-1、St)と、瞬時視認度分布I(It-2、It-1、It)の模式図である。また、図4(g)、(h)は、それぞれ、時刻t−1における、時刻t−2からt−1までの累積視認度分布At-1、時刻tにおける、時刻t−2からtまでの累積視認度分布Atの模式図である。時刻t−2からt−1にかけて、及び、時刻t−1からtにかけて、車両Cは前進し、かつ右に回転した。したがって、At-1は、図4(g)に示すように、It-2に減衰係数をかけあわせ、時刻t−1におけるグリッド領域内において後退させ、かつ、左に回転させてIt-1に重ね合わせることにより得られる。本実施の形態においては、上述のように、減衰係数を乗じた結果、視認度が所定値以下となる場合には、その値は0に置換されるので、At-1におけるIt-2は、時刻t−2の時点に比べて縮小することになる。 FIGS. 4A to 4G are diagrams for explaining calculation of the cumulative visibility distribution by the cumulative visibility distribution calculation unit 14. 4, (a) to (c) are schematic views of the vehicle C turning right at the intersection from time t-2 to t and the driver's line-of-sight direction S (S t-2 , S t-1 , St ). Figures (d), (e), and (f) show the driver's line-of-sight directions S (S t-2 , S t-1 , S t ) and instants at times t-2, t-1, and t, respectively. It is a schematic diagram of the visibility distribution I (I t-2 , I t-1 , I t ). 4 (g) and 4 (h) show the cumulative visibility distribution A t-1 from time t-2 to t-1 at time t-1, and from time t-2 to t at time t, respectively. it is a schematic representation of the cumulative viewing size distribution a t up. From time t-2 to t-1 and from time t-1 to t, the vehicle C moved forward and rotated to the right. Therefore, A t-1, as shown in FIG. 4 (g), multiplied by the attenuation coefficient I t-2, is retracted in the grid area at time t-1, and is rotated to the left I t Obtained by superimposing to -1 . In the present embodiment, as described above, the result obtained by multiplying the damping coefficient, when the visibility is less than or equal to a predetermined value because its value is replaced with 0, I in A t-1 t-2 Is reduced compared to the time t-2.

また、Atは、図4(h)に示すように、At-1に減衰係数をかけて縮小させ、時刻tにおけるグリッド領域内において後退させ、かつ左に回転させてItに重ね合わせることにより得られる。At-1を求める際、既にIt-2に減衰係数をかけているため、At-1のうち、It-2に由来する部分は、さらに縮小される。このように、本実施の形態では、過去の瞬時視認度分布が時間経過に応じて縮小し、かつ、縮小した範囲内における視認度値も時間経過に応じて徐々に低くなる。したがって、時間経過が考慮され、視認範囲及び視認程度をきめ細かく反映した、安全確認判定に適切な累積視認度分布を得ることができる。 Also, A t, as shown in FIG. 4 (h), to shrink over the damping coefficient A t-1, is retracted in the grid area at time t, and is rotated to the left superimposable I t Can be obtained. When obtaining the A t-1, since it has already multiplied by the attenuation coefficient I t-2, of the A t-1, portions derived from I t-2, is further reduced. Thus, in the present embodiment, the past instantaneous visibility distribution is reduced with the passage of time, and the visibility value within the reduced range is gradually lowered with the passage of time. Accordingly, it is possible to obtain a cumulative visibility distribution suitable for safety confirmation determination that takes into account the passage of time and finely reflects the viewing range and the viewing degree.

再び図1に戻り、確認対象物位置検出部15は、車外カメラ23から取得した画像データに基づいて、グリッド領域における安全確認対象物の位置を検出し、安全確認判定部16に出力する。安全確認対象物は、例えば、歩行者や自転車、標識等である。安全確認判定部16は、確認対象物位置検出部15にて検出された安全確認対象物の位置が、自車の所定距離内にある場合、累積視認度分布算出部14にて算出された累積視認度分布に基づいて、ドライバーが十分な安全確認を行ったか否かを判定し、判定結果をメッセージ出力部17に出力する。メッセージ出力部17は、安全確認判定部16の判定結果に応じて、所定のメッセージをディスプレイ24に出力させる。   Returning to FIG. 1 again, the confirmation object position detection unit 15 detects the position of the safety confirmation object in the grid area based on the image data acquired from the outside camera 23, and outputs it to the safety confirmation determination unit 16. The safety confirmation object is, for example, a pedestrian, a bicycle, a sign, or the like. When the position of the safety confirmation object detected by the confirmation object position detection unit 15 is within a predetermined distance of the own vehicle, the safety confirmation determination unit 16 calculates the accumulation calculated by the accumulated visibility distribution calculation unit 14. Based on the visibility distribution, it is determined whether or not the driver has performed sufficient safety confirmation, and the determination result is output to the message output unit 17. The message output unit 17 causes the display 24 to output a predetermined message according to the determination result of the safety confirmation determination unit 16.

図5は安全確認判定部16による判定の例を説明するための図である。図5においては、安全確認対象物Oが、自車位置から約50メートルに位置する時点における累積視認度分布が示されており、黒塗りの部分は視認度が0であり、白くなるほど視認度が高いことを意味する。本実施の形態において、安全確認判定部16は、安全確認対象物Oの位置における視認度が所定の閾値以下である場合に、安全確認が不十分であると判定し、メッセージ出力部17は警告メッセージを出力する。図5において、安全確認対象物Oの位置における視認度は0.3であるため、閾値が0.5に設定されている場合には、警告メッセージがディスプレイ24に表示される。   FIG. 5 is a diagram for explaining an example of determination by the safety confirmation determination unit 16. In FIG. 5, the cumulative visibility distribution at the time when the safety confirmation object O is located about 50 meters from the own vehicle position is shown. Means high. In the present embodiment, the safety confirmation determination unit 16 determines that the safety confirmation is insufficient when the visibility at the position of the safety confirmation object O is equal to or less than a predetermined threshold, and the message output unit 17 warns. Output a message. In FIG. 5, since the visibility at the position of the safety confirmation object O is 0.3, a warning message is displayed on the display 24 when the threshold is set to 0.5.

次に、図6を参照して、本実施の形態における運転支援装置1の動作について説明する。運転支援装置1は、まず、瞬時視認度分布用のグリッド領域と、累積視認度分布用のグリッド領域を設定する(ステップS1)。ここで設定される瞬時視認度分布用のグリッド領域と累積視認度分布用のグリッド領域は同一である。瞬時視認度用グリッド領域において、X軸と平行なグリッド線と、Y軸と平行なグリッド線との交点であるグリッド点のそれぞれには、瞬時視認度の初期値として0が割り当てられている。累積視認度分布用グリッド領域の各グリッド点にも、累積視認度の初期値として0が割り当てられている。   Next, with reference to FIG. 6, operation | movement of the driving assistance apparatus 1 in this Embodiment is demonstrated. The driving support device 1 first sets a grid area for instantaneous visibility distribution and a grid area for cumulative visibility distribution (step S1). The grid area for instantaneous visibility distribution and the grid area for cumulative visibility distribution set here are the same. In the instantaneous visibility grid area, 0 is assigned as an initial value of the instantaneous visibility to each grid point that is an intersection of a grid line parallel to the X axis and a grid line parallel to the Y axis. 0 is assigned to each grid point of the cumulative visibility distribution grid area as an initial value of the cumulative visibility.

運転支援装置1は、次に、ドライバーの視線方向を検出し、また、車両の走行情報を取得して(ステップS2)、視線方向と車両の走行情報に基づいて、瞬時視認度分布及び累積視認度分布を算出し、グリッド領域の各点に瞬時視認度及び累積視認度を割り当てる(ステップS3)。なお、視線方向の検出は、100ミリ秒ごとに繰り返し行われ、これに応じて、瞬時視認度分布の算出及び累積視認度分布の算出も100ミリ秒ごとに繰り返し行われる。   Next, the driving assistance device 1 detects the driver's line-of-sight direction, acquires vehicle travel information (step S2), and based on the line-of-sight direction and the vehicle travel information, instantaneous visibility distribution and cumulative visual recognition are obtained. The degree distribution is calculated, and the instantaneous visibility and the cumulative visibility are assigned to each point in the grid area (step S3). Note that the detection of the line-of-sight direction is repeated every 100 milliseconds, and accordingly, the calculation of the instantaneous visibility distribution and the calculation of the cumulative visibility distribution are also repeated every 100 milliseconds.

運転支援装置1は、グリッド領域内の所定範囲内(車両位置から所定距離内)に所定の安全確認対象物を検出すると(ステップS4にてYes)、その時の累積視認度分布において、安全確認対象物の位置に対応する累積視認度が、所定の閾値以下であるか否かを判断する(ステップS5)。その結果、累積視認度が所定の閾値以下であった場合には(ステップS5にてYes)、ドライバーの安全確認が不十分であるとして、警告メッセージを表示する(ステップS6)。運転支援装置1は、以上の処理を運転が終了したと判断されるまで(ステップS7にてYes)繰り返す。   When the driving assistance apparatus 1 detects a predetermined safety confirmation object within a predetermined range (within a predetermined distance from the vehicle position) in the grid area (Yes in step S4), the driving support apparatus 1 determines the safety confirmation object in the cumulative visibility distribution at that time. It is determined whether or not the cumulative visibility corresponding to the position of the object is equal to or less than a predetermined threshold (step S5). As a result, when the cumulative visibility is equal to or less than the predetermined threshold value (Yes in step S5), a warning message is displayed on the assumption that the driver's safety confirmation is insufficient (step S6). The driving assistance device 1 repeats the above processing until it is determined that the driving is finished (Yes in step S7).

以上説明したように、本実施の形態の安全確認判定装置10によれば、ドライバーの視線方向を検出し、該視線方向に基づいて、視線方向検出時(例えば、時刻t)のグリッド領域における瞬時視認度分布を算出する。そして、時刻tの直前に視線方向が検出された時点(時刻t−100ミリ秒)までの瞬時視認度を累積した累積視認度分布に、時刻tにおける瞬時視認度分布を加算して、累積視認度分布を更新し、時刻tにおける累積視認度分布とする。その際、時刻t−100ミリ秒までの累積視認度分布が、時刻tにおけるグリッド領域に対応するように、時刻t−100ミリ秒までの累積視認度分布を、走行情報に基づいて移動及び/または回転させる。したがって、種々の走行場所及び状況において、過去の視認範囲及び程度を反映させ、ドライバーが安全確認を行ったか否かを精度よく判定することができる。   As described above, according to the safety confirmation determination device 10 of the present embodiment, the gaze direction of the driver is detected, and based on the gaze direction, the instantaneous in the grid area at the time of gaze direction detection (for example, time t). The visibility distribution is calculated. Then, the instantaneous visibility distribution at the time t is added to the cumulative visibility distribution obtained by accumulating the instantaneous visibility until the time when the line-of-sight direction is detected immediately before the time t (time t−100 milliseconds). The degree distribution is updated to be the cumulative visibility distribution at time t. At this time, the cumulative visibility distribution up to time t-100 milliseconds is moved and / or moved based on the travel information so that the cumulative visibility distribution up to time t-100 milliseconds corresponds to the grid area at time t. Or rotate. Therefore, it is possible to accurately determine whether or not the driver has confirmed the safety by reflecting the past viewing range and degree in various travel locations and situations.

なお、上記の実施の形態においては、グリッド領域が200メートル×200メートルの大きさで、グリッド線の間隔が2メートルである場合について説明したが、グリッド領域の大きさやグリッド線の間隔等は、これに限られない。また、瞬時視認度領域分布及び累積視認度分布を求める領域は、極座標系等の他の座標系を用いて表現してもよいし、3次元座標系を用いてもよい。   In the above embodiment, the case where the grid area is 200 meters × 200 meters in size and the grid line interval is 2 meters has been described. However, the grid area size, the grid line interval, etc. It is not limited to this. Moreover, the area | region which calculates | requires instantaneous visibility area | region distribution and cumulative visibility distribution may be expressed using other coordinate systems, such as a polar coordinate system, and may use a three-dimensional coordinate system.

また、上記の実施の形態では、瞬時視認度を、指数関数により算出したが、例えば、偏位角の増加に従い、線形に瞬時視認度が減少するような式を用いてもよい。上記の実施の形態の瞬時視認度の算出式を用いる場合、ドライバーの属性情報(年齢、視力等)や、連続走行時間等に基づくドライバーの疲労度に応じて、瞬時視認度の最大値Mや崩壊定数λの値を調整してもよい。また、雨天時や夜間、道路混雑時は、見通しが悪くなったり、視野が狭くなったりすると考えられる。そこで、ワイパやヘッドライト等の動作状況を走行情報として取得し、あるいは、車外カメラの画像データやカーラジオの交通情報等により道路混雑状況情報を取得して、最大値Mや崩壊定数λを調整してもよい。   In the above embodiment, the instantaneous visibility is calculated by an exponential function. However, for example, an expression that linearly decreases the instantaneous visibility as the deviation angle increases may be used. When using the formula for calculating the instantaneous visibility of the above embodiment, the maximum value M of the instantaneous visibility is determined according to the driver's attribute information (age, visual acuity, etc.), the driver's fatigue based on the continuous running time, etc. The value of the decay constant λ may be adjusted. In addition, when it rains, at night, or when the road is congested, it is thought that the line of sight is poor and the field of view is narrowed. Therefore, the operation status of wipers, headlights, etc. is acquired as travel information, or the road congestion status information is acquired from image data of the camera outside the car or traffic information of the car radio, and the maximum value M and the decay constant λ are adjusted May be.

さらに、ドライバーの視線の移動速度が60°/秒以上である場合には、いわゆるサッカード抑制が生じていると考えられるため、上記の実施の形態において、グリッド領域内の瞬時視認度を全て0としてもよい。ドライバーが瞬き中と判断された場合も、同様に瞬時視認度を0としてよい。加えて、車両からの距離が大きくなるほど、瞬時視認度が減少するようにしてもよく、一定距離以上の瞬時視認度を0としてもよい。また、車外カメラ以外にもレーザレーダ等により歩行者等の安全確認対象物を検出してもよく、これらのセンサが対象物を検出できない範囲は、瞬時視認度を設定しなくてよい。   Further, when the movement speed of the driver's line of sight is 60 ° / second or more, it is considered that so-called saccade suppression occurs. Therefore, in the above embodiment, the instantaneous visibility in the grid area is all 0. It is good. When the driver is determined to be blinking, the instantaneous visibility may be set to 0 similarly. In addition, the instantaneous visibility may decrease as the distance from the vehicle increases, and the instantaneous visibility over a certain distance may be set to zero. In addition to the camera outside the vehicle, a safety confirmation target such as a pedestrian may be detected by a laser radar or the like, and the instantaneous visibility may not be set in a range where these sensors cannot detect the target.

また、上記の実施の形態では、時刻tにおける累積視認度分布を、時刻t−100における累積視認度を用いて算出する場合について説明したが、時刻t−100、t−200・・・における各瞬時視認度を、それぞれ、時刻tまでの移動量及び回転角度に応じて変換して、時刻tにおける瞬時視認度に重ね合わせて算出してもよい。その際、減衰係数を複数用意し、時間経過に従って瞬時視認度分布が縮小するようにしてもよい。なお、上記の実施の形態では、ドライバーの視線方向の検出、瞬時視認度分布・累積視認度分布の算出を、100ミリ秒ごとに行う場合について説明したが、他の時間間隔であってもよく、また、これらは相互に異なる時間間隔で行われてもよいことはもちろんである。   Further, in the above embodiment, the case where the cumulative visibility distribution at time t is calculated using the cumulative visibility at time t-100 has been described. However, each of the times t-100, t-200. The instantaneous visibility may be converted according to the movement amount and the rotation angle up to time t, and may be calculated by superimposing on the instantaneous visibility at time t. At that time, a plurality of attenuation coefficients may be prepared, and the instantaneous visibility distribution may be reduced as time passes. In the above embodiment, the case where the gaze direction of the driver is detected and the instantaneous visibility distribution / cumulative visibility distribution is calculated every 100 milliseconds has been described. However, other time intervals may be used. Of course, these may be performed at different time intervals.

さらに、上記の実施の形態では、安全確認対象物の位置に対応付けられた累積視認度が所定の閾値以下である場合に警告メッセージを出力する場合について説明したが、閾値は固定値でなくてもよく、安全確認が不十分と判定される頻度に応じて、増減されてもよい。これにより、頻繁な注意喚起によりドライバーの集中力を阻害することなく、適度にメッセージ出力を行うことができる。また、安全確認対象物の存否によらず、累積視認度が所定の閾値以下となった領域や方向に、ドライバーが注意を向けるようなメッセージを出力してもよい。   Furthermore, in the above embodiment, a case has been described in which a warning message is output when the cumulative visibility associated with the position of the safety confirmation object is equal to or less than a predetermined threshold. However, the threshold is not a fixed value. The frequency may be increased or decreased according to the frequency at which the safety confirmation is determined to be insufficient. Accordingly, it is possible to output a message moderately without disturbing the driver's concentration by frequent alerting. Further, a message that causes the driver to pay attention to an area or direction in which the cumulative visibility is equal to or less than a predetermined threshold value may be output regardless of the presence or absence of the safety confirmation target object.

また、上記の実施形態において、累積視認度が所定の閾値以下となる時間にも閾値を設定し、累積視認度が連続して所定時間以上閾値以下となった場合に、メッセージを出力してもよい。あるいは、閾値に加えて、走行速度やTTC(衝突余裕時間)、歩行者の存否等を加味した上で、メッセージ出力を行ってもよい。さらに、警告メッセージは音声出力されてもよく、アラーム音等が出力されてもよい。このような注意喚起に代えて、またはこれとともに、ブレーキ制御や運転診断等、種々の運転支援を行ってもよい。   In the above embodiment, a threshold is also set for a time when the cumulative visibility is equal to or less than the predetermined threshold, and a message is output when the cumulative visibility is continuously equal to or lower than the threshold for a predetermined time or more. Good. Alternatively, in addition to the threshold value, the message output may be performed in consideration of the traveling speed, TTC (collision allowance time), the presence or absence of a pedestrian, and the like. Further, the warning message may be output by voice, or an alarm sound or the like may be output. Various driving assistances such as brake control and driving diagnosis may be performed instead of or together with such alerting.

[第2の実施の形態]
次に、本発明の第2の実施の形態の安全確認判定装置及び運転支援装置について、図面を参照しながら説明する。第1の実施の形態の運転支援装置1は、車外カメラにて検出した安全確認対象物の位置における累積視認度に基づいて、安全確認判定を行った。これに対して、第2の実施の形態の運転支援装置2は、地図データと車両位置データとに基づいて、交差点等の所定の場所に車両が進入した場合に、歩行者等の安全確認対象物の移動範囲を推定し、該推定移動範囲における累積視認度に基づいて安全確認判定を行う。
[Second Embodiment]
Next, a safety confirmation determination device and a driving support device according to a second embodiment of the present invention will be described with reference to the drawings. The driving support device 1 according to the first embodiment performs the safety confirmation determination based on the cumulative visibility at the position of the safety confirmation object detected by the camera outside the vehicle. On the other hand, the driving support device 2 according to the second embodiment is based on the map data and the vehicle position data, and when a vehicle enters a predetermined place such as an intersection, a safety confirmation target for a pedestrian or the like. The movement range of the object is estimated, and safety confirmation determination is performed based on the cumulative visibility in the estimated movement range.

図7は、第2の実施の形態の運転支援装置2の構成を示すブロック図である。図7に示すように、第2の実施の形態における運転支援装置2は、確認対象物位置検出部15に代えて、地図データ取得部18と、確認対象物移動範囲推定部19とを備え、また、車外カメラ23に代えて、カーナビ装置25と、GPS装置26と、地図データベース27とを備える。カーナビ装置25は、車両の経路情報を走行情報取得部13に出力する。GPS装置26は、車両の位置データを走行情報取得部13に出力する。地図データベース27は、地図データを地図データ取得部18に出力する。走行情報取得部13は、車両の経路情報及び車両の位置データを確認対象物移動範囲推定部19に出力する。地図データ取得部18は、地図データを確認対象物移動範囲推定部19に出力する。   FIG. 7 is a block diagram illustrating a configuration of the driving support apparatus 2 according to the second embodiment. As shown in FIG. 7, the driving support device 2 according to the second embodiment includes a map data acquisition unit 18 and a confirmation object movement range estimation unit 19 instead of the confirmation object position detection unit 15. Further, a car navigation device 25, a GPS device 26, and a map database 27 are provided instead of the outside camera 23. The car navigation device 25 outputs the vehicle route information to the travel information acquisition unit 13. The GPS device 26 outputs vehicle position data to the travel information acquisition unit 13. The map database 27 outputs the map data to the map data acquisition unit 18. The travel information acquisition unit 13 outputs the vehicle route information and the vehicle position data to the confirmation object movement range estimation unit 19. The map data acquisition unit 18 outputs the map data to the confirmation object movement range estimation unit 19.

確認対象物移動範囲推定部19は、車両の位置データと地図データとに基づいて、車両が交差点や横断歩道等の所定場所に、所定距離以下に近づいた場合、経路情報と地図データとに基づいて、車両と衝突する可能性のある移動体を安全確認対象物として設定し、該確認対象物の移動範囲を推定する。例えば、車両が交差点を右折する場合、歩行者が確認対象物として設定される。確認対象物移動範囲推定部19は、車両が当該対象物の所定の動線上に到達するまでの間に、当該対象物が移動する可能性のある範囲を算出する。そして、絶対座標を用いて表現される対象物移動範囲を、グリッド領域と同じ相対座標系に変換して、安全確認判定部16に出力する。安全確認判定部16は、累積視認度分布算出部14にて算出された累積視認度分布に基づいて、安全確認対象物の推定移動範囲に、所定の閾値以下の累積視認度値が含まれている場合には、安全確認が不十分であると判定して、判定結果を表示制御部17に出力する。   Based on the position data of the vehicle and the map data, the confirmation object moving range estimation unit 19 is based on the route information and the map data when the vehicle approaches a predetermined location such as an intersection or a pedestrian crossing below a predetermined distance. Thus, a mobile object that may collide with the vehicle is set as a safety confirmation object, and the movement range of the confirmation object is estimated. For example, when the vehicle turns right at an intersection, a pedestrian is set as the confirmation target. The confirmation target movement range estimation unit 19 calculates a range in which the target object may move before the vehicle reaches a predetermined flow line of the target object. Then, the object movement range expressed using absolute coordinates is converted into the same relative coordinate system as that of the grid area, and is output to the safety confirmation determination unit 16. Based on the cumulative visibility distribution calculated by the cumulative visibility distribution calculation unit 14, the safety confirmation determination unit 16 includes a cumulative visibility value equal to or less than a predetermined threshold in the estimated movement range of the safety confirmation object. If it is determined that the safety confirmation is insufficient, the determination result is output to the display control unit 17.

次に、図8を参照して、確認対象物移動範囲推定部19による、対象物推定移動範囲の算出の一例を説明する。この例では、片側一車線道路の中央を走行する車両が、経路上、交差点を右折する予定であり、歩行者が確認対象物となっている。図8に示すように、絶対座標系において、交差点の中心位置(x0、y0)、車両位置(x1、y1)とすると、車両から交差点中心位置までの距離D1[m]は、
となる。なお、Cは変換定数である。また、道路の幅員をD2[m]、北向きを0[度]、東向きを90[度]としたときの車両の進行方向θは、次式により求められる。
Next, an example of calculation of the object estimated movement range by the confirmation object movement range estimation unit 19 will be described with reference to FIG. In this example, a vehicle traveling in the center of a one-lane road is scheduled to turn right at an intersection on the route, and a pedestrian is the object to be confirmed. As shown in FIG. 8, in the absolute coordinate system, assuming that the intersection center position (x 0 , y 0 ) and the vehicle position (x 1 , y 1 ), the distance D 1 [m] from the vehicle to the intersection center position is ,
It becomes. C is a conversion constant. Further, the vehicle traveling direction θ when the road width is D 2 [m], the north direction is 0 [degrees], and the east direction is 90 [degrees] is obtained by the following equation.

そして、車両の動線Pcと歩行者の所定の動線Phとの交点(x2、y2)までの、道路A方向の成分D3[m]は、
となるから、交差点中心位置から見た交点の位置(x2、y2)は、
となる。
The intersection of the predetermined flow line P h of the pedestrian and the flow line P c of the vehicle up to (x 2, y 2), the road A direction component D3 [m] is
Therefore, the position of the intersection (x 2 , y 2 ) viewed from the intersection center position is
It becomes.

図8に示すように、車両は、交差点までは等速直線運動をし、交差点内では等速で円弧に沿って走行すると仮定すると、交差点進入までの走行距離[m]は、
となり、交差点までの走行距離[m]は、
であるから、車両の速度をV[m/s]とすると、
衝突余裕時間(TTC)は、
となる。
As shown in FIG. 8, assuming that the vehicle moves linearly at a constant speed up to an intersection and travels along an arc at a constant speed within the intersection, the travel distance [m] to the intersection approach is
The mileage [m] to the intersection is
Therefore, when the vehicle speed is V [m / s],
The collision allowance time (TTC) is
It becomes.

車両は、歩行者が衝突余裕時間内に移動可能な範囲において歩行者と衝突する危険性がある。そこで、本実施の形態において、確認対象物移動範囲推定部19は、衝突時間内に対象物が移動可能な範囲を推定し、これをドライバーが安全確認を行うべき範囲とする。歩行者の移動速度をV0[m/s]とすると、歩行者が衝突余裕時間内に移動する距離は、V0×TTC[m]となる。したがって、歩行者が衝突余裕時間内に移動可能な範囲の遠端位置(x3、y3)は、
となる。同様に、歩行者が衝突余裕時間内に移動可能な範囲の近端位置(x4、y4)は、
となる。遠端位置と近端位置を結ぶ動線上の範囲が、推定される確認対象物移動範囲となる。
The vehicle has a risk of colliding with the pedestrian within a range in which the pedestrian can move within the collision margin time. Therefore, in the present embodiment, the confirmation object movement range estimation unit 19 estimates a range in which the object can move within the collision time, and sets this as a range in which the driver should perform safety confirmation. When the moving speed of the pedestrian is V 0 [m / s], the distance that the pedestrian moves within the collision margin time is V 0 × TTC [m]. Therefore, the far end position (x 3 , y 3 ) of the range in which the pedestrian can move within the collision margin time is
It becomes. Similarly, the near end position (x 4 , y 4 ) of the range in which the pedestrian can move within the collision margin time is
It becomes. The range on the flow line connecting the far end position and the near end position becomes the estimated confirmation object movement range.

次に、図9を参照して、第2の実施の形態における運転支援装置2の動作フローを説明する。運転支援装置2は、まず、グリッド領域の設定を行う(ステップS21)。このグリッド領域の設定は、第1の実施の形態におけるグリッド領域と同様である。次に、運転支援装置2は、地図データを取得する(ステップS22)。また、運転支援装置2は、視線方向の検出及び走行情報の取得(ステップS23)を行う。ただし、第2の実施の形態の運転支援装置2は、走行情報として、車両の位置情報及び経路情報も取得する。そして、運転支援装置2は、瞬時視認度分布の算出及び累積視認度分布の算出(ステップS24)を行う。瞬時視認度分布及び累積視認度分布の算出は、第1の実施の形態の運転支援装置1と同様に行う。   Next, with reference to FIG. 9, the operation | movement flow of the driving assistance device 2 in 2nd Embodiment is demonstrated. The driving support device 2 first sets a grid area (step S21). The setting of the grid area is the same as that of the grid area in the first embodiment. Next, the driving assistance apparatus 2 acquires map data (step S22). In addition, the driving support device 2 detects the line-of-sight direction and acquires travel information (step S23). However, the driving support device 2 according to the second embodiment also acquires vehicle position information and route information as travel information. Then, the driving support device 2 calculates the instantaneous visibility distribution and the cumulative visibility distribution (step S24). The instantaneous visibility distribution and the cumulative visibility distribution are calculated in the same manner as the driving support device 1 of the first embodiment.

次に、運転支援装置2は、安全確認対象物の移動範囲の推定を行うと判断した場合(ステップS25にてYes)には、安全確認対象物を設定する(ステップS26)。第2の実施の形態において、運転支援装置2は、ステップS22にて取得した地図データと、ステップS23にて取得した走行情報に含まれる位置情報、経路情報に基づいて、車両が交差点や横断歩道等の所定の場所に、所定距離以下に近づいた場合に、安全確認対象物の移動範囲の推定を開始すると判断する。また、ステップS26においては、ステップS22にて取得した地図データと、ステップS23にて取得した経路情報に基づいて、安全確認対象物を設定する。   Next, when it is judged that the driving assistance apparatus 2 estimates the movement range of a safety confirmation target object (Yes in step S25), a safety confirmation target object is set (step S26). In the second embodiment, the driving support device 2 determines that the vehicle is an intersection or a pedestrian crossing based on the map data acquired in step S22 and the position information and route information included in the travel information acquired in step S23. It is determined that the estimation of the movement range of the safety confirmation target is started when the predetermined distance such as the distance is approached below the predetermined distance. In step S26, a safety confirmation object is set based on the map data acquired in step S22 and the route information acquired in step S23.

続いて、設定した安全確認対象物の移動範囲を推定する(ステップS27)。そして、ステップS27にて推定された確認対象物の移動範囲に、所定の閾値以下の累積視認度値が含まれている場合(ステップS28にてYes)には、安全確認が不十分であると判定して、所定の警告メッセージを出力する(ステップS29)。以上の処理は運転終了と判断されるまで(ステップS30にてYes)繰り返される。   Subsequently, the movement range of the set safety confirmation object is estimated (step S27). And when the cumulative visibility value below a predetermined threshold is included in the movement range of the confirmation object estimated in Step S27 (Yes in Step S28), the safety confirmation is insufficient. Determination is made and a predetermined warning message is output (step S29). The above process is repeated until it is determined that the operation is finished (Yes in step S30).

以上説明したように、第2の実施の形態の安全確認判定装置によれば、地図データと車両位置データとに基づいて、交差点等の所定の安全確認が必要な場所に車両が進入した場合に、歩行者等の安全確認対象の移動範囲を車両速度データ等を用いて推定し、推定移動範囲における累積視認度値に基づいて安全確認判定が行われる。すなわち、車両の走行状態等に応じて、ドライバーが確認すべき範囲を適切に設定することができるので、さらに精度よく安全確認判定を行うことができる。   As described above, according to the safety confirmation determination device of the second embodiment, when a vehicle enters a place where a predetermined safety confirmation such as an intersection is required based on the map data and the vehicle position data. The movement range of a safety confirmation target such as a pedestrian is estimated using vehicle speed data and the safety confirmation determination is performed based on the cumulative visibility value in the estimated movement range. That is, since the range to be confirmed by the driver can be appropriately set according to the traveling state of the vehicle and the like, the safety confirmation determination can be performed with higher accuracy.

なお、第2の実施の形態においては、地図データから交差点位置等、安全確認対象場所を特定する場合について説明したが、予めナビゲーション装置に記憶されたデータを用いてもよいし、車外カメラの画像データに基づいて、交差点等を特定してもよい。あるいは、インターネットを通じてこれらの情報を随時取得してもよい。また、第2の実施の形態では、ナビゲーション装置から経路情報を取得したが、ウィンカの制御情報から、右/左折、直進情報を取得してもよい。さらに、第2の実施の形態において、地図データや車外カメラからの画像データに基づいて、道路以外の範囲には、瞬時視認度を設定しなくてよい。これは、道路以外の範囲には、樹木や建物等によって、見通しが悪くなっている可能性を考慮し、誤判定を防ぐためである。   In the second embodiment, a case has been described in which a location for safety confirmation such as an intersection position is specified from map data. However, data stored in advance in a navigation device may be used, or an image of an outside camera may be used. An intersection or the like may be specified based on the data. Or you may acquire such information at any time through the internet. In the second embodiment, the route information is acquired from the navigation device. However, right / left turn and straight travel information may be acquired from the control information of the winker. Furthermore, in the second embodiment, the instantaneous visibility need not be set in a range other than the road based on the map data and the image data from the camera outside the vehicle. This is to prevent misjudgment in consideration of the possibility that the outlook is worse due to trees, buildings, etc. outside the road.

また、上記の実施の形態では、確認対象物の推定移動範囲を算出する一例を説明したが、確認対象物の移動範囲の推定手法は、これに限られない。例えば、交差点との位置関係に応じて異なる算出式を用いてもよいし、車速データを用いずに、交差点位置と車両の位置データに基づいて算出してもよい。さらに、交差点等、確認対象場所ごとに所定範囲が設定されていてもよい。また、上記の実施の形態において、衝突余裕時間(TTC)を算出する時、車両の走行速度として、最低速度値を設定してもよい。これにより、停止から発進する場合も考慮され、精度よく確認対象物の推定移動範囲を算出することができる。   In the above embodiment, an example of calculating the estimated movement range of the confirmation target has been described. However, the estimation method of the movement range of the confirmation target is not limited to this. For example, a different calculation formula may be used according to the positional relationship with the intersection, or the calculation may be performed based on the intersection position and the vehicle position data without using the vehicle speed data. Further, a predetermined range may be set for each confirmation target place such as an intersection. In the above embodiment, when calculating the collision allowance time (TTC), a minimum speed value may be set as the traveling speed of the vehicle. Thereby, the case of starting from a stop is taken into consideration, and the estimated movement range of the confirmation target can be calculated with high accuracy.

本発明は、種々の走行場所及び状況において、精度よくドライバーが安全確認を行ったか否かを判定することのできるという効果を有し、安全確認装置等として有用である。   INDUSTRIAL APPLICABILITY The present invention has an effect that it is possible to accurately determine whether or not a driver has confirmed safety in various traveling places and situations, and is useful as a safety confirmation device or the like.

1、2 運転支援装置
10 安全確認判定装置
11 視線方向検出部
12 瞬時視認度分布算出部
13 走行情報取得部
14 累積視認度分布算出部
15 確認対象物位置検出部
16 安全確認判定部
17 表示制御部
18 地図データ取得部
19 確認対象物移動範囲推定部
20 ドライバーカメラ
21 走行速度検出部
22 舵角検出部
23 車外カメラ
24 ディスプレイ
25 カーナビ装置
26 GPS装置
27 地図データベース
DESCRIPTION OF SYMBOLS 1, 2 Driving assistance apparatus 10 Safety confirmation determination apparatus 11 Gaze direction detection part 12 Instantaneous visibility distribution calculation part 13 Travel information acquisition part 14 Cumulative visibility distribution calculation part 15 Confirmation object position detection part 16 Safety confirmation determination part 17 Display control Unit 18 Map data acquisition unit 19 Check target object movement range estimation unit 20 Driver camera 21 Traveling speed detection unit 22 Steering angle detection unit 23 Outside camera 24 Display 25 Car navigation device 26 GPS device 27 Map database

Claims (9)

走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出部と、
前記視線方向検出部にて検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出部と、
前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得部と、
前記瞬時視認度分布算出部にて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出部と、
前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定部と、
を備え
前記走行情報取得部は、前記車両の走行予定経路に関する情報をさらに取得し、
前記走行情報に基づいて、前記車両が、移動体である安全確認対象物の所定の動線上に到達するまでの前記安全確認対象物の推定移動範囲を算出する確認対象物移動範囲推定部をさらに備え、
前記安全確認判定部は、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の推定移動範囲と、前記累積視認度分布とに基づいて安全確認判定を行う、安全確認判定装置。
A line-of-sight direction detection unit that detects a line-of-sight direction of the driver in a predetermined area of a relative coordinate system with the position of the vehicle being traveled as an origin using a predetermined detection device;
An instantaneous visibility distribution calculating unit that calculates a distribution in the predetermined region of the visibility that varies depending on the angle from the line of sight as the instantaneous visibility distribution based on the driver's gaze direction detected by the gaze direction detection unit. When,
A travel information acquisition unit that acquires travel information including information on the movement amount and rotation angle of the vehicle;
The plurality of instantaneous visibility distributions obtained by the instantaneous visibility distribution calculating unit are coordinate-converted based on the travel information, and correspond to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions. A cumulative visibility distribution calculating unit that calculates a cumulative visibility distribution by accumulating within the predetermined area;
Based on the cumulative visibility distribution, a safety confirmation determination unit that determines whether the driver has sufficiently performed safety confirmation;
Equipped with a,
The travel information acquisition unit further acquires information on a planned travel route of the vehicle,
A confirmation object movement range estimation unit that calculates an estimated movement range of the safety confirmation object until the vehicle reaches a predetermined flow line of the safety confirmation object that is a moving body based on the travel information; Prepared,
The safety confirmation determination unit performs safety confirmation determination based on the estimated movement range of the safety confirmation object in the region corresponding to the one instantaneous visibility distribution and the cumulative visibility distribution. Judgment device.
前記累積視認度分布算出部は、前記瞬時視認度分布が算出された第1の時点より前記所定時間前の第2の時点における前記累積視認度分布を、前記第2の時点から前記第1の時点までの車両の移動量及び回転角度に応じて移動及び/または回転させて、前記第1の時点における前記領域内で前記第1の時点における瞬時視認度分布に重ねることにより、前記第1の時点における累積視認度分布を算出する請求項1に記載の安全確認判定装置。   The cumulative visibility distribution calculator calculates the cumulative visibility distribution at a second time point a predetermined time before the first time point when the instantaneous visibility distribution is calculated, from the second time point to the first time point. By moving and / or rotating according to the movement amount and rotation angle of the vehicle up to the time point, and superimposing on the instantaneous visibility distribution at the first time point in the region at the first time point, The safety confirmation determination device according to claim 1, wherein a cumulative visibility distribution at a time point is calculated. 前記瞬時視認度分布においては、前記視線方向からの角度が大きくなるほど、視認度が小さくなる請求項1または2に記載の安全確認判定装置。   3. The safety confirmation determination device according to claim 1, wherein in the instantaneous visibility distribution, the visibility decreases as the angle from the line-of-sight direction increases. 前記累積視認度分布算出部は、前記1つの瞬時視認度分布以外の他の瞬時視認度分布における視認度を減少させて、前記1つの瞬時視認度分布と重ねる請求項1から3のいずれかに記載の安全確認判定装置。   4. The cumulative visibility distribution calculation unit according to claim 1, wherein the cumulative visibility distribution calculation unit decreases the visibility in the instantaneous visibility distribution other than the one instantaneous visibility distribution and overlaps the one instantaneous visibility distribution. The safety confirmation judging device described. 前記瞬時視認度は、前記視線方向からの角度をパラメータとする指数関数により算出され、
前記累積視認度分布算出部は、前記他の瞬時視認度分布における視認度に減衰係数を乗じることにより、前記他の瞬時視認度分布における視認度を減少させる請求項4に記載の安全確認判定装置。
The instantaneous visibility is calculated by an exponential function having an angle from the line-of-sight direction as a parameter,
The safety confirmation determination device according to claim 4, wherein the cumulative visibility distribution calculation unit reduces the visibility in the other instantaneous visibility distribution by multiplying the visibility in the other instantaneous visibility distribution by an attenuation coefficient. .
所定の安全確認対象物を検出する所定のセンサをさらに備え、
前記安全確認判定部は、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の位置と、前記累積視認度分布とに基づいて安全確認判定を行う、請求項1から5のいずれかに記載の安全確認判定装置。
A predetermined sensor for detecting a predetermined safety confirmation object;
The safety confirmation determination unit performs safety confirmation determination based on the position of the safety confirmation object in the region corresponding to the one instantaneous visibility distribution and the cumulative visibility distribution. The safety confirmation determination device according to any one of 5.
走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出ステップと、  A line-of-sight direction detection step of detecting a line-of-sight direction of the driver in a predetermined area of a relative coordinate system with the position of the vehicle being traveled as an origin at a predetermined time using a predetermined detection device;
検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出ステップと、  Based on the detected driver's line-of-sight direction, an instantaneous visibility distribution calculating step for calculating a distribution in the predetermined area of the visibility different depending on the angle from the line-of-sight direction as an instantaneous visibility distribution;
前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得ステップと、  A travel information acquisition step for acquiring travel information including information on the movement amount and rotation angle of the vehicle;
前記瞬時視認度分布算出ステップにて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出ステップと、  The plurality of instantaneous visibility distributions obtained in the instantaneous visibility distribution calculating step are subjected to coordinate conversion based on the travel information, and correspond to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions. A cumulative visibility distribution calculating step for calculating a cumulative visibility distribution by accumulating within the predetermined area;
前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定ステップと、  A safety confirmation determination step for determining whether the driver has sufficiently confirmed safety based on the cumulative visibility distribution; and
を備え、With
前記走行情報取得ステップでは、前記車両の走行予定経路に関する情報をさらに取得し、  In the travel information acquisition step, further information on a planned travel route of the vehicle is acquired,
前記走行情報に基づいて、前記車両が、移動体である安全確認対象物の所定の動線上に到達するまでの前記安全確認対象物の推定移動範囲を算出する確認対象物移動範囲推定ステップをさらに備え、  A confirmation object movement range estimation step of calculating an estimated movement range of the safety confirmation object until the vehicle reaches a predetermined flow line of the safety confirmation object that is a moving body based on the travel information; Prepared,
前記安全確認判定ステップでは、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の推定移動範囲と、前記累積視認度分布とに基づいて安全確認判定を行う、  In the safety confirmation determination step, safety confirmation determination is performed based on the estimated movement range of the safety confirmation object in the region corresponding to the one instantaneous visibility distribution and the cumulative visibility distribution.
安全確認判定方法。  Safety confirmation judgment method.
コンピュータに、  On the computer,
走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出ステップと、  A line-of-sight direction detection step of detecting a line-of-sight direction of the driver in a predetermined area of a relative coordinate system with the position of the vehicle being traveled as an origin at a predetermined time using a predetermined detection device;
検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出ステップと、  Based on the detected driver's line-of-sight direction, an instantaneous visibility distribution calculating step for calculating a distribution in the predetermined area of the visibility different depending on the angle from the line-of-sight direction as an instantaneous visibility distribution;
前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得ステップと、  A travel information acquisition step for acquiring travel information including information on the movement amount and rotation angle of the vehicle;
前記瞬時視認度分布算出ステップにて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出ステップと、  The plurality of instantaneous visibility distributions obtained in the instantaneous visibility distribution calculating step are subjected to coordinate conversion based on the travel information, and correspond to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions. A cumulative visibility distribution calculating step for calculating a cumulative visibility distribution by accumulating within the predetermined area;
前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定ステップと、  A safety confirmation determination step for determining whether the driver has sufficiently confirmed safety based on the cumulative visibility distribution; and
を実行させ、And execute
前記走行情報取得ステップでは、前記車両の走行予定経路に関する情報をさらに取得し、  In the travel information acquisition step, further information on a planned travel route of the vehicle is acquired,
前記走行情報に基づいて、前記車両が、移動体である安全確認対象物の所定の動線上に到達するまでの前記安全確認対象物の推定移動範囲を算出する確認対象物移動範囲推定ステップをさらに備え、  A confirmation object movement range estimation step of calculating an estimated movement range of the safety confirmation object until the vehicle reaches a predetermined flow line of the safety confirmation object that is a moving body based on the travel information; Prepared,
前記安全確認判定ステップでは、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の推定移動範囲と、前記累積視認度分布とに基づいて安全確認判定を行う、コンピュータプログラム。  In the safety confirmation determination step, a computer program that performs safety confirmation determination based on the estimated movement range of the safety confirmation object within the region corresponding to the one instantaneous visibility distribution and the cumulative visibility distribution .
走行中の車両の位置を原点とする相対座標系の所定領域内におけるドライバーの視線方向を、所定の検出デバイスを用いて所定時間毎に検出する視線方向検出部と、  A line-of-sight direction detection unit that detects a line-of-sight direction of the driver in a predetermined area of a relative coordinate system with the position of the vehicle being traveled as an origin using a predetermined detection device;
前記視線方向検出部にて検出されたドライバーの視線方向に基づいて、前記視線方向からの角度によって異なる視認度の前記所定領域内での分布を瞬時視認度分布として算出する瞬時視認度分布算出部と、  An instantaneous visibility distribution calculating unit that calculates a distribution in the predetermined region of the visibility that varies depending on the angle from the line of sight as the instantaneous visibility distribution based on the driver's gaze direction detected by the gaze direction detection unit. When,
前記車両の移動量及び回転角度に関する情報を含む走行情報を取得する走行情報取得部と、  A travel information acquisition unit that acquires travel information including information on the movement amount and rotation angle of the vehicle;
前記瞬時視認度分布算出部にて求めた複数の前記瞬時視認度分布を、前記走行情報に基づいて座標変換を行い、前記複数の瞬時視認度分布のうちの1つの瞬時視認度分布に対応する前記所定領域内で累積して累積視認度分布を算出する累積視認度分布算出部と、  The plurality of instantaneous visibility distributions obtained by the instantaneous visibility distribution calculating unit are coordinate-converted based on the travel information, and correspond to one instantaneous visibility distribution among the plurality of instantaneous visibility distributions. A cumulative visibility distribution calculating unit that calculates a cumulative visibility distribution by accumulating within the predetermined area;
前記累積視認度分布に基づいて、前記ドライバーが十分に安全確認を行ったか否かを判定する安全確認判定部と、  Based on the cumulative visibility distribution, a safety confirmation determination unit that determines whether the driver has sufficiently performed safety confirmation;
前記安全確認判定部の判定結果に応じて所定のメッセージを出力させるメッセージ出力部と、  A message output unit that outputs a predetermined message according to a determination result of the safety confirmation determination unit;
を備え、With
前記走行情報取得部は、前記車両の走行予定経路に関する情報をさらに取得し、  The travel information acquisition unit further acquires information on a planned travel route of the vehicle,
前記走行情報に基づいて、前記車両が、移動体である安全確認対象物の所定の動線上に到達するまでの前記安全確認対象物の推定移動範囲を算出する確認対象物移動範囲推定部をさらに備え、  A confirmation object movement range estimation unit that calculates an estimated movement range of the safety confirmation object until the vehicle reaches a predetermined flow line of the safety confirmation object that is a moving body based on the travel information; Prepared,
前記安全確認判定部は、前記1つの瞬時視認度分布に対応する前記領域内での前記安全確認対象物の推定移動範囲と、前記累積視認度分布とに基づいて安全確認判定を行う、運転支援装置。  The safety confirmation determination unit performs a driving confirmation determination based on the estimated movement range of the safety confirmation object in the region corresponding to the one instantaneous visibility distribution and the cumulative visibility distribution. apparatus.
JP2014046050A 2014-03-10 2014-03-10 Safety confirmation determination device and driving support device Expired - Fee Related JP6259680B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014046050A JP6259680B2 (en) 2014-03-10 2014-03-10 Safety confirmation determination device and driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014046050A JP6259680B2 (en) 2014-03-10 2014-03-10 Safety confirmation determination device and driving support device

Publications (2)

Publication Number Publication Date
JP2015170249A JP2015170249A (en) 2015-09-28
JP6259680B2 true JP6259680B2 (en) 2018-01-10

Family

ID=54202893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014046050A Expired - Fee Related JP6259680B2 (en) 2014-03-10 2014-03-10 Safety confirmation determination device and driving support device

Country Status (1)

Country Link
JP (1) JP6259680B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416884A (en) * 2016-07-05 2019-03-01 三菱电机株式会社 Identification region estimating device, identification region presumption method and identification region program for estimating

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6486858B2 (en) * 2016-03-29 2019-03-20 株式会社ゼンリンデータコム Navigation device, navigation method, and navigation program
EP3533656A1 (en) * 2018-03-02 2019-09-04 Panasonic Intellectual Property Corporation of America Vehicle travel information processing device and program for avoiding collisions
JP7145792B2 (en) * 2019-03-08 2022-10-03 株式会社デンソーアイティーラボラトリ Oversight detection device, oversight detection method, and program
JP7105985B2 (en) * 2019-03-13 2022-07-25 三菱電機株式会社 Driving support device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259359A (en) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd Apparatus and method for monitoring surrounding of vehicle
US8085140B2 (en) * 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
JP5257514B2 (en) * 2009-05-12 2013-08-07 トヨタ自動車株式会社 Viewing area estimation device and driving support device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416884A (en) * 2016-07-05 2019-03-01 三菱电机株式会社 Identification region estimating device, identification region presumption method and identification region program for estimating
CN109416884B (en) * 2016-07-05 2021-02-19 三菱电机株式会社 Identification region estimation device, identification region estimation method, and identification region estimation program

Also Published As

Publication number Publication date
JP2015170249A (en) 2015-09-28

Similar Documents

Publication Publication Date Title
US11511750B2 (en) Image-based velocity control for a turning vehicle
JP4604103B2 (en) Intersection line-of-sight detection device
WO2018076855A1 (en) Assisting system for vehicle driving on narrow road
JP4722777B2 (en) Obstacle recognition judgment device
JP5410730B2 (en) Automobile external recognition device
US20120185167A1 (en) Road Shape Recognition Device
US10232772B2 (en) Driver assistance system
JP6259680B2 (en) Safety confirmation determination device and driving support device
US10814788B2 (en) Recognized-region estimation device, recognized-region estimation method, and recognized-region estimation program
JP6115429B2 (en) Own vehicle position recognition device
US20240059310A1 (en) Method for controlling drive-through and apparatus for controlling drive-through
JP2020071705A (en) Concentrated state estimation device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171211

R150 Certificate of patent or registration of utility model

Ref document number: 6259680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees