JP5024165B2 - Visual object estimation device - Google Patents

Visual object estimation device Download PDF

Info

Publication number
JP5024165B2
JP5024165B2 JP2008096331A JP2008096331A JP5024165B2 JP 5024165 B2 JP5024165 B2 JP 5024165B2 JP 2008096331 A JP2008096331 A JP 2008096331A JP 2008096331 A JP2008096331 A JP 2008096331A JP 5024165 B2 JP5024165 B2 JP 5024165B2
Authority
JP
Japan
Prior art keywords
visual
driver
candidate
estimation
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008096331A
Other languages
Japanese (ja)
Other versions
JP2009251744A (en
Inventor
正昭 上地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008096331A priority Critical patent/JP5024165B2/en
Publication of JP2009251744A publication Critical patent/JP2009251744A/en
Application granted granted Critical
Publication of JP5024165B2 publication Critical patent/JP5024165B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自車両を運転するドライバが視認している視認物体を推定する視認物体推定装置に関する。   The present invention relates to a visual recognition object estimation device that estimates a visual recognition object viewed by a driver driving a host vehicle.

ドライバの視線方向からドライバが視認する視認物体を検出し、視認物体に応じて警報等によって危険を報知する技術が開発されている。このようなドライバが視認する視認物体を検出する技術として、従来、ドライバの視線ベクトルに基づいて対象物体を検出し、走行安全に役立てる走行安全装置する技術が知られている(たとえば、特許文献1参照)。この技術では、ドライバの視線を撮像した画像からドライバの顔や眼球を検出してドライバの視線ベクトルを算出し、算出した視線ベクトルから視認対象物を特定している。そして、視認対象物の対象位置に応じた運転支援を行うようにしている。
特開2005−284975号公報
A technology has been developed in which a visual object visually recognized by a driver is detected from the line-of-sight direction of the driver and a danger is notified by an alarm or the like according to the visual object. As a technique for detecting such a visual recognition object visually recognized by the driver, conventionally, a technique for detecting a target object based on a driver's line-of-sight vector and using it for driving safety is known (for example, Patent Document 1). reference). In this technique, a driver's face and eyeball are detected from an image obtained by capturing the driver's line of sight, a driver's line of sight vector is calculated, and a visual recognition object is specified from the calculated line of sight vector. And the driving assistance according to the object position of the visual recognition object is performed.
JP 2005-284975 A

しかし、上記特許文献1に開示された走行安全装置では、視線ベクトルを検出する際に検出誤差が生じるため、視線ベクトルには検出誤差に応じた誤差範囲が生じる。このときに、視線ベクトルの誤差範囲内に複数の物体が存在する場合には、それらの物体のうち、ドライバはどの物体を視認しているかを特定するのが困難である。このように、上記特許文献1に開示された走行安全装置では、ドライバが視認する物体の推定、たとえば視認物体が対向車両であるか歩行者であるかを推定することが困難であることから、ドライバが視認する視認物体に応じた運転支援を行うのが困難であるという問題があった。   However, in the travel safety device disclosed in Patent Document 1, since a detection error occurs when detecting the line-of-sight vector, an error range corresponding to the detection error occurs in the line-of-sight vector. At this time, if there are a plurality of objects within the error range of the line-of-sight vector, it is difficult for the driver to identify which object the driver is viewing. As described above, in the travel safety device disclosed in Patent Document 1, it is difficult to estimate the object that the driver visually recognizes, for example, whether the visually recognized object is an oncoming vehicle or a pedestrian. There has been a problem that it is difficult to provide driving support according to the visual recognition object visually recognized by the driver.

そこで、本発明の課題は、ドライバが視認する視認物体を精度よく検出することができる視認物体推定装置を提供することにある。   Therefore, an object of the present invention is to provide a visual object estimation device that can accurately detect a visual object visually recognized by a driver.

上記課題を解決した本発明に係る視認物体推定装置は、ドライバの視線方向を検出する視線方向検出手段と、視線方向に存在する物体を検出する物体検出手段と、物体に関する物体情報を取得する物体情報取得手段と、物体が複数検出された場合に、物体に関する物体情報に基づいて、物体の中からドライバの視認物体を推定する視認物体推定手段と、を備え、視認物体推定手段は、物体の自車両に対する危険度に基づいてドライバの視認物体を推定し、自車両に対する危険度として、視線方向に存在する物体の自車両に対する衝突推定時間を用いており、視線方向検出手段および物体検出手段による検出並びに物体情報取得手段による取得を複数の時刻で行い、複数の時刻における複数の物体に対して、それぞれ推定度合を設定し、複数の時刻のそれぞれにおける複数の物体のそれぞれに対して設定された推定度合に基づいて、ドライバの視認物体を推定することを特徴とする。 The visual object estimation device according to the present invention that has solved the above problems includes a visual line direction detection unit that detects a visual line direction of a driver, an object detection unit that detects an object that exists in the visual line direction, and an object that acquires object information related to the object An information acquisition means; and a visual object estimation means for estimating a driver's visual recognition object from the objects based on object information relating to the object when a plurality of objects are detected . The driver's visual object is estimated based on the degree of danger to the own vehicle, and the estimated collision time of the object existing in the line of sight with respect to the own vehicle is used as the degree of danger to the own vehicle. Detection and acquisition by the object information acquisition means are performed at a plurality of times, and an estimation degree is set for each of a plurality of objects at a plurality of times. Based on the estimated degree set for each of the plurality of objects in each time, and estimates the visual object driver.

本発明に係る視認物体推定装置においては、物体が複数検出された場合に、物体に関する物体情報に基づいて、物体の中からドライバの視認物体を推定している。このため、複数の視認物体が検出されたとしても、各検出物体を考慮してドライバが視認する物体を検出することができる。したがって、ドライバが視認する視認物体を精度よく検出することができる。   In the visual recognition object estimation device according to the present invention, when a plurality of objects are detected, the visual recognition object of the driver is estimated from the objects based on object information related to the objects. For this reason, even if a plurality of visually recognized objects are detected, it is possible to detect an object visually recognized by the driver in consideration of each detected object. Therefore, it is possible to accurately detect a visually recognized object visually recognized by the driver.

通常、自車両のドライバは、自車両に対する危険度が高い物体を視認する傾向が高い。したがって、物体の自車両に対する危険度に基づいてドライバの視認物体を推定することにより、ドライバが視認する視認物体をより精度よく検出することができる。   Usually, the driver of the own vehicle has a high tendency to visually recognize an object having a high degree of danger to the own vehicle. Therefore, the visual recognition object visually recognized by the driver can be detected more accurately by estimating the visual recognition object of the driver based on the degree of danger of the object to the host vehicle.

さらに、自車両に対する危険度として、自車両が、視線方向に存在する物体と自車両との想定衝突位置に到達する時間を用いる態様とすることができる。   Furthermore, it can be set as the aspect which uses the time when the own vehicle reaches | attains the assumption collision position of the object which exists in a gaze direction, and the own vehicle as a danger level with respect to the own vehicle.

これらのように、自車両に対する危険度として、視線方向に存在する物体の自車両に対する衝突推定時間や、自車両が、視線方向に存在する物体と自車両との想定衝突位置に到達するまでの時間を用いるにより、自車両に対する危険度を容易かつ確実に求めることができる。   As described above, as the degree of danger to the own vehicle, the estimated collision time of the object existing in the line-of-sight direction with respect to the own vehicle, or until the own vehicle reaches the assumed collision position between the object existing in the line-of-sight direction and the own vehicle. By using the time, it is possible to easily and reliably determine the risk level for the host vehicle.

また、自車両の走行環境に関する走行環境情報を取得する走行環境情報取得手段をさらに備え、視認物体推定手段は、走行環境と物体の属性からドライバの視認物体を推定する態様とすることができる。   In addition, a travel environment information acquisition unit that acquires travel environment information related to the travel environment of the host vehicle can be further provided, and the visual object estimation unit can estimate the driver's visual object from the travel environment and the object attributes.

自車両の周囲における物体は、その属性によってドライバが視認する傾向にあるものやそうでないものなどの特性を有している。このため、走行環境と物体の属性からドライバの視認物体を推定することによっても、ドライバが視認する視認物体をより精度よく検出することができる。   Objects in the vicinity of the host vehicle have characteristics such as those that tend to be visually recognized by the driver and those that do not. For this reason, the visual recognition object visually recognized by the driver can be detected with higher accuracy by estimating the visual recognition object of the driver from the driving environment and the attribute of the object.

さらに、視認物体推定手段は、物体の検出履歴に基づいて、ドライバの視認物体を推定する態様とすることができる。   Further, the visual object estimation means may be configured to estimate the visual object of the driver based on the object detection history.

走行する自車両では、周囲の景色が時々刻々変化することとなるが、ドライバが視認する視認対象については、ドライバが追い続けていることが多い。したがって、時間が経過しても視認物体の候補としてあがりやすくなる。このため、物体の検出履歴に基づいて、ドライバの視認物体を推定することにより、さらに精度よくドライバが視認する視認物体を検出することができる。   In the traveling vehicle, the surrounding scenery changes every moment, but the driver often keeps track of the visual target that the driver visually recognizes. Therefore, even if time passes, it becomes easy to rise as a candidate for a visual recognition object. For this reason, by estimating the visual recognition object of the driver based on the detection history of the object, the visual recognition object visually recognized by the driver can be detected with higher accuracy.

そして、視認物体推定手段は、自車両の速度が高い場合に、自車両の速度が低い場合と比較して、長期に亘る検出履歴に基づいてドライバの視認物体の推定する態様とすることができる。   And the visual recognition object estimation means can be made into the aspect which estimates the visual recognition object of a driver based on the detection history over a long term compared with the case where the speed of the own vehicle is low when the speed of the own vehicle is high. .

自車両の速度が高い場合には、自車両の速度が低い場合よりも、視認物体を推定する際の時間変化に対する依存度が高くなる。このため、自車両の速度が高い場合には、自車両の速度が低い場合より長期に亘る検出履歴に基づいてドライバの視認物体を推定することにより、さらに精度よくドライバの視認物体を推定することができる。   When the speed of the host vehicle is high, the degree of dependence on the time change when estimating the visually recognized object is higher than when the speed of the host vehicle is low. For this reason, when the speed of the host vehicle is high, the driver's visual object is estimated more accurately by estimating the driver's visual object based on a longer detection history than when the host vehicle speed is low. Can do.

本発明に係る視認物体検出装置によれば、ドライバが視認する視認物体を精度よく検出することができる。   According to the visual recognition object detection device according to the present invention, it is possible to accurately detect the visual recognition object visually recognized by the driver.

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted. For the convenience of illustration, the dimensional ratios in the drawings do not necessarily match those described.

図1は本発明の第1の実施形態に係る視認物体推定装置のブロック構成図である。図1に示すように、本実施形態に係る視認物体推定装置は、視認物体推定ECU1を備えている。視認物体推定ECU1には、ドライバ撮像カメラ2、ドライバ視線カメラ3、レーダセンサ4、車輪速センサ5、およびディスプレイ7が接続されている。さらに、視認物体推定装置は、ドライバ照射装置6を備えている。   FIG. 1 is a block configuration diagram of the visual object estimation device according to the first embodiment of the present invention. As shown in FIG. 1, the visual object estimation device according to the present embodiment includes a visual object estimation ECU 1. A driver imaging camera 2, driver gaze camera 3, radar sensor 4, wheel speed sensor 5, and display 7 are connected to the visual object estimation ECU 1. Furthermore, the visual recognition object estimation device includes a driver irradiation device 6.

ドライバ撮像カメラ2は、たとえば自車両における運転席の前方位置に設けられており、自車両を運転するドライバの顔を撮影している。ドライバ撮像カメラ2は、撮影した画像に関するドライバ画像情報を視認物体推定ECU1に送信する。   The driver imaging camera 2 is provided, for example, at a position in front of the driver's seat in the host vehicle, and captures the face of the driver driving the host vehicle. The driver imaging camera 2 transmits driver image information related to the captured image to the visual object estimation ECU 1.

ドライバ視線カメラ3は、たとえば自車両の天井におけるドライバシートの直上部に設けられており、自車両の前方を撮影している。この自車両の前方位置は、ドライバの視線方向となりうる方向である。ドライバ視線カメラ3は、撮影した画像に関する視線画像情報を視認物体推定ECU1に送信する。   The driver's line-of-sight camera 3 is provided, for example, directly above the driver seat on the ceiling of the host vehicle, and photographs the front of the host vehicle. The front position of the host vehicle is a direction that can be the driver's line-of-sight direction. The driver line-of-sight camera 3 transmits line-of-sight image information regarding the captured image to the visual object estimation ECU 1.

レーダセンサ4は、たとえば自車両のフロントグリル部分に取り付けられており、自車両前方における障害物の方向および自車両と障害物との距離を検出している。ここでの障害物としては、建物や道路標識などの固定物や、歩行者や他車両などの移動物が含まれる。レーダセンサ4としては、たとえばミリ波情報を送受信するミリ波レーダセンサが用いられる。レーダセンサ4は、自車両の前方における物体に関する物体情報を視認物体推定ECU1に送信する。   The radar sensor 4 is attached to, for example, the front grill portion of the host vehicle, and detects the direction of the obstacle in front of the host vehicle and the distance between the host vehicle and the obstacle. The obstacles here include fixed objects such as buildings and road signs, and moving objects such as pedestrians and other vehicles. As the radar sensor 4, for example, a millimeter wave radar sensor that transmits and receives millimeter wave information is used. The radar sensor 4 transmits object information related to an object in front of the host vehicle to the visual object estimation ECU 1.

車輪速センサ5は、たとえば自車両の車輪に設けられており、車輪の回転速度を検出している。車輪速センサ5は、検出した車輪の回転速度から車速を取得し、取得した車速を視認物体推定ECU1に送信する。   The wheel speed sensor 5 is provided, for example, on the wheel of the host vehicle, and detects the rotational speed of the wheel. The wheel speed sensor 5 acquires the vehicle speed from the detected rotational speed of the wheel, and transmits the acquired vehicle speed to the visual object estimation ECU 1.

ドライバ照射装置6は、ドライバ撮像カメラ2の側方に設けられている。このドライバ照射装置6は、ドライバの顔に向けて近赤外線を照射している。ドライバ照射装置6によってドライバの顔を照射することにより、夜間におけるドライバの視線の検出を行い易くすることができる。   The driver irradiation device 6 is provided on the side of the driver imaging camera 2. This driver irradiation device 6 irradiates near infrared rays toward the driver's face. By irradiating the driver's face with the driver irradiation device 6, the driver's line of sight can be easily detected at night.

また、視認物体推定ECU1は、画像処理部11、物体距離取得部12、視認物体候補推定部13、視認物体候補記憶部14、および視認物体推定部15を備えている。   The visual object estimation ECU 1 includes an image processing unit 11, an object distance acquisition unit 12, a visual object candidate estimation unit 13, a visual object candidate storage unit 14, and a visual object estimation unit 15.

画像処理部11は、ドライバ撮像カメラ2から送信されたドライバ画像情報に画像処理を施して、ドライバの視線方向を検出する。また、画像処理部11は、ドライバ視線カメラ3から送信された視線画像情報に画像処理を施し、検出したドライバの視線方向を合わせることによってドライバの視野内におけるオブジェクト(物体)を検出する。画像処理部11は、検出したオブジェクトに関する検出物体情報を視認物体候補推定部13に出力する。   The image processing unit 11 performs image processing on the driver image information transmitted from the driver imaging camera 2 and detects the line-of-sight direction of the driver. Further, the image processing unit 11 performs image processing on the line-of-sight image information transmitted from the driver line-of-sight camera 3, and detects an object (object) within the visual field of the driver by matching the line-of-sight direction of the detected driver. The image processing unit 11 outputs detected object information regarding the detected object to the visual object candidate estimating unit 13.

物体距離取得部12は、レーダセンサ4から送信される物体情報に基づいて自車両の前方におけるオブジェクトと自車両との距離および自車両の進行方向に対するオブジェクトの向きを算出する。物体距離取得部12は、算出したオブジェクトの距離および方向に関する物体状態情報を視認物体候補推定部13に出力する。   Based on the object information transmitted from the radar sensor 4, the object distance acquisition unit 12 calculates the distance between the object and the host vehicle in front of the host vehicle and the direction of the object with respect to the traveling direction of the host vehicle. The object distance acquisition unit 12 outputs the object state information regarding the calculated object distance and direction to the visual object candidate estimation unit 13.

視認物体候補推定部13は、画像処理部11から出力された検出物体情報および物体距離取得部12から出力された物体状態情報に基づいて、自車両の前方における各オブジェクトの危険度を算出する。危険度の算出手順については後に説明する。また、視認物体候補推定部13は、算出した危険度に基づいて、各オブジェクトの中から視認物体候補を推定する。視認物体候補推定部13は、推定した視認物体候補に関する視認物体候補情報を視認物体候補記憶部14に一旦記憶する。   Based on the detected object information output from the image processing unit 11 and the object state information output from the object distance acquisition unit 12, the visual recognition object candidate estimation unit 13 calculates the risk level of each object in front of the host vehicle. The procedure for calculating the degree of risk will be described later. Moreover, the visual recognition object candidate estimation part 13 estimates a visual recognition object candidate from each object based on the calculated risk. The visual object candidate estimation unit 13 temporarily stores visual object candidate information related to the estimated visual object candidate in the visual object candidate storage unit 14.

視認物体推定部15は、視認物体候補記憶部14に一旦記憶された視認物体候補情報を読み出す。視認物体推定部15は、読み出した視認物体候補情報と、車輪速センサ5から送信された車速情報に基づいて、ドライバの視認物体を推定する。視認物体の推定手順については後に説明する。視認物体推定部15は、ドライバの視認物体を推定した後、推定した視認物体を用いた運転支援情報を生成する。視認物体推定部15は、生成した運転支援情報をディスプレイ7に送信する。   The visual object estimation unit 15 reads the visual object candidate information once stored in the visual object candidate storage unit 14. The visual object estimation unit 15 estimates the visual object of the driver based on the read visual object candidate information and the vehicle speed information transmitted from the wheel speed sensor 5. The visual object estimation procedure will be described later. The visual recognition object estimation unit 15 generates driving support information using the estimated visual object after estimating the visual object of the driver. The visual recognition object estimation unit 15 transmits the generated driving support information to the display 7.

ディスプレイ7は、視認物体推定部15から送信された運転支援情報に基づく画像を表示する。ここでは、たとえばドライバ視線カメラ3で撮影した画像に対して、視認物体以外のオブジェクトのうち、ドライバが注視すべきオブジェクトを選択し、選択されたオブジェクトを強調表示した画像に関する情報が運転支援情報となる。   The display 7 displays an image based on the driving support information transmitted from the visual object estimation unit 15. Here, for example, with respect to an image captured by the driver's line-of-sight camera 3, information on an image in which the driver selects an object to be watched out of objects other than the visible object and highlights the selected object is the driving support information. Become.

次に、視認物体推定ECU1における処理手順について説明する。図2は、視認物体推定ECUにおける処理手順を示すフローチャートである。図2に示すように、視認物体推定ECU1では、まず、前景情報を取得する(S1)。前景情報には、ドライバ撮像カメラ2で撮影された画像に関するドライバ画像情報、ドライバ視線カメラ3で撮影された画像に関する視線画像情報、レーダセンサ4で検出された自車両と前方のオブジェクトと距離および方向に関する物体情報が含まれている。   Next, a processing procedure in the visual object estimation ECU 1 will be described. FIG. 2 is a flowchart showing a processing procedure in the visual object estimation ECU. As shown in FIG. 2, the visual object estimation ECU 1 first acquires foreground information (S1). The foreground information includes driver image information relating to an image taken by the driver imaging camera 2, line-of-sight image information relating to an image taken by the driver line-of-sight camera 3, the own vehicle detected by the radar sensor 4, the object ahead, and the direction and direction. Contains object information.

前景情報を取得したら、画像処理部11において、ドライバ撮像カメラ2から送信されたドライバ画像情報に基づいてドライバ視線を検出する(S2)。続いて、画像処理部11において、ドライバ視線カメラ3から送信された視線画像情報から得られる視線画像に、検出したドライバ視線を重畳する(S3)   After obtaining the foreground information, the image processing unit 11 detects the driver's line of sight based on the driver image information transmitted from the driver imaging camera 2 (S2). Subsequently, in the image processing unit 11, the detected driver line of sight is superimposed on the line-of-sight image obtained from the line-of-sight image information transmitted from the driver line-of-sight camera 3 (S3).

それから、ドライバ視線が重畳された視線画像に画像処理を施して視線先候補エリアを特定する(S4)。続いて、視線先候補エリア内に含まれるすべてのオブジェクトを検出し(S5)、物体検出情報を視認物体候補推定部13に出力する。また、物体距離取得部12では、自車両と各オブジェクトとの距離および方向を算出し(S6)、算出した距離および方向に関する物体状態情報を視認物体候補推定部13に出力する。   Then, the line-of-sight candidate area is specified by performing image processing on the line-of-sight image on which the driver's line of sight is superimposed (S4). Subsequently, all objects included in the line-of-sight candidate area are detected (S5), and the object detection information is output to the visual object candidate estimation unit 13. The object distance acquisition unit 12 calculates the distance and direction between the host vehicle and each object (S6), and outputs object state information regarding the calculated distance and direction to the visual object candidate estimation unit 13.

視認物体候補推定部13では、画像処理部11から出力された物体検出情報および物体距離検出部から出力された物体状態情報に基づいて、各物体に対する危険度を算出する(S7)。危険度の算出手順としては、たとえば次の手順を用いることができる。   The visual object candidate estimation unit 13 calculates the risk level for each object based on the object detection information output from the image processing unit 11 and the object state information output from the object distance detection unit (S7). As the risk calculation procedure, for example, the following procedure can be used.

最も単純な危険度算出手順は、自車両に対する距離が近いオブジェクトほど、危険度が高いと判定するものである。   The simplest risk level calculation procedure is to determine that an object having a shorter distance to the host vehicle has a higher risk level.

また、他の危険度算出手順は、衝突推定時間TTC(Time to Collision)が少ないほど危険度が高いと判定するものである。ここでの衝突推定時間TTCとは、自車とオブジェクトの相対距離および相対速度に基づいて、オブジェクトに対して自車両が衝突すると想定される時間までとして算出される衝突推定時間をいう。自車両を運転するドライバは、衝突推定時間TTCが短いオブジェクトに対して眼を向ける傾向がある。衝突推定時間TTCを利用する例では、このドライバの傾向を利用して得られる危険度を用いて視認物体の推定を行うものである。   Another risk level calculation procedure is to determine that the risk level is higher as the collision estimated time TTC (Time to Collision) is shorter. The collision estimation time TTC here is a collision estimation time calculated as a time until the vehicle is expected to collide with the object based on the relative distance and relative speed between the vehicle and the object. A driver driving the host vehicle tends to turn his eyes to an object having a short collision estimated time TTC. In the example using the collision estimation time TTC, the visual recognition object is estimated using the degree of risk obtained by using the tendency of the driver.

たとえば、図3に示すように、ドライバの視線先候補エリアに含まれるオブジェクトとして、建物B1、標識B2、歩行者B3が存在していたとする。なお、図中の点P1〜P4は、それぞれ円形をなす視線先候補エリアの12時、3時、6時、9時の点を示し、点P5は視線先候補エリアの中心を示す。   For example, as shown in FIG. 3, it is assumed that a building B1, a sign B2, and a pedestrian B3 exist as objects included in the driver's line-of-sight candidate area. In addition, the points P1 to P4 in the figure indicate the points at 12 o'clock, 3 o'clock, 6 o'clock, and 9 o'clock of the circular line-of-sight candidate areas, respectively, and the point P5 indicates the center of the line-of-sight candidate area.

自車両に対する相対距離は、標識B2、建物B1、歩行者B3の順で長くなっている。また、自車両に対する相対速度は、歩行者B3に対するものが一番短く、標識B2、建物B1に対しては同一の相対速度となっている。このような条件で各オブジェクトに対する衝突推定時間TTCを算出すると、建物B1に対する衝突推定時間TTCが20秒、標識に対する衝突推定時間TTCが3秒、歩行者B3に対する衝突推定時間TTCが2秒となったとする。この場合、自車両に対する相対距離は標識B2が一番短いこととなるが、衝突推定時間TTCは歩行者が一番小さいこととなる。したがって、図3に示す例では、歩行者B3の危険度が最も高いと判定する。   The relative distance to the host vehicle is longer in the order of the sign B2, the building B1, and the pedestrian B3. Moreover, the relative speed with respect to the own vehicle is the shortest with respect to the pedestrian B3, and is the same relative speed with respect to the sign B2 and the building B1. When the estimated collision time TTC for each object is calculated under such conditions, the estimated collision time TTC for the building B1 is 20 seconds, the estimated collision time TTC for the sign is 3 seconds, and the estimated collision time TTC for the pedestrian B3 is 2 seconds. Suppose. In this case, the sign B2 is the shortest relative distance to the host vehicle, but the estimated collision time TTC is the smallest for pedestrians. Therefore, in the example shown in FIG. 3, it determines with the risk degree of pedestrian B3 being the highest.

さらに、他の危険度算出手順としては、自車両と各オブジェクトとの想定衝突位置CP(Conflict point)を求め、自車両が想定衝突位置CPに到達すると想定されるまでの到達時間が短いほど、危険度が高いオブジェクトとして判断するものである。想定衝突位置CPとは、自車両が走行した際に自車両と各オブジェクトとが衝突すると想定される衝突位置をいう。各オブジェクトに対する想定衝突位置CPの算出は、下記(1)式〜(3)式を用いて行うことができる。
Further, as another risk level calculation procedure, an assumed collision position CP (Conflict point) between the own vehicle and each object is obtained, and the shorter the arrival time until the own vehicle is assumed to reach the assumed collision position CP, It is determined as an object with a high degree of danger. The assumed collision position CP refers to a collision position where the host vehicle and each object are expected to collide when the host vehicle travels. Calculation of the assumed collision position CP for each object can be performed using the following equations (1) to (3).

なお、オブジェクトが固定物である場合には、TCP2=0となる。また、定数αは、ドライバの操作によって自車両を停止させることが困難と想定される時間にある程度の余裕を付加した時間とすることができる。さらに、定数βは、自車両とオブジェクトとの停止能力によって、自車両とオブジェクトとの衝突を回避することが困難と想定される時間にある程度の余裕を付加した時間とすることができる。こうして算出された各オブジェクトに対する想定衝突位置CPを算出し、想定衝突位置CPが近いオブジェクトほど危険度を高く判断する。   When the object is a fixed object, TCP2 = 0. In addition, the constant α can be a time obtained by adding a certain margin to a time when it is assumed that it is difficult to stop the host vehicle by a driver's operation. Furthermore, the constant β can be a time obtained by adding a certain margin to the time when it is assumed that it is difficult to avoid a collision between the host vehicle and the object due to the stopping ability between the host vehicle and the object. An estimated collision position CP for each object calculated in this way is calculated, and an object having a closer estimated collision position CP is determined to have a higher degree of danger.

こうして、危険度を算出したら、視認物体候補を推定する(S8)。ここでの視認物体候補としては、検出されたオブジェクトのすべてが対象となる。視認物体候補を推定したら、各視認物体候補の候補度合を推定する(S9)。視認物体候補の候補度合は、危険度に対応して推定され、危険度が高い物体ほど視認物体候補の候補度合が高く推定される。   After the risk level is calculated in this way, a visual object candidate is estimated (S8). Here, all the detected objects are targeted as the visual recognition object candidates. If the visual object candidate is estimated, the candidate degree of each visual object candidate is estimated (S9). The candidate degree of the visual object candidate is estimated corresponding to the risk level, and the object degree of the visual object candidate is estimated to be higher as the object has a higher risk level.

視認物体候補の候補度合を推定したら、推定した視認物体候補およびを各視認物体候補に対する候補度合と対応つけて視認物体候補記憶部14に記憶する。視認物体候補記憶部14には、図4に示すように、現在推定された視認物体候補およびその視認物体候補の候補度合のほか、過去に推定された視認物体候補およびその視認物体候補の候補度合が検出履歴として記憶されている。   When the candidate degree of the visual object candidate is estimated, the estimated visual object candidate and the candidate degree for each visual object candidate are associated with each other and stored in the visual object candidate storage unit 14. As shown in FIG. 4, in the visual object candidate storage unit 14, in addition to the currently estimated visual object candidate and the candidate degree of the visual object candidate, the visual object candidate estimated in the past and the candidate degree of the visual object candidate are stored. Is stored as a detection history.

それから、視認物体推定部15において、視認物体候補の推定を行う(S10)。視認物体候補の推定は、次のようにして行われる。まず、視認物体推定部15は、視認物体候補記憶部14に記憶された視認物体候補およびその視認物体候補の候補度合を複数の時間分読み出す。続いて、図5に示すように、各時刻における視認物体候補およびその視認物体候補の候補度合を時間軸に沿って並べる。図5では、時間軸が右側にいくほど過去となっている。その後、車輪速センサ5から送信される車速に基づいて、各時間における視認物体候補の候補度合に重み付けを行う。重み付けを行う方法として、車速が早いほど視認物体候補の時間成分を重く重み付けを行う。   Then, the visual object estimation unit 15 estimates the visual object candidate (S10). The visual object candidate is estimated as follows. First, the visual object estimation unit 15 reads the visual object candidates stored in the visual object candidate storage unit 14 and the candidate degrees of the visual object candidates for a plurality of times. Subsequently, as shown in FIG. 5, the visual object candidates and the candidate degrees of the visual object candidates at each time are arranged along the time axis. In FIG. 5, the past is as the time axis moves to the right. Then, based on the vehicle speed transmitted from the wheel speed sensor 5, the candidate degree of the visual object candidate at each time is weighted. As a weighting method, the time component of the visual object candidate is weighted more heavily as the vehicle speed is faster.

たとえば、図6(a)に示すように、時刻t0に見えた視線先候補エリアに含まれる物体は、時刻t1では図6(b)に示すように移動して見える。このように、視線先候補エリアにおけるオブジェクトは移動して見える。このような各時刻における視認物体候補および視認物体候補の候補度合を、図5に示すように、時系列的に並べる。また、視線先の移動に伴い、視線先からはずれる視認物体候補や、視線先に入る視認物体候補もある。たとえば、時刻t0では、オブジェクトA〜オブジェクトEが視線先に入る視認物体候補であるが、時刻t1ではオブジェクトDが視線先から消滅し、新たにオブジェクトFが視線先に入っている。   For example, as shown in FIG. 6A, an object included in the line-of-sight candidate area that was seen at time t0 appears to move as shown in FIG. 6B at time t1. Thus, the object in the line-of-sight candidate area appears to move. The visual object candidates and the candidate object candidate degrees at each time are arranged in time series as shown in FIG. In addition, there are a visual object candidate that deviates from the line of sight and a visual object candidate that enters the line of sight as the line of sight moves. For example, at time t0, the objects A to E are visual object candidates that enter the line of sight, but at time t1, the object D disappears from the line of sight, and the object F newly enters the line of sight.

それから、自車両の速度に応じて各オブジェクトの推定度合を算出する。たとえば、自車両の速度が所定のしきい値よりも高い場合には、オブジェクトの推定度合として時刻t0〜時刻t2の3つの視認物体候補の候補度合を用いて視認物体候補の推定度合いを算出する。また、自車両の速度が所定のしきい値よりも低い場合には、オブジェクトの推定度合として時刻t0,時刻t1の2つの視認物体候補の候補度合を用いて視認物体候補の推定度合を算出する。   Then, the estimated degree of each object is calculated according to the speed of the host vehicle. For example, when the speed of the host vehicle is higher than a predetermined threshold, the estimated degree of the visual object candidate is calculated using the candidate degrees of the three visual object candidates at time t0 to time t2 as the object estimation degree. . Further, when the speed of the host vehicle is lower than a predetermined threshold value, the estimated degree of the visual object candidate is calculated using the candidate degrees of the two visual object candidates at time t0 and time t1 as the estimated degree of the object. .

また、各オブジェクトの推定度合は各オブジェクトの候補度合を加算して求める。ここで、3つの視認物体候補の候補度合を用いて視認物体を推定する場合、各オブジェクトA〜オブジェクトFの候補度合は、それぞれ2.1,2.2,1.7,0.6,0.5,0.3となる。この場合には、オブジェクトBが視認物体として推定される。このように、自車両の車速が高い場合には、時間成分を大きく判定条件に加えて視認物体を推定する。   The estimated degree of each object is obtained by adding the candidate degrees of each object. Here, when the visual recognition object is estimated using the candidate degrees of the three visual object candidates, the candidate degrees of the objects A to F are 2.1, 2.2, 1.7, 0.6, and 0, respectively. .5, 0.3. In this case, the object B is estimated as a visually recognized object. As described above, when the vehicle speed of the host vehicle is high, the visually recognized object is estimated by adding the time component to the determination condition.

また、2つの視認物体候補の候補度合を用いて視認物体を推定する場合、各オブジェクトA〜オブジェクトFの候補度合は、それぞれ1.6,1.5,1.0,0.3,0.5,0.1となる。この場合には、オブジェクトAが視認物体として推定される。このように、自車両の車速が高い場合には、判定条件に加える時間成分を小さくして視認物体を推定する。   Further, when the visual recognition object is estimated using the candidate degrees of the two visual object candidates, the candidate degrees of the objects A to F are 1.6, 1.5, 1.0, 0.3, 0,. 5,0.1. In this case, the object A is estimated as a visually recognized object. As described above, when the vehicle speed of the host vehicle is high, the visually recognized object is estimated by reducing the time component added to the determination condition.

自車両が走行する際には、周囲の景色が時々刻々変化することとなるが、ドライバが視認する視認対象については、ドライバが追い続けていることが多い。したがって、時間が経過しても視認物体の候補としてあがりやすくなる。このため、物体の検出履歴に基づいて、ドライバの視認物体を推定することにより、さらに精度よくドライバが視認する視認物体を検出することができる。   When the host vehicle travels, the surrounding scenery changes from moment to moment, but the driver often keeps track of the visual target to be visually recognized by the driver. Therefore, even if time passes, it becomes easy to rise as a candidate for a visual recognition object. For this reason, by estimating the visual recognition object of the driver based on the detection history of the object, the visual recognition object visually recognized by the driver can be detected with higher accuracy.

こうして、視認物体を推定したら、推定した視認物体に応じた運転支援を提供する(S11)。ここでの運転支援としては、視認物体以外のオブジェクトを強調表示ながら、視線画像をディスプレイ7に表示したり、視認物体以外のオブジェクトと中から、ドライバが注視すべき注視対象オブジェクトを決定して、注視対象オブジェクトを強調表示したりする態様とすることができる。   When the visual recognition object is estimated in this way, driving assistance corresponding to the estimated visual recognition object is provided (S11). As driving assistance here, while highlighting an object other than a visual recognition object, a line-of-sight image is displayed on the display 7 or an object other than the visual recognition object is determined and a gaze target object to be watched by the driver is determined. For example, the gaze target object can be highlighted.

このように、本実施形態に係る視認物体推定装置では、ドライバの視線先候補エリア内においてオブジェクトが複数検出された場合に、各オブジェクトの危険度に基づいて、物体の中からドライバの視認物体を推定している。また、通常、自車両のドライバは、自車両に対する危険度が高い物体を視認する傾向が高くなっている。このため、複数のオブジェクトが検出されたとしても、ドライバが視認する視認物体を精度よく検出することができる。   As described above, in the visual recognition object estimation device according to the present embodiment, when a plurality of objects are detected in the driver's visual line destination candidate area, the visual recognition object of the driver is selected from the objects based on the risk level of each object. Estimated. Further, the driver of the own vehicle is generally more likely to visually recognize an object having a high degree of danger to the own vehicle. For this reason, even if a plurality of objects are detected, a visually recognized object visually recognized by the driver can be accurately detected.

また、各オブジェクトの危険度を衝突推定時間や想定衝突位置までの到達時間を用いて求めている。このため、各オブジェクトの危険度を精度よく求めることができる。   Further, the risk level of each object is obtained using the estimated collision time and the arrival time to the assumed collision position. For this reason, the risk level of each object can be obtained with high accuracy.

さらに、過去のオブジェクトの危険度を検出履歴として視認物体候補記憶部14に記憶しておき、この検出履歴に基づいて視認物体を推定している。このため、さらに精度よくドライバが視認する視認物体を検出することができる
。しかも、視認物体を推定するにあたり、車速が高いほど長期に亘る検出履歴に基づいてドライバの視認物体の推定している。車速が高い場合には、自車両の速度が低い場合よりも、視認物体を推定する際の時間変化に対する依存度が高くなる。したがって、自車両の速度が高い場合には、自車両の速度が低い場合より長期に亘る検出履歴に基づいてドライバの視認物体の推定することにより、さらに精度よくドライバの視認物体を推定することができる。
Further, the risk level of the past object is stored in the visual object candidate storage unit 14 as a detection history, and the visual object is estimated based on this detection history. For this reason, it is possible to detect a visual object visually recognized by the driver with higher accuracy. Moreover, in estimating the visual recognition object, the visual recognition object of the driver is estimated based on the detection history over a long period as the vehicle speed increases. When the vehicle speed is high, the degree of dependence on the time change when estimating the visually recognized object is higher than when the speed of the host vehicle is low. Therefore, when the speed of the host vehicle is high, the driver's visual object can be estimated more accurately by estimating the driver's visual object based on the detection history over a longer period than when the host vehicle speed is low. it can.

次に、本発明の第2の実施形態について説明する。図7は、本実施形態に係る視認物体推定装置のブロック構成図である。図7に示すように、本実施形態に係る視認物体推定装置は、上記第1の実施形態に係る視認物体推定装置と比較して、視認物体推定ECU20は、走行環境取得部21および物体属性記憶部22を備えている点において異なる。また、視認物体推定ECU1には、路車間通信部8が接続されている点において異なる。その他の点については、上記第1の実施形態と共通する。   Next, a second embodiment of the present invention will be described. FIG. 7 is a block configuration diagram of the visual object estimation device according to the present embodiment. As shown in FIG. 7, the visual object estimation device according to the present embodiment is different from the visual object estimation device according to the first embodiment in that the visual object estimation ECU 20 includes a traveling environment acquisition unit 21 and an object attribute storage. The difference is that the portion 22 is provided. The visual object estimation ECU 1 is different in that a road-vehicle communication unit 8 is connected. Other points are common to the first embodiment.

図6に示すように、本実施形態に係る視認物体推定ECU20に接続された路車間通信部8は、道路に設置される通信設備と通信可能とされており、通信設備から送信される走行環境情報を受信する。路車間通信部8は、受信した走行環境情報を視認物体推定ECU20に送信する。   As shown in FIG. 6, the road-to-vehicle communication unit 8 connected to the visual object estimation ECU 20 according to the present embodiment is capable of communicating with communication equipment installed on the road, and is a traveling environment transmitted from the communication equipment. Receive information. The road-to-vehicle communication unit 8 transmits the received traveling environment information to the visual object estimation ECU 20.

走行環境取得部21は、路車間通信部8から送信された走行環境情報に基づいて、自車両の周囲の走行環境を取得する。走行環境取得部21は、取得した走行環境に基づく取得走行環境情報を視認物体候補推定部13に出力する。ここでの走行環境としては、たとえば自車両が走行している道路が単路場面であるか、あるいは一時停止場面であるかなどがある。   The traveling environment acquisition unit 21 acquires the traveling environment around the host vehicle based on the traveling environment information transmitted from the road-to-vehicle communication unit 8. The traveling environment acquisition unit 21 outputs acquired traveling environment information based on the acquired traveling environment to the visual object candidate estimation unit 13. The traveling environment here includes, for example, whether the road on which the vehicle is traveling is a single road scene or a temporary stop scene.

物体属性記憶部22は、自車両の周囲にあって視認対象物体となりえるオブジェクト属性をオブジェクトごとに記憶している。物体属性記憶部22が記憶する物体属性としては、種々のものを備えることができる。物体属性記憶部22は、視認物体候補推定部13からの信号に基づいて、記憶しているオブジェクト属性を視認物体候補推定部13に出力する。   The object attribute storage unit 22 stores, for each object, an object attribute that can be a visual recognition target object around the host vehicle. Various object attributes stored in the object attribute storage unit 22 can be provided. The object attribute storage unit 22 outputs the stored object attribute to the visual object candidate estimation unit 13 based on the signal from the visual object candidate estimation unit 13.

物体属性記憶部22が記憶するオブジェクト属性としては、たとえば、図8に示すように、建物、空、道路標識などの固定物のほか、歩行者などの移動物を挙げることができ、これらの物体のそれぞれについて、単路場面と一時停止場面とでのオブジェクト属性をポイント数で記憶している。ここで記憶されたオブジェクト属性が大きいほど、視認物体となる度合が高いものとされている。また、オブジェクト属性が歩行者などの移動物の場合には、その移動方向に応じてオブジェクトと属性を細分化することができる。さらに、歩行者などである場合には、その歩行者が大人であるかこどもであるか、また、歩行者の顔の向きなどによってもオブジェクト属性を細分化することができる。この場合の傾向付けとして、オブジェクトが人である場合、自車両の方向を向いている方が向いていないよりもオブジェクト属性が低く、大人の方が子供よりもオブジェクト属性が低く設定される。また、オブジェクト属性が車両である場合、走行方向が自車両と同一である車両の方が、対向車両よりもオブジェクト属性が低く設定される。   Examples of the object attributes stored in the object attribute storage unit 22 include fixed objects such as buildings, sky, and road signs as well as moving objects such as pedestrians as shown in FIG. For each of the above, the object attributes of the single road scene and the pause scene are stored in points. The larger the object attribute stored here, the higher the degree of becoming a visually recognized object. When the object attribute is a moving object such as a pedestrian, the object and attribute can be subdivided according to the moving direction. Furthermore, in the case of a pedestrian or the like, the object attributes can be subdivided according to whether the pedestrian is an adult or a child, and the orientation of the pedestrian's face. As a tendency in this case, when the object is a person, the object attribute is set lower than the direction facing the own vehicle, and the object attribute is set lower for the adult than the child. Further, when the object attribute is a vehicle, the object attribute of the vehicle having the same traveling direction as that of the host vehicle is set lower than that of the oncoming vehicle.

次に、本実施形態に係る視認物体推定装置における処理手順について説明する。本実施形態に係る視認物体推定装置における処理は、上記第1の実施形態と比較して、視認物体候補を推定する手順が主に異なるため、以下、視認物体候補の推定手順を中心として説明する。   Next, a processing procedure in the visual object estimation device according to the present embodiment will be described. The processing in the visual object estimation device according to the present embodiment is mainly different from the first embodiment in the procedure for estimating the visual object candidate, so that the following description will focus on the visual object candidate estimation procedure. .

視認物体推定ECU20における視認物体候補推定部13では、視認物体候補を推定するにあたり、路車間通信部8から送信された走行環境情報に基づいて、自車両の周囲の走行環境、具体的には単路場面であるか一時停止場面であるかを取得する。次に、画像処理部11から出力された物体検出情報に基づいて、自車両における周囲のオブジェクトを取得する。続いて、取得したオブジェクトに対応するオブジェクト属性を物体属性記憶部22から取得する。   In the visual object estimation ECU 20, the visual object candidate estimation unit 13 estimates the visual object candidate based on the travel environment information transmitted from the road-to-vehicle communication unit 8. Acquires whether it is a road scene or a pause scene. Next, based on the object detection information output from the image processing unit 11, surrounding objects in the host vehicle are acquired. Subsequently, the object attribute corresponding to the acquired object is acquired from the object attribute storage unit 22.

それから、視認物体候補推定部13では、取得したオブジェクトとそのオブジェクトに対するオブジェクト属性を視認物体候補の候補度合として推定する。以後は、視認物体候補記憶部14に推定した視認物体候補の候補度合を記憶し、上記第1の実施形態と同様の手順によって視認物体を推定する。   Then, the visual recognition object candidate estimation unit 13 estimates the acquired object and the object attribute for the object as the visual recognition object candidate candidate degree. Thereafter, the candidate degree of the visual object candidate estimated in the visual object candidate storage unit 14 is stored, and the visual object is estimated by the same procedure as in the first embodiment.

このように、本実施形態では、視認物体候補の候補度合を推定するにあたり、各オブジェクトのオブジェクト属性を用いている。このようなオブジェクト属性を利用することによっても、精度よく視認物体候補の候補度合を推定することができる。   Thus, in this embodiment, the object attribute of each object is used in estimating the candidate degree of the visual object candidate. By using such object attributes, it is possible to accurately estimate the candidate degree of the visual object candidate.

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記各実施形態では、視認物体を推定するにあたり、まず視認物体候補を推定してからその検出履歴に基づいて視認物体を推定するようにしているが、視認物体候補を推定した時点で、視認物体候補の候補度合が最も高い視認物体候補をそのまま視認物体として推定することができる。
また、上記実施形態では、検出履歴を検出履歴に基づいて視認物体を推定する際、2回または3回の検出履歴を用いているが、その他の回数に設定することもできる。さらに、上記第2の実施形態では、走行環境として自車両が走行する道路を用いているが、その他、天候、昼夜等、他の要素を用いることもできる。また、上記第1の実施形態では、危険度を求めるにあたって、衝突推定時間TTCまたは想定衝突位置CPに自車両が到達するまでの時間を用いていたが、これらの両方を用いて危険度を求める態様とすることもできる。
The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. For example, in each of the above embodiments, when estimating the visual recognition object, the visual recognition object candidate is first estimated and then the visual recognition object is estimated based on the detection history. A visual object candidate having the highest candidate degree of visual object candidate can be estimated as a visual object as it is.
Moreover, in the said embodiment, when estimating a visual recognition object based on a detection log | history, the detection log | history of 2 times or 3 times is used, but it can also set to other frequency | count. Furthermore, in the said 2nd Embodiment, although the road on which the own vehicle drive | works is used as a driving | running environment, other elements, such as a weather and day and night, can also be used. Further, in the first embodiment, when the risk level is calculated, the estimated collision time TTC or the time until the host vehicle reaches the assumed collision position CP is used. It can also be set as an aspect.

第1の実施形態に係る視認物体推定装置のブロック構成図である。It is a block block diagram of the visual recognition object estimation apparatus which concerns on 1st Embodiment. 視認物体推定ECUにおける処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in visual recognition object estimation ECU. 視線画像の例を示す模式図である。It is a schematic diagram which shows the example of a gaze image. 視認物体候補の候補度合の例を示す表である。It is a table | surface which shows the example of the candidate degree of a visual recognition object candidate. 複数の視認物体候補の候補度合を時系列に沿って並べた図である。It is the figure which put in order the candidate degree of a plurality of visual recognition object candidates along time series. (a)は時刻t0における視線画像の例を示す模式図、(b)は時刻t1における視線画像の例を示す模式図である。(A) is a schematic diagram which shows the example of the gaze image in the time t0, (b) is a schematic diagram which shows the example of the gaze image in the time t1. 第2の実施形態に係る視認物体推定装置のブロック構成図である。It is a block block diagram of the visual recognition object estimation apparatus which concerns on 2nd Embodiment. オブジェクトとオブジェクト特性との関係の例を示す表である。It is a table | surface which shows the example of the relationship between an object and an object characteristic.

符号の説明Explanation of symbols

1,20…視認物体推定ECU、2…ドライバ撮像カメラ、3…ドライバ視線カメラ、4…レーダセンサ、5…車輪速センサ、6…ドライバ照射装置、7…ディスプレイ、8…路車間通信部、11…画像処理部、12…物体距離取得部、13…視認物体候補推定部、14…視認物体候補記憶部、15…視認物体推定部、21…走行環境取得部、22…物体属性記憶部。   DESCRIPTION OF SYMBOLS 1,20 ... Visual object estimation ECU, 2 ... Driver imaging camera, 3 ... Driver gaze camera, 4 ... Radar sensor, 5 ... Wheel speed sensor, 6 ... Driver irradiation apparatus, 7 ... Display, 8 ... Road-to-vehicle communication part, 11 DESCRIPTION OF SYMBOLS ... Image processing part, 12 ... Object distance acquisition part, 13 ... Visual object candidate estimation part, 14 ... Visual object candidate storage part, 15 ... Visual object estimation part, 21 ... Driving environment acquisition part, 22 ... Object attribute storage part.

Claims (4)

ドライバの視線方向を検出する視線方向検出手段と、
前記視線方向に存在する物体を検出する物体検出手段と、
前記物体に関する物体情報を取得する物体情報取得手段と、
前記物体が複数検出された場合に、前記物体に関する物体情報に基づいて、前記物体の中から前記ドライバの視認物体を推定する視認物体推定手段と、
を備え
前記視認物体推定手段は、前記物体の自車両に対する危険度に基づいて前記ドライバの視認物体を推定し、
前記自車両に対する危険度として、前記視線方向に存在する物体の前記自車両に対する衝突推定時間を用いており、
前記視線方向検出手段および前記物体検出手段による検出並びに前記物体情報取得手段による取得を複数の時刻で行い、
前記複数の時刻における前記複数の物体に対して、それぞれ推定度合を設定し、
前記複数の時刻のそれぞれにおける前記複数の物体のそれぞれに対して設定された推定度合に基づいて、前記ドライバの視認物体を推定することを特徴とする視認物体推定装置。
Gaze direction detection means for detecting the gaze direction of the driver;
Object detection means for detecting an object present in the line-of-sight direction;
Object information acquisition means for acquiring object information relating to the object;
A visual object estimation means for estimating a visual object of the driver from the object based on object information related to the object when a plurality of the objects are detected;
Equipped with a,
The visual recognition object estimation means estimates the visual recognition object of the driver based on the degree of danger of the object to the host vehicle,
As the risk level for the host vehicle, the estimated collision time of the object existing in the line-of-sight direction with respect to the host vehicle is used.
The detection by the gaze direction detection means and the object detection means and the acquisition by the object information acquisition means are performed at a plurality of times,
For each of the plurality of objects at the plurality of times, an estimation degree is set.
A visual object estimation device that estimates the visual object of the driver based on an estimation degree set for each of the plurality of objects at each of the plurality of times .
前記自車両に対する危険度として、前記自車両が、前記視線方向に存在する物体と前記自車両との想定衝突位置に到達する時間を用いる請求項1に記載の視認物体推定装置。 The visual object estimation device according to claim 1 , wherein a time for the host vehicle to reach an assumed collision position between an object existing in the line-of-sight direction and the host vehicle is used as the risk level for the host vehicle. 自車両の走行環境に関する走行環境情報を取得する走行環境情報取得手段をさらに備え、
前記視認物体推定手段は、前記走行環境と前記物体の属性から前記ドライバの視認物体を推定する請求項1に記載の視認物体推定装置。
The vehicle further comprises traveling environment information acquisition means for acquiring traveling environment information related to the traveling environment of the host vehicle,
The visual object estimation device according to claim 1, wherein the visual object estimation unit estimates the visual object of the driver from the driving environment and the attribute of the object.
前記視認物体推定手段は、各時刻における車速が高いほど、前記推定度合を大きく設定する請求項1〜請求項3のうちのいずれか1項に記載の視認物体推定装置。 The visual recognition object estimation device according to any one of claims 1 to 3, wherein the visual recognition object estimation unit sets the estimation degree larger as a vehicle speed at each time is higher.
JP2008096331A 2008-04-02 2008-04-02 Visual object estimation device Expired - Fee Related JP5024165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008096331A JP5024165B2 (en) 2008-04-02 2008-04-02 Visual object estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008096331A JP5024165B2 (en) 2008-04-02 2008-04-02 Visual object estimation device

Publications (2)

Publication Number Publication Date
JP2009251744A JP2009251744A (en) 2009-10-29
JP5024165B2 true JP5024165B2 (en) 2012-09-12

Family

ID=41312427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008096331A Expired - Fee Related JP5024165B2 (en) 2008-04-02 2008-04-02 Visual object estimation device

Country Status (1)

Country Link
JP (1) JP5024165B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5360143B2 (en) * 2011-07-04 2013-12-04 株式会社豊田中央研究所 Driving scene recognition model generation device, driving support device, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4196469B2 (en) * 1999-03-02 2008-12-17 マツダ株式会社 Vehicle obstacle detection device
JP2004013466A (en) * 2002-06-06 2004-01-15 Nissan Motor Co Ltd Vehicle surroundings monitoring system
JP4055070B2 (en) * 2003-03-27 2008-03-05 アイシン精機株式会社 Vehicle alarm device
JP2008053901A (en) * 2006-08-23 2008-03-06 Konica Minolta Holdings Inc Imaging apparatus and imaging method
JP2008065545A (en) * 2006-09-06 2008-03-21 Toyota Motor Corp Drive support device for vehicle
JP4420002B2 (en) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 Eye-gaze estimation device

Also Published As

Publication number Publication date
JP2009251744A (en) 2009-10-29

Similar Documents

Publication Publication Date Title
US10392009B2 (en) Automatic parking system and automatic parking method
US9222789B2 (en) Wayfinding method and device
KR101655553B1 (en) Driver assistance apparatus and method
US10009580B2 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
US7859652B2 (en) Sight-line end estimation device and driving assist device
US9659497B2 (en) Lane departure warning system and lane departure warning method
US11691619B2 (en) Automatic parking system and automatic parking method
EP2928178B1 (en) On-board control device
KR101103526B1 (en) Collision Avoidance Method Using Stereo Camera
KR20080004835A (en) Apparatus and method for generating a auxiliary information of moving vehicles for driver
JP6392735B2 (en) Information processing apparatus, information processing method, vehicle control apparatus, and vehicle control method
JP2010003254A (en) Image processing apparatus
JP2011180982A (en) Lane marker detecting apparatus
US20180037162A1 (en) Driver assistance system
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
JP6394440B2 (en) Dirt determination device
US20180204462A1 (en) Device and method for start assistance for a motor vehicle
KR20150096924A (en) System and method for selecting far forward collision vehicle using lane expansion
KR20180063524A (en) Method and Apparatus for Detecting Risk of Forward Vehicle Using Virtual Lane
JP4830594B2 (en) Object detection device
JP5097681B2 (en) Feature position recognition device
JP2009276906A (en) Travelling information providing device
JP2011103058A (en) Erroneous recognition prevention device
JP4762830B2 (en) Perimeter monitoring system
JP5024165B2 (en) Visual object estimation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5024165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees