JP5712119B2 - Pedestrian notification device for vehicles - Google Patents

Pedestrian notification device for vehicles Download PDF

Info

Publication number
JP5712119B2
JP5712119B2 JP2011269402A JP2011269402A JP5712119B2 JP 5712119 B2 JP5712119 B2 JP 5712119B2 JP 2011269402 A JP2011269402 A JP 2011269402A JP 2011269402 A JP2011269402 A JP 2011269402A JP 5712119 B2 JP5712119 B2 JP 5712119B2
Authority
JP
Japan
Prior art keywords
pedestrian
information
vehicle
visible
jumping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011269402A
Other languages
Japanese (ja)
Other versions
JP2013120574A (en
Inventor
山本 恵一
恵一 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to JP2011269402A priority Critical patent/JP5712119B2/en
Publication of JP2013120574A publication Critical patent/JP2013120574A/en
Application granted granted Critical
Publication of JP5712119B2 publication Critical patent/JP5712119B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、通信を用いて検出された歩行者を車両の運転者に報知する車両用歩行者報知装置に関するものである。   The present invention relates to a vehicle pedestrian notification device that notifies a vehicle driver of a pedestrian detected using communication.

近年、車両に装備されたレーダにより物体を検出する技術が開発されている。かかる技術としては、特許文献1や特許文献2が挙げられる。   In recent years, techniques for detecting an object using a radar mounted on a vehicle have been developed. Examples of such a technique include Patent Document 1 and Patent Document 2.

特許文献1の技術は、車両に装備されたレーザレーダにより物体及びこの横移動速度等を検出し、カメラにより車両の走行レーンを検出し、これらの検出された情報に基づいて車両の進行路に進入する危険性のある横移動物体を検出するものである。   In the technique of Patent Document 1, an object and its lateral movement speed are detected by a laser radar installed in the vehicle, a traveling lane of the vehicle is detected by a camera, and the traveling path of the vehicle is determined based on the detected information. It detects a laterally moving object that has a risk of entering.

特許文献2の技術は、車両に装備されたレーダセンサにより自車両と物体との相対距離及び相対速度を検出するものである。この技術では、線形フィルタを用いて検出された相対距離及び相対速度を補正することにより、自車両と物体との相対距離及び相対速度の精度を向上させる。   The technique of patent document 2 detects the relative distance and relative speed of the own vehicle and an object with the radar sensor with which the vehicle was equipped. In this technology, the accuracy of the relative distance and relative speed between the vehicle and the object is improved by correcting the relative distance and relative speed detected using a linear filter.

特開平10−100820号公報Japanese Patent Application Laid-Open No. 10-1000082 特開2010−60465号公報JP 2010-60465 A

特許文献1や特許文献2の技術では、レーダにより物体を検出するため、レーダが装備される車両と物体との間に障害物がある場合には、レーダから発射される電波が遮られるため、物体を検出することができない。このため、車両の運転者が視認することができない物陰の物体を検出することができない。   In the techniques of Patent Document 1 and Patent Document 2, since an object is detected by a radar, if there is an obstacle between the vehicle equipped with the radar and the object, radio waves emitted from the radar are blocked. An object cannot be detected. For this reason, it is impossible to detect a shadow object that cannot be visually recognized by the driver of the vehicle.

したがって、これらの技術では、視認可能な歩行者である視認歩行者は検出することはできるが、車両に接近する隠れた物体もまた検出することができず、飛び出す蓋然性のある隠れた歩行者も検出することができない。
本発明は、かかる課題に鑑み創案されたものであり、適切に歩行者を検出して、この歩行者の情報を車両の運転者に報知することができるようにした、車両用歩行者報知装置とを提供することを目的とする。
Therefore, with these technologies, a visible pedestrian who is a visible pedestrian can be detected, but a hidden object approaching the vehicle cannot be detected, and a hidden pedestrian with a probability of jumping out can also be detected. It cannot be detected.
The present invention has been invented in view of such a problem, and is a vehicle pedestrian notification device capable of appropriately detecting a pedestrian and notifying the driver of the vehicle of this pedestrian information. The purpose is to provide.

(1)上記の目的を達成するために、本発明の車両用歩行者報知装置は、車両の前方における視認可能な物体である可視物体を検出する可視物体検出手段と、前記車両の周辺における端末保持者の保持する携帯端末と通信を行ない前記端末保持者を検出する情報通信手段と、前記可視物体検出手段により検出された前記可視物体の情報と前記情報通信手段により検出された前記端末保持者の情報とから、前記端末保持者のうち前記可視物体に該当しないものを遮蔽物体の物陰にいる歩行者である非視認歩行者として判定する非視認歩行者判定手段と、前記非視認歩行者判定手段により判定された前記非視認歩行者が前記車両に接近するか否かを判定し、前記非視認歩行者が前記車両に接近する場合は飛出歩行者と判定する飛出歩行者判定手段と、前記可視物体検出手段により検出された前記可視物体の情報と前記飛出歩行者判定手段により判定された前記飛出歩行者の情報とから、前記飛出歩行者の手前に存在する前記遮蔽物体を特定し、前記飛出歩行者が前記遮蔽物体の物陰から出現して視認歩行者になるまでの時間である視認残余時間を算出する残余時間算出手段と、前記残余時間算出手段により算出された前記視認残余時間の情報を、前記車両の運転者に提供する情報提供手段とを備えることを特徴としている。   (1) In order to achieve the above object, a vehicle pedestrian alarm device according to the present invention includes a visible object detection unit that detects a visible object that is a visible object in front of the vehicle, and a terminal around the vehicle. Information communication means for detecting the terminal holder by communicating with a portable terminal held by the holder, information on the visible object detected by the visible object detection means, and the terminal holder detected by the information communication means Non-visualized pedestrian determination means for determining a non-visible pedestrian who is a pedestrian behind a shielding object from among the terminal holders, and the non-visible pedestrian determination Jumping pedestrian determination means for determining whether or not the non-visible pedestrian determined by the means approaches the vehicle, and determining that the non-visible pedestrian approaches the vehicle when the non-visible pedestrian approaches the vehicle From the information on the visible object detected by the visible object detection means and the information on the jumping pedestrian determined by the jumping pedestrian determination means, the shielding object present in front of the jumping pedestrian And the remaining time calculating means for calculating the remaining visual time, which is the time from when the jumping pedestrian appears from the shadow of the shielding object to become a visible pedestrian, and the remaining time calculating means. It is characterized by comprising information providing means for providing information on the remaining visual recognition time to the driver of the vehicle.

(2)また、前記飛出歩行者判定手段は、前記端末保持者の情報である前記端末保持者の速度情報(移動速度と移動方向)と、前記車両の速度情報(移動速度と移動方向)とを取得し、これらの取得情報から前記非視認歩行者が前記車両に接近することを判定し、前記残余時間算出手段は、前記端末保持者の情報である前記端末保持者の前記速度情報及び位置情報と、前記車両の位置情報と、特定した前記遮蔽物体の位置情報(方向情報のみでよい)及び形状情報(輪郭又は幅の情報を含む)とから、前記視認残余時間を算出することが好ましい。なお、前記端末保持者の速度情報は、端末保持者の位置情報の変化から算出する構成としてもよい。   (2) Further, the jumping pedestrian determination means includes speed information (moving speed and moving direction) of the terminal holder, which is information of the terminal holder, and speed information (moving speed and moving direction) of the vehicle. And determining that the non-viewing pedestrian approaches the vehicle from the acquired information, and the remaining time calculating means includes the speed information of the terminal holder, which is information of the terminal holder, and Calculating the remaining visual time from position information, position information of the vehicle, position information (only direction information may be sufficient) and shape information (including contour or width information) of the identified shielding object. preferable. The speed information of the terminal holder may be calculated from a change in the position information of the terminal holder.

(3)また、前記車両に対する前記歩行者の危険度を重み付けする危険度判定手段を備え、前記危険度判定手段は、前記視認歩行者よりも前記非視認歩行者に前記危険度を大きく重み付けし、前記飛出歩行者に該当しない前記非視認歩行者よりも前記飛出歩行者に前記危険度を大きく重み付けし、前記情報提供手段は、前記危険度の高い前記飛出歩行者の前記視認残余時間を優先的に報知することが好ましい。
(4)また、前記情報提供手段は、前記飛出歩行者及び前記遮蔽物体の位置情報を画像表示すると共に、前記視認残余時間の情報を画像表示することが好ましい。
(3) In addition, a risk determination unit that weights the risk of the pedestrian with respect to the vehicle is provided, and the risk determination unit weights the non-viewing pedestrian more on the risk than the visual pedestrian. The risk level is more weighted to the jumping pedestrian than the non-viewing pedestrian that does not fall under the jumping pedestrian, and the information providing means is the residual visual recognition of the jumping pedestrian having the high degree of risk. It is preferable to notify the time with priority.
(4) Moreover, it is preferable that the said information provision means image-displays the positional information on the said jumping pedestrian and the said obstruction | occlusion object, and image-displays the information of the said visual recognition remaining time.

(1)したがって、本発明の車両用歩行者報知装置は、情報提供手段が、可視物体の情報と飛出歩行者の情報とから特定された遮蔽物体の物陰から飛出歩行者が出現して視認歩行者になるまでの時間である視認残余時間の情報を車両の運転者に提供するため、非視認歩行者のうち車両に接近して接触する蓋然性のある飛出歩行者にかかる情報を、運転者に適切に提供することができる。
(2)飛出歩行者判定手段は、端末保持者の速度情報と車両の速度情報とから非視認歩行者が車両に接近することを判定するようにすれば、確実に飛出歩行者を検出することができる。
また、残余時間算出手段は、端末保持者の速度情報及び位置情報と車両の位置情報と遮蔽物の位置情報及び形状情報とから視認残余時間を算出するようにすれば、確実に視認残余時間を算出することができる。
(1) Therefore, in the vehicular pedestrian alarm device according to the present invention, the information providing means causes the jumping pedestrian to appear from the shadow of the shielding object specified from the information on the visible object and the information on the jumping pedestrian. In order to provide the vehicle driver with information on the remaining visual time, which is the time until becoming a visual pedestrian, information on a probable jumping pedestrian that approaches and contacts the vehicle among non-visual pedestrians, It can be appropriately provided to the driver.
(2) The jumping pedestrian determination means reliably detects a jumping pedestrian by determining that a non-viewing pedestrian approaches the vehicle from the speed information of the terminal holder and the speed information of the vehicle. can do.
Further, if the remaining time calculating means calculates the remaining visual time from the speed information and position information of the terminal holder, the position information of the vehicle, and the position information and shape information of the shielding object, the remaining visual time is surely determined. Can be calculated.

(3)情報提供手段は、危険度の高い飛出歩行者の視認残余時間を優先的に報知するように構成すれば、車両に対する危険度に応じて視認残余時間を運転者に報知することにより、運転者に対してより適切に歩行者を報知することができる。   (3) If the information providing means is configured to preferentially notify the remaining visual time of a jumping pedestrian having a high degree of danger, by notifying the driver of the residual visual time according to the degree of risk to the vehicle. The pedestrian can be notified more appropriately to the driver.

(4)情報提供手段は、飛出歩行者及び遮蔽物体の位置情報を画像表示すると共に、視認残余時間の情報を画像表示するように構成すれば、運転者は直感的に飛出歩行者及び視認残余時間を知ることができるため、運転者に対して適切に歩行者を報知することができる。   (4) If the information providing means is configured to display the position information of the jumping pedestrian and the shielding object and display the information of the remaining visual time, the driver intuitively Since the remaining visual recognition time can be known, it is possible to appropriately notify the pedestrian to the driver.

本発明の一実施形態にかかる車両用歩行者報知装置を示す構成図である。It is a lineblock diagram showing the pedestrian alarm device for vehicles concerning one embodiment of the present invention. 本発明の一実施形態にかかる車両に接近する歩行者を例示する図である。It is a figure which illustrates the pedestrian who approaches the vehicle concerning one embodiment of the present invention. 本発明の一実施形態にかかる車両用歩行者報知装置における、車両に対する歩行者の危険度を説明する図であり、(a)は車両と歩行者とが接触する場合を示し、(b)は歩行者が車線を横断後にその車線を車両が通過する場合を示し、(c)は車両の通過した車線を歩行者が横断する場合を示す。It is a figure explaining the danger level of the pedestrian with respect to a vehicle in the pedestrian alert device for vehicles concerning one embodiment of the present invention, (a) shows the case where a vehicle and a pedestrian contact, (b) A case where the vehicle passes through the lane after the pedestrian crosses the lane is shown, and (c) shows a case where the pedestrian crosses the lane through which the vehicle has passed. 本発明の一実施形態にかかる車両用歩行者報知装置における視認残余時間の算出を説明する図である。It is a figure explaining calculation of the visual recognition residual time in the pedestrian alerting device for vehicles concerning one embodiment of the present invention. 本発明の一実施形態にかかる車両用歩行者報知装置における歩行者の報知を例示する図である。It is a figure which illustrates alerting | reporting of the pedestrian in the pedestrian alerting device for vehicles concerning one Embodiment of this invention. 本発明の一実施形態にかかる車両用歩行者報知装置における歩行者の検出を示すフローチャートである。It is a flowchart which shows the detection of the pedestrian in the pedestrian alert device for vehicles concerning one Embodiment of this invention. 本発明の一実施形態にかかる車両用歩行者報知装置における車両に対する歩行者の危険度の報知を示すフローチャートである。It is a flowchart which shows the alerting | reporting of the danger level of the pedestrian with respect to the vehicle in the pedestrian alerting device for vehicles concerning one Embodiment of this invention. 本発明の一実施形態にかかる車両用歩行者報知装置における車両に対する歩行者の視認残余時間の報知を示すフローチャートである。It is a flowchart which shows the alerting | reporting of the visual recognition remaining time of the pedestrian with respect to the vehicle in the pedestrian alerting device for vehicles concerning one Embodiment of this invention. 本発明の車両用歩行者報知装置におけるその他の視認残余時間の算出を説明する図である。It is a figure explaining calculation of the other visual recognition remaining time in the pedestrian alerting device for vehicles of the present invention.

以下、図面を用いて本発明の実施形態について説明する。
〈一実施形態〉
[構成]
まず、一実施形態にかかる車両用歩行者報知装置の構成を説明する。本実施形態にかかる車両は、例えばトラック又はバスといったいわゆる大型又は中型の自動車である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<One Embodiment>
[Constitution]
First, the structure of the pedestrian alert device for vehicles concerning one Embodiment is demonstrated. The vehicle according to the present embodiment is a so-called large or medium-sized automobile such as a truck or a bus.

図1に示すように、車両1は、GPS(車両位置検出手段)11と、車速センサ12と、可視物体検出部(可視物体検出手段)13と、アンテナ14aに接続された歩車間通信装置(情報通信手段)14と、操舵角センサ16と、HMI(Human Machine Interface,情報提供手段)19と、これらの構成要素11,12,13,14,16,19と接続され、比較検出部21と危険度判定部(危険度判定手段)22と可視移動体判定部23と残余時間算出部24とを有する歩行者検出ECU20とを備える。   As shown in FIG. 1, a vehicle 1 includes a GPS (vehicle position detection means) 11, a vehicle speed sensor 12, a visible object detection unit (visible object detection means) 13, and an inter-pedestrian communication device (connected to an antenna 14 a ( (Information communication means) 14, steering angle sensor 16, HMI (Human Machine Interface, information providing means) 19, and these components 11, 12, 13, 14, 16, 19 are connected to A pedestrian detection ECU 20 having a risk level determination unit (risk level determination unit) 22, a visible moving body determination unit 23, and a remaining time calculation unit 24 is provided.

GPS11は、車両1の位置を検出するものである。このGPS11は、図示しないGPSアンテナを介して車両1の緯度・経度の情報を車両1の位置情報として検出する。なお、この緯度・経度の情報を、車速や操舵角の情報を累積して車両1の向きを推定するいわゆる自律航法により補完して、車両1の位置情報として扱うことができる。
このGPS11により検出された車両1の位置情報は歩行者検出ECU20に伝達される。
The GPS 11 detects the position of the vehicle 1. The GPS 11 detects the latitude / longitude information of the vehicle 1 as position information of the vehicle 1 via a GPS antenna (not shown). The latitude / longitude information can be supplemented by so-called autonomous navigation in which the vehicle speed and steering angle information is accumulated to estimate the direction of the vehicle 1 and can be handled as the position information of the vehicle 1.
The position information of the vehicle 1 detected by the GPS 11 is transmitted to the pedestrian detection ECU 20.

車速センサ12は、車両1の車速を検出するものである。この車速センサ12としては、例えば各従動輪の回転速度を検出する車輪速センサを適用することができ、この車輪速センサの場合、検出された各従動輪の回転速度の平均速度を算出することにより車速を検出することができる。
この車速センサ12により検出された車両1の車速情報は歩行者検出ECU20に伝達される。
操舵角センサ16は、車両1のステアリングの角度(操舵角)を検出するものである。この操舵角センサ16により検出された操舵角の情報は、歩行者検出ECU20に伝達される。
The vehicle speed sensor 12 detects the vehicle speed of the vehicle 1. As the vehicle speed sensor 12, for example, a wheel speed sensor that detects the rotational speed of each driven wheel can be applied. In the case of this wheel speed sensor, the average speed of the detected rotational speed of each driven wheel is calculated. Thus, the vehicle speed can be detected.
The vehicle speed information of the vehicle 1 detected by the vehicle speed sensor 12 is transmitted to the pedestrian detection ECU 20.
The steering angle sensor 16 detects the steering angle (steering angle) of the vehicle 1. Information on the steering angle detected by the steering angle sensor 16 is transmitted to the pedestrian detection ECU 20.

可視物体検出部13は、車両1の前方における視認可能な物体(可視物体)を検出するものであり、かかる物体の位置を検出する。この可視物体検出部13としてはカメラやレーダセンサ等を用いることができる。
また、可視物体判定部23は、移動体判定部23aと形状判定部23bとを有する。この移動体判定部23aにより、可視物体検出部13による検出情報から可視物体が移動中の物体(可視移動体)であるか否かを判定する。
The visible object detection unit 13 detects a visible object (visible object) in front of the vehicle 1 and detects the position of the object. As the visible object detection unit 13, a camera, a radar sensor, or the like can be used.
The visible object determination unit 23 includes a moving body determination unit 23a and a shape determination unit 23b. The moving body determination unit 23a determines whether or not the visible object is a moving object (visible moving body) from the detection information by the visible object detection unit 13.

可視物体検出部13としてカメラを用いる場合、このカメラにより撮像された画像における物体の形状から各物体を特定し、特定した各物体の画像における位置に基づいて、車両1に対して物体の位置する方向を検出し、カメラにより撮像された画像における物体の動きと、車速センサ12により検出された車速や操舵角センサ16により検出された操舵角といった車両1の移動情報(速度情報)とに基づいて、物体が静止物であるか移動体であるかを特定することができる。   When a camera is used as the visible object detection unit 13, each object is identified from the shape of the object in the image captured by the camera, and the object is positioned with respect to the vehicle 1 based on the position of the identified object in the image. Based on the movement of the vehicle 1 such as the vehicle speed detected by the vehicle speed sensor 12 and the steering angle detected by the steering angle sensor 16 based on the movement of the object in the image detected by the camera. , Whether the object is a stationary object or a moving object can be specified.

例えば、カメラにより撮影された動画の連続する画像を比較して移動体を解析する所謂オプティカルフローを用いて、物体が移動中であるか否かを判定することができる。
また、車両1の直進移動中には、静止物はカメラにより撮像された画像中心(或いは、消失点)から車両1の車速に応じた速度で画像外側に流れていくので物体が静止物であることを特定でき、静止物と特定できないものを移動体であると特定できる。
For example, it is possible to determine whether or not an object is moving by using a so-called optical flow in which moving images are analyzed by comparing consecutive images taken by a camera.
Further, during the straight movement of the vehicle 1, the stationary object flows from the center of the image captured by the camera (or the vanishing point) to the outside of the image at a speed corresponding to the vehicle speed of the vehicle 1, so that the object is a stationary object. It is possible to specify that the object is a moving object.

あるいは、カメラにより撮像された画像における物体の大きさの変化と車速センサ12により検出された車速や操舵角センサ16により検出された操舵角といった車両1の移動情報とを用いて、物体が移動中であるか否かを判定することもできる。
移動体判定部23aによる可視移動体の判定はこのようにして行なうことが可能である。
Alternatively, the object is moving using the change in the size of the object in the image captured by the camera and the movement information of the vehicle 1 such as the vehicle speed detected by the vehicle speed sensor 12 and the steering angle detected by the steering angle sensor 16. It can also be determined whether or not.
The determination of the visible moving body by the moving body determination unit 23a can be performed in this way.

可視物体検出部13としてレーダセンサを用いる場合、レーダセンサは物体と車両1との相対距離と車両1に対する物体の位置する相対方向を検出することができるため、これらの相対距離及び相対方向から、自車両に対する物体の相対位置を検出することができ、この相対位置情報と車速センサ12により検出された車速や操舵角センサ16により検出された操舵角といった車両1の移動情報とを用いて、物体が移動中であるか否かを判定することができる。   When a radar sensor is used as the visible object detection unit 13, the radar sensor can detect the relative distance between the object and the vehicle 1 and the relative direction in which the object is positioned with respect to the vehicle 1. From these relative distance and relative direction, The relative position of the object relative to the host vehicle can be detected, and the relative position information and the movement information of the vehicle 1 such as the vehicle speed detected by the vehicle speed sensor 12 and the steering angle detected by the steering angle sensor 16 are used. It can be determined whether or not is moving.

例えば、車両1の移動中には、車両1の移動を車両1の車速及び操舵角から特定でき、静止物は、車両1を基準にすればこの車両1の移動とは逆の特性で相対移動するので、物体が静止物であることを特定でき、静止物と特定できないものを移動体であると特定できる。
また、可視物体検出部13としてレーダセンサとカメラとを併用してもよい。この場合には、例えば、物体の形状の時間変化が小さいものを同一の物体として認識し、この物体の位置を連続して検出し相対速度を検出して、物体が移動中であるか否かを判定することができる。
移動体判定部23aによる可視移動体の判定はこのようにして行なうことが可能である。
本装置では、可視物体検出部13により検出された可視物体から、移動体判定部23aによる可視移動体の判定によって静止物を除外し、可視移動体のみに特定して処理を行なう。
For example, during the movement of the vehicle 1, the movement of the vehicle 1 can be specified from the vehicle speed and the steering angle of the vehicle 1, and the stationary object moves relative to the vehicle 1 with characteristics opposite to the movement of the vehicle 1. Therefore, it is possible to specify that the object is a stationary object, and it is possible to specify an object that cannot be identified as a stationary object as a moving object.
Further, a radar sensor and a camera may be used in combination as the visible object detection unit 13. In this case, for example, a small change in the shape of the object is recognized as the same object, the position of this object is continuously detected, the relative speed is detected, and whether or not the object is moving Can be determined.
The determination of the visible moving body by the moving body determination unit 23a can be performed in this way.
In the present apparatus, the stationary object is excluded from the visible object detected by the visible object detection unit 13 by the determination of the visible moving object by the moving object determining unit 23a, and processing is performed by specifying only the visible moving object.

また、本実施形態では、可視物体判定部23の形状判定部23bにより、可視物体検出部13による検出情報から可視物体の形状を判定する。この可視物体の形状としては、可視物体の輪郭や物体の幅が用いられる。
例えば、可視物体検出部13としてカメラを用いる場合、カメラにより撮像された画像中の物体の輪郭を抽出し、この抽出された輪郭を物体の形状として検出する。この場合、カメラ画像の視野角として、物体の形状としての輪郭や幅を検出する。また、この検出された物体の形状から予め歩行者等の形状として記憶されたテンプレート形状との一致度合いを計算する事により物体が歩行者等であることを検出することもできる。
In the present embodiment, the shape of the visible object is determined by the shape determining unit 23 b of the visible object determining unit 23 from the detection information by the visible object detecting unit 13. As the shape of the visible object, the outline of the visible object and the width of the object are used.
For example, when a camera is used as the visible object detection unit 13, the contour of an object in an image captured by the camera is extracted, and the extracted contour is detected as the shape of the object. In this case, the contour or width as the shape of the object is detected as the viewing angle of the camera image. It is also possible to detect that the object is a pedestrian or the like by calculating the degree of coincidence with the template shape stored in advance as the shape of the pedestrian or the like from the detected shape of the object.

また、可視物体検出部13としてレーダセンサを用いる場合、レーダセンサにより検出された相対速度又は距離が同一の検出点の集合を抽出し、これらの抽出された検出点に対応するレーダセンサの照射角として物体の幅を検出する。これにより物体の幅を検出することができる。さらに、レーダセンサにより検出された物体の幅を鉛直方向に累積すれば、物体の輪郭を検出することができる。この場合、予め歩行者等の形状として記憶されたテンプレート形状との一致度合いを計算する事により物体の形状から物体が歩行者等であることを検出することもできる。或いは、物体の幅のみ、又は、物体の幅とこの物体の動き(位置変化)とに基づいて、物体が歩行者等であることを検出することも考えられる。
形状判定部23bによる物体の形状の判定はこのようにして行なうことが可能である。
When a radar sensor is used as the visible object detection unit 13, a set of detection points having the same relative speed or distance detected by the radar sensor is extracted, and the irradiation angle of the radar sensor corresponding to the extracted detection points. The width of the object is detected as Thereby, the width of the object can be detected. Furthermore, if the width of the object detected by the radar sensor is accumulated in the vertical direction, the contour of the object can be detected. In this case, it is also possible to detect that the object is a pedestrian or the like from the shape of the object by calculating the degree of coincidence with the template shape stored in advance as the shape of the pedestrian or the like. Alternatively, it may be possible to detect that the object is a pedestrian or the like based on only the width of the object or based on the width of the object and the movement (position change) of the object.
Determination of the shape of the object by the shape determination unit 23b can be performed in this way.

なお、可視物体検出部13は、物体において反射する反射光や電波の反射波を用いており、車両1と物体との間に障害物がある場合にはこれらの反射光又は反射波が遮られるため、物体を検出しない。つまり、可視物体検出部13は、車両1の運転者により視認することができない物体(非視認物体)を検出しない。したがって、この移動体判定部23aにより判定される可視移動体の情報にも、視認することができない物体(非視認物体)は含まれない。   The visible object detection unit 13 uses reflected light reflected from the object or a reflected wave of radio waves, and when there is an obstacle between the vehicle 1 and the object, the reflected light or reflected wave is blocked. Therefore, no object is detected. That is, the visible object detection unit 13 does not detect an object (non-visible object) that cannot be visually recognized by the driver of the vehicle 1. Therefore, the information of the visible moving object determined by the moving object determining unit 23a does not include an object that cannot be visually recognized (non-visible object).

歩車間通信装置14は、車両1の周辺における端末保持者の保持する携帯端末と通信を行なうものである。この歩車間通信装置14は、携帯端末と通信することができれば端末保持者の存在を検出し、携帯端末との通信により携帯端末の位置情報や速度情報(ここでは、移動速度と移動方向とを合わせたものを速度情報とする)を取得することによって端末保持者の位置情報及び速度情報を取得する。
この歩車間通信装置14は、通信を行なうためのアンテナ14aが接続され、この通信により取得された端末保持者の情報は歩行者検出ECU20に伝達される。
The inter-pedal communication device 14 communicates with a portable terminal held by a terminal holder around the vehicle 1. The inter-vehicle communication device 14 detects the presence of the terminal holder if it can communicate with the portable terminal, and detects the position information and speed information (here, the moving speed and the moving direction) of the portable terminal by communicating with the portable terminal. The terminal holder's position information and speed information are acquired by acquiring the combined information as speed information).
This inter-vehicle communication device 14 is connected to an antenna 14a for performing communication, and information on the terminal holder acquired by this communication is transmitted to the pedestrian detection ECU 20.

歩行者検出ECU20には、上記のように種々の情報が周期的に伝達される。ここでいう種々の情報とは、GPS11により検出された車両1の位置情報、車速センサ12により検出された車両1の車速情報、可視物体検出部13により検出された物体の情報、並びに、歩車間通信装置14により取得された端末保持者の存在検出情報並びに位置情報及び速度情報を少なくも含む。   Various information is periodically transmitted to the pedestrian detection ECU 20 as described above. The various information referred to here includes the position information of the vehicle 1 detected by the GPS 11, the vehicle speed information of the vehicle 1 detected by the vehicle speed sensor 12, the information of the object detected by the visible object detection unit 13, and the distance between the pedestrians. It includes at least terminal presence detection information, position information, and speed information acquired by the communication device 14.

なお、この歩行者検出ECU20は、例えばマイクロプロセッサやROM,RAM等を集積したLSIデバイスや組み込み電子デバイスとして構成される電子制御装置である。
また、歩行者検出ECU20は、比較検出部(比較検出手段)21と危険度判定部(危険度判定手段)22と可視物体判定部23と残余時間算出部(残余時間算出手段)24とを有する。
The pedestrian detection ECU 20 is an electronic control device configured as, for example, an LSI device or an embedded electronic device in which a microprocessor, ROM, RAM, and the like are integrated.
The pedestrian detection ECU 20 includes a comparison detection unit (comparison detection unit) 21, a risk determination unit (risk level determination unit) 22, a visible object determination unit 23, and a remaining time calculation unit (residual time calculation unit) 24. .

比較検出部21は、非視認歩行者判定部(非視認歩行者判定手段)21aと飛出歩行者判定部(飛出歩行者判定手段)21bとを有する。
比較検出部21は、非視認歩行者判定部21aにより非視認歩行者を判定し、運転者により視認可能な歩行者(視認歩行者)と運転者により視認することができない物陰の歩行者(非視認歩行者)とを判別して検出する。また、比較検出部21は、飛出歩行者判定部21bにより飛出歩行者を判定し、非視認歩行者のうち飛び出しうる歩行者(飛出歩行者)を判別して検出する。
The comparison detection unit 21 includes a non-viewing pedestrian determination unit (non-visible pedestrian determination unit) 21a and a jumping pedestrian determination unit (flying pedestrian determination unit) 21b.
The comparison detection unit 21 determines a non-viewing pedestrian by the non-viewing pedestrian determination unit 21a, and a pedestrian (non-viewing pedestrian) that can be visually recognized by the driver and a pedestrian (non-visible) that cannot be viewed by the driver. Discriminating pedestrians) and detecting them. Moreover, the comparison detection part 21 determines a jumping pedestrian by the jumping pedestrian determination part 21b, and discriminate | determines and detects the pedestrian (flying pedestrian) which can jump out among non-visible pedestrians.

まず、比較検出部21による視認歩行者と非視認歩行者とを判別しての検出(第1検出ともいう)を説明する。なお、この検出は、非視認歩行者判定部21aにより判定された視認不能な物陰にいる歩行者を、比較検出部21が非視認歩行者として検出するものである。   First, detection (also referred to as first detection) performed by the comparative detection unit 21 by discriminating between a visible pedestrian and a non-visible pedestrian will be described. In this detection, the comparison detection unit 21 detects a pedestrian in an invisible shade determined by the non-visual pedestrian determination unit 21a as a non-visual pedestrian.

この第1検出では、移動体判定部23aにより判定された可視移動体の位置情報と、歩車間通信装置14による通信により検出された端末保持者の位置情報とを比較して、両者を同定する。これにより、視認可能な静止物の情報を用いることがなく、検出工程の簡素化を図ることができ、煩雑に大量の歩行者を検出することがない。   In the first detection, the position information of the visible moving object determined by the moving object determination unit 23a is compared with the position information of the terminal holder detected by communication by the inter-pedestrian communication device 14, and both are identified. . This makes it possible to simplify the detection process without using information on a visible stationary object, and to detect a large number of pedestrians in a complicated manner.

そして、位置情報の一致する可視移動体及び端末保持者を視認可能な歩行者(視認歩行者)として検出する。位置情報の一致する可視移動体及び端末保持者が複数検出される場合には、位置情報の一致する可視移動体及び端末保持者を一人の視認歩行者としてそれぞれ検出する。   And the visible moving body and terminal holding | maintenance with which position information corresponds are detected as a pedestrian (visual pedestrian) which can be visually recognized. When a plurality of visible moving bodies and terminal holders having the same position information are detected, the visible moving bodies and terminal holders having the same position information are respectively detected as one visual pedestrian.

なお、この場合の位置情報とは、可視移動体の位置情報が車両1に対する相対位置情報、つまり、車両1に対する相対方向、或いは、車両1に対する相対距離及び相対方向の情報であるのに対して、端末保持者の位置情報がGPS情報、即ち、地球基準の絶対位置情報である場合があるが、この場合には、車両1のGPS情報と端末保持者のGPS情報とから端末保持者の位置情報を車両1に対する相対位置情報に変換して比較したり、可視移動体の位置情報を車両1のGPS情報により地球基準の絶対位置情報に変換したりして、同一パラメータに統一して比較する。ただし、可視移動体の位置情報が車両1に対する相対方向のみ得られる場合には、可視移動体の位置情報は点情報ではなく線情報であるが、位置情報から車両1に最も近い端末保持者のものを可視移動体の位置情報と比較する。   The position information in this case is that the position information of the visible moving body is relative position information with respect to the vehicle 1, that is, relative information with respect to the vehicle 1, or information with respect to the relative distance and relative direction with respect to the vehicle 1. In some cases, the position information of the terminal holder is GPS information, that is, earth-based absolute position information. In this case, the position of the terminal holder is determined from the GPS information of the vehicle 1 and the GPS information of the terminal holder. The information is converted into relative position information with respect to the vehicle 1 and compared, or the position information of the visible moving body is converted into the absolute position information of the earth reference by the GPS information of the vehicle 1 and compared with the same parameter. . However, when the position information of the visible moving object is obtained only in the relative direction with respect to the vehicle 1, the position information of the visible moving object is not point information but line information, but from the position information of the terminal holder closest to the vehicle 1 The object is compared with the position information of the visible moving object.

一方、可視移動体の位置情報の何れにも一致しない端末保持者を視認不能な物陰にいる歩行者(非視認歩行者)として検出する。位置情報の一致しない可視移動体及び端末保持者が複数検出される場合には、位置情報の一致しない可視移動体及び端末保持者のうち端末保持者を非視認歩行者としてそれぞれ検出する。
つまり、比較検出部21は、可視移動体に該当する端末保持者を視認歩行者として検出し、可視移動体に該当しない端末保持者を非視認歩行者判定部21aにより非視認歩行者と判定して検出する。
なお、端末保持者の位置情報の何れにも一致しない可視移動体については、視認歩行者として検出することができる。
On the other hand, a terminal holder who does not match any of the position information of the visible moving body is detected as a pedestrian (non-visible pedestrian) who is in the shadow of being invisible. When a plurality of visible moving bodies and terminal holders whose position information does not match are detected, the terminal holders are detected as non-viewing pedestrians among the visible moving bodies and terminal holders whose position information do not match.
That is, the comparison detection unit 21 detects a terminal holder corresponding to the visible moving body as a visible pedestrian, and determines a terminal holder not corresponding to the visible moving body as a non-visible pedestrian by the non-visible pedestrian determination unit 21a. To detect.
Note that a visible moving body that does not match any of the position information of the terminal holder can be detected as a visual pedestrian.

次に、比較検出部21による非視認歩行者のうちから飛出歩行者を判別しての検出(第2検出)を説明する。なお、この検出は、飛出歩行者判定部21bにより判定された非視認歩行者のうち車両1に接近する歩行者を、比較検出部21が非視認歩行者として検出するものである。   Next, the detection (second detection) performed by discriminating the jumping pedestrian among the non-visible pedestrians by the comparison detection unit 21 will be described. In this detection, the comparison detection unit 21 detects a pedestrian approaching the vehicle 1 among the invisible pedestrians determined by the jumping pedestrian determination unit 21b as the invisible pedestrian.

この第2検出では、GSP11により検出された車両1の位置情報と、車速センサ12により検出された車速情報と、操舵角センサ16により検出された操舵角情報と、歩車間通信装置14により取得された端末保持者の位置情報及び速度情報とに基づいて、車両1に接近する端末保持者(接近端末保持者)を検出する。   In the second detection, the position information of the vehicle 1 detected by the GSP 11, the vehicle speed information detected by the vehicle speed sensor 12, the steering angle information detected by the steering angle sensor 16, and the inter-vehicle communication device 14 are acquired. The terminal holder approaching the vehicle 1 (approaching terminal holder) is detected based on the position information and speed information of the terminal holder.

そして、この接近端末保持者と第1検出で検出された非視認歩行者とを比較し、位置情報の一致する接近端末保持者及び非視認歩行者を物陰から飛び出しうる歩行者(飛出歩行者)として検出する。この位置情報の一致する接近端末保持者及び非視認歩行者が複数検出される場合には、位置情報の一致する接近端末保持者及び非視認歩行者を一人の飛出歩行者としてそれぞれ検出する。   Then, the approaching terminal holder is compared with the invisible pedestrian detected by the first detection, and the approaching terminal holder and the invisible pedestrian having the same position information can jump out from the shadow (the jumping pedestrian ) To detect. When a plurality of approaching terminal holders and non-viewing pedestrians having the same position information are detected, the approaching terminal holder and non-viewing pedestrians having the same position information are respectively detected as one jumping pedestrian.

つまり、比較検出部21は、接近端末保持者に該当する非視認歩行者を飛出歩行者判定部21bにより飛出歩行者と判定して検出する。
なお、接近端末保持者の位置情報の何れにも一致しない非視認歩行者については、物陰にいて車両1から遠ざかる非視認遠離歩行者として検出することができる。
That is, the comparison detection unit 21 detects and detects a non-viewing pedestrian corresponding to the approaching terminal holder as a jumping pedestrian by the jumping pedestrian determination unit 21b.
Note that a non-visible pedestrian that does not match any of the position information of the approaching terminal holder can be detected as a non-visually distant pedestrian who is in the shadow and moves away from the vehicle 1.

比較検出部21は、上記の第1及び第2検出とは別の検出として、接近端末保持者の位置情報と第1検出で検出された視認歩行者の位置情報とを比較し、位置情報の一致する接近端末保持者及び視認歩行者を視認接近歩行者として検出することができ、また、位置情報の一致しない接近端末保持者及び視認歩行者を視認遠離歩行者として検出することができる。これらの検出においても接近端末保持者及び視認歩行者が複数検出される場合には、位置情報の一致する接近端末保持者及び視認歩行者を一人の視認接近歩行者としてそれぞれ検出し、また、位置情報の一致しない接近端末保持者及び視認歩行者を一人の視認遠離歩行者としてそれぞれ検出することができる。   The comparison detection unit 21 compares the position information of the approaching terminal holder and the position information of the visual pedestrian detected by the first detection as a detection different from the first and second detections described above, and The approaching terminal holder and the viewing pedestrian that match can be detected as the viewing approaching pedestrian, and the approaching terminal holder and the viewing pedestrian whose position information does not match can be detected as the viewing distance pedestrian. In these detections, when a plurality of approaching terminal holders and viewing pedestrians are detected, the approaching terminal holder and the viewing pedestrian having the same position information are detected as one viewing approaching pedestrian, respectively, An approaching terminal holder and a visually recognized pedestrian whose information does not match can be detected as one visually distant pedestrian.

危険度判定部22は、車両1に対する歩行者の危険度を重み付けする。詳細には、危険度判定部22は、視認歩行者や非視認歩行者や飛出歩行者等の歩行者種別にかかわらず検出された全ての歩行者それぞれについて危険度を設定し、設定された危険度を歩行者種別に応じて重み付けする。   The risk determination unit 22 weights the risk of the pedestrian with respect to the vehicle 1. Specifically, the risk determination unit 22 sets and sets the risk for each detected pedestrian regardless of the pedestrian type, such as a visible pedestrian, a non-visual pedestrian, or a jumping pedestrian. The risk is weighted according to the pedestrian type.

まず、危険度判定部22による危険度の設定について図2及び図3を用いて説明する。
図2には、図中下から上に走行する車両1と、車両1の走行する道路を横断(ここでは斜め横断)する歩行者2を例示する。
車両1は、車速v1で走行し、図2における車両1の上方の斜線部は、図2に示す時点T0以降に車両1が走行する領域(走行領域)を示す。
First, risk level setting by the risk level determination unit 22 will be described with reference to FIGS. 2 and 3.
FIG. 2 illustrates a vehicle 1 that travels from the bottom to the top in the figure and a pedestrian 2 that crosses the road on which the vehicle 1 travels (in this case, obliquely crossing).
The vehicle 1 travels at a vehicle speed v 1 , and the hatched portion above the vehicle 1 in FIG. 2 indicates a region (travel region) in which the vehicle 1 travels after time T 0 shown in FIG.

車両1は、距離L1だけ走行した時点T11(=L1/v1)において地点P1を通過し、また、距離L2だけ走行した時点T12(=L2/v1)において地点P2を通過する。
歩行者2は、図2中の歩行者2と交差する一点鎖線を中心に図中左上に向かって速度v1で移動する。
歩行者2は、距離d1だけ移動した時点T21(=d1/v2)において地点P1を通過し、また、距離d2だけ移動した時点T22(=d2/v2)において地点P2を通過する。
The vehicle 1 passes the point P 1 at the time T 11 (= L 1 / v 1 ) traveled by the distance L 1 , and the point at the time T 12 (= L 2 / v 1 ) traveled by the distance L 2. passing through the P 2.
The pedestrian 2 moves at a speed v 1 toward the upper left in the figure around a one-dot chain line intersecting with the pedestrian 2 in FIG.
Pedestrian 2 passes through the point P 1 at a distance d 1 by the time you move T 21 (= d 1 / v 2), also at a distance d 2 only when moved T 22 (= d 2 / v 2) passing through the point P 2.

図3は、縦軸に車両1の時間T1をとり、この軸上に上記の時点T11,T12が存在し、横軸に歩行者2の時間T2をとり、この軸上に上記の時点T21,T22が存在するものとする。実際の事象eは時間T1=時間T2で示す線上で生じるので、この線上で車両1と歩行者2とが接触するか否かを判定することができる。 In FIG. 3, the time T 1 of the vehicle 1 is taken on the vertical axis, the time points T 11 and T 12 are present on the axis, the time T 2 of the pedestrian 2 is taken on the horizontal axis, and the time T 2 is on the axis. It is assumed that time points T 21 and T 22 exist. Since the actual event e occurs on the line indicated by time T 1 = time T 2 , it can be determined whether or not the vehicle 1 and the pedestrian 2 are in contact with each other on this line.

なお、図3(a)〜(c)の何れも、歩行者2が地点P1を通過する点を事象ea1で示し、歩行者2が移動速度v2を維持して移動し続けたとしたら地点P2を通過する点を事象ea2で示す。また、車両1が地点P1を通過する点を事象eb1で示し、車両1が移動速度v1を維持して走行し続けたとしたら地点P2を通過する点を事象eb2で示す。 Incidentally, none of FIG 3 (a) ~ (c) , When the pedestrian 2 indicates that passing through the point P 1 at event e a1, the pedestrian 2 is continued to move by keeping the moving velocity v 2 It indicates the point of passing the point P 2 in the event e a2. Further, the point at which the vehicle 1 passes the point P 1 is indicated by an event eb1 , and if the vehicle 1 continues to travel while maintaining the moving speed v 1 , the point at which the vehicle 1 passes the point P 2 is indicated by an event eb2 .

図3(a)には、図2に示す車両1と歩行者2とが接触する場合を例示する。この場合、時点T11及び時点T12並びに時点T21及び時点T22で囲まれる領域(以下、交差接触領域ともいう)と時間T1=時間T2で示す線とが交差する。
つまり、歩行者2が地点P1から地点P2の間の地点を移動中に、車両1が地点P1から地点P2の間の地点を走行する。したがって、図3(a)は、車両1に対して歩行者2が飛び出し接触するものを示している。
FIG. 3A illustrates a case where the vehicle 1 and the pedestrian 2 shown in FIG. 2 are in contact with each other. In this case, a region surrounded by the time T 11 and the time T 12 and the time T 21 and the time T 22 (hereinafter also referred to as a cross contact region) intersects with a line indicated by time T 1 = time T 2 .
That is, the vehicle 1 travels between the points P 1 and P 2 while the pedestrian 2 is moving between the points P 1 and P 2 . Therefore, FIG. 3A shows a case where the pedestrian 2 comes out of contact with the vehicle 1.

図3(b)には、図2に示す車両1が走行領域を走行するよりも前に歩行者2が走行領域を横断する場合を例示する。この場合、交差接触領域と時間T1=時間T2で示す線とが交差しない。
つまり、歩行者2が地点P1から地点P2の間の地点を移動完了後に、車両1が地点P1から地点P2の間の地点を走行する。
FIG. 3B illustrates a case where the pedestrian 2 crosses the travel area before the vehicle 1 shown in FIG. 2 travels the travel area. In this case, the intersecting contact region and the line indicated by time T 1 = time T 2 do not intersect.
That is, after the pedestrian 2 completes the movement between the points P 1 and P 2 , the vehicle 1 travels between the points P 1 and P 2 .

図3(c)には、図2に示す歩行者2が走行領域を横断するよりも前に車両1が地点P2を通過する場合を例示する。この場合、交差接触領域と時間T1=時間T2で示す線とが交差しない。
つまり、車両1が地点P1から地点P2の間の地点を通過後に、歩行者2が地点P1から地点P2の間の地点を横断する。
FIG. 3C illustrates a case where the vehicle 1 passes through the point P 2 before the pedestrian 2 shown in FIG. 2 crosses the traveling area. In this case, the intersecting contact region and the line indicated by time T 1 = time T 2 do not intersect.
That is, the vehicle 1 after passing through the point between the point P 1 point P 2, the pedestrian 2 traverses a point between the point P 1 point P 2.

なお、図3(c)には、走行中の車両1に横方向から接触する歩行者2は想定し難いため車両1の前後方向の長さ成分を鑑みないものを示すが、かかる車両1の長さを車速v1で除算した時間分だけ時点T12を補正して、車両1の前後方向の長さ成分を含んだものを用いてもよい。 Note that FIG. 3C shows a pedestrian 2 that makes contact with the traveling vehicle 1 from the lateral direction, so that it does not take into account the length component in the front-rear direction of the vehicle 1. the length by correcting the time period only when T 12 divided by the vehicle speed v 1, may be used those containing a longitudinal length component of the vehicle 1.

危険度判定部22は、交差接触領域と時間T1=時間T2で示す線との縦軸方向の距離、即ち車両1の時間T1を前後にシフトさせると歩行者2に接触する時間Taが小さくなるに連れて危険度を高く設定する。
例えば、図3(a)に示す例では、交差接触領域と時間T1=時間T2で示す線とが交差しており、時間Taはゼロである。この場合、危険度判定部22は高い危険度を設定する。
図3(b)に示す例では、交差接触領域と時間T1=時間T2で示す線との縦軸方向の距離は時間Ta1で示されており、危険度判定部22はこの時間Ta1の大きさに応じた危険度を設定する。
The risk determination unit 22 shifts the distance in the vertical axis direction between the intersection contact area and the time T 1 = the line indicated by the time T 2 , that is, the time T for contacting the pedestrian 2 when the time T 1 of the vehicle 1 is shifted back and forth. As a becomes smaller, the risk level is set higher.
For example, in the example shown in FIG. 3A, the intersecting contact region and the line indicated by time T 1 = time T 2 intersect, and the time Ta is zero. In this case, the risk determination unit 22 sets a high risk.
In the example shown in FIG. 3B, the distance in the vertical axis direction between the intersecting contact region and the line indicated by time T 1 = time T 2 is indicated by time Ta 1 , and the risk determination unit 22 performs the time T 1. Set the risk level according to the size of a1 .

同様に、図3(c)に示す例では、交差接触領域と時間T1=時間T2で示す線との縦軸方向の距離は時間Ta2で示されており、危険度判定部22はこの時間Ta2の大きさに応じた危険度を設定する。
なお、歩行者が複数検出される場合には、危険度判定部22は検出された歩行者それぞれに危険度を設定する。
Similarly, in the example shown in FIG. 3C, the distance in the vertical axis direction between the intersecting contact region and the line indicated by time T 1 = time T 2 is indicated by time Ta 2. The degree of risk corresponding to the magnitude of this time Ta2 is set.
When a plurality of pedestrians are detected, the risk level determination unit 22 sets a risk level for each detected pedestrian.

次に、設定された危険度の危険度判定部22による重み付けについて説明する。
危険度判定部22は、比較検出部21により判別された歩行者種別に応じて危険度を重み付けする。
すなわち、危険度判定部22は、視認歩行者よりも非視認歩行者に危険度を大きく重み付けする。また、危険度判定部22は、飛出歩行者に該当しない非視認歩行者よりも飛出歩行者に危険度を大きく重み付けする。
Next, the weighting by the risk determination unit 22 of the set risk will be described.
The risk determination unit 22 weights the risk according to the pedestrian type determined by the comparison detection unit 21.
That is, the risk level determination unit 22 weights the risk level more heavily on the non-viewing pedestrian than on the viewing pedestrian. In addition, the risk level determination unit 22 weights the risk level of the jumping pedestrian more than the non-viewing pedestrian that does not correspond to the jumping pedestrian.

したがって、危険度判定部22は、車両1に対して接触する蓋然性に応じた危険度を歩行者種別を問わずに検出された全ての歩行者にそれぞれ設定し、この危険度に歩行者種別に応じて重み付けする。
歩行者検出ECU20は、HMI19に対して危険度判定部22により重み付けされた歩行者の危険度にかかる情報提供指示を行なう。
Therefore, the risk determination unit 22 sets the risk according to the probability of contact with the vehicle 1 for all detected pedestrians regardless of the pedestrian type, and sets the risk to the pedestrian type. Weight accordingly.
The pedestrian detection ECU 20 instructs the HMI 19 to provide information on the pedestrian risk weighted by the risk determination unit 22.

残余時間算出部24は、可視物体検出部13により検出された物体の検出情報と飛出歩行者判定部21bにより判定された飛出歩行者の情報とから、飛出歩行者の手前に存在する遮蔽物を特定し、この遮蔽物の物陰から飛出歩行者が出現して視認歩行者になるまでの時間を算出する。   The remaining time calculation unit 24 exists in front of the jumping pedestrian from the detection information of the object detected by the visible object detection unit 13 and the information of the jumping pedestrian determined by the jumping pedestrian determination unit 21b. The shielding object is specified, and the time from the appearance of the shielding object to the appearance of the jumping pedestrian and becoming a visual pedestrian is calculated.

まず、残余時間算出部24による遮蔽物の特定について説明する。
この遮蔽物の特定には、少なくとも可視物体の情報,車両1の位置情報及び飛出歩行者の情報を用いる。
可視物体の情報は、移動体判定部23aにより、可視物体検出部13により検出された物体の検出情報から可視移動体でない(静止物)と判定された物体の位置情報である。なお、この静止物の位置情報は、車両1に対する相対方向のみ得られる場合の線情報で足りる。もちろん、静止物の位置情報として車両に対する相対方向及び相対距離が得られる場合等の点情報を用いてもよい。
First, the identification of the shielding object by the remaining time calculation unit 24 will be described.
In order to identify the shielding object, at least information on a visible object, position information on the vehicle 1 and information on a jumping pedestrian are used.
The information on the visible object is the position information of the object that is determined not to be a visible moving object (stationary object) from the detection information of the object detected by the visible object detection unit 13 by the moving object determination unit 23a. Note that the position information of the stationary object may be line information when only the relative direction with respect to the vehicle 1 is obtained. Of course, point information such as a case where a relative direction and a relative distance to the vehicle can be obtained as the position information of the stationary object may be used.

また、車両1の位置情報は、GPS11により検出された車両の位置情報である。この位置情報はもちろん点情報である。
また、飛出歩行者の情報は、歩車間通信装置14により取得された情報のうち、飛出歩行者判定部21bにより飛出歩行者として判定された端末保持者の位置情報である。この位置情報は、GPS等により検出される点情報である。
そして、残余時間算出部24は、車両1の位置と飛出歩行者の位置情報とを接続する線上に位置する可視物体(静止物)を検出し、この物体を遮蔽物として特定する。
Further, the position information of the vehicle 1 is the position information of the vehicle detected by the GPS 11. This position information is of course point information.
Further, the information on the jumping pedestrian is the position information of the terminal holder determined as the jumping pedestrian by the jumping pedestrian determination unit 21b among the information acquired by the inter-vehicle communication device 14. This position information is point information detected by GPS or the like.
And the remaining time calculation part 24 detects the visible object (stationary object) located on the line which connects the position of the vehicle 1 and the positional information on a jumping pedestrian, and specifies this object as a shielding object.

すなわち、飛出歩行者と車両1との間には、この飛出歩行者を非視認状態にする遮蔽物が存在する。したがって、車両1の位置と飛出歩行者の位置を接続する線上の可視静止物は、飛出歩行者を非視認状態にする遮蔽物であると特定することができる。   In other words, there is a shield between the jumping pedestrian and the vehicle 1 that makes the jumping pedestrian non-visible. Therefore, the visible stationary object on the line connecting the position of the vehicle 1 and the position of the jumping pedestrian can be specified as a shield that makes the jumping pedestrian non-visible.

次に、図4を用いて、残余時間算出部24による視認残余時間の算出について説明する。
図4には、図中下から上に向かって走行する車両1aと、その左前方に静止物3aを挟んで歩行者2aが存在する状況を示す。この時点Txでは、車両1aの運転者には、静止物3は視認することはできるが、歩行者2aを視認することができない。つまり、この静止物3aは歩行者2aを遮蔽する物体(遮蔽物)である。
Next, calculation of the visual recognition remaining time by the remaining time calculation unit 24 will be described with reference to FIG.
FIG. 4 shows a situation in which a vehicle 1a that travels from the bottom to the top in the figure and a pedestrian 2a is present on the left front side with a stationary object 3a interposed therebetween. In this point T x, the driver of the vehicle 1a, but stationary 3 can be visually recognized, it is impossible to visually recognize the pedestrian 2a. That is, the stationary object 3a is an object (shielding object) that shields the pedestrian 2a.

歩行者2aは、移動速度v2aで車両1aの前方を横切る方向に移動し、端末保持者であり、飛出歩行者判定部21bにより飛出歩行者と判定されている。
なお、この時点で車両1aの残余時間算出部24は、飛出歩行者の速度情報及び位置情報を取得しており、静止物3aを遮蔽物として特定している。
車両1aの残余時間算出部24は、飛出歩行者の位置情報及び速度情報,車両1aの位置情報,並びに遮蔽物として特定した静止物3aの位置情報及び形状情報の情報を用いて、視認残余時間を算出する。
Pedestrian 2a moves in a direction transverse to the front of the vehicle 1a in the moving velocity v 2a, a terminal holder, it is determined that the pedestrian protruded by the protruding pedestrian determination unit 21b.
At this time, the remaining time calculation unit 24 of the vehicle 1a acquires the speed information and position information of the jumping pedestrian and specifies the stationary object 3a as a shielding object.
The remaining time calculating unit 24 of the vehicle 1a uses the position information and speed information of the jumping pedestrian, the position information of the vehicle 1a, and the position information and shape information of the stationary object 3a specified as the shielding object, so Calculate time.

ここでいう遮蔽物の形状情報とは、遮蔽物の幅等の情報である。この遮蔽物の幅の情報は、例えば、形状判定部23bにより抽出された遮蔽物の輪郭(図4中に示す一点鎖線で示す)の大きさに対応するカメラ画像の視野角θに基づいて取得される。
残余時間算出部24は、飛出歩行者の位置情報及び速度情報と遮蔽物の形状情報とを用いて、視野角θの中にいる飛出歩行者が視野角θの外に出現するまでの時間(視認残余時間)を算出する。
Here, the shape information of the shielding object is information such as the width of the shielding object. The information on the width of the shielding object is acquired based on, for example, the viewing angle θ of the camera image corresponding to the size of the contour of the shielding object (indicated by the alternate long and short dash line in FIG. 4) extracted by the shape determination unit 23b. Is done.
The remaining time calculation unit 24 uses the position information and speed information of the jumping pedestrian and the shape information of the shielding object until the jumping pedestrian in the viewing angle θ appears outside the viewing angle θ. Time (remaining visual recognition time) is calculated.

図4では、符号2aで示す時点Txの歩行者は非視認状態であるが、符号2a’で示す時点Tx後の時点TYでは歩行者は静止物3aの物陰から出現する状況を示す。この場合、残余時間算出部24は、視野角θの情報(遮蔽物の大きさの情報)と、視野角θの中にいる非視認状態の飛出歩行者の位置情報及び速度情報とから、飛出歩行者が視野角の外に出現して視認歩行者になるまでの移動距離と移動速度とを取得することができ、この距離を速度で除算することにより視認残余時間を算出することができる。 In Figure 4, the pedestrian at the time T x indicated by the reference numeral 2a is a non-visible state, the time T Y In the pedestrian after the time T x indicated by reference numeral 2a 'shows the situation emerging from the shadows of the stationary 3a . In this case, the remaining time calculation unit 24, from the information on the viewing angle θ (information on the size of the shield), the position information and the speed information of the unseen pedestrian in the viewing angle θ, The movement distance and movement speed until the jumping pedestrian appears outside the viewing angle and becomes a visual pedestrian can be obtained, and the visual recognition remaining time can be calculated by dividing this distance by the speed. it can.

また、歩行者検出ECU20は、HMI19に対して残余時間算出部24により算出された視認残余時間にかかる情報提供指示を行なう。
HMI19は、運転者と車両設備とのインターフェイスであり、車両1の運転者に情報を提供するものである。このHMI19としては、モニタやヘッドアップディスプレイやスピーカ等を用いることができる。
このHMI19は、歩行者検出ECU20から視認残余時間にかかる情報提供指示がされると、車両1の運転者に飛出歩行者の視認残余時間を報知する。
In addition, the pedestrian detection ECU 20 instructs the HMI 19 to provide information related to the visual recognition residual time calculated by the residual time calculation unit 24.
The HMI 19 is an interface between the driver and the vehicle equipment, and provides information to the driver of the vehicle 1. As the HMI 19, a monitor, a head-up display, a speaker, or the like can be used.
The HMI 19 notifies the driver of the vehicle 1 of the remaining visual recognition time of the jumping pedestrian when an instruction to provide information regarding the remaining visual recognition time is issued from the pedestrian detection ECU 20.

例えば、HMI19は、歩行者検出EUC20から視認残余時間にかかる情報提供指示がされると、車両1の前方を写し出すモニタに飛出歩行者のアイコン等を飛出歩行者が潜む静止物に重ねて表示し、各飛出歩行者の視認残余時間を表示する。この際、視認残余時間の短いものを大きく又は色を変えて表示したり、併せてスピーカにより警報等を鳴らしてもよい。このモニタに替えて又は加えて、モニタに表示するのと同様にヘッドアップディスプレイ上で飛出歩行者のアイコン等を飛出歩行者が潜む静止物に重ねて表示し、各飛出歩行者の視認残余時間を表示してもよい。これにより、視認残余時間に応じて飛出歩行者を運転者に報知することができる。なお、飛出歩行者が複数検出される場合には、視認残余時間の短い飛出歩行者を優先的に報知する構成としてもよい。   For example, when the HMI 19 is instructed to provide information related to the remaining visual recognition time from the pedestrian detection EUC 20, the HMI 19 overlays the flying pedestrian's icon or the like on the stationary object where the flying pedestrian lurks on the monitor that displays the front of the vehicle 1. Display the remaining visual recognition time of each pedestrian. At this time, an object with a short visual recognition remaining time may be displayed with a larger or different color, or an alarm or the like may be sounded with a speaker. In place of or in addition to this monitor, the icon of the jumping pedestrian is displayed on the head-up display in a manner similar to that displayed on the monitor, superimposed on the stationary object that the jumping pedestrian lurks, and The remaining visual recognition time may be displayed. Thereby, it is possible to notify the driver of the jumping pedestrian according to the remaining visual time. In addition, when multiple jumping pedestrians are detected, it is good also as a structure which alert | reports the jumping pedestrian with short visual recognition remaining time preferentially.

或いは、HMI19は、歩行者検出ECU20から歩行者の危険度にかかる情報提供指示がされると、車両1の運転者に危険度に応じて歩行者を報知する。例えば、HMI19に重み付けされた危険度にかかる情報提供指示がされると、モニタに情報内容を表示し、スピーカにより警告音や情報内容をメッセージとして鳴らすことにより、車両1の運転者に歩行者を報知する。   Alternatively, the HMI 19 notifies the driver of the vehicle 1 of the pedestrian according to the degree of danger when an instruction to provide information on the degree of danger of the pedestrian is issued from the pedestrian detection ECU 20. For example, when an information provision instruction related to the weighted risk is given to the HMI 19, the information content is displayed on the monitor, and a warning sound or information content is sounded as a message by a speaker, so that the driver of the vehicle 1 is pedestrian. Inform.

HMI19は、上記の視認残余時間及び歩行者の危険度の少なくとも何れかを運転者に報知する。
HMI19は、例えば、飛出歩行者が複数検出され、視認残余時間のみを報知する場合、危険度の高い歩行者の視認残余時間を優先的に報知してもよい。
The HMI 19 informs the driver of at least one of the remaining visual recognition time and the pedestrian risk.
For example, when a plurality of jumping pedestrians are detected and only the remaining visual recognition time is notified, the HMI 19 may preferentially notify the remaining visual recognition time of a pedestrian with a high degree of danger.

以下、図5を用いて、HMI19による運転者への歩行者にかかる情報の報知を例示する。ここではHMI19としてモニタを用いる場合を示す。
図5には、車両1の前方の撮影画像を表示するモニタの画面の一例を示す。このモニタ画面には、車両1の左前方に駐車車両が存在し、その物陰に車両1に接近する方向に移動する歩行者(飛出歩行者)2bが存在するものを示す。
Hereinafter, the notification of the information concerning the pedestrian to the driver by the HMI 19 will be exemplified using FIG. 5. Here, a case where a monitor is used as the HMI 19 is shown.
FIG. 5 shows an example of a monitor screen that displays a captured image in front of the vehicle 1. This monitor screen shows a parked vehicle on the left front side of the vehicle 1 and a pedestrian (flying pedestrian) 2b moving in the direction approaching the vehicle 1 behind the vehicle.

この場合、歩行者検出ECU20は、駐車車両を遮蔽物3bとして特定しており、この駐車車両の向こう側に飛出歩行者2bが存在することを検出しているため、HMI19に歩行者にかかる情報提供指示がされている。ここでは、飛出歩行者2bの情報を運転者に提供する指示がされている。
したがって、HMI19は、特定された遮蔽物3bである駐車車両に、飛出歩行者2bのアイコンを重ねて表示し、このアイコンの上に視認残余時間(図では2.2sec)を表示する。
これにより、車両1の運転者は、視認不能な歩行者2bを視覚的に検知することができ、また、この歩行者2bが視認可能になるまでの時間を検知することができる。
In this case, since the pedestrian detection ECU 20 identifies the parked vehicle as the shield 3b and detects the presence of the jumping pedestrian 2b on the other side of the parked vehicle, the HMI 19 takes the pedestrian. Information provision instructions are given. Here, an instruction to provide the driver with information on the jumping pedestrian 2b is given.
Therefore, the HMI 19 superimposes the icon of the jumping pedestrian 2b on the parked vehicle that is the specified shield 3b, and displays the remaining visual recognition time (2.2 sec in the figure) on this icon.
Thereby, the driver | operator of the vehicle 1 can detect visually the pedestrian 2b which cannot be visually recognized, and can detect time until this pedestrian 2b becomes visible.

この場合、残余時間算出部24は、車両1の走行による移動成分を含まずに視認残余時間を算出するため演算ロジックがシンプルである反面、視認残余時間には誤差が含まれるが、車両1が飛出歩行者に接近するに連れて視認残余時間の精度が向上するため支障はない。   In this case, the remaining time calculation unit 24 calculates the remaining visual time without including the moving component due to the traveling of the vehicle 1, and the calculation logic is simple. However, the remaining visual time includes an error, but the vehicle 1 There is no problem because the accuracy of the visual recognition remaining time improves as the pedestrian approaches the jumping pedestrian.

なお、図5では単に視認残余時間をモニタ上に表示するものを示すが、これに替えて又は加えて、歩行者にかかる危険度を表示してもよく、視認残余時間の短いものを大きく又は色を変えて表示したり、併せてスピーカにより警報等を鳴らしてもよい。   Note that FIG. 5 simply shows the display remaining time on the monitor, but instead of or in addition to this, the degree of danger to the pedestrian may be displayed, The color may be changed and displayed, or an alarm may be sounded by a speaker.

[作用・効果]
本発明の一実施形態に係る車両用歩行者報知装置の構成は、上述のように構成されるため、車両用歩行者報知装置では、図6に示すような歩行者を各種別に判別して検出するフローが周期的に行なわれる。
ステップS10では、可視移動体は検出されたか否かを判定する。可視移動体が検出されればステップS20へ移行し、可視移動体が検出されなければステップS12へ移行する。
[Action / Effect]
Since the configuration of the vehicle pedestrian notification device according to the embodiment of the present invention is configured as described above, the vehicle pedestrian notification device discriminates and detects pedestrians as shown in FIG. The flow to be performed is performed periodically.
In step S10, it is determined whether or not a visible moving object has been detected. If a visible moving body is detected, it will transfer to step S20, and if a visible moving body is not detected, it will transfer to step S12.

ステップS20では、端末保持者は検出されたか否かを判定する。端末保持者の存在が検出されればステップS30へ移行し、端末保持者の存在が検出されなければステップS22へ移行する。
ステップS22では、視認歩行者を検出する。そして本制御周期を終了(エンド)する。
ステップS30では、可視移動体の位置と端末保持者の位置とを比較する。そしてステップS40へ移行する。
In step S20, it is determined whether the terminal holder has been detected. If the presence of the terminal holder is detected, the process proceeds to step S30. If the presence of the terminal holder is not detected, the process proceeds to step S22.
In step S22, a visually recognized pedestrian is detected. Then, this control cycle ends (end).
In step S30, the position of the visible moving body is compared with the position of the terminal holder. Then, the process proceeds to step S40.

ステップS40では、可視移動体の位置と端末保持者の位置とが一致するものを視認歩行者として検出し、可視移動体の位置の何れにも一致しない端末保持者を非視認歩行者として検出する。そして、ステップS50へ移行する。   In step S40, the position where the position of the visible moving body and the position of the terminal holder match is detected as a visual pedestrian, and the terminal holder who does not match any of the positions of the visible moving body is detected as a non-visible pedestrian. . Then, the process proceeds to step S50.

また、ステップS12では、ステップS20と同様に端末保持者は検出されたかを判定する。端末保持者の存在が検出されればステップS14へ移行し、端末保持者の存在が検出されなければ本制御周期を終了(エンド)する。
ステップS14では、非視認歩行者を検出する。そしてステップS50へ移行する。
In step S12, it is determined whether a terminal holder has been detected as in step S20. If the presence of the terminal holder is detected, the process proceeds to step S14, and if the presence of the terminal holder is not detected, this control cycle ends (end).
In step S14, a non-viewing pedestrian is detected. Then, the process proceeds to step S50.

ステップS50では、接近端末保持者は検出されたかを判定する。接近端末保持者の存在が検出されればステップS60へ移行し、接近端末保持者の存在が検出されなければ本制御周期を終了(エンド)する。
ステップS60では、接近端末保持者の位置と非視認歩行者の位置とを比較する。そしてステップS70へ移行する。
ステップS70では、接近端末保持者の位置と非視認歩行者の位置とが一致するものを飛出歩行者として検出する。そして本制御周期を終了(エンド)する。
In step S50, it is determined whether the approaching terminal holder has been detected. If the presence of the approaching terminal holder is detected, the process proceeds to step S60, and if the presence of the approaching terminal holder is not detected, this control cycle ends (end).
In step S60, the position of the approaching terminal holder is compared with the position of the non-viewing pedestrian. Then, control goes to a step S70.
In step S <b> 70, a match between the position of the approaching terminal holder and the position of the non-viewing pedestrian is detected as a jumping pedestrian. Then, this control cycle ends (end).

また、車両用歩行者報知装置では、検出された歩行者の種別を用いて、図7に示すような歩行者にかかる危険度の重み付けのフローが周期的に行なわれる。
ステップS100では、歩行者の危険度を設定する。そしてステップS110へ移行する。
Moreover, in the vehicle pedestrian notification device, the risk weighting flow for the pedestrian as shown in FIG. 7 is periodically performed using the detected pedestrian type.
In step S100, the danger level of a pedestrian is set. Then, the process proceeds to step S110.

ステップS110では、視認歩行者や非視認歩行者や飛出歩行者といった歩行者種別に応じて設定された危険度に重み付けする。そしてステップS120へ移行する。
ステップS120では、重み付けされた危険度に応じて歩行者を報知する。そして本制御周期を終了(エンド)する。
In step S110, the risk set according to the type of pedestrian such as a visible pedestrian, a non-visible pedestrian, or a jumping pedestrian is weighted. And it transfers to step S120.
In step S120, a pedestrian is notified according to the weighted risk level. Then, this control cycle ends (end).

また、車両用歩行者報知装置では、図8に示すような視認残余時間の算出及びこれの報知のフローが歩行者検出ECU20により周期的に行なわれる。
ステップS200では、車両1の位置と飛出歩行者の位置と静止物の位置及び形状とにかかる情報を取得する。そしてステップS210へ移行する。
Further, in the vehicle pedestrian notification device, the calculation of the remaining visual time and the notification flow thereof as shown in FIG. 8 are periodically performed by the pedestrian detection ECU 20.
In step S200, information on the position of the vehicle 1, the position of the jumping pedestrian, the position and shape of the stationary object is acquired. Then, the process proceeds to step S210.

ステップS210では、車両1と飛出歩行者との間の静止物を特定する。そしてステップS220へ移行する。
ステップS220では、静止物の形状と飛出歩行者の速度とにかかる情報を取得する。そしてステップS230へ移行する。
In step S210, the stationary object between the vehicle 1 and the jumping pedestrian is specified. Then, the process proceeds to step S220.
In step S220, information on the shape of the stationary object and the speed of the jumping pedestrian is acquired. Then, the process proceeds to step S230.

ステップS230では、ステップS210で特定した静止物の位置及び形状と、飛出歩行者の位置及び速度とに基づいて、視認残余時間を算出する。そしてステップS240へ移行する。
ステップS240では、視認残余時間に応じて飛出歩行者を運転者に報知する。そして本制御周期を終了(エンド)する。
In step S230, the visual recognition remaining time is calculated based on the position and shape of the stationary object specified in step S210 and the position and speed of the jumping pedestrian. Then, the process proceeds to step S240.
In step S240, the driver is notified of the jumping pedestrian according to the remaining visual recognition time. Then, this control cycle ends (end).

したがって、本発明の車両用歩行者報知装置によれば、HMI19が、可視物体の情報と飛出歩行者の情報とから特定された遮蔽物体の物陰から飛出歩行者が出現して視認歩行者になるまでの時間である視認残余時間の情報を車両1の運転者に提供するため、非視認歩行者のうち車両1に接近して接触する蓋然性のある飛出歩行者にかかる情報を、運転者に適切に提供することができる。
また、残余時間算出部24は、端末保持者の速度情報及び位置情報と車両1の位置情報と遮蔽物の位置情報及び形状情報とから視認残余時間を算出するため、確実に視認残余時間を算出することができる。
Therefore, according to the vehicular pedestrian notification device of the present invention, the HMI 19 appears when the jumping pedestrian appears from the shadow of the shielding object specified from the information of the visible object and the information of the jumping pedestrian. In order to provide the driver of the vehicle 1 with information on the remaining visual time, which is the time until the vehicle becomes, the information on the out-of-view pedestrian who is likely to come into close contact with the vehicle 1 among the non-visible pedestrians Can be provided appropriately.
In addition, the remaining time calculation unit 24 calculates the remaining visual time reliably because the remaining visual time is calculated from the speed information and position information of the terminal holder, the position information of the vehicle 1, and the position information and shape information of the shield. can do.

比較検出部21が、可視物体検出部13により検出された可視移動体と歩車間通信装置14により検出された端末保持者とを比較し、可視移動体に該当するものを視認歩行者として検出し、端末保持者のうち可視移動体に該当しないもの非視認歩行者判定部21aにより非視認歩行者と判定して検出するため、視認歩行者と非視認歩行者とを判別して検出することができる。これにより、車両1に対して危険度の高い歩行者を適切に検出することができる。   The comparison detection unit 21 compares the visible moving object detected by the visible object detection unit 13 with the terminal holder detected by the inter-pedestrian communication device 14, and detects the object corresponding to the visible moving object as a visible pedestrian. Since the terminal holder does not correspond to the visible moving body and is detected by the non-viewing pedestrian determination unit 21a and detected as a non-viewing pedestrian, the visible pedestrian and the non-viewing pedestrian can be determined and detected. it can. Thereby, it is possible to appropriately detect a pedestrian having a high degree of danger with respect to the vehicle 1.

また、比較検出部21は、GPS11により検出された車両1の位置情報と車速センサ12により検出された車速情報と歩車間通信装置14により取得された端末保持者の位置情報及び速度情報とに基づいて、接近端末保持者を検出し、非視認歩行者のうち車両に接近する端末保持者を飛出歩行者判定部21bにより飛出歩行者と判定して検出するため、非視認歩行者から飛出歩行者を適切に判別して検出することができる。これにより、車両1に対して危険度の高い歩行者をより適切に検出することができる。   The comparison detection unit 21 is based on the position information of the vehicle 1 detected by the GPS 11, the vehicle speed information detected by the vehicle speed sensor 12, and the position information and speed information of the terminal holder acquired by the inter-vehicle communication device 14. In order to detect the approaching terminal holder and detect the terminal holder approaching the vehicle among the non-viewing pedestrians as the jumping pedestrian by the jumping pedestrian determination unit 21b, An outgoing pedestrian can be appropriately identified and detected. Thereby, it is possible to more appropriately detect a pedestrian having a high degree of danger with respect to the vehicle 1.

また、危険度判定部22が、視認歩行者よりも非視認歩行者に危険度を大きく重み付けし、飛出歩行者に該当しない非視認歩行者よりも飛出歩行者に危険度を大きく重み付けし、かかる危険度に基づいて、HMI19は、車両1の運転者に歩行者を報知すれば、車両1に対する危険度に応じて歩行者を運転者に報知することにより、運転者により適切に歩行者を報知することができる。   In addition, the risk determination unit 22 weights the non-viewing pedestrian more heavily than the visual pedestrian, and weights the jumping pedestrian more than the non-visual pedestrian that does not correspond to the jumping pedestrian. Based on the risk level, if the HMI 19 notifies the driver of the vehicle 1 of the pedestrian, the HMI 19 notifies the driver of the pedestrian according to the risk level of the vehicle 1, so that the driver is more appropriately pedestrian. Can be notified.

[その他]
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
上述の実施形態では、可視物体検出部により検出された可視移動体と端末保持者とを比較するものを示したが、これに限らず、可視物体検出部により検出された静止物を含む可視物体と端末保持者とを比較してもよい。
[Others]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
In the above embodiment, the visible moving object detected by the visible object detecting unit is compared with the terminal holder. However, the present invention is not limited to this, and the visible object including the stationary object detected by the visible object detecting unit is used. And the terminal holder may be compared.

また、位置情報の変化から速度情報を算出することができるため、車両の歩車間通信装置は、少なくとも携帯端末の位置情報を取得すればよい。この場合、歩行者検出ECUにおいて例えば比較検出部により位置情報の変化から携帯端末の速度情報を算出し、比較検出部は、歩車間通信装置により取得された携帯端末の速度情報に替えて、歩車間通信装置により取得された位置情報の変化から算出された携帯端末の速度情報を用いる。また、残余時間算出部による残余時間算出にも、位置情報の変化から算出された携帯端末の速度情報を端末保持者の速度情報として用いることができる。   Further, since the speed information can be calculated from the change in the position information, the inter-pedestrian communication device of the vehicle has only to acquire at least the position information of the mobile terminal. In this case, in the pedestrian detection ECU, for example, the comparison detection unit calculates the speed information of the mobile terminal from the change in the position information, and the comparison detection unit replaces the speed information of the mobile terminal acquired by the inter-vehicle communication device. The speed information of the portable terminal calculated from the change in the position information acquired by the inter-vehicle communication device is used. Also, the speed information of the mobile terminal calculated from the change in the position information can be used as the speed information of the terminal holder for the remaining time calculation by the remaining time calculation unit.

また、上述の実施形態では、残余時間算出部が、車両の走行による移動成分を含まずに視認残余時間を算出するものを示したが、車両の走行による移動成分を含んだ演算ロジックを用いてもよい。なお、この演算ロジックは、車両の移動により運転者の視認することができる物陰の範囲が変化することを考慮したものとなっている。   In the above-described embodiment, the remaining time calculation unit calculates the visual remaining time without including the movement component due to vehicle travel. However, using the arithmetic logic including the movement component due to vehicle travel. Also good. Note that this calculation logic takes into consideration that the range of shadows that can be visually recognized by the driver changes as the vehicle moves.

以下、車両の走行による移動成分を含んだ視認残余時間の演算ロジックを説明する。
図9には、図中下から上に向かって車速v1cで走行する車両1cと、その左前方に静止物3cを挟んで歩行者2cが存在するものを示す。この時点TAでは、静止物3cが歩行者2cを遮蔽している。
歩行者2cは、車道の左端から移動速度v2cで車両1cの前方を横切る方向に移動し、飛出歩行者と判定された端末保持者である。
Hereinafter, the calculation logic of the visual recognition remaining time including the movement component by driving | running | working of a vehicle is demonstrated.
FIG. 9 shows a vehicle 1c traveling at a vehicle speed v 1c from the bottom to the top in the figure, and a pedestrian 2c with a stationary object 3c in front of the left. At this time T A , the stationary object 3c shields the pedestrian 2c.
Pedestrian 2c moves in a direction transverse to the front of the vehicle 1c at a moving speed v 2c from the left edge of the road, a terminal holder which is determined protruding pedestrians.

車両1cの残余時間算出部は、時点TAにおいて、車両1cの位置及び速度情報,歩行者2cの位置及び速度情報,遮蔽物として特定した静止物3cの位置及び形状情報を取得している。この静止物3cの位置及び形状情報は、可視物体検出部により検出された静止物3cの角端P1c,P2c,P3cの情報に基づいて算出することができる。 Remaining time calculation unit of the vehicle. 1c, at time T A, and obtains the position and speed information of the vehicle 1c, position and velocity information of the pedestrian 2c, and the position and shape information of the stationary object 3c identified as shield. The position and shape information of the stationary object 3c can be calculated based on information on the corner ends P 1c , P 2c , and P 3c of the stationary object 3c detected by the visible object detection unit.

また、車両1cの残余時間算出部は、取得した情報に基づいて、車両1cの運転者の視線位置と静止物3cの角端P1cとの車両1cの進行方向に沿った距離L3cと、歩行者2cと静止物3cの角端P1c,P2cとの車両1cの進行方向に直交する方向に沿った距離L4cと、歩行者2cと車両1cの運転者の視線位置との車両1cの進行方向に直交する方向に沿った距離L5cと、静止物3cの角端P1cと歩行者2cとの車両1cの進行方向に沿った距離L6cと、車両1cの運転者の視線位置及び静止物3cの角端P1cを結ぶ直線と角端P1cを通る車両1cの進行方向に沿った直線とが交差する角度θcとを演算しており、視認残余時間の算出に用いる。 Further, the remaining time calculation unit of the vehicle 1c, based on the acquired information, a distance L 3c along the traveling direction of the vehicle 1c between the line-of-sight position of the driver of the vehicle 1c and the corner end P 1c of the stationary object 3c, car 1c pedestrian 2c and angular end P 1c stationary object 3c, the distance L 4c along a direction perpendicular to the traveling direction of the vehicle 1c with P 2c, the driver's line of sight position of the pedestrian 2c and car 1c The distance L 5c along the direction orthogonal to the traveling direction of the vehicle, the distance L 6c along the traveling direction of the vehicle 1c between the corner end P 1c of the stationary object 3c and the pedestrian 2c, and the line-of-sight position of the driver of the vehicle 1c The angle θc at which the straight line connecting the corner end P 1c of the stationary object 3c and the straight line along the traveling direction of the vehicle 1c passing through the corner end P 1c intersect is calculated, and is used for calculating the visual recognition remaining time.

次に、時点TAから時間t後の時点TBの車両1c’と歩行者2c’とを説明する。なお、時点TAから時間t後の時点TBにおいて歩行者2c’は視認状態となるものとすると、この時間tが時点TAにおける視認残余時間である。
時点TBでは、二点鎖線で示す車両1c’は距離L1c(=v1・t)だけ移動しており、歩行者2c’は距離L2c(=v2・t)だけ移動している。また、時点TBでは、歩行者2c’と角端P1cを通る車両1c’の進行方向に沿った直線との車両1c’の進行方向に直交する方向に沿った距離L7cとなり、この距離L7cは以下の式(1)で示すことができる。
Next, the vehicle 1c ′ and the pedestrian 2c ′ at time T B after time t from time T A will be described. If the pedestrian 2c ′ is in a visual recognition state at time T B after time t A after time t A , this time t is the remaining visual recognition time at time T A.
At time T B , the vehicle 1c ′ indicated by the two-dot chain line has moved by a distance L 1c (= v 1 · t), and the pedestrian 2c ′ has moved by a distance L 2c (= v 2 · t). . At the time point T B , a distance L 7c along the direction perpendicular to the traveling direction of the vehicle 1c ′ between the pedestrian 2c ′ and a straight line along the traveling direction of the vehicle 1c ′ passing through the corner end P 1c becomes the distance L 7c . L 7c can be represented by the following formula (1).

このため、角度θcはΔθcだけ変化し、運転者から視た静止物3cの物陰(遮蔽する範囲)が小さくなるように変化する。このΔθcは以下の式(2)で示すことができる。
この角度θcがΔθcだけ変化するため、運転者の視認することができる物陰の範囲が変化する。かかる変化が視認残余時間に影響する。
For this reason, the angle θc changes by Δθc and changes so that the shadow (the area to be shielded) of the stationary object 3c viewed from the driver becomes small. This Δθc can be expressed by the following equation (2).
Since this angle θc changes by Δθc, the range of shadows visible to the driver changes. Such a change affects the remaining visual recognition time.

また、距離L7cは、以下の式(3)で示すことができる。
したがって、式(1)〜(3)より、視認残余時間である時間tを算出することができる。
The distance L 7c can be expressed by the following formula (3).
Therefore, the time t which is the visual recognition remaining time can be calculated from the equations (1) to (3).

或いは、角度θc’(=θc+Δθc)は次式(4)で示すことができる。
したがって、式(3)及び(4)より、式(5)を導出することができる。
1c(=v1・t)及びL2c(=v2・t)はtの関数であるため、この式(5)に基づいて視認残余時間である時間tを算出することもできる。
このようにして、残余時間算出部が、車両の走行による移動成分を含んだ演算ロジックを用いて視認残余時間を算出してもよい。
Alternatively, the angle θc ′ (= θc + Δθc) can be expressed by the following equation (4).
Therefore, equation (5) can be derived from equations (3) and (4).
Since L 1c (= v 1 · t) and L 2c (= v 2 · t) are functions of t, the time t which is the visual recognition remaining time can be calculated based on the equation (5).
In this way, the remaining time calculation unit may calculate the visually remaining time using the arithmetic logic including the moving component due to the traveling of the vehicle.

本発明の車両用歩行者検出装置及び車両用危険報知装置は、トラック又はバスといった大型又は中型の自動車のみならず乗用車等の小型自動車にも適用することができる。   The vehicle pedestrian detection device and vehicle danger notification device of the present invention can be applied not only to large or medium-sized vehicles such as trucks or buses but also to small vehicles such as passenger cars.

1,1a,1c,1c’ 車両
2,2a,2a’,2b,2c,2c’ 歩行者
3 遮蔽物
11 GPS
12 車速センサ
13 可視物体検出部(可視物体検出手段)
14 歩車間通信装置(情報通信手段)
14a アンテナ
16 操舵角センサ
19 HMI(情報提供手段)
20 歩行者検出ECU
21 比較検出部
21a 非視認歩行者判定部(非視認歩行者判定手段)
21b 飛出歩行者判定部(飛出歩行者判定手段)
22 危険度判定部(危険度判定手段)
23 可視物体判定部
23a 移動体判定部
23b 形状判定部
24 残余時間算出部(残余時間算出手段)
1, 1a, 1c, 1c 'Vehicle 2, 2a, 2a', 2b, 2c, 2c 'Pedestrian 3 Shield 11 GPS
12 Vehicle speed sensor 13 Visible object detector (visible object detection means)
14 Inter-vehicle communication device (information communication means)
14a Antenna 16 Steering angle sensor 19 HMI (information providing means)
20 Pedestrian detection ECU
21 comparison detection part 21a non-visually-identified pedestrian determination part (non-visually-visible pedestrian determination means)
21b Jumping pedestrian determination unit (jumping pedestrian determination means)
22 Risk level judgment unit (risk level judgment means)
23 Visible Object Determination Unit 23a Moving Object Determination Unit 23b Shape Determination Unit 24 Residual Time Calculation Unit (Residual Time Calculation Unit)

Claims (4)

車両の前方における視認可能な物体である可視物体を検出する可視物体検出手段と、
前記車両の周辺における端末保持者の保持する携帯端末と通信を行ない前記端末保持者を検出する情報通信手段と、
前記可視物体検出手段により検出された前記可視物体の情報と前記情報通信手段により検出された前記端末保持者の情報とから、前記端末保持者のうち前記可視物体に該当しないものを遮蔽物体の物陰にいる歩行者である非視認歩行者として判定する非視認歩行者判定手段と、
前記非視認歩行者判定手段により判定された前記非視認歩行者が前記車両に接近するか否かを判定し、前記非視認歩行者が前記車両に接近する場合は飛出歩行者と判定する飛出歩行者判定手段と、
前記可視物体検出手段により検出された前記可視物体の情報と前記飛出歩行者判定手段により判定された前記飛出歩行者の情報とから、前記飛出歩行者の手前に存在する前記遮蔽物体を特定し、前記飛出歩行者が前記遮蔽物体の物陰から出現して視認歩行者になるまでの時間である視認残余時間を算出する残余時間算出手段と、
前記残余時間算出手段により算出された前記視認残余時間の情報を、前記車両の運転者に提供する情報提供手段とを備えた
ことを特徴とする、車両用歩行者報知装置。
Visible object detection means for detecting a visible object that is a visible object in front of the vehicle;
Information communication means for detecting the terminal holder by communicating with a portable terminal held by the terminal holder in the vicinity of the vehicle;
Based on the information on the visible object detected by the visible object detection means and the information on the terminal holder detected by the information communication means, the terminal holder that does not correspond to the visible object is shaded by a shadow object. A non-visible pedestrian determination means for determining as a non-visual pedestrian who is a pedestrian in
It is determined whether or not the non-visible pedestrian determined by the non-visible pedestrian determination means approaches the vehicle, and when the non-visible pedestrian approaches the vehicle, it is determined to be a jumping pedestrian. Pedestrian determination means,
From the information on the visible object detected by the visible object detection means and the information on the jumping pedestrian determined by the jumping pedestrian determination means, the shielding object existing in front of the jumping pedestrian is determined. Identifying a remaining time calculating means for calculating a remaining visual time that is a time until the jumping pedestrian appears from the shadow of the shielding object and becomes a visible pedestrian;
A pedestrian notification device for a vehicle, comprising: information providing means for providing information of the visual recognition remaining time calculated by the remaining time calculating means to a driver of the vehicle.
前記飛出歩行者判定手段は、前記端末保持者の情報である前記端末保持者の速度情報と、前記車両の速度情報とを取得し、これらの取得情報から前記非視認歩行者が前記車両に接近することを判定し、
前記残余時間算出手段は、前記端末保持者の情報である前記端末保持者の前記速度情報及び位置情報と、前記車両の位置情報と、特定した前記遮蔽物体の位置情報及び形状情報とから、前記視認残余時間を算出する
ことを特徴とする、請求項1記載の車両用歩行者報知装置。
The jumping pedestrian determination means acquires the terminal holder speed information, which is information of the terminal holder, and the speed information of the vehicle, and the non-viewing pedestrian in the vehicle from the acquired information. Determine that they are approaching,
The remaining time calculating means includes the speed information and position information of the terminal holder, which is information of the terminal holder, the position information of the vehicle, and the position information and shape information of the identified shielding object, The pedestrian notification device for a vehicle according to claim 1, wherein the remaining visual recognition time is calculated.
前記車両に対する前記歩行者の危険度を重み付けする危険度判定手段を備え、
前記危険度判定手段は、前記視認歩行者よりも前記非視認歩行者に前記危険度を大きく重み付けし、前記飛出歩行者に該当しない前記非視認歩行者よりも前記飛出歩行者に前記危険度を大きく重み付けし、
前記情報提供手段は、前記危険度の高い前記飛出歩行者の前記視認残余時間を優先的に報知する
ことを特徴とする、請求項1又は2記載の車両用歩行者報知装置。
A risk determination means for weighting the risk of the pedestrian to the vehicle;
The risk determination means weights the risk to the non-visual pedestrian more than the visual pedestrian and assigns the risk to the jumping pedestrian rather than the non-visual pedestrian that does not correspond to the jumping pedestrian. Weight the degree greatly,
The vehicle pedestrian notification device according to claim 1, wherein the information providing unit preferentially notifies the remaining visual recognition time of the jumping pedestrian having a high degree of risk.
前記情報提供手段は、前記飛出歩行者及び前記遮蔽物体の位置情報を画像表示すると共に、前記視認残余時間の情報を画像表示する
ことを特徴とする、請求項1〜3のいずれか1項に記載の車両用歩行者報知装置。
The said information provision means image-displays the information of the said visual recognition remaining time while image-displaying the positional information on the said jumping pedestrian and the said obstruction | occlusion object, The any one of Claims 1-3 characterized by the above-mentioned. The pedestrian alarm device for vehicles as described in 2.
JP2011269402A 2011-12-08 2011-12-08 Pedestrian notification device for vehicles Expired - Fee Related JP5712119B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011269402A JP5712119B2 (en) 2011-12-08 2011-12-08 Pedestrian notification device for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011269402A JP5712119B2 (en) 2011-12-08 2011-12-08 Pedestrian notification device for vehicles

Publications (2)

Publication Number Publication Date
JP2013120574A JP2013120574A (en) 2013-06-17
JP5712119B2 true JP5712119B2 (en) 2015-05-07

Family

ID=48773167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011269402A Expired - Fee Related JP5712119B2 (en) 2011-12-08 2011-12-08 Pedestrian notification device for vehicles

Country Status (1)

Country Link
JP (1) JP5712119B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5880904B1 (en) * 2014-11-20 2016-03-09 パナソニックIpマネジメント株式会社 Terminal device
JP6464871B2 (en) * 2015-03-26 2019-02-06 株式会社デンソー In-vehicle display device
JP6613795B2 (en) * 2015-10-16 2019-12-04 株式会社デンソー Display control device and vehicle control device
JP6765100B2 (en) * 2016-08-31 2020-10-07 学校法人早稲田大学 Out-of-field obstacle detection system
JP6599386B2 (en) * 2017-03-01 2019-10-30 ソフトバンク株式会社 Display device and moving body
JP6599387B2 (en) * 2017-03-01 2019-10-30 ソフトバンク株式会社 Information notification apparatus, moving body, and information notification system
JP6883759B2 (en) * 2017-06-30 2021-06-09 パナソニックIpマネジメント株式会社 Display systems, display system control methods, programs, and mobiles
JP7006235B2 (en) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 Display control device, display control method and vehicle
CN112572462A (en) * 2019-09-30 2021-03-30 北京百度网讯科技有限公司 Automatic driving control method and device, electronic equipment and storage medium
JPWO2021111544A1 (en) * 2019-12-04 2021-06-10

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816009B2 (en) * 2005-11-02 2011-11-16 トヨタ自動車株式会社 Approach notification device
JP4764278B2 (en) * 2006-07-14 2011-08-31 株式会社デンソーアイティーラボラトリ Collision risk determination device, collision risk determination method, and pedestrian identification method
JP2010040001A (en) * 2008-08-08 2010-02-18 Toyota Motor Corp Collision risk determination system for vehicle, communication terminal, and on-vehicle unit
DE102008049824B4 (en) * 2008-10-01 2014-09-04 Universität Kassel Method for collision avoidance

Also Published As

Publication number Publication date
JP2013120574A (en) 2013-06-17

Similar Documents

Publication Publication Date Title
JP5712119B2 (en) Pedestrian notification device for vehicles
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
JP4967015B2 (en) Safe driving support device
JP5657809B2 (en) Armpit detector
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
US10131276B2 (en) Vehicle sightline guidance apparatus
JP5360076B2 (en) Obstacle notification device
JP5371273B2 (en) Object detection device, periphery monitoring device, driving support system, and object detection method
JP4847051B2 (en) Vehicle surrounding monitoring method and system
JP4517393B2 (en) Driving assistance device
US10589673B2 (en) In-vehicle alert device
JP2016218732A (en) Automobile peripheral information display system
JP6428713B2 (en) Information display device
JP2011118482A (en) In-vehicle device and recognition support system
JP5942979B2 (en) Vehicle information display device and vehicle information display method
JP2008123462A (en) Object detector
JPWO2009072366A1 (en) Vehicle information display device
JP2015232859A (en) Safety confirmation support system and safety confirmation support method
JP2015219803A (en) Drive support display device
CN107004250B (en) Image generation device and image generation method
CN111247575A (en) Vehicle driving support system, vehicle driving support method, and vehicle driving support program
CN110831819B (en) Parking assist method and parking assist device
US20180037162A1 (en) Driver assistance system
JP2018180908A (en) Attention-attracting device
JP2009154775A (en) Attention awakening device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140619

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150225

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150309

R150 Certificate of patent or registration of utility model

Ref document number: 5712119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees