JP4906437B2 - Perimeter monitoring system - Google Patents
Perimeter monitoring system Download PDFInfo
- Publication number
- JP4906437B2 JP4906437B2 JP2006224943A JP2006224943A JP4906437B2 JP 4906437 B2 JP4906437 B2 JP 4906437B2 JP 2006224943 A JP2006224943 A JP 2006224943A JP 2006224943 A JP2006224943 A JP 2006224943A JP 4906437 B2 JP4906437 B2 JP 4906437B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- reflected light
- area
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、カメラで撮影した画像に基づいて自車周辺に存在する他車を検出する技術に関するものである。 The present invention relates to a technique for detecting other vehicles existing around a host vehicle based on an image photographed by a camera.
カメラで撮影した画像に基づいて自動車を検出する技術としては、夜間にカメラで撮影した画像に写り込んだ自動車のヘッドライド光に基づいて当該自動車を検出する技術が知られている。
さて、カメラで撮影した画像に基づいて他車を検出する場合、カメラに近い位置に他車が存在すると、その他車によってカメラの死角となる領域が生じ、当該死角となる領域から自車に接近してくる自動車や二輪車などを検出することができなくなる。
そこで、本発明は、カメラで撮影した画像に基づいて自車周辺の他車を検出する周辺監視システムにおいて、他車によってカメラの死角となる領域に存在する自動車や自動二輪車を検出することを課題とする。
Now, when detecting other vehicles based on images taken by the camera, if there is another vehicle near the camera, an area that becomes a blind spot of the camera is generated by the other vehicle, and the vehicle approaches from the area that becomes the dead angle. It will not be possible to detect cars and motorcycles that are coming.
Therefore, the present invention has an object to detect a vehicle or a motorcycle that is present in a blind spot of the camera by another vehicle in a periphery monitoring system that detects other vehicles around the own vehicle based on an image photographed by the camera. And
前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車後方を撮影するカメラと、前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを備えて構成したものである。 In order to achieve the above object, the present invention provides a periphery monitoring system that is mounted on a vehicle and detects other vehicles around the vehicle that is the vehicle, a camera that captures the rear of the vehicle, and a range that is captured by the camera. Reflected light detection that detects reflected light that is reflected around the area concealed from the camera by an object inside and that moves relative to the vehicle based on an image captured by the camera And a concealed area other vehicle estimating means for estimating that there is another vehicle in the area concealed from the camera when the reflected light detecting means detects the reflected light. Is.
このような周辺監視システムによれば、カメラの死角となる領域に存在する他車であっても、当該他車から発せされた照明光の道路や道路付属構造物で反射した反射光をカメラによって撮影できる場合には、その存在を検出することができるようになる。 According to such a surrounding monitoring system, even if the other vehicle exists in the blind spot area of the camera, the camera reflects the reflected light reflected from the road or the road accessory structure of the illumination light emitted from the other vehicle. If it can be photographed, its presence can be detected.
ここで、このような周辺監視システムにおいて、前記隠蔽領域内他車推定手段は、前記反射光検出手段が、前記反射光を検出した場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するように構成してもよい。 Here, in such a surrounding monitoring system, the other vehicle estimation means in the concealment area is a vehicle in which the reflected light detection means detects the reflected light and the vehicle estimated as the light source of the reflected light is You may comprise so that it may estimate that the other vehicle exists in the area | region concealed with respect to the said camera when it is not image | photographed with the said camera.
このようにすることにより、カメラで撮影できている車両の照明光の反射光に基づいて、カメラの死角となる領域内の他車の存在を誤って推定してしまうことを排除することができる。
また、このような周辺監視システムは、前記隠蔽領域内他車推定手段において、前記反射光検出手段が、自車に対して相対的に接近している反射光を検出したときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するようにしてもよい。
このようにすることにより、カメラの死角となる領域内の他車のうちでも自車にとって検出することがより重要となる、自車に接近してくる他車のみを検出することができるようになる。
また、このような周辺監視システムは、前記他車推定手段において、自車の走行している車線と、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向との関係に基づいて、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定したり、自車の走行している道路の渋滞の発生状況に応じて、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定するようにしてもよい。
By doing so, it is possible to eliminate erroneously estimating the presence of another vehicle in the area that becomes the blind spot of the camera based on the reflected light of the illumination light of the vehicle that can be photographed by the camera. .
In addition, such a surroundings monitoring system allows the camera in the concealed area to detect the reflected light when the reflected light detecting means detects reflected light that is relatively close to the own vehicle. On the other hand, it may be estimated that there is another vehicle in the hidden area.
By doing in this way, it is more important to detect among other vehicles in the blind spot area of the camera, so that only other vehicles approaching the own vehicle can be detected. Become.
In addition, in the surrounding monitoring system, in the other vehicle estimation unit, the lane in which the host vehicle is traveling and the reflected light relatively approaching the host vehicle detected by the reflected light detection unit. Based on the relationship with the left and right direction of the vehicle, it is estimated that there is another vehicle that is a two-wheeled vehicle in the area concealed from the camera, or the occurrence of traffic congestion on the road on which the vehicle is traveling Accordingly, it may be estimated that there is another vehicle that is a two-wheeled vehicle in an area hidden from the camera.
このようにすることにより、自車の運転者が見落としやすい、後方よりすり抜けて接近してくる二輪車の存在を、運転者に代わって推定、検出し、ユーザに対して提示したりすることができるようになる。
なお、これらの周辺監視システムには、前記他車推定手段の推定に基づいて、前記カメラに対して隠蔽される領域内に存在する他車についての注意喚起もしくは警告をユーザに対して提示する提示手段を備えることが好ましい。
By doing so, it is possible to estimate, detect, and present to the user the presence of a two-wheeled vehicle that is easily overlooked by the driver of the own vehicle and approaches the vehicle by passing through from behind. It becomes like this.
In addition, in these surroundings monitoring systems, based on the estimation of the other vehicle estimation means, a presentation that presents a warning or warning to the user about other vehicles existing in an area hidden from the camera Preferably means are provided.
以上のように、本発明によれば、カメラで撮影した画像に基づいて自車周辺の他車を検出する周辺監視システムにおいて、他車によってカメラの死角となる領域に存在する自動車や二輪車を検出することができる。 As described above, according to the present invention, in the periphery monitoring system that detects other vehicles around the own vehicle based on the image captured by the camera, the other vehicle detects the automobile or the two-wheeled vehicle existing in the blind spot of the camera. can do.
以下、本発明の実施形態を説明する。
図１ａに、本第実施形態に係る周辺監視システムの構成を示す。
本周辺監視システムは、自動車に搭載されるシステムであり、図示するように、周辺監視システムは、カメラ１、他車認識部２、死角領域監視部３、周辺状況提示部４、表示装置５、音声出力装置５、状況検知部７とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すように、カメラ１は自車１００の後部に配置され自車１００後方を撮影する。
また、他車認識部２は、カメラ１が撮影した画像に対して、所定の画像認識処理を施して、画像中に写り込んでいる他車を認識すると共に、認識した他車の画像中の位置より、当該他車の自車１００に対する相対位置を算定し、認識した他車の種別と算定した他車の相対位置とをカメラ測定データとして出力する処理を繰り返し行う。
Embodiments of the present invention will be described below.
FIG. 1 a shows the configuration of the periphery monitoring system according to the present embodiment.
This periphery monitoring system is a system mounted on an automobile, and as shown in the figure, the periphery monitoring system includes a camera 1, an other vehicle recognition unit 2, a blind spot area monitoring unit 3, a surrounding state presentation unit 4, a display device 5, An audio output device 5 and a situation detection unit 7 are provided.
Here, assuming that the vehicle equipped with the periphery monitoring system is the own vehicle 100, the camera 1 is arranged at the rear of the own vehicle 100 and photographs the rear of the own vehicle 100 as shown in FIG.
Further, the other vehicle recognition unit 2 performs a predetermined image recognition process on the image captured by the camera 1 to recognize the other vehicle reflected in the image, and in the recognized other vehicle image. Based on the position, the relative position of the other vehicle with respect to the own vehicle 100 is calculated, and the process of outputting the recognized type of the other vehicle and the calculated relative position of the other vehicle as camera measurement data is repeatedly performed.
ここで、状況検知部７は、カメラ１が撮影した画像の全体的な輝度や、その他の光センサや、自車１００のヘッドライトの点灯状態などより現在が昼間であるかどうかを判定する機能を備えており、他車認識部２は、状況検知部７が現在が昼間であると判定しているときには、たとえば、カメラ１が撮影した画像に写り込んだ他車の輪郭に基づいて他車を認識し、状況検知部７が現在が夜間であると判定しているときには、たとえば、カメラ１が撮影した画像に高輝度で写り込むヘッドライドより他車を認識する。 Here, the situation detection unit 7 determines whether the current daytime is based on the overall brightness of the image captured by the camera 1, other light sensors, the lighting state of the headlight of the host vehicle 100, and the like. When the situation detection unit 7 determines that the present day is daytime, for example, the other vehicle recognition unit 2 is based on the contour of the other vehicle reflected in the image taken by the camera 1. When the situation detection unit 7 determines that the current time is nighttime, for example, the other vehicle is recognized from a head ride reflected in an image captured by the camera 1 with high brightness.
そして、死角領域監視部３は、状況検知部７が現在は夜間であると判定している期間中、図２に示す死角領域監視処理を行う。
図示するように、この処理では、まず、自車１００が停止中であるかどうか（ステップ２０２）と、後方隠蔽物体が存在するかどうか（ステップ２０４）を判定する。ここで、ステップ２０２の自車１００が停止中であるかどうかの判定のために、状況検知部７において自車１００の車速に基づいて自車１００の停止中の有無を検知し、死角領域監視処理に通知するようにする。また、ステップ２０４では、他車認識部２が出力するカメラ測定データが、自車１００後方に所定距離内に接近した四輪車が存在していることを表しているときに、当該四輪車を後方隠蔽物体として、後方隠蔽物体が存在すると判定する。
The blind spot area monitoring unit 3 performs the blind spot area monitoring process shown in FIG. 2 during the period when the situation detection unit 7 determines that it is currently nighttime.
As shown in the figure, in this process, first, it is determined whether or not the own vehicle 100 is stopped (step 202) and whether or not a rear concealment object exists (step 204). Here, in order to determine whether or not the host vehicle 100 is stopped in step 202, the situation detection unit 7 detects whether or not the host vehicle 100 is stopped based on the vehicle speed of the host vehicle 100, thereby monitoring the blind spot area. Notify the process. In step 204, when the camera measurement data output from the other vehicle recognition unit 2 indicates that there is a four-wheeled vehicle approaching within a predetermined distance behind the host vehicle 100, the four-wheeled vehicle Is determined to exist as a rear concealment object.
そして、自車１００が停止中でないか（ステップ２０２）、後方隠蔽物体が存在していない場合には（ステップ２０４）、左側死角内接近物体非存在と右側死角内接近物体非存在を設定し（ステップ２１４）、ステップ２０２からの処理に戻る。
一方、自車１００が停止中であって（ステップ２０２）、かつ、後方隠蔽物体が存在している場合には、カメラ１が撮影した画像中の、死角の左側監視領域に自車１００に接近してくる光が存在するかどうかを調べる（ステップ２０６）。ここで、死角の左側監視領域は、次のように設定する。
If the vehicle 100 is not stopped (step 202), or if there is no rear concealment object (step 204), the left dead angle approaching object non-existence and the right blind spot approaching object non-existence are set ( Step 214), returning to the processing from Step 202.
On the other hand, when the vehicle 100 is stopped (step 202) and there is a rear concealment object, the vehicle 100 approaches the left-side monitoring area of the blind spot in the image captured by the camera 1. It is checked whether or not there is incoming light (step 206). Here, the left monitoring area of the blind spot is set as follows.
すなわち、図３に示すように、自車１００の後方に、後方隠蔽物体となる四輪車３０１が存在しており、この四輪車３０１によってカメラ１の死角となる領域３０２が発生した場合、前後方向について、四輪車３０１の前端と自車後端より後方に所定距離Ｌ１進んだ位置との間の範囲であって、左右方向について、自車左右方向中央を中央とする所定距離内Ｌ２の範囲を持つ領域から、死角となる領域３０２を除いた領域３１０、３２０のうち、自車左右方向中央より左側の領域３１０内にある路面やガードレールがカメラ１が撮影した画像中に写り込むことになる領域を左側監視領域とする。なお、領域３１０、３２０のうち、自車左右方向中央より右側の領域３２０内にある路面やガードレールがカメラ１が撮影した画像中に写り込むことになる領域が、後述する右側監視領域となる。 That is, as shown in FIG. 3, when there is a four-wheeled vehicle 301 serving as a rear concealment object behind the host vehicle 100, and a region 302 serving as a blind spot of the camera 1 is generated by the four-wheeled vehicle 301, A range between the front end of the four-wheel vehicle 301 and a position advanced by a predetermined distance L1 rearward from the rear end of the own vehicle in the front-rear direction, and within a predetermined distance L2 centered on the center of the own vehicle left-right direction in the left-right direction. Among the areas 310 and 320 excluding the blind area 302 from the area having the range of, the road surface and the guard rail in the area 310 on the left side of the center in the left-right direction of the vehicle are reflected in the image captured by the camera 1. The area that becomes is the left monitoring area. Of the areas 310 and 320, the area where the road surface and guardrail in the area 320 on the right side of the center in the left-right direction of the own vehicle are reflected in the image captured by the camera 1 is the right monitoring area described later.
すなわち、カメラ１によって、図４ａのように四輪車３０１が写りこんだ画像が撮影された場合には、画像中の四輪車３０１の自車１００の進行方向に見て左側に左側監視領域４１０が設定されることになる。また、画像中の四輪車３０１の自車１００の進行方向に見て右側に、後述する右側監視領域４２０が設定されることになる
また、左側監視領域に自車１００に接近してくる光が存在するかどうかの判定は、たとえば、最近の所定期間内にカメラ１が撮影した複数の画像の全てにおいて、左側監視領域内に、周囲よりも輝度が高い、およそ路面やガードレールにおける車両のヘッドライトの照明光の反射光の輝度範囲内の輝度を有する領域が存在し、かつ、当該領域の上下方向の位置が順次下方向に移動するように連続的に変化しているときに、左側監視領域に自車１００に接近してくる光が存在すると判定することにより行う。
That is, when an image in which the four-wheeled vehicle 301 is captured as shown in FIG. 4a is captured by the camera 1, the left monitoring area on the left side as viewed in the traveling direction of the own vehicle 100 of the four-wheeled vehicle 301 in the image. 410 is set. In addition, a right monitoring area 420 (described later) is set on the right side of the four-wheeled vehicle 301 in the image when viewed in the traveling direction of the own vehicle 100. Further, the light approaching the own vehicle 100 in the left monitoring area. For example, in all of a plurality of images taken by the camera 1 within a recent predetermined period, the vehicle head on the road surface or guardrail has a higher brightness than the surroundings in the left monitoring area. Left side monitoring when there is a region with brightness within the brightness range of the reflected light of the illumination light of the light, and the vertical position of the region is continuously changing so as to move downward sequentially This is performed by determining that light approaching the host vehicle 100 exists in the area.
したがって、たとえば、図３ａに示すように四輪車３０１の左側の死角から自動二輪車３３０が自車１００に接近してきている場合には、図４ｂに示すように当該自動二輪車３３０のヘッドライトから照射された光の路面やガードレールなどの道路付属の構造物による反射光が、左側監視領域４１０内の自車１００に接近してくる光として検出されることになる。 Therefore, for example, when the motorcycle 330 is approaching the host vehicle 100 from the blind spot on the left side of the four-wheeled vehicle 301 as shown in FIG. 3a, irradiation is performed from the headlight of the motorcycle 330 as shown in FIG. 4b. The light reflected by the road-attached structure such as the road surface or guardrail is detected as light approaching the host vehicle 100 in the left monitoring area 410.
なお、後に行う右側監視領域に自車１００に接近してくる光が存在するかどうかの判定も、同様に、たとえば、最近の所定期間内にカメラ１が撮影した複数の画像の全てにおいて、右側監視領域内に周囲よりも輝度が高い領域が存在し、かつ、当該領域の上下方向の位置が順次下方向に移動するように連続的に変化しているときに、右側監視領域に自車１００に接近してくる光が存在すると判定することにより行う。 In the same way, the determination of whether or not there is light approaching the host vehicle 100 in the right monitoring area to be performed later is performed on the right side in all of a plurality of images taken by the camera 1 within a recent predetermined period, for example. When there is an area with higher brightness than the surrounding area in the monitoring area, and the vertical position of the area continuously changes so as to move downward, the vehicle 100 is in the right monitoring area. This is performed by determining that there is light approaching the.
さて、図２に戻り、死角の左側監視領域に自車１００に接近してくる光が存在していないと判定された場合には（ステップ２０６）、左側死角内接近物体非存在を設定し（ステップ２０８）、ステップ２１０に進む。
一方、死角の左側監視領域に自車１００に接近してくる光が存在していると判定された場合には、当該接近光を照射している他車が、他車認識部２によって認識されているかどうかを調べ（ステップ２１６）、認識されている場合には、左側死角内接近物体非存在を設定し（ステップ２０８）、ステップ２１０に進む。一方、接近光を照射している他車が、他車認識部２によって認識されていない場合には、左側死角内接近物体存在を設定した上で（ステップ２１８）、ステップ２１０に進む。
Now, returning to FIG. 2, if it is determined that there is no light approaching the vehicle 100 in the left monitoring area of the blind spot (step 206), the absence of the approaching object in the left blind spot is set ( Step 208), go to step 210.
On the other hand, if it is determined that there is light approaching the host vehicle 100 in the left monitoring area of the blind spot, the other vehicle irradiating the approaching light is recognized by the other vehicle recognition unit 2. (Step 216), and if it is recognized, the absence of the approaching object in the left blind spot is set (step 208), and the process proceeds to step 210. On the other hand, if the other vehicle emitting the approaching light is not recognized by the other vehicle recognizing unit 2, the approaching object in the left blind spot is set (step 218), and the process proceeds to step 210.
ここで、ステップ２１６では、カメラ１で撮影した画像中のステップ２０６で検出した自車１００に接近してくる光の領域に対応する自車１００後方の位置に、他車認識部２が認識している他車のヘッドライトの位置がある場合や、カメラ１で撮影した画像中のステップ２０６で検出した自車１００に接近してくる光の領域に対応する自車１００後方の位置に対して自車１００から見て略後方となる位置に、他車認識部２が認識している他車のヘッドライトの位置がある場合に、当該接近光を照射している他車が、他車認識部２によって認識されているものと判定する。なお、この判定のために、他車認識部２は、他車認識において検出したヘッドライトの位置を死角領域監視部３に通知するようにする。 Here, in step 216, the other vehicle recognition unit 2 recognizes the position behind the own vehicle 100 corresponding to the light area approaching the own vehicle 100 detected in step 206 in the image captured by the camera 1. If there is a position of the headlight of another vehicle that is present, or relative to the position behind the own vehicle 100 corresponding to the light area approaching the own vehicle 100 detected in step 206 in the image taken by the camera 1 When the position of the headlight of another vehicle recognized by the other vehicle recognition unit 2 is at a position that is substantially rearward when viewed from the own vehicle 100, the other vehicle that emits the approaching light recognizes the other vehicle. The part 2 is determined to be recognized. For this determination, the other vehicle recognition unit 2 notifies the blind spot area monitoring unit 3 of the position of the headlight detected in the other vehicle recognition.
この処理の結果、図３ａに示すように、四輪車３０１の左側の死角から接近してくる自動二輪車３３０のヘッドライトから照射された光のみが、図４ｂに示すようにカメラ１によって撮影された場合には、左側死角内接近物体存在が設定されるが、図３ｂに示すように、自動二輪車３３０が死角から脱して、図４ｃに示すようにカメラ１によって撮影されるようになったならば、この自動二輪車３３０は、他車認識部２によって認識され、左側死角内接近物体非存在が設定されることになる。 As a result of this processing, as shown in FIG. 3a, only the light emitted from the headlight of the motorcycle 330 approaching from the blind spot on the left side of the four-wheeled vehicle 301 is photographed by the camera 1 as shown in FIG. 4b. In this case, the presence of an approaching object in the left blind spot is set. However, as shown in FIG. 3b, if the motorcycle 330 is removed from the blind spot and is photographed by the camera 1 as shown in FIG. 4c. For example, the motorcycle 330 is recognized by the other vehicle recognizing unit 2, and the absence of the approaching object in the left blind spot is set.
さて、図２に戻り、ステップ２１０に進んだならば、前述した死角の右側監視領域について左側監視領域と同様の処理を行う。
すなわち、死角の右側監視領域に自車１００に接近してくる光が存在するかどうかを調べ（ステップ２１０）、死角の右側監視領域に自車１００に接近してくる光が存在していないと判定された場合には（ステップ２１０）、右側死角内接近物体非存在を設定し（ステップ２２１２）、ステップ２０２に戻る。
Now, returning to FIG. 2 and proceeding to step 210, the same process as the left monitoring area is performed on the right monitoring area of the blind spot described above.
That is, it is checked whether or not there is light approaching the host vehicle 100 in the right monitoring area of the blind spot (step 210), and if there is no light approaching the host vehicle 100 in the right monitoring area of the blind spot. If it is determined (step 210), the absence of an approaching object in the right blind spot is set (step 2212), and the process returns to step 202.
一方、死角の右側監視領域に自車１００に接近してくる光が存在していると判定された場合には、当該接近光を照射している他車が、他車認識部２によって認識されているかどうかを調べ（ステップ２２０）、認識されている場合には、右側死角内接近物体非存在を設定し（ステップ２１２）、ステップ２０２に戻り、接近光を照射している他車が、他車認識部２によって認識されていない場合には、右側死角内接近物体存在を設定した上で（ステップ２２２）、ステップ２０２に戻る。 On the other hand, when it is determined that there is light approaching the host vehicle 100 in the monitoring area on the right side of the blind spot, the other vehicle irradiating the approaching light is recognized by the other vehicle recognition unit 2. (Step 220), and if it is recognized, the right-side blind spot approaching object non-existence is set (step 212), and the process returns to step 202. If it is not recognized by the car recognition unit 2, the presence of an approaching object in the right blind spot is set (step 222), and the process returns to step 202.
以上、死角領域監視部３が行う死角領域監視処理について説明した。
なお、このような死角領域監視処理は、ステップ２０２を排して、自車１００が停車中であるか否かに関わらずに、ステップ２０４以降の処理を行うものとして構成することもできる。
さて、次に周辺状況提示部４は、他車認識部２が出力するカメラ測定データが示す他車の現在位置や位置の履歴に基づいて、自車１００後方の他車の配置や挙動の状況などを表示装置５に表示したり、自車１００後方の他車の配置や挙動と自車１００の挙動との関係などより危険の発生を予知して警告を表す音声を音声出力装置５から出力する処理などを行う。
The blind spot area monitoring process performed by the blind spot area monitoring unit 3 has been described above.
Note that such blind spot area monitoring processing may be configured to perform step 204 and subsequent steps regardless of whether or not the host vehicle 100 is stopped without step 202.
Next, the surrounding state presenting unit 4 arranges and behaviors of other vehicles behind the own vehicle 100 based on the current position of the other vehicle and the history of the position indicated by the camera measurement data output by the other vehicle recognizing unit 2. Are displayed on the display device 5, and a voice representing a warning is output from the audio output device 5 by predicting the occurrence of danger from the relationship between the arrangement and behavior of other vehicles behind the vehicle 100 and the behavior of the vehicle 100. Perform processing to do.
また、周辺状況提示部４は、状況検知部７が現在は夜間であると判定している期間中には、左側死角内物体警告処理と、右側死角内物体警告処理とを行う。
図５に、この左側死角内物体警告処理の手順を示す。
図示するように、この左側死角内物体警告処理では、左側死角内接近物体存在が設定されているかどうかを調べ（ステップ５０２）、設定されている場合には以下の処理を行う。
すなわち、自車１００が片側一車線の道路区間を走行中であるかどうか（ステップ５０４）と、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるかどうか（ステップ５０６）と、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるかどうか（ステップ５０８）とを調べる。そして、いずれでもなければ、自車１００が左方向に移動しようとしているかどうかを判定し（ステップ５１０）、左方向に移動しようとしていれば表示装置５や音声出力装置５より左後方より接近してくる他車が存在する可能性のある旨の注意を出力し（ステップ５１２）、ステップ５０２からの処理に戻り、左方向に移動しようとしていなければ、そのままステップ５０２からの処理に戻る。
In addition, the surrounding situation presentation unit 4 performs the left blind spot object warning process and the right blind spot object warning process during the period in which the situation detection unit 7 determines that it is currently nighttime.
FIG. 5 shows the procedure of this left blind spot object warning process.
As shown in the drawing, in this left blind spot object warning process, it is checked whether or not the approaching object presence in the left blind spot is set (step 502). If so, the following process is performed.
That is, whether or not the own vehicle 100 is traveling on a road section of one lane on one side (step 504) and whether or not the own vehicle 100 is traveling on the leftmost lane on the road section of one lane on one side (step 504). 506) and whether the lane in which the host vehicle 100 is traveling and the lane on the left side of the lane in which the host vehicle 100 is traveling are congested (step 508). If it is neither, it is determined whether the vehicle 100 is going to move leftward (step 510). If it is going to move leftward, the display device 5 and the audio output device 5 approach from the left rear. A warning that there is a possibility that another vehicle is present is output (step 512), and the process returns to the process from step 502. If the vehicle does not move leftward, the process returns to the process from step 502 as it is.
一方、自車１００が片側一車線の道路区間を走行中であるか（ステップ５０４）、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるか（ステップ５０６）、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるか（ステップ５０８）のいずれかであれば、自動二輪車が左後方より自車１００後方の四輪車をすり抜けて来ようとしているものと推定する。そして、自車１００が左方向に移動しようとしているかどうか（ステップ５１４）、自車１００が左折または左に車線変更しようとしているかどうか（ステップ５１６）、自車１００の搭乗者がドアを開けようとしているかどうか（ステップ５１８）を調べ、いずれかであれば、左方を後方よりすり抜けようとする自動二輪車が存在する旨の警告を表示装置５や音声出力装置５より出力しステップ５０２からの処理に戻り、いずれでもなければそのままステップ５０２からの処理に戻る。 On the other hand, whether the host vehicle 100 is traveling on a road section of one lane on one side (step 504), whether the host vehicle 100 is traveling on the leftmost lane on the road section of one side lane (step 506), If the lane in which the host vehicle 100 is traveling and the lane on the left side of the lane in which the host vehicle 100 is traveling are congested (step 508), the motorcycle is moved from the rear left to the rear of the host vehicle 100. Presumably, he is trying to slip through the wheel. Whether the vehicle 100 is going to move leftward (step 514), whether the vehicle 100 is going to turn left or turn left (step 516), and the passenger of the vehicle 100 is going to open the door (Step 518), if any, a warning that there is a motorcycle that tries to pass through the left side from the rear is output from the display device 5 or the audio output device 5 and the processing from step 502 is performed. Return to step 502, otherwise return to the processing from step 502.
ここで、自車１００が片側一車線の道路区間を走行中であるかどうか（ステップ５０４）や、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるかどうか（ステップ５０６）や、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるかどうか（ステップ５０８）は、たとえば、状況検知部７においてカメラ１が撮影した画像に基づいて判定し周辺状況提示部４に通知する。ただし、状況検知部７は、別途設けた、地図データに基づいて自律航法もしくは衛星航法により現在位置を算出するカーナビゲーション装置や、交通情報を受信するＶＩＣＳ受信機を利用し、カーナビゲーション装置が算出した現在位置や、地図データが表す現在自車が走行中の道路区間の車線数や、ＶＩＣＳ受信機が受信した現在位置周辺の渋滞状況を参照することにより、これらの判定を行うようにしてもよい。 Here, whether or not the own vehicle 100 is traveling on a road section of one lane on one side (step 504), or whether or not the own vehicle 100 is traveling on the leftmost lane on the road section of one lane of multiple lanes ( Whether the lane in which the own vehicle 100 is traveling and the lane on the left side of the lane in which the own vehicle 100 is traveling are congested (step 508), for example, by the camera 1 in the situation detection unit 7. The determination is made based on the obtained image, and the surrounding situation presentation unit 4 is notified. However, the situation detection unit 7 uses a car navigation device that calculates a current position by autonomous navigation or satellite navigation based on map data, or a VICS receiver that receives traffic information. These determinations may be made by referring to the current position, the number of lanes of the road section on which the current vehicle represented by the map data is traveling, and the traffic situation around the current position received by the VICS receiver. Good.
また、自車１００が左方向に移動しようとしているかどうか（ステップ５１０、５１４）は、たとえば、状況検知部７において、自車１００のドライバのハンドル操作状態に基づいて検出する。また、自車１００が左折または左に車線変更しようとしているかどうか（ステップ５１６）は、たとえば、状況検知部７において、自車１００の方向指示器の操作状態に基づいて検出する。また、自車１００の搭乗者がドアを開けようとしているかどうか（ステップ５１８）は、たとえば、状況検知部７において、車内側ドアハンドルに設けたタッチセンサなどの、搭乗者の手のドアハンドルへの接近を検出するセンサの出力に基づいて検出する。 Further, whether or not the vehicle 100 is about to move to the left (steps 510 and 514) is detected based on, for example, the steering operation state of the driver of the vehicle 100 in the situation detection unit 7. Further, whether or not the vehicle 100 is going to turn left or change lane to the left (step 516) is detected based on, for example, the operation state of the direction indicator of the vehicle 100 in the situation detection unit 7. Further, whether or not the passenger of the own vehicle 100 is going to open the door (step 518) is determined by, for example, the situation detection unit 7 to the door handle of the passenger's hand such as a touch sensor provided on the vehicle interior door handle. It detects based on the output of the sensor which detects the approach.
以上、左側死角内物体警告処理について説明した。
ここで、周辺状況提示部４がこのような左側死角内物体警告処理と共に行う右側死角内物体警告処理は、左側死角内物体警告処理における各ステップの左右を置き換えた処理となる。また、右側死角内物体警告処理のステップ５０２では、右側死角内接近物体存在が設定されているかどうかを調べることになる。
The left blind spot object warning process has been described above.
Here, the right blind spot object warning process performed together with the left blind spot object warning process by the peripheral situation presentation unit 4 is a process in which the left and right of each step in the left blind spot object warning process are replaced. Further, in step 502 of the right blind spot object warning process, it is checked whether or not the presence of an approaching object within the right blind spot is set.
以上、本発明の実施形態について説明したように、本実施形態によれば、カメラ１の死角となる領域に存在する他車であっても、当該他車から発せされた照明光の道路もしくは道路付属構造物で反射した反射光をカメラ１によって撮影できる場合には、当該反射光に基づいて他車の存在を検出することができるようになる。また、このように推定したカメラ１の死角となる領域に存在する他車についての運転者の注意を喚起したり、このように推定したカメラ１の死角となる領域に存在する他車に対する安全確保のための警告を運転者に対して行うことができるようになる。 As described above, according to the embodiment of the present invention, according to this embodiment, a road or a road of illumination light emitted from the other vehicle, even in the other vehicle existing in the blind spot of the camera 1. When the reflected light reflected by the attached structure can be photographed by the camera 1, the presence of another vehicle can be detected based on the reflected light. Further, the driver's attention is given to the other vehicle existing in the area where the blind spot of the camera 1 is estimated as described above, or safety is ensured for the other vehicle existing in the area where the blind spot of the camera 1 is estimated as described above. A warning can be given to the driver.
１…カメラ、２…他車認識部、３…死角領域監視部、４…周辺状況提示部、５…表示装置、５…音声出力装置、７…状況検知部、１００…自車。 DESCRIPTION OF SYMBOLS 1 ... Camera, 2 ... Other vehicle recognition part, 3 ... Blind spot area monitoring part, 4 ... Peripheral condition presentation part, 5 ... Display apparatus, 5 ... Sound output device, 7 ... Situation detection part, 100 ... Own vehicle.
Claims (6)
自車後方を撮影するカメラと、
前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、
前記反射光検出手段が、前記カメラに対して隠蔽される領域の周辺において反射した反射光を検出した場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有することを特徴とする周辺監視システム。 A peripheral monitoring system that is mounted on a vehicle and detects other vehicles around the vehicle that is the vehicle,
A camera that captures the back of the vehicle,
Reflected light that is reflected around the area concealed from the camera by an object within the range photographed by the camera and that moves relative to the host vehicle is converted into an image photographed by the camera. Reflected light detection means for detecting based on;
When the reflected light detection means detects reflected light reflected around the area concealed from the camera, and the vehicle estimated as the light source of the reflected light is not photographed by the camera the peripheral monitoring system and having a concealed area other vehicle estimating means for estimating with another car in the area to be concealed to the camera is present.
前記隠蔽領域内他車推定手段は、前記反射光検出手段が、自車に対して相対的に接近している反射光を検出したときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定することを特徴とする周辺監視システム。 The periphery monitoring system according to claim 1,
The other vehicle estimation means in the concealment region is configured to detect the other vehicle in the region concealed from the camera when the reflected light detection unit detects reflected light that is relatively close to the host vehicle. Perimeter monitoring system characterized by presuming that there is
自車後方を撮影するカメラと、A camera that captures the back of the vehicle,
前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、Reflected light that is reflected around the area concealed from the camera by an object within the range photographed by the camera and that moves relative to the host vehicle is converted into an image photographed by the camera. Reflected light detection means for detecting based on;
前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有し、A concealment area other vehicle estimation means for estimating that there is another vehicle in the area concealed with respect to the camera when the reflected light detection means detects the reflected light;
前記隠蔽領域内他車推定手段は、自車の走行している車線が当該車線と走行方向が同方向の車線のうちの最も左側の車線であり、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が左方向である場合と、自車の走行している車線が当該車線と走行方向が同方向の車線のうちの最も右側の車線であり、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が右方向である場合とのうちの少なくとも一方の場合に、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定することを特徴とする周辺監視システム。The other vehicle estimation means in the concealed region is the own vehicle detected by the reflected light detection means, and the lane in which the host vehicle is traveling is the leftmost lane in the same lane as the lane. When the reflected light that is relatively close to the left side of the vehicle is the left direction, and the lane in which the vehicle is traveling is the rightmost lane in the same direction as the lane In the case of at least one of the right and left directions of the reflected light that is relatively close to the own vehicle detected by the reflected light detection means is the right direction, It is estimated that there is another vehicle that is a two-wheeled vehicle in an area hidden from the camera.
自車後方を撮影するカメラと、A camera that captures the back of the vehicle,
前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、Reflected light that is reflected around the area concealed from the camera by an object within the range photographed by the camera and that moves relative to the host vehicle is converted into an image photographed by the camera. Reflected light detection means for detecting based on;
前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有し、A concealment area other vehicle estimation means for estimating that there is another vehicle in the area concealed with respect to the camera when the reflected light detection means detects the reflected light;
前記隠蔽領域内他車推定手段は、自車の走行している車線及び当該車線よりも左側の車線に渋滞が発生しており、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が左方向である場合と、自車の走行している車線及び当該車線よりも右側の車線に渋滞が発生しており、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が右方向である場合とのうちの少なくとも一方の場合に、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定することを特徴とする周辺監視システム。The other vehicle estimation means in the concealment area has a traffic jam in the lane in which the host vehicle is traveling and a lane on the left side of the lane, and is relative to the host vehicle detected by the reflected light detection unit. When the right and left direction of the reflected light approaching the vehicle is the left direction, there is a traffic jam in the lane in which the vehicle is traveling and the lane on the right side of the lane, and the reflected light detection means In the region concealed from the camera in at least one of the right and left directions of the reflected light that is relatively close to the own vehicle detected by the A peripheral monitoring system that estimates that there is another vehicle that is a motorcycle.
前記隠蔽領域内他車推定手段の推定に基づいて、前記カメラに対して隠蔽される領域内に存在する他車についての注意喚起もしくは警告をユーザに対して提示する提示手段を有することを特徴とする周辺監視システム。Based on the estimation of the other vehicle estimation means in the concealed area, the present invention has a presentation means for presenting a warning or warning about other vehicles existing in the area concealed to the camera to the user. Perimeter monitoring system.
前記周辺監視システムが、カメラで自車後方を撮影するステップと、The periphery monitoring system is configured to capture the rear of the vehicle with a camera;
前記周辺監視システムが、前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出するステップと、The surrounding monitoring system reflects the reflected light that is moving relative to the host vehicle and is reflected around the area concealed from the camera by an object within the range captured by the camera. Detecting based on images taken by the camera;
前記周辺監視システムが、前記カメラに対して隠蔽される領域の周辺において反射した反射光が検出された場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するステップとを有することを特徴とする他車検出方法。When the surrounding monitoring system detects reflected light reflected around the area concealed from the camera, and the vehicle estimated to be the light source of the reflected light is not captured by the camera And a step of estimating that another vehicle is present in an area concealed from the camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006224943A JP4906437B2 (en) | 2006-08-22 | 2006-08-22 | Perimeter monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006224943A JP4906437B2 (en) | 2006-08-22 | 2006-08-22 | Perimeter monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008052320A JP2008052320A (en) | 2008-03-06 |
| JP4906437B2 true JP4906437B2 (en) | 2012-03-28 |
Family
ID=39236359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006224943A Expired - Fee Related JP4906437B2 (en) | 2006-08-22 | 2006-08-22 | Perimeter monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4906437B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5347257B2 (en) * | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | Vehicle periphery monitoring device and video display method |
| JP4561863B2 (en) * | 2008-04-07 | 2010-10-13 | トヨタ自動車株式会社 | Mobile body path estimation device |
| MX349873B (en) * | 2012-03-01 | 2017-08-17 | Nissan Motor | Three-dimensional object detection device. |
| BR112014020404B1 (en) * | 2012-03-01 | 2021-08-31 | Nissan Motor Co.,Ltd | THREE-DIMENSIONAL OBJECT DETECTION DEVICE |
| JP5999183B2 (en) * | 2012-07-27 | 2016-09-28 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
| JP5943077B2 (en) * | 2012-07-27 | 2016-06-29 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
| JP7052632B2 (en) * | 2018-08-10 | 2022-04-12 | トヨタ自動車株式会社 | Peripheral display device for vehicles |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2970168B2 (en) * | 1992-01-14 | 1999-11-02 | 松下電器産業株式会社 | Vehicle detection device |
| JPH0665089A (en) * | 1992-08-25 | 1994-03-08 | Hitachi Chem Co Ltd | Vasodilator |
| JP3622426B2 (en) * | 1997-07-07 | 2005-02-23 | 日産自動車株式会社 | Forward warning device |
| JP4161584B2 (en) * | 2002-02-07 | 2008-10-08 | トヨタ自動車株式会社 | Safety device for moving objects |
| JP2004237834A (en) * | 2003-02-05 | 2004-08-26 | Auto Network Gijutsu Kenkyusho:Kk | Apparatus for sensing approaching vehicle |
| JP2004312523A (en) * | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
| JP4044031B2 (en) * | 2003-11-27 | 2008-02-06 | 本田技研工業株式会社 | Vehicle travel support device |
| JP4604971B2 (en) * | 2005-11-11 | 2011-01-05 | トヨタ自動車株式会社 | Vehicle communication device |
| JP4207060B2 (en) * | 2006-05-31 | 2009-01-14 | アイシン・エィ・ダブリュ株式会社 | Drawing system |
-
2006
- 2006-08-22 JP JP2006224943A patent/JP4906437B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008052320A (en) | 2008-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10286905B2 (en) | Driver assistance apparatus and control method for the same | |
| JP4420011B2 (en) | Object detection device | |
| JP5855272B2 (en) | Method and apparatus for recognizing braking conditions | |
| JP4906437B2 (en) | Perimeter monitoring system | |
| JP5751423B2 (en) | Driving assistance device | |
| CN108725454B (en) | Safe driving assistance system and control method thereof | |
| JP2010113601A (en) | Vehicle warning apparatus | |
| JP2005309797A (en) | Warning device for pedestrian | |
| CN110622504A (en) | Method and device for the spatially resolved detection of objects outside a vehicle by means of a sensor installed in the vehicle | |
| JP2017151963A (en) | Method and device for supporting driver | |
| WO2017115371A1 (en) | Apparatus and method for avoiding vehicular accidents | |
| JP4751894B2 (en) | A system to detect obstacles in front of a car | |
| KR101285006B1 (en) | Car mirror system and method for displaying driving information | |
| JP2007018142A (en) | Vehicle periphery monitoring device | |
| KR102199743B1 (en) | Driver assistance system and method for providing blind spot image | |
| JP2004310522A (en) | Vehicular image processor | |
| CN111081045A (en) | Attitude trajectory prediction method and electronic equipment | |
| JP6398182B2 (en) | Signal information presentation device | |
| KR20190062686A (en) | Automatic Driving control System, vehicle having the same and method for controlling the same | |
| JP4066892B2 (en) | Vehicle alarm device | |
| KR20170069645A (en) | System of preventing pedestrian accident and method performing thereof | |
| JP2009151606A (en) | Other vehicle detecting device | |
| JP4760445B2 (en) | Vehicle alarm device | |
| CN114074601A (en) | Method for outputting warning signal by parked vehicle | |
| KR20170127678A (en) | Device for recording the driving condition of personal transportation and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4906437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |