JP6179249B2

JP6179249B2 - Vehicle detection device

Info

Publication number: JP6179249B2
Application number: JP2013160168A
Authority: JP
Inventors: 照久高野; 真史安原; 秀則瀬口
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2013-08-01
Filing date: 2013-08-01
Publication date: 2017-08-16
Anticipated expiration: 2033-08-01
Also published as: JP2015032082A

Description

本発明は、車両検出装置に関するものである。 The present invention relates to a vehicle detection device.

１８０度以上の画角を有した４つの車載カメラを車両に配置し、これら車載カメラで撮影した撮影画像から、車両の位置の略中央の真上位置を仮想視点とした合成画像を生成して、当該合成画像をディスプレイに表示する。そして、当該車載カメラのうちバックカメラの撮影画像から接近車両を検出し、接近車両が車両に近づくにつれて前記仮想視点の高さを上昇させる画像表示システムが開示されている（特許文献１）。 Four in-vehicle cameras with an angle of view of 180 degrees or more are arranged in the vehicle, and a composite image is generated from the captured image captured by these in-vehicle cameras with a virtual viewpoint at a position just above the center of the vehicle. The composite image is displayed on the display. And the image display system which detects an approaching vehicle from the image | photographed image of a back camera among the said vehicle-mounted cameras, and raises the height of the said virtual viewpoint as an approaching vehicle approaches a vehicle is disclosed (patent document 1).

特開２０１２−２５３４２８号公報JP 2012-253428 A

しかしながら、上記の画像表示システムでは、車両の検出の際に用いた画像が、１８０度以上の広い画角をもつカメラで撮像されており、自車両の後方の遠い領域では、当該カメラの広画角の部分で撮像されてしまうため、車両の検出精度が低い、という問題があった。 However, in the above image display system, the image used for detecting the vehicle is captured by a camera having a wide angle of view of 180 degrees or more, and in the far region behind the host vehicle, the wide image of the camera is captured. Since the image is taken at the corner, there is a problem that the vehicle detection accuracy is low.

本発明が解決しようとする課題は、車両の後方からの接近車を、高い精度で検出する車両検出装置を提供することである。 The problem to be solved by the present invention is to provide a vehicle detection device that detects an approaching vehicle from the rear of the vehicle with high accuracy.

本発明は、第１撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像に写る立体物の倒れ込みから前記立体物を検出し、当該第１撮像画像よりも遠方を撮像した第２撮像画像に基づき他車両を検出し、検出された立体物及び他車両に基づき、接近車の有無を判定するものであり、前記他車両が遠方検出領域から近傍検出領域に入るタイミングを算出し、異なる時刻の鳥瞰視画像に基づき近傍検出領域内における立体物を検出し、タイミングに対応して撮像された１つのフレーム分の第１撮像画像を、現時刻の鳥瞰視画像として視点変換し、現時刻の鳥瞰視画像に写る立体物の倒れ込みから立体物を検出することによって上記課題を解決する。

The present invention converts the first captured image into a bird's-eye view image, detects the three-dimensional object from the fall of the three-dimensional object appearing in the bird's-eye view image, and converts the first captured image into a second captured image obtained by capturing a distance from the first captured image. Based on the detected three-dimensional object and the other vehicle, the presence or absence of an approaching vehicle is determined based on the detected three-dimensional object and the other vehicle . A three-dimensional object in the vicinity detection area is detected based on the bird's-eye view image, and the first captured image for one frame imaged in accordance with the timing is converted as a bird's-eye view image at the current time, and the bird's-eye view at the current time is converted. The said subject is solved by detecting a solid object from the fall of the solid object reflected in a visual image .

本発明は、立体物の検出の際に精度が低くなる領域における他車両を、車両後方の遠方を撮像した画像に基づき検出した上で、自車両の近傍を表す鳥瞰視画像から他車両に対応する立体物を検出しているため、他車両の検出精度を高めることができる。 The present invention detects another vehicle in a region where accuracy is low when detecting a three-dimensional object based on an image obtained by imaging a distant rear of the vehicle, and then corresponds to the other vehicle from a bird's-eye view image representing the vicinity of the own vehicle. Since the three-dimensional object to be detected is detected, the detection accuracy of other vehicles can be increased.

本発明の実施形態に係る車両検出装置のブロック図である。1 is a block diagram of a vehicle detection device according to an embodiment of the present invention. 図１のカメラの位置を説明するための図であり、車両の平面図である。It is a figure for demonstrating the position of the camera of FIG. 1, and is a top view of a vehicle. 図１のカメラの位置を説明するための図であり、車両の側面図である。It is a figure for demonstrating the position of the camera of FIG. 1, and is a side view of a vehicle. 図１のディスプレイの位置を説明するための図であり、車両のインストゥメンタルパネルの周囲を示す図である。It is a figure for demonstrating the position of the display of FIG. 1, and is a figure which shows the circumference | surroundings of the instrumental panel of a vehicle. 図１の車両の走行状態を示す平面図である。It is a top view which shows the driving state of the vehicle of FIG. 図１の車両の後方部分の側面図である。It is a side view of the rear part of the vehicle of FIG. 図１の立体検出部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。It is a figure for demonstrating the outline | summary of the process of the solid detection part of FIG. 1, (a) is a top view which shows the movement state of a vehicle, (b) is an image which shows the outline | summary of alignment. 図１の立体検出部による差分波形の生成の様子を示す概略図である。It is the schematic which shows the mode of the production | generation of the difference waveform by the solid detection part of FIG. 図１の立体物検出部によって分割される小領域を示す図である。It is a figure which shows the small area | region divided | segmented by the solid-object detection part of FIG. 図１の立体物検出部により得られるヒストグラムの一例を示す図である。It is a figure which shows an example of the histogram obtained by the solid-object detection part of FIG.

以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<< First Embodiment >>

図１は、本発明の実施形態に係る車両検出装置のブロック図である。本例の車両検出装置は、車両に搭載され、自車両の後方から接近する他車両を検出するための装置である。 FIG. 1 is a block diagram of a vehicle detection apparatus according to an embodiment of the present invention. The vehicle detection device of this example is a device that is mounted on a vehicle and detects another vehicle approaching from behind the host vehicle.

また本例は、車両駆動装置の構成の一部となるカメラ、及び、他のカメラを用いて、自車両の後方及び自車両の周囲を撮影し、ディスプレイに表示することで、自車両の後方又は周囲の情報を、乗員に提示している。従来は、車室内又は車室外にミラーを設置し、乗員がミラーを直接みることで、自車両の後方又は周囲の情報を取得していたが、ミラーの視野角が狭い点や、ミラーにボディーのピラーが写ることで死角が生じる等の問題があった。そのため、本例は、ミラーを車両に設けずに、カメラとディスプレイを用いることで、これらの問題を解決している。 In addition, this example uses a camera that is a part of the configuration of the vehicle drive device and another camera to capture the back of the host vehicle and the surroundings of the host vehicle, and display the result on the display. Or the surrounding information is presented to the passenger. In the past, mirrors were installed in the vehicle interior or exterior, and passengers directly viewed the mirrors to obtain information about the rear or surroundings of the vehicle. There was a problem that a blind spot was generated by the pillars of. Therefore, this example solves these problems by using a camera and a display without providing a mirror in the vehicle.

図１に示すように、本実施形態に係る車両検出装置は、右サイドカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃ、バックカメラ１ｄ、右ディスプレイ２ａ、左ディスプレイ２ｂ、中央ディスプレイ２ｃ、報知部３及びコントローラ１０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、情報の送信又は受信を行うことができる。 As shown in FIG. 1, the vehicle detection apparatus according to the present embodiment includes a right side camera 1a, a left side camera 1b, a rear camera 1c, a back camera 1d, a right display 2a, a left display 2b, a central display 2c, and a notification unit 3. And a controller 10. Each of these devices is connected by a CAN (Controller Area Network) or other in-vehicle LAN, and can transmit or receive information.

右サイドカメラ１ａ、左サイドカメラ１ｂ、及びリアカメラ１ｃは、自車両の後方の情報を取得するために、自車両の後方を撮像するカメラである。バックカメラ１ｄは、自車両の後方の周囲（自車両の近傍）の情報を取得するために、自車両の後方の周囲を撮像するカメラである。カメラ１ａ〜１ｄは、車両の外部の異なる位置に各々設置されている。図２及び図３にカメラ１ａ〜１ｄの配置例を示す。図２は自車両の平面図を、図３は自車両の側面図を示す。 The right side camera 1a, the left side camera 1b, and the rear camera 1c are cameras that capture the rear of the host vehicle in order to acquire information behind the host vehicle. The back camera 1d is a camera that images the back of the host vehicle in order to acquire information about the back of the host vehicle (in the vicinity of the host vehicle). The cameras 1a to 1d are respectively installed at different positions outside the vehicle. 2 and 3 show examples of arrangement of the cameras 1a to 1d. 2 is a plan view of the host vehicle, and FIG. 3 is a side view of the host vehicle.

たとえば、図２に示すように、右サイドカメラ１ａは、車両右側方の所定の位置に設置され、従来、右ドアミラー（右サイドミラー）を設置していた場所に設けられている。右サイドカメラ１ａは、車両の右後方を撮像する。左サイドカメラ１ｂは、車両左側方の所定の位置に設置され、従来、左ドアミラー（左サイドミラー）を設置していた場所に設けられている。左サイドカメラ１ｂは、車両の左後方を撮像する。 For example, as shown in FIG. 2, the right side camera 1a is installed at a predetermined position on the right side of the vehicle, and is provided in a place where a right door mirror (right side mirror) has been conventionally installed. The right side camera 1a images the right rear of the vehicle. The left side camera 1b is installed at a predetermined position on the left side of the vehicle, and is provided at a place where a left door mirror (left side mirror) has conventionally been installed. The left side camera 1b images the left rear of the vehicle.

リアカメラ１ｃは、後部ドア（バックドア）の高いところに設けられている。後部ドアにハイマウントストップランプが設けられている場合には、リアカメラ１ｃは、当該ハイマウントストップランプの付近に設置されている。リアカメラ１ｃは、車両の後方を撮像するように設置され、右サイドカメラ１ａで映す部分と、左サイドカメラ１ｂで映す部分の間を撮像するように設けられている。リアカメラ１ｃはバックドアの外側（車室外）に設けもよく、あるいは、バックドアの内側（車室内）に設けもよい。 The rear camera 1c is provided at a high position on the rear door (back door). When a high-mount stop lamp is provided on the rear door, the rear camera 1c is installed in the vicinity of the high-mount stop lamp. The rear camera 1c is installed so as to capture the rear of the vehicle, and is provided so as to capture between the portion projected by the right side camera 1a and the portion projected by the left side camera 1b. The rear camera 1c may be provided outside the back door (outside the vehicle compartment), or may be provided inside the back door (in the vehicle compartment).

バックカメラ１ｄは、リアガラスの下部などの車両後方の所定位置に設置され、車両の後方を撮像する。図３に示すように、リアカメラ１ｃは、バックカメラ１ｄよりも、地表に対して高い位置に設けられている。また、リアカメラ１ｃ及びバックカメラ１ｄは共に車両の後方を撮像しているが、リアカメラ１ｃは自車両の遠方を撮像し、バックカメラ１ｄは自車両の近傍を撮像している。また、リアカメラ１ｃの画角は、バックカメラ１ｄの画角よりも広い。すなわち、バックカメラ１ｄは、リアカメラ１ｃの撮像範囲よりも近傍を撮像している。 The back camera 1d is installed at a predetermined position on the rear side of the vehicle such as the lower part of the rear glass, and images the rear side of the vehicle. As shown in FIG. 3, the rear camera 1c is provided at a position higher than the back camera 1d with respect to the ground surface. The rear camera 1c and the back camera 1d both capture the rear of the vehicle, but the rear camera 1c captures a distance from the host vehicle, and the back camera 1d captures the vicinity of the host vehicle. Further, the angle of view of the rear camera 1c is wider than that of the back camera 1d. In other words, the back camera 1d images near the image capturing area of the rear camera 1c.

右ディスプレイ２ａ、左ディスプレイ２ｂ、及び中央ディスプレイ２ｃは、カメラ１ａ〜１ｄで撮像される自車両の後方の画像を、表示する表示装置である。図４に、ディスプレイ２ａ〜２ｃの配置例を示す。図４は、自車両のインストゥメンタルパネルの周囲を示す図である。 The right display 2a, the left display 2b, and the central display 2c are display devices that display images behind the host vehicle that are captured by the cameras 1a to 1d. FIG. 4 shows an arrangement example of the displays 2a to 2c. FIG. 4 is a view showing the periphery of the instrument panel of the host vehicle.

例えば、図４に示すように、右ディスプレイ２ａは、インストゥメンタルパネル２０の右側に設置されている。右ディスプレイ２ａは、右サイドカメラ１ａで撮像された画像を表示するディスプレイである。左ディスプレイ２ｂは、インストゥメンタルパネル２０の左側に設置されている。左ディスプレイ２ｂは、左サイドカメラ１ｂで撮像された画像を表示するディスプレイである。中央ディスプレイ２ｃは、インストゥメンタルパネル２０の中央に設置されている。中央ディスプレイ２ｃは、リアカメラ１ｃ及びバックカメラ１ｄで撮像された画像を表示するディスプレイである。 For example, as shown in FIG. 4, the right display 2 a is installed on the right side of the instrument panel 20. The right display 2a is a display that displays an image captured by the right side camera 1a. The left display 2 b is installed on the left side of the instrument panel 20. The left display 2b is a display that displays an image captured by the left side camera 1b. The central display 2 c is installed at the center of the instrument panel 20. The central display 2c is a display that displays images captured by the rear camera 1c and the back camera 1d.

図１に戻り、報知部３は、車室内に設けられたスピーカである。報知部３は、自車両に接近する接近車の存在を、ドライバーに報知するために、コントローラ１０の制御に基づいて、警報音を発する。なお、接近車の警報は、報知部３による音に限らず、例えば中央ディスプレイ２ｃで表示してもよい。 Returning to FIG. 1, the alerting | reporting part 3 is a speaker provided in the vehicle interior. The notification unit 3 generates an alarm sound based on the control of the controller 10 in order to notify the driver of the presence of an approaching vehicle approaching the host vehicle. The approaching vehicle warning is not limited to the sound generated by the notification unit 3, and may be displayed on the central display 2c, for example.

コントローラ１０は、各カメラ１ａ〜１ｄから撮像画像の情報を取得して、各ディスプレイ２ａ〜２ｃで表示される表示画像を生成して、各ディスプレイ２ａ〜２ｃに出力することで、乗員に対して、自車両の後方及び周辺の様子を、電子画像により視覚的に提示する制御装置である。また、コントローラ１０は、カメラ１ｃ〜１ｄの撮像画像から、自車両の後方を走行する他車両を検出し、他車両の接近に応じて警報を発するために制御装置でもある。 The controller 10 acquires captured image information from the cameras 1a to 1d, generates display images to be displayed on the displays 2a to 2c, and outputs them to the displays 2a to 2c. This is a control device that visually presents the state of the rear and surroundings of the host vehicle with an electronic image. In addition, the controller 10 is also a control device for detecting other vehicles traveling behind the host vehicle from the captured images of the cameras 1c to 1d and issuing an alarm in response to the approach of the other vehicle.

コントローラ１０は、各種プログラムが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）等により構成されている。そして、コントローラ１０は、各制御機能を発揮するための機能ブロックとして、後側方画像制御部１１、鳥瞰視画像生成部１３、後方画像制御部１３、立体物検出部１４、車両検出部１５、及び接近車判定部１６を有している。 The controller 10 includes a ROM (Read Only Memory) in which various programs are stored, a CPU (Central Processing Unit) as an operation circuit for executing the programs stored in the ROM, and a RAM (Random Access) that functions as an accessible storage device. Memory) or the like. Then, the controller 10 includes a rear side image control unit 11, a bird's eye view image generation unit 13, a rear image control unit 13, a three-dimensional object detection unit 14, a vehicle detection unit 15, as functional blocks for performing each control function. And an approaching vehicle determination unit 16.

後側方画像制御部１１は、右サイドカメラ１ａで撮像した撮像画像から、車両の右側の後側方の部分を表示するための表示画像を生成する。このとき、後側方画像制御部１１は、右サイドカメラ１ａの撮像画像のうち、車両の右側の後側方の部分と対応する画像を抽出する。そして、後側方画像制御部１１は、抽出した画像を補正することで表示画像を生成し、右ディスプレイ２ａに出力する。 The rear side image control unit 11 generates a display image for displaying a rear side portion on the right side of the vehicle from the captured image captured by the right side camera 1a. At this time, the rear side image control unit 11 extracts an image corresponding to the rear side portion on the right side of the vehicle from the captured image of the right side camera 1a. Then, the rear side image control unit 11 corrects the extracted image to generate a display image, and outputs the display image to the right display 2a.

右サイドミラー１ａの位置に設定されていた、従前のミラーの視野角と、本例の右サイドミラー１ａの画角は異なっている。そのため、撮像画像を補正せずに右ディスプレイ２ａに表示した場合には、ディスプレイに表示する際の被写体の大きさが、ミラーで映したときの被写体の大きさと相違する。後側方画像制御部１１は、被写体の大きさの相違を修正するために、抽出した画像を補正する。これにより、ユーザが右ディスプレイ２ａの表示画像をみた際に、ユーザが被写体までの距離感を見誤らないようにしている。 The viewing angle of the previous mirror set at the position of the right side mirror 1a is different from the angle of view of the right side mirror 1a of this example. Therefore, when the captured image is displayed on the right display 2a without correction, the size of the subject displayed on the display is different from the size of the subject displayed on the mirror. The rear side image control unit 11 corrects the extracted image in order to correct the difference in the size of the subject. This prevents the user from mistaking the sense of distance to the subject when viewing the display image on the right display 2a.

また、後側方画像制御部１１は、左サイドカメラ１ｂで撮像した撮像画像のうち、車両の左側の後側方の部分と対応する画像を抽出する。そして、後側方画像制御部１１は、抽出した画像を補正しつつ表示画像を生成し、生成した画像を左ディスプレイ２ｂに出力することで、車両の左側の後側方の部分を表示する。 In addition, the rear side image control unit 11 extracts an image corresponding to the rear side portion on the left side of the vehicle from the captured image captured by the left side camera 1b. Then, the rear side image control unit 11 generates a display image while correcting the extracted image, and outputs the generated image to the left display 2b, thereby displaying the rear side portion of the left side of the vehicle.

後方画像制御部１２は、リアカメラ１ｃで撮像した撮像画像から、車両の後方（車両の真後ろ）の部分を表示するための表示画像を生成する。 The rear image control unit 12 generates a display image for displaying a portion behind the vehicle (directly behind the vehicle) from the captured image captured by the rear camera 1c.

具体的には、後方画像制御部１２は、リアカメラ１ｃで撮像した画像を、自車両の車室内の所定の位置を視点とする画像に視点変換する。また、後方画像制御部１２は、視点変化した画像を補正することで表示画像を生成する。図２に示すように、リアカメラ１ｃの設置された位置とルームミラーの位置は異なり、車両の後方の被写体に対して、リアカメラ１ｃの位置の方が近くなる。そのため、設置位置の違いに基づく被写体までの撮像距離を修正するために、後方画像制御部１２は視点変換を行う。また、後側方画像制御部１２と同様に、ミラーとカメラによる画角の違いを修正するために、後方画像制御部１２は画像を補正している。 Specifically, the rear image control unit 12 converts the image captured by the rear camera 1c into an image having a predetermined position in the vehicle interior of the host vehicle as a viewpoint. Further, the rear image control unit 12 generates a display image by correcting an image whose viewpoint has changed. As shown in FIG. 2, the position where the rear camera 1c is installed and the position of the rearview mirror are different, and the position of the rear camera 1c is closer to the subject behind the vehicle. For this reason, the rear image control unit 12 performs viewpoint conversion in order to correct the imaging distance to the subject based on the difference in the installation position. Similarly to the rear side image control unit 12, the rear image control unit 12 corrects the image in order to correct the difference in the angle of view between the mirror and the camera.

そして、後方画像制御部１２は、生成した画像を中央ディスプレイ２ｃに出力することで、車両の後方の部分を表示する。 Then, the rear image control unit 12 displays the rear portion of the vehicle by outputting the generated image to the central display 2c.

鳥瞰視画像生成部１３は、リアカメラ１ｃ及びバックカメラ１ｄから撮像画像を取得し、自車両上方の仮想視点から自車両および自車両周囲を見下ろした鳥瞰視画像に視点変換する。撮像画像と鳥瞰視画像との間の変換は、撮像画像の画素アドレスと鳥瞰視画像における画素アドレスとの対応関係を示すテーブルにより表されている。そして、鳥瞰視画像生成部１３は、返還後の鳥瞰視画像を立体物検出部１４に出力する。 The bird's-eye view image generation unit 13 acquires a captured image from the rear camera 1c and the back camera 1d, and converts the viewpoint from a virtual viewpoint above the host vehicle into a bird's-eye view image looking down at the host vehicle and the surroundings of the host vehicle. The conversion between the captured image and the bird's-eye view image is represented by a table indicating the correspondence between the pixel address of the captured image and the pixel address in the bird's-eye view image. Then, the bird's eye view image generation unit 13 outputs the bird's eye view image after the return to the three-dimensional object detection unit 14.

立体物検出部１４は、鳥瞰視画像生成部１３から鳥瞰視画像を取得し、鳥瞰視画像に写る立体物の倒れ込みから、車両の後方の立体物を検出する。また立体物検出部１４は、取得した鳥瞰視画像に基づき、検出した立体物の移動距離又は当該立体物の速度などの立体物の情報を検出する。 The three-dimensional object detection unit 14 acquires a bird's-eye view image from the bird's-eye view image generation unit 13, and detects a three-dimensional object behind the vehicle from the fall of the three-dimensional object shown in the bird's-eye view image. In addition, the three-dimensional object detection unit 14 detects information on the three-dimensional object such as the movement distance of the detected three-dimensional object or the speed of the three-dimensional object based on the acquired bird's-eye view image.

立体物検出部１４は、立体物の状態を検出する際には、まず取得した異なる時刻の鳥瞰視画像に基づき、鳥瞰視画像の位置を鳥瞰視上でそれぞれ位置合わせする。立体物検出部１４は、位置合わせた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素数をカウントして度数分布化する。そして、立体物検出部１４は、同数分化することで生成された差分波形情報に基づいて、立体物の状態を検出する。 When detecting the state of the three-dimensional object, the three-dimensional object detection unit 14 first aligns the position of the bird's-eye view image on the bird's-eye view based on the acquired bird's-eye view images at different times. The three-dimensional object detection unit 14 counts the number of pixels indicating a predetermined difference on the difference image along the direction in which the three-dimensional object falls when the viewpoint of the bird's-eye view image is converted on the difference image of the aligned bird's-eye view image. To make a frequency distribution. Then, the three-dimensional object detection unit 14 detects the state of the three-dimensional object based on the difference waveform information generated by the same number differentiation.

立体物検出部１４は、立体物の検出結果を接近車判定部１６に出力する。なお、立体物検出部１４による立体物の検出制御の詳細については、後述する。 The three-dimensional object detection unit 14 outputs the detection result of the three-dimensional object to the approaching vehicle determination unit 16. The details of the three-dimensional object detection control by the three-dimensional object detection unit 14 will be described later.

車両検出部１５は、リアカメラ１ｃの撮像画像に基づき、自車両の後方を走行する他車両を検出する。車両検出部１５には、車両を形取ったテンプレートが予め記録されている。そして、車両検出部１５は、取得したリアカメラ１ｃの撮像画像と、テンプレートを比較することで、撮像画像に写る他車両を特定する。撮像画像内には、検出した他車両の走行車線である路面が写っている。そのため、車両検出部１５は、撮像画像内において、路面に対する他車両の大きさを計測することで、自車両から他車両までの距離を検出できる。さらに、リアカメラ１ｃは、所定の周期で、車両の後方を撮像しているため、車両検出部１５は、撮像画像に写る他車両の大きさの変化と当該周期から、自車両に対する他車両の相対距離も検出できる。そして、車両検出部１５は検出結果を接近車判定部１６に出力する。 The vehicle detection part 15 detects the other vehicle which drive | works the back of the own vehicle based on the captured image of the rear camera 1c. In the vehicle detection unit 15, a template shaped vehicle is recorded in advance. And the vehicle detection part 15 specifies the other vehicle reflected in a captured image by comparing the acquired captured image of the rear camera 1c with a template. In the captured image, the road surface that is the detected traffic lane of the other vehicle is shown. Therefore, the vehicle detection unit 15 can detect the distance from the own vehicle to the other vehicle by measuring the size of the other vehicle with respect to the road surface in the captured image. Furthermore, since the rear camera 1c images the rear of the vehicle at a predetermined cycle, the vehicle detection unit 15 determines the other vehicle's vehicle relative to the host vehicle from the change in the size of the other vehicle in the captured image and the cycle. Relative distance can also be detected. Then, the vehicle detection unit 15 outputs the detection result to the approaching vehicle determination unit 16.

接近車判定部１６は、立体物検出部１４の検出結果及び車両検出部１５の検出結果に基づき、自車両に接近する接近車の有無を判定する。車両検出部１５は自車両に対して遠方部分を検出領域（以下、遠方検出領域と称す。）とし、立体物検出部１４は、車両検出部１５の検出領域よりも近傍部分を検出領域（以下、近傍検出領域と称する）としている。そして、接近車判定部１６は、車両検出部１５により、遠方検出領域において他車両の存在を検出すると、立体物検出部１４の検出結果に基づき、当該他車両に対応する立体物を近傍検出領域内で検出されたか否かを判定する。そして、他車両に対応する立体物を近傍検出領域内で検出した場合には、接近車判定部１６は、検出した他車両を接近車として判定する。 The approaching vehicle determination unit 16 determines whether there is an approaching vehicle approaching the host vehicle based on the detection result of the three-dimensional object detection unit 14 and the detection result of the vehicle detection unit 15. The vehicle detection unit 15 uses a portion far from the vehicle as a detection region (hereinafter referred to as a far detection region), and the three-dimensional object detection unit 14 detects a portion near the detection region of the vehicle detection unit 15 (hereinafter referred to as a detection region). , Referred to as a proximity detection region). And the approaching vehicle determination part 16 will detect the solid object corresponding to the said other vehicle based on the detection result of the solid-object detection part 14, if the vehicle detection part 15 detects presence of another vehicle in a distant detection area. Is detected. When a three-dimensional object corresponding to another vehicle is detected in the vicinity detection area, the approaching vehicle determination unit 16 determines the detected other vehicle as an approaching vehicle.

また接近車判定部１６は、上記の判定により、接近車が近傍検出領域に進入した時に、報知部３を制御することでドライバーに対して、車両の接近を警報する。 In addition, the approaching vehicle determination unit 16 warns the driver of the approach of the vehicle by controlling the notification unit 3 when the approaching vehicle enters the proximity detection region based on the above determination.

次に、他車両の検出領域とカメラ１ｃ、１ｄの画角との関係について、図５及び図６を用いて説明する。図５は、近傍検出領域及び遠方検出領域を説明するための図であり、車両及び走行車線の平面図である。図６は、近傍検出領域を説明するための図である、車両の側面図である。 Next, the relationship between the detection area of the other vehicle and the angles of view of the cameras 1c and 1d will be described with reference to FIGS. FIG. 5 is a diagram for explaining the proximity detection region and the remote detection region, and is a plan view of the vehicle and the travel lane. FIG. 6 is a side view of the vehicle for explaining the proximity detection region.

バックカメラ１ｄの画角ａは、自車両の走行車線に加えて、当該走行車線の左右の隣接車線についても撮影可能な画角に設定されている。立体物検出部１４の検出領域である近傍検出領域は、自車両の走行車線に対して左右に隣接する車線上であり、自車両の後方に設定されている。近傍検出領域は、バックカメラ１ｄの撮像範囲を含む範囲であって、自車両に対して近い部分、例えば自車両の後方で１．５ｍ〜８．０ｍ程度に設定されている。 The angle of view a of the back camera 1d is set to an angle of view that allows photographing of not only the travel lane of the host vehicle but also the adjacent lanes on the left and right of the travel lane. The proximity detection area that is the detection area of the three-dimensional object detection unit 14 is on the lane adjacent to the left and right of the traveling lane of the host vehicle, and is set behind the host vehicle. The vicinity detection area is a range including the imaging range of the back camera 1d, and is set to a portion close to the host vehicle, for example, about 1.5 m to 8.0 m behind the host vehicle.

遠方検出領域は、自車両の走行車線に対して左右に隣接する車線上であり、自車両の後方に設定されている。また、遠方検出領域は、自車両の後方で、近傍検出領域よりも遠い位置に設定されており、例えば、自車両の後方で８．０ｍ以上の範囲に設定されている。図５において、領域（Ａ_１、Ａ_２）が近傍検出領域を表し、領域（Ｂ_１、Ｂ_２）が遠方検出領域を表す。 The far detection area is on the lane adjacent to the left and right of the traveling lane of the host vehicle, and is set behind the host vehicle. Further, the far detection area is set at a position far behind the vicinity detection area behind the host vehicle, and is set to a range of 8.0 m or more behind the host vehicle, for example. In FIG. 5, regions (A ₁ , A ₂ ) represent proximity detection regions, and regions (B ₁ , B ₂ ) represent distant detection regions.

バックカメラ１ｄの画角は広いため、近傍検出領域のうち、車両に近い側の領域が、バックカメラ１ｄの撮像範囲に含まれる。一方、リアカメラ１ｃの画角は狭いため、車両の近い部分を撮像することができないが、近傍検出領域のうち車両に遠い側の領域、及び、遠方検出領域が、バックカメラ１ｃの撮像画像に含まれる。 Since the angle of view of the back camera 1d is wide, an area closer to the vehicle in the vicinity detection area is included in the imaging range of the back camera 1d. On the other hand, since the angle of view of the rear camera 1c is narrow, it is impossible to image a portion near the vehicle, but the region far from the vehicle and the far detection region in the vicinity detection region are captured images of the back camera 1c. included.

すなわち、図６に示すように、近傍検出領域のうち車両に対して遠い側の領域では、リアカメラ１ｃの撮像範囲とバックカメラ１ｄの撮像範囲が重なっている。 That is, as shown in FIG. 6, the imaging range of the rear camera 1 c and the imaging range of the back camera 1 d overlap in a region far from the vehicle in the proximity detection region.

バックカメラ１ｄの撮像範囲において、車両に対して遠い部分の光は、バックカメラ１ｄのレンズのエッジの部分を通って収束する。そして、バックカメラ１ｄは広画角に設定されているため、エッジ部分の歪みが大きい。一方、リアカメラ１ｃは狭い画角に設定されているため、レンズのエッジ部分でも歪みが小さい。 In the imaging range of the back camera 1d, light at a portion far from the vehicle converges through the edge portion of the lens of the back camera 1d. Since the back camera 1d is set to have a wide angle of view, the distortion of the edge portion is large. On the other hand, since the rear camera 1c is set to a narrow angle of view, distortion is small even at the edge portion of the lens.

そのため、本例において、立体物検出部１４は、近傍検出領域（Ａ_１、Ａ_２）のうち、リアカメラ１ｃの撮像範囲（Ｘ）とバックカメラ１ｄの撮像範囲（Ｙ）との重複部分では、リアカメラ１ｃの撮像画像に基づいて、立体物を検出する。例えば、地表からリアカメラ１ｃまでの位置までの高さをｈとし、リアカメラ１ｃの垂直画角を４０度（レンズの光軸は水平方向）とする。そして、立体物を検出する際に用いる画像の切り替えの境界線を、自車両からの距離ｄ（水面上における距離）とすると、１．５／ｄ＝ｔａｎ（２０度）が成立し、ｄは４．１２ｍとなる。 Therefore, in this example, the three-dimensional object detection unit 14 is in the overlapping portion between the imaging range (X) of the rear camera 1c and the imaging range (Y) of the back camera 1d in the vicinity detection areas (A ₁ , A ₂ ). A solid object is detected based on the captured image of the rear camera 1c. For example, the height from the ground surface to the position of the rear camera 1c is h, and the vertical field angle of the rear camera 1c is 40 degrees (the optical axis of the lens is the horizontal direction). If the boundary line of image switching used when detecting a three-dimensional object is a distance d from the host vehicle (a distance on the water surface), 1.5 / d = tan (20 degrees) is established, and d is 4.12 m.

すなわち、リアカメラ１ｃの位置、車両の高さ、及びリアカメラ１ｃの画角に応じて、画像の切り替えの境界線が設定される。そして、立体物検出部１４は、車両から距離が４．１２ｍ未満まではバックカメラ１ｄの撮像画像に基づき立体物を検出し、車両から距離が４．１２ｍ以上８．０ｍ以下ではリアカメラ１ｃの撮像画像に基づき立体物を検出する。これにより、歪みの少ない画像を鳥瞰視画像に変換した上で、立体物を検出できるため、本例は立体物の検出精度を向上できる。 That is, an image switching boundary line is set according to the position of the rear camera 1c, the height of the vehicle, and the angle of view of the rear camera 1c. Then, the three-dimensional object detection unit 14 detects a three-dimensional object based on the captured image of the back camera 1d until the distance from the vehicle is less than 4.12 m, and the rear camera 1c when the distance from the vehicle is 4.12 m or more and 8.0 m or less. A solid object is detected based on the captured image. Thereby, since a solid object can be detected after converting an image with little distortion into a bird's-eye view image, this example can improve the detection accuracy of the solid object.

以下、立体物検出部１４による立体物の検出制御について説明する。立体物検出部１４により取得される鳥瞰視画像の特性として、撮像画像データを鳥瞰視画像データに視点変換することで、立体物に特有の鉛直エッジは鳥瞰視画像において特定の定点を通る直線群に変換されるという原理をもっている。そのため、立体物検出部１４は、この原理を利用して平面物と立体物とを識別している。 Hereinafter, detection control of the three-dimensional object by the three-dimensional object detection unit 14 will be described. As a characteristic of the bird's-eye view image acquired by the three-dimensional object detection unit 14, the vertical edge peculiar to the three-dimensional object passes through a specific fixed point in the bird's-eye view image by converting the captured image data into the bird's-eye view image data. It has the principle of being converted to Therefore, the three-dimensional object detection unit 14 distinguishes a planar object and a three-dimensional object using this principle.

鳥瞰視画像生成部１３は、リアカメラ１ｃの撮像画像から、近傍検出領域のうち自車両に対して遠方部分に相当する部分の画像を抽出し、バックカメラ１ｄの撮像画像から、近傍検出領域のうち自車両に対して近傍部分に相当する部分の画像を抽出する。鳥瞰視画像生成部１３は、抽出した各画像の画素アドレスを対応させつつ、画像を合成する。そして、鳥瞰視画像生成部１３は、合成した画像を鳥瞰視画像に変換し、変換した鳥瞰視画像のデータを立体物検出部１４に出力する。 The bird's-eye view image generation unit 13 extracts an image of a portion corresponding to a portion far from the own vehicle in the vicinity detection region from the captured image of the rear camera 1c, and from the captured image of the back camera 1d, Among them, an image of a portion corresponding to the vicinity of the host vehicle is extracted. The bird's-eye view image generation unit 13 synthesizes the images while corresponding the pixel addresses of the extracted images. Then, the bird's-eye view image generation unit 13 converts the synthesized image into a bird's-eye view image, and outputs the converted bird's-eye view image data to the three-dimensional object detection unit 14.

立体物検出部１４は、鳥瞰視画像生成部１２の視点変換により得られた鳥瞰視画像データを順次取得し、取得した異なる時刻の鳥瞰視画像データの位置を合わせる。図７は、立体物検出部１４による位置合わせの処理の概要を説明するための図であり、（ａ）は自車両Ｖの移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 The three-dimensional object detection unit 14 sequentially acquires the bird's-eye view image data obtained by the viewpoint conversion of the bird's-eye view image generation unit 12 and aligns the positions of the acquired bird's-eye view image data at different times. 7A and 7B are diagrams for explaining the outline of the alignment process performed by the three-dimensional object detection unit 14. FIG. 7A is a plan view showing the moving state of the host vehicle V, and FIG. 7B shows the outline of the alignment. It is an image.

図７（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置していたとする。また、自車両Ｖの後側方向に他車両ＶＸが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶＸがＶ３に位置し、一時刻前の他車両ＶＸがＶ４に位置していたとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。 As shown in FIG. 7A, it is assumed that the host vehicle V at the current time is located at V1, and the host vehicle V one hour before is located at V2. Further, the other vehicle VX is located in the rear direction of the own vehicle V and is in parallel with the own vehicle V, the other vehicle VX at the current time is located at V3, and the other vehicle VX one hour before is located at V4. Suppose you were. Furthermore, it is assumed that the host vehicle V has moved a distance d at one time. Note that “one hour before” may be a past time for a predetermined time (for example, one control cycle) from the current time, or may be a past time for an arbitrary time.

このような状態において、現時刻における鳥瞰視画像ＰＢ_ｔは図７（ｂ）に示すようになる。この鳥瞰視画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ３にある他車両ＶＸの位置については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ４にある他車両ＶＸについては倒れ込みが発生する。立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。 In this state, the bird's-eye view image PB _t at the current time is as shown in FIG. 7 (b). In the bird's-eye view image PB _t, becomes a rectangular shape for the white line drawn on the road surface, but a relatively accurate is a plan view state, tilting occurs about the position of another vehicle VX at position V3. Similarly, for the bird's-eye view image PB _{t-1 one} hour before, the white line drawn on the road surface has a rectangular shape and is relatively accurately viewed in plan, but the other vehicle VX at the position V4. The fall will occur. The vertical edges of solid objects (including the edges rising from the road surface to the three-dimensional space in addition to the vertical edges in the strict sense) appear as a group of straight lines along the collapse direction by the viewpoint conversion processing to bird's-eye view image data. On the other hand, since the planar image on the road surface does not include a vertical edge, such a fall does not occur even if the viewpoint is changed.

立体物検出部１４は、上記のような鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、立体物検出部１４は、一時刻前における鳥瞰視画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰視画像ＰＢ_ｔと位置を一致させる。図７（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図７（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ（図示しない）からの信号と一時刻前から現時刻までの時間に基づいて決定される。 The three-dimensional object detection unit 14 performs alignment of the bird's-eye view images PB _t and PB _t−1 as described above on the data. At this time, the three-dimensional object detection unit 14 offsets the bird's-eye view image PB _t-1 at the previous time, and matches the position with the bird's-eye view image PB _{t at the} current time. The image on the left side and the center image in FIG. 7B show a state that is offset by the movement distance d ′. The offset amount d ′ is a movement amount on the bird's-eye view image data corresponding to the actual movement distance d of the host vehicle V shown in FIG. 7A, and a signal from a vehicle speed sensor (not shown) and one time. It is determined based on the time from before to the current time.

また、位置合わせ後において立体物検出部１４は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり、差分画像ＰＤ_ｔのデータを生成する。ここで、差分画像ＰＤ_ｔの画素値は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値ｐを超えたときに「１」とし、超えないときに「０」としてもよい。図７（ｂ）の右側の画像が、差分画像ＰＤ_ｔである。 In addition, after alignment, the three-dimensional object detection unit 14 takes the difference between the bird's-eye view images PB _t and PB _t−1 and generates data of the difference image PD _t . Here, the pixel value of the difference image PD _t may be an absolute value of the difference between the pixel values of the bird's-eye view images PB _t and PB _t−1 , and the absolute value may correspond to the change in the illuminance environment. “1” may be set when a predetermined threshold value p is exceeded, and “0” may be set when the threshold value p is not exceeded. The image on the right side of FIG. 7B is the difference image PD _t .

立体物検出部１４は、図７（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて立体物を検出する。この際、本例の立体物検出部１４は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部１４は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。 The three-dimensional object detection unit 14 detects a three-dimensional object based on the data of the difference image PD _t shown in FIG. At this time, the three-dimensional object detection unit 14 of this example also calculates the movement distance of the three-dimensional object in the real space. In detecting the three-dimensional object and calculating the movement distance, the three-dimensional object detection unit 14 first generates a differential waveform. Note that the moving distance of the three-dimensional object per time is used for calculating the moving speed of the three-dimensional object.

差分波形の生成にあたって本実施形態の立体物検出部１４は、差分画像ＰＤ_ｔにおいて検出領域を設定する。検出領域は、図５及び図６に示す近傍検出領域（Ａ_１、Ａ_２）である。検出領域Ａ_１、Ａ_２は、自車両Ｖに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合には、例えば既存の白線認識技術等を利用するとよい。 Three-dimensional object detection unit 14 of the present embodiment when generating the differential waveform sets a detection area in the difference image PD _t. The detection area is the proximity detection area (A ₁ , A ₂ ) shown in FIGS. 5 and 6. The detection areas A ₁ and A ₂ may be set from a relative position with respect to the host vehicle V, or may be set based on the position of the white line. When setting the position of the white line as a reference, for example, an existing white line recognition technique may be used.

また、立体物検出部１４は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ_１、Ｌ_２（図５を参照）として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両ＶＸの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。 Further, the three-dimensional object detection unit 14 recognizes the sides (sides along the traveling direction) of the set detection areas A1 and A2 on the own vehicle V side as the ground lines L ₁ and L ₂ (see FIG. 5). In general, the ground line means a line in which the three-dimensional object contacts the ground. However, in the present embodiment, the ground line is set as described above, not a line in contact with the ground. Even in this case, from experience, the difference between the ground line according to the present embodiment and the ground line obtained from the position of the other vehicle VX is not too large, and there is no problem in practical use.

図８は、立体物検出部１４による差分波形の生成の様子を示す概略図である。図８に示すように、立体物検出部１４は、上記のように算出した差分画像ＰＤ_ｔ（図７（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、立体物検出部１４は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図８に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷ_ｔを生成する。 FIG. 8 is a schematic diagram illustrating how the three-dimensional object detection unit 14 generates a differential waveform. As shown in FIG. 8, the three-dimensional object detection unit 14 calculates the difference waveform DW from the portion corresponding to the detection areas A1 and A2 in the difference image PD _t (right diagram in FIG. 7B) calculated as described above. _t is generated. At this time, the three-dimensional object detection unit 14 generates a differential waveform DW _t along the direction in which the three-dimensional object falls by viewpoint conversion. In the example shown in FIG. 8, for convenience will be described with reference to only the detection area A1, to produce a difference waveform DW _t in the same procedure applies to the detection region A2.

具体的に説明すると、立体物検出部１４は、差分画像ＤＷ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部１４は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＤＷ_ｔの画素値が鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像ＤＷ_ｔの画素値が「０」「１」で表現されている場合は、「１」を示す画素である。 More specifically, the three-dimensional object detection unit 14 defines a line La in the direction in which the three-dimensional object falls on the data of the difference image DW _t . Then, the three-dimensional object detection unit 14 counts the number of difference pixels DP indicating a predetermined difference on the line La. Here, the difference pixel DP indicating the predetermined difference is a predetermined threshold value when the pixel value of the difference image DW _t is an absolute value of the difference between the pixel values of the bird's-eye view images PB _t and PB _t−1. When the pixel value of the difference image DW _t is expressed by “0” and “1”, the pixel indicates “1”.

立体物検出部１４は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部１４は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図８右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図８右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。 The three-dimensional object detection unit 14 calculates the intersection CP between the line La and the ground line L1 after counting the number of difference pixels DP. Then, the three-dimensional object detection unit 14 associates the intersection CP with the count number, determines the horizontal axis position based on the position of the intersection CP, that is, the position on the vertical axis in the right diagram of FIG. The axis position, that is, the position on the right-and-left direction axis in the right diagram of FIG.

以下同様に、立体物検出部１４は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部１４は、上記を順次繰り返して度数分布化することで、図８右図に示すように差分波形ＤＷ_ｔを生成する。 Similarly, the three-dimensional object detection unit 14 defines lines Lb, Lc... In the direction in which the three-dimensional object falls, counts the number of difference pixels DP, and determines the horizontal axis position based on the position of each intersection CP. Then, the vertical axis position is determined from the count number (number of difference pixels DP) and plotted. The three-dimensional object detection unit 14 generates the differential waveform DW _t as shown in the right diagram of FIG.

なお、図８左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部１４は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図８左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図８においてカウント数から縦軸位置を決定するにあたり、立体物検出部１４は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。 As shown in the left diagram of FIG. 8, the distance La and the line Lb in the direction in which the three-dimensional object falls are different from each other in the overlapping distance with the detection region A1. For this reason, if the detection area A1 is filled with the difference pixels DP, the number of difference pixels DP is larger on the line La than on the line Lb. For this reason, when the three-dimensional object detection unit 14 determines the vertical axis position from the count number of the difference pixels DP, the three-dimensional object detection unit 14 is normalized based on the distance at which the lines La and Lb in the direction in which the three-dimensional object falls and the detection area A1 overlap. Turn into. As a specific example, in the left diagram of FIG. 8, there are six difference pixels DP on the line La, and there are five difference pixels DP on the line Lb. For this reason, in determining the vertical axis position from the count number in FIG. 8, the three-dimensional object detection unit 14 normalizes the count number by dividing it by the overlap distance. Thus, as shown in the difference waveform DW _t, the line La on the direction the three-dimensional object collapses, the value of the differential waveform DW _t corresponding to Lb is substantially the same.

次に、立体物検出部１４は、近傍検出領域内の立体物を検出するために、差分波形ＤＷ_ｔのピーク値と所定の閾値とを比較する。所定の閾値は、予め設定されている閾値であって、立体物を判定するための閾値である。そして、差分波形ＤＷ_ｔのピーク値が所定の閾値以上である場合には、立体物検出部１４は、近傍検出領域内に立体物が存在すると判定する。一方、差分波形ＤＷ_ｔのピーク値が所定の閾値未満である場合には、立体物検出部１４は、近傍検出領域内に立体物が存在しないと判定する。 Next, the three-dimensional object detection unit 14 compares the peak value of the differential waveform DW _t with a predetermined threshold value in order to detect a three-dimensional object in the vicinity detection region. The predetermined threshold is a threshold set in advance, and is a threshold for determining a three-dimensional object. When the peak value of the differential waveform DW _t is equal to or greater than a predetermined threshold, the three-dimensional object detection unit 14 determines that a three-dimensional object exists in the vicinity detection area. On the other hand, when the peak value of the differential waveform DW _t is less than the predetermined threshold, the three-dimensional object detection unit 14 determines that there is no three-dimensional object in the vicinity detection region.

立体物検出部１４は、近傍検出領域内に立体物が存在すると判定した場合には、検出した立体物の移動速度を算出するために、以下の処理を行う。 When the three-dimensional object detection unit 14 determines that a three-dimensional object is present in the vicinity detection area, the three-dimensional object detection unit 14 performs the following process to calculate the moving speed of the detected three-dimensional object.

差分波形ＤＷ_ｔの生成後、立体物検出部１４は一時刻前の差分波形ＤＷ_ｔ−１との対比により移動距離を算出する。すなわち、立体物検出部１４は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から移動距離を算出する。 After the generation of the differential waveform DW _t , the three-dimensional object detection unit 14 calculates the movement distance by comparison with the differential waveform DW _t−1 one time before. That is, the three-dimensional object detection unit 14 calculates the movement distance from the time change of the difference waveforms DW _t and DW _t−1 .

詳細に説明すると、立体物検出部１４は、図９に示すように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図９は、立体物検出部１４によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図９に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。 More specifically, the three-dimensional object detection unit 14 divides the differential waveform DW _t into a plurality of small areas DW _{t1 to} DW _tn (n is an arbitrary integer equal to or greater than 2) as shown in FIG. FIG. 9 is a diagram illustrating the small areas DW _{t1 to} DW _tn divided by the three-dimensional object detection unit 14. The small areas DW _{t1 to} DW _tn are divided so as to overlap each other, for example, as shown in FIG. For example, the small area DW _t1 and the small area DW _t2 overlap, and the small area DW _t2 and the small area DW _t3 overlap.

次いで、立体物検出部１４は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図９の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、立体物検出部１４は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部１４は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。 Next, the three-dimensional object detection unit 14 obtains an offset amount (amount of movement of the differential waveform in the horizontal axis direction (vertical direction in FIG. 9)) for each of the small regions DW _{t1 to} DW _tn . Here, the offset amount is determined from the difference between the differential waveform DW _t in the difference waveform DW _t-1 and the current time before one unit time (distance in the horizontal axis direction). At this time, three-dimensional object detection unit 14, for each small area _{_DW} t1 _~DW _tn, when moving the differential waveform _{DW t1} before one unit time in the horizontal axis direction, the differential waveform DW _t at the current time The position where the error is minimized (the position in the horizontal axis direction) is determined, and the amount of movement in the horizontal axis between the original position of the differential waveform DW _t-1 and the position where the error is minimized is obtained as an offset amount. Then, the three-dimensional object detection unit 14 counts the offset amount obtained for each of the small areas DW _{t1 to} DW _tn and forms a histogram.

図１０は、立体物検出部１４により得られるヒストグラムの一例を示す図である。図１０に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部１４は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部１４は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図１０に示す例において立体物検出部１４は、ヒストグラムの極大値を示すオフセット量を移動距離τ^＊と算出する。なおこの移動距離τ^＊は、自車両Ｖに対する他車両ＶＸの相対移動距離である。このため、立体物検出部１４は、絶対移動距離を算出する場合には、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。 FIG. 10 is a diagram illustrating an example of a histogram obtained by the three-dimensional object detection unit 14. As shown in FIG. 10, the offset amount, which is the amount of movement that minimizes the error between each of the small regions DW _{t1 to} DW _tn and the difference waveform DW _t−1 one time before, has some variation. For this reason, the three-dimensional object detection unit 14 forms a histogram of offset amounts including variations, and calculates a movement distance from the histogram. At this time, the three-dimensional object detection unit 14 calculates the movement distance of the three-dimensional object from the maximum value of the histogram. That is, in the example illustrated in FIG. 10, the three-dimensional object detection unit 14 calculates the offset amount indicating the maximum value of the histogram as the movement distance τ ^* . The moving distance τ ^* is a relative moving distance of the other vehicle VX with respect to the host vehicle V. For this reason, when calculating the absolute movement distance, the three-dimensional object detection unit 14 calculates the absolute movement distance based on the obtained movement distance τ ^* and the signal from the vehicle speed sensor 20.

なお、ヒストグラム化にあたり立体物検出部１４は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。 Incidentally, the three-dimensional object detection unit 14 Upon histogram is weighted for each of a plurality of small areas _{_DW} t1 _~DW _tn, the offset amount determined for each small area _{_DW} t1 _~DW _tn histogram of counts in response to the weight May be.

立体物検出部１４は、異なる時刻の鳥瞰視画像の差分をとった上で、近傍検出領域内における立体物（他車両）の相対移動距離を算出している。そのため、立体物検出部１４のみで、立体物の相対移動距離を算出することにより、近傍検出領域内における他車両の検出及び当該他車両の接近を検出する場合には、立体物検出部１４は、少なくとも２フレーム分の撮像画像を必要する。 The three-dimensional object detection unit 14 calculates the relative movement distance of the three-dimensional object (other vehicle) in the vicinity detection area after taking the difference between the bird's-eye view images at different times. Therefore, when detecting the detection of another vehicle and the approach of the other vehicle in the vicinity detection area by calculating the relative movement distance of the three-dimensional object only by the three-dimensional object detection unit 14, the three-dimensional object detection unit 14 is A captured image for at least two frames is required.

本例においては、車両検出部１５が遠方検出領域内で他車両の接近を検出している。そして、立体物検出部１４は、撮像画像を鳥瞰視画像に変換した際の倒れ込みを検出することで、他車両が近傍検出領域に入ったときの１フレーム目の撮像画像から、立体物を検出できる。また、車両検出部１５による他車両の接近を検出することで、検出した他車両が遠方検出領域から近傍検出領域に入るタイミングも把握することができる。 In this example, the vehicle detection unit 15 detects the approach of another vehicle in the far detection area. Then, the three-dimensional object detection unit 14 detects a three-dimensional object from the captured image of the first frame when the other vehicle enters the proximity detection region by detecting the falling when the captured image is converted into the bird's-eye view image. it can. Further, by detecting the approach of another vehicle by the vehicle detection unit 15, it is possible to grasp the timing at which the detected other vehicle enters the proximity detection region from the far detection region.

すなわち、接近車判定部１６は、車両検出部１５の検出結果から他車両の存在を検出しつつ、他車両が遠方検出領域から近傍検出領域に入るタイミングを算出する。接近車判定部１６は、他車両が遠方検出領域から近傍検出領域に入るタイミングに合わせて、立体物検出部１４に対して、鳥瞰視画像の差分ではなく、現時刻における鳥瞰視画像の倒れ込みから立体物を検出する旨に信号を出力する。立体物検出部１４は、当該信号を受信したときには、鳥瞰視画像の差分に基づく検出結果のみではなく、現時刻の鳥瞰視画像に基づく検出結果を、接近車判定部１６に出力する。 That is, the approaching vehicle determination unit 16 calculates the timing at which the other vehicle enters the proximity detection region from the far detection region while detecting the presence of the other vehicle from the detection result of the vehicle detection unit 15. The approaching vehicle determination unit 16 is not based on the difference of the bird's-eye view image but the fall of the bird's-eye view image at the current time with respect to the three-dimensional object detection unit 14 in accordance with the timing when the other vehicle enters the vicinity detection region from the far detection region. A signal is output to detect a three-dimensional object. When receiving the signal, the three-dimensional object detection unit 14 outputs not only the detection result based on the difference between the bird's-eye view images but also the detection result based on the bird's-eye view image at the current time to the approaching vehicle determination unit 16.

立体物検出部１４は、現時刻の鳥瞰視画像に基づき立体物を検出する際には、上記と同様に、現時刻の鳥瞰視画像から倒れ込む方向上の線を特定して、特定した線上の画素数をカウントした上で、カウント数と対応する交点ＣＰの位置を決定する。立体物検出部１４は、交点ＣＰの位置を横軸に、交点ＣＰに対応するカウント数を縦軸にとり、カウント数のピーク値と所定の閾値とを比較する。そして、ピーク値が所定の閾値より高い場合には、立体物検出部１４は、現時刻の鳥瞰視画像内において立体物の存在を検出し、検出結果を接近車判定部１６に出力する。 When detecting the three-dimensional object based on the bird's-eye view image at the current time, the three-dimensional object detection unit 14 identifies a line in the direction of falling from the bird's-eye view image at the current time, and After counting the number of pixels, the position of the intersection CP corresponding to the count number is determined. The three-dimensional object detection unit 14 compares the position of the intersection point CP on the horizontal axis and the count number corresponding to the intersection point CP on the vertical axis, and compares the peak value of the count number with a predetermined threshold value. When the peak value is higher than the predetermined threshold, the three-dimensional object detection unit 14 detects the presence of the three-dimensional object in the bird's-eye view image at the current time, and outputs the detection result to the approaching vehicle determination unit 16.

接近車判定部１６は、立体物検出部１５の検出結果から、他車両の遠方検出領域から近傍検出領域に入るタイミングに合わせて、当該他車両に対応する立体物を検出した場合に、当該他車両を接近車として判定する。そして、接近車判定部１６は、報知部６を制御して、接近車の存在を乗員に警告する。 When the approaching vehicle determination unit 16 detects a three-dimensional object corresponding to the other vehicle from the detection result of the three-dimensional object detection unit 15 in accordance with the timing of entering the proximity detection region from the remote detection region of the other vehicle, The vehicle is determined as an approaching vehicle. Then, the approaching vehicle determination unit 16 controls the notification unit 6 to warn the occupant of the presence of the approaching vehicle.

これにより、本例は、立体物検出部１５において、他車両が近傍検出領域に入ったときの１フレーム目の撮像画像から立体物を検出できる。そして、鳥瞰視画像の差分から立体物を検出する場合の検出時間と比較して、検出時間をより短くできる。また、遠方検出領域から近傍検出領域への切り替わりのポイントでも、他車両をシームレスで検出できる。 Thereby, in this example, the three-dimensional object detection unit 15 can detect the three-dimensional object from the captured image of the first frame when the other vehicle enters the proximity detection region. And detection time can be shortened compared with the detection time in the case of detecting a solid object from the difference of a bird's-eye view image. Also, other vehicles can be detected seamlessly even at the point of switching from the far detection area to the proximity detection area.

また近傍検出領域において、鳥瞰視画像に基づき立体物を検出する際には、近傍検出領域のエッジ部分（自車両から遠い部分）では、検出精度が低くなる場合があった。しかしながら、本例では、車両検出部１５により、近傍検出領域に入る前に、他車両の存在を検出している。そのため、当該他車両が近傍検出領域に入った際の、鳥瞰視画像の変化（倒れ込み画像の有無）を検出できれば、近傍検出領域に入る他車両の接近を検出できる。その結果として、他車両の検出精度を高めることができる。 When detecting a three-dimensional object based on a bird's-eye view image in the vicinity detection area, the detection accuracy may be low at the edge part (the part far from the host vehicle) of the vicinity detection area. However, in this example, the vehicle detection unit 15 detects the presence of another vehicle before entering the vicinity detection region. Therefore, if it is possible to detect a change in the bird's-eye view image (presence of a fallen image) when the other vehicle enters the vicinity detection region, the approach of the other vehicle entering the vicinity detection region can be detected. As a result, the detection accuracy of other vehicles can be increased.

上記のように、本例は、車両検出部１５において、リアカメラ１ｃの撮像画像に基づき遠方検出領域における他車両を検出し、立体物検出部１４において、バックカメラ１ｄの撮像画像に基づき近傍検出領域における立体物を検出し、車両検出部１５により他車両の存在を検出した後に、立体物検出部１４により他車両に対応する立体物を検出した場合には、他車両を接近車として判定する。これにより、本例は、車両後方の遠方を撮像した画像に基づき他車両を検出した上で、自車両の近傍を表す鳥瞰視画像から他車両に対応する立体物を検出しているため、他車両の検出精度を高めることができる。 As described above, in this example, the vehicle detection unit 15 detects another vehicle in the far detection area based on the captured image of the rear camera 1c, and the three-dimensional object detection unit 14 detects the vicinity based on the captured image of the back camera 1d. After detecting a three-dimensional object in the area and detecting the presence of another vehicle by the vehicle detection unit 15, if the three-dimensional object corresponding to the other vehicle is detected by the three-dimensional object detection unit 14, the other vehicle is determined as an approaching vehicle. . Thereby, since this example detects the other vehicle based on the image which imaged the distant place behind the vehicle, and has detected the solid thing corresponding to the other vehicle from the bird's-eye view image showing the neighborhood of the own vehicle, Vehicle detection accuracy can be increased.

また本例において、立体物検出部１５は、他車両が近傍検出領域内に入ったときに最初に撮像された撮像画像に基づき、立体物を検出する。これにより、接近車の検出時間を短縮できる。 In this example, the three-dimensional object detection unit 15 detects a three-dimensional object based on a captured image that is first captured when another vehicle enters the proximity detection region. Thereby, the detection time of an approaching vehicle can be shortened.

また本例において、立体物検出部１５は、近傍検出領域のうち、リアカメラ１ｃの撮像範囲内の立体物を、リアカメラ１ｃの撮像画像に基づいて検出する。これにより、歪みの少ない撮像画像を用いて立体物を検出できるため、立体物の検出精度を高めることができる。 In this example, the three-dimensional object detection unit 15 detects a three-dimensional object within the imaging range of the rear camera 1c in the vicinity detection area based on the captured image of the rear camera 1c. Thereby, since a solid object can be detected using a captured image with little distortion, the detection accuracy of a solid object can be improved.

また本例において、立体物検出部１５は、バックカメラ１ｄ又はリアカメラ１ｃにより異なる時刻に撮像された撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、差分波形情報に基づいて、立体物の状態を検出する。これにより、自車両の後方の近傍部分の接近車の状態を、高い精度で検出できる。 In this example, the three-dimensional object detection unit 15 converts the captured image captured at different times by the back camera 1d or the rear camera 1c into a bird's-eye view image, and aligns the position of the bird's-eye view image on the bird's-eye view. The frequency distribution is obtained by counting the number of pixels indicating a predetermined difference on the difference image along the direction in which the three-dimensional object falls when the bird's-eye view image is subjected to viewpoint conversion on the difference image of the aligned bird's-eye view image. By generating the difference waveform information, the state of the three-dimensional object is detected based on the difference waveform information. Thereby, the state of the approaching vehicle in the vicinity of the rear of the host vehicle can be detected with high accuracy.

また本例において、リアカメラ１ｃの位置を、地表に対してバックカメラ１ｄの位置より高い位置に設置し、リアカメラ１ｃの画角を、バックカメラ１ｄの画角より狭い画角にしている。これにより、自車両の遠方部分の他車両を、高い解像度で検出できる。 In this example, the position of the rear camera 1c is set higher than the position of the back camera 1d with respect to the ground surface, and the angle of view of the rear camera 1c is set to be narrower than the angle of view of the back camera 1d. Thereby, the other vehicle of the distant part of the own vehicle can be detected with high resolution.

なお、本例において、車両検出部１５は、バックカメラ１ｄの撮像画像に基づき車両を検出したが、右サイドカメラ１ａの撮像画像又は左サイドカメラ１ｂの撮像画像に基づき、車両を検出してもよい。 In this example, the vehicle detection unit 15 detects the vehicle based on the captured image of the back camera 1d. However, even if the vehicle is detected based on the captured image of the right side camera 1a or the captured image of the left side camera 1b. Good.

また、立体物検出部１４は、バックカメラ１ｄの撮像画像のみに基づいて立体物を検出してもよい。 Further, the three-dimensional object detection unit 14 may detect a three-dimensional object based only on the captured image of the back camera 1d.

また、車両検出部１５は、右サイドカメラ１ａの撮像画像、左サイドカメラ１ｂの撮像画像、及びリアカメラ１ｃの撮像画像のうち、少なくとも二つの撮像画像に基づいて、ステレオカメラの原理を利用して、他車両の検出、及び他車両までの距離を検出してもよい。 Further, the vehicle detection unit 15 uses the principle of a stereo camera based on at least two of the captured images of the right side camera 1a, the left side camera 1b, and the rear camera 1c. Thus, the detection of other vehicles and the distance to other vehicles may be detected.

また遠方検出領域は、自車両の走行車線と隣接する車線上に限らず、自車両の走行車線上に設定されてもよい。 Further, the far detection area is not limited to the lane adjacent to the traveling lane of the host vehicle, but may be set on the traveling lane of the host vehicle.

上記のバックカメラ１ｄが本発明の「第１撮像手段」に相当し、リアカメラ１ｃが本発明の「第２撮像手段」に相当し、立体物検出部１４が本発明の「立体物検出手段」に相当し、鳥瞰視画像生成部１３及び立体物検出部１４が本発明の「立体物検出手段」に相当し、接近車判定部１６が本発明の「接近車判定手段」に相当する。 The back camera 1d corresponds to the “first imaging unit” of the present invention, the rear camera 1c corresponds to the “second imaging unit” of the present invention, and the three-dimensional object detection unit 14 of the present invention “the three-dimensional object detection unit”. The bird's-eye view image generation unit 13 and the three-dimensional object detection unit 14 correspond to the “three-dimensional object detection unit” of the present invention, and the approaching vehicle determination unit 16 corresponds to the “approaching vehicle determination unit” of the present invention.

１ａ…右サイドカメラ
１ｂ…左サイドカメラ
１ｃ…フロントカメラ
１ｄ…バックカメラ
１ｅ…リアカメラ
２ａ…右ディスプレイ
２ｂ…左ディスプレイ
２ｃ…中央ディスプレイ
３…報知部
１０…コントローラ
１１…後側方画像制御部
１２…後方画像制御部
１３…鳥瞰視画像生成部
１４…立体物検出部
１５…車両検出部
１６…接近車判定部 DESCRIPTION OF SYMBOLS 1a ... Right side camera 1b ... Left side camera 1c ... Front camera 1d ... Back camera 1e ... Rear camera 2a ... Right display 2b ... Left display 2c ... Central display 3 ... Notification part 10 ... Controller 11 ... Rear side image control part 12 ... rear image control unit 13 ... bird's-eye view image generation unit 14 ... three-dimensional object detection unit 15 ... vehicle detection unit 16 ... approaching vehicle determination unit

Claims

In a vehicle detection device mounted on a vehicle,
First imaging means for imaging the rear of the vehicle;
Second imaging means for imaging far behind the first imaging means behind the vehicle;
A three-dimensional object detection means for converting the first captured image captured by the first imaging means into a bird's-eye view image, and detecting the three-dimensional object from the fall of the three-dimensional object shown in the bird's-eye view image;
Vehicle detection means for detecting another vehicle based on the second captured image captured by the second imaging means;
Based on the detection results of the three-dimensional object detection means and the vehicle detection means, an approaching vehicle determination means for determining whether there is an approaching vehicle approaching the host vehicle,
The approaching vehicle determination means includes
Based on the detection result of the vehicle detection means, the timing when the other vehicle enters the proximity detection area from the far detection area,
The three-dimensional object detection means includes:
Based on the bird's-eye view images at different times, detect the three-dimensional object in the proximity detection region,
The first captured image for one frame imaged corresponding to the timing is subjected to viewpoint conversion as a bird's-eye view image at the current time, and the three-dimensional object is taken from the fall of the three-dimensional object reflected in the bird's-eye view image at the current time. vehicle detection apparatus according to claim <br/> be detected.

The vehicle detection device according to claim 1,
The three-dimensional object detection means includes:
The other vehicle on the basis of the initially captured the first captured image upon entering the detection area of the three-dimensional object, the vehicle detection device and detects the three-dimensional object.

In the vehicle detection device according to claim 1 or 2,
The three-dimensional object detection means includes:
A vehicle detection apparatus that detects a three-dimensional object within an imaging range of the second imaging means in a detection area set behind the vehicle based on the second captured image.

In the vehicle detection device according to any one of claims 1 to 3,
The three-dimensional object detection means includes:
The first captured image captured at different times by the first imaging unit is converted into a bird's-eye view image, the position of the bird's-eye view image is aligned on the bird's-eye view, and the difference between the aligned bird's-eye view images On the image, differential waveform information is generated by counting the number of pixels indicating a predetermined difference on the difference image and performing frequency distribution along the direction in which the three-dimensional object falls when the bird's-eye view image is subjected to viewpoint conversion. And the state of the said solid object is detected based on the said difference waveform information, The vehicle detection apparatus characterized by the above-mentioned.

In the vehicle detection device according to any one of claims 1 to 4,
The second imaging means includes
The angle of view is provided at a position higher than the first image pickup unit with respect to the ground surface and is narrower than the angle of view of the first image pickup unit.
The vehicle detection apparatus characterized by the above-mentioned.