WO2013191078A1 - 車両周辺対象物検出装置 - Google Patents

車両周辺対象物検出装置 Download PDF

Info

Publication number
WO2013191078A1
WO2013191078A1 PCT/JP2013/066331 JP2013066331W WO2013191078A1 WO 2013191078 A1 WO2013191078 A1 WO 2013191078A1 JP 2013066331 W JP2013066331 W JP 2013066331W WO 2013191078 A1 WO2013191078 A1 WO 2013191078A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
area
vehicle
detection area
white line
Prior art date
Application number
PCT/JP2013/066331
Other languages
English (en)
French (fr)
Inventor
圭助 本田
英人 栗本
Original Assignee
市光工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 市光工業株式会社 filed Critical 市光工業株式会社
Priority to EP13806529.7A priority Critical patent/EP2863361B1/en
Priority to US14/409,288 priority patent/US9367751B2/en
Priority to CN201380032143.4A priority patent/CN104380341B/zh
Publication of WO2013191078A1 publication Critical patent/WO2013191078A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to a vehicle surrounding object detection device that detects whether or not there is an object (such as another vehicle or a pedestrian) around the vehicle based on a vehicle surrounding image.
  • the conventional vehicle peripheral object detection device disclosed in Patent Document 1 scans a detection window in a vehicle peripheral image of one frame, compares the image in the detection window with a reference image, and detects an object around the vehicle. It detects whether or not there is.
  • the conventional vehicle surrounding object detection device scans the detection window while resizing the detection window with a fixed size and increasing or decreasing the size of one frame of the vehicle periphery image in multiple stages. Therefore, the detection processing time is long.
  • the problem to be solved by the present invention is that the conventional vehicle peripheral object detection device has a long detection processing time.
  • the present invention (the invention according to claim 1) includes an imaging device that images the periphery of the vehicle, and an image processing device that processes an image of the periphery of the vehicle imaged by the imaging device and outputs a detection result
  • the image processing apparatus detects pattern matching and feature quantities (for example, Haar-Like) in each of a detection area setting unit that sets a plurality of detection areas in one frame image and a plurality of detection areas set by the detection area setting unit.
  • a plurality of area processing units that simultaneously perform detection processing for the presence or absence of an object in parallel by an object detection method using (Haar Like) or HOG), and a plurality of detection results respectively detected by the plurality of area processing units.
  • an integrated processing unit that outputs the integrated data.
  • the large detection area is an area in the vicinity of the vehicle
  • the small detection area is an area far from the vehicle
  • the large detection area includes the small detection area. It is characterized by that.
  • the image processing apparatus has a white line detection processing unit for detecting a white line on the road, and a large detection area according to the white line detected by the white line detection processing unit. It is characterized by comprising a detection area setting unit for setting a small detection area, a plurality of area processing units, and an integrated processing unit.
  • the present invention includes a detection device that detects vehicle information
  • the image processing device includes a travel route estimation unit that estimates a travel route of the vehicle based on the vehicle information from the detection device
  • the detection area is set to the default detection area
  • the small detection area is set according to the travel route based on the estimation result from the travel route estimation unit, or the small detection area is set to the default. It is characterized by comprising a setting unit, a plurality of area processing units, and an integrated processing unit.
  • the present invention includes a detection device that detects vehicle information, and the image processing device is based on a white line detection processing unit that performs detection processing of a white line on a road, and vehicle information from the detection device.
  • a large detection area is set and a small detection area is set or a white line detection process is performed according to the white line detected by the travel route estimation unit and the white line detection processing unit that estimates the travel route of the vehicle.
  • the large detection area is set as the default based on the travel section, and the small detection area is set according to the travel route based on the estimation result from the travel route estimation section, or the small detection area is set as the default. It is characterized by comprising a detection area setting unit, a plurality of area processing units, and an integrated processing unit to be set.
  • the detection area set by the detection area setting unit is set between a large detection area, a small detection area, and a large detection area and a small detection area. And one or a plurality of intermediate detection areas.
  • one frame image is set in a plurality of large and small detection areas, and in the set large and small detection areas, detection processing for the presence / absence of an object is simultaneously performed in parallel by pattern matching. Therefore, the detection processing time can be shortened compared to the case where the detection process is performed using one frame image as one detection area.
  • FIG. 1 is a functional block diagram of an overall configuration showing an embodiment of a vehicle peripheral object detection device according to the present invention.
  • FIG. 2 is an explanatory diagram illustrating a state in which an image of one frame on the right rear side of the vehicle is set in three large and small detection areas.
  • FIG. 3 is an explanatory diagram showing three large and small detection areas set in an image of one frame.
  • FIG. 4 is an explanatory diagram showing a state in which pattern matching detection processing is simultaneously performed in three large and small detection areas.
  • FIG. 5 is an explanatory diagram showing the result of the pattern matching detection process.
  • FIG. 6 is a flowchart showing the operation.
  • front, rear, upper, lower, left, and right are front, rear, upper, and front of the vehicle D when the vehicle peripheral object detection device according to the present invention is mounted on the vehicle D. Bottom, left, right.
  • the vehicle peripheral object detection device includes an imaging device (camera) 1, a detection device 2, and an image processing device (image processing ECU) 3.
  • the imaging device 1 is mounted on both the left and right sides of the vehicle D. For example, it is mounted on the mirror base of an outside mirror device such as a door mirror device (not shown) mounted on the left and right doors of the vehicle D or on the vehicle body of the vehicle D.
  • an outside mirror device such as a door mirror device (not shown) mounted on the left and right doors of the vehicle D or on the vehicle body of the vehicle D.
  • the imaging device 1 mounted on the right side of the vehicle D will be described.
  • the imaging device 1 mounted on the left side of the vehicle D has substantially the same configuration as the imaging device 1 mounted on the right side of the vehicle D, and is mounted on the right side of the vehicle D. Since the captured image is substantially symmetrical to the captured image of the image capturing apparatus 1, the description is omitted.
  • the imaging device 1 is connected to the image processing device 3. As shown in FIGS. 2 and 3, the imaging apparatus 1 captures information on the rear side (rear right side) and captures information on the captured vehicle periphery as image data (see FIG. 2 and FIG. 3). 2) (see FIG. 3).
  • the detection device 2 is connected to the image processing device 3.
  • the detection device 2 detects information of the vehicle D necessary for estimating a travel route of the vehicle D (hereinafter may be referred to as “own vehicle D”), and detects the detected vehicle information as a detection signal.
  • own vehicle D information of the vehicle D necessary for estimating a travel route of the vehicle D
  • a detection signal information of the vehicle information necessary for estimating a travel route of the vehicle D
  • a detection signal are output to the image processing apparatus 3.
  • a vehicle speed sensor not shown
  • a steering angle sensor not shown
  • a yaw rate sensor not shown
  • an acceleration sensor not shown
  • the image processing device 3 is connected to the imaging device 1 and the detection device 2, respectively.
  • the image processing device 3 detects the presence / absence of another vehicle E as a target in the image P around the vehicle D imaged by the imaging device 1 and outputs the detection processing result.
  • the image processing apparatus 3 includes a white line detection processing unit 4, a travel route estimation unit 5, a detection area setting unit 6, and a plurality of area processing units (area A processing unit (in this example) (Near) 7, area B processing unit (intermediate) 8, area C processing unit (distant) 9), and integrated processing unit 10.
  • area A processing unit in this example
  • area B processing unit in this example
  • area C processing unit distal
  • the white line detection processing unit 4 performs processing for detecting a white line 11 on the road. That is, the white line detection processing unit 4 binarizes the image P from the imaging device 1 with a predetermined threshold for the luminance of each pixel, and detects the white line 11 with light as white based on the binarized data. To do.
  • the white line detection processing unit 4 outputs the detection result of the white line 11 (for example, the presence of the white line 11 or the absence of the white line 11) to the detection area setting unit 6.
  • a white line 11 indicated by a solid line is a white line along the curved path.
  • a white line 11 indicated by a broken line is a white line along a straight road.
  • the distance between the white line 11 on the curved road and the white line 11 on the straight road becomes wider toward the rear (far) of the vehicle D.
  • the white line 11 in FIG. 3 is a white line along a straight road.
  • the travel route estimation unit 5 estimates the travel route of the vehicle D based on the vehicle information from the detection device 2. That is, the travel route estimation unit 5 estimates whether the vehicle D is traveling on a straight road, traveling on a curved road, or turning right at an intersection.
  • the travel route estimation unit 5 When the traveling road is estimated as a straight road, the vehicle speed of the detection signal of the vehicle speed sensor is greater than or equal to a threshold value, and the steering angle of the detection signal of the steering angle sensor is greater than or equal to a first threshold value and less than a second threshold value.
  • the traveling path of the vehicle D is estimated as a curved road, the vehicle speed of the detection signal of the vehicle speed sensor is less than a threshold value, and the steering angle of the detection signal of the steering angle sensor is greater than or equal to a second threshold value
  • the vehicle D is estimated as an intersection.
  • the vehicle D information of the yaw rate sensor detection signal and the acceleration sensor detection signal may be added to the vehicle D information of the vehicle speed sensor detection signal and the steering angle sensor detection signal. .
  • the size and location where the other vehicle E is imaged can be specified to some extent by the relative distance between the host vehicle D and the other vehicle E. Therefore, when pattern matching is performed, the detection frames (detection windows, detection windows) A1 to AN, B1 to BN, and C1 to CN for scanning the other vehicle E and the detection for scanning the other vehicle E are detected.
  • the areas A, B, and C can be divided into a plurality of areas according to the relative distance between the host vehicle D and the other vehicle E.
  • the detection area setting unit 6 has a plurality of large, small, and small detection areas A, B, in this example in the image P of one frame from the imaging device 1. C is set.
  • the large (maximum) detection area A is the nearest area to the vehicle D
  • the small (minimum) detection area C is the farthest area with respect to the vehicle D
  • the detection in the middle Area B is an intermediate area between large detection area A and small detection area C.
  • the large detection area A includes the medium detection area B and the small detection area C.
  • the detection area B inside includes the small detection area C.
  • the detection area setting unit 6 detects the large, medium, and small detections according to the white line 11 detected by the white line detection processing unit 4 and based on the estimation result from the travel route estimation unit 5. Areas A, B, and C are set.
  • the outer vertical line of the large detection area A is set on the white line 11 or a position based on the white line 11.
  • the inner vertical line of the large detection area A is fixedly set.
  • the outer vertical line and the inner vertical line of the small detection area C are set on the white line 11 or at positions based on the white line 11. For this reason, the outer vertical line of the large detection area A and the outer vertical line and inner vertical line of the small detection area C change based on the white line 11. As a result, there is no problem even if the space between the white line 11 on the curved road and the white line 11 on the straight road widens toward the rear (far) of the vehicle D.
  • the large and small detection areas A and C can be set according to the curved road or the straight road.
  • the inner vertical line of the small detection area C is always located inside the inner vertical line of the large detection area A, and the small detection area C is in the large detection area A. Is included.
  • the detection area B inside is included in the large detection area A and includes the small detection area C therein.
  • the large detection area A is set to a default (default value).
  • the small detection area C is set according to the travel route or set to a default (default value). Note that the default (default value) of the large detection area A and the default (default value) of the small detection area C are optimized fixed values.
  • the small detection area C changes depending on the travel route. As a result, the large and small detection areas A and C can be set regardless of whether the road on which the vehicle D travels is a curved road or a straight road.
  • the small detection area C is included in the large detection area A.
  • the detection area B inside is included in the large detection area A and includes the small detection area C therein.
  • the upper horizontal line and the lower horizontal line of the three detection areas A, B, and C are set with appropriate aspect ratios based on the inner and outer vertical lines.
  • the inside detection area B is set to be equally distributed or appropriately set according to the large detection area A and the small detection area C.
  • the three area processing units 7, 8, and 9 detect the presence or absence of the other vehicle E that is an object by pattern matching in the three detection areas A, B, and C set by the detection area setting unit 6, respectively. Processing is performed simultaneously in parallel.
  • the area processing unit 7 that scans the large detection area A uses a plurality of detection frames A1 to AN having a size corresponding to the large detection area A to indicate solid arrows and broken line arrows in FIG. As shown in FIG. 4, the detection area A having a large size in the image P of one frame is scanned to detect the presence or absence of the other vehicle E.
  • the area processing unit 8 that scans the detection area B in the middle uses a plurality of detection frames B1 to BN having a size corresponding to the detection area B in the middle to indicate solid line arrows and broken line arrows in FIG. As shown in FIG. 3, the detection area B in the image P of one frame is scanned to detect the presence or absence of the other vehicle E.
  • the area processing unit 9 that scans the small detection area C uses a plurality of detection frames C1 to CN having a size corresponding to the small detection area C to indicate solid arrows and broken line arrows in FIG. As shown in FIG. 4, the detection area C of the small image P of the image P is scanned to detect the presence or absence of the other vehicle E.
  • the detection processing of the three area processing units 7, 8, 9 compares the feature points of the image 12 in the scanned detection frame with the learned feature points of the reference image 13. If the matching feature points exceed the threshold value, the detection result indicating that there is another vehicle E is output as a match (see a circle in FIG. 5). On the other hand, if the matching feature point does not exceed the threshold value, a detection result indicating that there is no other vehicle E is output as a mismatch (see the x mark in FIG. 5).
  • the integration processing unit 10 integrates and outputs the three detection results detected by the three area processing units 7, 8, and 9, respectively. That is, the integrated processing unit 10 outputs the presence / absence of the other vehicle E as an object as three detection results to another device such as an alarm device (not shown) or a display device (not shown). It is.
  • the alarm device outputs an alarm when the other vehicle E is present, and the display device displays the other vehicle E when the other vehicle E is present.
  • the vehicle surrounding object detection device is configured as described above, and the operation thereof will be described below with reference to the flowchart of FIG.
  • the imaging device 1 captures the periphery (rear side) of the vehicle (own vehicle) D and captures the image P of the white line detection processing unit 4 of the image processing device 3 and the three area processing units 7, 8, 9. And output respectively.
  • the detection device 2 detects information of the vehicle (own vehicle) D and outputs a detection signal to the travel route estimation unit 5 of the image processing device 3.
  • the white line detection processing unit 4 of the image processing device 3 performs the detection processing of the white line 11 based on the image P from the imaging device 1 and outputs the result of the detection processing to the detection area setting unit 6 (white line detection). Detection process S1).
  • the detection area setting unit 6 determines whether or not the white line 11 has been detected based on the detection processing result from the white line detection processing unit 4 (whether the white line has been detected? S2).
  • the detection area setting unit 6 sets a large detection area A according to the white line 11 (closest detection area setting according to the white line S3).
  • the detection area setting unit 6 sets a small detection area C according to the white line 11 (farthest detection area setting S4 according to the white line). Further, the detection area setting unit 6 sets the middle detection area B according to the large detection area A and the small detection area C (intermediate detection area setting S5 according to the nearest and farthest detection area).
  • the area A processing unit 7 converts a large detection area A set by the detection area setting unit 6 into a plurality of detection frames A1 in the image P of one frame from the imaging device 1. Scan by AN to detect the presence / absence of another vehicle E, and output the result of the detection process to the integrated processing unit 10 (nearest area detection process S6).
  • the area C processing unit 9 converts a small detection area C set by the detection area setting unit 6 into a plurality of detection frames C1 in the image P of one frame from the imaging device 1. Scan by CN to detect the presence / absence of another vehicle E, and output the result of the detection process to the integrated processing unit 10 (farthest area detection process S7).
  • the area B processing unit 8 converts the detection area B set by the detection area setting unit 6 into a plurality of detection frames B1 in the image P of one frame from the imaging device 1. Scan with BN to detect the presence / absence of another vehicle E, and output the result of the detection process to the integrated processing unit 10 (intermediate area detection process S8).
  • the nearest area detection process S6 of the area A processing unit 7, the farthest area detection process S7 of the area C processing unit 9, and the intermediate area detection process S8 of the area B processing unit 8 are performed simultaneously in parallel.
  • the three area processing units 7, 8, and 9 compare the feature points of the image 12 in the scanned detection frame with the feature points of the learned reference image 13 to match each other.
  • the detection result of the presence of the other vehicle E is output as coincidence (see a circle in FIG. 5).
  • a detection result indicating that there is no other vehicle E is output as a mismatch (see the x mark in FIG. 5).
  • the integrated processing unit 10 includes a result of the nearest area detection process of the area A processing unit 7, a result of the farthest area detection process of the area C processing unit 9, a result of the intermediate area detection process of the area B processing unit 8, And the presence / absence of the vehicle E of the object is output to an alarm device or a display device of another device, and the process returns to (S1) (detection result integrated output S9).
  • the detection area setting unit 6 sets the large detection area A as default (sets the nearest detection area as default S10).
  • the travel route estimation unit 5 performs an estimation process based on the vehicle information from the detection device 2 to determine whether the road on which the vehicle D is traveling is a straight road, a curved road, or an intersection, and the result of the estimation process Is output to the detection area setting unit 6 (vehicle travel route estimation process S11).
  • the detection area setting unit 6 determines whether or not the travel route has been estimated based on the estimation processing result from the travel route estimation unit 5 (whether the travel route has been estimated? S12).
  • the detection area setting unit 6 sets a small detection area C according to the travel route (farthest detection area setting S13 according to the travel route). Further, the detection area setting unit 6 performs the above (S5).
  • the area A processing unit 7 performs the above (S6)
  • the area C processing unit 9 performs the above (S7)
  • the area B processing unit 8 performs the above (S8) in parallel.
  • the integrated process part 10 performs said (S9), and returns to said (S1).
  • the detection area setting unit 6 sets the small detection area C as default (sets the farthest detection area as default S14). Further, the detection area setting unit 6 performs the above (S5).
  • the area A processing unit 7 performs the above (S6)
  • the area C processing unit 9 performs the above (S7)
  • the area B processing unit 8 performs the above (S8) in parallel.
  • the integrated process part 10 performs said (S9), and returns to said (S1).
  • the vehicle surrounding object detection device is configured and operated as described above, and the effects thereof will be described below.
  • the vehicle surrounding object detection device sets one frame of image P in three detection areas A, B, and C, and performs pattern matching in each of the set three detection areas A, B, and C. Since the detection process of the presence or absence of the vehicle other than the object E is performed, when performing the detection process using an image of one frame as one detection area, for example, a large detection area A shown in FIG. With A1 to AN, B1 to BN, and C1 to CN, the detection time can be shortened compared to the case of scanning.
  • the large detection area A includes the medium detection area B and the small detection area C
  • the medium detection area B includes the small detection area C.
  • the other vehicle E of the object belongs to any one of the large detection area A, the middle detection area B, and the small detection area C, and the detection accuracy of the other vehicle E can be improved.
  • the white line detection processing unit 4 of the image processing device 3 detects the white line 11
  • the detection area setting unit 6 of the image processing device 3 detects the white line 11 subjected to the detection processing.
  • the three detection areas A, B, and C are set. For this reason, three detection areas A, B, and C can be set reliably, and the detection accuracy of the other vehicle E can be improved.
  • the travel route estimation unit 5 of the image processing device 3 estimates the travel route of the host vehicle D based on the vehicle information from the detection device 2, and the image processing device 3 detects it.
  • the area setting unit 6 sets three detection areas A, B, and C according to the travel route of the host vehicle D estimated. For this reason, three detection areas A, B, and C can be set reliably, and the detection accuracy of the other vehicle E can be improved.
  • the detection areas set by the detection area setting unit 6 are a large detection area A, a small detection area C, a large detection area A, and a small detection area C. And an intermediate detection area B set in between. As a result, the detection time can be further shortened and the detection accuracy can be further improved.
  • the presence or absence of the other vehicle E that is an object on the rear side of the host vehicle D is detected.
  • the presence or absence of an object for example, a pedestrian, a bicycle, or another vehicle in front of the vehicle (own vehicle D) may be detected.
  • one intermediate detection area B is set between the large detection area A and the small detection area C.
  • the distance in the distance may be set to be denser.
  • the intermediate detection area is set in consideration of shortening the detection time, improving detection accuracy, and manufacturing cost.
  • the white line detection processing unit 4 of the image processing device 3 detects the white line 11, and the travel route estimation unit 5 of the image processing device 3 is based on the vehicle information from the detection device 2.
  • the D travel route is estimated, and the detection area setting unit 6 of the image processing apparatus 3 sets the three detection areas A, B, and C according to the detected white line 11 and the estimated travel route.
  • the white line detection processing unit 4 of the image processing device 3 detects the white line 11, and the detection area setting unit 6 of the image processing device 3 sets a plurality of detection areas according to the detected white line 11.
  • the travel route estimation unit 5 of the image processing device 3 may estimate the travel route of the host vehicle D based on the vehicle information from the detection device 2, and the detection area of the image processing device 3 may be set.
  • the setting unit 6 may set a plurality of detection areas according to the estimated travel route.
  • the three area processing units 7, 8, and 9 correspond to the detection areas A, B, and C as shown in FIGS. 4 (A), (B), and (C).
  • a plurality of detection frames A1 to AN, B1 to BN, and C1 to CN scan the detection areas A, B, and C of the image P of one frame and simultaneously detect the presence / absence of another vehicle E in parallel. Is what you do.
  • a plurality of area processing units may simultaneously perform the object presence / absence detection process of Patent Document 1 in parallel.
  • a detection frame for example, A1, B1, C1 with a fixed size is scanned while resizing the detection areas A, B, and C of the image P of one frame by increasing or decreasing it in multiple stages. Then, the detection process for the presence or absence of the other vehicle E may be performed simultaneously in parallel.
  • the imaging device 1 is mounted on the left and right sides of the vehicle D, for example, on the mirror base of the outside mirror device mounted on the left and right doors of the vehicle D, or on the vehicle body of the vehicle D. It is installed.
  • the position where the imaging device 1 is mounted is not particularly limited.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】従来の車両周辺対象物検出装置では、検出処理時間が長い。 【解決手段】この発明は、撮像装置1と、画像処理装置3と、を備える。画像処理装置3は、検出エリア設定部6と、3つのエリア処理部7、8、9と、統合処理部10と、から構成されている。検出エリア設定部6は、撮像装置1が撮像した1フレームの画像Pにおいて大中小の3つの検出エリアA、B、Cに設定する。3つのエリア処理部7、8、9は、大中小の3つの検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行う。統合処理部10は、複数のエリア処理部7、8、9によりそれぞれ検出処理された複数の検出結果を統合して出力する。この結果、この発明は、検出処理時間を短縮することができる。

Description

車両周辺対象物検出装置
 この発明は、車両周辺画像に基づいて、車両周辺に対象物(他の車両や歩行者など)が有るか無いかを検出する車両周辺対象物検出装置に関するものである。
 この種の車両周辺対象物検出装置は、従来からある(たとえば、特許文献1)。以下、従来の車両周辺対象物検出装置について説明する。
 特許文献1の従来の車両周辺対象物検出装置は、1フレームの車両周辺画像において検出窓をスキャン(走査)させて、検出窓内の画像と基準画像とを比較して、車両周辺に対象物が有るか無いかを検出するものである。
特開2011-210087号公報
 ところが、従来の車両周辺対象物検出装置は、検出窓を固定サイズとし、1フレームの車両周辺画像を複数段階に大きくしたりあるいは小さくしたりしてリサイズしながら、検出窓をスキャンさせるものであるから、検出処理時間が長い。
 この発明が解決しようとする課題は、従来の車両周辺対象物検出装置では、検出処理時間が長いという点にある。
 この発明(請求項1にかかる発明)は、車両の周辺を撮像する撮像装置と、撮像装置により撮像された車両の周辺の画像を処理して検出結果を出力する画像処理装置と、を備え、画像処理装置が、1フレームの画像において大小複数の検出エリアに設定する検出エリア設定部と、検出エリア設定部により設定された大小複数の検出エリアにおいてそれぞれパターンマッチングや特徴量(たとえば、Haar-Like(ハールライク)やHOGなど)を用いた物体検出方法により対象物の有無の検出処理を並行して同時に行う複数のエリア処理部と、複数のエリア処理部によりそれぞれ検出処理された複数の検出結果を統合して出力する統合処理部と、から構成されている、ことを特徴とする。
 この発明(請求項2にかかる発明)は、大の検出エリアが車両の近傍のエリアであり、小の検出エリアが車両の遠方のエリアであり、大の検出エリアが小の検出エリアを包含する、ことを特徴とする。
 この発明(請求項3にかかる発明)は、画像処理装置が、道路の白線の検出処理を行う白線検出処理部と、白線検出処理部において検出処理された白線に応じて、大の検出エリアを設定し、かつ、小の検出エリアを設定する検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
 この発明(請求項4にかかる発明)は、車両情報を検出する検出装置を備え、画像処理装置が、検出装置からの車両情報に基づいて車両の走行経路を推定する走行経路推定部と、大の検出エリアをデフォルトに設定し、かつ、走行経路推定部からの推定結果に基づいて、小の検出エリアを走行経路に応じて設定し、あるいは、小の検出エリアをデフォルトに設定する、検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
 この発明(請求項5にかかる発明)は、車両情報を検出する検出装置を備え、画像処理装置が、道路の白線の検出処理を行う白線検出処理部と、検出装置からの車両情報に基づいて車両の走行経路を推定する走行経路推定部と、白線検出処理部において検出処理された白線に応じて、大の検出エリアを設定し、かつ、小の検出エリアを設定し、または、白線検出処理部に基づいて大の検出エリアをデフォルトに設定し、かつ、走行経路推定部からの推定結果に基づいて、小の検出エリアを走行経路に応じて設定し、もしくは、小の検出エリアをデフォルトに設定する、検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
 この発明(請求項6にかかる発明)は、検出エリア設定部が設定する検出エリアが、大の検出エリアと、小の検出エリアと、大の検出エリアと小の検出エリアとの間に設定されている1つあるいは複数の中間の検出エリアと、からなる、ことを特徴とする。
 この発明の車両周辺対象物検出装置は、1フレームの画像を大小複数の検出エリアに設定し、設定された大小複数の検出エリアにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行うので、1フレームの画像を1つの検出エリアとして検出処理を行う場合と比較して、検出処理時間を短縮することができる。
図1は、この発明にかかる車両周辺対象物検出装置の実施形態を示す全体構成の機能ブロック図である。 図2は、車両の右後方の1フレームの画像を大小3つの検出エリアに設定した状態を示す説明図である。 図3は、1フレームの画像に設定された大小3つの検出エリアを示す説明図である。 図4は、大小3つの各検出エリアにおけるパターンマッチングの検出処理を同時に行っている状態を示す説明図である。 図5は、パターンマッチングの検出処理の結果を示す説明図である。 図6は、作用を示すフローチャートである。
 以下、この発明にかかる車両周辺対象物検出装置の実施形態(実施例)の1例を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。この明細書および特許請求の範囲において、前、後、上、下、左、右は、この発明にかかる車両周辺対象物検出装置を車両Dに搭載した際の車両Dの前、後、上、下、左、右である。
(実施形態の構成の説明)
 以下、この実施形態にかかる車両周辺対象物検出装置の構成について説明する。この実施形態にかかる車両周辺対象物検出装置は、図1に示すように、撮像装置(カメラ)1と、検出装置2と、画像処理装置(画像処理ECU)3と、を備えるものである。
(撮像装置1の説明)
 前記撮像装置1は、車両Dの左右両側に搭載されている。たとえば、前記車両Dの左右のドアに装備されているアウトサイドミラー装置たとえばドアーミラー装置(図示せず)のミラーベースに、もしくは、前記車両Dの車体に、搭載されている。
 以下、前記車両Dの右側に搭載されている前記撮像装置1について説明する。なお、前記車両Dの左側に搭載されている前記撮像装置1は、前記車両Dの右側に搭載されている前記撮像装置1とほぼ同様の構成をなし、かつ、前記車両Dの右側に搭載されている前記撮像装置1の撮像画像とほぼ左右対称の撮像画像であるから、説明を省略する。
 前記撮像装置1は、前記画像処理装置3に接続されている。前記撮像装置1は、前記車両Dの周辺、この例では、図2、図3に示すように、後側方(後右側)の情報を撮像し、撮像した車両周辺の情報を画像データ(図2、図3参照)として前記画像処理装置3に出力するものである。
(検出装置2の説明)
 前記検出装置2は、前記画像処理装置3に接続されている。前記検出装置2は、前記車両D(以下、「自車両D」と称する場合がある)の走行経路を推定するために必要である前記車両Dの情報を検出し、検出した車両情報を検出信号として前記画像処理装置3に出力するものである。前記検出装置2としては、車速センサ(図示せず)、操舵角センサ(図示せず)、ヨーレートセンサ(図示せず)、加速度センサ(図示せず)を単独でもしくは複数の組み合わせで使用する。
(画像処理装置3の説明)
 前記画像処理装置3は、前記撮像装置1、前記検出装置2にそれぞれ接続されている。
前記画像処理装置3は、前記撮像装置1により撮像された前記車両Dの周辺の画像Pにおいて、対象物である他車両Eの有無を検出処理してその検出処理結果を出力するものである。
 前記画像処理装置3は、図1に示すように、白線検出処理部4と、走行経路推定部5と、検出エリア設定部6と、複数この例では3つのエリア処理部(エリアA処理部(近傍)7、エリアB処理部(中間)8、エリアC処理部(遠方)9)と、統合処理部10と、から構成されている。
 前記白線検出処理部4は、道路の白線11の検出処理を行うものである。すなわち、前記白線検出処理部4は、前記撮像装置1からの前記画像Pを各画素の輝度について所定の閾値により明暗二値化し、この二値化データに基づき、明を白として白線11を検出する。前記白線検出処理部4は、白線11の検出処理の結果(たとえば、白線11有、もしくは、白線11無)を前記検出エリア設定部6に出力する。
 図2において、実線で示す白線11は、曲路に沿った白線である。図2において、破線で示す白線11は、直線路に沿った白線である。図2に示すように、曲路の白線11と直線路の白線11との間は、前記車両Dの後方(遠方)に行くほど、広がる。なお、図3における白線11は、直線路に沿った白線である。
 前記走行経路推定部5は、前記検出装置2からの前記車両情報に基づいて前記車両Dの走行経路を推定するものである。すなわち、前記走行経路推定部5は、前記車両Dが、直線路を走行しているのか、曲路を走行しているのか、交差点を左折右折しているのかを推定するものである。
 たとえば、前記走行経路推定部5は、前記車速センサの検出信号の車速が閾値以上であり、かつ、前記操舵角センサの検出信号の操舵角が第1閾値未満である場合には前記車両Dの走行路を直線路と推定し、また、前記車速センサの検出信号の車速が閾値以上であり、かつ、前記操舵角センサの検出信号の操舵角が第1閾値以上第2閾値未満である場合には前記車両Dの走行路を曲路と推定し、さらに、前記車速センサの検出信号の車速が閾値未満であり、かつ、前記操舵角センサの検出信号の操舵角が第2閾値以上である場合には前記車両Dの走行路を交差点と推定するものである。なお、前記車速センサの検出信号および前記操舵角センサの検出信号の前記車両Dの情報に、前記ヨーレートセンサの検出信号および前記加速度センサの検出信号の前記車両Dの情報を、追加しても良い。
 ここで、図2、図3に示すように、前記撮像装置1により前記自車両Dの後側方(後右側)を撮像した場合において、図3の前記画像Pに示すように、対象物としての前記他車両Eが前記自車両Dに近いほど大きく左下側に撮像され、前記他車両Eが前記自車両Dから遠いほど小さく右上側に撮像される。この結果、前記自車両Dと前記他車両Eとの相対距離により、前記他車両Eが撮像されている大きさと場所とは、ある程度特定することができる。このために、パターンマッチングを行う場合において、前記他車両Eをスキャンする検出枠(検出窓、検出ウインドウ)A1~AN、B1~BN、C1~CNの大きさと、前記他車両Eをスキャンする検出エリアA、B、Cとを、前記自車両Dと前記他車両Eとの相対距離別に、複数分割することができる。
 前記検出エリア設定部6は、図2、図3に示すように、前記撮像装置1から1フレームの前記画像Pにおいて大小複数この例では3つの大、中、小の前記検出エリアA、B、Cに設定するものである。
 大(最大)の前記検出エリアAは、前記車両Dに対して最近傍エリアであり、小(最小)の前記検出エリアCは、前記車両Dに対して最遠方エリアであり、中の前記検出エリアBは、大の前記検出エリアAと小の前記検出エリアCとの中間エリアである。大の前記検出エリアAは、中の前記検出エリアBおよび小の前記検出エリアCを包含する。中の前記検出エリアBは、小の前記検出エリアCを包含する。
 前記検出エリア設定部6は、前記白線検出処理部4において検出処理された前記白線11に応じて、また、前記走行経路推定部5からの推定結果に基づいて、大、中、小の前記検出エリアA、B、Cを設定するものである。
 前記白線検出処理部4において前記白線11が検出される場合には、大の前記検出エリアAの外側垂直線は、前記白線11上、もしくは、前記白線11に基づいた位置に設定される。なお、大の前記検出エリアAの内側垂直線は、固定設定されている。また、小の前記検出エリアCの外側垂直線および内側垂直線は、前記白線11上、もしくは、前記白線11に基づいた位置に設定される。このために、大の前記検出エリアAの外側垂直線、また、小の前記検出エリアCの外側垂直線および内側垂直線は、前記白線11に基づいて、変化する。この結果、曲路の白線11と直線路の白線11との間が前記車両Dの後方(遠方)に行くほど広がっても問題がない。すなわち、前記車両Dが走行する道路が曲路であっても直線路であっても、大小の前記検出エリアA、Cを曲路や直線路に合わせて設定することができる。なお、小の前記検出エリアCの内側垂直線は、大の前記検出エリアAの内側垂直線よりも内側に常時位置していて、小の前記検出エリアCは、大の前記検出エリアA中に包含されている。中の前記検出エリアBは、大の前記検出エリアA中に包含されていて、かつ、小の前記検出エリアCを中に包含する。
 前記白線検出処理部4において前記白線11が検出されない場合には、大の前記検出エリアAは、デフォルト(デフォルト値)に設定される。また、小の前記検出エリアCは、走行経路に応じて設定され、あるいは、デフォルト(デフォルト値)に設定される。なお、大の前記検出エリアAのデフォルト(デフォルト値)、小の前記検出エリアCのデフォルト(デフォルト値)は、最適化された固定値である。小の前記検出エリアCは、走行経路に応じて変化する。この結果、前記車両Dが走行する道路が曲路であっても直線路であっても、大小の前記検出エリアA、Cを設定することができる。なお、小の前記検出エリアCは、大の前記検出エリアA中に包含されている。中の前記検出エリアBは、大の前記検出エリアA中に包含されていて、かつ、小の前記検出エリアCを中に包含する。
 3つの前記検出エリアA、B、Cの上側水平線および下側水平線は、内外両側垂直線に基づいて適宜のアスペクト比で設定されている。中の前記検出エリアBは、大の前記検出エリアAおよび小の前記検出エリアCに応じて均等分配に設定され、あるいは、適宜に設定されている。
 3つの前記エリア処理部7、8、9は、前記検出エリア設定部6により設定された3つの前記検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物である前記他車両Eの有無の検出処理を並行して同時に行うものである。
 大の前記検出エリアAをスキャンする前記エリア処理部7は、大の前記検出エリアAに見合った大きさの複数の前記検出枠A1~ANにより、図4(A)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの大の前記検出エリアAをスキャンして前記他車両Eの有無の検出処理を行う。
 中の前記検出エリアBをスキャンする前記エリア処理部8は、中の前記検出エリアBに見合った大きさの複数の前記検出枠B1~BNにより、図4(B)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの中の前記検出エリアBをスキャンして前記他車両Eの有無の検出処理を行う。
 小の前記検出エリアCをスキャンする前記エリア処理部9は、小の前記検出エリアCに見合った大きさの複数の前記検出枠C1~CNにより、図4(C)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの小の前記検出エリアCをスキャンして前記他車両Eの有無の検出処理を行う。
 3つの前記エリア処理部7、8、9の検出処理は、図5に示すように、スキャンされた検出枠中の画像12の特徴点と、学習された基準画像13の特徴点とを比較して、一致する特徴点が閾値を超えた場合は、一致(図5中の○印参照)として、他車両E有の検出結果を出力する。一方、一致する特徴点が閾値を超えない場合は、不一致(図5中の×印参照)として、他車両E無の検出結果を出力する。
 前記統合処理部10は、3つの前記エリア処理部7、8、9によりそれぞれ検出処理された3つの検出結果を統合して出力するものである。すなわち、前記統合処理部10は、3つの検出結果である対象物の前記他車両Eの有無を他の装置、たとえば、警報装置(図示せず)や表示装置(図示せず)に出力するものである。前記警報装置は、前記他車両Eがある場合には、警報を出力し、前記表示装置は、前記他車両Eがある場合には、前記他車両Eを表示する。
(実施形態の作用の説明)
 この実施形態にかかる車両周辺対象物検出装置は、以上のごとき構成からなり、以下、その作用について図6のフローチャートを参照して説明する。
 まず、イグニションスイッチ(図示せず)をONすることにより、スタートとなる。このとき、撮像装置1は、車両(自車両)Dの周辺(後側方)を撮像してその画像Pを画像処理装置3の白線検出処理部4と3つのエリア処理部7、8、9とにそれぞれ出力する。また、検出装置2は、車両(自車両)Dの情報を検出してその検出信号を画像処理装置3の走行経路推定部5に出力する。
 ここで、画像処理装置3の白線検出処理部4は、撮像装置1からの画像Pに基づいて、白線11の検出処理を行い、その検出処理の結果を検出エリア設定部6に出力する(白線検出処理 S1)。
 検出エリア設定部6は、白線検出処理部4からの検出処理結果に基づいて、白線11を検出できたか否かを判定する(白線検出できたか? S2)。
 白線11が検出された場合、検出エリア設定部6は、白線11に応じて大の検出エリアAを設定する(白線に応じて最近傍検出エリア設定 S3)。また、検出エリア設定部6は、白線11に応じて小の検出エリアCを設定する(白線に応じて最遠方検出エリア設定 S4)。さらに、検出エリア設定部6は、大の検出エリアAおよび小の検出エリアCに応じて中の検出エリアBを設定する(最近傍、最遠方検出エリアに応じて中間検出エリア設定 S5)。
 エリアA処理部7は、図4(A)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された大の検出エリアAを、複数の検出枠A1~ANによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(最近傍エリア検出処理 S6)。
 エリアC処理部9は、図4(C)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された小の検出エリアCを、複数の検出枠C1~CNによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(最遠方エリア検出処理 S7)。
 エリアB処理部8は、図4(B)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された中の検出エリアBを、複数の検出枠B1~BNによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(中間エリア検出処理 S8)。
 エリアA処理部7の最近傍エリア検出処理S6と、エリアC処理部9の最遠方エリア検出処理S7と、エリアB処理部8の中間エリア検出処理S8とは、並行して同時に行われる。3つのエリア処理部7、8、9は、図5に示すように、スキャンされた検出枠中の画像12の特徴点と、学習された基準画像13の特徴点とを比較して、一致する特徴点が閾値を超えた場合は、一致(図5中の○印参照)として、他車両E有の検出結果を出力する。一方、一致する特徴点が閾値を超えない場合は、不一致(図5中の×印参照)として、他車両E無の検出結果を出力する。
 統合処理部10は、エリアA処理部7の最近傍エリア検出処理の結果と、エリアC処理部9の最遠方エリア検出処理の結果と、エリアB処理部8の中間エリア検出処理の結果と、を統合して、対象物の他車両Eの有無を他の装置の警報装置や表示装置に出力して、前記の(S1)に戻る(検出結果統合出力 S9)。
 前記の(S2)において、白線11が検出されなかった場合、検出エリア設定部6は、大の検出エリアAをデフォルトに設定する(最近傍検出エリアをデフォルトに設定 S10)。
 つぎに、走行経路推定部5は、検出装置2からの車両情報に基づいて、自車両Dが走行している道路が直線路か曲路か交差点かの推定処理を行い、その推定処理の結果を検出エリア設定部6に出力する(車両走行経路推定処理 S11)。
 検出エリア設定部6は、走行経路推定部5からの推定処理結果に基づいて、走行経路が推定できたか否かを判定する(走行経路推定できたか? S12)。
 走行経路が推定できた場合、検出エリア設定部6は、走行経路に応じて小の検出エリアCを設定する(走行経路に応じて最遠方検出エリア設定 S13)。また、検出エリア設定部6は、前記の(S5)を行う。
 つぎに、エリアA処理部7は、前記の(S6)を、エリアC処理部9は、前記の(S7)を、エリアB処理部8は、前記の(S8)を、並行して同時に行う。また、統合処理部10は、前記の(S9)を行って、前記の(S1)に戻る。
 前記の(S12)において、走行経路が推定できなかった場合、検出エリア設定部6は、小の検出エリアCをデフォルトに設定する(最遠方検出エリアをデフォルトに設定 S14)。また、検出エリア設定部6は、前記の(S5)を行う。
 つぎに、エリアA処理部7は、前記の(S6)を、エリアC処理部9は、前記の(S7)を、エリアB処理部8は、前記の(S8)を、並行して同時に行う。また、統合処理部10は、前記の(S9)を行って、前記の(S1)に戻る。
(実施形態の効果の説明)
 この実施形態にかかる車両周辺対象物検出装置は、以上のごとき構成および作用からなり、以下、その効果について説明する。
 この実施形態にかかる車両周辺対象物検出装置は、1フレームの画像Pを3つの検出エリアA、B、Cに設定し、設定された3つの検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物の他車両Eの有無の検出処理を行うので、1フレームの画像を1つの検出エリアとして検出処理を行う場合、たとえば、図4(A)に示す大の検出エリアAを、複数の検出枠A1~AN、B1~BN、C1~CNにより、スキャンする場合と比較して、検出時間を短縮することができる。
 この実施形態にかかる車両周辺対象物検出装置は、大の検出エリアAが中の検出エリアBおよび小の検出エリアCを包含し、かつ、中の検出エリアBが小の検出エリアCを包含する。この結果、対象物の他車両Eが大の検出エリアA、中の検出エリアB、小の検出エリアCのいずれか1つのエリアに属することとなり、他車両Eの検出精度を向上させることができる。
 この実施形態にかかる車両周辺対象物検出装置は、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の検出エリア設定部6が検出処理された白線11に応じて3つの検出エリアA、B、Cを設定するものである。このために、3つの検出エリアA、B、Cを確実に設定することができ、他車両Eの検出精度を向上させることができる。
 この実施形態にかかる車両周辺対象物検出装置は、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が推定された自車両Dの走行経路に応じて3つの検出エリアA、B、Cを設定するものである。このために、3つの検出エリアA、B、Cを確実に設定することができ、他車両Eの検出精度を向上させることができる。
 この実施形態にかかる車両周辺対象物検出装置は、検出エリア設定部6が設定する検出エリアが、大の検出エリアAと、小の検出エリアCと、大の検出エリアAと小の検出エリアCとの間に設定されている中間の検出エリアBと、からなる。この結果、検出時間をさらに短縮することができ、かつ、検出精度をさらに向上させることができる。
(実施形態以外の例の説明)
 なお、前記の実施形態においては、自車両Dの後側方における対象物である他車両Eの有無を検出するものである。ところが、この発明においては、車両(自車両D)の前方における対象物(たとえば、歩行者、自転車、他車両)の有無を検出するものであっても良い。
 また、前記の実施形態においては、大の検出エリアAと小の検出エリアCとの間に1つの中間の検出エリアBを設定するものである。ところが、この発明においては、中間の検出エリアを設定しなくても良いし、また、複数の中間の検出エリアを設定しても良い。複数の中間の検出エリアを設定する場合においては、遠方のほうが距離の変化による対象物の面積の変化が小さいので、遠方のほうを密になるように設定しても良い。中間の検出エリアの設定は、検出時間の短縮化および検出精度の向上と、製造コストとの兼ね合いで設定する。
 さらに、前記の実施形態においては、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が検出処理された白線11および推定された走行経路に応じて3つの検出エリアA、B、Cを設定するものである。ところが、この発明においては、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の検出エリア設定部6が検出処理された白線11に応じて複数の検出エリアを設定するものであっても良いし、または、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が推定された走行経路に応じて複数の検出エリアを設定するものであっても良い。
 さらにまた、前記の実施形態においては、3つのエリア処理部7、8、9が、図4(A)、(B)、(C)に示すように、検出エリアA、B、Cに見合った大きさの複数の検出枠A1~AN、B1~BN、C1~CNにより、1フレームの画像Pの検出エリアA、B、Cをスキャンして他車両Eの有無の検出処理を並行して同時に行うものである。ところが、この発明においては、複数のエリア処理部が特許文献1の対象物の有無の検出処理を並行して同時に行っても良い。すなわち、1フレームの画像Pの検出エリアA、B、Cを複数段階に大きくしたりあるいは小さくしたりしてリサイズしながら、サイズが固定された検出枠(たとえば、A1、B1、C1)をスキャンさせて、他車両Eの有無の検出処理を並行して同時に行っても良い。
 さらにまた、前記の実施形態においては、撮像装置1を車両Dの左右両側、たとえば、車両Dの左右のドアに装備されているアウトサイドミラー装置のミラーベースに、もしくは、車両Dの車体に、搭載されている。ところが、この発明においては、撮像装置1を搭載する位置を特に限定しない。
 1 撮像装置
 2 検出装置
 3 画像処理装置
 4 白線検出処理部
 5 走行経路推定部
 6 検出エリア設定部
 7 エリアA処理部
 8 エリアB処理部
 9 エリアC処理部
 10 統合処理部
 11 白線
 12 検出枠中の画像
 13 基準画像
 A 大の検出エリア
 B 中の検出エリア
 C 小の検出エリア
 D 車両(自車両)
 E 他車両
 P 画像
 

Claims (6)

  1.  車両の周辺の対象物の有無を検出する装置であって、
     前記車両の周辺を撮像する撮像装置と、
     前記撮像装置により撮像された前記車両の周辺の画像を処理して検出結果を出力する画像処理装置と、
     を備え、
     前記画像処理装置は、1フレームの前記画像において大小複数の検出エリアに設定する検出エリア設定部と、前記検出エリア設定部により設定された大小複数の前記検出エリアにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行う複数のエリア処理部と、複数の前記エリア処理部によりそれぞれ検出処理された複数の検出結果を統合して出力する統合処理部と、から構成されている、
     ことを特徴とする車両周辺対象物検出装置。
  2.  大の前記検出エリアは、前記車両の近傍のエリアであり、
     小の前記検出エリアは、前記車両の遠方のエリアであり、
     大の前記検出エリアは、小の前記検出エリアを包含する、
     ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
  3.  前記画像処理装置は、
     道路の白線の検出処理を行う白線検出処理部と、
     前記白線検出処理部において検出処理された前記白線に応じて、大の前記検出エリアを設定し、かつ、小の前記検出エリアを設定する前記検出エリア設定部と、
     複数の前記エリア処理部と、
     前記統合処理部と、
     から構成されている、
     ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
  4.  車両情報を検出する検出装置を備え、
     前記画像処理装置は、
     前記検出装置からの前記車両情報に基づいて前記車両の走行経路を推定する走行経路推定部と、
     大の前記検出エリアをデフォルトに設定し、かつ、前記走行経路推定部からの推定結果に基づいて、小の前記検出エリアを走行経路に応じて設定し、あるいは、小の前記検出エリアをデフォルトに設定する、前記検出エリア設定部と、
     複数の前記エリア処理部と、
     前記統合処理部と、
     から構成されている、
     ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
  5.  車両情報を検出する検出装置を備え、
     前記画像処理装置は、
     道路の白線の検出処理を行う白線検出処理部と、
     前記検出装置からの前記車両情報に基づいて前記車両の走行経路を推定する走行経路推定部と、
     前記白線検出処理部において検出処理された前記白線に応じて、大の前記検出エリアを設定し、かつ、小の前記検出エリアを設定し、または、前記白線検出処理部に基づいて大の前記検出エリアをデフォルトに設定し、かつ、前記走行経路推定部からの推定結果に基づいて、小の前記検出エリアを走行経路に応じて設定し、もしくは、小の前記検出エリアをデフォルトに設定する、前記検出エリア設定部と、
     複数の前記エリア処理部と、
     前記統合処理部と、
     から構成されている、
     ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
  6.  前記検出エリア設定部が設定する前記検出エリアは、大の前記検出エリアと、小の前記検出エリアと、大の前記検出エリアと小の前記検出エリアとの間に設定されている1つあるいは複数の中間の検出エリアと、からなる、
     ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
     
PCT/JP2013/066331 2012-06-19 2013-06-13 車両周辺対象物検出装置 WO2013191078A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13806529.7A EP2863361B1 (en) 2012-06-19 2013-06-13 Object detection device for area around vehicle
US14/409,288 US9367751B2 (en) 2012-06-19 2013-06-13 Object detection device for area around vehicle
CN201380032143.4A CN104380341B (zh) 2012-06-19 2013-06-13 车辆周边对象物检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-137737 2012-06-19
JP2012137737A JP6051608B2 (ja) 2012-06-19 2012-06-19 車両周辺対象物検出装置

Publications (1)

Publication Number Publication Date
WO2013191078A1 true WO2013191078A1 (ja) 2013-12-27

Family

ID=49768675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/066331 WO2013191078A1 (ja) 2012-06-19 2013-06-13 車両周辺対象物検出装置

Country Status (5)

Country Link
US (1) US9367751B2 (ja)
EP (1) EP2863361B1 (ja)
JP (1) JP6051608B2 (ja)
CN (1) CN104380341B (ja)
WO (1) WO2013191078A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104401261B (zh) * 2014-11-24 2016-09-07 上汽大众汽车有限公司 汽车前方盲区探测系统及其探测方法
KR101822892B1 (ko) * 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
WO2017130285A1 (ja) * 2016-01-26 2017-08-03 三菱電機株式会社 車両判定装置、車両判定方法及び車両判定プログラム
WO2017145605A1 (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN112154083B (zh) * 2018-05-22 2024-01-05 美里工业株式会社 车辆用外部镜装置、车辆用外部镜系统以及车辆用外部镜装置的控制方法
CN112767723B (zh) * 2019-11-05 2022-04-22 深圳市大富科技股份有限公司 路况检测方法、计算机存储设备、车载终端和车辆
JP7318609B2 (ja) * 2020-08-06 2023-08-01 トヨタ自動車株式会社 車載検出装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337938A (ja) * 1993-03-31 1994-12-06 Fujitsu Ltd 画像処理装置及び距離測定装置
JP2000315255A (ja) * 1999-03-01 2000-11-14 Yazaki Corp 車両用後側方監視装置及び車両用後側方監視警報装置
JP2002140706A (ja) * 2000-11-01 2002-05-17 Mitsubishi Heavy Ind Ltd 画像識別装置および画像データ処理装置
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置
JP2011210087A (ja) 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330513D1 (de) * 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
DE60009976T2 (de) * 1999-03-01 2004-09-02 Yazaki Corp. Rück- und Seitenblickmonitor mit Kamera für Fahrzeug
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP3952305B2 (ja) * 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和系统
JP5146446B2 (ja) * 2007-03-22 2013-02-20 日本電気株式会社 移動体検知装置および移動体検知プログラムと移動体検知方法
CN101216892B (zh) * 2008-01-11 2010-10-27 长安大学 线阵ccd摄像机序列图像灰度特征识别车辆存在的方法
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
KR101237970B1 (ko) * 2011-01-17 2013-02-28 포항공과대학교 산학협력단 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법
JP5907593B2 (ja) * 2011-09-13 2016-04-26 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337938A (ja) * 1993-03-31 1994-12-06 Fujitsu Ltd 画像処理装置及び距離測定装置
JP2000315255A (ja) * 1999-03-01 2000-11-14 Yazaki Corp 車両用後側方監視装置及び車両用後側方監視警報装置
JP2002140706A (ja) * 2000-11-01 2002-05-17 Mitsubishi Heavy Ind Ltd 画像識別装置および画像データ処理装置
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置
JP2011210087A (ja) 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863361A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム

Also Published As

Publication number Publication date
JP2014002577A (ja) 2014-01-09
JP6051608B2 (ja) 2016-12-27
EP2863361B1 (en) 2020-08-12
US9367751B2 (en) 2016-06-14
EP2863361A4 (en) 2016-09-28
CN104380341B (zh) 2017-07-14
EP2863361A1 (en) 2015-04-22
CN104380341A (zh) 2015-02-25
US20150169969A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP6051608B2 (ja) 車両周辺対象物検出装置
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
JP5276637B2 (ja) 車線推定装置
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
JP3630100B2 (ja) 車線検出装置
US20150302257A1 (en) On-Vehicle Control Device
JP2007179386A (ja) 白線認識方法及び白線認識装置
JP2015197829A (ja) レーンマーク認識装置
EP3731138A1 (en) Image processing device and image processing method
JP2014146267A (ja) 歩行者検出装置、運転支援装置
JP5097681B2 (ja) 地物位置認識装置
JP2015185135A (ja) 停車認識装置、停車認識方法及びプログラム
JP2011103058A (ja) 誤認識防止装置
JP2010061375A (ja) 物体認識装置及びプログラム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP2008134877A (ja) 周辺監視装置
US10572967B2 (en) Image data processing circuit and imaging circuit
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP2005332268A (ja) 走行路認識装置
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
CN112784671A (zh) 障碍物检测装置及障碍物检测方法
JP2017211860A (ja) 車両周辺表示装置および車両周辺表示方法
WO2023112127A1 (ja) 画像認識装置、および、画像認識方法
JP5304292B2 (ja) 車両用接近物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13806529

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14409288

Country of ref document: US

Ref document number: 2013806529

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE