WO2010125833A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2010125833A1
WO2010125833A1 PCT/JP2010/050313 JP2010050313W WO2010125833A1 WO 2010125833 A1 WO2010125833 A1 WO 2010125833A1 JP 2010050313 W JP2010050313 W JP 2010050313W WO 2010125833 A1 WO2010125833 A1 WO 2010125833A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
distance
sampling period
parallax
control cycle
Prior art date
Application number
PCT/JP2010/050313
Other languages
English (en)
French (fr)
Inventor
誠 相村
長岡　伸治
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to CN201080019133.3A priority Critical patent/CN102422333B/zh
Priority to US13/265,598 priority patent/US8401715B2/en
Priority to EP10769533A priority patent/EP2413304A4/en
Publication of WO2010125833A1 publication Critical patent/WO2010125833A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a vehicle periphery monitoring device that monitors the periphery of the vehicle based on an image captured by an imaging unit mounted on the vehicle.
  • the change rate of the size of the image portion of the same object is calculated from a time-series image captured by one camera mounted on the vehicle, and the object and the vehicle are calculated from the change rate.
  • a vehicle periphery monitoring device is known that calculates a distance (see, for example, Japanese Patent Application Laid-Open No. 2007-213561).
  • Japanese Patent Application Laid-Open No. 2007-213561 does not describe the specific setting of the image sampling period used for calculating the rate of change of the image portion of the object.
  • the sampling period of the time-series image is constant, the rate of change in the size of the object image increases as the distance between the vehicle and the object increases. Therefore, the distance calculation accuracy becomes lower as the object is farther from the vehicle.
  • a target object (pedestrian, bicycle, large animal, etc.) is detected using a range within a predetermined distance from the vehicle as a detection area, the distance between the target object and the vehicle located at the farthest position in the detection area
  • the sampling period of the time series image is set to a fixed time with reference to the object existing at a long distance
  • the sampling period is more than necessary when calculating the distance from the object existing at a short distance. It becomes long. Therefore, there is a possibility that the calculation timing of the distance between the object existing at a short distance and the vehicle is delayed.
  • an object of the present invention is to provide a vehicle periphery monitoring device that suppresses a delay in the timing of distance calculation when calculating the distance between the object and the vehicle based on the time-series image of the object.
  • the present invention has been made in order to achieve the above object, and relates to a vehicle periphery monitoring apparatus that monitors the periphery of a vehicle using an image captured by an imaging means mounted on the vehicle.
  • the first aspect of the present invention uses the degree of change of a predetermined element of an image portion of the same object between a plurality of images captured by the imaging unit at different time points within a predetermined sampling period.
  • Distance calculating means for calculating the distance between the vehicle and the object
  • vehicle speed detecting means for detecting the vehicle speed of the vehicle
  • sampling period setting means for setting the sampling period to a shorter time as the vehicle speed of the vehicle is lower. It is characterized by having.
  • the sampling period setting means sets the sampling period to a shorter time as the vehicle speed of the vehicle is lower, thereby increasing the vehicle speed of the vehicle as when traveling on a highway.
  • the sampling period can be set long to maintain the calculation accuracy of the distance between the vehicle and the object.
  • the distance calculation timing is delayed by setting the sampling period short. Can be suppressed.
  • the distance calculating unit calculates a distance between the vehicle and the object for each predetermined control cycle, and the sampling period setting unit is operated by the distance calculating unit in the previous control cycle. As the calculated distance between the vehicle and the object is shorter, the sampling period in the current control cycle is set to a shorter time.
  • the distance between the vehicle and the object in the current control cycle is assumed to be approximately the same as the distance between the vehicle and the object calculated by the distance calculation unit in the previous control cycle.
  • the longer the distance between the vehicle and the object the longer the sampling period and the greater the degree of change of the predetermined element between the images captured in the sampling period, thereby maintaining the distance calculation accuracy.
  • the degree of change of the predetermined element between images increases even if the sampling period is set to a shorter time, and therefore the distance calculation accuracy increases.
  • the sampling period setting means by setting the sampling period in the current control cycle to a shorter time as the distance between the vehicle and the object calculated in the previous control period is shorter by the sampling period setting means, the vehicle and the target are set.
  • the sampling period is set long to maintain the distance calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period is set short and the distance calculation timing is delayed. This can be suppressed.
  • the distance calculating unit calculates a distance between the vehicle and the object for each predetermined control cycle, and the sampling period setting unit is operated by the distance calculating unit in the previous control cycle.
  • the current control period An estimated distance between the vehicle and the object is calculated, and the sampling period in the current control cycle is set to a shorter time as the estimated distance is shorter.
  • the longer the distance between the vehicle and the object the longer the sampling period and the greater the degree of change of the predetermined element between the images captured in the sampling period. Need to maintain.
  • the sampling period is set longer when the distance between the vehicle and the object is longer by setting the sampling period in the current control cycle to a shorter time as the estimated distance is shorter. It is possible to set and maintain the distance calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period can be set short to prevent the distance calculation timing from being delayed.
  • a predetermined element of an image portion of the same object between a plurality of images captured by the imaging unit at different time points within a predetermined sampling period for each predetermined control period.
  • the distance calculation means for calculating the distance between the vehicle and the object using the change degree of the vehicle, and the shorter the distance between the vehicle and the object calculated by the distance calculation means in the previous control cycle, Sampling period setting means for setting the sampling period in the control cycle to a short time.
  • the distance between the vehicle and the object in the current control cycle is assumed to be approximately the same as the distance between the vehicle and the object calculated by the distance calculation unit in the previous control cycle.
  • the longer the distance between the vehicle and the object the longer the sampling period and the greater the degree of change of the predetermined element between the images captured in the sampling period, thereby maintaining the distance calculation accuracy.
  • the degree of change of the predetermined element between images increases even if the sampling period is set to a shorter time, and therefore the distance calculation accuracy increases.
  • the sampling period setting means by setting the sampling period in the current control cycle to a shorter time as the distance between the vehicle and the object calculated in the previous control period is shorter by the sampling period setting means, the vehicle and the target are set.
  • the sampling period is set long to maintain the distance calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period is set short and the distance calculation timing is delayed. This can be suppressed.
  • a predetermined element of an image portion of the same target object between a plurality of images captured by the imaging unit at different time points within a predetermined sampling period for each predetermined control period.
  • the estimated distance between the vehicle and the object in the current control cycle is calculated using the elapsed time from the time of the calculation between the vehicle and the object in the previous control cycle.
  • the sampling period in the control cycle is set to a short time.
  • the longer the distance between the vehicle and the object the longer the sampling period and the greater the degree of change of the predetermined element between the images captured in the sampling period, thereby increasing the distance calculation accuracy. Need to be maintained.
  • the sampling period is set longer when the distance between the vehicle and the object is longer by setting the sampling period in the current control cycle to a shorter time as the estimated distance is shorter. It is possible to set and maintain the distance calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period can be set short to prevent the distance calculation timing from being delayed.
  • the block diagram of the vehicle periphery monitoring apparatus of this invention is a flowchart showing a processing procedure in the image processing unit shown in FIG. 1.
  • the flowchart of the process which sets a sampling period.
  • requires the distance with a target object based on a parallax gradient. Explanatory drawing of the process which calculates
  • FIG. 1 is a configuration diagram of a vehicle surroundings monitoring apparatus according to the present invention.
  • the vehicle surroundings monitoring apparatus according to the present invention includes an image processing unit 1.
  • the image processing unit 1 includes infrared cameras 2R and 2L (corresponding to the imaging means of the present invention) that can detect far infrared rays, a yaw rate sensor 3 that detects the yaw rate of the vehicle, and a vehicle speed sensor 4 that detects the traveling speed of the vehicle ( (Corresponding to vehicle speed detecting means of the present invention), brake sensor 5 for detecting the amount of brake operation by the driver, speaker 6 for alerting by voice, and images obtained by infrared cameras 2R and 2L are displayed.
  • a display device 7 is connected for performing a display that allows the driver to visually recognize an object with a high possibility of contact.
  • infrared cameras 2R and 2L are disposed at the front portion of vehicle 10 at a substantially target position with respect to the center portion of vehicle 10 in the vehicle width direction, and two infrared cameras 2R and 2L are arranged.
  • the optical axes are parallel to each other, and the infrared cameras 2R and 2L are fixed at the same height from the road surface.
  • the infrared cameras 2R and 2L have a characteristic that the output level increases (the luminance increases) as the temperature of the imaged object increases.
  • the display device 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 10.
  • an image processing unit 1 is an electronic unit composed of a microcomputer (not shown) and converts analog video signals output from infrared cameras 2R and 2L into digital data.
  • the microcomputer has a function of performing various arithmetic processes by the microcomputer with respect to the image in front of the vehicle captured in the image memory (not shown).
  • the microcomputer extracts the first image portion of the object in real space from the first image captured by the infrared camera 2R.
  • Extraction means 20 and corresponding image extraction means 21 for extracting a second image portion having a correlation with the first image portion from the second image captured by the infrared camera 2L, and the first object extracted by the object extraction means 20
  • Parallax calculating means 22 for calculating the parallax between the image portion and the second image portion extracted by the corresponding image extracting means 21, and the parallax calculating means 22 for calculating the time series data of the parallax for the same object.
  • the sampling period setting means 23 for setting the sampling period for acquiring one image and the second image, and the same calculated by the parallax calculation means 22.
  • Parallax gradient calculating means 24 for calculating a parallax gradient that is a rate of change in parallax per unit time from the parallax time-series data for the target object, and calculating a distance between the target object and the vehicle 10 based on the parallax gradient.
  • 1 distance calculation means 25 second distance calculation means 26 for calculating the distance between the object and the vehicle 10 based on one parallax data, and the reliability of the distance calculated by the first distance calculation means 25. It functions as the distance reliability determining means 27 for determining and the contact determining means 28 for determining the possibility of contact between the vehicle 10 and the object.
  • the image processing unit 1 monitors the periphery of the vehicle 10 by executing the process according to the flowchart shown in FIG.
  • the image processing unit 1 first inputs an analog signal of an infrared image output from the infrared cameras 2R and 2L in STEP1, and then stores a grayscale image obtained by digitizing the analog signal by A / D conversion in an image memory in STEP2. To do.
  • a gray scale image (hereinafter referred to as a right image) obtained by the infrared camera 2R and a gray scale image (hereinafter referred to as a left image) obtained by the infrared camera 2L are acquired. Since the right image and the left image have a shift (parallax) in the horizontal position of the image portion of the same object, the distance from the vehicle 10 to the object in real space can be calculated based on this parallax. it can.
  • the image processing unit 1 binarizes the right image as a reference image (pixels with luminance equal to or higher than a threshold value are set to “1 (white)”, and pixels smaller than the threshold value are set to “0 (black)”.
  • the next STEP 4 to STEP 6 are processes by the object extraction means 20.
  • the object extraction means 20 converts the image portion of each white area included in the binary image into run length data (data of white pixel lines continuous in the x (horizontal) direction of the binary image). Further, the object extraction unit 20 labels a line having a portion overlapping in the y (vertical) direction of the binary image as one image part in STEP 5, and in STEP 6, the labeled image part is an image candidate of the monitoring object. Extract as
  • the image processing unit 1 calculates the gravity center G, area S, and aspect ratio ASPECT of the circumscribed square of each image candidate. Note that a specific calculation method is a general method described in, for example, Japanese Patent Application Laid-Open No. 2001-6096 and the like, and thus description thereof is omitted here. Then, the image processing unit 1 executes the following STEP8 to STEP9 and STEP20 to STEP22 in parallel.
  • the image processing unit 1 performs identity determination on image portions extracted from binary images based on images taken by the infrared cameras 2R and 2L at predetermined sampling periods, and images of the same object
  • the time-series data of the position of the image portion determined to be (centroid position) is stored in the memory (time tracking).
  • the image processing unit 1 reads the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3, and calculates the turning angle ⁇ r of the vehicle 10 by time integration of the yaw rate YR. To do.
  • STEP 20 to STEP 21 are processes by the corresponding image extracting means 21.
  • the corresponding image extraction unit 21 selects one of the monitoring subject image candidates extracted by the target object extraction unit 20, and selects from the grayscale image 30 of the right image.
  • a corresponding search image 30a (an image of the entire region surrounded by a circumscribed rectangle of the selected candidate image) is extracted.
  • the corresponding image extracting means 20 sets a search area 32 for searching for an image corresponding to the search image 30a from the grayscale image 31 of the left image, executes an interphase operation with the search image 30a, and executes the correlation image 31a. To extract.
  • the subsequent STEP 22 is processing by the parallax calculation means 22.
  • the parallax calculation means 22 calculates the difference between the centroid position of the search image 30a and the centroid position of the corresponding image 31a as the parallax dx, and proceeds to STEP10.
  • the image processing unit 1 executes “distance calculation processing” for calculating the distance between the object in the real space corresponding to the search image 30 a and the corresponding image 31 a and the vehicle 10.
  • the “distance calculation process” will be described later.
  • STEP 11 to STEP 15 and STEP 30 are processes by the contact determination means 28.
  • the contact determination means 28 converts the coordinates (x, y) of the search image 30a and the distance z between the object calculated in STEP 10 and the vehicle 10 into real space coordinates (X, Y, Z). Then, the coordinates of the position of the object in the real space corresponding to the search image 10a are calculated.
  • the real space coordinates (X, Y, Z) are set such that the midpoint position of the attachment positions of the infrared cameras 2R, 2L is the origin 0, X is the vehicle width direction of the vehicle 10, and Y Is set in the vertical direction, and Z is set in the front direction of the vehicle 10.
  • the image coordinates are set such that the center of the image is the origin, the horizontal direction is x, and the vertical direction is y.
  • the contact determination means 28 performs a turning angle correction for correcting a positional deviation on the image due to the turning of the vehicle 10. Further, in STEP 13, the contact determination unit 28 determines the object and the vehicle from the time series data of the real space position of the same object after the turning angle correction obtained from a plurality of images captured within a predetermined monitoring period. A relative movement vector with respect to 10 is calculated.
  • the contact determination unit 28 determines the possibility of contact between the vehicle 10 and the object, and executes “attention call determination processing” for determining whether or not it is necessary to call attention.
  • the process branches to STEP 30 to output a warning sound by the buzzer 6 and display a warning on the display device 7.
  • the process returns to STEP 1 and the image processing unit 1 does not call attention.
  • the image processing unit 1 may check whether the target object is in contact with the host vehicle 10 within a margin time, whether the target object is within the approach determination area set around the host vehicle, Determining whether a target object may enter the proximity determination area from outside the proximity determination area and come into contact with the host vehicle 10, whether the target object is a pedestrian, whether the target object is an artificial structure, etc. Then, it is determined whether or not it is necessary to call attention.
  • the distance Z between the object and the vehicle 10 can be basically calculated by the following equation (1).
  • Z distance between the object and the vehicle 10
  • f focal length of the infrared cameras 2R, 2L
  • p pixel pitch of the infrared cameras 2R, 2L
  • D baseline length of the infrared cameras 2R, 2L
  • dx parallax.
  • FIG. 5A shows, for example, the relationship between the parallax dx and the distance Z when the vehicle 10 is traveling at 72 km / h, the vertical axis is set to the parallax dx, and the horizontal axis is the vehicle 10. This is set to the distance Z to the object.
  • the value of the parallax dx corresponding to the distance changes according to the value of the parallax offset ⁇ , so that a distance calculation error occurs.
  • the calculated value of the distance is 205 m
  • there is a parallax offset ⁇ ⁇ 4 (pixel)
  • the calculated value of the distance is 322 m.
  • the first distance calculation unit 25 calculates the parallax gradient from the parallax time-series data, and calculates the distance between the object and the vehicle 10 using the parallax gradient, thereby eliminating the influence of the parallax offset ⁇ . ing.
  • parallax of the image portion of the same object obtained from the right image and the left image corresponds to a predetermined element of the image portion of the same object in the present invention.
  • parallax gradient calculated from the parallax time-series data corresponds to the degree of change of the predetermined element in the present invention.
  • the sampling period setting means 23 sets the sampling period for acquiring the parallax time-series data used when calculating the parallax gradient according to the flowchart shown in FIG.
  • the sampling period setting means 23 determines whether or not the data of the distance L (n ⁇ 1) between the object and the vehicle 10 calculated in STEP 90 in the previous control cycle is held in a memory (not shown).
  • the distance L (n ⁇ 1) between the object calculated in the previous control cycle and the vehicle 10. ) Is held in the memory when the vehicle 10 is traveling.
  • STEP 90 when the data of the distance L (n-1) between the object calculated in the previous control cycle and the vehicle 10 is held in the memory (not shown), the process proceeds to STEP 91. Then, the sampling period setting means 23 acquires the vehicle speed VCAR detected by the vehicle speed sensor 4 and the elapsed time ⁇ t from the time of calculation of the distance L (n ⁇ 1) in the previous control cycle to the present time.
  • the sampling period setting means 23 calculates the estimated distance Le between the object and the vehicle 10 in the current control cycle by the following equation (3).
  • Le Estimated distance between the object and the vehicle 10 in the current control cycle
  • L (n-1) Calculated distance between the object and the vehicle 10 in the previous control cycle
  • VCAR Vehicle speed of the vehicle 10
  • ⁇ t Elapsed time from the time of calculating the distance between the object and the vehicle 10 in the previous control cycle to the present time.
  • the sampling period setting means 23 controls the sampling period Tw obtained by applying the estimated distance Le to the correspondence map between the estimated distance Le and the sampling period Tw shown in a1 of FIG.
  • the sampling period Tw in the cycle is assumed. In this case, the shorter the distance between the object and the vehicle 10, the shorter the sampling period Tw is set.
  • the sampling period Tw is set shorter as the object approaches the vehicle 10. Therefore, as shown by a2 in FIG. 7 (a), the distance between the object and the vehicle 10 compared to the case where the sampling period Tw is set to a fixed time for maintaining the distance calculation accuracy of the object at a long distance. Can be quickly calculated to detect an object. Moreover, since the number of captured images in the sampling period Tw can be small, the processing load on the image processing unit 1 when calculating the distance can be reduced.
  • the sampling period Tw is set to be shorter as Le is shorter, using the estimated distance Le between the object calculated by the above formula (3) and the vehicle 10, but in the previous control cycle.
  • the sampling Tw may be set to a shorter time as L (n-1) is shorter.
  • the sampling period Tw is set in a stepped manner as shown in a3 of FIG. You may make it do.
  • a coefficient k1 (0 ⁇ k ⁇ 1) is set to be smaller as the estimated distance Le is shorter, and is set in advance assuming that the distance between the object and the vehicle is long.
  • the sampling period Tw in the current control cycle may be set by multiplying the initial value of the sampling period by this coefficient k1.
  • the process branches to STEP 100.
  • the sampling period setting means 23 acquires the vehicle speed VCAR detected by the vehicle speed sensor 4.
  • the sampling period setting means 23 controls the sampling period Tw obtained by applying the vehicle speed VCAR to the correspondence map between the vehicle speed VCAR and the sampling period Tw shown in b1 of FIG.
  • the sampling period Tw in the period is assumed. In this case, the sampling period Tw is set to a shorter time as the vehicle speed of the vehicle 10 is lower.
  • step 93 the sampling period setting means 23 waits until a time-series image in the period equal to or longer than the sampling period Tw set in STEP 92 or STEP 101 is obtained, and proceeds to STEP 94.
  • STEP 94 is a process by the first distance calculation means 25.
  • the first distance calculation means 25 calculates the distance between the object and the vehicle 10 using the parallax gradient in STEP 94, and proceeds to STEP 95 to proceed to the flowchart of FIG. Return to.
  • the first distance calculation means 25 did not calculate the parallax from the time series data of the parallax calculated by the parallax calculation means 22 during the preset time series time Ts (for example, 1 second). Data out of time (data when the correlation calculation by the corresponding image extraction means 21 fails) and outlier removal processing for excluding data whose parallax value is extremely different from other data.
  • the first distance calculation unit 25 determines the reliability of the parallax time-series data based on the number of parallax time-series data, the degree of correlation in the correlation calculation when obtaining the parallax, and the like.
  • the process proceeds from STEP 52 to STEP 53.
  • the process branches from STEP 52 to STEP 60, and processing by the contact determination unit 28 based on the current parallax time-series data is prohibited.
  • the first distance calculation means 25 calculates the parallax gradient from the parallax time-series data, and in STEP 54, estimates the distance between the vehicle 10 and the object based on the parallax gradient. Details of the distance estimation process in STEP 54 will be described later.
  • the subsequent STEP 55 is processing by the distance reliability determination means 27.
  • the distance reliability determination unit 27 uses the parallax gradient to calculate the distance Z1 between the vehicle 10 and the target object calculated by the first distance calculation unit 25 and the intermediate value of the time-series data of parallax, for example.
  • the distance Z 2 between the vehicle 10 and the object calculated by the above formula (1) by the distance calculation means 26 of 2 is compared.
  • the distance reliability determination means 27 when the difference between Z1 and Z2 deviates from within a predetermined range (range unique to the vehicle 10 that changes due to the mounting accuracy of the infrared cameras 2R and 2L, vehicle vibration, etc.) It is determined that the parallax offset ⁇ is large and the reliability of Z1 is low. When the distance reliability determination means 27 determines that the reliability of Z1 is low, it branches from the next STEP 56 to STEP 60. On the other hand, when it is determined that the reliability of Z1 is high, the process proceeds from STEP 56 to STEP 57. In this case, the contact determination process after STEP 11 in FIG.
  • the first distance calculation means 25 inputs the travel speed VCAR of the vehicle 10 calculated by the vehicle speed sensor 4 in STEP 70. Further, in subsequent STEP 71, the first distance calculating means 25 inputs the parallax gradient calculated value Ia calculated in STEP 53 of FIG. 6, and inputs the time-series time Ts (for example, 1 second) in STEP 72.
  • e1 parallax time series data (theoretical parallax time series data)
  • e2 is a parallax gradient (theoretical parallax gradient).
  • the first distance calculating means 25 is the time series time Ts (for example, 1 second) from STEP 73 to 5 seconds after the 5 seconds in FIG. ) And setting (for example, 4 to 5 seconds, 3.5 to 4.5 seconds, 3.0 to 4.0 seconds, 2.5 to 3.5 seconds,...) Based on the speed VCAR and the sampling period Tw, theoretical time-series data of parallax at Tw is created.
  • the first distance calculation means 25 then calculates the theoretical value It of the parallax gradient from the theoretical time-series data of the parallax in each sampling period Tw in STEP 75, and the calculated value Ia of the parallax gradient is theoretically calculated in STEP 76. It is determined whether or not the value It is greater than or equal to it.
  • the first distance calculating means 25 acquires the parallax dx_t corresponding to the parallax gradient theoretical value It calculated last in the loop of STEP 73 to STEP 76.
  • the calculated value Ia of the parallax gradient is 150, as shown in FIG. 5B, the sampling period Tw (2.5-3.3.) In which the calculated value Ia of the parallax gradient is equal to or greater than the theoretical value It.
  • the disparity 9.0 of theoretical time-series data at 3.0 seconds which is an intermediate value of 5 seconds) is acquired.
  • the first distance calculation means 25 calculates the distance between the vehicle and the object by substituting the parallax 9.0 into dx in the above equation (1) in the following STEP78.
  • FIG. 10A and FIG. 10B show the distribution of disparity time-series data, with the vertical axis set to parallax and the horizontal axis set to time. ) Obtains a straight line Sa from nine parallax calculation data in the sampling period from t 11 to t 13 .
  • S2 represents a straight line with a distance set to 180 m, and Sn represents a straight line with a distance set to 100 m.
  • the first distance calculating means 25 calculates straight lines having the same gradient as that of the straight line Sa created from the parallax time-series data, from S1 to S1 in FIG. It is possible to select from the straight line of Sn and obtain the set distance of the selected straight line as the distance between the vehicle 10 and the object.
  • FIG. 11 shows correlation maps M 1, M 2, M 3, the parallax gradient and the distance between the objects for each traveling speed of the vehicle 10 (70 km / h, 95 km / h, 100 km / h in FIG. 11). ... are prepared in advance.
  • the first distance calculation unit 25 obtains the distance between the vehicle 10 and the object by applying the parallax gradient calculated from the parallax time-series data to the correlation map selected according to the traveling speed of the vehicle 10. Can do.
  • the first distance calculating means 25 selects the correlation map M1 in FIG. By applying the parallax gradient Ia, the distance Z1 between the vehicle 10 and the object can be obtained.
  • the distance reliability determination unit 27 includes the distance Z1 between the vehicle 10 and the object calculated by the first distance calculation unit 25 using the parallax gradient, and the second distance.
  • the calculation means 26 compares the distance Z2 between the vehicle 10 and the object calculated by the above equation (1) using, for example, an intermediate value of parallax time-series data, and determines the reliability of Z1.
  • the reliability of Z1 may be determined by other methods. Hereinafter, another method for determining the reliability of Z1 by the distance reliability determination means 27 will be described.
  • the distance reliability determination unit 27 calculates the vehicle 10 calculated by the first distance calculation unit 25 using the parallax gradient in the following equation (4), which is an inverse calculation equation of the above equation (1), in STEP 55 of FIG. And the estimated parallax dx ′ corresponding to the distance Z1 and the parallax dx calculated by the parallax calculating means 22 are compared.
  • dx ′ estimated parallax
  • f focal length of the infrared cameras 2R, 2L
  • p pixel pitch of the infrared cameras 2R, 2L
  • D baseline length of the infrared cameras 2R, 2L
  • Z1 first distance calculation means 25 The distance between the object calculated by the above and the vehicle 10.
  • the distance reliability determination unit 27 determines that the difference between the parallax dx and the estimated parallax dx ′ is within the second predetermined range (a range unique to the vehicle 10 that varies depending on the mounting accuracy of the infrared cameras 2R and 2L, the vibration of the vehicle, and the like). When it is out of the range, it is determined that the parallax offset ⁇ is large and the reliability of Z1 is low.
  • the second predetermined range a range unique to the vehicle 10 that varies depending on the mounting accuracy of the infrared cameras 2R and 2L, the vibration of the vehicle, and the like.
  • the distance reliability determination unit 27 branches from STEP 56 to STEP 60.
  • the process proceeds from STEP 56 to STEP 57. In this case, the contact determination process after STEP 11 in FIG.
  • two infrared cameras 2R and 2L are provided, and the distance between the vehicle 10 and the object is calculated using the parallax of the image portion of the same object between the right image and the left image.
  • the rate of change in the size of the image portion of the same object between time-series images captured by a single camera is used.
  • the present invention can also be applied when calculating the distance to an object.
  • the sampling period of two images for calculating the rate of change in the size of the image portion of the same object is set to a shorter time as the vehicle speed is lower.
  • the sampling period in the current control cycle may be set to a shorter time as the distance between the object and the vehicle calculated in the previous control cycle is shorter.
  • the current control cycle is calculated using the distance between the object and the vehicle calculated in the previous control cycle, the vehicle speed, and the elapsed time from the calculation of the distance between the object and the vehicle in the control cycle.
  • the estimated distance between the target object and the vehicle in (2) may be calculated, and the sampling period of the two images in the current control period may be set to a shorter time as the estimated distance is shorter.
  • the configuration in which the front of the vehicle is imaged is shown.
  • the possibility of contact with the object may be determined by imaging other directions such as the rear and side of the vehicle. .
  • the infrared cameras 2R and 2L are used as the imaging means of the present invention, but a visible camera that captures a visible image may be used.
  • the vehicle periphery monitoring device of the present invention when the distance between the object and the vehicle is calculated based on the time-series image of the object, the delay of the distance calculation timing is suppressed. This is useful for monitoring around the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

　所定のサンプリング期間内の異なる時点で赤外線カメラ２Ｒ，２Ｌにより撮像された複数の画像間における、同一対象物の画像部分の視差勾配を用いて、車両１０と対象物間の距離を算出する第１の距離算出手段２５と、車両１０の車速を検出する車速センサ４と、車両１０の車速が高いほど、サンプリング期間を短い時間に設定するサンプリング期間設定手段２３とを備える。

Description

車両周辺監視装置
　本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、前記車両の周辺を監視する車両周辺監視装置に関する。
　従来より、例えば、車両に搭載された１台のカメラにより撮像された時系列画像から、同一の対象物の画像部分の大きさの変化率を算出し、この変化率から対象物と車両との距離を算出するようにした車両周辺監視装置が知られている（例えば、特開２００７－２１３５６１号公報参照）。
　上述した特開２００７－２１３５６１号公報には、対象物の画像部分の変化率の算出に用いる画像のサンプリング期間の具体的な設定については記載されていない。そして、対象物の時系列画像を用いて距離を算出する場合に、時系列画像のサンプリング期間を一定にすると、車両と対象物間の距離が長いほど対象物の画像の大きさの変化率が小さくなるため、車両から遠い対象物ほど距離の算出精度が低くなる。
　そのため、車両から所定距離以内の範囲を検出領域として、対象物（歩行者、自転車、大型動物等）を検出する場合、この検出領域内において最も遠い位置に存在する対象物にと車両間の距離の算出精度を確保するためには、時系列画像のサンプリング期間をある程度長い時間に設定する必要がある。
　そして、このように、遠距離に存在する対象物を基準として時系列画像のサンプリング期間を一定時間に設定した場合、近距離に存在する対象物との距離を算出するときには、サンプリング期間が必要以上に長くなる。そのため、近距離に存在する対象物と車両との距離の算出タイミングが遅れるおそれがある。
　そこで、本発明は、対象物の時系列画像に基づいて対象物と車両との距離を算出する場合に、距離算出のタイミングの遅れが生じることを抑制した車両周辺監視装置を提供することを目的とする。
　本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
　そして、本発明の第１の態様は、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前記車両の車速を検出する車速検出手段と、前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
　かかる本発明によれば、前記サンプリング期間設定手段により、前記車両の車速が低いほど前記サンプリング期間を短い時間に設定することによって、高速道路を走行している場合のように前記車両の車速が高く、遠方の対象物を検知する必要があるときは、前記サンプリング期間を長く設定して前記車両と対象物間の距離の算出精度を維持することができる。また、市街地の狭い道路を走行している場合のように前記車両の車速が低く、近くの対象物を検知する必要があるときには、前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
　また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
　かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
　また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
　かかる本発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
　次に、本発明の第２の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
　かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときは前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
　次に本発明の第３の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
　かかる発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
本発明の車両周囲監視装置の構成図。 図１に示した車両周囲監視装置の車両への取り付け態様の説明図。 図１に示した画像処理ユニットにおける処理手順を示したフローチャート。 対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。 視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。 サンプリング期間の設定する処理のフローチャート。 サンプリング期間の設定方法の説明図。 視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。 視差勾配に基づいて、対象物との距離を求める処理のフローチャート。 視差勾配に基づいて対象物との距離を求める処理の説明図。 視差勾配に基づいて対象物との距離を求める処理の説明図。
　本発明の実施の形態について、図１～１１を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の車速検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
　図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
　また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
　そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により同一の対象物についての視差の時系列データを算出するための、第１画像及び第２画像を取得するサンプリング期間を設定するサンプリング期間設定手段２３、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配を算出する視差勾配算出手段２４、視差勾配に基づいて対象物と車両１０との距離を算出する第１の距離算出手段２５、１つの視差のデータに基いて対象物と車両１０との距離を算出する第２の距離算出手段２６、第１の距離算出手段２５により算出された距離の信頼性を判定する距離信頼性判定手段２７、及び、車両１０と対象物との接触可能性を判定する接触判定手段２８として機能する。
　次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。画像処理ユニット１は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して車両１０の周辺を監視する。
　画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
　なお、ＳＴＥＰ１～ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
　続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４～ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
　次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば特開２００１－６０９６号公報等に記載された一般的なものであるため、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８～ＳＴＥＰ９と、ＳＴＥＰ２０～ＳＴＥＰ２２を平行して実行する。
　ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
　また、ＳＴＥＰ２０～ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａを抽出する。
　続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
　ＳＴＥＰ１０で、画像処理ユニット１は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と、車両１０との距離を算出する「距離算出処理」を実行する。「距離算出処理」については、後述する。
　続くＳＴＥＰ１１～ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２８による処理である。ＳＴＥＰ１１で、接触判定手段２８は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
　次のＳＴＥＰ１２で、接触判定手段２８は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２８は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
　なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１－６０９６号公報に詳説されているので、ここでは説明を省略する。
　次に、ＳＴＥＰ１４で、接触判定手段２８は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
　画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。
　なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１－６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。
　次に、図５～図１１を参照して、図３のＳＴＥＰ１０における「距離算出処理」について説明する。図４に示したように、実空間上の同一の対象物について、右画像から探索画像３０ａが抽出されると共に、左画像３１から対応画像３１ａが抽出されて、視差ｄｘが算出された場合、対象物と車両１０間の距離Ｚは、基本的には以下の式（１）により算出することができる。
Figure JPOXMLDOC01-appb-M000001
　但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
　しかし、実際には、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（１）により算出した距離（算出距離）との間に誤差が生じる。
　このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
Figure JPOXMLDOC01-appb-M000002
　そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、算出距離を用いた接触判定手段２８による対象物と車両１０との接触可能性の判定精度が低下するという不都合が生じる。
　ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝－２（pixel）のとき、ｄ3は視差オフセットα＝－４（pixel）のときを示している。
　図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝－２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝－４（pixel）があると距離の算出値は３２２ｍとなる。
　しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
　なお、右画像及び左画像から得られる同一の対象物の画像部分の視差は、本発明における同一対象物の画像部分の所定要素に相当する。また、視差の時系列データから算出される視差勾配は、本発明における所定要素の変化度合いに相当する。
　次に、サンプリング期間設定手段２３は、図６に示したフローチャートに従って、視差勾配を算出する際に用いる視差の時系列データを取得するサンプリング期間を設定する。サンプリング期間設定手段２３は、ＳＴＥＰ９０で前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているか否かを判断する。
　ここで、画像処理ユニット１は、車両１０の走行時に図３に示したフローチャートによる周辺の監視処理を行うため、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリに保持されているのは、車両１０が走行している時となる。
　ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているときはＳＴＥＰ９１に進む。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARと、前回の制御周期における距離Ｌ(n-1)の算出時から現時点までの経過時間Δｔを取得する。
　続くＳＴＥＰ９２で、サンプリング期間設定手段２３は、以下の式（３）により今回の制御周期における対象物と車両１０との推定距離Ｌeを算出する。
Figure JPOXMLDOC01-appb-M000003
　但し、Ｌe：今回の制御周期における対象物と車両１０との推定距離、Ｌ(n-1)：前回の制御周期における対象物と車両１０との算出距離、ＶCAR：車両１０の車速、Δｔ：前回の制御周期における対象物と車両１０との距離の算出時から現時点までの経過時間。
　そして、サンプリング期間設定手段２３は、図７（ａ）のａ1に示した、推定距離Ｌeとサンプリング期間Ｔwとの対応マップに、推定距離Ｌeを適用して得たサンプリング期間Ｔwを、今回の制御周期におけるサンプリング期間Ｔwとする。この場合、対象物と車両１０との距離が短いほど、サンプリング期間Ｔwが短い時間に設定される。
　この場合、対象物が車両１０に近付くに従ってサンプリング期間Ｔwが短く設定される。そのため、図７（ａ）のａ2に示したように、サンプリング期間Ｔwを遠距離の対象物の距離算出精度を維持するための一定時間とした場合と比べて、対象物と車両１０との距離を速やかに算出して、対象物を検知することができる。また、サンプリング期間Ｔwにおける撮像画像の数が少なくて済むため、距離を算出する際の画像処理ユニット１の処理負荷を軽減することができる。
　なお、本実施の形態では、上記式（３）により算出した対象物と車両１０との推定距離Ｌeを用いて、Ｌeが短いほどサンプリング期間Ｔwを短い時間に設定したが、前回の制御周期における対象物と車両１０との算出距離Ｌ(n-1)を用いて、Ｌ(n-1)が短いほどサンプリングＴwを短い時間に設定するようにしてもよい。
　また、推定距離Ｌeや算出距離Ｌ(n-1)には誤差が含まれるため、この誤差を考慮して、図７（ａ）のａ3に示したように、サンプリング期間Ｔwを階段状に設定するようにしてもよい。
　また、図７（ｂ）に示したように、推定距離Ｌeが短いほど小さくなる係数ｋ1（０＜ｋ≦１）を設定し、対象物と車両との距離が長いときを想定して予め設定したサンプリング期間の初期値に、この係数ｋ1を乗じて今回の制御周期におけるサンプリング期間Ｔwを設定するようにしてもよい。
　一方、ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されていないときには、ＳＴＥＰ１００に分岐する。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARを取得する。
　続くＳＴＥＰ１０１で、サンプリング期間設定手段２３は、図７（ｃ）のｂ1に示した、車速ＶCARとサンプリング期間Ｔwとの対応マップに、車速ＶCARを適用して得たサンプリング期間Ｔwを、今回の制御期間におけるサンプリング期間Ｔwとする。この場合、車両１０の車速が低いほど、サンプリング期間Ｔwが短い時間に設定される。
　この場合、車速が低くなる場合として、市街地の狭い道路を走行しているような状況が想定されるが、この場合には脇道からの歩行者が飛び出すおそれがある。そこで、車速が遅いほどサンプリング期間Ｔwを短い時間に設定することにより、このような歩行者との距離を算出するまでの時間を短くして、歩行者の検知の遅れが生じることを抑制することができる。
　そして、サンプリング期間設定手段２３は、ＳＴＥＰ９３で、ＳＴＥＰ９２又はＳＴＥＰ１０１で設定されたサンプリング期間Ｔw以上の期間における時系列画像が得られるのを待ってＳＴＥＰ９４に進む。ＳＴＥＰ９４は第１の距離算出手段２５による処理であり、第１の距離算出手段２５は、ＳＴＥＰ９４で視差勾配を用いて対象物と車両１０との距離を算出し、ＳＴＥＰ９５に進んで図３のフローチャートに戻る。
　次に、図８に示したフローチャートに従って、図６のＳＴＥＰ９４における第１の距離算出手段２５による処理について説明する。
　第１の距離算出手段２５は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
　また、ＳＴＥＰ５１で、第１の距離算出手段２５は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ６０に分岐し、今回の視差の時系列データに基く接触判定手段２８による処理が禁止される。
　ＳＴＥＰ５３で、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離を推定する。ＳＴＥＰ５４の距離推定処理の詳細については、後述する。
　続くＳＴＥＰ５５は、距離信頼性判定手段２７による処理である。距離信頼性判定手段２７は、視差勾配を用いて、第１の距離算出手段２５により算出された車両１０と対象物との距離Ｚ1と、例えば視差の時系列データの中間値を用いて、第２の距離算出手段２６により上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較する。
　そして、距離信頼性判定手段２７は、Ｚ1とのＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が高いと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
　次に、図９を参照して、図８のＳＴＥＰ５４における第１の距離算出手段２５による「距離推定処理」について説明する。第１の距離算出手段２５は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第１の距離算出手段２５は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間Ｔs（例えば、１秒）を入力する。
　そして、第１の距離算出手段２５は、ＳＴＥＰ７３～ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
　第１の距離算出手段２５は、ＳＴＥＰ７３～ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、時系列時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４～５秒、３．５～４．５秒、３．０～４．０秒、２．５～３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
　そして、第１の距離算出手段２５は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
　そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
　ＳＴＥＰ７７で、第１の距離算出手段２５は、ＳＴＥＰ７３～ＳＴＥＰ７６のループで最後に算出した視差勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５～３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
　そして、第１の距離算出手段２５は、続くＳＴＥＰ７８で、視差９．０を上記式（１）のｄｘに代入して車両と対象物との距離を算出する。
　次に、図１０～図１１を参照して、視差勾配から車両と対象物との距離を推定する処理の他の実施形態について説明する。
　先ず、図１０（ａ）及び図１０（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図１０（ａ）はｔ11～ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
　また、図１０（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
　そして、第１の距離算出手段２５は、図１０（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図１０（ｂ）のＳ1～Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
　次に、図１１は、車両１０の走行速度毎（図１１では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第１の距離算出手段２５は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離を求めることができる。
　例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２５は、図１１の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚ1を得ることができる。
　また、上述した実施の形態においては、距離信頼性判定手段２７は、第１の距離算出手段２５により、視差勾配を用いて算出された車両１０と対象物との距離Ｚ1と、第２の距離算出手段２６により、例えば視差の時系列データの中間値を用いて上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較して、Ｚ1の信頼性を判断したが、他の手法によりＺ1の信頼性を判断してもよい。以下では、距離信頼性判定手段２７によるＺ1の信頼性の判断の他の手法について説明する。
　距離信頼性判定手段２７は、図８のＳＴＥＰ５５において、上記式（１）の逆算式である以下の式（４）に、第１の距離算出手段２５により視差勾配を用いて算出された車両１０との距離Ｚ1を代入して算出される、距離Ｚ1に対応する推定視差ｄｘ'と、視差算出手段２２により算出された視差ｄｘとを比較する。
Figure JPOXMLDOC01-appb-M000004
　但し、ｄｘ'：推定視差、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｚ1：第１の距離算出手段２５により算出された対象物と車両１０との距離。
　そして、距離信頼性判定手段２７は、視差ｄｘと推定視差ｄｘ'との差が第２の所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。
　距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
　なお、本実施の形態では、２台の赤外線カメラ２Ｒ，２Ｌを備え、右画像と左画像間の同一対象物の画像部分の視差を用いて、車両１０と対象物との距離を算出したが、例えば、特開２００７－２１３５６１号公報に記載されているように、１台のカメラにより撮像された時系列画像間における同一対象物の画像部分の大きさの変化率を用いて、車両と対象物との距離を算出する場合にも、本発明の適用が可能である。
　この場合には、同一対象物の画像部分の大きさの変化率を算出するための２つの画像のサンプリング周期（２つの画像の撮像時点間の時間）を、車速が低いほど短い時間に設定するか、或いは、前回の制御周期で算出された対象物と車両間の距離が短いほど今回の制御周期におけるサンプリング期間を短い時間に設定すればよい。また、前回の制御周期で算出された対象物と車両間の距離と、車速と、前記の制御周期における対象物と車両間の距離の算出時からの経過時間とを用いて、今回の制御周期における対象物と車両との推定距離を算出し、この推定距離が短いほど今回の制御周期における２つの画像のサンプリング周期を短い時間に設定するようにしてもよい。
　なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
　また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
　以上のように、本発明の車両周辺監視装置によれば、対象物の時系列画像に基づいて対象物と車両との距離を算出する場合に、距離算出のタイミングの遅れが生じることを抑制することができるから、車両周辺の監視を行うために有用である。

Claims (5)

  1. 　車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    　所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
    　前記車両の車速を検出する車速検出手段と、
    　前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
  2. 　請求項１記載の車両周辺監視装置において、
    　前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
    　前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
  3. 　請求項１記載の車両周辺監視装置において、
    　前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
    　前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
  4. 　車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    　所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
    　前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
  5. 　車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    　所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
    　前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
PCT/JP2010/050313 2009-04-28 2010-01-14 車両周辺監視装置 WO2010125833A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080019133.3A CN102422333B (zh) 2009-04-28 2010-01-14 车辆周围监测装置
US13/265,598 US8401715B2 (en) 2009-04-28 2010-01-14 Vehicle periphery monitoring device
EP10769533A EP2413304A4 (en) 2009-04-28 2010-01-14 DEVICE FOR MONITORING THE ZONE AROUND A VEHICLE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009109080A JP4733756B2 (ja) 2009-04-28 2009-04-28 車両周辺監視装置
JP2009-109080 2009-04-28

Publications (1)

Publication Number Publication Date
WO2010125833A1 true WO2010125833A1 (ja) 2010-11-04

Family

ID=43031989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/050313 WO2010125833A1 (ja) 2009-04-28 2010-01-14 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8401715B2 (ja)
EP (1) EP2413304A4 (ja)
JP (1) JP4733756B2 (ja)
CN (1) CN102422333B (ja)
WO (1) WO2010125833A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP5547144B2 (ja) * 2011-09-08 2014-07-09 株式会社東芝 監視装置、その方法、及び、そのプログラム
EP2711912A4 (en) * 2011-09-28 2015-04-22 Honda Motor Co Ltd BIOMETRIC DEVICE
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置
JP5502149B2 (ja) * 2012-06-29 2014-05-28 本田技研工業株式会社 車両周辺監視装置
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP5790627B2 (ja) * 2012-12-03 2015-10-07 株式会社デンソー 物標検出装置
WO2014177756A1 (en) * 2013-05-03 2014-11-06 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in images
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
US20150122560A1 (en) * 2013-11-06 2015-05-07 King Fahd University Of Petroleum And Minerals Multi-car trackless transportation system
US9091558B2 (en) * 2013-12-23 2015-07-28 Automotive Research & Testing Center Autonomous driver assistance system and autonomous driving method thereof
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
US11354881B2 (en) * 2015-07-27 2022-06-07 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
US10126722B2 (en) 2016-08-01 2018-11-13 Qualcomm Incorporated System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
CN108039065B (zh) * 2017-12-25 2020-10-09 重庆冀繁科技发展有限公司 车辆运行安全监控方法
CN108091178B (zh) * 2017-12-25 2020-10-09 重庆冀繁科技发展有限公司 基于车联网的车辆防碰撞系统
CN108091139A (zh) * 2018-01-23 2018-05-29 余绍志 一种基于大数据的交通安全自动评估系统
US11276159B1 (en) 2018-05-15 2022-03-15 United Launch Alliance, L.L.C. System and method for rocket engine health monitoring using digital image correlation (DIC)
CN108858186B (zh) * 2018-05-30 2021-05-07 南昌大学 一种小车对红外物体检测、识别及跟踪方法
JP7187291B2 (ja) * 2018-12-14 2022-12-12 株式会社小糸製作所 赤外線カメラシステム及び車両
WO2020194421A1 (ja) 2019-03-25 2020-10-01 日本電気株式会社 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体
JP7281760B2 (ja) * 2020-05-14 2023-05-26 国立大学法人 東京大学 計測システム、車両、計測装置、計測プログラム及び計測方法
JP7456614B2 (ja) 2020-06-22 2024-03-27 株式会社富士機械工作所 金属円筒管の矯正方法及び矯正装置
JP7380449B2 (ja) * 2020-06-30 2023-11-15 トヨタ自動車株式会社 判定装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007213561A (ja) 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223083B1 (en) * 1999-09-20 2004-03-17 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
JP2001141813A (ja) * 1999-11-16 2001-05-25 Mitsubishi Electric Corp 車両周辺監視装置
US6636148B2 (en) * 2000-09-04 2003-10-21 Fujitsu Ten Limited Periphery monitoring system
DE10323144A1 (de) * 2003-05-22 2004-12-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Objekten in der Umgebung eines Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007213561A (ja) 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2413304A4

Also Published As

Publication number Publication date
JP2010257377A (ja) 2010-11-11
EP2413304A1 (en) 2012-02-01
US8401715B2 (en) 2013-03-19
JP4733756B2 (ja) 2011-07-27
US20120041617A1 (en) 2012-02-16
CN102422333A (zh) 2012-04-18
EP2413304A4 (en) 2012-10-24
CN102422333B (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
JP4733756B2 (ja) 車両周辺監視装置
JP4631096B2 (ja) 車両周辺監視装置
JP4815488B2 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
US8766816B2 (en) System for monitoring the area around a vehicle
WO2010047054A1 (ja) 車両の周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP2007334751A (ja) 車両周辺監視装置
JP4644273B2 (ja) 車両周辺監視装置
JP4864953B2 (ja) 車両周辺監視装置
JP5004923B2 (ja) 車両の運転支援装置
JP4704998B2 (ja) 画像処理装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP6087240B2 (ja) 車両周辺監視装置
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
JP4872943B2 (ja) 解析装置
JP4975776B2 (ja) 車両周辺監視装置
JP5430633B2 (ja) 車両周辺監視装置
JP5399887B2 (ja) 車両周辺監視装置
JP5383246B2 (ja) 車両の周辺監視装置
JP4358183B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080019133.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10769533

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13265598

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010769533

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE