WO2006123615A1 - 距離計測装置、距離計測方法および距離計測プログラム - Google Patents

距離計測装置、距離計測方法および距離計測プログラム Download PDF

Info

Publication number
WO2006123615A1
WO2006123615A1 PCT/JP2006/309664 JP2006309664W WO2006123615A1 WO 2006123615 A1 WO2006123615 A1 WO 2006123615A1 JP 2006309664 W JP2006309664 W JP 2006309664W WO 2006123615 A1 WO2006123615 A1 WO 2006123615A1
Authority
WO
WIPO (PCT)
Prior art keywords
calculation
distance
detection
unit
information
Prior art date
Application number
PCT/JP2006/309664
Other languages
English (en)
French (fr)
Inventor
Hidekazu Iwaki
Akio Kosaka
Takashi Miyoshi
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005147231A external-priority patent/JP2006322856A/ja
Priority claimed from JP2005147175A external-priority patent/JP2006322853A/ja
Priority claimed from JP2005147232A external-priority patent/JP2006323693A/ja
Priority claimed from JP2005147174A external-priority patent/JP2006322852A/ja
Priority claimed from JP2005209087A external-priority patent/JP2007024731A/ja
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP06732595A priority Critical patent/EP1887382A1/en
Publication of WO2006123615A1 publication Critical patent/WO2006123615A1/ja
Priority to US11/985,991 priority patent/US7656508B2/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Definitions

  • the present invention relates to a distance measuring device, a distance measuring method, and a distance measuring program for measuring a distance to an object.
  • a distance measuring device that measures an inter-vehicle distance between the host vehicle and a preceding vehicle and performs various processes such as alarm output based on the measured inter-vehicle distance.
  • a distance measuring device including a radar has been proposed (see Patent Document 1).
  • This radar distance measuring device emits a transmitted wave such as a laser beam in the forward direction and detects the reflected wave from an obstacle such as a preceding vehicle. The distance is detected.
  • Patent Document 1 Japanese Utility Model Publication No. 63-43172
  • the conventional radar distance measurement device can only acquire sparse distance information with a wide interval between detection points, and various processing such as alarm output is performed based on this distance information. If done, the accuracy may be lacking.
  • the present invention has been made in view of the above-described drawbacks of the prior art, and provides a distance measuring device that can acquire dense distance information compared to a distance measuring device including a radar.
  • the purpose is to do.
  • the present invention provides a detection means for detecting a distance to an object located within a predetermined detection range, and an image signal group corresponding to a predetermined imaging field of view.
  • the present invention is characterized in that the interpolation means interpolates the calculation value of the calculation means between detection values of the detection means.
  • the present invention further includes a calculation range setting unit that obtains a predetermined function that passes between the detected values, and sets a region through which the predetermined function passes as a calculation range in the calculation unit, wherein the calculation unit includes: An image signal having a predetermined condition is detected from the image signal group corresponding to the calculation range, and a distance to an object located in the imaging field is calculated.
  • the present invention is characterized in that the predetermined function is a linear function.
  • the present invention further includes a calculation range setting unit that sequentially sets a calculation range in the calculation unit based on the detection value or the calculation value located in the vicinity of an image signal to be calculated,
  • the calculating means detects an image signal having a predetermined condition from the image signal group corresponding to the calculation range and calculates a distance to an object located in the imaging field.
  • the interpolation means detects the detection result force non-detection point of the detection means force, and uses the detection result obtained by supplementing the non-detection point with the calculation value in the calculation means as distance information. It is characterized by outputting.
  • the interpolation means instructs the calculation means to calculate the distance of the region corresponding to the non-detection point, and the calculation means is based on the calculation instruction of the complement means It is characterized by performing a distance calculation.
  • the present invention further includes reliability acquisition means for acquiring the reliability of the calculation value obtained by the calculation means, and the interpolation means satisfies the evaluation criteria, wherein the reliability acquired by the reliability acquisition means satisfies an evaluation criterion.
  • distance information is output by replacing the calculated value with the detected value of the detecting means corresponding to the calculated value.
  • the interpolation unit sets a range corresponding to the calculation value whose reliability does not satisfy the evaluation criterion as a detection range of the detection unit, and
  • the stage detects a distance to an object located within the detection range.
  • the interpolation unit includes a detection range information obtained by interpolating between detection values of the detection unit with a calculation value of the calculation unit, and the calculation value corresponding to outside the detection range.
  • the distance information combining the out-of-range information is generated.
  • the present invention is characterized in that the interpolation means generates the distance information by using the previous out-of-detection range information until the completion of acquisition of the out-of-detection range information being currently processed.
  • the present invention is characterized in that the interpolation means acquires the in-detection range information while the detection means acquires the detection value.
  • the present invention further includes detection range search means for searching for a detection range of the detection means, and the interpolation means includes the information within the detection range and the detection range based on a search result of the detection range search means. External information is acquired.
  • the present invention further includes a contour generation means for generating contour information indicating the contour of the object in the imaging field based on the detection value in the detection means and the calculation value in the calculation means.
  • the present invention provides a determination unit that determines whether the contour information generated by the contour generation unit is compatible with other contour information indicating the contour obtained based on the image signal group. And the contour generation means outputs the contour information determined to be compatible with the determination means.
  • the imaging means includes a first image signal group imaged via a first optical path, and a second image signal group imaged via a second optical path.
  • the arithmetic unit detects an image signal matching the arbitrary image signal of the first image signal group from the second image signal group, and the arbitrary image in the detected image signal is detected.
  • a distance to an object located in the imaging field of view is calculated based on a movement amount from the signal.
  • the present invention is characterized in that the imaging means includes a pair of optical systems and a pair of imaging elements that convert optical signals output from the pair of optical systems into electric signals.
  • the imaging means corresponds to a pair of light guide optical systems and each light guide optical system. And an imaging device that converts an optical signal guided by each light guide optical system into an electrical signal in each imaging region.
  • the present invention is characterized in that the distance measuring device is mounted on a vehicle.
  • the present invention provides a detection step for detecting a distance to an object located within a predetermined detection range, an imaging step for generating an image signal group corresponding to a predetermined imaging field, and the image signal group A calculation step for calculating a distance to an object located in the imaging field based on the calculation step, and using the calculation result in the calculation step to interpolate the detection result in the detection step, or using the detection result in the detection step And an interpolation step for interpolating the calculation result in the calculation step.
  • the present invention also provides a detection procedure for detecting a distance to an object located within a predetermined detection range, an imaging procedure for generating an image signal group corresponding to a predetermined imaging field, and the image signal.
  • the distance measuring device, the distance measuring method, and the distance measuring program according to the present invention can acquire detailed distance information by including an interpolation unit, and perform various safe driving support processes based on the distance information. There is an effect that it can be performed accurately.
  • FIG. 1 is a block diagram of a schematic configuration of a distance measuring apparatus according to a first embodiment.
  • FIG. 2 is a flowchart showing a processing procedure until output of distance information is completed in the distance measuring apparatus shown in FIG.
  • FIG. 3 is a diagram for explaining a detectable range of the radar shown in FIG. 1.
  • FIG. 4 is a diagram for explaining the calculation range setting process shown in FIG. 2.
  • FIG. 5 is a diagram for explaining a distance calculation process performed by the distance calculation unit shown in FIG. 1.
  • FIG. 6 is a diagram for explaining a distance calculation process performed by the distance calculation unit shown in FIG. 1.
  • FIG. 7 is a diagram for explaining the interpolation processing shown in FIG.
  • FIG. 8 is a diagram showing an example of the distance information shown in FIG.
  • FIG. 9 is a diagram for explaining a distance calculation process performed by a distance calculation unit in a conventional distance measuring device.
  • FIG. 10 is a diagram for explaining the calculation range setting process shown in FIG. 2.
  • FIG. 11 is a diagram for explaining the calculation range setting process shown in FIG. 2.
  • FIG. 12 is a block diagram of a schematic configuration of the distance measuring apparatus according to the second embodiment.
  • FIG. 13 is a flowchart showing a processing procedure until the output of distance information is completed in the distance measuring apparatus shown in FIG.
  • FIG. 14 is a flowchart of a process procedure of the complement process shown in FIG.
  • FIG. 15 is a diagram showing an example of detection information shown in FIG.
  • FIG. 16 is a diagram for explaining distance calculation processing performed by the distance calculation unit shown in FIG.
  • FIG. 17 is a diagram illustrating a complementing process performed by the complementing unit shown in FIG.
  • FIG. 18 is a diagram illustrating an example of an image captured by the imaging unit illustrated in FIG.
  • FIG. 19 is a diagram illustrating an example of an image captured by the imaging unit illustrated in FIG.
  • FIG. 20 is a block diagram of a schematic configuration of the distance measuring apparatus according to the third embodiment.
  • FIG. 21 is a flowchart showing a processing procedure until output of distance information is completed in the distance measuring apparatus shown in FIG.
  • FIG. 22 is a diagram for explaining the distance calculation process shown in FIG. 21.
  • FIG. 23 is a diagram for explaining the reliability acquisition process shown in FIG. 21.
  • FIG. 24 is a diagram showing an example of calculation information shown in FIG.
  • FIG. 25 is a diagram showing an example of reliability information shown in FIG.
  • FIG. 26 is a diagram for explaining the detectable range of the radar shown in FIG.
  • FIG. 27 is a diagram for explaining processing of the interpolation unit shown in FIG.
  • FIG. 28 is a diagram for explaining the reliability acquisition process shown in FIG. 21.
  • FIG. 29 is a diagram showing an example of a group of image signals output from the imaging unit 10 shown in FIG.
  • FIG. 30 is a block diagram of a schematic configuration of the distance measuring apparatus according to the fourth embodiment.
  • FIG. 31 is a flowchart showing a processing procedure until output of distance information is completed in the distance measuring apparatus shown in FIG. 30.
  • FIG. 32 is a flowchart showing the processing procedure of the calculation range setting processing shown in FIG.
  • FIG. 33 is a diagram for explaining the calculation range setting process shown in FIG. 32.
  • FIG. 34 is a flowchart showing the processing procedure of the interpolation processing shown in FIG. 31.
  • FIG. 35 is a diagram for explaining the interpolation processing shown in FIG. 31.
  • FIG. 36 is a diagram for explaining the interpolation processing shown in FIG. 31.
  • FIG. 37 is a diagram for explaining the distance information shown in FIG. 30.
  • FIG. 38 is a diagram illustrating an example of an image captured by the imaging unit illustrated in FIG. 30.
  • FIG. 39 is a block diagram of a schematic configuration of the distance measuring apparatus according to the fifth embodiment.
  • FIG. 40 is a flowchart showing a processing procedure until output of distance information is completed in the distance measuring device shown in FIG. 39.
  • FIG. 41 is a flowchart of a process procedure of a detection range search process shown in FIG. 40.
  • FIG. 42 is a flowchart of a process procedure of a calculation range setting process shown in FIG.
  • FIG. 43 is a diagram for explaining the calculation range setting process shown in FIG. 40.
  • FIG. 44 is a diagram for explaining the calculation range setting process shown in FIG. 40.
  • FIG. 45 is a block diagram of a schematic configuration of a processing apparatus according to the sixth embodiment.
  • FIG. 46 is a flowchart showing a processing procedure until the output of the contour information is completed in the processing device shown in FIG.
  • FIG. 47 is a diagram showing an example of detection information output from the radar shown in FIG. 45.
  • FIG. 48 is a diagram showing an example of distance information shown in FIG. 45.
  • FIG. 49 is a flowchart showing the processing procedure of the contour generation processing shown in FIG. 46.
  • FIG. 50 is a diagram showing an example of distance information shown in FIG. 45.
  • FIG. 51 is a diagram for explaining the contour generation process shown in FIG. 46.
  • FIG. 52 is a flowchart showing a processing procedure for the determination processing shown in FIG. 49.
  • FIG. 53 is a diagram for explaining the determination processing shown in FIG. 49.
  • FIG. 54 is a diagram for explaining the contour information shown in FIG. 45.
  • FIG. 55 is a diagram for explaining the contour generation processing shown in FIG. 46.
  • FIG. 56 is a block diagram showing another example of a schematic configuration of the imaging unit shown in FIG. 1.
  • FIG. 57 is a diagram showing an example of an image output from the imaging unit shown in FIG. 56. Explanation of symbols
  • FIG. 1 is a block diagram of a schematic configuration of the distance measuring apparatus according to the first embodiment.
  • the distance measuring apparatus 1 has an imaging field including at least a detection range of the radar 60, and generates an image signal group corresponding to the imaging field.
  • the image processing unit 10, the distance calculation unit 20 that calculates the distance to the object located in the imaging field based on the image signal group generated by the imaging unit 10, and each process of each component that constitutes the distance measuring device
  • a control unit 30 that controls each operation and an output that outputs various information including distance information.
  • the imaging unit 10, the distance calculation unit 20, the output unit 40, the storage unit 50, and the radar 60 are electrically connected to the control unit 30.
  • the control unit 30 includes an interpolation unit 31 having a calculation range setting unit 32.
  • the imaging unit 10 includes a right camera 11a and a left camera l ib.
  • the right camera 11a and the left camera 11b output image signal groups corresponding to respective imaging fields.
  • the right camera 11a and the left camera l ib include lenses 12a and 12b, image sensors 13a and 13b, analog Z digital (A / D) converters 14a and 14b, and frame memories 15a and 15b, respectively.
  • the lenses 12a and 12b collect light incident from a predetermined viewing angle.
  • the image sensors 13a and 13b arranged corresponding to the lenses 12a and 12b are realized by a CCD or a CMOS, and detect the light transmitted through the lenses 12a and 12b and convert it into an analog image signal.
  • the AZD converters 14a and 14b convert analog image signals output from the image sensors 13a and 13b into digital image signals.
  • the frame memories 15a and 15b store the digital image signals output from the AZD conversion units 14a and 14b, and output the digital image signal group corresponding to one captured image as the image signal group corresponding to the imaging field at any time. .
  • the distance calculation unit 20 processes the image signal group output from the imaging unit 10, and calculates a distance to an object located in the imaging field of view, and the image output from the imaging unit 10. And a memory 22 for storing signal groups.
  • the distance calculation unit 20 detects an image signal having a predetermined condition from the image signal group corresponding to the calculation range set by the calculation range setting unit 32, and calculates a distance to an object located in the imaging field of view. To do.
  • the computing unit 21 computes a distance to an object located in the imaging field based on the image signal group output from the imaging unit 10 using a stereo method.
  • the computing unit 21 detects an image signal that matches an arbitrary image signal in the left image signal group output from the left camera ib from the right image signal group output from the right camera 11a, and detects the detected image signal.
  • the distance is calculated by the principle of triangulation based on the amount of movement I of any image signal force in the image signal.
  • the movement amount described here indicates a parallax amount generally referred to.
  • the computing unit 21 obtains the distance R from the imaging unit 10 to the vehicle C, which is the target object, using the following equation (1).
  • the calculation unit 21 calculates a distance R corresponding to each image signal, and the distance calculation unit 20 outputs the calculated value and position information within the imaging field of view to the control unit 30 in association with each other.
  • the parallel stereo has been described here, but the optical axes intersect with each other at an angle, the focal length is different, the positional relationship between the image sensor and the lens is different, and so on. It is also possible to realize parallel stereo by arithmetic processing by correcting with Chillon.
  • the control unit 30 is realized by a CPU or the like that executes a processing program stored in the storage unit 50, and each process of the imaging unit 10, the distance calculation unit 20, the output unit 40, the storage unit 50, and the radar 60 or Control the behavior.
  • the control unit 30 performs predetermined input / output control on information input / output to / from each of these components, and performs predetermined information processing on the information.
  • the interpolation unit 31 calculates the calculation output from the calculation unit 20 between the detection values of the radar 60 based on the detection information 51 detected from the radar 60 and the calculation information 52 output from the distance calculation unit 20. Interpolate the value.
  • the interpolation unit 31 outputs the detection result obtained by interpolating the calculation value between the detection values of the radar 60 as distance information.
  • the interpolation unit 31 includes a calculation range setting unit 32 that sets a calculation range in the distance calculation unit 20 based on the detection information 51 of the radar 60.
  • the calculation range setting unit 32 obtains a predetermined function that passes between the detected values, and sets a region through which the predetermined function passes as a calculation range in the calculation unit 20.
  • the calculation range setting unit 32 obtains a linear function passing between the detected values and sets a region through which the linear function passes as a calculation range in the calculation unit 20.
  • the output unit 40 is realized by a liquid crystal display, an organic electoluminescence display, or the like, and displays and outputs various display information such as an image captured by the imaging unit 10 in addition to the distance information.
  • the output unit 40 further includes a speaker, and outputs various audio information such as a warning audio for notifying that the vehicle has approached the preceding vehicle C in addition to the distance information.
  • the storage unit 50 includes a ROM in which various types of information such as processing programs are stored in advance, It is equipped with a RAM for storing calculation parameters, various information output from various components, writing information, audio information, and the like.
  • the storage unit 50 stores detection information 51 output from the radar 60, calculation information 52 output from the distance calculation unit 20, and distance information 53 output from the interpolation unit 31.
  • the radar 60 transmits a predetermined transmitted wave, receives a reflected wave reflected by the surface of the object, and reflects the transmitted wave from the radar 60 based on the transmission state and the reception state. And the direction in which this object is located. Radar 60 is based on the transmission angle of the transmitted wave, the incident angle of the reflected wave, the reception intensity of the reflected wave, the time from when the transmitted wave is transmitted until it is received, the frequency change of the reflected wave, etc. The distance from the distance measuring device 1 to the object reflecting the transmitted wave is detected. The radar 60 outputs detection data 51 in which a detection distance value to an object located within the detection range is associated with position information within the detection range to the control unit 30. The radar 60 transmits laser light, infrared rays, or millimeter waves as a transmission wave.
  • FIG. 2 is a flowchart showing a processing procedure until the interpolation unit 31 completes the output of the distance information 53 in the distance measuring apparatus 1.
  • the control unit 30 instructs the radar 60 to perform a detection process for detecting the distance to an object located within the detection range (step S102).
  • the radar 60 detects the force given by the control unit 30 and the distance to the object located within the detection range, and outputs detection information 51 to the control unit 30.
  • the control unit 30 receives the detection information 51 output from the radar 60 (step S104).
  • the calculation range setting unit 32 obtains a linear function that passes between the detected values based on the detection information 51 received from the radar 60, and the calculation range in the calculation unit 20 is determined by the region through which the linear function passes.
  • the calculation range setting process is set (step S106).
  • the calculation range setting unit 32 sets a calculation range corresponding to each image signal of the image signal group output from the imaging unit 10.
  • control unit 30 instructs the imaging unit 10 to perform imaging processing (step S108).
  • the imaging unit 10 performs imaging processing according to instructions from the control unit 30, and the right camera 11a and the left camera
  • the camera 1 lb outputs a group of image signals corresponding to each imaging field of view.
  • the control unit 30 instructs the calculation unit 20 to perform a distance calculation process (step S1 10).
  • the calculation unit 21 selects the left image from the image signal group corresponding to the calculation range set by the calculation range setting unit 32 from the right image signal group output from the right camera 11a. An image signal that matches an arbitrary image signal in the signal group is detected, and a distance calculation corresponding to the arbitrary image signal is performed.
  • the distance calculation unit 20 outputs calculation information 52 to the control unit 30 after the calculation unit 21 performs a distance calculation on each image signal.
  • the control unit 30 receives the calculation information 52 output from the distance calculation unit 20 (step S112).
  • the interpolation unit 31 performs an interpolation process for interpolating the calculation values output from the calculation unit 20 between the detection values of the radar 60 (step S114).
  • the control unit 30 outputs the interpolation result obtained by interpolating the calculation value between the detection values as the distance information 53 (step S116).
  • FIG. 3 is a diagram showing an example of a detectable range in the radar 60. As shown in FIG. In FIG. 3, the location where the radar 60 detects the distance to the object located within the detection range is shown as a radar detection point “ ⁇ ”. Note that FIG. 3 superimposes the detectable range of the radar 60 and the image signal group output from the imaging unit 10, and each cell in FIG. 3 is, for example, a left image signal group output from the left camera ib. Corresponds to each of the image signals.
  • the calculation range in the distance calculation unit 20 is set for the image signals 525b and 535b located between the radar detection point 515 and the radar detection point 555 in the image signal group shown in FIG.
  • the case of setting will be described as an example.
  • FIG. 4 is a diagram for explaining the calculation range setting process shown in FIG. FIG. 4 shows the number of pixel columns in the pixel row where the radar detection points 515 and 555 are located in the image signal group shown in FIG. 3 on the horizontal axis, and the radar detection points 515 and 555 detected by the radar 60 on the vertical axis. Indicates the detection distance.
  • the pixel column “1” is the number of columns corresponding to the radar detection point 515
  • the pixel column “5” is the number of columns corresponding to the radar detection point 555.
  • the image signal 525b corresponds to the pixel column “2”
  • the image signal 535b corresponds to the pixel column “3”.
  • the calculation range setting unit 32 obtains a primary function that passes through the radar detection point 515 and the radar detection point 555.
  • radar detection point 515 and radar detection point 555 are connected as shown in FIG.
  • the linear function that passes through is the straight line la.
  • the calculation range setting unit 32 obtains a region Sa formed by adding the predetermined value e above and below the straight line la.
  • the predetermined value e is determined based on the probability that each distance value is distributed between the radar detection values.
  • the calculation range setting unit 32 sets the calculation range for the image signals 525b and 535b based on this area Sa. Specifically, the calculation range setting unit 32 obtains the distance width Y2 on the region Sa in the pixel row “2” as the calculation range corresponding to the image signal 525b. The calculation range setting unit 32 sets an image signal group corresponding to the distance width Y2 in the right image signal group as a calculation range corresponding to the image signal 525b. The calculation range corresponding to the image signal 525b will be specifically described with reference to FIG.
  • FIG. 5 is a diagram showing a right image signal group output from the right camera 11a and a left image signal group output from the left camera ib.
  • the calculation range setting unit 32 sets the image signal group corresponding to the distance width Y2 shown in FIG. 4 in the right image signal group 16a as the calculation range corresponding to the image signal 525b in the left image signal group 16b.
  • the image signal group corresponding to the distance width Y2 shown in FIG. 4 is, for example, an image signal group located in the region S11 shown in FIG.
  • the calculation unit 21 detects an image signal that matches the image signal 525b from the calculation range set by the calculation range setting unit 32, that is, the image signal group located in the region S11 of the right image signal group 16a.
  • the computing unit 21 obtains a movement amount I from the position of the detected image signal, and computes a distance value corresponding to the image signal 525b using equation (1). As a result, the calculation point 525 shown in FIG. 7 is obtained.
  • the calculation range setting unit 32 sets the calculation range corresponding to the image signal 535b, the distance width Y3 on the area Sa in the pixel row "3" is obtained, and the distance range Y3 in the right image signal group is obtained.
  • the image signal group corresponding to the separation width Y3 is set as the calculation range corresponding to the image signal 535b.
  • the calculation range setting unit 32 selects an image signal group corresponding to the distance width Y3 shown in FIG. 4 in the right image signal group 16a, for example, an image signal group located in the region S22 shown in FIG. Set as the calculation range corresponding to the image signal 535b in the signal group 16b.
  • the arithmetic unit 21 detects an image signal matching the image signal 535b from the image signal group located in the area S22 of the right image signal group 16a, and a distance value corresponding to the image signal 535b. Is calculated. As a result, a calculation point 535 shown in FIG. 7 is obtained.
  • the distance calculation unit 20 selects the image signal to be calculated in the left image signal group l ib from among the image signals located in the calculation range set by the calculation range setting unit 32 in the right image signal group 11a. A matching image signal is detected, and a distance calculation is performed.
  • the interpolation unit 31 is calculated by the distance calculation unit 20 between the radar detection points (shown as “fists”) as shown in FIG. Interpolation processing is performed by interpolating the calculated calculation points (the calculation points are indicated as “ ⁇ ”). The interpolation unit 31 outputs the interpolation result of this interpolation processing as distance information 53.
  • the distance measurement device 1 outputs the distance information 53 obtained by interpolating the calculation value in the distance calculation unit 20 between each detection point in the radar 60. Can be obtained. As a result, the distance measuring device 1 can accurately perform various safe driving support processes based on the distance information 53.
  • the distance calculation unit performs distance calculation processing on the image signal 1162b of the left image signal group 116b shown in Fig. 9, an image signal that matches the image signal 1162b is obtained. Therefore, it is necessary to detect from all the image signals of the right image signal group 116a located on the same straight line as an arbitrary straight line passing through the image signal 1162b. That is, conventionally, the distance calculation unit has been required to detect an image signal that matches the image signal 1162b from the region S10 that includes all the image signals located on the same straight line as the image signal 1162b. .
  • the distance calculation unit 20 includes an image included in the calculation range set by the calculation range setting unit 32 in the right image signal group 16a. From the signals, the search is made for an image signal that matches the image signal that is the operation target of the left image signal group. For this reason, in the distance measuring device 1 according to the first embodiment, compared to the conventional distance measuring device, the distance calculation unit 20 narrows the detection range of the image signal that matches the arbitrary image signal, and considers matching. The number of image signals to be reduced is reduced. Therefore, the distance measuring apparatus 1 according to the first embodiment can shorten the processing time required to detect the image signal as compared with the conventional distance measuring apparatus. As a result, the distance measuring device 1 according to the first embodiment can acquire distance information more quickly than the conventional distance measuring device.
  • the calculation range setting unit 32 may set the calculation range based on a region Sc formed based on a predetermined probability distribution with the straight line la as the center.
  • the calculation range for the image signal 525b is set based on the distance Y22 on the region Sc in the pixel column “2”
  • the calculation range for the image signal 535b is the pixel column “3”. Is set based on the distance Y23 on the region Sc.
  • the calculation range setting unit 32 obtains a linear function passing between the radar detection values, and sets the calculation range in the distance calculation unit 20 based on the region through which the linear function passes. Not limited to this, if a quadratic function or cubic function that passes between radar detection values is obtained, a predetermined function that passes between the radar detection values and has a high probability of being close to the distance value between the radar detection points is obtained. It ’s enough.
  • the calculation range setting unit 32 obtains a linear function passing between the radar detection values, and sets the calculation range in the distance calculation unit 20 based on the region through which the linear function passes.
  • the present invention is not limited to this, and the calculation range of the distance calculation unit 20 may be sequentially set based on the radar detection value or the calculation value located in the vicinity of the image signal to be calculated.
  • the calculation range setting unit 32 sets a calculation range for an image signal located in the pixel column “2” shown in FIG.
  • the calculation range setting unit 32 sets the region S2 based on the radar detection point 515A adjacent to the image signal located at the pixel row “2”.
  • the region S2 is determined based on the distribution probability of the calculated value of the image signal located in the pixel column “2”.
  • the calculation range setting unit 32 then calculates the distance on this area S2.
  • the image signal group corresponding to the width Y32 is set as the calculation range of the image signal located in the pixel row “2”.
  • the distance calculation unit 20 detects a predetermined image signal from the image signal group corresponding to the distance width Y32, and performs a distance calculation process to obtain a distance value at the calculation point 525A.
  • the calculation range setting unit 32 is a distance calculation unit adjacent to the image signal located in the pixel column “3”. Set the area S3 based on the calculation point 525A calculated by 20 and set the calculation range corresponding to the distance width Y33 of this area S3. Furthermore, when setting the calculation range for the image signal located in the pixel column “5”, the calculation range can be set based on the calculation point 545A or the radar detection point 565A adjacent to the pixel column “5”. . As described above, the calculation range setting unit 32 may sequentially set the calculation range based on the radar detection points or calculation points located in the vicinity of the image signal to be calculated. FIG.
  • the calculation range setting unit 32 uses the same pixel row as the image signal to be calculated using a primary interpolation method or the like based on a plurality of radar detection values located in the vicinity of the image signal to be calculated. Each radar detection value is interpolated and the calculation range is set using this interpolation detection value.
  • FIG. 12 is a block diagram of a schematic configuration of the distance measuring apparatus according to the second embodiment.
  • the distance measuring device 201 according to the second embodiment includes a control unit 230 in place of the control unit 30 of the distance measuring device 1 shown in FIG.
  • the control unit 230 has the same function as the control unit 30 and includes a complementing unit 231.
  • the complement unit 231 has the same function as the interpolation unit 31 shown in FIG. 1, detects the detection result force from the radar 60, and detects the non-detection point, and supplements the calculation value in the distance calculation unit 20 to the non-detection point.
  • the detection result is output as distance information.
  • the complement unit 231 instructs the distance calculation unit 20 to calculate the distance of the area corresponding to the non-detection point in the detection result.
  • Memory The unit 50 stores the distance information 253 output from the complementing unit 231.
  • Radar 60 does not receive a reflected wave when transmitting a transmitted wave to a region where an object that reflects the transmitted wave does not exist or a region that includes an object that absorbs the transmitted wave exists. For this reason, such a region becomes a non-detection point in which distance cannot be detected in the detection information 51.
  • FIG. 13 is a flowchart showing a processing procedure until the control unit 230 completes the output of the distance information 253 in the distance measuring device 201.
  • the control unit 230 instructs the radar 60 to perform a detection process for detecting the distance to an object located within the detection range (step S 202).
  • the radar 60 detects the force given by the detection processing instruction of the control unit 230 and the distance to the object located within the detection range, and outputs detection information 51 to the control unit 230.
  • the control unit 230 receives the detection information 51 from the radar 60 (step S204), and the complementing unit 231 detects a non-detection point within the detection range of the radar 60 in the received detection information 51 (step S206). ).
  • the complementing unit 31 determines whether or not there is a non-detection point in the received detection result (step S2 08).
  • Step S208: Yes If it is determined that there is a non-detection point (Step S208: Yes), the complementing unit 231 performs a supplementing process to supplement the calculation value of the distance calculation unit 20 to the non-detection point (Step S210). The detection result supplemented with the calculation value of the distance calculation unit 20 is output as distance information (step S212). On the other hand, when it is determined that there is no non-detection point (step S208: No), the complementing unit 231 outputs the received detection information 51 as the distance information 253 (step S212).
  • FIG. 14 is a flowchart showing a processing procedure of the complement processing shown in FIG.
  • the control unit 230 instructs the imaging unit 10 to perform an imaging process (step S222).
  • the complement unit 231 instructs the distance calculation unit 20 to calculate the distance of the area corresponding to the detected non-detection point (step S224).
  • the distance calculation unit 20 performs distance calculation processing to calculate the distance of the area corresponding to the non-detection point according to the calculation instruction of the complement unit 231! (Step S226), and controls each calculation value as calculation information 52 Output to part 230.
  • the complement 231 is output from the distance calculator 20. Using the calculated calculation information 52, the calculation value calculated by the distance calculation unit 20 is supplemented to the non-detection points in the detection information 51 (step S228), and the complementing process is terminated.
  • FIG. 15 is a diagram showing an example of the detection information 51 shown in FIG.
  • the location where the radar 60 has detected the distance to the object located within the detection range is indicated as a radar detection point “ ⁇ ”, and the location where the force has not been detected is the radar non-detection point. Shown as “X”.
  • the complementing unit 231 responds to the radar non-detection point after instructing the imaging unit 10 to perform imaging processing (step S222).
  • the distance calculation unit 20 is instructed to calculate the distance of the area to be performed, for example, the area S2a in FIG. 15 (step S224).
  • the distance calculation unit 20 performs a right image signal group 16a output from the right camera 1 la and a left image signal group output from the left camera l ib as shown in FIG. Based on 16b, the distance calculation in the region S2a is performed (step S226).
  • the arithmetic unit 21 firstly has the image signal 1601a located at a position corresponding to the image signal 161b in the right image signal group 16a; The image signal group 161b is compared to examine whether the image signal 161a and the image signal 161b match.
  • the arithmetic unit 21 searches for an image signal that matches the image signal 161b while sequentially moving in the right direction in FIG.
  • the arithmetic unit 21 detects an image signal 165a that matches the image signal 161b in the right image signal group 16a, it obtains a movement amount 121 from the image signal 161a to the image signal 165a, and uses equation (1).
  • the distance calculation unit 20 performs distance calculation only on the area corresponding to the non-detection point in the detection information 51 of the radar 60! The calculation value calculated for each area is calculated.
  • Information 52 is output to the control unit 230.
  • step S2228 a process (step S228) in which the complementing unit 231 supplements the calculation value calculated by the distance calculation unit 21 to the non-detection point in the detection information 51 will be described with reference to FIG.
  • the location where the radar 60 detected the distance to the object located within the detection range is shown as a radar detection point “ ⁇ ”, and the location where the radar 60 was not detected Inspection
  • the distance calculation unit 20 calculates the area as the calculation point “ ⁇ ”.
  • the distance calculation unit 20 outputs calculation data 252a obtained by calculating the distance in the region corresponding to the non-detection point of the detection data 251a.
  • the complementing unit 231 creates distance data 253a by supplementing the non-detection points in the detection data 251a output from the radar 60 with the calculation values in the calculation data 252a output from the distance calculation unit 20.
  • the distance measuring device 201 can output distance information corresponding to all detection points within the detection range.
  • the conventional distance measuring device has been unable to detect the distances to all the places where the transmitted wave is transmitted.
  • the conventional distance measuring device as shown in an image 217 in FIG. 18, when a transmitted wave is transmitted from the radar to the glass portion of the preceding vehicle C, the transmitted wave is absorbed by the glass, and the radar could not receive the reflected wave.
  • the distance information corresponding to this region is set as the non-detection point 263, and the distance between the host vehicle and the vehicle C cannot be output. Therefore, the conventional distance measuring device cannot output a warning sound even when the vehicle is close to the host vehicle! /, And the preceding vehicle C is in close proximity. It was not possible to notify the driver of the vehicle. As a result, the conventional distance measuring device has a detrimental effect that safe driving support cannot be performed accurately.
  • the complementing unit 231 detects non-detection in the detection information 51, and supplements the non-detection point with the calculated value calculated by the distance calculating unit 20. Output distance information 253. That is, the distance measuring device 201 can output distance information for all locations that have transmitted a transmission wave. For example, as shown in FIG. 19, even when the distance of the region corresponding to the glass portion of the preceding vehicle C is not detected by the radar 60 and is set as a non-detection point, the complementing unit 231 does not detect this. The point 223 is replenished with a calculation point 223 by the distance calculation unit 20.
  • the distance measuring device 201 even if the vehicle C is located at a position where the distance cannot be detected by the radar 60 and this vehicle is close to the host vehicle, the calculated value 23 Based on this, a warning voice can be output from the output unit 40 to notify the driver that the preceding vehicle C is approaching. did Therefore, according to the distance measuring apparatus 1 according to the second embodiment, safe driving support can be accurately performed.
  • the distance calculation unit 20 performs the distance calculation process only on the area designated by the complementing unit 231. That is, the distance calculation unit 20 does not need to perform the distance calculation process on all the image signals of the image signal group output from the imaging unit 10. For this reason, in the second embodiment, the time required for the distance calculation process in the distance calculation unit 20 can be shortened compared to the case where the distance calculation process is performed on all image signals. As a result, according to the distance measuring apparatus 201, it is possible to reduce the processing time required to instruct the radar 60 to detect the distance and output the distance information from the complementing unit 231. Information can be acquired quickly.
  • FIG. 20 is a block diagram of a schematic configuration of the distance information device according to the third embodiment.
  • the distance measuring device 301 according to the third embodiment includes a distance calculating unit 320 instead of the distance calculating unit 20 of the distance measuring device 1 shown in FIG. Instead of this, a control unit 330 is provided.
  • the storage unit 50 stores calculation information 351 and reliability information 352 output from the distance calculation unit 320, detection information 353 output from the radar 60, and distance information 354 output from the interpolation unit 331.
  • the distance calculation unit 320 further includes a reliability acquisition unit 323 as compared with the distance calculation unit 20 shown in FIG.
  • the reliability level acquisition unit 323 acquires the reliability level of the calculation value obtained by the calculation unit 21.
  • the computing unit 21 computes the distance to the object located in the imaging field based on the image signal group output from the imaging unit 10 using the stereo method.
  • the computing unit 21 detects an image signal matching the arbitrary image signal in the left image signal group output from the left camera 1 lb from the right image signal group output from the right camera 11a, and detects the detected image signal.
  • the distance is calculated by the principle of triangulation based on the amount of movement I of the arbitrary image signal force in the image signal.
  • the amount of movement described here indicates the amount of parallax generally referred to.
  • the calculation unit 21 calculates each image signal of the right image signal group located on the same straight line as an arbitrary straight line that passes through the image signal that is the calculation target of the left image signal group, and the image that is the calculation target.
  • the image signal that best matches the image signal to be calculated is detected from the group of right image signals. Specifically, a local area centering on the image signal to be calculated in the left image signal group is provided, and an area similar to this local area is provided in the right image signal group. Then, the local region having the highest degree of matching with the local region in the left image signal group is searched while the local region in the right image signal group is moved on the straight line described above.
  • the calculation unit 21 calculates SSD (Sowing of Squared Difference) as the degree of matching, which is the sum of squares of differences between pixel signals in the local region.
  • the calculation unit 21 calculates SSD each time the local area is searched, and sets the image signal positioned at the center of the local area having the SSD that is the minimum value as the image signal that most closely matches the image signal to be calculated. To detect.
  • the reliability acquisition unit 323 acquires the degree of matching calculated by the calculation unit 21 for each image signal as the reliability, and the distance calculation unit 320 uses the acquired reliability and position information in the imaging field of view.
  • the reliability information 352 corresponding to each is output to the control unit 330.
  • the control unit 330 has the same function as the control unit 30 and includes an interpolation unit 331.
  • the interpolation unit 331 has the same function as the interpolation unit 31 shown in FIG. 1 and has a reliability of the calculation information 351 based on the calculation information 351 and the reliability information 352 from which the distance calculation unit 320 is output. If the predetermined evaluation standard is satisfied, the calculated value is replaced with the detected value of the radar 60 corresponding to the calculated value, and the distance information 354 is output. Based on the calculation information 351 and the reliability information 352, the detection range setting unit 332 obtains a range corresponding to a calculated value whose reliability does not satisfy the evaluation criteria, and sets this range as the detection range of the radar 60. .
  • the control unit 330 instructs the radar 60 to perform a detection process for detecting the distance of an object located within the detection range set by the detection range setting unit 332.
  • the detection information 353 output from the radar 60 becomes the detection result of the detection range set by the detection range setting unit 332.
  • the interpolation unit 331 uses the detection information 353 output from the radar 60, and the reliability of the calculation information 351 satisfies the evaluation criteria.
  • the calculation value of the radar 60 corresponding to the calculation value is calculated. Replaced with the detected value. Since the detection value of the radar 60 is a highly accurate value, the reliability satisfies the evaluation criteria, and the distance information obtained by replacing the calculated value with the detection value of the radar 60 is used.
  • Report 354 is believed to have the required reliability.
  • the predetermined evaluation standard is determined based on the reliability required for the distance information 354 output from the distance measuring device 301.
  • FIG. 21 is a flowchart showing a processing procedure until the distance calculation unit 320 completes the output of the distance information 354 in the distance measuring device 301.
  • the control unit 330 instructs the imaging unit 10 to perform an imaging process, and the imaging unit 10 images a predetermined imaging field of view under the control of the control unit 330.
  • the imaging process is performed (step S302), and the right camera 11a and the left camera ib each output an image signal group.
  • the control unit 330 instructs the distance calculation unit 320 to process the image signal group output from the imaging unit 10 and calculate a distance calculation process for calculating the distance to the object located in the imaging field of view. Do.
  • the distance calculation unit 320 receives an instruction from the control unit 330, and the calculation unit 21 determines the distance corresponding to the image signal for each image signal of the image signal group output from the right camera 11a and the left camera 1 lb.
  • a distance calculation process for calculating a value is performed (step S304).
  • the reliability acquisition unit 323 acquires, as the reliability, the minimum value of the SSD value obtained when detecting as the image signal that most closely matches the image signal to be calculated in the distance calculation processing in the calculation unit 21.
  • a reliability acquisition process is performed (step S306).
  • the calculation unit 21 determines whether or not the distance calculation process has ended for all the image signals of the image signal group output from the imaging unit 10 (step S308). If the calculation unit 21 determines that the distance calculation processing has been completed for all image signals (step S308: No), the calculation unit 21 proceeds to step S304, and next calculates the image to be calculated. Distance calculation processing is performed on the signal. If the calculation unit 21 determines that the distance calculation processing has been completed for all image signals (step S308: Yes), the distance calculation unit 320 sends the calculation information 351 and the reliability to the control unit 330. Information 352 is output (step S310).
  • the interpolation unit 331 refers to the reliability information 352, compares each reliability with the evaluation standard, and satisfies the evaluation standard. Whether there is a degree (Step S312).
  • the detection range setting unit 332 positions corresponding to the reliability that does not satisfy the evaluation criterion. Based on the information, a range in which the reliability that does not satisfy the evaluation standard is distributed is obtained, and this range is set as the detection range of the radar 60 (step S314).
  • each calculation value is associated with position information in the imaging field of view, and in the reliability information 352, the reliability in each calculation value and the imaging field corresponding to this calculation value are displayed. Is associated with location information.
  • the range in which the reliability that does not satisfy the evaluation standard is distributed is a range that corresponds to an operation value that satisfies the evaluation standard and has a high reliability. Therefore, the detection range setting unit 332 sets the range corresponding to the calculated value having the reliability that does not satisfy the evaluation standard as the detection range of the radar 60.
  • the radar 60 performs detection processing for detecting a distance to an object located within the detection range set by the detection range setting unit 332 under the control of the control unit 330 (step S316), Detection information 353 is output.
  • the interpolation unit 331 replaces the calculated value of the calculation information 351 whose reliability does not satisfy the evaluation criteria with the detection value of the radar 60 in the detection information 353 (step S318), and replaces the replaced information with the distance information. Output as 354 (step S320).
  • step S320 If the interpolation unit 331 determines that there is no reliability that does not satisfy the evaluation criteria as a result of referring to the reliability information 352 (step S312: No), each operation value of the operation information 351 is Since it is considered to have the required reliability, the calculation information 351 output from the calculation unit 21 is output as the distance information 354 (step S320).
  • FIG. 22 is a diagram illustrating the distance calculation process, and is a diagram schematically illustrating the right image signal group output from the right camera 11a and the left image signal group output from the left camera ib.
  • the computing unit 21 provides a local area BO around the image signal 25b to be computed in the left image signal group 16b.
  • the arithmetic unit 21 also sets a local area A30 in the same range as the local area BO around the reference signal 250 at the same position as the image signal 25b. I will.
  • the calculation unit 21 scans the local region on the same straight line as an arbitrary straight line that passes through the image signal 25b while sequentially calculating the SSD that is the matching degree. As a result, the SSD value change with respect to the movement amount change in the local area as shown by curve 1 in FIG. 23 is obtained.
  • the image signal 25a located at the center of the local region A31 having the smallest SSD value is detected as the image signal that most closely matches the image signal 25b.
  • the calculation unit 21 calculates a movement amount 131 with reference to the reference signal 250, and calculates a distance value corresponding to the image signal 25b using equation (1).
  • the reliability obtaining unit 323, among the SSD values calculated Te distance calculation processing odor with respect to the image signal 25b, to obtain the SSD is the minimum value as the reliability against (step S306) o all image signals
  • the distance calculation unit 320 outputs reliability data 352a in which the reliability in each calculation value is associated with the position information of each image signal that was the calculation target (step S310).
  • the interpolation unit 331 refers to the reliability data 352a and determines whether or not each reliability of the reliability data 352a satisfies the evaluation criteria. In this case, since the SSD value is acquired as the reliability, the lower the SSD value, the higher the consistency and the higher the reliability. Therefore, the interpolation unit 331 determines whether or not each reliability exceeds a predetermined evaluation criterion S. For example, as shown in Figure 23, the reliability S of the calculated value corresponding to curve 1 is the evaluation criterion.
  • the interpolation unit 331 determines whether or not each reliability satisfies the evaluation criteria, and satisfies the evaluation criteria as shown in FIG. 25.
  • the distributed low reliability region 35 2b is obtained.
  • the detection range setting unit 332 selects a region corresponding to the low reliability region 352b obtained by the interpolation unit 331 from the detectable range 362, as the detection range 36. Set as 3 (step S314).
  • the radar 60 performs detection processing for detecting the distance to the object located within the detection range 363 set by the detection range setting unit 332 (step S316). As a result, for example, as shown in FIG.
  • detection data 353a including only detection values in the detection range corresponding to the low reliability region is output from the radar 60. Thereafter, as shown in FIG. 27, the interpolation unit 331 converts the calculated values of the low reliability region 351b in which the calculated values having reliability not satisfying the evaluation criteria from the calculated values of the calculated data 351a are distributed to the detection data It replaces with the detected value of 353a (step S318), and creates and outputs distance data 354a (step S320).
  • the reliability for each calculation value of the calculation information is acquired, and the calculation value for which the reliability does not satisfy the evaluation criterion is detected by the radar 60.
  • the distance information replaced with the value is output.
  • the detection value of the radar 60 is higher in reliability than the calculation value calculated by the distance calculation unit 320. For this reason, according to the distance measuring device 301 according to the third embodiment, it is possible to acquire highly reliable distance information that satisfies the predetermined reliability. Therefore, various safe driving support processes based on the distance information are performed. It becomes possible to carry out accurately.
  • the detection range setting unit 332 detects only the range in which the calculation values whose reliability does not satisfy the evaluation criteria from the calculation information output from the distance calculation unit 320 is distributed. Is set as the detection range. For this reason, in the third embodiment, the time required for the detection process can be shortened compared to the case where the radar 60 detects the distance value for the entire detectable range, and a highly reliable distance can be obtained. Information can be acquired quickly.
  • the SSD value is calculated as the consistency between the image signals, and the force described when the SSD value is acquired as the reliability is not limited to this.
  • Another value indicating the degree of matching between signals may be calculated and acquired as the reliability.
  • SAD Sud which is the sum of absolute values of differences between image signals between local regions.
  • NCC Normalized Cross
  • Correlation may be acquired as the reliability.
  • the calculation unit 21 The image signal having the smallest SAD value is detected as the most consistent image signal, and the reliability obtaining unit 323 obtains the SAD value corresponding to the image signal as the reliability.
  • the interpolating unit 331 determines that the SAD value, which is the reliability, falls below a predetermined evaluation criterion, and that the SAD value satisfies the evaluation criterion, and if the SAD value exceeds the predetermined evaluation criterion, the SAD value is evaluated. Judge that the criteria are not met.
  • the calculation unit 21 detects the image signal having the maximum NCC value as the most consistent image signal, and the reliability acquisition unit 323 determines the NCC value corresponding to the image signal as the reliability. Get as. Interpolation section 331 determines that this NCC value satisfies the evaluation standard when the NCC value, which is the reliability, exceeds the predetermined evaluation standard, and if the NCC value falls below the predetermined evaluation standard, this NCC value is determined as the evaluation standard. It is determined that the above is not satisfied.
  • the present invention is not limited to this, and the Q value of the curve indicating the SSD value change with respect to the movement amount change in the local region is used as the reliability.
  • the Q value may be compared with the evaluation criteria based on whether or not it exceeds a predetermined value as the evaluation criteria. For example, as curve 1 shown in Figure 28, the Q value is
  • the image signal detected in the distance calculation process has a smaller difference in the degree of matching between the image signal and the image signal to be calculated, compared to the adjacent image signal.
  • Q value is the evaluation criterion
  • the detection range setting unit 332 places the detected value of the radar 60 for the calculated value corresponding to the curve 1.
  • the reliability acquisition unit 323 acquires the degree of matching as the reliability has been described.
  • the reliability acquisition unit 323 includes the color information included in the image signal to be calculated. May be acquired as the reliability.
  • the interpolation unit 331 determines that a region in which the color information of the image signals located in the vicinity is almost the same is a low reliability region, and the detection range setting unit 332 determines that the low reliability determined by the interpolation unit 331 is low.
  • the degree region is set as the radar 60 detection range.
  • the calculation unit 21 cannot detect from the other image signal group an image signal that matches the image signal included in the black region 319a having almost the same color information, as shown in FIG. is there. That is, also in the other image signal group, the image signals included in the area corresponding to the black area 319a have the same color information. Therefore, the image signals distributed in this region have almost the same matching degree, and there is no difference in the matching degree. As a result, the calculation unit 21 cannot detect the image signal matching the image signal included in the black region 319a with the other image signal group force.
  • the detection range setting unit 332 sets the detection range of the radar 60 corresponding to the black region 319a and the white region 319b, and the interpolation unit 331 calculates the calculation values in the black region 319a and the white region 319b. Replace with the detected value.
  • the distance measuring device 301 can output highly reliable distance information.
  • FIG. 30 is a block diagram of a schematic configuration of the distance information device according to the fourth embodiment.
  • a distance measuring device 401 according to the fourth embodiment includes a control unit 430 instead of the control unit 30 of the distance measuring device 1 shown in FIG.
  • the control unit 430 has the same function as the control unit 30 and includes an interpolation unit 431 having a calculation range setting unit 433 and a timer 434 for measuring time.
  • the storage unit 50 stores the calculation information 453 output from the distance calculation unit 20 and the distance information 454 output from the interpolation unit 431.
  • the interpolation unit 431 has the same function as the interpolation unit 31 shown in FIG.
  • the distance information 454 is generated by combining the out-of-detection range information, which is a calculated value corresponding to the outside of the radar 60 detection range.
  • the interpolation unit 431 creates the distance information 54 using the previous out-of-detection range information until the acquisition of out-of-detection range information during the current process is completed.
  • the interpolation unit 431 acquires the information within the detection range while the radar 60 acquires the detection value.
  • Calculation range setting unit 433 sets the calculation range in distance calculation unit 20 based on the time value of timer 434.
  • the distance calculation unit 20 performs calculation processing within the calculation range set by the calculation range setting unit 433.
  • Calculation range setting section 433 sets a calculation range that is the same as the detection range of radar 60 when time-measured value T of timer 434 is less than predetermined time Ts.
  • the distance calculation unit 20 applies an image signal corresponding to a calculation range that is the same as the detection range of the radar 60 set by the calculation range setting unit 433 in the image signal group output from the imaging unit 10.
  • the interpolation unit 431 creates information within the detection range by interpolating between the detection values of the radar 60 with each calculation value corresponding to the calculation range equivalent to the detection range of the radar 60 output from the distance calculation unit 20. Then, the distance information 454 is created by combining the information within the detection range and the information outside the previous detection range.
  • the calculation range setting unit 433 sets the entire range that can be calculated by the distance calculation unit 20 as the calculation range.
  • the rendering distance calculation unit 20 performs a calculation process on all image signals in the image signal group output from the imaging unit 10.
  • the interpolation unit 431 interpolates between the detection values of the radar 60 with each calculation value corresponding to the calculation range equivalent to the detection range of the radar 60 among the calculation values output from the distance calculation unit 20.
  • the distance information 454 is created by combining the information within the detection range with the information outside the detection range that also has a calculated value corresponding to the detection value out of the calculation information 453 output from the distance calculation unit 20.
  • the predetermined time Ts is set based on the processing capability of the distance calculation unit 20, for example.
  • FIG. 31 is a flowchart showing a processing procedure until the interpolation unit 431 completes the output of the distance information 454 in the distance measuring device 401. Is.
  • the interpolation unit 431 starts the time measurement of the timer 434 (step S402).
  • the control unit 430 instructs the radar 60 to detect the distance to the object located within the detection range (step S404), and the radar 60 performs the detection process according to the instruction of the control unit 430.
  • the detection information 51 is output to the control unit 430.
  • the calculation range setting unit 433 performs calculation range setting processing for setting the calculation range in the distance calculation unit 20 (step S406).
  • the control unit 430 instructs the imaging unit 10 to perform an imaging process (step S408), and the imaging unit 10 performs an imaging process for imaging a predetermined imaging field under the control of the control unit 430.
  • the right camera 1 la and the left camera 1 lb each output an image signal group.
  • the control unit 430 processes the image signal group output from the imaging unit 10 and instructs the distance calculation unit 20 to calculate the distance to the object located in the imaging field of view. (Step S410).
  • the distance calculation unit 20 receives an instruction from the control unit 430, and the calculation unit 21 performs calculation processing for calculating each distance value for each image signal corresponding to the calculation range set by the calculation range setting unit 433. . After the calculation processing for each image signal corresponding to the calculation range is completed, the distance calculation unit 20 outputs calculation information 453 in which each calculation value and position information within the imaging field of view correspond to the control unit 430. .
  • Interpolation section 431 interpolates between the detection values of detection information 51 with the calculation values in the corresponding section of calculation information 453 to create information within the detection range, and performs calculations corresponding to this detection range information and outside the detection range Interpolation processing is performed to create distance information 454 that is combined with out-of-detection range information that is value power (step S412), and interpolation unit 431 outputs the created distance information 454 (step S414). Then, control unit 430 determines whether or not the force for inputting the distance measurement end instruction has been input (step S418) . If it is determined that the distance measurement end instruction has not been input (step S418: No ), Proceed to step S404, and continue the distance measurement.
  • control unit 430 determines whether timer 434 is timing (step S420).
  • step S420 determines whether timer 434 is timing (step S420).
  • the control unit 430 determines that the timer 434 is timing (step S420: Yes)
  • the control unit 430 resets the timing value of the timer 434 to 0. After (step S422), the distance measurement ends.
  • FIG. 32 is a flowchart of a process procedure of the calculation range setting process shown in FIG.
  • FIG. 33 is a diagram illustrating a range in which the distance calculation unit 20 can perform calculations.
  • the computable range and the detection range of the radar 60 are superimposed, and in FIG. 33, the detection points in the radar 60 are indicated by “ ⁇ ”.
  • calculation range setting section 433 determines whether or not the time value T of timer 434 is greater than or equal to a predetermined time Ts (step S442). If the calculation range setting unit 433 determines that the measured value T of the timer 434 is equal to or greater than the predetermined time Ts (step S442: Yes), the calculation range of the distance calculation unit 20 is the same as the detection range of the radar 60. Are set to a region S4a and a region S4b which is a region outside the detection range of the radar 60 (step S444). Specifically, as shown in FIG.
  • the calculation range setting unit 433 is capable of performing calculation processing, that is, the region S4a that is the same range as the detection range of the radar 60 and the region S4b that is the region outside the region S4a. A certain entire range is set as the calculation range.
  • the interpolation unit 431 resets the time value of the timer 434 to 0 (step S446).
  • the distance calculation unit 20 performs calculation processing on each image signal corresponding to the calculation range that is the region S4a and the region S4b set by the calculation range setting unit 433, and corresponds to each calculation range. Outputs calculation information 453.
  • step S442 determines that the time value T of the timer 434 is not equal to or greater than the predetermined time Ts, that is, the time value T has not reached the predetermined time Ts (step S442: No)
  • the calculation range of the distance calculation unit 20 is set to the region S4a that is the same range as the detection range of the radar 60 (step S448), and the calculation range setting process is terminated.
  • the distance calculation unit 20 performs calculation processing on each image signal corresponding to the calculation range which is the region S4a set by the calculation range setting unit 433, and calculates calculation information 453 corresponding to each calculation range. Output.
  • FIG. 34 is a flowchart showing the processing procedure of the interpolation processing shown in FIG.
  • the interpolation unit 431 receives the calculation information 453 output from the distance calculation unit 20 (step S462).
  • the interpolation unit 4 31 determines whether the received calculation information 453 is a force that is a calculation result corresponding to the region S4a (step S464).
  • the interpolation unit 431 determines that the received calculation information 453 is the calculation result corresponding to the region S4a (step S464: Yes)
  • the interpolation unit 431 extracts the detection information 51 (step S466). Thereafter, calculation information including the information outside the previous detection range is acquired from the storage unit 50, and the calculation result for the region S4b is extracted from the calculation information (step S468).
  • the interpolation unit 431 supplements the detection information 51 with the calculation result corresponding to the region S4a output from the distance calculation unit 20 and the calculation result corresponding to the region S4b acquired from the storage unit 50 (step S470). Create distance information 454. Thereafter, the timer 434 starts timing (step S472), and the interpolation process is terminated.
  • the interpolation unit 431 determines that the received calculation information 453 is not the calculation result corresponding to the region S4a (step S464: No), that is, the calculation result corresponding to the region S4a and the region S4b. If it is determined, the detection information 51 is extracted (step S474), and the calculation results corresponding to the areas S4a and S4b output from the distance calculation unit 20 are added to the detection information 51 (step S474). S476), the interpolation process is terminated.
  • the interpolation unit 431 determines that the calculation data 453 a output from the distance calculation unit 20 is the calculation result for the region S4a (step S464: Yes)
  • the interpolation unit 431 stores The detection data 451a is extracted from the unit 50 (step S466), and the calculation data including the previous detection range information stored in the storage unit 50 is used to calculate out-of-detection range information, that is, calculation data 453b corresponding to the region S4b. Is extracted (step S468).
  • the interpolation unit 431 interpolates the calculation value of the calculation data 453a between the detection values of the detection data 451a to create detection range information.
  • the distance information corresponding to the region S4a in the distance data 454a is the detection range information. Further, the interpolation unit 431 combines the distance data 4 by combining the information within the detection range and the calculation data 453a of the region S4b corresponding to the outside of the detection range. 54a is created and the interpolation process is terminated.
  • FIG. 36 an interpolation process in the case where the calculation information 453 output from the distance calculation unit 20 is the calculation result for the region S4a and the region S4b will be described.
  • the radar detection point by the radar 60 is indicated by “ ⁇ ”
  • the calculation point by the distance calculation unit 20 is indicated by “ ⁇ ”.
  • step S474 when the interpolation unit 431 determines that the calculation data 453 c output from the distance calculation unit 20 is the calculation result for the region S4a and the region S4b (step S464: No), detection data 451a is extracted (step S474).
  • the interpolation unit 431 since the calculation data 453c output from the distance calculation unit 20 includes the calculation result corresponding to the region S4b, the interpolation unit 431 needs to extract the information outside the previous detection range from the storage unit 50. There is no.
  • the interpolation unit 431 interpolates the calculation value of the area S4a in the calculation data 453c between the detection values of the detection data 451a to create information within the detection range.
  • the interpolation unit 431 creates distance data 454b by combining the generated in-detection range information with the calculation information of the region S4b in the calculation data 453c as out-of-detection range information, and ends the interpolation process.
  • the distance measuring device 401 according to the fourth embodiment information within the detection range obtained by interpolating between the detection values of the radar 60 with the calculation value of the distance calculation unit 20 and the outside of the detection range of the radar 60 are supported. Creates and outputs distance information that is combined with out-of-detection information consisting of computed values. For this reason, the distance measuring device 401 according to the fourth embodiment can acquire highly accurate distance information in a wide range.
  • the distance calculation unit 20 performs distance measurement on all image signals output from the imaging unit 10 at every predetermined time Ts according to the calculation range set by the calculation range setting unit 433.
  • the distance value is calculated for the image signal corresponding to the area equivalent to the detection range of the radar 60 in the calculation range. That is, the distance calculation unit 20 does not always calculate the distance value for all image signals output from the imaging unit 10 in each calculation process. For this reason, in comparison with the conventional distance measurement device in which the distance calculation unit always calculates the distance value for all image signals output from the image pickup unit, in Example 4, the image signal to be calculated is used. The number can be reduced.
  • the distance measuring device 401 according to the fourth embodiment has a longer processing time in the arithmetic processing than the conventional distance measuring device. Can be shortened, and distance information can be acquired quickly.
  • the distance measuring device 401 outputs information within the detection range obtained by interpolating the calculation value of the distance calculation unit 20 between the detection values of the radar 60 every time the distance information 454 is created. . That is, the latest distance information is always included in the region S4a in the distance data range 454c in FIG. Therefore, as shown in an image 416 in FIG. 38, when measuring the inter-vehicle distance from the preceding vehicle, there is a high possibility that the preceding vehicle C is located, and the region is set as the detection range of the radar 60, that is, the region. When set as S4a, the region where the vehicle C is likely to be located is the high accuracy region.
  • the distance information to the vehicle C can be acquired almost in real time, and various safe driving support processes can be performed in a timely manner.
  • the out-of-detection range information is created every predetermined time Ts, and the distance information 454 is created using the previous out-of-detection range information before the predetermined time Ts elapses. Therefore, the region S4b in the distance data range 454c in FIG. 37 is a standard accuracy region in which the distance information is updated every predetermined time Ts. For example, as shown in FIG.
  • the region is defined as a region outside the detection range of the radar 60, that is, a region S4b.
  • the standard accuracy area is the area where the possibility that the vehicle is located is low.
  • it is not necessary to acquire the distance value more frequently in the region where the possibility that the vehicle C is located is lower than the region where the possibility that the vehicle C is located is high. Therefore, in the fourth embodiment, necessary distance information can be efficiently obtained by setting an area where the possibility that the vehicle C is low is set as the standard accuracy area.
  • the distance measuring apparatus 401 does not perform calculation time and calculation pixel thinning, narrowing of a measurement distance range, calculation processing of only an edge portion, reduction of distance resolution, and the like. It is possible to quickly acquire detailed distance information with high accuracy, and as a result, various safety support processes based on the distance information can be performed accurately with timing.
  • Example 5 will be described.
  • the radar detection range was set in advance before the distance measurement, but in this fifth embodiment, the radar detection range was set. A case where the range is variable and the detection range is unknown will be described.
  • FIG. 39 is a block diagram of a schematic configuration of the distance measuring apparatus according to the fifth embodiment.
  • the distance measuring device 501 includes a control unit 530 instead of the control unit 430 of the distance measuring device 401 according to the fourth embodiment, and includes a radar 5 60 instead of the radar 60.
  • the control unit 530 has a function similar to that of the control unit 30 and includes an interpolation unit 531 having a detection range search unit 532, a calculation range setting unit 533, and a timer 534.
  • the radar 560 can change the detection range under the control of the control unit 530.
  • the storage unit 50 stores search information 552 output from the interpolation unit 531, calculation information 553 output from the distance calculation unit 20, and distance information 554 output from the interpolation unit 531.
  • the control unit 530 has the same function as the control unit 430 in the fourth embodiment.
  • the interpolation unit 531 has the same function as the interpolation unit 531 in the fourth embodiment.
  • the detection range search unit 532 searches for the detection range of the radar 560 based on the detection information 551 output from the radar 560.
  • the calculation range setting unit 533 has the same function as the calculation range setting unit 433 in Example 4, and also has a function to set the calculation range of the distance calculation unit 20 based on the search result of the detection range search unit 532.
  • the timer 534 has a function of measuring time similarly to the timer 434 in the fourth embodiment.
  • FIG. 40 is a flowchart showing a processing procedure until the interpolation unit 531 outputs the distance information 554 among the processing operations performed by the distance measuring device 501.
  • the interpolation unit 531 starts the timer 534 (step S502).
  • the control unit 530 instructs the radar 560 to perform a detection process for detecting the distance to the object located within the detection range (step S 504), and the radar 560 performs the detection process.
  • the detection information 551 is output to the control unit 530.
  • the detection range search unit 532 performs detection information search processing for searching the detection range of the radar 560 (step S508), and the calculation range setting unit 533 uses the search information 552 output from the detection range search unit 532. Then, calculation range setting processing for setting the calculation range of the distance calculation unit 20 is performed (step S510).
  • the control unit 530 captures images to the image capturing unit 10 in the same manner as in the fourth embodiment. Image processing is instructed (step S512), and the imaging unit 10 performs imaging processing.
  • the control unit 53 instructs the distance calculation unit 20 to perform calculation processing (step S514), and the distance calculation unit 20 includes the calculation range setting unit 533 in the image signal group output from the imaging unit 10.
  • a calculation process is performed to calculate a distance value for each image signal corresponding to the set calculation range. Then, the interpolation unit 531 performs an interpolation process by performing a processing procedure similar to that shown in FIG. 34 (step S516), and outputs distance information 554 (step S518).
  • Control unit 530 determines whether or not an instruction to end the distance measurement process is input (step S520) as in Example 4, and determines that the end of the distance measurement process is not instructed. If yes (step S520: No), the process proceeds to step S504 and the distance measurement is continued. In addition, when the control unit 530 determines that the end of the distance measurement process has been instructed (step S520: Yes), the interpolation unit 531 determines whether or not the timer 534 is measuring the time as in the fourth embodiment. Is determined (step S522).
  • step S522 determines that the timer 534 is measuring time (step S522: Yes)
  • the timer 534 resets the time value of the timer 534 (step S524), ends the distance measurement process, and the timer 534 If it is determined that is not timed (step S522: No), the distance measurement process is terminated.
  • FIG. 41 is a flowchart of the detection range search process shown in FIG.
  • detection range search section 532 first refers to detection information 551 output from radar 560 (step S532).
  • the detection information 551 the detection value obtained by detecting the distance to the object located within the detection range corresponds to the position information within the detection range. Therefore, the detection range search unit 532 searches the detection range of the radar 560 based on the position information in the detection information 551 with reference to the detection information 551 (step S534), and searches the search information 552. Is output (step S536).
  • FIG. 42 is a flowchart showing the processing procedure of the calculation range setting process shown in FIG.
  • the calculation range setting unit 533 refers to the search information 552 output from the detection range search unit 532 (step S542).
  • the calculation range setting unit 533 sets the detection range of the radar 560 in the search information 552 as a region S4a (step S544).
  • Calculation range setting section 533 sets a region other than the region S4a, that is, a non-detection region by the radar 560, as a region S4b in the range that can be calculated by the distance calculation unit 20 (step S546). Therefore, for example, as shown in FIG.
  • an area corresponding to the radar detection range 562a in the computable range 524 is set as the area S4a, and a non-detection area 563 that is an area outside the detection range of the radar 560 It will be set as area S4b.
  • the calculation range setting unit 533 determines whether or not the time value T of the timer 534 is greater than or equal to the predetermined time Ts (step S548). If the calculation range setting unit 533 determines that the measured value T of the timer 534 is equal to or greater than the predetermined time Ts (step S548: Yes), the calculation range of the distance calculation unit 20 is set to the regions S4a and S4b, that is, the calculation Set all possible ranges as the calculation range (step S550), reset the time value of timer 534 to 0 and reset (step S552). If the calculation range setting unit 533 determines that the measured value T of the timer 534 has not reached the predetermined time Ts (step S548: No), the calculation range of the distance calculation unit 20 is set to the area S4a. (Step S554).
  • the distance calculation unit 20 performs calculation processing according to the calculation range set by the calculation range setting unit 533, and the interpolation unit 531 is output from the distance calculation unit 20 as in the fourth embodiment.
  • the calculation range of the calculation information 553 is determined, and the detection value information corresponding to outside the detection range of the radar 560th floor is obtained by interpolating between the detection values of the radar 560 with the calculation value of the distance calculation unit 20
  • the distance information 554 is created by combining the information outside the detection range. For this reason, the distance measuring device 501 according to the fifth embodiment can achieve the same effects as the fourth embodiment.
  • the calculation range setting unit 533 sets the calculation range of the distance calculation unit 20 according to the detection range of the radar 560 searched by the detection range search unit 532. As shown in Fig. 44, even if the detection range of the radar 560 changes from the radar detection range 562a to the radar detection range 562b, the calculation range can be set flexibly according to the radar detection range 562b. Can do. For this reason, in this embodiment, even when the detection range of the radar 560 changes, distance information in which the region corresponding to the detection range of the radar 560 is always a high-precision region can be output. Detailed distance information can be output smoothly. Example 6
  • FIG. 45 is a block diagram illustrating a schematic configuration of a processing apparatus according to the sixth embodiment.
  • the processing device 601 that works in the sixth embodiment includes a control unit 630 instead of the control unit 30 in the distance measuring device 1 shown in FIG.
  • the processing device 601 includes a contour generation unit 670 that generates contour information indicating the contour of an object located within the imaging field of view.
  • the storage unit 50 includes the detection information 51 output from the radar 60, the calculation information 52 output from the distance calculation unit 20, the distance information 53 output from the interpolation unit 31 and the image output from the imaging unit 10.
  • Various information such as information 654 and contour information 655 output from the contour generation unit 670 are stored.
  • the control unit 630 has the same function as the control unit 30 and includes an interpolation unit 631.
  • the interpolation unit 631 has a function similar to that of the interpolation unit 31 shown in FIG. 1 and uses the calculation information 52 output from the distance calculation unit 20 and the detection information 51 output from the radar 60, thereby
  • the distance information 53 is generated by interpolating between the detection values in the detection range of the converter 60 with the calculation value of the distance calculation unit 20.
  • the distance information 53 is obtained by associating a distance value with position information corresponding to the distance value.
  • the contour generation unit 670 includes a contour detection unit 671 and a determination unit 672.
  • the contour generation unit 670 generates contour information 655 indicating the contour of the object in the imaging field of view and outputs it to the control unit 630.
  • the contour detection unit 671 uses the distance information 53 to generate a candidate for contour information indicating the contour of the object in the imaging field of view.
  • the calculation value calculated by the distance calculation unit 20 is interpolated between the detection values detected by the radar 60.
  • the contour detection unit 671 uses the second-order differential method that extracts the second-order change point of each distance value of the distance information 53 to generate the contour information for obtaining the edge portion of the object.
  • the second-order differential method is a method of detecting a change point of a distance value, that is, an edge portion where the distance value changes rapidly, using a predetermined fine filter.
  • the contour detection unit 671 generates contour information using a method for obtaining, as an edge portion, a portion corresponding to the distance value having the largest value among the distance values located in the vicinity as a method for detecting the contour of the object. Also good.
  • the distance values are compared sequentially and the point that shows the largest ⁇ distance value is detected as the edge part! / Speak.
  • the contour detection unit 671 uses various distance value change patterns to detect the change point of the distance value. Then, the change point may be detected as an edge portion, and the contour information may be obtained based on the detected edge portion.
  • the determination unit 672 determines whether or not the contour information candidate generated by the contour detection unit 671 matches other contour information indicating the contour obtained based on the image signal group output from the imaging unit 10. Determine whether or not. For example, the determination unit 672 uses the color information of each image signal in the image signal group as other contour information. The determination unit 672 extracts color information of each image signal corresponding to the edge portion of the contour information generated by the contour detection unit 671 from the image signal group, and the edge portion of the contour information is sufficiently close to the changed portion of the color information. Whether or not the force is in the vicinity of is determined as a condition of conformity.
  • the contour generation unit 670 is the contour information determined by the determination unit 672 to be compatible with other contour information indicating the contour obtained based on the image signal group among the contour information candidates. Candidates determined to be appropriate are output as contour information 655.
  • FIG. 46 is a flowchart showing a processing procedure until the contour generation unit 670 completes the output of the contour information 655 in the processing device 601.
  • the control unit 630 instructs the radar 60 to perform a detection process for detecting the distance to the object located within the detection range (step S602), and the radar 60 performs the detection process.
  • the detection information 51 is output to the control unit 630.
  • the control unit 630 receives the detection information 51 output from the radar 60 (step S604).
  • the control unit 630 instructs the imaging unit 10 to perform an imaging process (step S606), and the imaging unit 10 performs an imaging process for imaging a predetermined imaging field under the control of the control unit 630.
  • the right camera 1 la and the left camera 1 lb each output an image signal group. After that, the control unit 630 performs the distance calculation unit 20 from the imaging unit 10.
  • the output image signal group is processed to instruct a distance calculation process for calculating the distance to the object located in the imaging field (step S608).
  • the distance calculation unit 20 performs distance calculation processing in accordance with an instruction from the control unit 630, and outputs calculation information 52 in which each calculation value and position information in the imaging field of view correspond to each other.
  • the control unit 630 receives the calculation information 52 output from the distance calculation unit 20 (step S610).
  • the interpolation unit 631 performs an interpolation process for creating distance information 53 obtained by interpolating the calculation values of the calculation information 52 between the detection values of the detection information 51 (step S612).
  • the detection information 51 output from the radar 60 is such that detection values with a wide interval between the respective radar detection points are sparsely arranged, for example, as detection data 651a shown in FIG.
  • the interpolating unit 631 interpolates the calculation points of the calculation information 52 between the radar detection points of the detection data 651a as described above, so that the distance values are densely arranged as shown in FIG. Distance data 653a is created.
  • the interpolation unit 631 outputs the generated distance information 53 (step S614).
  • the contour generation unit 670 performs contour generation processing for generating contour information indicating the contour of the object in the imaging field using the distance information 53 output from the interpolation unit 631, (Step S616) ), And output contour information 655 (step S618).
  • FIG. 49 is a flowchart showing the processing procedure of the contour generation processing shown in FIG.
  • the contour detection unit 671 refers to the distance information 53 output from the interpolation unit 631 (step S622). Based on the distance information 53, the contour detection unit 671 detects a candidate for contour information indicating the contour of an object located in the imaging field (step S624).
  • the contour generation unit 670 determines whether or not the generation of all the contour information for the object located within the imaging field of view is complete (step S626). If the contour generation unit 670 determines that the generation of all contour information for the object located in the imaging field of view has not been completed (step S626: No), the determination unit 672 determines the contour detection. It is determined whether or not the contour information candidate detected by the unit 671 is compatible with other contour information indicating the contour obtained based on the image signal group, and whether or not the contour information candidate is appropriate. Judgment processing is performed to determine whether or not (step S628).
  • the contour generation unit 670 determines whether or not the contour information candidate is determined to be appropriate by the determination unit 672 (step S630), and determines that the contour information candidate is not appropriate. If it is determined that it has been determined (step S630: No), the process proceeds to step S624, and the contour detection unit 671 is made to detect a new contour information candidate.
  • step S630 determines that the candidate for the contour information is determined to be appropriate by the determination unit 672 (step S630: Yes)
  • the determined contour information candidates are registered (step S632), and the process advances to step S624 to cause the contour detection unit 671 to detect new contour information candidates.
  • the determination unit 672 indicates that it is appropriate. Contour information 655 having each determined contour information candidate is created.
  • FIG. 50 is a diagram illustrating an example of distance information referred to by the contour generation unit 670.
  • the contour generation unit 670 detects contour information candidates for each row in the distance data 653b shown in FIG. 50, and outputs a group of information each having contour information corresponding to all the rows as one contour information 655. .
  • the contour detection unit 671 detects contour information in the x6 direction shown in FIG. 50.
  • the contour detection unit 671 obtains a change in distance value corresponding to the x6 direction based on the distance value in the x6 direction shown in FIG. Then, the contour detection unit 671 detects a curve 1 as shown in FIG. 51 as a candidate for contour information from this distance value change.
  • the contour detector 671
  • Eb and Ec are output. As will be described later, the determination unit 672 performs contour information indicated by the curve 1.
  • the edge candidates Ea, Eb, Ec are compared with the color information of the image signal to determine whether the information is appropriate.
  • FIG. 52 is a flowchart showing the procedure of the determination process shown in FIG. As shown in FIG. 52, first, the judgment unit 672 The contour information candidate generated by the contour detection unit 671 is referred to (step S642).
  • the determination unit 672 refers to the image information 654 including the image signal group output from the imaging unit 10 (step S644). This image information 654 corresponds to the imaging field of view of the imaging unit 10.
  • the determination unit 672 compares the color information of the image information 654 by comparing the edge portion in the contour information candidate and the color information difference between the neighboring regions corresponding to the edge portion in the image information 654, and the portion. It is determined whether or not the information difference matches the edge portion of the contour information candidate (step S646).
  • the shade of the color changes abruptly with the outline of the object displayed on the image as the boundary. Accordingly, it can be said that the portion where the difference between the color information in the image information 654, for example, the difference in the color density value is large, is the edge portion of the object displayed on the image. For this reason, when the determination unit 672 determines that the color information difference of the image information 654 matches the edge portion of the contour information candidate (step S646: Yes), the edge portion is accurately added to the contour of the object. It is thought that it corresponds. On the other hand, when the determination unit 672 determines that the color information difference of the image information 654 and the edge portion in the candidate contour information do not match (step S646: No), the edge portion is the contour of the object. It seems that it does not correspond exactly to
  • step S646 determines that the color information difference of image information 654 matches the edge portion in the candidate contour information (step S646: Yes)
  • the contour information including such an edge portion is included. Is determined to be appropriate (step S648). If it is determined that the color information difference of the image information 654 and the edge portion in the contour information candidate do not match (step S646: No), the contour information candidate including such an edge portion is not appropriate. Determine (step S650). Thereafter, the determination unit 672 outputs a determination result for the contour information candidate (step S652), and ends the determination process.
  • the determination unit 672 calculates the position information of the distance value where the edge candidate Eb is detected.
  • the determination unit 672 receives the image signal located in the area A shown in FIG.
  • Region A is the vicinity of the image signal at the same position as the edge candidate Eb. It is an area located by the side.
  • Judgment unit 672 determines the interval between image signals located in area A.
  • the density value difference in the color information is obtained, and it is determined whether or not the position of the pair of image signals having the largest density value difference matches the position of the edge candidate Eb. Difference in density value
  • the determination unit 672 determines that the color information difference of the image information 654 matches the edge portion of the contour information candidate (step S646: Yes). On the other hand, if the position of the pair of image signals with the largest difference in density value and the position of the edge candidate Eb are almost incompatible,
  • the fixing unit 672 determines that the color information difference of the image information 654 does not match the edge portion in the contour information candidate (step S646: No).
  • the determination unit 672 is similar to the position of the edge candidate Ec.
  • the color information of the image signal located in the area A located near the image signal is used.
  • the contour generation unit 670 indicates the curve 1 shown in FIG.
  • the width Y between the boundaries of the object corresponding to the edge E can be accurately obtained.
  • an interpolation curve is constituted by a curve that contains the distance data points of the point groups 1, 2, 3, 4, and 5 on the x6 axis.
  • an interpolation curve is constituted by curves that enclose points such as the point groups 10, 11 on the x6 axis.
  • the object space is composed of curves circumscribed by the point group 6, 7, 8, 9 on the x6 axis, and the boundary of the object is defined by them.
  • the object width Y, etc. can be estimated by directly estimating the parameters that approximate the shape. It is also possible to determine.
  • detailed contour information can be generated by obtaining the distance information 53 obtained by interpolating the calculation value of the distance calculation unit 20 between the detection values of the radar 60. Further, in the sixth embodiment, by determining whether or not each edge candidate in the contour information candidate is compatible with other contour information such as a color information difference in the image signal group, the contour information candidate is determined. Judgment is made on whether or not the force is appropriate, and the contour information determined to be appropriate is output. For this reason, by using the contour information 655 output from the processing device 601, it is possible to accurately perform various determination processes such as vehicle passage determination.
  • contour information in the x6 direction shown in Fig. 50 is generated.
  • the contour information in the direction corresponding to the other row in the horizontal direction is generated.
  • contour information in the direction corresponding to each column in the vertical direction may be generated.
  • contour information in an oblique direction may be generated.
  • the contour generation unit 670 generates contour information corresponding to the y9 direction shown in Fig. 50.
  • the contour detection unit 671 obtains a change in the distance value corresponding to the y9 direction based on the distance value in the y9 direction shown in FIG. 50, and the curve 1 shown in FIG.
  • the contour detection unit 671 also obtains the edge candidate Ed for the changing point force of the distance value, and outputs it along with the contour information candidate.
  • the determination unit 672 is shown in FIG.
  • Judgment processing is performed based on the color information of the image signal.
  • the determination unit 672 determines the density value in the color information of the image signal included in the area A shown in FIG.
  • the determination unit 672 determines whether or not the position of the pair of image signals having a large difference in density value is substantially compatible with the position of the edge candidate Ed.
  • the matching between the positional relationship in the image information group captured by the imaging unit 10 and the positional relationship in the detection range in the radars 60 and 560 is obtained in advance as follows.
  • Each process is performed.
  • the distance measuring devices 1, 201, 301, 401, 501 and the processing device 601 are configured to perform an imaging process in the imaging unit 10 on an object whose shape is known.
  • the detection processing in the radars 60 and 560 is performed, and the position of the known object in the imaging unit 10 and the position of the known object in the radars 60 and 560 are obtained.
  • the distance measuring devices 1, 201, 301, 401, 501 and the processing device 601 use the least square method or the like to relate the position of the known object in the imaging unit 10 and the position of the known object in the radar 60, 560. And the positional relationship in the image information group captured by the imaging unit 10 and the positional relationship in the detection range of the radars 60 and 560 are matched.
  • the distance measuring devices 1, 201, 301, 401, 501 and the processing device 601 even if the imaging origin of the imaging unit 10 and the detection origin of the radars 60, 560 may be misaligned, imaging is performed. If the distance to the distance measuring devices 1, 201, 301, 401, 501 and the processing device 601 is sufficiently large, the imaging origin and the detection origin are regarded as almost overlapping. Can do. Further, when the positional relationship in the image information group captured by the imaging unit 10 and the positional relationship in the detection range of the radars 60 and 560 are accurately matched, the imaging origin and the detection are detected by geometric transformation. It is also possible to correct the deviation from the origin.
  • the radar detection points are positioned at predetermined intervals in the pixel row where the image signals are positioned.
  • the radar detection points are not necessarily present in the pixel row where the image signals output from the imaging unit 10 are located.
  • the interpolation units 31, 331, 431, 531, 631 and the complement unit 231 use the primary interpolation method or the like based on a plurality of laser detection points located in the vicinity of each image signal to determine and correct the determination target. Find the laser interpolation value of the same pixel row as each target image signal and use this interpolation value.
  • the imaging unit 10 including the pair of imaging elements 13a and 13b corresponding to the pair of lenses 12a and 12b has been described as the imaging unit in Examples 1 to 6, but the imaging unit 10 is not limited thereto.
  • FIG. 56 a pair of light guiding optical systems and an imaging area corresponding to each light guiding optical system, and an optical signal guided by each light guiding optical system is converted into an electrical signal in each imaging area.
  • the imaging unit 110 may include an element (see, for example, Japanese Patent Laid-Open No. 8-171151 by the present applicant). As shown in FIG.
  • the imaging unit 110 includes a pair of mirrors 111a and 111b, mirrors 112a and 112b corresponding to the mirrors 111a and 11 lb, a lens 112c, and a lens 11 respectively.
  • An image sensor 113 that converts the light collected by 2c into an analog image signal
  • an AZD converter 114 that converts the analog image signal output from the image sensor 113 into a digital image signal
  • a frame memory 115 that stores the digital signal With.
  • the mirrors 11 la and 11 lb receive light from a subject such as the vehicle C, and the mirrors 112a and 112b reflect the light received by the mirrors 111a and 111b to the lens 112c.
  • the imaging unit 110 outputs an image 118 including an image 118a and an image 118b, as shown in FIG. Based on such images 118a and 118b, the distance calculators 20 and 220 can calculate distance values corresponding to the respective image signals.
  • the distance measuring devices 1, 201, 301, 40 1, 501 and the processing device 601 provided with a plurality of cameras have been described.
  • the present invention is not limited to this, and a single camera is used. It may be applied to a prepared processing device.
  • the distance calculation units 20, 220 are based on the image signal group output from the imaging unit, for example, the shape from focus method, the shape from defocus method, the shape from motion method, or the shape from shading method. Use to calculate the distance within the field of view.
  • the shape from focus method is a method for obtaining the distance of the focus position force when the focus is best achieved.
  • the shape from defocus method is a method for obtaining a relative blur amount for a plurality of image forces having different in-focus distances and obtaining a distance based on a correlation between the blur amount and the distance.
  • the shape from motion method is a method for obtaining the distance to an object based on the movement trajectory of a predetermined feature point in a plurality of temporally continuous images.
  • the shape from shading method is a method for obtaining a distance to an object based on shading in an image, reflection characteristics of a target object, and light source information.
  • the imaging unit 10 may have a so-called trinocular stereo camera structure or a so-called four-lens stereo camera structure.
  • a processing device capable of obtaining highly reliable and stable distance calculation results by performing three-dimensional reconstruction processing, etc. It is possible to do this.
  • multiple cameras are arranged so as to have a baseline length in two directions, even if multiple objects are arranged in a complicated configuration, 3D reconstruction processing is possible and stable.
  • the distance calculation result can be obtained.
  • it is possible to adopt a multi-baseline method in which a plurality of cameras are arranged in the direction of the base line length in one direction, and highly accurate distance measurement can be realized.
  • infrared light is used. It is a processing device equipped with a detector realized by a light source such as a semiconductor laser element that transmits light or visible light, a light emitting diode or a laser diode, and a light receiving element such as a photosensor that receives reflected light of an object force. It may be a distance measuring device provided with a radar type detector that measures the distance from the delay of the reflected wave using light waves, microwaves, millimeter waves, and ultrasonic waves.
  • a light source such as a semiconductor laser element that transmits light or visible light, a light emitting diode or a laser diode, and a light receiving element such as a photosensor that receives reflected light of an object force.
  • a distance measuring device provided with a radar type detector that measures the distance from the delay of the reflected wave using light waves, microwaves, millimeter waves, and ultrasonic waves.
  • the force described with the distance measuring devices 1, 201, 301, 401, 501 and the processing device 601 mounted on the vehicle as an example is not limited to this, and other mobile objects It may be applied to the processing equipment installed.
  • the present invention is not limited to a processing device mounted on a moving body, and may be applied to, for example, a processing device that measures a distance within a detection range while being fixed at a predetermined position.
  • the distance measuring device, the distance measuring method, and the distance measuring program that work on the present invention are useful for a distance measuring device that measures the distance to an object. It is suitable for a distance measuring device that measures the distance between the host vehicle and the preceding vehicle and performs various processes such as alarm output based on the measured distance between the vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

　本発明は、所定の検出範囲内に位置する物体までの距離を検出するレーダ（６０）と、所定の撮像視野に対応する画像信号群を生成する撮像部（１０）と、画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部（２０）と、演算部（２０）による演算結果を用いてレーダ（６０）による検出結果を補間し、または、レーダ（６０）による検出結果を用いて演算部（２０）による演算結果を補間する補間部（３１）と、を備えたことを特徴とする。

Description

明 細 書
距離計測装置、距離計測方法および距離計測プログラム
技術分野
[0001] 本発明は、物体までの距離を計測する距離計測装置、距離計測方法および距離 計測プログラムに関するものである。
背景技術
[0002] 近年、車両の大衆ィ匕にともなヽ、車両に搭載される各種装置が実用化されて 、る。
このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測し た車間距離に基づいて警報出力などの各種処理を行う距離計測装置がある。
[0003] 従来から、このような距離計測装置として、レーダを備えた距離計測装置が提案さ れている (特許文献 1参照)。このレーダ距離計測装置は、たとえば前方向に対してレ 一ザ光等の発信波を発して、先行車両等の障害物からの反射波を検知することによ つて障害物の有無および障害物までの距離を検出している。
[0004] 特許文献 1 :実公昭 63— 43172号公報
発明の開示
発明が解決しょうとする課題
[0005] しかしながら、従来のレーダ距離計測装置では、各検出点間の間隔が広ぐ距離情 報を疎らにしか取得することができず、この距離情報に基づいて警報出力などの各 種処理を行った場合、正確性に欠ける場合があった。
[0006] 本発明は、上記した従来技術の欠点に鑑みてなされたものであり、レーダを備えた 距離計測装置にぉ 、て、密である距離情報を取得することができる距離計測装置を 提供することを目的とする。
課題を解決するための手段
[0007] 上述した課題を解決し、目的を達成するために、本発明は、所定の検出範囲内に 位置する物体までの距離を検出する検出手段と、所定の撮像視野に対応する画像 信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置 する物体までの距離を演算する演算手段と、前記演算手段による演算結果を用いて 前記検出手段による検出結果を補間し、または、前記検出手段による検出結果を用 いて前記演算手段による演算結果を補間する補間手段と、を備えたことを特徴とする
[0008] また、本発明は、前記補間手段は、前記検出手段の検出値間に前記演算手段の 演算値を補間することを特徴とする。
[0009] また、本発明は、各検出値間を通る所定関数を求め、該所定関数が通る領域を前 記演算手段における演算範囲として設定する演算範囲設定手段を備え、前記演算 手段は、前記演算範囲に対応する前記画像信号群の中から所定条件を備えた画像 信号を検出して前記撮像視野内に位置する物体までの距離を演算することを特徴と する。
[0010] また、本発明は、前記所定関数は、一次関数であることを特徴とする。
[0011] また、本発明は、演算対象となる画像信号の近傍に位置する前記検出値または前 記演算値に基づいて前記演算手段における演算範囲を順次設定する演算範囲設 定手段を備え、前記演算手段は、前記演算範囲に対応する前記画像信号群の中か ら所定条件を備えた画像信号を検出して前記撮像視野内に位置する物体までの距 離を演算することを特徴とする。
[0012] また、本発明は、前記補間手段は、前記検出手段力 の検出結果力 非検出点を 検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距 離情報として出力することを特徴とする。
[0013] また、本発明は、前記補間手段は、前記演算手段に対して前記非検出点に対応す る領域の距離演算を指示し、前記演算手段は、前記補完手段の演算指示に基づい て距離演算を行うことを特徴とする。
[0014] また、本発明は、前記演算手段による演算値の信頼度を取得する信頼度取得手段 を備え、前記補間手段は、前記信頼度取得手段によって取得された前記信頼度が 評価基準を満たして!/、な 、前記演算値を、該演算値に対応する前記検出手段の検 出値で置き換えて距離情報を出力することを特徴とする。
[0015] また、本発明は、前記補間手段は、前記信頼度が前記評価基準を満たしていない 前記演算値に対応する範囲を前記検出手段の検出範囲として設定し、前記検出手 段は、前記検出範囲内に位置する物体までの距離を検出することを特徴とする。
[0016] また、本発明は、前記補間手段は、前記検出手段の検出値間を前記演算手段の 演算値で補間した検出範囲内情報と、前記検出範囲外に対応する前記演算値から なる検出範囲外情報とを組み合わせた距離情報を生成することを特徴とする。
[0017] また、本発明は、前記補間手段は、現処理中の前記検出範囲外情報の取得完了 までの間、前回の前記検出範囲外情報を用いて前記距離情報を生成することを特 徴とする。
[0018] また、本発明は、前記補間手段は、前記検出手段が前記検出値を取得する間に、 前記検出範囲内情報を取得することを特徴とする。
[0019] また、本発明は、前記検出手段の検出範囲を探索する検出範囲探索手段を備え、 前記補間手段は、前記検出範囲探索手段の探索結果に基づいて前記検出範囲内 情報および前記検出範囲外情報を取得することを特徴とする。
[0020] また、本発明は、前記検出手段における検出値と前記演算手段における演算値と に基づいて前記撮像視野内の物体の輪郭を示す輪郭情報を生成する輪郭生成手 段を備えたことを特徴とする。
[0021] また、本発明は、前記輪郭生成手段が生成した前記輪郭情報が、前記画像信号群 に基づいて求めた輪郭を示す他の輪郭情報と適合するカゝ否かを判定する判定手段 を備え、前記輪郭生成手段は、前記判定手段が適合すると判定した前記輪郭情報 を出力することを特徴とする。
[0022] また、本発明は、前記撮像手段は、第 1の光路を介して撮像した第 1の前記画像信 号群と、第 2の光路を介して撮像した第 2の前記画像信号群とを生成し、前記演算手 段は、前記第 2の画像信号群の中から前記第 1の画像信号群の任意の画像信号と 整合する画像信号を検出し、検出した画像信号における前記任意の画像信号から の移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを 特徴とする。
[0023] また、本発明は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光 信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
[0024] また、本発明は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応す る撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に 変換する撮像素子と、を備えたことを特徴とする。
[0025] また、本発明は、当該距離計測装置は、車両に搭載されることを特徴とする。
[0026] また、本発明は、所定の検出範囲内に位置する物体までの距離を検出する検出ス テツプと、所定の撮像視野に対応する画像信号群を生成する撮像ステップと、前記 画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算 ステップと、前記演算ステップにおける演算結果を用いて前記検出ステップにおける 検出結果を補間し、または、前記検出ステップにおける検出結果を用いて前記演算 ステップにおける演算結果を補間する補間ステップと、を含むことを特徴とする。
[0027] また、本発明は、所定の検出範囲内に位置する物体までの距離を検出する検出手 順と、所定の撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信 号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と
、前記演算手順における演算結果を用いて前記検出手順における検出結果を補間 し、または、前記検出手順における検出結果を用いて前記演算手順における演算結 果を補間する補間手順と、を含むことを特徴とする。
発明の効果
[0028] 本発明に力かる距離計測装置、距離計測方法および距離計測プログラムは、補間 手段を備えることによって、詳細な距離情報を取得することができ、この距離情報に 基づく各種安全運転支援処理を正確に行なうことができるという効果を奏する。 図面の簡単な説明
[0029] [図 1]図 1は、実施例 1にかかる距離計測装置の概略構成を示すブロック図である。
[図 2]図 2は、図 1に示す距離計測装置において距離情報の出力を完了するまでの 処理手順を示すフローチャートである。
[図 3]図 3は、図 1に示すレーダの検出可能範囲を説明する図である。
[図 4]図 4は、図 2に示す演算範囲設定処理を説明する図である。
[図 5]図 5は、図 1に示す距離演算部が行う距離演算処理を説明する図である。
[図 6]図 6は、図 1に示す距離演算部が行う距離演算処理を説明する図である。
[図 7]図 7は、図 2に示す補間処理を説明する図である。 [図 8]図 8は、図 1に示す距離情報の一例を示す図である。
[図 9]図 9は、従来の距離計測装置における距離演算部が行う距離演算処理を説明 する図である。
[図 10]図 10は、図 2に示す演算範囲設定処理を説明する図である。
[図 11]図 11は、図 2に示す演算範囲設定処理を説明する図である。
[図 12]図 12は、実施例 2にかかる距離計測装置の概略構成を示すブロック図である
[図 13]図 13は、図 12に示す距離計測装置において距離情報の出力を完了するまで の処理手順を示すフローチャートである。
[図 14]図 14は、図 13に示す補完処理の処理手順を示すフローチャートである。
[図 15]図 15は、図 12に示す検出情報の一例を示す図である。
[図 16]図 16は、図 12に示す距離演算部が行う距離演算処理を説明する図である。
[図 17]図 17は、図 12に示す補完部が行う補完処理を説明する図である。
[図 18]図 18は、図 12に示す撮像部が撮像した画像の一例を示す図である。
[図 19]図 19は、図 12に示す撮像部が撮像した画像の一例を示す図である。
[図 20]図 20は、 実施例 3にかかる距離計測装置の概略構成を示すブロック図であ る。
[図 21]図 21は、図 20に示す距離計測装置において距離情報の出力を完了するまで の処理手順を示すフローチャートである。
[図 22]図 22は、図 21に示す距離演算処理を説明する図である。
[図 23]図 23は、図 21に示す信頼度取得処理を説明する図である。
[図 24]図 24は、図 20に示す演算情報の一例を示す図である。
[図 25]図 25は、図 20に示す信頼度情報の一例を示す図である。
[図 26]図 26は、図 20に示すレーダの検出可能範囲を説明する図である。
[図 27]図 27は、図 20に示す補間部の処理を説明する図である。
[図 28]図 28は、図 21に示す信頼度取得処理を説明する図である。
[図 29]図 29は、図 20に示す撮像部 10から出力された画像信号群の一例を示す図 である。 [図 30]図 30は、実施例 4にかかる距離計測装置の概略構成を示すブロック図である
[図 31]図 31は、図 30に示す距離計測装置において距離情報の出力を完了するまで の処理手順を示すフローチャートである。
[図 32]図 32は、図 31に示す演算範囲設定処理の処理手順を示すフローチャートで ある。
[図 33]図 33は、図 32に示す演算範囲設定処理を説明する図である。
[図 34]図 34は、図 31に示す補間処理の処理手順を示すフローチャートである。
[図 35]図 35は、図 31に示す補間処理を説明する図である。
[図 36]図 36は、図 31に示す補間処理を説明する図である。
[図 37]図 37は、図 30に示す距離情報を説明する図である。
[図 38]図 38は、図 30に示す撮像部が撮像した画像の一例を示す図である。
[図 39]図 39は、実施例 5にかかる距離計測装置の概略構成を示すブロック図である
[図 40]図 40は、図 39に示す距離計測装置において距離情報の出力を完了するまで の処理手順を示すフローチャートである。
[図 41]図 41は、図 40に示す検出範囲探索処理の処理手順を示すフローチャートで ある。
[図 42]図 42は、図 40に示す演算範囲設定処理の処理手順を示すフローチャートで ある。
[図 43]図 43は、図 40に示す演算範囲設定処理を説明する図である。
[図 44]図 44は、図 40に示す演算範囲設定処理を説明する図である。
[図 45]図 45は、実施例 6にかかる処理装置の概略構成を示すブロック図である。
[図 46]図 46は、図 45に示す処理装置において輪郭情報の出力を完了するまでの処 理手順を示すフローチャートである。
[図 47]図 47は、図 45に示すレーダから出力される検出情報の一例を示す図である。
[図 48]図 48は、図 45に示す距離情報の一例を示す図である。
[図 49]図 49は、図 46に示す輪郭生成処理の処理手順を示すフローチャートである。 [図 50]図 50は、図 45に示す距離情報の一例を示す図である。
[図 51]図 51は、図 46に示す輪郭生成処理を説明する図である。
[図 52]図 52は、図 49に示す判定処理の処理手順を示すフローチャートである。
[図 53]図 53は、図 49に示す判定処理を説明する図である。
[図 54]図 54は、図 45に示す輪郭情報を説明する図である。
[図 55]図 55は、図 46に示す輪郭生成処理を説明する図である。
[図 56]図 56は、図 1に示す撮像部の概略構成の他の例を示すブロック図である。
[図 57]図 57は、図 56に示す撮像部から出力される画像の一例を示す図である。 符号の説明
1, 201, 301, 401, 501 距離計測装置
10 撮像部
11a 右カメラ
l ib 左カメラ
12a, 12b, 112c レンズ
13a, 13b, 113 撮像素子
14a, 14b, 114 A,D変換部
15a, 15b, 115 フレームメモジ
16a, 116a 右画像信号群
16b, 116b 左画像信号群
20, 320 距離演算部
21 演算部
22 メモリ
25a, 25b, 525b, 535b, 1162b, 161a, 161b, 165a 画像信号
30, 230, 330, 430, 530, 630 制御部
31, 331, 431, 531, 631 補間部
32, 433, 533 演算範囲設定部
40 出力部
50 記憶部 ， 353 検出情報
a 検出可能範囲
, 351 , 453, 553 演算情報
， 53a, 253, 354， 454, 554 距離情報
, 560 レーダ
1a, 111b, 112a, 112b ミラー
8， 118a, 118b, 217, 416, 654a 画像
3, 525, 525A, 535, 535A, 545A, 555A 演算点1 補完部
0 基準信号
1a, 353a, 451a, 651a 検出データ
2a, 351a, 453a, 453b, 453c 演算データ
3a, 354a, 454a, 454b, 653a, 653b 距離データ3 非検出点
8 画像信号群
9a 黒色領域
9b 白色領域
3 信頼度取得部
2 検出範囲設定部
2 信頼度情報
2a 信頼度データ
1b, 352b 低信頼度領域
2 検出可能範囲
3 検出範囲
， 524 演算可能範囲
, 534 タイマー
c 距離データ範囲
5, 515A, 555, 565A, 595 レーダ検出点 532 検出範囲探索部
552 探索情報
562a, 562b レーダ検出範囲
563 非検出領域
601 処理装置
654 画像情報
655 輪郭情報
670 輪郭生成部
671 輪郭検出部
672 判定部
C 車両
発明を実施するための最良の形態
[0031] 以下に、本発明に力かる距離計測装置、距離計測方法および距離計測プログラム の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限 定されるものではない。また、図面の記載において、同一部分には同一の符号を付 している。
実施例 1
[0032] まず、本実施例 1にかかる距離計測装置について、車両に搭載され、検出範囲内 の距離情報を出力する距離計測装置を例として説明する。この距離計測装置が出力 する距離情報に基づいて、他の装置などによる各種安全運転支援処理が行われる。 本実施例 1にかかる距離計測装置は、レーダの検出値間に距離演算部が距離演算 を行った演算値を補間している。図 1は、本実施例 1にかかる距離計測装置の概略 構成を示すブロック図である。
[0033] 図 1に示すように、本実施例 1にかかる距離計測装置 1は、少なくともレーダ 60の検 出範囲を含む撮像視野を有し、この撮像視野に対応する画像信号群を生成する撮 像部 10と、撮像部 10が生成した画像信号群に基づいて撮像視野内に位置する物 体までの距離を演算する距離演算部 20と、距離計測装置を構成する各構成部の各 処理および各動作を制御する制御部 30と、距離情報を含む各種情報を出力する出 力部 40と、距離情報を含む各種情報を記憶する記憶部 50と、所定の検出範囲内に 位置する物体までの距離を検出するレーダ 60とを備える。撮像部 10と、距離演算部 20と、出力部 40と、記憶部 50と、レーダ 60とは、制御部 30に電気的に接続される。 また、制御部 30は、演算範囲設定部 32を有する補間部 31を備える。
[0034] 撮像部 10は、右カメラ 11aと左カメラ l ibとを備える。右カメラ 11aおよび左カメラ 11 bは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ 11aおよび左 カメラ l ibは、それぞれ、レンズ 12a, 12bと、撮像素子 13a, 13bと、アナログ Zデジ タノレ (A/D)変換咅 14a, 14bと、フレームメモリ 15a, 15bとを備える。レンズ 12a, 1 2bは、所定の視野角から入射する光を集光する。レンズ 12a, 12bにそれぞれ対応 して配置される撮像素子 13a, 13bは、 CCDまたは CMOSなどによって実現され、レ ンズ 12a, 12bを透過した光を検知してアナログ画像信号に変換する。 AZD変換部 14a, 14bは、撮像素子 13a, 13bから出力されたアナログ画像信号をデジタル画像 信号に変換する。フレームメモリ 15a, 15bは、 AZD変換部 14a, 14bから出力され たデジタル画像信号を記憶し、 1枚の撮像画像に対応するデジタル画像信号群を、 撮像視野に対応する画像信号群として随時出力する。
[0035] 距離演算部 20は、撮像部 10から出力された画像信号群を処理して、撮像視野内 に位置する物体までの距離を演算する演算部 21と、撮像部 10から出力された画像 信号群を記憶するメモリ 22とを備える。距離演算部 20は、演算範囲設定部 32が設 定した演算範囲に対応する画像信号群の中から、所定条件を備えた画像信号を検 出し、撮像視野内に位置する物体までの距離を演算する。
[0036] 演算部 21は、ステレオ法を用いて、撮像部 10から出力された画像信号群に基づい て撮像視野内に位置する物体までの距離を演算する。演算部 21は、右カメラ 11aか ら出力された右画像信号群の中から、左カメラ l ibから出力された左画像信号群中 における任意の画像信号と整合する画像信号を検出し、検出した画像信号における 任意の画像信号力もの移動量 Iをもとに、三角測量の原理によって距離を演算する。 ここで述べた移動量は一般的に言われる視差量を示す。演算部 21は、以下の（1) 式を用いて、撮像部 10から対象物体である車両 Cまでの距離 Rを求める。（1)式に おいて、 fはレンズ 12a, 12bの焦点距離であり、 Lはレンズ 12a, 12bの光軸間の幅 である。また、移動量 Iは、移動した画素の数と画素ピッチとをもとに求めてもよい。 R = f-L/I- - - (1)
演算部 21は、各画像信号に対応した距離 Rを演算し、距離演算部 20は、演算値と 撮像視野内における位置情報とをそれぞれ対応させて制御部 30に出力する。なお、 ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、 焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキヤリブレーシ ヨンし、レクティフィケーシヨンにより補正し、演算処理による平行ステレオを実現しても 良い。
[0037] 制御部 30は、記憶部 50に記憶された処理プログラムを実行する CPUなどによって 実現され、撮像部 10と距離演算部 20と出力部 40と記憶部 50とレーダ 60との各処理 または動作を制御する。制御部 30は、これらの各構成部位に入出力される情報につ いて所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う
[0038] 補間部 31は、レーダ 60から検出された検出情報 51と距離演算部 20から出力され た演算情報 52とをもとに、レーダ 60の検出値間に演算部 20から出力された演算値 を補間する。補間部 31は、レーダ 60の検出値間に演算値を補間した検出結果を距 離情報として出力する。
[0039] また、補間部 31は、レーダ 60の検出情報 51に基づいて距離演算部 20における演 算範囲を設定する演算範囲設定部 32を備える。演算範囲設定部 32は、各検出値 間を通る所定関数を求め、この所定関数が通る領域を演算部 20における演算範囲 として設定する。なお、本実施例 1では、演算範囲設定部 32は、各検出値間を通る 一次関数を求め、この一次関数が通る領域を演算部 20における演算範囲として設 定する場合について説明する。
[0040] 出力部 40は、液晶ディスプレイ、有機エレクト口ルミネッセンスディスプレイなどによ つて実現され、距離情報に加え撮像部 10が撮像した画像などの各種表示情報を表 示出力する。また、出力部 40は、スピーカをさらに備え、距離情報のほか、先行する 車両 Cと接近した旨を報知させる警告音声などの各種音声情報を出力する。
[0041] 記憶部 50は、処理プログラム等の各種情報が予め記憶された ROMと、各処理の 演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声 情報等を記憶する RAMとを備える。たとえば、記憶部 50は、レーダ 60から出力され た検出情報 51、距離演算部 20から出力された演算情報 52および補間部 31から出 力された距離情報 53を記憶する。
[0042] レーダ 60は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を 受信して、発信状態および受信状態をもとに、レーダ 60から発信波を反射した物体 までの距離と、この物体が位置する方向とを検出する。レーダ 60は、発信波の送信 角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受 信するまでの時間、反射波の周波数変化などをもとに、距離計測装置 1から発信波 を反射した物体までの距離を検出する。レーダ 60は、検出範囲内に位置する物体ま での検出距離値と、検出範囲内における位置情報とを対応させた検出データ 51を 制御部 30に出力する。レーダ 60は、発信波として、レーザ光、赤外線またはミリ波を 送信する。
[0043] つぎに、距離計測装置 1が行う処理動作のうち、補間部 31が距離情報 53を出力す るまでの処理動作について説明する。図 2は、距離計測装置 1において、補間部 31 が距離情報 53の出力を完了するまでの処理手順を示すフローチャートである。
[0044] 図 2に示すように、まず、制御部 30は、レーダ 60に対して、検出範囲内に位置する 物体までの距離を検出する検出処理の指示を行う（ステップ S102)。レーダ 60は、 制御部 30の指示にした力^、、検出範囲内に位置する物体までの距離を検出し、検 出情報 51を制御部 30に出力する。制御部 30は、レーダ 60から出力された検出情報 51を受信する（ステップ S 104)。
[0045] その後、演算範囲設定部 32は、レーダ 60から受信した検出情報 51をもとに、各検 出値間を通る一次関数を求め、この一次関数が通る領域を演算部 20における演算 範囲として設定する演算範囲設定処理を行う (ステップ S106)。ここで、演算範囲設 定部 32は、撮像部 10から出力される画像信号群の各画像信号にそれぞれ対応した 演算範囲を設定する。
[0046] つぎに、制御部 30は、撮像部 10に対して、撮像処理を指示する (ステップ S108)。
撮像部 10は、制御部 30の指示にしたがって撮像処理を行い、右カメラ 11aおよび左 カメラ 1 lbは、それぞれの撮像視野に対応する画像信号群を出力する。
[0047] その後、制御部 30は、演算部 20に対して、距離演算処理を指示する (ステップ S1 10)。演算部 21は、制御部 30の指示にしたがって、右カメラ 11aから出力された右画 像信号群のうち、演算範囲設定部 32が設定した演算範囲に対応する画像信号群の 中から、左画像信号群の中の任意の画像信号と整合する画像信号を検出して、この 任意の画像信号に対応する距離演算を行う。距離演算部 20は、演算部 21が、各画 像信号に対して距離演算を行った後、演算情報 52を制御部 30に出力する。制御部 30は、距離演算部 20から出力された演算情報 52を受信する (ステップ S112)。
[0048] 補間部 31は、レーダ 60の各検出値間に、演算部 20から出力された演算値をそれ ぞれ補間する補間処理を行う（ステップ S114)。制御部 30は、検出値間に演算値が 補間された補間結果を距離情報 53として出力する (ステップ S116)。
[0049] つぎに、演算範囲設定部 32が行う演算範囲設定処理について具体的に説明する 。図 3は、レーダ 60における検出可能範囲の一例を示す図である。図 3では、レーダ 60が検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「參」と して示す。なお、図 3は、レーダ 60の検出可能範囲と撮像部 10から出力された画像 信号群とを重ね合わせており、図 3における各セルは、たとえば左カメラ l ibから出力 された左画像信号群の各画像信号に対応する。以下、演算範囲設定処理において 、図 3に示す画像信号群のうち、レーダ検出点 515とレーダ検出点 555との間に位置 する画像信号 525b, 535bに対して、距離演算部 20における演算範囲を設定する 場合を例として説明する。
[0050] 図 4は、図 2に示す演算範囲設定処理を説明する図である。図 4は、横軸に図 3に 示す画像信号群において、レーダ検出点 515, 555が位置する画素行における画 素列数を示し、縦軸にレーダ 60において検出されたレーダ検出点 515, 555の検出 距離を示す。図 4では、画素列「1」はレーダ検出点 515に対応する列数であり、画素 列「5」はレーダ検出点 555に対応する列数である。また、画像信号 525bは、画素列 「2」に対応し、画像信号 535bは、画素列「3」に対応する。
[0051] まず、演算範囲設定部 32は、レーダ検出点 515とレーダ検出点 555とを通る 1次関 数を求める。この場合、図 4に示すように、レーダ検出点 515とレーダ検出点 555とを 通る 1次関数は、直線 laとなる。
[0052] 演算範囲設定部 32は、所定値 eを直線 laの上下にそれぞれ加えて形成された領域 Saを求める。たとえば、この所定値 eは、レーダ検出値間における各距離値が分布す る確率に基づいて定められる。
[0053] つぎに、演算範囲設定部 32は、この領域 Saをもとに画像信号 525b, 535bに対す る演算範囲を設定する。具体的には、演算範囲設定部 32は、画像信号 525bに対応 する演算範囲として、画素列「2」における領域 Sa上の距離幅 Y2を求める。演算範囲 設定部 32は、右画像信号群のうち、距離幅 Y2に対応する画像信号群を画像信号 5 25bに対応する演算範囲として設定する。図 5を参照して、画像信号 525bに対応す る演算範囲を具体的に説明する。
[0054] 図 5は、右カメラ 11aから出力された右画像信号群と、左カメラ l ibから出力された 左画像信号群とを示す図である。演算範囲設定部 32は、右画像信号群 16aのうち、 図 4に示す距離幅 Y2に対応する画像信号群を、左画像信号群 16bにおける画像信 号 525bに対応する演算範囲として設定する。この場合、右画像信号群 16aのうち、 図 4に示す距離幅 Y2に対応する画像信号群は、たとえば図 5に示す領域 S11内に 位置する画像信号群となる。その後、演算部 21は、演算範囲設定部 32が設定した 演算範囲、すなわち、右画像信号群 16aの領域 S11内に位置する画像信号群の中 から画像信号 525bと整合する画像信号を検出する。演算部 21は、検出した画像信 号の位置カゝら移動量 Iを求め、（1)式を用いて、画像信号 525bに対応する距離値を 演算する。この結果、図 7に示す演算点 525が得られる。
[0055] また、演算範囲設定部 32が画像信号 535bに対応する演算範囲を設定する場合 には、画素列「3」における領域 Sa上の距離幅 Y3を求め、右画像信号群のうち、距 離幅 Y3に対応する画像信号群を画像信号 535bに対応する演算範囲として設定す る。この場合、演算範囲設定部 32は、右画像信号群 16aのうち、図 4に示す距離幅 Y 3に対応する画像信号群、たとえば図 6に示す領域 S22内に位置する画像信号群を 左画像信号群 16bにおける画像信号 535bに対応する演算範囲として設定する。そ の後、演算部 21は、画像信号 535bと整合する画像信号を、右画像信号群 16aの領 域 S22内に位置する画像信号群の中から検出し、画像信号 535bに対応する距離値 を演算する。この結果、図 7に示す演算点 535が得られる。
[0056] また、図 3に示すレーダ検出点 555とレーダ検出点 595との間に位置する各画像信 号の演算範囲を設定する場合には、図 4に示すように、レーダ検出点 555とレーダ検 出点 595とを通る直線 lbを求め、この直線 lbを中心とした領域 Sbをもとに各画像信号 に対して演算範囲を設定する。距離演算部 20が各画像信号に対して距離演算処理 を順次行った結果、図 7に示すように、レーダ検出点 515, 555, 595間に位置する 各演算点の距離値が得られることとなる。このように、演算範囲設定部 32は、レーダ 検出点をもとに演算対象となる各画像信号に対応した演算範囲を設定する。また、 距離演算部 20は、右画像信号群 11aのうち、演算範囲設定部 32によって設定され た演算範囲内に位置する画像信号の中から、左画像信号群 l ibにおける演算対象 の画像信号と整合する画像信号を検出し、距離演算を行う。
[0057] その後、図 2に示す補間処理 (ステップ S114)では、補間部 31が、図 8に示すよう に、レーダ検出点（「拳」として示す。）間に、距離演算部 20において演算された演算 点 (演算点を「〇」として示す。）を補間することによって補間処理を行う。補間部 31は 、この補間処理の補間結果を距離情報 53として出力する。
[0058] このように、本実施例 1にかかる距離計測装置 1では、レーダ 60における各検出点 間に、距離演算部 20における演算値を補間した距離情報 53を出力するため、詳細 な距離情報を取得することが可能となる。この結果、距離計測装置 1では、この距離 情報 53に基づく各種安全運転支援処理を正確に行うことが可能となる。
[0059] また、従来の距離計測装置では、距離演算部は、図 9に示す左画像信号群 116b の画像信号 1162bに対して距離演算処理を行う場合、この画像信号 1162bと整合 する画像信号を、画像信号 1162bを通過する任意の直線と同一直線上に位置する 右画像信号群 116aの全ての画像信号から検出する必要があった。すなわち、従来 では、距離演算部は、画像信号 1162bと同一直線上に位置する全ての画像信号が 含まれる領域 S10の中から、画像信号 1162bと整合する画像信号を検出することを 要していた。
[0060] これに対し、本実施例 1にかかる距離計測装置 1では、距離演算部 20は、右画像 信号群 16aのうち、演算範囲設定部 32によって設定された演算範囲に含まれる画像 信号の中から、左画像信号群の演算対象である画像信号と整合する画像信号を探 索している。このため、本実施例 1にかかる距離計測装置 1では、従来の距離計測装 置と比較し、距離演算部 20において、任意の画像信号と整合する画像信号の検出 範囲が狭くなり、整合が検討される画像信号数が低減される。したがって、本実施例 1にかかる距離計測装置 1では、従来の距離計測装置と比較し、画像信号を検出す るために要する処理時間を短縮することが可能となる。この結果、本実施例 1にかか る距離計測装置 1では、従来の距離計測装置と比較し、迅速に距離情報を取得する ことが可能となる。
[0061] なお、演算範囲設定部 32は、図 10に示すように、直線 laを中心として所定の確率 分布に基づいて形成された領域 Scをもとに演算範囲を設定してもよい。この場合、 図 10に示すように、画像信号 525bに対する演算範囲は、画素列「2」における領域 Sc上の距離 Y22をもとに設定され、画像信号 535bに対する演算範囲は、画素列「3 」における領域 Sc上の距離 Y23をもとに設定される。
[0062] また、本実施例 1では、演算範囲設定部 32は、レーダ検出値間を通る一次関数を 求め、この一次関数が通る領域をもとに距離演算部 20における演算範囲を設定した 力 これに限らず、レーダ検出値間を通る二次関数または三次関数などを求めてもよ ぐレーダ検出値間を通り、レーダ検出点間における距離値に近接する確率が高い 所定の関数を求めれば足りる。
[0063] また、本実施例 1では、演算範囲設定部 32は、レーダ検出値間を通る一次関数を 求め、この一次関数が通る領域をもとに距離演算部 20における演算範囲を設定した 場合について説明したが、これに限らず、演算対象となる画像信号の近傍に位置す るレーダ検出値または演算値をもとに距離演算部 20の演算範囲を順次設定してもよ い。
[0064] たとえば、演算範囲設定部 32が図 11に示す画素列「2」に位置する画像信号に対 して演算範囲を設定する場合について説明する。この場合、演算範囲設定部 32は、 この画素列「2」〖こ位置する画像信号に隣接するレーダ検出点 515Aをもとに領域 S2 を設定する。たとえば、この領域 S2は、画素列「2」に位置する画像信号の演算値の 分布確率をもとに定められる。そして、演算範囲設定部 32は、この領域 S2上の距離 幅 Y32に対応する画像信号群を画素列「2」に位置する画像信号の演算範囲として 設定する。距離演算部 20は、距離幅 Y32に対応する画像信号群の中から所定の画 像信号を検出して、距離演算処理を行うことによって演算点 525Aにおける距離値を 求める。
[0065] また、演算範囲設定部 32は、画素列「3」に位置する画像信号に対して演算範囲を 設定する場合には、画素列「3」に位置する画像信号に隣接する距離演算部 20が演 算した演算点 525Aをもとに領域 S3を設定し、この領域 S3の距離幅 Y33に対応した 演算範囲を設定する。さらに、画素列「5」に位置する画像信号に対して、演算範囲を 設定する場合には、画素列「5」に隣接する演算点 545Aまたはレーダ検出点 565A をもとに演算範囲を設定できる。このように、演算範囲設定部 32は、演算対象となる 画像信号の近傍に位置するレーダ検出点または演算点をもとに、順次演算範囲を設 定してもよい。また、図 3は、レーダ 60における検出範囲と撮像部 10における撮像範 囲とを重ね合わせた図であり、各画像信号が位置する領域のいずれかにレーダ検出 点が対応する場合について説明したが、必ずしも、レーダ検出点が撮像部 10から出 力された各画像信号の位置に適合するとは限らない。この場合には、演算範囲設定 部 32は、演算対象となる画像信号の近傍に位置する複数のレーダ検出値をもとに、 一次補間法などを用いて演算対象となる画像信号と同画素行のレーダ検出値をそ れぞれ補間し、この補間検出値を用いて演算範囲を設定すればよい。
実施例 2
[0066] つぎに、実施例 2にかかる距離計測装置について説明する。図 12は、本実施例 2 にかかる距離計測装置の概略構成を示すブロック図である。図 12に示すように、実 施例 2にかかる距離計測装置 201は、図 1に示す距離計測装置 1の制御部 30に代 えて制御部 230を備える。
[0067] 制御部 230は、制御部 30と同様の機能を有するとともに、補完部 231を備える。補 完部 231は、図 1に示す補間部 31と同様の機能を有するとともに、レーダ 60からの 検出結果力 非検出点を検出し、この非検出点に距離演算部 20における演算値を 補充した検出結果を距離情報として出力する。また、補完部 231は、距離演算部 20 に対して、検出結果における非検出点に対応する領域の距離演算を指示する。記憶 部 50は、補完部 231から出力された距離情報 253を記憶する。また、レーダ 60は、 発信波を反射する物体が存在しない領域や発信波を吸収する部材を備えた物体が 存在する領域に対して発信波を発信した場合、反射波を受信することがない。このた め、このような領域は、検出情報 51において、距離を検出することができない非検出 点となる。
[0068] つぎに、距離計測装置 201の動作のうち、制御部 230が距離情報 253を出力する までの処理動作について説明する。図 13は、距離計測装置 201において、制御部 2 30が距離情報 253の出力を完了するまでの処理手順を示すフローチャートである。
[0069] 図 13に示すように、まず、制御部 230は、レーダ 60に対して、検出範囲内に位置 する物体までの距離を検出する検出処理の指示を行う（ステップ S 202)。レーダ 60 は、制御部 230の検出処理の指示にした力^、、検出範囲内に位置する物体までの 距離を検出し、検出情報 51を制御部 230に出力する。制御部 230は、レーダ 60から の検出情報 51を受信し (ステップ S204)、補完部 231は、受信した検出情報 51の中 に、レーダ 60の検出範囲内における非検出点を検出する (ステップ S206)。つぎに 、補完部 31は、受信した検出結果に非検出点があるか否かを判断する (ステップ S2 08)。補完部 231は、非検出点があると判断した場合には (ステップ S208 : Yes)、非 検出点に距離演算部 20の演算値を補充する補完処理を行い (ステップ S210)、非 検出点に距離演算部 20の演算値を補充した検出結果を距離情報として出力する（ ステップ S212)。一方、補完部 231は、非検出点がないと判断した場合には (ステツ プ S208 :No)、受信した検出情報 51を距離情報 253として出力する (ステップ S212
) o
[0070] つぎに、図 13に示す補完処理について説明する。図 14は、図 13に示す補完処理 の処理手順を示すフローチャートである。図 14に示すように、制御部 230は、撮像部 10に対して撮像処理を指示する (ステップ S222)。次いで、補完部 231は、距離演 算部 20に対して、検出した非検出点に対応する領域の距離演算を指示する (ステツ プ S224)。距離演算部 20は、補完部 231の演算指示にしたがって、非検出点に対 応する領域の距離を演算する距離演算処理を行!ヽ (ステップ S226)、各演算値を演 算情報 52として制御部 230に出力する。補完部 231は、距離演算部 20から出力さ れた演算情報 52を用いて、距離演算部 20が演算した演算値を検出情報 51におけ る非検出点に補充し (ステップ S228)、補完処理を終了する。
[0071] つぎに、図 13および図 14に示す各処理手順について具体的に説明する。図 15は 、図 12に示す検出情報 51の一例を示す図である。図 15に示す検出データ 251aで は、レーダ 60が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検 出点「參」として示し、検出しな力つた箇所をレーダ非検出点「 X」として示す。
[0072] 補完部 231は、検出データ 251aから、レーダ非検出点を検出した場合 (ステップ S 208： Yes)、撮像部 10に撮像処理を指示した (ステップ S222)後、レーダ非検出点 に対応する領域、たとえば図 15の領域 S2aの距離演算を距離演算部 20に対して指 示する（ステップ S 224)。
[0073] 距離演算部 20は、補完部 231の指示にしたがって、図 16に示すように、右カメラ 1 laから出力された右画像信号群 16aと左カメラ l ibから出力された左画像信号群 16 bとをもとに、領域 S2aにおける距離演算を行う（ステップ S226)。左画像信号群 16b において領域 S2aに対応する画像信号が 161bである場合には、演算部 21は、まず 、右画像信号群 16aにおいて画像信号 161bと対応する箇所に位置する画像信号 1 61aと、画像信号群 161bとを比較し、画像信号 161aと画像信号 161bとが整合する か否かを検討する。演算部 21は、画像信号 161aと画像信号 161bとが整合しないと 判断した場合には、図 16の右方向に順次移動しながら、画像信号 161bと整合する 画像信号を探索する。演算部 21が、右画像信号群 16aにおいて、画像信号 161bと 整合する画像信号 165aを検出した場合には、画像信号 161aから画像信号 165aま での移動量 121を求め、（1)式を用いて領域 S2aにおける距離を演算する。このよう に、距離演算部 20は、レーダ 60の検出情報 51における非検出点に対応する領域 に対してのみ距離演算を行!ヽ、この領域に対応して演算したそれぞれの演算値を演 算情報 52として制御部 230に出力する。
[0074] つぎに、補完部 231が、距離演算部 21が演算した演算値を検出情報 51における 非検出点に補充する処理 (ステップ S228)について、図 17を用いて説明する。ここ で、図 17では、図 15と同様に、レーダ 60が、検出範囲内に位置する物体までの距 離を検出した箇所をレーダ検出点「參」として示し、検出しなかった箇所をレーダ非検 出点「 X」として示すとともに、距離演算部 20が距離を演算した領域を演算点「〇」と して示す。
[0075] 図 17に示すように、まず、距離演算部 20から、検出データ 251aの非検出点に対 応した領域における距離を演算した演算データ 252aが出力される。つぎに、補完部 231は、レーダ 60から出力された検出データ 251aにおける非検出点に、距離演算 部 20から出力された演算データ 252aにおける演算値を補充することによって、距離 データ 253aを作成する。この結果、距離計測装置 201では、検出範囲内の全ての 検出点に対応した距離情報を出力することができる。
[0076] 従来の距離計測装置では、発信波を発信した全ての箇所に対する距離を検出す ることができな力つた。たとえば、従来の距離計測装置では、図 18の画像 217に示す ように、先行する車両 Cのガラス部分にレーダから発信波が送信された場合、この発 信波がガラスに吸収されてしまい、レーダは反射波を受信できな力つた。このため、 従来の距離計測装置では、この領域に対応する距離情報は非検出点 263とされ、自 車両と車両 Cとの間の距離を出力できな力つた。したがって、従来の距離計測装置で は、車両じが自車両と近接して!/、た場合であっても警告音声を出力することができず 、先行する車両 Cが近接して 、る旨を自車両の運転者に対して報知することができな かった。この結果、従来の距離計測装置では、安全運転支援を正確に行うことができ ないという弊害があった。
[0077] これに対し、本実施例 2にかかる距離計測装置 201では、補完部 231が、検出情報 51における非検出を検出し、距離演算部 20が演算した演算値を非検出点に補充し た距離情報 253を出力する。すなわち、距離計測装置 201は、発信波を発信した全 ての箇所に対する距離情報を出力することが可能となる。たとえば、図 19に示すよう に、先行する車両 Cのガラス部分に対応する領域の距離がレーダ 60によって検出さ れず、非検出点とされた場合であっても、補完部 231は、この非検出点に距離演算 部 20による演算点 223を補充している。このため、距離計測装置 201では、レーダ 6 0による距離検出が不可能である位置に車両 Cが位置しており、この車両じが自車両 に近接していた場合であっても、演算値 23をもとに出力部 40から警告音声を出力し て、運転者に対して先行する車両 Cが近接している旨を報知することができる。した がって、本実施例 2にかかる距離計測装置 1によれば、安全運転支援を正確に行うこ とがでさる。
[0078] また、本実施例 2では、距離演算部 20は、補完部 231が指示した領域に対しての み距離演算処理を行う。すなわち、距離演算部 20は、撮像部 10から出力された画 像信号群の全ての画像信号に対して、距離演算処理を行う必要がない。このため、 本実施例 2では、全画像信号に対して距離演算処理を行った場合と比較して、距離 演算部 20における距離演算処理に要する時間を短縮することができる。この結果、 距離計測装置 201によれば、レーダ 60に距離検出の指示を行って力も補完部 231 が距離情報を出力するまでに要する処理時間の短縮ィ匕を図ることができ、正確な距 離情報を迅速に取得することが可能となる。
実施例 3
[0079] つぎに、実施例 3にかかる距離計測装置について説明する。図 20は、本実施例 3 にかかる距離情報装置の概略構成を示すブロック図である。図 20に示すように、実 施例 3にかかる距離計測装置 301は、図 1に示す距離計測装置 1の距離演算部 20 に代えて距離演算部 320を備え、距離計測装置 1の制御部 30に代えて制御部 330 を備える。なお、記憶部 50は、距離演算部 320から出力された演算情報 351および 信頼度情報 352、レーダ 60から出力された検出情報 353、補間部 331から出力され た距離情報 354を記憶する。
[0080] 距離演算部 320は、図 1に示す距離演算部 20と比し、さらに信頼度取得部 323を 備える。信頼度取得部 323は、演算部 21による演算値の信頼度を取得する。演算部 21は、ステレオ法を用いて、撮像部 10から出力された画像信号群に基づいて撮像 視野内に位置する物体までの距離を演算する。演算部 21は、右カメラ 11aから出力 された右画像信号群の中から、左カメラ 1 lbから出力された左画像信号群中におけ る任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の 画像信号力 の移動量 Iをもとに、三角測量の原理によって距離を演算する。ここで 述べた移動量は、一般的に言われる視差量を示す。
[0081] ここで、演算部 21は、左画像信号群の演算対象である画像信号を通過する任意の 直線と同一直線上に位置する右画像信号群の各画像信号と、演算対象である画像 信号とを順次比較することによって、右画像信号群の中から演算対象である画像信 号と最も整合する画像信号を検出する。具体的には、左画像信号群において演算対 象である画像信号を中心とした局所領域を設け、この局所領域と同様の領域を右画 像信号群に設ける。そして、右画像信号群における局所領域を前述した直線上で走 查しながら、左画像信号群における局所領域との整合度が最も高い局所領域を探索 する。この探索の結果、整合度が最も高い局所領域の中心に位置する画像信号を、 演算対象である画像信号と最も整合する画像信号として検出することができる。演算 部 21は、整合度として、局所領域内の画素信号間の差の 2乗和である SSD (S醒 of Squared Difference)を算出している。演算部 21は、局所領域を探索するごとに SS Dを算出し、最小値である SSDを有する局所領域の中心に位置する画像信号を、演 算対象である画像信号と最も整合する画像信号として検出する。
[0082] 信頼度取得部 323は、演算部 21が画像信号ごとに算出した整合度を信頼度として 取得し、距離演算部 320は、取得した信頼度と撮像視野内における位置情報とをそ れぞれ対応させた信頼度情報 352を制御部 330に出力する。
[0083] 制御部 330は、制御部 30と同様に機能を有するとともに、補間部 331を備える。補 間部 331は、図 1に示す補間部 31と同様の機能を有するとともに、距離演算部 320 力も出力された演算情報 351と信頼度情報 352とをもとに演算情報 351のうち信頼 度が所定の評価基準を満たして 、な 、演算値を、この演算値に対応するレーダ 60 の検出値で置き換え、距離情報 354として出力する。検出範囲設定部 332は、演算 情報 351と信頼度情報 352とをもとに、信頼度が評価基準を満たしていない演算値 に対応する範囲を求め、この範囲をレーダ 60の検出範囲として設定する。制御部 33 0は、レーダ 60に対して、検出範囲設定部 332が設定した検出範囲内に位置する物 体の距離を検出する検出処理を指示する。この結果、レーダ 60から出力された検出 情報 353は、検出範囲設定部 332が設定した検出範囲の検出結果となる。補間部 3 31は、このレーダ 60から出力された検出情報 353を用いて、演算情報 351のうち、 信頼度が評価基準を満たして 、な 、演算値を、この演算値に対応するレーダ 60の 検出値で置き換えている。レーダ 60の検出値は、精度の高い値であるため、信頼度 が評価基準を満たして 、な 、演算値がレーダ 60の検出値で置き換えられた距離情 報 354は、必要とされる信頼性を備えたものであると考えられる。なお、所定の評価 基準は、距離計測装置 301から出力される距離情報 354に対して要求される信頼性 をもとに定められる。
[0084] つぎに、距離計測装置 301が行う処理動作のうち、距離演算部 320が距離情報 35 4を出力するまでの処理動作について説明する。図 21は、距離計測装置 301におい て、距離演算部 320が距離情報 354の出力を完了するまでの処理手順を示すフロ 一チャートである。
[0085] 図 21に示すように、まず、制御部 330は、撮像部 10に対して撮像処理を指示し、 撮像部 10は、制御部 330の制御のもと、所定の撮像視野を撮像する撮像処理を行 い (ステップ S302)、右カメラ 11aおよび左カメラ l ibはそれぞれ画像信号群を出力 する。
[0086] 制御部 330は、距離演算部 320に対して、撮像部 10から出力された画像信号群を 処理して、撮像視野内に位置する物体までの距離を演算する距離演算処理の指示 を行う。距離演算部 320では、制御部 330の指示を受け、演算部 21は、右カメラ 11a および左カメラ 1 lbから出力された画像信号群の各画像信号に対して、この画像信 号に対応する距離値を演算する距離演算処理を行う (ステップ S304)。また、信頼度 取得部 323は、演算部 21における距離演算処理において、演算対象である画像信 号と最も整合する画像信号として検出する際に求められた SSD値の最小値を信頼 度として取得する信頼度取得処理を行う（ステップ S306)。
[0087] その後、演算部 21は、撮像部 10から出力された画像信号群の全ての画像信号に ついて距離演算処理は終了した力否かを判断する (ステップ S308)。演算部 21は、 全ての画像信号にっ 、て距離演算処理は終了して 、な 、と判断した場合には (ステ ップ S308 :No)、ステップ S304に進み、次に演算対象となる画像信号に対して距離 演算処理を行う。また、演算部 21は、全ての画像信号について距離演算処理は終 了したと判断した場合 (ステップ S308 : Yes)、距離演算部 320は、制御部 330に対 して、演算情報 351と信頼度情報 352とを出力する (ステップ S310)。
[0088] つぎに、制御部 330において、補間部 331は、信頼度情報 352を参照して、各信 頼度と評価基準とをそれぞれ比較し、評価基準を満たして!/ヽな!ヽ信頼度はあるか否 かを判断する (ステップ S312)。
[0089] 補間部 331が評価基準を満たしていない信頼度があると判断した場合には (ステツ プ S312 : Yes)、検出範囲設定部 332は、評価基準を満たしていない信頼度に対応 する位置情報をもとに、評価基準を満たしていない信頼度が分布する範囲を求め、こ の範囲をレーダ 60の検出範囲として設定する (ステップ S314)。なお、演算情報 351 では、各演算値と撮像視野内における位置情報とが対応づけられており、また、信頼 度情報 352では、各演算値における信頼度と、この演算値に対応する撮像視野内に おける位置情報とが対応づけられている。このため、評価基準を満たしていない信頼 度が分布する範囲は、評価基準を満たして!/ヽな ヽ信頼度を有する演算値に対応す る範囲である。したがって、検出範囲設定部 332は、評価基準を満たしていない信頼 度を有する演算値に対応する範囲をレーダ 60の検出範囲として設定することとなる。
[0090] その後、レーダ 60は、制御部 330の制御のもと、検出範囲設定部 332が設定した 検出範囲内に位置する物体までの距離を検出する検出処理を行 、 (ステップ S 316) 、検出情報 353を出力する。補間部 331は、演算情報 351の演算値のうち、信頼度 が評価基準を満たしていない演算値を、検出情報 353におけるレーダ 60の検出値 で置き換え (ステップ S318)、この置き換えた情報を距離情報 354として出力する (ス テツプ S320)。
[0091] また、補間部 331は、信頼度情報 352を参照した結果、評価基準を満たしていない 信頼度がないと判断した場合には (ステップ S312 :No)、演算情報 351の各演算値 は、必要とされる信頼度を有するものと考えられるため、演算部 21から出力された演 算情報 351を距離情報 354として出力する (ステップ S320)。
[0092] つぎに、図 21に示す各処理手順について具体的に説明する。まず、演算部 21に おける距離演算処理 (ステップ S304)について説明する。図 22は、距離演算処理を 説明する図であり、右カメラ 11aから出力された右画像信号群と左カメラ l ibから出力 された左画像信号群とを模式的に例示した図である。図 22に示すように、まず、演算 部 21は、左画像信号群 16bにおいて、演算対象である画像信号 25bを中心とした局 所領域 BOを設ける。また、演算部 21は、右画像信号群 16aにおいても、画像信号 2 5bと同位置の基準信号 250を中心とした局所領域 BOと同範囲の局所領域 A30を設 ける。その後、演算部 21は、整合度である SSDを順次算出しながら、画像信号 25b を通過する任意の直線と同一直線上で局所領域を走査する。この結果、図 23の曲 線 1 に示すような局所領域の移動量変化に対する SSD値変化が得られ、たとえば、
31
SSD値が最小である局所領域 A31の中心に位置する画像信号 25aが、画像信号 2 5bと最も整合する画像信号として検出される。その後、演算部 21は、基準信号 250 を基準とした移動量 131を求め、（1)式を用いて画像信号 25bに対応する距離値を 演算する。また、信頼度取得部 323は、画像信号 25bに対する距離演算処理におい て算出された各 SSD値のうち、最小値である SSDを信頼度として取得する (ステップ S306) o全ての画像信号に対して距離演算処理が行われた結果、図 24に示すよう に、各演算値が演算対象であった各画像信号の位置情報と対応づけられた演算デ ータ 351aと、図 25に示すように、各演算値における信頼度が、演算対象であった各 画像信号の位置情報と対応づけられた信頼度データ 352aとが距離演算部 320から 出力される (ステップ S310)。
[0093] 補間部 331は、信頼度データ 352aを参照し、信頼度データ 352aの各信頼度が評 価基準を満たしているカゝ否かを判断する。この場合、 SSD値が信頼度として取得さ れているため、 SSD値が低いほど整合度が高ぐ信頼度が高いものと考えられる。こ のため、補間部 331は、各信頼度が所定の評価基準 Sを超えているか否かを判断す る。たとえば、図 23に示すように、曲線 1 に対応する演算値の信頼度 S は評価基準
31 31
Sを下回っている。このため、信頼度 S は、必要とされる信頼度を備えているため、
31
信頼度 S に対応する演算値をレーダ 60の検出値で置き換える必要がなぐレーダ 6
31
0による検出を要さない。一方、図 23に示す曲線 1 に対応する演算値の信頼度 S は
32 32
、評価基準 Sを超えており、必要とされる信頼度を備えていない。このため、信頼度 S
3 に対応する演算値をレーダ 60の検出値で置き換える必要があるため、この信頼度 S
2
が分布する範囲をレーダ 60で検出する必要がある。
32
[0094] このように、補間部 331は、各信頼度が評価基準を満たしている力否かを判断し、 図 25に示すように、評価基準を満たして!/ヽな!ヽ信頼度が分布する低信頼度領域 35 2bを求める。つぎに、検出範囲設定部 332は、図 26に示すように、検出可能範囲 36 2のうち、補間部 331が求めた低信頼度領域 352bに対応する領域を、検出範囲 36 3として設定する (ステップ S314)。その後、レーダ 60は、検出範囲設定部 332が設 定した検出範囲 363内に位置する物体までの距離を検出する検出処理を行う（ステ ップ S316)。この結果、たとえば、図 27に示すように、低信頼度領域に対応する検出 範囲の検出値のみが含まれる検出データ 353aがレーダ 60から出力される。その後 、補間部 331は、図 27に示すように、演算データ 351aの演算値のうち、評価基準を 満たしていない信頼度を有する演算値が分布する低信頼度領域 351bの演算値を、 検出データ 353aの検出値で置き換えて (ステップ S318)、距離データ 354aを作成 し、出力する (ステップ S320)。
[0095] このように、本実施例 3にかかる距離計測装置 301では、演算情報の各演算値に 対する信頼度を取得し、信頼度が評価基準を満たしていない演算値を、レーダ 60の 検出値で置き換えた距離情報を出力している。レーダ 60の検出値は、距離演算部 3 20において演算された演算値と比較し、信頼度が高いものである。このため、本実施 例 3にかかる距離計測装置 301によれば、所定の信頼度を満たした信頼性の高い距 離情報を取得することができるため、この距離情報に基づく各種安全運転支援処理 を正確に行うことが可能となる。
[0096] また、本実施例 3では、検出範囲設定部 332は、距離演算部 320から出力された 演算情報のうち、信頼度が評価基準を満たしていない演算値が分布する範囲のみを レーダ 60の検出範囲として設定している。このため、本実施例 3では、レーダ 60が検 出可能範囲全てに対して距離値を検出する場合と比較し、検出処理に必要とされる 時間を短縮することができ、信頼性の高い距離情報を迅速に取得することが可能とな る。
[0097] なお、本実施例 3では、信頼度として、画像信号間の整合度として SSD値を算出し 、この SSD値を信頼度として取得した場合について説明した力 これに限ることはな ぐ画像信号間の整合度を示す他の値を算出し、信頼度として取得してもよい。たと えば、局所領域間の画像信号間の差の絶対値の和である SAD (Sum
of Absolute Difference)、または、局所領域内の画像信号間の正規ィ匕相互相関であ る NCC (Normalized Cross
Correlation)を信頼度として取得してもよい。演算部 21は、 SAD値を算出する場合、 SAD値が最小である画像信号を最も整合する画像信号として検出し、信頼度取得 部 323は、この画像信号に対応する SAD値を信頼度として取得する。補間部 331は 、信頼度である SAD値が所定の評価基準を下回った場合に、この SAD値は評価基 準を満たすと判断し、所定の評価基準を上回った場合に、この SAD値は評価基準を 満たしていないと判断する。また、演算部 21は、 NCC値を算出する場合、 NCC値が 最大である画像信号を最も整合する画像信号として検出し、信頼度取得部 323は、 この画像信号に対応する NCC値を信頼度として取得する。補間部 331は、信頼度で ある NCC値が所定の評価基準を上回った場合に、この NCC値は評価基準を満たす と判断し、所定の評価基準を下回った場合に、この NCC値は評価基準を満たしてい ないと判断する。
また、本実施例 3では、 SSD値の値自体を評価基準と比較した場合について説明 したが、これに限らず、局所領域の移動量変化に対する SSD値変化を示す曲線の Q 値を信頼度として求め、この Q値が評価基準となる所定値を超えているか否かをもと に評価基準との比較を行ってもよい。たとえば、図 28に示す曲線 1 のように、 Q値が
33
、評価基準 Q 以下の Q である場合には、距離演算処理において検出された画像
30 33
信号は、隣接する画像信号と比較し、演算対象である画像信号との整合度が際立つ て高い。このため、この場合に検出された画像信号をもとに演算された演算値は、要 求される信頼性を満たすものと考えられる。したがって、曲線 1
33に対応する演算値は
、必要とされる信頼度を備え、演算値をレーダ 60の検出値で置き換える必要がない 。一方、図 28に示す曲線 1 のように、 Q値力 評価基準 Q を上回る Q である場合に
34 30 34
は、距離演算処理において検出された画像信号は、隣接する画像信号と比較し、演 算対象である画像信号との間で整合度の差が少ない。ここで、 Q値が評価基準 Q を
30 上回る場合には、各処理における処理条件の精度を考慮した場合、検出された画像 信号の整合度と隣接する画像信号の整合度との差は微小となり、検出された画像信 号が、実際に最も高い整合度を有するとは限らない。このため、 Q
34である Q値に対応 する画像信号に基づく演算点は、信頼性が低い可能性が高い。したがって、検出範 囲設定部 332は、曲線 1 に対応する演算値に対しては、レーダ 60の検出値で置き
34
換える必要があるものと判断して、この演算値に対応する検出範囲を設定する。 [0099] また、本実施例 3では、信頼度取得部 323は、整合度を信頼度として取得した場合 について説明したが、信頼度取得部 323は、演算対象である画像信号に含まれる色 情報を信頼度として取得してもよい。この場合、補間部 331は、近傍に位置する画像 信号の色情報がほぼ同一である領域を低信頼度領域であると判断し、検出範囲設 定部 332は、補間部 331が判断した低信頼度領域をレーダ 60の検出範囲として設 定する。演算部 21は、図 29に示すように、ほぼ同一の色情報を備えた黒色領域 319 aに含まれる画像信号と整合する画像信号を他方の画像信号群から検出することが 困難であるためである。すなわち、他方の画像信号群においても、この黒色領域 319 aに対応する領域に含まれる画像信号は同一の色情報を備える。したがって、この領 域に分布する画像信号は、ほぼ同等の整合度となり、整合度に差が生じない。この 結果、演算部 21は、黒色領域 319aに含まれる画像信号と整合する画像信号を他方 の画像信号群力 検出することができない。このため、本実施例 3では、信頼度として 取得した色情報をもとに、近傍に位置する画像信号の色情報がほぼ同一である領域 、たとえば、図 29に示す黒色領域 319aおよび白色領域 319bを低信頼度領域として 求めてもよい。この場合、検出範囲設定部 332は、黒色領域 319aおよび白色領域 3 19bに対応させてレーダ 60の検出範囲を設定し、補間部 331は、黒色領域 319aお よび白色領域 319bにおける演算値をレーダ 60の検出値で置き換える。この結果、 距離計測装置 301は、信頼性の高い距離情報を出力することが可能となる。
実施例 4
[0100] つぎに、実施例 4にかかる距離計測装置について説明する。図 30は、本実施例 4 にかかる距離情報装置の概略構成を示すブロック図である。図 30に示すように、本 実施例 4にかかる距離計測装置 401は、図 1に示す距離計測装置 1の制御部 30に 代えて制御部 430を備える。制御部 430は、制御部 30と同様に機能を有するととも に、演算範囲設定部 433と時間を計測するタイマー 434とを有する補間部 431を備 える。なお、記憶部 50は、距離演算部 20から出力された演算情報 453、補間部 431 力も出力された距離情報 454を記憶する。
[0101] 補間部 431は、図 1に示す補間部 31と同様の機能を有するとともに、レーダ 60の 検出情報 51における検出値間を距離演算部 20の演算値で補間した検出値内情報 と、レーダ 60の検出範囲外に対応する演算値力 なる検出範囲外情報とを組み合わ せた距離情報 454を生成する。また、補間部 431は、現処理中の検出範囲外情報の 取得完了までの間、前回の検出範囲外情報を用いて距離情報 54を作成する。また 、補間部 431は、レーダ 60が検出値を取得する間に、検出範囲内情報を取得してい る。
[0102] 演算範囲設定部 433は、タイマー 434の計時値をもとに距離演算部 20における演 算範囲を設定する。距離演算部 20は、演算範囲設定部 433が設定した演算範囲に おいて演算処理を行う。
[0103] 演算範囲設定部 433は、タイマー 434の計時値 Tが所定時間 Ts未満である場合に は、レーダ 60の検出範囲と同範囲である演算範囲を設定する。この場合、距離演算 部 20は、撮像部 10から出力された画像信号群のうち、演算範囲設定部 433によって 設定されたレーダ 60の検出範囲と同範囲である演算範囲に対応する画像信号に対 して演算処理を行う。また、補間部 431は、距離演算部 20から出力されたレーダ 60 の検出範囲と同等の演算範囲に対応する各演算値で、レーダ 60の検出値間を補間 することによって検出範囲内情報を作成し、この検出範囲内情報と前回の検出範囲 外情報とを組み合わせて距離情報 454を作成する。
[0104] 一方、演算範囲設定部 433は、タイマー 434の計時値 Tが所定時間 Ts以上である 場合には、距離演算部 20が演算可能である全範囲を演算範囲として設定する。この 場合、演距離演算部 20は、撮像部 10から出力された画像信号群における全ての画 像信号に対して演算処理を行う。補間部 431は、距離演算部 20から出力された演算 値のうち、レーダ 60の検出範囲と同等の演算範囲に対応する各演算値でレーダ 60 の検出値間を補間することによって検出範囲内情報を作成し、この検出範囲内情報 と、距離演算部 20から出力された演算情報 453のうち検出範囲外に対応する演算 値力もなる検出範囲外情報とを組み合わせて距離情報 454を作成する。なお、所定 時間 Tsは、たとえば、距離演算部 20の処理能力をもとに設定される。
[0105] つぎに、距離計測装置 401が行う処理動作のうち、補間部 431が距離情報 454を 出力するまでの処理動作について説明する。図 31は、距離計測装置 401において 、補間部 431が距離情報 454の出力を完了するまでの処理手順を示すフローチヤ一 トである。
[0106] 図 31に示すように、まず、補間部 431は、タイマー 434の計時をスタートさせる (ス テツプ S402)。制御部 430は、レーダ 60に対して検出範囲内に位置する物体までの 距離を検出する検出処理を指示し (ステップ S404)、レーダ 60は、制御部 430の指 示にしたがい、検出処理を行い、検出情報 51を制御部 430に出力する。
[0107] つぎに、演算範囲設定部 433は、距離演算部 20における演算範囲を設定する演 算範囲設定処理を行う（ステップ S406)。制御部 430は、撮像部 10に対して撮像処 理を指示し (ステップ S408)、撮像部 10は、制御部 430の制御のもと、所定の撮像視 野を撮像する撮像処理を行 ヽ、右カメラ 1 laおよび左カメラ 1 lbはそれぞれ画像信号 群を出力する。その後、制御部 430は、距離演算部 20に対して、撮像部 10から出力 された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する演 算処理の指示を行う (ステップ S410)。距離演算部 20では、制御部 430の指示を受 け、演算部 21は、演算範囲設定部 433が設定した演算範囲に対応する各画像信号 に対して、距離値をそれぞれ演算する演算処理を行う。距離演算部 20は、演算範囲 に対応する各画像信号に対する演算処理が終了した後、各演算値と、撮像視野内 における位置情報とを対応させた演算情報 453を制御部 430に対して出力する。
[0108] 補間部 431では、検出情報 51の検出値間を演算情報 453の対応部における演算 値で補間して検出範囲内情報を作成し、この検出範囲内情報と検出範囲外に対応 する演算値力 なる検出範囲外情報とを組み合わせた距離情報 454を作成する補 間処理を行い (ステップ S412)、補間部 431は、作成した距離情報 454を出力する（ ステップ S414)。そして、制御部 430は、距離計測終了の指示が入力された力否か を判断し (ステップ S418)、距離計測終了の指示が入力されていないと判断された場 合には (ステップ S418 :No)、ステップ S404に進み、距離計測を継続する。一方、 制御部 430は、距離計測終了の指示が入力されたと判断した場合には (ステップ S4 18 : Yes)、タイマー 434が計時中であるか否かを判断する (ステップ S420)。補間部 431がタイマー 434が計時中でないと判断した場合には (ステップ S420 :No)、その まま距離計測終了となる。また、制御部 430は、タイマー 434が計時中であると判断 した場合には (ステップ S420 : Yes)、タイマー 434の計時値を 0に戻してリセットした 後 (ステップ S422)、距離計測終了となる。
[0109] つぎに、図 31に示す演算範囲設定処理について説明する。図 32は、図 31に示す 演算範囲設定処理の処理手順を示すフローチャートである。また、図 33は、距離演 算部 20が演算可能である範囲を例示した図である。図 33では、演算可能範囲とレ ーダ 60の検出範囲とを重ね合わせるとともに、図 33では、レーダ 60における検出点 を「參」で示している。
[0110] 図 32に示すように、演算範囲設定部 433は、タイマー 434の計時値 Tが所定時間 Ts以上である力否かを判断する (ステップ S442)。演算範囲設定部 433は、タイマー 434の計時値 Tが所定時間 Ts以上であると判断した場合には (ステップ S442： Yes) 、距離演算部 20の演算範囲を、レーダ 60の検出範囲と同範囲である領域 S4aおよ びレーダ 60の検出範囲外領域となる領域 S4bに設定する (ステップ S444)。具体的 には、演算範囲設定部 433は、図 33に示すように、レーダ 60の検出範囲と同範囲で ある領域 S4aおよび領域 S4aの外側の領域である領域 S4b、すなわち、演算処理が 可能である全範囲を演算範囲として設定する。補間部 431は、タイマー 434の計時 値を 0に戻してリセットし (ステップ S446)。この結果、距離演算部 20は、演算範囲設 定部 433が設定した領域 S4aおよび領域 S4bである演算範囲に対応する各画像信 号に対して、演算処理を行い、それぞれの演算範囲に対応した演算情報 453を出力 する。
[0111] 一方、演算範囲設定部 433は、タイマー 434の計時値 Tが所定時間 Ts以上ではな い、すなわち、計時値 Tが所定時間 Tsに達していないと判断した場合には (ステップ S442 :No)、距離演算部 20の演算範囲をレーダ 60の検出範囲と同範囲である領域 S4aに設定し (ステップ S448)、演算範囲設定処理を終了する。この結果、距離演算 部 20は、演算範囲設定部 433が設定した領域 S4aである演算範囲に対応する各画 像信号に対して、演算処理を行い、それぞれの演算範囲に対応した演算情報 453を 出力する。
[0112] つぎに、図 31に示す補間処理について説明する。図 34は、図 31に示す補間処理 の処理手順を示すフローチャートである。図 34に示すように、補間部 431は、距離演 算部 20から出力された演算情報 453を受信する (ステップ S462)。つぎに、補間部 4 31は、受信した演算情報 453は領域 S4aに対応する演算結果である力否かを判断 する（ステップ S464)。
[0113] 補間部 431は、受信した演算情報 453は領域 S4aに対応する演算結果であると判 断した場合 (ステップ S464 :Yes)、検出情報 51を抽出する (ステップ S466)。その後 、記憶部 50から前回の検出範囲外情報を含む演算情報を取得し、この演算情報の 中から、領域 S4bに対する演算結果を抽出する (ステップ S468)。補間部 431は、検 出情報 51に、距離演算部 20から出力された領域 S4aに対応する演算結果と、記憶 部 50から取得した領域 S4bに対応する演算結果とを補充して (ステップ S470)、距 離情報 454を作成する。その後、タイマー 434の計時をスタートさせて (ステップ S47 2)、補間処理を終了する。
[0114] 一方、補間部 431は、受信した演算情報 453は領域 S4aに対応する演算結果でな いと判断した場合 (ステップ S464 : No)、すなわち、領域 S4aおよび領域 S4bに対応 する演算結果であると判断した場合には、検出情報 51を抽出し (ステップ S474)、こ の検出情報 51に、距離演算部 20から出力された領域 S4aおよび領域 S4bに対応す る演算結果を補充して (ステップ S476)、補間処理を終了する。
[0115] つぎに、図 34に示す補間処理について具体的に説明する。まず、図 35を参照し、 距離演算部 20から出力された演算情報 453が領域 S4aに対する演算結果である場 合の補間処理について説明する。図 35では、レーダ 60によるレーダ検出点を「參」 で示し、距離演算部 20による演算点を「〇」で示す。
[0116] 図 35に示すように、補間部 431は、距離演算部 20から出力された演算データ 453 aが、領域 S4aに対する演算結果であると判断した場合には (ステップ S464： Yes)、 記憶部 50から検出データ 451aを抽出するとともに (ステップ S466)、記憶部 50に記 憶された前回の検出範囲外情報を含む演算情報から、検出範囲外情報、すなわち、 領域 S4bに対応する演算データ 453bを抽出する (ステップ S468)。そして、補間部 431は、検出データ 451aの検出値間に演算データ 453aの演算値を補間して検出 範囲内情報を作成する。この場合、距離データ 454aにおける領域 S4aに対応する 距離情報が検出範囲内情報となる。また、補間部 431は、この検出範囲内情報と、 検出範囲外に対応する領域 S4bの演算データ 453aとを組み合わせて距離データ 4 54aを作成し、補間処理を終了する。
[0117] 一方、図 36を参照し、距離演算部 20から出力された演算情報 453が領域 S4aおよ び領域 S4bに対する演算結果である場合の補間処理について説明する。図 36では 、図 35と同様に、レーダ 60によるレーダ検出点を「參」で示し、距離演算部 20による 演算点を「〇」で示す。
[0118] 図 36に示すように、補間部 431は、距離演算部 20から出力された演算データ 453 cが、領域 S4aおよび領域 S4bに対する演算結果であると判断した場合には (ステツ プ S464 : No)、検出データ 451aを抽出する (ステップ S474)。この場合、距離演算 部 20から出力された演算データ 453cには、領域 S4bに対応する演算結果が含まれ ているため、補間部 431は、前回の検出範囲外情報を記憶部 50から抽出する必要 はない。補間部 431は、検出データ 451aの検出値間に演算データ 453cにおける領 域 S4aの演算値を補間して検出範囲内情報を作成する。そして、補間部 431は、作 成した検出範囲内情報に、演算データ 453cにおける領域 S4bの演算情報を検出範 囲外情報として組み合わせて距離データ 454bを作成し、補間処理を終了する。
[0119] このように、実施例 4にかかる距離計測装置 401では、レーダ 60の検出値間を距離 演算部 20の演算値で補間した検出範囲内情報と、レーダ 60の検出範囲外に対応 する演算値からなる検出範囲外情報とを組み合わせた距離情報を作成し、出力する 。このため、本実施例 4にかかる距離計測装置 401では、広い範囲における高精度 な距離情報を取得することが可能となる。
[0120] また、本実施例 4では、距離演算部 20は、演算範囲設定部 433が設定した演算範 囲にしたがい、所定時間 Tsごとに撮像部 10から出力された全画像信号に対して距 離値を演算し、それ以外では、演算可能範囲のうちレーダ 60の検出範囲と同等の領 域に対応する画像信号に対して距離値を演算している。すなわち、距離演算部 20は 、各演算処理において、常に撮像部 10から出力された全画像信号に対して距離値 を演算していない。このため、距離演算部が撮像部から出力された全画像信号に対 して常に距離値を演算していた従来の距離計測装置と比較し、本実施例 4では、演 算対象となる画像信号数を低減することができる。この結果、本実施例 4にかかる距 離計測装置 401では従来の距離計測装置と比較して、演算処理における処理時間 を短縮することが可能となり、迅速に距離情報を取得することが可能となる。
[0121] また、本実施例 4にかかる距離計測装置 401は、距離情報 454を作成するごとに、 レーダ 60の検出値間に距離演算部 20の演算値を補間した検出範囲内情報を出力 する。すなわち、図 37の距離データ範囲 454cにおける領域 S4aでは、常に最新の 距離情報が含まれる。このため、図 38の画像 416に示すように、先行車両との車間 距離を計測する場合には、先行する車両 Cが位置する可能性が高 、領域をレーダ 6 0の検出範囲、すなわち、領域 S4aとして設定した場合、車両 Cが位置する可能性が 高い領域が高精度領域となる。この結果、本実施例 4では、車両 Cまでの距離情報を ほぼリアルタイムで取得することができ、各種安全運転支援処理をタイミングよく行うこ とが可能となる。一方、本実施例 4では、検出範囲外情報は、所定時間 Tsごとに作成 し、所定時間 Ts経過前は、前回の検出範囲外情報を用いて距離情報 454を作成す る。このため、図 37の距離データ範囲 454cにおける領域 S4bは、所定時間 Tsごとに 距離情報が更新される標準精度領域となる。たとえば、図 38に示すように、先行車両 との車間距離を計測する場合には、先行する車両が位置する可能性が低 、領域を、 レーダ 60の検出範囲外の領域、すなわち、領域 S4bとして設定した場合、車両じが 位置する可能性が低い領域が標準精度領域となる。ここで、車両 Cが位置する可能 性が低い領域は、車両 Cが位置する可能性が高い領域と比較し、高い頻度で距離 値を取得する必要がない。したがって、本実施例 4では、車両 Cが位置する可能性が 低い領域を標準精度領域として設定することによって、効率よく必要な距離情報を取 得することができる。
[0122] したがって、本実施例 4にかかる距離計測装置 401は、演算時間および演算画素 の間引き、測定距離範囲の狭小化、エッジ部分のみの演算処理、距離分解能を低 下化などを行うことなぐ高精度で詳細な距離情報を迅速に取得することが可能であ り、この結果、距離情報にもとづく各種安全支援処理をタイミングよぐ正確に行うこと ができる。
実施例 5
[0123] つぎに、実施例 5について説明する。実施例 4では、レーダの検出範囲が距離計測 前に予め設定されていることを前提としていたが、本実施例 5では、レーダの検出範 囲が可変であり、この検出範囲が不明である場合について説明する。
[0124] 図 39は、本実施例 5にかかる距離計測装置の概略構成を示すブロック図である。
図 39に示すように、実施例 5にかかる距離計測装置 501は、実施例 4にかかる距離 計測装置 401の制御部 430に代えて制御部 530を備え、レーダ 60に代えてレーダ 5 60を備える。制御部 530は、制御部 30と同様に機能を有するとともに、検出範囲探 索部 532と演算範囲設定部 533とタイマー 534とを有する補間部 531を有する。レー ダ 560は、制御部 530の制御によって検出範囲の変更が可能である。なお、記憶部 50は、補間部 531から出力された探索情報 552、距離演算部 20から出力された演 算情報 553、補間部 531から出力された距離情報 554を記憶する。
[0125] 制御部 530は、実施例 4における制御部 430と同様の機能を備える。補間部 531 は、実施例 4における補間部 531と同様の機能を備える。検出範囲探索部 532は、レ ーダ 560から出力された検出情報 551をもとに、レーダ 560の検出範囲を探索する。 演算範囲設定部 533は、実施例 4における演算範囲設定部 433と同様の機能を有 するとともに、検出範囲探索部 532の探索結果をもとに、距離演算部 20の演算範囲 を設定する機能を有する。タイマー 534は、実施例 4におけるタイマー 434と同様に 時間を計測する機能を有する。
[0126] つぎに、距離計測装置 501が行う処理動作のうち、補間部 531が距離情報 554を 出力するまでの処理手順について説明する。図 40は、距離計測装置 501が行う処 理動作のうち、補間部 531が距離情報 554を出力するまでの処理手順を示すフロー チャートである。
[0127] 図 40に示すように、まず、補間部 531は、タイマー 534の計時をスタートさせる (ス テツプ S502)。次いで、制御部 530は、実施例 4と同様に、レーダ 560に対して検出 範囲内に位置する物体までの距離を検出する検出処理を指示し (ステップ S 504)、 レーダ 560は、検出処理を行い、検出情報 551を制御部 530に出力する。
[0128] 検出範囲探索部 532は、レーダ 560の検出範囲を探索する検出情報探索処理を 行い (ステップ S508)、演算範囲設定部 533は、検出範囲探索部 532から出力され た探索情報 552を用いて、距離演算部 20の演算範囲を設定する演算範囲設定処 理を行う（ステップ S510)。制御部 530は、実施例 4と同様に、撮像部 10に対して撮 像処理を指示し (ステップ S512)、撮像部 10は、撮像処理を行う。次いで、制御部 5 30は、距離演算部 20に対して演算処理を指示し (ステップ S514)、距離演算部 20 は、撮像部 10から出力された画像信号群のうち、演算範囲設定部 533が設定した演 算範囲に対応する各画像信号に対して距離値を演算する演算処理を行う。そして、 補間部 531は、図 34に示す処理手順と同様の処理手順を行うことによって、補間処 理を行い (ステップ S516)、距離情報 554を出力する (ステップ S518)。
[0129] 制御部 530は、実施例 4と同様に、距離計測処理の終了の指示が入力されたか否 かを判断し (ステップ S520)、距離計測処理の終了が指示されていないと判断した場 合には (ステップ S520 :No)、ステップ S504に進み、距離計測を継続する。また、制 御部 530が距離計測処理の終了が指示されたと判断した場合には (ステップ S520 : Yes)、実施例 4と同様に、補間部 531は、タイマー 534が計時中である力否かを判 断する (ステップ S522)。補間部 531は、タイマー 534が計時中であると判断した場 合には（ステップ S522 :Yes)、タイマー 534の計時値をリセットし (ステップ S524)、 距離計測処理を終了し、また、タイマー 534が計時中でないと判断した場合には (ス テツプ S522 :No)、そのまま距離計測処理を終了する。
[0130] つぎに、図 40に示す検出範囲探索処理について説明する。図 41は、図 40に示す 検出範囲探索処理の処理手順を示すフローチャートである。図 41に示すように、検 出範囲探索部 532は、まず、レーダ 560から出力された検出情報 551を参照する (ス テツプ S532)。検出情報 551では、検出範囲内に位置する物体までの距離を検出し た検出値と、検出範囲内における位置情報とが対応している。このため、検出範囲探 索部 532は、この検出情報 551を参照して、検出情報 551中の位置情報をもとに、レ ーダ 560の検出範囲を探索し (ステップ S534)、探索情報 552を出力する (ステップ S536)。
[0131] つぎに、図 40に示す演算範囲設定処理について説明する。図 42は、図 40に示す 演算範囲設定処理の処理手順を示すフローチャートである。図 42に示すように、演 算範囲設定部 533は、検出範囲探索部 532から出力された探索情報 552を参照す る (ステップ S542)。つぎに、演算範囲設定部 533は、探索情報 552におけるレーダ 560の検出範囲を領域 S4aとして設定する (ステップ S544)。また、演算範囲設定部 533は、距離演算部 20が演算可能である範囲のうち、領域 S4a以外の領域、すなわ ち、レーダ 560による非検出領域を領域 S4bとして設定する (ステップ S546)。このた め、たとえば、図 43に示すように、演算可能範囲 524のうち、レーダ検出範囲 562a に対応する領域が領域 S4aとして設定され、レーダ 560の検出範囲外の領域である 非検出領域 563が領域 S4bとして設定されることとなる。
[0132] そして、演算範囲設定部 533は、タイマー 534の計時値 Tが所定時間 Ts以上であ る力否かを判断する (ステップ S548)。演算範囲設定部 533は、タイマー 534の計時 値 Tが所定時間 Ts以上であると判断した場合には (ステップ S548： Yes)、距離演算 部 20の演算範囲を領域 S4aおよび領域 S4b、すなわち、演算可能範囲全てを演算 範囲として設定し (ステップ S550)、タイマー 534の計時値を 0に戻してリセットする（ ステップ S552)。また、演算範囲設定部 533は、タイマー 534の計時値 Tが所定時 間 Tsに達していないと判断した場合には (ステップ S548 : No)、距離演算部 20の演 算範囲を領域 S4aに設定する (ステップ S554)。
[0133] その後、距離演算部 20は、演算範囲設定部 533によって設定された演算範囲にし たがって演算処理を行い、補間部 531は、実施例 4と同様に、距離演算部 20から出 力された演算情報 553の演算範囲を判断して、レーダ 560の検出値間を距離演算 部 20の演算値で補間した検出範囲内情報と、レーダ 560階の検出範囲外に対応す る演算値力 なる検出範囲外情報とを組み合わせた距離情報 554を作成することと なる。このため、実施例 5にかかる距離計測装置 501は、実施例 4と同様の効果を奏 することが可能となる。
[0134] また、演算範囲設定処理では、演算範囲設定部 533が、検出範囲探索部 532によ つて探索されたレーダ 560の検出範囲に応じて、距離演算部 20の演算範囲を設定 することによって、図 44に示すように、レーダ 560の検出範囲がレーダ検出範囲 562 aからレーダ検出範囲 562bに変化した場合であっても、このレーダ検出範囲 562bに 対応して演算範囲を柔軟に設定することができる。このため、本実施例では、レーダ 560の検出範囲が変化した場合であっても、レーダ 560の検出範囲に対応する領域 を常に高精度領域とした距離情報を出力することができ、高精度で詳細な距離情報 を円滑に出力することが可能となる。 実施例 6
[0135] つぎに、実施例 6にかかる処理装置について説明する。図 45は、本実施例 6にか 力る処理装置の概略構成を示すブロック図である。図 45に示すように、本実施例 6に 力かる処理装置 601は、図 1に示す距離計測装置 1における制御部 30に代えて制 御部 630を備える。さらに、処理装置 601は、撮像視野内に位置する物体の輪郭を 示す輪郭情報を生成する輪郭生成部 670を備える。なお、記憶部 50は、レーダ 60 力 出力された検出情報 51、距離演算部 20から出力された演算情報 52、補間部 3 1から出力された距離情報 53とともに、撮像部 10から出力された画像情報 654、輪 郭生成部 670から出力された輪郭情報 655などの各種情報を記憶する。
[0136] 制御部 630は、制御部 30と同様の機能を有するとともに、補間部 631を備える。補 間部 631は、図 1に示す補間部 31と同様の機能を有するとともに、距離演算部 20か ら出力された演算情報 52と、レーダ 60から出力された検出情報 51とを用いて、レー ダ 60の検出範囲内における検出値間を距離演算部 20の演算値で補間した距離情 報 53を生成する。この距離情報 53は、距離値と、この距離値に対応する位置情報と がそれぞれ対応づけられて ヽる。
[0137] 輪郭生成部 670は、輪郭検出部 671と判定部 672とを備える。輪郭生成部 670は 、撮像視野内の物体の輪郭を示す輪郭情報 655を生成し、制御部 630に対して出 力する。輪郭検出部 671は、距離情報 53を用いて、撮像視野の物体の輪郭を示す 輪郭情報の候補を生成する。この距離情報 53は、レーダ 60によって検出された検出 値間に距離演算部 20によって演算された演算値が補間されている。たとえば、輪郭 検出部 671は、距離情報 53の各距離値の 2次の変化点を取り出す 2次微分法を用 いて、物体のエッジ部分を求めた輪郭情報を生成する。 2次微分法では、所定の微 分フィルタを用いて距離値の変化点、すなわち、距離値が急激に変化するエッジ部 分をそれぞれ検出する方法である。なお、輪郭検出部 671は、物体の輪郭の検出法 として、近傍に位置する距離値のうち最も大きな値を有する距離値に対応する部分を エッジ部分として求める方法を用いて輪郭情報を生成してもよい。この方法では、距 離値を順次比較し、最も大き ヽ距離値を示す箇所をエッジ部分として検出して！/ヽる。 また、輪郭検出部 671は、各種の距離値変化パターンを用いて、距離値の変化点を 求め、この変化点をエッジ部分として検出し、検出したエッジ部分などをもとに輪郭情 報を求めてもよい。
[0138] 判定部 672は、輪郭検出部 671が生成した輪郭情報の候補が、撮像部 10から出 力された画像信号群をもとに求めた輪郭を示す他の輪郭情報と適合するか否かを判 定する。たとえば、判定部 672は、他の輪郭情報として、画像信号群のおける各画像 信号の色情報を用いる。判定部 672は、画像信号群のうち、輪郭検出部 671が生成 した輪郭情報のエッジ部分に相当する各画像信号の色情報を抽出し、輪郭情報の エッジ部分が色情報の変化部分の十分近くの近傍にある力否かを適合条件として判 定する。そして、判定部 672は、色情報の変化部分が輪郭情報のエッジ部分と適合 すると判定した場合には、輪郭情報におけるエッジ部の位置は正確であると考えられ るため、この輪郭情報は適性であると判定する。一方、判定部 672は、色情報の変化 部分が輪郭情報のエッジ部分と適合しな 、と判断した場合には、輪郭情報における エッジ部の位置が必ずしも正確であるとは限らな 、ため、この輪郭情報は適性でな ヽ と判定する。輪郭生成部 670は、輪郭情報の候補のうち、判定部 672において、画 像信号群をもとに求めた輪郭を示す他の輪郭情報と適合すると判定された輪郭情報 、すなわち、判定部 672が適性であると判定した候補を、輪郭情報 655として出力す る。
[0139] つぎに、処理装置 601が行う処理動作のうち、輪郭生成部 670が輪郭情報 655を 出力するまでの処理動作について説明する。図 46は、処理装置 601において、輪 郭生成部 670が輪郭情報 655の出力を完了するまでの処理手順を示すフローチヤ ートである。
[0140] 図 46に示すように、制御部 630は、レーダ 60に対して検出範囲内に位置する物体 までの距離を検出する検出処理を指示し (ステップ S602)、レーダ 60は、検出処理 を行い、検出情報 51を制御部 630に出力する。制御部 630は、レーダ 60から出力さ れた検出情報 51を受信する (ステップ S604)。制御部 630は、撮像部 10に対して撮 像処理を指示し (ステップ S606)、撮像部 10は、制御部 630の制御のもと、所定の撮 像視野を撮像する撮像処理を行 ヽ、右カメラ 1 laおよび左カメラ 1 lbはそれぞれ画像 信号群を出力する。その後、制御部 630は、距離演算部 20に対して、撮像部 10から 出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算 する距離演算処理の指示を行う（ステップ S608)。距離演算部 20は、制御部 630の 指示にしたがって距離演算処理を行い、各演算値と撮像視野内における位置情報と を対応させた演算情報 52を制御部 630に対して出力する。この結果、制御部 630は 、距離演算部 20から出力された演算情報 52を受信する (ステップ S610)。
[0141] 補間部 631では、検出情報 51の各検出値間に演算情報 52の演算値を補間した 距離情報 53を作成する補間処理を行う（ステップ S612)。一般に、レーダ 60から出 力された検出情報 51は、たとえば図 47に示す検出データ 651aのように、各レーダ 検出点間の間隔が広ぐ検出値が疎らに配置するものである。補間部 631は、このよ うな検出データ 651aの各レーダ検出点間に、演算情報 52の演算点をそれぞれ補間 することによって、図 48に示すように、各距離値が密に配置される詳細な距離データ 653aを作成している。補間部 631は、補間処理を行った後、生成した距離情報 53を 出力する (ステップ S614)。
[0142] その後、輪郭生成部 670は、補間部 631から出力された距離情報 53を用いて、撮 像視野内の物体の輪郭を示す輪郭情報を生成する輪郭生成処理を行 、 (ステップ S 616)、輪郭情報 655を出力する (ステップ S618)。
[0143] つぎに、図 46に示す輪郭生成処理について説明する。図 49は、図 46に示す輪郭 生成処理の処理手順を示すフローチャートである。まず、輪郭検出部 671は、補間 部 631から出力された距離情報 53を参照する (ステップ S622)。輪郭検出部 671は 、この距離情報 53をもとに、撮像視野内に位置する物体の輪郭を示す輪郭情報の 候補を検出する (ステップ S624)。
[0144] その後、輪郭生成部 670は、撮像視野内に位置する物体に対する全ての輪郭情 報の生成は終了した力否かを判断する (ステップ S626)。そして、判定部 672は、輪 郭生成部 670によって、撮像視野内に位置する物体に対する全ての輪郭情報の生 成は終了していないと判断された場合には (ステップ S626 : No)、輪郭検出部 671 が検出した輪郭情報の候補が、画像信号群に基づ!、て求めた輪郭を示す他の輪郭 情報と適合するか否かを判定し、この輪郭情報の候補が適性である力否かを判定す る判定処理を行う（ステップ S628)。 [0145] 輪郭生成部 670は、判定部 672によって、この輪郭情報の候補が適性であると判 定された力否かを判断し (ステップ S630)、この輪郭情報の候補が適性でないと判定 されたと判断した場合には (ステップ S630 : No)、ステップ S624に進み、輪郭検出 部 671に対して新たな輪郭情報の候補を検出させる。
[0146] 一方、輪郭生成部 670は、判定部 672によって、この輪郭情報の候補は適性であ ると判定されたと判断した場合には (ステップ S630 : Yes)、判定部 672が適性である と判断した輪郭情報の候補を登録し (ステップ S632)、ステップ S624に進み、輪郭 検出部 671に対して、新たな輪郭情報の候補を検出させる。
[0147] また、輪郭生成部 670は、撮像視野内に位置する物体に対する全ての輪郭情報の 生成が終了したと判断した場合には (ステップ S626： Yes)、判定部 672が適性であ ると判断した各輪郭情報の候補を有する輪郭情報 655を作成する。
[0148] つぎに、図 49に示す輪郭候補検出処理について具体的に説明する。図 50は、輪 郭生成部 670が参照する距離情報の一例を示す図である。輪郭生成部 670は、図 5 0に示す距離データ 653bにおける各行ごとに輪郭情報の候補を検出し、全ての行 に対応する輪郭情報をそれぞれ備えた情報群を一つの輪郭情報 655として出力す る。
[0149] たとえば、輪郭検出部 671が図 50に示す x6方向の輪郭情報を検出する場合につ いて説明する。輪郭検出部 671は、図 50に示す x6方向の距離値をもとに、 x6方向 に対応する距離値変化を求める。そして、輪郭検出部 671は、この距離値変化から、 図 51に示すような曲線 1 を輪郭情報の候補として検出する。また、輪郭検出部 671
61
は、 χ6方向の距離値に対して 2次微分法を用いて距離値の変化点をもとめ、図 51に 示すエッジ候補 Ea , Eb , Ecを求める。輪郭検出部 671は、図 51に示す曲線 1 を
1 1 1 61 輪郭情報の候補として出力するとともに、 2次微分法を用いて求めたエッジ候補 Ea ,
1
Eb , Ecを出力する。後述するように、判定部 672は、この曲線 1 で示される輪郭情
1 1 61
報が適正である力否かを、エッジ候補 Ea , Eb , Ecと画像信号の色情報とを比較す
1 1 1
ることによって判定している。
[0150] つぎに、図 49に示す判定処理について説明する。図 52は、図 49に示す判定処理 の処理手順を示すフローチャートである。図 52に示すように、まず、判定部 672は、 輪郭検出部 671が生成した輪郭情報の候補を参照する (ステップ S642)。判定部 67 2は、撮像部 10から出力された画像信号群を含む画像情報 654を参照する (ステツ プ S644)。この画像情報 654は、撮像部 10の撮像視野に対応する。
[0151] その後、判定部 672は、輪郭情報の候補におけるエッジ部分と、画像情報 654に おけるエッジ部分に対応する近傍領域の色情報差が大き 、部分とを比較して、画像 情報 654の色情報差と輪郭情報の候補におけるエッジ部分とが適合する力否かを判 断する（ステップ S 646)。
[0152] 一般に、画像上に表示された物体の輪郭を境界として、色の濃淡が急激に変化す る。したがって、画像情報 654における色情報間の差、たとえば、色の濃度値の差分 が大きい部分は、画像上に表示される物体のエッジ部分であるといえる。このため、 判定部 672は、画像情報 654の色情報差と輪郭情報の候補におけるエッジ部分とが 適合すると判断した場合には (ステップ S646 : Yes)、このエッジ部分は、物体の輪郭 に正確に対応していると考えられる。一方、判定部 672は、画像情報 654の色情報 差と輪郭情報の候補におけるエッジ部分とが適合しな 、と判断した場合には (ステツ プ S646 :No)、このエッジ部分は、物体の輪郭に正確に対応していないと考えられる
[0153] したがって、判定部 672は、画像情報 654の色情報差と輪郭情報の候補における エッジ部分とが適合すると判断した場合には (ステップ S646： Yes)、このようなエッジ 部分を含む輪郭情報の候補は適性であると判定する (ステップ S648)。また、画像情 報 654の色情報差と輪郭情報の候補におけるエッジ部分とが適合しないと判断した 場合には (ステップ S646 :No)、このようなエッジ部分を含む輪郭情報の候補は適性 でないと判定する (ステップ S650)。その後、判定部 672は、この輪郭情報の候補に 対する判定結果を出力し (ステップ S652)、判定処理を終了する。
[0154] たとえば、図 51に示すエッジ候補 Ebにつ 、て判定処理を行う場合につ!、て説明
1
する。まず、判定部 672は、エッジ候補 Ebが検出された距離値の位置情報をもと〖こ
1
、この位置情報が示す近傍領域が、参照した画像情報のいずれの領域に該当する カゝを求める。この場合、判定部 672は、図 53に示す領域 A 内に位置する画像信号
61
の色情報を用いる。領域 A は、エッジ候補 Ebの位置と同位置である画像信号の近 傍に位置する領域である。判定部 672は、この領域 A 内に位置する各画像信号間
61
の色情報における濃度値の差分を求め、濃度値の差分が最も大きい一対の画像信 号の位置とエッジ候補 Ebの位置とが適合する力否かを判断する。濃度値の差分が
1
最も大き 、一対の画像信号の位置とエッジ候補 Ebの位置とがほぼ適合する場合に
1
は、判定部 672は、画像情報 654の色情報差と輪郭情報の候補におけるエッジ部分 とが適合すると判断する (ステップ S646 : Yes)。一方、濃度値の差分が最も大きい一 対の画像信号の位置とエッジ候補 Ebの位置とがほとんど適合しない場合には、判
1
定部 672は、画像情報 654の色情報差と輪郭情報の候補におけるエッジ部分とが適 合しな 、と判断する（ステップ S646： No)。
[0155] また、判定部 672は、エッジ候補 Ecに対しては、このエッジ候補 Ecの位置と同位
1 1
置である画像信号の近傍に位置する領域 A 内に位置する画像信号の色情報を用
62
いて判定処理を行う。このように、エッジ候補ごとに、画像信号群のうち、エッジ候補 の位置に対応する領域の画像信号間の色情報差が最も大きい位置とエッジ候補の 位置とが適合するカゝ否かを判断する。
[0156] そして、輪郭生成部 670は、判定処理を行った結果、図 54に示す曲線 1 で示すよ
62 うに、物体の輪郭に正確に対応するエッジ Eb, Ecを有する輪郭情報を生成すること となる。曲線 1 b, Ec
62に対応する輪郭情報によれば、エッジ E に対応する物体の境界 間の幅 Y を正確に求めることができ、たとえば、自車両の通り抜けが可能である力否
61
かの判断を適切に行うことが可能となる。
[0157] たとえば、図 54の場合には、得られた輪郭成分であるエッジ Eb, Ecを端点とした区 間を考える。すなわち、エッジ Ebの左側部分では、 x6軸上の点群 1, 2, 3, 4, 5の距 離データ点を内搜する曲線により補間曲線を構成する。一方、エッジ Ecの右側部分 では、 x6軸上の点群 10, 11等の点を内搜する曲線により補間曲線を構成する。一 方、エッジ Ebとエッジ Ecに挟まれる区間では、 x6軸上の点群 6, 7, 8, 9で外搜され る曲線で、物体空間を構成し、それらにより物体の境界を定義することとなる。ここで は、輪郭生成の方法として、曲線で内搜、外搜する方法を提示したが、その方法に は、別の方法もあり得る。たとえば、対象物の概略形状などがあら力じめわ力 ている 場合には、その形状を近似するパラメータを直接推定することにより、物体幅 Yなど を決定することも可能である。
[0158] このように、本実施例 6では、レーダ 60の検出値間に距離演算部 20の演算値を補 間した距離情報 53を求めることによって、詳細な輪郭情報を生成することができる。 また、本実施例 6では、輪郭情報の候補における各エッジ候補を、画像信号群にお ける色情報差などの他の輪郭情報と適合する力否かを判断することによって、輪郭 情報の候補が適正である力否かを判断し、適正であると判断した輪郭情報を出力し ている。このため、処理装置 601から出力された輪郭情報 655を用いることによって、 車両の通り抜け判断などの各種判断処理を正確に行うことが可能となる。
[0159] なお、本実施例 6における輪郭生成処理では、図 50に示す x6方向の輪郭情報を 生成した場合について説明したが、もちろん、横方向の他行に対応する方向の輪郭 情報を生成する場合もあり、また、縦方向の各列に対応する方向の輪郭情報を生成 する場合もある。また、本実施例 6における輪郭形成処理では、斜め方向の輪郭情 報を生成する場合もある。
[0160] たとえば、輪郭生成部 670が、図 50に示す y9方向に対応する輪郭情報を生成す る場合について、説明する。この場合、輪郭検出部 671は、図 50に示す y9方向の距 離値をもとに、 y9方向に対応する距離値変化を求め、図 55に示す曲線 1 を輪郭情
63 報の候補として検出する。また、輪郭検出部 671は、距離値の変化点力もエッジ候補 Edを求め、輪郭情報の候補とともに出力する。つぎに、判定部 672は、図 53に示す
1
ように、エッジ候補 Edの位置と同位置である画像信号近傍の領域 A に含まれる画
1 63
像信号の色情報をもとに判定処理を行う。この場合、判定部 672は、上述した判定処 理と同様に、図 53に示す領域 A に含まれる画像信号の色情報における濃度値の
63
差分を求める。その後、判定部 672は、この濃度値の差分が大きい一対の画像信号 の位置とエッジ候補 Edの位置とがほぼ適合する力否かを判断することによって、輪
1
郭候補が適正である力否かを判定する。
[0161] また、本実施例では、撮像部 10にお 、て撮像された画像情報群における位置関 係とレーダ 60, 560における検出範囲における位置関係との整合は、以下のように 予め求めたうえで各処理を行う。たとえば、距離計測装置 1, 201, 301, 401, 501 および処理装置 601は、形状が既知の物体に対して、撮像部 10における撮像処理 およびレーダ 60, 560における検出処理を行い、撮像部 10における既知の物体の 位置およびレーダ 60, 560における既知の物体の位置を求める。その後、距離計測 装置 1, 201, 301, 401, 501および処理装置 601では、最小 2乗法などを用いて、 撮像部 10における既知の物体の位置およびレーダ 60, 560における既知の物体の 位置の関係を求め、撮像部 10にお 、て撮像された画像情報群における位置関係と レーダ 60, 560における検出範囲における位置関係とを整合する。
[0162] また、距離計測装置 1, 201, 301, 401 , 501および処理装置 601では、撮像部 1 0の撮像原点とレーダ 60, 560の検出原点とがずれている場合があっても、撮像点 および検出点力も距離計測装置 1, 201, 301, 401, 501および処理装置 601まで の距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なってい るものとみなすことができる。さらに、撮像部 10において撮像された画像情報群にお ける位置関係とレーダ 60, 560における検出範囲における位置関係との整合が正確 に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正 することも可會である。
[0163] また、実施例 1〜6にかかる距離計測装置 1, 201 , 301, 401, 501および処理装 置 601では、各画像信号が位置する画素行に各レーダ検出点が所定間隔で位置す る場合について説明したが、必ずしも、撮像部 10から出力された各画像信号が位置 する画素行に各レーダ検出点が存在するとは限らない。この場合、補間部 31, 331 , 431, 531, 631および補完部 231は、各画像信号の近傍に位置する複数のレー ザ検出点をもとに、一次補間法などを用いて判定対象および修正対象となる各画像 信号と同一画素行のレーザ補間値を求め、この補間値を用いればょ 、。
[0164] また、本実施例 1〜6における撮像部として、一対のレンズ 12a, 12bのそれぞれに 対応する一対の撮像素子 13a, 13bを備えた撮像部 10について説明したが、これに 限らず、図 56に示すように、一対の導光光学系と、各導光光学系に対応する撮像領 域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する 撮像素子を備えた撮像部 110としてもよい（たとえば、本出願人による特開平 8— 17 1151参照)。図 56に示すように、撮像部 110は、一対のミラー 111a, 111bと、ミラー 111a, 11 lbのそれぞれに対応するミラー 112a, 112bと、レンズ 112cと、レンズ 11 2cによって集光された光をアナログ画像信号に変換する撮像素子 113と、撮像素子 113から出力されたアナログ画像信号をデジタル画像信号に変更する AZD変換部 114と、デジタル信号を記憶するフレームメモリ 115とを備える。ミラー 11 la, 11 lbは 、車両 Cなどの被写体力もの光を受光し、ミラー 112a, 112bは、ミラー 111a, 111b が受光した光をレンズ 112cに反射する。このため、撮像素子 113上には、各光学系 に対応する画像がそれぞれ結像される。したがって、撮像部 110は、図 57に示すよう に、画像 118aと画像 118bとを含む画像 118を出力する。このような画像 118a, 118 bをもとに、距離演算部 20, 220において、各画像信号に対応する距離値を演算す ることが可能である。
[0165] また、本実施例 1〜6では、複数のカメラを備えた距離計測装置 1, 201, 301, 40 1, 501および処理装置 601について説明したが、これに限らず、単数のカメラを備 えた処理装置に適用してもよい。この場合、距離演算部 20, 220は、撮像部から出 力された画像信号群をもとに、たとえば、シエイプフロムフォーカス法、シエイプフロム デフォーカス法、シエイプフロムモーション法またはシエイプフロムシェーディング法を 用いて撮像視野内の距離を演算する。なお、シエイプフロムフォーカス法とは、最もよ く合焦したときのフォーカス位置力も距離を求める方法である。また、シエイプフロム デフォーカス法とは、合焦距離の異なる複数の画像力も相対的なぼけ量を求め、ぼ け量と距離との相関関係をもとに距離を求める方法である。また、シエイプフロムモー シヨン法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をも とに物体までの距離を求める方法である。また、シエイプフロムシェーディング法とは 、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体まで の距離を求める方法である。
[0166] また、撮像部 10は、いわゆる 3眼ステレオカメラ構造を構成してもよぐまた、いわゆ る 4眼ステレオカメラ構造を構成してもよ ヽ。 3眼ステレオカメラ構造または 4眼ステレ ォカメラ構造である撮像部とした場合、 3次元再構成処理などを行うことによって、信 頼性が高ぐ安定した距離演算結果を得ることができる処理装置を実現することが可 能となる。特に、複数のカメラを 2方向の基線長を持つように配置した場合、複数の物 体が複雑な構成で配置する場合であっても、 3次元再構成処理が可能となり、安定し て距離演算結果を得ることができる。また、この場合、一方向の基線長方向にカメラ を複数配置するマルチベースライン方式を採用することが可能となり、高精度の距離 計測を実現することができる。
[0167] また、本実施例 1〜6では、レーダ 60, 560を備えた距離計測装置 1, 201, 301, 401, 501および処理装置 601について説明した力 レーダ 60, 560に代えて、赤 外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイ オード等の光源と、物体力 の反射光を受信するフォトセンサ等の受光素子などによ つて実現された検出器を備えた処理装置であってもよいし、光波、マイクロ波、ミリ波 、超音波を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離 計測装置であってもよい。
[0168] また、本実施例 1〜6として、車両に搭載される距離計測装置 1, 201, 301, 401, 501および処理装置 601を例に説明した力 これに限らず、他の移動体に搭載され る処理装置に対して適用してもよい。また、移動体に搭載される処理装置に限らず、 たとえば、所定位置に固定した状態で検出範囲内の距離計測を行う処理装置に適 用してちょい。
産業上の利用可能性
[0169] 以上のように、本発明に力かる距離計測装置、距離計測方法および距離計測プロ グラムは、物体までの距離を計測する距離計測装置に有用であり、特に、車両搭載 用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づ いて警報出力などの各種処理を行う距離計測装置に適している。

Claims

請求の範囲
[1] 所定の検出範囲内に位置する物体までの距離を検出する検出手段と、
所定の撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算す る演算手段と、
前記演算手段による演算結果を用いて前記検出手段による検出結果を補間し、ま たは、前記検出手段による検出結果を用いて前記演算手段による演算結果を補間 する補間手段と、
を備えたことを特徴とする距離計測装置。
[2] 前記補間手段は、前記検出手段の検出値間に前記演算手段の演算値を補間する ことを特徴とする請求項 1に記載の距離計即装置。
[3] 各検出値間を通る所定関数を求め、該所定関数が通る領域を前記演算手段にお ける演算範囲として設定する演算範囲設定手段を備え、
前記演算手段は、前記演算範囲に対応する前記画像信号群の中から所定条件を 備えた画像信号を検出して前記撮像視野内に位置する物体までの距離を演算する ことを特徴とする請求項 2に記載の距離計測装置。
[4] 前記所定関数は、一次関数であることを特徴とする請求項 3に記載の距離計測装 置。
[5] 演算対象となる画像信号の近傍に位置する前記検出値または前記演算値に基づ いて前記演算手段における演算範囲を順次設定する演算範囲設定手段を備え、 前記演算手段は、前記演算範囲に対応する前記画像信号群の中から所定条件を 備えた画像信号を検出して前記撮像視野内に位置する物体までの距離を演算する ことを特徴とする請求項 2に記載の距離計測装置。
[6] 前記補間手段は、前記検出手段からの検出結果から非検出点を検出し、該非検 出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出 力することを特徴とする請求項 1に記載の距離計測装置。
[7] 前記補間手段は、前記演算手段に対して前記非検出点に対応する領域の距離演 算を指示し、 前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行うことを特徴 とする請求項 6に記載の距離計測装置。
[8] 前記演算手段による演算値の信頼度を取得する信頼度取得手段を備え、
前記補間手段は、前記信頼度取得手段によって取得された前記信頼度が評価基 準を満たしていない前記演算値を、該演算値に対応する前記検出手段の検出値で 置き換えて距離情報を出力することを特徴とする請求項 1に記載の距離計測装置。
[9] 前記補間手段は、前記信頼度が前記評価基準を満たして!/、な!、前記演算値に対 応する範囲を前記検出手段の検出範囲として設定し、
前記検出手段は、前記検出範囲内に位置する物体までの距離を検出することを特 徴とする請求項 8に記載の距離計測装置。
[10] 前記補間手段は、前記検出手段の検出値間を前記演算手段の演算値で補間した 検出範囲内情報と、前記検出範囲外に対応する前記演算値力 なる検出範囲外情 報とを組み合わせた距離情報を生成することを特徴とする請求項 1に記載の距離計 測装置。
[11] 前記補間手段は、現処理中の前記検出範囲外情報の取得完了までの間、前回の 前記検出範囲外情報を用いて前記距離情報を生成することを特徴とする請求項 10 に記載の距離計測装置。
[12] 前記補間手段は、前記検出手段が前記検出値を取得する間に、前記検出範囲内 情報を取得することを特徴とする請求項 10に記載の距離計測装置。
[13] 前記検出手段の検出範囲を探索する検出範囲探索手段を備え、
前記補間手段は、前記検出範囲探索手段の探索結果に基づいて前記検出範囲 内情報および前記検出範囲外情報を取得することを特徴とする請求項 10に記載の 距離計測装置。
[14] 前記検出手段における検出値と前記演算手段における演算値とに基づいて前記 撮像視野内の物体の輪郭を示す輪郭情報を生成する輪郭生成手段を備えたことを 特徴とする請求項 1に記載の距離計測装置。
[15] 前記輪郭生成手段が生成した前記輪郭情報が、前記画像信号群に基づ ヽて求め た輪郭を示す他の輪郭情報と適合するカゝ否かを判定する判定手段を備え、 前記輪郭生成手段は、前記判定手段が適合すると判定した前記輪郭情報を出力 することを特徴とする請求項 14に記載の距離計測装置。
[16] 前記撮像手段は、第 1の光路を介して撮像した第 1の前記画像信号群と、第 2の光 路を介して撮像した第 2の前記画像信号群とを生成し、
前記演算手段は、前記第 2の画像信号群の中から前記第 1の画像信号群の任意 の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の 画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演 算することを特徴とする請求項 1に記載の距離計測装置。
[17] 前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、 を備えたことを特徴とする請求項 1に記載の距離計測装置。
[18] 前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像 領域にお 1ヽて電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項 1に記載の距離計測装置。
[19] 当該距離計測装置は、車両に搭載されることを特徴とする請求項 1に記載の距離 計測装置。
[20] 所定の検出範囲内に位置する物体までの距離を検出する検出ステップと、
所定の撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算す る演算ステップと、
前記演算ステップにおける演算結果を用 V、て前記検出ステップにおける検出結果 を補間し、または、前記検出ステップにおける検出結果を用いて前記演算ステップに おける演算結果を補間する補間ステップと、
を含むことを特徴とする距離計測方法。
[21] 所定の検出範囲内に位置する物体までの距離を検出する検出手順と、 所定の撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算す る演算手順と、
前記演算手順における演算結果を用いて前記検出手順における検出結果を補間 し、または、前記検出手順における検出結果を用いて前記演算手順における演算結 果を補間する補間手順と、
を含むことを特徴とする距離計測プログラム。
PCT/JP2006/309664 2005-05-19 2006-05-15 距離計測装置、距離計測方法および距離計測プログラム WO2006123615A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06732595A EP1887382A1 (en) 2005-05-19 2006-05-15 Distance measuring apparatus, distance measuring method and distance measuring program
US11/985,991 US7656508B2 (en) 2005-05-19 2007-11-19 Distance measuring apparatus, distance measuring method, and computer program product

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2005-147175 2005-05-19
JP2005147231A JP2006322856A (ja) 2005-05-19 2005-05-19 距離計測装置、距離計測方法および距離計測プログラム
JP2005147175A JP2006322853A (ja) 2005-05-19 2005-05-19 距離計測装置、距離計測方法および距離計測プログラム
JP2005-147174 2005-05-19
JP2005-147231 2005-05-19
JP2005-147232 2005-05-19
JP2005147232A JP2006323693A (ja) 2005-05-19 2005-05-19 処理装置、画像処理方法および画像処理プログラム
JP2005147174A JP2006322852A (ja) 2005-05-19 2005-05-19 距離計測装置、距離計測方法および距離計測プログラム
JP2005-209087 2005-07-19
JP2005209087A JP2007024731A (ja) 2005-07-19 2005-07-19 距離計測装置、距離計測方法および距離計測プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/985,991 Continuation US7656508B2 (en) 2005-05-19 2007-11-19 Distance measuring apparatus, distance measuring method, and computer program product

Publications (1)

Publication Number Publication Date
WO2006123615A1 true WO2006123615A1 (ja) 2006-11-23

Family

ID=37431188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/309664 WO2006123615A1 (ja) 2005-05-19 2006-05-15 距離計測装置、距離計測方法および距離計測プログラム

Country Status (3)

Country Link
US (1) US7656508B2 (ja)
EP (1) EP1887382A1 (ja)
WO (1) WO2006123615A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578278A (zh) * 2012-07-27 2014-02-12 业纳遥控设备有限公司 用于识别并记录至少一个穿行射线场的目标的装置和方法
CN110361740A (zh) * 2018-04-11 2019-10-22 Aptiv技术有限公司 识别对象的方法
WO2020022021A1 (ja) * 2018-07-27 2020-01-30 日立オートモティブシステムズ株式会社 距離算出装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009045286A1 (de) * 2009-10-02 2011-04-21 Robert Bosch Gmbh Verfahren zur Abbildung des Umfelds eines Fahrzeugs
EP3101387B1 (en) * 2011-05-27 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
US9830523B2 (en) * 2012-05-31 2017-11-28 Korea Institute Of Science And Technology Method and apparatus for recognizing object material using spatial image and spatial radar information
US9966043B2 (en) * 2012-10-26 2018-05-08 Nec Display Solutions, Ltd. Identifier control device, identifier control system, multi-screen display system, identifier controlmethod, and program
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
EP2808700B1 (en) * 2013-05-30 2019-10-02 Ricoh Company, Ltd. Drive assist device, and vehicle using drive assist device
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
TWI498580B (zh) * 2013-11-29 2015-09-01 Wistron Corp 長度量測方法與長度量測裝置
JP6208260B2 (ja) * 2013-12-26 2017-10-04 株式会社日立製作所 物体認識装置
JP6387710B2 (ja) * 2014-07-02 2018-09-12 株式会社リコー カメラシステム、測距方法、およびプログラム
JP6265095B2 (ja) * 2014-09-24 2018-01-24 株式会社デンソー 物体検出装置
JP6825569B2 (ja) 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP6662449B2 (ja) * 2016-03-09 2020-03-11 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6343172Y2 (ja) 1980-04-14 1988-11-10
JPH0239275A (ja) * 1988-07-28 1990-02-08 Agency Of Ind Science & Technol 障害物検出装置
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH06275104A (ja) * 1993-03-18 1994-09-30 Toyota Motor Corp 車両用前照灯装置
JPH08171151A (ja) 1994-12-16 1996-07-02 Olympus Optical Co Ltd ステレオカメラ
JPH10186033A (ja) * 1996-12-25 1998-07-14 Isuzu Motors Ltd 車両距離測定装置
JPH1172558A (ja) * 1997-08-29 1999-03-16 Toshiba Corp 目標標定装置及び着陸誘導装置
JP2000266539A (ja) * 1999-03-15 2000-09-29 Nissan Motor Co Ltd 車間距離計測装置
JP2000310677A (ja) * 1999-04-28 2000-11-07 Honda Motor Co Ltd 障害物検出装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2001330665A (ja) * 2000-05-18 2001-11-30 Fujitsu Ten Ltd レーダ及び画像処理を用いた車載用物体検出装置
JP2003139858A (ja) * 2001-11-02 2003-05-14 Fuji Heavy Ind Ltd 車外監視装置
JP2004085337A (ja) * 2002-08-27 2004-03-18 Fujitsu Ltd 車両検出方法及び車両検出装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62182613A (ja) 1986-12-24 1987-08-11 Ricoh Co Ltd 距離検出装置
JP3138618B2 (ja) * 1995-07-31 2001-02-26 三菱電機株式会社 車両用距離測定装置
EP0899580A3 (en) 1997-08-29 2000-02-02 Kabushiki Kaisha Toshiba Target locating system and approach guidance system
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20010031068A1 (en) 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
US7440084B2 (en) * 2004-12-16 2008-10-21 Arete' Associates Micromechanical and related lidar apparatus and method, and fast light-routing components

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6343172Y2 (ja) 1980-04-14 1988-11-10
JPH0239275A (ja) * 1988-07-28 1990-02-08 Agency Of Ind Science & Technol 障害物検出装置
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH06275104A (ja) * 1993-03-18 1994-09-30 Toyota Motor Corp 車両用前照灯装置
JPH08171151A (ja) 1994-12-16 1996-07-02 Olympus Optical Co Ltd ステレオカメラ
JPH10186033A (ja) * 1996-12-25 1998-07-14 Isuzu Motors Ltd 車両距離測定装置
JPH1172558A (ja) * 1997-08-29 1999-03-16 Toshiba Corp 目標標定装置及び着陸誘導装置
JP2000266539A (ja) * 1999-03-15 2000-09-29 Nissan Motor Co Ltd 車間距離計測装置
JP2000310677A (ja) * 1999-04-28 2000-11-07 Honda Motor Co Ltd 障害物検出装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2001330665A (ja) * 2000-05-18 2001-11-30 Fujitsu Ten Ltd レーダ及び画像処理を用いた車載用物体検出装置
JP2003139858A (ja) * 2001-11-02 2003-05-14 Fuji Heavy Ind Ltd 車外監視装置
JP2004085337A (ja) * 2002-08-27 2004-03-18 Fujitsu Ltd 車両検出方法及び車両検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578278A (zh) * 2012-07-27 2014-02-12 业纳遥控设备有限公司 用于识别并记录至少一个穿行射线场的目标的装置和方法
CN110361740A (zh) * 2018-04-11 2019-10-22 Aptiv技术有限公司 识别对象的方法
CN110361740B (zh) * 2018-04-11 2023-06-06 Aptiv技术有限公司 识别对象的方法
WO2020022021A1 (ja) * 2018-07-27 2020-01-30 日立オートモティブシステムズ株式会社 距離算出装置
JP2020016628A (ja) * 2018-07-27 2020-01-30 日立オートモティブシステムズ株式会社 距離算出装置
CN112513571A (zh) * 2018-07-27 2021-03-16 日立汽车系统株式会社 距离计算装置
JP7042185B2 (ja) 2018-07-27 2022-03-25 日立Astemo株式会社 距離算出装置
CN112513571B (zh) * 2018-07-27 2023-08-25 日立安斯泰莫株式会社 距离计算装置

Also Published As

Publication number Publication date
US7656508B2 (en) 2010-02-02
US20080079954A1 (en) 2008-04-03
EP1887382A1 (en) 2008-02-13

Similar Documents

Publication Publication Date Title
WO2006123615A1 (ja) 距離計測装置、距離計測方法および距離計測プログラム
US9470548B2 (en) Device, system and method for calibration of camera and laser sensor
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US10104359B2 (en) Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program
CN108692719B (zh) 物体检测装置
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
US20080088707A1 (en) Image processing apparatus, image processing method, and computer program product
US12033400B2 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
JP2006322797A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2006121088A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3727400B2 (ja) 横断者の検出装置
JP4712562B2 (ja) 車両の前方立体物認識装置
JP2007171048A (ja) 位置データ補間方法及び位置検出センサ及び位置測定装置
JP2007183432A (ja) 自動走行用マップ作成装置、及び自動走行装置。
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20150296202A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
KR101674298B1 (ko) 카메라 렌즈 초점거리 정보를 이용한 거리계산 방법
JP2006323693A (ja) 処理装置、画像処理方法および画像処理プログラム
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
CN113534805A (zh) 机器人回充控制方法、装置和存储介质
JP2007240275A (ja) 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11985991

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006732595

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006732595

Country of ref document: EP