WO2013132947A1 - 距離算出装置及び距離算出方法 - Google Patents

距離算出装置及び距離算出方法 Download PDF

Info

Publication number
WO2013132947A1
WO2013132947A1 PCT/JP2013/052652 JP2013052652W WO2013132947A1 WO 2013132947 A1 WO2013132947 A1 WO 2013132947A1 JP 2013052652 W JP2013052652 W JP 2013052652W WO 2013132947 A1 WO2013132947 A1 WO 2013132947A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
calculation unit
distance calculation
image information
calculated
Prior art date
Application number
PCT/JP2013/052652
Other languages
English (en)
French (fr)
Inventor
春樹 的野
寛人 三苫
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US14/379,392 priority Critical patent/US9530210B2/en
Priority to EP13758317.5A priority patent/EP2824417B1/en
Publication of WO2013132947A1 publication Critical patent/WO2013132947A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/529Depth or shape recovery from texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a distance calculation apparatus and a distance calculation method, and more particularly to a distance calculation apparatus and a distance calculation method applied to an imaging system including a plurality of imaging units.
  • an object detection system for detecting an object such as a pedestrian or a vehicle using a plurality of cameras such as a stereo camera has been put to practical use.
  • the target detection system described above calculates positional deviation (parallax) of the same target on a plurality of images captured at the same time by a plurality of cameras (image pickup devices) using, for example, template matching,
  • the object can be detected by calculating the position of the object in the real space using the following conversion equation.
  • Such an object detection system for a stereo camera that calculates the distance to an object using a pair of images captured by a plurality of cameras (imaging devices) and recognizes the object is the safety of the vehicle described above.
  • the present invention can be applied to a monitoring system or the like that detects intrusion or abnormality of a suspicious person.
  • the object detection system for a stereo camera applied to the safety system or the monitoring system captures an image of an object with a plurality of cameras arranged at predetermined intervals, and a pair of captured images captured by the plurality of cameras Is a system that calculates the distance to the object by applying triangulation technology to the above.
  • the object detection system performs stereo image processing that applies triangulation processing to at least two imaging devices (cameras) and at least two captured images output from these imaging devices.
  • LSI Large Scale Integration
  • this stereo image processing LSI superimposes pixel information included in a pair of captured images captured by a plurality of cameras and shifts the positions of two captured images at the same position.
  • Triangulation processing is performed by performing arithmetic processing to calculate the amount (disparity).
  • the deviation of the optical characteristic and the signal characteristic is different for each imaging device so that a deviation other than parallax does not occur between a pair of captured images captured by a plurality of cameras. It is necessary to make adjustments so as not to occur, and to obtain in advance the distance between the imaging devices etc. in advance.
  • FIG. 9 illustrates the principle of the object detection system using the above-described stereo camera, and in the figure, ⁇ is parallax (displacement amount of the matched position of a pair of captured images) and Z is up to the object
  • the measurement distance, f represents the focal length of the imaging device, and b represents the base length (the distance between the imaging devices), and the relationship represented by the following equation (1) is established between them.
  • Patent Document 1 discloses a technology that integrates the techniques of a stereo camera and a monocular camera to compensate for the disadvantages of both.
  • a three-dimensional coordinate acquisition device disclosed in Patent Document 1 calculates three-dimensional coordinates of an object from images captured by a single-eye camera and a stereo camera, and simply switches or integrates the two calculation results. It is. Also, when integrating the calculation results of both, it is an apparatus that changes the weights of both according to the distance from the camera of the object, the vehicle speed, the number of flows, and the accuracy.
  • the distance to the object in both the monocular camera and the stereo camera is obtained by using the images captured by the monocular camera and the stereo camera.
  • the three-dimensional coordinates of the object calculated from the images captured by the single-eye camera and the stereo camera according to the distance to the object and the vehicle speed, etc. The accuracy of distance measurement to the object can be enhanced.
  • the present invention has been made in view of the above problems, and the object of the present invention is to perform distance measurement equal to or less than the parallax resolution of a stereo camera, for example, a situation where raindrops or mud adhere to the camera
  • An object of the present invention is to provide a distance calculation device and a distance calculation method capable of precisely measuring a relative distance to an object even when an imaging state such as a cloudy state of a camera lens is lowered.
  • a distance calculation device is a distance calculation device of an imaging system including a plurality of imaging devices, and is imaged by a single imaging device among the plurality of imaging devices.
  • a first distance calculation unit that calculates a distance to an object based on image information, and a distance to an object based on image information captured by at least two of the plurality of imaging devices
  • a second distance calculation unit a blur amount calculation unit for calculating a blur amount of image information captured by the single imaging device and image information captured by the at least two imaging devices; and the single imaging device
  • a distance estimation unit configured to estimate a distance to the object at the time of capturing an image by the at least two imaging devices; and an output distance calculation unit configured to calculate an output distance to the object, the output distance
  • the output unit calculates the first distance calculated by the first distance calculation unit and the second distance based on the blur amount calculated by the blur amount calculation unit and the estimated distance estimated by the distance estimation unit.
  • One of the second distances calculated by the distance calculation unit is selected as the output distance.
  • a distance calculation method is a distance calculation method of an imaging system including a plurality of imaging devices, and an object based on image information imaged by a single imaging device among the plurality of imaging devices.
  • the distance to the object is calculated, the distance to the object is calculated based on the image information captured by at least two of the plurality of imaging devices, and the image information captured by the single imaging device and the information
  • the blur amount of the image information captured by at least two imaging devices is calculated, the distance to the object at the time of capturing an image by the single imaging device and the at least two imaging devices is estimated, and the blur amount and the One of the distances calculated based on the estimated distance is selected as the output distance to the object.
  • the distance calculation device and the distance calculation method of the present invention in an imaging system including a plurality of imaging devices, for example, distance measurement less than the parallax resolution of a stereo camera can be performed, and the imaging state of the imaging device decreases. Even in this case, the relative distance to the object can be precisely and stably measured.
  • FIG. 2 is an internal configuration diagram showing an internal configuration of the distance calculation device of the first embodiment shown in FIG. 1; The figure explaining the distance calculation method to the target object using a monocular camera.
  • FIG. 3 is a view showing an example of a selection table used in an output distance calculation unit shown in FIG. 2; The internal block diagram which shows the internal structure of 2nd Embodiment of the distance calculation apparatus based on this invention.
  • FIG. 6 is a view showing an example of a selection table used in the output distance calculation unit shown in FIG. 5; The flowchart which showed the processing flow of the distance calculation apparatus shown in FIG.
  • FIG. 8 is a flowchart showing a processing flow of recognition camera switching processing shown in FIG. 7; The figure explaining the principle of the target object detection system using a stereo camera.
  • FIG. 1 schematically shows an imaging system to which a first embodiment of a distance calculation device according to the present invention is applied.
  • the illustrated imaging system 100 mainly includes two cameras (imaging devices) 101 and 102 arranged at predetermined intervals, a camera control device 103 for controlling the cameras 101 and 102, and the cameras 101 and 102.
  • the RAM 104 which is a temporary storage area for captured images and the like, the ROM 105 for storing programs and various initial values, a control system such as a brake, and communication means for notifying the user of the recognition state of the camera to the user.
  • An external IF 106, a distance calculation device 107 for calculating the distance to an object, and a CPU 108 for controlling the entire system are provided, each of which can exchange information via the bus 109. . That is, in this imaging system 100, by using two cameras 101 and 102, it is possible to measure the distance to the object using a stereo camera.
  • the cameras 101 and 102 are composed of imaging elements such as, for example, charge coupled device image sensors (CCDs) and complementary metal oxide semiconductors (CMOSs), and the imaging timing of each of the cameras 101 and 102 by the camera control device 103.
  • imaging elements such as, for example, charge coupled device image sensors (CCDs) and complementary metal oxide semiconductors (CMOSs), and the imaging timing of each of the cameras 101 and 102 by the camera control device 103.
  • CCDs charge coupled device image sensors
  • CMOSs complementary metal oxide semiconductors
  • FIG. 2 shows an internal configuration of the distance calculation device 107 according to the first embodiment shown in FIG.
  • the captured images captured by the cameras 101 and 102 are temporarily stored in camera image storage units 104 a and 104 b of the RAM 104, respectively.
  • the illustrated distance calculation device 107 mainly includes a blur amount calculation unit 201, a distance estimation unit 202, a monocular distance calculation unit (first distance calculation unit) 203, and a stereo distance calculation unit (second distance calculation unit). And an output distance calculation unit 206.
  • the blur amount calculation unit 201 evaluates the degree of blur of the image information captured by the camera 101 and stored in the camera image storage unit 104a and the image information captured by the camera 102 and stored in the camera image storage unit 104b.
  • a method of evaluating the degree of blur for example, a method of evaluating the edge strength of an image, a method of evaluating the level of contrast of the image, or the like can be applied.
  • the calculation result is transmitted to the monocular distance calculation unit 203 and the output distance calculation unit 206.
  • the monocular distance calculation unit 203 is based on the image information captured by the camera 101 and stored in the camera image storage unit 104a and the image information captured by the camera 102 and stored in the camera image storage unit 104b.
  • the distance (first distance) is calculated, and the calculation result is transmitted to the output distance calculation unit 206.
  • the monocular distance calculation unit 203 uses the image information stored in the camera image storage unit 104 a and the image information stored in the camera image storage unit 104 b based on the blur amount transmitted from the blur amount calculation unit 201. It is used to determine which to perform the distance operation.
  • the monocular distance calculation unit 203 compares the blur amount of the image information stored in the camera image storage unit 104a with the blur amount of the image information stored in the camera image storage unit 104b, The distance to the object is calculated based on the image information with a small amount of blur. As a result, even if one of the cameras is contaminated by raindrops or mud, for example, and the imaging state is reduced, the object is obtained based on the image information captured by the camera that can capture a smaller amount of blurring more normally. Since the distance up to the point can be calculated, it is possible to maintain the accuracy of the distance measurement in the monocular distance calculation unit 203.
  • the various calculation methods known conventionally can be applied as a calculation method of the said distance
  • the calculation method using the vehicle width of a vehicle is mentioned as the example.
  • the area (position on the screen) of the vehicle is calculated from the image information obtained from the camera image storage unit 104a or the camera image storage unit 104b by pattern matching.
  • the pattern matching is a method of calculating the correlation value of the luminance value of the captured image, and determining the area as the "vehicle area" if the luminance value is equal to or more than a predetermined value. It is.
  • the vehicle width of the vehicle can be calculated from the image information obtained from the camera image storage unit 104a or the camera image storage unit 104b, assuming that the imaging direction of the camera and the back of the vehicle are substantially perpendicular. It is possible to easily calculate the approximate distance to the target vehicle from the width of the vehicle and the like.
  • FIG. 3 illustrates a method of calculating the distance to an object using the camera 101 or the camera 102, in which W is the width of the leading vehicle, Z is the distance to the leading vehicle, and x is the imaging plane.
  • the vehicle width of f represents the focal length of the camera, and the relationship shown by the following equation (2) holds between them, so the distance W to the leading vehicle can be calculated. .
  • the monocular distance calculation unit 203 may not be able to accurately calculate the distance to the leading vehicle when the imaging direction of the camera, such as a road surface with a slope or a curve, is not substantially perpendicular to the back of the vehicle. There is.
  • the distance to the preceding vehicle is calculated using the assumed vehicle width of the vehicle, if the vehicle width of the target vehicle is unknown, an error may occur in the distance to the vehicle. is there.
  • the stereo distance calculation unit 204 shown in FIG. 2 is a distance (second distance) to the object based on the respective image information captured by the cameras 101 and 102 and stored in the camera image storage units 104a and 104b. Calculate Specifically, the corresponding pixels are searched from the image information obtained from the camera image storage units 104a and 104b, the parallax is calculated, the distance to the object is calculated (see FIG. 9), and the calculation result is output. It transmits to distance calculation section 206.
  • a method of searching for corresponding points of the images captured by the cameras 101 and 102 in order to calculate the parallax for example, a method of calculating a sum of absolute differences (SAD) is used. Apply a specific part of one image as a template to search for the corresponding position in that image, calculate the sum of the absolute value differences of the luminance values of each pixel, and the sum corresponds to the highest correlation. Position. Thereby, the positional deviation between one image and the other image can be made to be parallax.
  • the vertical positions of both images are aligned in advance (referred to as “parallelize”), and a specific part of one image is set to about 4 ⁇ 4 pixels on the other side.
  • the calculation results calculated by the monocular distance calculation unit 203 and the stereo distance calculation unit 204 be the same as the actual distance to the object, both calculation methods etc. cause both.
  • the calculation result of is not necessarily the same as the actual distance to the object.
  • the distance estimation unit 202 executes processing called tracking processing, estimates the distance at the time of detection this time (during imaging of the image by the cameras 101 and 102) from the previously detected distance, and outputs the estimation result It transmits to distance calculation section 206.
  • the behavior of the vehicle and the object at the time of detection of the object in the previous vehicle area or the like is stored, and the distance to the object at the current detection time is estimated. More specifically, for example, the relative velocity with the object such as the preceding vehicle at the previous detection time is stored, and the relative distance with the object at the current detection time based on the elapsed time at the previous detection time and the current detection time.
  • the calculation result of the monocular distance calculation unit 203, the stereo distance calculation unit 204, or the like can also be used as the distance to the object at the time of the previous detection.
  • the output distance calculation unit 206 transmits both the distances transmitted from the monocular distance calculation unit 203 and the stereo distance calculation unit 204, the blur amount transmitted from the blur amount calculation unit 201, and the distance estimation unit 202. Based on the estimated distance, an output distance (final distance) to be output to a control system such as a brake or a display system is calculated. At this time, using the selection table using the amount of blur and the estimated distance stored in advance in the ROM 105 as parameters, one of the distance transmitted from the monocular distance calculation unit 203 and the distance transmitted from the stereo distance calculation unit 204 is output. Choose as a distance.
  • FIG. 4 shows an example of the selection table used in the output distance calculation unit 206 shown in FIG.
  • the blur amount is a value obtained by normalizing the evaluation value of the degree of blur of the camera image described above from 0 to 100, where 0 represents a state without blur and 100 represents a state with maximum blur.
  • the amount of blurring can be selected from the amount of blurring of the image information stored in the camera image storage unit 104a and the amount of blurring of the image information stored in the camera image storage unit 104b. Among the blur amounts, select a relatively large blur amount.
  • the stereo distance calculation unit 204 when the estimated distance is closer than the threshold (for example, less than 50 m) and the blur amount of the image information is smaller than the threshold (for example, less than 50), the stereo distance calculation unit 204 is stable. Since it is considered that the distance to the object can be calculated, the output distance calculation unit 206 selects the distance (stereo distance) calculated by the stereo distance calculation unit 204 as the output distance.
  • the output distance calculation unit 206 selects the distance (monocular distance) calculated by the monocular distance calculation unit 203 as the output distance. Furthermore, when the estimated distance is farther than the threshold (for example, more than 50 m), the distance calculation by the stereo distance calculation unit 204 is considered to be difficult because the parallax value is small, so the output distance calculation unit 206 calculates the monocular distance The distance (monocular distance) calculated by the unit 203 is selected as the output distance.
  • the monocular distance calculation unit 203 blurs the image information stored in the camera image storage unit 104a. Since the amount and the blur amount of the image information stored in the camera image storage unit 104 b are compared, and the distance to the object is calculated based on the image information having a relatively small blur amount, the monocular distance calculation unit 203 The accuracy of the distance measurement at is maintained.
  • the stereo distance calculation unit 204 calculates one of the distance (monocular distance) calculated by the monocular distance calculation unit 203 and the distance (stereo distance) calculated by the stereo distance calculation unit 204 based on the estimated distance and the blur amount. Therefore, by selecting one of the distance (monocular distance) calculated by the monocular distance calculation unit 203 and the distance (stereo distance) calculated by the stereo distance calculation unit 204 based on the estimated distance and the blur amount, Even when the imaging state of one camera is reduced due to the influence of mud, raindrops and the like, the relative distance to the object can be calculated stably and accurately.
  • FIG. 5 shows an internal configuration of the second embodiment of the distance calculation device according to the present invention.
  • the distance calculation device 107A of the second embodiment shown in FIG. 5 is different from the distance calculation device 107 of the first embodiment shown in FIG. 2 in that the stereo distance calculation unit has a plurality of distance calculation means.
  • the other configuration is substantially the same as that of the distance calculation device 107 according to the first embodiment. Therefore, about the same composition as distance calculation device 107 of a 1st embodiment, the same numerals are attached and the detailed explanation is omitted.
  • the illustrated stereo distance calculation unit 204A has three distance calculation means 205Aa, 205Ab, and 205Ac which are different in the method of calculating the distance to the object.
  • the distance calculating unit 205Aa is a unit using the same distance calculating method as the stereo distance calculating unit 204 according to the first embodiment described above, and for example, 4 ⁇ 4 pixels of the image information stored in the camera image storage unit 104Aa.
  • One block is a means for searching for a corresponding point from the image information stored in the camera image storage unit 104Ab.
  • This distance calculation means 205Aa has the advantage of being easy to hardware because it repeats the same operation.
  • the distance calculation means 205Ab searches for an object such as a vehicle area from image information stored in the camera image storage unit 104Aa, for example, by pattern matching with a template of an object such as a vehicle prepared in advance, and stores the camera image. Means for calculating a parallax between cameras and a distance to an object by searching for an object such as a vehicle area cut out from image information stored in the unit 104Aa as a template from the image information stored in the camera image storage unit 104Ab It is.
  • this distance calculation means 205Ab uses an object such as a vehicle area as a template when searching for an object such as a vehicle area from the image information stored in the camera image storage unit 104Ab, There is an advantage that all pixel values can be used for search, and matching accuracy at the time of search is improved. Therefore, even when, for example, the object is located at a distance, the distance to the object can be accurately calculated.
  • the distance calculation unit 205Ac performs pattern matching with a template of an object such as a vehicle prepared in advance to generate image information stored in the camera image storage unit 104Aa and image information stored in the camera image storage unit 104Ab.
  • the position of the object is calculated, and the parallax between the cameras is calculated from the position of the object on the image stored in the camera image storage unit 104Aa and the position of the object on the image stored in the camera image storage unit 104Ab It is a means to calculate the distance to the object.
  • the distance calculating means 205Ac has an advantage of being robust against blurring of an image or the like by pattern matching with a template of an object such as a vehicle. Therefore, even in the case where the imaging state of both cameras is lowered due to blurring or the like, the distance to the object can be calculated relatively finely.
  • the distance calculation device 107A includes a distance calculation selection unit 207A, and the distance calculation selection unit 207A will be described later with the blur amount transmitted from the blur amount calculation unit 201A and the estimated distance transmitted from the distance estimation unit 202A.
  • the stereo distance calculation unit 204 calculates a signal relating to which one of the three distance calculation units 205Aa, 205Ab and 205Ac of the stereo distance calculation unit 204A should be used to execute the distance calculation. It transmits to part 204A.
  • the stereo distance calculation unit 204A calculates the distance to the object based on the distance calculation means corresponding to the information and the respective image information stored in the camera image storage units 104Aa and 104Ab, The calculation result is sent to the output distance calculation unit 206A.
  • the output distance calculation unit 206A calculates the distance transmitted from the monocular distance calculation unit 203A and the distance calculated using any of the distance calculation units 205Aa, 205Ab, and 205Ac transmitted from the stereo distance calculation unit 204A.
  • a control system such as a brake or a display system based on the blur amount transmitted from the blur amount calculation unit 201A and the estimated distance transmitted from the distance estimation unit 202A Calculate).
  • a control system such as a brake or a display system based on the blur amount transmitted from the blur amount calculation unit 201A and the estimated distance transmitted from the distance estimation unit 202A Calculate.
  • the selection table in which the amount of blur and the estimated distance stored in advance in the ROM 105A are parameters one of the distance transmitted from the monocular distance calculation unit 203
  • FIG. 6 shows an example of a selection table used in the distance calculation / selection unit 207A and the output distance calculation unit 206A shown in FIG.
  • the amount of blurring can be selected from the amount of blurring of the image information stored in the camera image storage unit 104Aa and the amount of blurring of the image information stored in the camera image storage unit 104Ab. Among the blur amounts, select a relatively large blur amount.
  • the output distance calculation unit 206A outputs the stereo distance calculation unit 204A.
  • the distance (stereo a distance) calculated using the distance calculation means 205Aa having robustness to an arbitrary object is selected as the output distance.
  • the output distance calculation unit 206A outputs the stereo distance calculation unit 204A.
  • the distance (stereo b distance) calculated using the distance calculation means 205Ab capable of measuring the distance with high accuracy with high accuracy is selected as the output distance.
  • the output distance calculation unit 206A The distance (stereo c distance) calculated using the distance calculation means 205Ac having robustness to blurring of the image or the like is selected as the output distance.
  • the output distance calculation unit 206A selects the distance (monocular distance) calculated by the monocular distance calculation unit 203A as the output distance.
  • the monocular distance calculation unit 203A compares the blur amount of the image information stored in the camera image storage unit 104Aa with the blur amount of the image information stored in the camera image storage unit 104Ab, and Since the distance to the object is calculated based on small image information, the accuracy of distance measurement in the monocular distance calculation unit 203A is maintained.
  • FIG. 7 shows a processing flow of the distance calculation device 107A of the second embodiment shown in FIG. 5, and FIG. 8 shows a processing flow of recognition camera switching processing shown in FIG. .
  • the stereo distance calculation unit 204A searches for an object such as a vehicle area from image information stored in the camera image storage unit 104Aa using a template of an object such as a vehicle prepared in advance, The distance of the area (stereo distance) is calculated (S701).
  • the tracking processing is performed by the distance estimation unit 202A to calculate the estimated distance of the object at the time of the current detection (S702).
  • the blur amount calculation unit 201A calculates the blur amount of the image information stored in the camera image storage units 104Aa and 104Ab (S703).
  • the recognition camera switching process converts the image information used in template matching of the stereo distance calculation unit 204A from the image information stored in the camera image storage unit 104Aa to the image information stored in the camera image storage unit 104Ab or It is processing to switch to the contrary.
  • the recognition camera switching process can recognize both of the image information stored in the camera image storage unit 104Ab from the image information stored in the camera image storage unit 104Aa, such recognition is possible. In such a case, the processing amount is doubled, so that camera image information to be used is switched according to the amount of blur calculated by the amount-of-blur calculation unit 201A in order to process with a built-in device with limited hardware resources.
  • the camera for detecting an object such as a vehicle is switched (S706), and the tracking information in the previous frame is handed over (S707).
  • S706 the camera for detecting an object
  • S707 the tracking information in the previous frame is handed over.
  • the detection of the target fails, by predicting to which area it will move at the time of the current detection (at the time of capturing an image by the camera) using detection position information at the previous detection. This is to correct the case where the detection position of the object is slightly deviated and to stabilize the detection result of the object.
  • the tracking information is not handed over every time the camera image is switched, the tracking process is temporarily interrupted, and the detection performance of the object becomes unstable each time the camera image is switched.
  • the inherited tracking information includes at least the coordinates, distance, and relative velocity on the image
  • the position of the object on the camera image at the time of the current detection is based on the parallax from the distance of the inherited tracking information. It updates (S708).
  • detection processing of the object is performed using the position of the object on the updated camera image, and the previous position search range is updated based on the parallax (S709).
  • the tracking process can be continued smoothly.
  • the stereo distance calculation unit 204A selects appropriate distance calculation means 205Aa, 205Ab, 205Ac based on the blur amount calculated by the blur amount calculation unit 201A. (S710), the distance estimation unit 202A executes tracking processing to calculate the estimated distance at the time of detection of the object (S711), and after the camera image before switching is stabilized, after switching, Continue processing with the camera image.
  • the stereo distance calculation unit has a plurality of distance calculation means that can cope with various situations, so that, for example, mud, raindrops, or the like in one camera. Even if the image pickup condition is reduced due to the adhesion, the optimum distance according to the image pickup condition of the camera and the distance to the object can be output, and the influence of raindrops, mud and the like can be suppressed The relative distance to the object can be accurately calculated.
  • the threshold value of the estimated distance and the amount of blurring shown in FIG. 4 and FIG. may be changed according to the estimated distance to the object. For example, if the vehicle detects an object and suddenly stops to avoid a collision (referred to as "pre-crash safety"), if the distance measurement method is switched from stereo to monocular with the distance to the object being close There is a possibility that the distance to any object can not be accurately measured. Therefore, when the distance to the object is short, the distance measured in stereo is selected, and the distance from the object to the object is short by switching from stereo to monocular depending on the amount of blurring from middle to far. The same distance measurement method can always be applied, and the configuration of the device can be simplified to reliably detect any object.
  • the embodiment using two cameras has been described, but at least two image pickup devices are provided, and distance measurement with an object by a stereo camera is If possible, the radix of the imaging device can be changed as appropriate.
  • the two cameras (imaging devices) constituting the stereo camera have been described as a monocular camera, for example, a camera constituting the stereo camera And single-eye cameras may be provided separately.
  • the distance calculation device incorporates the blur amount calculation unit and the distance estimation unit has been described, for example, the blur amount calculation unit and the distance estimation outside the distance calculation device A part may be provided.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the above-described embodiment is described in detail to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a storage device such as a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD solid state drive
  • control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.
  • Imaging system 101, 102 camera (imaging apparatus) 103 Camera Controller 104 RAM 104a, 104b camera image storage unit 105 ROM 106 External IF 107 Distance calculation device 108 CPU 109 bus 201 blur amount calculation unit 202 distance estimation unit 203 monocular distance calculation unit (first distance calculation unit) 204 Stereo Distance Calculator (Second Distance Calculator) 206 Output distance calculation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

 ステレオカメラの視差分解能以下の距離計測を行うことができ、撮像状態が低下した場合であっても対象物までの相対距離を精緻に計測することができるために、2つのカメラ(101、102)のいずれかで撮像された画像情報に基づいて対象物までの距離を算出する単眼距離算出部(203)と、2つのカメラで撮像された画像情報に基づいて対象物までの距離を算出するステレオ距離算出部(204)と、2つのカメラで撮像された画像情報のボケ量を算出するボケ量算出部(201)と、2つのカメラによる画像撮像時における対象物までの距離を推定する距離推定部(202)と、対象物までの出力距離を算出する出力距離算出部(206)と、を備え、出力距離算出部は、ボケ量と推定距離に基づいて単眼距離算出部によって算出された距離とステレオ距離算出部によって算出された距離のいずれかを出力距離として選択する。

Description

距離算出装置及び距離算出方法
 本発明は距離算出装置及び距離算出方法に関し、例えば複数の撮像手段を備えた撮像システムに適用される距離算出装置及び距離算出方法に関する。
 従来から、自動車分野等においては、安全性の向上を目的として様々な安全システムが装備されている。
 近年、そのような安全システムの一つとして、ステレオカメラなどの複数のカメラを用いて歩行者や車両等の対象物を検出する対象物検出システムが実用化されている。
 上記する対象物検出システムは、例えばテンプレートマッチングを用いて複数のカメラ(撮像装置)で同時刻に撮像された複数の画像上における同一対象物の位置ずれ(視差)を算出し、前記視差と周知の変換式とを用いて対象物の実空間上の位置を算出することで、対象物を検出することができる。
 このような、複数のカメラ(撮像装置)で撮像された一対の画像を用いて対象物までの距離を算出して対象物の認識を行うステレオカメラの対象物検出システムは、上記する車両の安全システムのほか、不審者の侵入や異常を検知する監視システム等にも適用することができる。
 前記安全システムや監視システムに適用されるステレオカメラの対象物検出システムは、所定の間隔を置いて配置された複数のカメラで対象物を撮像し、その複数のカメラで撮像された一対の撮像画像に対して三角測量技術を適用することによって、対象物までの距離を算出するシステムである。
 具体的には、前記対象物検出システムは、一般に、すくなくとも2台の撮像装置(カメラ)と、これらの撮像装置から出力される少なくとも2つの撮像画像に対して三角測量処理を適用するステレオ画像処理LSI(Large Scale Integration)と、を備えており、このステレオ画像処理LSIは、複数のカメラで撮像された一対の撮像画像に含まれる画素情報を重ね合わせて2つの撮像画像の一致した位置のずれ量(視差)を算出する演算処理を行なうことによって三角測量処理を実行する。なお、このような対象物検出システムにおいては、複数のカメラで撮像された一対の撮像画像の間に視差以外のずれが発生しないように、各々の撮像装置毎に光学特性や信号特性のずれがないように調整したり、撮像装置間の距離等を予め精緻に求めておく必要がある。
 図9は、上記するステレオカメラを用いた対象物検出システムの原理を説明したものであり、図中、δは視差(一対の撮像画像の一致した位置のずれ量)、Zは対象物までの計測距離、fは撮像装置の焦点距離、bは基線長(撮像装置間の距離)をそれぞれ表しており、これらの間には以下の式(1)で示す関係が成立している。
Figure JPOXMLDOC01-appb-M000001
 ところで、ステレオカメラを用いた対象物検出システムにおいては、対象物までの計測距離が大きくなるに従って視差δが小さくなるため、この視差δの算出性能が低下すると対象物までの距離計測の精度が低下するといった問題がある。また、対象物が遠方に位置する場合にはその対象物は撮像画像上で小さくなるため、泥や雨滴等が一方若しくは双方のカメラのレンズに付着するとその対象物を認識することが困難となり、対象物までの距離計測の精度が更に低下するといった問題がある。
 このような問題に対して、特許文献1には、ステレオカメラと単眼カメラの技術を融合して双方の欠点を補完する技術が開示されている。
 特許文献1に開示されている3次元座標取得装置は、単眼カメラとステレオカメラのそれぞれで撮像された画像から対象物の3次元座標を算出し、双方の算出結果を単純に切り替えあるいは統合する装置である。また、双方の算出結果を統合する際には、対象物のカメラからの距離や車速度、フローの数や精度に応じて双方の重みを変更する装置である。
特開2007-263657号公報
 特許文献1に開示されている3次元座標取得装置によれば、単眼カメラとステレオカメラのそれぞれで撮像された画像を用いることによって、単眼カメラとステレオカメラの双方の領域における対象物までの距離を計測することができると共に、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出される対象物の3次元座標に対して対象物までの距離や車速度等に応じた重みを付けることによって、対象物までの距離計測の精度を高めることができる。
 しかしながら、特許文献1に開示されている3次元座標取得装置においては、泥や雨滴等の影響によってカメラの撮像画像の信頼度が低下した場合に、対象物までの距離計測の精度が低下するといった課題を解消し得ない。
 本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、ステレオカメラの視差分解能以下の距離計測を行うことができ、例えば雨滴や泥等がカメラに付着した状況やカメラレンズが曇った状況等といった撮像状態が低下した場合であっても対象物までの相対距離を精緻に計測することができる距離算出装置及び距離算出方法を提供することにある。
 上記する課題を解決するために、本発明に係る距離算出装置は、複数の撮像装置を備えた撮像システムの距離算出装置であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第1の距離算出部と、前記複数の撮像装置のうち少なくとも2つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第2の距離算出部と、前記単数の撮像装置で撮像された画像情報と前記少なくとも2つの撮像装置で撮像された画像情報のボケ量を算出するボケ量算出部と、前記単数の撮像装置と前記少なくとも2つの撮像装置による画像撮像時における前記対象物までの距離を推定する距離推定部と、前記対象物までの出力距離を算出する出力距離算出部と、を備え、前記出力距離算出部は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて、前記第1の距離算出部によって算出された第1の距離と前記第2の距離算出部によって算出された第2の距離のいずれかを前記出力距離として選択することを特徴とする。
 また、本発明に係る距離算出方法は、複数の撮像装置を備えた撮像システムの距離算出方法であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記複数の撮像装置のうち少なくとも2つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記単数の撮像装置で撮像された画像情報と前記少なくとも2つの撮像装置で撮像された画像情報のボケ量を算出し、前記単数の撮像装置と前記少なくとも2つの撮像装置による画像撮像時における前記対象物までの距離を推定し、前記ボケ量と前記推定距離とに基づいて算出されたそれぞれの距離のいずれかを前記対象物までの出力距離として選択することを特徴とする。
 本発明の距離算出装置及び距離算出方法によれば、複数の撮像装置を備えた撮像システムにおいて、例えばステレオカメラの視差分解能以下の距離計測を行うことができ、撮像装置の撮像状態が低下した場合であっても対象物までの相対距離を精緻に且つ安定して計測することができる。
 上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る距離算出装置の第1の実施の形態が適用される撮像システムを概略的に示す全体構成図。 図1に示す第1の実施の形態の距離算出装置の内部構成を示す内部構成図。 単眼カメラを用いた対象物までの距離算出方法を説明した図。 図2に示す出力距離算出部で用いられる選択テーブルの一例を示す図。 本発明に係る距離算出装置の第2の実施の形態の内部構成を示す内部構成図。 図5に示す出力距離算出部で用いられる選択テーブルの一例を示す図。 図5に示す距離算出装置の処理フローを示したフローチャート。 図7に示す認識カメラ切替処理の処理フローを示したフローチャート。 ステレオカメラを用いた対象物検出システムの原理を説明した図。
 以下、本発明に係る距離算出装置と距離算出方法の実施の形態を図面を参照して説明する。
[第1の実施の形態]
 図1は、本発明に係る距離算出装置の第1の実施の形態が適用される撮像システムを概略的に示したものである。
 図示する撮像システム100は、主として、所定の間隔を置いて配置された2台のカメラ(撮像装置)101、102と、このカメラ101、102を制御するカメラ制御装置103と、カメラ101、102で撮像された撮像画像等の一時的な記憶領域であるRAM104と、プログラムや各種初期値を格納するROM105と、ブレーキ等の制御系やユーザに対してカメラの認識状態を通知するための通信手段である外部IF106と、対象物との距離を算出する距離算出装置107と、このシステム全体の制御を行うCPU108と、を備えており、それぞれがバス109を介して情報を授受できるようになっている。すなわち、この撮像システム100においては、2台のカメラ101、102を用いることによって、ステレオカメラによる対象物との距離計測が可能な構成となっている。
 なお、前記カメラ101、102は、例えばCCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子から構成されており、カメラ制御装置103によって各カメラ101、102の撮像タイミングが同一になるように制御されている。また、双方のカメラ101、102で撮像された画像における対応する点を探索する際に輝度値が同一となるように、各カメラ101、102の露光も同一になるように制御されている。
 図2は、図1に示す第1の実施の形態の距離算出装置107の内部構成を示したものである。なお、カメラ101、102で撮像された撮像画像はそれぞれ、RAM104のカメラ画像保存部104a、104bに一時的に保存されている。
 図示する距離算出装置107は、主として、ボケ量算出部201と、距離推定部202と、単眼距離算出部(第1の距離算出部)203と、ステレオ距離算出部(第2の距離算出部)204と、出力距離算出部206と、を備えている。
 前記ボケ量算出部201は、カメラ101で撮像されてカメラ画像保存部104aに保存された画像情報とカメラ102で撮像されてカメラ画像保存部104bに保存された画像情報のボケ度合いを評価する。このボケ度合いの評価方法としては、例えば画像のエッジ強度を評価する方法や画像のコントラストの高低を評価する方法等を適用することができ、前記ボケ量算出部201は、この評価量をボケ量として算出し、その算出結果を単眼距離算出部203と出力距離算出部206へ送信する。
 前記単眼距離算出部203は、カメラ101で撮像されてカメラ画像保存部104aに保存された画像情報やカメラ102で撮像されてカメラ画像保存部104bに保存された画像情報に基づいて対象物までの距離(第1の距離)を算出し、その算出結果を出力距離算出部206へ送信する。ここで、単眼距離算出部203は、前記ボケ量算出部201から送信されたボケ量に基づいて、カメラ画像保存部104aに保存された画像情報とカメラ画像保存部104bに保存された画像情報のいずれを用いて距離演算を実行するかを決定する。
 具体的には、前記単眼距離算出部203は、カメラ画像保存部104aに保存された画像情報のボケ量とカメラ画像保存部104bに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出する。これにより、例えば一方のカメラが雨滴や泥等で汚れていて撮像状態が低下している場合であっても、ボケ量が小さくより正常に撮像できるカメラで撮像された画像情報に基づいて対象物までの距離を算出することができるため、この単眼距離算出部203における距離計測の精度を維持することができる。
 なお、上記距離の算出方法としては、従来知られた種々の算出方法を適用することができるが、その一例として、例えば車両の車幅を用いた算出方法が挙げられる。具体的には、パターンマッチングによって、カメラ画像保存部104a若しくはカメラ画像保存部104bから得られる画像情報から車両の領域(画面上の位置)を算出する。ここで、パターンマッチングとは、撮像された画像の輝度値の相関値を算出し、その輝度値が所定値以上であれば「車両」と判断してその領域を「車両の領域」とする方法である。これにより、カメラ画像保存部104a若しくはカメラ画像保存部104bから得られる画像情報から車両の車幅を算出することができ、カメラの撮像方向と車両の背面とが略垂直であると仮定すると、仮定された車両の車幅等から対象物である車両までのおおよその距離を容易に算出することができる。
 図3は、カメラ101若しくはカメラ102を用いた対象物までの距離算出方法を説明したものであり、図中、Wは先行車両の車幅、Zは先行車両までの距離、xは撮像面での車幅、fはカメラの焦点距離をそれぞれ表しており、これらの間には以下の式(2)で示す関係が成立していることから、先行車両までの距離Wを算出することができる。
Figure JPOXMLDOC01-appb-M000002
 ここで、単眼距離算出部203は、勾配やカーブのある路面等といったカメラの撮像方向と車両の背面とが略垂直でない場合には、先行車両までの距離を正確に算出することができない可能性がある。また、仮定された車両の車幅等を用いて先行車両までの距離を算出するため、対象物である車両の車幅が未知である場合にはその車両までの距離に誤差が生じる可能性がある。
 そこで、図2で示すステレオ距離算出部204は、カメラ101、102で撮像されてカメラ画像保存部104a、104bに保存されたそれぞれの画像情報に基づいて対象物までの距離(第2の距離)を算出する。具体的には、カメラ画像保存部104a、104bから得られる画像情報から対応する画素を探索して視差を算出し、対象物までの距離を算出して(図9参照)、その算出結果を出力距離算出部206へ送信する。
 より具体的には、視差を算出するためにカメラ101、102で撮像された画像の対応する点を探索する方法として、例えば絶対差の総和(Sum of the Absolute Differences : SAD)を算出する方法を適用し、一方の画像の特定の一部をテンプレートとしてその画像内で対応する位置を探索し、各画素の輝度値の絶対値差分の和を算出し、その総和が最も相関が高いとして対応する位置とする。これにより、一方の画像と他方の画像の位置ずれを視差とすることができる。ここで、ハードウェアで効率的に処理するために、双方の画像の縦位置を予め合わせておき(「平行化する」という。)、一方の画像の特定の一部を4x4画素程度として他方の画像を横方向のみ探索する。この処理を一方の画像全体に行うことで作成された画像を「距離画像」と称する。次いで、このように作成された「距離画像」から対象物である車両を検出するために、「距離画像」群から距離が同一である平面を探索し、その平面における対象物の幅が車両らしい幅である場合には「車両」として探索する。そして、このように検出された複数の「車両」領域の距離の平均値を算出することで対象物である車両までの距離を算出する。
 ここで、単眼距離算出部203とステレオ距離算出部204とで算出される算出結果は実際の対象物までの距離と同一であることが望ましいものの、上記するような算出方法等に起因して双方の算出結果は必ずしも実際の対象物までの距離と同一とは限らない。
 そこで、距離推定部202は、トラッキング処理と称される処理を実行し、前回の検出した距離から今回検知時(カメラ101、102による画像撮像時)の距離を推定して、その推定結果を出力距離算出部206へ送信する。具体的には、前回の車両領域等の対象物を検出した際の自車と対象物との挙動を記憶しておき、今回検出時の対象物との距離を推定する。より具体的には、例えば前回検出時の先行車等の対象物との相対速度を記憶しておき、前回検出時と今回検出時の経過時間に基づいて今回検出時の対象物との相対距離を推定する。なお、前回検知時の対象物までの距離等は、単眼距離算出部203やステレオ距離算出部204等の算出結果を用いることもできる。
 そして、出力距離算出部206は、単眼距離算出部203とステレオ距離算出部204から送信された双方の距離と、ボケ量算出部201から送信されたボケ量と、距離推定部202から送信された推定距離と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離(最終距離)を算出する。その際、予めROM105に保存されたボケ量と推定距離をパラメータとした選択テーブルを用いて、単眼距離算出部203から送信された距離とステレオ距離算出部204から送信された距離のいずれかを出力距離として選択する。
 図4は、図2に示す出力距離算出部206で用いられる選択テーブルの一例を示したものである。なお、ボケ量は、上記するカメラ画像のボケ度合いの評価値を0から100まで正規化した値であり、0がボケがない状態、100がボケが最大の状態を表している。また、ボケ量は、カメラ画像保存部104aに保存された画像情報のボケ量とカメラ画像保存部104bに保存された画像情報のボケ量のうちのいずれかを選択することができ、特に双方のボケ量のうち相体的に大きいボケ量を選択する。
 図示するように、例えば推定距離が閾値よりも近く(例えば50mよりも近い)且つ画像情報のボケ量が閾値よりも小さい(例えば50よりも小さい)場合は、ステレオ距離算出部204で安定して対象物までの距離を算出できると考えられるため、出力距離算出部206は、ステレオ距離算出部204によって算出された距離(ステレオ距離)を出力距離として選択する。また、例えば推定距離が閾値よりも近く(例えば50mよりも近い)且つ画像情報のボケ量が閾値よりも大きい(例えば50よりも大きい)場合は、カメラに泥や雨滴等が付着して異常状態であると考えられるため、出力距離算出部206は、単眼距離算出部203によって算出された距離(単眼距離)を出力距離として選択する。さらに、推定距離が閾値よりも遠い(例えば50mよりも遠い)場合は、ステレオ距離算出部204による距離算出は視差値が小さく困難であると考えられるため、出力距離算出部206は、単眼距離算出部203によって算出された距離(単眼距離)を出力距離として選択する。
 なお、単眼距離算出部203によって算出された距離(単眼距離)を出力距離として選択する場合、上記するように、前記単眼距離算出部203は、カメラ画像保存部104aに保存された画像情報のボケ量とカメラ画像保存部104bに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出しているため、単眼距離算出部203における距離計測の精度は維持されている。
 このように、推定距離とボケ量に基づいて単眼距離算出部203によって算出された距離(単眼距離)とステレオ距離算出部204によって算出された距離(ステレオ距離)のいずれかを選択することで、泥や雨滴等の影響によって一方のカメラの撮像状態が低下する場合であっても、安定して精度良く対象物までの相対距離を算出することができる。
[第2の実施の形態]
 図5は、本発明に係る距離算出装置の第2の実施の形態の内部構成を示したものである。図5に示す第2の実施の形態の距離算出装置107Aは、図2に示す第1の実施の形態の距離算出装置107に対して、ステレオ距離算出部が複数の距離算出手段を有する点が相違しており、その他の構成は、第1の実施の形態の距離算出装置107とほぼ同様である。したがって、第1の実施の形態の距離算出装置107と同様の構成については、同様の符号を付してその詳細な説明は省略する。
 図示するステレオ距離算出部204Aは、対象物までの距離算出方法の異なる3つの距離算出手段205Aa、205Ab、205Acを有している。
 前記距離算出手段205Aaは、上記する第1の実施の形態のステレオ距離算出部204と同様の距離算出方法を用いる手段であって、例えばカメラ画像保存部104Aaに保存された画像情報の4x4画素を1ブロックとし、カメラ画像保存部104Abに保存された画像情報から対応する点を探索する手段である。この距離算出手段205Aaは、同じ演算を繰り返すためハードウェア化し易いという利点がある。
 また、距離算出手段205Abは、予め用意した車両等の対象物のテンプレートとのパターンマッチングによって、例えばカメラ画像保存部104Aaに保存された画像情報から車両領域等の対象物を探索し、カメラ画像保存部104Aaに保存された画像情報から切り出した車両領域等の対象物をテンプレートとしてカメラ画像保存部104Abに保存された画像情報から探索して、カメラ同士の視差と対象物までの距離を算出する手段である。この距離算出手段205Abは、カメラ画像保存部104Abに保存された画像情報から車両領域等の対象物を探索する際に車両領域等の対象物をテンプレートとして使用するため、距離を算出すべき領域の画素値の全てを検索に利用することができ、検索時のマッチング精度が向上するという利点がある。したがって、例えば対象物が遠方に位置する場合であっても、対象物との距離を精度良く算出することができる。
 また、距離算出手段205Acは、予め用意した車両等の対象物のテンプレートとのパターンマッチングによって、カメラ画像保存部104Aaに保存された画像情報とカメラ画像保存部104Abに保存された画像情報からそれぞれの対象物の位置を算出し、カメラ画像保存部104Aaに保存された画像上の対象物の位置とカメラ画像保存部104Abに保存された画像上の対象物の位置からカメラ同士の視差を算出して対象物までの距離を算出する手段である。この距離算出手段205Acは、車両等の対象物のテンプレートとのパターンマッチングによって画像のボケ等にロバスト性を有するという利点がある。したがって、双方のカメラがボケ等によって撮像状態が低下する場合であっても、対象物までの距離を比較的精緻に算出することができる。
 ここで、距離算出装置107Aは距離算出選択部207Aを備えており、距離算出選択部207Aは、ボケ量算出部201Aから送信されるボケ量と距離推定部202Aから送信される推定距離と後述する選択テーブル(図6参照)とに基づいて、ステレオ距離算出部204Aの3つの距離算出手段205Aa、205Ab、205Acのうちいずれの距離算出手段を用いて距離演算を実行すべきかに関する信号をステレオ距離算出部204Aへ送信する。
 ステレオ距離算出部204Aは、上記信号を受信すると、その情報に該当する距離算出手段とカメラ画像保存部104Aa、104Abに保存されたそれぞれの画像情報とに基づいて対象物までの距離を算出し、その算出結果を出力距離算出部206Aへ送信する。
 出力距離算出部206Aは、単眼距離算出部203Aから送信された距離と、ステレオ距離算出部204Aから送信された距離算出手段205Aa、205Ab、205Acのうちいずれの距離算出手段を用いて算出された距離と、ボケ量算出部201Aから送信されたボケ量と、距離推定部202Aから送信された推定距離と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離(最終距離)を算出する。その際、予めROM105Aに保存されたボケ量と推定距離をパラメータとした選択テーブルを用いて、単眼距離算出部203Aから送信された距離とステレオ距離算出部204Aから送信された距離のいずれかを出力距離として選択する。
 図6は、図5に示す距離算出選択部207Aや出力距離算出部206Aで用いられる選択テーブルの一例を示したものである。なお、ボケ量は、カメラ画像保存部104Aaに保存された画像情報のボケ量とカメラ画像保存部104Abに保存された画像情報のボケ量のうちのいずれかを選択することができ、特に双方のボケ量のうち相体的に大きいボケ量を選択する。
 図示するように、例えば推定距離が閾値よりも近い(例えば20mや50mよりも近い)場合は、泥や雨滴等の影響が少ないと考えられるため、出力距離算出部206Aは、ステレオ距離算出部204Aのうち特に任意の対象物に対してロバスト性を有する距離算出手段205Aaを用いて算出された距離(ステレオa距離)を出力距離として選択する。また、例えば推定距離が閾値よりも遠く(例えば50mよりも遠い)且つ画像情報のボケ量が閾値よりも小さい(例えば25よりも小さい)場合は、出力距離算出部206Aは、ステレオ距離算出部204Aのうち特に遠方を高精度で計測し得る距離算出手段205Abを用いて算出された距離(ステレオb距離)を出力距離として選択する。また、例えば推定距離が中近傍(例えば21~100m程度)且つ画像情報のボケ量が比較的大きい(例えば25よりも大きい)場合は、出力距離算出部206Aは、ステレオ距離算出部204Aのうち特に画像のボケ等にロバスト性を有する距離算出手段205Acを用いて算出された距離(ステレオc距離)を出力距離として選択する。
 また、例えば推定距離が遠く(例えば50mよりも遠い)且つ画像情報のボケ量が相体的に大きい(例えば50よりも大きい)場合は、ステレオ距離算出部204Aによる距離算出は視差値が小さく困難であり、計測精度も低下すると考えられるため、出力距離算出部206Aは、単眼距離算出部203Aによって算出された距離(単眼距離)を出力距離として選択する。その際、単眼距離算出部203Aは、カメラ画像保存部104Aaに保存された画像情報のボケ量とカメラ画像保存部104Abに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出しているため、単眼距離算出部203Aにおける距離計測の精度は維持されている。
 以下、図5に示す第2の実施の形態の距離算出装置107Aの処理フローを図7、8を参照して具体的に説明する。
 図7は、図5に示す第2の実施の形態の距離算出装置107Aの処理フローを示したものであり、図8は、図7に示す認識カメラ切替処理の処理フローを示したものである。
 図7で示すように、まず、ステレオ距離算出部204Aで、予め用意した車両等の対象物のテンプレートによってカメラ画像保存部104Aaに保存された画像情報から車両領域等の対象物を探索し、その領域の距離(ステレオ距離)を算出する(S701)。
 次いで、距離推定部202Aで、トラッキング処理を実行して対象物の今回検知時の推定距離を算出する(S702)。
 次に、ボケ量算出部201Aで、カメラ画像保存部104Aa、104Abに保存された画像情報のボケ量を算出する(S703)。ここで、算出されたボケ量が閾値以上か否かを判定し(S704)、ボケ量が閾値よりも小さい場合には距離推定部202Aのトラッキング処理(S702)へ戻り、ボケ量が閾値以上である場合にはステレオ距離算出部204Aの認識カメラ切替処理を実行する(S705)。
 前記認識カメラ切替処理は、ステレオ距離算出部204Aのテンプレートマッチングで使用する画像情報を、カメラ画像保存部104Aaに保存された画像情報からカメラ画像保存部104Abに保存された画像情報へ、あるいは、その逆に切替える処理である。ここで、前記認識カメラ切替処理は、カメラ画像保存部104Aaに保存された画像情報からカメラ画像保存部104Abに保存された画像情報の双方を認識することも可能であるものの、そのように認識する場合にはその処理量が2倍となってしまうため、ハードウェアリソースの限られた組込み機器で処理するために、ボケ量算出部201Aで算出したボケ量によって使用するカメラ画像情報を切替える。
 すなわち、図8で示すように、この認識カメラ切替処理においては、車両等の対象物を検知するカメラを切替え(S706)、前フレームでのトラッキング情報を引き継ぐ(S707)。これは、前回検知時の検知位置情報を用いて今回検知時(カメラによる画像撮像時)にどの辺りに移動するのかを予測することによって、対象物の検知が失敗した場合に補完したり、対象物の検知位置が微小にずれる場合に補正して、対象物の検知結果を安定化させるためである。しかし、カメラ画像が切替わる毎にこのトラッキング情報を引き継がないと、トラッキング処理が一時的に途切れることとなり、カメラ画像が切替わる毎に対象物の検知性能が不安定となる。そこで、引き継いだトラッキング情報には少なくとも画像上の座標や距離、相対速度が含まれているため、引き継いだトラッキング情報の距離から今回検知時のカメラ画像上での対象物の位置を視差に基づいて更新する(S708)。そして、更新されたカメラ画像上での対象物の位置を用いて対象物の検知処理を行い、前回の位置探索範囲を視差に基づいて更新する(S709)。これにより、カメラが切替わったとしても、トラッキング処理を円滑に継続することができる。
 このようにカメラ画像を切替えた後、図7に示すように、ステレオ距離算出部204Aで、ボケ量算出部201Aによって算出されたボケ量に基づいて適切な距離算出手段205Aa、205Ab、205Acを選択し(S710)、距離推定部202Aで、トラッキング処理を実行して対象物の今回検知時の推定距離を算出して(S711)、切替前のカメラ画像が安定化するまでの間、切替後のカメラ画像で処理を継続する。
 次に、単眼距離算出部203Aによって算出された距離(単眼距離)とステレオ距離算出部204Aによって算出された距離(ステレオ距離)との差が所定の閾値以上か否かを判定し(S712)、その距離の差が閾値以内の場合には認識カメラ切替処理を実行して(S713)、再び、距離推定部202Aでトラッキング処理を実行して対象物の今回検知時の推定距離を算出する(S702)。また、距離の差が閾値よりも大きい場合には認識カメラ切替処理を実行せず、同一のカメラ画像で対象物の検知処理を実行する(S711)。
 このように、第2の実施の形態の距離算出装置107Aによれば、ステレオ距離算出部が様々な状況に対応し得る複数の距離算出手段を有することで、例えば一方のカメラに泥や雨滴等が付着してその撮像状態が低下する場合であっても、カメラの撮像状態や対象物との距離に応じた最適な距離を出力することができ、雨滴や泥等の影響を抑制してより精度良く対象物までの相対距離を算出することができる。
 なお、図4や図6に示す推定距離やボケ量の閾値は、距離算出装置107、107Aが適用される撮像システム100や車両状態等によって適宜設定することができる。また、対象物までの推定距離に応じてボケ量の閾値を変更しても良い。例えば、自車両が対象物を検知して衝突回避のために急停車する場合(「プリクラッシュセーフティー」という。)には、対象物との距離が近い状態で距離計測方法がステレオから単眼に切り替わると、任意の対象物との距離を精度良く計測することができない可能性がある。そこで、対象物との距離が近い場合には、ステレオにて計測した距離を選択し、中距離から遠方に亘ってボケ量によってステレオから単眼へ切り替えることによって、対象物との距離が近い場合には常に同一の距離計測方法が適用することができ、当該装置の構成を簡素化して任意の対象物を確実に検知することができる。
 また、上記する第1、2の実施の形態においては、2台のカメラ(撮像装置)を用いる形態について説明したが、少なくとも2つの撮像装置を有し、ステレオカメラによる対象物との距離計測が可能であれば、撮像装置の基数は適宜変更することができる。
 また、上記する第1、2の実施の形態においては、ステレオカメラを構成する2台のカメラ(撮像装置)の一方若しくは双方を単眼カメラに用いる形態について説明したが、例えばステレオカメラを構成するカメラと単眼カメラをそれぞれ別個に設けても良い。
 さらに、上記する第1、2の実施の形態においては、距離算出装置がボケ量算出部と距離推定部を内蔵する形態について説明したが、たとえば距離算出装置の外部にボケ量算出部と距離推定部を設けても良い。
 なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
 また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100 撮像システム
101、102 カメラ(撮像装置)
103 カメラ制御装置
104 RAM
104a、104b カメラ画像保存部
105 ROM
106 外部IF
107 距離算出装置
108 CPU
109 バス
201 ボケ量算出部
202 距離推定部
203 単眼距離算出部(第1の距離算出部)
204 ステレオ距離算出部(第2の距離算出部)
206 出力距離算出部

Claims (5)

  1.  複数の撮像装置を備えた撮像システムの距離算出装置であって、
     前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第1の距離算出部と、
     前記複数の撮像装置のうち少なくとも2つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第2の距離算出部と、
     前記単数の撮像装置で撮像された画像情報と前記少なくとも2つの撮像装置で撮像された画像情報のボケ量を算出するボケ量算出部と、
     前記単数の撮像装置と前記少なくとも2つの撮像装置による画像撮像時における前記対象物までの距離を推定する距離推定部と、
     前記対象物までの出力距離を算出する出力距離算出部と、を備え、
     前記出力距離算出部は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて、前記第1の距離算出部によって算出された第1の距離と前記第2の距離算出部によって算出された第2の距離のいずれかを前記出力距離として選択することを特徴とする距離算出装置。
  2.  前記第1の距離算出部は、前記単数の撮像装置で撮像された画像情報と前記少なくとも2つの撮像装置で撮像された画像情報のうち、前記ボケ量算出部によって算出されるボケ量が相体的に小さい画像情報に基づいて前記対象物までの距離を算出することを特徴とする請求項1に記載の距離算出装置。
  3.  前記第2の距離算出部は、前記少なくとも2つの撮像装置で撮像された画像情報に基づいて前記対象物までの距離を算出するための距離算出手段を複数有することを特徴とする請求項1または2に記載に距離算出装置。
  4.  前記距離算出装置は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて前記複数の距離算出手段のうちのいずれかを選択する距離算出選択部を更に備えることを特徴とする請求項3に記載に距離算出装置。
  5.  複数の撮像装置を備えた撮像システムの距離算出方法であって、
     前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記複数の撮像装置のうち少なくとも2つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記単数の撮像装置で撮像された画像情報と前記少なくとも2つの撮像装置で撮像された画像情報のボケ量を算出し、前記単数の撮像装置と前記少なくとも2つの撮像装置による画像撮像時における前記対象物までの距離を推定し、前記ボケ量と前記推定距離とに基づいて算出されたそれぞれの距離のいずれかを前記対象物までの出力距離として選択することを特徴とする距離算出方法。
PCT/JP2013/052652 2012-03-09 2013-02-06 距離算出装置及び距離算出方法 WO2013132947A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/379,392 US9530210B2 (en) 2012-03-09 2013-02-06 Distance calculator and distance calculation method
EP13758317.5A EP2824417B1 (en) 2012-03-09 2013-02-06 Distance calculation device and distance calculation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012052922A JP5587930B2 (ja) 2012-03-09 2012-03-09 距離算出装置及び距離算出方法
JP2012-052922 2012-03-09

Publications (1)

Publication Number Publication Date
WO2013132947A1 true WO2013132947A1 (ja) 2013-09-12

Family

ID=49116431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/052652 WO2013132947A1 (ja) 2012-03-09 2013-02-06 距離算出装置及び距離算出方法

Country Status (4)

Country Link
US (1) US9530210B2 (ja)
EP (1) EP2824417B1 (ja)
JP (1) JP5587930B2 (ja)
WO (1) WO2013132947A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283802A1 (en) * 2015-03-25 2016-09-29 Hyundai Mobis Co., Ltd. Apparatus and method of diagnosing recognition failure
CN106662441A (zh) * 2014-09-11 2017-05-10 日立汽车系统株式会社 图像处理装置
JP2020047059A (ja) * 2018-09-20 2020-03-26 株式会社Subaru 車両の走行環境検出装置及び走行制御システム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238409A (ja) * 2014-07-23 2014-12-18 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
US10873726B1 (en) * 2015-06-29 2020-12-22 Amazon Technologies, Inc. Management of sensor failure in a facility
US10223793B1 (en) * 2015-08-05 2019-03-05 Al Incorporated Laser distance measuring method and system
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US9972098B1 (en) * 2015-08-23 2018-05-15 AI Incorporated Remote distance estimation system and method
US9800795B2 (en) 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
US20180018024A1 (en) * 2016-07-12 2018-01-18 Qualcomm Incorporated Techniques for determining proximity based on image blurriness
WO2018023333A1 (en) * 2016-08-01 2018-02-08 SZ DJI Technology Co., Ltd. System and method for obstacle avoidance
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US10346995B1 (en) * 2016-08-22 2019-07-09 AI Incorporated Remote distance estimation system and method
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
KR102286006B1 (ko) * 2016-11-23 2021-08-04 한화디펜스 주식회사 추종 장치 및 추종 시스템
NL2019898B1 (en) 2017-11-13 2019-05-17 Supersub Sportbases B V Underlayment for dampening a top floor.
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机
JP6892462B2 (ja) * 2019-02-05 2021-06-23 ファナック株式会社 機械制御装置
JP2024086420A (ja) * 2022-12-16 2024-06-27 日立Astemo株式会社 画像処理装置及び画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2006322853A (ja) * 2005-05-19 2006-11-30 Olympus Corp 距離計測装置、距離計測方法および距離計測プログラム
JP2007263657A (ja) 2006-03-28 2007-10-11 Denso It Laboratory Inc 3次元座標取得装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3581141B2 (ja) * 2002-07-05 2004-10-27 富士写真光機株式会社 測距装置及びこれを備えたカメラ
CN100359357C (zh) * 2004-06-15 2008-01-02 佳能株式会社 摄影装置
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
EP1887382A1 (en) * 2005-05-19 2008-02-13 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
CN101548154B (zh) * 2007-07-23 2012-05-02 松下电器产业株式会社 具有测距功能的复眼式摄像装置
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
US9068831B2 (en) * 2011-05-27 2015-06-30 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP2013186042A (ja) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd 距離算出装置及び距離算出方法
JP2015148532A (ja) * 2014-02-07 2015-08-20 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2006322853A (ja) * 2005-05-19 2006-11-30 Olympus Corp 距離計測装置、距離計測方法および距離計測プログラム
JP2007263657A (ja) 2006-03-28 2007-10-11 Denso It Laboratory Inc 3次元座標取得装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2824417A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662441A (zh) * 2014-09-11 2017-05-10 日立汽车系统株式会社 图像处理装置
EP3193134A4 (en) * 2014-09-11 2018-05-16 Hitachi Automotive Systems, Ltd. Image processing device
US10247551B2 (en) 2014-09-11 2019-04-02 Hitachi Automotive Systems, Ltd. Vehicle image processing device for environment recognition
CN106662441B (zh) * 2014-09-11 2019-06-18 日立汽车系统株式会社 图像处理装置
US20160283802A1 (en) * 2015-03-25 2016-09-29 Hyundai Mobis Co., Ltd. Apparatus and method of diagnosing recognition failure
KR20160114942A (ko) * 2015-03-25 2016-10-06 현대모비스 주식회사 인식 고장 진단 장치 및 인식 고장 진단 방법
US9928428B2 (en) * 2015-03-25 2018-03-27 Hyundai Mobis Co., Ltd. Apparatus for diagnosing whether target recognition function using camera of vehicle is normally operated, and diagnosing method using the same
KR102299446B1 (ko) 2015-03-25 2021-09-08 현대모비스 주식회사 인식 고장 진단 장치 및 인식 고장 진단 방법
JP2020047059A (ja) * 2018-09-20 2020-03-26 株式会社Subaru 車両の走行環境検出装置及び走行制御システム
JP7232005B2 (ja) 2018-09-20 2023-03-02 株式会社Subaru 車両の走行環境検出装置及び走行制御システム

Also Published As

Publication number Publication date
EP2824417B1 (en) 2020-08-19
JP2013186043A (ja) 2013-09-19
EP2824417A1 (en) 2015-01-14
US9530210B2 (en) 2016-12-27
US20150036886A1 (en) 2015-02-05
EP2824417A4 (en) 2015-09-23
JP5587930B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
JP6138861B2 (ja) 距離算出装置
US11587248B2 (en) Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
EP2924655B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
US7221789B2 (en) Method for processing an image captured by a camera
WO2019073772A1 (ja) 移動体の位置推定装置及び位置推定方法
JP2014238409A (ja) 距離算出装置及び距離算出方法
JP5107154B2 (ja) 運動推定装置
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP6577595B2 (ja) 車両用外界認識装置
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
JP6867487B2 (ja) 撮像装置
CN106454066B (zh) 图像处理设备及其控制方法
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
KR101869226B1 (ko) 이종 카메라를 위한 시차 맵 생성 방법
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP7180739B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2024127757A1 (ja) 画像処理装置及び画像処理方法
JP2018151940A (ja) 障害物検出装置および障害物検出方法
JP2017072914A (ja) 物体認識装置
JP6337446B2 (ja) 画像処理装置及び方法、並びに画像処理装置の制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13758317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013758317

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14379392

Country of ref document: US