WO2019030995A1 - ステレオ画像処理装置 - Google Patents

ステレオ画像処理装置 Download PDF

Info

Publication number
WO2019030995A1
WO2019030995A1 PCT/JP2018/017424 JP2018017424W WO2019030995A1 WO 2019030995 A1 WO2019030995 A1 WO 2019030995A1 JP 2018017424 W JP2018017424 W JP 2018017424W WO 2019030995 A1 WO2019030995 A1 WO 2019030995A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
sensor
camera
center
image processing
Prior art date
Application number
PCT/JP2018/017424
Other languages
English (en)
French (fr)
Inventor
和良 山崎
別井　圭一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/634,699 priority Critical patent/US10992920B2/en
Priority to EP18843364.3A priority patent/EP3667413B1/en
Publication of WO2019030995A1 publication Critical patent/WO2019030995A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereo image processing apparatus.
  • stereo camera technology As 3D object recognition technology.
  • the present technology is a technology that detects parallax based on trigonometry using differences in the way of capturing images of two cameras arranged at different positions, and detects the depth and position of an object using the parallax. .
  • the position of the observation target can be accurately detected.
  • stereo camera technology has a problem in which the effective field of view is narrow.
  • Patent Document 1 Provides an imaging device capable of performing high-speed processing operation while reducing the content of arithmetic processing while securing a sufficient field of view.
  • “left and right cameras 4 and 6 offset the imaging center as the center of the imaging device by the same amount in the opposite direction to the optical center as the optical axis of the optical lens.
  • the corresponding point search the corresponding point R confirmed in the image of the right camera 6 is set as a reference point of search start for searching for the corresponding point L in the image of the left camera 4.
  • the parallax can be shortened as compared with the case where the point corresponding to infinity is used as the reference point, the content of the arithmetic processing can be reduced, and high-speed processing can be performed. Describes the technology (see summary).
  • the following patent document 2 "obtains a wide effective visual field by utilizing an imaging area of non-stereo vision while acquiring accurate distance information from an imaging area of stereo vision.
  • the optical axes of the respective cameras 1a and 1b of the stereo camera 1 are disposed so as to be nonparallel on the same plane, and the effective visual field is determined by the region RM of stereovision and the region RS of nonstereovision.
  • the pivot shaft 3 is provided at the center position of the stay 2 and the entire camera system is rotated by the drive motor 4 to enable wide-area scanning.
  • the intruder when applied to an intruder monitoring apparatus, if an object intrudes into the field of view of one of the cameras, the intruder can be detected, and an apparatus using a stereo camera in which the optical axes are arranged in parallel
  • the detection range can be expanded compared to
  • reliable detection using the stereo method can be performed, and erroneous detection can be prevented to improve reliability. Describes the technology (see summary).
  • Patent Document 3 provides “a stereo camera device capable of detecting an object to be detected within a wider space range and having high accuracy in distance calculation to an object and object detection accuracy, and a vehicle equipped with the stereo camera device.
  • the stereo camera device (1) captures a range in which the first imaging unit (2) and the range imaged by the first imaging unit (2) are shifted in a direction different from the direction along the base length A subject using an overlapping area of the second imaging unit (3), the first image imaged by the first imaging unit (2), and the second image imaged by the second imaging unit (3) And a control unit (4) for calculating the distance to the end.
  • Technology is disclosed (see abstract).
  • the imaging device described in Patent Document 1 includes two sensors that receive light.
  • the left sensor receives light from the left lens
  • the right sensor receives light from the right lens.
  • the center of the left sensor is shifted in a direction away from the right lens with respect to the optical axis of the left lens
  • the center of the right sensor is away from the left lens with respect to the optical axis of the right lens It is arranged shifted in the direction.
  • Patent document 1 aims at widening a stereo visual field by this composition.
  • since the visual field range that the sensor can detect depends on the sensor size, it is considered that some measures such as increasing the device size are necessary to further increase the effective visual field.
  • Patent Document 2 by tilting two cameras, a stereo visual field and a non-stereo visual field (monocular visual field) are generated to enlarge an effective visual field.
  • a stereo visual field and a non-stereo visual field are generated to enlarge an effective visual field.
  • the peripheral portion of the captured image is distorted, the distortions of the images captured by the two cameras do not match each other, so there is a problem regarding the accuracy of detecting the depth or position of the object. .
  • the peripheral portion is distorted with respect to the central portion, so the detection accuracy is significantly reduced.
  • the configuration of Patent Document 2 is considered to be useful only when using a lens with small distortion.
  • Patent Document 3 the sensor is shifted in the vertical direction. This configuration is considered to have a small effect of enlarging the field of view using a distorted lens. Also, the effect of enlarging the visual field in the horizontal direction is poor.
  • the present invention has been made in view of the above problems, and provides a stereo image processing apparatus capable of expanding an effective visual field by using a lens with distortion that realizes a wide visual field. It is a thing.
  • the two sensors are arranged to be shifted from each other in the direction away from each other with respect to the optical axis of the lens, and the lens is larger than the f ⁇ lens in a region where the viewing angle is large. It has the characteristic that distortion is large.
  • an effective visual field can be expanded by using a lens with distortion that realizes a wide visual field.
  • FIG. 1 is a configuration diagram of a stereo camera 1 according to Embodiment 1.
  • FIG. 2 is a schematic view of the positions of two sensors with respect to the optical axis of the stereo camera 1;
  • FIG. 2 is a functional block diagram of a processing unit 2 provided in the stereo image processing device according to the first embodiment. It is a graph which shows the dependence to distance L of distance d. It is a graph which shows the relationship between a sensor shift amount and the increase amount of an effective visual field. It is a figure explaining the difference in viewing angle.
  • FIG. 1 is a configuration diagram of a light shielding cover according to a first embodiment.
  • FIG. 6 is a block diagram of a stereo camera 1 according to a second embodiment.
  • FIG. 6 is a block diagram of a stereo camera 1 according to a third embodiment.
  • FIG. 2 is a schematic view of the positions of two sensors with respect to the optical axis of the stereo camera 1;
  • FIG. 1 is a block diagram of a stereo camera 1 according to Embodiment 1 of the present invention.
  • the image processing unit will be described later.
  • the stereo camera 1 includes a camera CR on the right side, a camera CL on the left side, and a processing unit (details will be described later) that processes the output.
  • the right camera CR will be described.
  • the light 100R reflected or transmitted through the target object 100 passes through the center of the lens LR of the camera CR on the right side, and enters the sensor CSR.
  • the light 100R transmitted through the center of the lens LR is incident on the left side of the sensor CSR, not near the center MR on the sensor CSR.
  • a plan view of the sensor CSR is shown at the lower right of FIG.
  • the sensor CSR is disposed shifted to the side away from the camera CL with respect to the optical axis OR of the lens LR.
  • the light 100R is incident on the left side of the sensor center MR.
  • the left camera CL will be described.
  • the light 100L reflected or transmitted through the target object 100 passes through the center of the lens LL of the camera CL on the left side, and enters the sensor CSL.
  • the light 100L transmitted through the center of the lens LL is incident not on the vicinity of the center ML on the sensor CSL but on the right side of the sensor CSL.
  • a plan view of the sensor CSL is shown at the lower left of FIG.
  • the sensor CSL is disposed shifted to the side away from the camera CR with respect to the optical axis OL of the lens LL. Therefore, the light 100L is incident on the right side of the sensor center ML.
  • the distance between the target object 100 and the lens is L
  • the distance between the two cameras is D
  • the distance between the lens and the sensor between the lens LR and the sensor CSR, and between the lens LL and the sensor CSL
  • Lc the distance between the light 100R on the sensor (sensor CSR or sensor CSL), the incident position of the light 100L and the axis OR, and the axis OL be d.
  • the focal length of the lens is f
  • Lc fL / (L ⁇ f) from the lens formula.
  • Patent Document 1 assuming that the maximum distance at which the stereo camera 1 can detect the distance of the target object 100 is Lmax, DfLmax / ⁇ (2L) (L ⁇ ) directs the sensor CSR and the sensor CSL away from each other. f) Shifted by ⁇ . In this document, this is intended to widen the common visual field (stereo visual field) that can be detected by the two sensors.
  • the maximum distance Lmax here is the maximum distance from which an image with sufficient accuracy to detect the distance and position of the target object 100 can be acquired. For example, when the target object 100 exists extremely far, the image acquired by the sensor CSR and the sensor CSL is blurred, and therefore the distance and the position of the target object 100 can not be accurately detected (the detection accuracy is an allowable range Less than).
  • the maximum distance Lmax is the maximum distance at which such a failure does not occur.
  • the sensor CSR and the sensor CSL are arranged to be shifted in the direction away from each other by more than DfLmax / ⁇ (2L) (Lf) ⁇ .
  • a common field of view S that can be detected by the two sensors (the filled area in FIG. 1), a field of view T1 that can be detected only by the sensor CSR (shaded area), and a field of view T2 that can be detected only by the sensor CSL (Shaded area) will occur.
  • the fields of view T1 and T2 it is possible to widen the viewing angle that can be detected by the stereo camera 1 although it is a monocular field of view.
  • the peripheral portion is distorted with respect to the viewing angle ⁇ more than isometric projection (f ⁇ (f: focal length, ⁇ : viewing angle)).
  • the f ⁇ lens has a characteristic that the image height also increases as the viewing angle ⁇ increases.
  • the lens LR and the lens LL in Embodiment 1 have almost the same characteristics as the f ⁇ lens (that is, the image height is proportional to ⁇ ) in the region where the viewing angle ⁇ is small, but the region where the viewing angle ⁇ is large The image height is smaller than that of the f ⁇ lens (that is, in the peripheral portion).
  • the lenses LR and LL in the first embodiment have such a characteristic that the increment of the image height gradually decreases as ⁇ increases in the peripheral portion.
  • An example of such a lens is an orthographic (f sin ⁇ ) lens.
  • the resolution of the sensor depends on the field of view for the pixels of the sensor. In other words, reducing the resolution corresponds to increasing the field of view for the pixels of the sensor. Therefore, in the first embodiment, by using a lens with distortion, it is intended to widen the visual field with respect to the pixels in the peripheral portion. In this case, the resolution of the peripheral portion is lower than that of the central portion (region where ⁇ is small). However, for example, in the case of an on-vehicle camera or a drone camera, the resolution in the traveling direction needs to be high, but the resolution in the periphery may be lower than the center. In such an application, it is considered that the merit by widening the viewing angle of the peripheral portion using the configuration of the first embodiment is greater.
  • the distance L is 50 m to 250 m (or more) in the case of an on-vehicle camera or a drone, 2 m to 5 m in the case of mounting on an inspection apparatus or the like, and 10 m to 20 m in the case of mounting on a robot or the like.
  • the distance Lc between the lens and the sensor is adjusted so that the object 100 can be seen most clearly depending on the application.
  • FIG. 2 is a schematic view of the positions of the two sensors with respect to the optical axis of the stereo camera 1.
  • the vertical axis indicates the vertical direction
  • the horizontal axis indicates the horizontal direction.
  • the origin indicates the positions of the light 100L and the light 100R.
  • the dotted line indicates the sensor CSR of the camera CR.
  • the one-dot chain line indicates the sensor CSL of the camera CL.
  • sensor ranges detected by the left and right cameras are different.
  • a common range Sa solid area
  • Ta1 shaded area
  • Ta2 hatchched area
  • FIG. 3 is a functional block diagram of the processing unit 2 provided in the stereo image processing apparatus according to the first embodiment.
  • the A / D converters 200R and 200L respectively convert image signals detected by the sensors CSR and CSL into digital signals.
  • the correction circuits 201R and 201L convert the distorted image into a predetermined projection system. For example, transform from orthographic projection to central projection (f tan ⁇ ).
  • the stereo matching circuit 202 converts an image in the common field of view (field of view Sa in FIG. 2) into distance image data, and outputs the image to the image recognition circuit 203. Images in the monocular visual field (visual fields Ta1 and Ta2 in FIG. 2) are also output to the image recognition circuit 203 at the same time.
  • the image recognition circuit 203 generates information on the presence / absence of a car / person / obstacle, distance information, a sign / signal, etc. by recognizing an object contained in the acquired image data, and sends the information to the control circuit 204. Output.
  • the control circuit 204 controls the vehicle according to the information acquired from the image recognition circuit 203.
  • a stereo camera mounted on an inspection apparatus or robot is required to detect the depth and position of an object with high accuracy in the entire field of view. Therefore, it may be required to secure the stereo vision as much as possible.
  • a stereo camera mounted on a car or in a drone needs to detect the depth and position of an object with high accuracy within a predetermined angle range in the traveling direction, but it is necessary at other angles. I will not. Thus, even monocular detection can meet performance requirements. Therefore, in the first embodiment.
  • the effective visual field is expanded by intentionally reducing the stereo visual field and increasing the monocular visual field.
  • FIG. 4 is a graph showing the dependence of the distance d on the distance L.
  • the vertical axis indicates the distance d
  • the horizontal axis indicates the distance L.
  • Each line in FIG. 4A indicates the base length D
  • each line in FIG. 4B indicates the focal length f of the lens.
  • the lens focal length f is 3.5 mm
  • the base length D is 0.05 m to 1.00 m
  • the lens focal length f is 1 mm to 10 mm
  • the base length D is 0.35 m.
  • the focal length f when the focal length f is 3.5 mm, the base length D is 0.35 mm, and the distance L is 100 m, the distance d is about 0.006 mm. This corresponds to two pixels, assuming that the pixel size of the sensor is 0.003 mm.
  • This condition does not largely change even if the focal length f is changed as well as the base line length D.
  • the focal length f is 10 mm
  • the base length is 0.35 m
  • the distance L is 50 m
  • the distance d is less than 0.040 mm, which is a dozen pixels.
  • Patent Document 1 by shifting the sensor from 2 pixels to more than 10 pixels in this manner, the stereo view is maximized.
  • the effective visual field is expanded by shifting, for example, 0.1 mm to several mm (depending on the sensor size). That is, in the first embodiment, it can be said that the amount of shifting the sensor is much larger than that of the patent document 1.
  • FIG. 5 is a graph showing the relationship between the sensor shift amount and the effective visual field increase amount.
  • the optical conditions are as follows: (a) projection method: orthogonal projection, (b) lens focal length f: 3.5 mm, (c) sensor pixel size: 2.75 ⁇ m (horizontal) ⁇ 2.75 ⁇ m (vertical) , (D) Number of sensor pixels: 1956 pixels (horizontal) ⁇ 1266 pixels (vertical).
  • the effective field of view is expanded by shifting the sensors of the two cameras perpendicularly to the lens and in the opposite direction. While this method can expand the effective field of view due to the shift of the sensor, it is difficult to obtain the effect of a distorted lens that realizes a wide field of view.
  • the dotted lines in FIG. 5 also represent this.
  • the effective visual field can be further increased by shifting the sensor in the horizontal direction as in the first embodiment. The reason is considered as follows.
  • the field of view for pixels in the periphery is increased. Since a stereo camera is usually required to recognize an object in the horizontal direction, the sensor size in the horizontal direction is increased. Therefore, it is easy to obtain the effect of distortion in the left and right direction. On the other hand, since the sensor size is smaller in the vertical direction than in the horizontal direction, almost no distortion effect is obtained. As information in the horizontal direction is important in the on-vehicle sensor, it is expected that the sensor size in the horizontal direction will be larger than that for a normal imaging sensor. Therefore, it is considered that the increase in the effective visual field in the horizontal direction with respect to the vertical direction is further increased.
  • FIG. 6 is a diagram for explaining the difference in viewing angle.
  • 6 (a) shows the configuration of the stereo camera 1 according to the first embodiment
  • FIG. 6 (b) shows the configuration of the stereo camera in Patent Document 1.
  • Points P1 and P2 in FIG. 6 indicate the positions of target objects that can be viewed in stereo.
  • the camera CR detects the left side of the field of view
  • the camera CL detects the right side of the field of view. Therefore, it is possible to detect the front side more than Patent Document 1 in which two cameras detect the same field of view. Therefore, the present embodiment 1 is more advantageous than the patent document 1 also from the viewpoint of detecting the vicinity.
  • the stereo camera 1 of the first embodiment focuses on the target object 100 having a distance L of 50 m to 250 m, it is conceivable that objects in the vicinity are somewhat blurred. However, in the case of detecting an object nearby, since the positional deviation amount of the target object 100 between two images is very large, there is no problem in position detection even if the image is somewhat blurred.
  • the configuration of the first embodiment also contributes to downsizing of the stereo camera.
  • a cover is disposed between the lens and the windshield so that light outside the field of view does not enter the camera.
  • the dashed dotted line in FIG. 6 is a windshield
  • a cover larger than the distance J1 and the distance J2 is required to secure a field of view. Since the distance J1 is smaller than the distance J2 as shown in FIG. 6, in the stereo camera 1 of Embodiment 1, the size of the cover can be made smaller than that of Patent Document 1, and as a result, the stereo camera 1 is miniaturized. can do.
  • the light shielding cover needs to be attached at the same angle as or more than the viewing angle so as not to block the field of view.
  • the light shielding cover can be attached at an inclination smaller than the effective viewing angle of the two cameras.
  • FIG. 7 shows an example of the light shielding cover.
  • A shows the light-shielding cover of the structure of this Embodiment 1
  • (b) has shown the light-shielding cover of the conventional structure.
  • Patent Document 1 shows the case where the target object is far (for example, the distance L is 100 m).
  • (a) and (b) show a light shielding cover for realizing the same field of view.
  • (c) and (d) unify the light shielding cover of (a) and (b).
  • the light shielding cover 31R is disposed along the right detection limit 1R and left detection limit 3R of the right camera sensor, and the right detection limit 1L and left detection limit 3L of the left camera sensor A light shielding cover 31L is disposed along the line.
  • the light shielding cover 42R is disposed along the right detection limit 2R and the left detection limit 4R of the sensor of the right camera, and the right detection limit 4L and the left detection limit 2L of the sensor of the left camera.
  • a light shielding cover 42L is disposed along the line.
  • the maximum view angle (left detection limit 3R) detected by the sensor of the right camera and the maximum view angle (right detection limit 1L) detected by the sensor of the left camera are outside the stereo camera.
  • the light shielding cover has a small angle (the same angle as the right detection limit 1R and the left detection limit 3L).
  • the maximum viewing angle (right detection limit 2R) detected by the sensor of the right camera and the maximum viewing angle (right detection limit 4L) detected by the sensor of the left camera are shaded outside the stereo camera It has the same angle as the cover.
  • the light shielding cover becomes large, and as a result, the overall size of the stereo camera can not but be increased.
  • the configuration of the first embodiment of (a) the light shielding cover does not spread so much outside with respect to the casing of the stereo camera 1, so the overall size of the stereo camera can be reduced.
  • the configuration of the first embodiment is extremely advantageous because the stereo camera is required to be downsized from the viewpoint of being disposed in front of the driver's seat.
  • the light shielding cover is integrated.
  • the light shielding cover is determined based on the detection limit.
  • the present invention is not limited to this. The same effect can be obtained even if a slight angular margin is secured for the inclination of the light shielding cover.
  • the movable range of the wiper may be smaller than that of the patent document 1.
  • the movable range of the wiper is required to be large, since the states of the camera CR and the camera CL with respect to rain are different from each other, highly accurate detection can not be performed. For example, in the case where one camera shoots with rain removed and the other camera shoots without rain removed, the detection accuracy decreases.
  • the stereo camera 1 of Embodiment 1 can detect the target object 100 with a small size, high accuracy, and a wide field of view. Such an effect can not be obtained at all in the configuration in which the sensor is shifted in the vertical direction as in Patent Document 3.
  • the detection accuracy may be reduced due to the difference in lens distortion between the camera CR and the camera CL as in Patent Document 2. It can be said that it is small.
  • the stereo image processing device can enlarge the effective visual field by intentionally reducing the stereo visual field and increasing the monocular visual field. Furthermore, the viewing angle can be further expanded by using a lens whose peripheral portion is distorted.
  • FIG. 8 is a configuration diagram of a stereo camera 1 according to Embodiment 2 of the present invention.
  • the two sensors are shifted in directions approaching each other with respect to the optical axis.
  • the other configuration is the same as that of the first embodiment.
  • the right camera CR will be described.
  • the light 100R reflected or transmitted through the target object 100 passes through the center of the lens LR and enters the sensor CSR. At this time, the light 100R transmitted through the center of the lens LR is incident on the right side of the sensor CSR, not near the center MR on the sensor CSR.
  • the left camera CL will be described.
  • the light 100L reflected or transmitted through the target object 100 passes through the center of the lens LL and enters the sensor CSL.
  • the light 100L transmitted through the center of the lens LL is incident not on the vicinity of the center ML on the sensor CSL but on the left side of the sensor CSL.
  • the center MR of the sensor CSR is shifted to the left with respect to the axis OR passing through the center of the lens LR, and the center ML of the sensor CSL is shifted to the right with respect to the axis OL passing through the center of the lens LL. It will be.
  • the object can be recognized faster by the baseline length D.
  • detection is performed by the camera CL in the second embodiment, and detection is performed by the camera CR in the first embodiment.
  • the camera CL can detect the target object 100 on the left side earlier by the base length D.
  • the target object 100 on the left side can be detected quickly by 2.5 m in the case of an ordinary vehicle. This is advantageous when recognizing a fast target object 100 such as a bicycle.
  • the stereo image processing apparatus can enlarge the effective visual field by intentionally reducing the stereo visual field similarly to the first embodiment and increasing the monocular visual field. Furthermore, by shifting the sensors CSR and CSL in directions approaching each other with respect to the optical axis, it is possible to recognize the target object 100 in the monocular vision region more quickly.
  • FIG. 9 is a block diagram of a stereo camera 1 according to Embodiment 3 of the present invention.
  • the stereo camera 1 according to the third embodiment in addition to shifting the sensors CSR and CSL closer to each other as in the first embodiment, they are shifted to opposite sides also in the vertical direction.
  • the sensor CSR shifts vertically downward
  • the sensor CSL shifts vertically upward.
  • the other configuration is the same as that of the first embodiment.
  • the right camera CR will be described.
  • the light 100R reflected or transmitted through the target object 100 passes through the center of the lens LR of the camera CR on the right side, and enters the sensor CSR.
  • the light 100R transmitted through the center of the lens LR is incident on the upper left side of the sensor CSR rather than near the center MR on the sensor. That is, the center MR of the sensor CSR is shifted to the lower right side with respect to an axis OR passing through the center of the lens LR.
  • the left camera CL will be described.
  • the light 100L reflected or transmitted through the target object 100 passes through the center of the lens LL of the camera CL on the left side, and enters the sensor CSL.
  • the light 100L transmitted through the center of the lens LL is not in the vicinity of the center ML on the sensor but on the lower right side of the sensor CSL. That is, the center ML of the sensor CSL is shifted to the upper left side with respect to an axis OL passing through the center of the lens LL.
  • FIG. 10 is a schematic view of the positions of the two sensors with respect to the optical axis of the stereo camera 1.
  • the vertical axis indicates the vertical direction
  • the horizontal axis indicates the horizontal direction.
  • the origin indicates the positions of the light 100L and the light 100R.
  • the dotted line indicates the sensor CSR of the camera CR.
  • the one-dot chain line indicates the sensor CSL of the camera CL.
  • the range Tb1 and the range Tb2 can be detected. For example, when starting a vehicle from a stopped state, it is necessary to detect a sign, a signboard, a white line, etc. in the vicinity of the diagonal direction. According to the third embodiment, they can be detected by the range Tb1 and the range Tb2.
  • the camera CR shifts the center MR of the sensor CSR to the lower right with respect to the axis OR passing through the center of the lens LR as in the third embodiment. It is possible to detect nearby signs and signs.
  • the camera CL can detect the white line in the vicinity on the lower right side by shifting the sensor CSL to the upper left side with respect to the axis OR passing through the center of the lens LL.
  • the camera CR on the right side can detect the white line in the vicinity on the lower left side by shifting the center MR of the sensor CSR to the upper right side with respect to the axis OR passing through the center of the lens LR.
  • the camera CL can detect a sign, a signboard, or the like in the vicinity on the upper right side by shifting the center ML of the sensor CSL to the lower left side with respect to an axis OL passing the center of the lens LL.
  • the stereo image processing apparatus can obtain a new visual field (a visual field corresponding to the range Ta1 and the range Tb2) by shifting the two sensors in the oblique direction.
  • a new visual field a visual field corresponding to the range Ta1 and the range Tb2
  • the two sensors are shifted in the direction away from each other in the vertical direction.
  • the configuration in which the two sensors are shifted in the direction closer to each other in the vertical direction has the same effect as the third embodiment. You can get it.
  • the sensors CSR and CSL are shifted in an oblique direction. Considering that the sensor size is larger in the oblique direction than in the horizontal and vertical directions, there is an advantage that the effective visual field increase amount described in FIG. 5 can be further increased.
  • the present invention is not limited to the embodiments described above, but includes various modifications.
  • the above-described embodiments are described in detail to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • the two sensors of the stereo camera 1 do not necessarily have to be shifted by the same amount, and the same effect can be obtained as long as stereo vision and monocular vision can be realized simultaneously.
  • Each functional unit included in the processing unit 2 can be configured using hardware such as a circuit device on which these functions are implemented, or by executing software on which these functions are implemented by a computing device (processor). It can also be configured.
  • the control circuit 204 can also be provided outside the stereo image processing apparatus.
  • the correction circuit 201R and the correction circuit 201L convert the projection method, the conversion is not necessarily required, and an image detected by a camera may be used as it is.
  • the depth and position of the object may be detected from temporal change and size of the object using a part of the image data of the camera CR and the camera CL (field of view Ta1 and field of view Ta2 in FIG. 2).
  • the difference between the lanes of Japan and the United States has been described as an example, but this configuration is an example, and any target object is selected using a new field of view (field corresponding to range Ta1 and range Tb2). It may be detected.
  • Stereo camera 2 Processing unit 100: target object 200R, 200L: A / D converter 201R, 201L: correction circuit 202: stereo matching circuit 203: image recognition circuit 204: control circuit CR, CL: camera LR, LL: Lens CSR, CSL: Sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本発明は、広視野を実現する歪みのあるレンズを用いることにより、実効的な視野を拡大することができる、ステレオ画像処理装置を提供することを目的とする。本発明に係るステレオ画像処理装置において、２つのセンサはレンズの光軸に対して互いから離れる方向に向かってシフトして配置されており、前記レンズは、視野角が大きい領域においてｆθレンズよりも歪みが大きい特性を有する（図１参照）。

Description

ステレオ画像処理装置
　本発明は、ステレオ画像処理装置に関する。
　３次元物体認識技術としてステレオカメラ技術がある。本技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。本技術を用いることにより、観察対象の位置を正確に検出することができる。一方でステレオカメラ技術は、実効的な視野が狭い課題がある。
　下記特許文献１は、『十分な視野を確保しつつ、演算処理内容を低減できて高速処理動作が可能な撮像装置を提供する。』ことを課題として、『左右のカメラ４、６は、撮像素子の中心としての撮像中心を、光学レンズの光軸としての光学中心に対して、基線方向で互いに反対方向に同じ量オフセットさせている。対応点探索においては、右カメラ６の画像で確認された対応点Ｒを、左カメラ４の画像における対応点Ｌを探索する探索開始の基準点とする。このようにすれば、無限遠対応点を基準点とする場合に比べて視差を短くでき、演算処理内容を少なくできて高速処理動作が可能となる。』という技術を記載している（要約参照）。
　下記特許文献２は、『ステレオ視の撮像領域から正確な距離情報を取得しつつ、非ステレオ視の撮像領域も活用して広い実効視野を得る。』ことを課題として、『ステレオカメラ１の各カメラ１ａ，１ｂの光軸が同一平面上で非平行となるように配置し、ステレオ視の領域ＲＭと非ステレオ視の領域ＲＳとにより実効視野を拡大し、更にステー２の中心位置に旋回軸３を設け、駆動モータ４によりカメラ系全体を回転させて広域の走査を可能とする。これにより、侵入物監視装置に適用する場合、何れか一方のカメラの視野内に物体が侵入すれば、その侵入物を検知することができ、光軸を平行に配置したステレオカメラを用いた装置に比較し、検知可能範囲を拡大することができる。また、単に、単眼式のカメラを複数台併設した監視装置に比較し、ステレオ法を併用した確実な検知を行うことができ、誤検出を防止して信頼性を向上することができる。』という技術を記載している（要約参照）。
　下記特許文献３は、『より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度が高いステレオカメラ装置およびステレオカメラ装置を設置した車両を提供する。ステレオカメラ装置（１）は、第１の撮像部（２）と、第１の撮像部（２）が撮像する範囲とは、基線長に沿った方向と異なる方向にずれた範囲を撮像する第２の撮像部（３）と、前記第１の撮像部（２）で撮像した第１の画像と前記第２の撮像部（３）で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と（４）、を備える。』という技術を開示している（要約参照）。
特開２０１４－２３８５５８号公報 特開２００５－０２４４６３号公報 ＷＯ２０１５／１８２１４７
　特許文献１記載の撮像装置は、光を受光するセンサを２つ備えている。左センサは左レンズから受光し、右センサは右レンズから受光する。特許文献１において、左センサの中心は、左レンズの光軸に対して右レンズから離れる方向にシフトして配置されており、右センサの中心は右レンズの光軸に対して左レンズから離れる方向にシフトして配置されている。特許文献１はこの構成により、ステレオ視野を広げることを図っている。他方で特許文献１においては、センサが検出することができる視野範囲はセンササイズに依拠するので、さらに実効視野を増やすためには装置サイズを大きくするなどの工夫が必要であると考えられる。
　特許文献２においては、２つのカメラを傾けることにより、ステレオ視野と非ステレオ視野（単眼視野）を生成し、実効的な視野を拡大している。ただし特許文献２記載の構成においては、例えば撮影画像の周辺部が歪んでいる場合、２つのカメラが撮影した画像の歪みが互いに一致しないので、物体の奥行きや位置を検出する精度に関して課題がある。特に、広視野を実現するようなレンズは、中心部に対して周辺部が歪んでいるので、検出精度が大幅に低下してしまう。このような理由により、特許文献２の構成が有用であるのは歪みの小さいレンズを用いる場合のみに限定されると考えられる。
　特許文献３においては、センサを垂直方向にシフトさせている。この構成は、歪みのあるレンズを用いて視野を拡大する効果が小さいと考えられる。また水平方向における視野を拡大させる効果は乏しい。
　本発明は、上記のような課題に鑑みてなされたものであり、広視野を実現する歪みのあるレンズを用いることにより、実効的な視野を拡大することができる、ステレオ画像処理装置を提供するものである。
　本発明に係るステレオ画像処理装置において、２つのセンサはレンズの光軸に対して互いから離れる方向に向かってシフトして配置されており、前記レンズは、視野角が大きい領域においてｆθレンズよりも歪みが大きい特性を有する。
　本発明に係るステレオ画像処理装置によれば、広視野を実現する歪みのあるレンズを用いることにより、実効的な視野を拡大することができる。
実施形態１に係るステレオカメラ１の構成図である。 ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。 実施形態１に係るステレオ画像処理装置が備える処理部２の機能ブロック図である。 距離ｄの距離Ｌに対する依存性を示すグラフである。 センサシフト量と実効的な視野の増加量との間の関係を示すグラフである。 視野角の違いを説明する図である。 実施形態１に係る遮光カバーの構成図である。 実施形態２に係るステレオカメラ１の構成図である。 実施形態３に係るステレオカメラ１の構成図である。 ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。
＜実施の形態１＞
　図１は、本発明の実施形態１に係るステレオカメラ１の構成図である。画像処理部については後述する。ここではステレオカメラ１から見た対象物体１００の奥行きと位置を検知する場合について説明する。ステレオカメラ１は、右側のカメラＣＲと左側のカメラＣＬとその出力を処理する処理部（詳細は後述）を備えている。
　右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、右側のカメラＣＲのレンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００ＲはセンサＣＳＲ上の中心ＭＲ付近ではなく、センサＣＳＲの左側に入射する。図１右下に、センサＣＳＲの平面図を示す。センサＣＳＲはレンズＬＲの光軸ＯＲに対してカメラＣＬから離れる側にシフトして配置されている。したがって光１００Ｒは、センサ中心ＭＲの左側に入射する。
　左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、左側のカメラＣＬのレンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００ＬはセンサＣＳＬ上の中心ＭＬ付近ではなく、センサＣＳＬの右側に入射する。図１左下に、センサＣＳＬの平面図を示す。センサＣＳＬはレンズＬＬの光軸ＯＬに対してカメラＣＲから離れる側にシフトして配置されている。したがって光１００Ｌは、センサ中心ＭＬの右側に入射する。
　対象物体１００とレンズとの間の距離をＬ、２つのカメラ間の距離（以下、基線長と呼ぶ）をＤ、レンズとセンサ間（レンズＬＲとセンサＣＳＲ間、レンズＬＬとセンサＣＳＬ間）距離をＬｃ、センサ（センサＣＳＲまたはセンサＣＳＬ）上の光１００Ｒ、光１００Ｌの入射位置と軸ＯＲ、軸ＯＬとの間の距離をｄとする。幾何的な相似の関係からＬ：Ｄ／２＝Ｌｃ：ｄとなる。したがって、ｄ＝ＤＬｃ／（２Ｌ）と表すことができる。レンズの焦点距離をｆとした場合、レンズの公式からＬｃ＝ｆＬ／（Ｌ－ｆ）と表すことができる。これら式により、ｄ＝ＤｆＬ／｛（２Ｌ）（Ｌ－ｆ）｝と表すことができる。
　特許文献１においては、ステレオカメラ１が対象物体１００の距離を検出することができる最大距離をＬｍａｘとすると、センサＣＳＲとセンサＣＳＬを互いから離れる方向に向かってＤｆＬｍａｘ／｛（２Ｌ）（Ｌ－ｆ）｝だけシフトしている。同文献においてはこれにより、２つのセンサが検出することができる共通視野（ステレオ視野）を広げることを図っている。
　ここでいう最大距離Ｌｍａｘとは、対象物体１００の距離と位置を検出することができるのに足る精度の画像を取得することができる最大距離である。例えば対象物体１００が極端に遠くに存在する場合、センサＣＳＲとセンサＣＳＬが取得する画像がぼやけているので、対象物体１００の距離や位置を正確に検出することができない（検出精度が許容範囲を下回る）。最大距離Ｌｍａｘは、そのような不具合が生じない最大距離である。
　本実施形態１においては、センサＣＳＲとセンサＣＳＬを互いから離れる方向にＤｆＬｍａｘ／｛（２Ｌ）（Ｌ－ｆ）｝よりも大きくシフトして配置している。これにより、２つのセンサが検出することができる共通視野Ｓ（図１の塗りつぶし領域）、センサＣＳＲのみが検出することができる視野Ｔ１（斜線部）、センサＣＳＬのみが検出することができる視野Ｔ２（斜線部）、が生じることになる。視野Ｔ１とＴ２を広げることにより、単眼視野ではあるものの、ステレオカメラ１が検出することができる視野角を広げることができる。
　さらに、本実施形態１におけるレンズＬＲとレンズＬＬは、視野角θに対して周辺部が等距離射影（ｆθ（ｆ：焦点距離、θ：視野角））よりも歪んでいる。ｆθレンズは、視野角θが大きくなるのにともなって像高も大きくなる特性を有している。これに対して本実施形態１におけるレンズＬＲとレンズＬＬは、視野角θが小さい領域においては概ねｆθレンズと同じ特性（すなわちθと像高が比例する）を有するが、視野角θが大きい領域（すなわち周辺部）においては像高がｆθレンズよりも小さい。換言すると本実施形態１におけるレンズＬＲとＬＬは、周辺部においてはθが大きくなるにつれて像高の増分が次第に小さくなるような特性を有する。このようなレンズの１例としては正射影（ｆｓｉｎθ）レンズが挙げられる。これにより以下に説明するように、同じセンササイズであっても視野角をｆθレンズよりも広げることができる。
　センサの分解能は、センサの画素に対する視野によって決まる。すなわち分解能を小さくすることは、センサの画素に対する視野を大きくすることに相当する。そこで本実施形態１においては、歪みのあるレンズを用いることにより、周辺部の画素に対する視野を大きくして視野を広げることを図っている。この場合、周辺部の分解能は中心部（θが小さい領域）よりも低くなる。しかし例えば車載カメラやドローン向けカメラの場合、進行方向の分解能は高いことが必要だが、周辺部の分解能は中心よりも低くしてもよい。このような用途においては、本実施形態１の構成を用いて周辺部の視野角を広げることによるメリットのほうが大きいと考えられる。
　距離Ｌは、車載カメラやドローンの場合は５０ｍ～２５０ｍ（もしくはそれ以上）、検査装置などに搭載する場合は２ｍ～５ｍ、ロボットなどに搭載する場合は１０ｍ～２０ｍである。レンズとセンサとの間の距離Ｌｃは、各用途に応じて対象物体１００が最も鮮明に見えるよう調整されている。
　図２は、ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。縦軸は垂直方向、横軸は水平方向を示している。原点は、光１００Ｌ、光１００Ｒの位置を示している。点線は、カメラＣＲのセンサＣＳＲを示している。一点差線は、カメラＣＬのセンサＣＳＬを示している。本実施形態１においては、左右のカメラの検出するセンサ範囲が異なる。これにより、２つのセンサが検出することができる共通範囲Ｓａ（塗りつぶし領域）、センサＣＳＲのみが検出することができる範囲Ｔａ１（斜線部）、センサＣＳＬのみが検出することができる範囲Ｔａ２（斜線部）が発生する。これら範囲は、図１で説明した共通視野Ｓ、視野Ｔ１、視野Ｔ２に対応するものである。
　図３は、本実施形態１に係るステレオ画像処理装置が備える処理部２の機能ブロック図である。Ａ／Ｄ変換器２００Ｒと２００Ｌはそれぞれ、センサＣＳＲとＣＳＬが検出した画像信号をデジタル信号に変換する。補正回路２０１Ｒと２０１Ｌは、歪んだ画像を所定の射影方式に変換する。例えば、正射影から中心射影（ｆｔａｎθ）に変換する。ステレオマッチング回路２０２は、共通視野（図２の視野Ｓａ）における画像を距離画像データに変換し、画像認識回路２０３に対して出力する。単眼視野（図２の視野Ｔａ１とＴａ２）における画像も同時に画像認識回路２０３に対して出力される。画像認識回路２０３は、取得した画像データ内に含まれる物体を認識することにより、車／人／障害物などの有無、距離情報、標識／信号などについての情報を生成し、制御回路２０４に対して出力する。制御回路２０４は、画像認識回路２０３から取得した情報に応じて車を制御する。
＜実施の形態１：先行技術との差異点について＞
　以下では特許文献１と本実施形態１との間の相違点について説明する。特許文献１においても本実施形態１と同様にセンサの位置を光軸からシフトさせている。しかし同文献においては、ステレオ視野を広げるためにセンサをシフトさせている点が本実施形態１とは異なる。これに対して本実施形態１は、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することを図っている。
　検査装置やロボットなどに搭載するステレオカメラは、全視野において物体の奥行きや位置を高精度に検出することが求められる。したがってステレオ視野を最大限確保することが要求される場合がある。これに対し、車載やドローンなどに搭載するステレオカメラは、進行方向に向かって所定角度範囲内においては物体の奥行きや位置を高精度に検出する必要があるが、それ以外の角度においては必要とされない。したがって単眼視による検出であっても性能要求を満たすことができる。そこで本実施形態１においては。特許文献１とは異なり、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大している。
　図４は、距離ｄの距離Ｌに対する依存性を示すグラフである。縦軸は距離ｄを示しており、横軸は距離Ｌを示している。図４（ａ）の各線は基線長Ｄを示しており、図４（ｂ）の各線はレンズの焦点距離ｆを示している。図４（ａ）において、レンズ焦点距離ｆ：３．５ｍｍ、基線長Ｄ：０．０５ｍ～１．００ｍとした。図４（ｂ）において、レンズ焦点距離ｆ：１ｍｍ～１０ｍｍ、基線長Ｄ：０．３５ｍとした。
　図４によれば、例えば焦点距離ｆが３．５ｍｍ、基線長Ｄが０．３５ｍｍ、距離Ｌが１００ｍの場合、距離ｄは約０．００６ｍｍとなる。これは、センサの画素サイズを０．００３ｍｍとすれば、２画素分に相当する。この条件は、基線長Ｄだけでなく、焦点距離ｆを変えても大きく変化しない。例えば焦点距離ｆが１０ｍｍ、基線長０．３５ｍ、距離Ｌが５０ｍの場合であっても距離ｄは０．０４０ｍｍ弱であり、十数画素分である。特許文献１においては、このように２画素から十数画素だけセンサをシフトすることにより、ステレオ視野を最大限確保している。これに対して本実施形態１は、例えば０．１ｍｍ～数ｍｍ（センササイズにも依存）ずらすことにより、実効的な視野を拡大している。すなわち本実施形態１は、センサをシフトさせる量が特許文献１よりも格段に大きいということができる。
　図５は、センサシフト量と実効的な視野の増加量との間の関係を示すグラフである。ここでは比較のため特許文献３における同関係を併記した。光学条件は以下の通りである：（ａ）射影方式：正射影、（ｂ）レンズ焦点距離ｆ：３．５ｍｍ、（ｃ）センサ画素サイズ：２．７５μｍ（水平）×２．７５μｍ（垂直）、（ｄ）センサ画素数：１９５６画素（水平）×１２６６画素（垂直）。
　特許文献３においては、２つのカメラのセンサをレンズに対して垂直かつ反対方向にシフトすることにより、実効的な視野を拡大している。この方式は、センサのシフトにより実効的な視野を拡大できる一方で、広視野を実現する歪みのあるレンズの効果を得ることが困難である。図５の点線もこのことを表している。これに対して本実施形態１のようにセンサを水平方向にシフトさせることにより、実効的な視野をより大きく増加できることがわかる。この理由は以下のように考えられる。
　歪みのあるレンズを用いることにより、周辺部の画素に対する視野が大きくなる。通常ステレオカメラは水平方向において物体を認識することが求められるので、水平方向のセンササイズを大きくしている。したがって左右方向における歪みの効果を得やすい。これに対して垂直方向は水平方向に比べセンササイズが小さいので、歪みの効果がほとんど得られない。車載センサは、水平方向の情報が重要であるので、通常の撮像用のセンサに対して水平方向のセンササイズがさらに大きくなることが予想される。したがって、垂直方向に対して水平方向の実効的な視野の増加量はさらに大きくなると考える。
　図６は、視野角の違いを説明する図である。図６（ａ）は本実施形態１に係るステレオカメラ１の構成を示し、図６（ｂ）は特許文献１におけるステレオカメラの構成を示す。ステレオカメラをトラックや軽自動車などのボンネットが短い車に搭載する場合、車両の近傍を検出することも要求される。図６の点Ｐ１と点Ｐ２はステレオ視可能な対象物体の位置を示している。本実施形態１は、カメラＣＲが左側の視野を検出し、カメラＣＬが右側の視野を検出するので、２つのカメラが同じ視野を検出する特許文献１よりも手前側を検出することができる。したがって本実施形態１は、近傍を検出する観点においても特許文献１より有利である。
　本実施形態１のステレオカメラ１は、距離Ｌが５０ｍ～２５０ｍの対象物体１００にフォーカスを合わせているので、近傍の物体は多少ぼけてしまうことが考えられる。ただし近傍の物体を検出する場合、２つの画像間における対象物体１００の位置ずれ量が非常に大きいので、多少ぼけた画像であっても位置検出に際して支障はない。
　本実施形態１の構成は、ステレオカメラの小型化にも寄与する。車載ステレオカメラにおいては、視野外の光がカメラに入射しないように、レンズとフロントガラスの間にカバーを配置する。例えば、図６の一点鎖線がフロントガラスとすると、視野を確保するためには距離Ｊ１、距離Ｊ２より大きなカバーが必要となる。図６に示すように距離Ｊ２に対して距離Ｊ１が小さいので、本実施形態１のステレオカメラ１は、カバーのサイズを特許文献１よりも小さくすることができ、結果としてステレオカメラ１を小型化することができる。
　例えば、２つのカメラが同じ視野を検出している従来のステレオカメラの場合、遮光カバーは視野を遮らないように視野角と同じもしくはそれ以上の角度で取り付ける必要がある。これに対して本実施形態１においては、図６（ａ）の遮光カバー３１Ｒと遮光カバー３１Ｌのように、２つのカメラの実効的な視野角よりも小さい傾きで遮光カバーを取り付けることができる。これにより、ステレオカメラ１を小型化することができる。
　図７は、遮光カバーの例を示したものである。（ａ）は、本実施形態１の構成の遮光カバー、（ｂ）は、従来の構成の遮光カバーを示している。なお、従来の構成は特許文献１で対象物体が遠方（例えば距離Lが１００ｍ）にある場合を示している。また、（ａ）、（ｂ）は同じ視野を実現するための遮光カバーを示している。そして、（ｃ）、（ｄ）は、（ａ）、（ｂ）の遮光カバーを一体化したものである。
　（ａ）の場合、右側のカメラのセンサの右側検出限界１Ｒと左側検出限界３Ｒに沿うように遮光カバー３１Ｒが配置してあり、左側のカメラのセンサの右側検出限界１Ｌ、左側検出限界３Ｌに沿うように遮光カバー３１Ｌが配置してある。（ｂ）の場合、右側のカメラのセンサの右側検出限界２Ｒと左側検出限界４Ｒに沿うように遮光カバー４２Ｒが配置してあり、左側のカメラのセンサの右側検出限界４Ｌ、左側検出限界２Ｌに沿うように遮光カバー４２Ｌが配置してある。
　本実施形態１の構成は、右側のカメラのセンサで検出する最大視野角（左側検出限界３Ｒ）や左側のカメラのセンサで検出する最大視野角（右側検出限界１Ｌ）よりもステレオカメラの外側の遮光カバーが小さい角度（右側検出限界１Ｒ、左側検出限界３Ｌと同じ角度）となっている。それに対し、従来の構成は、右側のカメラのセンサで検出する最大視野角（右側検出限界２Ｒ）と左側のカメラのセンサで検出する最大視野角（右側検出限界４Ｌ）はステレオカメラの外側の遮光カバーと同じ角度となっている。
　このため、（ｂ）の従来構成の場合、遮光カバーが大きくなり、結果としてステレオカメラ全体サイズを大きくせざるを得ない。それに対し、（ａ）の本実施形態１の構成の場合には、遮光カバーがステレオカメラ１の筐体に対して外側にあまり広がらないため、ステレオカメラ全体サイズを小さくすることができる。ステレオカメラは、運転席の前方に配置する観点から小型化が求められるため、本実施形態１の構成は非常に有利となる。なお、これについては遮光カバーを一体化した（ｃ）、（ｄ）についても同様のことが言える。また、本実施形態では遮光カバーを検出限界で決めたがこれには限定されず、遮光カバーの傾きに多少の角度マージンを確保しても同様の効果が得られる。
　さらにワイパーについても同様のことが言える。本実施形態１は特許文献１と比較してワイパーの可動範囲が小さくてよい。ワイパーの可動範囲が大きく必要な場合には、カメラＣＲとカメラＣＬの雨に対する状態が互いに異なるので、高精度な検出ができない。例えば、片側のカメラは雨が拭き取られた状態で撮影し、もう片方のカメラは雨が拭き取られていない状態で撮影する場合、検出精度が低下する。
　本実施形態１のようにワイパーの可動範囲が小さい場合、カメラＣＲとカメラＣＬの雨に対する状態を合わせ易くなる。したがって特許文献１のステレオカメラと比較して、本実施形態１のステレオカメラ１は小型かつ高精度・広視野で対象物体１００を検出することができる。このような効果は、特許文献３のようにセンサを垂直方向にずらす構成においては、全く得られない。
　本実施形態１のステレオカメラ１は、カメラではなくセンサをずらしているので、特許文献２のようにカメラＣＲとカメラＣＬとの間のレンズ歪みの違いにともなって、検出精度が低下するおそれは小さいといえる。
＜実施の形態１：まとめ＞
　本実施形態１に係るステレオ画像処理装置は、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することができる。さらに、周辺部が歪んだレンズを用いることにより、視野角をさらに広げることができる。
＜実施の形態２＞
　図８は、本発明の実施形態２に係るステレオカメラ１の構成図である。本実施形態２においては、実施形態１とは異なり、２つのセンサを光軸に対して互いに近づく方向にシフトさせている。その他構成は実施形態１と同様である。
　右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、レンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００ＲはセンサＣＳＲ上の中心ＭＲ付近ではなく、センサＣＳＲの右側に入射する。
　左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、レンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００ＬはセンサＣＳＬ上の中心ＭＬ付近ではなく、センサＣＳＬの左側に入射する。
　本実施形態２においては、レンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを左側にシフトし、レンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬを右側にシフトすることになる。
　本実施形態２によれば、実施形態１と比較して基線長Ｄだけ、早く物体を認識することできる。例えば左側の視野を検出しようとした場合、本実施形態２においてはカメラＣＬで検出し、実施形態１においてはカメラＣＲで検出する。このとき、カメラＣＬの方が基線長Ｄ分だけ、左側の対象物体１００を早く検出することができる。例えば、車の横幅全体を基線長Ｄとすれば、普通車の場合には２．５ｍ分、左側の対象物体１００を早く検出することができる。これは、自転車など速度の速い対象物体１００を認識する場合に有利である。
＜実施の形態２：まとめ＞
　本実施形態２に係るステレオ画像処理装置は、実施形態１と同様にステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することができる。さらにセンサＣＳＲとＣＳＬを光軸に対して互いに近づく方向にシフトさせることにより、単眼視野領域における対象物体１００をより早く認識することができる。
＜実施の形態３＞
　図９は、本発明の実施形態３に係るステレオカメラ１の構成図である。本実施形態３に係るステレオカメラ１は、実施形態１と同様にセンサＣＳＲとＣＳＬを互いに近づく方向にシフトさせることに加えて、垂直方向においても互いに反対側にシフトさせている。図９においては、センサＣＳＲは垂直方向下向きにシフトし、センサＣＳＬは垂直方向上向きにシフトしている。その他構成は実施形態１と同様である。
　右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、右側のカメラＣＲのレンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００Ｒはセンサ上の中心ＭＲ付近ではなく、センサＣＳＲの左上側に入射する。すなわち、レンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲは右下側にシフトしている。
　左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、左側のカメラＣＬのレンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００Ｌはセンサ上の中心ＭＬ付近ではなく、センサＣＳＬの右下側に入射する。すなわち、レンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬは左上側にシフトしている。
　図１０は、ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。縦軸は垂直方向、横軸は水平方向を示している。原点は、光１００Ｌ、光１００Ｒの位置を示している。点線は、カメラＣＲのセンサＣＳＲを示している。一点差線は、カメラＣＬのセンサＣＳＬを示している。本実施形態３においては、実施形態１や特許文献３に加えて、範囲Ｔｂ１と範囲Ｔｂ２を検出できる。例えば自動車を停止した状態から発進させる場合、斜め方向の近傍の標識、看板、白線などを検出しなければならない。本実施形態３によれば、範囲Ｔｂ１と範囲Ｔｂ２によってそれらを検出することができる。
　例えば日本のように左車線の場合、本実施形態３のようにカメラＣＲはレンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを右下側にシフトさせすることにより、左上側の近傍の標識、看板などを検出することができる。カメラＣＬはレンズＬＬの中心を通る軸ＯＲに対してセンサＣＳＬを左上側にシフトさせることにより、右下側の近傍の白線が検出できる。米国のように右車線の場合、右側のカメラＣＲはレンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを右上側にシフトさせることにより、左下側の近傍の白線が検出できる。カメラＣＬはレンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬを左下側にシフトさせることにより、右上側の近傍の標識、看板などを検出することができる。
＜実施の形態３：まとめ＞
　本実施形態３に係るステレオ画像処理装置は、２つのセンサを斜め方向にずらすことにより、新たな視野（範囲Ｔａ１、範囲Ｔｂ２に対応した視野）を得ることができる。本実施形態３においては、２つのセンサを垂直方向において互いから遠ざける方向でシフトさせることを説明したが、垂直方向において互いに向かって近づける方向にシフトさせる構成も、本実施形態３と同様の効果を得ることができる。
　本実施形態３は、センサＣＳＲとＣＳＬを斜め方向にシフトさせるものである。斜め方向は水平、垂直方向に比べてセンササイズが大きいことを考慮すると、図５で説明した実効的な視野の増加量をさらに大きくすることができる利点もある。
＜本発明の変形例について＞
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　ステレオカメラ１の２つのセンサは必ずしも両方同じ量だけシフトさせる必要はなく、ステレオ視と単眼視が同時に実現できる構成であれば同様の効果が得られる。
　処理部２が備える各機能部は、これらの機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したソフトウェアを演算装置（プロセッサ）が実行することにより構成することもできる。
　制御回路２０４は、ステレオ画像処理装置の外に設けることもできる。図３においては補正回路２０１Ｒと補正回路２０１Ｌが射影方式を変換することとしたが、必ずしも変換が必要ではなく、カメラが検出した画像をそのまま用いてもよい。カメラＣＲおよびカメラＣＬの画像データの一部（図２の視野Ｔａ１、視野Ｔａ２）を用いて、物体の時間的変化や大きさなどから物体の奥行きと位置を検出してもよい。
　以上の実施形態において、ｄ＝ＤｆＬ／｛（２Ｌ）（Ｌ－ｆ）｝と表したが、車載カメラやドローンに適用する場合には、ｆ（数ｍｍオーダ）に対してＬ（１００ｍオーダ）が各段に大きいので、ｄ＝Ｄｆ／（２Ｌ）と近似してもよい。
　実施形態３において、日本と米国の車線の違いを例として説明したが、本構成は１例であり、新たな視野（範囲Ｔａ１、範囲Ｔｂ２に対応した視野）を使ってどのような対象物体を検出してもよい。
１：ステレオカメラ
２：処理部
１００：対象物体
２００Ｒ、２００Ｌ：Ａ／Ｄ変換器
２０１Ｒ、２０１Ｌ：補正回路
２０２：ステレオマッチング回路
２０３：画像認識回路
２０４：制御回路
ＣＲ、ＣＬ：カメラ
ＬＲ、ＬＬ：レンズ
ＣＳＲ、ＣＳＬ：センサ 

Claims (10)

  1. 　ステレオ画像を処理するステレオ画像処理装置であって、
    　撮影対象を撮影する第１カメラおよび第２カメラを備え、
    　前記第１カメラは、前記撮影対象からの光を収束する第１レンズと、前記第１レンズを通過した光を受光する第１センサとを備え、
    　前記第２カメラは、前記撮影対象からの光を収束する第２レンズと、前記第２レンズを通過した光を受光する第２センサとを備え、
    　前記第１カメラと前記第２カメラは、互いから離隔して配置されており、
    　前記第１センサの中心は、前記第１レンズの中心と前記第２レンズの中心を結ぶ直線に対して平行な第１方向において、前記第１レンズの光軸からシフトして配置されており、　前記第２センサの中心は、前記第１方向において、前記第２レンズの光軸からシフトして配置されており、
    　前記第１レンズと前記第２レンズはともに、視野角に比例して像高が大きくなるｆθレンズと比較して、視野角が大きい領域における像高が小さい特性を有するレンズである
    　ことを特徴とするステレオ画像処理装置。
  2. 　前記第１レンズは、前記第１センサが受光することができる最大視野角における像高が前記ｆθレンズの像高よりも小さい特性を有し、
    　前記第２レンズは、前記第２センサが受光することができる最大視野角における像高が前記ｆθレンズの像高よりも小さい特性を有する
    　ことを特徴とする請求項１記載のステレオ画像処理装置。
  3. 　前記第１センサの中心は、前記第１方向において、前記第２カメラから離れる側に前記第１レンズの光軸から第１シフト距離だけシフトして配置されており、
    　前記第２センサの中心は、前記第１方向において、前記第１カメラから離れる側に前記第２レンズの光軸から第２シフト距離だけシフトして配置されている
    　ことを特徴とする請求項１記載のステレオ画像処理装置。
  4. 　前記第１レンズの焦点距離をｆ１、
    　前記第２レンズの焦点距離をｆ２、
    　前記第１レンズの中心と前記第２レンズの中心との間の距離をＤ、
    　前記第１レンズまたは前記第２レンズから前記撮影対象までの距離をｌ、
    　前記第１センサと前記第２センサが前記距離ｌを求めるのに足る精度を有する信号を取得することができる最大距離をＬ、
    　とすると、
    　前記第１シフト距離は、Ｄ×ｆ１×Ｌ／｛（２Ｌ）（Ｌ－ｆ１）｝よりも大きく、
    　前記第２シフト距離は、Ｄ×ｆ２×Ｌ／｛（２Ｌ）（Ｌ－ｆ２）｝よりも大きい
    　ことを特徴とする請求項３記載のステレオ画像処理装置。
  5. 　前記第１センサの中心は、前記第１方向において、前記第２カメラに対して近づく側に前記第１レンズの光軸から第１シフト距離だけシフトして配置されており、
    　前記第２センサの中心は、前記第１方向において、前記第１カメラに対して近づく側に前記第２レンズの光軸から第２シフト距離だけシフトして配置されている
    　ことを特徴とする請求項１記載のステレオ画像処理装置。
  6. 　前記第１センサの中心は、前記第１方向に対して直交しかつ前記第１レンズの光軸に対して直交する第２方向において、前記第１レンズの光軸からシフトして配置されており、　前記第２センサの中心は、前記第２方向において、前記第２レンズの光軸からシフトして配置されている
    　ことを特徴とする請求項３記載のステレオ画像処理装置。
  7. 　前記第１センサの中心は、前記第２方向において、第１向きに向かって前記第１レンズの光軸からシフトして配置されており、
    　前記第２センサの中心は、前記第２方向において、第１向きとは反対の第２向きに向かって前記第２レンズの光軸からシフトして配置されている
    　ことを特徴とする請求項６記載のステレオ画像処理装置。
  8. 　前記ステレオ画像処理装置は、前記第１レンズに対して前記撮影対象以外から入射する光を遮光する第１遮光カバーと、前記第２レンズに対して前記撮影対象以外から入射する光を遮光する第２遮光カバーとを備え、
    　前記第１遮光カバーは、前記第１レンズの光軸に対して、前記第２センサの最大視野角よりも小さい角度で傾いて前記第１カメラに対して取り付けられており、
    　前記第２遮光カバーは、前記第２レンズの光軸に対して、前記第１センサの最大視野角よりも小さい角度で傾いて前記第２カメラに対して取り付けられている
    　ことを特徴とする請求項１記載のステレオ画像処理装置。
  9. 　前記第１センサは、第１視野角範囲のなかに含まれる前記撮影対象から光を受光することができるように配置されており、
    　前記第２センサは、第２視野角範囲のなかに含まれる前記撮影対象から光を受光することができるように配置されており、
    　前記第１視野角範囲と前記第２視野角範囲は、互いに重なり合う共通視野角範囲を含んでおり、
    　前記ステレオ画像処理装置はさらに、前記第１センサが前記共通視野角範囲のなかに含まれる前記撮影対象から受光した光に基づき生成した信号と、前記第２センサが前記共通視野角範囲のなかに含まれる前記撮影対象から受光した光に基づき生成した信号とを処理する、ステレオプロセッサを備える
    　ことを特徴とする請求項１記載のステレオ画像処理装置。
  10. 　前記ステレオ画像処理装置はさらに、前記第１センサが前記共通視野角範囲のなかに含まれない前記撮影対象から受光した光に基づき生成した信号と、前記第２センサが前記共通視野角範囲のなかに含まれない前記撮影対象から受光した光に基づき生成した信号とを処理する、非ステレオプロセッサを備える
    　ことを特徴とする請求項９記載のステレオ画像処理装置。
PCT/JP2018/017424 2017-08-07 2018-05-01 ステレオ画像処理装置 WO2019030995A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/634,699 US10992920B2 (en) 2017-08-07 2018-05-01 Stereo image processing device
EP18843364.3A EP3667413B1 (en) 2017-08-07 2018-05-01 Stereo image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-152626 2017-08-07
JP2017152626A JP6793608B2 (ja) 2017-08-07 2017-08-07 ステレオ画像処理装置

Publications (1)

Publication Number Publication Date
WO2019030995A1 true WO2019030995A1 (ja) 2019-02-14

Family

ID=65272132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017424 WO2019030995A1 (ja) 2017-08-07 2018-05-01 ステレオ画像処理装置

Country Status (4)

Country Link
US (1) US10992920B2 (ja)
EP (1) EP3667413B1 (ja)
JP (1) JP6793608B2 (ja)
WO (1) WO2019030995A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230048226A1 (en) * 2020-03-05 2023-02-16 Hitachi Astemo, Ltd. Imaging device
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置
JP7372708B2 (ja) * 2020-08-20 2023-11-01 アルゴスビジョン インコーポレイテッド 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
JP7436400B2 (ja) 2021-01-15 2024-02-21 日立Astemo株式会社 ステレオ画像処理装置及び画像補正手段
DE112022001196T5 (de) * 2021-04-28 2023-12-21 Hitachi Astemo, Ltd. Bordinterne kameravorrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510666A (ja) * 1999-09-30 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トラッキングカメラ
JP2005024463A (ja) 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
JP2014238558A (ja) 2013-06-10 2014-12-18 株式会社リコー 撮像装置及び視差検出方法
WO2015182147A1 (ja) 2014-05-28 2015-12-03 京セラ株式会社 ステレオカメラ装置およびステレオカメラ装置を設置した車両

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置
US20040070667A1 (en) * 2002-10-10 2004-04-15 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
JP6124655B2 (ja) * 2013-04-05 2017-05-10 オリンパス株式会社 撮像装置、撮像装置の制御方法及びプログラム
EP3214474B1 (en) 2014-10-29 2019-07-24 Hitachi Automotive Systems, Ltd. Optical system, image capturing device and distance measuring system
EP3252514A4 (en) * 2015-01-26 2018-08-22 Hitachi Automotive Systems, Ltd. Imaging lens, imaging device using same, and distance measuring system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510666A (ja) * 1999-09-30 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トラッキングカメラ
JP2005024463A (ja) 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
JP2014238558A (ja) 2013-06-10 2014-12-18 株式会社リコー 撮像装置及び視差検出方法
WO2015182147A1 (ja) 2014-05-28 2015-12-03 京セラ株式会社 ステレオカメラ装置およびステレオカメラ装置を設置した車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3667413A4

Also Published As

Publication number Publication date
JP6793608B2 (ja) 2020-12-02
JP2019032409A (ja) 2019-02-28
US10992920B2 (en) 2021-04-27
EP3667413A1 (en) 2020-06-17
EP3667413A4 (en) 2021-03-17
US20200213574A1 (en) 2020-07-02
EP3667413B1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
WO2019030995A1 (ja) ステレオ画像処理装置
JP5273356B2 (ja) 複眼画像入力装置及びそれを用いた距離測定装置
JP6510551B2 (ja) 撮像光学系、撮像装置および距離測定システム
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
US10869002B2 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
US20180137607A1 (en) Processing apparatus, imaging apparatus and automatic control system
CN109835266B (zh) 摄像装置模块
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
US11012621B2 (en) Imaging device having capability of increasing resolution of a predetermined imaging area using a free-form lens
US20180338095A1 (en) Imaging system and moving body control system
JP2015230703A (ja) 物体検出装置及び物体検出方法
US11405600B2 (en) Stereo camera
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
CN113646607A (zh) 物体位置检测装置、行驶控制系统及行驶控制方法
CN114667729B (zh) 多孔变焦数码摄像头及其使用方法
JP2008040115A (ja) ステレオカメラ
JP2010118716A (ja) ステレオ撮像装置
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
WO2023166813A1 (ja) ステレオ画像処理装置
JP7346080B2 (ja) ステレオカメラシステム、及び測距方法
JPWO2017028848A5 (ja)
WO2023166546A1 (ja) ステレオ画像処理装置
JP5234490B2 (ja) ステレオ画像形成装置
CN111133439B (zh) 全景监视系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18843364

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018843364

Country of ref document: EP

Effective date: 20200309