WO2023127362A1 - カメラの校正方法およびステレオカメラ装置 - Google Patents

カメラの校正方法およびステレオカメラ装置 Download PDF

Info

Publication number
WO2023127362A1
WO2023127362A1 PCT/JP2022/043470 JP2022043470W WO2023127362A1 WO 2023127362 A1 WO2023127362 A1 WO 2023127362A1 JP 2022043470 W JP2022043470 W JP 2022043470W WO 2023127362 A1 WO2023127362 A1 WO 2023127362A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
camera
image
linear portion
windshield
Prior art date
Application number
PCT/JP2022/043470
Other languages
English (en)
French (fr)
Inventor
和良 山崎
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023127362A1 publication Critical patent/WO2023127362A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present disclosure relates to a camera calibration method and a stereo camera device.
  • a method for calibrating a stereo camera described in Patent Literature 1 below relates to the coordinates of an image of a subject caused by a transparent body in at least one of an image captured by a first camera and an image captured by a second camera. Calculating correction parameters that calibrate absolute misalignment indicative of misalignment.
  • a stereo camera photographs a calibration tool, acquires a first captured image by a first camera and a second captured image by a second camera, and obtains a first captured image and a second captured image. Based on this, a step of calculating a correction parameter for calibrating a relative position shift indicating a shift in parallax between the subject image in the first captured image and the subject image in the second captured image. Furthermore, this conventional calibration method includes the step of storing in the stereo camera correction parameters based on the correction parameters for calibrating the absolute positional deviation and the correction parameters for calibrating the relative positional deviation (Patent Document 1, Claim 1, etc.). ).
  • the calibration tool is photographed by the stereo camera to calibrate the relative positional deviation and the absolute positional deviation. Therefore, in this conventional calibration method, if the angle of view of the stereo camera is widened, the size of the calibration tool may increase, making it difficult to calibrate the stereo camera.
  • the present disclosure provides a camera calibration method and a stereo camera device that can easily calibrate a wide-angle camera that captures images through a windshield.
  • One aspect of the present disclosure is a calibration method for a camera that captures an image through a windshield, wherein a calibration object having a linear portion extending in one direction intersecting the optical axis of the camera is scanned through the windshield by the camera. obtaining a calibration image by photographing; extracting a linear portion image corresponding to the linear portion from the calibration image; and photographing the linear portion without passing through the windshield with the camera. and correcting the distortion of the calibration image based on the virtual linear portion image and the linear portion image assumed in the case where the camera is calibrated.
  • an image calibration method capable of easily calibrating a wide-angle camera that captures an image through a windshield.
  • FIGS. 3A and 3B are a plan view and an image diagram showing an embodiment of a stereo camera device according to the present disclosure
  • FIG. FIG. 2 is a block diagram showing an example of the configuration of the stereo camera device in FIG. 1
  • FIG. 4 is a schematic horizontal cross-sectional view for explaining refraction of light transmitted through the windshield
  • FIG. 4 is a schematic vertical cross-sectional view for explaining refraction of light transmitted through the windshield
  • FIG. 3B is a schematic diagram illustrating displacement of an image of an image sensor due to refraction of light in FIGS. 3A and 3B
  • 1 is a flow chart showing an embodiment of a camera calibration method according to the present disclosure
  • FIG. FIG. 6 is a diagram showing an example of a calibration object in the step of acquiring the calibration image in FIG.
  • FIG. 7 is a front view of the calibration chart as the calibration object shown in FIG. 6;
  • FIG. 7B is an image diagram of a camera that captured the calibration chart shown in FIG. 7A.
  • FIG. 6 is an image diagram showing an example of the extraction result of the step of extracting the linear portion image in FIG. 5 ;
  • FIG. 10 is a diagram showing an example of the inclination of the calibration chart when it is installed;
  • FIG. 10 is a diagram showing an example of the inclination of the calibration chart when it is installed;
  • 7 is a graph showing the inclination of the linear portion image due to the inclination when the calibration chart is installed;
  • FIG. 4 is a schematic vertical cross-sectional view showing pupil misalignment of a wide-angle lens;
  • FIG. 4 is a schematic vertical cross-sectional view for explaining the effect of pupil misalignment of a camera lens. A graph showing the relationship between the horizontal length of the calibration chart and the installation distance.
  • FIG. 4 is a schematic side view showing a second embodiment of the camera calibration method of the present disclosure;
  • FIG. 11 is a perspective view of a calibration object in Embodiment 3 of the camera calibration method of the present disclosure;
  • FIG. 11 is a front view of a calibration chart of Embodiment 4 of the camera calibration method of the present disclosure;
  • FIG. 16B is an image diagram of a camera that captured the calibration chart shown in FIG. 16A.
  • FIG. 11 is a front view of a second calibration chart of Embodiment 4 of the camera calibration method of the present disclosure;
  • FIG. 7B is a front view showing a modification of the calibration chart shown in FIG. 7A;
  • FIG. 1 is a plan view and an image diagram showing Embodiment 1 of the stereo camera device according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of the stereo camera device 100 of FIG. 1. As shown in FIG.
  • a stereo camera device 100 of the present embodiment is mounted on a vehicle V such as an automobile, for example. Detects external information including, and generates alerts if necessary.
  • the external world information detected by the stereo camera device 100 and the generated warning are used, for example, for automatic driving of the vehicle V and advanced driving assistance by a vehicle control device (not shown).
  • the stereo camera device 100 includes left and right cameras 10L and 10R that capture images LI and RI through the windshield WS of the vehicle V.
  • Each camera 10 includes, for example, a lens (not shown) and an image sensor, and captures or obtains an image of an object around the vehicle V through the lens by the image sensor.
  • Each camera 10 is, for example, a wide angle camera with a horizontal angle of view of about 110° to 150°.
  • an imaging area A of the stereo camera device 100 by the left and right cameras 10L and 10R includes, for example, a central stereoscopic viewing area As and left and right monocular viewing areas Am of the stereoscopic viewing area As. .
  • a central stereo viewing area As is an area where the imaging areas AL and AR of the left and right cameras 10L and 10R overlap.
  • the monocular viewing area Am on the left side of the stereoscopic viewing area As is the imaging area AL of the left camera 10L and is an area outside the imaging area AR of the right camera 10R.
  • the monocular viewing area Am on the right side of the stereoscopic viewing area As is the imaging area AR of the right camera 10R and is an area outside the imaging area AL of the left camera 10L.
  • the stereo camera device 100 includes, for example, an image processing unit 20, a stereo parallax image generation unit 30, a road cross-sectional shape estimation unit 40, a stereo visual object detection unit 50, and left and right monocular images. It has a generation unit 60 , a hybrid object detection unit 70 and an alarm control unit 80 .
  • Each part of the stereo camera device 100 includes, for example, one or more microcontrollers including a central processing unit (CPU), memories such as ROM and RAM, timers, input/output units, and programs recorded in the memory. It can be configured by the controller.
  • the image processing unit 20 acquires the images LI and RI from the left and right cameras 10L and 10R, respectively, performs image processing, and sends the image data generated by the image processing to the stereo parallax image generation unit 30 and the left and right monocular image generation unit 60. Output.
  • the image processing unit 20 includes an affine processing unit 21, a brightness correction unit 22, a pixel interpolation unit 23, and a brightness information generation unit 24 for each of the left and right cameras 10L and 10R. and have Each part of these image processing parts 20 expresses a function realized by executing a program recorded in memory by CPU, for example.
  • each affine processing unit 21L and 21R generate converted images LIa and RIa in which, for example, pixel shifts, which are displacements of pixels in the vertical direction due to refraction of light passing through the windshield WS, are corrected. That is, each affine processing unit 21 functions, for example, as a pixel shift correction unit that corrects pixel shift.
  • the left and right luminance correction units 22L and 22R correct the luminance of each pixel of the converted image LIa of the image LI of the left camera 10L and the luminance of each pixel of the converted image RIa of the image RI of the right camera 10R.
  • Each luminance correction unit 22 corrects the luminance of each pixel based on, for example, the difference in gain of each pixel of the converted images LIa and RIa.
  • the left and right pixel interpolation units 23L and 23R perform, for example, demosaicing processing on the converted images LIa and RIa whose brightness has been corrected, respectively, to convert the converted images LIa and RIa from RAW images to color images.
  • the left and right luminance information generators 24L and 24R generate luminance information of the converted images LIa and RIa converted into color images, respectively. More specifically, each luminance information generator 24 generates luminance information for generating a parallax image from color image information of the converted images LIa and RIa.
  • the stereo parallax image generating unit 30 uses the image of the stereo viewing area As among the converted images LIa and RIa input from the image processing unit 20 to generate the stereo parallax image of the stereo viewing area As.
  • the stereo parallax image generation unit 30 includes, for example, an exposure adjustment unit 31, a sensitivity correction unit 32, a geometric correction unit 33, a matching unit 34, a noise removal unit 35, a pixel shift amount calculation unit 36, and a correction function derivation unit. a portion 37;
  • Each part of the stereo parallax image generating part 30 represents a function realized by, for example, executing a program recorded in the memory by the CPU.
  • the exposure adjustment unit 31 and the sensitivity correction unit 32 can perform feedback control by feeding back the exposure amount and sensitivity of the left and right cameras 10L and 10R to the left and right cameras 10L and 10R, respectively.
  • the geometric correction unit 33, the matching unit 34, and the noise removal unit 35 perform geometric correction, matching processing, and noise removal on the left and right converted images LIa and RIa, respectively.
  • the pixel shift amount calculation unit 36 and the correction function derivation unit 37 respectively calculate the pixel shift amount of the left and right converted images LIa and RIa and derive a correction function to be described later. That is, the pixel shift amount calculation unit 36 and the correction function derivation unit 37 constitute a pixel shift correction unit together with the affine processing unit 21, for example.
  • the road surface cross-sectional shape estimating unit 40 estimates, for example, the cross-sectional shape of the road surface on which the vehicle V will travel ahead in the optical axis direction of the left and right cameras 10L and 10R of the stereo camera device 100 . Estimation of the cross-sectional shape of the road surface by the road surface cross-sectional shape estimating unit 40 can be performed by, for example, a known method.
  • the stereoscopic object detection unit 50 uses the stereo parallax images generated by the stereo parallax image generation unit 30 to detect an object in the stereoscopic region As.
  • the stereo visual object detection unit 50 further applies stereo matching to the detected object to detect parallax, and, for example, applies pattern matching to determine the type of object such as a pedestrian, bicycle, vehicle, and building. Identify.
  • the left and right monocular image generation unit 60 generates images of the left and right monocular visual areas Am of the left and right converted images LIa and RIa as left and right monocular visual images.
  • the left and right monocular image generation unit 60 converts the left and right converted images LIa and RIa so that the unit length of the left and right monocular images and the unit length of the stereo parallax image along the same horizontal line represent the same distance. Projectively transform the image of the monocular visual area Am.
  • the hybrid object detection unit 70 generates one hybrid image by synthesizing the stereo parallax image generated by the stereo parallax image generation unit 30 and the left and right monocular images generated by the left and right monocular image generation unit 60, for example. . That is, the hybrid image has, for example, a stereo parallax image in the center in the horizontal direction, and monocular images on the left and right of the stereo parallax image.
  • the hybrid object detection unit 70 further detects an object based on the generated hybrid image. More specifically, for example, the hybrid object detection unit 70 detects an object from the monocular image of the hybrid image, and detects the object in the monocular image based on information such as parallax in the stereo parallax image of the hybrid image. Detect distance.
  • the hybrid object detection unit 70 identifies the type of the object detected in the monocular visual area by pattern matching, for example, similar to the stereoscopic object detection unit 50 . Further, the hybrid object detection unit 70 estimates the distance of the object in the monocular image based on, for example, the ground position of the object in the monocular image and the position information of the stereo parallax image on the same horizontal line as the ground position. do. Therefore, when a pixel shift occurs in which the position of an image is shifted in the vertical direction due to refraction of light passing through the windshield WS, a distance measurement error occurs in the monocular viewing area.
  • FIG. 3A and 3B are schematic horizontal and vertical cross-sectional views, respectively, for explaining refraction of light passing through the windshield WS and entering the right camera 10R of the stereo camera device 100.
  • FIG. FIG. 4 is a schematic diagram showing displacement of an image on the image sensor of the right camera 10R due to refraction of light transmitted through the windshield WS.
  • the object images Im1-Im4 captured without passing through the windshield WS are indicated by two-dot chain lines, and the object images Im1'-Im4' captured through the windshield WS are indicated by solid lines. ing.
  • the light rays L1-L4 incident on the windshield WS are refracted according to Snell's law.
  • the incident surface and the exit surface of the windshield WS through which the light beams L1-L4 are transmitted are parallel, the incident light beams and the exit light beams of the light beams L1-L4 are parallel. Therefore, as shown in FIG. 3A, the angle of the light beam L1 incident on the front portion of the windshield WS hardly changes even after passing through the windshield WS. Therefore, as shown in FIG.
  • the images Im1′ and Im3′ of the object captured through the windshield WS in the vicinity of the optical axis OA of the camera 10 are different from those captured without the windshield WS.
  • the horizontal displacement with respect to the object images Im1 and Im3 is small.
  • the inclination angle of the camera 10 with respect to the optical axis direction is large, and the light beam L2 incident on the windshield WS from the side of the vehicle V has a change in angle after passing through the windshield WS. become significantly larger.
  • the object images Im2' and Im4' captured through the windshield WS at a position with a wide angle of view separated from the optical axis OA of the camera 10 in the horizontal direction are captured by the windshield WS.
  • the displacement in the horizontal direction with respect to the object images Im2 and Im4 when the image is captured without passing through the object becomes relatively large.
  • the windshield WS is inclined with respect to the vertical direction, for example, so that the upper side is located on the rear side. Therefore, the light beams L3 and L4 incident on the camera 10 through the windshield WS are incident obliquely with respect to the incident surface of the windshield WS.
  • L4 has a relatively large angle change after passing through the windshield WS.
  • the change in the vertical ray angle due to the windshield WS in the horizontal center region has little dependency on the horizontal angle of view.
  • the position of the object image formed on the image sensor by the lens of the camera 10 in the absence of the windshield WS changes by imaging through the windshield WS. Therefore, as shown in FIG. 4, in the vertical direction, the object images Im1′-Im4′ picked up through the windshield WS are separated from the positions of the object images Im1-Im4 when picked up without the windshield WS. , the vertical downward displacement is relatively large.
  • the vertical displacement of this object from the original image positions Im1-Im4 to the positions of the images Im1'-Im4' is the pixel shift. Since the magnitude of this pixel shift differs depending on the position on the image sensor, it appears as image distortion.
  • the stereo camera device 100 of this embodiment estimates the distance to the object using the ground position of the object in the monocular viewing area Am. Therefore, the pixel shift in the vertical direction as described above causes a distance measurement error in the monocular viewing area Am.
  • the magnitude of pixel shift depends on the shape and inclination of the windshield WS. In particular, when the curvature of the windshield WS is large and the inclination of the windshield WS with respect to the vertical direction is large, the pixel shift is large.
  • the camera calibration method and stereo camera device 100 of the present embodiment calibrates the camera 10 so as to correct such pixel shift.
  • FIG. 5 is a flow diagram showing an embodiment of a camera calibration method according to the present disclosure.
  • the camera calibration method CM of this embodiment is a method of calibrating the camera 10 that takes an image through the windshield WS.
  • a camera calibration method CM includes a step S1 of acquiring a calibration image, a step S2 of extracting a linear portion image, and a step S3 of correcting distortion of the calibration image.
  • the camera calibration method CM can be implemented by the stereo camera device 100, for example.
  • step S1 the stereo camera device 100 captures, for example, a calibration object having a linear portion extending in one direction intersecting the optical axis OA of the camera 10 through the windshield WS with the left and right cameras 10L and 10R. Get an image.
  • the camera calibration method CM of the present embodiment can also be applied to, for example, a monocular camera.
  • FIG. 6 is a diagram showing an example of a calibration object in step S1 of acquiring a calibration image.
  • 7A is a front view of the calibration object shown in FIG. 6.
  • FIG. 7B is an image diagram of the camera 10 before calibration photographing the calibration object shown in FIG. 7A through the windshield WS.
  • the pixel shift is shown in an enlarged manner.
  • the calibration object photographed through the windshield WS by the camera 10 of the stereo camera device 100 is, for example, a calibration chart 200 having a striped calibration pattern 210 .
  • a calibration chart 200 is used, for example, when the camera calibration method CM of the present embodiment is carried out at a vehicle V manufacturing plant, a vehicle V maintenance plant, or a stereo camera device 100 manufacturing plant. be able to.
  • the striped calibration pattern 210 of the calibration chart 200 is, for example, a pattern in which strip-shaped dark-colored portions 211 and strip-shaped light-colored portions 212 extending along the horizontal direction are arranged alternately in the vertical direction.
  • the dark color portion 211 is, for example, black
  • the light color portion 212 is, for example, white. Note that the colors of the dark color portion 211 and the light color portion 212 are not particularly limited as long as edge detection, which will be described later, is possible.
  • a calibration chart 200 as a calibration object photographed through the windshield WS by the camera 10 has a linear portion 213 extending in one direction intersecting the optical axis OA of the camera 10. are doing.
  • This linear portion 213 is, for example, the boundary line between the dark color portion 211 and the light color portion 212 of the striped calibration pattern 210 drawn on the calibration chart 200, and extends in the horizontal direction orthogonal to the optical axis OA of the camera 10. extended.
  • the calibration image Im200 which is the image of the calibration chart 200, extends from one end to the other end in one direction intersecting the optical axis OA of the camera 10, and the linear portion 213
  • the calibration chart 200 is photographed so as to include the linear portion image Im213, which is the image of .
  • the calibration chart 200 is photographed so that the calibration image Im200 includes the linear portion image Im213 from one end to the other end in the horizontal direction orthogonal to the optical axis OA of the camera 10. do.
  • the pixel shift in the vertical direction is greater at positions with a wider angle of view in the horizontal direction and further away from the central portion where the optical axis OA of the camera 10 is located. It's becoming This is because the angle of incidence of light on the windshield WS increases as the angle of view in the horizontal direction increases.
  • the calibration chart 200 is photographed. More specifically, the calibration chart 200 is installed on the body of the vehicle V, such as the bonnet, in front of the windshield WS of the vehicle V, for example. That is, the calibration chart 200 is arranged between the front end of the vehicle V and the windshield WS in the longitudinal direction of the vehicle V, for example.
  • the stereo camera device 100 carries out step S2 of extracting straight line portion images.
  • the stereo camera device 100 extracts a linear portion image Im213, which is an image of the linear portion 213, from the calibration image Im200.
  • the resolution of the camera 10 is lowered, and the dark color portion of the calibration pattern 210 is displayed.
  • the edge that is the boundary between 211 and the light color portion 212 tends to be unclear.
  • the stereo camera device 100 of the present embodiment detects edges between the dark color portion 211 and the light color portion 212 by, for example, the following method.
  • the intensity change of the signal in the change from the dark color portion 211 to the light color portion 212 or from the light color portion 212 to the dark color portion 211 of the calibration pattern 210 is detected.
  • the position in the vertical direction of the pixel where the signal having half the intensity of the intensity change of the signal is detected is specified, and the edge that is the boundary between the dark color portion 211 and the light color portion 212 is detected based on the position. do.
  • FIG. 8 is a diagram showing an example of the linear portion image Im213 extracted in step S2.
  • Stereo camera device 100 detects, for example, the edge that is the boundary between dark color portion 211 and light color portion 212 as described above, and, as shown in FIG. to extract
  • the stereo camera device 100 executes step S3 of correcting the calibration image, as shown in FIG.
  • step S3 the stereo camera device 100 captures a virtual linear portion image assumed when the linear portion 213 is captured by the camera 10 without passing through the windshield WS, and the linear portion image Im213 obtained in step S1.
  • the distortion of the calibration image Im200 is corrected based on and.
  • the step S3 of correcting the calibration image includes, for example, a step S31 of creating a pixel shift correction table, a step S32 of creating a lens pupil misalignment correction table, a step S33 of correcting distortion of the calibration image, including.
  • the stereo camera device 100 for example, first corrects the inclination of the linear portion image Im213, and then calculates the vertical pixel shift amount of the linear portion image Im213. to create a pixel shift correction table.
  • FIGS. 9A and 9B are diagrams showing examples of the inclination of the calibration chart 200 when installed.
  • the linear portion 213, which is the boundary between the dark color portion 211 and the light color portion 212 of the stripe calibration pattern 210 is horizontal
  • the display surface on which the calibration pattern 210 is displayed is the optical axis of the camera 10. placed perpendicular to the
  • the tilt due to rotation about the normal line of the display surface of the calibration chart 200 shown in FIG. A tilt may occur due to the rotation of . Due to such a tilt of the calibration chart 200, the linear portion image Im213 extracted in the previous step S2 may be tilted.
  • FIG. 10 is a graph showing the inclination of the linear portion image Im213 extracted in the previous step S2.
  • the x-axis is the horizontal pixel position and the y-axis is the vertical displacement of the pixel.
  • one linear portion image Im213 out of the plurality of linear portion images Im213 shown in FIG. 8 is vertically flipped and enlarged.
  • the influence of light refraction by the windshield WS is small. Therefore, in the step of correcting the inclination of the linear portion image Im213, an approximate straight line La of the linear portion image Im213 in the pixel range Rp near the position where the horizontal angle of view is 0° is obtained, and the inclination of the approximate straight line La is set to zero. , and corrects the inclination of the linear portion image Im213.
  • the pixel range Rp can be set to the number of pixels corresponding to a horizontal angle of view of ⁇ 10° to ⁇ 20°, for example.
  • the stereo camera device 100 corrects the inclination of the linear portion image Im213 as described above for all the linear portion images Im213 extracted in the previous step S2. As a result, even if the display surface of the calibration chart 200 is tilted as shown in FIGS. 9A and 9B, the plurality of linear portion images Im213 extracted in the previous step S2 can be corrected so as not to be tilted. .
  • the stereo camera device 100 creates a pixel shift correction table, for example, based on the amount of vertical pixel displacement of the pixels of each linear portion image Im213 arranged in the vertical direction after tilt correction.
  • the vertical pixel displacement amount of the pixels of each linear portion image Im213 is, for example, the vertical displacement of the pixels of the virtual linear portion image, which is the image of the linear portion 213 when the windshield WS is not passed through. This is the amount of pixel displacement.
  • the pixel shift correction table for example, horizontal pixels, vertical pixels, and pixel displacement amounts are set on the X-axis, Y-axis, and Z-axis, respectively.
  • the stereo camera device 100 performs step S32 of creating a pupil misalignment correction table, for example.
  • FIG. 11 is a schematic vertical sectional view showing pupil deviation of a wide-angle lens.
  • a wide-angle lens the position of the pupil changes depending on the angle of view.
  • light rays B1-B4 incident on the lens 11 of the camera 10 are imaged on the image sensor 12 of the camera 10.
  • the wide-field-angle ray B4 intersects the surface 11a at a distance d from the origin.
  • this distance d is referred to as the amount of pupil deviation.
  • the amount of pupil deviation varies depending on the angle of view of light incident on the lens 11, the design of the lens 11, and the like.
  • FIG. 12 is a schematic vertical cross-sectional view for explaining the effect of pupil misalignment of the lens 11 of the camera 10.
  • FIG. When the camera 10 detects the linear portion 213 from the calibration pattern 210 of the calibration chart 200 which is separated from the surface 11a by the distance D1, the vertical angle of view of the wide angle of view is obtained unless the pupil shift of the lens 11 is considered.
  • the vertical angle of view of the light ray B4 incident at .theta.1 is the angle .theta.1.
  • the lens 11 is a wide-angle lens, pupil misalignment occurs, so it is necessary to detect the vertical angle of view of the light ray B4 as the angle ⁇ 2 in consideration of the pupil misalignment.
  • the stereo camera device 100 uses, for example, the design values of the lens 11 of the camera 10 recorded in advance in the memory in step S32 of creating the pupil misalignment correction table. More specifically, the stereo camera device 100 obtains the angle ⁇ 2 from the distance D1 and the amount of pupil misalignment, calculates the pixel position on the image sensor based on the projection of the lens, and calculates the pupil misalignment for the calculated pixel position. A pixel displacement amount with respect to a pixel position on the image sensor when is not taken into consideration is obtained.
  • the stereo camera device 100 creates a correction table for the amount of pixel displacement due to pupil misalignment by performing the above processing for all directions (angles of view) in the vertical and horizontal directions.
  • the X-axis, Y-axis, and Z-axis of this correction table are horizontal pixels, vertical pixels, and pixel displacement amounts, respectively.
  • the camera calibration method CM and the stereo camera device 100 of the present embodiment use the design values of the lens 11 to perform step S32 of creating a correction table for pupil misalignment of the lens 11 of the camera 10 .
  • the stereo camera device 100 performs step S33 of correcting the distortion of the calibration image.
  • step S33 the stereo camera device 100 corrects the distortion of the calibration image Im200 acquired in step S1 based on the pixel shift correction table created in the previous steps S31 and S32 and the pupil misalignment correction table. Derive the corrected derivative for
  • the stereo camera device 100 creates a distortion correction table by, for example, adding or subtracting the pixel displacement amount of the pixel shift correction table and the pixel displacement amount of the pupil misalignment correction table. Furthermore, the stereo camera device 100 calculates, for example, a correction derivative for correcting the pixel displacement amount for each pixel in the created distortion correction table. The stereo camera device 100 then applies the calculated correction derivative to the image captured by the camera 10 to calibrate the camera 10 .
  • the camera calibration method CM of this embodiment is a calibration method for the camera 10 that captures an image through the windshield WS.
  • the camera calibration method CM acquires a calibration image by photographing a calibration object having a linear portion 213 extending in one direction intersecting the optical axis OA of the camera 10 through the windshield WS with the camera 10 (step S1 )including.
  • the camera calibration method CM also includes extracting a linear portion image Im213 corresponding to the linear portion 213 from the calibration image (step S2).
  • the camera calibration method CM is used to generate a calibration image based on a virtual linear portion image assumed when the linear portion 213 is captured by the camera 10 without passing through the windshield WS and the linear portion image Im213. and compensating for distortion (step S3).
  • the linear portion 213 extending in one direction intersecting the optical axis OA of the camera 10 A partial image Im213 can be extracted.
  • the linear portion image Im213 includes displacement of pixels in the vertical direction due to refraction of light transmitted through the windshield WS, which is conspicuous in the camera 10 with a wide angle of view, that is, pixel shift.
  • the virtual linear portion image to be compared with the linear portion image Im213 photographed through the windshield WS can be obtained by, for example, , can be easily generated as straight rectilinear images. Therefore, according to the camera calibration method CM of the present embodiment, it is possible to easily calibrate the wide-angle camera 10 that captures images through the windshield WS by correcting the pixel shift due to the influence of the windshield WS. can.
  • acquiring the calibration image means that the calibration image Im200 is a straight line from one end to the other end in one direction intersecting the optical axis OA of the camera 10.
  • both horizontal and vertical ends of the windshield WS where the pixel shift is conspicuous in the camera 10 with a wide angle of view can be corrected. Pixel shift of an image due to transmitted light can be corrected more reliably.
  • correcting the distortion of the calibration image means that the straight portion image Im213 in the predetermined range (pixel range Rp) of the calibration image Correcting the tilt of the linear portion image Im213 based on the tilt with respect to the direction (step S31).
  • the inclination of the linear portion image Im213 due to the installation error of the calibration chart 200 as the calibration object as shown in FIGS. 9A and 9B is corrected.
  • pixel shifts can be corrected more accurately.
  • step S1 acquiring the calibration image (step S1) is performed at a position in front of the windshield WS in the optical axis OA direction of the camera 10 and above the vehicle V in the vertical direction. This includes photographing the calibration chart 200 as the arranged calibration object.
  • FIG. 13 shows the relationship between the horizontal length of the calibration chart 200 required for calibrating the camera 10 and the distance from the camera 10 to the calibration chart 200 when the horizontal angle of view of the camera 10 is 40°. and 150°.
  • the horizontal angle of view of the camera 10 is widened, for example, from about 110° to 150°.
  • the horizontal length required for the calibration chart installed 5m away from the camera is about 3.6m.
  • the horizontal angle of view of the camera 10 of the stereo camera device 100 of the present embodiment is 150° and the calibration chart 200 is installed at a position 5 m away from the camera, the calibration chart necessary for calibrating the camera 10
  • the horizontal length of chart 200 becomes very large. Therefore, it may be difficult to install the calibration chart 200 in a manufacturing factory or a maintenance factory.
  • the step S1 of acquiring the calibration image for example, the vehicle in front of the windshield WS in the optical axis OA direction of the camera 10 and in the vertical direction.
  • a calibration chart 200 as a calibration object placed above V is photographed.
  • the distance between the camera 10 and the calibration chart 200 can be shortened, and the calibration chart 200 can be placed within 1 m from the camera 10, for example.
  • the horizontal length of the calibration chart 200 required for calibrating the wide-angle camera 10 with a horizontal angle of view of 150° is set 5 m in front of the camera with a horizontal angle of view of 40° can be as long as the length of the calibration chart required for Therefore, the calibration chart 200 used for calibrating the camera 10 with a wide angle of view can be easily installed in the manufacturing factory or maintenance shop.
  • correcting the distortion of the calibration image is, for example, correcting the distortion caused by the lens characteristics of the camera 10, such as pupil misalignment of the lens 11 (step S32).
  • the stereo camera device 100 of the present embodiment includes left and right cameras 10L and 10R that capture images through the windshield WS, and functions as an acquisition unit, an extraction unit, and a correction unit as described below. , a stereo parallax image generation unit 30 , a road cross-sectional shape estimation unit 40 , a stereo visual object detection unit 50 , a left and right monocular image generation unit 60 , or a hybrid object detection unit 70 .
  • the acquisition unit acquires a calibration image Im200 by photographing a calibration object having a linear portion 213 extending in one direction intersecting the optical axis OA of the camera 10 through the windshield WS with the camera 10 .
  • the extraction unit extracts a linear portion image Im213 corresponding to the linear portion 213 from the linear portion image Im213.
  • the correction unit corrects the distortion of the calibration image Im200 based on the imaginary linear portion image Im213 and the linear portion image Im213 assumed when the linear portion 213 is photographed by the camera 10 without passing through the windshield WS. .
  • the above-described camera calibration method CM can be implemented, and the same effects as the camera calibration method CM can be obtained.
  • a camera calibration method CM and a stereo camera device 100 that can easily calibrate a wide-angle camera 10 that captures images through the windshield WS are provided. be able to.
  • FIG. 14 is a schematic side view showing Embodiment 2 of the camera calibration method of the present disclosure.
  • the calibration object includes the wire or bar 214, and the step S1 of acquiring the calibration image is performed relative to the camera 10 and the wire or bar 214 as the calibration object.
  • Other points of the camera calibration method CM of this embodiment are the same as those of the camera calibration method CM of the above-described embodiment, so that the same parts are denoted by the same reference numerals and the description thereof is omitted.
  • the camera calibration method CM of the present embodiment can be implemented, for example, in a vehicle V manufacturing line. Various parts including the stereo camera device 100 are attached to the vehicle V while moving rightward in FIG. 14, for example. When the attachment of the stereo camera device 100 to the vehicle V is completed, the camera calibration method CM of the present embodiment is performed. In the camera calibration method CM of the present embodiment, the wire or bar 214 and the calibration chart 200 for the stereoscopic viewing area As of the left and right cameras 10L and 10R are used as the calibration objects in the step S1 of acquiring the calibration images. be done.
  • the wire or bar 214 is, for example, supported at both ends so as to be parallel in the horizontal direction, is arranged above the production line of the vehicle V, and is provided so as to be vertically movable by a lifting mechanism (not shown).
  • the calibration chart 200 has, for example, an arbitrary calibration pattern generally used for calibration of a stereo camera, and is provided so as to be vertically movable by a lifting mechanism (not shown), similar to the wire or bar 214. .
  • the wire or bar 214 extends, for example, in a horizontal direction that intersects the optical axis OA of the camera 10, thereby forming itself a straight portion. Also, the wire or bar 214 has, for example, an outline or profile extending in one direction intersecting the optical axis OA of the camera 10 as a linear portion. Strictly speaking, the wire or bar 214 may be bent downward at its center portion due to gravity. Can be used as an object.
  • the lifting mechanism operates to lower the wire or bar 214 in front of the stereo camera device 100. do.
  • the stereo camera device 100 continuously photographs the descending wire or bar 214 with the camera 10 a plurality of times in step S1 of acquiring images for calibration.
  • Stereo camera device 100 synthesizes a plurality of images of this wire or bar 214 to obtain a calibration image.
  • the stereo camera device 100 performs step S2 of extracting a linear portion image corresponding to the linear portion from the calibration image, as in the first embodiment described above.
  • step S2 a linear portion image similar to the linear portion image Im213 shown in FIG. 8 of the first embodiment is extracted.
  • the stereo camera device 100 captures a virtual linear portion image assumed when the linear portion of the wire or bar 214 is photographed by the camera 10 without passing through the windshield WS, A step S3 of correcting the distortion of the calibration image based on the linear portion image extracted in step S2 is performed.
  • the camera calibration method CM and the stereo camera device 100 of the present embodiment can achieve the same effects as the camera calibration method CM and the stereo camera device 100 of the first embodiment. Furthermore, when the wire or bar 214 has finished descending to a predetermined position, the calibration chart 200 is lowered to a predetermined position in front of the calibration chart 200 by the lifting device.
  • the calibration chart 200 of the present embodiment is photographed to calibrate the camera 10 using the image of the stereoscopic viewing area As of the camera 10 . Therefore, the horizontal length of the calibration chart 200 of the present embodiment is about the same as the horizontal length of a calibration chart used for calibrating a normal stereo camera that does not use a wide-angle camera. be.
  • the stereo camera device 100 calibrates the stereo viewing areas As of the left and right cameras 10L and 10R by photographing the calibration chart 200 through the windshield WS with the left and right cameras 10L and 10R.
  • the vehicle V passes under the wire or bar 214 and the calibration chart 200 and is sent to the next process of the production line.
  • the camera calibration method CM of the present embodiment it is possible to calibrate the camera 10 of the stereo camera device 100 in the production line of the vehicle V without lowering the efficiency of the production line. .
  • the camera calibration method CM of the present embodiment by photographing the wire or bar 214, the monocular visual regions of the left and right cameras 10L and 10R are corrected similarly to the camera calibration method CM of the first embodiment described above. Am can be calibrated.
  • the camera calibration method CM of the present embodiment after the calibration of the monocular visual field Am of the left and right cameras 10L and 10R is completed, the calibration chart 200 is captured by the left and right cameras 10L and 10R. , the calibration of the stereoscopic viewing areas As of the left and right cameras 10L, 10R can also be carried out continuously. As a result, the left and right cameras 10L and 10R of the stereo camera device 100 can be calibrated efficiently.
  • a camera calibration method CM and a stereo camera device 100 that can easily calibrate a wide-angle camera 10 that captures images through the windshield WS are provided. be able to.
  • FIG. 15 is a perspective view showing an example of a calibration object in Embodiment 3 of the camera calibration method according to the present disclosure.
  • the calibration object photographed through the windshield WS by the camera 10 in the step S1 of acquiring the calibration image is the building BLD. It is different from Method CM.
  • Other points of the camera calibration method CM of the present embodiment are the same as those of the camera calibration method CM of the above-described Embodiment 1, so that the same parts are denoted by the same reference numerals and the description thereof is omitted.
  • the stereo camera device 100 has a linear portion 213 extending in one direction that intersects the stereoscopic viewing area As of the camera 10 through the windshield WS by the camera 10 when the step S1 of acquiring the calibration image is started.
  • the building BLD is, for example, a factory having a horizontally extending window frame as a straight portion 213 .
  • the building BLD is not particularly limited as long as it has the linear portion 213, and may be an office building, a shopping mall, or the like.
  • the stereo camera device 100 extracts the linear portion image Im213 corresponding to the linear portion from the calibration image obtained by photographing the building BLD having the linear portion 213 in the same manner as in the first embodiment described above (step S2). to implement. Further, as in the first embodiment, the stereo camera device 100 has a virtual linear portion image and a linear portion image Im213 assumed when the linear portion 213 is captured by the camera 10 without passing through the windshield WS. A step S3 of correcting the distortion of the calibration image is performed based on and.
  • the camera calibration method CM of the present embodiment not only can the same effect as the camera calibration method CM of the first embodiment described above be obtained, but the calibration chart 200 is not required, so that the production line can be modified. can be implemented without
  • the camera calibration method CM of the present embodiment is also capable of correcting image shifts due to changes in the stereo camera device 100 over time and changes in temperature.
  • FIG. 16A is a front view of the first calibration chart 200 in Embodiment 4 of the camera calibration method of the present disclosure.
  • FIG. 16B is an image diagram of the camera 10 that captured the first calibration chart shown in FIG. 16A.
  • FIG. 17 is a front view of the second calibration chart 300 in the camera calibration method CM of this embodiment.
  • the camera calibration method CM of the present embodiment detects and calibrates horizontal pixel shifts due to refraction of light passing through the windshield WS. Moreover, in the present embodiment, the stereo camera device 100 does not have the monocular viewing area Am shown in FIG. ing. Further, the stereo camera device 100 does not have the left and right monocular image generation section 60 and the hybrid object detection section 70 shown in FIG. 2, for example.
  • the first calibration chart 200 is a calibration chart 200 having a striped calibration pattern 210, like the calibration chart 200 of the first embodiment.
  • the striped calibration pattern 210 of the calibration chart 200 is, for example, a pattern in which strip-shaped dark-colored portions 211 and strip-shaped light-colored portions 212 extending along the vertical direction are alternately arranged in the horizontal direction.
  • the calibration chart 200 has a linear portion 213 extending in one direction intersecting the optical axis OA of the camera 10 . This linear portion 213 is, for example, the boundary line between the dark color portion 211 and the light color portion 212 of the striped calibration pattern 210 drawn on the calibration chart 200, and extends in the vertical direction perpendicular to the optical axis OA of the camera 10. extended.
  • the step S1 of acquiring the calibration image the calibration image Im200 of the calibration chart 200 captured by the camera 10 through the windshield WS is, as shown in FIG. , the horizontal pixel shift increases. Therefore, in this modified example, as in the first embodiment described above, by performing the step S2 of extracting the linear portion image Im213 and the step S3 of correcting the distortion of the calibration image Im200, the pixel shift in the horizontal direction is performed. can be corrected, and the same effects as in the first embodiment can be obtained.
  • the stereo camera device 100 uses the second calibration chart 300 shown in FIG. 17 to calibrate the absolute value of the parallax of the stereo viewing areas As of the left and right cameras 10L and 10R.
  • the stereo camera device 100 photographs the calibration chart 300 arranged at a predetermined distance from the left and right cameras 10L and 10R.
  • the distance between the left and right cameras 10L, 10R and the calibration chart 300 is changed.
  • the stereo camera device 100 photographs the calibration chart 300 .
  • the calibration chart 300 has a horizontal dimension larger than a vertical dimension, and the calibration chart 300 is photographed over the entire stereoscopic viewing area As.
  • the stereo camera device 100 detects distortion based on the change in the position of the center of gravity of the calibration pattern 301 of the calibration chart 300 photographed at different distances and the amount of change in the distance, and uses the detected distortion to , the cameras 10L and 10R are calibrated.
  • the first calibration chart 200 is used to correct the relative horizontal pixel shift of the linear portion image Im213, and the second calibration chart 300 is used to determine the absolute value of the distortion.
  • the entire field of view can be calibrated.
  • a building BLD having a vertical linear portion 213, or a vertically arranged wire or bar 214 may be used.
  • the calibration object used in the step S1 of acquiring the calibration image instead of the striped calibration pattern 210 of the calibration chart 200 shown in FIG. chart 200 may be used.
  • a straight line corresponding to the linear portion 213 may be projected onto a wall surface of a building, a screen, or the like by a projector.
  • a plurality of horizontally extending wires or bars 214 may be installed at regular intervals in the vertical direction.
  • a calibration chart 200 with a check pattern as shown in FIG. 18 may be used as the calibration object used in the step S1 of acquiring the calibration image.
  • the linear portion 213 that crosses the entire calibration chart 200 can be extracted.
  • the conventional camera calibration method using a check pattern calibration chart for example, four sections are arranged in which dark color portions 211 are arranged in the upper left and lower right, and light color portions 212 are arranged in the upper right and lower left. Find the point CP in the center of . Therefore, if the calibration chart 200 is brought close to the lens 11, the resolution may be lowered, causing variation in detection of the center points CP of the four sections, which may cause an error in calibration.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示は、ウィンドシールドを通して画像を撮影する高画角のカメラの校正を容易に行うことが可能な画像校正方法を提供する。カメラによりウィンドシールドを通してカメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する（工程Ｓ１）。校正用画像から直線状部に対応する直線状部画像を抽出する（工程Ｓ２）。カメラによりウィンドシールドを通さずに直線状部を撮影した場合に想定される仮想直線状部画像と直線状部画像とに基づいて校正用画像の歪を補正する（工程Ｓ３）。

Description

カメラの校正方法およびステレオカメラ装置
　本開示は、カメラの校正方法およびステレオカメラ装置に関する。
　従来から、第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法に関する発明が知られている。たとえば、下記特許文献１に記載されたステレオカメラの校正方法は、第１カメラにより撮影される画像および第２カメラにより撮影される画像の少なくとも一方の、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを校正する補正パラメータを算出するステップを含む。
　また、この従来の校正方法は、ステレオカメラにより校正用具を撮影して第１カメラによる第１撮影画像と第２カメラによる第２撮影画像とを取得し、第１撮影画像と第２撮影画像に基づいて、第１撮影画像の被写体の像と第２撮影画像の被写体の像との視差のずれを示す相対位置ずれを校正する補正パラメータを算出するステップを含む。さらに、この従来の校正方法は、絶対位置ずれを校正する補正パラメータおよび相対位置ずれを校正する補正パラメータに基づいた補正パラメータを、ステレオカメラに記憶させるステップを含む（特許文献１、請求項１等）。
特開２０１９－１３２８５５号公報
　上記従来のステレオカメラの校正方法では、ステレオカメラにより校正用具を撮影して、相対位置ずれと絶対位置ずれを校正する。そのため、この従来の校正方法では、ステレオカメラが広画角化すると、校正用具が大型化して、ステレオカメラの校正が困難になるおそれがある。
　本開示は、ウィンドシールドを通して画像を撮影する広画角のカメラの校正を容易に行うことが可能なカメラの校正方法およびステレオカメラ装置を提供する。
　本開示の一態様は、ウィンドシールドを通して画像を撮影するカメラの校正方法であって、前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得することと、前記校正用画像から前記直線状部に対応する直線状部画像を抽出することと、前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正することとを含む、カメラの校正方法である。
　本開示の上記一態様によれば、ウィンドシールドを通して画像を撮影する広画角のカメラの校正を容易に行うことが可能な画像校正方法を提供することができる。
本開示に係るステレオカメラ装置の実施形態を示す平面図および画像図。 図１のステレオカメラ装置の構成の一例を示すブロック図。 ウィンドシールドを透過した光の屈折を説明する模式的な水平断面図。 ウィンドシールドを透過した光の屈折を説明する模式的な垂直断面図。 図３Ａ、図３Ｂの光の屈折による画像センサの像の変位を説明する模式図。 本開示に係るカメラの校正方法の実施形態を示すフロー図。 図５の校正用画像を取得する工程における校正用物体の一例を示す図。 図６に示す校正用物体としての校正用チャートの正面図。 図７Ａに示す校正用チャートを撮影したカメラの画像図。 図５の直線状部画像を抽出する工程の抽出結果の一例を示す画像図。 校正用チャートの設置時の傾きの例を示す図。 校正用チャートの設置時の傾きの例を示す図。 校正用チャートの設置時の傾きによる直線状部画像の傾き示すグラフ。 広角レンズの瞳ずれを示す模式的な垂直断面図。 カメラのレンズの瞳ずれの影響を説明する模式的な垂直断面図。 校正用チャートの水平方向の長さと設置距離との関係を示すグラフ。 本開示のカメラの校正方法の実施形態２を示す模式的な側面図。 本開示のカメラの校正方法の実施形態３における校正用物体の斜視図。 本開示のカメラの校正方法の実施形態４の校正用チャートの正面図。 図１６Ａに示す校正用チャートを撮影したカメラの画像図。 本開示のカメラの校正方法の実施形態４の第２の校正用チャートの正面図。 図７Ａに示す校正用チャートの変形例を示す正面図。
　以下、図面を参照して本開示に係るカメラの校正方法およびステレオカメラ装置の実施形態を説明する。
［実施形態１］
　図１は、本開示に係るステレオカメラ装置の実施形態１を示す平面図および画像図である。図２は、図１のステレオカメラ装置１００の構成の一例を示すブロック図である。
　図１に示すように、本実施形態のステレオカメラ装置１００は、たとえば、自動車などの車両Ｖに搭載され、車両ＶのウィンドシールドＷＳを通して、車両Ｖの周囲の物体とその物体までの距離などを含む外界情報を検出し、必要に応じて警告を生成する。ステレオカメラ装置１００によって検出された外界情報や生成された警告は、たとえば、図示を省略する車両制御装置による車両Ｖの自動運転や高度運転支援に使用される。
　図２に示すように、ステレオカメラ装置１００は、車両ＶのウィンドシールドＷＳを通して画像ＬＩ，ＲＩを撮影する左右のカメラ１０Ｌ，１０Ｒを備えている。各々のカメラ１０は、たとえば、図示を省略するレンズと、画像センサとを備え、車両Ｖの周囲の物体の画像を、画像センサによってレンズを介して撮像または取得する。各々のカメラ１０は、たとえば、水平画角が１１０°から１５０°程度の広画角のカメラである。
　図１に示すように、左右のカメラ１０Ｌ，１０Ｒによるステレオカメラ装置１００の撮像領域Ａは、たとえば、中央部のステレオ視領域Ａｓと、そのステレオ視領域Ａｓの左右の単眼視領域Ａｍとを含む。中央部のステレオ視領域Ａｓは、左右のカメラ１０Ｌ，１０Ｒの撮像領域ＡＬ，ＡＲが重複している領域である。ステレオ視領域Ａｓの左側の単眼視領域Ａｍは、左側のカメラ１０Ｌの撮像領域ＡＬであり、右側のカメラ１０Ｒの撮像領域ＡＲの外側の領域である。ステレオ視領域Ａｓの右側の単眼視領域Ａｍは、右側のカメラ１０Ｒの撮像領域ＡＲであり、左側のカメラ１０Ｌの撮像領域ＡＬの外側の領域である。
　また、ステレオカメラ装置１００は、たとえば、図２に示すように、画像処理部２０と、ステレオ視差画像生成部３０と、路面断面形状推定部４０と、ステレオ視物体検知部５０と、左右単眼画像生成部６０と、ハイブリッド物体検知部７０と、警報制御部８０と、を有している。これらステレオカメラ装置１００の各部は、たとえば、中央処理装置（ＣＰＵ）と、ＲＯＭやＲＡＭなどのメモリと、タイマと、入出力部と、メモリに記録されたプログラムとを備えた一つ以上のマイクロコントローラによって構成することができる。
　画像処理部２０は、左右のカメラ１０Ｌ，１０Ｒからそれぞれ画像ＬＩ，ＲＩを取得して画像処理を施し、画像処理によって生成された画像データをステレオ視差画像生成部３０と左右単眼画像生成部６０へ出力する。画像処理部２０は、たとえば、図２に示すように、左右のカメラ１０Ｌ，１０Ｒのそれぞれに対して、アフィン処理部２１と、輝度補正部２２と、画素補間部２３と、輝度情報生成部２４と、を有している。これら画像処理部２０の各部は、たとえば、ＣＰＵによってメモリに記録されたプログラムを実行することで実現される機能を表している。
　左右のアフィン処理部２１Ｌ，２１Ｒは、それぞれ、左側のカメラ１０Ｌの画像ＬＩと右側のカメラ１０Ｒの画像ＲＩとをアフィン変換した変換画像ＬＩａ，ＲＩａを生成する。また、左右のカメラ１０Ｌ，１０Ｒが魚眼レンズまたは広画角レンズを搭載している場合、各々のアフィン処理部２１は、たとえば、焦点距離ｆ、半画角θの正射影方式のレンズの像高ｙ＝ｆ・ｓｉｎθを、（ｆ・ｔａｎθｘ，ｆ・ｔａｎθｙ）の座標系へ射影変換した変換画像ＬＩａ，ＲＩａを生成する。なお、θｘとθｙは、レンズに入射する光の水平と垂直に対する角度成分を示している。
　さらに、左右のアフィン処理部２１Ｌ，２１Ｒは、たとえば、ウィンドシールドＷＳを透過する光の屈折による垂直方向の画素の変位である画素シフトを補正した変換画像ＬＩａ，ＲＩａを生成する。すなわち、各々のアフィン処理部２１は、たとえば、画素シフトを補正する画素シフト補正部として機能する。
　左右の輝度補正部２２Ｌ，２２Ｒは、それぞれ、左側のカメラ１０Ｌの画像ＬＩの変換画像ＬＩａの各画素の輝度と、右側のカメラ１０Ｒの画像ＲＩの変換画像ＲＩａの各画素の輝度を補正する。各々の輝度補正部２２は、たとえば、変換画像ＬＩａ，ＲＩａの各画素のゲインの違いなどに基づいて、各画素の輝度を補正する。
　左右の画素補間部２３Ｌ，２３Ｒは、それぞれ、輝度が補正された変換画像ＬＩａ，ＲＩａに対して、たとえば、デモザイキング処理を行って、変換画像ＬＩａ，ＲＩａをＲＡＷ画像からカラー画像へ変換する。左右の輝度情報生成部２４Ｌ，２４Ｒは、それぞれ、カラー画像へ変換された変換画像ＬＩａ，ＲＩａの輝度情報を生成する。より具体的には、各々の輝度情報生成部２４は、変換画像ＬＩａ，ＲＩａのカラー画像の情報から、視差画像を生成するための輝度情報を生成する。
　ステレオ視差画像生成部３０は、画像処理部２０から入力された変換画像ＬＩａ，ＲＩａのうち、ステレオ視領域Ａｓの画像を利用して、ステレオ視領域Ａｓのステレオ視差画像を生成する。ステレオ視差画像生成部３０は、たとえば、露光調整部３１と、感度補正部３２と、幾何補正部３３と、マッチング部３４と、ノイズ除去部３５と、画素シフト量演算部３６と、補正関数導出部３７と、を有している。これらステレオ視差画像生成部３０の各部は、たとえば、ＣＰＵによってメモリに記録されたプログラムを実行することで実現される機能を表している。
　露光調整部３１と感度補正部３２は、それぞれ、左右のカメラ１０Ｌ，１０Ｒの露光量と感度を、左右のカメラ１０Ｌ，１０Ｒにフィードバックすることで、フィードバック制御を行うことができる。幾何補正部３３、マッチング部３４、およびノイズ除去部３５は、それぞれ、左右の変換画像ＬＩａ，ＲＩａの幾何補正、マッチング処理、およびノイズ除去を行う。画素シフト量演算部３６と補正関数導出部３７は、それぞれ、左右の変換画像ＬＩａ，ＲＩａの画素シフト量の演算と、後述する補正関数の導出を行う。すなわち、画素シフト量演算部３６と補正関数導出部３７は、たとえば、アフィン処理部２１とともに、画素シフト補正部を構成する。
　路面断面形状推定部４０は、たとえば、ステレオカメラ装置１００の左右のカメラ１０Ｌ，１０Ｒの光軸方向の前方の、車両Ｖがこれから走行する路面の断面形状を推定する。この路面断面形状推定部４０による路面の断面形状の推定は、たとえば、公知の方法によって行うことができる。
　ステレオ視物体検知部５０は、ステレオ視差画像生成部３０で生成されたステレオ視差画像を用いて、ステレオ視領域Ａｓにおける物体の検知を行う。ステレオ視物体検知部５０は、さらに検知した物体に対してステレオマッチングを適用して視差を検出するとともに、たとえば、パターンマッチングを適用して歩行者、自転車、車両、建造物などの物体の種別を特定する。
　左右単眼画像生成部６０は、左右の変換画像ＬＩａ，ＲＩａの左右の単眼視領域Ａｍの画像を、左右の単眼視画像として生成する。左右単眼画像生成部６０は、たとえば、同一の水平線に沿った左右の単眼視画像の単位長さとステレオ視差画像の単位長さとが等しい距離を表すように、左右の変換画像ＬＩａ，ＲＩａにおける左右の単眼視領域Ａｍの画像を射影変換する。
　ハイブリッド物体検知部７０は、たとえば、ステレオ視差画像生成部３０で生成されたステレオ視差画像と、左右単眼画像生成部６０で生成された左右の単眼視画像とを合成した一つのハイブリッド画像を生成する。すなわち、ハイブリッド画像は、たとえば、水平方向の中央部にステレオ視差画像を有し、そのステレオ視差画像の左右に単眼視画像を有している。
　ハイブリッド物体検知部７０は、さらに、生成したハイブリッド画像に基づいて物体を検知する。より具体的には、ハイブリッド物体検知部７０は、たとえば、ハイブリッド画像の単眼視画像から物体を検出するとともに、ハイブリッド画像のステレオ視差画像における視差等の情報に基づいて、単眼視画像の物体までの距離を検出する。
　より具体的には、ハイブリッド物体検知部７０は、たとえば、ステレオ視物体検知部５０と同様に、パターンマッチングによって、単眼視領域で検出した物体の種別を特定する。また、ハイブリッド物体検知部７０は、たとえば、単眼視画像における物体の接地位置と、その接地位置と同一の水平線上のステレオ視差画像による位置情報とに基づいて、単眼視画像における物体の距離を推定する。そのため、ウィンドシールドＷＳを透過する光の屈折によって画像の位置が垂直方向にずれる画素シフトが発生すると、単眼視領域における距離の測定誤差が発生する。
　図３Ａおよび図３Ｂは、それぞれ、ウィンドシールドＷＳを透過してステレオカメラ装置１００の右側のカメラ１０Ｒに入射する光の屈折を説明する模式的な水平断面図と垂直断面図である。図４は、ウィンドシールドＷＳを透過した光の屈折による右側のカメラ１０Ｒの画像センサ上の像の変位を示す模式図である。なお、図４では、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１－Ｉｍ４を二点鎖線で示し、ウィンドシールドＷＳを通して撮像した場合の物体の像Ｉｍ１’－Ｉｍ４’を実線で示している。
　図３Ａおよび図３Ｂに示すように、ウィンドシールドＷＳに入射した光線Ｌ１－Ｌ４は、スネルの法則に従って屈折する。ここで、光線Ｌ１－Ｌ４が透過するウィンドシールドＷＳの入射面と出射面が平行であれば、光線Ｌ１－Ｌ４の入射光と出射光は平行になる。そのため、図３Ａに示すように、ウィンドシールドＷＳの正面部分に入射する光線Ｌ１の角度は、ウィンドシールドＷＳを透過した後もほとんど変化しない。そのため、図４に示すように、水平方向において、カメラ１０の光軸ＯＡの近傍でウィンドシールドＷＳを通して撮像された物体の像Ｉｍ１’，Ｉｍ３’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１，Ｉｍ３に対する水平方向の変位が小さい。
　しかし、図３Ａに示すように、カメラ１０の光軸方向に対する傾斜角が大きく、車両Ｖの側方からウィンドシールドＷＳへ入射する光線Ｌ２は、ウィンドシールドＷＳを透過した後の角度の変化が比較的に大きくなる。その結果、図４に示すように、水平方向において、カメラ１０の光軸ＯＡから離隔した広画角の位置でウィンドシールドＷＳを通して撮像された物体の像Ｉｍ２’，Ｉｍ４’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ２，Ｉｍ４に対する水平方向の変位が比較的に大きくなる。
　また、図３Ｂに示すように、ウィンドシールドＷＳは、たとえば、上方側ほど後方側に位置するように垂直方向に対して傾斜している。そのため、ウィンドシールドＷＳを通してカメラ１０に入射する光線Ｌ３，Ｌ４は、ウィンドシールドＷＳの入射面に対して傾斜して入射する。その結果、鉛直方向において、カメラ１０の光軸ＯＡの近傍の位置でウィンドシールドＷＳを透過する光線Ｌ３と、カメラ１０の光軸ＯＳから離隔した広画角の位置でウィンドシールドＷＳを透過する光線Ｌ４は、いずれもウィンドシールドＷＳを透過した後の角度の変化が比較的に大きくなる。一方で、水平方向の中心領域でのウィンドシールドＷＳによる垂直方向の光線角度の変化は水平画角依存性が小さい。
　このように、ウィンドシールドＷＳがない場合にカメラ１０のレンズによって画像センサに結像する物体の像の位置が、ウィンドシールドＷＳを通して撮像することで変化する。そのため、図４に示すように、垂直方向において、ウィンドシールドＷＳを通して撮像された物体の像Ｉｍ１’－Ｉｍ４’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１－Ｉｍ４の位置から、垂直方向の下方への変位が比較的に大きくなる。この物体の本来の像Ｉｍ１－Ｉｍ４の位置から像Ｉｍ１’－Ｉｍ４’の位置への垂直方向の変位が、画素シフトである。この画素シフトは、画像センサ上の位置によって大きさが異なるため、画像の歪となって現れる。
　前述のように、本実施形態のステレオカメラ装置１００は、単眼視領域Ａｍにおいて、物体の接地位置を用いて物体までの距離を推定している。そのため、上記のような垂直方向の画素シフトは、単眼視領域Ａｍにおける距離の測定誤差を生じさせる。画素シフトの大きさは、ウィンドシールドＷＳの形状や傾きに依存する。特に、ウィンドシールドＷＳの曲率が大きく、ウィンドシールドＷＳの鉛直方向に対する傾きが大きい場合に、画素シフトが大きくなる。本実施形態のカメラの校正方法およびステレオカメラ装置１００は、このような画素シフトを補正するように、カメラ１０を校正する。
　図５は、本開示に係るカメラの校正方法の実施形態を示すフロー図である。本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを通して画像を撮影するカメラ１０を校正する方法である。カメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１と、直線状部画像を抽出する工程Ｓ２と、校正用画像の歪を補正する工程Ｓ３を含む。カメラの校正方法ＣＭは、たとえば、ステレオカメラ装置１００によって実施することができる。
　工程Ｓ１において、ステレオカメラ装置１００は、たとえば、左右のカメラ１０Ｌ，１０ＲによってウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する。なお、本実施形態のカメラの校正方法ＣＭは、たとえば、単眼カメラに適用することも可能である。
　図６は、校正用画像を取得する工程Ｓ１における校正用物体の一例を示す図である。図７Ａは、図６に示す校正用物体の正面図である。図７Ｂは、ウィンドシールドＷＳを通して図７Ａに示す校正用物体を撮影した校正前のカメラ１０の画像図である。なお、図７Ｂでは、画素シフトを実際よりも拡大して表している。
　図６、図７Ａおよび図７Ｂに示す例において、ステレオカメラ装置１００のカメラ１０によってウィンドシールドＷＳを通して撮影する校正用物体は、たとえば、ストライプの校正パターン２１０を有する校正用チャート２００である。このような校正用チャート２００は、たとえば、本実施形態のカメラの校正方法ＣＭを、車両Ｖの製造工場、車両Ｖの整備工場、またはステレオカメラ装置１００の製造工場などで実施する場合に使用することができる。
　校正用チャート２００のストライプの校正パターン２１０は、たとえば、水平方向に沿って延びる帯状の濃色部２１１と帯状の淡色部２１２とが、垂直方向に交互に配置されたパターンである。濃色部２１１は、たとえば、黒色であり、淡色部２１２は、たとえば、白色である。なお、後述するエッジ検出が可能であれば、濃色部２１１と淡色部２１２の色は特に限定されない。
　校正用画像を取得する工程Ｓ１において、カメラ１０によりウィンドシールドＷＳを通して撮影される校正用物体としての校正用チャート２００は、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有している。この直線状部２１３は、たとえば、校正用チャート２００に描かれたストライプの校正パターン２１０の濃色部２１１と淡色部２１２との境界線であり、カメラ１０の光軸ＯＡに直交する水平方向に延びている。
　また、校正用画像を取得する工程Ｓ１では、たとえば、校正用チャート２００の画像である校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに交差する一方向における一端から他端まで、直線状部２１３の画像である直線状部画像Ｉｍ２１３を含むように、校正用チャート２００を撮影する。本実施形態では、たとえば、工程Ｓ１において、校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに直交する水平方向における一端から他端まで直線状部画像Ｉｍ２１３を含むように、校正用チャート２００を撮影する。
　図７Ｂに示すように、校正用画像Ｉｍ２００は、カメラ１０の光軸ＯＡが位置する中央部から水平方向に離れた水平方向の広画角の位置ほど、垂直方向の下方への画素シフトが大きくなっている。これは、水平方向における広画角の位置ほど、ウィンドシールドＷＳに対する光の入射角が大きくなるためである。
　また、校正用画像を取得する工程Ｓ１では、たとえば、図６に示すように、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方、かつ、鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影する。より具体的には、校正用チャート２００は、たとえば、車両ＶのウィンドシールドＷＳの前方で、ボンネットなどの車両Ｖの車体の上に設置される。すなわち、校正用チャート２００は、たとえば、車両Ｖの前後方向において、車両Ｖの前端とウィンドシールドＷＳとの間に配置されている。
　次に、ステレオカメラ装置１００は、図５に示すように、直線状部画像を抽出する工程Ｓ２を実施する。この工程Ｓ２において、ステレオカメラ装置１００は、たとえば、校正用画像Ｉｍ２００から、直線状部２１３の画像である直線状部画像Ｉｍ２１３を抽出する。前述のように、校正用チャート２００とステレオカメラ装置１００の距離を接近させた状態で、カメラ１０によって校正用チャート２００を撮影すると、カメラ１０の解像度が低下して、校正パターン２１０の濃色部２１１と淡色部２１２との境界であるエッジが不明瞭になる傾向がある。
　これに対し、本実施形態のステレオカメラ装置１００は、たとえば、次のような方法によって、濃色部２１１と淡色部２１２のエッジを検出する。まず、校正パターン２１０の濃色部２１１から淡色部２１２への変化、または、淡色部２１２から濃色部２１１への変化における信号の強度変化を検出する。次に、その信号の強度変化の半値の強度を有する信号が検出される画素の垂直方向における位置を特定し、その位置に基づいて濃色部２１１と淡色部２１２との境界であるエッジを検出する。
　図８は、工程Ｓ２で抽出された直線状部画像Ｉｍ２１３の一例を示す図である。ステレオカメラ装置１００は、たとえば、前述のように、濃色部２１１と淡色部２１２との境界であるエッジを検出し、図８に示すように、直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出する。
　次に、ステレオカメラ装置１００は、図５に示すように、校正用画像を補正する工程Ｓ３を実行する。この工程Ｓ３において、ステレオカメラ装置１００は、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と、工程Ｓ１で取得した直線状部画像Ｉｍ２１３とに基づいて、校正用画像Ｉｍ２００の歪を補正する。
　校正用画像を補正する工程Ｓ３は、たとえば、画素シフトの補正テーブルを作成する工程Ｓ３１と、レンズの瞳ずれの補正テーブルを作成する工程Ｓ３２と、校正用画像の歪を補正する工程Ｓ３３と、を含む。
　画素シフトの補正テーブルを作成する工程Ｓ３１において、ステレオカメラ装置１００は、たとえば、まず、直線状部画像Ｉｍ２１３の傾きを補正し、次に、直線状部画像Ｉｍ２１３の垂直方向の画素シフト量を算出して、画素シフトの補正テーブルを作成する。
　図９Ａおよび図９Ｂは、校正用チャート２００の設置時の傾きの例を示す図である。校正用チャート２００は、たとえば、ストライプの校正パターン２１０の濃色部２１１と淡色部２１２の境界である直線状部２１３が水平になり、校正パターン２１０が表示された表示面がカメラ１０の光軸に対して垂直になるように設置される。
　しかし、校正用チャート２００の設置誤差により、図９Ａに示す校正用チャート２００の表示面の法線を中心とする回転による傾きや、図９Ｂに示す校正用チャート２００の鉛直方向の中心線を中心とする回転による傾きが生じ得る。このような校正用チャート２００の傾きによって、前の工程Ｓ２で抽出した直線状部画像Ｉｍ２１３には、傾きが生じている場合がある。
　図１０は、前の工程Ｓ２で抽出した直線状部画像Ｉｍ２１３の傾き示すグラフである。図１０において、ｘ軸は水平方向の画素位置であり、ｙ軸は画素の垂直方向の変位量である。図１０では、図８に示す複数の直線状部画像Ｉｍ２１３のうちの一つの直線状部画像Ｉｍ２１３を、上下反転させて拡大して表している。
　図３Ａに示すように、カメラ１０の光軸ＯＡを中心とする位置、すなわち、水平画角が０°の位置の近傍では、ウィンドシールドＷＳによる光の屈折の影響が小さい。そのため、直線状部画像Ｉｍ２１３の傾きを補正する工程では、水平画角が０°の位置の近傍の画素範囲Ｒｐの直線状部画像Ｉｍ２１３の近似直線Ｌａを求め、この近似直線Ｌａの傾きをゼロにする垂直方向の画素変位量を求め、直線状部画像Ｉｍ２１３の傾きを補正する。画素範囲Ｒｐは、たとえば、水平画角が±１０°から±２０°に相当する画素数に設定することができる。
　ステレオカメラ装置１００は、たとえば、上記のような直線状部画像Ｉｍ２１３の傾きの補正を、前の工程Ｓ２で抽出したすべての直線状部画像Ｉｍ２１３に対して実施する。これにより、校正用チャート２００の表示面が図９Ａおよび図９Ｂのように傾いたとしても、前の工程Ｓ２で抽出した複数の直線状部画像Ｉｍ２１３を、傾きのない状態に補正することができる。
　次に、ステレオカメラ装置１００は、たとえば、垂直方向に並んだ傾き補正後の各々の直線状部画像Ｉｍ２１３の画素の垂直方向の画素変位量に基づいて、画素シフトの補正テーブルを作成する。ここで、各々の直線状部画像Ｉｍ２１３の画素の垂直方向の画素変位量は、たとえば、ウィンドシールドＷＳを通さない場合の直線状部２１３の画像である仮想直線状部画像の画素に対する垂直方向の画素変位量である。画素シフトの補正テーブルは、たとえば、水平画素、垂直画素、および画素変位量が、それぞれ、Ｘ軸、Ｙ軸、およびＺ軸に設定される。次に、ステレオカメラ装置１００は、たとえば、瞳ずれの補正テーブルを作成する工程Ｓ３２を実施する。
　図１１は、広角レンズの瞳ずれを示す模式的な垂直断面図である。広角レンズでは、瞳の位置が画角によって変化する。図１１に示すように、カメラ１０のレンズ１１に入射した光線Ｂ１－Ｂ４は、カメラ１０の撮像センサ１２の上に結像する。ここで、レンズ１１に入射した光線Ｂ１，Ｂ２の延長線の交点を原点とする面１１ａにおいて、広画角の光線Ｂ４は、原点から距離ｄだけ離れた位置で面１１ａに交差する。本実施形態では、この距離ｄを、瞳ずれ量という。瞳ずれ量は、レンズ１１への入射光の画角や、レンズ１１の設計などによって変化する。
　図１２は、カメラ１０のレンズ１１の瞳ずれの影響を説明する模式的な垂直断面図である。カメラ１０によって、前述の面１１ａから距離Ｄ１だけ離れた校正用チャート２００の校正パターン２１０から直線状部２１３を検出する場合、レンズ１１の瞳ずれを考慮しなければ、広画角の垂直画角で入射する光線Ｂ４の垂直画角は角度θ１となる。しかし、レンズ１１が広角レンズの場合には瞳ずれが生じるため、光線Ｂ４の垂直画角を、瞳ずれを考慮した角度θ２として検出する必要がある。
　ステレオカメラ装置１００は、瞳ずれの補正テーブルを作成する工程Ｓ３２において、たとえば、あらかじめメモリに記録されたカメラ１０のレンズ１１の設計値を用いる。より詳細には、ステレオカメラ装置１００は、たとえば、距離Ｄ１と瞳ずれ量から角度θ２を求め、レンズの射影に基づいて画像センサ上の画素位置を算出し、その算出した画素位置について、瞳ずれを考慮しない場合の画像センサ上の画素位置に対する画素変位量を求める。
　ステレオカメラ装置１００は、たとえば、上記の処理を垂直方向および水平方向のすべての方向（画角）に対して行うことで、瞳ずれによる画素変位量の補正テーブルを作成する。この補正テーブルのＸ軸、Ｙ軸、およびＺ軸は、それぞれ、水平画素、垂直画素、および画素変位量となっている。
　なお、レンズの瞳ずれの影響は、距離Ｄ１が十分に大きい場合には無視することができる。しかし、図６に示すように、校正用物体である校正用チャート２００がステレオカメラ装置１００に近い位置に配置される場合には、瞳ずれの影響を無視できなくなる。そのため、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００は、レンズ１１の設計値を用いて、カメラ１０のレンズ１１の瞳ずれの補正テーブルを作成する工程Ｓ３２を実施している。
　次に、ステレオカメラ装置１００は、校正用画像の歪を補正する工程Ｓ３３を実施する。この工程Ｓ３３において、ステレオカメラ装置１００は、前の工程Ｓ３１，Ｓ３２で作成した画素シフトの補正テーブルと、瞳ずれの補正テーブルと基づいて、工程Ｓ１で取得した校正用画像Ｉｍ２００の歪を補正するための補正導関数を導出する。
　より具体的には、ステレオカメラ装置１００は、たとえば、画素シフトの補正テーブルの画素変位量と、瞳ずれの補正テーブルの画素変位量とを加算または減算して歪の補正テーブルを作成する。さらに、ステレオカメラ装置１００は、たとえば、作成したひずみの補正テーブルの画素ごとの画素変位量を補正する補正導関数を算出する。そして、ステレオカメラ装置１００は、算出した補正導関数をカメラ１０によって撮影した画像に適用することで、カメラ１０を校正する。
　以下、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００の作用を説明する。
　前述のように、本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを通して画像を撮影するカメラ１０の校正方法である。カメラの校正方法ＣＭは、カメラ１０によりウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有する校正用物体を撮影して校正用画像を取得すること（工程Ｓ１）を含む。また、カメラの校正方法ＣＭは、校正用画像から直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出すること（工程Ｓ２）を含む。また、カメラの校正方法ＣＭは、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像の歪を補正すること（工程Ｓ３）を含む。
　本実施形態のカメラの校正方法ＣＭによれば、たとえば、校正用チャート２００などの校正用物体の校正パターン２１０から、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３の直線状部画像Ｉｍ２１３を抽出することができる。この直線状部画像Ｉｍ２１３は、広画角化されたカメラ１０で顕著となるウィンドシールドＷＳを透過した光の屈折による画素の垂直方向の変位、すなわち、画素シフトを含んでいる。また、カメラ１０によって直線状部２１３を有する校正用チャート２００などの校正用物体を撮影することで、ウィンドシールドＷＳを通して撮影した直線状部画像Ｉｍ２１３の比較対象となる仮想直線状部画像を、たとえば、まっすぐな直線の画像として容易に生成することができる。したがって、本実施形態のカメラの校正方法ＣＭによれば、ウィンドシールドＷＳの影響による画素シフトを補正して、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことができる。
　また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像を取得すること（工程Ｓ１）は、校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに交差する一方向における一端から他端まで直線状部画像Ｉｍ２１３を含むように校正用チャート２００などの校正用物体を撮影することを含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、広画角化されたカメラ１０において画素シフトが顕著となるウィンドシールドＷＳの水平方向の両端部や垂直方向の両端部を透過した光による像の画素シフトをより確実に補正することができる。
　また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像の歪を補正すること（工程Ｓ３）は、校正用画像の所定範囲（画素範囲Ｒｐ）における直線状部画像Ｉｍ２１３の水平方向または垂直方向に対する傾きに基づいて、直線状部画像Ｉｍ２１３の傾きを補正すること（工程Ｓ３１）を含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、図９Ａおよび図９Ｂに示すような校正用物体としての校正用チャート２００の設置誤差による直線状部画像Ｉｍ２１３の傾きを補正して、画素シフトをより正確に補正することが可能になる。
　また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像を取得すること（工程Ｓ１）は、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方かつ鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影することを含む。
　このような方法により、本実施形態のカメラの校正方法ＣＭによれば、広画角化されたカメラ１０の校正に使用する校正用チャート２００の長さが増大するのを抑制して、製造工場や整備工場における校正用チャート２００の設置を容易にすることができる。以下、図１３を参照して、この効果をより詳細に説明する。
　図１３は、カメラ１０の校正に必要な校正用チャート２００の水平方向の長さと、カメラ１０から校正用チャート２００までの距離との関係を、カメラ１０の水平方向の画角が４０°の場合と１５０°の場合とで比較したグラフである。本実施形態のステレオカメラ装置１００において、カメラ１０の水平画角は、たとえば、１１０°から１５０°程度に広画角化されている。
　たとえば、水平画角が４０°の従来のカメラであれば、カメラから５ｍ離れた位置に設置する校正用チャートに必要な水平方向の長さは、約３．６ｍ程度である。しかし、たとえば、本実施形態のステレオカメラ装置１００のカメラ１０の水平画角が１５０°であり、校正用チャート２００をカメラから５ｍ離れた位置に設置する場合、カメラ１０の校正に必要な校正用チャート２００の水平方向の長さが非常に大きくなる。そのため、校正用チャート２００を製造工場や整備工場に設置することが困難になるおそれがある。
　しかし、図６に示すように、本実施形態のカメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１において、たとえば、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方かつ鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影する。これにより、カメラ１０と校正用チャート２００との距離を接近させ、たとえば、校正用チャート２００をカメラ１０から１ｍ以内の距離に設置することが可能になる。
　その結果、たとえば、水平画角が１５０°の広画角のカメラ１０の校正に必要な校正用チャート２００の水平方向の長さを、水平画角が４０°のカメラの５ｍ前方に設置する場合に必要な校正用チャートの長さと、同程度の長さにすることができる。したがって、広画角化されたカメラ１０の校正に使用する校正用チャート２００を、製造工場や整備工場に容易に設置することができる。
　また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像の歪を補正すること（工程Ｓ３）は、たとえば、レンズ１１の瞳ずれなど、カメラ１０のレンズ特性による歪を補正すること（工程Ｓ３２）を含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、ウィンドシールドＷＳの影響による画素シフトをより正確に補正することができる。
　また、本実施形態のステレオカメラ装置１００は、ウィンドシールドＷＳを通して画像を撮影する左右のカメラ１０Ｌ，１０Ｒを備え、以下のような取得部、抽出部、および補正部として機能する、画像処理部２０、ステレオ視差画像生成部３０、路面断面形状推定部４０、ステレオ視物体検知部５０、左右単眼画像生成部６０、またはハイブリッド物体検知部７０を備えている。取得部は、カメラ１０によりウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有する校正用物体を撮影して校正用画像Ｉｍ２００を取得する。抽出部は、直線状部画像Ｉｍ２１３から直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出する。補正部は、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像Ｉｍ２００の歪を補正する。
　このような構成により、本実施形態のステレオカメラ装置１００によれば、前述のカメラの校正方法ＣＭを実施することができ、カメラの校正方法ＣＭと同様の効果を奏することができる。
　以上説明したように、本実施形態によれば、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことが可能なカメラの校正方法ＣＭおよびステレオカメラ装置１００を提供することができる。
［実施形態２］
　以下、図１から図５を援用し、図１４を用いて本開示に係るカメラの校正方法の実施形態２を説明する。図１４は、本開示のカメラの校正方法の実施形態２を示す模式的な側面図である。
　本実施形態のカメラの校正方法ＣＭは、校正用物体がワイヤまたはバー２１４を含む点と、校正用画像を取得する工程Ｓ１がカメラ１０と校正用物体としてのワイヤまたはバー２１４とを相対的に移動させることを含む点で、前述の実施形態１のカメラの校正方法ＣＭと異なっている。本実施形態のカメラの校正方法ＣＭのその他の点は、前述の実施形態のカメラの校正方法ＣＭと同様であるため、同様の部分には同一の符号を付して説明を省略する。
　本実施形態のカメラの校正方法ＣＭは、たとえば、車両Ｖの製造ラインで実施することができる。車両Ｖは、たとえば、図１４における右方向へ移動しながら、ステレオカメラ装置１００を含む各種の部品が取り付けられていく。車両Ｖに対するステレオカメラ装置１００の取り付けが終了すると、本実施形態のカメラの校正方法ＣＭが実施される。本実施形態のカメラの校正方法ＣＭでは、校正用画像を取得する工程Ｓ１における校正用物体として、ワイヤまたはバー２１４と、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓ用の校正用チャート２００が使用される。
　ワイヤまたはバー２１４は、たとえば、水平方向に平行になるように両端が支持されて車両Ｖの製造ラインの上方に配置され、図示を省略する昇降機構によって上下に昇降可能に設けられている。校正用チャート２００は、たとえば、ステレオカメラの校正で一般的に用いられる任意の校正パターンを有し、ワイヤまたはバー２１４と同様に、図示を省略する昇降機構によって上下に昇降可能に設けられている。
　ワイヤまたはバー２１４は、たとえば、カメラ１０の光軸ＯＡに交差する水平方向に延びることで、それ自体が直線状部になっている。また、ワイヤまたはバー２１４は、たとえば、カメラ１０の光軸ＯＡに交差する一方向に延びる輪郭線または外形を直線状部として有している。なお、ワイヤまたはバー２１４は、厳密には重力によって中央部が両端部よりも下方にたわんだ状態になることが考えられるが、このようなたわみは微小であるため、直線状部を有する校正用物体として使用することができる。
　本実施形態のカメラの校正方法ＣＭにおいて、ワイヤまたはバー２１４の下まで車両Ｖが製造ラインを移動してくると、昇降機構が作動して、ステレオカメラ装置１００の前方にワイヤまたはバー２１４が下降する。ステレオカメラ装置１００は、校正用画像を取得する工程Ｓ１において、下降しているワイヤまたはバー２１４を、カメラ１０によって複数回にわたって連続的に撮影する。ステレオカメラ装置１００は、このワイヤまたはバー２１４の複数の画像を合成して校正用画像を取得する。
　その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、校正用画像から直線状部に対応する直線状部画像を抽出する工程Ｓ２を実施する。これにより、前述の実施形態１の図８に示す直線状部画像Ｉｍ２１３と同様の直線状部画像が抽出される。その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、カメラ１０によりウィンドシールドＷＳを通さずにワイヤまたはバー２１４の直線状部を撮影した場合に想定される仮想直線状部画像と、工程Ｓ２で抽出した直線状部画像とに基づいて校正用画像の歪を補正する工程Ｓ３を実施する。
　これにより、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００は、前述の実施形態１のカメラの校正方法ＣＭおよびステレオカメラ装置１００と同様の効果を奏することができる。さらに、ワイヤまたはバー２１４が所定の位置まで下降し終えると、校正用チャート２００を昇降装置によって校正用チャート２００の前方の所定の位置に下降させる。
　本実施形態の校正用チャート２００は、カメラ１０のステレオ視領域Ａｓの画像を用いて、カメラ１０を校正するために撮影される。そのため、本実施形態の校正用チャート２００の水平方向の長さは、広画角のカメラを使用していない通常のステレオカメラの校正に使用される校正用チャートの水平方向の長さと同程度である。ステレオカメラ装置１００は、左右のカメラ１０Ｌ，１０ＲによってウィンドシールドＷＳを通して校正用チャート２００を撮影することで、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの校正を行う。
　その後、昇降装置によってワイヤまたはバー２１４および校正用チャート２００を上昇させると、車両Ｖはワイヤまたはバー２１４および校正用チャート２００の下を通過して、製造ラインの次の工程に送られる。このように、本実施形態のカメラの校正方法ＣＭによれば、車両Ｖの製造ライン内で、製造ラインの効率を低下させることなく、ステレオカメラ装置１００のカメラ１０の校正を実施することができる。
　さらに、本実施形態のカメラの校正方法ＣＭによれば、ワイヤまたはバー２１４を撮影することで、前述の実施形態１のカメラの校正方法ＣＭと同様に、左右のカメラ１０Ｌ，１０Ｒの単眼視領域Ａｍの校正が可能になる。加えて、本実施形態のカメラの校正方法ＣＭによれば、左右のカメラ１０Ｌ，１０Ｒの単眼視領域Ａｍの校正が終了した後に、左右のカメラ１０Ｌ，１０Ｒで校正用チャート２００を撮影することで、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの校正も連続して実施可能である。これにより、ステレオカメラ装置１００の左右のカメラ１０Ｌ，１０Ｒの校正を、効率よく実施することができる。
　以上説明したように、本実施形態によれば、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことが可能なカメラの校正方法ＣＭおよびステレオカメラ装置１００を提供することができる。
［実施形態３］
　以下、図１から図５を援用し、図１５を用いて本開示に係るカメラの校正方法の実施形態３を説明する。図１５は、本開示に係るカメラの校正方法の実施形態３における校正用物体の一例を示す斜視図である。
　本実施形態のカメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１でカメラ１０によりウィンドシールドＷＳを通して撮影する校正用物体が建造物ＢＬＤである点で、前述の実施形態１のカメラの校正方法ＣＭと異なっている。本実施形態のカメラの校正方法ＣＭのその他の点は、前述の実施形態１のカメラの校正方法ＣＭと同様であるため、同様の部分には同一の符号を付して説明を省略する。
　本実施形態において、ステレオカメラ装置１００は、校正用画像を取得する工程Ｓ１を開始すると、カメラ１０によりウィンドシールドＷＳを通してカメラ１０のステレオ視領域Ａｓに交差する一方向に延びる直線状部２１３を有する建造物ＢＬＤを撮影する。図１５に示す例において、建造物ＢＬＤは、たとえば、直線状部２１３として水平方向に延びる窓枠部を有する工場である。なお、建造物ＢＬＤは、直線状部２１３を有していれば特に限定されず、オフォスビルやショッピングモールなどであってもよい。
　その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、直線状部２１３を有する建造物ＢＬＤを撮影した校正用画像から、直線状部に対応する直線状部画像Ｉｍ２１３を抽出する工程Ｓ２を実施する。さらに、ステレオカメラ装置１００は、前述の実施形態１と同様に、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像の歪を補正する工程Ｓ３を実施する。
　本実施形態のカメラの校正方法ＣＭによれば、前述の実施形態１のカメラの校正方法ＣＭと同様の効果を奏することができるだけでなく、校正用チャート２００を必要としないため、製造ラインの改修をすることなく実施することができる。また、本実施形態のカメラの校正方法ＣＭは、ステレオカメラ装置１００の経時的な変化や温度の変化に伴う像のずれの補正を行うことも可能である。
［実施形態４］
　以下、図１から図５を援用し、図１６Ａ、図１６Ｂおよび図１７を用いて本開示に係るカメラの校正方法の実施形態４を説明する。図１６Ａは、本開示のカメラの校正方法の実施形態４における第１の校正用チャート２００の正面図である。図１６Ｂは、図１６Ａに示す第１の校正用チャートを撮影したカメラ１０の画像図である。図１７は、本実施形態のカメラの校正方法ＣＭにおける第２の校正用チャート３００の正面図である。
　本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを透過する光の屈折による水平方向の画素シフトを検出して校正する。また、本実施形態において、ステレオカメラ装置１００は、たとえば、図１に示す単眼視領域Ａｍを有さず、左右のカメラ１０Ｌ，１０Ｒの撮像領域ＡＬ，ＡＲの全体がステレオ視領域Ａｓで重複している。また、ステレオカメラ装置１００は、たとえば、図２に示す左右単眼画像生成部６０およびハイブリッド物体検知部７０を有しない。
　第１の校正用チャート２００は、実施形態１の校正用チャート２００と同様に、ストライプの校正パターン２１０を有する校正用チャート２００である。校正用チャート２００のストライプの校正パターン２１０は、たとえば、垂直方向に沿って延びる帯状の濃色部２１１と帯状の淡色部２１２とが、水平方向に交互に配置されたパターンである。校正用チャート２００は、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有している。この直線状部２１３は、たとえば、校正用チャート２００に描かれたストライプの校正パターン２１０の濃色部２１１と淡色部２１２との境界線であり、カメラ１０の光軸ＯＡに直交する垂直方向に延びている。
　校正用画像を取得する工程Ｓ１において、カメラ１０によりウィンドシールドＷＳを通して撮影された校正用チャート２００の校正用画像Ｉｍ２００は、図１６Ｂに示すように、水平方向および垂直方向における広画角の位置ほど、水平方向の画素シフトが大きくなる。そのため、本変形例では、前述の実施形態１と同様に、直線状部画像Ｉｍ２１３を抽出する工程Ｓ２と、校正用画像Ｉｍ２００の歪を補正する工程Ｓ３を実施することで、水平方向の画素シフトを補正することができ、実施形態１と同様の効果を奏することができる。
　その後、ステレオカメラ装置１００は、図１７に示す第２の校正用チャート３００を用いて、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの視差の絶対値を校正する。ステレオカメラ装置１００は、左右のカメラ１０Ｌ，１０Ｒから所定の距離に配置された校正用チャート３００を撮影する。次に、左右のカメラ１０Ｌ，１０Ｒと校正用チャート３００との距離を変更する。その後、ステレオカメラ装置１００は、校正用チャート３００を撮影する。
　なお、校正用チャート３００は、水平方向の寸法が垂直方向の寸法よりも大きく、ステレオ視領域Ａｓの全域で校正用チャート３００が撮影される。次に、ステレオカメラ装置１００は、距離を変更して撮影された校正用チャート３００の校正パターン３０１の重心位置の変化と距離の変化量に基づいて歪を検出し、検出した歪を用いて左右のカメラ１０Ｌ，１０Ｒを校正する。
　本実施形態によれば、第１の校正用チャート２００を用いて直線状部画像Ｉｍ２１３の水平方向の相対的な画素シフトを補正し、第２の校正用チャート３００を用いて歪の絶対値を校正することで、視野全体の校正を行うことができる。なお、校正用物体として、校正用チャート２００に代えて、垂直方向の直線状部２１３を有する建造物ＢＬＤや、垂直方向に配置したワイヤまたはバー２１４を用いることも可能である。
　以上、図面を用いて本開示に係るカメラの校正方法およびステレオカメラ装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
　たとえば、校正用画像を取得する工程Ｓ１で使用する校正用物体として、図７Ａに示す校正用チャート２００のストライプの校正パターン２１０に代えて、直線状部２１３に対応する直線のみが描かれた校正用チャート２００を使用してもよい。また、校正用物体として、プロジェクタによって、建造物の壁面やスクリーンなどに直線状部２１３に対応する直線を投影したものを用いてもよい。また、校正用物体として、水平方向に延びる複数のワイヤまたはバー２１４を垂直方向に等間隔に設置したものを用いてもよい。
　また、校正用画像を取得する工程Ｓ１で使用する校正用物体として、図１８に示すようなチェックパターンの校正用チャート２００を使用してもよい。この場合、濃色部２１１と淡色部２１２との境界を直線状部２１３として検出することで、校正用チャート２００の全体を横断する直線状部２１３を抽出することができる。
　これに対し、チェックパターンの校正用チャートを使用する従来のカメラの校正方法では、たとえば、左上と右下に濃色部２１１が配置され、右上と左下に淡色部２１２が配置された４つの区画の中央の点ＣＰを検出する。そのため、校正用チャート２００をレンズ１１に近付けると、解像度が低下して、４つの区画の中央の点ＣＰの検出にばらつきが生じ、校正に誤差が生じるおそれがある。
１０　　　　カメラ
２０　　　　画像処理部（取得部、抽出部、補正部）
１００　　　ステレオカメラ装置
２００　　　校正用チャート（校正用物体）
２１０　　　校正パターン
２１３　　　直線状部
２１４　　　ワイヤまたはバー（校正用物体）
ＢＬＤ　　　建造物（校正用物体）
ＣＭ　　　　カメラの校正方法
Ｉｍ２００　校正用画像
Ｉｍ２１３　直線状部画像
ＯＡ　　　　光軸
ＷＳ　　　　ウィンドシールド

Claims (10)

  1. 　ウィンドシールドを通して画像を撮影するカメラの校正方法であって、
    　前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得することと、
    　前記校正用画像から前記直線状部に対応する直線状部画像を抽出することと、
    　前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正することとを含む、カメラの校正方法。
  2. 　前記校正用画像を取得することは、前記校正用画像が前記カメラの光軸に交差する一方向における一端から他端まで前記直線状部画像を含むように前記校正用物体を撮影することを含む、請求項１に記載のカメラの校正方法。
  3. 　前記校正用画像の歪を補正することは、前記校正用画像の所定範囲における前記直線状部画像の水平方向または垂直方向に対する傾きに基づいて、前記直線状部画像の傾きを補正することを含む、請求項１に記載のカメラの校正方法。
  4. 　前記校正用画像を取得することは、前記カメラの光軸方向における車両の前記ウィンドシールドの前方かつ鉛直方向における前記車両の上方の位置に配置された前記校正用物体を撮影することを含む、請求項１に記載のカメラの校正方法。
  5. 　前記校正用画像の歪を補正することは、前記カメラのレンズ特性による歪を補正することを含む、請求項１に記載のカメラの校正方法。
  6. 　前記校正用物体は、ストライプの校正パターンを有する校正用チャートである、請求項１に記載のカメラの校正方法。
  7. 　前記校正用物体は、ワイヤまたはバーである、請求項１に記載のカメラの校正方法。
  8. 　前記校正用物体は、建造物である、請求項１に記載のカメラの校正方法。
  9. 　前記校正用画像を取得することは、前記カメラと前記校正用物体とを相対的に移動させることを含む、請求項１に記載のカメラの校正方法。
  10. 　ウィンドシールドを通して画像を撮影する左右のカメラを備えたステレオカメラ装置であって、
    　前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する取得部と、
    　前記校正用画像から前記直線状部に対応する直線状部画像を抽出する抽出部と、
    　前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正する補正部とを備える、ステレオカメラ装置。
PCT/JP2022/043470 2021-12-27 2022-11-25 カメラの校正方法およびステレオカメラ装置 WO2023127362A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021211911A JP2023096279A (ja) 2021-12-27 2021-12-27 カメラの校正方法およびステレオカメラ装置
JP2021-211911 2021-12-27

Publications (1)

Publication Number Publication Date
WO2023127362A1 true WO2023127362A1 (ja) 2023-07-06

Family

ID=86998838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043470 WO2023127362A1 (ja) 2021-12-27 2022-11-25 カメラの校正方法およびステレオカメラ装置

Country Status (2)

Country Link
JP (1) JP2023096279A (ja)
WO (1) WO2023127362A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091245A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2017062150A (ja) * 2015-09-24 2017-03-30 マツダ株式会社 ステレオカメラの校正装置、及びステレオカメラの校正方法
EP3293701A1 (en) * 2016-09-07 2018-03-14 Conti Temic microelectronic GmbH Method and apparatus for the compensation of static image distortions introduced by a windshield onto an adas camera
JP2020020657A (ja) * 2018-07-31 2020-02-06 株式会社リコー ステレオカメラ装置、ステレオカメラシステム、及び移動体
JP2021025868A (ja) * 2019-08-05 2021-02-22 日立オートモティブシステムズ株式会社 ステレオカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091245A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2017062150A (ja) * 2015-09-24 2017-03-30 マツダ株式会社 ステレオカメラの校正装置、及びステレオカメラの校正方法
EP3293701A1 (en) * 2016-09-07 2018-03-14 Conti Temic microelectronic GmbH Method and apparatus for the compensation of static image distortions introduced by a windshield onto an adas camera
JP2020020657A (ja) * 2018-07-31 2020-02-06 株式会社リコー ステレオカメラ装置、ステレオカメラシステム、及び移動体
JP2021025868A (ja) * 2019-08-05 2021-02-22 日立オートモティブシステムズ株式会社 ステレオカメラ

Also Published As

Publication number Publication date
JP2023096279A (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
JP3983573B2 (ja) ステレオ画像特性検査システム
US9378553B2 (en) Stereo image processing device for vehicle
US8922626B2 (en) Stereo camera apparatus and method of obtaining image
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
JP6044868B2 (ja) ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置
EP1087336A2 (en) Apparatus and method for stereoscopic image processing
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
JP2008039491A (ja) ステレオ画像処理装置
JP2004132870A (ja) ステレオカメラの調整装置およびステレオカメラの調整方法
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
WO2014069169A1 (ja) 画像処理装置
JP2019068272A (ja) 周辺監視装置およびその校正方法
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR101926258B1 (ko) Avm 시스템의 자동 캘리브레이션 방법
KR20210091146A (ko) 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
JP2009267602A (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
WO2023127362A1 (ja) カメラの校正方法およびステレオカメラ装置
JP2018136739A (ja) キャリブレーション装置
TWI424259B (zh) 相機擺置角度校正法
WO2022014215A1 (ja) 処理装置及び車載カメラ装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP2014238558A (ja) 撮像装置及び視差検出方法
JP2010197186A (ja) 対象物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915593

Country of ref document: EP

Kind code of ref document: A1