WO2015190066A1 - 車載カメラの取付角度調整方法および取付角度検出装置 - Google Patents

車載カメラの取付角度調整方法および取付角度検出装置 Download PDF

Info

Publication number
WO2015190066A1
WO2015190066A1 PCT/JP2015/002791 JP2015002791W WO2015190066A1 WO 2015190066 A1 WO2015190066 A1 WO 2015190066A1 JP 2015002791 W JP2015002791 W JP 2015002791W WO 2015190066 A1 WO2015190066 A1 WO 2015190066A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
angle
camera
bird
respect
Prior art date
Application number
PCT/JP2015/002791
Other languages
English (en)
French (fr)
Inventor
下村　修
大輔 杉浦
博彦 柳川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112015002764.5T priority Critical patent/DE112015002764B4/de
Publication of WO2015190066A1 publication Critical patent/WO2015190066A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Definitions

  • This disclosure relates to a mounting angle adjustment method and a mounting angle detection device for an in-vehicle camera.
  • the in-vehicle camera is attached to the vehicle at the correct angle as designed. If the mounting angle is deviated from the design value, for example, there is a deviation between the predicted course displayed on the rear captured image and the actual course when the vehicle is moving backward.
  • the line-of-sight images of the front and rear left and right vehicle-mounted cameras of the vehicle are converted and displayed as an image as if the surroundings of the vehicle were viewed from above, a positional deviation occurs between the images of the adjacent vehicle-mounted cameras.
  • the mounting angle of the in-vehicle camera is adjusted so that it is within the allowable range when the vehicle is shipped from the factory.
  • the mounting angle may shift due to long-term use, or the in-vehicle camera may be removed for repair. In some cases, the mounting angle of the in-vehicle camera must be adjusted again.
  • the mounting angle for each in-vehicle camera is determined by moving the vehicle into a frame of a known shape such as a parking frame and converting the line of sight of the images taken by the in-vehicle cameras mounted on the front, rear, left and right of the vehicle.
  • the technique to do is proposed (patent document 1). If the mounting angle of each in-vehicle camera is correct, the image obtained by line-of-sight conversion of the captured image of each in-vehicle camera should not be misaligned even at the joint portion of the image.
  • the proposed technology pays attention to this point, and determines the mounting angle of each in-vehicle camera with respect to the vehicle body so as not to cause a positional shift between images obtained by line-of-sight conversion of the captured images of each in-vehicle camera.
  • the mounting angle of each in-vehicle camera can be obtained, the mounting angle can be adjusted to be within an allowable range.
  • in-vehicle cameras are mounted on the front, rear, left and right sides of the vehicle, and that images of the entire circumference of the vehicle can be obtained using these in-vehicle cameras.
  • in-vehicle cameras are not mounted on all of the front, rear, left and right sides of the vehicle (for example, in-vehicle cameras are mounted on the rear or front of the vehicle, but on-board cameras are not mounted on the left and right). Cannot adjust the mounting angle of the in-vehicle camera.
  • the present disclosure provides a mounting angle adjustment device and a mounting angle detection method for a vehicle-mounted camera that can adjust the mounting angle of the vehicle-mounted camera even when the vehicle-mounted camera is not mounted on all of the front, rear, left, and right sides of the vehicle.
  • the purpose is to provide.
  • the mounting angle adjustment method is mounted on the vehicle in a direction obliquely below the horizontal direction, and the mounting angle adjustment of the in-vehicle camera that captures an image including the ground around the vehicle.
  • a method An imaging process in which at least three straight lines intersect at a known angle and a predetermined reference graphic formed on the ground is imaged by the in-vehicle camera; A bird's-eye conversion step of converting a photographed image obtained by photographing the reference graphic into a bird's-eye image obtained by looking down on the ground on which the reference graphic is formed; Based on the deviation between the shape of the reference graphic in the bird's-eye view image and the shape of the reference graphic formed on the ground, the angle formed by the optical axis of the in-vehicle camera with respect to the reference graphic An angle component in the pitch direction that moves the tip end side of the axis in the vertical direction, an angle component in the roll direction that rotates around the optical axis, and an angle component in the yaw
  • a camera angle determination step A vehicle angle determination step of determining the angle component of the yaw direction of the vehicle with respect to the reference graphic based on the bird's-eye view image of the reference graphic imaged at at least two locations by moving the vehicle straight ahead
  • An adjustment step of adjusting the mounting angle of the in-vehicle camera with respect to the vehicle based on the angle component obtained in the camera angle determination step and the angle component obtained in the vehicle angle determination step.
  • an image obtained by capturing a reference graphic of a known shape is converted into a bird's-eye image, and the angle of the vehicle-mounted camera with respect to the reference graphic is determined based on the shape of the reference graphic in the bird's-eye image. , Pitch direction, roll direction, and yaw direction.
  • the vehicle is moved straight, and the angle of the yaw direction of the vehicle with respect to the reference graphic is determined from the moving direction of the reference graphic in the bird's-eye view images taken before and after the straight movement.
  • the attachment angle with respect to the vehicle of a vehicle-mounted camera is adjusted based on the angle of the vehicle-mounted camera with respect to a reference
  • the contribution due to the inclination of the vehicle with respect to the reference graphic among the angles in the yaw direction of the vehicle-mounted camera with respect to the reference graphic can be known, so the mounting angle of the vehicle-mounted camera with respect to the vehicle in the yaw direction can be known.
  • the contribution due to the inclination of the vehicle with respect to the reference figure can be made sufficiently small, so know the mounting angle of the in-vehicle camera with respect to the vehicle in the pitch direction and roll direction. Can do. As a result, it is possible to accurately adjust the mounting angle of the in-vehicle camera with respect to the vehicle.
  • the mounting angle detection device is mounted on the vehicle in a direction obliquely below the horizontal direction and detects the mounting angle of the in-vehicle camera that captures an image including the ground around the vehicle.
  • a device At least three straight lines intersect at a known angle, and a photographic image acquisition unit that acquires a photographic image obtained by photographing the predetermined reference graphic formed on the ground with the in-vehicle camera;
  • a bird's-eye conversion unit that converts a captured image obtained by photographing the reference graphic into a bird's-eye image obtained by looking down on the ground on which the reference graphic is formed; Based on the deviation between the shape of the reference graphic in the bird's-eye view image and the shape of the reference graphic formed on the ground, the angle formed by the optical axis of the in-vehicle camera with respect to the reference graphic
  • An angle component in the pitch direction that moves the tip end side of the axis in the vertical direction, an angle component in the roll direction that rotates around the optical axis, and
  • a camera angle determination unit A vehicle angle determination unit that determines the angle component in the yaw direction of the vehicle with respect to the reference graphic based on the bird's-eye view image of the reference graphic imaged at at least two locations by moving the vehicle straight.
  • an attachment angle detection unit (26) for detecting the attachment angle of the in-vehicle camera with respect to the vehicle; Is provided.
  • the mounting angle detection device can determine the mounting angle of the in-vehicle camera with respect to the vehicle, the mounting angle of the in-vehicle camera with respect to the vehicle can be accurately adjusted using this result.
  • FIG. 1A shows a rough configuration of the vehicle 1 on which the in-vehicle camera 10 is mounted.
  • the in-vehicle camera 10 is mounted obliquely downward at the position of the rear portion of the vehicle 1, and the situation behind the vehicle 1 can be photographed from obliquely above.
  • the captured image captured by the in-vehicle camera 10 is displayed on the monitor 11 via the control device 20.
  • the driver of the vehicle 1 can check the situation behind the vehicle 1 from the image displayed on the monitor 11.
  • control device 20 (C) has a function of performing bird's-eye conversion of an image taken by the in-vehicle camera 10 from an obliquely upper side into an image taken from directly above. Therefore, the driver can also perform bird's-eye conversion of the captured image obtained from the in-vehicle camera 10 with the control device 20 as necessary, and display the obtained bird's-eye image on the monitor 11.
  • the vehicle 1 is equipped with a vehicle information sensor 12 (S) that detects vehicle information, and the control device 20 can acquire vehicle information based on the output of the vehicle information sensor 12.
  • the vehicle information sensor 12 can be a vehicle speed sensor, a steering angle sensor, a shift position sensor, or the like, and the vehicle information can be a vehicle speed, a steering angle, a shift position, or the like.
  • the bird's-eye conversion converts the captured image into a bird's-eye image on the assumption that the in-vehicle camera 10 is attached to the vehicle 1 at a correct angle.
  • the mounting angle of the in-vehicle camera 10 is adjusted to the correct angle.
  • the mounting angle of the in-vehicle camera 10 may be shifted due to long-term use or for some reason.
  • difference arises in an attachment angle, the bird's-eye view image obtained by bird's-eye conversion will become a distorted image.
  • the parking frame is directly above as illustrated in FIG. A bird's-eye view image as seen from above is displayed on the monitor 11. For this reason, by confirming the monitor 11, the positional relationship between the vehicle 1 and the parking frame can be easily grasped including the sense of distance.
  • the control device 20 is equipped with a function for adjusting the mounting angle of the in-vehicle camera 10 or detecting the mounting angle.
  • FIG. 2 is a block diagram showing a rough internal structure of the control device 20 of the first embodiment.
  • the control device 20 includes a captured image acquisition unit 21, a bird's eye conversion unit 22, a storage unit 23, a camera angle analysis unit 24, a vehicle angle analysis unit 25, and an attachment angle detection unit 26. ing.
  • control device 20 These six “parts” are classified for convenience in the interior of the control device 20 by focusing on the function of the control device 20 for adjusting the mounting angle of the in-vehicle camera 10 or detecting the mounting angle. It is an abstract concept and does not represent that the control device 20 is physically divided into six parts. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI or a memory, and further realized by combining them. You can also.
  • control device 20 is mainly formed by a microcomputer having a CPU, a ROM, a RAM, and the like, and the above six “units” are realized by a program executed by the CPU.
  • the captured image acquisition unit 21 is connected to the in-vehicle camera 10 and acquires image data of an image captured by the in-vehicle camera 10. As described above, since the in-vehicle camera 10 is attached obliquely downward, a captured image obtained from the in-vehicle camera 10 is an image obtained by capturing the ground behind the vehicle 1 from obliquely above.
  • the ground on which the reference figure for mounting angle adjustment is formed is photographed.
  • any figure can be used as long as at least three straight lines intersect at a known angle like a parking frame.
  • the bird's-eye conversion unit 22 When the bird's-eye conversion unit 22 receives the image data of the photographed image from the photographed image acquisition unit 21, the bird's-eye conversion unit 22 converts the ground behind the vehicle 1 into an image (bird's-eye view image) as if it was photographed from directly above.
  • the process of converting an image capturing target into an image captured from directly above is referred to as bird's eye conversion.
  • the storage unit 23 stores data used for bird's-eye conversion of a captured image in advance, and the bird's-eye conversion unit 22 reads necessary data from the storage unit 23 and converts the captured image into a bird's-eye image.
  • the obtained bird's-eye view image is output to the monitor 11 and displayed.
  • the bird's-eye view image obtained from the photographed image is also output to the storage unit 23.
  • the camera angle analysis unit 24 reads the bird's-eye image stored in the storage unit 23 and analyzes the reference graphic in the bird's-eye image, thereby determining the angle formed by the optical axis of the in-vehicle camera 10 with respect to the reference graphic on the ground. decide. A method for determining the angle formed by the optical axis of the in-vehicle camera 10 with respect to the reference graphic on the ground will be described later.
  • the vehicle angle analysis unit 25 reads the bird's-eye view images obtained at least at two locations when the vehicle 1 travels straight, and analyzes the moving direction of the basic figure in the bird's-eye view image, thereby obtaining a reference figure on the ground. Is determined by the vehicle 1 in the yaw direction. A method for determining the angle that the vehicle 1 makes in the yaw direction with respect to the reference graphic on the ground will be described later.
  • the mounting angle detection unit 26 detects the mounting angle of the in-vehicle camera 10 with respect to the vehicle 1 based on the analysis result in the camera angle analysis unit 24 and the analysis result in the vehicle angle analysis unit 25. Then, the detected mounting angle is output to a device such as the monitor 11.
  • FIG. 3 shows a flowchart of the mounting angle adjustment process of the first embodiment for adjusting the mounting angle of the in-vehicle camera 10. This process is a process that is started after the vehicle 1 is moved to the vicinity of the parking frame.
  • a captured image including a parking frame formed on the ground is acquired (S100).
  • the vehicle 1 since the vehicle 1 has been moved in advance to a position where the parking frame is at least within the imaging range of the in-vehicle camera 10, if the image captured by the in-vehicle camera 10 is acquired, the imaging including the parking frame is performed. Images can be acquired.
  • a bird's-eye view image is an image obtained by performing bird's-eye conversion on a photographed image as if the portion of the photographed image was photographed from directly above.
  • 4A to 4C illustrate a captured image obtained by the in-vehicle camera 10 and a bird's-eye image obtained by performing bird's-eye conversion on the captured image.
  • the obtained captured image is an image as illustrated in FIG.
  • the angles of the two corners A and B of the parking frame are right angles, but since the in-vehicle camera 10 is shooting the parking frame obliquely from above, the angles of the two corners A and B on the captured image are The image is taken at an angle different from the original angle (here, a right angle).
  • the bird's-eye view image illustrated in FIG. 4B can be obtained by performing bird's-eye conversion on the captured image illustrated in FIG. As illustrated in FIG. 4B, the angles of the two corners A and B of the parking frame in the bird's-eye view image are right angles that are the original angles.
  • the two corners A and B of the parking frame are not at right angles, which is the original angle, even if bird's-eye view conversion is performed.
  • FIG. 4C illustrates a bird's-eye image obtained by performing bird's-eye conversion on a captured image when the mounting angle of the in-vehicle camera 10 is shifted.
  • the angle ⁇ a of the corner portion A of the parking frame and the angle ⁇ b of the corner portion B in the bird's-eye view image are different from the right angle that is the original angle. Therefore, if the two corners A and B of the parking frame in the bird's-eye view image are not captured at the original angle, it can be determined that the mounting angle of the in-vehicle camera 10 is shifted.
  • the left side of the parking frame when viewed from the vehicle 1 corresponds to the “reference straight line”.
  • the angle of the in-vehicle camera 10 with respect to the parking frame (more precisely, the angle formed by the optical axis of the in-vehicle camera 10 with respect to the parking frame in the pitch direction, and the in-vehicle camera 10 in the roll direction) And an angle formed by the optical axis of the in-vehicle camera 10 in the yaw direction with respect to the left side of the parking frame (S103).
  • the pitch direction is a direction in which the vehicle-mounted camera 10 is rotated so that the tip of the optical axis of the vehicle-mounted camera 10 moves in the vertical direction (vertical direction)
  • the roll direction is a rotation of the vehicle-mounted camera 10 around the optical axis.
  • the yaw direction is a direction in which the in-vehicle camera 10 is rotated so that the tip of the optical axis of the in-vehicle camera 10 moves in the left-right direction (horizontal direction).
  • FIG. 5 shows various coordinate systems used for explaining a method of converting a captured image into a bird's-eye view image.
  • an orthogonal coordinate system based on the vehicle 1 and an orthogonal coordinate system based on the vehicle-mounted camera 10 are considered.
  • the coordinate axes forming an orthogonal coordinate system with the vehicle 1 as a reference are coordinate axes taken perpendicularly and horizontally to the front-rear direction of the vehicle 1 and Xo-axis, and coordinate axes taken in the front-rear direction of the vehicle 1 are Yo
  • the coordinate axis taken perpendicularly to the longitudinal direction of the vehicle 1 and in the vertical direction is defined as the Zo axis.
  • such coordinates based on three coordinate axes (Xo axis, Yo axis, Zo axis) are hereinafter referred to as vehicle reference coordinates, and coordinate values are represented as (xo, yo, zo).
  • the coordinate axis taken in the optical axis direction of the in-vehicle camera 10 is defined as the CY axis
  • the coordinate axis taken perpendicular to the CY axis and in the horizontal direction is defined as the CX axis
  • a coordinate axis taken perpendicularly and upward to the CY axis and the CX axis is defined as a CZ axis.
  • coordinates based on three coordinate axes are hereinafter referred to as camera reference coordinates, and coordinate values are represented as (cx, cy, cz).
  • the relationship between the vehicle reference coordinates (xo, yo, zo) and the camera reference coordinates (cx, cy, cz) varies depending on the position of the in-vehicle camera 10 attached to the vehicle 1. Therefore, in order to facilitate bird's-eye view conversion, the vehicle 1 is used as a reference so that the origin O of the orthogonal coordinate system with reference to the vehicle 1 coincides with the origin CO of the orthogonal coordinate system with reference to the in-vehicle camera 10.
  • the Cartesian coordinate system in which the Cartesian coordinate system is translated.
  • the coordinate axis parallel to the Xo axis is taken as the X axis
  • the coordinate axis parallel to the Yo axis is taken as the Y axis
  • the coordinate axis parallel to the Zo axis is taken as the Z axis.
  • the coordinates based on these three new coordinate axes are hereinafter referred to as vehicle reference coordinates (for analysis), and the coordinate values are represented as (x, y, z). .
  • rotation in the pitch direction of the in-vehicle camera 10 can be considered as rotation around the X axis
  • rotation in the roll direction of the in-vehicle camera 10 is rotation around the Y axis
  • the rotation of the in-vehicle camera 10 in the yaw direction can be considered as the rotation around the Z axis.
  • the coordinate values (xo, yo, zo) of these vehicle reference coordinates and the coordinate values (x, y, z) of the vehicle reference coordinates (for analysis) can be easily determined by the equation (1) shown in FIG. Can be converted.
  • tx, ty, and tz represent xo coordinates, yo coordinates, and zo coordinates in the vehicle reference coordinates of the origin CO of the camera reference coordinates.
  • the coordinate values (xo, yo, zo) of the vehicle reference coordinates and the coordinate values (x, y, z) of the vehicle reference coordinates (for analysis) can be converted into each other and can be used for analysis.
  • the coordinate values (x, y, z) of vehicle reference coordinates (for analysis) are exclusively used. Therefore, hereinafter, the coordinate values (x, y, z) of the vehicle reference coordinates (for analysis) are simply referred to as the coordinate values (x, y, z) of the vehicle reference coordinates.
  • Equation (2) The coordinate values (x, y, z) of the vehicle reference coordinates and the coordinate values (cx, cy, cz) of the camera reference coordinates are related by the equation (2) shown in FIG. It has been.
  • [P] in Equation (2) is a rotation matrix for rotating the vehicle reference coordinates in the pitch direction.
  • [R] in equation (2) is a rotation matrix for rotating the vehicle reference coordinates in the roll direction, and
  • [Y] is a rotation matrix for rotating the vehicle reference coordinates in the yaw direction.
  • the angle ⁇ p in the rotation matrix [P] is a rotation angle in the pitch direction with respect to the vehicle reference coordinates of the camera reference coordinates
  • the angle ⁇ r in the rotation matrix [R] is a roll direction with respect to the vehicle reference coordinates of the camera reference coordinates.
  • the angle ⁇ p in the rotation matrix [Y] is a rotation angle in the yaw direction with respect to the vehicle reference coordinates of the camera reference coordinates.
  • the coordinate values (x, y, z) of the vehicle reference coordinates of the reference figure (here, the parking frame) photographed by the in-vehicle camera 10 are the coordinates of the camera reference coordinates according to the equation (2) shown in FIG. Converted to values (cx, cy, cz).
  • the coordinate values (cx, cy, cz) of the reference figure thus converted into the camera reference coordinates can be converted into coordinate values (u, v) on the captured image.
  • the coordinate values (u, v) on the captured image are hereinafter referred to as image plane coordinate values (u, v).
  • FIGS. 8A to 8C show a method for converting the coordinate values (cx, cy, cz) of the reference figure converted into the camera reference coordinates into the coordinate values (u, v) of the image plane coordinates.
  • a plane (image plane) orthogonal to the optical axis (coordinate axis CY) of the in-vehicle camera 10 is set at an appropriate distance L from the origin CO of the camera reference coordinates.
  • the captured image of the in-vehicle camera 10 can be considered as a projection target on the camera reference coordinates projected onto the image plane.
  • the coordinate axis U is taken in parallel with the coordinate axis CX of the camera reference coordinate and the coordinate axis V is taken in parallel with the coordinate axis CZ of the camera reference coordinate with the intersection point of the coordinate axis CY of the camera reference coordinate and the image plane as the origin, it is formed on the ground.
  • the coordinate values (cx, cy, cz) of the reference figure are converted into the coordinate values (u, v) on the image plane by the equation (3) shown in FIG.
  • FIG. 9 collectively shows the relationship between the coordinate values described above. That is, the coordinate values (x, y, z) of the vehicle reference coordinates are converted into the coordinate values (cx, cy, cz) of the camera reference coordinates by the equation (2) in FIG.
  • the coordinate value (u, v) of the image plane coordinates is converted by the equation (3) in (c).
  • the coordinate values (u, v) of the image plane coordinates correspond to the coordinate values on the captured image.
  • the coordinate values (x, y, z) of the vehicle reference coordinates and the coordinate values (u, v) of the image plane coordinates have a one-to-one correspondence, and are indicated by broken arrows in FIG.
  • the coordinate values (u, v) of the image plane coordinates can be inversely converted into the coordinate values (x, y, z) of the vehicle reference coordinates. Since the bird's-eye view image is an image of the vehicle reference coordinate image viewed from the Z-axis direction, it can be easily obtained by deleting the Z-axis component of the coordinate value (x, y, z) of the vehicle reference coordinate. it can.
  • the coordinate values (u, v) of the image plane coordinates are inversely converted into the coordinate values (x, y, z) of the vehicle reference coordinates, and the obtained vehicle reference coordinate values (x, y, z) are converted to Z.
  • the captured image can be bird's-eye conversion.
  • the captured image is converted into a bird's-eye image using such a bird's-eye conversion module.
  • the coordinate value (x, y) obtained by deleting the Z-axis component of the coordinate value (x, y, z) of the vehicle reference coordinate may be referred to as the bird's eye coordinate value (x, y).
  • the conversion from the coordinate values (x, y, z) of the vehicle reference coordinates to the coordinate values (cx, cy, cz) of the camera reference coordinates is as follows. It depends on the angle ⁇ p in the pitch direction of the in-vehicle camera 10, the angle ⁇ r in the roll direction, and the angle ⁇ y in the yaw direction.
  • the bird's-eye conversion for converting the image plane coordinates (u, v) of the captured image into the coordinate values (x, y) of the bird's-eye coordinates also includes the angle ⁇ p in the pitch direction of the in-vehicle camera 10 and the angle in the roll direction. It depends on ⁇ r and the angle ⁇ y in the yaw direction. Therefore, the bird's-eye conversion module is set on the assumption that the mounting angle of the in-vehicle camera 10 is an appropriate angle.
  • the reason why the angle of the reference figure (here, the parking frame) is different from the original angle is considered to be because the mounting angle of the in-vehicle camera 10 is shifted.
  • the angle ⁇ p in the pitch direction, the angle ⁇ r in the roll direction, and the angle ⁇ y in the yaw direction of the in-vehicle camera 10 can be set from the outside of the bird's eye conversion module.
  • the angles ⁇ p, ⁇ r, and ⁇ y are changed to various combinations, and the captured image is converted into a bird's-eye view image.
  • the reference figure (parking frame) in the obtained bird's-eye view image the three angles ⁇ a, ⁇ b, ⁇ c shown in FIG. 4C are detected, and these three angles ⁇ a, ⁇ b, ⁇ c are shown in FIG. Evaluation is performed using the evaluation function H illustrated in FIG.
  • the mounting angle of the in-vehicle camera 10 cannot be immediately adjusted. This is because adjustment of the mounting angle of the in-vehicle camera 10 adjusts the mounting angle with respect to the vehicle 1. If the angle of the vehicle 1 with respect to the parking frame is not known, even if the angle of the in-vehicle camera 10 with respect to the parking frame is known. This is because the mounting angle (with respect to the vehicle 1 of the in-vehicle camera 10) to be adjusted is not known.
  • the image of the parking frame reflected in the bird's-eye view image is analyzed to determine the angle of the in-vehicle camera 10 with respect to the parking frame. Assume that the angle ⁇ y has shifted.
  • the vehicle-mounted camera 10 is 1 is shifted by an angle ⁇ y in the yaw direction.
  • the vehicle 1 since it is difficult to stop the vehicle 1 so as not to incline with respect to the parking frame, as shown in FIG. 12B, the vehicle 1 may be inclined with respect to the parking frame by an angle ⁇ y. . In this case, the in-vehicle camera 10 is attached straight to the vehicle 1.
  • the vehicle 1 is inclined in the yaw direction by the angle ⁇ ys with respect to the parking frame, and the in-vehicle camera 10 is inclined by the angle ⁇ yc with respect to the vehicle 1. It is considered that the in-vehicle camera 10 is inclined by the angle ⁇ y with respect to the parking frame.
  • the pitch direction and roll direction angles can happen for the pitch direction and roll direction angles.
  • the inclination of the pitch direction and the roll direction with respect to the parking frame of the vehicle 1 can be set to the same angle by making the occupant and the loading state (loading amount, loading position, etc.) of the vehicle 1 constant. For this reason, the angle of the pitch direction and the roll direction with respect to the parking frame of the vehicle 1 can be estimated in advance.
  • the distance by which the vehicle 1 is moved can detect the angle ⁇ ys in the yaw direction with respect to the parking frame of the vehicle 1 with higher accuracy as the distance is longer.
  • the parking frame will be out of the shooting range of the in-vehicle camera 10.
  • the accurate shape of the parking frame is determined because the resolution of the in-vehicle camera 10 and the obtained image are easily distorted. It becomes difficult to detect. Therefore, in practice, there is an appropriate range for the distance to which the vehicle 1 is moved. In this embodiment, the vehicle 1 is moved straight in the range of 2 to 3 meters.
  • the newly acquired photographed image is converted into a bird's-eye view image (S105).
  • the newly obtained bird's-eye view image is compared with the bird's-eye view image obtained before the vehicle 1 goes straight, and the parking direction of the vehicle 1 is detected by detecting the moving direction of the parking frame in the bird's-eye view image.
  • An angle ⁇ ys in the yaw direction with respect to the frame is detected (S106).
  • the moving direction of the parking frame on the bird's-eye view image is a direction in which the vehicle 1 moves with respect to the parking frame, and if the vehicle 1 goes straight, the vehicle 1 moves relative to the parking frame.
  • the moving direction is an angle ⁇ ys with respect to the parking frame of the vehicle 1. From this, if the moving direction of the parking frame on the bird's-eye view image is detected, the angle ⁇ ys of the vehicle 1 with respect to the parking frame can be obtained.
  • the direction in which the parking frame moves on the bird's-eye image can be obtained by, for example, obtaining an image correlation between the two bird's-eye images, but simply, the direction in which the feature point in the bird's-eye image moves is detected. Can be determined by
  • the position of the corner A or the corner B of the parking frame is detected as a feature point, and the corner A or the corner B moves between two bird's-eye images.
  • the angle ⁇ ys with respect to the parking frame of the vehicle 1 can be obtained.
  • the mounting angle ⁇ yc of the in-vehicle camera 10 with respect to the vehicle 1 is required, the mounting angle ⁇ yc can be adjusted to an appropriate value.
  • the mounting angle of the in-vehicle camera 10 can be adjusted such that the angle ⁇ p and the angle ⁇ r in the roll direction have appropriate values.
  • the angle at which the vehicle 1 tilts in the pitch direction and the roll direction with respect to the parking frame is estimated in advance, and the pitch of the in-vehicle camera 10 with respect to the parking frame
  • These estimated angles may be subtracted from the direction angle ⁇ p and the roll direction angle ⁇ r.
  • the mounting angle of the in-vehicle camera 10 in the pitch direction and the roll direction with respect to the vehicle 1 can be obtained, and thus the mounting angle of the in-vehicle camera 10 can be adjusted so that the obtained angle becomes an appropriate angle. .
  • the image of the parking frame is captured before and after the vehicle 1 travels straight and converted into a bird's-eye image, and the angle of the vehicle-mounted camera 10 with respect to the parking frame is calculated based on the bird's-eye image before traveling straight.
  • the angle of the vehicle 1 with respect to the parking frame is detected from the bird's-eye view images before and after going straight.
  • the angle of the in-vehicle camera 10 with respect to the parking frame may be calculated based on the bird's-eye view image after going straight ahead.
  • one of the two bird's-eye images used for detecting the angle of the vehicle 1 with respect to the parking frame has been described as being a bird's-eye image used for calculating the angle of the vehicle-mounted camera 10 with respect to the parking frame.
  • the vehicle-mounted camera is obtained by converting the image of the reference figure (here, the parking frame) taken before and after the vehicle 1 is going straight ahead into a bird's-eye view image and analyzing the bird's-eye view image.
  • the mounting angle with respect to 10 vehicles 1 can be adjusted. For this reason, for example, although the vehicle-mounted camera 10 is mounted behind or in front of the vehicle 1, the mounting angle of the vehicle-mounted camera 10 can be adjusted even if the vehicle 1 is not mounted on the left and right.
  • the vehicle 1 is moved close to the reference figure (parking frame) and an image of the reference figure is taken by the in-vehicle camera 10, then the vehicle 1 is moved straight and the image of the reference figure is taken again, the in-vehicle camera 10 is obtained.
  • the mounting angle with respect to the vehicle 1 can be obtained. For this reason, it becomes possible to adjust the attachment angle of the vehicle-mounted camera 10 easily.
  • the reference graphic in the captured image can be easily and reliably detected. After that, if the reference figure is tracked while the vehicle 1 is traveling straight, even if the reference figure is taken at a distant position, the reference figure in the captured image (or in the bird's-eye view image) is erroneously detected. There is no.
  • C. Second embodiment In the first embodiment described above, an angle with respect to the reference graphic (here, a parking frame) of the in-vehicle camera 10 is calculated based on one bird's-eye image, and the reference graphic (parking frame) of the vehicle 1 is calculated based on two bird's-eye images.
  • the angle of the vehicle-mounted camera 10 with respect to the reference graphic may be calculated using a plurality of bird's-eye images, and the angle of the vehicle 1 with respect to the reference graphic may be detected using more than two bird's-eye images.
  • FIG. 14 shows a rough internal configuration of the control device 20 of the second embodiment.
  • the control device 20 of the second embodiment is different from the control device 20 of the first embodiment described above with reference to FIG. 2 in that a straight traveling monitoring unit 27 is added, but the other points are the same. is there.
  • the control apparatus 20 of 2nd Example is demonstrated centering around difference with the control apparatus 20 of 1st Example.
  • the straight traveling monitoring unit 27 is connected to the vehicle information sensor 12 of the vehicle 1, and the vehicle 1 is in a straight traveling state during detection of the mounting angle by acquiring information related to the steering angle of the vehicle 1 from the vehicle information sensor 12. Monitor whether or not.
  • the mounting angle detection unit 26 determines the mounting angle of the in-vehicle camera 10 with respect to the vehicle 1 using the analysis result of the camera angle analysis unit 24 and the analysis result of the vehicle angle analysis unit 25. This is a detection unit.
  • the mounting angle detection unit 26 of the second embodiment receives information from the mounting angle detection unit 26 that the vehicle 1 has deviated from the straight traveling state during the detection of the mounting angle, the mounting angle detection unit 26 discards the previous detection results. Then, the detection of the mounting angle is started from the beginning.
  • the straight traveling monitoring unit 27 detects that the vehicle 1 deviates from the straight traveling state during the detection of the mounting angle, a warning that the straight traveling state of the vehicle 1 is maintained is detected from the speaker 30 or the like during the detection of the mounting angle. Output.
  • control device 20 of the second embodiment including such a straight traveling monitoring unit 27 can monitor whether or not the vehicle 1 is in a straight traveling state
  • the reference of the vehicle-mounted camera 10 is used using a plurality of bird's-eye images. It is possible to detect the angle with respect to the graphic and the angle with respect to the reference graphic of the vehicle 1.
  • the control apparatus 20 of 2nd Example demonstrates the attachment angle adjustment process implemented in order to adjust the attachment angle of the vehicle-mounted camera 10.
  • FIG. 16, and FIG. 17 show flowcharts of the attachment angle adjustment process of the second embodiment. This process is also started after the vehicle 1 is moved to the vicinity of the reference graphic (here, the parking frame), as in the mounting angle adjustment process of the first embodiment described above.
  • the reference graphic here, the parking frame
  • a captured image of a reference figure (parking frame) is acquired from the in-vehicle camera 10 (S200).
  • the parking frame in the acquired captured image is detected, and whether or not the parking frame is reflected within a predetermined range set in advance in the captured image. Judgment is made (S201).
  • a captured image of the parking frame is acquired while moving the vehicle 1 within a preset limit distance. Therefore, if the vehicle 1 is not first stopped at the correct position with respect to the parking frame, the parking frame may be out of the shooting range of the in-vehicle camera 10 while the vehicle 1 is moved within the limit distance. There is.
  • the vehicle speed detected from the vehicle information sensor 12 is within the allowable speed (S205). If the vehicle speed exceeds the allowable speed (S205: no), a warning that the vehicle speed is high is displayed on the speaker 30. Or it outputs using the monitor 11 (S206). The reason for warning when the vehicle speed is higher than the allowable speed will be described later.
  • Whether or not the vehicle 1 is traveling straight can be determined by acquiring information related to the steering angle from the vehicle information sensor 12.
  • the limit distance is set to a predetermined distance selected from the range of 2 to 3 meters.
  • the process returns to S205 to determine whether or not the vehicle speed is within the allowable speed, and then the series of processes described above (S206 to S211). )repeat.
  • a warning that the moving distance of the vehicle 1 has exceeded the limit distance is output from the speaker 30 or the monitor 11 (S213), and further an instruction to stop the vehicle 1 and reverse the traveling direction The output is made to the driver (S214).
  • the acquisition of the captured image is interrupted, and the instruction to reverse the traveling direction of the vehicle 1 is that if the vehicle 1 is further away from the parking frame, the detection accuracy of the parking frame may be lowered. This is because it occurs.
  • control device 20 may instruct the various actuators of the vehicle 1 to automatically stop the vehicle 1 and reverse the traveling direction.
  • the target number of captured images is acquired while moving the vehicle 1 within the limit distance. Therefore, if the vehicle speed of the vehicle 1 is high, it is necessary to stop the vehicle 1 many times and reverse the traveling direction until the acquired captured image reaches the target number. The time required for acquisition becomes longer.
  • the possibility that the vehicle 1 deviates from the straight traveling state increases.
  • the captured images acquired up to that point are discarded, and the time required to acquire the target number of captured images is further increased.
  • the moving speed of the vehicle 1 is not so high. Therefore, in the mounting angle adjustment process of the second embodiment, when the vehicle speed of the vehicle 1 exceeds the allowable speed (S205: no), a warning that the vehicle speed is high is issued (S206).
  • the ideal moving speed of the vehicle 1 is preferably a speed at which the number of captured images reaches the target number while the vehicle 1 is reciprocated once. Therefore, a target speed range including such an ideal moving speed is set, and not only when the vehicle speed detected by the vehicle information sensor 12 becomes higher than the target speed range, but also lower than the target speed range. In some cases, a warning to that effect may be given.
  • an average parking frame is calculated by averaging the coordinate values of the parking frames detected from the respective bird's-eye images (S218).
  • the average parking frame is calculated by averaging the parking frames detected from the target number of bird's-eye images, so even if noise is mixed in the position of the parking frame detected from each bird's-eye image, the noise The influence can be removed. As a result, the parking frame can be detected with high accuracy.
  • the angle of the in-vehicle camera 10 with respect to the parking frame is calculated based on the detected angle of each side in the same manner as the attachment angle adjustment process of the first embodiment (S220).
  • the angle ⁇ ys of the yaw direction of the vehicle 1 with respect to the parking frame Is detected (S221).
  • the moving direction of the parking frame on the bird's-eye image can be detected using the target number of bird's-eye images. For this reason, even if noise is mixed in each bird's-eye view image, the moving direction of the parking frame on the bird's-eye image can be accurately detected without being affected by the noise.
  • the angle ⁇ ys in the yaw direction of the vehicle 1 can also be detected with high accuracy.
  • the subsequent processing is the same as the mounting angle adjustment processing of the first embodiment described above. That is, by subtracting the angle ⁇ ys in the yaw direction with respect to the parking frame of the vehicle 1 obtained in S221 from the angle ⁇ y in the yaw direction with respect to the parking frame of the in-vehicle camera 10 obtained in S219, the vehicle camera 10 with respect to the vehicle 1 is subtracted.
  • the attachment angle ⁇ yc in the yaw direction is calculated (S222).
  • the mounting angle of the in-vehicle camera 10 with respect to the vehicle 1 is determined based on the angle ⁇ p in the pitch direction and the angle ⁇ r in the roll direction with respect to the parking frame of the in-vehicle camera 10 and the mounting angle ⁇ yc in the yaw direction with respect to the vehicle 1 of the in-vehicle camera 10. Adjust (S223).
  • the mounting angle of the in-vehicle camera 10 is detected based on a plurality of photographed images, so that the mounting angle is reliably and accurately detected without being affected by noise. As a result, the mounting angle can be adjusted accurately.
  • the vehicle 1 in order to capture a plurality of captured images, it is only necessary to reciprocate the vehicle 1 while maintaining the straight traveling state of the vehicle 1, so that the work is not complicated or complicated.
  • the mounting angle of the in-vehicle camera 10 can be easily adjusted.
  • the angle ⁇ ys in the yaw direction with respect to the parking frame of the vehicle 1 is obtained by moving the vehicle 1 straight.
  • the angle ⁇ ys in the yaw direction with respect to the parking frame can be obtained without necessarily traveling the vehicle 1 straight.
  • the mounting angle ⁇ yc in the yaw direction of the in-vehicle camera 10 with respect to the vehicle 1 is as designed, the amount and direction of movement of the parking frame in the image obtained by bird's-eye conversion of the captured image are estimated. Should match the amount and direction of movement. On the contrary, if they do not match, the mounting angle ⁇ yc in the yaw direction of the in-vehicle camera 10 with respect to the vehicle 1 is deviated from the design value.
  • the attachment angle ⁇ yc in the yaw direction to various values, the amount and direction of movement of the parking frame in the bird's eye-converted image are calculated.
  • the angle at which the value closest to the value estimated from the steering angle and the vehicle speed of the vehicle 1 is obtained is the attachment angle ⁇ yc in the yaw direction of the in-vehicle camera 10 with respect to the vehicle 1. This makes it possible to easily detect and adjust the mounting angle of the in-vehicle camera 10 even when the vehicle 1 is not going straight ahead.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　既知の形状の基準図形を撮影した画像を、鳥瞰画像に変換して、鳥瞰画像中の基準図形の形状に基づいて、基準図形に対する車載カメラの角度を、ピッチ方向、ロール方向、およびヨウ方向について決定する。また、車両を直進させて、直進の前後で撮影した鳥瞰画像中での基準図形の移動方向から、基準図形に対する車両のヨウ方向の角度を決定する。そして、基準図形に対する車載カメラの角度と、基準図形に対する車両の角度とに基づいて、車載カメラの車両に対する取付角度を調整する。これにより、前後左右の全てには車載カメラが搭載されていない車両でも車載カメラの取付角度を調整することができる。

Description

車載カメラの取付角度調整方法および取付角度検出装置 関連出願の相互参照
　本出願は、２０１４年６月１１日に出願された日本出願番号２０１４－１２０３１８号に基づくもので、ここにその記載内容を援用する。
　本開示は、車載カメラの取付角度調整方法および取付角度検出装置に関する。
　車載カメラで撮影した画像をモニター画面に表示することで、運転者が車両の周辺の状況を容易に確認可能とする種々の技術が実用化されている。例えば、車両の後部に車載カメラを搭載しておき、車両の後進時に後方の状況を撮影した画像をモニター画面に表示させて、その撮影画像に重ねて車両の予測進路を表示することにより、後進運転を支援する技術が実用化されている。
　また、車両の前後左右に車載カメラを搭載しておき、それらで撮影した画像を視線変換して、あたかも上方から車両の周囲を見たような画像としてモニター画面に表示することで、運転者が周囲の状況を容易に把握できるようにした技術も実用化されている。
　これらの技術では、車載カメラが車両に対して、設計されたとおりの正しい角度で取り付けられていることが前提となる。仮に、取付角度が設計値からずれている場合、例えば、車両の後進時に後方の撮影画像に重ねて表示する予測進路と、実際の進路との間にずれが生じてしまう。あるいは、車両の前後左右の車載カメラの画像を視線変換して、上方から車両の周囲を見たような画像として表示した時に、隣の車載カメラの画像との間に位置ずれが生じてしまう。
　もちろん、車載カメラの取付角度は、車両の工場出荷時に許容範囲内となるように調整されているが、長い間に亘る使用によって取付角度にずれが生じたり、あるいは修理のために車載カメラを取り外したりして、車載カメラの取付角度を再度、調整しなければならない場合も生じ得る。
　そこで、駐車枠のような既知の形状の枠内に車両を移動させて、車両の前後左右に搭載された車載カメラで撮影した画像を視線変換することによって、各車載カメラについての取付角度を決定する技術が提案されている（特許文献１）。仮に、各車載カメラの取付角度が正しいのであれば、各車載カメラの撮影画像を視線変換して得られた画像は、画像の繋ぎ目部分でも位置ずれが生じない筈である。
　提案の技術はこの点に着目して、各車載カメラの撮影画像を視線変換して得られた画像間で位置ずれが生じないように、各車載カメラの車体に対する取付角度を決定する。こうして、各車載カメラの取付角度を求めることができれば、取付角度が許容範囲に収まるように調整することが可能となる。
特開２０１１－１８２２３６号公報
　しかし、上記の提案の技術では、車両の前後左右に車載カメラが搭載されており、それらの車載カメラを用いて車両の全周の撮影画像が得られることを前提としている。このため、車両の前後左右の全てには車載カメラが搭載されていない場合（例えば車両の後方あるいは前方には車載カメラを搭載しているが、左右には車載カメラを搭載していない場合）には、車載カメラの取付角度を調整することができない。
　本開示は、車両の前後左右の全てには車載カメラが搭載されていない場合であっても、車載カメラの取付角度を調整することが可能な取付角度調整装置および車載カメラの取付角度検出方法を提供することを目的とする。
　本開示の第一の態様によれば、取付角度調整方法は、水平方向よりも斜め下方の方向で車両に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラの取付角度調整方法であって、
　少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影する撮影工程と、
　前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換工程と、
　前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定工程と、
　前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定工程と、
　前記カメラ角度決定工程で得られた角度成分と、前記車両角度決定工程で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を調整する調整工程と、を備える。
　上記の車載カメラの取付角度調整方法では、既知の形状の基準図形を撮影した画像を、鳥瞰画像に変換して、鳥瞰画像中の基準図形の形状に基づいて、基準図形に対する車載カメラの角度を、ピッチ方向、ロール方向、およびヨウ方向について決定する。また、車両を直進させて、直進の前後で撮影した鳥瞰画像中での基準図形の移動方向から、基準図形に対する車両のヨウ方向の角度を決定する。そして、基準図形に対する車載カメラの角度と、基準図形に対する車両の角度とに基づいて、車載カメラの車両に対する取付角度を調整する。
　こうすれば、基準図形に対する車載カメラのヨウ方向の角度の中で、基準図形に対する車両の傾きによる寄与分が分かるので、車載カメラの車両に対するヨウ方向の取付角度を知ることができる。また、基準図形に対する車載カメラのピッチ方向およびロール方向の角度については、基準図形に対する車両の傾きによる寄与分は十分に小さくできるので、車載カメラの車両に対するピッチ方向およびロール方向の取付角度を知ることができる。その結果、車載カメラの車両に対する取付角度を正確に調整することが可能となる。
　本開示の第二の態様によれば、取付角度検出装置は、水平方向よりも斜め下方の方向で車両に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラの取付角度検出装置であって、
　少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影した撮影画像を取得する撮影画像取得部と、
　前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換部と、
　前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定部と、
　前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定部と、
　前記カメラ角度決定部で得られた角度成分と、前記車両角度決定部で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を検出する取付角度検出部（２６）と、を備える。
　上記取付角度検出装置により、車両に対する車載カメラの取付角度を知ることができるので、この結果を用いて車載カメラの車両に対する取付角度を正確に調整することが可能となる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
車載カメラを搭載した車両の大まかな構成を示す説明図である。 第１実施例の制御装置の内部構造を示したブロック図である。 車載カメラの取付角度を調整する第１実施例の取付角度調整処理の前半部分のフローチャートである。 駐車枠を撮影した画像を鳥瞰変換して得られる鳥瞰画像についての説明図である。 車体基準座標系とカメラ基準座標系との関係についての説明図である。 車体基準座標系を解析用の車体基準座標系に変換する方法についての説明図である。 解析用の車体基準座標系がカメラ基準座標系に変換される様子についての説明図である。 カメラ基準座標系が撮影画像上での画像面座標系に変換される様子についての説明図である。 鳥瞰変換についての説明図である。 車載カメラの駐車枠に対する角度を変えながら撮影画像を鳥瞰変換する様子についての説明図である。 鳥瞰変換の結果を評価するための評価関数を例示した説明図である。 駐車枠に対する車載カメラのヨウ方向の角度θｙと、駐車枠に対する車両のヨウ方向の角度θｙｓとの関係についての説明図である。 車両を直進させることによって駐車枠に対する車両のヨウ方向の角度θｙｓが得られる理由を示す説明図である。 第２実施例の制御装置の内部構造を示したブロック図である。 車載カメラの取付角度を調整する第２実施例の取付角度調整処理の前半部分のフローチャートである。 第２実施例の取付角度調整処理の一部分のフローチャートである。 第２実施例の取付角度調整処理の後半部分のフローチャートである。
　以下では、上述した本開示の内容を明確にするために実施例について説明する。
Ａ．装置構成：
　図１（ａ）には、車載カメラ１０を搭載した車両１の大まかな構成が示されている。図示した例では、車載カメラ１０は車両１の後部の位置に、斜め下向きに搭載されており、車両１の後方の状況を斜め上方から撮影することができる。そして、車載カメラ１０で撮影した撮影画像は、制御装置２０を介してモニター１１に表示される。車両１の運転者は、モニター１１に表示された画像から、車両１の後方の状況を確認することができる。
　また、制御装置２０（Ｃ）は、車載カメラ１０が斜め上方から撮影した画像を、あたかも真上から撮影した画像に鳥瞰変換する機能を有している。従って、運転者は、車載カメラ１０から得られた撮影画像を、必要に応じて制御装置２０で鳥瞰変換して、得られた鳥瞰画像をモニター１１に表示させることもできる。
　更に、車両１には、車両情報を検出する車両情報センサー１２（Ｓ）が搭載されており、制御装置２０は車両情報センサー１２の出力に基づいて車両情報を取得することができる。尚、車両情報センサー１２としては、車速センサーや、操舵角センサー、シフトポジションセンサーなどとすることができ、車両情報としては、車速や、操舵角、シフトポジションなどとすることができる。
　ここで、詳細には後述するが、鳥瞰変換は、車載カメラ１０が車両１に対して正しい角度で取り付けられていることを前提として、撮影画像を鳥瞰画像に変換する。もちろん、車両１の工場出荷時には、車載カメラ１０の取付角度は正しい角度に調整されているが、長い間の使用によって、あるいは何らかの理由で、車載カメラ１０の取付角度にずれが生じることが起こり得る。そして、取付角度にずれが生じると、鳥瞰変換によって得られた鳥瞰画像は歪んだ画像となってしまう。
　例えば、車両１を後進させて駐車枠の中に駐車させようとしている場合、車載カメラ１０の取付角度にずれが生じていなければ、図１（ｂ）に例示したように、駐車枠を真上から見たような鳥瞰画像がモニター１１に表示される。このため、モニター１１を確認することによって、車両１と駐車枠との位置関係が、距離感も含めて容易に把握することができる。
　ところが、車載カメラ１０の取付角度にずれが生じていると、モニター１１に表示される駐車枠が、図１（ｃ）に例示したように歪んでしまうので、車両１と駐車枠との位置関係を把握することが困難となる。従って、このような場合には、車載カメラ１０の取付角度を調整する必要がある。こうした点に鑑みて、制御装置２０は、車載カメラ１０の取付角度を調整し、あるいは取付角度を検出するための機能を搭載している。
　尚、本実施例では車両１の後部に車載カメラ１０が取り付けられているものとして説明するが、車両１の前方に車載カメラ１０が取り付けられている場合にも、同様にして取付角度を調整することが可能である。
Ｂ．第１実施例：
　図２には、第１実施例の制御装置２０の大まかな内部構造を示したブロック図が示されている。図示されるように制御装置２０は、撮影画像取得部２１と、鳥瞰変換部２２と、記憶部２３と、カメラ角度解析部２４と、車両角度解析部２５と、取付角度検出部２６とを備えている。
　尚、これら６つの「部」は、車載カメラ１０の取付角度を調整し、あるいは取付角度を検出するために制御装置２０が備える機能に着目して、制御装置２０の内部を便宜的に分類した抽象的な概念であり、制御装置２０が物理的に６つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
　本実施例では、制御装置２０は、ＣＰＵやＲＯＭやＲＡＭなどを備えたマイクロコンピューターによって主に形成されており、ＣＰＵが実行するプログラムによって、上記の６つの「部」が実現されている。
　撮影画像取得部２１は、車載カメラ１０に接続されており、車載カメラ１０で撮影した画像の画像データを取得する。前述したように車載カメラ１０は斜め下向きに取り付けられているので、車載カメラ１０から得られる撮影画像は、車両１の後方の地面を斜め上方から撮影した画像となる。
　また、車載カメラ１０の取付角度を調整（あるいは検出）する際には、取付角度調整用の基準図形が形成された地面を撮影する。基準図形には、駐車枠のように、少なくとも３本の直線が既知の角度で交差していれば、どのような図形であっても用いることができる。
　鳥瞰変換部２２は、撮影画像取得部２１から撮影画像の画像データを受け取ると、車両１の後方の地面を真上から撮影したような画像（鳥瞰画像）に変換する。本明細書中では、このように撮影対象を真上から撮影したような画像に変換する処理を、鳥瞰変換と称する。
　記憶部２３には、撮影画像の鳥瞰変換に用いるデータが予め記憶されており、鳥瞰変換部２２は記憶部２３から必要なデータを読み出して、撮影画像を鳥瞰画像に変換する。そして、得られた鳥瞰画像はモニター１１に出力して表示させる。また、車載カメラ１０の取付角度を調整（あるいは検出）するために、基準図形が形成された地面を撮影した場合には、その撮影画像から得られた鳥瞰画像を記憶部２３にも出力して記憶させる。
　カメラ角度解析部２４は、記憶部２３に記憶された鳥瞰画像を読み出して、鳥瞰画像中の基準図形を解析することにより、地面上の基準図形に対して車載カメラ１０の光軸がなす角度を決定する。地面上の基準図形に対して車載カメラ１０の光軸がなす角度を決定する方法については後述する。
　また、車両角度解析部２５は、車両１が直進した時に少なくとも２箇所で得られた鳥瞰画像を読み出して、それら鳥瞰画像中での基本図形の移動方向を解析することにより、地面上の基準図形に対して車両１がヨウ方向になす角度を決定する。地面上の基準図形に対して車両１がヨウ方向になす角度を決定する方法については後述する。
　取付角度検出部２６は、カメラ角度解析部２４での解析結果と、車両角度解析部２５での解析結果とに基づいて、車両１に対する車載カメラ１０の取付角度を検出する。そして、検出した取付角度をモニター１１などの機器に出力する。
　図３には、車載カメラ１０の取付角度を調整する第１実施例の取付角度調整処理のフローチャートが示されている。尚、この処理は、車両１を駐車枠の付近に移動させた後に開始される処理である。
　図示されるように、第１実施例の取付角度調整処理では、地面上に形成された駐車枠を含む撮影画像を取得する（Ｓ１００）。上述したように、車両１は、駐車枠が少なくとも車載カメラ１０の撮影範囲内に入るような位置に予め移動されているので、車載カメラ１０で撮影した画像を取得すれば、駐車枠を含む撮影画像を取得することができる。
　次に、取得した撮影画像を鳥瞰画像に変換する（Ｓ１０１）。鳥瞰画像とは、撮影画像に写った箇所をあたかも真上から撮影したかのように、撮影画像を鳥瞰変換して得られた画像である。
　図４（ａ）～（ｃ）には、車載カメラ１０によって得られる撮影画像と、撮影画像を鳥瞰変換して得られる鳥瞰画像とが例示されている。
　車載カメラ１０は駐車枠を斜め上方から見下ろすような角度で撮影するので、得られる撮影画像は、図４（ａ）に例示したような画像となる。駐車枠の２つの角部Ａ，Ｂの角度は直角であるが、車載カメラ１０は斜め上方から駐車枠を撮影しているので、撮影画像上での２つの角部Ａ，Ｂの角度は、本来の角度（ここでは直角）とは異なる角度で写っている。
　仮に、車載カメラ１０の取付角度がずれていなければ、図４（ａ）に例示した撮影画像を鳥瞰変換することによって、図４（ｂ）に例示したような鳥瞰画像を得ることができる。図４（ｂ）に例示したように、鳥瞰画像中での駐車枠の２つの角部Ａ，Ｂの角度は、本来の角度である直角となっている。
　しかし、車載カメラ１０の取付角度にずれが生じている場合には、鳥瞰変換しても、駐車枠の２つの角部Ａ，Ｂは、本来の角度である直角とはならない。
　図４（ｃ）には、車載カメラ１０の取付角度がずれている場合に、撮影画像を鳥瞰変換して得られる鳥瞰画像が例示されている。図示されるように、鳥瞰画像中での駐車枠の角部Ａの角度θａや、角部Ｂの角度θｂは、本来の角度である直角とは異なる角度となっている。従って、鳥瞰画像中での駐車枠の２つの角部Ａ，Ｂが、本来の角度で写っていなければ、車載カメラ１０の取付角度がずれているものと判断することができる。
　そこで、図３に示した取付角度調整処理では、撮影画像を鳥瞰画像に変換すると（Ｓ１０１）、鳥瞰画像中の駐車枠を形成する各辺が交差する角度（図４（ｃ）の例では角度θａおよび角度θｂ）と、駐車枠を形成する任意の一辺が車載カメラ１０の光軸に対してなす角度（（図４（ｃ）の例では左側の辺がなす角度θｃ）とを検出する（Ｓ１０２）。
　本実施例では、車両１から見て駐車枠の左側の辺が、「基準直線」に対応する。
　続いて、検出した３つの角度に基づいて、駐車枠に対する車載カメラ１０の角度（正確には、駐車枠に対して車載カメラ１０の光軸がピッチ方向になす角度と、車載カメラ１０がロール方向に回転した角度と、駐車枠の左側の辺に対して車載カメラ１０の光軸がヨウ方向になす角度）を算出する（Ｓ１０３）。尚、ピッチ方向とは、車載カメラ１０の光軸の先端が上下方向（鉛直方向）に移動するよう車載カメラ１０を回転させる方向であり、ロール方向とは、車載カメラ１０を光軸周りに回転させる方向である。また、ヨウ方向とは、車載カメラ１０の光軸の先端が左右方向（水平方向）に移動するよう車載カメラ１０を回転させる方向である。
　以下では、鳥瞰画像中の駐車枠から検出した３つの角度から、駐車枠に対する車載カメラ１０の角度を算出する方法を説明するが、その準備として、先ず始めに、撮影画像を鳥瞰画像に変換する方法について説明する。
　図５には、撮影画像を鳥瞰画像に変換する方法を説明するために用いる各種の座標系が示されている。図示されるように、車両１を基準とする直交座標系と、車載カメラ１０を基準とする直交座標系とを考える。そして、車両１を基準とする直交座標系を形成する各座標軸は、車両１の前後方向に対して直角かつ水平方向に取った座標軸をＸｏ軸とし、車両１の前後方向に取った座標軸をＹｏ軸とし、車両１の前後方向に対して直角かつ鉛直方向に取った座標軸をＺｏ軸とする。また、このような３つの座標軸（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）による座標を、以下では車両基準座標と称し、座標値を（ｘｏ、ｙｏ、ｚｏ）と表すものとする。
　車載カメラ１０を基準とする直交座標系を形成する各座標軸についても同様に、車載カメラ１０の光軸方向に取った座標軸をＣＹ軸とし、ＣＹ軸に直角かつ水平方向に取った座標軸をＣＸ軸とし、ＣＹ軸およびＣＸ軸に対して直角かつ上向きに取った座標軸をＣＺ軸とする。また、このような３つの座標軸（ＣＸ軸、ＣＹ軸、ＣＺ軸）による座標を、以下ではカメラ基準座標と称し、座標値を（ｃｘ、ｃｙ、ｃｚ）と表すものとする。
　また、車両基準座標（ｘｏ、ｙｏ、ｚｏ）とカメラ基準座標（ｃｘ、ｃｙ、ｃｚ）との関係は、車両１に取り付けられた車載カメラ１０の位置によって変化する。そこで、鳥瞰変換を容易とするために、車両１を基準とする直交座標系の原点Ｏが、車載カメラ１０を基準とする直交座標系の原点ＣＯに一致するように、車両１を基準とする直交座標系を平行移動させた新たな直交座標系を考える。この新たな直交座標系の各座標軸の中で、Ｘｏ軸に平行な座標軸をＸ軸とし、Ｙｏ軸に平行な座標軸をＹ軸とし、Ｚｏ軸に平行な座標軸をＺ軸とする。また、この新たな３つの座標軸（Ｘ軸、Ｙ軸、Ｚ軸）による座標は、以下では（解析用の）車両基準座標と称し、座標値を（ｘ、ｙ、ｚ）と表すものとする。
　このような（解析用の）車両基準座標を考えると、車載カメラ１０のピッチ方向の回転はＸ軸周りの回転と考えることができ、車載カメラ１０のロール方向の回転はＹ軸周りの回転と、車載カメラ１０のヨウ方向の回転はＺ軸周りの回転と考えることができる。
　更に、これら車両基準座標の座標値（ｘｏ、ｙｏ、ｚｏ）と、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）とは、図６に示す式（１）によって容易に変換することができる。尚、式（１）中のｔｘ、ｔｙ、ｔｚは、カメラ基準座標の原点ＣＯの車両基準座標でのｘｏ座標、ｙｏ座標、ｚｏ座標を表している。
　このように、車両基準座標の座標値（ｘｏ、ｙｏ、ｚｏ）と、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）とは相互に変換可能であり、また、解析にはもっぱら（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）が用いられる。そこで、以下では、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）を、単に、車両基準座標の座標値（ｘ、ｙ、ｚ）と略称する。
　このような車両基準座標の座標値（ｘ、ｙ、ｚ）と、カメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）とは、図７（ｂ）中に示した式（２）によって関係づけられている。ここで、式（２）中の［Ｐ］は、車両基準座標をピッチ方向に回転させるための回転行列である。また、式（２）中の［Ｒ］は、車両基準座標をロール方向に回転させるための回転行列であり、［Ｙ］は、車両基準座標をヨウ方向に回転させるための回転行列である。また、回転行列［Ｐ］中の角度θｐは、カメラ基準座標の車両基準座標に対するピッチ方向の回転角度であり、回転行列［Ｒ］中の角度θｒは、カメラ基準座標の車両基準座標に対するロール方向の回転角度である。更に、回転行列［Ｙ］中の角度θｐは、カメラ基準座標の車両基準座標に対するヨウ方向の回転角度である。
　車載カメラ１０で撮影される基準図形（ここでは駐車枠）の車両基準座標の座標値（ｘ、ｙ、ｚ）は、図７（ｂ）に示した式（２）によって、カメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）に変換される。
　こうしてカメラ基準座標に変換された基準図形の座標値（ｃｘ、ｃｙ、ｃｚ）は、撮影画像上での座標値（ｕ、ｖ）に変換することができる。尚、撮影画像上での座標値（ｕ、ｖ）を、以下では、画像面座標の座標値（ｕ、ｖ）と称するものとする。
　図８（ａ）～（ｃ）には、カメラ基準座標に変換された基準図形の座標値（ｃｘ、ｃｙ、ｃｚ）を、画像面座標の座標値（ｕ、ｖ）に変換する方法が示されている。図示されるように、カメラ基準座標の原点ＣＯから適切な距離Ｌに、車載カメラ１０の光軸（座標軸ＣＹ）に直交する平面（画像面）を設定する。こうすれば、車載カメラ１０の撮影画像は、カメラ基準座標上の撮影対象を、画像面に投影したものと考えることができる。
　従って、カメラ基準座標の座標軸ＣＹと画像面との交点を原点として、カメラ基準座標の座標軸ＣＸと平行に座標軸Ｕを取り、カメラ基準座標の座標軸ＣＺと平行に座標軸Ｖと取れば、地面に形成された基準図形（ここでは駐車枠）の座標値（ｃｘ、ｃｙ、ｃｚ）は、図８（ｃ）に示した式（３）によって、画像面上の座標値（ｕ、ｖ）に変換される。
　図９には、以上に説明した各座標値の関係がまとめて示されている。すなわち、車両基準座標の座標値（ｘ、ｙ、ｚ）は、図７（ｂ）中の式（２）によってカメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）に変換され、更に、図８（ｃ）中の式（３）によって画像面座標の座標値（ｕ、ｖ）に変換される。そして、この画像面座標の座標値（ｕ、ｖ）が撮影画像上での座標値に対応する。
　このように、車両基準座標の座標値（ｘ、ｙ、ｚ）と、画像面座標の座標値（ｕ、ｖ）とは一対一に対応しているから、図９中に破線の矢印で示したように、画像面座標の座標値（ｕ、ｖ）を車両基準座標の座標値（ｘ、ｙ、ｚ）に逆変換することも可能である。そして、鳥瞰画像は、車両基準座標の画像をＺ軸方向から見た画像であるから、車両基準座標の座標値（ｘ、ｙ、ｚ）のＺ軸成分を削除することによって容易に得ることができる。
　従って、画像面座標の座標値（ｕ、ｖ）を車両基準座標の座標値（ｘ、ｙ、ｚ）に逆変換し、得られた車両基準座標の座標値（ｘ、ｙ、ｚ）からＺ軸成分を削除するという一連の変換を行えば、撮影画像を鳥瞰変換することができる。更に、これらの一連の変換を合成した変換を実行する鳥瞰変換モジュールを形成することも可能である。
　図３に示した取付角度調整処理のＳ１０１では、このような鳥瞰変換モジュールを用いて、撮影画像を鳥瞰画像に変換する。尚、車両基準座標の座標値（ｘ、ｙ、ｚ）のＺ軸成分を削除して得られる座標値（ｘ、ｙ）を、鳥瞰座標の座標値（ｘ、ｙ）と称することがあるものとする。
　また、図７（ｂ）の式（２）に示されるように、車両基準座標の座標値（ｘ、ｙ、ｚ）からカメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）への変換は、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとに依存する。このことから当然に、撮像画像の画像面座標（ｕ、ｖ）を鳥瞰座標の座標値（ｘ、ｙ）に変換する鳥瞰変換も、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとに依存する。従って、鳥瞰変換モジュールは、車載カメラ１０の取付角度が適切な角度となっていることを前提として設定されている。
　そして、図４（ｃ）に例示したように、基準図形（ここでは駐車枠）の角度が本来の角度とは異なってしまうのは、車載カメラ１０の取付角度がずれているためと考えられる。
　そこで、図１０に示したように、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとを、鳥瞰変換モジュールの外部から設定可能としておき、これら３つの角度θｐ、θｒ、θｙを種々の組合せに変更して、撮影画像を鳥瞰画像に変換する。そして、得られた鳥瞰画像中の基準図形（駐車枠）から、図４（ｃ）に示した３つの角度θａ、θｂ、θｃを検出して、それら３つの角度θａ、θｂ、θｃを、図１１に例示した評価関数Ｈを用いて評価する。
　その結果、評価関数Ｈの値が最も小さくなった（あるいは評価関数Ｈの値が所定の許容値よりも小さくなった）角度θｐ、θｒ、θｙの組合せを、車載カメラ１０の光軸が基準図形（駐車枠）に対して成す角度として決定する。
　図３に示した取付角度調整処理のＳ１０３では、以上のようにして、駐車枠に対する車載カメラ１０の角度を算出する。
　もっとも、車載カメラ１０の駐車枠に対する角度を求めても、直ちに、車載カメラ１０の取付角度を調整可能となるわけではない。これは、車載カメラ１０の取付角度の調整は、車両１に対する取付角度を調整するのであって、車両１の駐車枠に対する角度が分からなければ、たとえ車載カメラ１０の駐車枠に対する角度が分かっても、調整するべき（車載カメラ１０の車両１に対する）取付角度は分からないためである。そして、特に車両１が駐車枠に対してヨウ方向になす角度については、ピッチ方向やロール方向の角度に比べて変動の影響が避けられない。この点について、図１２（ａ）～（ｃ）を用いて説明する。
　例えば、駐車枠に対してできるだけ傾かないように車両１を停車した後、鳥瞰画像に写った駐車枠の画像を解析して、車載カメラ１０の駐車枠に対する角度を求めたところ、ヨウ方向には角度θｙだけずれていたものとする。
　車両１は駐車枠に対してできるだけ傾かないように停車しているから、図１２（ａ）に示したように、車両１が駐車枠に対して傾いていないとすれば、車載カメラ１０が車両１に対してヨウ方向に角度θｙだけずれていることになる。
　しかし、車両１を駐車枠に対して傾かないように停車させることは難しいので、図１２（ｂ）に示したように、車両１が駐車枠に対して角度θｙだけ傾いていることも考えられる。この場合は、車載カメラ１０は車両１に対しては真っ直ぐに取り付けられていることになる。
　もちろん、実際には、図１２（ｃ）に示したように、車両１が駐車枠に対してヨウ方向に角度θｙｓ傾いて、その車両１に対して車載カメラ１０が角度θｙｃ傾いたために、結果として、車載カメラ１０が駐車枠に対して角度θｙ傾いたものと考えられる。
　同様なことは、ピッチ方向およびロール方向の角度についても起こり得る。しかし、車両１の駐車枠に対するピッチ方向およびロール方向の傾きは、車両１の乗員や積載状態（積載量や積載位置など）を一定にすることで、同じ角度に揃えることができる。このため、車両１の駐車枠に対するピッチ方向およびロール方向の角度は、予め見積もっておくことも可能である。
　これに対して、車両１の駐車枠に対するヨウ方向の傾きについては、常に一定の傾きとなるように条件を揃えることが困難である。従って、車両１の駐車枠に対するヨウ方向の角度θｙｓを何らかの方法で検出しなければ、車載カメラ１０の車両１に対するヨウ方向の角度θｙｃを知ることができず、車載カメラ１０の取付角度を調整することもできなくなる。
　そこで、図３に示した取付角度調整処理では、駐車枠に対する車載カメラ１０の角度を算出すると（Ｓ１０３）、車両１を一定距離だけ直進させて、新たに撮影した駐車枠の撮影画像を取得する（Ｓ１０４）。
　尚、車両１を移動させる距離は、原理的には、距離が長いほど、車両１の駐車枠に対するヨウ方向の角度θｙｓを精度良く検出することができる。しかし実際には、車両１を移動させる距離があまりに長くなると、車載カメラ１０の撮影範囲内から駐車枠が外れてしまう。また、たとえ車載カメラ１０の撮影範囲内に入っていても、駐車枠が車載カメラ１０から遠くなると、車載カメラ１０の解像度や、得られる像が歪み易くなる関係で、駐車枠の正確な形状を検出することが困難になる。このため、実際には、車両１を移動させる距離には適切な範囲が存在しており、本実施例では、２メートル～３メートルの範囲で車両１を直進させる。
　続いて、新たに取得した撮影画像を鳥瞰画像に変換する（Ｓ１０５）。そして、新たに得られた鳥瞰画像と、車両１を直進させる前に得られていた鳥瞰画像とを比較して、鳥瞰画像中での駐車枠の移動方向を検出することにより、車両１の駐車枠に対するヨウ方向の角度θｙｓを検出する（Ｓ１０６）。
　すなわち、図１３（ａ）に示されるように、モニター１１に表示された鳥瞰画像上で駐車枠が移動するのは、図１３（ｂ）に示すように、車両１が移動したことによって駐車枠が車両１から遠ざかったためである。従って、鳥瞰画像上での駐車枠の移動方向は、車両１が駐車枠に対して移動する方向となっており、そして、車両１が直進しているのであれば、車両１が駐車枠に対して移動する方向は、車両１の駐車枠に対する角度θｙｓとなる。このことから、鳥瞰画像上での駐車枠の移動方向を検出すれば、車両１の駐車枠に対する角度θｙｓを求めることができる。
　鳥瞰画像上で駐車枠が移動する方向は、例えば２つの鳥瞰画像間で画像相関を取ることによっても求めることもできるが、簡易的には、鳥瞰画像中の特徴点が移動する方向を検出することによって求めることができる。
　例えば、図１３（ａ）に例示したように、駐車枠の角部Ａ、あるいは角部Ｂの位置を特徴点として検出して、２つの鳥瞰画像間で角部Ａあるいは角部Ｂが移動する方向を求めることによって、車両１の駐車枠に対する角度θｙｓを求めることができる。
　図３に示した取付角度調整処理のＳ１０６では、このようにして、車両１の駐車枠に対する角度θｙｓを検出する。
　その後、Ｓ１０３で求めておいた車載カメラ１０の駐車枠に対するヨウ方向の角度θｙから、Ｓ１０６で求めた車両１の駐車枠に対するヨウ方向の角度θｙｓを減算することにより、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃを算出する（Ｓ１０７）。
　以上のようにして、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒと、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとが得られたら、これらの角度に基づいて、車載カメラ１０の車両１に対する取付角度を調整する（Ｓ１０８）。
　すなわち、ヨウ方向については、車載カメラ１０の車両１に対する取付角度θｙｃが求められているので、この取付角度θｙｃが適切な値となるように調整することができる。
　また、ピッチ方向およびロール方向については、車両１の駐車枠に対する傾きが同じとなるように乗員や積載状態（積載量や積載位置など）を揃えた状態で、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒが適切な値となるように、車載カメラ１０の取付角度を調整することができる。
　あるいは、乗員や積載状態（積載量や積載位置など）を揃えた状態で、車両１が駐車枠に対してピッチ方向およびロール方向に傾く角度を予め見積もっておき、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒから、これら見積もっておいた角度を減算してもよい。こうすれば、車載カメラ１０の車両１に対するピッチ方向およびロール方向の取付角度を求めることができるので、求めた角度が適切な角度となるように、車載カメラ１０の取付角度を調整することができる。
　尚、以上の説明では、車両１を直進させる前と後とで駐車枠の画像を撮影して鳥瞰画像に変換し、直進前の鳥瞰画像に基づいて車載カメラ１０の駐車枠に対する角度を算出し、直進前後の鳥瞰画像から、車両１の駐車枠に対する角度を検出するものとして説明した。
　しかし、直進後の鳥瞰画像に基づいて、車載カメラ１０の駐車枠に対する角度を算出することとしても良い。
　また、車両１の駐車枠に対する角度を検出するために用いた２つの鳥瞰画像の中の一方は、車載カメラ１０の駐車枠に対する角度を算出するために用いた鳥瞰画像であるものとして説明した。
　しかし、車載カメラ１０の駐車枠に対する角度を算出するために用いた鳥瞰画像とは別に、車両１の直進前後で新たな２つの鳥瞰画像を取得して、それらの鳥瞰画像に基づいて車載カメラ１０の駐車枠に対する角度を算出することとしても良い。
　以上に説明した第１実施例では、車両１の直進前と直進毎で撮影した基準図形（ここでは駐車枠）の画像を鳥瞰画像に変換し、それらの鳥瞰画像を解析することによって、車載カメラ１０の車両１に対する取付角度を調整することができる。このため、例えば車両１の後方あるいは前方には車載カメラ１０を搭載しているが、左右には搭載していない車両１であっても、車載カメラ１０の取付角度を調整することができる。
　また、車両１を基準図形（駐車枠）の近くに移動させて車載カメラ１０で基準図形の画像を撮影した後、車両１を直進させてもう一度、基準図形の画像を撮影すれば、車載カメラ１０の車両１に対する取付角度を求めることができる。このため、車載カメラ１０の取付角度を簡単に調整することが可能となる。
　加えて、始めに、基準図形（駐車枠）の近くで画像を撮影しているので、撮影画像中（あるいは鳥瞰画像中）での基準図形を容易に且つ確実に検出することができる。その後、車両１の直進中に基準図形をトラッキングしておけば、たとえ基準図形が遠くの位置で画像を撮影した場合でも、撮影画像中（あるいは鳥瞰画像中）での基準図形を誤検出することがない。
Ｃ．第２実施例：
　上述した第１実施例では、１つの鳥瞰画像に基づいて車載カメラ１０の基準図形（ここでは駐車枠）に対する角度を算出し、２つの鳥瞰画像に基づいて車両１の基準図形（駐車枠）に対する角度を検出するものとして説明した。しかし、複数の鳥瞰画像を用いて、車載カメラ１０の基準図形に対する角度を算出し、２つよりも多くの鳥瞰画像を用いて、車両１の基準図形に対する角度を検出してもよい。
　こうすれば、それぞれの角度を算出あるいは検出する際に混入する誤差の影響を小さくすることができるので、車載カメラ１０の取付角度をより正確に調整することができる。
　図１４には、第２実施例の制御装置２０の大まかな内部構成が示されている。第２実施例の制御装置２０は、図２を用いて前述した第１実施例の制御装置２０に対して、直進監視部２７が追加されている点が異なるが、その他の点については同様である。以下では、第１実施例の制御装置２０との相違点を中心として、第２実施例の制御装置２０について説明する。
　直進監視部２７は、車両１の車両情報センサー１２に接続されており、車両情報センサー１２から車両１の操舵角に関する情報を取得することによって、取付角度の検出中に車両１が直進状態にあるか否かを監視する。そして、取付角度の検出中に車両１が直進状態から逸脱した場合には、その旨を取付角度検出部２６に出力する。ここで、前述したように取付角度検出部２６とは、カメラ角度解析部２４での解析結果と、車両角度解析部２５での解析結果とを用いて、車両１に対する車載カメラ１０の取付角度を検出する部である。第２実施例の取付角度検出部２６は、取付角度の検出中に車両１が直進状態から逸脱した旨の情報を、取付角度検出部２６から受け取ると、それまでの検出途中の結果を破棄して、始めから取付角度の検出を開始する。
　また、直進監視部２７は、取付角度の検出中に車両１が直進状態から逸脱したことを検出すると、取付角度の検出中は車両１の直進状態を維持する旨の警告を、スピーカー３０などから出力する。
　このような直進監視部２７を備える第２実施例の制御装置２０は、車両１が直進状態にあるか否かを監視することができるので、複数の鳥瞰画像を用いて、車載カメラ１０の基準図形に対する角度や、車両１の基準図形に対する角度を検出することが可能となる。以下では、第２実施例の制御装置２０が、車載カメラ１０の取付角度を調整するために実施する取付角度調整処理について説明する。
　図１５、図１６、および図１７には、第２実施例の取付角度調整処理のフローチャートが示されている。この処理も、前述した第１実施例の取付角度調整処理と同様に、車両１を基準図形（ここでは駐車枠）の付近に移動させた後に開始される。
　図示されるように、第２実施例の取付角度調整処理でも、先ず始めは、基準図形（駐車枠）の撮影画像を車載カメラ１０から取得する（Ｓ２００）。
　続いて、第２実施例の取付角度調整処理では、取得した撮影画像中の駐車枠を検出して、撮影画像中に予め設定しておいた所定範囲内に駐車枠が写っているか否かを判断する（Ｓ２０１）。
　その結果、撮影画像中の所定範囲内に駐車枠が写っていない場合は（Ｓ２０１：ｎｏ）、車両１を停車した位置が適切でない旨の警告を、スピーカー３０やモニター１１などから出力する（Ｓ２０２）。そして、取得した撮影画像を破棄した後（Ｓ２０３）、Ｓ２００に戻って、もう一度、駐車枠を撮影した撮影画像を取得する。
　詳細には後述するが、第２実施例の取付角度調整処理では、予め設定されている制限距離内で車両１を移動させながら、駐車枠の撮影画像を取得する。従って、始めに車両１を駐車枠に対して正しい位置に停車していなければ、制限距離内で車両１を移動させている間に、駐車枠が車載カメラ１０の撮影範囲から外れてしまう可能性がある。
　そこで、始めに駐車枠の撮影画像を取得したら、その撮影画像中で適切な範囲内に駐車枠が写っているか否かを判断し（Ｓ２０１）、適切な範囲内に駐車枠が写っていない場合は（Ｓ２０１：ｎｏ）、その旨を運転者に警告することとしている。
　これに対して、撮影画像中の適切な範囲内に駐車枠が写っていると判断した場合は（Ｓ２０１：ｙｅｓ）、車両１を直進させながら、新たな撮影画像の取得を継続する（Ｓ２０４）。
　そして、車両情報センサー１２から検出した車速が、許容速度以内か否かを判断して（Ｓ２０５）、許容速度を超えていた場合は（Ｓ２０５：ｎｏ）、車速が高い旨の警告を、スピーカー３０あるいはモニター１１を用いて出力する（Ｓ２０６）。尚、車速が許容速度より高い場合に警告する理由については後述する。
　また、車速が許容速度以内であった場合は（Ｓ２０５：ｙｅｓ）、運転者に対する警告は行わない。
　続いて、車両１が直進状態か否かを判断する（Ｓ２０７）。車両１が直進状態か否かは、車両情報センサー１２から操舵角に関する情報を取得することによって判断することができる。
　その結果、車両１が直進状態でなかった場合は（Ｓ２０７：ｎｏ）、車両１の直進状態を保つ旨の警告を、スピーカー３０あるいはモニター１１を用いて出力する（Ｓ２０８）。そして、それまでに取得した全ての撮影画像を破棄した後（Ｓ２０９）、処理の先頭に戻って、駐車枠の撮影画像を取得する処理（Ｓ２００）からやり直す。ここで、全ての撮影画像を破棄する（Ｓ２０９）のは、車両１の駐車枠に対する角度θｙｓは、車両１が直進状態にあることを前提として検出しているので（図１３（ａ）、（ｂ）参照）、車両１が直進状態から逸脱すると、それまでの撮影画像は使えなくなるためである。
　一方、車両１が直進状態を保っていた場合は（Ｓ２０７：ｙｅｓ）、取得した撮影画像の枚数が、目標枚数（たとえば５０枚）に達したか否かを判断する（Ｓ２１０）。
　その結果、撮影画像の枚数が目標枚数に達していない場合は（Ｓ２１０：ｎｏ）、車両１の移動距離が制限距離に達したか否かを判断する（Ｓ２１１）。これは、第１実施例で説明したように、駐車枠が車両１から遠くなると、駐車枠を精度良く検出することが困難となるためである。第２実施例の取付角度調整処理では、制限距離が２メートル～３メートルの範囲から選択された所定の距離に設定されている。
　そして、車両１の移動距離が制限距離に達していない場合は（Ｓ２１１：ｎｏ）、Ｓ２０５に戻って、車速が許容速度以内か否かを判断した後、続く上述した一連の処理（Ｓ２０６～Ｓ２１１）を繰り返す。
　このような処理を繰り返しているうちに、撮影画像の枚数が目標枚数に達する前に（Ｓ２１０：ｎｏ）、車両１の移動距離が制限距離に達した場合には（Ｓ２１１：ｙｅｓ）、撮影画像の取得を中断する（図１６のＳ２１２）。
　そして、車両１の移動距離が制限距離を超えた旨の警告を、スピーカー３０あるいはモニター１１などから出力し（Ｓ２１３）、更に、車両１を一旦停止させて進行方向を反転させる旨の指示を、運転者に対して出力する（Ｓ２１４）。ここで、撮影画像の取得を中断し、車両１の進行方向を反転させる旨を指示しているのは、車両１がそれ以上に駐車枠から離れると、駐車枠の検出精度が低下する虞が生じるためである。
　尚、第２実施例では、車両１の停止と進行方向の反転とを運転者に対して指示するものとして説明する。しかし、運転者に対して指示するのではなく、制御装置２０が車両１の各種アクチュエータに対して指示することによって、車両１の停止と進行方向の反転とを自動で実行してもよい。
　その後、進行方向を反転させて車両１が進行を開始したか否かを判断する（Ｓ２１５）。車両１が進行を開始したか否か、および進行方向が反転しているか否かは、車両情報センサー１２から車両情報を取得することによって判断することができる。
　その結果、進行方向を反転させて車両１が進行を開始していないと判断した場合には（Ｓ２１５：ｎｏ）、同様の判断を繰り返すことによって、そのまま待機状態となる。その結果、反転した方向に進行を開始したと判断したら（Ｓ２１５：ｙｅｓ）、撮影画像の取得を再開する（Ｓ２１６）。その後は、図１５のＳ２０５に戻って、車速が許容速度以内か否かを判断した後、続く上述した一連の処理（Ｓ２０６～Ｓ２１１）を繰り返す。
　ここで、第２実施例の取付角度調整処理では、車両１の車速が許容速度を超えると、車速が高い旨を警告する（Ｓ２０６）理由について説明する。
　上述したように第２実施例の取付角度調整処理では、車両１を制限距離内で移動させながら、目標枚数の撮影画像を取得する。従って、車両１の車速が高いと、取得した撮影画像が目標枚数に達するまでの間に、何度も車両１を停止させて進行方向を反転させなければならなくなるので、目標枚数の撮影画像を取得するために要する時間が長くなってしまう。
　また、車両１を停止させて、進行方向を反転させる回数が増えるほど、車両１が直進状態から逸脱する可能性が高くなる。そして、直進状態から逸脱した場合には、それまでに取得した撮影画像は破棄されてしまうので、目標枚数の撮影画像を取得するために要する時間は、更に長くなってしまう。
　従って、車両１の移動速度は、あまり高くない方が望ましい。そこで、第２実施例の取付角度調整処理では、車両１の車速が許容速度を超えている場合には（Ｓ２０５：ｎｏ）、車速が高い旨を警告する（Ｓ２０６）こととしている。
　尚、車両１の理想的な移動速度としては、車両１を１回往復させる間に、撮影画像の取得枚数が目標枚数に達する程度の速度が望ましい。そこで、このような理想的な移動速度を含む目標速度範囲を設定しておき、車両情報センサー１２で検出した車速が目標速度範囲より高くなった場合だけでなく、目標速度範囲よりも低くなった場合にも、その旨を警告するようにしても良い。
　以上のようにして、車両１を往復動させながら撮影画像を取得した結果、取得した撮影画像が目標枚数に達したと判断したら（Ｓ２１０：ｙｅｓ）、取得した全ての撮影画像を鳥瞰画像に変換して、それぞれの鳥瞰画像中から駐車枠を検出する（図１７のＳ２１７）。
　そして、それぞれの鳥瞰画像中から検出した駐車枠の座標値を平均することによって、平均駐車枠を算出する（Ｓ２１８）。平均駐車枠は、目標枚数の鳥瞰画像中から検出した駐車枠を平均して算出されているので、たとえ個々の鳥瞰画像から検出した駐車枠の位置にノイズが混入していた場合でも、ノイズの影響を除去することができる。その結果、駐車枠を精度良く検出することができる。
　こうして得られた平均駐車枠に対して、前述した第１実施例の取付角度調整処理と同様に、鳥瞰画像中の駐車枠を形成する各辺が交差する角度と、駐車枠を形成する任意の一辺が車載カメラ１０の光軸に対してなす角度とを検出する（Ｓ２１９）。
　続いて、前述した第１実施例の取付角度調整処理と同様に、検出した各辺の角度に基づいて、駐車枠に対する車載カメラ１０の角度を算出する（Ｓ２２０）。
　続いて、Ｓ２１７で変換した各鳥瞰画像に基づいて、鳥瞰画像上での駐車枠の移動方向を検出することにより、駐車枠に対する車両１のヨウ方向の角度θｙｓ（図１３（ａ）、（ｂ）参照）を検出する（Ｓ２２１）。第２実施例の取付角度調整処理では、目標枚数の鳥瞰画像を用いて、鳥瞰画像上での駐車枠の移動方向を検出することができる。このため、個々の鳥瞰画像にノイズが混入していた場合でも、ノイズの影響を受けることなく、鳥瞰画像上での駐車枠の移動方向を精度良く検出することができ、その結果、駐車枠に対する車両１のヨウ方向の角度θｙｓも精度良く検出することができる。
　その後の処理は、前述した第１実施例の取付角度調整処理と同様である。すなわち、Ｓ２１９で求めておいた車載カメラ１０の駐車枠に対するヨウ方向の角度θｙから、Ｓ２２１で求めた車両１の駐車枠に対するヨウ方向の角度θｙｓを減算することにより、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃを算出する（Ｓ２２２）。
　その後、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒと、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとに基づいて、車載カメラ１０の車両１に対する取付角度を調整する（S２２３）。
　以上に説明した第２実施例の取付角度調整処理では、複数の撮影画像に基づいて車載カメラ１０の取付角度を検出するので、ノイズの影響を受けることなく、確実に且つ精度良く取付角度を検出することができ、その結果、取付角度を正確に調整することができる。
　また、複数の撮影画像を撮影するためには、車両１の直進状態を保ったまま、車両１を往復させればよいので、何ら作業が複雑になったり、煩雑になったりすることがなく、簡単に車載カメラ１０の取付角度を調整することができる。
　加えて、車両１が直進状態にあるか否かを監視して、直進状態から逸脱した場合には、その旨を警告する。このため、車両１が直進状態から逸脱したことに気付かないまま、車載カメラ１０の取付角度の検出を継続して、取付角度を誤検出してしまうことも回避することができる。
　以上、各種の実施例について説明したが、本開示は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
　例えば、上述した各種の実施例では、車両１を直進させることによって、車両１の駐車枠に対するヨウ方向の角度θｙｓを求めるものとして説明した。しかし、車両１に搭載された操舵角センサーの情報を用いれば、車両１を必ずしも直進させなくても、駐車枠に対するヨウ方向の角度θｙｓを求めることが可能である。
　すなわち、車両１の操舵角および車速が分かれば、駐車枠に対する車両１の相対位置の変化およびヨウ方向の角度の変化を推定することができる。従って、仮に、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃが設計値通りであれば、撮影画像を鳥瞰変換して得られた画像中での駐車枠の移動量および移動方向は、推定した移動量および移動方向と一致するはずである。逆に、一致していないのであれば、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃが設計値からずれていることになる。
　そこで、ヨウ方向の取付角度θｙｃを様々な値に仮定して、鳥瞰変換した画像中での駐車枠の移動量および移動方向を算出する。そして、車両１の操舵角および車速から推定した値に最も近い値が得られる角度を、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとする。こうすれば、車両１を直進させない場合でも、車載カメラ１０の取付角度を簡単に検出して調整することが可能となる。
 

Claims (11)

  1. 　水平方向よりも斜め下方の方向で車両に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラの取付角度調整方法であって、
    　少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影する撮影工程（Ｓ１００、Ｓ２０４）と、
    　前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換工程（Ｓ１０１、Ｓ２１７）と、
    　前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定工程（Ｓ１０３、Ｓ２２０）と、
    　前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定工程（Ｓ１０６、Ｓ２２１）と、
    　前記カメラ角度決定工程で得られた角度成分と、前記車両角度決定工程で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を調整する調整工程（Ｓ１０８、S２２３）と
    　を備える車載カメラの取付角度調整方法。
  2. 　請求項１に記載の車載カメラの取付角度調整方法であって、
    　前記カメラ角度決定工程は、
    　前記鳥瞰画像中の前記基準図形から、該基準図形に含まれる前記３本の直線の中で基準として用いる１本の基準直線と、他の２本の直線とを抽出して、該基準直線が他の２本の直線に対してなす角度と、該基準直線が前記車載カメラの光軸に対してなす角度とを検出する工程（Ｓ１０２、Ｓ２１９）を備え、
    　前記基準直線が他の２本の直線に対してなす角度と前記既知の角度との偏差と、該基準直線が前記車載カメラの光軸に対してなす角度と所定角度との偏差との合計が、所定の許容範囲内となるように、前記ピッチ方向の角度成分と、前記ロール方向の角度成分と、前記ヨウ方向の角度成分とを決定する工程であり、
    　前記車両角度決定工程は、少なくとも２箇所で得られた前記鳥瞰画像から、該鳥瞰画像上での前記基準図形の移動方向を検出することによって、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する工程である
    　車載カメラの取付角度調整方法。
  3. 　請求項２に記載の車載カメラの取付角度調整方法であって、
    　前記撮影工程は、前記基準図形として駐車枠を撮影する工程である
    　車載カメラの取付角度調整方法。
  4. 　請求項１ないし請求項３の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両角度決定工程は、前記車両を直進させながら複数の前記撮影画像を撮影することによって、前記ヨウ方向への角度成分を決定する工程である
    　車載カメラの取付角度調整方法。
  5. 　請求項１ないし請求項４の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両角度決定工程は、前記撮影工程で前記基準図形を撮影した後、該基準図形から遠ざかる方向に前記車両を直進させて該基準図形を再び撮影することによって、前記ヨウ方向への角度成分を決定する工程である
    　車載カメラの取付角度調整方法。
  6. 　請求項１ないし請求項５の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両角度決定工程は、前記車両を３メートル以内で直進させて複数の前記撮影画像を撮影することによって、前記ヨウ方向への角度成分を決定する工程である
    　車載カメラの取付角度調整方法。
  7. 　請求項１ないし請求項６の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両を直進させる前に撮影した前記撮影画像中の所定範囲内に前記基準図形が写っているか否かを判断して、該基準図形が写っていない場合には、警告を出力する工程（Ｓ２０１、Ｓ２０２）を備える
    　車載カメラの取付角度調整方法。
  8. 　請求項１ないし請求項７の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両の直進中に該車両の直進状態が維持されているか否かを監視して、該直進状態が維持されていない場合には、警告を出力する工程（Ｓ２０７、Ｓ２０８）を備える
    　車載カメラの取付角度調整方法。
  9. 　請求項１ないし請求項８の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両の直進中に該車両の移動速度が所定の許容速度以内か否かを判断して、該移動速度が該許容速度を超えた場合には、警告を出力する工程（Ｓ２０５、Ｓ２０６）を備える
    　車載カメラの取付角度調整方法。
  10. 　請求項１ないし請求項９の何れか一項に記載の車載カメラの取付角度調整方法であって、
    　前記車両の直進中に該車両の移動範囲が所定の制限距離の範囲内を超えたか否かを判断して、該制限距離の範囲内を超えた場合には、警告を出力する工程（Ｓ２１１、Ｓ２１３）を備える
    　車載カメラの取付角度調整方法。
  11. 　水平方向よりも斜め下方の方向で車両（１）に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラ（１０）の取付角度検出装置（２０）であって、
    　少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影した撮影画像を取得する撮影画像取得部（２１）と、
    　前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換部（２２）と、
    　前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定部（２４）と、
    　前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定部（２５）と、
    　前記カメラ角度決定部で得られた角度成分と、前記車両角度決定部で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を検出する取付角度検出部（２６）と
    　を備える車載カメラの取付角度検出装置。
PCT/JP2015/002791 2014-06-11 2015-06-02 車載カメラの取付角度調整方法および取付角度検出装置 WO2015190066A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112015002764.5T DE112015002764B4 (de) 2014-06-11 2015-06-02 Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014120318A JP6450530B2 (ja) 2014-06-11 2014-06-11 車載カメラの取付角度調整処理、取付角度検出装置
JP2014-120318 2014-06-11

Publications (1)

Publication Number Publication Date
WO2015190066A1 true WO2015190066A1 (ja) 2015-12-17

Family

ID=54833183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002791 WO2015190066A1 (ja) 2014-06-11 2015-06-02 車載カメラの取付角度調整方法および取付角度検出装置

Country Status (3)

Country Link
JP (1) JP6450530B2 (ja)
DE (1) DE112015002764B4 (ja)
WO (1) WO2015190066A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111819091A (zh) * 2018-02-16 2020-10-23 塞夫霍兰德有限公司 用于半拖车列车的移动传感器装置、移动传感器装置在半拖车上的布置、获取半拖车列车信息的方法、中央装置和半拖车牵引车
CN113766211A (zh) * 2021-08-24 2021-12-07 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565769B2 (ja) * 2016-04-03 2019-08-28 株式会社デンソー 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
JP7196789B2 (ja) * 2019-07-02 2022-12-27 株式会社デンソー 車載センサ装置
CN112581547B (zh) * 2020-12-30 2022-11-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置
JP2008182652A (ja) * 2007-01-26 2008-08-07 Sanyo Electric Co Ltd カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP2009212734A (ja) * 2008-03-04 2009-09-17 Alpine Electronics Inc 自動校正単眼ステレオ視装置
JP2010199712A (ja) * 2009-02-23 2010-09-09 Ricoh Co Ltd 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置
JP2013115540A (ja) * 2011-11-28 2013-06-10 Clarion Co Ltd 車載カメラシステム及びその較正方法、及びその較正プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5491235B2 (ja) 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP5820787B2 (ja) 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP6009894B2 (ja) 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置
JP2008182652A (ja) * 2007-01-26 2008-08-07 Sanyo Electric Co Ltd カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP2009212734A (ja) * 2008-03-04 2009-09-17 Alpine Electronics Inc 自動校正単眼ステレオ視装置
JP2010199712A (ja) * 2009-02-23 2010-09-09 Ricoh Co Ltd 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置
JP2013115540A (ja) * 2011-11-28 2013-06-10 Clarion Co Ltd 車載カメラシステム及びその較正方法、及びその較正プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111819091A (zh) * 2018-02-16 2020-10-23 塞夫霍兰德有限公司 用于半拖车列车的移动传感器装置、移动传感器装置在半拖车上的布置、获取半拖车列车信息的方法、中央装置和半拖车牵引车
US11958411B2 (en) 2018-02-16 2024-04-16 Saf-Holland Gmbh Mobile sensor device for a semitrailer train, arrangement of mobile sensor devices on a semitrailer, method for acquiring information for a semitrailer train, central device and semitrailer tractor
CN111819091B (zh) * 2018-02-16 2024-05-03 塞夫霍兰德有限公司 用于半拖车列车的移动传感器装置、移动传感器装置在半拖车上的布置、获取半拖车列车信息的方法、中央装置和半拖车牵引车
CN113766211A (zh) * 2021-08-24 2021-12-07 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法
CN113766211B (zh) * 2021-08-24 2023-07-25 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法

Also Published As

Publication number Publication date
JP6450530B2 (ja) 2019-01-09
DE112015002764B4 (de) 2021-07-29
DE112015002764T5 (de) 2017-03-23
JP2016001776A (ja) 2016-01-07

Similar Documents

Publication Publication Date Title
CN108886606B (zh) 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法
JP5229451B2 (ja) 自動車用車線離脱防止方法
WO2015190066A1 (ja) 車載カメラの取付角度調整方法および取付角度検出装置
JP4763250B2 (ja) 物体検出装置
US8611609B2 (en) Lane line estimating apparatus
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
JP4690476B2 (ja) 車載カメラの校正装置
JP4803450B2 (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US7697029B2 (en) Image display apparatus and method
JP4958279B2 (ja) 物体検出装置
JP3600378B2 (ja) 車両の外界認識装置
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
WO2014045344A1 (ja) 車載カメラのｆｏｅ設定装置及びｆｏｅ設定方法
JP6032034B2 (ja) 物体検知装置
JP6844508B2 (ja) 安全装置
JP2016053748A (ja) 運転支援装置および運転支援方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP4501708B2 (ja) 運転者の顔向き判定装置
WO2018130605A1 (en) Method for calibrating a camera for a motor vehicle considering a calibration error, camera as well as motor vehicle
JP2015182646A (ja) 撮影装置
JP6824759B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JP4462533B2 (ja) 路面走行レーン検出装置
JP2019023081A (ja) 撮影装置
JP2019120631A (ja) カメラずれ検出装置およびカメラずれ検出方法
JP7511992B2 (ja) 車両支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15807318

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112015002764

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15807318

Country of ref document: EP

Kind code of ref document: A1