WO2015079980A1 - カメラ校正装置 - Google Patents

カメラ校正装置 Download PDF

Info

Publication number
WO2015079980A1
WO2015079980A1 PCT/JP2014/080530 JP2014080530W WO2015079980A1 WO 2015079980 A1 WO2015079980 A1 WO 2015079980A1 JP 2014080530 W JP2014080530 W JP 2014080530W WO 2015079980 A1 WO2015079980 A1 WO 2015079980A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
calibration
camera
unit
coordinate system
Prior art date
Application number
PCT/JP2014/080530
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
青木　利幸
岡田　司
啓二 佐藤
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US15/033,941 priority Critical patent/US10192309B2/en
Priority to EP14865838.8A priority patent/EP3076654A4/en
Priority to CN201480064709.6A priority patent/CN105765963B/zh
Publication of WO2015079980A1 publication Critical patent/WO2015079980A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a camera calibration device.
  • the entire image of the vehicle is photographed by a plurality of cameras, the captured images obtained from each camera are converted into a bird's-eye view image, and the plurality of bird's-eye view images are synthesized.
  • a bird's-eye view display device for displaying the image on a monitor is known.
  • it is necessary to perform precise positioning between the bird's-eye view images it is required to calibrate the camera installation state, for example, the camera installation position and the installation angle with high accuracy.
  • Patent Document 1 it is determined whether or not the calibration index arranged at a predetermined location around the vehicle is properly photographed, and when it is determined that the calibration index is not properly photographed, A camera adjustment device is disclosed that guides and outputs the state and measures to be taken appropriately.
  • the present invention accurately calibrates the installation state of at least two cameras that capture a captured image for overhead image synthesis.
  • a camera calibration device that images at least one index with at least two cameras and calibrates the installation state of at least two cameras based on the captured images of the at least two cameras,
  • An extraction unit that extracts a feature amount of at least one index based on captured images of at least two cameras; a primary calibration unit that calculates each position of at least two cameras in the index coordinate system based on the feature amount;
  • a secondary calibration unit that coordinates-converts the position of each camera in the index coordinate system calculated by the primary calibration unit to the position of each camera in the vehicle coordinate system.
  • an overhead image can be generated based on at least two captured images without physically adjusting the installation state of at least two cameras that capture the captured image for overhead image synthesis.
  • calibration can be performed with high precision at a dealer repair shop, a user parking lot, or a site where a large vehicle is assembled at a delivery destination.
  • FIG. 1 shows an example of an environment in which a camera is calibrated using the camera calibration apparatus according to the first embodiment of the present invention.
  • a vehicle 201 is, for example, a passenger car, and is parked in a car dealer factory or a user's home parking lot.
  • cameras 102a, 102b, 102c, and 102d are installed.
  • the in-vehicle device 100 is mounted on the vehicle 201 and connected to the cameras 102a to 102d.
  • the cameras 102a to 102d are composed of wide-angle cameras such as fisheye cameras, for example, and are directed to the ground around the vehicle 201.
  • the camera 102 a is provided in the front part of the vehicle 201, captures an imaging range 202 a in front of the vehicle 201 for each frame, and outputs a captured image A 1 to the in-vehicle device 100.
  • the camera 102b is provided in the rear part of the vehicle 201, images the imaging range 202b behind the vehicle 201 for each frame, and outputs the captured image B1 to the in-vehicle device 100.
  • the camera 102 c is provided on the left side of the vehicle 201, captures the imaging range 202 c on the left side of the vehicle 201 for each frame, and outputs the captured image C 1 to the in-vehicle device 100.
  • the camera 102d is provided on the right side of the vehicle 201, captures the imaging range 202d on the right side of the vehicle 201 for each frame, and outputs the captured image D1 to the in-vehicle device 100.
  • the camera 102a is installed at the center of the front of the vehicle, its optical axis faces the front of the vehicle, and the camera 102b is installed at the center of the rear of the vehicle, and its optical axis faces the rear of the vehicle. In the vehicle longitudinal direction, the optical axis of the camera 102c faces the left side of the vehicle, and the optical axis of the camera 102d faces the right side of the vehicle.
  • the in-vehicle device 100 generates a bird's-eye view image 250 around the vehicle 201 as shown in FIG. 2 based on the captured images A1 to D1 of the cameras 102a to 102d, and displays it on a display unit provided in the driver's seat.
  • the bird's-eye view image 250 illustrated in FIG. 2 includes an image region 250a, an image region 250b, an image region 250c, and an image region 250d.
  • the image of the image area 250a is generated based on the captured image A1 output from the camera 102a.
  • the image in the image area 250b is generated based on the captured image B1 output from the camera 102b.
  • the image in the image area 250c is generated based on the captured image C1 output from the camera 102c.
  • the image in the image area 250d is generated based on the captured image D1 output from the camera 102d.
  • the X1 axis and the Y1 axis in FIG. 2 are the vehicle coordinate system, and the coordinate origin is a predetermined ground height position at the center of the front of the vehicle.
  • the center position of the camera 102a is set as the coordinate origin.
  • the height direction of the vehicle is represented by the coordinate value of the Z1 axis, but is not shown in FIG.
  • the installation positions of the cameras 102a to 102d are defined by coordinate values (x, y, z) in the vehicle coordinate system, and the installation angles are defined by angles ( ⁇ roll, ⁇ pitch, ⁇ yaw). ⁇ roll is the roll angle of the camera optical axis, ⁇ pitch is the pitch angle of the camera optical axis, and ⁇ yaw is the yaw angle of the camera optical axis.
  • the in-vehicle device 100 provides the driver with information related to the surrounding environment of the vehicle 201 by displaying an overhead image 250 when the vehicle 201 is parked, for example.
  • the in-vehicle device 100 calibrates the installation state of the cameras 102a to 102d in order to properly generate the overhead image 250.
  • the service person in order to calibrate the installation state of the cameras 102a to 102d, puts predetermined calibration indicators 101a, 101b, 101c, and 101d on the ground on the right front, left front, right rear, and left rear of the vehicle 201. Each is installed.
  • the calibration indicators 101a to 101d are, for example, rectangular thin flat plates, and each surface has a rectangular figure painted black. In FIG. 1, the filling of a rectangular figure is expressed by hatching.
  • the imaging range 202a and the imaging range 202d are partially overlapped at the front right side of the vehicle 201, and a range in which they overlap is referred to as a common imaging range 203a.
  • the imaging range 202a and the imaging range 202c partially overlap at the front left side of the vehicle 201, and a range in which they overlap is referred to as a common imaging range 203b.
  • the imaging range 202b and the imaging range 202d are partially overlapped on the right rear side of the vehicle 201, and a range in which they overlap is referred to as a common imaging range 203c.
  • the imaging range 202b and the imaging range 202c partially overlap at the left rear of the vehicle 201, and a range in which they overlap is referred to as a common imaging range 203d.
  • each of the common imaging ranges 203a to 203d is indicated by a bold line.
  • calibration indices 101a, 101b, 101c, and 101d are set to a common imaging range 203a. , 203b, 203c, and 203d, respectively.
  • the positions of the common imaging ranges 203a to 203d change according to the installation state of the cameras 102a to 102d.
  • a rough range indicating a rough position of the common imaging ranges 203a to 203d with the vehicle 201 as a reference is posted.
  • the service person installs the calibration indices 101a to 101d inside the approximate range according to the calibration manual.
  • the approximate range is also stored in advance in the in-vehicle device 100.
  • the calibration indices 101a to 101d may be installed in any direction as long as the surface having a rectangular figure is oriented vertically upward (perpendicular to the paper surface).
  • the length L of the four sides of the rectangular figures of the calibration indices 101a to 101d is published in the calibration manual and is known data that can be known by service personnel.
  • the four corners of the figure on the rectangle are called feature points.
  • FIG. 3 is a block configuration diagram of the in-vehicle device 100 which is the camera calibration device according to the first embodiment of the present invention.
  • the in-vehicle device 100 includes an image acquisition unit 103, an input unit 104, an image appropriateness determination unit 105, a calibration unit 106, a calibration appropriateness determination unit 107, a state analysis unit 108, a display unit 109, and an overhead image generation unit. 110 and a fine adjustment unit 111.
  • the image acquisition unit 103 acquires captured images A1, B1, C1, and D1 from the cameras 102a to 102d, respectively, and stores the captured images A1 to D1 in a memory (not shown).
  • the input unit 104 is an input device such as a mouse, a keyboard, or a touch panel.
  • the service person uses the input unit 104 to input parameters necessary for calibration of the cameras 102a to 102d in accordance with the calibration manual, and performs an operation for starting calibration.
  • the parameters necessary for the calibration of the cameras 102a to 102d are, for example, the length L of the four sides of the rectangular figure of the calibration indices 101a to 101d, the characteristics of the camera lens of the cameras 102a to 102d, and the like.
  • Information corresponding to the input operation is input to the image suitability determination unit 105, the calibration unit 106, and the fine adjustment unit 111.
  • the image appropriateness determination unit 105 determines whether the captured images A1 to D1 acquired by the image acquisition unit 103 are appropriate.
  • the image appropriateness determination unit 105 corrects distortions caused by the characteristics of the camera lenses of the cameras 102a to 102d with respect to the captured images A1 to D1, and generates corrected images A2 to D2 (described later). Then, the image appropriateness determination unit 105 detects the feature points of the calibration indices 101a to 101d based on the corrected images A2 to D2, and calculates the coordinates of the feature points of the captured images A1 to D1.
  • the feature point coordinates in the corrected images A2 to D2 are referred to as feature point coordinates.
  • the image appropriateness determination unit 105 determines whether or not the image is appropriate based on whether or not the feature point coordinates are within the above-described approximate range.
  • the calibration unit 106 calculates the installation positions and the installation angles of the cameras 102a to 102d in the vehicle coordinate system of the overhead image 250 based on the feature point coordinates of the calibration indices 101a to 101d calculated by the image appropriateness determination unit 105. Then, the calibration unit 106 adjusts the setting values of the installation position and the installation angle so that the overhead image 250 is appropriately generated by the overhead image generation unit 110.
  • the calibration appropriateness determination unit 107 determines whether or not the calibration result by the calibration unit 106 is appropriate by a method described later.
  • the determination result of the calibration appropriateness determination unit 107 is output to the state analysis unit 108.
  • the calibration appropriateness determination unit 107 displays the determination result on the display unit 109.
  • the state analysis unit 108 analyzes the cause of the failure in calibration of the installation states of the cameras 102a to 102d based on the outputs of the image appropriateness determination unit 105, the calibration unit 106, and the calibration appropriateness determination unit 107.
  • the state analysis unit 108 outputs a countermeasure method for eliminating the cause found as a result of the analysis to the display unit 109 and instructs the service person.
  • the overhead image generation unit 110 generates the overhead image 250 based on the corrected images A2 to D2.
  • the in-vehicle device 100 stores a mapping table in which the correspondence relationship between the pixels of the corrected images A2 to D2 and the pixels on the overhead image 250 is stored.
  • the overhead image generation unit 110 converts the corrected images A2 to D2 into the overhead image 250 with reference to this mapping table.
  • the mapping table is adjusted by the calibration unit 106 based on the installation positions and installation angles of the cameras 102a to 102d after calibration.
  • the fine adjustment unit 111 displays a bird's-eye view image and an adjustment screen for adjusting the installation position and installation angle of the camera on the display unit 109, and causes the service person to finely adjust the installation position and installation angle of the camera.
  • the fine adjustment unit 111 adjusts the installation positions and installation angles of the cameras 102a to 102d in response to an input operation via the input unit 104 by a service person.
  • the image acquisition unit 103 starts acquiring the captured images A1 to D1.
  • the image appropriateness determination unit 105 also starts operation, and determines whether or not the captured images A1 to D1 are appropriate.
  • the calibration unit 106 operates to calculate the installation positions and installation angles of the cameras 102a to 102d.
  • the calibration appropriateness determination unit 107 determines whether or not the calibration by the calibration unit 106 is appropriate.
  • the state analysis unit 108 When the captured image is determined to be inappropriate by the image appropriateness determination unit 105 or when the calibration appropriateness determination unit 107 determines that the calibration is inappropriate, the state analysis unit 108 has failed to calibrate the installation state of the cameras 102a to 102d. Analyze the cause. For example, the state analysis unit 108 analyzes the cause of the installation positions of the calibration indices 101a to 101d deviating from the common imaging ranges 203a to 203d. The state analysis unit 108 displays a countermeasure method according to the analysis result on the display unit 109. The service person takes the countermeasure displayed on the display unit 109 and tries to calibrate the cameras 102a to 102d again.
  • the image appropriateness determination unit 105 includes a corrected image generation unit 151, a calibration index recognition unit 152, a feature point coordinate calculation unit 153, an image determination unit 154, and a feature point input request unit 155. Have.
  • the corrected image generation unit 151 corrects the distortion caused by the characteristics of the camera lenses of the cameras 102a to 102d with respect to the captured images A1 to D1, and generates corrected images A2 to D2.
  • Information regarding distortion caused by the characteristics of the camera lenses of the cameras 102a to 102d is set in advance.
  • the lenses of the cameras 102a to 102d are lenses with a short focal length such as fish-eye lenses, and the captured images are distorted. Therefore, it is necessary to correct the distortion in order to display it as an overhead image on the display monitor. Therefore, the corrected image generation unit 151 performs distortion correction using the mapping table described above.
  • FIG. 5 is a diagram illustrating an example of the corrected image A2.
  • the corrected image A2 includes images of calibration indices 101a and 101b located inside the imaging range 202a as shown in FIG.
  • the correction image A2 is drawn by a plurality of pixels, these pixels are represented by X A2 axis -Y A2 axis corrected image coordinate system is an orthogonal coordinate system.
  • the calibration index recognizing unit 152 detects known calibration indices 101a to 101d based on the corrected images A2 to D2 by applying known image recognition means such as template matching or SIFT (Scale-Invariant Feature Transform).
  • the calibration index recognizing unit 152 detects the calibration index 101a and the calibration index 101b based on the corrected image A2.
  • the calibration index recognition unit 152 detects the calibration coordinates 101a to 101d as follows. That is, the calibration index 101a is detected based on the corrected image A2 and the corrected image D2, respectively.
  • the calibration index 101b is detected based on the corrected image A2 and the corrected image C2.
  • the calibration index 101c is detected based on the corrected image B2 and the corrected image D2, respectively.
  • the calibration index 101d is detected based on the corrected image B2 and the corrected image C2, respectively.
  • the feature point coordinate calculation unit 153 calculates the detected feature points of the calibration indices 101a to 101d as coordinate values on the corrected image coordinate system. That is, the feature point coordinate calculation unit 153 calculates the feature point coordinates of the calibration indices 101a to 101d.
  • the coordinates on the corrected image coordinate system of the characteristic point P (a, i) (i is a serial number of four corners) and the characteristic of the calibration index 101b in the calibration index 101a.
  • the coordinates on the corrected image coordinate system of the point P (b, i) that is, the feature point coordinates are calculated.
  • the feature point coordinates of the calibration indices 101a to 101d are calculated from the two corrected images in which the calibration indices 101a to 101d are detected. That is, the feature point coordinates of the calibration index 101a are calculated on the corrected image coordinate system of the corrected image A2 and the corrected image coordinate system of the corrected image D2, respectively. Similarly, the feature point coordinates of the calibration index 101b are calculated on the corrected image coordinate system of the corrected image A2 and on the corrected image coordinate system of the corrected image C2, respectively. The feature point coordinates of the calibration index 101c are calculated on the corrected image coordinate system of the corrected image B2 and on the corrected image coordinate system of the corrected image D2, respectively. The feature point coordinates of the calibration index 101d are calculated on the corrected image coordinate system of the corrected image B2 and on the corrected image coordinate system of the corrected image C2, respectively.
  • the image determination unit 154 determines whether or not all the feature point coordinates of the calibration indices 101a to 101d are within the above-described approximate range.
  • the image appropriateness determination unit 105 determines that the captured images A1 to D1 are appropriate when determining that all the feature point coordinates of the calibration indices 101a to 101d are located within the approximate range. On the other hand, the image appropriateness determination unit 105 determines that the captured images A1 to D1 are inappropriate when any of the feature point coordinates among the calibration indices 101a to 101d is located outside the approximate range.
  • the image appropriateness determination unit 105 When the image determination unit 154 determines that the captured images A1 to D1 are appropriate, the image appropriateness determination unit 105 outputs the feature point coordinates of the calibration indices 101a to 101d to the calibration unit 106 and the state analysis unit 108.
  • the image appropriateness determination unit 105 includes information regarding the feature point coordinates of the calibration indices 101a to 101d and the calibration point for which no feature point coordinates have been detected. Information about the index is output to the state analysis unit 108.
  • the calibration index recognition unit 152 may not be able to recognize the calibration indices 101a to 101d. Further, the calibration index recognizing unit 152 may not be able to recognize the calibration indices 101a to 101d even when the captured images A1 to D1 are too dark and blackening occurs.
  • the feature point input request unit 155 causes the service person to specify the position of the feature point when the calibration index recognition unit 152 cannot recognize the calibration indices 101a to 101d. For example, the feature point input request unit 155 displays a corrected image in which the calibration indices 101 a to 101 d could not be recognized on the display unit 109 and accepts input of feature points via the input unit 104.
  • the feature point input request unit 155 calculates feature point coordinates for the feature point designated by the service person.
  • FIG. 6 is a block configuration diagram of the calibration unit 106.
  • the calibration unit 106 illustrated in FIG. 6 includes a primary calibration unit 160a, a secondary calibration unit 160b, and a mapping table update unit 166.
  • the primary calibration unit 160a calculates the positions of the cameras 102a to 102d in a coordinate system called an index coordinate system based on the feature point coordinates of the calibration indices 101a to 101d in the corrected image coordinate system.
  • the secondary calibration unit 160b performs coordinate conversion of the position of each camera in the index coordinate system calculated by the primary calibration unit 160a into the position of each camera in the vehicle coordinate system.
  • the primary calibration unit 160 a includes a homography matrix calculation unit 161 and an optimization processing unit 162.
  • the secondary calibration unit 160 b includes a coordinate system integration unit 163, an error distribution unit 164, and a parameter correction unit 165.
  • the index coordinate system is a coordinate system provided for each of the calibration indices 101a to 101d, and has an origin at a predetermined position on the surface of the calibration indices 101a to 101d. It has two axes that are parallel to and perpendicular to the surfaces of the indicators 101a to 101d.
  • the index coordinate system shown in FIG. 7 is a coordinate system provided on the surface of the calibration index 101a, with the feature point P (a, 1) as the origin and the X A3 axis and the Y A3 axis orthogonal to each other. Is set.
  • the homography matrix calculation unit 161 calculates a homography matrix for coordinate conversion of the feature point coordinates of the calibration indices 101a to 101d in the corrected image coordinate system into a coordinate system called an index coordinate system.
  • the homography matrix is individually calculated for each of the corrected images A2 to D2, and is also calculated for each of the calibration indices 101a to 101d. That is, the calibration unit 106 calculates the following eight homography matrices.
  • Homography matrix H (A2, a) for converting the feature point coordinates of the calibration index 101a in the corrected image coordinate system of the corrected image A2 into coordinates in the index coordinate system of the calibration index 101a
  • Homography matrix H (A2, b) for converting the feature point coordinates of the calibration index 101b in the corrected image coordinate system of the corrected image A2 into coordinates in the index coordinate system of the calibration index 101b
  • Homography matrix H (B2, c) for converting the feature point coordinates of the calibration index 101c in the corrected image coordinate system of the corrected image B2 into coordinates in the index coordinate system of the calibration index 101c
  • Homography matrix H (B2, d) for converting the feature point coordinates of the calibration index 101d in the corrected image coordinate system of the corrected image coordinate system
  • An expression for coordinate conversion of the world coordinate system to the corrected image coordinate system of the corrected image A2 is as shown in (Expression 1).
  • (U, v) represents coordinates in the corrected image coordinate system of the corrected image A2
  • (x, y, z) represents coordinates in the world coordinate system.
  • the origin of the world coordinate system coincides with the origin of the index coordinate system.
  • Axes of the world coordinate system has an X A3 axis and Y A3 axes of index coordinate system, the Z A3 axis perpendicular to those two axes.
  • R 11 , R 12 , R 13 , R 21 , R 22 , R 23 , R 31 , R 32 , R 33 are elements of a rotation matrix. The value of s is calculated later.
  • Equation 2 When the sum of the matrix of (Equation 1) is transformed into the form of a matrix product, (Equation 2) is obtained.
  • the inverse matrix H ⁇ 1 (A2, a) of the homography matrix H (A2, a) is defined as (Equation 4). Note that this inverse matrix H ⁇ 1 (A2, a) is also a homography matrix.
  • the homography matrix has a fixed multiple of arbitraryness.
  • h 33 1.
  • the coordinates of P (a, 4) are (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), and (x 4 , y 4 ).
  • the elements h 11 , h 12 , h 13 , h 21 , h 22 , h 23 , h 31 , h 32 of the inverse matrix H ⁇ 1 (A 2, a) of the homography matrix H (A 2, a) are ( It can be calculated by solving the simultaneous equations expressed by equation (7).
  • the homography matrix calculation unit 161 calculates the homography matrix H (A2, a) based on the inverse matrix H ⁇ 1 (A2, a) of the homography matrix H (A2, a) .
  • the homography matrix calculation unit 161 generates the other seven homography matrices by the same calculation.
  • the homography matrix calculation unit 161 calculates (Expression 10a), (Expression 10b), and (Expression 10c) based on h 11 , h 12 , h 13 , h 21 , h 22 , h 23 , h 31 , and h 32. )
  • ⁇ pitch represents the pitch direction component of the installation angle of the camera 102a.
  • ⁇ roll represents the roll direction component of the installation angle of the camera 102a.
  • ⁇ yaw represents the yaw direction component of the installation angle of the camera 102a.
  • the optimization processing unit 162 performs optimization processing on the installation positions and installation angles of the cameras 102a to 102d calculated by the homography matrix calculation unit 161, and reduces errors. For example, the optimization processing unit 162 performs the following calculation on the homography matrix H (A2, a) .
  • the optimization processing unit 162 uses the homography matrix H ( 4) for the four feature points P (a, 1) , P (a, 2) , P (a, 3) , P (a, 4) of the calibration index 101a.
  • the coordinates (u 1 , v 1 ), (u 2 , v 2 ), (u 3 , v 3 ), (u 4 , v 4 ) of the corrected image coordinate system are coordinated in the index coordinate system based on A2, a)
  • the optimization processing unit 162 searches for the homography matrix H (A2, a) that minimizes the value of the objective function using the steepest effect method or another global optimum solution search method. Then, the optimization processing unit 162 sets the installation position and installation angle values calculated based on the searched homography matrix H (A2, a) as the optimum values.
  • the coordinate system integration unit 163 matches the installation position and installation angle reference of these cameras 102a to 102d with the vehicle coordinate system.
  • Installation position and installation angle of the camera 102b in the index coordinate system of the index for calibration 101d (2.5) Index coordinates of the index for calibration 101b Installation position and installation angle of the camera 102c in the system (2.6) Installation position and installation angle of the camera 102c in the index coordinate system of the calibration index 101d
  • Position and installation angle (2.8) Installation position and installation angle of the camera 102
  • the coordinate system integration unit 163 subtracts the installation position and the installation angle of (2.8) from the installation position and the installation angle of (2.7), respectively, so that the relative position and relative position of the calibration index 101c with respect to the calibration index 101a are relative to each other.
  • the angle can be calculated.
  • the coordinate system integration unit 163 calculates the installation position and the installation angle of the camera 102b in the index coordinate system of the calibration index 101a by subtracting the calculation result from the installation position and the installation angle of (2.3), respectively. be able to.
  • the coordinate system integration unit 163 subtracts the installation position and the installation angle of (2.3) from the installation position and the installation angle of (2.4), respectively, so that the relative position and relative position of the calibration index 101d with respect to the calibration index 101c are relative to each other.
  • the angle can be calculated.
  • the coordinate system integration unit 163 calibrates the calibration index 101a by subtracting the relative position and relative angle of the calibration index 101c relative to the calibration index 101a from the relative position and relative angle of the calibration index 101d relative to the calibration index 101c.
  • the relative position and relative angle of the index 101d for use can be calculated.
  • the coordinate system integration unit 163 calculates the installation position and the installation angle of the camera 102c in the index coordinate system of the calibration index 101a by subtracting the calculation results from the installation position and the installation angle of (2.6), respectively. be able to.
  • the coordinate system integration unit 163 subtracts the installation position and the installation angle of (2.6) from the installation position and the installation angle of (2.5), respectively, thereby relative to the relative position and relative position of the calibration index 101b with respect to the calibration index 101d.
  • the angle can be calculated.
  • the coordinate system integration unit 163 calibrates the calibration index 101a by subtracting the relative position and relative angle of the calibration index 101d relative to the calibration index 101a from the relative position and relative angle of the calibration index 101b relative to the calibration index 101d.
  • the relative position and the relative angle of the index 101b can be calculated.
  • the coordinate system integration unit 163 calculates the installation position and the installation angle of the camera 102a in the index coordinate system of the calibration index 101a by subtracting the calculation result from the installation position and the installation angle of (2.2), respectively. be able to.
  • the installation position and installation angle of the second camera 102a Call.
  • the coordinate system integration unit 163 subtracts the installation value and the installation angle in (2.1) from the installation position and installation angle of the camera 102b in the index coordinate system of the calibration index 101a. Thereby, the relative position and relative angle of the camera 102b with respect to the camera 102a are calculated. Similarly, the coordinate system integration unit 163 calculates the relative position and relative angle of the camera 102c with respect to the camera 102a and the relative position and relative angle of the camera 102d.
  • the coordinate system integration unit 163 calculates the installation positions and installation angles of the cameras 102a to 102d in the vehicle coordinate system based on the relative positions and relative angles of the cameras 102b, 102c, and 102d with respect to the camera 102a.
  • the error distribution unit 164 distributes the installation position error and the installation angle error of the camera 102a in the vehicle coordinate system to the installation positions and installation angles of the cameras 102a to 102d in the vehicle coordinate system, respectively.
  • the error distribution unit 164 distributes the installation position error using an equalization method, a compass method, a transit method, or the like, and equally distributes the installation angle error.
  • the calculation error is not unevenly distributed between the installation position and the installation angle of the camera 102a in the vehicle coordinate system.
  • the subject image may be shifted near the boundary of the image area of the overhead image 250.
  • the parameter correction unit 165 corrects a deviation that occurs in the overhead view image 250 due to the distribution of the closing difference by the error distribution unit 164.
  • the parameter correction unit 165 reduces the deviation caused by the distribution of the closing difference by calculation using the following eight types of feature point coordinates in the vehicle coordinate system.
  • the parameter correction unit 165 calculates the center of gravity of (3.1) and the center of gravity of (3.2), and calculates the average coordinate Ga of the two centers of gravity.
  • the parameter correction unit 165 calculates the center of gravity of (3.3) and the center of gravity of (3.4), and calculates the average coordinate Gb of the two centers of gravity.
  • the parameter correction unit 165 calculates the center of gravity of (3.5) and the center of gravity of (3.6), and calculates the average coordinate Gc of the two centers of gravity.
  • the parameter correction unit 165 calculates the center of gravity of (3.7) and the center of gravity of (3.8), and calculates the average coordinate Gd of the two centers of gravity.
  • the parameter correction unit 165 sets the installation position and the installation angle of the camera 102a in the vehicle coordinate system so that the center of gravity of (3.1) moves to the average coordinate Ga and the center of gravity of (3.3) moves to the average coordinate Gb. Tweak the.
  • the parameter correction unit 165 sets the installation position and the installation angle of the camera 102b in the vehicle coordinate system so that the center of gravity of 3.5) moves to the average coordinate Gc and the center of gravity of (3.7) moves to the average coordinate Gd. Make fine adjustments.
  • the parameter correction unit 165 sets the installation position and the installation angle of the camera 102c in the vehicle coordinate system so that the center of gravity of (3.4) moves to the average coordinate Gb and the center of gravity of (3.8) moves to the average coordinate Gd. And tweak.
  • the parameter correction unit 165 sets the installation position and the installation angle of the camera 102d in the vehicle coordinate system so that the center of gravity of (3.2) moves to the average coordinate Ga and the center of gravity of (3.6) moves to the average coordinate Gc. And tweak.
  • the above fine adjustment means that the installation position and the installation angle calculated by the coordinate integration unit 163 are corrected.
  • the mapping table update unit 166 updates the mapping table based on the installation positions and installation angles of the cameras 102a to 102d in the vehicle coordinate system after fine adjustment.
  • the mapping table update unit 166 based on the error between the installation position and installation angle of the cameras 102a to 102d and the installation position and installation angle of the cameras 102a to 102d after fine adjustment, which are assumed in the initial values of the mapping table, Update the initial value of the mapping table.
  • the calibration appropriateness determination unit 107 includes a coincidence degree inspection unit 171, a shape inspection unit 172, a size inspection unit 173, an evaluation value calculation unit 174, and a calibration determination unit 175.
  • the degree-of-matching inspection unit 171 determines the degree of coincidence of the feature point coordinates after coordinate conversion for two homography matrices that coordinate-convert the feature point coordinates of each of the calibration indices 101a to 101d into the index coordinate system of the calibration index. inspect. Specifically, the coincidence inspection unit 171 calculates the following four coordinate errors.
  • the shape inspection unit 172 inspects the shape drawn by the feature point coordinates of the calibration indices 101a to 101d in the overhead image 250 generated using the updated mapping table.
  • the shape inspection unit 172 calculates inclinations of the following four sides in the vehicle coordinate system for the calibration index 101a included in the corrected image A2.
  • the side E (A2, a, 1) and the side E (A2, a, 3) are parallel and the side E ( A2, a, 2) and side E (A2, a, 4) are also parallel. Also, the side E (A2, a, 2) and the side E (A2, a, 4) are perpendicular to the side E (A2, a, 1) , and the side E (A2, a, 3) is The side E (A2, a, 2) and the side E (A2, a, 4) are vertical.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 1) and the side E (A2, a, 3) , and calculates an angle error obtained by subtracting 180 degrees from the angle.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 2) and the side E (A2, a, 4) , and calculates an angle error obtained by subtracting 180 degrees from the angle.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 1) and the side E (A2, a, 2) , and calculates an angle error obtained by subtracting 90 degrees from the angle.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 1) and the side E (A2, a, 4) , and calculates an angle error obtained by subtracting 90 degrees from the angle.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 3) and the side E (A2, a, 2) , and calculates an angle error obtained by subtracting 90 degrees from the angle.
  • the shape inspection unit 172 calculates an angle formed by the side E (A2, a, 3) and the side E (A2, a, 4) , and calculates an angle error obtained by subtracting 90 degrees from the angle.
  • the shape inspection unit 172 performs the same process for each corrected image and for each calibration index included in the corrected image.
  • the size inspection unit 173 inspects the size of the calibration markers 101a to 101d in the overhead image 250 based on the feature point coordinates of the calibration markers 101a to 101d in the vehicle coordinate system.
  • the size inspection unit 173 calculates the following four distances using the feature point coordinates of the calibration index 101a included in the corrected image A2.
  • the distances of (6.1), (6.2), (6.3), and (6.4) are ideally the rectangular shapes of the calibration indices 101a to 101d described in the calibration manual or the like. It matches the length L of the four sides of the figure.
  • the shape inspection unit 172 calculates a distance error obtained by subtracting the distance L from the distance of (6.1).
  • the shape inspection unit 172 calculates a distance error obtained by subtracting the distance L from the distance of (6.2).
  • the shape inspection unit 172 calculates a distance error obtained by subtracting the distance L from the distance of (6.3).
  • the shape inspection unit 172 calculates a distance error obtained by subtracting the distance L from the distance of (6.4).
  • the size inspection unit 173 performs the same process for each corrected image and for each calibration index included in the corrected image.
  • the evaluation value calculation unit 174 includes a maximum coordinate error value ⁇ 1 calculated by the coincidence degree inspection unit 171, a maximum angle error value ⁇ 2 calculated by the shape inspection unit 172, and a maximum distance error value calculated by the size inspection unit 173.
  • ⁇ 3 is calculated as an evaluation value ( ⁇ 1, ⁇ 2, ⁇ 3) for calibration of the cameras 102a to 102d.
  • the calibration determination unit 175 determines whether or not the calibration of the cameras 102a to 102d is appropriate based on the maximum coordinate error value ⁇ 1, the maximum angle error value ⁇ 2, and the maximum distance error value ⁇ 3 calculated by the evaluation value calculation unit 174. judge.
  • the calibration determination unit 175 has a coordinate error maximum value ⁇ 1 less than a predetermined threshold T1, an angle error maximum value ⁇ 2 less than a predetermined threshold T2, and a distance error maximum value ⁇ 3 less than a predetermined threshold T3. When it is determined that the calibration of the cameras 102a to 102d is appropriate.
  • the calibration appropriateness determination unit 107 outputs information related to the determination result to the state analysis unit 108. That is, the calibration appropriateness determination unit 107 transmits information indicating that it is appropriate to the state analysis unit 108 when determining that the calibration of the cameras 102a to 102d is appropriate. Further, when the calibration appropriateness determination unit 107 determines that the calibration of the cameras 102a to 102d is inappropriate, the information indicating that it is inappropriate, the coordinate error calculated by the coincidence degree inspection unit 107, and the shape inspection unit 172 The calculated angle error, the distance error calculated by the size inspection unit 173, and the evaluation value calculated by the evaluation value calculation unit 174 are output to the state analysis unit 108.
  • the state analysis unit 108 includes the determination result of the image appropriateness determination unit 105, the determination result of the calibration appropriateness determination unit 107, the minimum value of the objective function calculated by the optimization processing unit 162, and the camera calculated by the coordinate system integration unit 163. Based on the closeness difference of the installation position of 102a, the closeness difference of the installation angle, and the captured images A1 to D1, the calibration states of the cameras 102a to 102d are analyzed. As shown in FIG. 9, the state analysis unit 108 includes a feature point accuracy determination unit 181, a calibration state analysis unit 182, an image state analysis unit 183, and a work content generation unit 184.
  • the feature point accuracy determination unit 181 determines whether or not the cause is the accuracy of the feature point coordinates when the calibration unit 106 fails to calibrate the cameras 102a to 102d. Based on the determination result of the feature point accuracy determination unit 181, the state analysis unit 108 identifies the cause of the failure of the calibration of the cameras 102 a to 102 d.
  • the method of whether or not a specific position is detected.
  • the accuracy of the feature point coordinates is required at the sub-pixel level, it is difficult to determine from the edge state detected at the pixel level.
  • the feature point accuracy determination unit 181 determines the accuracy of the feature point coordinates based on the minimum value of the objective function calculated by the optimization processing unit 162 of the calibration unit 106.
  • the optimization processing unit 162 of the calibration unit 106 can match the theoretical value of the feature point coordinates.
  • the optimization process of the calibration unit 106 cannot match the theoretical value of the feature point coordinates, and the value of the objective function is It will not get smaller.
  • the feature point accuracy determination unit 181 determines that the accuracy of the feature point coordinates is inappropriate when the convergence value of the objective function is greater than or equal to a predetermined threshold, and the feature point when the convergence value of the objective function is less than the predetermined threshold. It is determined that the accuracy of coordinates is appropriate.
  • the predetermined threshold value is determined in advance by an experiment or the like at the design stage.
  • the calibration state analysis unit 182 includes an estimated camera parameter inspection unit 701 and a coordinate integration error inspection unit 702.
  • the estimated camera parameter inspection unit 701 determines whether parameters necessary for calibration of the cameras 102a to 102d input by the service person are inappropriate.
  • the estimated camera parameter inspection unit 701 calculates an error between the installation positions and installation angles of the cameras 102a to 102d calculated by the calibration unit 106 and the preset installation positions and installation angles of the cameras 102a to 102d. It is known that when the parameters necessary for calibration of the cameras 102a to 102d input by the service person are inappropriate, a large error tends to occur only in the installation positions in the height direction of the cameras 102a to 102d.
  • the estimated camera parameter inspection unit 701 determines that the parameters necessary for calibration of the cameras 102a to 102d input by the service person are inappropriate when a large error occurs only in the installation positions in the height direction of the cameras 102a to 102d. To do.
  • the coordinate integration error inspection unit 702 inspects an error that occurs when the calibration unit 106 integrates the coordinate system based on the installation position and the installation angle of the camera 102a.
  • the coordinate integration error checking unit 702 determines whether or not the closure difference calculated during the processing of the coordinate system integration unit 163 is equal to or greater than a predetermined value.
  • the image state analysis unit 183 includes a calibration index position calculation unit 703, a luminance feature calculation unit 704, and a shape feature calculation unit 705.
  • the calibration index position calculation unit 703 detects the calibration indices 101a to 101d from the corrected images A2 to D2, and generates an overhead image 250 based on the corrected images A2 to D2 using the mapping table before update.
  • the calibration index position calculation unit 703 calculates the center-of-gravity positions of the calibration indices 101a to 101d in the overhead image 250.
  • the image state analysis unit 183 can inspect whether or not the position where the service person installed the calibration indices 101a to 101d is appropriate based on the calculated gravity center positions of the calibration indices 101a to 101d.
  • the luminance feature calculation unit 704 acquires a luminance signal from each pixel of the captured images A1 to D1, and calculates information such as the average value of the luminance signal, the maximum value of the luminance signal, and the amount of change in the luminance signal between adjacent pixels. .
  • the image state analysis unit 183 can check whether or not the brightness of the captured images A1 to D1 is appropriate based on the calculated information regarding the brightness of the captured images A1 to D1.
  • the shape feature calculation unit 705 extracts various feature amounts related to the positional relationship of the feature point coordinates of the calibration indices 101a to 101d.
  • the shape feature calculation unit 705 performs homography calculation processing and optimization processing, and calculates the installation positions and installation angles of the cameras 102a to 102d before the coordinate systems are integrated. Then, the shape feature calculation unit 705 applies the same processing as the calibration appropriateness determination unit 107 to the installation positions and installation angles of the cameras 102a to 102d before the coordinate systems are integrated.
  • the image state analysis unit 183 can inspect whether or not the cause of the improperness of the captured images A1 to D1 is processing before integrating the coordinate systems.
  • the work content generation unit 184 uses the various information calculated by the image state analysis unit 182 and the calibration state analysis unit 183 to determine the cause of the failure of the calibration to the serviceman and presents the countermeasure to the serviceman. For example, the work content generation unit 184 determines the cause of the calibration failure as shown below. Cause 1. The captured images A1 to D1 are inappropriate and the image is too dark. Cause 2. The captured images A1 to D1 are inappropriate and the image is too bright. Cause 3 The captured images A1 to D1 are inappropriate and the installation positions of the calibration indices 101a to 101d are incorrect. Cause 4 The captured images A1 to D1 are inappropriate, and the coordinates of the feature points designated by the serviceman in the feature point input request unit 155 are greatly deviated from the true feature points.
  • the work content generation unit 184 can determine a plurality of causes from the causes 1 to 13 within a range where no contradiction occurs. Decisions that cause inconsistencies include, for example, the case where the cause of the image being too dark and the cause of the image being too bright, the cause including the condition that the feature point accuracy is insufficient, and the feature point accuracy is sufficient. This is a case where the cause including the condition is simultaneously determined.
  • the work content generation unit 184 narrows down the cause of the calibration failure to cause 1 to cause 5.
  • the work content generation unit 184 determines whether the cause 1 or the cause 2 is satisfied based on the information about the luminance signal of each pixel of the captured images A1 to D1 calculated by the luminance feature calculation unit 704. For example, if the average value and the maximum value of the luminance signals of the pixels of the captured images A1 to D1 are both higher than the predetermined threshold value I1, it is determined that the cause 2 is satisfied. Further, if the average value and the maximum value of the luminance signal of each pixel of the captured images A1 to D1 are both lower than the predetermined threshold value I2 ( ⁇ I1), it is determined that the cause 1 is satisfied.
  • the work content generation unit 184 determines that it corresponds to cause 3 when the position of the center of gravity of the calibration markers 101a to 101d in the overhead view image output by the calibration marker position inspection unit 703 deviates from a predetermined range.
  • the work content generation unit 184 calculates the maximum luminance value near the feature point coordinates and the minimum luminance value near the feature point coordinates. Calculate the difference. When the difference is smaller than the predetermined value, the work content generation unit 184 has a strong suspicion that the feature point coordinates input by the serviceman in response to the request from the feature point input request unit 155 are significantly different from the true feature point coordinates. Therefore, it is determined that it corresponds to cause 4.
  • the work content generation unit 184 Judge 5
  • the predetermined threshold value is a maximum value of a difference that can theoretically occur due to the installation angles of the cameras 102a to 102d, and is set in advance at the design stage of the in-vehicle device 100.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and further, the feature point accuracy determination unit 181 determines that the feature point accuracy is appropriate. In this case, it is determined that it corresponds to cause 12 or cause 13.
  • the work content generation unit 184 causes the cause 12 It is judged that it corresponds to.
  • the work content generation unit 184 determines that it corresponds to the cause 13 when the closing difference calculated during the processing of the coordinate system integration unit 163 is equal to or greater than a predetermined value.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and further, the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate. If it is determined that it falls under at least one of cause 6, cause 7, cause 8, cause 9, cause 10, and cause 11.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate.
  • the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate.
  • both the average value and the maximum value of the luminance signals of the pixels of the captured images A1 to D1 are higher than the predetermined threshold value I1, it is determined that the cause 6 is satisfied.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate. In addition, if both the average value and the maximum value of the luminance signal of each pixel of the captured images A1 to D1 are lower than the predetermined threshold value I2 ( ⁇ I1), it is determined that the cause 7 is satisfied.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate.
  • the calibration index position inspection unit 703 deviates from the predetermined range, it is determined that the cause 10 is satisfied.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate. Further, based on the luminance signal of each pixel of the captured images A1 to D1 calculated by the luminance feature calculation unit 704, the difference between the maximum luminance value near the feature point coordinates and the minimum luminance value near the feature point coordinates is calculated. . When the difference is smaller than the predetermined value, the work content generation unit 184 has a strong suspicion that the feature point coordinates input by the serviceman in response to the request from the feature point input request unit 155 are significantly different from the true feature point coordinates. Therefore, it is determined that it corresponds to cause 9.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate.
  • the average luminance value of the luminance signal sequence on the same edge detected by executing the edge detection process on the corrected images A2 to D2 fluctuates more than a predetermined threshold, and the luminance fluctuations are high luminance and low luminance. If it is an object that reciprocates between the two, it is determined that it corresponds to cause 8.
  • the work content generation unit 184 is determined to be appropriate by the image appropriateness determination unit 105, but is determined to be inappropriate by the calibration appropriateness determination unit 107, and the feature point accuracy determination unit 181 determines that the feature point accuracy is inappropriate.
  • the captured images A1 to D1 if the difference between the maximum value and the minimum value of the lengths of the four sides of the rectangular figures of the calibration indices 101a to 101d is equal to or greater than a predetermined threshold value, it is determined that the cause 11 is satisfied. .
  • the work content generation unit 184 displays a message prompting the serviceman to adjust the lighting on the display unit 109 when any of cause 1, cause 2, cause 6, and cause 7 is applicable.
  • the work content generation unit 184 displays a message prompting to perform calibration at a bright time in consideration of the possibility that calibration is performed outdoors in the case of any of cause 1 and cause 7. Displayed on the unit 109.
  • the work content generation unit 184 instructs the service person to move the calibration indices 101a to 101d when any of the causes 3 and 10 is applicable. At this time, the work content generation unit 184 further determines the direction in which the calibration indexes 101a to 101d are moved based on the feature point coordinates of the calibration indexes 101a to 101d and the appropriate image area used by the image determination unit 154 for determination. It is preferable to indicate.
  • the work content generation unit 184 instructs the replacement of the cameras 102a to 102d because there is a possibility that the cameras 102a to 102d are abnormal when the cause 5 or the cause 11 is satisfied.
  • the work content generation unit 184 instructs the calibration indices 101a to 101d to move to positions without shadows when the cause 8 is met.
  • the work content generation unit 184 confirms whether any of the calibration indices 101a to 101d used or the information input via the input unit 104 is correct. Prompt.
  • the work content generation unit 184 prompts the user to check whether the input values such as the length L of the four sides of the rectangular figure of the calibration indices 101a to 101d input by the serviceman are correct. .
  • FIG. 10 is a flowchart showing an operation that the in-vehicle device 100 starts when the in-vehicle device 100 is connected to the cameras 102a to 102d and the power of the in-vehicle device 100 is turned on. This operation is performed by a CPU (not shown) of the in-vehicle device 100 executing a program stored in a memory (not shown).
  • step S1 the in-vehicle device 100 displays a message such as “Please perform calibration start operation after setting the calibration index” on the display unit 109.
  • step S2 the in-vehicle device 100 determines whether or not an operation for starting calibration of the cameras 102a to 102d has been performed by the input unit 104.
  • the in-vehicle device 100 repeats the process of step S2 until the operation for starting the calibration is performed, and proceeds to the process of step S3 when the operation for starting the calibration is performed.
  • step S3 the in-vehicle device 100 displays on the display unit 109 an input screen for allowing a serviceman to input parameters necessary for calibration of the cameras 102a to 102d.
  • step S4 the in-vehicle device 100 determines whether or not input of parameters necessary for calibration of the cameras 102a to 102d has been completed. The in-vehicle device 100 repeats the process of step S4 until the input is completed, and proceeds to the process of step S5 when the input is completed.
  • step S5 the in-vehicle device 100 starts acquiring captured images A1 to D1 from the cameras 102a to 102d. Thereby, the image appropriateness determination unit 105 starts determining whether or not the captured images A1 to D1 are appropriate.
  • step S6 the in-vehicle device 100 determines whether the captured images A1 to D1 are appropriate.
  • the process proceeds to step S7.
  • the image appropriateness determination unit 105 determines that the captured images A1 to D1 are inappropriate, the process proceeds to step S10. .
  • step S7 the in-vehicle device 100 executes processing of the calibration unit 106 to calibrate the installation positions and installation angles of the cameras 102a to 102d.
  • step S8 the in-vehicle device 100 determines whether or not the installation state of the cameras 102a to 102d has been successfully calibrated.
  • the process proceeds to step S9.
  • the process of step S10 is performed. Proceed to
  • step S ⁇ b> 9 the in-vehicle device 100 displays a message such as “Camera calibration succeeded” on the display unit 109. Thereafter, the in-vehicle device 100 ends the process shown in FIG.
  • step S10 the in-vehicle device 100 executes the process of the state analysis unit 108 and analyzes the cause of the failure of the calibration of the cameras 102a to 102d.
  • the in-vehicle device 100 displays a countermeasure based on the analysis result of the state analysis unit 108 on the display unit 109, and ends the process illustrated in FIG.
  • FIG. 11 is a flowchart regarding the processing of the image suitability determination unit 105.
  • step S300 the in-vehicle device 100 starts generating corrected images A2 to D2 by the processing of the corrected image generating unit 151.
  • step S301 the in-vehicle device 100 performs processing of the calibration index recognition unit 152 based on the corrected images A2 to D2, and recognizes the calibration indices 101a to 101d.
  • step S302 the in-vehicle device 100 determines whether or not the calibration indices 101a to 101d have been recognized. If the in-vehicle device 100 can recognize the calibration indices 101a to 101d by the process of the calibration index recognition unit 152, the in-vehicle apparatus 100 proceeds to the process of step S303. If the in-vehicle device 100 cannot recognize the calibration indices 101a to 101d by the processing of the calibration index recognition unit 152, for example, if the brightness of the captured images A1 to D1 is too bright or too dark, the step is performed. The process proceeds to S306.
  • step S303 the in-vehicle device 100 calculates feature point coordinates for the recognized calibration indices 101a to 101d.
  • step S304 the in-vehicle device 100 executes the process of the image determination unit 154 to determine whether the captured images A1 to D1 are appropriate.
  • step S305 the in-vehicle device 100 outputs information corresponding to the determination result in step S304 to the information analysis unit 108.
  • step S306 the in-vehicle device 100 executes the process of the feature point input request unit 155.
  • step S307 the in-vehicle device 100 determines whether or not the feature point input by the service person has been completed.
  • the in-vehicle device 100 repeats the process of step S307 until the serviceman performs a predetermined operation indicating completion of input, for example, and if the serviceman performs a predetermined operation indicating completion of input, the feature point input is completed. Determination is made and the process proceeds to step S308.
  • step S308 the in-vehicle device 100 calculates feature point coordinates for the feature point input by the service person. Thereafter, the in-vehicle device 100 proceeds to the process of step S304.
  • FIG. 12 is a flowchart regarding the processing of the calibration unit 106.
  • the in-vehicle device 100 executes processing of the homography calculation unit 161 to calculate eight homography matrices for coordinate conversion of the feature point coordinates of the calibration indices 101a to 101d into the index coordinate system.
  • the in-vehicle device 100 calculates the installation positions and installation angles of the cameras 102a to 102d based on the calculated homography matrix.
  • step S402 the in-vehicle apparatus 100 executes the process of the optimization processing unit 162, and performs the optimization process on the installation positions and the installation angles of the cameras 102a to 102d calculated using the elements of the homography matrix. .
  • step S403 the in-vehicle device 100 executes the process of the coordinate system integration unit 163 to match the reference of the installation positions and installation angles of the cameras 102a to 102d optimized in the process of step S402 with the vehicle coordinate system.
  • step S404 the in-vehicle device 100 executes the process of the error distribution unit 164, and determines the installation difference between the installation position of the camera 102a and the installation angle in the vehicle coordinate system, and the installation of the cameras 102a to 102d in the vehicle coordinate system. Distribute to position and installation angle.
  • step S405 the in-vehicle device 100 executes the process of the parameter correction unit 165 and corrects the deviation generated in the overhead view image 250 by the distribution of the closing difference by the error distribution unit 164.
  • step S406 the in-vehicle device 100 updates the mapping table based on the installation positions and the installation angles of the cameras 102a to 102d in the vehicle coordinate system after the processing in step S405.
  • step S407 the in-vehicle device 100 performs coordinate conversion of the corrected images A2 to D2 into the overhead image 250 using the mapping table updated in step S406.
  • step S408 the in-vehicle device 100 uses the overhead image 250 generated in step S407, the objective function calculated in the optimization process in step S402, and the index coordinate system of the calibration index 101a distributed in the error distribution process in step S404.
  • the closing difference of the installation position of the camera 102a and the closing difference of the installation angle are output to the state analysis unit 108.
  • the in-vehicle device 100 outputs the overhead image 250 generated in step S407 and the homography matrix calculated in step S401 to the calibration appropriateness determination unit 107, and ends the process of FIG.
  • FIG. 13 is a flowchart regarding the processing of the calibration appropriateness determining unit 107.
  • the in-vehicle device 100 executes the processes of the coincidence inspection unit 171, the shape inspection unit 172, and the size inspection unit 173. These processes may be executed in an arbitrary order, or may be executed in parallel.
  • step S502 the in-vehicle device 100 executes processing of the evaluation value calculation unit 174, and calculates an evaluation value based on the calculation results of the coincidence degree inspection unit 171, the shape inspection unit 172, and the size inspection unit 173.
  • step S503 the in-vehicle device 100 executes the processing of the calibration determination unit 175.
  • step S504 the in-vehicle device 100 outputs information to the state analysis unit 108 according to the determination result of step S503, and ends the process of FIG.
  • FIG. 14 is a flowchart regarding the processing of the state analysis unit 108.
  • step S601 the in-vehicle device 100 determines whether or not the captured images A1 to D1 are determined to be appropriate in step S304 of FIG.
  • the in-vehicle device 100 proceeds to step S602 if the captured images A1 to D1 are determined to be appropriate in step S304, and proceeds to step S606 if the captured images A1 to D1 are determined to be inappropriate in step S304. Proceed.
  • step S602 the in-vehicle device 100 determines whether or not the calibration of the installation state of the cameras 102a to 102d is determined to be appropriate in step S503 of FIG. If the in-vehicle device 100 determines that the calibration of the installation state of the cameras 102a to 102d is appropriate in step S503, the in-vehicle device 100 ends the processing of FIG. If the in-vehicle device 100 determines that the calibration of the installation state of the cameras 102a to 102d is inappropriate in step S503, the in-vehicle device 100 proceeds to the process of step S603.
  • step S603 the in-vehicle device 100 executes the process of the feature point accuracy determination unit 181.
  • step S604 the in-vehicle device 100 determines whether or not the feature point accuracy determination unit 181 determines that the accuracy of the feature point coordinates is appropriate in step S603. If the feature point accuracy determining unit 181 determines that the accuracy of the feature point coordinates is appropriate, the in-vehicle device 100 proceeds to the process of step S605, and if the accuracy of the feature point coordinates is inappropriate, the feature point accuracy determining unit 181. If determined, the process proceeds to step S606.
  • step S605 the in-vehicle device 100 executes processing of the calibration state analysis unit 182.
  • step S606 the in-vehicle device 100 executes the process of the image state analysis unit 183.
  • step S ⁇ b> 607 the in-vehicle device 100 executes the process of the work content generation unit 184.
  • step S608 the in-vehicle device 100 displays the work content of the service person generated by the work content generation unit 184 on the display unit 109, and ends the process of FIG.
  • FIG. 15 shows an example of an environment in which the camera is calibrated using the camera calibration apparatus according to the second embodiment of the present invention.
  • a vehicle 201 is a large vehicle such as a large dump truck or a mining machine.
  • FIG. 15 shows a state in which the vehicle 201 is assembled at the delivery destination, and the camera 102b and the camera 102d are installed on the rear and right sides of the vehicle 201, respectively.
  • the in-vehicle device 100 generates an overhead image as shown in FIG. 16 and displays it on a display unit provided in the driver's seat, thereby providing information related to the surrounding environment that becomes a blind spot of the driver.
  • the service person calibrates the installation state of the camera 102b and the camera 102d at the delivery destination of the vehicle 201, and sets the in-vehicle device 100 so that the overhead image is appropriately generated.
  • the in-vehicle device 100 is provided in the vehicle 201 and is connected to the camera 102b and the camera 102d.
  • the camera 102b outputs the captured image B1 related to the imaging range 202b to the in-vehicle device 100.
  • the camera 102d outputs the captured image D1 related to the imaging range 202d to the in-vehicle device 100.
  • the bird's-eye view image illustrated in FIG. 16 includes an image region 250b generated based on the captured image B1 output from the camera 102b and an image region 250d generated based on the captured image D1 output from the camera 102d. Yes.
  • the serviceman installs the calibration index 101c on the right rear side of the vehicle 201.
  • the calibration index 101c is installed in the common imaging range 203c where the imaging range 202b of the camera 102b and the imaging range 202b of the camera 102d overlap as shown in FIG. Need to be.
  • the configuration of the in-vehicle device 100 in the second embodiment is the same as that in the first embodiment. That is, the in-vehicle device 100 in the second embodiment includes an image acquisition unit 103, an input unit 104, an image appropriateness determination unit 105, a calibration unit 106, a calibration appropriateness determination unit 107, a state analysis unit 108, A display unit 109 and an overhead image generation unit 110 are provided.
  • the in-vehicle device 100 according to the second embodiment is different from the first embodiment in the processing of the calibration unit 106.
  • FIG. 17 is a flowchart relating to the calibration unit 106 according to the second embodiment of the present invention. As is apparent from a comparison between FIG. 17 and FIG. 12, the calibration unit 106 in the second embodiment does not execute the error distribution process in step S404 and the parameter correction process in step S405. This is different from the calibration unit 106 in the form.
  • the camera calibration device 100 captures at least one index 101c with at least two cameras 102b and 102d, and calibrates the installation state of at least two cameras 102b and 102d based on images captured by the at least two cameras 102b and 102d. Do.
  • the calibration apparatus 100 an extraction unit that extracts the feature amount of at least one index 101c based on the captured images of the at least two cameras 102b and 102d, for example, the image appropriateness determination unit 105, and the index coordinates based on the feature amount
  • a primary calibration unit 160a that calculates the positions of at least two cameras 102, and the positions of the cameras 102b and 102d in the index coordinate system calculated by the primary calibration unit 160a are the positions of the cameras 102 in the vehicle coordinate system.
  • the camera calibration device 100 is a camera calibration device for the cameras 102b and 102d, and the captured images from the two cameras 102b and 102d include the imaging ranges of the two cameras 102b and 102d.
  • the image of one index 101c is included in the overlapping range.
  • the extraction unit for example, the image suitability determination unit 105 extracts feature point coordinates for one index 101c.
  • the primary calibration unit 160a calculates a homography matrix for converting feature point coordinates into the index coordinate system, and calculates the positions of the two cameras 102b and 102d in the index coordinate system based on the homography matrix.
  • the secondary calibration unit 160b includes a coordinate system integration unit 163 that converts the positions of the cameras 102b and 102d in the index coordinate system calculated by the primary calibration unit 160a into positions in the vehicle coordinate system. Therefore, since the overhead image can be generated based on the two captured images without physically adjusting the installation state of the two cameras 102b and 102d that capture the captured image for overhead image synthesis, the vehicle is shipped. After that, it can be calibrated with high precision at a site where a large vehicle is assembled at a delivery destination.
  • the camera calibration device is a calibration device for the four cameras 102a to 102d.
  • Each of the four cameras 102a to 102d has an imaging range that overlaps with the other two cameras of the four cameras 102a to 102d, and the captured images from the four cameras 102a to 102d are captured by the four cameras 102a to 102d.
  • One index image is included in each of the overlapping ranges.
  • the extraction unit for example, the image suitability determination unit 105 extracts the feature point coordinates for each of the four indices 101a to 101d.
  • the primary calibration unit 160a for each of the four indices 101a to 101d, for each camera 102a to 102d including the index in the imaging range, a homography matrix that performs coordinate conversion of the feature point coordinates of the index into the index coordinate system of the index And the position of the camera in the index coordinate system of the conversion destination by the homography matrix is calculated based on the homography matrix. Accordingly, since the overhead image can be generated based on the four captured images without physically adjusting the installation state of the four cameras 102a to 102d that capture the captured image for overhead image synthesis, the vehicle is shipped. After that, it can be calibrated with high precision at a dealer repair shop or a user parking lot.
  • the embodiment described above can be implemented with the following modifications.
  • (Modification 1) The image appropriateness determination unit 105 determines whether or not the brightness of the captured images A1 to D1 is appropriate before the corrected image generation unit 151 generates the corrected images A2 to D2.
  • the brightness of the captured images A1 to D1 may be corrected by image processing. By correcting in this way, the frequency of calibration failure due to cause 1, cause 2, cause 6, and cause 7 can be reduced.
  • the feature point coordinates calculated by the feature point input request unit 155 when the serviceman specifies the position of the feature point according to the processing of the feature point input request unit 155 are true features due to input errors. There is a risk of deviation from the point coordinates.
  • the deviation of the feature point coordinates calculated by the feature point input request unit 155 may be corrected by the following processing.
  • the in-vehicle device 100 generates an enlarged corrected image obtained by enlarging the corrected image around the calibration index 101 for which the service person has specified a feature point using image processing such as a linear enlargement method. In the enlarged corrected image, the luminance signal does not change steeply in the vicinity of the true feature point, but changes smoothly in a slope shape.
  • the in-vehicle device 100 connects the central portion of the slope, detects two straight lines that intersect in the vicinity of the feature point, and calculates the intersection of the two straight lines as the true feature point coordinates. By correcting in this way, the frequency of calibration failure due to cause 4 and cause 9 can be reduced.
  • the work content generation unit 184 of the state analysis unit 108 determines the cause of the failure of calibration by the serviceman from the causes 1 to 13, but the cause that the work content generation unit 184 determines. Is not limited to cause 1 to cause 13. For example, it may be determined that the calibration has failed because the calibration indicators 101a to 101d are not installed on the flat ground.
  • the figure drawn on the surface of the calibration markers 101a to 10d is a black-filled rectangle, but other figures may be used. For example, a checkered pattern may be used.
  • the feature point P (a, 1) is the origin of the index coordinate system. However, other feature points may be used as appropriate for each figure drawn on the surface of the calibration indices 101a to 10d. You can choose.
  • the method in which the coordinate system integration unit 163 matches the reference positions of the cameras 102a to 102d with the vehicle coordinate system is not limited to the method described above.
  • the installation position and the installation angle of the camera 102c in the index coordinate system of the calibration index 101a may be calculated by the following method.
  • the coordinate system integration unit 163 subtracts the installation position and the installation angle of (2.5) from the installation position and the installation angle of (2.2), respectively. Thereby, the installation position and the installation angle of the camera 102c with respect to the camera 102a in the index coordinate system of the calibration index 101b can be respectively calculated.
  • the coordinate system integration unit 163 subtracts the calculation result of [1] from the installation position and the installation angle in (2.1).
  • the specific procedure of the primary calibration unit 160a and the secondary calibration unit 160b may be other than the procedure shown in the above embodiment.
  • the primary calibration unit 160a employs a technique that does not use a homography matrix, and determines the installation positions and installation angles of a plurality of cameras in the index coordinate system based on the feature point coordinates of the calibration index in the corrected image coordinate system. You may decide to calculate.
  • the camera calibration device in the above embodiment is the in-vehicle device 100 that is mounted on the vehicle 201 and has the overhead image generation unit 110.
  • the camera calibration device according to the present invention may not be an in-vehicle device mounted on the vehicle 201 but may be an external information terminal that can be connected to the in-vehicle device having the overhead image generation unit 110.
  • a notebook personal computer carried by a service person may be used.

Abstract

　カメラ校正装置は、少なくとも二つのカメラで少なくとも一つの指標を撮像し、少なくとも二つのカメラの撮像画像に基づいて、少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、少なくとも二つのカメラの撮像画像に基づいて少なくとも一つの指標の特徴量を抽出する抽出部と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、一次校正部により算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、を備える。

Description

カメラ校正装置
　本発明は、カメラ校正装置に関する。
　運転者等に車両周囲の状況を視認させるために、車両の全周囲を複数のカメラで撮影し、各カメラから得られた撮像画像を俯瞰画像に変換し、複数の俯瞰画像を合成した合成画像をモニタに表示する俯瞰表示装置が知られている。このような俯瞰表示装置においては、俯瞰画像間で精緻に位置合わせを行う必要があるため、カメラの設置状態、たとえばカメラの設置位置や設置角度を精度よく校正（キャリブレーション）することが求められている。特許文献１には、車両の周囲の所定箇所に配置した校正用指標が適正に撮影されているか否かを判別して、適正に撮影されていないと判別したときには、適正ではない校正用指標の状態と、適正にする対策を案内出力するカメラ調整装置が開示されている。
日本国特開２０１１－２５８４０号公報
　本発明は、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラの設置状態を精度よく校正する。
　本発明の第１の態様によると、少なくとも二つのカメラで少なくとも一つの指標を撮像し、少なくとも二つのカメラの撮像画像に基づいて、少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置は、少なくとも二つのカメラの撮像画像に基づいて少なくとも一つの指標の特徴量を抽出する抽出部と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、一次校正部により算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、を備える。
　本発明によれば、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラの設置状態を物理的に調整することなく、少なくとも二つの撮影画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場、あるいは納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
本発明の第１の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す図である。 本発明の第１の実施の形態に係るカメラ校正装置による校正により、精度よく合成される俯瞰画像の一例を示す図である。 本発明の第１の実施の形態に係るカメラ校正装置の一構成例を示すブロック図である。 画像適正判定部の一構成例を示すブロック図である。 補正画像の一例を示す図である。 校正部の一構成例を示す図である。 指標座標系の一例を示す図である。 校正適正判定部の一構成例を示す図である。 状態解析部の一構成例を示す図である。 カメラ校正装置の動作例に関するフローチャートである。 画像適正判定部に関するフローチャートの一例である。 本発明の第１の実施の形態に係るカメラ校正装置の校正部に関するフローチャートである。 校正適正判定部に関するフローチャートである。 状態解析部に関するフローチャートである。 本発明の第２の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す図である。 本発明の第２の実施の形態に係るカメラ校正装置による校正により、精度よく合成される俯瞰画像の一例を示す図である。 本発明の第２の実施の形態に係るカメラ校正装置の校正部に関するフローチャートである。
（第１の実施の形態）
　図１は、本発明の第１の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図１では、車両２０１は、たとえば乗用車であって、カーディーラの工場やユーザの自宅の駐車場などに駐車されている。車両２０１には、カメラ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが設置されている。
　車載装置１００は、車両２０１に搭載されており、カメラ１０２ａ～１０２ｄに接続されている。カメラ１０２ａ～１０２ｄは、たとえば、魚眼カメラなどの広角カメラで構成され、車両２０１の周辺の地面に向けられている。カメラ１０２ａは、車両２０１の前部に設けられ、車両２０１の前方の撮像範囲２０２ａを毎フレームごとに撮影し、撮像画像Ａ１を車載装置１００へ出力する。カメラ１０２ｂは、車両２０１の後部に設けられ、車両２０１の後方の撮像範囲２０２ｂを毎フレームごとに撮影し、撮像画像Ｂ１を車載装置１００へ出力する。カメラ１０２ｃは、車両２０１の左部に設けられ、車両２０１の左側方の撮像範囲２０２ｃを毎フレームごとに撮影し、撮像画像Ｃ１を車載装置１００へ出力する。カメラ１０２ｄは、車両２０１の右部に設けられ、車両２０１の右側方の撮像範囲２０２ｄを毎フレームごとに撮影し、撮像画像Ｄ１を車載装置１００へ出力する。カメラ１０２ａは車両前部中央に設置され、その光軸は車両前方を向き、カメラ１０２ｂは車両後部中央に設置され、その光軸は車両後方を向く。車両前後方向にカメラ１０２ｃの光軸は車両左側方を向き、カメラ１０２ｄの光軸は車両右側方を向く。
　車載装置１００は、カメラ１０２ａ～１０２ｄの撮像画像Ａ１～Ｄ１に基づいて、図２に示すような車両２０１の周囲の俯瞰画像２５０を生成し、運転席に設けられた表示部に表示する。具体的には、図２に示す俯瞰画像２５０は、画像領域２５０ａと、画像領域２５０ｂと、画像領域２５０ｃと、画像領域２５０ｄとを有する。画像領域２５０ａの画像は、カメラ１０２ａが出力する撮像画像Ａ１に基づいて生成される。画像領域２５０ｂの画像は、カメラ１０２ｂが出力する撮像画像Ｂ１に基づいて生成される。画像領域２５０ｃの画像は、カメラ１０２ｃが出力する撮像画像Ｃ１に基づいて生成される。画像領域２５０ｄの画像は、カメラ１０２ｄが出力する撮像画像Ｄ１に基づいて生成される。なお、図２のＸ１軸とＹ１軸は車両座標系であり、座標原点は、車両前部の中央の所定地上高さ位置である。設計上、カメラ１０２ａの中心位置が座標原点に設定される。車両の高さ方向はＺ１軸の座標値で表されるが、図２では図示を省略している。カメラ１０２ａ～１０２ｄの設置位置は、車両座標系の座標値（ｘ，ｙ、ｚ）で規定され、設置角度は、角度（θroll, θpitch, θyaw）で規定される。θrollはカメラ光軸のロール角度、θpitchはカメラ光軸のピッチ角度、θyawはカメラ光軸のヨー角度である。 
　車載装置１００は、例えば、車両２０１を駐車するときに俯瞰画像２５０を表示することにより、車両２０１の周囲環境に関する情報を運転者に提供する。車載装置１００は俯瞰画像２５０を適正に生成するため、カメラ１０２ａ～１０２ｄの設置状態を校正する。
　図１では、サービスマンは、カメラ１０２ａ～１０２ｄの設置状態を校正するため、車両２０１の右側前方、左側前方、右側後方、左側後方の地面に所定の校正用指標１０１ａ、１０１ｂ、１０１ｃ、１０１ｄをそれぞれ設置している。校正用指標１０１ａ～１０１ｄは、たとえば、矩形の薄い平板であって、各々の表面には、黒く塗りつぶされた矩形形状の図形を有する。なお、図１では、矩形形状の図形の塗りつぶしをハッチングで表現している。
　撮像範囲２０２ａと撮像範囲２０２ｄは、車両２０１の右側前方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ａと呼ぶ。撮像範囲２０２ａと撮像範囲２０２ｃは、車両２０１の左側前方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｂと呼ぶ。撮像範囲２０２ｂと撮像範囲２０２ｄは、車両２０１の右側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｃと呼ぶ。撮像範囲２０２ｂと撮像範囲２０２ｃは、車両２０１の左側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｄと呼ぶ。図１では、共通撮像範囲２０３ａ～２０３ｄの各々を太線で図示している。
　カメラ１０２ａ～１０２ｄの設置状態、すなわちカメラ１０２ａ～１０２ｄの設置位置と設置角度を適正に校正するためには、図１に示すように、校正用指標１０１ａ、１０１ｂ、１０１ｃ、１０１ｄを共通撮像範囲２０３ａ、２０３ｂ、２０３ｃ、２０３ｄの内側にそれぞれ設置する必要がある。
　共通撮像範囲２０３ａ～２０３ｄの位置は、カメラ１０２ａ～１０２ｄの設置状態に応じて変化する。校正マニュアルには、車両２０１を基準とした共通撮像範囲２０３ａ～２０３ｄの大まかな位置を示す概略範囲が掲載されている。サービスマンは、校正マニュアルに従い、この概略範囲の内側に校正用指標１０１ａ～１０１ｄを設置する。また、この概略範囲は、車載装置１００にも予め記憶されている。なお、校正用指標１０１ａ～１０１ｄは、矩形形状の図形を有する表面を鉛直上向き（紙面垂直方向）に向けていれば、任意の向きで設置してよい。
　校正用指標１０１ａ～１０１ｄの矩形形状の図形の４辺の長さＬは、校正マニュアルに掲載されており、サービスマンが知り得る既知のデータである。以降、矩形上の図形の四つの角を特徴点と呼ぶ。
　図３は、本発明の第１の実施の形態に係るカメラ校正装置である車載装置１００のブロック構成図である。車載装置１００は、画像取得部１０３と、入力部１０４と、画像適正判定部１０５と、校正部１０６と、校正適正判定部１０７と、状態解析部１０８と、表示部１０９と、俯瞰画像生成部１１０と、微調整部１１１とを備える。
　画像取得部１０３は、カメラ１０２ａ～１０２ｄからそれぞれ撮像画像Ａ１、Ｂ１、Ｃ１、Ｄ１を取得し、その撮像画像Ａ１～Ｄ１を不図示のメモリに記憶する。
　入力部１０４は、たとえば、マウス、キーボード、タッチパネルなどの入力装置である。サービスマンは、入力部１０４を用いて、カメラ１０２ａ～１０２ｄの校正に必要なパラメータを校正マニュアルに従い入力し、校正を開始するための操作を行う。カメラ１０２ａ～１０２ｄの校正に必要なパラメータとは、たとえば、校正用指標１０１ａ～１０１ｄの矩形形状の図形の４辺の長さＬ、カメラ１０２ａ～１０２ｄのカメラレンズの特性などである。入力操作に応じた情報は、画像適正判定部１０５、校正部１０６、微調整部１１１に入力される。
　画像適正判定部１０５は、画像取得部１０３により取得された撮像画像Ａ１～Ｄ１が適正か否かを判定する。画像適正判定部１０５は、撮像画像Ａ１～Ｄ１に対して、カメラ１０２ａ～１０２ｄのカメラレンズの特性によって生じる歪みを補正して、補正画像Ａ２～Ｄ２（後述）を生成する。そして、画像適正判定部１０５は、補正画像Ａ２～Ｄ２に基づいて校正用指標１０１ａ～１０１ｄの特徴点を検出して、撮像画像Ａ１～Ｄ１の特徴点の座標を算出する。以降、補正画像Ａ２～Ｄ２における特徴点の座標のことを特徴点座標と呼ぶ。画像適正判定部１０５は、特徴点座標が上述した概略範囲内にあるか否かに基づいて、画像が適正か否かを判定する。
　校正部１０６は、画像適正判定部１０５が算出した校正用指標１０１ａ～１０１ｄの特徴点座標に基づいて、俯瞰画像２５０の車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置と設置角度とを算出する。そして、校正部１０６は、俯瞰画像生成部１１０により俯瞰画像２５０が適正に生成されるように設置位置と設置角度の各設定値を調整する。
　校正適正判定部１０７は、後述する方法により校正部１０６による校正結果が適正か否かを判定する。校正適正判定部１０７の判定結果は、状態解析部１０８へ出力される。また、校正適正判定部１０７は、その判定結果を表示部１０９に表示させる。
　状態解析部１０８は、画像適正判定部１０５と校正部１０６と校正適正判定部１０７の出力に基づいて、カメラ１０２ａ～１０２ｄの設置状態の校正が失敗した原因を解析する。状態解析部１０８は、解析の結果判明した原因を解消するための対策方法を表示部１０９に出力して、サービスマンに指示する。
　俯瞰画像生成部１１０は、補正画像Ａ２～Ｄ２に基づいて俯瞰画像２５０を生成する。車載装置１００には、補正画像Ａ２～Ｄ２の画素と俯瞰画像２５０上の画素との対応関係が記憶されたマッピングテーブルが記憶されている。俯瞰画像生成部１１０は、このマッピングテーブルを参照して、補正画像Ａ２～Ｄ２を俯瞰画像２５０に座標変換する。マッピングテーブルは、校正後のカメラ１０２ａ～１０２ｄの設置位置と設置角度とに基づいて、校正部１０６により調整される。
　微調整部１１１は、表示部１０９に俯瞰画像と、カメラの設置位置と設置角度とを調整する調整画面とを表示して、サービスマンにカメラの設置位置と設置角度の微調整を実施させる。微調整部１１１は、サービスマンによる入力部１０４を介した入力操作に応じて、カメラ１０２ａ～１０２ｄの設置位置と設置角度を調整する。
　サービスマンが校正用指標１０１ａ～１０１ｄを設置して、入力部１０４を用いて車載装置１００の校正の開始を指示すると、カメラ１０２ａ～１０２ｄの校正に必要なパラメータを入力するための入力画面が表示部１０９に表示される。サービスマンがパラメータの入力を完了すると、画像取得部１０３による撮像画像Ａ１～Ｄ１の取得が開始される。撮像画像Ａ１～Ｄ１の取得開始に応じて、画像適正判定部１０５も動作を開始し、撮像画像Ａ１～Ｄ１が適正か否かを判定する。撮像画像Ａ１～Ｄ１が適正と判定された場合、校正部１０６が動作し、カメラ１０２ａ～１０２ｄの設置位置と設置角度が算出される。校正適正判定部１０７は、校正部１０６による校正が適正か否かを判定する。
　画像適正判定部１０５により撮像画像が不適正と判定された場合、または校正適正判定部１０７により校正が不適正と判定された場合、状態解析部１０８がカメラ１０２ａ～１０２ｄの設置状態の校正が失敗した原因を解析する。たとえば、状態解析部１０８は、校正用指標１０１ａ～１０１ｄの設置位置が共通撮像範囲２０３ａ～２０３ｄから逸脱しているといった原因を解析する。状態解析部１０８は、解析結果に応じた対策方法を表示部１０９に表示する。サービスマンは、表示部１０９に表示された対策を行い、再びカメラ１０２ａ～１０２ｄの校正を試みる。
（画像適正判定部１０５）
　図４に示すように、画像適正判定部１０５は、補正画像生成部１５１と、校正指標認識部１５２と、特徴点座標算出部１５３と、画像判定部１５４と、特徴点入力要求部１５５とを有する。
　補正画像生成部１５１は、撮像画像Ａ１～Ｄ１に対して、カメラ１０２ａ～１０２ｄのカメラレンズの特性によって生じる歪みを補正して、補正画像Ａ２～Ｄ２を生成する。カメラ１０２ａ～１０２ｄのカメラレンズの特性によって生じる歪みに関する情報は、予め設定されている。カメラ１０２ａ～１０２ｄのレンズは魚眼レンズのような焦点距離が短いレンズであり、撮像画像は歪んでいる。そのため、表示モニタに俯瞰画像として表示するためには歪みを補正する必要がある。そこで、補正画像生成部１５１は、上述したマッピングテーブルを利用して歪み補正を行う。
　図５は、補正画像Ａ２の一例を示す図である。補正画像Ａ２には、図１で示したように撮像範囲２０２ａの内側に位置する校正用指標１０１ａおよび１０１ｂの像が含まれる。また、補正画像Ａ２は複数の画素で描画されるが、これらの画素は直交座標系であるＸＡ２軸－ＹＡ２軸補正画像座標系で表される。
　校正指標認識部１５２は、テンプレートマッチングやＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）などの公知の画像認識手段を適用して、補正画像Ａ２～Ｄ２に基づいて校正用指標１０１ａ～１０１ｄを検出する。図５の例では、校正指標認識部１５２は、補正画像Ａ２に基づいて、校正用指標１０１ａと校正用指標１０１ｂを検出する。具体的には、校正指標認識部１５２は以下のようにして校正用座標１０１ａ～１０１ｄを検出する。すなわち、校正用指標１０１ａは、補正画像Ａ２と補正画像Ｄ２に基づいてそれぞれ検出される。校正用指標１０１ｂは、補正画像Ａ２と補正画像Ｃ２に基づいてそれぞれ検出される。校正用指標１０１ｃは、補正画像Ｂ２と補正画像Ｄ２に基づいてそれぞれ検出される。校正用指標１０１ｄは、補正画像Ｂ２と補正画像Ｃ２に基づいてそれぞれ検出される。
　特徴点座標算出部１５３は、検出された校正用指標１０１ａ～１０１ｄの特徴点を補正画像座標系上の座標値として算出する。すなわち、特徴点座標算出部１５３は、校正用指標１０１ａ～１０１ｄの特徴点座標を算出する。図５の例では、校正用指標１０１ａの特徴点Ｐ（ａ，ｉ）（ｉは四つの角の通し番号で１～４の整数）の補正画像座標系上の座標と、校正用指標１０１ｂの特徴点Ｐ（ｂ，ｉ）の補正画像座標系上の座標、すなわち特徴点座標をそれぞれ算出する。
　校正用指標１０１ａ～１０１ｄの各特徴点座標は、校正用指標１０１ａ～１０１ｄが検出された二つの補正画像からそれぞれ算出される。すなわち、校正用指標１０１ａの特徴点座標は、補正画像Ａ２の補正画像座標系上と補正画像Ｄ２の補正画像座標系上にそれぞれ算出される。同様に、校正用指標１０１ｂの特徴点座標は、補正画像Ａ２の補正画像座標系上と補正画像Ｃ２の補正画像座標系上にそれぞれ算出される。校正用指標１０１ｃの特徴点座標は、補正画像Ｂ２の補正画像座標系上と補正画像Ｄ２の補正画像座標系上にそれぞれ算出される。校正用指標１０１ｄの特徴点座標は、補正画像Ｂ２の補正画像座標系上と補正画像Ｃ２の補正画像座標系上にそれぞれ算出される。
　画像判定部１５４は、校正用指標１０１ａ～１０１ｄのすべての特徴点座標が前述した概略範囲内に位置するか否かを判定する。画像適正判定部１０５は、校正用指標１０１ａ～１０１ｄのすべての特徴点座標が概略範囲内に位置すると判定した場合、撮像画像Ａ１～Ｄ１が適正であると判定する。一方で、画像適正判定部１０５は、たとえば、校正用指標１０１ａ～１０１ｄのうちのいずれかの特徴点座標が概略範囲外に位置する場合、撮像画像Ａ１～Ｄ１が不適正であると判定する。
　画像適正判定部１０５は、画像判定部１５４により撮像画像Ａ１～Ｄ１が適正と判定された場合、校正用指標１０１ａ～１０１ｄの特徴点座標を校正部１０６と状態解析部１０８へ出力する。
　画像適正判定部１０５は、画像判定部１５４により撮像画像Ａ１～Ｄ１が不適正と判定された場合、校正用指標１０１ａ～１０１ｄの特徴点座標に関する情報と、特徴点座標が検出されなかった校正用指標に関する情報とを状態解析部１０８へ出力する。
　撮像画像Ａ１～Ｄ１が明る過ぎて白とびが発生している場合には、校正指標認識部１５２は校正用指標１０１ａ～１０１ｄを認識できないおそれがある。また、撮像画像Ａ１～Ｄ１が暗すぎて黒つぶれが発生している場合などにも校正指標認識部１５２は校正用指標１０１ａ～１０１ｄを認識できないおそれがある。特徴点入力要求部１５５は、校正指標認識部１５２が校正用指標１０１ａ～１０１ｄを認識できなかった場合に、サービスマンに特徴点の位置を指定させる。たとえば、特徴点入力要求部１５５は、校正用指標１０１ａ～１０１ｄを認識できなかった補正画像を表示部１０９に表示すると共に、入力部１０４を介して特徴点の入力を受け付ける。特徴点入力要求部１５５は、サービスマンが指定した特徴点について、特徴点座標を算出する。
（校正部１０６）
　図６は、校正部１０６のブロック構成図である。図６に示す校正部１０６は、一次校正部１６０ａと、二次校正部１６０ｂと、マッピングテーブル更新部１６６とを有する。一次校正部１６０ａは、補正画像座標系における校正用指標１０１ａ～１０１ｄの特徴点座標に基づいて、指標座標系と称する座標系におけるカメラ１０２ａ～１０２ｄの位置をそれぞれ算出する。二次校正部１６０ｂは、一次校正部１６０ａにより算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する。一次校正部１６０ａは、ホモグラフィ行列算出部１６１と、最適化処理部１６２とを有する。二次校正部１６０ｂは、座標系統合部１６３と、誤差配分部１６４と、パラメータ補正部１６５とを有する。
　指標座標系とは、図７に示すように、校正用指標１０１ａ～１０１ｄごとに設けられた座標系であって、校正用指標１０１ａ～１０１ｄの表面の所定の位置に原点を有し、校正用指標１０１ａ～１０１ｄの表面に平行で互いに直交する２軸を有する。図７に示す指標座標系は、校正用指標１０１ａの表面に設けられた座標系であって、特徴点Ｐ（ａ，１）を原点として、互いに直交するようにＸＡ３軸とＹＡ３軸とが設定されている。
　ホモグラフィ行列算出部１６１は、補正画像座標系における校正用指標１０１ａ～１０１ｄの特徴点座標を指標座標系と称する座標系に座標変換するためのホモグラフィ行列を演算する。
　ホモグラフィ行列は、補正画像Ａ２～Ｄ２ごとに個別に演算されると共に、校正用指標１０１ａ～１０１ｄごとに個別に演算される。すなわち、校正部１０６は、以下の八つのホモグラフィ行列を演算する。
（１．１）補正画像Ａ２の補正画像座標系における校正用指標１０１ａの特徴点座標を校正用指標１０１ａの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ａ２，ａ）
（１．２）補正画像Ａ２の補正画像座標系における校正用指標１０１ｂの特徴点座標を校正用指標１０１ｂの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ａ２，ｂ）
（１．３）補正画像Ｂ２の補正画像座標系における校正用指標１０１ｃの特徴点座標を校正用指標１０１ｃの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｂ２，ｃ）
（１．４）補正画像Ｂ２の補正画像座標系における校正用指標１０１ｄの特徴点座標を校正用指標１０１ｄの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｂ２，ｄ）
（１．５）補正画像Ｃ２の補正画像座標系における校正用指標１０１ｂの特徴点座標を校正用指標１０１ｂの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｃ２，ｂ）
（１．６）補正画像Ｃ２の補正画像座標系における校正用指標１０１ｄの特徴点座標を校正用指標１０１ｄの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｃ２，ｄ）
（１．７）補正画像Ｄ２の補正画像座標系における校正用指標１０１ａの特徴点座標を校正用指標１０１ａの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｄ２，ａ）
（１．８）補正画像Ｄ２の補正画像座標系における校正用指標１０１ｃの特徴点座標を校正用指標１０１ｃの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｄ２，ｃ）
　ホモグラフィ行列Ｈ（Ａ２，ａ）の算出方法と、校正用指標１０１ａの指標座標系におけるカメラの設置位置と設置角度の算出方法について説明する。
　世界座標系を補正画像Ａ２の補正画像座標系に座標変換する式は、（式１）のようになる。（ｕ，ｖ）は補正画像Ａ２の補正画像座標系における座標を表し、（ｘ，ｙ，ｚ）は、世界座標系における座標を表す。世界座標系の原点は、指標座標系の原点と一致する。世界座標系の座標軸は、指標座標系のＸＡ３軸およびＹＡ３軸と、それらの2軸に直交するＺＡ３軸とを有する。Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３は、回転行列の要素である。ｓの値は後に算出する。
Figure JPOXMLDOC01-appb-M000001
 　　（式１）
　（式１）の行列の和を行列の積の形に変形すると、（式２）のようになる。
Figure JPOXMLDOC01-appb-M000002
 　　（式２）
　校正用指標１１０ａ～１１０ｄは、地面（ｚ＝０）に設置されているから、校正用指標１０１ａの指標座標系を補正画像Ａ２の補正画像座標系に座標変換する式は（式３）のように変形できる。
Figure JPOXMLDOC01-appb-M000003
 　　（式３）
　ここで、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ－１ （Ａ２，ａ）は、（式４）のように定義される。なお、この逆行列Ｈ－１ （Ａ２，ａ）もホモグラフィ行列である。
Figure JPOXMLDOC01-appb-M000004
 　　（式４）
　（式４）の各要素をｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２、ｈ３３に置き換えると、（式５）のようになる。
Figure JPOXMLDOC01-appb-M000005
 　　（式５）
　斉次座標表現のため、ホモグラフィ行列は、定数倍の任意性を有する。ここでは例えばｈ３３＝１とする。ｈ３３＝１を代入した（式５）は、以下の連立方程式と等価である。
ｓｕ＝ｈ１１ｘ＋ｈ１２ｙ＋ｈ１３
ｓｖ＝ｈ２１ｘ＋ｈ２２ｙ＋ｈ２３
ｓ＝ｈ３１ｘ＋ｈ３２ｙ＋１
　この連立方程式からｓを消して、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に関して整理して、行列表記すると、（式６）のようになる。
Figure JPOXMLDOC01-appb-M000006
 　　（式６）
　画像適正判定部１０５により算出された補正画像座標系の校正用指標１０１ａの四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）の座標を（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）とする。校正用指標１０１ａ～１０１ｄの矩形形状の図形の４辺の長さＬに基づいて算出される指標座標系における四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とする。このとき、（ｕ１，ｖ１）と（ｘ１，ｙ１）の間の関係、（ｕ２，ｖ２）と（ｘ２，ｙ２）の間の関係、（ｕ３，ｖ３）と（ｘ３，ｙ３）の間の関係、（ｕ４，ｖ４）と（ｘ４，ｙ４）の間の関係は、それぞれ（式６）の関係となる。したがって、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ－１ （Ａ２，ａ）の要素ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２は、（式７）で表される連立方程式を解くことにより算出することができる。
Figure JPOXMLDOC01-appb-M000007
 　　（式７）
　ホモグラフィ行列算出部１６１は、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ－１ （Ａ２，ａ）に基づいて、ホモグラフィ行列Ｈ（Ａ２，ａ）を算出する。ホモグラフィ行列算出部１６１は、他の七つのホモグラフィ行列も同様の計算により生成する。
　ホモグラフィ行列算出部１６１は、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に基づいて、（式８ａ）、（式８ｂ）、（式８ｃ）を算出して指標座標系におけるカメラ１０２ａの設置位置（ｔ１，ｔ２，ｔ３）を算出する。なお、ｓは、（式９）を用いて算出される。
ｔ１＝ｓ・ｈ１３　　（式８ａ）
ｔ２＝ｓ・ｈ２３　　（式８ｂ）
ｔ３＝ｓ　　（式８ｃ）
Figure JPOXMLDOC01-appb-M000008
 　・・・（式９）
　また、ホモグラフィ行列算出部１６１は、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に基づいて、（式１０ａ）、（式１０ｂ）、（式１０ｃ）を算出して、指標座標系におけるカメラ１０２ａの設置角度を算出する。θpitchは、カメラ１０２ａの設置角度のピッチ方向成分を表す。θrollは、カメラ１０２ａの設置角度のロール方向成分を表す。θyawは、カメラ１０２ａの設置角度のヨー方向成分を表す。
θpitch＝ｓｉｎ－１（ｈ３２）　　（式１０ａ）
θroll＝ｔａｎ－１（－ｈ２１／ｈ２２）　　（式１０ｂ）
θyaw＝ｔａｎ－１（－ｈ１３／ｈ３３）　　（式１０ｃ）
　最適化処理部１６２は、ホモグラフィ行列算出部１６１が算出したカメラ１０２ａ～１０２ｄの設置位置と設置角度に対して、最適化処理を行い、誤差を低減する。例えば最適化処理部１６２は、ホモグラフィ行列Ｈ（Ａ２，ａ）に関して、次のような演算を行う。
　最適化処理部１６２は、校正用指標１０１ａの四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）について、ホモグラフィ行列Ｈ（Ａ２，ａ）に基づいて補正画像座標系の座標（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）を指標座標系に座標変換した各座標（ｘｕ１，ｙｖ１）、（ｘｕ２，ｙｖ２）、（ｘｕ３，ｙｖ３）、（ｘｕ４，ｙｖ４）と、既知の指標座標系の各座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）との誤差の総和を表す目的関数を算出する。最適化処理部１６２は、その目的関数の値が極小となるようなホモグラフィ行列Ｈ（Ａ２，ａ）を最急効果法や他の大域的最適解探索法などを用いて探索する。そして、最適化処理部１６２は、探索されたホモグラフィ行列Ｈ（Ａ２，ａ）に基づいて算出される設置位置と設置角度の値を最適値とする。
　ホモグラフィ行列算出部１６１と最適化処理部１６２の演算により、以下の八つの設置位置と設置角度とが算出される。座標系統合部１６３は、これらのカメラ１０２ａ～１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる。
（２．１）校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度
（２．２）校正用指標１０１ｂの指標座標系におけるカメラ１０２ａの設置位置と設置角度
（２．３）校正用指標１０１ｃの指標座標系におけるカメラ１０２ｂの設置位置と設置角度
（２．４）校正用指標１０１ｄの指標座標系におけるカメラ１０２ｂの設置位置と設置角度
（２．５）校正用指標１０１ｂの指標座標系におけるカメラ１０２ｃの設置位置と設置角度
（２．６）校正用指標１０１ｄの指標座標系におけるカメラ１０２ｃの設置位置と設置角度
（２．７）校正用指標１０１ｃの指標座標系におけるカメラ１０２ｄの設置位置と設置角度
（２．８）校正用指標１０１ａの指標座標系におけるカメラ１０２ｄの設置位置と設置角度
　座標系統合部１６３は、（２．７）の設置位置と設置角度から（２．８）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｃの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．３）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ｂの設置位置と設置角度とをそれぞれ算出することができる。
　座標系統合部１６３は、（２．４）の設置位置と設置角度から（２．３）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ｃに対する校正用指標１０１ｄの相対位置と相対角度とを算出することができる。座標系統合部１６３は、校正用指標１０１ｃに対する校正用指標１０１ｄの相対位置と相対角度から校正用指標１０１ａに対する校正用指標１０１ｃの相対位置と相対角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｄの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．６）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することができる。
　座標系統合部１６３は、（２．５）の設置位置と設置角度から（２．６）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ｄに対する校正用指標１０１ｂの相対位置と相対角度とを算出することができる。座標系統合部１６３は、校正用指標１０１ｄに対する校正用指標１０１ｂの相対位置と相対角度から校正用指標１０１ａに対する校正用指標１０１ｄの相対位置と相対角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｂの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．２）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度とをそれぞれ算出することができる。この校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度のことを、（２．１）の設置位置と設置角度と識別するため、２回目のカメラ１０２ａの設置位置と設置角度と呼ぶ。
　座標系統合部１６３は、校正用指標１０１ａの指標座標系におけるカメラ１０２ｂの設置位置と設置角度とから（２．１）の設置値と設置角度をそれぞれ減ずる。これにより、カメラ１０２ａに対するカメラ１０２ｂの相対位置と相対角度とが算出される。同様にして、座標系統合部１６３は、カメラ１０２ａに対するカメラ１０２ｃの相対位置および相対角度と、カメラ１０２ｄの相対位置および相対角度とを算出する。
　座標系統合部１６３は、カメラ１０２ａに対するカメラ１０２ｂ、１０２ｃ、１０２ｄの相対位置と相対角度に基づいて、車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置および設置角度を算出する。
　２回目のカメラ１０２ａの設置位置と設置角度と、（２．１）の設置位置と設置角度との間には、計算誤差等が累積して誤差（閉合差）が生じている。誤差配分部１６４は、車両座標系におけるカメラ１０２ａの設置位置の誤差と設置角度の誤差をそれぞれ車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置と設置角度に配分する。たとえば、誤差配分部１６４は、設置位置の誤差については均等法、コンパス法、トランシット法などを用いて配分し、設置角度の誤差については等配分する。誤差を配分することにより、車両座標系におけるカメラ１０２ａの設置位置と設置角度に計算誤差が偏在しなくなる。しかし、閉合差の配分により、俯瞰画像２５０の画像領域の境界近傍で被写体像にずれが生じるおそれがある。
　パラメータ補正部１６５は、誤差配分部１６４による閉合差の配分によって俯瞰画像２５０に生じるずれを補正する。
　パラメータ補正部１６５は、以下の８種類の特徴点座標の車両座標系における位置を用いた演算により、閉合差の配分により発生したずれを軽減する。
（３．１）補正画像Ａ２における校正用指標１０１ａの四つの特徴点の座標
（３．２）補正画像Ｄ２における校正用指標１０１ａの四つの特徴点の座標
（３．３）補正画像Ａ２における校正用指標１０１ｂの四つの特徴点の座標
（３．４）補正画像Ｃ２における校正用指標１０１ｂの四つの特徴点の座標
（３．５）補正画像Ｂ２における校正用指標１０１ｃの四つの特徴点の座標
（３．６）補正画像Ｄ２における校正用指標１０１ｃの四つの特徴点の座標
（３．７）補正画像Ｂ２における校正用指標１０１ｄの四つの特徴点の座標
（３．８）補正画像Ｃ２における校正用指標１０１ｄの四つの特徴点の座標
　パラメータ補正部１６５は、（３．１）の重心と（３．２）の重心とを算出して、その二つの重心の平均座標Ｇａを算出する。パラメータ補正部１６５は、（３．３）の重心と（３．４）の重心とを算出して、その二つの重心の平均座標Ｇｂを算出する。パラメータ補正部１６５は、（３．５）の重心と（３．６）の重心とを算出して、その二つの重心の平均座標Ｇｃを算出する。パラメータ補正部１６５は、（３．７）の重心と（３．８）の重心とを算出して、その二つの重心の平均座標Ｇｄを算出する。
　パラメータ補正部１６５は、（３．１）の重心が平均座標Ｇａに移動し、（３．３）の重心が平均座標Ｇｂに移動するように、車両座標系におけるカメラ１０２ａの設置位置と設置角度を微調整する。
　パラメータ補正部１６５は、３．５）の重心が平均座標Ｇｃに移動し、（３．７）の重心が平均座標Ｇｄに移動するように、車両座標系におけるカメラ１０２ｂの設置位置と設置角度を微調整する。
　パラメータ補正部１６５は、（３．４）の重心が平均座標Ｇｂに移動し、（３．８）の重心が平均座標Ｇｄに移動するように、車両座標系におけるカメラ１０２ｃの設置位置と設置角度とを微調整する。
　パラメータ補正部１６５は、（３．２）の重心が平均座標Ｇａに移動し、（３．６）の重心が平均座標Ｇｃに移動するように、車両座標系におけるカメラ１０２ｄの設置位置と設置角度とを微調整する。
　以上の微調整とは、座標統合部１６３で算出された設置位置と設置角度を補正することを意味する。
　マッピングテーブル更新部１６６は、微調整後の車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置と設置角度とに基づいて、マッピングテーブルを更新する。マッピングテーブル更新部１６６は、マッピングテーブルの初期値において想定されていたカメラ１０２ａ～１０２ｄの設置位置と設置角度と、微調整後のカメラ１０２ａ～１０２ｄの設置位置と設置角度との誤差に基づいて、マッピングテーブルの初期値を更新する。
（校正適正判定部１０７）
　図８に示すように、校正適正判定部１０７は、一致度検査部１７１と、形状検査部１７２と、サイズ検査部１７３と、評価値算出部１７４と、校正判定部１７５とを有する。
　一致度検査部１７１は、校正用指標１０１ａ～ｄの各々の特徴点座標を該校正用指標の指標座標系に座標変換する二つのホモグラフィ行列について、座標変換後の特徴点座標の一致度を検査する。具体的には、一致度検査部１７１は、以下の四つの座標誤差を算出する。
（４．１）補正画像Ａ２に含まれる校正用指標１０１ａの特徴点座標をホモグラフィ行列Ｈ（Ａ２，ａ）で座標変換した座標と、補正画像Ｄ２に含まれる校正用指標１０１ａの特徴点座標をホモグラフィ行列Ｈ（Ｄ２，ａ）で座標変換した座標との座標誤差
（４．２）補正画像Ａ２に含まれる校正用指標１０１ｂの特徴点座標をホモグラフィ行列Ｈ（Ａ２，ｂ）で座標変換した座標と、補正画像Ｃ２に含まれる校正用指標１０１ｂの特徴点座標をホモグラフィ行列Ｈ（Ｃ２，ｂ）で座標変換した座標との座標誤差
（４．３）補正画像Ｂ２に含まれる校正用指標１０１ｃの特徴点座標をホモグラフィ行列Ｈ（Ｂ２，ｃ）で座標変換した座標と、補正画像Ｄ２に含まれる校正用指標１０１ｃの特徴点座標をホモグラフィ行列Ｈ（Ｄ２，ｃ）で座標変換した座標との座標誤差
（４．４）補正画像Ｂ２に含まれる校正用指標１０１ｄの特徴点座標をホモグラフィ行列Ｈ（Ｂ２，ｄ）で座標変換した座標と、補正画像Ｃ２に含まれる校正用指標１０１ｄの特徴点座標をホモグラフィ行列Ｈ（Ｃ２，ｄ）で座標変換した座標との座標誤差
　形状検査部１７２は、更新後のマッピングテーブルを用いて生成された俯瞰画像２５０において、校正用指標１０１ａ～１０１ｄの特徴点座標によって描かれる形状を検査する。形状検査部１７２は、補正画像Ａ２に含まれる校正用指標１０１ａについては、車両座標系における以下の４辺の傾きを算出する。
（５．１）車両座標系に座標変換された特徴点Ｐ（ａ，１）と特徴点Ｐ（ａ，２）とを結んだ辺Ｅ（Ａ２，ａ，１）
（５．２）車両座標系に座標変換された特徴点Ｐ（ａ，２）と特徴点Ｐ（ａ，３）とを結んだ辺Ｅ（Ａ２，ａ，２）
（５．３）車両座標系に座標変換された特徴点Ｐ（ａ，３）と特徴点Ｐ（ａ，４）とを結んだ辺Ｅ（Ａ２，ａ，３）
（５．４）車両座標系に座標変換された特徴点Ｐ（ａ，４）と特徴点Ｐ（ａ，１）とを結んだ辺Ｅ（Ａ２，ａ，４）
　校正部１０６によりカメラ１０２ａ～１０２ｄの設置位置と設置角度が適正に校正されていれば、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，３）は平行であり、辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）も平行である。また、辺Ｅ（Ａ２，ａ，１）に対して辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）は垂直であり、辺Ｅ（Ａ２，ａ，３）に対しても辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）は垂直である。
　形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，３）の成す角度を算出して、その角度から１８０度を減じた角度誤差を算出する。形状検査部１７２は、辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から１８０度を減じた角度誤差を算出する。形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，２）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。形状検査部１７２は、辺Ｅ（Ａ２，ａ，３）と辺Ｅ（Ａ２，ａ，２）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。形状検査部１７２は、辺Ｅ（Ａ２，ａ，３）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。
　形状検査部１７２は、同様の処理を補正画像ごと、補正画像に含まれる校正用指標ごとに行う。
　サイズ検査部１７３は、車両座標系における校正用指標１０１ａ～１０１ｄの特徴点座標に基づいて、俯瞰画像２５０における校正用指標１０１ａ～１０１ｄの大きさを検査する。サイズ検査部１７３は、補正画像Ａ２に含まれる校正用指標１０１ａの特徴点座標を用いて、以下の四つの距離を算出する。
（６．１）車両座標系に座標変換された特徴点Ｐ（ａ，１）と特徴点Ｐ（ａ，２）との間の距離
（６．２）車両座標系に座標変換された特徴点Ｐ（ａ，２）と特徴点Ｐ（ａ，３）との間の距離
（６．３）車両座標系に座標変換された特徴点Ｐ（ａ，３）と特徴点Ｐ（ａ，４）との間の距離
（６．４）車両座標系に座標変換された特徴点Ｐ（ａ，４）と特徴点Ｐ（ａ，１）との間の距離
　（６．１）、（６．２）、（６．３）、（６．４）の距離は、理想的には、校正マニュアル等に記載されている校正用指標１０１ａ～１０１ｄの矩形形状の図形の４辺の長さＬと一致する。形状検査部１７２は、（６．１）の距離から距離Ｌを減じた距離誤差を算出する。形状検査部１７２は、（６．２）の距離から距離Ｌを減じた距離誤差を算出する。形状検査部１７２は、（６．３）の距離から距離Ｌを減じた距離誤差を算出する。形状検査部１７２は、（６．４）の距離から距離Ｌを減じた距離誤差を算出する。
　サイズ検査部１７３は、同様の処理を補正画像ごと、補正画像に含まれる校正用指標ごとに行う。
　評価値算出部１７４は、一致度検査部１７１が算出した座標誤差の最大値δ１と、形状検査部１７２が算出した角度誤差の最大値δ２と、サイズ検査部１７３が算出した距離誤差の最大値δ３とをカメラ１０２ａ～１０２ｄの校正の評価値（δ１，δ２，δ３）として算出する。
　校正判定部１７５は、評価値算出部１７４が算出した座標誤差の最大値δ１、角度誤差の最大値δ２、距離誤差の最大値δ３に基づいて、カメラ１０２ａ～１０２ｄの校正が適正か否かを判定する。校正判定部１７５は、座標誤差の最大値δ１が所定の閾値Ｔ１未満であり、かつ角度誤差の最大値δ２が所定の閾値Ｔ２未満であり、かつ距離誤差の最大値δ３が所定の閾値Ｔ３未満であるとき、カメラ１０２ａ～１０２ｄの校正が適正であると判定する。
　校正適正判定部１０７は、その判定結果に関する情報を状態解析部１０８へ出力する。すなわち、校正適正判定部１０７は、カメラ１０２ａ～１０２ｄの校正が適正と判定した場合、適正であることを表す情報を状態解析部１０８へ送信する。また、校正適正判定部１０７は、カメラ１０２ａ～１０２ｄの校正が不適正と判定した場合、不適正であることを表す情報と、一致度検査部１０７が算出した座標誤差と、形状検査部１７２が算出した角度誤差と、サイズ検査部１７３が算出した距離誤差と、評価値算出部１７４が算出した評価値を状態解析部１０８へ出力する。
（状態解析部１０８）
　状態解析部１０８は、画像適正判定部１０５の判定結果と、校正適正判定部１０７の判定結果と、最適化処理部１６２が算出した目的関数の極小値と、座標系統合部１６３が算出したカメラ１０２ａの設置位置の閉合差と設置角度の閉合差と、撮像画像Ａ１～Ｄ１とに基づいて、カメラ１０２ａ～１０２ｄの校正状態を解析する。状態解析部１０８は、図９に示すように、特徴点精度判定部１８１と、校正状態解析部１８２と、画像状態解析部１８３と、作業内容生成部１８４とを有する。
　特徴点精度判定部１８１は、校正部１０６がカメラ１０２ａ～１０２ｄの校正に失敗した場合に、その原因が特徴点座標の精度にあるか否かを判定する。状態解析部１０８は、特徴点精度判定部１８１の判定結果に基づいて、カメラ１０２ａ～１０２ｄの校正に失敗した原因を切り分ける。
　本実施の形態のように、校正用指標１０１ａ～１０１ｄの設置位置や設置姿勢、カメラ１０２ａ～１０２ｄの設置位置や設置角度に任意性がある場合、特定の位置に検出されているか否かといった方法で特徴点座標の精度を判定することは困難である。また、特徴点座標はサブピクセルレベルでの精度が求められるため、ピクセルレベルで検出されるエッジの状態などから判定することも難しい。
　特徴点精度判定部１８１は、校正部１０６の最適化処理部１６２が算出した目的関数の極小値に基づいて、特徴点座標の精度を判定する。画像適正判定部１０５において特徴点座標が適正に算出されている場合、校正部１０６の最適化処理部１６２により、特徴点座標の理論値と一致させることができる。それに対して、画像適正判定部１０５において特徴点座標が適正に算出されていない場合、校正部１０６の最適化処理により、特徴点座標の理論値と一致させることができず、目的関数の値が小さくならない。特徴点精度判定部１８１は、目的関数の収束値が所定閾値以上の場合は、特徴点座標の精度が不適正であると判定し、目的関数の収束値が所定閾値未満の場合は、特徴点座標の精度が適正であると判定する。所定閾値の値は、予め設計段階における実験などによって定められる。
　校正状態解析部１８２は、推定カメラパラメータ検査部７０１と座標統合時誤差検査部７０２とを有する。
　推定カメラパラメータ検査部７０１は、サービスマンが入力したカメラ１０２ａ～１０２ｄの校正に必要なパラメータが不適切であるか否かを判定する。推定カメラパラメータ検査部７０１は、校正部１０６が算出したカメラ１０２ａ～ｄの設置位置および設置角度と、予め設定されたカメラ１０２ａ～１０２ｄの設置位置および設置角度との誤差を算出する。サービスマンが入力したカメラ１０２ａ～１０２ｄの校正に必要なパラメータが不適切な場合、カメラ１０２ａ～１０２ｄの高さ方向の設置位置についてのみ大きな誤差が生じる傾向があることがわかっている。推定カメラパラメータ検査部７０１は、カメラ１０２ａ～１０２ｄの高さ方向の設置位置についてのみ大きな誤差が生じた場合、サービスマンが入力したカメラ１０２ａ～１０２ｄの校正に必要なパラメータが不適切であると判定する。
　座標統合時誤差検査部７０２は、校正部１０６がカメラ１０２ａの設置位置と設置角度の基準とする座標系の統合を行う際に発生した誤差を検査する。サービスマンが入力したカメラ１０２ａ～ｄの設置位置の初期値が大きく間違っている場合、座標系統合部１６３の処理時に算出する閉合差が大きくなる傾向にある。そこで、座標統合時誤差検査部７０２は、座標系統合部１６３の処理時に算出する閉合差が所定値以上か否かを判定する。
　画像状態解析部１８３は、校正用指標位置算出部７０３と、輝度特徴算出部７０４と、形状特徴算出部７０５とを有する。校正用指標位置算出部７０３は、補正画像Ａ２～Ｄ２から校正用指標１０１ａ～１０１ｄを検出すると共に、更新前のマッピングテーブルを用いて補正画像Ａ２～Ｄ２に基づく俯瞰画像２５０を生成する。校正用指標位置算出部７０３は、その俯瞰画像２５０における校正用指標１０１ａ～１０１ｄの重心位置を算出する。画像状態解析部１８３は、算出された校正用指標１０１ａ～１０１ｄの重心位置に基づいて、サービスマンが校正用指標１０１ａ～１０１ｄを設置した位置が適正か否かを検査することができる。
　輝度特徴算出部７０４では、撮像画像Ａ１～Ｄ１の各画素から輝度信号を取得して、輝度信号の平均値、輝度信号の最大値、隣接画素間における輝度信号の変化量などの情報を算出する。画像状態解析部１８３は、算出した撮像画像Ａ１～Ｄ１の輝度に関する情報によって、撮像画像Ａ１～Ｄ１の輝度が適正か否かを検査することができる。
　形状特徴算出部７０５では、校正用指標１０１ａ～１０１ｄの特徴点座標の位置関係に関わるさまざまな特徴量を抽出する。形状特徴算出部７０５は、ホモグラフィ算出処理と、最適化処理とを行い、座標系を統合する前のカメラ１０２ａ～１０２ｄの設置位置と設置角度を算出する。そして、形状特徴算出部７０５は、座標系を統合する前のカメラ１０２ａ～１０２ｄの設置位置と設置角度に対して、校正適正判定部１０７と同様の処理を適用する。画像状態解析部１８３は、撮像画像Ａ１～Ｄ１が不適正となった原因が座標系を統合する前の処理か否かを検査することができる。
　作業内容生成部１８４は、画像状態解析部１８２と校正状態解析部１８３が算出した各種情報を用いて、サービスマンに校正が失敗した原因を判断して、その対策をサービスマンに提示する。作業内容生成部１８４は、たとえば、以下に示すような校正失敗の原因を判断する。
原因１．撮像画像Ａ１～Ｄ１が不適正で、画像が暗すぎる。
原因２．撮像画像Ａ１～Ｄ１が不適正で、画像が明るすぎる。
原因３．撮像画像Ａ１～Ｄ１が不適正で、校正用指標１０１ａ～１０１ｄの設置位置が不正である。
原因４．撮像画像Ａ１～Ｄ１が不適正で、特徴点入力要求部１５５においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因５．撮像画像Ａ１～Ｄ１が不適正で、校正開始時にサービスマンが入力したパラメータが不正である。
原因６．校正が不適正で、特徴点の精度が不十分で、画像が明るすぎる。
原因７．校正が不適正で、特徴点の精度が不十分で、画像が暗すぎる。
原因８．校正が不適正で、特徴点の精度が不十分で、画像に影が差している。
原因９．校正が不適正で、特徴点の精度が不十分で、特徴点入力要求部１５５においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因１０．校正が不適正で、特徴点の精度が不十分で、校正用指標１０１ａ～１０１ｄの設置位置が不正である。
原因１１．校正が不適正で、特徴点の精度が不十分で、校正開始時にサービスマンが入力したパラメータが不正である。
原因１２．校正が不適正で、特徴点の精度は十分だが、校正用指標のサイズが異なる。
原因１３．校正が不適正で、特徴点の精度は十分だが、校正開始時にサービスマンが入力したパラメータが不正である。
　なお、作業内容生成部１８４は、原因を一つに特定できない場合には、原因１～原因１３の中から矛盾が生じない範囲内で複数の原因を判断することができる。矛盾が生じる判断とは、たとえば、画像が暗すぎるという原因と画像が明るすぎるという原因とを同時に判断した場合や、特徴点の精度が不十分という条件を含む原因と、特徴点の精度が十分という条件を含む原因とを同時に判断した場合などである。
　作業内容生成部１８４は、画像適正判定部１０５によって撮像画像が不適正と判定された場合、校正失敗の原因を原因１～原因５に絞り込む。
　また、作業内容生成部１８４は、輝度特徴算出部７０４が算出した撮像画像Ａ１～Ｄ１の各画素の輝度信号に関する情報に基づいて、原因１や原因２に該当するか否かを判断する。たとえば、撮像画像Ａ１～Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ１よりも高い場合、原因２に該当すると判断する。また、撮像画像Ａ１～Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ２（＜Ｉ１）よりも低い場合、原因１に該当すると判断する。
　作業内容生成部１８４は、校正用指標位置検査部７０３によって出力される俯瞰画像における校正用指標１０１ａ～１０１ｄの重心位置が所定の範囲から逸脱しているとき、原因３に該当すると判断する。
　作業内容生成部１８４は、輝度特徴算出部７０４が算出した撮像画像Ａ１～Ｄ１の各画素の輝度信号に基づいて、特徴点座標近傍の輝度の最大値と特徴点座標近傍の輝度の最小値との差を算出する。作業内容生成部１８４は、その差が所定値よりも小さい場合、特徴点入力要求部１５５の要求に応じてサービスマンが入力した特徴点座標が真の特徴点座標から大きく外れている疑いが強いため、原因４に該当すると判断する。
　作業内容生成部１８４は、撮像画像Ａ１～Ｄ１において、校正用指標１０１ａ～１０１ｄの矩形形状の各図形の４辺の長さの最大値と最小値の差が所定閾値以上である場合は、原因５と判断する。ここで、所定閾値は、カメラ１０２ａ～１０２ｄの設置角度に起因して理論上起こり得る差の最大値であって、車載装置１００の設計段階において予め設定されている。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、さらに、特徴点精度判定部１８１において特徴点精度が適正と判断された場合、原因１２または原因１３に該当すると判断する。
　作業内容生成部１８４は、サービスマンが設定したカメラ１０２ａ～ｄの設置位置および設置角度の初期値が不適切であると校正状態解析部１８２の推定カメラパラメータ検査部７０１が判定した場合、原因１２に該当すると判断する。
　作業内容生成部１８４は、座標系統合部１６３の処理時に算出する閉合差が所定値以上の場合は、原因１３に該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、さらに、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合、原因６、原因７、原因８、原因９、原因１０、原因１１のいずれか少なくとも一つに該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１～Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ１よりも高い場合、原因６に該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１～Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ２（＜Ｉ１）よりも低い場合、原因７に該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、校正用指標位置検査部７０３が所定の範囲から逸脱しているとき、原因１０に該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、輝度特徴算出部７０４が算出した撮像画像Ａ１～Ｄ１の各画素の輝度信号に基づいて、特徴点座標近傍の輝度の最大値と特徴点座標近傍の輝度の最小値との差を算出する。作業内容生成部１８４は、その差が所定値よりも小さい場合、特徴点入力要求部１５５の要求に応じてサービスマンが入力した特徴点座標が真の特徴点座標から大きく外れている疑いが強いため、原因９に該当すると判断する。
　作業内容生成部１８４は画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、補正画像Ａ２～Ｄ２に対してエッジ検出処理を実行して検出した同一エッジ上の輝度信号列の輝度の平均値が所定閾値よりも大きく変動し、かつその輝度の変動が高輝度と低輝度との間を往復する物である場合、原因８に該当すると判断する。
　作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１～Ｄ１において、校正用指標１０１ａ～１０１ｄの矩形形状の各図形の４辺の長さの最大値と最小値の差が所定閾値以上である場合、原因１１に該当すると判断する。
　作業内容生成部１８４は、原因１、原因２、原因６、原因７のいずれかに該当する場合は、サービスマンに照明の調整するように促すメッセージを表示部１０９に表示する。
　また、作業内容生成部１８４は、原因１、原因７のいずれかに該当する場合は、屋外で校正を実施している可能性を考慮して、明るい時刻に校正を行うことを促すメッセージを表示部１０９に表示する。
　作業内容生成部１８４は、原因３、原因１０のいずれかに該当する場合は、校正用指標１０１ａ～１０１ｄを移動させるようにサービスマンに指示する。このとき、作業内容生成部１８４は、校正用指標１０１ａ～１０１ｄの特徴点座標と、画像判定部１５４が判定に用いる適正画像領域とに基づいて、校正用指標１０１ａ～１０１ｄを移動させる方向をさらに指示することが好ましい。
　作業内容生成部１８４は、原因５、原因１１のいずれかに該当する場合は、カメラ１０２ａ～１０２ｄの異常の可能性があるため、カメラ１０２ａ～１０２ｄの交換などを指示する。
　作業内容生成部１８４は、原因８に該当する場合は、校正用指標１０１ａ～１０１ｄを影がない位置に移動させるように指示する。
　作業内容生成部１８４は、原因１２に該当する場合は、使用している校正用指標１０１ａ～１０１ｄ、または入力部１０４を介して入力した情報のいずれかに誤りがないか確認することをサービスマンに促す。
　作業内容生成部１８４は、原因１３の場合は、サービスマンが入力した校正用指標１０１ａ～１０１ｄの矩形形状の図形の４辺の長さＬなどの入力値が誤っていないか確認することを促す。
　図１０は、車載装置１００がカメラ１０２ａ～１０２ｄに接続され、車載装置１００の電源がオンになったときに車載装置１００が開始する動作を示すフローチャートである。この動作は、図示しないメモリに記憶されたプログラムを車載装置１００のＣＰＵ（不図示）が実行して行われる。
　ステップＳ１では、車載装置１００は、「校正用指標を設置した後、校正開始操作を行ってください。」等のメッセージを表示部１０９に表示する。
　ステップＳ２では、車載装置１００は、入力部１０４により、特にカメラ１０２ａ～１０２ｄの校正を開始する操作が行われたか否かを判定する。車載装置１００は、校正を開始する操作が行われるまでステップＳ２の処理を繰り返し、校正を開始する操作が行われたときステップＳ３の処理に進む。
　ステップＳ３では、車載装置１００は、カメラ１０２ａ～１０２ｄの校正に必要なパラメータをサービスマンに入力させるための入力画面を表示部１０９に表示する。
　ステップＳ４では、車載装置１００は、カメラ１０２ａ～１０２ｄの校正に必要なパラメータの入力が完了したか否かを判定する。車載装置１００は、入力が完了するまでステップＳ４の処理を繰り返し、入力が完了したときステップＳ５の処理に進む。
　ステップＳ５では、車載装置１００は、カメラ１０２ａ～１０２ｄからの撮像画像Ａ１～Ｄ１の取得を開始する。これにより、画像適正判定部１０５が撮像画像Ａ１～Ｄ１が適正か否かの判定を開始する。
　ステップＳ６では、車載装置１００は、撮像画像Ａ１～Ｄ１が適正か否かを判定する。撮像画像Ａ１～Ｄ１が適正と画像適正判定部１０５が判定した場合はステップＳ７の処理に進み、撮像画像Ａ１～Ｄ１が不適正と画像適正判定部１０５が判定した場合はステップＳ１０の処理に進む。
　ステップＳ７では、車載装置１００は、校正部１０６の処理を実行して、カメラ１０２ａ～１０２ｄの設置位置と設置角度の校正を行う。
　ステップＳ８では、車載装置１００は、カメラ１０２ａ～１０２ｄの設置状態の校正に成功したか否かを判定する。カメラ１０２ａ～１０２ｄの校正が適正と校正適正判定部１０７が判定した場合はステップＳ９の処理に進み、カメラ１０２ａ～１０２ｄの校正が不適正と校正適正判定部１０７が判定した場合はステップＳ１０の処理に進む。
　ステップＳ９では、車載装置１００は、「カメラの校正に成功しました。」などのメッセージを表示部１０９に表示する。その後、車載装置１００は、図１０に示す処理を終了する。
　ステップＳ１０では、車載装置１００は、状態解析部１０８の処理を実行して、カメラ１０２ａ～１０２ｄの校正に失敗した原因を解析する。車載装置１００は、状態解析部１０８の解析結果に基づく対策を表示部１０９に表示して、図１０に示す処理を終了する。
　図１１は、画像適正判定部１０５の処理に関するフローチャートである。
　ステップＳ３００では、車載装置１００は、補正画像生成部１５１の処理による補正画像Ａ２～Ｄ２の生成を開始する。
　ステップＳ３０１では、車載装置１００は、補正画像Ａ２～Ｄ２に基づいて、校正指標認識部１５２の処理を行い、校正用指標１０１ａ～１０１ｄを認識する。
　ステップＳ３０２では、車載装置１００は、校正用指標１０１ａ～１０１ｄを認識することができたか否かを判定する。車載装置１００は、校正指標認識部１５２の処理により校正用指標１０１ａ～１０１ｄを認識することができた場合はステップＳ３０３の処理に進む。車載装置１００は、校正指標認識部１５２の処理により校正用指標１０１ａ～１０１ｄを認識することができなかった場合、たとえば、撮像画像Ａ１～Ｄ１の輝度が明るすぎる場合や暗すぎる場合には、ステップＳ３０６の処理に進む。
　ステップＳ３０３では、車載装置１００は、認識した校正用指標１０１ａ～１０１ｄについて、特徴点座標を算出する。
　ステップＳ３０４では、車載装置１００は、画像判定部１５４の処理を実行して、撮像画像Ａ１～Ｄ１が適正か否かを判定する。
　ステップＳ３０５では、車載装置１００は、ステップＳ３０４の判定結果に応じた情報を情報解析部１０８へ出力する。
　ステップＳ３０６では、車載装置１００は、特徴点入力要求部１５５の処理を実行する。
　ステップＳ３０７では、車載装置１００は、サービスマンによる特徴点の入力が完了したか否かを判定する。車載装置１００は、たとえば、サービスマンが入力完了を表す所定の操作を行うまでステップＳ３０７の処理を繰り返し、サービスマンが入力完了を表す所定の操作を行った場合、特徴点の入力が完了したと判定して、ステップＳ３０８の処理に進む。
　ステップＳ３０８では、車載装置１００は、サービスマンが入力した特徴点について、特徴点座標を算出する。その後、車載装置１００は、ステップＳ３０４の処理に進む。
　図１２は、校正部１０６の処理に関するフローチャートである。
　ステップＳ４０１では、車載装置１００は、ホモグラフィ算出部１６１の処理を実行して、校正用指標１０１ａ～１０１ｄの特徴点座標を指標座標系に座標変換するための八つのホモグラフィ行列を演算する。車載装置１００は、算出したホモグラフィ行列に基づいて、カメラ１０２ａ～１０２ｄの設置位置と設置角度を算出する。
　ステップＳ４０２では、車載装置１００は、最適化処理部１６２の処理を実行して、ホモグラフィ行列の要素を用いて算出したカメラ１０２ａ～１０２ｄの設置位置と設置角度に対して、最適化処理を行う。
　ステップＳ４０３では、車載装置１００は、座標系統合部１６３の処理を実行して、ステップＳ４０２の処理で最適化されたカメラ１０２ａ～１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる。
　ステップＳ４０４では、車載装置１００は、誤差配分部１６４の処理を実行して、車両座標系におけるカメラ１０２ａの設置位置の閉合差と設置角度の閉合差をそれぞれ車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置と設置角度に配分する。
　ステップＳ４０５では、車載装置１００は、パラメータ補正部１６５の処理を実行して誤差配分部１６４による閉合差の配分によって俯瞰画像２５０に生じるずれを補正する。
　ステップＳ４０６では、車載装置１００は、ステップＳ４０５の処理後の車両座標系におけるカメラ１０２ａ～１０２ｄの設置位置と設置角度とに基づいて、マッピングテーブルを更新する。
　ステップＳ４０７では、車載装置１００は、ステップＳ４０６で更新したマッピングテーブルを用いて、補正画像Ａ２～Ｄ２を俯瞰画像２５０に座標変換する。
　ステップＳ４０８では、車載装置１００は、ステップＳ４０７で生成した俯瞰画像２５０と、ステップＳ４０２の最適化処理で算出された目的関数と、ステップＳ４０４の誤差配分処理で配分した校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置の閉合差と設置角度の閉合差を状態解析部１０８へ出力する。また、車載装置１００は、ステップＳ４０７で生成した俯瞰画像２５０と、ステップＳ４０１で算出したホモグラフィ行列とを校正適正判定部１０７へ出力して、図１２の処理を終了する。
　図１３は、校正適正判定部１０７の処理に関するフローチャートである。
　ステップＳ５０１では、車載装置１００は、一致度検査部１７１と形状検査部１７２とサイズ検査部１７３の処理を実行する。これらの処理は、任意の順番で実行することにしてもよく、並列に実行することにしてもよい。
　ステップＳ５０２では、車載装置１００は、評価値算出部１７４の処理を実行して、一致度検査部１７１と形状検査部１７２とサイズ検査部１７３の算出結果に基づく評価値を算出する。
　ステップＳ５０３では、車載装置１００は、校正判定部１７５の処理を実行する。ステップＳ５０４では、車載装置１００は、ステップＳ５０３の判定結果に応じて、情報を状態解析部１０８へ出力して、図１３の処理を終了する。
　図１４は、状態解析部１０８の処理に関するフローチャートである。
　ステップＳ６０１では、車載装置１００は、図１１のステップＳ３０４で撮像画像Ａ１～Ｄ１が適正と判定されたか否かを判定する。車載装置１００は、ステップＳ３０４で撮像画像Ａ１～Ｄ１が適正と判定された場合は処理をステップＳ６０２に進め、ステップＳ３０４で撮像画像Ａ１～Ｄ１が不適正と判定された場合は処理をステップＳ６０６に進める。
　ステップＳ６０２では、車載装置１００は、図１３のステップＳ５０３でカメラ１０２ａ～１０２ｄの設置状態の校正が適正と判定されたか否かを判定する。車載装置１００は、ステップＳ５０３でカメラ１０２ａ～１０２ｄの設置状態の校正が適正と判定された場合は図１４の処理を終了する。車載装置１００は、ステップＳ５０３でカメラ１０２ａ～１０２ｄの設置状態の校正が不適正と判定された場合はステップＳ６０３の処理に進む。
　ステップＳ６０３では、車載装置１００は、特徴点精度判定部１８１の処理を実行する。ステップＳ６０４では、車載装置１００は、ステップＳ６０３において、特徴点座標の精度が適正であると特徴点精度判定部１８１が判定したか否かを判定する。車載装置１００は、特徴点座標の精度が適正であると特徴点精度判定部１８１が判定した場合はステップＳ６０５の処理に進み、特徴点座標の精度が不適正であると特徴点精度判定部１８１が判定した場合はステップＳ６０６の処理に進む。
　ステップＳ６０５では、車載装置１００は、校正状態解析部１８２の処理を実行する。ステップＳ６０６では、車載装置１００は、画像状態解析部１８３の処理を実行する。ステップＳ６０７では、車載装置１００は、作業内容生成部１８４の処理を実行する。ステップＳ６０８では、車載装置１００は、作業内容生成部１８４により生成されたサービスマンの作業内容を表示部１０９に表示して、図１４の処理を終了する。
（第２の実施の形態）
　本発明の第２の実施の形態について説明する。
　図１５は、本発明の第２の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図１５において、車両２０１は、たとえば、大型ダンプトラック、マイニング機械などの大型車両である。図１５には、車両２０１が納入先で組み立てられ、車両２０１の後方と右側方にそれぞれカメラ１０２ｂとカメラ１０２ｄが設置された状態が示されている。
　車載装置１００は、図１６に示すような俯瞰画像を生成して、運転席に設けられた表示部に表示することで、運転者の死角となる周囲環境に関する情報を提供する。サービスマンは、車両２０１の納入先でカメラ１０２ｂとカメラ１０２ｄの設置状態を校正して、俯瞰画像が適正に生成されるように車載装置１００を設定する。
　車載装置１００は、車両２０１に設けられており、カメラ１０２ｂとカメラ１０２ｄに接続されている。カメラ１０２ｂは、撮像範囲２０２ｂに関する撮像画像Ｂ１を車載装置１００へ出力する。カメラ１０２ｄは、撮像範囲２０２ｄに関する撮像画像Ｄ１を車載装置１００へ出力する。図１６に示す俯瞰画像には、カメラ１０２ｂが出力する撮像画像Ｂ１に基づいて生成される画像領域２５０ｂと、カメラ１０２ｄが出力する撮像画像Ｄ１に基づいて生成される画像領域２５０ｄとが含まれている。
　サービスマンは、車両２０１の右側方後方に校正用指標１０１ｃを設置している。カメラ１０２ｂとカメラ１０２ｄの設置状態の校正を成功させるためには、図１５のように校正用指標１０１ｃがカメラ１０２ｂの撮像範囲２０２ｂとカメラ１０２ｄの撮像範囲２０２ｂとが重なり合う共通撮像範囲２０３ｃに設置されている必要がある。
　第２の実施の形態における車載装置１００の構成は、第１の実施の形態と同一である。すなわち、第２の実施の形態における車載装置１００は、画像取得部１０３と、入力部１０４と、画像適正判定部１０５と、校正部１０６と、校正適正判定部１０７と、状態解析部１０８と、表示部１０９と、俯瞰画像生成部１１０とを備える。第２の実施の形態における車載装置１００は、校正部１０６の処理が第１の実施の形態と異なる。
　図１７は、本発明の第２の実施の形態における校正部１０６に関するフローチャートである。図１７と図１２とを比較すると明らかなように、第２の実施の形態における校正部１０６は、ステップＳ４０４の誤差配分処理と、ステップＳ４０５のパラメータ補正処理とを実行しない点が第１の実施の形態における校正部１０６と異なる。
　以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）第２の実施の形態である図１５～図１７と、第１の実施の形態の図３、図４、図６を参照して説明する。カメラ校正装置１００は、少なくとも二つのカメラ１０２ｂ、１０２ｄで少なくとも一つの指標１０１ｃを撮像し、少なくとも二つのカメラ１０２ｂ、１０２ｄの撮像画像に基づいて、少なくとも二つのカメラ１０２ｂ、１０２ｄの設置状態について校正を行う。そして、この校正装置１００、少なくとも二つのカメラ１０２ｂ、１０２ｄの撮像画像に基づいて少なくとも一つの指標１０１ｃの特徴量を抽出する抽出部、たとえば画像適正判定部１０５と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラ１０２の各位置をそれぞれ算出する一次校正部１６０ａと、一次校正部１６０ａにより算出された指標座標系における各カメラ１０２ｂ、１０２ｄの位置を車両座標系における各カメラ１０２の位置に座標変換する二次校正部１６０ｂと、を備える。したがって、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラ１０２ｂ、１０２ｄの設置状態を物理的に調整することなく、少なくとも２つの撮影画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場、あるいは納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。もちろん、車両を組み立て工場内での最終調整工程において本発明の校正装置を使用しても同様の効果が得られる。
（２）第２の実施の形態におけるカメラ校正装置１００は、カメラ１０２ｂおよび１０２ｄに対するカメラ校正装置であって、二つのカメラ１０２ｂおよび１０２ｄからの撮像画像には、二つのカメラ１０２ｂおよび１０２ｄの撮像範囲の重なる範囲に一つの指標１０１ｃの画像が含まれている。抽出部、たとえば画像適正判定部１０５は、一つの指標１０１ｃについて特徴点座標を抽出する。一次校正部１６０ａは、特徴点座標を指標座標系に座標変換するホモグラフィ行列を算出し、ホモグラフィ行列に基づいて指標座標系における二つのカメラ１０２ｂおよび１０２ｄの位置を算出する。二次校正部１６０ｂは、一次校正部１６０ａにより算出された指標座標系におけるカメラ１０２ｂおよび１０２ｄの各位置を車両座標系における位置に変換する座標系統合部１６３を有する。したがって、俯瞰画像合成用の撮像画像を撮影する二つのカメラ１０２ｂ、１０２ｄの設置状態を物理的に調整することなく、二つの撮像画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
（３）第１の実施の形態におけるカメラ校正装置は、四つのカメラ１０２ａ～１０２ｄに対する校正装置である。四つのカメラ１０２ａ～１０２ｄの各々は、四つのカメラ１０２ａ～１０２ｄのうち他の二つのカメラと撮像範囲が重なり、四つカメラ１０２ａ～１０２ｄからの撮像画像には、四つのカメラ１０２ａ～１０２ｄの撮像範囲が互いに重なる範囲にそれぞれ一つの指標の画像が含まれている。抽出部、たとえば画像適正判定部１０５は、四つの指標１０１ａ～１０１ｄの各々について特徴点座標を抽出する。一次校正部１６０ａは、四つの指標１０１ａ～１０１ｄの各々について、当該指標を撮像範囲に含むカメラ１０２ａ～１０２ｄごとに、当該指標の特徴点座標を当該指標の指標座標系に座標変換するホモグラフィ行列を算出し、ホモグラフィ行列に基づいて、ホモグラフィ行列による変換先の指標座標系における当該カメラの位置をそれぞれ算出する。したがって、俯瞰画像合成用の撮像画像を撮影する四つのカメラ１０２ａ～１０２ｄの設置状態を物理的に調整することなく、四つの撮像画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場などで精度よく校正することができる。
　以上で説明した実施形態は、以下のように変形して実施できる。
（変形例１）　画像適正判定部１０５は、補正画像生成部１５１が補正画像Ａ２～Ｄ２を生成するより前に、撮像画像Ａ１～Ｄ１の明るさが適正か否かを判定して、不適正の場合は撮像画像Ａ１～Ｄ１の明るさを画像処理により補正することにしてもよい。このように補正することにより、原因１、原因２、原因６、原因７による校正失敗の頻度を低減することができる。
（変形例２）　特徴点入力要求部１５５の処理に応じてサービスマンが特徴点の位置を指定した場合に、特徴点入力要求部１５５が算出する特徴点座標は、入力誤差により、真の特徴点座標からずれているおそれがある。以下の処理により、特徴点入力要求部１５５が算出した特徴点座標のずれを補正することにしてもよい。車載装置１００は、サービスマンが特徴点を指定した校正用指標１０１の周囲の補正画像を拡大した拡大補正画像を線形拡大法などの画像処理を用いて生成する。拡大補正画像では、真の特徴点の近傍において輝度信号が急峻に変化しておらず、スロープ状になだらかに変化する。そこで、車載装置１００は、そのスロープの中央部分を結んで、特徴点近傍で交わる二つの直線を検出して、それら二つの直線の交点を真の特徴点座標として算出する。このように補正することにより、原因４および原因９による校正失敗の頻度を低減することができる。
（変形例３）　状態解析部１０８の作業内容生成部１８４は、サービスマンに校正が失敗した原因を原因１～原因１３の中から判断することとしたが、作業内容生成部１８４が判断する原因は原因１～原因１３だけに限定しない。たとえば、校正用指標１０１ａ～１０１ｄが平坦な地面に設置されていないことによって校正に失敗したことを判断することにしてもよい。
（変形例４）　上記の実施の形態では、校正用指標１０１ａ～１０ｄの表面に描かれた図形は、黒く塗りつぶされた矩形としたが、他の図形でもよい。たとえば、市松模様でもよい。また、上記の実施の形態では、特徴点Ｐ（ａ，１）を指標座標系の原点としたが、他の特徴点でもよく、校正用指標１０１ａ～１０ｄの表面に描かれた図形ごとに適宜選択することができる。
（変形例５）　座標系統合部１６３がカメラ１０２ａ～１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる方法は、上記で説明した方法だけに限定されない。たとえば、次の方法で校正用指標１０１ａの指標座標系におけるカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することにしてもよい。
［１］座標系統合部１６３は、（２．２）の設置位置と設置角度から（２．５）の設置位置と設置角度をそれぞれ減ずる。これにより、校正用指標１０１ｂの指標座標系におけるカメラ１０２ａに対するカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することができる。
［２］座標系統合部１６３は、［１］の算出結果を（２．１）の設置位置と設置角度からそれぞれ減ずる。
（変形例６）　一次校正部１６０ａおよび二次校正部１６０ｂの具体的な手順は、上記の実施の形態で示した手順以外のものでもよい。たとえば、一次校正部１６０ａは、ホモグラフィ行列を用いない手法を採用して、補正画像座標系における校正用指標の特徴点座標に基づいて、指標座標系における複数のカメラの設置位置および設置角度を算出することにしてもよい。
（変形例７）　上記の実施の形態におけるカメラ校正装置は、車両２０１に搭載され、俯瞰画像生成部１１０を有する車載装置１００であった。しかし、本発明によるカメラ校正装置は、車両２０１に搭載された車載装置でなくてもよく、俯瞰画像生成部１１０を有する車載装置に接続可能な外部情報端末であってもよい。たとえば、サービスマンが携帯するノート型パーソナルコンピュータであってもよい。
　以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１３年第２４７２６１号（２０１３年１１月２９日出願）
１００　車載装置
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ　校正用指標
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ　カメラ
１０５　画像適正判定部
１０６　校正部
１０７　校正適正判定部
１０８　状態解析部
１５１　補正画像生成部
１５２　校正指標認識部
１５３　特徴点座標算出部
１５４　画像判定部
１５５　特徴点入力要求部
１６０ａ　一次校正部
１６０ｂ　二次校正部
１６１　ホモグラフィ行列算出部
１６２　最適化処理部
１６３　座標系統合部
１６４　誤差配分部
１６５　パラメータ補正部
１６６　マッピングテーブル更新部
２０１　車両

Claims (13)

  1. 　少なくとも二つのカメラで少なくとも一つの指標を撮像し、前記少なくとも二つのカメラの撮像画像に基づいて、前記少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、
    　前記少なくとも二つのカメラの撮像画像に基づいて前記少なくとも一つの指標の特徴量を抽出する抽出部と、
    　前記特徴量に基づいて、指標座標系において、前記少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、
    　前記一次校正部により算出された前記指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、
    　を備えるカメラ校正装置。
  2. 　請求項１に記載のカメラ校正装置において、
    　前記二次校正部による校正の後に生成された俯瞰画像に基づいて、前記車両座標系における前記複数のカメラの各々の位置が適正か否かを判定する校正適正判定部を備えるカメラ校正装置。
  3. 　請求項１に記載のカメラ校正装置において、
    　前記特徴量に基づいて、画像が適正に撮影されているか否かを判定する画像適正判定部を備えるカメラ校正装置。
  4. 　請求項１に記載のカメラ校正装置において、
    　前記特徴量に基づいて、画像が適正に撮影されているか否かを判定する画像適正判定部と、
    　前記二次校正部による校正の後に生成された俯瞰画像に基づいて、前記車両座標系における前記複数のカメラの各々の位置が適正か否かを判定する校正適正判定部と、
    　前記画像適正判定部の判定結果と、前記校正適正判定部の判定結果とに基づいて、前記校正に失敗した原因を解析する状態解析部と、
    　を備えるカメラ校正装置。
  5. 　請求項２又は４に記載のカメラ校正装置において、
    　前記校正適正判定部は、前記判定結果を表示部に表示するカメラ校正装置。
  6. 　請求項１に記載のカメラ校正装置において、
    　前記少なくとも二つのカメラは、互いに撮像範囲が重なる二つのカメラであり、
    　前記二つのカメラからの前記撮像画像には、前記二つのカメラの撮像範囲の重なる範囲に一つの指標の画像が含まれており、
    　前記抽出部は、前記一つの指標について特徴点の位置を前記特徴量として抽出して、
    　前記一次校正部は、前記特徴点の位置を前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて前記指標座標系における前記二つのカメラの位置を算出し、
    　前記二次校正部は、
    　前記一次校正部により算出された前記指標座標系における各カメラの位置を前記車両座標系における位置に変換する座標系統合部を有するカメラ校正装置。
  7. 　請求項６に記載のカメラ校正装置において、
    　前記二つのカメラと、さらに追加された二つのカメラとに対する校正装置であって、
    　四つのカメラの各々は、前記四つのカメラのうち他の二つのカメラと撮像範囲が重なり、
    　前記四つカメラからの撮像画像には、前記四つのカメラの撮像範囲が互いに重なる範囲にそれぞれ一つの指標の画像が含まれており、
    　前記抽出部は、四つの指標の各々の特徴点の位置を前記特徴量として抽出して、
    　前記一次校正部は、前記四つの指標の各々について、当該指標を撮像範囲に含むカメラごとに、当該指標の前記特徴点の位置を当該指標の前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて、前記ホモグラフィ行列による変換先の前記指標座標系における当該カメラの位置をそれぞれ算出するカメラ校正装置。
  8. 　請求項７に記載のカメラ校正装置において、
    　前記四つのカメラは、第１、第２、第３、および第４のカメラであって、
    　前記第１のカメラは、前記第３および第４のカメラと撮像範囲が重なり合い、
    　前記第２のカメラは、前記第３および第４のカメラと撮像範囲が重なり合い、
    　前記第１のカメラの撮像範囲と前記第４のカメラの撮像範囲とが重なり合う範囲内に第１の指標の画像が含まれ、
    　前記第１のカメラの撮像範囲と前記第３のカメラの撮像範囲とが重なり合う範囲内に第２の指標の画像が含まれ、
    　前記第２のカメラの撮像範囲と前記第４のカメラの撮像範囲とが重なり合う範囲内に第３の指標の画像が含まれ、
    　前記第２のカメラの撮像範囲と前記第３のカメラの撮像範囲とが重なり合う範囲内に第４の指標の画像が含まれ、
    　前記車両座標系は、前記第１のカメラの設置位置を基準とした座標系であって、
    　前記座標系統合部は、
    　前記四つのカメラのうち撮像範囲が重なり合う複数のカメラについて前記一次校正部が算出した位置に基づいて、前記第１の指標の前記指標座標系における前記四つのカメラの位置を算出して、
    　前記第１の指標の前記指標座標系における前記第１のカメラの位置に基づいて前記第１の指標の前記指標座標系における前記四つのカメラの位置を前記車両座標系に変換するカメラ校正装置。
  9. 　請求項８に記載のカメラ校正装置において、
    　前記一次校正部は、
    　前記第１の指標の指標座標系における前記第１のカメラの位置と前記第４のカメラの位置と、
    　前記第２の指標の指標座標系における前記第３のカメラの位置と前記第１のカメラの位置と、
    　前記第３の指標の指標座標系における前記第４のカメラの位置と前記第２のカメラの位置と、
    　前記第４の指標の指標座標系における前記第２のカメラの位置と前記第３のカメラの位置と、を算出し、
    　前記座標系統合部は、
    　異なる二つの指標座標系における同一のカメラの位置に基づいて、当該二つの指標座標系間の相対位置関係を算出し、
    　異なる二つの指標座標系間の相対位置関係に基づいて、前記第１の指標の前記指標座標系における前記第２、第３、および第４の指標の指標座標系の相対位置関係を算出し、
    　前記第１の指標の前記指標座標系における前記第２、第３、および第４の指標の指標座標系の相対位置関係と、前記一次校正部が算出した各カメラの位置とに基づいて、前記第１の指標の指標座標系における各カメラの位置を算出するカメラ校正装置。
  10. 　請求項９に記載のカメラ校正装置において、
    　前記座標系統合部は、前記第１の指標の指標座標系における前記第２の指標の位置と前記第２の指標の指標座標系における前記第１のカメラの位置とに基づいて、前記第１の指標の指標座標系における前記第１のカメラの位置を算出して、
    　前記二次校正部は、
    　前記一次校正部で算出された前記第１の指標の指標座標系における前記第１のカメラの位置と、前記座標系統合部が算出した前記第１の指標の指標座標系における前記第１のカメラの位置との誤差を前記第１の指標の指標座標系における各カメラの位置に配分する誤差配分部をさらに備えるカメラ校正装置。
  11. 　請求項１０に記載のカメラ校正装置において、
    　前記二次校正部は、前記誤差配分部により前記誤差が配分された後に、（１）前記第１および第４のカメラの各撮像画像中の前記第１の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（２）前記第３および第１のカメラの各撮像画像中の前記第２の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（３）前記第４および第２のカメラの各撮像画像中の前記第３の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（４）前記第２および第３のカメラの各撮像画像中の前記第４の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、に基づいて前記車両座標系における各カメラの位置を補正する補正部をさらに備えるカメラ校正装置。
  12. 　請求項４に記載のカメラ校正装置において、
    　前記状態解析部は、
    　前記一次校正部による校正処理後の前記特徴量の精度が適正か否かを判定する特徴量精度判定部と、
    　前記特徴量精度判定部が適正と判定した場合に、前記二次校正部による校正状態を解析する校正状態解析部と、
    　前記特徴量精度判定部が不適正と判定した場合に、前記撮像画像を解析する画像状態解析部と、
    　を有するカメラ校正装置。
  13. 　請求項１２に記載のカメラ校正装置において、
    　前記少なくとも一つの指標の寸法に関する情報を入力する入力部をさらに備え、
    　前記特徴量精度判定部は、前記一次校正部で算出される前記指標座標系における前記少なくとも二つのカメラの各位置と、前記少なくとも一つの指標の寸法に関する情報に基づく前記指標座標系における前記少なくとも二つのカメラの各々の理論位置との間の誤差の総和を表す目的関数の極小値に基づいて、前記特徴量の精度を判定するカメラ校正装置。
PCT/JP2014/080530 2013-11-29 2014-11-18 カメラ校正装置 WO2015079980A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/033,941 US10192309B2 (en) 2013-11-29 2014-11-18 Camera calibration device
EP14865838.8A EP3076654A4 (en) 2013-11-29 2014-11-18 Camera calibration device
CN201480064709.6A CN105765963B (zh) 2013-11-29 2014-11-18 照相机校正装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013247261A JP6034775B2 (ja) 2013-11-29 2013-11-29 カメラ校正装置
JP2013-247261 2013-11-29

Publications (1)

Publication Number Publication Date
WO2015079980A1 true WO2015079980A1 (ja) 2015-06-04

Family

ID=53198925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080530 WO2015079980A1 (ja) 2013-11-29 2014-11-18 カメラ校正装置

Country Status (5)

Country Link
US (1) US10192309B2 (ja)
EP (1) EP3076654A4 (ja)
JP (1) JP6034775B2 (ja)
CN (1) CN105765963B (ja)
WO (1) WO2015079980A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10750080B2 (en) * 2015-04-28 2020-08-18 Sony Corporation Information processing device, information processing method, and program
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
JP6699902B2 (ja) 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
KR102466305B1 (ko) * 2017-01-12 2022-11-10 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR102433824B1 (ko) * 2017-01-12 2022-08-17 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
TWI636425B (zh) * 2017-06-21 2018-09-21 晶睿通訊股份有限公司 介面運作方法及其手持裝置
CN107621278B (zh) * 2017-08-04 2021-01-29 驭势科技（北京）有限公司 自主校准方法及装置
CN111033555B (zh) 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
JP2019092002A (ja) * 2017-11-13 2019-06-13 ヤマハ発動機株式会社 船舶用俯瞰画像生成装置およびそのキャリブレーション方法
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
CN110070582B (zh) * 2018-01-23 2021-04-23 舜宇光学（浙江）研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
WO2019182521A1 (en) * 2018-03-22 2019-09-26 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
DE102018206190A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
WO2019227079A1 (en) * 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement
DE112018007660T5 (de) 2018-06-29 2021-03-18 Komatsu Ltd. Kalibriervorrichtung für eine abbildungsvorrichtung, überwachungsvorrichtung, arbeitsmaschine und kalibrierverfahren
CN109191525B (zh) * 2018-09-03 2022-04-15 佛亚智能装备（苏州）有限公司 一种偏差预警方法及装置
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
JP2020147962A (ja) * 2019-03-12 2020-09-17 日立建機株式会社 周囲表示システム及びそれを備えた作業機械
JP7317531B2 (ja) * 2019-03-14 2023-07-31 ヤマハ発動機株式会社 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110610524B (zh) * 2019-08-30 2022-06-17 广东奥普特科技股份有限公司 一种相机标定点坐标计算方法
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
CN117152273B (zh) * 2023-11-01 2024-02-23 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶车辆的相机标定设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009104323A (ja) * 2007-10-22 2009-05-14 Alpine Electronics Inc マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
JP2011025840A (ja) 2009-07-27 2011-02-10 Alpine Electronics Inc カメラ調整方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872920B2 (en) * 2009-03-26 2014-10-28 Aisin Seiki Kabushiki Kaisha Camera calibration apparatus
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009104323A (ja) * 2007-10-22 2009-05-14 Alpine Electronics Inc マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
JP2011025840A (ja) 2009-07-27 2011-02-10 Alpine Electronics Inc カメラ調整方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3076654A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20160275683A1 (en) 2016-09-22
JP2015106785A (ja) 2015-06-08
CN105765963B (zh) 2019-04-12
EP3076654A4 (en) 2018-04-25
CN105765963A (zh) 2016-07-13
EP3076654A1 (en) 2016-10-05
US10192309B2 (en) 2019-01-29
JP6034775B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
JP6034775B2 (ja) カメラ校正装置
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
JP5339124B2 (ja) 車載カメラの校正装置
US10922559B2 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6154905B2 (ja) カメラ校正装置、カメラ校正システム、及びカメラ校正方法
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP5124147B2 (ja) カメラ校正装置及び方法並びに車両
US20090299684A1 (en) Method for calibrating cameras installed on vehicle
EP2061234A1 (en) Imaging apparatus
JP2004132870A (ja) ステレオカメラの調整装置およびステレオカメラの調整方法
WO2015045329A1 (ja) 車両周辺画像表示装置及びカメラの調整方法
JP5811327B2 (ja) カメラキャリブレーション装置
CN111508027A (zh) 摄像机外参标定的方法和装置
EP3617937A1 (en) Image processing device, driving assistance system, image processing method, and program
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
KR20180127671A (ko) Avm 시스템의 자동 캘리브레이션 방법
JP2011228857A (ja) 車載カメラ用キャリブレーション装置
TWI424259B (zh) 相機擺置角度校正法
US11403770B2 (en) Road surface area detection device
WO2022014215A1 (ja) 処理装置及び車載カメラ装置
KR20200063898A (ko) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법
KR102083522B1 (ko) 차량 어라운드 뷰 영상 제공 장치
KR100945144B1 (ko) 연속적인 이미지 배열이 가능한 카메라

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14865838

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15033941

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014865838

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014865838

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE