WO2017069191A1 - キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム - Google Patents

キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム Download PDF

Info

Publication number
WO2017069191A1
WO2017069191A1 PCT/JP2016/081081 JP2016081081W WO2017069191A1 WO 2017069191 A1 WO2017069191 A1 WO 2017069191A1 JP 2016081081 W JP2016081081 W JP 2016081081W WO 2017069191 A1 WO2017069191 A1 WO 2017069191A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
calibration
image
camera
posture
Prior art date
Application number
PCT/JP2016/081081
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
啓二 佐藤
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US15/767,583 priority Critical patent/US10620000B2/en
Priority to EP16857504.1A priority patent/EP3367677B1/en
Priority to CN201680058416.6A priority patent/CN108141570B/zh
Publication of WO2017069191A1 publication Critical patent/WO2017069191A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the present invention relates to a calibration apparatus, a calibration method, and a calibration program.
  • in-vehicle cameras have been popularized for the purpose of assisting driver driving. For example, using a system that converts viewpoints of multiple cameras mounted around the vehicle, synthesizes the images, and presents a bird's-eye view of the surroundings of the vehicle to the driver, or results of measuring the position of an object outside the vehicle System for controlling the vehicle.
  • the accuracy of in-vehicle cameras is related to camera-specific parameters (internal parameters) such as optical characteristics such as focal length and lens distortion and image sensor size, and the mounting position and angle (roll angle, pitch angle, yaw angle) of each camera. Determined by parameters (external parameters).
  • the internal parameters and external parameters are collectively referred to as camera parameters.
  • the camera is attached to the vehicle at a position and angle according to a predetermined design value, but an error occurs at this time, and the accuracy of the camera is lowered. Therefore, correction of the mounting error from the design value of the camera parameter is performed. This is called calibration or calibration.
  • a calibration index also called a pattern or calibration chart
  • the camera parameter is corrected so that the captured image matches the video when the captured image is captured with a camera manufactured and installed as designed.
  • One of the causes of camera parameter changes after the fact is that the loading state of objects on the vehicle may change depending on the case, such as differences in the number of passengers, places to sit, differences in how to load luggage, etc.
  • the posture of the vehicle changes, and the camera installation state (that is, the camera parameter) with respect to the ground changes.
  • a calibration index such as a white line always moves relative to the vehicle, and therefore there is a possibility that the calibration accuracy cannot necessarily be improved.
  • the present invention provides a calibration device, a calibration method, and a calibration program that can quickly perform calibration when a camera parameter can change in accordance with a change in the loading state of an object on a vehicle.
  • the purpose is to do.
  • a calibration device for calibrating a camera mounted on a vehicle includes an image acquisition unit that acquires an image outside the vehicle, an image before the posture change of the vehicle, and an image after the posture change.
  • a calibration unit configured to calibrate at least one camera parameter of a roll angle or a pitch angle of the camera using a feature point corresponding to the image.
  • a calibration method for calibrating a camera mounted on a vehicle obtains an image outside the vehicle, and between the image before the posture change of the vehicle and the image after the change. The corresponding feature points are used to calibrate at least one camera parameter of the camera roll angle or pitch angle.
  • the calibration when the camera parameter can change with the change of the loading state of the object with respect to the vehicle, the calibration can be performed immediately.
  • System configuration block diagram Flow chart of factory calibration procedure Bird's eye view before calibration Overhead video after calibration
  • Block diagram of calibration unit Flowchart of the entire program in the calibration system shown in FIG. Video before and after posture change Flowchart of feature selection processing in the calibration system shown in FIG.
  • Flowchart of calibration processing in the calibration system shown in FIG. Flowchart of vehicle posture estimation processing of calibration processing in the calibration system shown in FIG. The figure which shows a mode that the program is offered to the arithmetic unit
  • FIG. 1 shows a calibration system 100 according to the present embodiment.
  • the calibration system 100 mainly includes cameras A, B, C, and D, a calculation device 101, a RAM 102, a ROM 103, a display device 104, a vehicle speed sensor 105, a rudder angle sensor 106, and a yaw rate sensor 107. , An input device 108 and a communication device 109.
  • Cameras A, B, C, and D are mounted on the vehicle and are installed on the front, rear, left and right respectively.
  • the front and rear cameras are installed near, for example, a license plate
  • the left and right cameras are installed, for example, under a side mirror.
  • the camera A is attached to the front side of the vehicle
  • the camera B is attached to the rear side of the vehicle
  • the camera C is attached to the left side of the vehicle
  • the camera D is attached to the right side of the vehicle.
  • the cameras A, B, C, and D are attached so that the optical axis is parallel to the ground or faces downward.
  • Cameras A, B, C, and D are attached according to design values determined in advance, but in reality, an attachment error usually occurs, and the error is unknown.
  • the cameras A, B, C, and D wide-angle fisheye cameras are used so that images of the entire periphery of the vehicle can be acquired.
  • the fisheye camera can acquire a wide-angle image, and the image is distorted according to a known distortion function.
  • Four images captured by the cameras A, B, C, and D are transmitted to the arithmetic device 101.
  • the arithmetic device 101 receives various information such as the cameras A, B, C, D, the vehicle speed sensor 105, the steering angle sensor 106, the yaw rate sensor 107, the input device 108, and the communication device 109, and stores them in the ROM 103.
  • the calculation is performed based on the programmed program. For example, the viewpoints of the images input from the cameras A, B, C, and D are converted and combined to generate an overhead image that looks down on the ground from above.
  • the arithmetic unit 101 generates a video from which the distortion of the image is removed using a known distortion function stored in advance in the ROM 103 or the like for the video input from the cameras A, B, C, and D. Then, each image from which distortion has been removed is converted into a viewpoint and synthesized with an image viewed from a bird's-eye view based on known design values relating to camera attachment stored in advance in the ROM 103 or the like. This is to calculate a specific pixel of a bird's-eye view video and a corresponding pixel of the camera A, B, C, D corresponding to the geometric transformation formula of a known camera, and to calculate the luminance value of the pixel of the overhead view video. This can be realized by assigning to pixels. When the corresponding pixel includes a decimal point and there is no corresponding pixel, a process of assigning an intermediate luminance of peripheral pixels is performed by a known luminance interpolation process.
  • calculation processing is executed using the output results of the vehicle speed sensor 105, the steering angle sensor 106, the yaw rate sensor 107, and the communication device 109, and the operation program is switched according to the input result of the input device 108.
  • the RAM 102 In the RAM 102, numerical data required in the arithmetic processing process in the arithmetic unit 101, program variables for processing results in the middle of arithmetic, and the like are written. In addition, the written data is read out and used for arithmetic processing as needed during the arithmetic processing.
  • the RAM 102 also stores video data shot by the cameras A, B, C, and D.
  • the ROM 103 for example, information used without rewriting is stored in advance in a program for executing calibration and information necessary for the program.
  • the information stored in advance is, for example, camera parameters such as a camera installation position / angle design value, camera focal length, pixel size, optical axis center, and distortion function.
  • the display device 104 receives the processing result of the arithmetic device 101, and presents the processing result to the user using a display or the like. For example, a bird's-eye view image obtained by converting and synthesizing four images of cameras A, B, C, and D is displayed on the driver.
  • the display device 104 can also switch display contents according to the output of the arithmetic device, such as displaying only the video of the camera B that captures the rear of the vehicle.
  • the vehicle speed sensor 105, the rudder angle sensor 106, and the yaw rate sensor 107 are sensors for observing the vehicle speed, the rudder angle, and the yaw rate, respectively, and are used in the arithmetic processing in the arithmetic unit 101.
  • the input device 108 is a device that accepts user operations such as switches and buttons. This is used for turning on / off the calibration function, initializing the calibration result, changing the calibration method, and the like.
  • Fig. 2 shows a general on-board camera calibration procedure at the time of product shipment, and describes problems that may occur during use.
  • in-vehicle camera calibration at the time of product shipment is performed in the order of, for example, camera mounting operation S201, riding state reproduction operation S202, position adjustment operation S203, calibration chart photographing operation S204, and calibration operation S205.
  • the camera is mounted on the vehicle body.
  • the riding state reproduction operation S202 reproduces the state where the passenger is on the vehicle.
  • the actual riding state is reproduced by, for example, the driver actually getting on the driver's seat or by loading an object having a weight corresponding to the weight of the driver.
  • the reason why the riding state reproduction operation S202 is performed is that the posture of the vehicle changes depending on the riding state, and the angle of the camera with respect to the ground fluctuates accordingly. If the camera angle or position is different from the designed mounting state, the boundary of the composite image will be misaligned, or an error will occur in the position measurement by the camera. is there. By reproducing the riding state, the corresponding camera mounting state is reproduced.
  • Position adjustment operation S203 is performed so that the vehicle and the calibration chart are in a predetermined positional relationship.
  • the positional relationship between the calibration chart and the camera is set to a specified positional relationship.
  • calibration chart photographing operation S204 a calibration chart is photographed by a camera attached to the vehicle.
  • calibration is performed using the captured image.
  • calibration is performed by a known technique.
  • the position where the calibration chart should appear is calculated, and the calibration chart in the actually captured image is Adjust the camera parameters used for image conversion in the program so that they appear in the positions where they should appear.
  • the procedure of the position adjustment operation S203 becomes unnecessary.
  • the riding state reproduction operation S202 when performing calibration according to such a procedure, as in the riding state reproduction operation S202, calibration is performed assuming a specific riding state, and the riding state is calibrated. If it is different from that at the time of shooting, there will be a shift in the synthesis boundary of the overhead view video, or an error will occur in the position measurement by the camera. Therefore, it is not always sufficient to perform calibration only in a specific riding state.
  • the outline of the calibration process in this embodiment will be described.
  • the basic idea is that the images before and after the posture change are compared, and the position and posture of the camera are estimated from the difference in the appearance of the video that occurs with the posture change.
  • the amount of movement of the object in the image changes depending on the distance to the object in the image. For example, an object with a short distance has a large amount of variation in the image, and an object with a long distance has a property that the amount of variation in the image is small.
  • the photographed camera image itself contains only two-dimensional information, in reality, such a change appears during photographing because it is based on three-dimensional information. Using this property, the amount of change of the object in the image before and after the posture change is observed, and camera calibration is performed from the information.
  • the camera images before the posture change are acquired and stored in each of the cameras A, B, C, and D attached to the vehicle.
  • images are acquired by the cameras A, B, C, and D.
  • the correspondence of each pixel is obtained between the images before and after the posture change of each camera A, B, C, D.
  • a process of estimating camera parameters including the camera position and posture after the posture change is performed from the obtained correspondence. The above is a rough outline of the processing. Details of the process will be described later.
  • the vehicle attitude change is detected by the vehicle attitude change detection unit.
  • the vehicle posture change detection unit detects a change in vehicle posture based on output information from the load sensor and the posture sensor.
  • the vehicle posture variation detection unit may also detect opening / closing of a vehicle door. This is because when a door is opened and closed, there is usually a movement that involves some kind of posture change, such as getting on and off of a person or loading and unloading of luggage. This is detected by estimation.
  • FIG. 3 and 4 show how the overhead view video changes due to this calibration process.
  • FIG. 3 shows an example of a bird's-eye view image when the pre-shipment calibration at the factory in the procedure of S201 to S205 in FIG.
  • a white line frame is displayed in the overhead view video. Originally, this white line frame shows a rectangular shape, but since it is different from the assumed loading state, the camera angle and position with respect to the ground have changed, and at the composite boundary of the images of cameras A, B, C, and D The white line is misaligned.
  • camera calibration can be performed and the overhead view video can be corrected so as to eliminate the white line deviation as shown in FIG. Note that this does not necessarily mean that calibration is performed using the white line frame shown in the figure. Calibration not only corrects the bird's-eye view image, but also enables accurate position measurement on the ground.
  • FIG. 5 is a block diagram of a calibration unit in the calibration system 100 according to the present embodiment.
  • a feature point candidate extraction unit 404 performs a process of extracting, for example, a point that is a candidate to be associated as a feature point from the video before posture change captured by the cameras A, B, C, and D.
  • the feature point selection unit 405 performs processing for selecting candidate points to be used for feature point correspondence from the feature point candidates.
  • the moving object detection unit 502 performs processing for detecting a moving object from the video.
  • the feature point associating unit 406 performs a process of associating feature points using the feature point candidates and the corresponding area information.
  • the vehicle posture estimation unit 601 performs processing for obtaining vehicle posture parameters that feature points of the four cameras correspond to with the least error by an optimization method.
  • the camera parameter calculation unit 602 performs processing for calculating four camera parameters using the obtained vehicle attitude parameters.
  • an image is acquired and stored when the vehicle stops.
  • an image after the change in the vehicle posture is acquired by using, for example, opening / closing of the door of the car or a change in output information of the load sensor or posture sensor as a trigger.
  • the feature points of the video before and after the vehicle posture change are associated with each other.
  • camera calibration is performed using the associated feature points.
  • the obtained camera parameters are reflected in the parameters when generating the overhead view video, or are reflected in the expected course line indicating the course of the vehicle at the current steering angle on the display device 104 when the vehicle moves backward. It is reflected in each application that uses.
  • the camera parameters are updated in this way, the deviation of the video boundary is eliminated in the case of an overhead view image, and in the case of the predicted route, the route display is corrected and becomes more suitable for the actual route of the vehicle.
  • the present invention can also be implemented in the case of a plurality of cameras including four cameras. In the case of a plurality of cameras, it is possible to improve the accuracy and stability of estimation by estimating the parameters of the plurality of cameras via the vehicle posture instead of directly estimating the camera parameters. Details are described below.
  • FIG. 6 shows a flowchart of the calibration process according to the present embodiment.
  • the calibration process is realized by a program and loaded into the arithmetic unit 101 in FIG.
  • the calibration processing includes sensor information acquisition processing S401, distance information acquisition processing S402, calibration execution determination processing S403, feature point candidate extraction processing S404, feature selection processing S405, feature point association processing S406, calibration. It consists of process S407.
  • Sensor information acquisition processing S 401 acquires images of cameras A, B, C, and D, and various sensor information such as the vehicle speed sensor 105, the steering angle sensor 106, and the yaw rate sensor 107, and stores them in the RAM 102.
  • various sensor information such as the vehicle speed sensor 105, the steering angle sensor 106, and the yaw rate sensor 107, and stores them in the RAM 102.
  • the images of the cameras A, B, C, and D it is desirable that there is a mechanism in which the four images are stored in complete synchronization or the shift time of the images can be acquired. If there is a synchronization shift in the video, it will appear as a calibration error.
  • Various sensor information such as the vehicle speed sensor 105, the rudder angle sensor 106, and the yaw rate sensor 107 are desirably acquired in synchronization with the video.
  • distance information acquisition processing S402 distance information from the camera of the object or feature point included in each camera image is acquired.
  • the distance information acquired in this process is utilized in the feature selection process S405 at a later stage.
  • the distance information may be acquired using a camera image or another distance measuring sensor.
  • a known motion stereo technique is used.
  • inter-sensor calibration is performed in order to obtain the correspondence between the pixels in the camera image and the observation information of the other sensors.
  • calibration execution determination processing S403 the presence / absence of a posture change is detected, and it is determined whether or not calibration execution is necessary. For example, when it is determined whether or not there is a posture change using only the camera image, a shift occurs on the image with respect to the common image capturing part that captures the same object in the vicinity of the image boundary area in all four images constituting the overhead image. This can be achieved by determining whether or not Whether or not a deviation has occurred can be determined, for example, by performing an image matching process on the common photographing portion and checking whether or not the evaluation value of the matching degree exceeds a predetermined threshold value.
  • the image collation can be calculated by, for example, ZSAD, which is the sum of the difference values of luminance after removing the difference between the average values in the target area.
  • ZSAD is the sum of the difference values of luminance after removing the difference between the average values in the target area.
  • a sensor that directly estimates the change in the attitude of the vehicle such as a gyro sensor, a method for determining whether or not calibration needs to be performed is detected by detecting that the loading situation on the vehicle has changed. Also good.
  • the feature point candidate extraction unit 404 shown in FIG. 5 performs feature point candidate extraction processing S404. If there is no fluctuation and calibration is not necessary, the process returns to the sensor information acquisition process S401.
  • a point that is a candidate to be associated is extracted as a feature point candidate from the images before posture change taken by the cameras A, B, C, and D.
  • FIG. 7 shows an example of images before and after posture change.
  • the white line is represented as a black solid line.
  • the feature point candidate for performing the association is a corner of the parking frame on the road surface, a contour point of the vehicle stopped nearby, a vertex of the wall or one point in the pattern, etc.
  • a corner point including edges in a plurality of directions where the corresponding position can be clearly determined on the image is desirable.
  • Such ideal feature point candidates are, for example, points indicated by circles in FIG.
  • the edge of the straight line portion of the white line it is difficult to determine the corresponding portion, so other ones are preferable as much as possible.
  • Such candidate points can be extracted from the image by image recognition using, for example, a known Harris corner detection method.
  • the feature point selection unit 405 shown in FIG. 5 selects candidate points used for feature point correspondence from the feature point candidates.
  • the feature selection process S405 includes three processes: a corresponding area calculation process S501, a moving object detection process S502, and a feature selection process S503.
  • Corresponding region calculation processing S501 calculates a region where the corresponding point candidate included in the image before the posture change can be displaced, and does not search outside the region. As a result, it is possible to reduce the calculation load of calibration. Regarding the posture change due to load loading, it is possible to predict the fluctuation range to some extent in advance from the loading limit of the load to be loaded. A range of corresponding feature points that can occur in the posture variation range is calculated, and feature points outside the range are excluded from candidates for association.
  • the change angle of the vehicle posture can be obtained based on the displacement of the feature point on the image even if the distance is unknown. it can.
  • the displacement of the feature point on the image after the change differs depending on the distance to the feature point. Therefore, when setting the search area to find the corresponding point candidate, the distance information of the point Is preferably known. Accordingly, the range of feature points that can occur in the assumed vehicle posture variation range is calculated using the distance information obtained in the distance information acquisition process S402.
  • the distance information includes an error
  • the fluctuation range is calculated including a predetermined error. Therefore, a corresponding range of possible feature points is obtained from the distance including a predetermined error and the assumed vehicle posture variation range.
  • the corresponding range is calculated for each feature point extracted in the feature point candidate extraction process S404. The association is performed only within the correspondence range.
  • the moving body detection unit 502 shown in FIG. 5 detects the moving body from the video.
  • the feature points are associated, if a moving object that does not have any relation to the vehicle posture variation is selected and included in the association, correct camera posture variation cannot be obtained. Therefore, in this process, a moving body is detected and excluded from the feature point association.
  • a pedestrian surrounded by a broken line frame is a moving object to be excluded. Detection of the moving body is performed using known optical flow detection or the like. You may detect a moving body using another method.
  • the feature points that are actually used for the association are selected from the corresponding point existence range obtained in the corresponding area calculation process S501 and the moving object information obtained in the moving object detection process S502.
  • the feature point is detected on the moving object for the image before the vehicle posture change. If it exists, it is excluded from the feature point candidates.
  • a search for association is performed only within the corresponding region of each feature point candidate obtained in the corresponding region calculation processing S501. For this search, SAD, SSD, LK method or the like is used.
  • the above processing is processing for obtaining feature point candidates and their corresponding areas in the feature selection processing S405.
  • the feature point association unit 406 shown in FIG. 5 performs feature point association using the feature point candidates obtained in the feature point candidate extraction process S404 and the corresponding area information.
  • FIG. 7 feature points that are associated with each other between FIG. 7A showing an image before posture change and FIG. 7B showing an image before and after posture change are indicated by broken lines. Although there are other feature points that can be associated with each other, only the association with some feature points is shown for convenience of illustration.
  • the degree of coincidence of images is a sum of feature amount differences in all pixels in a small region (for example, 9 pixels each of 3 pixels in length and width) using feature values (for example, edges and edge directions) that do not depend on luminance extracted from the images. And so on.
  • calibration is performed using the correspondence between the feature points obtained by the feature point association process S406 and the corresponding points.
  • the calibration process S407 is performed for each of the four cameras, for example.
  • An equation through a geometric transformation matrix representing the feature point correspondence in each camera is established, and the equations obtained for each corresponding feature point are combined to obtain each element of the unknown geometric transformation matrix.
  • parameters relating to the position and orientation of the camera can be decomposed from the geometric transformation matrix to obtain external parameters.
  • the external parameters are the three-dimensional position of the camera rotation center, and the roll angle, pitch angle, and yaw angle that represent the camera rotation angle.
  • the roll angle is the rotation angle when the camera optical axis is the rotation axis
  • the pitch angle is the rotation angle when the camera axis corresponding to the horizontal axis direction of the image is the rotation axis
  • the yaw angle is a rotation angle when the camera axis corresponding to the vertical axis direction of the image is the rotation axis.
  • the 8-point method is a method for obtaining a relative orientation of two viewpoints from images taken from two viewpoints. If at least eight or more feature points are associated, a basic matrix is estimated, and a direct camera is obtained. It is possible to estimate the parameters. Details of the 8-point method can be found in, for example, “Indoor 3D Environment Modeling and Posture Estimation Using a Monocular Wide-angle Camera, Kimitsutoshi Yamazaki, et al.” (Http://www.jsk.tu-tokyo.ac.jp/ ⁇ yamazaki/rp/ ROBOMEC_08_yamazaki.pdf).
  • the calibration process S407 may include a vehicle posture estimation process S601 and a camera parameter calculation process S602 as shown in FIG. In this case, the calculation based on the above-described 8-point method is performed in the vehicle posture estimation process S601.
  • vehicle posture estimation processing S601 vehicle posture parameters are obtained in order to obtain each camera parameter.
  • the vehicle attitude parameters are the three-dimensional position of the vehicle rotation center, the roll angle, the pitch angle, and the yaw angle of the vehicle. Instead of obtaining each camera parameter individually, the camera parameters are obtained via the vehicle attitude. As a result, the number of parameters to be estimated is reduced from 24 parameters for 4 cameras of 6 parameters per camera to 6 parameters for the vehicle posture, and the parameter estimation process is stabilized and the accuracy is improved.
  • the vehicle attitude estimation unit 601 shown in FIG. 5 obtains the vehicle attitude parameters with which the feature points of the four cameras correspond with the least error by the optimization method.
  • the vehicle attitude estimation process S601 includes a vehicle attitude parameter variation calculation process S701, a vehicle attitude parameter update process S702, and an objective function evaluation process S703.
  • the camera parameters with which the feature points of the four cameras correspond with the least error are obtained by the optimization method.
  • the error amount when the feature points are associated is set as an objective function, and the vehicle attitude parameters are optimized so that the objective function is minimized.
  • a minute fluctuation amount of the vehicle attitude parameter is calculated.
  • the minute fluctuation amount of the vehicle attitude parameter that decreases the value of the objective function is obtained.
  • the amount of change in which the value of the objective function becomes small can be obtained using numerical differentiation or the like.
  • the vehicle attitude parameter is updated using the minute fluctuation amount obtained in the vehicle attitude parameter fluctuation amount calculation process S701.
  • the value of the objective function is obtained in order to evaluate the correctness of the obtained vehicle attitude parameter.
  • the objective function is the sum of the square errors of the coordinate errors between the feature points and the corresponding candidate points corresponding thereto. The sum of squared errors of feature points associated with all cameras is used. However, if the associated feature points contain mistakes, good results cannot be obtained. Therefore, evaluation is performed using a certain number of sampled feature points, such as the known RANSAC method, and the sampling feature point set is determined. Instead of the pattern, a method may be adopted in which the best result is adopted as the evaluation value. Thereafter, a convergence determination is performed to determine whether the objective function value is minimized to the limit. Convergence judgment is judged from the transition of the value of the objective function. For example, when the difference when compared with the value of the previous objective function is equal to or smaller than a preset small value, it is determined that the convergence has occurred.
  • the camera parameter calculation unit 602 calculates four camera parameters using the obtained vehicle attitude parameters. If the vehicle attitude parameters are obtained, the corresponding camera parameters can be easily calculated by coordinate conversion.
  • the calibration device when the camera parameter can be changed in accordance with the change in the vehicle posture, for example, when the loading state of the object on the vehicle is changed, the calibration is performed immediately. Can do.
  • the camera can be calibrated and corrected whenever the loading state changes. For example, even when the occupant gets off just before parking the vehicle and the loading state changes, the distance on the ground can be correctly measured by calibration. It can also be realized when the boarding state fluctuates, such as the function of recognizing the position of the white line and automatically parking. In addition, even if a passenger other than the driver is lowered before parking and parking is performed only by the driver, or when a person is on the roadside and restarts, calibration should be performed immediately after the loading state changes. Can be done.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • each camera parameter individually may be used.
  • the eight-point method described in the above embodiment is to obtain the camera parameters of roll angle, pitch angle, and yaw angle at the same time.
  • an index having linearity such as a white line. If the vehicle posture changes, the inclination angle of the index having linearity changes on the image. Therefore, it is only necessary to obtain a camera parameter whose inclination angle is the same as that of the original image.
  • the pair of white lines photographed by the front camera A expands as the distance from the camera increases.
  • the portion farther from the camera becomes narrower. Therefore, the pitch angle can be calibrated by using this phenomenon.
  • the pair of white lines photographed by the front camera A and the rear camera B look different on the left and right, and the left camera C and the right camera
  • the white lines photographed by each camera D also look different. Therefore, the roll angle can be calibrated by using this phenomenon. In this way, the camera parameters of the roll angle or pitch angle, or both the roll angle and pitch angle can be calibrated.
  • an image when the vehicle is stopped and an image when the vehicle is started May be used.
  • the vehicle is stopped when the vehicle speed detected by the vehicle speed sensor becomes 0 km / h, the shift position is parked, or based on the image taken by the camera. It can be determined using the fact that it is detected that the user is not moving with respect to the environment.
  • the start of the vehicle is based on, for example, that the vehicle speed detected by the vehicle speed sensor exceeds 0 km / h, the shift position is changed from parking to another shift position, or an image taken by the camera. This can be determined using the fact that the movement of the host vehicle with respect to the surrounding environment has been detected or that the ignition switch of the engine has been turned on.
  • the program stored in the arithmetic unit 101 can be provided through a recording medium such as a CD-ROM or a data signal via the Internet.
  • FIG. 11 is a diagram showing this state.
  • the arithmetic unit 101 is provided with a program via the CD-ROM 901.
  • the arithmetic unit 101 has a connection function with the communication line 902.
  • a computer 903 is a server computer that provides the program, and stores the program in a recording medium such as a hard disk 904.
  • the communication line 902 is a communication line such as the Internet or personal computer communication, or a dedicated communication line.
  • the computer 903 reads the program using the hard disk 904 and transmits the program to the arithmetic unit 101 via the communication line 902. That is, the program is transmitted as a data signal via the communication line 902.
  • the program can be supplied as a computer-readable computer program product in various forms such as a recording medium and a data signal (carrier wave).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

キャリブレーション装置は、車両に搭載されるカメラをキャリブレーションするキャリブレーション装置であって、車両の外部の画像を取得する画像取得部と、車両の姿勢変動前の画像と姿勢変動後の画像との間で対応する特徴点を用いて、カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション部と、を備える。

Description

キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
　本発明は、キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラムに関する。
　近年、ドライバーの運転を支援する目的で、車載カメラの普及が進んでいる。例えば、車両周囲に取り付けられた複数カメラの各映像を視点変換し、その映像を合成して、車両周囲の俯瞰映像をドライバーに提示するシステムや、車両外部の物体の位置を計測した結果を用いて車両を制御するシステムなどである。
　車載カメラの精度は、焦点距離やレンズ歪みなどの光学的特性や撮像素子サイズなどのカメラ固有のパラメータ（内部パラメータ）と、各カメラの取り付け位置や角度（ロール角、ピッチ角、ヨー角）に関するパラメータ（外部パラメータ）によって決まる。内部パラメータと外部パラメータとを合わせてカメラパラメータと呼ぶ。
　カメラは所定の設計値に準じた位置や角度で車両に取り付けられるが、この際誤差が生じてしまい、カメラの精度が低下する。従って、カメラパラメータの設計値からの取り付け誤差を補正することが行われている。これをキャリブレーション、あるいは校正と呼ぶ。
　キャリブレーションには高精度に誤差を補正することが要求されるため、カメラの据え付け状態を機械的に調整する方法はとらず、現在の据え付け状態を撮影画像から推定する。撮影画像から据え付け状態を推定する方法として、一般には、紙や板などに印字された校正用指標（パターンやキャリブレーションチャートなどとも呼ばれる）を決められた位置に精密に設置して撮影し、実際の撮影画像が設計値どおりに製造し設置されたカメラで撮影した場合の映像と一致するようにカメラパラメータを修正する方法が採られる。
　ところで、このようなキャリブレーションは、これまではカメラの据え付け場所である例えば工場などで車両の出荷前に行うことが一般的であったが、最近は、特許文献１や特許文献２に開示されるように、走行中に例えば白線などの物体を校正用指標として用いることにより、工場出荷後であってもキャリブレーションを行うことが提案されている。走行中のキャリブレーションは、工場出荷後に事後的に発生し得るカメラパラメータの変化にも対応することができ得る点で優れている。
　事後的にカメラパラメータが変化する原因の一つとしては、例えば乗車人数の違いや座る場所の違い、荷物の積み方の違いなど、車両に対する物体の積載状態が場合によって変化することが考えられ、このような積載状態が変化すると、車両の姿勢が変化して、地面に対するカメラの据え付け状態（すなわち、カメラパラメータ）が変化する。
国際公開第ＷＯ２０１２／１４３０３６号 国際公開第ＷＯ２０１２／１３９６６０号
　しかしながら、特許文献１や特許文献２に開示されている走行中のキャリブレーションでは、積載状態が変化した後であっても車両がある程度の距離を走行するまではカメラキャリブレーションができないという問題がある。
　また、走行中にキャリブレーションを行うのでは、例えば白線などの校正用指標が自車に対して常時相対移動するため、キャリブレーションの精度を必ずしも向上できないおそれがある。
　そこで、本発明は、車両に対する物体の積載状態の変化に伴ってカメラパラメータが変化し得る場合に、早急にキャリブレーションを行うことができるキャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラムを提供することを目的とする。
　本発明の第１の態様によると、車両に搭載されるカメラをキャリブレーションするキャリブレーション装置は、車両の外部の画像を取得する画像取得部と、車両の姿勢変動前の画像と姿勢変動後の画像との間で対応する特徴点を用いて、カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション部と、を備える。
　本発明の第２の態様によると、車両に搭載されるカメラをキャリブレーションするキャリブレーション方法は、車両の外部の画像を取得し、車両の姿勢変動前の画像と変動後の画像との間で対応する特徴点を用いて、カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションする。
　本発明の第３の態様によると、車両に搭載されるカメラのキャリブレーションをコンピュータに実施させるキャリブレーションプログラム製品は、車両の外部の画像を取得する画像取得部と、車両の姿勢変動前の画像及び発進時の画像間で対応する特徴点を用いて、カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション部と、を備える。
　本発明によれば、車両に対する物体の積載状態の変化に伴ってカメラパラメータが変化し得る場合に、早急にキャリブレーションを行うことができる。
システム構成のブロック図 工場出荷時のキャリブレーション手順のフローチャート キャリブレーション前の俯瞰映像 キャリブレーション後の俯瞰映像 キャリブレーション部のブロック図 図１に示すキャリブレーションシステムにおけるプログラム全体のフローチャート 姿勢変動前後の映像 図１に示すキャリブレーションシステムにおける特徴選定処理のフローチャート 図１に示すキャリブレーションシステムにおけるキャリブレーション処理のフローチャート 図１に示すキャリブレーションシステムにおけるキャリブレーション処理の車両姿勢推定処理のフローチャート 演算装置へプログラムを提供する様子を示す図
　以下、本発明の実施形態に係るキャリブレーション装置、方法及びプログラムを、図面を参照して説明する。
　図１は、本実施例に係るキャリブレーションシステム１００を示したものである。キャリブレーションシステム１００は、主に、カメラＡ、Ｂ、Ｃ、Ｄと、演算装置１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、表示装置１０４と、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９とを有する。
　カメラＡ、Ｂ、Ｃ、Ｄは、車両に搭載され、それぞれ前後左右に設置される。例えば、前後のカメラは例えばナンバープレート付近に設置され、左右のカメラは例えばサイドミラーの下に設置される。図３、図４に示す例では、カメラＡが車両前側に取りつけられ、カメラＢが車両後側に取りつけられ、カメラＣが車両左側に取りつけられ、カメラＤが車両右側に取り付けられる。カメラＡ、Ｂ、Ｃ、Ｄは、光軸が地面に対して平行か、又は下方向に向くように取り付けられる。
　カメラＡ、Ｂ、Ｃ、Ｄは、事前に決定された設計値に従って取り付けられるが、実際には取り付け誤差が発生するのが通常であり、その誤差は未知である。カメラＡ、Ｂ、Ｃ、Ｄには、車両の全周囲の映像を取得できるように、広角の魚眼カメラを用いる。魚眼カメラは広角の映像を取得することができ、その画像は既知の歪み関数に応じて歪んでいる。カメラＡ、Ｂ、Ｃ、Ｄで撮影された４つの映像は、演算装置１０１に送信される。
　演算装置１０１では、カメラＡ、Ｂ、Ｃ、Ｄや車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９など、種々の情報を受け取って、ＲＯＭ１０３に格納されたプログラムなどに基づき演算を行う。例えば、カメラＡ、Ｂ、Ｃ、Ｄから入力された映像を視点変換及び合成し、上方から地面を見下ろしたような俯瞰映像を生成する演算を行う。
　具体的には、演算装置１０１は、カメラＡ、Ｂ、Ｃ、Ｄから入力された映像について、ＲＯＭ１０３などに事前に格納された既知の歪み関数を用いて、画像の歪みを除去した映像を生成し、歪みを除去した各映像を、ＲＯＭ１０３などに事前に格納された既知のカメラ取り付けに関する設計値などに基づいて、俯瞰視点から見た映像に視点変換及び合成する。これは公知のカメラの幾何変換式を使って、俯瞰視点映像の特定の画素とそれに対応するカメラＡ、Ｂ、Ｃ、Ｄの特定の画素を計算し、その画素の輝度値を俯瞰視点映像の画素に割り当てることによって実現できる。対応する画素が小数点を含み、該当する画素がない場合は、公知の輝度の補間処理によって、周辺画素の中間輝度を割り当てる処理が行われる。
　また、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、通信装置１０９の出力結果を使って演算処理を実行したり、入力装置１０８の入力結果に従って、動作プログラムを切り替えたりする。
　ＲＡＭ１０２には、演算装置１０１における演算処理過程で必要となる数値データ、演算途中の処理結果に対するプログラムの変数などが書き込まれる。また、演算処理過程で必要に応じて、書き込まれたデータが読み出され、演算処理に使用される。また、ＲＡＭ１０２には、カメラＡ、Ｂ、Ｃ、Ｄによって撮影された映像データなども格納される。
　ＲＯＭ１０３には、例えば、キャリブレーションを実行するプログラムや、プログラムで必要となる情報の中で、書き換えをせずに利用される情報が事前に格納される。事前に格納される情報とは、例えば、カメラの設置位置・角度の設計値、カメラの焦点距離、画素サイズ、光軸中心、歪み関数などのカメラパラメータである。
　表示装置１０４は、演算装置１０１の処理結果を受け取り、ディスプレイなどを用いて処理結果をユーザーに提示する。例えば、ドライバーにカメラＡ、Ｂ、Ｃ、Ｄの４つの映像を視点変換及び合成した俯瞰映像を表示する。また、表示装置１０４は、車両後方を撮影するカメラＢの映像だけを表示するなど、演算装置の出力に従って、表示内容を切り替えることもできる。
　車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７とは、それぞれ車速、舵角、ヨーレートを観測するセンサであり、演算装置１０１における演算処理において利用される。
　入力装置１０８は、スイッチやボタンなど、ユーザーの操作を受け付ける装置である。キャリブレーション機能のオン又はオフや、キャリブレーション結果の初期化、キャリブレーション方法の変更などに利用する。
　図２に、製品出荷時の一般的な車載カメラキャリブレーション手順を示し、利用時に発生し得る問題を述べる。まず、製品出荷時の車載カメラキャリブレーションは、例えば、カメラ取り付け作業Ｓ２０１、乗車状態再現作業Ｓ２０２、位置調整作業Ｓ２０３、キャリブレーションチャート撮影作業Ｓ２０４、キャリブレーション作業Ｓ２０５の順で実施される。
　カメラ取り付け作業Ｓ２０１では、車体にカメラが取り付けられる。
　乗車状態再現作業Ｓ２０２は、車両に搭乗者が乗っている状態を再現する。例えば、運転席にドライバーが実際に乗車したり、ドライバーの体重に相当する重量の物体を積載するなどして、実際に発生する乗車状態を再現する。乗車状態再現作業Ｓ２０２を実施する理由は、乗車状態によって車両の姿勢が変化し、それに伴って地面に対するカメラの角度などが変動するからである。カメラの角度や位置が、設計した取り付け状態と異なる場合、合成画像の境界にズレが生じたり、カメラによる位置計測に誤差が発生する為、この変動した角度を考慮したうえでキャリブレーションする必要がある。乗車状態再現によって、それに対応したカメラ取り付け状態を再現している。
　位置調整作業Ｓ２０３は、車両とキャリブレーションチャートがあらかじめ定められた位置関係になるように調整する。一般的なキャリブレーションではキャリブレーションチャートとカメラの位置関係を規定の位置関係に定めたうえで実施する。
　キャリブレーションチャート撮影作業Ｓ２０４は、車両に取り付けられたカメラで、キャリブレーションチャートを撮影する。
　キャリブレーション作業Ｓ２０５では、撮影された画像を使ってキャリブレーションを実施する。この際、例えば、公知の技術によってキャリブレーションを実施する。すなわち、設計どおりにカメラが取り付けられており、かつ規定の位置にキャリブレーションチャートが設置されている場合に、キャリブレーションチャートが映るべき位置を計算し、実際撮影した画像中のキャリブレーションチャートがその映るべき位置に映るように、プログラム中の画像変換に使っているカメラパラメータを調整する。
　キャリブレーション作業Ｓ２０５に関しては、例えば、キャリブレーションチャートと車両の位置関係が不定でもキャリブレーションできる公知の技術を利用してもよい。この場合は、位置調整作業Ｓ２０３の手続きが不要になる。ただし、このような手続きでキャリブレーションを実施する場合、乗車状態再現作業Ｓ２０２で実施しているように、あくまで特定の乗車状態を想定したキャリブレーションを実施していることになり、乗車状態がキャリブレーション時と異なれば、俯瞰映像の合成境界にズレが生じたり、カメラによる位置計測に誤差が生じる。したがって、特定の乗車状態でキャリブレーションするだけでは必ずしも十分ではない。
　このため、乗車状態に応じてその都度キャリブレーションを実施する動的キャリブレーションを追加することが望ましい。このキャリブレーション処理を車両の走行中ではなく、停車状態で実施するのが本発明である。詳細は以下で図を用いながら説明する。
　本実施例でのキャリブレーション処理の概要について説明する。基本的な考え方は、姿勢変動前後の映像を比較し、姿勢変動に伴って発生した映像の見え方の差異からカメラの位置と姿勢を推定するというものである。
　カメラ姿勢が変動した場合、映像における物体までの距離によって、物体の映像中での移動量が変化する。例えば、距離が近い物体は映像中での変動量が大きく、距離が遠い物体は映像中での変動量が小さくなるような性質がある。撮影されたカメラ映像自体は２次元の情報しか含んでいないが、実際には３次元の情報が基となっているため、撮影時にこのような変化が表れる。この性質を利用して、姿勢変動前後での映像中の物体の変動量を観測し、その情報からカメラキャリブレーションを実施する。
　したがって、本実施例では、まず、車両に取り付けられた各カメラＡ、Ｂ、Ｃ、Ｄにおいて、姿勢変動前のカメラ映像を取得し保存しておく。次に、姿勢変動が発生すると、各カメラＡ、Ｂ、Ｃ、Ｄにおいて映像を取得する。次に、映像中の物体の変動量を観測するために、各カメラＡ、Ｂ、Ｃ、Ｄの姿勢変動前後の映像間で各画素の対応関係を求める。この画素同士の対応関係を求める際に、実環境で運用する場合は対応関係に誤差が含まれたり、対応を取ることが困難なケースが存在するため、その問題への対処も含めた処理を行う。最後に、求められた対応関係から、姿勢変動後のカメラ位置、姿勢を含むカメラパラメータを推定する処理（すなわちカメラキャリブレーション処理）を実施する。以上が処理の大まかな概要である。処理詳細は後述する。
　車両の姿勢変動は、車両姿勢変動検知部によって検知する。車両姿勢変動検知部は、具体的には、荷重センサや姿勢センサの出力情報に基づいて車両姿勢の変動を検知するものである。ただし、車両姿勢変動検知部は、これ以外にも、車のドアの開閉を検知するものであってもよい。これは、ドアの開閉が行われた場合には、通常、人の乗降や荷物の積み下ろしといった何らかの姿勢変化を伴う動作が伴うことから、ドアの開閉という動作に基づいて車両姿勢の変動があったことを推定により検知するものである。
　図３、図４は、このキャリブレーション処理によって、俯瞰映像がどのように変化するか示すものである。図３に、図２のＳ２０１～Ｓ２０５の手順で工場での出荷前キャリブレーションを実施した後に、出荷前キャリブレーション時とは異なる積載状態になった場合の俯瞰映像の例を示す。俯瞰映像には、白線枠が表示されている。本来この白線枠は、矩形形状を示すものであるが、想定された積載状態と異なるため、地面に対するカメラ角度や位置が変化しており、カメラＡ、Ｂ、Ｃ、Ｄの映像の合成境界において、白線にズレが生じている。
　このような状況において、本実施例では、図４のように白線のズレがなくなるように、カメラキャリブレーションを実施し、俯瞰映像を補正することができる。なお、図に示される白線枠を利用してキャリブレーションを実施するという意味では必ずしもない。キャリブレーションによって、俯瞰映像が補正されるだけでなく、地面上の位置計測も正確に実施できるようになる。
　以下、本実施例のキャリブレーション処理を説明する。まず、図５は、本実施例に係るキャリブレーションシステム１００におけるキャリブレーション部のブロック図であり、詳細は後述するが、特徴点候補抽出部４０４、特徴点選定部４０５、移動体検出部５０２、特徴点対応付け部４０６、車両姿勢推定部６０１、カメラパラメータ算出部６０２を有する。特徴点候補抽出部４０４は、カメラＡ、Ｂ、Ｃ、Ｄで撮影された姿勢変動前の映像から、例えば、対応付けを実施する候補となる点を特徴点として抽出する処理を行う。特徴点選定部４０５は、特徴点候補から特徴点対応に用いる候補点を選定する処理を行う。移動体検出部５０２において、映像中から移動体を検出する処理を行う。特徴点対応付け部４０６は、特徴点候補とその対応領域情報を用いて、特徴点の対応付けを実施する処理を行う。車両姿勢推定部６０１は、４カメラの特徴点が最も誤差なく対応づく車両姿勢パラメータを最適化手法によって求める処理を行う。カメラパラメータ算出部６０２は、得られた車両姿勢パラメータを用いて４つのカメラパラメータを算出する処理を行う。
　次に、キャリブレーション処理の手順概要を示す。まず、車両停車時に画像を取得し、保存する。次に、車のドアの開閉や荷重センサや姿勢センサの出力情報の変化などをトリガとして、車両姿勢変化後の画像を取得する。続いて、実際に車両姿勢が変動し、キャリブレーションが必要か否かを判定する。キャリブレーションが必要な場合、続いて、車両姿勢変化前後の映像の特徴点の対応付けを実施する。最後に、対応付けられた特徴点を用いてカメラキャリブレーションを実施する。得られたカメラパラメータは、俯瞰映像を生成する際のパラメータに反映させたり、車両後退時に表示装置１０４に現在のハンドルの切れ角での車両の進路を表す予想進路線に反映させるなど、カメラパラメータを利用する各アプリケーションに反映させる。
　このようにカメラパラメータが更新された場合、俯瞰映像の場合は映像境界のズレが解消し、予想進路線の場合は、進路表示が修正され、より車両の実際の進路に適合したものとなる。４カメラを含む複数カメラの場合についても実施可能である。複数カメラの場合は、各カメラパラメータを直接推定するのではなく、車両姿勢を介して複数カメラのパラメータを推定することで、精度と推定の安定性を高めることが可能となる。詳細については、以下に述べる。
　図６に本実施例に係るキャリブレーション処理のフローチャートを示す。キャリブレーション処理はプログラムによって実現され、図１における演算装置１０１にロードされ実施される。
　本実施例に係るキャリブレーション処理は、センサ情報取得処理Ｓ４０１、距離情報取得処理Ｓ４０２、キャリブレーション実施判定処理Ｓ４０３、特徴点候補抽出処理Ｓ４０４、特徴選定処理Ｓ４０５、特徴点対応付け処理Ｓ４０６、キャリブレーション処理Ｓ４０７からなる。
　センサ情報取得処理Ｓ４０１では、カメラＡ、Ｂ、Ｃ、Ｄの映像、及び車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７などの各種センサ情報を取得し、ＲＡＭ１０２に保存する。カメラＡ、Ｂ、Ｃ、Ｄの映像に関しては、４つの映像が完全に同期して保存されるか、映像のズレ時間を取得できるかのいずれかの仕組みがあることが望ましい。映像に同期ズレがあるとそれがキャリブレーションの誤差として表れる。車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７などの各種センサ情報は、映像と同期して取得されることが望ましい。
　距離情報取得処理Ｓ４０２では、各カメラ映像に含まれる物体又は特徴点のカメラからの距離情報を取得する。本処理において取得した距離情報は、後段の特徴選定処理Ｓ４０５で活用する。距離情報はカメラ映像や、他の距離測定センサを用いて取得してもよい。カメラ映像を用いて距離情報を取得する場合、例えば、公知のモーションステレオ技術を利用する。他の距離測定センサを活用する場合は、カメラ映像における画素と他のセンサの観測情報の対応関係を得るために、センサ間キャリブレーションを実施する。
　キャリブレーション実施判定処理Ｓ４０３では、姿勢変動の有無を検知し、キャリブレーション実施が必要か否かを判定する。例えば、カメラ映像のみで姿勢変動の有無を判定する場合は、俯瞰映像を構成する４映像の全てにおいて、映像境界領域付近の同一対象を撮影している共通撮影部分に関して、画像上でズレが発生しているかどうかを判定することで実現できる。ズレが発生しているか否かは、例えば共通撮影部分の画像照合処理を実施し、その照合度の評価値があらかじめ指定した閾値をこえているかどうかで判定することができる。なお、画像照合は例えば、対象領域内の平均値の差を除いたうえでの輝度の差分値の総和であるＺＳＡＤなどによって算出できる。あるいは、ジャイロセンサなど、車両の姿勢変化を直接推定するセンサを用いて、車両への積載状況が変化したことを検知することで、キャリブレーション実施が必要か否かを判定する方法を採用してもよい。
　キャリブレーション実施が必要と判断された場合、図５に示す特徴点候補抽出部４０４において、特徴点候補抽出処理Ｓ４０４を実施する。変動がなくキャリブレーション不要の場合、センサ情報取得処理Ｓ４０１に戻る。
　特徴点候補抽出処理Ｓ４０４では、カメラＡ、Ｂ、Ｃ、Ｄで撮影された姿勢変動前の映像から、例えば、対応付けを実施する候補となる点を特徴点候補として抽出する。図７に姿勢変動前後の映像の例を示す。カメラＡ、Ｂ、Ｃ、Ｄそれぞれにおいて、取得済みの姿勢変動前の映像と、キャリブレーション実施が必要と判断された後の姿勢変動後の映像の間で、同一点を撮影している画素の対応づけをこの後の処理において実施する。したがって、カメラＡ、Ｂ、Ｃ、Ｄの４カメラ映像それぞれにおいて、姿勢変動前の映像から対応付けを実施する特徴点候補を抽出する。姿勢変動後の映像から抽出し、姿勢変動前の映像と対応づけてもよい。なお図７では、図示の都合上、白線を黒の実線として表している。
　対応付けを実施する特徴点候補としては、例えば車両を停車するシーンでは、路面上の駐車枠の角、近くに停車してある車両の輪郭点、壁の頂点や模様のなかの１点など、画像上で対応位置が明確に判断できる複数方向のエッジを含むコーナー点が望ましい。このような理想的な特徴点候補は、例えば図７の○で記載された点である。ただし、白線の直線部分のエッジは、対応箇所が定まりにくいため、なるべく他のものの方が良い。このような候補点は例えば公知のハリスコーナー検出法などを使って画像認識により画像から抽出することができる。
　特徴選定処理Ｓ４０５では、図５に示す特徴点選定部４０５において、特徴点候補から特徴点対応に用いる候補点を選定する。特徴選定処理Ｓ４０５は、図８に示すとおり、対応領域算出処理Ｓ５０１と、移動物検出処理Ｓ５０２と、特徴選択処理Ｓ５０３の３つの処理から構成される。
　対応領域算出処理Ｓ５０１は、姿勢変動前の画像に含まれる対応点候補が変位し得る領域を計算し、その領域外は探索しないようにする。これによって、キャリブレーションの演算負荷を低減することが可能となる。荷重積載による姿勢変動については、積載する荷物の搭載限界などから、変動範囲を事前にある程度予測することが可能である。その姿勢変動範囲で発生し得る対応する特徴点の範囲を算出し、その範囲外にある特徴点は対応付けする際の候補から除外する。
　ここで、車両姿勢変動前後の画像で共通する特徴点を対応付けることができれば、その距離が不明であっても、この特徴点の画像上での変位に基づいて車両姿勢の変動角度を求めることができる。ただし、同じ姿勢変動でも、その特徴点までの距離によって、変動後の画像上の特徴点の変位は異なるため、対応点候補を見つけるべく探索する領域を設定する際には、その点の距離情報が分かっていることが好ましい。従って、距離情報取得処理Ｓ４０２で得られた距離情報を用いて、想定する車両姿勢変動範囲で発生し得る特徴点の範囲を計算する。ただし、距離情報には誤差が含まれているため、所定の誤差を含めて変動範囲を計算する。したがって、所定の誤差を含めた距離と、想定する車両姿勢変動範囲から、発生し得る特徴点の対応範囲を求める。対応範囲は、特徴点候補抽出処理Ｓ４０４で抽出された各特徴点について算出する。この対応範囲内でのみ対応付けを実施する。
　移動体検出処理Ｓ５０２では、図５に示す移動体検出部５０２において、映像中から移動体を検出する。特徴点の対応付けを実施する際に、車両姿勢変動とは関係ない運動をしている移動物体を選定し、対応付けに含んでしまうと正しいカメラ姿勢の変動が得られない。そのため、本処理において移動体を検出し、特徴点の対応付けから除外する。図７（Ａ）では、破線の枠で囲まれた歩行者が除外すべき移動物体となる。移動体の検出は公知のオプティカルフロー検出などを用いて実施する。他の方法を活用して移動体を検出してもよい。
　特徴選択処理Ｓ５０３では、対応領域算出処理Ｓ５０１で得られた対応点存在範囲と移動物検出処理Ｓ５０２で得られた移動物体の情報から、実際に対応付けに用いる特徴点を選択する。ここでは、例えば、車両姿勢変動前の映像で特徴点を抽出し、姿勢変動後の映像と対応付けを実施する場合、車両姿勢変動前の映像については、特徴点が移動物体上で検出されている場合は特徴点候補から除外する。また、車両姿勢変動後の映像については、対応領域算出処理Ｓ５０１で得られた各特徴点候補の対応領域内でのみ対応付けのための探索を実施する。この探索には、ＳＡＤ、ＳＳＤ、ＬＫ法などが用いられる。以上の処理が、特徴選定処理Ｓ４０５による特徴点候補とその対応領域を求める処理となる。
　特徴点対応付け処理Ｓ４０６では、図５に示す特徴点対応付け部４０６において、特徴点候補抽出処理Ｓ４０４で得られた特徴点候補とその対応領域情報を用いて、特徴点の対応付けを実施する。図７では、姿勢変動前の映像を示す図７（Ａ）と、姿勢変動前後の映像を示す図７（Ｂ）との間で対応付けが行われる特徴点同士を破線で示している。なお、対応付け可能な特徴点はこの他にも存在するが、図示の便宜上、一部の特徴点に対する対応付けのみを示している。
　特徴点の対応付けは、カメラＡ、Ｂ、Ｃ、Ｄのそれぞれにおいて実施する。特徴点抽出を姿勢変動前のカメラＡ、Ｂ、Ｃ、Ｄの映像を用いて実施している場合、対応付けはそれぞれ姿勢変動後のカメラＡ、Ｂ、Ｃ、Ｄの映像に対して実施する。この際、特徴点周辺の画像が最も一致する箇所を求め、対応点とする。画像の一致度は画像から抽出した輝度に依存しない特徴量（例えばエッジや、エッジ方向）などを用いて、小領域（例えば縦横３画素ずつの９画素）内の全画素における特徴量差分の総和などとする。輝度に依存した特徴量を使う手法は、姿勢変動前後で時間が空いている場合に特徴量が大きく変化している可能性があるため、避けたほうがよい。この際、注意点として、対応画像において一致する箇所は特徴選定処理Ｓ４０５によって得られた対応領域内でのみ求める。また、逆の対応関係（姿勢変動後の映像に対する姿勢変動前の映像の対応点）も同様に求めて、両者で結果が同じになる場合にのみ採用することなどにより、照合の精度を高めてもよい。
　キャリブレーション処理Ｓ４０７では、特徴点対応付け処理Ｓ４０６によって得られた特徴点とそれに対応する点の対応関係を用いて、キャリブレーションを実施する。
　キャリブレーション処理Ｓ４０７は、例えば、４つのカメラそれぞれに対して実施する。各カメラにおける特徴点対応を表わす幾何変換行列を介した方程式を立て、対応特徴点ごとに得られた方程式を連立させることにより、未知である幾何変換行列の各要素を求める。幾何変換行列を得ることができれば、幾何変換行列からカメラの位置や姿勢に関するパラメータを分解し、外部パラメータを得ることができる。外部パラメータとは、カメラ回転中心の三次元位置と、カメラ回転角を表すロール角、ピッチ角、ヨー角である。
　ここで、ロール角とは、カメラ光軸を回転軸とした場合の回転角度であり、ピッチ角とは、画像の横軸方向に相当するカメラ軸を回転軸とした場合の回転角度であり、ヨー角とは、画像の縦軸方向に相当するカメラ軸を回転軸とした場合の回転角度である。
　具体的には、この演算は、８点法という手法によって行われる。８点法は、２つの視点で撮影された画像から、その視点の相対姿勢を求める手法であり、特徴点が少なくとも８点以上対応付けられていれば、基礎行列を推定することで、直接カメラパラメータを推定することが可能である。８点法の詳細は、例えば「単眼広角カメラを用いた屋内三次元環境モデリングと姿勢推定　山崎公俊、他」（http://www.jsk.t.u-tokyo.ac.jp/~yamazaki/rp/ROBOMEC_08_yamazaki.pdf）において説明される手法である。
　あるいは、キャリブレーション処理Ｓ４０７は、図９に示すような、車両姿勢推定処理Ｓ６０１とカメラパラメータ算出処理Ｓ６０２からなる構成としてもよい。この場合には、車両姿勢推定処理Ｓ６０１において上述した８点法による演算が行われる。
　車両姿勢推定処理Ｓ６０１では、各カメラパラメータを求めるために、車両姿勢パラメータを求める。車両姿勢パラメータとは、車両回転中心の三次元位置と車両のロール角、ピッチ角、ヨー角である。各カメラパラメータを個別に求めるのではなく、車両姿勢を介してカメラパラメータを求める。これによって、推定するパラメータ数が１カメラ６パラメータの４カメラ分で２４パラメータから、車両姿勢分の６パラメータに減って、パラメータ推定処理が安定し精度が改善する。
　また、特徴点がとれないカメラ映像があり、４つの映像が全て使えない場合でも、車両姿勢推定を介することで、全カメラのパラメータを推定できるようになるメリットがある。ただし、この場合には、カメラキャリブレーションは姿勢変動前に実施済みで、姿勢変動だけによる誤差が出ている状態となっていることが好ましい。姿勢変動前のカメラキャリブレーションが実施されていない場合には、車両姿勢を変動させても、全カメラの正しいキャリブレーション結果を得ることが困難だからである。
　車両姿勢推定処理Ｓ６０１では、図５に示す車両姿勢推定部６０１において、４カメラの特徴点が最も誤差なく対応づく車両姿勢パラメータを最適化手法によって求める。車両姿勢推定処理Ｓ６０１では、図１０に示すとおり、車両姿勢パラメータ変動量算出処理Ｓ７０１、車両姿勢パラメータ更新処理Ｓ７０２と目的関数評価処理Ｓ７０３からなる。これらを反復することによって４カメラの特徴点が最も誤差なく対応づくカメラパラメータを最適化手法によって求める。ここでは、特徴点対応付けした際の誤差量を目的関数とし、目的関数が最も小さくなるよう車両姿勢パラメータの最適化を実施する。
　車両姿勢パラメータ変動量算出処理Ｓ７０１では、車両姿勢パラメータの微小変動量を算出する。ここでは、目的関数の値が小さくなる車両姿勢パラメータの微小変動量を求める。目的関数の値が小さくなる変動量は、数値微分などを用いて求めることができる。
　車両姿勢パラメータ更新処理Ｓ７０２では、車両姿勢パラメータ変動量算出処理Ｓ７０１で求めた微小変動量を用いて車両姿勢パラメータを更新する。
　目的関数評価処理Ｓ７０３では、得られた車両姿勢パラメータの正しさを評価するために目的関数の値を求める。目的関数は、特徴点とそれに対応する対応候補点の座標誤差の２乗誤差の総和とする。全カメラにおける対応付けられた特徴点の２乗誤差の総和を用いる。ただし、対応付けられた特徴点に間違いが含まれている場合、良い結果が得られないので、公知のRANSAC法のような、一定数サンプリングした特徴点で評価を行い、サンプリング特徴点セットを何パターンか変えて、その中で最も良い結果を評価値として採用するような方法をとってもよい。その後、目的関数値が限界まで最小化されているかを判定する収束判定を実施する。収束判定は、目的関数の値の変遷から判断する。例えば、前回の目的関数の値と比較したときの差があらかじめ設定した小さな値以下となった場合に、収束したと判定する。
　車両姿勢パラメータ変動量算出処理Ｓ７０１、車両姿勢パラメータ更新処理Ｓ７０２と目的関数評価処理Ｓ７０３を目的関数が収束するまで反復することで、全カメラの特徴点を同時に最も合致させる車両姿勢パラメータを得ることができる。
　カメラパラメータ算出処理Ｓ６０２では、カメラパラメータ算出部６０２において、得られた車両姿勢パラメータを用いて４つのカメラパラメータを算出する。車両姿勢パラメータが得られていれば、座標変換によって、対応するカメラパラメータを容易に計算できる。
　以上のように本実施形態に係るキャリブレーション装置によれば、車両に対する物体の積載状態が変化するなど、車両姿勢の変動に伴ってカメラパラメータが変化し得る場合に、早急にキャリブレーションを行うことができる。
　例えば、車両が停車状態で、車両への積載状態などが変化した場合でもカメラキャリブレーションでき、積載状態が変わるたびに補正できる。例えば、車両を駐車する直前に乗員が降車し、積載状態が変化した場合でもキャリブレーションによって地面上の距離を正しく計測できるようになる。白線の位置を認識して自動で駐車する機能など乗車状態が変動した場合も実現できるようになる。また、駐車前に運転手以外の乗員を降ろして、運転手のみで駐車を実施する場合や、道路脇で人を乗せて、再発進する場合などでも、積載状態が変化した直後にキャリブレーションを行うことが可能となる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　また、各カメラパラメータを個別に求める手法を用いてもよい。ここで、上記実施例で説明した８点法は、ロール角、ピッチ角、ヨー角の各カメラパラメータをいわば同時に求めるものであった。一方、各カメラパラメータを個別に求める場合には、例えば白線のような直線性を有する指標を用いることが考えられる。車両姿勢が変動すると直線性を有する指標の傾斜角度が画像上で変化するため、この傾斜角度が元の画像と同じくなるカメラパラメータを求めればよい。
　具体的に説明すると、例えば図３に表わされるように、車両が前後方向に沈み込むように車両姿勢が変動すると、前方のカメラＡで撮影される一対の白線は、カメラから遠くなるほど広がり、後方のカメラＢでは、カメラから遠くなる部分ほど狭まる。したがって、この現象を用いることにより、ピッチ角を校正することができる。また、車両が左右方向に沈み込むように車両姿勢が変動すると、前方のカメラＡ及び後方のカメラＢで撮影される一対の白線は、左右で見え方が異なるし、左のカメラＣ及び右のカメラＤのそれぞれで撮影される白線も見え方が異なることになる。したがって、この現象を用いることにより、ロール角を校正することができる。このようにして、ロール角又はピッチ角、若しくは、ロール角及びピッチ角の両方のカメラパラメータをキャリブレーションすることができる。
　また、上記実施例では、車両の姿勢変動前後の画像を用いてキャリブレーションする例について説明したが、車両の姿勢が変動したか否かに関わらず、車両の停止時の画像及び発進時の画像を用いるものであってもよい。この場合、車両の停止は、例えば、車速センサによって検知される車速が０ｋｍ／ｈとなったことや、シフト位置がパーキングとなったことや、カメラで撮影された画像に基づいて自車両が周囲の環境に対して移動していないことが検出されたことを用いて判断することができる。また、車両の発進は、例えば、車速センサによって検知される車速が０ｋｍ／ｈを超えたことや、シフト位置がパーキングから他のシフト位置に変更されたことや、カメラで撮影された画像に基づいて周囲の環境に対する自車両の移動が検出されたことや、エンジンのイグニッションスイッチがＯＮとなったことを用いて判断することができる。
　演算装置１０１に格納されるプログラムは、ＣＤ－ＲＯＭなどの記録媒体やインターネットを介したデータ信号を通じて提供することができる。図１１はその様子を示す図である。演算装置１０１は、ＣＤ－ＲＯＭ９０１を介してプログラムの提供を受ける。また、演算装置１０１は通信回線９０２との接続機能を有する。コンピュータ９０３は上記プログラムを提供するサーバーコンピュータであり、ハードディスク９０４などの記録媒体にプログラムを格納する。通信回線９０２は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ９０３はハードディスク９０４を使用してプログラムを読み出し、通信回線９０２を介してプログラムを演算装置１０１に送信する。すなわち、プログラムをデータ信号として、通信回線９０２を介して送信する。このように、プログラムは、記録媒体やデータ信号（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第２０５９７９号（２０１５年１０月２０日出願）
　　１００　…　キャリブレーションシステム
　　１０１　…　演算装置
　　１０４　…　表示装置
　　４０４　…　特徴点候補抽出部
　　４０５　…　特徴点選定部
　　４０６　…　特徴点対応付け部
　　５０２　…　移動体検出部
　　６０１　…　車両姿勢推定部
　　６０２　…　カメラパラメータ算出部

Claims (10)

  1. 　車両に搭載されるカメラをキャリブレーションするキャリブレーション装置であって、
    　前記車両の外部の画像を取得する画像取得部と、
    　前記車両の姿勢変動前の画像と姿勢変動後の画像との間で対応する特徴点を用いて、前記カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション部と、
    を備えるキャリブレーション装置。
  2. 　前記姿勢変動前の画像は、前記車両の停止時に撮影された画像であり、
    　前記姿勢変動後の画像は、前記車両の発進時に撮影された画像である請求項１記載のキャリブレーション装置。
  3. 　前記車両の姿勢変動を検知する車両姿勢変動検知部を備え、
    　前記車両姿勢変動検知部によって姿勢変動が検知された場合に、前記キャリブレーションを行う請求項１記載のキャリブレーション装置。
  4. 　前記キャリブレーション部は、
    　前記画像から特徴点候補を抽出する特徴点候補抽出部と、
    　前記特徴点候補抽出部で抽出された特徴点候補の選定をおこなう特徴選定部と、
    　前記特徴選定部で選定された候補点を前記車両の姿勢変動前の画像と姿勢変動後の画像との間で対応付ける特徴点対応付け部と、を備え、
    　前記特徴点対応付け部で対応付けられた特徴点を用いてキャリブレーションする請求項１記載のキャリブレーション装置。
  5. 　前記キャリブレーション部は、前記車両への物体の積載状態に基づいて特徴点変動範囲を設定し、前記車両の姿勢変動前の画像内に含まれる特徴点を基準にして前記特徴点変動範囲内で対応する特徴点を探索する請求項１記載のキャリブレーション装置。
  6. 　前記キャリブレーション部は、前記車両の周囲の移動体を検出する移動体検出部を備え、
    　前記車両の姿勢変動前の画像内に含まれる特徴点の中から前記移動体以外の特徴点を選定する請求項１記載のキャリブレーション装置。
  7. 　車両に搭載される複数のカメラをキャリブレーションするように構成され、
    　前記キャリブレーション部は、
    　前記車両の姿勢を推定する車両姿勢推定部と、
    　前記車両姿勢推定部で推定された前記車両の姿勢に基づいて、前記複数のカメラのカメラパラメータを計算するカメラパラメータ算出部と、
    を備える請求項１記載のキャリブレーション装置。
  8. 　前記車両姿勢推定部は、目的関数を設定し、その目的関数を最小化する車両姿勢パラメータを求めることで車両姿勢を推定する請求項７記載のキャリブレーション装置。
  9. 　車両に搭載されるカメラをキャリブレーションするキャリブレーション方法であって、
    　前記車両の外部の画像を取得し、
    　前記車両の姿勢変動前の画像と変動後の画像との間で対応する特徴点を用いて、前記カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション方法。
  10. 　車両に搭載されるカメラのキャリブレーションをコンピュータに実施させるキャリブレーションプログラム製品であって、
    　前記車両の外部の画像を取得する画像取得部と、
    　前記車両の姿勢変動前の画像及び発進時の画像間で対応する特徴点を用いて、前記カメラのロール角又はピッチ角の少なくとも一方のカメラパラメータをキャリブレーションするキャリブレーション部と、
    を備えるキャリブレーションプログラム製品。
PCT/JP2016/081081 2015-10-20 2016-10-20 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム WO2017069191A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/767,583 US10620000B2 (en) 2015-10-20 2016-10-20 Calibration apparatus, calibration method, and calibration program
EP16857504.1A EP3367677B1 (en) 2015-10-20 2016-10-20 Calibration apparatus, calibration method, and calibration program
CN201680058416.6A CN108141570B (zh) 2015-10-20 2016-10-20 校准装置、校准方法以及校准程序存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-205979 2015-10-20
JP2015205979A JP6603094B2 (ja) 2015-10-20 2015-10-20 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Publications (1)

Publication Number Publication Date
WO2017069191A1 true WO2017069191A1 (ja) 2017-04-27

Family

ID=58557142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081081 WO2017069191A1 (ja) 2015-10-20 2016-10-20 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Country Status (5)

Country Link
US (1) US10620000B2 (ja)
EP (1) EP3367677B1 (ja)
JP (1) JP6603094B2 (ja)
CN (1) CN108141570B (ja)
WO (1) WO2017069191A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162020A (ja) * 2019-03-27 2020-10-01 株式会社デンソーテン 画像生成装置
CN113240752A (zh) * 2021-05-21 2021-08-10 中科创达软件股份有限公司 一种内参和外参协同标定方法和装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791387B2 (ja) * 2017-08-08 2020-11-25 日本電気株式会社 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP6932058B2 (ja) 2017-10-11 2021-09-08 日立Astemo株式会社 移動体の位置推定装置及び位置推定方法
US10657654B2 (en) * 2017-12-28 2020-05-19 Denso Ten Limited Abnormality detection device and abnormality detection method
JP7158881B2 (ja) * 2018-04-10 2022-10-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
JP2020045687A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
CN109191536A (zh) * 2018-10-31 2019-01-11 百度在线网络技术（北京）有限公司 车载摄像头的自动标定方法和装置
JP7137464B2 (ja) * 2018-12-26 2022-09-14 株式会社デンソーアイティーラボラトリ カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP7172757B2 (ja) * 2019-03-11 2022-11-16 いすゞ自動車株式会社 表示制御装置
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP2021002790A (ja) * 2019-06-24 2021-01-07 株式会社デンソーテン カメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラム
DE102019211459B4 (de) * 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
JP7311407B2 (ja) * 2019-11-26 2023-07-19 株式会社デンソーテン 姿勢推定装置、および、姿勢推定方法
JP2021086259A (ja) * 2019-11-26 2021-06-03 株式会社デンソーテン 画像処理装置、および、画像処理方法
JP7311406B2 (ja) * 2019-11-26 2023-07-19 株式会社デンソーテン 画像処理装置、および、画像処理方法
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
CN113261274B (zh) * 2021-03-29 2022-10-18 华为技术有限公司 一种图像处理方法及相关终端装置
CN113628283B (zh) * 2021-08-10 2024-05-17 地平线征程(杭州)人工智能科技有限公司 摄像装置的参数标定方法、装置、介质以及电子设备
CN115214694B (zh) * 2021-09-13 2023-09-08 广州汽车集团股份有限公司 摄像头标定触发控制方法、车载控制器和智能驾驶系统
US11887338B2 (en) * 2022-06-16 2024-01-30 Motional Ad Llc Maintaining calibration of an IBIS camera
FR3143805A1 (fr) * 2022-12-19 2024-06-21 Sagemcom Broadband Sas Détection du changement de position d’un boîtier décodeur par analyse d’images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151524A (ja) * 2007-12-20 2009-07-09 Alpine Electronics Inc 画像表示方法および画像表示装置
JP2009253571A (ja) * 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
WO2012139660A1 (en) 2011-04-15 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road marking extractions
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6141601B2 (ja) * 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
KR101215563B1 (ko) * 2012-10-24 2013-01-21 주식회사 세코닉스 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151524A (ja) * 2007-12-20 2009-07-09 Alpine Electronics Inc 画像表示方法および画像表示装置
JP2009253571A (ja) * 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3367677A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162020A (ja) * 2019-03-27 2020-10-01 株式会社デンソーテン 画像生成装置
JP7188228B2 (ja) 2019-03-27 2022-12-13 株式会社デンソーテン 画像生成装置
CN113240752A (zh) * 2021-05-21 2021-08-10 中科创达软件股份有限公司 一种内参和外参协同标定方法和装置
CN113240752B (zh) * 2021-05-21 2024-03-22 中科创达软件股份有限公司 一种内参和外参协同标定方法和装置

Also Published As

Publication number Publication date
EP3367677A4 (en) 2019-05-15
CN108141570B (zh) 2020-09-11
US10620000B2 (en) 2020-04-14
US20180292201A1 (en) 2018-10-11
EP3367677B1 (en) 2020-06-17
CN108141570A (zh) 2018-06-08
EP3367677A1 (en) 2018-08-29
JP2017078923A (ja) 2017-04-27
JP6603094B2 (ja) 2019-11-06

Similar Documents

Publication Publication Date Title
JP6603094B2 (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
WO2016052505A1 (ja) カメラキャリブレーション装置及びカメラキャリブレーションシステム
JP4899424B2 (ja) 物体検出装置
JP4814669B2 (ja) ３次元座標取得装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP4861574B2 (ja) 運転支援装置
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
CN111819571B (zh) 具有经调整适配的投影面的全景环视系统
EP3032818B1 (en) Image processing device
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JP5516998B2 (ja) 画像生成装置
JP6471522B2 (ja) カメラパラメータ調整装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
CN114514412B (zh) 误差估计装置、误差估计方法、存储介质
JP5083443B2 (ja) 運転支援装置および方法、ならびに演算装置
JP6768554B2 (ja) キャリブレーション装置
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP2009139324A (ja) 車両用走行路面検出装置
JP6999239B2 (ja) 画像処理装置および画像処理方法
KR20100060528A (ko) 차량 운전 지원 표시 시스템
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JP6432033B2 (ja) 車載装置
KR20230023763A (ko) 카메라를 교정하는 방법 및 그에 연관된 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857504

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15767583

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016857504

Country of ref document: EP