WO2016052505A1 - カメラキャリブレーション装置及びカメラキャリブレーションシステム - Google Patents

カメラキャリブレーション装置及びカメラキャリブレーションシステム Download PDF

Info

Publication number
WO2016052505A1
WO2016052505A1 PCT/JP2015/077517 JP2015077517W WO2016052505A1 WO 2016052505 A1 WO2016052505 A1 WO 2016052505A1 JP 2015077517 W JP2015077517 W JP 2015077517W WO 2016052505 A1 WO2016052505 A1 WO 2016052505A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
calibration
video
unit
Prior art date
Application number
PCT/JP2015/077517
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
啓二 佐藤
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to CN201580020606.4A priority Critical patent/CN106233711B/zh
Priority to EP15845604.6A priority patent/EP3203724B1/en
Priority to US15/306,672 priority patent/US10594943B2/en
Publication of WO2016052505A1 publication Critical patent/WO2016052505A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to a camera calibration device and a camera calibration system.
  • in-vehicle cameras have been popularized for the purpose of assisting drivers to check their surroundings.
  • a viewpoint view of each image captured by a plurality of cameras attached to the periphery of the vehicle and combining the images to generate a bird's-eye view around the vehicle (an image looking down on the vehicle from above)
  • the system that presents the driver to the driver is being put into practical use.
  • each camera is attached to the vehicle at a position and angle according to the design value, but at that time, an error inevitably occurs.
  • the overhead view video is generated based on the design value
  • the video is not necessarily taken from the overhead view, and a video that is shifted by the error is generated.
  • the effect of the shift appears remarkably in the boundary region between the images of the cameras in the combined image, and the influence on the appearance is greater than in the case of a single camera.
  • correction of an error from the design value of the camera parameter called calibration or calibration is performed.
  • a method of estimating the current installation state from a photographed image is employed instead of a method of mechanically adjusting the installation state of the camera.
  • the As a method of estimating the installation state from the photographed video in general, a pattern (calibration chart) printed on paper or a plate is precisely placed at a predetermined position and photographed.
  • a method of correcting the camera parameters so that it matches the image taken with the camera manufactured and installed according to the design value is adopted, and in that case, instead of adjusting the mounting state of the camera itself, A method of correcting numerical values in the program relating to the camera mounting position and angle through image conversion is employed.
  • Patent Documents 1 and 2 disclose techniques for correcting camera parameters while the vehicle is running.
  • an adjacent portion of a road surface is imaged with at least two cameras, a road feature in a longitudinal direction is specified in an image frame, and an interval between two image frames is determined.
  • Select two longitudinal road features identified in at least two image frames taken by two cameras to match a single line, and analyze the match of a single line to create two image frames This is a method of determining an offset between lines and applying the determined line offset for camera calibration.
  • the on-line calibration method for a vehicle camera disclosed in Patent Document 2 captures a part of a road surface with a camera, identifies a road feature in a longitudinal direction in an image frame, and identifies a specified longitudinal road.
  • the point is extracted along the feature, the extracted point is converted into a virtual road plane by perspective mapping in consideration of a known camera parameter, and the converted extracted point is analyzed with respect to the vehicle, and the vehicle at the point is analyzed. And using the measured deviation to define the offset correction of the camera.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to perform calibration even in a situation where the loading state of the vehicle changes, and to use, for example, the parallelism of the vehicle with respect to the white line It is another object of the present invention to provide a camera calibration apparatus and a camera calibration system that can accurately perform calibration by accurately estimating all camera parameters.
  • a camera calibration device is a camera calibration device that is mounted on a vehicle and performs calibration of a plurality of cameras that capture an environment around the vehicle, A video acquisition unit that acquires video captured by the camera, a feature extraction unit that extracts a predetermined feature amount from the video, a posture estimation unit that estimates a posture of the vehicle based on the predetermined feature amount, and a past A translation correction unit that corrects the position of the camera in the translation direction relative to the ground based on information obtained from the calibration performed on the camera, and the camera ground based on the posture of the vehicle and the position of the camera in the translation direction relative to the ground. And a camera parameter calculation unit that calculates camera parameters related to the posture of the camera.
  • the camera calibration system includes the camera calibration device, the plurality of cameras mounted on the vehicle such that a part of an image to be captured is superimposed or adjacent, and the camera calibration device.
  • a composite video generation device that generates a composite video by correcting video captured by the plurality of cameras using camera parameters of each camera obtained; and a display device that displays the composite video. It is characterized by.
  • calibration can be performed even in a situation where the loading state of the vehicle changes, and calibration is performed by precisely estimating all camera parameters without using, for example, the parallelism of the vehicle to the white line. Therefore, it is possible to generate a high-accuracy bird's-eye view image according to the loading state of the vehicle under all circumstances.
  • FIG. 1 is a system configuration diagram showing the overall configuration of an embodiment of a camera calibration system according to the present invention.
  • the block diagram which shows an example of an internal structure of the camera calibration apparatus shown in FIG.
  • the flowchart explaining the calibration process by the camera calibration apparatus shown in FIG. The block diagram which shows the other example of an internal structure of the camera calibration apparatus shown in FIG.
  • the flowchart explaining the calibration process by the camera calibration apparatus shown in FIG. The block diagram which
  • Embodiments of a camera calibration device and a camera calibration system according to the present invention will be described below with reference to the drawings.
  • a case where four cameras are used and a part of the video imaged by two adjacent cameras is superimposed or adjacent is described.
  • the number of cameras to be changed can be appropriately changed according to a request from a user or the like.
  • FIG. 1 shows a system configuration embodying an embodiment of a camera calibration system according to the present invention.
  • the illustrated camera calibration system 100 mainly includes four cameras 111 to 114, an arithmetic device 101, a RAM 102, a ROM 103, a display device 104, a vehicle speed sensor 105, a steering angle sensor 106, and a yaw rate sensor. 107, an input device 108, and a communication device 109.
  • the cameras 111 to 114 are mounted on the vehicle 1, and are installed on the front, rear, left and right of the vehicle 1, for example.
  • front and rear cameras are attached to the vehicle body near the license plate, and left and right cameras are attached to the lower part of the side mirror.
  • the camera 111 is attached to the front side of the vehicle 1
  • the camera 112 is attached to the rear side of the vehicle 1
  • the camera 113 is attached to the left side of the vehicle 1
  • the camera 114 is attached to the right side of the vehicle 1 (see FIG. 3).
  • Each of the cameras 111 to 114 is attached so that the optical axis is directed in a direction from parallel to vertically downward with respect to a horizontal plane parallel to the ground.
  • each of the cameras 111 to 114 is attached according to known design information decided in advance, but an attachment error has actually occurred, and this error is unknown.
  • each of the cameras 111 to 114 is a wide-angle fisheye camera so that an image of the entire periphery of the vehicle 1 can be acquired.
  • a fisheye camera distorts an image based on a known distortion function in order to acquire a wide-angle image.
  • Four images captured by the cameras 111 to 114 are transmitted to the arithmetic device 101.
  • the vehicle speed sensor 105, the rudder angle sensor 106, and the yaw rate sensor 107 are sensors for observing the vehicle speed, the rudder angle, and the yaw rate, respectively. Sensor information observed by each sensor is transmitted to the arithmetic unit 101, and arithmetic processing in the arithmetic unit 101 is performed. Used in
  • the input device 108 is a device that accepts user operations such as switches and buttons, and is used for turning on / off a calibration function, initializing a calibration result, changing a calibration method, and the like. Various types of information input to the input device 108 through user operations are transmitted to the arithmetic device 101.
  • the communication device 109 is a device used for communication with an external device (not shown), and the arithmetic device 101 receives various information from the external device via the communication device 109 and is calculated by the arithmetic device 101. Send various information to external devices.
  • the RAM 102 In the RAM 102, numerical data required in the arithmetic processing process in the arithmetic unit 101, program variables for processing results in the middle of arithmetic processing, and the like are written. Also, the written data is read out as necessary in the arithmetic processing process of the arithmetic unit 101 and used for arithmetic processing.
  • the RAM 102 also stores video data taken by the cameras 111 to 114.
  • the ROM 103 stores in advance, for example, information that is used without rewriting among programs that execute calibration and information that is necessary for the programs.
  • information that is used without rewriting among programs that execute calibration and information that is necessary for the programs.
  • camera parameters such as design values (external parameters) of the installation positions and angles of the cameras, focal lengths, pixel sizes, optical axis centers, distortion functions, etc. (internal parameters) of the cameras are stored.
  • the arithmetic unit 101 receives various information transmitted from the cameras 111 to 114, the vehicle speed sensor 105, the rudder angle sensor 106, the yaw rate sensor 107, the input device 108, the communication device 109, etc., and performs calculation processing based on a program or the like. It is an apparatus to be implemented.
  • the arithmetic unit 101 performs, for example, calculation processing for converting the viewpoints of the images input from the cameras 111 to 114 and generating an image (overhead image) as if looking down at the ground from above.
  • each of the videos 111 to 114 including a fisheye camera an image obtained by removing the image distortion using a known distortion function stored in advance in the ROM 103 or the like is generated, and the distortion is removed.
  • Each of the videos is converted into a viewpoint and synthesized with a video viewed from an overhead viewpoint based on a known design value relating to camera attachment stored in advance in the ROM 103 or the like (synthesized video generation apparatus 115).
  • viewpoint conversion / combination processing uses a known camera geometric conversion formula to calculate specific pixels of the overhead view video and specific pixels of the corresponding cameras 111 to 114, and the luminance value of the pixels. Can be realized by assigning to the pixels of the overhead view video.
  • a process of assigning an intermediate luminance of peripheral pixels is performed by a known luminance interpolation process.
  • the arithmetic device 101 executes arithmetic processing using the output results of the vehicle speed sensor 105, the steering angle sensor 106, the yaw rate sensor 107, and the communication device 109, and executes operation program switching processing according to the input results of the input device 108. To do.
  • the arithmetic device 101 includes a camera calibration device 116 that performs camera calibration (calibration processing) so that the overhead view image generated by the viewpoint conversion / synthesis is an image looking down on the vehicle 1 from directly above. Is built-in.
  • the display device 104 receives the processing result of the arithmetic device 101, and presents the processing result to the user using a display or the like. For example, an overhead image generated by converting and synthesizing four images from the cameras 111 to 114 is displayed to the driver.
  • the display device 104 can also switch display contents according to the output of the arithmetic device 101, such as displaying only the video of the camera 112 that captures the rear of the vehicle 1.
  • FIG. 2 is a flowchart illustrating a procedure until calibration is performed at the time of product shipment and use. As shown in the figure, calibration S205 at the time of product shipment is performed after, for example, camera mounting S201, riding state reproduction S202, position adjustment S203, and calibration chart photographing S204.
  • each camera 111 to 114 is attached to the vehicle body, and in the riding state reproduction S202, the state where the passenger is on the vehicle 1 is reproduced.
  • an actual boarding state is reproduced by, for example, a driver having a weight of 60 kg actually getting on the driver's seat or mounting a corresponding baggage.
  • the reason why the riding state reproduction S202 is performed is that the posture of the vehicle 1 changes depending on the riding state, and the angles of the cameras 111 to 114 with respect to the ground change accordingly.
  • image boundary images captured by the cameras
  • position adjustment S203 the vehicle 1 and the calibration chart are adjusted so as to have a predetermined positional relationship.
  • calibration is performed after the positional relationship between the calibration chart and the camera is set to a specified positional relationship.
  • calibration chart photographing S204 the calibration chart is photographed by the cameras 111 to 114 attached to the vehicle 1.
  • calibration is performed using images taken by the cameras 111 to 114.
  • calibration is performed by a known technique. That is, when the cameras 111 to 114 are installed as designed and the calibration chart is installed at a specified position, the position where the calibration chart should be displayed is calculated and the calibration in the actually captured video is performed. The camera parameters used for image conversion in the program are adjusted so that the motion chart is reflected at the position to be reflected.
  • a technique that can be calibrated even if the positional relationship between the calibration chart and the vehicle 1 is indefinite may be used. In this case, the procedure of the position adjustment S203 is used. Is no longer necessary.
  • the calibration is performed in such a procedure, the calibration is performed on the assumption of a specific riding state as in the riding state reproduction S202, and the riding state is the product. If it is different from the calibration performed at the time of shipment, the image boundary in the overhead view image is shifted. Therefore, it is not sufficient to perform calibration only in a specific boarding state. For example, it is necessary to perform calibration every time depending on the boarding state. Therefore, calibration according to the boarding state at that time is performed even during use, such as during travel or parking, after the product is shipped. That is, as shown in FIG. 2, after performing calibration S205 at the time of product shipment, calibration S206 at the time of use is performed.
  • the cameras 111 to 114 are used by the camera calibration device 116 built in the arithmetic unit 101 when the vehicle 1 is in use such as traveling or parked. Using the information of the surrounding environment that can be photographed, calibration is performed each time according to the riding state.
  • this embodiment is based on the assumption that calibration has been performed once in a factory, for example, by the procedure shown in FIG. 2, the parallelism of the vehicle with respect to the white line, that is, the relative relationship between the white line and the vehicle is not required.
  • a system capable of estimating camera parameters for all the cameras 111 to 114 is realized. Normally, calibration is performed at the time of shipment from the factory to confirm the quality of the video captured by the camera, and as a constraint, it is assumed that the benefits obtained are great even if the calibration is performed once. Conceivable.
  • the calibration S206 at the time of use by the camera calibration device 116 will be outlined.
  • FIG. 3 shows an example of a bird's-eye view image before the calibration at the time of use.
  • FIG. 6 shows an example of a bird's-eye view image when the loading state changes from the loading state assumed in the calibration at the time of product shipment.
  • a white line of the road is displayed in this overhead view image, but since the loading state of the vehicle 1 is different from the loading state assumed in advance, the posture of each camera 111 to 114 with respect to the ground ( (Angle and position) have changed, and the white lines are displaced at the video boundaries of the cameras 111-114.
  • the overhead view image is corrected and the calibration is performed so that the deviation of the white line or the like is eliminated.
  • an image obtained by photographing a linear feature amount (a feature amount having a straight line shape) in the longitudinal direction such as a white line Perform calibration using. At that time, as shown in FIG.
  • linear structures are photographed on both sides of the vehicle 1, at least two for the camera 111, two for the camera 112, One linear structure needs to be photographed for the camera 113 and one for the camera 114, and the two linear structures reflected on the camera 111 and the camera 112 need to be parallel to each other.
  • the relative relationship between the vehicle 1 and the linear structure such as the relative angle between the vehicle 1 and the linear structure or the distance to the linear structure, is not necessary.
  • the parameters of the cameras 111 to 114 are not directly estimated, but the posture of the vehicle 1, that is, the parameter representing the posture of the vehicle 1 is estimated.
  • the camera parameters of the cameras 111 to 114 are estimated and the calibration is performed.
  • the step of estimating the attitude of the vehicle 1 is divided into a step of estimating the pitch angle of the vehicle 1 and a step of simultaneously estimating the roll angle and height of the vehicle 1.
  • the pitch angle of the vehicle 1 is estimated based on the parallelism of parallel straight lines photographed by the cameras 111 and 112 installed before and after the vehicle 1.
  • an overhead view image as shown in FIG. 4 is obtained.
  • the camera parameters are corrected so that parallel straight lines reflected on the camera 111 and the camera 112 are parallel on the overhead view video. Thereafter, in the step of simultaneously estimating the roll angle and height of the vehicle 1, the roll angle and height of the vehicle 1 are estimated so that the straight line shift at the video boundary of the overhead view image is eliminated.
  • the camera parameters are corrected by estimating the roll angle and height of the vehicle 1, and the camera parameters of all the cameras accompanying the change in the vehicle posture are estimated and the calibration is performed. In this way, a bird's-eye view image with no deviation at the image boundary can be obtained.
  • FIG. 6 shows an example of the internal configuration of the camera calibration device shown in FIG. 1 (Embodiment 1), and shows the internal configuration of the camera calibration device that can implement the above-described calibration in use. It is.
  • FIG. 7 is a flowchart for explaining calibration processing by the camera calibration apparatus shown in FIG. Note that the calibration processing by the camera calibration apparatus shown in FIG. 6 is performed by loading a program stored in advance in the ROM 103.
  • the camera calibration apparatus 116 shown in FIG. 6 mainly includes a calibration execution determination unit 201, a video acquisition unit 202, a feature extraction unit 203, and a calibration unit 204.
  • the calibration execution determination unit 201 of the camera calibration device 116 determines whether or not camera calibration needs to be performed (S701 in FIG. 7). For example, regarding a scene in which a white line is reflected in all four images constituting the overhead video captured by each camera 111 to 114, it is determined whether or not the white line is shifted at each video boundary of the overhead video. Thus, it is automatically determined whether or not the camera needs to be calibrated.
  • whether the white line is misaligned is determined by, for example, recognizing the white line from the video using a known technique, calculating the position in the video, and shifting the position at the video boundary position designated in advance. The amount can be measured, and the determination can be made based on whether or not the amount of deviation exceeds a predetermined threshold value.
  • a method for determining whether or not calibration needs to be performed by detecting a change in the loading state of the vehicle using a sensor that directly estimates a change in the posture of the vehicle, such as a gyro sensor. May be used. Further, by using linear feature amounts extracted by a feature extraction unit 203 described later (for example, information on white lines including broken lines, curbstones, road edge boundaries, etc. temporarily stored in the RAM 102), etc. Judge whether the camera needs to be calibrated by using the parallel feature feature parallel to each other on both sides (peripheries) of the vehicle in the image along with the amount of deviation of the feature feature at the image boundary. You may use the method of doing.
  • the video acquisition unit 202 acquires from the RAM 102 images captured by the four cameras 111 to 114 attached to the vehicle 1. (S702 in FIG. 7). Note that if there is a synchronization shift in the video shot by each camera 111-114, it will appear as a calibration error, so the video shot by each camera 111-114 is stored in the RAM 102 in complete synchronization. It is desirable that there is a mechanism for whether or not to obtain a video shift time. Note that the video acquisition unit 202 may acquire video directly from the cameras 111 to 114.
  • the feature extraction unit 203 uses a predetermined feature amount used for calibration, particularly a linear feature in the longitudinal direction (that is, the longitudinal direction of the vehicle), in the video captured by each of the cameras 111 to 114 acquired by the video acquisition unit 202.
  • An amount for example, a white line including a broken line, a curbstone, a road edge boundary, etc.
  • S703 in FIG. 7 is extracted.
  • each of the cameras 111 to 114 generates an image from which the distortion of the fisheye camera is removed by using the designed distortion function, and a known edge extraction is performed on the image.
  • the point can be extracted by a method using a known Hough transform.
  • the calibration unit 204 performs camera calibration using the feature amount obtained by the feature extraction unit 203.
  • the calibration process in the calibration unit 204 assumes that the calibration has been performed once in a factory or the like. However, the parallelism of the vehicle with respect to the longitudinal feature amount, that is, the longitudinal feature amount and the relative of the vehicle. Therefore, all camera parameters can be estimated with only the feature quantity in the longitudinal direction.
  • the camera parameters of the cameras 111 to 114 are not directly estimated, but the attitude of the vehicle 1 is estimated, and all camera parameters are estimated via the attitude of the vehicle 1. Since each camera is attached to a rigid vehicle body, when the posture change of the vehicle body occurs, the angle and position of each camera also fluctuate in conjunction with it.
  • the angle of the camera 111 attached to the front side of the vehicle 1 becomes downward, and the camera 112 attached to the rear side of the vehicle 1. Will face up the same amount of angle.
  • the angle of the camera 114 attached to the right side of the vehicle 1 becomes downward, and the angle of the camera 113 attached to the left side of the vehicle 1 becomes Move upward by the same amount.
  • the camera 111 attached to the front side of the vehicle 1 and the camera 112 attached to the rear side of the vehicle 1 rotate slightly to the right with respect to the optical axis.
  • the variation of each of the cameras 111 to 114 is linked to the variation of the vehicle body posture. Further, the fluctuations of these cameras 111 to 114 are uniquely determined with respect to the fluctuation of the vehicle body posture.
  • the calibration parameters in the calibration unit 204 estimate the camera parameters of the cameras 111 to 114 individually. Instead, the posture of the vehicle 1 is estimated, and each camera parameter is calculated from the estimated posture of the vehicle 1.
  • the camera parameters are estimated individually for each camera 111-114.
  • the roll angle of the camera 111 attached to the front side of the vehicle 1 is corrected so that the white line in the video is completely vertical. Can be obtained.
  • a plurality of straight lines are photographed with respect to the pitch angle of the camera 111 attached to the front side of the vehicle 1, they are both parallel to the vehicle 1 and the straight lines are also parallel to each other. It can be estimated by correcting so as to satisfy the parallelism.
  • the parameters of the vehicle posture can be estimated from only the straight line in the longitudinal direction in the video, and once the vehicle posture is determined, the positions and angles of the cameras 111 to 114 attached to the vehicle 1 can be calculated. All camera parameters can be estimated using only the straight line.
  • this calibration process needs to be performed in advance at the time of factory shipment.
  • the overhead view image is not displaced in the loading state assumed at the time of calibration.
  • the deviation in the bird's-eye view image is caused by the change in the vehicle posture accompanying the change in the loading state of the vehicle 1. Therefore, if the change in the camera posture accompanying the change in the vehicle posture is canceled, there is no original deviation. You can return to the bird's-eye view video. Therefore, it is possible to generate a bird's-eye view image without deviation by estimating the vehicle posture and calculating the angle and position of the camera accompanying the fluctuation.
  • the calibration unit 204 includes a posture estimation unit 301, a translation correction unit 304, and a camera parameter calculation unit 305.
  • the posture estimation unit 301 includes a pitch angle estimation 302 and a roll angle / height / rotation center. And an estimation unit 303.
  • the pitch angle estimation 302 of the posture estimation unit 301 is performed using, for example, the parallelism of the straight lines (linear feature amounts) in the longitudinal direction in images captured by the cameras 111 and 112 attached to the front and rear of the vehicle 1.
  • the pitch angle is estimated (S704 in FIG. 7).
  • a parallel straight line such as a white line drawn on a road or a white line and a road edge boundary is photographed while driving, the parallel straight line should be displayed in parallel in an ideal overhead view video. It is.
  • the pitch angle of the vehicle 1 varies, the parallel straight lines are displayed in a “C” shape in the overhead view viewpoint image, and are not parallel.
  • the pitch angle of the vehicle 1 is estimated so that the straight lines are parallel. Specifically, based on the parallelism of the linear equations in each of the cameras 111 and 112, for example, the inner product of straight line vectors is used as an evaluation function, and the vehicle 1 is such that the inner product is as close to 1 as possible for both the cameras 111 and 112. Optimize the pitch angle.
  • the straight line (linear feature amount) used here is obtained by the feature extraction unit 203 described above.
  • the optimization can be realized by using a known technique such as the steepest descent method. That is, for example, an evaluation function related to the pitch angle of the vehicle 1 is obtained, and the process of minutely changing the pitch angle of the vehicle 1 may be repeatedly performed so that the evaluation function approaches the target value.
  • the roll angle / height / rotation center estimation unit 303 of the posture estimation unit 301 includes a roll angle of the vehicle 1 so as to eliminate a shift of a straight line (linear feature amount) in the longitudinal direction that appears in the video boundary of the overhead view image.
  • the height of the vehicle 1 and the rotation center of the vehicle 1 are estimated (S705 in FIG. 7).
  • the pitch angle of the vehicle 1 is fixed to the pitch angle obtained by the pitch angle estimation unit 302. More specifically, an evaluation function that represents the deviation of the straight line in the longitudinal direction that appears at the video boundary of the overhead view image is designed, and the roll angle of the vehicle 1, the height of the vehicle 1, the vehicle, so that the evaluation function is minimized.
  • Each parameter relating to one rotation center is optimized.
  • the evaluation function includes, for example, a straight line shift at the video boundary of the overhead view video, the video boundary between the camera 111 and the camera 113, the video boundary between the camera 111 and the camera 114, the video boundary between the camera 112 and the camera 113, and the camera 112. It is assumed that each is calculated at the video boundary of the camera 114 and summed up.
  • the straight line (linear feature amount) used here is obtained by the feature extraction unit 203 described above.
  • the process of minutely changing the roll angle of the vehicle 1, the height of the vehicle 1, and the rotation center of the vehicle 1 is repeatedly performed so that an evaluation function representing a straight line shift at the video boundary of the overhead view image is minimized.
  • the optimization including the rotation center of the vehicle 1 is performed.
  • the translation correction unit 304 is a parameter (translation parameter) corresponding to translation of the vehicle 1 with respect to the ground (movement in a direction parallel to the ground), that is, a camera based on information obtained from calibration performed in the past.
  • the position in the translation direction excluding the height (position in plan view) is corrected (S706 in FIG. 7).
  • the information indicating the absolute distance between the ground and the camera is not measured, it is impossible to estimate the position of the camera with respect to the ground. Since the deviation in direction is extremely small, for example, the value at the time of product shipment calibration stored in the ROM 103 or the like is used.
  • one reference camera (reference camera) is selected (for example, the camera 111), and the product of the camera 111 is selected. All the positions of the cameras 111 to 114 are translationally corrected so as to cancel the error in the translation direction between the calibration value at the time of shipment and the current value.
  • the camera parameter calculation unit 305 calculates camera parameters related to the postures of the cameras 111 to 114 corresponding to the posture of the vehicle 1 from the posture of the vehicle 1 obtained by the posture estimation unit 301 and the parameters obtained by the translation correction unit 304. Calculate (S707 in FIG. 7). Note that the camera parameters of the corresponding cameras 111 to 114 can be uniquely calculated by coordinate conversion.
  • the parallelism of the vehicle with respect to the feature amount in the longitudinal direction that is, the relative relationship between the feature amount in the longitudinal direction and the vehicle is not required, and only the feature amount in the longitudinal direction is used.
  • the camera parameters can be estimated precisely, and a high-accuracy bird's-eye view image corresponding to the loading state of the vehicle can be generated using the camera parameters.
  • FIG. 8 shows another example (second embodiment) of the internal configuration of the camera calibration apparatus shown in FIG.
  • FIG. 9 is a flowchart illustrating calibration processing by the camera calibration apparatus shown in FIG.
  • the camera calibration device 116A shown in FIG. 8 is different from the camera calibration device 116 shown in FIG. 6 in that a sensor information acquisition unit, a steady running determination unit, and a data availability determination unit are mainly added. Other configurations are almost the same. Therefore, in the following, only the configuration different from the camera calibration device 116 shown in FIG. 6 will be described in detail, and the same reference numerals are given to the same configuration as the camera calibration device 116, and detailed description thereof will be omitted.
  • a camera calibration device 116A shown in FIG. 8 mainly includes a calibration execution determination unit 201A, a video acquisition unit 202A, a feature extraction unit 203A, and a calibration unit 204A, and also includes a sensor information acquisition unit 205A.
  • a steady running state determination unit 206A and a data availability determination unit 207A are provided.
  • the calibration execution determination unit 201A determines whether or not the camera calibration needs to be performed (S901 in FIG. 9), and if it is determined that the camera calibration needs to be performed, the video acquisition unit 202A acquires from the RAM 102 images captured by the four cameras 111 to 114 attached to the vehicle 1 (S902 in FIG. 9). At the same time, the sensor information acquisition unit 205A acquires sensor information of various sensors such as the vehicle speed sensor 105, the steering angle sensor 106, and the yaw rate sensor 107 (S903 in FIG. 9). Here, it is desirable that the sensor information is acquired in synchronization with the video. Note that S902 and S903 shown in FIG. 9 may be performed at the same time, or S902 may be performed after S903.
  • the steady running state determination unit 206A determines whether or not the vehicle is in a steady running state (S904 in FIG. 9).
  • the steady traveling state is a state where the vehicle is traveling on a straight road without any change in vehicle posture due to acceleration / deceleration or turning.
  • the reason for determining that there is no change in the vehicle posture due to acceleration / deceleration or turning and that the vehicle is traveling on a straight road is that the video when the vehicle posture is different is different for each camera parameter. This is because it cannot be used, and a linear feature amount in the longitudinal direction (for example, a white line including a broken line, a curbstone, a road edge boundary, etc.) is used as a feature amount used for vehicle posture estimation, etc.
  • the absence of acceleration / deceleration can be determined based on information obtained from the vehicle speed sensor 105 based on a constant vehicle speed continuing for a certain time. . It can be determined that there is no change due to turning because, for example, the absolute value of the information acquired from the yaw rate sensor 107 is smaller than a predetermined threshold value close to 0.
  • the vehicle travels in a straight line based on the driver's operation status. Can also be considered.
  • the feature extraction unit 203A extracts a predetermined feature amount used for calibration from the images captured by the cameras 111 to 114 (FIG. 9 S905).
  • the images captured by the cameras 111 to 114 cannot be used for calibration and are rejected, and images of the next scene and sensor information of various sensors are rejected. To get.
  • the data availability determination unit 207A determines whether or not parallel white lines (linear feature amounts) that can be used for calibration are reflected in the images captured by the cameras 111 to 114 (S906 in FIG. 9). Specifically, the data availability determination unit 207A recognizes images of white lines (linear feature amounts) reflected in the cameras 111 to 114, and the feature amounts extracted by the feature extraction unit 203A are arranged in a straight line. In addition, it is determined whether or not both the image captured in the past and the difference in the way the white line captured at the present time is small are satisfied. Whether or not the feature amounts extracted by the feature extraction unit 203A are arranged in a straight line can be determined by measuring the linearity of the white line.
  • each edge point of the white line when each edge point of the white line is fitted with a straight line and the fitting error is equal to or smaller than a predetermined value, it can be regarded as a straight line, and the fitting error is more than a predetermined constant value. If it is large, it can be regarded as not a straight line.
  • the difference between the image captured in the past and the white line captured at the present time is small is calculated in the past, for example, by calculating the angle at which the white line is parallel as in the vehicle pitch angle estimation process.
  • the angle error from the average value of the angle is equal to or smaller than a predetermined value, the difference can be regarded as small, and when the angle error is larger than a predetermined value, It can be considered that the difference is large.
  • the calibration unit 204A uses the feature amount obtained by the feature extraction unit 203A, etc., as described above, and uses the camera parameters of each camera. Is calculated and calibration is performed (S907 to S910 in FIG. 9). On the other hand, if it is determined that the data cannot be used, the images captured by the cameras 111 to 114 cannot be used for calibration and are rejected, and the next scene image and sensor information of various sensors are discarded. get.
  • the parallelism of the vehicle with respect to the feature amount in the longitudinal direction that is, the relative relationship between the feature amount in the longitudinal direction and the vehicle is not required, and only the feature amount in the longitudinal direction is used.
  • the camera parameter can be estimated more precisely and efficiently, and a higher-accuracy bird's-eye view image corresponding to the loading state of the vehicle can be generated using the camera parameter.
  • FIG. 10 shows still another example (third embodiment) of the internal configuration of the camera calibration apparatus shown in FIG.
  • FIG. 11 is a flowchart for explaining calibration processing by the camera calibration apparatus shown in FIG.
  • the camera calibration apparatus 116B shown in FIG. 10 is different from the camera calibration apparatus 116A shown in FIG. 8 in that a data accumulation determination unit is mainly added, and the other configurations are almost the same. . Therefore, in the following, only the configuration different from the camera calibration device 116A shown in FIG. 8 will be described in detail, and the same reference numerals are given to the same configuration as the camera calibration device 116A, and the detailed description thereof will be omitted.
  • the camera calibration device 116B shown in FIG. 10 mainly includes a calibration execution determination unit 201B, a video acquisition unit 202B, a feature extraction unit 203B, a calibration unit 204B, a sensor information acquisition unit 205B, and a steady running state.
  • a determination unit 206B and a data availability determination unit 207B are provided, and a data accumulation determination unit 208B is provided.
  • the calibration execution determination unit 201B determines whether or not the camera calibration needs to be performed (S1101 in FIG. 11), and if it is determined that the camera calibration needs to be performed, the video acquisition unit 202B acquires images taken by the four cameras 111 to 114 attached to the vehicle 1 from the RAM 102 (S1102 in FIG. 11), and the sensor information acquisition unit 205B acquires sensor information of various sensors (FIG. 11). 11 S1103).
  • the steady running state determination unit 206B determines whether or not the vehicle is in a steady running state based on the sensor information obtained by the sensor information acquisition unit 205B (S1104 in FIG. 11), and the vehicle is in the steady running state. If it is determined that there is a feature, the feature extraction unit 203B extracts a predetermined feature amount used for calibration from the video captured by each of the cameras 111 to 114 (S1105 in FIG. 11). The data availability determination unit 207B determines whether the extracted data can be used for calibration based on the extracted data extracted by the feature extraction unit 203B (S1106 in FIG. 11).
  • the extracted data is stored / accumulated in the RAM 102 or the like as the data accumulation unit (S1107 in FIG. 11).
  • the feature extraction unit 203B stores the coefficient of the equation representing the straight line obtained by the feature extraction unit 203B.
  • the data accumulation determination unit 208B determines whether or not a sufficient amount of data necessary for calibration has been accumulated and data accumulation has been completed (S1108 in FIG. 11). For each of the cameras 111 to 114 attached to the vehicle 1, linear feature values (for example, a white line including a broken line, a curbstone, a road edge boundary, etc.) photographed at the same position are meaningless as data. It is necessary to collect a plurality of linear feature values photographed in front and rear, right and left around the vehicle 1). Therefore, for example, the data accumulation determination unit 208B sets several areas in advance for each of the cameras 111 to 114, and determines whether or not straight line data passing through each area has been obtained for all areas. It is determined whether or not the amount of data necessary for calibration has been accumulated.
  • linear feature values for example, a white line including a broken line, a curbstone, a road edge boundary, etc.
  • the calibration unit 204B uses the feature amount accumulated in the RAM 102 as the data accumulation unit, etc.
  • the camera parameters are calculated and calibration is performed (S1109 to S1112 in FIG. 11).
  • the parallelism of the vehicle with respect to the feature amount in the longitudinal direction that is, the relative relationship between the feature amount in the longitudinal direction and the vehicle is not required, and only the feature amount in the longitudinal direction is used.
  • the camera parameters can be estimated more precisely and efficiently, and a higher-accuracy bird's-eye view image corresponding to the loading state of the vehicle can be generated using the camera parameters.
  • the posture of the vehicle is estimated based on a predetermined feature amount extracted from the video, in particular, a linear feature amount, and obtained from calibration performed in the past, such as at the time of product shipment.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　車両の積載状態が変化する状況下でもキャリブレーションを実施できると共に、例えば白線に対する車両の平行性を利用することなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することのできるカメラキャリブレーション装置及びカメラキャリブレーションシステムを提供する。映像から抽出される所定の特徴量に基づいて車両の姿勢を推定し、製品出荷時などの過去に実施したキャリブレーションから得られる情報に基づいてカメラの地面に対する並進方向の位置を補正し、その車両の姿勢とカメラの地面に対する並進方向の位置とに基づいて、カメラの地面に対する姿勢に関するカメラパラメータを算出する。

Description

カメラキャリブレーション装置及びカメラキャリブレーションシステム
　本発明は、カメラキャリブレーション装置及びカメラキャリブレーションシステムに関する。
　従来、ドライバーによる周囲確認を支援する目的で、車載カメラの普及が進められている。また、近年では、車両周囲に取り付けられた複数のカメラで撮像された各映像を視点変換し、その映像を合成して生成した車両周囲の俯瞰映像（車両を真上から見下ろしたような映像）をドライバーに提示するシステムの実用化が進められている。
　上記のように各カメラで撮像した映像を俯瞰視点に変換して合成映像を生成するためには、焦点距離やレンズ歪みなどの光学的特性や撮像素子サイズなどのカメラ固有の情報（内部パラメータ）、及び各カメラの取り付け位置や角度に関する情報（外部パラメータ）が必要になる。このような内部パラメータと外部パラメータを合わせたカメラパラメータを用いて、各カメラで撮像された映像の俯瞰視点変換を行い、その映像から得られた俯瞰映像を合成することで、俯瞰視点から撮影した映像を仮想的に生成することができる。
　ところで、各カメラは設計値に準じた位置や角度で車両に取り付けられるが、その際、必然的に誤差が生じる。このような誤差があるにも関わらず、設計値に基づいて俯瞰映像を生成した場合、必ずしも俯瞰視点から撮影した映像にはならず、誤差の分だけズレのある映像が生成される。特に、複数の映像を合成する場合、そのズレの影響が合成画像における各カメラの画像の境界領域に顕著に現れ、単一カメラの場合よりも見た目に与える影響は大きくなる。このような問題を解決するため、キャリブレーションあるいは校正と呼ばれる、カメラパラメータの設計値からの誤差の補正が行われる。
　このキャリブレーションは、極めて高精度に前記誤差を補正することが要求されるため、カメラの据え付け状態を機械的に調整する方法ではなく、現在の据え付け状態を撮影した映像から推定する方法が採用される。撮影した映像から据え付け状態を推定する方法としては、一般に、紙や板などに印字されたパターン（キャリブレーションチャート）を予め決められた位置に精密に設置して撮影し、実際に撮影された映像が、設計値どおりに製造・設置されたカメラで撮影した場合の映像と一致するようにカメラパラメータを修正する方法が採用され、その際には、カメラの取り付け状態そのものを調整するのではなく、カメラの取り付け位置や角度に関するプログラム中の数値を画像の変換を介して修正する方法が採用されている。
　ところで、車両の出荷時に工場の生産ラインなどでキャリブレーションを行う際には、人が誰も乗っていない空車状態、あるいは、運転席にドライバーが乗っている場合などの特定の積載状態を再現してキャリブレーションが実施される。したがって、空車状態、あるいは、特定の積載状態などといった、実際にキャリブレーションを行った状態と同じ状態では、映像にズレは生じない。
　しかしながら、実際にユーザーが車両を使用する際には、乗車する人数や座る場所、荷物の積載状態などが種々に変化する。そして、車両の積載状態が変化すると、車両の姿勢も変化し、それに伴って、地面に対するカメラの据え付け状態も変化する。すなわち、カメラパラメータが変化して誤差が生じることとなり、そのカメラパラメータの誤差によって、映像にズレが生じるといった問題があった。
　このような問題に対し、特許文献１、２には、車両の走行中にカメラパラメータを補正する技術が開示されている。
　特許文献１に開示されている車両用カメラのオンラインキャリブレーション方法は、少なくとも二つのカメラで路面の隣接部分を撮像し、画像フレーム内で長手方向の道路特徴を特定し、二つの画像フレーム間の単一のラインに一致するように二つのカメラで撮影された少なくとも二つの画像フレーム内で特定された長手方向の道路特徴を選択し、単一のラインの一致度を分析して二つの画像フレーム間のラインのオフセットを決定し、カメラのキャリブレーションのために決定されたラインのオフセットを適用する方法である。
　また、特許文献２に開示されている車両用カメラのオンラインキャリブレーション方法は、カメラで路面の一部を撮像し、画像フレーム内で長手方向の道路特徴を特定し、特定された長手方向の道路特徴に沿ってポイントを抽出すると共に、予め知られたカメラパラメータを考慮した透視マッピングによってその抽出ポイントを仮想道路平面に変換し、変換された抽出ポイントを車両に対して分析してそのポイントの車両に平行なラインからの偏差を決定し、カメラのオフセット補正を定義するために測定された偏差を用いる方法である。
国際公開第２０１２／１４３０３６号 国際公開第２０１２／１３９６６０号
　しかしながら、特許文献１に開示されている車両用カメラのオンラインキャリブレーション方法においては、長手方向の特徴量のみを使用してキャリブレーションを実現しようとしているため、特定の外部パラメータを正確に推定できないことが本発明者等による解析により確認されている。
　また、特許文献２に開示されている車両用カメラのオンラインキャリブレーション方法においては、白線に対する車両の平行性を利用してキャリブレーションを実現しようとしているため、当該車両が白線に対して平行な場合しかキャリブレーションを実施できないといった問題がある。また、白線に対する車両の平行性を担保するために、車両の速度がある速度（50km）以上である場合しかキャリブレーションが実施されないようになっており、例えば街中などの低速で走行する場合には、キャリブレーションを実施できないといった問題もある。
　本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、車両の積載状態が変化する状況下でもキャリブレーションを実施できると共に、例えば白線に対する車両の平行性を利用することなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することのできるカメラキャリブレーション装置及びカメラキャリブレーションシステムを提供することにある。
　上記する課題を解決するために、本発明に係るカメラキャリブレーション装置は、車両に搭載されて前記車両の周囲の環境を撮影する複数のカメラのキャリブレーションを実施するカメラキャリブレーション装置であって、前記カメラにより撮影した映像を取得する映像取得部と、前記映像から所定の特徴量を抽出する特徴抽出部と、前記所定の特徴量に基づいて前記車両の姿勢を推定する姿勢推定部と、過去に実施したキャリブレーションから得られる情報に基づいてカメラの地面に対する並進方向の位置を補正する並進補正部と、前記車両の姿勢と前記カメラの地面に対する並進方向の位置とに基づいて、カメラの地面に対する姿勢に関するカメラパラメータを算出するカメラパラメータ算出部と、を備えていることを特徴とする。
　また、本発明に係るカメラキャリブレーションシステムは、前記カメラキャリブレーション装置と、撮像する映像の一部が重畳もしくは隣接するように前記車両に搭載された前記複数のカメラと、前記カメラキャリブレーション装置から得られる各カメラのカメラパラメータを用いて前記複数のカメラで撮像された映像同士を補正して合成映像を生成する合成映像生成装置と、前記合成映像を表示する表示装置と、を備えていることを特徴とする。
　本発明によれば、車両の積載状態が変化する状況下でもキャリブレーションを実施できると共に、例えば白線に対する車両の平行性を利用することなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することができるため、あらゆる状況下で車両の積載状態に応じた高精度の俯瞰映像を生成することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係るカメラキャリブレーションシステムの実施形態の全体構成を示すシステム構成図。 製品出荷時及び使用時キャリブレーションを実施するまでの手順を説明したフロー図。 使用時キャリブレーションの実施前の俯瞰映像の一例を示す図。 使用時キャリブレーションの実施過程における俯瞰映像の一例を示す図。 使用時キャリブレーションの実施後の俯瞰映像の一例を示す図。 図１に示すカメラキャリブレーション装置の内部構成の一例を示す構成図。 図６に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図。 図１に示すカメラキャリブレーション装置の内部構成の他例を示す構成図。 図８に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図。 図１に示すカメラキャリブレーション装置の内部構成の更に他例を示す構成図。 図１０に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図。
　以下、本発明に係るカメラキャリブレーション装置及びカメラキャリブレーションシステムの実施形態を図面を参照して説明する。なお、以下では、４台のカメラを使用し、隣接する２台のカメラで撮像した映像の一部が重畳もしくは隣接する場合について説明するが、システム全体のカメラの台数や重畳もしくは隣接部分を撮像するカメラの台数は、使用者等の要請に応じて適宜変更することができる。
＜カメラキャリブレーションシステムの実施形態＞
　図１は、本発明に係るカメラキャリブレーションシステムの実施形態を具現化したシステム構成を示したものである。図示するカメラキャリブレーションシステム１００は、主に、４台のカメラ１１１～１１４と、演算装置１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、表示装置１０４と、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９とを備えている。
　各カメラ１１１～１１４は、車両１に搭載され、例えば当該車両１の前後左右に設置される。例えば、前後に設置されるカメラは、ナンバープレート付近の車体に取り付けられ、左右に設置されるカメラは、サイドミラーの下部などに取り付けられる。ここでは、カメラ１１１を車両１の前側、カメラ１１２を車両１の後ろ側、カメラ１１３を車両１の左側、カメラ１１４を車両１の右側に取り付けたものとする（図３参照）。各カメラ１１１～１１４は、地面と平行な水平面に対して平行から鉛直下方に向かう方向に光軸が向くように取り付けられる。各カメラ１１１～１１４は、事前に取り決めた既知の設計情報にしたがって取り付けられるが、実際には取り付け誤差が発生しており、この誤差は未知である。また、各カメラ１１１～１１４には、車両１の全周囲の映像を取得できるように、広角の魚眼カメラが採用される。魚眼カメラは広角の映像を取得するために、既知の歪み関数に基づいて画像を歪ませている。各カメラ１１１～１１４で撮影された４つの映像は、演算装置１０１に送信される。
　車速センサ１０５と舵角センサ１０６とヨーレートセンサ１０７は、それぞれ車速、舵角、ヨーレートを観測するセンサであり、各センサで観測されたセンサ情報は演算装置１０１に送信され、演算装置１０１における演算処理で利用される。
　入力装置１０８は、例えばスイッチやボタンなどといった、ユーザーの操作を受け付ける装置であり、キャリブレーション機能のオン／オフ、キャリブレーション結果の初期化、キャリブレーション方法の変更などに利用される。ユーザーの操作を介して当該入力装置１０８に入力された各種情報は、演算装置１０１に送信される。
　通信装置１０９は、不図示の外部機器との通信に使用される装置であり、演算装置１０１は、当該通信装置１０９を介して外部機器から各種情報を受信すると共に、演算装置１０１で演算された各種情報を外部機器へ送信する。
　ＲＡＭ１０２には、演算装置１０１における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数などが書き込まれる。また、書き込まれたデータは、演算装置１０１の演算処理過程で適宜必要に応じて読み出されて演算処理に使用される。また、ＲＡＭ１０２には、各カメラ１１１～１１４によって撮影された映像データなども格納される。
　ＲＯＭ１０３には、例えば、キャリブレーションを実行するプログラムや、プログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。例えば、各カメラの設置位置や角度の設計値（外部パラメータ）、各カメラの焦点距離、画素サイズ、光軸中心、歪み関数など（内部パラメータ）のカメラパラメータが格納される。
　演算装置１０１は、各カメラ１１１～１１４や車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、入力装置１０８、通信装置１０９などから送信される種々の情報を受け取って、プログラムなどに基づき計算処理を実施する装置である。演算装置１０１は、例えば、各カメラ１１１～１１４から入力された映像を視点変換・合成し、上方から地面を見下ろしたような映像（俯瞰映像）を生成する計算処理を実施する。詳細には、魚眼カメラからなる各カメラ１１１～１１４で撮影された映像について、ＲＯＭ１０３などに事前に格納された既知の歪み関数を用いて映像の歪みを除去した映像を生成し、歪みを除去した各映像を、ＲＯＭ１０３などに事前に格納された既知のカメラ取り付けに関する設計値などに基づいて、俯瞰視点から見た映像に視点変換・合成する（合成映像生成装置１１５）。このような視点変換・合成処理は、公知のカメラの幾何変換式を使って、俯瞰視点映像の特定の画素とそれに対応する各カメラ１１１～１１４の特定の画素を計算し、その画素の輝度値を俯瞰視点映像の画素に割り当てることによって実現できる。対応する画素が小数点を含み、該当する画素がない場合は、公知の輝度の補間処理によって周辺画素の中間輝度を割り当てる処理が行われる。また、演算装置１０１は、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、通信装置１０９の出力結果を用いて演算処理を実行したり、入力装置１０８の入力結果に従って動作プログラムの切り替え処理を実行する。
　また、演算装置１０１には、視点変換・合成されて生成された俯瞰映像が車両１を真上から見下ろした映像となるように、カメラのキャリブレーション（校正処理）を実施するカメラキャリブレーション装置１１６が内蔵されている。
　表示装置１０４は、演算装置１０１の処理結果を受け取り、ディスプレイなどを用いてその処理結果をユーザーに提示する。例えば、ドライバーに対して各カメラ１１１～１１４の４つの映像を視点変換・合成して生成した俯瞰映像を表示する。また、表示装置１０４は、車両１の後方を撮影するカメラ１１２の映像だけを表示するなど、演算装置１０１の出力に従って表示内容を切り替えることもできる。
　図２は、製品出荷時及び使用時キャリブレーションを実施するまでの手順を説明したフロー図である。図示するように、製品出荷時のキャリブレーションＳ２０５は、例えば、カメラ取り付けＳ２０１、乗車状態再現Ｓ２０２、位置調整Ｓ２０３、キャリブレーションチャート撮影Ｓ２０４の後に実施される。
　カメラ取り付けＳ２０１では、各カメラ１１１～１１４を車体へ取り付け、乗車状態再現Ｓ２０２では、車両１に搭乗者が乗っている状態を再現する。例えば、運転席に体重６０キロのドライバーが実際に乗ったり、それに相当する荷物を搭載するなどして、実際に発生する乗車状態を再現する。この乗車状態再現Ｓ２０２を実施する理由は、乗車状態によって車両１の姿勢が変化し、それに伴って地面に対するカメラ１１１～１１４の角度などが変動するからである。カメラ１１１～１１４の角度や位置が、設計した取り付け状態と異なる場合、合成映像における各カメラで撮影された映像同士の境界（以下、画像境界という）にズレが発生するため、この変動した角度等を考慮したうえでキャリブレーションを実施する必要があるので、この乗車状態再現Ｓ２０２によって、それに対応したカメラ取り付け状態を再現する。
　位置調整Ｓ２０３では、車両１とキャリブレーションチャートが予め定められた位置関係になるように調整する。一般的なキャリブレーションでは、キャリブレーションチャートとカメラの位置関係を規定の位置関係に定めたうえでキャリブレーションを実施する。
　キャリブレーションチャート撮影Ｓ２０４では、車両１に取り付けられたカメラ１１１～１１４で、キャリブレーションチャートを撮影する。
　そして、製品出荷時のキャリブレーションＳ２０５では、各カメラ１１１～１１４で撮影された映像を使ってキャリブレーションを実施する。その際、例えば、公知の技術によってキャリブレーションを実施する。すなわち、設計通りにカメラ１１１～１１４が取り付けられており、かつ規定の位置にキャリブレーションチャートが設置されている場合に、キャリブレーションチャートが映るべき位置を計算し、実際に撮影した映像中のキャリブレーションチャートがその映るべき位置に映るように、プログラム中の画像変換に使用しているカメラパラメータを調整する。このキャリブレーションＳ２０５に関しては、例えば、公知の技術である、キャリブレーションチャートと車両１の位置関係が不定でもキャリブレーションを実施できる技術を利用してもよく、この場合には、位置調整Ｓ２０３の手続きが不要になる。
　ところで、このような手順でキャリブレーションを実施する場合、乗車状態再現Ｓ２０２で実施しているように、特定の乗車状態を想定した上でキャリブレーションを実施していることになり、乗車状態が製品出荷時に実施するキャリブレーション時と異なれば、俯瞰映像における映像境界にズレが生じる。したがって、特定の乗車状態でキャリブレーションを実施するだけでは不十分であり、例えば乗車状態に応じて、その都度キャリブレーションを実施する必要がある。そこで、製品出荷された後における走行中や駐停車中などを含む使用時にも、その際の乗車状態に応じたキャリブレーションを実施する。すなわち、図２に示すように、製品出荷時のキャリブレーションＳ２０５を実施した後、使用時のキャリブレーションＳ２０６を実施する。
　使用時のキャリブレーションＳ２０６では、上記した問題に対応するために、演算装置１０１に内蔵されたカメラキャリブレーション装置１１６により、走行中や駐停車中などの車両１の使用時に各カメラ１１１～１１４で撮影できる周囲環境の情報を用いて、乗車状態に応じたその都度のキャリブレーションを実施する。本実施形態は、例えば図２に示す手順により、工場などで一度キャリブレーションが実施された状態を前提とするものの、白線に対する車両の平行性、すなわち白線と車両の相対的な関係を必要とせずに、全てのカメラ１１１～１１４に対するカメラパラメータを推定できる方式を実現するものである。通常、カメラにより撮影される映像の品質確認等を兼ねて、工場出荷時にはキャリブレーションが実施されるため、制約条件として、一度キャリブレーションが実施されたことを前提としても、得られるメリットは大きいと考えられる。
　図３～図５を参照して、上記したカメラキャリブレーション装置１１６による使用時のキャリブレーションＳ２０６を概説する。
　図３は、使用時キャリブレーションの実施前の俯瞰映像の一例を示したものであり、図２のＳ２０１～Ｓ２０５の処理などによる工場での製品出荷時キャリブレーションを実施した後、使用時の車両の積載状態が、製品出荷時キャリブレーションにおいて想定した積載状態から変化したときの俯瞰映像の一例を示したものである。図３に示すように、この俯瞰映像には、道路の白線が表示されているが、車両１の積載状態が事前に想定された積載状態と異なるため、地面に対する各カメラ１１１～１１４の姿勢（角度や位置）が変化しており、各カメラ１１１～１１４の映像境界において、白線にズレが生じている。
　そこで、使用時キャリブレーションでは、このような状況において、俯瞰映像を補正して白線等のズレがなくなるように、キャリブレーションを実施する。本実施形態では、できるだけ多くのシーンでキャリブレーションを実施でき、かつ安定したキャリブレーションを実施するために、例えば白線などの長手方向の直線的特徴量（直線状を有する特徴量）を撮影した映像を用いてキャリブレーションを実施する。その際、図３に示すように、車両１の両側に直線的構造物（直線的特徴量、図示例では白線）が撮影されており、少なくとも、カメラ１１１に２本、カメラ１１２に２本、カメラ１１３に１本、カメラ１１４に１本の直線的構造物が撮影されている必要があり、また、カメラ１１１およびカメラ１１２に映る２本の直線的構造物はそれぞれ互いに平行である必要があるが、車両１と直線的構造物の相対的な角度や直線的構造物までの距離などといった、車両１と直線的構造物の相対的な関係は不要である。
　より詳細には、この使用時キャリブレーションでは、カメラ１１１～１１４のパラメータを直接推定せず、車両１の姿勢、すなわち車両１の姿勢を表すパラメータを推定し、車両１の姿勢を表すパラメータから各カメラ１１１～１１４のカメラパラメータを推定して上記キャリブレーションを実施する。車両１の姿勢を推定するステップは、車両１のピッチ角を推定するステップと、車両１のロール角・高さを同時に推定するステップとに分かれている。車両１のピッチ角を推定するステップでは、車両１の前後に設置されたカメラ１１１およびカメラ１１２で撮影された平行な直線の平行性に基づいて車両１のピッチ角の推定を行う。車両１のピッチ角を推定してカメラパラメータの補正を実施すると、図４で示すような俯瞰映像が得られる。ここでは、カメラ１１１およびカメラ１１２に映る平行な直線が俯瞰映像上で平行になるようにカメラパラメータが補正される。その後、車両１のロール角・高さを同時に推定するステップでは、俯瞰映像の映像境界における直線のズレがなくなるように、車両１のロール角および高さを推定する。このように車両１のロール角および高さを推定してカメラパラメータの補正を実施し、車両姿勢の変動に伴った全カメラのカメラパラメータを推定してキャリブレーションを実施した結果、図５に示すように、映像境界においてズレのない俯瞰映像が得られる。
＜カメラキャリブレーション装置の実施形態１＞
　図６は、図１に示すカメラキャリブレーション装置の内部構成の一例（実施形態１）を示したものであり、上記した使用時キャリブレーションを具現化し得るカメラキャリブレーション装置の内部構成を示したものである。また、図７は、図６に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図である。なお、図６に示すカメラキャリブレーション装置によるキャリブレーション処理は、ＲＯＭ１０３に予め格納されたプログラムがロードされて実施される。
　図６に示すカメラキャリブレーション装置１１６は、主に、キャリブレーション実施判定部２０１と、映像取得部２０２と、特徴抽出部２０３と、キャリブレーション部２０４と、を備えている。
　カメラキャリブレーション装置１１６のキャリブレーション実施判定部２０１は、カメラのキャリブレーションの実施が必要であるか否かを判定する（図７のＳ７０１）。例えば、各カメラ１１１～１１４で撮影された俯瞰映像を構成する４つの映像の全てに白線が映っているシーンに関し、俯瞰映像の各映像境界において白線にズレが発生しているか否かを判定することで、カメラのキャリブレーションの実施が必要か否かを自動的に判定する。ここで、白線にズレが発生しているか否かは、例えば、映像から白線を公知の技術を用いて認識し、その映像中での位置を算出し、予め指定した映像境界位置における位置のズレ量を測定し、そのズレ量が予め指定した閾値を超えているか否かで判定することができる。また、例えばジャイロセンサなどといった車両の姿勢変化を直接推定するセンサを用いて、車両への積載状況が変化したことを検知することで、キャリブレーションの実施が必要か否かを判定するなどの方法を用いてもよい。また、後述する特徴抽出部２０３により抽出された直線的特徴量（例えばＲＡＭ１０２に一時的に格納された、破線を含む白線、縁石、道路端境界などに関する情報）などを利用し、俯瞰映像の各映像境界における直線的特徴量のズレ量と共に、映像中の車両の両側（周囲）にある互いに平行な直線的特徴量の平行性を用いて、カメラのキャリブレーションの実施が必要か否かを判定するなどの方法を用いてもよい。
　キャリブレーション実施判定部２０１によりカメラのキャリブレーションの実施が必要であると判断された場合、映像取得部２０２は、車両１に取り付けられた４つのカメラ１１１～１１４で撮影された映像をＲＡＭ１０２から取得する（図７のＳ７０２）。なお、各カメラ１１１～１１４で撮影された映像に同期ズレがあると、それがキャリブレーションの誤差としてあらわれるため、ＲＡＭ１０２には、各カメラ１１１～１１４で撮影された映像が完全に同期して保存されるか、あるいは、映像のズレ時間を取得できるかの仕組みがあることが望ましい。なお、映像取得部２０２は、各カメラ１１１～１１４から直接映像を取得してもよい。
　特徴抽出部２０３は、映像取得部２０２で取得された各カメラ１１１～１１４で撮影された映像において、キャリブレーションに用いる所定の特徴量、特に長手方向（すなわち、車両の前後方向）の直線的特徴量（例えば、破線を含む白線、縁石、道路端境界など）を抽出する（図７のＳ７０３）。この直線的特徴量は、例えば、各カメラ１１１～１１４において、設計された歪み関数を用いて魚眼カメラの歪みを除去した映像を生成し、その映像において公知のエッジ抽出を実施し、エッジ特徴点に関して公知のハフ変換を用いる手法などによって抽出できる。
　キャリブレーション部２０４は、特徴抽出部２０３で得られた特徴量などを利用してカメラのキャリブレーションを実施する。このキャリブレーション部２０４でのキャリブレーション処理は、工場などで一度キャリブレーションが実施された状態を前提とするものの、長手方向の特徴量に対する車両の平行性、すなわち長手方向の特徴量と車両の相対的な関係は必要とせず、長手方向の特徴量のみで全てのカメラパラメータを推定できる。このキャリブレーション処理では、各カメラ１１１～１１４におけるカメラパラメータを直接推定するのではなく、車両１の姿勢を推定し、その車両１の姿勢を介して全てのカメラパラメータを推定する。各カメラは剛体である車体に取り付けられているため、車体の姿勢変化が発生した場合には、それに連動して各カメラの角度や位置も変動する。例えば、車両１の前側の座席に乗員が乗り、車両１の前側が沈み込めば、車両１の前側に取り付けられたカメラ１１１の角度は下向きになり、車両１の後ろ側に取り付けられたカメラ１１２は同じ量の角度だけ上向きになる。車両１の右側の座席に乗員が乗り、車両１の右側が沈み込めば、車両１の右側に取り付けられたカメラ１１４の角度は下向きになり、車両１の左側に取り付けられたカメラ１１３の角度は同じ量だけ上向きになる。また、その際には、車両１の前側に取り付けられたカメラ１１１と車両１の後ろ側に取り付けられたカメラ１１２は光軸に対してやや右側に回転する。このように、各カメラ１１１～１１４の変動は車体姿勢の変動に連動する。また、車体姿勢の変動に対して、これらのカメラ１１１～１１４の変動は一意に決定されることとなる。このような各カメラ１１１～１１４の車体への連動性を考慮しつつカメラパラメータを推定するために、このキャリブレーション部２０４でのキャリブレーション処理では、各カメラ１１１～１１４のカメラパラメータを個別に推定するのではなく、車両１の姿勢の推定を実施し、推定された車両１の姿勢から各カメラパラメータを計算する。
　より詳細には、映像中の長手方向の直線のみを用いてキャリブレーションを実施する場合、各カメラ１１１～１１４個別でカメラパラメータを推定すると、推定不可能なパラメータがある。例えば、仮に車両１と直線の平行性を用いてキャリブレーションを実施する場合、車両１の前側に取り付けられたカメラ１１１のロール角は、映像中の白線が完全に縦向きになるように補正すれば求めることができる。また、車両１の前側に取り付けられたカメラ１１１のピッチ角も、直線が複数本撮影されていれば、それらはともに車両１に対して平行であり、且つ直線同士も平行であるため、その直線の平行性を満たすように補正することで推定できる。しかしながら、車両１の前側に取り付けられたカメラ１１１のヨー角については、ヨー角を変動させても直線の平行性や映像中の直線の角度が変動しないため、補正するための特徴が不足しており、一意に決定することができない。そのため、カメラパラメータを推定することができず、完全にズレのない俯瞰映像を生成することができない。
　それに対し、走行中などの使用中の車両１の姿勢推定を介してキャリブレーションを実施する場合には、長手方向の直線と車両の相対的な関係がない場合でも、長手方向の直線のみを用いて全てのカメラパラメータを推定できる。あるカメラパラメータを推定するためには、そのカメラパラメータの変動に対して、何らかの観測可能な変化があらわれなければならないが、車両姿勢のパラメータが変動する場合には、観測可能な長手方向の直線に変化があらわれる。具体的には、車両１のピッチ角が変動した場合、俯瞰映像における長手方向の直線の平行性が変化する。また、車両１のロール角が変動した場合、俯瞰映像の映像境界に長手方向の直線のズレが発生する。また、車両１の高さが変動した場合、車両１のロール角が変動する場合とは異なる長手方向の直線のズレが俯瞰映像の映像境界にて発生する。したがって、映像中の長手方向の直線のみで車両姿勢のパラメータを推定でき、車両姿勢が決まれば、車両１に取り付けられた各カメラ１１１～１１４の位置や角度を計算できるため、映像中の長手方向の直線のみで全てのカメラパラメータを推定できる。
　ただし、このキャリブレーション処理は、工場出荷時などにキャリブレーションが予め実施されている必要がある。工場出荷時にキャリブレーションが完了している場合、そのキャリブレーション時に想定した積載状態においては俯瞰映像にズレがない状態となっている。俯瞰映像におけるズレは、車両１の積載状態の変化に伴う車両姿勢の変動が原因で発生したものであるため、その車両姿勢の変動に伴うカメラ姿勢の変動をキャンセルすれば、元のズレがない俯瞰映像に戻すことができる。したがって、車両姿勢を推定し、その変動に伴うカメラの角度や位置を計算することで、ズレのない俯瞰映像を生成することができる。逆に言えば、キャリブレーションが予め実施されていない場合には、車両姿勢の変動分のカメラ角度や位置の補正を実施しても、初期の未キャリブレーション状態に戻るだけであって、映像のズレは残されたままとなるため、ズレのない俯瞰映像を生成することができない。そのため、このキャリブレーション処理では、事前にキャリブレーションが実施されている必要がある。
　具体的には、キャリブレーション部２０４は、姿勢推定部３０１と並進補正部３０４とカメラパラメータ算出部３０５とを有し、姿勢推定部３０１は、ピッチ角推定３０２とロール角・高さ・回転中心推定部３０３とから構成されている。
　姿勢推定部３０１のピッチ角推定３０２は、例えば、車両１の前後に取り付けられたカメラ１１１、１１２で撮影された映像における長手方向の直線（直線的特徴量）の平行性を用いて、車両１のピッチ角推定を実施する（図７のＳ７０４）。道路に描かれている白線、または、白線と道路端境界などといった平行な直線が走行中に撮影された場合、この平行な直線は、理想的な俯瞰視点映像においては、平行に表示されるはずである。しかし、車両１のピッチ角の変動がある場合、俯瞰視点映像においてこの平行な直線は「ハの字」状に表示され、平行ではなくなる。カメラ１１１、１１２を俯瞰視点に変換した場合に、その直線が平行になるように、車両１のピッチ角を推定する。詳細には、カメラ１１１、１１２のそれぞれにおける直線方程式の平行性に基づいて、例えば直線ベクトルの内積を評価関数とし、その内積がカメラ１１１、１１２ともにできるだけ１に近い値になるように、車両１のピッチ角の最適化を実施する。ここで使用される直線（直線的特徴量）については、上記した特徴抽出部２０３で得られている。なお、上記最適化は、最急降下法などの公知の技術を用いれば実現できる。すなわち、例えば、車両１のピッチ角に関する評価関数を求め、評価関数が目的の値に近づくように、車両１のピッチ角を微小変化させる処理を繰り返し実施すればよい。
　姿勢推定部３０１のロール角・高さ・回転中心推定部３０３は、俯瞰映像の映像境界にあらわれている長手方向の直線（直線的特徴量）のズレがなくなるように、車両１のロール角、車両１の高さ、車両１の回転中心を推定する（図７のＳ７０５）。ここで、車両１のピッチ角については、ピッチ角推定部３０２で得られたピッチ角に固定する。詳細には、俯瞰映像の映像境界にあらわれている長手方向の直線のズレを表す評価関数を設計し、その評価関数が最小となるように、車両１のロール角、車両１の高さ、車両１の回転中心に関する各パラメータを最適化する。ここで、評価関数は、例えば、俯瞰映像の映像境界における直線のズレを、カメラ１１１とカメラ１１３の映像境界、カメラ１１１とカメラ１１４の映像境界、カメラ１１２とカメラ１１３の映像境界、カメラ１１２とカメラ１１４の映像境界でそれぞれ算出し、それらの総和をとったものとする。ここで使用される直線（直線的特徴量）については、上記した特徴抽出部２０３で得られている。なお、上記最適化は、公知の技術を用いて実施されるが、推定するパラメータが複数あるため、最急降下法などのような勾配法に基づくものではなく、大域的最適化法を選択することが望ましい。車両１のロール角、車両１の高さ、車両１の回転中心を微小変化させる処理を、俯瞰映像の映像境界における直線のズレを表す評価関数が最小化されるように繰り返し実施する。なお、ここでは、車両１の回転中心によって、各カメラパラメータが異なることを考慮し、車両１の回転中心も含めて最適化を実施する。
　並進補正部３０４は、過去に実施したキャリブレーションから得られる情報などに基づいて、地面に対する車両１の並進（地面に対して平行な方向への移動）に相当するパラメータ（並進パラメータ）、すなわちカメラの高さを除く並進方向の位置（平面視における位置）を補正する（図７のＳ７０６）。ここでは、地面とカメラの絶対的な距離を示す情報を測定していないために、地面に対するカメラの位置を推定することはできないが、実際に生じ得る車体姿勢の変動の範囲では、カメラの並進方向のズレは極めて小さいため、例えばＲＯＭ１０３等に保存された製品出荷時キャリブレーションを実施した際の値を利用する。カメラ同士の相対的な位置は、ロール角・高さ・回転中心推定部３０３によって得られているため、基準となるカメラ（基準カメラ）を一つ選定し（例えばカメラ１１１）、カメラ１１１の製品出荷時キャリブレーションの値と現在の値の並進方向の誤差分をキャンセルするように、カメラ１１１～１１４の全ての位置を並進補正する。
　カメラパラメータ算出部３０５は、姿勢推定部３０１で得られた車両１の姿勢と並進補正部３０４で得られたパラメータから、その車両１の姿勢に対応した各カメラ１１１～１１４の姿勢に関するカメラパラメータを算出する（図７のＳ７０７）。なお、座標変換によって、対応する各カメラ１１１～１１４のカメラパラメータを一意に計算できる。
　このような構成とすることで、長手方向の特徴量に対する車両の平行性、すなわち長手方向の特徴量と車両の相対的な関係を必要とせず、長手方向の特徴量のみで、全てのカメラのカメラパラメータを精緻に推定でき、そのカメラパラメータを用いて車両の積載状態に応じた高精度の俯瞰映像を生成することができる。
＜カメラキャリブレーション装置の実施形態２＞
　ところで、上記した使用時キャリブレーションを実施する際には、例えば、映像から長手方向の直線的特徴量を確実に抽出するために、当該車両が直線路を走行している状態（定常走行状態）で実施することが好ましい。
　図８は、図１に示すカメラキャリブレーション装置の内部構成の他例（実施形態２）を示したものである。また、図９は、図８に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図である。図８に示す形態のカメラキャリブレーション装置１１６Ａは、図６に示すカメラキャリブレーション装置１１６に対して、主にセンサ情報取得部と定常走行判定部とデータ利用可否判定部を追加した点が相違しており、その他の構成はほぼ同様である。したがって、以下では、図６に示すカメラキャリブレーション装置１１６と異なる構成のみを詳述し、カメラキャリブレーション装置１１６と同様の構成には同様の符号を付してその詳細な説明は省略する。
　図８に示すカメラキャリブレーション装置１１６Ａは、主に、キャリブレーション実施判定部２０１Ａと、映像取得部２０２Ａと、特徴抽出部２０３Ａと、キャリブレーション部２０４Ａと、を備えると共に、センサ情報取得部２０５Ａと、定常走行状態判定部２０６Ａと、データ利用可否判定部２０７Ａと、を備えている。
　キャリブレーション実施判定部２０１Ａが、カメラのキャリブレーションの実施が必要であるか否かを判定し（図９のＳ９０１）、カメラのキャリブレーションの実施が必要であると判断された場合、映像取得部２０２Ａが、車両１に取り付けられた４つのカメラ１１１～１１４で撮影された映像をＲＡＭ１０２から取得する（図９のＳ９０２）。それと共に、センサ情報取得部２０５Ａは、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７などの各種センサのセンサ情報を取得する（図９のＳ９０３）。ここで、これらのセンサ情報は、映像と同期して取得されることが望ましい。なお、図９に示すＳ９０２とＳ９０３は、同時に実施してもよいし、Ｓ９０３の後にＳ９０２を実施してもよい。
　定常走行状態判定部２０６Ａは、車両が定常走行状態であるか否かを判定する（図９のＳ９０４）。ここで、定常走行状態とは、加減速や旋回による車両姿勢の変化がなく、直線路を走行している状態である。加減速や旋回による車両姿勢の変化がなく、直線路を走行していることを判定する理由は、車両姿勢が異なる際の映像は、カメラパラメータがそれぞれ異なり、キャリブレーション実施時の特徴量として同時に利用することはできないためであり、また、車両姿勢推定等に用いる特徴量として長手方向の直線的特徴量（例えば、破線を含む白線、縁石、道路端境界など）を用いるので、カーブ走行中などのキャリブレーションに必要な情報がとれないシーンの映像を除外するためである。加減速や旋回による車両姿勢の変化がないことのうち、例えば、加減速がないことは、車速センサ１０５から取得した情報に基づき、一定車速が一定時間続いていることなどから判定することができる。旋回による変化がないことは、例えば、ヨーレートセンサ１０７から取得した情報の絶対値が０に近い予め定めた一定の閾値よりも小さいことなどから判定することができる。また、一定以上の速度で舵角（舵角センサ１０６から取得した情報）が０に近い予め定めた一定の閾値よりも小さい値をとる場合には、ドライバーの操作状況から直線を走行しているとみなすこともできる。
　定常走行状態判定部２０６Ａにより車両が定常走行状態であると判定された場合、特徴抽出部２０３Ａは、各カメラ１１１～１１４で撮影された映像からキャリブレーションに用いる所定の特徴量を抽出する（図９のＳ９０５）。一方、車両が定常走行状態でないと判定された場合には、各カメラ１１１～１１４で撮影された映像はキャリブレーションに用いることができないために棄却し、次のシーンの映像や各種センサのセンサ情報を取得する。
　データ利用可否判定部２０７Ａは、各カメラ１１１～１１４で撮影された映像にキャリブレーションに利用可能な平行な白線（直線的特徴量）が映っているか否かを判定する（図９のＳ９０６）。詳細には、データ利用可否判定部２０７Ａは、カメラ１１１～１１４に映っている白線（直線的特徴量）を画像認識し、特徴抽出部２０３Ａにより抽出した特徴量が直線状に並んでいること、及び、過去に撮影した映像と現時点で撮影された白線の映り方の差分が小さいことの双方を満たすか否かを判定する。特徴抽出部２０３Ａにより抽出した特徴量が直線状に並んでいるか否かは、その白線の直線度を測定することで判定することができる。たとえば、白線の各エッジ点を直線フィッティングし、フィッティング誤差が予め定めたある一定の値以下である場合には、直線であるとみなすことができ、フィッティング誤差が予め定めたある一定の値よりも大きい場合には、直線ではないとみなすことができる。また、過去に撮影した映像と現時点で撮影された白線の映り方の差分が小さいか否かは、たとえば、車両ピッチ角推定処理と同様に白線が平行になる角度を算出し、過去に算出された角度の平均値からの角度誤差が予め定めたある一定の値以下である場合には、差分が小さいとみなすことができ、角度誤差が予め定めたある一定の値よりも大きい場合には、差分が大きいとみなすことができる。
　データ利用可否判定部２０７Ａによりデータ利用可能であると判定された場合、キャリブレーション部２０４Ａは、上記と同様、特徴抽出部２０３Ａで得られた特徴量などを利用して、各カメラの各カメラパラメータを算出してキャリブレーションを実施する（図９のＳ９０７～Ｓ９１０）。一方、データ利用不可であると判定された場合には、各カメラ１１１～１１４で撮影された映像はキャリブレーションに用いることができないために棄却し、次のシーンの映像や各種センサのセンサ情報を取得する。
　このような構成とすることで、長手方向の特徴量に対する車両の平行性、すなわち長手方向の特徴量と車両の相対的な関係を必要とせず、長手方向の特徴量のみで、全てのカメラのカメラパラメータをより精緻に且つ効率的に推定でき、そのカメラパラメータを用いて車両の積載状態に応じたより高精度の俯瞰映像を生成することができる。
＜カメラキャリブレーション装置の実施形態３＞
　また、上記した使用時キャリブレーションを実施する際には、同じ位置で撮影された直線的特徴量はデータとして意味がないため、映像中における違う位置で撮影された直線的特徴量が複数集められたことを確認した上で実施することが好ましい。
　図１０は、図１に示すカメラキャリブレーション装置の内部構成の更に他例（実施形態３）を示したものである。また、図１１は、図１０に示すカメラキャリブレーション装置によるキャリブレーション処理を説明したフロー図である。図１０に示す形態のカメラキャリブレーション装置１１６Ｂは、図８に示すカメラキャリブレーション装置１１６Ａに対して、主にデータ蓄積判定部を追加した点が相違しており、その他の構成はほぼ同様である。したがって、以下では、図８に示すカメラキャリブレーション装置１１６Ａと異なる構成のみを詳述し、カメラキャリブレーション装置１１６Ａと同様の構成には同様の符号を付してその詳細な説明は省略する。
　図１０に示すカメラキャリブレーション装置１１６Ｂは、主に、キャリブレーション実施判定部２０１Ｂと、映像取得部２０２Ｂと、特徴抽出部２０３Ｂと、キャリブレーション部２０４Ｂと、センサ情報取得部２０５Ｂと、定常走行状態判定部２０６Ｂと、データ利用可否判定部２０７Ｂと、を備えると共に、データ蓄積判定部２０８Ｂを備えている。
　キャリブレーション実施判定部２０１Ｂが、カメラのキャリブレーションの実施が必要であるか否かを判定し（図１１のＳ１１０１）、カメラのキャリブレーションの実施が必要であると判断された場合、映像取得部２０２Ｂが、車両１に取り付けられた４つのカメラ１１１～１１４で撮影された映像をＲＡＭ１０２から取得する（図１１のＳ１１０２）と共に、センサ情報取得部２０５Ｂが、各種センサのセンサ情報を取得する（図１１のＳ１１０３）。
　定常走行状態判定部２０６Ｂは、センサ情報取得部２０５Ｂで得られたセンサ情報等に基づいて、車両が定常走行状態であるか否かを判定し（図１１のＳ１１０４）、車両が定常走行状態であると判定された場合、特徴抽出部２０３Ｂは、各カメラ１１１～１１４で撮影された映像からキャリブレーションに用いる所定の特徴量を抽出する（図１１のＳ１１０５）。また、データ利用可否判定部２０７Ｂは、特徴抽出部２０３Ｂにより抽出された抽出データ等に基づいて、その抽出データがキャリブレーションに利用可能であるか否かを判定し（図１１のＳ１１０６）、データ利用可能であると判定された場合、その抽出データをデータ蓄積部としてのＲＡＭ１０２などに保存・蓄積していく（図１１のＳ１１０７）。例えば、特徴抽出部２０３Ｂは、当該特徴抽出部２０３Ｂで得られた直線を表す方程式の係数を保存する。
　データ蓄積判定部２０８Ｂは、キャリブレーションに必要な十分の量のデータが蓄積されてデータ蓄積が完了したか否かを判定する（図１１のＳ１１０８）。車両１に取付けられたカメラ１１１～１１４のそれぞれについて、同じ位置に撮影された直線的特徴量（例えば、破線を含む白線、縁石、道路端境界など）はデータとして意味がないため、違う位置（車両１の周囲の前後左右等）に撮影された直線的特徴量を複数集める必要がある。そこで、データ蓄積判定部２０８Ｂは、例えば、カメラ１１１～１１４のそれぞれについて、予め幾つかの領域を設定しておき、その各領域を通る直線データが全領域について万遍無く得られたか否かを判断して、キャリブレーションに必要な量のデータが蓄積されたか否かを判定する。
　データ蓄積判定部２０８Ｂによりキャリブレーションに必要な量のデータが蓄積されたと判定された場合、キャリブレーション部２０４Ｂは、データ蓄積部としてのＲＡＭ１０２などに蓄積された特徴量などを利用して、各カメラの各カメラパラメータを算出してキャリブレーションを実施する（図１１のＳ１１０９～Ｓ１１１２）。
　このような構成とすることで、長手方向の特徴量に対する車両の平行性、すなわち長手方向の特徴量と車両の相対的な関係を必要とせず、長手方向の特徴量のみで、全てのカメラのカメラパラメータを更に精緻に且つ効率的に推定でき、そのカメラパラメータを用いて車両の積載状態に応じた更に高精度の俯瞰映像を生成することができる。
　このように、本実施形態によれば、映像から抽出される所定の特徴量、特に直線的特徴量に基づいて車両の姿勢を推定し、製品出荷時などの過去に実施したキャリブレーションから得られる情報に基づいてカメラの地面に対する並進方向の位置を補正し、その車両の姿勢とカメラの地面に対する並進方向の位置とに基づいて、カメラの地面に対する姿勢に関するカメラパラメータを算出することにより、車両の積載状態が変化する状況下でもキャリブレーションを実施できると共に、例えば白線に対する車両の平行性を利用するといった制約を設けることなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することができるため、あらゆる状況下で車両の積載状態に応じた高精度の俯瞰映像を生成することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１　　　　車両
１００　　カメラキャリブレーションシステム
１０１　　演算装置
１０２　　ＲＡＭ（データ蓄積部）
１０３　　ＲＯＭ
１０４　　表示装置
１０５　　車速センサ
１０６　　舵角センサ
１０７　　ヨーレートセンサ
１０８　　入力装置
１０９　　通信装置
１１１～１１４　カメラ
１１５　　合成映像生成装置
１１６　　カメラキャリブレーション装置
２０１　　キャリブレーション実施判定部
２０２　　映像取得部
２０３　　特徴抽出部
２０４　　キャリブレーション部
２０５Ａ　センサ情報取得部
２０６Ａ　定常走行状態判定部
２０７Ａ　データ利用可否判定部
２０８Ｂ　データ蓄積判定部
３０１　　姿勢推定部
３０２　　ピッチ角推定部
３０３　　ロール角・高さ・回転中心推定部
３０４　　並進推定部
３０５　　カメラパラメータ算出部

Claims (13)

  1. 　車両に搭載されて前記車両の周囲の環境を撮影する複数のカメラのキャリブレーションを実施するカメラキャリブレーション装置であって、
    　前記カメラにより撮影した映像を取得する映像取得部と、
    　前記映像から所定の特徴量を抽出する特徴抽出部と、
    　前記所定の特徴量に基づいて前記車両の姿勢を推定する姿勢推定部と、
    　過去に実施したキャリブレーションから得られる情報に基づいてカメラの地面に対する並進方向の位置を補正する並進補正部と、
    　前記車両の姿勢と前記カメラの地面に対する並進方向の位置とに基づいて、カメラの地面に対する姿勢に関するカメラパラメータを算出するカメラパラメータ算出部と、を備えていることを特徴とするカメラキャリブレーション装置。
  2. 　前記並進補正部は、前記複数のカメラから選択される基準カメラの地面に対する並進方向の位置と前記車両の姿勢とに基づいて、各カメラの地面に対する並進方向の位置を補正することを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  3. 　前記姿勢推定部は、前記所定の特徴量に基づいて前記車両のピッチ角を推定するピッチ角推定部と、前記所定の特徴量に基づいて前記車両のロール角と高さと回転中心とを推定するロール角・高さ・回転中心推定部と、を有することを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  4. 　前記特徴抽出部は、前記映像から直線状を有する直線的特徴量を抽出すると共に、
    　前記姿勢推定部は、前記映像中の前記車両の周囲にある互いに平行な直線的特徴量の平行性と、前記映像から生成される合成映像における各カメラで撮像された映像の境界でのズレ量と、に基づいて前記車両の姿勢を推定することを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  5. 　前記カメラキャリブレーション装置は、キャリブレーションを実施するか否かを判定するキャリブレーション実施判定部を更に備えていることを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  6. 　前記特徴抽出部は、前記映像から直線状を有する直線的特徴量を抽出すると共に、
    　前記キャリブレーション実施判定部は、前記映像中の前記車両の周囲にある互いに平行な直線的特徴量の平行性と、前記映像から生成される合成映像における各カメラで撮像された映像の境界でのズレ量と、に基づいてキャリブレーションを実施するか否かを判定することを特徴とする、請求項５に記載のカメラキャリブレーション装置。
  7. 　前記カメラキャリブレーション装置は、前記車両の速度、舵角、及びヨーレートから選択される少なくとも一つに基づいて、前記車両が定常走行状態であるか否かを判定する定常走行状態判定部を更に備えていることを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  8. 　前記カメラキャリブレーション装置は、前記映像にキャリブレーションに利用可能な特徴量が映っているか否かを判定するデータ利用可否判定部を更に備えていることを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  9. 　前記データ利用可否判定部は、前記特徴抽出部により前記映像から抽出された直線状の直線的特徴量に基づいて、前記映像にキャリブレーションに利用可能な特徴量が映っているか否かを判定することを特徴とする、請求項８に記載のカメラキャリブレーション装置。
  10. 　前記カメラキャリブレーション装置は、前記所定の特徴量を蓄積するデータ蓄積部と、前記データ蓄積部におけるデータ蓄積が完了したか否かを判定するデータ蓄積判定部と、を更に備えていることを特徴とする、請求項１に記載のカメラキャリブレーション装置。
  11. 　前記特徴抽出部は、前記映像から直線状を有する直線的特徴量を抽出すると共に、
    　前記データ蓄積判定部は、前記映像中で前記直線的特徴量が映っている位置に基づいてデータ蓄積が完了したか否かを判定することを特徴とする、請求項１０に記載のカメラキャリブレーション装置。
  12. 　前記姿勢推定部は、前記データ蓄積部に蓄積された前記所定の特徴量に基づいて前記車両の姿勢を推定することを特徴とする、請求項１０に記載のカメラキャリブレーション装置。
  13. 　請求項１に記載のカメラキャリブレーション装置と、撮像する映像の一部が重畳もしくは隣接するように前記車両に搭載された前記複数のカメラと、前記カメラキャリブレーション装置から得られる各カメラのカメラパラメータを用いて前記複数のカメラで撮像された映像同士を補正して合成映像を生成する合成映像生成装置と、前記合成映像を表示する表示装置と、を備えていることを特徴とするカメラキャリブレーションシステム。
PCT/JP2015/077517 2014-09-30 2015-09-29 カメラキャリブレーション装置及びカメラキャリブレーションシステム WO2016052505A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580020606.4A CN106233711B (zh) 2014-09-30 2015-09-29 摄像机校准装置以及摄像机校准系统
EP15845604.6A EP3203724B1 (en) 2014-09-30 2015-09-29 Camera calibration device and camera calibration system
US15/306,672 US10594943B2 (en) 2014-09-30 2015-09-29 Camera calibration device and camera calibration system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-201547 2014-09-30
JP2014201547A JP6371185B2 (ja) 2014-09-30 2014-09-30 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Publications (1)

Publication Number Publication Date
WO2016052505A1 true WO2016052505A1 (ja) 2016-04-07

Family

ID=55630532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077517 WO2016052505A1 (ja) 2014-09-30 2015-09-29 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Country Status (5)

Country Link
US (1) US10594943B2 (ja)
EP (1) EP3203724B1 (ja)
JP (1) JP6371185B2 (ja)
CN (1) CN106233711B (ja)
WO (1) WO2016052505A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
WO2017216998A1 (ja) * 2016-06-15 2017-12-21 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
JP2020162020A (ja) * 2019-03-27 2020-10-01 株式会社デンソーテン 画像生成装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
US10558867B2 (en) * 2015-09-28 2020-02-11 Kyocera Corporation Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
KR102528003B1 (ko) * 2016-07-27 2023-05-02 현대모비스 주식회사 차량용 카메라 공차 보정 방법 및 그 장치
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
JP6724834B2 (ja) * 2017-03-23 2020-07-15 日産自動車株式会社 表示装置の制御方法および表示装置
JP6798926B2 (ja) * 2017-04-13 2020-12-09 クラリオン株式会社 車載カメラのキャリブレーション装置
JP6897442B2 (ja) 2017-09-12 2021-06-30 株式会社Ｊｖｃケンウッド 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
KR102326184B1 (ko) * 2017-11-27 2021-11-15 현대모비스 주식회사 후방카메라의 캘리브레이션 장치 및 방법
CN107945136B (zh) * 2017-12-04 2021-09-24 深圳市路畅科技股份有限公司 一种鱼眼图像矫正方法、系统、设备及计算机存储介质
JP7064163B2 (ja) * 2017-12-07 2022-05-10 コニカミノルタ株式会社 ３次元情報取得システム
CN111869198B (zh) 2018-03-15 2021-12-14 株式会社村上开明堂 合成影像制作装置、合成影像制作方法以及记录介质
JP2019180016A (ja) 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 画像合成装置、画像合成方法及びプログラム
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
JP7162489B2 (ja) * 2018-10-10 2022-10-28 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置及びキャリブレーション方法
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
US10997737B2 (en) * 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
KR20220024960A (ko) * 2019-06-25 2022-03-03 스냅 인코포레이티드 소실점 입체 이미지 보정
DE102019211459B4 (de) 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
US11885893B2 (en) * 2019-08-12 2024-01-30 Motional Ad Llc Localization based on predefined features of the environment
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP2023028939A (ja) * 2021-08-20 2023-03-03 本田技研工業株式会社 船舶用支援装置、船舶用支援方法、およびプログラム
WO2024161519A1 (ja) * 2023-01-31 2024-08-08 日産自動車株式会社 線分検出方法及び線分検出装置
CN116328278B (zh) * 2023-03-06 2024-08-02 浙江大沩人工智能科技有限公司 一种多人跑步的实时测速方法、系统、装置和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115540A (ja) * 2011-11-28 2013-06-10 Clarion Co Ltd 車載カメラシステム及びその較正方法、及びその較正プログラム
JP2014074591A (ja) * 2012-10-02 2014-04-24 Denso Corp キャリブレーション方法、及びキャリブレーション装置
JP2014074632A (ja) * 2012-10-03 2014-04-24 Isuzu Motors Ltd 車載ステレオカメラの校正装置及び校正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US20120105642A1 (en) * 2009-06-29 2012-05-03 Panasonic Corporation Vehicle-mounted video display device
WO2012139660A1 (en) 2011-04-15 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road marking extractions
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115540A (ja) * 2011-11-28 2013-06-10 Clarion Co Ltd 車載カメラシステム及びその較正方法、及びその較正プログラム
JP2014074591A (ja) * 2012-10-02 2014-04-24 Denso Corp キャリブレーション方法、及びキャリブレーション装置
JP2014074632A (ja) * 2012-10-03 2014-04-24 Isuzu Motors Ltd 車載ステレオカメラの校正装置及び校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3203724A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR102457264B1 (ko) * 2016-05-02 2022-10-20 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
WO2017216998A1 (ja) * 2016-06-15 2017-12-21 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
JP2017222258A (ja) * 2016-06-15 2017-12-21 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
CN108367710A (zh) * 2016-06-15 2018-08-03 Jvc 建伍株式会社 姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序
EP3418122A4 (en) * 2016-06-15 2019-03-27 JVC KENWOOD Corporation POSITION CHANGE DETERMINATION DEVICE, AERIAL VIEW IMAGE GENERATION DEVICE, AERIAL VIEW IMAGE GENERATION SYSTEM, POSITION CHANGE DETERMINATION METHOD, AND PROGRAM
JP2020162020A (ja) * 2019-03-27 2020-10-01 株式会社デンソーテン 画像生成装置
JP7188228B2 (ja) 2019-03-27 2022-12-13 株式会社デンソーテン 画像生成装置

Also Published As

Publication number Publication date
CN106233711B (zh) 2019-08-02
EP3203724B1 (en) 2020-02-19
EP3203724A4 (en) 2018-03-28
CN106233711A (zh) 2016-12-14
US20170061622A1 (en) 2017-03-02
EP3203724A1 (en) 2017-08-09
JP2016070814A (ja) 2016-05-09
JP6371185B2 (ja) 2018-08-08
US10594943B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
JP6371185B2 (ja) カメラキャリブレーション装置及びカメラキャリブレーションシステム
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
EP2485203B1 (en) Vehicle-surroundings monitoring device
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
JP5049300B2 (ja) 障害物検出表示装置
KR101132099B1 (ko) 차량용 주변 감시 장치 및 차량용 주변 감시 방법
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN103079902A (zh) 驾驶支援装置
CN101861255A (zh) 图像处理装置和方法、驾驶支持系统、车辆
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP6471522B2 (ja) カメラパラメータ調整装置
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP5516988B2 (ja) 駐車支援装置
JP2008141578A (ja) 車両周辺視認装置
JP2018157496A (ja) キャリブレーション装置
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP6768554B2 (ja) キャリブレーション装置
JP2012105090A (ja) 駐車支援装置
JP7019431B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP6941949B2 (ja) 車両用映像表示装置
JP6572862B2 (ja) 表示制御装置
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
KR102002228B1 (ko) 동적 객체 검출 장치 및 방법
US20200090307A1 (en) Surround View System for a Vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15845604

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15306672

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015845604

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015845604

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE