WO2016189878A1 - 演算装置、カメラ装置、車両及びキャリブレーション方法 - Google Patents

演算装置、カメラ装置、車両及びキャリブレーション方法 Download PDF

Info

Publication number
WO2016189878A1
WO2016189878A1 PCT/JP2016/002560 JP2016002560W WO2016189878A1 WO 2016189878 A1 WO2016189878 A1 WO 2016189878A1 JP 2016002560 W JP2016002560 W JP 2016002560W WO 2016189878 A1 WO2016189878 A1 WO 2016189878A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
calibration
lines
parallel
Prior art date
Application number
PCT/JP2016/002560
Other languages
English (en)
French (fr)
Inventor
修身 井上
知文 小石
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP16799589.3A priority Critical patent/EP3306267B1/en
Priority to US15/576,781 priority patent/US10373338B2/en
Priority to JP2017507018A priority patent/JP6159905B2/ja
Publication of WO2016189878A1 publication Critical patent/WO2016189878A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to an arithmetic device, a camera device, a vehicle, and a calibration method.
  • stereo camera devices that use multiple cameras to calculate the distance to the subject. For example, in the automobile field, a distance to a preceding vehicle and an obstacle is calculated using a stereo camera device. The calculated distance is used for driving assistance including warning to a driver for collision avoidance and control of an accelerator or a brake for auto cruise control.
  • the stereo camera device calculates the distance from the difference between the images taken by the two cameras.
  • the alignment error between the two cameras causes a large error in the calculated distance. Although it is necessary to frequently perform calibration, it is difficult to perform such high-precision calibration by mechanical adjustment each time.
  • An electronic calibration method has been proposed in which an alignment error is automatically determined based on an image captured by a camera, and a distance is corrected according to the determined alignment error (see, for example, Patent Document 1).
  • this electronic calibration method two or more straight lines corresponding to marking lines at the road boundary marked in parallel with each other on the traveling road are detected from the right image and the left image captured by the stereo camera.
  • the coordinates of the vanishing point where the previous two straight lines intersect is then determined for each of the left and right images.
  • the coordinates of the vanishing point are compared between the left image and the right image to determine the alignment error.
  • the computing device extracts a plurality of lines corresponding to straight lines parallel to each other in the object to be imaged from an image obtained by imaging the object to be imaged, and each of the extracted lines is a three-dimensional coordinate.
  • a controller that calculates first calibration data so that the mapping lines are parallel to each other when mapped to the space;
  • the camera device extracts a plurality of lines corresponding to straight lines parallel to each other in the object to be imaged from an image obtained by capturing an image of the object to be imaged, and each of the extracted lines is a three-dimensional coordinate.
  • An arithmetic unit having a controller that calculates first calibration data so that the mapping lines when mapped in space are parallel to each other, and one or more cameras that capture the image of the object to be projected are included.
  • the vehicle of the present disclosure extracts a plurality of lines corresponding to straight lines parallel to each other in the object to be imaged from an image obtained by capturing an image of the object to be imaged, and each of the extracted lines is a three-dimensional coordinate space.
  • An arithmetic unit having a controller that calculates first calibration data so that the mapping lines are parallel to each other and one or more cameras that capture the image of the object to be projected.
  • FIG. 1 is a diagram schematically illustrating a vehicle equipped with a camera device that travels on a road.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a camera apparatus according to one of a plurality of embodiments.
  • FIG. 3 is a flowchart showing a procedure for updating the calibration value in the calibration calculation unit.
  • FIG. 4 is a diagram illustrating an example of extracting parallel straight lines in the real space from the camera image.
  • FIG. 5 is a conceptual diagram showing a pair of straight lines corresponding to a pair of parallel straight lines included in the object to be extracted, extracted from the left image and the right image.
  • FIG. 6 is a flowchart showing a procedure for mapping a straight line on the image space to the three-dimensional coordinate space.
  • FIG. 1 is a diagram schematically illustrating a vehicle equipped with a camera device that travels on a road.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a camera apparatus according to one of a plurality of embodiment
  • FIG. 7 is a diagram illustrating the relationship between the pixel value in the v direction and the image height y in the camera image.
  • FIG. 8 is a diagram for explaining the correspondence between the image height y in the image space and the coordinates in the Z direction in the three-dimensional coordinate space.
  • FIG. 9 is a diagram showing the relationship between the pixel value in the u direction and the image height x in the camera image.
  • FIG. 10 is a diagram showing the relationship between the X coordinate position of the object to be imaged in the three-dimensional coordinate space and the incident angle ⁇ to the camera.
  • FIG. 11 is a conceptual diagram showing straight lines extracted from the left image and the right image and mapped to the three-dimensional coordinate space.
  • FIG. 12 is a conceptual diagram showing parallel straight lines mapped to the three-dimensional coordinate space after calibration of the depression angle of the optical axis of the camera.
  • FIG. 13 is a conceptual diagram showing parallel straight lines mapped to the three-dimensional coordinate space after the calibration of the parallax deviation amount ⁇ u.
  • FIG. 14 is a block diagram illustrating a schematic configuration of a camera apparatus according to one of a plurality of embodiments.
  • FIG. 15 is a block diagram illustrating a schematic configuration of a camera apparatus according to one of a plurality of embodiments.
  • FIG. 16 is a diagram showing a simplified appearance of a vehicle equipped with a camera device according to one of a plurality of embodiments.
  • FIG. 17 is a block diagram illustrating a schematic configuration of a camera apparatus according to one of a plurality of embodiments.
  • the vanishing point In the calibration method described in Patent Document 1, the vanishing point must be calculated from the parallel lines included in the captured image. With such a calibration method, an accurate vanishing point cannot be obtained when the road surface has an inclination. According to this indication, it can calibrate, without calculating the vanishing point of a straight line.
  • the traveling direction (upward in the figure) of the vehicle 1 is the Z direction
  • the vehicle width direction (left and right in the figure) of the vehicle 1 is the X direction
  • Direction is defined as the Y direction.
  • the traveling direction of the vehicle 1 (upward in the figure) is the positive direction of the Z direction
  • the direction from left to right is the positive direction of the X direction
  • the direction from the ground to the sky is the positive direction of the Y direction.
  • the “vehicle” in the present disclosure includes, but is not limited to, an automobile, a railway vehicle, an industrial vehicle, and a living vehicle.
  • the vehicle may include an airplane traveling on a runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road.
  • Rail vehicles include, but are not limited to, locomotives, freight cars, passenger cars, trams, guided railroads, ropeways, cable cars, linear motor cars, and monorails, and may include other vehicles that travel along the track.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include but are not limited to forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers.
  • Living vehicles include, but are not limited to, bicycles, wheelchairs, baby carriages, wheelbarrows, and electric two-wheelers.
  • Vehicle power engines include, but are not limited to, internal combustion engines including diesel engines, gasoline engines, and hydrogen engines, and electrical engines including motors. Vehicles include those that travel by human power.
  • the vehicle classification is not limited to the above. For example, an automobile may include an industrial vehicle capable of traveling on a road, and the same vehicle may be included in a plurality of classifications.
  • the camera device 10 includes a first camera 11, a second camera 12, and an arithmetic device 14.
  • the two cameras of the first camera 11 and the second camera 12 are arranged facing the outside of the vehicle 1 and operate as a stereo camera in cooperation with each other.
  • the arithmetic device 14 is electrically connected to the first camera 11 and the second camera 12.
  • the arithmetic device 14 includes an image processing device.
  • the “stereo camera” is a plurality of cameras having parallax and cooperating with each other.
  • the stereo camera includes at least two cameras.
  • Stereo cameras include those capable of simultaneously imaging a target by cooperating a plurality of cameras.
  • “Simultaneous” shooting is not limited to the exact same time. For example, (1) a plurality of cameras pick up images at the same time, (2) a plurality of cameras pick up images based on the same signal, and (3) a plurality of cameras pick up images at the same time in each internal clock. This is included in “simultaneously” shooting in the present disclosure.
  • the imaging time reference includes an imaging start time, an imaging end time, a captured image data transmission time, and a time at which the counterpart device receives the image data.
  • the stereo camera may be a device in which a plurality of cameras are included in one housing.
  • the stereo camera may be a device including two or more cameras which are independent from each other and located apart from each other.
  • the stereo camera is not limited to a plurality of cameras independent of each other.
  • a camera having an optical mechanism that guides light incident on two distant locations to one light receiving element can be adopted as a stereo camera.
  • two units, a first camera 11 and a second camera 12 that are independent from each other, are arranged.
  • a plurality of images obtained by capturing the same subject from different viewpoints may be referred to as “stereo images”.
  • the first camera 11 and the second camera 12 include a solid-state image sensor.
  • the solid-state imaging device includes a CCD image sensor (Charge-Coupled Device Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Image Sensor).
  • the first camera 11 and the second camera 12 may include a lens mechanism.
  • the optical axes of the first camera 11 and the second camera 12 face the direction in which the same subject can be imaged.
  • the first camera 11 and the second camera 12 have different optical axes.
  • the first camera 11 and the second camera 12 have their optical axes and positions determined so that at least the same subject to be captured is included in the captured image.
  • the optical axes of the first camera 11 and the second camera 12 are directed to be parallel to each other. This parallelism is not limited to strict parallelism, but allows assembly deviations, mounting deviations, and deviations over time.
  • the optical axes of the first camera 11 and the second camera 12 are not limited to being parallel but may be in different directions.
  • the first camera 11 and the second camera 12 are fixed with respect to the vehicle body of the vehicle 1 so that changes in position and orientation with respect to the vehicle 1 are reduced. Even if the first camera 11 and the second camera 12 are fixed, their positions and orientations may change with respect to the vehicle 1.
  • the optical axes of the first camera 11 and the second camera 12 face the front (Z direction) of the vehicle 1.
  • the camera device 10 can image various objects to be imaged such as white lines 101 and 102 (division lines) on the road surface 100, preceding vehicles, and obstacles while traveling.
  • the optical axes of the first camera 11 and the second camera 12 are inclined toward the road surface 100 from the Z direction.
  • the optical axes of the first camera 11 and the second camera 12 may be directed in the Z direction, and may be inclined from the Z direction to the sky side.
  • the directions of the optical axes of the first camera 11 and the second camera 12 are appropriately changed according to the application.
  • the first camera 11 and the second camera 12 are located away from each other in the direction intersecting the respective optical axes.
  • the first camera 11 and the second camera 12 are positioned along the vehicle width direction (X direction) of the vehicle 1.
  • the first camera 11 is located on the left side of the second camera 12 when facing forward
  • the second camera 12 is located on the right side of the first camera 11 when facing forward. Due to the difference in position between the first camera 11 and the second camera 12, in the two images captured by the cameras 11 and 12, the positions of the objects to be imaged corresponding to each other are different.
  • the left image output from the first camera 11 and the right image output from the second camera 12 are stereo images captured from different viewpoints.
  • the positions of the first camera 11 and the second camera 12 are not limited to this, and in another one of the embodiments, the first camera 11 and the second camera 12 are in the vertical direction (Y direction) or XY. You may locate along the diagonal direction in a plane. In that case, the images output from the first camera 11 and the second camera 12 are stereo images each having a parallax in the vertical direction or the diagonal direction.
  • the first camera 11 and the second camera 12 are fixed to the front side of the vehicle 1 with the optical axis directed in front of the vehicle 1 (Z direction). In one of the embodiments, the first camera 11 and the second camera 12 can image the outside of the vehicle 1 via the windshield of the vehicle 1. In a plurality of embodiments, the first camera 11 and the second camera 12 may be fixed to any of the front bumper, fender grille, side fender, light module, and bonnet of the vehicle 1.
  • the first camera 11 and the second camera 12 each output a captured image to the arithmetic device 14 as digital data.
  • the computing device 14 can perform various processes on each of the left image output from the first camera 11 and the right image output from the second camera 12.
  • the processing that can be performed by the computing device 14 includes processing for calibrating the deviation of the first camera 11 and the second camera 12 from the standard based on the image, and processing for detecting an object from the image.
  • the computing device 14 calculates the distance to the detected object from both the left image and the right image.
  • the computing device 14 may calculate the distance to the object by a known technique including the principle of triangulation.
  • the computing device 14 performs a process of calibrating image differences due to manufacturing variations of the first camera 11 and the second camera 12 and differences from the planned standard including mounting displacement.
  • the computing device 14 may perform at least one of a process of calibrating after developing image data into an image and a process of calibrating before developing image data into an image.
  • the computing device 14 may perform a process of updating a calibration value used for image calibration in order to calibrate a change over time with respect to a planned standard.
  • the computing device 14 may periodically perform a process of updating the calibration value.
  • the “calibration value” is a parameter used for calibrating input image data or an image developed from the image data.
  • the calibration value may be used when calibrating the deviation from the standard camera position and orientation.
  • the calibration value and the calibration data are synonymous. Hereinafter, the procedure for updating the calibration value will be described in more detail.
  • the camera device 10 includes a first camera 11, a second camera 12, and an arithmetic device 14.
  • the computing device 14 includes an input unit 15, a control unit 16 as a controller, an output unit 17, and a storage unit 18.
  • the computing device 14 may include a memory or the like for temporarily storing image data input to the input unit 15 separately from the storage unit 18.
  • the input unit 15 is an input interface for inputting image data to the arithmetic device 14.
  • the input unit 15 can employ a physical connector and a wireless communication device.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • Electrical connectors include connectors conforming to IEC 60603, connectors conforming to USB standards, connectors corresponding to RCA terminals, connectors corresponding to S terminals defined in EIAJ CP-1211A, D terminals prescribed in EIAJIARC-5237 , A connector conforming to the HDMI (registered trademark) standard, and a connector corresponding to a coaxial cable including BNC.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the input unit 15 receives image data of images captured by the first camera 11 and the second camera 12.
  • the input unit 15 delivers the input image data to the control unit 16.
  • the input to the input unit 15 includes a signal input via a wired cable and a signal input via a wireless connection.
  • the input unit 15 may correspond to the imaging signal transmission method of the first camera 11 and the second camera 12.
  • the control unit 16 includes one or a plurality of processors.
  • the control unit 16 or the processor may include one or a plurality of memories that store programs for various processes and information being calculated.
  • the memory includes volatile memory and nonvolatile memory.
  • the memory includes a memory independent of the processor and a built-in memory of the processor.
  • the processor includes a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor includes an application specific IC (ASIC; Application Specific Circuit).
  • the processor includes a programmable logic device (PLD).
  • PLD includes FPGA (Field-ProgrammablemGate Array).
  • the control unit 16 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the control unit 16 has a normal mode and a calculation mode.
  • the control unit 16 may detect an object in the image based on the input image data in the normal mode.
  • the control unit 16 calculates the distance to the detected object in the normal mode.
  • the control unit 16 calculates a calibration value for calibrating the input image signal.
  • the control unit 16 is not limited to a method that operates in any of a plurality of different modes.
  • the controller 16 may execute either detection of an object or calculation of a distance to the detected object while calculating a calibration value for calibrating the input image signal.
  • the output unit 17 is an output interface that outputs data from the arithmetic device 14.
  • the input unit 15 can employ a physical connector and a wireless communication device.
  • the output unit 17 is connected to the network of the vehicle 1 such as CAN (Control Area Network).
  • the computing device 14 is connected to the control device of the vehicle 1, an alarm device, and the like via the CAN.
  • the arithmetic unit 14 outputs the output unit 17 to a control device, an alarm device, and the like. Such information is appropriately used in each of the control device and the alarm device.
  • the output unit 17 is separated from the input unit 15, but is not limited thereto.
  • the input unit 15 and the output unit 17 may be one communication unit.
  • This communication unit is a communication interface of the camera device 10.
  • the communication unit can employ a physical connector and a wireless communication device.
  • the storage unit 18 stores a calibration value.
  • the calibration value includes a first calibration value (first calibration data) and a second calibration value (second calibration data).
  • the storage unit 18 includes a rewritable memory.
  • the storage unit 18 may be a non-volatile memory such as a flash memory, a magnetic memory (MRAM: Magnetoresistive Random Access Memory), or a ferroelectric memory (FeRAM: Ferroelectric Random Access Memory).
  • the control unit 16 includes a calibration unit 19, a stereo calculation unit 20, and a calibration calculation unit 21.
  • the operation of each part will be described below.
  • Each of the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21 may be a hardware module or a software module.
  • the control unit 16 can execute operations that each of the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21 can perform.
  • the control unit 16 is not limited to a configuration including the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21, and one or more of the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21 may be omitted. .
  • control unit 16 may execute all the operations of the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21. Operations performed by the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21 may be rephrased as operations performed by the control unit 16. The process performed by the control unit 16 using any one of the calibration unit 19, the stereo calculation unit 20, and the calibration calculation unit 21 may be executed by the control unit 16 itself.
  • the calibration unit 19 calibrates the image with reference to the calibration value stored in the storage unit 18.
  • the calibration unit 19 calibrates images received from each of the first camera 11 and the second camera 12.
  • the calibration unit 19 electronically calibrates the deviation of each of the first camera 11 and the second camera 12 from the standard by image data conversion.
  • the calibration unit 19 converts the left side image and the right side image into parallel equidistant images.
  • the calibration unit 19 refers to the first calibration value when calibrating each of the image data received from the first camera 11 and the second camera 12.
  • the calibration unit 19 refers to the second calibration value when the left image and the right image are calibrated as a stereo image.
  • the stereo calculation unit 20 obtains the parallax between the left image and the right image calibrated by the calibration unit 19.
  • the stereo calculation unit 20 divides one image of the left image and the right image into a plurality of regions.
  • the stereo calculation unit 20 matches each of the plurality of divided areas with the other image.
  • the stereo calculation unit 20 calculates the distance between the two regions matched in the left image and the right image based on the difference in coordinates in the left-right direction.
  • the stereo calculation unit 20 generates a distance image indicating the calculated distance distribution.
  • the stereo calculation unit 20 identifies an object present at the position by detecting a portion where a region having the same distance is fixed.
  • the stereo calculation unit 20 identifies the distance to the identified object from the distance of the area where the object is identified.
  • the objects identified by the stereo calculation unit 20 include obstacles.
  • the obstacle includes at least one of a human, a vehicle, a road sign, a building, and a plant.
  • the stereo calculation unit 20 associates the identified object with the distance image.
  • the stereo calculation unit 20 outputs information including at least one of the distance image, the identified object, and the distance to the object via the output unit 17.
  • the stereo operation unit 20 performs processing in real time.
  • the stereo calculation unit 20 may recognize the road shape based on the parallax image.
  • the calibration calculation unit 21 calculates a first calibration value for calibrating the image data received from the camera.
  • the calibration calculator 21 calculates a first calibration value for calibrating the left image and the right image received from the first camera 11 and the second camera 12.
  • the calibration calculator 21 calculates a second calibration value when the left image and the right image are calibrated as a stereo image based on the calibrated left image and right image.
  • the calibration calculation unit 21 updates the calibration value stored in the storage unit 18.
  • the calibration calculation unit 21 acquires the left image by the first camera 11 and the right image by the second camera 12 calibrated from the calibration unit 19 with the current calibration value, respectively (step S101).
  • the calibration calculator 21 performs differential filtering on the acquired left image and right image (step S102).
  • each image is emphasized in a portion where the luminance value changes greatly.
  • the calibration calculation unit 21 performs binarization processing on the image that has been subjected to the differential filter processing (step S103). By performing the binarization process, the edge of each image is sharpened.
  • the calibration calculation unit 21 extracts edges from an image with sharpened edges.
  • the calibration calculation unit 21 extracts a plurality of points from lines in the image corresponding to a plurality of straight lines parallel to each other in the real space subject from each of the left image and the right image with sharpened edges.
  • the calibration calculation unit 21 extracts points from lines corresponding to the same straight line in the real space from each of the left image and the right image.
  • the number of points extracted by the calibration calculation unit 21 is two or more.
  • the calibration calculation unit 21 extracts 100 points.
  • the plurality of points extracted by the calibration calculation unit 21 may be referred to as “point group”.
  • the calibration calculation unit 21 extracts a line that substantially includes the point group by extracting the point group.
  • the object extracted by the calibration calculation unit 21 is not limited to a point, and a line may be extracted.
  • the calibration calculation unit 21 In the case of a vehicle traveling on a road, the calibration calculation unit 21 generates parallel lines such as a lane line including a white line on the road surface, a boundary line between the road and the sidewalk, and a boundary line between the road and the median. Extract the corresponding point cloud.
  • the calibration calculation unit 21 extracts point groups corresponding to the tracks parallel to each other.
  • the “three-dimensional coordinate space” in this specification means a virtual space that is three-dimensionalized based on an image captured by a camera.
  • straight lines parallel to each other can be extracted from straight lines located on the same plane.
  • the same plane may be a road surface (XZ plane) that is a ground portion on which the vehicle 1 travels.
  • XZ plane road surface
  • On the actual road surface 100 there is a section where a white line 101 between the traveling lane and the roadside belt and a white line 102 between the traveling lanes are marked.
  • the calibration calculation unit 21 extracts points from the straight line 103 and the straight line 104 that are the right edges of the white lines 101 and 102, respectively.
  • FIG. 5 and the following FIGS. 11, 12, and 13, for the sake of explanation a set of points extracted from the left image and their mapping lines are shown by solid lines, and a set of points extracted from the right image and their mapping lines are shown.
  • the white line 101 and the white line 102 linearly extend farther in front of the vehicle 1, but the white line only needs to be partially straight.
  • the calibration calculation unit 21 may extract the straight line from the white line including the curved section caused by the road curve. Subsequently, the calibration calculation unit 21 performs other processing.
  • a set of points extracted from each of the left image and the right image is indicated by a solid line and a broken line.
  • These solid lines and broken lines correspond to, for example, a pair of straight lines parallel to each other in the real space to be imaged.
  • a linear group of points extracted from the left image I L 103L, and 104L corresponds to the linear 103 and 104, and a linear group of points extracted from the left image I L 103L, and 104L.
  • a linear group of points extracted from the right image I R 103R, and 104R corresponds to the origin (0, 0) of the image.
  • the origin (0, 0) of the image is the upper left corner
  • the right direction of each image is the u direction
  • the lower direction is the v direction.
  • the coordinates (u, v) are represented by pixel values from the origin (0, 0).
  • an image space such a two-dimensional coordinate space is referred to as an image space.
  • Calibration computing unit 21 the left side image I L and right image I R image point group becomes a straight line shape in the two-dimensional coordinate space 103L, 104L and point cloud 103R, the 104R, mapping the three-dimensional coordinate space (step S105) .
  • FIG. 6 is a flowchart showing a procedure for mapping the point group on the image space to the three-dimensional coordinate space.
  • “mapping” means that an element including a point and a line in a two-dimensional image space is associated with a coordinate in the real space by performing coordinate conversion to the three-dimensional coordinate space.
  • Calibration computing unit 21 the extracted point cloud of the left image I L and right image I R, the same as the real space (X, Y, Z) coordinate system, coordinate transformation using the current calibration values.
  • the Y coordinate of the road surface is set to zero.
  • the white lines 101 and 102 on the road surface 100 have a Y coordinate of 0.
  • Step S201 the extraction point of the point group 103L and 104L of the left side image I L, and, for each extraction point of the point group 103R and 104R of the right side image I R, sequentially performs the following steps (step S201).
  • steps S202 and S203 only coordinate conversion for the left image will be described, but the same processing is performed for the right image.
  • the calibration calculation unit 21 converts the v coordinate of the extraction point Pi into the Z coordinate of the three-dimensional coordinate space (step S202).
  • the principle will be described below.
  • (u 0 , v 0 ) is a point on the optical axis of the first camera 11 and indicates the center of the image space.
  • the image height y (mm; millimeter) of the extraction point in the image space is obtained from the coordinate value v (pixel value) in the v direction in the image space of the extraction point, the following equation is obtained.
  • p is the pixel pitch of the first camera 11 corresponding to the extraction point.
  • the image height y in the image space is converted into an incident angle ⁇ in the YZ plane when light from the extraction point enters the first camera 11.
  • the incident angle ⁇ is expressed by the following equation.
  • the depression angle of the camera optical axis which is the installation angle of the camera theta C (an angle formed between the camera optical axis and the road surface (XZ plane), the angle of the downward because relative to the horizontal direction), This is an angle formed by a plane (that is, the road surface 100) including the straight lines 103 and 104 extracted in real space and the corresponding optical axis of the first camera 11.
  • the first camera 11 and the second camera 12 are calibrated with high accuracy using a chart pattern or the like at the time of shipment.
  • a calibration value at the time of factory shipment and a calibration value updated by processing in the previous calculation mode are stored in the storage unit 18.
  • step S202 the calibration calculation unit 21 converts the v coordinate of the extraction point Pi into the Z coordinate of the three-dimensional coordinate space according to Equation (4).
  • the calibration calculation unit 21 performs conversion from the u coordinate of the extraction point and the Z coordinate in the three-dimensional coordinate space to the X coordinate in the three-dimensional coordinate space (Ste S203).
  • the principle will be described below.
  • (u 0 , v 0 ) indicates the center of the image space and is a corresponding point on the optical axis of the first camera 11.
  • the image height x (mm) of the extraction point in the image space in the u direction is obtained from the coordinate value u (pixel value) in the image space of the extraction point Pi, the following equation is obtained.
  • the image height x in the image space is converted into an incident angle ⁇ in the XZ plane of the light from the extraction point Pi to the first camera 11.
  • the incident angle ⁇ is expressed by the following equation.
  • the coordinate Z and the incident angle ⁇ in the three-dimensional coordinate space and the coordinate X in the three-dimensional coordinate space have the following geometric relationship.
  • a conversion formula from the u coordinate in the image space and the Z coordinate in the three-dimensional coordinate space to the X coordinate in the three-dimensional coordinate space is obtained as follows. It is done.
  • the calibration calculation unit 21 performs conversion conversion from the u coordinate of the extraction point and the Z coordinate in the three-dimensional coordinate space to the X coordinate in the three-dimensional coordinate space according to Equation (8).
  • the calibration calculation unit 21 maps the point (u, v) in the image space to the point (X, 0, Z) in the three-dimensional coordinate space by using the equations (4) and (8). can do.
  • the calibration calculation unit 21 executes Step S202 and Step S203 for all extraction points of the left image and the right image (Steps S201 and S204).
  • Step S202 and Step S203 for all extraction points of the left image and the right image.
  • the calibration calculation unit 21 calibrates the displacement of the same object in the image space due to the difference in the left and right positions of the first camera 11 and the second camera 12 by mapping to the three-dimensional coordinate space.
  • the same straight line included in the images captured by both the first camera 11 and the second camera 12 is mapped from the image space to the three-dimensional coordinate space, it is ideally mapped to the same position.
  • Figure 11 is a left side image I L and right image I R from the extracted point cloud 103L, 103R, 104L, the 104R, approximate line 105L respectively are calculated from a plurality of mapping points mapped onto the three-dimensional coordinate space, 105R, It is a conceptual diagram which shows 106L and 106R.
  • the approximate curves 105L, 105R, 106L, and 106R are mapping lines obtained by mapping the lines of the image space extracted as the point groups 103L, 103R, 104L, and 104R, respectively, into the three-dimensional coordinate space.
  • the calibration calculation unit 21 determines the approximate straight lines 105L, 105R, 106L, and 106R in which a plurality of mapping points are collected using a least square method or the like. Further, in FIG. 11, for the sake of explanation, the deviation and inclination between straight lines are emphasized.
  • a pair of the approximate straight line 105L and the approximate straight line 106L and a pair of the approximate straight line 105R and the approximate straight line 106R corresponding to the straight line 103 that is the edge of the parallel white line 101 and the straight line 104 that is the edge of the white line 102 on the road surface 100 are respectively shown.
  • the pair of the approximate straight line 105L and the approximate straight line 105R corresponding to the same straight line and the pair of the approximate straight line 106L and the approximate straight line 106R do not overlap with each other because the calibration value stored in the storage unit 18 is used for calibration. This is due to the fact that the calibration cannot be performed with the calibration value stored in the storage unit 18 due to a new deviation from the state to be performed.
  • the calibration calculation unit 21 parallels the pair of the approximate straight line 105L and the approximate straight line 106L mapped in the three-dimensional coordinate space, and the pair of the approximate straight line 105R and the approximate straight line 106R, and maps them in the three-dimensional coordinate space.
  • a new calibration value is calculated by adjusting so that the pair of approximated straight line 105L and approximated straight line 105R and the pair of approximated straight line 106L and approximated straight line 106R overlap each other.
  • the calibration calculator 21 updates the calculated new calibration value as a new calibration value.
  • the calibration calculator 21 calculates the slopes of the approximate line 105L and the approximate line 106L (step S106). In addition, the inclination is similarly calculated for the approximate straight line 105R and the approximate straight line 106R (step S106).
  • the calibration calculation unit 21 calculates the depression angle of the camera optical axis, which is a variation parameter of the first camera 11, from Equation (4) and Equation (8) so that the approximate straight line 105L and the approximate straight line 106L are parallel to each other.
  • the calibration value ⁇ CL is adjusted and determined (step S107).
  • the calibration calculating portion 21, approximate straight lines 105L, 106L is to adjust the depression angle to be parallel to the Z-axis, to determine a calibration value theta CL.
  • theta CR depression angle of the optical axis of the camera for the second camera 12 step S107.
  • the storage unit 18 uses the mounting angle of the first camera 11 and the second camera 12 set at the time of factory shipping and defined in advance as a reference value of the angle of depression of the optical axis of the camera. You can remember it.
  • the calibration calculator 21 can determine the calibration values ⁇ CL and ⁇ CR by adjusting the depression angle of the optical axis of the camera based on this reference value.
  • the depression angle calibration values ⁇ CL and ⁇ CR are first calibration values that are referred to when each of the image data received from the first camera 11 and the second camera 12 is calibrated.
  • Step S108 Calibration values theta CL depression angle of the optical axis of first camera 11 and the second camera 12, when determining the theta CR, the calibration calculation unit 21, a group of points extracted from the left image I L and right image I R, a new Mapping to the three-dimensional coordinate space using the calibration values ⁇ CL and ⁇ CR (step S108).
  • the mapping to the three-dimensional coordinate space is executed according to the flowchart shown in FIG. 6 as in step S105.
  • approximate curves 107L, 107R, 108L, and 108R are mapping lines obtained by mapping the lines of the image space extracted as the point groups 103L, 103R, 104L, and 104R to the three-dimensional coordinate space, respectively.
  • the approximate straight line 107L and the approximate straight line 108L respectively corresponding to the straight lines 103 and 102, which are the edges of the white line 101, which are straight lines parallel to each other, are parallel to each other.
  • the approximate straight line 107R and the approximate straight line 108R are parallel to each other.
  • the approximate straight line 107L and the approximate straight line 107R corresponding to the same straight line to be imaged are mapped to positions parallel to each other and shifted in the X direction.
  • the approximate straight line 108L and the approximate straight line 108R corresponding to the same straight line that is, the straight line 104 that is the edge of the white line 102, are mapped to positions parallel to each other and shifted in the X direction. .
  • step S108 the calibration calculation unit 21 determines the positions of the approximate lines 107L and 108L mapped from the left image to the three-dimensional coordinate space and the approximate lines 108R and 108R mapped from the right image to the three-dimensional coordinate space. Each is compared (step S109).
  • the calibration calculation unit 21 calculates the parallax deviation amount ⁇ u (calibration data) so that the set of the mapped approximate line 107L and approximate 107R and the set of the approximate line 108L and approximate line 108R match each other.
  • the parallax deviation amount ⁇ u is a second calibration value that is referred to when the image data received from the first camera 11 and the second camera 12 is calibrated as a stereo image.
  • the parallax deviation amount ⁇ u is a difference in positional deviation with time between the first camera 11 and the second camera 12.
  • approximate curves 109L, 109R, 110L, and 110R are mapping lines obtained by mapping the lines of the image space extracted as the point groups 103L, 103R, 104L, and 104R to the three-dimensional coordinate space, respectively.
  • the approximate straight line 109L and the approximate straight line 109R corresponding to the straight line 103 of the edge of the same white line 101 to be imaged can be matched.
  • the approximate straight line 110L and the approximate straight line 110R corresponding to the straight line 104 of the edge of the same white line 102 to be imaged can be made to coincide with each other.
  • the calibration calculation unit 21 uses the updated calibration values ⁇ CL and ⁇ CR of the optical axis depression angles of the first camera 11 and the second camera 12 and the calibration value ⁇ u of the parallax deviation amount between the left image and the right image.
  • the calibration value is updated by storing in the storage unit 18 (step S111), and the calibration value updating process is terminated.
  • the calibration value ⁇ u for the parallax displacement amount the coordinates u 0 on the optical axis of the left image and the right image are relatively shifted corresponding to the parallax displacement amount ⁇ u to be u 0L and u 0R , which are the calibration values. May be saved as
  • the calibration unit 19 is input from the first camera 11 using the updated calibration values ⁇ CL , ⁇ CR and ⁇ u until the next calibration value update process.
  • the left image and the right image (stereo image) input from the camera 12 are calibrated, and the configured left image and right image are output to the stereo calculation unit 20.
  • the control unit 16 may cause the calibration calculation unit 21 to automatically update the calibration value at regular time intervals or at least one time when the calculation device 14 starts and ends.
  • the control unit 16 may update the calibration value based on a manual operation or a signal input from another device.
  • calibration can be performed without obtaining the vanishing point of the parallel straight lines.
  • the camera apparatus 10 converts lines in the image space obtained by imaging straight lines parallel to each other in the three-dimensional coordinate space so as to be parallel lines.
  • ⁇ C of the optical axes of the first camera 11 and the second camera 12 calibration is performed with the road surface inclination taken into account, and thus when traveling on a slope or the like where the road surface is inclined.
  • good calibration can be performed without degrading the calibration accuracy.
  • the camera device 10 can be calibrated in the usage environment. In one of several embodiments, the camera device 10 can be calibrated digitally. In one of the embodiments, the camera device 10 has a low load on the user. In one of a plurality of embodiments, the camera device 10 can update the calibration value in the use environment, so that it is easy to maintain accuracy.
  • the camera device 10 calculates the amount of parallax deviation ⁇ u (calibration data) and calibrates the difference in relative positional deviation between the imaging elements of the two cameras and the optical axis of the lens. Even if the positional deviation between the image sensor and the optical axis of the lens is a small deviation, a large error occurs in the distance measurement. Since the camera device 10 can update the calibration value by a simple calculation, it is easy to maintain the distance measurement accuracy.
  • the 14 includes a first camera 31, a second camera 32, and an arithmetic device 37.
  • the first camera 31 and the second camera 32 include imaging units 34a and 34b, primary calibration units 35a and 35b, and primary calibration value memories 36a and 36b, respectively.
  • the first camera 31 and the second camera 32 are accurately calibrated by using a chart pattern or the like at the time of factory shipment, and the calibration values are stored in the primary calibration value memories 36a and 36b as primary calibration values.
  • As the primary calibration value a calibration value similar to that of the embodiment shown in FIGS. 1 to 13 can be used.
  • the primary calibration units 35 a and 35 b calibrate the images captured by the imaging units 34 a and 34 b based on the primary calibration values of the primary calibration value memories 36 a and 36 b and transmit the images to the input unit 15 of the arithmetic device 37.
  • the primary calibration value is basically a fixed value and is not rewritten.
  • the computing device 37 includes an input unit 15, a control unit 38, a secondary storage unit 41, and an output unit 17.
  • the control unit 38 includes a secondary calibration unit 39 and a calibration calculation unit 40 in place of the calibration unit 19 and the calibration calculation unit 21 of the embodiment shown in FIG. Other configurations are the same as those of the embodiment shown in FIG.
  • the secondary calibration unit 39 performs secondary calibration on the images received from the first camera 31 and the second camera 32.
  • the secondary calibration corrects a deviation caused by a change with time after shipment from the factory, a vibration collision, or the like with respect to an image after the primary calibration.
  • the calibration calculation unit 40 performs a calibration value update process similar to that of the embodiment shown in FIGS. 1 to 13 on the left and right images after the primary calibration. Accordingly, the calibration value for additional calibration stored in the secondary storage unit 41 can be updated as the secondary calibration value.
  • the calibration can be performed satisfactorily as in the embodiments shown in FIGS. In the camera device 30 of this embodiment, it is not necessary to calculate the vanishing point.
  • the 15 includes a first camera 51, a second camera 52, and an arithmetic device 57.
  • the first camera 51 and the second camera 52 are similar to the first camera 31 and the second camera 32 of the embodiment shown in FIG. 14, and are imaging units 54a and 54b, calibration units 55a and 55b, and a calibration value memory, respectively. 56a, 56b.
  • the calibration value memories 56a and 56b can be rewritten by signals from the arithmetic unit 57, unlike the primary calibration value memories 36a and 36b of the embodiment shown in FIG.
  • the computing device 57 includes a communication unit 58, a control unit 59, and an output unit 17.
  • the communication unit 58 receives image signals from the first camera 51 and the second camera 52 in the same manner as the input unit 15 of the embodiment shown in FIGS. 1 to 13 and calibrates the first camera 51 and the second camera 52.
  • a rewrite signal can be output to the value memories 56a and 56b.
  • the control unit 59 includes a calibration calculation unit 60 and a stereo calculation unit 20.
  • the output unit 17 and the stereo calculation unit 20 operate in the same manner as the output unit 17 and the stereo calculation unit 20 of the embodiment shown in FIGS.
  • the calibration calculation unit 60 can calculate the calibration value from the left image and the right image in the same manner as the calibration calculation unit 21 of the embodiment shown in FIG.
  • the calibration value calculated by the calibration calculation unit 60 is transmitted to the calibration value memories 56a and 56b of the first camera 51 and the second camera 52 via the communication unit 58, and the calibration value is updated.
  • the first camera 51 and the second camera 52 transmit calibrated images to the computing device 57.
  • the stereo computing unit 20 executes processing such as detection of the measurement object in the image and distance calculation, and outputs the result.
  • the camera device performs calibration by detecting parallel lines such as white lines on the road surface.
  • This calibration method cannot be used when there is nothing parallel.
  • the white lines on the road surface are not parallel to each other due to changes in slopes such as slopes and road curves. There are situations where this calibration method cannot be used.
  • the camera device according to one of the embodiments may project two or more straight lines parallel to each other on the road surface during traveling. The camera device may be calibrated based on the projected straight line.
  • the camera device 70 includes projection devices 71a and 71b.
  • the projection devices 71a and 71b are devices that project straight lines parallel to each other on the road surface.
  • the projection devices 71a and 71b are provided near the left and right headlights of the front bumper of the vehicle, and are widened in the vertical direction toward the front when the vehicle is running and narrow in the horizontal direction.
  • a light beam is emitted. By irradiating the light beam toward the road surface, two straight lines parallel to each other are projected on the road surface.
  • the projection apparatuses 71a and 71b are not limited to projecting two parallel lines, and the projection apparatuses 71a and 71b may project other specific patterns including parallel lines.
  • the light emitted from the projection devices 71a and 71b may be any of visible light such as white light, infrared light, and ultraviolet light.
  • the camera device 70 images two parallel lines projected on the road surface with the first camera 11 and the second camera 12.
  • the projection devices 71a and 71b do not need to be divided into two units, and may be a single projection device, for example.
  • the projection device may project two or more parallel lines on the road surface from the center of the front bumper of the vehicle.
  • the projection device is not limited to the bumper of the vehicle, and may be fixed to any position of the vehicle interior, the fender grille, the side fender, the light module, and the bonnet.
  • the camera device 70 is configured in the same manner as the stereo camera device 10 shown in FIG. 2 except for the projection devices 71a and 71b.
  • the projection devices 71a and 71b cooperate with the control unit 16 of the arithmetic device 14 and project two straight lines parallel to each other on the road surface in the calculation mode.
  • the control unit 16 instructs the projection devices 71a and 71b to project two parallel lines.
  • the calibration calculation unit 21 performs calibration according to the same procedure as the flowchart of FIG.
  • the calculation unit 21 calculates a calibration value and updates it.
  • the camera device 70 can calibrate the deviation that occurs over time in the position and orientation of the stereo camera.
  • the camera device 70 can calibrate the stereo camera at any time.
  • the camera device 70 is less likely to be erroneously recognized and has high calibration accuracy even when there are construction marks or building shadows on the road surface.
  • the present disclosure is not limited to the above-described embodiment, and various modifications or changes are possible.
  • the number of cameras mounted on the camera device is not limited to two, and three or more cameras can be used.
  • the processing contents and function sharing between the first and second cameras and the arithmetic device of each embodiment are examples, and processing and function sharing in other modes is also possible.
  • the calibration value is always updated after the mapping step to the three-dimensional coordinate space (step S105), but the first camera and the second camera are mapped to the three-dimensional coordinate space. If the straight lines picked up in (1) are substantially parallel and substantially coincident with each other, it is determined that the update of the calibration value is unnecessary, and it is possible not to perform the processing after step S106.
  • the distance measurement and object recognition methods by the stereo calculation unit are not limited to those described above, and various methods can be applied.
  • the present disclosure is not limited to the use of vehicles such as automobiles, and can be applied to, for example, surveillance cameras, camera devices for monitoring production facilities, remote control robots, unmanned aircraft including drones, and the like.
  • the present invention can be applied to an aircraft flying in a low sky.
  • parallel straight lines can be extracted from various things such as two parallel sides of a box-shaped object such as a building, and a linearly extending passage and wall boundary.
  • descriptions of “image”, “image data”, and “image information” can be understood by changing to other descriptions depending on the situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示の演算装置１４は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出する制御部１６を有する。

Description

演算装置、カメラ装置、車両及びキャリブレーション方法 関連出願の相互参照
　本出願は、２０１５年５月２７日に出願された日本国特許出願２０１５－１０７９６９号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、演算装置、カメラ装置、車両、及び、キャリブレーション方法に関する。
　複数のカメラを用いて被写対象までの距離を算出するステレオカメラ装置がある。例えば、自動車分野では、ステレオカメラ装置を用いて、前方車両及び障害物等までの距離を算出する。算出された距離は、衝突回避のためのドライバへの警告、及び、オートクルーズコントロールのためのアクセル又はブレーキの制御を含む運転支援に活用される。
　ステレオカメラ装置は、２台のカメラの撮像した画像の差から距離を算出する。２台のカメラのアライメントの誤差は、算出する距離に大きな誤差の原因となる。頻繁に較正を行うことが必要となるが、このような高精度の較正を、その都度機械的な調整で行うことは困難である。
　カメラによって撮像された画像に基づいて、自動的にアラインメント誤差を決定し、決定したアラインメント誤差に応じて距離を修正する電子較正方法が提案されている（例えば、特許文献１参照）。この電子較正方法では、ステレオカメラで撮像された右側画像及び左側画像から、走行道路上に互いに平行に標された道路境界のマーキングラインに対応する２つ以上の直線を検出する。この電子較正方法では、次いで、左側画像及び右側画像のそれぞれについて、先の２つの直線が交わる消失点の座標が決定する。この電子較正方法では、消失点の座標を、左側画像と右側画像との間で比較してアラインメント誤差を決定する。
特表２００８－５０９６１９号公報
　本開示の演算装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する。
　本開示のカメラ装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。
　本開示の車両は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。
　本開示のキャリブレーション方法は、被写対象の像を撮像した画像から、被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップとを含む。
図１は、道路上を走行するカメラ装置を搭載した車両を簡略化して示す図である。 図２は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。 図３は、較正演算部における較正値の更新手順を示すフローチャートである。 図４は、カメラの画像から実空間における平行直線を抽出する一例を示す図である。 図５は、左側画像及び右側画像から抽出された、被写対象に含まれる互いに平行な一対の直線に対応する、一対の直線を示す概念図である。 図６は、画像空間上の直線を３次元座標空間へ写像する手順を示すフローチャートである。 図７は、カメラ画像におけるｖ方向のピクセル値と像高ｙとの関係を示す図である。 図８は、画像空間における像高ｙおよび３次元座標空間におけるＺ方向の座標の対応関係を説明する図である。 図９は、カメラ画像におけるｕ方向のピクセル値と像高ｘとの関係を示す図である。 図１０は、被写対象の３次元座標空間におけるＸ座標位置と、カメラへの入射角φとの関係を示す図である。 図１１は、左側画像及び右側画像より抽出され、３次元座標空間に写像された直線を示す概念図である。 図１２は、カメラの光軸の俯角較正後に３次元座標空間に写像された平行直線を示す概念図である。 図１３は、視差ずれ量Δｕの較正後に３次元座標空間に写像される平行直線を示す概念図である。 図１４は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。 図１５は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。 図１６は、複数の実施形態の１つに係るカメラ装置を搭載した車両の外観を簡略化して示す図である。 図１７は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
　特許文献１に記載された較正方法では、撮像された画像に含まれる平行線から消失点を算出しなければならない。このような較正方法では、路面が傾きを有しているような場合には、正確な消失点が得られない。本開示によれば、直線の消失点を算出することなく較正することができる。
　以下、本開示の複数の実施形態について、図面を参照して説明する。
　図１において、車両１の進行方向（図において上方向）をＺ方向とし、車両１の車幅方向（図において左右方向）をＸ方向とし、Ｘ方向及びＺ方向に直交する方向（紙面に直交する方向）をＹ方向とする。本開示において、車両１の進行方向（図において上方向）をＺ方向の正の方向とし、左から右に向かう方向をＸ方向の正の方向とし、地面から空に向かう方向をＹ方向の正の方向とする。
　ここで、本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
　カメラ装置１０は、第１カメラ１１と、第２カメラ１２と、演算装置１４とを含む。第１カメラ１１及び第２カメラ１２の２つのカメラは、車両１の外部を向いて配置され、互いに協働してステレオカメラとして動作する。複数の実施形態の一例において、演算装置１４は、第１カメラ１１および第２カメラ１２に電気的に接続されている。演算装置１４は、画像処理装置を含む。
　ここで、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（１）複数のカメラが同時刻に撮像すること、（２）複数のカメラが同じ信号に基づいて撮像すること、及び（３）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。カメラ装置１０においては、互いに独立する第１カメラ１１及び第２カメラ１２の２台が並んでいる。本開示では、同じ被写対象を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。
　第１カメラ１１及び第２カメラ１２は、固体撮像素子を含む。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１および第２カメラ１２は、レンズ機構を含んでよい。
　第１カメラ１１及び第２カメラ１２の光軸は、同じ被写対象を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２は、互いの光軸が異なる。第１カメラ１１及び第２カメラ１２は、撮像した画像に少なくとも同じ被写対象が含まれるように、光軸及び位置が定められる。第１カメラ１１及び第２カメラ１２の光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１カメラ１１及び第２カメラ１２の光軸は、平行に限られず、互いに異なる方向でよい。
　第１カメラ１１及び第２カメラ１２は、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。第１カメラ１１及び第２カメラ１２は、固定されていても、車両１に対して位置及び向きが変化する場合がある。
　第１カメラ１１及び第２カメラ１２の光軸は、車両１の前方（Ｚ方向）を向いている。カメラ装置１０は、走行中に路面１００上の白線１０１，１０２（区画線）、先行車両、障害物等の種々の被写対象を撮像することができる。第１カメラ１１及び第２カメラ１２の光軸は、Ｚ方向から路面１００側に傾いている。第１カメラ１１及び第２カメラ１２の光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。第１カメラ１１及び第２カメラ１２の光軸の向きは、用途に応じて適宜変更される。
　第１カメラ１１及び第２カメラ１２は、それぞれの光軸に交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両１の車幅方向（Ｘ方向）に沿って位置している。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置し、第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。第１カメラ１１と第２カメラ１２との位置の違いにより、各カメラ１１，１２で撮像した２つの画像において、互いに対応する被写対象の位置は、異なる。第１カメラ１１から出力される左側画像と、第２カメラ１２から出力される右側画像とは、異なる視点から撮像したステレオ画像となる。第１カメラ１１と第２カメラ１２との位置はこれに限られず、複数の実施形態のうちの他の１つにおいて、第１カメラ１１及び第２カメラ１２は、上下方向（Ｙ方向）又はＸＹ平面内の斜め方向に沿って位置してよい。その場合、第１カメラ１１及び第２カメラ１２から出力される画像は、それぞれ上下方向又は斜め方向に視差を有するステレオ画像となる。
　複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、光軸を車両１の前方（Ｚ方向）に向けて、車両１の前側に固定されている。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両１のウインドシールドを介して車両１の外部を撮像できる。複数の実施形態において、第１カメラ１１及び第２カメラ１２は、車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。
　第１カメラ１１及び第２カメラ１２は、それぞれ撮像した画像をデジタルデータとして演算装置１４に出力する。演算装置１４は、第１カメラ１１から出力される左側画像、及び第２カメラ１２から出力される右側画像の各々に対して、種々の処理ができる。演算装置１４が可能な処理には、第１カメラ１１及び第２カメラ１２の標準に対するずれを画像に基づいて較正する処理、及び画像から物体を検出する処理が含まれる。演算装置１４は、左側画像及び右側画像の両方から検出された物体までの距離を算出する。演算装置１４は、物体までの距離を三角測量の原理を含む公知の技術によって算出してよい。
　演算装置１４は、第１カメラ１１及び第２カメラ１２の製造バラツキ、及び取付けずれを含む予定している標準からの違いに起因する画像の違いを較正する処理を行う。演算装置１４は、画像データを画像に展開してから較正する処理、及び画像データを画像に展開する前に較正する処理の少なくとも一方を行ってよい。演算装置１４は、予定している標準に対する経時的な変化を較正するために、画像の較正に用いる較正値を更新する処理を行ってよい。複数の実施形態の１つにおいて、演算装置１４は、較正値を更新する処理を定期的に行ってよい。本明細書で、「較正値」とは、入力された画像データ、又は、画像データから展開された画像を、較正するために用いられるパラメータである。較正値は、標準となるカメラの位置及び向きからのずれを較正するときに利用してよい。本明細書で較正値と較正データは同義である。以下において、この較正値の更新手順についてより詳細に説明する。
　図２において、カメラ装置１０は、第１カメラ１１と、第２カメラ１２と、演算装置１４とを含む。演算装置１４は、入力部１５と、コントローラとしての制御部１６と、出力部１７と、記憶部１８とを含む。演算装置１４は、記憶部１８と別に、入力部１５に入力された画像データを一次保存するためのメモリ等を備えてよい。
　入力部１５は、演算装置１４へ画像データを入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。
　入力部１５には、第１カメラ１１及び第２カメラ１２の各々が撮像した画像の画像データが入力される。入力部１５は入力された画像データを制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、第１カメラ１１及び第２カメラ１２の撮像信号の伝送方式に対応してよい。
　制御部１６は、一つまたは複数のプロセッサを含む。制御部１６もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
　複数の実施形態の１つにおいて、制御部１６は、通常モードと、算出モードとを有する。制御部１６は、通常モードにおいて、入力された画像データに基づいて当該画像中の物体を検出してよい。制御部１６は、通常モードにおいて、検出した物体までの距離を算出しよてい。制御部１６は、算出モードにおいて、入力された画像信号を較正するための較正値を算出する。制御部１６は、異なる複数のモードのいずれかで動作する方式に限られない。制御部１６は、入力された画像信号を較正するための較正値を算出しつつ、物体の検出、及び検出した物体までの距離の算出のいずれかを実行してよい。
　出力部１７は、演算装置１４からデータを出力する出力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、出力部１７は、ＣＡＮ（Control Area Network）等の車両１のネットワークに接続している。演算装置１４は、ＣＡＮを介して車両１の制御装置、及び警報装置等に接続される。演算装置１４は、出力部１７から制御装置、及び警報装置等に出力する。それらの情報は、制御装置、及び警報装置の各々で適宜利用される。
　複数の実施形態の１つにおいて出力部１７は入力部１５と分かれているが、これに限られない。複数の実施形態の１つにおいて、入力部１５および出力部１７は１つの通信部であってよい。この通信部は、カメラ装置１０の通信インタフェースとなる。通信部は、物理コネクタ、及び無線通信機が採用できる。
　記憶部１８は、較正値を記憶する。較正値は、第１較正値（第１較正データ）及び第２較正値（第２較正データ）を含む。記憶部１８は、書き換え可能なメモリを含む。記憶部１８は、フラッシュメモリ、磁気メモリ（ＭＲＡＭ：Magnetoresistive Random Access Memory）、強誘電体メモリ（ＦｅＲＡＭ：Ferroelectric Random Access Memory）などの不揮発性メモリ等を用いることができる。
　複数の実施形態の１つにおける制御部１６の動作についてさらに説明する。複数の実施形態のうちの１つにおいて、制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１を含む。以下に、各部の動作を説明する。較正部１９、ステレオ演算部２０、及び較正演算部２１の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。較正部１９、ステレオ演算部２０、及び較正演算部２１の各々が行える動作を、制御部１６は実行できる。制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１を含む形態に限られず、較正部１９、ステレオ演算部２０、及び較正演算部２１の１つ又は複数が省略されてよい。複数の実施形態のうちの１つにおいて、制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１の全ての動作を実行してよい。較正部１９、ステレオ演算部２０、及び較正演算部２１が行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が較正部１９、ステレオ演算部２０、及び較正演算部２１のいずれかを使役して行う処理は、制御部１６が自ら実行してよい。
　較正部１９は、画像を記憶部１８に格納されている較正値を参照して較正する。較正部１９は、第１カメラ１１及び第２カメラ１２の各々から受信する画像を較正する。較正部１９は、第１カメラ１１及び第２カメラ１２の各々の標準に対するずれを、画像のデータ変換により電子的に較正する。較正部１９は、左側画像及び右側画像を平行等位の画像に変換する。
　較正部１９は、第１カメラ１１及び第２カメラ１２から受信する画像データの各々を較正するときに第１較正値を参照する。較正部１９は、ステレオ画像として左側画像及び右側画像を較正するときに第２較正値を参照する。
　ステレオ演算部２０は、較正部１９で較正された左側画像及び右側画像の視差を求める。ステレオ演算部２０は、左側画像及び右側画像の一方画像を複数の領域に分割する。ステレオ演算部２０は、分割した複数領域の各々と他方画像とをマッチングさせる。ステレオ演算部２０は、左側画像と右側画像とでマッチングした２つの領域の左右方向における座標の違いに基づいて、当該領域の距離を算出する。ステレオ演算部２０は、算出した距離の分布を示す距離画像を生成する。ステレオ演算部２０は、距離が等しい領域が固まっている部分を検出することにより、当該位置に存在する物体を識別する。ステレオ演算部２０は、物体を識別した領域の距離から、識別した物体までの距離を識別する。ステレオ演算部２０が識別する物体には、障害物が含まれる。障害物には、人間、車両、道路標識、建築物、及び植物の少なくとも１つが含まれる。複数の実施形態の１つにおいて、ステレオ演算部２０は、識別した物体と距離画像とを関連付ける。ステレオ演算部２０は、距離画像、識別した物体、および当該物体までの距離の少なくとも１つを含む情報を、出力部１７を介して出力する。複数の実施形態の１つにおいて、ステレオ演算部２０は、リアルタイムで処理を実行する。ステレオ演算部２０は、視差画像に基づいて道路形状を認識してよい。
　較正演算部２１は、カメラから受信した画像データを較正する第１較正値を算出する。較正演算部２１は、第１カメラ１１及び第２カメラ１２から受信した左側画像および右側画像を較正する第１較正値を算出する。較正演算部２１は、較正した左側画像および右側画像に基づいて、左側画像および右側画像をステレオ画像として較正するときの第２較正値を算出する。較正演算部２１は、記憶部１８に記憶された較正値を更新する。
　以下に、演算部２１の処理について図３のフローチャートを用いて説明する。図３のフローの各処理は、制御部１６が実行すると言い換えてよい。
　まず、較正演算部２１は、較正部１９から現在の較正値で較正された第１カメラ１１による左側画像および第２カメラ１２による右側画像を、それぞれ取得する（ステップＳ１０１）。次に、較正演算部２１は、取得した左側画像及び右側画像に対して、それぞれ、微分フィルタ処理を行う（ステップＳ１０２）。微分フィルタ処理により、それぞれの画像は、輝度値の変化の大きい部分が強調される。輝度値の変化の大きい部分が強調されることで、それぞれの画像は、画像内の被写対象のエッジが強調される。さらに、較正演算部２１は、微分フィルタ処理を行った画像に対して、２値化処理を行う（ステップＳ１０３）。２値化処理が行われることで、それぞれの画像のエッジは、鮮鋭化される。較正演算部２１は、エッジが鮮鋭化された画像からエッジを抽出する。
　次に、較正演算部２１は、エッジが鮮鋭化された左側画像および右側画像の各々から、実空間の被写対象において互いに平行な複数の直線に対応する画像内の線から複数の点を抽出する（ステップＳ１０４）。較正演算部２１は、左側画像および右側画像の各々から、実空間における同一の直線に対応する線から点を抽出する。較正演算部２１が抽出する点の数は、２点以上である。複数の実施形態において、較正演算部２１は、１００点を抽出する。本開示において、較正演算部２１が抽出した複数の点を「点群」と呼ぶ場合がある。較正演算部２１は、点群を抽出することによって、実質的に点群を含む線を抽出する。較正演算部２１が抽出する対象は、点に限られず、線を抽出してよい。道路上を走行する車両の場合、較正演算部２１は、路面上の白線を含む区画線、道路と歩道との境界線、及び道路と中央分離帯との境界線などの、互いに平行な線に対応する点群を抽出する。軌道を走行する車両の場合、較正演算部２１は、互いに平行な軌道に対応する点群を抽出する。ここで、本明細書において「３次元座標空間」とは、カメラによって撮像された画像に基づいて３次元化した仮想空間を意味する。
　図４において、互いに平行な直線は、同一の平面上に位置する直線から抽出することができる。同一の平面は、車両１の走行する地上部分である路面（ＸＺ平面）であってよい。現実の路面１００上には、走行車線と路側帯との間の白線１０１と、走行車線間の白線１０２が標されている区間がある。較正演算部２１は、例えば、白線１０１および１０２のそれぞれの右側のエッジである直線１０３及び直線１０４から点を抽出する。なお、図５及び以下の図１１，１２，１３において、説明のために、左側画像から抽出する点の集合およびその写像線を実線で示し、右側画像から抽出する点の集合およびその写像線を破線で示す。この例において、白線１０１及び白線１０２は、車両１の前方において遠方まで直線的に延びているが、白線は部分的に真っ直ぐな区分があればよい。較正演算部２１は、道路のカーブに起因する曲がった区間を含む白線のうち、真っ直ぐな部分から抽出してよい。続いて、較正演算部２１は、他の処理を行う。
　図５の概念図において、左側画像及び右側画像の各々から抽出する点の集合を実線および破線で示す。これらの実線及び破線は、例えば、被写対象である実空間において互いに平行な一対の直線に対応する。直線１０３，１０４に対応して、左側画像ＩＬから抽出された直線状の点群を１０３Ｌ，１０４Ｌとし、右側画像ＩＲから抽出された直線状の点群を１０３Ｒ，１０４Ｒとする。このとき、画像の原点（０，０）を左上隅とし、各画像の右方向をｕ方向、下方向をｖ方向とする。座標（ｕ，ｖ）は、原点（０，０）からの画素値で表される。以下において、このような２次元座標空間を画像空間と呼ぶ。左側画像ＩＬの点群１０３Ｌと１０４Ｌとの組、及び、右側画像ＩＲの点群１０３Ｒと１０４Ｒとの組の各々は、ｖ方向の座標が大きくなるにつれてｕ方向の間隔が広がっている。
　較正演算部２１は、左側画像ＩＬ及び右側画像ＩＲ画像空間の２次元座標において直線状となる点群１０３Ｌ，１０４Ｌ及び点群１０３Ｒ，１０４Ｒを、３次元座標空間へ写像する（ステップＳ１０５）。図６は、画像空間上の点群を３次元座標空間へ写像する手順を示すフローチャートである。ここで、「写像する」とは、２次元の画像空間上の点及び線を含む要素を、３次元座標空間へ座標変換することにより実空間の座標に対応付けることを意味する。較正演算部２１は、抽出した左側画像ＩＬ及び右側画像ＩＲの点群を、実空間と同様の（Ｘ，Ｙ，Ｚ）座標系に、現在の較正値を用いて座標変換する。実空間では、例えば、路面のＹ座標を０とする。この例では、路面１００上にある白線１０１，１０２は、Ｙ座標が０となる。
　較正演算部２１は、左側画像ＩＬの点群１０３Ｌ及び１０４Ｌの各抽出点、および、右側画像ＩＲの点群１０３Ｒ及び１０４Ｒの各抽出点について、順に以下の手順を行う（ステップＳ２０１）。以下のステップＳ２０２及びＳ２０３では、左側画像についての座標変換についてのみ説明するが、右側画像についても同様の処理を行う。
　まず、第１の座標変換として、較正演算部２１は、抽出点Ｐｉのｖ座標を３次元座標空間のＺ座標へ変換する（ステップＳ２０２）。以下にその原理を説明する。図７において、（ｕ０，ｖ０）は、第１カメラ１１の光軸上の点であり、画像空間の中心を示す。これに対して、抽出点の画像空間におけるｖ方向の座標値ｖ（ピクセル値）から、画像空間における抽出点の像高ｙ（ｍｍ；ミリメートル）を求めると、次式のようになる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｐは抽出点に対応する第１カメラ１１の画素ピッチである。
　次に、画像空間における像高ｙを、抽出点からの光が第１カメラ１１へ入射する際のＹＺ面内の入射角θに変換する。図８に示すように、ピンホールモデルにより較正されている場合、第１カメラ１１のレンズの中心から受光面までの距離はレンズの焦点距離ｆに調整される。したがって、入射角θは次の式で表される。
Figure JPOXMLDOC01-appb-M000002
　さらに、ＨＣを第１カメラ１１の路面からの高さとするとき、図８に示される幾何関係より、次の数式（３）の関係式が成立する。
Figure JPOXMLDOC01-appb-M000003
　ここで、カメラの設置角度であるカメラの光軸の俯角（カメラの光軸と路面（ＸＺ平面）との成す角度であって、水平方向を基準としたから下方向の角度）θＣは、実空間において抽出された互いに平行な直線１０３、１０４を含む平面（即ち、路面１００）と、対応する第１カメラ１１の光軸との成す角度である。第１カメラ１１及び第２カメラ１２は、出荷時にチャートパターン等を用いて高精度に較正されている。俯角θＣの値としては、工場出荷時の較正値、及び、前回の算出モードの処理により更新された較正値が、記憶部１８に記憶されている。
　上記数式（１）、（２）、（３）を整理することにより、画像空間のｖ座標から３次元座標空間のＺ座標への変換式が次のように得られる。
Figure JPOXMLDOC01-appb-M000004
 　較正演算部２１は、ステップＳ２０２において、数式（４）に従い抽出点Ｐｉのｖ座標を３次元座標空間のＺ座標へ変換する。
　次に、図６のフローチャートに戻り、第２の座標変換として、較正演算部２１は、抽出点のｕ座標および３次元座標空間におけるＺ座標から３次元座標空間のＸ座標への変換を行う（ステップＳ２０３）。以下にその原理を説明する。図９において、（ｕ０，ｖ０）は画像空間の中心を示し、対応する第１カメラ１１の光軸上の点である。これに対して、抽出点Ｐｉの画像空間における座標値ｕ（ピクセル値）から、画像空間における抽出点のｕ方向の像高ｘ（ｍｍ）を求めると、次式のようになる。
Figure JPOXMLDOC01-appb-M000005
　また、画像空間における像高ｘを、抽出点Ｐｉからの光の第１カメラ１１へのＸＺ面内の入射角φに変換する。ピンホールモデルにより較正されている場合、入射角φは次の式で表される。
Figure JPOXMLDOC01-appb-M000006
　さらに、図１０から、３次元座標空間の座標Ｚ及び入射角φと３次元座標空間の座標Ｘとは次の幾何関係を有する。
Figure JPOXMLDOC01-appb-M000007
　上記数式（５）、（６）、（７）を整理することにより、画像空間のｕ座標と３次元座標空間のＺ座標から３次元座標空間のＸ座標への変換式が次のように得られる。
Figure JPOXMLDOC01-appb-M000008
 　較正演算部２１は、ステップＳ２０３において、数式（８）に従い抽出点のｕ座標および３次元座標空間におけるＺ座標から３次元座標空間のＸ座標へ変換の変換を行う。
　以上のように、較正演算部２１は、数式（４）及び数式（８）を用いることにより、画像空間の点（ｕ，ｖ）を３次元座標空間の点（Ｘ，０，Ｚ）に写像することができる。
　以下、較正演算部２１は、左側画像及び右側画像の全ての抽出点について、ステップＳ２０２及びステップＳ２０３を実行する（ステップＳ２０１，Ｓ２０４）。全ての抽出点についての写像が完了すると、図６のフローチャートを終了し、図３のフローチャートに戻る。
　なお、較正演算部２１は、第１カメラ１１と第２カメラ１２との左右の位置の違いによる画像空間の同一物体の位置ずれを３次元座標空間への写像により較正する。第１カメラ１１及び第２カメラ１２の双方で撮像した画像に含まれる同一の直線は、画像空間から３次元座標空間に写像すると、理想的には同一の位置に写像される。
　以下に、第１カメラ１１及び第２カメラ１２の水平方向に対する俯角θＣ及びカメラの撮像素子とレンズの光軸の相対位置にずれが生じている場合の較正について説明する。図１１は、左側画像ＩＬ及び右側画像ＩＲより抽出された点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒを、それぞれ３次元座標空間に写像した複数の写像点から算出される近似直線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒを示す概念図である。近似曲線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。較正演算部２１は、複数の写像点が集合する各近似直線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒを、最小二乗法などを用いて決定する。また、図１１では、説明のために直線間のずれと傾きを強調して示している。
　路面１００上での平行な白線１０１のエッジである直線１０３及び白線１０２のエッジである直線１０４に対応する近似直線１０５Ｌと近似直線１０６Ｌとの対及び近似直線１０５Ｒと近似直線１０６Ｒとの対がそれぞれ非平行となり、同じ直線に対応する近似直線１０５Ｌと近似直線１０５Ｒとの対及び近似直線１０６Ｌと近似直線１０６Ｒとの対が、それぞれ重ならないのは、記憶部１８に記憶されている較正値により較正される状態からの新たなずれにより、記憶部１８に記憶されている較正値によって較正できなくなったことに起因する。
　以下において、較正演算部２１は、３次元座標空間に写像された近似直線１０５Ｌと近似直線１０６Ｌとの対及び近似直線１０５Ｒと近似直線１０６Ｒとの対が平行となり、且つ、３次元座標空間に写像された近似直線１０５Ｌと近似直線１０５Ｒとの対及び近似直線１０６Ｌと近似直線１０６Ｒとの対が重なり合うように調整することにより、新たな較正値を算出する。較正演算部２１は、算出した新たな較正値を、新たな較正値として更新する。
　まず、較正演算部２１は、近似直線１０５Ｌ及び近似直線１０６Ｌの傾きを算出する（ステップＳ１０６）。また、近似直線１０５Ｒ及び近似直線１０６Ｒについても、同様に傾きを算出する（ステップＳ１０６）。
　次に、較正演算部２１は、近似直線１０５Ｌ及び近似直線１０６Ｌが互いに平行となるように、数式（４）及び数式（８）から、第１カメラ１１の変動パラメータであるカメラ光軸の俯角を調整してその較正値θＣＬを決定する（ステップＳ１０７）。複数の実施形態のうちの１つにおいて、較正演算部２１は、近似直線１０５Ｌ，１０６ＬがＺ軸に平行になるように俯角を調整して、較正値θＣＬを決定する。第２カメラ１２についても同様にカメラの光軸の俯角の較正値θＣＲを決定する（ステップＳ１０７）。ここで、工場出荷時の較正値として、記憶部１８には、工場出荷時に設定され予め規定された第１カメラ１１及び第２カメラ１２の取付け俯角を、カメラの光軸の俯角の基準値として記憶しておくことができる。較正演算部２１は、この基準値を基準にカメラの光軸の俯角を調整して較正値θＣＬおよびθＣＲを決定することができる。俯角の較正値θＣＬおよびθＣＲは、第１カメラ１１及び第２カメラ１２から受信する画像データの各々を較正するときに参照する第１較正値となる。
　第１カメラ１１及び第２カメラ１２の光軸の俯角の較正値θＣＬ，θＣＲを決定すると、較正演算部２１は、左側画像ＩＬ及び右側画像ＩＲから抽出した点群を、新たな較正値θＣＬ及びθＣＲを用いて３次元座標空間に写像する（ステップＳ１０８）。３次元座標空間への写像は、ステップＳ１０５と同様に、図６に示したフローチャートに従い実行する。
　図１２において、近似曲線１０７Ｌ，１０７Ｒ，１０８Ｌ，１０８Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。被写対象の互いに平行な直線である白線１０１のエッジである直線１０３及び１０２のエッジである直線１０４にそれぞれ対応する近似直線１０７Ｌと近似直線１０８Ｌとは互いに平行となる。同様に、近似直線１０７Ｒと近似直線１０８Ｒとは、互いに平行となる。一方、被写対象の同一の直線すなわち、白線１０１のエッジである直線１０３に対応する近似直線１０７Ｌと近似直線１０７Ｒとは、互いに平行でＸ方向にずれた位置に写像されている。また、もう一方の被写対象内で同一の直線すなわち、白線１０２のエッジである直線１０４に対応する近似直線１０８Ｌと近似直線１０８Ｒとは、互いに平行でＸ方向にずれた位置に写像されている。
　次に、較正演算部２１は、ステップＳ１０８により、左側画像から３次元座標空間に写像された近似直線１０７Ｌ，１０８Ｌと右側画像から３次元座標空間に写像された近似直線１０８Ｒ，１０８Ｒとの位置をそれぞれ比較する（ステップＳ１０９）。
　さらに、較正演算部２１は、写像された近似直線１０７Ｌと近似１０７Ｒとの組、及び近似直線１０８Ｌと近似直線１０８Ｒとの組が各々において一致するように、視差ずれ量Δｕ（較正データ）を算出する（ステップＳ１１０）。視差ずれ量Δｕは、第１カメラ１１及び第２カメラ１２から受信する画像データをステレオ画像として較正するときに参照する第２較正値となる。視差ずれ量Δｕとは、第１カメラ１１と第２カメラ１２との間の経時的な位置ずれの差分である。左側画像の座標及び右側画像の画像空間におけるｕ座標を、視差ずれ量Δｕに相当する画素量だけ相対的にずらすことにより、左側画像と右側画像との間で視差ずれを無くすことができる。
　図１３において、近似曲線１０９Ｌ，１０９Ｒ，１１０Ｌ，１１０Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。被写対象の同一の白線１０１のエッジの直線１０３に対応する、近似直線１０９Ｌと近似直線１０９Ｒとを一致させることができる。また、被写対象の同一の白線１０２のエッジの直線１０４に対応する近似直線１１０Ｌと近似直線１１０Ｒをそれぞれ一致させることができる。
　最後に、較正演算部２１は、更新された第１カメラ１１及び第２カメラ１２の光軸の俯角の較正値θＣＬ，θＣＲ及び左側画像及び右側画像間の視差ずれ量の較正値Δｕを記憶部１８に保存することにより較正値を更新し（ステップＳ１１１）、較正値の更新処理を終了する。視差ずれ量の較正値Δｕに代えて、左側画像及び右側画像それぞれの光軸上の座標ｕ０を視差ずれ量Δｕに対応して相対的にずらしてｕ０Ｌ，ｕ０Ｒとし、これらを較正値として保存してよい。
　記憶部１８の較正値が更新されると、較正部１９は、次回の較正値の更新処理まで、更新された較正値θＣＬ，θＣＲ及びΔｕを用いて、第１カメラ１１から入力される左側画像及びカメラ１２から入力される右側画像（ステレオ画像）の較正を行い、構成した左側画像及び右側画像をステレオ演算部２０に出力する。制御部１６は、一定時間ごとに、あるいは、演算装置１４が起動及び終了の少なくとも一方の時期に、較正演算部２１により較正値の更新を自動的に行わせてよい。制御部１６は、手動操作もしくは他の機器から入力された信号に基づいて、較正値の更新を行ってよい。
　以上説明したように、本実施形態のカメラ装置１０によれば、平行直線の消失点を求めることなく、較正を行うことができる。カメラ装置１０は、被写対象の互いに平行な直線を撮像して得られた画像空間の線を、３次元座標空間で互いに平行な直線となるように変換する。このとき、第１カメラ１１及び第２カメラ１２の光軸の俯角θＣを補正することにより、路面の傾きが加味された形で較正が行われるので、路面が傾斜した坂道などを走行する場合にも、較正精度が劣化せず良好な較正を行うことができる。
　複数の実施形態の１つにおいて、カメラ装置１０は、使用環境にて較正することが可能できる。複数の実施形態の１つにおいて、カメラ装置１０は、デジタル処理により較正することが可能である。複数の実施形態の１つにおいて、カメラ装置１０は、使用者への負荷が少ない。複数の実施形態の１つにおいて、カメラ装置１０は、使用環境にて較正値の更新が可能なので、精度の維持が容易となる。
　カメラ装置１０は、視差ずれ量Δｕ（較正データ）を算出して、２台のカメラの撮像素子とレンズの光軸の相対的な位置ずれの差分を較正している。撮像素子とレンズの光軸との位置ずれは、小さなずれ量であっても、距離測定において大きな誤差を生じる。カメラ装置１０は、簡単な演算により較正値の更新が可能であるので、距離の測定精度の維持が容易となる。
　複数の実施形態の１つに係る図１４のカメラ装置３０は、第１カメラ３１、第２カメラ３２及び演算装置３７を備える。
　第１カメラ３１および第２カメラ３２は、それぞれ、撮像部３４ａ，３４ｂ、一次較正部３５ａ，３５ｂ、及び一次較正値メモリ３６ａ，３６ｂを備える。第１カメラ３１及び第２カメラ３２は、工場出荷時等にチャートパターン等を用いて正確に較正され、その較正値が一次較正値として一次較正値メモリ３６ａ，３６ｂに格納されている。この一次較正値は図１から図１３に示した実施形態と同様の較正値を用いることができる。一次較正部３５ａ、３５ｂは、撮像部３４ａ，３４ｂで撮像された画像を、一次較正値メモリ３６ａ，３６ｂの一次較正値に基づいて較正し、演算装置３７の入力部１５に送信する。一次較正値は、基本的に固定値であり、書き換えを行わない。
　演算装置３７は、入力部１５、制御部３８、二次記憶部４１及び出力部１７を備える。制御部３８は、それぞれ図２に示した実施形態の較正部１９、較正演算部２１に代えて二次較正部３９、較正演算部４０を備える。その他の構成は、図２に示した実施形態と同様とする。算出モードにおいて、二次較正部３９は、第１カメラ３１及び第２カメラ３２から受信した画像に対して、二次較正を行う。二次較正は、一次較正済みの画像に対して、工場出荷後の経時変化や振動衝突等によって生じたずれを補正するものである。較正演算部４０は、一次較正済みの左側画像及び右側画像に対して、図１から図１３に示した実施形態と同様の較正値の更新処理を行う。これによって、二次記憶部４１に格納される付加的な較正のための較正値を二次較正値として更新することができる。
　したがって、本実施形態によれば、図１から図１３に示した実施形態と同様に、良好に較正を行うことが可能になる。また、本実施形態のカメラ装置３０においても、消失点を算出する必要が無い。
　複数の実施形態の１つに係る図１５のカメラ装置５０は、第１カメラ５１、第２カメラ５２及び演算装置５７を備える。
　第１カメラ５１および第２カメラ５２は、図１４に示した実施形態の第１カメラ３１及び第２カメラ３２と類似し、それぞれ、撮像部５４ａ，５４ｂ、較正部５５ａ，５５ｂ、及び較正値メモリ５６ａ，５６ｂを備える。較正値メモリ５６ａ，５６ｂについては、図１４に示した実施形態の一次較正値メモリ３６ａ，３６ｂとは異なり、演算装置５７からの信号により書き換え可能である。
　演算装置５７は、通信部５８、制御部５９及び出力部１７を備える。通信部５８は、図１から図１３に示した実施形態の入力部１５と同様に第１カメラ５１及び第２カメラ５２からの画像信号を受け取るとともに、第１カメラ５１及び第２カメラ５２の較正値メモリ５６ａ及び５６ｂに対して書き換え信号を出力することができる。制御部５９は、較正演算部６０とステレオ演算部２０とを含む。出力部１７及びステレオ演算部２０は、図１から図１３に示した実施形態の出力部１７及びステレオ演算部２０と同様に動作する。
　算出モードにおいて、較正演算部６０は、図２に示した実施形態の較正演算部２１と同様に、左側画像及び右側画像から較正値を算出することができる。較正演算部６０が算出した較正値は、通信部５８を介して第１カメラ５１及び第２カメラ５２の較正値メモリ５６ａ及び５６ｂに送信され、較正値を更新する。
　一方、通常モードでは、第１カメラ５１及び第２カメラ５２が較正済みの画像を演算装置５７に送信する。演算装置５７では、ステレオ演算部２０により、画像内の測定対象物の検出及び距離計算等の処理を実行し出力する。
　本実施形態によれば、図１から図１３に示した実施形態と同様の効果が得られる。また、画像の較正をカメラ側で実行させることができる。
　上記各実施形態では、カメラ装置は路面上の白線等の平行線を検出して較正を行っている。この較正方法は、平行なものが無い場合に使用できない。路面上の白線は、坂道などの勾配の変化、道路のカーブによって、左右の白線は、平行にならない。この較正方法は、使用できない状況がある。複数の実施形態の１つに係るカメラ装置は、走行中に路面上に互いに平行な２本以上の直線を投影してよい。カメラ装置は、投影した直線に基づいて較正してよい。
　複数の実施形態の１つに係るカメラ装置７０を図１６、図１７を用いて説明する。図１７に示すように、カメラ装置７０は、投影装置７１ａ，７１ｂを有する。投影装置７１ａ，７１ｂは、道路路面上に互いに平行な直線を投影する装置である。例えば、投影装置７１ａ、７１ｂは、図１６に示すように車両のフロントバンパーの左右のヘッドライトの近くに設けられ、車両の走行時に前方に向けて上下方向に広がりを有し左右方向に幅の狭い光線を射出する。この光線を、路面に向けて照射することにより、道路路面上に互いに平行な２本の直線を映し出す。投影装置７１ａ，７１ｂ画投影するのは平行な２本線に限られず、投影装置７１ａ，７１ｂは平行線を含む他の特定のパターンを投影してよい。投影装置７１ａ、７１ｂの射出する光は、白色光等の可視光、赤外光、及び紫外光等のいずれでよい。カメラ装置７０は、路面に投影された互いに平行な２本の線を第１カメラ１１及び第２カメラ１２により撮像する。投影装置７１ａ、７１ｂは、２台に分かれている必要はなく、例えば、一台の投影装置であってよい。投影装置は、車両のフロントバンパーの中央から、２本以上の平行線を路面上に投影してよい。投影装置は、車両のバンパーに限られず、車室内やフェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかの位置に固定されていてよい。
　図１７のブロック図に示すように、カメラ装置７０は、投影装置７１ａ、７１ｂを除き、図２に示したステレオカメラ装置１０と同様に構成され、ステレオカメラ１０と同一又は対応する構成要素には図２と同じ参照符号を付している。投影装置７１ａおよび７１ｂは、演算装置１４の制御部１６と連携しており、算出モードにおいて、路面上に互いに平行な２本の直線を投影する。例えば、算出モードにおいて、制御部１６が投影装置７１ａ，７１ｂに指示して平行な２本の線を投影させるようにする。第１カメラ１１及び第２カメラ１２が、投影装置７１ａ及び７１ｂにより投影された互いに平行な２本の直線を路面に撮像すると、較正演算部２１は、図３のフローチャートと同様の手続きにより、較正演算部２１が較正値を算出し、これを更新する。
　カメラ装置７０は、ステレオカメラの位置及び向きに経時的に発生するずれを較正することが可能になる。カメラ装置７０は、任意の時期でステレオカメラを較正することができる。カメラ装置７０は、路面上に工事の跡や建物の影等が有る場合でも、誤認識する可能性がより低く、較正の精度が高い。
　なお、本開示は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、カメラ装置に実装されるカメラの数は２つに限られず、３台以上のカメラを用いることも可能である。各実施形態の第１及び第２カメラと演算装置の処理内容と機能分担は、例示であり、他の態様での処理及び機能分担も可能である。例えば、図３のフローチャートにおいて、３次元座標空間への写像ステップ（ステップＳ１０５）の後に、必ず較正値の更新を実行しているが、３次元座標空間へ写像した結果第１カメラ及び第２カメラで撮像された直線が略平行且つ概ね一致していれば、較正値の更新は不要と判断し、ステップＳ１０６以降の処理を行わないようにすることもできる。ステレオ演算部による距離測定および物体の認識方法は、上記のものに限られず、種々の方法を適用することができる。さらに、本開示は自動車等の車両用途に限られず、例えば、監視カメラ、生産設備をモニターするカメラ装置、遠隔操作型のロボット、ドローンを含む無人航空機等にも適用することができる。あるいは、高さ測定が可能ならば、低空を飛行する飛行体に対して適用することもできる。それらの場合、平行な直線は、建造物等箱型の物体の平行な２辺や直線的に延びる通路と壁の境界等、種々のものから抽出することができる。本出願において、「画像」、「画像データ」、及び「画像情報」という記載は、状況に応じて他の記載に変えて理解することができる。
　１　　車両
　１０，３０，５０，７０　　カメラ装置
　１１，３１，５１　　第１カメラ
　１２，３２，５２　　第２カメラ
　１４，３７，５７　　演算装置
　１５　　入力部
　１６，３８，５９制御部（コントローラ）
　１７　　出力部
　１８　　記憶部
　１９　　較正部
　２０　　ステレオ演算部
　２１，４０，６０：較正演算部
　３４ａ，３４ｂ，５４ａ，５４ｂ　　撮像部
　３５ａ，３５ｂ　　一次較正部
　３６ａ，３６ｂ　　一次較正値メモリ
　３９　　二次較正部
　４１　　二次記憶部
　５８　　通信部
　５５ａ，５５ｂ　　較正部
　７１ａ，７１ｂ　　投影装置
　１００　　路面
　１０１，１０２　　白線
　１０３，１０４　　直線　１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒ　　点群
　１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒ　　近似曲線
　１０７Ｌ，１０７Ｒ，１０８Ｌ，１０８Ｒ　　近似曲線
　１０９Ｌ，１０９Ｒ，１１０Ｌ，１１０Ｒ　　近似曲線
 

Claims (13)

  1. 　被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置。
  2. 　請求項１に記載の演算装置であって、
    　前記コントローラは、
    　　前記第１の較正データを算出する際に、前記複数の線の各々を３次元座標空間に写像し、
    　　写像した複数の前記写像線が互いに平行になる前記第１の較正データを算出する、演算装置。
  3. 　請求項１又は２に記載の演算装置であって、
    　前記コントローラは、前記画像から、前記被写対象において１つの平面上に位置する前記互いに平行な直線に対応する前記複数の線を抽出する、演算装置。
  4. 　請求項３に記載の演算装置であって、
    　前記コントローラは、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正する、演算装置。
  5. 　請求項１から４のいずれかに記載の演算装置であって、
    　前記コントローラは、
    　　互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、
    　　前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出する、演算装置。
  6. 　請求項５に記載の演算装置であって、
    　前記コントローラは、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する、演算装置。
  7. 　被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
    　前記被写対象の像を撮像する１又は複数のカメラと、
    を含む、カメラ装置。
  8. 　被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
    　前記被写対象の像を撮像する１又は複数のカメラと、
    を含む、車両。
  9. 　請求項８に記載の車両であって、
    　前記１又は複数のカメラは、当該車両の外部を向いている、車両。
  10. 　請求項８又は９に記載の車両であって、
    　前記コントローラは、前記複数のカメラの取付け俯角を基準値として前記第１の較正データに基づいて較正する、車両。
  11. 　請求項８から１０のいずれかに記載の車両であって、
    　前記コントローラは、前記画像の地上部分から前記複数直線を抽出する、車両。
  12. 　被写対象の像を撮像した画像から、被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、
    　前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと
    を含むキャリブレーション方法。
  13. 　請求項１２に記載のキャリブレーション方法に従い互いに視差を有する複数の画像のそれぞれに前記第１の較正データを算出するステップと、
    　前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップと
    を含むキャリブレーション方法。
     
PCT/JP2016/002560 2015-05-27 2016-05-26 演算装置、カメラ装置、車両及びキャリブレーション方法 WO2016189878A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16799589.3A EP3306267B1 (en) 2015-05-27 2016-05-26 Arithmetic logic device, camera device, vehicle and calibration method
US15/576,781 US10373338B2 (en) 2015-05-27 2016-05-26 Calculation device, camera device, vehicle, and calibration method
JP2017507018A JP6159905B2 (ja) 2015-05-27 2016-05-26 演算装置、カメラ装置、車両及びキャリブレーション方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015107969 2015-05-27
JP2015-107969 2015-05-27

Publications (1)

Publication Number Publication Date
WO2016189878A1 true WO2016189878A1 (ja) 2016-12-01

Family

ID=57392682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002560 WO2016189878A1 (ja) 2015-05-27 2016-05-26 演算装置、カメラ装置、車両及びキャリブレーション方法

Country Status (4)

Country Link
US (1) US10373338B2 (ja)
EP (1) EP3306267B1 (ja)
JP (1) JP6159905B2 (ja)
WO (1) WO2016189878A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN107563326A (zh) * 2017-08-31 2018-01-09 京东方科技集团股份有限公司 一种行车辅助方法、行车辅助装置和车辆
EP3383038A1 (en) * 2017-03-29 2018-10-03 Imagination Technologies Limited Camera calibration
CN108734741A (zh) * 2017-04-18 2018-11-02 松下知识产权经营株式会社 摄像头校正方法、摄像头校正程序以及摄像头校正装置
JP2020012735A (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置
WO2020105499A1 (ja) * 2018-11-20 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2021522507A (ja) * 2018-05-04 2021-08-30 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 光電センサの角度位置を測定するための方法、および試験台

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
CN108348134B (zh) * 2016-02-10 2020-05-19 奥林巴斯株式会社 内窥镜系统
CN108496138B (zh) * 2017-05-25 2022-04-22 深圳市大疆创新科技有限公司 一种跟踪方法及装置
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US10529128B1 (en) * 2018-04-27 2020-01-07 Facebook Technologies, Llc Apparatus, system, and method for mapping a 3D environment
CN108647638B (zh) * 2018-05-09 2021-10-12 东软睿驰汽车技术（上海）有限公司 一种车辆位置检测方法及装置
CN109084804B (zh) * 2018-08-21 2020-11-10 北京云迹科技有限公司 机器人定位精准度判定处理方法及装置
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
CN109712196B (zh) * 2018-12-17 2021-03-30 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质
DE102019207982A1 (de) * 2019-05-31 2020-12-03 Deere & Company Sensoranordnung für ein landwirtschaftliches Fahrzeug
CN110675016B (zh) * 2019-08-08 2020-04-07 北京航空航天大学 一种基于端边云架构的矿车无人驾驶运输系统云智能调度系统及充电方法
CN111141311B (zh) * 2019-12-31 2022-04-08 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统
JP7457574B2 (ja) * 2020-05-21 2024-03-28 株式会社Subaru 画像処理装置
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置
JP3600378B2 (ja) * 1996-07-24 2004-12-15 本田技研工業株式会社 車両の外界認識装置
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2015190921A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車両用ステレオ画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
AU2003248269A1 (en) * 2002-07-12 2004-02-02 Iwane Laboratories, Ltd. Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device
WO2004106856A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
FR2874300B1 (fr) 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
JP5188452B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US9245345B2 (en) * 2011-06-29 2016-01-26 Nec Solution Innovators, Ltd. Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3600378B2 (ja) * 1996-07-24 2004-12-15 本田技研工業株式会社 車両の外界認識装置
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2015190921A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車両用ステレオ画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3306267A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
US10609281B2 (en) 2017-03-29 2020-03-31 Imagination Technologies Limited Camera calibration
EP3383038A1 (en) * 2017-03-29 2018-10-03 Imagination Technologies Limited Camera calibration
CN108696745A (zh) * 2017-03-29 2018-10-23 畅想科技有限公司 相机校准
CN108696745B (zh) * 2017-03-29 2021-08-17 畅想科技有限公司 相机校准
CN108734741A (zh) * 2017-04-18 2018-11-02 松下知识产权经营株式会社 摄像头校正方法、摄像头校正程序以及摄像头校正装置
CN107563326A (zh) * 2017-08-31 2018-01-09 京东方科技集团股份有限公司 一种行车辅助方法、行车辅助装置和车辆
JP7130059B2 (ja) 2018-05-04 2022-09-02 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 光電センサの角度位置を測定するための方法、および試験台
JP2021522507A (ja) * 2018-05-04 2021-08-30 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 光電センサの角度位置を測定するための方法、および試験台
WO2020017334A1 (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置
JP2020012735A (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置
JP7219561B2 (ja) 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
WO2020105499A1 (ja) * 2018-11-20 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JPWO2020105499A1 (ja) * 2018-11-20 2021-10-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7308227B2 (ja) 2018-11-20 2023-07-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11836945B2 (en) 2018-11-20 2023-12-05 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP6159905B2 (ja) 2017-07-05
EP3306267A1 (en) 2018-04-11
US20180165833A1 (en) 2018-06-14
EP3306267B1 (en) 2020-04-01
JPWO2016189878A1 (ja) 2017-08-24
EP3306267A4 (en) 2019-01-23
US10373338B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
JP6159905B2 (ja) 演算装置、カメラ装置、車両及びキャリブレーション方法
US10558867B2 (en) Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
US11143514B2 (en) System and method for correcting high-definition map images
US10916035B1 (en) Camera calibration using dense depth maps
US11555903B1 (en) Sensor calibration using dense depth maps
JP6141562B1 (ja) 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
JP6121641B1 (ja) 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
WO2017068792A1 (ja) 視差算出装置、ステレオカメラ装置、車両および視差算出方法
JP2018088092A (ja) 画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法
US20240046491A1 (en) System and Method of Automatic Image View Alignment for Camera-Based Road Condition Detection on a Vehicle
US20230215026A1 (en) On-vehicle spatial monitoring system
US20230136871A1 (en) Camera calibration
CN112912944B (zh) 图像处理装置、摄像头、移动体以及图像处理方法
US20210358159A1 (en) Image processing apparatus, imaging apparatus, mobile body, and image processing method
JP2013161188A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16799589

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507018

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15576781

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016799589

Country of ref document: EP