WO2017145945A1 - ステレオカメラ装置、車両および視差算出方法 - Google Patents

ステレオカメラ装置、車両および視差算出方法 Download PDF

Info

Publication number
WO2017145945A1
WO2017145945A1 PCT/JP2017/005969 JP2017005969W WO2017145945A1 WO 2017145945 A1 WO2017145945 A1 WO 2017145945A1 JP 2017005969 W JP2017005969 W JP 2017005969W WO 2017145945 A1 WO2017145945 A1 WO 2017145945A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
focal length
optical system
imaging optical
Prior art date
Application number
PCT/JP2017/005969
Other languages
English (en)
French (fr)
Inventor
直人 大原
河野　健治
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2018501642A priority Critical patent/JPWO2017145945A1/ja
Priority to US16/079,320 priority patent/US11703326B2/en
Priority to CN201780012446.8A priority patent/CN108700414A/zh
Publication of WO2017145945A1 publication Critical patent/WO2017145945A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the present invention relates to a stereo camera device, a vehicle, and a parallax calculation method.
  • This camera system includes an imaging unit having a zoom mechanism.
  • the zoom control device controls the zoom mechanism so that the zoom magnification is predetermined with respect to the traveling speed detected by the vehicle speed sensor.
  • a stereo camera device includes a first imaging unit, a second imaging unit, a focal length control unit, and an image processing unit.
  • the first imaging unit drives a first imaging optical system including a plurality of lens groups and at least one of the plurality of lens groups of the first imaging optical system to change a focal length. It has a drive part.
  • a second imaging unit configured to change a focal length by driving at least one of the second imaging optical system including a plurality of lens groups and the plurality of lens groups of the second imaging optical system; It has a drive part.
  • the focal length control unit outputs driving signals synchronized with each other to each of the first driving unit and the second driving unit.
  • the image processing unit calculates a parallax to the subject using images captured by the first imaging unit and the second imaging unit.
  • a vehicle includes a stereo camera device.
  • the stereo camera device includes a first imaging unit, a second imaging unit, a focal length control unit, and an image processing unit.
  • the first imaging unit drives a first imaging optical system including a plurality of lens groups and at least one of the plurality of lens groups of the first imaging optical system to change a focal length. It has a drive part.
  • a second imaging unit configured to change a focal length by driving at least one of the second imaging optical system including a plurality of lens groups and the plurality of lens groups of the second imaging optical system; It has a drive part.
  • the focal length control unit outputs driving signals synchronized with each other to each of the first driving unit and the second driving unit.
  • the image processing unit calculates a parallax to the subject using images captured by the first imaging unit and the second imaging unit.
  • a parallax calculation method uses a stereo camera device having a first imaging unit and a second imaging unit.
  • the first imaging unit drives a first imaging optical system including a plurality of lens groups and at least one of the plurality of lens groups of the first imaging optical system to change a focal length. It has a drive part.
  • a second imaging unit configured to change a focal length by driving at least one of the second imaging optical system including a plurality of lens groups and the plurality of lens groups of the second imaging optical system; It has a drive part.
  • driving signals synchronized with each other are output to the first driving unit and the second driving unit, respectively, and the focal length and the second imaging optical of the first imaging optical system are output. Changing the focal length of the system.
  • the parallax calculation method includes calculating the parallax to the subject using images captured by the first imaging unit and the second imaging unit.
  • FIG. 1 is a diagram illustrating a schematic configuration of the stereo camera device according to the first embodiment.
  • FIG. 2 is a side view schematically showing a vehicle on which the stereo camera device of FIG. 1 is mounted.
  • FIG. 3 is a front view schematically showing a vehicle on which the stereo camera device of FIG. 1 is mounted.
  • FIG. 4 is a diagram showing an optical system of the stereo camera device of FIG. 1 in the telephoto position.
  • FIG. 5 is a flowchart of distance measurement by the control unit of FIG.
  • FIG. 6 is a flowchart of distance measurement of the stereo camera device according to the second embodiment.
  • FIG. 7 is a diagram for explaining a zoom change based on image processing.
  • FIGS. 7A, 7B, and 7C show an uphill slope from the horizontal when the traveling road is horizontal, respectively. It is a figure which respectively shows the road lane marking when becoming a downhill from the horizontal.
  • a stereo camera device that calculates parallax with respect to the same subject using two or more cameras arranged substantially in parallel is used. Also in the stereo camera device, it is conceivable to change the image magnification and the angle of view of the area to be imaged in accordance with the traveling speed and / or the road shape as in the case of a monocular camera.
  • the distance is calculated by comparing the pixels of the images captured by a plurality of cameras up to the accuracy of the sub-pixels. For this reason, settings between a plurality of cameras must be matched with high accuracy. If it is going to mount a zoom function in a stereo camera device, there is a concern that the accuracy of distance measurement is impaired unless the control of the focal length is accurately synchronized between a plurality of cameras.
  • the stereo camera device 10 includes a first imaging unit 11R, a second imaging unit 11L, a control unit 12, and a correction table switching unit 13.
  • the “stereo camera device” in the present disclosure is a device including a plurality of cameras having parallax and cooperating with each other.
  • the stereo camera device includes at least two or more cameras.
  • a stereo camera device a plurality of cameras can cooperate to image a target from a plurality of directions.
  • Stereo cameras include those capable of simultaneously imaging a target by cooperating a plurality of cameras. “Simultaneous” shooting is not limited to the exact same time.
  • the imaging time reference includes an imaging start time, an imaging end time, a captured image data transmission time, and a time at which the counterpart device receives the image data.
  • the stereo camera device may be a device in which a plurality of cameras are included in one housing.
  • the stereo camera device may be a device including two or more cameras which are independent from each other and located apart from each other.
  • the stereo camera device is not limited to a plurality of independent cameras.
  • a camera having an optical mechanism that guides light incident on two distant locations to one light receiving element can be employed as the stereo camera device.
  • the stereo camera device 10 two units of the first imaging unit 11R and the second imaging unit 11L that are independent from each other are arranged.
  • the stereo camera device can also record depth direction information by simultaneously imaging an object from a plurality of viewpoints having parallax.
  • the stereo camera device 10 of this embodiment is mounted on a vehicle such as an automobile, for example.
  • vehicle in the present disclosure includes, but is not limited to, an automobile, a railway vehicle, an industrial vehicle, and a living vehicle.
  • the vehicle may include an airplane traveling on a runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road.
  • Rail vehicles include, but are not limited to, locomotives, freight cars, passenger cars, trams, guided railroads, ropeways, cable cars, linear motor cars, and monorails, and may include other vehicles that travel along the track.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include but are not limited to forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers.
  • Living vehicles include, but are not limited to, bicycles, wheelchairs, baby carriages, wheelbarrows, and electric two-wheelers.
  • Vehicle power engines include, but are not limited to, internal combustion engines including diesel engines, gasoline engines, and hydrogen engines, and electrical engines including motors. Vehicles include those that travel by human power.
  • the vehicle classification is not limited to the above. For example, an automobile may include an industrial vehicle capable of traveling on a road, and the same vehicle may be included in a plurality of classifications.
  • the stereo camera device 10 can be disposed inside the windshield of the vehicle 30, for example, behind the rearview mirror as viewed from the driver.
  • the first imaging unit 11R and the second imaging unit 11L may have the same vertical position.
  • the first imaging unit 11R can be located on the right side in the traveling direction of the vehicle 30, and the second imaging unit 11L can be located on the left side.
  • the optical axis O R, O L of the optical system of the first imaging unit 11R and the second imaging unit 11L is parallel to the straight direction of the vehicle 30, or disposed slightly downwardly, partition lines on the road surface, And other vehicles etc. which run ahead can be imaged.
  • the first imaging unit 11R, the second imaging unit 11L, the control unit 12, and the correction table switching unit 13 may be housed in a single housing and configured as an integral unit.
  • each component included in each of the first imaging unit 11R and the second imaging unit 11L is simply an R or L code at the end of the code in order to indicate which camera is a component. Is attached. A component whose end is R belongs to the first imaging unit 11R. A component whose end is L belongs to the second imaging unit 11L.
  • the first imaging unit 11R and the second imaging unit 11L are, for example, a CCD (Charge-Coupled Device) camera or a CMOS (Complementary MOS) camera having a zoom function.
  • the first imaging unit 11R and the second imaging unit 11L may employ a monochrome camera. Since the first imaging unit 11R and the second imaging unit 11L have the same configuration, the configuration of the first imaging unit 11R will be described below.
  • the first imaging unit 11R includes an imaging optical system 14R (first imaging optical system) having a variable focal length, an imaging element 15R (first imaging element), and an actuator 16R (first driving unit).
  • first imaging optical system 14R first imaging optical system
  • imaging element 15R first imaging element
  • actuator 16R first driving unit
  • the imaging optical system 14R can be composed of a first lens group 17R, a second lens group 18R, and a third lens group 19R each including one or more lenses in order from the subject side.
  • the first lens group 17R, the position of the positive optical axis O R direction has a refractive power can the fixed lens group.
  • the second lens group 18R may be the optical axis O R direction movable lens unit for zooming (variator).
  • the third lens group 19R may be the optical axis O R direction movable in the focus movement correcting lens group (compensator).
  • the image sensor 15R includes a light receiving element including a CCD image sensor (Charge-Coupled Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the image sensor 15R converts the light applied to the light receiving surface of the light receiving element into an electric signal, digitizes it by A / D conversion, and outputs it as a two-dimensional image signal to an image processing unit 22 described later of the control unit 12.
  • the actuator 16R displaces the positions of the second lens group 18R and the third lens group 19R of the imaging optical system 14R in conjunction with each other in the optical axis direction.
  • a driving device capable of accurate positioning is used.
  • a stepping motor driven by a pulse signal from the outside can be used as the actuator 16R.
  • the actuator 16R is controlled by receiving a pulse signal from a focal length control unit 21 described later of the control unit 12.
  • another drive device capable of accurate positioning such as a servo motor may be used as a servo motor.
  • the second imaging unit 11L is configured similarly to the first imaging unit 11R.
  • the imaging optical system 14L second imaging optical system
  • the imaging element 15L second imaging element
  • the actuator 16L second driving unit having a variable focal length
  • the imaging optical system 14L can be configured by a lens group including three groups of the first lens group 17L, the second lens group 18L, and the third lens group 19L.
  • the control unit 12 is a device that controls the entire stereo camera device 10, and includes functional blocks of a focal length control unit 21, an image processing unit 22, and a vehicle communication unit 23.
  • the control unit 12 includes one or more processors.
  • the “processor” in the present disclosure may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include a DSP (Digital Signal Processor) and an application specific IC (ASIC; Application Specific Integrated Circuit).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 12 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or more processors cooperate.
  • the control unit 12 executes the functions of the focal length control unit 21, the image processing unit 22, and the vehicle communication unit 23.
  • Each functional block of the focal distance control unit 21, the image processing unit 22, and the vehicle communication unit 23 may be an independent hardware module or a software module.
  • the control unit 12 can execute an operation that each functional block can perform.
  • the control unit 12 is not limited to a form including all functional blocks, and one or a plurality of functional blocks may be omitted.
  • One or a plurality of functional blocks may be provided independently of the control unit 12.
  • the control unit 12 may execute all operations of each functional block.
  • the operation performed by each functional block may be rephrased as the operation performed by the control unit 12.
  • the processing performed by the control unit 12 using any of the functional blocks may be executed by the control unit 12 itself. Details of each part will be described below.
  • the focal length control unit 21 may include one or more processors. The function of the focal length control unit 21 can be executed using one or more processors of the control unit 12. It can be said that the focal length control unit 21 is a controller that controls the focal length of the stereo camera device 10.
  • the focal length control unit 21 acquires travel state information from an in-vehicle ECU (Electronic Control Unit) 24 provided in the vehicle 30 via the vehicle communication unit 23, and determines a zoom magnification based on the travel state information.
  • ECU Electronic Control Unit
  • the vehicle communication unit 23 is an input / output interface between the control unit 12 and other systems in the vehicle via a physical communication interface of the stereo camera device.
  • a physical connector and a wireless communication device can be adopted.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • Electrical connectors include connectors conforming to IEC 60603, connectors conforming to USB standards, connectors corresponding to RCA terminals, connectors corresponding to S terminals defined in EIAJ CP-1211A, D terminals prescribed in EIAJ RC-5237 , A connector conforming to the HDMI (registered trademark) standard, and a connector corresponding to a coaxial cable including BNC.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the focal length control unit 21 and the image processing unit 22 transmit and receive information to and from the in-vehicle ECU 24 of the vehicle 30 via a CAN (Control Area Network) or the like by the vehicle communication unit 23.
  • the traveling state information means information relating to the traveling state of the vehicle 30.
  • the travel state information includes, for example, the operation information of the vehicle 30 itself such as the speed of the vehicle 30, the braking state, the gear state of the transmission, and the type of road (general road, automobile road, etc.), road Information on the road on which the vehicle 30 travels, such as the shape and inclination of the vehicle.
  • the on-vehicle ECU 24 includes various ECUs mounted on the vehicle 30.
  • the vehicle-mounted ECU 24 includes various ECUs such as a power train ECU such as an engine control ECU, a safety ECU that performs braking control and driving support based on sensor information, and an information ECU such as a navigation ECU. It is.
  • the vehicle-mounted ECU includes various information device control devices that are mounted on the vehicle 30 before or after factory shipment. In FIG. 1, these plural ECUs are collectively shown as an in-vehicle ECU 24.
  • the focal distance control unit 21 acquires a vehicle speed signal from, for example, an in-vehicle ECU 24 that is an engine control ECU or a speedometer ECU via the vehicle communication unit 23, and the first imaging unit 11R and the second imaging unit according to the traveling speed.
  • the focal length of the part 11L can be determined. Changing the focal length means changing the image magnification and the angle of view.
  • the focal length control unit 21 sets the states of the imaging optical systems 14R and 14L to “wide angle” having a short focal length, a low image magnification, and a wide angle of view, and a long focal length and an image magnification. Or “telephoto” having a higher angle of view and a narrower angle of view.
  • the focal length control unit 21 outputs drive signals synchronized with each other to the actuator 16R and the actuator 16L based on the determined types of wide angle and telephoto.
  • the focus control unit 21 moves the second lens groups 18R and 18L and the third lens groups 19R and 19L of the imaging optical system 14R of the first imaging unit 11R and the imaging optical system 14L of the second imaging unit 11L. It is displaced in the optical axis direction between the wide-angle position and the telephoto position.
  • the focal length control unit 21 outputs drive signals synchronized with each other to the actuator 16R and the actuator 16L.
  • the actuators 16R and 16L are stepping motors
  • the drive signal is the same pulse signal that drives the stepping motor.
  • the actuator 16R and the actuator 16L operate accurately and equally, and the imaging optical system 14R and the imaging optical system 14L are controlled to always have the same focal length.
  • the imaging optical system 14R and the imaging optical system 14L in FIG. 1 show the arrangement of the first lens groups 17R and 17L, the second lens groups 18R and 18L, and the third lens groups 19R and 19L in the case of a wide angle.
  • the arrangement of each lens group at this time is called a wide-angle position.
  • FIG. 4 shows the arrangement of the first lens groups 17R and 17L, the second lens groups 18R and 18L, and the third lens groups 19R and 19L in the case of telephoto.
  • the arrangement of each lens group at this time is called a telephoto position.
  • the second lens group 18R, 18L and the third lens group 19R, 19L is between the wide-angle position and the telephoto position, is moved between the object side and the image side along the optical axis O R, O L .
  • the first imaging unit 11R and the second imaging unit 11L capture an image used for calculating the parallax of a subject located from a short distance to a long distance. For this reason, the first imaging unit 11R and the second imaging unit 11L are configured to increase the depth of field and acquire an image with less blur from a short distance to infinity.
  • the third lens groups 19R and 19L are adjusted so that the focus is always adjusted to a predetermined distance relatively far away. Therefore, in the present embodiment, in the imaging optical systems 14R and 14L, the positions of the second lens groups 18R and 18L and the third lens groups 19R and 19L are uniquely associated with each other.
  • the second lens group 18R, 18L and the third lens group 19R, and 19L is guided optical axis O R, the O L direction by the same cam mechanism.
  • the actuator 16R, the 16L, between the wide-angle position and the telephoto position, the second lens group 18R, the 18L is displaced optical axis O R, the O L direction, the second lens group 18R, 18L displacement
  • the third lens groups 19R and 19L are displaced. Therefore, for each of the first imaging unit 11R and the second imaging unit 11L, the second lens groups 18R and 18L and the third lens groups 19R and 19L can be driven by a single actuator 16R and 16L. .
  • the focal length control unit 21 When the focal length control unit 21 switches between the two zoom positions of the wide-angle position and the telephoto position, the focal length control unit 21 shifts the correction table group to a correction table group corresponding to the switched zoom position with respect to the correction table switching unit 13 described later. Is instructed to switch.
  • the image processing unit 22 calculates the parallax based on the image signals output from the imaging device 15R of the first imaging unit 11R and the imaging device 15L of the second imaging unit 11L, and calculates the distance to the subject.
  • the image processing unit 22 can be configured by a part of the processor that configures the control unit 12.
  • the image processing unit 22 can include processors such as ASIC (Application Specific Integrated Circuit) and FPGA (Field-Programmable Gate Array) designed for stereo image processing.
  • the image processing unit 22 may further include a memory such as a DRAM (Dynamic Random Access Memory) and / or an SDRAM (Synchronous Dynamic Random Access Memory) that temporarily stores image data.
  • the image processing unit 22 can also be called an image processing processor.
  • the image processing unit 22 adjusts the image for each of the input image by the first imaging unit 11R and the image by the second imaging unit 11L. For example, the image processing unit 22 adjusts the brightness and / or contrast of the captured image according to the external environment.
  • the image processing unit 22 corrects the image output from the first imaging unit 11R and the image output from the second imaging unit 11L. For example, when there is a slight shift in the directions of the first imaging unit 11R and the second imaging unit 11L, the image is corrected in accordance with the shift amount. Further, the image processing unit 22 corrects aberrations caused by lens distortion. Generally, since the distortion increases as the optical system becomes wider, different corrections are required between the wide-angle position and the telephoto position depending on the focal lengths of the imaging optical systems 14R and 14L. These corrections are performed by obtaining from the correction table switching unit 13 a correction table for correcting aberrations corresponding to the current zoom position.
  • the image processing unit 22 corrects aberrations of the images captured by the first imaging unit 11R and the second imaging unit 11L according to the focal lengths of the imaging optical systems 14R and 14L, using the aberration correction table. . Further, the image processing unit 22 corrects individual differences of lenses included in the imaging optical system 14R and the imaging optical system 14L using a correction table included in the correction table switching unit 13. The contents of each correction table are determined by design values or measurement in advance and stored in the correction table switching unit 13.
  • the image processing unit 22 uses one of the images output from the first imaging unit 11R and the image output from the second imaging unit 11L as a reference image and the other image as a reference image.
  • the image processing unit 22 calculates the parallax by dividing the reference image into rectangular blocks of 3 ⁇ 3 pixels, 5 ⁇ 5 pixels, etc., and searching for the most similar block from the standard images. Since the method for calculating the parallax is well known, detailed description thereof is omitted.
  • the image processing unit 22 can include a dedicated distance calculation circuit that performs high-speed parallel processing of block matching.
  • the image processing unit 22 may calculate the distance to the subject from the calculated parallax.
  • the calculation of the distance can be performed using a parallax table that is a conversion table between the input parallax and the distance.
  • the imaging optical system 14R and the imaging optical system 14L have different correspondences between the parallax expressed by the pixel value and the distance expressed by the meter unit according to the zoom position. For this reason, the image processing unit 22 has a parallax table corresponding to the current zoom position.
  • the image processing unit 22 may acquire a parallax table corresponding to the current zoom position from the correction table switching unit 13.
  • the image processing unit 22 outputs the calculated distance information to the subject to the in-vehicle ECU 24 via the vehicle communication unit 23.
  • the in-vehicle ECU 24 is a safety ECU, and can control or issue a warning based on the received distance information so that the distance to the vehicle, obstacles, and the like in front is not too narrow. If the traveling speed of the vehicle 30 is relatively slow and the imaging optical system 14R and the imaging optical system 14L are in the wide-angle position, it is possible to detect a person and / or vehicle jumping from the road side at a relatively short distance. On the other hand, when the traveling speed of the vehicle 30 is relatively fast and the imaging optical system 14R and the imaging optical system 14L are telephoto, it is possible to more accurately detect the distance to the preceding vehicle located at a relatively long distance. . Thus, distance measurement according to the traveling speed of the vehicle 30 becomes possible.
  • the correction table switching unit 13 causes the image processing unit 22 to use a wide angle correction table group 25 corresponding to a wide angle or a telephoto correction table group 26 corresponding to telephoto. Is output.
  • the wide-angle correction table group 25 and the telephoto correction table group 26 include correction tables for correcting image distortion caused by the imaging optical system 14R and the imaging optical system 14L, respectively.
  • the correction table includes a correction table for correcting aberration.
  • the wide-angle correction table group 25 and the telephoto correction table group 26 can include a parallax table for converting parallax information into distance information.
  • the correction table switching unit 13 may include a memory for storing a microprocessor and a correction table group.
  • the correction table switching unit 13 may be implemented using the same CPU and memory as the control unit 12, or may be implemented by hardware different from the control unit 12.
  • the correction table switching unit 13 may be implemented as a memory that can be read from the image processing unit 22.
  • the stereo camera device 10 is activated by the operation of the driver's ignition key to the vehicle 30 or the power operation of the stereo camera device 10 by the driver (step S101).
  • the focal length control unit 21 of the control unit 12 acquires travel information of the vehicle 30 from the in-vehicle ECU 24 (step S102).
  • the travel information of the vehicle 30 is travel speed information obtained from a vehicle speed sensor of the vehicle 30, for example.
  • the focal length control unit 21 determines whether to change the focal length by driving the actuators 16R and 16L of the first imaging unit 11R and the second imaging unit 11L according to the acquired travel information. (Step S103). For example, when the travel information is travel speed information, if the travel speed is slower than a predetermined threshold, the focal length control unit 21 captures a wide-angle position with a relatively short focal length and a low image magnification and a wide angle of view. To do. On the other hand, when the traveling speed is faster than the predetermined threshold, the focal length control unit 21 increases the focal length and captures the telephoto position with a high image magnification and a narrow angle of view. If the traveling speed is zero when the stereo camera device 10 is activated, the zoom position can be set to the wide angle position.
  • step S103 when changing the focal length, the focal length control unit 21 proceeds to the next step S104, and when not changing the focal length, the focal length control unit 21 proceeds to step S106.
  • step S104 the focal length control unit 21 outputs a drive signal to the actuator 16R of the first imaging unit 11R and the actuator 16L of the second imaging unit 11L.
  • the actuator 16R and the actuator 16L are stepping motors.
  • the focal length control unit 21 can output a pulse signal for driving the stepping motor.
  • the focal length control unit 21 instructs the correction table switching unit 13 to change the correction table group (step S105).
  • the telephoto correction table group 26 is set as the current correction table group.
  • the wide angle correction table group 25 is set as the current correction table group.
  • step S106 the image processing unit 22 captures an image captured by the first imaging unit 11R and the second imaging unit 11L from the imaging element 15R of the first imaging unit 11R and the imaging element 15L of the second imaging unit 11L.
  • the image signal of is acquired.
  • the image processing unit 22 adjusts the distortion of the images acquired from the first imaging unit 11R and the second imaging unit 11L. The distortion is adjusted by obtaining a correction table from the current correction table group of the correction table switching unit 13.
  • the image processing unit 22 generates a parallax image in which the parallax is two-dimensionally mapped from the parallax of the two images acquired from the corrected first imaging unit 11R and the second imaging unit 11L.
  • the generation of the parallax image may be performed inside the image processing unit 22, and it is not necessary to display the image on an actual display device or the like.
  • the image processing unit 22 calculates distance information for each point on the captured image based on the parallax table acquired from the current correction table group of the correction table switching unit 13 from the parallax at each position of the parallax image. (Step S107).
  • the image processing unit 22 outputs the calculated distance information to the in-vehicle ECU 24 (step S108). For example, the image processing unit 22 outputs distance information to the in-vehicle ECU 24 that is a safety ECU, and the in-vehicle ECU 24 warns the driver or decelerates the vehicle 30 when the distance from the preceding vehicle is narrowed. Can be.
  • the control unit 12 stops the process when the driver detects that the ignition key of the vehicle 30 is turned off or the stereo camera device 10 is turned off. In other cases, the above steps S102 to S108 are repeatedly executed (step S109).
  • the stereo camera device 10 has a single focal point for the two actuators of the actuator 16R of the first imaging unit 11R and the actuator 16L of the second imaging unit 11L.
  • a distance control unit 21 is included. Since the focal length control unit 21 outputs the drive signals synchronized with each other to the actuators 16R and 16L, it is possible to accurately synchronize the control of the focal length between the first imaging unit 11R and the second imaging unit 11L. Thereby, the stereo camera apparatus 10 can acquire parallax data that can obtain high distance measurement accuracy while having a zoom function.
  • the stereo camera device 10 includes a correction table switching unit 13 and corrects image aberration for each zoom position of the wide-angle position and the telephoto position in accordance with changes in the focal lengths of the imaging optical system 14R and the imaging optical system 14L. I do. Thereby, recognition accuracy can be further improved. Furthermore, the individual differences between the lenses included in the imaging optical system 14R and the imaging optical system 14L can also be corrected by the correction table switching unit 13.
  • the stereo camera device 10 acquires the traveling state information from the in-vehicle ECU 24, it is possible to automatically select a zoom position corresponding to the traveling state.
  • the imaging optical system 14R and the imaging optical system 14L of the stereo camera device 10 are each composed of three groups of lenses, the second lens groups 18R and 18L for zooming and the third lens group 19R for correcting focus movement. , 19L are interlocked so that their positions are uniquely associated with each other, and can be driven by a single actuator 16R, 16L, respectively. Accordingly, the first imaging unit 11R and the second imaging unit 11L can be simply configured, and the accuracy of distance measurement can be increased.
  • the stereo camera device 10 does not use a digital zoom for enlarging the captured image, but uses an optical zoom that actually changes the focal length. For this reason, the accuracy of information does not deteriorate due to image enlargement, interpolation processing, or the like, and accurate information necessary for distance measurement can be acquired.
  • the focal lengths of the first imaging unit 11R and the second imaging unit 11L are switched according to the traveling speed, but the switching condition is not limited to the traveling speed.
  • the focal distance control unit 21 acquires map information around the vehicle 30 from the in-vehicle ECU 24 as travel information, and determines the type of travel road.
  • the focal length control unit 21 may set the zoom position to the telephoto position while traveling on an automobile road.
  • the focal length control unit 21 may set the zoom position to a wide angle position while traveling in an urban area.
  • the focal length control unit 21 may acquire operation information of a turn indicator (blinker) from the in-vehicle ECU 24 as travel information.
  • the focal length control unit 21 may switch to the wide angle position when the direction indicator is driven.
  • the focal distance control unit 21 can acquire the acceleration of the vehicle 30 from the in-vehicle ECU 24 as travel information.
  • the focal length control unit 21 may switch the zoom position to the telephoto position during acceleration.
  • the focal length control unit 21 may switch the zoom position to the wide angle position during deceleration.
  • the stereo camera device 10 according to the second embodiment which is one of a plurality of embodiments of the present disclosure, is configured by the same components as the stereo camera device 10 according to the first embodiment, and the processing by the control unit 12 is one.
  • the department is different.
  • the present embodiment obtains an image signal (step S202), generates travel state information (step S203), and determines a change in focal length (step S204).
  • step S202 the image signal
  • step S203 the travel state information
  • step S204 determines a change in focal length
  • the focal length control unit 21 acquires the driving state information generated by the image processing unit 22 instead of or in addition to acquiring the driving state information from the in-vehicle ECU 24.
  • the image processing unit 22 generates traveling state information based on images acquired from both or one of the first imaging unit 11R and the second imaging unit 11L. Therefore, after the stereo camera device 10 is activated (step S201), the image processing unit 22 first acquires image signals from the first imaging unit 11R and the second imaging unit 11L (step S202).
  • the image processing unit 22 generates travel state information from the acquired image signal (step S203).
  • production of driving state information is demonstrated using FIG. 7 (a) to (c) It is an image captured by either the first imaging unit 11R or the second imaging unit 11L, and the roadway outer line 31 and the roadway center line 32, which are lane markings on the road surface, are displayed.
  • the roadway outer line 31 and the roadway center line 32 are parallel in real space.
  • the extension lines of the roadway outer line 31 and the roadway center line 32 intersect at a vanishing point corresponding to infinity on the captured image.
  • FIGS. 7 (a), 7 (b), and 7 (c) show vanishing points when the road on which the vehicle is traveling is horizontal, when the road is uphill, and when the road is downhill.
  • P f , P u , P d and angles ⁇ f , ⁇ u , ⁇ d formed by the roadway outer line 31 and the roadway center line 32 are shown.
  • the vertical heights of vanishing points P f , P u , and P d (referred to as p f , p u , and p d , respectively), and the angle ⁇ formed between the roadway outer line 31 and the roadway center line 32.
  • f 1 , ⁇ u , and ⁇ d have the following relationship.
  • the image processing unit 22 performs a process of recognizing the marking line including the roadway outer line 31 and the roadway center line 32, and the vertical height p of the vanishing point or the angle formed between the roadway outer line 31 and the roadway center line 32.
  • ⁇ is generated as traveling state information and transferred to the focal length control unit 21.
  • the focal length control unit 21 determines the change of the focal length based on the vertical height p of the vanishing point acquired from the image processing unit 22 or the angle ⁇ formed between the roadway outer line 31 and the roadway center line 32 (step S204). ).
  • the running state information is the inclination of the road ahead of the vehicle 30, the information is represented by the vertical height p of the vanishing point.
  • the vertical height p of the vanishing point is larger than a predetermined threshold, it is assumed that the vehicle 30 decelerates because it is approaching an uphill. Therefore, when the zoom position is at the telephoto position, the focal length control unit 21 switches the zoom position to the wide angle position.
  • the vertical height p of the vanishing point is smaller than a predetermined threshold value, it is assumed that the vehicle 30 is accelerated because it is approaching a downhill. Therefore, when the zoom position is at the telephoto position, the focal length control unit 21 switches the zoom position to the wide angle position.
  • step S205 to step S210 are the same as the processing steps (step S204 to step S209) of FIG. 5 in the first embodiment.
  • control unit 12 repeats the processes in steps S203 to S210 unless the system is stopped in step 210.
  • the image processing unit 22 generates traveling state information based on the image signal acquired in step S207.
  • the focal length switching method based on image processing is not limited to the above example.
  • the image processing unit 22 determines that the road on which the vehicle 30 is traveling is curved forward.
  • the image processing unit 22 delivers information that the road is curved to the focal length control unit 21 as traveling state information.
  • the focal length control unit 21 can receive this information and control the zoom positions of the first imaging unit 11R and the second imaging unit 11L to switch from the telephoto position to the wide angle position.
  • the image processing unit 22 performs object recognition processing on the images captured by the first imaging unit 11R and the second imaging unit 11L, detects a vehicle traveling ahead, and calculates a distance from the parallax information. be able to.
  • the image processing unit 22 may transfer the distance from the vehicle ahead to the focal length control unit 21 as traveling state information. For example, when the vehicle traveling ahead is farther than a predetermined distance and the zoom position is in the wide angle position, the focal length control unit 21 switches to the telephoto position. On the other hand, when the vehicle traveling ahead is closer than a predetermined distance and the zoom position is at the telephoto position, the position is switched to the wide angle position. By doing in this way, when the vehicle ahead is at a long distance, the image is enlarged and captured.
  • the parallax shown in pixel units between the first imaging unit 11R and the second imaging unit 11L increases.
  • the accuracy is reduced.
  • this method even if the vehicle ahead is a long distance, High-precision distance measurement is possible.
  • this indication is not limited only to the said 1st Embodiment and 2nd Embodiment, Many deformation
  • the stereo camera device 10 has been described as an example in which the first imaging unit 11R, the second imaging unit 11L, the control unit 12, and the correction table switching unit 13 are configured integrally.
  • the first imaging unit 11R and the second imaging unit 11L, and the control unit 12 and the correction table switching unit 13 may be configured separately.
  • the installation positions of the first imaging unit 11R and the second imaging unit 11L of the stereo camera device 10 are not limited to the inside of the windshield, and can be installed at various positions.
  • the first imaging unit 11R and the second imaging unit 11L may be fixed to the front surface of the front bumper of the vehicle 30, respectively.
  • the first imaging unit 11R and the second imaging unit 11L are monochrome cameras, a color camera or a camera capable of imaging even light in the infrared region may be used.
  • the imaging optical systems 14R and 14L have a three-group configuration, the present invention is not limited to this, and the imaging optical systems 14R and 14L can also be configured by two or more groups of lenses.
  • the first imaging unit 11R and the second imaging unit 11L are switched to two types of focal lengths of wide angle and telephoto, but the present invention is not limited to this.
  • the first imaging unit 11R and the second imaging unit 11L may be switched to a focal length of three or more stages. In that case, a correction table group is provided in the correction table switching unit 13 for each stage.
  • Each embodiment has shown a plurality of methods for determining a change in focal length, but these are merely examples, and various other determination methods are possible.
  • the determination methods shown in the embodiments can be used in combination.
  • the stereo camera device 10 includes the first imaging unit 11R and the second imaging unit 11L.
  • the stereo camera device can include three or more imaging units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

ステレオカメラ装置１０は、複数のレンズ群を含む撮像光学系１４Ｒ，１４Ｌ、および、撮像光学系１４Ｒ，１４Ｌの複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更するアクチュエータ１６Ｒ，１６Ｌを有する第１の撮像部１１Ｒおよび第２の撮像部１１Ｌと、アクチュエータ１６Ｒ，１６Ｌのそれぞれに、互いに同期した駆動信号を出力する焦点距離制御部２１と、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌにより撮像した画像を用いて、被写体までの距離を算出する画像処理部２２とを有する。

Description

ステレオカメラ装置、車両および視差算出方法 関連出願の相互参照
　本出願は、２０１６年２月２５日に出願された日本国特許出願２０１６－３４９０４号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、ステレオカメラ装置、車両および視差算出方法に関するものである。
　近年、運転者から見えにくい場所の視覚の補助、障害物の検知、走行時の周辺環境の記録等を目的として、車両に多くのカメラが搭載されている。特に、前方の障害物を検知するカメラは、前方を走行する車両および道路上の障害物に対する衝突防止システム等の用途に、開発および実用化が進められている。
　車両の走行速度および地図情報から得られる道路形状の情報に応じて、撮像するズーム倍率を変更して障害物を検知するカメラシステムが提案されている（例えば、特許文献１参照）。このカメラシステムは、ズーム機構を有する撮像部を含み、例えば、車速センサで検出された走行速度に対して予め決められたズーム倍率となるように、ズーム制御装置がズーム機構を制御する。
特開２００５－２７４５１８号公報
　本開示の複数の実施形態の１つに係るステレオカメラ装置は、第１の撮像部と、第２の撮像部と、焦点距離制御部と、画像処理部とを備える。第１の撮像部は、複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する。第２の撮像部は、複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する。焦点距離制御部は、前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力する。画像処理部は、前記第１の撮像部および前記第２の撮像部により撮像した画像を用いて、被写体までの視差を算出する。
　本開示の複数の実施形態の１つに係る車両は、ステレオカメラ装置を備える。ステレオカメラ装置は、第１の撮像部と、第２の撮像部と、焦点距離制御部と、画像処理部とを備える。第１の撮像部は、複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する。第２の撮像部は、複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する。焦点距離制御部は、前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力する。画像処理部は、前記第１の撮像部および前記第２の撮像部により撮像した画像を用いて、被写体までの視差を算出する。
　本開示の複数の実施形態の１つに係る視差算出方法は、第１の撮像部と第２の撮像部とを有するステレオカメラ装置を用いる。第１の撮像部は、複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する。第２の撮像部は、複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する。この視差算出方法は、前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力し、前記第１の撮像光学系の前記焦点距離及び前記第２の撮像光学系の前記焦点距離を変更することを含む。さらに、この視差算出方法は、前記第１の撮像部および前記第２の撮像部で撮像した画像を用いて被写体までの視差を算出することを含む。
図１は、第１実施形態に係るステレオカメラ装置の概略構成を示す図である。 図２は、図１のステレオカメラ装置を搭載する車両を模式的に示す側面図である。 図３は、図１のステレオカメラ装置を搭載する車両を模式的に示す正面図である。 図４は、望遠ポジションにおける図１のステレオカメラ装置の光学系を示す図である。 図５は、図１の制御部による距離測定のフローチャートである。 図６は、第２実施形態に係るステレオカメラ装置の距離測定のフローチャートである。 図７は、画像処理に基づくズーム変更を説明する図であり、図７（ａ）、図７（ｂ）および図７（ｃ）は、それぞれ、走行する道路が水平のとき、水平から上り坂になるとき、および、水平から下り坂になるときの道路区画線をそれぞれ示す図である。
　カメラを用いて前方の障害物までの距離を測定するには、略平行に配置された２台以上のカメラにより同一被写体に対する視差を算出するステレオカメラ装置が用いられる。ステレオカメラ装置においても、単眼のカメラと同様に走行速度および／または道路形状に応じて、撮像すべき領域の像倍率および画角を変更することが考えられる。
　しかしながら、ステレオカメラ装置では、複数のカメラにより撮像された画像の画素を、サブピクセルの精度まで比較することにより距離を算出する。そのため、複数のカメラ間の設定は高い精度で整合することが必要となる。ステレオカメラ装置にズーム機能を搭載しようとすると、複数のカメラ間で焦点距離の制御を正確に同期させなければ、距離測定の精度が損なわれることが懸念される。
　以下に説明する本開示の実施形態に係るステレオカメラ装置、車両および視差算出装置では、ズーム機能を有しながら高い距離測定精度を得ることができる。
　以下、本開示の複数の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法、比率等は現実のものとは必ずしも一致していない。
（第１実施形態）
　第１実施形態に係るステレオカメラ装置１０は、図１に示すように、第１の撮像部１１Ｒ、第２の撮像部１１Ｌ、制御部１２、および、補正テーブル切替部１３を含む。本開示における「ステレオカメラ装置」とは、互いに視差を有し、互いに協働する複数のカメラを含む装置である。ステレオカメラ装置は、少なくとも２つ以上のカメラを含む。ステレオカメラ装置では、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（i）複数のカメラが同時刻に撮像すること、（ii）複数のカメラが同じ信号に基づいて撮像すること、及び（iii）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラ装置は、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラ装置は互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラ装置は、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラ装置として採用できる。ステレオカメラ装置１０においては、互いに独立する第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの２台が並んでいる。ステレオカメラ装置は、対象物を視差を有する複数の視点から同時に撮像することにより、その奥行き方向情報も記録できる。
　本実施形態のステレオカメラ装置１０は、例えば、自動車等の車両に搭載される。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
　ステレオカメラ装置１０は、図２及び図３に示すように、車両３０のフロントガラスの内側であって、例えば、運転者から見てバックミラーの裏側に配置されうる。図２の側面図に示すように、第１の撮像部１１Ｒと第２の撮像部１１Ｌとは鉛直方向の位置が等しくてよい。第１の撮像部１１Ｒは、車両３０の進行方向に向かって右側に位置し、第２の撮像部１１Ｌは、左側に位置することができる。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの各光学系の光軸ＯＲ，ＯＬは、車両３０の直進方向と平行、または、僅かに下向きに配置され、路面上の区画線、および、前方を走行する他車両などを撮像することができる。本実施形態では、第１の撮像部１１Ｒ、第２の撮像部１１Ｌ、制御部１２、および、補正テーブル切替部１３は、一つの筺体に収納され一体として構成されうる。
　次に、図１を参照してステレオカメラ装置１０の各構成要素について説明する。なお、第１の撮像部１１Ｒと第２の撮像部１１Ｌとのそれぞれに含まれる各構成要素は、単にいずれのカメラの構成要素であるかを示すために、符号の末尾にＲまたはＬの符号を付している。末尾がＲの構成要素は第１の撮像部１１Ｒに属する。末尾がＬの構成要素は第２の撮像部１１Ｌに属する。
　第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、例えば、ズーム機能を備えたＣＣＤ（Charge-Coupled Device）カメラまたはＣＭＯＳ（Complementary MOS）カメラである。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、モノクロのカメラを採用しうる。第１の撮像部１１Ｒと第２の撮像部１１Ｌは、同様の構成になっているので、以下では第１の撮像部１１Ｒの構成について説明する。
　第１の撮像部１１Ｒは、焦点距離可変の撮像光学系１４Ｒ（第１の撮像光学系）、撮像素子１５Ｒ（第１の撮像素子）およびアクチュエータ１６Ｒ（第１の駆動部）を備える。
　撮像光学系１４Ｒは、被写体側から順に、それぞれ１枚以上のレンズを含む、第１レンズ群１７Ｒ、第２レンズ群１８Ｒおよび第３レンズ群１９Ｒにより構成されうる。第１レンズ群１７Ｒは、正の屈折力を有し光軸ＯＲ方向の位置が固定されたレンズ群としうる。第２レンズ群１８Ｒは、光軸ＯＲ方向に移動可能な変倍用レンズ群（バリエータ）としうる。第３レンズ群１９Ｒは、光軸ＯＲ方向に移動可能なピント移動補正用レンズ群（コンペンセータ）としうる。
　撮像素子１５Ｒは、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）およびＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む受光素子を有する。撮像素子１５Ｒは受光素子の受光面に照射された光を電気信号に変換し、Ａ／Ｄ変換によりデジタル化して、２次元の画像信号として制御部１２の後述する画像処理部２２に出力する。
　アクチュエータ１６Ｒは、撮像光学系１４Ｒの第２レンズ群１８Ｒおよび第３レンズ群１９Ｒの位置を光軸方向に互いに連動させて変位させる。アクチュエータ１６Ｒは、正確な位置決めが可能な駆動装置が用いられる。複数の実施形態の１つでは、アクチュエータ１６Ｒとして、外部からのパルス信号により駆動されるステッピングモータを使用しうる。アクチュエータ１６Ｒは、制御部１２の後述する焦点距離制御部２１からパルス信号を受信して制御される。なお、アクチュエータ１６Ｒとしては、サーボモータ等正確な位置決めが可能な他の駆動装置を使用してよい。
　第２の撮像部１１Ｌは、第１の撮像部１１Ｒと同様に構成される。焦点距離可変の撮像光学系１４Ｌ（第２の撮像光学系）、撮像素子１５Ｌ（第２の撮像素子）およびアクチュエータ１６Ｌ（第２の駆動部）は、それぞれ、第１の撮像部１１Ｒの撮像光学系１４Ｒ、撮像素子１５Ｒおよびアクチュエータ１６Ｒに対応する。また、撮像光学系１４Ｌは、撮像光学系１４Ｒと同様に、第１レンズ群１７Ｌ、第２レンズ群１８Ｌおよび第３レンズ群１９Ｌの３群から成るレンズ群により構成されうる。
　次に、制御部１２について説明する。制御部１２は、ステレオカメラ装置１０全体を制御する装置であり、焦点距離制御部２１、画像処理部２２、および、車両通信部２３の各機能ブロックを備える。制御部１２は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部１２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
　制御部１２は、焦点距離制御部２１、画像処理部２２、および、車両通信部２３の各機能を実行する。焦点距離制御部２１、画像処理部２２、および、車両通信部２３の各機能ブロックは、それぞれ独立したハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各機能ブロックの各々が行える動作を、制御部１２は実行できる。制御部１２は、全ての機能ブロックを含む形態に限られず、１つ又は複数の機能ブロックが省略されてよい。１つ又は複数の機能ブロックが制御部１２とは別に独立して設けられてよい。複数の実施形態のうちの１つにおいて、制御部１２は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部１２が行う動作として言い換えてよい。制御部１２が各機能ブロックのいずれかを使役して行う処理は、制御部１２が自ら実行してよい。各部の詳細について以下に説明する。
　焦点距離制御部２１は、１つ以上のプロセッサを含みうる。焦点距離制御部２１の機能は、制御部１２の１つ以上のプロセッサを用いて実行されうる。焦点距離制御部２１は、ステレオカメラ装置１０の焦点距離を制御するコントローラということができる。焦点距離制御部２１は、車両通信部２３を介して車両３０に備えられた車載ＥＣＵ（Electronic Control Unit）２４から走行状態情報を取得し、この走行状態情報に基づいてズーム倍率を決定する。
　車両通信部２３は、ステレオカメラ装置の有する物理的通信インタフェースを介して、制御部１２と車内の他のシステムとの間の入出力インタフェースである。物理的通信インタフェースは、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。焦点距離制御部２１および画像処理部２２は、車両通信部２３により、ＣＡＮ（Control Area Network）等を介して車両３０の車載ＥＣＵ２４と情報の送受信を行う。
　走行状態情報とは、車両３０の走行状態に関する情報を意味する。走行状態情報には、例えば、車両３０の速度、制動状態、変速機のギアの状態等の車両３０自身の運行情報、および、走行中の道路（一般道路、自動車専用道路等）の種別、道路の形状、傾き等の車両３０の走行する道路の情報を含む。
　車載ＥＣＵ２４は、車両３０に搭載される種々のＥＣＵを含む。車載ＥＣＵ２４としては、エンジン制御ＥＣＵなどのパワートレイン系のＥＣＵ、センサ情報を基に制動制御および運転支援等を行う安全系のＥＣＵ、ナビゲーションＥＣＵのような情報系のＥＣＵ等の種々のＥＣＵが含まれる。車載ＥＣＵには、車両３０に工場出荷前または工場出荷後に装着される種々の情報機器の制御装置を含む。図１では、これらの複数のＥＣＵをまとめて車載ＥＣＵ２４として図示している。
　焦点距離制御部２１は車両通信部２３を介して、例えば、エンジン制御ＥＣＵまたはスピードメータＥＣＵである車載ＥＣＵ２４から車速信号を取得し、走行速度に応じて第１の撮像部１１Ｒおよび第２の撮像部１１Ｌの焦点距離を決定しうる。焦点距離を変えることは、像倍率および画角を変えることを意味する。本実施形態では、焦点距離制御部２１は、撮像光学系１４Ｒ，１４Ｌの状態を、焦点距離が短くて像倍率がより低く且つ画角のより広い「広角」と、焦点距離が長くて像倍率がより高く且つ画角のより狭い「望遠」との何れかに決定する。
　さらに、焦点距離制御部２１は、決定した広角と望遠との種別に基づいて、アクチュエータ１６Ｒおよびアクチュエータ１６Ｌに互いに同期した駆動信号を出力する。これにより、焦点制御部２１は、第１の撮像部１１Ｒの撮像光学系１４Ｒおよび第２の撮像部１１Ｌの撮像光学系１４Ｌの第２レンズ群１８Ｒ，１８Ｌおよび第３レンズ群１９Ｒ，１９Ｌを、広角ポジションと望遠ポジションとの間で光軸方向に変位させる。具体的には、焦点距離制御部２１は、アクチュエータ１６Ｒおよびアクチュエータ１６Ｌに対して互いに同期した駆動信号を出力する。アクチュエータ１６Ｒ，１６Ｌがステッピングモータの場合、駆動信号は、ステッピングモータを駆動する互いに同一のパルス信号である。これにより、アクチュエータ１６Ｒとアクチュエータ１６Ｌとは、正確に等しく動作し、撮像光学系１４Ｒと撮像光学系１４Ｌとは、常に等しい焦点距離を有するように制御される。
　図１における撮像光学系１４Ｒと撮像光学系１４Ｌとは、広角の場合の第１レンズ群１７Ｒ，１７Ｌ、第２レンズ群１８Ｒ，１８Ｌおよび第３レンズ群１９Ｒ，１９Ｌの配置を示している。このときの各レンズ群の配置を広角ポジションと呼ぶ。これに対して、望遠の場合の第１レンズ群１７Ｒ，１７Ｌ、第２レンズ群１８Ｒ，１８Ｌおよび第３レンズ群１９Ｒ，１９Ｌの配置を図４に示す。このときの各レンズ群の配置を望遠ポジションと呼ぶ。第２レンズ群１８Ｒ,１８Ｌおよび第３レンズ群１９Ｒ，１９Ｌは、広角ポジションと望遠ポジションとの間で、光軸ＯＲ，ＯＬに沿って被写体側と像面側との間で移動される。
　第１の撮像部１１Ｒおよび第２の撮像部１１Ｌは、近距離から遠距離までに位置する被写体の視差算出に用いられる画像を撮像する。このため、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌは、被写界深度を深くし、近距離から無限遠までボケの少ない画像を取得するように構成される。また、第３レンズ群１９Ｒ，１９Ｌは、ピントを常に比較的遠方の所定の距離に合わせるように調整される。このため、本実施形態では、撮像光学系１４Ｒ，１４Ｌにおいて、それぞれ、第２レンズ群１８Ｒ，１８Ｌと第３レンズ群１９Ｒ，１９Ｌとは、互いの位置が一意に対応付けられている。例えば、第２レンズ群１８Ｒ，１８Ｌと第３レンズ群１９Ｒ，１９Ｌとは、同一のカム機構により光軸ＯＲ，ＯＬ方向に案内される。これにより、アクチュエータ１６Ｒ，１６Ｌにより、広角ポジションと望遠ポジションとの間で、第２レンズ群１８Ｒ，１８Ｌが光軸ＯＲ，ＯＬ方向に変位されると、第２レンズ群１８Ｒ，１８Ｌの変位に連動して、第３レンズ群１９Ｒ，１９Ｌが変位する。したがって、第１の撮像部１１Ｒと第２の撮像部１１Ｌのそれぞれについて、第２レンズ群１８Ｒ，１８Ｌと第３レンズ群１９Ｒ，１９Ｌとを、単一のアクチュエータ１６Ｒ，１６Ｌで駆動することができる。
　焦点距離制御部２１は、広角ポジションと望遠ポジションとの２つのズームポジションの間で切換えを行った場合、後述する補正テーブル切替部１３に対して、切換え後のズームポジションに対応する補正テーブル群への切り替えを指示する。
　画像処理部２２は、第１の撮像部１１Ｒの撮像素子１５Ｒおよび第２の撮像部１１Ｌの撮像素子１５Ｌから出力された画像信号に基づいて、視差を算出し被写体までの距離を算出する。画像処理部２２は、制御部１２を構成するプロセッサの一部により構成されうる。画像処理部２２は、ステレオ画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、等のプロセッサを含むことができる。画像処理部２２は、さらに画像データを一時的に記憶するＤＲＡＭ（Dynamic Random Access Memory）及び／またはＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリを有することができる。画像処理部２２は、画像処理プロセッサということもできる。
　画像信号を受信すると、画像処理部２２は、入力された第１の撮像部１１Ｒによる画像と第２の撮像部１１Ｌによる画像とのそれぞれについて画像の調整を行う。例えば、画像処理部２２は、外部環境に応じて、撮像された画像の明るさおよび／またはコントラストの調整を行う。
　さらに、画像処理部２２は、第１の撮像部１１Ｒから出力された画像と第２の撮像部１１Ｌから出力された画像とに対して、補正を行う。例えば、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌの向きに僅かなずれがある場合、そのずれ量に対応して画像の補正を行う。また、画像処理部２２は、レンズの歪曲により発生する収差を補正する。一般に、光学系が広角になるほど歪みが大きくなるので、広角ポジションと望遠ポジションとの間では、撮像光学系１４Ｒ，１４Ｌの焦点距離に応じて異なる補正が必要となる。これらの補正は、補正テーブル切替部１３から現在のズームポジションに対応した収差補正用の補正テーブルを取得して行う。画像処理部２２は、収差補正用の補正テーブルにより、撮像光学系１４Ｒ，１４Ｌの焦点距離に応じて、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌにより撮像した画像の収差の補正を行う。さらに、画像処理部２２は、撮像光学系１４Ｒおよび撮像光学系１４Ｌに含まれるレンズの個体差も、補正テーブル切替部１３に含まれる補正テーブルにより補正する。各補正テーブルの内容は、設計値または予め測定を行うことにより決定され、補正テーブル切替部１３に格納される。
　画像処理部２２は、第１の撮像部１１Ｒから出力された画像と第２の撮像部１１Ｌから出力された画像のうち、一方の画像を基準画像とし他方の画像を参照画像とする。画像処理部２２は、参照画像を３×３画素、５×５画素等の矩形のブロックに分割し、基準画像の中から最も類似するブロックを探索することによって、視差を算出する。視差の算出方法は公知なので、詳しい説明は省略する。画像処理部２２は、ブロックのマッチングを高速並列処理する専用の距離演算回路を備えることができる。
　さらに、画像処理部２２は、算出した視差から被写体までの距離を算出してよい。距離の算出は、入力視差と距離との変換テーブルである視差テーブルを用いて行うことができる。撮像光学系１４Ｒおよび撮像光学系１４Ｌは、ズームポジションに応じて、ピクセル値で表される視差とメートル単位で表される距離との対応関係が異なる。このため、画像処理部２２は、現在のズームポジションに対応する視差テーブルを有する。画像処理部２２は、現在のズームポジションに対応する視差テーブルを、補正テーブル切替部１３から取得してよい。
　また、画像処理部２２は、算出した被写体までの距離情報を、車両通信部２３を介して車載ＥＣＵ２４に対して出力する。
　例えば、車載ＥＣＵ２４は安全系のＥＣＵであり、受信した距離情報に基づいて前方の車両、障害物等との距離が狭くなり過ぎないように制御し、または、警告を発することが可能になる。仮に、車両３０の走行速度が比較的遅く、撮像光学系１４Ｒおよび撮像光学系１４Ｌが広角ポジションの場合、比較的近距離での路側からの人および／または車両の飛び出しを検出することができる。一方、車両３０の走行速度が比較的速く、撮像光学系１４Ｒおよび撮像光学系１４Ｌが望遠の場合、比較的遠距離に位置する先行車両までの距離を、より正確に検出することが可能になる。このように、車両３０の走行速度に応じた距離測定が可能になる。
　補正テーブル切替部１３は、焦点距離制御部２１から入力される現在のズームポジションに応じて、画像処理部２２に広角に対応した広角補正テーブル群２５、または、望遠に対応した望遠補正テーブル群２６を出力する。広角補正テーブル群２５および望遠補正テーブル群２６は、それぞれ、撮像光学系１４Ｒおよび撮像光学系１４Ｌにより生じる像の歪みを補正するための補正テーブルを含む。補正テーブルは、収差を補正するための補正テーブルを含む。さらに、広角補正テーブル群２５および望遠補正テーブル群２６は、視差情報を距離情報に変換するための視差テーブルを備えることができる。
　補正テーブル切替部１３は、マイクロプロセッサと補正テーブル群を格納するためのメモリを備えうる。補正テーブル切替部１３は、制御部１２と同じＣＰＵおよびメモリを用いて実装されていてよく、制御部１２とは異なるハードウェアにより実装されていてよい。補正テーブル切替部１３は、画像処理部２２から読み取り可能なメモリとして実装されてよい。
　次に、ステレオカメラ装置１０の動作を、制御部１２の処理を示す図５のフローチャートを用いて説明する。
　まず、ステレオカメラ装置１０は、車両３０への運転者のイグニッションキーの操作または、運転者によるステレオカメラ装置１０の電源操作等により起動される（ステップＳ１０１）。
　次に、制御部１２の焦点距離制御部２１は、車載ＥＣＵ２４から車両３０の走行情報を取得する（ステップＳ１０２）。車両３０の走行情報は、例えば、車両３０の車速センサから得られる走行速度情報である。
　焦点距離制御部２１は、走行情報を取得すると、取得した走行情報に応じて第１の撮像部１１Ｒおよび第２の撮像部１１Ｌのアクチュエータ１６Ｒ，１６Ｌを駆動して焦点距離を変更するか決定する（ステップＳ１０３）。例えば、走行情報が走行速度情報の場合、走行速度が所定の閾値よりも遅ければ、焦点距離制御部２１は、焦点距離を比較的短くし、像倍率が低く画角の広い広角ポジションの撮像にする。逆に、走行速度が所定の閾値よりも速い場合には、焦点距離制御部２１は、焦点距離を長くし、像倍率が高く画角の狭い望遠ポジションの撮像にする。ステレオカメラ装置１０の起動時においては走行速度が０であれば、ズームポジションは広角ポジションとすることができる。
　ステップＳ１０３において、焦点距離を変更する場合、焦点距離制御部２１は、次のステップＳ１０４に進み、焦点距離を変更しない場合、焦点距離制御部２１は、ステップＳ１０６に進む。
　ステップＳ１０４において、焦点距離制御部２１は、第１の撮像部１１Ｒのアクチュエータ１６Ｒおよび第２の撮像部１１Ｌのアクチュエータ１６Ｌに対して、駆動信号を出力する。一例として、アクチュエータ１６Ｒおよびアクチュエータ１６Ｌは、ステッピングモータである。焦点距離制御部２１は、ステッピングモータを駆動するパルス信号を出力しうる。
　次に、焦点距離制御部２１は、補正テーブル切替部１３に対して補正テーブル群の変更を指示する（ステップＳ１０５）。例えば、ズームポジションが、広角ポジションから望遠ポジションに変更された場合は、望遠補正テーブル群２６を現在の補正テーブル群とする。反対に、望遠ポジションから広角ポジションに変更された場合は、広角補正テーブル群２５を現在の補正テーブル群とする。補正テーブル群の変更が終了すると、ステップＳ１０６に進む。
　ステップＳ１０６において、画像処理部２２は、第１の撮像部１１Ｒの撮像素子１５Ｒおよび第２の撮像部１１Ｌの撮像素子１５Ｌから、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌにより撮像した画像の画像信号を取得する。次に、画像処理部２２は、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌから取得した画像の歪みを調整する。歪みの調整には、補正テーブル切替部１３の現在の補正テーブル群から補正テーブルを取得して行う。
　さらに、画像処理部２２は、補正された第１の撮像部１１Ｒおよび第２の撮像部１１Ｌから取得した２つの画像の視差から、視差を２次元にマッピングした視差画像を生成する。視差画像の生成は、画像処理部２２の内部で行ってよく、実際の表示装置等に画像を表示する必要は無い。さらに、画像処理部２２は、視差画像の各位置の視差から、補正テーブル切替部１３の現在の補正テーブル群から取得した視差テーブルに基づいて、撮像された画像上の各点について距離情報を算出する（ステップＳ１０７）。
　画像処理部２２は、算出した距離情報を車載ＥＣＵ２４に出力する（ステップＳ１０８）。例えば、画像処理部２２は、安全系のＥＣＵである車載ＥＣＵ２４に距離情報を出力し、先行車両との間隔が狭まったときに車載ＥＣＵ２４が運転者に警告をし、または、車両３０を減速させるようにすることができる。
　制御部１２は、運転者による車両３０のイグニッションキーのＯＦＦ操作またはステレオカメラ装置１０の電源停止等を検出した場合は処理を停止する。それ以外の場合は、上記ステップＳ１０２からステップＳ１０８を繰り返し実行する（ステップＳ１０９）。
　以上説明したように、本実施形態によれば、ステレオカメラ装置１０は、第１の撮像部１１Ｒのアクチュエータ１６Ｒおよび第２の撮像部１１Ｌのアクチュエータ１６Ｌの２つのアクチュエータに対して、単一の焦点距離制御部２１を有する。焦点距離制御部２１は、アクチュエータ１６Ｒ，１６Ｌに互いに同期した駆動信号を出力するので、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌ間の焦点距離の制御を正確に同期させることができる。これにより、ステレオカメラ装置１０は、ズーム機能を有しながら高い距離測定精度を得ることのできる視差データを取得することができる。
　また、ステレオカメラ装置１０は、補正テーブル切替部１３を備え、撮像光学系１４Ｒおよび撮像光学系１４Ｌの焦点距離の変化に応じて、広角ポジションと望遠ポジションとのズームポジションごとに画像の収差の補正を行う。これにより、さらに認識精度を高めることができる。さらに、撮像光学系１４Ｒおよび撮像光学系１４Ｌに含まれるレンズの個体差も、補正テーブル切替部１３により補正することができる。
　また、ステレオカメラ装置１０は、車載ＥＣＵ２４から走行状態情報を取得するので、走行状態に応じたズームポジションを自動的に選択することが可能になる。
　さらに、ステレオカメラ装置１０の撮像光学系１４Ｒおよび撮像光学系１４Ｌは、それぞれ、３群のレンズで構成され、変倍用の第２レンズ群１８Ｒ，１８Ｌとピント移動補正用の第３レンズ群１９Ｒ，１９Ｌとは、互いの位置が一意に対応付けられるように連動しているので、それぞれ単一のアクチュエータ１６Ｒ，１６Ｌにより駆動することが可能である。これによって、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌを単純に構成し、且つ、距離測定の精度を高めることができる。
　また、ステレオカメラ装置１０は撮像した画像を拡大処理するデジタルズームを用いるのではなく、実際に焦点距離を変化させる光学ズームを用いている。このため、画像の拡大および補間処理等によって情報の精度が低下することが無く、距離測定に必要な正確な情報を取得することができる。
　上記実施形態では、走行速度に応じて第１の撮像部１１Ｒおよび第２の撮像部１１Ｌの焦点距離を切り替えるものとしたが、切換えの条件が設定されるのは走行速度のみに限られない。例えば、焦点距離制御部２１は、走行情報として車載ＥＣＵ２４から車両３０周辺の地図情報を取得し、走行道路の種別を判別する。焦点距離制御部２１は、自動車専用道路を走行中はズームポジションを望遠ポジションとしてよい。焦点距離制御部２１は、市街地を走行中はズームポジションを広角ポジションとしてよい。また、焦点距離制御部２１は、走行情報として車載ＥＣＵ２４から方向指示機（ウィンカー）の操作情報を取得してよい。焦点距離制御部２１は、方向指示機が駆動されているときは、広角ポジションに切り替えを行うようにしてよい。さらに、焦点距離制御部２１は、走行情報として車載ＥＣＵ２４から車両３０の加速度を取得しうる。焦点距離制御部２１は、加速時にはズームポジションを望遠ポジションに切換えるようにしてよい。焦点距離制御部２１は、減速時にはズームポジションを広角ポジションに切り替えるようにしてよい。
（第２実施形態）
　本開示の複数の実施形態の１つである第２実施形態に係るステレオカメラ装置１０は、第１実施形態に係るステレオカメラ装置１０と同様の構成要素により構成され、制御部１２による処理が一部異なっている。
　図６に示すように、本実施形態は、画像信号を取得して（ステップＳ２０２）、走行状態情報を生成し、（ステップＳ２０３）、焦点距離の変更を判断する（ステップＳ２０４）点で第１実施形態と異なる。その他の処理のステップ（ステップＳ２０１，Ｓ２０５～Ｓ２１０）は、第１実施形態の処理のステップ（ステップＳ１０１，Ｓ１０４～Ｓ１０９）と同様である。そこで、以下に第１実施形態と異なる点についてのみ説明する。
　本実施形態では、焦点距離制御部２１は、車載ＥＣＵ２４から走行状態情報を取得するのに代えて、または、加えて、画像処理部２２が生成した走行状態情報を取得する。画像処理部２２は、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌの双方または何れか一方から取得した画像に基づいて、走行状態情報を生成する。このため、画像処理部２２は、ステレオカメラ装置１０の起動（ステップＳ２０１）後に、まず、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌから画像信号を取得する（ステップＳ２０２）。
　次に、画像処理部２２は、取得した画像信号から走行状態情報を生成する（ステップＳ２０３）。走行状態情報の生成の一例を、図７を用いて説明する。図７（ａ）～（ｃ）は、
第１の撮像部１１Ｒまたは第２の撮像部１１Ｌの何れかで撮像された画像であり、路面上の区画線である車道外側線３１と車道中央線３２が表示されている。走行する道路が前方に向けて直線的に延びている場合、実空間において、車道外側線３１と車道中央線３２とは平行である。これら、車道外側線３１および車道中央線３２の延長線は、撮像された画像上では無限遠に対応する消失点において交差する。
　図７（ａ）、図７（ｂ）および図７（ｃ）は、それぞれ、走行する道路が水平のとき、水平から上り坂になるとき、および、水平から下り坂になるときにおける、消失点Ｐｆ，Ｐｕ，Ｐｄおよび車道外側線３１と車道中央線３２との成す角度θｆ，θｕ，θｄを示す。このとき、消失点Ｐｆ，Ｐｕ，Ｐｄの垂直方向の高さ（それぞれ、ｐｆ，ｐｕ，ｐｄとする）、および、車道外側線３１と車道中央線３２との成す角度θｆ，θｕ，θｄは、以下の関係となる。
　　　　　　ｐｄ＜ｐｆ＜ｐｕ
　　　　　　θｕ＜θｆ＜θｄ
　そこで、画像処理部２２は、車道外側線３１と車道中央線３２を含む区画線の認識処理を行い、消失点の垂直高さｐ、または、車道外側線３１と車道中央線３２との成す角度θを走行状態情報として生成し、焦点距離制御部２１に受け渡す。焦点距離制御部２１は、画像処理部２２から取得した消失点の垂直高さｐまたは車道外側線３１と車道中央線３２との成す角度θに基づいて、焦点距離の変更を判断する（ステップＳ２０４）。
　例えば、走行状態情報が、車両３０の前方の道路の傾きとすると、その情報は消失点の垂直高さｐにより表される。消失点の垂直高さｐが所定の閾値よりも大きい場合は、上り坂にさしかかっているので、車両３０が減速することが想定される。そこで、ズームポジションが望遠ポジションにある場合、焦点距離制御部２１は、ズームポジションを広角ポジションに切り替える。消失点の垂直高さｐが所定の閾値よりも小さい場合は、下り坂に差し掛かっているので、車両３０が加速することが想定される。そこで、ズームポジションが望遠ポジションにある場合、焦点距離制御部２１は、ズームポジションを広角ポジションに切り替える。
　以下の処理ステップ（ステップＳ２０５～ステップＳ２１０）は、第１実施形態における図５の処理ステップ（ステップＳ２０４～ステップＳ２０９）と同様である。また、制御部１２は、ステップ２１０においてシステムが停止されない限り、ステップＳ２０３～ステップＳ２１０の処理を繰り返す。ただし、２回目以降のステップＳ２０３では、画像処理部２２は、ステップＳ２０７で取得した画像信号に基づいて、走行状態情報を生成する。
　これによって、ステレオカメラ装置１０で撮像される画像に基づいて、焦点距離を制御することが可能になる。この場合も、単一の焦点距離制御部２１から第１の撮像部１１Ｒと第２の撮像部１１Ｌに対して同期した駆動信号を送出するので、第１実施形態と同様に、ズーム機能を有しながら、高い距離測定精度を得ることのできる視差データを取得することができる。さらに、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌにより得られる画像のみからズームポジションの変更の判断が可能であるという効果も有する。
　画像処理に基づく焦点距離の切換え方法は、上記の例に限られない。例えば、画像処理部２２は、画像処理によって車道外側線３１および車道中央線３２が曲がっていると検知した場合、車両３０が走行する道路が前方においてカーブしていると判断する。この場合、画像処理部２２は、焦点距離制御部２１に対して道路がカーブしているという情報を走行状態情報として受け渡す。焦点距離制御部２１は、この情報を受信して、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌのズームポジションを、望遠ポジションから広角ポジションに切り替えるように制御することができる。
　さらに、画像処理部２２は、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌで撮像した画像に対して物体認識処理を行い、前方を走行する車両を検出するとともに視差情報から距離を算出することができる。画像処理部２２は、この前方の車両との距離を走行状態情報として焦点距離制御部２１に受け渡してよい。焦点距離制御部２１は、例えば、前方を走行する車両が所定の距離よりも遠い場合であって、ズームポジションが広角ポジションにある場合は、望遠ポジションに切り替える。反対に、前方を走行する車両が所定の距離よりも近い場合であって、ズームポジションが望遠ポジションにある場合、広角ポジションに切り替える。このようにすることによって、前方の車両が遠距離にある場合、画像が拡大して撮像される。このため、第１の撮像部１１Ｒと第２の撮像部１１Ｌとの間の画素単位で示した視差が大きくなる。ステレオカメラ装置による距離測定は、一般的に遠距離になると１画素のずれに対応する距離が長くなるので、精度が落ちるが、この方法によれば、前方車両が遠距離であっても、より精度の高い距離測定が可能になる。
　なお、本開示は、上記第１実施形態および第２実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、上記実施形態では、ステレオカメラ装置１０は、第１の撮像部１１Ｒ、第２の撮像部１１Ｌ、制御部１２、および、補正テーブル切替部１３は、一体として構成される例を示した。ステレオカメラ装置１０は、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌと、制御部１２および補正テーブル切替部１３とを別体として構成してよい。
　また、ステレオカメラ装置１０の第１の撮像部１１Ｒおよび第２の撮像部１１Ｌの設置位置は、フロントガラスの内側に限られず、種々の位置に設置することが可能である。例えば、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、それぞれ車両３０のフロントバンパーの前面に固定されていてよい。また、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌは、モノクロのカメラであるとしたが、カラーのカメラまたは赤外線領域の光までも撮像可能なカメラを用いてよい。撮像光学系１４Ｒ，１４Ｌは３群構成としたが、これに限られず、２群または４群以上のレンズで構成することもできる。
　さらに、上記実施形態では、第１の撮像部１１Ｒおよび第２の撮像部１１Ｌは、広角と望遠との２種類の焦点距離に切り替えられるものとしたが、これに限られない。第１の撮像部１１Ｒおよび第２の撮像部１１Ｌは、３段階以上の焦点距離に切り替えられるようにしてよい。その場合は、各段階について補正テーブル切替部１３に補正テーブル群が設けられる。
　また、各実施形態には焦点距離の変更を判断する複数の方法を示したが、これらは例示であって他の種々の判定方法が可能である。また、各実施形態に示した判断方法は、組み合わせて用いることもできる。
　さらに、上記実施形態においては、ステレオカメラ装置１０は第１の撮像部１１Ｒと第２の撮像部１１Ｌとを含んでいた。しかし、ステレオカメラ装置は３つ以上の撮像部を含むことも可能である。
　１０　　ステレオカメラ装置
　１１Ｒ　　第１の撮像部
　１１Ｌ　　第２の撮像部
　１２　　制御部
　１３　　補正テーブル切替部
　１４Ｒ，１４Ｌ　　撮像光学系
　１５Ｒ，１５Ｌ　　撮像素子
　１６Ｒ，１６Ｌ　　アクチュエータ
　１７Ｒ，１７Ｌ　　第１レンズ群
　１８Ｒ，１８Ｌ　　第２レンズ群
　１９Ｒ，１９Ｌ　　第３レンズ群
　２１　　焦点距離制御部
　２２　　画像処理部
　２３　　車両通信部
　２４　　車載ＥＣＵ
　２５　　広角補正テーブル群
　２６　　望遠補正テーブル群
　３０　　車両
　３１　　車道外側線
　３２　　車道中央線

Claims (11)

  1. 　複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する第１の撮像部と、
    　複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する第２の撮像部と、
    　前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力する焦点距離制御部と、
    　前記第１の撮像部および前記第２の撮像部により撮像した画像を用いて、被写体までの視差を算出する画像処理部と
    を備えるステレオカメラ装置。
  2. 　前記画像処理部は、前記第１の撮像光学系の前記焦点距離および前記第２の撮像光学系の前記焦点距離に応じて、前記第１の撮像部および前記第２の撮像部により撮像した画像の収差の補正を行う請求項１に記載のステレオカメラ装置。
  3. 　車両に搭載される場合、前記焦点距離制御部は、前記車両の走行状態に関する走行状態情報を取得し、該走行状態情報に応じて、前記第１の駆動部および前記第２の駆動部に前記駆動信号を出力する請求項１または２に記載のステレオカメラ装置。
  4. 　前記画像処理部は、前記第１の撮像部および前記第２の撮像部の双方またはいずれか一方により撮像した画像に基づいて前記走行状態情報を生成し、前記焦点距離制御部は、前記走行状態情報を前記画像処理部から取得する請求項３に記載のステレオカメラ装置。
  5. 　前記第１の駆動部および前記第２の駆動部は、それぞれステッピングモータを含み、前記焦点距離制御部は、前記駆動信号として、前記ステッピングモータを駆動するパルス信号を出力する請求項１から４の何れか一項に記載のステレオカメラ装置。
  6. 　前記第１の撮像光学系および前記第２の撮像光学系は、それぞれ、変倍用レンズ群とピント移動補正用レンズ群とを含む２つ以上のレンズ群で構成され、前記変倍用レンズ群と前記ピント移動補正用レンズ群とは、互いの位置が一意に対応付けられるように連動する請求項１から５の何れか一項に記載のステレオカメラ装置。
  7. 　複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する第１の撮像部と、複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する第２の撮像部と、前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力する焦点距離制御部と、前記第１の撮像部および前記第２の撮像部により撮像した画像を用いて、被写体までの視差を算出する画像処理部とを含むステレオカメラ装置を備える車両。
  8. 　複数のレンズ群を含む第１の撮像光学系、および、該第１の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第１の駆動部を有する第１の撮像部と、複数のレンズ群を含む第２の撮像光学系、および、該第２の撮像光学系の前記複数のレンズ群の少なくとも一つを駆動させて焦点距離を変更する第２の駆動部を有する第２の撮像部とを有するステレオカメラ装置を用いた視差算出方法であって、
    　前記第１の駆動部および前記第２の駆動部のそれぞれに、互いに同期した駆動信号を出力し、前記第１の撮像光学系の前記焦点距離及び前記第２の撮像光学系の前記焦点距離を変更するステップと、
    　前記第１の撮像部および前記第２の撮像部で撮像した画像を用いて被写体までの視差を算出するステップと
    を含む視差算出方法。
  9. 　前記焦点距離の変更に同期して、前記第１の撮像光学系の前記焦点距離および前記第２の撮像光学系の前記焦点距離に応じて、収差の補正を行う補正テーブルを変更するステップを含み、
    　前記視差を算出するステップは、前記補正テーブルを用いて前記第１の撮像部および前記第２の撮像部で撮像した画像を補正した後、該補正した画像を用いて被写体までの視差を算出する請求項８に記載の視差算出方法。
  10. 　前記ステレオカメラ装置が車両に搭載される場合、前記焦点距離を変更するステップの前に、前記車両の走行状態に関する走行状態情報を取得するステップをさらに含み、前記焦点距離を変更するステップは、前記走行状態情報に応じて前記駆動信号を出力することを含む請求項８または９に記載の視差算出方法。
  11. 　前記走行状態情報を取得するステップは、前記第１の撮像部および前記第２の撮像部の双方またはいずれか一方により撮像した画像に基づいて前記走行状態情報を生成することにより、前記走行状態情報を取得する請求項１０に記載の視差算出方法。
     
PCT/JP2017/005969 2016-02-25 2017-02-17 ステレオカメラ装置、車両および視差算出方法 WO2017145945A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018501642A JPWO2017145945A1 (ja) 2016-02-25 2017-02-17 ステレオカメラ装置、車両および視差算出方法
US16/079,320 US11703326B2 (en) 2016-02-25 2017-02-17 Stereo camera apparatus, vehicle, and parallax calculation method
CN201780012446.8A CN108700414A (zh) 2016-02-25 2017-02-17 立体摄像装置、车辆以及视差计算方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-034904 2016-02-25
JP2016034904 2016-02-25

Publications (1)

Publication Number Publication Date
WO2017145945A1 true WO2017145945A1 (ja) 2017-08-31

Family

ID=59685147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005969 WO2017145945A1 (ja) 2016-02-25 2017-02-17 ステレオカメラ装置、車両および視差算出方法

Country Status (4)

Country Link
US (1) US11703326B2 (ja)
JP (1) JPWO2017145945A1 (ja)
CN (1) CN108700414A (ja)
WO (1) WO2017145945A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019104460A (ja) * 2017-12-14 2019-06-27 株式会社豊田自動織機 操舵装置
JP2019140929A (ja) * 2018-02-19 2019-08-29 国立大学法人京都大学 自脱型コンバイン
EP3534109A4 (en) * 2016-10-31 2019-11-13 Hangzhou Hikvision Digital Technology Co., Ltd. METHOD AND SYSTEM FOR DEPTH MEASUREMENT
WO2020075476A1 (ja) * 2018-10-11 2020-04-16 日立オートモティブシステムズ株式会社 車載システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method
KR101822895B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
US10872246B2 (en) * 2017-09-07 2020-12-22 Regents Of The University Of Minnesota Vehicle lane detection system
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
CN110493573A (zh) * 2019-08-23 2019-11-22 临工集团济南重机有限公司 一种挖掘机及挖掘机远程控制系统
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2023528407A (ja) * 2020-06-04 2023-07-04 アドヴァンスド ファーム テクノロジーズ インコーポレイテッド グローバルシャッタ同期式カラーステレオカメラシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10129375A (ja) * 1996-10-30 1998-05-19 Yazaki Corp 車載用前方車両認識装置
JP2001221621A (ja) * 2000-12-20 2001-08-17 Minolta Co Ltd ３次元形状測定装置
JP2004053323A (ja) * 2002-07-17 2004-02-19 Denso Corp ナビゲーションシステム及びナビゲーション装置
JP2013044827A (ja) * 2011-08-23 2013-03-04 Sharp Corp 撮像装置
JP2013206416A (ja) * 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載画像記録装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY104410A (en) * 1988-03-07 1994-03-31 Sharp Kk Interlocked zooming apparatus for use in stereoscopic cameras
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP4296617B2 (ja) * 1998-10-15 2009-07-15 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JP2005274518A (ja) 2004-03-26 2005-10-06 Denso Corp 運行障害予知システム
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP2007241304A (ja) * 2007-04-20 2007-09-20 Sony Corp 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
WO2014065159A1 (ja) * 2012-10-22 2014-05-01 ヤマハ発動機株式会社 距離測定装置及びそれを用いた車両
CN104902261B (zh) * 2014-03-06 2017-08-08 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
KR20170105481A (ko) * 2014-10-14 2017-09-19 도요타 모터 유럽 교통 신호 검증을 위한 시스템 및 방법
JP6212021B2 (ja) * 2014-11-26 2017-10-11 株式会社Ｓｏｋｅｎ 距離検出装置
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
BR112017027773B1 (pt) * 2015-06-26 2022-06-21 Nissan Motor Co., Ltd Aparelho de determinação de posição de veículo e método de determinação de posição de veículo
US20190016339A1 (en) * 2016-02-16 2019-01-17 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and vehicle control program
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10129375A (ja) * 1996-10-30 1998-05-19 Yazaki Corp 車載用前方車両認識装置
JP2001221621A (ja) * 2000-12-20 2001-08-17 Minolta Co Ltd ３次元形状測定装置
JP2004053323A (ja) * 2002-07-17 2004-02-19 Denso Corp ナビゲーションシステム及びナビゲーション装置
JP2013044827A (ja) * 2011-08-23 2013-03-04 Sharp Corp 撮像装置
JP2013206416A (ja) * 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載画像記録装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3534109A4 (en) * 2016-10-31 2019-11-13 Hangzhou Hikvision Digital Technology Co., Ltd. METHOD AND SYSTEM FOR DEPTH MEASUREMENT
US11209268B2 (en) 2016-10-31 2021-12-28 Hangzhou Hikvision Digital Technology Co., Ltd. Depth measuring method and system
JP2019104460A (ja) * 2017-12-14 2019-06-27 株式会社豊田自動織機 操舵装置
JP7067047B2 (ja) 2017-12-14 2022-05-16 株式会社豊田自動織機 操舵装置
JP2019140929A (ja) * 2018-02-19 2019-08-29 国立大学法人京都大学 自脱型コンバイン
JP7041889B2 (ja) 2018-02-19 2022-03-25 国立大学法人京都大学 自脱型コンバイン
WO2020075476A1 (ja) * 2018-10-11 2020-04-16 日立オートモティブシステムズ株式会社 車載システム
JPWO2020075476A1 (ja) * 2018-10-11 2021-10-07 日立Astemo株式会社 車載システム

Also Published As

Publication number Publication date
CN108700414A (zh) 2018-10-23
JPWO2017145945A1 (ja) 2018-11-29
US11703326B2 (en) 2023-07-18
US20190017819A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
WO2017145945A1 (ja) ステレオカメラ装置、車両および視差算出方法
EP3361721B1 (en) Display assistance device and display assistance method
AU2018395869B2 (en) High-speed image readout and processing
CN110603458B (zh) 光学传感器和电子设备
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
JP6480605B2 (ja) 撮像装置、撮像システム、車両及び異物判定方法
JP6141562B1 (ja) 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
JP6121641B1 (ja) 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP6683245B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
US10769804B2 (en) Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method
WO2020009172A1 (ja) カメラ
JP2013161187A (ja) 物体認識装置
JP2017228850A (ja) 車両用カメラモニタシステム及び車両
CN113661700A (zh) 成像装置与成像方法
JP2018201167A (ja) 画像処理装置、周辺監視システム、および移動体
JP7253693B2 (ja) 画像処理装置
WO2019221151A1 (ja) 撮像システム
WO2018155280A1 (ja) 周辺監視システム
JP2022149731A (ja) 制御装置、制御装置の動作方法及びプログラム
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム
CN115699792A (zh) 固态成像装置、控制固态成像装置的方法和移动体
CN117222548A (zh) 控制车载摄像头的视角的方法、装置以及车辆
JP2020013096A (ja) カメラ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501642

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756384

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17756384

Country of ref document: EP

Kind code of ref document: A1