WO2019225349A1 - 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 - Google Patents

情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 Download PDF

Info

Publication number
WO2019225349A1
WO2019225349A1 PCT/JP2019/018676 JP2019018676W WO2019225349A1 WO 2019225349 A1 WO2019225349 A1 WO 2019225349A1 JP 2019018676 W JP2019018676 W JP 2019018676W WO 2019225349 A1 WO2019225349 A1 WO 2019225349A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
unit
image
region
control unit
Prior art date
Application number
PCT/JP2019/018676
Other languages
English (en)
French (fr)
Inventor
啓太郎 山本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/054,784 priority Critical patent/US11850990B2/en
Priority to JP2020521153A priority patent/JP7226440B2/ja
Priority to KR1020207032578A priority patent/KR20210013044A/ko
Priority to CN201980033003.6A priority patent/CN112135753A/zh
Priority to EP19806461.0A priority patent/EP3805045B1/en
Priority to EP23180209.1A priority patent/EP4227157A1/en
Publication of WO2019225349A1 publication Critical patent/WO2019225349A1/ja
Priority to US18/388,863 priority patent/US20240075866A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1431—Illumination control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present technology relates to an information processing device, an information processing method, an imaging device, an illumination device, and a moving body, and particularly, an information processing device, an information processing method, and a method suitable for performing image recognition processing on a visible image.
  • the present invention relates to an imaging device, an illumination device, and a moving body.
  • Patent Document 1 does not consider controlling the light distribution pattern of the headlight device for the purpose of improving the accuracy of the image recognition processing.
  • the present technology has been made in view of such circumstances, and is intended to improve the accuracy of image recognition processing.
  • the information processing apparatus performs image recognition processing on an image photographed by the photographing unit, and calculates the reliability of the recognition result for each recognition region that is a region based on the object recognition result.
  • the information processing method performs image recognition processing on an image photographed by the photographing unit, and calculates a reliability of the recognition result for each recognition region that is a region based on the recognition result of the object.
  • the irradiation pattern of visible light in the imaging direction of the imaging unit is controlled so that the reliability with respect to at least a part of the recognition area is high.
  • the imaging device performs image recognition processing on an imaging element and an image captured by the imaging element, and the recognition result is reliable for each recognition area that is an area based on the recognition result of the object.
  • a recognition unit that calculates the degree of light, and an irradiation control unit that controls an irradiation pattern of visible light in the photographing direction of the image sensor so that the reliability of at least a part of the recognition region is high.
  • the illumination device performs image recognition processing on the image captured by the light source unit and the imaging unit, and the reliability of the recognition result for each recognition region that is a region based on the recognition result of the object. And an irradiation control unit that controls an irradiation pattern of visible light by the light source unit in the imaging direction of the imaging unit so that the reliability with respect to at least a part of the recognition region is high. .
  • the moving body includes an imaging unit, an illumination unit that emits visible light in the imaging direction of the imaging unit, and an image recognition process performed on an image captured by the imaging unit, A recognition unit that calculates the reliability of the recognition result for each recognition region that is a region based on the recognition result, and an irradiation pattern of visible light of the illumination unit so that the reliability of at least a part of the recognition region is high An irradiation control unit for controlling
  • image recognition processing is performed, the reliability of the recognition result is calculated for each recognition area that is an area based on the recognition result of the object, and at least a part of the recognition
  • the irradiation pattern of visible light in the photographing direction is controlled so that the reliability with respect to the region is high.
  • the accuracy of the image recognition process can be improved.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of a vehicle 101 to which the present technology is applied.
  • the vehicle 101 includes a vehicle control system 111.
  • the vehicle control system 111 includes a plurality of control units connected via the communication network 121.
  • the vehicle control system 111 includes a drive system control unit 122, a body system control unit 124, a battery control unit 126, a vehicle exterior information detection unit 127, a vehicle interior information detection unit 130, and an integrated control unit 133.
  • the communication network 121 connecting these control units is compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 121, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 151 As a functional configuration of the integrated control unit 133, a microcomputer 151, a general-purpose communication I / F 152, a dedicated communication I / F 153, a positioning unit 154, a beacon receiving unit 155, an in-vehicle device I / F 156, an audio image output unit 157, An in-vehicle network I / F 158 and a storage unit 159 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 122 controls the operation of the device related to the drive system of the vehicle 101 according to various programs.
  • the drive system control unit 122 includes a drive force generator for generating a drive force of the vehicle 101 such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a rudder of the vehicle 101. It functions as a steering mechanism that adjusts the angle and a control device such as a braking device that generates the braking force of the vehicle 101.
  • the drive system control unit 122 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 123 is connected to the drive system control unit 122.
  • the vehicle state detection unit 123 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle 101, or the operation amount of the accelerator pedal, the operation amount of the brake pedal, and the steering wheel At least one of sensors for detecting a steering angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 122 performs arithmetic processing using a signal input from the vehicle state detection unit 123, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 124 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 124 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 124 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 124 receives the input of these radio waves or signals, and controls the door lock device, power window device, lamp, and the like of the vehicle 101.
  • the illumination unit 125 is illustrated as a control target of the body system control unit 124.
  • the illumination unit 125 includes at least a part of the various lamps described above.
  • the battery control unit 126 controls a secondary battery (not shown) that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or battery remaining capacity is input to the battery control unit 126 from a battery device including a secondary battery. The battery control unit 126 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery or the cooling device provided in the battery device.
  • the outside information detection unit 127 detects information outside the vehicle 101.
  • the imaging unit 128 and the outside information detection unit 129 is connected to the outside information detection unit 127.
  • the imaging unit 128 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 129 includes, for example, an environment sensor for detecting current weather or weather, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle 101. At least one of them is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the photographing unit 128 and the vehicle exterior information detection unit 129 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • the outside information detection unit 127 causes the photographing unit 128 to photograph an image outside the vehicle and receives the photographed image data. Moreover, the vehicle exterior information detection unit 127 receives detection information from the vehicle exterior information detection part 129 connected.
  • the vehicle exterior information detection unit 129 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 127 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information (hereinafter, reflected waves). (Referred to as information).
  • the outside information detection unit 127 may perform object detection processing or distance detection processing such as a person, a car, an obstacle, a sign, or a character on a road surface based on the reflected wave information.
  • the vehicle exterior information detection unit 127 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the reflected wave information.
  • the vehicle outside information detection unit 127 may calculate a distance to an object outside the vehicle based on the reflected wave information.
  • the vehicle outside information detection unit 127 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the outside information detection unit 127 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 128 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 127 may perform viewpoint conversion processing using image data captured by different imaging units 128.
  • the in-vehicle information detection unit 130 detects in-vehicle information.
  • a driver state detection unit 131 that detects a driver's state is connected to the in-vehicle information detection unit 130.
  • the driver state detection unit 131 may include a camera that captures images of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 130 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 131, and determines whether the driver is asleep. May be.
  • the in-vehicle information detection unit 130 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 133 controls the overall operation in the vehicle control system 111 according to various programs.
  • An input unit 132 is connected to the integrated control unit 133.
  • the input unit 132 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 133 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 132 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 111. May be.
  • the input unit 132 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 132 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 132 and outputs the input signal to the integrated control unit 133.
  • a passenger or the like operates the input unit 132 to input various data or instruct a processing operation to the vehicle control system 111.
  • the storage unit 159 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer 151 and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 159 is realized by a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like, and provides various programs executed by the microcomputer 151, for example. It may be.
  • the general-purpose communication I / F 152 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 102.
  • the general-purpose communication I / F 152 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) and other wireless communication protocols such as Bluetooth (registered trademark) may be implemented.
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Bluetooth registered trademark
  • the general-purpose communication I / F 152 is connected to a device (for example, an application server or a control server) that exists on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
  • the general-purpose communication I / F 152 is a terminal (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal that exists in the vicinity of the vehicle 101 using, for example, P2P (Peer To Peer) technology. ).
  • various programs executed by the microcomputer 151 may be provided from the external environment 102.
  • the dedicated communication I / F 153 is a communication I / F that supports a communication protocol formulated for use in the vehicle 101.
  • the dedicated communication I / F 153 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment) (WAVE), DSRC (Dedicated Short Range Communication), or a cellular communication protocol. May be implemented.
  • the dedicated communication I / F 153 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-vehicle communication.
  • Pedestrian) V2X communication which is a concept including one or more of communication, is performed.
  • the positioning unit 154 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and executes the latitude, longitude, and Generate location information including altitude.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 154 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 155 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 155 may be included in the dedicated communication I / F 153 described above.
  • the in-vehicle device I / F 156 is a communication interface that mediates connection between the microcomputer 151 and various in-vehicle devices 134 existing in the vehicle.
  • the in-vehicle device I / F 156 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 156 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile) via a connection terminal (and a cable if necessary).
  • Wired connection such as High-definition (Link) may be established.
  • the in-vehicle device 134 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle 101.
  • the in-vehicle device 134 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 156 exchanges control signals or data signals with these in-vehicle devices 134.
  • the in-vehicle network I / F 158 is an interface that mediates communication between the microcomputer 151 and the communication network 121.
  • the in-vehicle network I / F 158 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 121.
  • the microcomputer 151 of the integrated control unit 133 is connected via at least one of a general-purpose communication I / F 152, a dedicated communication I / F 153, a positioning unit 154, a beacon receiving unit 155, an in-vehicle device I / F 156, and an in-vehicle network I / F 158. Based on the information acquired in this way, the vehicle control system 111 is controlled according to various programs. For example, the microcomputer 151 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 122. Also good.
  • the microcomputer 151 includes ADAS (Advanced Driver Assistance System) including collision avoidance or impact mitigation of the vehicle 101, follow-up traveling based on the inter-vehicle distance, vehicle speed maintenance traveling, vehicle 101 collision warning, or vehicle 101 lane departure warning. You may perform the cooperative control for the purpose of realizing the function.
  • the microcomputer 151 autonomously travels without depending on the operation of the driver by controlling the driving force generation device, the steering mechanism, the braking device, or the like based on the acquired information around the vehicle 101. You may perform cooperative control for the purpose of automatic driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 151 is information acquired via at least one of the general-purpose communication I / F 152, the dedicated communication I / F 153, the positioning unit 154, the beacon receiving unit 155, the in-vehicle device I / F 156, and the in-vehicle network I / F 158. 3D distance information between the vehicle 101 and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle 101 may be generated. Further, the microcomputer 151 may generate a warning signal by predicting a danger such as a collision of the vehicle 101, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 157 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying the passenger of the vehicle 101 or outside the vehicle.
  • an audio speaker 135, a display unit 136, and an instrument panel 137 are illustrated as output devices.
  • the display unit 136 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 136 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 151 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 121 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 111 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • a predetermined calculation process may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 121.
  • the description of the in-vehicle network I / F 158 and the communication network 121 when the microcomputer 151 of the integrated control unit 133 performs communication via the in-vehicle network I / F 158 and the communication network 121 will be omitted.
  • the microcomputer 151 communicates with the drive system control unit 122 via the in-vehicle network I / F 158 and the communication network 121, it is simply described that the microcomputer 151 communicates with the drive system control unit 122.
  • FIG. 2 is a block diagram illustrating a part of a configuration example of the illumination unit 125 of FIG.
  • the illumination unit 125 includes a variable irradiation lamp 201 and an infrared lamp 202.
  • the variable irradiation lamp 201 includes a visible light source unit 211 that emits visible light, and is installed in front of the vehicle 101 at a position where it can be irradiated with visible light.
  • the variable irradiation lamp 201 irradiates visible light in front of the vehicle 101 under the control of the body system control unit 124.
  • variable irradiation lamp 201 can control the light amount for each unit region obtained by dividing the visible light irradiation region into a plurality, and controls the irradiation pattern by controlling the light amount for each unit region. Therefore, the irradiation pattern indicates the distribution of the amount of visible light emitted from the variable irradiation lamp 201 in the spatial direction, more specifically, the distribution of the amount of light for each unit region of visible light.
  • the visible light source unit 211 has a configuration in which a plurality of light sources (for example, LEDs) are arranged in an array. And the irradiation pattern of visible light is controlled by controlling the light quantity of each light source of the visible light source part 211 separately. Note that the control of the light amount of each light source includes setting the light amount to 0, that is, turning off the light source.
  • a plurality of light sources for example, LEDs
  • the control of the light amount of each light source includes setting the light amount to 0, that is, turning off the light source.
  • the visible light source unit 211 includes a light source, a DMD (Digital Mirror Device), a lens, and the like. And the irradiation pattern of visible light is controlled by controlling on / off of each mirror of DMD of the visible light source part 211.
  • DMD Digital Mirror Device
  • the irradiation pattern of visible light is controlled by controlling on / off of each mirror of DMD of the visible light source part 211.
  • unit areas do not necessarily have the same shape and size, and unit areas having different shapes or sizes may be included.
  • the infrared lamp 202 includes an infrared light source unit 221 that emits infrared light, and is installed in front of the vehicle 101 at a position where infrared light can be irradiated.
  • the infrared lamp 202 irradiates infrared light ahead of the vehicle 101 under the control of the body system control unit 124.
  • FIG. 3 is a block diagram illustrating a configuration example of the imaging unit 128 of FIG.
  • the photographing unit 128 includes a visible light camera 251 and an infrared camera 252.
  • the visible light camera 251 includes a visible light imaging element 261 having sensitivity to visible light, and is installed at a position where the front of the vehicle 101 can be photographed.
  • the visible light camera 251 is installed in the headlight of the vehicle 101, on the dashboard, above the rear view mirror in the vehicle, or on the roof.
  • the visible light camera 251 shoots the front of the vehicle 101 under the control of the vehicle exterior information detection unit 127 and detects data of a color image (hereinafter referred to as a visible image) obtained as a result of the capture. Supply to unit 127.
  • variable irradiation lamp 201 irradiates visible light in the photographing direction of the visible light camera 251 (visible light imaging device 261), and irradiates visible light almost evenly within the angle of view of the visible light camera 251. Is possible.
  • the infrared camera 252 includes an infrared imaging element 271 having sensitivity to infrared (infrared light), and is installed at a position where the front of the vehicle 101 can be photographed.
  • the infrared camera 252 is installed at the same position as the visible light camera 251.
  • the infrared camera 252 captures the front of the vehicle 101 under the control of the vehicle exterior information detection unit 127 and detects data of a monochrome image (hereinafter referred to as an infrared image) obtained as a result of the capture. Supply to unit 127.
  • the infrared lamp 202 described above irradiates infrared light in the shooting direction of the infrared camera 252 (infrared imaging device 271), and can irradiate infrared light almost evenly within the angle of view of the infrared camera 252. It is.
  • FIG. 4 shows a configuration example of the information processing unit 301 that is a part of a function realized by the microcomputer 151 of the integrated control unit 133 executing a predetermined control program.
  • the communication network 121 and the in-vehicle network I / F 158 between the drive system control unit 122, the body system control unit 124, the vehicle exterior information detection unit 127, and the information processing unit 301 are omitted. .
  • the information processing unit 301 includes a recognition unit 311, a distance measurement unit 312, an irradiation control unit 313, and an operation control unit 314.
  • the recognition unit 311 acquires visible image and infrared image data from the vehicle exterior information detection unit 127 and performs image recognition processing on the visible image and the infrared image.
  • the image recognition processing is processing for recognizing an object in an image, for example.
  • the recognition unit 311 calculates a recognition score indicating the reliability of the recognition result for each region (hereinafter referred to as a recognition region) based on the recognition result of the object by the image recognition processing.
  • the recognition area is, for example, an area corresponding to each recognized object.
  • the recognition region may include a region where object recognition has failed.
  • the recognition score indicates, for example, the reliability of the recognition result of the object in the recognition area, in other words, the probability of the object recognized in the recognition area.
  • the recognition unit 311 supplies the irradiation control unit 313 and the operation control unit 314 with recognition information including a recognition result such as the position of each recognition region, the type of object in each recognition region, and the recognition score.
  • the ranging unit 312 is based on the stereo camera image data, the ToF camera image data, or the reflected wave information of the ultrasonic sensor, the radar device, or the LIDAR device, which is supplied from the outside information detection unit 127. A distance detection process to an object ahead of 101 is performed.
  • the distance measurement unit 312 supplies distance measurement information including the detection result of the distance to each object to the irradiation control unit 313 and the operation control unit 314.
  • the irradiation control unit 313 uses the recognition result of the object in front of the vehicle 101, the detection result of the distance to the object in front of the vehicle 101, the detection result of the speed of the vehicle 101 notified from the drive system control unit 122, and the like. Based on this, the illumination unit 125 controls the irradiation of visible light and infrared light.
  • the irradiation control unit 313 generates a control signal including an irradiation pattern of the variable irradiation lamp 201 (hereinafter, referred to as a visible light control signal), and supplies the visible light control signal to the body system control unit 124.
  • the body system control unit 124 controls the irradiation pattern of the variable irradiation lamp 201 based on the visible light control signal.
  • the irradiation control unit 313 generates a control signal (hereinafter referred to as an infrared light control signal) that controls irradiation of infrared light by the infrared lamp 202, and the body light control unit 124 generates the infrared light control signal.
  • an infrared light control signal that controls irradiation of infrared light by the infrared lamp 202
  • the body light control unit 124 generates the infrared light control signal.
  • the body system control unit 124 controls the infrared light irradiation of the infrared lamp 202 based on the infrared light control signal.
  • the operation control unit 314 controls the operation of the device related to the drive system of the vehicle 101 based on the recognition result of the object in front of the vehicle 101, the detection result of the distance to the object in front of the vehicle 101, and the like.
  • the operation control unit 314 generates a control signal (hereinafter referred to as a drive system control signal) including the control content of the device to be controlled, and supplies the drive system control signal to the drive system control unit 122.
  • the drive system control unit 122 controls the operation of the device to be controlled based on the drive system control signal.
  • the operation control unit 314 performs operations of various devices provided on the body of the vehicle 101 based on the recognition result of the object in front of the vehicle 101, the detection result of the distance to the object in front of the vehicle 101, and the like. Control.
  • the operation control unit 314 generates a control signal (hereinafter referred to as a body system control signal) including the control content of the device to be controlled, and supplies the body system control signal to the body system control unit 124.
  • the body system control unit 124 controls the operation of the device to be controlled based on the body system control signal.
  • This processing is performed, for example, when a condition for starting the irradiation of visible light is satisfied, for example, when the ambient brightness becomes less than a predetermined threshold during the startup of the vehicle 101, or the switch of the variable irradiation lamp 201 Started when set to ON.
  • this process is performed when the condition for ending the irradiation of visible light is satisfied, for example, when the power of the vehicle 101 is turned off, when the brightness of the surroundings of the vehicle 101 exceeds a predetermined threshold, or When the switch of the variable irradiation lamp 201 is set to OFF, the process ends.
  • step S1 the vehicle control system 111 starts irradiation with infrared light and visible light.
  • the irradiation control unit 313 generates, for example, an infrared light control signal that controls to emit infrared light with a predetermined light amount, and sends the generated infrared light control signal to the body system control unit 124. Supply.
  • the body system control unit 124 controls the infrared lamp 202 so as to irradiate infrared light with a predetermined light amount based on the infrared light control signal.
  • a predetermined amount of infrared light is irradiated in front of the vehicle 101.
  • Infrared light does not need to be dazzled by passersby or other vehicle drivers, so the amount of light can be increased as much as possible without causing saturation of the pixels in the infrared image. It is.
  • the irradiation control unit 313 generates a visible light control signal that is controlled to irradiate visible light with a standard irradiation pattern, for example, and supplies the generated visible light control signal to the body system control unit 124.
  • the body system control unit 124 controls the variable irradiation lamp 201 so as to irradiate visible light with a standard irradiation pattern based on the visible light control signal. As a result, a standard pattern of visible light is irradiated in front of the vehicle 101.
  • the standard irradiation pattern is, for example, a pattern in which the light amounts of all unit areas are set to the same initial value.
  • the imaging unit 128 captures an infrared image and a visible image.
  • the infrared camera 252 images the front of the vehicle 101 and supplies infrared image data obtained as a result of the imaging to the recognition unit 311 and the distance measurement unit 312 via the outside information detection unit 127.
  • the visible light camera 251 captures the front of the vehicle 101 and supplies visible image data obtained as a result of the capturing to the recognition unit 311 and the distance measurement unit 312 via the vehicle exterior information detection unit 127.
  • step S3 the recognition unit 311 performs image recognition processing.
  • the recognition unit 311 performs semantic segmentation as the image recognition process.
  • the recognition unit 311 performs semantic segmentation on the infrared image, detects the type and position of each object in the infrared image at the pixel level, and converts the infrared image based on the recognition result. Divide into multiple recognition areas. In addition, the recognition unit 311 calculates a recognition score for each recognition region in the infrared image.
  • the recognition unit 311 similarly performs semantic segmentation on the visible image, detects the type and position of each object in the visible image at the pixel level, and recognizes a plurality of visible images based on the recognition result. Divide into areas. In addition, the recognition unit 311 calculates a recognition score for each recognition region in the visible image.
  • each recognition area is basically set for each recognized object. Therefore, each recognition area basically includes one object. However, for example, when the boundary line of an object is ambiguous, a plurality of objects may be included in one recognition area. In addition, an area where object recognition has failed may be set as a recognition area. In this case, the object in the recognition area is unknown.
  • any method can be used as a method for calculating the recognition score.
  • infrared images have no color information and are noisier than visible images. Therefore, the result of the image recognition process (semantic segmentation in the present example) for the infrared image is less reliable than the result of the image recognition process for the visible image.
  • the recognition unit 311 supplies the irradiation control unit 313 and the operation control unit 314 with recognition information including a recognition result such as the position of each recognition region, the type of object in each recognition region, and the recognition score.
  • step S4 the vehicle control system 111 performs a ranging process.
  • the vehicle exterior information detection unit 129 supplies the reflected wave information to the distance measurement unit 312 via the vehicle exterior information detection unit 127.
  • the distance measuring unit 312 detects the distance to each object ahead of the vehicle 101 based on the reflected wave information.
  • the distance measurement unit 312 supplies distance measurement information including the detection result of the distance to each object to the irradiation control unit 313 and the operation control unit 314.
  • ranging processing may be performed using image data of a stereo camera, image data of a ToF camera, or the like.
  • step S5 the drive system control unit 122 detects the vehicle speed. Specifically, the drive system control unit 122 detects the speed of the vehicle 101 based on a signal input from the vehicle state detection unit 123, and sends information including the detection result to the irradiation control unit 313 and the operation control unit 314. Supply.
  • the vehicle control system 111 controls the irradiation pattern of visible light.
  • the irradiation control unit 313 sets the irradiation pattern by setting the light amount of each unit area. For example, the irradiation control unit 313 sets the irradiation pattern so that the recognition score of each recognition region of the visible image is as high as possible.
  • the irradiation control unit 313 generates a visible light control signal including the set irradiation pattern, and supplies the visible light control signal to the body system control unit 124.
  • the body system control unit 124 controls the irradiation pattern of the variable irradiation lamp 201 based on the visible light control signal.
  • the irradiation control unit 313 sets the irradiation pattern based on the result of the image recognition process for the infrared image.
  • the irradiation control unit 313 displays visible light for the low reliability region so that the recognition score in the visible image of the recognition region (hereinafter referred to as the low reliability region) whose recognition score is less than the threshold T1 in the infrared image is high.
  • the low reliability region the recognition score in the visible image of the recognition region whose recognition score is less than the threshold T1 in the infrared image is high.
  • the amount of light For example, the irradiation control unit 313 increases (lightens) the amount of visible light with respect to the low reliability region.
  • the irradiation control unit 313 sets the amount of visible light with respect to the recognition area whose recognition score is equal to or higher than the threshold value T1 in the infrared image, for example, based on the type of the object in the recognition area.
  • the irradiation control unit 313 sets the light amount of visible light for the recognition region so that the recognition region is always illuminated with a certain light amount or more.
  • the irradiation control unit 313 decreases the amount of visible light with respect to the recognition area. This prevents a passerby or a driver of another vehicle from being dazzled. Note that the irradiation control unit 313 may reduce the amount of visible light to 0 so that the recognition area is not irradiated with visible light.
  • the irradiation control unit 313 decreases the amount of visible light with respect to the recognition area. This is because the accuracy of the image recognition processing is increased even if the object that emits light is not illuminated with visible light. Note that the irradiation control unit 313 may reduce the amount of visible light to 0 so that the recognition area is not irradiated with visible light.
  • the irradiation control unit 313 decreases the amount of visible light with respect to the recognition region. This is because the recognition region becomes brighter than other regions when the reflecting member reflects visible light, and may be saturated in the visible image.
  • the irradiation control unit 313 reduces the amount of visible light with respect to the recognition area to a level at which the recognition area is not saturated in the visible image.
  • the irradiation control unit 313 controls the irradiation pattern based on the result of the image recognition process on the visible image.
  • the irradiation control unit 313 controls the irradiation pattern based on the result of the image recognition process on the infrared image, there is a recognition region (low reliability region) whose recognition score is less than the threshold T1 in the visible image.
  • the amount of visible light irradiated to the low reliability region is set based on the average value of the luminance of the low reliability region in the visible image.
  • the irradiation control unit 313 increases (lightens) the amount of visible light with respect to the low reliability area when the average value of the luminance in the low reliability area is less than the threshold Th2.
  • the irradiation control unit 313 reduces (darkens) the amount of visible light in the low reliability region when the average value of the luminance in the low reliability region is equal to or greater than the threshold Th2.
  • the irradiation control unit 313 sets the amount of visible light for the recognition area based on the distance to the object in the recognition area. For example, the irradiation control unit 313 decreases (darkens) the amount of visible light with respect to the recognition region as the distance to the object in the recognition region is shorter. On the other hand, the irradiation control unit 313 increases (lightens) the amount of visible light with respect to the recognition area as the distance to the object in the recognition area increases.
  • the irradiation control unit 313 sets the recognition area to be outside the object of the image recognition process and sets the amount of irradiation light irradiated to the recognition area to 0. You may make it set. Thereby, for example, irradiation of visible light to a distant object such as the sky is stopped.
  • the irradiation control unit 313 may change the threshold value Th3 according to the speed of the vehicle 101, for example. For example, the irradiation control unit 313 increases the threshold Th3 as the speed of the vehicle 101 increases, so that visible light is irradiated to farther objects. On the other hand, for example, the irradiation control unit 313 decreases the threshold value Th3 as the speed of the vehicle 101 becomes slower, so that a far object is not irradiated with visible light. This is because when the speed of the vehicle 101 is high, it is necessary to monitor farther objects in order to prevent collisions, and when the speed of the vehicle 101 is low, it is not necessary to monitor far objects. is there.
  • FIG. 6 shows an example of an infrared image obtained by photographing the front of the vehicle 101.
  • the recognition area R1 is an area including a person riding a bicycle.
  • the recognition score of the recognition region R1 is equal to or greater than the threshold Th1, the amount of visible light with respect to the recognition region R1 is reduced.
  • the recognition score of the recognition region R1 is less than the threshold Th1, the amount of visible light with respect to the recognition region R1 is increased.
  • region R1 is changed according to the distance to the person in an area
  • the recognition area R2 is an area including a road sign provided with a reflector. For example, the amount of visible light for the recognition region R2 is reduced. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R3 is an area including a traffic light that emits light. For example, the amount of visible light with respect to the recognition region R3 is reduced. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R4 is an area including other vehicles. For example, when the recognition score of the recognition region R4 is equal to or greater than the threshold Th1, the amount of visible light with respect to the recognition region R4 is decreased. On the other hand, when the recognition score of the recognition region R4 is less than the threshold Th1, the amount of visible light with respect to the recognition region R4 is increased. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R5 is an area including a distant building and the sky. For example, the amount of visible light for the recognition region R5 is set to zero.
  • the recognition area R6 is a very dark area near the vehicle 101 and has a very low recognition score. For example, the amount of visible light with respect to the recognition region R6 is increased to improve the recognition score.
  • FIG. 7 shows an example of the result of performing semantic segmentation on a visible image having the same angle of view as FIG.
  • the recognition region R11 is controlled so as to be always irradiated with visible light. Note that the amount of visible light with respect to the recognition region R11 is changed according to the distance to the road surface in the region, for example.
  • the recognition area R12 is an area including a person riding a bicycle. For example, when the recognition score of the recognition region R12 is greater than or equal to the threshold Th1, the amount of visible light with respect to the recognition region R12 is decreased. On the other hand, when the recognition score for the recognition region R12 is less than the threshold Th1, the amount of visible light for the recognition region R12 is increased. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R13 is an area including a road sign. For example, the amount of visible light with respect to the recognition region R13 is reduced. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R14 is an area including a traffic light. For example, the amount of visible light with respect to the recognition region R14 is reduced. Moreover, the light quantity of visible light with respect to recognition area
  • the recognition area R15 to the recognition area R17 are areas including other vehicles. For example, the amount of visible light in the recognition regions R15 to R17 that have a recognition score equal to or greater than the threshold Th1 is reduced. On the other hand, the amount of visible light is increased in the recognition region R15 to the recognition region R17 where the recognition score is less than the threshold Th1. Moreover, the light quantity of visible light with respect to the recognition area
  • the recognition area R18 is a very dark area near the vehicle 101 and has a very low recognition score. For example, the amount of visible light with respect to the recognition region R18 is increased to improve the recognition score.
  • FIG. 8 shows another example of an infrared image taken in front of the vehicle 101.
  • the recognition area R21 is a very dark area near the vehicle 101 and has a very low recognition score. For example, the amount of visible light with respect to the recognition region R21 is increased to improve the recognition score.
  • the recognition area R22 and the recognition area R23 are areas including a person.
  • the amount of visible light is reduced in the recognition area R22 and the recognition area R23 where the recognition score is greater than or equal to the threshold Th1.
  • the amount of visible light is increased in the recognition region R22 and the recognition region R23 where the recognition score is less than the threshold Th1.
  • region R23 is changed according to the distance to the person in an area
  • step S ⁇ b> 2 the process then returns to step S ⁇ b> 2, and the processes after step S ⁇ b> 2 are executed.
  • the accuracy of the image recognition processing for the visible image is improved.
  • the recognition accuracy of the object in the visible image is improved, and the performance of the function (for example, automatic driving, ADAS, etc.) of the vehicle 101 using the recognition result is improved.
  • the present technology can be applied, for example, when image recognition processing is performed using only a visible image.
  • the irradiation pattern is determined based on the recognition score of each recognition region of the visible image, the type of the object, and the distance to the object by a method similar to the case of using the result of the image recognition process on the infrared image. Be controlled.
  • a recognition area in which the amount of visible light is reduced or set to 0 may be generated. This is not a problem in the case of automatic driving without a driver.
  • the driver drives, the driver's field of view may deteriorate. Therefore, when the driver is driving, the irradiation pattern is controlled by the above method only during the period when the image recognition process is performed, and the front of the vehicle 101 is uniformly illuminated with visible light during the period when the image recognition process is not performed. May be.
  • the present technology is an image in a direction other than the front (for example, side, rear, upper, etc.).
  • the present invention can also be applied when image recognition processing is performed on the image. In this case, for example, the irradiation pattern of visible light in the shooting direction of each image is controlled.
  • the present technology can be applied to a moving body other than a vehicle.
  • the present technology can be applied to mobile bodies such as personal mobility, construction machines, and agricultural machines (tractors).
  • the present technology can be applied to a moving body that is remotely operated (operated) or automatically operated by a user such as a drone or a robot without boarding.
  • the present technology can be applied to a case where image recognition processing is performed on an image other than an image taken from a moving body.
  • the present technology can also be applied to a case where image recognition processing is performed on a monitoring image captured by a camera installed around a road.
  • the information processing unit 301 in FIG. 4 is not necessarily realized by the integrated control unit 133, and a part or all of the information processing unit 301 may be realized by one or more other control units.
  • the information processing unit 301 may be provided in the variable irradiation lamp 201 or the visible light camera 251, for example.
  • the program executed by the microcomputer 151 and the like in FIG. 1 may be a program that is processed in time series in the order described in this specification, or in parallel or when a call is made. It is also possible to use a program that performs processing at a necessary timing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a recognition unit that performs image recognition processing on an image captured by the imaging unit, and calculates a reliability of the recognition result for each recognition region that is a region based on the recognition result of the object;
  • An information processing apparatus comprising: an irradiation control unit that controls an irradiation pattern of visible light in the imaging direction of the imaging unit so that the reliability with respect to at least a part of the recognition region is high.
  • the irradiation control unit controls the amount of visible light with respect to the low reliability region so that the reliability with respect to the low reliability region, which is the recognition region with the reliability less than a predetermined threshold, is high. ).
  • the information processing apparatus according to any one of (1) to (5), wherein the irradiation control unit further controls the irradiation pattern based on a distance to an object in the recognition area.
  • the information processing apparatus according to (6), wherein the irradiation control unit reduces the amount of visible light with respect to the recognition area including an object separated by a predetermined distance or more.
  • the image includes an infrared image and a visible image, The information processing apparatus according to any one of (1) to (7), wherein the irradiation control unit controls the irradiation pattern based on the reliability of image recognition processing for the infrared image.
  • the information processing apparatus according to (8), wherein the irradiation control unit further controls the irradiation pattern based on the reliability of the image recognition process for the visible image.
  • the information processing apparatus according to any one of (1) to (9), wherein the image is an image obtained by photographing the periphery of a moving body.
  • the moving body is a vehicle, The information processing apparatus according to (10), wherein the irradiation control unit controls the irradiation pattern so as to irradiate visible light to the recognition region including a road surface.
  • the moving body is a vehicle, The information processing apparatus according to (10) or (11), wherein the irradiation control unit reduces the amount of visible light with respect to the recognition region including a person or another vehicle.
  • the information processing apparatus controls the irradiation pattern by controlling a light amount of visible light in a predetermined region unit.
  • the irradiation pattern is a distribution of light amount in a spatial direction of visible light.
  • the irradiation control unit outputs a control signal including the irradiation pattern.
  • the recognition unit performs semantic segmentation as image recognition processing.
  • Image recognition processing is performed on the image captured by the imaging unit, the reliability of the recognition result is calculated for each recognition region that is a region based on the recognition result of the object, An information processing method for controlling an irradiation pattern of visible light in a photographing direction of the photographing unit so that the reliability with respect to at least a part of the recognition region is high.
  • An image sensor A recognition unit that performs image recognition processing on an image captured by the image sensor and calculates a reliability of the recognition result for each recognition region that is a region based on the recognition result of the object;
  • An imaging apparatus comprising: an irradiation control unit that controls an irradiation pattern of visible light in the imaging direction of the imaging element so that the reliability with respect to at least a part of the recognition area is high.
  • a light source unit A recognition unit that performs image recognition processing on an image captured by the imaging unit, and calculates a reliability of the recognition result for each recognition region that is a region based on the recognition result of the object;
  • An illumination device comprising: an irradiation control unit that controls an irradiation pattern of visible light by the light source unit in the imaging direction of the imaging unit so that the reliability with respect to at least a part of the recognition region is high.
  • a shooting section An illumination unit that emits visible light in the imaging direction of the imaging unit;
  • a recognition unit that performs image recognition processing on the image captured by the imaging unit and calculates the reliability of the recognition result for each recognition region that is a region based on the recognition result of the object;
  • a moving body comprising: an irradiation control unit that controls an irradiation pattern of visible light of the illumination unit so that the reliability with respect to at least a part of the recognition region is high.
  • 101 vehicle 111 vehicle control system, 122 drive system control unit, 124 body system control unit, 125 illumination unit, 127 vehicle exterior information detection unit, 128 imaging unit, 129 vehicle exterior information detection unit, 133 integrated control unit, 151 microcomputer, 201 Variable irradiation lamp, 202 infrared lamp, 211 visible light source unit, 212 infrared light source unit, 251 visible light camera, 252 infrared camera, 261 visible light image sensor, 271 infrared image sensor, 301 information processing unit, 311 recognition unit, 312 measurement Distance unit, 313 irradiation control unit, 314 operation control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Abstract

本技術は、画像認識処理の精度を向上させることができるようにする情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体に関する。 情報処理装置は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する照射制御部とを備える。本技術は、例えば、車両制御装置に適用することができる。

Description

情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
　本技術は、情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体に関し、特に、可視画像に対して画像認識処理を行う場合に用いて好適な情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体に関する。
　従来、車両の前方の道路使用者の検出結果に基づいて、ヘッドライト装置の配光パターンを制御し、道路使用者の眩惑を防止することが提案されている（例えば、特許文献１参照）。
特表２０１３－５１１４１８号公報
　ところで、夜間等の暗い環境下で可視光カメラにより車両の周囲を撮影した可視画像では、車両からの照射光の照度が低い領域でノイズやブラーが増大したり、照射光の照度が高い領域で画素の飽和が発生したりする。その結果、可視画像に対する画像認識処理の精度が低下し、例えば、車両の周囲の物体の検出精度が低下する。
　これに対して、特許文献１では、画像認識処理の精度を向上させる目的で、ヘッドライト装置の配光パターンを制御することは検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、画像認識処理の精度を向上させるようにするものである。
　本技術の第１の側面の情報処理装置は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する照射制御部とを備える。
　本技術の第２の側面の情報処理方法は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する。
　本技術の第３の側面の撮影装置は、撮像素子と、前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮像素子の撮影方向への可視光の照射パターンを制御する照射制御部とを備える。
　本技術の第４の側面の照明装置は、光源部と、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御する照射制御部とを備える。
　本技術の第５の側面の移動体は、撮影部と、前記撮影部の撮影方向へ可視光を照射する照明部と、前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記照明部の可視光の照射パターンを制御する照射制御部とを備える。
　本技術の第１の側面乃至第５の側面においては、画像認識処理が行われ、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度が算出され、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、撮影方向への可視光の照射パターンが制御される。
　本技術の第１の側面乃至第５の側面によれば、画像認識処理の精度を向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車両の構成例を示すブロック図である。 照明部の構成例を示すブロック図である。 撮影部の構成例を示すブロック図である。 情報処理部の構成例を示すブロック図である。 照明制御処理を説明するためのフローチャートである。 照射パターンの制御方法を説明するための図である。 照射パターンの制御方法を説明するための図である。 照射パターンの制御方法を説明するための図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　　＜車両１０１の構成例＞
　図１は、本技術を適用した車両１０１の機略的な構成例を示すブロック図である。
　車両１０１は、車両制御システム１１１を備える。
　車両制御システム１１１は、通信ネットワーク１２１を介して接続された複数の制御ユニットを備える。図１に示した例では、車両制御システム１１１は、駆動系制御ユニット１２２、ボディ系制御ユニット１２４、バッテリ制御ユニット１２６、車外情報検出ユニット１２７、車内情報検出ユニット１３０、及び統合制御ユニット１３３を備える。これらの複数の制御ユニットを接続する通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク１２１を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１では、統合制御ユニット１３３の機能構成として、マイクロコンピュータ１５１、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６、音声画像出力部１５７、車載ネットワークＩ／Ｆ１５８及び記憶部１５９が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット１２２は、各種プログラムにしたがって車両１０１の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２２は、内燃機関又は駆動用モータ等の車両１０１の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両１０１の舵角を調節するステアリング機構、及び、車両１０１の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット１２２は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット１２２には、車両状態検出部１２３が接続される。車両状態検出部１２３には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両１０１の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット１２２は、車両状態検出部１２３から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット１２４は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２４は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２４には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２４は、これらの電波又は信号の入力を受け付け、車両１０１のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　なお、図１では、ボディ系制御ユニット１２４の制御対象として照明部１２５のみを図示している。照明部１２５は、上述した各種ランプのうちの少なくとも一部を備える。
　バッテリ制御ユニット１２６は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池（不図示）を制御する。例えば、バッテリ制御ユニット１２６には、二次電池を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット１２６は、これらの信号を用いて演算処理を行い、二次電池の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット１２７は、車両１０１の外部の情報を検出する。例えば、車外情報検出ユニット１２７には、撮影部１２８及び車外情報検出部１２９のうちの少なくとも一方が接続される。撮影部１２８には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部１２９には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両１０１の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮影部１２８及び車外情報検出部１２９は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　車外情報検出ユニット１２７は、撮影部１２８に車外の画像を撮影させるとともに、撮影された画像データを受信する。また、車外情報検出ユニット１２７は、接続されている車外情報検出部１２９から検出情報を受信する。車外情報検出部１２９が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット１２７は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報（以下、反射波情報と称する）を受信する。車外情報検出ユニット１２７は、反射波情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２７は、反射波情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット１２７は、反射波情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット１２７は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２７は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮影部１２８により撮影された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット１２７は、異なる撮影部１２８により撮影された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット１３０は、車内の情報を検出する。車内情報検出ユニット１３０には、例えば、運転者の状態を検出する運転者状態検出部１３１が接続される。運転者状態検出部１３１は、運転者を撮影するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット１３０は、運転者状態検出部１３１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット１３０は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット１３３は、各種プログラムにしたがって車両制御システム１１１内の動作全般を制御する。統合制御ユニット１３３には、入力部１３２が接続されている。入力部１３２は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット１３３には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部１３２は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム１１１の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部１３２は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部１３２は、例えば、上記の入力部１３２を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット１３３に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部１３２を操作することにより、車両制御システム１１１に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部１５９は、マイクロコンピュータ１５１により実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部１５９は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現し、例えば、マイクロコンピュータ１５１が実行する各種プログラムを提供するようにしてもよい。
　汎用通信Ｉ／Ｆ１５２は、外部環境１０２に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ１５２は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE-Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ１５２は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ１５２は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両１０１の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
　なお、例えば、マイクロコンピュータ１５１が実行する各種プログラムを、外部環境１０２から提供するようにしてもよい。
　専用通信Ｉ／Ｆ１５３は、車両１０１における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ１５３は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ１５３は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０１と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部１５４は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両１０１の緯度、経度及び高度を含む位置情報を生成する。なお、測位部１５４は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部１５５は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部１５５の機能は、上述した専用通信Ｉ／Ｆ１５３に含まれてもよい。
　車内機器Ｉ／Ｆ１５６は、マイクロコンピュータ１５１と車内に存在する様々な車内機器１３４との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ１５６は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ１５６は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器１３４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両１０１に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器１３４は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ１５６は、これらの車内機器１３４との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ１５８は、マイクロコンピュータ１５１と通信ネットワーク１２１との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ１５８は、通信ネットワーク１２１によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット１３３のマイクロコンピュータ１５１は、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６及び車載ネットワークＩ／Ｆ１５８のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム１１１を制御する。例えば、マイクロコンピュータ１５１は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２２に対して制御指令を出力してもよい。例えば、マイクロコンピュータ１５１は、車両１０１の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０１の衝突警告、又は車両１０１のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ１５１は、取得される車両１０１の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ１５１は、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６及び車載ネットワークＩ／Ｆ１５８のうちの少なくとも一つを介して取得される情報に基づき、車両１０１と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両１０１の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ１５１は、取得される情報に基づき、車両１０１の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部１５７は、車両１０１の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１の例では、出力装置として、オーディオスピーカ１３５、表示部１３６及びインストルメントパネル１３７が例示されている。表示部１３６は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部１３６は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ１５１が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１に示した例において、通信ネットワーク１２１を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム１１１が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク１２１を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク１２１を介して相互に検出情報を送受信してもよい。
　なお、以下、制御ユニットが、通信ネットワーク１２１を介して通信を行う場合の通信ネットワーク１２１の記載を省略する。例えば、駆動系制御ユニット１２２と統合制御ユニット１３３が、通信ネットワーク１２１を介して通信を行う場合、単に、駆動系制御ユニット１２２と統合制御ユニット１３３が通信を行うと記載する。
　また、以下、統合制御ユニット１３３のマイクロコンピュータ１５１が、車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１を介して通信を行う場合の車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１の記載を省略する。例えば、マイクロコンピュータ１５１が、車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１を介して駆動系制御ユニット１２２と通信を行う場合、単に、マイクロコンピュータ１５１が駆動系制御ユニット１２２と通信を行うと記載する。
　　＜照明部１２５の構成例＞
　図２は、図１の照明部１２５の構成例の一部を示すブロック図である。
　照明部１２５は、可変照射ランプ２０１及び赤外線ランプ２０２を備える。
　可変照射ランプ２０１は、可視光を発する可視光光源部２１１を備え、車両１０１の前方に可視光を照射可能な位置に設置される。そして、可変照射ランプ２０１は、ボディ系制御ユニット１２４の制御の下に、車両１０１の前方に可視光を照射する。
　また、可変照射ランプ２０１は、可視光の照射領域を複数に分割した単位領域毎に光量を制御でき、単位領域毎に光量を制御することにより、照射パターンを制御する。従って、照射パターンは、可変照射ランプ２０１から出射される可視光の空間方向の光量の分布、より具体的には、可視光の単位領域毎の光量の分布を示す。
　例えば、可視光光源部２１１は、複数の光源（例えば、ＬＥＤ）がアレイ状に並べられた構成を備えている。そして、可視光光源部２１１の各光源の光量を個別に制御することにより、可視光の照射パターンが制御される。なお、各光源の光量の制御には、光量を０に設定すること、すなわち、光源をオフすることを含む。
　或いは、例えば、可視光光源部２１１は、光源、ＤＭＤ（Digital Mirror Device）、レンズ等を備える。そして、可視光光源部２１１のＤＭＤの各ミラーのオン／オフが制御されることにより、可視光の照射パターンが制御される。
　なお、必ずしも単位領域の形及び大きさを全て同じにする必要はなく、形又は大きさが異なる単位領域が含まれていてもよい。
　赤外線ランプ２０２は、赤外光を発する赤外線光源部２２１を備え、車両１０１の前方に赤外光を照射可能な位置に設置される。そして、赤外線ランプ２０２は、ボディ系制御ユニット１２４の制御の下に、車両１０１の前方に赤外光を照射する。
　　＜撮影部１２８の構成例＞
　図３は、図１の撮影部１２８の構成例を示すブロック図である。
　撮影部１２８は、可視光カメラ２５１及び赤外線カメラ２５２を備える。
　可視光カメラ２５１は、可視光に対して感度を有する可視光撮像素子２６１を備え、車両１０１の前方を撮影可能な位置に設置される。例えば、可視光カメラ２５１は、車両１０１のヘッドライト内、ダッシュボード上、車内のリアビューミラーの上方、又は、屋根の上等に設置される。そして、可視光カメラ２５１は、車外情報検出ユニット１２７の制御の下に、車両１０１の前方を撮影し、撮影の結果得られたカラーの画像（以下、可視画像と称する）のデータを車外情報検出ユニット１２７に供給する。
　なお、上述した可変照射ランプ２０１は、可視光カメラ２５１（可視光撮像素子２６１）の撮影方向へ可視光を照射し、少なくとも可視光カメラ２５１の画角内にほぼ均等に可視光を照射することが可能である。
　赤外線カメラ２５２は、赤外線（赤外光）に対して感度を有する赤外線撮像素子２７１を備え、車両１０１の前方を撮影可能な位置に設置される。例えば、赤外線カメラ２５２は、可視光カメラ２５１と同様の位置に設置される。そして、赤外線カメラ２５２は、車外情報検出ユニット１２７の制御の下に、車両１０１の前方を撮影し、撮影の結果得られたモノクロの画像（以下、赤外画像と称する）のデータを車外情報検出ユニット１２７に供給する。
　なお、上述した赤外線ランプ２０２は、赤外線カメラ２５２（赤外線撮像素子２７１）の撮影方向へ赤外光を照射し、少なくとも赤外線カメラ２５２の画角内にほぼ均等に赤外光を照射することが可能である。
　　＜情報処理部３０１の構成例＞
　図４は、統合制御ユニット１３３のマイクロコンピュータ１５１が、所定の制御プログラムを実行することにより実現される機能の一部である情報処理部３０１の構成例を示している。なお、図中、駆動系制御ユニット１２２、ボディ系制御ユニット１２４、及び、車外情報検出ユニット１２７と、情報処理部３０１との間の通信ネットワーク１２１及び車載ネットワークＩ／Ｆ１５８の図示を省略している。
　情報処理部３０１は、認識部３１１、測距部３１２、照射制御部３１３、及び、動作制御部３１４を備える。
　認識部３１１は、可視画像及び赤外画像のデータを車外情報検出ユニット１２７から取得し、可視画像及び赤外画像に対して画像認識処理を行う。ここで、画像認識処理とは、例えば、画像内の物体を認識する処理である。また、認識部３１１は、画像認識処理による物体の認識結果に基づく領域（以下、認識領域と称する）毎に認識結果の信頼度を示す認識スコアを算出する。
　認識領域は、例えば、認識された各物体にそれぞれ対応する領域である。ただし、認識領域は、物体の認識に失敗した領域も含み得る。また、認識スコアは、例えば、認識領域内の物体の認識結果の信頼度、換言すれば、認識領域内において認識された物体の確からしさを示す。
　認識部３１１は、各認識領域の位置、並びに、各認識領域内の物体の種類及び認識スコア等の認識結果を含む認識情報を照射制御部３１３及び動作制御部３１４に供給する。
　測距部３１２は、車外情報検出ユニット１２７から供給される、ステレオカメラの画像データ、ＴｏＦカメラの画像データ、又は、超音波センサ、レーダ装置、若しくは、ＬＩＤＡＲ装置の反射波情報に基づいて、車両１０１の前方の物体までの距離の検出処理を行う。測距部３１２は、各物体までの距離の検出結果を含む測距情報を照射制御部３１３及び動作制御部３１４に供給する。
　照射制御部３１３は、車両１０１の前方の物体の認識結果、車両１０１の前方の物体までの距離の検出結果、及び、駆動系制御ユニット１２２から通知される、車両１０１の速度の検出結果等に基づいて、照明部１２５による可視光及び赤外光の照射の制御を行う。
　例えば、照射制御部３１３は、可変照射ランプ２０１の照射パターンを含む制御信号（以下、可視光制御信号と称する）を生成し、可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、可変照射ランプ２０１の照射パターンを制御する。
　また、例えば、照射制御部３１３は、赤外線ランプ２０２による赤外光の照射を制御する制御信号（以下、赤外光制御信号と称する）を生成し、赤外光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、赤外光制御信号に基づいて、赤外線ランプ２０２の赤外光の照射を制御する。
　動作制御部３１４は、車両１０１の前方の物体の認識結果、及び、車両１０１の前方の物体までの距離の検出結果等に基づいて、車両１０１の駆動系に関連する装置の動作を制御する。例えば、動作制御部３１４は、制御対象となる装置の制御内容を含む制御信号（以下、駆動系制御信号と称する）を生成し、駆動系制御信号を駆動系制御ユニット１２２に供給する。駆動系制御ユニット１２２は、駆動系制御信号に基づいて、制御対象となる装置の動作を制御する。
　また、動作制御部３１４は、車両１０１の前方の物体の認識結果、及び、車両１０１の前方の物体までの距離の検出結果等に基づいて、車両１０１のボディに装備された各種装置の動作を制御する。例えば、動作制御部３１４は、制御対象となる装置の制御内容を含む制御信号（以下、ボディ系制御信号と称する）を生成し、ボディ系制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、ボディ系制御信号に基づいて、制御対象となる装置の動作を制御する。
　　＜照明制御処理＞
　次に、図５のフローチャートを参照して、車両１０１により実行される照明制御処理について説明する。
　この処理は、例えば、可視光の照射を開始する条件が満たされたとき、例えば、車両１０１の起動中に周囲の明るさが所定の閾値未満になったとき、又は、可変照射ランプ２０１のスイッチかオンに設定されたとき、開始される。また、この処理は、可視光の照射を終了する条件が満たされたとき、例えば、車両１０１の電源がオフされたとき、車両１０１の周囲の明るさが所定の閾値以上になったとき、又は、可変照射ランプ２０１のスイッチがオフに設定されたとき終了する。
　ステップＳ１において、車両制御システム１１１は、赤外光及び可視光の照射を開始する。
　具体的には、照射制御部３１３は、例えば、所定の光量で赤外光を照射するように制御する赤外光制御信号を生成し、生成した赤外光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、赤外光制御信号に基づいて、所定の光量で赤外光を照射するように赤外線ランプ２０２を制御する。これにより、所定の光量の赤外光が車両１０１の前方へ照射される。
　なお、赤外光は、通行人や他の車両の運転者等の眩惑を気にする必要がないため、赤外画像の画素の飽和が発生しない範囲で、できる限り光量を大きくすることが可能である。
　また、照射制御部３１３は、例えば、標準的な照射パターンで可視光を照射するように制御する可視光制御信号を生成し、生成した可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、標準的な照射パターンで可視光を照射するように可変照射ランプ２０１を制御する。これにより、標準的なパターンの可視光が車両１０１の前方へ照射される。
　ここで、標準的な照射パターンとは、例えば、全ての単位領域の光量を同じ初期値に設定したパターンである。
　ステップＳ２において、撮影部１２８は、赤外画像及び可視画像を撮影する。具体的には、赤外線カメラ２５２は、車両１０１の前方を撮影し、撮影の結果得られた赤外画像のデータを、車外情報検出ユニット１２７を介して、認識部３１１及び測距部３１２に供給する。また、可視光カメラ２５１は、車両１０１の前方を撮影し、撮影の結果得られた可視画像のデータを、車外情報検出ユニット１２７を介して、認識部３１１及び測距部３１２に供給する。
　ステップＳ３において、認識部３１１は、画像認識処理を行う。例えば、認識部３１１は、画像認識処理としてセマンティックセグメンテーションを行う。
　具体的には、認識部３１１は、赤外画像に対してセマンティックセグメンテーションを行い、赤外画像内の各物体の種類及び位置の検出を画素レベルで行い、認識結果に基づいて、赤外画像を複数の認識領域に分割する。また、認識部３１１は、赤外画像内の各認識領域の認識スコアを算出する。
　また、認識部３１１は、可視画像に対しても同様にセマンティックセグメンテーションを行い、可視画像内の各物体の種類及び位置の検出を画素レベルで行い、認識結果に基づいて、可視画像を複数の認識領域に分割する。また、認識部３１１は、可視画像内の各認識領域の認識スコアを算出する。
　ここで、認識領域は、基本的に認識された物体毎に設定される。従って、各認識領域は、基本的に１つの物体を含む。ただし、例えば、物体の境界線が曖昧な場合等において、複数の物体が１つの認識領域に含まれる場合がある。また、物体の認識に失敗した領域が、認識領域に設定される場合がある。この場合、認識領域内の物体は未知となる。
　また、認識スコアの算出方法には、任意の手法を用いることが可能である。
　なお、赤外画像は、色情報がなく、可視画像に比べてノイズが多い。従って、赤外画像に対する画像認識処理（現在の例では、セマンティックセグメンテーション）の結果は、可視画像に対する画像認識処理の結果と比較して、信頼性が低くなる。
　認識部３１１は、各認識領域の位置、並びに、各認識領域内の物体の種類及び認識スコア等の認識結果を含む認識情報を照射制御部３１３及び動作制御部３１４に供給する。
　ステップＳ４において、車両制御システム１１１は、測距処理を行う。例えば、車外情報検出部１２９は、車外情報検出ユニット１２７を介して、反射波情報を測距部３１２に供給する。測距部３１２は、反射波情報に基づいて、車両１０１の前方の各物体までの距離を検出する。測距部３１２は、各物体までの距離の検出結果を含む測距情報を照射制御部３１３及び動作制御部３１４に供給する。
　なお、測距処理には、任意の手法を用いることが可能である。例えば、ステレオカメラの画像データや、ＴｏＦカメラの画像データ等を用いて、測距処理を行うようにしてもよい。
　ステップＳ５において、駆動系制御ユニット１２２は、車速を検出する。具体的には、駆動系制御ユニット１２２は、車両状態検出部１２３から入力される信号に基づいて、車両１０１の速度を検出し、検出結果を含む情報を照射制御部３１３及び動作制御部３１４に供給する。
　ステップＳ６において、車両制御システム１１１は、可視光の照射パターンを制御する。具体的には、照射制御部３１３は、各単位領域の光量を設定することにより、照射パターンを設定する。例えば、照射制御部３１３は、可視画像の各認識領域の認識スコアができる限り高くなるように、照射パターンを設定する。照射制御部３１３は、設定した照射パターンを含む可視光制御信号を生成し、可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、可変照射ランプ２０１の照射パターンを制御する。
　ここで、照射パターンの設定方法の例について説明する。
　例えば、照射制御部３１３は、赤外画像に対する画像認識処理の結果に基づいて照射パターンを設定する。
　例えば、照射制御部３１３は、赤外画像において認識スコアが閾値Ｔ１未満の認識領域（以下、低信頼度領域と称する）の可視画像における認識スコアが高くなるように、低信頼度領域に対する可視光の光量を設定する。例えば、照射制御部３１３は、低信頼度領域に対する可視光の光量を上げる（明るくする）。
　一方、照射制御部３１３は、赤外画像において認識スコアが閾値Ｔ１以上の認識領域に対する可視光の光量を、例えば、認識領域内の物体の種類に基づいて設定する。
　例えば、照射制御部３１３は、認識領域に路面が含まれる場合、当該認識領域を常に一定の光量以上で照らすように、当該認識領域に対する可視光の光量を設定する。
　例えば、照射制御部３１３は、認識領域に人又は他の車両が含まれる場合、当該認識領域に対する可視光の光量を下げる。これにより、通行人や他車の運転者が眩惑されることが防止される。なお、照射制御部３１３は、可視光の光量を０まで下げ、当該認識領域に可視光を照射しないようにしてもよい。
　例えば、照射制御部３１３は、認識領域に発光する物体（例えば、信号機、街灯等）が含まれる場合、当該認識領域に対する可視光の光量を下げる。発光する物体は、可視光で照らさなくても、画像認識処理の精度が高くなるからである。なお、照射制御部３１３は、可視光の光量を０まで下げ、当該認識領域に可視光を照射しないようにしてもよい。
　例えば、照射制御部３１３は、認識領域に可視光を反射する反射部材を備える物体（例えば、道路標識等）が含まれる場合、当該認識領域に対する可視光の光量を下げる。当該認識領域は、反射部材が可視光を反射することにより他の領域より明るくなり、可視画像において飽和するおそれがあるためである。照射制御部３１３は、可視画像において当該認識領域が飽和しないレベルまで、当該認識領域に対する可視光の光量を下げる。
　また、例えば、照射制御部３１３は、可視画像に対する画像認識処理の結果に基づいて照射パターンを制御する。
　例えば、照射制御部３１３は、赤外画像に対する画像認識処理の結果に基づいて照射パターンを制御したにも関わらず、可視画像において認識スコアが閾値Ｔ１未満の認識領域（低信頼度領域）が存在する場合、低信頼度領域に照射する可視光の光量を、可視画像内の低信頼度領域の輝度の平均値に基づいて設定する。例えば、照射制御部３１３は、低信頼度領域の輝度の平均値が閾値Ｔｈ２未満の場合、低信頼度領域に対する可視光の光量を上げる（明るくする）。一方、照射制御部３１３は、低信頼度領域の輝度の平均値が閾値Ｔｈ２以上の場合、低信頼度領域に対する可視光の光量を下げる（暗くする）。
　さらに、例えば、照射制御部３１３は、認識領域内の物体までの距離に基づいて、当該認識領域に対する可視光の光量を設定する。例えば、照射制御部３１３は、認識領域内の物体までの距離が近いほど、当該認識領域に対する可視光の光量を下げる（暗くする）。一方、照射制御部３１３は、認識領域内の物体までの距離が遠いほど、当該認識領域に対する可視光の光量を上げる（明るくする）。
　また、例えば、照射制御部３１３は、認識領域内の物体までの距離が閾値Ｔｈ３以上の場合、当該認識領域は画像認識処理の対象外とし、当該認識領域に照射する照射光の光量を０に設定するようにしてもよい。これにより、例えば、空などの遠方の物体への可視光の照射が停止される。
　なお、照射制御部３１３は、例えば、車両１０１の速度により閾値Ｔｈ３を変更するようにしてもよい。例えば、照射制御部３１３は、車両１０１の速度が速くなるほど閾値Ｔｈ３を大きくし、より遠方の物体まで可視光が照射されるようにする。一方、例えば、照射制御部３１３は、車両１０１の速度が遅くなるほど閾値Ｔｈ３を小さくし、遠方の物体に可視光が照射されないようにする。これは、車両１０１の速度が速い場合、衝突防止等のために、より遠くの物体まで監視する必要がある一方、車両１０１の速度が遅い場合、遠くの物体をあまり監視する必要がないためである。
　ここで、図６乃至図８を参照して、照射パターンの制御方法の具体例について説明する。
　図６は、車両１０１の前方を撮影した赤外画像の例を示している。
　認識領域Ｒ１は、自転車に乗った人を含む領域である。例えば、認識領域Ｒ１の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ１に対する可視光の光量は下げられる。一方、認識領域Ｒ１の認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ１に対する可視光の光量は上げられる。また、認識領域Ｒ１に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
　認識領域Ｒ２は、反射板を備える道路標識を含む領域である。例えば、認識領域Ｒ２に対する可視光の光量は下げられる。また、認識領域Ｒ２に対する可視光の光量は、例えば、領域内の道路標識までの距離に応じて変更される。
　認識領域Ｒ３は、自発光する信号機を含む領域である。例えば、認識領域Ｒ３に対する可視光の光量は下げられる。また、認識領域Ｒ３に対する可視光の光量は、例えば、領域内の信号機までの距離に応じて変更される。
　認識領域Ｒ４は、他の車両を含む領域である。例えば、認識領域Ｒ４の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ４に対する可視光の光量は下げられる。一方、認識領域Ｒ４の認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ４に対する可視光の光量は上げられる。また、認識領域Ｒ４に対する可視光の光量は、例えば、領域内の車両までの距離に応じて変更される。
　認識領域Ｒ５は、遠方の建物及び空を含む領域である。例えば、認識領域Ｒ５に対する可視光の光量は０に設定される。
　認識領域Ｒ６は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ６に対する可視光の光量は、認識スコアを改善するために上げられる。
　図７は、図６と同じ画角の可視画像に対してセマンティックセグメンテーションを行った結果の例を示している。
　認識領域Ｒ１１内には、路面が存在する。従って、認識領域Ｒ１１には、常に可視光が照射されるように制御される。なお、認識領域Ｒ１１に対する可視光の光量は、例えば、領域内の路面までの距離に応じて変更される。
　認識領域Ｒ１２は、自転車に乗った人を含む領域である。例えば、認識領域Ｒ１２の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ１２に対する可視光の光量は下げられる。一方、認識領域Ｒ１２に対する認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ１２に対する可視光の光量は上げられる。また、認識領域Ｒ１２に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
　認識領域Ｒ１３は、道路標識を含む領域である。例えば、認識領域Ｒ１３に対する可視光の光量は下げられる。また、認識領域Ｒ１３に対する可視光の光量は、例えば、領域内の道路標識までの距離に応じて変更される。
　認識領域Ｒ１４は、信号機を含む領域である。例えば、認識領域Ｒ１４に対する可視光の光量は下げられる。また、認識領域Ｒ１４に対する可視光の光量は、例えば、領域内の信号機までの距離に応じて変更される。
　認識領域Ｒ１５乃至認識領域Ｒ１７は、他の車両を含む領域である。例えば、認識領域Ｒ１５乃至認識領域Ｒ１７のうち認識スコアが閾値Ｔｈ１以上の領域に対する可視光の光量は下げられる。一方、認識領域Ｒ１５乃至認識領域Ｒ１７のうち認識スコアが閾値Ｔｈ１未満の領域に対する可視光の光量は上げられる。また、認識領域Ｒ１５乃至認識領域Ｒ１７に対する可視光の光量は、例えば、領域内の車両までの距離に応じて変更される。
　認識領域Ｒ１８は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ１８に対する可視光の光量は、認識スコアを改善するために上げられる。
　図８は、車両１０１の前方を撮影した赤外画像の他の例を示している。
　認識領域Ｒ２１は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ２１に対する可視光の光量は、認識スコアを改善するために上げられる。
　認識領域Ｒ２２及び認識領域Ｒ２３は、人を含む領域である。例えば、認識領域Ｒ２２及び認識領域Ｒ２３のうち認識スコアが閾値Ｔｈ１以上の領域に対する可視光の光量は下げられる。一方、認識領域Ｒ２２及び認識領域Ｒ２３のうち認識スコアが閾値Ｔｈ１未満の領域に対する可視光の光量は上げられる。また、認識領域Ｒ２２及び認識領域Ｒ２３に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
　図５に戻り、その後、処理はステップＳ２に戻り、ステップＳ２以降の処理が実行される。
　以上のようにして、可視光の照射パターンが適切に制御されることにより、可視画像に対する画像認識処理の精度が向上する。その結果、例えば、可視画像内の物体の認識精度が向上し、認識結果を用いる車両１０１の機能（例えば、自動運転、ＡＤＡＳ等）の性能が向上する。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　以上の説明では、画像認識処理としてセマンティックセグメンテーションを用いる例を示したが、本技術は、他の手法の画像認識処理を用いる場合にも適用することができる。
　また、本技術は、例えば、可視画像のみを用いて画像認識処理を行う場合にも適用することができる。この場合、例えば、赤外画像に対する画像認識処理の結果を用いる場合と同様の方法により、可視画像の各認識領域の認識スコア、物体の種類、及び、物体までの距離に基づいて、照射パターンが制御される。
　さらに、以上の照射パターンの制御処理では、可視光の光量が下げられたり、０に設定されたりする認識領域が生じうる。これは、運転者が介在しない自動運転の場合は、特に問題にならない。一方、運転者が運転する場合、運転者の視界が悪化するおそれがある。そのため、運転者が運転する場合、画像認識処理を行う期間だけ、上記の方法で照射パターンを制御し、画像認識処理を行わない期間は、車両１０１の前方を可視光で一様に照らすようにしてもよい。
　また、以上の説明では、車両１０１の前方の画像に対して画像認識処理を行う例を示したが、本技術は、前方以外の他の方向（例えば、側方、後方、上方等）の画像に対して画像認識処理を行う場合にも適用することができる。この場合、例えば、各画像の撮影方向の可視光の照射パターンが制御される。
　さらに、本技術は、車両以外の移動体にも適用することができる。例えば、パーソナルモビリティ、建設機械、農業機械（トラクター）等の移動体にも本技術を適用することができる。また、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）したり、自動運転したりする移動体にも本技術を適用することができる。
　また、本技術は、移動体から撮影された画像以外の画像に対して画像認識処理を行う場合にも適用することができる。例えば、本技術は、道路の周辺に設置されたカメラにより撮影された監視画像に対して画像認識処理を行う場合にも適用することができる。
　さらに、図４の情報処理部３０１は、必ずしも全て統合制御ユニット１３３で実現する必要はなく、その一部又は全部が、他の１以上の制御ユニットで実現されてもよい。
　また、情報処理部３０１の一部又は全部を、例えば、可変照射ランプ２０１、又は、可視光カメラ２５１に設けるようにしてもよい。
　＜＜３．その他＞＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。
　なお、図１のマイクロコンピュータ１５１等が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する照射制御部と
　を備える情報処理装置。
（２）
　前記照射制御部は、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域に対する前記信頼度が高くなるように、前記低信頼度領域に対する可視光の光量を制御する
　前記（１）に記載の情報処理装置。
（３）
　前記照射制御部は、前記画像内の前記低信頼度領域の輝度に基づいて、前記低信頼度領域に対する可視光の光量を制御する
　前記（２）に記載の情報処理装置。
（４）
　前記照射制御部は、さらに前記認識領域内の物体の種類に基づいて前記照射パターンを制御する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記照射制御部は、発光する物体、及び、可視光を反射する反射部材を備える物体を含む前記認識領域に対する可視光の光量を下げる
　前記（４）に記載の情報処理装置。
（６）
　前記照射制御部は、さらに前記認識領域内の物体までの距離に基づいて前記照射パターンを制御する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記照射制御部は、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を下げる
　前記（６）に記載の情報処理装置。
（８）
　前記画像は、赤外画像及び可視画像を含み、
　前記照射制御部は、前記赤外画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記照射制御部は、さらに前記可視画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
　前記（８）に記載の情報処理装置。
（１０）
　前記画像は、移動体の周囲を撮影した画像である
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記移動体は、車両であり、
　前記照射制御部は、路面を含む前記認識領域に可視光を照射するように前記照射パターンを制御する
　前記（１０）に記載の情報処理装置。
（１２）
　前記移動体は、車両であり、
　前記照射制御部は、人又は他の車両を含む前記認識領域に対する可視光の光量を下げる
　前記（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記照射制御部は、所定の領域単位で可視光の光量を制御することにより前記照射パターンを制御する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記照射パターンは、可視光の空間方向の光量の分布である
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記照射制御部は、前記照射パターンを含む制御信号を出力する
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記認識部は、画像認識処理としてセマンティックセグメンテーションを行う
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、
　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する
　情報処理方法。
（１８）
　撮像素子と、
　前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮像素子の撮影方向への可視光の照射パターンを制御する照射制御部と
　を備える撮影装置。
（１９）
　光源部と、
　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御する照射制御部と
　を備える照明装置。
（２０）
　撮影部と、
　前記撮影部の撮影方向へ可視光を照射する照明部と、
　前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記照明部の可視光の照射パターンを制御する照射制御部と
　を備える移動体。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　車両，　１１１　車両制御システム，　１２２　駆動系制御ユニット，　１２４　ボディ系制御ユニット，　１２５　照明部，　１２７　車外情報検出ユニット，　１２８　撮影部，　１２９　車外情報検出部，　１３３　統合制御ユニット，　１５１　マイクロコンピュータ，　２０１　可変照射ランプ，　２０２　赤外線ランプ，　２１１　可視光光源部，　２１２　赤外線光源部，　２５１　可視光カメラ，　２５２　赤外線カメラ，　２６１　可視光撮像素子，　２７１　赤外線撮像素子，　３０１　情報処理部，　３１１　認識部，　３１２　測距部，　３１３　照射制御部，　３１４　動作制御部

Claims (20)

  1. 　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する照射制御部と
    　を備える情報処理装置。
  2. 　前記照射制御部は、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域に対する前記信頼度が高くなるように、前記低信頼度領域に対する可視光の光量を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記照射制御部は、前記画像内の前記低信頼度領域の輝度に基づいて、前記低信頼度領域に対する可視光の光量を制御する
    　請求項２に記載の情報処理装置。
  4. 　前記照射制御部は、さらに前記認識領域内の物体の種類に基づいて前記照射パターンを制御する
    　請求項１に記載の情報処理装置。
  5. 　前記照射制御部は、発光する物体、及び、可視光を反射する反射部材を備える物体を含む前記認識領域に対する可視光の光量を下げる
    　請求項４に記載の情報処理装置。
  6. 　前記照射制御部は、さらに前記認識領域内の物体までの距離に基づいて前記照射パターンを制御する
    　請求項１に記載の情報処理装置。
  7. 　前記照射制御部は、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する
    　請求項６に記載の情報処理装置。
  8. 　前記画像は、赤外画像及び可視画像を含み、
    　前記照射制御部は、前記赤外画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
    　請求項１に記載の情報処理装置。
  9. 　前記照射制御部は、さらに前記可視画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
    　請求項８に記載の情報処理装置。
  10. 　前記画像は、移動体の周囲を撮影した画像である
    　請求項１に記載の情報処理装置。
  11. 　前記移動体は、車両であり、
    　前記照射制御部は、路面を含む前記認識領域に可視光を照射するように前記照射パターンを制御する
    　請求項１０に記載の情報処理装置。
  12. 　前記移動体は、車両であり、
    　前記照射制御部は、人又は他の車両を含む前記認識領域に対する可視光の光量を下げる
    　請求項１０に記載の情報処理装置。
  13. 　前記照射制御部は、所定の領域単位で可視光の光量を制御することにより前記照射パターンを制御する
    　請求項１に記載の情報処理装置。
  14. 　前記照射パターンは、可視光の空間方向の光量の分布である
    　請求項１に記載の情報処理装置。
  15. 　前記照射制御部は、前記照射パターンを含む制御信号を出力する
    　請求項１に記載の情報処理装置。
  16. 　前記認識部は、画像認識処理としてセマンティックセグメンテーションを行う
    　請求項１に記載の情報処理装置。
  17. 　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、
    　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する
    　情報処理方法。
  18. 　撮像素子と、
    　前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮像素子の撮影方向への可視光の照射パターンを制御する照射制御部と
    　を備える撮影装置。
  19. 　光源部と、
    　撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御する照射制御部と
    　を備える照明装置。
  20. 　撮影部と、
    　前記撮影部の撮影方向へ可視光を照射する照明部と、
    　前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    　少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記照明部の可視光の照射パターンを制御する照射制御部と
    　を備える移動体。
PCT/JP2019/018676 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 WO2019225349A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US17/054,784 US11850990B2 (en) 2018-05-24 2019-05-10 Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
JP2020521153A JP7226440B2 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
KR1020207032578A KR20210013044A (ko) 2018-05-24 2019-05-10 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
CN201980033003.6A CN112135753A (zh) 2018-05-24 2019-05-10 信息处理装置、信息处理方法、拍摄装置、照明装置和移动体
EP19806461.0A EP3805045B1 (en) 2018-05-24 2019-05-10 Information processing device, information processing method
EP23180209.1A EP4227157A1 (en) 2018-05-24 2019-05-10 Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
US18/388,863 US20240075866A1 (en) 2018-05-24 2023-11-13 Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018099296 2018-05-24
JP2018-099296 2018-05-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/054,784 A-371-Of-International US11850990B2 (en) 2018-05-24 2019-05-10 Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
US18/388,863 Continuation US20240075866A1 (en) 2018-05-24 2023-11-13 Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body

Publications (1)

Publication Number Publication Date
WO2019225349A1 true WO2019225349A1 (ja) 2019-11-28

Family

ID=68616697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018676 WO2019225349A1 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体

Country Status (6)

Country Link
US (2) US11850990B2 (ja)
EP (2) EP4227157A1 (ja)
JP (1) JP7226440B2 (ja)
KR (1) KR20210013044A (ja)
CN (1) CN112135753A (ja)
WO (1) WO2019225349A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112963797A (zh) * 2021-03-19 2021-06-15 蔚来汽车科技(安徽)有限公司 基于红外光源的车辆照明系统及车辆
EP4056950A1 (en) * 2021-03-10 2022-09-14 Teledyne FLIR Commercial Systems, Inc. Thermal imaging for navigation systems and methods
JP7436696B2 (ja) 2020-03-02 2024-02-22 ツェットカーヴェー グループ ゲーエムベーハー 自動車の周囲モニタリングシステム
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305980A1 (en) * 2019-09-11 2022-09-29 Koito Manufacturing Co., Ltd. Vehicle lamp system
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143505A (ja) * 2006-11-16 2008-06-26 Denso Corp 前照灯制御装置
JP2013232390A (ja) * 2012-04-03 2013-11-14 Sharp Corp 発光装置、投光器、および車両用前照灯
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018069800A (ja) * 2016-10-25 2018-05-10 スタンレー電気株式会社 車両用灯具システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008025947A1 (de) * 2008-05-30 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs
DE102009054227A1 (de) 2009-11-21 2011-05-26 Volkswagen Ag Verfahren zum Steuern einer Scheinwerferanordnung für ein Fahrzeug und Scheinwerferanordnung
US9534756B2 (en) * 2012-04-03 2017-01-03 Sharp Kabushiki Kaisha Light-emitting device, floodlight, and vehicle headlight
KR101632179B1 (ko) * 2013-12-24 2016-07-01 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
IL233114A (en) 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
EP3067826B1 (en) * 2015-03-11 2021-05-05 Ricoh Company, Ltd. Image processing system and parallax image generation method
JP6532023B2 (ja) * 2015-10-28 2019-06-19 本田技研工業株式会社 車載機器制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143505A (ja) * 2006-11-16 2008-06-26 Denso Corp 前照灯制御装置
JP2013232390A (ja) * 2012-04-03 2013-11-14 Sharp Corp 発光装置、投光器、および車両用前照灯
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018069800A (ja) * 2016-10-25 2018-05-10 スタンレー電気株式会社 車両用灯具システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436696B2 (ja) 2020-03-02 2024-02-22 ツェットカーヴェー グループ ゲーエムベーハー 自動車の周囲モニタリングシステム
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
EP4056950A1 (en) * 2021-03-10 2022-09-14 Teledyne FLIR Commercial Systems, Inc. Thermal imaging for navigation systems and methods
CN112963797A (zh) * 2021-03-19 2021-06-15 蔚来汽车科技(安徽)有限公司 基于红外光源的车辆照明系统及车辆
EP4060222A1 (en) * 2021-03-19 2022-09-21 Nio Technology (Anhui) Co., Ltd Vehicle lighting system based on infrared light sources and vehicle
US11987167B2 (en) 2021-03-19 2024-05-21 Nio Technology (Anhui) Co., Ltd Vehicle lighting system based on infrared light sources and vehicles comprising a matrix lamp controller

Also Published As

Publication number Publication date
JPWO2019225349A1 (ja) 2021-06-10
EP4227157A1 (en) 2023-08-16
EP3805045B1 (en) 2023-07-19
EP3805045A1 (en) 2021-04-14
EP3805045A4 (en) 2021-07-21
US11850990B2 (en) 2023-12-26
CN112135753A (zh) 2020-12-25
KR20210013044A (ko) 2021-02-03
JP7226440B2 (ja) 2023-02-21
US20210232842A1 (en) 2021-07-29
US20240075866A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
WO2017212928A1 (ja) 画像処理装置、画像処理方法、および車両
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2017057057A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
JPWO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20230186651A1 (en) Control device, projection system, control method, and program
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2017212955A1 (ja) 撮像制御装置および方法、並びに車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19806461

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521153

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019806461

Country of ref document: EP

Effective date: 20210111