WO2025205129A1 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法

Info

Publication number
WO2025205129A1
WO2025205129A1 PCT/JP2025/010086 JP2025010086W WO2025205129A1 WO 2025205129 A1 WO2025205129 A1 WO 2025205129A1 JP 2025010086 W JP2025010086 W JP 2025010086W WO 2025205129 A1 WO2025205129 A1 WO 2025205129A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
unit
vehicle
infrared light
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/010086
Other languages
English (en)
French (fr)
Inventor
英史 大場
幸太郎 今井
寛子 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025205129A1 publication Critical patent/WO2025205129A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • AFS adaptive front lighting system
  • AFS dynamically controls the light emitted by the vehicle to prevent it from entering the eyes of oncoming drivers, reducing glare and preventing accidents.
  • AFS is a type of dynamically adjustable structure installed in vehicle headlights. For example, when cornering, the headlights aim to improve visibility by orienting the light axis in the direction of steering and shining light in the direction of travel.
  • AFS systems that not only simply dynamically change light distribution to match the direction (direction) of road curves, but also perform more complex dynamic light distribution to prevent headlight light from entering the eyes of drivers of oncoming vehicles or headlight light from entering the eyes of drivers of vehicles in front through the rearview mirror, are becoming more common. This allows the driver of one's own vehicle to have a bright field of view while taking care to prevent light from entering the eyes of oncoming vehicles and other drivers of vehicles in front.
  • the communication unit 22 may receive electromagnetic waves transmitted by a road traffic information communication system.
  • the electromagnetic waves may be transmitted using radio beacons, optical beacons, FM multiplex broadcasting, etc.
  • the map information storage unit 23 stores maps obtained from external devices or external networks and/or maps created by the vehicle 1.
  • the map information storage unit 23 may store high-precision three-dimensional maps, global maps that are less accurate than high-precision maps and cover a wide area, etc.
  • the external recognition sensor 25 includes various sensors used to recognize the situation outside the vehicle 1, and supplies sensor data from one or more (or, in some cases, all) sensors to one or more (or, in some cases, all) units of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are optional.
  • the external recognition sensor 25 may include a camera 51, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 52, a radar 53, and an ultrasonic sensor 54.
  • the external recognition sensor 25 may be configured to include one or more types of sensors from among the camera 51, LiDAR 52, radar 53, and ultrasonic sensor 54.
  • the types of sensors included in the external recognition sensor 25 are not limited to this example, and the external recognition sensor 25 may include other types of sensors. Examples of the sensing areas of each sensor included in the external recognition sensor 25 will be described later.
  • Camera 51 may use any suitable imaging method.
  • camera 51 may use an imaging method that allows distance measurement.
  • Non-limiting examples of cameras that use an imaging method that allows distance measurement include a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera.
  • ToF Time Of Flight
  • stereo camera stereo camera
  • monocular camera stereo camera
  • infrared camera infrared camera
  • camera 51 may also be used simply to obtain photographic images without regard to distance measurement.
  • the external recognition sensor 25 may include an environmental sensor for detecting environmental characteristics around the vehicle 1.
  • environmental characteristics Non-limiting examples of environmental characteristics that may be detected include weather, climate, brightness, etc.
  • the environmental sensor may include various sensors such as a raindrop sensor, fog sensor, sunlight sensor, snow sensor, and illuminance sensor.
  • the interior sensor 26 may include one or more sensors selected from the group consisting of a camera, radar, a seating sensor, a microphone, and a biometric sensor.
  • the camera included in the interior sensor 26 may use an imaging method capable of measuring distances. Non-limiting examples of cameras using imaging methods capable of measuring distances include a Time of Flight camera, a stereo camera, a monocular camera, and an infrared camera. However, the camera included in the interior sensor 26 may also be one that simply acquires captured images without measuring distances.
  • the biometric sensor included in the interior sensor 26 may be mounted on, for example, a seat or steering wheel, and may detect various types of biometric information about the user.
  • Vehicle sensor 27 includes various sensors for detecting the state of vehicle 1, and supplies sensor data from one or more (or in some cases all) sensors to one or more (or in some cases all) units of vehicle control system 11. There are no particular restrictions on the types and number of sensors included in vehicle sensor 27, as long as they are of the types and number that can realistically be installed on vehicle 1.
  • the HMI 31 may be equipped with a haptic element using haptic technology as an output device capable of outputting tactile information.
  • the haptic element may be provided on a part of the vehicle 1 that the user comes into contact with, such as the steering wheel or the seat.
  • the sensing results in sensing area 103F may be used, for example, for recognizing traffic lights and traffic signs, a lane departure prevention assistance system, or an automatic headlight control system.
  • the sensing results in sensing area 103B may be used, for example, for parking assistance and/or a surround view system.
  • the sensing results in sensing area 103L and/or sensing area 103R may be used, for example, for a surround view system.
  • Sensing area 105 shows an example of the sensing area of long-range radar 53. Sensing area 105 covers a position further ahead of vehicle 1 than sensing area 104. On the other hand, sensing area 105 has a narrower range in the left-right direction of vehicle 1 than sensing area 104.
  • the sensing results in the sensing area 105 may be used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, etc.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance etc.
  • each of the external recognition sensors 25 may have various configurations other than the configuration shown in FIG. 2.
  • the ultrasonic sensor 54 may also sense the sides of the vehicle 1, and the LiDAR 52 may sense the rear of the vehicle 1.
  • the installation position of each sensor is not limited to the examples described above.
  • the number of each sensor may be one or more.
  • FIG 3 shows a schematic diagram of the functional configuration of an information processing system 1000 according to the present disclosure.
  • the information processing system 1000 corresponds to the portion of the vehicle control system 11 in Figure 1 that is primarily related to image processing and recognition processing.
  • the information processing system 1000 includes a map information storage unit 23, a vehicle sensor 27, an external sensor 50, a processing unit 100, an AFS lamp light distribution control unit 210, a headlight 210A, an infrared light irradiation control unit 220, an infrared light source 220A, a camera 51, a transmission unit 230, and a display 240.
  • the processing unit 100 performs separate image signal processing for the first and second regions of the image data captured by the camera 51, or image signal processing with variable weighting during signal processing, based on first information regarding the position of a first region in the imaging region of the imaging unit (camera 51) into which visible light (e.g., reflected visible light) from the visible light irradiator (headlight 210A) is incident, and second information regarding the position of a second region into which infrared light (e.g., reflected infrared light) from the infrared light irradiator (infrared light source 220A) is incident.
  • the first information is, for example, information indicating the position of the first region or information for identifying the position of the first region.
  • the processing unit 100 includes an illumination map generation unit 110, an illumination/camera space mapping unit 120, a local demosaicing unit 130, an LTM unit 140, a region specification LTM unit 150, a recognition processing unit 160, a calibration processing unit 170, a behavior planning unit 62, and an operation control unit 63.
  • All or part of the processing unit 100 can be included in the driving automation control unit 29 in the vehicle control system 11 of Figure 1.
  • the AFS lamp light distribution control unit 210 and the infrared light irradiation control unit 220 correspond to the light control unit 85
  • the external sensor 50 corresponds to the LiDAR 52, radar 53, ultrasonic sensor 54, etc.
  • the transmission unit 230 corresponds to the bus 41
  • the display 240 corresponds to the HMI 31.
  • the camera 51, map information storage unit 23, and vehicle sensor 27 each correspond to the components of the same name shown in Figure 1.
  • the map information storage unit 23 stores map information of the environment in which the vehicle 1 may travel.
  • the map information may be a three-dimensional high-precision map, or a global map that is less accurate than a high-precision map and covers a wider area. Details of the map information storage unit 23 are as described above.
  • the vehicle sensor 27 includes the various sensors described above for detecting the state of the vehicle 1, and may include, for example, at least one of a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), an inertial measurement unit (IMU), a steering angle sensor, a yaw rate sensor, an accelerator sensor, and a brake sensor. Details of the vehicle sensor 27 have been described above and are therefore omitted here.
  • the external sensor 50 is a sensor that detects the situation outside the vehicle 1, and corresponds to, for example, at least one of the LiDAR 52, radar 53, and ultrasonic sensor 54 mentioned above. Details of these sensors have been described above and will not be repeated here.
  • the external sensor 50 may include sensors other than those listed here, as long as it is capable of detecting the situation outside the vehicle 1.
  • the external sensor 50 may include a microphone that detects ambient sounds.
  • Camera 51 is a camera capable of capturing both visible light and infrared light. Visible light includes reflected visible light emitted from headlight 210A, as well as light from sunlight, street lamps, etc. (ambient light).
  • Camera 51 is a camera (RGB-IR camera) that has an imaging area in which four types of pixels, including pixels for R (red) (hereinafter referred to as R pixels), pixels for G (green) (hereinafter referred to as G pixels), pixels for B (blue) (hereinafter referred to as B pixels), and pixels for infrared light (hereinafter referred to as IR pixels), are arranged in a predetermined array.
  • R pixels red
  • G pixels green pixels
  • B pixels blue pixels
  • IR pixels pixels for infrared light
  • Figure 4 shows an example of a portion of the imaging area.
  • Four types of pixels are arranged: R pixels, G pixels, B pixels, and IR pixels. They are arranged in an array in a predetermined pattern.
  • camera 51 is not limited to an RGB-IR camera, and may be, for example, a camera in which R, G, and B pixels are arranged in the imaging area, with at least one of the R, G, and B pixels being sensitive to infrared light.
  • the B pixel may be sensitive to infrared light.
  • a B signal and an infrared light signal can be separated from the imaging signal of that pixel using a filter. It is also possible to use color filters of other combinations, such as complementary colors, other than RGB, but RGB filters will be used as a representative example of processing.
  • the illumination map generation unit 110 generates an illumination map (first map) that indicates the area (or direction) to be illuminated within the range that can be illuminated from the headlight 210A of the vehicle 1.
  • the illumination map can be represented, for example, in a two-dimensional coordinate system.
  • the illumination map corresponds to the first map that indicates the area to be illuminated within the range that can be illuminated by the headlight 210A (visible light illumination unit).
  • the illumination map determines the illumination area of the headlight 210A that reduces illumination to oncoming vehicles and vehicles ahead, so as to avoid dazzling the eyes of drivers of oncoming vehicles with light entering their eyes, and to avoid dazzling the drivers of vehicles ahead with light reflected by their rearview mirrors and side mirrors.
  • the illumination map is then generated or updated to indicate the determined illumination area.
  • the illumination map can be in the form of a grid map that divides the entire range of directions that can be illuminated into a grid and indicates whether or not each grid is illuminated, and this can be used as the coordinate system.
  • the illumination map generation unit 110 uses map information from the map information storage unit 23, steering information from the vehicle sensor 27, and sensing data from the external sensor 50 to detect roads, oncoming vehicles, vehicles ahead, road signs, etc., to understand the driving environment of the vehicle 1 and determine the direction of travel of the vehicle 1.
  • the illumination map generation unit 110 determines the illumination area of the headlights 210A from the driving environment and direction of travel, etc.
  • the illumination map generation unit 110 may also use the recognition results of the recognition processing unit 160, which will be described later, to determine the illumination area.
  • the illumination map generation unit 110 sends the generated illumination map (grid map) to the AFS lamp light distribution control unit 210 and to the lighting/camera space mapping unit 120.
  • the infrared light irradiation control unit 220 controls the infrared light source 220A to emit infrared light.
  • the direction and range of infrared light irradiation are predetermined.
  • the infrared light irradiation control unit 220 controls the infrared light to be constantly emitted in that direction. For example, when the AFS lamp light distribution control unit 210 selectively irradiates the headlights 210A, the headlights 210A are typically irradiated downward toward the front of the vehicle 1 or toward a region close to the vehicle 1.
  • the direction of infrared light irradiation is typically set to a forward direction or a distant region.
  • infrared light may be irradiated only when the conditions for infrared light irradiation are met.
  • the irradiation map generation unit 110 may use an illuminance sensor (external sensor 50) to detect the brightness of the environment surrounding the vehicle 1, and send instruction data to the infrared light irradiation control unit 220 to irradiate infrared light only when the brightness is below a threshold.
  • the illumination map generation unit 110 may send instruction data to the infrared light illumination control unit 220 to illuminate infrared light from the infrared light source 220A only during the time period when the AFS lamp light distribution control unit 210 controls the headlight 210A to illuminate.
  • the irradiation range or direction of the infrared light source 220A may be controllable.
  • the irradiation map generation unit 110 determines the irradiation area of infrared light within that range, generates or updates an infrared irradiation map (second map) to indicate the determined area, and sends it to the infrared light irradiation control unit 220.
  • the infrared light irradiation control unit 220 controls the infrared light source 220A based on the infrared irradiation map, thereby irradiating the specified area with infrared light.
  • the infrared light irradiation control unit 220 may control the irradiation range of the infrared light source 220A based on the received instruction data.
  • the infrared irradiation map corresponds to the second map having a coordinate system that indicates the area to be irradiated within the irradiable range of the infrared light source 220A (infrared light irradiator). The following mainly assumes that the irradiation range (irradiation area) of the infrared light source 220A is fixed.
  • Figure 5 shows an example in which an area 320 illuminated according to the illumination map of headlight 210A and an area 310 illuminated by infrared light source 220A are shown. Figure 5 also shows the camera's field of view 300.
  • the lighting/camera space mapping unit 120 maps the area where visible light from the headlight 210A is incident and the area where infrared light from the infrared light source 220A is incident in the coordinate system of the camera 51 (the coordinate system of the image data) based on information about the camera 51, information about the infrared light source 220A, information about the headlight 210A, and the area of visible light irradiation indicated in the visible light irradiation map (first map). At this time, the mapping may also use the distance to the object illuminated by the headlight 210A.
  • the lighting/camera space mapping unit 120 sends the mapping information to the local demosaicing unit 130 and the LTM unit 140.
  • the information related to the camera 51 includes, for example, external and internal parameters of the camera 51, such as the installation position and installation direction of the camera 51.
  • the information related to the infrared light source 220A includes, for example, the irradiation range of the infrared light source 220A, infrared light illumination light distribution information, installation position and installation direction.
  • the information related to the headlight 210A includes, for example, the irradiation range of the headlight 210A, visible light illumination light distribution information, installation position and installation direction.
  • the coordinate system of the camera 51 is also called the coordinate system of the image data or the camera field of view angle frame.
  • the area into which visible light from headlight 210A is incident (mapped) is referred to as the headlight incident area
  • the area into which infrared light from infrared light source 220A is incident (mapped) is referred to as the infrared light incident area.
  • the infrared light incident area and headlight incident area may partially overlap.
  • Camera 51 has an imaging area (sensor area) in which four types of pixels - R pixels, G pixels, B pixels, and IR pixels - are arranged in a predetermined array. Camera 51 acquires the detection signals of each of these pixels in the imaging area at regular time intervals, and outputs the detection signal data to local demosaic unit 130 as a captured image (RAW data).
  • the local demosaic unit 130 divides the captured image into regions using information about the position of the headlight incidence region (first information), information about the position of the infrared light incidence region (second information), and information about the position of the ambient light incidence region (third information), and performs demosaic processing for each region.
  • the first to third information may be obtained from the mapping information described above.
  • the R component value (R value), G component value (G value), B component value (B value), and IR component value (IR value) are determined or estimated for each of all pixels (R pixels, G pixels, B pixels, and IR pixels) within the region.
  • local demosaicing is performed on a region-by-region basis for the headlight incidence region, using the pixel values of the pixel group within the region. Furthermore, similarly, local demosaicing is performed on a region-by-region basis for the ambient light incidence region, using the pixel values of the pixel group within the region.
  • the headlight incidence region and ambient light incidence region may be treated as the same type of region (regions dominated by visible light), and these regions may be combined and demosaiced as a single region.
  • Performing demosaicing for each region suppresses or prevents pixel values from being used in the interpolation process, making it possible, for example, to improve false colors that are accentuated by infrared illumination light at region boundaries and suppress jagged edges that occur on object contours. If the pixel value of the headlight incident region were used in the interpolation process for a pixel (target pixel) near the boundary within the infrared light incident region, the pixel value (IR component) of the IR pixel in the headlight incident region would be expected to be low, and the IR value of the target pixel would also be calculated to be low by the interpolation process. This could result in a degradation of image quality near the boundary. Performing demosaicing of the infrared light incident region independently from other regions can suppress this degradation of image quality.
  • the weighted sum of the calculation results (pixel values) of the infrared light incident area and the headlight incident area may be calculated for the pixels in the overlapping area.
  • the weight ratio for each area may be determined in advance.
  • the weight may be different for each color (R, G, B, IR).
  • the weighted addition may be calculated by giving a larger weight to the infrared light incident region and a smaller weight to the headlight incident region for the IR value of each pixel in the overlapping region.
  • ⁇ 1 may be set to 1 or a value close to 1
  • ⁇ 2 may be set to 0 or a value close to 0, or an equal ratio such as 0.5:0.5 may be used.
  • the weighted addition may be calculated by giving a smaller weight to the infrared light incident region and a larger weight to the headlight incident region for the R value, G value, and B value of each pixel in the overlapping region.
  • ⁇ 2 may be set to 1 or a value close to 1
  • ⁇ 1 may be set to 0 or a value close to 0, or an equal ratio such as 0.5:0.5 may be used.
  • the demosaicing process may use different algorithms for the headlight incident area, infrared light incident area, and ambient light incident area, or the same algorithm may be used for all of these areas. As long as demosaicing is performed independently for each area, it does not matter whether the algorithm is the same or not.
  • the blending ratio of the image of the region of interest for each region can be changed from 100% to 0% at the boundaries of the estimated light source area generated by adaptive image development after camera image processing to ensure smooth image continuity at the boundaries of each region, and this can be carried over to the images of the surrounding areas, thereby reducing unnaturalness that may occur in the boundary areas. Furthermore, even if optimal development processing is performed individually for each region, it is possible that the detection accuracy of the automatic recognition process at a later stage will decrease due to the image recognition process performed after the camera output, which may result in different light source estimates for each region.
  • Figure 7 shows an example in which the periphery of infrared light entrance area 311 is expanded to create area 311A. Demosaicing is performed on area 311A.
  • the LTM unit 140 performs local tone mapping (LTM) on the image data after region-by-region demosaicing as the input image.
  • LTM is a technology that expands the dynamic range of the entire image by adjusting contrast locally, as opposed to global tone mapping, which performs uniform brightness conversion on the entire input image. By performing LTM, it is possible to set an appropriate dynamic range for each local area, and brightness conversion can be performed while maintaining information such as the texture and contrast of the image.
  • the LTM unit 140 generates image data for display (color image data) by performing LTM on an image containing the RGB values of all pixels in the input image. At this time, by using the mapping information from the lighting/camera space mapping unit 120 to distinguish between headlight incident areas, infrared light incident areas, and ambient light incident areas, it is possible to correctly identify the scene in the input image and obtain high-quality image data.
  • the LTM 140 sends the generated image data to the transmission unit 230.
  • the LTM unit 140 may perform LTM on an image containing IR values for all pixels in the input image to generate a grayscale image.
  • the LTM may be performed by identifying the headlight incident area, infrared light incident area, and ambient light incident area using the mapping information from the lighting/camera space mapping unit 120.
  • the LTM unit 140 may generate image data for display by combining the post-LTM image data of the image containing IR values with the post-LTM image data of the image containing the RGB values.
  • the combination may use post-LTM image data of IR in the infrared light incident area, and post-LTM image data of the image containing RGB values in other areas.
  • the LTM 140 sends the generated image data to the transmission unit 230. Note that in areas where the headlight incident area and the infrared light incident area overlap, either image data may be selected. For example, if the external environment of vehicle 1 is bright (daytime), image data after LTM of an image containing RGB values may be selected, and if the external environment is dark (nighttime), image data after LTM of an image containing IR values may be selected.
  • the transmission unit 230 sends the image data received from the LTM 140 to the display 240, which then displays the image represented by the image data on the screen.
  • the image displayed has been corrected for false colors and suppressed jagged edges around the contours of objects.
  • the area-specific LTM unit 150 performs local tone mapping (LTM) independently for each of the headlight incident area, infrared light incident area, and ambient light incident area based on the image data after local demosaicing.
  • LTM local tone mapping
  • LTM is performed on an image containing the IR values of all pixels in the infrared light incident area.
  • LTM is performed on an image containing the RGB values of all pixels in the infrared light incident area.
  • LTM is performed on an image containing the RGB values of all pixels contained in that area. Also, for the headlight incident area, LTM is performed on an image containing the IR values of all pixels contained in that area. Also, for the ambient light incident area, LTM is performed on an image containing the RGB values of all pixels contained in that area. Also, for the ambient light incident area, LTM is performed on an image containing the IR values of all pixels contained in that area.
  • LTM is performed for each IR value and RGB value for each region
  • LTM may also be performed on an image containing the RGB values of all pixels contained in a single area that combines the headlight incident area and the ambient light incident area. LTM may also be performed on an image containing the IR values of all pixels contained in a single area that combines the headlight incident area and the ambient light incident area.
  • the region-specifying LTM unit 150 generates image data for recognition processing by synthesizing the images after LTM for each region.
  • image data is generated in which each pixel contains the IR value and RGB value of the infrared light incident region after LTM, for the headlight incident region, image data in which each pixel contains the RGB value and IR value of the headlight incident region after LTM, and for the ambient light incident region, image data in which each pixel contains the IR value and RGB value of the ambient light incident region after LTM.
  • a weighted sum of the pixel values (IR value, RGB value) of each region may be calculated. Details of the processing may be the same as those for the demosaic processing described above.
  • the area specification LTM unit 150 sends the generated image data for recognition processing to the recognition processing unit 160.
  • the area-specifying LTM unit 150 may generate image data for display based on the images after LTM for each area.
  • the image data for display may be image data in which an image containing IR values after LTM for the infrared light incident area is placed in the infrared light incident area, an image containing RGB values after LTM for the headlight incident area is placed in the headlight incident area, and an image containing RGB values after LTM for the ambient light incident area is placed in the ambient light incident area.
  • Image data for display may also be generated by combining in other ways.
  • the area-specification LTM unit 150 sends the generated image data to the display 240 via the transmission unit 230, and the display 240 displays the image represented by the image data on the screen.
  • the display image data generated by the area-specification LTM unit 150 may be less smooth (natural) overall than the image data generated by the LTM unit 140, but an image with a wide dynamic range is displayed for each area.
  • the processing described above describes independent signal processing for each area, but similar to adaptive local tone mapping performed as a conventional well-known technology, even when abrupt changes in luminance occur at boundaries between different illumination sources, smooth transition processing is performed to eliminate abrupt changes in gradation, making it possible to display an image with high visibility for each area. This also results in an image with improved false colors caused by incorrect spectral estimation of the light source for each area and suppressed jaggedness that occurs around the contours of objects.
  • Either the image data from the LTM 140 or the image data from the area specification LTM unit 150 may be selectively displayed at the user's command, or both may be displayed.
  • the recognition processing unit 160 performs recognition processing (image recognition) based on the image data for image recognition generated by the area designation LTM unit 150. At this time, recognition processing is performed for each area based on the mapping information of the lighting/camera space mapping unit 120. As an example, recognition processing may be performed based on an IR value image in the infrared light incident area (recognition processing using a grayscale image), and recognition processing may be performed based on an RGB value image in the headlight incident area and ambient light incident area (recognition processing using a color image). Objects are detected and recognized through recognition processing.
  • color image recognition can be performed using an RGB value image in the infrared light incident area.
  • the recognition results of each area may be integrated to obtain a recognition result.
  • the recognition result with the higher reliability value may be used.
  • the recognition processing unit 160 sends the recognition result to the action planning unit 62.
  • the recognition processing unit 160 may send the recognition results to the lighting/camera space mapping unit 120, and the calibration processing unit 170 in the lighting/camera space mapping unit 120 may update the mapping operation based on the recognition results. This is expected to improve the accuracy of mapping of the headlight incidence area and infrared light incidence area in the camera coordinate system. In other words, the mapping operation in the lighting/camera space mapping unit 120 may be updated by feedback control.
  • an adjustment can be made to shift the infrared light incident area in the direction of the high areas. This is because, even though no infrared light actually entered the low areas, it is possible that processing (demosaicing, area-specified LTM, etc.) was performed as if the area were an infrared light incident area. If the average reliability of the recognition results in the infrared light incident area is above a certain value, it can be determined that no update is necessary. Updates can also be performed using other methods.
  • Headlight 210A and camera 51 are typically installed in different positions on vehicle 1. If we consider a stereo camera, with camera 51 as one camera and headlight 210A as the other, a deviation equivalent to the parallax that corresponds to the distance between the cameras in a stereo camera will occur. The magnitude of this deviation is determined by the installation positions of headlight 210A and camera 51 (more specifically, the distance between the installation positions) and the distance to the object (the distance from camera 51 to the object and the distance from headlight 210A to the object). It may also depend on the installation direction of headlight 210A and camera 51 relative to the object.
  • the deviation equivalent to the parallax is determined according to the distance to the object illuminated by headlight 210A and captured by the camera. Therefore, it is not possible to uniformly determine and correct the amount of deviation of the object in the image captured by camera 51.
  • the irradiation pattern prefferably be one that can determine one or more directions and whose characteristic coordinates can be accurately read even if there is boundary blurring in the image captured by the camera 51.
  • characteristic coordinates include the center coordinates of a circle, the intersection of a check cross mark, etc., and circles and check cross marks can also be used as patterns.
  • This article explains how to align a reference point at infinity using a specific pattern of projected illumination with AFS.
  • Point 402 (the intersection of the dashed cross lines) is the point (position) that corresponds to the true infinity direction (first reference direction). Points 401 and 402 are offset by ⁇ in the vertical axis direction of the illumination grid coordinate system (the vertical direction parallel to the paper surface). There is a similar offset in the horizontal axis direction. In other words, the reference position (second reference position) of the illumination map actually corresponds to a direction (second reference direction) that is different from the true infinity direction.
  • the projected cross-check pattern consists of two cross-checks, each consisting of a pair of rectangles arranged diagonally from each other and connected at their vertices, and these are referred to as cross-checks L1 and L2.
  • cross-checks L1 and L2 In each cross-check, the point where the vertices of the two rectangles connect is also called the intersection.
  • the calibration processing unit 170 acquires image data from the camera 51 representing an image including the illumination target from the reflected light of the check pattern illuminated from the headlight 210A in front of the vehicle 1 under the control of the AFS lamp light distribution control unit 210 (S103).
  • Figure 10 shows cross checks P1 and P2 in image data acquired from camera 51.
  • Cross check P1 is an image corresponding to cross check L1 illuminated from headlight 210A under the control of AFS lamp light distribution control unit 210
  • cross check P2 is an image corresponding to cross check L2 illuminated from headlight 210A.
  • Point 403 (the intersection of the solid crosses) is a point (first reference position) corresponding to the infinity direction (first reference direction) in the image coordinate system.
  • Camera 51 is calibrated in the infinity direction through periodic calibration, etc., and the position of point 403 is assumed to be correct.
  • the distance between the camera 51 and the headlight 210A will generally not change unless the mounting arrangement is mechanically changed.
  • the mounting angle (direction) of the camera 51 and the headlight 210A can easily shift due to a variety of conditions, such as distortion of the vehicle body, impact, and mounting method. It is desirable to first perform this calibration process when manufacturing is completed prior to shipping the vehicle. Furthermore, because the installation orientation can change due to various factors such as twisting of the vehicle body, mounting misalignment, and temperature distortion, it is particularly desirable to perform calibration of the reference infinity angle on a regular basis.
  • the lighting/camera space mapping unit 120 can refer to the data in the illumination grid map (illumination map) of the AFS lamp light distribution control unit 210 for the illumination area of a distant object, thereby more accurately estimating the area in the image captured by the camera 51 that corresponds to the above-mentioned illumination area (in other words, estimating which area in the camera coordinate system corresponds to the area into which reflected light emitted from the headlight 210A enters).
  • the spectral characteristics of each area captured by camera 51 may be estimated by performing weighting processing for each light source (headlight 210A, light source of ambient light) based on the brightness of the ambient light estimated by AFS from areas in the image where light from headlight 210A is not incident, and the ambient light detected by the vehicle itself using an external light receiving element, etc.
  • the headlight illumination (light source illumination)
  • the image captured by the camera 51 there is a directional shift equivalent to parallax between the headlight illumination (light source illumination) and the image captured by the camera 51, depending on the installation distance between the headlight 210A and the camera 51 and the distance from each to the object.
  • the distance to the object can be recognized by the camera 51 itself, or the distance can be obtained from another device, and the amount of shift can be estimated based on trigonometry to correct the illumination map, which is a grid map of the area illuminated by the AFS.
  • light from the headlight 210A by the AFS is irradiated as a closed collective area in a mass, and the area irradiated by the same light source (headlight 210A) is distributed over a wide area, and depending on the distance to the object of illumination, the area of the object shifts in a fixed direction by the parallax.
  • Various techniques for extracting areas from images have also been developed, and one well-known example is a technique that allows a person to participate in a telephone conference from their own room in front of the camera, separate the background from the facial area, and replace the background image with another image.
  • area extraction technology is used to identify the headlight incidence area (AFS visible light incidence area) in the captured image based on the AFS illumination grid map (illumination map), segmentation is performed to compensate for area movement caused by parallax, and boundary movement directionality information obtained by segmentation (the direction and amount of movement caused by parallax) is set as a condition in the illumination/camera space mapping unit 120, thereby improving the accuracy of area estimation (mapping accuracy).
  • This process (setting of mapping information) for improving the accuracy of area identification is performed under the control of the calibration processing unit 170.
  • correction data can be passed to the lighting/camera space mapping unit 120 along with the illumination map (AFS illumination direction information) to update the area estimate of the headlight illumination area within the image from camera 51 (AFS light source application area estimate). Since there is little benefit to doing so, such strict correction processing is not required if the application is limited to image recognition for sensing.
  • the origin of the field of view between the headlight 210A and camera 51 is located at a distance equal to the baseline length D. Therefore, even if the direction of the field of view of camera 51 and the direction of the AFS headlight 210A are aligned, a shift in the incident area of headlight 210A (particularly at its boundary) occurs in the image captured by camera 51, including object OB1 (which is not located at infinity). Similarly, a shift in the incident area of headlight 210A occurs in the image captured by camera 51 for object OB2.
  • This shift depends on the distances L and 2L (2L is twice L) to the illuminated objects (i.e., objects that block and reflect light) OB1 and OB2.
  • the amount of shift between the illuminated area 411 at distance L and the illuminated area 412 at distance 2L in the image captured by camera 51 is inversely proportional to the distances L and 2L. In other words, the deviation at distance L is greater than the deviation at distance 2L.
  • the parallax will be 0 (zero), and the direction of the camera 51 and the direction of the headlight 210A (AFS) illumination grid map (illumination map) will match.
  • the object is at a finite distance and is illuminated by the headlight 210A, the illuminated area will be shifted by an amount of shift 410 (see Figure 12) that is inversely proportional to the direction in which the camera 51 and headlight 210A (AFS) are separated from each other (direction of placement and separation), depending on the distance.
  • Figure 12 shows the deviation amounts h(L) and h(2L) in the specified direction (downward along the diagram) expected depending on the distance to objects OB1 and OB2. Therefore, at a distance (X ⁇ ⁇ (infinity)), 1/X makes the deviation infinitely small (close to 0), and the direction of camera 51 essentially matches the AFS grid map direction (direction of the illumination map).
  • the AFS illumination range (illumination range of headlight 210A) illuminated on an object that was previously visible in the same distant direction, such as a pedestrian on the side of the road or a road sign, expands by 1/X times according to the distance X to the object.
  • the illumination grid map (illumination map) of headlight 210A needs to be corrected by shifting it toward the baseline length (upward in the diagram) by the amount of the effect of this parallax.
  • forward cameras are sometimes used for indirect visual inspection, such as in dashcams, they are primarily limited to recognition processing (machine recognition). Calculating and correcting the deviation of the boundary contours of the AFS's headlight illumination area precisely on a pixel-by-pixel basis offers little cost-to-no benefit, so precise pixel-by-pixel correction is not necessary. Instead, for the recognition of road signs and pedestrians, appropriate demosaicing and color reproduction adjustment, such as for facial expressions, are desirable.
  • An effective solution is to segment approaching objects that cannot be considered infinitely distant as the vehicle moves, separating them from the aggregate area, and then shifting (correcting) the illumination grid map (illumination map) so that the separated objects gradually move away from the vanishing point and toward the AFS's installed lights.
  • a collection of obstacles, road signs, etc. is recognized as a single recognition target, and if they are not close, their unevenness can be ignored compared to the distance to the object.
  • This allows for adaptive image development demosaicing and color correction processing that generally corresponds to the AFS headlight illumination.
  • the amount of displacement equivalent to the above-mentioned parallax is applied to the entire (segmented) area of the captured object, and the area in the grid map that was originally specified at an infinite angle is shifted and applied.
  • the method described above is applied, that is, an estimation is applied in which the area expands at a rate of "1/X" as the distance X shrinks as the vehicle progresses.
  • information on the distance to the object is obtained using an external sensor 50 (LiDAR, RADAR, stereo camera, etc.) or individual distance estimation using AI. By performing this process, it is possible to correct the area, including shifts in the AFS lighting area boundary due to differences in the placement positions of the camera 51 and headlight 210A.
  • the illumination map generation unit 110 of the processing unit 100 determines the area to be illuminated within the range that can be illuminated by the infrared light source 220A. For example, the illumination map generation unit 110 determines the area to be illuminated from the area that is not illuminated by the headlight 210A.
  • the illumination map generation unit 110 updates the second map, which has a coordinate system that indicates the area to be illuminated within the range that can be illuminated by the infrared light source 220A, to indicate the determined area. If illumination from the headlight 210A is also to be performed, the second map may be updated to further indicate the area to be illuminated by the headlight 210A.
  • the illumination map generation unit 110 sends the second map to the infrared light illumination control unit 220 and the illumination/camera space mapping unit 120. If illumination from the headlight 210A is also performed, the second map is also sent to the AFS lamp light distribution control unit 210.
  • the infrared light illumination control unit 220 controls the infrared light source 220A to emit infrared light based on the second map.
  • the AFS lamp light distribution control unit 210 controls the headlight 210A to emit visible light based on the second map.
  • Calibration processing can also be performed on the infrared light source 220A in the same manner as for the headlight 210A.
  • the reference position (first reference position) in the coordinate system of the camera 51 corresponds to the direction of infinity in the distance (first reference direction) of the camera 51
  • the reference position (third reference position) in the second map corresponds to the reference direction (third reference direction) of the infrared light source 220A.
  • the area onto which the image of the specific pattern is irradiated by the infrared light source 220A is determined, the second map is updated to indicate the area of the image of the determined specific pattern, and the infrared light irradiation control unit 220 controls the infrared light source 220A to irradiate infrared light based on the second map.
  • the processing unit 100 (calibration processing unit 170) detects the specific pattern from the image data of the camera 51 and calculates the positional relationship between the position of the specific pattern in the image data and the first reference position, and the positional relationship between the position of the irradiation area of the specific pattern in the second map and the third reference position.
  • the illumination map generation unit 110 updates the second map to indicate the area to be illuminated with infrared light
  • the infrared light illumination control unit 220 controls the infrared light source 220A to illuminate with infrared light based on the second map.
  • the illumination/camera space mapping unit 120 determines (estimates) the second area based on the distance to the object to be illuminated with infrared light, the position of the illuminated area in the second map, the installation position/orientation of the infrared light source 220A, and the installation position/orientation of the camera 51.
  • the second area may be determined based on the distribution of infrared light pixel values in the image data of the camera 51.
  • the AFS lamp light distribution control unit 210 may control the headlights 210A to irradiate the region including the predetermined object with visible light.
  • the predetermined object may be, for example, a road sign or text guidance information.
  • the illumination area is calculated and determined based on the fact that the distribution of the area illuminated by visible light or infrared light by AFS in the captured image is determined by geometric constraints, but the method of specifying the illumination area does not need to be limited to calculation from geometric constraints. For example, just as a person can visually examine a captured image and accurately distinguish the area illuminated by AFS fill light from the surrounding area and draw its outline to a certain extent, the illumination area can be determined by learning to extract and determine the illumination area of AFS or infrared light using artificial intelligence. Alternatively, the accuracy of area detection can be improved by combining the method of calculation from geometric constraints and the method of extraction using artificial intelligence.
  • white balance processing may be performed to prevent the white balance from being affected by the light emitted by the light source.
  • White balance processing is a correction process performed by estimating the color temperature of the light source to make a white subject appear white.
  • the rear camera 51 estimates the color temperature using the vehicle's brake lights as the light source, an unnatural white balance may be applied. Therefore, the image data from the camera 51 may be divided into a brake light incident area (an area where reflected light from the brake lights is incident) where the brake lights are illuminated and other areas, and white balance processing may be performed separately for each area.
  • the color temperature is estimated using the brake lights as the light source, while in other areas, the color temperature is estimated using natural light as the light source. This allows the red color of the brake lights to be maintained in the image data while avoiding an unnatural white balance of the surroundings.
  • image processing is performed that is locally optimized for each region of the image data based on information about the region in the image data where reflected light from visible light irradiation by the AFS is incident, and the region in the image data where reflected light from infrared light irradiation is incident.
  • the present disclosure can also be configured as follows.
  • An information processing system comprising: [Item 2] the processing unit determines an area to
  • a first reference position in a coordinate system of the imaging unit corresponds to a first reference direction of the imaging unit; a second reference position of the first map corresponds to a second reference direction of the visible light irradiation unit; the processing unit determines an area onto which an image of a specific pattern is to be irradiated within an irradiatable range of the visible light irradiation unit, and updates the first map to indicate the determined area of the image of the specific pattern; the control unit controls the visible light irradiation unit to irradiate visible light based on the first map; the processing unit detects the specific pattern from the image data, and specifies a third position in the first map corresponding to the first reference direction based on a positional relationship between a position of the specific pattern in the image data and the first reference position and a positional relationship between a position of the irradiated area in the first map and the second reference position, and updates the second reference direction to a direction
  • Item 3 The information processing system according to item 2.
  • the processing unit determines an area to be irradiated within an irradiatable range of the infrared light irradiation unit, and updates a second map indicating an area to be irradiated within an irradiatable range of the infrared light irradiation unit to indicate the determined area;
  • the control unit controls the infrared light irradiation unit to irradiate infrared light based on the second map;
  • the processing unit determines the second area based on a distance to the object to be irradiated with the infrared light, a position of the irradiated area in the second map, an installation position of the infrared light irradiator, and an installation position of the imaging unit.
  • a first reference position in a coordinate system of the imaging unit corresponds to a first reference direction of the imaging unit; a third reference position of the second map corresponds to a third reference direction of the infrared light irradiator;
  • the processing unit determines an area onto which an image of a specific pattern is irradiated within an irradiable range of the infrared light irradiation unit, and updates the second map to indicate the determined area of the image of the specific pattern;
  • the control unit controls the infrared light irradiation unit to irradiate infrared light based on the second map;
  • the processing unit detects the specific pattern from the image data, and specifies a position in the second map corresponding to the first reference direction based on a positional relationship between a position of the specific pattern in the image data and the first reference position and a positional relationship between a position of the irradiated area in the second map and the third reference position,
  • Item 5 The information processing system according to item 4.
  • the processing unit determines the second region based on a distribution of pixel values of the infrared light. 6.
  • the irradiation range of the infrared light irradiation unit is fixed, and the irradiation range cannot be controlled by the control unit. 7.
  • [Item 8] calculating a center of gravity of the pixel values of the infrared light in the image data, and determining the second region based on the center of gravity; Item 8.
  • the processing unit extends the boundary of the second region outward by a certain width, the processing unit performs the image signal processing separately for each of the expanded second region and the expanded first region.
  • Item 9. The information processing system according to item 7 or 8.
  • the processing unit performs demosaic processing separately on the first region and the second region of the image data.
  • the processing unit performs local tone mapping processing separately for the first region and the second region based on the image data after the design processing.
  • the processing unit performs image recognition based on the image data after the local tone mapping process.
  • Item 12. The information processing system according to item 11.
  • the processing unit performs the image recognition separately for each of the first region and the second region in the image data after the local tone mapping process. Item 13.
  • the processing unit calculates a weighted sum of pixel values resulting from the demosaic processing in an area where the first area and the second area overlap.
  • the processing unit calculates a weighted sum of pixel values resulting from the local tone mapping process in an area where the first area and the second area overlap.
  • Item 14 The information processing system according to item 13.
  • the imaging unit a camera having an imaging area in which red pixels, green pixels, blue pixels, and infrared pixels are arranged in a predetermined array; Or, a camera having an imaging area in which red pixels, green pixels, and blue pixels are arranged in a predetermined array, and at least one of the red pixels, the green pixels, and the blue pixels is also sensitive to infrared light; Item 18.
  • the information processing system according to any one of items 1 to 17.
  • the predetermined direction is the front or rear of the vehicle.
  • Item 19 The information processing system according to any one of items 1 to 18.
  • the vehicle is equipped with a visible light source, and the visible light source is irradiated in a predetermined direction of the vehicle.
  • Vehicle 11 Vehicle control system 21
  • Communication unit 23 Map information storage unit 24
  • Location information acquisition unit 25
  • External recognition sensor 26
  • In-vehicle sensor 27
  • Vehicle sensor 28
  • Driving automation control unit 30
  • Driver monitoring system (DMS) 31
  • Human Machine Interface (HMI) 32
  • Vehicle control unit 41
  • Communication network 51
  • Camera LiDAR
  • Radar 54
  • Ultrasonic sensor 61
  • Recognition processing unit 62
  • Operation control unit 81
  • Drive control unit 84
  • Body system control unit 85
  • Light control unit 86
  • Horn control unit 100
  • Processing unit 110
  • Illumination map generation unit 110
  • Illumination map 120 Camera space mapping unit 130
  • Local demosaicing unit 140
  • Area designation LTM unit 160
  • Recognition processing unit 170 210
  • AFS lamp light distribution control unit 210A Headlight 220 Infrared light irradi

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

［課題］車両の移動環境の画像認識に有効な画像を生成する情報処理システム及び情報処理方法を提供する。 ［解決手段］本開示の情報処理システムは、車両に搭載され、前記車両の所定の方向に向けて可視光を照射する可視光照射部と、前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射する赤外光照射部と、前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御する制御部と、撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成する撮像部と、前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する処理部と、を備える。

Description

情報処理システム及び情報処理方法
　本開示は、情報処理システム及び情報処理方法に関する。
　夜間の走行時に対向車の運転者に対して眩しさを低減したヘッドライトを用いることが法規で求められている。車の照明技術として、高輝度でありながら対向車のドライバに対する眩しさを低減する技術の一つとして、AFS（Adaptive Front Lighting System）と呼ばれる動的に配光が行える可変照明ヘッドライトの普及が進んでいる。このAFSは夜間走行時に自車の発する光が対向者のドライバの目に入るのを動的制御して避け、眩しさを抑制する事で事故を未然に予防・低減する技術である。より詳しくは、AFSは、自動車のヘッドライトに設けられる動的調整構造の一種であり、例えば走行中のコーナリング時においてステアリング操舵方向に光軸を向け、進行する方向に光を照射することで視認性向上を図る。ヘッドライトの光は、その配光次第では対向車の運転者の目に入ると眩しくうつり、目がかすむと正常な運転に必要な視界が運転者に確保できなくなる恐れがある。そこで、近年では、単純に道路のカーブに沿った方角（方向）に合わせた動的配光変更のみならず、対向車の運転者の目にヘッドライト光が入ったり、前走車の後写鏡越しに運転者の目にヘッドライト光が入ったりしない様に、より複雑な動的配光を行うAFSが普及しつつある。これにより対向車や前走車の他の運転者の目に光が入らないように配慮しつつも、自車の運転者に明るい視界を届けることができる。
　このようなAFSは運転者の目視視界を改善しつつ、対向車等への眩しさ抑制する事が出来るメリットは大きいものの、上述のような選択的な照射をするに伴い、ヘッドライトとしての照明配光がロービームに偏る。その結果、走行道路の前方遠方が可視光で十分明るく照明されなくなることがある。特にAFSを自動運転と組合せて利用して、カメラを用いた画像認識を行う場合においては、遠方の領域が照明されない事で、取り込んだ画像が暗くなり、画像画質が犠牲になる。このため、例えば、夜間に高速走行を走行する時に進路前方の遠方が照明されないことで、暗い画像が取得され、走行時の進路詳細予測が困難となる。
　一方、カメラを用いる撮像技術では、輝度差が大きい被写体を撮像するためにはダイナミックレンジという制約があり、低輝度から高輝度の大きな輝度差を扱うのに制約を伴う。その代表例は、制約が限られた伝送帯域や表示機器の輝度再現帯域である。その対策として導入される技術の一つとして、ローカル・トーン・マッピングと呼ばれる画像の自動諧調調整技術がある。
　通常一つの画面全体に対して一律に適用される入出力のゲインに代わり、画像のシーン認識評価を行い、明るさの違う領域ごとに入出力ゲインを、可変適用調整により動的に調整する。この際、目立たない領域境界部でゲインの差分を吸収して、画面全体を限られた帯域幅に抑える。但し、単にローカル・トーン・マッピングを適用するだけでは、暗くなっている遠方の道路ではノイズが支配的な画像となってしまうことから、環境認識を補うために、遠方の暗い道路の明るさを確保するため、目には眩しさを発生しないですむアクティブな赤外光（近赤外光の場合も含む）の照射、いわゆるナイトビジョン相当の補完照明を行う方法がある。赤外光を用いた照明で照らすことで、対向車の運転者の目に眩しさ与えずに、遠方の暗い道路の明るさを確保する事が可能となる。しかしながら、赤外光が支配的な照明光が混在した状態では、画像認識のセグメンテーション等の領域・色情報の判別性に欠かせないイメージセンサの検出信号画像（ロー画像）をデモザイク現像処理した際にサンプリングの都合上、正しく処理が行えずに、偽色やモアレ等の副作用が発生する。この結果、認識処理の検出精度が劣化する問題が生じる。
国際公開第2019/225349号
　本開示は、車両の移動環境の画像認識に有効な画像を生成する情報処理システム及び情報処理方法を提供する。
　本開示の情報処理システムは、車両に搭載され、前記車両の前記所定の方向に向けて可視光を照射する可視光照射部と、前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射する赤外光照射部と、前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御する制御部と、撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成する撮像部と、前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する処理部と、を備える。
本開示に係る車両制御システムの構成例を示すブロック図。 外部認識センサのセンシング領域及び設置位置の例を示す図。 本開示に係る情報処理システムの機能的構成を模式的に示す図。 撮像領域の例を示す図。 ヘッドライトの照射マップに従って照射された領域と、赤外線光源によって照射された領域が模式的に示された例を示す図。 カメラの画像データの座標系（カメラ視野角フレーム）に、赤外光入射領域とヘッドライト入射領域とをマッピングした例を示す図。 赤外光入射領域の周囲を拡張した例を示す図。 校正処理部により制御される校正処理の動作の一例のフローチャート。 照射したチェックパターンの例を示す図。 カメラから取得された画像データにおけるクロスチェックを示す図。 無限遠方向の差分Δφの算出例を示す図。 校正処理の具体例の説明図。 校正処理の具体例の説明図。
　以下、本技術を実施するための形態について説明する。
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用される移動装置制御システムの非限定的な一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の運転自動化に関わる処理を行う。この運転自動化には、レベル１乃至レベル５の運転自動化、並びに、遠隔運転者による車両１の遠隔運転及び／又は遠隔支援が含まれる。運転自動化のレベルは、the Society of Automotive Engineers（ＳＡＥ）J3016TM APL2021 Levels of Driving Automationを参照してもよく、ＳＡＥレベル０は運転自動化の最低レベルを意味し、ＳＡＥレベル５は運転自動化の最高レベルを意味する。例えば、ＳＡＥレベル１の運転自動化は、運転者にステアリング又はブレーキ／加速サポートを提供する運転者支援機能から構成されてもよく、ＳＡＥレベル５の運転自動化は、あらゆる条件下で車両を運転することができる自動運転機能から構成されてもよい。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ３０、ＨＭＩ３１、及び、車両制御部３２のうちの２つ以上（又は、場合によっては、全て）は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。一部の実施形態において、通信ネットワーク４１は２タイプ以上の通信ネットワークを有してもよく、異なるタイプの通信ネットワークが、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。一部の実施形態において、車両制御システム１１の２以上（又は、場合によっては、全て）のユニットは、通信ネットワーク４１を介さずに、無線通信（例えば、比較的近距離での通信）を用いて直接的に接続されてもよい。一部の実施形態において、無線通信が近距離無線通信技術を用いてもよい。近距離無線通信技術の非限定的な例としては、近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）がある。一部の実施形態において、車両制御システム１１の２以上（又は、場合によっては、全て）のユニットは、通信ネットワーク４１及び無線通信技術（例えば、近距離無線通信技術）を用いて接続されてもよい。
　以下、車両制御システム１１の２以上のユニットが、通信ネットワーク４１を介して通信を行う実施形態において、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う実施形態において、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車両１の内部にある様々な機器（以下、車内機器と称する）、車両１の外部にある様々な機器（以下、車外機器と称する）、他の車両、基地局等と通信を行い、各種のデータの送受信を行う。一部の実施形態において、通信部２２は、複数の通信技術を用いて通信を行ってもよい。
　通信部２２と車外機器との通信の非限定的な例について、概略的に説明する。一部の実施形態において、通信部２２は、無線通信技術により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行ってもよい。非限定的な無線通信技術の例としては、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等がある。通信部２２が通信可能な外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。外部ネットワークと通信する通信部２２によって用いられる通信技術は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信技術であれば、特に限定されない。
　一部の実施形態において、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行ってもよい。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、及び／又は、ＭＴＣ（Machine Type Communication）端末である。一部の実施形態において、通信部２２は、Ｖ２Ｘ（Vehicle to Everything）通信を行ってもよい。Ｖ２Ｘ通信とは、一般的に自車と他のエンティティとの通信を指す。Ｖ２Ｘ通信の非限定的な例としては、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者によって所持又は装着される端末等との間の歩車間（Vehicle to Pedestrian）通信等がある。
　一部の実施形態において、通信部２２は、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを車両１の外部から受信してもよい（例えば、Over The Air)。一部の実施形態において、通信部２２は、地図情報、交通情報、車両１の周囲の情報等を車両１の外部から受信してもよい。一部の実施形態において、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を車外機器又は外部ネットワークに送信してもよい。通信部２２が車外機器又は外部ネットワークに送信する車両１に関する情報の非限定的な例としては、車両１の状態を示すデータ、認識処理部６１による認識結果等がある。一部の実施形態において、通信部２２は、車両緊急通報システムと通信を行ってもよい。車両緊急通報システムの非限定的な例としては、ｅコール等がある。
　一部の実施形態において、通信部２２は、道路交通情報通信システムにより送信される電磁波を受信してもよい。一部の実施形態において、当該電磁波は、電波ビーコン、光ビーコン、ＦＭ多重放送等を用いて送信されてもよい。
　通信部２２が実行可能な車内機器との通信の非限定的な例について、概略的に説明する。一部の実施形態において、通信部２２は、無線通信を用いて車内機器と通信を行ってもよい。例えば、一部の実施形態において、通信部２２は、無線通信により所定以上の通信速度でディジタル双方向通信が可能な無線通信技術により、車内機器と無線通信を行ってもよい。無線通信技術の非限定的な例としては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）がある。これに限らず、通信部２２は、（無線通信に加えて、又は代替として）有線通信を用いて車内機器と通信を行ってもよい。例えば、一部の実施形態において、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内機器と通信を行ってもよい。一部の実施形態において、通信部２２は、所定以上の通信速度でディジタル双方向通信が可能な有線通信技術により、車内の機器と通信を行ってもよい。有線通信技術の非限定的な例としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）がある。
　ここで、車内機器とは、例えば、車両１の内部において通信ネットワーク４１に接続されていない機器を指す。車内機器は、車両制御システム１１を構成する機器と構成しない機器に分かれる。車両制御システム１１を構成しない車内機器の非限定的な例としては、車両１の利用者（例えば、運転者、同乗者）が所持するモバイル機器やウェアラブル機器、車両１の内部に一時的に設置される情報機器等がある。これらの機器は、例えば、車両１の外部に移動して、車外機器となり得る。
　地図情報蓄積部２３は、車外機器又は外部ネットワークから取得した地図及び／又は車両１で作成した地図を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積してもよい。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であってもよく、外部のサーバ等から車両１に提供されてもよい。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図であってもよい。ベクターマップは、例えば、車線（レーン）や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、運転自動化に適合させた地図であってもよい。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、ＬｉＤＡＲ５２、レーダ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１が走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得されてもよい。
　位置情報取得部２４は、車両１の位置情報を取得する。取得した位置情報は、運転自動化制御部２９に供給されてもよい。一部の実施形態において、位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信してもよい。一部の実施形態において、位置情報取得部２４は、ビーコン等から信号を受信してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、１つ以上（又は、一部のケースでは全て）のセンサからのセンサデータを車両制御システム１１の１つ以上（又は、一部のケースでは全て）のユニットに供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　一部の実施形態において、外部認識センサ２５は、カメラ５１、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５２、レーダ５３、超音波センサ５４を備えてもよい。これに限らず、外部認識センサ２５は、カメラ５１、ＬｉＤＡＲ５２、レーダ５３、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、ＬｉＤＡＲ５２、レーダ５３、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　カメラ５１は、任意の適した撮影方式を用いることができる。一部の実施形態において、カメラ５１は、測距が可能な撮影方式を用いてもよい。測距が可能な撮影方式を用いるカメラの非限定的な例としては、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラがある。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　一部の実施形態において、外部認識センサ２５は、車両１周辺の環境の特徴を検出するための環境センサを備えてもよい。検出され得る環境の特徴の非限定的な例としては、天候、気象、明るさ等がある。一部の実施形態において、環境センサは、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを備えてもよい。
　車内センサ２６は、車両１の内部の情報を検出するための各種のセンサを備え、１つ以上（又は、一部のケースでは全て）のセンサからのセンサデータを車両制御システム１１の１つ以上（又は、一部のケースでは全て）のユニットに供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　一部の実施形態において、車内センサ２６は、カメラ、レーダ、着座センサ、マイク、生体センサのうち１つ以上のセンサを備えてもよい。一部の実施形態において、車内センサ２６が備えるカメラは、測距可能な撮影方式を用いてもよい。測距可能な撮影方式を用いたカメラの非限定的な例としては、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラがある。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられてもよく、利用者の各種の生体情報を検出してもよい。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、１つ以上（又は、一部のケースでは全て）のセンサからのセンサデータを車両制御システム１１の１つ以上（又は、一部のケースでは全て）のユニットに供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　一部の実施形態において、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び／又は、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備えてもよい。一部の実施形態において、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量（例えば、ペダルフォース、ペダルストローク）を検出するアクセルセンサ、及び／又は、ブレーキペダルの操作量（例えば、ペダルフォース、ペダルストローク）を検出するブレーキセンサを備えてもよい。一部の実施形態において、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び／又は、車輪の回転速度を検出する車輪速センサを備えてもよい。一部の実施形態において、車両センサ２７は、バッテリの残量や温度を検出するバッテリセンサ、及び／又は、外部からの衝撃を検出可能な衝撃センサを備えてもよい。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶媒体の非限定的な例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access Memory）及び／又はＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスがある。記憶部２８は、車両制御システム１１の１つ以上（又は、一部のケースでは全て）のユニットが用いる各種プログラムやデータを記憶する。一部の実施形態において、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶してもよい。
　運転自動化制御部２９は、車両１の運転自動化機能の制御を行う。一部の実施形態において、運転自動化制御部２９は、認識処理部６１、行動計画部６２、及び、動作制御部６３を備えている。
　認識処理部６１は、車両１及び／又は周囲の状況の分析、例えば車両１の周辺に存在する物体の検出処理及び認識処理を行う。
　一部の実施形態において、認識処理部６１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定してもよい。例えば、認識処理部６１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定してもよい。車両１の位置は、例えば、後輪対車軸の中心が基準とされてもよい。
　一部の実施形態において、ローカルマップは、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等であってもよい。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等であってもよい。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図であってもよい。物体の占有状態は、例えば、物体の有無や存在確率により示されてもよい。一部の実施形態において、ローカルマップは、例えば、車両１の外部の状況の検出処理及び／又は認識処理にも用いられてもよい。
　一部の実施形態において、認識処理部６１は、位置情報取得部２４により取得される位置情報、及び／又は、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　認識処理部６１は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、レーダ５３から供給されるセンサデータを組み合わせて、情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、これらに限定されないが、複合、統合、融合、連合等がある。
　認識処理部６１は、外部認識センサ２５からの情報、自己位置推定結果の情報、センサフュージョン処理された情報等に基づいて、車両１の外部の状況の検出処理及び／又は認識処理を行ってもよい。具体的には、認識処理部６１は、車両１の周囲に存在する物体の検出処理及び／又は当該物体の認識処理等を行ってもよい。物体の検出処理としては、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理であってもよい。物体の認識処理としては、例えば、物体の種類等の属性を認識したり、特定の物体を認識したりする処理であってもよい。例えば物体が車両である場合に、物体の種類として一般車両か、緊急車両かを認識してもよい。検出処理と認識処理とは、必ずしも明確に分かれるものではなく、少なくとも一部が重複する場合があってもよい。
　一部の実施形態において、認識処理部６１は、ＬｉＤＡＲ５２及び／又はレーダ５３等からのセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出してもよい。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出され得る。
　一部の実施形態において、認識処理部６１は、クラスタリングにより分類された点群の塊の動きを追従することにより、車両１の周囲の物体の動きを検出してもよい。これにより、車両１の周囲の物体の速度及び／又は進行方向（移動ベクトル）が検出され得る。
　一部の実施形態において、認識処理部６１は、カメラ５１から供給される画像データに基づいて、車両（自転車を含む）、人、障害物、構造物、道路、信号機、交通標識、道路標示等を検出及び／又は認識してもよい。一部の実施形態において、認識処理部６１は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　一部の実施形態において、認識処理部６１は、地図情報蓄積部２３に蓄積されている地図、自己位置の推定結果、及び／又は、車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行ってもよい。認識処理部６１は、この処理により、信号機の位置及び／又は状態、交通標識及び／又は道路標示の内容、交通規制の内容、及び／又は、走行可能なレーン等を認識してもよい。
　一部の実施形態において、認識処理部６１は、車両１の周囲の環境の認識処理を行ってもよい。一部の実施形態において、認識処理部６１は、天候の特徴（気温、湿度、明るさ）、及び／又は、路面の状態等を認識してもよい。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、認識処理部６１の認識結果に基づき、経路計画、経路追従を行うことにより、車両１の行動計画を作成してもよい。
　一部の実施形態において、経路計画は、広域的パスプランニング（Global path planning）及び局所的パスプランニング（Local path planning）を含んでもよい。広域的パスプランニングは、スタートからゴールまでの大まかな経路を計画する処理を含んでもよい。局所的パスプランニングは、軌道計画とも言われ、車両１の運動特性や任意の障害物の存在等を考慮して、計画した経路に沿って車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成を含んでもよい。認識結果として周囲の緊急車両が認識された場合に、緊急車両が優先的に走行できるよう、車両１の動作として緊急車両を回避する動作を計画してもよい。例えば緊急車両を回避する動作の例として、車両１をレーンの端又は路側帯に移動させて停止させること、またはハザードランプを点滅させて一時停止させることなどがある。
　一部の実施形態において、経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画するものであってもよい。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度及び／又は目標角速度を計算してもよい。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、一部の実施形態において、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び／又は、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、横方向車両運動制御及び／又は縦方向車両運動制御を行ってもよい。例えば、動作制御部６３は、１つ以上の運転者支援機能及び／又は運転自動化を目的とした制御（例えば、横方向車両運動制御、縦方向車両運動制御）を行ってもよい。運転者支援機能の非限定的な例としては、衝突回避又は衝撃緩和、車間距離制御（例えば、車両１の前方を走行する車両から特定の距離を維持する制御）、車速制御（例えば、特定の速度を維持する制御）、車両衝突警告、レーン逸脱警告がある。運転自動化の非限定的な例としては、運転者又は遠隔運転者の操作によらない走行がある。
　一部の実施形態において、ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び／又は、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び／又は、運転者の状態の認識処理等を行ってもよい。認識対象となり得る運転者の状態の非限定的な例としては、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等がある。
　一部の実施形態において、ＤＭＳ３０は、運転者以外の利用者（例えば、同乗者）の認証処理、及び／又は、当該利用者の状態の認識処理を行ってもよい。一部の実施形態において、ＤＭＳ３０は、車内センサ２６からのセンサデータに基づいて、車両１の内部状況の認識処理を行ってもよい。認識対象となり得る車両１の内部状況の特徴の非限定的な例としては、気温、湿度、明るさ、臭い等がある。
　ＨＭＩ３１は、各種のデータや指示等を入力として受け取り、各種のデータを利用者へ提示する。
　ＨＭＩ３１へのデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータや指示等を入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の１つ以上（又は、一部のケースでは全て）のユニットに供給する。一部の実施形態において、ＨＭＩ３１は、入力デバイスとして、タッチパネル、ボタン、スイッチ、及び／又は、レバーを備えてもよい。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスを備えてもよい。一部の実施形態において、ＨＭＩ３１は、入力デバイスとして、赤外線及び／又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応した外部接続機器を備えてもよい。外部接続機器の非限定的な例としては、モバイル機器（例えば、スマートフォン）やウェアラブル機器（例えば、スマートウォッチ）がある。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、利用者及び／又は車両１の外部の人に対する視覚情報、聴覚情報、及び／又は、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び／又は出力方法等を制御する出力制御を行ってもよい。ＨＭＩ３１によって生成され出力され得る視覚情報の非限定的な例としては、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報がある。ＨＭＩ３１によって生成され出力され得る聴覚情報の非限定的な例としては、音声ガイダンス、警告音、警告メッセージ等がある。ＨＭＩ３１によって生成され出力され得る触覚情報の非限定的な例としては、力、振動、動き等により利用者の触覚に与えられる情報がある。
　一部の実施形態において、ＨＭＩ３１は、視覚情報を出力可能な出力デバイスとして、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を備えてもよい。一部の実施形態として、表示装置は、通常の表示装置に加えて、又は代替として、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、利用者の視界内に視覚情報を表示する装置であってもよい。一部の実施形態において、ＨＭＩ３１は、視覚情報を出力可能な出力デバイスとして、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを備えてもよい。
　一部の実施形態において、ＨＭＩ３１は、聴覚情報を出力可能な出力デバイスとして、オーディオスピーカ、ヘッドホン、イヤホンを備えてもよい。
　一部の実施形態において、ＨＭＩ３１は、触覚情報を出力可能な出力デバイスとして、ハプティクス技術を用いたハプティクス素子を備えてもよい。ハプティクス素子は、例えば、ステアリングホイール、シートといった、利用者が接触する車両１の部分に設けられてもよい。
　車両制御部３２は、車両１の１つ以上（又は、一部のケースでは全て）のユニットの制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び／又は制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び／又は制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び／又は制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び／又は制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び／又は制御等を行う。ライト制御部８５によって制御され得るライトの非限定的な例としては、ヘッドライト、赤外線光源（近赤外線光源の場合を含む）、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクターライト、バンパーの表示等がある。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。ライト制御部８５は、ライトの照射パターンを動的に制御するAFS（Adaptive Front Lighting System）システムを含んでいる。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び／又は制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、ＬｉＤＡＲ５２、レーダ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。図２において、車両１を上面から見た様子が模式的に示されている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆ（例えば、複数の超音波センサ５４のセンシング領域）は、車両１の前端周辺をカバーしている。センシング領域１０１Ｂ（例えば、複数の超音波センサ５４のセンシング領域）は、車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及び／又はセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられてもよい。
　センシング領域１０２Ｆ、センシング領域１０２Ｂ、センシング領域１０２Ｌ、及びセンシング領域１０２Ｒは、短距離又は中距離用のレーダ５３のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられてもよい。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられてもよい。センシング領域１０２Ｌ及び／又はセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の左側及び／又は右側の死角における１つ以上の物体の検出等に用いられてもよい。
　センシング領域１０３Ｆ、センシング領域１０３Ｂ、センシング領域１０３Ｌ、及びセンシング領域１０３Ｒは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いられてもよい。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び／又は、サラウンドビューシステムに用いられてもよい。センシング領域１０３Ｌ及び／又はセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いられてもよい。
　センシング領域１０４は、ＬｉＤＡＲ５２のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより車両１の左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられてもよい。
　センシング領域１０５は、長距離用のレーダ５３のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より車両１の左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられてもよい。
　一部の実施形態において、外部認識センサ２５（例えば、カメラ５１、ＬｉＤＡＲ５２、レーダ５３、超音波センサ５４）の各センサのセンシング領域は、図２で示される構成以外に各種の構成をとってもよい。具体的には、一部の実施形態において、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５２が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
　＜＜２．情報処理システムの構成例＞＞
　本開示では、AFS（Adaptive Front Lighting System）を備えたヘッドライトによる動的な配光照明を行うとともにカメラ５１（図１参照）による画像認識を用いた自動運転を行う車両において、暗い領域の明るさを確保するための赤外光（近赤外光の場合も含む）照射を赤外線光源から補完的に行う。この際、カメラ５１で検出される、赤外光と可視光が混在した画像に対して赤外光と可視光との領域をそれぞれ検出して、領域ごとに適切な画像信号処理を行うことで、高い精度の認識結果を得られる画像を生成し、精度の高い画像認識を行うことを実現する。
　図３は、本開示に係る情報処理システム１０００の機能的構成を模式的に示している。情報処理システム１０００は、図１の車両制御システム１１のうち主に画像処理及び認識処理に関連する部分に対応する。情報処理システム１０００は、地図情報蓄積部２３、車両センサ２７、外部センサ５０、処理部１００、AFSランプ配光制御部２１０、ヘッドライト２１０Ａ、赤外光照射制御部２２０、赤外線光源２２０Ａ、カメラ５１、伝送部２３０、ディスプレイ２４０を備える。
　ヘッドライト２１０Ａは、車両に搭載され、車両の所定の方向に向けて可視光を照射する可視光照射部に対応する。赤外線光源２２０Ａは、車両に搭載され、車両の所定の方向に向けて赤外光を照射する赤外光照射部に対応する。カメラ５１は、撮像領域に入射される光に基づき、車両の所定の方向を撮像して画像データを生成する撮像部に対応する。所定の方向は、一例として、車両の前方又は後方であり、側方の場合もあり得る。AFSランプ配光制御部２１０及び赤外光照射制御部２２０は、ヘッドライト２１０Ａ及び赤外線光源２２０Ａの少なくとも一方の照射範囲の制御を行う制御部に対応する。
　処理部１００は、撮像部（カメラ５１）の撮像領域において可視光照射部（ヘッドライト２１０Ａ）の可視光（例えば可視光の反射光）が入射される第１領域の位置に関する第１情報と、赤外光照射部（赤外線光源２２０Ａ）の赤外光（例えば赤外光の反射光）が入射される第２領域の位置に関する第２情報とに基づいて、カメラ５１で撮像される画像データに対して第１領域及び第２領域毎に別々の画像信号処理又は信号処理の際に重み付けを可変にした画像信号処理を実行する。第１情報は一例として第１領域の位置を示す情報又は第１領域の位置を特定するための情報である。第２情報は一例として第２領域の位置を示す情報又は第２領域の位置を特定するための情報である。第１領域の位置を特定するための情報は、例えば後述する照明マップにおける可視光の照射領域を示す情報、ヘッドライト２１０Ａに関する情報（設置位置、設置方向）などを含んでもよい。第２領域の位置を特定するための情報は、例えば後述する赤外光用の照明マップ（赤外線光源の照射範囲が可変の場合）における赤外光の照射領域を示す情報、赤外線光源２２０Ａに関する情報（設置位置、設置方向、光源特性情報）などを含んでもよい。
　処理部１００は、照射マップ生成部１１０、照明／カメラ空間マッピング部１２０、ローカルデモザイク部１３０、LTM部１４０、領域指定LTM部１５０、認識処理部１６０、校正処理部１７０、行動計画部６２、動作制御部６３を備える。
　処理部１００の全部又は一部は、図１の車両制御システム１１における運転自動化制御部２９に含まれることができる。AFSランプ配光制御部２１０及び赤外光照射制御部２２０はライト制御部８５に対応し、外部センサ５０はＬｉＤＡＲ５２、レーダ５３、超音波センサ５４等に対応する。また、伝送部２３０はバス４１に対応し、ディスプレイ２４０はHMI３１に対応する。カメラ５１、地図情報蓄積部２３、車両センサ２７は、それぞれ図１に示される同一名称の構成要素に対応する。
　処理部１００を含む情報処理装置を構成してもよい。この場合、情報処理装置は、外部認識センサ２５からセンシングデータ（検出信号）を取得する第１取得部と、車両センサ２７から運転者の操舵情報を取得する第２取得部と、地図情報蓄積部２３から地図情報を取得する第３取得部とを備えていてもよい。
　地図情報蓄積部２３は、車両１の走行し得る環境の地図情報を蓄積する。地図情報は、３次元の高精度地図、あるいは、高精度地図より精度が低くかつ広いエリアをカバーするグローバルマップ等でもよい。地図情報蓄積部２３の詳細は前述した通りである。
　車両センサ２７は、車両１の状態を検出するための前述した各種のセンサを備え、例えば、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、慣性計測装置（ＩＭＵ（Inertial Measurement Unit））、操舵角センサ、ヨーレートセンサ、アクセルセンサ、ブレーキセンサのうちの少なくとも１つを備えてもよい。車両センサ２７の詳細は前述したため省略する。
　外部センサ５０は、車両１の外部の状況を検出するセンサであり、例えば、前述したＬｉＤＡＲ５２、レーダ５３、超音波センサ５４のうちの少なくとも1つに対応する。これらのセンサの詳細は前述したため省略する。外部センサ５０は車両１の外部の状況を検出できる限り、ここに挙げたセンサ以外のセンサを含んでもよい。例えば外部センサ５０は、周囲の音を検出するマイクを含んでいてもよい。
　カメラ５１は、可視光及び赤外光の両方を撮像可能なカメラである。可視光にはヘッドライト２１０Ａから照射された可視光の反射光、及び、太陽光や街灯などの光（環境光）などが含まれる。
　カメラ５１は、R（赤）用の画素（以下、R画素）、G（緑）用の画素（以下、G画素）、B（青）用の画素（以下、B画素）に加えて、赤外光用の画素（IR画素と呼ぶ）を含む４つの種類の画素が所定の配列でアレー状に配置された撮像領域を有するカメラ（RGB-IRカメラ）である。
　図４は、撮像領域の一部の例を示す。R画素、G画素、B画素、IR画素の４種類の画素が配置されている。所定の配列でアレー状に配置されている。
　但し、カメラ５１はRGB－IRカメラに限定されず、例えば、撮像領域にR画素、G画素、B画素が配置されるとともにR画素、G画素、B画素のうちの少なくとも１つが赤外光に感度を有するカメラであってもよい。例えばB画素が赤外光に感度を有していてもよい。この場合、画像処理において当該画素の撮像信号からB信号と赤外光信号とをフィルタにより分離すればよい。その他RGB以外にも補色など異なる組み合わせのカラーフィルタ用いることも可能であるが、代表的処理としてRGBフィルタで説明する。
　カメラ５１の他の例として、RGB用の可視光カメラと、赤外光用のカメラとの２つのカメラを用いることも排除されない。
　照射マップ生成部１１０は、車両１のヘッドライト２１０Ａから照射可能な範囲のうち照射すべき領域（又は方向）を示す照射マップ（第１マップ）を生成する。照射マップは例えば２次元の座標系で表すことができる。照射マップは、ヘッドライト２１０Ａ（可視光照射部）の照射可能な範囲のうち照射すべき領域を示す第１マップに対応する。例えば対向車の運転手の目に光が入ってまぶしくなるのを回避したり、前方車両の運転手がバックミラーやサイドミラーで反射する光でまぶしくなるのを回避したりするように、これら対向車や前方車両等への照射を抑えた、ヘッドライト２１０Ａの照射領域を決定する。そして、決定した照射領域を示すように照射マップを生成又は更新する。照射マップの形式は、例えば照射可能な方向の全体をグリッド状に分割して、グリッドごとの照射の有無を示したグリッドマップを座標系として用いることができる。
　例えば、照射マップ生成部１１０は、地図情報蓄積部２３の地図情報、車両センサ２７の操舵情報等、外部センサ５０のセンシングデータを用いて、道路、対向車、前方車、道路標識等を検出して、車両１の走行環境を把握するとともに、車両１の進行方向を決定する。これら走行環境及び進行方向等から、ヘッドライト２１０Ａの照射領域を決定する。照射マップ生成部１１０は、さらに後述する認識処理部１６０の認識結果を照射領域の決定に用いてもよい。照射マップ生成部１１０は、生成した照射マップ（グリッドマップ）をAFSランプ配光制御部２１０に送るとともに、照明／カメラ空間マッピング部１２０に送る。
　AFSランプ配光制御部２１０は、照射マップに基づきヘッドライト２１０Ａを制御し、可視光の照射を行う。これにより照射マップに示される領域に光が照射（投光）される。
　赤外光照射制御部２２０は、赤外線光源２２０Ａを制御することで、赤外光を照射させる。本実施形態では一例として、赤外光を照射する方向と範囲（赤外光の照明配光分布）が予め決められている。赤外光照射制御部２２０は、当該方向に赤外光を常時照射するように制御している。例えば、AFSランプ配光制御部２１０でヘッドライト２１０Ａの選択的照射が行われる際、通常、車両１の前方に向かって下方向又は車両１から近距離の領域の方向に照射が行われることが多い。このことから通常、正面方向又は遠方領域の方向に赤外光の照射方向が定められていている。但し、赤外光を常時照射するのではなく、赤外光の照射する条件が満たされている場合のみ、赤外光を照射するようにしてもよい。例えば、照射マップ生成部１１０が照度センサ（外部センサ５０）で車両１の周囲の環境の明るさを検出し、明るさが閾値未満の場合のみ赤外光を照射するように赤外光照射制御部２２０に指示データを送ってもよい。あるいは、AFSランプ配光制御部２１０によりヘッドライト２１０Ａが照射するよう制御されている時間帯のみ、赤外線光源２２０Ａから赤外光を照射するよう照射マップ生成部１１０が赤外光照射制御部２２０に指示データを送ってもよい。
　別の例として、赤外線光源２２０Ａの照射範囲又は方向が制御可能であってもよい。照射マップ生成部１１０が、当該範囲内において赤外光の照射領域を決定し、決定した領域を示すように赤外用の照射マップ（第２マップ）を生成又は更新し、赤外光照射制御部２２０に送る。赤外光照射制御部２２０は、赤外用の照射マップに基づき、赤外線光源２２０Ａを制御することで、赤外光を、指定された領域に照射する。この場合、赤外光照射制御部２２０は、受け取った当該指示データに基づき、赤外線光源２２０Ａの照射範囲を制御してもよい。赤外用の照射マップは、赤外線光源２２０Ａ（赤外光照射部）の照射可能な範囲のうち照射すべき領域を示す座標系を有する第２マップに対応する。以下では主として赤外線光源２２０Ａの照射範囲（照射領域）は固定である場合を想定する。
　図５は、ヘッドライト２１０Ａの照射マップに従って照射された領域３２０と、赤外線光源２２０Ａによって照射された領域３１０が模式的に示された例を示す。また図５にはカメラの視野角３００も示されている。
　照明／カメラ空間マッピング部１２０は、カメラ５１に関する情報と、赤外光光源２２０Ａに関する情報と、ヘッドライト２１０Ａに関する情報と、可視光の照射マップ（第１マップ）が示す可視光の照射の領域とに基づき、カメラ５１の座標系（画像データの座標系）において、ヘッドライト２１０Ａの可視光が入射される領域と、赤外線光源２２０Ａからの赤外光が入射される領域をマッピングする。この際、ヘッドライト２１０Ａで照射される対象物までの距離をさらに用いてマッピングをしてもよい。照明／カメラ空間マッピング部１２０は、マッピングの情報をローカルデモザイク部130及びLTM部１４０に送る。
　上記カメラ５１に関する情報は、一例として、例えばカメラ５１の設置位置及び設置方向などカメラ５１の外部パラメータ及び内部パラメータを含む。赤外光光源２２０Ａに関する情報は、一例として赤外光光源２２０Ａの照射範囲、赤外光照明配光情報、設置位置及び設置方向を含む。ヘッドライト２１０Ａに関する情報は、一例としてヘッドライト２１０Aの照射範囲、可視光照明配光情報、設置位置及び設置方向を含む。カメラ５１の座標系は、画像データの座標系又はカメラ視野角フレームとも呼ばれる。
　カメラ５１の撮像領域において、ヘッドライト２１０Ａから可視光が入射される（マッピングされる）領域はヘッドライト入射領域、赤外線光源２２０Ａからの赤外光が入射される（マッピングされる）領域は赤外光入射領域と称する。赤外光入射領域とヘッドライト入射領域とは一部において重複し得る。
　ヘッドライト入射領域及び赤外光入射領域以外の領域は、環境光の直接光又は環境光の反射光が入射される領域に対応する。例えば、他の車両のヘッドライトや街灯などからの光が入射される領域である。この領域は、環境光入射領域と称する。なお、処理部１００は、外部センサ５０のセンサデータ等を用いて、ヘッドライトの照射領域及び赤外光の照射領域に存在する物体を検出し、物体の形状や物体までの距離等の情報を利用して、ヘッドライト入射領域、赤外光入射領域及び環境光入射領域のうちのいずれか１つを推定してもよい。
　図６は、カメラの座標系３０１（カメラ視野角フレーム）に、赤外光入射領域３１１とヘッドライト入射領域３２１とをマッピングした例を示す。フレーム内の領域のうち赤外光入射領域３１１とヘッドライト入射領域３２１以外の領域が環境光入射領域３３１に対応する。
　カメラ５１は、R画素、G画素、B画素及びIR画素との４種類の画素が所定の配列でアレー状に配置された撮像領域（センサー領域）を有する。カメラ５１は、撮像領域におけるこれら各画素の検出信号を一定時間間隔で取得し、検出信号のデータを、撮像画像（ＲＡＷデータ）としてローカルデモザイク部１３０に出力する。
　ローカルデモザイク部１３０は、撮像画像に対してヘッドライト入射領域の位置に関する情報（第１情報）と、赤外光入射領域の位置に関する情報（第２情報）と、環境光入射領域の位置に関する情報（第３情報）を利用して、領域分割を行い、領域ごとにデモザイク処理を行う。第１情報～第３情報は上記のマッピングの情報から得てもよい。これにより領域ごとに、領域内の全画素（R画素、G画素、B画素及びIR画素）のそれぞれについて、R成分の値（R値）、G成分の値（G値）、B成分の値（B値）、IR成分の値（IR値）を決定又は推定する。
　例えば赤外光入射領域について、任意の着目画素について、周囲の画素群の画素値を利用して、自画素の色以外の色について画素値（成分値）を推定する。例えば着目画素がR画素であれば、周囲の画素群（G画素、B画素、IR画素）のそれぞれの画素値を用いて補間により着目画素におけるG値と、B値と、IR値を算出する。着目画素がIR画素、G画素又はB画素の場合についても同様にして、着目画素の周囲の他の色（IRを含む）の画素群の画素値を用いた補間により自画素について自画素の色以外の色の成分値を決定する。なお、ここでは自画素の色の成分値は自画素の色の成分値をそのまま用いることとしたが、自画素の色の成分値についても周囲の当該色の画素の画素値を使って補間により算出してもよい。
　ヘッドライト入射領域についても同様にして自領域内の画素群の画素値を用いて、領域単位のローカルデモザイク処理を行う。さらに、環境光入射領域についても同様にして自領域内の画素群の画素値を用いて、領域単位のローカルデモザイク処理を行う。但し、ヘッドライト入射領域と環境光入射領域とを同じ種類の領域（可視光が支配的な領域）として扱って、これらの領域をまとめて１つの領域としてデモザイク処理を行ってもよい。
　領域ごとのデモザイク処理を行うことで、他の領域の画素の画素値が補間処理で用いられることを抑制し又は防ぎ、これにより例えば、領域の境界において、赤外照明光に起因して強調される偽色の改善、対象物輪郭に発生するジャギー抑制が可能となる。もし仮に赤外光入射領域内の境界付近の画素（着目画素）についてヘッドライト入射領域の画素値が補間処理に用いられると、ヘッドライト入射領域内のIR画素の画素値（IR成分）は低いと想定されることから、着目画素のIR値も補間処理により低く算出されうる。このため境界付近の画質が低下する可能性がある。赤外光入射領域のデモザイク処理を他の領域とは独立して単独で行うことで、このような画質の劣化が抑制されうる。
　赤外光入射領域とヘッドライト入射領域とが重なる領域がある場合においては、重なる領域の画素について、赤外光入射領域とヘッドライト入射領域のそれぞれの演算結果（画素値）の重み和を計算してもよい。領域ごとの重みの比率は事前に決めておいてもよい。また、重みは、色（R、G、B、IR）ごとに変えてもよい。
　例えば、重なる領域における各画素のIR値については赤外光入射領域の重みを大きく、ヘッドライト入射領域の重みを小さくして重み加算を計算してもよい。例えば赤外光入射領域の重みα１とヘッドライト入射領域の重みα２の比率に関して、α１を１又は１に近い値とし、α２を０又は０に近い値としてもよいし、０．５：０．５など均等な比率としてもよい。また重なる領域における各画素のR値、G値、B値については赤外光入射領域の重みを小さく、ヘッドライト入射領域の重みを大きくして重み加算を計算してもよい。α２を１又は１に近い値とし、α１を０又は０に近い値としてもよいし、０．５：０．５など均等な比率としてもよい。
　ここでは領域ごとの重みを事前に決めておく例を示したが、精度の高い（正答率の高い）認識結果が得られるようフィードバック処理により領域ごとの重みを車両の走行中に適宜、更新してもよい。
　さらに、その他の例として、上記重なる領域内の画素単位の位置に応じて領域間の重みを変えることも排除されない。
　デモザイク処理は、ヘッドライト入射領域と、赤外光入射領域と、環境光入射領域のそれぞれで異なるアルゴリズムを用いてもよいし、これらの領域すべてに共通して同じアルゴリズムを用いてもよい。領域ごとに独立してデモザイク処理を行うのであれば、アルゴリズムが同じか否かは問わない。
　デモザイク処理の前に、ヘッドライト入射領域と、赤外光入射領域と、環境光入射領域との情報を利用して、領域ごとにホワイトバランス処理を行ってもよい。領域ごとのホワイトバランス処理を行うことで、領域の境界又は重なる領域においても、赤外照明光に起因して強調される偽色の改善、対象物輪郭に発生するジャギー抑制が一層可能となる。複数の異なる光源（赤外線光源、ヘッドライトなど）からの光が当たっている被写体に対して領域を分割せずにフレーム内一律にホワイトバランス処理を行った場合、光源毎の影響を打ち消すことができないためホワイトバランスがずれる領域が発生する可能性がある。そこで、本開示のように、領域ごとにホワイトバランス処理を行うことで全ての領域でそれぞれ白を合わせられるため、白線や標識などの認識率があがることが期待される。
　上述のデモザイク処理において赤外光入射領域のカメラフレームへのマッピングに誤差があり得ることを考慮して、画像データにおける赤外光入射領域の境界を外側に一定幅拡張し、拡張後の赤外光入射領域を対象に、領域単位のデモザイク処理を行ってもよい。限られた画素配置からそれぞれの光源照射対象の領域に最適な現像処理を行う事で各領域内の高品質は画像取得が可能となる一方で、それら境界で際立った変化が生じると、観察者やセマンティックセグメンテーション等の画像信号処理で対象物の境界領域として誤認識をされたり、注意誘因作用で不用意な注意を観察にもたらしたりする。そこで、その回避策として推定光源領域の境界においてはカメラ画像処理後の適用型画像現像で生成された領域毎の境界部では画像のなだらかな連続性を持たせるために領域毎の着目領域の画像のブレンド率を１００％から0％に変化させ、周囲領域の画像へ引きつぐ事で、境界領域で生じえる不自然さを控えることが出来る。なお、領域毎に個別最適な現像処理をしても、カメラ出力の後段で行う画像認識処理により、光源推定が領域毎に異なることで後段の自動認識処理の検出精度が低下する事も想定される。そこで、利用用途に応じて領域毎のブレンド適用率の情報又は光源推定情報も画像のデータと合わせて出力する事で、白線と黄色線、青線、緑領域といった各国法規に準ずる判定を正確に割り出す事をして検出精度をあげるようにしてもよい。
　図７は、赤外光入射領域３１１の周囲を拡張して領域３１１Ａとした例を示す。領域３１１Ａを対象にデモザイク処理を行う。この方法によれば、仮に赤外光入射領域の位置に誤差がない場合には赤外光入射領域の境界付近の画質が低下し得るが、拡張することで全体として多少の誤差があった場合でも、画質を一定に保持でき得る。
　LTM部１４０は、領域単位のデモザイク処理後の画像データを入力画像としてローカルトーンマッピング（LTM）を行う。LTMは、入力画像全体に一様に輝度変換を行うグローバルトーンマッピングに対して、局所的にコントラストを調整することで、画像全体としてのダイナミックレンジを拡張する技術である。LTMを行うことで、局所毎に適したダイナミックレンジの設定が可能となり、画像のテクスチャ等の情報やコントラストを維持したまま輝度変換ができる。
　LTM部１４０は、入力画像における全画素のRGB値を含む画像を対象にLTMを行うことで、表示用の画像データ（カラー画像データ）を生成する。この際、照明／カメラ空間マッピング部１２０のマッピングの情報を用いて、ヘッドライト入射領域と赤外光入射領域と環境光入射領域とを識別することで、入力画像におけるシーンの識別を正しく行い、高画質な画像データを得ることもできる。LTM１４０は、生成した画像データを、伝送部２３０に送る。
　あるいは、LTM部１４０は、入力画像における全画素のIR値を含む画像を対象にLTMを行ってグレースケール画像を生成してもよい。この際、照明／カメラ空間マッピング部１２０のマッピングの情報を用いて、ヘッドライト入射領域と赤外光入射領域と環境光入射領域を識別してLTMを行ってよい。LTM部１４０は、IR値を含む画像のLTM後の画像データを、上記RGB値を含む画像のLTM後の画像データと合成して、表示用の画像データを生成してもよい。合成は、例えば赤外光入射領域ではIRのLTM後の画像データを使い、その他の領域では、RGB値を含む画像のLTM後の画像データを使ってもよい。これにより赤外光入射領域はグレースケール画像となるものの夜間等においても赤外光入射領域で高いコントラストの画像が得られ、全体としてもコントラストの高い表示画像を取得でき得る。LTM１４０は、生成した画像データを、伝送部２３０に送る。なお、ヘッドライト入射領域と赤外光入射領域が重なる領域においてはいずれか一方の画像データを選択してもよい。例えば、車両１の外部の環境が明るい場合は（昼間の場合）、RGB値を含む画像のLTM後の画像データを選択し、外部の環境が暗い場合は（夜間の場合）、IR値を含む画像のLTM後の画像データを選択してもよい。
　伝送部２３０はLTM１４０から受けた画像データを、ディスプレイに２４０に送り、ディスプレイ２４０は、画像データが表す画像を画面に表示する。前述したように、偽色の改善、対象物輪郭に発生するジャギー抑制がなされた画像が表示される。
　領域指定LTM部１５０は、ローカルデモザイク後の画像データに基づき、ヘッドライト入射領域と赤外光入射領域と環境光入射領域とのそれぞれ領域別に独立してローカルトーンマッピング（LTM）を行う。
　一例として赤外光入射領域を対象に、当該領域に含まれる全画素のIR値を含む画像にLTMを行う。赤外光入射領域を対象に、当該領域に含まれる全画素のRGB値を含む画像にLTMを行う。
　また、ヘッドライト入射領域を対象に、当該領域に含まれる全画素のRGB値を含む画像にLTMを行う。ヘッドライト入射領域を対象に、当該領域に含まれる全画素のIR値を含む画像にLTMを行う。また、環境光入射領域を対象に当該領域に含まれる全画素のRGB値を含む画像にLTMを行う。また、環境光入射領域を対象に当該領域に含まれる全画素のIR値を含む画像にLTMを行う。
　領域別にIR値及びRGB値別にLTMを行う例を示したが、これらのすべてを行わなくてもよい。例えば赤外光入射領域ついてはIR値のLTMのみを行い、ヘッドライト入射領域及び環境光入射領域についてはRGB値のLTMのみを行ってもよい。
　このように領域別にLTMを行うことで、領域ごとに高コントラストな画像が得られる。画像認識を行う際により高精度な認識を可能とする画像が得られる。
　なお、ヘッドライト入射領域と環境光入射領域とをまとめた１つの領域に対して当該領域に含まれる全画素のRGB値を含む画像にLTMを行ってもよい。ヘッドライト入射領域と環境光入射領域とをまとめた１つの領域に対して当該領域に含まれる全画素のIR値を含む画像にLTMを行ってもよい。
　領域指定LTM部１５０は、領域別のLTM後の画像を合成して認識処理用の画像データを生成する。一例として、赤外光入射領域については赤外光入射領域のLTM後のIR値及びRGB値を各画素に含み、ヘッドライト入射領域についてはヘッドライト入射領域のLTM後のRGB値及びIR値を各画素に含み、環境光入射領域については環境光入射領域のLTM後のIR値及びRGB値を各画素に含む、画像データを生成する。ヘッドライト入射領域と赤外光入射領域が重なる領域についてはそれぞれの領域の画素値（IR値、RGB値）の重み和を計算してもよい。処理の詳細は、前述したデモザイク処理と同様でよい。
　領域指定LTM部１５０は、生成した認識処理用の画像データを認識処理部１６０に送る。
　領域指定LTM部１５０は、領域別のLTM後の画像に基づき、表示用の画像データを生成してもよい。表示用の画像データは、一例として赤外光入射領域には赤外光入射領域に対して行ったLTM後のIR値を含む画像を配置し、ヘッドライト入射領域にはヘッドライト入射領域に対して行ったLTM後のRGB値を含む画像を配置し、環境光入射領域には環境光入射領域に対して行ったLTM後のRGB値を含む画像を配置した画像データであってよい。その他の方法で合成を行って表示用の画像データを生成してもよい。
　領域指定LTM部１５０は、生成した画像データを、伝送部２３０を介して、ディスプレイに２４０に送り、ディスプレイ２４０は、画像データが表す画像を画面に表示する。領域指定LTM部１５０が生成した表示用の画像データは、LTM部１４０が生成した画像データに比べて全体としての滑らかさ（自然さ）は低減しうるが、領域別にダイナミックレンジの広い画像が表示される。上記の説明の処理は領域毎に独立した信号処理の説明をしているが、従来公知技術として行わる適用型のローカル・トーン・マッピング同様に異なる照明が当たる境界では輝度の急な変化が生じている場合でもなだらかな繋ぎ処理を行うことで諧調の急峻な変化を無くし、領域単位では視認性の高い画像を表示することができる。これによっても、領域毎の間違った光源の分光推定により生じる偽色の改善、対象物輪郭に発生するジャギー抑制がなされた画像が表示される。
　LTM１４０からの画像データと、領域指定LTM部１５０からの画像データとのうちユーザの指示によりいずれか一方が選択的に表示されてもよいし、両方が表示されてもよい。
　認識処理部１６０では、領域指定LTM部１５０により生成された画像認識用の画像データに基づき認識処理（画像認識）を行う。この際、照明／カメラ空間マッピング部１２０のマッピング情報に基づき、領域ごとの認識処理を行う。一例として、赤外光入射領域におけるIR値の画像に基づき認識処理（グレースケール画像による認識処理）を行い、ヘッドライト入射領域及び環境光入射領域ではRGB値の画像に基づき認識処理（カラー画像による認識処理）を行ってもよい。認識処理により、物体の検出及び認識が行われる。
　他の例として、車両の外部の環境が明るい場合は、赤外光入射領域でRGB値の画像を使ってカラー画像による認識を行ってもよい。
　赤外光入射領域とヘッドライト入射領域が重なる領域では各領域の認識結果を統合して認識結果を取得してもよい。例えば信頼度の値が大きい方の認識結果を採用してもよい。認識処理部１６０は、認識結果を行動計画部６２に送る。
　なお、領域指定LTM１５０は領域ごとのLTM結果の画像データを領域別に認識処理部１６０に送り、認識処理部１６０は、領域ごとのLTM結果の画像データに基づき、領域単位の認識処理を行ってもよい。
　行動計画部６２及び動作制御部６３の動作は図１の説明で記載したため省略する。
　認識処理部１６０は、認識結果を照明／カメラ空間マッピング部１２０に送り、照明／カメラ空間マッピング部１２０における校正処理部１７０が、認識結果に基づき、マッピングの動作を更新してもよい。これによりカメラ座標系におけるヘッドライト入射領域及び赤外光入射領域のマッピングの精度を高めることも期待できる。つまり照明／カメラ空間マッピング部１２０においてマッピングの動作をフィードバック制御により更新してもよい。
　例えば、赤外光入射領域内において認識結果の信頼度が低い領域部分と高い領域部分とがあり、さらに低い領域部分における認識結果の信頼度が閾値より低い場合は、高い領域部分の方向に赤外光入射領域をシフトするように調整を行ってもよい。このケースは低い領域部分には実際には赤外光が入射されていないのにも拘わらず、赤外光の入射領域として処理（デモザイク処理、領域指定LTM等）を行った可能性があると考えられるためである。赤外光入射領域内の認識結果の信頼度の平均値が一定値以上であれば、更新は不要と決定してもよい。その他の方法で更新を行ってもよい。
　以下、上述した情報処理システム１０００においてヘッドライト入射領域及び赤外光入射領域の推定の精度を高める手法について説明する。以下では、主としてヘッドライト入射領域の場合を例に説明するが、赤外光照射領域の場合についても同様の手法が適用できる。
　ヘッドライト２１０Ａと、カメラ５１（ここでは、車両の前方に設けられているカメラを想定）とは、通常、車両１の異なる位置に設置される。仮にステレオカメラに例えて、カメラ５１を一方のカメラ、ヘッドライト２１０Ａを他方のカメラと見立てた場合、ステレオカメラで言うところのカメラ間の距離に応じた視差に相当するずれが発生する。このずれの大きさはヘッドライト２１０Ａとカメラ５１との設置位置（より詳細には設置位置の間隔）と、対象物までの距離（カメラ５１から対象物までの距離及びヘッドライト２１０Ａから対象物までの距離）に依存して決まる。さらに対象物に対するヘッドライト２１０Ａ及びカメラ５１の設置方向にも依存し得る。
　すなわち、ステレオカメラでいうところの距離に応じた視差と同様に、ヘッドライト２１０Ａで照射されかつカメラで撮像される対象物までの距離に応じて、視差に相当するずれは決まる。そのため、カメラ５１で撮像される画像における対象物のずれ量を一律に決めて、補正する事が出来ない。
　ここで、ずれ量の精密な補正を行うのであれば、画像に含まれる個々の検出される物体までの距離を算出し、三角測量法に従い、ずれ量を算出して補正する事も出来る。しかしながら、そのためには画像内の全ての対象物までの距離を正確に算出する事が求められ、別途距離マップを生成するために、ＬｉＤＡＲ点群データやその他の距離を算出する技術を併用する必要がある。自動運転に必要な画像認識用途に限れば、緻密なヘッドライト２１０Ａの照射位置の視差に伴う厳密な補正までは必要とせず、当該距離の算出に要する処理負荷を考慮すれば、緻密で詳細な視差（ずれ量）を算出するメリットは少ない。
　とはいえ、カメラ５１とヘッドライト２１０Ａとの設置の向きを全く管理しないままに放置すると、ずれの補正が不確定となり、画像信号処理でヘッドライト２１０Ａのヘッドライト入射領域の推定、すなわち、カメラ座標系へのヘッドライト入射領域のマッピングに基づく処理が意味を成さない状態となり、望ましくない。そこで、カメラ５１及びヘッドライト２１０Ａの向きの校正を行う所謂キャリブレーション処理を定期的、あるいは他機器からのリクエストベースで実行する事が望ましい。このキャリブレーション処理は、ヘッドライト２１０Ａのみならず、他の光源、例えば、赤外線光源２２０Ａについても実行してもよい。
　視差に相当するずれ量を決める要素には、大きく分けて、ヘッドライト２１０Ａとカメラ５１間の設置の位置間隔と、ヘッドライト２１０Ａ及びカメラ５１それぞれの設置向きがある。設置位置間隔については取り付け直し等が生じない限り、通常大幅な変化は発生しない。一方、設置向きに関しては取り付け直しによる変化以外にも、温度による車体の歪み、振動等による進行性経時変化など、変化が起こる要素が多数ありえる。通常、自動運転に関わる前方の認識制御を司る前方のカメラ（フロントセンシングカメラ）の基本的な基準となる方向（方角）は、車両が前方直進運動した際に進む前方の遠方無限点方向である。当該基本的な基準となる方向は、車線逸脱警報や車線維持制御、障害物距離推定の際の画面基準位置など、様々な認識処理で重要なファクターであることから、その向きの定期的な管理等のキャリブレーションは欠かせない。
　このようにカメラ５１の校正は、AFSの仕様有無に関わらず通常、定期的に行われる。そこで、カメラ５１の向きを基準に、ヘッドライト２１０Ａの照射マップにおける無限遠点基準を合わせる為のキャリブレーションを行うのがよい。ここで、ヘッドライト２１０Ａは、ステレオカメラのカメラ校正処理とは異なり画像を捉える事は出来ないが、ヘッドライト２１０Ａの配光を制御するAFSにより特定パターンの投影照射が可能である。とりわけプログラマブルマトリックスパターンを生成可能なヘッドライト２１０ＡのAFSは、例えば円マークや四角マーク、チェッククロスマークなどの特定の描画形状の照射パターンを生成及び照射する事も可能である。よって、カメラ５１がAFSと同期して照射パターンを撮像することで、校正処理を実行できる。
　照射パターンは、一つ以上の方向を確定可能であり、かつ、カメラ５１により撮像された画像に境界ニジミが有っても特徴となる座標が正確に読み取れるパターンが望ましい。特徴となる座標の例として、円の中心座標、チェッククロスマークの交点、などがあり、円やチェッククロスマークなどをパターンとすることもできる。
　このようなAFSを利用した特定パターンの投影照射を利用した無限遠方の基準合わせについて説明する。
　一般の路上空間では、ヘッドライト２１０Ａの照射先に存在するものは様々である。ヘッドライト２１０Ａから近距離で道路からせり上がるような、ヘッドライト２１０Ａに準直角な平面が近距離に存在することもある。一方で、前方に平坦な道路のみが広がり、進行を遮る対象が一切に存在しない状況もある。車両の製造工程等で定まった条件下であれば、照射ターゲットを事前に定めることが出来るが、一旦市場に出た（出荷された）車両に対して定期的に（例えばメンテナンス等で）校正を行う運用は仕組みが整備されないと難しい。
　車両販売店やサービスガレージなどのように一般車両の整備用の機器を一式揃えられていなくとも、校正用の環境条件を決めやすい状況として、高速道路の料金所入り口やガソリンスタンド、充電ステーション（EV（Electric Vehicle）の場合）、高速道路パーキング、サービスエリアが考えられる。基準位置から規定位置・規定距離に設置された校正ターゲット（例えば校正用のパターンが描画されている）を用いて、移動の途中でこれらの場所で手間なく校正シーケンスを実行することも有効である。特に、運転者が意識せず校正の処理を自動で実行されるようにするため、校正用のパターンが描画された専用レーンを、一時的に自動車を通過させるようにしてもよい。
　図８は、校正処理部１７０により制御される校正処理の動作の一例のフローチャートである。
　校正処理部１７０は、車両の走行中又は停止中、ＬｉＤＡＲ５２、レーダ５３及びカメラ５１等の少なくとも１つに基づき、校正用の照射ターゲットを検出する。あるいは、他の機器から照射ターゲットの位置及び方向を示す情報を取得してもよい(Ｓ１０１)。なおカメラ５１の画像を使用する場合、使用するカメラ５１の画像は、照明／カメラ空間マッピング部１２０のマッピングの情報を用いずに、従来のデモザイク処理及び従来のLTM処理を行ったものを用いればよい。但し、画像データは、カメラ５１からローカルデモザイク部１３０及びLTM部１４０の処理を経由して取得される場合、あるいは、カメラ５１からローカルデモザイク部１３０及び領域指定LTM部１５０の処理を経由して取得される場合もあり得る。
　校正処理部１７０は、カメラ５１との連動を設定するとともに、照射用のチェックパターンを生成する（Ｓ１０２）。チェックパターンは、AFSランプ配光制御部２１０の照射マップ（グリッド座標）に関連付けられる。つまり、校正処理部１７０は、照明マップが定める範囲において、チェックパターン（特定パターン）が照射される領域を決定し、決定した領域を示すように照明マップを更新し、校正処理部１７０は、AFSランプ配光制御部２１０にこの照明マップに基づき、チェックパターンを照射ターゲットに照射するよう指示する。
　図９は、照射したチェックパターン（クロスチェックパターン）の例をAFSランプ配光制御部２１０のグリッド座標系（照射マップ）において示す。点４０１（実線の十字の交点）は、AFSランプ配光制御部２１０で認識しているAFSグリッド基準座標原点（∞）、すなわちAFSランプ配光制御部２１０で認識している無限遠方向に対応すると認識している点（第２基準位置）である。
　点４０２（破線の十字の交点）は、真の無限遠方向（第１基準方向）に対応する点（位置）である。点４０１と点４０２とは照射グリッド座標系の縦軸方向（紙面に平行な縦方向）にΔφだけ、ずれている。横軸方向についても同様にずれがある。つまり照明マップの基準位置（第２基準位置）は、実際には真の無限遠方向とは異なる方向（第２基準方向）に対応している。
　照射されたクロスチェックパターンは、互いに斜め方向に配置されかつ頂点同士が接続した２つの矩形の組からなるクロスチェックが２つであり、それぞれクロスチェックＬ１、Ｌ２と記載される。各クロスチェックにおいて、２つの矩形の頂点同士の接続されている箇所は交点とも呼ぶ。
　クロスチェックＬ１は、点４０１に対して縦軸下方向に距離φ１だけ離れて位置している。クロスチェックＬ２は、点４０１に対して照射グリッド座標系の縦軸下方向に距離φ２だけ離れて位置している。またクロスチェックＬ１、Ｌ２はそれぞれ点４０１に対して横軸左方向に同じ距離だけ離れて位置している。
　校正処理部１７０は、車両１の前方にAFSランプ配光制御部２１０の制御によってヘッドライト２１０Ａから照射されたチェックパターンの反射光から照射ターゲットを含む画像を表す画像データをカメラ５１から取得する（Ｓ１０３）。
　図１０は、カメラ５１から取得された画像データにおけるクロスチェックＰ１、Ｐ２を示す。クロスチェックＰ１は、AFSランプ配光制御部２１０の制御によりヘッドライト２１０Ａから照射されたクロスチェックＬ１に対応する画像であり、クロスチェックＰ２はヘッドライト２１０Ａから照射されたクロスチェックＬ２に対応する画像である。点４０３（実線の十字の交点）は、画像座標系において無限遠方向（第１基準方向）に対応する点（第１基準位置）である。カメラ５１は定期的なキャリブレーション等が行われることで無限遠方向の校正が行われており、点４０３の位置は正しいとする。クロスチェックＰ１は、点４０３から縦軸下方向に距離ｘ１だけ離れており、クロスチェックＰ２は、点４０３から縦軸下方向に距離ｘ２だけ離れている。またクロスチェックＰ１、Ｐ２は、それぞれ点４０３に対して横軸右方向に同じ距離だけ離れている。
　校正処理部１７０は、画像データからチェックパターンの特徴点（図１０の例ではクロスチェックＰ１の交点（クロスポイント）、クロスチェックＰ２の交点）を特定し（Ｓ１０４）、特定した特徴点の情報を、各チェックパターンの上記第１基準位置に対する位置関係の情報として読み出す。つまり、位置関係の情報は、点４０３（第１基準位置）と、各チェックパターン（特定パターン）との位置関係の情報を含んでいる。またグリッド座標系（照明マップ）における第２基準位置（真の無限遠方向とは異なる方向（第２基準方向）に対応する位置）とチェックパターンの照射領域との位置関係とを特定する。特定した位置関係と、上記の位置関係の情報とに基づき、無限遠方向の差分Δφ（図９参照）を算出する（Ｓ１０５）。
　図１１は、無限遠方向の差分Δφの算出例を示す。横軸をφ、縦軸をｘとする座標系に、点（φ１、ｘ１）、（φ２、ｘ２）をそれぞれマッピングし、これらの点を通過する直線を算出する。直線と、横軸が交差した点Ｊ１と原点との距離を、差分Δφとして算出する。この例では、線形変化から外挿により差分Δφを算出している。カメラ５１が中心射影のレンズで、かつAFSランプ配光制御部２１０の投影指示の座標がカメラ５１と同じく中心射影の逆投影と見做して説明している。但し、レンズの射影方式は中心射影に限定するものではない。
　ここでは縦軸方向の差分を算出する例を示したが、横軸方向についても同様にして無限点方向の差分を算出できる。
　上記の校正処理は、カメラ５１等の向きの変化を伴う事象が発生した都度、前述した校正処理を実施する事が望ましい。カメラ５１とヘッドライト２１０Ａ間の距離は概ね、取り付け配置を機械的に変更しない限り、変わることはない。他方で、カメラ５１やヘッドライト２１０Ａ取り付けの角度（方向）は車体の歪みや衝撃、取り付け方など多様な条件で容易にずれることが予想される。この校正処理は、先ずは車両として出荷に先立ち製造が完了した時点で行うのが望まし。また設置の向きは車体にねじれや取り付けのズレ、温度歪など様々な要素で変化しえるため、とりわけ基準となる無限遠方角の校正処理を定期的に実施が望ましい。
　このようにカメラ５１の無限遠方向（無限遠方点）とAFSランプ配光制御部２１０の無限遠方向（無限遠方点）が定まると、照明／カメラ空間マッピング部１２０では、遠方対象物の照射領域について、AFSランプ配光制御部２１０の照射グリッドマップ（照射マップ）のデータを参照する事で、カメラ５１で撮像した画像において上記照射領域に対応する領域の推定（つまりヘッドライト２１０Ａから照射された光の反射光が入射する領域がカメラ座標系においてどの領域に対応するかの推定）をより正確に行う事が出来るようになる。
　なお、日出時間や日没等の自然光や街灯光が入り混じった環境光がある環境では、AFSでヘッドライト２１０Ａからの光が入射されていない画像内の領域から推定される環境光の明るさ、及び、車両自体が外部受光素子等で検出した環境光を元に、光源（ヘッドライト２１０Ａ、環境光の光源）毎の重み付処理をすることで、カメラ５１が捉える領域毎の分光特性推定（カメラ５１の画像におけるヘッドライト入射領域及び自然光入射領域の推定）を行ってもよい。
　カメラ５１とAFSの無限遠方向の校正以外では、前述したようにヘッドライト照射（光源照射）とカメラ５１の取り込み画像とで、ヘッドライト２１０Ａとカメラ５１の設置間隔とそれぞれから対象物までの距離に依存して視差に相当する方向ずれが生じる。対象物までの距離をカメラ５１自体で認識しているか、あるいは他機器から距離を取得して、三角法に基づきずれ量を推定して、AFSが照射する領域のグリッドマップである照射マップを補正してもよい。
　しかし、画素単位で光源ずれ（方向ずれ）を全て演算するのは処理負荷が重いことから効果的でない。
　ここでAFSによるヘッドライト２１０Ａからの光は塊として閉じた集合領域として照射され、同一光源（ヘッドライト２１０Ａ）の照射による領域は広がりもって分布し、照射の対象物までの距離に応じて、当該対象物の領域の視差分だけ決まった方向性をもってシフトする。また、画像からの領域抽出技術は様々開発されており、例えば、電話会議等でカメラの前で自室から参加しながら背景と顔領域を切り分け、背景画像に別の画像で置き換える技術が広く知られている。
　そこで、本開示でも、同様に、領域抽出技術を用いて、取り込み画像に対するヘッドライト入射領域（AFSの可視光入射領域）の特定を、AFSの照射グリッドマップ（照射マップ）を基準にして行い、視差によって生じた領域移動を補うためにセグメンテーション切り出しを行い、セグメンテーションで得られた境界移動方向性の情報（視差に応じた移動の発生方向と移動量）を条件として照明／カメラ空間マッピング部１２０に設定することで、領域推定の精度（マッピングの精度）を向上させることが出来る。このような領域特定の精度の向上のための処理（マッピング用情報の設定）を校正処理部１７０の制御により行う。
　なお、今後のAFSの技術開発の進化度合いに応じて、道路標識に対する照射など、より限定した精密照射が可能となることも想定され、カメラ５１の取り込み画像との視差を考慮して照射マップの制御又はAFSによる照射の制御するように進化するケースも今後想定される。その様な制御を厳密に実行可能なケースでは、上記のシフト移動推定により簡易的な推定をする代わりに、補正データを照射マップ（AFSの照射方角情報）とともに照明／カメラ空間マッピング部１２０に渡す事で、カメラ５１の画像内におけるヘッドライト照射領の域推定（AFS光源の適用領域推定）の更新を行ってもよい。なお、メリットが少ないことから、センシング用の画像認識用途に限れば、それほど厳密な補正処理は必要としない。ヘッドライト２１０Ａで対象物を照射する際に、照射された領域の境界は通常なだらかに減衰され、対象物に対する照射の厳密な一致制御は必要としない。とはいえ、視差の影響を全く考慮しないと、顕著な視差のずれで、後段での領域判定や不自然な画像処理につながり得るため、回避することが望まれる。
　ヘッドライト２１０Ａとカメラ５１が離れた位置に搭載されることで視差に相当オフセットが生じる。すなわち、図１２に示すように、ヘッドライト２１０Ａとカメラ５１との視野角の原点が基線長Dだけ離れた位置に設置される。このため、その影響を受けてカメラ５１の視野角の方向とAFSのヘッドライト２１０Ａの方向とが一致していても、（無限遠に存在するのではない）対象物OB1を含む、カメラ５１の取り込み画像では、ヘッドライト２１０Ａの入射領域のずれ（とりわけその境界で）が生じる。対象物OB２についても同様にカメラ５１の取り込み画像では、ヘッドライト２１０Ａの入射領域のずれが生じる。そのずれはその照射される対象物（＝ライトを遮り反射する立地物）OB1、OB２迄の距離L、2L（2LはLの２倍）に依存する。図１３に示すように、カメラ５１の取り込み画像において、距離Lでの照射領域４１１と、距離2Lでの照射領域４１２とのずれ量はその距離L、2Lに逆比例する。つまり距離Lのずれ量の方が、距離2Lのずれ量よりも大きい。
　対象物までの距離を無限遠方と見なせば、校正処理がなされていれば、視差は０（零）でカメラ５１の方向とヘッドライト２１０Ａ（AFS）の照射グリッドマップ（照射マップ）の方向は一致していている事となる。その一方で、対象物が有限の距離にある場合、対象物がヘッドライト２１０Ａで照明された場合、距離に応じて照射領域がカメラ５１とヘッドライト２１０Ａ（AFS）の互いに離れた方向（配置分離方向）に逆比例でずれ量４１０（図１２参照）だけ、ずれて写る。
　つまり、照明光が当たる領域までの距離（Xとする）に応じて想定される指定方向（方角）のずれ量は、1/X倍で変わる事になる。図１２に、対象物OB１、OB２までの距離に応じて想定される指定方向（図に沿って下の方向）におけるずれ量ｈ（L）、ｈ（２L）が示される。その為、遠方（X→∞（無限大））では、1/Xは限りなくずれは小さく（「０」に近く）なり、実質、カメラ５１の方向はAFSのグリッドマップ方向（照射マップの方向）と一致する。
　他方で、走行に伴い照射される対象物に次第に近づくにつれ、同じ遠方方向に見えていた物体、例えば道路脇の歩行者や道路標識といったものに照射されるAFS照射範囲（ヘッドライト２１０Ａの照射範囲）は、対象物までの距離Xに応じて1/X倍に拡大する。
　そのため、AFSによるヘッドライト２１０Ａの照射方角は、有限の距離にある対象物を照らしている状況では、ヘッドライト２１０Ａの照射グリッドマップ（照射マップ）では、この視差の影響だけ基線長側（図に沿って上側）へずらす補正が必要となる。
　運転者が前を見ずに画面を注視すると前方注意が疎かになる事から、運転者は通常、前方カメラの取り込み画像が表示される画面を目視して運転する事はない。前方カメラの用途は、一部ドライブレコーダ等の間接的な目視利用もあるが、主に認識処理（機械認識）等の利用に限られる。AFSによるヘッドライト照射領域の境界輪郭のずれ量を厳密な画素単位で算出して補正することは、コストに対して得られるメリットは少ないことから、画素単位で正確な補正をする必要はない。代わりに、道路標識や歩行の認識のためは、顔表情など適正なデモザイクや色再現調整が望ましい用途もある。そこで有効なのが、走行に伴い無限遠方と見なせない接近対象物をセグメンテーション化して集合領域から分離し、分離した対象物が、走行消失点から次第に離れ、AFSの設置ライト側へ遠ざけるように照射グリッドマップ（照射マップ）のシフト（補正）を行う（障害物や道路標識等の集合体は一つの認識対象として捉えられ、近接していなければその凹凸は物体までの距離に比べて無視できる）。これにより、概ねAFSのヘッドライト照明に応じた適用型画像現像デモザイクや色補正処理を行う事ができる。
　AFSによる可視光照明の方向のコントロール以外に、赤外光の照射に対しても同様な補正処理を行ってもよい。また、この変化は移動に伴う滑らかな推移であるから、走行中に取り込む画像フレームに沿って滑らかに円滑化処理、連続推定処理を行って領域の推定と補正をしてもよい。
　上述したように障害物や道路標識等の集合体は一つの認識対象として捉えられ、近接していなければその凹凸は物体までの距離に比べて無視できるため、車両からの距離が概ね一定と見なし、上記のシフト（補正）の処理に扱う。つまり、車両、歩行者、道路標識といったセグメンテーション化される範囲は、車両から見た距離は凹凸により対象物表面で僅かながら前後の差異はあるものの、概ね１つの集合体として一律にシフトしても大勢に影響はあたえない。
　上述の視差に相当するずれ量は、捉えた対象の（セグメンテーション化した）領域全体に適用し、本来無限遠方角で指定されたグリッドマップにおける領域をシフトして適用する。ここで、検出される対象がどれだけ車の設置カメラ５１の進行方向の光軸からオフセットされているかは事前に分らず、進行に伴う動画の前フレームで検出された領域から推定した領域をシフト先の領域として適用する。例えば、前述した手法、すなわち、その領域が進行に伴い距離Ｘが縮小するのに合わせ、“1／Ｘ”で広がる推定を適用する。なお、対象までの距離の情報は、外部センサ５０（ＬｉＤＡＲ、RADAR、ステレオカメラなど）あるいはＡＩによる単体距離推定等を用いて取得する。本処理を実施する事で、カメラ５１とヘッドライト２１０Ａの配置位置の違いによるAFSの照明領域境界のシフトを含めた領域補正が可能となる。
（他の動作例１）
　上述では主にヘッドライト入射領域を推定する例を示したが、照射範囲が固定の赤外光光源２２０Ａに対しても同様の処理を行うことができる。また、簡易的な方法として、夜間などにおいて、例えば画像データにおいて赤外光の画素値の重心（例えば中心）を算出し、重心から赤外線光源２２の赤外光照明配光情報・サイズ等で定まる一定の範囲を赤外光入射領域（第２領域）としてもよい。照射範囲が固定の赤外線光源２２０Aは基本的に遠方を向いており範囲も大きくないため、走行環境による赤外光入射領域の変動は少ないと考えられるためである。
（他の動作例２）
　上述した実施形態では主として赤外光光源２２０Ａの照射範囲は固定である場合を想定したが、前述したようにヘッドライト２１０Ａと同様に照射範囲が調整可能であってもよい。この場合、前述した実施形態の処理においてヘッドライト及びAFSに関わる処理は、赤外光光源２２０Ａに対しても同様に適用できる。
　例えば、処理部１００の照射マップ生成部１１０は、赤外光光源２２０Ａの照射可能な範囲のうち照射する領域を決定する。例えばヘッドライト２１０Ａで照射されない領域から、照射する領域を決定する。照射マップ生成部１１０は、赤外光光源２２０Ａの照射可能な範囲のうち照射すべき領域を示す座標系を有する第２マップを、当該決定した領域を示すように更新する。ヘッドライト２１０Ａからの照射も行う場合は、第２マップにヘッドライト２１０Ａから照射する領域をさらに示すように第２マップを更新してよい。
　照射マップ生成部１１０は第２マップを赤外光照射制御部２２０及び照明／カメラ空間マッピング部１２０に送る。ヘッドライト２１０Ａの照射も行う場合は、第２マップをAFSランプ配光制御部２１０にも送る。赤外光照射制御部２２０（制御部）は、第２マップに基づき、赤外光光源２２０Ａから赤外光を照射するよう制御する。AFSランプ配光制御部２１０（制御部）は、第２マップに基づき、ヘッドライト２１０Aから可視光を照射するよう制御する。
　また校正処理についてもヘッドライト２１０Aの場合と同様にして赤外線光源２２０Ａに対しても行えばよい。例えばカメラ５１の座標系における基準位置（第１基準位置）は、カメラ５１の遠方無限点方向（第１基準方向）に対応し、上記第２マップの基準位置（第３基準位置）は、赤外光光源２２０Ａの基準方向（第３基準方向）に対応する場合を考える。上述した実施形態と同様の手法で、赤外光光源２２０Ａで特定パターンの画像を照射する領域を決定し、第２マップを決定した特定のパターンの画像の領域を示すように更新し、赤外光照射制御部２２０、第２マップに基づき、赤外光光源２２０Ａから赤外光を照射するよう制御する。処理部１００（校正処理部１７０）は、カメラ５１の画像データから特定パターンを検出し、画像データにおける特定のパターンの位置と第１基準位置との位置関係と、第２マップにおける上記特定パターンの照射領域の位置と前記第３基準位置との位置関係を算出する。算出したこれらの位置関係に基づき、第２マップにおいて上記第１基準方向に対応する位置を特定し、特定した位置に対応する方向に上記第３基準方向を更新する。これにより赤外光光源２２０Ａの第３基準方向をカメラ５１の第１基準方向に一致させる。このように基準方向を一致させることで、カメラ５１の座標系（又は画像データ）において赤外光の入射領域（第２領域）を推定する精度を高めることができる。
　第２領域の推定の方法も、前述した実施形態で説明したヘッドライト入射領域（第１領域）の推定と同様、様々な手法を用いることができる。例えば、照射マップ生成部１１０が赤外光を照射する領域を示すように第２マップを更新し、赤外光照射制御部２２０が第２マップに基づき、赤外線光源２２０Ａから赤外光を照射するよう制御する。照明／カメラ空間マッピング部１２０は、赤外光の照射される対象物までの距離と、第２マップにおける上記照射する領域の位置と、赤外線光源２２０Ａの設置位置／設置方向と、カメラ５１の設置位置／設置方向とに基づき、第２領域を決定（推定）する。その他の推定方法として、カメラ５１の画像データにおいて赤外光の画素値の分布に基づき第２領域を決定してもよい。
（他の動作例３）
　AFSランプ配光制御部２１０は、例えば夜間などにおいて赤外光が入射される第２領域の画像認識に基づき認識処理部１６０で所定の物体が検出された場合、所定の物体を含む領域に対して可視光を照射するようにヘッドライト２１０Ａを制御してもよい。所定の物体は例えば道路標識や文字案内情報がある。可視光で照射した画像をカラー表示することで色再現性を向上させ、運転者に見落とした可能性がある道路標識を確認させることができる。
（他の動作例４）
　以上の例では取り込み画像に於けるAFSによる可視光または赤外光の照射領域の分布が幾何的制約で定まる事をベースにして照明領域を算出し割り出す事としてきたが、照明領域の指定は幾何的制約から算出する方法に限定する必要はない。例えば、人が取り込み画像だけを目視してその画像内でAFSによる補助光があたっている領域を周囲と区別してある程度正しく判別して、その輪郭を描く事が出来るのと同様に、人工知能を用いてAFSや赤外の照明領域を抽出し割り出す学習を行うことを通して照明領域を判別してもよい。または幾何的制約から算出する方法と人工知能を用いて抽出する方法とを組合せる事で領域の検出精度を上げてもよい。　
（応用例）
　カメラ５１が車両後方に設置され、自車両のブレーキランプが光源（赤色の光を発光する光源）となり得る場合、ホワイトバランス処理を行う際に、光源の発光にホワイトバランスが引きずられないようにする処理を行ってもよい。ホワイトバランス処理は光源の色温度を推定して、白い被写体を白く映すために行う補正処理である。しかし、車両後方のカメラ５１で、自動車のブレーキランプを光源として色温度を推定した結果、不自然なホワイトバランスが適用されてしまう可能性がある。そこで、カメラ５１の撮像データにおいて、ブレーキランプが照射されているブレーキランプ入射領域（ブレーキランプからの光の反射光が入射される領域）とそれ以外の領域とに分割して領域ごとにホワイトバランス処理を分割して行ってもよい。ブレーキランプ入射領域ではブレーキランプを光源として色温度を推定し、それ以外の領域では自然光を光源として色温度の推定を行う。これにより、ブレーキランプの赤色を撮像データにおいて保ったまま、周囲の不自然なホワイトバランスを回避することができる。
　ここでは自車両のブレーキランプが光源となる場合を記載したが、前方車両のブレーキランプが光源としての発光が車両前方のカメラ５１に入射される場合も、入射される領域が特定できる場合は、上記と同様にして領域分割によるホワイトバランス処理を行ってもよい。
　以上、本実施形態によればAFSによる可視光照射の反射光が入射される画像データにおける領域と、赤外光照射の反射光が入射される画像データにおける領域との情報とに基づいて、画像データにおける領域毎に局所最適化した画像処理を行うことで、偽色やジャギー輪郭の発生を控え、また道路標識など本来のあるべき色で適切に表示する事で情報の認知を早める等、自動運転に必要な夜間の認識性能を向上させることが出来る。
　また、自動運転の利用走行中の車両が遭遇する各種道路標識には、その場での情報に限らず、進路先のこの先の注意喚起を促す標識も多くある。運転者に引継ぎ（自動運転から手動運転への運転引継ぎ）を要する場合には、該当標識通過後にその内容を後追い運転者へ呈示・告知する事で、引継ぎ後の状況認知を高める必要もある。このことから、自動運転機能搭載車両であっても視認用途の道路標識の画像をより正確な色再現性で運転者に提示し、早期の状況認知を促すことが効果として期待される。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　車両に搭載され、前記車両の所定の方向に向けて可視光を照射する可視光照射部と、
　前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射する赤外光照射部と、
　前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御する制御部と、
　撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成する撮像部と、
　前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する処理部と、
　を備えた情報処理システム。
［項目２］
　前記処理部は、前記可視光照射部の照射可能な範囲のうち照射する領域を決定し、前記可視光照射部の照射可能な範囲のうち照射すべき領域を示す第１マップを前記決定した領域を示すように更新し、
　前記制御部は、前記第１マップに基づき、前記可視光照射部から可視光を照射するよう制御し、
　前記処理部は、前記可視光の照射される対象物までの距離と、前記第１マップにおける前記照射する領域の位置と、前記可視光照射部の設置位置と、前記撮像部の設置位置とに基づき、前記第１領域を決定する、
　項目１に記載の情報処理システム。
［項目３］
　前記撮像部の座標系における第１基準位置は、前記撮像部の第１基準方向に対応し、
　前記第１マップの第２基準位置は、前記可視光照射部の第２基準方向に対応し、
　前記処理部は、前記可視光照射部の照射可能な範囲のうち特定パターンの画像を照射する領域を決定し、前記第１マップを前記決定した特定のパターンの画像の領域を示すように更新し、
　前記制御部は、前記第１マップに基づき、前記可視光照射部から可視光を照射するよう制御し、
　前記処理部は、前記画像データから前記特定パターンを検出し、前記画像データにおける前記特定のパターンの位置と前記第１基準位置との位置関係と、前前記第１マップにおける前記照射する領域の位置と前記第２基準位置との位置関係に基づき、前記第１マップにおいて前記第１基準方向に対応する第３位置を特定し、特定した第３位置に対応する方向に前記第２基準方向を更新することにより、前記可視光照射部の第２基準方向を前記撮像部の第１基準方向に一致させる、
　項目２に記載の情報処理システム。
［項目４］
　前記処理部は、前記赤外光照射部の照射可能な範囲のうち照射する領域を決定し、前記赤外光照射部の照射可能な範囲のうち照射すべき領域を示す第２マップを前記決定した領域を示すように更新し、
　前記制御部は、前記第２マップに基づき、前記赤外光照射部から赤外光を照射するよう制御し、
　前記処理部は、前記赤外光の照射される対象物までの距離と、前記第２マップにおける前記照射する領域の位置と、前記赤外光照射部の設置位置と、前記撮像部の設置位置とに基づき、前記第２領域を決定する、
　項目１～３のいずれか一項に記載の情報処理システム。
［項目５］
　前記撮像部の座標系における第１基準位置は、前記撮像部の第１基準方向に対応し、
　前記第２マップの第３基準位置は、前記赤外光照射部の第３基準方向に対応し、
　前記処理部は、前記赤外光照射部の照射可能な範囲のうち特定パターンの画像を照射する領域を決定し、前記第２マップを前記決定した特定のパターンの画像の領域を示すように更新し、
　前記制御部は、前記第２マップに基づき、前記赤外光照射部から赤外光を照射するよう制御し、
　前記処理部は、前記画像データから前記特定パターンを検出し、前記画像データにおける前記特定のパターンの位置と前記第１基準位置との位置関係と、前前記第２マップにおける前記照射する領域の位置と前記第３基準位置との位置関係に基づき、前記第２マップにおいて前記第１基準方向に対応する位置を特定し、特定した位置に対応する方向に前記第３基準方向を更新することにより、前記赤外光照射部の第３基準方向を前記撮像部の第１基準方向に一致させる、
　項目４に記載の情報処理システム。
［項目６］
　前記処理部は、前記赤外光の画素値の分布に基づき前記第２領域を決定する、
　項目１～５のいずれか一項に記載の情報処理システム。
［項目７］
　前記赤外光照射部の照射範囲は固定されており、前記制御部により前記照射範囲が制御不能である、
　項目１～６のいずれか一項に記載の情報処理システム。
［項目８］
　前記画像データにおいて前記赤外光の画素値の重心を算出し、前記重心に基づき前記第２領域を決定する、
　項目７に記載の情報処理システム。
［項目９］
　前記処理部は、前記第２領域の境界を外側に一定幅拡張し、
　前記処理部は、拡張後の第２領域と前記第１領域毎に別々の前記画像信号処理を行う、
　項目７又は８に記載の情報処理システム。
［項目１０］
　前記処理部は、前記画像データにおいて前記第１領域と前記第２領域とで別々にデモザイク処理を行う、
　項目１～９のいずれか一項に記載の情報処理システム。
［項目１１］
　前記処理部は、前記デザイク処理後の画像データに基づき、前記第１領域と前記第２領域とで別々にローカル・トーン・マッピング処理を行う、
　項目１０に記載の情報処理システム。
［項目１２］
　前記処理部は、前記ローカル・トーン・マッピング処理後の画像データに基づき、画像認識を行う、
　項目１１に記載の情報処理システム。
［項目１３］
　前記処理部は、前記画像認識を、前記ローカル・トーン・マッピング処理後の画像データにおける前記第１領域及び前記第２領域ごとに別々に行う、
　項目１２に記載の情報処理システム。
［項目１４］
　前記処理部は、前記第１領域と前記第２領域とが重なる領域においては前記デモザイク処理の結果の画素値の重み和を計算する、
　項目１０～１３のいずれか一項に記載の情報処理システム。
［項目１５］
　前記処理部は、前記第１領域と前記第２領域とが重なる領域においては前記ローカル・トーン・マッピング処理の結果の画素値の重み和を計算する、
　項目１３に記載の情報処理システム。
［項目１６］
　前記制御部、前記処理部における前記第１領域の画像認識に基づき所定の物体が検出された場合、前記所定の物体を含む領域に対して前記可視光を照射するように前記可視光照射部を制御する、
　項目１３又は１５に記載の情報処理システム。
［項目１７］
　前記所定の物体は、道路標識である、
　項目１６に記載の情報処理システム。
［項目１８］
　前記撮像部は、
　赤用の画素、緑用の画素、青用の画素、及び赤外光用の画素が所定の配列でアレー状に配置された撮像領域を有するカメラ、
　又は、
　赤用の画素、緑用の画素、青用の画素が所定の配列でアレー状に配置され、前記赤用の画素、前記緑用の画素、前記青用の画素のうちの少なくとも１つは赤外光にも感度を有する撮像領域を有するカメラである、
　項目１～１７のいずれか一項に記載の情報処理システム。
［項目１９］
　前記所定の方向は、前記車両の前方又は後方である、
　項目１～１８のいずれか一項に記載の情報処理システム。
［項目２０］
　車両に搭載され、前記車両の所定の方向に向けて可視光を照射し、
　前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射し、
　前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御し、
　撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成し、
　前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する、
　情報処理方法。
１　車両
１１　車両制御システム
２１　車両制御ＥＣＵ（Electronic Control Unit）
２２　通信部
２３　地図情報蓄積部
２４　位置情報取得部
２５　外部認識センサ
２６　車内センサ
２７　車両センサ
２８　記憶部
２９　運転自動化制御部
３０　ドライバモニタリングシステム（ＤＭＳ）
３１　ヒューマンマシーンインタフェース（ＨＭＩ）
３２　車両制御部
４１　通信ネットワーク
５１　カメラ
５２　ＬｉＤＡＲ
５３　レーダ
５４　超音波センサ
６１　認識処理部
６２　行動計画部
６３　動作制御部
８１　ステアリング制御部
８２　ブレーキ制御部
８３　駆動制御部
８４　ボディ系制御部
８５　ライト制御部
８６　ホーン制御部
１００　処理部
１１０　照射マップ生成部
１１０　照射マップ
１２０　カメラ空間マッピング部
１３０　ローカルデモザイク部
１４０　LTM部
１５０　領域指定LTM部
１６０　認識処理部
１７０　校正処理部
２１０　AFSランプ配光制御部
２１０Ａ　ヘッドライト
２２０　赤外光照射制御部
２２０Ａ　赤外線光源
２３０　伝送部
２４０　ディスプレイ
３００　視野角
３０１　座標系
３１０　領域
３１１　赤外光入射領域
３１１Ａ　領域
３２０　領域
３２１　ヘッドライト入射領域
３３１　環境光入射領域
４０１　点
４０２　点
４０３　点
４１０　ずれ量
４１１　照射領域
４１２　照射領域

Claims (20)

  1. 　車両に搭載され、前記車両の所定の方向に向けて可視光を照射する可視光照射部と、
    　前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射する赤外光照射部と、
    　前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御する制御部と、
    　撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成する撮像部と、
    　前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する処理部と、
    　を備えた情報処理システム。
  2. 　前記処理部は、前記可視光照射部の照射可能な範囲のうち照射する領域を決定し、前記可視光照射部の照射可能な範囲のうち照射すべき領域を示す第１マップを前記決定した領域を示すように更新し、
    　前記制御部は、前記第１マップに基づき、前記可視光照射部から可視光を照射するよう制御し、
    　前記処理部は、前記可視光の照射される対象物までの距離と、前記第１マップにおける前記照射する領域の位置と、前記可視光照射部の設置位置と、前記撮像部の設置位置とに基づき、前記第１領域を決定する、
    　請求項１に記載の情報処理システム。
  3. 　前記撮像部の座標系における第１基準位置は、前記撮像部の第１基準方向に対応し、
    　前記第１マップの第２基準位置は、前記可視光照射部の第２基準方向に対応し、
    　前記処理部は、前記可視光照射部の照射可能な範囲のうち特定パターンの画像を照射する領域を決定し、前記第１マップを前記決定した特定のパターンの画像の領域を示すように更新し、
    　前記制御部は、前記第１マップに基づき、前記可視光照射部から可視光を照射するよう制御し、
    　前記処理部は、前記画像データから前記特定パターンを検出し、前記画像データにおける前記特定のパターンの位置と前記第１基準位置との位置関係と、前前記第１マップにおける前記照射する領域の位置と前記第２基準位置との位置関係に基づき、前記第１マップにおいて前記第１基準方向に対応する第３位置を特定し、特定した第３位置に対応する方向に前記第２基準方向を更新することにより、前記可視光照射部の第２基準方向を前記撮像部の第１基準方向に一致させる、
    　請求項２に記載の情報処理システム。
  4. 　前記処理部は、前記赤外光照射部の照射可能な範囲のうち照射する領域を決定し、前記赤外光照射部の照射可能な範囲のうち照射すべき領域を示す第２マップを前記決定した領域を示すように更新し、
    　前記制御部は、前記第２マップに基づき、前記赤外光照射部から赤外光を照射するよう制御し、
    　前記処理部は、前記赤外光の照射される対象物までの距離と、前記第２マップにおける前記照射する領域の位置と、前記赤外光照射部の設置位置と、前記撮像部の設置位置とに基づき、前記第２領域を決定する、
    　請求項１に記載の情報処理システム。
  5. 　前記撮像部の座標系における第１基準位置は、前記撮像部の第１基準方向に対応し、
    　前記第２マップの第３基準位置は、前記赤外光照射部の第３基準方向に対応し、
    　前記処理部は、前記赤外光照射部の照射可能な範囲のうち特定パターンの画像を照射する領域を決定し、前記第２マップを前記決定した特定のパターンの画像の領域を示すように更新し、
    　前記制御部は、前記第２マップに基づき、前記赤外光照射部から赤外光を照射するよう制御し、
    　前記処理部は、前記画像データから前記特定パターンを検出し、前記画像データにおける前記特定のパターンの位置と前記第１基準位置との位置関係と、前前記第２マップにおける前記照射する領域の位置と前記第３基準位置との位置関係に基づき、前記第２マップにおいて前記第１基準方向に対応する位置を特定し、特定した位置に対応する方向に前記第３基準方向を更新することにより、前記赤外光照射部の第３基準方向を前記撮像部の第１基準方向に一致させる、
    　請求項４に記載の情報処理システム。
  6. 　前記処理部は、前記赤外光の画素値の分布に基づき前記第２領域を決定する、
    　請求項１に記載の情報処理システム。
  7. 　前記赤外光照射部の照射範囲は固定されており、前記制御部により前記照射範囲が制御不能である、
    　請求項１に記載の情報処理システム。
  8. 　前記画像データにおいて前記赤外光の画素値の重心を算出し、前記重心に基づき前記第２領域を決定する、
    　請求項７に記載の情報処理システム。
  9. 　前記処理部は、前記第２領域の境界を外側に一定幅拡張し、
    　前記処理部は、拡張後の第２領域と前記第１領域毎に別々の前記画像信号処理を行う、
    　請求項７に記載の情報処理システム。
  10. 　前記処理部は、前記画像データにおいて前記第１領域と前記第２領域とで別々にデモザイク処理を行う、
    　請求項１に記載の情報処理システム。
  11. 　前記処理部は、前記デザイク処理後の画像データに基づき、前記第１領域と前記第２領域とで別々にローカル・トーン・マッピング処理を行う、
    　請求項１０に記載の情報処理システム。
  12. 　前記処理部は、前記ローカル・トーン・マッピング処理後の画像データに基づき、画像認識を行う、
    　請求項１１に記載の情報処理システム。
  13. 　前記処理部は、前記画像認識を、前記ローカル・トーン・マッピング処理後の画像データにおける前記第１領域及び前記第２領域ごとに別々に行う、
    　請求項１２に記載の情報処理システム。
  14. 　前記処理部は、前記第１領域と前記第２領域とが重なる領域においては前記デモザイク処理の結果の画素値の重み和を計算する、
    　請求項１０に記載の情報処理システム。
  15. 　前記処理部は、前記第１領域と前記第２領域とが重なる領域においては前記ローカル・トーン・マッピング処理の結果の画素値の重み和を計算する、
    　請求項１３に記載の情報処理システム。
  16. 　前記制御部、前記処理部における前記第１領域の画像認識に基づき所定の物体が検出された場合、前記所定の物体を含む領域に対して前記可視光を照射するように前記可視光照射部を制御する、
    　請求項１３に記載の情報処理システム。
  17. 　前記所定の物体は、道路標識である、
    　請求項１６に記載の情報処理システム。
  18. 　前記撮像部は、
    　赤用の画素、緑用の画素、青用の画素、及び赤外光用の画素が所定の配列でアレー状に配置された撮像領域を有するカメラ、
    　又は、
    　赤用の画素、緑用の画素、青用の画素が所定の配列でアレー状に配置され、前記赤用の画素、前記緑用の画素、前記青用の画素のうちの少なくとも１つは赤外光にも感度を有する撮像領域を有するカメラである、
    　請求項１１に記載の情報処理システム。
  19. 　前記所定の方向は、前記車両の前方又は後方である、
    　請求項１に記載の情報処理システム。
  20. 　車両に搭載され、前記車両の所定の方向に向けて可視光を照射し、
    　前記車両に搭載され、前記車両の前記所定の方向に向けて赤外光を照射し、
    　前記可視光照射部と前記赤外光照射部とのうちの少なくとも一方の照射範囲を制御し、
    　撮像領域に入射される光に基づき、前記車両の前記所定の方向を撮像して画像データを生成し、
    　前記撮像領域において前記可視光が入射される第１領域の位置に関する第１情報と前記赤外光が入射される第２領域の位置に関する第２情報とに基づいて、前記画像データに対して前記第１領域及び前記第２領域毎に別々の画像信号処理を実行する、
    　情報処理方法。
PCT/JP2025/010086 2024-03-26 2025-03-17 情報処理システム及び情報処理方法 Pending WO2025205129A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-049975 2024-03-26
JP2024049975 2024-03-26

Publications (1)

Publication Number Publication Date
WO2025205129A1 true WO2025205129A1 (ja) 2025-10-02

Family

ID=97218912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/010086 Pending WO2025205129A1 (ja) 2024-03-26 2025-03-17 情報処理システム及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2025205129A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012166652A (ja) * 2011-02-14 2012-09-06 Stanley Electric Co Ltd 車両用前照灯の点灯制御装置、車両用前照灯システム
JP2012228976A (ja) * 2011-04-27 2012-11-22 Denso Corp 車両用前照灯装置
JP2019182256A (ja) * 2018-04-12 2019-10-24 クラリオン株式会社 配光制御装置、投光システム及び配光制御方法
JP2020121615A (ja) * 2019-01-30 2020-08-13 クラリオン株式会社 車両用道路標識認識支援装置
WO2021112094A1 (ja) * 2019-12-04 2021-06-10 株式会社小糸製作所 車両検出装置、車両用灯具システム、車両検出方法、配光制御装置および配光制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012166652A (ja) * 2011-02-14 2012-09-06 Stanley Electric Co Ltd 車両用前照灯の点灯制御装置、車両用前照灯システム
JP2012228976A (ja) * 2011-04-27 2012-11-22 Denso Corp 車両用前照灯装置
JP2019182256A (ja) * 2018-04-12 2019-10-24 クラリオン株式会社 配光制御装置、投光システム及び配光制御方法
JP2020121615A (ja) * 2019-01-30 2020-08-13 クラリオン株式会社 車両用道路標識認識支援装置
WO2021112094A1 (ja) * 2019-12-04 2021-06-10 株式会社小糸製作所 車両検出装置、車両用灯具システム、車両検出方法、配光制御装置および配光制御方法

Similar Documents

Publication Publication Date Title
US10240937B2 (en) Display apparatus for vehicle and vehicle
JPWO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
KR101637882B1 (ko) 차량용 헤드램프 구동장치 및 이를 구비한 차량
US20150350510A1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US20210218875A1 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020116205A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021256411A1 (ja) 信号処理装置、調光制御方法、信号処理プログラム、及び調光システム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US20260100128A1 (en) Information processing device, information processing method, and program
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7585123B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210295563A1 (en) Image processing apparatus, image processing method, and program
KR20180073540A (ko) 자동주차 보조장치 및 이를 포함하는 차량
JP2024085173A (ja) 固体撮像装置及び電子機器
WO2023079881A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20260052319A1 (en) Solid-state imaging device
US20250067875A1 (en) Information processing apparatus, information processing method, and information processing program
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法
US12633133B2 (en) Recognition processing device, recognition processing method, and recognition processing system
US20240386724A1 (en) Recognition processing device, recognition processing method, and recognition processing system
US20260004594A1 (en) Information processing device, information processing method, and information processing system
US20260036435A1 (en) Ar signage display device of vehicle and operation method thereof
US20260014862A1 (en) Ar signage display device of vehicle and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25777354

Country of ref document: EP

Kind code of ref document: A1