WO2019064825A1 - 情報処理装置と情報処理方法および制御装置と画像処理装置 - Google Patents

情報処理装置と情報処理方法および制御装置と画像処理装置 Download PDF

Info

Publication number
WO2019064825A1
WO2019064825A1 PCT/JP2018/026313 JP2018026313W WO2019064825A1 WO 2019064825 A1 WO2019064825 A1 WO 2019064825A1 JP 2018026313 W JP2018026313 W JP 2018026313W WO 2019064825 A1 WO2019064825 A1 WO 2019064825A1
Authority
WO
WIPO (PCT)
Prior art keywords
transmittance
detection unit
fog
captured image
detected
Prior art date
Application number
PCT/JP2018/026313
Other languages
English (en)
French (fr)
Inventor
諭志 河田
神尾　和憲
友希 鴇崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880061348.8A priority Critical patent/CN111148965B/zh
Priority to JP2019544313A priority patent/JPWO2019064825A1/ja
Priority to US16/649,205 priority patent/US11325520B2/en
Priority to EP18863158.4A priority patent/EP3690393B1/en
Publication of WO2019064825A1 publication Critical patent/WO2019064825A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This technology relates to an information processing apparatus, an information processing method, a control apparatus, and an image processing apparatus, and enables accurate detection of transmittance.
  • Non-Patent Document 1 a method described in Non-Patent Document 1 is known as a method of measuring the transmittance from a captured image whose visibility is impaired by haze such as fog or dust.
  • the density of fumes is estimated using the minimum value of R, G, B in a local region called dark channel, and the transmittance is calculated from the estimated density of fumes.
  • permeability is calculated by making the small thing of the dark channel for every pixel and the dark channel of a local area
  • the darkest color channel (dark channel) is used.
  • the pixel value is regarded as the inverse value of the transmittance. Therefore, it is not possible to accurately measure the transmittance in a white or light gray subject region in a captured image.
  • an information processing apparatus including a transmittance detection unit configured to detect the transmittance of fog at the time of imaging of the captured image using the transmittance estimated for each region from the captured image and depth information for each region.
  • the atmospheric scattering coefficient at the time of imaging is calculated based on the logarithmic average value of the whole or a predetermined part of the captured image calculated using the transmittance estimated from the captured image and the average value of the depth indicated by the depth information. calculate. Further, the transmittance of smoke is detected based on the calculated atmospheric scattering coefficient and depth information. Alternatively, processing is performed to convert the gradation of the depth indicated by the depth information into the gradation of the transmittance estimated from the captured image, for example, it corresponds to the histogram of the transmittance estimated from the histogram obtained by normalizing the depth indicated by the depth information. The depth after tone conversion may be used as the transmittance of fumes.
  • the area is an area of one pixel or plural pixels provided continuously or at a predetermined pixel interval.
  • the second aspect of this technology is The present invention is an information processing method including: detecting transmittance of fumes at the time of imaging of the captured image using the transmittance estimated for each region from the captured image and the depth information of the region.
  • the third aspect of this technology is A transmittance detection unit that detects the transmittance of fog at the time of imaging of the captured image using the transmittance estimated for each region from the captured image and the depth information for each region; And a motion control unit that performs motion control based on the transmittance detected by the transmittance detection unit.
  • the transmittance of smoke at the time of imaging of a captured image is detected using the transmittance estimated for each region from the captured image and the depth information for each region, and operation control, for example, based on the transmittance Perform lamp drive control.
  • lamp drive control for example, with respect to a fog lamp
  • lighting control and light amount control are performed based on the detected transmittance
  • at least one of the irradiation direction and the irradiation angle of light is controlled based on the transmittance for each area.
  • control is performed to output the detected transmittance to the outside.
  • the movement operation is controlled based on the detected transmittance for each area.
  • the fourth aspect of this technology is A transmittance detection unit that detects the transmittance of fog at the time of imaging of the captured image using the transmittance estimated for each region from the captured image and the depth information for each region;
  • an image processing apparatus including: a fog removal processing unit configured to generate an image obtained by removing fog from the captured image based on the transmittance detected by the transmittance detection unit.
  • the haze is removed by adjusting the contrast according to the inverse of the transmittance of the fog at the time of imaging of the captured image detected using the transmittance estimated for each region from the captured image and the depth information for each region To generate an image.
  • the captured image and the detected transmittance are used to generate an image from which the fog is removed based on the transmittance model.
  • the transmittance of fog at the time of imaging of a captured image is detected using the transmittance estimated for each region from the captured image and the depth information for each region. Therefore, the transmittance can be detected accurately.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • the transmittance t (x) can be expressed by Equation (2) using the distance (depth) d (x) from the imaging device to the subject and the scattering coefficient ⁇ of the atmosphere.
  • t (x) exp (-beta d (x)) (2)
  • FIG. 2 illustrates the configuration of the information processing apparatus of the present technology.
  • the information processing apparatus 10 includes a transmittance estimation unit 11 and a transmittance detection unit 12.
  • the transmittance estimation unit 11 estimates the transmittance for each area from the captured image acquired by the imaging device.
  • the transmittance detection unit 12 detects, for each region, the transmittance of fog at the time of imaging of a captured image, using the transmittance estimated by the transmittance estimation unit 11 and the depth information for each region.
  • the area is an area of one pixel or plural pixels provided continuously or at a predetermined pixel interval, and the transmittance corresponding to the area for which depth information is obtained or the depth information corresponding to the area for which the transmittance is estimated Is obtained. In the following description, it is assumed that the estimation of the transmittance and the acquisition of the depth information are performed for each pixel.
  • the transmittance estimation unit 11 estimates the transmittance for each pixel using the method described in Non-Patent Document 1 (hereinafter referred to as “dark channel processing”). In addition, the transmittance estimation unit 11 may use the method described in the document “R. Fattal,“ Single Image Dehazing, ”ACM Transactions on Graphics, 2008” or the document “R. T. Tan,“ Visibility in Bad Weather from a Single ”. The transmittance may be estimated using other commonly known techniques, such as the technique described in Image, "CVPR 2008".
  • the transmittance estimation unit 11 estimates ambient light A from a captured image acquired by an imaging device, for example, a captured image including an image of a red component R, an image of a green component G, and an image of a blue component B.
  • the transmittance estimation unit 11 sets, for example, a pixel with the highest luminance in the captured image as ambient light.
  • the transmittance estimation unit 11 performs the calculation of Equation (5) using the estimated ambient light A, estimates the transmittance for each pixel, and outputs the estimated transmittance to the transmittance detection unit 12.
  • the transmittance detection unit 12 detects the transmittance of fog at the time of capturing a captured image using the transmittance estimated for each pixel by the transmittance estimation unit 11 and the depth information for each pixel, and the transmittance for each pixel Output a transmittance map showing
  • the depth information may be acquired from an imaging device or may be acquired from a depth measurement device.
  • an imaging apparatus using an image sensor provided with image plane phase difference pixels it is possible to obtain not only a captured image but also pixel information of image plane phase difference pixels to obtain depth information indicating a distance to an object.
  • the information processing device 10 acquires a captured image and depth information corresponding to the captured image from the imaging device.
  • depth information may be acquired using a TOF (Time of Flight) sensor, a LIDAR (Light Detection and Ranging) sensor, or the like as a depth measurement device.
  • TOF Time of Flight
  • LIDAR Light Detection and Ranging
  • the transmittance detection unit 12 detects the transmittance of the fog more accurately than the estimated transmittance by using the estimated transmittance and the depth information.
  • the transmittance detection unit 12 calculates an average value E [log (t.sub.1 to (x))] of logarithms of the transmittance t.sub.1 to (x) from the transmittance t (x) and depth d (x) of each pixel. calculates the depth of the average value E [d (x)], to calculate the scattering coefficient beta a basis of the equation (7). Furthermore, the transmittance detection unit 12 detects the transmittance of smoke based on the scattering coefficient of the atmosphere and the depth information.
  • the transmittance detection unit 12 performs calculation of equation (8) at each pixel using the calculated scattering coefficient ⁇ a and depth d (x) to detect the transmittance t a (x), and the transmittance of the fog is Is generated for each pixel.
  • ⁇ a - (E [log (t ⁇ (x))] / E [d (x)]) ⁇ (7)
  • t a (x) exp (- ⁇ a d (x)) (8)
  • the transmittance detection unit 12 may use all the transmittance and depth of each pixel of the captured image in calculating the average value of the estimated transmittance and the depth indicated by the depth information, and for example, a predetermined portion of the captured image may be used.
  • the transmittance and depth of pixels in the central portion may be used.
  • the transmittance and the depth of the pixels extracted at the pixel intervals designated in advance may be used. Note that the pixel spacing specified in advance may be the same pixel spacing in the entire captured image, or the pixel spacing may be adjusted according to the position in the image, and the central portion may be narrower than the peripheral portion. Good.
  • the transmittance detection unit 12 detects the transmittance of the fog by performing tone conversion corresponding to the tone of the transmittance estimated to represent the tone of the depth indicated by the depth information. For example, the transmittance detection unit 12 performs the normalization of the depth indicated by the depth information and the gradation conversion corresponding to the gradation of the transmittance that has been estimated, and the depth after the gradation conversion. Permeability of fumes. That is, the transmittance detection unit 12 normalizes the depth map, performs gradation conversion according to the estimated transmittance, and generates a transmittance map indicating the transmittance of the fog for each pixel.
  • gradation conversion histogram equalization and the like are performed, and the normalized depth histogram is made to correspond to the estimated transmittance histogram. For example, in gradation conversion, the number of bins in the normalized depth histogram and the transmittance histogram are equalized, and the positions of bins at which the frequency peaks, the frequencies of peak positions and peak positions, or histogram shapes become equal. Perform depth conversion as follows.
  • FIG. 3 illustrates gradation processing.
  • A) of FIG. 3 is a histogram of depth normalized with the predetermined distance being “1”.
  • the predetermined distance is, for example, the maximum value of the depth for each pixel indicated by the depth information.
  • B) of FIG. 3 is a histogram of the estimated transmittance.
  • the transmittance detection unit 12 performs gradation processing so that, for example, the peak position of the histogram of the depth shown in (a) of FIG. 3 corresponds to the histogram of the estimated transmittance shown in (b) of FIG.
  • pixels in the entire captured image may be used as in the first transmittance detection operation, and a partial region, for example, a pixel in the region of the central portion of the captured image May be used.
  • a partial region for example, a pixel in the region of the central portion of the captured image May be used.
  • the pixel spacing specified in advance may be the same pixel spacing in the entire captured image, or the pixel spacing may be adjusted according to the position in the image, and the central portion may be narrower than the peripheral portion. Good.
  • the transmittance is detected for each area based on the transmittance estimated for each area based on the captured image and the depth information for each area.
  • the transmittance can be detected more accurately than the estimated transmittance.
  • the smoothing unit 13 may be provided.
  • the transmittance is calculated in local region units, and the local region.
  • the change in transmittance of the boundary portion may be smoothed by providing the smoothing unit 13 and performing soft matting processing or the like.
  • FIG. 4 shows the configuration of the control device.
  • the control device 30 includes a transmittance estimation unit 31, a transmittance detection unit 32, and an operation control unit 33.
  • the transmittance estimation unit 31 performs processing similar to that of the above-described transmittance estimation unit 11, estimates the transmittance for each pixel, for example, from the captured image, and outputs the estimated transmittance to the transmittance detection unit 32.
  • the transmittance detection unit 32 performs the same process as the transmittance detection unit 12 described above, and uses the transmittance estimated by the transmittance estimation unit 31 and, for example, depth information for each pixel, to generate a fog when capturing a captured image.
  • the transmittance is detected, and a transmittance map indicating the transmittance for each pixel is output to the operation control unit 33.
  • the operation control unit 33 determines the presence or absence of smoke based on the transmittance map output from the transmittance detection unit 32. Further, the operation control unit 33 controls the operation of the controlled unit based on the determination result of the presence or absence of the fog and the transmittance for each area.
  • a vehicle control system using a control device will be described.
  • FIG. 5 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an external information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the driveline control unit 12010 controls the operation of devices related to the driveline of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. adjusting steering mechanism, and functions as a control device of the braking device or the like to generate a braking force of the vehicle.
  • Body system control unit 12020 controls the operation of the camera settings device to the vehicle body in accordance with various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a headlamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 12020 the signal of the radio wave or various switches is transmitted from wireless controller to replace the key can be entered.
  • Body system control unit 12020 receives an input of these radio or signal, the door lock device for a vehicle, the power window device, controls the lamp.
  • Outside vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the external information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing or distance detection processing of a person, a vehicle, an obstacle, a sign, characters on a road surface, or the like based on the received image.
  • Imaging unit 12031 receives light, an optical sensor for outputting an electric signal corresponding to the received light amount of the light.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
  • Vehicle information detection unit 12040 detects the vehicle information.
  • a driver state detection unit 12041 that detects a state of a driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera for imaging the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver does not go to sleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040, and a drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 the driving force generating device on the basis of the information around the vehicle acquired by the outside information detection unit 12030 or vehicle information detection unit 12040, by controlling the steering mechanism or braking device, the driver automatic operation such that autonomously traveling without depending on the operation can be carried out cooperative control for the purpose of.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the external information detection unit 12030.
  • the microcomputer 12051 controls the headlamps in response to the preceding vehicle or the position where the oncoming vehicle is detected outside the vehicle information detection unit 12030, the cooperative control for the purpose of achieving the anti-glare such as switching the high beam to the low beam It can be carried out.
  • Audio and image output unit 12052 transmits, to the passenger or outside of the vehicle, at least one of the output signal of the voice and image to be output device to inform a visually or aurally information.
  • an audio speaker 12061, a display unit 2062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 6 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • imaging units 12101, 12102, 12103, 12104, and 12105 are provided as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, on the front nose of the vehicle 12100, a side mirror, a rear bumper, a back door, an upper portion of a windshield of a vehicle interior, and the like.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 6 shows an example of the imaging range of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates an imaging range of the imaging unit 12101 provided in the front nose
  • imaging range 12112,12113 are each an imaging range of the imaging unit 12102,12103 provided on the side mirror
  • an imaging range 12114 is The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown.
  • a bird's eye view of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging unit 12101 through 12104 may have a function of obtaining distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging devices, or an imaging device having pixels for phase difference detection.
  • the microcomputer 12051 measures the distance to each three-dimensional object in the imaging ranges 12111 to 12114, and the temporal change of this distance (relative velocity with respect to the vehicle 12100). In particular, it is possible to extract a three-dimensional object traveling at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 as a leading vehicle, in particular by finding the it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. Automatic operation or the like for autonomously traveling without depending on the way of the driver operation can perform cooperative control for the purpose.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data relating to three-dimensional objects into two-dimensional vehicles such as two-wheeled vehicles, ordinary vehicles, large vehicles, classification and extracted, can be used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see.
  • the microcomputer 12051 determines a collision risk which indicates the risk of collision with the obstacle, when a situation that might collide with the collision risk set value or more, through an audio speaker 12061, a display portion 12062 By outputting a warning to the driver or performing forcible deceleration or avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging unit 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • Such pedestrian recognition is, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as an infrared camera, and pattern matching processing on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not
  • the procedure is to determine Microcomputer 12051 is, determines that the pedestrian in the captured image of the imaging unit 12101 to 12104 is present, recognizing the pedestrian, the sound image output unit 12052 is rectangular outline for enhancement to the recognized pedestrian to superimpose, controls the display unit 12062.
  • the audio image output unit 12052 is, an icon or the like indicating a pedestrian may control the display unit 12062 to display the desired position.
  • the imaging unit 12031 acquires a captured image and depth information.
  • the outside-vehicle information detection unit 12030 is provided with a surrounding information detection sensor capable of acquiring depth information.
  • a surrounding information detection sensor capable of acquiring depth information.
  • the ambient information detection sensor a TOF (Time of Flight) sensor, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) sensor, or the like is used.
  • the external information detection unit 12030 outputs the captured image and depth information acquired from the imaging unit 12031, or the captured image acquired from the imaging unit 12031 and depth information acquired by the ambient information detection sensor to the integrated control unit 12050.
  • the integrated control unit 12050 is provided with the functions of the transmittance estimation unit 31 and the transmittance detection unit 32, and estimates and detects the transmittance as described above to generate a transmittance map. Further, the body control unit 12020 is provided with an operation control unit 33.
  • the body system control unit 12020 performs lamp drive control of a controlled unit, for example, a fog lamp, based on the transmittance map generated by the integrated control unit 12050.
  • the body system control unit 12020 performs lighting control as lamp drive control.
  • the presence or absence of fumes is determined for the whole or partial area of the transmittance map.
  • the partial area may be each divided area obtained by dividing the entire transmittance map into a plurality of sections, and is one or more areas set at a predetermined position in the transmittance map with a predetermined area size. It may be.
  • the body-based control unit 12020 compares the threshold value with the average value of the whole or partial area of the transmittance map, and the transmittance average value is lower than a predetermined threshold, or the partial area is lower than the predetermined threshold. Determine if there is.
  • the operation control unit 33 detects pixels whose transmittance is lower than a predetermined threshold, and the number of detected pixels is larger than the predetermined threshold in the entire transmittance map, or the number of detected pixels is a predetermined number. It is determined whether there is a partial area greater than the threshold.
  • the body system control unit 12020 turns on the fog lamp when the average transmittance average value of the entire transmittance map is lower than a predetermined threshold, and turns the fog lamp off when the average is not lower than the predetermined threshold.
  • the body system control unit 12020 turns the fog lamp on and is not lower than the predetermined threshold. Turn the fog lamp off.
  • the body system control unit 12020 may further perform light distribution control as lamp drive control.
  • the body control unit 12020 performs light distribution control with the fog lamp turned on when, for example, a partial area whose average transmittance is lower than a predetermined threshold is detected, and the partial area whose average transmittance is lower than the predetermined threshold is The light is irradiated at an irradiation angle corresponding to the direction or the partial area of. Further, the body system control unit 12020 puts the fog lamp into the non-lighting state when the partial area whose transmittance average value is lower than the predetermined threshold is not detected.
  • the body system control unit 12020 performs light distribution control with the fog lamp in the lighting state, for example, when a partial area in which the number of pixels whose transmittance is lower than the predetermined threshold is larger than the predetermined threshold is detected.
  • the light is irradiated at an irradiation angle corresponding to the direction or partial area.
  • the body system control unit 12020 puts the fog lamp into the non-lighting state when the partial region in which the number of pixels whose transmittance is lower than the predetermined threshold is larger than the predetermined threshold is not detected.
  • the body system control unit 12020 may further perform light amount control as lamp drive control.
  • the body control unit 12020 performs light control with the fog lamp turned on when the average transmittance of the entire or partial area of the transmittance map is lower than a predetermined threshold, and the light intensity is reduced as the average transmittance decreases. Do more.
  • the body system control unit 12020 puts the fog lamp into the non-lighting state when the average value of the transmittance is not lower than the predetermined threshold value.
  • the fog lamp is automatically turned on when the fog is thick, and automatically turned off when the fog is clear. it can.
  • the irradiation direction and the irradiation angle of the fog lamp can be automatically adjusted to improve the visibility of the foggy region.
  • the light amount of the fog lamp can be automatically adjusted to the optimum light amount according to the density of the fog.
  • the fog lamp may be provided not only in front of the vehicle but also in the rear of the vehicle.
  • the lamp drive control is not limited to the fog lamp drive control.
  • the fog lamp drive control when the fog is thick, if the headlamp is upward (high beam), the forward visibility is reduced. Therefore, when the fog is thick, control to turn the headlamp downward (low beam) or control to reduce the light amount may be automatically performed.
  • control device of the present technology may be applied not only to a car but also to a ship or an aircraft, as long as the mobile device is used in an environment that generates fumes.
  • the detected transmittance may be output to the outside.
  • unmanned air vehicles such as a drone
  • images from the sky and detects the transmittance during imaging.
  • the unmanned air vehicle notifies the control or the like of the detected transmittance.
  • the movement direction may be controlled as operation control based on the detected transmittance.
  • the unmanned aerial vehicle notifies the control side of the detected transmittance for each area, or automatically performs imaging while selecting the flight route in the direction with less fog based on the detected transmittance for each area It can also be done.
  • FIG. 7 illustrates the configuration of the image processing apparatus.
  • the image processing apparatus 50 includes a transmittance estimation unit 51, a transmittance detection unit 52, and a fume removal unit 53.
  • the transmittance estimation unit 51 performs processing similar to that of the above-described transmittance estimation unit 11, estimates the transmittance for each pixel, for example, from the captured image, and outputs the estimated transmittance to the transmittance detection unit 32.
  • the transmittance detection unit 52 performs processing similar to that of the transmittance detection unit 12 described above, and uses the transmittance estimated by the transmittance estimation unit 31 and depth information for each pixel, for example, to detect the fog at the time of capturing the captured image.
  • the transmittance is detected, and a transmittance map indicating the transmittance for each pixel is output to the mist removing unit 53.
  • the fog removing unit 53 removes the fog from the captured image acquired by the imaging device based on the transmittance map output from the transmittance detection unit 52.
  • the fog removing unit 53 In the first operation of the fog removing unit 53, the fog is removed by adjusting the contrast in accordance with the reciprocal of the transmittance t a (x) of each pixel indicated by the transmittance map. In this case, the fog removing unit 53 sets the pixel value average of the pixels (including the processing target pixel) in the vicinity region based on the processing target pixel as the DC component IDC of the processing target pixel. Further, the fog removing unit 53 sets an average value of differences in pixel values between the processing target pixel and each other pixel in the vicinity area as a contrast component IAC of the processing target pixel.
  • the fog removing unit 53 performs the calculation of Expression (9) using the DC component IDC (x), the contrast component IAC (x), and the transmittance t a (x) of the pixel position x that is the processing target pixel.
  • the pixel value after fog removal, ie, the scene radiation J (x) is calculated.
  • the fog removing unit 53 performs the calculation of Equation (9) for each pixel to restore a clear captured image from which the fog has been removed.
  • J (x) IDC (x) + (1 / t a (x)) IAC (9)
  • the fog removing unit 53 performs the calculation of Expression (10) for each pixel to restore a clear captured image from which the fog is removed.
  • J (x) (I ( x) -A)) / t a (x) + A ⁇ (10)
  • the transmittance t a (x) may take a value close to “0” in some cases, and when the transmittance t a (x) becomes a value close to “0”, noise is noticeable in the captured image from which the fog is removed The case arises. Therefore, the lower limit value t0 may be set in advance, and the smoke removal may be performed using the lower limit value t0 when the transmittance t a (x) is smaller than the lower limit value t0.
  • the fog removing unit 53 sets, as the ambient light, the pixel having the highest luminance in the captured image.
  • the fog removing unit 53 may use the average value of the whole or a partial area of the captured image acquired from the imaging device as the ambient light A.
  • the fume removing unit 53 may estimate the ambient light A by principal component analysis or independent component analysis.
  • the smoke removal unit 53 sets all color components of the three primary colors as three-dimensional vectors, and sets all or a part of pixel values of pixel values of the entire or partial area of the captured image acquired from the imaging device as a norm of corresponding vectors.
  • the principal component analysis of the three-dimensional vector based on the pixel values of the area is performed, and the obtained principal component vector is defined as the ambient light A. Further, the fog removing unit 53 determines that the pixel value I (x), the scene radiation J (x) and the transmittance t (x) of each pixel are independent, and the whole or a partial area of the captured image acquired from the imaging device The independent component analysis is performed using the pixel values of to estimate ambient light A that satisfies the relationship of equation (1) at each pixel.
  • the transmittance of smoke at the time of imaging of a captured image is detected using the transmittance estimated for each region from the captured image and the depth information for each region, and the detected transmittance Removal of fumes takes place on the basis of For this reason, as compared with the case of removing the fog based on the transmittance estimated from the captured image, the fog can be removed with high accuracy, and a clear captured image can be restored.
  • the image processing apparatus of the present invention is used in an electronic apparatus used in an environment that generates fumes, for example, a monitoring apparatus, a clear captured image can be obtained even if fumes are generated in the area to be monitored. It is possible to prevent the decline. Further, if the image processing apparatus of the present invention is used in the above-described vehicle control system, it is possible to obtain a clear captured image from which the fog is removed even if the fog is generated when the vehicle is traveling. Therefore, if the surrounding environment is monitored using the captured image from which the fumes have been removed, it is possible to easily detect an obstacle or the like even if the fumes are generated.
  • the driver can easily grasp the surrounding situation even if the fog is generated if the captured image from which the fog is removed is displayed by the head-up display of the display unit 12062, the back monitor, the computerized rear view mirror, the door mirror, etc. become able to.
  • the transmittance detection operation described in the specification, the control operation based on the detected transmittance, and the fog removal operation based on the detected transmittance can be performed by hardware, software, or a combination of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or a solid state drive (SSD) as a recording medium, or a read only memory (ROM).
  • the program may be a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card Etc.
  • CD-ROM compact disc read only memory
  • MO magneto optical
  • DVD digital versatile disc
  • BD Blu-Ray Disc
  • magnetic disc a semiconductor memory card Etc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be installed from the removable recording medium to the computer, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in such a manner, and install the program on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • control device of the present technology can also be configured as follows.
  • a transmittance detection unit that detects the transmittance of fog at the time of imaging of the captured image using the transmittance estimated for each region from the captured image and the depth information for each region;
  • a control device comprising: an operation control unit that performs operation control based on the transmittance detected by the transmittance detection unit.
  • the operation control unit performs lamp drive control based on the transmittance detected by the transmittance detection unit.
  • the operation control unit performs lighting control based on the transmittance detected by the transmittance detection unit.
  • the transmittance of the fog when capturing the captured image is obtained using the transmittance estimated for each region from the captured image and the depth information for each region. It is detected. Therefore, the transmittance can be detected with high accuracy. Therefore, it is suitable for mobile equipment and electronic equipment used in the environment generating fumes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

透過率推定部１１は、撮像画像から領域毎に透過率を推定する。透過率推定部１１は、例えばダークチャンネル処理を用いて画素毎の透過率を推定する。透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出する。透過率検出部１２は、例えば撮像画像の全体または所定部分における透過率の対数平均値とデプス情報が示すデプスの平均値に基づいて煙霧の透過率を検出する。あるいは、透過率検出部１２は、撮像画像から領域毎に推定した透過率の階調を領域毎のデプス情報が示すデプスの階調に変換して、階調変換後の透過率を煙霧の透過率とする。精度よく透過率を検出できるようになる。

Description

情報処理装置と情報処理方法および制御装置と画像処理装置
　この技術は、情報処理装置と情報処理方法および制御装置と画像処理装置に関し、精度よく透過率を検出できるようにする。
　従来、霧や塵埃等の煙霧（ヘイズ）によって視認性が損なわれている撮像画像から透過率を計測する方法として、例えば非特許文献１に記載された方法が知られている。非特許文献１では、ダークチャンネル(Dark Channel)という局所領域におけるＲ，Ｇ，Ｂの最小値を用いて煙霧の密度を推定して、推定した煙霧の密度から透過率を算出している。また、特許文献２では、画素毎のダークチャンネルと局所領域のダークチャンネルのうち小さいものを最終的なダークチャンネルとして、透過率を算出している。
特開２０１３－０５８２０３号公報
Kaiming He, Jian Sun, Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior," Computer Vision and Pattern Recognition, 2009. CVPR 2009.IEEE Conference on, pp.1956-1963, 2009.
　ところで、ダークチャンネルを用いて透過率を推定する手法（Dark Channel Prior）では、撮像画像の三原色チャンネルにおける少なくとも１つの色チャンネルは強度が低いと仮定しており、最も暗い色チャンネル（ダークチャンネル）の画素値を、透過率の反転値と見なしている。したがって、撮像画像における白や明るい灰色の被写体領域における透過率を精度に計測することができない。
　そこで、この技術では、精度よく透過率を検出できる情報処理装置と情報処理方法および制御装置と画像処理装置を提供することを目的とする。
　この技術の第１の側面は、
　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置にある。
　この技術においては、撮像画像から推定した透過率を用いて算出した撮像画像の全体または所定部分における対数平均値と、デプス情報が示すデプスの平均値とに基づいて撮像時における大気の散乱係数を算出する。さらに、算出した大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。または、デプス情報が示すデプスの階調を撮像画像から推定した透過率の階調に変換する処理を行い、例えばデプス情報が示すデプスを正規化して得られるヒストグラムを推定した透過率のヒストグラムに対応させて、階調変換後のデプスを煙霧の透過率としてもよい。なお、領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である。
　この技術の第２の側面は、
　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
　前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置にある。
　この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報とを用いて、撮像画像の撮像時における煙霧の透過率を検出して、この透過率に基づき動作制御、例えばランプ駆動制御を行う。ランプ駆動制御では、例えばフォグランプに対して、検出された透過率に基づき点灯制御や光量制御、領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかの制御を行う。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力する制御を行う。さらに、動作制御では、検出された領域毎の透過率に基づき、移動動作を制御する。
　この技術の第４の側面は、
　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
　前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置にある。
　この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて検出された撮像画像の撮像時における煙霧の透過率の逆数に応じてコントラストを調整して煙霧が除去された画像を生成する。または、撮像画像と検出された透過率を用いて、透過率モデルに基づき煙霧が除去された画像の生成を行う。
　この技術によれば、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。したがって、精度よく透過率を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
透過率のモデルを示した図である。 情報処理装置の構成を例示した図である。 階調処理を例示した図である。 制御装置の構成を示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 画像処理装置の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．透過率について
　２．情報処理装置の構成と動作
　３．制御装置の構成と動作
　４．画像処理装置の構成と動作
　＜１．透過率について＞
　撮像装置で取得される画像の画素位置ｘにおいて、情景放射（煙霧の影響のない被写体の本来の色）をＪ（ｘ）、煙霧によって分散した環境光（大気散乱光）をＡ、煙霧の透過率をｔ（ｘ）とすると、撮像装置で取得される画像の画素値Ｉ（ｘ）は、式（１）を用いて算出できることが知られている。なお、図１は透過率のモデルを示している。
　Ｉ（ｘ）＝ｔ（ｘ）Ｊ（ｘ）＋（１－ｔ（ｘ））Ａ　　　・・・（１）
　また、透過率ｔ（ｘ）は、撮像装置から被写体までの距離（デプス）ｄ（ｘ）と大気の散乱係数βを用いて式（２）で表すことができる。
　ｔ（ｘ）＝ｅｘｐ（－βｄ（ｘ））　　・・・（２）
　＜２．情報処理装置の構成と動作＞
　図２は、本技術の情報処理装置の構成を例示している。情報処理装置１０は、透過率推定部１１と透過率検出部１２を有している。透過率推定部１１は、撮像装置で取得された撮像画像から領域毎に透過率を推定する。透過率検出部１２は、透過率推定部１１で推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を領域毎に検出する。領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域であり、透過率が推定される領域に対応するデプス情報、あるいはデプス情報が取得された領域に対応する透過率が得られている。なお、以下の説明では透過率の推定とデプス情報の取得が画素毎に行われているとして説明を行う。
　透過率推定部１１は、非特許文献１に記載されている手法（以下「ダークチャンネル処理」という）を用いて画素毎の透過率を推定する。また、透過率推定部１１は、文献「R. Fattal, “Single Image Dehazing,” ACM Transactions on Graphics, 2008」に記載された手法や文献「R. T. Tan, “Visibility in Bad Weather from a Single Image,” CVPR2008」に記載された手法などの一般的に知られている他の手法を用いて透過率を推定してもよい。
　以下、非特許文献１に記載されている手法であるダークチャンネル処理を用いて透過率マップを生成する場合の動作について説明する。ダークチャンネル処理では三原色の色チャンネルのうち少なくとも１つの色チャンネルは強度が低いと仮定しており、ダークチャンネルは、式（３）に示すように定義される。なお、式（３）においてｃはＲＧＢ色成分のいずれかであり、Ω（ｘ）は画素位置ｘを中心とする局所領域であり、ｙは局所領域内の座標を示している。
Figure JPOXMLDOC01-appb-M000001
　ここで、ダークチャンネル処理では、強度が最も低い色チャンネルの画素値がダークチャンネルであり、ダークチャンネルにおける情景放射を式（４）に示すように「０」とすると、画素位置ｘの透過率は式（５）に基づいて推定できる。なお、「～（チルダ）」が上に付されたｔを「ｔ～」とも記す。
Figure JPOXMLDOC01-appb-M000002
　透過率推定部１１は、撮像装置で取得された撮像画像、例えば赤成分Ｒの画像と緑成分Ｇの画像と青成分Ｂの画像で構成されている撮像画像から環境光Ａを推定する。透過率推定部１１は、例えば撮像画像における輝度が最も高い画素を環境光とする。透過率推定部１１は、推定した環境光Ａを用いて式（５）の演算を行い、画素毎に透過率を推定して透過率検出部１２へ出力する。
　透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを出力する。デプス情報は、撮像装置から取得してもよくデプス測定装置から取得してもよい。例えば像面位相差画素が設けられたイメージセンサを用いた撮像装置では、撮像画像だけでなく像面位相差画素の画素信号を用いて被写体までの距離を示すデプス情報を得ることができる。このような撮像装置が用いられている場合、情報処理装置１０は、撮像装置から撮像画像と撮像画像に対応するデプス情報を取得する。また、デプス測定装置としてＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いてデプス情報を取得してもよい。デプス情報は被写体までの距離を精度よく示しているが、例えば距離が等しくとも撮像装置から被写体までの大気の状態によって透過率は変化する。そこで、透過率検出部１２は、推定した透過率とデプス情報を用いることで、推定した透過率よりも精度よく煙霧の透過率を検出する。
　次に、透過率検出部１２で行う第１の透過率検出動作について説明する。透過率検出部１２は、撮像画像から画素毎に推定した透過率の対数平均値とデプス情報が示す画素毎のデプスの平均値に基づいて煙霧の透過率を検出する。例えば、透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値を用いて散乱係数を算出する。推定された透過率ｔ～（ｘ）とデプスｄ（ｘ）と大気の散乱係数βの関係は上述の式（２）に示す関係であることから、散乱係数βの算出式は式（６）になる。
　β＝－（ｌｏｇ（ｔ～（ｘ））／ｄ（ｘ））　・・・（６）
　したがって、透過率検出部１２は、各画素の透過率ｔ（ｘ）とデプスｄ（ｘ）から、透過率ｔ～（ｘ）の対数の平均値Ｅ［ｌｏｇ（ｔ～（ｘ））］とデプスの平均値Ｅ［ｄ（ｘ）］を算出して、式（７）に基づき散乱係数βａを算出する。さらに、透過率検出部１２は、大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。透過率検出部１２は、算出された散乱係数βａとデプスｄ（ｘ）を用いて式（８）の演算を各画素で行い透過率ｔａ（ｘ）を検出して、煙霧の透過率を画素毎に示す透過率マップを生成する。
　βａ＝－（Ｅ［ｌｏｇ（ｔ～（ｘ））］／Ｅ［ｄ（ｘ）］）　・・・（７）
　ｔａ（ｘ）＝ｅｘｐ（－βａｄ（ｘ））　　　　　　　　　　・・・（８）
　透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値の算出において、撮像画像の各画素の透過率とデプスを全て用いてもよく、撮像画像の所定部分例えば中央部分の画素の透過率とデプスを用いてもよい。また、予め指定された画素間隔で抽出した画素の透過率とデプスを用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
　次に、透過率検出部１２で行う第２の透過率検出動作について説明する。透過率検出部１２は、デプス情報が示すデプスの階調を推定した透過率の階調に対応させる階調変換を行うことで煙霧の透過率を検出する。例えば、透過率検出部１２は、デプス情報が示すデプスの正規化と正規化後のデプスの階調を推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを煙霧の透過率とする。すなわち、透過率検出部１２は、デプスマップを正規化して、推定した透過率に応じた階調変換を行い、煙霧の透過率を画素毎に示す透過率マップを生成する。
　階調変換では、ヒストグラムの均等化等を行い、正規化後のデプスのヒストグラムを、推定した透過率のヒストグラムに対応させる。例えば階調変換では、正規化後のデプスのヒストグラムと透過率のヒストグラムのビンの数を等しくして、度数がピークとなるビンの位置、ピーク位置とピーク位置の度数、あるいはヒストグラム形状が等しくなるようにデプスの変換を行う。
　図３は、階調処理を例示している。図３の（ａ）は、所定距離を「１」として正規化したデプスのヒストグラムである。なお、所定距離は例えばデプス情報で示された画素毎のデプスの最大値とする。図３の（ｂ）は推定した透過率のヒストグラムである。透過率検出部１２は、図３の（ａ）に示すデプスのヒストグラムの例えばピーク位置が図３の（ｂ）に示す推定した透過率のヒストグラムに対応するように階調処理を行い、図３の（ｃ）に示すヒストグラムとなるデプスを煙霧の透過率とする。
　なお、第２の透過率検出動作で用いる画素は、第１の透過率検出動作と同様に、撮像画像全体の画素を用いてもよく、一部の領域例えば撮像画像の中央部分の領域の画素を用いてもよい。また、予め指定された画素間隔で袖手した画素を用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
　このように、本技術の情報処理装置によれば、撮像画像に基づき領域毎に推定した透過率と領域毎のデプス情報に基づき、領域毎に透過率が検出されるので、撮像画像に基づいて推定した透過率に比べて、精度よく透過率を検出できるようになる。
　また、本技術の情報処理装置では、平滑化部１３を設けてもよい。例えば、透過率を推定した画素が示す被写体位置と、この画素に対応するデプス情報が示すデプスの測定位置との誤差が大きい場合や、局所領域単位で透過率の算出が行われて局所領域の境界で透過率の変化が顕著である場合、検出された透過率に基づき後述するように煙霧除去処理を行うと、被写体のエッジ部分や局所領域の境界でハロー効果が発生するおそれがある。したがって、平滑化部１３を設けてソフトマッティング処理等を行うことで、境界部分の透過率変化を滑らかにしてもよい。
　＜３．制御装置の構成と動作＞
　次に、本技術の制御装置について説明する。図４は制御装置の構成を示している。制御装置３０は、透過率推定部３１と透過率検出部３２および動作制御部３３を有している。
　透過率推定部３１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部３２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを動作制御部３３へ出力する。動作制御部３３は、透過率検出部３２から出力された透過率マップに基づき煙霧の有無を判別する。また、動作制御部３３は、煙霧の有無の判別結果や領域毎の透過率に基づき被制御部の動作を制御する。次に、制御装置を用いた車両制御システムについて説明する。
　図５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５の例では、出力装置として、オーディオスピーカ１２０６１、表示部２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。
　図６は、撮像部１２０３１の設置位置の例を示す図である。
　図６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　このように構成された移動体制御システムにおいて、撮像部１２０３１では撮像画像とデプス情報を取得する。また、撮像部１２０３１でデプス情報を取得できない場合、車外情報検出ユニット１２０３０には、デプス情報の取得が可能な周囲情報検出センサを設ける。周囲情報検出センサとしては、ＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いる。車外情報検出ユニット１２０３０は、撮像部１２０３１から取得した撮像画像とデプス情報、あるいは撮像部１２０３１から取得した撮像画像と周囲情報検出センサで取得されたデプス情報を統合制御ユニット１２０５０へ出力する。
　統合制御ユニット１２０５０には、透過率推定部３１と透過率検出部３２の機能を設けて、上述のように透過率の推定や検出を行い、透過率マップを生成する。また、ボディ系制御ユニット１２０２０には、動作制御部３３を設ける。
　ボディ系制御ユニット１２０２０は、統合制御ユニット１２０５０で生成された透過率マップに基づき被制御部例えばフォグランプ等のランプ駆動制御を行う。
　ボディ系制御ユニット１２０２０は、ランプ駆動制御として点灯制御を行う。透過率マップの全体または部分領域について煙霧の有無を判定する。部分領域は、透過率マップの全体を複数に分割したときの各分割領域であってもよく、透過率マップ内の予め設定された位置に所定の領域サイズで設定された１または複数の領域であってもよい。
　ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の平均値と閾値を比較して、透過率平均値が所定の閾値よりも低いか、もしくは透過率が所定の閾値よりも低い部分領域があるか判定する。また、動作制御部３３は、透過率が所定の閾値よりも低い画素を検出して、検出した画素数が透過率マップの全体において所定の閾値よりも多いか、もしくは検出した画素数が所定の閾値よりも多い部分領域があるか判定する。ボディ系制御ユニット１２０２０は、例えば透過率マップの全体の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が透過率マップの全体において所定の閾値よりも多い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
　ボディ系制御ユニット１２０２０は、ランプ駆動制御として配光制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、例えば透過率平均値が所定の閾値よりも低い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、透過率平均値が所定の閾値よりも低い部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低い部分領域を検出していない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、この部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出していない場合にフォグランプを非点灯状態とする。
　さらに、ボディ系制御ユニット１２０２０は、ランプ駆動制御として光量制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として光量制御を行い、透過率平均値が低くなるに伴い光量を多くする。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
　このように、移動体制御システムでは検出した透過率に基づいてランプ駆動制御が行われるので、例えば霧が濃いときにはフォグランプを自動的に点灯して、霧が晴れたときには自動的に消灯することができる。また、フォグランプの照射方向や照射角が自動的に調整されて、霧が濃い領域の視認性を向上させることができる。さらに、霧の濃さに応じてフォグランプの光量を最適な光量に自動的に調整することができる。なお、フォグランプは車両前方だけでなく車両後方に設けられてもよい。
　また、ランプ駆動制御はフォグランプの駆動制御に限られない。例えば、霧が濃いときにヘッドランプが上向き（ハイビーム）であると、前方の視認性が低下する。したがって、霧が濃いときにヘッドランプを下向き（ロービーム）とする制御や光量を低下させる制御を自動的に行うようにしてもよい。
　また、本技術の制御装置は、煙霧を生じる環境で使用される移動機器であれば、自動車に限らず船舶あるいは飛行体等に適用してもよい。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力してもよい。例えばドローン等の無人飛行体に適用して上空から撮像を行い、撮像中に透過率を検出する。また、無人飛行体は、透過率が閾値よりも低下した場合、検出した透過率をコントロール側等に通知する。このような動作制御を行えば、煙霧の発生状況を上空から精度よく観測できるようになる。また、検出された透過率に基づく動作制御として移動方向を制御してもよい。例えば、無人飛行体は、領域毎に検出した透過率をコントロール側に通知して、あるいは領域毎に検出した透過率に基づき自動的に、煙霧の少ない方向に飛行ルートを選択しながら撮像を行うこともできる。
　＜４．画像処理装置の構成と動作＞
　次に、本技術の画像処理装置について説明する。図７は画像処理装置の構成を例示している。画像処理装置５０は、透過率推定部５１と透過率検出部５２および煙霧除去部５３を有している。
　透過率推定部５１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部５２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを煙霧除去部５３へ出力する。煙霧除去部５３は、透過率検出部５２から出力された透過率マップに基づき、撮像装置で取得された撮像画像から煙霧を除去する。
　煙霧除去部５３の第１の動作では、透過率マップで示された各画素の透過率ｔａ（ｘ）の逆数に応じてコントラストを調整することで煙霧を除去する。この場合、煙霧除去部５３は、処理対象画素を基準とした近傍領域内の画素（処理対象画素を含む）の画素値平均を処理対象画素の直流成分ＩDCとする。また、煙霧除去部５３は、処理対象画素と近傍領域内の他の各画素との画素値の差分の平均値を処理対象画素のコントラスト成分ＩACとする。さらに、煙霧除去部５３は、処理対象画素である画素位置ｘの直流成分ＩDC（ｘ）とコントラスト成分ＩAC（ｘ）と透過率ｔａ（ｘ）を用いて式（９）の演算を行い、煙霧除去後の画素値すなわち情景放射Ｊ（ｘ）を算出する。煙霧除去部５３は、式（９）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
　　Ｊ（ｘ）＝ＩDC（ｘ）＋（１／ｔａ（ｘ））ＩAC　　　・・・（９）
　煙霧除去部５３の第２の動作では、撮像画像と検出された透過率を用いて透過率のモデルに基づいて煙霧を除去する。透過率のモデルを示す式（１）を変形すると、情景放射Ｊ（ｘ）を算出する式（１０）が得られる。したがって、煙霧除去部５３は、式（１０）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
　　Ｊ（ｘ）＝（Ｉ（ｘ）－Ａ））／ｔａ（ｘ）＋Ａ　　・・・（１０）
　なお、透過率ｔａ（ｘ）は「０」に近い値を取り得る場合があり、透過率ｔａ（ｘ）が「０」に近い値となると煙霧が除去された撮像画像にノイズが目立つ場合が生じる。したがって、予め下限値ｔ0を設定して、透過率ｔａ（ｘ）が下限値ｔ0よりも小さい場合は下限値ｔ0を用いて煙霧除去を行うようにしてもよい。
　煙霧除去部５３は、式（１０）で用いる環境光Ａとして、例えば上述のように撮像画像における輝度が最も高い画素を環境光とする。また、煙霧除去部５３は、撮像装置から取得した撮像画像の全体もしくは一部領域の平均値を環境光Ａとして用いてもよい。また、煙霧除去部５３は、主成分分析あるいは独立成分分析によって環境光Ａを推定してもよい。例えば煙霧除去部５３は、三原色の各色成分を３次元の各ベクトルとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値の各色成分を対応するベクトルのノルムとして、全体もしくは一部領域の画素値に基づく３次元ベクトルの主成分分析を行い、得られた主成分ベクトルを環境光Ａとする。また、煙霧除去部５３は、各画素の画素値Ｉ（ｘ）、情景放射Ｊ（ｘ）および透過率ｔ（ｘ）は独立であるとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値を用いて独立成分分析を行い、各画素で式（１）の関係を満たす環境光Ａを推定する。
　このように、画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出されて、この検出された透過率に基づいて煙霧の除去が行われる。このため、撮像画像から推定した透過率に基づいて煙霧の除去を行う場合に比べて煙霧を精度よく除去して、鮮明な撮像画像を復元できるようになる。
　また、本願の画像処理装置を、煙霧を生じる環境で使用される電子機器、例えば監視装置に用いれば、監視対象の領域に煙霧が生じていても鮮明な撮像画像を得られるので、監視能力の低下を防止できる。また、本願の画像処理装置を上述の車両制御システムに用いれば、車両走行時に煙霧が生じていても煙霧が除去されている鮮明な撮像画像を得られる。したがって、煙霧が除去された撮像画像を利用して周辺環境を監視すれば、煙霧が生じても障害物等の検出を容易に行える。また、表示部１２０６２のヘッドアップディスプレイ、バックモニター、電子化されたバックミラーやドアミラー等で煙霧が除去された撮像画像を表示すれば、運転者は煙霧が生じていても周辺状況を容易に把握できるようになる。
　明細書中において説明した透過率検出動作や検出した透過率に基づく制御動作、検出した透過率に基づく煙霧除去動作は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の制御装置は以下のような構成も取ることができる。
　（１）　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
　前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
　（２）　前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う（１）に記載の制御装置。
　（３）　前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う（２）に記載の制御装置。
　（４）　前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う（２）または（３）のいずれかに記載の制御装置。
　（５）　前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する（２）乃至（４）のいずれかに記載の制御装置。
　（６）　前記動作制御部は、フォグランプのランプ駆動制御を行う（２）乃至（５）のいずれかに記載の制御装置。
　（７）　前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う（１）乃至（６）のいずれかに記載の制御装置。
　（８）　前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する（１）に記載の制御装置。
　この技術の情報処理装置と情報処理方法および制御装置と画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。このため、精度よく透過率を検出できるようになる。したがって、煙霧を生じる環境で使用される移動機器や電子機器に適している。
　１０・・・情報処理装置
　１１，３１，５１・・・透過率推定部
　１２，３２，５２・・・透過率検出部
　１３・・・平滑化部
　３０・・・制御装置
　３３・・・動作制御部
　５０・・・画像処理装置
　５３・・・煙霧除去部

Claims (18)

  1. 　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
    を備える情報処理装置。
  2. 　前記透過率検出部は、前記撮像画像の全体または所定部分における前記推定した透過率の対数平均値と前記デプス情報が示すデプスの平均値に基づいて前記煙霧の透過率を検出する
    請求項１に記載の情報処理装置。
  3. 　前記透過率検出部は、前記推定した透過率の対数平均値と前記デプスの平均値に基づき前記撮像時における大気の散乱係数を算出して、前記大気の散乱係数と前記デプス情報に基づいて前記煙霧の透過率を検出する
    請求項２に記載の情報処理装置。
  4. 　前記透過率検出部は、前記領域毎のデプス情報が示すデプスの階調を前記推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを前記煙霧の透過率とする
    請求項１に記載の情報処理装置。
  5. 　前記階調変換では、前記デプス情報が示すデプスを正規化して得られるヒストグラムを前記推定した透過率のヒストグラムに対応させる
    請求項４に記載の情報処理装置。
  6. 　前記領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である
    請求項１に記載の情報処理装置
  7. 　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
    を含む情報処理方法。
  8. 　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
    　前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
    を備える制御装置。
  9. 　前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う
    請求項８に記載の制御装置。
  10. 　前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う
    請求項９に記載の制御装置。
  11. 　前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う
    請求項９に記載の制御装置。
  12. 　前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する
    請求項９に記載の制御装置。
  13. 　前記動作制御部は、フォグランプのランプ駆動制御を行う
    請求項９に記載の制御装置。
  14. 　前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う
    請求項８に記載の制御装置。
  15. 　前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する
    請求項８に記載の制御装置。
  16. 　撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
    　前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
    を備える画像処理装置。
  17. 　前記煙霧除去処理部は、前記検出された透過率の逆数に応じてコントラストを調整して前記煙霧が除去された画像を生成する
    請求項１６に記載の画像処理装置。
  18. 　前記煙霧除去処理部は、前記撮像画像と前記検出された透過率を用いて透過率モデルに基づき前記煙霧が除去された画像を生成する
    請求項１６に記載の画像処理装置。
PCT/JP2018/026313 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置 WO2019064825A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880061348.8A CN111148965B (zh) 2017-09-27 2018-07-12 信息处理装置、信息处理方法、控制装置及图像处理装置
JP2019544313A JPWO2019064825A1 (ja) 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置
US16/649,205 US11325520B2 (en) 2017-09-27 2018-07-12 Information processing apparatus and information processing method, and control apparatus and image processing apparatus
EP18863158.4A EP3690393B1 (en) 2017-09-27 2018-07-12 Information processing device, information processing method, control device, and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017186019 2017-09-27
JP2017-186019 2017-09-27

Publications (1)

Publication Number Publication Date
WO2019064825A1 true WO2019064825A1 (ja) 2019-04-04

Family

ID=65901839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026313 WO2019064825A1 (ja) 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置

Country Status (5)

Country Link
US (1) US11325520B2 (ja)
EP (1) EP3690393B1 (ja)
JP (1) JPWO2019064825A1 (ja)
CN (1) CN111148965B (ja)
WO (1) WO2019064825A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181399A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
WO2023037451A1 (ja) * 2021-09-08 2023-03-16 日本電信電話株式会社 画像処理装置、方法およびプログラム
TWI831640B (zh) * 2023-03-10 2024-02-01 元智大學 具有除霧機制的影像處理系統
JP7510258B2 (ja) 2019-05-27 2024-07-03 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
WO2024171379A1 (ja) * 2023-02-16 2024-08-22 日本電信電話株式会社 点検システム、点検方法、小型無人飛行機、および点検用プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7362265B2 (ja) * 2019-02-28 2023-10-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN112465715B (zh) * 2020-11-25 2023-08-08 清华大学深圳国际研究生院 一种基于大气传输矩阵迭代优化的图像去散射方法
CN112507818B (zh) * 2020-11-25 2024-03-15 奥比中光科技集团股份有限公司 一种基于近红外图像的光照估计方法及系统
CN115331444A (zh) * 2022-08-16 2022-11-11 同济大学 一种高速公路团雾消减方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05278519A (ja) * 1992-03-31 1993-10-26 Nissan Motor Co Ltd フォグランプ制御装置
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
JP2013058203A (ja) 2011-09-08 2013-03-28 Samsung Electronics Co Ltd 命令語圧縮装置、命令語圧縮方法及びコンピュータで読み取り可能な記録媒体
JP2013058202A (ja) * 2011-09-08 2013-03-28 Fujitsu Ltd 画像の霧除去方法及びシステム
JP2015039902A (ja) * 2013-08-20 2015-03-02 日産自動車株式会社 車両用照明制御装置
JP2017016359A (ja) * 2015-06-30 2017-01-19 セコム株式会社 自律移動ロボット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3121882B2 (ja) * 1991-10-29 2001-01-09 明星電気株式会社 視程障害検出方法
JP3564800B2 (ja) * 1994-08-30 2004-09-15 株式会社デンソー 距離測定装置
JP3232502B2 (ja) * 1996-06-11 2001-11-26 株式会社日立製作所 霧監視システム
US8260515B2 (en) * 2008-07-24 2012-09-04 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition
JP5652874B2 (ja) * 2011-02-07 2015-01-14 中日本高速道路株式会社 赤外光照射装置
JP6320115B2 (ja) * 2014-03-28 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101583947B1 (ko) * 2014-06-20 2016-01-08 현대자동차주식회사 영상 내 안개 제거 장치 및 그 방법
CN104809707B (zh) 2015-04-28 2017-05-31 西南科技大学 一种单幅雾天图像能见度估计方法
CN105427266B (zh) 2016-01-04 2018-08-03 西安理工大学 一种信息损耗约束的沙尘图像清晰化方法
CN106530246B (zh) 2016-10-28 2019-04-16 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05278519A (ja) * 1992-03-31 1993-10-26 Nissan Motor Co Ltd フォグランプ制御装置
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
JP2013058203A (ja) 2011-09-08 2013-03-28 Samsung Electronics Co Ltd 命令語圧縮装置、命令語圧縮方法及びコンピュータで読み取り可能な記録媒体
JP2013058202A (ja) * 2011-09-08 2013-03-28 Fujitsu Ltd 画像の霧除去方法及びシステム
JP2015039902A (ja) * 2013-08-20 2015-03-02 日産自動車株式会社 車両用照明制御装置
JP2017016359A (ja) * 2015-06-30 2017-01-19 セコム株式会社 自律移動ロボット

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HE, KAIMING ET AL.: "Single Image Haze Removal Using Dark Channel Prior", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 33, no. 12, December 2011 (2011-12-01), pages 2341 - 2353, XP011409121, DOI: doi:10.1109/TPAMI.2010.168 *
KAIMING HEJIAN SUNXIAOOU TAN: "Single Image Haze Removal Using Dark Channel Prior", COMPUTER VISION AND PATTERN RECOGNITION, 2009. CVPR 2009. IEEE CONFERENCE ON, 2009, pages 1956 - 1963
See also references of EP3690393A4
ZHU, QINGSONG ET AL.: "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 24, no. 11, November 2015 (2015-11-01), pages 3522 - 3533, XP055396529, DOI: doi:10.1109/TIP.2015.2446191 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181399A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP7421273B2 (ja) 2019-04-25 2024-01-24 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP7510258B2 (ja) 2019-05-27 2024-07-03 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
WO2023037451A1 (ja) * 2021-09-08 2023-03-16 日本電信電話株式会社 画像処理装置、方法およびプログラム
WO2024171379A1 (ja) * 2023-02-16 2024-08-22 日本電信電話株式会社 点検システム、点検方法、小型無人飛行機、および点検用プログラム
TWI831640B (zh) * 2023-03-10 2024-02-01 元智大學 具有除霧機制的影像處理系統

Also Published As

Publication number Publication date
CN111148965B (zh) 2022-01-25
EP3690393B1 (en) 2021-09-15
EP3690393A1 (en) 2020-08-05
EP3690393A4 (en) 2020-11-04
CN111148965A (zh) 2020-05-12
US11325520B2 (en) 2022-05-10
JPWO2019064825A1 (ja) 2020-12-03
US20200290503A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN111148965B (zh) 信息处理装置、信息处理方法、控制装置及图像处理装置
US9734425B2 (en) Environmental scene condition detection
US20220180483A1 (en) Image processing device, image processing method, and program
KR101772178B1 (ko) 차량용 랜드마크 검출 장치 및 방법
US11182880B2 (en) Image processing device, image processing method, and program
US20200053297A1 (en) Image processing apparatus, image processing method, and program
US11978261B2 (en) Information processing apparatus and information processing method
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2017122396A1 (ja) 制御装置、制御方法及びプログラム
WO2021005105A1 (en) Imaging systems, devices and methods
WO2019111529A1 (ja) 画像処理装置および画像処理方法
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019181096A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019155718A1 (ja) 認識装置と認識方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019544313

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018863158

Country of ref document: EP

Effective date: 20200428