WO2019123795A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019123795A1
WO2019123795A1 PCT/JP2018/038079 JP2018038079W WO2019123795A1 WO 2019123795 A1 WO2019123795 A1 WO 2019123795A1 JP 2018038079 W JP2018038079 W JP 2018038079W WO 2019123795 A1 WO2019123795 A1 WO 2019123795A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
image
unit
target object
acquisition unit
Prior art date
Application number
PCT/JP2018/038079
Other languages
English (en)
French (fr)
Inventor
基 三原
俊 海津
哲平 栗田
雄飛 近藤
康孝 平澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880080508.3A priority Critical patent/CN111480057B/zh
Priority to JP2019560824A priority patent/JP7147784B2/ja
Priority to US16/770,908 priority patent/US11663831B2/en
Publication of WO2019123795A1 publication Critical patent/WO2019123795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, and a program, and enables detection of polarization characteristics of a target object using polarization images of one or more polarization directions.
  • Patent Document 1 discloses a method in which a polarization filter is disposed in front of an imaging unit, and a polarization image in a plurality of polarization directions is acquired by rotating and photographing this polarization filter. Further, a method is disclosed in which polarization images of a plurality of different polarization directions are acquired in one imaging by providing polarization filters of different polarization directions for each pixel.
  • Non-Patent Document 1 and Non-Patent Document 2 it is performed to acquire normal information of a subject from polarization images of a plurality of polarization directions.
  • calculation of normal line information is performed by applying polarization images of a plurality of polarization directions to a polarization model.
  • Non-Patent Document 2 shows that when applying a polarization image to a polarization model, three or more polarization luminances whose polarization directions are different from each other are used.
  • Miyazaki Daisuke, Ikeuchi Katsushi “Basic theory of polarization and its applications”, Transactions of Information Processing Society of Japan Computer Vision and Image Media, 2008 Gary A. Atkinson and Edwin R. Hancock: “Recovery of surface orientation from diffuse polarization”, IEEE Transactions of Image Processing, Vol. 15, Issue. 6, pp. 1653-1664, 2006
  • polarization luminances having different polarization directions are required.
  • a required number of polarization luminances may not be obtained. For example, when saturation or blackout occurs in an image sensor, polarization brightness in three or more polarization directions can not be obtained.
  • a first aspect of this technique is a polarization model detection that detects a polarization model indicating polarization characteristics of the target object based on polarization images of the target object in one or more polarization directions and polarization parameters acquired by the polarization parameter acquisition unit.
  • An image processing apparatus having a
  • a polarization model indicating polarization characteristics of the target object is detected based on polarization images of one or more polarization directions of the target object and polarization parameters acquired by the polarization parameter acquisition unit.
  • the phase storage unit storing the azimuth angle of the normal is provided in combination of one or more according to the number of polarization directions of the polarization image.
  • the sensitivity correction unit is further provided to correct the non-polarization image acquired by the non-polarization image acquisition unit to the sensitivity of the polarization image.
  • the polarization parameter acquisition unit acquires a polarization parameter indicating the amplitude of the polarization model based on the non-polarization image corrected by the sensitivity correction unit and the characteristic information stored in the information storage unit.
  • the non-polarization image acquisition unit may perform imaging without using a polarizer in the polarization image acquisition unit that acquires the polarization image of the target object, and may acquire the non-polarization image.
  • the polarization image acquisition unit for acquiring the polarization image of the target object has a configuration in which the polarization pixel to which the polarizer is removable or provided with the polarizer and the non-polarization pixel not provided with the polarizer are provided.
  • the zenith angle stored in the information storage unit is an angle based on a polarization image acquisition unit that acquires a polarization image of a target object and geometric information on the target object.
  • the zenith angle stored in the information storage unit is an angle based on the three-dimensional shape of the target object.
  • the information storage unit stores reflection characteristic information indicating whether the polarized light image is information of specular reflection main or diffuse reflection main.
  • the azimuth stored in the phase storage unit is an angle based on the polarization image acquisition unit that acquires the polarization image of the target object and the geometrical information on the target object.
  • the azimuth angle stored in the phase storage unit is an angle based on the three-dimensional shape of the target object.
  • the azimuth stored in the phase storage unit may be an angle based on the azimuth of the nearby position calculated based on polarization images of three or more polarization directions.
  • an azimuth angle input unit for setting an azimuth angle is provided, and the azimuth angle input unit stores an azimuth angle according to a user operation in the phase storage unit, and is detected based on the azimuth angle stored in the phase storage unit.
  • the polarization model is used to display an image obtained by removing the reflected component from the polarization image.
  • the polarization model detection unit further includes a saturation detection unit that detects whether the polarization image is in a saturation state, and the polarization model detection unit detects the polarization image detected not to be in the saturation state by the saturation detection unit and the polarization acquired by the polarization parameter acquisition unit.
  • the polarization model is detected based on the parameters.
  • the image processing apparatus may be provided with a polarization image acquisition unit for acquiring a polarization image of the target object, and the reflection from the image of the target object based on the polarization image of the target object and the polarization model detected by the polarization model detection unit You may provide the reflection removal part which removes a component.
  • a second aspect of this technique is an image including detection of a polarization model indicating polarization characteristics of the target object by a polarization model detection unit based on a polarization image of the object and polarization parameters acquired by the polarization parameter acquisition unit. It is in the processing method.
  • a third aspect of this technology is a program that causes a computer to execute detection of a polarization model indicating polarization characteristics of a target object, and the polarization image of the target object acquired as a polarization image and acquired by a polarization parameter acquisition unit
  • the program causes the computer to execute the procedure of detecting the polarization model based on the determined polarization parameter.
  • the program of the present technology is, for example, a storage medium, communication medium such as an optical disc, a magnetic disc, a semiconductor memory, etc., provided in a computer readable form to a general purpose computer capable of executing various program codes. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer readable form, processing according to the program is realized on the computer.
  • the polarization model indicating the polarization characteristic of the target object is detected based on the polarization image of the target object in one or more polarization directions and the polarization parameter acquired by the polarization parameter acquisition unit. Therefore, even when polarization images of three or more polarization directions can not be acquired, the polarization characteristic of the target object can be detected.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • FIG. 1 is a diagram for explaining a polarization model.
  • the light source LT is used to illuminate the target object OB
  • the imaging unit CM images the target object OB via the polarizing plate PL.
  • the luminance of the target object OB changes in the acquired captured image (hereinafter referred to as “polarized captured image”) according to the polarization direction of the polarizing plate PL.
  • the highest luminance is Imax, and the lowest luminance is Imin.
  • the x-axis and y-axis in two-dimensional coordinates are on the plane of the polarizing plate PL, and the angle in the y-axis direction with respect to the x-axis is taken as the polarization angle ⁇ ⁇ indicating the polarization direction (transmission axis angle) of the polarizing plate PL.
  • the polarization angle ⁇ ⁇ when the highest luminance Imax is observed is taken as the azimuth angle ⁇ of the normal.
  • the observed luminance I ( ⁇ ) can be expressed by the equation (1) when the polarization direction of the polarizing plate PL is changed.
  • FIG. 2 illustrates the relationship between luminance and polarization angle.
  • the parameters ⁇ , ⁇ , and ⁇ in equation (1) are parameters representing a Cos waveform by polarization.
  • the parameter ⁇ represents the luminance average of the polarization model.
  • the parameter ⁇ represents the amplitude of the polarization model, which is the size from the luminance average of the polarization model to the maximum value of the polarization model, or 1/2 times the difference between the maximum value and the minimum value of the polarization model.
  • the parameter ⁇ is an azimuth and indicates the phase of the polarization model.
  • the multiplication result of the sensitivity correction gain g for correcting the sensitivity reduction due to the provision of the polarizing plate PL and the luminance average ⁇ is an image obtained by performing imaging without passing through the polarizing plate PL (hereinafter referred to as “none It corresponds to the brightness of “a polarized image”.
  • the image processing apparatus of this technology detects a polarization model by calculating unknown parameters based on the acquired information and known parameters. Specifically, based on polarization images of one or more polarization directions of the target object and polarization parameters acquired by the polarization parameter acquisition unit, the polarization model detection unit detects a polarization model indicating polarization characteristics of the target object.
  • FIG. 3 exemplifies patterns of acquired information and unknown parameters.
  • a polarization image one or more polarization directions
  • a non-polarization image luminance average ⁇
  • an amplitude ⁇ are acquired.
  • the polarization model detection unit calculates the phase (azimuth angle) ⁇ . Note that, as described later, the luminance average ⁇ can be acquired based on the non-polarization image.
  • a polarization image one or more polarization directions
  • a non-polarization image (brightness average ⁇ )
  • a phase ⁇ are acquired, and the polarization model detection unit calculates the amplitude ⁇ .
  • a polarization image two or more polarization directions
  • a non-polarization image (brightness average ⁇ ) are acquired, and the polarization model detection unit calculates the phase ⁇ and the amplitude ⁇ .
  • a polarization image two or more polarization directions
  • a phase ⁇ are acquired, and the polarization model detection unit calculates the brightness average ⁇ and the amplitude ⁇ .
  • the polarization parameter acquisition unit includes a non-polarization image acquisition unit that acquires a non-polarization image of the target object, an information storage unit that stores characteristic information about the target object and a zenith angle of the normal, and an azimuth angle of the normal of the target object.
  • One or more stored phase storage units are provided according to the number of polarization directions of the polarization image, and in the information acquired as shown in FIG. 3, other information excluding the polarization image is acquired. Each pattern will be described below.
  • the first embodiment corresponds to the pattern 1 of FIG. 3, and detects a polarization model based on the polarization image of one or more polarization directions, the non-polarization image, and the amplitude of the polarization model.
  • FIG. 4 illustrates the configuration of the first embodiment.
  • the image processing apparatus 10-1 includes a polarization image acquisition unit 11a, a polarization parameter information acquisition unit 12-1, and a polarization model detection unit 13-1.
  • the polarization image acquisition unit 11a acquires polarization images of one or more polarization directions and outputs the polarization images to the polarization model detection unit 13-1.
  • Acquisition of a polarization image of one or more polarization directions includes acquisition of one or more polarization images in which each pixel has the same polarization direction and acquisition of polarization images having polarization pixels in one or more polarization directions. Including.
  • FIG. 5 illustrates the configuration of the polarization image acquisition unit.
  • FIG. 5A shows a configuration in which a polarizing plate 112 is provided on the front surface of a camera block 111 including an imaging optical system including an imaging lens and the like and an image sensor and the like.
  • the polarization image acquisition unit 11a of this configuration rotates the polarization plate 112 to perform imaging, and acquires a polarization image in each polarization direction. For example, when imaging is performed with the rotational phase difference of the polarizing plate 112 at 0 degrees or 180 degrees, each pixel can acquire a polarization image in one polarization direction.
  • a polarizing element for example, a wire grid or the like
  • 2 ⁇ 2 pixels are taken as one pixel group, and each pixel in one pixel group is taken as four different polarization directions.
  • the polarization image acquisition unit 11a is configured as described above, it is possible to acquire a polarization image including polarization pixels of four different polarization directions.
  • the polarization pixels in one pixel group are not limited to one of four polarization directions as shown in (b) of FIG. 5, and may have three polarization directions, two polarization directions, or one polarization direction.
  • a polarized image may be obtained which includes polarized pixels of three to one polarization direction. Further, not only polarization pixels but also non-polarization pixels may be provided in the polarization image acquisition unit 11a. Furthermore, in the case where the polarization image acquisition unit 11a has the configuration of FIG. 5B or FIG. 6 described later, the luminance of the polarization pixel equal to this polarization direction (polarization direction in which luminance is not obtained in the pixel to be processed) Polarized luminance may be calculated by interpolation processing or filtering processing using polarized light). In this case, it is possible to acquire a polarization image in which each pixel has the same polarization direction for each polarization direction.
  • the polarization image acquisition unit 11a may be configured to acquire polarization images of one or more polarization directions, and is not limited to the configuration illustrated in FIG.
  • the polarization image acquisition unit 11a outputs the acquired polarization image to the polarization model detection unit 13-1.
  • the polarization parameter information acquisition unit 12-1 includes a non-polarization image acquisition unit 121, a sensitivity correction unit 122, and a polarization model amplitude detection unit 123.
  • the non-polarization image acquisition unit 121 captures a target object without using a polarizer (for example, the polarization plate 112 or the polarization element 114) to acquire a non-polarization image. Furthermore, the non-polarization image acquisition unit 121 calculates the luminance average ⁇ of the polarization model based on the acquired non-polarization image.
  • a polarizer for example, the polarization plate 112 or the polarization element 114
  • the non-polarization image acquisition unit 121 is generated by performing imaging by removing the polarizing plate 112 disposed in front of the camera block 111. Acquire a non-polarized image.
  • the image sensor 113 is provided with non-polarization pixels to acquire non-polarization images based on signals generated by the non-polarization pixels. It is also good.
  • FIG. 6 illustrates a pixel arrangement provided with polarization pixels and non-polarization pixels.
  • 2 ⁇ 2 pixels are taken as one pixel group, and two polarized pixels where one pixel group is one of two polarization directions (for example, the transmission axis is 0 degree and 45 degrees) and two non-polarized pixels The case where it comprises with a polarization pixel is illustrated.
  • FIG. 6B when 2 ⁇ 2 pixels are set as one pixel group, a polarization pixel in which one pixel group has one polarization direction (for example, the transmission axis is 0 degree) and three non-polarization pixels are provided. Is illustrated.
  • non-polarization image acquisition unit 121 is a normal imaging device configured without using the polarizing plate 112 and the polarization element 114, and similarly acquires and obtains a desired target object from the position of the polarization image acquisition unit 11a. Non-polarized image may be obtained.
  • a multi-camera composed of a plurality of camera blocks having polarization plates in different directions attached to the front and a camera block without attachment of polarization plates.
  • FIG. 7 exemplifies a multi-camera, and a camera block CMB-1 is not provided with a polarizing plate, and camera blocks CMB-2 to CMB-m (m ⁇ 2) from an object Polarizers PL-2 to PL-m having different polarization directions for each camera block are provided on the light incident side.
  • a non-polarization image is acquired in the camera block CMB-1 and a polarization image is acquired in the camera blocks CMB-2 to CMB-m.
  • the camera blocks CMB-1 to CMB-m perform parallax correction on non-polarization images and polarization images because the viewpoint positions are different.
  • the sensitivity correction unit 122 performs the sensitivity correction on the luminance I of the non-polarization image using the sensitivity correction gain g for correcting the sensitivity difference with the polarization pixel, as shown in Expression (2), to obtain the luminance of the polarization model.
  • the average ⁇ is calculated for each pixel (or for each pixel group).
  • the sensitivity correction unit 122 outputs the calculated luminance average ⁇ to the polarization model amplitude detection unit 122 and the polarization model detection unit 13-1.
  • ⁇ g ⁇ I (2)
  • the polarization model amplitude detection unit 123 detects the amplitude of the polarization model using the luminance average ⁇ calculated by the sensitivity correction unit 122.
  • FIG. 8 illustrates the configuration of the polarization model amplitude detection unit.
  • the polarization model amplitude detection unit 123 includes an information storage unit 1231, a polarization degree calculation unit 1232, and an amplitude detection unit 1233.
  • the information storage unit 1231 stores, as described later, the zenith angle ⁇ of the normal of the target object and the refractive index r, and reflection characteristic information indicating which of diffuse reflection and specular reflection is the main component.
  • the degree of polarization calculating unit 1232 selects equation (3) or (4) according to the reflection characteristic information stored in the information storage unit 1231, and determines the degree of polarization ⁇ ( ⁇ based on the zenith angle ⁇ and the refractive index r. , R).
  • the amplitude detection unit 1233 performs the calculation of Expression (5) using the degree of polarization (( ⁇ , r) calculated by the degree of polarization calculation unit 1232 and the luminance average ⁇ supplied from the non-polarization image acquisition unit 121.
  • the amplitude ⁇ is calculated and output to the polarization model detection unit 13-1.
  • ⁇ ⁇ ⁇ ( ⁇ , r) (5)
  • the polarization model detection unit 13-1 calculates the phase ⁇ , which is an unknown parameter, since the brightness average ⁇ and the amplitude ⁇ of the polarization model are supplied from the polarization parameter information acquisition unit 12-1.
  • the polarization model detection unit 13-1 uses the luminance average ⁇ and the amplitude ⁇ of the polarization model, and the polarization luminance I ( ⁇ n) of the polarization image of one or more polarization directions supplied from the polarization image acquisition unit 11a,
  • the phase ⁇ is calculated based on
  • the polarization model detection unit 13-1 outputs the luminance average ⁇ , the amplitude ⁇ , and the phase ⁇ , which are parameters of the polarization model, as the detection result of the polarization model.
  • FIG. 9 is a flowchart showing the operation of the first embodiment.
  • the image processing apparatus 10-1 acquires polarization images of one or more polarization directions.
  • the image processing apparatus 10-1 acquires a polarization image obtained by an image sensor having a camera block provided with a polarization plate 112 on the front surface of the camera block 111 or a polarization pixel in one or more polarization directions Go to ST2.
  • step ST2 the image processing apparatus 10-1 acquires a polarization parameter.
  • the image processing apparatus 10-1 calculates the luminance average ⁇ of the polarization model based on the non-polarization image after sensitivity correction. Further, the image processing apparatus 10-1 is a reflection indicating whether the calculated luminance average ⁇ , the zenith angle ⁇ of the normal of the target object stored beforehand, the refractive index r, and which of the diffuse reflection and the specular reflection is the main
  • the amplitude ⁇ of the polarization model is calculated based on the characteristic information, and the process proceeds to step ST3.
  • step ST3 the image processing apparatus 10-1 performs a polarization model detection process.
  • the image processing apparatus 10-1 uses the luminance average ⁇ and the amplitude ⁇ of the polarization model, the polarization image of one or more polarization directions acquired in step ST1 from the polarization image acquisition unit 11a, and the luminance average ⁇ and the amplitude ⁇ acquired in step ST2.
  • the phase ⁇ of the polarization model is calculated based on this. Therefore, the luminance average ⁇ , the amplitude ⁇ , and the phase ⁇ of the polarization model can be obtained. Also, by performing the processing of steps ST1 to ST3 in pixel units or pixel group units, it is possible to detect the polarization model of the target object in pixel units or pixel group units.
  • the polarization model can be detected from the non-polarization image, the amplitude of the polarization model, and the polarization image of one or more polarization directions.
  • FIG. 6B when the polarization pixel and the non-polarization pixel are provided, not only the polarization model can be detected from the polarization image of one polarization direction, but many non-polarization pixels are provided. It is possible to detect a polarization model and obtain a high-sensitivity, high-resolution non-polarization image without performing attachment or detachment of a child. Therefore, if reflection removal is performed using, for example, the detected polarization model, archives of works of art etc. can be easily produced at high resolution without causing reflection of surrounding objects.
  • the second embodiment corresponds to the pattern 2 of FIG. 3, and detects a polarization model from a non-polarization image and a polarization image of phase and one or more polarization directions.
  • FIG. 10 illustrates the configuration of the second embodiment.
  • the image processing apparatus 10-2 includes a polarization image acquisition unit 11a, a polarization parameter information acquisition unit 12-2, and a polarization model detection unit 13-2.
  • the polarization image acquisition unit 11a is configured in the same manner as the first embodiment, acquires polarization images in one or more polarization directions, and outputs the polarization images to the polarization model detection unit 13-2.
  • the polarization parameter information acquisition unit 12-2 includes the non-polarization image acquisition unit 121, the sensitivity correction unit 122, and the polarization model phase storage unit 124.
  • the non-polarization image acquisition unit 121 is configured in the same manner as in the first embodiment, acquires a non-polarization image, and outputs the non-polarization image to the sensitivity correction unit 122.
  • the sensitivity correction unit 122 is configured in the same manner as in the first embodiment, and performs sensitivity correction to correct the sensitivity difference with the polarization pixel as shown in Equation (2) with respect to the luminance I of the non-polarization image.
  • the sensitivity correction is performed using the gain g, and the luminance average ⁇ of the polarization model is output to the polarization model detection unit 13-2.
  • the polarization model phase storage unit 124 stores the phase (azimuth angle) ⁇ in advance.
  • the polarization model phase storage unit 124 outputs the stored phase ⁇ to the polarization model detection unit 13-2.
  • the polarization model detection unit 13-2 calculates the amplitude ⁇ , which is an unknown parameter, since the brightness average ⁇ and the phase ⁇ of the polarization model are supplied from the polarization parameter information acquisition unit 12-2.
  • the polarization model detection unit 13-2 uses the luminance average ⁇ and the phase ⁇ of the polarization model, and the polarization luminance I ( ⁇ n) of the polarization image having one or more polarization directions supplied from the polarization image acquisition unit 11a.
  • the amplitude ⁇ is calculated based on
  • the polarization model detection unit 13-2 outputs the luminance average ⁇ , the amplitude ⁇ , and the phase ⁇ , which are parameters of the polarization model, as the detection result of the polarization model.
  • the operation of the image processing apparatus according to the second embodiment is the same as the order of steps in the first embodiment, and the processing in each step is different from that in the first embodiment as described above.
  • the third embodiment corresponds to the pattern 3 of FIG. 3, and detects a polarization model from a non-polarization image and polarization images of two or more polarization directions.
  • FIG. 11 illustrates the configuration of the third embodiment.
  • the image processing apparatus 10-3 includes a polarization image acquisition unit 11b, a polarization parameter information acquisition unit 12-3, and a polarization model detection unit 13-3.
  • the polarization image acquisition unit 11 b is configured in the same manner as the polarization image acquisition unit 11 a of the first embodiment, but the number of polarization directions of polarization images that can be acquired is different, and two or more polarization image acquisition units 11 b are used.
  • the polarization image of the polarization direction is acquired and output to the polarization model detection unit 13-3.
  • the polarization parameter information acquisition unit 12-3 includes the non-polarization image acquisition unit 121 and the sensitivity correction unit 122.
  • the non-polarization image acquisition unit 121 is configured in the same manner as in the first embodiment, acquires a non-polarization image, and outputs the non-polarization image to the sensitivity correction unit 122.
  • the sensitivity correction unit 122 is configured in the same manner as in the first embodiment, and performs sensitivity correction to correct the sensitivity difference with the polarization pixel as shown in Equation (2) with respect to the luminance I of the non-polarization image.
  • the sensitivity correction is performed using the gain g, and the luminance average ⁇ of the polarization model is output to the polarization model detection unit 13-3.
  • the polarization model detection unit 13-3 calculates the amplitude ⁇ and the phase ⁇ , which are unknown parameters, since the brightness average ⁇ of the polarization model is supplied from the polarization parameter information acquisition unit 12-3.
  • the polarization model detection unit 13-3 calculates the luminance average ⁇ of the polarization model supplied from the polarization parameter information acquisition unit 12-2 and the polarization luminance I of polarization images of two or more polarization directions supplied from the polarization image acquisition unit 11b.
  • the amplitude ⁇ and the phase ⁇ are calculated using ⁇ n) (n is n ⁇ 2). Further, the polarization model detection unit 13-3 outputs the luminance average ⁇ of the polarization model and the calculated amplitude ⁇ and phase ⁇ as the detection result of the polarization model.
  • the polarization model detection unit 13-3 calculates the amplitude ⁇ and the phase ⁇ based on the equations (8) and (9).
  • “A” is calculated based on formula (10)
  • “B” is calculated based on formula (11).
  • “X” is calculated based on the equation (12)
  • “Y” is calculated based on the equation (13)
  • “Z” is calculated based on the equation (14).
  • the polarization model detection unit 13-3 outputs the luminance average ⁇ , the amplitude ⁇ , and the phase ⁇ , which are parameters of the polarization model, as the detection result of the polarization model.
  • the operation of the image processing apparatus according to the third embodiment is the same as the order of steps in the first embodiment, and the processing in each step is different from that in the first embodiment as described above.
  • the third embodiment it is possible to detect a polarization model from a non-polarization image and polarization images of two or more polarization directions.
  • the fourth embodiment corresponds to the pattern 4 of FIG. 3 and detects the polarization model from the polarization image of two or more polarization directions and the phase (azimuth angle) of the polarization model.
  • FIG. 12 illustrates the configuration of the fourth embodiment.
  • the image processing apparatus 10-4 includes a polarization image acquisition unit 11b, a polarization parameter information acquisition unit 12-4, and a polarization model detection unit 13-4.
  • the polarization image acquisition unit 11b is configured in the same manner as in the third embodiment, acquires polarization images in two or more polarization directions, and outputs the polarization images to the polarization model detection unit 13-4.
  • the polarization parameter information acquisition unit 12-4 includes a polarization model phase storage unit 124.
  • the polarization model phase storage unit 124 stores the phase (azimuth angle) ⁇ in advance, as in the second embodiment.
  • the polarization model phase storage unit 124 outputs the stored phase ⁇ to the polarization model detection unit 13-4.
  • the polarization model detection unit 13-4 receives the phase ⁇ of the polarization model from the polarization parameter information acquisition unit 12-4, and thus calculates the luminance average ⁇ and the amplitude ⁇ , which are unknown parameters.
  • the polarization model detection unit 13-4 uses the phase ⁇ of the polarization model and the polarization luminance I ( ⁇ n) (n is n ⁇ 2) of polarization images of two or more polarization directions supplied from the polarization image acquisition unit 11b.
  • the luminance average ⁇ is calculated based on (15), and the amplitude ⁇ is calculated based on Expression (16).
  • “Y” is calculated based on the equation (17)
  • P” is calculated based on the equation (18)
  • R” is calculated based on the equation (19)
  • Q is calculated based on the equation (20). .
  • the polarization model detection unit 13-4 outputs the luminance average ⁇ , the amplitude ⁇ , and the phase ⁇ , which are parameters of the polarization model, as the detection result of the polarization model.
  • the operation of the image processing apparatus according to the fourth embodiment is the same as the order of steps in the first embodiment, and the processing in each step is different from that in the first embodiment as described above.
  • the fourth embodiment it is possible to detect a polarization model from polarization images of two or more polarization directions and the phase (azimuth angle) of the polarization model.
  • FIG. 13 illustrates the configuration of another embodiment.
  • the image processing apparatus 10-5 includes a polarization image acquisition unit 15, a saturation detection unit 16, a polarization parameter information acquisition unit 17, and a polarization model detection unit 18.
  • the polarization image acquisition unit 15 is configured in the same manner as any of the polarization image acquisition units 11a and 11b according to the second to fourth embodiments, acquires a plurality of polarization images for each polarization direction, and performs a saturation detection unit. 16 and the polarization model detection unit 18.
  • the saturation detection unit 16 detects, for each pixel of a plurality of polarization images, whether or not the polarization luminance is in a saturation state.
  • the saturation detection unit 16 outputs the detection result to the polarization parameter information acquisition unit 17 and the polarization model detection unit 18.
  • the polarization parameter information acquiring unit 17 detects two polarization directions that are not saturated according to the detection result supplied from the saturation detecting unit 16, the polarization parameter information acquiring unit 12-according to the first to fourth embodiments described above
  • the same processing as that of 1 to 12-4 is performed by the polarization parameter information acquisition unit 17, and the acquired parameter is output to the polarization model detection unit 18.
  • the polarization parameter information acquiring unit 17 does not saturate the polarization direction is one direction, it is the same as any of the polarization parameter information acquiring units 12-1 and 12-2 according to the first or second embodiment described above.
  • This processing is performed by the polarization parameter information acquisition unit 17, and the acquired parameters are output to the polarization model detection unit 18.
  • the polarization model detection unit 18 polarizes the polarization image of three or more polarization directions acquired by the polarization image acquisition unit 15 when the polarization direction not saturated is three or more according to the detection result supplied from the saturation detection unit 16.
  • the brightness is used to detect the parameters of the polarization model as before.
  • the polarization model detection unit 18 selects one of the polarizations of the first to fourth embodiments selected by the polarization parameter information acquisition unit 17. The same processing as the polarization model detection unit corresponding to the parameter information acquisition unit is performed to detect the polarization model.
  • the polarization model detection unit 18 performs the same process as the polarization model detection unit 13-1 to detect the polarization model.
  • the polarization model detection unit 18 performs processing similar to that of the polarization model detection unit 13-2, and detects the polarization model.
  • the detection operation of the polarization model is switched according to the saturation state even if saturation occurs in the polarization luminance in each polarization direction in each pixel, so the polarization characteristic is detected by the conventional method. Even if it is difficult to do so, it is possible to detect polarization characteristics.
  • the polarization model can be detected from the known phase even when the two polarization luminances out of the four polarization luminances are saturated.
  • the image processing apparatus is not limited to the configuration of any of the above-described first to other embodiments, and the configurations of the above-described embodiments may be combined. That is, depending on the number of polarization directions of the polarization image and the polarization parameter acquired by the polarization parameter acquisition unit, the operation of the polarization model detection unit may be switched to any of the above-described embodiments. For example, when the number of polarization directions of the polarization image is one or more, the operation or pattern 2 of the first embodiment corresponding to the pattern 1 of FIG. 3 is supported according to the polarization parameter acquired by the polarization parameter acquisition unit The operation of the second embodiment is performed. By performing such processing, it is possible to detect the polarization model according to various situations.
  • the polarization image acquisition unit and the polarization parameter acquisition unit are provided in the image processing apparatus.
  • the polarization image acquisition unit, the polarization parameter acquisition unit, and the non-polarization of the polarization parameter acquisition unit may be configured separately from the image processing apparatus.
  • the zenith angle is an angle based on geometric information on the target object and the polarization image acquisition unit.
  • FIG. 14 exemplifies, for example, a case where a polarization image acquisition unit is fixedly provided in a car and the outside of the car is imaged through a windshield.
  • the positional relationship between the polarization image acquisition unit 11a (11b) and the windshield is clear.
  • the zenith angle ⁇ of the normal to the viewpoint position from the polarization image acquisition unit 11a (11b) on the windshield is calculated in advance based on the geometrical information indicating the positional relationship, and stored in the information storage unit 1231 shown in FIG.
  • the zenith angle may be an angle based on the three-dimensional shape of the target object.
  • FIG. 15 illustrates the case of calculating the zenith angle based on the three-dimensional shape.
  • the three-dimensional shape of the target object OB is acquired using a three-dimensional shape acquisition unit 31, such as a ToF (Time Of Flight) sensor, a structured light type depth sensor, or a stereo camera. If the three-dimensional shape of the target object OB is clear, the zenith angle ⁇ of the normal to the viewpoint position from the polarization image acquisition unit 11a (11b) in the target object OB can be calculated in advance.
  • the azimuth angle is an angle based on geometrical information about the target object and a polarization image acquisition unit that acquires a polarization image of the target object.
  • the azimuth angle is always known information It becomes. That is, the azimuth is calculated based on geometrical information on the positional relationship between the polarization image acquisition unit and the target object, and stored in the polarization model phase storage unit 124 shown in FIG. FIG.
  • 16 exemplifies, for example, a case where a polarization image acquisition unit is provided in a car to image the front.
  • 16 (a) shows a car and a road surface
  • FIG. 16 (b) exemplifies a polarization image captured by a polarization image acquisition unit 11a (11 b) provided in the car.
  • the target object is a road surface
  • the azimuth angle is 0 degree in the direction parallel to the road surface
  • the azimuth angle is approximately 90 degrees. Therefore, when the road surface is the target object, the assumed azimuth angle is stored in the polarization model phase storage unit 124 shown in FIG.
  • the polarization model detected using the azimuth (phase) stored in the polarization model phase storage unit 124 The road surface reflected light can be removed based on As shown in FIG. 14, since the positional relationship between the polarized light image acquisition unit 11a (11b) and the windshield is clear, the azimuth angle is based on the position of the polarized light image acquisition unit 11a (11b) and the plane direction of the windshield. May be calculated and stored in the polarization model phase storage unit 124. In this case, based on the polarization model detected using the azimuth (phase) stored in the polarization model phase storage unit 124, it is possible to remove the dashboard and the like reflected on the windshield.
  • the azimuth may be an angle based on the three-dimensional shape of the target object.
  • the three-dimensional shape of a target object acquires a depth map using the above-mentioned three-dimensional shape acquisition part. By differentiating this depth map, the surface direction at each point of the target object can be calculated, so the azimuth angle of the normal is calculated based on the surface direction at each point and stored in the polarization model phase storage unit 124 shown in FIG.
  • the polarization model can be detected even for a polarization image having a small number of polarization directions by obtaining the normal line using the depth map corresponding to the shape of the subject. Therefore, if the reflection component is removed using the detected polarization model, the correct brightness of the subject can be obtained even when the light source or the like is reflected on the subject and the brightness is saturated.
  • the azimuth may be an angle based on the azimuth of the near position.
  • FIG. 17 is a diagram for describing the case where the azimuth is an angle based on the azimuth of the near position.
  • a first pixel group consisting of polarization pixels of four different polarization directions
  • a second pixel group consisting of one polarization pixel and three non-polarization pixels are arranged adjacent to each other.
  • the first pixel group is configured by polarization pixels of four different polarization directions, the polarization model can be detected for the first pixel group based on the luminance of the polarization pixels.
  • the difference in azimuth angle (phase) ⁇ is small.
  • the phase of the polarization model detected for the first pixel group is the azimuth of the second pixel group
  • the corner may be stored in the polarization model phase storage unit 124 shown in FIG.
  • the azimuth of the second pixel group may be calculated by interpolation or the like on the basis of the phases of the first pixel groups adjacent on both sides.
  • the azimuth may be specified by user operation. Specifically, an azimuth input unit is provided, and the azimuth designated by the azimuth input unit is stored in the polarization model phase storage unit 124.
  • FIG. 18 illustrates the configuration of the azimuth angle input unit.
  • the azimuth input unit 19 includes an input operation unit 191 and an image presentation unit 192.
  • the input operation unit 191 is configured with an operation dial capable of adjusting the value of azimuth, or a GUI that enables adjustment of the value of azimuth using the input operation unit 191 and the image presentation unit 192.
  • the input operation unit 191 causes the polarization model phase storage unit 124 to store the azimuth angle designated by the user using the operation dial or the GUI.
  • FIG. 19 exemplifies a GUI image which enables specification of an azimuth angle.
  • (A) of FIG. 19 exemplifies the case where a text box is provided.
  • the azimuth entered in the text box TXB is stored in the polarization model phase storage unit 124 as the designated azimuth ⁇ tmp.
  • the up-down arrow button BTud may be provided to increase or decrease the azimuth angle ⁇ tmp in accordance with the operation of the up-down arrow button BTud.
  • (B) of FIG. 19 exemplifies the case where a slider is provided. In this case, an azimuth according to the position of the slider SLD is stored in the polarization model phase storage unit 124 as the designated azimuth ⁇ tmp.
  • the non-polarization image and the azimuth angle (phase) and polarization images of one or more polarization directions are used.
  • the polarization model can be identified. However, if the azimuth angle specified by the user is different from the actual azimuth angle, the desired effect can not be obtained even using the specified polarization model. For example, when the specular reflection component is removed based on the polarization model, if the azimuth angle designated by the user is different from the actual azimuth angle, the specular reflection component can not be accurately removed.
  • an image presenting unit 192 is provided with a reflection removing unit 192a and a display unit 192b, and the image subjected to the process of removing the reflection on the target object based on the polarization model specified using the azimuth angle ⁇ tmp specified by the user is indicate.
  • the reflection removal unit 192a removes the amplitude change from the non-polarization image acquired by the non-polarization image acquisition unit 121 and removes the amplitude change.
  • the processed image is displayed on the display unit 192 b.
  • the text box, the up / down arrow button BTud, the slider, and the like may be displayed together with the image after removal processing for the amplitude change.
  • the reflection component is the most in the image presented by the image presentation unit 192.
  • the reflection removing unit 192 a is not limited to the case of being provided in the azimuth angle input unit 19, and the reflection removing unit 192 a may be provided independently of the azimuth angle input unit 19.
  • FIG. 20 exemplifies a GUI image for inputting the reflection characteristic information.
  • a check box CBA mainly composed of diffuse reflection
  • a check box CBB mainly composed of specular reflection
  • the reflection characteristic information is generated according to the selection result of any check box, and the information It is stored in the storage unit 1231.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of mobile object such as a car, an electric car, a hybrid electric car, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot May be
  • FIG. 21 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an external information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the driveline control unit 12010 controls the operation of devices related to the driveline of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • Body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a headlamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device substituting a key.
  • Body system control unit 12020 receives the input of these radio waves or signals, and controls a door lock device, a power window device, a lamp and the like of the vehicle.
  • Outside vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the external information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing or distance detection processing of a person, a vehicle, an obstacle, a sign, characters on a road surface, or the like based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
  • In-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects a state of a driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera for imaging the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver does not go to sleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040, and a drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040 so that the driver can Coordinated control can be performed for the purpose of automatic driving that travels autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the external information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or aurally notifying information to a passenger or the outside of a vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 22 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • imaging units 12101, 12102, 12103, 12104, and 12105 are provided as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, on the front nose of the vehicle 12100, a side mirror, a rear bumper, a back door, an upper portion of a windshield of a vehicle interior, and the like.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 22 illustrates an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by overlaying the image data captured by the imaging units 12101 to 12104, a bird's eye view of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging devices, or an imaging device having pixels for phase difference detection.
  • the microcomputer 12051 measures the distance to each three-dimensional object in the imaging ranges 12111 to 12114, and the temporal change of this distance (relative velocity with respect to the vehicle 12100). In particular, it is possible to extract a three-dimensional object traveling at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 as a leading vehicle, in particular by finding the it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. As described above, it is possible to perform coordinated control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data relating to three-dimensional objects into two-dimensional vehicles such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, telephone poles, and other three-dimensional objects. It can be classified, extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk is a setting value or more and there is a possibility of a collision, through the audio speaker 12061 or the display unit 12062 By outputting an alarm to the driver or performing forcible deceleration or avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared light.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as an infrared camera, and pattern matching processing on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not
  • the procedure is to determine
  • the audio image output unit 12052 generates a square outline for highlighting the recognized pedestrian.
  • the display unit 12062 is controlled so as to display a superimposed image. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure may be applied to the imaging unit 12031 and the like in the polarization image acquisition unit 11a of the technology according to the present disclosure and the non-polarization image acquisition unit 121 in the polarization parameter information acquisition unit.
  • the polarization parameter information acquisition unit (excluding the non-polarization image acquisition unit 121) and the polarization model detection unit of the technology according to the present disclosure may be applied to the external information detection unit 12030 among the configurations described above.
  • the technology according to the present disclosure is applied to a vehicle control system, it is possible to perform reflection removal and the like with high accuracy using the detected polarization model, and information required for driver fatigue reduction and automatic driving can be increased. It becomes possible to acquire to accuracy.
  • the series of processes described in the specification can be performed by hardware, software, or a combination of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or a solid state drive (SSD) as a recording medium, or a read only memory (ROM).
  • the program may be a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card Etc.
  • CD-ROM compact disc read only memory
  • MO magneto optical
  • DVD digital versatile disc
  • BD Blu-Ray Disc
  • magnetic disc a semiconductor memory card Etc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be installed from the removable recording medium to the computer, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in such a manner, and install the program on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • the image processing apparatus of the present technology can also have the following configuration.
  • An image processing apparatus having a polarization model detection unit that detects a polarization model indicating polarization characteristics of the target object based on polarization images of one or more polarization directions of the target object and polarization parameters acquired by the polarization parameter acquisition unit .
  • the polarization parameter acquisition unit is a non-polarization image acquisition unit that acquires a non-polarization image of the target object, an information storage unit that stores characteristic information about the target object and a zenith angle of a normal, and the target object
  • the image processing apparatus according to (1), wherein a phase storage unit storing an azimuth angle of a normal to is provided in combination of one or more according to the number of polarization directions of the polarization image.
  • a sensitivity correction unit that corrects the non-polarization image acquired by the non-polarization image acquisition unit to the sensitivity of the polarization image is further provided The image processing apparatus according to 2).
  • the polarization parameter acquisition unit acquires a polarization parameter indicating the amplitude of the polarization model based on the non-polarization image corrected by the sensitivity correction unit and the characteristic information stored in the information storage unit.
  • the image processing apparatus according to (2) or (3).
  • the polarization image acquisition unit for acquiring a polarization image of the target object is configured to have a polarization pixel to which a polarizer can be attached or detached or provided with the polarizer, and a non-polarization pixel not provided with the polarizer ( 5)
  • the image processing according to (2), wherein the zenith angle stored in the information storage unit is an angle based on a polarization image acquisition unit that acquires a polarization image of the target object and geometric information on the target object apparatus.
  • the image processing apparatus according to (2), wherein the zenith angle stored in the information storage unit is an angle based on a three-dimensional shape of the target object.
  • the image processing device wherein the information storage unit stores reflection property information indicating whether the polarized image is information of specular reflection main body or diffuse reflection main body.
  • the azimuth angle stored in the phase storage unit is an angle based on a polarization image acquisition unit that acquires a polarization image of the target object and geometric information on the target object Processing unit.
  • the azimuth angle stored in the phase storage unit is an angle based on a three-dimensional shape of the target object.
  • the image processing device wherein the azimuth stored in the phase storage unit is an angle based on an azimuth of a near position calculated based on polarization images of three or more polarization directions.
  • An azimuth input unit configured to set the azimuth, The azimuth input unit stores an azimuth according to a user operation in the phase storage unit, and the polarization image is detected using the polarization model detected based on the azimuth stored in the phase storage.
  • the image processing apparatus according to (2), wherein an image obtained by removing a reflection component from the image is displayed.
  • the polarization model detection unit detects the polarization model based on the polarization image detected not to be saturated by the saturation detection unit and the polarization parameter acquired by the polarization parameter acquisition unit (1) to (13) The image processing apparatus according to any one of the above.
  • the polarization model detection unit switches the detection operation of the polarization model according to the number of polarization directions of the polarization image and the polarization parameter acquired by the polarization parameter acquisition unit, according to any one of (1) to (14) Image processing device.
  • the image processing apparatus according to any one of (1) to (15), further including a polarization image acquisition unit that acquires a polarization image of the target object or the polarization parameter acquisition unit.
  • the reflection removing unit is configured to remove a reflection component from the image of the target object based on the polarization image of the target object and the polarization model detected by the polarization model detection unit. Image processing apparatus as described.
  • a polarization model indicating the polarization characteristic of the target object is detected based on polarization images of the target object in one or more polarization directions and polarization parameters acquired by the polarization parameter acquisition unit. Be done. For this reason, even when polarization images of three or more polarization directions can not be acquired, it becomes possible to detect the polarization characteristic of the target object, and an apparatus using an image subjected to various processing such as reflection removal processing based on the polarization model. It is suitable for

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

偏光画像取得部１１ａは、対象物体の１以上の偏光方向の偏光画像を取得する。偏光パラメータ取得部１２-1は、感度補正後の無偏光画像に基づいて偏光モデルの輝度平均αを算出する。また偏光パラメータ取得部１２-1は、算出した輝度平均αと予め記憶されている対象物体の法線の天頂角θと屈折率ｒおよび拡散反射と鏡面反射のいずれが主体であるかを示す反射特性情報に基づき偏光モデルの振幅βを算出する。偏光モデル検出部１３-1は、対象物体の１以上の偏光方向の偏光画像と輝度平均αと偏光モデルの振幅βに基づき、偏光モデルの位相φを算出することにより、１以上の偏光方向の偏光画像を用いて対象物体の偏光特性を検出できる。

Description

画像処理装置と画像処理方法およびプログラム
　この技術は、画像処理装置と画像処理方法およびプログラムに関し、１以上の偏光方向の偏光画像を用いて対象物体の偏光特性を検出できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光フィルタを配置して、この偏光フィルタを回して撮影することで複数偏光方向の偏光画像が取得する方法が開示されている。また、画素毎に異なる偏光方向の偏光フィルタを設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を取得する方法が開示されている。
　また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像を偏光モデルにあてはめることによって法線情報の算出が行われている。また、非特許文献２では、偏光画像を偏光モデルにあてはめる場合、偏光方向が互いに異なる３以上の偏光輝度を用いることが示されている。
国際公開第２００８／０９９５８９号
宮崎大輔，池内克史：「偏光の基礎理論とその応用」，情報処理学会論文誌　コンピュータビジョンとイメージメディア，2008 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、偏光画像に基づいて偏光モデルを検出する場合、偏光方向が異なる３以上の偏光輝度が必要であるが、撮像条件等によっては必要な数の偏光輝度が得られない場合がある。例えば、イメージセンサで飽和や黒つぶれが生じると、３偏光方向以上の偏光輝度を得ることができない。
　そこで、この技術では、１以上の偏光方向の偏光画像を用いて対象物体の偏光特性を検出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部を有する画像処理装置にある。
　この技術においては、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する。偏光パラメータ取得部は、偏光パラメータ取得部は、対象物体の無偏光画像を取得する無偏光画像取得部と、対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、対象物体の法線の方位角を記憶した位相記憶部を、偏光画像の偏光方向の数に応じて１または複数組み合わせて設けている。また、偏光パラメータ取得部に無偏光画像取得部を設けた場合、偏光画像の感度に無偏光画像取得部で取得された無偏光画像を補正する感度補正部をさらに設ける。偏光パラメータ取得部は、感度補正部で補正された無偏光画像と、情報記憶部に記憶されている特性情報に基づき、偏光モデルの振幅を示す偏光パラメータを取得する。また、無偏光画像取得部は、対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行い、無偏光画像を取得してもよい。
　対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または偏光子を設けた偏光画素と偏光子が設けられていない無偏光画素を有する構成とする。情報記憶部に記憶された天頂角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度である。あるいは、情報記憶部に記憶された天頂角は、対象物体の三次元形状に基づいた角度である。また、情報記憶部は、偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する。位相記憶部に記憶された方位角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度である。あるいは、位相記憶部に記憶された方位角は、対象物体の三次元形状に基づいた角度である。また、位相記憶部に記憶された方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度としてもよい。さらに、方位角を設定する方位角入力部を備え、方位角入力部は、ユーザ操作に応じた方位角を位相記憶部に記憶させて、位相記憶部に記憶された方位角に基づき検出された偏光モデルを用いて、偏光画像から反射成分を除去した画像を表示する。
　また、偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、偏光モデル検出部は、飽和検出部で飽和状態でないと検出された偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき偏光モデルを検出する。また、画像処理装置には、対象物体の偏光画像を取得する偏光画像取得部を設けてもよく、対象物体の偏光画像と偏光モデル検出部で検出された偏光モデルに基づき対象物体の画像から反射成分を除去する反射除去部を設けてもよい。
　この技術の第２の側面は、対象物体の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出することを含む画像処理方法にある。
　この技術の第３の側面は、対象物体の偏光特性を示す偏光モデルの検出をコンピュータで実行させるプログラムであって、偏光画像で取得された前記対象物体の偏光画像と、偏光パラメータ取得部で取得された偏光パラメータに基づき、前記偏光モデルを検出する手順を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術によれば、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルが検出される。したがって、３偏光方向以上の偏光画像を取得できない場合でも、対象物体の偏光特性を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
偏光モデルを説明するための図である。 輝度と偏光角との関係を例示した図である。 取得されている情報と未知のパラメータのパターンを例示した図である。 第１の実施の形態の構成を例示した図である。 偏光画像取得部の構成を例示した図である。 偏光画素と無偏光画素を設けた画素配置を例示した図である。 マルチカメラを例示した図である。 偏光モデル振幅検出部の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第２の実施の形態の構成を例示した図である。 第３の実施の形態の構成を例示した図である。 第４の実施の形態の構成を例示した図である。 他の実施の形態の構成を例示した図である。 車内に偏光画像取得部を設けてフロントガラスを介して車外を撮像する場合を例示した図である。 三次元形状に基づき天頂角を算出する場合を例示した図である。 車に偏光画像取得部を設けて前方を撮像する場合を例示した図である。 方位角を近傍位置の方位角に基づく角度とする場合を説明するための図である。 方位角入力部の構成を例示した図である。 方位角を指定可能とするＧＵＩ画像を例示した図である。 反射特性情報を入力するためのＧＵＩ画像を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光モデルについて
　２．画像処理装置の構成
　３．第１の実施の形態
　４．第２の実施の形態
　５．第３の実施の形態
　６．第４の実施の形態
　７．他の実施の形態
　８．天頂角や方位角の取得について
　９．応用例
　＜１．偏光モデルについて＞
　図１は、偏光モデルを説明するための図である。例えば光源ＬＴを用いて対象物体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して対象物体ＯＢの撮像を行う。この場合、取得される撮像画（以下「偏光撮像画」という）は、偏光板ＰＬの偏光方向に応じて対象物体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上として、ｘ軸に対するｙ軸方向の角度を、偏光板ＰＬの偏光方向（透過軸の角度）を示す偏光角υとする。偏光板ＰＬは、偏光方向が１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最高輝度Ｉmaxが観測されたときの偏光角υを法線の方位角φとする。このような定義を行うと、偏光板ＰＬの偏光方向を変化させると、観測される輝度Ｉ（υ）は式（１）の式であらわすことができる。本技術では、式（１）を偏光モデルと呼ぶ。
　Ｉ（υ）＝α＋β・Ｃｏｓ（２υ－２φ）　　・・・（１）
　図２は、輝度と偏光角との関係を例示している。式（１）におけるパラメータα，β，φは、偏光によるＣｏｓ波形を表現するパラメータである。パラメータαは、偏光モデルの輝度平均をあらわす。パラメータβは偏光モデルの振幅をあらわし、偏光モデルの輝度平均から偏光モデルの最大値までの大きさ、あるいは偏光モデルの最大値と最小値の差の１／２倍となる。パラメータφは方位角であり偏光モデルの位相を示している。また、偏光板ＰＬを設けたことによる感度低下を補正する感度補正ゲインｇと輝度平均αとの乗算結果は、偏光板ＰＬを介することなく撮像を行うことにより得られた撮像画（以下「無偏光撮像画」という）の輝度に相当する。
　＜２．画像処理装置の構成＞
　この技術の画像処理装置では、取得されている情報や既知のパラメータに基づき、未知のパラメータを算出することで、偏光モデルの検出を行う。具体的には、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出する。
　図３は、取得されている情報と未知のパラメータのパターンを例示しており、パターン１では、偏光画像（１以上の偏光方向）と無偏光画像（輝度平均α）と振幅βが取得されており、偏光モデル検出部は位相（方位角）φを算出する。なお、後述するように無偏光画像に基づき輝度平均αを取得できる。パターン２では、偏光画像（１以上の偏光方向）と無偏光画像（輝度平均α）と位相φが取得されており、偏光モデル検出部は振幅βを算出する。パターン３では、偏光画像（２以上の偏光方向）と無偏光画像（輝度平均α）が取得されており、偏光モデル検出部は位相φと振幅βを算出する。パターン４では、偏光画像（２以上の偏光方向）と位相φが取得されており、偏光モデル検出部は輝度平均αと振幅βを算出する。
　偏光パラメータ取得部では、対象物体の無偏光画像を取得する無偏光画像取得部と、対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、対象物体の法線の方位角を記憶した位相記憶部とが、偏光画像の偏光方向の数に応じて１または複数組み合わせて設けられており、図３に示す取得されている情報において、偏光画像を除く他の情報を取得する。以下、各パターンについて説明する。
　＜３．第１の実施の形態＞
　次に、画像処理装置の第１の実施の形態について説明する。第１の実施の形態は、図３のパターン１に相当しており、１以上の偏光方向の偏光画像と無偏光画像と偏光モデルの振幅に基づき偏光モデルを検出する。
　図４は、第１の実施の形態の構成を例示している。画像処理装置１０-1は、偏光画像取得部１１ａと偏光パラメータ情報取得部１２-1と偏光モデル検出部１３-1を有している。
　偏光画像取得部１１ａは、１以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-1へ出力する。１以上の偏光方向の偏光画像を取得するとは、各画素が同じ偏光方向である偏光画像を１偏光方向以上取得する場合と、１以上の偏光方向の偏光画素を有する偏光画像を取得する場合を含む。
　図５は、偏光画像取得部の構成を例示している。例えば、図５の（ａ）は、撮像レンズ等を含む撮像光学系とイメージセンサ等で構成されたカメラブロック１１１の前面に偏光板１１２を設けた構成を示している。この構成の偏光画像取得部１１ａは、偏光板１１２を回転させて撮像を行い、偏光方向毎の偏光画像を取得する。例えば、偏光板１１２の回転位相差が０度または１８０度のタイミングで撮像を行えば、各画素が１偏光方向の偏光画像を取得できる。また、偏光板１１２の回転位相差が４５度のタイミングで撮像を行えば、各画素が同じ偏光方向である偏光画像を４つの偏光方向毎に取得できる。また、偏光板１１２を着脱可能とすれば無偏光画像を取得することもできる。
　図５の（ｂ）は、イメージセンサ１１３の入射面に偏光素子（例えばワイヤーグリッド等）１１４を配置した構成とされている。なお、図５の（ｂ）では、２×２画素が１つの画素群とされており、１画素群内の各画素が異なる４つの偏光方向とされている。このように偏光画像取得部１１ａを構成すれば、異なる４つの偏光方向の偏光画素を含む偏光画像を取得できる。また、１画素群の偏光画素は、図５の（ｂ）に示すように４つの偏光方向のいずれかである場合に限らず、３つの偏光方向や２つの偏光方向あるいは１つの偏光方向として、３つ乃至１つの偏光方向の偏光画素を含む偏光画像を取得してもよい。また、偏光画像取得部１１ａには、偏光画素だけでなく無偏光画素を設けてもよい。さらに、偏光画像取得部１１ａが図５の（ｂ）や後述する図６の構成である場合、処理対象の画素において輝度が得られていない偏光方向について、この偏光方向と等しい偏光画素の輝度（偏光輝度）を用いた補間処理やフィルタ処理等によって偏光輝度を算出してもよい。この場合、各画素が同じ偏光方向である偏光画像を偏光方向毎に取得することが可能となる。なお、偏光画像取得部１１ａは、１以上の偏光方向の偏光画像を取得できる構成であればよく、図５に示す構成に限られない。偏光画像取得部１１ａは、取得した偏光画像を偏光モデル検出部１３-1へ出力する。
　偏光パラメータ情報取得部１２-1は、図４に示すように、無偏光画像取得部１２１と感度補正部１２２と偏光モデル振幅検出部１２３を有している。
　無偏光画像取得部１２１は、偏光子（例えば偏光板１１２や偏光素子１１４）を用いることなく対象物体を撮像して無偏光画像を取得する。さらに、無偏光画像取得部１２１は、取得した無偏光画像に基づき偏光モデルの輝度平均αを算出する。
　無偏光画像取得部１２１は、例えば偏光画像取得部１１ａが図５の（ａ）に示す構成である場合、カメラブロック１１１の前面に配置された偏光板１１２を取り除いて撮像を行うことで生成された無偏光画像を取得する。また、例えば偏光画像取得部１１ａが図５の（ｂ）に示す構成である場合、イメージセンサ１１３に無偏光画素を設けて、無偏光画素で生成された信号に基づく無偏光画像を取得してもよい。
　図６は、偏光画素と無偏光画素を設けた画素配置を例示している。図６の（ａ）は、２×２画素を１画素群として、１画素群が２つの偏光方向（例えば透過軸が０度と４５度）のいずれかである２つの偏光画素と２つの無偏光画素で構成されている場合を例示している。また、図６の（ｂ）は、２×２画素を１画素群として、１画素群が１つの偏光方向（例えば透過軸が０度）である偏光画素と３つの無偏光画素を設けた場合を例示している。
　また、無偏光画像取得部１２１は、偏光板１１２や偏光素子１１４を用いることなく構成された通常の撮像装置で、偏光画像取得部１１ａの位置から同じように所望の対象物体を撮像して得られる無偏光画像を取得してもよい。
　さらに、異なる方向の偏光板を前面に取り付けた複数のカメラブロックと、偏光板を取り付けないカメラブロックで構成されたマルチカメラを、偏光画像取得部１１ａと無偏光画像取得部１２１として用いても良い。なお、図７は、マルチカメラを例示しており、カメラブロックＣＭＢ-1には偏光板を設けていない構成として、カメラブロックＣＭＢ-2～ＣＭＢ-m（ｍ≧２）には対象物体からの光の入射側に、偏光方向がカメラブロック毎に異なる偏光板ＰＬ-2～ＰＬ-mを設けた構成とされている。この場合、カメラブロックＣＭＢ-1では無偏光画像が取得されて、カメラブロックＣＭＢ-2～ＣＭＢ-mでは偏光画像が取得される。なお、カメラブロックＣＭＢ-1～ＣＭＢ-mは、視点位置が異なることから無偏光画像や偏光画像について視差補正を行う。
　感度補正部１２２は、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを画素毎（または画素群毎）に算出する。感度補正部１２２は、算出した輝度平均αを偏光モデル振幅検出部１２２と偏光モデル検出部１３-1へ出力する。
　α　＝　ｇ・I　　・・・（２）
　偏光モデル振幅検出部１２３は、感度補正部１２２で算出された輝度平均αを用いて偏光モデルの振幅を検出する。図８は、偏光モデル振幅検出部の構成を例示している。偏光モデル振幅検出部１２３は、情報記憶部１２３１と偏光度算出部１２３２と振幅検出部１２３３を有している。情報記憶部１２３１には、後述するように対象物体の法線の天頂角θと屈折率ｒおよび拡散反射と鏡面反射のいずれが主体であるかを示す反射特性情報が記憶されている。偏光度算出部１２３２は、情報記憶部１２３１に記憶されている反射特性情報に応じて式（３）または式（４）を選択して、天頂角θと屈折率ｒに基づき偏光度ρ（θ，ｒ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　さらに、振幅検出部１２３３は、偏光度算出部１２３２で算出された偏光度ρ（θ，ｒ）と無偏光画像取得部１２１から供給された輝度平均αを用いて式（５）の演算を行い、振幅βを算出して偏光モデル検出部１３-1へ出力する。
　β　＝　α・ρ（θ，ｒ）　　・・・（５）
　図４に戻り、偏光モデル検出部１３-1は、偏光パラメータ情報取得部１２-1から偏光モデルの輝度平均αと振幅βが供給されていることから、未知パラメータである位相φを算出する。偏光モデル検出部１３-1は、偏光モデルの輝度平均αと振幅βおよび偏光画像取得部１１ａから供給された１以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）を用いて式（６）に基づき位相φを算出する。なお、「ｎ」は偏光輝度がいずれの偏光方向であるかを示すインデックスであり、後述する説明では偏光方向数を「Ｎ」（ｎ＝１～Ｎ)とする。偏光モデル検出部１３-1は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。
Figure JPOXMLDOC01-appb-M000002
　図９は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０-1は、１以上の偏光方向の偏光画像を取得する。画像処理装置１０-1は、カメラブロック１１１の前面に偏光板１１２が前面に設けられたカメラブロック、あるいは１以上の偏光方向の偏光画素を有するイメージセンサで得られた偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理装置１０-1は、偏光パラメータを取得する。画像処理装置１０-1は、感度補正後の無偏光画像に基づいて偏光モデルの輝度平均αを算出する。また、画像処理装置１０-1は、算出した輝度平均αと予め記憶されている対象物体の法線の天頂角θと屈折率ｒおよび拡散反射と鏡面反射のいずれが主体であるかを示す反射特性情報に基づき偏光モデルの振幅βを算出してステップＳＴ３に進む。
　ステップＳＴ３で画像処理装置１０-1は、偏光モデルの検出処理を行う。画像処理装置１０-1は、偏光モデルの輝度平均αと振幅βおよび偏光画像取得部１１ａからステップＳＴ１で取得した１以上の偏光方向の偏光画像とステップＳＴ２で取得した輝度平均αと振幅βに基づき偏光モデルの位相φを算出する。したがって、偏光モデルの輝度平均αと振幅βと位相φが得られることになる。また、ステップＳＴ１～３の処理を画素単位あるいは画素群単位で行うことで、対象物体の偏光モデルを画素単位あるいは画素群単位で検出できる。
　このように、第１の実施の形態によれば、無偏光画像と偏光モデルの振幅および１以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。また、図６の（ｂ）に示すように、偏光画素と無偏光画素を設けた場合、１つの偏光方向の偏光画像から偏光モデルを検出できるだけでなく、無偏光画素が多く設けられて、偏光子の着脱等を行うことなく偏光モデルの検出と高感度で高解像度の無偏光画像の取得が可能となる。したがって、例えば検出した偏光モデルを用いて反射除去を行えば、周囲の物体の写り込みを生じることなく高解像度で美術品のアーカイブ等を容易に制作できるようになる。
　＜４．第２の実施の形態＞
　次に、画像処理装置の第２の実施の形態について説明する。第２の実施の形態は、図３のパターン２に相当しており、無偏光画像と位相および１以上の偏光方向の偏光画像から偏光モデルを検出する。
　図１０は、第２の実施の形態の構成を例示している。画像処理装置１０-2は、偏光画像取得部１１ａと偏光パラメータ情報取得部１２-2と偏光モデル検出部１３-2を有している。
　偏光画像取得部１１ａは、第１の実施の形態と同様に構成されており、１以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-2へ出力する。
　偏光パラメータ情報取得部１２-2は、無偏光画像取得部１２１と感度補正部１２２および偏光モデル位相記憶部１２４を有している。
　無偏光画像取得部１２１は、第１の実施の形態と同様に構成されており、無偏光画像を取得して感度補正部１２２へ出力する。感度補正部１２２は、第１の実施の形態と同様に構成されており、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを偏光モデル検出部１３-2へ出力する。
　偏光モデル位相記憶部１２４は、予め位相（方位角）φが記憶されている。偏光モデル位相記憶部１２４は、記憶している位相φを偏光モデル検出部１３-2へ出力する。
　偏光モデル検出部１３-2は、偏光パラメータ情報取得部１２-2から偏光モデルの輝度平均αと位相φが供給されていることから、未知パラメータである振幅βを算出する。偏光モデル検出部１３-2は、偏光モデルの輝度平均αと位相φおよび偏光画像取得部１１ａから供給された１以上の偏光方向である偏光画像の偏光輝度Ｉ（φn）を用いて式（７）に基づき振幅βを算出する。偏光モデル検出部１３-2は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。
Figure JPOXMLDOC01-appb-M000003
　なお、第２の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。
　このように、第２の実施の形態によれば、無偏光画像と位相および１以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。
　＜５．第３の実施の形態＞
　次に、画像処理装置の第３の実施の形態について説明する。第３の実施の形態は、図３のパターン３に相当しており、無偏光画像と２以上の偏光方向の偏光画像から偏光モデルを検出する。
　図１１は、第３の実施の形態の構成を例示している。画像処理装置１０-3は、偏光画像取得部１１ｂと偏光パラメータ情報取得部１２-3と偏光モデル検出部１３-3を有している。
　偏光画像取得部１１ｂは、第１の実施の形態の偏光画像取得部１１ａと同様に構成されているが、取得可能な偏光画像の偏光方向の数が異なり、偏光画像取得部１１ｂは、２以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-3へ出力する。
　偏光パラメータ情報取得部１２-3は、無偏光画像取得部１２１と感度補正部１２２を有している。
　無偏光画像取得部１２１は、第１の実施の形態と同様に構成されており、無偏光画像を取得して感度補正部１２２へ出力する。感度補正部１２２は、第１の実施の形態と同様に構成されており、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを偏光モデル検出部１３-3へ出力する。
　偏光モデル検出部１３-3は、偏光パラメータ情報取得部１２-3から偏光モデルの輝度平均αが供給されていることから、未知パラメータである振幅βと位相φを算出する。
　偏光モデル検出部１３-3は、偏光パラメータ情報取得部１２-2から供給された偏光モデルの輝度平均αと偏光画像取得部１１ｂから供給された２以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）（ｎはｎ≧２）を用いて振幅βと位相φを算出する。また、偏光モデル検出部１３-3は、偏光モデルの輝度平均αと算出した振幅βと位相φを、偏光モデルの検出結果として出力する。
　偏光モデル検出部１３-3は、振幅βと位相φを式（８），（９）に基づき算出する。式（８）（９）において、「Ａ」は式（１０）に基づいて算出して、「Ｂ」は式（１１）に基づいて算出する。さらに、式（１０）（１１）において「Ｘ」は式（１２）、「Ｙ」は式（１３）、「Ｚ」は式（１４）に基づいて算出する。
Figure JPOXMLDOC01-appb-M000004
　偏光モデル検出部１３-3は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。
　なお、第３の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。
　このように、第３の実施の形態によれば、無偏光画像と２以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。
　＜６．第４の実施の形態＞
　次に、画像処理装置の第４の実施の形態について説明する。第４の実施の形態は、図３のパターン４に相当しており、２以上の偏光方向の偏光画像および偏光モデルの位相（方位角）から偏光モデルを検出する。
　図１２は、第４の実施の形態の構成を例示している。画像処理装置１０-4は、偏光画像取得部１１ｂと偏光パラメータ情報取得部１２-4と偏光モデル検出部１３-4を有している。
　偏光画像取得部１１ｂは、第３の実施の形態と同様に構成されており、２以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-4へ出力する。
　偏光パラメータ情報取得部１２-4は、偏光モデル位相記憶部１２４を有している。偏光モデル位相記憶部１２４は、第２の実施の形態と同様に、予め位相（方位角）φが記憶されている。偏光モデル位相記憶部１２４は、記憶している位相φを偏光モデル検出部１３-4へ出力する。
　偏光モデル検出部１３-4は、偏光パラメータ情報取得部１２-4から偏光モデルの位相φが供給されていることから、未知パラメータである輝度平均αと振幅βを算出する。偏光モデル検出部１３-4は、偏光モデルの位相φおよび偏光画像取得部１１ｂから供給された２以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）（ｎはｎ≧２）を用いて式（１５）に基づき輝度平均αを算出して、式（１６）に基づき振幅βを算出する。また、式（１５）（１６）において「Ｙ」は式（１７）、「Ｐ」は式（１８）、「Ｒ」は式（１９）、「Ｑ」は式（２０）に基づいて算出する。
　偏光モデル検出部１３-4は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。
Figure JPOXMLDOC01-appb-M000005
　なお、第４の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。
　このように、第４の実施の形態によれば、２以上の偏光方向の偏光画像および偏光モデルの位相（方位角）から偏光モデルを検出できるようになる。
　＜７．他の実施の形態＞
　図１３は、他の実施の形態の構成を例示している。画像処理装置１０-5は、偏光画像取得部１５と飽和検出部１６と偏光パラメータ情報取得部１７および偏光モデル検出部１８を有している。
　偏光画像取得部１５は、第２乃至第４の実施の形態の偏光画像取得部１１ａ，１１ｂのいずれかと同様に構成されており、偏光方向毎である複数の偏光画像を取得して飽和検出部１６と偏光モデル検出部１８へ出力する。
　飽和検出部１６は、複数の偏光画像の画素毎に偏光輝度が飽和状態であるか否かを検出する。飽和検出部１６は検出結果を偏光パラメータ情報取得部１７と偏光モデル検出部１８へ出力する。
　偏光パラメータ情報取得部１７は、飽和検出部１６から供給された検出結果によって飽和状態でない偏光方向が２方向である場合、上述の第１乃至第４の実施の形態の偏光パラメータ情報取得部１２-1～１２-4のいずれかと同様な処理を偏光パラメータ情報取得部１７で行い、取得したパラメータを偏光モデル検出部１８へ出力する。また、偏光パラメータ情報取得部１７は、飽和状態でない偏光方向が１方向である場合、上述の第１または第２の実施の形態の偏光パラメータ情報取得部１２-1，１２-2のいずれかと同様な処理を偏光パラメータ情報取得部１７で行い、取得したパラメータを偏光モデル検出部１８へ出力する。
　偏光モデル検出部１８は、飽和検出部１６から供給された検出結果によって飽和状態でない偏光方向が３方向以上である場合、偏光画像取得部１５で取得された３以上の偏光方向の偏光画像の偏光輝度を用いて、従来のように偏光モデルのパラメータを検出する。また、偏光モデル検出部１８は、飽和状態でない偏光方向が１方向である場合や２方向である場合、偏光パラメータ情報取得部１７で選択した第１乃至第４の実施の形態のいずれかの偏光パラメータ情報取得部に対応する偏光モデル検出部と同様な処理を行い、偏光モデルを検出する。例えば偏光パラメータ情報取得部１７で偏光パラメータ情報取得部１２-1の動作を行う場合、偏光モデル検出部１８は偏光モデル検出部１３-1と同様な処理を行い、偏光モデルを検出する。また、偏光パラメータ情報取得部１７で偏光パラメータ情報取得部１２-2の動作を行う場合、偏光モデル検出部１８は偏光モデル検出部１３-2と同様な処理を行い、偏光モデルを検出する。
　このような処理を行えば、各画素において、偏光方向毎の偏光輝度で飽和を生じても、飽和状況に応じて偏光モデルの検出動作の切り替えが行われるので、従来の方法では偏光特性を検出することが困難な場合でも、偏光特性を検出できるようになる。例えば、４偏光素子を備えた偏光イメージセンサによって偏光画像取得部が構成されている場合、４偏光輝度のうち２偏光輝度が飽和した場合においても、既知の位相から偏光モデルを検出できる。
　また、画像処理装置は、上述の第１乃至他の実施の形態のいずれかの構成に限られるものではなく、上述の実施の形態の構成を組み合わせてもよい。すなわち、偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデル検出部の動作を上述の実施の形態のいずれかに切り替えるようにしてもよい。例えば、偏光画像の偏光方向数が１以上である場合、偏光パラメータ取得部で取得される偏光パラメータに応じて、図３のパターン１に対応する第１の実施の形態の動作またはパターン２に対応する第２の実施の形態の動作を行うようにする。このような処理を行えば、種々の状況に応じて偏光モデルの検出を行うことができるようになる。
　また、上述の実施の形態では、偏光画像取得部と偏光パラメータ取得部が画像処理装置に設けられている場合を例示したが、偏光画像取得部や偏光パラメータ取得部，偏光パラメータ取得部の無偏光画像取得部は、画像処理装置と別個に設けた構成であってもよい。
　＜８．天頂角や方位角の取得について＞
　次に、天頂角の取得について説明する。対象物体と偏光画像取得部の位置関係が明らかである場合、天頂角は対象物体と偏光画像取得部に関する幾何的情報に基づいた角度とする。図１４は、例えば車内に偏光画像取得部を固定して設けてフロントガラスを介して車外を撮像する場合を例示している。ここで、偏光画像取得部１１ａ（１１ｂ）とフロントガラスの位置関係は明らかである。したがって、この位置関係を示す幾何的情報に基づきフロントガラスにおける偏光画像取得部１１ａ（１１ｂ）からの視点位置の法線の天頂角θを予め算出して、図８に示す情報記憶部１２３１に記憶させる。
　また、天頂角は、対象物体の三次元形状に基づいた角度でもよい。図１５は、三次元形状に基づき天頂角を算出する場合を例示している。対象物体ＯＢの三次元形状は、三次元形状取得部３１例えばＴｏＦ（Time Of Flight）センサやStructured light方式のデプスセンサ、ステレオカメラ等を用いて取得する。対象物体ＯＢの三次元形状が明らかであれば、対象物体ＯＢにおける偏光画像取得部１１ａ（１１ｂ）からの視点位置の法線の天頂角θを予め算出できるので、算出した天頂角θを図８に示す情報記憶部１２３１に記憶させる。
　次に、方位角（偏光モデルの位相）の取得について説明する。方位角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度とする。例えば、対象シーンの形状が常に一定であり、偏光画像取得部を固定して設置する場合、偏光画像取得部から見る対象物体の法線方向は常に一定であるため、方位角は常に既知の情報となる。すなわち、偏光画像取得部と対象物体の位置関係に関する幾何的情報に基づき方位角を算出して、図１０に示す偏光モデル位相記憶部１２４に記憶させる。図１６は、例えば車に偏光画像取得部を設けて前方を撮像する場合を例示している。なお、図１６の（ａ）は車と路面を示しており、図１６の（ｂ）は、車に設けられた偏光画像取得部１１ａ（１１ｂ）で撮像された偏光画像を例示している。対象物体を路面とすると、路面と平行な方向を方位角が０度であるとすると、路面の法線は明らかであり方位角はおおよそ９０度であると仮定できる。したがって、路面を対象物体とする場合、仮定した方位角を図１０に示す偏光モデル位相記憶部１２４に記憶させる。また、対象物体を道路のみと仮定した場合、道路の法線は変わらず方位角は既知であることから、偏光モデル位相記憶部１２４に記憶させた方位角（位相）を用いて検出した偏光モデルに基づき、路面反射光を除去できるようになる。なお、図１４に示すように、偏光画像取得部１１ａ（１１ｂ）とフロントガラスの位置関係は明らかであることから、偏光画像取得部１１ａ（１１ｂ）の位置とフロントガラスの面方向に基づき方位角を算出して、偏光モデル位相記憶部１２４に記憶させてもよい。この場合、偏光モデル位相記憶部１２４に記憶させた方位角（位相）を用いて検出した偏光モデルに基づき、フロントガラスに映り込んだダッシュボード等を除去できるようになる。
　さらに、方位角は、対象物体の三次元形状に基づいた角度でもよい。対象物体の三次元形状は、上述の三次元形状取得部を用いてデプスマップを取得する。このデプスマップを微分することで、対象物体の各点における面方向を算出できるので、各点における面方向に基づき法線の方位角を算出して図１０に示す偏光モデル位相記憶部１２４に記憶させる。このように、被写体の形状に応じたデプスマップを利用して法線を求めることで、偏光方向が少ない偏光画像でも偏光モデルを検出することができる。したがって、検出した偏光モデルを利用して反射成分を除去すれば、被写体に光源等が写り込んで輝度が飽和状態となっている場合でも、被写体の正しい輝度を求めることができる。
　また、方位角は近傍位置の方位角に基づく角度としてもよい。図１７は、方位角を近傍位置の方位角に基づく角度とする場合を説明するための図である。例えば、偏光画像取得部１１ａでは、異なる４つの偏光方向の偏光画素からなる第１画素群と１つの偏光画素と３つの無偏光画素からなる第２画素群が隣接して配置されている。この場合、第１画素群は異なる４つの偏光方向の偏光画素で構成されていることから、偏光画素の輝度に基づき第１画素群について偏光モデルを検出できる。また、第１画素群と第２画素群は隣接していることから、方位角（位相）φの違いは少ないとして、例えば第１画素群について検出した偏光モデルの位相を第２画素群の方位角として、図１０に示す偏光モデル位相記憶部１２４に記憶させてもよい。また、第２画素群の方位角は、両側に隣接する第１画素群の位相に基づき第２画素群の方位角を補間等によって算出してもよい。
　さらに、方位角はユーザ操作によって指定できるようにしてもよい。具体的には、方位角入力部を設けて、方位角入力部で指定された方位角を偏光モデル位相記憶部１２４に記憶させる。
　図１８は方位角入力部の構成を例示している。方位角入力部１９は、入力操作部１９１と画像提示部１９２を有している。入力操作部１９１は、方位角の値を調整可能な操作ダイヤル、あるいは入力操作部１９１と画像提示部１９２によって方位角の値を調整可能とするＧＵＩが構成されている。入力操作部１９１は、操作ダイヤルあるいはＧＵＩを利用してユーザが指定した方位角を、偏光モデル位相記憶部１２４に記憶させる。図１９は、方位角を指定可能とするＧＵＩ画像を例示している。図１９の（ａ）は、テキストボックスを設けた場合を例示している。この場合、テキストボックスＴＸＢに入力された方位角を、指定された方位角φtmpとして偏光モデル位相記憶部１２４に記憶させる。また、アップダウンアローボタンＢＴudを設けて、アップダウンアローボタンＢＴudの操作に応じて方位角φtmpを増減させてもよい。図１９の（ｂ）は、スライダーを設けた場合を例示している。この場合、スライダーＳＬＤの位置に応じた方位角を、指定された方位角φtmpとして偏光モデル位相記憶部１２４に記憶させる。
　このように方位角を偏光モデル位相記憶部１２４に記憶させると、上述の第２の実施の形態で説明したように、無偏光画像と方位角（位相）および１以上の偏光方向の偏光画像から偏光モデルを特定できる。ただし、ユーザが指定した方位角が実際の方位角と異なる場合、特定された偏光モデルを用いても所望の効果を得ることができない。例えば、偏光モデルに基づき鏡面反射成分の除去を行う場合、ユーザが指定した方位角が実際の方位角と異なると、鏡面反射成分を精度よく除去することができない。そこで、画像提示部１９２には反射除去部１９２ａと表示部１９２ｂを設けて、ユーザが指定した方位角φtmpを用いて特定された偏光モデルに基づき対象物体における反射の除去処理が行われた画像を表示する。例えば偏光モデルの振幅変化分は鏡面反射成分を示していることから、反射除去部１９２ａは無偏光画像取得部１２１で取得された無偏光画像から振幅変化分の除去を行い、振幅変化分の除去処理後の画像を表示部１９２ｂで表示する。また、振幅変化分の除去処理後の画像と共に上述のテキストボックスやアップダウンアローボタンＢＴud、スライダー等を表示してもよい。このように、ユーザ操作表示とユーザが指定した方位角を用いて特定された偏光モデルに基づく振幅変化分の除去処理結果を表示すれば、画像提示部１９２で提示された画像で反射成分が最も少なくなるように方位角を調整することで、容易に正しい方位角を偏光モデル位相記憶部１２４に記憶させることができる。また、反射除去部１９２ａは、方位角入力部１９に設ける場合に限らず、方位角入力部１９とは独立して反射除去部１９２ａを設けてもよい。
　図２０は、反射特性情報を入力するためのＧＵＩ画像を例示している。反射特性情報の入力では、拡散反射を主体とするチェックボックスＣＢＡと、鏡面反射を主体とするチェックボックスＣＢＢを設けて、いずれかチェックボックスの選択結果に応じて反射特性情報を生成して、情報記憶部１２３１へ記憶する。
　このような処理を行えば、偏光モデルの検出に必要な情報を画像処理装置に記憶させることができるようになる。
　＜９．応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２２は、撮像部１２０３１の設置位置の例を示す図である。
　図２２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、本開示に係る技術の偏光画像取得部１１aや偏光パラメータ情報取得部における無偏光画像取得部１２１は、撮像部１２０３１等に適用され得る。また、本開示に係る技術の偏光パラメータ情報取得部（無偏光画像取得部１２１を除く）と偏光モデル検出部は、以上説明した構成のうち、車外情報検出ユニット１２０３０に適用され得る。このように、本開示に係る技術を車両制御システムに適用すれば、検出した偏光モデルを用いて精度よく反射除去等を行うことが可能となり、ドライバの疲労軽減や自動運転に必要な情報を高精度に取得することが可能になる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部
を有する画像処理装置。
　（２）　前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた（１）に記載の画像処理装置。
　（３）　前記偏光パラメータ取得部に前記無偏光画像取得部を設けた場合、前記偏光画像の感度に前記無偏光画像取得部で取得された前記無偏光画像を補正する感度補正部をさらに設ける（２）に記載の画像処理装置。
　（４）　前記偏光パラメータ取得部は、前記感度補正部で補正された前記無偏光画像と、前記情報記憶部に記憶されている特性情報に基づき、前記偏光モデルの振幅を示す偏光パラメータを取得する（２）または（３）に記載の画像処理装置。
　（５）　前記無偏光画像取得部は、前記対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行うことにより無偏光画像を取得する（２）に記載の画像処理装置。
　（６）　前記対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または前記偏光子を設けた偏光画素と前記偏光子が設けられていない無偏光画素を有する構成である（５）に記載の画像処理装置。
　（７）　前記情報記憶部に記憶された前記天頂角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づく角度である（２）に記載の画像処理装置。
　（８）　前記情報記憶部に記憶された前記天頂角は、前記対象物体の三次元形状に基づいた角度である（２）に記載の画像処理装置。
　（９）　前記情報記憶部は、前記偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する（２）に記載の画像処理装置。
　（１０）　前記位相記憶部に記憶された前記方位角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づいた角度である（２）に記載の画像処理装置。
　（１１）　前記位相記憶部に記憶された前記方位角は、前記対象物体の三次元形状に基づいた角度である（２）に記載の画像処理装置。
　（１２）　前記位相記憶部に記憶された前記方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度である（２）に記載の画像処理装置。
　（１３）　前記方位角を設定する方位角入力部を備え、
　前記方位角入力部は、ユーザ操作に応じた方位角を前記位相記憶部に記憶させて、前記位相記憶部に記憶された前記方位角に基づき検出された前記偏光モデルを用いて、前記偏光画像から反射成分を除去した画像を表示する（２）に記載の画像処理装置。
　（１４）　前記偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、
　前記偏光モデル検出部は、前記飽和検出部で飽和状態でないと検出された前記偏光画像と前記偏光パラメータ取得部で取得された偏光パラメータに基づき前記偏光モデルを検出する（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　偏光モデル検出部は、前記偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデルの検出動作を切り替える（１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記対象物体の偏光画像を取得する偏光画像取得部または前記偏光パラメータ取得部をさらに有する（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記対象物体の偏光画像と前記偏光モデル検出部で検出された偏光モデルに基づき前記対象物体の画像から反射成分を除去する反射除去部を有する（１）乃至（１６）のいずれかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法およびプログラムでは、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルが検出される。このため、３以上の偏光方向の偏光画像を取得できない場合でも、対象物体の偏光特性を検出できるようになり、偏光モデルに基づき種々の処理、例えば反射除去処理等が行われた画像を用いる機器等に適している。
　１０-1，１０-2，１０-3，１０-4，１０-5・・・　画像処理装置
　１１ａ，１１ｂ，１５・・・　偏光画像取得部
　１２-1，１２-2，１２-3，１２-4，１７・・・　偏光パラメータ情報取得部
　１３-1，１３-2，１３-3，１３-4，１８・・・　偏光モデル検出部
　１６・・・　飽和検出部
　１９・・・　方位角入力部
　３１・・・　三次元形状取得部
　１１１・・・　カメラブロック
　１１２・・・　偏光板
　１１３・・・　イメージセンサ
　１１４・・・　偏光素子
　１２１・・・　無偏光画像取得部
　１２２・・・　感度補正部
　１２３・・・　偏光モデル振幅検出部
　１２４・・・　偏光モデル位相記憶部
　１９１・・・　入力操作部
　１９２・・・　画像提示部
　１９２ａ・・・　反射除去部
　１９２ｂ・・・　表示部
　１２３１・・・　情報記憶部
　１２３２・・・　偏光度算出部
　１２３３・・・　振幅検出部

Claims (19)

  1. 　対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部
    を有する画像処理装置。
  2. 　前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた
    請求項１に記載の画像処理装置。
  3. 　前記偏光パラメータ取得部に前記無偏光画像取得部を設けた場合、前記偏光画像の感度に前記無偏光画像取得部で取得された前記無偏光画像を補正する感度補正部をさらに設ける
    請求項２に記載の画像処理装置。
  4. 　前記偏光パラメータ取得部は、前記感度補正部で補正された前記無偏光画像と、前記情報記憶部に記憶されている特性情報に基づき、前記偏光モデルの振幅を示す偏光パラメータを取得する
    請求項３に記載の画像処理装置。
  5. 　前記無偏光画像取得部は、前記対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行うことにより無偏光画像を取得する
    請求項２に記載の画像処理装置。
  6. 　前記対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または前記偏光子を設けた偏光画素と前記偏光子が設けられていない無偏光画素を有する構成である
    請求項５に記載の画像処理装置。
  7. 　前記情報記憶部に記憶された前記天頂角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づく角度である
    請求項２に記載の画像処理装置。
  8. 　前記情報記憶部に記憶された前記天頂角は、前記対象物体の三次元形状に基づいた角度である
    請求項２に記載の画像処理装置。
  9. 　前記情報記憶部は、前記偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する
    請求項２に記載の画像処理装置。
  10. 　前記位相記憶部に記憶された前記方位角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づいた角度である
    請求項２に記載の画像処理装置。
  11. 　前記位相記憶部に記憶された前記方位角は、前記対象物体の三次元形状に基づいた角度である
    請求項２に記載の画像処理装置。
  12. 　前記位相記憶部に記憶された前記方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度である
    請求項２に記載の画像処理装置。
  13. 　前記方位角を設定する方位角入力部を備え、
    　前記方位角入力部は、ユーザ操作に応じた方位角を前記位相記憶部に記憶させて、前記位相記憶部に記憶された前記方位角に基づき検出された前記偏光モデルを用いて、前記偏光画像から反射成分を除去した画像を表示する
    請求項２に記載の画像処理装置。
  14. 　前記偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、
    　前記偏光モデル検出部は、前記飽和検出部で飽和状態でないと検出された前記偏光画像と前記偏光パラメータ取得部で取得された偏光パラメータに基づき前記偏光モデルを検出する
    請求項１に記載の画像処理装置。
  15. 　偏光モデル検出部は、前記偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデルの検出動作を切り替える
    請求項１に記載の画像処理装置。
  16. 　前記対象物体の偏光画像を取得する偏光画像取得部または前記偏光パラメータ取得部をさらに有する
    請求項１に記載の画像処理装置。
  17. 　前記対象物体の偏光画像と前記偏光モデル検出部で検出された偏光モデルに基づき前記対象物体の画像から反射成分を除去する反射除去部を有する
    請求項１に記載の画像処理装置。
  18. 　対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出する
    ことを含む画像処理方法。
  19. 　対象物体の偏光特性を示す偏光モデルの検出をコンピュータで実行させるプログラムであって、
    　偏光画像取得部で取得された前記対象物体の１以上の偏光方向の偏光画像と、偏光パラメータ取得部で取得された偏光パラメータに基づき、前記偏光モデルを検出する手順
    を前記コンピュータで実行させるプログラム。
PCT/JP2018/038079 2017-12-21 2018-10-12 画像処理装置と画像処理方法およびプログラム WO2019123795A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880080508.3A CN111480057B (zh) 2017-12-21 2018-10-12 图像处理装置、图像处理方法和程序
JP2019560824A JP7147784B2 (ja) 2017-12-21 2018-10-12 画像処理装置と画像処理方法およびプログラム
US16/770,908 US11663831B2 (en) 2017-12-21 2018-10-12 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017244982 2017-12-21
JP2017-244982 2017-12-21

Publications (1)

Publication Number Publication Date
WO2019123795A1 true WO2019123795A1 (ja) 2019-06-27

Family

ID=66992575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038079 WO2019123795A1 (ja) 2017-12-21 2018-10-12 画像処理装置と画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11663831B2 (ja)
JP (1) JP7147784B2 (ja)
CN (1) CN111480057B (ja)
WO (1) WO2019123795A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111537072A (zh) * 2020-04-22 2020-08-14 中国人民解放军国防科技大学 一种阵列式偏振相机的偏振信息测量系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080366A (ja) * 2018-11-13 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 受光装置
US11521504B2 (en) * 2020-03-18 2022-12-06 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
CN112767236B (zh) * 2020-12-30 2022-09-16 稿定（厦门）科技有限公司 图像扭曲效果渲染方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139751A (ja) * 2005-10-18 2007-06-07 National Institute Of Advanced Industrial & Technology 偏光変調型イメージング・エリプソメータ
JP3955616B2 (ja) * 2005-09-01 2007-08-08 松下電器産業株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP2009042040A (ja) * 2007-08-08 2009-02-26 Oji Keisoku Kiki Kk 偏光イメージングカメラを利用した偏光解析装置
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
US20130202214A1 (en) * 2010-04-21 2013-08-08 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
JP2015128228A (ja) * 2013-12-27 2015-07-09 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP2016177686A (ja) * 2015-03-20 2016-10-06 富士通株式会社 撮影装置
JP2017228983A (ja) * 2016-06-23 2017-12-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663752B2 (en) 2006-08-25 2010-02-16 National Institute Of Advanced Industrial Science And Technology Polarization modulation imaging ellipsometer
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
CN101542233B (zh) * 2007-08-07 2011-12-28 松下电器产业株式会社 图像处理装置以及图像处理方法
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
CN102809431B (zh) 2012-07-18 2014-08-20 西北工业大学 一种小型自动滤光片转轮多波段偏振成像系统
JP6407713B2 (ja) 2014-12-26 2018-10-17 山田化学工業株式会社 レーザー溶着用樹脂組成物
US10460422B2 (en) * 2015-11-10 2019-10-29 Sony Corporation Image processing device and image processing method
JP6682291B2 (ja) 2016-02-12 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3955616B2 (ja) * 2005-09-01 2007-08-08 松下電器産業株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP2007139751A (ja) * 2005-10-18 2007-06-07 National Institute Of Advanced Industrial & Technology 偏光変調型イメージング・エリプソメータ
JP2009042040A (ja) * 2007-08-08 2009-02-26 Oji Keisoku Kiki Kk 偏光イメージングカメラを利用した偏光解析装置
US20130202214A1 (en) * 2010-04-21 2013-08-08 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
JP2015128228A (ja) * 2013-12-27 2015-07-09 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP2016177686A (ja) * 2015-03-20 2016-10-06 富士通株式会社 撮影装置
JP2017228983A (ja) * 2016-06-23 2017-12-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAZAKI, DAISUKE ET AL.: "Transparent Surface Modeling from a Pair of Polarization Images", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 26, no. 1, January 2004 (2004-01-01), pages 73 - 82, XP001185857 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111537072A (zh) * 2020-04-22 2020-08-14 中国人民解放军国防科技大学 一种阵列式偏振相机的偏振信息测量系统及方法
CN111537072B (zh) * 2020-04-22 2022-11-11 中国人民解放军国防科技大学 一种阵列式偏振相机的偏振信息测量系统及方法

Also Published As

Publication number Publication date
JP7147784B2 (ja) 2022-10-05
US11663831B2 (en) 2023-05-30
CN111480057A (zh) 2020-07-31
US20210174127A1 (en) 2021-06-10
CN111480057B (zh) 2023-04-21
JPWO2019123795A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
JP6988819B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP7147784B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2017159382A1 (ja) 信号処理装置および信号処理方法
US10904503B2 (en) Image processing device, information generation device, and information generation method
JP6760298B2 (ja) 情報取得装置と情報取得方法
US11605661B2 (en) Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
US10877288B2 (en) Imaging device and imaging method
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP7136123B2 (ja) 画像処理装置と画像処理方法およびプログラムと情報処理システム
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022190848A1 (ja) 測距装置、測距システム及び測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18892199

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019560824

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18892199

Country of ref document: EP

Kind code of ref document: A1