WO2017056821A1 - 情報取得装置と情報取得方法 - Google Patents

情報取得装置と情報取得方法 Download PDF

Info

Publication number
WO2017056821A1
WO2017056821A1 PCT/JP2016/075294 JP2016075294W WO2017056821A1 WO 2017056821 A1 WO2017056821 A1 WO 2017056821A1 JP 2016075294 W JP2016075294 W JP 2016075294W WO 2017056821 A1 WO2017056821 A1 WO 2017056821A1
Authority
WO
WIPO (PCT)
Prior art keywords
reflection
information
unit
polarization
image
Prior art date
Application number
PCT/JP2016/075294
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
小柳津　秀紀
健人 赤間
卓 青木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,846 priority Critical patent/US10839248B2/en
Priority to CN201680055413.7A priority patent/CN108028892B/zh
Priority to JP2017543032A priority patent/JP6760298B2/ja
Publication of WO2017056821A1 publication Critical patent/WO2017056821A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3066—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state involving the reflection of light at a particular angle of incidence, e.g. Brewster's angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • This technology relates to an information acquisition device and an information acquisition method. Specifically, the subject information can be acquired from the image of the peripheral area using the reflection component.
  • Patent Document 1 discloses that a person such as a driver in a vehicle can be photographed by using a polarizing filter to reduce the influence of illumination light or sunlight reflected on the vehicle windshield. .
  • the reflection component when obtaining a desired image using polarization information, the reflection component is often removed.
  • the reflection component may include information on the visually recognized object in the blind spot area, and may be useful information for the driver of the vehicle, for example.
  • an object of the present technology is to provide an information acquisition device and an information acquisition method for acquiring information of a visual target object using a reflection component from an image of a peripheral region.
  • the first aspect of this technology is A reflection information generation unit that generates reflection information indicating a reflection component from a polarization image in a plurality of polarization directions;
  • An information acquisition apparatus comprising: a reflection information utilization unit that acquires information of a visual target reflected in the polarization image using the reflection information.
  • reflection information indicating a reflection component from a polarization image in a plurality of polarization directions for example, a collective region having a polarization degree equal to or greater than a threshold value is used as a reflection surface region
  • the reflection image that is an image of the reflection surface region is used as a reflection information generation unit.
  • the reflection information utilization unit acquires information on the visual target object reflected in the polarization image using the reflection information. For example, the reflection information utilization unit performs subject recognition using the reflection image and acquires an image of the visual recognition object.
  • the reflection information includes azimuth angle information of the reflection surface area, and the reflection information utilization unit displays the direction of the reflection surface area together with the image of the visual recognition object based on the azimuth angle information.
  • the reflection information utilization unit uses the reflection information of the corresponding visual target object in the corresponding reflective surface area corresponding to the plurality of viewpoints and the estimated distance of the corresponding reflective surface area to determine the position of the corresponding visual target object. get.
  • a depth estimation unit that estimates the distance of the reflection surface region from the polarization images of a plurality of viewpoints is provided.
  • the depth estimation unit estimates the distance of the reflection surface area for each polarization image using an image obtained by removing the reflection component from the polarization images of a plurality of viewpoints.
  • the reflection information utilization unit uses both the distance for each of the plurality of reflection surface regions and the reflection information for each of the plurality of reflection surface regions generated by the reflection information generation unit to visually reflect the plurality of reflection surface regions.
  • the reflection information using unit reflects the reflection surface area at multiple points in time using the distance of the reflection surface region at multiple points in time and the reflection information of the reflection surface region at multiple points of time generated by the reflection information generation unit.
  • the position of the object to be viewed is acquired.
  • the reflection information utilization unit is configured to obtain a polarization image acquisition unit at a predetermined point in time.
  • the reflection information using unit calculates the estimated distance of the reflective surface area at each time point and the reflection information on the reflective surface area at each time point generated by the reflection information generation unit. Is used to acquire the position of the visual target that is reflected in the reflective surface area.
  • the second aspect of this technology is Generating reflection information indicating a reflection component from a polarization image in a plurality of polarization directions by a reflection information generation unit;
  • the information on the visual target reflected in the polarization image is acquired by the reflection information using unit using the reflection information.
  • reflection information indicating a reflection component is generated from a polarization image in a plurality of polarization directions by a reflection information generation unit. Furthermore, the information on the visual object reflected in the polarization image using the reflection information is acquired by the reflection information utilization unit. For this reason, it becomes possible to easily confirm the visual recognition object located in, for example, the blind spot area by using the reflection component from the image of the peripheral area. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a vehicle control system. It is the figure which showed the example of installation of the polarization image acquisition part.
  • FIG. 1 illustrates the configuration of the information acquisition apparatus according to the first embodiment.
  • the information acquisition apparatus 10 includes a polarization image acquisition unit 20, a reflection information generation unit 30, and a reflection information utilization unit 40.
  • the polarization image acquisition unit 20 acquires a plurality of polarization images having different polarization directions, for example, polarization images having three or more polarization directions.
  • FIG. 2 is a diagram for explaining the polarization image acquired by the polarization image acquisition unit 20.
  • a plurality of polarization images having different polarization directions are imaged by arranging a polarization filter PLF having a pixel configuration of three or more polarization directions in the image sensor IMS.
  • Generate. 2A illustrates an example in which a polarization filter PLF serving as a pixel in any of four different polarization directions (polarization directions are indicated by arrows) is arranged on the incident surface of the image sensor IMS. is doing.
  • a plurality of polarization images with different polarization directions are imaged with cameras CM1 to CM4 by providing polarizing plates PL1 to PL4 with different polarization directions in front of the cameras CM1 to CM4. You may generate by doing.
  • a plurality of polarization images having different polarization directions may be generated using the configuration of the multi-lens array. For example, a plurality (four in the figure) of lenses LZ are provided on the front surface of the image sensor IMS, and an optical image of a subject is formed on the imaging surface of the image sensor IMS by each lens LZ.
  • a polarizing plate PL is provided in front of each lens LZ, and the polarizing direction of the polarizing plate PL is set to a different direction.
  • the polarization image acquisition unit 20 outputs a polarization image having three or more polarization directions acquired with such a configuration to the reflection information generation unit 30.
  • the polarization image acquisition unit 20 is provided with an image sensor and a camera separately, acquires an image signal from the image sensor and camera, and outputs a polarization image having three or more polarization directions to the reflection information generation unit 30. May be.
  • the reflection information generation unit 30 generates reflection information from a plurality of polarization images having different polarization directions.
  • the shape of the subject and the polarization image will be described with reference to FIG.
  • the light source LT is used to illuminate the subject OB
  • the camera CM images the subject OB through the polarizing plate PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate PL.
  • a plurality of polarization images are acquired by rotating the polarizing plate PL, for example, and the highest luminance is Imax and the lowest luminance is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarizing plate PL is rotated is a polarization angle ⁇ .
  • the polarizing plate PL returns to the original polarization state when rotated 180 degrees and has a period of 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is defined as an azimuth angle ⁇ .
  • the luminance I observed when the polarizing plate PL is rotated can be expressed as in Expression (1).
  • FIG. 4 illustrates the relationship between the luminance and the polarization angle.
  • the azimuth angle is shifted by 90 degrees compared to the polarization angle. Add or subtract 90 degrees. Therefore, as shown in FIG. 4, the azimuth angle ⁇ is taken at the portion of the minimum luminance Imin that is the lower limit of the luminance. Further, the difference (Imax ⁇ Imin) between the maximum luminance Imax and the minimum luminance Imin is a reflection component.
  • Equation (1) the polarization angle ⁇ is clear when a polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables. Therefore, by performing the fitting to the model equation shown in the equation (1) using the luminance of the polarization image having three or more polarization directions, the polarization having the maximum luminance based on the model equation indicating the relationship between the luminance and the polarization angle.
  • the azimuth angle ⁇ which is an angle, can be determined.
  • the azimuth angle ⁇ is an angle in the y-axis direction with respect to the x-axis as described above.
  • the degree of polarization ⁇ can be calculated based on the equation (2).
  • the reflection information generation unit 30 obtains a model expression shown in Expression (1) for each pixel from a polarization image having a polarization direction of 3 or more. Further, the reflection information generation unit 30 extracts, as a reflection surface area, a collection area in which pixels having a degree of polarization ⁇ shown in Expression (2) are equal to or greater than a preset threshold value. Further, for the extracted reflection surface area, a difference (Imax ⁇ Imin) between the maximum luminance Imax and the minimum luminance Imin is calculated for each pixel and used as a reflection component.
  • the reflection information generation unit 30 generates reflection information, for example, reflection information indicating a reflection surface region, a reflection component, an azimuth angle, and the like from the polarization image having the polarization direction of 3 or more and outputs the reflection information to the reflection information utilization unit 40.
  • the reflection information utilization unit 40 obtains presentation information, control information, and the like using the reflection information generated by the reflection information generation unit 30. For example, the reflection information utilization unit 40 presents an image indicating the reflection component to the user as a reflection image. Further, the reflection information utilization unit 40 may present a direction instruction indicating which direction the reflection surface area is directed to the user together with the image of the reflection surface area based on the azimuth angle of the reflection surface area. Moreover, the reflection information utilization part 40 may acquire the positional information of a visual recognition target object as information which can be utilized for driving control etc. of a vehicle using reflection information.
  • FIG. 5 is a flowchart showing the operation of the first embodiment.
  • the information acquisition apparatus acquires a polarization image.
  • the polarization image acquisition unit 20 of the information acquisition device 10 acquires a polarization image having three or more polarization directions generated using a polarization filter or a polarizing plate, and proceeds to step ST2.
  • step ST2 the information acquisition device generates reflection information.
  • the reflection information generation unit 30 of the information acquisition device generates reflection information using the polarization image acquired in step ST1.
  • FIG. 6 is a flowchart showing the operation of the reflection information generation unit 30.
  • step ST11 the reflection information generation unit inputs a polarization image.
  • the reflection information generation unit 30 inputs the polarization image acquired by the polarization image acquisition unit 20, and proceeds to step ST12.
  • step ST12 the reflection information generation unit calculates a polarization model.
  • the reflection information generation unit 30 performs fitting to the model equation shown in the above equation (1) for each pixel using a polarization image having three or more polarization directions, and calculates a polarization model and a degree of polarization for each pixel. The process proceeds to step ST13.
  • step ST13 the reflection information generation unit extracts the reflection surface area.
  • the reflection information generation unit 30 extracts a collection area in which pixels having a degree of polarization equal to or greater than a preset threshold as a reflection surface area, and proceeds to step ST14.
  • the reflection information generation unit outputs the reflection information.
  • the reflection information generation unit 30 calculates a reflection component for each pixel in the reflection surface area extracted in step ST13, and outputs the reflection component in the reflection surface area as reflection information.
  • the reflection information generation unit 30 may include information indicating the azimuth angle calculated based on the model formula for each pixel of the reflection surface region and the position of the reflection surface region in the reflection information.
  • FIG. 7 is a flowchart illustrating an example of processing using reflection information.
  • the reflection information utilization unit inputs the reflection information.
  • the reflection information utilization unit 40 inputs the reflection information generated by the reflection information generation unit 30, and proceeds to step ST22.
  • the reflection information utilization unit performs a reflection component display process.
  • the reflection information utilization unit 40 displays a reflection component image that is an image indicating the reflection component of the reflection surface area based on the reflection information. Further, when the reflection information includes azimuth information, the reflection information utilization unit 40 displays the azimuth angle of the reflection surface area, that is, the direction of the object reflected in the reflection surface area with an arrow or the like together with the reflection component image. To do.
  • the area for displaying the reflection component is not limited to the entire reflection surface area. For example, a reflection component image of a region selected by the user may be displayed. Moreover, the reflection information utilization part 40 may display the area
  • FIG. 8 is a flowchart showing another example of processing using reflection information.
  • the reflection information utilization unit inputs the reflection information.
  • the reflection information utilization unit 40 inputs the reflection information generated by the reflection information generation unit 30, and proceeds to step ST32.
  • step ST32 the reflection information using unit performs subject recognition. Based on the reflection information, the reflection information utilization unit 40 determines what kind of subject's reflection component image the reflection component image, which is an image indicating the reflection component of the reflection surface area, is. That is, the reflection information utilization unit 40 performs subject recognition, determines a person, a bicycle, a motorcycle, a car, or the like reflected in the reflection surface area, and proceeds to step ST33.
  • the reflection information utilization unit displays the subject recognition result.
  • the reflection information utilization unit 40 displays images of people, bicycles, motorcycles, automobiles, etc. recognized by subject recognition. Further, when the reflection information includes azimuth information, the reflection information utilization unit 40 displays the determined direction of the subject along with the subject image using an arrow or the like.
  • FIG. 9 shows an operation example of the first embodiment.
  • FIG. 9A illustrates a case where the position of the visual target object VOB is the position of the blind spot generated by the obstacle DB, and the visual target object VOB cannot be directly viewed from the polarization image acquisition unit 20.
  • the wall surface of the structure BA is made of glass or the like and is a reflection surface
  • the visual recognition object VOB is reflected on the wall surface of the structure BA that can be seen from the polarization image acquisition unit 20. Therefore, the information acquisition apparatus 10 can display the image of the visual recognition object VOB by acquiring the polarization image and extracting the reflection component as described above. Therefore, it becomes possible to check the visually recognized object VOB such as a bicycle that is invisible by the obstacle DB by the reflection component image.
  • FIG. 9 illustrates a case where the position of the visual target object VOB is the position of the blind spot generated by the structure BB, and the visual target object VOB cannot be directly viewed from the polarization image acquisition unit 20.
  • the wall surface of the structure BA is made of glass or the like and is a reflection surface
  • the visual recognition object VOB is reflected on the wall surface of the structure BA that can be seen from the polarization image acquisition unit 20. Therefore, the information acquisition apparatus 10 can display the image of the visual recognition object VOB by acquiring the polarization image and extracting the reflection component as described above. Therefore, the visual recognition object VOB such as a person who cannot be seen by the structure BB can be confirmed by the reflection component image.
  • FIG. 9C illustrates an image of the reflection component extracted by the information acquisition apparatus 10 illustrated in FIG.
  • the visual object VOB is indicated by the arrow Fob.
  • the first embodiment it is possible to check the information of the visual target object located at the blind spot using the reflection component extracted using the polarization images in the plurality of polarization directions.
  • FIG. 10 illustrates the configuration of the second embodiment.
  • the information acquisition apparatus 10 includes polarization image acquisition units 20-1 and 20-2, reflection information generation units 30-1 and 30-2, a depth estimation unit 50, and a position estimation unit 60.
  • the polarization image acquisition units 20-1 and 20-2 are configured in the same manner as the polarization image acquisition unit 20 of the first embodiment, and polarized light having three or more polarization directions using a polarizing plate or a polarization filter. Get an image. Further, the polarization image acquisition unit 20-1 and the polarization image acquisition unit 20-2 constitute a stereo camera, and the polarization image acquisition unit 20-1 converts the acquired polarization image of the left viewpoint into a reflection information generation unit 30-. 1 and output to the depth estimation unit 50. In addition, the polarization image acquisition unit 20-2 outputs the acquired polarization image of the right viewpoint to the reflection information generation unit 30-2 and the depth estimation unit 50.
  • the reflection information generation units 30-1 and 30-2 are configured in the same manner as the reflection information generation unit 30 of the first embodiment.
  • the reflection information generation units 30-1 and 30-2 obtain a model expression shown in Expression (1) for each pixel from a polarization image having a polarization direction of 3 or more. Further, the reflection information generation units 30-1 and 30-2 extract, as a reflection surface area, a collection area in which pixels having a degree of polarization ⁇ shown in Expression (2) is equal to or greater than a preset threshold value. Further, for the extracted reflection surface area, a difference (Imax ⁇ Imin) between the maximum luminance Imax and the minimum luminance Imin is calculated for each pixel and used as a reflection component.
  • the reflection information generation units 30-1 and 30-2 generate reflection information, for example, reflection information indicating a reflection surface area, a reflection component, an azimuth angle, and the like from a polarization image having a polarization direction of 3 or more in this way. Output to 60.
  • the depth estimation unit 50 performs a matching process using the polarization images acquired by the polarization image acquisition units 20-1 and 20-2, and calculates a distance to the reflection surface region.
  • a non-polarized image generated from a polarized image may be used, or a polarized image may be used.
  • the reflection component images generated by the reflection information generation units 30-1 and 30-2 may be used.
  • the non-polarized image can be obtained by averaging the luminances of four adjacent pixels in different directions of polarization.
  • a non-polarized image can be acquired by averaging the luminance of luminance polarized images having different polarization directions for each pixel.
  • the depth estimation unit 50 may perform the matching process using the image from which the reflection components calculated by the reflection information generation units 30-1 and 30-2 are removed.
  • each of the reflection surface areas is calculated by interpolation processing or the like from the distance calculated in the other area excluding the reflection surface area determined based on the degree of polarization ⁇ , or the distance calculated for the boundary between the reflection surface area and the other area. You may calculate the distance of an image.
  • the depth estimation unit 50 may use any method such as region-based matching, feature-based matching, or template matching as the matching process.
  • the depth estimation unit 50 executes matching processing and generates depth information indicating the distance to the subject in each pixel of the reflective surface area based on the shift amount of the corresponding pixel position.
  • FIG. 11 is a diagram for explaining the calculation of the distance to the subject.
  • FIG. 11 illustrates a case where the polarization image acquisition units 20-1 and 20-2 are arranged on the left and right in the same posture.
  • the left polarization image acquisition unit 20-1 is used as a reference unit
  • the right polarization image acquisition unit 20-2 is used as a reference unit.
  • the interval (base length) between the reference positions of the polarization image acquisition units 20-1 and 20-2 is “b”
  • the focal length of the polarization image acquisition units 20-1 and 20-2 is “f”.
  • the distance “Py” to the subject position P can be calculated based on the equation (3).
  • the position estimation unit 60 uses the reflection information generated by the reflection information generation units 30-1 and 30-2 to correspond to the reflection surface area.
  • the position estimation unit 60 sets, for example, a region having a similar average degree of polarization as a corresponding region.
  • the correspondence between regions may be determined by performing a matching process using, for example, a non-polarized image generated from a polarized image or an image obtained by removing a reflection component from a polarized image.
  • FIG. 12 is a diagram for explaining correspondence between regions.
  • FIG. 12A illustrates the reflection surface areas ARFa-1 and ARFb-1 based on the reflection information generated by the reflection information generation unit 30-1.
  • the position estimation unit 60 performs the above-described processing, and includes a region corresponding to the reflection surface region ARFa-1 and the reflection surface region ARFa-2, a region corresponding to the reflection surface region ARFb-1 and the reflection surface region ARFb-2, and Determine.
  • the position estimation unit 60 takes the correspondence of the region of the visual target object in the corresponding reflection surface region.
  • the position estimation unit 60 sets, for example, an image region obtained by performing subject recognition and obtaining the same recognition result as a region corresponding to the visual recognition object.
  • a corresponding region may be determined on the basis of the pixel having the maximum luminance value.
  • FIG. 12C illustrates the reflection surface area ARFa-1 based on the reflection information generated by the reflection information generation unit 30-1.
  • FIG. 12D illustrates a reflection surface area ARFa-2 corresponding to the reflection surface area ARFa-1.
  • the position estimation unit 60 performs the above-described processing, and visually recognizes the region Gob-1 of the visual target object in the reflective surface region ARFa-1 and the visual recognition in the reflective surface region ARFa-2 corresponding to the region Gob-1 of the visual target object.
  • a region Gob-2 of the object is determined.
  • the position estimation unit 60 calculates the position of the visual target object from the depth information generated by the depth estimation unit 50, the position information of the corresponding reflective surface area, and the position information of the corresponding visual target area in the reflective surface area. .
  • FIG. 13 is a diagram for explaining the calculation of the position of the visual recognition object.
  • the polarization image acquisition unit 20-1 for the left viewpoint is set to the origin (0, 0) of the coordinate system.
  • the viewing object is a position Z
  • the virtual image of the viewing object is a position Z ′.
  • the position of the polarization image acquisition unit 20-1 is L (0, 0), and the position of the polarization image acquisition unit 20-2 is R (b, 0).
  • the position of the linear reflection surface region MR connecting the polarization image acquisition unit 20-1 and the virtual image position Z ′ is P (px, py)
  • the position of the straight line connecting the polarization image acquisition unit 20-2 and the virtual image position Z ′ is Let Q (qx, qy) be the position of the reflective surface region MR.
  • the position P (px, py) and the position Q (qx, qy) are clarified by using depth information of the reflective surface region MR and the like.
  • Equation (4) The equation indicating the straight line LP is Equation (4), and the equation indicating the straight line RQ is Equation (5). Further, the intersection of the straight line LP and the straight line RQ is the position Z ′. That is, the position Z ′ can be expressed as Expression (6).
  • the position Z of the visual object to be obtained is a position that satisfies the expressions (7) and (8).
  • “m” is defined as shown in Expression (9)
  • the position Z of the visual recognition object can be calculated based on Expression (10).
  • the position Z of the visual recognition object can be calculated.
  • the calculation of the position Z of the visual target object is not limited to the method described above.
  • a line (reflecting surface) connecting the position P (px, py) and the position Q (qx, qy) The position Z of the visual target object may be calculated by reversing with the axis as the axis.
  • the position of the visual recognition object is estimated as the process of step ST3 in the flowchart of FIG.
  • FIG. 14 is a flowchart showing the estimation operation of the position of the visual recognition object.
  • step ST41 the position estimation unit inputs the first reflection information.
  • the position estimation unit 60 inputs the reflection information output from the reflection information generation unit 30-1 as the first reflection information, and proceeds to step ST44.
  • step ST42 the position estimation unit inputs the second reflection information.
  • the position estimation unit 60 inputs the reflection information output from the reflection information generation unit 30-2 as the second reflection information, and proceeds to step ST44.
  • step ST43 the position estimation unit inputs depth information.
  • the position estimation unit 60 inputs the depth information output from the depth estimation unit 50, and proceeds to step ST46.
  • step ST44 the position estimation unit performs the corresponding process on the reflection surface area. Based on the first and second reflection information, the position estimation unit 60 takes a corresponding reflection surface area and proceeds to step ST45.
  • step ST45 the position estimation unit performs the corresponding processing of the visual object region.
  • the position estimation unit 60 takes the correspondence of the region of the same visual target using the reflective surface region determined to correspond in step ST44, and proceeds to step ST46.
  • step ST46 the position estimation unit estimates the position of the visual target object.
  • the position estimation unit 60 calculates the above-described equation (10) using the region of the same visual target object included in the reflective surface region and the depth information, and estimates the position of the visual target object.
  • the second embodiment it is possible to determine the position of the visual countermeasure object as information on the visual object located in the blind spot or the like. Moreover, since the position of the visual recognition object located in a blind spot etc. can be discriminate
  • FIG. 15 illustrates the configuration of the third embodiment.
  • the information acquisition apparatus 10 includes a polarization image acquisition unit 20, a reflection information generation unit 30, a depth estimation unit 51, and a position estimation unit 61.
  • the polarization image acquisition unit 20 is configured in the same manner as in the first embodiment, and acquires a polarization image having three or more polarization directions using a polarizing plate or a polarization filter.
  • the polarization image acquisition unit 20 outputs the acquired polarization image to the reflection information generation unit 30.
  • the reflection information generation unit 30 is configured in the same manner as in the first embodiment.
  • the reflection information generation unit 30 obtains a model expression shown in Expression (1) for each pixel from a polarization image having a polarization direction of 3 or more. Further, the reflection information generation unit 30 extracts, as a reflection surface area, a collection area in which pixels having a degree of polarization ⁇ shown in Expression (2) are equal to or greater than a preset threshold value. Further, for the extracted reflection surface area, a difference (Imax ⁇ Imin) between the maximum luminance Imax and the minimum luminance Imin is calculated for each pixel and used as a reflection component.
  • the reflection information generation unit 30 generates reflection information, for example, reflection information indicating a reflection surface region, a reflection component, an azimuth angle, and the like from the polarization image having the polarization direction of 3 or more and outputs the reflection information to the position estimation unit 61.
  • the depth estimation unit 51 is configured using a device capable of estimating the distance to the object.
  • the depth estimation unit 51 is configured using a TOF (Time Of Flight) camera, a stereo camera, a structured light (structured_light), and the like.
  • TOF Time Of Flight
  • structured_light structured light
  • the depth estimation unit 51 estimates the distance from the time until the projected light returns.
  • the depth estimation unit 51 estimates the distance using parallax.
  • structured light (structured_light) the depth estimation unit 51 estimates the distance by analyzing the deformation of the projection pattern.
  • the depth estimation unit 51 outputs depth information indicating the distance estimation result to the position estimation unit 61.
  • the position estimation unit 61 calculates the position of the visual target object from the reflection information generated by the reflection information generation unit 30 and the depth information generated by the depth estimation unit 51.
  • FIG. 16 is a diagram for explaining the calculation of the position of the visual recognition object.
  • the polarization image acquisition unit 20 is the origin (0, 0) of the coordinate system. Since the depth information of the reflection surface area is obtained, the position P (px, py) of the reflection surface area MRa of the object to be visually recognized and the position Q (qx, py) of the reflection surface area MRb are obtained as in the second embodiment. qy) is clear. Further, the inclination s of the reflection surface region MRa and the inclination t of the reflection surface region MRb are also apparent from the depth information of the reflection surface region.
  • the position of the point where the position L (0, 0) of the polarization image acquisition unit 20 is moved symmetrically with respect to the reflection surface region MRa is set to L ′ (l′ x, l′ y), and the reflection surface region MRb.
  • the position of the visual target object is a straight line connecting position L ′ and position P and a straight line connecting position L ′′ and position Q.
  • the equation representing the straight line L′ P is the equation (15), and the equation representing the straight line L ′′ Q is the equation (16). Therefore, from the equation (17), the straight line connecting the position L ′ and the position P and the position L
  • the position Z (zx, zy) of the visual target object which is the intersection of the straight lines connecting “and the position Q”, can be estimated.
  • the position of the visual recognition object is estimated as the process of step ST3 in the flowchart of FIG.
  • FIG. 17 is a flowchart showing an operation of estimating the position of the visual recognition object.
  • step ST51 the position estimation unit inputs reflection information.
  • the position estimation unit 61 inputs the reflection information output from the reflection information generation unit 30, and proceeds to step ST52.
  • step ST52 the position estimation unit detects the region of the same visual object. Based on the reflection information input in step ST51, the position estimation unit 61 determines a reflection surface region in which the same visual target object is reflected from a plurality of reflection surface regions in the polarization image acquired by the polarization image acquisition unit 20. To do. Further, the position estimating unit 61 detects the same region of the visual recognition object from the reflection component image of the determined reflection surface region, and proceeds to step ST54.
  • step ST53 the position estimation unit inputs depth information.
  • the position estimation unit 61 inputs the depth information generated by the depth estimation unit 51, and proceeds to step ST54.
  • step ST54 the position estimation unit estimates the position of the visual target. Based on the depth information, the position estimation unit 61 uses the positions of a plurality of reflection surface areas in which the same visual object is reflected and the positions on the reflection surface area of the visual object that are reflected in the reflection surface area. Then, the calculation of the above equation (17) is performed to estimate the position of the visual recognition object.
  • FIG. 18 shows an operation example of the third embodiment.
  • the case where the position of the visual recognition object VOB becomes the position of the blind spot generated by the structure BB, and the visual recognition object VOB cannot be directly viewed from the polarization image acquisition unit 20 is illustrated.
  • the side surface of an automobile or the like located in front is a reflection surface
  • the visual recognition object VOB is reflected on the side surfaces (reflection surface regions) MRa and MRb of the automobile or the like that can be seen from the polarization image acquisition unit 20. Therefore, the information acquisition device 10 can estimate the position of the visual recognition object VOB by acquiring the polarization image and estimating the position of the visual recognition object as described above.
  • the position of a visual object located at a blind spot or the like by using reflection information of a plurality of reflecting surface areas in which the visual object is reflected. .
  • the position of the visual recognition object can be determined without using a plurality of polarization image acquisition units having different viewpoint positions as in the second embodiment.
  • the position of the visual recognition object located in a blind spot etc. can be discriminate
  • working etc. are attained by providing the information acquisition apparatus 10 in a vehicle.
  • FIG. 19 illustrates the configuration of the fourth embodiment.
  • the information acquisition apparatus 10 includes a polarization image acquisition unit 20, a reflection information generation unit 30, a depth estimation unit 51, and a position estimation unit 62.
  • the polarization image acquisition unit 20 is configured in the same manner as in the first embodiment, and acquires a polarization image having three or more polarization directions using a polarizing plate or a polarization filter.
  • the polarization image acquisition unit 20 outputs the acquired polarization image to the reflection information generation unit 30.
  • the reflection information generation unit 30 is configured in the same manner as in the first embodiment.
  • the reflection information generation unit 30 obtains a model expression shown in Expression (1) for each pixel from a polarization image having a polarization direction of 3 or more. Further, the reflection information generation unit 30 extracts, as a reflection surface area, a collection area in which pixels having a degree of polarization ⁇ shown in Expression (2) are equal to or greater than a preset threshold value. Further, for the extracted reflection surface area, a difference (Imax ⁇ Imin) between the maximum luminance Imax and the minimum luminance Imin is calculated for each pixel and used as a reflection component.
  • the reflection information generation unit 30 generates reflection information, for example, reflection information indicating a reflection surface region, a reflection component, an azimuth angle, and the like from the polarization image having the polarization direction of 3 or more and outputs the reflection information to the position estimation unit 61.
  • the depth estimation unit 51 is configured using an apparatus capable of estimating the distance to the object, and estimates the distance and indicates the depth information indicating the estimation result as the position estimation unit. To 62.
  • the position estimation unit 62 calculates the position of the visual recognition object from the reflection information generated by the reflection information generation unit 30 and the depth information generated by the depth estimation unit 51 with a time interval.
  • FIG. 20 is a diagram for explaining the calculation of the position of the visual recognition object.
  • the position of the polarization image acquisition unit 20 at the time point T + 1 is defined as the position J (0, 0) with the origin (0, 0) of the coordinate system. Further, it is assumed that the position B (0, ⁇ b) of the polarization image acquisition unit 20 at time T is obtained. If the polarization image acquired at time T is the polarization image of the first viewpoint, and the polarization image acquired at time T + 1 is the polarization image of the second viewpoint, as in the second embodiment, Depth information can be generated.
  • the distance b moved from the time T to the time T + 1 may be calculated from the position of the polarization image acquisition unit 20 at the time T and T + 1 detected by distance meter information, a positioning system, or the like.
  • the expression indicating the straight line JP is Expression (18)
  • the expression indicating the straight line BQ is Expression (19)
  • the intersection of the straight line JP and the straight line BQ is the virtual image position Z ′. That is, the position Z ′ can be expressed as Expression (20).
  • the position Z of the visual target to be obtained is a position that satisfies the expressions (21) and (22).
  • “m” is defined as shown in Expression (23)
  • the position Z of the visual recognition object can be calculated based on Expression (24).
  • the position of the visual recognition object is estimated as the process of step ST3 in the flowchart of FIG.
  • FIG. 21 is a flowchart showing the estimation operation of the position of the visual recognition object.
  • step ST61 the position estimation unit inputs reflection information.
  • the position estimation unit 62 inputs the reflection information output from the reflection information generation unit 30, and proceeds to step ST62.
  • step ST62 the position estimation unit detects the same visual target. Based on the reflection information input in step ST61, the position estimation unit 62 determines a reflection surface region in which the same visual target object is reflected from a plurality of reflection surface regions in the polarization image acquired by the polarization image acquisition unit 20. To do. Further, the position estimating unit 62 detects the same region of the visual recognition object from the reflection component image of the determined reflection surface region, and proceeds to step ST64.
  • step ST63 the position estimation unit inputs depth information.
  • the position estimation unit 62 inputs the depth information generated by the depth estimation unit 51, and proceeds to step ST64.
  • step ST64 the position estimation unit estimates the position of the visual target object.
  • the position estimation unit 62 based on the depth information, reflects the position of the reflective surface area at the time T and the time T + 1 when the same visual target object is reflected, and the reflective surface area of the visual target object reflected in the reflective surface area. Using the position, the calculation of the above equation (24) is performed to estimate the position of the visual recognition object.
  • FIG. 22 shows an operation example of the fourth embodiment.
  • FIG. 22 illustrates a case where the position of the visual recognition object VOB is the position of the blind spot generated by the structure BB, and the visual recognition object VOB cannot be directly viewed from the polarization image acquisition unit 20.
  • the wall surface of the structure BA is made of glass or the like and is a reflection surface
  • the visual recognition object VOB is reflected on the wall surface of the structure BA that can be seen from the polarization image acquisition unit 20.
  • 22A shows the position of the polarization image acquisition unit 20 at time T
  • FIG. 22B shows the position of the polarization image acquisition unit 20 after movement at time T + 1.
  • the fourth embodiment it is possible to determine the position of the visual object located in the blind spot or the like by using the reflection information of the plurality of reflecting surface areas in which the visual object is reflected. . Moreover, the position of the visual recognition object located in a blind spot etc. can be discriminate
  • the polarization image acquisition part 20 was moved and the case where the position of the visual recognition target object located in a blind spot was discriminate
  • the polarization image obtained by capturing the reflecting surface when the moving object is at the position at the time T, and the moving object at the time The position of the visual recognition object may be determined from the polarization image obtained by imaging the reflection surface at the position at T + 1.
  • the reflection surface region MRt of the polarization image at the time T and the reflection surface region MRt + 1 of the polarization image at the time T + 1 correspond to the plurality of reflection surface regions MRa and MRb in the polarization image captured in the third embodiment. . Therefore, the position of the visual recognition object VOB can be estimated by performing the same processing as in the third embodiment using the reflective surface region MRt at time T and the reflective surface region MRt + 1 at time T + 1.
  • FIG. 24 is a block diagram illustrating a schematic configuration of a vehicle control system using the information acquisition device of this technology.
  • the vehicle control system 100 includes a plurality of control units and detection units connected via a communication network 120.
  • the vehicle control system 100 includes a drive system control unit 131, a body system control unit 132, a battery control unit 133, an out-of-vehicle information detection unit 134, a wireless communication unit 135, and an integrated control unit 140.
  • the communication network 120 may be an in-vehicle communication network that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives devices to be controlled. Is provided.
  • the drive system control part 131 controls the operation
  • the drive system controller 131 includes a driving force generator for generating a driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. Functions as a steering mechanism to adjust.
  • the drive system control unit 131 has a function as a control device such as a braking device that generates a braking force of the vehicle, and a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control). Also good.
  • a vehicle state detection unit 1311 is connected to the drive system control unit 131.
  • the vehicle state detection unit 1311 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a traveling speed, or the like is included.
  • the drive system control unit 131 performs arithmetic processing using a signal input from the vehicle state detection unit 1311 and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 132 controls operations of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 132 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 132 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 132 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 133 controls the secondary battery 1331 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 133 from a battery device including the secondary battery 1331.
  • the battery control unit 133 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 1331 or control of a cooling device provided in the battery device.
  • the outside information detection unit 134 detects information outside the vehicle on which the vehicle control system 100 is mounted.
  • the information acquisition device 10 of this technology is provided in the vehicle outside information detection unit 134.
  • FIG. 25 is a diagram illustrating an installation example of the polarization image acquisition unit.
  • the polarized image acquisition unit 20 is provided, for example, at at least one of the front nose of the vehicle 80, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • a polarization image acquisition unit 20A provided in the front nose and a polarization image acquisition unit 20B provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 80.
  • Polarized image acquisition units 20 ⁇ / b> C and 20 ⁇ / b> D provided in the side mirror mainly acquire an image on the side of the vehicle 80.
  • the polarization image acquisition unit 20E provided in the rear bumper or the back door mainly acquires an image behind the vehicle 80.
  • the imaging range ARa indicates the imaging range of the polarization image acquisition unit 20A provided in the front nose
  • the imaging range ARb indicates the imaging range of the polarization image acquisition unit 20B provided on the upper part of the windshield in the vehicle interior.
  • the imaging ranges ARc and ARd indicate the imaging ranges of the polarization image acquisition units 20C and 20D provided on the side mirror, respectively
  • the imaging range ARe indicates the imaging range of the polarization image acquisition unit 20E provided on the rear bumper or the back door. .
  • the vehicle exterior information detection unit 134 captures the surrounding area of the vehicle and acquires a polarization image, and generates reflection information and estimates the position of the visual target object as described above.
  • the vehicle exterior information detection unit 134 outputs the generated reflection information and the position estimation result of the visual target object to the integrated control unit 140 via the communication network 120.
  • the wireless communication unit 135 communicates with a management center that manages other vehicles, road conditions, etc. outside the vehicle via a wireless communication network such as DSRC (registered trademark) (Dedicated Short Range Communication), and performs integrated control of the received information Output to the unit 140.
  • a wireless communication network such as DSRC (registered trademark) (Dedicated Short Range Communication)
  • the wireless communication unit 135 transmits the reflection information acquired by the vehicle outside information detection unit 134 to another vehicle, a management center, or the like.
  • the wireless communication unit 135 may communicate with the management center via a wireless communication network such as a wireless communication network for wireless LAN, a wireless communication network for mobile phones such as 3G, LTE, and 4G.
  • the wireless communication unit 135 may receive a global positioning system (GNSS) signal or the like, perform positioning, and output a positioning result to the integrated control unit 140.
  • GNSS global positioning system
  • the input unit 151 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 151 generates an input signal based on information input by a passenger or the like and outputs the input signal to the integrated control unit 140.
  • the audio output unit 152 outputs information based on the audio signal from the integrated control unit 140 so as to audibly notify the passengers of the vehicle.
  • the display unit 153 displays an image based on the image signal from the integrated control unit 140, and visually notifies the passenger of the vehicle.
  • the integrated control unit 140 has a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • ROM Read Only Memory stores various programs executed by CPU (Central Processing Unit).
  • RAM Random Access Memory stores information such as various parameters, calculation results or sensor values.
  • the CPU executes various programs stored in the ROM, and receives information from the input signal from the input unit 151 and communication with each control unit, detection unit, and wireless communication unit via the communication network 120, and the RAM. The overall operation in the vehicle control system 100 is controlled according to the information stored in the vehicle.
  • the integrated control unit 140 generates an audio signal indicating information to be audibly notified to a vehicle occupant and outputs the audio signal to the audio output unit 152 to generate an image signal for visually notifying the information. And output to the display unit 153. Further, the integrated control unit 140 communicates with various devices existing outside the vehicle, such as other vehicles and a management center, using the wireless communication unit 135. In addition, the integrated control unit 140 performs driving support for the vehicle based on the map information stored in the ROM or RAM and the positioning result acquired from the wireless communication unit 135.
  • At least two control units connected via the communication network 120 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 100 may include another control unit not shown.
  • some or all of the functions of any one of the control units may be provided to another control unit. That is, as long as information is transmitted and received via the communication network 120, a predetermined calculation process may be performed by one of the control units.
  • the information acquisition device When the information acquisition device is applied to such a vehicle control system, it is possible to provide the driver with information on the visual target object located in the blind spot of the driver. For example, if an image of a visually recognized object located in the blind spot area is displayed on the display unit 153 based on the reflection information generated by the outside information detection unit 134, a motorcycle or bicycle hidden in the oncoming vehicle can be confirmed. Sometimes it can prevent collisions with bikes and bicycles. In addition, since a vehicle or a person located behind a building or the like can be confirmed, it is possible to predict the jumping out of the vehicle or person.
  • the drive system control unit 131 and the integrated control unit 140 may perform drive control of the vehicle based on the position of the visual target estimated by the outside information detection unit 134.
  • the moving direction and moving speed of the viewpoint object are determined from the change in the position of the visually recognized object, and if there is a possibility of collision with the host vehicle, the avoidance action is performed by controlling the steering, the brake, or the like. If it does in this way, it will become possible to perform safe run using a reflective component.
  • the amount of movement of the polarization image acquisition unit in the fourth embodiment is the detection result of the vehicle state detection unit 1311 or the positioning system ( It can be calculated by using information (not shown).
  • map information information on visual objects is acquired when approaching buildings with reflective surfaces based on the current position and map information indicated in the positioning results. You may make it do. In this way, only when a building having a reflective surface is present in the vicinity, it is possible to perform processing for acquiring information on the visual target object, and vehicle control and the like can be performed efficiently.
  • wireless communication are received, the process of the above-mentioned 3rd Embodiment is performed using the reflection information etc. which were produced
  • an efficient traffic system can be obtained by performing processing for transmitting the position where the reflecting surface area is detected, information on the building, etc. to the management center by wireless communication, and processing for transmitting reflection information to other vehicles by wireless communication. It becomes possible to construct.
  • the information acquisition device of this technology may be applied not only to the vehicle control system but also to a monitoring system.
  • the monitoring camera since the image and position of the object to be viewed in the blind spot area can be confirmed by the monitoring camera, it is possible to efficiently monitor using the reflection component without arranging many monitoring cameras so as not to cause blind spots. It can be carried out.
  • the information acquisition device of this technique is not limited to a vehicle control system and a monitoring system, and can be applied to various fields where it is necessary to determine a visual target in an area such as a blind spot.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information acquisition apparatus of the present technology can be configured as follows. (1) a reflection information generation unit that generates reflection information indicating a reflection component from a polarization image in a plurality of polarization directions; An information acquisition apparatus comprising: a reflection information utilization unit that acquires information of a visual target reflected in the polarization image using the reflection information. (2) The information acquisition device according to (1), wherein the reflection information includes a reflection image. (3) The information acquisition apparatus according to (2), wherein the reflection information generation unit sets a collective region having a polarization degree equal to or greater than a threshold as a reflection surface region, and sets an image of the reflection surface region as the reflection image.
  • the information acquisition device (4) The information acquisition device according to (3), wherein the reflection information using unit performs subject recognition using the reflection image and acquires an image of the recognized visual target object.
  • the reflection information includes azimuth angle information of the reflection surface region,
  • the information acquisition device (4), wherein the reflection information utilization unit displays the direction of the reflection surface region together with the image of the visual recognition object based on the azimuth angle information.
  • the reflection information utilization unit uses the distance of the reflection surface area estimated from the polarization images of a plurality of viewpoints and the reflection information of the reflection surface area generated by the reflection information generation unit to the reflection surface area.
  • the information acquisition device according to any one of (3) to (5), wherein the position of the visual recognition object being reflected is acquired.
  • the information acquisition apparatus further including a depth estimation unit that estimates a distance of the reflection surface region from the polarization images of the plurality of viewpoints.
  • the information acquisition device further including a depth estimation unit that estimates a distance of the reflection surface region from the polarization images of the plurality of viewpoints.
  • the information acquisition device wherein the depth estimation unit estimates a distance of the reflection surface region using an image obtained by removing a reflection component from the polarization images of the plurality of viewpoints.
  • the reflection information utilization unit uses the reflection information of the corresponding visual target object in the reflective surface region corresponding to the plurality of viewpoints and the distance of the corresponding reflective surface region to correspond to the corresponding visual target object.
  • the information acquisition device according to any one of (6) to (8).
  • the reflection information utilization unit uses the distance for each of the plurality of reflection surface regions and the reflection information for each of the plurality of reflection surface regions generated by the reflection information generation unit, to the plurality of reflection surface regions.
  • the information acquisition device according to any one of (3) to (5), wherein the position of the visual recognition object that is reflected together is acquired.
  • the reflection information utilization unit uses the distance of the reflection surface area at each of a plurality of time points and the reflection information of the reflection surface area at each of the plurality of time points generated by the reflection information generation unit.
  • the information acquisition device according to any one of (3) to (5), wherein the position of the visual recognition object reflected together in the surface area is acquired.
  • the polarization image acquisition unit that acquires the polarization image including the reflection surface region moves with time to acquire the polarization images at the plurality of points in time
  • the reflection information utilization unit is configured to detect the distance of the reflection surface region with reference to the position of the polarization image acquisition unit at a predetermined time point and the time point different from the predetermined time point with respect to the position of the polarization image acquisition unit at a predetermined time point.
  • the visual recognition object reflected in the reflection surface region at the plurality of time points is displayed.
  • the information acquisition device according to (11), which acquires a position.
  • the reflective surface area moves over time
  • the reflection information utilization unit uses the distance of the reflection surface region for each predetermined time point and the reflection information of the reflection surface region for each of the plurality of time points generated by the reflection information generation unit, to the reflection surface region.
  • the information acquisition device according to (11), wherein the position of the visual recognition object that is reflected together is acquired.
  • reflection information indicating a reflection component is generated by the reflection information generation unit from the polarization image in a plurality of polarization directions. Furthermore, the information on the visual object reflected in the polarization image using the reflection information is acquired by the reflection information utilization unit. For this reason, it becomes possible to easily confirm the visual recognition object located in, for example, the blind spot area by using the reflection component from the image of the peripheral area. Therefore, it is suitable for a system that can confirm a visually recognized object in a blind area, such as a vehicle control system or a monitoring system.
  • SYMBOLS 10 Information acquisition apparatus 20, 20-1, 20-2, 20A-20E ... Polarization image acquisition part 30, 30-1, 30-2 ... Reflection information generation part 40 ... Reflection information utilization Unit 50, 51 ... Depth estimation unit 60, 61, 62 ... Position estimation unit 80 ... Vehicle 100 ... Vehicle control system 120 ... Communication network 131 ... Drive system control unit 132 ... -Body system control unit 133 ... Battery control unit 134 ... Outside vehicle information detection unit 135 ... Wireless communication unit 140 ... Integrated control unit 151 ... Input unit 152 ... Audio output unit 153 ⁇ Display

Abstract

偏光画像取得部２０は、複数偏光方向の偏光画像を取得する。反射情報生成部３０は、偏光画像取得部２０で取得された複数偏光方向の偏光画像から反射成分を示す反射情報を生成する。反射情報利用部４０は、反射情報生成部３０で生成された反射情報を用いて偏光画像に映り込んでいる視認対象物の画像を取得する。また、デプス推定部によって反射面領域のデプス値を推定して、反射面領域に映り込んだ視認対象物の画像と推定したデプス値に基づき視認対象物の位置を取得する。このため、例えば死角の領域に位置する視認対象物を容易に確認できるようになる。

Description

情報取得装置と情報取得方法
　この技術は、情報取得装置と情報取得方法に関する。詳しくは、周辺領域の画像から反射成分を利用して被写体情報を取得できるようにする。
　従来、撮像素子上に偏光フィルタを配置することで、偏光情報を取得することが行われている。また、偏光情報を利用して所望の画像を得ることも行われている。例えば特許文献１では、偏光フィルタを用いて車両のフロントガラスに反射する照明光あるいは太陽光の影響を少なくして、車両内の運転者などの人物を撮影できるようにすることが開示されている。
特開２０１１－００２７１８号公報
　ところで、偏光情報を利用して所望の画像を得る場合には、反射成分を除去することが多い。しかし、反射成分には死角領域における視認対象物の情報が含まれることがあり、例えば車両の運転者等にとっては有用な情報となり得る。
　そこで、この技術では、周辺領域の画像から反射成分を利用して視認対象物の情報を取得する情報取得装置と情報取得方法を提供することを目的とする。
　この技術の第１の側面は、
　複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
　前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部と
を備える情報取得装置。
　この技術においては、複数偏光方向の偏光画像から反射成分を示す反射情報、例えば偏光度が閾値以上である集合領域を反射面領域として、この反射面領域の画像である反射画像を反射情報生成部で生成する。反射情報利用部では、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報を取得する。例えば、反射情報利用部は、反射画像を用いて被写体認識を行い、視認対象物の画像を取得する。また、反射情報は反射面領域の方位角情報を含み、反射情報利用部は、方位角情報に基づき反射面領域の向きを視認対象物の画像とともに表示する。
　また、反射情報利用部は、複数視点間で対応する反射面領域における対応する視認対象物の反射情報と、対応する反射面領域の推定された距離を用いて、対応する視認対象物の位置を取得する。また、複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を設ける。デプス推定部は、複数視点の偏光画像から反射成分を除いた画像を用いて偏光画像毎に反射面領域の距離を推定する。また、反射情報利用部は、複数の反射面領域毎の距離と、反射情報生成部で生成された複数の反射面領域毎の反射情報を用いて複数の反射面領域にともに映り込んでいる視認対象物の位置を取得する。さらに、反射情報利用部は、複数時点毎の反射面領域の距離と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、複数時点の反射面領域にともに映り込んでいる視認対象物の位置を取得する。ここで、反射面領域を含む偏光画像を取得する偏光画像取得部が時間の経過とともに移動して複数時点の偏光画像を取得する場合、反射情報利用部は、所定の時点の偏光画像取得部の位置を基準として、推定された反射面領域の距離と、所定の時点の偏光画像取得部の位置に対する異なる時点の偏光画像取得部の位置と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、複数時点の反射面領域にともに映り込んでいる視認対象物の位置を取得する。反射面領域が時間の経過とともに移動する場合、反射情報利用部は、推定された複数時点毎の反射面領域の距離と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、反射面領域にともに映り込んでいる視認対象物の位置を取得する。
　この技術の第２の側面は、
　複数偏光方向の偏光画像から反射成分を示す反射情報を反射情報生成部で生成することと、
　前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を反射情報利用部で取得すること
を含む情報取得方法にある。
　この技術によれば、複数偏光方向の偏光画像から反射成分を示す反射情報が反射情報生成部で生成される。さらに、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報が反射情報利用部で取得される。このため、周辺領域の画像から反射成分を利用して例えば死角の領域に位置する視認対象物を容易に確認できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態の構成を例示した図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 被写体の形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 反射情報生成部の動作を示すフローチャートである。 反射情報を用いた処理の一例を示すフローチャートである。 反射情報を用いた処理の他の例を示すフローチャートである。 第１の実施の形態の動作例を示した図である。 第２の実施の形態の構成を例示した図である。 被写体までの距離の算出を説明するための図である。 領域の対応を説明するための図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第３の実施の形態の構成を例示した図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第３の実施の形態の動作例を示した図である。 第４の実施の形態の構成を例示した図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第４の実施の形態の動作例を示した図である。 他の実施の形態の動作例を示した図である。 車両制御システムの概略構成を例示したブロック図である。 偏光画像取得部の設置例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．第３の実施の形態
　４．第４の実施の形態
　５．他の実施の形態
　６．情報取得装置の適用例
　＜１．第１の実施の形態＞
　図１は、情報取得装置の第１の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０および反射情報利用部４０を有している。
　偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。図２は、偏光画像取得部２０で取得される偏光画像について説明するための図である。例えば図２の（ａ）に示すように、偏光方向が異なる複数の偏光画像は、イメージセンサＩＭＳに３方向以上の偏光方向の画素構成とされた偏光フィルタＰＬＦを配置して撮像を行うことで生成する。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタＰＬＦをイメージセンサＩＭＳの入射面に配置した場合を例示している。また、図２の（ｂ）に示すように、偏光方向が異なる複数の偏光画像は、偏光方向が異なる偏光板ＰＬ１～ＰＬ４をカメラＣＭ１～ＣＭ４の前に設けて、カメラＣＭ１～ＣＭ４で撮像を行うことで生成してもよい。さらに、図２の（ｃ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサＩＭＳの前面にレンズＬＺを複数（図では４個）設けて、各レンズＬＺによって被写体の光学像をイメージセンサＩＭＳの撮像面にそれぞれ結像させる。また、各レンズＬＺの前面に偏光板ＰＬを設けて、偏光板ＰＬの偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサＩＭＳで生成できる。偏光画像取得部２０は、このような構成で取得した偏光方向が３方向以上の偏光画像を反射情報生成部３０へ出力する。なお、偏光画像取得部２０では、イメージセンサやカメラが別個に設けられて、イメージセンサやカメラから画像信号を取得して、偏光方向が３方向以上である偏光画像を反射情報生成部３０へ出力してもよい。
　反射情報生成部３０は、偏光方向が異なる複数の偏光画像から反射情報を生成する。ここで、被写体の形状と偏光画像について図３を用いて説明する。例えば光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。
　偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図４は、輝度と偏光角との関係を例示している。この技術において、死角領域における視認対象物の情報は鏡面反射を利用して取得されるが、鏡面反射の場合は方位角が偏光角に比べて９０度ずれるため、方位角は偏光角に９０度足すもしくは９０度引いたものになる。そのため、図４に示すように、輝度の下限である最小輝度Ｉminの部分で方位角αをとる。さらに、最大輝度Ｉmaxと最小輝度Ｉminとの差分（Ｉmax－Imin）が反射成分である。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角αを判別することができる。
　方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。
Figure JPOXMLDOC01-appb-M000002
　反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax－Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して反射情報利用部４０へ出力する。
　反射情報利用部４０は、反射情報生成部３０で生成された反射情報を利用して提示情報や制御情報等を得る。例えば、反射情報利用部４０は、反射成分を示す画像を反射画像としてユーザに提示する。また、反射情報利用部４０は、反射面領域の方位角に基づき、反射面領域がいずれの方向を向いているかを示す方向指示を反射面領域の画像と共にユーザに提示してもよい。また、反射情報利用部４０は、反射情報を利用して視認対象物の位置情報を車両の走行制御等に利用可能な情報として取得してもよい。
　次に、第１の実施の形態の動作について説明する。図５は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報取得装置は、偏光画像を取得する。情報取得装置１０の偏光画像取得部２０は、偏光フィルタや偏光板を用いて生成された偏光方向が３方向以上の偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報取得装置は、反射情報を生成する。情報取得装置の反射情報生成部３０は、ステップＳＴ１で取得された偏光画像を用いて反射情報を生成する。図６は、反射情報生成部３０の動作を示すフローチャートである。
　ステップＳＴ１１で反射情報生成部は、偏光画像を入力する。反射情報生成部３０は、偏光画像取得部２０で取得された偏光画像を入力してステップＳＴ１２に進む。
　ステップＳＴ１２で反射情報生成部は、偏光モデルを算出する。反射情報生成部３０は、偏光方向が３方向以上の偏光画像を用いて、画素毎に上述の式（１）に示すモデル式へのフィッティングを行い、偏光モデルと偏光度を画素毎に算出してステップＳＴ１３に進む。
　ステップＳＴ１３で反射情報生成部は、反射面領域を抽出する。反射情報生成部３０は、偏光度が予め設定した閾値以上である画素が集まっている集合領域を反射面領域として抽出してステップＳＴ１４に進む。
　ステップＳＴ１４で反射情報生成部は、反射情報を出力する。反射情報生成部３０は、ステップＳＴ１３で抽出した反射面領域の画素毎に反射成分を算出して、反射面領域の反射成分を反射情報として出力する。また、反射情報生成部３０は、反射面領域の画素毎のモデル式等に基づき算出した方位角や反射面領域の位置を示す情報を反射情報に含めてもよい。
　図５に戻り、ステップＳＴ３では反射情報を用いた処理を行う。図７は、反射情報を用いた処理の一例を示すフローチャートである。ステップＳＴ２１で反射情報利用部は、反射情報を入力する。反射情報利用部４０は、反射情報生成部３０で生成された反射情報を入力してステップＳＴ２２に進む。
　ステップＳＴ２２で反射情報利用部は、反射成分の表示処理を行う。反射情報利用部４０は、反射情報に基づき反射面領域の反射成分を示す画像である反射成分画像を表示する。また、反射情報利用部４０は、反射情報に方位角の情報が含まれている場合、反射面領域の方位角すなわち反射面領域に映り込んだ物体の方向を矢印等で、反射成分画像と共に表示する。なお、反射成分を表示する領域は、反射面領域の全体に限られない。例えばユーザが選択した領域の反射成分画像を表示してもよい。また、反射情報利用部４０は、反射面領域内の平均偏光度よりも偏光度が大きい領域、または最大偏光度を示す領域を表示してもよい。
　図８は、反射情報を用いた処理の他の例を示すフローチャートである。ステップＳＴ３１で反射情報利用部は、反射情報を入力する。反射情報利用部４０は、反射情報生成部３０で生成された反射情報を入力してステップＳＴ３２に進む。
　ステップＳＴ３２で反射情報利用部は被写体認識を行う。反射情報利用部４０は、反射情報に基づき反射面領域の反射成分を示す画像である反射成分画像がどのような被写体の反射成分画像であるか判別する。すなわち、反射情報利用部４０は、被写体認識を行い、反射面領域に映り込んだ人や自転車、バイク、自動車等の判別を行いステップＳＴ３３に進む。
　ステップＳＴ３３で反射情報利用部は被写体認識結果の表示を行う。反射情報利用部４０は、被写体認識で認識した人や自転車、バイク、自動車等の画像を表示する。また、反射情報利用部４０は、反射情報に方位角の情報が含まれている場合、判別した被写体の存在する方向を矢印等で、被写体の画像と共に表示する。
　図９は、第１の実施の形態の動作例を示している。図９の（ａ）は、視認対象物ＶＯＢの位置が障害物ＤＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して反射成分の抽出を行うことで、視認対象物ＶＯＢの画像を表示できる。したがって、障害物ＤＢによって見えなくなっている自転車等の視認対象物ＶＯＢを反射成分画像によって確認できるようになる。
　図９の（ｂ）は、視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して反射成分の抽出を行うことで、視認対象物ＶＯＢの画像を表示できる。したがって、構造物ＢＢによって見えなくなっている人等の視認対象物ＶＯＢを反射成分画像によって確認できるようになる。
　また、反射情報に方位角を含めることで、視認対象物ＶＯＢが位置する方向を容易に判別することも可能となる。例えば図９の（ｃ）は、図９の（ａ）に示す情報取得装置１０で抽出した反射成分の画像を例示している。ここで、視認対象物ＶＯＢが映り込んだ壁面の法線方向は左方向であることから、視認対象物ＶＯＢは左方向に位置することを矢印Ｆobで示す。
　このような第１の実施の形態によれば、複数偏光方向の偏光画像を用いて抽出した反射成分を利用して、死角に位置する視認対象物の情報を確認できるようになる。
　＜２．第２の実施の形態＞
　次に、第２の実施の形態では、死角に位置する視認対象物を容易に確認できるだけでなく、視認対象物の位置を推定する場合について説明する。
　図１０は第２の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０-1，２０-2と反射情報生成部３０-1，３０-2、デプス推定部５０および位置推定部６０を有している。
　偏光画像取得部２０-1，２０-2は、第１の実施の形態の偏光画像取得部２０と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。また、偏光画像取得部２０-1と偏光画像取得部２０-2は、ステレオカメラを構成しており、偏光画像取得部２０-1は、取得した左視点の偏光画像を反射情報生成部３０-1とデプス推定部５０へ出力する。また、偏光画像取得部２０-2は、取得した右視点の偏光画像を反射情報生成部３０-2とデプス推定部５０へ出力する。
　反射情報生成部３０-1，３０-2は、第１の実施の形態の反射情報生成部３０と同様に構成されている。反射情報生成部３０-1，３０-2は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０-1，３０-2は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax－Imin）を算出して反射成分とする。反射情報生成部３０-1，３０-2は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６０へ出力する。
　デプス推定部５０は、偏光画像取得部２０-1，２０-2で取得された偏光画像を用いてマッチング処理を行い、反射面領域までの距離を算出する。マッチング処理では、例えば偏光画像から生成した無偏光画像を用いてもよく、偏光画像を用いてもよい。さらに、反射情報生成部３０-1，３０-2で生成した反射成分画像を用いてもよい。無偏光画像は、例えば図２の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光画像を取得することができる。また、図２の（ｂ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光画像を取得できる。さらに、図２の（ｃ）の場合、視認対象物までの距離に対してレンズＬＺ間の距離が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光画像を取得することができる。また、反射面領域に周辺の物体が映り込むと、マッチング処理によって反射面領域までの距離を算出する際に、映り込んだ物体の画像の影響により反射面領域までの距離を精度よく算出できないおそれがある。したがって、デプス推定部５０は、反射情報生成部３０-1，３０-2で算出した反射成分を除去した画像を用いて、マッチング処理を行うようにしてもよい。さらに、反射面領域が窓ガラス等である場合、反射成分を除去すると室内までの距離が算出されるおそれもある。このため、偏光度ρに基づいて判別された反射面領域を除く他領域で算出した距離、または反射面領域と他領域との境界について算出した距離等から補間処理等によって、反射面領域の各画像の距離を算出してもよい。
　デプス推定部５０は、マッチング処理として、領域ベースマッチングや特徴ベースマッチング、テンプレートマッチングなどいずれの手法を用いてもよい。デプス推定部５０は、マッチング処理を実行して、対応画素位置のずれ量に基づき反射面領域の各画素における被写体までの距離を示すデプス情報を生成する。
　図１１は、被写体までの距離の算出を説明するための図である。なお、図１１は、偏光画像取得部２０-1，２０-2が同じ姿勢で左右に配置されている場合を例示している。ここで、左側の偏光画像取得部２０-1を基準部として右側の偏光画像取得部２０-2を参照部とする。また、偏光画像取得部２０-1，２０-2の基準位置の間隔（ベース長）を「ｂ」、偏光画像取得部２０-1，２０-2の焦点距離を「ｆ」とする。この場合、基準部における被写体位置ＸＬに対して、参照部における被写体位置ＸＲが「Ｌｄ」だけずれると、被写体の位置Ｐまでの距離「Ｐy」は、式（３）に基づいて算出できる。また、偏光画像取得部２０-1，２０-2の並び方向に対して直交する方向が位置Ｐとなる偏光画像取得部２０-1からの距離「Ｐｘ」は、偏光画像取得部２０-1の基準位置と位置Ｐを結ぶ直線の傾きは（ＸＬ／ｆ）であることから「Ｐｘ＝（ＸＬ／ｆ）Ｐｙ」となる。
Figure JPOXMLDOC01-appb-M000003
　位置推定部６０は、反射情報生成部３０-1，３０-2で生成した反射情報を用いて、反射面領域の対応をとる。位置推定部６０は、例えば平均偏光度の類似した領域を対応している領域とする。また、領域の対応は、例えば偏光画像から生成した無偏光画像または偏光画像から反射成分を除去した画像を用いてマッチング処理を行い、対応する領域を判別してもよい。図１２は、領域の対応を説明するための図である。図１２の（ａ）は、反射情報生成部３０-1で生成された反射情報に基づく反射面領域ＡＲＦa-1，ＡＲＦb-1を例示している。また、図１２の（ｂ）は、反射情報生成部３０-2で生成された反射情報に基づく反射面領域ＡＲＦa-2，ＡＲＦb-2を例示している。位置推定部６０は、上述のような処理を行い、反射面領域ＡＲＦa-1と反射面領域ＡＲＦa-2が対応した領域、反射面領域ＡＲＦb-1と反射面領域ＡＲＦb-2が対応した領域と判別する。
　次に、位置推定部６０は、対応する反射面領域における視認対象物の領域の対応をとる。位置推定部６０は、例えば被写体認識を行い同一の認識結果が得られた画像領域を視認対象物の対応した領域とする。なお、視認対象物の対応は画像特徴量などのマッチング結果に基づいて判別してもよい。また、視認対象物が発光体である場合は最大輝度値の画素を基準として対応する領域を判別してもよい。図１２の（ｃ）は、反射情報生成部３０-1で生成された反射情報に基づく反射面領域ＡＲＦa-1を例示している。また、図１２の（ｄ）は、反射面領域ＡＲＦa-1に対応する反射面領域ＡＲＦa-2を例示している。位置推定部６０は、上述のような処理を行い、反射面領域ＡＲＦa-1における視認対象物の領域Ｇob-1と、視認対象物の領域Ｇob-1と対応する反射面領域ＡＲＦa-2における視認対象物の領域Ｇob-2を判別する。
　さらに、位置推定部６０は、デプス推定部５０で生成したデプス情報と、対応する反射面領域の位置情報と反射面領域内における対応する視認対象領域の位置情報から視認対象物の位置を算出する。
　図１３は、視認対象物の位置の算出を説明するための図である。なお、図１３では、左視点の偏光画像取得部２０-1を座標系の原点（０，０）としている。また視認対象物を位置Ｚ、視認対象物の虚像を位置Ｚ’とする。
　ここで、偏光画像取得部２０-1の位置をＬ（０，０）、偏光画像取得部２０-2の位置をＲ（ｂ，０）とする。また、偏光画像取得部２０-1と虚像の位置Ｚ’を結ぶ直線の反射面領域ＭＲの位置をＰ（ｐｘ，ｐｙ）、偏光画像取得部２０-2と虚像の位置Ｚ’を結ぶ直線の反射面領域ＭＲの位置をＱ（ｑｘ，ｑｙ）とする。この場合、位置Ｐ（ｐｘ，ｐｙ）と位置Ｑ（ｑｘ，qｙ）は、反射面領域ＭＲのデプス情報等を用いることで明らかとなる。
　直線ＬＰを示す式は式（４）であり、直線ＲＱを示す式は式（５）である。また、直線ＬＰと直線ＲＱの交点が位置Ｚ’となる。すなわち、位置Ｚ’は式（６）として示すことができる。
Figure JPOXMLDOC01-appb-M000004
　また、求める視認対象物の位置Ｚは、式（７）と式（８）を満たす位置である。ここで、「ｍ」を式（９）に示すように定義すると、視認対象物の位置Ｚは式（１０）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000005
　したがって、反射面領域のデプス情報から得られた位置Ｐ（ｐｘ，ｐｙ）、位置Ｑ（ｑｘ，ｑｙ）の値を式（６）に代入すれば、視認対象物の位置Ｚを算出できる。
　なお、視認対象物の位置Ｚの算出は、上述の方法に限られない。例えば視点の異なる２つの反射面領域に映り込んでいる視認対象物の虚像の位置Ｚ’を算出したのち、位置Ｐ（ｐｘ，ｐｙ）と位置Ｑ（ｑｘ，ｑｙ）を結ぶ線（反射面）を軸として反転させることで視認対象物の位置Ｚを算出してもよい。
　第２の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図１４は、視認対象物の位置の推定動作を示すフローチャートである。
　ステップＳＴ４１で位置推定部は第１の反射情報を入力する。位置推定部６０は、反射情報生成部３０-1から出力された反射情報を第１の反射情報として入力してステップＳＴ４４に進む。
　ステップＳＴ４２で位置推定部は第２の反射情報を入力する。位置推定部６０は、反射情報生成部３０-2から出力された反射情報を第２の反射情報として入力してステップＳＴ４４に進む。
　ステップＳＴ４３で位置推定部はデプス情報を入力する。位置推定部６０は、デプス推定部５０から出力されたデプス情報を入力してステップＳＴ４６に進む。
　ステップＳＴ４４で位置推定部は反射面領域の対応処理を行う。位置推定部６０は、第１および第２の反射情報に基づき、反射面領域の対応をとってステップＳＴ４５に進む。
　ステップＳＴ４５で位置推定部は視認対象物領域の対応処理を行う。位置推定部６０は、ステップＳＴ４４で対応すると判別した反射面領域を用いて同一視認対象物の領域の対応をとってステップＳＴ４６に進む。
　ステップＳＴ４６で位置推定部は視認対象物の位置を推定する。位置推定部６０は、反射面領域に含まれている同一視認対象物の領域とデプス情報を用いて、上述の式（１０）の演算を行い、視認対象物の位置を推定する。
　このような第２の実施の形態によれば、死角等に位置する視認対象物の情報として、視認対処物の位置を判別できるようになる。また、死角等に位置する視認対象物の位置を判別できることから、車両等に情報取得装置１０を設けることで、より安全な走行等が可能なる。
　＜３．第３の実施の形態＞
　ところで、第２の実施の形態では、複数視点の偏光画像から視認対象物の位置を推定する場合について説明したが、第３の実施の形態では、複数の反射面領域の反射情報を用いて、視認対象物の位置を推定する場合について説明する。
　図１５は、第３の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０およびデプス推定部５１と位置推定部６１を有している。
　偏光画像取得部２０は、第１の実施の形態と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。偏光画像取得部２０は、取得した偏光画像を反射情報生成部３０へ出力する。
　反射情報生成部３０は、第１の実施の形態と同様に構成されている。反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax－Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６１へ出力する。
　デプス推定部５１は、対象物までの距離の推定が可能な装置を用いて構成されている。例えばデプス推定部５１は、ＴＯＦ（Time　Of　Flight）カメラ、ステレオカメラ、ストラクチャードライト（structured_light）等を用いて構成されている。ＴＯＦカメラを用いた場合、デプス推定部５１は、投光した光等が戻ってくるまでの時間から距離を推定する。また、ステレオカメラを用いた場合、デプス推定部５１は、視差を利用して距離を推定する。また、ストラクチャードライト（structured_light）を用いた場合、デプス推定部５１は、投射パターンの変形を分析することによって距離を推定する。デプス推定部５１は、距離の推定結果を示すデプス情報を位置推定部６１へ出力する。
　位置推定部６１は、反射情報生成部３０で生成した反射情報とデプス推定部５１で生成されたデプス情報から視認対象物の位置を算出する。
　図１６は、視認対象物の位置の算出を説明するための図である。なお、図１６では、偏光画像取得部２０を座標系の原点（０，０）としている。反射面領域のデプス情報が得られているので、第２の実施の形態と同様に視認対象物の反射面領域ＭＲａの位置Ｐ（ｐｘ，ｐｙ）と，反射面領域ＭＲｂの位置Ｑ（ｑｘ，ｑｙ）が明らかである。また、反射面領域のデプス情報から反射面領域ＭＲａの傾きｓと、反射面領域ＭＲｂの傾きｔも明らかとなる。
　ここで、偏光画像取得部２０の位置Ｌ（０，０）を、反射面領域ＭＲａに対して対称に移動した点の位置をＬ’（ｌ’ｘ、ｌ’ｙ）、反射面領域ＭＲｂに対して対称に移動した点の位置をＬ”（ｌ”ｘ、ｌ”ｙ）とすると、視認対象物の位置は、位置Ｌ’と位置Ｐを結ぶ直線と位置Ｌ”と位置Ｑを結ぶ直線の交点となる。
　ここで、傾きｓの反射面領域ＭＲａと位置Ｌ’（ｌ’ｘ、ｌ’ｙ）と位置Ｐを結ぶ直線は直交していることから、式（１１）が成り立つ。また、位置Ｐ（ｐｘ，ｐｙ）は、位置Ｌ（０，０）と位置Ｌ’（ｌ’ｘ、ｌ’ｙ）から等距離にあり、式（１２）が成り立つ。したがって、位置Ｌ’（ｌ’ｘ、ｌ’ｙ）は式（１３）に基づいて算出できる。同様に、位置Ｌ”（ｌ”ｘ、ｌ”ｙ）は式（１４）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000006
　直線Ｌ’Ｐを示す式は式（１５）であり、直線Ｌ”Ｑを示す式は式（１６）である。したがって、式（１７）から、位置Ｌ’と位置Ｐを結ぶ直線と位置Ｌ”と位置Ｑを結ぶ直線の交点である視認対象物の位置Ｚ（ｚｘ，ｚｙ）を推定できる。
Figure JPOXMLDOC01-appb-M000007
　第３の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図１７は、視認対象物の位置の推定動作を示すフローチャートである。
　ステップＳＴ５１で位置推定部は反射情報を入力する。位置推定部６１は、反射情報生成部３０から出力された反射情報を入力してステップＳＴ５２に進む。
　ステップＳＴ５２で位置推定部は同じ視認対象物の領域を検出する。位置推定部６１は、ステップＳＴ５１で入力した反射情報に基づき、偏光画像取得部２０で取得された偏光画像内の複数の反射面領域から、同じ視認対象物が映り込んでいる反射面領域を判別する。さらに、位置推定部６１は、判別した反射面領域の反射成分画像から、同じ視認対象物の領域を検出してステップＳＴ５４に進む。
　ステップＳＴ５３で位置推定部はデプス情報を入力する。位置推定部６１は、デプス推定部５１で生成されたデプス情報を入力してステップＳＴ５４に進む。
　ステップＳＴ５４で位置推定部は視認対象物の位置を推定する。位置推定部６１は、デプス情報に基づき、同じ視認対象物が映り込んでいる複数の反射面領域の位置と、反射面領域に映り込んでいる視認対象物の反射面領域上の位置を用いて、上述の式（１７）の演算を行い、視認対象物の位置を推定する。
　図１８は、第３の実施の形態の動作例を示している。視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。ここで、前方に位置する自動車等の側面が反射面となっている場合、偏光画像取得部２０から見える自動車等の側面（反射面領域）ＭＲａ，ＭＲｂには、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して視認対象物の位置推定を行うことで、視認対象物ＶＯＢの位置を推定できる。
　このような第３の実施の形態によれば、視認対象物が映り込んでいる複数の反射面領域の反射情報を利用して、死角等に位置する視認対象物の位置を判別できるようになる。また、第２の実施の形態のように、視点位置が異なる複数の偏光画像取得部を用いることなく、視認対象物の位置を判別できる。また、死角等に位置する視認対象物の位置を判別できることから、車両等に情報取得装置１０を設けることで、より安全な走行等が可能なる。
　＜４．第４の実施の形態＞
　ところで、偏光画像取得部が移動すると、偏光画像取得部で取得される偏光画像は、視点の異なる画像となる。すなわち、複数の偏光画像取得部を設けなくとも、時間の経過と共に、視点位置の異なる複数の偏光画像が得られる。したがって、第４の実施の形態では、偏光画像取得部の移動によって得られた視点位置の異なる偏光画像を用いて、視認対象物の位置を推定する場合について説明する。
　図１９は、第４の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０およびデプス推定部５１と位置推定部６２を有している。
　偏光画像取得部２０は、第１の実施の形態と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。偏光画像取得部２０は、取得した偏光画像を反射情報生成部３０へ出力する。
　反射情報生成部３０は、第１の実施の形態と同様に構成されている。反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax－Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６１へ出力する。
　デプス推定部５１は、第３の実施の形態と同様に、対象物までの距離の推定が可能な装置を用いて構成されており、距離を推定して推定結果を示すデプス情報を位置推定部６２へ出力する。
　位置推定部６２は、時間間隔を設けて反射情報生成部３０で生成した反射情報とデプス推定部５１で生成されたデプス情報から視認対象物の位置を算出する。
　図２０は、視認対象物の位置の算出を説明するための図である。なお、図２０では、時点Ｔ＋１における偏光画像取得部２０の位置を座標系の原点（０，０）として位置Ｊ（０，０）としている。また、時点Ｔにおける偏光画像取得部２０の位置Ｂ（０，－ｂ）とする。なお、時点Ｔで取得された偏光画像を第１の視点の偏光画像、時点Ｔ＋１で取得された偏光画像を第２の視点の偏光画像とすれば、第２の実施の形態と同様にして、デプス情報を生成することができる。
　反射面領域のデプス情報を用いることで、時点Ｔにおける反射面領域ＭＲの視認対象物の画像位置Ｐ（ｐｘ，ｐｙ）と、時点Ｔ＋１における反射面領域ＭＲの視認対象物の画像位置Ｑ（ｑｘ，ｑｙ）が明らかとなる。なお、時点Ｔから時点Ｔ＋１までに移動した距離ｂは、距離メータの情報や測位システム等で検出した時点Ｔ，Ｔ＋１における偏光画像取得部２０の位置から算出してもよい。
　この場合、直線ＪＰを示す式は式（１８）であり、直線ＢＱを示す式は式（１９）である。また、直線ＪＰと直線ＢＱの交点が虚像の位置Ｚ’となる。すなわち、位置Ｚ’は式（２０）として示すことができる。
Figure JPOXMLDOC01-appb-M000008
　また、求める視認対象物の位置Ｚは、式（２１）と式（２２）を満たす位置である。ここで、「ｍ」を式（２３）に示すように定義すると、視認対象物の位置Ｚは式（２４）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000009
　したがって、推定されている反射面領域ＭＲのデプス情報から得た位置Ｐ（ｐｘ，ｐｙ）、位置Ｑ（ｑｘ，ｑｙ）の値を用いて式（２０）および式（２４）の演算を行えば、視認対象物の位置Ｚを算出できる。
　第４の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図２１は、視認対象物の位置の推定動作を示すフローチャートである。
　ステップＳＴ６１で位置推定部は反射情報を入力する。位置推定部６２は、反射情報生成部３０から出力された反射情報を入力してステップＳＴ６２に進む。
　ステップＳＴ６２で位置推定部は同じ視認対象物を検出する。位置推定部６２は、ステップＳＴ６１で入力した反射情報に基づき、偏光画像取得部２０で取得された偏光画像内の複数の反射面領域から、同じ視認対象物が映り込んでいる反射面領域を判別する。さらに、位置推定部６２は、判別した反射面領域の反射成分画像から、同じ視認対象物の領域を検出してステップＳＴ６４に進む。
　ステップＳＴ６３で位置推定部はデプス情報を入力する。位置推定部６２は、デプス推定部５１で生成されたデプス情報を入力してステップＳＴ６４に進む。
　ステップＳＴ６４で位置推定部は視認対象物の位置を推定する。位置推定部６２は、デプス情報に基づき、同じ視認対象物が映り込んでいる時点Ｔと時点Ｔ＋１の反射面領域の位置と、反射面領域に映り込んでいる視認対象物の反射面領域上の位置を用いて、上述の式（２４）の演算を行い、視認対象物の位置を推定する。
　図２２は、第４の実施の形態の動作例を示している。図２２は、視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。また、図２２の（ａ）は時点Ｔにおける偏光画像取得部２０の位置を示しており、図２２の（ｂ）は時点Ｔ＋１における偏光画像取得部２０の移動後の位置を示している。この場合、時点Ｔにおける位置を視点とした複数偏光方向の偏光画像と、時点Ｔ＋１における位置を視点とした複数偏光方向の偏光画像を用いて、上述のように位置推定を行うことで、視認対象物ＶＯＢの位置を推定できる。
　このような第４の実施の形態によれば、視認対象物が映り込んでいる複数の反射面領域の反射情報を利用して、死角等に位置する視認対象物の位置を判別できるようになる。また、第２の実施の形態のように視点位置が異なる複数の偏光画像取得部を用いることなく、死角等に位置する視認対象物の位置を判別できる。さらに、同一視認対象物が映り込んだ反射面領域が偏光画像に複数含まれていなくとも、視認対象物の位置を判別できる。
　＜５．他の実施の形態＞
　ところで、第４の実施の形態では偏光画像取得部２０を移動して、死角に位置する視認対象物の位置を判別する場合について説明した。しかし、反射面を有する移動体に視認対象物が映り込んでいる場合、図２３に示すように、移動体が時点Ｔにおける位置であるときの反射面を撮像した偏光画像と、移動体が時点Ｔ＋１における位置であるときの反射面を撮像した偏光画像から、視認対象物の位置を判別してもよい。
　この場合、時点Ｔにおける偏光画像の反射面領域ＭＲｔと時点Ｔ＋１における偏光画像の反射面領域ＭＲｔ＋１は、第３の実施の形態において撮像された偏光画像における複数の反射面領域ＭＲａ，ＭＲｂに相当する。したがって、時点Ｔにおける反射面領域ＭＲｔと時点Ｔ＋１における反射面領域ＭＲｔ＋１を用いて、第３の実施の形態と同様な処理を行うことで、視認対象物ＶＯＢの位置を推定できる。
　＜６．情報取得装置の適用例＞
　次に、情報取得装置の適用例について説明する。図２４は、この技術の情報取得装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム１００は、通信ネットワーク１２０を介して接続された複数の制御部や検出部を備える。図２４に示した例では、車両制御システム１００は、駆動系制御部１３１、ボディ系制御部１３２、バッテリ制御部１３３、車外情報検出部１３４、無線通信部１３５および統合制御部１４０を備える。通信ネットワーク１２０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部１４０には、入力部１５１、音声出力部１５２、表示部１５３が接続されている。
　各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
　駆動系制御部１３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部１３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部１３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock　Brake　System）またはＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御部１３１には、車両状態検出部１３１１が接続される。車両状態検出部１３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部１３１は、車両状態検出部１３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
　ボディ系制御部１３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部１３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部１３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部１３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御部１３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池１３３１を制御する。例えば、バッテリ制御部１３３には、二次電池１３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部１３３は、これらの信号を用いて演算処理を行い、二次電池１３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出部１３４は、車両制御システム１００を搭載した車両の外部の情報を検出する。車外情報検出部１３４には、この技術の情報取得装置１０が設けられる。
　図２５は、偏光画像取得部の設置例を示した図である。偏光画像取得部２０は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる偏光画像取得部２０Ａおよび車室内のフロントガラスの上部に備えられる偏光画像取得部２０Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる偏光画像取得部２０Ｃ，２０Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる偏光画像取得部２０Ｅは、主として車両８０の後方の画像を取得する。なお、図２５には、それぞれの偏光画像取得部２０Ａ乃至２０Ｅの撮影範囲の一例を示している。撮像範囲ＡＲａは、フロントノーズに設けられた偏光画像取得部２０Ａの撮像範囲を示し、撮像範囲ＡＲｂは、車室内のフロントガラスの上部に備えられる偏光画像取得部２０Ｂの撮像範囲を示している。撮像範囲ＡＲｃ，ＡＲｄは、それぞれサイドミラーに設けられた偏光画像取得部２０Ｃ，２０Ｄの撮像範囲を示し、撮像範囲ＡＲｅは、リアバンパまたはバックドアに設けられた偏光画像取得部２０Ｅの撮像範囲を示す。
　図２４に戻り、車外情報検出部１３４は、車両の周辺領域を撮像して偏光画像を取得して、上述のように反射情報の生成や視認対象物の位置の推定を行う。車外情報検出部１３４は、生成した反射情報や視認対象物の位置推定結果を、通信ネットワーク１２０を介して統合制御部１４０へ出力する。
　無線通信部１３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部１４０に出力する。また、無線通信部１３５は車外情報検出部１３４で取得した反射情報等を他車両や管理センタ等へ送信する。なお、無線通信部１３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部１３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部１４０へ出力してもよい。
　統合制御部１４０には、入力部１５１、音声出力部１５２、表示部１５３が接続されている。
入力部１５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部１５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部１４０に出力する。
　音声出力部１５２は、統合制御部１４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部１５３は、統合制御部１４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
　統合制御部１４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部１５１からの入力信号および通信ネットワーク１２０を介した各制御部や検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム１００内の動作全般を制御する。また、統合制御部１４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部１５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部１５３へ出力する。また、統合制御部１４０は、無線通信部１３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部１４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部１３５から取得した測位結果に基づき、車両の走行支援を行う。
　なお、図２４に示した例において、通信ネットワーク１２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム１００が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク１２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
　このような車両制御システムに情報取得装置を適用した場合、運転者の死角となっている領域に位置する視認対象物の情報を運転者に提供できるようになる。例えば、車外情報検出部１３４で生成した反射情報に基づき表示部１５３で死角の領域に位置する視認対象物の画像を表示すれば、対向車に隠れているバイクや自転車等を確認できることから、転回時にバイクや自転車等との衝突を防止できる。また、建築物等の陰に位置する車両や人物等を確認できるので、車両や人物等の飛び出し等を予測することが可能となる。
　また、駆動系制御部１３１や統合制御部１４０では、車外情報検出部１３４で推定した視認対象物の位置に基づき車両の駆動制御を行ってもよい。例えば、視認対象物の位置の変化から視点対象物の移動方向や移動速度を判別して、自車両と衝突のおそれがある場合には、ステアリングやブレーキ等を制御して回避行動を行う。このようにすれば、反射成分を利用して、安全な走行を行うことができるようになる。なお、車両制御システムに情報取得装置を適用した場合、第４の実施の形態における偏光画像取得部の移動量は、車両状態検出部１３１１の検出結果または車両制御システムに設けられている測位システム（図示せず）の情報を用いることで算出できる。
　さらに、地図情報に反射面を有する建物等の情報を含めておけば、測位結果で示された現在位置と地図情報に基づき、反射面を有する建物に接近したときに視認対象物の情報を取得するようにしてもよい。このようにすれば、反射面を有する建物が近傍に存在する場合にのみ、視認対象物の情報を取得する処理を行わせることが可能となり、車両制御等を効率よく行うことができる。
　また、無線通信によって他車両で生成された反射情報等を受信して、他車両で生成された反射情報等を用いて上述の第３の実施の形態の処理を行い、視認対象物の情報を取得してもよい。
　さらに、反射面領域を検出した位置や建築物の情報等を無線通信によって管理センタに送信する処理や、反射情報等を他車両に無線通信で送信する処理を行えば、効率のよい交通システムを構築することが可能となる。
　また、この技術の情報取得装置は、車両制御システムに限らず監視システムに適用してもよい。この場合、監視カメラで死角となっている領域の視認対象物の画像や位置を確認できることから、死角を生じないように監視カメラを数多く配置しなくとも、反射成分を利用して効率よく監視を行うことができる。
　さらに、この技術の情報取得装置は、車両制御システムや監視システムに限らず、死角等の領域の視認対象物を判別することが必要となる種々の分野に適用できる。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報取得装置は以下のような構成もとることができる。
　（１）　複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
　前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部とを備える情報取得装置。
　（２）　前記反射情報は反射画像を含む（１）に記載の情報取得装置。
　（３）　前記反射情報生成部は、偏光度が閾値以上である集合領域を反射面領域として、前記反射面領域の画像を前記反射画像とする（２）に記載の情報取得装置。
　（４）　前記反射情報利用部は、前記反射画像を用いて被写体認識を行い、認識された視認対象物の画像を取得する（３）に記載の情報取得装置。
　（５）　前記反射情報は前記反射面領域の方位角情報を含み、
　前記反射情報利用部は、前記方位角情報に基づき前記反射面領域の向きを前記視認対象物の画像とともに表示する（４）に記載の情報取得装置。
　（６）　前記反射情報利用部は、複数視点の偏光画像から推定された反射面領域の距離と、前記反射情報生成部で生成された前記反射面領域の反射情報を用いて前記反射面領域に映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
　（７）　前記複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を更に備える（６）に記載の情報取得装置。
　（８）　前記デプス推定部は、前記複数視点の偏光画像から反射成分を除いた画像を用いて前記反射面領域の距離を推定する（７）に記載の情報取得装置。
　（９）　前記反射情報利用部は、前記複数視点間で対応する反射面領域における対応する前記視認対象物の反射情報と、前記対応する反射面領域の距離を用いて、前記対応する視認対象物の位置を取得する（６）乃至（８）の何れかに記載の情報取得装置。
　（１０）　前記反射情報利用部は、複数の反射面領域毎の距離と、前記反射情報生成部で生成された前記複数の反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
　（１１）　前記反射情報利用部は、複数時点毎の反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
　（１２）　前記反射面領域を含む前記偏光画像を取得する偏光画像取得部は時間の経過とともに移動して前記複数時点の偏光画像を取得して、
　前記反射情報利用部は、所定の時点の前記偏光画像取得部の位置を基準する前記反射面領域の距離と、所定の時点の前記偏光画像取得部の位置に対する前記所定の時点と異なる時点の前記偏光画像取得部の位置と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（１１）に記載の情報取得装置。
　（１３）　前記反射面領域は時間の経過とともに移動して、
　前記反射情報利用部は、前記所定の時点毎の前記反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（１１）に記載の情報取得装置。　
　この技術の情報取得装置と情報取得方法によれば、複数偏光方向の偏光画像から反射成分を示す反射情報が反射情報生成部で生成される。さらに、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報が反射情報利用部で取得される。このため、周辺領域の画像から反射成分を利用して例えば死角の領域に位置する視認対象物を容易に確認できるようになる。したがって、死角となっている領域の視認対象物を確認できることが好ましいシステム、例えは車両制御システムや監視システム等に適している。
　１０・・・情報取得装置
　２０，２０-1，２０-2，２０Ａ～２０Ｅ・・・偏光画像取得部
　３０，３０-1，３０-2・・・反射情報生成部
　４０・・・反射情報利用部
　５０，５１・・・デプス推定部
　６０，６１，６２・・・位置推定部
　８０・・・車両
　１００・・・車両制御システム
　１２０・・・通信ネットワーク
　１３１・・・駆動系制御部
　１３２・・・ボディ系制御部
　１３３・・・バッテリ制御部
　１３４・・・車外情報検出部
　１３５・・・無線通信部
　１４０・・・統合制御部
　１５１・・・入力部
　１５２・・・音声出力部
　１５３・・・表示部

Claims (14)

  1. 　複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
    　前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部と
    を備える情報取得装置。
  2. 　前記反射情報は反射画像を含む
    請求項１に記載の情報取得装置。
  3. 　前記反射情報生成部は、偏光度が閾値以上である集合領域を反射面領域として、前記反射面領域の画像を前記反射画像とする
    請求項２に記載の情報取得装置。
  4. 　前記反射情報利用部は、前記反射画像を用いて被写体認識を行い、認識された視認対象物の画像を取得する
    請求項３に記載の情報取得装置。
  5. 　前記反射情報は前記反射面領域の方位角情報を含み、
    　前記反射情報利用部は、前記方位角情報に基づき前記反射面領域の向きを前記視認対象物の画像とともに表示する
    請求項４に記載の情報取得装置。
  6. 　前記反射情報利用部は、複数視点の偏光画像から推定された反射面領域の距離と、前記反射情報生成部で生成された前記反射面領域の反射情報を用いて前記反射面領域に映り込んでいる前記視認対象物の位置を取得する
    請求項３に記載の情報取得装置。
  7. 　前記複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を更に備える
    請求項６に記載の情報取得装置。
  8. 　前記デプス推定部は、前記複数視点の偏光画像から反射成分を除いた画像を用いて前記反射面領域の距離を推定する
    請求項７に記載の情報取得装置。
  9. 　前記反射情報利用部は、前記複数視点間で対応する反射面領域における対応する前記視認対象物の反射情報と、前記対応する反射面領域の距離を用いて、前記対応する視認対象物の位置を取得する
    請求項６に記載の情報取得装置。
  10. 　前記反射情報利用部は、複数の反射面領域毎の距離と、前記反射情報生成部で生成された前記複数の反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
    請求項３に記載の情報取得装置。
  11. 　前記反射情報利用部は、複数時点毎の反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
    請求項３に記載の情報取得装置。
  12. 　前記反射面領域を含む前記偏光画像を取得する偏光画像取得部は時間の経過とともに移動して前記複数時点の偏光画像を取得して、
    　前記反射情報利用部は、所定の時点の前記偏光画像取得部の位置を基準する前記反射面領域の距離と、所定の時点の前記偏光画像取得部の位置に対する前記所定の時点と異なる時点の前記偏光画像取得部の位置と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
    請求項１１に記載の情報取得装置。
  13. 　前記反射面領域は時間の経過とともに移動して、
    　前記反射情報利用部は、前記所定の時点毎の前記反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
    請求項１１に記載の情報取得装置。
  14. 　複数偏光方向の偏光画像から反射成分を示す反射情報を反射情報生成部で生成することと、
    　前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を反射情報利用部で取得すること
    を含む情報取得方法。
PCT/JP2016/075294 2015-09-30 2016-08-30 情報取得装置と情報取得方法 WO2017056821A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/761,846 US10839248B2 (en) 2015-09-30 2016-08-30 Information acquisition apparatus and information acquisition method
CN201680055413.7A CN108028892B (zh) 2015-09-30 2016-08-30 信息获得设备和信息获得方法
JP2017543032A JP6760298B2 (ja) 2015-09-30 2016-08-30 情報取得装置と情報取得方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-193299 2015-09-30
JP2015193299 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017056821A1 true WO2017056821A1 (ja) 2017-04-06

Family

ID=58427440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075294 WO2017056821A1 (ja) 2015-09-30 2016-08-30 情報取得装置と情報取得方法

Country Status (4)

Country Link
US (1) US10839248B2 (ja)
JP (1) JP6760298B2 (ja)
CN (1) CN108028892B (ja)
WO (1) WO2017056821A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019105737A1 (de) * 2017-11-29 2019-06-06 Robert Bosch Gmbh Verfahren, vorrichtung und computerprogramm zum ermitteln eines abstandes zu einem objekt
JP2019133324A (ja) * 2018-01-30 2019-08-08 株式会社Ｓｏｋｅｎ 物体検知装置および駐車支援装置
WO2019193928A1 (ja) * 2018-04-02 2019-10-10 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
CN110435583A (zh) * 2018-05-02 2019-11-12 新世代机器人暨人工智慧股份有限公司 安全气囊控制装置及其控制方法
WO2022004145A1 (ja) * 2020-06-29 2022-01-06 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
JP7465958B2 (ja) 2019-10-16 2024-04-11 ウェイモ エルエルシー 赤外線検知のためのシステムおよび方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191441B (zh) * 2018-08-28 2022-03-01 曜科智能科技（上海）有限公司 图像处理方法、设备、系统及存储介质
DE102018216983B3 (de) 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung
US11436839B2 (en) * 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
US10656272B1 (en) * 2019-04-24 2020-05-19 Aeye, Inc. Ladar system and method with polarized receivers
JP7233529B2 (ja) * 2019-05-20 2023-03-06 株式会社Ihi 異物検出システム
CN111343368B (zh) * 2020-02-18 2021-08-20 清华大学 基于偏振的散射介质深度恢复方法及装置
EP3886046A1 (en) 2020-03-26 2021-09-29 Sony Group Corporation Multi-view positioning using reflections

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069583A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 画像処理装置
JP2006199055A (ja) * 2005-01-18 2006-08-03 Advics:Kk 車両用走行支援装置
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2012162211A (ja) * 2011-02-09 2012-08-30 Honda Motor Co Ltd 車両用周辺監視装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100632747B1 (ko) * 2005-04-01 2006-10-12 서영태 화상입력장치, 카메라 및 컨택트 이미지 센서
CN101044507B (zh) * 2005-09-01 2010-08-18 松下电器产业株式会社 图像处理方法以及图像处理装置
WO2007139070A1 (ja) * 2006-05-29 2007-12-06 Panasonic Corporation 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
EP2202688B1 (en) * 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
JP4317583B2 (ja) * 2007-08-07 2009-08-19 パナソニック株式会社 法線情報生成装置および法線情報生成方法
WO2010004677A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
US20110144505A1 (en) * 2008-08-20 2011-06-16 Masaki Yamamoto Optical device and method for shape and gradient detection and/or measurement and associated device
US8629988B2 (en) * 2009-04-20 2014-01-14 Javad Gnss, Inc. Laser beam image contrast enhancement
DE102009026463A1 (de) * 2009-05-26 2010-12-09 Robert Bosch Gmbh Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
JP2011002718A (ja) 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
EP2517175A4 (en) * 2009-12-25 2018-01-10 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
KR101390455B1 (ko) * 2012-07-18 2014-04-29 한국과학기술원 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법
CN103852764A (zh) * 2012-12-07 2014-06-11 新昌县冠阳技术开发有限公司 一种激光偏振检测的海底潜航监控系统
US9423484B2 (en) * 2013-10-22 2016-08-23 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
JP2015090593A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
KR102174470B1 (ko) * 2014-03-31 2020-11-04 삼성전자주식회사 영상 저장 시스템 및 방법
JP6406606B2 (ja) * 2014-10-06 2018-10-17 パナソニックＩｐマネジメント株式会社 光沢判定装置および光沢判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069583A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 画像処理装置
JP2006199055A (ja) * 2005-01-18 2006-08-03 Advics:Kk 車両用走行支援装置
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2012162211A (ja) * 2011-02-09 2012-08-30 Honda Motor Co Ltd 車両用周辺監視装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018207661A1 (ja) * 2017-05-11 2020-06-18 ソニー株式会社 光センサ、及び、電子機器
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
JP7044107B2 (ja) 2017-05-11 2022-03-30 ソニーグループ株式会社 光センサ、及び、電子機器
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
US11710289B2 (en) 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method
JPWO2019003384A1 (ja) * 2017-06-29 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019105737A1 (de) * 2017-11-29 2019-06-06 Robert Bosch Gmbh Verfahren, vorrichtung und computerprogramm zum ermitteln eines abstandes zu einem objekt
JP2019133324A (ja) * 2018-01-30 2019-08-08 株式会社Ｓｏｋｅｎ 物体検知装置および駐車支援装置
JP2019185105A (ja) * 2018-04-02 2019-10-24 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
JP7077726B2 (ja) 2018-04-02 2022-05-31 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
WO2019193928A1 (ja) * 2018-04-02 2019-10-10 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
CN110435583A (zh) * 2018-05-02 2019-11-12 新世代机器人暨人工智慧股份有限公司 安全气囊控制装置及其控制方法
JP7465958B2 (ja) 2019-10-16 2024-04-11 ウェイモ エルエルシー 赤外線検知のためのシステムおよび方法
WO2022004145A1 (ja) * 2020-06-29 2022-01-06 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
CN108028892B (zh) 2021-02-09
CN108028892A (zh) 2018-05-11
JP6760298B2 (ja) 2020-09-23
JPWO2017056821A1 (ja) 2018-07-19
US20180268246A1 (en) 2018-09-20
US10839248B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
WO2017056821A1 (ja) 情報取得装置と情報取得方法
EP3305596B1 (en) Vehicle display apparatus and vehicle having the same
US10737689B2 (en) Parking assistance apparatus and vehicle having the same
US10924679B2 (en) Display device for vehicle and control method thereof
US9840197B2 (en) Apparatus for providing around view and vehicle including the same
KR101622622B1 (ko) 차량 하부 이미지 제공 장치 및 이를 구비한 차량
WO2017159382A1 (ja) 信号処理装置および信号処理方法
WO2019035300A1 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2017212928A1 (ja) 画像処理装置、画像処理方法、および車両
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3462269B1 (en) Vehicle driving control apparatus and vehicle driving method
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
JP2019046276A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
EP4176373A1 (en) Systems and methods for detecting projection attacks on object identification systems
WO2016203989A1 (ja) 画像処理装置および画像処理方法
JP6801666B2 (ja) 画像処理装置と画像処理方法および車両制御システム
KR20180073540A (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR20160034059A (ko) 차량용 영상투사장치 및 이를 구비한 차량
JP2021018636A (ja) 車両遠隔指示システム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20210323469A1 (en) Vehicular around view image providing apparatus and vehicle
JP7136123B2 (ja) 画像処理装置と画像処理方法およびプログラムと情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850997

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543032

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15761846

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16850997

Country of ref document: EP

Kind code of ref document: A1