WO2021015208A1 - アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 - Google Patents

アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 Download PDF

Info

Publication number
WO2021015208A1
WO2021015208A1 PCT/JP2020/028325 JP2020028325W WO2021015208A1 WO 2021015208 A1 WO2021015208 A1 WO 2021015208A1 JP 2020028325 W JP2020028325 W JP 2020028325W WO 2021015208 A1 WO2021015208 A1 WO 2021015208A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
sensor
subject
probe light
camera
Prior art date
Application number
PCT/JP2020/028325
Other languages
English (en)
French (fr)
Inventor
▲高▼橋　昌之
晃志 伊多波
大騎 加藤
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021534052A priority Critical patent/JPWO2021015208A1/ja
Publication of WO2021015208A1 publication Critical patent/WO2021015208A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters

Definitions

  • the present invention relates to an active sensor.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
  • the TOF camera is known as a camera that can obtain depth information.
  • a TOF (TimeOfFlight) camera emits infrared light with a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains an image obtained by converting the flight time into distance information. is there.
  • the applicant has proposed a sensor (hereinafter referred to as a gating camera in the present specification) as an alternative to the TOF camera (Patent Documents 1 and 2).
  • the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and captures images a plurality of times. As a result, images are obtained for each target range, and each image contains only objects included in the corresponding range.
  • the present inventor initially considered using near infrared light having a wavelength of around 800 nm as the probe light of the gating camera.
  • Image sensors such as general CMOS sensors and CCD cameras have a sensitivity of 800 nm, so images can be acquired with a simple configuration.
  • 800 nm near infrared rays are also included in daytime sunlight. Therefore, when 800 nm probe light is used, the use of the gating camera is limited to nighttime.
  • LiDAR can be used for daytime photography even if near infrared rays or visible light is used as the probe light. This is due to the fact that it is possible to scan and photograph a spot of laser light having a higher intensity than ambient light, instead of photographing the entire object at once.
  • An aspect of the present invention has been made in such a situation, and one of its exemplary purposes is to provide an active sensor that can be used day and night.
  • Another aspect of the present invention has been made in view of the above problem, and one of its exemplary purposes is to address at least one problem due to the dependence of the brightness of the subject on the position of the depth direction in the sliced image.
  • the solution is to provide a gating camera.
  • the active sensor includes a lighting device that irradiates an infrared probe light, a sensor, and a controller that controls the irradiation of the probe light by the lighting device and the detection timing by the sensor.
  • the wavelength of the probe light is included in the wavelength range of the dip included in the spectrum of sunlight on the surface of the earth.
  • One aspect of the present invention relates to a gating camera that divides a plurality of ranges in the depth direction and generates a plurality of slice images corresponding to the plurality of ranges.
  • the gating camera straddles an illumination device that irradiates probe light, an image sensor, a controller that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
  • the subject is set as a correction target, and an image processing unit for correcting the subject to be corrected is provided.
  • an active sensor that can be used day and night. Further, according to an aspect, at least one of the problems caused by the dependence of the brightness of the subject on the position in the depth direction in the sliced image can be solved.
  • FIG. It is a block diagram of the object identification system including the gating camera which concerns on Embodiment 1.
  • FIG. It is a figure explaining the operation of a gating camera.
  • 3 (a) and 3 (b) are diagrams illustrating slice images obtained by a gating camera. It is a figure which shows the spectrum of sunlight.
  • 5 (a) and 5 (b) are diagrams showing a configuration example of a camera.
  • 8 (a) and 8 (b) are diagrams for explaining an image obtained by a gating camera. It is a figure which shows the sensitivity characteristic in the depth direction of a gating camera.
  • 10 (a) and 10 (b) are diagrams illustrating slice images obtained by a gating camera.
  • 11 (a) to 11 (d) are diagrams for explaining the correction methods 1 to 3.
  • 12 (a) to 12 (d) are diagrams for explaining the correction method 4. It is a figure which shows the lamp for the vehicle which built in the gating camera. It is a block diagram which shows the lighting equipment for a vehicle provided with an object detection system.
  • the active sensor includes a lighting device that irradiates an infrared probe light, a sensor, and a controller that controls the irradiation of the probe light by the lighting device and the detection timing by the sensor.
  • the wavelength of the probe light is included in the wavelength range of the dip included in the spectrum of sunlight on the surface of the earth.
  • the light emitted by sunlight contains spectral components ranging from ultraviolet rays of 300 nm to around 3000 nm, but some of the spectral components are absorbed and scattered by substances in the atmosphere, so they do not reach the surface of the earth. Therefore, the spectrum of sunlight observed on the surface of the earth has a dip at a specific wavelength. In one embodiment, by using the wavelength of this dip as probe light, sensing can be performed even in the daytime without being affected by ambient light.
  • the sensor may be an imaging device, and the active sensor may be a gating camera that divides the depth direction into a plurality of ranges and generates a plurality of slice images corresponding to the plurality of ranges.
  • the sensor may include an image sensor, a bandpass filter that transmits the wavelength of the probe light, and a wavelength conversion element that converts the transmitted light of the bandpass filter into a wavelength having high sensitivity of the image sensor. This eliminates the need to match the sensitivity wavelength of the image sensor with the wavelength of the probe light. As a result, there are many choices when selecting the light source of the image sensor and the lighting device from commercially available products, or when designing them independently, the degree of freedom in design can be significantly increased. Since the total detection sensitivity of the active sensor is determined by the product of the wavelength conversion efficiency and the light receiving sensitivity of the image sensor, it is possible to increase the total detection sensitivity by optimally designing each of the wavelength conversion element and the image sensor. Become.
  • the wavelength of the probe light may be the absorption wavelength of water molecules in the vicinity of 940 nm.
  • the wavelength of the probe light may be the absorption wavelength of water molecules in the vicinity of 1120 nm.
  • the gating camera straddles an illumination device that irradiates probe light, an image sensor, a controller that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
  • an illumination device that irradiates probe light
  • an image sensor that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
  • the subject is set as a correction target, and an image processing unit for correcting the subject to be corrected is provided.
  • the pixel values of the subjects to be corrected for each of the two adjacent sliced images may be combined.
  • a predetermined coefficient may be multiplied by the pixel value of the subject to be corrected.
  • FIG. 1 is a block diagram of an object identification system 10 including the gating camera 20 according to the first embodiment.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as a category or class) of an object OBJ existing around the vehicle.
  • the object identification system 10 mainly includes a gating camera 20 and an arithmetic processing unit 40.
  • the gating camera 20 divides a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction and performs imaging. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the gating camera 20 includes a lighting device 22, a camera 24, and a controller 26.
  • the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the projection timing signal S1 given from the controller 26.
  • the probe light L1 is preferably infrared light.
  • the camera 24 is configured to be capable of exposure control synchronized with the shooting timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
  • the camera 24 has sensitivity to the same wavelength as the probe light L1, and photographs the reflected light (return light) L2 reflected by the object OBJ.
  • the controller 26 holds a predetermined light projection timing and exposure timing for each range RNG.
  • the controller 26 When a certain range RNG i is photographed, the controller 26 generates a projection timing signal S1 and an imaging timing signal S2 based on the projection timing and the exposure timing corresponding to the range, and performs imaging.
  • the gating camera 20 can generate a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N , and the i-th slice image IMG i is included in the corresponding range RNG i . Only the objects to be captured will be captured.
  • FIG. 2 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 2 shows a state when the i-th range RNG i is measured.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light projection timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINI 2 ⁇ d MINI / c Is. c is the speed of light.
  • TMAXi 2 ⁇ d MAXi / c Is.
  • the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2 .
  • the slice image actually taken includes an object included in a narrow region (indicated by p in FIG. 2) in front of the distance d MINI .
  • the image is reflected with a relatively lower exposure than the object included in the range RNG i .
  • an object included in a narrow region (indicated by q in FIG. 2) behind the distance d MAXi is also reflected with a relatively low exposure.
  • FIG. 3 (a) and 3 (b) are diagrams illustrating slice images obtained by the gating camera 20.
  • the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the slice image IMG 1 .
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2 . Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3 . In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • the arithmetic processing unit 40 is configured to be able to identify the type of the object based on the plurality of slice images IMG 1 to IMG N corresponding to the plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
  • the arithmetic processing unit 40 includes a classifier 42 that is implemented based on a prediction model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
  • FIG. 4 is a diagram showing the spectrum of sunlight.
  • FIG. 4 shows a spectrum (i) outside the atmosphere and a spectrum (ii) near the surface of the earth. Outside the atmosphere, a blackbody radiation spectrum with a temperature of about 5800 K is observed, and its wavelength range extends from the ultraviolet of 300 nm to around 3000 nm. Some of the spectral components of sunlight do not reach the surface of the earth because they are absorbed and scattered by substances in the atmosphere. Therefore, the spectrum (ii) of sunlight observed on the surface of the earth has dips ( ⁇ 1, ⁇ 2, ⁇ 3 ...) At specific wavelengths.
  • All of ⁇ 1, ⁇ 2, and ⁇ 3 correspond to the absorption wavelength of water, and ⁇ 1 ⁇ 940 nm, ⁇ 2 ⁇ 1120 nm, and ⁇ 3 ⁇ 1820 nm.
  • the wavelength ⁇ p of the probe light L1 is included in any of the wavelength ranges ⁇ 1, ⁇ 2, and ⁇ 3 of the dip included in the spectrum of sunlight on the ground surface.
  • the camera 24 of FIG. 5A includes a lens 50, a bandpass filter 52, and an image sensor 54.
  • the lens 50 forms an image on the imaging surface of the image sensor 54.
  • the bandpass filter 52 transmits the wavelength of the probe light ⁇ p and removes other wavelengths.
  • the image sensor 54 has sensitivity to the wavelength ⁇ p and images the light transmitted through the bandpass filter 52.
  • CMOS sensors and CCD cameras are generally equipped with an infrared filter (IR), and can generate an image when the wavelength ⁇ p of the probe light L1 is infrared. Can not. Therefore, when adopting the configuration of FIG. 5A, it is necessary to adopt an image sensor from which the infrared filter has been removed.
  • IR infrared filter
  • the image sensor 54 has no sensitivity to the wavelength ⁇ p, for example, a wavelength ⁇ c different from ⁇ p.
  • ⁇ c is not particularly limited, but may be a visible region.
  • the camera 24 further includes a wavelength conversion element 56 in front of the image sensor 54, and the wavelength conversion element 56 converts the light transmitted through the bandpass filter 52 into the wavelength ⁇ c.
  • the material of the wavelength conversion element 56 is not particularly limited, and may be selected based on the relationship between ⁇ p and ⁇ c. When ⁇ c> ⁇ p, the up-conversion element is selected.
  • the total detection sensitivity is determined by the product of the wavelength conversion efficiency and the light receiving sensitivity of the image sensor. Therefore, by optimally designing each of the wavelength conversion element and the image sensor, In some cases, the total detection sensitivity can be increased as compared with the camera 24 of FIG. 5A.
  • the above is the configuration of the gating camera 20.
  • the gating camera 20 by matching the wavelength of the probe light L1 with a wavelength that is not easily affected by sunlight, sensing can be performed even in the daytime without being affected by ambient light.
  • FIG. 6 is a block diagram of the gating camera 20 according to the second embodiment.
  • the gating camera 20 performs imaging by dividing into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction.
  • the gating camera 20 includes a lighting device 22, an image sensor 24, a controller 26, and an image processing unit 28.
  • the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the projection timing signal S1 given from the controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • the image sensor 24 is configured to be capable of exposure control synchronized with the shooting timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1, and photographs the reflected light (return light) L2 reflected by the object OBJ.
  • the controller 26 holds a predetermined light projection timing and exposure timing for each range RNG.
  • the controller 26 When a certain range RNG i is photographed, the controller 26 generates a projection timing signal S1 and an imaging timing signal S2 based on the projection timing and the exposure timing corresponding to the range, and performs imaging.
  • the gating camera 20 can generate a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N.
  • the i-th slice image IMG i shows an object included in the corresponding range RNG i .
  • FIG. 7 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 7 shows a state when the i-th range RNG i is measured.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light projection timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINI 2 ⁇ d MINI / c Is. c is the speed of light.
  • TMAXi 2 ⁇ d MAXi / c Is.
  • a plurality of exposures may be repeated (multiple exposure).
  • the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2 .
  • 8 (a) and 8 (b) are diagrams for explaining an image obtained by the gating camera 20.
  • the object (pedestrian) on the range RNG 1 OBJ 1 is present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • 8 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 8 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that the slice image IMG 1 shows the object image OBJ 1 of the pedestrian OBJ 1 .
  • the image sensor When capturing the sliced image IMG 2 , the image sensor is exposed by the reflected light from the range RNG 2 , and therefore no object image is captured in the sliced image IMG 2 .
  • the image sensor is exposed by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3 .
  • the gating camera 20 it is possible to separate and shoot an object for each range.
  • the above is the basic operation of the gating camera 20.
  • FIG. 9 is a diagram showing the sensitivity characteristics of the gating camera 20 in the depth direction.
  • the horizontal axis represents the position of the object in the depth direction, and the vertical axis represents the detection intensity (that is, the pixel value) when an object having a certain reflectance is assumed.
  • FIG. 10A is a diagram showing an exemplary shooting scene.
  • d MINi the i th range RNG i is, i-1 th range RNG i-1 consistent with d MAXi-1 '
  • d MINi the i th range RNG i matches a d MAXi-1 of the (i-1) -th range RNG i-1
  • i th range RNG i D MAXi may match d MINi + 1 in the i + 1th range RNG i + 1 .
  • the shooting range RNG i ' contains three objects OBJ 1 ⁇ OBJ 3.
  • OBJ 1 is a pedestrian facing forward, existing in the front range p i.
  • the OBJ 2 is a front-facing vehicle and exists in the highly sensitive range RNG i .
  • OBJ 3 is a pedestrian facing horizontal, present in the range q i sensitivity lower rear side.
  • FIG. 10B is a diagram showing slice images IMG i-1 , IMG i , and IMG i + 1 obtained in the shooting scene of FIG. 10A. Here, it is assumed that the reflectances of all objects are equal. In FIG. 10B, dense hatching indicates bright pixels and coarse hatching indicates dark pixels.
  • the object OBJ 2 appears bright in the slice image IMG i corresponding to the range RNG i .
  • the objects OBJ 1 and OBJ 3 in the foreground and the back are darkened.
  • the object OBJ 2 is emphasized, and the objects OBJ 1 and OBJ 3 are difficult to identify. Further, since the objects OBJ 1 and OBJ 3 are included in both of the two slice images, there arises a problem that their positions in the depth direction are unclear. These are due to the fact that the brightness of the subject in the sliced image has a dependence on the position in the depth direction.
  • the gating camera 20 has a function of correcting the slice image IMG in order to solve such a problem.
  • the image processing unit 28 sets the subject as a correction target, corrects the correction target subject, and outputs the corrected slice image IMG_CORR. ..
  • the object OBJ 1 is included in the two adjacent slice images IMG i-1 and IMG i , it is a subject to be corrected.
  • the object OBJ 3 is included in the two adjacent slice images IMG i and IMG i + 1 , it is a subject to be corrected.
  • the object OBJ 2 is not a correction target because it is reflected in only one slice image IMG i .
  • the image processing unit 28 selects a plurality of slice images IMG 1 to IMG N as inspection targets in order, detects a subject included in the slice image to be inspected, and the detected subject is a slice image before and after the slice image to be inspected. It may be determined whether or not it is included in.
  • the above is the configuration of the gating camera 20.
  • the subject is located near the boundary between the two adjacent ranges corresponding to the two adjacent slice images. Therefore, when such a subject is detected, at least one of the problems caused by the dependence of the brightness of the subject on the position in the depth direction in the sliced image can be solved by correcting the subject.
  • 11 (a) to 11 (d) are diagrams for explaining the correction methods 1 to 3.
  • the correction method 1 will be described with reference to FIGS. 11A and 11B.
  • the correction target is the i-th slice image IMG i
  • FIG. 11A shows the slice image IMG i to be corrected and the slice images IMG i-1 and IMG i + 1 before and after the correction target.
  • FIG. 11B shows the corrected i-th slice image IMG_CORR i obtained by the correction method 1.
  • the objects OBJ 1 , OBJ 2 , and OBJ 3 are rectangles of 2 ⁇ 2 pixels, 3 ⁇ 2 pixels, and 1 ⁇ 2 pixels, respectively, and pixel values are shown in the pixels.
  • the pixel values of the subjects to be corrected of the two adjacent sliced image IMGs including the object OBJ k are combined.
  • the pixels for each pixel constituting the object OBJ k of the slice image IMG i to be corrected The pixel value of the previous slice image IMG i-1 is combined with the value.
  • the pixel value u'of the subject OBJ 1 of the sliced image IMG_CORR i after correction can be the sum (simple addition) of the pixel values u and v of the subject OBJ 1 in each of the IMG i and IMG i-1 .
  • u' u + v
  • Weighted addition may be used instead of simple addition.
  • ⁇ and ⁇ are weighting coefficients.
  • u' ⁇ u + ⁇ v
  • the pixel value u'of the subject OBJ 1 of the corrected slice image IMG_CORR i is the combined value (sum) of the pixel values u and v of the subject OBJ 1 in each of the IMG i and IMG i-1 . ..
  • the pixel value of the subject OBJ 3 of the corrected slice image IMG_CORR i becomes zero.
  • the pixel value is maintained.
  • the subject when the same subject is included in two consecutive sliced images, the subject is included only in the front (closer to the camera) range and in the back (farther from the camera) range. Is treated as not included.
  • the subject OBJ 1 that appears dark in the original slice image IMG i can be corrected brightly. Therefore, when the corrected slice image is displayed on the display, the driver can easily recognize the subject.
  • the identification rate can be improved when object recognition is performed by arithmetic processing.
  • each subject is included in only one sliced image after correction, it becomes easy to specify the position of each subject.
  • correction method 2 In the correction method 2, contrary to the correction method 1, when the same subject is included in two consecutive sliced images, the subject is included only in the range on the back side (far side from the camera) and is included in the front side (camera). It is not included in the range (closer to).
  • Figure 11 (c) is a diagram showing a slice image IMG_CORR i 'after correction obtained by the correction method 2.
  • the pixel value u of the subject included in a certain slice image IMG i is corrected by using the pixel value w of the slice image on the back side of the pixel value u.
  • Weighted addition may be used instead of simple addition.
  • ⁇ and ⁇ are weighting coefficients.
  • u' ⁇ u + ⁇ w
  • the pixel value u'of the subject OBJ 3 of the corrected slice image IMG_CORR i is a composite value (simple sum) of the pixel values u and w of the subject OBJ 3 in each of the IMG i and IMG i-1. There is.
  • correction method 3 when the same subject is included in two consecutive sliced images, the subject is included in both the back side (far side from the camera) range and the front side (closer side to the camera) range. It shall be.
  • FIG. 11D is a diagram showing a corrected slice image IMG_CORR i ”obtained by the correction method 3.
  • the pixel values of the slice image IMG i to be corrected and the subject (OBJ 1 in this example) included in the slice image IMG i-1 in front of the slice image IMG i are corrected as follows.
  • u' f (u, v)
  • the subjects OBJ 1 and OBJ 3 that appear dark in the original slice image IMG i can be corrected brightly. Therefore, when the corrected slice image is displayed on the display, the driver can easily recognize the subject.
  • the identification rate can be improved when object recognition is performed by arithmetic processing.
  • (Correction method 4) 12 (a) to 12 (d) are diagrams for explaining the correction method 4.
  • a predetermined coefficient is multiplied by the pixel value u of the subject to be corrected.
  • FIG. 13 is a diagram showing a vehicle lamp 200 having a built-in gating camera 20.
  • the vehicle lamp 200 includes a housing 210, an outer lens 220, a high beam and low beam lamp unit 230H / 230L, and a gating camera 20.
  • the lamp unit 230H / 230L and the gating camera 20 are housed in the housing 210.
  • a part of the gating camera 20, for example, the camera 24 may be installed outside the vehicle lamp 200, for example, behind the rearview mirror.
  • FIG. 14 is a block diagram showing a vehicle lamp 200 including the object identification system 10.
  • the vehicle lamp 200 constitutes a lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object identification system 10.
  • the object identification system 10 includes a gating camera 20 and an arithmetic processing unit 40.
  • the arithmetic processing unit 40 is configured to be able to identify the type of the object based on the plurality of slice images IMG 1 to IMG N corresponding to the plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
  • the arithmetic processing unit 40 includes a classifier implemented based on a prediction model generated by machine learning.
  • the algorithm of the classifier is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN, DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • Modification example 1 In the configuration of the camera 24 of FIG. 5B, an infrared camera may be used as the image sensor 54, and the sensitivity wavelength ⁇ c of the image sensor 54 may be longer than the wavelength of the probe light ⁇ c.
  • the down conversion element may be selected as the wavelength conversion element 56.
  • Modification 2 Although the gating camera has been described as the active sensor in the first embodiment, the application of the present invention is not limited to this.
  • the present invention can be applied to a normal active infrared sensor or a TOF camera that collectively captures all ranges without dividing in the depth direction.
  • the present invention can also be applied to a quantum radar (quantum camera) based on correlation calculation using the theory of computer ghost imaging.
  • a quantum radar quantum camera
  • a single pixel photodetector is used instead of the camera 24.
  • the present invention relates to an active sensor.
  • Object identification system 20 Gating camera 22 Lighting device 24 Image sensor 26 Controller S1 Flooding timing signal S2 Shooting timing signal 40 Arithmetic processing device 42 Classifier 50 Lens 52 Band pass filter 54 Image sensor 56 Wavelength conversion element 200 Vehicle lighting equipment 202 Light source 204 Lighting circuit 206 Optical system 310 Lighting system 304 Vehicle side ECU

Abstract

照明装置２２は、赤外のプローブ光Ｌ１を照射する。コントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射と、センサ２４による検出のタイミングを制御する。プローブ光Ｌ１の波長は、地表における太陽光のスペクトルに含まれるディップの波長と一致している。

Description

アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
　本発明は、アクティブセンサに関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
　本出願人は、ＴＯＦカメラに代わるセンサ（以下、本明細書においてゲーティングカメラと称する）を提案している（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジごとに画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
課題１．　本発明者は、当初、ゲーティングカメラのプローブ光として、波長８００ｎｍ付近の近赤外を利用することを検討した。一般的なＣＭＯＳセンサやＣＣＤカメラなどのイメージセンサは、８００ｎｍに感度を有するため、簡単な構成で、画像を取得することができる。
　ところが８００ｎｍの近赤外線は昼間の太陽光にも含まれている。したがって８００ｎｍのプローブ光を用いた場合、ゲーティングカメラの使用が夜間に限定される。
　なおＬｉＤＡＲは、プローブ光として近赤外線や可視光を用いても、昼間の撮影が可能である。これは、物体全体を一度に撮影するのではなく、環境光よりも高強度なレーザ光のスポットをスキャンして撮影することができることに起因する。
　なお、この問題はゲーティングカメラに限定されず、広範囲にプローブ光を照射する必要があるその他のアクティブセンサにもあてはまる。
　本発明のある態様は、係る状況においてなされたものであり、その例示的な目的のひとつは、昼夜を問わずに利用可能なアクティブセンサの提供にある。
課題２．　あるレンジに着目したときに、そのレンジのスライス画像には、奥行き方向について、手前側あるいは奥側の境界に近い距離に位置する物体は、中央に位置する物体に比べて、暗く写ることとなる。また奥行き方向に長い１個の物体を撮影した場合に、その物体の一部分が暗く写る可能性がある。
　このようなスライス画像をディスプレイにそのまま表示すると、ユーザは物体を認識しにくくなる。あるいはスライス画像を対象として物体認識を行った場合、暗く写る物体の識別率が低下する場合もある。
　本発明の別の態様は係る課題に鑑みてなされたものであり、その例示的な目的のひとつは、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決可能なゲーティングカメラの提供にある。
１．　本発明のある態様は、アクティブセンサに関する。アクティブセンサは、赤外のプローブ光を照射する照明装置と、センサと、照明装置によるプローブ光の照射と、センサによる検出のタイミングを制御するコントローラと、を備える。プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれる。
２．　本発明のある態様は、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置によるプローブ光の照射と、イメージセンサによる露光のタイミングを制御するコントローラと、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正する画像処理部と、を備える。
　本発明のある態様によれば、昼夜を問わず利用可能なアクティブセンサを提供できる。またある態様によれば、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
実施形態１に係るゲーティングカメラを備える物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 太陽光のスペクトルを示す図である。 図５（ａ）、（ｂ）は、カメラの構成例を示す図である。 実施形態２に係るゲーティングカメラのブロック図である。 ゲーティングカメラの動作を説明する図である。 図８（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 ゲーティングカメラの奥行き方向の感度特性を示す図である。 図１０（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 図１１（ａ）～（ｄ）は、補正方法１～３を説明する図である。 図１２（ａ）～（ｄ）は、補正方法４を説明する図である。 ゲーティングカメラを内蔵する車両用灯具を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　本明細書に開示される一実施形態は、アクティブセンサに関する。アクティブセンサは、赤外のプローブ光を照射する照明装置と、センサと、照明装置によるプローブ光の照射と、センサによる検出のタイミングを制御するコントローラと、を備える。プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれる。
　太陽光が放射する光は、３００ｎｍの紫外から３０００ｎｍ付近にわたるスペクトル成分を含んでいるが、そのスペクトル成分の一部は、大気中の物質によって吸収、散乱されるため地表には到達しない。したがって地表で観測される太陽光のスペクトルは、特定の波長にディップを有する。一実施形態では、このディップの波長をプローブ光として利用することにより、昼間でも環境光の影響を受けずに、センシングが可能となる。
　センサは撮像装置であり、アクティブセンサは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであってもよい。
　センサは、イメージセンサと、プローブ光の波長を透過するバンドパスフィルタと、バンドパスフィルタの透過光を、イメージセンサの感度が高い波長に変換する波長変換素子と、を含んでもよい。これにより、イメージセンサの感度波長を、プローブ光の波長と一致させる必要がなくなる。これによりイメージセンサと照明装置の光源を市販品の中から選択する場合には選択肢が多くなり、あるいはそれらを独自に設計する場合には、設計の自由度を格段に高めることができる。アクティブセンサのトータルの検出感度は、波長変換の効率と、イメージセンサの受光感度の積で決まるため、波長変換素子とイメージセンサそれぞれを最適設計することにより、トータルの検出感度を高めることが可能となる。
　プローブ光の波長は、９４０ｎｍ近傍の水分子の吸収波長であってもよい。プローブ光の波長は、１１２０ｎｍ近傍の水分子の吸収波長であってもよい。
２．　本明細書に開示される一実施形態は、ゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置によるプローブ光の照射と、イメージセンサによる露光のタイミングを制御するコントローラと、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正する画像処理部と、を備える。
　隣接する二枚のスライス画像に同じ被写体が写っている場合、その被写体は、隣接する二枚のスライス画像に対応する隣接する二個のレンジの境界の近傍に位置することが推定される。そこで、そのような被写体を検出すると、その被写体を補正することにより、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
　補正において、隣接する二枚のスライス画像それぞれの補正対象の被写体の画素値が合成されてもよい。
　補正において、補正対象の被写体の画素値に所定の係数が乗算されてもよい。
　以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
（実施形態１）
　図１は、実施形態１に係るゲーティングカメラ２０を備える物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する。
　物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。
　ゲーティングカメラ２０は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って、撮像を行う。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　ゲーティングカメラ２０は、照明装置２２、カメラ２４、コントローラ２６を含む。
　照明装置２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましい。
　カメラ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。カメラ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　コントローラ２６は、レンジＲＮＧごとに予め定められた投光タイミングと露光タイミングを保持している。コントローラ２６は、あるレンジＲＮＧｉを撮影するとき、そのレンジに対応する投光タイミングと露光タイミングにもとづいて投光タイミング信号Ｓ１および撮影タイミング信号Ｓ２を生成し、撮影を行う。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮを生成することができ、ｉ番目のスライス画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
　図２は、ゲーティングカメラ２０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。照明装置２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がカメラ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がカメラ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　なお、図２の制御タイミングｔ０～ｔ３を与えたときに、実際に撮影されるスライス画像には、距離ｄＭＩＮｉより手前の狭い領域（図２にｐで示す）に含まれる物体が、レンジＲＮＧｉに含まれる物体よりも相対的に低い露出で写り込む。同様に距離ｄＭＡＸｉより奥側の狭い領域（図２にｑで示す）に含まれる物体も、相対的に低い露出で写り込む。
　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　図１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された予測モデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
　以上が物体識別システム１０の基本構成である。続いてゲーティングカメラ２０のさらなる特徴について説明する。
　図４は、太陽光のスペクトルを示す図である。図４には、大気圏外でのスペクトル（i）と、地表付近でのスペクトル（ii）が示される。大気圏外では、温度約５８００Ｋの黒体放射スペクトルが観測され、その波長域は、３００ｎｍの紫外から３０００ｎｍ付近にわたる。太陽光のスペクトル成分の一部は、大気中の物質によって吸収、散乱されるため地表には到達しない。したがって地表で観測される太陽光のスペクトル（ii）は、特定の波長にディップ（λ１，λ２，λ３…）を有する。λ１，λ２，λ３はいずれも、水の吸収波長に対応し、λ１≒９４０ｎｍ、λ２≒１１２０ｎｍ、λ３≒１８２０ｎｍである。ディップの波長帯域は、λ１＝９３０ｎｍ～９６０ｎｍ、λ２＝１１１０ｎｍ～１１６０ｎｍ、λ３＝１７５０ｎｍ～２０００ｎｍである。
　本実施形態では、プローブ光Ｌ１の波長λｐは、地表における太陽光のスペクトルに含まれるディップの波長範囲λ１，λ２，λ３のいずれかに含まれている。プローブ光Ｌ１の波長λｐは、（i）照明装置２２の光源の入手性や特性、（ii）カメラ２４による検出効率、(iii)太陽光以外の環境光のスペクトルを考慮して選べばよい。この観点から、λ１＝９４０ｎｍを選ぶことが好ましい。
　図５（ａ）、（ｂ）は、カメラ２４の構成例を示す図である。図５（ａ）のカメラ２４は、レンズ５０、バンドパスフィルタ５２、イメージセンサ５４を備える。レンズ５０は、像をイメージセンサ５４の撮像面上に結像する。バンドパスフィルタ５２は、プローブ光λｐの波長を透過し、それ以外の波長を除去する。イメージセンサ５４は、波長λｐに感度を有しており、バンドパスフィルタ５２を透過した光を画像化する。
　一般的に市販されるＣＭＯＳセンサやＣＣＤカメラは、赤外線フィルタ（ＩＲ）が取り付けられているのが一般的であり、プローブ光Ｌ１の波長λｐを赤外とした場合に、画像を生成することができない。したがって図５（ａ）の構成を採用する場合、赤外線フィルタを取り除いたイメージセンサを採用する必要がある。
　図５（ｂ）のカメラ２４において、イメージセンサ５４は、波長λｐに感度を有さず、たとえばλｐとは異なる波長λｃに感度を有する。λｃは特に限定されないが、可視域としてもよい。カメラ２４は、イメージセンサ５４の手前に波長変換素子５６をさらに備えており、波長変換素子５６は、バンドパスフィルタ５２を透過した光を、波長λｃに変換する。波長変換素子５６の材料は特に限定されず、λｐとλｃの関係にもとづいて選択すればよい。λｃ＞λｐであるとき、アップコンバージョン素子が選択される。
　図５（ｂ）のカメラ２４によれば、λｐとλｃを一致させる必要がない。イメージセンサ５４と照明装置２２の光源を市販品の中から選択する場合には選択肢が多くなる。あるいはそれらを独自に設計する場合には、設計の自由度を格段に高めることができる。
　図５（ｂ）のカメラ２４を採用する場合、トータルの検出感度は、波長変換の効率と、イメージセンサの受光感度の積で決まるため、波長変換素子とイメージセンサそれぞれを最適設計することにより、図５（ａ）のカメラ２４に比べて、トータルの検出感度を高めることが可能な場合もある。
　以上がゲーティングカメラ２０の構成である。このゲーティングカメラ２０によれば、プローブ光Ｌ１の波長を、太陽光の影響を受けにくい波長と一致させることにより、昼間でも環境光の影響を受けずに、センシングが可能となる。
（実施形態２）
　図６は、実施形態２に係るゲーティングカメラ２０のブロック図である。ゲーティングカメラ２０は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って撮像を行う。
　ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６、画像処理部２８を備える。
　照明装置２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
　イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　コントローラ２６は、レンジＲＮＧごとに予め定められた投光タイミングと露光タイミングを保持している。コントローラ２６は、あるレンジＲＮＧｉを撮影するとき、そのレンジに対応する投光タイミングと露光タイミングにもとづいて投光タイミング信号Ｓ１および撮影タイミング信号Ｓ２を生成し、撮影を行う。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮを生成することができる。ｉ番目のスライス画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体が写ることとなる。
　図７は、ゲーティングカメラ２０の動作を説明する図である。図７にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。照明装置２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を繰り返し行ってもよい（多重露光）。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　図８（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図８（ａ）の例では、レンジＲＮＧ１に物体（歩行者）ＯＢＪ１が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図８（ｂ）には、図８（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１には、歩行者ＯＢＪ１の物体像ＯＢＪ１が写る。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光により露光され、したがってスライス画像ＩＭＧ２には、いかなる物体像も写らない。
　同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光により露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　以上がゲーティングカメラ２０の基本動作である。
　続いてゲーティングカメラ２０の感度特性と、それに起因する問題点を説明する。
　図７に戻る。とある制御タイミングｔ０～ｔ３を与えたときに、実際に撮影されるスライス画像ＩＭＧｉには、距離ｄＭＩＮｉより手前の領域（図７にｐで示す）に含まれる物体が、レンジＲＮＧｉに含まれる物体よりも相対的に低い露出で写り込む。同様に距離ｄＭＡＸｉより奥側の領域（図７にｑで示す）に含まれる物体も、相対的に低い露出で写り込む。したがって、レンジＲＮＧｉに、その前後の範囲ｐ，ｑを加えた範囲が、実効的な撮影レンジＲＮＧ’ｉとなる。実効的な撮影レンジの境界をｄＭＩＮ’，ｄＭＡＸ’と表記する。
　図９は、ゲーティングカメラ２０の奥行き方向の感度特性を示す図である。横軸は奥行き方向の物体の位置を表し、縦軸はある反射率の物体を仮定したときの検出強度（すなわち画素値）を表す。
　図１０（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図１０（ａ）は、例示的な撮影シーンを示す図である。この例では、ｉ番目のレンジＲＮＧｉのｄＭＩＮｉが、ｉ－１番目のレンジＲＮＧｉ－１のｄＭＡＸｉ－１’と一致し、ｉ番目のレンジＲＮＧｉのｄＭＡＸｉが、ｉ＋１番目のレンジＲＮＧｉ＋１のｄＭＩＮｉ＋１’と一致するものとする。
　なお、レンジの範囲の決め方はこれに限定されず、ｉ番目のレンジＲＮＧｉのｄＭＩＮｉが、ｉ－１番目のレンジＲＮＧｉ－１のｄＭＡＸｉ－１と一致し、ｉ番目のレンジＲＮＧｉのｄＭＡＸｉが、ｉ＋１番目のレンジＲＮＧｉ＋１のｄＭＩＮｉ＋１と一致していてもよい。
　ｉ番目の撮影レンジＲＮＧｉ’に着目する。この撮影レンジＲＮＧｉ’には、３つの物体ＯＢＪ１～ＯＢＪ３が含まれている。ＯＢＪ１は正面を向いた歩行者であり、手前側の範囲ｐｉに存在する。ＯＢＪ２は正面を向いた自動車であり、感度が高いレンジＲＮＧｉに存在する。ＯＢＪ３は横を向いた歩行者であり、感度が低い奥側の範囲ｑｉに存在する。
　図１０（ｂ）は、図１０（ａ）の撮影シーンにおいて得られるスライス画像ＩＭＧｉ－１，ＩＭＧｉ，ＩＭＧｉ＋１を示す図である。ここではすべての物体の反射率は等しいものとする。図１０（ｂ）において、密なハッチングは、明るい画素を、粗なハッチングは暗い画素を示す。
　図１０（ｂ）に示すように、レンジＲＮＧｉに対応するスライス画像ＩＭＧｉには、物体ＯＢＪ２が明るく写る。また手前と奥の物体ＯＢＪ１，ＯＢＪ３は、暗く写ることとなる。
　つまりスライス画像ＩＭＧｉにおいては、物体ＯＢＪ２が強調され、物体ＯＢＪ１，ＯＢＪ３が識別しにくい画像となっている。また、物体ＯＢＪ１，ＯＢＪ３については、二枚のスライス画像の両方に含まれるため、それらの奥行き方向の位置が不明確であるという問題が生ずる。これらは、スライス画像の被写体の明るさが奥行き方向の位置に対する依存性を有することに起因する。
　本実施形態に係るゲーティングカメラ２０は、このような問題を解決するために、スライス画像ＩＭＧを補正する機能を有する。図６に戻る。画像処理部２８は、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正し、補正後のスライス画像ＩＭＧ＿ＣＯＲＲを出力する。
　図１０（ｂ）を参照すると、物体ＯＢＪ１は、隣接する二枚のスライス画像ＩＭＧｉ－１，ＩＭＧｉに含まれているから、補正対象の被写体となる。同様に物体ＯＢＪ３は、隣接する二枚のスライス画像ＩＭＧｉ，ＩＭＧｉ＋１に含まれているから、補正対象の被写体となる。反対に物体ＯＢＪ２は、一枚のスライス画像ＩＭＧｉにのみ写っているから、補正対象ではない。
　画像処理部２８は、複数のスライス画像ＩＭＧ１～ＩＭＧＮを順に検査対象に選び、検査対象のスライス画像に含まれる被写体を検出し、検出した被写体が、検査対象のスライス画像の前後のスライス画像に含まれているか否かを判定すればよい。
　以上がゲーティングカメラ２０の構成である。隣接する二枚のスライス画像に同じ被写体が写っている場合、その被写体は、隣接する二枚のスライス画像に対応する隣接する二個のレンジの境界の近傍に位置することが推定される。そこで、そのような被写体を検出すると、その被写体に補正を施すことにより、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
　続いて画像処理部２８による被写体の補正について、いくつかの実施例を説明する。図１１（ａ）～（ｄ）は、補正方法１～３を説明する図である。
（補正方法１）
　図１１（ａ），（ｂ）を参照して、補正方法１を説明する。補正対象はｉ番目のスライス画像ＩＭＧｉであり、図１１（ａ）には、補正対象のスライス画像ＩＭＧｉと、その前後のスライス画像ＩＭＧｉ－１，ＩＭＧｉ＋１が示される。図１１（ｂ）は、補正方法１により得られる補正後のｉ番目のスライス画像ＩＭＧ＿ＣＯＲＲｉを示す。物体ＯＢＪ１，ＯＢＪ２，ＯＢＪ３はそれぞれ２×２画素、３×２画素、１×２画素の矩形であり、画素内には画素値が示される。
　物体ＯＢＪｋを補正対象とすると、補正方法１では、物体ＯＢＪｋを含む隣接する二枚のスライス画像ＩＭＧそれぞれの補正対象の被写体の画素値が合成される。
　たとえば、物体ＯＢＪｋが補正対象のスライス画像ＩＭＧｉと、それより前のスライス画像ＩＭＧｉ－１に含まれる場合に、補正対象のスライス画像ＩＭＧｉの物体ＯＢＪｋを構成する各画素について、画素値に、前のスライス画像ＩＭＧｉ－１の画素値が合成される。
　たとえば補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉの被写体ＯＢＪ１の画素値ｕ’は、ＩＭＧｉ，ＩＭＧｉ－１それぞれにおける被写体ＯＢＪ１の画素値ｕ，ｖの和（単純加算）とすることができる。
　ｕ’＝ｕ＋ｖ
　単純加算に代えて、重み付け加算を用いてもよい。α、βは重み付けの係数である。
　ｕ’＝αｕ＋βｖ
　より一般化すると、補正後の画素値ｕ’は、任意の関数ｆを用いて以下のように表される。
　ｕ’＝ｆ（ｕ，ｖ）
　この例では、補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉの被写体ＯＢＪ１の画素値ｕ’は、ＩＭＧｉ，ＩＭＧｉ－１それぞれにおける被写体ＯＢＪ１の画素値ｕ，ｖの合成値（和）となっている。
　反対に、物体ＯＢＪｋが補正対象のスライス画像ＩＭＧｉと、それより後ろのスライス画像ＩＭＧｉ＋１に含まれる場合には、補正対象のスライス画像ＩＭＧｉの物体ＯＢＪｋを構成する各画素の画素値がゼロとされる。
　ｕ’＝０
　この例では、補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉの被写体ＯＢＪ３の画素値がゼロとなる。
　物体ＯＢＪ２は補正対象の被写体ではないため、画素値が維持される。
　つまり補正方法１では、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、手前（カメラに近い側）のレンジにのみ含まれ、奥側（カメラから遠い側）のレンジには含まれないものとして処理される。
　補正方法１によれば、元のスライス画像ＩＭＧｉにおいて暗く写っていた被写体ＯＢＪ１を明るく補正することができる。したがって、補正後のスライス画像をディスプレイに表示する場合、運転者はその被写体を認識しやすくなる。あるいは演算処理による物体認識を行う場合に、識別率を改善できる。
　また各被写体は、補正後の１つのスライス画像にのみ含まれるようになるため、各被写体の位置を特定しやすくなる。
（補正方法２）
　補正方法２では、補正方法１とは反対に、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側（カメラから遠い側）のレンジにのみ含まれ、手前（カメラに近い側）のレンジには含まれないものとされる。
　図１１（ｃ）は、補正方法２により得られる補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉ’を示す図である。
　補正方法２では、あるスライス画像ＩＭＧｉに含まれる被写体の画素値ｕは、それより奥側のスライス画像の画素値ｗを用いて補正される。
　たとえば単純和を用いて、以下のように補正してもよい。
　ｕ’＝ｕ＋ｗ
　単純加算に代えて、重み付け加算を用いてもよい。γ、δは重み付け係数である。
　ｕ’＝γｕ＋δｗ
　より一般化すると、補正後の画素値ｕ’は、任意の関数ｇを用いて以下のように表される。
　ｕ’＝ｇ（ｕ，ｗ）
　この例では、補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉの被写体ＯＢＪ３の画素値ｕ’は、ＩＭＧｉ，ＩＭＧｉ－１それぞれにおける被写体ＯＢＪ３の画素値ｕ，ｗの合成値（単純和）となっている。
　反対に、物体ＯＢＪｋが補正対象のスライス画像ＩＭＧｉと、それより前のスライス画像ＩＭＧｉ－１に含まれる場合には、補正対象のスライス画像ＩＭＧｉの物体ＯＢＪｋを構成する各画素の画素値がゼロとされる。
　ｕ’＝０
　補正方法２によれば、補正方法１と同じ効果が得られる。
（補正方法３）
　この補正方法３では、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側（カメラから遠い側）のレンジと手前（カメラに近い側）のレンジの両方に含まれるものとする。
　図１１（ｄ）は、補正方法３により得られる補正後のスライス画像ＩＭＧ＿ＣＯＲＲｉ”を示す図である。
　補正対象のスライス画像ＩＭＧｉと、それより手前のスライス画像ＩＭＧｉ－１に含まれる被写体（この例ではＯＢＪ１）については、その画素値は、以下のように補正される。
　ｕ’＝ｆ（ｕ，ｖ）
　また補正対象のスライス画像ＩＭＧｉと、それより奥のスライス画像ＩＭＧｉ＋１に含まれる被写体（この例ではＯＢＪ３）については、その画素値は、以下のように補正される。
　ｕ’＝ｇ（ｕ，ｗ）
　補正方法３によれば、元のスライス画像ＩＭＧｉにおいて暗く写っていた被写体ＯＢＪ１、ＯＢＪ３を明るく補正することができる。したがって、補正後のスライス画像をディスプレイに表示する場合、運転者はその被写体を認識しやすくなる。あるいは演算処理による物体認識を行う場合に、識別率を改善できる。
　補正方法３は、２つのレンジの境界近傍に存在する物体が、２つのレンジに対応する補正後の２つのスライス画像に含まれることとなる。
（補正方法４）
　図１２（ａ）～（ｄ）は、補正方法４を説明する図である。補正方法４では、補正対象の被写体の画素値ｕに所定の係数が乗算される。
　たとえば、物体ＯＢＪｋが補正対象のスライス画像ＩＭＧｉと、それより前のスライス画像ＩＭＧｉ－１に含まれる場合に、
　ｕ’＝ε１×ｕ
とする。物体ＯＢＪｋが補正対象のスライス画像ＩＭＧｉと、それより奥のスライス画像ＩＭＧｉ＋１に含まれる場合に、
　ｕ’＝ε２×ｕ
とする。ε１，ε２は任意に定めることができる。
　図１２（ｂ）は、ε１＝２、ε１＝０としたときの補正後のスライス画像ＩＭＧ＿ＣＯＲＲを示す。これは、上述の補正方法１に対応するといえる。
　図１２（ｃ）は、ε１＝０、ε１＝２としたときの補正後のスライス画像ＩＭＧ＿ＣＯＲＲ’を示す。これは上述の補正方法２に対応するといえる。
　図１２（ｄ）は、ε１＝２、ε１＝２としたときの補正後のスライス画像ＩＭＧ＿ＣＯＲＲ”を示す。これは上述の補正方法３に対応するといえる。
　ここまでの例では、複数の物体が、異なるレンジに存在する場合を説明したが、本発明は、奥行き方向の長さが長い１個の物体が、複数のレンジに渡って存在する場合にも有効である。
（車両用灯具）
　続いて、実施形態１あるいは実施形態２に係るゲーティングカメラ２０を備える車両用灯具について説明する。
　図１３は、ゲーティングカメラ２０を内蔵する車両用灯具２００を示す図である。車両用灯具２００は、筐体２１０、アウターレンズ２２０、ハイビームおよびロービームの灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０を備える。灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０は、筐体２１０に収容されている。
　なお、ゲーティングカメラ２０の一部、たとえばカメラ２４は、車両用灯具２００の外部、たとえばルームミラーの裏側に設置してもよい。
　図１４は、物体識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体識別システム１０が設けられる。物体識別システム１０は、ゲーティングカメラ２０および演算処理装置４０を含む。
　演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された予測モデルにもとづいて実装される分類器を備える。分類器のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　上述の実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　図５（ｂ）のカメラ２４の構成において、イメージセンサ５４として赤外線カメラを用い、イメージセンサ５４の感度波長λｃを、プローブ光λｃの波長より長くしてもよい。この場合、波長変換素子５６として、ダウンコンバージョン素子を選択すれば良い。
（変形例２）
　実施形態１では、アクティブセンサとしてゲーティングカメラを説明したが、本発明の適用はその限りでない。たとえば、奥行き方向に分割を行わずに、すべてのレンジを一括で撮影する通常のアクティブ赤外線センサやＴＯＦカメラにも本発明は適用可能である。
　あるいは、計算機ゴーストイメージングの理論を利用した相関計算にもとづく量子レーダ（量子カメラ）にも、本発明は適用可能である。この場合、カメラ２４に代えて、単画素の光検出器が用いられる。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、アクティブセンサに関する。
　１０　物体識別システム
　２０　ゲーティングカメラ
　２２　照明装置
　２４　イメージセンサ
　２６　コントローラ
　Ｓ１　投光タイミング信号
　Ｓ２　撮影タイミング信号
　４０　演算処理装置
　４２　分類器
　５０　レンズ
　５２　バンドパスフィルタ
　５４　イメージセンサ
　５６　波長変換素子
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３１０　灯具システム
　３０４　車両側ＥＣＵ

Claims (12)

  1. 　赤外のプローブ光を照射する照明装置と、
    　センサと、
    　前記照明装置による前記プローブ光の照射と、前記センサによる検出のタイミングを制御するコントローラと、
    　を備え、
    　前記プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれることを特徴とするアクティブセンサ。
  2. 　前記センサは撮像装置であり、
    　前記アクティブセンサは、奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであることを特徴とする請求項１に記載のアクティブセンサ。
  3. 　前記センサは、
    　イメージセンサと、
    　前記プローブ光の波長を透過するバンドパスフィルタと、
    　前記バンドパスフィルタの透過光を、前記イメージセンサの感度が高い波長に変換する波長変換素子と、
    　を含むことを特徴とする請求項１または２に記載のアクティブセンサ。
  4. 　前記プローブ光の波長は、９４０ｎｍ近傍の水分子の吸収波長であることを特徴とする請求項１から３のいずれかに記載のアクティブセンサ。
  5. 　前記プローブ光の波長は、１１２０ｎｍ近傍の水分子の吸収波長であることを特徴とする請求項１から３のいずれかに記載のアクティブセンサ。
  6. 　請求項１から５のいずれかに記載のアクティブセンサと、
    　前記アクティブセンサの出力を処理する演算処理装置と、
    　を備えることを特徴とする自動車。
  7. 　請求項１から５のいずれかに記載のアクティブセンサを備えることを特徴とする車両用灯具。
  8. 　奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　プローブ光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置による前記プローブ光の照射と、前記イメージセンサによる露光のタイミングを制御するコントローラと、
    　隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、前記補正対象の被写体を補正する画像処理部と、
    　を備えることを特徴とするゲーティングカメラ。
  9. 　補正において、前記隣接する二枚のスライス画像それぞれの前記補正対象の被写体の画素値が合成されることを特徴とする請求項８に記載のゲーティングカメラ。
  10. 　補正において、前記補正対象の被写体の画素値に所定の係数が乗算されることを特徴とする請求項８に記載のゲーティングカメラ。
  11. 　請求項８から１０のいずれかに記載のゲーティングカメラと、
    　前記ゲーティングカメラの出力を処理する演算処理装置と、
    　を備えることを特徴とする自動車。
  12. 　請求項８から１０のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。
PCT/JP2020/028325 2019-07-22 2020-07-21 アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 WO2021015208A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021534052A JPWO2021015208A1 (ja) 2019-07-22 2020-07-21

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-134744 2019-07-22
JP2019134744 2019-07-22
JP2019147318 2019-08-09
JP2019-147318 2019-08-09

Publications (1)

Publication Number Publication Date
WO2021015208A1 true WO2021015208A1 (ja) 2021-01-28

Family

ID=74194203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028325 WO2021015208A1 (ja) 2019-07-22 2020-07-21 アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具

Country Status (2)

Country Link
JP (1) JPWO2021015208A1 (ja)
WO (1) WO2021015208A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508359A (ja) * 1995-06-22 1999-07-21 ３ディブイ・システムズ・リミテッド 改善された光学測距カメラ
JP2007316036A (ja) * 2006-05-29 2007-12-06 Honda Motor Co Ltd 車両の乗員検知装置
JP2013108835A (ja) * 2011-11-21 2013-06-06 Mitsubishi Heavy Ind Ltd 監視装置
US20150192676A1 (en) * 2014-01-03 2015-07-09 Princeton Lightwave, Inc. LiDAR System Comprising A Single-Photon Detector
US20180372873A1 (en) * 2017-06-21 2018-12-27 Analog Value Ltd. LIDAR system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508359A (ja) * 1995-06-22 1999-07-21 ３ディブイ・システムズ・リミテッド 改善された光学測距カメラ
JP2007316036A (ja) * 2006-05-29 2007-12-06 Honda Motor Co Ltd 車両の乗員検知装置
JP2013108835A (ja) * 2011-11-21 2013-06-06 Mitsubishi Heavy Ind Ltd 監視装置
US20150192676A1 (en) * 2014-01-03 2015-07-09 Princeton Lightwave, Inc. LiDAR System Comprising A Single-Photon Detector
US20180372873A1 (en) * 2017-06-21 2018-12-27 Analog Value Ltd. LIDAR system

Also Published As

Publication number Publication date
JPWO2021015208A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
JP2019508717A5 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
TWI801637B (zh) 用於相機之紅外光預閃光
KR102480618B1 (ko) 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2016031666A1 (ja) 視線検出装置
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7472136B2 (ja) イメージング装置およびその照明装置、車両、車両用灯具
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JP2019204988A (ja) 画像処理装置及び画像処理方法
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020262446A1 (ja) 車両用灯具
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023085403A1 (ja) センシングシステム
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
WO2023189599A1 (ja) 距離画像センサ、および車両用灯具
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP2011109237A (ja) 情報処理装置、情報処理方法、及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844117

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534052

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844117

Country of ref document: EP

Kind code of ref document: A1