WO2023013777A1 - ゲーティングカメラ、車両用センシングシステム、車両用灯具 - Google Patents

ゲーティングカメラ、車両用センシングシステム、車両用灯具 Download PDF

Info

Publication number
WO2023013777A1
WO2023013777A1 PCT/JP2022/030166 JP2022030166W WO2023013777A1 WO 2023013777 A1 WO2023013777 A1 WO 2023013777A1 JP 2022030166 W JP2022030166 W JP 2022030166W WO 2023013777 A1 WO2023013777 A1 WO 2023013777A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
image
image sensor
continuous
gating camera
Prior art date
Application number
PCT/JP2022/030166
Other languages
English (en)
French (fr)
Inventor
健一 星
安男 中村
晃志 伊多波
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN202280054150.3A priority Critical patent/CN117795377A/zh
Priority to EP22853195.0A priority patent/EP4382969A1/en
Priority to JP2023540435A priority patent/JPWO2023013777A1/ja
Publication of WO2023013777A1 publication Critical patent/WO2023013777A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Definitions

  • the present invention relates to gating cameras.
  • An object identification system that senses the position and type of objects around the vehicle is used for automated driving and automatic control of headlamp light distribution.
  • An object identification system includes a sensor and a processor that analyzes the output of the sensor. Sensors are selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc., taking into consideration the application, required accuracy, and cost.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • millimeter-wave radar ultrasonic sonar
  • Depth information cannot be obtained from a general monocular camera. Therefore, it is difficult to separate multiple overlapping objects located at different distances.
  • a TOF camera is known as a camera that can obtain depth information.
  • a TOF (Time Of Flight) camera emits infrared light from a light-emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains a TOF image by converting the flight time into distance information. is.
  • a gating camera or gated camera has been proposed as an active sensor to replace the TOF camera (Patent Documents 1 and 2).
  • a gating camera divides an imaging range into a plurality of ranges, changes exposure timing and exposure time for each range, and captures images. This yields a slice image for each range of interest, each slice image containing only the objects contained in the corresponding range.
  • a certain aspect of the present disclosure has been made in such a situation, and one of its exemplary purposes is to provide a gating camera capable of shortening the generation time of normal images.
  • An aspect of the present disclosure relates to a gating camera that divides a field of view into multiple ranges in the depth direction and generates multiple slice images corresponding to the multiple ranges.
  • the gating camera consists of a lighting device that irradiates a field of view with pulsed illumination light, a multi-tap image sensor that has multiple FD (Floating Diffusion) regions per pixel, and the light emission timing of the lighting device and the exposure timing of the image sensor. and a camera controller for controlling.
  • One of the multiple FD areas is assigned as a pulse exposure area for slice image generation, and another one of the multiple FD areas is assigned as a continuous exposure area for normal image generation.
  • the image sensor performs multiple exposure of the reflected light of the pulsed illumination light from the field of view using the pulsed exposure area to generate a slice image, performs exposure using the continuous exposure area in the section where the pulsed exposure area is not used, Generate a normal image.
  • the normal image generation time can be shortened.
  • FIG. 1 is a block diagram of a sensing system according to Embodiment 1; FIG. It is a figure explaining the basic operation
  • FIGS. 3A and 3B are diagrams for explaining slice images obtained by the gating camera. 4 is a time chart for explaining generation of slice images SIMG and normal images NIMG by a gating camera; 9 is a time chart of sensing according to Modification 1.
  • FIG. 10 is a sensing time chart according to Modification 2.
  • FIG. FIG. 8 is a block diagram of a sensing system including a gating camera according to Embodiment 2; FIG. 8 is a time chart for explaining the operation of the gating camera of FIG. 7; FIG. FIG.
  • FIG. 11 is a diagram for explaining the operation of the gating camera according to Embodiment 3;
  • FIG. 11 is a circuit diagram of an image sensor used in a gating camera according to Embodiment 4;
  • 1 is a block diagram of a sensing system;
  • FIG. 12(a) and 12(b) are diagrams showing a vehicle equipped with a gating camera.
  • 1 is a block diagram showing a vehicle lamp equipped with a sensing system;
  • a gating camera divides the field of view into multiple ranges in the depth direction, and generates multiple slice images corresponding to the multiple ranges.
  • the gating camera consists of a lighting device that irradiates a field of view with pulsed illumination light, a multi-tap image sensor that has multiple FD (Floating Diffusion) regions per pixel, and the light emission timing of the lighting device and the exposure timing of the image sensor. and a camera controller for controlling.
  • One of the plurality of FD areas is assigned as a pulse exposure area for slice image generation, and another one is assigned as a continuous exposure area for normal image generation.
  • the image sensor performs multiple exposure of the reflected light of the pulsed illumination light from the field of view using the pulsed exposure area to generate a slice image, performs exposure using the continuous exposure area in the section where the pulsed exposure area is not used, Generate a normal image.
  • the image sensor may be configured so that each FD area can be read at independent timing. As a result, the normal image capturing time can be further shortened.
  • the illumination device may be capable of irradiating the field of view with continuous illumination light in addition to pulsed illumination light. By exposing continuous illumination light in the continuous exposure area, it is possible to shoot a normal image over a plurality of ranges in a shorter time.
  • the illumination device may irradiate the field of view with continuous illumination light during nighttime photography. Power consumption can be reduced by turning off the continuous illumination light during the daytime when sunlight is present.
  • the image sensor may generate a normal image by performing exposure using a plurality of continuous exposure areas in a time division manner during a continuous exposure period in which no pulse exposure area is used. Multiple consecutive exposure areas may have different exposure times. As a result, when there is a large difference in brightness in the field of view, an image with a wide dynamic range can be captured by using captured images in a plurality of continuous exposure areas.
  • the image sensor may generate slice images by pixel binning and normal images by dot-by-dot.
  • the generation rate of slice images can be increased at the cost of lower resolution.
  • high-resolution images can be obtained by dot-by-dot readout.
  • the image sensor may be capable of binning pixels of 2 rows and 2 columns as virtual pixels. Each pixel may include m (m ⁇ 1) pulsed exposure areas and n (n ⁇ 1) continuous exposure areas.
  • the image sensor may comprise m first readout circuits and n second readout circuits. The m first readout circuits may be associated with the m pulsed exposure areas, and the n second readout circuits may be associated with the n continuous exposure areas.
  • the i-th (1 ⁇ i ⁇ m) first readout circuit can read out by adding the signals of the i-th pulse exposure region of each of the four pixels included in the virtual pixel, and the j-th (1 ⁇ j ⁇ n) ) may be capable of reading the signal of the j-th continuous exposure area included in the corresponding pixel.
  • slice images can be generated by pixel binning, and normal images can be generated by dot-by-dot.
  • FIG. 1 is a block diagram of a sensing system 10 according to Embodiment 1.
  • FIG. This sensing system 10 is mounted on a vehicle such as an automobile or a motorcycle, and detects an object OBJ existing around the vehicle (within the field of view of the sensor).
  • the sensing system 10 mainly includes a gating camera 100.
  • the gating camera 100 includes an illumination device 110 , an image sensor 120 , a camera controller 130 and an arithmetic processing device 140 .
  • the imaging by the gating camera 100 is performed by dividing the visual field into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the illumination device 110 emits pulsed illumination light L1 forward of the vehicle in synchronization with the light emission timing signal S1 given from the camera controller 130 .
  • the pulsed illumination light L1 is preferably infrared light, but is not limited to this, and may be visible light or ultraviolet light having a predetermined wavelength.
  • the image sensor 120 includes a plurality of pixels px, is capable of exposure control synchronized with the exposure timing signal S2 given from the camera controller 130, and generates an image composed of a plurality of pixels.
  • the image sensor 120 has sensitivity to the same wavelength as the pulsed illumination light L1, and captures reflected light (return light) L2 reflected by the object OBJ.
  • the camera controller 130 controls the irradiation timing (light emission timing) of the pulsed illumination light L1 by the lighting device 110 and the exposure timing by the image sensor 120 .
  • the functions of the camera controller 130 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by combining processors (hardware) such as CPUs (Central Processing Units), MPUs (Micro Processing Units), microcomputers, and software programs executed by the processors (hardware).
  • processors hardware
  • hardware processing is implemented by hardware such as ASIC (Application Specific Integrated Circuit), controller IC, and FPGA (Field Programmable Gate Array).
  • An image (slice image) SIMG i generated by the image sensor 120 is input to the arithmetic processing unit 140 .
  • Arithmetic processing unit 140 processes a plurality of slice images SIMG 1 -SIMG N obtained for a plurality of ranges RNG 1 -RNG N to generate final output data CAMERAOUT.
  • output data CAMERAOUT includes a set of multiple slice images SIMG 1 -SIMG N .
  • the output data CAMERAOUT includes the normal image NIMG.
  • the arithmetic processing unit 140 may be implemented in the same hardware as the camera controller 130, or may be configured with separate hardware. Alternatively, part or all of the functions of arithmetic processing unit 140 may be implemented as a processor or digital circuit built into the same module as image sensor 120 .
  • the above is the basic configuration of the gating camera 100. Next, the operation will be explained.
  • FIG. 2 is a diagram for explaining the basic operation of the gating camera 100. As shown in FIG. FIG. 2 shows how the i-th range RNG i is sensed.
  • the illumination device 110 emits light during a light emission period ⁇ 1 between times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • ⁇ 1 Between times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • d MINi be the distance from the gating camera 100 to the front boundary of range RNG i
  • d MAXi be the distance to the rear boundary of range RNG i .
  • a round-trip time TMINi from the light leaving the illumination device 110 at a certain time reaches the distance dMINi and the reflected light returns to the image sensor 120 is T MINi 2 ⁇ d MINi /c is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi /c is.
  • a timing signal S2 is generated. This is one sensing operation.
  • the sensing of the i-th range RNG i includes multiple sets of emissions and exposures.
  • the camera controller 130 repeats the sensing operation described above multiple times at a predetermined period ⁇ 2 .
  • the image sensor 120 is capable of multiple exposure, and the FD region (charge storage region) of each pixel px is multiple-exposed with multiple times of reflected light obtained as a result of multiple times of pulse emission. to generate slice images SIMG.
  • FIG. 3A and 3B are diagrams for explaining slice images obtained by the gating camera 100.
  • FIG. 3A an object (pedestrian) OBJ2 exists in the range RNG2
  • an object (vehicle) OBJ3 exists in the range RNG3 .
  • FIG. 3(b) shows a plurality of slice images SIMG 1 to SIMG 3 obtained in the situation of FIG. 3(a).
  • the slice image SIMG 1 is taken, the image sensor is exposed only by reflected light from the range RNG 1 , so no object image is captured in the slice image SIMG 1 .
  • the image sensor When the slice image SIMG 2 is captured, the image sensor is exposed only by reflected light from the range RNG 2 , so only the object image OBJ 2 appears in the slice image SIMG 2 .
  • the slice image SIMG 3 when the slice image SIMG 3 is captured, the image sensor is exposed only by reflected light from the range RNG 3 , so only the object image OBJ 3 appears in the slice image SIMG 3 .
  • an object can be photographed separately for each range.
  • multiple slice images SIMG 1 to SIMG N can be combined to generate an image (normal image) similar to that taken by a normal camera. Then. However, in this case, it takes a very long time to generate one normal image.
  • the gating camera 100 is configured to be able to generate a normal image NIMG that is not divided into a plurality of ranges in parallel with the generation of the slice images SIMG 1 to SIMG N. Generation of a normal image will be described below.
  • the image sensor 120 is of a multi-tap type, and one pixel has a plurality of FD regions fd.
  • Each pixel px of image sensor 120 includes a plurality of FD areas, at least one of which is assigned as pulse exposure area fdp for generation of slice image SIMG and another at least one for generation of normal image NIMG. is assigned as a continuous exposure area fdc for .
  • the illumination device 110 Under the control of the camera controller 130, the illumination device 110 repeatedly irradiates the field of view with the pulsed illumination light L1, and the image sensor 120 performs multiple exposure of the reflected light L2 from the field of view using the pulsed exposure area fdp to obtain the slice image SIMG. to generate The exposure period of the pulse exposure region fdp is called a pulse exposure period Tp.
  • the reflected light L2x from the object OBJx existing in the i-th range RNG i is detected by the pulse exposure area fdp, but the objects existing in other ranges RNG are detected by the pulse exposure area fdp.
  • the reflected light L2y from OBJy does not enter the image sensor 120 during the pulse exposure period Tp, and therefore is not detected by the pulse exposure area fdp.
  • the image sensor 120 performs exposure using the continuous exposure area fdc in the section in which the pulse exposure area fdp is not used, and generates the normal image NIMG.
  • the exposure period of the continuous exposure area fdc is called a continuous exposure period Tc.
  • Reflected lights L3x and L3y from objects OBJx and OBJy in the entire range are detected by the continuous exposure area fdc.
  • the reflected light L3 may include reflected light of the pulsed illumination light L1 and reflected light of sunlight.
  • the reflected light of the pulsed illumination light L1 from the detection target range RNG i does not enter the image sensor 120 during the continuous exposure period Tc, and therefore is not detected by the continuous exposure area fdc.
  • the object OBJ within the detection target range RNG i is photographed using the reflected light of sunlight, not the reflected light of the pulsed illumination light L1.
  • the above is the configuration of the gating camera 100. Next, the operation will be explained.
  • FIG. 4 is a time chart for explaining the generation of the slice image SIMG and normal image NIMG by the gating camera 100.
  • the pixel contains three FD areas fd, two of which are pulse exposure areas fdp1, fdp2, which are assigned to generate slice images SIMG of two adjacent ranges RNG i , RNG i+1. .
  • a set of two ranges RNG i , RNG i+1 is called a zone.
  • t0 represents the exposure start time of one zone
  • t1 represents the exposure time.
  • the high level of L1 represents the emission of pulsed illumination light
  • the high levels of fdp1, fdp2, and fdc represent the exposure of each FD area.
  • the exposure periods by the pulse exposure areas fdp1 and fpd2 are called pulse exposure periods Tp1 and Tp2
  • the exposure period by the continuous exposure area fdc is called a continuous exposure period Tc.
  • a pixel includes a light-receiving element such as a photodiode in addition to a plurality of FD regions. Each FD area is exclusively connected to the light receiving element during its exposure period.
  • Qp1, Qp2 and Qc represent the charge amounts of the FD regions fdp1, fdp2 and fdc, respectively.
  • the exposure timing of the pulse exposure regions fdp1 and fdp2 is determined according to the position of the imaging range.
  • the arithmetic processing unit 140 may acquire detailed distance information within the range by the indirect ToF method using the pixel values of the two pulse exposure regions fdp1 and fdp2.
  • the emission of the pulse illumination light L1 and the pulse exposure regions fdp1 and fdp2 are required.
  • the fpd2 exposure must be repeated on the order of hundreds to hundreds of thousands of times.
  • the remaining one of the three FD areas fd is the continuous exposure area fdc and is assigned to generate the normal image NIMG.
  • the continuous exposure area fdc is used during a period (continuous exposure period) during which both the pulse exposure areas fdp1 and fdp2 are not used.
  • the reflected light L2 of the pulsed illumination light L1 from objects in the entire range of the field of view is incident on the pixels.
  • sunlight reflected by objects in the entire range of the field of view is incident on the pixels.
  • the charge amount accumulated in the continuous exposure area fdc during the continuous exposure period constitutes the normal image NIMG photographed over the entire range of the field of view.
  • the image sensor 120 can read multiple FD areas only at the same timing. In other words, it is assumed that the charges in a plurality of FD regions are reset when reading is performed once. In this case, when the sensing of one zone is completed at time t1 , the pulse exposure areas fdp1 and fdp2 and the continuous exposure area fdc are read out, and two slice images SIMG and one normal image NIMG can be obtained. .
  • the above is the operation of the gating camera 100.
  • this gating camera 100 by continuously exposing stationary light independent of the pulsed illumination light L1 using an FD area that is not used to generate slice images, in parallel with the generation of slice images SIMG, normal An image NIMG can be generated. Since the normal image NIMG can be obtained without waiting for the completion of photographing of all the ranges RNG 1 to RNG N , the generation time of the normal image NIMG can be shortened.
  • the gating camera 100 when used in the daytime, sunlight becomes noise in generating slice images. Therefore, it is necessary to select the wavelength of the pulsed illumination light L1 and the sensitivity wavelength of the image sensor 120 from a region where the spectral intensity of sunlight is weak. In other words, the image sensor 120 is less sensitive to stationary light, which is typically dominant in capturing images NIMG.
  • the pulse exposure periods Tp1 and Tp2 are on the order of about 1/100 to 1/1000 of the light emission interval of the pulse illumination light L1. Therefore, the continuous exposure period Tc is several ten to several hundred times longer than the pulse exposure periods Tp1 and Tp2. Therefore, even if the image sensor 120 has low sensitivity to sunlight, a sufficiently bright normal image can be generated.
  • FIG. 5 is a sensing time chart according to Modification 1.
  • FIG. 5 When the continuous exposure area fdc has accumulated a charge amount capable of obtaining a normal image with the required brightness without waiting for the completion of the sensing of one zone, the exposure of the continuous exposure area fdc is stopped at that point. may As a result, it is possible to prevent the normal image from being overexposed due to saturation of the pixels.
  • FIG. 6 is a sensing time chart according to Modification 2.
  • FIG. 4 multiple FD areas of the image sensor 120 are assumed to be read only at the same timing, but this is not the only option.
  • the image sensor 120 is configured to be able to read at independent timing for each FD area.
  • each time the exposure of the continuous exposure area fdc is completed the pulse exposure area fdp is read to generate the normal image NIMG without waiting for the completion of the exposure of the pulse exposure area fdp, and the next normal image NIMG is generated. Start a new continuous exposure for
  • the frame rate of the normal image NIMG can be increased compared to the case of FIG. 4 or FIG.
  • the reflected light of the pulsed illumination light L1 from the range RNG i to be detected does not enter the image sensor 120 during the continuous exposure period Tc, and therefore is not detected by the continuous exposure area fdc. .
  • the object OBJ within the detection target range RNG i is photographed using the reflected light of the sunlight, not the reflected light of the pulsed illumination light L1.
  • Embodiment 2 describes a technique for solving this problem.
  • FIG. 7 is a block diagram of a sensing system 10A including a gating camera 100A according to the second embodiment. Regarding the gating camera 100A, differences from the gating camera 100 according to the first embodiment will be described.
  • the illumination device 110A irradiates the field of view with the continuous illumination light L4 in addition to the pulsed illumination light L1. Others are the same as those of the first embodiment. Next, the operation of the gating camera 100A will be explained.
  • FIG. 8 is a time chart explaining the operation of the gating camera 100A of FIG.
  • the illumination device 110A Under the control of the camera controller 130, the illumination device 110A repeatedly irradiates the field of view with the pulsed illumination light L1, and the image sensor 120 performs multiple exposure of the reflected light L2 from the field of view using the pulsed exposure area fdp to obtain a slice image.
  • Generate SIMG The generation of the slice image SIMG is the same as in the first embodiment.
  • the illumination device 110A irradiates the field of view with the continuous illumination light L4.
  • the intensity of the continuous illumination light L4 is lower than the peak intensity of the pulsed illumination light L1.
  • the image sensor 120 Under the control of the camera controller 130, the image sensor 120 performs exposure using the continuous exposure area fdc during the continuous exposure period Tc in which the pulse exposure area fdp is not used, and generates the normal image NIMG. Reflected lights L3x and L3y from objects OBJx and OBJy in the entire range are detected by the continuous exposure area fdc.
  • the reflected light L3 can include reflected light of the pulsed illumination light L1 and reflected light of the continuous illumination light L4.
  • the reflected light of the pulsed illumination light L1 from the detection target range RNG i does not enter the image sensor 120 during the continuous exposure period Tc, and therefore is not detected by the continuous exposure area fdc. In other words, in photographing the normal image NIMG, the object OBJ within the detection target range RNG i is photographed using not the reflected light of the pulsed illumination light L1 but the reflected light of the continuous illumination light L4. .
  • the gating camera 100A According to the gating camera 100A according to the second embodiment, it is possible to generate the normal image NIMG in a short time even at night when there is no sunlight.
  • each pixel px has one continuous exposure region fdc, but it is not limited to this and may have two or more continuous exposure regions fdc.
  • FIG. 9 is a diagram explaining the operation of the gating camera according to the third embodiment.
  • the image sensor 120 Under the control of the camera controller 130, the image sensor 120 performs exposure using the two continuous exposure areas fdc1 and fdc2 in a time-sharing manner during the continuous exposure period Tc in which the pulse exposure area fdp is not used, to generate the normal image NIMG.
  • the two continuous exposure areas fdc1 and fdc2 have different exposure times, and two normal images NIMG are shot with different exposures.
  • images captured by a plurality of continuous exposure areas fdc1 and fdc2 are used to detect bright objects (objects with high reflectance) and dark objects (objects with low reflectance). objects) are easier to detect.
  • an HDR (High Dynamic Range) image with a wide dynamic range that suppresses blown-out highlights and blocked-up shadows can be shot by synthesizing shot images from two continuous exposure areas fdc1 and fdc2.
  • FIG. 10 is a circuit diagram of an image sensor 120C used in the gating camera according to the fourth embodiment.
  • each pixel px includes m (m ⁇ 1) pulse exposure areas fdp and n (n ⁇ 1) continuous exposure areas fdc, for a total of m+n FD areas.
  • Each FD area is provided with a tap so that signals can be read out.
  • FD regions are pulse exposure regions fdp1 to fdp4, and four taps TP1 to TP4 are provided.
  • the remaining two FD regions are continuous exposure regions fdc1 and fdc2, and two taps TP5 and TP6 are provided.
  • each pixel includes four pulse exposure areas fdp1 to fdp4, four slice images corresponding to four ranges are generated at the same time. Also, as described in the third embodiment, two normal images NIMG are shot with different exposures using two continuous exposure areas fdc1 and fdc2.
  • slice images are generated by pixel binning. Specifically, a plurality of adjacent pixels (four pixels in this example) are combined to generate a virtual pixel pxbin. That is, the resolution of slice images is lower than that of normal images.
  • FIG. 10 shows the i-th and (i+1)-th columns and the j-th and (j+1)-th rows, where four pixels px i,j , px i+1,j , px across 2 rows and 2 columns. i,j+1 , px i+1,j+1 are integrated by pixel binning.
  • the four first readout circuits RO_BIN1 to RO_BIN4 are associated with the four pulse exposure areas fdp1 to fpd4 of the corresponding two columns of pixels, respectively.
  • the two second readout circuits RO_DBD1 to RO_DBD2 are associated with the two continuous exposure areas fdc1 to fdc2 in the corresponding columns.
  • Adjacent readout circuits RO_DBD and ROBIN can be shared and can be used while switching.
  • the i-th (1 ⁇ i ⁇ m) first readout circuit RO_BINi can read out by adding the signals of the i-th pulse exposure regions fdpi of the four pixels included in the virtual pixel pxbin.
  • the j-th (1 ⁇ j ⁇ n) second readout circuit RO_DBDj can read out the signal of the j-th continuous exposure area fdcj included in the pixels of the corresponding column.
  • a high-resolution normal image NIMG can be generated by dot-by-dot readout.
  • the image sensor 120 by generating the slice image SIMG by pixel binning processing, it is possible to reduce the generation time in exchange for the reduction in resolution.
  • FIG. 11 is a block diagram of the sensing system 10. As shown in FIG.
  • the sensing system 10 includes an arithmetic processing unit 40 in addition to the gating camera 100 described above.
  • the sensing system 10 is an object detection system that is mounted on a vehicle such as an automobile or a motorcycle and determines the type (category or class) of an object OBJ existing around the vehicle.
  • Gating camera 100 generates a plurality of slice images IMG 1 -IMG N corresponding to a plurality of ranges RNG 1 -RNG N.
  • Output data CAMERAOUT of the gating camera 100 includes a plurality of slice images SIMG 1 to SIMG N and a normal image NIMG.
  • the arithmetic processing unit 40 is configured to be able to identify the type of object based on the output data CAMERAOUT of the gating camera 100 .
  • the processing unit 40 has a classifier 42 implemented based on a trained model generated by machine learning.
  • the processing unit 40 may include multiple classifiers 42 optimized for each range.
  • the algorithm of the classifier 42 is not particularly limited, YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN , DSSD (Deconvolution-SSD), Mask R-CNN, etc., or algorithms that will be developed in the future.
  • the functions of the arithmetic processing unit 40 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by combining processors (hardware) such as CPUs (Central Processing Units), MPUs (Micro Processing Units), microcomputers, and software programs executed by the processors (hardware).
  • processors hardware
  • the arithmetic processing unit 40 may be a combination of multiple processors and software programs.
  • hardware processing is implemented by hardware such as ASIC (Application Specific Integrated Circuit), controller IC, and FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • controller IC integrated circuit
  • FPGA Field Programmable Gate Array
  • FIG. 12(a) and (b) are diagrams showing an automobile 300 equipped with the gating camera 100.
  • FIG. Please refer to FIG.
  • the automobile 300 includes headlamps (lamps) 302L and 302R.
  • the illumination device 110 of the gating camera 100 may be built into at least one of the left and right headlamps 302L and 302R.
  • the image sensor 120 can be mounted on a part of the vehicle, for example behind the rearview mirror. Alternatively, the image sensor 120 may be provided on the front grille or front bumper.
  • the camera controller 130 may be provided inside the vehicle, in the engine room, or built in the headlamps 302L and 302R.
  • the image sensor 120 may be incorporated in either of the left and right headlamps 302L, 302R together with the lighting device 110.
  • the lighting device 110 may be provided on a part of the vehicle, for example, behind the room mirror, front grille, or front bumper.
  • FIG. 13 is a block diagram showing a vehicle lamp 200 including the sensing system 10.
  • the vehicle lamp 200 constitutes a lamp system 304 together with the vehicle-side ECU 310 .
  • the vehicle lamp 200 includes a lamp side ECU 210 and a lamp unit 220 .
  • the lamp unit 220 is low beam or high beam, and includes a light source 222 , a lighting circuit 224 and an optical system 226 . Further, the vehicle lamp 200 is provided with the sensing system 10 .
  • Information about the object OBJ detected by the sensing system 10 may be used for light distribution control of the vehicle lamp 200 .
  • the lamp-side ECU 210 generates an appropriate light distribution pattern based on the information about the type and position of the object OBJ generated by the sensing system 10 .
  • the lighting circuit 224 and the optical system 226 operate so as to obtain the light distribution pattern generated by the lamp-side ECU 210 .
  • the arithmetic processing unit 40 of the sensing system 10 may be provided outside the vehicle lamp 200, that is, on the vehicle side.
  • Information regarding the object OBJ detected by the sensing system 10 may also be transmitted to the vehicle-side ECU 310 .
  • the vehicle-side ECU 310 may use this information for automatic driving and driving assistance.
  • the present invention relates to gating cameras.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

照明装置１１０は、パルス照明光Ｌ１を視野に照射する。マルチタップ型のイメージセンサ１２０は、１画素が複数のＦＤ（Floating Diffusion）領域を有する。カメラコントローラ１３０は、照明装置１１０の発光タイミングとイメージセンサ１２０の露光タイミングを制御する。複数のＦＤ領域のうちのひとつであるパルス露光領域ｆｄｐはスライス画像ＳＩＭＧの生成に割り当てられ、複数のＦＤ領域のうちの別のひとつである連続露光領域ｆｄｃは、通常画像ＮＩＭＧの生成に割り当てられる。イメージセンサ１２０は、視野からのパルス照明光Ｌ１の反射光をパルス露光領域ｆｄｐを利用して多重露光を行ってスライス画像ＳＩＭＧを生成し、パルス露光領域ｆｄｐを使用しない区間において連続露光領域ｆｄｃを利用した露光を行い、通常画像ＮＩＭＧを生成する。

Description

ゲーティングカメラ、車両用センシングシステム、車両用灯具
　本発明は、ゲーティングカメラに関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴＯＦ画像を得るものである。
　ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。
特開２００９－２５７９８１号公報 国際公開ＷＯ２０１７／１１０４１７Ａ１
　ゲーティングカメラによって、通常のカメラと同様のレンジに分割されない画像（通常画像という）を得るためには、複数のレンジのスライス画像を撮影した後に、それらを合成する必要がある。
　ゲーティングカメラにおいて奥行き方向の分解能を高めるためには、言い換えるとレンジの奥行き方向の長さ（深さ）を短くするためには、照明光のパルス幅および露光時間を短くする必要がある。その場合、十分に明るいスライス画像を得るためには、照射／露光のセットの回数を増やす必要があり、１スライス画像を生成する時間が長くなる。また、１レンジの深さを短くすると、レンジの個数が増えることとなるため、全レンジの撮影時間は一層長くなる。
　本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、通常画像の生成時間を短縮可能なゲーティングカメラの提供にある。
　本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、パルス照明光を視野に照射する照明装置と、１画素が複数のＦＤ（Floating Diffusion）領域を有するマルチタップ型のイメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御するカメラコントローラと、を備える。複数のＦＤ領域のうちのひとつは、スライス画像の生成のためのパルス露光領域として割り当てられ、複数のＦＤ領域のうちの別のひとつは、通常画像の生成のための連続露光領域として割り当てられる。イメージセンサは、視野からのパルス照明光の反射光をパルス露光領域を利用して多重露光を行ってスライス画像を生成し、パルス露光領域を使用しない区間において連続露光領域を利用した露光を行い、通常画像を生成する。
　本開示のある態様によれば、通常画像の生成時間を短縮できる。
実施形態１に係るセンシングシステムのブロック図である。 ゲーティングカメラの基本動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 ゲーティングカメラによるスライス画像ＳＩＭＧおよび通常画像ＮＩＭＧの生成を説明するタイムチャートである。 変形例１に係るセンシングのタイムチャートである。 変形例２に係るセンシングのタイムチャートである。 実施形態２に係るゲーティングカメラを備えるセンシングシステムのブロック図である。 図７のゲーティングカメラの動作を説明するタイムチャートである。 実施形態３に係るゲーティングカメラの動作を説明する図である。 実施形態４に係るゲーティングカメラに使用されるイメージセンサの回路図である。 センシングシステムのブロック図である。 図１２（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。 センシングシステムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、パルス照明光を視野に照射する照明装置と、１画素が複数のＦＤ（Floating Diffusion）領域を有するマルチタップ型のイメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御するカメラコントローラと、を備える。スライス画像の生成のためのパルス露光領域として割り当てられ、複数のＦＤ領域のうちの別のひとつは、通常画像の生成のための連続露光領域として割り当てられる。イメージセンサは、視野からのパルス照明光の反射光をパルス露光領域を利用して多重露光を行ってスライス画像を生成し、パルス露光領域を使用しない区間において連続露光領域を利用した露光を行い、通常画像を生成する。
　スライス画像の生成には、パルス照明光の照射およびそれと同期した短時間の露光を繰り返し行う必要がある。スライス画像の露光が行われていない期間において、連続露光領域に電荷を蓄積して、連続的な露光を行うことにより、複数のレンジに区切られない通常画像を短時間で撮影できる。
　一実施形態において、イメージセンサは、ＦＤ領域ごとに独立したタイミングで読み出し可能に構成されてもよい。これにより、通常画像の撮影時間をさらに短縮できる。
　一実施形態において、照明装置は、パルス照明光に加えて、連続照明光を視野に照射可能であってもよい。連続露光領域によって、連続照明光を露光することで、複数のレンジにわたる通常画像を、さらに短時間で撮影できる。
　一実施形態において、照明装置は、夜間の撮影において連続照明光を視野に照射してもよい。太陽光が存在する昼間は、連続照明光をオフすることで、消費電力を削減できる。
　一実施形態において、連続露光領域は複数であってもよい。イメージセンサは、パルス露光領域を使用しない連続露光期間において、複数の連続露光領域を時分割で利用した露光を行い、通常画像を生成してもよい。複数の連続露光領域は露光時間が異なってもよい。これにより、視野の明暗差が大きい場合に、複数の連続露光領域による撮影画像を利用することで、ダイナミックレンジの広い画像を撮影できる。
　一実施形態において、イメージセンサは、スライス画像をピクセルビニングによって生成し、通常画像をドットバイドットによって生成してもよい。これにより、解像度の低下と引き換えに、スライス画像の生成レートを高めることができる。通常画像についてはドットバイドット読み出しにより高解像度な画像を得ることができる。
　一実施形態において、イメージセンサは、２行２列の画素を仮想ピクセルとしてビニング可能であってもよい。各画素は、ｍ個（ｍ≧１）のパルス露光領域と、ｎ個（ｎ≧１）の連続露光領域を含んでもよい。イメージセンサは、ｍ個の第１読み出し回路と、ｎ個の第２読み出し回路と、を備えてもよい。ｍ個の第１読み出し回路は、ｍ個のパルス露光領域に対応付けられ、ｎ個の第２読み出し回路は、ｎ個の連続露光領域に対応付けられてもよい。ｉ番目（１≦ｉ≦ｍ）の第１読み出し回路は、仮想ピクセルに含まれる４画素それぞれのｉ番目のパルス露光領域の信号を加算して読み出し可能であり、ｊ番目（１≦ｊ≦ｎ）の第２読み出し回路は、対応する画素に含まれるｊ番目の連続露光領域の信号を読み出し可能であってもよい。この構成によれば、スライス画像をピクセルビニングによって生成し、通常画像をドットバイドットによって生成できる。
（実施形態）
　以下、好適な実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図１は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲（センサの視野内）に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、主としてゲーティングカメラ１００を備える。ゲーティングカメラ１００は、照明装置１１０、イメージセンサ１２０、カメラコントローラ１３０、演算処理装置１４０を含む。ゲーティングカメラ１００による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置１１０は、カメラコントローラ１３０から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方に照射する。パルス照明光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。
　イメージセンサ１２０は、複数の画素ｐｘを含み、カメラコントローラ１３０から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる画像を生成する。イメージセンサ１２０は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　カメラコントローラ１３０は、照明装置１１０によるパルス照明光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ１２０による露光のタイミングを制御する。カメラコントローラ１３０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なおカメラコントローラ１３０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Application Specific Integrated Circuit）やコントローラＩＣ、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで実装される。
　イメージセンサ１２０により生成された画像（スライス画像）ＳＩＭＧｉは、演算処理装置１４０に入力される。演算処理装置１４０は、複数のレンジＲＮＧ１～ＲＮＧＮについて得られる複数のスライス画像ＳＩＭＧ１～ＳＩＭＧＮを処理し、最終的な出力データＣＡＭＥＲＡＯＵＴを生成する。たとえば出力データＣＡＭＥＲＡＯＵＴは複数のスライス画像ＳＩＭＧ１～ＳＩＭＧＮのセットを含む。さらに本実施形態において、出力データＣＡＭＥＲＡＯＵＴは、通常画像ＮＩＭＧを含む。
　演算処理装置１４０は、カメラコントローラ１３０と同じハードウェアに実装してもよいし、別々のハードウェアで構成してもよい。あるいは演算処理装置１４０の機能の一部あるいは全部は、イメージセンサ１２０と同じモジュールに内蔵されたプロセッサやデジタル回路として実装してもよい。
　以上がゲーティングカメラ１００の基本構成である。続いてその動作を説明する。
　図２は、ゲーティングカメラ１００の基本動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉをセンシングするときの様子が示される。照明装置１１０は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ１００から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置１１０を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置１１０を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ１３０は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回のセンシング動作である。
　ｉ番目のレンジＲＮＧｉのセンシングは、発光および露光のセットを複数含む。カメラコントローラ１３０は、所定の周期τ２で、上述のセンシング動作を複数回にわたり繰り返す。
　詳しくは後述するが、イメージセンサ１２０は多重露光が可能であり、画素ｐｘ毎のＦＤ領域（電荷蓄積領域）に、複数回のパルス発光の結果得られる複数回の反射光を多重露光し、１枚のスライス画像ＳＩＭＧを生成する。
　図３（ａ）、（ｂ）は、ゲーティングカメラ１００により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＳＩＭＧ１～ＳＩＭＧ３が示される。スライス画像ＳＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＳＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＳＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＳＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＳＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＳＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ１００によれば、レンジ毎に物体を分離して撮影することができる。
　全レンジＲＮＧ１～ＲＮＧＮのセンシングが終了した後に、複数のスライス画像ＳＩＭＧ１～ＳＩＭＧＮを合成することにより、通常のカメラで撮影したものと同様の画像（通常画像）を生成することが可能ではある。しかしこの場合、１枚の通常画像の生成には非常に長い時間を要することとなる。
　本実施形態に係るゲーティングカメラ１００は、スライス画像ＳＩＭＧ１～ＳＩＭＧＮの生成と並列的に、複数のレンジに分割されない通常画像ＮＩＭＧを生成可能に構成される。以下、通常画像の生成について説明する。
　図１に戻る。イメージセンサ１２０はマルチタップ型であり、１画素が複数のＦＤ領域ｆｄを有する。イメージセンサ１２０の各画素ｐｘは複数のＦＤ領域を含み、その中の少なくともひとつのは、スライス画像ＳＩＭＧの生成のためのパルス露光領域ｆｄｐとして割り当てられ、別の少なくともひとつは、通常画像ＮＩＭＧの生成のための連続露光領域ｆｄｃとして割り当てられる。
　カメラコントローラ１３０による制御により、照明装置１１０は、パルス照明光Ｌ１を視野に繰り返し照射し、イメージセンサ１２０は視野からの反射光Ｌ２をパルス露光領域ｆｄｐを利用して多重露光を行い、スライス画像ＳＩＭＧを生成する。パルス露光領域ｆｄｐによる露光期間をパルス露光期間Ｔｐという。ｉ番目のレンジＲＮＧｉをセンシングする際には、ｉ番目のレンジＲＮＧｉに存在する物体ＯＢＪｘからの反射光Ｌ２ｘは、パルス露光領域ｆｄｐによって検出されるが、それ以外のレンジＲＮＧに存在する物体ＯＢＪｙからの反射光Ｌ２ｙは、パルス露光期間Ｔｐの間にイメージセンサ１２０に入射しないため、パルス露光領域ｆｄｐによって検出されない。
　またカメラコントローラ１３０による制御により、イメージセンサ１２０は、パルス露光領域ｆｄｐを使用しない区間において連続露光領域ｆｄｃを利用した露光を行い、通常画像ＮＩＭＧを生成する。連続露光領域ｆｄｃによる露光期間を、連続露光期間Ｔｃという。連続露光領域ｆｄｃによって、全レンジの物体ＯＢＪｘ、ＯＢＪｙからの反射光Ｌ３ｘ，Ｌ３ｙが検出される。反射光Ｌ３は、パルス照明光Ｌ１の反射光と、太陽光の反射光を含みうる。ただし、検出対象のレンジＲＮＧｉからのパルス照明光Ｌ１の反射光は、連続露光期間Ｔｃの間に、イメージセンサ１２０には入射しないため、連続露光領域ｆｄｃによって検出されない。言い換えると、通常画像ＮＩＭＧの撮影に関しては、検出対象のレンジＲＮＧｉ内の物体ＯＢＪは、パルス照明光Ｌ１の反射光ではなく、太陽光の反射光を利用して撮影されることとなる。
　以上がゲーティングカメラ１００の構成である。続いてその動作を説明する。
　図４は、ゲーティングカメラ１００によるスライス画像ＳＩＭＧおよび通常画像ＮＩＭＧの生成を説明するタイムチャートである。この例では、画素は３個のＦＤ領域ｆｄを含んでおり、そのうちの２個がパルス露光領域ｆｄｐ１，ｆｄｐ２であり、隣接する２つのレンジＲＮＧｉ，ＲＮＧｉ＋１のスライス画像ＳＩＭＧの生成に割り当てられる。２つのレンジＲＮＧｉ，ＲＮＧｉ＋１のセットをゾーンと称する。ｔ０は１つのゾーンの露光開始時刻を、ｔ１は露光時刻を表す。
　このタイムチャートにおいて、Ｌ１のハイはパルス照明光の発光を、ｆｄｐ１，ｆｄｐ２，ｆｄｃのハイは、各ＦＤ領域の露光を表す。パルス露光領域ｆｄｐ１，ｆｐｄ２による露光期間を、パルス露光期間Ｔｐ１，Ｔｐ２といい、連続露光領域ｆｄｃによる露光期間を、連続露光期間Ｔｃという。画素は、複数のＦＤ領域に加えて、フォトダイオードなどの受光素子を含む。各ＦＤ領域は、その露光期間において、排他的に受光素子と接続される。またＱｐ１，Ｑｐ２，Ｑｃは、ＦＤ領域ｆｄｐ１，ｆｄｐ２，ｆｄｃそれぞれの電荷量を表す。
　パルス露光領域ｆｄｐ１，ｆｄｐ２の露光タイミングは、撮影するレンジの位置に応じて定まる。演算処理装置１４０は、２個のパルス露光領域ｆｄｐ１，ｆｄｐ２の画素値を利用して、間接ＴｏＦ法によってレンジ内の細かい距離情報を取得してもよい。
　レンジＲＮＧｉ，ＲＮＧｉ＋１について、十分に明るいスライス画像を得るためには、つまり、パルス露光領域ｆｄｐ１，ｆｄｐ２に十分な電荷量を蓄積するには、パルス照明光Ｌ１の発光とパルス露光領域ｆｄｐ１，ｆｐｄ２による露光を、数百回～数十万回のオーダーで繰り返す必要がある。
　３個のＦＤ領域ｆｄのうちの残りの１個は、連続露光領域ｆｄｃであり、通常画像ＮＩＭＧの生成に割り当てられる。連続露光領域ｆｄｃは、パルス露光領域ｆｄｐ１，ｆｄｐ２が両方、不使用である期間（連続露光期間）に、使用される。
　連続露光期間において、画素には、視野の全レンジの物体によるパルス照明光Ｌ１の反射光Ｌ２が入射する。また画素には、視野の全レンジの物体による太陽光の反射光が入射する。これにより、連続露光期間中に、連続露光領域ｆｄｃに蓄積される電荷量は、視野の全レンジを撮影した通常画像ＮＩＭＧを構成する。
　この例では、イメージセンサ１２０が、複数のＦＤ領域が、同じタイミングでしか読み出しできないものであるとする。つまり、１回読み出しを行うと複数のＦＤ領域の電荷がリセットされるものであるとする。この場合、時刻ｔ１に１ゾーンのセンシングが完了すると、パルス露光領域ｆｄｐ１，ｆｄｐ２および連続露光領域ｆｄｃが読み出され、２枚のスライス画像ＳＩＭＧと、１枚の通常画像ＮＩＭＧを得ることができる。
　以上がゲーティングカメラ１００の動作である。
　このゲーティングカメラ１００によれば、スライス画像の生成に使用しないＦＤ領域を使用して、パルス照明光Ｌ１に依存しない定常光を連続露光することにより、スライス画像ＳＩＭＧの生成と並列して、通常画像ＮＩＭＧを生成することができる。すべてのレンジＲＮＧ１～ＲＮＧＮの撮影完了を待たずに、通常画像ＮＩＭＧを得ることができるため、通常画像ＮＩＭＧの生成時間を短縮できる。
　なお、ゲーティングカメラ１００を昼間に使用する場合、太陽光はスライス画像の生成に関してはノイズとなる。したがって、パルス照明光Ｌ１の波長およびイメージセンサ１２０の感度波長は、太陽光のスペクトル強度が弱い領域から選択する必要がある。言い換えると、イメージセンサ１２０は、通常画像ＮＩＭＧの撮影において支配的な定常光に対しては感度が低い。ここで図４において、パルス露光期間Ｔｐ１，Ｔｐ２は、パルス照明光Ｌ１の発光間隔のおおよそ１／１００～１／１０００程度のオーダーである。したがって、連続露光期間Ｔｃは、パルス露光期間Ｔｐ１，Ｔｐ２よりも数十倍～数百倍のオーダーで大きい。したがってイメージセンサ１２０の太陽光に対する感度が低い場合であっても、十分に明るい通常画像を生成できる。
　以下、ゲーティングカメラ１００の構成やセンシングの変形例を説明する。
　図５は、変形例１に係るセンシングのタイムチャートである。１ゾーンのセンシングの完了を待たずに、必要な明るさの通常画像が得ることが可能な電荷量が連続露光領域ｆｄｃに蓄積された場合、その時点で、連続露光領域ｆｄｃの露光を停止してもよい。これにより、画素が飽和して通常画像が白飛びするのを防止できる。
　図６は、変形例２に係るセンシングのタイムチャートである。図４では、イメージセンサ１２０の複数のＦＤ領域が、同じタイミングでしか読み出しできないものとしたが、その限りでない。変形例２において、イメージセンサ１２０は、ＦＤ領域ごとに独立したタイミングで読み出し可能に構成される。変形例２では、連続露光領域ｆｄｃの露光が完了するたびに、パルス露光領域ｆｄｐの露光完了を待たずに、パルス露光領域ｆｄｐを読み出して通常画像ＮＩＭＧを生成し、次の通常画像ＮＩＭＧの生成のための新たな連続露光を開始する。
　変形例２によれば、図４あるいは図５の場合に比べて、通常画像ＮＩＭＧのフレームレートを高めることができる。
（実施形態２）
　実施形態１で説明したように、検出対象のレンジＲＮＧｉからのパルス照明光Ｌ１の反射光は、連続露光期間Ｔｃの間に、イメージセンサ１２０には入射しないため、連続露光領域ｆｄｃによって検出されない。通常画像ＮＩＭＧの撮影に関しては、検出対象のレンジＲＮＧｉ内の物体ＯＢＪは、パルス照明光Ｌ１の反射光ではなく、太陽光の反射光を利用して撮影されることとなる。
　図１の構成において、太陽光が存在しない夜間において、通常画像ＮＩＭＧを得るためには、２つのゾーンにわたるセンシングが必要となり、通常画像ＮＩＭＧのセンシング時間が長くなる。実施形態２では、この問題が解決する技術を説明する。
　図７は、実施形態２に係るゲーティングカメラ１００Ａを備えるセンシングシステム１０Ａのブロック図である。ゲーティングカメラ１００Ａについて、実施形態１に係るゲーティングカメラ１００との相違点を説明する。
　照明装置１１０Ａは、視野に対して、パルス照明光Ｌ１に加えて、連続照明光Ｌ４を照射する。その他は実施形態１と同様である。続いてゲーティングカメラ１００Ａの動作を説明する。
　図８は、図７のゲーティングカメラ１００Ａの動作を説明するタイムチャートである。
　カメラコントローラ１３０による制御により、照明装置１１０Ａは、パルス照明光Ｌ１を視野に繰り返し照射し、イメージセンサ１２０は、視野からの反射光Ｌ２をパルス露光領域ｆｄｐを利用して多重露光を行い、スライス画像ＳＩＭＧを生成する。スライス画像ＳＩＭＧの生成については実施形態１と同様である。
　またカメラコントローラ１３０による制御により、照明装置１１０Ａは、連続照明光Ｌ４を視野に照射する。連続照明光Ｌ４の強度は、パルス照明光Ｌ１のピーク強度にくらべて低い。
　カメラコントローラ１３０による制御により、イメージセンサ１２０は、パルス露光領域ｆｄｐを使用しない連続露光期間Ｔｃにおいて、連続露光領域ｆｄｃを利用した露光を行い、通常画像ＮＩＭＧを生成する。連続露光領域ｆｄｃによって、全レンジの物体ＯＢＪｘ、ＯＢＪｙからの反射光Ｌ３ｘ，Ｌ３ｙが検出される。反射光Ｌ３は、パルス照明光Ｌ１の反射光と、連続照明光Ｌ４の反射光を含みうる。ただし、検出対象のレンジＲＮＧｉからのパルス照明光Ｌ１の反射光は、連続露光期間Ｔｃの間に、イメージセンサ１２０には入射しないため、連続露光領域ｆｄｃによって検出されない。言い換えると、通常画像ＮＩＭＧの撮影に関しては、検出対象のレンジＲＮＧｉ内の物体ＯＢＪは、パルス照明光Ｌ１の反射光ではなく、連続照明光Ｌ４の反射光を利用して撮影されることとなる。
　実施形態２に係るゲーティングカメラ１００Ａによれば太陽光が存在しない夜間においても、短時間で通常画像ＮＩＭＧを生成することが可能となる。
　なお太陽光が存在する昼間は、通常画像は太陽光の反射光を利用して撮影できる。したがって昼間は、連続照明光Ｌ４の照射をオフすることができ、これにより消費電力の増加を抑制できる。
（実施形態３）
　これまでの説明では、各画素ｐｘは、１個の連続露光領域ｆｄｃを有していたが、その限りでなく、２個以上の連続露光領域ｆｄｃを有してもよい。
　図９は、実施形態３に係るゲーティングカメラの動作を説明する図である。カメラコントローラ１３０による制御により、イメージセンサ１２０は、パルス露光領域ｆｄｐを使用しない連続露光期間Ｔｃにおいて、２つの連続露光領域ｆｄｃ１，ｆｄｃ２を時分割で利用した露光を行い、通常画像ＮＩＭＧを生成する。２つの連続露光領域ｆｄｃ１，ｆｄｃ２の露光時間は異なっており、通常画像ＮＩＭＧは異なる露出で２枚撮影される。
　実施形態３によれば、視野の明暗差が大きい場合に、複数の連続露光領域ｆｄｃ１，ｆｄｃ２による撮影画像を利用することで、明るい物体（反射率が高い物体）と暗い物体（反射率が低い物体）を検出しやすくなる。あるいは、２つの連続露光領域ｆｄｃ１，ｆｄｃ２による撮影画像を合成することにより、白飛び、黒つぶれを抑えたダイナミックレンジの広いＨＤＲ（High Dynamic Range）画像を撮影できる。
（実施形態４）
　図１０は、実施形態４に係るゲーティングカメラに使用されるイメージセンサ１２０Ｃの回路図である。この例において、各画素ｐｘは、ｍ個（ｍ≧１）のパルス露光領域ｆｄｐとｎ個（ｎ≧１）の連続露光領域ｆｄｃを含み、合計ｍ＋ｎ個のＦＤ領域を含む。この例ではｍ＝４，ｎ＝２である。各ＦＤ領域にはタップが設けられ、信号が読み出し可能となっている。
　つまり６個のＦＤ領域のうち、４個のＦＤ領域が、パルス露光領域ｆｄｐ１～ｆｄｐ４であり、４個のタップＴＰ１～ＴＰ４が設けられる。残りの２個のＦＤ領域が、連続露光領域ｆｄｃ１，ｆｄｃ２であり、２個のタップＴＰ５，ＴＰ６が設けられる。
　各画素は、４個のパルス露光領域ｆｄｐ１～ｆｄｐ４を含むから、同時に、４個のレンジに対応する４枚のスライス画像が生成される。また、実施形態３で説明したように、２個の連続露光領域ｆｄｃ１，ｆｄｃ２を利用して、異なる露出で２枚の通常画像ＮＩＭＧが撮影される。
　本実施形態において、４枚のスライス画像は、ピクセルビニングによって生成される。具体的には、隣接する複数の画素（この例では４画素）が結合されて、仮想ピクセルｐｘｂｉｎが生成される。つまり、スライス画像の解像度は、通常画像の解像度よりも低くなる。
　図１０には、第ｉ列および第（ｉ＋１）列および第ｊ行および第（ｊ＋１）行が示されており、２行２列にわたる４個の画素ｐｘｉ，ｊ，ｐｘｉ＋１，ｊ，ｐｘｉ，ｊ＋１，ｐｘｉ+1，ｊ＋１がピクセルビニングにより統合される。
　イメージセンサは、２列ごとにｍ個（ｍ＝４）の第１読み出し回路ＲＯ＿ＢＩＮ１～ＲＯ＿ＢＩＮ４と、１列ごとにｎ個（ｎ＝２）の第２読み出し回路ＲＯ＿ＤＢＤ１～ＲＯ＿ＤＢＤ２と、を備える。４個の第１読み出し回路ＲＯ＿ＢＩＮ１～ＲＯ＿ＢＩＮ４は、対応する２列の画素それぞれの、４個のパルス露光領域ｆｄｐ１～ｆｐｄ４に対応付けられる。また２個の第２読み出し回路ＲＯ＿ＤＢＤ１～ＲＯ＿ＤＢＤ２は、対応する列の２個の連続露光領域ｆｄｃ１～ｆｄｃ２に対応付けられる。隣接する読み出し回路ＲＯ＿ＤＢＤとＲＯＢＩＮは兼用することができ、切りかえながら使用することが可能である。
　ｉ番目（１≦ｉ≦ｍ）の第１読み出し回路ＲＯ＿ＢＩＮｉは、仮想ピクセルｐｘｂｉｎに含まれる４画素それぞれのｉ番目のパルス露光領域ｆｄｐｉの信号を加算して読み出し可能である。
　ｊ番目（１≦ｊ≦ｎ）の第２読み出し回路ＲＯ＿ＤＢＤｊは、対応する列の画素に含まれるｊ番目の連続露光領域ｆｄｃｊの信号を読み出し可能である。
　またこのイメージセンサ１２０によれば、ドットバイドット読み出しによって、高解像度な通常画像ＮＩＭＧを生成することができる。一方で、イメージセンサ１２０によれば、ピクセルビニング処理によってスライス画像ＳＩＭＧを生成することで、解像度の低下と引き換えに、生成時間を短縮することができる。
（用途）
　図１１は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のゲーティングカメラ１００に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。
　ゲーティングカメラ１００により、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮが生成される。ゲーティングカメラ１００の出力データＣＡＭＥＲＡＯＵＴは、複数のスライス画像ＳＩＭＧ１～ＳＩＭＧＮと、通常画像ＮＩＭＧを含む。
　演算処理装置４０は、ゲーティングカメラ１００の出力データＣＡＭＥＲＡＯＵＴにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。演算処理装置４０は、レンジ毎に最適化された複数の分類器４２を含んでもよい。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　演算処理装置４０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なお演算処理装置４０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Application Specific Integrated Circuit）やコントローラＩＣ、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで実装される。演算処理装置４０の機能と、画像処理装置１４０の機能を、同じプロセッサに実装してもよい。
　図１２（ａ）、（ｂ）は、ゲーティングカメラ１００を備える自動車３００を示す図である。図１２（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。
　図１２（ａ）に示すように、ゲーティングカメラ１００の照明装置１１０は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ１２０は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ１２０は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ１３０は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。
　図１２（ｂ）に示すように、イメージセンサ１２０は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置１１０とともに内蔵してもよい。
　照明装置１１０を、車両の一部、たとえばルームミラーの裏側や、フロントグリル、フロントバンパーに設けてもよい。
　図１３は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームあるいはハイビームであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。
　センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。
　またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。
　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにさまざまな変形例が存在すること、またそうした変形例も本開示または本発明の範囲に含まれることは当業者に理解されるところである。
　本発明は、ゲーティングカメラに関する。
Ｌ１…パルス照明光、Ｌ２，Ｌ３…反射光、Ｌ４…連続照明光、Ｓ１…発光タイミング信号、Ｓ２…露光タイミング信号、１０…センシングシステム、４０…演算処理装置、４２…分類器、１００…ゲーティングカメラ、１１０…照明装置、１２０…イメージセンサ、１３０…カメラコントローラ、１４０…演算処理装置、２００…車両用灯具、２１０…灯具側ＥＣＵ、２２０…ランプユニット、２２２…光源、２２４…点灯回路、２２６…光学系、３００…自動車、３０２Ｌ…ヘッドランプ、３０４…灯具システム、３１０…車両側ＥＣＵ、ｆｄｐ…パルス露光領域、ｆｄｃ…連続露光領域。

Claims (11)

  1. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　パルス照明光を前記視野に照射する照明装置と、
    　１画素が複数のＦＤ（Floating Diffusion）領域を有するマルチタップ型のイメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光タイミングを制御するカメラコントローラと、
    　を備え、
    　前記複数のＦＤ領域のうちのひとつは、前記スライス画像の生成のためのパルス露光領域として割り当てられ、前記複数のＦＤ領域のうちの別のひとつは、通常画像の生成のための連続露光領域として割り当てられ、
    　前記イメージセンサは、前記視野からの前記パルス照明光の反射光を前記パルス露光領域を利用して多重露光を行ってスライス画像を生成し、前記パルス露光領域を使用しない区間において前記連続露光領域を利用した露光を行い、前記通常画像を生成することを特徴とするゲーティングカメラ。
  2. 　前記イメージセンサは、前記ＦＤ領域ごとに独立したタイミングで読み出し可能に構成されることを特徴とする請求項１に記載のゲーティングカメラ。
  3. 　前記照明装置は、前記パルス照明光に加えて、連続照明光を前記視野に照射可能であることを特徴とする請求項１または２に記載のゲーティングカメラ。
  4. 　前記照明装置は、夜間の撮影において前記連続照明光を前記視野に照射することを特徴とする請求項３に記載のゲーティングカメラ。
  5. 　前記連続露光領域は複数であり、前記イメージセンサは、前記パルス露光領域を使用しない区間において、前記複数の連続露光領域を時分割で利用した露光を行い、前記通常画像を生成し、前記複数の連続露光領域は露光時間が異なることを特徴とする請求項１または２に記載のゲーティングカメラ。
  6. 　前記イメージセンサは、前記スライス画像をピクセルビニングによって生成し、
    　前記通常画像をドットバイドットによって生成することを特徴とする請求項１または２に記載のゲーティングカメラ。
  7. 　前記イメージセンサは、
    　２行２列の画素を仮想ピクセルとしてビニング可能であり、
    　各画素は、ｍ個（ｍ≧１）のパルス露光領域と、ｎ個（ｎ≧１）の連続露光領域を含み、
    　前記イメージセンサは、
    　ｍ個の第１読み出し回路と、
    　ｎ個の第２読み出し回路と、
    　を備え、
    　前記ｍ個の第１読み出し回路は、前記ｍ個のパルス露光領域に対応付けられ、
    　前記ｎ個の第２読み出し回路は、前記ｎ個の連続露光領域に対応付けられ、
    　ｉ番目（１≦ｉ≦ｍ）の第１読み出し回路は、前記仮想ピクセルに含まれる４画素それぞれのｉ番目のパルス露光領域の信号を加算して読み出し可能であり、
    　ｊ番目（１≦ｊ≦ｎ）の第２読み出し回路は、対応する画素に含まれるｊ番目の連続露光領域の信号を読み出し可能であることを特徴とする請求項６に記載のゲーティングカメラ。
  8. 　ｍ＝４であり、ｎ＝２であることを特徴とする請求項７に記載のゲーティングカメラ。
  9. 　車両に搭載されることを特徴とする請求項１または２に記載のゲーティングカメラ。
  10. 　請求項１または２に記載のゲーティングカメラと、
    　前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
    　を備えることを特徴とする車両用センシングシステム。
  11. 　請求項１または２に記載のゲーティングカメラを備えることを特徴とする車両用灯具。
PCT/JP2022/030166 2021-08-05 2022-08-05 ゲーティングカメラ、車両用センシングシステム、車両用灯具 WO2023013777A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280054150.3A CN117795377A (zh) 2021-08-05 2022-08-05 门控照相机、车辆用传感系统、车辆用灯具
EP22853195.0A EP4382969A1 (en) 2021-08-05 2022-08-05 Gated camera, vehicular sensing system, and vehicular lamp
JP2023540435A JPWO2023013777A1 (ja) 2021-08-05 2022-08-05

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-129014 2021-08-05
JP2021129014 2021-08-05

Publications (1)

Publication Number Publication Date
WO2023013777A1 true WO2023013777A1 (ja) 2023-02-09

Family

ID=85154581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030166 WO2023013777A1 (ja) 2021-08-05 2022-08-05 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Country Status (4)

Country Link
EP (1) EP4382969A1 (ja)
JP (1) JPWO2023013777A1 (ja)
CN (1) CN117795377A (ja)
WO (1) WO2023013777A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010164440A (ja) * 2009-01-16 2010-07-29 Stanley Electric Co Ltd 距離画像処理装置および撮影装置
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2015121430A (ja) * 2013-12-20 2015-07-02 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
JP2015198361A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010164440A (ja) * 2009-01-16 2010-07-29 Stanley Electric Co Ltd 距離画像処理装置および撮影装置
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2015121430A (ja) * 2013-12-20 2015-07-02 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
JP2015198361A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法

Also Published As

Publication number Publication date
CN117795377A (zh) 2024-03-29
JPWO2023013777A1 (ja) 2023-02-09
EP4382969A1 (en) 2024-06-12

Similar Documents

Publication Publication Date Title
US20210295065A1 (en) Object identification system
EP3423865B1 (en) Gated imaging apparatus, system and method
JP2022505772A (ja) 構造化光照明付き飛行時間型センサ
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
IL266025A (en) Vehicle environment modulation system
EP3998767B1 (en) Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP6942637B2 (ja) 車両用画像取得装置、および車両用画像取得装置を備えた車両
US11353564B2 (en) Disturbance light identifying apparatus, disturbance light separating apparatus, disturbance light identifying method, and disturbance light separating method
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
US20220400240A1 (en) Imaging system, control method of imaging system, and program
US20220214434A1 (en) Gating camera
WO2021193646A1 (ja) イメージング装置および車両用灯具、車両
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023189599A1 (ja) 距離画像センサ、および車両用灯具
JP7474759B2 (ja) 車両用灯具
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
US20230168380A1 (en) Method and device for acquiring image data
CN116964486A (zh) 门控照相机、车辆用感测系统、车辆用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22853195

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023540435

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280054150.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022853195

Country of ref document: EP

Effective date: 20240305