WO2022014416A1 - ゲーティングカメラ、車両用センシングシステム、車両用灯具 - Google Patents

ゲーティングカメラ、車両用センシングシステム、車両用灯具 Download PDF

Info

Publication number
WO2022014416A1
WO2022014416A1 PCT/JP2021/025500 JP2021025500W WO2022014416A1 WO 2022014416 A1 WO2022014416 A1 WO 2022014416A1 JP 2021025500 W JP2021025500 W JP 2021025500W WO 2022014416 A1 WO2022014416 A1 WO 2022014416A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image sensor
img
gating
camera
Prior art date
Application number
PCT/JP2021/025500
Other languages
English (en)
French (fr)
Inventor
大騎 加藤
昌之 ▲高▼橋
晃志 伊多波
駿 種本
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to US18/005,325 priority Critical patent/US20230341749A1/en
Priority to EP21842119.6A priority patent/EP4184242A4/en
Priority to CN202180061390.1A priority patent/CN116235108A/zh
Priority to JP2022536281A priority patent/JPWO2022014416A1/ja
Publication of WO2022014416A1 publication Critical patent/WO2022014416A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to a gating camera.
  • an object identification system that senses the position and type of objects existing around the vehicle.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from among cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy and cost.
  • Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
  • the TOF camera is known as a camera that can obtain depth information.
  • a TOF (TimeOfFlight) camera emits infrared light with a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains a TOF image obtained by converting the flight time into distance information. Is.
  • a gating camera (Gating Camera or Gated Camera) has been proposed as an active sensor in place of the TOF camera (Patent Documents 1 and 2).
  • the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and takes an image. As a result, slice images are obtained for each target range, and each slice image contains only objects included in the corresponding range.
  • the gating camera is equipped with an image sensor and an image processing device that processes the output image (sensor image) of the image sensor.
  • the image sensor and the image processing device are often connected by a serial interface, and the transmission speed of the sensor image during this period becomes a bottleneck, and the time required to generate one slice image becomes long, and gating.
  • the frame rate of the camera is limited.
  • One aspect of the present disclosure is made in such a situation, and one of its exemplary purposes is to provide a gating camera capable of reducing the time to generate sliced images.
  • the present inventors have studied a gating camera capable of shooting during the daytime, and have come to recognize the following problems. In order to shoot during the day, it is necessary to lengthen the wavelength of the infrared light used in order to make it less susceptible to the effects of sunlight. However, the wavelength that can be practically used is 1 ⁇ m to 1.3 ⁇ m, and this wavelength band also includes the spectrum of sunlight.
  • the sliced image contains a large background noise due to the influence of sunlight, and the reflected light from the object, that is, the signal component is buried.
  • One aspect of the present disclosure is made in such a situation, one of its exemplary purposes is to provide a gating camera capable of removing the effects of background noise.
  • a certain aspect of the present disclosure is made in such a situation, and one of its exemplary purposes is to provide a gating camera that can operate appropriately according to the good or bad of the field of view.
  • One aspect of the present disclosure relates to a gating camera that divides a field of view into a plurality of ranges in the depth direction and generates a plurality of slice images corresponding to the plurality of ranges.
  • the gating camera is a compression obtained by compressing image information about an invalid line that does not include a target among a plurality of lines that generate a raw image by exposure and a lighting device that irradiates probe light. It includes an image sensor that outputs an image, a camera controller that controls the light emission timing of the lighting device and the exposure timing of the image sensor, and an image processing device that receives a compressed image from the image sensor and restores a sliced image.
  • the gating camera controls a lighting device that irradiates probe light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and the image sensor supports a plurality of ranges.
  • the camera controller that generates multiple sliced images and the image sensor receive multiple sliced images, select the pixel of interest, use the sliced image containing the object in the pixel of interest as the effective image, and the pixel of interest of the sliced image other than the effective image. It is provided with an image processing device that detects a noise level based on the pixel value of the image and corrects the pixel value of the pixel of interest of each of a plurality of sliced images based on the noise level.
  • the gating camera controls a lighting device that irradiates probe light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and the image sensor supports a plurality of ranges.
  • the camera controller that generates the plurality of slice images and the image sensor receive the plurality of slice images, select the pixel of interest, detect the noise level based on the pixel value of the pixel of interest of all the slice images, and perform the plurality of slices. It is provided with an image processing device that corrects the pixel of interest of an image based on the noise level.
  • the gating camera controls a lighting device that irradiates probe light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and the image sensor corresponds to a plurality of ranges. It is equipped with a camera controller that generates a plurality of image data. The camera controller reflects the field information that correlates with the attenuation coefficient of the probe light in the shooting parameters.
  • the generation time of a slice image can be shortened.
  • the effects of background noise can be removed.
  • FIG. It is a block diagram of the sensing system which concerns on Embodiment 1.
  • FIG. It is a figure explaining the basic operation of a gating camera.
  • 3 (a) and 3 (b) are diagrams illustrating slice images obtained by a gating camera. It is a figure which shows a certain driving scene.
  • 5 (a) to 5 (c) are diagrams showing signal processing in the driving scene of FIG.
  • FIG. 7A is a diagram showing a compressed image IMG_COMP
  • FIG. 7B is a diagram showing line data. It is a figure explaining the processing of the gating camera which concerns on modification 1.3.
  • 11 (a) and 11 (b) are diagrams illustrating slice images obtained by a gating camera. It is a flowchart of noise removal which concerns on Embodiment 2.1. It is a figure explaining the noise removal which concerns on Embodiment 2.1.
  • 14 (a) and 14 (b) are diagrams illustrating the correction process according to the second embodiment.
  • 15 (a) and 15 (b) are diagrams illustrating the correction process according to the second embodiment.
  • FIG. It is a figure explaining the operation of a gating camera.
  • 18 (a) and 18 (b) are diagrams illustrating an image obtained by a gating camera.
  • the gating camera divides the field of view into a plurality of ranges in the depth direction, and generates a plurality of slice images corresponding to the plurality of ranges.
  • the gating camera is a compression obtained by compressing image information about an invalid line that does not include a target among a plurality of lines that generate a raw image by exposure and a lighting device that irradiates probe light. It includes an image sensor that outputs an image, a camera controller that controls the light emission timing of the lighting device and the exposure timing of the image sensor, and an image processing device that receives a compressed image from the image sensor and restores a sliced image.
  • the transmission amount from the image sensor to the image processing device is compressed for transmission.
  • the time can be shortened, and the slice image generation time can be shortened.
  • the image sensor may use a line in which the pixel values of all the pixels included in the image sensor are smaller than a predetermined threshold value as invalid lines.
  • the image sensor transmits line data including a line number, a header having a value of the first value, and pixel values of all pixels included in the valid line for a valid line that is not an invalid line. However, for invalid lines, line data including a line number and a header having a second value may be transmitted.
  • the image processing apparatus may set all the pixel values of the line to 0.
  • the gating camera is a gating camera that divides a field of view into a plurality of ranges in the depth direction and generates a plurality of slice images corresponding to the plurality of ranges, and is a lighting device that irradiates probe light.
  • the image sensor controls the light emission timing of the lighting device and the exposure timing of the image sensor, and the image sensor receives multiple slice images from the image sensor and a camera controller that generates multiple slice images corresponding to multiple ranges.
  • the pixel of interest is selected, the sliced image containing the object in the pixel of interest is used as the effective image, the noise level is detected based on the pixel value of the pixel of interest in the sliced image other than the effective image, and the pixel of interest of each of the plurality of sliced images is detected. It is provided with an image processing device that corrects the pixel value based on the noise level.
  • the noise level may be the average value of the pixel values of the pixels of interest in the sliced image other than the effective image.
  • the image processing apparatus may be an effective image for each pixel when the pixel value of the pixel of interest of a certain slice image exceeds a predetermined threshold value.
  • the image processing device may use the slice image having the largest pixel value for each pixel as a slice image including an object.
  • the gating camera controls the lighting device that irradiates the probe light, the image sensor, the light emission timing of the lighting device, and the exposure timing of the image sensor, and the image sensor corresponds to a plurality of ranges.
  • the camera controller that generates multiple sliced images and the image sensor receive multiple sliced images, select the pixel of interest, detect the noise level based on the pixel value of the pixel of interest of all sliced images, and detect the noise level of multiple sliced images. It includes an image processing device that corrects the pixel of interest based on the noise level.
  • the effect of the effective image is small, so by treating the pixel values of all sliced images as noise, the noise level detection process can be simplified.
  • the noise level may be the average value of the pixel values of the pixels of interest in all sliced images.
  • the gating camera controls a lighting device that irradiates probe light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and the image sensor has a plurality of ranges corresponding to a plurality of ranges. It is equipped with a camera controller that generates image data. The camera controller reflects the field information that correlates with the attenuation coefficient of the probe light in the shooting parameters.
  • the camera controller may increase the number of exposures for generating one slice image as the attenuation coefficient of the probe light increases. By increasing the number of exposures in a situation where the attenuation coefficient of the probe light is large, a large amount of reflected / scattered light from the object can be integrated, and the image quality of the sliced image can be improved.
  • the camera controller holds a plurality of relationships between the range number and the number of exposures, and one may be selected according to the visibility information.
  • the resolution in the depth direction may be increased in exchange for giving up shooting at a long distance.
  • the camera controller may reduce the number of ranges to be measured in order from the back side as the attenuation coefficient of the probe light increases.
  • the attenuation coefficient is large, the frame rate of sliced images in a short range can be increased by giving up shooting at a long distance and intensively sensing a short distance.
  • FIG. 1 is a block diagram of the sensing system 10 according to the first embodiment.
  • This sensing system 10 is mounted on a vehicle such as an automobile or a motorcycle, and detects an object OBJ existing around the vehicle.
  • the sensing system 10 mainly includes a gating camera 20.
  • the gating camera 20 includes a lighting device 22, an image sensor 24, a camera controller 26, and an image processing device 28.
  • the imaging by the gating camera 20 is performed by dividing the field of view into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the light emission timing signal S1 given from the camera controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light or ultraviolet light having a predetermined wavelength.
  • the image sensor 24 includes a plurality of pixels and can perform exposure control synchronized with the exposure timing signal S2 given from the camera controller 26, and generates a raw image (RAW image) composed of the plurality of pixels.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1 and captures the reflected light (return light) L2 reflected by the object OBJ.
  • the sliced image IMG i generated by the image sensor 24 with respect to the i-th range RNG i is referred to as a raw image or a primary image as necessary to distinguish it from the sliced image IMGs i which is the final output of the gating camera 20. ..
  • the camera controller 26 controls the irradiation timing (light emission timing) of the probe light L1 by the lighting device 22 and the exposure timing by the image sensor 24.
  • the camera controller 26 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the image sensor 24 and the image processing device 28 are connected to each other via the serial interface 30.
  • the serial interface 30 if all the pixels of the raw image IMG_RAW i generated by the image sensor 24 are transmitted to the image processing device 28 as the primary image IMG, the transmission time becomes long and the sensing time becomes long.
  • the image sensor 24 transmits the compressed image IMG_COMP i obtained by removing unnecessary lines from the raw image IMG_RAW i to the image processing device 28 as the primary image IMG i.
  • the image sensor 24 detects an invalid line that does not include a target, that is, a subject to be detected, from a plurality of lines constituting the raw image IMG_RAW i obtained as a result of exposure. Then, the image information about the invalid line is compressed from the raw image IMG_RAW i to generate the compressed image IMG_COMP i.
  • the image processing device 28 receives the compressed image IMG_COMP i from the image sensor 24 as the primary image IMG i. Then, the sliced image IMGs i is restored from the compressed image IMG_COMP i.
  • FIG. 2 is a diagram illustrating the basic operation of the gating camera 20.
  • FIG. 2 shows a state when sensing the i-th range RNG i as a range of interest (ROI).
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINi 2 ⁇ d MINi / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the timing signal S2 is generated. This is one exposure operation.
  • the camera controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2.
  • FIG. 3A and 3B are diagrams illustrating slice images obtained by the gating camera 20.
  • the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the sliced image IMG 1.
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2. Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3. In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • FIG. 4 is a diagram showing a certain traveling scene.
  • RNG i is the sensing target range (interest range).
  • 5 (a) to 5 (c) are diagrams showing signal processing in the driving scene of FIG.
  • FIG. 5A shows the raw image IMG_RAW i obtained in the driving scene of FIG.
  • This raw image IMG_RAW i shows a target included in the range RNG i.
  • target is present in the range Y M center of the raw image IMG_RAW i.
  • Upper range Y U is empty, it does not include any target object.
  • the lower range Y L of the raw image IMG_RAW i corresponds to the ground of the previous range RNG i-1 , and this range Y L also does not include a target.
  • Image sensor 24 determines the line to be within the scope Y U and Y L invalidated line. For example, the image sensor 24 scans the lines of the raw image IMG_RAW i in order, and when all the pixels are smaller than a predetermined threshold value for each line, the line is regarded as an invalid line.
  • the invalid line and the valid line may be determined for each sensing cycle.
  • One sensing cycle means the cycle of the entire shooting of a plurality of ranges RNG 1 to RNG N.
  • the invalid line and the valid line may be determined once in a plurality of sensing cycles.
  • the line once determined to be an invalid line is treated as an invalid line until the next determination result is obtained.
  • FIG. 5 (b) shows the compressed image IMG_COMP i obtained from the raw image IMG_RAW i of FIG. 5 (a).
  • the compressed image IMG_COMP i is compressed so as not to include image information about the lines included in the ranges Y U and Y L of the raw image IMG_RAW i.
  • FIG. 5 (c) shows the final sliced image IMGs i obtained by restoring the compressed image IMG_COMP i of FIG. 5 (b).
  • the image processing apparatus 28 that has received the compressed image IMG_COMP i reproduces the sliced image IMGs i by replacing the invalid line that does not include the image information with a pixel having a predetermined value (for example, a value 0).
  • FIG. 6 is a flowchart showing the operation of the gating camera 20.
  • the variable i is initialized to 1 (S100).
  • the loop S102 is executed with respect to the variable i.
  • targeting the i-th range RNG i light emission by the lighting device 22 and exposure by the image sensor 24 are performed to generate a raw image IMG_RAW i (S104).
  • the validity or invalidity of each line included in the raw image IMG_RAW i is determined.
  • the variable j is initialized to 1 (S106).
  • the variable j indicates the line number of the determination target of the raw image IMG_RAW i.
  • the loop S108 is executed with respect to the variable j.
  • the jth line is determined to be an invalid line (S112). If not (N in S110), the jth line is determined to be a valid line. Then, the variable j is incremented. The loop S108 is repeated while the variable j is smaller than the number of lines Y MAX (vertical resolution) of the raw image IMG_RAW i. Variable j exceeds the number of lines Y MAX of the raw image IMG_RAW i, leave the loop S108.
  • variable i is incremented (S118), and the next range becomes the measurement target.
  • the loop S02 is repeated while the variable i is smaller than the maximum number N of the range.
  • the variable i exceeds the maximum number N and the shooting of all ranges RNG 1 to RNG N is completed, the process ends.
  • FIG. 7A is a diagram showing a compressed image IMG_COMP
  • FIG. 7B is a diagram showing line data.
  • the compressed image IMG_COMP includes a plurality of line data LD 1 to LD VMAX .
  • the line data LD contains different information depending on whether it is a valid line or an invalid line. In this example, it is assumed that the first and second lines are invalid lines and the rest are valid lines.
  • the line data 50 of the valid line includes the line number 52, the header 54, and the pixel values 56 of all the pixels of the line.
  • the line data 50'of the invalid line includes the line number 52 and the header 54, and does not include the pixel value 56.
  • the header 54 includes an identifier indicating whether it is a valid line or an invalid line. For example, the value of the header 54 of the valid line is 1 and the value of the header 54 of the invalid line is 0.
  • the time required for transmission of the invalid line is the transmission time of the line number 52 and the header 54, which can be significantly shortened.
  • the compressed image IMG_COMP of FIG. 7 can be restored in the image processing device 28 as follows.
  • the image processing device 28 refers to the header 54 of the line data 50.
  • the subsequent pixel value 56 is used as the pixel value of the corresponding line of the sliced image IMG.
  • the pixel value of the corresponding line of the sliced image IMG is filled with 0.
  • the compressed image IMG_COMP may include only the line data of the effective line.
  • the valid line includes the line number followed by the pixel values of all pixels.
  • the image processing device 28 fills in 0 for line numbers not included in the received line data.
  • the pixel information is not transmitted for the invalid line, but the image information may be transmitted.
  • the invalid line may be transmitted by thinning out the pixels. If transmission is performed at a ratio of one pixel to M pixels adjacent in the horizontal direction, the transmission time can be shortened by 1 / M times.
  • the image processing device 28 may restore the sliced image IMG with the same pixel value for the adjacent M pixels.
  • FIG. 8 is a diagram illustrating the processing of the gating camera according to the modified example 1.3.
  • the alternate long and short dash line 80 indicates the highest position of the assumed target. It is assumed that the vertical angle of view ⁇ of the image sensor 24 is constant regardless of the range.
  • the close range RNG 1 and RNG 2 only the range below the alternate long and short dash line 80 is shot.
  • a range 82 higher than this alternate long and short dash line is included in the shooting range (angle of view ⁇ of the image sensor), but it can be said that it is unlikely that the target to be sensed is included in this range 82. .. Therefore, regarding the raw image IMG_RAW 3 , the range 82 above the line corresponding to the alternate long and short dash line 80 can be defined as an invalid line.
  • FIG. 9 is a block diagram of the sensing system 10 according to the first embodiment.
  • This sensing system 10 is mounted on a vehicle such as an automobile or a motorcycle, and detects an object OBJ existing around the vehicle.
  • the sensing system 10 mainly includes a gating camera 20.
  • the gating camera 20 includes a lighting device 22, an image sensor 24, a camera controller 26, and an image processing device 28.
  • the imaging by the gating camera 20 is performed by dividing the field of view into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the light emission timing signal S1 given from the camera controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light or ultraviolet light having a predetermined wavelength.
  • the gating camera 20 according to the present embodiment can sense not only at night but also during the day, and therefore a wavelength longer than 0.9 ⁇ m is selected.
  • the image sensor 24 includes a plurality of pixels and is capable of exposure control synchronized with the exposure timing signal S2 given from the camera controller 26, and generates a slice image IMG composed of the plurality of pixels.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1 and captures the reflected light (return light) L2 reflected by the object OBJ.
  • the sliced image IMGs generated by the image sensor 24 with respect to the i-th range RNG i are referred to as raw images or primary images as necessary to distinguish them from the sliced image IMGs which are the final outputs of the gating camera 20.
  • the camera controller 26 controls the irradiation timing (light emission timing) of the probe light L1 by the lighting device 22 and the exposure timing by the image sensor 24, and the image sensor 24 has a plurality of ranges RNG 1 to RNG N corresponding to a plurality of ranges RNG 1 to RNG N.
  • Slice images IMG 1 to IMG N are generated.
  • the camera controller 26 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the image sensor 24 and the image processing apparatus 28 is connected through a serial interface 30, a plurality of slice images (primary image) obtained in a plurality of ranges RNG 1 ⁇ RNG N IMG 1 ⁇ IMG N is an image processing apparatus It is transmitted to 28.
  • the primary image IMG i may be the raw image IMG_RAW i itself, or may be a processed image of the raw image IMG_RAW i.
  • the above is the basic configuration of the gating camera 20. Next, the operation will be described.
  • FIG. 10 is a diagram illustrating the basic operation of the gating camera 20.
  • FIG. 10 shows a state when sensing the i-th range RNG i as a range of interest (ROI).
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINi 2 ⁇ d MINi / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the timing signal S2 is generated. This is one exposure operation.
  • the camera controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2.
  • 11 (a) and 11 (b) are diagrams illustrating slice images obtained by the gating camera 20.
  • the object range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • 11 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 11 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the sliced image IMG 1.
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2. Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3. In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • the image processing device 28 has a function of removing background noise from a plurality of slice images IMG 1 to IMG N. The noise reduction function will be described below.
  • the image processing device 28 receives a plurality of slice images IMG 1 to IMG N from the image sensor 24.
  • the j-th pixel of the i-th (1 ⁇ i ⁇ N) slice image IMG i is referred to as IMG i (j).
  • the image processing device 28 selects a plurality of sliced images IMG 1 to IMG N one pixel at a time as a pixel of interest, and detects a noise level for each pixel of interest.
  • the image processing device 28 uses the j-th pixel of the plurality of sliced images IMG 1 to IMG N as the pixel of interest. Then, among the plurality of slice images IMG 1 to IMG N , the slice image including the object at the position of the pixel of interest is regarded as an effective image. For example, the image processing device 28 uses a sliced image including the maximum pixel value among the plurality of pixels IMG 1 (j) to IMG N (j) as an effective image. When the value of IMG M (j) is maximum, the Mth slice image IMG M is regarded as a valid image.
  • the image processing device 28 has pixels IMG 1 (j) to IMG M-1 (j) and IMG M + 1 (j) to IMG N (j) of a plurality of slice images (referred to as non-effective images) other than the effective image IMG M. ),
  • the noise level N (j) is detected.
  • the pixel values of the pixels IMG 1 (j) to IMG N (j) of the plurality of slice images IMG 1 to IMG N are corrected based on the noise level N (j).
  • the image processing device 28 outputs the corrected slice image as the final slice image IMGs.
  • the correction may be performed by subtracting the noise level N (j) from the slice image IMG k (j).
  • the pixel value of the corrected slice image IMG k '(j) is represented by the equation (2).
  • IMG k '(j) IMG k (j) -N (j) ... (2)
  • the image processing device 28 repeats the same processing for all pixels. However, the corrected pixel value is processed so as not to be less than 0.
  • FIG. 12 is a flow chart for noise removal. i is a variable indicating the number of the slice image, and j is a variable indicating the position of the pixel of interest.
  • j is initialized (S100). Then, the loop S102 is repeated for each pixel.
  • the j-th attention pixel IMG 1 (j) to IMG N (j) of each of the plurality of slice images IMG 1 to IMG N is referred to, and the effective image IMG M is detected based on those values (S104). Then, images other than the effective image IMG M IMG 1 to IMG M-1 , IMG M + 1 to the jth pixel of IMG N IMG 1 (j) to IMG M-1 (j), IMG M + 1 (j) to IMG N ( The noise level N (j) is calculated based on j) (S106).
  • variable i is initialized (S108), and the loop S110 is executed. Specifically, the noise level N (j) is subtracted from the corresponding pixel IMG i (j) of the i-th slice image IMG i (S112). Then, the variable i is incremented (S114). If i ⁇ N, the process returns to process S112, and if i> N, the loop S110 is exited.
  • variable j is incremented (S116). If j ⁇ X ⁇ Y, the process returns to process S102, and the same process is repeated for the next pixel. If j> X ⁇ Y, the loop S102 is exited and the process is terminated.
  • X ⁇ Y is the total number of pixels of the sliced image.
  • FIG. 13 is a diagram illustrating noise removal.
  • FIG. 13 shows N slice images IMG 1 to IMG N obtained in one shooting, and each slice image contains XY pixels, and the jth pixel of interest is hatched. ..
  • 14 (a) and 14 (b) are diagrams showing pixel values before and after correction of the pixels of interest of N slice images IMG 1 to IMG N.
  • the corrected pixel value can be obtained by reducing the noise level N (j) from the pixel values of the pixels of interest of each slice image IMG 1 to IMG 6.
  • the image sensor 24 In the comparative technique, apart from the shooting of N slice images, the image sensor 24 performs exposure without causing the lighting device 22 to emit light, and shoots background noise. In the comparative technique, N + 1 shootings are required for each shooting cycle, and the shooting cycle becomes long.
  • the noise level can be acquired in parallel with the normal N times of shooting without taking a picture for measuring the noise level, and therefore the shooting cycle is long. It can be prevented from becoming.
  • the configuration of the gating camera 20 according to the second embodiment is the same as that of the block diagram of FIG. 9, and the processing of the image processing device 28 is different from that of the second embodiment.
  • the noise removal process in the second embodiment will be described.
  • the image processing device 28 detects the noise level N (j) based on the pixel values of the pixels of interest of the all-slice images IMG 1 to IMG N. Then, the pixel value of the pixel of interest of each of the plurality of sliced images is corrected based on the noise level N (j).
  • the noise level N (j) may be calculated by the equation (3).
  • the correction may be performed by subtracting the noise level N (j) from the slice image IMG k (j).
  • the pixel value of the corrected slice image IMG k '(j) is represented by the equation (4). This is the same as equation (2).
  • IMG k '(j) IMG k (j) -N (j) ... (4)
  • FIG. 15 (a) and 15 (b) are diagrams illustrating the correction process according to the second embodiment.
  • FIG. 15A is a diagram showing the pixel values of the N sliced images IMG 1 to IMG N of interest before correction
  • FIG. 15B is a diagram showing the pixel values after correction.
  • N 8.
  • the shooting cycle can be shortened.
  • the calculation load of the image processing device 28 can be reduced as compared with the second embodiment.
  • the detection accuracy of the noise level is inferior to that of the second embodiment, but the number N of the range is large. In some cases, the noise level can be detected with sufficient accuracy.
  • Modification example 2.1 A modified example 2.1 relating to the embodiment 2.1 will be described.
  • the slice image having the maximum value in the pixel of interest is regarded as an effective image, but this is not the case.
  • a slice image in which a predetermined threshold value is set and the pixel value of the pixel of interest exceeds the threshold value may be treated as an effective image.
  • a plurality of valid images may exist.
  • the effective image cannot be determined until the shooting of N sliced images IMG 1 to IMG N is completed, but in the modified example 2.1, the N sliced images IMG 1 to IMG 1 to are taken. There is an advantage that the noise level calculation process can be executed without waiting for the completion of shooting of the IMG N.
  • a simple average is used when calculating the noise level of the pixel of interest, but the calculation method is not limited thereto.
  • the simple average is effective when the lengths in the depth direction of all ranges are equal, in other words, when the exposure times are equal, but when the exposure times are different for each range, it is weighted by a coefficient according to the exposure time. The weighted average value should be taken.
  • N (j) ⁇ k k ⁇ M IMG k (j) / T k ⁇ / (N-1)... (5)
  • IMG k '(j) IMG k (j) -N (j) ⁇ T k ... (6)
  • the noise level N (j) may be calculated based on equation (7).
  • IMG k '(j) IMG k (j) -N (j) ⁇ T k ... (8)
  • the effective image may be detected for each pixel of interest for the corrected slice images IMG 1 "to IMG N ", and the noise level may be calculated based on the equation (1').
  • N (j) ⁇ k k ⁇ M IMG k "(j) / (N-1) ... (1')
  • the noise level may be calculated based on the equation (3').
  • the noise level is calculated based on the pixel values of the effective pixels of N-1 non-effective images other than the effective image, but this is not the case.
  • the noise level may be calculated based on the remaining N-3 pixel values by excluding the maximum and minimum values from the pixel values of the effective pixels of the N-1 non-effective image.
  • the maximum value and the minimum value are excluded from the pixel values of the effective pixels of all slice images, and the noise level is set based on the remaining (N-2) pixel values. You may calculate.
  • the noise level calculation method is not limited to the average processing.
  • the median value of the pixel value of the pixel of interest of the non-effective image may be used as the noise level.
  • the median value of the pixel values of the pixels of interest in the all-slice image may be used as the noise level.
  • the noise level is detected by using all the pixels as the pixels of interest in order, but the noise level is not limited to this.
  • the slice image is divided into a plurality of areas, one pixel of interest is selected for each area, and the noise level is set. Pixels in the same area that have been detected may be corrected using a common noise level.
  • the gating camera 20 is assumed to be used during the daytime and at night, but the application of the noise removal processing according to the present invention is not limited to this, and the gating camera 20 is also applied to the gating camera 20 used only at night. It is possible.
  • FIG. 16 is a block diagram of the sensing system 10 according to the third embodiment.
  • This sensing system 10 is mounted on a vehicle such as an automobile or a motorcycle, and detects an object OBJ existing around the vehicle.
  • the sensing system 10 mainly includes a gating camera 20.
  • the gating camera 20 includes a lighting device 22, an image sensor 24, a camera controller 26, and an image processing device 28.
  • the imaging by the gating camera 20 is performed by dividing the field of view into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the lighting device (floodlight) 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the light emission timing signal S1 given from the camera controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • a laser diode (LD) or an LED can be used as the lighting device 22.
  • the image sensor 24 is configured to be capable of exposure control synchronized with the exposure timing signal S2 given from the camera controller 26 and to be able to generate a slice image IMG.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1 and captures the reflected light (return light) L2 reflected by the object OBJ.
  • the camera controller 26 changes the light emission timing signal S1 and the exposure timing signal S2 for each range RNG to change the time difference between the light emission by the lighting device 22 and the exposure of the image sensor 24.
  • the light emission timing signal S1 defines the light emission start timing and the light emission time.
  • the exposure timing signal S2 defines the exposure start timing (time difference from the light emission) and the exposure time.
  • the gating camera 20 generates a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N. Only the objects included in the corresponding range RNG i are captured in the i-th slice image IMG i.
  • the image processing device 28 is a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a microcomputer, and a GPU (Graphics Processing Unit), and a software program executed by the processor (hardware). Can be implemented.
  • the image processing device 28 may be configured by hardware only.
  • the image processing device 28 processes the image generated by the image sensor 24 and outputs a final slice image. When the output of the image sensor 24 is used as it is as a slice image, the image processing device 28 can be omitted.
  • FIG. 17 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 17 shows a state when the i-th range RNG i is measured.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINi 2 ⁇ d MINi / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the timing signal S2 is generated. This is one exposure operation.
  • the camera controller 26 may repeat the above-mentioned set of irradiation and exposure operations a plurality of times in a predetermined period ⁇ 2.
  • the image sensor 24 outputs a slice image integrated by a plurality of exposures.
  • the gating camera 20 uses the shutter speed (exposure time), the number of exposures, the sensitivity, and the probe for each range so that the exposure (the brightness value of the object image in the slice image) does not vary from range to range.
  • the light irradiation intensity and other factors (shooting parameters) have been optimized.
  • FIG. 18 (a) and 18 (b) are diagrams illustrating an image obtained by the gating camera 20.
  • the object range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 18 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 18 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the sliced image IMG 1.
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2. Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3. In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • the gating camera uses infrared light or the like as the probe light
  • the "field of view of the gating camera” does not necessarily match the quality of the field of view when viewed by the human eye. Visibility changes due to the influence of weather such as fog and rain, or also due to factors such as dust.
  • the method of generating the visibility information INFO_FOV is not particularly limited.
  • the attenuation coefficient ⁇ or the transmittance T may be calculated based on the image processing in the image processing apparatus 28 and used as the visibility information INFORMATION_FOV.
  • the attenuation coefficient ⁇ and the transmittance may be measured or estimated by a sensor provided separately from the gating camera 20.
  • the user may determine the quality of the field of view and provide the field of view information INFO_FOV to the gating camera 20.
  • the visibility is known as an index of the quality of the visibility, and the corresponding information can be the visibility information INFO_FOV.
  • the attenuation coefficient ⁇ depends on the amount of rainfall and the density of fog
  • the presence or absence (or density) of rainfall and fog can be detected by a sensor or accepted from the user, and this can be used as the visibility information INFO_FOV. good.
  • the camera controller 26 reflects the visibility information INFO_FOV in the shooting parameters. Hereinafter, some examples of control of shooting parameters will be described.
  • the camera controller 26 changes the number of exposures for generating one slice image based on the visibility information INFO_FOV. Specifically, the larger the attenuation coefficient ⁇ , the more the number of exposures is increased.
  • FIG. 19 is a diagram illustrating a first control method in the gating camera 20 of FIG.
  • the horizontal axis represents the position of the range (range number), that is, the distance, and the vertical axis represents the number of exposures.
  • range number range number
  • the vertical axis represents the number of exposures.
  • the relationship between the range number and the number of exposures is defined for each attenuation coefficient ⁇ .
  • the attenuation coefficient ⁇ is expressed in three stages, and the relationship of ⁇ 1 ⁇ 2 ⁇ 3 holds.
  • the relationship shown in FIG. 19 is non-volatilely stored in the camera controller 26 as a look-up table or an arithmetic expression, and the camera controller 26 determines the number of exposures based on one relationship according to the visibility information INFO_FOV.
  • the relationship between the range number and the number of exposures is shown as a curve, but it may be defined by a straight line or a polygonal line.
  • FIG. 20 (a) and 20 (b) are time charts showing the operation of the first control method of the gating camera 20 of FIG.
  • FIG. 20A shows an operation when the field of view is good, that is, when the attenuation coefficient ⁇ is small.
  • the first range RNG 1 and the second range RNG 2 are exposed twice, and the Nth range RNG N is exposed four times. The closer the range, the shorter the time difference between light emission and exposure.
  • the time interval of light emission is constant regardless of the range and the quality of the field of view (attenuation coefficient ⁇ ).
  • the time interval of light emission may be different for each range, or may be different depending on the quality of the field of view.
  • FIG. 20B shows an operation when the visibility is poor, that is, when the attenuation coefficient ⁇ is large.
  • the number of exposures of the first range RNG 1 and the second range RNG 2 has increased from 2 to 3
  • the number of exposures of the Nth range RNG N has increased from 4 to 6. There is.
  • the total amount of light incident on the image sensor 24 can be increased by increasing the number of exposures, thereby achieving an image quality comparable to that in a situation where the field of view is good. Obtainable.
  • the method of generating one slice image based on multiple exposures is not particularly limited.
  • the image sensor 24 capable of multiple exposure is used, the total amount of light of a plurality of exposures can be integrated to generate one slice image.
  • a raw image is generated for each exposure, and a plurality of raw images corresponding to the plurality of exposures are combined in the image processing device 28 in the subsequent stage to form a single slice. You may generate an image.
  • the camera controller 26 changes the depth length of the range based on the visibility information INFO_FOV. Specifically, the larger the attenuation coefficient ⁇ , the shorter the length of the range.
  • 21 (a) and 21 (b) are diagrams illustrating a second control method in the gating camera 20 of FIG.
  • the horizontal axis indicates the position of the range (range number), that is, the distance, and the vertical axis indicates the depth length of each range.
  • FIG. 21A shows the case where the depth lengths of all ranges are equal.
  • the attenuation coefficient ⁇ is small ( ⁇ 1 )
  • the depth of each range is 50 m. That is, the closest range RNG 1 is 0 to 50 m, the second range RNG 2 is 50 to 100 m, the third range RNG 3 is 100 to 150 m, and the fourth range RNG 4 is. , 150-200 m.
  • the depth of each range is 25 m. That is, the closest range RNG 1 is 0 to 25 m, the second range RNG 2 is 25 to 50 m, the third range RNG 3 is 50 to 75 m, and the fourth range RNG 4 is. , 75-100m.
  • FIG. 22 (a) and 22 (b) are diagrams showing a plurality of ranges corresponding to the control of FIG. 21 (a).
  • FIG. 22A shows a plurality of ranges under a good field of view with a small attenuation coefficient ⁇ .
  • FIG. 22B shows fog, a large attenuation coefficient ⁇ , and a plurality of ranges in a bad field of view.
  • the depth length may be different for each range.
  • the relationship between the range number and the depth length may be determined for each of the values ⁇ 1 , ⁇ 2 , ⁇ 3 , and ⁇ 4 of the attenuation coefficient ⁇ , and the relationship according to the current attenuation coefficient may be selected.
  • the length of each range can be shortened to increase the resolution in the depth direction in exchange for giving up long-distance shooting.
  • the depth length of some ranges may be kept constant, and the depth lengths of some ranges may be changed according to the attenuation coefficient ⁇ .
  • the camera controller 26 changes the number N of the range to be measured based on the visibility information INFO_FOV. Specifically, as the attenuation coefficient ⁇ is larger, the number of ranges to be measured is reduced in order from the back side.
  • FIG. 23 is a diagram illustrating an operation related to the third control method of the gating camera 20 of FIG.
  • the horizontal axis represents the attenuation coefficient ⁇ , and the vertical axis represents the number N of the range to be measured.
  • FIGS. 24 (a) to 24 (c) are diagrams showing a plurality of ranges in the third control method. Here, it is assumed that the depth lengths of all ranges are equal.
  • the attenuation coefficient ⁇ when the attenuation coefficient ⁇ is large, it is decided to give up long-distance shooting and intensively sense short-distance. As a result, in a situation where the field of view is poor, it is possible to increase the frame rate of sliced images in a short range because long-distance shooting, which requires a large number of exposures and takes a long time for sensing, is omitted.
  • the first control method to the third control method may be used alone or may be arbitrarily combined.
  • FIG. 25 is a block diagram of the sensing system 10.
  • the sensing system 10 includes an arithmetic processing unit 40 in addition to the gating camera 20 described above.
  • the sensing system 10 is an object detection system that is mounted on a vehicle such as an automobile or a motorcycle and determines the type (also referred to as a category or class) of an object OBJ existing around the vehicle.
  • the gating camera 20 generates a plurality of slice images IMGs 1 to IMGs N corresponding to the plurality of ranges RNG 1 to RNG N. Only the objects included in the corresponding range RNG i are captured in the i-th slice image IMGs i.
  • the arithmetic processing unit 40 is configured to be able to identify the type of an object based on a plurality of slice images IMGs 1 to IMGs N corresponding to a plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
  • the arithmetic processing unit 40 includes a classifier 42 implemented based on a trained model generated by machine learning.
  • the arithmetic processing unit 40 may include a plurality of classifiers 42 optimized for each range.
  • the algorithm of the classifier 42 is not particularly limited, but is YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured with only hardware.
  • the function of the arithmetic processing unit 40 and the function of the image processing device 28 may be implemented in the same processor.
  • 26 (a) and 26 (b) are diagrams showing an automobile 300 equipped with a gating camera 20. See FIG. 26 (a).
  • the automobile 300 includes headlamps (lamps) 302L and 302R.
  • the lighting device 22 of the gating camera 20 may be built in at least one of the left and right headlamps 302L and 302R.
  • the image sensor 24 can be attached to a part of the vehicle, for example, the back side of the rear-view mirror. Alternatively, the image sensor 24 may be provided on the front grill or the front bumper.
  • the camera controller 26 may be provided in the vehicle interior, in the engine room, or may be built in the headlamps 302L and 302R.
  • the image sensor 24 may be incorporated in either the left or right headlamps 302L or 302R together with the lighting device 22.
  • FIG. 27 is a block diagram showing a vehicle lamp 200 provided with the sensing system 10.
  • the vehicle lamp 200 constitutes the lamp system 304 together with the vehicle side ECU 310.
  • the vehicle lamp 200 includes a lamp side ECU 210 and a lamp unit 220.
  • the lamp unit 220 is a low beam or a high beam, and includes a light source 222, a lighting circuit 224, and an optical system 226. Further, the vehicle lamp 200 is provided with a sensing system 10.
  • the information about the object OBJ detected by the sensing system 10 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 210 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the sensing system 10 and its position.
  • the lighting circuit 224 and the optical system 226 operate so as to obtain a light distribution pattern generated by the lamp-side ECU 210.
  • the arithmetic processing unit 40 of the sensing system 10 may be provided outside the vehicle lamp 200, that is, on the vehicle side.
  • the information about the object OBJ detected by the sensing system 10 may be transmitted to the vehicle side ECU 310.
  • the vehicle-side ECU 310 may use this information for automatic driving and driving support.
  • This disclosure relates to a gating camera.
  • Sensing system 20 Gating camera 22 Lighting device 24 Image sensor 26 Camera controller 28 Image processing device 40 Arithmetic processing device 42 Classifier 200 Vehicle lighting equipment 210 Lighting equipment side ECU 220 Lamp unit 222 Light source 224 Lighting circuit 226 Optical system 300 Automobile 302L Headlamp 304 Lighting system 310 Vehicle side ECU L1 probe light S1 emission timing signal S2 exposure timing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

ゲーティングカメラ２０は、奥行き方向について複数のレンジＲＮＧに区切り、複数のレンジに対応する複数のスライス画像を生成する。照明装置２２は、プローブ光Ｌ１を照射する。イメージセンサ２４は、露光の結果得られた生画像ＩＭＧ＿ＲＡＷを構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像ＩＭＧ＿ＣＯＭＰを出力する。カメラコントローラ２６は、照明装置２２の発光タイミングとイメージセンサ２４の露光のタイミングを制御する。画像処理装置２８は、イメージセンサ２４から圧縮画像ＩＭＧ＿ＣＯＭＰを受信し、スライス画像ＩＭＧを復元する。

Description

ゲーティングカメラ、車両用センシングシステム、車両用灯具
　本発明は、ゲーティングカメラに関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴＯＦ画像を得るものである。
　ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。
特開２００９－２５７９８１号公報 国際公開ＷＯ２０１７／１１０４１７Ａ１
１．　ゲーティングカメラは、イメージセンサと、イメージセンサの出力画像（センサ画像）を処理する画像処理装置を備える。ここでイメージセンサから画像処理装置の間は、シリアルインタフェースで接続される場合が多く、この間のセンサ画像の伝送速度がボトルネックとなり、１枚のスライス画像の生成に要する時間が長くなり、ゲーティングカメラのフレームレートが制限される。
　本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、スライス画像の生成時間を短縮可能なゲーティングカメラの提供にある。
２．　本発明者らは、日中の撮影が可能なゲーティングカメラについて検討し、以下の課題を認識するに至った。日中撮影するためには、太陽光の影響を受けにくくするために、使用する赤外光の波長を、長くする必要がある。しかしながら現実的に使用できる波長は１μｍ～１．３μｍであり、この波長帯にも、太陽光のスペクトルは含まれる。
　したがって、ゲーティングカメラを日中に使用すると、スライス画像には、太陽光の影響で大きなバックグラウンドノイズが含まれることとなり、物体からの反射光すなわち信号成分が埋もれてしまう。
　本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、バックグラウンドノイズの影響を除去可能なゲーティングカメラの提供にある。
３．　ゲーティングカメラのイメージセンサに入射する光は、ゲーティングカメラから放射され、物体に到達したプローブ光が、物体において反射／散乱されて戻ってきた光であるから、ゲーティングカメラと物体の間を１往復することとなる。濃霧や強い雨などの状況では、ゲーティングカメラと物体の間の透過率が低下するため、イメージセンサへの入射光の強度が低下する。したがって視界が悪い状況では、遠いレンジの撮影が難しくなる。
　本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、視界の良否に応じて適切に動作可能なゲーティングカメラの提供にある。
１．　本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、露光により生画像を生成し、生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサから圧縮画像を受信し、スライス画像を復元する画像処理装置と、を備える。
２．　本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像それぞれの注目画素の画素値をノイズレベルにもとづいて補正する画像処理装置と、を備える。
　本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像の注目画素をノイズレベルにもとづいて補正する画像処理装置と、を備える。
３．　本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。カメラコントローラは、プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させる。
　本開示のある態様によれば、スライス画像の生成時間を短縮できる。本開示のある態様によれば、バックグラウンドノイズの影響を除去できる。本開示のある態様によれば、視界の良否に応じた動作が可能となる。
実施形態１に係るセンシングシステムのブロック図である。 ゲーティングカメラの基本動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 ある走行シーンを示す図である。 図５（ａ）～（ｃ）は、図４の走行シーンにおける信号処理を示す図である。 ゲーティングカメラの動作を示すフローチャートである。 図７（ａ）は、圧縮画像ＩＭＧ＿ＣＯＭＰを示す図であり、図７（ｂ）は、ラインデータを示す図である。 変形例１．３に係るゲーティングカメラの処理を説明する図である。 実施形態２．１に係るセンシングシステムのブロック図である。 ゲーティングカメラの基本動作を説明する図である。 図１１（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 実施形態２．１に係るノイズ除去のフローチャートである。 実施形態２．１に係るノイズ除去を説明する図である。 図１４（ａ）、（ｂ）は、実施形態２．１に係る補正処理を説明する図である。 図１５（ａ）、（ｂ）は、実施形態２．２に係る補正処理を説明する図である。 実施形態３に係るセンシングシステムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図１８（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図１６のゲーティングカメラにおける第１制御方法を説明する図である。 図２０（ａ）、（ｂ）は、図１６のゲーティングカメラの第１制御方法の動作を示すタイムチャートである。 図２１（ａ）、（ｂ）は、図１６のゲーティングカメラにおける第２制御方法を説明する図である。 図２２（ａ）、（ｂ）は、図２１（ａ）の制御に対応する複数のレンジを示す図である。 図１６のゲーティングカメラの第３制御方法に係る動作を説明する図である。 図２４（ａ）～（ｃ）は、第３制御方法における複数のレンジを示す図である。 センシングシステムのブロック図である。 図２６（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。この概要は、考えられるすべての実施形態の包括的な概要ではなく、すべての実施形態の重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、露光により生画像を生成し、生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサから圧縮画像を受信し、スライス画像を復元する画像処理装置と、を備える。
　イメージセンサにおいて得られる生画像について、ラインごとに、物標を含むか否かを判定し、物標を含まないラインについては、イメージセンサから画像処理装置への伝送量を圧縮することで、伝送時間を短くすることができ、スライス画像の生成時間を短縮できる。
　一実施形態において、イメージセンサは、それに含まれる全画素の画素値が所定のしきい値より小さいラインを無効ラインとしてもよい。
　一実施形態において、イメージセンサは、無効ラインでない有効ラインについては、行番号と、値が第１値であるヘッダと、当該有効ラインに含まれる全画素の画素値と、を含むラインデータを伝送し、無効ラインについては、行番号と、値が第２値であるヘッダと、を含むラインデータを伝送してもよい。
　一実施形態において、画像処理装置は、受信したラインデータのヘッダの値が第２値であるとき、当該ラインの全画素値を０としてもよい。
２．　一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像それぞれの注目画素の画素値をノイズレベルにもとづいて補正する画像処理装置と、を備える。
　理想的なゲーティングカメラでは、ひとつの物体は、複数のスライス画像のうち１枚だけに写る。したがって、複数のスライス画像の同じ画素に注目すると、１枚のみ、物体からの反射に応じた画素値を有し、その他のスライス画像の画素値は、ノイズとみなすことができる。本実施形態によれば、ノイズレベルを測定するための撮影を行わずに、通常の撮影を行いながら、ノイズレベルを取得することができる。
　一実施形態において、ノイズレベルは、有効画像以外のスライス画像の注目画素の画素値の平均値であってもよい。
　一実施形態において、画像処理装置は、各画素について、あるスライス画像の注目画素の画素値が所定のしきい値を超えるとき、有効画像としてもよい。
　一実施形態において、画像処理装置は、各画素について、最も画素値が大きいスライス画像を、物体を含むスライス画像としてもよい。
　一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像の注目画素をノイズレベルにもとづいて補正する画像処理装置と、を備える。
　レンジの数が多い、言い換えるとスライス画像の枚数が多い撮影では、有効画像の影響が小さくなるため、全スライス画像の画素値をノイズとして扱うことで、ノイズレベルの検出処理を簡素化できる。
　一実施形態において、ノイズレベルは、全スライス画像の注目画素の画素値の平均値であってもよい。
　一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。カメラコントローラは、プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させる。
　プローブ光の減衰係数に応じて、撮影パラメータを動的、適応的に制御することにより、視界の良否に応じた動作が可能となる。
　一実施形態において、カメラコントローラは、プローブ光の減衰係数が大きいほど、１枚のスライス画像を生成するための露光回数を増加させてもよい。プローブ光の減衰係数が大きい状況で、露光回数を増やすことで、物体からの反射／散乱光を多く積算することができ、スライス画像の画質を改善できる。
　一実施形態において、カメラコントローラは、レンジの番号と露光回数の関係を複数個、保持しており、視界情報に応じたひとつを選択してもよい。
　減衰係数が大きい場合には、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めてもよい。
　一実施形態において、カメラコントローラは、プローブ光の減衰係数が大きいほど、測定対象とするレンジの個数を奥側から順に減らしてもよい。減衰係数が大きい場合には、遠距離の撮影を諦め、近距離を集中的にセンシングすることで、近いレンジのスライス画像のフレームレートを高めることができる。
　以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、開示および発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。
（実施形態１）
　図１は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。
　イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる生画像（ＲＡＷ画像）を生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧｉは、必要に応じて生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓｉと区別する。
　カメラコントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御する。カメラコントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。
　イメージセンサ２４と画像処理装置２８は、シリアルインタフェース３０を介して接続されている。ここでイメージセンサ２４において生成された生画像ＩＭＧ＿ＲＡＷｉの全画素を、一次画像ＩＭＧとして画像処理装置２８に伝送すると、伝送時間が長くなり、センシング時間が長くなってしまう。
　そこで本実施形態では、イメージセンサ２４は、生画像ＩＭＧ＿ＲＡＷｉから、無駄なラインを除去することにより得られる圧縮画像ＩＭＧ＿ＣＯＭＰｉを一次画像ＩＭＧｉとして画像処理装置２８に送信する。
　具体的にはイメージセンサ２４は、露光の結果得られた生画像ＩＭＧ＿ＲＡＷｉを構成する複数のラインの中から、物標すなわち検出対象の被写体を含まない無効ラインを検出する。そして生画像ＩＭＧ＿ＲＡＷｉから、無効ラインに関する画像情報を圧縮して、圧縮画像ＩＭＧ＿ＣＯＭＰｉを生成する。
　画像処理装置２８は、イメージセンサ２４から圧縮画像ＩＭＧ＿ＣＯＭＰｉを一次画像ＩＭＧｉとして受信する。そして圧縮画像ＩＭＧ＿ＣＯＭＰｉから、スライス画像ＩＭＧｓｉを復元する。
　以上がゲーティングカメラ２０の構成である。続いてその動作を説明する。
　図２は、ゲーティングカメラ２０の基本動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを興味レンジ（ＲＯＩ：Range Of Interest）としてセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　続いて、図４および図５（ａ）～（ｃ）を参照して、図１のゲーティングカメラ２０における画像圧縮および伝送を説明する。図４は、ある走行シーンを示す図である。ＲＮＧｉがセンシング対象のレンジ（興味レンジ）である。図５（ａ）～（ｃ）は、図４の走行シーンにおける信号処理を示す図である。図５（ａ）には、図４の走行シーンにおいて得られる生画像ＩＭＧ＿ＲＡＷｉが示される。この生画像ＩＭＧ＿ＲＡＷｉには、レンジＲＮＧｉに含まれる物標が写っている。この例では、物標は生画像ＩＭＧ＿ＲＡＷｉの中央の範囲ＹＭに存在している。上方の範囲ＹＵは空であり、いかなる物標も含まれない。
　またこの例では、生画像ＩＭＧ＿ＲＡＷｉの下側の範囲ＹＬは、ひとつ前のレンジＲＮＧｉ－１の地面に相当する部分であり、この範囲ＹＬにも、物標は含まれない。
　イメージセンサ２４は、範囲ＹＵおよびＹＬに含まれるラインを無効ラインと判定する。たとえばイメージセンサ２４は、生画像ＩＭＧ＿ＲＡＷｉのラインを順にスキャンしていき、各ラインについて、全画素が所定のしきい値より小さいとき、当該ラインを無効ラインとする。
　無効ラインと有効ラインの判定は、センシング周期ごとに行ってもよい。１回のセンシング周期は、複数のレンジＲＮＧ１～ＲＮＧＮの撮影全体の周期を意味する。
　あるいは複数回のセンシング周期に１回の割合で、無効ラインと有効ラインの判定を行ってもよい。この場合、１回、無効ラインと判定されたラインについては、次の判定結果が得られるまでは無効ラインとして扱われる。
　図５（ｂ）は、図５（ａ）の生画像ＩＭＧ＿ＲＡＷｉから得られる圧縮画像ＩＭＧ＿ＣＯＭＰｉを示す。圧縮画像ＩＭＧ＿ＣＯＭＰｉは、生画像ＩＭＧ＿ＲＡＷｉの範囲ＹＵおよびＹＬに含まれるラインに関して画像情報を含まないように圧縮したものである。
　図５（ｃ）は、図５（ｂ）の圧縮画像ＩＭＧ＿ＣＯＭＰｉを復元して得られる最終的なスライス画像ＩＭＧｓｉを示す。圧縮画像ＩＭＧ＿ＣＯＭＰｉを受信した画像処理装置２８は、画像情報を含まない無効ラインについては、所定値（たとえば値０）の画素で置き換えることにより、スライス画像ＩＭＧｓｉを再生する。
　図６は、ゲーティングカメラ２０の動作を示すフローチャートである。はじめに変数ｉが１に初期化される（Ｓ１００）。変数ｉは、興味レンジを示す変数である。たとえばｉ＝１は、１番目のレンジＲＮＧ１が測定対象であることを示す。
　続いて変数ｉに関して、ループＳ１０２が実行される。はじめに、ｉ番目のレンジＲＮＧｉをターゲットとして、照明装置２２による発光およびイメージセンサ２４による露光が行われ、生画像ＩＭＧ＿ＲＡＷｉを生成する（Ｓ１０４）。
　続いて生画像ＩＭＧ＿ＲＡＷｉに関して、それに含まれる各ラインの有効、無効が判定される。はじめに変数ｊが１に初期化される（Ｓ１０６）。変数ｊは、生画像ＩＭＧ＿ＲＡＷｉの判定対象の行番号を示す。そして変数ｊに関してループＳ１０８が実行される。
　生画像ＩＭＧ＿ＲＡＷｉのｊ番目のラインの全画素の画素値がしきい値より小さいか否かを判定する（Ｓ１１０）。そして、全画素値がしきい値より小さい場合（Ｓ１１０のＹ）、ｊ番目のラインは無効ラインと判定される（Ｓ１１２）。そうでない場合（Ｓ１１０のＮ）、ｊ番目のラインは有効ラインと判定される。そして、変数ｊがインクリメントされる。変数ｊが、生画像ＩＭＧ＿ＲＡＷｉのライン数ＹＭＡＸ（垂直方向解像度）より小さい間、ループＳ１０８が繰り返される。変数ｊが、生画像ＩＭＧ＿ＲＡＷｉのライン数ＹＭＡＸを超えると、ループＳ１０８を抜ける。
　ループＳ１０８を抜けると、変数ｉがインクリメントされ（Ｓ１１８）、次のレンジが測定対象となる。変数ｉが、レンジの最大数Ｎより小さい間、ループＳ０２が繰り返される。変数ｉが最大数Ｎを超え、すべてのレンジＲＮＧ１～ＲＮＧＮの撮影が終了すると、処理を終了する。
　続いて画像の圧縮方法について説明する。図７（ａ）は、圧縮画像ＩＭＧ＿ＣＯＭＰを示す図であり、図７（ｂ）は、ラインデータを示す図である。圧縮画像ＩＭＧ＿ＣＯＭＰは、複数のラインデータＬＤ１～ＬＤＶＭＡＸを含む。ラインデータＬＤは、それが有効ラインであるか無効ラインであるかによって、異なる情報を含む。この例では、１行目と２行目が無効ライン、残りが有効ラインであるとする。有効ラインのラインデータ５０は、行番号５２、ヘッダ５４およびそのラインの全画素の画素値５６を含む。無効ラインのラインデータ５０’は、行番号５２、ヘッダ５４を含み、画素値５６は含まない。ヘッダ５４は、有効ラインか無効ラインかを示す識別子を含んでおり、たとえば有効ラインのヘッダ５４の値は１、無効ラインのヘッダ５４は値０を格納する。
　図７の圧縮画像ＩＭＧ＿ＣＯＭＰでは、無効ラインについては、画像情報が完全に除去される。したがって、無効ラインの伝送に要する時間は、行番号５２とヘッダ５４の伝送時間となり、大幅に短縮することができる。
　図７の圧縮画像ＩＭＧ＿ＣＯＭＰは、画像処理装置２８において以下のように復元することができる。画像処理装置２８は、ラインデータ５０のヘッダ５４を参照する。そして値が１であるとき、それに続く画素値５６を、スライス画像ＩＭＧの対応するラインの画素値とする。ヘッダ５４の値が０であるとき、スライス画像ＩＭＧの対応するラインの画素値に０で埋める。
　以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１．１）
　圧縮画像ＩＭＧ＿ＣＯＭＰは、有効ラインのラインデータのみを含んでもよい。この場合、有効ラインは、行番号とそれに続く全画素の画素値を含む。画像処理装置２８は、受信したラインデータに含まれない行番号については０で埋める。
（変形例１．２）
　これまでの例では、無効ラインについては画素情報を伝送しないこととしたが、画像情報を伝送してもよい。たとえば、無効ラインについては、画素を間引いて伝送してもよい。水平方向に隣接するＭ画素に１画素の割合で伝送することとすれば、伝送時間を１／Ｍ倍に短縮できる。画像処理装置２８は、隣接するＭ画素については、同一画素値としてスライス画像ＩＭＧを復元すればよい。
（変形例１．３）
　実施形態１では、ラインごとに、物標を含むか否かを判定することとしたが、その限りでなく、レンジ毎に、生画像ＩＭＧ＿ＲＡＷの所定のラインを予め無効ラインとして定めておいてもよい。
　図８は、変形例１．３に係るゲーティングカメラの処理を説明する図である。図中、一点鎖線８０は、想定される物標の最も高い位置を示す。レンジにかかわらず、イメージセンサ２４の垂直方向の画角θが一定であるとする。近いレンジＲＮＧ１，ＲＮＧ２で撮影する場合には、一点鎖線８０より下の範囲のみが撮影される。一方、遠いレンジＲＮＧ３については、この一点鎖線より高い範囲８２が撮影範囲（イメージセンサの画角θ）に含まれるが、この範囲８２にセンシング対象の物標が含まれる可能性は低いと言える。そこで、生画像ＩＭＧ＿ＲＡＷ３に関して、この一点鎖線８０に対応するラインより上側の範囲８２については、無効ラインとして定めることができる。
（実施形態２．１）
　図９は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。本実施形態に係るゲーティングカメラ２０は、夜間のみでなく日中もセンシング可能であり、したがって０．９μｍより長い波長が選択される。
　イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなるスライス画像ＩＭＧを生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧは、必要に応じて生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓと区別する。
　カメラコントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御し、イメージセンサ２４に、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮを発生させる。カメラコントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。
　イメージセンサ２４と画像処理装置２８は、シリアルインタフェース３０を介して接続されており、複数のレンジＲＮＧ１～ＲＮＧＮにおいて得られた複数のスライス画像（一次画像）ＩＭＧ１～ＩＭＧＮは画像処理装置２８に伝送される。一次画像ＩＭＧｉは、生画像ＩＭＧ＿ＲＡＷｉそのものであってもよいし、生画像ＩＭＧ＿ＲＡＷｉを加工した画像であってもよい。
　以上がゲーティングカメラ２０の基本構成である。続いてその動作を説明する。
　図１０は、ゲーティングカメラ２０の基本動作を説明する図である。図１０にはｉ番目のレンジＲＮＧｉを興味レンジ（ＲＯＩ：Range Of Interest）としてセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　図１１（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図１１（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図１１（ｂ）には、図１１（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　図９に戻る。上述のように、ゲーティングカメラ２０は日中もセンシングを行うことから、イメージセンサ２４には、太陽光が入射する。太陽光は、ゲーティングカメラ２０の使用波長にスペクトル成分を含むため、バックグラウンドノイズとなり、画像のＳ／Ｎ比を低下させる。そこで画像処理装置２８は、複数のスライス画像ＩＭＧ１～ＩＭＧＮからバックグラウンドノイズを除去する機能を備える。以下、ノイズ除去機能について説明する。
　画像処理装置２８は、イメージセンサ２４から複数のスライス画像ＩＭＧ１～ＩＭＧＮを受信する。ｉ番目（１≦ｉ≦Ｎ）のスライス画像ＩＭＧｉのｊ番目の画素を、ＩＭＧｉ（ｊ）と表記する。画像処理装置２８は、複数のスライス画像ＩＭＧ１～ＩＭＧＮについて、１画素ずつ注目画素として選択し、注目画素ごとにノイズレベルを検出する。
　画像処理装置２８は、複数のスライス画像ＩＭＧ１～ＩＭＧＮのｊ番目の画素を注目画素とする。そして複数のスライス画像ＩＭＧ１～ＩＭＧＮのうち、注目画素の位置に物体を含むスライス画像を、有効画像とする。たとえば画像処理装置２８は、複数の画素ＩＭＧ１（ｊ）～ＩＭＧＮ（ｊ）のうち、最大の画素値を含むスライス画像を、有効画像とする。ＩＭＧＭ（ｊ）の値が最大であるとき、Ｍ番目のスライス画像ＩＭＧＭが有効画像とされる。
　そして、画像処理装置２８は、有効画像ＩＭＧＭ以外の複数のスライス画像（非有効画像という）の画素ＩＭＧ１（ｊ）～ＩＭＧＭ－１（ｊ），ＩＭＧＭ＋１（ｊ）～ＩＭＧＮ（ｊ）の値にもとづいてノイズレベルＮ（ｊ）を検出する。そして複数のスライス画像ＩＭＧ１～ＩＭＧＮの画素ＩＭＧ１（ｊ）～ＩＭＧＮ（ｊ）の画素値を、ノイズレベルＮ（ｊ）にもとづいて補正する。画像処理装置２８は、補正後のスライス画像を、最終的なスライス画像ＩＭＧｓとして出力する。
　ここでは説明の容易化のため、すべてのレンジＲＮＧ１～ＲＮＧＮの奥行きが等しい、言い換えると、すべてのレンジにおける露光時間が等しいものと仮定する。この場合、ノイズレベルＮ（ｊ）は、非有効画像ＩＭＧｋ（ｋ＝１～Ｎ、ただしｋ≠Ｍ）の注目画素の画素値の単純平均を採ればよく、ノイズレベルＮ（ｊ）は式（１）で表される。
　Ｎ（ｊ）＝Σｋ ｋ≠ＭＩＭＧｋ（ｊ）／（Ｎ－１）　　　…（１）
　また補正は、スライス画像ＩＭＧｋ（ｊ）からノイズレベルＮ（ｊ）を減算すればよい。補正後のスライス画像ＩＭＧｋ’（ｊ）の画素値は、式（２）で表される。
　ＩＭＧｋ’（ｊ）＝ＩＭＧｋ（ｊ）－Ｎ（ｊ）　　…（２）
　画像処理装置２８は、全画素について同じ処理を繰り返す。ただし、補正後の画素値は０を下回らないよう処理される。
　図１２は、ノイズ除去のフローチャートである。ｉはスライス画像の番号を示す変数であり、ｊは注目画素の位置を示す変数である。
　はじめにｊが初期化される（Ｓ１００）。そして画素ごとにループＳ１０２を繰り返す。
　複数のスライス画像ＩＭＧ１～ＩＭＧＮそれぞれのｊ番目の注目画素ＩＭＧ１（ｊ）～ＩＭＧＮ（ｊ）を参照し、それらの値にもとづいて、有効画像ＩＭＧＭを検出する（Ｓ１０４）。そして、有効画像ＩＭＧＭ以外の画像ＩＭＧ１～ＩＭＧＭ－１，ＩＭＧＭ＋１～ＩＭＧＮのｊ番目の画素ＩＭＧ１（ｊ）～ＩＭＧＭ－１（ｊ），ＩＭＧＭ＋１（ｊ）～ＩＭＧＮ（ｊ）にもとづいて、ノイズレベルＮ（ｊ）を算出する（Ｓ１０６）。
　続いて、変数ｉが初期化され（Ｓ１０８）、ループＳ１１０が実行される。具体的には、ｉ番目のスライス画像ＩＭＧｉの対応する画素ＩＭＧｉ（ｊ）からノイズレベルＮ（ｊ）が減算される（Ｓ１１２）。そして、変数ｉがインクリメントされる（Ｓ１１４）。ｉ≦Ｎであれば、処理Ｓ１１２に戻り、ｉ＞Ｎであれば、ループＳ１１０を抜ける。
　続いて変数ｊがインクリメントされる（Ｓ１１６）。ｊ≦Ｘ×Ｙであれば、処理Ｓ１０２に戻り、次の画素について同様の処理を繰り返す。ｊ＞Ｘ×Ｙであれば、ループＳ１０２を抜け、処理を終了する。Ｘ×Ｙは、スライス画像の全画素数である。
　図１３は、ノイズ除去を説明する図である。図１３には、１回の撮影で得られるＮ枚のスライス画像ＩＭＧ１～ＩＭＧＮが示され、各スライス画像は、Ｘ×Ｙ画素を含み、ｊ番目の注目画素にハッチングを付している。
　図１４（ａ）、（ｂ）は、Ｎ枚のスライス画像ＩＭＧ１～ＩＭＧＮの注目画素の補正前および補正後の画素値を示す図である。ここではＮ＝６であり、Ｍ＝４が有効画像である。
　理想的なゲーティングカメラでは、ひとつの物体は、複数のスライス画像ＩＭＧ１～ＩＭＧＮのうち１枚だけに写る。したがって、複数のスライス画像ＩＭＧ１～ＩＭＧＮの同じ画素に注目すると、１枚のみ（ここではＭ＝４枚目のスライス画像ＩＭＧ４）、物体からの反射に応じた大きな画素値を有し、その他の非有効画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３，ＩＭＧ５，ＩＭＧ６の画素値は、バックグラウンドノイズとみなすことができる。したがって、非有効画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３，ＩＭＧ５，ＩＭＧ６の注目画素ＩＭＧ１（ｊ），ＩＭＧ２（ｊ），ＩＭＧ３（ｊ），ＩＭＧ５（ｊ），ＩＭＧ６（ｊ）の画素値を処理することにより、ノイズレベルＮ（ｊ）を取得できる。
　そして、各スライス画像ＩＭＧ１～ＩＭＧ６の注目画素の画素値から、ノイズレベルＮ（ｊ）を減ずることにより、補正後の画素値を得ることができる。
　以上がゲーティングカメラ２０におけるノイズ除去である。本実施形態に係るゲーティングカメラ２０の利点は、比較技術との対比によって明確となる。
　比較技術では、Ｎ枚のスライス画像の撮影とは別に、照明装置２２を発光させずに、イメージセンサ２４において露光を行い、バックグラウンドノイズを撮影する。比較技術では、１回の撮影サイクルあたり、Ｎ＋１回の撮影が必要となり、撮影周期が長くなる。
　これに対して本実施形態によれば、ノイズレベルを測定するための撮影を行わずに、通常のＮ回の撮影と並行して、ノイズレベルを取得することができ、したがって、撮影周期が長くなるのを防止できる。
（実施形態２．２）
　実施形態２．１では、注目画素ごとに、複数のスライス画像ＩＭＧ１～ＩＭＧＮから有効画像を検出し、それ以外の非有効画像の注目画素の画素値にもとづいてノイズレベルを検出した。実施形態２．２では、有効画像の検出は行わずに、ノイズレベルを検出する。
　実施形態２．２に係るゲーティングカメラ２０の構成は、図９のブロック図と同様であり、画像処理装置２８の処理が、実施形態２．１と異なっている。以下、実施形態２．２におけるノイズ除去処理を説明する。
　画像処理装置２８は、全スライス画像ＩＭＧ１～ＩＭＧＮの注目画素の画素値にもとづいてノイズレベルＮ（ｊ）を検出する。そして複数のスライス画像それぞれの注目画素の画素値を、ノイズレベルＮ（ｊ）にもとづいて補正する。
　すべてのレンジの露光時間が等しい場合、ノイズレベルＮ（ｊ）は式（３）で算出してもよい。
　Ｎ（ｊ）＝Σｋ ｋ＝１：ＮＩＭＧｋ（ｊ）／Ｎ　　　…（３）
　また補正は、スライス画像ＩＭＧｋ（ｊ）からノイズレベルＮ（ｊ）を減算すればよい。補正後のスライス画像ＩＭＧｋ’（ｊ）の画素値は、式（４）で表される。これは式（２）と同一である。
　ＩＭＧｋ’（ｊ）＝ＩＭＧｋ（ｊ）－Ｎ（ｊ）　　…（４）
　図１５（ａ）、（ｂ）は、実施形態２．２に係る補正処理を説明する図である。図１５（ａ）は、Ｎ枚のスライス画像ＩＭＧ１～ＩＭＧＮの注目画素の補正前の画素値を、図１５（ｂ）は、補正後の画素値を示す図である。ここではＮ＝８であるとする。
　以上が実施形態２．２に係る補正処理である。実施形態２．２の補正処理によれば、実施形態２．１と同様に、ノイズレベルを検出するためだけの露光が不要であるため、撮影周期を短くできる。
　また実施形態２．２では、有効画像を検出する必要がないため、実施形態２．１に比べて、画像処理装置２８の演算負荷を減らすことができる。一方で、実施形態２．２では、物体の反射光もノイズ成分として扱っているため、実施形態２．１に比べると、ノイズレベルの検出精度は劣ることとなるが、レンジの数Ｎが大きい場合には、必要十分な精度でノイズレベルを検出できる。
　実施形態２．１，２．２に関連する変形例を説明する。
（変形例２．１）
　実施形態２．１に関する変形例２．１を説明する。上の説明では、注目画素において、最大値を有するスライス画像を有効画像としたが、その限りでない。たとえば所定のしきい値を定めておき、注目画素の画素値がしきい値を超えるスライス画像を、有効画像として扱ってもよい。この場合、有効画像は複数、存在しても構わない。実施形態２．１で説明した手法は、Ｎ枚のスライス画像ＩＭＧ１～ＩＭＧＮの撮影が完了しないと、有効画像を決定できないが、変形例２．１は、Ｎ枚のスライス画像ＩＭＧ１～ＩＭＧＮの撮影完了を待たずに、ノイズレベルの計算処理を実行できるという利点がある。
（変形例２．２）
　実施形態２．１では、注目画素のノイズレベルを算出する際に、単純平均を用いたが、算出手法はそれに限定されない。単純平均は、すべてのレンジの奥行き方向の長さが等しい場合、言い換えると露光時間が等しい場合には有効であるが、レンジごとに露光時間が異なる場合には、露光時間に応じた係数で重み付けした加重平均値を取ればよい。
　ｉ番目のレンジにおける露光時間をＴｊとする。そして、実施形態２．１でのノイズレベルは、式（５）にもとづいて算出してもよい。このノイズレベルは単位露光時間のノイズ量を表す。
　Ｎ（ｊ）＝｛Σｋ ｋ≠ＭＩＭＧｋ（ｊ）／Ｔｋ｝／（Ｎ－１）　　　…（５）
　また、補正処理は式（６）にもとづいて行ってもよい。
　ＩＭＧｋ’（ｊ）＝ＩＭＧｋ（ｊ）－Ｎ（ｊ）・Ｔｋ　　…（６）
（変形例２．３）
　実施形態２．２において、露光時間Ｔｉがレンジ毎に異なる場合、ノイズレベルＮ（ｊ）は式（７）にもとづいて算出してもよい。
　Ｎ（ｊ）＝｛Σｋ ｋ＝１：ＮＩＭＧｋ（ｊ）／Ｔｋ｝／Ｎ　　　…（７）
　また、補正処理は式（８）にもとづいて行ってもよい。
　ＩＭＧｋ’（ｊ）＝ＩＭＧｋ（ｊ）－Ｎ（ｊ）・Ｔｋ　　…（８）
（変形例２．４）
　変形例２．２や２．３では、有効画像ＩＭＧＭを先に検出した後に、重み付けによる補正処理を行っているが、その限りでない。先に、スライス画像ＩＭＧ１～ＩＭＧＮの全画素を、式（９）のように、露光時間Ｔｉに応じた係数Ａｉ（∝Ｔｉ －１）で補正してもよい。
　ＩＭＧｉ”＝Ａｉ×ＩＭＧｉ　　　…（９）
　実施形態２．１の場合、補正後のスライス画像ＩＭＧ１”～ＩＭＧＮ”について、注目画素ごとに有効画像を検出し、式（１’）にもとづいてノイズレベルを算出してもよい。
　Ｎ（ｊ）＝Σｋ ｋ≠ＭＩＭＧｋ”（ｊ）／（Ｎ－１）　　　…（１’）
　実施形態２．２の場合、式（３’）にもとづいてノイズレベルを算出してもよい。
　Ｎ（ｊ）＝Σｋ ｋ＝１：ＮＩＭＧｋ”（ｊ）／Ｎ　　　…（３’）
　そして、式（１０）にもとづいて、補正処理を行ってもよい。
　ＩＭＧｋ’（ｊ）＝ＩＭＧｋ（ｊ）”－Ｎ（ｊ）　　…（１０）
（変形例２．５）
　理想的には、あるレンジに含まれる物体は、それに対応するスライス画像にのみ写るが、現実的には、そのレンジと隣接するレンジのスライス画像にも物体が写り込む場合がある。そこで、注目画素において、最大の画素値を有するスライス画像に加えて、それと隣接する１枚（あるいは２枚）のスライス画像を、有効画像としてもよい。この場合、それら以外の（Ｎ－２）枚のスライス画像（もしくはＮ－３枚のスライス画像）が、非有効画像として処理される。
（変形例２．６）
　実施形態２．１では、有効画像以外のＮ－１枚の非有効画像の有効画素の画素値にもとづいてノイズレベルを算出したがその限りでない。たとえば、Ｎ－１枚の非有効画像の有効画素の画素値のうち、最大値と最小値を除外し、残りのＮ－３個の画素値にもとづいて、ノイズレベルを計算してもよい。
　実施形態２．２に関しても同様であり、全スライス画像の有効画素の画素値のうち、最大値と最小値を除外し、残りの（Ｎ－２）個の画素値にもとづいて、ノイズレベルを計算してもよい。
（変形例２．７）
　さらに言えば、ノイズレベルの算出方法は、平均処理に限定されない。たとえば実施形態２．１では、非有効画像の注目画素の画素値の中央値をノイズレベルとしてもよい。実施形態２．２では、全スライス画像の注目画素の画素値の中央値をノイズレベルとしてもよい。
（変形例２．８）
　上述の説明では、全画素を順に注目画素として、ノイズレベルを検出したがその限りでなく、スライス画像を複数のエリアに分割し、エリアごとに１個の注目画素を選択して、ノイズレベルを検出し、同じエリア内の画素については、共通のノイズレベルを用いて補正してもよい。
（変形例２．９）
　上述したノイズ除去処理は、太陽光の影響が無視できない状況のみで行い、太陽光の影響がない夜間や、曇天時には、ノイズ除去処理を省略してもよい。
（変形例２．１０）
　上の説明では、日中および夜間の利用を想定したゲーティングカメラ２０について説明したが、本発明に係るノイズ除去処理の適用はそれに限定されず、夜間のみ使用されるゲーティングカメラ２０にも適用可能である。
（実施形態３）
　図１６は、実施形態３に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置（投光器）２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。
　イメージセンサ２４は、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　カメラコントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。
　ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目のスライス画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
　画像処理装置２８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。画像処理装置２８はハードウェアのみで構成してもよい。画像処理装置２８は、イメージセンサ２４の生成する画像を処理し、最終的なスライス画像を出力する。なお、イメージセンサ２４の出力をそのままスライス画像として用いる場合、画像処理装置２８は省略することができる。
　図１７は、ゲーティングカメラ２０の動作を説明する図である。図１７にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ２で、上述の照射と露光の動作のセットを複数回にわたり繰り返せばよい。イメージセンサ２４は、複数回の露光によって積算されたスライス画像を出力する。
　本実施形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、プローブ光の照射強度など（撮影パラメータ）が最適化されている。
　図１８（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１８（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図１８（ｂ）には、図１８（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　図１６に戻り、ゲーティングカメラの視界が悪い状況における処理を説明する。なお、ゲーティングカメラは、赤外光などをプローブ光として用いることから、「ゲーティングカメラの視界」は、必ずしも人間の目で見たときの視界の良否と一致するものではない。視界は、霧や雨などの天候の影響で変化し、あるいは砂塵などの要因によっても変化する。
　本実施形態において、カメラコントローラ２６には、プローブ光の減衰係数σ[ｍ－１]と相関を有する視界情報ＩＮＦＯ＿ＦＯＶが入力される。減衰係数σ、伝搬距離ｒ、透過率Ｔの間には、式（１）が成り立つ。
　Ｔ＝ｅｘｐ（－σｒ）　　　…（１）
　視界情報ＩＮＦＯ＿ＦＯＶの生成方法は特に限定されない。たとえば画像処理装置２８における画像処理にもとづいて、減衰係数σあるいは透過率Ｔを算出して、それを視界情報ＩＮＦＯ＿ＦＯＶとしてもよい。
　ゲーティングカメラ２０とは別に設けられたセンサによって、減衰係数σや透過率を測定あるいは推定してもよい。あるいは、ユーザが、視界の良否を判断して、ゲーティングカメラ２０に対して視界情報ＩＮＦＯ＿ＦＯＶを与えてもよい。可視光に関しては、視界の良否の指標として、視程が知られており、それに対応する情報を視界情報ＩＮＦＯ＿ＦＯＶとすることができる。
　あるいは、減衰係数σは、雨量や霧の濃さに依存するから、雨量や霧の有無（あるいは濃さ）をセンサによって検出し、あるいはユーザから受け付けるようにし、それを視界情報ＩＮＦＯ＿ＦＯＶとして用いてもよい。
　カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶを、撮影パラメータに反映させる。以下、撮影パラメータの制御について、いくつかの例を説明する。
（第１制御方法）
　カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、１枚のスライス画像を生成するための露光回数を変化させる。具体的には、減衰係数σが大きいほど、露光回数増加させる。
　図１９は、図１６のゲーティングカメラ２０における第１制御方法を説明する図である。横軸は、レンジの位置（レンジ番号）すなわち距離を、縦軸は、露光回数を示す。物体までの距離が遠いほど、式（１）の距離ｒが大きくなるから透過率Ｔが低下するから、イメージセンサ２４への入射強度は低下する。これを補うために、レンジが遠いほど、露光回数が多くなるように撮影パラメータが規定される。
　本実施形態において、レンジ番号と露光回数の関係は、減衰係数σごとに規定される。この例では、減衰係数σは、３段階で表現され、σ１＜σ２＜σ３の関係が成り立っており、減衰係数σが大きいほど、レンジ番号と露光回数の関係は、上側にシフトする。たとえば図１９の関係が、ルックアップテーブルあるいは演算式としてカメラコントローラ２６に不揮発的に保存されており、カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶに応じたひとつの関係にもとづいて、露光回数を決定する。ここでは、レンジ番号と露光回数の関係を曲線として示すが、直線で規定されてもよいし、折れ線で規定されてもよい。
　図２０（ａ）、（ｂ）は、図１６のゲーティングカメラ２０の第１制御方法の動作を示すタイムチャートである。図２０（ａ）は、視界が良好であるとき、つまり減衰係数σが小さいときの動作を示す。この例では、１番目のレンジＲＮＧ１，２番目のレンジＲＮＧ２の露光回数は２回であり、Ｎ番目のレンジＲＮＧＮの露光回数は４回である。近いレンジほど、発光と露光の時間差は短い。ここでは、発光の時間間隔は、レンジによらず、また視界の良否（減衰係数σ）によらずに、一定であるものとする。なお、発光の時間間隔は、レンジごとに異なっていてもよいし、視界の良否に応じて異なっていてもよい。
　図２０（ｂ）は、視界が悪いとき、つまり減衰係数σが大きいときの動作を示す。この例では、１番目のレンジＲＮＧ１，２番目のレンジＲＮＧ２の露光回数が、２回から３回に増えており、Ｎ番目のレンジＲＮＧＮの露光回数は４回から６回に増えている。
　第１制御方法によれば、視界が悪い状況下では、露光回数を増やすことで、イメージセンサ２４に入射するトータルの光量を増やすことができ、それにより、視界が良い状況と遜色のない画質を得ることができる。
　なお、複数露光にもとづく１枚のスライス画像の生成方法は特に限定されない。たとえば、多重露光可能なイメージセンサ２４を用いる場合、複数回の露光の総光量を積算して、１枚のスライス画像を生成することができる。
　イメージセンサ２４が多重露光をサポートしない場合には、露光ごとに生画像を生成し、後段の画像処理装置２８において、複数の露光に対応する複数の生画像を合成することにより、１枚のスライス画像を生成してもよい。
（第２制御方法）
　第２制御方法においてカメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、レンジの奥行き長さを変化させる。具体的には、減衰係数σが大きいほど、レンジの長さを短くする。
　図２１（ａ）、（ｂ）は、図１６のゲーティングカメラ２０における第２制御方法を説明する図である。横軸はレンジの位置（レンジ番号）すなわち距離を、縦軸は、各レンジの奥行き長さを示す。
　図２１（ａ）は、すべてのレンジの奥行き長さが等しい場合を示している。この例では、奥行き長さは、減衰係数σに応じて２段階で制御され、Ｎ＝４であるとする。減衰係数σが小さい場合（σ１）には、各レンジの奥行きは５０ｍとされる。つまり、一番近いレンジＲＮＧ１は、０～５０ｍであり、２番目のレンジＲＮＧ２は、５０～１００ｍであり、３番目のレンジＲＮＧ３は１００～１５０ｍであり、４番目のレンジＲＮＧ４は、１５０～２００ｍである。
　減衰係数σが大きい場合（σ２）には、各レンジの奥行きは２５ｍとされる。つまり、一番近いレンジＲＮＧ１は、０～２５ｍであり、２番目のレンジＲＮＧ２は、２５～５０ｍであり、３番目のレンジＲＮＧ３は５０～７５ｍであり、４番目のレンジＲＮＧ４は、７５～１００ｍである。
　図２２（ａ）、（ｂ）は、図２１（ａ）の制御に対応する複数のレンジを示す図である。図２２（ａ）は、減衰係数σが小さい視界の良好な状況下での複数のレンジを示す。図２２（ｂ）は、霧が発生しており、減衰係数σが大きく、悪視界での複数のレンジを示す。
　図２１（ｂ）に示すように、レンジ毎に奥行き長さが異なっていてもよい。たとえば減衰係数σの値σ１，σ２，σ３，σ４ごとに、レンジ番号と奥行き長さの関係を定めておき、現在の減衰係数に応じた関係を選択してもよい。
　第２制御方法では、減衰係数σが大きい場合には、各レンジの長さを短くして、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めることができる。
　なお、複数のレンジのうち、いくつかのレンジの奥行き長さは一定としておき、いくつかのレンジの奥行き長さを、減衰係数σに応じて変化させてもよい。
（第３制御方法）
　第３制御方法においてカメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、測定対象とするレンジの個数Ｎを変化させる。具体的には、減衰係数σが大きいほど、測定対象とするレンジの個数を奥側から順に減らしていく。
　図２３は、図１６のゲーティングカメラ２０の第３制御方法に係る動作を説明する図である。横軸は減衰係数σを、縦軸は、測定対象のレンジの個数Ｎを示す。
　図２４（ａ）～（ｃ）は、第３制御方法における複数のレンジを示す図である。ここでは、すべてのレンジの奥行き長さは等しいものとする。図２４（ａ）は視界が良好な状況を示しており、Ｎ＝８個のレンジについて測定が行われる。図２４（ｂ）は、雨が降っており、視界がやや悪化した状況であり、測定対象のレンジがＮ＝６個に減らされる。図２４（ｃ）では、霧が発生しており、視界が悪く、測定対象のレンジがＮ＝４個に減らされている。
　第３制御方法では、減衰係数σが大きい場合には、遠距離の撮影を諦め、近距離を集中的にセンシングすることとした。これにより、視界が悪い状況では、露光回数が多く、センシングに時間がかかる遠距離の撮影を省略されるため、近いレンジのスライス画像のフレームレートを高めることができる。
　なお、第１制御方法～第３制御方法は、単独で用いてもよいし、複数を任意に組み合わせてもよい。
　上述のゲーティングカメラ２０の用途を説明する。
（用途）
　図２５は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のゲーティングカメラ２０に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。
　ゲーティングカメラ２０により、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧｓ１～ＩＭＧｓＮが生成される。ｉ番目のスライス画像ＩＭＧｓｉには、対応するレンジＲＮＧｉに含まれる物体のみが写る。
　演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧｓ１～ＩＭＧｓＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。演算処理装置４０は、レンジ毎に最適化された複数の分類器４２を含んでもよい。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。演算処理装置４０の機能と、画像処理装置２８の機能を、同じプロセッサに実装してもよい。
　図２６（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図２６（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。
　図２６（ａ）に示すように、ゲーティングカメラ２０の照明装置２２は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ２４は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ２４は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ２６は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。
　図２６（ｂ）に示すように、イメージセンサ２４は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置２２とともに内蔵してもよい。
　図２７は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームあるいはハイビームであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。
　センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。
　またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、ゲーティングカメラに関する。
　１０　センシングシステム
　２０　ゲーティングカメラ
　２２　照明装置
　２４　イメージセンサ
　２６　カメラコントローラ
　２８　画像処理装置
　４０　演算処理装置
　４２　分類器
　２００　車両用灯具
　２１０　灯具側ＥＣＵ
　２２０　ランプユニット
　２２２　光源
　２２４　点灯回路
　２２６　光学系
　３００　自動車
　３０２Ｌ　ヘッドランプ
　３０４　灯具システム
　３１０　車両側ＥＣＵ
　Ｌ１　プローブ光
　Ｓ１　発光タイミング信号
　Ｓ２　露光タイミング信号

Claims (20)

  1. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　プローブ光を照射する照明装置と、
    　露光により生画像を生成し、前記生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御するカメラコントローラと、
    　前記イメージセンサから前記圧縮画像を受信し、前記スライス画像を復元する画像処理装置と、
    　を備えることを特徴とするゲーティングカメラ。
  2. 　前記イメージセンサは、あるラインの全画素の画素値が所定のしきい値より小さいとき、当該ラインを、前記無効ラインとすることを特徴とする請求項１に記載のゲーティングカメラ。
  3. 　前記スライス画像において、前記無効ラインの画素値はゼロであることを特徴とする請求項１または２に記載のゲーティングカメラ。
  4. 　前記イメージセンサは、
    　前記無効ラインでない有効ラインについては、行番号と、値が第１値であるヘッダと、当該有効ラインに含まれる全画素の画素値と、を含むラインデータを伝送し、
    　前記無効ラインについては、行番号と、値が第２値であるヘッダと、を含むラインデータを伝送することを特徴とする請求項１から３のいずれかに記載のゲーティングカメラ。
  5. 　前記画像処理装置は、受信した前記ラインデータの前記ヘッダの値が前記第２値であるとき、当該ラインの全画素値を０とすることを特徴とする請求項４に記載のゲーティングカメラ。
  6. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　プローブ光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、
    　前記イメージセンサから前記複数のスライス画像を受け、注目画素を選択し、前記注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、前記複数のスライス画像それぞれの注目画素の画素値を前記ノイズレベルにもとづいて補正する画像処理装置と、
    　を備えることを特徴とするゲーティングカメラ。
  7. 　前記ノイズレベルは、前記有効画像以外のスライス画像の注目画素の画素値の平均値であることを特徴とする請求項６に記載のゲーティングカメラ。
  8. 　前記画像処理装置は、前記注目画素の画素値が最も大きいスライス画像を、前記有効画像とすることを特徴とする請求項６または７に記載のゲーティングカメラ。
  9. 　前記画像処理装置は、あるスライス画像について、注目画素の画素値が所定のしきい値を超えるとき、当該スライス画像を前記有効画像とすることを特徴とする請求項６または７に記載のゲーティングカメラ。
  10. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　プローブ光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、
    　前記イメージセンサから前記複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、前記複数のスライス画像それぞれの注目画素の画素値を前記ノイズレベルにもとづいて補正する画像処理装置と、
    　を備えることを特徴とするゲーティングカメラ。
  11. 　前記ノイズレベルは、前記全スライス画像の注目画素の画素値の平均値であることを特徴とする請求項１０に記載のゲーティングカメラ。
  12. 　奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
    　プローブ光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、
    　を備え、
    　前記カメラコントローラは、前記プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させることを特徴とするゲーティングカメラ。
  13. 　前記カメラコントローラは、前記プローブ光の前記減衰係数が大きいほど、１枚のスライス画像を生成するための露光回数を増加させることを特徴とする請求項１２に記載のゲーティングカメラ。
  14. 　前記カメラコントローラは、レンジの番号と露光回数の関係を複数個、保持しており、前記視界情報に応じたひとつを選択することを特徴とする請求項１３に記載のゲーティングカメラ。
  15. 　前記カメラコントローラは、前記減衰係数が大きい場合に、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めることを特徴とする請求項１２から１４のいずれかに記載のゲーティングカメラ。
  16. 　前記カメラコントローラは、前記減衰係数が大きいほど、ひとつのレンジの長さを短くすることを特徴とする請求項１２から１５のいずれかに記載のゲーティングカメラ。
  17. 　前記カメラコントローラは、前記減衰係数が大きいほど、測定対象とするレンジの個数を奥側から順に減らすことを特徴とする請求項１２から１６のいずれかに記載のゲーティングカメラ。
  18. 　プローブ光を照射する照明装置とイメージセンサを備え、視野の奥行き方向について複数のレンジに分割して撮影するゲーティングカメラの制御方法であって、
    　視野における前記プローブ光の透過率と相関を有する視界情報を取得するステップと、
    　前記視界情報にもとづいて、撮影パラメータを決定するステップと、
    　前記撮影パラメータに応じて、前記照明装置および前記イメージセンサを制御するステップと、
    　を備えることを特徴とする制御方法。
  19. 　請求項１から１７のいずれかに記載のゲーティングカメラと、
    　前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
    　を備えることを特徴とする車両用センシングシステム。
  20. 　請求項１から１７のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。
PCT/JP2021/025500 2020-07-14 2021-07-06 ゲーティングカメラ、車両用センシングシステム、車両用灯具 WO2022014416A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/005,325 US20230341749A1 (en) 2020-07-14 2021-07-06 Gating camera, vehicle sensing system, and vehicle lamp
EP21842119.6A EP4184242A4 (en) 2020-07-14 2021-07-06 TRIGGER CAMERA, VEHICLE DETECTION SYSTEM AND VEHICLE LIGHT
CN202180061390.1A CN116235108A (zh) 2020-07-14 2021-07-06 门控照相机、车辆用感测系统、车辆用灯具
JP2022536281A JPWO2022014416A1 (ja) 2020-07-14 2021-07-06

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020120854 2020-07-14
JP2020-120854 2020-07-14
JP2020-120853 2020-07-14
JP2020120853 2020-07-14
JP2020134109 2020-08-06
JP2020-134109 2020-08-06

Publications (1)

Publication Number Publication Date
WO2022014416A1 true WO2022014416A1 (ja) 2022-01-20

Family

ID=79555346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025500 WO2022014416A1 (ja) 2020-07-14 2021-07-06 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Country Status (5)

Country Link
US (1) US20230341749A1 (ja)
EP (1) EP4184242A4 (ja)
JP (1) JPWO2022014416A1 (ja)
CN (1) CN116235108A (ja)
WO (1) WO2022014416A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN110018493A (zh) * 2019-04-28 2019-07-16 中国科学院西安光学精密机械研究所 双波段交会式主动距离选通成像系统的激光功率选择方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756839B1 (ko) * 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP7369921B2 (ja) * 2018-12-10 2023-10-27 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN110018493A (zh) * 2019-04-28 2019-07-16 中国科学院西安光学精密机械研究所 双波段交会式主动距离选通成像系统的激光功率选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4184242A4

Also Published As

Publication number Publication date
EP4184242A4 (en) 2024-04-03
JPWO2022014416A1 (ja) 2022-01-20
US20230341749A1 (en) 2023-10-26
EP4184242A1 (en) 2023-05-24
CN116235108A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6471528B2 (ja) 物体認識装置、物体認識方法
US20140247357A1 (en) Attached matter detector, and attached matter detection method
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7472136B2 (ja) イメージング装置およびその照明装置、車両、車両用灯具
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022039231A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
WO2022039230A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
CN108663685B (zh) 补光方法、装置及系统
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023085403A1 (ja) センシングシステム
WO2020262446A1 (ja) 車両用灯具
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
EP4382968A1 (en) Gating camera, vehicular sensing system, and vehicular lamp
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
TWI839646B (zh) 測定裝置及測距裝置
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
CN116648664A (zh) 车载用传感系统以及门控照相机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536281

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021842119

Country of ref document: EP

Effective date: 20230214