WO2023224077A1 - ＴｏＦカメラ、車両用センシングシステム、および車両用灯具 - Google Patents

ＴｏＦカメラ、車両用センシングシステム、および車両用灯具 Download PDF

Info

Publication number
WO2023224077A1
WO2023224077A1 PCT/JP2023/018488 JP2023018488W WO2023224077A1 WO 2023224077 A1 WO2023224077 A1 WO 2023224077A1 JP 2023018488 W JP2023018488 W JP 2023018488W WO 2023224077 A1 WO2023224077 A1 WO 2023224077A1
Authority
WO
WIPO (PCT)
Prior art keywords
zone
range
tof camera
image sensor
image
Prior art date
Application number
PCT/JP2023/018488
Other languages
English (en)
French (fr)
Inventor
知明 原田
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Publication of WO2023224077A1 publication Critical patent/WO2023224077A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Definitions

  • the present disclosure relates to a ToF camera, a vehicular sensing system, and a vehicular lamp.
  • An object identification system that senses the position and type of objects around the vehicle is used for autonomous driving and automatic control of headlamp light distribution.
  • the object identification system includes a sensor and a processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging), Laser Imaging Detection and Ranging, millimeter wave radar, ultrasonic sonar, etc., taking into consideration the application, required accuracy, and cost.
  • Depth information cannot be obtained from a typical monocular camera. Therefore, when multiple objects located at different distances overlap, it is difficult to separate them.
  • a ToF camera is known as a camera that can obtain depth information.
  • a ToF (Time of Flight) camera emits infrared light using a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains a ToF image by converting the flight time into distance information. It is.
  • FIG. 1 is a diagram illustrating sensing in fog.
  • the horizontal axis in FIG. 1 represents the distance from the ToF camera.
  • FIG. 1 shows, from top to bottom, the reflection intensity from fog, the reflection intensity from an object, and the pixel value of one pixel of a range image.
  • the pixel value of the image sensor is determined by the sum of the light reflected from the fog and the light reflected from the object. Since light is attenuated over a longer propagation distance, the intensity of reflected light from fog is higher in the range closest to the ToF camera and lower in the farther range.
  • the pixel values of the corresponding range image SIMG i include fog as a noise component, resulting in a decrease in contrast.
  • the fog when the fog is thick, a situation may arise in which the pixel value of the range image SIMG 1 in the range close to the ToF camera is larger than the pixel value of the range image SIMG i in the range RNG i where the object is located.
  • the pixel value in the nearby range is larger than the pixel value in the range where the object exists, the object will be hidden in the fog and become invisible.
  • One exemplary object of the present disclosure is to provide a ToF camera, a vehicular sensing system, and a vehicular lamp that are capable of photographing with reduced effects of fog.
  • An aspect of the present disclosure relates to a ToF camera that divides the field of view into a plurality of ranges in the depth direction and generates a plurality of range images corresponding to the plurality of ranges.
  • the ToF camera includes a lighting device, a multi-tap image sensor, a camera controller, and a processing unit.
  • the illumination device irradiates a visual field with pulsed illumination light.
  • a multi-tap image sensor one pixel has n FD (Floating Diffusion) regions (n ⁇ 2), and each FD region can be exposed at different timings.
  • the camera controller controls the light emission timing of the lighting device and the exposure timing of the image sensor.
  • the arithmetic processing device generates a plurality of range images based on the output of the image sensor.
  • the camera controller (i) sequentially senses over m zones (m ⁇ 2) from the front to the back, with one zone including n consecutive ranges as a unit; (ii) In sensing each zone, the i-th (1 ⁇ i ⁇ n) FD area of the image sensor is exposed to reflected light from the i-th range of the zone.
  • the arithmetic processing unit corrects the pixel value of the i-th (1 ⁇ i ⁇ n) FD area of the j-th (2 ⁇ j ⁇ m) zone using the information obtained in the j-1th zone. Then, a range image of the i-th range of the j-th zone is generated.
  • the influence of fog can be reduced.
  • FIG. 1 is a diagram illustrating sensing in fog.
  • FIG. 2 is a block diagram of the sensing system according to the embodiment.
  • FIG. 3 is a diagram illustrating the basic operation of the ToF camera.
  • FIG. 4A is a diagram illustrating a range image obtained by a ToF camera.
  • FIG. 4B is a diagram illustrating a range image obtained by the ToF camera.
  • FIG. 5 is a diagram illustrating sensing of one zone.
  • FIG. 6 is a diagram illustrating generation of a range image by the arithmetic processing device.
  • FIG. 7 is a diagram illustrating a range image generated by the arithmetic processing device.
  • FIG. 8 is a block diagram of the sensing system.
  • FIG. 9A is a diagram showing a car equipped with a ToF camera.
  • FIG. 9B is a diagram showing a car equipped with a ToF camera.
  • FIG. 10 is a block diagram showing a vehicle lamp including a sensing system.
  • the ToF camera divides the field of view into a plurality of ranges in the depth direction and generates a plurality of range images corresponding to the plurality of ranges.
  • the ToF camera includes a lighting device, a multi-tap image sensor, a camera controller, and a processing unit.
  • the illumination device irradiates a visual field with pulsed illumination light.
  • a multi-tap image sensor one pixel has n FD (Floating Diffusion) regions (n ⁇ 2), and each FD region can be exposed at different timings.
  • the camera controller controls the light emission timing of the lighting device and the exposure timing of the image sensor.
  • the arithmetic processing device generates a plurality of range images based on the output of the image sensor.
  • the camera controller (i) sequentially senses over m zones (m ⁇ 2) from the front to the back, with one zone including n consecutive ranges as a unit; (ii) In sensing each zone, the i-th (1 ⁇ i ⁇ n) FD area of the image sensor is exposed to reflected light from the i-th range of the zone.
  • the arithmetic processing unit corrects the pixel value of the i-th (1 ⁇ i ⁇ n) FD area of the j-th (2 ⁇ j ⁇ m) zone using the information obtained in the j-1th zone. Then, a range image of the i-th range of the j-th zone is generated.
  • zones closer to the ToF camera contain more light reflected from the fog than zones farther away. Since the reflected light from the fog continuously attenuates depending on the distance, it can be said that the influence of the fog in the current sensing target zone is close to the influence of the fog in the previous sensing zone.
  • the fog effect in the current zone is estimated using the sensing results of the previous zone, and the fog is corrected using the estimated fog effect. The impact can be reduced.
  • the processing unit subtracts the pixel value of the n-th FD area of the j-1th zone from the pixel value of the i-th (1 ⁇ i ⁇ n) FD area of the j-th zone. Then, a range image of the i-th range of the j-th zone may be generated.
  • the pixel value of the n-th FD area of the previous zone includes fog information in the range closest to the current zone among the zones. Therefore, by subtracting the pixel value of the n-th FD area of the previous zone from the pixel value of each of the n FD areas of the current zone, the influence of fog can be reduced with a simple calculation.
  • the arithmetic processing device may combine n ⁇ m range images to generate one composite image.
  • each pixel of the composite image may be generated based on the maximum value among corresponding pixels of the n ⁇ m range images.
  • the arithmetic processing unit does not need to perform correction.
  • FIG. 2 is a block diagram of the sensing system 10 according to the embodiment.
  • This sensing system 10 is mounted on a vehicle such as a car or a motorcycle, and detects an object OBJ existing around the vehicle (within the field of view of the sensor).
  • the sensing system 10 mainly includes a ToF camera 100.
  • ToF camera 100 includes an illumination device 110, an image sensor 120, a camera controller 130, and an arithmetic processing unit 140. Imaging by the ToF camera 100 is performed by dividing the field of view into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the illumination device 110 irradiates the front of the vehicle with pulsed illumination light L1 in synchronization with the light emission timing signal S1 given from the camera controller 130. It is preferable that the pulsed illumination light L1 is infrared light. However, the pulse illumination light L1 may be visible light or ultraviolet light having a predetermined wavelength.
  • the image sensor 120 includes a plurality of pixels px, can perform exposure control in synchronization with the exposure timing signal S2 given from the camera controller 130, and generates an image consisting of a plurality of pixels.
  • the image sensor 120 has sensitivity to the same wavelength as the pulsed illumination light L1, and photographs reflected light (return light) L2 reflected by the object OBJ.
  • the camera controller 130 controls the irradiation timing (light emission timing) of the pulsed illumination light L1 by the illumination device 110 and the exposure timing by the image sensor 120.
  • the functions of the camera controller 130 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the camera controller 130 may be a combination of multiple processors and software programs.
  • the hardware processing is implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a controller IC, and an FPGA (Field Programmable Gate Array).
  • the image (range image) SIMG i generated by the image sensor 120 is input to the arithmetic processing unit 140 .
  • the arithmetic processing unit 140 processes a plurality of range images SIMG 1 to SIMG N obtained for a plurality of ranges RNG 1 to RNG N based on the output of the image sensor 120, and generates final output data CAMERAOUT.
  • the output data CAMERAOUT includes a set of multiple range images SIMG 1 to SIMG N.
  • the output data CAMERAOUT can include a normal image NIMG similar to that captured by a normal camera.
  • the arithmetic processing unit 140 may be implemented in the same hardware as the camera controller 130, or may be configured in separate hardware. Alternatively, part or all of the functions of the arithmetic processing unit 140 may be implemented as a processor or digital circuit built into the same module as the image sensor 120.
  • the above is the basic configuration of the ToF camera 100. Next, its operation will be explained.
  • FIG. 3 is a diagram illustrating the basic operation of the ToF camera 100.
  • FIG. 3 shows how the i-th range RNG i is sensed.
  • the lighting device 110 emits light during a light emitting period ⁇ 1 between times t 0 and t 1 in synchronization with the light emitting timing signal S1.
  • the top row shows a ray diagram with time on the horizontal axis and distance on the vertical axis.
  • d MINi be the distance from the ToF camera 100 to the front boundary of range RNG i
  • d MAXi be the distance to the rear boundary of range RNG i .
  • T MINi 2 ⁇ d MINi /c It is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi /c It is.
  • a timing signal S2 is generated. This is one sensing operation.
  • the sensing of the i-th range RNG i can include multiple sets of light emission and exposure.
  • the camera controller 130 repeats the above sensing operation multiple times at a predetermined period ⁇ 2 .
  • the image sensor 120 is capable of multiple exposure, and the FD area (charge accumulation area) of each pixel px is exposed multiple times to multiple times of reflected light obtained as a result of multiple times of pulsed light emission. Generate two range images SIMG.
  • FIG. 4A and 4B are diagrams illustrating range images obtained by the ToF camera 100.
  • an object (pedestrian) OBJ 2 exists in range RNG 2
  • an object (vehicle) OBJ 3 exists in range RNG 3 .
  • FIG. 4B shows a plurality of range images SIMG 1 to SIMG 3 obtained in the situation of FIG. 4A.
  • the image sensor is exposed only to the reflected light from the range RNG 1 , so that no object image is captured in the range image SIMG 1 .
  • the image sensor When photographing the range image SIMG 2 , the image sensor is exposed only to the reflected light from the range RNG 2 , so only the image of the object OBJ 2 appears in the range image SIMG 2 . Similarly, when photographing the range image SIMG 3 , since the image sensor is exposed only to the reflected light from the range RNG 3 , only the image of the object OBJ 3 appears in the range image SIMG 3 . In this way, according to the ToF camera 100, objects can be photographed separately for each range.
  • the image sensor 120 is a multi-tap type, and each pixel has at least n FD regions fd 1 to fd n .
  • the image sensor 120 can control exposure for each FD area fd. That is, n FD areas within a pixel can be exposed at different timings.
  • the camera controller 130 performs sensing as follows by controlling the lighting device 110 and the image sensor 120.
  • Sensing is performed in units of zones. Specifically, sensing is performed sequentially over m zones (m ⁇ 2) from the front to the back.
  • Each zone ZONEj (1 ⁇ j ⁇ m) includes n consecutive ranges RNG j1 to RNG jn .
  • the i-th (1 ⁇ i ⁇ n) FD area fd i of the image sensor 120 is exposed to the reflected light from the i-th range RNG ji of the zone ZONEj.
  • FIG. 5 is a diagram illustrating sensing of one zone.
  • the illumination device 110 Under the control of the camera controller 130, the illumination device 110 repeatedly irradiates the field of view with pulsed illumination light L1, and the image sensor 120 multiple-exposes the FD area fd with the reflected light L2 from the field of view.
  • a high level of L1 indicates emission of pulsed illumination light.
  • high values of fd 1 and fd 2 represent exposure of each FD area.
  • Tp1, Tp2, . . . indicate exposure periods by the FD regions fd 1 , fd 2 .
  • a pixel includes a light receiving element such as a photodiode in addition to a plurality of FD regions. Each FD area is exclusively connected to the light receiving element during its exposure period. Further, Qp 1 , Qp 2 . . . represent the amount of charge in each of the FD regions fd 1 , fd 2 . The exposure timing of the FD areas fd 1 , fd 2 . . . is determined depending on the position of the photographing range.
  • the image sensor 120 is capable of reading a plurality of FD areas fd 1 to fd n only at the same timing.
  • the charges in a plurality of FD regions are reset when reading is performed once.
  • the charge amounts Qp 1 to Qp n of the FD regions fd 1 to fd n are digitized and read out as pixel values.
  • the camera controller 130 sequentially senses from the front zone ZONE1 to the rear zone ZONEm according to a similar sequence.
  • the arithmetic processing unit 140 After the exposure of one zone ZONEj is completed, the arithmetic processing unit 140 has already sensed the pixel value of the i-th (1 ⁇ i ⁇ n) FD area fd i of the j-th (2 ⁇ j ⁇ m) zone ZONEj.
  • a range image SIMG ji of the i-th range RNG ji of the j-th zone ZONEj is generated by performing correction using the information obtained in the j-1th zone ZONEj-1.
  • the processing unit 140 calculates pixel values from the pixel values of the i-th (1 ⁇ i ⁇ n) FD area fd i of the j-th zone ZONEj to the n-th FD area fd n of the j-1th zone. By subtracting the pixel values of , a range image SIMG ji of the i-th range RNG ji of the j-th zone ZONEj is generated. Note that since there is no negative pixel value, if the subtraction result is negative, it can be set to 0.
  • the values of the first FD area fd1 of the first zone ZONE1 are used to correct the values of the FD areas fd1 to fdn . It's okay.
  • FIG. 6 is a diagram illustrating generation of a range image by the arithmetic processing unit 140.
  • the pixel values of taps TAP1 to TAP6 can be corrected using the first pixel value TAP1. Specifically, TAP1 to TAP6 can be corrected by subtracting the value of TAP1. The value of the tap TAP1 after correction is zero, and the values of the other taps TAP2 to TAP6 are negative, but they are also zero in that case.
  • Range images SIMG 11 to SIMG 16 are generated using the corrected values of taps TAP1 to TAP6.
  • the pixel values of taps TAP1 to TAP6 are corrected by subtracting the last tap TAP6 of the previous zone ZONE1. If the value after correction is zero, the value becomes zero. Range images SIMG 21 to SIMG 26 are generated using the corrected values of taps TAP1 to TAP6.
  • the pixel values of taps TAP1 to TAP6 are corrected by subtracting the last tap TAP6 of the previous zone ZONEj-1.
  • the values of the third and fourth taps hardly include the influence of fog, and represent the light reflected from the object.
  • Range images SIMG j1 to SIMG j6 are generated using the corrected values of taps TAP1 to TAP6.
  • FIG. 7 is a diagram illustrating the range image SIMG generated by the arithmetic processing unit 140.
  • FIG. 7 shows a range image SIMG obtained by correction and a range image SIMG obtained when no correction is performed.
  • the normal image NIMG includes information on all objects within the field of view, like an image taken by a general camera.
  • Correction by the arithmetic processing unit 140 may be performed all the time, but if there is no fog, unnecessary calculations will be performed and power will be wasted. Therefore, in a situation where there is no fog, the value of the FD area fd i obtained for each zone ZONEj may be used as it is as the pixel value of the range image SIMG ji without performing correction by the arithmetic processing unit 140.
  • the value of the FD area of a certain j-th zone is corrected using the value of the n-th FD area of the j-1th zone immediately before, but this is not the case.
  • the value of the FD area of the jth zone may be corrected using the values of a plurality of FD areas of the j-1th zone.
  • the correction may be performed using the average value of the values of the n-th and n-1-th FD regions of the j-1-th zone.
  • FIG. 8 is a block diagram of the sensing system 10.
  • the sensing system 10 includes an arithmetic processing unit 40 in addition to the ToF camera 100 described above.
  • This sensing system 10 is an object detection system that is mounted on a vehicle such as a car or a motorcycle and determines the type (also referred to as a category or class) of an object OBJ that exists around the vehicle.
  • the ToF camera 100 generates a plurality of range images SIMG 1 to SIMG N corresponding to the plurality of ranges RNG 1 to RNG N.
  • the output data CAMERAOUT of the ToF camera 100 includes one or both of a plurality of range images SIMG 1 to SIMG N and a normal image NIMG.
  • the arithmetic processing unit 40 is configured to be able to identify the type of object based on the output data CAMERAOUT of the ToF camera 100.
  • the functions of the arithmetic processing device 40 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing device 40 may be a combination of multiple processors and software programs.
  • the hardware processing is implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a controller IC, and an FPGA (Field Programmable Gate Array).
  • the functions of the arithmetic processing unit 40 and the arithmetic processing unit 140 may be implemented in the same processor.
  • FIGS. 9A and 9B are diagrams showing a car 300 equipped with a ToF camera 100. See FIG. 9A.
  • the automobile 300 includes headlamps (lighting equipment) 302L and 302R.
  • the illumination device 110 of the ToF camera 100 may be built into at least one of the left and right headlamps 302L and 302R.
  • the image sensor 120 can be attached to a part of the vehicle, for example, on the back side of the rearview mirror. Alternatively, the image sensor 120 may be provided in the front grill or front bumper.
  • the camera controller 130 may be provided inside the vehicle interior, in the engine room, or built into the headlamps 302L and 302R.
  • the image sensor 120 may be built into either the left or right headlamp 302L, 302R together with the lighting device 110.
  • the lighting device 110 may be provided in a part of the vehicle, such as the back side of the rearview mirror, the front grill, or the front bumper.
  • FIG. 10 is a block diagram showing a vehicle lamp 200 including the sensing system 10.
  • the vehicle lamp 200 constitutes a lamp system 304 together with the vehicle ECU 310.
  • the vehicle lamp 200 includes a lamp side ECU 210 and a lamp unit 220.
  • the lamp unit 220 is a low beam or a high beam, and includes a light source 222, a lighting circuit 224, and an optical system 226. Further, the vehicle lamp 200 is provided with a sensing system 10.
  • Information regarding the object OBJ detected by the sensing system 10 may be used to control light distribution of the vehicle lamp 200.
  • the lamp side ECU 210 generates an appropriate light distribution pattern based on information regarding the type of object OBJ and its position generated by the sensing system 10.
  • the lighting circuit 224 and the optical system 226 operate to obtain the light distribution pattern generated by the lamp side ECU 210.
  • the processing unit 40 of the sensing system 10 may be provided outside the vehicle lamp 200, that is, on the vehicle side.
  • information regarding the object OBJ detected by the sensing system 10 may be transmitted to the vehicle-side ECU 310.
  • Vehicle-side ECU 310 may use this information for automatic driving or driving support.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

マルチタップ型のイメージセンサ（１２０）は、各画素がｎ個（ｎ≧２）のＦＤ（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）領域を有し、ＦＤ領域ごとに異なるタイミングで露光が可能である。カメラコントローラ（１３０）は、（ｉ）連続するｎ個のレンジを含む１ゾーンを単位として、手前から奥に向かってｍ個（ｍ≧２）のゾーンにわたり順にセンシングする。また（ｉｉ）各ゾーンのセンシングにおいて、イメージセンサ（１２０）のｉ番目（１≦ｉ≦ｎ）のＦＤ領域を、当該ゾーンのｉ番目のレンジからの反射光によって露光する。演算処理装置（１４０）は、ｊ番目（２≦ｊ≦ｍ）のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値を、ｊ－１番目のゾーンにおいて得られた情報を利用して補正し、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成する。

Description

ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
　本開示は、ＴｏＦカメラ、車両用センシングシステム、および車両用灯具に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴｏＦカメラが知られている。ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴｏＦ画像を得るものである。
日本国特開２００９－２５７９８１号公報 国際公開ＷＯ２０１７／１１０４１７Ａ１
　視野に霧が存在する場合、ＴｏＦカメラのイメージセンサは、物体からの反射光だけでなく、霧からの反射光を受光する。図１は、霧の中でのセンシングを説明する図である。図１の横軸は、ＴｏＦカメラからの距離を表す。図１には、上から順に、霧からの反射強度と、物体からの反射強度と、レンジ画像のひとつの画素の画素値が示される。
　イメージセンサの画素値は、霧からの反射光と、物体からの反射光の合計で決まる。光は伝搬距離が長いほど減衰するため、霧からの反射光強度は、ＴｏＦカメラに最も近いレンジほど高く、遠いレンジほど低くなる。
　物体が位置するレンジＲＮＧｉに着目すると、対応するレンジ画像ＳＩＭＧｉの画素値は、霧をノイズ成分として含むこととなり、コントラストが低下する。
　また霧が濃い場合、ＴｏＦカメラに近いレンジのレンジ画像ＳＩＭＧ１の画素値が、物体が位置するレンジＲＮＧｉのレンジ画像ＳＩＭＧｉの画素値より大きくなる状況が生じうる。いま、複数のレンジ画像を合成して、一枚の画像（通常画像）を生成することを考える。この場合に、近いレンジの画素値が、物体の存在するレンジの画素値よりも大きいと、物体が霧に埋もれて見えなくなってしまう。
　本開示の例示的な目的のひとつは、霧の影響を低減した撮影が可能なＴｏＦカメラ、車両用センシングシステム、および車両用灯具の提供にある。
　本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のレンジ画像を生成するＴｏＦカメラに関する。ＴｏＦカメラは、照明装置と、マルチタップ型のイメージセンサと、カメラコントローラと、演算処理装置と、を備える。照明装置は、パルス照明光を視野に照射する。マルチタップ型のイメージセンサは、１画素がｎ個（ｎ≧２）のＦＤ（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）領域を有し、ＦＤ領域ごとに異なるタイミングで露光が可能である。カメラコントローラは、照明装置の発光タイミングと、イメージセンサの露光タイミングを制御する。演算処理装置は、イメージセンサの出力にもとづいて、複数のレンジ画像を生成する。カメラコントローラは、照明装置およびイメージセンサを制御することにより、（ｉ）連続するｎ個のレンジを含む１ゾーンを単位として、手前から奥に向かってｍ個（ｍ≧２）のゾーンにわたり順にセンシングし、（ｉｉ）各ゾーンのセンシングにおいて、イメージセンサのｉ番目（１≦ｉ≦ｎ）のＦＤ領域を、当該ゾーンのｉ番目のレンジからの反射光によって露光する。演算処理装置は、ｊ番目（２≦ｊ≦ｍ）のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値を、ｊ－１番目のゾーンにおいて得られた情報を利用して補正し、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成する。
　本開示のある態様によれば、霧の影響を低減できる。
図１は、霧の中でのセンシングを説明する図である。 図２は、実施形態に係るセンシングシステムのブロック図である。 図３は、ＴｏＦカメラの基本動作を説明する図である。 図４Ａは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。 図４Ｂは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。 図５は、１ゾーンのセンシングを説明する図である。 図６は、演算処理装置によるレンジ画像の生成を説明する図である。 図７は、演算処理装置により生成されるレンジ画像を説明する図である。 図８は、センシングシステムのブロック図である。 図９Ａは、ＴｏＦカメラを備える自動車を示す図である。 図９Ｂは、ＴｏＦカメラを備える自動車を示す図である。 図１０は、センシングシステムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態または複数の実施形態を指すものとして用いる場合がある。実施形態は、実施例や変形例を含む。
　一実施形態に係るＴｏＦカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のレンジ画像を生成する。ＴｏＦカメラは、照明装置と、マルチタップ型のイメージセンサと、カメラコントローラと、演算処理装置と、を備える。照明装置は、パルス照明光を視野に照射する。マルチタップ型のイメージセンサは、１画素がｎ個（ｎ≧２）のＦＤ（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）領域を有し、ＦＤ領域ごとに異なるタイミングで露光が可能である。カメラコントローラは、照明装置の発光タイミングと、イメージセンサの露光タイミングを制御する。演算処理装置は、イメージセンサの出力にもとづいて、複数のレンジ画像を生成する。カメラコントローラは、照明装置およびイメージセンサを制御することにより、（ｉ）連続するｎ個のレンジを含む１ゾーンを単位として、手前から奥に向かってｍ個（ｍ≧２）のゾーンにわたり順にセンシングし、（ｉｉ）各ゾーンのセンシングにおいて、イメージセンサのｉ番目（１≦ｉ≦ｎ）のＦＤ領域を、当該ゾーンのｉ番目のレンジからの反射光によって露光する。演算処理装置は、ｊ番目（２≦ｊ≦ｍ）のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値を、ｊ－１番目のゾーンにおいて得られた情報を利用して補正し、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成する。
　霧が存在する場合、ゾーン毎に見た場合、ＴｏＦカメラに近いゾーンの方が、遠いゾーンに比べて、霧の反射光を多く含む。霧からの反射光は、距離に応じて連続的に減衰していくため、現在のセンシング対象のゾーンの霧の影響は、ひとつ手前のセンシング済みのゾーンの霧の影響に近いと言える。上記構成では、この性質を利用して、ひとつ手前のゾーンのセンシング結果を利用して、現在のゾーンの霧の影響を推定し、推定した霧の影響を利用した補正を行うことで、霧の影響を低減できる。
　一実施形態において、演算処理装置は、ｊ番目のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値から、ｊ－１番目のゾーンのｎ番目のＦＤ領域の画素値を減算して、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成してもよい。
　ひとつ手前のゾーンのｎ番目のＦＤ領域の画素値は、当該ゾーンのうち、最も現在のゾーンに近いレンジの霧の情報を含んでいる。そこで現在のゾーンのｎ個のＦＤ領域それぞれの画素値から、前のゾーンのｎ番目のＦＤ領域の画素値を減算することにより、簡単な演算で霧の影響を低減できる。
　一実施形態において、演算処理装置は、ｎ×ｍ個のレンジ画像を合成して、１枚の合成画像を生成してもよい。
　一実施形態において、合成画像の各画素は、ｎ×ｍ個のレンジ画像の対応する画素のうち、最大値にもとづいて生成されてもよい。
　一実施形態において、霧が存在しない状況において、演算処理装置において、補正を行わなくてもよい。
（実施形態）
　以下、好適な実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図２は、実施形態に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲（センサの視野内）に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、主としてＴｏＦカメラ１００を備える。ＴｏＦカメラ１００は、照明装置１１０、イメージセンサ１２０、カメラコントローラ１３０、演算処理装置１４０を含む。ＴｏＦカメラ１００による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置１１０は、カメラコントローラ１３０から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方に照射する。パルス照明光Ｌ１は赤外光であることが好ましい。しかしながらパルス照明光Ｌ１は、所定の波長を有する可視光や紫外光でもよい。
　イメージセンサ１２０は、複数の画素ｐｘを含み、カメラコントローラ１３０から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる画像を生成する。イメージセンサ１２０は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　カメラコントローラ１３０は、照明装置１１０によるパルス照明光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ１２０による露光のタイミングを制御する。カメラコントローラ１３０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なおカメラコントローラ１３０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やコントローラＩＣ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアで実装される。
　イメージセンサ１２０により生成された画像（レンジ画像）ＳＩＭＧｉは、演算処理装置１４０に入力される。演算処理装置１４０は、イメージセンサ１２０の出力にもとづいて、複数のレンジＲＮＧ１～ＲＮＧＮについて得られる複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮを処理し、最終的な出力データＣＡＭＥＲＡＯＵＴを生成する。たとえば出力データＣＡＭＥＲＡＯＵＴは複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮのセットを含む。さらに本実施形態において、出力データＣＡＭＥＲＡＯＵＴは、通常のカメラで撮影したものと同様な通常画像ＮＩＭＧを含むことができる。
　演算処理装置１４０は、カメラコントローラ１３０と同じハードウェアに実装してもよいし、別々のハードウェアで構成してもよい。あるいは演算処理装置１４０の機能の一部あるいは全部は、イメージセンサ１２０と同じモジュールに内蔵されたプロセッサやデジタル回路として実装してもよい。
　以上がＴｏＦカメラ１００の基本構成である。続いてその動作を説明する。
　図３は、ＴｏＦカメラ１００の基本動作を説明する図である。図３にはｉ番目のレンジＲＮＧｉをセンシングするときの様子が示される。照明装置１１０は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ＴｏＦカメラ１００から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置１１０を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置１１０を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ１３０は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回のセンシング動作である。
　ｉ番目のレンジＲＮＧｉのセンシングは、発光および露光のセットを複数含むことができる。カメラコントローラ１３０は、所定の周期τ２で、上述のセンシング動作を複数回にわたり繰り返す。
　詳しくは後述するが、イメージセンサ１２０は多重露光が可能であり、画素ｐｘ毎のＦＤ領域（電荷蓄積領域）に、複数回のパルス発光の結果得られる複数回の反射光を多重露光し、１枚のレンジ画像ＳＩＭＧを生成する。
　図４Ａおよび図４Ｂは、ＴｏＦカメラ１００により得られるレンジ画像を説明する図である。図４Ａの例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図４Ｂには、図４Ａの状況で得られる複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧ３が示される。レンジ画像ＳＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ１にはいかなる物体像も写らない。
　レンジ画像ＳＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ２には、物体ＯＢＪ２の像のみが写る。同様にレンジ画像ＳＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ３には、物体ＯＢＪ３の像のみが写る。このようにＴｏＦカメラ１００によれば、レンジ毎に物体を分離して撮影することができる。
　全レンジＲＮＧ１～ＲＮＧＮのセンシングが終了した後に、複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮを合成することにより、通常のカメラで撮影したものと同様の画像（通常画像）を生成することが可能である。しかしこの場合、１枚の通常画像の生成には非常に長い時間を要する。
　図２に戻る。イメージセンサ１２０はマルチタップ型であり、各画素が少なくともｎ個のＦＤ領域ｆｄ１～ｆｄｎを有する。イメージセンサ１２０は、ＦＤ領域ｆｄ毎に、露光制御可能である。すなわち、画素内のｎ個のＦＤ領域は、異なるタイミングで露光可能である。
　カメラコントローラ１３０は、照明装置１１０およびイメージセンサ１２０を制御することにより、以下のようにセンシングを行う。
　（ｉ）センシングは、ゾーンＺＯＮＥを単位として行う。具体的には、手前から奥に向かってｍ個（ｍ≧２）のゾーンにわたり順にセンシングする。各ゾーンＺＯＮＥｊ（１≦ｊ≦ｍ）は、連続するｎ個のレンジＲＮＧｊ１～ＲＮＧｊｎを含む。
　（ｉｉ）各ゾーンＺＯＮＥｊのセンシングにおいて、イメージセンサ１２０のｉ番目（１≦ｉ≦ｎ）のＦＤ領域ｆｄｉを、当該ゾーンＺＯＮＥｊのｉ番目のレンジＲＮＧｊｉからの反射光によって露光する。
　図５は、１ゾーンのセンシングを説明する図である。
　カメラコントローラ１３０による制御により、照明装置１１０は、パルス照明光Ｌ１を視野に繰り返し照射し、イメージセンサ１２０は視野からの反射光Ｌ２によって、ＦＤ領域ｆｄを多重露光する。このタイムチャートにおいて、Ｌ１のハイはパルス照明光の発光を示す。またｆｄ１，ｆｄ２のハイは、各ＦＤ領域の露光を表す。またＴｐ１，Ｔｐ２…は、ＦＤ領域ｆｄ１，ｆｄ２…による露光期間を示す。
　画素は、複数のＦＤ領域に加えて、フォトダイオードなどの受光素子を含む。各ＦＤ領域は、その露光期間において、排他的に受光素子と接続される。またＱｐ１，Ｑｐ２…は、ＦＤ領域ｆｄ１，ｆｄ２…それぞれの電荷量を表す。ＦＤ領域ｆｄ１，ｆｄ２…の露光タイミングは、撮影するレンジの位置に応じて定まる。
　レンジＲＮＧｊ１～ＲＮＧｊｎについて、十分に明るいレンジ画像を得るためには、ＦＤ領域ｆｄ１，ｆｄ２…に十分な電荷量を蓄積する必要がある。そのためには、パルス照明光Ｌ１の発光とＦＤ領域ｆｄ１～ｆｄｎによる露光を、数百回～数十万回のオーダーで繰り返す必要がある。
　この例では、イメージセンサ１２０が、複数のＦＤ領域ｆｄ１～ｆｄｎが、同じタイミングでしか読み出しできないものであるとする。つまり、１回読み出しを行うと複数のＦＤ領域の電荷がリセットされるものであるとする。この場合、時刻ｔ１に１ゾーンのセンシングが完了すると、ＦＤ領域ｆｄ１～ｆｄｎの電荷量Ｑｐ１～Ｑｐｎがデジタル化されて画素値として読み出される。
　カメラコントローラ１３０は、手前のゾーンＺＯＮＥ１～奥のゾーンＺＯＮＥｍに向かって同様のシーケンスによって順にセンシングする。
　図４Ａおよび図４Ｂに戻る。１つのゾーンＺＯＮＥｊの露光完了後、演算処理装置１４０は、ｊ番目（２≦ｊ≦ｍ）のゾーンＺＯＮＥｊのｉ番目（１≦ｉ≦ｎ）のＦＤ領域ｆｄｉの画素値を、既にセンシング済みのｊ－１番目のゾーンＺＯＮＥｊ－１において得られた情報を利用して補正することにより、ｊ番目のゾーンＺＯＮＥｊのｉ番目のレンジＲＮＧｊｉのレンジ画像ＳＩＭＧｊｉを生成する。
　一実施例において、演算処理装置１４０は、ｊ番目のゾーンＺＯＮＥｊのｉ番目（１≦ｉ≦ｎ）のＦＤ領域ｆｄｉの画素値から、ｊ－１番目のゾーンのｎ番目のＦＤ領域ｆｄｎの画素値を減算することにより、ｊ番目のゾーンＺＯＮＥｊのｉ番目のレンジＲＮＧｊｉのレンジ画像ＳＩＭＧｊｉを生成する。なお、画素値に負は存在しないため、減算結果が負となった場合は、０とすることができる。
　１番目のゾーンＺＯＮＥ１については、それより手前のゾーンは存在しないため、１番目のゾーンＺＯＮＥ１の１番目のＦＤ領域ｆｄ１の値を利用して、ＦＤ領域ｆｄ１～ｆｄｎの値を補正してもよい。
　図６は、演算処理装置１４０によるレンジ画像の生成を説明する図である。
　ここではｎ＝６とし、１番目のゾーンＺＯＮＥ１、２番目のゾーンＺＯＮＥ２、物体が存在するｊ番目のゾーンＺＯＮＥｊについて、レンジ画像ＳＩＭＧの生成を説明する。タップＴＡＰ１～ＴＡＰ６は、各ゾーンにおけるＦＤ領域の画素値を表す。尚、画素値のスケールは理解の容易化のため、適宜変更している。 
　１番目のゾーンに関しては、タップＴＡＰ１～ＴＡＰ６の画素値は、先頭の画素値ＴＡＰ１を利用して補正することができる。具体的には、ＴＡＰ１～ＴＡＰ６は、ＴＡＰ１の値を減算することにより補正できる。補正後のタップＴＡＰ１の値はゼロとなり、その他のタップＴＡＰ２～ＴＡＰ６の値は負となるが、その場合もゼロとなる。
　補正後のタップＴＡＰ１～ＴＡＰ６の値を用いて、レンジ画像ＳＩＭＧ１１～ＳＩＭＧ１６が生成される。
　２番目のゾーンＺＯＮＥ２に関しては、タップＴＡＰ１～ＴＡＰ６の画素値は、一つ前のゾーンＺＯＮＥ１の最後のタップＴＡＰ６を減ずることにより補正される。補正後の値がゼロの場合、値はゼロとなる。補正後のタップＴＡＰ１～ＴＡＰ６の値を用いて、レンジ画像ＳＩＭＧ２１～ＳＩＭＧ２６が生成される。
　ｊ番目のゾーンＺＯＮＥｊに関しては、タップＴＡＰ１～ＴＡＰ６の画素値は、一つ前のゾーンＺＯＮＥｊ－１の最後のタップＴＡＰ６を減ずることにより補正される。３番目と４番目のタップの値は、霧の影響をほとんど含んでおらず、物体からの反射光を表すこととなる。補正後のタップＴＡＰ１～ＴＡＰ６の値を用いて、レンジ画像ＳＩＭＧｊ１～ＳＩＭＧｊ６が生成される。
　図７は、演算処理装置１４０により生成されるレンジ画像ＳＩＭＧを説明する図である。図７には、補正により得られるレンジ画像ＳＩＭＧと、補正を行わない場合に得られるレンジ画像ＳＩＭＧが示される。
　補正を行うことにより、レンジ画像ＳＩＭＧｊｉから、霧の影響を好適に除去できることが分かる。
　この補正による効果は、複数のレンジ画像ＳＩＭＧを合成して、１枚の通常画像を生成する際に、一層、顕著となる。
　一実施例において、演算処理装置１４０は、Ｎ＝ｎ×ｍ個のレンジ画像を合成して、１枚の通常画像ＮＩＭＧ（合成画像）を生成する。通常画像ＮＩＭＧは、一般的なカメラによって撮影した画像と同じように、視野内のすべての物体の情報を含んでいる。
　演算処理装置１４０は、Ｎ＝ｎ×ｍ個のレンジ画像の対応する画素同士を比較し、最大値を、通常画素ＮＩＭＧの対応する画素の画素値とする。補正を行わない場合、この合成方法では、レンジ画像ＳＩＭＧ１１の値が最も大きいため、物体の情報が消失してしまう。これに対して、補正によって得られるレンジ画像ＳＩＭＧを合成すると、物体を含むレンジ画像の画素値が最大となるため、霧の影響を除去して、鮮明な通常画像ＮＩＭＧを生成することができる。
　演算処理装置１４０による補正は、常時行ってもよいが、霧が存在していない場合、無駄な演算を行うこととなり、無駄な電力を消費する。そこで、霧が存在しない状況においては、演算処理装置１４０による補正を行わずに、各ゾーンＺＯＮＥｊについて得られたＦＤ領域ｆｄｉの値を、そのままレンジ画像ＳＩＭＧｊｉの画素値としてもよい。
（変形例）
　上述した実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なことが当業者に理解される。以下、こうした変形例について説明する。
　実施形態では、あるｊ番目のゾーンのＦＤ領域の値を、ひとつ手前のｊ－１番目のゾーンのｎ番目のＦＤ領域の値を利用して補正したがその限りでない。たとえば、ｊ番目のゾーンのＦＤ領域の値を、ｊ－１番目のゾーンの複数のＦＤ領域の値を利用して補正してもよい。たとえば、ｊ－１番目のゾーンのｎ番目およびｎ－１番目のＦＤ領域の値の平均値を利用して補正してもよい。
（用途）
　図８は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のＴｏＦカメラ１００に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。
　ＴｏＦカメラ１００により、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮが生成される。ＴｏＦカメラ１００の出力データＣＡＭＥＲＡＯＵＴは、複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮと、通常画像ＮＩＭＧのいずれか、または両方を含む。
　演算処理装置４０は、ＴｏＦカメラ１００の出力データＣＡＭＥＲＡＯＵＴにもとづいて、物体の種類を識別可能に構成される。　
　演算処理装置４０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なお演算処理装置４０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やコントローラＩＣ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアで実装される。演算処理装置４０の機能と、演算処理装置１４０の機能を、同じプロセッサに実装してもよい。
　図９Ａおよび図９Ｂは、ＴｏＦカメラ１００を備える自動車３００を示す図である。図９Ａを参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。
　図９Ａに示すように、ＴｏＦカメラ１００の照明装置１１０は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ１２０は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ１２０は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ１３０は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。
　図９Ｂに示すように、イメージセンサ１２０は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置１１０とともに内蔵してもよい。
　照明装置１１０を、車両の一部、たとえばルームミラーの裏側や、フロントグリル、フロントバンパーに設けてもよい。
　図１０は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームあるいはハイビームであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。
　センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。
　またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。
　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにさまざまな変形例が存在すること、またそうした変形例も本開示または本発明の範囲に含まれることは当業者に理解されるところである。
　本出願は、２０２２年５月１８日出願の日本特許出願２０２２－８１８４１号に基づくものであり、その内容はここに参照として取り込まれる。

Claims (8)

  1. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のレンジ画像を生成するＴｏＦカメラであって、
    　パルス照明光を前記視野に照射する照明装置と、
    　１画素がｎ個（ｎ≧２）のＦＤ（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）領域を有し、ＦＤ領域ごとに異なるタイミングで露光が可能なマルチタップ型のイメージセンサと、
    　前記照明装置の発光タイミングと、前記イメージセンサの露光タイミングを制御するカメラコントローラと、
    　前記イメージセンサの出力にもとづいて、複数のレンジ画像を生成する演算処理装置と、
    　を備え、
    　前記カメラコントローラは、前記照明装置および前記イメージセンサを制御することにより、（ｉ）連続するｎ個のレンジを含む１ゾーンを単位として、手前から奥に向かってｍ個（ｍ≧２）のゾーンにわたり順にセンシングし、（ｉｉ）各ゾーンのセンシングにおいて、前記イメージセンサのｉ番目（１≦ｉ≦ｎ）のＦＤ領域を、当該ゾーンのｉ番目のレンジからの反射光によって露光し、
    　前記演算処理装置は、ｊ番目（２≦ｊ≦ｍ）のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値を、ｊ－１番目のゾーンにおいて得られた情報を利用して補正し、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成する、ＴｏＦカメラ。
  2. 　前記演算処理装置は、ｊ番目のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値から、ｊ－１番目のゾーンのｎ番目のＦＤ領域の画素値を減算して、ｊ番目のゾーンのｉ番目のレンジのレンジ画像を生成する、請求項１に記載のＴｏＦカメラ。
  3. 　前記演算処理装置は、ｎ×ｍ個のレンジ画像を合成して、１枚の合成画像を生成する、請求項１または２に記載のＴｏＦカメラ。
  4. 　前記合成画像の各画素は、前記ｎ×ｍ個のレンジ画像の対応する画素のうち、最大値にもとづいて生成される、請求項３に記載のＴｏＦカメラ。
  5. 　霧が存在しない状況において、前記演算処理装置は、前記ｊ番目（２≦ｊ≦ｍ）のゾーンのｉ番目（１≦ｉ≦ｎ）のＦＤ領域の画素値の補正を行わない、請求項１または２に記載のＴｏＦカメラ。
  6. 　車両に搭載される、請求項１または２に記載のＴｏＦカメラ。
  7. 　請求項１または２に記載のＴｏＦカメラを備える、車両用センシングシステム。
  8. 　請求項１または２に記載のＴｏＦカメラを備える、車両用灯具。
     
PCT/JP2023/018488 2022-05-18 2023-05-17 ＴｏＦカメラ、車両用センシングシステム、および車両用灯具 WO2023224077A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-081841 2022-05-18
JP2022081841 2022-05-18

Publications (1)

Publication Number Publication Date
WO2023224077A1 true WO2023224077A1 (ja) 2023-11-23

Family

ID=88835656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018488 WO2023224077A1 (ja) 2022-05-18 2023-05-17 ＴｏＦカメラ、車両用センシングシステム、および車両用灯具

Country Status (1)

Country Link
WO (1) WO2023224077A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157227A (ja) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd ３次元画像入力装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010121995A (ja) * 2008-11-18 2010-06-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
WO2017110417A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6485725B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP2020106376A (ja) * 2018-12-27 2020-07-09 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157227A (ja) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd ３次元画像入力装置
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010121995A (ja) * 2008-11-18 2010-06-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
WO2017110417A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6485725B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP2020106376A (ja) * 2018-12-27 2020-07-09 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具

Similar Documents

Publication Publication Date Title
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
JP6766072B2 (ja) 車両用センサおよびそれを備えた車両
WO2017110417A1 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP2005077130A (ja) 物体認識装置
US20220012505A1 (en) Object detection device
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
US11353564B2 (en) Disturbance light identifying apparatus, disturbance light separating apparatus, disturbance light identifying method, and disturbance light separating method
US20230156341A1 (en) Gating camera, sensing system for vehicle, and lighting unit for vehicle
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023189599A1 (ja) 距離画像センサ、および車両用灯具
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020218283A1 (ja) ＴｏＦカメラ、車両用灯具、自動車
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
JP7474759B2 (ja) 車両用灯具
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2021065138A1 (ja) 測距装置および制御方法
WO2023085403A1 (ja) センシングシステム
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
WO2022014417A1 (ja) 車両用灯具、アクティブセンサ用の照明装置、ゲーティングカメラ
WO2023074903A1 (ja) センシングシステムおよび自動車
WO2022239459A1 (ja) 測距装置及び測距システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807678

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024521967

Country of ref document: JP