WO2021166542A1 - 物体検出装置、受光部および物体検出装置の制御方法 - Google Patents
物体検出装置、受光部および物体検出装置の制御方法 Download PDFInfo
- Publication number
- WO2021166542A1 WO2021166542A1 PCT/JP2021/002052 JP2021002052W WO2021166542A1 WO 2021166542 A1 WO2021166542 A1 WO 2021166542A1 JP 2021002052 W JP2021002052 W JP 2021002052W WO 2021166542 A1 WO2021166542 A1 WO 2021166542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light receiving
- light
- object detection
- detection device
- receiving pixel
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
Definitions
- This disclosure relates to a technique for detecting an object used in a vehicle.
- a solid-state image sensor of a distance measuring device that measures the distance to an object using reflected light
- a solid-state image sensor having a pixel portion in which IR pixels and RGB pixels are arranged as an image pickup unit has been proposed (for example,).
- an IR pixel is used to acquire a ranging image
- an RGB pixel is used to acquire a visible light image.
- the first aspect provides an object detection device that scans a detection range to detect an object.
- the object detection device includes a light emitting unit that emits pulse detection light and a light receiving unit having a plurality of light receiving pixel groups, and the plurality of light receiving pixel groups correspond to scanning units of the scanning. Then, it includes a group of reflected light receiving pixels that receives reflected light corresponding to the emission of the pulse detection light, and a group of one or a plurality of visible light receiving pixels that receive visible light and correspond to the visible light component.
- the object detection device it is possible to acquire a distance measurement image and a visible light image without deteriorating the distance measurement performance.
- the second aspect provides a control method of an object detection device that scans a detection range to detect an object.
- the pulse detection light is scanned with respect to the detection range, and the pulse detection is performed by the reflected light light receiving pixel group included in the light receiving unit corresponding to the scanning unit of the scanning.
- the reflected light corresponding to the light emission is received, and the visible light is received by one or a plurality of visible light receiving pixel groups corresponding to the visible light component included in the light receiving unit.
- control method of the object detection device it is possible to acquire a distance measurement image and a visible light image without causing deterioration in distance measurement performance.
- the third aspect provides a light receiving unit used in an object detection device that scans a detection range.
- the light receiving unit according to the third aspect includes a plurality of light receiving pixel groups, and the plurality of light receiving pixel groups receive reflection light corresponding to the emission of pulse detection light corresponding to the scanning unit of the scanning. It includes a group of light receiving pixels and one or a plurality of groups of visible light receiving pixels that receive visible light and correspond to visible light components.
- the distance measurement image and the visible light image can be acquired without deteriorating the distance measurement performance.
- the present disclosure can also be realized as a control program of an object detection device or a computer-readable recording medium for recording the program.
- FIG. 1 is an explanatory view showing an example of a vehicle equipped with the object detection device according to the first embodiment.
- FIG. 2 is an explanatory diagram showing a schematic configuration of a rider used in the first embodiment.
- FIG. 3 is an explanatory diagram schematically showing a light receiving element array used in the first embodiment.
- FIG. 4 is an explanatory diagram schematically showing a filter arrangement in the light receiving element array used in the first embodiment.
- FIG. 5 is an explanatory diagram schematically showing another example of the filter arrangement in the light receiving element array used in the first embodiment.
- FIG. 6 is a block diagram showing a functional configuration of the object detection device according to the first embodiment.
- FIG. 7 is a flowchart showing a processing flow of an object detection process executed by the object detection device according to the first embodiment.
- FIG. 8 is an explanatory diagram schematically showing the relationship between the light receiving element array and the scanning position in the first embodiment.
- FIG. 9 is an explanatory diagram schematically showing the relationship between each color component data obtained by the object detection device according to the first embodiment, acquisition timing, and scanning position.
- FIG. 10 is an explanatory diagram schematically showing a light receiving element array used in other embodiments.
- FIG. 11 is an explanatory diagram schematically showing the sensitivity of each color component.
- the object detection device 10 in the vehicle according to the first embodiment is mounted on the vehicle 50 and used.
- the object detection device 10 includes a lidar (Light Detection and Ranging) 200 and a control device 100 that controls the operation of the lidar 200.
- the object detection device 10 is also called a distance measuring device, and can detect the position and characteristics of the object as well as the distance to the object by using the lidar 200.
- the vehicle 50 may be provided with a camera 48 capable of acquiring RGB image data and a driving support control device for executing driving support.
- the object detection device 10 emits pulsed detection light, and emits ambient light different from the detection reflected light or the reflected light of the detection light, which is the reflected light incident in response to the emission of the detection light.
- It includes a rider 200, which is a light measuring unit that receives light, and a control device 100 that controls the light emitting operation and the light receiving operation of the rider 200.
- the rider 200 and the control device 100 may be housed in a physically integrated housing, or may be housed in separate housings.
- the rider 200 includes a light receiving unit 20, a light emitting unit 30, an electric motor 40, a rotation angle sensor 41, and a scanning mirror 42.
- the lidar 200 has a predetermined scanning angle range SR in the horizontal direction HD, and the light emitting unit 30 irradiates and receives the detection light in units of the unit scanning angle SC obtained by dividing the scanning angle range SR into a plurality of angles.
- the unit scanning angle SC defines the resolution of the rider 200 in horizontal HD or the resolution of the distance measurement result obtained by the rider 200, and the resolution increases as the unit scanning angle decreases, that is, as the number of detected reflection points increases. And the resolution is higher.
- the acquisition of the detection point in units of the unit scanning angle SC in the lidar 200 that is, the light emitting and receiving processing is performed when the scanning angle range SR is forward-scanned in one direction or the scanning angle range SR is reciprocated in both directions. Will be executed at the time.
- the light receiving unit 20 includes at least a light receiving element array 22 having a plurality of light receiving pixel groups.
- the light receiving unit 20 further includes a light receiving control unit 21 and a light receiving lens (not shown), and outputs a detection signal indicating a detection point according to the light received by the detection reflected light corresponding to the detection light emitted from the light emitting unit 30.
- the process is executed, and a light receiving process for outputting ambient light image data, which is also called background light image data, is executed in response to the reception of incident ambient light that does not correspond to the emission from the light emitting unit 30.
- the ambient light includes not the detection light from the light emitting unit 30, but the ambient light of the ambient atmosphere brought about by sunlight and illumination light, and the reflected light and scattered light from the surrounding objects irradiated with sunlight and illumination light.
- RGB light can be obtained by using an RGB filter.
- the light receiving element array 22 is a flat plate-shaped optical sensor in which a plurality of light receiving elements 220 are arranged in the vertical and horizontal directions, and for example, a SPAD (Single Photon Avalanche Diode) and other photodiodes are used. It constitutes a light receiving element.
- the term light-receiving pixel may be used as the minimum unit of light-receiving processing, that is, the light-receiving unit corresponding to the detection point, and the light-receiving unit is the light-receiving pixel 221 composed of a single light-receiving element or a plurality of light-receiving units. It means any of the light receiving pixels 221 composed of the elements.
- the number of light receiving pixels that is, the number of light receiving elements constituting the light receiving unit decreases
- the number of light receiving units that is, the number of detection points increases.
- the light receiving pixel 222 composed of eight light receiving elements 220 is used as a light receiving unit, and the first light receiving pixel 221 and the second light receiving light are received from the upper row corresponding to the vertical direction of the scanning angle range SR. It includes pixel 222, a third light receiving pixel 223, and a fourth light receiving pixel 224.
- the light receiving element array 22 has, as a light receiving region corresponding to a unit scanning angle SC, a reflected light receiving pixel group Pir that receives reflected light corresponding to the emission of detection light and a visible light receiving light receiving light that receives visible light. It includes pixel groups Pr, Pg, and Pb. In order to continuously acquire reflected light and visible light according to a unit scanning angle, the reflected light receiving pixel group Pil and the visible light receiving pixel group Pr, Pg, and Pb are adjacent to each other in a direction corresponding to the scanning direction. It is desirable that the rows are arranged, and it is desirable that the plurality of visible light receiving pixel groups Pr, Pg, and Pb are arranged in a direction corresponding to the scanning direction.
- the reflected light receiving pixel group Pil that receives the reflected light used for distance measurement is arranged in the center of the light receiving element array 22 corresponding to the detection axis of the object detection device 10 in order to maintain the detection accuracy. desirable.
- the light receiving area of the reflected light light receiving pixel group Pil that receives IR light having low sensitivity is equal to or larger than the light receiving area of the visible light light receiving pixel groups Pr, Pg, and Pb.
- an IR transmission filter Fir that transmits only infrared light is arranged in the reflected light receiving pixel group Pir.
- the light receiving unit 20 is designed so that the IR reflected light reflected from the object in response to the pulsed IR detection light emitted by the light emitting unit 30 is incident on the reflected light receiving region DLA of the light receiving element array 22.
- the IR reflected light is received by the reflected light receiving pixel group Pil.
- R transmission filter Fr, G transmission filter Fg, and B transmission filter Fb that transmit only red light, green light, and blue light are arranged in the visible light light receiving pixel group Pr, Pg, and Pb, respectively.
- the groups Pr, Pg, and Pb receive ambient light at a timing different from or at the same timing as the irradiation timing of the detection light by the light emitting unit 30.
- the light receiving unit 20 sequentially receives reflected light and ambient light, that is, infrared light, red light, green light, and blue light at different timings or at the same timing during the time window corresponding to the unit scanning angle SC. do.
- each filter Fir, Fr, Fg, Fb is attached to the entire light receiving pixel group Pil, Pr, Pg, Pb, but as shown in FIG. 5, each light receiving pixel
- the corresponding filters Fir, Fr, Fg, and Fb may be arranged for each light receiving element 220 constituting the group Pir, Pr, Pg, and Pb.
- the existing light receiving element array can be used, and the versatility is further improved.
- the light receiving control unit 21 receives the incident light intensity according to the incident light intensity or the incident light intensity for each light receiving pixel group Pil, Pr, Pg, Pb according to the light emission of the pulsed detection light by the light emitting unit 30. Executes a light receiving process that outputs a signal. Specifically, the light receiving control unit 21 uses all the light receiving pixels 221 to 224 and generates a current or a current generated by the light receiving elements constituting the light receiving pixels 221 to 224 for each unit scanning angle SC according to the amount of incident light. The voltage converted from is taken out and output to the control device 100 as an incident light intensity signal.
- the incident light intensity signal may be output to the control device 100 for each unit scanning SC, and when the scanning over the scanning angle range SR is completed, the incident light intensity signal corresponding to the scanning angle range SR is output to the control device 100. May be output to. It can also be said that the incident light intensity signal corresponding to the total number of photons received by the light receiving elements constituting the light receiving pixels 221 to 224 is output to the control device 100.
- the amount of incident light obtained by one light receiving element 220 is small, so the incident intensity signals from eight light receiving elements 220 such as the light receiving pixel 221 are added by an adder (not shown) to obtain S / N. Improvement is planned.
- the distance measuring function unit that executes distance measurement of the detection point by TOF (Time Of Flight) or the like may be integrally provided as a circuit of the light receiving control unit 21, and is executed by the control device 100 as described later. It may be provided as a program.
- the light emitting unit 30 includes a light emitting control unit 31, a light emitting element 32, and a collimator lens, and irradiates the detected light a single time or discretely a plurality of times in units of a unit scanning angle SC.
- the light emitting element 32 is, for example, one or a plurality of infrared laser diodes, and emits pulsed infrared laser light as detection light.
- the light emitting unit 30 may include a single light emitting element in the vertical direction, or may include a plurality of light emitting elements. When a plurality of light emitting elements are provided, the light emitting control unit 31 can switch the light emitting elements that emit light according to the scanning timing.
- the light emission control unit 31 drives the light emitting element by the drive signal of the pulse drive waveform in response to the light emission control signal instructing the light emission of the light emitting element input from the control device 100 for each unit scanning angle to generate infrared laser light. Performs light emission.
- the infrared laser light emitted from the light emitting unit 30 is reflected by the scanning mirror 42 and emitted to the outside of the lidar 200, that is, to a range where detection of an object is desired.
- the motor 40 includes a motor driver (not shown).
- a rotation angle sensor 41 for detecting the rotation angle of the electric motor 40 is arranged in the electric motor 40.
- the motor driver controls the rotation angle of the motor 40 by receiving the input of the rotation angle signal from the rotation angle sensor 41 and receiving the rotation angle instruction signal output by the control device 100 and changing the voltage applied to the motor 40.
- the electric motor 40 is, for example, an ultrasonic motor, a brushless motor, or a brush motor, and is provided with a well-known mechanism for performing reciprocating motion in the scanning angle range SR.
- a scanning mirror 42 is attached to the tip of the output shaft of the electric motor 40.
- the scanning mirror 42 is a reflector that scans the detection light emitted from the light emitting element 32 in the horizontal direction HD, that is, a mirror body, and is driven reciprocally by the electric motor 40 to scan the scanning angle range SR in the horizontal direction HD. Is realized.
- One round-trip scanning by the scanning mirror 42 is called one frame, which is a detection unit of the lidar 200.
- the light emission of the detected light by the light emitting unit 30 may be executed only corresponding to the displacement of the scanning mirror 42 in the forward direction, or may be executed corresponding to the simple reciprocating direction. That is, the object detection by the lidar 200 can be performed in one direction or in both directions in the scanning angle range SR.
- the scanning mirror 42 may be a multifaceted mirror body, for example, a polygon mirror, or a single surface provided with a mechanism for swinging in the vertical direction VD. It may include a mirror body or another single-sided mirror body that swings in the vertical direction VD.
- the scanning mirror 42 may be rotationally driven by the electric motor 40 to perform rotational scanning. In this case, the light emitting / light receiving processing by the light emitting unit 30 and the light receiving unit 20 is executed corresponding to the scanning angle range SR. It should be done.
- a scanning angle range SR of about 60 degrees when a scanning angle range SR of about 60 degrees is realized, a light receiving element array having a width corresponding to the scanning angle range SR is provided without the scanning mirror 42, and rows and columns are sequentially selected. Therefore, the detection of the object, that is, the distance measuring process may be executed.
- the detection light emitted from the light emitting unit 30 is reflected by the scanning mirror 42 and scanned over the horizontal scanning angle range SR in units of the unit scanning angle SC.
- the detected reflected light reflected by the object is reflected by the scanning mirror 42 to the light receiving unit 20, and is incident on the light receiving unit 20 at each unit scanning angle SC.
- the light receiving unit 20 executes the light receiving process in row units according to the light emitting timing by the light emitting unit 30.
- the unit scanning angle SC on which the light receiving process is executed is sequentially incremented, and as a result, scanning for the light receiving process over a desired scanning angle range SR becomes possible.
- the light emitting unit 30 and the light receiving unit 20 may be rotated by the electric motor 40 together with the scanning mirror 42, are separate from the scanning mirror 42, and may not be rotated by the electric motor 40. Further, without the scanning mirror 42, a plurality of light receiving pixels or light receiving element arrays 22 arranged in an array corresponding to the scanning angle range SR are provided, and laser light is sequentially directly irradiated to the outside world to receive light. A configuration may be provided in which the pixels are sequentially switched to directly receive the reflected light.
- the control device 100 includes a central processing unit (CPU) 101 as a calculation unit, a memory 102 as a storage unit, an input / output interface 103 as an input / output unit, and a clock generator (not shown). ..
- the CPU 101, the memory 102, the input / output interface 103, and the clock generator are connected in both directions via the internal bus 104 so as to be able to communicate with each other.
- the memory 102 includes a memory for storing the object detection processing program Pr1 for executing the object detection processing in a non-volatile manner and read-only, for example, a ROM, and a memory for reading and writing by the CPU 101, for example, RAM.
- the CPU 101 that is, the control device 100 functions as an object detection unit by expanding and executing the object detection processing program Pr1 stored in the memory 102 in a readable and writable memory.
- the CPU 101 may be a single CPU, a plurality of CPUs that execute each program, or a multitasking type or multithread type CPU that can execute a plurality of programs at the same time. Is also good.
- the distance measuring process to the object using the light emitting timing and the light receiving timing may be executed by the control device 100 as one process of the object detection process.
- the light receiving control unit 21 constituting the light receiving unit 20, the light emitting control unit 31 forming the light emitting unit 30, the motor 40, and the rotation angle sensor 41 are connected to the input / output interface 103 via control signal lines, respectively.
- a light emission control signal is transmitted to the light emission control unit 31, and a light reception process for acquiring ambient light or a light reception process for detecting an object corresponding to the transmission of the light emission control signal is instructed to the light reception control unit 21.
- the light receiving control signal is transmitted, and the incident light intensity signal indicating the ambient light intensity or the detected reflected light intensity is received from the light receiving control unit 21.
- a rotation angle instruction signal is transmitted to the electric motor 40, and a rotation angle signal is received from the rotation angle sensor 41.
- the object detection process including the acquisition of the ambient light intensity executed by the object detection device 10 according to the first embodiment will be described.
- the processing routine shown in FIG. 7 is performed at a predetermined time interval, for example, several hundred ms, from the start to the stop of the vehicle control system, or from the start switch is turned on until the start switch is turned off. It is executed repeatedly.
- the CPU 101 executes the object detection processing program Pr1
- the processing flow shown in FIG. 7 is executed.
- the CPU 101 transmits a light emission instruction signal to the light emission control unit 31 via the input / output interface 103, causes the light emitting element 32 to emit light, and irradiates the detection light (step S100).
- the CPU 101 transmits a light receiving instruction signal to the light receiving control unit 21, acquires the detected reflected light and the RGB light by the light receiving element array 22 (step S102), and ends this processing routine.
- the detected reflected light is received by the above-mentioned reflected light receiving pixel group Pil, and the RGB light included in the incident light incident as ambient light is received by the above-mentioned visible light receiving pixel group Pr, Pg, Pb.
- the incident light acquired by the light receiving pixel groups Pir, Pr, Pg, and Pb at the same timing is different. It becomes the incident light corresponding to the position.
- the light receiving time T advances from t1 to t4
- the incident light from the position P1 receives the reflected light light receiving pixel group Pil included in the light receiving element array 22.
- Visible light receiving pixel group Pr, visible light receiving pixel group Pg, and visible light receiving pixel group Pb are sequentially incident.
- the incident light reflected from the position P1 is incident on the reflected light receiving pixel group Pil according to the detected light
- the incident light reflected from the position P2 is incident on the reflected light receiving pixel group Pir according to the detected light
- each light receiving time t1 to t4 is a constant time, and the light receiving time T is also a detection time, and can be further replaced with a unit scanning angle SC.
- infrared reflected light IR, red light R, green light G, and blue light B corresponding to the position P1 are sequentially acquired over the light receiving time t1 to t4. That is, it is possible to acquire information on the detected reflected light and the ambient light at the same position or in the same space, for example, detection data indicating the intensity. Since the time interval of each light receiving time T is on the order of ms, it is possible to acquire information on the detected reflected light and the ambient light that can obtain sufficient accuracy in substantially the same timing or in the subsequent processing. ..
- the reflected light receiving pixel group Pil that receives the reflected light corresponding to the emission of the pulse detection light and the visible light corresponding to the scanning unit of scanning. Since the light receiving unit 20 is provided with a plurality of light receiving pixel groups including one or a plurality of visible light light receiving pixel groups Pr, Pg, and Pb corresponding to the visible light component, the distance measurement performance is not deteriorated. , Distance measurement images and visible light images can be acquired. That is, a reflected light receiving pixel group Pir that receives reflected light corresponding to a unit scanning angle that is a scanning unit of scanning, and one or a plurality of visible light receiving pixel groups that receive visible light corresponding to a visible light component.
- Pr, Pg, and Pb are provided, and corresponding light receiving pixel groups are assigned to each color component, so that reduction of light receiving sensitivity can be suppressed or light receiving sensitivity can be improved.
- each color component including the IR component is received for each unit scanning angle, it is possible to obtain an incident light intensity higher than the desired incident light intensity for each color component, and the distance measurement accuracy and the recognition accuracy of the object are accurate. Can be improved.
- it is possible to acquire ambient light containing RGB components in addition to the reflected light it is possible to improve the accuracy of recognition of the object, and driving support using the distance and position between the vehicle 50 and the object. It is possible to improve the execution accuracy of control and automatic operation control.
- the light receiving unit 20 included in the object detection device 10 according to the first embodiment described above corresponds to a unit scanning angle and is visible corresponding to a reflected light receiving pixel group Pil that receives reflected light and a visible light component. Since it includes one or a plurality of visible light receiving pixel groups Pr, Pg, and Pb that receive light, it is easy to accurately accurately perform reflected light, red light, green light, and blue light corresponding to the same position in the detection space of an object. Can be obtained well.
- the light receiving element array 22 has each light receiving pixel group Pir, Pr, Pg, Pb having the same area or the same number of light receiving pixels 221 for each color component, but each light receiving pixel group.
- the light receiving sensitivity of the light receiving pixel 221 in Pil, Pr, Pg, and Pb or the light receiving element 220 constituting the light receiving pixel 221 changes depending on the light wavelength. Therefore, in order to set the uniform sensitivity or the optimum sensitivity for each component of IR and RGB, as shown in FIG. 10, different light receiving areas may be provided depending on the color component. As shown in FIG.
- the G component since the G component has the highest light receiving sensitivity among the RGB component and the IR component, it is possible to obtain the same incident light intensity in a light receiving area smaller than the light receiving area of the other color components.
- the IR component since the IR component has the lowest light receiving sensitivity among the RGB component and the IR component, it is possible to obtain the same incident light intensity by allocating a light receiving area larger than the light receiving area of the other color components.
- the light receiving area of the light receiving pixel group Pg corresponding to the G component is smaller than the light receiving area of the light receiving pixel groups Pr and Pb corresponding to the R component and the B component, and the light receiving pixel group corresponding to the IR component.
- the light receiving area of Pir is larger than the light receiving area of the light receiving pixel groups Pr and Pb corresponding to the R component and the B component.
- the light receiving pixels 221 constituting the light receiving element array 22 can be effectively utilized by setting the light receiving area according to the sensitivity of each color component.
- the allocation of the light receiving area corresponding to each color component in the light receiving element array 22 does not use a part of each light receiving pixel group Pir, Pr, Pg, Pb, or uses each light receiving pixel group Pir, Pr, Pg, Pb. It may be realized by changing the number of the light receiving pixels 221 constituting, or changing the number of the light receiving elements 220 constituting each light receiving pixel 221.
- the light receiving time T that is, the exposure time is constant, but the exposure time in the RGB component, that is, the visible light light receiving pixel groups Pr, Pg, and Pb can be variable.
- the exposure time of the visible light receiving pixel group Pr that acquires red light can be shortened in the evening.
- the exposure time of the reflected light light receiving pixel group Pil and the visible light light receiving pixel group Pr, Pg, and Pb may be appropriately adjusted according to the light receiving sensitivities of the IR component and the RGB component in the light receiving element array 22.
- the excess bias voltage applied to the SPAD used as the light receiving element 220 is constant.
- the sensitivity of SPAD may be adjusted by changing the excess bias voltage.
- the excess bias voltage for the light receiving pixel 221 corresponding to each light receiving pixel group Pil, Pr, Pg, Pb may be changed according to the light receiving sensitivity of each of the IR component and the RGB component. That is, the excess bias voltage value is reduced in order to reduce the light receiving sensitivity, and the excess bias voltage value is increased in order to increase the light receiving sensitivity.
- the filter transmittances of the filters Fir, Fr, Fg, and Fb are not particularly mentioned, and are, for example, the same.
- the filter transmittances of the filters Fir, Fr, Fg, and Fb provided in the light receiving pixel groups Pir, Pr, Pg, and Pb are applied according to the light receiving sensitivities of the IR component and the RGB component. You may. Specifically, when it is desired to reduce the light receiving sensitivity, the transmittance of the filter is lowered, and when it is desired to increase the light receiving sensitivity, the transmittance of the filter is increased.
- the light receiving sensitivity is determined by the IR component and the RGB component, but may be dynamically determined by the change in the actual incident intensity obtained by the detection with respect to the reference incident intensity in the light receiving element array 22. ..
- the object detection device 10 including the light emitting unit 30 has been described, but the technical effect obtained in the above embodiment is used in the object detection device 10 that scans the detection range as the minimum configuration.
- the light receiving element array 22 includes visible light light receiving pixel groups Pr, Pg, and Pb corresponding to the RGB component, but at least one of the R component, the G component, and the B component is visible. It suffices if the light is received.
- the reflected light receiving pixel group Pil and the visible light receiving pixel group Pr form a row group arranged adjacent to each other in the direction corresponding to the scanning direction. For example, only the visible light receiving pixel group Pr that acquires red light may be provided.
- the R component that is, the red light
- the vehicle 50 drives as quickly as possible.
- the reflected light light receiving pixel group Pil and the visible light light receiving pixel group Pr that receives red light are adjacent to each other.
- three visible light receiving pixel groups Pr, Pg, and Pb are provided according to the RGB component, but a single visible light receiving pixel group has a plurality of color components, that is, an R component. , G component, and B component filters may be used for one or more visible light receiving pixel groups.
- the reflected light receiving pixel group Pil and the visible light receiving pixel group Pr, Pg, Pb are arranged adjacent to each other in the direction corresponding to the scanning direction, but are not adjacent to each other. Is also good.
- the reflected light receiving pixel group and the visible light receiving pixel group are provided in the same light receiving element array 22, but the light receiving element array and the visible light receiving pixel group including the reflected light receiving pixel group are provided.
- the light receiving element array including the group may be provided separately. That is, as the visible light receiving pixel group, a general image sensor that acquires an RGB image, for example, a CMOS (complementary MOS) or a CCD (Charge-Coupled Device) may be used. However, even in this case, the image sensor is arranged in the object detection device 10 so that an image at the same position can be acquired in conjunction with the reflected light receiving pixel group for each unit scanning angle.
- CMOS complementary MOS
- CCD Charge-Coupled Device
- the object detection device 10 that executes object detection is realized by executing the object detection processing program Pr1 by the CPU 101, but the hardware is hardened by a pre-programmed integrated circuit or discrete circuit. It may be realized as a piece of clothing. That is, the control unit and its method in each of the above embodiments are provided by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may be realized. Alternatively, the controls and methods thereof described in the present disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
- the controls and methods thereof described in the present disclosure consist of a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
検出範囲を走査して物体を検出する物体検出装置(10)が提供される。物体検出装置(10)は、パルス検出光を発光する発光部(30)と、複数の受光画素群(22)を有する受光部(20)とを備える。複数の受光画素群(22)は、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群(Pir)と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)とを含む。
Description
本願は、その全ての開示が参照によりここに組み込まれる、2020年2月18日に出願された、出願番号2020-024823の日本国特許出願に基づく優先権を主張する。
本開示は車両において用いられる物体を検出するための技術に関する。
反射光を用いて対象物までの距離を測定する測距装置の固体撮像装置として、IR画素およびRGB画素が配列されている画素部を撮像単位として備える固体撮像装置が提案されている(例えば、特開2019-114728号公報)。一般的に、IR画素を用いて測距画像が取得され、RGB画素を用いて可視光画像が取得される。
しかしながら、従来の技術では、IR画素によって占められていた画素部にRGB画素を備えるため、IR画素の配置領域が小さくなり、測距性能が低下するという問題がある。
したがって、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することが求められている。
本開示は、以下の態様として実現することが可能である。
第1の態様は、検出範囲を走査して物体を検出する物体検出装置を提供する。第1の態様に係る物体検出装置は、パルス検出光を発光する発光部と、複数の受光画素群を有する受光部と、を備え、前記複数の受光画素群は、前記走査の走査単位に対応して、前記パルス検出光の発光に応じた反射光を受光する反射光受光画素群と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群とを含む。
第1の態様に係る物体検出装置によれば、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。
第2の態様は、検出範囲を走査して物体を検出する物体検出装置の制御方法を提供する。第2の態様に係る物体検出装置の制御方法は、前記検出範囲に対してパルス検出光を走査し、前記走査の走査単位に対応して、受光部が備える反射光受光画素群によって前記パルス検出光の発光に応じた反射光を受光し、前記受光部が備える可視光成分に対応する1または複数の可視光受光画素群によって可視光を受光する。
第2の態様に係る物体検出装置の制御方法によれば、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。
第3の態様は、検出範囲を走査する物体検出装置に用いられる受光部を提供する。第3の態様に係る受光部は、複数の受光画素群を備え、前記複数の受光画素群は、前記走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群とを含む。
第3の態様に係る受光部によれば、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。なお、本開示は、物体検出装置の制御プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は第1の実施形態に係る物体検出装置が搭載された車両の一例を示す説明図、
図2は第1の実施形態において用いられるライダーの概略構成を示す説明図、
図3は第1の実施形態において用いられる受光素子アレイを模式的に示す説明図、
図4は第1の実施形態において用いられる受光素子アレイにおけるフィルタ配置を模式的に示す説明図、
図5は第1の実施形態において用いられる受光素子アレイにおけるフィルタ配置の他の例を模式的に示す説明図、
図6は第1の実施形態に係る物体検出装置の機能的構成を示すブロック図、
図7は第1の実施形態に係る物体検出装置によって実行される物体検出処理の処理フローを示すフローチャート、
図8は第1の実施形態における受光素子アレイと走査位置との関係を模式的に示す説明図、
図9は第1の実施形態に係る物体検出装置により得られる各色成分データ、取得タイミングおよび走査位置との関係を模式的に示す説明図、
図10はその他の実施形態において用いられる受光素子アレイを模式的に示す説明図、
図11は各色成分の感度を模式的に示す説明図。
本開示に係る物体検出装置、受光部および物体検出装置の制御方法について、いくつかの実施形態に基づいて以下説明する。
第1の実施形態:
図1に示すように、第1の実施形態に係る車両における物体検出装置10は、車両50に搭載されて用いられる。物体検出装置10は、ライダー(Lidar:Light Detection and Ranging)200およびライダー200の動作を制御する制御装置100を備えている。なお、物体検出装置10は、測距装置とも呼ばれ、ライダー200を用いて対象物までの距離の他、対象物の位置や特性が検出され得る。車両50は、この他に、RGB画像データを取得可能なカメラ48、運転支援を実行するために運転支援制御装置を備えていても良い。
図1に示すように、第1の実施形態に係る車両における物体検出装置10は、車両50に搭載されて用いられる。物体検出装置10は、ライダー(Lidar:Light Detection and Ranging)200およびライダー200の動作を制御する制御装置100を備えている。なお、物体検出装置10は、測距装置とも呼ばれ、ライダー200を用いて対象物までの距離の他、対象物の位置や特性が検出され得る。車両50は、この他に、RGB画像データを取得可能なカメラ48、運転支援を実行するために運転支援制御装置を備えていても良い。
図2に示すように、物体検出装置10は、パルス状の検出光を発光し、検出光の発光に応じて入射する反射光である検出反射光または検出光の反射光とは異なる環境光を受光する光測定部であるライダー200と、ライダー200の発光動作や受光動作を制御する制御装置100とを備えている。ライダー200および制御装置100は、物理的に一体の筐体に収容されていても良く、あるいは、別々の筐体に収容されていても良い。ライダー200は、受光部20、発光部30、電動機40、回転角センサ41および走査鏡42を備えている。ライダー200は、水平方向HDに予め定められた走査角範囲SRを有しており、走査角範囲SRを複数の角度に分割した単位走査角SCを単位として発光部30による検出光の照射および受光部20による検出反射光の受光を実行することによって走査角範囲SRの全体にわたる検出反射点の取得が実行され、測距が実現される。単位走査角SCは、水平方向HDにおけるライダー200の分解能またはライダー200により得られる測距結果の解像度を規定し、単位走査角が小さくなるに連れて、すなわち検出反射点数が多くなるに連れて分解能および解像度は高くなる。ライダー200における単位走査角SCを単位とする検出点の取得、すなわち、発光および受光処理は、走査角範囲SRを一方向へ往走査する際、あるいは、走査角範囲SRを双方向へ往復走査する際に実行される。
受光部20は、少なくとも、複数の受光画素群を有する受光素子アレイ22を備えている。受光部は20さらに、受光制御部21、並びに図示しない受光レンズを備え、発光部30から出射される検出光に対応する検出反射光の受光に応じて、検出点を示す検出信号を出力する受光処理を実行し、また、発光部30からの出射に対応せず入射する環境光の受光に応じて、背景光画像データとも呼ばれる環境光画像データを出力する受光処理を実行する。環境光には、発光部30からの検出光ではない、太陽光や照明光によりもたらされる周囲雰囲気の雰囲気光、太陽光や照明光が照射された周囲物体からの反射光や散乱光が含まれ、RGBフィルタを用いることによってRGB光を得ることができる。受光素子アレイ22は、図3に示すように、複数の受光素子220が縦横方向に配列されている平板状の光センサであり、例えば、SPAD(Single Photon Avalanche Diode)、その他のフォトダイオードが各受光素子を構成する。なお、受光処理の最小単位、すなわち検出点に対応する受光単位として受光画素の用語が用いられることがあり、受光単位は、単一の受光素子によって構成される受光画素221、または、複数の受光素子によって構成される受光画素221のいずれかを意味する。受光素子アレイ22において、受光画素、すなわち、受光単位を構成する受光素子数が少なくなるにつれて、受光単位、すなわち、検出点数は増大する。本実施形態においては、例えば、8個の受光素子220から構成される受光画素222を受光単位として、走査角範囲SRの垂直方向に対応する上段から、第1の受光画素221、第2の受光画素222、第3の受光画素223および第4の受光画素224を備えている。
本実施形態において、受光素子アレイ22は、単位走査角SCに対応する受光領域として、検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光する可視光受光画素群Pr、Pg、Pbとを備えている。単位走査角に応じて反射光および可視光を連続的に取得するために反射光受光画素群Pirと、可視光受光画素群Pr、Pg、Pbとは、走査方向に対応する方向に隣接して配列されている列群であることが望ましく、複数の可視光受光画素群Pr、Pg、Pbは、走査方向に対応する方向に配置されていることが望ましい。また、測距に用いられる反射光を受光する反射光受光画素群Pirは、検出精度を維持するために物体検出装置10の検出軸に対応する受光素子アレイ22の中央に配置されていることが望ましい。さらには、感度が低いIR光を受光する反射光受光画素群Pirの受光面積は、可視光受光画素群Pr、Pg、Pbの受光面積以上である。図4に示すように、反射光受光画素群Pirには、赤外光のみを透過するIR透過フィルタFirが配置されている。発光部30によって照射されたパルス状のIR検出光に応じて物体から反射したIR反射光は、受光素子アレイ22における反射光受光領域DLAに入射されるように受光部20は設計されており、IR反射光は、反射光受光画素群Pirによって受光される。可視光受光画素群Pr、Pg、Pbには、それぞれ赤色光、緑色光、青色光のみを透過するR透過フィルタFr、G透過フィルタFg、B透過フィルタFbが配置されており、可視光受光画素群Pr、Pg、Pbは、発光部30による検出光の照射タイミングとは異なるタイミングまたは同じタイミングにて環境光を受光する。この結果、受光部20は、単位走査角SCに対応する時間ウィンドウの間に、反射光および環境光、すなわち、赤外光、赤色光、緑色光および青色光を異なるタイミングまたは同じタイミングで順次受光する。なお、図4の例では、各受光画素群Pir、Pr、Pg、Pbの全体に対して各フィルタFir、Fr、Fg、Fbが装着されているが、図5に示すように、各受光画素群Pir、Pr、Pg、Pbを構成する各受光素子220に対して、対応する各フィルタFir、Fr、Fg、Fbが配置されていても良い。この場合、既存の受光素子アレイを用いることが可能となり、汎用性がより向上する。
受光制御部21は、発光部30によるパルス状の検出光の発光に応じて、各受光画素群Pir、Pr、Pg、Pb毎に、入射された入射光量または入射光強度に応じた入射光強度信号を出力する受光処理を実行する。具体的には、受光制御部21は、全受光画素221~224を用いて単位走査角SC毎に、受光画素221~224を構成する受光素子が入射光量に応じて発生させる電流、または、電流から変換された電圧を取り出して入射光強度信号として制御装置100へ出力する。入射光強度信号は、単位走査各SC毎に制御装置100に対して出力されても良く、走査角範囲SRにわたる走査が完了した所で走査角範囲SRに対応する入射光強度信号が制御装置100に対して出力されても良い。なお、各受光画素221~224を構成する受光素子が受光する光子の合計個数に応じた入射光強度信号が制御装置100へ出力されるということもできる。一般的にSPADでは、1つの受光素子220によって得られる入射光量は少ないので、受光画素221のように8個の受光素子220からの入射強度信号を図示しない加算器により加算してS/Nの向上が図られる。TOF(Time Of Flight)等による検出点の測距を実行する測距機能部は、受光制御部21の回路として、一体に備えられていても良く、後述するように、制御装置100において実行されるプログラムとして備えられても良い。
発光部30は、発光制御部31、発光素子32およびコリメータレンズを備え、単位走査角SC単位で検出光を単一回または離散的に複数回照射する。発光素子32は、例えば、1または複数の赤外レーザダイオードであり、検出光としてパルス状の赤外レーザ光を出射する。発光部30は垂直方向に単一の発光素子を備えていても良く、複数の発光素子を備えていても良い。複数の発光素子が備えられる場合には、発光制御部31によって、走査タイミングに応じて発光する発光素子が切り換えられ得る。発光制御部31は、制御装置100から単位走査角毎に入力される発光素子の発光を指示する発光制御信号に応じて、パルス駆動波形の駆動信号によって発光素子を駆動して赤外レーザ光の発光を実行する。発光部30から照射される赤外レーザ光は、走査鏡42によって反射され、ライダー200の外部、すなわち、対象物の検出が所望される範囲に向けて射出される。
電動機40は、図示しない電動機ドライバを備える。電動機40には、電動機40の回転角度を検出するための回転角センサ41が配置されている。電動機ドライバは、回転角センサ41から回転角信号の入力を受けて制御装置100によって出力される回転角度指示信号を受けて電動機40に対する印加電圧を変更して電動機40の回転角度を制御する。電動機40は、例えば、超音波モータ、ブラシレスモータ、ブラシモータであり、走査角範囲SRにおいて往復動を行うための周知の機構を備えている。電動機40の出力軸の先端部には、走査鏡42が取り付けられている。走査鏡42は、発光素子32から出射された検出光を水平方向HDに走査させる反射体、すなわち、鏡体であり、電動機40によって往復駆動されることによって水平方向HDにおける走査角範囲SRの走査が実現される。なお、走査鏡42による1往復の走査は1フレームと呼ばれ、ライダー200の検出単位である。また、発光部30による検出光の発光は、走査鏡42の往方向への変位にのみに対応して実行されても良く、往復方向の平易に対応して実行されても良い。すなわち、ライダー200による物体検出は、走査角範囲SRにおける一方向、または、双方向において実行され得る。水平方向HDに加えて垂直方向VDへの走査、すなわち垂直方向VDにおける走査位置の変更が実現されても良い。水平方向HDおよび垂直方向VDへの走査を実現するために、走査鏡42は、多面鏡体、例えば、ポリゴンミラーであっても良く、あるいは、垂直方向VDへ揺動される機構を備える単面鏡体、あるいは、垂直方向VDへ揺動される別の単面鏡体を備えていても良い。なお、走査鏡42は、電動機40により回転駆動されて回転走査を実行しても良く、この場合には、走査角範囲SRに対応して発光部30および受光部20による発光・受光処理が実行されれば良い。さらに、例えば、60度程度の走査角範囲SRが実現される場合には、走査鏡42を備えることなく、走査角範囲SRに応じた横幅の受光素子アレイを備え、行および列を順次選択することによって対象物の検出、すなわち、測距処理が実行されても良い。
発光部30から照射された検出光は、走査鏡42によって反射され、単位走査角SCを単位として水平方向の走査角範囲SRにわたり走査される。検出光が物体によって反射された検出反射光は、走査鏡42によって、受光部20へと反射され、単位走査角SC毎に受光部20に入射される。受光部20は、発光部30による発光タイミングに応じて、列単位にて受光処理を実行する。受光処理が実行される単位走査角SCは、順次インクリメントされ、この結果、所望の走査角範囲SRにわたる受光処理のための走査が可能となる。発光部30および受光部20は走査鏡42と共に電動機40によって回転されても良く、走査鏡42とは別体であり、電動機40によって回転されなくても良い。さらに、走査鏡42が備えられることなく、走査角範囲SRに対応してアレイ状に配置された複数の受光画素または受光素子アレイ22を備え、レーザ光を順次外界に対して直接照射し、受光画素を順次切り換えて反射光を直接受光する構成を備えていても良い。
図6に示すように、制御装置100は、演算部としての中央処理装置(CPU)101、記憶部としてのメモリ102、入出力部としての入出力インタフェース103および図示しないクロック発生器を備えている。CPU101、メモリ102、入出力インタフェース103およびクロック発生器は内部バス104を介して双方向に通信可能に接続されている。メモリ102は、物体検出処理を実行するための物体検出処理プログラムPr1を不揮発的且つ読み出し専用に格納するメモリ、例えばROMと、CPU101による読み書きが可能なメモリ、例えばRAMとを含んでいる。CPU101、すなわち、制御装置100は、メモリ102に格納されている物体検出処理プログラムPr1を読み書き可能なメモリに展開して実行することによって、物体検出部として機能する。なお、CPU101は、単体のCPUであっても良く、各プログラムを実行する複数のCPUであっても良く、あるいは、複数のプログラムを同時実行可能なマルチタスクタイプあるいはマルチスレッドタイプのCPUであっても良い。なお、発光タイミングと受光タイミングとを用いた物体までの測距処理は、受光制御部21において実行される他に、物体検出処理の一処理として、制御装置100によって実行されても良い。
入出力インタフェース103には、受光部20を構成する受光制御部21、発光部30を構成する発光制御部31、電動機40および回転角センサ41がそれぞれ制御信号線を介して接続されている。発光制御部31に対しては発光制御信号が送信され、受光制御部21に対しては環境光取得のための受光処理、あるいは発光制御信号の送信に対応する物体検出のための受光処理を指示する受光制御信号が送信され、受光制御部21からは環境光強度または検出反射光強度を示す入射光強度信号が受信される。電動機40に対しては回転角度指示信号が送信され、回転角センサ41からは回転角信号が受信される。
第1の実施形態に係る物体検出装置10により実行される環境光強度の取得を含む物体検出処理について説明する。図7に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば、数100msにて繰り返して実行される。CPU101が物体検出処理プログラムPr1を実行することによって図7に示す処理フローが実行される。
CPU101は、入出力インタフェース103を介して、発光制御部31に対して発光指示信号を送信し、発光素子32を発光させて検出光を照射する(ステップS100)。CPU101は、受光制御部21に対して受光指示信号を送信し、受光素子アレイ22により検出反射光およびRGB光を取得して(ステップS102)、本処理ルーチンを終了する。検出反射光は、既述の反射光受光画素群Pirによって受光され、環境光として入射する入射光に含まれるRGB光は、既述の可視光受光画素群Pr、Pg、Pbによって受光される。各受光画素群Pir、Pr、Pg、Pbは、水平方向に異なった位置に配置されているため、同一タイミングにおいて各受光画素群Pir、Pr、Pg、Pbによって取得される入射光は、それぞれ異なる位置に対応する入射光となる。例えば、図8に示すように、受光時間Tがt1からt4に進むにつれて、すなわち、走査鏡42の走査に伴い、位置P1からの入射光が、受光素子アレイ22が備える反射光受光画素群Pir、可視光受光画素群Pr、可視光受光画素群Pg、可視光受光画素群Pbに対して順次入射する。T=t1においては、検出光に応じて位置P1から反射した入射光が反射光受光画素群Pirに入射し、T=t2においては、位置P1からの入射光が可視光受光画素群Prに入射し、検出光に応じて位置P2から反射した入射光が反射光受光画素群Pirに入射し、T=t3においては、位置P1およびP2からの入射光が可視光受光画素群Pr、Pgにそれぞれ入射し、検出光に応じて位置P3から反射した入射光が反射光受光画素群Pirに入射し、T=t4においては、位置P1~P3からの入射光が可視光受光画素群Pr、Pg、Pbにそれぞれ入射し、検出光に応じて位置P4から反射した入射光が反射光受光画素群Pirに入射する。図8の例において、各受光時間t1~t4は一定時間であり、また、受光時間Tは、検出時間でもあり、さらに、単位走査角SCと置換することが可能である。
この結果、図9に示すように、位置P1に対応する赤外反射光IR、赤色光R、緑色光G、青色光Bが受光時間t1~t4にかけて順次取得される。すなわち、同一位置、あるいは、同一空間における検出反射光および環境光の情報、例えば、強度を示す検出データを取得することができる。なお、各受光時間Tの時間間隔はmsオーダーであるから、実質的に同一タイミング、あるいは、後段の処理において十分な精度を得ることができる検出反射光および環境光の情報を取得することができる。
以上説明した第1の実施形態に係る物体検出装置10によれば、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群Pr、Pg、Pbとを含む複数の受光画素群を備える受光部20を備えるので、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。すなわち、走査の走査単位である単位走査角に対応して、反射光を受光する反射光受光画素群Pirと、可視光成分に対応して可視光を受光する1または複数の可視光受光画素群Pr、Pg、Pbとが備えられており、また、各色成分について対応する受光画素群が割り当てられており、受光感度の低減を抑制、あるいは、受光感度の向上を図ることができる。この結果、単位走査角毎に、IR成分を含む各色成分が受光されるので、各色成分について所望の入射光強度以上の入射光強度を得ることが可能となり、測距精度や対象物の認識精度を向上させることができる。また、反射光に加えてRGB成分を含む環境光を取得することができるので、対象物の認識の精度を向上させることが可能となり、車両50と対象物との距離や位置を用いた運転支援制御および自動運転制御の実行精度を向上させることができる。
以上説明した第1の実施形態に係る物体検出装置10が備える受光部20は、単位走査角に対応して、反射光を受光する反射光受光画素群Pirと、可視光成分に対応して可視光を受光する1または複数の可視光受光画素群Pr、Pg、Pbとを備えているので、物体の検出空間における同一位置に対応する反射光、赤色光、緑色光および青色光を容易に精度良く取得することができる。
上記の説明においては、受光素子アレイ22は、各色成分に対して同一面積または同一個数の受光画素221を有する各受光画素群Pir、Pr、Pg、Pbを有しているが、各受光画素群Pir、Pr、Pg、Pbにおける受光画素221の受光感度または受光画素221を構成する受光素子220は光波長によって変化する。そこで、IR、RGBの各成分について均一感度または最適感度を設定するために、図10に示すように、色成分に応じて異なる受光面積を備えていても良い。図11に示すようにG成分は、RGB成分およびIR成分の中で最も受光感度が高いので、他の色成分の受光面積よりも小さい受光面積にて同等の入射光強度を得ることができる。一方、IR成分は、RGB成分およびIR成分の中で最も受光感度が低いので、他の色成分の受光面積よりも大きい受光面積を割り当てることで、同等の入射光強度を得ることができる。図10に示す例では、G成分に対応する受光画素群Pgの受光面積は、R成分、B成分に対応する受光画素群Pr、Pbの受光面積よりも小さく、IR成分に対応する受光画素群Pirの受光面積は、R成分、B成分に対応する受光画素群Pr、Pbの受光面積よりも大きい。この結果、各色成分の感度に応じた受光面積を設定することにより、受光素子アレイ22を構成する受光画素221を有効活用することができる。なお、受光素子アレイ22における各色成分に対応する受光面積の割り当ては、各受光画素群Pir、Pr、Pg、Pbの一部を使用しなかったり、各受光画素群Pir、Pr、Pg、Pbを構成する受光画素221の数を変えることや、各受光画素221を構成する受光素子220の数を変えることによって実現されても良い。
上記の説明においては、受光時間T、すなわち、露光時間は一定であったが、RGB成分、すなわち、可視光受光画素群Pr、Pg、Pbにおける露光時間は可変とされ得る。例えば、ホワイトバランスの観点から、夕刻においては、赤色光を取得する可視光受光画素群Prの露光時間を短くすることができる。また、受光素子アレイ22における、IR成分、RGB各成分の受光感度に応じて、反射光受光画素群Pir、可視光受光画素群Pr、Pg、Pbにおける露光時間が適宜調整されても良い。
上記説明においては、受光素子220として用いられるSPADに印加されるエクセスバイアス電圧は一定である。これに対して、エクセスバイアス電圧を変更することによって、SPADの感度が調整されても良い。具体的には、IR成分、RGB各成分の受光感度に応じて、各受光画素群Pir、Pr、Pg、Pbに対応する受光画素221に対するエクセスバイアス電圧が変更されても良い。すなわち、受光感度を低下させるためには、エクセスバイアス電圧値が小さくされ、受光感度を増大させるためにはエクセスバイアス電圧値が大きくされる。
上記説明においては、各フィルタFir、Fr、Fg、Fbのフィルタ透過率について特に言及しておらず、例えば、同一である。これに対して、IR成分、RGB各成分の受光感度に応じて、各受光画素群Pir、Pr、Pg、Pbに備えられている各フィルタFir、Fr、Fg、Fbのフィルタ透過率が適用されても良い。具体的には、受光感度を低下させたい場合にはフィルタの透過率を下げ、受光感度を増大させたい場合にはフィルタの透過率が上げられる。なお、上記説明において、受光感度は、IR成分、RGB成分によって決定されているが、受光素子アレイ22における基準入射強度に対する検出により得られる実際の入射強度の変化によって動的に判定されても良い。
その他の実施形態:
(1)上記実施形態においては、発光部30を備える物体検出装置10について説明したが、上記実施形態において得られる技術的効果は、最小構成として、検出範囲を走査する物体検出装置10に用いられ、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光する可視光受光画素群Pr、Pg、Pbとを含む複数の受光画素群を備える受光部20によっても得ることができる。
(1)上記実施形態においては、発光部30を備える物体検出装置10について説明したが、上記実施形態において得られる技術的効果は、最小構成として、検出範囲を走査する物体検出装置10に用いられ、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光する可視光受光画素群Pr、Pg、Pbとを含む複数の受光画素群を備える受光部20によっても得ることができる。
(2)上記実施形態においては、受光素子アレイ22は、RGB成分に対応する可視光受光画素群Pr、Pg、Pbを備えているが、R成分、G成分およびB成分の少なくともいずれかの可視光が受光されれば良い。この場合、反射光受光画素群Pirと可視光受光画素群Prとは走査の方向に対応する方向に隣接して配列されている列群を構成する。例えば、赤色光を取得する可視光受光画素群Prのみが備えられていても良い。RGB成分のうち、R成分、すなわち、赤色光は、交通信号における赤信号、車両50の制動灯あるいは緊急車両の赤色灯の色に対応しており、車両50においては、可能な限り速やかな運転支援や車両制御が求められるからである。この場合、受光時間のずれを抑制するために、反射光受光画素群Pirと赤色光を受光する可視光受光画素群Prとは隣接していることが望ましい。また、上記実施形態においては、RGB成分に応じて、3つの可視光受光画素群Pr、Pg、Pbを備えているが、単一の可視光受光画素群に複数の色成分、すなわち、R成分、G成分、およびB成分のフィルタを備える1または複数の可視光受光画素群が用いられても良い。この場合には、同一位置に対応する反射光、赤色光、緑色光および青色光の各色成分、特にRGB成分の取得時間のずれを解消することができる。さらに、上記実施形態においては、反射光受光画素群Pirと、可視光受光画素群Pr、Pg、Pbとは、走査方向に対応する方向に隣接して配列されているが、隣接していなくても良い。
(3)上記実施形態においては、反射光受光画素群および可視光受光画素群は、同一の受光素子アレイ22に備えられているが、反射光受光画素群を備える受光素子アレイおよび可視光受光画素群を備える受光素子アレイがそれぞれ別々に備えられていても良い。すなわち、可視光受光画素群としては、RGB画像を取得する一般的な撮像素子、例えば、CMOS(相補型MOS)やCCD(Charge-Coupled Device)が用いられても良い。但し、この場合であっても、撮像素子は、単位走査角毎に反射光受光画素群と連動して同一位置の画像を取得できるように物体検出装置10に配置されている。
(4)上記各実施形態においては、CPU101が物体検出処理プログラムPr1を実行することによって、物体検出を実行する物体検出装置10が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
Claims (11)
- 検出範囲を走査して物体を検出する物体検出装置(10)であって、
パルス検出光を発光する発光部(30)と、
複数の受光画素群(22)を有する受光部(20)と、を備え、
前記複数の受光画素群は、前記走査の走査単位に対応して、前記パルス検出光の発光に応じた反射光を受光する反射光受光画素群(Pir)と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)とを含む、物体検出装置。 - 請求項1に記載の物体検出装置において、
前記複数の可視光受光画素群は、前記走査の方向に対応する方向に配置されている、物体検出装置。 - 請求項1に記載の物体検出装置において、
前記反射光受光画素群と前記可視光受光画素群とは前記走査の方向に対応する方向に隣接して配列されている列群であり、
前記受光部は、前記反射光受光画素群による受光処理と前記可視光受光画素群による受光処理とを実行する、物体検出装置。 - 請求項1から3のいずれか一項に記載の物体検出装置において、
前記反射光受光画素群および前記可視光受光画素群は、受光感度に応じた受光面積を有する、物体検出装置。 - 請求項1から3のいずれか一項に記載の物体検出装置において、
前記受光部は、受光感度に応じて、前記反射光受光画素群および前記可視光受光画素群における受光時間を制御する、物体検出装置。 - 請求項1から3のいずれか一項に記載の物体検出装置において、
前記受光部は、受光感度に応じて、前記反射光受光画素群および前記可視光受光画素群における印加電圧を制御する、物体検出装置。 - 請求項1から6のいずれか一項に記載の物体検出装置において、
前記可視光受光画素群は、R成分、G成分およびB成分の少なくともいずれか一つの可視光成分を受光する、物体検出装置。 - 請求項7に記載の物体検出装置において、
前記可視光受光画素群は、R成分の可視光成分を受光する、物体検出装置。 - 請求項1から8のいずれか一項に記載の物体検出装置において、
前記可視光受光画素群は、前記受光画素の上にフィルタ(Fir、Fr、Fg、Fb)を備えている、物体検出装置。 - 検出範囲を走査して物体を検出する物体検出装置(10)の制御方法であって、
前記検出範囲に対してパルス検出光を走査し、
前記走査の走査単位に対応して、受光部(20)が備える反射光受光画素群(Pir)によって前記パルス検出光の発光に応じた反射光を受光し、前記受光部が備える可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)によって可視光を受光する、物体検出装置の制御方法。 - 検出範囲を走査する物体検出装置に用いられる受光部(20)であって、
複数の受光画素群(22)を備え、
前記複数の受光画素群は、前記走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群(Pir)と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)とを含む、受光部。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180015429.6A CN115136024A (zh) | 2020-02-18 | 2021-01-21 | 物体检测装置、受光部以及物体检测装置的控制方法 |
US17/820,513 US20220390571A1 (en) | 2020-02-18 | 2022-08-17 | Object detection apparatus, receiving unit and control method of object detection apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-024823 | 2020-02-18 | ||
JP2020024823A JP7255513B2 (ja) | 2020-02-18 | 2020-02-18 | 物体検出装置、受光部および物体検出装置の制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/820,513 Continuation US20220390571A1 (en) | 2020-02-18 | 2022-08-17 | Object detection apparatus, receiving unit and control method of object detection apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021166542A1 true WO2021166542A1 (ja) | 2021-08-26 |
Family
ID=77391969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/002052 WO2021166542A1 (ja) | 2020-02-18 | 2021-01-21 | 物体検出装置、受光部および物体検出装置の制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220390571A1 (ja) |
JP (1) | JP7255513B2 (ja) |
CN (1) | CN115136024A (ja) |
WO (1) | WO2021166542A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162386A (ja) * | 2004-12-06 | 2006-06-22 | Canon Inc | 3次元モデル生成装置、3次元モデル生成システム及び3次元モデル生成プログラム |
JP2008157851A (ja) * | 2006-12-26 | 2008-07-10 | Matsushita Electric Ind Co Ltd | カメラモジュール |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
JP2012029130A (ja) * | 2010-07-26 | 2012-02-09 | Konica Minolta Opto Inc | 撮像装置及び画像入力装置 |
WO2015104870A1 (ja) * | 2014-01-08 | 2015-07-16 | 三菱電機株式会社 | 画像生成装置 |
JP2015132546A (ja) * | 2014-01-14 | 2015-07-23 | ソニー株式会社 | 情報処理装置および方法 |
JP2017138199A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
JP2020016654A (ja) * | 2018-07-24 | 2020-01-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5014971B2 (ja) * | 2007-12-19 | 2012-08-29 | ソニーモバイルディスプレイ株式会社 | ディスプレイ装置 |
JP2011243862A (ja) * | 2010-05-20 | 2011-12-01 | Sony Corp | 撮像デバイス及び撮像装置 |
WO2013015145A1 (ja) * | 2011-07-22 | 2013-01-31 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP2013207415A (ja) * | 2012-03-27 | 2013-10-07 | Osaka City Univ | 撮像システム及び撮像方法 |
US11076115B2 (en) * | 2015-04-14 | 2021-07-27 | Sony Corporation | Solid-state imaging apparatus, imaging system, and distance measurement method |
JP7013926B2 (ja) * | 2018-02-23 | 2022-02-01 | 株式会社デンソー | 光学的測距装置およびその方法 |
-
2020
- 2020-02-18 JP JP2020024823A patent/JP7255513B2/ja active Active
-
2021
- 2021-01-21 CN CN202180015429.6A patent/CN115136024A/zh active Pending
- 2021-01-21 WO PCT/JP2021/002052 patent/WO2021166542A1/ja active Application Filing
-
2022
- 2022-08-17 US US17/820,513 patent/US20220390571A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162386A (ja) * | 2004-12-06 | 2006-06-22 | Canon Inc | 3次元モデル生成装置、3次元モデル生成システム及び3次元モデル生成プログラム |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
JP2008157851A (ja) * | 2006-12-26 | 2008-07-10 | Matsushita Electric Ind Co Ltd | カメラモジュール |
JP2012029130A (ja) * | 2010-07-26 | 2012-02-09 | Konica Minolta Opto Inc | 撮像装置及び画像入力装置 |
WO2015104870A1 (ja) * | 2014-01-08 | 2015-07-16 | 三菱電機株式会社 | 画像生成装置 |
JP2015132546A (ja) * | 2014-01-14 | 2015-07-23 | ソニー株式会社 | 情報処理装置および方法 |
JP2017138199A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
JP2020016654A (ja) * | 2018-07-24 | 2020-01-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115136024A (zh) | 2022-09-30 |
JP7255513B2 (ja) | 2023-04-11 |
US20220390571A1 (en) | 2022-12-08 |
JP2021131229A (ja) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412352B2 (en) | Projector apparatus with distance image acquisition device and projection mapping method | |
US20160323562A1 (en) | Time-of-flight depth mapping with flexible scan pattern | |
WO2020145035A1 (ja) | 距離測定装置及び距離測定方法 | |
JP2004245832A (ja) | マルチビーム走査カラー検査装置 | |
US20240012111A1 (en) | Optical distance measuring device | |
JP2024063018A (ja) | 情報処理装置、撮像装置、情報処理方法、及びプログラム | |
WO2021166542A1 (ja) | 物体検出装置、受光部および物体検出装置の制御方法 | |
WO2021181868A1 (ja) | 測距センサ及び距離測定方法 | |
JP2020134182A (ja) | 光測距装置 | |
WO2019021887A1 (ja) | 光レーダ装置 | |
WO2020189062A1 (ja) | 測距装置および測距装置における異常判定方法 | |
WO2021117608A1 (ja) | 物体検出装置および物体検出装置の制御方法 | |
US20230078063A1 (en) | Distance measurement device and distance measurement system | |
US20210239834A1 (en) | Optical ranging apparatus and optical ranging method | |
US20210325539A1 (en) | Object detection device and object detection method | |
US20240083346A1 (en) | Gating camera, vehicle sensing system, and vehicle lamp | |
WO2023013777A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
WO2024116745A1 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
WO2021230018A1 (ja) | 光測距装置 | |
JP7322908B2 (ja) | 光学式検出装置および光学式検出装置における光軸ずれ判定方法 | |
WO2021166523A1 (ja) | 距離測定装置及び距離測定方法 | |
US20230243937A1 (en) | Optical detection device, optical distance measurement device, and non-transitory computer readable medium | |
CN112887628B (zh) | 光探测和测距设备及增加其动态范围的方法 | |
JP2024004276A (ja) | 物体検出装置 | |
CN116964486A (zh) | 门控照相机、车辆用感测系统、车辆用灯具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21756869 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21756869 Country of ref document: EP Kind code of ref document: A1 |