WO2023281824A1 - 受光装置、測距装置及び受光装置の制御方法 - Google Patents

受光装置、測距装置及び受光装置の制御方法 Download PDF

Info

Publication number
WO2023281824A1
WO2023281824A1 PCT/JP2022/010852 JP2022010852W WO2023281824A1 WO 2023281824 A1 WO2023281824 A1 WO 2023281824A1 JP 2022010852 W JP2022010852 W JP 2022010852W WO 2023281824 A1 WO2023281824 A1 WO 2023281824A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
receiving element
light receiving
spad
unit
Prior art date
Application number
PCT/JP2022/010852
Other languages
English (en)
French (fr)
Inventor
拓也 横山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2023533076A priority Critical patent/JPWO2023281824A1/ja
Priority to CN202280035328.XA priority patent/CN117321443A/zh
Priority to DE112022003427.0T priority patent/DE112022003427T5/de
Publication of WO2023281824A1 publication Critical patent/WO2023281824A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Definitions

  • the present disclosure relates to a light receiving device, a distance measuring device, and a control method for the light receiving device.
  • distance measuring devices such as LiDAR (Light Detection and Ranging) that measure the distance to an object, which is a reflector, by emitting laser light to the outside and receiving reflected light.
  • LiDAR Light Detection and Ranging
  • an abnormality of the light emitting element may be detected from a change in the voltage applied to the light emitting element that emits laser light (see, for example, Japanese Unexamined Patent Application Publication No. 2002-100002).
  • the conventional technology has the problem that when a plurality of light emitting elements share an anode terminal or a cathode terminal, it is impossible to detect an abnormality in the light emitting element.
  • the present disclosure proposes a light-receiving device, a distance measuring device, and a control method for the light-receiving device that can detect an abnormality in a light-emitting element when a plurality of light-emitting elements share an anode terminal or a cathode terminal.
  • a light receiving device includes a first light receiving element that receives light emitted by a first light emitting element, and is arranged adjacent to the first light emitting element. a light-receiving portion having a second light-receiving element for receiving light emitted by a second light-emitting element sharing an anode terminal or a cathode terminal with the first light-emitting element while the first light-receiving element emits light; and a control unit that controls the first light receiving element and the second light receiving element so that the first light receiving element and the second light receiving element receive light when the light is received.
  • FIG. 1 is a block diagram showing a schematic configuration example of a ToF sensor as a distance measuring device according to this embodiment
  • FIG. FIG. 3 is a diagram for explaining the optical system of the ToF sensor according to the embodiment
  • It is a block diagram showing an example of a schematic structure of a light sensing portion concerning this embodiment.
  • 1 is a schematic diagram showing a schematic configuration example of an LD array and a SPAD array according to this embodiment
  • FIG. 2 is a circuit diagram showing a schematic configuration example of a SPAD pixel according to the embodiment
  • FIG. 3 is a block diagram showing a more detailed configuration example of a SPAD addition unit according to the embodiment
  • FIG. 4 is a diagram showing a light emission pattern of a light emitting section and a light reception pattern of a light receiving section
  • FIG. 9 is a diagram showing the processing of pattern 2-1 in FIG. 8; It is a figure which shows an example of the selection method of a pattern.
  • FIG. 9 is a diagram showing processing of pattern 2-2 in FIG. 8; It is a figure which shows an example of the selection method of a pattern.
  • FIG. 4 is a diagram showing a light emission pattern of a light emitting section and a light reception pattern of a light receiving section;
  • FIG. 14 is a diagram showing processing of pattern 2-1 in FIG. 13; It is a schematic diagram which shows the example of a schematic structure of an LD array.
  • FIG. 9 is a diagram showing the processing of pattern 2-1 in FIG. 8; It is a figure which shows an example of the selection method of a pattern.
  • FIG. 9 is a diagram showing processing of pattern 2-2 in FIG. 8; It is a figure which shows an example of
  • FIG. 4 is a schematic diagram showing an example of a light receiving pattern in a SPAD array
  • FIG. 4 is a schematic diagram showing an example of a light receiving pattern in a SPAD array
  • 4 is a flowchart showing a processing procedure of overall processing executed by a ToF sensor
  • 4 is a flow chart showing a processing procedure when a failure occurs
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different numbers after the same reference numerals.
  • the same reference numerals are used.
  • FIG. 1 is a block diagram showing a schematic configuration example of a ToF sensor as a distance measuring device according to this embodiment.
  • the ToF sensor 1 includes a control section 11 , a light emitting section 13 , a light receiving section 14 , a computing section 15 and an external interface (I/F) 19 .
  • the control unit 11 , the light receiving unit 14 and the calculation unit 15 are included in the light receiving device 2 .
  • the control unit 11 is composed of an information processing device such as a CPU (Central Processing Unit), for example, and controls each part of the ToF sensor 1 . In addition, the control unit 11 performs control of reading a detection signal from the light receiving unit 14 and measuring the distance.
  • the control unit 11 also has a determination unit 111 that determines whether the light emitting unit 13 is abnormal.
  • the external I/F 19 is, for example, wireless LAN (Local Area Network), wired LAN, CAN (Controller Area Network), LIN (Local Interconnect Network), FlexRay (registered trademark), and other communication networks conforming to arbitrary standards. may be a communication adapter for establishing communication with an external host 80 via the .
  • the host 80 may be, for example, an ECU (Engine Control Unit) mounted on a vehicle when the ToF sensor 1 is mounted on a mobile object such as a vehicle.
  • an autonomous mobile robot such as a home pet robot, a robot vacuum cleaner, an unmanned aircraft, a tracking transport robot, or the like
  • the host 80 controls the autonomous mobile robot. It may be a control device or the like that
  • the light emitting unit 13 includes, as a light source, semiconductor laser diodes, which are a plurality of light emitting elements arranged in a one-dimensional array along the vertical direction.
  • a pulsed laser beam L1 is emitted at a predetermined cycle (also referred to as a light emission cycle). Further, the light emitting unit 13 emits a laser beam L1 having a period of 1 MHz (megahertz) and a duration of 1 ns (nanoseconds), for example.
  • the laser beam L1 emitted from the light emitting unit 13 is reflected by this object 90 and enters the light receiving unit 14 as reflected light L2.
  • the light-receiving unit 14 which will be described later in detail, is arranged in a two-dimensional lattice, for example, and includes SPAD pixels, which are a plurality of light-receiving elements that respectively receive light from a plurality of semiconductor laser diodes. It outputs information (for example, corresponding to the number of detection signals described later) on the number of SPAD pixels (hereinafter referred to as the number of detections) in which incident photons have been detected after 13 light emissions.
  • the light receiving unit 14 detects incident photons at a predetermined sampling period for one light emission of the light emitting unit 13, and outputs the number of detected photons.
  • the calculation unit 15 aggregates the number of detections output from the light receiving unit 14 for each of a plurality of SPAD pixels (e.g., corresponding to one or more macro pixels described later), and based on the pixel values obtained by the aggregation, A histogram is created with the flight time on the horizontal axis and the cumulative pixel value on the vertical axis. For example, the calculation unit 15 repeats the calculation of the number of detections at a predetermined sampling frequency for one light emission of the light emitting unit 13 to obtain a pixel value for multiple times of light emission of the light emitting unit 13. Thus, a histogram is created in which the horizontal axis (bins of the histogram) is the sampling period corresponding to the flight time, and the vertical axis is the cumulative pixel value obtained by accumulating the pixel values obtained in each sampling period.
  • the horizontal axis bins of the histogram
  • the computing unit 15 identifies the time of flight when the cumulative pixel value reaches a peak from the filtered histogram. Based on the specified flight time, the computing unit 15 then calculates the distance from the ToF sensor 1 or the device equipped with it to the object 90 existing within the distance measurement range.
  • the distance information calculated by the calculation unit 15 may be output to the host 80 or the like via the external I/F 19, for example.
  • FIG. 2 is a diagram for explaining the optical system of the ToF sensor according to this embodiment.
  • FIG. 2 shows a so-called scan-type optical system that scans the angle of view of the light receiving section 14 in the horizontal direction.
  • the ToF sensor 1 includes an LD array 131, a collimator lens 132, a half mirror 133, a galvanomirror 135, a light receiving lens 146, and a SPAD array 141 as an optical system.
  • the LD array 131, the collimator lens 132, the half mirror 133 and the galvanomirror 135 are included in the light emitting section 13 in FIG. 1, for example.
  • the light receiving lens 146 and the SPAD array 141 are included in the light receiving section 14 in FIG. 1, for example.
  • the laser light L1 emitted from the LD array 131 is converted by the collimator lens 132 into rectangular parallel light whose cross-sectional intensity spectrum is long in the vertical direction, and then enters the half mirror 133 .
  • the half mirror 133 reflects part of the incident laser beam L1.
  • the laser beam L1 reflected by the half mirror 133 is incident on the galvanomirror 135 .
  • the galvanomirror 135 vibrates in the horizontal direction about a predetermined rotation axis by the drive unit 134 that operates under the control of the control unit 11, for example.
  • the laser beam L1 is horizontally scanned so that the angle of view SR of the laser beam L1 reflected by the galvanomirror 135 reciprocally scans the range AR in the horizontal direction.
  • the driving section 134 and the galvanomirror 135 function as a scanning section that horizontally scans the light emitted by the LD array 131 .
  • a MEMS Micro Electro Mechanical System
  • a micro motor or the like can be used for the drive unit 134 .
  • the laser beam L1 reflected by the galvanometer mirror 135 is reflected by an object 90 existing within the ranging range AR and enters the galvanometer mirror 135 as reflected light L2.
  • Part of the reflected light L2 incident on the galvanomirror 135 is transmitted through the half mirror 133 and incident on the light receiving lens 146, thereby forming an image on a specific SPAD array 142 in the SPAD array 141.
  • FIG. The SPAD array 142 may be the entire SPAD array 141 or a part thereof.
  • FIG. 3 is a block diagram showing a schematic configuration example of a light receiving section according to this embodiment.
  • the light receiving section 14 includes a SPAD array 141, a timing control circuit 143, a drive circuit 144, and an output circuit 145.
  • FIG. 3 is a block diagram showing a schematic configuration example of a light receiving section according to this embodiment.
  • the light receiving section 14 includes a SPAD array 141, a timing control circuit 143, a drive circuit 144, and an output circuit 145.
  • the SPAD array 141 comprises a plurality of SPAD pixels 20 arranged in a two-dimensional lattice.
  • a pixel drive line LD (in the vertical direction in the drawing) is connected for each column, and an output signal line LS (in the horizontal direction in the drawing) is connected for each row.
  • One end of the pixel drive line LD is connected to the output end corresponding to each column of the drive circuit 144, and one end of the output signal line LS is connected to the input end of the output circuit 145 corresponding to each row.
  • all or part of the SPAD array 141 is used to detect the reflected light L2.
  • the area (SPAD array 142) used in the SPAD array 141 is a vertically elongated rectangle that is the same as the image of the reflected light L2 formed on the SPAD array 141 when the entire laser beam L1 is reflected as the reflected light L2. It's okay. However, it is not limited to this, and may be variously modified such as a region larger or smaller than the image of the reflected light L2 formed on the SPAD array 141 .
  • the drive circuit 144 includes a shift register, an address decoder, and the like, and drives each SPAD pixel 20 of the SPAD array 141 simultaneously for all pixels or in units of columns. Therefore, the driving circuit 144 applies at least a quench voltage V_QCH, which will be described later, to each SPAD pixel 20 in the selected column in the SPAD array 141, and a selection control voltage V_SEL, which will be described later, to each SPAD pixel 20 in the selected column. and a circuit to apply. Then, the drive circuit 144 applies the selection control voltage V_SEL to the pixel drive line LD corresponding to the column to be read, thereby selecting the SPAD pixels 20 used for detecting incident photons on a column-by-column basis.
  • V_QCH quench voltage
  • V_SEL selection control voltage
  • a signal (called a detection signal) V_OUT output from each SPAD pixel 20 in a column selectively scanned by the drive circuit 144 is input to the output circuit 145 through each of the output signal lines LS.
  • the output circuit 145 outputs the detection signal V_OUT input from each SPAD pixel 20 to the SPAD adder 40 provided for each macro pixel, which will be described later.
  • the timing control circuit 143 includes a timing generator that generates various timing signals, and controls the drive circuit 144 and the output circuit 145 based on the various timing signals generated by the timing generator.
  • FIG. 4 is a schematic diagram showing a schematic configuration example of the LD array and SPAD array according to this embodiment.
  • the LD array 131 has, for example, a plurality of semiconductor laser diodes LDs 131-1 to 131-8 mounted on a substrate 1310 arranged in a one-dimensional array along the vertical direction. with configuration.
  • the LD array 131 has, for example, LDs 131-1 to 131-8 arranged adjacently in order along the vertical direction.
  • LDs 131-1 to 131-8 each have one anode terminal 1311 to 1318 and one cathode terminal 1319 in common.
  • the LDs 131-1 to 131-8 share one cathode terminal 1319, but the LDs 131-1 to 131-8 may share one anode terminal. Also, in this embodiment, an example in which the LD array 131 has eight LDs will be described, but the number of LDs may be plural.
  • the SPAD array 142 has, for example, a configuration in which a plurality of SPAD pixels 20 are arranged in a two-dimensional lattice.
  • the plurality of SPAD pixels 20 are grouped into a plurality of macro pixels 30 each composed of a predetermined number of SPAD pixels 20 arranged in rows and/or columns.
  • the shape of the area connecting the outer edges of the SPAD pixels 20 positioned at the outermost periphery of each macro pixel 30 has a predetermined shape (for example, a rectangle).
  • the SPAD array 142 is composed of, for example, a plurality of macro pixels 30 arranged in the vertical direction (corresponding to the column direction).
  • the SPAD array 142 is, for example, vertically divided into a plurality of regions (hereinafter referred to as SPAD regions).
  • the SPAD array 142 is divided into eight SPAD regions 142-1 to 142-8 that respectively receive the laser beams emitted by the LDs 131-1 to 131-8.
  • the uppermost SPAD area 142-1 corresponds to, for example, the uppermost 1 ⁇ 8 area of the view angle SR of the SPAD array 142, and receives laser light emitted by the LD 131-1.
  • the SPAD area 142-2 below it corresponds to, for example, the second 1 ⁇ 8 area from the top in the angle of view SR, and receives the laser light emitted by the LD 131-2.
  • the SPAD areas 142-3 to 142-8 correspond to 1/8 areas of the angle of view SR, respectively, and receive the laser beams emitted by the LDs 131-3 to 131-8.
  • FIG. 5 is a circuit diagram showing a schematic configuration example of a SPAD pixel according to this embodiment.
  • the SPAD pixel 20 includes a photodiode 21 as a light receiving element and a readout circuit 22 for detecting incident photons on the photodiode 21 .
  • the photodiode 21 generates an avalanche current when a photon is incident while a reverse bias voltage V_SPAD equal to or higher than the breakdown voltage is applied between its anode and cathode.
  • the readout circuit 22 includes a quench resistor 23 , a digital converter 25 , an inverter 26 , a buffer 27 and a selection transistor 24 .
  • the quench resistor 23 is composed of, for example, an N-type MOSFET (Metal Oxide Semiconductor Field Effect Transistor, hereinafter referred to as an NMOS transistor), its drain is connected to the anode of the photodiode 21, and its source is Grounded.
  • a quench voltage V_QCH which is set in advance to cause the NMOS transistor to act as a quench resistor, is applied to the gate of the NMOS transistor that constitutes the quench resistor 23 from the drive circuit 144 via the pixel drive line LD. .
  • the photodiode 21 is a SPAD.
  • a SPAD is an avalanche photodiode that operates in Geiger mode when a reverse bias voltage greater than or equal to its breakdown voltage is applied between its anode and cathode, and can detect the incidence of a single photon.
  • the digital converter 25 includes a resistor 251 and an NMOS transistor 252.
  • the NMOS transistor 252 has its drain connected to the power supply voltage VDD through the resistor 251 and its source grounded. Also, the voltage at the connection point N1 between the anode of the photodiode 21 and the quench resistor 23 is applied to the gate of the NMOS transistor 252 .
  • the inverter 26 includes a P-type MOSFET (hereinafter referred to as PMOS transistor) 261 and an NMOS transistor 262 .
  • the PMOS transistor 261 has its drain connected to the power supply voltage VDD and its source connected to the drain of the NMOS transistor 262 .
  • the NMOS transistor 262 has its drain connected to the source of the PMOS transistor 261 and its source grounded.
  • the voltage at the connection point N2 between the resistor 251 and the drain of the NMOS transistor 252 is applied to the gate of the PMOS transistor 261 and the gate of the NMOS transistor 262, respectively.
  • the output of inverter 26 is input to buffer 27 .
  • the buffer 27 is a circuit for impedance conversion, and when an output signal is input from the inverter 26, it impedance-converts the input output signal and outputs it as a detection signal V_OUT.
  • the select transistor 24 is, for example, an NMOS transistor whose drain is connected to the source of the NMOS transistor that constitutes the quench resistor 23 and whose source is grounded.
  • the selection transistor 24 is connected to the drive circuit 144, and when the selection control voltage V_SEL from the drive circuit 144 is applied to the gate of the selection transistor 24 through the pixel drive line LD, the off state changes to the on state. .
  • the readout circuit 22 illustrated in FIG. 5 operates, for example, as follows. That is, first, while the selection control voltage V_SEL is applied from the drive circuit 144 to the selection transistor 24 and the selection transistor 24 is in the ON state, the reverse bias voltage V_SPAD equal to or higher than the breakdown voltage is applied to the photodiode 21 . is applied. This permits the photodiode 21 to operate.
  • the selection control voltage V_SEL is not applied from the drive circuit 144 to the selection transistor 24 and the reverse bias voltage V_SPAD is not applied to the photodiode 21 while the selection transistor 24 is in the OFF state, the photodiode 21 operation is prohibited.
  • the buffer 27 outputs a high-level detection signal V_OUT.
  • the voltage applied between the anode and cathode of the photodiode 21 becomes smaller than the breakdown voltage, thereby stopping the avalanche current and causing the voltage at the connection point N1 to drop. Voltage drops. Then, when the voltage at the connection point N1 becomes lower than the ON voltage of the NMOS transistor 252, the NMOS transistor 252 is turned off, and the output of the detection signal V_OUT from the buffer 27 is stopped (low level).
  • each SPAD addition unit 40 is supplied with a detection signal V_OUT representing the number of SPAD pixels 20 (detected number) among the plurality of SPAD pixels 20 forming one macro pixel 30 for which incident photons have been detected. .
  • FIG. 6 is a block diagram showing a more detailed configuration example of the SPAD adder according to this embodiment. Note that the SPAD addition unit 40 may be included in the light receiving unit 14 or may be included in the calculation unit 15 .
  • the SPAD adding section 40 includes, for example, a pulse shaping section 41 and a light receiving number counting section 42.
  • the pulse shaping section 41 shapes the pulse waveform of the detection signal V_OUT input from the SPAD array 141 via the output circuit 145 into a pulse waveform with a time width corresponding to the operation clock of the SPAD adding section 40 .
  • the light-receiving number counting unit 42 counts the detection signal V_OUT input from the corresponding macro pixel 30 in each sampling period, thereby counting the number (detection number) of the SPAD pixels 20 in which incident photons are detected in each sampling period. It counts and outputs this count value as the pixel value of the macro pixel 30 .
  • the sampling period is a period for measuring the time (flight time) from when the light emitting section 13 emits the laser beam L1 until when the incident photons are detected by the light receiving section 14 .
  • a period shorter than the light emission period of the light emitting unit 13 is set as the sampling period. For example, by shortening the sampling period, it is possible to calculate the time of flight of photons emitted from the light emitting unit 13 and reflected by the object 90 with higher time resolution. This means that the distance to the object 90 can be calculated with higher ranging resolution by increasing the sampling frequency.
  • the distance L to the object 90 can be calculated according to the following equation (1).
  • L C ⁇ t/2 (1)
  • the sampling period is 1 ns (nanoseconds). In that case, one sampling period corresponds to 15 cm (centimeter). This indicates that the ranging resolution is 15 cm when the sampling frequency is 1 GHz. If the sampling frequency is doubled to 2 GHz, the sampling period is 0.5 ns (nanoseconds), so one sampling period corresponds to 7.5 cm (centimeters). This indicates that if the sampling frequency is doubled, the ranging resolution can be halved. Thus, by increasing the sampling frequency and shortening the sampling period, it is possible to calculate the distance to the object 90 with higher accuracy.
  • FIG. 7 shows a histogram generated by the calculation unit 15 described above. Specifically, FIG. 7 shows a graph obtained by linearizing a histogram in which the vertical axis is the cumulative pixel value and the horizontal axis is time (flight time). As shown in FIG. 7, when there is an object 90 (see FIG. 1) in the area detected by the ToF sensor 1, a peak P1 corresponding to the object 90, which is a reflector, appears in the histogram. The peak P1 has a peak width close to the pulse width of the laser light L1.
  • FIG. 8 is a diagram showing the light emission pattern of the light emitting section and the light reception pattern of the light receiving section.
  • FIG. 8 shows, from the left, the pattern names, the numbers of the LDs 131-1 to 131-8 required to emit light, the numbers of the SPAD regions 142-1 to 142-8 required to be detected, and the LD 131- Numbers of 1 to 131-8, numbers of SPAD regions 142-1 to 142-8 that detect light in the normal case, locations shorted in the abnormal case, LD 131-1 to 131-8 that emit light in the abnormal case
  • the numbers indicate the numbers of the SPAD regions 142-1 to 142-8 that detect light in the abnormal case.
  • FIG. 9 is a diagram showing the processing of pattern 2-1 in FIG.
  • the area A11 is irradiated with light by the LDs 131-1 to 131-8, and the area A12 is detected by the SPAD areas 142-1 to 142-8.
  • the controller 11 causes the LD 131-2 to emit light based on the LD emission request, and causes the SPAD areas 142-1 and 142-2 to detect light based on the SPAD detection area. In this way, when any one of the LDs 131-1 to 131-8 emits light, the control unit 11 selects the SPAD region for receiving light from the emitted LD and the light from the LD adjacent to the emitted LD.
  • the SPAD areas 142-1 to 142-8 are controlled so that the light-receiving SPAD areas receive light.
  • the LD 131-2 emits light
  • the SPAD area 142-2 detects light
  • the SPAD area 142-1 does not detect light.
  • FIG. 10 is a diagram showing an example of a pattern selection method. As shown in FIG. 10, when the processes of patterns 1, 2-1 to 7-1, 8 are executed as steps 1 to 8, a short circuit occurs at the anode terminals 1311 to 1318 of the LDs 131-1 to 131-8. It is possible to identify whether or not there is a short circuit, and further to identify the location where the short circuit occurs.
  • the total amount of power applied to the LD array 131 does not change between the normal case and the abnormal case, it is not possible to detect a short circuit in the LD array 131 from the voltage value or the like.
  • the anode terminal and the cathode terminal are not shared, and a plurality of light emitting elements each have an anode terminal and a cathode terminal, a short circuit can be detected based on a voltage value or the like. Can not.
  • FIG. 11 is a diagram showing the processing of pattern 2-2 in FIG.
  • the area where the LDs 131-1 to 131-8 irradiate light is A11
  • the area where the SPAD areas 142-1 to 142-8 detect the light is A13.
  • the controller 11 causes the LD 131-2 to emit light based on the LD emission request, and causes the SPAD areas 142-2 and 142-3 to detect light based on the SPAD detection areas.
  • the LD 131-2 emits light
  • the SPAD area 142-2 detects light
  • the SPAD area 142-3 does not detect light.
  • FIG. 12 is a diagram showing an example of a pattern selection method. As shown in FIG. 12, when the processes of patterns 1, 2-2 to 7-2, and 8 are executed as steps 1 to 8, a short circuit occurs at the anode terminals 1311 to 1318 of the LDs 131-1 to 131-8. It is possible to identify whether or not there is a short circuit, and further to identify the location where the short circuit occurs.
  • FIG. 13 is a diagram showing the light emission pattern of the light emitting section and the light reception pattern of the light receiving section. 8, from the left, pattern names, numbers of LDs 131-1 to 131-8 required to emit light, numbers of SPAD regions 142-1 to 142-8 required to detect, normal case number of LD 131-1 to 131-8 that emits light in normal case, number of SPAD region 142-1 to 142-8 that detects light in normal case, short-circuited location in abnormal case, LD 131- that emits light in abnormal case 1 to 131-8, and the numbers of SPAD regions 142-1 to 142-8 that detect light in abnormal cases.
  • FIG. 14 is a diagram showing the processing of pattern 2-1 in FIG.
  • the area A11 is irradiated with light by the LDs 131-1 to 131-8, and the area A14 is detected by the SPAD areas 142-1 to 142-8.
  • the control unit 11 causes the LD 131-2 to emit light based on the LD emission request, and emits light to the SPAD areas 142-1, 142-2, and 142-3 based on the SPAD detection areas. is detected.
  • the LD 131-2 emits light
  • the SPAD area 142-2 detects light
  • the SPAD areas 142-1 and 142-3 does not detect light.
  • Steps 1 to 8 in FIG. 10 or 12 it is identified whether or not a short circuit has occurred in the anode terminals 1311 to 1318 of the LDs 131-1 to 131-8. Furthermore, it is possible to identify the location where the short circuit occurs.
  • FIG. 15 is a schematic diagram showing a schematic configuration example of an LD array.
  • the LD array 131 may have a structure having LDs 131-11 to 131-nm arranged in a two-dimensional lattice.
  • LDs 131-11 to 131-1n adjacent in the horizontal direction (row direction) share one anode terminal 13111.
  • horizontally adjacent n LDs share anode terminals 13112 to 1311m for each row.
  • LDs 131-11 to 131-m1 adjacent in the vertical direction (column direction) share one cathode terminal 13121.
  • vertically adjacent m LDs share cathode terminals 13122 to 1312n for each column.
  • FIG. 16 is a schematic diagram showing an example of a light receiving pattern in a SPAD array.
  • the SPAD array 142 is divided into m regions in the vertical direction and n regions in the horizontal direction, for example.
  • the SPAD array 142 is divided into SPAD regions 142-11 to 142-mn that respectively receive the laser beams emitted by the LDs 131-11 to 131-mn.
  • the area where the LD array 131 irradiates light is A21
  • the area where the SPAD array 142 detects light is A22.
  • the control unit 11 causes the LDs 131-33 that irradiate light to the area A21 to emit light, and based on the SPAD detection area, the SPAD areas 142-32 corresponding to the area A22, the SPAD areas 142-32 142-33 and SPAD regions 142-34 detect light to detect a short circuit between horizontally adjacent anode terminals.
  • short circuits of all anode terminals can be detected.
  • the control unit 11 causes the LDs 131-33 that irradiate light to the area A21 to emit light, and based on the SPAD detection areas, the SPAD areas 142-23 and 142- corresponding to the area A23. 33, and SPAD regions 142-43 to detect a short between vertically adjacent cathode terminals.
  • FIG. 17 is a schematic diagram showing an example of a light receiving pattern in the SPAD array.
  • the control unit 11 causes the LDs 131-33 that irradiate light to the area A21 to emit light based on the LD emission request, and SPAD areas 142-23 corresponding to the area A24 based on the SPAD detection area.
  • FIG. 18 is a flow chart showing the processing procedure of the overall processing executed by the ToF sensor 1. As shown in FIG. 18
  • control unit 11 executes the patterns shown in FIG. 8 in the order shown in FIG. 10 to detect a failure (step S101). Processing when a failure is detected will be described later.
  • the light emitting unit 13 emits laser light L1 by emitting light (step S102).
  • the light receiving unit 14 receives reflected light L2 that is reflected by the object 90 from the laser light L1 (step S103).
  • the calculation unit 15 After that, the calculation unit 15 generates a histogram of cumulative pixel values based on the detection signal output from the light receiving unit 14 (step S104).
  • control unit 11 calculates the distance to the object 90 based on the generated histogram (step S105).
  • control unit 11 outputs the calculated distance to the host 80 (step S106), and ends the process.
  • FIG. 19 is a flow chart showing a processing procedure when a failure occurs. It is assumed that the ToF sensor 1 is installed in a vehicle that is automatically driven.
  • step S101 shown in FIG. 18 when the determination unit 111 determines that the LDs 131-1 to 131-8 are not short-circuited (step S201: No), the control unit 11 continues the automatic operation. (Step S202). In other words, the processing of FIG. 18 continues, and the ToF sensor 1 continues to output the results of distance measurement.
  • step S101 when the determination unit 111 determines that a short-circuit fault has occurred in the LDs 131-1 to 131-8 (step S201: Yes), the control unit 11 can switch from automatic driving to passenger driving. It is determined whether or not it is possible (step S203). Specifically, the control unit 11 informs the passenger whether or not it is possible to switch the driving by means of a display on a display unit such as a car navigation system of the vehicle equipped with the ToF sensor 1 or by voice guidance. A message for selection is notified, and whether or not it is possible to switch from automatic driving to passenger driving is determined according to the passenger's response to the message.
  • the power applied to the LDs 131-1 to 131-8 to emit light will be halved, and the light intensity will become weaker, making it possible to measure distances farther. become unable. Therefore, it is preferable to stop the automatic operation when a failure occurs in the LDs 131-1 to 131-8.
  • control unit 11 determines that the driving can be switched from the automatic driving to the passenger (step S203: Yes). , switch from automatic driving to passenger driving (step S204).
  • step S203 determines that it is impossible to switch the driving from automatic driving to the passenger (step S203: No), the vehicle in which the ToF sensor 1 is mounted is automatically stopped (step S205).
  • the control unit 11 switches the automatic operation to the manual operation, or Control to stop the moving object. As a result, the safety of the vehicle in which the ToF sensor 1 is installed can be ensured when the light emitting unit 13 fails.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), etc. It may also be implemented as a body-mounted device.
  • FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010 .
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an inside information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Prepare.
  • Each control unit has a network I/F for communicating with other control units via a communication network 7010, and communicates with devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I/F for communication is provided. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle equipment I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are shown.
  • Other control units are similarly provided with microcomputers, communication I/Fs, storage units, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 7100 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100 .
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting angle, engine speed or wheel rotation speed is included.
  • Drive system control unit 7100 performs arithmetic processing using signals input from vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 7200 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • Body system control unit 7200 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the driving motor, according to various programs. For example, the battery control unit 7300 receives information such as battery temperature, battery output voltage, or remaining battery capacity from a battery device including a secondary battery 7310 . The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device provided in the battery device.
  • the vehicle exterior information detection unit 7400 detects information outside the vehicle in which the vehicle control system 7000 is installed.
  • the imaging section 7410 and the vehicle exterior information detection section 7420 is connected to the vehicle exterior information detection unit 7400 .
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 includes, for example, an environment sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. ambient information detection sensor.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • These imaging unit 7410 and vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 21 is a diagram showing an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910 , 7912 , 7914 , 7916 , and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 7900 .
  • An image pickup unit 7910 provided in the front nose and an image pickup unit 7918 provided above the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900 .
  • Imaging units 7912 and 7914 provided in the side mirrors mainly acquire side images of the vehicle 7900 .
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900 .
  • An imaging unit 7918 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 21 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d is The imaging range of an imaging unit 7916 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detectors 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and above the windshield of the vehicle interior of the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the exterior information detectors 7920, 7926, and 7930 provided above the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be LIDAR devices, for example.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging section 7410 to capture an image of the exterior of the vehicle, and receives the captured image data.
  • the vehicle exterior information detection unit 7400 also receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device
  • the vehicle exterior information detection unit 7400 emits ultrasonic waves, electromagnetic waves, or the like, and receives reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the vehicle exterior object based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, vehicles, obstacles, signs, characters on the road surface, etc., based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. good too.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410 .
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • the in-vehicle information detection unit 7500 is connected to, for example, a driver state detection section 7510 that detects the state of the driver.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the biometric information of the driver, a microphone that collects sounds in the vehicle interior, or the like.
  • a biosensor is provided, for example, on a seat surface, a steering wheel, or the like, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determine whether the driver is dozing off. You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected sound signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600 .
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, button, microphone, switch or lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input by a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information through gestures.
  • the input section 7800 may include an input control circuit that generates an input signal based on information input by the passenger or the like using the input section 7800 and outputs the signal to the integrated control unit 7600, for example.
  • a passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like. Also, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices existing in the external environment 7750.
  • General-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced) , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi®), Bluetooth®, and the like.
  • General-purpose communication I / F 7620 for example, via a base station or access point, external network (e.g., Internet, cloud network or operator-specific network) equipment (e.g., application server or control server) connected to You may
  • external network e.g., Internet, cloud network or operator-specific network
  • equipment e.g., application server or control server
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle. may be connected with P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol designed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of lower layer IEEE 802.11p and higher layer IEEE 1609, or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) perform V2X communication, which is a concept involving one or more of the communications.
  • the positioning unit 7640 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), performs positioning, and obtains the latitude, longitude, and altitude of the vehicle. Generate location information containing Note that the positioning unit 7640 may specify the current position by exchanging signals with a wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smart phone having a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and acquires information such as the current position, traffic jams, road closures, or required time. Note that the function of the beacon reception unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 is connected via a connection terminal (and cable if necessary) not shown, USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile A wired connection such as High-definition Link) may be established.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile A wired connection such as High-definition Link
  • In-vehicle equipment 7760 may include, for example, at least one of a mobile device or wearable device possessed by a passenger, or an information device carried or attached to a vehicle. In-vehicle equipment 7760 may also include a navigation device that searches for a route to an arbitrary destination. In-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760 .
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010. In-vehicle network I/F 7680 transmits and receives signals and the like according to a predetermined protocol supported by communication network 7010 .
  • the microcomputer 7610 of the integrated control unit 7600 uses at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs on the basis of the information acquired by. For example, the microcomputer 7610 calculates control target values for the driving force generator, steering mechanism, or braking device based on acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. good too.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control may be performed for the purpose of In addition, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby autonomously traveling without depending on the operation of the driver. Cooperative control may be performed for the purpose of driving or the like.
  • ADAS Advanced Driver Assistance System
  • Microcomputer 7610 receives information obtained through at least one of general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including the surrounding information of the current position of the vehicle may be created. Further, based on the acquired information, the microcomputer 7610 may predict dangers such as vehicle collisions, pedestrians approaching or entering closed roads, and generate warning signals.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio/image output unit 7670 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be headphones, a wearable device such as an eyeglass-type display worn by a passenger, or other devices such as a projector or a lamp.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually.
  • the voice output device converts an audio signal including reproduced voice data or acoustic data into an analog signal and outputs the analog signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • an individual control unit may be composed of multiple control units.
  • vehicle control system 7000 may comprise other control units not shown.
  • some or all of the functions that any control unit has may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the ToF sensor 1 according to the present embodiment described using FIG. 1 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium storing such a computer program.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • the ToF sensor 1 in the vehicle control system 7000 described above, the ToF sensor 1 according to this embodiment described using FIG. 1 can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the control unit 11, the calculation unit 15, and the external I/F 19 of the ToF sensor 1 correspond to the microcomputer 7610, the storage unit 7690, and the in-vehicle network I/F 7680 of the integrated control unit 7600.
  • the vehicle control system 7000 may correspond to the host 80 in FIG.
  • ToF sensor 1 described using FIG. 1 may be realized by a plurality of control units of vehicle control system 7000 shown in FIG.
  • the light receiving device 2 includes the light receiving section 14 and the control section 11 .
  • the light receiving section 14 is arranged adjacent to the first light receiving element (eg, SPAD region 142-1) that receives light emitted by the first light emitting element (eg, LD 131-1) and the first light emitting element.
  • a second light-receiving element for example, , (SPAD region 142-2)).
  • the control unit 11 controls the first light receiving element and the second light receiving element so that the first light receiving element and the second light receiving element receive light when the first light receiving element emits light.
  • the present technology can also take the following configuration.
  • a light receiving device When, A light receiving device.
  • the light receiving device comprising: (3) The light receiving device according to (1) or (2) above, wherein the light receiving device is installed on a moving object.
  • the control unit switches the automatic operation to manual operation or stops the moving object when the determination unit determines that the light emitting unit is abnormal while the moving object is traveling in automatic operation.
  • the light-receiving device controls (5)
  • the light-receiving part is a third light-receiving element that receives light emitted by a third light-emitting element that is arranged adjacent to the first light-emitting element and shares an anode terminal or a cathode terminal with the first light-emitting element. having an element,
  • the controller controls the first light receiving element so that the first light receiving element, the second light receiving element, and the third light receiving element receive light when the first light receiving element emits light.
  • the second light receiving element, and the third light receiving element according to any one of (1) to (4).
  • a light-emitting portion having a first light-emitting element and a second light-emitting element disposed adjacent to the first light-emitting element and sharing an anode terminal or a cathode terminal with the first light-emitting element; a light-receiving unit having a first light-receiving element that receives light emitted by the first light-emitting element and a second light-receiving element that receives light emitted by the second light-emitting element; A control unit that controls the first light receiving element and the second light receiving element so that the first light receiving element and the second light receiving element receive light when the first light receiving element emits light.
  • a rangefinder with a (7) a first light-receiving element that receives light emitted by the first light-emitting element; and a second light-receiving element that is arranged adjacent to the first light-emitting element and shares an anode terminal or a cathode terminal with the first light-emitting element.
  • a control method for a light-receiving device comprising: a light-receiving section having a second light-receiving element that receives light emitted by the light-emitting element of; The control unit controls the first light receiving element and the second light receiving element so that the first light receiving element and the second light receiving element receive light when the first light receiving element emits light.
  • a method for controlling a light receiving device comprising: a light-receiving section having a second light-receiving element that receives light emitted by the light-emitting element of; The control unit controls the first light receiving element and the second light receiving element so that the first light receiving element and

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

受光装置は、受光部と、制御部とを備える。受光部は、第1の発光素子が発光した光を受光する第1の受光素子、及び第1の発光素子に隣接して配置されるとともに第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する。制御部は、第1の受光素子が発光した際に、第1の受光素子と第2の受光素子とに受光させるように、第1の受光素子及び第2の受光素子を制御する。

Description

受光装置、測距装置及び受光装置の制御方法
 本開示は、受光装置、測距装置及び受光装置の制御方法に関する。
 従来、LiDAR(Light Detection and Ranging)のように、外部へレーザ光を出射し、反射光を受光することで、反射体である対象物までの距離を測定する測距装置がある。この種の測距装置では、レーザ光を出射する発光素子に印加する電圧値の変化により、発光素子の異常を検知する場合がある(例えば、特許文献1参照)。
特開2017-208195号公報
 しかしながら、従来技術では、複数の発光素子がアノード端子又はカソード端子を共有している場合に、発光素子の異常を検知することができないという課題があった。
 そこで、本開示では、複数の発光素子がアノード端子又はカソード端子を共有している場合に、発光素子の異常を検知することができる受光装置、測距装置及び受光装置の制御方法を提案する。
 上記の課題を解決するために、本開示に係る一形態の受光装置は、第1の発光素子が発光した光を受光する第1の受光素子、及び前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する制御部と、を備える。
本実施形態に係る測距装置としてのToFセンサの概略構成例を示すブロック図である。 本実施形態に係るToFセンサの光学システムを説明するための図である。 本実施形態に係る受光部の概略構成例を示すブロック図である。 本実施形態に係るLDアレイ及びSPADアレイの概略構成例を示す模式図である。 本実施形態に係るSPAD画素の概略構成例を示す回路図である。 本実施形態に係るSPAD加算部のより詳細な構成例を示すブロック図である。 演算部が生成するヒストグラムを示す図である。 発光部の発光パターンと受光部の受光パターンとを示す図である。 図8のパターン2-1の処理を示す図である。 パターンの選択方法の一例を示す図である。 図8のパターン2-2の処理を示す図である。 パターンの選択方法の一例を示す図である。 発光部の発光パターンと受光部の受光パターンとを示す図である。 図13のパターン2-1の処理を示す図である。 LDアレイの概略構成例を示す模式図である。 SPADアレイにおける受光パターンの一例を示す模式図である。 SPADアレイにおける受光パターンの一例を示す模式図である。 ToFセンサが実行する全体処理の処理手順を示すフローチャートである。 故障が発生した場合の処理手順を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
  1.実施形態
   1.1 測距装置(ToFセンサ)
   1.2 光学システム
   1.3 受光部
   1.4 LDアレイ及びSPADアレイ
   1.5 SPAD画素
   1.6 SPAD画素の概略動作例
   1.7 SPAD加算部
   1.8 サンプリング周期
   1.9 ヒストグラム
   1.10 異常検知方法(1)
   1.11 異常検知方法(2)
   1.12 異常検知方法(3)
   1.13 異常検知方法(4)
  2.応用例
  3.まとめ
 1.実施形態
 まず、実施形態について、以下に図面を参照して詳細に説明する。
 1.1 測距装置(ToFセンサ)
 図1は、本実施形態に係る測距装置としてのToFセンサの概略構成例を示すブロック図である。図1に示すように、ToFセンサ1は、制御部11と、発光部13と、受光部14と、演算部15と、外部インタフェース(I/F)19とを備える。制御部11、受光部14及び演算部15は、受光装置2に含まれる。
 制御部11は、例えば、CPU(Central Processing Unit)などの情報処理装置で構成され、ToFセンサ1の各部を制御する。また、制御部11は、受光部14から検出信号を読み出して測距する制御を行う。また、制御部11は、発光部13の異常を判定する判定部111を有する。
 外部I/F19は、例えば、無線LAN(Local Area Network)や有線LANの他、CAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークを介して外部のホスト80と通信を確立するための通信アダプタであってよい。
 ここで、ホスト80は、例えば、ToFセンサ1が自動車等の移動体に実装される場合には、自動車等に搭載されているECU(Engine Control Unit)などであってよい。また、ToFセンサ1が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト80は、その自律移動体を制御する制御装置等であってよい。
 発光部13は、その詳細については後述するが、例えば、鉛直方向に沿って1次元のアレイ状に配列されている複数の発光素子である半導体レーザダイオードを光源として備えており、所定時間幅のパルス状のレーザ光L1を所定周期(発光周期ともいう)で出射する。また、発光部13は、例えば、1MHz(メガヘルツ)の周期で、1ns(ナノ秒)の時間幅のレーザ光L1を出射する。発光部13から出射したレーザ光L1は、例えば、測距範囲内に物体90が存在する場合には、この物体90で反射して、反射光L2として、受光部14に入射する。
 受光部14は、その詳細については後述するが、例えば、2次元格子状に配列されており、複数の半導体レーザダイオードからの光をそれぞれ受光する複数の受光素子であるSPAD画素を備え、発光部13の発光後にフォトンの入射を検出したSPAD画素の数(以下、検出数という)に関する情報(例えば、後述における検出信号の数に相当)を出力する。受光部14は、例えば、発光部13の1回の発光に対し、所定のサンプリング周期でフォトンの入射を検出してその検出数を出力する。
 演算部15は、受光部14から出力された検出数を複数のSPAD画素(例えば、後述する1又は複数のマクロ画素に相当)ごとに集計し、その集計により得られた画素値に基づいて、横軸を飛行時間とし、縦軸を累積画素値としたヒストグラムを作成する。例えば、演算部15は、発光部13の1回の発光に対して所定のサンプリング周波数で検出数を集計して画素値を求めることを、発光部13の複数回の発光に対して繰返し実行することで、横軸(ヒストグラムのビン)を飛行時間に相当するサンプリング周期とし、縦軸を各サンプリング周期で求められた画素値を累積することで得られた累積画素値としたヒストグラムを作成する。
 また、演算部15は、作成したヒストグラムに対して所定のフィルタ処理を施した後、フィルタ処理後のヒストグラムから累積画素値がピークとなる際の飛行時間を特定する。そして、演算部15は、特定した飛行時間に基づいて、ToFセンサ1又はこれを搭載するデバイスから測距範囲内に存在する物体90までの距離を算出する。なお、演算部15で算出された距離の情報は、例えば、外部I/F19を介してホスト80等に出力されてもよい。
 1.2 光学システム
 図2は、本実施形態に係るToFセンサの光学システムを説明するための図である。図2は、受光部14の画角を水平方向に走査する、いわゆるスキャン型の光学システムである。
 図2に示すように、ToFセンサ1は、光学システムとして、LDアレイ131と、コリメータレンズ132と、ハーフミラー133と、ガルバノミラー135と、受光レンズ146と、SPADアレイ141とを備える。LDアレイ131、コリメータレンズ132、ハーフミラー133及びガルバノミラー135は、例えば、図1における発光部13に含まれる。また、受光レンズ146及びSPADアレイ141は、例えば、図1における受光部14に含まれる。
 図2に示す構成において、LDアレイ131から出射したレーザ光L1は、コリメータレンズ132により、断面の強度スペクトルが垂直方向に長い矩形の平行光に変換され、その後、ハーフミラー133に入射する。ハーフミラー133は、入射したレーザ光L1の一部を反射する。ハーフミラー133で反射したレーザ光L1は、ガルバノミラー135に入射する。ガルバノミラー135は、例えば、制御部11からの制御に基づいて動作する駆動部134により、所定の回転軸を振動中心として水平方向に振動する。これにより、ガルバノミラー135で反射したレーザ光L1の画角SRが測距範囲ARを水平方向に往復走査するように、レーザ光L1が水平走査される。換言すると、駆動部134及びガルバノミラー135は、LDアレイ131が発した光を、水平方向に沿って走査する走査部として機能する。なお、駆動部134には、MEMS(Micro Electro Mechanical System)やマイクロモーター等を用いることができる。
 ガルバノミラー135で反射したレーザ光L1は、測距範囲AR内に存在する物体90で反射し、反射光L2としてガルバノミラー135に入射する。ガルバノミラー135に入射した反射光L2の一部は、ハーフミラー133を透過して受光レンズ146に入射し、それにより、SPADアレイ141における特定のSPADアレイ142に結像される。なお、SPADアレイ142は、SPADアレイ141の全体であってもよいし、一部であってもよい。
 1.3 受光部
 図3は、本実施形態に係る受光部の概略構成例を示すブロック図である。図3に示すように、受光部14は、SPADアレイ141と、タイミング制御回路143と、駆動回路144と、出力回路145とを備える。
 SPADアレイ141は、2次元格子状に配列する複数のSPAD画素20を備える。複数のSPAD画素20に対しては、列ごとに画素駆動線LD(図面中の上下方向)が接続され、行ごとに出力信号線LS(図面中の左右方向)が接続される。画素駆動線LDの一端は、駆動回路144の各列に対応した出力端に接続され、出力信号線LSの一端は、出力回路145の各行に対応した入力端に接続される。
 本実施形態では、SPADアレイ141の全部又は一部を使用して、反射光L2を検出する。SPADアレイ141における使用する領域(SPADアレイ142)は、レーザ光L1全体が反射光L2として反射された場合にSPADアレイ141に結像される反射光L2の像と同じ、垂直方向に長い矩形であってよい。ただし、これに限定されず、SPADアレイ141に結像される反射光L2の像よりも大きな領域や小さな領域など、種々変形されてよい。
 駆動回路144は、シフトレジスタやアドレスデコーダなどを含み、SPADアレイ141の各SPAD画素20を、全画素同時や列単位等で駆動する。そこで、駆動回路144は、少なくとも、SPADアレイ141内の選択列における各SPAD画素20に、後述するクエンチ電圧V_QCHを印加する回路と、選択列における各SPAD画素20に、後述する選択制御電圧V_SELを印加する回路とを含む。そして、駆動回路144は、読出し対象の列に対応する画素駆動線LDに選択制御電圧V_SELを印加することで、フォトンの入射を検出するために用いるSPAD画素20を列単位で選択する。
 駆動回路144によって選択走査された列の各SPAD画素20から出力される信号(検出信号という)V_OUTは、出力信号線LSの各々を通して出力回路145に入力される。出力回路145は、各SPAD画素20から入力された検出信号V_OUTを、後述するマクロ画素ごとに設けられたSPAD加算部40へ出力する。
 タイミング制御回路143は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路144及び出力回路145を制御する。
 1.4 LDアレイ及びSPADアレイ
 図4は、本実施形態に係るLDアレイ及びSPADアレイの概略構成例を示す模式図である。図4に示すように、LDアレイ131は、例えば、基板1310上に実装されている複数の半導体レーザダイオードであるLD131-1~131-8が鉛直方向に沿って1次元のアレイ状に配列した構成を備える。換言すると、LDアレイ131は、例えば、鉛直方向に沿って順番に隣接して配置されているLD131-1~131-8を有する。LD131-1~131-8は、それぞれ1つのアノード端子1311~1318を有するとともに、1つのカソード端子1319を共有している。なお、本実施形態では、LD131-1~131-8が1つのカソード端子1319を共有する例を説明するが、LD131-1~131-8が1つのアノード端子を共有していてもよい。また、本実施形態では、LDアレイ131が8個のLDを有する例を説明するが、LDの数は複数であればよい。
 SPADアレイ142は、例えば、複数のSPAD画素20が2次元格子状に配列した構成を備える。複数のSPAD画素20は、行及び/又は列方向に配列する所定数ずつのSPAD画素20で構成された複数のマクロ画素30にグループ化されている。各マクロ画素30の最外周に位置するSPAD画素20の外側の縁を結んだ領域の形状は、所定の形状(例えば、矩形)をなしている。
 SPADアレイ142は、例えば、垂直方向(列方向に相当)に配列する複数のマクロ画素30で構成されている。本実施形態では、SPADアレイ142は、例えば、垂直方向に複数の領域(以下、SPAD領域という)に分割されている。図4に示す例では、SPADアレイ142が、LD131-1~131-8が出射したレーザ光をそれぞれ受光する8つのSPAD領域142-1~142-8に分割されている。最上に位置するSPAD領域142-1は、例えば、SPADアレイ142の画角SRにおける最上の1/8領域に相当し、LD131-1が出射したレーザ光を受光する。同様に、その下のSPAD領域142-2は、例えば、画角SRにおける上から2番目の1/8領域に相当し、LD131-2が出射したレーザ光を受光する。SPAD領域142-3~142-8も同様に、それぞれ画角SRにおける1/8領域に相当し、LD131-3~131-8が出射したレーザ光を受光する。
 1.5 SPAD画素
 図5は、本実施形態に係るSPAD画素の概略構成例を示す回路図である。図5に示すように、SPAD画素20は、受光素子としてのフォトダイオード21と、フォトダイオード21にフォトンが入射したことを検出する読出し回路22とを備える。フォトダイオード21は、そのアノードとカソードとの間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧V_SPADが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。
 読出し回路22は、クエンチ抵抗23と、デジタル変換器25と、インバータ26と、バッファ27と、選択トランジスタ24とを備える。クエンチ抵抗23は、例えば、N型のMOSFET(Metal Oxide Semiconductor Field Effect Transistor。以下、NMOSトランジスタという)で構成され、そのドレインがフォトダイオード21のアノードに接続され、そのソースが選択トランジスタ24を介して接地されている。また、クエンチ抵抗23を構成するNMOSトランジスタのゲートには、当該NMOSトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧V_QCHが、駆動回路144から画素駆動線LDを介して印加される。
 本実施形態において、フォトダイオード21はSPADである。SPADは、そのアノードとカソードとの間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧が印加されるとガイガーモードで動作するアバランシェフォトダイオードであり、1つのフォトンの入射を検出可能である。
 デジタル変換器25は、抵抗251とNMOSトランジスタ252とを備える。NMOSトランジスタ252は、そのドレインが抵抗251を介して電源電圧VDDに接続され、そのソースが接地されている。また、NMOSトランジスタ252のゲートには、フォトダイオード21のアノードとクエンチ抵抗23との接続点N1の電圧が印加される。
 インバータ26は、P型のMOSFET(以下、PMOSトランジスタという)261とNMOSトランジスタ262とを備える。PMOSトランジスタ261は、そのドレインが電源電圧VDDに接続され、そのソースがNMOSトランジスタ262のドレインに接続されている。NMOSトランジスタ262は、そのドレインがPMOSトランジスタ261のソースに接続され、そのソースが接地されている。PMOSトランジスタ261のゲート及びNMOSトランジスタ262のゲートには、それぞれ抵抗251とNMOSトランジスタ252のドレインとの接続点N2の電圧が印加される。インバータ26の出力は、バッファ27に入力される。
 バッファ27は、インピーダンス変換のための回路であり、インバータ26から出力信号を入力すると、その入力した出力信号をインピーダンス変換し、検出信号V_OUTとして出力する。
 選択トランジスタ24は、例えば、NMOSトランジスタであり、そのドレインがクエンチ抵抗23を構成するNMOSトランジスタのソースに接続され、そのソースが接地されている。選択トランジスタ24は、駆動回路144に接続されており、選択トランジスタ24のゲートに駆動回路144からの選択制御電圧V_SELが画素駆動線LDを介して印加されると、オフ状態からオン状態に変化する。
 1.6 SPAD画素の概略動作例
 図5に例示した読出し回路22は、例えば、以下のように動作する。すなわち、まず、駆動回路144から選択トランジスタ24に選択制御電圧V_SELが印加されて選択トランジスタ24がオン状態となっている期間、フォトダイオード21には降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧V_SPADが印加される。これにより、フォトダイオード21の動作が許可される。
 一方、駆動回路144から選択トランジスタ24に選択制御電圧V_SELが印加されておらず、選択トランジスタ24がオフ状態となっている期間、逆バイアス電圧V_SPADがフォトダイオード21に印加されないことから、フォトダイオード21の動作が禁止される。
 選択トランジスタ24がオン状態であるときにフォトダイオード21にフォトンが入射すると、フォトダイオード21においてアバランシェ電流が発生する。それにより、クエンチ抵抗23にアバランシェ電流が流れ、接続点N1の電圧が上昇する。接続点N1の電圧がNMOSトランジスタ252のオン電圧よりも高くなると、NMOSトランジスタ252がオン状態になり、接続点N2の電圧が電源電圧VDDから0Vに変化する。そして、接続点N2の電圧が電源電圧VDDから0Vに変化すると、PMOSトランジスタ261がオフ状態からオン状態に変化すると共にNMOSトランジスタ262がオン状態からオフ状態に変化し、接続点N3の電圧が0Vから電源電圧VDDに変化する。その結果、バッファ27からハイレベルの検出信号V_OUTが出力される。
 その後、接続点N1の電圧が上昇し続けると、フォトダイオード21のアノードとカソードとの間に印加されている電圧が降伏電圧よりも小さくなり、それにより、アバランシェ電流が止まって、接続点N1の電圧が低下する。そして、接続点N1の電圧がNMOSトランジスタ252のオン電圧よりも低くなると、NMOSトランジスタ252がオフ状態になり、バッファ27からの検出信号V_OUTの出力が停止する(ローレベル)。
 このように、読出し回路22は、フォトダイオード21にフォトンが入射してアバランシェ電流が発生し、これによりNMOSトランジスタ252がオン状態になったタイミングから、アバランシェ電流が止まってNMOSトランジスタ252がオフ状態になるタイミングまでの期間、ハイレベルの検出信号V_OUTを出力する。出力された検出信号V_OUTは、出力回路145を介して、マクロ画素30ごとのSPAD加算部40に入力される。したがって、各SPAD加算部40には、1つのマクロ画素30を構成する複数のSPAD画素20のうちでフォトンの入射が検出されたSPAD画素20の数(検出数)の検出信号V_OUTが入力される。
 1.7 SPAD加算部
 図6は、本実施形態に係るSPAD加算部のより詳細な構成例を示すブロック図である。なお、SPAD加算部40は、受光部14に含まれる構成であってもよいし、演算部15に含まれる構成であってもよい。
 図6に示すように、SPAD加算部40は、例えば、パルス整形部41と、受光数カウント部42とを備える。
 パルス整形部41は、SPADアレイ141から出力回路145を介して入力した検出信号V_OUTのパルス波形を、SPAD加算部40の動作クロックに応じた時間幅のパルス波形に整形する。
 受光数カウント部42は、対応するマクロ画素30からサンプリング周期ごとに入力された検出信号V_OUTをカウントすることで、フォトンの入射が検出されたSPAD画素20の個数(検出数)をサンプリング周期ごとに計数し、この計数値をマクロ画素30の画素値として出力する。
 1.8 サンプリング周期
 ここで、サンプリング周期とは、発光部13がレーザ光L1を出射してから受光部14でフォトンの入射が検出されるまでの時間(飛行時間)を計測する周期である。このサンプリング周期には、発光部13の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、発光部13から出射して物体90で反射したフォトンの飛行時間を算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体90までの距離を算出することが可能となることを意味している。
 例えば、発光部13がレーザ光L1を出射して、このレーザ光L1が物体90で反射し、この反射光L2が受光部14に入射するまでの飛行時間をtとすると、光速Cが一定(C≒300,000,000m(メートル)/s(秒))であることから、物体90までの距離Lは、以下の式(1)ように算出することができる。
L=C×t/2  (1)
 そこで、サンプリング周波数を1GHzとすると、サンプリング周期は1ns(ナノ秒)となる。その場合、1つのサンプリング周期は、15cm(センチメートル)に相当する。これは、サンプリング周波数を1GHzとした場合の測距分解能が15cmであることを示している。また、サンプリング周波数を2倍の2GHzとすると、サンプリング周期は0.5ns(ナノ秒)となるため、1つのサンプリング周期は、7.5cm(センチメートル)に相当する。これは、サンプリング周波数を2倍とした場合、測距分解能を1/2にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く物体90までの距離を算出することが可能である。
 1.9 ヒストグラム
 図7では、上述した演算部15によって生成されるヒストグラムを示している。具体的には、図7では、縦軸を累積画素値、横軸を時間(飛行時間)とするヒストグラムを線形化したグラムを示している。図7に示すように、ToFセンサ1が検出する領域に物体90(図1参照)がある場合、ヒストグラムには、反射体である物体90に対応するピークP1が現れる。かかるピークP1は、レーザ光L1のパルス幅に近いピーク幅となる。
 1.10 異常検知方法(1)
 図8は、発光部の発光パターンと受光部の受光パターンとを示す図である。図8には、左からパターン名、発光が要求されるLD131-1~131-8の番号、検出が要求されるSPAD領域142-1~142-8の番号、定常ケースおいて発光するLD131-1~131-8の番号、定常ケースにおいて光を検出するSPAD領域142-1~142-8の番号、異常ケースにおいてショートしている箇所、異常ケースおいて発光するLD131-1~131-8の番号、異常ケースにおいて光を検出するSPAD領域142-1~142-8の番号を示した。
 図9は、図8のパターン2-1の処理を示す図である。パターン2-1の処理では、LD131-1~131-8が光を照射する領域がA11であり、SPAD領域142-1~142-8が光を検出する領域がA12である。具体的には、制御部11は、LD発光要求に基づき、LD131-2を発光させるとともに、SPAD検出領域に基づき、SPAD領域142-1及びSPAD領域142-2に光を検出させる。このように、制御部11は、LD131-1~131-8のいずれか1つが発光した際に、発光したLDからの光を受光するSPAD領域と、発光したLDに隣接するLDからの光を受光するSPAD領域とに受光させるように、SPAD領域142-1~142-8を制御する。
 このとき、LD131-1~131-8に故障が生じていない定常ケースでは、LD131-2が発光し、SPAD領域142-2が光を検出し、SPAD領域142-1は、光を検出しない。
 一方、LD131-1のアノード端子1311と、LD131-2のアノード端子1312との間がショートしている異常ケースでは、LD131-2に印加した電力がLD131-1とLD131-2とに半分ずつ印加され、LD131-1とLD131-2との双方が発光する。そして、SPAD領域142-1及びSPAD領域142-2の双方が光を検出する。したがって、パターン2-1の処理において、SPAD領域142-1及びSPAD領域142-2の双方が光を検出した場合、アノード端子1311とアノード端子1312との間がショートしていることがわかる。そこで、判定部111は、LD131-2が発光した際に、SPAD領域142-1及びSPAD領域142-2の双方が光を検出した場合、発光部13が異常であると判定する。
 図10は、パターンの選択方法の一例を示す図である。図10に示すように、step1~8として、パターン1、2-1~7-1、8の処理を実行すると、LD131-1~131-8のアノード端子1311~1318において、ショートが発生している否かを識別することができ、さらに、ショートが発生している箇所を識別することができる。
 なお、定常ケースと異常ケースにおいて、LDアレイ131に印加する電力の総量は変化しないため、電圧値等によりLDアレイ131のショートを検出することはできない。また、アノード端子及びカソード端子を共通化せず、複数の発光素子がそれぞれアノード端子及びカソード端子を有する場合、電圧値等によりショートを検出することができるが、LDアレイ131を小型化することができない。
 1.11 異常検知方法(2)
 図11は、図8のパターン2-2の処理を示す図である。パターン2-2の処理では、LD131-1~131-8が光を照射する領域がA11であり、SPAD領域142-1~142-8が光を検出する領域がA13である。具体的には、制御部11は、LD発光要求に基づき、LD131-2を発光させるとともに、SPAD検出領域に基づき、SPAD領域142-2及びSPAD領域142-3に光を検出させる。
 このとき、LD131-1~131-8に故障が生じていない定常ケースでは、LD131-2が発光し、SPAD領域142-2が光を検出し、SPAD領域142-3は、光を検出しない。
 一方、LD131-2のアノード端子1312と、LD131-3のアノード端子1313との間がショートしている異常ケースでは、LD131-2に印加した電力がLD131-2とLD131-3とに半分ずつ印加され、LD131-2とLD131-3との双方が発光する。そして、SPAD領域142-2及びSPAD領域142-3の双方が光を検出する。したがって、パターン2-2の処理において、SPAD領域142-2及びSPAD領域142-3の双方が光を検出した場合、アノード端子1312とアノード端子1313との間がショートしていることがわかる。
 図12は、パターンの選択方法の一例を示す図である。図12に示すように、step1~8として、パターン1、2-2~7-2、8の処理を実行すると、LD131-1~131-8のアノード端子1311~1318において、ショートが発生している否かを識別することができ、さらに、ショートが発生している箇所を識別することができる。
 1.12 異常検知方法(3)
 図13は、発光部の発光パターンと受光部の受光パターンとを示す図である。図13には、図8と同様に、左からパターン名、発光が要求されるLD131-1~131-8の番号、検出が要求されるSPAD領域142-1~142-8の番号、定常ケースおいて発光するLD131-1~131-8の番号、定常ケースにおいて光を検出するSPAD領域142-1~142-8の番号、異常ケースにおいてショートしている箇所、異常ケースおいて発光するLD131-1~131-8の番号、異常ケースにおいて光を検出するSPAD領域142-1~142-8の番号を示した。
 図14は、図13のパターン2-1の処理を示す図である。パターン2-1の処理では、LD131-1~131-8が光を照射する領域がA11であり、SPAD領域142-1~142-8が光を検出する領域がA14である。具体的には、制御部11は、LD発光要求に基づき、LD131-2を発光させるとともに、SPAD検出領域に基づき、SPAD領域142-1、SPAD領域142-2、及びSPAD領域142-3に光を検出させる。
 このとき、LD131-1~131-8に故障が生じていない定常ケースでは、LD131-2が発光し、SPAD領域142-2が光を検出し、SPAD領域142-1及びSPAD領域142-3は、光を検出しない。
 一方、LD131-1のアノード端子1311と、LD131-2のアノード端子1312との間がショートしている異常ケースでは、LD131-2に印加した電力がLD131-1とLD131-2とに半分ずつ印加され、LD131-1とLD131-2との双方が発光する。そして、SPAD領域142-1及びSPAD領域142-2の双方が光を検出する。したがって、パターン2-1の処理において、SPAD領域142-1及びSPAD領域142-2の双方が光を検出した場合、アノード端子1311とアノード端子1312との間がショートしていることがわかる。
 図13に示す各パターンについても、図10又は図12のStep1~8の処理を実行すると、LD131-1~131-8のアノード端子1311~1318において、ショートが発生している否かを識別することができ、さらに、ショートが発生している箇所を識別することができる。
 1.13 異常検知方法(4)
 図15は、LDアレイの概略構成例を示す模式図である。図15に示すように、LDアレイ131は、2次元格子状に配列したLD131-11~131-nmを有する構成であってもよい。また、水平方向(行方向)に隣接するLD131-11~131-1nは、1つのアノード端子13111を共有している。同様に、水平方向に隣接するn個のLDは、行ごとにアノード端子13112~1311mを共有する。また、垂直方向(列方向)に隣接するLD131-11~131-m1は、1つのカソード端子13121を共有している。同様に、垂直方向に隣接するm個のLDは、列ごとにカソード端子13122~1312nを共有する。
 図16は、SPADアレイにおける受光パターンの一例を示す模式図である。図16に示すように、SPADアレイ142は、例えば、垂直方向にm個、水平方向にn個の領域に分割されている。図16に示す例では、SPADアレイ142が、LD131-11~131-mnが出射したレーザ光をそれぞれ受光するSPAD領域142-11~142-mnに分割されている。
 図16において、LDアレイ131が光を照射する領域がA21であり、SPADアレイ142が光を検出する領域がA22である。具体的には、制御部11は、LD発光要求に基づき、領域A21に光を照射するLD131-33を発光させるとともに、SPAD検出領域に基づき、領域A22に対応するSPAD領域142-32、SPAD領域142-33、及びSPAD領域142-34に光を検出させることにより、水平方向に隣接するアノード端子間のショートを検出する。この処理を全てのLD131-11~131-nm及びSPAD領域142-11~142-mnに対して順に走査して実行することにより、全てのアノード端子のショートを検出することができる。
 同様に、制御部11は、LD発光要求に基づき、領域A21に光を照射するLD131-33を発光させるとともに、SPAD検出領域に基づき、領域A23に対応するSPAD領域142-23、SPAD領域142-33、及びSPAD領域142-43に光を検出させることにより、垂直方向に隣接するカソード端子間のショートを検出する。この処理を全てのLD131-11~131-nm及びSPAD領域142-11~142-mnに対して順に走査して実行することにより、全てのカソード端子のショートを検出することができる。
 なお、領域A22に対応するアノード端子のショート検出と、領域A23に対応するカソード端子のショートの検出とをそれぞれ実行してもよいが、一度に実行してもよい。図17は、SPADアレイにおける受光パターンの一例を示す模式図である。図17に示ように、制御部11は、LD発光要求に基づき、領域A21に光を照射するLD131-33を発光させるとともに、SPAD検出領域に基づき、領域A24に対応するSPAD領域142-23、SPAD領域142-32、SPAD領域142-33、SPAD領域142-34、及びSPAD領域142-43に光を検出させることにより、隣接するアノード端子間及びカソード端子間のショートを一度に検出する。この処理を全てのLD131-11~131-nm及びSPAD領域142-11~142-mnに対して順に走査して実行することにより、全てのアノード端子及びカソード端子のショートを一度に検出することができる。
 次に、図18を用いて、ToFセンサ1が実行する処理の処理手順について説明する。図18は、ToFセンサ1が実行する全体処理の処理手順を示すフローチャートである。
 図18に示すように、制御部11は、例えば、図8に示すパターンを図10に示す順に実行し、故障を検出する(ステップS101)。なお、故障が検出された場合の処理は、後述する。
 続いて、発光部13は、発光することでレーザ光L1を出射する(ステップS102)。
 そして、受光部14は、レーザ光L1が物体90で反射した反射光L2を受光する(ステップS103)。
 その後、演算部15は、受光部14から出力される検出信号に基づいて、累積画素値のヒストグラムを生成する(ステップS104)。
 そして、制御部11は、生成されたヒストグラムに基づいて、物体90までの距離を算出する(ステップS105)。
 つづいて、制御部11は、算出した距離をホスト80へ出力し(ステップS106)、処理を終了する。
 次に、図19を用いて、図18のステップS101において故障が検出された場合の処理手順について説明する。図19は、故障が発生した場合の処理手順を示すフローチャートである。なお、ToFセンサ1は、自動運転で走行している車両に設置されているものとする。
 図18に示すステップS101において、判定部111が、LD131-1~131-8がショートする故障が発生していないと判定した場合(ステップS201:No)、制御部11は、自動運転を継続する(ステップS202)。換言すると、図18の処理が継続され、ToFセンサ1は、測距した結果を出力し続ける。
 ステップS101において、判定部111が、LD131-1~131-8がショートする故障が発生したと判定した場合(ステップS201:Yes)、制御部11は、自動運転から搭乗者へ運転を切り替えることが可能であるか否かを判定する(ステップS203)。具体的には、制御部11は、ToFセンサ1が搭載されている車両のカーナビゲーションシステム等の表示部への表示、又は、音声による案内によって、搭乗者へ運転の切り替えが可能か否かを選択させるメッセージを通知し、メッセージに対する搭乗者の応答に応じて、自動運転から搭乗者へ運転を切り替えることが可能であるか否かを判定する。なお、LD131-1~131-8に故障が発生した場合、発光させたいLD131-1~131-8に印加される電力が半分になるため、光強度が弱くなり、遠くまで測距することができなくなる。そのため、LD131-1~131-8に故障が発生した場合には、自動運転を中止することが好ましい。
 制御部11は、メッセージに対して搭乗者が搭乗者へ運転の切り替えが可能であると応答した場合、自動運転から搭乗者へ運転を切り替えることが可能であると判定し(ステップS203:Yes)、自動運転から搭乗者の運転に切り替える(ステップS204)。
 一方、制御部11は、メッセージに対して搭乗者が搭乗者へ運転の切り替えが不可能であると応答した場合、自動運転から搭乗者へ運転を切り替えることが不可能であると判定し(ステップS203:No)、自動的にToFセンサ1が搭載されている車両を停止させる(ステップS205)。
 以上説明したように、制御部11は、車両等の移動体が自動運転で走行中に、判定部111が、発光部13が異常であると判定した場合、自動運転を手動運転に切り替える、又は移動体を停止させるように制御する。その結果、発光部13が故障した場合に、ToFセンサ1が設置されている車両の安全を確保することができる。
 2.応用例
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図20は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図20に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図20では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図21は、撮像部7410及び車外情報検出部7420の設置位置の例を示す図である。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図21には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図20に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図20の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図20に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 なお、図1を用いて説明した本実施形態に係るToFセンサ1の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 以上説明した車両制御システム7000において、図1を用いて説明した本実施形態に係るToFセンサ1は、図20に示した応用例の統合制御ユニット7600に適用することができる。例えば、ToFセンサ1の制御部11、演算部15及び外部I/F19は、統合制御ユニット7600のマイクロコンピュータ7610、記憶部7690、車載ネットワークI/F7680に相当する。ただし、これに限定されず、車両制御システム7000が図1におけるホスト80に相当してもよい。
 また、図1を用いて説明したToFセンサ1の少なくとも一部の構成要素は、図20に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1を用いて説明したToFセンサ1が、図20に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
 3.まとめ
 以上説明したように、本開示の一実施形態によれば、本実施形態に係る受光装置2は、受光部14と、制御部11とを備える。受光部14は、第1の発光素子(例えば、LD131-1)が発光した光を受光する第1の受光素子(例えば、SPAD領域142-1)、及び第1の発光素子に隣接して配置されており、第1の発光素子とカソード端子(例えば、カソード端子1319)を共有している第2の発光素子(例えば、LD131-2)が発光した光を受光する第2の受光素子(例えば、(SPAD領域142-2))を有する。制御部11は、第1の受光素子が発光した際に、第1の受光素子と第2の受光素子とに受光させるように、第1の受光素子及び第2の受光素子を制御する。これにより、鉛直方向に隣接するLD131-1のアノード端子1311とLD131-2のアノード端子1312との間のショートを検出することができる。この処理を図10又は図12に示すように繰り返し実行することにより、全てのLD131-1~131-8についてショートを検出することができる。したがって、受光装置2によれば、複数の発光素子がアノード端子又はカソード端子を共有している場合に、発光素子の異常を検知することができる。
 以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 第1の発光素子が発光した光を受光する第1の受光素子、及び前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、
 前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する制御部と、
 を備える、受光装置。
(2)
 前記第1の受光素子が発光した際に、前記第2の受光素子が光を検出した場合、前記第1の発光素子及び前記第2の発光素子を有する発光部が異常であると判定する判定部を備える、前記(1)に記載の受光装置。
(3)
 当該受光装置は、移動体に設置されている、前記(1)又は(2)に記載の受光装置。
(4)
 前記制御部は、前記移動体が自動運転で走行中に、前記判定部が、前記発光部が異常であると判定した場合、前記自動運転を手動運転に切り替える、又は前記移動体を停止させるように制御する、前記(3)に記載の受光装置。
(5)
 前記受光部は、前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第3の発光素子が発光した光を受光する第3の受光素子を有し、
 前記制御部は、前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子と前記第3の受光素子とに受光させるように、前記第1の受光素子、前記第2の受光素子、及び前記第3の受光素子を制御する、前記(1)~(4)のいずれか1つに記載の受光装置。
(6)
 第1の発光素子、及び前記第1の発光素子に隣接して配置されており、前記第1の発光素子とアノード端子又はカソード端子を共有している第2の発光素子を有する発光部と、
 前記第1の発光素子が発光した光を受光する第1の受光素子、及び前記第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、
 前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する制御部と、
 を備える測距装置。
(7)
 第1の発光素子が発光した光を受光する第1の受光素子、及び前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、前記受光部を制御する制御部と、を備える受光装置の制御方法であって、
 前記制御部が、前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する、受光装置の制御方法。
 1   ToFセンサ(測距装置)
 2   受光装置
 11  制御部
 13  発光部
 14  受光部
 15  演算部
 20  SPAD画素
 30  マクロ画素
 80  ホスト
 90  物体

Claims (7)

  1.  第1の発光素子が発光した光を受光する第1の受光素子、及び前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、
     前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する制御部と、
     を備える、受光装置。
  2.  前記第1の受光素子が発光した際に、前記第2の受光素子が光を検出した場合、前記第1の発光素子及び前記第2の発光素子を有する発光部が異常であると判定する判定部を備える、請求項1に記載の受光装置。
  3.  当該受光装置は、移動体に設置されている、請求項2に記載の受光装置。
  4.  前記制御部は、前記移動体が自動運転で走行中に、前記判定部が、前記発光部が異常であると判定した場合、前記自動運転を手動運転に切り替える、又は前記移動体を停止させるように制御する、請求項3に記載の受光装置。
  5.  前記受光部は、前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第3の発光素子が発光した光を受光する第3の受光素子を有し、
     前記制御部は、前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子と前記第3の受光素子とに受光させるように、前記第1の受光素子、前記第2の受光素子、及び前記第3の受光素子を制御する、請求項1に記載の受光装置。
  6.  第1の発光素子、及び前記第1の発光素子に隣接して配置されており、前記第1の発光素子とアノード端子又はカソード端子を共有している第2の発光素子を有する発光部と、
     前記第1の発光素子が発光した光を受光する第1の受光素子、及び前記第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、
     前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する制御部と、
     を備える測距装置。
  7.  第1の発光素子が発光した光を受光する第1の受光素子、及び前記第1の発光素子に隣接して配置されるとともに前記第1の発光素子とアノード端子又はカソード端子を共有する第2の発光素子が発光した光を受光する第2の受光素子を有する受光部と、前記受光部を制御する制御部と、を備える受光装置の制御方法であって、
     前記制御部が、前記第1の受光素子が発光した際に、前記第1の受光素子と前記第2の受光素子とに受光させるように、前記第1の受光素子及び前記第2の受光素子を制御する、受光装置の制御方法。
PCT/JP2022/010852 2021-07-06 2022-03-11 受光装置、測距装置及び受光装置の制御方法 WO2023281824A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023533076A JPWO2023281824A1 (ja) 2021-07-06 2022-03-11
CN202280035328.XA CN117321443A (zh) 2021-07-06 2022-03-11 光接收装置、测距装置和光接收装置的控制方法
DE112022003427.0T DE112022003427T5 (de) 2021-07-06 2022-03-11 Lichtempfangende vorrichtung, abstandsmessvorrichtung und verfahren zum steuern einer lichtempfangenden vorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-112229 2021-07-06
JP2021112229 2021-07-06

Publications (1)

Publication Number Publication Date
WO2023281824A1 true WO2023281824A1 (ja) 2023-01-12

Family

ID=84801652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010852 WO2023281824A1 (ja) 2021-07-06 2022-03-11 受光装置、測距装置及び受光装置の制御方法

Country Status (4)

Country Link
JP (1) JPWO2023281824A1 (ja)
CN (1) CN117321443A (ja)
DE (1) DE112022003427T5 (ja)
WO (1) WO2023281824A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214564A (ja) * 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ(vcsel)アレイ・レーザスキャナ
JP2007533966A (ja) * 2003-05-14 2007-11-22 ブイエフエス・テクノロジーズ・リミテッド 粒子検出器
US20130120565A1 (en) * 2010-07-28 2013-05-16 Ifm Electronic Gmbh Light propagation time camera system having signal path monitoring
US20160182895A1 (en) * 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With Movable Illuminated Region of Interest
JP2019158525A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 光学式安全センサ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6829947B2 (ja) 2016-05-17 2021-02-17 ローム株式会社 発光素子駆動用半導体集積回路、発光素子駆動装置、発光装置、車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533966A (ja) * 2003-05-14 2007-11-22 ブイエフエス・テクノロジーズ・リミテッド 粒子検出器
JP2007214564A (ja) * 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ(vcsel)アレイ・レーザスキャナ
US20130120565A1 (en) * 2010-07-28 2013-05-16 Ifm Electronic Gmbh Light propagation time camera system having signal path monitoring
US20160182895A1 (en) * 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With Movable Illuminated Region of Interest
JP2019158525A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 光学式安全センサ

Also Published As

Publication number Publication date
CN117321443A (zh) 2023-12-29
JPWO2023281824A1 (ja) 2023-01-12
DE112022003427T5 (de) 2024-05-02

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
TWI828695B (zh) 受光裝置及測距裝置
WO2020116039A1 (ja) 測距装置及び測距方法
WO2020153275A1 (ja) 測距装置、車載システム及び測距方法
JP2021128084A (ja) 測距装置および測距方法
WO2020137755A1 (ja) 測距装置及び測距方法
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
US20220057203A1 (en) Distance measurement device and distance measurement method
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021161858A1 (ja) 測距装置および測距方法
US20240006850A1 (en) Semiconductor laser driving apparatus, lidar including semiconductor laser driving apparatus, and vehicle including semiconductor laser driving apparatus
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2023281825A1 (ja) 光源装置、測距装置及び測距方法
WO2021161857A1 (ja) 測距装置および測距方法
WO2023162734A1 (ja) 測距装置
WO2023223928A1 (ja) 測距装置及び測距システム
WO2024095625A1 (ja) 測距装置および測距方法
WO2022244508A1 (ja) 光検出装置及び測距システム
WO2023145344A1 (ja) 受光素子、および電子機器
WO2022176532A1 (ja) 受光装置、測距装置及び受光装置の信号処理方法
WO2024095626A1 (ja) 測距装置
WO2023234033A1 (ja) 測距装置
WO2023162733A1 (ja) 測距装置及び測距方法
WO2023276223A1 (ja) 測距装置、測距方法及び制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837246

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280035328.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023533076

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022003427

Country of ref document: DE